JP7323641B2 - アフィンモードのための適応動きベクトル差分分解 - Google Patents
アフィンモードのための適応動きベクトル差分分解 Download PDFInfo
- Publication number
- JP7323641B2 JP7323641B2 JP2021566967A JP2021566967A JP7323641B2 JP 7323641 B2 JP7323641 B2 JP 7323641B2 JP 2021566967 A JP2021566967 A JP 2021566967A JP 2021566967 A JP2021566967 A JP 2021566967A JP 7323641 B2 JP7323641 B2 JP 7323641B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- affine
- indication
- block
- prediction mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 417
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims description 269
- 239000013598 vector Substances 0.000 title description 204
- 230000003044 adaptive effect Effects 0.000 title description 35
- 238000000354 decomposition reaction Methods 0.000 title description 33
- 238000000034 method Methods 0.000 claims description 367
- 230000000007 visual effect Effects 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 49
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 description 101
- 230000008569 process Effects 0.000 description 52
- 238000009795 derivation Methods 0.000 description 29
- 230000009466 transformation Effects 0.000 description 26
- 241000023320 Luma <angiosperm> Species 0.000 description 21
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 19
- 238000005192 partition Methods 0.000 description 16
- 230000011664 signaling Effects 0.000 description 14
- 238000010276 construction Methods 0.000 description 13
- 241000723655 Cowpea mosaic virus Species 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000002068 genetic effect Effects 0.000 description 8
- 238000013138 pruning Methods 0.000 description 7
- 239000011449 brick Substances 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 101100328886 Caenorhabditis elegans col-2 gene Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- YDONNITUKPKTIG-UHFFFAOYSA-N [Nitrilotris(methylene)]trisphosphonic acid Chemical compound OP(O)(=O)CN(CP(O)(O)=O)CP(O)(O)=O YDONNITUKPKTIG-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2019年5月21日付けで出願された国際特許出願第PCT/CN2019/087805号に対する優先権及びその利益を請求して2020年5月21日付けで出願された国際特許出願第PCT/CN2020/091537号の国内移行である。上記の出願の開示全体は、本願の開示の部分として参照により援用される。
本明細書は、ビデオコーディング技術に関係がある。具体的に、それは、ビデオコーディングにおける動きベクトルコーディングに関係がある。それは、HEVCのような既存のビデオコーディング標準規格、又はまとめられるべき標準規格(VVC)に適用されてもよい。それはまた、将来のビデオコーディング標準規格又はビデオコーデックにも適用可能であり得る。
ビデオコーディング標準規格は、主として、よく知られているITU-T及びISO/IEC標準規格の開発を通じて、進化してきた。ITU-Tは、H.261及びH.263を作り出し、ISO/IECは、MPEG-1及びMPEG-4 Visualを作り出し、2つの組織は共同で、H.262/MPEG-2 Video及びH264/MPEG-4 AVC(Advanced Video Coding)並びにH.265/HEVC標準規格を作り出した。H.262以降、ビデオコーディング標準規格は、ハイブリッドビデオコーディング構造に基づいており、時間予測及び変換コーディングが利用される。HEVCを越える将来のビデオコーディング技術を探るために、JVET(Joint Video Exploration Team)が2015年にVCEG及びMPEGによって共同設立された。それ以来、多くの新しい方法がJVETによって導入され、JEM(Joint Exploration Model)と名付けられた参照ソフトウェアに置かれてきた[3,4]。2018年4月に、VCEG(Q6/16)とISO/IEC JTC1 SG29/WG11(MPEG)との間で、HEVCと比較してビットレート50%減を目指すVVC標準規格を研究するためのJVETJoint Video Experts Team)が作られた。
夫々のインター予測されたPU(prediction unit)は、1つ又は2つの参照ピクチャリストについての動きパラメータを有している。動きパラメータは、動きベクトル及び参照ピクチャインデックスを含む。2つの参照ピクチャリストの一方の利用は、inter_pred_idcを用いてシグナリングされてもよい。動きベクトルは、予測子に対する差分として明示的にコーディングされてもよい。
HEVCでは、インター予測という用語が、現在のデコードされているピクチャ以外の参照ピクチャのデータ要素(例えば、サンプル値又は動きベクトル)から導出された予測を表すために使用される。同様に、H.264/AVCでは、ピクチャは、複数の参照ピクチャから予測され得る。インター予測のために使用される参照ピクチャは、1つ以上の参照ピクチャリストに編成される。参照インデックスは、リスト内のどの参照ピクチャが予測信号を生成するために使用されるべきであるかを識別する。
2.1.2.1.マージモードのための候補の導出
PUがマージモードを用いて予測される場合に、merge candidates list(マージ候補リスト)内のエントリを指し示すインデックスは、ビットストリームからパースされ、動き情報を読み出すために使用される。このリストの構成は、HEVC標準規格で規定されており、次のステップの連続に従って手短に述べられ得る:
ステップ1:初期候補の導出
ステップ1.1:空間的候補の導出
ステップ1.2:空間的候補に対する冗長性検査
ステップ1.3:時間的候補の導出
ステップ2:追加候補の挿入
ステップ2.1:双予測候補の生成
ステップ2.2:ゼロ動き候補の挿入
空間マージ候補の導出において、最大4つのマージ候補が、図2に表されている位置にある候補の中から選択される。導出の順序は、A1、B1、B0、A0、及びB2である。位置B2は、位置A1、B1、B0、A0のいずれかのPU(それが他のスライス又はタイルに属するために)利用可能でないか、あるいは、イントラコーディングされている場合にのみ検討される。位置A1での候補が加えられた後、残りの候補の追加は冗長性検査を受ける。これは、同じ動き情報を有する候補が、コーディング効率が改善されるようにリストから外されることを確かにする。
このステップでは、ただ1つの候補がリストに加えられる。特に、この時間マージ候補の導出において、スケーリングされた動きベクトルは、所与の参照ピクチャリスト内で現在のピクチャとのPOC差が最小であるピクチャに属する同一位置(co-located)PUに基づいて導出される。同一位置PUの導出のために使用される参照ピクチャリストは、スライスヘッダで明示的にシグナリングされる。時間マージ候補のスケーリングされた動きベクトルは、図5で破線によって表されるように取得され、POC距離tb及びtdを用いて同一位置PUの動きベクトルからスケーリングされている。tbは、現在のピクチャの参照ピクチャと現在のピクチャとの間のPOC距離であるよう定義され、tdは、同一位置ピクチャの参照ピクチャと同一位置ピクチャとの間のPOC差であるよう定義される。時間マージ候補の参照ピクチャインデックスは、ゼロに等しくセットされる。スケーリングプロセスの実際の実現は、HEVC規格で記載されている。Bスライスについては、2つの動きベクトル(1つは参照ピクチャリスト0用であり、もう1つは参照ピクチャリスト1用である)が取得され、双予測マージ候補を生成するよう結合される。
空間及び時間マージ候補に加えて、2つの更なるタイプのマージ候補、すなわち、複合双予測マージ候補(combined bi-predictive merge candidate)及びゼロマージ候補(zero merge candidate)が存在する。複合双予測マージ候補は、空間及び時間マージ候補を利用することによって生成される。複合双予測マージ候補は、Bスライスにのみ使用される。複合双予測マージ候補は、最初の候補の第1参照ピクチャリスト動きパラメータを他の第2参照ピクチャリスト動きパラメータと組み合わせることによって生成される。これら2つのタプルが異なった動き仮説(hypotheses)をもたらす場合に、それらは新しい双予測候補を形成することになる。一例として、図7は、mvL0及びrefIdxL0又はmvL1及びrefIdx1を有する原リスト(左側にある)内の2つの候補が、最終的なリスト(右側にある)に加えられる複合双予測マージ候補を生成するために使用される場合を表す。これらの追加マージ候補を生成するために考えられる組み合わせに関して多数の規則がある。
1.Pスライスについては、リスト0に関連した参照ピクチャの数、又はBスライスについては、2つのリスト内の参照ピクチャの最小数、のどちらか一方に変数numRefをセットする;
2.非反復的なゼロ動き候補を加える;
0・・・numRef-1である変数iについては、(0,0)にセットされたMVと、リスト0(Pスライスの場合)について又は両方のリスト(Bスライスの場合)についてiにセットされた参照ピクチャインデックスとを有するデフォルトの動き候補を加える。
3.(0,0)にセットされたMVと、0にセットされたリスト0(Pスライスの場合)の参照ピクチャインデックスと、0にセットされた両方のリスト(Bスライスの場合)の参照ピクチャインデックスとを有する反復的なゼロ動き候補を加える。
AMVP(Advanced Motion Vector Prediction)は、動きパラメータの明示的な伝送のために使用される隣接PUとの動きベクトルの空間時間相関を利用する。参照ピクチャリストごとに、動きベクトル候補リストは、左及び上にある時間的に隣接したPU位置の利用可能性を最初に確認し、冗長な候補を除いて、候補リストを一定の長さにするようゼロベクトルを加えることによって、構成される。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。同様に、マージインデックスシグナリングにより、最良の動きベクトル候補のインデックスは、トランケーテッドユーナリー(truncated unary)を用いて符号化される。この場合に符号化される最大値は2である(図8を参照)。以下のセクションでは、動きベクトル予測候補の導出プロセスに関する詳細が提供される。
図8は、動きベクトル予測候補の導出プロセスを要約する。
空間動きベクトル候補の導出において、図2に表されるような位置(これらの位置は、動きマージのそれらと同じである)にあるPUから導出される5つの潜在的な候補から、最大2つの候補が考えられる。現在のPUの左側の導出の順序は、A0、A1及びスケーリングされたA0、スケーリングされたA1として定義される。現在のPUの上側の導出の順序は、B0、B1、B2、スケーリングされたB0、スケーリングされたB1、スケーリングされたB2として定義される。夫々の側について、従って、動きベクトル候補として使用され得る4つの場合が存在し、2つの場合は、空間スケーリングを使用することが不要であり、他の2つの場合には、空間スケーリングが使用される。4つの異なる場合は、次のように簡単に述べられる。
・空間スケーリングなし
(1)同じ参照ピクチャリスト、かつ同じ参照ピクチャインデックス(同じPOC)
(2)異なる参照ピクチャリスト、しかし同じ参照ピクチャ(同じPOC)
・空間スケーリング
(3)同じ参照ピクチャリスト、しかし異なる参照ピクチャ(異なるPOC)
(4)異なる参照ピクチャリスト、かつ異なる参照ピクチャ(異なるPOC)
参照ピクチャインデックス導出は別として、時間マージ候補の導出のための全てのプロセスは、空間動きベクトル候補の導出(図6を参照)の場合と同じである。参照ピクチャインデックスはデコーダへシグナリングされる。
四分木プラス二分木(quadtrees plus binary trees,QTBT)によるJEMでは、各CUは、予測方向ごとに多くてもひと組の動きパラメータを有することができる。2つのサブCUレベル動きベクトル予測方法が、大きいCUをサブCUに分割し、大きいCUの全てのサブCUについて動き情報を導出することによって、エンコーダにおいて考えられている。代替時間動きベクトル予測(ATMVP)方法は、各CUが、同一位置の参照ピクチャにある現在のCUよりも小さい複数のブロックから複数の組の動き情報をフェッチすることを可能にする。空間時間動きベクトル予測(STMVP)方法では、サブCUの動きベクトルは、時間動きベクトル予測子及び空間隣接動きベクトルを使用することによって再帰的に導出される。
代替時間動きベクトル予測(Alternative Temporal Motion Vector Prediction,ATMVP)法では、動きベクトルの時間動きベクトル予測(Temporal Motion Vector Prediction,TMVP)が、現在のCUよりも小さいブロックから複数の組の動き情報(動きベクトル及び参照インデックスを含む)をフェッチすることによって改良されている。CUは、正方N×Nブロックである(Nはデフォルトで4にセットされる)。
空間時間動きベクトル予測(spatial-temporal motion vector prediction,STMVP)法では、サブCUの動きベクトルは、ラスタ走査順序に従って、再帰的に導出される。図11は、この概念を表す。4つのサブブロックA、B、C及びDを含む8×8CUを考えるとする。現在のフレームの隣接する4×4ブロックは、a、b、c及びdと表記される。
サブCUモードは、追加のマージ候補として使用可能であり、モードをシグナリングするために追加のシンタックス要素は必要とされない。2つの追加マージ候補が、ATMVPモード及びSTMVPモードを表すために各CUのマージ候補に加えられる。ATMVP及びSTMVPが使用可能であることをシーケンスパラメータセットが示す場合には、最大7つのマージ候補が使用される。追加マージ候補の符号化ロジックは、HMにおけるマージ候補の場合と同じである。これは、P又はBスライス内の各CUについて、2つ以上のRDチェックが2つの追加マージ候補のために必要とされる可能性があることを意味する。
MVDをシグナリングするための適応動きベクトル差分分解(Adaptive Motion Vector Difference Resolution,AMVR)、アフィン予測モード、三角予測モード(Triangular Prediction Mode,TPM)、ATMVP、一般化された双予測(Generalized Bi-Prediction,GBI)、双予測オプティカルフロー(Bi-directional Optical Flow,BIO)などの、インター予測の改善のためのいくつかの新しいコーディングツールが存在する。
HEVCでは、(PUの動きベクトルと予測された動きベクトルとの間の)動きベクトル差分(MVD)は、スライスヘッダにおいてuse_integer_my_flagが0に等しいときに4分の1ルーマサンプルの単位でシグナリングされる。VVCでは、局所適応動きベクトル分解(LAMVR)が紹介されている。VVCでは、MVDは、4分の1ルーマサンプル、整数ルーマサンプル、又は4ルーマサンプルの単位(すなわち、1/4ペル、1ペル、4ペル)でコーディングされ得る。MVD分解は、コーディングユニット(CU)レベルで制御され、MVD分解フラグは、少なくとも1つの非ゼロMVD成分を有している各CUについて条件付きでシグナリングされる。
・通常の4分の1ルーマサンプルMVD分解能によるCUのRDチェックの間、現在のCUの動き情報(整数ルーマサンプル精度)が保存される。保存された動き情報(丸め後)は、整数ルーマサンプル及び4ルーマサンプルMVD分解能による同じCUに対するRDチェックの間に更なる小範囲動きベクトル精緻化のために開始点として使用される。それにより、時間のかかる動き推定プロセスは3回繰り返されない。
・4ルーマサンプルMVD分解能によるCUのRDチェックは、条件付きで呼び出される。あるCUについて、RDコスト整数ルーマサンプルMVD分解能が4分の1ルーマサンプルMVD分解能のそれよりもずっと大きい場合に、そのCUに対する4ルーマサンプルMVD分解能のRDチェックはスキップされる。
三角予測モード(TPM)の概念は、動き補償された予測のための新しい三角パーティションを導入することである。図13に示されるように、それはCUを対角又は逆対角方向のどちらか一方で2つの三角予測ユニットに分割する。CU内の各三角予測ユニットは、単一の片予測候補リストから導出されるそれ自体の片予測動きベクトル及び参照フレームインデックスを用いてインター予測される。適応重み付けプロセスは、三角予測ユニットを予測した後に、対角辺に対して実行される。次いで、変換及び量子化プロセスがCU全体に適用される。このモードは、マージモードにのみ適用されることが知られる(注記:スキップモードは特別なマージモードとして扱われる。)。
TPM動き候補リストと名付けられている片予測候補リストは、5つの片予測動きベクトル候補から成る。それは、図14に示されるように、5つの空間隣接ブロック(1から5)及び2つの時間同一位置ブロック(6から7)を含む7つの隣接ブロックから導出される。7つの隣接ブロックの動きベクトルは集められ、片予測動きベクトルの順序、双予測動きベクトルのL0動きベクトル、双予測動きベクトルのL1動きベクトル、並びに双予測動きベクトルのL0及びL1動きベクトルの平均化された動きベクトルに従って片予測候補リストに置かれる。候補の数が5に満たない場合には、ゼロ動きベクトルがリストに加えられる。このリストに加えられた動き候補は、TPM動き候補と呼ばれ、空間/時間ブロックから導出された動き情報は、正則動き候補(regular motion candidates)と呼ばれる。
1)空間隣接ブロックの例から正則動き候補を加える場合に完全プルーニング動作を用いてA1、B1、B0、A0、B2、Col及びCol2(図14のブロック1~7に対応)から動き候補を取得する。
2)変数numCurrMergeCand=0をセットする。
3)A1、B1、B0、A0、B2、Col及びCol2から導出された正則動き候補ごとに、プルーニングされず、かつ、numCurrMergeCandが5よりも小さい場合に、正則動き候補が片予測(リスト0又はリスト1のどちらか一方から)であるならば、それは、numCurrMergeCandを1増やしてTPM候補としてマージリストに直接に追加される。そのようなTPM候補は、「元々片予測された候補」(originally uni-predicted candidate)と呼ばれる。
完全プルーニング(full pruning)が適用される。
4)A1、B1、B0、A0、B2、Col及びCol2から導出された動き候補ごとに、プルーニングされず、かつ、numCurrMergeCandが5よりも小さい場合に、正則動き候補が双予測であるならば、リスト0からの動き情報が新しいTPM候補としてTPMマージリストに追加され(すなわち、リスト0からの片予測であるよう変更され)、numCurrMergeCandは1だけ増やされる。そのようなTMP候補は、「切り捨てられたリスト0予測候補」(Truncated List0-predicted candidate)と呼ばれる。
完全プルーニングが適用される。
5)A1、B1、B0、A0、B2、Col及びCol2から導出された動き候補ごとに、プルーニングされず、かつ、numCurrMergeCandが5よりも小さい場合に、正則動き候補が双予測であるならば、リスト1からの動き情報がTPMマージリストに追加され(すなわち、リスト1からの片予測であるよう変更され)、numCurrMergeCandは1だけ増やされる。そのようなTPM候補は、「切り捨てられたリスト1予測候補」(Truncated List1-predicted candidate)と呼ばれる。
完全プルーニングが適用される。
6)A1、B1、B0、A0、B2、Col及びCol2から導出された動き候補ごとに、プルーニングされず、かつ、numCurrMergeCandが5よりも小さい場合に、正則動き候補が双予測であるならば、
- リスト0参照ピクチャのスライス量子化パラメータ(QP)がリスト1参照ピクチャのスライスQPよりも小さい場合には、リスト1の動き情報が最初にリスト0参照ピクチャにスケーリングされ、2つのMV(一方は元のリスト0からであり、他方はリスト1からのスケーリングされたMVである。)の平均がTPMマージリストに追加される。このような候補は、リスト0動き候補からの平均された片予測と呼ばれ、numCurrMergeCandは1だけ増やされる。
- そうでない場合には、リスト0の動き情報が最初にリスト1参照ピクチャにスケーリングされ、2つのMV(一方は元のリスト1からであり、他方はリスト0からのスケーリングされたMVである。)の平均がTPMマージリストに加えられる。このようなTPM候補は、リスト1動き候補からの平均された片予測と呼ばれ、numCurrMergeCandは1だけ増やされる。
完全プルーニングが適用される。
7)numCurrMergeCandが5よりも小さい場合に、ゼロ動きベクトル候補が加えられる。
各三角予測ユニットを予測した後、CU全体の最終的な予測を導出するために、2つの三角予測ユニットの間の対角辺に適応重み付けプロセスが適用される。2つの重み付け係数グループが次のように定義される:
・第1重み付け係数グループ:{7/8,6/8,4/8,2/8,1/8}及び{7/8,4/8,1/8}は、夫々、ルミナンスサンプル及びクロミナンスサンプルのために使用される。
・第2重み付け係数グループ:{7/8,6/8,5/8,4/8,3/8,2/8,1/8}及び{6/8,4/8,2/8}は、夫々、ルミナンスサンプル及びクロミナンスサンプルのために使用される。
TPMが使用されるかどうかを示す1ビットフラグが、最初にシグナリングされてよい。その後に、2つの分割パターン(図13に図示)の指示と、2つのパーティションの夫々についての選択されたマージインデックスとが、更にシグナリングされる。
1つのルーマブロックの幅及び高さを夫々、W及びHによって表すとする。W×H<64である場合に、三角予測モードは無効にされる。
分割パターン及び2つのパーティションのマージインデックスは一緒にコーディングされることが知られている。いくつかの実施で、2つのパーティションは同じ参照インデックスを使用することができない、と制限される。そのため、2(分割パターン)×N(マージ候補の最大数)×(N-1)通りの可能性がある。ここで、Nは5にセットされる。1つの指示がコーディングされ、分割パターン間のマッピング、2つのマージインデックス、及びコーディングされた指示は、以下で定義されているアレイから導出される:
merge_triangle_idxは、0以上39以下の範囲([0,39])内にある。K次の指数ゴロム(Exponential Golomb,EG)コードは、merge_triangle_idxの二値化のために使用される。ここで、Kは1にセットされる。
(より小さい数をエンコードするためにより多くの数を使用することを犠牲にして)より少ないビットでより大きい数をエンコードするために、これは、非負整数パラメータkを用いて一般化され得る。非負整数xを次数kの指数ゴロムコードでエンコードするために:
1.上記の次数0の指数ゴロムコードを用いて
2.二進法でxmod2kをエンコードする。
HEVCでは、並進運動モデル(translation motion model)しか動き補償予測(Motion Compensation Prediction,MCP)のために適用されない。現実世界では、多くの種類の動き、例えば、ズームイン/アウト、回転、射影運動、及び他の不規則な動きを有する可能性がある。VVCでは、簡単化されたアフィン変換動き補償予測が4パラメータアフィンモデル及び6パラメータアフィンモデルにより適用される。図16に示されるように、ブロックのアフィン運動場は、4パラメータアフィンモデルについては2つの制御点動きベクトル(Control Point Motion Vectors,CPMV)、及び6パラメータアフィンモデルについては3つのCPMVによって記述される。
並進運動モデルと同様に、アフィンモデルによるサイド情報をシグナリングするための2つのモードもある。それらは、AFFINE_INTERモード及びAFFINE_MERGEモードである。
幅及び高さの両方が8よりも大きいCUについては、AF_INTERモードが適用され得る。CUレベルでのアフィンフラグは、AF_INTERモードが使用されるかどうかを示すためにビットストリームでシグナリングされる。
検査順序は、HEVC AMVPリスト構成における空間MVPのそれと同様である。最初に、現在のブロックと同じ参照ピクチャを有し、アフィンコーディングされている{A1,A0}内の最初のブロックから、左側の遺伝的アフィン動き予測子が導出される。第2に、現在のブロックと同じ参照ピクチャを有し、アフィンコーディングされている{B1,B0,B2}内の最初のブロックから、上側の遺伝的アフィン動き予測子が導出される。5つのブロックA1、A0、B1、B0、B2は、図19に表されている。
構成されたアフィン動き予測子は、同じ参照ピクチャを有している、図20に示されるような隣接するインターコーディングされたブロックから導出される制御点動きベクトル(CPMV)から成る。現在のアフィン運動モデルが4パラメータアフィンである場合に、CPMVの数は2であり、そうではなく、現在のアフィン運動モデルが6パラメータアフィンである場合に、CPMVの数は3である。左上CPMV
(外1)
(以降、バーmv0)は、現在のブロックと同じ参照ピクチャを有している、インターコーディングされているグループ{A,B,C}内の最初のブロックでのMVによって、導出される。右上CPMV
(外2)
(以降、バーmv1)は、現在のブロックと同じ参照ピクチャを有している、インターコーディングされているグループ{D,E}内の最初のブロックでのMVによって、導出される。左下CPMV
(外3)
(以降、バーmv2)は、現在のブロックと同じ参照ピクチャを有している、インターコーディングされているグループ{F,G}内の最初のブロックでのMVによって、導出される。
- 現在のアフィン運動モデルが4パラメータアフィンである場合に、構成されたアフィン動き予測子は、バーmv0及びバーmv1の両方が求められる、つまり、バーmv0及びバーmv1が現在のブロックの左上位置(座標(x0,y0)を有する)及び右上位置(座標(x1,y1)を有する)についての推定されたCPMVとして使用される場合にのみ、候補リストに挿入される。
- 現在のアフィン運動モデルが6パラメータアフィンである場合に、構成されたアフィン動き予測子は、バーmv0、バーmv1、及びバーmv2が全て求められる、つまり、バーmv0、バーmv1、及びバーmv2が現在のブロックの左上位置(座標(x0,y0)を有する)、右上位置(座標(x1,y1)を有する)及び右下位置(座標(x2,y2)を有する)についての推定されたCPMVとして使用される場合にのみ、候補リストに挿入される。
以下は、アフィン動き予測の数が最大値に達するまで適用される。
1)利用可能である場合に全てのCPMVをバーmv2に等しくセットすることによってアフィン動き予測子を導出する。
2)利用可能である場合に全てのCPMVをバーmv1に等しくセットすることによってアフィン動き予測子を導出する。
3)利用可能である場合に全てのCPMVをバーmv0に等しくセットすることによってアフィン動き予測子を導出する。
4)利用可能である場合に全てのCPMVをHEVC TMVPに等しくセットすることによってアフィン動き予測子を導出する。
5)全てのCPMVをゼロMVにセットすることによってアフィン動き予測子を導出する。
CUがAF_MERGEモードで適用される場合に、それは、有効な隣接する再構成されたブロックからアフィンモードによりコーディングされた最初のブロックを得る。そして、候補ブロックの選択順序は、図21(a)に示されるように、左から、上、右上、左下、左上へである(順にA、B、C、D、Eによって表される)。例えば、隣接する左下ブロックが、図21(b)でA0によって表されるように、アフィンモードでコーディングされる場合に、ブロックAを含む隣接するCU/PUの左上隅、右上隅、及び左下隅の制御点(CP)動きベクトルmv0 N、mv1 N及びmv2 Nがフェッチされる。そして、現在のCU/PU上の左上隅/右上/左下の動きベクトルmv0 C、mv1 C及びmv2 C(6パラメータアフィンモデルのためにのみ使用される)は、mv0 N、mv1 N及びmv2 Nに基づいて計算される。留意されるべきは、VTM-2.0では、現在のブロックがアフィンコーディングされている場合に、左上隅に位置するサブブロック(例えば、VTMでは、4×4ブロック)は、mv0を保存し、右上隅にあるサブブロックは、mv1を保存する。現在のブロックが6パラメータアフィンモデルでコーディングされる場合には、左下隅にあるサブブロックは、mv2を保存し、そうでない(4パラメータアフィンモデルによる)場合には、LBはmv2’を保存する。他のサブブロックは、MCのために使用されるMVを保存する。
遺伝によるアフィン候補(inherited affine candidate)とは、候補が、その有効な隣接するアフィンコーディングされたブロックのアフィン運動モデルから導出されることを意味する。最大2つの遺伝的アフィン候補が、隣接ブロックのアフィン運動モデルから導出され、候補リストに挿入される。左側予測子については、走査順序は{A0,A1}であり、上側予測子については、走査順序は{B0,B1,B2}である。
アフィンマージ候補リスト内の候補の数がMaxNumAffineCand(例えば、5つ)に満たない場合には、構成されたアフィン候補(constructed affine candidates)が候補リストに挿入される。構成されたアフィン候補とは、候補が、各制御点の隣接動き情報を結合することによって構成されることを意味する。
a)制御点の動き情報は、最初に、図22に示されている指定された空間近傍及び時間近傍から導出される。CPk(k=1,2,3,4)は、k番目の制御点を表す。A0、A1、A2、B0、B1、B2及びB3は、CPk(k=1,2,3)を予測するための空間的位置である。Tは、CP4を予測するための時間的位置である。
CP1、CP2、CP3及びCP4の座標は、夫々、(0,0)、(W,0)、(H,0)及び(W,H)であり、ここで、W及びHは、現在のブロックの幅及び高さである。
各制御点の動き情報は、次の優先順序に従って取得される:
- CP1については、チェック優先度はB2→B3→A2である。B2は、それが利用可能である場合に使用される。そうではない場合に、B3が利用可能であるならば、B3が使用される。B2及びB3の両方が利用不可能である場合には、A2が使用される。3つ全ての候補が利用不可能である場合には、CP1の動き情報は取得不可能である。
- CP2については、チェック優先度はB1→B0である。
- CP3については、チェック優先度はA1→A0である。
- CP4については、Tが使用される。
b)第2に、制御点の組み合わせが、アフィンマージ候補を構成するために使用される。
I.3つの制御点の動き情報が、6パラメータアフィン候補を構成するために必要とされる。3つの制御点は、次の4つの組み合わせ({CP1,CP2,CP4},{CP1,CP2,CP3},{CP2,CP3,CP4},{CP1,CP3,CP4})のうちの1つから選択され得る。組み合わせ{CP1,CP2,CP3}、{CP2,CP3,CP4}、{CP1,CP3,CP4}は、左上、右上、及び左下制御点によって表される6パラメータ運動モデルへ変換されることになる。
II.2つの制御点の動きベクトルが、4パラメータアフィン候補を構成するために必要とされる。2つの制御点は、次の2つの組み合わせ({CP1,CP2},{CP1,CP3})のうちの1つから選択され得る。2つの組み合わせは、左上及び右上制御点によって表される4パラメータ運動モデルへ変換されることになる。
III.構成されたアフィン候補の組み合わせは、次の順序:{CP1,CP2,CP3},{CP1,CP2,CP4},{CP1,CP3,CP4},{CP2,CP3,CP4},{CP1,CP2},{CP1,CP3}として候補リストに挿入される。
i.組み合わせごとに、各CPのためのリストXの参照インデックスはチェックされ、それらが全て同じである場合に、この組み合わせはリストXの有効なCPMVを有している。組み合わせがリスト0及びリスト1の両方の有効なCPMVを有してない場合には、この組み合わせは無効とマークされる。そうでない場合には、それは有効であり、CPMVはサブブロックマージリストに置かれる。
アフィンマージ候補リスト内の候補の数が5よりも少ない場合に、サブブロックマージ候補リストについて、4パラメータマージ候補は、MVが(0,0)にセットされ、予測方向がリスト0からの片予測(Pスライスの場合)及び双予測(Bスライスの場合)にセットされる。
VVCでサポートされている3つの異なったマージリスト構成プロセスがある。
1)サブブロックマージ候補リスト:それはATMVP及びアフィンマージ候補を含む。1つのマージリスト構成プロセスが、アフィンモード及びATMVPモードの両方について共有される。ここで、ATMVP及びアフィンマージ候補は順番に加えられ得る。サブブロックマージリストのサイズはスライスヘッダでシグナリングされ、最大値は5である。
2)片予測TPMマージリスト:三角予測モードについては、2つのパーティションがそれら自身のマージ候補インデックスを選択することができたとしても、2つのパーティションのための1つのマージリスト構成プロセスが共有される。このマージリストを構成するときに、ブロックの空間隣接ブロック及び2つの時間ブロックがチェックされる。空間近傍及び時間ブロックから導出された動き情報は、我々のIDFでは正則動き候補と呼ばれる。これらの正則動き候補は、複数のTPM航法を導出するために更に利用される。2つのパーティションがそれら自身の予測ブロックを生成するために異なる動きベクトルを使用し得るとしても、ブロック全体のレベルで変換が実行されることに留意されたい。
片予測TPMマージリストサイズは、5であるよう固定される。
3)正則マージリスト:残りのコーディングブロックについては、1つのマージリスト構成プロセスが共有される。ここで、空間/時間/HMVP、ペアワイズの組み合わされた双予測マージ候補、及びゼロ動き候補は、順番に挿入され得る。正則マージリストのサイズはスライスヘッダでシグナリングされ、最大値は6である。
全てのサブブロックに関連した動き候補は、非サブブロックマージ候補のための正則マージリストに加えて別個のマージリストに置かれる。
この寄稿では、通常のマージリスト内のATMVPマージ候補は、アフィンマージリストの第1の位置に動かされる。それにより、新しいリスト(すなわち、サブブロックベースのマージ候補リスト)内の全てのマージ候補は、サブブロックコーディングツールに基づく。
ATMVPは、サブブロックベースの時間動きベクトル予測(SbTMVP)としても知られている。
a.ATMVP候補(利用可能あっても利用不可能であってもよい);
b.遺伝的アフィン候補;
c.同一位置参照ピクチャでのMVを使用するTMVPに基づいた構成されたアフィン候補を含む構成されたアフィン候補;
d.ゼロMVとして4パラメータアフィンモデルをパディングする。
1.TMVPは、CUレベルで動きを予測するが、sbTMVPは、サブCUレベルで動きを予測する。
2.TMVPは、同一位置ピクチャ内の同一位置ブロック(同一位置ブロックは、現在のCuに対する右下又は中心ブロックである)から時間動きベクトルをフェッチするが、一方で、sbTMVPは、同一位置ピクチャから時間動き情報をフェッチする前に、動きシフトを適用し、動きシフトは、現在のCUの空間隣接ブロックの1つからの動きベクトルから取得される。
マージリスト設計とは異なり、VVCでは、履歴に基づいた動きベクトル予測(History-based Motion Vector Prediction)が用いられる。
この寄稿は、オプティカルフローによりサブブロックベースアフィン動き補償された予測を精緻化する方法を提案している。サブブロックベースのアフィン動き補償が実行された後、予測サンプルは、オプティカルフロー式によって導出された差を加えることによって精緻化される。これは、オプティカルフローによる予測精緻化(PROF)と呼ばれる。提案されている方法は、メモリアクセスバンド幅を増大させずにピクセルレベル粒度でのインター予測を達成することができる。
gx(i,j)=I(i+1,j)-I(i-1,j)
gy(i,j)=I(i,j+1)-I(i,j-1)
ΔI(i,j)=gx(i,j)×Δvx(i,j)+gy(i,j)×Δvy(i,j)
ここで、Δv(i,j)は、図27に示されるように、v(i,j)によって表される、サンプル位置(i,j)について計算されたピクセルMVと、ピクセル(i,j)が属するサブブロックのサブブロックMVとの間の差である。
6パラメータアフィンモデルについては、
I’(i,j)=I(i,j)+ΔI(i,j)
これらの文献で、我々は、ATMVPモードの設計を妥当かつ効率的にするためのいくつかのアプローチを開示した。これらは両方とも、その全文を参照により援用される。
VVCの現在の設計では、サブブロックベースの予測モードは次の問題を抱えている:
1)SPS内のアフィンAMVRフラグは、正則AMVRがオフされるときにオンされる可能性がある。
2)SPS内のアフィンAMVRフラグは、アフィンモードがオフされるときにオンされる可能性がある。
3)MaxNumSubblockMergeCandは、ATMVPが適用されないときに近似的にセットされない。
4)TMVPがスライスに対して無効にされ、ATMVPがシーケンスに対して有効にされるとき、Bスライスの同一位置ピクチャは識別されなかったが、同一位置ピクチャはATMVPプロセスで必要とされる。
5)TMVP及びATMVPは両方とも、参照ピクチャから動き情報をフェッチする必要があり、現在の設計では、それは同じであると想定されており、これは事前である可能性がある。
6)PROFは、そのオン/オフを制御するフラグを有するべきである。
以下の詳細な発明は、一般概念を説明するための例と見なされるべきである。これらの発明は、狭い意味で解釈されるべきではない。更に、これらの発明は、如何なる方法でも組み合わせ可能である。いくつかの実施形態は、代替時間動きベクトル予測(ATMVP)技術の例を用いて記載されるが、代替の実施形態では、サブブロックベースの時間動きベクトル予測(sbTMVP)技術が適用可能であってもよい。
a)一例で、アフィンAMVRのための制御情報は、アフィン予測が適用されない場合にはシグナリングされない。
b)一例で、アフィンAMVRは、アフィン予測がコンフォーマンスビットストリーム(conformance bitstream)で適用されない場合には無効にされるべきある(例えば、アフィンAMVRの利用は、偽であるとシグナリングされるべきである)。
c)一例で、アフィンAMVRのためのシグナリングされた制御情報は、アフィン予測が適用されない場合には無視されて、適用されないと推測されてもよい。
a)一例で、アフィンAMVRのための制御情報は、正則AMVRが適用されない場合にはシグナリングされない。
b)一例で、アフィンAMVRは、正則AMVRがコンフォーマンスビットストリームで適用されない場合には無効にされるべきである(アフィンAMVRフラグの利用は、偽であるとシグナリングされる)。
c)一例で、アフィンAMVRのためのシグナリングされた制御情報は、正則AMVRが適用されない場合には無視されて、適用されないと推測されてもよい。
d)一例で、適応動きベクトル分解の指示(例えば、1つのフラグ)は、正則AMVR(すなわち、並進運動に適用されるAMVR)及びアフィンAMVR(すなわち、アフィン運動に適用されるAMVR)などの複数のコーディング方法のためのAMVRの利用を制御するために、シーケンス/ピクチャ/スライス/タイルグループ/タイル/ブリック/他のビデオユニットでシグナリングされ得る。
i.一例で、そのような指示は、SPS/DPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダでシグナリングされ得る。
ii.代替的に、更に、正則AMVR及び/又はアフィンAMVRの利用の指示をシグナリングすべきかどうかは、その指示に依存してもよい。
1)一例で、そのような指示が、適応動きベクトル分解が無効にされることを示すとき、正則AMVRの利用の指示のシグナリングはスキップされてもよい。
2)一例で、そのような指示が、適応動きベクトル分解が無効にされることを示すとき、アフィンAMVRの利用の指示のシグナリングはスキップされてもよい。
iii.代替的に、更に、アフィンAMVRの利用の指示をシグナリングすべきかどうかは、アフィン予測モードの利用及び指示に依存してもよい。
1)例えば、そのような指示は、アフィン予測モードが無効にされる場合にスキップされてもよい。
iv.一例で、そのような指示は、現在のスライス/タイルグループ/ピクチャが先行ピクチャからのみ予測可能である場合にはシグナリングされてなくてもよく、偽であると導出され得る。
v.一例で、そのような指示は、現在のスライス/タイルグループ/ピクチャが後続ピクチャからのみ予測可能である場合にはシグナリングされなくてもよく、偽であると導出され得る。
vi.一例で、そのような指示は、現在のスライス/タイルグループ/ピクチャが先行ピクチャ及び後続ピクチャの両方から予測可能であるときにシグナリングされ得る。
a)一例で、アフィンAMVRのための制御情報は、アフィン予測が適用されないか又は正則AMVRが適用されない場合にはシグナリングされない。
i.一例で、アフィンAMVRは、コンフォーマンスビットストリームでアフィン予測が適用されないか又は正則AMVRが適用されない場合には無効にされるべきである(例えば、アフィンAMVRの利用は、偽であるとシグナリングされるべきである)。
ii.一例で、アフィンAMVRのためのシグナリングされた制御情報は、アフィン予測が適用されないか又は正則AMVRが適用されない場合には無視され、適用されないと推測されてもよい。
b)一例で、アフィンAMVRのための制御情報は、アフィン予測が適用されずかつ正則AMVRが適用されない場合にはシグナリングされない。
i.一例で、アフィンAMVRは、コンフォーマンスビットストリームでアフィン予測が適用されずかつ正則AMVRが適用されない場合には無効にされるべきある(例えば、アフィンAMVRの利用は、偽であるとシグナリングされるべきである)。
ii.一例で、アフィンAMVRのためのシグナリングされた制御情報は、アフィン予測が適用されずかつ正則AMVRが適用されない場合には無視されて、適用されないと推測されてもよい。
a)例えば、ATMVPが有効にされるか否かは、シーケンスレベルでシグナリングされたフラグ(例えば、SPS内のsps_sbtmvp_enabled_flag)にしか依存しなくてもよい。それはまた、VPS、DPS、APS、PPS、スライスヘッダ、タイルグループヘッダ、ピクチャヘッダ、などのようなシーケンス/ピクチャ/スライス/タイルグループ/タイルレベルでの何らかの他のビデオユニットでシグナリングされた1つ又は複数のシンタックス要素にも依存してよい。
i.代替的に、ATMVPが有効にされるかどうかは、シグナリングによらずに暗黙的に導出されてもよい。
ii.例えば、ATMVPは、TMVPがピクチャ又はスライス又はタイルグループに対して有効にされない場合には、ピクチャ又はスライス又はタイルグループに対して有効にされない。
b)例えば、MaxNumSubblockMergeCandに関連したシンタックス要素(例えば、five_minus_max_num_subblock_merge_cand)をシグナリングすべきかどうか及び/又はどのようにシグナリングすべきかは、ATMVPが有効にされるか否かに依存してもよい。
i.例えば、five_minus_max_num_subblock_merge_candは、ATMVPが有効にされない場合にはコンフォーマンスビットストリームにおいて制約され得る。
1)例えば、five_minus_max_num_subblock_merge_candは、ATMVPが有効にされない場合には、固定数に等しいことを許されない。2つの例で、固定数は0又は5であってよい。
2)例えば、five_minus_max_num_subblock_merge_candは、ATMVPが有効にされない場合には、固定数よりも大きいことを許されない。1つの例で、固定数は4であってよい。
3)例えば、five_minus_max_num_subblock_merge_candは、ATMVPが有効にされない場合には、固定数よりも小さいことを許されない。1つの例で、固定数は1であってよい。
ii.例えば、five_minus_max_num_subblock_merge_candは、それが存在しない場合にはfive_minus_max_num_subblock_merge_cand-(ATMVPが有効にされる?0:1)としてセットされてもよく、ATMVPが有効にされるかどうかは、SPS内のフラグ(例えば、sps_sbtmvp_enabled_flag)にしか依存しないわけではない。
c)例えば、MaxNumSubblockMergeCandは、1つ以上のシンタックス要素(例えば、five_minus_max_num_subblock_merge_cand)及びATMVPが有効にされるか否かに応じて導出されてもよい。
i.例えば、MaxNumSubblockMergeCandは、MaxNumSubblockMergeCand=5-five_minus_max_num_subblock_merge_cand-(ATMVPが有効にされる?0:1)として導出され得る。
d)MaxNumSubblockMergeCandは、ATMVPが有効にされるときに1にセットされてもよく、アフィン運動予測は無効にされる。
a)一例で、デフォルト候補に対するブロック全体予測は、並進運動モデル(例えば、正則マージ候補に対するブロック全体予測)に続いてもよい。
b)一例で、デフォルト候補に対するサブブロック予測は、並進運動モデル(例えば、ATMP候補に対するサブブロック予測)に続いてもよい。
c)一例で、デフォルト候補に対するサブブロック予測は、アフィン運動モデル(例えば、アフィンマージ候補に対するサブブロック予測)に続いてもよい。
d)一例で、デフォルト候補は、0に等しいアフィンフラグを有してもよい。
i.代替的に、デフォルト候補は、1に等しいアフィンフラグを有してもよい。
e)一例で、ブロックに対する後続の手順は、そのブロックがデフォルト候補でコーディングされるかどうかに依存してもよい。
i.一例で、ブロックは、ブロック全体予測デコーディングされているものとして扱われ(例えば、選択されたデフォルト候補は、ブロック全体予測を使用する)、
1)例えば、PROFは、ブロックに適用されなくてもよい。
2)例えば、DMVR(Decode-side Motion Vector Refinement)は、ブロックに適用されてもよい。
3)例えば、BDOF(Bi-Directional Optical Flow)は、ブロックに適用されてもよい。
4)例えば、デブロッキングフィルタは、ブロック内のサブブロック間の境界に適用されなくてもよい。
ii.一例で、ブロックは、サブブロック予測でコーディングされているものとして扱われ(例えば、選択されたデフォルト候補は、サブブロック予測を使用する)、
1)例えば、PROFは、ブロックに適用されてもよい。
2)例えば、DMVR(Decode-side Motion Vector Refinement)は、ブロックに適用されなくてもよい。
3)例えば、BDOF(Bi-Directional Optical Flow)は、ブロックに適用されなくてもよい。
4)例えば、デブロッキングフィルタは、ブロック内のサブブロック間の境界に適用されてもよい。
iii.一例で、ブロックは並進予測でコーディングされているものとして扱われ、
1)例えば、PROFは、ブロックに適用されなくてもよい。
2)例えば、DMVR(Decode-side Motion Vector Refinement)は、ブロックに適用されてもよい。
3)例えば、BDOF(Bi-Directional Optical Flow)は、ブロックに適用されてもよい。
4)例えば、デブロッキングフィルタは、ブロック内のサブブロック間の境界に適用されなくてもよい。
iv.一例で、ブロックは、アフィン予測でコーディングされているものとして扱われ、
1)例えば、PROFは、ブロックに適用されてもよい。
2)例えば、DMVR(Decode-side Motion Vector Refinement)は、ブロックに適用されなくてもよい。
3)例えば、BDOF(Bi-Directional Optical Flow)は、ブロックに適用されなくてもよい。
4)例えば、デブロッキングフィルタは、ブロック内のサブブロック間の境界に適用されてもよい。
f)一例で、1つ又は複数の種類のデフォルト候補が、サブブロックマージ候補リストに置かれてもよい。
i.例えば、ブロック全体予測による第1の種類のデフォルト候補及びサブブロック予測による第2の種類のデフォルト候補の両方がサブブロックマージ候補リストに置かれてもよい。
ii.例えば、並進予測による第1の種類のデフォルト候補及びアフィン予測による第2の種類のデフォルト候補の両方がサブブロックマージ候補リストに置かれてもよい。
iii.各種類からのデフォルト候補の最大数は、ATMVPが有効にされるかどうか及び/又はアフィン予測が有効にされるかどうかに依存してもよい。
g)一例で、Bスライスについては、デフォルト候補は、全てのサブブロックについてゼロ動きベクトルを有してもよく、双予測が適用され、両方の参照ピクチャは0にセットされる。
h)一例で、Pスライスについては、デフォルト候補は、全てのサブブロックについてゼロ動きベクトルを有してもよく、片予測が適用され、参照ピクチャは0にセットされる。
i)どの種類のデフォルト候補がサブブロックマージ候補リストに置かれるかは、ATMVP及び/又はアフィン予測モードの利用に依存してもよい。
i.一例で、アフィン予測モードが有効にされるとき、アフィンフラグが1であるアフィン運動モデル(例えば、全てのCPMVが0に等しい)によるデフォルト候補が加えられ得る。
ii.一例で、アフィン予測モード及びATMVPの両方が有効にされるとき、アフィンフラグが0である並進運動モデル(例えば、ゼロMV)によるデフォルト候補及び/又はアフィンフラグが1であるアフィン運動モデル(例えば、全てのCPMVが0に等しい)によるデフォルト候補が加えられ得る。
1)一例で、並進運動モデルによるデフォルト候補は、アフィン運動モデルによるデフォルト候補の前に加えられ得る。
iii.一例で、アフィン予測が無効にされ、ATMVPが有効にされるとき、アフィンフラグが0である並進運動モデルによるデフォルト候補が加えられ得、アフィン運動によるデフォルト候補は加えられない。
j)上記の方法は、ATMVP候補及び/又は空間/時間/構成されたアフィンマージ候補をチェックした後でサブブロックマージ候補が満たされていないときに適用され得る。
a)一例で、ATMVPの同一位置ピクチャは、TMVPの同一位置ピクチャとは異なってもよい。
b)一例で、ATMVPに関する情報は、Iスライス又はIタイルグループ又はIピクチャについてシグナリングされなくてもよい。
c)一例で、ATMVPに関する情報は、ATMVPがシーケンスレベルで有効にされるとシグナリングされる(例えば、sps_sbtmvp_enabled_flagが1に等しい)場合にのみシグナリングされ得る。
d)一例で、ATMVPに関する情報は、TMVPがスライス又はタイルグループ又はピクチャに対して無効にされる場合には、そのスライス又はタイルグループ又はピクチャについてシグナリングされなくてもよい。
i.例えば、ATMVPは、この場合に、無効にされると推測され得る。
e)ATMVPは、ATMVPの利用のシグナリングされた情報にかかわらず、TMVPがスライス(又はタイルグループ又はピクチャ)に対して無効にされる場合には、そのスライス(又はタイルグループ又はピクチャ)に対して無効にされると推測され得る。
a)代替的に、それは、sps_temporal_mvp_enabled_flagの値に依存してもよい。
b)代替的に、それは、slice_temporal_mvp_enabled_flagの値に依存してもよい。
c)sps_temporal_mvp_enabled_flag又はslice_temporal_mvp_enabled_flagが真であるとき、サブブロックベースの時間マージ候補は、サブブロックマージ候補に加えられてもよい。
i.代替的に、sps_temporal_mvp_enabled_flag及びslice_temporal_mvp_enabled_flagが両方とも真であるとき、サブブロックベースの時間マージ候補は、サブブロックマージ候補に加えられてもよい。
ii.代替的に、sps_temporal_mvp_enabled_flag又はslice_temporal_mvp_enabled_flagが偽であるとき、サブブロックベースの時間マージ候補は、サブブロックマージ候補に加えられるべきではない。
d)代替的に、サブブロックベースの時間マージ候補を加えることの指示は、シーケンス/ピクチャ/スライス/タイルグループ/タイル/ブリック/他のビデオユニットでシグナリングされてもよい。
i.代替的に、更に、それは、時間動きベクトル予測の利用(例えば、sps_temporal_mvp_enabled_flag及び/又はslice_temporal_mvp_enabled_flag)に従って条件付きでシグナリングされてもよい。
a)一例で、条件は、ATMVP又はTMVPのうちの一方が有効にされることである。
b)一例で、条件は、ATMVP又はTMVP又はアフィン動き情報予測のうちの1つが有効にされることである。
a)代替的に、サブブロックベースの時間マージ候補は、ATMVPが現在のピクチャ/スライス/タイルグループに対して有効にされるときにのみサブブロックマージ候補リストに置かれてよい。
a)代替的に、MaxNumSubblockMergeCandは、TMVPが使用され得るかどうかに依存してもよい。
b)例えば、MaxNumSubblockMergeCandは、サブブロックベースの時間マージ候補(又はTMVP)が使用され得ない場合には、4よりも大きくてはならない。
i.例えば、MaxNumSubblockMergeCandは、サブブロックベースの時間マージ候補(又はTMVP)が使用され得ず、ATMVPが使用され得る場合には、4よりも大きくてはならない。
ii.例えば、MaxNumSubblockMergeCandは、サブブロックベースの時間マージ候補(又はTMVP)が使用され得ず、ATMVPが使用され得ない場合には、4よりも大きくてはならない。
iii.例えば、MaxNumSubblockMergeCandは、サブブロックベースの時間マージ候補(又はTMVP)が使用され得ず、ATMVPが使用され得ない場合には、3よりも大きくてはならない。
a)一例で、1つ又は複数のシンタックス要素(例えば、PROGが有効にされるかどうかを示すフラグ)は、アフィン予測が有効にされるかどうかを示すシンタックス要素などの他のシンタックス要素に応じて条件付きでシグナリングされ得る。
i.例えば、PROFが有効にされるかどうかを示すシンタックス要素は、シグナリングされなくてもよく、PROFは、アフィン予測が無効にされるときには、無効にされると推測される。
b)一例で、PROFが有効にされるかどうかを示すシンタックス要素は、アフィン予測がコンフォーマンスビットストリームで無効にされるときには、PROFが無効にされるとセットされなければならない。
c)一例で、アフィン予測がコンフォーマンスビットストリームで無効にされるときに、PROFが有効にされるかどうかを示すシグナリングされたシンタックス要素は、無視されて、PROFは、無効にされると推測される。
d)一例で、1つのシンタックス要素が、PROFが片予測にのみ適用されるか否かを示すためにシグナリングされてもよい。
次の全ての実施形態については、シンタックス要素は、SPS/PPS/スライスヘッダ/ピクチャヘッダ/タイルグループヘッダ/タイル又は他のビデオユニットなどの異なるレベルでシグナリングされてもよい。
視覚メディアデータのビットストリーム表現におけるアフィン適応動きベクトル分解(AMVR)技術に関する制御情報に応じて、前記視覚メディアデータに対して前記アフィンAMVR技術を使用すべきかどうかを決定するステップであり、前記制御情報は、規則に基づき前記ビットストリーム表現において包含又は削除される、前記決定するステップと、
前記視覚メディアデータと該視覚メディアデータの前記ビットストリーム表現との間の変換を実行するステップと
を有する方法。
前記規則は、
(1)アフィン予測が前記変換中に使用されるかどうか、
(2)正則AMVR技術が前記変換中に使用されるかどうか、
(3)適応動きベクトル分解に関する情報により、前記アフィンAMVR技術が有効又は無効にされることが示されるかどうか
のうちの少なくとも1つに基づき、前記制御情報が前記ビットストリーム表現において包含又は削除されることを定める、
方法。
前記規則は、アフィン予測が前記変換中に使用されない場合に前記制御情報を除くことを定める、
方法。
前記規則は、アフィン予測が前記変換中に使用される場合に前記制御情報を含めることを定める、
方法。
前記アフィンAMVR技術の利用は、アフィン予測が使用されない場合に前記変換中に無効にされる、
方法。
前記適応動きベクトル分解に関する情報は、複数のコーディング技術のための前記アフィンAMVR技術の利用を制御するために使用され、
前記複数のコーディング技術は、正則AMVR技術及びアフィンAMVR技術を有する、
方法。
前記規則は、前記適応動きベクトル分解に関する情報により前記アフィンAMVR技術が無効にされることが示される場合に、前記アフィンAMVR技術に関する前記制御情報を除くことを定める、
方法。
前記規則は、前記適応動きベクトル分解に関する情報により前記アフィンAMVR技術が有効にされることが示される場合に、前記アフィンAMVR技術に関する前記制御情報を含めることを定める、
方法。
前記適応動きベクトル分解に関する情報は、シーケンスレベルで前記ビットストリーム表現においてシグナリングされる、
方法。
前記規則は、正則AMVR技術が前記変換中に使用される場合に、前記アフィンAMVR技術に関する前記制御情報を含めることを更に定める、
方法。
前記規則は、正則AMVR技術が前記変換中に適用されない場合に、前記アフィンAMVR技術に関する前記制御情報を除くことを更に定める、
方法。
前記アフィンAMVR技術は、前記正則AMVR技術が前記変換中に適用されない場合に無効にされる、
方法。
前記制御情報は、前記変換中の複数の適応動きベクトル分解技術の使用を示す同じフィールドを含む、
方法。
アフィン予測が前記変換中に使用されない場合に、前記アフィンAMVR技術に関する前記制御情報を無視するステップを更に有する、
方法。
前記規則は、正則適応動きベクトル分解及びアフィン予測が前記変換中に使用されるか否かに基づき、前記制御情報を包含又は削除することを定める、
方法。
前記規則は、前記正則適応動きベクトル分解及び前記アフィン予測のうちの少なくとも一方が前記変換中に適用されない場合に、前記制御情報を除くことを定める、
方法。
前記規則は、アフィン予測の利用に関連した1つ以上の基準に基づいて、前記ビットストリーム表現において前記制御情報を包含又は削除することを更に定める、
方法。
前記規則は、アフィン予測の利用が無効にされる場合に、前記ビットストリーム表現において前記制御情報を除くことを定め、更には、前記ビットストリーム表現における前記制御情報の欠如は、アフィンAMVRの利用が無効にされていること推測するために使用される、
方法。
現在のスライス、タイルグループ、又はピクチャが前記視覚メディアデータに関連した1つ以上の先行ピクチャからのみ予測される場合に、前記制御情報は前記ビットストリーム表現において除かれる、
方法。
現在のスライス、タイルグループ、又はピクチャが前記視覚メディアデータに関連した1つ以上の後続ピクチャからのみ予測される場合に、前記制御情報は前記ビットストリーム表現において除かれる、
方法。
現在のスライス、タイルグループ、又はピクチャが前記視覚メディアデータに関連した1つ以上の後続又は先行ピクチャから予測される場合に、前記制御情報は前記ビットストリーム表現において除かれる、
方法。
前記アフィンAMVR技術は、アフィン予測又は正則AMVR技術が前記変換中に使用されない場合に無効にされる、
方法。
前記アフィンAMVR技術に関する前記制御情報は、アフィンAMVRが無効にされる場合には、前記ビットストリーム表現において除かれる、
方法。
前記規則は、アフィン予測又は正則AMVR技術のうちの少なくとも一方が前記変換中に適用されない場合に、前記アフィンAMVR技術に関する前記制御情報を除くことを更に定める、
方法。
前記規則は、アフィン予測も正則AMVR技術も前記変換中に適用されない場合に、前記アフィンAMVR技術に関する前記制御情報を除くことを更に定める、
方法。
前記制御情報は、シーケンス、ピクチャ、スライス、タイルグループ、タイル、現在のビデオブロックに関連したブリック、又は前記視覚メディアデータの他のビデオブロック、のうちの1つに含まれる、
方法。
前記制御情報は、シーケンスパラメータセット(SPS)、復号化パラメータセット(DPS)、ビデオパラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、又はタイルグループヘッダ、のうちの1つに含まれる、
方法。
サブブロックベースの時間的動きベクトル予測(sbTMVP)技術が視覚メディアデータに適用されるか否かの決定を行うステップと、
前記決定に応答して、前記視覚メディアデータに含まれる現在のビデオブロックについてサブブロックマージ候補リストを生成するステップと、
前記サブブロックマージ候補リストを用いて、前記現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行するステップと
を有する方法。
前記サブブロックマージ候補リスト内の候補の最大数は、前記sbTMVP技術が前記変換に適用されるか否か、又は時間動きベクトル予測(TMVP)技術が前記変換に適用されるか否か、のうちの少なくとも1つに依存する、
方法。
前記サブブロックマージ候補リスト内の候補の最大数は、サブブロックベースの時間マージ候補が使用されるかどうかに依存する、
方法。
前記サブブロックベースの時間マージ候補は、時間動きベクトル予測(TMVP)技術及び前記sbTMVP技術が前記変換に適用される場合に使用される、
方法。
前記ビットストリーム表現内のフィールドは、前記sbTMVP技術が前記変換に適用されるか否かを明示的に示す、
方法。
前記フィールドは、シーケンスレベル又はビデオパラメータセットレベル又はピクチャパラメータセットレベル又はスライスレベル又はタイルグループレベル又はピクチャヘッダレベルにある、
方法。
時間動きベクトル予測(TMVP)技術がピクチャ又はスライス又はタイルグループに適用されないことを検出すると、前記sbTMVP技術は前記ピクチャ又は前記スライス又は前記タイルグループに適用されないと決定するステップを更に有する、
方法。
前記サブブロックマージ候補リスト内の候補の最大数に関係がある前記ビットストリーム表現内の1つ以上のシンタックス要素は、前記sbTMVP技術が前記変換に適用されるか否かに依存する、
方法。
前記sbTMVP技術が前記変換に適用されないと決定すると、前記1つ以上のシンタックス要素の値を制約するステップを更に有する、
方法。
前記サブブロックマージ候補リスト内の候補の最大数に関係がある1つ以上のシンタックス要素は、前記ビットストリーム表現において選択的に包含又は削除される、
方法。
前記サブブロックマージ候補リスト内の候補の最大数は、0、1、又は5である、
方法。
現在のビデオブロックとビットストリーム表現との間の変換中に、該変換のためのサブブロックマージ候補リストに1つ以上のデフォルトのマージ候補を付け足すステップと、
付け足された前記1つ以上のデフォルトのマージ候補を含む前記サブブロックマージ候補リストを用いて、前記変換を実行するステップと
を含む方法。
デフォルト候補は、サブブロック予測タイプと関連付けられる、
方法。
前記サブブロック予測タイプは、並進運動モデル又はアフィン運動モデルに基づく予測を含む、
方法。
デフォルト候補は、ブロック全体予測タイプと関連付けられる、
方法。
前記ブロック全体予測タイプは、並進運動モデル又はアフィン運動モデルに基づく予測を含む、
方法。
ビデオの現在のビデオブロックとビットストリーム表現との間の変換中に、該変換へのサブブロックベースの時間的動きベクトル予測(sbTMVP)の適用可能性を決定するステップであり、前記ビットストリーム表現中の1つ以上のビットが前記決定に対応する、前記決定するステップと、
前記決定に基づき前記変換を実行するステップと
を有する方法。
前記1つ以上のビットは、ピクチャヘッダ又はスライスヘッダ又はタイルグループヘッダに含まれる、
方法。
前記変換は、時間動きベクトル予測(TMVP)を使用した前記ビデオの前記変換のために使用される他の同一位置ピクチャとは異なる同一位置ピクチャをATMVPのために使用する、
方法。
前記1つ以上のビットは、Iスライス又はIタイルグループ又はIピクチャに含まれる、
方法。
前記1つ以上のビットは、sbTMVPがシーケンスレベルで適用される場合に、前記シーケンスレベルで前記ビットストリーム表現に含まれる、
方法。
前記1つ以上のビットは、TMVPがスライスレベル
又はタイルグループレベル又はピクチャレベルについて無効にされる場合に、前記スライスレベル又は前記タイルグループレベル又は前記ピクチャレベルで前記ビットストリーム表現において除かれる、
方法。
sbTMVPは、適用不可であると決定される、
方法。
TMVPは、スライス又はタイルグループ又はピクチャについて無効にされ、方法は、
前記ビットストリーム表現内の前記1つ以上のビットにかかわらず、前記スライス又は前記タイルグループ又は前記ピクチャについてsbTMVPが無効にされると推測するステップを更に有する、
方法。
時間的動きベクトル予測(TMVP)ステップ又はサブブロックベースの時間的動きベクトル予測(sbTMVP)ステップに関連した条件に基づき選択的にサブブロックマージ候補リストを構成するステップと、
前記サブブロックマージ候補リストに基づき現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換を実行するステップと
を有する方法。
前記条件は、シーケンスパラメータセットレベル又はスライスレベル又はタイルレベル又はブリックレベルでの前記ビットストリーム表現内のフラグの存在に対応する、
方法。
前記サブブロックマージ候補リストは、sbTMVPステップ及びTMVPステップが両方とも、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについて有効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、
方法。
前記サブブロックマージ候補リストは、sbTMVPステップが、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについて有効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、
方法。
前記サブブロックマージ候補リストは、前記現在のビデオブロックが属するピクチャ又はタイル又はタイルグループについてsbTMVPステップが有効にされTMVPステップが無効にされる場合にのみ、サブブロックベースの時間マージ候補を用いて構成される、方法。
前記ビットストリーム表現内のフラグは、サブブロックベースの時間マージ候補が前記変換中に使用されるか否かに基づき包含又は削除される、
方法。
前記フラグは、sps_temporal_mvp_enabled_flag又はsps_sbtmvp_enabled_flagの少なくとも1つを有する、
方法。
視覚メディアデータと該視覚メディアデータのビットストリーム表現との間の変換中に、前記視覚メディアデータに関連した同一位置参照ピクチャに関する情報を決定するステップであり、前記情報は、時間動き情報にアクセスするコーディングモードが有効にされるかどうかに基づき前記ビットストリーム表現において包含又は削除される、前記決定するステップと、
前記情報に従って前記同一位置参照ピクチャを決定するステップと、
前記同一位置参照ピクチャに基づき、前記視覚メディアデータと該視覚メディアデータの前記ビットストリーム表現との間の前記変換を実行するステップと
を有する方法。
前記情報は、前記同一位置参照ピクチャ及び/又は前記同一位置参照ピクチャの参照インデックスを導出するために使用される参照ピクチャリストを示す、
方法。
前記コーディングモードは、時間動きベクトル予測(TMVP)コーディング技術を有する、
方法。
視覚メディアデータのビデオブロックと前記視覚メディアデータのビットストリーム表現との間の変換を実行するステップと、
前記変換中に、規則に基づき前記ビットストリーム表現において包含又は削除される制御情報に応じて、オプティカルフローを使用した予測精緻化(PROF)を適用すべきかどうか決定するステップと
を有する方法。
前記規則は、アフィン予測が前記変換に適用されるか否かに基づき、前記ビットストリーム表現において前記制御情報を包含又は削除することを定める、
方法。
PROFの適用は、前記変換に対するアフィン予測の無効化に基づき無効にされる、
方法。
前記規則は、アフィン予測が無効にされる場合に前記制御情報を除くことを更に定める、
方法。
アフィン予測は無効にされ、方法は、
PROFが前記変換に対して無効にされると推測するステップを更に有する、
方法。
PROFの適用は、前記ビットストリーム表現内の対応するフラグに基づき片予測のためにのみ関連付けられる、
方法。
前記制御情報は、シーケンス、ピクチャ、スライス、タイルグループ、タイル、現在のビデオブロックに関連したブリック、又は前記視覚メディアデータの他のビデオブロック、のうちの1つに含まれる、
方法。
前記制御情報は、シーケンスパラメータセット(SPS)、復号化パラメータセット(DPS)、ビデオパラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、又はタイルグループヘッダ、のうちの1つに含まれる、
方法。
前記変換は、前記現在のビデオブロックから前記ビットストリーム表現を生成することを含む、
方法。
前記変換は、前記ビットストリーム表現から前記現在のビデオブロックのピクセル値を生成することを含む、
方法。
Claims (14)
- ビデオデータを処理する方法であって、
ビデオの視覚メディアデータと前記ビデオのビットストリームとの間の変換を実行するステップを有し、
前記変換に対してアフィン予測モードを有効にすべきかどうかは、前記変換中に決定され、
第1指示が前記ビットストリームに含まれるかどうかは、前記変換に対して前記アフィン予測モードを有効にすべきかどうかに基づき、前記第1指示は、許されている複数の動き精度の組から第1動き精度を、前記アフィン予測モードで決定された動き情報について決定するために使用されるツールを有効にすべきかどうかを示し、
前記第1指示が前記ビットストリームに含まれるかどうかは、第2指示に更に基づき、前記第2指示は、前記許されている複数の動き精度の組から前記第1動き精度を、前記アフィン予測モードで決定された動き情報について決定し、前記許されている複数の動き精度の組から第2動き精度を、非アフィン予測モードで決定された動き情報について決定するために使用されるツールを有効にすべきかどうかを示す、
方法。 - 前記第1指示は、前記アフィン予測モードが無効にされることに応答して、前記ビットストリームに含まれない、
請求項1に記載の方法。 - 前記ツールは、前記アフィン予測モードが無効にされることに応答して、前記アフィン予測モードに対して無効にされる、
請求項1又は2に記載の方法。 - 前記第1指示は、前記アフィン予測モードが無効にされることに応答して、無視されて、前記ツールが前記アフィン予測モードに対して無効にされることを示すと推測される、
請求項1乃至3のうちいずれか一項に記載の方法。 - 前記第1指示は、前記第2指示により前記ツールが前記アフィン予測モード及び前記非アフィン予測モードについて無効にされることが示されることに応答して、前記ビットストリームに含まれない、
請求項1に記載の方法。 - 前記第2指示により前記ツールが前記アフィン予測モード及び前記非アフィン予測モードについて無効にされることが示されることに応答して、第3指示が前記ビットストリームに含まれず、前記第3指示は、前記許されている複数の動き精度の組から前記動き精度を、前記非アフィン予測モードで決定された動き情報について決定するために使用されるツールを有効にすべきかどうかを示す、
請求項1又は5に記載の方法。 - 前記第2指示は、シーケンスパラメータセット(SPS)レベルで前記ビットストリームに含まれる、
請求項1、5、又は6に記載の方法。 - 前記第1指示は、シーケンスパラメータセット(SPS)レベルで前記ビットストリームに含まれる、
請求項1に記載の方法。 - 前記変換に対して前記アフィン予測モードを有効にすべきかどうかは、シーケンスパラメータセット(SPS)レベルで前記ビットストリームに含まれる第3指示を用いて示される、
請求項1乃至5及び8のうちいずれか一項に記載の方法。 - 前記変換は、前記視覚メディアデータを前記ビットストリームにエンコードすることを含む、
請求項1乃至9のうちいずれか一項に記載の方法。 - 前記変換は、前記ビットストリームから前記視覚メディアデータをデコードすることを含む、
請求項1乃至9のうちいずれか一項に記載の方法。 - ビデオデータを処理する装置であって、
プロセッサと、命令を含む非一時的なメモリとを有し、
前記命令は、前記プロセッサによる実行時に、前記プロセッサに、ビデオの視覚メディアデータと前記ビデオのビットストリームとの間の変換を実行させ、
前記変換に対してアフィン予測モードを有効にすべきかどうかは、前記変換中に決定され、
第1指示が前記ビットストリームに含まれるかどうかは、前記変換に対して前記アフィン予測モードを有効にすべきかどうかに基づき、前記第1指示は、許されている複数の動き精度の組から第1動き精度を、前記アフィン予測モードで決定された動き情報について決定するために使用されるツールを有効にすべきかどうかを示し、
前記第1指示が前記ビットストリームに含まれるかどうかは、第2指示に更に基づき、前記第2指示は、前記許されている複数の動き精度の組から前記第1動き精度を、前記アフィン予測モードで決定された動き情報について決定し、前記許されている複数の動き精度の組から第2動き精度を、非アフィン予測モードで決定された動き情報について決定するために使用されるツールを有効にすべきかどうかを示す、
装置。 - 命令を記憶している非一時的なコンピュータ可読記憶媒体であって、
前記命令は、プロセッサに、ビデオの視覚メディアデータと前記ビデオのビットストリームとの間の変換を実行させ、
前記変換に対してアフィン予測モードを有効にすべきかどうかは、前記変換中に決定され、
第1指示が前記ビットストリームに含まれるかどうかは、前記変換に対して前記アフィン予測モードを有効にすべきかどうかに基づき、前記第1指示は、許されている複数の動き精度の組から第1動き精度を、前記アフィン予測モードで決定された動き情報について決定するために使用されるツールを有効にすべきかどうかを示し、
前記第1指示が前記ビットストリームに含まれるかどうかは、第2指示に更に基づき、前記第2指示は、前記許されている複数の動き精度の組から前記第1動き精度を、前記アフィン予測モードで決定された動き情報について決定し、前記許されている複数の動き精度の組から第2動き精度を、非アフィン予測モードで決定された動き情報について決定するために使用されるツールを有効にすべきかどうかを示す、
非一時的なコンピュータ可読記憶媒体。 - ビデオのビットストリームを記憶する方法であって、
前記ビデオの視覚メディアデータから前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶するステップと
を有し、
前記生成するステップに対してアフィン予測モードを有効にすべきかどうかは、前記生成するステップ中に決定され、
第1指示が前記ビットストリームに含まれるかどうかは、前記生成するステップに対して前記アフィン予測モードを有効にすべきかどうかに基づき、前記第1指示は、許されている複数の動き精度の組から第1動き精度を、前記アフィン予測モードで決定された動き情報について決定するために使用されるツールを有効にすべきかどうかを示し、
前記第1指示が前記ビットストリームに含まれるかどうかは、第2指示に更に基づき、前記第2指示は、前記許されている複数の動き精度の組から前記第1動き精度を、前記アフィン予測モードで決定された動き情報について決定し、前記許されている複数の動き精度の組から第2動き精度を、非アフィン予測モードで決定された動き情報について決定するために使用されるツールを有効にすべきかどうかを示す、
方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023122288A JP2023145610A (ja) | 2019-05-21 | 2023-07-27 | アフィンモードのための適応動きベクトル差分分解 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019087805 | 2019-05-21 | ||
CNPCT/CN2019/087805 | 2019-05-21 | ||
PCT/CN2020/091537 WO2020233659A1 (en) | 2019-05-21 | 2020-05-21 | Adaptive motion vector difference resolution for affine mode |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023122288A Division JP2023145610A (ja) | 2019-05-21 | 2023-07-27 | アフィンモードのための適応動きベクトル差分分解 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022533056A JP2022533056A (ja) | 2022-07-21 |
JP7323641B2 true JP7323641B2 (ja) | 2023-08-08 |
Family
ID=73458359
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021568037A Active JP7377894B2 (ja) | 2019-05-21 | 2020-05-21 | サブブロックマージモードでのシンタックスシグナリング |
JP2021566967A Active JP7323641B2 (ja) | 2019-05-21 | 2020-05-21 | アフィンモードのための適応動きベクトル差分分解 |
JP2023122288A Pending JP2023145610A (ja) | 2019-05-21 | 2023-07-27 | アフィンモードのための適応動きベクトル差分分解 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021568037A Active JP7377894B2 (ja) | 2019-05-21 | 2020-05-21 | サブブロックマージモードでのシンタックスシグナリング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023122288A Pending JP2023145610A (ja) | 2019-05-21 | 2023-07-27 | アフィンモードのための適応動きベクトル差分分解 |
Country Status (6)
Country | Link |
---|---|
US (4) | US11627313B2 (ja) |
EP (2) | EP3954119A4 (ja) |
JP (3) | JP7377894B2 (ja) |
KR (2) | KR102701594B1 (ja) |
CN (5) | CN113906759A (ja) |
WO (4) | WO2020233659A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3954119A4 (en) | 2019-05-21 | 2022-06-22 | Beijing Bytedance Network Technology Co., Ltd. | SYNTAX SIGNALING IN A SUBBLOCK MERGE MODE |
CN118612459A (zh) | 2019-06-14 | 2024-09-06 | 现代自动车株式会社 | 用于利用帧间预测来编码和解码视频的方法和装置 |
JP7328365B2 (ja) * | 2019-06-14 | 2023-08-16 | エルジー エレクトロニクス インコーポレイティド | 双予測(bi-prediction)が適用される場合、加重平均のための加重値インデックス情報を導出する画像デコード方法及びその装置 |
US20220191472A1 (en) * | 2019-07-05 | 2022-06-16 | Lg Electronics Inc. | Image encoding/decoding method and device for deriving weight index of bidirectional prediction, and method for transmitting bitstream |
MX2022000234A (es) * | 2019-07-05 | 2022-04-07 | Lg Electronics Inc | Metodo y dispositivo de codificacion/decodificacion de video para derivar el indice de ponderacion para prediccion bidireccional de candidato de fusion, y metodo para transmitir flujo de bits. |
CN114342377A (zh) * | 2019-07-05 | 2022-04-12 | Lg电子株式会社 | 用于执行双向预测的图像编码/解码方法和设备及发送比特流的方法 |
MX2022000834A (es) * | 2019-08-08 | 2022-02-10 | Fg innovation co ltd | Dispositivo y metodo para la codificacion de datos de video. |
WO2021027767A1 (en) | 2019-08-10 | 2021-02-18 | Beijing Bytedance Network Technology Co., Ltd. | Position restriction for inter coding mode |
BR112022007408A2 (pt) | 2019-10-18 | 2022-09-27 | Beijing Bytedance Network Tech Co Ltd | Método e aparelho de processamento de vídeo, e, meio legível por computador |
CN115398892A (zh) * | 2020-03-23 | 2022-11-25 | 抖音视界有限公司 | 仿射merge和仿射运动矢量预测模式的预测细化 |
CN112911308B (zh) * | 2021-02-01 | 2022-07-01 | 重庆邮电大学 | 一种h.266/vvc的快速运动估计方法及存储介质 |
Family Cites Families (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101990103B (zh) * | 2010-11-10 | 2013-01-16 | 香港应用科技研究院有限公司 | 用于多视点视频编码的方法和装置 |
US9525861B2 (en) | 2012-03-14 | 2016-12-20 | Qualcomm Incorporated | Disparity vector prediction in video coding |
US10200709B2 (en) | 2012-03-16 | 2019-02-05 | Qualcomm Incorporated | High-level syntax extensions for high efficiency video coding |
US20130336406A1 (en) | 2012-06-14 | 2013-12-19 | Qualcomm Incorporated | Redundancy removal for merge/skip mode motion information candidate list construction |
CN104718760B (zh) | 2012-10-05 | 2019-04-05 | 寰发股份有限公司 | 用于三维和多视图视频编码的方法和装置 |
US20150304678A1 (en) * | 2012-12-26 | 2015-10-22 | Sony Corporation | Image processing device and method |
US9674542B2 (en) * | 2013-01-02 | 2017-06-06 | Qualcomm Incorporated | Motion vector prediction for video coding |
WO2014107853A1 (en) | 2013-01-09 | 2014-07-17 | Mediatek Singapore Pte. Ltd. | Methods for disparity vector derivation |
US10057594B2 (en) | 2013-04-02 | 2018-08-21 | Vid Scale, Inc. | Enhanced temporal motion vector prediction for scalable video coding |
KR101967398B1 (ko) * | 2013-07-09 | 2019-04-09 | 노키아 테크놀로지스 오와이 | 모션 정보를 시그널링하기 위한 구문을 수반하는 비디오 코딩을 위한 방법 및 장치 |
WO2015003383A1 (en) | 2013-07-12 | 2015-01-15 | Mediatek Singapore Pte. Ltd. | Methods for inter-view motion prediction |
WO2015006951A1 (en) | 2013-07-18 | 2015-01-22 | Mediatek Singapore Pte. Ltd. | Methods for fast encoder decision |
US10257531B2 (en) * | 2014-03-19 | 2019-04-09 | Kt Corporation | Method and apparatus for processing multiview video signals based on illumination compensation and inter-view motion candidate |
WO2016008157A1 (en) * | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
JP2017532885A (ja) | 2014-09-26 | 2017-11-02 | ヴィド スケール インコーポレイテッド | 時間ブロックベクトル予測を用いたイントラブロックコピー符号化 |
CN107079164B (zh) | 2014-09-30 | 2020-07-10 | 寰发股份有限公司 | 用于视频编码的自适应运动向量分辨率的方法 |
US9918105B2 (en) * | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
US11477477B2 (en) * | 2015-01-26 | 2022-10-18 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
CN109005407B (zh) * | 2015-05-15 | 2023-09-01 | 华为技术有限公司 | 视频图像编码和解码的方法、编码设备和解码设备 |
US10375413B2 (en) * | 2015-09-28 | 2019-08-06 | Qualcomm Incorporated | Bi-directional optical flow for video coding |
CN106559669B (zh) * | 2015-09-29 | 2018-10-09 | 华为技术有限公司 | 预测图像编解码方法及装置 |
CN108432250A (zh) * | 2016-01-07 | 2018-08-21 | 联发科技股份有限公司 | 用于视频编解码的仿射帧间预测的方法及装置 |
EP3398331A4 (en) * | 2016-02-05 | 2019-04-10 | Mediatek Inc. | METHOD AND APPARATUS FOR MOTION COMPENSATION BASED ON BIDIRECTIONAL OPTICAL FLUSH TECHNOLOGIES FOR VIDEO CODING |
US10349067B2 (en) * | 2016-02-17 | 2019-07-09 | Qualcomm Incorporated | Handling of end of bitstream NAL units in L-HEVC file format and improvements to HEVC and L-HEVC tile tracks |
WO2017147765A1 (en) | 2016-03-01 | 2017-09-08 | Mediatek Inc. | Methods for affine motion compensation |
EP3414900A4 (en) | 2016-03-15 | 2019-12-11 | Mediatek Inc. | METHOD AND DEVICE FOR VIDEO CODING WITH AFFINE MOTION COMPENSATION |
US11095898B2 (en) * | 2016-03-28 | 2021-08-17 | Lg Electronics Inc. | Inter-prediction mode based image processing method, and apparatus therefor |
US10834419B2 (en) * | 2016-04-13 | 2020-11-10 | Qualcomm Incorporated | Conformance constraint for collocated reference index in video coding |
US10560718B2 (en) * | 2016-05-13 | 2020-02-11 | Qualcomm Incorporated | Merge candidates for motion vector prediction for video coding |
US10560712B2 (en) * | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
WO2017206803A1 (en) * | 2016-05-28 | 2017-12-07 | Mediatek Inc. | Method and apparatus of current picture referencing for video coding |
US10462462B2 (en) * | 2016-09-29 | 2019-10-29 | Qualcomm Incorporated | Motion vector difference coding technique for video coding |
US10448010B2 (en) * | 2016-10-05 | 2019-10-15 | Qualcomm Incorporated | Motion vector prediction for affine motion models in video coding |
CN109983773A (zh) * | 2016-11-29 | 2019-07-05 | 联发科技股份有限公司 | 用于合并模式推导的视频编解码方法和装置 |
EP3560202A4 (en) * | 2016-12-27 | 2020-07-29 | MediaTek Inc. | METHOD AND DEVICE FOR BILATERAL TEMPLATE MV REFINING FOR VIDEO CODING |
US10277895B2 (en) * | 2016-12-28 | 2019-04-30 | Arris Enterprises Llc | Adaptive unequal weight planar prediction |
US10931969B2 (en) | 2017-01-04 | 2021-02-23 | Qualcomm Incorporated | Motion vector reconstructions for bi-directional optical flow (BIO) |
US10523964B2 (en) | 2017-03-13 | 2019-12-31 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (BIO) |
US10701390B2 (en) * | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
US20180310017A1 (en) * | 2017-04-21 | 2018-10-25 | Mediatek Inc. | Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding |
CN107277316B (zh) | 2017-06-12 | 2020-05-12 | 京东方科技集团股份有限公司 | 显示装置及其制造方法 |
US10904565B2 (en) | 2017-06-23 | 2021-01-26 | Qualcomm Incorporated | Memory-bandwidth-efficient design for bi-directional optical flow (BIO) |
KR20240044549A (ko) * | 2017-07-03 | 2024-04-04 | 브이아이디 스케일, 인크. | 양방향 광학 흐름에 기반한 모션 보상 예측 |
US10483493B2 (en) | 2017-08-01 | 2019-11-19 | Apple Inc. | Electronic device having display with thin-film encapsulation |
US10856003B2 (en) * | 2017-10-03 | 2020-12-01 | Qualcomm Incorporated | Coding affine prediction motion information for video coding |
US11877001B2 (en) * | 2017-10-10 | 2024-01-16 | Qualcomm Incorporated | Affine prediction in video coding |
US20190116376A1 (en) | 2017-10-12 | 2019-04-18 | Qualcomm Incorporated | Motion vector predictors using affine motion model in video coding |
US10776688B2 (en) * | 2017-11-06 | 2020-09-15 | Nvidia Corporation | Multi-frame video interpolation using optical flow |
US11889100B2 (en) * | 2017-11-14 | 2024-01-30 | Qualcomm Incorporated | Affine motion vector prediction in video coding |
US11388398B2 (en) | 2018-01-11 | 2022-07-12 | Qualcomm Incorporated | Video coding using local illumination compensation |
US10757417B2 (en) | 2018-01-20 | 2020-08-25 | Qualcomm Incorporated | Affine motion compensation in video coding |
US11601668B2 (en) * | 2018-03-01 | 2023-03-07 | Arris Enterprises Llc | System and method of motion information storage for video coding and signaling |
CN116684639A (zh) | 2018-04-01 | 2023-09-01 | Lg电子株式会社 | 图像编码/解码设备和图像数据发送设备 |
US11595664B2 (en) | 2018-04-03 | 2023-02-28 | Intellectual Discovery Co., Ltd. | Affine model-based image encoding/decoding method and device |
RU2020135518A (ru) | 2018-04-06 | 2022-04-29 | Вид Скейл, Инк. | Метод двунаправленного оптического потока с упрощенным выведением градиента |
US11457233B2 (en) | 2018-04-12 | 2022-09-27 | Arris Enterprises Llc | Motion information storage for video coding and signaling |
US10873748B2 (en) | 2018-05-12 | 2020-12-22 | Qualcomm Incorporated | Storage of high precision motion vectors in video coding |
WO2019244117A1 (en) | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Unified constrains for the merge affine mode and the non-merge affine mode |
US11546628B2 (en) | 2018-06-27 | 2023-01-03 | Vid Scale, Inc. | Methods and apparatus for reducing the coding latency of decoder-side motion refinement |
US11503328B2 (en) | 2018-06-29 | 2022-11-15 | Vid Scale, Inc. | Adaptive control point selection for affine motion model based video coding |
WO2020008346A1 (en) | 2018-07-02 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Rules on updating luts |
CN112544077B (zh) | 2018-07-16 | 2023-12-08 | Lg电子株式会社 | 用于子块单元中的时间运动信息预测的帧间预测方法及其装置 |
WO2020017892A1 (ko) * | 2018-07-17 | 2020-01-23 | 엘지전자 주식회사 | 서브블록 단위의 시간적 움직임 벡터 예측을 위한 방법 및 그 장치 |
CN110809155B (zh) | 2018-08-04 | 2023-01-31 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置和计算机可读介质 |
WO2020058888A1 (en) | 2018-09-19 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Mode dependent adaptive motion vector resolution for affine mode coding |
WO2020059688A1 (en) | 2018-09-20 | 2020-03-26 | Sharp Kabushiki Kaisha | Systems and methods for signaling parameters in video coding |
KR102651158B1 (ko) | 2018-09-20 | 2024-03-26 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
GB2577318B (en) * | 2018-09-21 | 2021-03-10 | Canon Kk | Video coding and decoding |
WO2020058958A1 (en) | 2018-09-23 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Construction for motion candidates list |
WO2020058962A1 (en) | 2018-09-23 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of motion vector precision indication with adaptive motion vector resolution |
CN110944181B (zh) | 2018-09-23 | 2023-03-10 | 北京字节跳动网络技术有限公司 | 仿射模型的多个假设 |
TW202029755A (zh) | 2018-09-26 | 2020-08-01 | 美商Vid衡器股份有限公司 | 視訊編碼雙預測 |
JP7230189B2 (ja) | 2018-10-08 | 2023-02-28 | エルジー エレクトロニクス インコーポレイティド | シンタックスデザイン方法及びシンタックスを用いてコーディングを行う装置 |
CN111083489B (zh) | 2018-10-22 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 多次迭代运动矢量细化 |
CN111083485B (zh) | 2018-10-22 | 2024-08-02 | 北京字节跳动网络技术有限公司 | 仿射模式的运动信息的利用 |
WO2020084461A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on decoder side motion vector derivation based on coding information |
EP3861731A4 (en) | 2018-11-05 | 2021-11-24 | Beijing Bytedance Network Technology Co. Ltd. | INTERPOLATION TO INTERPRDICTION WITH REFINEMENT |
CN112997487B (zh) | 2018-11-15 | 2024-07-09 | 北京字节跳动网络技术有限公司 | 仿射模式与其他帧间编解码工具之间的协调 |
CN113039802B (zh) | 2018-11-16 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 基于历史的仿射参数的使用 |
CN113039796B (zh) | 2018-11-17 | 2023-09-19 | 北京字节跳动网络技术有限公司 | 视频处理中的广义双向预测模式 |
CN113170093B (zh) | 2018-11-20 | 2023-05-02 | 北京字节跳动网络技术有限公司 | 视频处理中的细化帧间预测 |
JP7212161B2 (ja) | 2018-11-29 | 2023-01-24 | 北京字節跳動網絡技術有限公司 | イントラブロックコピーモードとインター予測ツールとの間の相互作用 |
WO2020140221A1 (zh) | 2019-01-02 | 2020-07-09 | 北京大学 | 候选mv列表构建方法和装置 |
WO2020156576A1 (en) | 2019-02-02 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Multi-hmvp for affine |
US20200296405A1 (en) | 2019-03-14 | 2020-09-17 | Qualcomm Incorporated | Affine motion compensation refinement using optical flow |
KR102659481B1 (ko) | 2019-03-17 | 2024-04-23 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 광학 흐름에 기초한 예측 정제의 계산 |
KR20230165888A (ko) | 2019-04-02 | 2023-12-05 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 양방향 광학 흐름 기반 비디오 코딩 및 디코딩 |
EP3922014A4 (en) | 2019-04-02 | 2022-04-06 | Beijing Bytedance Network Technology Co., Ltd. | DECODER SIDE MOTION VECTOR BYPASS |
CN113711609B (zh) | 2019-04-19 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程中的增量运动矢量 |
CN113711608B (zh) | 2019-04-19 | 2023-09-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程的适用性 |
EP3922015A4 (en) | 2019-04-19 | 2022-07-20 | Beijing Bytedance Network Technology Co., Ltd. | GRADIENT CALCULATION IN VARIOUS MOTION VECTOR REFINEMENTS |
JP7335358B2 (ja) | 2019-04-30 | 2023-08-29 | ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド | 適応的動きベクトル解像度を利用したビデオ信号処理方法及び装置 |
KR20240013895A (ko) | 2019-05-15 | 2024-01-30 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 코딩에서 참조 픽처 리샘플링을 위한 양방향 광 흐름(bio) 코딩 도구의 취급 |
EP3954119A4 (en) | 2019-05-21 | 2022-06-22 | Beijing Bytedance Network Technology Co., Ltd. | SYNTAX SIGNALING IN A SUBBLOCK MERGE MODE |
-
2020
- 2020-05-21 EP EP20809576.0A patent/EP3954119A4/en active Pending
- 2020-05-21 CN CN202080038018.4A patent/CN113906759A/zh active Pending
- 2020-05-21 CN CN202311531640.0A patent/CN117714682A/zh active Pending
- 2020-05-21 JP JP2021568037A patent/JP7377894B2/ja active Active
- 2020-05-21 KR KR1020217037074A patent/KR102701594B1/ko active IP Right Grant
- 2020-05-21 WO PCT/CN2020/091537 patent/WO2020233659A1/en unknown
- 2020-05-21 CN CN202080038020.1A patent/CN113924771B/zh active Active
- 2020-05-21 WO PCT/CN2020/091540 patent/WO2020233662A1/en active Application Filing
- 2020-05-21 WO PCT/CN2020/091538 patent/WO2020233660A1/en active Application Filing
- 2020-05-21 CN CN202080038022.0A patent/CN113853793B/zh active Active
- 2020-05-21 KR KR1020217037073A patent/KR102662616B1/ko active IP Right Grant
- 2020-05-21 CN CN202080038079.0A patent/CN113906738B/zh active Active
- 2020-05-21 WO PCT/CN2020/091539 patent/WO2020233661A1/en unknown
- 2020-05-21 EP EP20810559.3A patent/EP3954120A4/en active Pending
- 2020-05-21 JP JP2021566967A patent/JP7323641B2/ja active Active
-
2021
- 2021-11-08 US US17/521,012 patent/US11627313B2/en active Active
- 2021-11-08 US US17/521,043 patent/US11470309B2/en active Active
- 2021-11-08 US US17/520,975 patent/US11496733B2/en active Active
-
2023
- 2023-03-13 US US18/182,803 patent/US20230217018A1/en active Pending
- 2023-07-27 JP JP2023122288A patent/JP2023145610A/ja active Pending
Non-Patent Citations (3)
Title |
---|
Benjamin Bross, Jianle Chen, and Shan Liu,Versatile Video Coding (Draft 5),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N1001 (version 5),14th Meeting: Geneva, CH,2019年05月14日,pp.32-34,53-56,70-78,106-110 |
Chen-Yen Lai, et al.,CE4.3.4: Removal of AMVR flag constraint,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-K0247-v1,11th Meeting: Ljubljana, SI,2018年07月,pp.1-3 |
Hongbin Liu, et al.,CE2: Adaptive Motion Vector Resolution for Affine Inter Mode (Test 2.1.2),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0246_r1,13th Meeting: Marrakech, MA,2019年01月,pp.1-10 |
Also Published As
Publication number | Publication date |
---|---|
CN113853793B (zh) | 2023-12-19 |
EP3954120A4 (en) | 2022-06-22 |
CN113906738B (zh) | 2024-01-12 |
EP3954119A1 (en) | 2022-02-16 |
WO2020233662A1 (en) | 2020-11-26 |
JP2023145610A (ja) | 2023-10-11 |
JP7377894B2 (ja) | 2023-11-10 |
WO2020233659A1 (en) | 2020-11-26 |
CN113924771B (zh) | 2024-01-12 |
KR20220009951A (ko) | 2022-01-25 |
CN113906738A (zh) | 2022-01-07 |
US11496733B2 (en) | 2022-11-08 |
KR102701594B1 (ko) | 2024-08-30 |
JP2022532629A (ja) | 2022-07-15 |
WO2020233660A1 (en) | 2020-11-26 |
US20220060696A1 (en) | 2022-02-24 |
JP2022533056A (ja) | 2022-07-21 |
US20220060695A1 (en) | 2022-02-24 |
KR102662616B1 (ko) | 2024-04-30 |
CN113906759A (zh) | 2022-01-07 |
US11627313B2 (en) | 2023-04-11 |
EP3954120A1 (en) | 2022-02-16 |
CN113924771A (zh) | 2022-01-11 |
KR20220009952A (ko) | 2022-01-25 |
EP3954119A4 (en) | 2022-06-22 |
CN117714682A (zh) | 2024-03-15 |
US20230217018A1 (en) | 2023-07-06 |
US20220060718A1 (en) | 2022-02-24 |
US11470309B2 (en) | 2022-10-11 |
WO2020233661A1 (en) | 2020-11-26 |
CN113853793A (zh) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7323641B2 (ja) | アフィンモードのための適応動きベクトル差分分解 | |
US20240107007A1 (en) | Sub-block based motion candidate selection and signaling | |
JP7263529B2 (ja) | デコーダ側精緻化ツールのサイズ選択アプリケーション | |
JP7548659B2 (ja) | 動きベクトル差分によるマージ(mmvd)モードにおける動きベクトル予測 | |
CN110944191A (zh) | 具有自适应运动矢量分辨率的运动矢量精度指示的信令通知 | |
JP7318099B2 (ja) | ビデオコーディングにおける変換ブロック・サイズ制約 | |
KR20220012239A (ko) | 인트라 블록 복제-코딩된 블록에 대한 블록 벡터의 코딩 | |
JP2022536090A (ja) | 幾何学的分割モードコーディングを用いた動き候補リスト | |
WO2020192726A1 (en) | History-based motion vector prediction | |
WO2021110017A1 (en) | Merge with motion vector differencing in affine mode |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7323641 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |