JP7297874B2 - ビデオコーディングにおける条件付きデコーダ側動きベクトル精緻化のための装置および方法 - Google Patents
ビデオコーディングにおける条件付きデコーダ側動きベクトル精緻化のための装置および方法 Download PDFInfo
- Publication number
- JP7297874B2 JP7297874B2 JP2021514368A JP2021514368A JP7297874B2 JP 7297874 B2 JP7297874 B2 JP 7297874B2 JP 2021514368 A JP2021514368 A JP 2021514368A JP 2021514368 A JP2021514368 A JP 2021514368A JP 7297874 B2 JP7297874 B2 JP 7297874B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- picture
- motion vector
- video
- temporal distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 344
- 238000000034 method Methods 0.000 title claims description 256
- 239000013598 vector Substances 0.000 title claims description 235
- 230000002123 temporal effect Effects 0.000 claims description 167
- 230000015654 memory Effects 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 39
- 230000002146 bilateral effect Effects 0.000 description 31
- 238000003860 storage Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 25
- 238000013139 quantization Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 15
- 230000002457 bidirectional effect Effects 0.000 description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 9
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000009795 derivation Methods 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000985610 Forpus Species 0.000 description 1
- 101100537098 Mus musculus Alyref gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 101150095908 apex1 gene Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000748 compression moulding Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
この特許出願は、2018年9月13日に出願されたインド仮特許出願第IN201831034607号の優先権を主張する。前述の特許出願は、その全体が参照によりここに組み込まれる。
現在のピクチャが時間的に(時間に関して)第1の参照ピクチャ(RefPic0など)と第2の参照ピクチャ(RefPic1など)の間にあるかどうか、および第1の時間的距離(TD0など)と第2の時間的距離(TD1など)が同じ距離であるかどうかを決定するステップであって、第1の時間的距離(TD0)は、現在のピクチャと第1の参照ピクチャ(RefPic0)の間であり、第2の時間的距離(TD1)は、現在のピクチャと第2の参照ピクチャ(RefPic1)の間である、ステップと、第1の精緻化された参照ブロックの位置と第2の精緻化された参照ブロックの位置を取得するために動きベクトル精緻化(DMVR)手順を実行し、現在のピクチャが時間的に第1の参照ピクチャ(RefPic0など)と第2の参照ピクチャ(RefPic1など)の間にあること、および第1の時間的距離(TD0)と第2の時間的距離(TD1)が同じ距離であることが決定されたときに、第1の精緻化された参照ブロックの位置および第2の精緻化された参照ブロックの位置に基づいて現在の画像ブロックの予測ブロック(予測されたサンプル値)を決定するステップとを含む。
|TD0|==|TD1|
および
TD0*TD1<0
であることを含む。
双方向を示す各マージ候補について、TD0およびTD1を、現在のピクチャからL0およびL1参照ピクチャの時間的距離として計算する。TD0およびTD1は、ピクチャ順序カウント(POC)を使用することによって計算され得る。たとえば、
TD0=POCc-POC0
TD1=POCc-POC1
である。ここで、POCc、POC0、およびPOC1は、それぞれ、現在のピクチャのPOC、第1の参照ピクチャのPOC、および第2の参照ピクチャのPOCを表現する。
第1の初期動きベクトルに基づいて第1の参照ピクチャ内の第1の初期参照ブロックを決定するステップと、
第2の初期動きベクトルに基づいて第2の参照ピクチャ内の第2の初期参照ブロックを決定するステップと、
第1の初期参照ブロックおよび第2の初期参照ブロックに基づいてバイラテラル参照ブロックを生成するステップであって、たとえば、バイラテラル参照ブロックは、バイラテラルテンプレートと称されてよく、テンプレートは、画像予測ブロックの形状およびサイズを有する、ステップと、
バイラテラル参照ブロックと第1の参照ピクチャ内の複数の第1の参照ブロックの各々との間のコストを比較して、第1の精緻化された参照ブロックまたは第1の精緻化された動きベクトルの位置を決定するステップと、
バイラテラル参照ブロックと第2の参照ピクチャ内の複数の第2の参照ブロックの各々との間のコストを比較して、第2の精緻化された参照ブロックまたは第2の精緻化された動きベクトルの位置を決定するステップとを含む。
第1の参照ピクチャ(RefPic0など)内の第1の初期動きベクトルによって指し示される第1の初期参照ブロックと、第2の参照ピクチャ(RefPic1など)内の第2の初期動きベクトルによって指し示される第2の初期参照ブロックとに基づいて現在の画像ブロックに対するテンプレートを取得するステップと、
第1の精緻化された動きベクトルおよび第2の精緻化された動きベクトルを、それぞれ第1の探索空間および第2の探索空間内の前記テンプレートとのテンプレートマッチングによって決定するステップであって、第1の探索空間は第1の初期動きベクトルによって与えられる位置を含み、第2の探索空間は第2の初期動きベクトルによって与えられる位置を含む、ステップとを含む。
マッチングコスト基準に基づいて(たとえば、参照ブロックの各対のマッチングコストに基づいて)参照ブロックの複数の対から最良の動きベクトルによって指し示される最良マッチングブロックの対を決定するステップであって、参照ブロックの前記対は、第1の参照ピクチャの、第1の初期動きベクトルに基づいて決定されるサンプル領域内の第1の参照ブロックと、第2の参照ピクチャの、第2の初期動きベクトルに基づいて決定されるサンプル領域内の第2の参照ブロックとを含み、
最良の動きベクトルは、第1の精緻化された動きベクトルおよび第2の精緻化された動きベクトルを含む、ステップを含む。
第1の初期動きベクトル、第2の初期動きベクトル、および現在の画像ブロックの位置に基づいてN個の第1の参照ブロックの位置と、N個の第2の参照ブロックの位置とを決定するステップであって、N個の第1の参照ブロックは、第1の参照画像内に含まれ、N個の第2の参照ブロックは、第2の参照画像内に含まれ、Nは、1より大きい整数である、ステップと、
マッチングコスト基準に基づいて、参照ブロックのM個の対の位置から参照ブロックの対の位置を、第1の精緻化された参照ブロックの位置および第2の精緻化された参照ブロックの位置として決定するステップであって、参照ブロックの各対の位置は、第1の参照ブロックの位置と第2の参照ブロックの位置とを含み、参照ブロックの各対について、第1の位置オフセット(delta0x, delta0y)および第2の位置オフセット(delta1x, delta1y)はミラーリングされ、第1の位置オフセット(delta0x, delta0y)は、第1の初期参照ブロックの位置に対する第1の参照ブロックの位置のオフセットを表現し、第2の位置オフセット(delta1x, delta1y)は、第2の初期参照ブロックの位置に対する第2の参照ブロックの位置のオフセットを表現し、Mは1以上の整数であり、MはN以下である、ステップとを含む。
第1の精緻化された参照ブロックおよび第2の精緻化された参照ブロックに基づいて予測ブロックを決定するステップであって、第1の精緻化された参照ブロックは、第1の精緻化された参照ブロックの位置に基づいて第1の参照ピクチャ内で決定され、第2の精緻化された参照ブロックは、第2の精緻化された参照ブロックの位置に基づいて第2の参照ピクチャ内で決定される、ステップ、または
第1の精緻化された参照ブロックおよび第2の精緻化された参照ブロックに基づいて予測ブロックを決定するステップであって、第1の精緻化された参照ブロックおよび第2の精緻化された参照ブロックは、第1の精緻化された動きベクトルおよび第2の精緻化された動きベクトルを使用して動き補償を実行することによって決定される、ステップを含む。
第1の参照ピクチャは過去の参照画像であり、第2の参照ピクチャは未来の参照画像であるか、または第1の参照ピクチャは未来の参照画像であり、第2の参照ピクチャは過去の参照画像である。
言い換えると、現在のピクチャの前のピクチャは第1の参照ピクチャであり、現在のピクチャの次の画像は第2の参照ピクチャであるか、または現在のピクチャの前のピクチャは第2の参照ピクチャであり、現在のピクチャの次の画像は第1の参照ピクチャである。
第1の時間的距離(TD0)は、現在のピクチャのピクチャ順序カウント値(POCc)と第1の参照画像のピクチャ順序カウント値(POC0)の間の差に関して表現され、第2の時間的距離(TD1)は、現在のピクチャのピクチャ順序カウント値(POCc)と第2の参照画像のピクチャ順序カウント値(POC1)の間の差に関して表現される。
現在のピクチャのピクチャ順序カウント値(POCc)が、第1の参照画像のピクチャ順序カウント値(POC0)よりも大きく、現在のピクチャのピクチャ順序カウント値(POCc)が、第2の参照画像のピクチャ順序カウント値(POC1)よりも小さいかどうか、または現在のピクチャのピクチャ順序カウント値(POCc)が、第1の参照画像のピクチャ順序カウント値(POC0)よりも小さく、現在のピクチャのピクチャ順序カウント値(POCc)が、第2の参照画像のピクチャ順序カウント値(POC1)よりも大きいかどうかを決定するステップを含む。
第1の時間的距離(TD0)は、現在のピクチャのピクチャ順序カウント値(POCc)と第1の参照画像のピクチャ順序カウント値(POC0)の間の差に関して表現され、第2の時間的距離(TD1)は、現在のピクチャのピクチャ順序カウント値(POCc)と第2の参照画像のピクチャ順序カウント値(POC1)の間の差に関して表現される。
第1の時間的距離(TD0など)が、第2の時間的距離(TD1など)に等しいかどうかを決定するステップであって、第1の時間的距離(TD0)は、現在のピクチャのピクチャ順序カウント値(POCc)と第1の参照画像のピクチャ順序カウント値(POC0)の間の差に関して表現され、第2の時間的距離(TD1)は、第2の参照画像のピクチャ順序カウント値(POC1)と現在のピクチャのピクチャ順序カウント値(POCc)の間の差に関して表現される、ステップと、第1の時間的距離(TD0)が第2の時間的距離(TD1)に等しいと決定されたときに、現在の画像ブロックの予測ブロックを決定するために動きベクトル精緻化(DMVR)手順を実行するステップとを含む。
第1の時間的距離(TD0など)が、第2の時間的距離(TD1など)に等しいかどうかを決定するステップであって、第1の時間的距離(TD0)は、現在のピクチャのピクチャ順序カウント値(POCc)と第1の参照画像のピクチャ順序カウント値(POC0)の間の差に関して表現され、第2の時間的距離(TD1)は、第2の参照画像のピクチャ順序カウント値(POC1)と現在のピクチャのピクチャ順序カウント値(POCc)の間の差に関して表現される、ステップと、
第1の時間的距離(TD0)が第2の時間的距離(TD1)に等しくないと決定されたときに、動きベクトル精緻化(DMVR)手順を実行しない(または動きベクトル精緻化(DMVR)手順を無効化する)ステップとを含む。
TD0=POCc-POC0
TD1=POC1-POCc
である。ここで、POCc、POC0、およびPOC1は、それぞれ、現在のピクチャのPOC、第1の参照ピクチャのPOC、および第2の参照ピクチャのPOCを表現する。
第1の参照ピクチャは過去の参照画像であり、第2の参照ピクチャは未来の参照画像であるか、または第1の参照ピクチャは未来の参照画像であり、第2の参照ピクチャは過去の参照画像である。
言い換えると、現在のピクチャの前のピクチャは第1の参照ピクチャであり、現在のピクチャの次の画像は第2の参照ピクチャであるか、または現在のピクチャの前のピクチャは第2の参照ピクチャであり、現在のピクチャの次の画像は第1の参照ピクチャである。
上記の方法に従ってビデオの現在のピクチャ内の現在の画像ブロックのインター予測を実行して現在の画像ブロックの予測ブロックを取得するステップと、
現在の画像ブロックと予測ブロックの間の差(たとえば、残差または残差ブロック)を符号化し、符号化された差および初期動き情報を示すためのインデックス(マージ候補インデックスなど)を含むビットストリームを生成するステップであって、初期動き情報は、第1の初期動きベクトルおよび第2の初期動きベクトルを含む、ステップとを含む。
ビットストリームから初期動き情報を示すためのインデックス(マージ候補インデックスなど)および現在の画像ブロックと現在の画像ブロックの予測ブロックの間の符号化された差(たとえば、残差または残差ブロック)を解析するステップであって、初期動き情報は、第1の初期動きベクトルおよび第2の初期動きベクトルを含む、ステップと、
上記で前に説明された方法に従ってビデオの現在のピクチャ内の現在の画像ブロックのインター予測を実行して現在の画像ブロックの予測ブロックを取得するステップと、
現在の画像ブロックを、解析された差と予測ブロックの和として再構築するステップとを含む。
上記の方法が有効化されるか、されないかを示すシンタックス要素の値を決定するステップと、
シンタックス要素を含むビットストリームを生成するステップとを含む。
第1のフラグ(sps_conditional_dmvr_flag)が0に等しいならば、上記で前に説明された方法は、シーケンスの画像ブロックに対して実行されないか、
第1のフラグ(sps_conditional_dmvr_flag)が1に等しく、第2のフラグ(pps_conditional_dmvr_flag)が0に等しいならば、上記で前に説明された方法は、シーケンスのピクチャの画像ブロックに対して実行されないか、または
第1のフラグ(sps_conditional_dmvr_flag)が1に等しく、第2のフラグ(pps_conditional_dmvr_flag)が1に等しいならば、上記で前に説明された方法は、シーケンスのピクチャの画像ブロックに対して実行される。
ビットストリームから、上記で前に説明された方法が有効化されるか、されないかを示すシンタックス要素を解析するステップと、
上記の方法が有効化されるか、されないかを示すシンタックス要素に従ってデコーダ側動きベクトル精緻化(DMVR)手順を適応的に有効化または無効化するステップとを含む。
第1のフラグ(sps_conditional_dmvr_flag)が0に等しいならば、上記で前に説明された方法は、シーケンスの画像ブロックに対して実行されないか、
第1のフラグ(sps_conditional_dmvr_flag)が1に等しく、第2のフラグ(pps_conditional_dmvr_flag)が0に等しいならば、上記で前に説明された方法は、シーケンスのピクチャの画像ブロックに対して実行されないか、または
第1のフラグ(sps_conditional_dmvr_flag)が1に等しく、第2のフラグ(pps_conditional_dmvr_flag)が1に等しいならば、上記で前に説明された方法は、シーケンスのピクチャの画像ブロックに対して実行される。
命令を記憶するメモリと、
メモリに結合されたプロセッサであって、プロセッサはメモリに記憶された命令を実行して前に表された方法をプロセッサに実行させるように構成された、プロセッサとを含む。
現在のピクチャが時間的に第1の参照ピクチャ(RefPic0など)と第2の参照ピクチャ(RefPic1など)の間にあるかどうか、および第1の時間的距離(TD0など)と第2の時間的距離(TD1など)が同じ距離であるかどうかを決定するように構成された決定ユニットであって、第1の時間的距離(TD0)は、現在のピクチャと第1の参照ピクチャ(RefPic0)の間であり、第2の時間的距離(TD1)は、現在のピクチャと第2の参照ピクチャ(RefPic1)の間である、決定ユニットと、
第1の精緻化された参照ブロックの位置と第2の精緻化された参照ブロックの位置とを取得するために、動きベクトル精緻化(DMVR)手順を実行して、現在のピクチャが時間的に第1の参照ピクチャ(RefPic0など)と第2の参照ピクチャ(RefPic1など)の間にあること、および第1の時間的距離(TD0)と第2の時間的距離(TD1)が同じ距離であることが決定されたときに、第1の精緻化された参照ブロックの位置と第2の精緻化された参照ブロックの位置とに基づいて現在の画像ブロックの予測ブロックを決定するように構成されたインター予測処理ユニットとを含む。
|TD0|==|TD1|
および
TD0*TD1<0
を通じて、現在のピクチャが時間的に第1の参照ピクチャ(RefPic0など)と第2の参照ピクチャ(RefPic1など)の間にあるかどうか、および第1の時間的距離(TD0など)と第2の時間的距離(TD1など)が同じ距離であるかどうかを決定するように構成される。
双方向を示す各マージ候補について、TD0およびTD1を、現在のピクチャからL0およびL1参照ピクチャの時間的距離として計算する。TD0およびTD1は、ピクチャ順序カウント(POC)を使用することによって計算され得る。たとえば、
TD0=POCc-POC0
TD1=POCc-POC1
である。ここで、POCc、POC0、およびPOC1は、それぞれ、現在のピクチャのPOC、第1の参照ピクチャのPOC、および第2の参照ピクチャのPOCを表現する。
現在のピクチャ内の現在の画像ブロックの初期動き情報を取得するようにさらに構成され、初期動き情報は、第1の初期動きベクトル、第1の参照インデックス、第2の初期動きベクトル、および第2の参照インデックスを含み、第1の参照インデックスは、第1の参照ピクチャを示し、第2の参照インデックスは、第2の参照ピクチャを示す。
第1の初期動きベクトルに基づいて第1の参照ピクチャ内の第1の初期参照ブロックを決定し、
第2の初期動きベクトルに基づいて第2の参照ピクチャ内の第2の初期参照ブロックを決定し、
第1の初期参照ブロックおよび第2の初期参照ブロックに基づいてバイラテラル参照ブロックを生成し、
バイラテラル参照ブロックと第1の参照ピクチャ内の複数の第1の参照ブロックの各々との間のコストを比較して、第1の精緻化された参照ブロックまたは第1の精緻化された動きベクトルの位置を決定し、
バイラテラル参照ブロックと第2の参照ピクチャ内の複数の第2の参照ブロックの各々との間のコストを比較して、第2の精緻化された参照ブロックまたは第2の精緻化された動きベクトルの位置を決定するように構成される。
第1の参照ピクチャ(RefPic0など)内の第1の初期動きベクトルによって指し示される第1の初期参照ブロックと、第2の参照ピクチャ(RefPic1など)内の第2の初期動きベクトルによって指し示される第2の初期参照ブロックとに基づいて現在の画像ブロックに対するテンプレートを取得し、
第1の精緻化された動きベクトルおよび第2の精緻化された動きベクトルを、それぞれ第1の探索空間および第2の探索空間内の前記テンプレートとのテンプレートマッチングによって決定するように構成され、第1の探索空間は第1の初期動きベクトルによって与えられる位置に位置特定され、第2の探索空間は第2の初期動きベクトルによって与えられる位置に位置特定される。
マッチングコスト基準に基づいて(たとえば、参照ブロックの各対のマッチングコストに基づいて)参照ブロックの複数の対から最良の動きベクトルによって指し示される最良マッチングブロックの対を決定するように構成され、参照ブロックの前記対は、第1の参照ピクチャの、第1の初期動きベクトルに基づいて決定されるサンプル領域内の第1の参照ブロックと、第2の参照ピクチャの、第2の初期動きベクトルに基づいて決定されるサンプル領域内の第2の参照ブロックとを含み、
最良の動きベクトルは、第1の精緻化された動きベクトルおよび第2の精緻化された動きベクトルを含む。
第1の初期動きベクトル、第2の初期動きベクトル、および現在の画像ブロックの位置に基づいてN個の第1の参照ブロックの位置と、N個の第2の参照ブロックの位置とを決定するように構成され、N個の第1の参照ブロックは、第1の参照画像内に含まれ、N個の第2の参照ブロックは、第2の参照画像内に含まれ、Nは1より大きい整数であり、
インター予測処理ユニットは、具体的には、マッチングコスト基準に基づいて、参照ブロックのM個の対の位置から参照ブロックの対の位置を、第1の精緻化された参照ブロックの位置および第2の精緻化された参照ブロックの位置として決定するように構成され、参照ブロックの各対の位置は、第1の参照ブロックの位置と第2の参照ブロックの位置とを含み、参照ブロックの各対について、第1の位置オフセット(delta0x, delta0y)および第2の位置オフセット(delta1x, delta1y)はミラーリングされ、第1の位置オフセット(delta0x, delta0y)は、第1の初期参照ブロックの位置に対する第1の参照ブロックの位置のオフセットを表現し、第2の位置オフセット(delta1x, delta1y)は、第2の初期参照ブロックの位置に対する第2の参照ブロックの位置のオフセットを表現し、Mは1以上の整数であり、MはN以下である。
第1の精緻化された参照ブロックおよび第2の精緻化された参照ブロックに基づいて予測ブロックを決定するように構成され、第1の精緻化された参照ブロックは、第1の精緻化された参照ブロックの位置に基づいて第1の参照ピクチャ内で決定され、第2の精緻化された参照ブロックは、第2の精緻化された参照ブロックの位置に基づいて第2の参照ピクチャ内で決定されるか、または
インター予測処理ユニットは、具体的には、第1の精緻化された参照ブロックおよび第2の精緻化された参照ブロックに基づいて予測ブロックを決定するように構成され、第1の精緻化された参照ブロックおよび第2の精緻化された参照ブロックは、第1の精緻化された動きベクトルおよび第2の精緻化された動きベクトルを使用して動き補償を実行することによって決定される。
第1の参照ピクチャは過去の参照画像であり、第2の参照ピクチャは未来の参照画像であるか、または第1の参照ピクチャは未来の参照画像であり、第2の参照ピクチャは過去の参照画像である。
第1の時間的距離(TD0)は、現在のピクチャのピクチャ順序カウント値(POCc)と第1の参照画像のピクチャ順序カウント値(POC0)の間の差に関して表現され、第2の時間的距離(TD1)は、現在のピクチャのピクチャ順序カウント値(POCc)と第2の参照画像のピクチャ順序カウント値(POC1)の間の差に関して表現される。
現在のピクチャのピクチャ順序カウント値(POCc)が、第1の参照画像のピクチャ順序カウント値(POC0)よりも大きく、現在のピクチャのピクチャ順序カウント値(POCc)が、第2の参照画像のピクチャ順序カウント値(POC1)よりも小さいかどうか、または現在のピクチャのピクチャ順序カウント値(POCc)が、第1の参照画像のピクチャ順序カウント値(POC0)よりも小さく、現在のピクチャのピクチャ順序カウント値(POCc)が、第2の参照画像のピクチャ順序カウント値(POC1)よりも大きいかどうかを決定するように構成される。
現在のピクチャが時間的に第1の参照ピクチャと第2の参照ピクチャの間にあるかどうか、および第1の時間的距離と第2の時間的距離が同じ距離であるかどうかを決定するように構成された決定ユニットであって、第1の時間的距離は、現在のピクチャと第1の参照ピクチャの間であり、第2の時間的距離は、現在のピクチャと第2の参照ピクチャの間である、決定ユニットと、
第1の時間的距離と第2の時間的距離が異なる距離であること、または現在のピクチャが時間的に第1の参照ピクチャと第2の参照ピクチャの間にないことが決定されたときに、第1の初期動きベクトルおよび第2の初期動きベクトルを使用して動き補償を実行して現在の画像ブロックの予測ブロックを決定するように構成されたインター予測処理ユニットとを含む。
現在の画像ブロックの予測ブロックを取得するための前に表された装置と、
現在の画像ブロックと現在の画像ブロックの予測ブロックの間の差(残差など)を符号化し、符号化された差および初期動き情報を示すためのインデックス(マージ候補インデックスなど)を含むビットストリームを生成するように構成されたエントロピーコーディングユニットであって、初期動き情報は、第1の初期動きベクトルおよび第2の初期動きベクトルを含む、エントロピーコーディングユニットとを含む。
ビットストリームから、初期動き情報を示すためのインデックスおよび現在の画像ブロックと現在の画像ブロックの予測ブロックの間の符号化された差(残差など)を解析するように構成されたエントロピー復号化ユニットであって、初期動き情報は、第1の初期動きベクトルおよび第2の初期動きベクトルを含む、エントロピー復号化ユニットと、
現在の画像ブロックの予測ブロックを取得するための前に表された装置と、
現在の画像ブロックを、解析された差(残差など)と予測ブロックの和として再構築するように構成された画像再構築ユニットとを含む。
前に表された方法が有効化されるか、されないかを示すシンタックス要素の値を決定し、シンタックス要素を含むビットストリームを生成するように構成された1つまたは複数の処理回路を含む。
第1のフラグ(sps_conditional_dmvr_flag)が0に等しいならば、前に表された方法は、シーケンスの画像ブロックに対して実行されないか、
第1のフラグ(sps_conditional_dmvr_flag)が1に等しく、第2のフラグ(pps_conditional_dmvr_flag)が0に等しいならば、前に表された方法は、シーケンスのピクチャの画像ブロックに対して実行されないか、または
第1のフラグ(sps_conditional_dmvr_flag)が1に等しく、第2のフラグ(pps_conditional_dmvr_flag)が1に等しいならば、前に表された方法1は、シーケンスのピクチャの画像ブロックに対して実行される。
ビットストリームから、前に表された方法が有効化されるか、されないかを示すためのシンタックス要素を解析し、
シンタックス要素に従ってデコーダ側動きベクトル精緻化(DMVR)手順を適応的に有効化または無効化するように構成された1つまたは複数の処理回路を含む。
第1のフラグ(sps_conditional_dmvr_flag)が0に等しいならば、前に表された方法は、シーケンスの画像ブロックに対して実行されないか、
第1のフラグ(sps_conditional_dmvr_flag)が1に等しく、第2のフラグ(pps_conditional_dmvr_flag)が0に等しいならば、前に表された方法は、シーケンスのピクチャの画像ブロックに対して実行されないか、または
第1のフラグ(sps_conditional_dmvr_flag)が1に等しく、第2のフラグ(pps_conditional_dmvr_flag)が1に等しいならば、前に表された方法は、シーケンスのピクチャの画像ブロックに対して実行される。
少なくとも1つの条件が満たされるかどうかを決定するステップであって、少なくとも1つの条件は、第1の時間的距離(TD0など)が、第2の時間的距離(TD1など)に等しいことを含み、第1の時間的距離は、現在のピクチャのピクチャ順序カウント値と第1の参照画像のピクチャ順序カウント値の間の差に関して表現され、第2の時間的距離は、第2の参照画像のピクチャ順序カウント値と現在のピクチャのピクチャ順序カウント値の間の差に関して表現される、ステップと、
少なくとも1つの条件が満たされたときに、現在の画像ブロックの予測ブロックを決定するためにデコーダ側動きベクトル精緻化(DMVR)手順を実行するステップとを含む。
1つまたは複数の条件が満たされたときに、現在の画像ブロックのサブブロックに対する第1の精緻化された動きベクトルおよび第2の精緻化された動きベクトルを取得するために動きベクトル精緻化(DMVR)手順を実行するステップであって、第1の精緻化された動きベクトルは第1の参照ピクチャに対応し、第2の精緻化された動きベクトルは第2の参照ピクチャに対応する、ステップと、
現在の画像ブロックの予測ブロック(予測されたサンプル値など)を決定するステップであって、現在の画像ブロックの予測ブロックは、サブブロックの予測ブロックを含み、サブブロックの予測ブロックは、第1の精緻化された動きベクトルおよび第2の精緻化された動きベクトルに少なくとも一部基づいて決定される、ステップとを含み、
1つまたは複数の条件は、少なくとも、
第1の時間的距離(TD0など)が、第2の時間的距離(TD1など)に等しいことを含み、第1の時間的距離(TD0)は、現在のピクチャのピクチャ順序カウント値(POCc)と第1の参照画像のピクチャ順序カウント値(POC0)の間の差に関して表現され、第2の時間的距離(TD1)は、第2の参照ピクチャのピクチャ順序カウント値(POCc)と現在の画像のピクチャ順序カウント値(POC1)の間の差に関して表現される。
第1の参照ピクチャは過去の参照画像であり、第2の参照ピクチャは未来の参照画像であるか、または第1の参照ピクチャは未来の参照画像であり、第2の参照ピクチャは過去の参照画像である。
predBIO=1/2(I0+I1+vx/2(τ1Gx1-τ0Gx0)+vy/2*(τ1Gy1-τ0Gy0)) (1)
Δ=(I0-I1)+vx(τ1Gx1+τ0Gx0)+vy(τ1Gy1+τ0Gy0)
と書かれることが可能である。
現在のピクチャが時間的に第1の参照ピクチャ(RefPic0など)と第2の参照ピクチャ(RefPic1など)の間にあり、第1の時間的距離(TD0など)と第2の時間的距離(TD1など)が同じ距離であるかどうかを決定するように構成された決定ユニット101であって、第1の時間的距離(TD0)は現在のピクチャと第1の参照ピクチャ(RefPic0)の間であり、第2の時間的距離(TD1)は現在のピクチャと第2の参照ピクチャ(RefPic1)の間である、決定ユニット101と、
現在のピクチャが時間的に第1の参照ピクチャ(RefPic0など)と第2の参照ピクチャ(RefPic1など)の間にあり、第1の時間的距離(TD0)と第2の時間的距離(TD1)が同じ距離であると決定されたときに、現在の画像ブロックの予測ブロックを決定するために動きベクトル精緻化(DMVR)手順を実行するように構成されたインター予測処理ユニット103とを含み得る。
第2の参照ブロックは、たとえば、第2の参照ピクチャ412内の第2の初期参照ブロック410を囲む様々な参照ブロックであってよい。代替的に、参照ブロックのN個の対の位置からの参照ブロックの対の位置は、マッチングコスト基準に基づいて第1の精緻化された参照ブロックの位置および第2の精緻化された参照ブロックの位置として決定される。参照ブロックのN個の対は、第1および第2の初期参照ブロックの対を含み得ることが理解されることが可能である。
12 供給元デバイス
13 通信チャネル
14 宛先デバイス
16 コンピュータ可読媒体
18 ビデオ供給元
20 ビデオエンコーダ
22 出力インターフェース
28 入力インターフェース
30 ビデオデコーダ
32 ディスプレイデバイス
40 モード選択ユニット
42 動き推定ユニット
44 動き補償ユニット
46 イントラ予測ユニット
48 区分ユニット
50 加算器
52 変換処理ユニット
54 量子化ユニット
56 エントロピーコーディングユニット
58 逆量子化ユニット
60 逆変換ユニット
62 加算器
64 参照フレームメモリ
70 エントロピー復号化ユニット
72 動き補償ユニット
74 イントラ予測ユニット
76 逆量子化ユニット
78 逆変換ユニット
80 加算器
82 参照フレームメモリ
101 決定ユニット
310 端末デバイス
400 DMVR法
402 現在のブロック
404 現在のピクチャ
406 第1の参照ブロック
408 第1の参照ピクチャ
410 第2の参照ブロック
412 第2の参照ピクチャ
414 バイラテラルテンプレートブロック
416 第1の精緻化された参照ブロック
418 第2の精緻化された参照ブロック
420 予測ブロック
500 コーディングデバイス
510 入口ポート
520 受信機ユニット(Rx)
530 プロセッサ
540 送信機ユニット(Tx)
550 出口ポート
560 メモリ
570 コーディングモジュール
600 コーディング方法
700 符号化方法
800 復号化方法
1000 装置
1002 プロセッサ
1004 メモリ
1006 コードおよびデータ
1008 オペレーティングシステム
1010 アプリケーションプログラム
1012 バス
1014 二次記憶装置
1018 ディスプレイ
1020 画像感知デバイス
1022 音感知デバイス
3100 コンテンツ供給システム
3102 キャプチャデバイス
3104 通信リンク
3106 端末デバイス
3108 スマートフォンまたはパッド
3110 コンピュータまたはラップトップ
3112 ネットワークビデオレコーダ(NVR)/デジタルビデオレコーダ(DVR)
3114 TV
3116 セットトップボックス(STB)
3118 ビデオ会議システム
3120 ビデオ監視システム
3122 携帯情報端末(PDA)
3124 車載デバイス
3126 ディスプレイ
3202 プロトコル進行ユニット
3204 逆多重化ユニット
3206 ビデオデコーダ
3208 オーディオデコーダ
3210 サブタイトルデコーダ
3212 同期ユニット
3214 ビデオ/オーディオディスプレイ
3216 ビデオ/オーディオ/サブタイトルディスプレイ
Claims (18)
- ビデオの現在のピクチャ内の現在の画像ブロックのインター予測のための方法であって、
第1の時間的距離と第2の時間的距離が等しいかどうかを決定するステップであって、
前記第1の時間的距離は、前記現在のピクチャのピクチャ順序カウント値と第1の参照ピクチャのピクチャ順序カウント値との差に関して表現され、前記第2の時間的距離は、第2の参照ピクチャのピクチャ順序カウント値と前記現在のピクチャのピクチャ順序カウント値との差に関して表現される、ステップと、
複数の条件が満たされたときに、前記現在の画像ブロックの予測ブロックを決定するために復号動きベクトル精緻化(DMVR)手順を実行するステップとを含み、
前記複数の条件は、ピクチャレベルでシグナリングされるフラグの値が前記ピクチャレベルで前記DMVR手順が有効化されたことを指示することと、
前記第1の時間的距離が前記第2の時間的距離と等しいことを含み、
前記DMVR手順を実行する前記ステップは、
マッチングコスト基準に基づいて第1の参照ブロックと第2の参照ブロックの対であって複数の対の位置から第1の参照ブロックと第2の参照ブロックの1対の位置を決定するステップを含み、
第1の参照ブロックと第2参照ブロックの前記1対の位置は、第1の初期動きベクトルに基づいて決定される第1の参照ブロックであって前記第1の参照ピクチャの第1の参照ブロックの位置と、第2の初期動きベクトルに基づいて決定される第2の参照ブロックであって前記第2の参照ピクチャの第2の参照ブロックの位置を含み、
前記マッチングコスト基準は、前記第1の参照ブロックと前記第2の参照ブロックとのコスト比較に基づき、
第1の精緻化された動きベクトルと第2の精緻化された動きベクトルは、それぞれ前記第1の参照ブロックの位置と前記第2の参照ブロックの位置に関連付けられている
方法。 - 前記第1の時間的距離が前記第2の時間的距離に等しくないと決定されたときに、第1の初期動きベクトルおよび第2の初期動きベクトルを使用して動き補償を実行するステップをさらに含む請求項1に記載の方法。
- 前記現在の画像ブロックの初期動き情報は、前記第1の初期動きベクトル、第1の参照インデックス、前記第2の初期動きベクトル、および第2の参照インデックスを含み、前記第1の参照インデックスは、第1の参照ピクチャを示し、前記第2の参照インデックスは、第2の参照ピクチャを示す請求項2に記載の方法。
- ビデオ画像を符号化するための方法であって、
請求項1から3のいずれか一項に記載の方法に従って前記ビデオの現在のピクチャ内の現在の画像ブロックのインター予測を実行して前記現在の画像ブロックの予測ブロックを取得するステップと、
前記現在の画像ブロックと前記予測ブロックの間の残差、および初期動き情報を示すためのインデックスを含むビットストリームを生成するステップとを含む方法。 - ビットストリームからビデオ画像を復号化するための方法であって、
前記ビットストリームから、初期動き情報を示すためのインデックス、および現在の画像ブロックと前記現在の画像ブロックの予測ブロックの間の残差を解析するステップと、
請求項1から3のいずれか一項に記載の方法に従ってビデオの現在のピクチャ内の現在の画像ブロックのインター予測を実行して前記現在の画像ブロックの予測ブロックを取得するステップと、
前記残差および前記予測ブロックに基づいて前記現在の画像ブロックを再構築するステップとを含む方法。 - 符号化デバイスによって実現される符号化の方法であって、
請求項1から3のいずれか一項に記載の方法が有効化されるか、されないかを示すシンタックス要素の値を決定するステップと、
前記シンタックス要素を含むビットストリームを生成するステップとを含む方法。 - 復号化デバイスによって実現される復号化の方法であって、
請求項1から3のいずれか一項に記載の方法が有効化されるか、されないかを示すシンタックス要素をビットストリームから解析するステップと、
前記シンタックス要素に従ってデコーダ側動きベクトル精緻化(DMVR)手順を適応的に有効化または無効化するステップとを含む方法。 - コーディングデバイスであって、
命令を記憶するメモリと、
前記メモリに結合されたプロセッサであって、前記プロセッサは前記メモリに記憶された命令を実行して、
第1の時間的距離と第2の時間的距離が等しいかどうかを前記プロセッサに決定させ、
前記第1の時間的距離は、現在のピクチャのピクチャ順序カウント値と第1の参照ピクチャのピクチャ順序カウント値との差に関して表現され、前記第2の時間的距離は、第2の参照ピクチャのピクチャ順序カウント値と前記現在のピクチャのピクチャ順序カウント値との差に関して表現され、
複数の条件が満たされたときに、前記現在の画像ブロックの予測ブロックを決定するために復号動きベクトル精緻化(DMVR)手順を前記プロセッサに実行させ前記プロセッサに実行させるように構成されたプロセッサとを含むコーディングデバイスであって、
前記複数の条件は、ピクチャレベルでシグナリングされるフラグの値が前記ピクチャレベルで前記DMVR手順が有効化されたことを指示することと、
前記第1の時間的距離が前記第2の時間的距離と等しいことを含み、
前記DMVR手順を実行させることは、
マッチングコスト基準に基づいて第1の参照ブロックと第2の参照ブロックの対であって複数の対の位置から第1の参照ブロックと第2の参照ブロックの1対の位置を決定させることを含み、
第1の参照ブロックと第2参照ブロックの前記1対の位置は、第1の初期動きベクトルに基づいて決定される第1の参照ブロックであって前記第1の参照ピクチャの第1の参照ブロックの位置と、第2の初期動きベクトルに基づいて決定される第2の参照ブロックであって前記第2の参照ピクチャの第2の参照ブロックの位置を含み、
前記マッチングコスト基準は、前記第1の参照ブロックと前記第2の参照ブロックとのコスト比較に基づき、
第1の精緻化された動きベクトルと第2の精緻化された動きベクトルは、それぞれ前記第1の参照ブロックの位置と前記第2の参照ブロックの位置に関連付けられている
コーディングデバイス。 - 前記プロセッサは、
前記第1の時間的距離が前記第2の時間的距離に等しくないと決定されたときに、第1の初期動きベクトルおよび第2の初期動きベクトルを使用して動き補償を実行して、前記現在の画像ブロックの予測ブロックを決定するようにさらに構成された請求項8に記載のデバイス。 - 前記プロセッサは、
前記現在のピクチャ内の前記現在の画像ブロックの初期動き情報を取得するようにさらに構成され、前記初期動き情報は、前記第1の初期動きベクトル、第1の参照インデックス、前記第2の初期動きベクトル、および第2の参照インデックスを含み、前記第1の参照インデックスは、前記第1の参照ピクチャを示し、前記第2の参照インデックスは、前記第2の参照ピクチャを示す請求項8に記載のデバイス。 - ビデオの現在のピクチャ内の現在の画像ブロックのインター予測のための装置であって、
第1の時間的距離と第2の時間的距離が等しいかどうかを決定し、
前記第1の時間的距離は、前記現在のピクチャのピクチャ順序カウント値と第1の参照ピクチャのピクチャ順序カウント値との差に関して表現され、前記第2の時間的距離は、第2の参照ピクチャのピクチャ順序カウント値と前記現在のピクチャのピクチャ順序カウント値との差に関して表現される、ように構成された決定ユニットと、
複数の条件が満たされたときに、前記現在の画像ブロックの予測ブロックを決定するために復号動きベクトル精緻化(DMVR)手順を実行する、ように構成されたインター予測処理ユニットとを含む装置であって、
前記複数の条件は、ピクチャレベルでシグナリングされるフラグの値が前記ピクチャレベルで前記DMVR手順が有効化されたことを指示することと、
前記第1の時間的距離が前記第2の時間的距離と等しいことを含み、
前記DMVR手順を実行することは、
マッチングコスト基準に基づいて第1の参照ブロックと第2の参照ブロックの対であって複数の対の位置から第1の参照ブロックと第2の参照ブロックの1対の位置を決定することを含み、
第1の参照ブロックと第2参照ブロックの前記1対の位置は、第1の初期動きベクトルに基づいて決定される第1の参照ブロックであって前記第1の参照ピクチャの第1の参照ブロックの位置と、第2の初期動きベクトルに基づいて決定される第2の参照ブロックであって前記第2の参照ピクチャの第2の参照ブロックの位置を含み、
前記マッチングコスト基準は、前記第1の参照ブロックと前記第2の参照ブロックとのコスト比較に基づき、
第1の精緻化された動きベクトルと第2の精緻化された動きベクトルは、それぞれ前記第1の参照ブロックの位置と前記第2の参照ブロックの位置に関連付けられている
装置。 - 前記インター予測処理ユニットは、前記第1の時間的距離が前記第2の時間的距離に等しくないと決定されたときに、第1の初期動きベクトルおよび第2の初期動きベクトルを使用して動き補償を実行して、前記現在の画像ブロックの予測ブロックを決定するようにさらに構成された請求項11に記載の装置。
- 前記インター予測処理ユニットは、前記現在のピクチャ内の前記現在の画像ブロックの初期動き情報を取得するようにさらに構成され、前記初期動き情報は、前記第1の初期動きベクトル、第1の参照インデックス、前記第2の初期動きベクトル、および第2の参照インデックスを含み、前記第1の参照インデックスは、第1の参照ピクチャを示し、前記第2の参照インデックスは、第2の参照ピクチャを示す請求項12に記載の装置。
- ビデオ画像を符号化するための符号化装置であって、
現在の画像ブロックの予測ブロックを取得するための請求項11から13のいずれか一項に記載の装置と、
前記現在の画像ブロックと前記予測ブロックの間の残差、および初期動き情報を示すためのインデックスを含むビットストリームを生成するように構成されたエントロピーコーディングユニットとを含む符号化装置。 - ビットストリームからビデオ画像を復号化するための復号化装置であって、
前記ビットストリームから、初期動き情報を示すためのインデックス、および現在の画像ブロックと前記現在の画像ブロックの予測ブロックの間の残差を解析するように構成されたエントロピー復号化ユニットと、
前記現在の画像ブロックの前記予測ブロックを取得するための請求項11から13のいずれか一項に記載の装置と、
前記残差および前記予測ブロックに基づいて前記現在の画像ブロックを再構築するように構成された画像再構築ユニットとを含む復号化装置。 - 符号化デバイスであって、
請求項1から3のいずれか一項に記載の方法を有効化または無効化するためのシンタックス要素の値を決定し、
前記シンタックス要素を含むビットストリームを生成する
ように構成された1つまたは複数の処理回路を含む符号化デバイス。 - 復号化デバイスであって、
請求項1から3のいずれか一項に記載の方法が有効化されるか、されないかを示すためのシンタックス要素をビットストリームから解析し、
前記シンタックス要素に従ってデコーダ側動きベクトル精緻化(DMVR)手順を適応的に有効化または無効化する
ように構成された1つまたは複数の処理回路を含む復号化デバイス。 - プロセッサにおいて実行されたときに請求項1から7のいずれか一項に記載のステップを実行するコンピュータ可読命令を記憶するコンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023098026A JP2023126226A (ja) | 2018-09-13 | 2023-06-14 | ビデオコーディングにおける条件付きデコーダ側動きベクトル精緻化のための装置および方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN201831034607 | 2018-09-13 | ||
IN201831034607 | 2018-09-13 | ||
PCT/CN2019/105717 WO2020052654A1 (en) | 2018-09-13 | 2019-09-12 | Apparatus and method for conditional decoder-side motion vector refinement in video coding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023098026A Division JP2023126226A (ja) | 2018-09-13 | 2023-06-14 | ビデオコーディングにおける条件付きデコーダ側動きベクトル精緻化のための装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022500930A JP2022500930A (ja) | 2022-01-04 |
JP7297874B2 true JP7297874B2 (ja) | 2023-06-26 |
Family
ID=69778183
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021514368A Active JP7297874B2 (ja) | 2018-09-13 | 2019-09-12 | ビデオコーディングにおける条件付きデコーダ側動きベクトル精緻化のための装置および方法 |
JP2023098026A Pending JP2023126226A (ja) | 2018-09-13 | 2023-06-14 | ビデオコーディングにおける条件付きデコーダ側動きベクトル精緻化のための装置および方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023098026A Pending JP2023126226A (ja) | 2018-09-13 | 2023-06-14 | ビデオコーディングにおける条件付きデコーダ側動きベクトル精緻化のための装置および方法 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11563948B2 (ja) |
EP (1) | EP3847807A4 (ja) |
JP (2) | JP7297874B2 (ja) |
KR (2) | KR20240046631A (ja) |
CN (8) | CN117478873A (ja) |
BR (1) | BR112021004800A8 (ja) |
MX (1) | MX2021003048A (ja) |
SG (1) | SG11202102569QA (ja) |
WO (1) | WO2020052654A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113287317B (zh) | 2018-10-23 | 2023-04-28 | 北京字节跳动网络技术有限公司 | 并置的局部照明补偿和修改的帧间编解码工具 |
WO2020084507A1 (en) | 2018-10-23 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Harmonized local illumination compensation and modified inter prediction coding |
WO2020130710A1 (ko) * | 2018-12-21 | 2020-06-25 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
WO2020147747A1 (en) * | 2019-01-15 | 2020-07-23 | Beijing Bytedance Network Technology Co., Ltd. | Weighted prediction in video coding |
WO2020147805A1 (en) | 2019-01-17 | 2020-07-23 | Beijing Bytedance Network Technology Co., Ltd. | Deblocking filtering using motion prediction |
EP3907998A4 (en) * | 2019-02-14 | 2022-03-16 | LG Electronics Inc. | METHOD AND DEVICE FOR INTER-PREDICTION BASED ON A DMVR |
US20210092427A1 (en) * | 2019-09-23 | 2021-03-25 | Qualcomm Incorporated | Harmonized early termination in bdof and dmvr in video coding |
WO2023104083A1 (en) * | 2021-12-07 | 2023-06-15 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
WO2023141177A1 (en) * | 2022-01-18 | 2023-07-27 | Beijing Dajia Internet Information Technology Co., Ltd. | Motion compensation considering out-of-boundary conditions in video coding |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018092870A1 (ja) | 2016-11-21 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102123283B (zh) * | 2011-03-11 | 2013-10-30 | 杭州海康威视数字技术股份有限公司 | 视频帧率转换中的插值帧获取方法及其装置 |
US10958927B2 (en) * | 2015-03-27 | 2021-03-23 | Qualcomm Incorporated | Motion information derivation mode determination in video coding |
US10944963B2 (en) * | 2016-05-25 | 2021-03-09 | Arris Enterprises Llc | Coding weighted angular prediction for intra coding |
WO2018105582A1 (ja) * | 2016-12-09 | 2018-06-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
EP3556096B1 (en) * | 2016-12-22 | 2024-05-22 | HFI Innovation Inc. | Method and apparatus of motion refinement for video coding |
US10750203B2 (en) * | 2016-12-22 | 2020-08-18 | Mediatek Inc. | Method and apparatus of adaptive bi-prediction for video coding |
US10911761B2 (en) * | 2016-12-27 | 2021-02-02 | Mediatek Inc. | Method and apparatus of bilateral template MV refinement for video coding |
CN107360433B (zh) * | 2017-07-20 | 2020-06-19 | 北京奇艺世纪科技有限公司 | 一种帧间预测编码方法和装置 |
WO2019234578A1 (en) * | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Asymmetric weighted bi-predictive merges |
-
2019
- 2019-09-12 KR KR1020247010542A patent/KR20240046631A/ko active Application Filing
- 2019-09-12 BR BR112021004800A patent/BR112021004800A8/pt unknown
- 2019-09-12 KR KR1020217010891A patent/KR102653856B1/ko active IP Right Grant
- 2019-09-12 CN CN202310331603.9A patent/CN117478873A/zh active Pending
- 2019-09-12 WO PCT/CN2019/105717 patent/WO2020052654A1/en unknown
- 2019-09-12 CN CN202310330051.XA patent/CN117241015A/zh active Pending
- 2019-09-12 CN CN202310353986.XA patent/CN116743992A/zh active Pending
- 2019-09-12 MX MX2021003048A patent/MX2021003048A/es unknown
- 2019-09-12 CN CN202310331624.0A patent/CN116405667A/zh active Pending
- 2019-09-12 CN CN201980060419.7A patent/CN112740679B/zh active Active
- 2019-09-12 JP JP2021514368A patent/JP7297874B2/ja active Active
- 2019-09-12 SG SG11202102569QA patent/SG11202102569QA/en unknown
- 2019-09-12 CN CN202310330049.2A patent/CN116405666A/zh active Pending
- 2019-09-12 EP EP19860067.8A patent/EP3847807A4/en active Pending
- 2019-09-12 CN CN202310336590.4A patent/CN116489345A/zh active Pending
- 2019-09-12 CN CN202310344670.4A patent/CN116437076A/zh active Pending
-
2021
- 2021-03-12 US US17/249,771 patent/US11563948B2/en active Active
-
2022
- 2022-12-16 US US18/067,458 patent/US20230188722A1/en active Pending
-
2023
- 2023-06-14 JP JP2023098026A patent/JP2023126226A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018092870A1 (ja) | 2016-11-21 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
US20190273931A1 (en) | 2016-11-21 | 2019-09-05 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
Non-Patent Citations (5)
Title |
---|
Chun-Chi Chen, Wei-Jung Chien, Marta Karczewicz, Semih Esenlik, Ivan Krasnov, Zhijie Zhao, Ma Xiang, Haitao Yang, Jianle Chen,CE9-related: Harmonization between CE9.2.6 (DMVR with Template-free Bilateral Matching, JVET-K0359) and CE9.2.9 (DMVR with Bilateral Matching, JVET-K0217) [online], JVET-K JVET-K0361-v2,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0361-v2.zip>,2019年10月17日,1-5 |
Haitao Yang, et.al.,Subblock-Based Motion Derivation and Inter Prediction Refinement in the Versatile Video Coding Standard,IEEE Transactions on Circuits and Systems for Video Technology,2021年07月27日,Volume: 31, Issue: 10, October 2021,3862-3877 |
Huanbang Chen, Jianle Chen, Roman Chernyak, Semih Esenlik, Alexey Filippov, Shan Gao, Sergey Ikonin, Alexander Karabutov, Anand Meher Kotra, Xiaomu Lu, Xiang Ma, Vasily Rufitskiy, Timofey Solovyev, Victor Stepin, Maxim Sychev, Tian Wang, Ye-kui Wang, Weiwei Xu, Haitao Yang, Vladyslav Zakharchenko, Hong Zhang, Yin Zhao, Zhijie Zhao, Jiantong Zhou, Cheung Auyeung, Han Gao, Ivan Krasnov, Ruslan Mullakhmetov, Biao Wang, Yiu Fai Wong, Georgy Zhulikov, Adeel Abbas, David Newman, Jicheng, et.al.,Description of SDR, HDR and 360° video coding technology proposal by Huawei, GoPro, HiSilicon, and Samsung [online] Pyo Choi, Narae Choi, Woongil Choi, Amith Dsouza, Raj Narayana Gadde, Seungsoo Jeong, Bora Jin, Chanyul Kim, Sunil Lee, Junghye Min, JeongHoon Park, Minsoo Park, Min Woo Park, Yinji Piao, Chirag Pujara, Anish Tamse, Heechyul Yang (Samsung), JVET-J JVET-J0025_v2,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0025-v4.zip>,2019年10月17日,i- |
Semih Esenlik, Anand Meher Kotra, Biao Wang, Han Gao, Jianle Chen, Sriram Sethuraman,Simplified DMVR for inclusion in VVC [online], JVET-L JVET-L0670,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L0670-v1.zip>,2019年10月17日,1-5 |
Semih Esenlik, Ivan Krasnov, Zhijie Zhao, Ma Xiang, Haitao Yang, Jianle Chen, Yue Li,CE9: DMVR with Bilateral Matching (Test2.9) [online], JVET-K JVET-K0217_v1,ITU-T インターネット<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0217-v2.zip>,2019年10月17日,1-5 |
Also Published As
Publication number | Publication date |
---|---|
CN116405666A (zh) | 2023-07-07 |
CN116405667A (zh) | 2023-07-07 |
KR20210057146A (ko) | 2021-05-20 |
CN112740679B (zh) | 2023-03-24 |
BR112021004800A8 (pt) | 2021-06-22 |
US20220368921A9 (en) | 2022-11-17 |
WO2020052654A1 (en) | 2020-03-19 |
BR112021004800A2 (pt) | 2021-06-08 |
EP3847807A4 (en) | 2021-11-03 |
CN117241015A (zh) | 2023-12-15 |
CN117478873A (zh) | 2024-01-30 |
KR20240046631A (ko) | 2024-04-09 |
MX2021003048A (es) | 2021-08-11 |
US20210203946A1 (en) | 2021-07-01 |
KR102653856B1 (ko) | 2024-04-01 |
CN116437076A (zh) | 2023-07-14 |
CN116743992A (zh) | 2023-09-12 |
CN112740679A (zh) | 2021-04-30 |
CN116489345A (zh) | 2023-07-25 |
JP2023126226A (ja) | 2023-09-07 |
SG11202102569QA (en) | 2021-04-29 |
US20230188722A1 (en) | 2023-06-15 |
JP2022500930A (ja) | 2022-01-04 |
EP3847807A1 (en) | 2021-07-14 |
US11563948B2 (en) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7297874B2 (ja) | ビデオコーディングにおける条件付きデコーダ側動きベクトル精緻化のための装置および方法 | |
US10477237B2 (en) | Decoder side motion vector refinement in video coding | |
US11051034B2 (en) | History-based motion vector predictor | |
CN107534766B (zh) | 于视频译码中针对子块推导运动信息方法、装置 | |
CN107690810B (zh) | 确定用于视频译码的照明补偿状态的系统及方法 | |
CN107710764B (zh) | 确定用于视频译码的照明补偿状态的系统及方法 | |
CN112399183B (zh) | 用于视频编解码的方法、装置和存储介质 | |
US10542280B2 (en) | Encoding optimization with illumination compensation and integer motion vector restriction | |
JP2019514292A (ja) | ビデオコーディングにおけるコロケート参照インデックスのための適合制約 | |
JP7359873B2 (ja) | エンコーダ、デコーダ、及び対応する方法 | |
US9479788B2 (en) | Systems and methods for low complexity encoding and background detection | |
WO2020007261A1 (en) | V refinement of video motion vectors in adjacent video data | |
KR20230150284A (ko) | 효율적인 비디오 인코더 아키텍처 | |
JP2023024525A (ja) | ビデオ符号化における境界ブロックのパーティション分割 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7297874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |