JP7358436B2 - マルチリファレンス予測のための動きベクトルの精密化 - Google Patents
マルチリファレンス予測のための動きベクトルの精密化 Download PDFInfo
- Publication number
- JP7358436B2 JP7358436B2 JP2021183457A JP2021183457A JP7358436B2 JP 7358436 B2 JP7358436 B2 JP 7358436B2 JP 2021183457 A JP2021183457 A JP 2021183457A JP 2021183457 A JP2021183457 A JP 2021183457A JP 7358436 B2 JP7358436 B2 JP 7358436B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- reference picture
- picture
- estimate
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 479
- 239000013598 vector Substances 0.000 title claims description 460
- 238000000034 method Methods 0.000 claims description 36
- 238000013139 quantization Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 22
- 230000002123 temporal effect Effects 0.000 claims description 21
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 230000011664 signaling Effects 0.000 description 20
- 239000000872 buffer Substances 0.000 description 13
- 230000008901 benefit Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 238000009795 derivation Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 101100520660 Drosophila melanogaster Poc1 gene Proteins 0.000 description 2
- 101100520662 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PBA1 gene Proteins 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
MV1"=MV1+(MV0-MV0") (式1)
のように計算されうる。この式1(負の差MV0"-MV0を追加する)は、2つの参照ピクチャのうちの1つが現在のピクチャの前に位置し、残りの他の1つが現在のピクチャの後に位置する場合、図4に示す場合について機能する。図4に見られうるように、通常の動きを推定するために、現在の動きベクトルと前のピクチャ内の第1の動きベクトルとの間の差は、反転された符号で現在のピクチャに続くピクチャに投影される。
MV1"=MV1+(MV0"-MV0) (式2)
をもたらす。上述した前/後の位置は、表示順序におけるものであることを意味する。ビデオ内のピクチャの表示順序は、符号化/復号順序、すなわち、コーディングされたピクチャがビットストリーム内に埋め込まれている順序とは異なってもよい。ピクチャの表示順序は、Picture Order Count(POC)によって与えられてもよい。特に、H.265/HEVCにおけるPOCは、ピクチャまたはその一部である各スライスのスライスヘッダにおいてシグナリングされる。
(POCi-POC0)*(POCi-POC1)<0 (式3)
ここで、POCiは、現在のピクチャの表示順序(シーケンス番号)であり、POC0は、第1の参照ピクチャの表示順序であり、POC1は、第2の参照ピクチャの表示順序である。式3における条件が真である場合、次いで、第1の参照ピクチャが現在のピクチャに先行し、第2のピクチャが現在のピクチャの後に続くか、またはその逆のいずれかである。一方、式3の条件が真ではない場合、次いで、両方の参照ピクチャが現在のピクチャに先行するか、または両方が現在のピクチャの後に続くかのいずれかである。しかしながら、条件は、2つの差分式(POCi-POC0)および(POCi-POC1)の符号が同じであるかどうかを確認することができる任意の方法において実装されてもよい。上記の式3は、その比較的単純な実装形態のための乗算「*」を用いる例に過ぎない。
MV1"=MV1-f(MV0"-MV0) (式4)
再び、2つの参照ピクチャが表示順序において両方とも現在のピクチャに先行するか、または両方とも現在のピクチャの後に続く場合(式3の条件が偽)、次いで、計算は、符号を反転させることなく差を追加する。
MV1"=MV1+f(MV0"-MV0) (式5)
例えば、関数は、スケーリングおよび/またはクリッピングを含んでもよい。
MV1"=MV1-k*(MV0"-MV0)=MV1+k*(MV0-MV0") (式6)
ここで、「*」は、乗算(スケーリング)を表し、kは、スケーリングパラメータである。k=1の場合、式1が取得される。固定された(事前定義された)kを用いると、式6は、参照ピクチャのうちの一方が現在のピクチャに先行し、他方が現在のピクチャの後に続く場合に適用可能である。両方の参照ピクチャが現在のピクチャに先行するか、または両方が現在のピクチャの後に続く場合、符号は、反転する必要がある。
MV1"=MV1+k*(MV0"-MV0)=MV1-k*(MV0-MV0") (式7)
k=-(POCi-POC1)/(POCi-POC0) (式8)
によって与えられてもよい。スケーリングパラメータは、両方の参照ピクチャが表示順序において現在のピクチャの同じ側(先行するまたは後に続く)にあるか、または現在のピクチャの異なる側にあるかに応じて符号を変化させるので、上記の式8は、符号の変化をすでに考慮していることに留意されたい。
第1の例において、参照ピクチャ選択ユニット510は、それからそれぞれの動きベクトルに属する参照ピクチャが参照されたリストに基づいて、探索空間内の探索によってどの動きベクトルが決定されるべきかを決定する。具体的には、ビットストリーム内でエンコーダにおいて使用されるのと同じ予測子を復元するためにデコーダによって使用される予測子情報をシグナリングするために、いくつかのコーデックは、参照ピクチャのリスト内の特定の参照ピクチャに関連付けられたインデックスをビットストリームに含めることによって、参照ピクチャをシグナリングする。例えば、参照ピクチャのリスト(参照ピクチャリスト)は、エンコーダとデコーダの両方において利用可能で、現在のピクチャに対するそれぞれの参照ピクチャの相対的位置にインデックスを関連付けるテーブルであってもよい。
第2の例によれば、参照ピクチャ選択ユニット510は、(テンプレートマッチングによって精密化されるべき)第1の参照ピクチャとして、現在の参照ブロックに関する2つ(またはそれよりも多く)の参照ピクチャの中から最も低い時間層を有するピクチャを選択するように構成される。言い換えれば、参照ピクチャ選択ユニット510は、動きベクトルMV0およびMV1が関連する参照ピクチャの時間層に従って、上部ブランチ(530、550)または下部ブランチ(540、560)を選択するようにスイッチ520および580を制御する。
第3の例では、参照ピクチャ選択ユニット510は、(テンプレートマッチングによって精密化されるべき)第1の参照ピクチャとして、最も低いベース量子化値を有するピクチャを選択するように構成される。言い換えれば、参照ピクチャ選択ユニット510は、動きベクトルMV0およびMV1が関連する参照ピクチャの量子化パラメータに従って、上部ブランチ(530、550)または下部ブランチ(540、560)を選択するようにスイッチ520および580を制御する。
第4の例によれば、参照ピクチャ選択ユニット510は、現在のピクチャに対して最も短い距離を有するピクチャを第1の参照ピクチャとして選択するように構成される。言い換えれば、参照ピクチャ選択ユニット510は、現在のピクチャに対する、それぞれの動きベクトルMV0およびMV1に関連する参照ピクチャの距離に従って、上部ブランチ(530、550)または下部ブランチ(540、560)を選択するようにスイッチ520および580を制御する。
第5の例によれば、参照ピクチャ選択ユニットは、第1のベクトルの推定値の大きさが第2の動きベクトルの推定値の大きさよりも小さくなるように、第1の参照ピクチャと第2の参照ピクチャとを選択するように構成される。言い換えれば、参照ピクチャ選択ユニット510は、それぞれの参照ピクチャに関連する動きベクトルMV0およびMV1の長さ(大きさ)に従って、上部ブランチ(530、550)または下部ブランチ(540、560)を選択するようにスイッチ520および580を制御する。
101 変換ユニット
102 量子化ユニット
103 エントロピー符号化ユニット、エントロピーコーディングユニット
104 逆量子化ユニット
105 逆変換ユニット
106 ループフィルタリングユニット
107 フレームバッファ、参照ピクチャバッファ
108 モード選択ユニット
109 イントラ予測ユニット
110 インター予測ユニット
111 再構成ユニット
200 ビデオデコーダ、デコーダ
203 エントロピー復号ユニット
204 逆量子化ユニット
205 逆変換ユニット
206 ループフィルタリングユニット
207 参照ピクチャバッファ
209 イントラ予測ユニット
210 インター予測ユニット、参照ピクチャ選択ユニット
211 再構成ユニット
310 探索空間、探索領域
320 現在のブロック、テンプレート
330 中心点、点、初期点
500 動きベクトル精密化器、装置
505 入力
510 参照ピクチャ選択ユニット
520 スイッチ
530 動きベクトル精密化ユニット、動きベクトル計算ユニット、MV精密化器ユニット
540 動きベクトル計算ユニット、動きベクトル精密化ユニット
550 動きベクトル計算ユニット
560 動きベクトル計算ユニット
570 スイッチ
580 出力
800 インター予測ユニット
810 動きベクトルを決定するための装置、装置
820 動きベクトル推定器、動きベクトル推定ユニット
890 予測ユニット
Claims (16)
- ビデオの第1の参照ピクチャ内の第1の動きベクトルと前記ビデオの第2の参照ピクチャ内の第2の動きベクトルとを決定するための装置であって、前記第1および第2の動きベクトルが、現在のピクチャ内の前記ビデオのピクチャブロックのインター予測において適用され、前記装置が、
前記第1の動きベクトルの推定値を取得し、前記第1の動きベクトルの前記推定値に基づいて指定された探索空間内でバイラテラルテンプレートマッチングを使用して探索を実行することによって前記第1の動きベクトルを決定するように構成された動きベクトル精密化ユニットと、
前記第2の動きベクトルの推定値を取得し、前記第1の動きベクトルを決定するための前記探索が実行された後に、前記第2の動きベクトルを、前記第2の動きベクトルの前記推定値、および、前記第1の動きベクトルと前記第1の動きベクトルの前記推定値との間の差に基づいて計算するように構成される動きベクトル計算ユニットと
を備える、装置。 - 前記動きベクトル計算ユニットが、前記第2の動きベクトルの前記推定値に、前記第1の動きベクトルと前記第1の動きベクトルの前記推定値との間の前記差、または、前記第1の動きベクトルと前記第1の動きベクトルの前記推定値との間の前記差の関数を加えることによって前記第2の動きベクトルを計算するように構成された、請求項1に記載の装置。
- 前記関数が、スケーリング係数によるスケーリング、および/またはクリッピングを含む、請求項2に記載の装置。
- 前記スケーリング係数の値が、前記第1の参照ピクチャおよび前記第2の参照ピクチャの前記現在のピクチャに対するそれぞれの距離間の比に依存する、請求項3に記載の装置。
- 2つの参照ピクチャを取得し、前記2つの参照ピクチャの中から前記第1の参照ピクチャを選択し、前記2つの参照ピクチャの中から前記第2の参照ピクチャを選択するように構成された参照ピクチャ選択ユニットをさらに備える、請求項1から4のいずれか一項に記載の装置。
- 前記参照ピクチャ選択ユニットが、前記それぞれの第1の参照ピクチャまたは第2の参照ピクチャが、参照ピクチャの少なくとも2つのリスト間で参照ピクチャの事前定義されたリストに関連するインデックスによって、前記ビデオの前記ピクチャブロックも含むビットストリーム内で参照されるかどうかに基づいて、前記第1の参照ピクチャまたは前記第2の参照ピクチャのいずれかを選択するように構成され、参照ピクチャのリストが、インデックスを前記現在のピクチャに対する参照ピクチャの位置に関連付ける、請求項5に記載の装置。
- 前記参照ピクチャ選択ユニットが、前記2つの参照ピクチャが参照ピクチャの同じ事前定義されたリスト内のインデックスによって前記ビットストリーム内で参照される場合、参照ピクチャの前記リスト内の最も高い位置を有する前記ピクチャを前記第1の参照ピクチャとして選択するように構成された、請求項6に記載の装置。
- 前記参照ピクチャ選択ユニットが、前記2つのピクチャの中で最も低い時間層を有する前記ピクチャを前記第1の参照ピクチャとして選択するように構成された、請求項5に記載の装置。
- 前記参照ピクチャ選択ユニットが、最も低いベース量子化値を有する前記ピクチャを前記第1の参照ピクチャとして選択するように構成された、請求項5に記載の装置。
- 前記参照ピクチャ選択ユニットが、前記現在のピクチャまでの最小の距離を有する前記ピクチャを前記第1の参照ピクチャとして選択するように構成された、請求項5に記載の装置。
- 前記参照ピクチャ選択ユニットが、前記第1の動きベクトルの前記推定値が前記第2の動きベクトルの前記推定値よりも小さくなるように、前記第1の参照ピクチャと前記第2の参照ピクチャとを選択するように構成された、請求項5に記載の装置。
- テンプレートとそれぞれの動きベクトル候補によって参照される前記ピクチャの部分との類似性に基づいて、動きベクトル候補のセットから前記第1の動きベクトルの前記推定値と前記第2の動きベクトルの前記推定値とを選択することによって、それらを決定するように構成された動きベクトル推定器をさらに備える、請求項1から11のいずれか一項に記載の装置。
- ビットストリームから複数のピクチャを復号するためのビデオデコーダであって、
請求項1から12のいずれか一項に記載の装置と、前記第1の動きベクトルによって参照される前記第1の参照ピクチャの部分と前記第2の動きベクトルによって参照される前記第2の参照ピクチャの部分とに従って予測ブロックを決定するように構成された予測ユニットとを含むインター予測ユニットと、
前記ビットストリームから、前記第1の動きベクトルの前記推定値と前記第2の動きベクトルの前記推定値とを取得するように構成されたビットストリーム解析器と、
前記予測ブロックに従って前記現在のブロックを再構成するように構成された再構成ユニットと
を備える、ビデオデコーダ。 - 複数のピクチャをビットストリームに符号化するためのビデオエンコーダであって、
請求項1から12のいずれか一項に記載の装置と、前記第1の動きベクトルによって参照される前記第1の参照ピクチャの部分と前記第2の動きベクトルによって参照される前記第2の参照ピクチャの部分とに従って予測ブロックを決定するように構成された予測ユニットとを含むインター予測ユニットと、
前記第1の動きベクトルの前記推定値と前記第2の動きベクトルの前記推定値とを前記ビットストリームに含めるように構成されたビットストリーム形成器と、
前記予測ブロックに従って前記現在のブロックを再構成し、前記再構成されたブロックをメモリに記憶するように構成された再構成ユニットと
を備える、ビデオエンコーダ。 - ビデオの第1の参照ピクチャ内の第1の動きベクトルと前記ビデオの第2の参照ピクチャ内の第2の動きベクトルとを決定するための方法であって、前記第1および第2の動きベクトルが前記ビデオの現在のピクチャ内のピクチャブロックのインター予測において適用され、前記方法が、
前記第1の動きベクトルの推定値を取得するステップと、
前記第1の動きベクトルの前記推定値に基づいて指定された探索空間内でバイラテラルテンプレートマッチングを使用して探索を実行することによって前記第1の動きベクトルを決定するステップと、
前記第2の動きベクトルの推定値を取得するステップと、
前記第1の動きベクトルを決定するための前記探索が実行された後に、前記第2の動きベクトルを、前記第2の動きベクトルの前記推定値、および、前記第1の動きベクトルと前記第1の動きベクトルの前記推定値との間の差に基づいて計算するステップと
を備える、方法。 - プロセッサによって実行されたとき、請求項15に記載の方法が実行されるようにさせるプログラムコードを含む、コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023163080A JP2023174703A (ja) | 2017-06-30 | 2023-09-26 | マルチリファレンス予測のための動きベクトルの精密化 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EPPCT/EP2017/066342 | 2017-06-30 | ||
PCT/EP2017/066342 WO2019001741A1 (en) | 2017-06-30 | 2017-06-30 | MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION |
JP2019571974A JP6977068B2 (ja) | 2017-06-30 | 2018-03-29 | マルチリファレンス予測のための動きベクトルの精密化 |
PCT/EP2018/058203 WO2019001786A1 (en) | 2017-06-30 | 2018-03-29 | MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571974A Division JP6977068B2 (ja) | 2017-06-30 | 2018-03-29 | マルチリファレンス予測のための動きベクトルの精密化 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023163080A Division JP2023174703A (ja) | 2017-06-30 | 2023-09-26 | マルチリファレンス予測のための動きベクトルの精密化 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022022228A JP2022022228A (ja) | 2022-02-03 |
JP7358436B2 true JP7358436B2 (ja) | 2023-10-10 |
Family
ID=59258246
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571974A Active JP6977068B2 (ja) | 2017-06-30 | 2018-03-29 | マルチリファレンス予測のための動きベクトルの精密化 |
JP2021183457A Active JP7358436B2 (ja) | 2017-06-30 | 2021-11-10 | マルチリファレンス予測のための動きベクトルの精密化 |
JP2023163080A Pending JP2023174703A (ja) | 2017-06-30 | 2023-09-26 | マルチリファレンス予測のための動きベクトルの精密化 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571974A Active JP6977068B2 (ja) | 2017-06-30 | 2018-03-29 | マルチリファレンス予測のための動きベクトルの精密化 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023163080A Pending JP2023174703A (ja) | 2017-06-30 | 2023-09-26 | マルチリファレンス予測のための動きベクトルの精密化 |
Country Status (19)
Country | Link |
---|---|
US (4) | US11463726B2 (ja) |
EP (3) | EP3635956A1 (ja) |
JP (3) | JP6977068B2 (ja) |
KR (4) | KR102344430B1 (ja) |
CN (3) | CN110809887B (ja) |
AU (1) | AU2018294206B2 (ja) |
BR (1) | BR112019027261A2 (ja) |
CA (1) | CA3068332C (ja) |
CL (1) | CL2019003880A1 (ja) |
ES (1) | ES2963978T3 (ja) |
FI (1) | FI3632104T3 (ja) |
HU (1) | HUE064054T2 (ja) |
IL (1) | IL271762B2 (ja) |
MX (1) | MX2019015871A (ja) |
PL (1) | PL3632104T3 (ja) |
PT (1) | PT3632104T (ja) |
SG (1) | SG11201911978TA (ja) |
UA (1) | UA126919C2 (ja) |
WO (3) | WO2019001741A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019001741A1 (en) * | 2017-06-30 | 2019-01-03 | Huawei Technologies Co., Ltd. | MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION |
CN117615154A (zh) * | 2017-08-29 | 2024-02-27 | 株式会社Kt | 视频解码和编码方法及用于存储压缩视频数据的装置 |
CN109996081B (zh) * | 2017-12-31 | 2023-09-12 | 华为技术有限公司 | 图像预测方法、装置以及编解码器 |
WO2019191717A1 (en) | 2018-03-30 | 2019-10-03 | Hulu, LLC | Template refined bi-prediction for video coding |
KR20230161539A (ko) * | 2018-06-07 | 2023-11-27 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 부분 코스트 계산 |
TWI719519B (zh) | 2018-07-02 | 2021-02-21 | 大陸商北京字節跳動網絡技術有限公司 | 對於dmvr的塊尺寸限制 |
CN111083489B (zh) | 2018-10-22 | 2024-05-14 | 北京字节跳动网络技术有限公司 | 多次迭代运动矢量细化 |
WO2020084476A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Sub-block based prediction |
CN111436228B (zh) | 2018-11-12 | 2024-06-21 | 北京字节跳动网络技术有限公司 | 组合帧间-帧内预测的简化 |
CN113170097B (zh) * | 2018-11-20 | 2024-04-09 | 北京字节跳动网络技术有限公司 | 视频编解码模式的编解码和解码 |
WO2020103852A1 (en) | 2018-11-20 | 2020-05-28 | Beijing Bytedance Network Technology Co., Ltd. | Difference calculation based on patial position |
US11095900B2 (en) * | 2018-12-19 | 2021-08-17 | Sony Group Corporation | Point cloud coding structure |
KR20210094664A (ko) * | 2019-01-02 | 2021-07-29 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | 비디오 인코딩/디코딩 시스템의 사이드 모션 정교화 |
DK3912352T3 (da) * | 2019-02-22 | 2023-11-20 | Huawei Tech Co Ltd | Tidlig afslutning til forfinelse af optisk strøm |
WO2020177755A1 (en) | 2019-03-06 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Usage of converted uni-prediction candidate |
EP3912354A4 (en) * | 2019-03-08 | 2022-03-16 | Huawei Technologies Co., Ltd. | SEARCH REGION FOR MOTION VECTOR REFINEMENT |
US11206425B2 (en) | 2019-03-11 | 2021-12-21 | Alibaba Group Holding Limited | Inter prediction methods for coding video data |
CN112468813A (zh) | 2019-03-11 | 2021-03-09 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
EP3939310A4 (en) * | 2019-03-11 | 2022-07-27 | Telefonaktiebolaget LM Ericsson (publ) | MOTION REFINING AND WEIGHTED PREDICTION |
KR20230169434A (ko) | 2019-04-02 | 2023-12-15 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 디코더 측 움직임 벡터 유도 |
US11736720B2 (en) * | 2019-09-03 | 2023-08-22 | Tencent America LLC | Motion vector refinement methods for video encoding |
EP4118835A4 (en) * | 2020-03-31 | 2023-05-10 | Beijing Dajia Internet Information Technology Co., Ltd. | HIGH LEVEL SYNTAX METHODS AND DEVICES IN VIDEO CODING |
CN115715467A (zh) * | 2020-04-03 | 2023-02-24 | 北京达佳互联信息技术有限公司 | 用于视频编解码中的高级语法的方法和设备 |
US11671616B2 (en) | 2021-03-12 | 2023-06-06 | Lemon Inc. | Motion candidate derivation |
US20220295090A1 (en) * | 2021-03-12 | 2022-09-15 | Lemon Inc. | Motion candidate derivation |
US11936899B2 (en) | 2021-03-12 | 2024-03-19 | Lemon Inc. | Methods and systems for motion candidate derivation |
US20240196002A1 (en) * | 2021-04-21 | 2024-06-13 | Beijing Bytedance Network Technology Co., Ltd. | Method, device, and medium for video processing |
US11895302B2 (en) * | 2021-06-29 | 2024-02-06 | Qualcomm Incorporated | Adaptive bilateral matching for decoder side motion vector refinement |
US20230079743A1 (en) * | 2021-09-16 | 2023-03-16 | Qualcomm Incorporated | Multiple inter predictors with decoder side motion vector derivation for video coding |
US20230093043A1 (en) * | 2021-09-22 | 2023-03-23 | Tencent America LLC | Method and apparatus for adaptive reordering for reference frames |
CN114161197B (zh) * | 2021-12-22 | 2023-09-15 | 中国科学技术大学 | 一种偏心工件自动校正方法、系统、设备及存储介质 |
WO2023136655A1 (ko) * | 2022-01-13 | 2023-07-20 | 엘지전자 주식회사 | 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체 |
WO2024076220A1 (ko) * | 2022-10-07 | 2024-04-11 | 한국전자통신연구원 | 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체 |
WO2024117694A1 (ko) * | 2022-12-01 | 2024-06-06 | 현대자동차주식회사 | 템플릿 매칭 기반 인터 예측을 이용하는 비디오 코딩을 위한 방법 및 장치 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6977068B2 (ja) | 2017-06-30 | 2021-12-08 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | マルチリファレンス予測のための動きベクトルの精密化 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1489848A4 (en) * | 2002-03-14 | 2006-05-03 | Matsushita Electric Ind Co Ltd | MOTION VECTOR DETECTION METHOD |
KR101377660B1 (ko) * | 2008-09-30 | 2014-03-26 | 에스케이텔레콤 주식회사 | 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
KR20110022133A (ko) * | 2009-08-27 | 2011-03-07 | 삼성전자주식회사 | 영상의 움직임 추정방법 및 영상처리장치 |
JP5248632B2 (ja) * | 2010-01-14 | 2013-07-31 | インテル コーポレイション | 動き推定のための技術 |
US20120281759A1 (en) * | 2010-03-31 | 2012-11-08 | Lidong Xu | Power efficient motion estimation techniques for video encoding |
US9398308B2 (en) * | 2010-07-28 | 2016-07-19 | Qualcomm Incorporated | Coding motion prediction direction in video coding |
JP5786498B2 (ja) * | 2011-06-30 | 2015-09-30 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法及び画像符号化プログラム |
WO2014083491A2 (en) * | 2012-11-27 | 2014-06-05 | Squid Design Systems Pvt Ltd | System and method of mapping multiple reference frame motion estimation on multi-core dsp architecture |
JP5983430B2 (ja) * | 2013-01-25 | 2016-08-31 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法 |
JP6271888B2 (ja) * | 2013-07-12 | 2018-01-31 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
US10097851B2 (en) * | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
US20170289566A1 (en) * | 2014-09-26 | 2017-10-05 | Vid Scale, Inc. | Intra block copy coding with temporal block vector prediction |
US11330284B2 (en) | 2015-03-27 | 2022-05-10 | Qualcomm Incorporated | Deriving motion information for sub-blocks in video coding |
WO2017036414A1 (en) * | 2015-09-02 | 2017-03-09 | Mediatek Inc. | Method and apparatus of decoder side motion derivation for video coding |
EP3611925A4 (en) * | 2017-04-13 | 2020-03-25 | Panasonic Intellectual Property Corporation of America | ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD, AND DECODING METHOD |
US20190007699A1 (en) * | 2017-06-28 | 2019-01-03 | Futurewei Technologies, Inc. | Decoder Side Motion Vector Derivation in Video Coding |
-
2017
- 2017-06-30 WO PCT/EP2017/066342 patent/WO2019001741A1/en active Application Filing
-
2018
- 2018-03-28 EP EP18713674.2A patent/EP3635956A1/en active Pending
- 2018-03-28 WO PCT/EP2018/057893 patent/WO2019001785A1/en unknown
- 2018-03-29 CN CN201880044272.8A patent/CN110809887B/zh active Active
- 2018-03-29 JP JP2019571974A patent/JP6977068B2/ja active Active
- 2018-03-29 HU HUE18713694A patent/HUE064054T2/hu unknown
- 2018-03-29 BR BR112019027261-5A patent/BR112019027261A2/pt unknown
- 2018-03-29 EP EP23199589.5A patent/EP4319154A3/en active Pending
- 2018-03-29 FI FIEP18713694.0T patent/FI3632104T3/fi active
- 2018-03-29 KR KR1020207000614A patent/KR102344430B1/ko active IP Right Grant
- 2018-03-29 EP EP18713694.0A patent/EP3632104B1/en active Active
- 2018-03-29 WO PCT/EP2018/058203 patent/WO2019001786A1/en unknown
- 2018-03-29 KR KR1020237028327A patent/KR20230125348A/ko not_active Application Discontinuation
- 2018-03-29 IL IL271762A patent/IL271762B2/en unknown
- 2018-03-29 KR KR1020217042264A patent/KR102450443B1/ko active IP Right Grant
- 2018-03-29 SG SG11201911978TA patent/SG11201911978TA/en unknown
- 2018-03-29 PL PL18713694.0T patent/PL3632104T3/pl unknown
- 2018-03-29 AU AU2018294206A patent/AU2018294206B2/en active Active
- 2018-03-29 UA UAA201912286A patent/UA126919C2/uk unknown
- 2018-03-29 MX MX2019015871A patent/MX2019015871A/es unknown
- 2018-03-29 PT PT187136940T patent/PT3632104T/pt unknown
- 2018-03-29 ES ES18713694T patent/ES2963978T3/es active Active
- 2018-03-29 CN CN202211657738.6A patent/CN116248898A/zh active Pending
- 2018-03-29 CN CN202211657842.5A patent/CN116233463A/zh active Pending
- 2018-03-29 KR KR1020227033842A patent/KR102570488B1/ko active IP Right Grant
- 2018-03-29 CA CA3068332A patent/CA3068332C/en active Active
-
2019
- 2019-12-27 CL CL2019003880A patent/CL2019003880A1/es unknown
- 2019-12-27 US US16/728,747 patent/US11463726B2/en active Active
- 2019-12-30 US US16/730,735 patent/US10856006B2/en active Active
-
2021
- 2021-10-20 US US17/506,403 patent/US11683520B2/en active Active
- 2021-11-10 JP JP2021183457A patent/JP7358436B2/ja active Active
-
2023
- 2023-05-05 US US18/313,202 patent/US20230353778A1/en active Pending
- 2023-09-26 JP JP2023163080A patent/JP2023174703A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6977068B2 (ja) | 2017-06-30 | 2021-12-08 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | マルチリファレンス予測のための動きベクトルの精密化 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7358436B2 (ja) | マルチリファレンス予測のための動きベクトルの精密化 | |
US11310521B2 (en) | Error surface based sub-pixel accurate refinement method for decoder side motion vector refinement | |
NZ760521B2 (en) | Motion vector refinement for multi-reference prediction | |
NZ780051B2 (en) | Motion vector refinement for multi-reference prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7358436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |