JP7231727B2 - 精緻化を伴うインター予測のための補間 - Google Patents
精緻化を伴うインター予測のための補間 Download PDFInfo
- Publication number
- JP7231727B2 JP7231727B2 JP2021523358A JP2021523358A JP7231727B2 JP 7231727 B2 JP7231727 B2 JP 7231727B2 JP 2021523358 A JP2021523358 A JP 2021523358A JP 2021523358 A JP2021523358 A JP 2021523358A JP 7231727 B2 JP7231727 B2 JP 7231727B2
- Authority
- JP
- Japan
- Prior art keywords
- samples
- video block
- current video
- block
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 287
- 230000003287 optical effect Effects 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims 2
- 239000013598 vector Substances 0.000 description 169
- 239000000523 sample Substances 0.000 description 73
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 52
- 238000009795 derivation Methods 0.000 description 49
- 230000002123 temporal effect Effects 0.000 description 42
- 241000023320 Luma <angiosperm> Species 0.000 description 28
- 230000002146 bilateral effect Effects 0.000 description 26
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 26
- 238000010586 diagram Methods 0.000 description 25
- 238000004422 calculation algorithm Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 22
- 238000005457 optimization Methods 0.000 description 18
- 230000002457 bidirectional effect Effects 0.000 description 17
- 238000004590 computer program Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 12
- 101100537098 Mus musculus Alyref gene Proteins 0.000 description 11
- 101150095908 apex1 gene Proteins 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000011664 signaling Effects 0.000 description 8
- 238000003491 array Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
パリ条約に基づいて適用可能な特許法および/または規則の下に、この出願は、2018年11月5日に提出された国際特許出願第PCT/CN2018/113928号の優先権および恩典を主張して適時になされる。米国の法律の下におけるすべての目的のために、上記の出願の完全な開示は、参照により、この出願の開示の一部として援用される。
映像符号化規格は、ここ数年にわたって有意に改良され、現在は、より高い解像度のためのサポートおよび高い符号化効率がある程度提供されている。HEVCおよびH.265等の最近の規格は、ハイブリッド映像符号化構造に基づいており、それにおいては、時間的予測に変換符号化がプラスされて利用されている。
それぞれのインター予測されたPU(予測ユニット:Prediction Unit)は、1つまたは2つの参照ピクチャリストのための動きパラメータを有する。いくつかの実施形態においては、動きパラメータが、動きベクトルおよび参照ピクチャインデックスを含む。ほかの実施形態においては、2つの参照ピクチャリストのうちの1つの使用もまた、inter_pred_idcを使用してシグナリングしてよい。さらにほかの実施形態においては、動きベクトルが、予測因子に関する差分として明示的に符号化されてよい。
マージモードを使用してPUが予測されるとき、マージ候補リスト内のエントリを指し示すインデックスがビットストリームから構文解析され、かつ使用されて動き情報が取り出される。このリストの構築を、以下のステップのシーケンスにあるように要約することが可能である:
ステップ1.1:空間的候補の導出
ステップ1.2:空間的候補のための冗長性チェック
ステップ1.3:時間的候補の導出
ステップ2:追加の候補の挿入
ステップ2.1:双方向予測候補の作成
ステップ2.2:ゼロ動き候補の挿入
空間的マージ候補の導出においては、図2に図示されている位置に位置する候補の中から最大で4つのマージ候補が選択される。導出の順序は、A1、B1、B0、A0、およびB2である。位置B2は、位置A1、B1、B0、およびA0のいずれのPUも(例えば、別のスライスまたはタイルに属しているために)利用可能でないか、またはイントラ符号化されているときにのみ考慮される。位置A1の候補が追加された後は、符号化効率が向上するように、残りの候補の追加が、同一の動き情報を伴う候補がリストから除外されることを保証する冗長性チェックの対象となる。
このステップにおいては、リストに候補が1つだけ追加される。特に、この時間的マージ候補の導出においては、スケーリングされた動きベクトルが、与えられた参照ピクチャリスト内において現在のピクチャと最小のPOC差分を有するピクチャに属する同一位置のPU(co-located PU)に基づいて導出される。その同一位置のPUの導出のために使用されるべき参照ピクチャリストは、スライスヘッダの中で明示的にシグナリングされる。
空間的-時間的マージ候補のほかに、追加のタイプのマージ候補、すなわち結合双方向予測マージ候補およびゼロマージ候補の2つが存在する。結合双方向予測マージ候補は、空間的-時間的マージ候補を利用することによって生成される。結合双方向予測マージ候補は、Bスライスのためにのみ使用される。結合双方向予測候補は、初期候補の第1の参照ピクチャリストの動きパラメータと、別の候補の第2の参照ピクチャリストの動きパラメータとを組み合わせることによって生成される。これら2つのタプルが異なる動き仮説を提供する場合には、それらは、新しい双方向予測候補を形成することになる。
符号化処理を高速化するために、動き推定を並列に実施することが可能であり、それによって、与えられた領域の内側のすべての予測ユニットのための動きベクトルが、同時に導出される。空間的近傍からのマージ候補の導出は、1つの予測ユニットが動きパラメータを隣接PUから導出することが、それに関連付けされた動き推定が完了するまで可能でないため、並列処理と干渉することがある。符号化効率と処理待ち時間の間におけるトレードオフを軽減するために、動き推定領域(MER:Motion Estimation Region)を定義することができる。MERのサイズは、ピクチャパラメータセット(PPS)の中で『log2_parallel_merge_level_minus2』構文要素を使用してシグナリングすることができる。MERが定義されるとき、同一領域内に入るマージ候補が利用不可としてマークされ、したがって、リスト構築においては考慮されない。
AMVPは、動きベクトルの近傍のPUとの空間的-時間的相関を利用し、動きパラメータの明示的な送信のために使用される。これは、最初に、時間的に近傍の左と上のPU位置の利用可能性をチェックし、冗長候補を除去し、ゼロベクトルを追加して候補リストを一定長にすることによって動きベクトル候補リストを構築する。その後、エンコーダが、候補リストの中から最良の予測因子を選択し、対応する選択した候補を示すインデックスを送信することが可能になる。マージインデックスシグナリングと同様に、最良の動きベクトル候補のインデックスが、短縮項(truncated unary)を使用して符号化される。符号化されることになる最大値は、この場合においては2である(図8参照)。以下のセクションにおいては、動きベクトル予測候補の導出処理についての詳細を提供する。
図8は、動きベクトル予測候補のための導出処理の要約であり、入力としてrefidxを伴う各参照ピクチャリストのために実装することができる。
空間的動きベクトル候補の導出においては、先の図2の中に示されているとおりの動きマージの位置と同じ位置に位置するPUから導出される5つの潜在的候補の中から最大で2つの候補が考慮される。現在のPUの左側のための導出の順序は、A0、A1、およびスケーリングされたA0、およびスケーリングされたA1として定義される。現在のPUの上側のための導出の順序は、B0、B1、B2、スケーリングされたB0、スケーリングされたB1、スケーリングされたB2として定義される。したがって、各側について、動きベクトル候補として使用することが可能な4つのケース、すなわち、空間的スケーリングの使用が必要とされない2つのケース、および空間的スケーリングが使用される2つのケースが存在する。4つの異なるケースは、以下のとおりに要約される:
(1)同一の参照ピクチャリスト、かつ、同一の参照ピクチャインデックス(同一のPOC)
(2)異なる参照ピクチャリスト、かつ、同一の参照ピクチャ(同一のPOC)
--空間的スケーリング
(3)同一の参照ピクチャリスト、かつ、異なる参照ピクチャ(異なるPOC)
(4)異なる参照ピクチャリスト、かつ、異なる参照ピクチャ(異なるPOC)
参照ピクチャインデックスの導出を除けば、時間的マージ候補の導出のためのすべての処理は、(図6の例に示されているとおり)空間的動きベクトル候補の導出のためのそれと同じである。いくつかの実施態様においては、参照ピクチャインデックスが、デコーダにシグナリングされる。
いくつかの実施形態においては、将来的な映像符号化技術が、JEM(Joint Exploration Model)として知られる参照ソフトウエアを使用して探査される。JEMにおいては、いくつかの符号化ツールに、アフィン予測、ATMVP(Alternative Temporal Motion Vector Prediction)、STMVP(Spatial-Temporal Motion Vector Prediction)、双方向オプティカルフロー(BDOFまたはBIO)、FRUC(Frame-Rate Up Conversion)、LAMVR(Locally Adaptive Motion Vector Resolution)、OBMC(Overlapped Block Motion Compensation)、LIC(Local Illumination Compensation)、およびDMVR(Decoder-side Motion Vector Refinement)等のサブブロックベースの予測が採り入れられる。
QTBT(Quad Tree plus Binary Trees)を用いるJEMにおいては、各CUが、各予測方向のために多くとも1セットの動きパラメータを有することが可能である。いくつかの実施形態においては、2つのサブCUレベルの動きベクトル予測方法が、エンコーダ内において、ラージCUをサブCUに分割し、ラージCUのすべてのサブCUのための動き情報を導出することによって考慮される。ATMVP(Alternative Temporal Motion Vector Prediction)方法は、各CUが、同一位置の参照ピクチャ内の現在のCUより小さい複数のブロックから複数セットの動き情報をフェッチすることを可能にする。STMVP(Spatial-Temporal Motion Vector Prediction)方法においては、サブCUの動きベクトルが、時間的動きベクトル予測因子および空間的な近傍の動きベクトルを使用することによって再帰的に導出される。いくつかの実施形態においては、サブCU動き予測のためのより正確な動きフィールドを保存するために、参照フレームのための動き圧縮を無効化することができる。
ATMVP方法においては、TMVP(Temporal Motion Vector Prediction)方法が、現在のCUより小さいブロックから複数セットの動き情報(動きベクトルおよび参照インデクスを含む)をフェッチすることによって修正される。
STMVP方法においては、サブCUの動きベクトルが、ラスタスキャンの順序に従って再帰的に導出される。図11は、4つのサブブロックを伴う1つのCUおよび近傍のブロックの例を示している。4つの4×4サブCUのA(1101)、B(1102)、C(1103)、およびD(1104)を含む8×8のCU1100を考える。現在のフレーム内の近傍の4×4ブロックは、a(1111)、b(1112)、c(1113)、およびd(1114)としてラベル付けされる。
いくつかの実施形態においては、サブCUモードが、追加のマージ候補として有効化され、そのモードのシグナリングに必要とされる追加の構文要素は存在しない。2つの追加のマージ候補が、ATMVPモードおよびSTMVPモードを表すべく各CUのマージ候補リストに追加される。ほかの実施形態においては、ATMVPおよびSTMVPが有効化されることをシーケンスパラメータセットが示している場合に、最大で7つのマージ候補を使用することができる。追加のマージ候補の符号化ロジックは、HMにおけるマージ候補のためのそれと同じであり、すなわちこれは、PまたはBスライス内のそれぞれのCU毎に、さらに2つのRDチェックが2つの追加のマージ候補のために必要になる可能性があることを意味する。いくつかの実施形態、例えばJEM、においては、マージインデックスのすべてのビンが、CABAC(Context-based Adaptive Binary Arithmetic Coding)によってコンテキスト符号化される。ほかの実施形態、例えばHEVC、においては、最初のビンのみがコンテキスト符号化され、残りのビンは、バイパス符号化されたコンテキストである。
いくつかの実施形態においては、スライスヘッダ内のuse_integer_mv_flagが0に等しいとき、1/4輝度サンプルを単位にして、(PUの動きベクトルと予測された動きベクトルとの間における)MVD(Motion Vector Difference)がシグナリングされる。JEMにおいては、LAMVR(Locally Adaptive Motion Vector Resolution)が導入される。JEMにおいては、1/4輝度サンプル、整数輝度サンプル、または4輝度サンプルを単位にしてMVDを符号化することが可能である。MVD解像度は、符号化ユニット(CU)レベルにおいて制御され、MVD解像度フラグが、少なくとも1つの非ゼロMVDの構成要素を有する各CUのために条件付きでシグナリングされる。
HEVCにおいては、動きベクトルの精度が1/4ピクセル(4:2:0映像についての1/4輝度サンプルおよび1/8彩度サンプル)である。JEMにおいては、内部動きベクトルストレージおよびマージ候補のための精度が1/16ピクセルに増加する。より高い動きベクトル精度(1/16ピクセル)が、スキップ/マージモードを用いて符号化されるCUのための動き補償インター予測に使用される。標準AMVPモードを用いて符号化されるCUのためには、整数ピクセルまたは1/4ピクセルのいずれかの動きが使用される。
JEMにおいては、CUレベルにおける構文を使用してOBMCのオン・オフを切り換えることが可能である。JEMにおいてOBMCが使用されるときには、CUの右側および下側の境界を除き、OBMCが、すべての動き補償(MC:Motion Compensation)ブロック境界のために実施される。それに加えて、これは、輝度および彩度成分の両方のために適用される。JEMにおいては、MCブロックが符号化ブロックに対応する。サブCUモードを用いてCUが符号化されるときには(サブCUマージ、アフィン、およびFRUCモードを含む)、CUの各サブブロックがMCブロックになる。一様な態様でCU境界を処理するために、すべてのMCブロック境界のためにサブブロックレベルにおいてOBMCが実行され、それにおいては、サブブロックサイズは、図12Aおよび12Bに示されているとおり、4×4に等しく設定される。
LICは、照度変化のための線形モデルに基づき、スケーリング因子aおよびオフセットbを使用する。また、これは、各インターモード符号化された符号化ユニット(CU)毎に適応的に有効化されるか、または無効化される。
HEVCにおいては、平行移動動きモデルのみが、動き補償予測(MCP:Motion Compensation Prediction)に適用される。しかしながら、カメラおよび対象は、多くの種類の動き、例えば、ズームイン/アウト、回転、遠近運動、および/またはそのほかの不規則な動き等を有する可能性がある。これに対してJEMは、単純化したアフィン変換動き補償予測を適用する。図14は、2つの制御点動きベクトルV0およびV1によって記述されるブロック1400のアフィン動きフィールドの例を示している。ブロック1400の動きベクトルフィールド(MVF:Motion Vector Field)は、次の式(1)によって記述することが可能である。
JEMには、2つのアフィン動きモード、すなわち、AF_INTERモードおよびAF_MERGEモードが存在する。幅および高さの両方が8より大きいCUに対しては、AF_INTERモードを適用することが可能である。ビットストリーム内においてCUレベルのアフィンフラグがシグナリングされ、AF_INTERモードが使用されるか否か、が示される。AF_INTERモードにおいては、動きベクトルのペア{(v0,v1)|v0={vA,vB,vC},v1={vD,vE}}を伴う候補リストが、近傍のブロックを使用して構築される。
AF_MERGEモードにおいてCUが適用されるとき、有効な近傍の再構築ブロックからアフィンモードを用いて符号化された最初のブロックが取得される。図17Aは、現在のCU1700のための候補ブロックの選択順序の例を示している。図17Aに示されているとおり、この選択順序は、現在のCU1700の左(1701)から、上(1702)、右上(1703)、左下(1704)、左上(1705)とすることが可能である。図17Bは、AF_MERGEモードにおける現在のCU1700のための候補ブロックの別の例を示している。近傍の左下のブロック1801がアフィンモードで符号化されている場合には、図17Bに示されているとおり、サブブロック1701を含むCUの左上の角、右上の角、および左下の角の動きベクトルv2、v3、およびv4が導出される。現在のCU1700の左上の角の動きベクトルv0は、v2、v3、およびv4に基づいて計算される。相応じて、現在のCUの右上の動きベクトルv1を計算することが可能である。
PMMVDモードは、FRUC(Frame-Rate Up Conversion)方法に基づく特殊マージモードである。このモードを用いると、ブロックの動き情報がシグナリングされないが、デコーダ側で導出される。
双方向予測が使用される。
それ以外の場合において、cost0≦cost1の場合、
list0からの単方向予測が使用される。
それ以外は、
list1からの単方向予測が使用される。
GBi(Generalized Bi-prediction improvement)が、VTM-3.0に採用されている。GBiは、双方向予測モードにおいて、L0およびL1からの予測因子に対して等しくない重みを適用する。インター予測モードにおいては、等しい重みのペア(1/2,1/2)を含む複数の重みペアが、RDO(Rate-Distortion Optimization)に基づいて評価され、選択された重みペアのGBiインデックスが、デコーダに対してシグナリングされる。マージモードにおいては、近傍のCUからGBiインデックスが受け継がれる。予測因子の生成の公式は、以下の式(5)に示されるとおりである。
GBi符号化時間を短縮するために、現在のエンコーダ設計においては、エンコーダが、4/8に等しいGBi重みから推定された単方向予測動きベクトルを格納し、他のGBi重みの単方向予測探索のためにそれらを再使用する。この高速符号化方法は、平行移動動きモデルおよびアフィン動きモデルの両方に適用される。VTM2.0においては、6パラメータのアフィンモデルが、4パラメータのアフィンモデルとともに採用された。BMS2.1エンコーダは、GBi重みが4/8に等しいときの単方向予測アフィンMVの格納において、4パラメータのアフィンモデルと6パラメータのアフィンモデルを差別しない。その結果、GBi重み4/8を用いる符号化の後に、4パラメータのアフィンMVが6パラメータのアフィンMVによって上書きされてよい。格納された6パラメータのアフィンMVが、他のGBi重みのための4パラメータのアフィンMEのために使用されてもよく、または格納された4パラメータのアフィンMVが6パラメータのアフィンMEのために使用されてもよい。提案されているGBiエンコーダのバグ修正は、4パラメータと6パラメータのアフィンMVのストレージを分離する。エンコーダは、GBi重みが4/8に等しいとき、アフィンモデルタイプに基づいてこれらのアフィンMVを格納し、対応するアフィンMVを、他のGBi重みのためのアフィンモデルタイプに基づいて再使用する。
この既存の実装においては、GBiが有効化されているときの符号化時間を短縮する5つのエンコーダ高速化方法が提案される。
POC:8,TL:1,[L0:0 16][L1:16 0]
POC:4,TL:2,[L0:0 8][L1:8 16]
POC:2,TL:3,[L0:0 4][L1:4 8]
POC:1,TL:4,[L0:0 2][L1:2 4]
POC:3,TL:4,[L0:2 0][L1:4 8]
POC:6,TL:3,[L0:4 0][L1:8 16]
POC:5,TL:4,[L0:4 0][L1:6 8]
POC:7,TL:4,[L0:6 4][L1:8 16]
POC:12,TL:2,[L0:8 0][L1:16 8]
POC:10,TL:3,[L0:8 0][L1:12 16]
POC:9,TL:4,[L0:8 0][L1:10 12]
POC:11,TL:4,[L0:10 8][L1:12 16]
POC:14,TL:3,[L0:12 8][L1:12 16]
POC:13,TL:4,[L0:12 8][L1:14 16]
POC:15,TL:4,[L0:14 12][L1:16 14]
この方法においては、小さいCUのためにGBiが無効化される。インター予測モードにおいては、双方向予測が使用され、かつCUエリアが128輝度サンプルより小さい場合に、何らかのシグナリングを伴うことなくGBiが無効化される。
双方向オプティカルフロー(BDOFまたはBIO)においては、動き補償が最初に実行されて、現在のブロックの最初の予測が(各予測方向において)生成される。この最初の予測は、各サブブロックまたはブロック内のピクセルの空間的勾配、時間的勾配、およびオプティカルフローの導出に使用され、その後それらが使用されて、2番目の予測、例えば、そのサブブロックまたはピクセルの最終的な予測が生成される。詳細は、以下のとおりに記述される。
ステップ1:BIOが適用可能か否かの判断(W/Hは、現在のブロックの幅/高さ)
〇現在の映像ブロックがアフィン符号化されているか、またはATMVP符号化されている
〇(iPOC-iPOC0)×(iPOC-iPOC1)≧0
〇H==4、または(W==4、かつH==8)
〇重み付け予測を伴う
〇GBi重みが(1,1)でない
Gx0(x,y)=(R0(x+1,y)-R0(x-1,y))>>4
Gy0(x,y)=(R0(x,y+1)-R0(x,y-1))>>4
Gx1(x,y)=(R1(x+1,y)-R1(x-1,y))>>4
Gy1(x,y)=(R1(x,y+1)-R1(x,y-1))>>4
T1=(R0(x,y)>>6)-(R1(x,y)>>6)、T2=(Gx0(x,y)+Gx1(x,y))>>3、T3=(Gy0(x,y)+Gy1(x,y))>>3;および、
B1(x,y)=T2*T2、B2(x,y)=T2*T3、B3(x,y)=-T1*T2、B5(x,y)=T3*T3、B6(x,y)=-T1*T3
b(x,y)=(Vx(Gx0(x,y)-Gx1(x,y))+Vy(Gy0(x,y)-Gy1(x,y))+1)>>1
P(x,y)=(R0(x,y)+R1(x,y)+b(x,y)+offset)>>shift
8.3.4 インターブロックのための復号化処理
--変数shiftが、Max(2,14-bitDepth)に等しく設定される。
--変数cuLevelAbsDiffThresおよびsubCuLevelAbsDiffThresが、(1<<(bitDepth-8+shift))*cbWidth*cbHeightおよび1<<(bitDepth-3+shift)に等しく設定される。変数cuLevelSumAbsoluteDiffが、0に設定される。
subCuLevelSumAbsoluteDiff[xSbIdx][ySbIdx]=ΣiΣjAbs(predSamplesL0L[(xSbIdx<<2)+1+i][(ySbIdx<<2)+1+j]-predSamplesL1L[(xSbIdx<<2)+1+i][(ySbIdx<<2)+1+j])、ただし、i,j=0・・・3
bioUtilizationFlag[xSbIdx][ySbIdx]=subCuLevelSumAbsoluteDiff[xSbIdx][ySbIdx]>=subCuLevelAbsDiffThres
cuLevelSumAbsoluteDiff+=subCuLevelSumAbsoluteDiff[xSbIdx][ySbIdx]
8.3.4.3.1 全般
-現在のピクチャの上左側の輝度サンプルに関する現在の符号化サブブロックの上左側標本を指定する輝度位置(xSb,ySb)、
-輝度サンプル内の現在の符号化サブブロックの幅を指定する変数sbWidth、
-輝度サンプル内の現在の符号化サブブロックの高さを指定する変数sbHeight、
-1/16輝度サンプル単位で与えられる輝度動きベクトルmvLX、
-1/32彩度サンプル単位で与えられる彩度動きベクトルmvCLX、
-選択された参照ピクチャサンプル配列refPicLXLおよび配列refPicLXCbおよびrefPicLXCr、
-双方向オプティカルフロー有効化フラグbioAvailableFlag、
である。
-bioAvailableFlagが偽のときの予測輝度サンプル値の(sbWidth)×(sbHeight)配列predSamplesLXL、またはbioAvailableFlagが真のときの予測輝度サンプル値の(sbWidth+2)×(sbHeight+2)配列のpredSamplesLXL、
-予測彩度サンプル値の2つの(sbWidth/2)×(sbHeight/2)配列predSamplesLXCbおよびpredSamplesLXCr、
である。
xIntL=xSb-1+(mvLX[0]>>4)+xL
yIntL=ySb-1+(mvLX[1]>>4)+yL
xFracL=mvLX[0]&15
yFracL=mvLX[1]&15
-xLが-1またはsbWidthに等しいか、またはyLが-1またはsbHeightに等しい場合には、bilinearFiltEnabledFlagの値を真に設定する。
-それ以外の場合には、bilinearFiltEnabledFlagの値を偽に設定する。
xIntL=xSb+(mvLX[0]>>4)+xL
yIntL=ySb+(mvLX[1]>>4)+yL
xFracL=mvLX[0]&15
yFracL=mvLX[1]&15
-現在の符号化ブロックの幅および高さを指定する2つの変数nCbWおよびnCbH、
-2つの(nCbW+2)×(nCbH+2)輝度予測サンプル配列のpredSamplesL0およびpredSamplesL1、
-予測リスト利用フラグのpredFlagL0およびpredFlagL1、
-参照インデックスのrefIdxL0およびrefIdxL1、
-双方向オプティカルフロー利用フラグのbioUtilizationFlag[xSbIdx][ySbIdx]、xSbIdx=0..(nCbW>>2)-1、ySbIdx=0..(nCbH>>2)-1、
である。
-bioUtilizationFlag[xSbIdx][ySbIdx]が偽の場合には、x=xSb・・・xSb+3、およびy=ySb・・・ySb+3について、現在の予測ユニットの予測サンプル値が、以下のとおりに導出される:
pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1,
(predSamplesL0[x][y]+predSamplesL1[x][y]+offset2)>>shift2)
予測サンプル配列predSamplesL0およびpredSampleL1の上左のサンプルに関する現在のサブブロックの上左側サンプルを指定する位置(xSb,ySb)が、次のとおりに導出される:
xSb=(xSbIdx<<2)+1
ySb=(ySbIdx<<2)+1
-予測サンプル配列の内側の対応するサンプル(x,y)のそれぞれについての位置(hx,vy)が、次のとおりに導出される:
hx=Clip3(1,nCbW,x)
vy=Clip3(1,nCbH,y)
gradientHL0[x][y]=(predSamplesL0[hx+1][vy]-predSampleL0[hx-1][vy])>>4
gradientVL0[x][y]=(predSampleL0[hx][vy+1]-predSampleL0[hx][vy-1])>>4
gradientHL1[x][y]=(predSamplesL1[hx+1][vy]-predSampleL1[hx-1][vy])>>4
gradientVL1[x][y]=(predSampleL1[hx][vy+1]-predSampleL1[hx][vy-1])>>4
temp[x][y]=(predSamplesL0[hx][vy]>>6)-(predSamplesL1[hx][vy]>>6)
tempX[x][y]=(gradientHL0[x][y]+gradientHL1[x][y])>>3
tempY[x][y]=(gradientVL0[x][y]+gradientVL1[x][y])>>3
sGx2=ΣxΣy(tempX[xSb+x][ySb+y]*tempX[xSb+x][ySb+y])、ただし、x,y=-1・・・4
sGy2=ΣxΣy(tempY[xSb+x][ySb+y]*tempY[xSb+x][ySb+y])、ただし、x,y=-1・・・4
sGxGy=ΣxΣy(tempX[xSb+x][ySb+y]*tempY[xSb+x][ySb+y])、ただし、x,y=-1・・・4
sGxdI=ΣxΣy(-tempX[xSb+x][ySb+y]*temp[xSb+x][ySb+y])、ただし、x,y=-1・・・4
sGydI=ΣxΣy(-tempY[xSb+x][ySb+y]*temp[xSb+x][ySb+y])、ただし、x,y=-1・・・4
vx=sGx2>0?Clip3(-mvRefineThres,mvRefineThres,-(sGxdI<<3)>>Floor(Log2(sGx2))):0
vy=sGy2>0?Clip3(-mvRefineThres,mvRefineThres,((sGydI<<3)-((vx*sGxGym)<<12+vx*sGxGys)>>1)>>Floor(Log2(sGy2))):0
sGxGym=sGxGy>>12;
sGxGys=sGxGy&((1<<12)-1)
sampleEnh=Round((vx*(gradientHL1[x+1][y+1]-gradientHL0[x+1][y+1]))>>1)+Round((vy*(gradientVL1[x+1][y+1]-gradientVL0[x+1][y+1]))>>1)
pbSamples[x][y]=Clip3(0,(1<<bitDepth)-1,(predSamplesL0[x+1][y+1]+predSamplesL1[x+1][y+1]+sampleEnh+offset2)>>shift2)
双方向予測演算においては、1つのブロック領域の予測のためにそれぞれ、list0の動きベクトル(MV)およびlist1のMVを使用して形成される2つの予測ブロックが組み合わされて単一の予測シグナルが形成される。DMVR(Decoder-side Motion Vector Refinement)方法においては、双方向予測の2つの動きベクトルが、さらに、バイラテラルテンプレートマッチング処理によって精緻化される。デコーダにおいて適用されるバイラテラルテンプレートマッチングは、追加の動き情報の伝達を伴うことなく精緻化されたMVを獲得するために、バイラテラルテンプレートと参照ピクチャ内の再構築サンプルの間において歪みベースの探索を実行する。
3.1 CCLM(Cross-Component Linear Model)予測の例
いくつかの既存の実装においては、線形モデルのパラメータαおよびβのLMSアルゴリズムが、直線の式によって置き換えられる。2つのポイント(輝度および彩度の対)(A,B)は、図26に図示されているとおり、隣接する輝度サンプルのセットの内側の最小値および最大値である。これにおいて、線形モデルのパラメータαおよびβは、以下に従って取得される:
いくつかの既存の実装は、以下の欠点を抱えている。
(7)追加の補間フィルタ(バイリニアフィルタ)が、ピクセルおよび境界の補間に導入される。
現在開示されている技術の実施形態は、既存の実装の欠点を克服し、BIOおよびCCLMにおける線形回帰手順を調和させ、BIOの修正を提案し、それによってより高い符号化効率を伴う映像符号化を提供する。開示されている技術に基づく線形モード予測の調和は、既存および将来両方の映像符号化標準を強化することができ、それは、以下の多様な実装のために記述されている例の中で明瞭になる。以下に提供される開示されている技術の例は、一般概念を説明するものであり、限定として解釈されることを意味しない。例においては、別段の記載が明示的に示されていない限り、これらの例の中に記述された多様な特徴を組み合わせることができる。
a.1つの例においては、i番目のステップにおいて導出されたvxがi番目のステップにおけるvyの導出に使用され、i番目のステップにおいて導出されたvyが、i+1番目のステップにおいて導出されるvxの導出に使用される。この導出が反復的に行われる。
b.それの代替においては、i番目のステップにおいて導出されたvyがi番目のステップにおけるvxの導出に使用され、i番目のステップにおいて導出されたvxが、i+1番目のステップにおいて導出されるvyの導出に使用される。この導出が反復的に行われる。
c.同一のステップ内においてvxの導出にvyを使用するか、またはvyの導出にvxを使用するかについては、符号化された情報、例えば、動きベクトルの水平および垂直成分、ブロックサイズ等の値に依存してよい。
i.除法演算は、単純化すること、例えば、JEM-3.0におけるように、MSBシフトによって置き換えることが可能である。
ii.クリッピング演算を除法演算後にすることができる。
i.除法演算は、単純化すること、例えば、JEM-3.0におけるように、MSBシフトによって置き換えることが可能である。
ii.クリッピング演算を除法演算後にすることができる。
g.それの代替においては、導出の1ラウンドの前後におけるvxおよび/またはvyの間の絶対差が閾値より小さくなるまで導出が反復的に行われる。
a.ブロックまたはサブブロック(4×4ブロック等)のためにBIOにおいて導出されるvxおよびvyは、DMVR、バイラテラルマッチング、またはその他のデコーダ側の動き導出方法の探索開始点の導出に使用することが可能である。Ref0およびRef1のための元のMVをMV0およびMV1とし、DMVR、バイラテラルマッチング、またはその他のデコーダ側の動き導出方法の開始点としてMV0’およびMV1’と記されるMVは、以下のとおりに計算することが可能である:
i.1つの例においては、MV0’=MV0+(vx,vy)、MV1’=MV1-(vx,vy);
ii.1つの例においては、MV0’=MV0-(vx,vy)、MV1’=MV1+(vx,vy);
iii.1つの例においては、MV0’=MV0+Scale(vx,vy)、MV1’=MV1-Scale(vx,vy);
iv.1つの例においては、MV0’=MV0-Scale(vx,vy)、MV1’=MV1+Scale(vx,vy);
v.1つの例においては、MV0’=Clip(MV0+Scale(vx,vy))、MV1’=Clip(MV1-Scale(vx,vy));
vi.1つの例においては、MV0’=Clip(MV0-Scale(vx,vy))、MV1’=Clip(MV1+Scale(vx,vy));
i.1つの例においては、(vx,vy)=Scale(MV0’-MV0)
ii.1つの例においては、(vx,vy)=Scale(MV0-MV0’)
iii.1つの例においては、(vx,vy)=Scale(MV1’-MV1)
iv.1つの例においては、(vx,vy)=Scale(MV1-MV1’)
v.1つの例においては、(vx,vy)=(Scale(MV0’-MV0)+Scale(MV1’-MV1))/2
vi.1つの例においては、(vx,vy)=(Scale(MV0-MV0’)+Scale(MV1-MV1’))/2
a.導出および精緻化の手順は、導出の1ラウンドの前後におけるvxまたはvyの間の絶対差が閾値より小さくなるまで反復的に行うことが可能である。それに代えて、導出および精緻化の手順を、所定の反復回数に到達するまで反復的に行うことが可能である。例えば、その数が2になる。
i.1つの例においては、MV0’=MV0+(vx,vy)、MV1’=MV1-(vx,vy);
ii.1つの例においては、MV0’=MV0-(vx,vy)、MV1’=MV1+(vx,vy);
iii.1つの例においては、MV0’=MV0+Scale(vx,vy)、MV1’=MV1-Scale(vx,vy);
iv.1つの例においては、MV0’=MV0-Scale(vx,vy)、MV1’=MV1+Scale(vx,vy);
v.1つの例においては、MV0’=Clip(MV0+Scale(vx,vy))、MV1’=Clip(MV1-Scale(vx,vy));
vi.1つの例においては、MV0’=Clip(MV0-Scale(vx,vy))、MV1’=Clip(MV1+Scale(vx,vy));
a.1つの例においては、BIOが適用されるとき、輝度成分に対して8タップ補間フィルタだけが使用される。
b.代替においては、さらにまた、メモリ帯域幅を低減するために、フェッチされるべきサンプルのサイズ/範囲を補間フィルタによって要求されるより小さく制限することが提案される。
c.代替においては、さらにまた、いくつかのサンプルが所与のサイズ/範囲の外側の位置に位置するとき、パディングを適用してもよい。
i.図27は、BIO手順における補間フィルタリングの例を示している。現在のブロックサイズは、M×Nであり、この例においては、M=N=8である。必要とされるサブサンプルのサイズは、勾配の計算に起因して(M+2)×(N+2)である。したがって、補間フィルタによって要求される整数サンプルは、(M+2+7)×(N+2+7)であり、この例においては、17×17に等しい。しかしながら、(M+7)×(N+7)の、すなわちこの例においては、15×15に等しい整数サンプルだけのフェッチが要求される。補間フィルタによって要求されるその他のサンプル(フィルタ内の黒丸)は、隣接するフェッチされたサンプルによってパディングされる。
e.1つの例においては、x=-1またはy=-1またはx=Wまたはy=Hとする位置(x,y)の勾配が計算されず、これらの位置においては、BIOが適用されない。現在のブロックの左上を(0,0)とし、現在のブロックの幅/高さをW/Hとする。
〇gradientHL0[x][y]=
hx==1の場合、(predSamplesL0[hx+1][vy]-predSampleL0[hx][vy])>>4
hx==nCbWの場合、(predSamplesL0[hx][vy]-predSampleL0[hx-1][vy])>>4
それ以外の場合、(predSamplesL0[hx+1][vy]-predSampleL0[hx-1][vy])>>4。
〇gradientVL0[x][y]=
vy==1の場合、(predSampleL0[hx][vy+1]-predSampleL0[hx][vy])>>4
vy==nCbHの場合、(predSampleL0[hx][vy]-predSampleL0[hx][vy-1])>>4
それ以外の場合、(predSampleL0[hx][vy+1]-predSampleL0[hx][vy-1])>>4。
〇gradientHL1[x][y]=
hx==1の場合、(predSamplesL1[hx+1][vy]-predSampleL1[hx][vy])>>4
hx==nCbWの場合、(predSamplesL1[hx][vy]-predSampleL1[hx-1][vy])>>4
それ以外の場合、(predSamplesL0[hx+1][vy]-predSampleL1[hx-1][vy])>>4。
〇gradientVL1[x][y]=
vy==1の場合、(predSampleL1[hx][vy+1]-predSampleL1[hx][vy])>>4
vy==nCbHの場合、(predSampleL1[hx][vy]-predSampleL1[hx][vy-1])>>4
それ以外の場合、(predSampleL1[hx][vy+1]-predSampleL1[hx][vy-1])>>4。
〇gradientHL0[x][y]=
hx==1の場合、(predSamplesL0[hx+1][vy]-predSampleL0[hx][vy])>>3
hx==nCbWの場合、(predSamplesL0[hx][vy]-predSampleL0[hx-1][vy])>>3
それ以外の場合、(predSamplesL0[hx+1][vy]-predSampleL0[hx-1][vy])>>4。
〇gradientVL0[x][y]=
vy==1の場合、(predSampleL0[hx][vy+1]-predSampleL0[hx][vy])>>3
vy==nCbHの場合、(predSampleL0[hx][vy]-predSampleL0[hx][vy-1])>>3
それ以外の場合、(predSampleL0[hx][vy+1]-predSampleL0[hx][vy-1])>>4。
〇gradientHL1[x][y]=
hx==1の場合、(predSamplesL1[hx+1][vy]-predSampleL1[hx][vy])>>3
hx==nCbWの場合、(predSamplesL1[hx][vy]-predSampleL1[hx-1][vy])>>3
それ以外の場合、(predSamplesL0[hx+1][vy]-predSampleL1[hx-1][vy])>>4
〇gradientVL1[x][y]=
vy==1の場合、(predSampleL1[hx][vy+1]-predSampleL1[hx][vy])>>3
vy==nCbHの場合、(predSampleL1[hx][vy]-predSampleL1[hx][vy-1])>>3
それ以外の場合、(predSampleL1[hx][vy+1]-predSampleL1[hx][vy-1])>>4
i.例えば、すべての有効なhxおよびvyについて、
predSampleL0[0][vy]=predSampleL0[1][vy]、
predSampleL0[nCbW+1][vy]=predSampleL0[nCbW][vy]、
predSampleL0[hx][0]=predSampleL0[hx][1]、
predSampleL0[hx][nCbH+1]=predSampleL0[hx][nCbH]、および
predSampleL1[0][vy]=predSampleL1[1][vy]、
predSampleL1[nCbW+1][vy]=predSampleL1[nCbW][vy]、
predSampleL1[hx][0]=predSampleL1[hx][1]、
predSampleL1[hx][nCbH+1]=predSampleL1[hx][nCbH]。
i.1つの例においては、VTM-3におけるBIOのための勾配の計算方法が、ALFのための勾配の計算にも使用される。
ii.1つの例においては、VTM-3におけるALFのための勾配の計算方法が、BIOのための勾配の計算にも使用される。
a.勾配値は、4以外の異なる値によってシフトされてよい。1つの例においては、変数gradientHL0[x][y]、gradientVL0[x][y]、gradientHL1[x][y]、およびgradientVL1[x][y]が、以下のとおりに導出される:
gradientHL0[x][y]=SignShift(predSamplesL0[hx+1][vy]-predSampleL0[hx-1][vy],S)
gradientVL0[x][y]=SignShift(predSampleL0[hx][vy+1]-predSampleL0[hx][vy-1],S)
gradientHL1[x][y]=SignShift(predSamplesL1[hx+1][vy]-predSampleL1[hx-1][vy],S)
gradientVL1[x][y]=SignShift(predSampleL1[hx][vy+1]-predSampleL1[hx][vy-1],S)
i.1つの例においては、Sが、4または5といった一定の数になる。
ii.1つの例においては、Sが、サンプルのビット深度に依存する。例えば、Sは、B-Pに等しく、それにおいてBは、8、10、または12といったサンプルのビット深度であり、Pは、6などの整数である。
i.例えば、導出後、勾配が、以下のとおりにクリップされる:
gradientHL0[x][y]=Clip3(-2K-1,2K-1-1,gradientHL0[x][y])
gradientVL0[x][y]=Clip3(-2K-1,2K-1-1,gradientVL0[x][y])
gradientHL1[x][y]=Clip3(-2K-1,2K-1-1,gradientHL1[x][y])
gradientVL1[x][y]=Clip3(-2K-1,2K-1-1,gradientVL1[x][y])
temp[x][y]=SignShift(predSamplesL0[hx][vy]-predSamplesL1[hx][vy],S1)
tempX[x][y]=SignShift(gradientHL0[x][y]+gradientHL1[x][y],S2)
tempY[x][y]=SignShift(gradientVL0[x][y]+gradientVL1[x][y],S3)
i.1つの例においては、S1、S2、およびS3が、S1=6、S2=S3=3といった一定の数である。
ii.1つの例においては、S1、S2、およびS3が、サンプルのビット深度に依存する。例えば、S1=B-P1、S2=B-P2、およびS3=B-P3であり、それにおいてBは、8、10、または12といったサンプルのビット深度であり、P1、P2、およびP3は、例えば、P1=4、P2=P3=7といった整数である。
i.例えば、内部変数は、導出された後に以下のとおりにクリップされる:
temp[x][y]=Clip3(-2K1-1,2K1-1-1,gradientHL0[x][y])
tempX[x][y]=Clip3(-2K2-1,2K2-1-1,gradientVL0[x][y])
tempY[x][y]=Clip3(-2K3-1,2K3-1-1,gradientHL1[x][y])
i.例えば、内部変数は、導出された後に以下のとおりに右シフトされる:
sGx2=Shift(sGx2,S1)
sGy2=Shift(sGy2,S2)
sGxGy=SignShift(sGxGy,S3)
sGxdI=SignShift(sGxdI,S4)
sGydI=SignShift(sGydI,S5)
1つの例においては、S1、S2、S3、S4、およびS5が、4または5といった一定の数である。
代替においては、S1、S2、S3、S4、およびS5が、サンプルのビット深度に依存する。例えば、S1=B-P1、S2=B-P2、S3=B-P3、S4=B-P4、およびS5=B-P5であり、それにおいて、Bは、8、10、または12といったサンプルビット深度、P1、P2、P3、P4、およびP5は、整数である。
ii.例えば、内部変数は、導出された後に以下のとおりにクリップされる:
sGx2=Clip3(0,2K1-1,sGx2)
sGy2=Clip3(0,2K2-1,sGy2)
sGxGy=Clip3(-2K3-1,2K3-1-1,sGxGy)
sGxdI=Clip3(-2K4-1,2K4-1-1,sGxdI)
sGydI=Clip3(-2K5-1,2K5-1-1,sGydI)
i.1つの例においては、x%Q==0を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=2。
ii.1つの例においては、x%Q==1を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=2。
iii.1つの例においては、y%Q==0を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=2。
iv.1つの例においては、y%Q==1を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=2。
v.1つの例においては、y%Q==0またはy%Q==3を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=4。
i.1つの例においては、x%Q==0を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=2。
ii.1つの例においては、x%Q==1を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=2。
iii.1つの例においては、y%Q==0を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=2。
iv.1つの例においては、y%Q==1を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=2。
v.1つの例においては、y%Q==0またはy%Q==3を伴う位置(x,y)におけるサンプルのみについてそれらが計算される。例えば、Q=4。
vi.1つの例においては、temp[x][y]、tempX[x][y]、tempY[x][y]、およびgradientHL0[x][y]、gradientVL0[x][y]、gradientHL1[x][y]、gradientVL1[x][y]が、同じ位置、例えば、この例のg.i乃至g.vの位置におけるサンプルについて計算される。
sGx2=ΣxΣy(tempX[xSb+x][ySb+y]*tempX[xSb+x][ySb+y])、ただし、x,y∈S
sGy2=ΣxΣy(tempY[xSb+x][ySb+y]*tempY[xSb+x][ySb+y])、ただし、x,y∈S
sGxGy=ΣxΣy(tempX[xSb+x][ySb+y]*tempY[xSb+x][ySb+y])、ただし、x,y∈S
sGxdI=ΣxΣy(-tempX[xSb+x][ySb+y]*temp[xSb+x][ySb+y])、ただし、x,y∈S
sGydI=ΣxΣy(-tempY[xSb+x][ySb+y]*temp[xSb+x][ySb+y])、ただし、x,y∈S
これにおいて、Sは、選択された位置のセットである。
ii.1つの例においては、選択された位置が、x=0、2、およびy=0、1、2、3である。
iii.1つの例においては、選択された位置が、x=1、2、およびy=0、1、2、3である。
iv.1つの例においては、選択された位置が、x=1、3、およびy=0、1、2、3である。
v.1つの例においては、選択された位置が、x=2、3、およびy=0、1、2、3である。
vi.1つの例においては、選択された位置が、x=0、3、およびy=0、1、2、3である。
vii.1つの例においては、選択された位置が、y=0、2、およびx=0、1、2、3である。
viii.1つの例においては、選択された位置が、y=1、2、およびx=0、1、2、3である。
ix.1つの例においては、選択された位置が、y=1、3、およびx=0、1、2、3である。
x.1つの例においては、選択された位置が、y=2、3、およびx=0、1、2、3である。
xii.1つの例においては、選択された位置が、x=-1、4、およびy=-1、0、1、2、3、4である。
xiii.1つの例においては、選択された位置が、x=0、3、およびy=-1、0、1、2、3、4である。
xiv.1つの例においては、選択された位置が、x=1、2、およびy=-1、0、1、2、3、4である。
xv.1つの例においては、選択された位置が、x=-1、1、3、およびy=-1、0、1、2、3、4である。
xvi.1つの例においては、選択された位置が、x=0、2、4、およびy=-1、0、1、2、3、4である。
xvii.1つの例においては、選択された位置が、x=-1、1、2、4、およびy=-1、0、1、2、3、4である。
xviii.1つの例においては、選択された位置が、x=0、1、2、3、およびy=-1、0、1、2、3、4である。
xix.1つの例においては、選択された位置が、y=-1、4、およびx=-1、0、1、2、3、4である。
xx.1つの例においては、選択された位置が、y=0、3、およびx=-1、0、1、2、3、4である。
xxii.1つの例においては、選択された位置が、y=-1、1、3、およびx=-1、0、1、2、3、4である。
xxiii.1つの例においては、選択された位置が、y=0、2、4、およびx=-1、0、1、2、3、4である。
xxiv.1つの例においては、選択された位置が、y=-1、1、2、4、およびx=-1、0、1、2、3、4である。
xxv.1つの例においては、選択された位置が、y=0、1、2、3、およびx=-1、0、1、2、3、4である。
i.1つの例においては、vx=sGx2>0? Clip3(-mvRefineThres,mvRefineThres,-(sGxdI<<3)>>M):0。Mは、sGx2の値に応じて、Floor(Log2(sGx2))またはCeiling(Log2(sGx2))とすることが可能である。例えば、3*sGx2が2Floor(Log2(sGx2))+2より大きい場合には、MをCeiling(Log2(sGx2))とし、それ以外の場合には、MをFloor(Log2(sGx2))とする。別の例においては、sGx2がTより大きい場合には、MをCeiling(Log2(sGx2))とし、それ以外の場合には、MをFloor(Log2(sGx2))とする。例えば、T=(Floor(Log2(sGx2))+Ceiling(Log2(sGx2)))/2である。別の例においては、sGx2*sGx2が22*Floor(Log2(sGx2))+1より大きい場合には、MをCeiling(Log2(sGx2))とし、それ以外の場合には、MをFloor(Log2(sGx2))とする。
1.代替においては、vx=sGx2>0? Clip3(-mvRefineThres,mvRefineThres,-((sGxdI<<3)+Offset)>>M):0。Offsetは、1<<(M-1)等の整数である。
a.Offsetは、sGx2に依存させることが可能である。
1.代替においては、vy=sGy2>0? Clip3(-mvRefineThres,mvRefineThres,(((sGydI<<3)-((vx*sGxGym)<<12+vx*sGxGys)>>1)+Offset)>>M:0。Offsetは、1<<(M-1)等の整数である。
a.Offsetは、sGy2に依存させることが可能である。
1.Wは、12などの一定の数とすることが可能である。または、それを、サンプルビット深度に依存させてもよい。
iv.BIO手順における除法演算は、ルックアップテーブルによって計算される。
(i)CCLMにおいても、除法演算の置き換えに同じルックアップテーブルが使用される。
a.subCuLevelSumAbsoluteDiff[xSbIdx][ySbIdx]=ΣiΣjAbs(predSamplesL0L[(xSbIdx<<2)+1+i][(ySbIdx<<2)+1+j]-predSamplesL1L[(xSbIdx<<2)+1+i][(ySbIdx<<2)+1+j])、ただし、i,j∈S
これにおいて、Sは、選択された位置のセットである。
i.1つの例においては、選択された位置が、i=0、2、およびj=0、1、2、3である。
ii.1つの例においては、選択された位置が、i=1、2、およびj=0、1、2、3である。
iii.1つの例においては、選択された位置が、i=1、3、およびj=0、1、2、3である。
iv.1つの例においては、選択された位置が、i=2、3、およびj=0、1、2、3である。
v.1つの例においては、選択された位置が、i=0、3、およびj=0、1、2、3である。
vi.1つの例においては、選択された位置が、j=0、2、およびi=0、1、2、3である。
vii.1つの例においては、選択された位置が、j=1、2、およびi=0、1、2、3である。
viii.1つの例においては、選択された位置が、j=1、3、およびi=0、1、2、3である。
ix.1つの例においては、選択された位置が、j=2、3、およびi=0、1、2、3である。
x.1つの例においては、選択された位置が、j=0、3、およびi=0、1、2、3である。
xi.1つの例においては、選択された位置が、i=0、3、およびj=0、3である。
xii.1つの例においては、選択された位置が、i=1、2、およびj=1、2である。
これにおいて、Sは、選択された位置のセットである。
これにおいて、Sは、選択された位置のセットである。
i.それを、QPおよびPOC距離等の符号化情報に依存させてもよい。
ii.それを、VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダ/タイル/CTU/CU内においてデコーダに対してエンコーダからシグナリングさせてもよい。
a.代替においては、さらにまた、各サブブロックのためのSADの計算が、1つのサブブロック内のサンプルの部分に影響を及ぼすだけであってもよい。
これにおいて、Sは、選択されたサブブロックのセットである。
i.1つの例においては、選択された位置がxSbIdx%2==0である。
ii.1つの例においては、選択された位置がxSbIdx%2==1である。
iii.1つの例においては、選択された位置がxSbIdx%4==0である。
iv.1つの例においては、選択された位置がxSbIdx==0、またはxSbIdx==(cbWidth>>2)-1である。
v.1つの例においては、選択された位置がxSbIdy%2==0である。
vi.1つの例においては、選択された位置がxSbIdy%2==1である。
vii.1つの例においては、選択された位置がxSbIdy%4==0である。
viii.1つの例においては、選択された位置がxSbIdy==0、またはxSbIdy==(cbHeight>>2)-1である。
ix.1つの例においては、選択された位置が(xSbIdy==0、またはxSbIdy==(cbHeight>>2)-1)、および(xSbIdy==0、またはxSbIdy==(cbHeight>>2)-1)である。
i.それを、QPおよびPOC距離等の符号化情報に依存させてもよい。
ii.それを、AMVPモード、マージモードまたはMMVD(Merge with MV Difference)モード等の符号化モードに依存させてもよい。
iii.それを、VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダ/タイル/CTU/CU内においてデコーダに対してエンコーダからシグナリングさせてもよい。
a.代替においては、さらにまた、その導出が、異なる重み付けの値を伴うGBiについて異なっていてよい。
i.2つの予測ブロックを、predSamplesL0[x][y]およびpredSamplesL1[x][y]によって示す。BIOのための入力として、W0*predSamplesL0[x][y]およびpredSamplesL1[x][y]およびW1*predSamplesL1[x][y]が使用される。
i.S0およびS1は、サンプルビット深度に依存してよい。
ii.S0およびS1は、W0およびW1に依存してよい。
iii.S0およびS1は、2などの一定の数としてよい。
i.BIO手順において使用されるパラメータの導出時に、2つの予測ブロックが、従来技術と同様に、BIOへの入力として重み付けされることなく使用される。しかしながら、最終的な予測ブロックは、重み付けされた予測ブロックの値および重み付けされた訂正項の値によって生成される。
ii.訂正項に適用される重みは、予測ブロックのために使用されるそれと同じにすることができる。それに代えて、訂正項に対して異なる重みを適用することができる。
(a)例えば、訂正項が、[minCorrection,maxCorrection]にクリップされる。
i.minCorrectionおよびmaxCorrectionは、例えば、-32および32に固定してよい。
ii.minCorrectionおよびmaxCorrectionは、サンプルビット深度に依存してよい。例えば、minCorrection=-(32<<(BitDepth-8))、maxCorrection=32<<(BitDepth-8))。
iii.minCorrectionおよびmaxCorrectionは、ブロックの幅および/または高さに依存してよい。
iv.minCorrectionおよびmaxCorrectionは、VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダ/タイル/CTUライン/CTU/CU内においてデコーダに対してエンコーダからシグナリングされてよい。
(a)例えば、BIOにおける最終予測出力は、[minPred,maxPred]にクリップされる。
i.minPredおよびmaxPredは、-32および32といった一定の数であってよい。
ii.minPredおよびmaxPredは、サンプルビット深度に依存してよい。例えば、minPred=-(32<<(BitDepth-8))、maxCorrection=32<<(BitDepth-8))。
iii.minPredおよびmaxPredは、ブロックの幅および/または高さに依存してよい。
iv.minPredおよびmaxPredは、VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダ/タイル/CTUライン/CTU/CU内においてデコーダに対してエンコーダからシグナリングされてよい。
A1.映像処理の方法が、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、第1の符号化モードを使用する変換のための第1の線形最適化モデルの使用を決定することであって、第1の線形最適化モデルは、第2の符号化モードを使用する変換のために使用される第2の線形最適化モデルから導出される、ことと;その決定に基づいて変換を実行することと、を包含する。
(vx (0),vy (0))は、第1の参照ピクチャについての速度ベクトルであり、(vx (1),vy (1))は、第2の参照ピクチャについての速度ベクトルである。
B1.映像処理の方法が、映像の現在のブロックのためにオプティカルフローを使用する符号化モードが有効化されたとの決定時に、その現在のブロックの各色成分のために単一タイプの補間フィルタを使用するフィルタリング工程を実行することと;そのフィルタリング工程に基づいて、現在のブロックと映像のビットストリーム表現の間における変換を実行することと、を包含する。
それにおいてWは、現在のブロックの幅であり、predSampleL0は、現在のブロックからの輝度予測サンプルを包含する配列であり、gradientVL0は、参照リストL0から導出された勾配値の垂直成分であり、hxおよびvyは、整数の座標インデックスである。
C1.映像処理の方法が、映像の現在のブロックとその映像のビットストリーム表現の間における変換のために、オプティカルフローツールのための勾配値計算アルゴリズムの使用を決定することと;その決定に基づいてその変換を実行することと、を包含し、それにおいて、勾配値計算アルゴリズムは、旧来の勾配値計算アルゴリズムとは異なり、
gradientHL0[x][y]=(predSampleL0[hx+1][vy]-predSampleL0[hx-1][vy])>>4、
gradientVL0[x][y]=(predSampleL0[hx][vy+1]-predSampleL0[hx][vy-1])>>4、
gradientHL1[x][y]=(predSampleL1[hx+1][vy]-predSampleL1[hx-1][vy])>>4、および、
gradientVL1[x][y]=(predSampleL1[hx][vy+1]-predSampleL1[hx][vy-1])>>4、
を包含し、
それにおいて、gradientHL0は、参照リストL0から導出された勾配値の水平成分であり、gradientVL0は、参照リストL0から導出された勾配値の垂直成分であり、gradientHL1は、参照リストL1から導出された勾配値の水平成分であり、gradientVL1は、参照リストL1から導出された勾配値の垂直成分であり、predSampleL0は、参照リストL0からの現在のブロックのための輝度予測サンプルを包含する配列であり、predSampleL1は、参照リストL1からの現在のブロックのための輝度予測サンプルを包含する配列であり、hxおよびvyは、整数の座標インデックスである。
temp[x][y]=SignShift(predSampleL0[hx][vy]-predSampleL1[hx][vy],S1)、
tempX[x][y]=SignShift(gradientHL0[x][y]+gradientHL1[x][y],S2)、および、
tempY[x][y]=SignShift(gradientVL0[x][y]+gradientVL1[x][y],S3)、
として定義され、
それにおいてS1、S2、およびS3は、整数であり、SignShift(x,s)は、
temp[x][y]=Clip3(-2K1-1,2K1-1-1,gradientHL0[x][y])、
tempX[x][y]=Clip3(-2K2-1,2K2-1-1,gradientVL0[x][y])、および、
tempY[x][y]=Clip3(-2K3-1,2K3-1-1,gradientHL1[x][y])、
として定義されるクリッピング工程が続き、
それにおいて、Clip3(x,min,max)は、
sGx2=Shift(sGx2,S1)、
sGy2=Shift(sGy2,S2)、
sGxGy=SignShift(sGxGy,S3)、
sGxdI=SignShift(sGxdI,S4)、および、
sGydI=SignShift(sGydI,S5)、
として定義されるシフト工程が続き、
それにおいて、S1、S2、S3、S4、およびS5は、正の整数であり、Shift(x,s)=(x+off)>>sであり、それにおいてSignShift(x,s)は、
それにおいてoffは、整数である。
sGx2=Clip3(0,2K1-1,sGx2)、
sGy2=Clip3(0,2K2-1,sGy2)、
sGxGy=Clip3(-2K3-1,2K3-1-1,sGxGy)、
sGxdI=Clip3(-2K4-1,2K4-1-1,sGxdI)、および、
sGydI=Clip3(-2K5-1,2K5-1-1,sGydI)、
として定義されるクリッピング工程が続き、
それにおいて、Clip3(x,min,max)は、
図29は、映像処理装置2900のブロック図である。装置2900は、この中に述べられている方法のうちの1つまたは複数の実装に使用することができる。装置2900は、スマートフォン、タブレット、コンピュータ、IoT(Internet of Things)受信機等々において具体化されてよい。装置2900は、1つまたは複数のプロセッサ2902、1つまたは複数のメモリ2904、および映像処理ハードウエア2906を含んでよい。プロセッサ2902(1つまたは複数)は、この書類の中に記述されている1つまたは複数の方法(限定ではないが、方法2800を含む)を実装するべく構成されてよい。メモリ(または、複数のメモリ)2904は、この中に記述されている方法および技術を実装するために使用されるデータおよびコードを格納するために使用されてよい。映像処理ハードウエア2906を使用して、この書類の中に記述されているいくつかの技術をハードウエア回路において実装されてよい。
Claims (14)
- 映像データを処理する方法であって、
オプティカルフローを用いるコーディングモードが映像の現在の映像ブロックに対して有効であるかを判定することと、
パディング工程を用いて、前記現在の映像ブロックに対する1または複数の外側のサンプルを導出することと、
前記現在の映像ブロックに対する第2の補間フィルタリング工程を実行することと、
前記パディング工程と前記第2の補間フィルタリング工程に基づいて、前記現在の映像ブロックと前記映像のビットストリームの間の変換を実行することと
を有し、
前記現在の映像ブロックのサイズは、M×Nであり、
勾配計算にて必要となる第1のサンプル数は、(M+G)×(N+G)であり、
前記現在の映像ブロックの輝度成分に対する前記第2の補間フィルタリング工程にて用いられる補間フィルタは、Lタップを有し、
オプティカルフローを用いる前記コーディングモードを有効にした前記第2の補間フィルタリング工程にて必要となる第3のサンプル数は、(M+k+L-1)×(N+k+L-1)であり、
M、N、G、およびLは、正の整数であり、
kは、Gよりも小さい整数である、方法。 - 前記1または複数の外側のサンプルは、第1の補間フィルタリング工程の代わりに前記パディング工程を用いて導出され、
バイリニアフィルタは、前記第1の補間フィルタリング工程にて用いられる、請求項1に記載の方法。 - 8タップ補間フィルタのみが、前記現在の映像ブロックの輝度成分に対する前記第2の補間フィルタリング工程にて用いられる、請求項1または2に記載の方法。
- オプティカルフローを用いる前記コーディングモードを有効にしない前記第2の補間フィルタリング工程にて必要となる第2のサンプル数は、(M+L-1)×(N+L-1)である、請求項1~3のいずれか一項に記載の方法。
- 前記第2のサンプル数と前記第3のサンプル数の間の差異を有する第4のサンプル数は、前記パディング工程においてパディングされる、請求項4に記載の方法。
- L=8であり、G=2である、請求項4または5に記載の方法。
- k=0である、請求項4~6のいずれか一項に記載の方法。
- Mは8または16に等しく、Nは8または16に等しい、請求項4~7のいずれか一項に記載の方法。
- オプティカルフローを用いる前記コーディングモードは、BDOF(Bi-Directional Optical Flow)予測モードを有する、請求項1~8のいずれか一項に記載の方法。
- 前記変換は、前記現在の映像ブロックを前記ビットストリームへ符号化することを含む、請求項1~9のいずれか一項に記載の方法。
- 前記変換は、前記現在の映像ブロックを前記ビットストリームから復号化することを含む、請求項1~9のいずれか一項に記載の方法。
- プロセッサと、命令を有する非一時的メモリを有する、映像データを処理する装置であって、
前記命令が前記プロセッサに実行された際に、前記プロセッサに、
オプティカルフローを用いるコーディングモードが映像の現在の映像ブロックに対して有効であるかを判定させ、
パディング工程を用いて、前記現在の映像ブロックに対する1または複数の外側のサンプルを導出させ、
前記現在の映像ブロックに対する第2の補間フィルタリング工程を実行させ、
前記パディング工程と前記第2の補間フィルタリング工程に基づいて、前記現在の映像ブロックと前記映像のビットストリームの間の変換を実行させ、
前記現在の映像ブロックのサイズは、M×Nであり、
勾配計算にて必要となる第1のサンプル数は、(M+G)×(N+G)であり、
前記現在の映像ブロックの輝度成分に対する前記第2の補間フィルタリング工程にて用いられる補間フィルタは、Lタップを有し、
オプティカルフローを用いる前記コーディングモードを有効にした前記第2の補間フィルタリング工程にて必要となる第3のサンプル数は、(M+k+L-1)×(N+k+L-1)であり、
M、N、G、およびLは、正の整数であり、
kは、Gよりも小さい整数である、装置。 - プロセッサに、
オプティカルフローを用いるコーディングモードが映像の現在の映像ブロックに対して有効であるかを判定させ、
パディング工程を用いて、前記現在の映像ブロックに対する1または複数の外側のサンプルを導出させ、
前記現在の映像ブロックに対する第2の補間フィルタリング工程を実行させ、
前記パディング工程と前記第2の補間フィルタリング工程に基づいて、前記現在の映像ブロックと前記映像のビットストリームの間の変換を実行させ、
前記現在の映像ブロックのサイズは、M×Nであり、
勾配計算にて必要となる第1のサンプル数は、(M+G)×(N+G)であり、
前記現在の映像ブロックの輝度成分に対する前記第2の補間フィルタリング工程にて用いられる補間フィルタは、Lタップを有し、
オプティカルフローを用いる前記コーディングモードを有効にした前記第2の補間フィルタリング工程にて必要となる第3のサンプル数は、(M+k+L-1)×(N+k+L-1)であり、
M、N、G、およびLは、正の整数であり、
kは、Gよりも小さい整数である、
命令を格納した非一時的コンピュータ可読記憶媒体。 - 映像のビットストリームを格納するための方法であって、
オプティカルフローを用いるコーディングモードが映像の現在の映像ブロックに対して有効であるかを判定することと、
パディング工程を用いて、前記現在の映像ブロックに対する1または複数の外側のサンプルを導出することと、
前記現在の映像ブロックに対する第2の補間フィルタリング工程を実行することと、
前記パディング工程と前記第2の補間フィルタリング工程に基づいて、前記現在の映像ブロックから前記ビットストリームを生成することと、
前記ビットストリームを非一時的コンピュータ可読記録媒体に格納することと、
を有し、
前記現在の映像ブロックのサイズは、M×Nであり、
勾配計算にて必要となる第1のサンプル数は、(M+G)×(N+G)であり、
前記現在の映像ブロックの輝度成分に対する前記第2の補間フィルタリング工程にて用いられる補間フィルタは、Lタップを有し、
オプティカルフローを用いる前記コーディングモードを有効にした前記第2の補間フィルタリング工程にて必要となる第3のサンプル数は、(M+k+L-1)×(N+k+L-1)であり、
M、N、G、およびLは、正の整数であり、
kは、Gよりも小さい整数である、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023021775A JP2023062073A (ja) | 2018-11-05 | 2023-02-15 | 精緻化を伴うインター予測のための補間 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2018/113928 | 2018-11-05 | ||
CN2018113928 | 2018-11-05 | ||
PCT/CN2019/115697 WO2020094000A1 (en) | 2018-11-05 | 2019-11-05 | Interpolation for inter prediction with refinement |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023021775A Division JP2023062073A (ja) | 2018-11-05 | 2023-02-15 | 精緻化を伴うインター予測のための補間 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022506161A JP2022506161A (ja) | 2022-01-17 |
JP7231727B2 true JP7231727B2 (ja) | 2023-03-01 |
Family
ID=70610813
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021523358A Active JP7231727B2 (ja) | 2018-11-05 | 2019-11-05 | 精緻化を伴うインター予測のための補間 |
JP2023021775A Pending JP2023062073A (ja) | 2018-11-05 | 2023-02-15 | 精緻化を伴うインター予測のための補間 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023021775A Pending JP2023062073A (ja) | 2018-11-05 | 2023-02-15 | 精緻化を伴うインター予測のための補間 |
Country Status (9)
Country | Link |
---|---|
US (6) | US11064206B2 (ja) |
EP (2) | EP4300965A3 (ja) |
JP (2) | JP7231727B2 (ja) |
KR (2) | KR20230158645A (ja) |
CN (4) | CN112970261A (ja) |
BR (1) | BR112021008251A2 (ja) |
MX (1) | MX2021004715A (ja) |
SG (1) | SG11202104480RA (ja) |
WO (3) | WO2020093999A1 (ja) |
Families Citing this family (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019234600A1 (en) | 2018-06-05 | 2019-12-12 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between pairwise average merging candidates and intra-block copy (ibc) |
WO2019244051A1 (en) | 2018-06-19 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Selected mvd precision without mvp truncation |
CN113115046A (zh) | 2018-06-21 | 2021-07-13 | 北京字节跳动网络技术有限公司 | 分量相关的子块分割 |
WO2019244117A1 (en) | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Unified constrains for the merge affine mode and the non-merge affine mode |
TWI719519B (zh) | 2018-07-02 | 2021-02-21 | 大陸商北京字節跳動網絡技術有限公司 | 對於dmvr的塊尺寸限制 |
TW202017377A (zh) | 2018-09-08 | 2020-05-01 | 大陸商北京字節跳動網絡技術有限公司 | 視頻編碼和解碼中的仿射模式 |
CN110933427B (zh) | 2018-09-19 | 2023-05-12 | 北京字节跳动网络技术有限公司 | 仿射模式编码的模式相关自适应运动矢量分辨率 |
TWI822862B (zh) | 2018-09-23 | 2023-11-21 | 大陸商北京字節跳動網絡技術有限公司 | 8參數仿射模型 |
WO2020058956A1 (en) | 2018-09-23 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Non-affine blocks predicted from affine motion |
CN110944181B (zh) | 2018-09-23 | 2023-03-10 | 北京字节跳动网络技术有限公司 | 仿射模型的多个假设 |
TWI818086B (zh) | 2018-09-24 | 2023-10-11 | 大陸商北京字節跳動網絡技術有限公司 | 擴展Merge預測 |
WO2020084475A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Utilization of refined motion vector |
CN111083485A (zh) | 2018-10-22 | 2020-04-28 | 北京字节跳动网络技术有限公司 | 仿射模式的运动信息的利用 |
MX2021004715A (es) | 2018-11-05 | 2021-06-04 | Beijing Bytedance Network Tech Co Ltd | Interpolacion para interprediccion con refinamiento. |
US11197005B2 (en) * | 2018-11-08 | 2021-12-07 | Qualcomm Incorporated | Cross-component prediction for video coding |
CN112970262B (zh) | 2018-11-10 | 2024-02-20 | 北京字节跳动网络技术有限公司 | 三角预测模式中的取整 |
CN111436227B (zh) | 2018-11-12 | 2024-03-29 | 北京字节跳动网络技术有限公司 | 在视频处理中使用组合帧间-帧内预测 |
CN113170192B (zh) | 2018-11-15 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 仿射的merge与mvd |
WO2020098813A1 (en) | 2018-11-16 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Usage for history-based affine parameters |
WO2020098810A1 (en) | 2018-11-17 | 2020-05-22 | Beijing Bytedance Network Technology Co., Ltd. | Merge with motion vector difference in video processing |
WO2020103852A1 (en) | 2018-11-20 | 2020-05-28 | Beijing Bytedance Network Technology Co., Ltd. | Difference calculation based on patial position |
CN113170171B (zh) | 2018-11-20 | 2024-04-12 | 北京字节跳动网络技术有限公司 | 组合帧间帧内预测模式的预测细化 |
EP3896973A4 (en) * | 2018-12-12 | 2022-09-28 | SHARP Kabushiki Kaisha | PREDICTIVE IMAGE GENERATING DEVICE, MOVING IMAGE DECODING DEVICE, MOVING IMAGE ENCODING DEVICE, AND PREDICTIVE IMAGE GENERATING METHOD |
KR102662036B1 (ko) | 2018-12-21 | 2024-05-03 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 모션 벡터 차이 모드에서 병합시 모션 벡터 정밀도 |
CA3120750A1 (en) * | 2018-12-28 | 2020-07-02 | Sony Group Corporation | Image processing device and method |
EP3895429A4 (en) | 2019-01-31 | 2022-08-10 | Beijing Bytedance Network Technology Co., Ltd. | CONTEXT FOR CODE AN ADAPTIVE MOTION VECTOR RESOLUTION IN AFFINE MODE |
WO2020164577A1 (en) | 2019-02-14 | 2020-08-20 | Beijing Bytedance Network Technology Co., Ltd. | Selective application of decoder side refining tools |
US11632563B2 (en) * | 2019-02-22 | 2023-04-18 | Qualcomm Incorporated | Motion vector derivation in video coding |
CN113491125A (zh) | 2019-02-22 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 基于历史的仿射模式子表 |
KR20210126126A (ko) * | 2019-02-22 | 2021-10-19 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 크로마 서브블록의 아핀 기반 인터 예측을 위한 방법 및 장치 |
CN113545085A (zh) | 2019-03-03 | 2021-10-22 | 北京字节跳动网络技术有限公司 | 基于图片头中的信息启用dmvr |
KR102635518B1 (ko) | 2019-03-06 | 2024-02-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 변환된 단예측 후보의 사용 |
JP7203241B2 (ja) | 2019-03-08 | 2023-01-12 | 北京字節跳動網絡技術有限公司 | 映像処理における再整形情報の信号伝達 |
WO2020187198A1 (en) | 2019-03-17 | 2020-09-24 | Beijing Bytedance Network Technology Co., Ltd. | Prediction refinement based on optical flow |
CN113647099B (zh) | 2019-04-02 | 2022-10-04 | 北京字节跳动网络技术有限公司 | 解码器侧运动矢量推导 |
CN113728651B (zh) | 2019-04-02 | 2022-10-25 | 北京字节跳动网络技术有限公司 | 视频处理中的自适应环路滤波 |
WO2020211862A1 (en) | 2019-04-18 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Restriction on applicability of cross component mode |
EP3922015A4 (en) | 2019-04-19 | 2022-07-20 | Beijing Bytedance Network Technology Co., Ltd. | GRADIENT CALCULATION IN VARIOUS MOTION VECTOR REFINEMENTS |
CN113711608B (zh) | 2019-04-19 | 2023-09-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程的适用性 |
CN113711609B (zh) | 2019-04-19 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程中的增量运动矢量 |
AU2020263199B2 (en) | 2019-04-23 | 2023-10-19 | Beijing Bytedance Network Technology Co., Ltd. | Methods for cross component dependency reduction |
CN113728646A (zh) * | 2019-04-25 | 2021-11-30 | 北京达佳互联信息技术有限公司 | 用于利用光流的预测细化的方法和装置 |
BR112021021661A2 (pt) | 2019-05-08 | 2021-12-21 | Beijing Bytedance Network Tech Co Ltd | Método e aparelho para processar dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios |
CN110225339A (zh) * | 2019-05-10 | 2019-09-10 | 上海德衡数据科技有限公司 | 一种hevc视频序列编解码加速方法 |
CN113812155B (zh) * | 2019-05-11 | 2023-10-27 | 北京字节跳动网络技术有限公司 | 多种帧间编解码方法之间的交互 |
BR112021022174A2 (pt) | 2019-05-11 | 2021-12-21 | Beijing Bytedance Network Tech Co Ltd | Método para processar dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento e meio de gravação |
JP7431253B2 (ja) | 2019-05-16 | 2024-02-14 | 北京字節跳動網絡技術有限公司 | 動き情報精緻化のサブ領域に基づいた決定 |
WO2020233659A1 (en) | 2019-05-21 | 2020-11-26 | Beijing Bytedance Network Technology Co., Ltd. | Adaptive motion vector difference resolution for affine mode |
MX2021015521A (es) | 2019-06-14 | 2022-02-03 | Lg Electronics Inc | Metodo y dispositivo de descodificacion de imagen para derivar la informacion del indice de ponderacion para la generacion de una muestra de prediccion. |
CN111031318B (zh) * | 2019-06-21 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
CN113994697A (zh) | 2019-06-22 | 2022-01-28 | 北京字节跳动网络技术有限公司 | 色度残差缩放的语法元素 |
US20220264146A1 (en) * | 2019-07-01 | 2022-08-18 | Interdigital Vc Holdings France, Sas | Bi-prediction refinement in affine with optical flow |
EP3977738A4 (en) | 2019-07-07 | 2022-08-17 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING OF CHROMA RESIDUAL SCALE |
US11272203B2 (en) * | 2019-07-23 | 2022-03-08 | Tencent America LLC | Method and apparatus for video coding |
JP7322277B2 (ja) | 2019-07-27 | 2023-08-07 | 北京字節跳動網絡技術有限公司 | 参照ピクチャタイプに従ったツールの使用制限 |
KR20220073752A (ko) | 2019-10-12 | 2022-06-03 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩 툴들을 위한 상위 레벨 신택스 |
CN114556918A (zh) | 2019-10-12 | 2022-05-27 | 北京字节跳动网络技术有限公司 | 细化视频编解码工具的使用和信令 |
JP7482220B2 (ja) | 2019-10-18 | 2024-05-13 | 北京字節跳動網絡技術有限公司 | サブピクチャのパラメータセットシグナリングにおける構文制約 |
US11425405B2 (en) * | 2019-11-15 | 2022-08-23 | Qualcomm Incorporated | Cross-component adaptive loop filter in video coding |
JP7425224B2 (ja) * | 2020-04-07 | 2024-01-30 | 北京字節跳動網絡技術有限公司 | 高レベル構文におけるインター予測のための信号通知 |
WO2021204234A1 (en) | 2020-04-09 | 2021-10-14 | Beijing Bytedance Network Technology Co., Ltd. | Deblocking signaling in video coding |
CN115486064A (zh) | 2020-04-10 | 2022-12-16 | 抖音视界有限公司 | 标头语法元素和自适应参数集的使用 |
CN115868159A (zh) | 2020-04-17 | 2023-03-28 | 抖音视界有限公司 | 自适应参数集单元的存在 |
WO2021222037A1 (en) | 2020-04-26 | 2021-11-04 | Bytedance Inc. | Conditional signaling of weighted prediction information |
US20230336772A1 (en) * | 2022-04-18 | 2023-10-19 | Tencent America LLC | Mmvd candidate refinement methods |
WO2023250115A1 (en) * | 2022-06-23 | 2023-12-28 | Beijing Dajia Internet Information Technology Co., Ltd | Method and apparatus for cross-component prediction for video coding |
WO2024006409A1 (en) * | 2022-06-29 | 2024-01-04 | Beijing Dajia Internet Information Technology Co., Ltd | Method and apparatus for cross-component prediction for video coding |
WO2024081291A1 (en) * | 2022-10-12 | 2024-04-18 | Beijing Dajia Internet Information Technology Co., Ltd | Method and apparatus for cross-component prediction for video coding |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018230493A1 (ja) | 2017-06-14 | 2018-12-20 | シャープ株式会社 | 動画像復号装置、動画像符号化装置、予測画像生成装置及び動きベクトル導出装置 |
WO2020061082A1 (en) | 2018-09-21 | 2020-03-26 | Vid Scale, Inc. | Complexity reduction and bit-width control for bi-directional optical flow |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101768207B1 (ko) | 2010-01-19 | 2017-08-16 | 삼성전자주식회사 | 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
US20120230407A1 (en) * | 2011-03-11 | 2012-09-13 | General Instrument Corporation | Interpolation Filter Selection Using Prediction Index |
JP5649523B2 (ja) | 2011-06-27 | 2015-01-07 | 日本電信電話株式会社 | 映像符号化方法,装置,映像復号方法,装置およびそれらのプログラム |
US20130177084A1 (en) | 2012-01-10 | 2013-07-11 | Qualcomm Incorporated | Motion vector scaling in video coding |
US10200709B2 (en) | 2012-03-16 | 2019-02-05 | Qualcomm Incorporated | High-level syntax extensions for high efficiency video coding |
US9420280B2 (en) * | 2012-06-08 | 2016-08-16 | Qualcomm Incorporated | Adaptive upsampling filters |
US9538180B2 (en) | 2012-12-17 | 2017-01-03 | Qualcomm Incorporated | Motion vector prediction in video coding |
US9374581B2 (en) | 2013-01-07 | 2016-06-21 | Qualcomm Incorporated | Signaling of picture order count to timing information relations for video timing in video coding |
US9380305B2 (en) | 2013-04-05 | 2016-06-28 | Qualcomm Incorporated | Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof |
US10212435B2 (en) * | 2013-10-14 | 2019-02-19 | Qualcomm Incorporated | Device and method for scalable coding of video information |
US10880565B2 (en) | 2014-03-24 | 2020-12-29 | Qualcomm Incorporated | Use of specific HEVC SEI messages for multi-layer video codecs |
US9918105B2 (en) | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
US10055674B2 (en) * | 2015-03-20 | 2018-08-21 | Texas Instruments Incorporated | Confidence estimation for optical flow |
WO2017036399A1 (en) * | 2015-09-02 | 2017-03-09 | Mediatek Inc. | Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques |
US10375413B2 (en) * | 2015-09-28 | 2019-08-06 | Qualcomm Incorporated | Bi-directional optical flow for video coding |
US10368083B2 (en) | 2016-02-15 | 2019-07-30 | Qualcomm Incorporated | Picture order count based motion vector pruning |
KR20180129860A (ko) * | 2016-04-25 | 2018-12-05 | 엘지전자 주식회사 | 영상 코딩 시스템에서 인터 예측 방법 및 장치 |
WO2017197146A1 (en) * | 2016-05-13 | 2017-11-16 | Vid Scale, Inc. | Systems and methods for generalized multi-hypothesis prediction for video coding |
US10560712B2 (en) * | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
US20170374369A1 (en) * | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
US10390015B2 (en) * | 2016-08-26 | 2019-08-20 | Qualcomm Incorporated | Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction |
US11356693B2 (en) | 2016-09-29 | 2022-06-07 | Qualcomm Incorporated | Motion vector coding for video coding |
US10462462B2 (en) | 2016-09-29 | 2019-10-29 | Qualcomm Incorporated | Motion vector difference coding technique for video coding |
US10341659B2 (en) * | 2016-10-05 | 2019-07-02 | Qualcomm Incorporated | Systems and methods of switching interpolation filters |
WO2018097078A1 (ja) * | 2016-11-22 | 2018-05-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
WO2018097700A1 (ko) * | 2016-11-28 | 2018-05-31 | 한국전자통신연구원 | 필터링을 위한 방법 및 장치 |
CN116320495A (zh) | 2016-11-28 | 2023-06-23 | 韩国电子通信研究院 | 用于滤波的方法和装置 |
CN110115032B (zh) | 2016-12-22 | 2021-07-20 | 联发科技股份有限公司 | 用于视频编解码的运动细化的方法以及装置 |
US10931969B2 (en) | 2017-01-04 | 2021-02-23 | Qualcomm Incorporated | Motion vector reconstructions for bi-directional optical flow (BIO) |
US20180199057A1 (en) * | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
US10701366B2 (en) * | 2017-02-21 | 2020-06-30 | Qualcomm Incorporated | Deriving motion vector information at a video decoder |
US10523964B2 (en) | 2017-03-13 | 2019-12-31 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (BIO) |
WO2018166357A1 (en) | 2017-03-16 | 2018-09-20 | Mediatek Inc. | Method and apparatus of motion refinement based on bi-directional optical flow for video coding |
US10491917B2 (en) * | 2017-03-22 | 2019-11-26 | Qualcomm Incorporated | Decoder-side motion vector derivation |
US10595035B2 (en) * | 2017-03-22 | 2020-03-17 | Qualcomm Incorporated | Constraining motion vector information derived by decoder-side motion vector derivation |
CN116708831A (zh) * | 2017-04-24 | 2023-09-05 | Sk电信有限公司 | 编解码视频数据的方法、发送编码视频数据比特流的方法 |
CN117478884A (zh) | 2017-07-03 | 2024-01-30 | Vid拓展公司 | 用于视频编解码的设备、方法 |
WO2019045427A1 (ko) | 2017-08-29 | 2019-03-07 | 에스케이텔레콤 주식회사 | 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치 |
US10986360B2 (en) * | 2017-10-16 | 2021-04-20 | Qualcomm Incorproated | Various improvements to FRUC template matching |
US11750832B2 (en) | 2017-11-02 | 2023-09-05 | Hfi Innovation Inc. | Method and apparatus for video coding |
US20190141320A1 (en) | 2017-11-07 | 2019-05-09 | Qualcomm Incorporated | Enhanced reference picture management in video coding |
EP3804324A4 (en) * | 2018-06-11 | 2022-08-03 | HFI Innovation Inc. | BIDIRECTIONAL OPTICAL FLOW METHOD AND APPARATUS FOR VIDEO CODING |
MX2021004715A (es) | 2018-11-05 | 2021-06-04 | Beijing Bytedance Network Tech Co Ltd | Interpolacion para interprediccion con refinamiento. |
-
2019
- 2019-11-05 MX MX2021004715A patent/MX2021004715A/es unknown
- 2019-11-05 EP EP23203581.6A patent/EP4300965A3/en active Pending
- 2019-11-05 CN CN201980072653.1A patent/CN112970261A/zh active Pending
- 2019-11-05 WO PCT/CN2019/115695 patent/WO2020093999A1/en active Application Filing
- 2019-11-05 WO PCT/CN2019/115697 patent/WO2020094000A1/en unknown
- 2019-11-05 CN CN201980072654.6A patent/CN112970259A/zh active Pending
- 2019-11-05 SG SG11202104480RA patent/SG11202104480RA/en unknown
- 2019-11-05 BR BR112021008251-4A patent/BR112021008251A2/pt unknown
- 2019-11-05 KR KR1020237038844A patent/KR20230158645A/ko active Application Filing
- 2019-11-05 WO PCT/CN2019/115722 patent/WO2020094010A1/en active Application Filing
- 2019-11-05 KR KR1020217012658A patent/KR102607097B1/ko active IP Right Grant
- 2019-11-05 EP EP19883112.5A patent/EP3861731A4/en active Pending
- 2019-11-05 CN CN201980072533.1A patent/CN112997485A/zh active Pending
- 2019-11-05 JP JP2021523358A patent/JP7231727B2/ja active Active
- 2019-11-05 CN CN202311458374.3A patent/CN117241017A/zh active Pending
-
2020
- 2020-08-20 US US16/998,406 patent/US11064206B2/en active Active
- 2020-08-28 US US17/005,483 patent/US11089310B2/en active Active
-
2021
- 2021-02-04 US US17/167,169 patent/US20210160511A1/en not_active Abandoned
- 2021-06-14 US US17/346,568 patent/US11706421B2/en active Active
- 2021-10-19 US US17/505,227 patent/US11902535B2/en active Active
-
2023
- 2023-02-15 JP JP2023021775A patent/JP2023062073A/ja active Pending
- 2023-11-06 US US18/502,646 patent/US20240089464A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018230493A1 (ja) | 2017-06-14 | 2018-12-20 | シャープ株式会社 | 動画像復号装置、動画像符号化装置、予測画像生成装置及び動きベクトル導出装置 |
WO2020061082A1 (en) | 2018-09-21 | 2020-03-26 | Vid Scale, Inc. | Complexity reduction and bit-width control for bi-directional optical flow |
Non-Patent Citations (4)
Title |
---|
Chen-Yen Lai, et al.,CE9-related: BIO simplification,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0099-v3,12th Meeting: Macao, CN,2018年10月,pp.1-6 |
Ching-Yeh Chen, et al.,CE9.5.2: BIO with simplified gradient calculation, adaptive BIO granularity, and applying BIO to chroma components,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-K0255-v1,11th Meeting: Ljubljana, SI,2018年07月,pp.1-5 |
Xiaoyu Xiu, et al.,CE9-related: A simplified bi-directional optical flow (BIO) design based on the combination of CE9.5.2 test 1 and CE9.5.3,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-K0485-v1,11th Meeting: Ljubljana, SI,2018年07月,pp.1-3 |
Xiaoyu Xiu, et al.,CE9-related: A simplified design of bi-directional optical flow (BIO),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0591,12th Meeting: Macao, CN,2018年10月,pp.1-9 |
Also Published As
Publication number | Publication date |
---|---|
KR102607097B1 (ko) | 2023-11-29 |
EP3861731A1 (en) | 2021-08-11 |
US20220038714A1 (en) | 2022-02-03 |
US20200382795A1 (en) | 2020-12-03 |
JP2022506161A (ja) | 2022-01-17 |
BR112021008251A2 (pt) | 2021-08-03 |
US11902535B2 (en) | 2024-02-13 |
CN117241017A (zh) | 2023-12-15 |
US20220086458A1 (en) | 2022-03-17 |
CN112970261A (zh) | 2021-06-15 |
US11089310B2 (en) | 2021-08-10 |
WO2020093999A1 (en) | 2020-05-14 |
US11706421B2 (en) | 2023-07-18 |
WO2020094010A1 (en) | 2020-05-14 |
CN112997485A (zh) | 2021-06-18 |
CN112970259A (zh) | 2021-06-15 |
US11064206B2 (en) | 2021-07-13 |
US20200396453A1 (en) | 2020-12-17 |
MX2021004715A (es) | 2021-06-04 |
KR20230158645A (ko) | 2023-11-20 |
US20240089464A1 (en) | 2024-03-14 |
EP3861731A4 (en) | 2021-11-24 |
KR20210084474A (ko) | 2021-07-07 |
EP4300965A3 (en) | 2024-01-17 |
EP4300965A2 (en) | 2024-01-03 |
US20210160511A1 (en) | 2021-05-27 |
SG11202104480RA (en) | 2021-05-28 |
WO2020094000A1 (en) | 2020-05-14 |
JP2023062073A (ja) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7231727B2 (ja) | 精緻化を伴うインター予測のための補間 | |
CN112913241B (zh) | 解码器侧运动矢量推导的限制 | |
TWI827681B (zh) | 具有自適應運動矢量分辨率的仿射模式的語法重用 | |
US20210185348A1 (en) | Interaction between different dmvd models | |
JP7319386B2 (ja) | 異なる動きベクトル微調整における勾配計算 | |
JP2022503715A (ja) | 適応動きベクトル解像度による動きベクトルの変更 | |
JP7235877B2 (ja) | アフィンモード適応型動きベクトル解像度を符号化するためのコンテキスト | |
CN110740321B (zh) | 基于更新的运动矢量的运动预测 | |
CN113366851A (zh) | 对称运动矢量差编解码模式的快速算法 | |
CN113424534A (zh) | 自适应运动矢量分辨率的多个语法元素 | |
CN113661709A (zh) | 仿射高级运动矢量预测中的运动信息精度对齐 | |
RU2808586C2 (ru) | Интерполяция для внешнего предсказания с уточнением |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7231727 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |