JP7490102B2 - ビデオ処理における非線形適応ループフィルタリング - Google Patents
ビデオ処理における非線形適応ループフィルタリング Download PDFInfo
- Publication number
- JP7490102B2 JP7490102B2 JP2023026362A JP2023026362A JP7490102B2 JP 7490102 B2 JP7490102 B2 JP 7490102B2 JP 2023026362 A JP2023026362 A JP 2023026362A JP 2023026362 A JP2023026362 A JP 2023026362A JP 7490102 B2 JP7490102 B2 JP 7490102B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- clipping
- filtering
- parameters
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims description 86
- 230000003044 adaptive effect Effects 0.000 title claims description 72
- 238000012545 processing Methods 0.000 title claims description 49
- 238000000034 method Methods 0.000 claims description 166
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 230000006978 adaptation Effects 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 2
- 239000000523 sample Substances 0.000 claims 8
- 239000013074 reference sample Substances 0.000 claims 4
- 241000023320 Luma <angiosperm> Species 0.000 description 43
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 43
- 230000008569 process Effects 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000003672 processing method Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 229910003460 diamond Inorganic materials 0.000 description 5
- 239000010432 diamond Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007634 remodeling Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Description
本出願は、2020年3月24日に出願された国際特許出願第PCT/CN2020/080827号の国内移行であり、2019年3月24日に出願された国際特許出願第PCT/CN2019/079395号について優先権及び利益を主張するものである。法に基づく全ての目的のために、前述の全ての出願は、ここにおいて、本出願の開示の一部として引用により援用されている。
色空間(color space)、カラーモデル(または、カラーシステム)としても知られているものは、色の範囲を数字のタプル(tuple)として、典型的には、3個または4個の値、もしくは、色成分(例えば、RGB)として、簡単に記述する抽象的な数学モデルである。基本的に言えば、色空間は、座標系とサブ空間の精緻化(elaboration)である。
3個のY'CbCr成分それぞれは、同じサンプルレートを有するので、クロマサブサンプリングは存在しない。このスキームは、ときどき、ハイエンドのフィルムスキャナおよび映画のポストプロダクションにおいて使用されている。
2個のクロマ成分はルマのサンプルレートの半分でサンプリングされる。例えば、水平クロマ解像度が半分になる。このことは、視覚的な差異がほとんどないか全くない状態で非圧縮ビデオ信号の帯域幅を3分の1に低減する。
4:2:0において、水平方向のサンプリングは4:1:1に比べて2倍になるが、このスキームにおいてはCbおよびCrチャンネルが各代替ラインでのみサンプリングされるため、垂直方向の解像度は半分になる。従って、データレートは同じである。CbとCrは、それぞれ水平方向と垂直方向の2倍でサブサンプリングされる。4:2:0スキームの3つのバリエーションが存在し、異なる水平および垂直位置(sitting)を有している。
図1は、一つの例示的なVCのCエンコーダブロック図を示している。図1に示されるように、ビデオエンコーディングのフローは、イントラ予測、及び/又は、動き推定/動き補償(motion estimation/motion compensation、ME/MC)を受ける、入力ビデオを用いて開始し得る。これらの動作(operation)は、ビデオの以前にコード化された部分の再構成されたコピーからのフィードバックを使用する。イントラ予測及び/又はME/MCの出力は、変換演算(T)を通じて差動的に処理され、量子化動作(Q)が後に続き、出力コード化表現へとエントロピー符号化(entropy coded)される。フィードバックループにおいて、コード化表現(Qブロックの出力)は、逆量子化演算(IQ)、続いて逆変換演算を経て、符号化されたビデオブロックの再構成サンプルを生成することができる。
JEMでは、ブロックベースフィルタ適応を有する幾何学的変換ベースの適応ループフィルタ(GALF)が適用される。ルマ成分では、ローカルグラデーションの方向とアクティビティに基づいて、2×2ブロックごとに25個のフィルタのうちの1つが選択される。
JEMでは、ルマ成分に対して、最大3個のダイヤモンドフィルタ形状を(5×5ダイヤモンド、7×7ダイヤモンド、および9×9ダイヤモンドについて、それぞれ図2A、2B、および2Cに示されるように)選択することができる。インデックスは、ルマ成分について使用されるフィルタの形状を示すために、画像レベルで信号化される。画像におけるクロマ成分については、5×5のダイヤモンド形状が常に使用される。
各ブロックは、25個のクラスのうち1つへと分類される。分類インデックスCは、その方向性(directionality)Dと活動の量子化値A^に基づいて、次のように導出される。
C=5D+A^ (1)
DおよびA^を計算するために、水平方向、垂直方向、および2つの対角方向の勾配(gradients)が、1-Dラプラシアン(Laplacian)使用して、まず、計算される。
インデックスiおよびjは2×2ブロック内の左上のサンプルの座標を指し、そして、r(i,j)は座標(I,j)における再構成されたサンプルを示している。
次に、水平方向と垂直方向の勾配の最大値と最小値Dが次のように設定される。
gh,v max=max(gh,gv)、gh,v min=min(gh,gv) (6)
そして、2つの対角方向の勾配の最大値と最小値が次のように設定される。
gd0,d1 max=max(gd0,gd1)、gd0,d1 min=min(gd0,gd1) (7)
方向性Dの値を導出するために、これらの値が相互に、および、2個の閾値t1およびt2を用いて比較される。
ステップ1.gh,v max≦t1・gh,v min、かつ、gd0,d1 max≦t1・gd0,d1 minが真である場合に、Dは0に設定される。
ステップ2.gh,v max/gh,v min>gd0,d1 max/gd0,d1 minである場合には、ステップ3から継続し、そうでなければ、ステップ4から継続する。
ステップ3.gh,v max>t2・gh,v minである場合に、Dは2に設定され、そうでなければ、Dは1に設定される。
ステップ4.gd0,d1 max>t2・gd0,d1 minである場合に、Dは4に設定され、そうでなければ、Dは3に設定される。活性値(activity value)Aは、次のように計算される。
Aは、包括的に、さらに0から4の範囲に量子化され、そして、量子化された値はA^として示される。画像内の両方のクロマ成分について、分類方法は適用されない。すなわち、各クロマ成分に対してALF係数の単一セットが適用される。
各2×2ブロックをフィルタリングする前に、そのブロックについて計算された勾配値に応じて、回転、または、対角および垂直フリッピング(flipping)といった幾何学的変換が、フィルタ係数f(k,l)に対して適用される。これは、フィルタ支持領域(support region)内のサンプルに対してこれらの変換を適用することと等価である。このアイデアは、ALFが適用される異なるブロックを、それらの方向性を整列させることによって、より類似させることである。
対角線(Diagonal) :fD(k,l)=f(l,k)、
垂直反転(Vertical flip):fV(k,l)=f(k,K-l-1)、
回転(Rotation) :fR(k,l)=f(K-l-,k)
(9)
JEMにおいて、GALFフィルタパラメータは、第1CTU、すなわち、スライスヘッダの後で、かつ、第1CTUのSAOパラメータの前に信号化される。最大25セットのルマフィルタ係数がシグナル化され得る。ビットオーバーヘッドを低減するために、異なる分類のフィルタ係数をマージすることができる。また、参照画像のGALF係数が保管され、そして、現在画像のGALF係数として再利用される。現在画像は、参照画像のために保管されたGALF係数を使用し、GALF係数信号をバイパスすることを選択することができる。この場合、参照画像の1つへのインデックスのみが信号化され、示された参照画像の保管されたGALF係数が現在画像に対して継承される。
デコーダ側では、ブロックについてGALFがイネーブル(enabled)されると、ブロック内の各サンプルR(i,j)がフィルタリングされ、以下に示されるようにサンプル値R’(i,j)を結果として生じる。ここで、Lはフィルタ長を表し、fm,nはフィルタ係数を表し、そして、f(k,l)は復号されたフィルタ係数を表す。
GALFについて全体的なエンコーダ決定プロセスが図3に示されている。各CUのルマサンプルについて、エンコーダは、GALFが適用されるか否かを決定し、そして、適切な信号フラグがスライスヘッダに含まれる。クロマサンプルについて、フィルタを適用するか否かの決定は、CUレベルではなく、画像レベルに基づいて行われる。さらに、画像のクロマGALFは、画像についてルマGALFがイネーブルされている場合にだけチェックされる。
VVCにおけるGALFの現在の設計は、JEMにおけるものと比較して、以下の主要な変化を有している。
1)適応フィルタの形状が除去される。ルマ成分については7×7のフィルタ形状だけが許可され、かつ、クロマ成分については5×5のフィルタ形状が許可される。
2)ALFパラメータの時間的予測および固定フィルタからの予測は、両方とも除去される。
3)各CTUに対して、ALFがイネーブルまたはディセーブルであろうとも、1ビットのフラグが信号化される。
4)分類インデックスの計算は、2×2ではなく、4×4レベルで行われる。加えて、JVET-L0147で提案されるように、ALF分類のためのサブサンプル・ラプラシアン計算法が利用される。より具体的には、1つのブロック内の各サンプルについて、水平/垂直/対角/135度勾配を計算する必要はない。代わりに、1:2サブサンプリングが利用される。
ALFは、ループ内フィルタリングの最終段階である。このプロセスには、2つの段階(stages)がある。第1段階はフィルタ係数の導出である。フィルタ係数を訓練(train)するために、エンコーダは、ルマ成分の再構成されたピクセルを16領域へと分類し、そして、1セットのフィルタ係数が、各カテゴリについて、ウィナー-ホップ(wiener-hopf)方程式を使用し訓練され、元のフレームと再構成されたフレームとの間の平均二乗誤差を最小化する。これら16セットのフィルタ係数の間の冗長性を低減するために、エンコーダは、レート歪み性能(rate-distortion performance)に基づいて、それらを適応的にマージする。最大で、ルマ成分について16個の異なるフィルタセットが割り当てられ、そして、クロマ成分については1個だけが割り当てられ得る。第2段階は、フレームレベルおよびLCUレベルの両方を含む、フィルタ決定である。最初に、エンコーダは、フレームレベル適応ループフィルタリングが実行されるか否かを決定する。フレームレベルALFがオンである場合には、エンコーダは、さらに、LCUレベルALFが実行されるか否かを決定する。
AVS-2で採用されるフィルタ形状は、ルマ成分とクロマ成分の両方について図5にちょうど示されるように、3×3の正方形を重ね合わせた7×7の十字形である。図5における各正方形は、サンプルに対応している。従って、位置C8のサンプルに対するフィルタ値を導出するために、合計17個のサンプルが使用される。係数を伝送するオーバヘッドを考慮して、点対称フィルタを、残された9個の係数{C0,C1,...,C8}だけに使用され、フィルタリングにおける乗算の数と同様に、フィルタ係数の数を半分まで削減する。点対称フィルタは、また、1つのフィルタリングされたサンプルに対する計算の半分を低減することができる。例えば、1つのフィルタリングされたサンプルについて9個の乗算および14個の加算だけである。
異なるコード化誤差を適応させるために、AVS-2は、ルマ成分について領域ベースの複数適応ループフィルタを採用する。ルマ成分は、ほぼ等しいサイズの16個の基本領域に分割され、そこで、各基本領域は、図6に示されるように、最大コーディングユニット(largest coding unit、LCU)の境界と整列され、そして、各領域について1つのウィナーフィルタが導出される。より多くのフィルタを使用すると、より多くの歪みが低減されるが、これらの係数を符号化するために使用されるビットは、フィルタの数と共に増加する。最善のレート歪み性能を達成するために、これらの領域は、同じフィルタ係数を共有する、より少ない、より大きな領域へとマージすることができる。マージプロセスを単純化するために、画像の以前の相関に基づく修正ヒルベルト(Hilbert)順序に従って、各領域にインデックスを割り当てる。連続したインデックスを持つ2つの領域は、レート歪みコストに基づいてマージされ得る。
複数のスイッチフラグも、また、使用される。シーケンススイッチフラグ、adptive_loop_filter_enableは、適応ループフィルタがシーケンス全体について適用されるか否かを制御するために使用される。画像スイッチフラグ、picture_alf_enble[i]は、対応するi番目の画像コンポーネントについてALFが適用されるか否かを制御する。picture_alf_enble[i]が有効になっている場合にのみ、対応するLCUレベルのフラグ、および、その色成分のフィルタ係数が送信される。LCUレベルフラグ、lcu_alf_enable[k]は、対応するk番目のLCUについてALFがイネーブルであるか否かを制御し、そして、スライスデータへとインタリーブされる。異なるレベルで調整されるフラグの決定は、全て、レート歪みコストに基づいている。さらに、高いフレキシビリティにより、ALFは、コード化効率を大幅に改善する。
上記のフィルタ等式(13)を使用して、ALFをより効率的にするために、非線形性を容易に導入することができる。簡単なクリッピング関数を使用することによるものであり、フィルタリングされる現在のサンプル値(I(x,y))とあまりにも異なる場合に、隣接サンプル値(I(x+i,y+i))の影響を低減する。
ループ内再形成(in-loop reshaping、ILR)は、クロマスケーリングによるルママッピング(Luma Mapping with Chroma Scaling、LMCS)としても知られている。
概念的には、区分ごとの(piece-wise)線形(PWL)は、以下のように実装される。
y=((y2-y1)/(x2-x1))*(x-x1)+y1
y=((m*x+2FP_PREC-1)>>FP_PREC)+c
8.2.1 ルマ再形成
ループ内ルマ再形成のテスト2(すなわち、提案におけるCE12-2)は、より複雑性の低いパイプラインを提供し、また、インタースライス再構成におけるブロックごとのイントラ予測のための復号化待ち時間(latency)も排除する。イントラ予測は、インタースライスおよびイントラスライスの両方について再形成ドメインにおいて実行される。
ルマ依存クロマ残余スケーリング(luma-dependent chroma residue scaling)は、固定小数点整数演算を用いて実装される乗法プロセスである。クロマ残余スケーリングは、クロマ信号とのルマ信号の相互作用を補償する。クロマ残余スケーリングはTUレベルで適用される。具体的には、以下の通りである。
-イントラについて、再構成ルマが平均化される。
-インターについて、予測ルマが平均化される。
パラメータは、(現在)タイル群ヘッダ(ALFと同様)において送信される。これらは40-100ビットを要すると言われている。以下の仕様は、JVET-L1001のバージョン9に基づいている。追加されたシンタックスは、イタリック体で以下に強調表示されている。
一般シーケンスパラメータセットRBSPセマンティクス(General sequence parameter set RBSP semantics)において、以下のセマンティクスを追加する。
1に等しいsps_reshaper_enabled_flagは、コード化されたビデオシーケンス(CVS)においてリシェイパ(reshaper)が使用されることを指定する。
0に等しいsps_reshaper_enabled_flagは、CVSにおいてリシェイパが使用されないことを指定する。
タイル群・ヘッダシンタックス(tile group header syntax)において、以下のセマンティクスを追加する。
1に等しいtile_group_reshaper_model_present_flagは、tile_group_reshaper_model()がタイル群ヘッダ内に存在することを指定する。0に等しいtile_group_reshaper_model_present_flagは、tile_group_reshaper_model()がタイル群ヘッダ内に存在しないことを指定する。tile_group_reshaper_model_present_flagが存在しない場合は、0に等しいものと推定される。
1に等しいtile_group_reshaper_enabled_flagは、現在のタイル群についてリシェイパがイネーブルされていることを指定する。0に等しいtile_group_reshaper_enabled_flagは、現在のタイル群についてリシェイパがイネーブルされていないことを指定する。tile_group_resharper_enable_flagが存在しない場合は、0に等しいものと推定される。
1に等しいtile_group_reshaper_chroma_residual_scale_flagは、現在のタイル群についてクロマ残余スケーリングイネーブルされていることを指定する。0に等しいtile_group_reshaper_chroma_residual_scale_flagは、現在のタイル群でクロマ残余スケーリングがイネーブルされていないことを指定する。tile_group_reshaper_chroma_residual_scale_flagが存在しない場合は、0に等しいものと推定される。
tile_group_reshaper_model()シンタックスの追加
reshape_model_min_bin_idxは、リシェイパ構築プロセス(reshaper construction process)において使用される最小のビン(または、ピース)インデックスを指定する。reshape_model_min_bin_idxの値は、0からMaxBinIdxの範囲とする。MaxBinIdxの値は15に等しい。
reshape_model_delta_max_bin_idxは、リシェイパ構築プロセスにおいて使用される、最大許容ビン(または、ピース)であるインデックスMaxBinIdxから最大ビンインデックスを引いたものを指定する。reshape_model_max_bin_idxの値はMaxBinIdxマイナスreshape_model_delta_max_bin_idxに等しく設定される。
reshaper_model_bin_delta_abs_cw_pre_minus1プラス1は、シンタックスreshape_model_bin_delta_abs_CW[i]の表現について使用されるビット数を指定する。
reshape_model_bin_delta_abs_CW[i]は、i番目のビンについて絶対デルタコードワード値(absolute delta codeword value)を指定する。
reshaper_model_bin_delta_sign_CW_flag[i]は、reshape_model_bin_delta_abs_CW[i]の符号を以下のように指定する。
-reshape_model_bin_delta_sign_CW_flag[i]が0に等しい場合、対応する変数RspDeltaCW[i]は正の値である。
-それ以外の場合(reshape_model_bin_delta_sign_CW_flag[i]が0に等しくない)、対応する変数RspDeltaCW[i]は負の値である。
reshape_model_bin_delta_sign_CW_flag[i]が存在しない場合は、0に等しいものと推定される。
変数RspDeltaCW[i]=(1 2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i];
変数RspCW[i]は、以下のステップのように導出される。
変数OrgCWは、(1<<BitDepthY)/(MaxBinIdx+1)に等しく設定される。
-reshaper_model_min_bin_idx<=i<=reshaper_model_max_bin_idxの場合
RspCW[i]=OrgCW+RspDeltaCW[i]
-それ以外の場合、RspCW[i]=0
RspCW[i]の値は、BitDepthYの値が10に等しい場合、32から2×OrgCW-1の範囲である。
0からMaxBinIdx+1の範囲のiを持つ変数InputPivot[i]は、次のように導出される。
InputPivot[i]=i*OrgCW
0からMaxBinIdx+1の範囲のiを持つ変数ReshapePivot[i]と、0からMaxBinIdxの範囲のiを持つ変数ScaleCoef[i]およびInvScaleCoeff[i]は、次のように導出される。
shiftY=4
ReshapePivot[0]=0;
for(i=0;i<=MaxBinIdx;i++){
ReshapePivot[i+1]=ReshapePivot[i]+RspCW[i]
ScaleCoef[i]=(RspCW[i]*(1<<shiftY)+(1<<(Log2(OrgCW)-1)))>>(Log2(OrgCW))
if(RspCW[i]==0)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW*(1<<shiftY)/RspCW[i]
}
0からBinIdxの範囲のiを持つ変数ChromaScaleCoef[i]は、次のように導出される。
ChromaResidualScaleLut[64]={16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024};
shiftC=11
-if(RspCW[i]==0)
ChromaScaleCoef[i]=(1<<shiftC)
-Otherwise(RspCW[i]!=0),ChromaScaleCoef[i]=ChromaResidualScaleLut[RspCW[i]>>1]
エンコーダ側では、各画像(または、タイル群)が最初に再形成ドメインへ変換される。そして、全てのコード化プロセスは、再形成されたドメインで実行される。イントラ予測について、隣接ブロックは再形成ドメイン内にあり、インター予測について、参照ブロック(復号された画像バッファからの元のドメインから生成されたもの)が、最初に再形成ドメインへ変換される。次いで、残余が生成され、そして、ビットストリームへコード化される。
-現在ブロックがイントラコード化されている。
-現在ブロックがCPR(現在画像参照、別名イントラブロックコピー、IBC)としてコード化されている。
-現在のブロックが、結合インター-イントラモード(CIIP)としてコード化されており、かつ、イントラ予測ブロックについて前方再形成がディセーブルされている。
JVET-N0242における非線形ALF(NLALF)設計は、以下の問題を有している。
(1)4:2:0カラーフォーマット用に設計されたものであること。4:4:4カラーフォーマットについて、ルマ成分とクロマ成分が同様に重要であり得ること。どのようにNLALFをより良好に適用するか不明であること。
(2)クリッピング値が10ビットの場合について設計されていること。他のビット深度について、どのようにNLALFを定義するか未だ研究されていないこと。
(3)ループ内再形成法とNLALFの相互作用は、研究されてきていないこと。
ここで開示される技術の実施形態は、既存の実施形態の欠点を克服し、それによって、より高いコード化効率を有するビデオコーディングを提供する。非線形適応ループフィルタリングは、開示される技術に基づいて、既存の及び将来のビデオコーディング規格の両方を強化知るものであり、種々の実装について説明される以降の実施例において解明される。以下に提供される開示された技術の例は、一般的概念を説明するものであり、そして、限定的なものとして解釈されるように意図されたものではない。一つの例において、明示的に反対に示されない限り、これらの実施例において説明される種々の特徴を組み合わせることができる。
1.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、コード化された情報に依存し得ることが提案されている。
a.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、時間層インデックス/低遅延チェックフラグ/参照画像に依存し得ることが提案されている。
2.複数セットのNLALFパラメータが定義され、または、信号化され得る。
a.代替的に、さらに、複数セットのNLALFパラメータが信号化される場合、それらは適応パラメータセット(APS)/タイル群ヘッダ/ビデオデータユニットといった、データユニット(data unit)で信号化され得る。
b.一つの例では、NLALFパラメータは、予測的な方法で信号化される。
i.例えば、1つのデータユニット(APSまたはタイル群、もしくはスライス、といったもの)で信号化されたNLALFパラメータの1つのセットは、同じデータユニットで信号化された別のNLALFパラメータのセットによって予測される。
ii.例えば、1つのデータユニット(APSまたはタイル群、もしくはスライス、といったもの)で信号化されたNLALFパラメータの1つのセットは、別のデータユニットで信号化された別のNLALFパラメータのセットによって予測される。
3.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、NLALFを適用する前に、再構成されたサンプルのビット深度に依存し得ることが提案される。
a.代替的に、NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、符号化/復号化される前に、サンプルの入力ビット深度に依存し得ることが提案されている。
b.一つの例では、所与のビット深度に対するパラメータは、他のビット深度に対して割り当てられたものから導出され得る。
i.一つの例では、1つの所与のビット深度に対するパラメータを導出するために、ビット深度に従ったシフト動作(shifting operation)が適用され得る。
4.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、色表現フォーマット(color representation format)に依存し得ることが提案されている。
a.一つの例では、RGBの場合、G色成分について、および、B/R色成分について、同じインデックスを持つパラメータである。
5.NLALFで使用されるパラメータ(例えば、表2で定義されたクリッピングパラメータ)は、ループ内再形成(ILR)法が適用されるか否かに依存し得ることが提案されている。
a.一つの例では、ILRがイネーブルまたはディセーブルされている場合、パラメータが異なり得る。
6.フィルタパラメータ(フィルタ係数といったもの)およびNLALFパラメータ(クリッピングパラメータといったもの)を一緒に保管することが提案されている。
a.一つの例では、それらの両方がAPSに保管され得る。
b.一つの例では、1つのビデオデータユニット(例えば、CTU/領域/タイル群)が1つのAPSに関連するフィルタ係数を使用する場合、関連するNLALFパラメータも、また、使用され得る。
c.代替的に、1つのビデオデータユニット(例えば、CTU/領域/タイル群)に符号化/復号化について、1つのAPSに関連するフィルタ係数からの予測がイネーブルされている場合、関連するNLALFパラメータは、また、同じAPSからの1つのビデオデータユニットに対するNLALFパラメータを予測するためにも利用され得る。
7.クロマ色成分についてNLALFの扱い方は、カラーフォーマットに依存し得る。
a.1つの例では、(4:4:4といった)所与のカラーフォーマットについて、2つのクロマ成分が異なるNLALFパラメータを使用し得る。
8.ALFでのクリッピングは、シーケンスレベル、ピクチャレベル、スライスレベル、タイル群レベル、タイルレベル、CTUレベル、CUレベル、またはブロックレベルでオンまたはオフにされ得ることが提案されている。
a.例えば、ALFでクリッピングをオンにするか否かは、デコーダに信号化され得る。SPS、PPS、スライスヘッダ、タイル群ヘッダ、タイル、CTU、CU、またはブロックといったものである。
図10Aは、ビデオ処理装置900のブロック図である。装置900は、ここにおいて記載される1つ以上の方法を実装するために使用され得る。装置900は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things、IoT)受信器、などで具体化することができる。装置900は、1つ以上のプロセッサ902、1つ以上のメモリ904、および、ビデオ処理ハードウェア906を含み得る。プロセッサ902は、本文書に記載される1つ以上の方法(方法800を含むが、これに限定されない)を実装するように構成され得る。メモリ(メモリ)904は、ここにおいて記載される方法および技術を実施するために使用されるデータおよびコードを保管するために使用され得る。ビデオ処理ハードウェア906は、ハードウェア回路において、本文書に記載されるいくつかの技術を実装するために使用され得る。
Claims (15)
- ビデオデータを処理する方法であって、
非線形適応ループフィルタリング動作がビデオの現在のビデオ領域に適用されることを決定するステップと、
前記現在のビデオ領域に対する少なくとも1つの第1フィルタリングインデックスを導出し、かつ、前記少なくとも1つの第1フィルタリングインデックスに基づいて、1つ以上の第1フィルタリングパラメータを取得するステップと、
前記少なくとも1つの第1フィルタリングインデックスに基づいて、クリッピングパラメータセットから1つ以上の第1クリッピングパラメータを導出するステップと、
前記1つ以上の第1フィルタリングパラメータに基づいて、前記非線形適応ループフィルタリング動作の一部であるクリッピング動作を実行するステップであり、
前記1つ以上の第1フィルタリングパラメータは、現在のビデオ領域の現在のサンプル値の参照サンプル値と、前記1つ以上の第1フィルタリングパラメータを適用する前の前記現在のサンプル値との間の差異をクリップするために使用される、
ステップと、
前記非線形適応ループフィルタリング動作に基づいて、前記現在のビデオ領域と前記ビデオのビットストリームとの間で変換を実行するステップと、
を含む、方法。 - 前記クリッピングパラメータセットは、ビット深度、および、前記ビットストリーム内のフィールドと関連付けられているクリッピングインデックスに基づいて構成されている、
請求項1に記載の方法。 - 前記クリッピングパラメータセットに対して、所定のクリッピングインデックスの所与の値の下で、異なるクリッピングパラメータ値が、異なるビット深度に対して使用される、
請求項2記載の方法。 - 所与のビット深度に対する第1クリッピングインデックスに対応する第1クリッピングパラメータ値は、別のビット深度に対する前記第1クリッピングインデックスに対応する第2クリッピングパラメータ値に基づいて導出され、かつ、
前記第1クリッピングパラメータ値は、前記第2クリッピングパラメータ値にシフト動作を適用することに基づいて導出される、
請求項2または3に記載の方法。 - 前記少なくとも1つの第1フィルタリングインデックスは、異なる方向における複数のサンプルの差異に基づいて導出され、
前記現在のビデオ領域は、複数のM×M個のビデオ領域へ分割され、
異なる方向における前記複数のサンプルの差異は、M×M個のビデオサブ領域毎に導出され、
Mは、2または4に等しく、かつ、前記現在のビデオ領域は、コーディングツリーブロックまたはスライスであり、
異なる方向における前記複数のサンプルの差異は、1:Nのサブサンプリングレートに基づいて導出され、
Nは、1より大きい、
請求項1乃至4いずれか一項に記載の方法。 - 前記1つ以上の第1フィルタリングパラメータおよび前記1つ以上の第1クリッピングパラメータは、同一の適応パラメータセットの特定に基づいて導出される、
請求項1乃至5いずれか一項に記載の方法。 - 前記1つ以上の第1クリッピングパラメータは、前記ビットストリームに含まれる第1サイド情報および第1適応パラメータセット識別に基づいて導出され、かつ、
前記1つ以上の第1フィルタリングパラメータは、前記ビットストリームに含まれる第2サイド情報および前記第1適応パラメータセット識別に基づいて導出される、
請求項1乃至6いずれか一項に記載の方法。 - 前記第1適応パラメータセット識別に関連するデータ情報からの予測が、前記1つ以上の第1フィルタリングパラメータについて有効である場合には、前記第1適応パラメータセット識別に関連する前記データ情報も、また、前記1つ以上の第1クリッピングパラメータを予測するために使用される、
請求項7に記載の方法。 - 前記現在のビデオ領域は、コーディングツリーユニット、コーディングツリーブロック、または、スライスである、
請求項1乃至8いずれか一項に記載の方法。 - 前記1つ以上の第1クリッピングパラメータは、さらに、前記現在のビデオ領域のビット深度値に基づいて導出される、
請求項1乃至9いずれか一項に記載の方法。 - 前記変換は、前記現在のビデオ領域を前記ビットストリームへと符号化することを含む、
請求項1乃至10いずれか一項に記載の方法。 - 前記変換は、前記ビットストリームから前記現在のビデオ領域を復号することを含む、
請求項1乃至10いずれか一項に記載の方法。 - ビデオデータを処理するための装置であって、
プロセッサ、および、命令を含む非一時的なメモリ、を含み、
前記プロセッサによって前記命令が実行されると、前記プロセッサに、
非線形適応ループフィルタリング動作がビデオの現在のビデオ領域に適用されることを決定し、
前記現在のビデオ領域に対する少なくとも1つの第1フィルタリングインデックスを導出し、かつ、前記少なくとも1つの第1フィルタリングインデックスに基づいて、1つ以上の第1フィルタリングパラメータを導出し、
前記少なくとも1つの第1フィルタリングインデックスに基づいて、クリッピングパラメータセットから1つ以上の第1クリッピングパラメータを導出し、
前記1つ以上の第1フィルタリングパラメータに基づいて、前記非線形適応ループフィルタリング動作の一部であるクリッピング動作を実行し、
前記1つ以上の第1フィルタリングパラメータは、現在のビデオ領域の現在のサンプル値の参照サンプル値と、前記1つ以上の第1フィルタリングパラメータを適用する前の前記現在のサンプル値との間の差異をクリップするために使用され、かつ、
前記非線形適応ループフィルタリング動作に基づいて、前記現在のビデオ領域と前記ビデオのビットストリームとの間で変換を実行する、
ようにさせる、
装置。 - 命令を保管する非一時的なコンピュータ読取り可能な記憶媒体であって、
プロセッサに、
非線形適応ループフィルタリング動作がビデオの現在のビデオ領域に適用されることを決定し、
前記現在のビデオ領域に対する少なくとも1つの第1フィルタリングインデックスを導出し、かつ、前記少なくとも1つの第1フィルタリングインデックスに基づいて、1つ以上の第1フィルタリングパラメータを導出し、
前記少なくとも1つの第1フィルタリングインデックスに基づいて、クリッピングパラメータセットから1つ以上の第1クリッピングパラメータを導出し、
前記1つ以上の第1フィルタリングパラメータに基づいて、前記非線形適応ループフィルタリング動作の一部であるクリッピング動作を実行し、
前記1つ以上の第1フィルタリングパラメータは、現在のビデオ領域の現在のサンプル値の参照サンプル値と、前記1つ以上の第1フィルタリングパラメータを適用する前の前記現在のサンプル値との間の差異をクリップするために使用され、かつ、
前記非線形適応ループフィルタリング動作に基づいて、前記現在のビデオ領域と前記ビデオのビットストリームとの間で変換を実行する、
ようにさせる、
非一時的なコンピュータ読取り可能な記憶媒体。 - ビデオのビットストリームを保管する方法であって、
前記方法は、
非線形適応ループフィルタリング動作がビデオの現在のビデオ領域に適用されることを決定するステップと、
前記現在のビデオ領域に対する少なくとも1つの第1フィルタリングインデックスを導出し、かつ、前記少なくとも1つの第1フィルタリングインデックスに基づいて、1つ以上の第1フィルタリングパラメータを取得するステップと、
前記少なくとも1つの第1フィルタリングインデックスに基づいて、クリッピングパラメータセットから1つ以上の第1クリッピングパラメータを導出するステップと、
前記1つ以上の第1フィルタリングパラメータに基づいて、前記非線形適応ループフィルタリング動作の一部であるクリッピング動作を実行するステップであり、
前記1つ以上の第1フィルタリングパラメータは、現在のビデオ領域の現在のサンプル値の参照サンプル値と、前記1つ以上の第1フィルタリングパラメータを適用する前の前記現在のサンプル値との間の差異をクリップするために使用される、
ステップと、
前記クリッピング動作に基づいて、前記ビデオのビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ読取り可能な記憶媒体に保管するステップと、
を含む、方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019079395 | 2019-03-24 | ||
CNPCT/CN2019/079395 | 2019-03-24 | ||
JP2021556952A JP7234406B2 (ja) | 2019-03-24 | 2020-03-24 | ビデオ処理における非線形適応ループフィルタリング |
PCT/CN2020/080827 WO2020192644A1 (en) | 2019-03-24 | 2020-03-24 | Nonlinear adaptive loop filtering in video processing |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021556952A Division JP7234406B2 (ja) | 2019-03-24 | 2020-03-24 | ビデオ処理における非線形適応ループフィルタリング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023059955A JP2023059955A (ja) | 2023-04-27 |
JP7490102B2 true JP7490102B2 (ja) | 2024-05-24 |
Family
ID=72609728
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021556952A Active JP7234406B2 (ja) | 2019-03-24 | 2020-03-24 | ビデオ処理における非線形適応ループフィルタリング |
JP2021556953A Active JP7233565B2 (ja) | 2019-03-24 | 2020-03-24 | ビデオ処理におけるマルチパラメータ適応ループフィルタリング |
JP2023026362A Active JP7490102B2 (ja) | 2019-03-24 | 2023-02-22 | ビデオ処理における非線形適応ループフィルタリング |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021556952A Active JP7234406B2 (ja) | 2019-03-24 | 2020-03-24 | ビデオ処理における非線形適応ループフィルタリング |
JP2021556953A Active JP7233565B2 (ja) | 2019-03-24 | 2020-03-24 | ビデオ処理におけるマルチパラメータ適応ループフィルタリング |
Country Status (12)
Country | Link |
---|---|
US (3) | US11509941B2 (ja) |
EP (2) | EP3925215A4 (ja) |
JP (3) | JP7234406B2 (ja) |
KR (2) | KR20210139247A (ja) |
CN (4) | CN115243056A (ja) |
AU (1) | AU2020248837B2 (ja) |
BR (1) | BR112021018509A2 (ja) |
CA (1) | CA3134075A1 (ja) |
MX (1) | MX2021011247A (ja) |
SG (1) | SG11202110102YA (ja) |
WO (2) | WO2020192644A1 (ja) |
ZA (1) | ZA202106908B (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3925215A4 (en) | 2019-03-24 | 2022-08-17 | Beijing Bytedance Network Technology Co., Ltd. | ADAPTABLE MULTIPARAMETER LOOP FILTERING IN VIDEO PROCESSING |
US11368684B2 (en) * | 2019-04-23 | 2022-06-21 | Qualcomm Incorporated | Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters |
EP3963890A4 (en) | 2019-06-04 | 2022-11-02 | Beijing Bytedance Network Technology Co., Ltd. | BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION |
KR20220016839A (ko) | 2019-06-04 | 2022-02-10 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 기하학적 분할 모드 코딩을 갖는 모션 후보 리스트 |
CN111742552B (zh) * | 2019-06-25 | 2021-08-31 | 北京大学 | 环路滤波的方法与装置 |
JP7291846B2 (ja) | 2019-07-09 | 2023-06-15 | 北京字節跳動網絡技術有限公司 | 適応ループフィルタリングのためのサンプル決定 |
JP7291845B2 (ja) | 2019-07-11 | 2023-06-15 | 北京字節跳動網絡技術有限公司 | 適応ループフィルタリングにおけるサンプルパディング |
EP3984215A4 (en) | 2019-07-14 | 2022-08-24 | Beijing Bytedance Network Technology Co., Ltd. | TRANSFORM BLOCK SIZE RESTRICTION IN VIDEO CODING |
EP3984219A4 (en) | 2019-07-15 | 2022-08-17 | Beijing Bytedance Network Technology Co., Ltd. | CLASSIFICATION IN AN ADAPTIVE LOOP FILTERING |
WO2021051044A1 (en) | 2019-09-14 | 2021-03-18 | Bytedance Inc. | Quantization parameter offset for chroma deblocking filtering |
CN117294847A (zh) | 2019-09-18 | 2023-12-26 | 北京字节跳动网络技术有限公司 | 视频编解码中自适应环路滤波器的两部分信令 |
JP7318120B2 (ja) | 2019-09-22 | 2023-07-31 | 北京字節跳動網絡技術有限公司 | 適応ループフィルタリングにおけるパディングプロセス |
CN117834924A (zh) | 2019-09-27 | 2024-04-05 | 北京字节跳动网络技术有限公司 | 不同视频单元之间的自适应环路滤波 |
WO2021057996A1 (en) | 2019-09-28 | 2021-04-01 | Beijing Bytedance Network Technology Co., Ltd. | Geometric partitioning mode in video coding |
WO2021072177A1 (en) | 2019-10-09 | 2021-04-15 | Bytedance Inc. | Cross-component adaptive loop filtering in video coding |
WO2021068906A1 (en) | 2019-10-10 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Padding process at unavailable sample locations in adaptive loop filtering |
JP2022552338A (ja) | 2019-10-14 | 2022-12-15 | バイトダンス インコーポレイテッド | クロマ残差の共同コーディング及びビデオ処理におけるフィルタリング |
WO2021083257A1 (en) | 2019-10-29 | 2021-05-06 | Beijing Bytedance Network Technology Co., Ltd. | Cross-component adaptive loop filter |
EP4055827A4 (en) | 2019-12-09 | 2023-01-18 | ByteDance Inc. | USING QUANTIFICATION GROUPS IN VIDEO CODING |
KR20240006699A (ko) | 2019-12-11 | 2024-01-15 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 크로스 컴포넌트 적응적 루프 필터링을 위한 샘플 패딩 |
CN114902657A (zh) | 2019-12-31 | 2022-08-12 | 字节跳动有限公司 | 视频编解码中的自适应颜色变换 |
EP4173290A4 (en) | 2020-06-30 | 2024-01-10 | Beijing Bytedance Network Technology Co., Ltd. | BOUNDARY LOCATION FOR ADAPTIVE LOOP FILTERING |
US20220201315A1 (en) * | 2020-12-22 | 2022-06-23 | Qualcomm Incorporated | Multi-pass decoder-side motion vector refinement |
US11838522B2 (en) * | 2020-12-29 | 2023-12-05 | Tencent America LLC | Method and apparatus for video coding |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050119422A (ko) * | 2004-06-16 | 2005-12-21 | 삼성전자주식회사 | 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체 |
GB2421593B (en) * | 2004-12-22 | 2009-05-27 | Stephen Paul Maslen | Combined digital and analogue controller for servo control or open loop control system |
US8324953B1 (en) * | 2009-10-21 | 2012-12-04 | Vyycore Ltd. | Method and a system for signal processing |
US9094658B2 (en) | 2010-05-10 | 2015-07-28 | Mediatek Inc. | Method and apparatus of adaptive loop filtering |
CN103262532B (zh) * | 2010-07-19 | 2018-03-09 | 杜比实验室特许公司 | 用于经采样复用的图像和视频数据的增强方法 |
US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
US20140003527A1 (en) * | 2011-03-10 | 2014-01-02 | Dolby Laboratories Licensing Corporation | Bitdepth and Color Scalable Video Coding |
CN107172424B (zh) * | 2011-03-30 | 2020-04-14 | Lg 电子株式会社 | 环路滤波方法及其设备 |
ES2715782T3 (es) * | 2011-04-21 | 2019-06-06 | Hfi Innovation Inc | Procedimiento y aparato para un filtrado en bucle mejorado |
US20130107973A1 (en) | 2011-10-28 | 2013-05-02 | Qualcomm Incorporated | Loop filtering control over tile boundaries |
US9538200B2 (en) | 2012-01-19 | 2017-01-03 | Qualcomm Incorporated | Signaling of deblocking filter parameters in video coding |
KR101715784B1 (ko) | 2012-04-16 | 2017-03-13 | 노키아 테크놀로지스 오와이 | 비디오 코딩 방법 및 장치 |
WO2014007735A1 (en) | 2012-07-03 | 2014-01-09 | Telefonaktiebolaget L M Ericsson (Publ) | Controlling deblocking filtering |
WO2014015032A2 (en) | 2012-07-19 | 2014-01-23 | Cypress Semiconductor Corporation | Touchscreen data processing |
US9445130B2 (en) | 2013-01-09 | 2016-09-13 | Qualcomm Incorporated | Blockiness metric for large HEVC block artifacts |
US10412368B2 (en) | 2013-03-15 | 2019-09-10 | Uber Technologies, Inc. | Methods, systems, and apparatus for multi-sensory stereo vision for robotics |
KR20140116992A (ko) * | 2013-03-25 | 2014-10-07 | 삼성전자주식회사 | 외부 메모리 접근의 대역폭을 감소시키는 lcu단위의 인-루프 필터링 장치 및 방법 |
US9712834B2 (en) | 2013-10-01 | 2017-07-18 | Dolby Laboratories Licensing Corporation | Hardware efficient sparse FIR filtering in video codec |
US10158836B2 (en) * | 2015-01-30 | 2018-12-18 | Qualcomm Incorporated | Clipping for cross-component prediction and adaptive color transform for video coding |
US10057574B2 (en) | 2015-02-11 | 2018-08-21 | Qualcomm Incorporated | Coding tree unit (CTU) level adaptive loop filter (ALF) |
WO2016167538A1 (ko) | 2015-04-12 | 2016-10-20 | 엘지전자(주) | 비디오 신호의 인코딩, 디코딩 방법 및 그 장치 |
WO2017045101A1 (en) * | 2015-09-14 | 2017-03-23 | Mediatek Singapore Pte. Ltd. | Advanced deblocking filter in video coding |
US11563938B2 (en) | 2016-02-15 | 2023-01-24 | Qualcomm Incorporated | Geometric transforms for filters for video coding |
US20180041778A1 (en) | 2016-08-02 | 2018-02-08 | Qualcomm Incorporated | Geometry transformation-based adaptive loop filtering |
EP3297282A1 (en) | 2016-09-15 | 2018-03-21 | Thomson Licensing | Method and apparatus for video coding with adaptive clipping |
US20180091812A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Video compression system providing selection of deblocking filters parameters based on bit-depth of video data |
WO2018070914A1 (en) | 2016-10-12 | 2018-04-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Residual refinement of color components |
US10506230B2 (en) | 2017-01-04 | 2019-12-10 | Qualcomm Incorporated | Modified adaptive loop filter temporal prediction for temporal scalability support |
CN115174902A (zh) * | 2017-01-20 | 2022-10-11 | 世宗大学校产学协力团 | 影像解码方法、影像编码方法及比特流的生成方法 |
US10212456B2 (en) * | 2017-06-02 | 2019-02-19 | Apple Inc. | Deblocking filter for high dynamic range (HDR) video |
KR102580314B1 (ko) * | 2017-06-29 | 2023-09-19 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 통합된 이미지 정형 및 비디오 코딩 |
US10778974B2 (en) | 2017-07-05 | 2020-09-15 | Qualcomm Incorporated | Adaptive loop filter with enhanced classification methods |
CN117041536A (zh) | 2017-11-01 | 2023-11-10 | Vid拓展公司 | 用于简化视频译码中的自适应环路滤波器的方法 |
US10721469B2 (en) | 2017-11-28 | 2020-07-21 | Qualcomm Incorporated | Line buffer reduction for adaptive loop filtering in video coding |
US20190238845A1 (en) | 2018-01-26 | 2019-08-01 | Qualcomm Incorporated | Adaptive loop filtering on deblocking filter results in video coding |
US20190306502A1 (en) * | 2018-04-02 | 2019-10-03 | Qualcomm Incorporated | System and method for improved adaptive loop filtering |
CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
EP3925215A4 (en) | 2019-03-24 | 2022-08-17 | Beijing Bytedance Network Technology Co., Ltd. | ADAPTABLE MULTIPARAMETER LOOP FILTERING IN VIDEO PROCESSING |
-
2020
- 2020-03-24 EP EP20779943.8A patent/EP3925215A4/en active Pending
- 2020-03-24 EP EP20777266.6A patent/EP3925226A4/en active Pending
- 2020-03-24 CN CN202210787197.2A patent/CN115243056A/zh active Pending
- 2020-03-24 JP JP2021556952A patent/JP7234406B2/ja active Active
- 2020-03-24 SG SG11202110102YA patent/SG11202110102YA/en unknown
- 2020-03-24 CA CA3134075A patent/CA3134075A1/en active Pending
- 2020-03-24 AU AU2020248837A patent/AU2020248837B2/en active Active
- 2020-03-24 BR BR112021018509A patent/BR112021018509A2/pt unknown
- 2020-03-24 KR KR1020217028520A patent/KR20210139247A/ko not_active Application Discontinuation
- 2020-03-24 MX MX2021011247A patent/MX2021011247A/es unknown
- 2020-03-24 CN CN202080023970.7A patent/CN113632470A/zh active Pending
- 2020-03-24 KR KR1020217028519A patent/KR102606010B1/ko active IP Right Grant
- 2020-03-24 JP JP2021556953A patent/JP7233565B2/ja active Active
- 2020-03-24 CN CN202080023977.9A patent/CN113632490B/zh active Active
- 2020-03-24 CN CN202211573846.5A patent/CN115767107A/zh active Pending
- 2020-03-24 WO PCT/CN2020/080827 patent/WO2020192644A1/en unknown
- 2020-03-24 WO PCT/CN2020/080829 patent/WO2020192645A1/en unknown
-
2021
- 2021-06-22 US US17/354,282 patent/US11509941B2/en active Active
- 2021-06-22 US US17/354,250 patent/US11523140B2/en active Active
- 2021-09-17 ZA ZA2021/06908A patent/ZA202106908B/en unknown
-
2022
- 2022-12-06 US US18/075,999 patent/US12047610B2/en active Active
-
2023
- 2023-02-22 JP JP2023026362A patent/JP7490102B2/ja active Active
Non-Patent Citations (4)
Title |
---|
Jonathan Taquet, Christophe Gisquet, Guillaume Laroche, and Patrice Onno,Non-Linear Adaptive Loop Filter,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0385,13th Meeting: Marrakech, MA,2019年01月,pp.1-5 |
Jonathan Taquet, Patrice Onno, Christophe Gisquet, and Guillaume Laroche,CE5: Results of tests CE5-3.1 to CE5-3.4 on Non-Linear Adaptive Loop Filter.,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0242,14th Meeting: Geneva, CH,2019年03月19日,pp.1-10 |
Kyohei Unno, and Kei Kawamura,Non-CE5: A simplification of clipping thresholds for Non-Linear ALF,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0386-v2,15th Meeting: Gothenburg, SE,2019年07月,pp.1-6 |
Sergey Ikonin, Victor Stepin, and Elena Alshina,Non-CE5: Non-linear ALF simplifications,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0188-v2,15th Meeting: Gothenburg, SE,2019年07月,pp.1-9 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7490102B2 (ja) | ビデオ処理における非線形適応ループフィルタリング | |
WO2020200277A1 (en) | Adaptive loop filtering in video processing | |
WO2020211810A1 (en) | On adaptive loop filtering for video coding | |
JPWO2020192644A5 (ja) | ||
JPWO2020192645A5 (ja) | ||
CN112997500B (zh) | 对基于区域的自适应环路滤波器的改进 | |
US20240137573A1 (en) | Bilateral filter in video coding | |
RU2812618C2 (ru) | Нелинейная адаптивная контурная фильтрация при обработке видеоданных | |
US20240137505A1 (en) | Conditions for usage of adaptive bilateral filters | |
US20240137574A1 (en) | Adaptive bilateral filter in video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7490102 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |