JP7291845B2 - 適応ループフィルタリングにおけるサンプルパディング - Google Patents
適応ループフィルタリングにおけるサンプルパディング Download PDFInfo
- Publication number
- JP7291845B2 JP7291845B2 JP2022500803A JP2022500803A JP7291845B2 JP 7291845 B2 JP7291845 B2 JP 7291845B2 JP 2022500803 A JP2022500803 A JP 2022500803A JP 2022500803 A JP2022500803 A JP 2022500803A JP 7291845 B2 JP7291845 B2 JP 7291845B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- samples
- video
- current
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2019年7月11日付けで出願された国際特許出願第PCT/CN2019/095657号に対する優先権及びその利益を請求して2020年7月13日付けで出願された国際特許出願第PCT/CN2020/101589号に基づくものである。上記の全ての特許出願は、それらの全文を参照により本願に援用される。
本特許文献は、概して、ビデオ符号化及び復号化技術を対象とする。
本明細書は、ビデオ符号化技術に関係がある。具体的に、それは、特に非線形適応ループフィルタのためのピクチャ/スライス/タイル/ブリック境界および仮想境界コーディングに関係がある。それは、HEVCのような既存のビデオ符号化標準規格、又はまとめられるべき標準規格(VVC)に適用されてもよい。それはまた、将来のビデオ符号化標準規格又はビデオコーデックにも適用可能であり得る。
ビデオ符号化標準規格は、よく知られているITU-T及びISO/IEC標準規格の開発を通じて主に発展してきた。ITU-TはH.261及びH.263を作り出し、ISO/IECはMPEG-1及びMPEG-4 Visualを作り出し、2つの組織は共同でH.262/MPEG-2 Video及びH264/MPEG-4 Advanced Video Coding(AVC)及びH.265/HEVC標準規格を作り出した。H.262以降、ビデオ符号化標準規格は、時間予測に変換コーディングをプラスしたものが利用されるハイブリッド型ビデオ符号化構造に基づいている。HEVCを超える将来のビデオ符号化技術を探求するために、Joint Video Exploration Team(JVET)が2015年にVCEG及びMPEGによって共同で設立された。それ以降、多くの新しい手法は、JVETによって採用され、Joint Exploration Model(JEM)と呼ばれる参照ソフトウェアに置かれてきた。2018年4月に、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)との間で、JVETが、HEVCと比較して50%のビットレート低減を目標とするVVC標準規格を検討するために作られた。
カラーモデル(又はカラーシステム)としても知られている色空間は、数字の順序組(tuples)として、通常は、3又は4つの値又は色成分(例えば、RGB)として、色の範囲を簡単に記述する抽象数学モデルである。基本的には、色空間は、座標系及び部分空間の精緻化である。
3つのY’CbCt成分の夫々が同じサンプルレートを有しているので、クロマサブサンプリングは存在しない。このスキームは、ハイエンドのフィルムスキャナ及び映画のポストプロダクションで時々使用される。
2つのクロマ成分はルーマのサンプルレートの半分でサンプリングされ、水平クロマ解像度は半分になる。これは、圧縮されていないビデオ信号のバンド幅を3分の1に低減するが、視覚的な違いはほとんど全くない。
4:2:0では、水平サンプリングは4:1:1と比べて2倍になるが、Cb及びCrチャネルがこのスキームでは夫々交互のラインでしかサンプリングされないということで、水平解像度は半分になる。よって、データレートは同じである。Cb及びCrは、水平及び垂直方向の両方で夫々2倍でサブサンプリングされる。4:2:0スキームには3つのバリエーションがあり、水平方向及び垂直方向の配置が異なる。
ピクチャは、1つ以上のタイル行及び1つ以上のタイル列に分けられる。タイルは、ピクチャの長方形領域をカバーするCTUの連続である。
M×N(通常は、HEVC/VVCで定義されるように、MはNに等しい)によって示されるCTB/LCUサイズを仮定して、ピクチャ(あるいは、タイル若しくはスライス又は他の種類のタイプ)の境界(ピクチャ境界が例とされる)に位置しているCTBについて、K×Lのサンプルがピクチャ境界内にあり、このとき、K<M又はL<Nのどちらかである。図4A~4Cに表されているようなCTBについて、CTBサイズは依然としてM×Nに等しいが、CTBの下境界/右境界はピクチャの外にある。
図5は、3つのインループフィルタリングブロック、つまり、デブロッキングフィルタ(DF)、サンプル適応オフセット(SAO)、及びALDを含む、VVCのエンコーダブロック図の例を示す。予め定義されたフィルタを使用するDFとは異なり、SAO及びALFは、オフセット及びフィルタ係数を通知するコード化されたサイド情報を用いて、夫々、オフセットを加えることによって、及び有限インパルス応答(FIR)フィルタを適用することによって、現在のピクチャの元のサンプルと再構成されたサンプルとの間の平均二乗誤差を低減するように、現在のピクチャの元のサンプルを利用する。ALFは、各ピクチャの最後の処理段に位置し、前の段で生じたアーチファクトを捕捉及び修正しようと試みるツールと見なせる。
DBの入力は、インループフィルタ前の再構成されたサンプルである。
フィルタリングは8×8ブロック境界に適用される。更に、それは、変換ブロック境界又はコーディングサブブロック境界であるべきである(例えば、アフィン動き予測、ATMVPの利用による)。そのような境界ではないものについては、フィルタは無効にされる。
変換ブロック境界/コーディングサブブロック境界については、それが8×8グリッドに位置している場合に、フィルタリングされてもよく、このエッジに対するbS[xDi][yDj](ここで、[xDi][yDj]は座標を表す)の設定は、表1及び表2で夫々定義される。
このサブセクションでは、デブロッキング決定プロセスが記載される。
bSidePisLargeBlk=((エッジタイプが垂直であり、p0が幅>=32であるCUに属する)||(エッジタイプが水平であり、p0が高さ>=32であるCUに属する))? TRUE:FALSE
bSideQisLargeBlk=((エッジタイプが垂直であり、q0が幅>=32であるCUに属する)||(エッジタイプが水平であり、q0が高さ>=32であるCUに属する))?TRUE:FALSE
条件1=(bSidePisLargeBlk||bSideQisLargeBlk)?TRUE:FALSE
- dp0、dp3、dq0、dq3が、HEVCで見られるように、最初に導出される
- if(pサイドが32以上である)
dp0=(dp0+Abs(p50-2×p40+p30)+1)>>1
dp3=(dp3+Abs(p53-2×p43+p33)+1)>>1
- if(qサイドが32以上である)
dq0=(dq0+Abs(q50-2×q40+q30)+1)>>1
dq3=(dq3+Abs(q53-2×q43+q33)+1)>>1
条件2=(d<β)?TRUE:FALSE
このとき、d=dp0+dq0+dp3+dq3である。
dpqが、HEVCで見られるように、導出される。
HEVCで見られるように導出されたsp3=Abs(p3-p0)
if(pサイドが32以上である)
if(Sp==5)
sp3=(sp3+Abs(p5-p3)+1)>>1
else
sp3=(sp3+Abs(p7-p3)+1)>>1
HEVCで見られるように導出されたsq3=Abs(q0-q3)
if(qサイドが32以上である)
if(Sp==5)
sq3=(sq3+Abs(q5-q3)+1)>>1
else
sq3=(sq3+Abs(q7-q3)+1)>>1
境界のどちらか一方の側のサンプルが大きいブロックに属する場合に、双線形フィルタが使用される。大きいブロックに属するサンプルは、垂直エッジについては、幅>=32である場合、及び水平エッジについては、高さ>=32である場合として定義される。
pi’=(fi*Middles,t+(64-fi)*PS+32)>>6),pi±tcPDiにクリップされる
qj’=(gj*Middles,t+(64-gj)*QS+32)>>6),qj±tcPDjにクリップされる
ここで、tcPDi及びtcPDjの項は、セクション2.4.7で記載される位置依存のクリッピングであり、gj、fi、Middles,t、PS、及びQSは、以下で与えられる。
クロマ強フィルタは、ブロック境界の両側で使用される。ここで、クロマフィルタは、クロマエッジの両側が8(クロマ位置)以上であり、3つの条件による次の決定が満足される場合に選択される。第1の条件は、境界強さ及び大きいブロックの決定に関する。提案されているフィルタは、ブロックエッジを直角に横断するブロック幅又は高さがクロマサンプル領域で8以上である場合に、適用され得る。第2及び第3の条件は、基本的に、HEVCルーマデブロッキング決定の場合と同じであり、夫々、オン/オフ決定及び強フィルタ決定である。
次いで、dが、HEVCルーマデブロッキングで見られるように導出される。
dpqが、HEVCで見られるように、導出される。
HEVCで見られるように導出されたsp3=Abs(p3-p0)
HEVCで見られるように導出されたsq3=Abs(q0-q3)
クロマのための次の強デブロッキングフィルタが定義される:
p2’=(3×p3+2×p2+p1+p0+q0+4)>>3
p1’=(2×p3+p2+2×p1+p0+q0+q1+4)>>3
p0’=(p3+p2+p1+2×p0+q0+q1+q2+4)>>3
位置依存のクリッピングtcPDは、境界にある7、5、及び3個のサンプルを変更するものである強くかつ長いフィルタを用いるルーマフィルタリングプロセスの出力サンプルに適用される。量子化誤差分布を仮定すると、より高い量子化ノイズを有すると予想される、従って、真のサンプル値からの再構成されたサンプル値のより高い偏差を有すると予想される、サンプルのクリッピング値を増加させることが提案される。
Tc7={6,5,4,3,2,1,1};Tc3={6,4,2};
tcPD=(Sp==3)?Tc3:Tc7;
tcQD=(Sq==3)?Tc3:Tc7;
Tc3={3,2,1};
p”i=Clip3(p’i+tcPi,p’i-tcPi,p’i);
q”j=Clip3(q’j+tcQj,q’j-tcQj,q’j);
ここで、p’i及びq’jは、フィルタリングされたサンプル値であり、p”i及びq”jは、クリッピング後の出力サンプル値であり、tcPi及びtcQjは、VVCのtcパラメータ並びにtcPD及びtcQDから導出されるクリッピング閾値である。関数Clip3は、VVCで定められているクリッピング関数である。
長いフィルタ及びサブブロックデブロッキングの両方を使用して並列フレンドリデブロッキングを可能にするために、長いフィルタは、長いフィルタについてルーマ制御で示されるように、サブブロックデブロッキング(AFFINE又はATMVP又はDMVR)を使用する側で多くても5つのサンプルしか変更しないよう制限される。更に、サブブロックデブロッキングは、CU又は暗黙的なTU境界に近い8×8グリッド上のサブブロック境界が夫々の側で多くても2つのサンプルしか変更しないよう制限されるように、調整される。
SAOの入力は、DB後の再構成されたサンプルである。SAOの概念は、最初に領域サンプルを、選択された分類子を用いて複数のカテゴリに分類し、カテゴリごとにオフセットを取得し、それからそのオフセットをカテゴリの各サンプルに加えることによって、領域の平均サンプル歪みを低減することであり、ここで、領域の分類子インデックス及びオフセットはビットストリームでコード化される。HEVC及びVVCでは、領域(SAOパラメータシグナリングのためのユニット)は、CTUであるよう定義される。
DBの入力は、DB及びSAOの後の再構成されたサンプルである。サンプル分類及びフィルタリングプロセスは、DB及びSAOの後の再構成されたサンプルに基づく。
いくつかの実施形態において、最大3つのダイヤモンドフィルタ形状(図9に図示)がルーマ成分のために選択され得る。インデックスは、ルーマ成分に使用されるフィルタ形状を示すようピクチャレベルで通知される。各正方形はサンプルを表し、Ci(iは0~6(左)、0~12(中央)、0~20(右)である)は、サンプルに適用される係数を表す。ピクチャのクロマ成分については、5×5ダイヤモンド形状が常に使用される。
図10は、5×5ダイヤモンドフィルタサポートのための相対座標を示す(左:対角、中央:垂直フリップ、右:回転)。
対角、垂直フリップ、及び回転を含む3つの幾何変換が導入される:
いくつかの実施形態において、GALFフィルタパラメータは、最初のCTUについて、例えば、スライスヘッダの後かつ最初のCTUのSAOパラメータの前に、通知される。最大25組のルーマフィルタ係数が通知され得る。ビットオーバヘッドを低減するために、異なる分類のフィルタ係数がマージされ得る。また、参照ピクチャのGALF係数は記憶されて、現在のピクチャのGALF係数として再利用することを可能にされる。現在のピクチャは、参照ピクチャについて記憶されたGALF係数を使用することを選択し、GALF係数シグナリングをバイパスしてもよい。この場合に、参照ピクチャの1つへのインデックスのみが通知され、指示された参照ピクチャの記憶されているGALF係数が現在のピクチャに受け継がれる。
デコーダ側で、GALFがブロックに有効にされる場合に、そのブロック内の各サンプルR(i,j)はフィルタリングされ、以下で示されるサンプル値R’(i,j)が得られる。ここで、Lは、フィルタ長さを表し、fm,nは、フィルタ係数を表し、f(k、l)は、デコードされたフィルタ係数を表す。
2.7.1 例となるGALF
いくつかの実施形態において、適応ループフィルタのフィルタリングプロセスは、次のように実行される:
(1)適応フィルタ形状は削除される。7×7フィルタ形状のみがルーマ成分に認められ、5×5フィルタがクロマ成分に認められる。
(2)スライス/画像レベルからCTUレベルに移動されたALFパラメータのシグナリング。
(3)クラスインデックスの計算は2×2ではなく4×4レベルで実行される。加えて、いくつかの実施形態において、ALF分類のためのサブサンプリングされたラプラシアン計算法が利用される。より具体的には、1つのブロック内の各サンプルについて水平/垂直/45°対角/135°対角の各勾配を計算することは不要である。代わりに、1:2サブサンプリングが利用される。
2.8.1 フィルタリングの再定式化
式(11)は、次の式で、コーディング効率に影響を及ぼさずに、再定式化され得る:
ハードウェア及び組み込みソフトウェアで、ピクチャベースの処理は、その高いピクチャバッファ要件のために、実際には受け入れられない。オンチップのピクチャバッファの仕様は、非常に高価であり、オフチップのピクチャバッファの使用は、外部メモリアクセス、電力消費量、及びデータアクセスレイテンシを大幅に増大させる。従って、DF、SAO、及びALFは、実際の製品ではピクチャベースからLCUベースの復号化に変更される。LCUベースの処理がDF、SAO、及びALFに使用される場合に、復号化プロセス全体が、複数のLCUの並列処理のためにLCUパイプライン方式によりラスタスキャンでLCUごとに行われ得る。この場合に、1つのLCU行の処理に上部LCU行からのピクセルが必要とされるので、DF、SAO、及びALFのためにラインバッファが必要とされる。オフチップのラインバッファ(例えば、DRAM)が使用される場合には、外部メモリバンド幅及び電力消費量が増える。オンチップのラインバッファ(例えば、SRAM)が使用される場合には、チップ面積が増える。従って、ラインバッファはピクチャバッファよりも既にずっと小さいが、依然として、ラインバッファを低減することが望まれている。
- ラインK~N(水平DFピクセル):4ライン
- ラインD~J(SAOフィルタリングされたピクセル):7ライン
- ラインJとラインKとの間のSAOエッジオフセット分類子の値:0.25ライン。
図15A~15Bは、仮想境界がCTU境界より4ライン上にある(N=4)場合の変更されたブロック分類を表す。図15Aに表されているように、4×4ブロックがラインGから始まる場合に、ブロック分類はラインEからJまでのみを使用する。しかし、ラインJに属するサンプルのラプラシアン勾配計算は、もう一つ下のライン(ラインK)を必要とする。従って、ラインKはラインJでパディングされる。
図16A~16Cに表されているように、フィルタの切り捨てられたバージョン(truncated version)は、仮想境界に近いラインに属するルーマサンプルのフィルタリングのために使用される。図16Aを例とすると、図13に表されているラインMをフィルタリングするときに、例えば、7×7ダイヤモンドの中央のサンプルがラインMにあり、VB(太線で表される)の上にある1つのラインにアクセスする必要がある。この場合に、VBの上のサンプルは、VBの直ぐ下のサンプルからコピーされる。例えば、実線のP0サンプルが、上の破線の位置にコピーされる。対称的に、実線のP3サンプルも、破線の位置のサンプルが利用可能であっても、その破線の位置の直ぐ下にコピーされる。コピーされたサンプルは、ルーマフィルタリングプロセスでのみ使用される。
非線形ALFがCTBについて無効にされる場合に、例えば、式(14)のクリッピングパラメータk(i,j)は1に等しく(1<<Bitdepth)、パディングプロセスは、フィルタ係数を変更することによって置換され得る(別名、変更された係数に基づいたALF(modified-coeff based ALF,MALF))。例えば、ラインL/Iのサンプルをフィルタリングするとき、フィルタ係数c5はc5’に変更され、この場合に、ルーマサンプルを実線P0Aから破線P0Aへ及び実線P3Bから破線P3Bへコピーすることは不要である。この場合に、両側パディング及びMALFは、フィルタリングされるべき現在のサンプルが(x,y)に位置していると仮定すると、同じ結果をもたらすことになる。
現在のVVC設計に従って、1つのCTBの下境界がスライス/ブリックの下境界である場合に、ALF仮想境界処理方法は無効にされる。例えば、1つのピクチャは、図19に表されているように、2つのCTU及び2つのスライスに分割される。
- CTBの下境界がピクチャの下境界である(例えば、CTU-D)場合に、それは、上のCTU行からの4ライン及び現在のCTU内の全ラインを含む(M+4)×Mブロックを処理する。
- そうでない場合に、CTBの下境界がスライス(又はブリック)の下境界であり(例えば、CTU-C)、loop_filter_across_slice_enabled_flag(又はloop_filter_across_bricks_enabled_flag)が0に等しいならば、それは、上のCTU行からの4ライン及び現在のCTU内の全ラインを含む(M+4)×Mブロックを処理する。
- そうでない場合に、CTU/CTBがスライス/ブリック/タイル内の最初のCTU行内にある(例えば、CTU-A)ならば、それは、最後の4ラインを除くM×(M-4)ブロックを処理する。
- そうでない場合に、CTU。CTBがスライス/ブリック/タイルの最初のCTU行内になく(例えば、CTU-B)、スライス/ブリック/タイルの最後のCTU行内にないならば、それは、上のCTU行からの4ラインを含み、現在のCTU内の最後の4ラインを除くM×Mブロックを処理する。
VTM5における水平ラップアラウンド(wrap around)動き補償は、正距円筒図法(qui-rectangular,ERP)投影フォーマットでの再構成された360度ビデオの視覚品質を改善するよう設計された360固有コーディングツールである、従来の動き補償では、動きベクトルが参照ピクチャのピクチャ境界を越えるサンプルを参照する場合に、繰り返しパディングを適用して、対応するピクチャ境界上の最近傍からコピーすることにより、範囲外のサンプルの値を導き出す。360度ビデオについては、繰り返しパディングのこの方法は適切ではなく、再構成されたビューポートビデオで「シームアーチファクト」(seam artifacts)と呼ばれる視覚アーチファクトを引き起こす可能性がある。360度ビデオは球体で捕捉され、本質的に「境界」がないため、投影領域において参照ピクチャの境界の外にある参照サンプルは、球形の領域内の隣接するサンプルから常に取得され得る。一般的な投影フォーマットについては、2Dから3D及び3Dから2Dの座標変換、並びに分数サンプル位置のサンプル補間が必要とであるから、球形の領域で対応する隣接サンプルを導出するのは難しい場合がある。この問題は、ERP投影フォーマットの左右の境界についてははるかに単純である。これは、左側の画像境界の外側の球形の隣接物が右側の画像境界の内側のサンプルから取得可能であり、その逆も同様であるからである。
いくつかの実施形態において、次の特徴が含まれる:
1)ピクチャはサブピクチャに分割され得る。
2)サブピクチャの存在の指示は、サブピクチャの他のシーケンスレベル情報とともに、SPSで示される。
3)サブピクチャが復号化プロセス(インループフィルタリング動作を除く)でピクチャとして扱われるかどうかは、ビットストリームによって制御可能である。
4)サブピクチャ境界にわたるインループフィルタリングが無効にされるかどうかは、サブピクチャごとにビットストリームによって制御可能である。DBF、SAO、及びALFプロセスは、サブピクチャ境界にわたるインループフィルタリング動作の制御のために更新される。
5)簡単のために、開始点として、サブピクチャの幅、高さ、水平オフセット、及び垂直オフセットが、SPSでルーマサンプルの単位で通知される。サブピクチャ境界は、スライス境界であるよう制約される。
6)復号化プロセス(インループフィルタリング動作を除く)でピクチャとしてサブピクチャを扱うことは、coding_tree_unit( )シンタックスをわずかに更新することによって指定され、次の復号化プロセスに更新する:
○(高度(advanced))時間ルーマ動きベクトル予測のための導出プロセス
○ルーマサンプル双線形補間プロセス
○ルーマサンプル8-タップ補間フィルタリングプロセス
○クロマサンプル補間プロセス
7)サブピクチャIDはSPSで明示的に指定され、タイルグループヘッダに含まれて、VCL NALユニットを変更する必要なしにサブピクチャシーケンスの抽出を可能にする。
現在のVVC設計には、次の問題がある。
a.デコーダがスライス/ブリック/タイル境界を前もって知らない(遅延アプリケーションなど)場合に、ALFラインバッファはリストアされる必要がある。ラインバッファ内の内容がALFフィルタリングに使用されるか否かは、現在のCTUがスライス/ブリック/タイル境界CTUであるかどうかに依存する。しかし、この情報は、次のスライス/ブリック/タイルがデコードされるまで未知である。
b.デコーダがスライス/ブリック/タイル境界を前もって知っている場合に、デコーダは、パイプラインバブルを甘受するか(ほとんどない)、あるいは、ALFラインバッファの使用を回避するために、64×64VDPUごとに68ラインの速度で常にALFを実行するか、のどちらかが必要である。
a.一例で、ブロックの下境界が360度仮想境界であり、ALF仮想境界もこのブロックに適用されるならば、この場合に、360度仮想境界のパディング方法が最初に、360度仮想境界より下に仮想サンプルを生成するために適用され得る。その後に、360度仮想境界より下に位置しているこれらの仮想サンプルは、利用可能であるとして扱われる。そして、ALF両側パディング方法が図16A~Cに従って更に適用され得る。例は図25に表されている。
以下の列挙は、一般概念を説明するための例と見なされるべきである。挙げられている技術は、狭い意味で解釈されるべきではない。更に、これらの技術はどのように組み合わされてもよい。
a.代替的に、更に、この場合に、ALF仮想境界処理方法は無効にされ得る。
a.一例で、applyVirtualBoundaryは、所与のCTU/CTBサイズについて、例えば、K×L(例えば、K=L=4)に等しいCTU/CTBサイズについて、常に偽にセットされる。
b.一例で、applyVirtualBoundaryは、K×L(例えば、K=L=8)以下又はそれよりも小さいCTU/CTBサイズについて、常に偽にセットされる。
c.代替的に、ALFは、4×4、8×8などの特定のCTU/CTBサイズについて、無効にされる。
a.一例で、ALF仮想境界処理方法は、CTBの下境界がビデオユニットの境界又は仮想境界である場合に、コーディングツリーブロック(CTB)について有効にされ得る(例えば、applyVirtualBoundaryは真にセットされる)。
i.代替的に、更に、下境界が下側ピクチャ境界でない場合に、又は下境界がピクチャの外にある場合に、上記の方法は有効にされる。
b.現在のコーディングツリーブロックの下境界がピクチャの下側仮想境界の1つであり、pps_loop_filter_across_virtual_boundaries_disabled_flagが1に等しい場合に、ALF仮想境界処理方法は依然として有効にされ得る(例えば、applyVirtualBoundaryは真にセットされる)。
c.一例で、CTBに対してALF仮想境界処理方法(applyVirtualBoundaryの値)を有効にすべきかどうかは、CTBの下境界とピクチャの下境界との間の関係にのみ依存し得る。
i.一例で、applyVirtualBoundaryは、CTBの下境界が、CTBを含むピクチャの下境界である場合又は下境界がピクチャの外にある場合にのみ、偽にセットされる。
ii.一例で、applyVirtualBoundaryは、CTBの下境界が、CTBを含むピクチャの下境界ではない場合に、真にセットされる。
d.一例で、図18A~18CのCTU-Cをデコードするときに、M×Mサンプルは、仮想境界の下にあるK個のラインを除いて、上のCTUからのK個のラインでフィルタリングされ得る。
a.代替的に、更に、通知されたloop_filter_across_bricks_enabled_flag/loop_filter_across_slices_enabled_flagは、ALFを除いた、デブロッキングフィルタ及びSAOのフィルタリングプロセスのみを制御し得る。
b.一例で、仮想サンプルは、他のサンプルに対してALFを行うよう、対応する位置にある再構成されたサンプルの代わりに使用され得る。
a.代替的に、更に、仮想境界の方法(例えば、両側パディング方法)は、インループフィルタリングのための境界にあるサンプルを処理するためにブロックに適用され得る。
b.代替的に、更に、上記の方法は、ブロックがビデオユニットの下境界に位置しているサンプルを含む場合に適用され得る。
c.一例で、1つのブロックのK個のラインをデコードする場合に、K個のラインがブロックの仮想境界の下にあり(例えば、図17A~17BのCTU-Bでの最後のK個のライン)、ブロックの下境界がビデオユニットの下境界であるならば、仮想サンプルは、これらK個のラインの外にある他のサンプルの利用を回避するためにALF分類/フィルタリングプロセスで生成され得る。例えば、両側パディング方法が適用され得る。
d.一例で、1つのブロックが複数の境界にる場合に、ALF分類に使用されるピクセル/サンプルは、これら複数の境界のいずれも横断しないように制限され得る。
i.一例で、あるサンプルについて、その特定の隣接サンプルが「利用可能である」(複数の境界のいずれかを横切る)場合に、1つ又は全ての種類の傾き/方向性がそのサンプルに対して計算され得ない。
1.一例で、サンプルの傾きはゼロとして扱われ得る。
2.一例で、サンプルの傾きは「利用不可能」であるとして扱われてよく、ALF分類プロセスで導出された活動(例えば、セクション2.6.1.1の式(8)で定義される)に加えられなくてもよい。
ii.一例で、ALF分類プロセスで導出された活動/方向性は、ALF分類プロセスで使用される部分的なサンプルのみが「利用可能である」(例えば、それらの境界のいずれも横切らない)場合に、係数によってスケーリングされ得る。
iii.一例で、境界ブロックについては、傾き/方向性がALF分類プロセスでN個のサンプルに対して計算される必要があり、傾きがM個のサンプルに対してのみ計算され得ると仮定して(例えば、サンプルの特定の隣接サンプルが「利用不可能」である場合に、傾きはそれに対して計算され得ない)、活動はN/Mを乗じられ得る。
1.代替的に、それは。N/Mに依存した係数を乗じられてもよい。例えば、数は、MN(Nは整数である)であってよく、例えば、M=2である。
e.一例で、1つのラインが複数の境界にある(例えば、ラインと境界との間の距離が閾値に満たない)場合に、パディングプロセスは、それがいくつの境界に属し得るかにかかわらず一度しか実行されない。
i.代替的に、更に、いくつの隣接ラインがパディングされるべきであるかは、全ての境界に対する現在のラインの位置に依存し得る。
ii.例えば、いくつの隣接ラインがパディングされるべきであるかは、例えば、現在のラインが2つの境界内にあり、その2つの境界が上及び下である場合に、現在のラインと2つの境界との間の距離によって決定され得る。
iii.例えば、いくつの隣接ラインがパディングされるべきであるかは、例えば、現在のラインが2つの境界内にあり、その2つの境界が上及び下である場合に、現在のラインと最も近い境界との間の距離によって決定され得る。
iv.例えば、いくつの隣接ラインがパディングされるべきであるかは、境界ごとに独立して計算されてもよく、最大である1つが、最終的にパディングされたライン数として選択される。
v.一例で、いくつの隣接ラインがパディングされるべきであるかは、ラインの各側(例えば、上側及び下側)について決定され得る。
vi.一例で、両側パディング方法については、いくつの隣接ラインがパディングされるべきであるかは、両側に対してまとめて決定され得る。
vii.代替的に、更に、ALFによって使用される両側パディング方法が適用される。
f.一例で、1つのラインが複数の境界にあり、ラインの各側(例えば、上側及び下側)について少なくとも1つの境界がある場合に、ALFはそれに対して無効にされ得る。
g.一例で、現在のラインによって必要とされるパディングされたラインの数が閾値よりも大きい場合に、ALFは現在のラインに対して無効にされ得る。
i.一例で、いずれかの側でのパディングされたラインの数が閾値よりも大きい場合に、ALFは現在のラインに対して無効にされ得る。
ii.一例で、両側でのパディングされたラインの総数が閾値よりも大きい場合に、ALFは現在のラインに対して無効にされ得る。
h.代替的に、更に、上記の方法は、ブロックがビデオユニットの下境界に位置しているサンプルを含み、ALFなどのインループフィルタリングがそのブロックに対して有効にされる場合に、適用され得る。
i.代替的に、更に、上記の方法は、特定の条件の下で、例えば、ブロックがビデオユニットの下境界に位置しているサンプルを含み、境界にわたるフィルタリングが認められない(例えば、pps_loop_filter_across_virtual_boundaries_disabled_flag/loop_filter_across_slices_enabled_flag/loop_filter_across_bricks_enabled_flagが真である)場合に、適用され得る。
j.提案されている方法は、垂直境界に位置しているサンプル/ブロックにも適用可能である。
a.一例で、サイドごとのパディングのためのラインの数は(M-min(D0,D1))にセットされる。
b.一例で、サイドごとのパディングのためのラインの数は(M-max(D0,D1))にセットされる。
c.上記の例について、D0、D1は、現在のラインと上側/下側境界との間の距離を表す。
d.上記の例について、Mは、ALF仮想境界が1つのCTUの下部からであるラインの数を表す。
a.一例で、種々の方法の選択は、フィルタリングされるサンプルの位置に依存し得る。
b.一例で、ビデオユニット(例えば、CTB)の下境界にあるサンプルは、それが他のサンプルのALFで使用される場合に、第1の方法により選択され得る。さもなれば(それが境界にない場合)、第2の方法が選択される。
a.一例で、ALF分類プロセスによって必要とされるサンプルがVPDU境界の外に、または仮想境界より下にある場合に、それは仮想サンプルで置換され得るか、あるいは、そのサンプルの分類結果は、利用可能なサンプルからのパディングなど、他のサンプルに関連付けられているものからコピーされ得る。
b.一例で、フィルタリングプロセスによって必要とされるサンプルがVPDU境界の外に、又は仮想境界より下にある場合に、それは、利用可能なサンプルからのパディングなど、仮想サンプルで置換され得る。
c.一例で、ALF仮想境界処理方法は、ブロックがVPDUの境界に位置しているサンプルを含む場合に、そのブロックに対して有効にされる(例えば、applyVirtualBoundaryは真にセットされる)。
d.代替的に、水平VPDU境界を横断するサンプルの利用は、フィルタリングプロセスで無効にされ得る。
i.一例で、フィルタリングプロセスによって必要とされるサンプルが水平VPDU境界より下に、又は仮想境界より下にある場合に、それは、利用可能なサンプルからのパディングなど、仮想サンプルで置換され得る。
e.代替的に、垂直VPDU境界を横断するサンプルの利用は、フィルタリングプロセスで無効にされ得る。
i.一例で、フィルタリングプロセスによって必要とされるサンプルが垂直VPDU境界の外に、又は仮想境界より下にある場合に、それは、利用可能なサンプルからのパディングなど、仮想サンプルで置換され得る。
a.代替的に、更に、両側パディングの概念は、全てのインループフィルタの前の再構成されたサンプルからのサンプルをパディングすることにより、適用される。
i.一例で、フィルタサポートにおけるサンプルが全てのインループフィルタの前の再構成されたサンプルからである場合に、フィルタサポートにおける対称(例えば、原点、例えば、現在のサンプルに関して対称)なサンプルも、全てのインループフィルタの前の再構成されたサンプルを使用すべきである。
1.フィルタリングされるべき現在のサンプルの座標が(0,0)であり、(i,j)に位置しているサンプルが全てのインループフィルタの前の再構成されたサンプルであると仮定して、その場合に、(-i,-j)に位置しているサンプルが、全てのインループフィルタの前の再構成されたサンプルである。
2.フィルタリングされるべき現在のサンプルの座標が(x,y)であり、(x+i,y+j)に位置しているサンプルが全てのインループフィルタの前の再構成されたサンプルであると仮定して、その場合に、(x-i,y-j)に位置しているサンプルが、全てのインループフィルタの前の再構成されたサンプルである。
b.代替的に、更に、インループ再成形(別名、LMCS)が有効にされる場合に、全てのインループフィルタの前の再構成されたサンプルは、再成形された領域から変換された元の領域内のサンプルである。
a.一例で、サンプルが上記の方法でパディングされる必要があると仮定して、パディングを実行する代わりに、そのサンプルに関連したフィルタ係数がゼロであるようセットされる。
i.この場合に、フィルタサポートは、パディングされる必要があるサンプルを除くことによって変更される。
ii.代替的に、更に、現在のサンプルを除く他のサンプルに適用されるフィルタ係数は変更されないままであるが、現在のサンプルに適用されるフィルタ係数は、((1<<C_BD)-パディングされる必要がないサンプルに適用される全てのフィルタ係数の和)のように変更され得る。ここで、C_BDは、はフィルタ係数のビットデプスを示す。
1.図18A~図18Bを例とすると、ラインL及びIをフィルタリングする場合に、現在のサンプルに適用されるフィルタ係数c12は、((1<<C_BD)-2×(c4+c5+c6+c7+c8+c9+c10+c11))であるよう変更される。
b.一例で、サンプル(x1,y1)が上記の方法で(x2,y2)からパディングされると仮定して、パディングを実行する代わりに、非線形フィルタが有効又は無効にされるかどうかにかかわらず、(x1,x2)に関連したフィルタ係数が位置(x2,y2)のそれに加えられる。
i.代替的に、更に、(x2,y2)のクリッピング係数はオン・ザ・フライで導出され得る。
1.一例で、それは、(x2,y2)のデコードされたクリッピングパラメータに等しくセットされ得る。
2.代替的に、それは、より大きい値又はより小さい値といった、(x1,y1)及び(x2,y2)のデコードされたクリッピングパラメータを入力とする関数の戻り値にセットされ得る。
a.一例で、異なるクリッピングパラメータ/フィルタ係数/フィルタサポートが、同じクラスインデックスを有しているサンプルに利用され得るが、それらのうちのいくつかについては、パディングされたサンプルにアクセスすることを必要とし、他はそうではない。
b.一例で、パディングされたサンプルにアクセスする必要があるサンプルのフィルタリングのためのクリッピングパラメータ/フィルタ係数/フィルタサポートは、CTU/領域/スライス/タイルレベルで通知され得る。
c.一例で、パディングされたサンプルにアクセスする必要があるサンプルのフィルタリングのためのクリッピングパラメータ/フィルタ係数/フィルタサポートは、パディングされたサンプルにアクセスする必要がないサンプルのフィルタリングのために使用されたものから導出され得る。
i.一例で、ビュレット9a又は9bが適用され得る。
a.例えば、「境界にある」との定義は、異なる色成分ごとに異なってもよい。一例で、ルーマサンプルは、それと下境界との間の距離がT1に満たない場合に、下境界にあり、クロマサンプルは、それと下境界との間の距離がT2に満たない場合に、下境界にある。T1及びT2は異なってもよい。
i.一例で、T1及びT2は、色フォーマットが4:4:4でない場合に異なってもよい。
a.一例で、第1のステップにおいて、スライス/タイル/ブリックのパディング方法(例えば、片側パディング)が最初に適用される。その後に、ALF仮想境界を扱うためのパディング方法(例えば、両側パディング方法)が、第2のステップの間に更に適用される。この場合に、第1のステップ後のパディングされたサンプルは、利用可能としてマークされ、ALF仮想境界プロセスでいくつのラインがパディングされるべきかを決定するために使用され得る。それらの境界に位置していないCTUを扱うための同じ規則(例えば、図16A~C)が利用される。
a.提案されている方法を適用する境界は水平境界であってよい。
b.提案されている方法を適用する境界は垂直境界であってよい。
a.一例で、「360仮想境界」がCTU境界と一致する場合に、提案されている方法は適用され得る。例えば、両側パディングのみが、「360仮想境界」にあるサンプルに対してALFで適用され得る。
b.一例で、「360仮想境界」がCTU境界と一致しない場合に、提案されている方法は適用され得ない。例えば、片側パディングのみが、「360仮想境界」にあるサンプルに対してALFで適用され得る。
c.一例で、複数の境界にあるサンプルについて、少なくとも1つの境界が「360仮想境界」であり、「360仮想境界」のうちの少なくとも1つがCTU境界と一致しない場合に、提案されている方法が適用され得ない。
i.例えば、それらの複数の境界のうちのいずれかを横断するサンプルは、片側パディングによってパディングされ得る。
1.代替的に、更に、「仮想境界」がある場合に、両側パディングは、片側パディング後にALFで適用され得る。
d.一例で、2種類の境界の間に位置しているサンプルについては、それらのうちの1つが「360仮想境界」であり、他はそうではない場合に、パディングは、ALFプロセスで一度だけ呼び出される。
i.一例で、ALF仮想境界を扱うパディング方法(例えば、両側パディング方法)が呼び出され得る。
1.代替的に、ピクチャ(又はスライス/タイル/ブリック/サブピクチャ)境界を扱うパディング方法(例えば、片側パディング)が呼び出され得る。
ii.代替的に、2つ又は複数のパディングプロセスが順番に適用され得る。
1.一例で、ピクチャ(又はスライス/タイル/ブリック/サブピクチャ)境界を扱うパディング方法(例えば、片側パディング)が最初に適用されてよく、その後に、ALF仮想境界を扱うパディング方法(例えば、両側パディング方法)が更に呼び出されてもよい。
a.代替的に、更に、最初のパディング後のパディングされたサンプルは、第2のパディングプロセスで利用可能である。
iii.一例で、2種類以上の境界(例えば、スライス境界/タイル境界/ブリック境界/「360仮想境界」/「ALF仮想境界」/サブピクチャ境界)の間に位置しているサンプルについては、境界のうちのただ1つのみが「360仮想境界」であり(図24に示されるように、例えば、第1の境界は「360仮想境界」である)、第2の境界が「ALF仮想境界」又はスライス/ブリック/タイル境界/サブピクチャ境界であり、あるいは、その逆である場合に、提案されている方法が適用され得る。例えば、両側パディングのみが、それらのサンプルに対してALFで適用され得る。
1.代替的に、これらの複数の種類の境界が「360仮想境界」又はピクチャ境界のどちらかである場合に、提案されている方法は適用され得ない。例えば、片側パディングのみが、それらのサンプルに対してALFで適用され得る。
e.一例で、2種類以上の境界の間に位置しているサンプルについて、境界のうちの少なくとも1つが「360仮想境界」であり、それがCTU境界と一致しない場合に、提案されている方法は適用され得ない。
i.この場合に、それは、「360仮想境界」でのみ、サンプルを扱う従来技術として扱われ得るが、他の種類の境界ではそうではない。
ii.一例で、片側パディングのみが、それらのサンプルに対してALFで適用され得る。
f.一例で、2種類以上の境界の間に位置しているサンプルについて、境界のうちの少なくとも1つが「360仮想境界」である場合に、提案されている方法は適用され得ない。
i.この場合に、それは、「360仮想境界」でのみ、サンプルを扱う従来技術として扱われ得るが、他の種類の境界ではそうではない。
ii.一例で、片側パディングのみが、それらのサンプルに対してALFで適用され得る。
a.一例で、「利用不可能」な参照サンプルは、その最も近い「利用可能」な水平位置に最初にクリップされてよく、それから、「利用不可能」な参照サンプルは、必要に応じて、その最も近い「利用可能」な垂直位置にクリップされる。
b.一例で、「利用不可能」な参照サンプルは、その最も近い「利用可能」な垂直位置に最初にクリップされてよく、それから、「利用不可能」な参照サンプルは、必要に応じて、その最も近い「利用可能」な水平位置にクリップされる。
c.一例で、「利用不可能」な参照サンプルの座標は、水平方向においてその最も近い「利用可能」なサンプル(例えば、最も小さい距離)の座標にクリップされる。
i.一例で、座標(x1,y1)及び(x2,y2)の2つのサンプルについては、それらの間の水平距離がAbs(x1-x2)と計算され得る。
d.一例で、「利用不可能」な参照サンプルの座標は、垂直方向においてその最も近い「利用可能」なサンプル(例えば、最も小さい距離)の座標にクリップされる。
i.一例で、座標(x1,y1)及び(x2,y2)の2つのサンプルについては、それらの間の垂直距離がAbs(y1-y2)と計算され得る。
e.一例で、「利用不可能」なサンプルは、その最も近い「利用可能」なサンプル(例えば、最小距離)にクリップされる。
i.一例で、座標(x1,y1)及び(x2,y2)の2つのサンプルについては、それらの間の距離が(x1-x2)×(x1-x2)+(y1-y2)×(y1-y2)と計算され得る。
ii.代替的に、2つのピクセル間の距離は、Abs(x1-x2)+Abs(y1-y2)と計算され得る。
f.代替的に、フィルタリングプロセスは、現在のサンプルについて無効にされる。
g.代替的に、ALFでの分類プロセス(例えば、現在のサンプルについての勾配計算)は、利用不可能な参照サンプルを使用することを認められない。
a.一例で、現在のCTUが如何なる種類の境界とも一致しないが、現在のサンプルのフィルタリングプロセス(例えば、ALF分類/ALFフィルタリングプロセス)が、異なるビデオユニット(例えば、スライス)内の参照サンプルにアクセスする必要がある場合に、ビュレット16で記載されている方法が適用され得る。
i.代替的に、更に、現在のCTUが如何なる種類の境界とも一致しないが、現在のサンプルのフィルタリングプロセス(例えば、ALF分類/ALFフィルタリングプロセス)が、異なるビデオユニット(例えば、スライス)内の参照サンプルにアクセスする必要があり、スライス境界を横断するフィルタリングが許されない場合に、ビュレット16で記載されている方法が適用され得る。
ii.代替的に、更に、現在のCTUが如何なる種類の境界とも一致しないが、現在のサンプルのフィルタリングプロセス(例えば、ALF分類/ALFフィルタリングプロセス)が、異なるビデオユニット(例えば、スライス)内の参照サンプル及び同じビデオユニット内の参照サンプルにアクセスする必要があり、スライス境界を横断するフィルタリングが許されない場合に、ビュレット16で記載されている方法が適用され得る。
b.一例で、現在のCTUが少なくとも1種類の境界と一致する場合に、統一されたパディング方法が適用され得る(例えば、両側又は片側パディング)。
i.代替的に、現在のCTUが複数の種類の境界と一致し、それらの境界を横断するフィルタリングが許されない場合に、統一されたパディング方法が適用され得る(例えば、両側又は片側パディング)。
c.一例で、両側パディング及び/又は片側パディングによってパディングされ得ない「利用不可能」なサンプルのみが、ビュレット16で記載されている方法を用いてパディングされ得る。
以下のセクションでは、開示されている技術のいくつかの実施形態に適合するようにVVC標準規格の現在のバージョンがどのように変更されているかのいくつかの例が、記載されている。新たに加えられた部分は、太字イタリック体の下線付きテキストで示されている。削除された部分は。[[]]を用いて示されている。
図21は、ピクチャ内のCTUの処理を示す。図19と比較した相違点は、破線で強調表示されている。
複数の種類の境界(例えば、スライス/ブリック境界、360度仮想境界)に位置するサンプルについては、パディングプロセスは一度しか呼び出されない。また、サイドごとにいくつのラインがパディングされるべきかは、境界に対する現在の差プルの位置に依存する。
CTUについては、それは如何なる境界(例えば、ピクチャ/スライス/タイル/ブリック/サブピクチャ境界)とも一致しない可能性がある。なお、それは現在のユニット(例えば、ピクチャ/スライス/タイル/ブリック/サブピクチャ)の外のサンプルにアクセスする必要があり得る。スライス境界を横断するフィルタリングが無効にされる(例えば、loop_filter_across_slices_enabled_flagが偽である)場合には、現在のユニットの外のサンプルをパディングする必要がある。
ビデオピクチャのビデオブロックとそのビットストリーム表現との間の変換を実行することを有し、
前記ビデオブロックは、コーディングツリーブロックの論理的なグループ分けを用いて処理され、前記コーディングツリーブロックは、下端コーディングツリーブロックの下境界がビデオピクチャの下境界の外にあるかどうかに基づき処理される、
方法。
前記コーディングツリーブロックを処理することは、前記コーディングツリーブロック内のサンプルを使用することによって前記コーディングツリーブロックのサンプル値の適応ループフィルタリングを実行することを含む、
方法。
前記コーディングツリーブロックを処理することは、仮想境界に従って前記コーディングツリーブロックを2つの部分に分けることを無効化することによって、前記コーディングツリーブロックのサンプル値の適応ループフィルタリングを実行することを含む、
方法。
4.ビデオ処理方法であって、
現在のビデオブロックのコーディングツリーブロックの条件に基づいて、インループフィルタリング中に仮想サンプルの使用状態を決定することと、
前記仮想サンプルの使用状態に従って前記ビデオブロックと該ビデオブロックのビットストリーム表現との間の変換を実行することと
を含む方法。
前記使用状態の論理的な真値は、前記現在のビデオブロックが仮想境界によって少なくとも2つの部分に分けられることを示し、1つの部分内のサンプルをフィルタリングすることは、他の部分からの情報を利用することを認められない、
方法。
前記使用状態の論理的な真値は、前記インループフィルタリング中に使用され、
前記インループフィルタリングは、前記現在のビデオブロックの再構成されたサンプルの変更された値を用いて実行される、
方法。
前記使用状態の論理的な偽値は、前記ブロック内のサンプルをフィルタリングすることが同じブロック内の情報を利用することを認められることを示す、
方法。
前記使用状態の論理的な真値は、前記インループフィルタリングが、前記現在のビデオブロックの再構成されたサンプルに対して、該再構成されたサンプルを更に変更せずに実行されることを示す、
方法。
前記条件は、前記コーディングツリーブロックが特定のサイズを有していることにより、前記使用状態を論理的な偽値にセットすることを指定する、
方法。
前記条件は、前記コーディングツリーブロックが特定のサイズよりも大きいサイズを有していることにより、前記使用状態を論理的な偽値にセットすることを指定する、
方法。
前記コーディングツリーブロックは特定のサイズよりも小さいサイズを有している、
方法。
前記条件は、前記現在のビデオブロックの下境界が、前記ビデオブロックよりも小さいビデオユニットの下境界であるか、あるいは、前記現在のビデオブロックの前記下境界が仮想境界であるかに依存する、
方法。
前記条件は、前記現在のビデオブロックの下境界がスライス又はタイル又はブリック境界の下境界であるかどうかに依存する、
方法。
前記条件は、前記現在のビデオブロックの下境界がスライス又はタイル又はブリック境界の下境界である場合に、前記使用状態を論理的な真値にセットすることを指定する、
方法。
前記条件は、前記現在のビデオブロックの下境界がピクチャ境界の下境界であるか、あるいは、ピクチャ境界の下境界の外側である場合に、前記使用状態を論理的な偽値にセットすることを指定する、
方法。
1つ以上のビデオスライス又はビデオブリックに論理的にグループ分けされるビデオピクチャと、該ビデオピクチャのビットストリーム表現との間の変換中に、適応ループフィルタプロセスにおける他のスライス又はブリック内のサンプルの使用を無効にすると決定することと、
前記決定することに従って前記変換を実行することと
を含む方法。
ビデオピクチャの現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換中に、前記現在のビデオブロックが前記ビデオピクチャのビデオユニットの境界に位置しているサンプルを含むことを決定することと、
前記決定することに基づいて前記変換を実行することと
を含み、
前記変換を実行することは、前記ビデオピクチャ内の全ての境界タイプについて同じである統一手法を用いてインループフィルタリングのための仮想サンプルを生成することを含む、
方法。
前記ビデオユニットは、スライス又はタイル又は360度ビデオである、
方法。
前記インループフィルタリングは適応ループフィルタリングを含む、
方法。
前記統一手法は両側パディング方法である、
方法。
前記統一手法では、第1のラインより下のサンプルにアクセスすることが許されず、パディングが前記第1のラインより下のサンプルのための仮想サンプルを生成するために利用される場合に、第2のラインより上のサンプルにアクセスすることも、許されないとセットされ、パディングは、前記第2のラインの上のサンプルのための仮想サンプルを生成するために利用される、
方法。
前記統一手法では、第1のラインの上のサンプルにアクセスすることが許されず、パディングが前記第1のラインの上のサンプルのための仮想サンプルを生成するために利用される場合に、第2のラインより下のサンプルにアクセスすることも、許されないとセットされ、パディングは、前記第2のラインより下のサンプルのための仮想サンプルを生成するために利用される、
方法。
前記第1ラインと、フィルタリングされるべき現在のサンプルが位置している現在のラインとの間の距離、及び前記第2のラインと前記第1のラインとの間の距離は、等しい、
方法。
ビデオピクチャの現在のビデオブロックとそのビットストリーム表現との間の変換中に、該変換中に前記ビデオピクチャに対して利用可能な複数の適応ループフィルタ(ALF)サンプル選択方法のうちの1つ適用すると決定することと、
前記複数のALFサンプル選択方法のうちの1つを適用することによって前記変換を実行することと
を含む方法。
前記複数のALFサンプル選択方法は、前記変換中に前記現在のビデオブロックにインループフィルタが適用される前にサンプルが選択される第1の方法と、前記変換中に前記現在のビデオブロックにインループフィルタが適用された後にサンプルが選択される第2の方法とを含む、
方法
境界規則に基づいて、ビデオピクチャの現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換中に前記現在のビデオブロックのサンプルに対してインループフィルタリング動作を実行することであり、前記境界規則は、前記ビデオピクチャの仮想パイプラインデータユニット(VPDU)を横断するサンプルを使用することを無効にする、ことと、
前記インループフィルタリング動作の結果を用いて前記変換を実行することと
を含む方法。
前記VPDUは、固定サイズを有している前記ビデオピクチャの領域に対応する、
方法。
前記境界規則は、無効にされたサンプルの代わりに前記インループフィルタリングのために仮想サンプルを使用することを更に指定する、
方法。
前記仮想サンプルは、パディングによって生成される、
方法。
境界規則に基づいて、ビデオピクチャの現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換中に前記現在のビデオブロックのサンプルに対してインループフィルタリング動作を実行することであり、前記境界規則は、ビデオユニット境界にわたる前記現在のビデオブロックの位置について、パディングを使用せずに生成されるサンプルを使用することを定める、ことと、
前記インループフィルタリング動作の結果を用いて前記変換を実行することと
を含む方法。
前記サンプルは、両側パディング方法を用いて生成される、
方法。
前記インループフィルタリング動作は、前記インループフィルタリング動作中に、対称に位置しているサンプルについて同じ仮想サンプル生成技術を使用することを有する、
方法。
前記現在のビデオブロックのサンプルに対する前記インループフィルタリング動作は、前記インループフィルタリングを適用する前に、前記現在のビデオブロックの前記サンプルの再成形を実行することを含む、
方法。
境界規則に基づいて、ビデオピクチャの現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換中に前記現在のビデオブロックのサンプルに対してインループフィルタリング動作を実行することであり、前記境界規則は、前記インループフィルタリング動作のために、インループフィルタリング中に使用される現在のビデオブロックのサンプルが前記ビデオピクチャのビデオユニットの境界を横断しないような大きさを有しているフィルタを選択することを定める、ことと、
前記インループフィルタリング動作の結果を用いて前記変換を実行することと
を含む方法。
境界規則に基づいて、ビデオピクチャの現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換中に前記現在のビデオブロックのサンプルに対してインループフィルタリング動作を実行することであり、前記境界規則は、前記インループフィルタリング動作のために、パディングされたサンプルがインループフィルタリングに必要とされるか否かに基づいてクリッピングパラメータ又はフィルタ係数を選択することを定める、ことと、
前記インループフィルタリング動作の結果を用いて前記変換を実行することと
を含む方法。
前記クリッピングパラメータ又はフィルタ係数は、前記ビットストリーム表現に含まれる、
方法。
境界規則に基づいて、ビデオピクチャの現在のビデオブロックと該現在のビデオブロックのビットストリーム表現との間の変換中に前記現在のビデオブロックのサンプルに対してインループフィルタリング動作を実行することであり、前記境界規則は、前記現在のビデオブロックの色成分識別に依存する、ことと、
前記インループフィルタリング動作の結果を用いて前記変換を実行することと
を含む方法。
前記境界規則は、ルーマ及び/又は異なる色成分について異なる、
方法。
前記変換は、前記現在のビデオブロックを前記ビットストリーム表現にエンコードすることを含む、
方法。
前記変換は、前記現在のビデオブロックのサンプル値を生成するよう前記ビットストリーム表現をデコードすることを含む、
方法。
前記コードは、プロセッサによる実行時に、該プロセッサに、解決法1乃至38のうちいずれか1つに記載される方法を実装させる、
コンピュータ可読媒体。
Claims (11)
- ビデオデータを処理する方法であって、
1つ以上のコーディングツリーブロックを含むビデオのピクチャと、前記ビデオのビットストリームとの間の変換のために、第1サンプルが現在のコーディングツリーブロックの現在のサンプルのスライスとは異なるスライスに位置しておりかつ第1フィルタリングプロセスでスライスにわたるサンプルが許されないという理由で、前記現在のサンプルに対する前記第1フィルタリングプロセスのための分類動作で前記第1サンプルが利用不可能であることを決定することであり、前記ピクチャの全てのスライスが長方形スライスである、前記決定することと、
前記第1サンプルのためにパディングプロセスを適用することであり、前記第1サンプルの値は、前記現在のサンプルの同じスライス内に位置している最も近い利用可能なサンプルである第2サンプルからパディングされ、前記第2サンプルの位置は、
前記第1サンプルの垂直座標が前記現在のサンプルの前記同じスライスの外にあることで前記第1サンプルが利用不可能であるときに、前記第1サンプルの前記垂直座標を、前記現在のサンプルの前記同じスライス内に位置している最も近い垂直位置である新しい垂直座標にクリップすることと、
前記第1サンプルの水平座標が前記現在のサンプルの前記同じスライスの外にあることで前記第1サンプルが利用不可能であるときに、前記第1サンプルの前記水平座標を、前記現在のサンプルの前記同じスライス内に位置している最も近い水平位置である新しい水平座標にクリップすることと
に基づき決定される、前記適用することと、
前記第2サンプルからパディングされた前記第1サンプルの前記値に基づき前記第1フィルタリングプロセスを適用することによって前記変換を実行することと
を有し、
前記第1フィルタリングプロセスは、
前記分類動作に基づいて前記現在のサンプルのフィルタリング係数セットを決定することと、
前記現在のサンプルのクリッピング値セットを決定することと、
前記フィルタリング係数セット及び前記クリッピング値セットに基づき前記現在のサンプルに対してフィルタを適用することと
を有する、方法。 - 前記第2サンプルからパディングされた前記第1サンプルの前記値は、前記分類動作で分類フィルタインデックスを決定するために使用され、前記現在のサンプルを含む4×4領域の前記分類フィルタインデックスは、前記4×4領域を含む10×10領域から計算された勾配に基づき導出される、
請求項1に記載の方法。 - 前記第2サンプルからパディングされた前記第1サンプルの前記値も、前記第1フィルタリングプロセスの前記フィルタで使用される、
請求項1又は2に記載の方法。 - 前記パディングプロセスは、前記現在のコーディングツリーブロックが、スライス境界ではない他の境界タイプと一致する場合に、一様な様態で適用される、
請求項1に記載の方法。 - 当該方法は、前記現在のコーディングツリーブロックの下境界と前記ピクチャの下境界との間の関係に基づいて、仮想境界が前記現在のコーディングツリーブロックに関して有効にされるかどうかを決定することを更に有する、
請求項1乃至4のうちいずれか一項に記載の方法。 - 前記仮想境界は、前記現在のコーディングツリーブロックの下境界が前記ピクチャの下境界ではない場合に有効にされる、
請求項5に記載の方法。 - 前記変換は、前記ビデオを前記ビットストリームにエンコードすることを含む、
請求項1乃至6のうちいずれか一項以上に記載の方法。 - 前記変換は、前記ビットストリームから前記ビデオをデコードすることを含む、
請求項1乃至6のうちいずれか一項以上に記載の方法。 - ビデオデータを処理する装置であって、
プロセッサと、命令を有している非一時的なメモリとを有し、
前記命令は、前記プロセッサによる実行時に、該プロセッサに、
1つ以上のコーディングツリーブロックを含むビデオのピクチャと、前記ビデオのビットストリームとの間の変換のために、第1サンプルが現在のコーディングツリーブロックの現在のサンプルのスライスとは異なるスライスに位置しておりかつ第1フィルタリングプロセスでスライスにわたるサンプルが許されないという理由で、前記現在のサンプルに対する前記第1フィルタリングプロセスのための分類動作で前記第1サンプルが利用不可能であることを決定することであり、前記ピクチャの全てのスライスが長方形スライスである、前記決定することと、
前記第1サンプルのためにパディングプロセスを適用することであり、前記第1サンプルの値は、前記現在のサンプルの同じスライス内に位置している最も近い利用可能なサンプルである第2サンプルからパディングされ、前記第2サンプルの位置は、
前記第1サンプルの垂直座標が前記現在のサンプルの前記同じスライスの外にあることで前記第1サンプルが利用不可能であるときに、前記第1サンプルの前記垂直座標を、前記現在のサンプルの前記同じスライス内に位置している最も近い垂直位置である新しい垂直座標にクリップすることと、
前記第1サンプルの水平座標が前記現在のサンプルの前記同じスライスの外にあることで前記第1サンプルが利用不可能であるときに、前記第1サンプルの前記水平座標を、前記現在のサンプルの前記同じスライス内に位置している最も近い水平位置である新しい水平座標にクリップすることと
に基づき決定される、前記適用することと、
前記第2サンプルからパディングされた前記第1サンプルの前記値に基づき前記第1フィルタリングプロセスを適用することによって前記変換を実行することと
を実行させ、
前記第1フィルタリングプロセスは、
前記分類動作に基づいて前記現在のサンプルのフィルタリング係数セットを決定することと、
前記現在のサンプルのクリッピング値セットを決定することと、
前記フィルタリング係数セット及び前記クリッピング値セットに基づき前記現在のサンプルに対してフィルタを適用することと
を有する、装置。 - プロセッサに、
1つ以上のコーディングツリーブロックを含むビデオのピクチャと、前記ビデオのビットストリームとの間の変換のために、第1サンプルが現在のコーディングツリーブロックの現在のサンプルのスライスとは異なるスライスに位置しておりかつ第1フィルタリングプロセスでスライスにわたるサンプルが許されないという理由で、前記現在のサンプルに対する前記第1フィルタリングプロセスのための分類動作で前記第1サンプルが利用不可能であることを決定することであり、前記ピクチャの全てのスライスが長方形スライスである、前記決定することと、
前記第1サンプルのためにパディングプロセスを適用することであり、前記第1サンプルの値は、前記現在のサンプルの同じスライス内に位置している最も近い利用可能なサンプルである第2サンプルからパディングされ、前記第2サンプルの位置は、
前記第1サンプルの垂直座標が前記現在のサンプルの前記同じスライスの外にあることで前記第1サンプルが利用不可能であるときに、前記第1サンプルの前記垂直座標を、前記現在のサンプルの前記同じスライス内に位置している最も近い垂直位置である新しい垂直座標にクリップすることと、
前記第1サンプルの水平座標が前記現在のサンプルの前記同じスライスの外にあることで前記第1サンプルが利用不可能であるときに、前記第1サンプルの前記水平座標を、前記現在のサンプルの前記同じスライス内に位置している最も近い水平位置である新しい水平座標にクリップすることと
に基づき決定される、前記適用することと、
前記第2サンプルからパディングされた前記第1サンプルの前記値に基づき前記第1フィルタリングプロセスを適用することによって前記変換を実行することと
を実行させる命令を記憶し、
前記第1フィルタリングプロセスは、
前記分類動作に基づいて前記現在のサンプルのフィルタリング係数セットを決定することと、
前記現在のサンプルのクリッピング値セットを決定することと、
前記フィルタリング係数セット及び前記クリッピング値セットに基づき前記現在のサンプルに対してフィルタを適用することと
を有する、非一時的なコンピュータ可読記憶媒体。 - ビデオのビットストリームを記憶する方法であって、
1つ以上のコーディングツリーブロックを含むビデオのピクチャについて、第1サンプルが現在のコーディングツリーブロックの現在のサンプルのスライスとは異なるスライスに位置しておりかつ第1フィルタリングプロセスでスライスにわたるサンプルが許されないという理由で、前記現在のサンプルに対する前記第1フィルタリングプロセスのための分類動作で前記第1サンプルが利用不可能であることを決定することであり、前記ピクチャの全てのスライスが長方形スライスである、前記決定することと、
前記第1サンプルのためにパディングプロセスを適用することであり、前記第1サンプルの値は、前記現在のサンプルの同じスライス内に位置している最も近い利用可能なサンプルである第2サンプルからパディングされ、前記第2サンプルの位置は、
前記第1サンプルの垂直座標が前記現在のサンプルの前記同じスライスの外にあることで前記第1サンプルが利用不可能であるときに、前記第1サンプルの前記垂直座標を、前記現在のサンプルの前記同じスライス内に位置している最も近い垂直位置である新しい垂直座標にクリップすることと、
前記第1サンプルの水平座標が前記現在のサンプルの前記同じスライスの外にあることで前記第1サンプルが利用不可能であるときに、前記第1サンプルの前記水平座標を、前記現在のサンプルの前記同じスライス内に位置している最も近い水平位置である新しい水平座標にクリップすることと
に基づき決定される、前記適用することと、
前記第2サンプルからパディングされた前記第1サンプルの前記値に基づき前記第1フィルタリングプロセスを適用することによって前記ビットストリームを生成することと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと
を有し、
前記第1フィルタリングプロセスは、
前記分類動作に基づいて前記現在のサンプルのフィルタリング係数セットを決定することと、
前記現在のサンプルのクリッピング値セットを決定することと、
前記フィルタリング係数セット及び前記クリッピング値セットに基づき前記現在のサンプルに対してフィルタを適用することと
を有する、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023090586A JP2023110010A (ja) | 2019-07-11 | 2023-06-01 | 適応ループフィルタリングにおけるサンプルパディング |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2019/095657 | 2019-07-11 | ||
CN2019095657 | 2019-07-11 | ||
PCT/CN2020/101589 WO2021004542A1 (en) | 2019-07-11 | 2020-07-13 | Sample padding in adaptive loop filtering |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023090586A Division JP2023110010A (ja) | 2019-07-11 | 2023-06-01 | 適応ループフィルタリングにおけるサンプルパディング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022539845A JP2022539845A (ja) | 2022-09-13 |
JP7291845B2 true JP7291845B2 (ja) | 2023-06-15 |
Family
ID=74114384
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022500803A Active JP7291845B2 (ja) | 2019-07-11 | 2020-07-13 | 適応ループフィルタリングにおけるサンプルパディング |
JP2023090586A Pending JP2023110010A (ja) | 2019-07-11 | 2023-06-01 | 適応ループフィルタリングにおけるサンプルパディング |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023090586A Pending JP2023110010A (ja) | 2019-07-11 | 2023-06-01 | 適応ループフィルタリングにおけるサンプルパディング |
Country Status (11)
Country | Link |
---|---|
US (2) | US11589042B2 (ja) |
EP (1) | EP3984223A4 (ja) |
JP (2) | JP7291845B2 (ja) |
KR (1) | KR102648121B1 (ja) |
CN (2) | CN114128278B (ja) |
AU (1) | AU2020309130B2 (ja) |
BR (1) | BR112022000542A2 (ja) |
CA (1) | CA3146773A1 (ja) |
MX (1) | MX2022000123A (ja) |
WO (1) | WO2021004542A1 (ja) |
ZA (1) | ZA202200537B (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113994671B (zh) | 2019-06-14 | 2024-05-10 | 北京字节跳动网络技术有限公司 | 基于颜色格式处理视频单元边界和虚拟边界 |
CN118138754A (zh) | 2019-06-14 | 2024-06-04 | 北京字节跳动网络技术有限公司 | 处理视频单元边界和虚拟边界 |
JP7291846B2 (ja) | 2019-07-09 | 2023-06-15 | 北京字節跳動網絡技術有限公司 | 適応ループフィルタリングのためのサンプル決定 |
CN117676168A (zh) | 2019-07-15 | 2024-03-08 | 北京字节跳动网络技术有限公司 | 自适应环路滤波中的分类 |
MX2022000987A (es) * | 2019-07-25 | 2022-10-28 | Hfi Innovation Inc | Metodo y aparato de filtrado de bucle adaptativo de componentes cruzados con limite virtual para codificacion de video. |
EP4018652A4 (en) * | 2019-09-22 | 2022-11-02 | Beijing Bytedance Network Technology Co., Ltd. | FILLING METHOD IN AN ADAPTIVE LOOP FILTER |
JP7326600B2 (ja) | 2019-09-27 | 2023-08-15 | 北京字節跳動網絡技術有限公司 | 異なるビデオユニット間の適応ループフィルタリング |
JP7454042B2 (ja) | 2019-10-10 | 2024-03-21 | 北京字節跳動網絡技術有限公司 | 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス |
JP7393550B2 (ja) | 2019-12-11 | 2023-12-06 | 北京字節跳動網絡技術有限公司 | クロス成分適応ループフィルタリングのためのサンプルパディング |
CN114982248A (zh) * | 2020-02-17 | 2022-08-30 | 英特尔公司 | 使用基于卷积神经网络(cnn)的滤波器来增强360度视频 |
EP4173290A4 (en) | 2020-06-30 | 2024-01-10 | Beijing Bytedance Network Technology Co., Ltd. | BOUNDARY LOCATION FOR ADAPTIVE LOOP FILTERING |
US20220394309A1 (en) * | 2021-05-20 | 2022-12-08 | Lemon Inc. | On Padding Methods For Neural Network-Based In-Loop Filter |
WO2023090198A1 (ja) * | 2021-11-19 | 2023-05-25 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
WO2024002168A1 (en) * | 2022-06-28 | 2024-01-04 | Douyin Vision (Beijing) Co., Ltd. | Padding methods for adaptive loop filter in video coding |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130322523A1 (en) | 2011-05-10 | 2013-12-05 | Mediatek Inc. | Method and apparatus for reduction of in-loop filter buffer |
US20190044809A1 (en) | 2017-08-30 | 2019-02-07 | Intel Corporation | Technologies for managing a flexible host interface of a network interface controller |
US20190166363A1 (en) | 2017-11-28 | 2019-05-30 | Qualcomm Incorporated | Line buffer reduction for adaptive loop filtering in video coding |
Family Cites Families (79)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7558320B2 (en) | 2003-06-13 | 2009-07-07 | Microsoft Corporation | Quality control in frame interpolation with motion analysis |
CN101207812B (zh) | 2007-12-10 | 2010-04-07 | 海信集团有限公司 | 一种视频环路滤波方法 |
EP2396966B1 (en) | 2009-02-10 | 2018-09-05 | Lattice Semiconductor Corporation | Block noise detection and filtering |
US9094658B2 (en) | 2010-05-10 | 2015-07-28 | Mediatek Inc. | Method and apparatus of adaptive loop filtering |
US9083974B2 (en) | 2010-05-17 | 2015-07-14 | Lg Electronics Inc. | Intra prediction modes |
KR101578318B1 (ko) | 2010-09-30 | 2015-12-16 | 미쓰비시덴키 가부시키가이샤 | 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법 |
US8861617B2 (en) | 2010-10-05 | 2014-10-14 | Mediatek Inc | Method and apparatus of region-based adaptive loop filtering |
KR101526349B1 (ko) | 2010-10-05 | 2015-06-05 | 미디어텍 인크. | 영역 기반의 적응 루프 필터링의 방법 및 장치 |
US9525884B2 (en) * | 2010-11-02 | 2016-12-20 | Hfi Innovation Inc. | Method and apparatus of slice boundary filtering for high efficiency video coding |
KR101956284B1 (ko) | 2011-06-30 | 2019-03-08 | 엘지전자 주식회사 | 보간 방법 및 이를 이용한 예측 방법 |
US9641866B2 (en) | 2011-08-18 | 2017-05-02 | Qualcomm Incorporated | Applying partition-based filters |
US9357235B2 (en) | 2011-10-13 | 2016-05-31 | Qualcomm Incorporated | Sample adaptive offset merged with adaptive loop filter in video coding |
AU2012327672B2 (en) * | 2011-10-24 | 2015-09-03 | Hfi Innovation Inc. | Method and apparatus for non-cross-tile loop filtering |
US20130107973A1 (en) | 2011-10-28 | 2013-05-02 | Qualcomm Incorporated | Loop filtering control over tile boundaries |
US20130128986A1 (en) * | 2011-11-23 | 2013-05-23 | Mediatek Inc. | Method and Apparatus of Slice Boundary Padding for Loop Filtering |
US8983218B2 (en) * | 2012-04-11 | 2015-03-17 | Texas Instruments Incorporated | Virtual boundary processing simplification for adaptive loop filtering (ALF) in video coding |
WO2013155897A1 (en) * | 2012-04-16 | 2013-10-24 | Mediatek Inc. | Method and apparatus for loop filtering across slice or tile boundaries |
US20130343447A1 (en) | 2012-06-25 | 2013-12-26 | Broadcom Corporation | Adaptive loop filter (ALF) padding in accordance with video coding |
US9596461B2 (en) | 2012-11-26 | 2017-03-14 | Qualcomm Incorporated | Loop filtering across constrained intra block boundaries in video coding |
US9648335B2 (en) | 2013-07-12 | 2017-05-09 | Qualcomm Incorporated | Bitstream restrictions on picture partitions across layers |
EP3069511A4 (en) | 2013-11-15 | 2017-09-27 | MediaTek Inc. | Method of block-based adaptive loop filtering |
US20160227222A1 (en) | 2015-02-02 | 2016-08-04 | Mediatek Inc. | Multi-Standard Video Decoder with Novel Intra Prediction Decoding |
US10057574B2 (en) | 2015-02-11 | 2018-08-21 | Qualcomm Incorporated | Coding tree unit (CTU) level adaptive loop filter (ALF) |
US20160241881A1 (en) | 2015-02-13 | 2016-08-18 | Mediatek Inc. | Method and Apparatus of Loop Filters for Efficient Hardware Implementation |
WO2017045101A1 (en) * | 2015-09-14 | 2017-03-23 | Mediatek Singapore Pte. Ltd. | Advanced deblocking filter in video coding |
KR102267922B1 (ko) | 2015-09-23 | 2021-06-22 | 노키아 테크놀로지스 오와이 | 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품 |
US20190045224A1 (en) | 2016-02-04 | 2019-02-07 | Mediatek Inc. | Method and apparatus of non-local adaptive in-loop filters in video coding |
US11563938B2 (en) | 2016-02-15 | 2023-01-24 | Qualcomm Incorporated | Geometric transforms for filters for video coding |
US10419755B2 (en) | 2016-05-16 | 2019-09-17 | Qualcomm Incorporated | Confusion of multiple filters in adaptive loop filtering in video coding |
US10264282B2 (en) | 2016-06-27 | 2019-04-16 | Mediatek Inc. | Method and apparatus of inter coding for VR video using virtual reference frames |
JP6983862B2 (ja) * | 2016-07-08 | 2021-12-17 | ヴィド スケール インコーポレイテッド | ジオメトリ投影を使用する360度ビデオ符号化 |
US10841581B2 (en) | 2016-07-14 | 2020-11-17 | Arris Enterprises Llc | Region specific encoding and SAO-sensitive-slice-width-adaptation for improved-quality HEVC encoding |
US11095922B2 (en) | 2016-08-02 | 2021-08-17 | Qualcomm Incorporated | Geometry transformation-based adaptive loop filtering |
CN109565591B (zh) | 2016-08-03 | 2023-07-18 | 株式会社Kt | 用于对视频进行编码和解码的方法和装置 |
US20180054613A1 (en) | 2016-08-22 | 2018-02-22 | Mediatek Inc. | Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus |
US10419757B2 (en) | 2016-08-31 | 2019-09-17 | Qualcomm Incorporated | Cross-component filter |
CN108111851B (zh) | 2016-11-25 | 2020-12-22 | 华为技术有限公司 | 一种去块滤波方法及终端 |
US10555006B2 (en) | 2016-12-22 | 2020-02-04 | Qualcomm Incorporated | Deriving bilateral filter information based on a prediction mode in video coding |
US10506230B2 (en) | 2017-01-04 | 2019-12-10 | Qualcomm Incorporated | Modified adaptive loop filter temporal prediction for temporal scalability support |
US11277635B2 (en) | 2017-03-17 | 2022-03-15 | Vid Scale, Inc. | Predictive coding for 360-degree video based on geometry padding |
CN116233423A (zh) | 2017-03-22 | 2023-06-06 | 汉阳大学校产学协力团 | 基于自适应像素分类基准的环路滤波方法 |
EP3539290A4 (en) | 2017-03-30 | 2019-09-18 | Samsung Electronics Co., Ltd. | METHOD AND APPARATUS FOR PRODUCING 360-DEGREE IMAGE CONTENT ON RECTANGULAR PROJECTION BY SELECTIVELY APPLYING A LOOP FILTER |
US10778974B2 (en) | 2017-07-05 | 2020-09-15 | Qualcomm Incorporated | Adaptive loop filter with enhanced classification methods |
US10728573B2 (en) | 2017-09-08 | 2020-07-28 | Qualcomm Incorporated | Motion compensated boundary pixel padding |
EP3454556A1 (en) | 2017-09-08 | 2019-03-13 | Thomson Licensing | Method and apparatus for video encoding and decoding using pattern-based block filtering |
WO2019072582A1 (en) | 2017-10-09 | 2019-04-18 | Canon Kabushiki Kaisha | METHOD AND APPARATUS FOR FILTERING WITH DEPRESSION OF A BLOCK OF PIXELS |
JP2021016016A (ja) | 2017-10-20 | 2021-02-12 | シャープ株式会社 | 動画像符号化装置及び動画像復号装置 |
US11641488B2 (en) | 2017-11-01 | 2023-05-02 | Vid Scale, Inc. | Methods for simplifying adaptive loop filter in video coding |
US10728549B2 (en) | 2017-11-06 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Adaptive loop filtering for high-dynamic range video |
CN115955562A (zh) | 2017-11-29 | 2023-04-11 | 韩国电子通信研究院 | 采用环内滤波的图像编码/解码方法和装置 |
WO2019131400A1 (ja) | 2017-12-26 | 2019-07-04 | シャープ株式会社 | 画像フィルタ装置、画像復号装置、および画像符号化装置 |
CN109996069B (zh) | 2018-01-03 | 2021-12-10 | 华为技术有限公司 | 视频图像编解码方法及设备 |
US20190238845A1 (en) | 2018-01-26 | 2019-08-01 | Qualcomm Incorporated | Adaptive loop filtering on deblocking filter results in video coding |
US20190281273A1 (en) | 2018-03-08 | 2019-09-12 | Mediatek Inc. | Adaptive loop filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection |
US20190306502A1 (en) | 2018-04-02 | 2019-10-03 | Qualcomm Incorporated | System and method for improved adaptive loop filtering |
US10904576B2 (en) | 2018-04-27 | 2021-01-26 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method for generating a prediction image using a plurality of pixels generated outside of a boundary of a reference picture on which smoothing has been performed |
WO2019230670A1 (en) | 2018-05-31 | 2019-12-05 | Sharp Kabushiki Kaisha | Systems and methods for partitioning video blocks in an inter prediction slice of video data |
CA3103003A1 (en) | 2018-06-21 | 2019-12-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Deblocking of video picture boundaries |
WO2020009514A1 (ko) | 2018-07-06 | 2020-01-09 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
US11094088B2 (en) | 2018-08-31 | 2021-08-17 | Mediatek Inc. | Method and apparatus of in-loop filtering for virtual boundaries in video coding |
EP3868109A4 (en) | 2018-10-23 | 2022-08-17 | HFI Innovation Inc. | METHOD AND APPARATUS FOR LOOP FILTER BUFFER REDUCTION |
CN109660797A (zh) * | 2018-11-09 | 2019-04-19 | 北京达佳互联信息技术有限公司 | 自适应滤波方法、装置、电子设备及计算机可读介质 |
CN109600611B (zh) | 2018-11-09 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 环路滤波方法、环路滤波装置、电子设备和可读介质 |
US11044473B2 (en) | 2018-12-21 | 2021-06-22 | Qualcomm Incorporated | Adaptive loop filtering classification in video coding |
EP3895423A4 (en) * | 2018-12-23 | 2022-06-22 | Huawei Technologies Co., Ltd. | ENCODER, DECODER AND RELATED METHODS USING AN ADAPTIVE LOOP FILTER |
CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
AU2020227754A1 (en) | 2019-02-27 | 2021-09-30 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods |
US11910024B2 (en) | 2019-03-11 | 2024-02-20 | Qualcomm Incorporated | Boundary handling for adaptive loop filtering |
CN113574889B (zh) | 2019-03-14 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 环路整形信息的信令和语法 |
CN115243056A (zh) | 2019-03-24 | 2022-10-25 | 抖音视界有限公司 | 视频处理中的多参数自适应环路滤波 |
US11546587B2 (en) | 2019-04-11 | 2023-01-03 | Mediatek Inc. | Adaptive loop filter with adaptive parameter set |
CN115914627A (zh) | 2019-04-15 | 2023-04-04 | 北京字节跳动网络技术有限公司 | 自适应环路滤波器中的裁剪参数推导 |
CN113767623B (zh) | 2019-04-16 | 2024-04-02 | 北京字节跳动网络技术有限公司 | 用于视频编解码的自适应环路滤波 |
CN113994671B (zh) | 2019-06-14 | 2024-05-10 | 北京字节跳动网络技术有限公司 | 基于颜色格式处理视频单元边界和虚拟边界 |
CN118138754A (zh) | 2019-06-14 | 2024-06-04 | 北京字节跳动网络技术有限公司 | 处理视频单元边界和虚拟边界 |
JP7291846B2 (ja) | 2019-07-09 | 2023-06-15 | 北京字節跳動網絡技術有限公司 | 適応ループフィルタリングのためのサンプル決定 |
WO2021006692A1 (ko) | 2019-07-11 | 2021-01-14 | 삼성전자 주식회사 | 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치 |
US11303890B2 (en) | 2019-09-05 | 2022-04-12 | Qualcomm Incorporated | Reusing adaptive loop filter (ALF) sub-picture boundary processing for raster-scan slice boundaries |
EP4022914A4 (en) | 2019-09-05 | 2023-09-06 | HFI Innovation Inc. | METHOD AND APPARATUS FOR ADAPTIVE LOOP FILTERING AT PICTURE AND SUB-PICTURE BOUNDARY IN VIDEO CODING |
-
2020
- 2020-07-13 KR KR1020227000151A patent/KR102648121B1/ko active IP Right Grant
- 2020-07-13 CA CA3146773A patent/CA3146773A1/en active Pending
- 2020-07-13 JP JP2022500803A patent/JP7291845B2/ja active Active
- 2020-07-13 CN CN202080050648.3A patent/CN114128278B/zh active Active
- 2020-07-13 MX MX2022000123A patent/MX2022000123A/es unknown
- 2020-07-13 CN CN202311451349.2A patent/CN117939170A/zh active Pending
- 2020-07-13 BR BR112022000542A patent/BR112022000542A2/pt unknown
- 2020-07-13 EP EP20836703.7A patent/EP3984223A4/en active Pending
- 2020-07-13 WO PCT/CN2020/101589 patent/WO2021004542A1/en unknown
- 2020-07-13 AU AU2020309130A patent/AU2020309130B2/en active Active
-
2022
- 2022-01-07 US US17/570,783 patent/US11589042B2/en active Active
- 2022-01-11 ZA ZA2022/00537A patent/ZA202200537B/en unknown
-
2023
- 2023-01-17 US US18/155,216 patent/US20230156189A1/en active Pending
- 2023-06-01 JP JP2023090586A patent/JP2023110010A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130322523A1 (en) | 2011-05-10 | 2013-12-05 | Mediatek Inc. | Method and apparatus for reduction of in-loop filter buffer |
US20190044809A1 (en) | 2017-08-30 | 2019-02-07 | Intel Corporation | Technologies for managing a flexible host interface of a network interface controller |
US20190166363A1 (en) | 2017-11-28 | 2019-05-30 | Qualcomm Incorporated | Line buffer reduction for adaptive loop filtering in video coding |
Non-Patent Citations (4)
Title |
---|
Anand Meher Kotra, et al.,CE5-2: Loop filter line buffer reduction,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0180-v2,14th Meeting: Geneva, CH,2019年03月,pp.1-9 |
Ching-Yeh Chen, et al.,CE5-1: Adaptive loop filter with virtual boundary processing,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0088-v1,14th Meeting: Geneva, CH,2019年03月,pp.1-8 |
Hongbin Liu, et al.,Non-CE5: Padding method for samples at variant boundaries in ALF,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0625,15th Meeting: Gothenburg, SE,2019年06月,pp.1-4 |
Jonathan Taquet, Christophe Gisquet, Guillaume Laroche, and Patrice Onno,Non-Linear Adaptive Loop Filter,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0385,13th Meeting: Marrakech, MA,2019年01月,pp.1-5 |
Also Published As
Publication number | Publication date |
---|---|
WO2021004542A1 (en) | 2021-01-14 |
US20220141461A1 (en) | 2022-05-05 |
CN114128278A (zh) | 2022-03-01 |
US11589042B2 (en) | 2023-02-21 |
KR102648121B1 (ko) | 2024-03-18 |
MX2022000123A (es) | 2022-02-16 |
US20230156189A1 (en) | 2023-05-18 |
BR112022000542A2 (pt) | 2022-03-15 |
EP3984223A4 (en) | 2022-11-09 |
EP3984223A1 (en) | 2022-04-20 |
AU2020309130B2 (en) | 2023-06-08 |
CN114128278B (zh) | 2023-12-05 |
KR20220030991A (ko) | 2022-03-11 |
CN117939170A (zh) | 2024-04-26 |
JP2022539845A (ja) | 2022-09-13 |
CA3146773A1 (en) | 2021-01-14 |
JP2023110010A (ja) | 2023-08-08 |
AU2020309130A1 (en) | 2022-02-10 |
ZA202200537B (en) | 2023-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7291845B2 (ja) | 適応ループフィルタリングにおけるサンプルパディング | |
JP7291846B2 (ja) | 適応ループフィルタリングのためのサンプル決定 | |
JP7433346B2 (ja) | ビデオ単位境界および仮想境界の処理 | |
CN113994671B (zh) | 基于颜色格式处理视频单元边界和虚拟边界 | |
JP7318120B2 (ja) | 適応ループフィルタリングにおけるパディングプロセス | |
JP7326600B2 (ja) | 異なるビデオユニット間の適応ループフィルタリング | |
JP7454042B2 (ja) | 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス | |
JP7361196B2 (ja) | 適応ループ・フィルタリングにおける分類 | |
CN114128296A (zh) | 自适应环路滤波中跨视频单元边界访问样点 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7291845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |