JP7368145B2 - 画像符号化装置、および、画像復号装置 - Google Patents
画像符号化装置、および、画像復号装置 Download PDFInfo
- Publication number
- JP7368145B2 JP7368145B2 JP2019156127A JP2019156127A JP7368145B2 JP 7368145 B2 JP7368145 B2 JP 7368145B2 JP 2019156127 A JP2019156127 A JP 2019156127A JP 2019156127 A JP2019156127 A JP 2019156127A JP 7368145 B2 JP7368145 B2 JP 7368145B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- unit
- color difference
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
以下、図面を参照しながら本発明の実施形態について説明する。
本明細書で用いる演算子を以下に記載する。
本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4に示すように、ビデオパラメータセット(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、適応パラメータセットAPS(Adaptation Parameter Set)、ピクチャPICT、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
4:2:0, SubWidthC = 2, SubHeightC = 2
4:2:2, SubWidthC = 2, SubHeightC = 1
4:4:4, SubWidthC = 1, SubHeightC = 1
動画像符号化装置11及び動画像復号装置31は、chroma_format_idcを符号化、復号しても良い。
chroma_format_idc = 0, 4:0:0(monochrome)
chroma_format_idc = 1, 4:2:0
chroma_format_idc = 2, 4:2:2
chroma_format_idc = 3, 4:4:4
(符号化ピクチャ)
符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4に示すように、スライス0~スライスNS-1を含む(NSはピクチャPICTに含まれるスライスの総数)。
符号化スライスでは、処理対象のスライスSを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスは、図4に示すように、スライスヘッダ、および、スライスデータを含んでいる。
符号化スライスデータでは、処理対象のスライスデータを復号するために動画像復号装置31が参照するデータの集合が規定されている。スライスデータは、図4(d)に示すように、CTUを含んでいる。CTUは、スライスを構成する固定サイズ(例えば64x64)のブロックであり、最大符号化単位(LCU:Largest Coding Unit)と呼ぶこともある。
図4には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な4分木分割(QT(Quad Tree)分割)、2分木分割(BT(Binary Tree)分割)あるいは3分木分割(TT(Ternary Tree)分割)により、符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割(MT(Multi Tree)分割)と呼ぶ。再帰的な4分木分割により得られる木構造のノードのことを符号化ノード(Coding Node)と称する。4分木、2分木、及び3分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
図4は、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUは、CUヘッダCUH、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
予測画像は、ブロックに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測とインター予測の予測パラメータがある。
本実施形態に係る動画像復号装置31(図5)の構成について説明する。
図6は、動画像復号装置31の概略的動作を説明するフローチャートである。
predModeがインター予測モードを示す場合、インター予測画像生成部309は、インター予測パラメータ導出部303から入力されたインター予測パラメータと参照ピクチャを用いてインター予測によりブロックもしくはサブブロックの予測画像を生成する。
predModeがイントラ予測モードを示す場合、イントラ予測画像生成部310は、イントラ予測パラメータ導出部304から入力されたイントラ予測パラメータと参照ピクチャメモリ306から読み出した参照画素を用いてイントラ予測を行う。
フィルタセット導出部30531は対象ピクチャあるいは対象スライスで使用するフィルタ係数のセット(フィルタセット)を導出する。フィルタセットは適応パラメータセット(adaptive parameter set:APS)を用いて通知される。1つのAPSで、NumApsAlf個のフィルタを通知することができる。フィルタセット導出部30531では、パラメータ復号部302で復号されたAPSのシンタックス要素からフィルタセットを導出する。これらのフィルタセットが、対象ピクチャあるいは対象スライスで使用可能なフィルタである。以下では、輝度用のフィルタセットをAlfCoeffL[apsId][filtIdx][j]、色差用のフィルタセットをAlfCoeffC[apsCId][j]で表す。apsIdはフィルタが通知されたAPSを指定するIDである(例えば、apsId = 0..31)。filtIdxはあるAPSで通知されたNumApsAlf個のフィルタの1つを指定するフィルタインデックス(fltIdx = 0 ..NumApsALf-1)である。jは1つのフィルタに含まれる係数の位置(j = 0.. NumAlfFilterCoeff-1)を表す。色差用のフィルタは1つのAPSで1つだけ通知されるため、filtIdxは不要である。apsCIdは色差用のフィルタが通知されたAPSを指定するIDである。
特性導出部30533はCTUを複数のサブブロックに分割し、各サブブロックにクラスを割り当てる。このクラスを用いて、上述のフィルタセットから、フィルタ処理部30532で用いる1つのフィルタを選択するフィルタインデックスfiltIdxを導出する。またフィルタ係数の転置に必要なインデックスtransposeIdxを導出する。以降では、サブブロックのサイズを4x4とするが、4x4以外のサイズでも同様の説明が成り立つ。
filtV[x][y] = abs((rP[xCtb+x,yCtb+y]<<1)-rP[xCtb+x,yCtb+y-1]-rP[xCtb+x,yCtb+y+1])
filtD0[x][y] = abs((rP[xCtb+x,yCtb+y]<<1)-rP[xCtb+x-1,yCtb+y-1]-rP[xCtb+x+1,yCtb+y+1])
filtD1[x][y] = abs((rP[xCtb+x,yCtb+y]<<1)-rP[xCtb+x+1,yCtb+y-1]-rP[xCtb+x-1,yCtb+y+1])
x=0..(wCtb-1)>>2、y=0..(hCtb-1)>>2において、特性導出部30533は各サブブロックの絶対差分値の和sumH、sumV、sumD0、sumD1と、アクティビティsumOfHVを下式で導出する。Σはi,j= -2..5の和である。
sumV[x][y] = ΣΣfiltV[(x<<2)+i][(y<<2)+j]
sumD0[x][y] = ΣΣfiltD0[h(x<<2)+i][v(y<<2)+j]
sumD1[x][y] = ΣΣfiltD1[h(x<<2)+i][v(y<<2)+j]
sumOfHV[x][y] = sumH[x][y]+sumV[x][y]
特性導出部30533は各サブブロックの差分値の和sumH、sumVを用いて変数hv0、hv1、dirHVを導出する。sumV[x>>2][y>>2]がsumH[x>>2][y>>2]より大きい場合、下式で導出する。
hv0 = sumH[x>>2][y>>2]
dirHV = 1
そうでなければ、下式で導出する。
hv0 = sumV[x>>2][y>>2]
dirHV = 3
特性導出部30533は各サブブロックの差分値の和sumD0、sumD1を用いて変数d0、d1、dirDを導出する。sumD0[x>>2][y>>2]がsumD1[x>>2][y>>2]より大きい場合、下式で導出する。
d0 = sumD1[x>>2][y>>2]
dirD = 0
そうでなければ、下式で導出する。
d0 = sumD0[x>>2][y>>2]
dirD = 2
特性導出部30533はhv0、hv1、dirHV、d0、d1、dirDを用いて変数hvd1、hvd0を導出する。
hvd0 = (d1*hv0>hv1*d0) ? d0:hv0
特性導出部30533は方向変数dirS[x][y]、dir1[x][y]、dir2[x][y]を下式で導出する。
dir2[x][y] = (d1*hv0>hv1*d0) ? dirHV:dirD
dirS[x][y] = (hvd1>2*hvd0) ? 1:((hvd1*2>9*hvd0) ? 2:0)
特性導出部30533はアクティビティsumOfHVに応じて、クラスavgVar[x][y]を導出する。
varTab[] = { 0, 1, 2, 2, 2, 2, 2, 3, 3, 3, 3, 3, 3, 3, 3, 4 }
ここでBitDepthYは輝度のビット深度、acは所定の定数であり、例えば64、あるいは、96である。
transposeTable[] = { 0, 1, 0, 2, 2, 3, 1, 3 }
filtIdx[x][y] = avgVar[x][y]
なお、dirS[x][y]が0でない場合、filtIdx[x][y]は以下のように変更してもよい。
上式により、filtIdx[][]、transposeIdx[][]にはサブブロック毎に同じ値が格納される。
選択部30534は、フィルタセット導出部30531の出力AlfCoeffL[][][]、AlfCoeffC[][]、AlfClipL[][][]、AlfClipC[][]と、特性導出部30533の出力transposeIdx[][]、filtIdx[][]と、パラメータ復号部の出力apsId、apsCIdを用いて、フィルタ係数f[]およびクリッピング値c[]を導出する。
c[j] = AlfClipL[apsId][filtIdx[x][y]][j]
なお、輝度の場合、transposeIdx[][]に応じて、フィルタ係数の順序を入れ替える。従って、フィルタ部30535で適用するフィルタ係数とクリッピング値はf[idx[j]]とc[idx[j]]である。
Σはm=0..11の和を表す、つまりa12はa0からa11の和の2倍を128から引いた値である。
c[j] = AlfClipC[apsCId][j]
選択部30534はf[]、c[]、idx[]をフィルタ部30535に出力する。
フィルタ部30535は、選択部30534の出力f[]、c[]、idx[]を用いて、入力画像rP[]にALFをかける。
sum = f[idx[0]]*(Clip3(-c[idx[0]],c[idx[0]],rPL[x,y+3]-curr)+
Clip3(-c[idx[0]],c[idx[0]],rPL[x,y-3]-curr))+
f[idx[1]]*(Clip3(-c[idx[1]],c[idx[1]],rPL[x+1,y+2]-curr)+
Clip3(-c[idx[1]],c[idx[1]],rPL[x-1,y-2]-curr))+
f[idx[2]]*(Clip3(-c[idx[2]],c[idx[2]],rPL[x,y+2]-curr)+
Clip3(-c[idx[2]],c[idx[2]],rPL[x,y-2]-curr))+
f[idx[3]]*(Clip3(-c[idx[3]],c[idx[3]],rPL[x-1,y+2]-curr)+
Clip3(-c[idx[3]],c[idx[3]],rPL[x+1,y-2]-curr))+
f[idx[4]]*(Clip3(-c[idx[4]],c[idx[4]],rPL[x+2,y+1]-curr)+
Clip3(-c[idx[4]],c[idx[4]],rPL[x-2,y-1]-curr))+
f[idx[5]]*(Clip3(-c[idx[5]],c[idx[5]],rPL[x+1,y+1]-curr)+
Clip3(-c[idx[5]],c[idx[5]],rPL[x-1,y-1]-curr))+
f[idx[6]]*(Clip3(-c[idx[6]],c[idx[6]],rPL[x,y+1]-curr)+
Clip3(-c[idx[6]],c[idx[6]],rPL[x,y-1]-curr))+
f[idx[7]]*(Clip3(-c[idx[7]],c[idx[7]],rPL[x-1,y+1]-curr)+
Clip3(-c[idx[7]],c[idx[7]],rPL[x+1,y-1]-curr))+
f[idx[8]]*(Clip3(-c[idx[8]],c[idx[8]],rPL[x-2,y+1]-curr)+
Clip3(-c[idx[8]],c[idx[8]],rPL[x+2,y-1]-curr))+
f[idx[9]]*(Clip3(-c[idx[9]],c[idx[9]],rPL[x+3,y]-curr)+
Clip3(-c[idx[9]],c[idx[9]],rPL[x-3,y]-curr))+
f[idx[10]]*(Clip3(-c[idx[10]],c[idx[10]],rPL[x+2,y]-curr)+
Clip3(-c[idx[10]],c[idx[10]],rPL[x-2,y]-curr))+
f[idx[11]]*(Clip3(-c[idx[11]],c[idx[11]],rPL[x+1,y]-curr)+
Clip3(-c[idx[11]],c[idx[11]],rPL[x-1,y]-curr))
sum = curr+((sum+64)>>7)
AlfPicL[xCtb+x][yCtb+y] = Clip3(0,(1<<BitDepthY)-1,sum)
BitDepthYは輝度画素のビット深度である。ここで64、7は各々、ラウンドシフト処理の定数とシフト値であり、別の値でもよい。
sum = f[0]*(Clip3(-c[0],c[0],rPC[x,y+2]-curr)+
Clip3(-c[0],c[0],rPC[x,y-2]-curr))+
f[1]*(Clip3(-c[1],c[1],rPC[x+1,y+1]-curr)+
Clip3(-c[1],c[1],rPC[x-1,y-1]-curr))+
f[2]*(Clip3(-c[2],c[2],rPC[x,y+1]-curr)+
Clip3(-c[2],c[2],rPC[x,y-1]-curr))+
f[3]*(Clip3(-c[3],c[3],rPC[x-1,y+1]-curr)+
Clip3(-c[3],c[3],rPC[x+1,y-1]-curr))+
f[4]*(Clip3(-c[4],c[4],rPC[x+2,y]-curr)+
Clip3(-c[4],c[4],rPC[x-2,y]-curr))+
f[5]*(Clip3(-c[5],c[5],rPC[x+1,y]-curr)+
Clip3(-c[5],c[5],rPC[x-1,y]-curr))
sum = curr+(sum+64)>>7
AlfPicC[xCtbC+x][yCtbC+y] = Clip3(0,(1<<BitDepthC)-1,sum)
BitDepthCは色差画素のビット深度である。
フィルタ部30535はAlfPicL[][]、AlfPicC[][]を外部(表示装置)、参照ピクチャメモリ306に出力する。AlfPicC[][]は、AlfPicCb[][]もしくはAlfPicCr[][]。
図11では、ALF部3053Aで使用するCCフィルタのシンタックスを通知するAPSの一例を示す。ALF部3053で使用するシンタックスの他に、alf_cross_component_coeff_abs[]とalf_cross_component_coeff_sign[]が追加されている。これらのシンタックス要素はパラメータ復号部302で復号され、CCフィルタ係数導出部30536に入力される。なお図11は、図10(c)に示すようにフィルタ形状が3*3の例である。
CCフィルタ係数導出部30536は、上述のシンタックス要素からCCフィルタ係数AlfCoeffCC[]を導出する。
fcc[j] = AlfCoeffCC[apsCId][j]
CCフィルタ係数導出部30536は、fcc[]をALFCC 30537に出力する。
ALFCC 30537は、CCフィルタ係数導出部30536の出力fcc[]を用いて、対象色コンポーネントとは異なる色コンポーネントの画像である入力画像rPL[]を用いてフィルタ処理する。ここでは、ALF部3053の入力画像rPを(rPL、rPC)と記す。対象色コンポーネントとは異なる色コンポーネント(例えば輝度)の入力画像をrPL[x,y]、出力画像をaddCC[x][y]とすると、ALFCC 30537は下式の処理を行う。
addCC[x][y] = (sumCC+(1<<(shiftCC-1)))>>shiftCC
ここでΣはkに関する和、(i, j)は、kのフィルタ係数fcc[k]に対応する参照する輝度画像の位置を示し、例えばi=-3..3, j=-3..3の範囲の値のセットである。以降、fccの添字はkを用いる。shiftCCは、フィルタ係数fcc[]のビット精度であり、1<<(shiftCC-1)はラウンド用のオフセットである。(xx, yy)は対象色差画素に対応する輝度画像rPLの位置であり、(xx, yy) = (x, y)でもいいし、SubWidthC、SubHeightCに応じて変更しても良い。xx = x * SubWidthC、yy = y * SubHeightC。書き下すと以下のように表現できる。
addCC[x][y] = (sumCC+(1<<(shiftCC-1)))>>shiftCC
例えば、addCCの値域は、例えばfccの精度shiftCCが8、rPLのbitDepthが10で、参照画素(k)の個数が14個の場合、8+10+ceil(log2(14))-8=14bitになる。shiftCCは7, 8, 9, 10などでもよい。以下shiftCC=7, 8の例を説明する。
また、図12(a)に示すフィルタ形状のフィルタ係数を用いる場合、以下の式でもよい。
fcc[0]*(rPL[xx,yy-2] + rPL[xx,yy+3]) +
fcc[1]*rPL[xx-1,yy-1]+ fcc[2]*rPL[xx,yy-1]+ fcc[3]*rPL[xx+1,yy-1] +
fcc[4]*(rPL[xx-2,yy] + rPL[xx+2,yy] + rPL[xx-2,yy+1] + rPL[xx+2,yy+1]) +
fcc[5]*rPL[xx-1,yy] + fcc[6]*rPL[xx,yy] + fcc[7]*rPL[xx+1,yy] +
fcc[8]*rPL[xx-1,yy+1] + fcc[9]*rPL[xx,yy+1] + fcc[10]*rPL[xx+1,yy+1] +
fcc[11]*rPL[xx-1,yy+2]+ fcc[12]*rPL[xx,yy+2]+ fcc[13]*rPL[xx+1,yy+2] (式ALF-5)
addCC[x][y] = (sumCC+128)>>8
あるいは図12(b)に示すフィルタ形状のフィルタ係数の場合、下式でもよい。
addCC[x][y] = (sumCC+64)>>7
ALFCC 30537はaddCC[][]を加算部30358に出力する。
ここで、Σはk=0..n-2の和であり、nはフィルタ係数の個数である。
rPL[x, y] = rPL[x*SubWidthC, y*SubHeightC]
(加算部・クリッピング部)
加算部30358はALFTC 30535の出力である対象色コンポーネントのフィルタ画像AlfPicC[][](= AlfPicCb[][]、AlfPicCr[][])とALFCC 30357の出力であるクロスコンポーネントのフィルタ画像addCC[][]を加算する。クリッピング部30540は、AlfPicC[x][y]とaddCC[x][y]の加算の前に、addCC[x][y]を所定の値域に制限する。例えば、minCCおよびmaxCCによって表される所定の値域にクリップする。
AlfPicCr[x][y] = AlfPicCr[x][y] + Clip3( minCC, maxCC, addCCr[x][y])
なお、右辺のAlfPicCb、AlfPicCrは(式ALF-2)で導出されるフィルタ画像である。addCCb、addCCrは(式ALF-5)で導出される差分値である。
また加算処理の後にシフト処理を加えてもよい。
AlfPicCr[x][y] = (AlfPicCr[x][y] + Clip3( minCC, maxCC, addCCr[x][y]) +(1-(shiftCC2-1))) >> shiftCC2
つまり、フィルタ部30535は全体として、色差画像の積和演算とラウンドシフト処理から得られた項、と、輝度画像の積和演算とラウンドシフト処理して得られた項のクリップ値を加算してフィルタ処理を行う。したがって、AlfPicCb[][],AlfPicCr[][]は、
AlfPicCb[x][y] = (rPCb[x][y] + Σf[ij]*(Clip3(-c[ij],c[ij],rPCb[x+i][y+j]-rPCb[x][y]) + 64 ) >> 7 + Clip3( minCC, maxCC, addCCb[x][y])
AlfPicCr[x][y] = (rPCr[x][y] + Σf[ij]*(Clip3(-c[ij],c[ij],rPCr[x+i][y+j]-rPCr[x][y]) + 64 ) >> 7 + Clip3( minCC, maxCC, addCCr[x][y])
とも表せる。ここでrPCb[][]とrPCr[][]はフィルタ部30535の色差入力画像である。Σはフィルタ部30535のフィルタ形状内の位置(i,j)についての総和を表し、f[ij]およびc[ij]は、位置(i,j)に対応する係数値およびクリップ値である。
minCCとmaxCCはたとえば、ビット幅を表す値rangeCCBitを用いて、
minCC = -(1<<rangeCCBit)
maxCC = (1<<rangeCCBit)-1
に設定してもよい。
AlfPicCr[x][y] = AlfPicCr[x][y] + Clip3( -64, 63, addCCr[x][y])
上記によれば、輝度画像から導出されるccALFの成分であるaddCC[][]を予めメモリに格納しておき、格納したメモリのaddCCを用いる構成において、格納に必要なメモリ量を削減することができる。例えば、制限前のaddCCの値域が14bitでrangeCCBit=6の場合、必要なメモリ量を半分未満(=6/14)に削減できる。
minCC = -(1<<(bitDepth-3))
maxCC = (1<<(bitDepth-3))-1
としてもよい。ここでMccは2, 3, 4, 5などでもよい。またクリップ値の大きさ(例えば、絶対値)として、ビットデプスによらない下限を設けてもよい(rangeCCBit= max(minD, bitDepth-Mcc)、例えばminD=6)
minCC = -max(64, (1<<(bitDepth-3)))
maxCC = max(64, (1<<(bitDepth-3)))-1
下限minDは6に限定されない。またビットデプスによらない上限を設けてもよい(rangeCCBit= min(maxD, bitDepth-Mcc) 、例えばmaxD=15)
minCC = -min(32768, (1<<(bitDepth-3)))
maxCC = min(32768, (1<<(bitDepth-3)))-1
上限maxDepthも15bitに限定されない。
さらに下限と上限を設けても良い(rangeCCBit= Clip3(minD, maxD, bitDepth-Mcc))
minCC = -Clip3(64, 32768, (1<<(bitDepth-3)))
maxCC = Clip3(64, 32768, (1<<(bitDepth-3))) -1
あるいは、bitDepth/2と所定の定数Mcc2を用いて(rangeCCBit= bitDepth/2+Mcc2)
minCC = -(1<<(bitDepth/2+1))
maxCC = (1<<(bitDepth/2+1))-1
としてもよい。ここでMcc2は0, 1, 2, 3などでもよい。
minCC = -(1<<rangeCCBit1)
maxCC = (1<<rangeCCBit1)-1
とし、インタースライス(BまたはPスライス)場合にはrangeCCBit2を用いて
minCC = -(1<<rangeCCBit2)
maxCC = (1<<rangeCCBit2)-1
として切り替えてもよい。このようにして特性の異なる予測方式に応じて変化量の範囲を切り替えられる。
minCC = -(1<<rangeCCBit1)
maxCC = (1<<rangeCCBit1)-1
とし、QP_th以上の場合には
minCC = -(1<<rangeCCBit2)
maxCC = (1<<rangeCCBit2)-1
とする。
minCC = -(1<<rangeCCBit1)
maxCC = (1<<rangeCCBit1)-1
とし、QP_th以上の場合には
minCC = -(1<<rangeCCBit2)
maxCC = (1<<rangeCCBit2)-1
とする。これは、三項演算子を用いて
minCC = -(1<<(bitDepth<10 ? rangeCCBit1 : rangeCCBit2))
maxCC = (1<<(bitDepth<10 ? rangeCCBit1 : rangeCCBit2))
と表すこともできる。ここで、(rangeCCBit1, rangeCCBit2)の値は、たとえば(5,6),(5,7)や(6,7)などである。
次に、本実施形態に係る動画像符号化装置11の構成について説明する。図7は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、パラメータ符号化部111、予測パラメータ導出部120、エントロピー符号化部104を含んで構成される。
上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
301 エントロピー復号部
302 パラメータ復号部
305、107 ループフィルタ
306、109 参照ピクチャメモリ
307、108 予測パラメータメモリ
308、101 予測画像生成部
311、105 逆量子化・逆変換部
312、106 加算部
320 予測パラメータ導出部
11 画像符号化装置
102 減算部
103 変換・量子化部
104 エントロピー符号化部
110 符号化パラメータ決定部
111 パラメータ符号化部
120 予測パラメータ導出部
Claims (4)
- 入力画像に含まれる輝度画像に対してブロック毎に第1の適応ループフィルタを適用し、輝度出力画像を出力する第1のフィルタ部と、
上記入力画像に含まれる色差画像に対してブロック毎に第2の適応ループフィルタを適用し、色差出力画像を出力する第2のフィルタ部と、
符号化データからフィルタ係数を復号するフィルタセット導出部と、
上記フィルタ係数を用いて、上記色差出力画像に第3の適応ループフィルタを適用する第3のフィルタ部を備える画像復号装置において、
上記第3のフィルタ部は、上記輝度画像および上記フィルタ係数を用いて変化量を導出し、上記変化量をビット深度に基づく所定の範囲にクリッピングし、クリッピングすることによって得られた値を上記色差出力画像に加算して修正色差画像を導出することを特徴とする画像復号装置。 - 入力画像に含まれる輝度画像に対してブロック毎に第1の適応ループフィルタを適用し、輝度出力画像を出力する第1のフィルタ部と、
上記入力画像に含まれる色差画像に対してブロック毎に第2の適応ループフィルタを適用し、色差出力画像を出力する第2のフィルタ部と、
フィルタ係数を導出する符号化パラメータ決定部と、
上記フィルタ係数を用いて、上記色差出力画像に第3の適応ループフィルタを適用する第3のフィルタ部を備える画像符号化装置において、
上記第3のフィルタ部は、上上記輝度画像および上記フィルタ係数を用いて変化量を導出し、上記変化量をビット深度に基づく所定の範囲にクリッピングし、クリッピングすることによって得られた値を上記色差出力画像に加算して修正色差画像を導出することを特徴とする画像符号化装置。 - 画像復号方法であって、
符号化データからフィルタ係数を復号し、
入力画像に含まれる輝度画像に対してブロック毎に第1の適応ループフィルタを適用して輝度出力画像を出力し、
上記入力画像に含まれる色差画像に対してブロック毎に第2の適応ループフィルタを適用して色差出力画像を出力し、
上記輝度画像および上記フィルタ係数を用いて変化量を導出し、
上記変化量をビット深度に基づく所定の範囲にクリッピングし、
クリッピングすることによって得られた値を上記色差出力画像に加算して修正色差画像を導出することを特徴とする画像復号方法。 - 画像符号化方法であって、
フィルタ係数を導出し、
入力画像に含まれる輝度画像に対してブロック毎に第1の適応ループフィルタを適用して輝度出力画像を出力し、
上記入力画像に含まれる色差画像に対してブロック毎に第2の適応ループフィルタを適用して色差出力画像を出力し、
上記輝度画像および上記フィルタ係数を用いて変化量を導出し、
上記変化量をビット深度に基づく所定の範囲にクリッピングし、
クリッピングすることによって得られた値を上記色差出力画像に加算して修正色差画像を導出することを特徴とする画像符号化方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156127A JP7368145B2 (ja) | 2019-08-28 | 2019-08-28 | 画像符号化装置、および、画像復号装置 |
US16/998,480 US11196993B2 (en) | 2019-08-28 | 2020-08-20 | Image coding apparatus and image decoding apparatus |
US17/506,503 US11616952B2 (en) | 2019-08-28 | 2021-10-20 | Image coding apparatus and image decoding apparatus |
US18/109,232 US11962769B2 (en) | 2019-08-28 | 2023-02-13 | Image coding apparatus and image decoding apparatus |
JP2023176960A JP2023176010A (ja) | 2019-08-28 | 2023-10-12 | 画像符号化装置、および、画像復号装置 |
US18/444,383 US20240195960A1 (en) | 2019-08-28 | 2024-02-16 | Image coding apparatus and image decoding apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019156127A JP7368145B2 (ja) | 2019-08-28 | 2019-08-28 | 画像符号化装置、および、画像復号装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023176960A Division JP2023176010A (ja) | 2019-08-28 | 2023-10-12 | 画像符号化装置、および、画像復号装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021034980A JP2021034980A (ja) | 2021-03-01 |
JP2021034980A5 JP2021034980A5 (ja) | 2022-09-01 |
JP7368145B2 true JP7368145B2 (ja) | 2023-10-24 |
Family
ID=74677681
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019156127A Active JP7368145B2 (ja) | 2019-08-28 | 2019-08-28 | 画像符号化装置、および、画像復号装置 |
JP2023176960A Pending JP2023176010A (ja) | 2019-08-28 | 2023-10-12 | 画像符号化装置、および、画像復号装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023176960A Pending JP2023176010A (ja) | 2019-08-28 | 2023-10-12 | 画像符号化装置、および、画像復号装置 |
Country Status (2)
Country | Link |
---|---|
US (4) | US11196993B2 (ja) |
JP (2) | JP7368145B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118138778A (zh) * | 2018-06-01 | 2024-06-04 | 夏普株式会社 | 图像解码装置以及图像编码装置 |
US11962767B2 (en) | 2019-08-29 | 2024-04-16 | Lg Electronics Inc. | Apparatus and method for coding image |
US20220337841A1 (en) * | 2019-08-29 | 2022-10-20 | Lg Electronics Inc. | Apparatus and method for image coding based on filtering |
US11451834B2 (en) | 2019-09-16 | 2022-09-20 | Tencent America LLC | Method and apparatus for cross-component filtering |
WO2021054424A1 (en) * | 2019-09-18 | 2021-03-25 | Panasonic Intellectual Property Corporation Of America | System and method for video coding |
US11303914B2 (en) * | 2020-01-08 | 2022-04-12 | Tencent America LLC | Method and apparatus for video coding |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160173881A1 (en) | 2013-07-01 | 2016-06-16 | Samsung Electronics Co., Ltd. | Video encoding and decoding method accompanied with filtering, and device thereof |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160105685A1 (en) * | 2014-10-08 | 2016-04-14 | Qualcomm Incorporated | Boundary filtering and cross-component prediction in video coding |
WO2017123487A1 (en) * | 2016-01-15 | 2017-07-20 | Vid Scale, Inc. | System and method for enhanced motion compensation using adaptive filtering |
US10419757B2 (en) * | 2016-08-31 | 2019-09-17 | Qualcomm Incorporated | Cross-component filter |
CN111183646B (zh) * | 2017-09-20 | 2023-08-04 | Vid拓展公司 | 用于编码的方法和装置、用于解码的方法和装置以及存储介质 |
WO2021025165A1 (en) * | 2019-08-08 | 2021-02-11 | Panasonic Intellectual Property Corporation Of America | System and method for video coding |
-
2019
- 2019-08-28 JP JP2019156127A patent/JP7368145B2/ja active Active
-
2020
- 2020-08-20 US US16/998,480 patent/US11196993B2/en active Active
-
2021
- 2021-10-20 US US17/506,503 patent/US11616952B2/en active Active
-
2023
- 2023-02-13 US US18/109,232 patent/US11962769B2/en active Active
- 2023-10-12 JP JP2023176960A patent/JP2023176010A/ja active Pending
-
2024
- 2024-02-16 US US18/444,383 patent/US20240195960A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160173881A1 (en) | 2013-07-01 | 2016-06-16 | Samsung Electronics Co., Ltd. | Video encoding and decoding method accompanied with filtering, and device thereof |
Non-Patent Citations (3)
Title |
---|
MISRA, Kiran et al.,Cross-Component Adaptive Loop Filter for chroma,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019, [JVET-O0636_r1],JVET-O0636 (version 2),ITU-T,2019年07月07日,<URL:https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0636-v2.zip>: JVET-O0636_r1.docx: pp.1-9 |
TAQUET, Jonathan et al.,Non-Linear Adaptive Loop Filter,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019, [JVET-M0385],JVET-M0385 (version 3),ITU-T,2019年01月12日,<URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0385-v3.zip>: JVET-M0385-v2.docx: pp.1-5 |
YASUGI, Yukinobu and IKAI, Tomohiro,CE5-related: Clipping of intermediate value in CC-ALF,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019, [JVET-P0290],JVET-P0290 (version 1),ITU-T,2019年09月24日,<URL:https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0290-v1.zip>: JVET-P0290.docx: pp.1-4 |
Also Published As
Publication number | Publication date |
---|---|
JP2023176010A (ja) | 2023-12-12 |
US11962769B2 (en) | 2024-04-16 |
JP2021034980A (ja) | 2021-03-01 |
US11196993B2 (en) | 2021-12-07 |
US20230199181A1 (en) | 2023-06-22 |
US20220046238A1 (en) | 2022-02-10 |
US20240195960A1 (en) | 2024-06-13 |
US11616952B2 (en) | 2023-03-28 |
US20210067774A1 (en) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6957715B2 (ja) | 画像フィルタ装置、フィルタ方法および動画像復号装置 | |
JP7368145B2 (ja) | 画像符号化装置、および、画像復号装置 | |
JP7402016B2 (ja) | 画像復号装置及び画像符号化装置 | |
JP7469904B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 | |
JP2020150516A (ja) | 画像復号装置及び画像符号化装置 | |
JP7461347B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 | |
WO2013046990A1 (ja) | オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造 | |
JP2022024208A (ja) | 動画像復号装置および動画像符号化装置 | |
WO2020184366A1 (ja) | 画像復号装置 | |
JP2021150703A (ja) | 画像復号装置及び画像符号化装置 | |
WO2021246284A1 (ja) | 動画像復号装置及び動画像符号化装置 | |
JP2021034848A (ja) | 画像復号装置 | |
JP2021034966A (ja) | 動画像符号化装置、動画像復号装置 | |
JP2021158546A (ja) | 画像復号装置及び画像符号化装置 | |
JP2021034887A (ja) | 画像復号装置及び画像符号化装置 | |
JP7444570B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP7425568B2 (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 | |
JP2020068462A (ja) | 画像ビット階調拡張フィルタ装置及び画像符号化装置、画像復号装置 | |
JP7397586B2 (ja) | 画像復号装置及び画像符号化装置 | |
JP2021153213A (ja) | 動画像符号化装置および動画像復号装置 | |
WO2024009962A1 (ja) | Cclm予測部、動画像復号装置、および動画像符号化装置 | |
JP2021010050A (ja) | 動画像符号化装置、動画像復号装置、およびフィルタ装置 | |
JP2021197557A (ja) | 画像復号装置及び画像符号化装置 | |
JP2020195013A (ja) | 画像復号装置および画像符号化装置 | |
JP2021136609A (ja) | 画像復号装置及び画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220824 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220824 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7368145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |