JP6919424B2 - Video coding device, video decoding device, and video processing system - Google Patents

Video coding device, video decoding device, and video processing system Download PDF

Info

Publication number
JP6919424B2
JP6919424B2 JP2017167459A JP2017167459A JP6919424B2 JP 6919424 B2 JP6919424 B2 JP 6919424B2 JP 2017167459 A JP2017167459 A JP 2017167459A JP 2017167459 A JP2017167459 A JP 2017167459A JP 6919424 B2 JP6919424 B2 JP 6919424B2
Authority
JP
Japan
Prior art keywords
processing
image
value
linear filter
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017167459A
Other languages
Japanese (ja)
Other versions
JP2019047277A (en
Inventor
中川 聰
聰 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2017167459A priority Critical patent/JP6919424B2/en
Publication of JP2019047277A publication Critical patent/JP2019047277A/en
Application granted granted Critical
Publication of JP6919424B2 publication Critical patent/JP6919424B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

この発明は、像符号化装置、映像復号装置、及び映像処理システムに関し、例えば、映像を圧縮符号化する映像符号化装置や、符号化された映像を復号する映像復号装置に適用し得る。 The present invention, movies picture encoding apparatus, video decoding apparatus, and relates to an image processing system, for example, may be applied to a video decoding apparatus for decoding and video encoding apparatus for compressing and encoding video, the encoded video.

従来、H.264/MPEG−4 AVC(以下、単に「AVC」と呼ぶ)やH.265/MPEG−H HEVC(以下、単に「HEVC」と呼ぶ)等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。 Conventionally, H. 264 / MPEG-4 AVC (hereinafter simply referred to as "AVC") and H.A. The compression coding process of video information by a video coding method represented by 265 / MPEG-H HEVC (hereinafter, simply referred to as "HEVC") is an intra prediction for each processing unit in which the input target image is divided. The prediction residual signal, which is the difference between the predicted image that has undergone inter-prediction such as motion compensation prediction and the input target image, is quantized by the conversion coefficient that has undergone spatial transformation such as discrete cosine transform. Highly efficient video compression is realized by entropy encoding.

ここで、従来の映像符号化装置300の構成例について図8を用いて説明する。 Here, a configuration example of the conventional video coding apparatus 300 will be described with reference to FIG.

図8に示す従来の映像符号化装置300は、差分抽出部301、変換部302、量子化部303、エントロピー符号化部304、逆量子化部305、逆変換部306、加算部307、ループ内フィルタ部308、参照画像バッファ309、インター予測部310、イントラ予測部311、及び切替部312を有している。 The conventional video coding apparatus 300 shown in FIG. 8 includes a difference extraction unit 301, a conversion unit 302, a quantization unit 303, an entropy coding unit 304, an inverse quantization unit 305, an inverse conversion unit 306, an addition unit 307, and a loop. It has a filter unit 308, a reference image buffer 309, an inter prediction unit 310, an intra prediction unit 311 and a switching unit 312.

映像符号化装置300では、HEVCのような符号化技術が適用されるものとする。そうすると、入力された符号化対象フレームは、符号化ユニット等の処理単位領域ごとに、動き補償を伴うインター予測部310もしくは画面内の符号化済み画素等から予測を行うイントラ予測部311による予測画像が生成される。 It is assumed that a coding technique such as HEVC is applied to the video coding apparatus 300. Then, the input coded frame is predicted by the inter prediction unit 310 with motion compensation or the intra prediction unit 311 that predicts from the coded pixels in the screen for each processing unit area such as the coding unit. Is generated.

そして、映像符号化装置300では、差分抽出部301を用いて、処理単位領域ごとの予測画像との差分である予測残差信号が取得される。そして、映像符号化装置300では、その予測残差信号が、変換部302により、DCT(離散コサイン変換)やDST(離散サイン変換)により変換されて変換係数が得られる。そして、映像符号化装置300では、得られた変換係数が量子化部303により量子化される。そして、映像符号化装置300では、量子化された変換係数が、エントロピー符号化部304により、可変長符号や算術符号で符号化されて、符号化ストリームが出力される。映像符号化装置300では、量子化された変換係数は、逆量子化部305による逆量子化及び逆変換部306による逆変換処理がなされた後、加算部307により予測画像に加算され、再構成画像が得られる。そして、映像符号化装置300では、再構成画像に対して、ループ内フィルタ部308により、ブロック歪を軽減するデブロッキングフィルタ処理等が適用された後、後続の画像の符号化時のインター予測の動き補償のための参照画像として参照画像バッファ309に保持される。 Then, in the video coding apparatus 300, the difference extraction unit 301 is used to acquire a predicted residual signal which is a difference from the predicted image for each processing unit area. Then, in the video coding apparatus 300, the predicted residual signal is converted by the conversion unit 302 by DCT (discrete cosine transform) or DST (discrete sine transform) to obtain a conversion coefficient. Then, in the video coding apparatus 300, the obtained conversion coefficient is quantized by the quantization unit 303. Then, in the video coding apparatus 300, the quantized conversion coefficient is encoded by the entropy coding unit 304 with a variable length code or an arithmetic code, and a coded stream is output. In the video coding apparatus 300, the quantized conversion coefficient is subjected to inverse quantization by the inverse quantization unit 305 and inverse transformation processing by the inverse conversion unit 306, and then added to the predicted image by the addition unit 307 to reconstruct the image. An image is obtained. Then, in the video coding apparatus 300, after the deblocking filter processing for reducing the block distortion is applied to the reconstructed image by the in-loop filter unit 308, the inter-prediction at the time of coding the subsequent image is performed. It is held in the reference image buffer 309 as a reference image for motion compensation.

次に、従来の映像復号装置400の構成例について図9を用いて説明する。 Next, a configuration example of the conventional video decoding apparatus 400 will be described with reference to FIG.

図9に示す従来の映像復号装置400は、エントロピー復号部404、逆量子化部405、逆変換部406、加算部407、ループ内フィルタ部408、参照画像バッファ部409、インター予測部410、イントラ予測部411、及び切替部412を有している。 The conventional video decoding apparatus 400 shown in FIG. 9 includes an entropy decoding unit 404, an inverse quantization unit 405, an inverse conversion unit 406, an addition unit 407, an in-loop filter unit 408, a reference image buffer unit 409, an inter-prediction unit 410, and an intra. It has a prediction unit 411 and a switching unit 412.

映像復号装置400では、映像符号化装置300で生成された符号化ストリームが入力されると、符号化ストリームはエントロピー復号部404により復号され、復号データとしてDCT等の変換係数、符号化モード情報、及び動きベクトル情報が得られる。映像復号装置400では、変換係数は、逆量子化部405による逆量子化処理、及び逆変換部406による逆変換処理がなされて予測残差が得られる。そして、映像復号装置400では、この予測残差と予測画像(インター予測を行うインター予測部410、もしくはイントラ予測を行うイントラ予測部411により生成された予測画像)が加算部407により加算されることで、映像符号化装置300内と同じ再構成画像が得られる。そして、映像復号装置400では、再構成画像はループ内フィルタ部408によりデブロッキングフィルタなどが適用された後、復号画像として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ部409に保持される。 In the video decoding device 400, when the coded stream generated by the video coding device 300 is input, the coded stream is decoded by the entropy decoding unit 404, and the conversion coefficient such as DCT, the coding mode information, etc. are used as the decoding data. And motion vector information is obtained. In the video decoding apparatus 400, the conversion coefficient is subjected to an inverse quantization process by the inverse quantization unit 405 and an inverse transformation process by the inverse conversion unit 406 to obtain a predicted residual. Then, in the video decoding apparatus 400, the prediction residual and the prediction image (prediction image generated by the inter-prediction unit 410 that performs inter-prediction or the intra-prediction unit 411 that performs intra-prediction) are added by the addition unit 407. Then, the same reconstructed image as in the video coding apparatus 300 can be obtained. Then, in the video decoding device 400, the reconstructed image is output as a decoded image after a deblocking filter or the like is applied by the in-loop filter unit 408, and is also output as a reference image as a reference image for subsequent inter-prediction. It is held at 409.

ところで、現在では、HEVCの次世代の映像符号化方式が検討されており、ISO/IECとITU−Tのジョイントの検討チームであるJoint Video Exploration Team(JVET)において、Joint Exploration Test Model(JEM)という映像符号化方式が開発中である(非特許文献1参照)。 By the way, at present, the next-generation video coding method of HEVC is being studied, and the Joint Video Exploration Team (JVET), which is a study team of the joint between ISO / IEC and ITU-T, is studying the Joint Exploration Test Model (JEM). The video coding method is under development (see Non-Patent Document 1).

JEMのバージョン6においてはループ内フィルタとしてデブロッキングフィルタに加えて、バイラテラルフィルタ(Bilateral filter)が用いられている。バイラテラルフィルタは、エッジを保存する性質のあるノイズ除去平滑化フィルタであり、(i,j)の位置の画素に対して、近傍の(k,l)の位置の画素に対する重みをω(i,j,k,l)としてフィルタ処理を行う。また、バイラテラルフィルタは、重みとしてガウシアンフィルタのような画素位置間の距離だけでなく、画素値の差にも依存する以下の(1)式のような重みを用いるフィルタである。

Figure 0006919424
In version 6 of JEM, a bilateral filter is used as an in-loop filter in addition to the deblocking filter. The bilateral filter is a noise removal smoothing filter having the property of preserving edges, and weights the pixel at the position (i, j) and the pixel at the nearby position (k, l) by ω (i). , J, k, l). Further, the bilateral filter is a filter that uses a weight as shown in the following equation (1) as a weight, which depends not only on the distance between pixel positions such as a Gaussian filter but also on the difference in pixel values.
Figure 0006919424

(1)式において、I(i,j),I(k,l)はフィルタ処理前の再構成画像の画素値であり、σ、σはフィルタ強度を制御するパラメーターである。JEMではσは変換ユニット(TU)のサイズと、(イントラ/インター)予測モードに依存する値が用いられ、σとしては量子化パラメーターに依存する値が用いられている。 In the equation (1), I (i, j) and I (k, l) are pixel values of the reconstructed image before the filter processing, and σ d and σ r are parameters for controlling the filter intensity. In JEM, σ d uses a value that depends on the size of the conversion unit (TU) and the (intra / inter) prediction mode, and σ r uses a value that depends on the quantization parameter.

バイラテラルフィルタに用いる画素は、図11に示すように、対象画素Cの上下左右に隣接する4画素A,B,L,Rであり、対象画素Cの位置のフィルタ後の画素値Iを以下の(2)式のように求めることができる。

Figure 0006919424
Pixels used for the bilateral filter, as shown in FIG. 11, four pixels A that are vertically and horizontally adjacent to each of the target pixel C, B, L, a R, a pixel value I F after the filter position of the target pixel C It can be obtained as shown in the following equation (2).
Figure 0006919424

図10は、従来のJEMにおけるバイラテラルフィルタの処理を行うバイラテラルフィルタ処理部30の構成例について示したブロック図である。 FIG. 10 is a block diagram showing a configuration example of a bilateral filter processing unit 30 that performs bilateral filter processing in a conventional JEM.

図10に示す従来のJEMにおけるバイラテラルフィルタ処理部30は、フィルタ処理部31、フィルタ係数算出部32、及び差分値算出部33を有している。 The bilateral filter processing unit 30 in the conventional JEM shown in FIG. 10 includes a filter processing unit 31, a filter coefficient calculation unit 32, and a difference value calculation unit 33.

図10に示す従来のバイラテラルフィルタ処理部30では、差分値算出部33が対象画素の画素値と周辺画素の画素値の差分値を算出する。そして、図10に示す従来のバイラテラルフィルタ処理部30では、フィルタ係数算出部32が、バイラテラルフィルタのフィルタ係数を算出してフィルタ処理部31に供給する。フィルタ処理部31は、供給されたフィルタ係数を用いて、対象画素の画素値と差分値に基づき、対象画素に対してバイラテラルフィルタを適用した画素(以下、「フィルタ結果画素」と呼ぶ)の画素値を算出する。 In the conventional bilateral filter processing unit 30 shown in FIG. 10, the difference value calculation unit 33 calculates the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixels. Then, in the conventional bilateral filter processing unit 30 shown in FIG. 10, the filter coefficient calculation unit 32 calculates the filter coefficient of the bilateral filter and supplies it to the filter processing unit 31. The filter processing unit 31 uses the supplied filter coefficient to apply a bilateral filter to the target pixel based on the pixel value and the difference value of the target pixel (hereinafter, referred to as “filter result pixel”). Calculate the pixel value.

図10に示すバイラテラルフィルタ処理部30では、フィルタ係数算出部32が上記の(1)式のような重みωの算出処理を、LUT(look up table)を用いて行う。また、図10に示すバイラテラルフィルタ処理部30では、フィルタ処理部31が、上記の(2)式の除算処理についてLUT、乗算、シフトの組み合わせで行う。 In the bilateral filter processing unit 30 shown in FIG. 10, the filter coefficient calculation unit 32 performs the calculation process of the weight ω as in the above equation (1) by using a LUT (look up table). Further, in the bilateral filter processing unit 30 shown in FIG. 10, the filter processing unit 31 performs the division processing of the above equation (2) by a combination of LUT, multiplication, and shift.

Jianle Chen,et al.“Algorithm Description of Joint Exploration Test Model 6(JEM6),” JVET−F1001−v2,[Online],[2017年8月21日検索],INTERNET<http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/6_Hobart/wg11/JVET-F1001-v2.zip>Jianle Chen, et al. "Algorithm Document of Joint Exploration Test Model 6 (JEM6)," JVET-F1001-v2, [Online], [Searched on August 21, 2017], INTERNET <http://phenix.it-sudparis.eu/jvet/ doc_end_user / documents / 6_Hobart / wg11 / JVET-F1001-v2.zip>

しかしながら、従来のバイラテラルフィルタ処理では演算処理量が多く、演算量低減のために用いているLUTも大きなテーブルサイズが必要であったり、並列処理化が困難であるなどの問題がある。 However, the conventional bilateral filter processing has a large amount of arithmetic processing, and the LUT used for reducing the arithmetic amount also requires a large table size, and there are problems that parallel processing is difficult.

また、従来技術のバイラテラルフィルタでは、フィルタの重みが再構成画像から自動的に導出されるようになっており、対象画像の性質によっては必ずしも最適ではないフィルタ処理が行われることがあるという問題があった。 Further, in the conventional bilateral filter, the weight of the filter is automatically derived from the reconstructed image, and there is a problem that the filter processing that is not always optimal may be performed depending on the nature of the target image. was there.

以上のような問題に鑑みて、映像の符号化/復号の過程で必要となる画像のフィルタ処理をより効率的かつ高品質に行うことができる像符号化装置、映像復号装置、及び映像処理システムが望まれている。 In view of the above problems, a video encoding / decoding process more efficiently and movies picture encoding apparatus capable of performing high quality filtering of the image required by the video decoding apparatus, and image processing A system is desired.

第1の本発明の映像符号化装置は、(1)映像データの符号化対象フレームに対する予測画像を生成する予測画像生成手段と、(2)前記予測画像と前記符号化対象フレームとの差分を示す予測残差信号に所定の変換処理、及び量子化処理を施して量子化データを生成する変換/量子化手段と、(3)前記量子化データを符号化して符号化データを出力する符号化手段と、(4)前記量子化データに逆量子化処理及び所定の逆変換処理を施して予測残差信号を復元した復元予測残差信号を取得する逆量子化/逆変換手段と、(5)前記予測画像に前記復元予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、(6)前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、(7)前記ループ内フィルタ手段によるフィルタ処理後の再構成画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段を有し、(8)前記ループ内フィルタ手段は、画像処理装置を用いてフィルタ処理を行い、(9)前記画像処理装置は、(9−1)線形フィルタ係数を記憶する記憶手段と、(9−2)対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、(9−3)前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、(9−4)前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段とを有し、(10)前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を決定するフィルタ係数決定手段をさらに備え、(11)前記画像処理装置の前記線形フィルタ処理手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を用いて線形フィルタ処理を行い、(12)前記符号化手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を前記符号化データに多重化し、(13)前記フィルタ係数決定手段は、前記画像処理装置の差分値制限処理で用いる差分制限値をさらに決定し、(14)前記画像処理装置の前記制限値処理手段は、前記フィルタ係数決定手段が決定した差分制限値を用いて差分値制限処理を行い、(15)前記符号化手段は、前記フィルタ係数決定手段が決定した差分制限値を前記符号化データに多重化することを特徴とする。The first video coding apparatus of the present invention obtains (1) a predictive image generating means for generating a predicted image for a frame to be coded of video data, and (2) a difference between the predicted image and the coded frame. A conversion / quantization means for generating quantization data by performing a predetermined conversion process and a quantization process on the predicted residual signal shown, and (3) coding for encoding the quantization data and outputting the coded data. Means and (4) Inverse quantization / inverse conversion means for acquiring a restored predicted residual signal obtained by subjecting the quantization data to an inverse quantization process and a predetermined inverse conversion process to restore the predicted residual signal, and (5). ) Reconstructed image acquisition means for acquiring the reconstructed image by adding the restored predicted residual signal to the predicted image, (6) In-loop filter means for applying a predetermined filtering process to the reconstructed image, and (7). ) It has a reference image buffer means that holds a reconstructed image after filtering by the in-loop filter means and supplies it as a reference image to the predicted image generation means. (8) The in-loop filter means is an image processing apparatus. (9) The image processing apparatus uses (9-1) a storage means for storing a linear filter coefficient, (9-2) a pixel value of a target pixel, and peripheral pixels of the target pixel. Among the difference value calculating means for calculating the difference value from the pixel value of (9-3) and the difference value calculated by the difference value calculating means, there is a difference value whose absolute value exceeds a predetermined difference limit value. If so, the limit value processing means for performing the difference value limiting process for changing the absolute value of the difference value to a predetermined value equal to or less than the difference limit value, (9-4) the pixel value of the target pixel, and the limit value. The difference value corresponding to each of the peripheral pixels after the change processing by the processing means is input, and the linear filter processing based on the linear filter coefficient stored in the storage means for the target pixel is performed, and the linear filter processing is performed. It has a linear filter processing means for outputting the pixel value of the target pixel later, and (10) further includes a filter coefficient determining means for determining the linear filter coefficient used in the linear filter processing of the image processing apparatus (11). The linear filter processing means of the image processing apparatus performs linear filter processing using the linear filter coefficient determined by the filter coefficient determining means, and (12) the coding means is the linear determined by the filter coefficient determining means. The filter coefficient is multiplexed with the coded data, (13) the filter coefficient determining means further determines the difference limit value used in the difference value limiting process of the image processing apparatus, and (14) the image processing. The limit value processing means of the physical device performs the difference value limiting process using the difference limit value determined by the filter coefficient determining means, and (15) the coding means is the difference limiting determined by the filter coefficient determining means. It is characterized in that the value is multiplexed with the coded data.

第2の本発明の映像復号装置は、符号化された映像データを復号して復号データを取得する復号処理手段と、(1)前記映像データの復号対象フレームの予測画像を生成する予測画像生成手段と、(2)前記復号データに、逆量子化処理及び所定の逆変換処理を施して、復号対象フレームの予測残差信号を取得する逆量子化/逆変換手段と、(3)前記予測画像に前記予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、(4)前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、(5)前記ループ内フィルタによるフィルタ処理後の復号画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段とを有し、(6)前記ループ内フィルタ手段は、少なくとも画像処理装置を用いてフィルタ処理を行い、(7)前記画像処理装置は、(7−1)線形フィルタ係数を記憶する記憶手段と、(7−2)対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、(7−3)前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、(7−4)前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段とを有し、(8)前記復号処理手段は、前記復号データから、前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を取得し、(9)前記画像処理装置の前記線形フィルタ処理手段は、前記復号処理手段が取得した線形フィルタ係数を用いて線形フィルタ処理を行い、(10)前記復号処理手段は、前記復号データから、前記画像処理装置の差分値制限処理で用いる差分制限値を取得し、(11)前記画像処理装置の前記制限値処理手段は、前記復号処理手段が取得した差分制限値を用いて差分値制限処理を行うことを特徴とする。The second video decoding apparatus of the present invention is a decoding processing means for decoding encoded video data to acquire decoded data, and (1) predictive image generation for generating a predicted image of a frame to be decoded of the video data. Means, (2) inverse quantization / inverse conversion means for obtaining a predicted residual signal of a frame to be decoded by subjecting the decoded data to an inverse quantization process and a predetermined inverse conversion process, and (3) the prediction. Reconstructed image acquisition means for adding the predicted residual signal to the image to acquire the reconstructed image, (4) in-loop filter means for applying a predetermined filter process to the reconstructed image, and (5) in the loop. It has a reference image buffer means that holds the decoded image after filtering by the filter and supplies it to the predicted image generation means as a reference image. (6) The in-loop filter means filters by using at least an image processing apparatus. After processing, (7) the image processing apparatus includes (7-1) a storage means for storing linear filter coefficients, (7-2) pixel values of target pixels, and pixel values of peripheral pixels of the target pixels. If there is a difference value whose absolute value exceeds a predetermined difference limit value among the difference value calculation means for calculating the difference value of (7-3) and the difference value calculated by the difference value calculation means, the difference value is found. A limit value processing means for performing a difference value limiting process for changing the absolute value of the difference value to a predetermined value equal to or less than the difference limit value, and (7-4) a change between the pixel value of the target pixel and the limit value processing means. The difference value corresponding to each of the peripheral pixels after the processing is input, and the linear filter processing based on the linear filter coefficient stored in the storage means for the target pixel is performed, and the target after the linear filter processing. It has a linear filter processing means that outputs the pixel value of the pixel, (8) the decoding processing means acquires a linear filter coefficient used in the linear filter processing of the image processing apparatus from the decoding data, and (9) The linear filter processing means of the image processing device performs linear filter processing using the linear filter coefficient acquired by the decoding processing means, and (10) the decoding processing means uses the decoding data to obtain the image processing device of the image processing device. The difference limit value used in the difference value limiting process is acquired, and (11) the limit value processing means of the image processing apparatus performs the difference value limiting process using the difference limit value acquired by the decoding processing means. And.

の本発明の映像処理システムは、映像データを符号化して符号化データを出力する映像符号化装置と、前記符号化データを復号して復号画像を得る映像復号装置とを備える映像処理システムにおいて、前記映像符号化装置として第の本発明の映像符号化装置を適用し、前記映像復号装置として第の本発明の映像復号装置を適用したことを特徴とする。 The third video processing system of the present invention is a video processing system including a video coding device that encodes video data and outputs the coded data, and a video decoding device that decodes the coded data to obtain a decoded image. The video coding device of the first invention is applied as the video coding device, and the second video decoding device of the present invention is applied as the video decoding device.

本発明によれば、映像の符号化/復号の過程で必要となる画像のフィルタ処理をより効率的かつ高品質に行うことができる。 According to the present invention, image filtering required in the process of video coding / decoding can be performed more efficiently and with high quality.

第1の実施形態に係る制限付き線形フィルタ処理部の機能的構成について示したブロック図である。It is a block diagram which showed the functional structure of the restricted linear filter processing part which concerns on 1st Embodiment. 第1の実施形態に係る映像処理システムの構成例について示したブロック図である。It is a block diagram which showed the structural example of the video processing system which concerns on 1st Embodiment. 第1の実施形態に係る映像符号化装置の機能的構成について示したブロック図である。It is a block diagram which showed the functional structure of the video coding apparatus which concerns on 1st Embodiment. 第1の実施形態に係る映像復号装置の機能的構成について示したブロック図である。It is a block diagram which showed the functional structure of the image decoding apparatus which concerns on 1st Embodiment. 第1の実施形態に係る制限付き線形フィルタ処理部で用いられる処理対象画素に対する参照パターンの例について示した説明図である。It is explanatory drawing which showed the example of the reference pattern with respect to the processing target pixel used in the restricted linear filter processing part which concerns on 1st Embodiment. 第2の実施形態に係る制限付き線形フィルタ処理部の機能的構成について示したブロック図である。It is a block diagram which showed the functional structure of the limited linear filter processing part which concerns on 2nd Embodiment. 第2の実施形態に係る制限付き線形フィルタ処理部で用いられる処理対象画素に対する参照パターンの例について示した説明図である。It is explanatory drawing which showed the example of the reference pattern with respect to the processing target pixel used in the restricted linear filter processing part which concerns on 2nd Embodiment. 従来の映像符号化装置の機能的構成について示したブロック図である。It is a block diagram which showed the functional structure of the conventional video coding apparatus. 従来の映像復号装置の機能的構成について示したブロック図である。It is a block diagram which showed the functional structure of the conventional video decoding apparatus. 従来のバイラテラルフィルタ処理部の機能的構成について示したブロック図である。It is a block diagram which showed the functional structure of the conventional bilateral filter processing part. 従来のバイラテラルフィルタ処理部で行われるフィルタ処理の例について示した説明図である。It is explanatory drawing which showed the example of the filter processing performed in the conventional bilateral filter processing part.

(A)第1の実施形態
以下、本発明による像符号化装置、映像復号装置、及び映像処理システムの第1の実施形態を、図面を参照しながら詳述する。第1の実施形態では、本発明の画像処理装置、プログラム及び方法を、制限付き線形フィルタ処理部に適用した例について説明する。
(A) less than the first embodiment, film picture coding apparatus according to the present invention, video decoding apparatus, and a first embodiment of the image processing system will be described in detail with reference to the drawings. In the first embodiment, an example in which the image processing apparatus, program, and method of the present invention is applied to a restricted linear filter processing unit will be described.

(A−1)第1の実施形態の構成
図2は、第1の実施形態に係る映像処理システム1の全体構成について示したブロック図である。図2において括弧内の符号は、後述する第2、第3の実施形態で用いられる符号である。
(A-1) Configuration of First Embodiment FIG. 2 is a block diagram showing an overall configuration of a video processing system 1 according to the first embodiment. In FIG. 2, the reference numerals in parentheses are the reference numerals used in the second and third embodiments described later.

映像処理システム1は、符号化対象の入力映像(入力フレーム列)を符号化したストリームデータ(以下、「符号化ストリーム」と呼ぶ)を出力する映像符号化装置100と、映像符号化装置100で生成された符号化ストリームを復号して復号映像(復号フレーム列)を得る映像復号装置200とを有している。 The video processing system 1 includes a video coding device 100 that outputs stream data (hereinafter, referred to as “encoded stream”) in which an input video (input frame string) to be coded is encoded, and a video coding device 100. It has a video decoding device 200 that decodes the generated coded stream to obtain a decoded video (decoded frame sequence).

映像符号化装置100に供給される入力映像の入力方式は限定されないものであり、リアルタイムにカメラで撮影(撮像)された映像信号としてもよいし、HDDやDVD等のデータ記録媒体に記録されたデータ(オフラインデータ)に基づく映像を読み込むようにしてもよいし、通信により供給されるデータ(オンラインデータ)に基づく映像を読み込むようにしてもよい。 The input method of the input video supplied to the video coding apparatus 100 is not limited, and it may be a video signal captured (captured) by a camera in real time, or recorded on a data recording medium such as an HDD or a DVD. The video based on the data (offline data) may be read, or the video based on the data (online data) supplied by communication may be read.

映像復号装置200に供給される符号化ストリームのデータについても入力方式は限定されないものであり、リアルタイムに通信により符号化ストリームを受信(映像符号化装置100から受信)するようにしてもよいし、データ記録媒体に記録された符号化ストリームのデータをオフラインで読み込むようにしてもよい。 The input method is not limited to the data of the coded stream supplied to the video decoding device 200, and the coded stream may be received (received from the video coding device 100) by communication in real time. The data of the coded stream recorded on the data recording medium may be read offline.

図3は、この実施形態に係る映像符号化装置100の全体構成について示したブロック図である。なお、図3において、括弧内の符号は後述する第2、第3の実施形態で用いられる符号である。 FIG. 3 is a block diagram showing the overall configuration of the video coding apparatus 100 according to this embodiment. In FIG. 3, the reference numerals in parentheses are the reference numerals used in the second and third embodiments described later.

映像符号化装置100は、差分処理部101、変換部102、量子化部103、エントロピー符号化部104、逆量子化部105、逆変換部106、加算部107、ループ内フィルタ部108、参照画像バッファ109、インター予測部110、イントラ予測部111、切替部112、及びフィルタ係数決定部120を有している。また、ループ内フィルタ部108は、制限付き線形フィルタ処理部10を有している。 The video coding apparatus 100 includes a difference processing unit 101, a conversion unit 102, a quantization unit 103, an entropy coding unit 104, an inverse quantization unit 105, an inverse conversion unit 106, an addition unit 107, an in-loop filter unit 108, and a reference image. It has a buffer 109, an inter-prediction unit 110, an intra-prediction unit 111, a switching unit 112, and a filter coefficient determination unit 120. Further, the in-loop filter unit 108 has a limited linear filter processing unit 10.

映像符号化装置100は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム(実施形態に係る映像符号化プログラムを含む)をインストールすることにより構築するようにしてもよい。また、上述の映像符号化プログラムには、制限付き線形フィルタ処理部10に相当するプログラム(実施形態に係る画像処理プログラム)が含まれる。 The video coding device 100 may be constructed, for example, by installing a program (including the video coding program according to the embodiment) on a computer having a processor and a memory. Further, the above-mentioned video coding program includes a program (image processing program according to the embodiment) corresponding to the limited linear filter processing unit 10.

インター予測部110は、入力フレーム(符号化対象フレーム)の各処理単位領域に対して、参照画像バッファ109を参照し、動き補償を伴うインター予測を行い、予測画像を生成する。 The inter-prediction unit 110 refers to the reference image buffer 109 for each processing unit area of the input frame (encoded frame), performs inter-prediction with motion compensation, and generates a predicted image.

イントラ予測部111は、入力された入力フレーム(符号化対象フレーム)の各処理単位領域に対して、画面内の符号化済の再構成画素等から予測を行い、予測画像を生成する。 The intra prediction unit 111 makes a prediction for each processing unit area of the input input frame (encoded frame) from the encoded reconstructed pixels in the screen, and generates a predicted image.

切替部112は、符号化モードに応じて予測画像の出力元(インター予測部110の予測画像、又はイントラ予測部111の予測画像)を切り替える。 The switching unit 112 switches the output source of the prediction image (the prediction image of the inter prediction unit 110 or the prediction image of the intra prediction unit 111) according to the coding mode.

差分処理部101は、入力フレーム(符号化対象フレーム)と予測画像との差分である予測残差信号を求める。 The difference processing unit 101 obtains a predicted residual signal which is a difference between an input frame (encoded frame) and a predicted image.

変換部102は、予測残差信号をDCT(離散コサイン変換)やDST(離散サイン変換)によって変換して変換係数を得る処理を行う。 The conversion unit 102 performs a process of converting the predicted residual signal by DCT (discrete cosine transform) or DST (discrete sine transform) to obtain a conversion coefficient.

量子化部103は、変換部102により得られた変換係数を量子化する処理を行う。 The quantization unit 103 performs a process of quantizing the conversion coefficient obtained by the conversion unit 102.

エントロピー符号化部104は、量子化された変換係数や予測モード情報、動きベクトル情報等を多重化してエントロピー符号化する処理を行う。 The entropy coding unit 104 performs a process of multiplexing the quantized conversion coefficient, prediction mode information, motion vector information, and the like to perform entropy coding.

逆量子化部105は、量子化された変換係数を逆量子化する処理を行う。 The dequantization unit 105 performs a process of dequantizing the quantized conversion coefficient.

逆変換部106は、逆量子化部105により得られた変換係数を逆変換処理して元のデータ(残差信号等)を復元する処理を行う。 The inverse transformation unit 106 performs an inverse transformation process on the conversion coefficient obtained by the inverse quantization unit 105 to restore the original data (residual signal or the like).

加算部107は、復元された予測残差信号に予測画像を加算して再構成画像を求める処理を行う。 The addition unit 107 performs a process of adding a predicted image to the restored predicted residual signal to obtain a reconstructed image.

ループ内フィルタ部108は、少なくとも制限付き線形フィルタ処理部10を用いてフィルタ処理を行うものである。 The in-loop filter unit 108 performs filtering using at least the limited linear filter processing unit 10.

フィルタ係数決定部120は、ループ内フィルタ部108で用いる線形フィルタ係数を決定する処理を行う。 The filter coefficient determination unit 120 performs a process of determining the linear filter coefficient used by the in-loop filter unit 108.

ループ内フィルタ部108でフィルタされた復号画像はインター予測の動き補償のための参照画像として参照画像バッファ109に保持され、エントロピー符号化部104からの符号化ストリームが符号化処理結果として出力される。 The decoded image filtered by the in-loop filter unit 108 is held in the reference image buffer 109 as a reference image for motion compensation of inter-prediction, and the coded stream from the entropy coding unit 104 is output as the coding process result. ..

ループ内フィルタ部108は、再構成画像にフィルタ処理を施す制限付き線形フィルタ処理部10を有している。また、映像符号化装置100では、制限付き線形フィルタ処理部10で用いる線形フィルタ係数を決定するフィルタ係数決定部120が設けられている。また、映像符号化装置100では、フィルタ係数決定部120で決定した線形フィルタ係数は、エントロピー符号化部104で符号化されて符号化ストリームに多重化して出力される。 The in-loop filter unit 108 has a limited linear filter processing unit 10 that filters the reconstructed image. Further, the video coding apparatus 100 is provided with a filter coefficient determining unit 120 for determining the linear filter coefficient used in the restricted linear filter processing unit 10. Further, in the video coding apparatus 100, the linear filter coefficient determined by the filter coefficient determining unit 120 is encoded by the entropy coding unit 104, multiplexed into a coded stream, and output.

なお、ループ内フィルタ部108には制限付き線形フィルタ処理部10のほかに、HEVCで用いられているデブロッキングフィルタや、サンプル適応オフセット(SAO(Sample Adaptifve Offset))のようなフィルタを組み合わせて用いても良い。また、制限付き線形フィルタ処理部10をサンプル適応オフセットのフィルタタイプの一種として、サンプル適応オフセットと制限付き線形フィルタ処理部10を処理単位領域ごとに選択的に用いるように構成しても良い。 In addition to the limited linear filter processing unit 10, the in-loop filter unit 108 is used in combination with a deblocking filter used in HEVC and a filter such as a sample adaptive offset (SAO (Sample Adaptive Offset)). You may. Further, the restricted linear filter processing unit 10 may be used as a kind of filter type of the sample adaptive offset, and the sample adaptive offset and the restricted linear filter processing unit 10 may be configured to be selectively used for each processing unit area.

次に、図4を用いて、第1の実施形態の映像復号装置200の構成について説明する。なお、図4において、括弧内の符号は後述する第2、第3の実施形態で用いられる符号である。 Next, the configuration of the video decoding apparatus 200 of the first embodiment will be described with reference to FIG. In FIG. 4, the reference numerals in parentheses are the reference numerals used in the second and third embodiments described later.

図4に示すように、第1の実施形態の映像復号装置200は、エントロピー復号部204、逆量子化部205、逆変換部206、加算部207、ループ内フィルタ部208、参照画像バッファ209、インター予測部210、イントラ予測部211、切替部212を有している。また、ループ内フィルタ部208は、制限付き線形フィルタ処理部10を有している。 As shown in FIG. 4, the video decoding apparatus 200 of the first embodiment includes an entropy decoding unit 204, an inverse quantization unit 205, an inverse conversion unit 206, an addition unit 207, an in-loop filter unit 208, and a reference image buffer 209. It has an inter-prediction unit 210, an intra-prediction unit 211, and a switching unit 212. Further, the in-loop filter unit 208 has a limited linear filter processing unit 10.

映像復号装置200は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム(実施形態に係る映像復号プログラムを含む)をインストールすることにより構築するようにしてもよい。また、上述の映像復号プログラムには、制限付き線形フィルタ処理部10に相当するプログラム(実施形態に係る画像処理プログラム)が含まれる。 The video decoding device 200 may be constructed, for example, by installing a program (including the video decoding program according to the embodiment) on a computer having a processor and a memory. Further, the above-mentioned video decoding program includes a program (image processing program according to the embodiment) corresponding to the limited linear filter processing unit 10.

エントロピー復号部204は、入力された符号化ストリームをエントロピー復号して量子化された変換係数や符号化モード情報、動きベクトル情報等を取得する。 The entropy decoding unit 204 entropy-decodes the input coded stream to acquire the quantized conversion coefficient, coding mode information, motion vector information, and the like.

逆量子化部205は、復号された結果から得られた量子化された変換係数を逆量子化して、変換係数を得るものである。 The dequantization unit 205 dequantizes the quantized conversion coefficient obtained from the decoded result to obtain the conversion coefficient.

逆変換部206は、逆量子化部205が逆量子化した変換係数を逆変換して予測残差信号を取得する。 The inverse transformation unit 206 acquires a predicted residual signal by inversely transforming the conversion coefficient inversely quantized by the inverse quantization unit 205.

インター予測部210は、参照画像バッファ209の画像を参照して、動き補償予測に基づく予測画像を生成する。 The inter-prediction unit 210 refers to the image of the reference image buffer 209 and generates a prediction image based on the motion compensation prediction.

イントラ予測部211は、画面内の再構成画素等から予測を行って予測画像を生成する。 The intra prediction unit 211 makes a prediction from the reconstructed pixels in the screen and generates a prediction image.

切替部212は、復号された符号化モード情報にしたがって、予測画像の取得元(インター予測部210の予測画像、又はイントラ予測部211の予測画像)を切り替える処理を行う。 The switching unit 212 performs a process of switching the acquisition source of the predicted image (predicted image of the inter-predicted unit 210 or the predicted image of the intra-predicted unit 211) according to the decoded coding mode information.

加算部207は、逆変換部206から得られた予測残差信号と予測画像(切替部212により選択された予測画像)とを加算して再構成画像を得る処理を行う。 The addition unit 207 performs a process of adding the prediction residual signal obtained from the inverse conversion unit 206 and the prediction image (prediction image selected by the switching unit 212) to obtain a reconstructed image.

ループ内フィルタ部208は、再構成画像に対して制限付き線形フィルタを含むループ内フィルタを適用する処理を行う。 The in-loop filter unit 208 performs a process of applying an in-loop filter including a restricted linear filter to the reconstructed image.

ループ内フィルタ部208で得られた復号画像は復号処理結果として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ209に保持される。 The decoded image obtained by the in-loop filter unit 208 is output as a decoding process result, and is held in the reference image buffer 209 as a reference image for subsequent inter-prediction.

映像復号装置200では、ループ内フィルタ部208に制限付き線形フィルタ処理部10を用いている。また、映像復号装置200では、この制限付き線形フィルタ処理部10で用いる線形フィルタ係数の情報として、符号化ストリームからエントロピー復号して得られた線形フィルタ係数を用いる。 In the video decoding apparatus 200, the limited linear filter processing unit 10 is used for the in-loop filter unit 208. Further, in the video decoding apparatus 200, the linear filter coefficient obtained by entropy decoding from the coded stream is used as the information of the linear filter coefficient used in the limited linear filter processing unit 10.

また、映像復号装置200では、映像符号化装置100と同様に、ループ内フィルタ部208には、制限付き線形フィルタ処理部10の他に、HEVCで用いられているデブロッキングフィルタや、サンプル適応オフセットのようなフィルタを組み合わせて用いても良い。また、制限付き線形フィルタ処理部10をサンプル適応オフセットのフィルタタイプの一種として、サンプル適応オフセットと制限付き線形フィルタを処理単位領域ごとに選択的に用いるように構成しても良い。 Further, in the video decoding device 200, similarly to the video coding device 100, the in-loop filter unit 208 includes a deblocking filter used in HEVC and a sample adaptive offset in addition to the limited linear filter processing unit 10. You may use a combination of filters such as. Further, the restricted linear filter processing unit 10 may be configured to selectively use the sample adaptive offset and the restricted linear filter for each processing unit region as a kind of filter type of the sample adaptive offset.

上述の通り、第1の実施形態では、映像符号化装置100のループ内フィルタ部108、及び映像復号装置200のループ内フィルタ部208に、制限付き線形フィルタ処理部10が含まれている。以下では、ループ内フィルタ部108、208に搭載される制限付き線形フィルタ処理部10の構成例について説明する。 As described above, in the first embodiment, the in-loop filter unit 108 of the video coding device 100 and the in-loop filter unit 208 of the video decoding device 200 include the limited linear filter processing unit 10. Hereinafter, a configuration example of the restricted linear filter processing unit 10 mounted on the in-loop filter units 108 and 208 will be described.

図1は、第1の実施形態の制限付き線形フィルタ処理部10の構成例について示したブロック図である。 FIG. 1 is a block diagram showing a configuration example of the restricted linear filter processing unit 10 of the first embodiment.

図1に示すように、制限付き線形フィルタ処理部10は、線形フィルタ処理部11、線形フィルタ係数記憶部12、差分値算出部13、及び制限値処理部14を有している。 As shown in FIG. 1, the limited linear filter processing unit 10 includes a linear filter processing unit 11, a linear filter coefficient storage unit 12, a difference value calculation unit 13, and a limit value processing unit 14.

線形フィルタ係数記憶部12は、フィルタ係数決定部120もしくはエントロピー復号部204から得られる線形フィルタ係数を記憶する。 The linear filter coefficient storage unit 12 stores the linear filter coefficient obtained from the filter coefficient determination unit 120 or the entropy decoding unit 204.

差分値算出部13は、処理対象となる領域内のそれぞれの画素ごとに、処理対象画素とその周辺画素を入力し、周辺画素と対象画素の差分値を算出する。 The difference value calculation unit 13 inputs the processing target pixel and its peripheral pixel for each pixel in the area to be processed, and calculates the difference value between the peripheral pixel and the target pixel.

制限値処理部14は、所定の差分制限値が入力され、差分値算出部13からの差分値の絶対値が差分制限値を超える差分値に対して制限を施す処理を行う。 The limit value processing unit 14 inputs a predetermined difference limit value, and performs a process of limiting the difference value in which the absolute value of the difference value from the difference value calculation unit 13 exceeds the difference limit value.

線形フィルタ処理部11は、対象画素と制限値処理部14からの制限された差分値を入力して、線形フィルタ係数記憶部12のフィルタ係数を参照して線形フィルタ処理を行い、対象画素に対するフィルタ結果の画素値として出力する。 The linear filter processing unit 11 inputs the limited difference value from the target pixel and the limit value processing unit 14, performs linear filter processing with reference to the filter coefficient of the linear filter coefficient storage unit 12, and filters the target pixel. Output as the resulting pixel value.

(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の映像処理システム1の動作(映像符号化装置100、映像復号装置200、及び制限付き線形フィルタ処理部10の動作)について説明する。
(A-2) Operation of First Embodiment Next, the operation of the video processing system 1 of the first embodiment having the above configuration (video coding device 100, video decoding device 200, and restricted linear line). The operation of the filter processing unit 10) will be described.

まず、映像符号化装置100のループ内フィルタ部108、及び映像復号装置200のループ内フィルタ部208が備える制限付き線形フィルタ処理部10の動作について説明する。 First, the operation of the in-loop filter unit 108 of the video coding device 100 and the restricted linear filter processing unit 10 included in the in-loop filter unit 208 of the video decoding device 200 will be described.

図1に示すように、第1の実施形態の制限付き線形フィルタ処理部10では、線形フィルタ係数は自由に設定可能な線形フィルタとする代わりに、フィルタの入力となる周辺画素との差分値に対して制限値処理を施すことでエッジ保存する性質を実現する。 As shown in FIG. 1, in the limited linear filter processing unit 10 of the first embodiment, the linear filter coefficient is not a linear filter that can be freely set, but a difference value from the peripheral pixels that is the input of the filter. On the other hand, by applying limit value processing, the property of edge preservation is realized.

制限付き線形フィルタ処理部10では、例えば、図5に示すように処理対象の画素cに対してその上下左右(垂直方向及び水平方向)に隣接する4つの画素n、n、n、nを参照して、フィルタ処理結果の画素値c’を求める。制限付き線形フィルタ処理部10では、例えば、以下の(3)式を用いて、画素値c’を求めるようにしてもよい。
c’=Clip1(c+((Σf(n,−c,u)+b+r)>>s))…(3)
In the limited linear filter processing unit 10, for example, as shown in FIG. 5, four pixels n 0 , n 1 , n 2 , which are adjacent to the pixel c to be processed vertically and horizontally (vertically and horizontally), With reference to n 3 , the pixel value c'of the filter processing result is obtained. In the limited linear filter processing unit 10, for example, the pixel value c'may be obtained by using the following equation (3).
c '= Clip1 (c + ( (Σ i a i f (n i, -c, u) + b + r) >> s)) ... (3)

(3)式において、a,bは線形フィルタ係数であり、線形フィルタ係数記憶部12から供給されるパラメーターである。また、(3)式において、添え字iは周辺画素nの位置i=0〜3である。さらに、(3)式において、r,sは整数演算で固定少数演算を行うためのシフト量sと丸め「r=1<<(s−1)」を表している。さらにまた、(3)式において、Clip1は画素値の値を有効な画素値の範囲にクリッピングする関数である。Clip1は、例えば、8ビット画像が処理対象の場合は0〜255の範囲にクリッピングし、10ビット画像の場合は0〜1023の範囲にクリッピングするものとする。JEMではクリッピングの上限、下限の値を指定可能となっているため、制限付き線形フィルタ処理部10において、(3)式の演算を行う際に、上述のClip1に替えて、JEMの機能を用いて指定した範囲にクリッピングする処理を用いても良い。なお、ループ内フィルタ部108、208において、制限付き線形フィルタ処理部10の結果を、さらに処理(例えば、さらに他のフィルタ処理)する場合には、上述の(3)式からクリッピング処理(Clip1の処理)を省略しても良い。 In the equation (3), ai and b are linear filter coefficients, which are parameters supplied from the linear filter coefficient storage unit 12. Further, (3) In the equation, suffix i is the position i = 0 to 3 of the peripheral pixel n i. Further, in the equation (3), r and s represent the shift amount s and the rounding "r = 1 <<(s-1)" for performing the fixed minority operation by the integer operation. Furthermore, in equation (3), Clip1 is a function that clips the pixel value to a range of valid pixel values. Clip1 is assumed to, for example, clip in the range of 0 to 255 when the 8-bit image is the processing target, and clip in the range of 0 to 1023 in the case of the 10-bit image. Since the upper and lower limits of clipping can be specified in JEM, the limited linear filter processing unit 10 uses the JEM function instead of Clip1 when performing the calculation of equation (3). You may use the process of clipping to the specified range. When further processing (for example, further filtering) the result of the restricted linear filter processing unit 10 in the in-loop filter units 108 and 208, clipping processing (Clip 1) is performed from the above equation (3). Processing) may be omitted.

また、f(x,u)は差分値を制限するための関数であり、例えば、以下の(4)式のような関数を用いることができる。 Further, f (x, u) is a function for limiting the difference value, and for example, a function as shown in the following equation (4) can be used.

これにより、差分制限値uよりも差分値xの絶対値が大きい場合(すなわち、対象画素値と周辺画素値の差が大きい場合)は、当該周辺画素が、制限付き線形フィルタ処理部10のフィルタ結果(上述の(3)式の結果)へ与える影響を抑制する。 As a result, when the absolute value of the difference value x is larger than the difference limit value u (that is, when the difference between the target pixel value and the peripheral pixel value is large), the peripheral pixel is the filter of the restricted linear filter processing unit 10. The influence on the result (the result of the above formula (3)) is suppressed.

制限付き線形フィルタ処理部10において、差分値を制限する関数としては、例えば、以下の式(5)のような関数を用いても良い。(5)式では、差分値xの絶対値が差分制限値uを超える場合に、差分値を±uに制限する関数であり、同様にこのような画素のフィルタ結果への影響を抑制することができる。

Figure 0006919424
As a function for limiting the difference value in the limited linear filter processing unit 10, for example, a function as shown in the following equation (5) may be used. Equation (5) is a function that limits the difference value to ± u when the absolute value of the difference value x exceeds the difference limit value u, and similarly suppresses the influence of such pixels on the filter result. Can be done.
Figure 0006919424

(3)式では、定数項bを設けているが、定数項bを用いない構成や、定数項bの有無を上位シンタックス等でシグナリング可能(映像符号化装置100側からエントロピー復号部204に通知可能)としても良い。また、(3)式において、フィルタ係数の固定少数精度を表すシフト量sもあらかじめ定めた固定値としても良いし、シフト量sの値を上位シンタックス等でシグナリング可能としても良い。 In the equation (3), the constant term b is provided, but the configuration that does not use the constant term b and the presence / absence of the constant term b can be signaled by higher-level syntax or the like (from the video encoding device 100 side to the entropy decoding unit 204). Notification is possible). Further, in the equation (3), the shift amount s representing the fixed minority accuracy of the filter coefficient may be a predetermined fixed value, or the value of the shift amount s may be signaled by higher syntax or the like.

なお、制限付き線形フィルタ処理部10は、周辺画素nが画面外の画素を含む場合や、スライスやタイルのような画面分割境界外の画素を含む場合の動作は、参照できない(しない)画素の値をn=cとみなして(すなわち(n−c)=0として)処理するよう構成としても良い。 Incidentally, limited linear filter processing unit 10, and when the peripheral pixel n i comprises pixels outside the screen, the operation of the case of including a split screen bounds of pixels as a slice or tiles can not see (or not) a pixel considers the value as n i = c (i.e. (n i -c) = 0 as) may be configured to process.

制限付き線形フィルタ処理部10において、制限値uは、従来技術のσと同様な量子化パラメーターに依存する値として算出するようにしても良いし、映像符号化装置100が明示的に指定可能な値としてシグナリングするようにしても良い。 In the limited linear filter processing unit 10, the limit value u may be calculated as a value depending on the quantization parameter similar to σ r of the prior art, or may be explicitly specified by the video coding apparatus 100. It may be signaled as a value.

以上のように、制限付き線形フィルタ処理部10の制限付き線形フィルタ処理部10では、上記の(3)式(又は(3)式を変形した式)に相当する処理を行う。 As described above, the limited linear filter processing unit 10 of the restricted linear filter processing unit 10 performs a process corresponding to the above equation (3) (or an equation obtained by modifying the equation (3)).

差分値算出部13では、フィルタ対象画素cと周辺画素nとの差分値n−cを求める処理を行うが、以下の(6)式、(7)式のように構成しても良い。すなわち、フィルタ対象の領域のフィルタ処理前の再構成画像をI(x,y)として、x方向とy方向の勾配画像I(x,y)とI(x,y)を処理対象領域にわたって求め、中間画像として保持するようにしてもよい。
(x,y)=I(x+1,y)−I(x,y) …(6)
(x,y)=I(x,y+1)−I(x,y) …(7)
In the difference value calculation unit 13, performs processing for calculating a difference value n i -c the filtration pixel c and the peripheral pixel n i, the following equation (6) may be configured as (7) .. That is, the reconstructed image of the area to be filtered before filtering is I (x, y), and the gradient images I x (x, y) and I y (x, y) in the x and y directions are the processing target areas. It may be obtained over and retained as an intermediate image.
I x (x, y) = I (x + 1, y) -I (x, y) ... (6)
I y (x, y) = I (x, y + 1) -I (x, y) ... (7)

図5のn,nに対しては差分値(―I(x,y−1),―I(x−1,y))の符号が反転した値となるが、後の処理で対応する係数aの符号を反転して適用することで打ち消すことができる。 The difference values (-I y (x, y-1), -I x (x-1, y)) are inverted values for n 0 and n 3 in FIG. 5, but the subsequent processing It can be canceled by inverting and applying the sign of the corresponding coefficient ai in.

制限値処理部14では、所定の差分制限値uを用いて、差分値算出部13で求めた差分値に対して、(4)式もしくは(5)式で表されるような関数を適用し、f(I,u),f(I,u)を求め、これを処理対象領域にわたって中間画像として保持する。 The limit value processing unit 14 uses a predetermined difference limit value u to apply a function represented by the equation (4) or the equation (5) to the difference value obtained by the difference value calculation unit 13. , F (I x , u), f (I y , u) are obtained and held as an intermediate image over the processing target area.

線形フィルタ処理部11では、制限値処理部14で求めた制限された差分値と、対象画素値を入力として、線形フィルタ係数記憶部12からの線形フィルタ係数a,bを用いた、(制限された)差分値の線形結合を求める(3)式の処理を行い、得られた結果を対象画素に対するフィルタ処理結果の画素値とする。この時、n,nに対する係数a,aの符号を反転した値(−a,−a)を線形フィルタ係数記憶部12に記憶しておくことで、符号の反転した制限された差分値を含む係数との積和処理を簡単化しても良い。 The linear filter processing unit 11 uses the limited difference values obtained by the limit value processing unit 14 and the target pixel values as inputs , and uses the linear filter coefficients ai and b from the linear filter coefficient storage unit 12 (limitation). The process of Eq. (3) for obtaining the linear combination of the difference values () is performed, and the obtained result is used as the pixel value of the filter processing result for the target pixel. At this time, by storing in the linear filter coefficient storage unit 12 the values (−a 0 , −a 3 ) in which the codes of the coefficients a 0 and a 3 with respect to n 0 and n 3 are inverted, the restrictions in which the symbols are inverted are limited. The product-sum processing with the coefficient including the difference value may be simplified.

図1に示すような、制限付き線形フィルタ処理部10を用いる映像復号装置200では、エントロピー復号部204で、符号化ストリームに多重化された制限付き線形フィルタで用いる線形フィルタ係数を復号し、ループ内フィルタ部208に含まれる制限付き線形フィルタ処理部10の線形フィルタ係数記憶部12に格納する。 In the video decoding apparatus 200 using the restricted linear filter processing unit 10 as shown in FIG. 1, the entropy decoding unit 204 decodes the linear filter coefficient used in the restricted linear filter multiplexed on the coded stream and loops. It is stored in the linear filter coefficient storage unit 12 of the restricted linear filter processing unit 10 included in the inner filter unit 208.

線形フィルタ係数を符号化ストリームに多重化する方法としては、例えば、スライスヘッダやピクチャパラメーターセット等のパラメーターセットのような上位シンタックスで符号化する方法を適用してもよい。例えば、符号化ストリームの符号化方式としてHEVCと同様な符号化方式を適用した場合を想定する。この場合、HEVCのサンプル適応オフセット(SAO)と同様に符号化ツリーユニット(HEVCでは最大64x64画素の領域、JEMではさらに大きな符号化ツリーユニットを利用可能)のような処理単位領域ごとに、制限付き線形フィルタを、SAOの処理タイプ(例えばBO,EOなどの処理タイプがある)の一種として選択的に用いるように構成し、処理タイプとして制限付き線形フィルタタイプを選択している場合は、対象の処理単位領域で用いる線形フィルタ係数a,bをシグナリングするようにしても良い。さらに、この場合、4つの線形フィルタ係数aに関しては、他のSAOの処理タイプ(BOやE0)の4つのオフセット値を符号化するのと同じエントロピー符号化方法を流用するなどして構成しても良い。 As a method of multiplexing the linear filter coefficient into the coded stream, for example, a method of encoding with an upper syntax such as a parameter set such as a slice header or a picture parameter set may be applied. For example, it is assumed that a coding method similar to HEVC is applied as the coding method of the coded stream. In this case, there is a limitation for each processing unit area such as a coded tree unit (a region of up to 64x64 pixels in HEVC, a larger coded tree unit can be used in JEM) as well as the sample adaptive offset (SAO) of HEVC. If the linear filter is configured to be selectively used as a type of SAO processing type (for example, there are processing types such as BO and EO), and the restricted linear filter type is selected as the processing type, the target The linear filter coefficients ai and b used in the processing unit region may be signaled. Further, in this case, the four linear filter coefficients ai are configured by diverting the same entropy coding method as encoding the four offset values of other SAO processing types (BO and E0). You may.

以上のように、映像符号化装置100の制限付き線形フィルタ処理部10で得られた線形フィルタ係数と同様のものが、映像復号装置200のループ内フィルタ部208側に伝送される。映像復号装置200では、得られた線形フィルタ係数を用いて、制限付き線形フィルタ処理(制限付き線形フィルタ処理部10を用いたフィルタ処理)を行うことで復号処理を行う。 As described above, the same linear filter coefficient obtained by the limited linear filter processing unit 10 of the video coding device 100 is transmitted to the in-loop filter unit 208 side of the video decoding device 200. The video decoding apparatus 200 performs a decoding process by performing a restricted linear filter process (filter process using the restricted linear filter processing unit 10) using the obtained linear filter coefficient.

上述のように、制限付き線形フィルタ処理部10を備える映像符号化装置100では、フィルタ係数決定部120で、最適な線形フィルタ係数の設計を行い、得られた線形フィルタ係数をループ内フィルタ部108に含まれる制限付き線形フィルタ処理部10の線形フィルタ係数記憶部12に格納する。また、映像符号化装置100のエントロピー符号化部104が、得られた線形フィルタ係数を上述のような符号化方法により符号化ストリームに多重化する。 As described above, in the video coding apparatus 100 including the limited linear filter processing unit 10, the filter coefficient determination unit 120 designs the optimum linear filter coefficient, and the obtained linear filter coefficient is used as the in-loop filter unit 108. It is stored in the linear filter coefficient storage unit 12 of the restricted linear filter processing unit 10 included in. Further, the entropy coding unit 104 of the video coding apparatus 100 multiplexes the obtained linear filter coefficient into a coded stream by the coding method as described above.

次に、フィルタ係数決定部120による線形フィルタ係数の設計処理について説明する。 Next, the design process of the linear filter coefficient by the filter coefficient determination unit 120 will be described.

以下では、同じ線形フィルタ係数を用いる領域内の各対象画素cとし、cに対する(3)式の制限付き線形フィルタによる結果をc’とし、対象画素の位置の入力画像の画素値をCとする。 In the following, the respective pixel c j in the area using the same linear filter coefficients, the result of (3) Restricted linear filter for c j and c j ', the pixel value of the input image at the position of the target pixel Let C j.

フィルタ係数決定部120は、フィルタ処理後の画素値c’の入力画像の画素値Cに対する誤差の和が最少となるよう線形フィルタ係数a,bを設計する。すなわち、フィルタ係数決定部120は、以下の(8)式のような誤差の二乗和Eが最少となるような線形フィルタ係数a,bを、最小二乗法を用いて求める。フィルタ係数決定部120は、誤差の二乗和Eについては、同じ線形フィルタ係数を用いることになる領域内の画素を収集することで求める。
E=Σ(c’−C …(8)
The filter coefficient determining unit 120 designs the linear filter coefficients ai and b so that the sum of the errors of the pixel value c j'after the filter processing with respect to the pixel value C j of the input image is minimized. That is, the filter coefficient determination unit 120 obtains the linear filter coefficients ai and b such that the sum of squares E of the errors is minimized as in the following equation (8) by using the least squares method. The filter coefficient determination unit 120 obtains the sum of squares E of the errors by collecting the pixels in the region where the same linear filter coefficient will be used.
E = Σ (c j'- C j ) 2 ... (8)

(8)式のような誤差の二乗和Eを最小化する係数a,bを求める場合、Eをa,bで偏微分した式が0となるようなa,bを、以下の(9)式のような連立方程式を解くことによって求めることができる。

Figure 0006919424
When finding the coefficients ai and b that minimize the sum of squares E of the error as in equation (8), the following ai and b are such that the equation obtained by partially differentiating E with respect to ai and b is 0. It can be obtained by solving simultaneous equations such as Eq. (9).
Figure 0006919424

(3)式では、制限された差分値f(I,u),f(I,u)に関する、a,bを係数とする一次式でありf(I,u),f(I,u)を入力値とみなす単純な最小二乗法で線形フィルタ係数a,bを求めることができる。 Equation (3) is a linear equation with ai and b as coefficients with respect to the restricted difference values f (I x , u) and f (I y , u), and is a linear equation with f (I x , u) and f ( The linear filter coefficients ai and b can be obtained by a simple least squares method that regards I y and u) as input values.

フィルタ係数決定部120は、制限付き線形フィルタ処理部10と、HEVCのSAOのようなフィルタを処理単位領域ごとに選択的に用いる場合は、このようにして最適設計した制限付き線形フィルタと、その他の(BOやEOといった)SAOタイプのいずれを用いるかを評価(例えば、それぞれのフィルタタイプによるフィルタ処理結果の入力画像に対する誤差(歪)を評価)する。そして、フィルタ係数決定部120は、最も入力画像からの画質劣化が少ないフィルタタイプを選択する。また、フィルタ係数決定部120は、例えば、レート歪最適化処理を用いてフィルタタイプを選択する。すなわち、フィルタ係数決定部120は、それぞれのフィルタタイプのフィルタを用いた場合の、入力画像に対するフィルタ処理結果の歪Dと、そのフィルタタイプを用いるために必要となる(フィルタタイプ情報と、オフセットもしくは線形フィルタ係数の符号化に必要となる)符号量Rのトレードオフを、ラグランジュ乗数λを用いてレート歪コスト「J=D+λR」として評価する。そして、フィルタ係数決定部120は、レート歪コストJが最少となるようなフィルタタイプのフィルタを対象領域に対して用いるよう選択する。 When the filter coefficient determining unit 120 selectively uses the restricted linear filter processing unit 10 and a filter such as SAO of HEVC for each processing unit area, the restricted linear filter optimally designed in this way and others Evaluate which of the SAO types (such as BO and EO) is used (for example, evaluate the error (distortion) of the filter processing result by each filter type with respect to the input image). Then, the filter coefficient determining unit 120 selects the filter type with the least deterioration in image quality from the input image. Further, the filter coefficient determination unit 120 selects a filter type by using, for example, rate distortion optimization processing. That is, the filter coefficient determining unit 120 is required to use the distortion D of the filter processing result for the input image when the filters of the respective filter types are used and the filter type (filter type information and offset or offset or The trade-off of the code amount R (necessary for coding the linear filter coefficient) is evaluated as the rate distortion cost “J = D + λR” using the Lagrange multiplier λ. Then, the filter coefficient determining unit 120 selects to use a filter of the filter type that minimizes the rate distortion cost J for the target region.

以上のようにして、映像符号化装置100では最適設計した線形フィルタ係数を用いた制限付き線形フィルタ処理を、ループ内フィルタ部108で行うことによって符号化処理を行う。 As described above, in the video coding apparatus 100, the limited linear filter processing using the optimally designed linear filter coefficient is performed by the in-loop filter unit 108 to perform the coding processing.

(A−3)第1の実施形態の効果
第1の実施形態によれば、以下のような効果を奏することができる。
(A-3) Effect of First Embodiment According to the first embodiment, the following effects can be obtained.

第1の実施形態の映像処理システム1では、ループ内フィルタ部108、208(制限付き線形フィルタ処理部10)において、従来技術のようにLUTを必要とするような複雑な演算処理を用いずに、周辺画素との差分値に簡単な制限値処理を加えるだけで差分値の大きな周辺画素からの影響を抑制するようにしている。すなわち、第1の実施形態のループ内フィルタ部108、208(制限付き線形フィルタ処理部10)では、従来のバイラテラルフィルタと同様なエッジを保存する性質をもつフィルタ処理を容易に施すことが可能となる。 In the video processing system 1 of the first embodiment, the in-loop filter units 108 and 208 (restricted linear filter processing unit 10) do not use complicated arithmetic processing that requires a LUT as in the prior art. , The influence from the peripheral pixel with a large difference value is suppressed only by adding a simple limit value processing to the difference value with the peripheral pixel. That is, in the in-loop filter units 108 and 208 (restricted linear filter processing unit 10) of the first embodiment, it is possible to easily perform filter processing having a property of preserving edges similar to the conventional bilateral filter. It becomes.

また、第1の実施形態のループ内フィルタ部108、208(制限付き線形フィルタ処理部10)では、フィルタ係数側ではなく、フィルタの入力値側に対して非線形な処理を施しているので、フィルタ処理自体は線形な係数演算となり、フィルタ係数の最適設計を容易に行うことが可能となる。 Further, in the in-loop filter units 108 and 208 (limited linear filter processing unit 10) of the first embodiment, non-linear processing is performed not on the filter coefficient side but on the input value side of the filter, so that the filter is filtered. The processing itself is a linear coefficient calculation, and the optimum design of the filter coefficient can be easily performed.

(B)第2の実施形態
以下、本発明による像符号化装置、映像復号装置、及び映像処理システムの第2の実施形態を、図面を参照しながら詳述する。第2の実施形態では、本発明の画像処理装置、プログラム及び方法を、制限付き線形フィルタ処理部に適用した例について説明する。
(B) The following second embodiment, film picture coding apparatus according to the present invention, video decoding apparatus, and a second embodiment of the image processing system will be described in detail with reference to the drawings. In the second embodiment, an example in which the image processing apparatus, program, and method of the present invention is applied to the restricted linear filter processing unit will be described.

(B−1)第2の実施形態の構成
第2の実施形態の映像処理システム1Aの全体構成についても、上述の図2を用いて示すことができる。以下では、第2の実施形態について、第1の実施形態との差異を説明する。
(B-1) Configuration of Second Embodiment The overall configuration of the video processing system 1A of the second embodiment can also be shown with reference to FIG. 2 described above. Hereinafter, the difference between the second embodiment and the first embodiment will be described.

図2に示す通り、映像処理システム1Aでは、映像符号化装置100と映像復号装置200が、映像符号化装置100Aと映像復号装置200Aに置き換えられている点で第1の実施形態と異なっている。 As shown in FIG. 2, the video processing system 1A differs from the first embodiment in that the video coding device 100 and the video decoding device 200 are replaced with the video coding device 100A and the video decoding device 200A. ..

第2の実施形態の映像符号化装置100A、映像復号装置200Aについても、第1の実施形態と同様に図3、図4を用いて示すことができる。 The video coding device 100A and the video decoding device 200A of the second embodiment can also be shown with reference to FIGS. 3 and 4 as in the first embodiment.

図3に示すように、映像符号化装置100Aでは、第1の実施形態と比較して、ループ内フィルタ部108、エントロピー符号化部104、フィルタ係数決定部120が、それぞれループ内フィルタ部108A、エントロピー符号化部104A、フィルタ係数決定部120Aに置き換えられている。また、図4に示すように、映像復号装置200Aでは、第1の実施形態と比較して、エントロピー復号部204、ループ内フィルタ部208が、それぞれエントロピー復号部204A、ループ内フィルタ部208Aに置き換えられている。さらに、図3、図4に示すように、ループ内フィルタ部108A、208Aでは、制限付き線形フィルタ処理部10が制限付き線形フィルタ処理部20に置き換えられている。 As shown in FIG. 3, in the video coding apparatus 100A, the in-loop filter unit 108, the entropy coding unit 104, and the filter coefficient determining unit 120 are in the loop filter unit 108A, respectively, as compared with the first embodiment. It has been replaced by the entropy encoding unit 104A and the filter coefficient determining unit 120A. Further, as shown in FIG. 4, in the video decoding apparatus 200A, the entropy decoding unit 204 and the in-loop filter unit 208 are replaced with the entropy decoding unit 204A and the in-loop filter unit 208A, respectively, as compared with the first embodiment. Has been done. Further, as shown in FIGS. 3 and 4, in the in-loop filter units 108A and 208A, the restricted linear filter processing unit 10 is replaced with the limited linear filter processing unit 20.

次に、制限付き線形フィルタ処理部20について、第1の実施形態の制限付き線形フィルタ処理部10との差異を説明する。 Next, the difference between the restricted linear filter processing unit 20 and the restricted linear filter processing unit 10 of the first embodiment will be described.

制限付き線形フィルタ処理部20は、制限付き線形フィルタで参照する周辺画素の参照パターンを複数用意し、選ばれた参照パターンの周辺画素を用いて制限付き線形フィルタ処理を行う点で第1の実施形態と異なっている。 The limited linear filter processing unit 20 prepares a plurality of reference patterns of peripheral pixels referenced by the restricted linear filter, and performs the limited linear filter processing using the peripheral pixels of the selected reference pattern. It is different from the form.

図6は、第2の実施形態に係る制限付き線形フィルタ処理部20の機能的構成について示したブロック図である。 FIG. 6 is a block diagram showing a functional configuration of the restricted linear filter processing unit 20 according to the second embodiment.

第2の実施形態の制限付き線形フィルタ処理部20では、差分値算出部13が差分値算出部23に置き換わっている点で第1の実施形態と異なっている。 The restricted linear filter processing unit 20 of the second embodiment is different from the first embodiment in that the difference value calculation unit 13 is replaced with the difference value calculation unit 23.

差分値算出部23は、選ばれた参照パターンの情報(以下、「パターンタイプ情報」と呼ぶ)の入力を受け、制限付き線形フィルタ処理で用いる周辺画素をパターンタイプ情報で指定されたパターンにしたがって、周辺画素との差分値の求め方を変更可能としている点で第1の実施形態と異なっている。制限付き線形フィルタ処理部20の詳細処理については後述する。 The difference value calculation unit 23 receives the input of the selected reference pattern information (hereinafter referred to as “pattern type information”), and sets the peripheral pixels used in the restricted linear filter processing according to the pattern specified in the pattern type information. , It is different from the first embodiment in that the method of obtaining the difference value from the peripheral pixels can be changed. The detailed processing of the limited linear filter processing unit 20 will be described later.

制限付き線形フィルタ処理部20では、例えば、図5の十字型のパターンや、図7のようなX字型のパターン等、複数の周辺画素の参照パターンのいずれかを用いて線形フィルタ処理を行う。第2の実施形態の制限付き線形フィルタ処理部20では、図5の十字型のパターン、又は図7のX字型のパターンのいずれかの周辺画素の参照パターンを用いるものとして説明するが、制限付き線形フィルタ処理部20で適用する周辺画素の参照パターンの数や種類は限定されないものである。 The limited linear filter processing unit 20 performs linear filter processing using any of a plurality of reference patterns of peripheral pixels, such as a cross-shaped pattern shown in FIG. 5 and an X-shaped pattern shown in FIG. 7. .. The restricted linear filter processing unit 20 of the second embodiment describes using the reference pattern of the peripheral pixels of either the cross-shaped pattern of FIG. 5 or the X-shaped pattern of FIG. 7, but is limited. The number and types of reference patterns of peripheral pixels applied by the linear filter processing unit 20 are not limited.

映像符号化装置100Aのループ内フィルタ部108Aは、いずれかのパターン(図5の十字型のパターン、又は図7のX字型のパターン)を指定する情報が設定されたパターンタイプ情報を、制限付き線形フィルタ処理部20(差分値算出部23)に供給する。また、映像符号化装置100Aのエントロピー符号化部304は、指定されたパターンタイプ情報を符号化ストリームに多重化して、映像復号装置200A側に通知する(シグナリングする)。 The in-loop filter unit 108A of the video coding apparatus 100A limits the pattern type information in which the information for specifying one of the patterns (the cross-shaped pattern of FIG. 5 or the X-shaped pattern of FIG. 7) is set. It is supplied to the linear filter processing unit 20 (difference value calculation unit 23). Further, the entropy coding unit 304 of the video coding device 100A multiplexes the designated pattern type information into a coding stream and notifies (signals) to the video decoding device 200A side.

符号化ストリーム上にパターンタイプ情報を多重化して通知(シグナリング)する方法は限定されないものである。例えば、パターンタイプ情報は、パラメーターセットのような上位シンタックスでシグナリングを行うようにしても良い。また、例えば、パターンタイプ情報をHEVCのようなSAOのタイプの一種として指定するようにしてもよい。HEVCのSAOにおいて、処理対象の画素と近傍の画素との関係に基づきオフセットを設定するモードとしてEO(Edge Offse)がある。EOでは、複数の参照パターン(EOクラス)のいずれかを選択することが可能となっており、EO0、EO1、…といった複数のSAOのタイプからの選択として指定している。そこで、この実施形態では、このSAOのタイプ情報を利用して、制限付き線形フィルタに係るパターンタイプ情報(制限付き線形フィルタの参照パターン)を、複数のSAOタイプ(例えばLO0,LO1)から選択して指定し、復号側にシグナリング(符号化ストリームに多重化して通知)するものとして説明する。例えば、映像符号化装置100Aで符号化する際に、SAOのタイプとして複数の制限付き線形フィルタタイプのいずれか(例えば、LO0、LO1のいずれか)をSAOタイプ情報として指定することでシグナリングするようにしてもよい。例えば、LO0を図5の十字型のパターンとし、LO1を図7のX字型のパターンとして取り扱うようにしてもよい。そして、映像復号装置200A側では、復号する際に、SAOのタイプ情報に設定された制限付き線形フィルタタイプ(例えば、LO0、LO1のいずれか)を読み取ることで、設定されたパターンタイプ情報を認識するようにしてもよい。 The method of multiplexing and notifying (signaling) pattern type information on the coded stream is not limited. For example, the pattern type information may be signaled by a higher-level syntax such as a parameter set. Further, for example, the pattern type information may be specified as a kind of SAO type such as HEVC. In HEVC SAO, there is EO (Edge Offse) as a mode for setting an offset based on the relationship between a pixel to be processed and a pixel in the vicinity. In EO, it is possible to select any one of a plurality of reference patterns (EO classes), and it is designated as a selection from a plurality of SAO types such as EO0, EO1, .... Therefore, in this embodiment, the pattern type information related to the restricted linear filter (reference pattern of the restricted linear filter) is selected from a plurality of SAO types (for example, LO0, LO1) by using the SAO type information. It will be described as signaling (multiplexing to a coded stream and notifying) to the decoding side. For example, when encoding with the video coding apparatus 100A, signaling is performed by designating one of a plurality of restricted linear filter types (for example, LO0 or LO1) as the SAO type information as SAO type information. It may be. For example, LO0 may be treated as the cross-shaped pattern of FIG. 5, and LO1 may be treated as the X-shaped pattern of FIG. Then, on the video decoding apparatus 200A side, when decoding, the set pattern type information is recognized by reading the restricted linear filter type (for example, either LO0 or LO1) set in the SAO type information. You may try to do it.

以下では、パターンタイプ情報(制限付き線形フィルタの参照パターンタイプ)について、上述のようにSAOのタイプの一種として処理するものとして説明する。 In the following, the pattern type information (reference pattern type of the restricted linear filter) will be described as being processed as a kind of SAO type as described above.

(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態の映像処理システム1Aの動作を説明する。
(B-2) Operation of the Second Embodiment Next, the operation of the video processing system 1A of the second embodiment having the above configuration will be described.

以下では、第2の実施形態の映像処理システム1Aの動作について、第1の実施形態との差異を説明する。 Hereinafter, the difference between the operation of the video processing system 1A of the second embodiment and that of the first embodiment will be described.

以下では、制限付き線形フィルタ処理部20の動作を中心に説明する。 Hereinafter, the operation of the restricted linear filter processing unit 20 will be mainly described.

第2の実施形態の復号装置では、エントロピー復号部204Aで復号したSAOタイプ情報に含まれる制限付き線形フィルタのパターンタイプ情報を抽出し、差分値算出部23に供給するとともに、制限付き線形フィルタタイプを用いる場合の線形フィルタ係数を、制限付き線形フィルタ処理部20の線形フィルタ係数記憶部12に供給する。 In the decoding device of the second embodiment, the pattern type information of the restricted linear filter included in the SAO type information decoded by the entropy decoding unit 204A is extracted and supplied to the difference value calculation unit 23, and the restricted linear filter type is supplied. Is supplied to the linear filter coefficient storage unit 12 of the limited linear filter processing unit 20.

制限付き線形フィルタ処理部20の差分値算出部23では、パターンタイプ情報で指定された、図5、又は図7のような参照パターンにしたがって対象画素cに隣接する画素を周辺画素n,n,n,nとして選択し、対象画素cとの差分を求めて制限値処理部14に供給する。 In the difference value calculation unit 23 of the limited linear filter processing unit 20, the peripheral pixels n 0 , n are the pixels adjacent to the target pixel c according to the reference pattern as shown in FIG. 5 or 7 specified in the pattern type information. It is selected as 1, n 2 , n 3 , and the difference from the target pixel c is obtained and supplied to the limit value processing unit 14.

ここでは、第1の実施形態のように、勾配画像I(x,y)とI(x,y)を対象領域にわたって求める構成とする。そして、差分値算出部23は、パターンタイプ情報で図7のX字型の参照パターンが指定されていた場合は、I(x,y)とI(x,y)に代わって、斜め方向の勾配画像I(x,y)とI(x,y)を求め、I,Iに代わってI,Iを制限値処理部14に供給する。
(x,y)=I(x+1,y−1)−I(x,y)…(10)
(x,y)=I(x+1,y+1)−I(x,y)…(11)
Here, as in the first embodiment, the gradient images I x (x, y) and I y (x, y) are obtained over the target region. Then, when the X-shaped reference pattern of FIG. 7 is specified in the pattern type information, the difference value calculation unit 23 obliquely replaces I x (x, y) and I y (x, y). Gradient images of directions I 1 (x, y) and I 0 (x, y) are obtained, and I 1 and I 0 are supplied to the limit value processing unit 14 in place of I x and I y.
I 1 (x, y) = I (x + 1, y-1) -I (x, y) ... (10)
I 0 (x, y) = I (x + 1, y + 1) -I (x, y) ... (11)

制限付き線形フィルタ処理部20では、制限値処理部14以降の処理は、第1の実施形態と同様であるため詳しい説明を省略する。 In the limited linear filter processing unit 20, the processing after the limited value processing unit 14 is the same as that of the first embodiment, and thus detailed description thereof will be omitted.

第2の実施形態の映像符号化装置100Aでは、フィルタ係数決定部120Aが、第1の実施形態のようなフィルタ係数の設計処理を、利用可能な複数の参照パターンについてそれぞれ行う。そして、フィルタ係数決定部120Aは、それぞれ得られた線形フィルタ係数を用いる制限付き線形フィルタタイプと、その他のBOやEOといったSAOタイプを選択する。その際、フィルタ係数決定部120Aは、第1の実施形態と同様に画像品質のみによる選択方式、あるいはレート歪最適化処理による選択方式により選択する処理を行う。そして、フィルタ係数決定部120Aは、制限付き線形フィルタ処理に用いるフィルタタイプを選択すると、その選択に対する線形フィルタ係数を、制限付き線形フィルタ処理部20の線形フィルタ係数記憶部12に供給し、選択された制限付き線形フィルタに対応するパターンタイプ情報を差分値算出部23に供給する。 In the video coding apparatus 100A of the second embodiment, the filter coefficient determining unit 120A performs the design processing of the filter coefficient as in the first embodiment for each of the plurality of available reference patterns. Then, the filter coefficient determination unit 120A selects a restricted linear filter type using each obtained linear filter coefficient and another SAO type such as BO or EO. At that time, the filter coefficient determination unit 120A performs a process of selecting by a selection method based only on image quality or a selection method based on rate distortion optimization processing, as in the first embodiment. Then, when the filter type used for the restricted linear filter processing is selected, the filter coefficient determining unit 120A supplies the linear filter coefficient for the selection to the linear filter coefficient storage unit 12 of the restricted linear filter processing unit 20 and selects the filter coefficient. The pattern type information corresponding to the limited linear filter is supplied to the difference value calculation unit 23.

選択されたパターンタイプ情報は、例えば、SAOタイプの一種としてエントロピー符号化部104Aで線形フィルタ係数と共にエントロピー符号化される(符号化ストリームに多重化される)。 The selected pattern type information is entropy-encoded (multiplexed into a coded stream) together with a linear filter coefficient by the entropy coding unit 104A as a kind of SAO type, for example.

(B−3)第2の実施形態の効果
第2の実施形態によれば、第1の実施形態の効果に加えて以下のような効果を奏することができる。
(B-3) Effect of Second Embodiment According to the second embodiment, the following effects can be obtained in addition to the effect of the first embodiment.

第2の実施形態の制限付き線形フィルタ処理部20では、第1の実施形態と同様にエッジを保存する性質をもつ最適な線形フィルタを施すことが可能になり、さらに複数の参照パターンから最適なものを選択可能となる。これにより、第2の実施形態の制限付き線形フィルタ処理部20では、第1の実施形態と比較して、より画質劣化が低減できるとともに、より符号化効率の高い符号化ストリームが生成可能となる。 In the limited linear filter processing unit 20 of the second embodiment, it is possible to apply an optimum linear filter having a property of preserving edges as in the first embodiment, and further, it is possible to perform an optimum linear filter from a plurality of reference patterns. You can select the one. As a result, the limited linear filter processing unit 20 of the second embodiment can further reduce the deterioration of image quality and can generate a coded stream having higher coding efficiency as compared with the first embodiment. ..

(C)第3の実施形態
以下、本発明による像符号化装置、映像復号装置、及び映像処理システムの第3の実施形態を、図面を参照しながら詳述する。第3の実施形態では、本発明の画像処理装置、プログラム及び方法を、制限付き線形フィルタ処理部に適用した例について説明する。
(C) the following third embodiment, film picture coding apparatus according to the present invention, video decoding apparatus, and a third embodiment of the image processing system will be described in detail with reference to the drawings. In the third embodiment, an example in which the image processing apparatus, program, and method of the present invention is applied to the restricted linear filter processing unit will be described.

(C−1)第3の実施形態の構成
第3の実施形態の映像処理システム1Bの全体構成についても、上述の図2を用いて示すことができる。以下では、第3の実施形態について、第1の実施形態との差異を説明する。
(C-1) Configuration of Third Embodiment The overall configuration of the video processing system 1B of the third embodiment can also be shown with reference to FIG. 2 described above. Hereinafter, the differences between the third embodiment and the first embodiment will be described.

図2に示す通り、映像処理システム1Bでは、映像符号化装置100が映像符号化装置100Bに置き換えられている点で第1の実施形態と異なっている。 As shown in FIG. 2, the video processing system 1B is different from the first embodiment in that the video coding device 100 is replaced with the video coding device 100B.

第3の実施形態の映像符号化装置100Bについても、第1の実施形態と同様に図3を用いて示すことができる。 The video coding apparatus 100B of the third embodiment can also be shown with reference to FIG. 3 as in the first embodiment.

図3に示すように、映像符号化装置100Bでは、第1の実施形態と比較して、エントロピー符号化部104、フィルタ係数決定部120が、それぞれエントロピー符号化部104B、フィルタ係数決定部120Bに置き換えられている。さらに、図4に示すように、映像復号装置200Bでは、第1の実施形態と比較して、エントロピー復号部204が、エントロピー復号部204Bに置き換えられている。 As shown in FIG. 3, in the video coding apparatus 100B, the entropy coding unit 104 and the filter coefficient determining unit 120 are connected to the entropy coding unit 104B and the filter coefficient determining unit 120B, respectively, as compared with the first embodiment. Has been replaced. Further, as shown in FIG. 4, in the video decoding apparatus 200B, the entropy decoding unit 204 is replaced with the entropy decoding unit 204B as compared with the first embodiment.

第3の実施形態では、映像符号化装置100B側で、制限付き線形フィルタ処理部10で用いる差分制限値uを設定し、シグナリング(符号化ストリームに多重化して映像復号装置200側に通知)する。 In the third embodiment, the difference limit value u used by the restricted linear filter processing unit 10 is set on the video coding device 100B side, and signaling (multiplexed to the coded stream and notified to the video decoding device 200 side) is performed. ..

映像符号化装置100Bのフィルタ係数決定部120Bでは、差分制限値uを算出する。具体的には、フィルタ係数決定部120Bは、線形フィルタ係数a,bに加えて、差分制限値uも算出(算出方法については後述)し、算出した差分制限値uを、ループ内フィルタ部108内の制限付き線形フィルタ処理部10に供給する。また、フィルタ係数決定部120Bは、算出した差分制限値uを、エントロピー符号化部104Bにも供給する。エントロピー符号化部104Bは、差分制限値uについても符号化ストリームに多重化して出力する。 The filter coefficient determination unit 120B of the video coding apparatus 100B calculates the difference limit value u. Specifically, the filter coefficient determination unit 120B calculates the difference limit value u in addition to the linear filter coefficients ai and b (the calculation method will be described later), and calculates the calculated difference limit value u in the loop filter unit. It is supplied to the limited linear filter processing unit 10 in 108. Further, the filter coefficient determination unit 120B also supplies the calculated difference limit value u to the entropy coding unit 104B. The entropy coding unit 104B also multiplexes and outputs the difference limit value u in the coded stream.

そして、第3の実施形態の映像復号装置200Bでは、エントロピー復号部204Bでストリームから線形フィルタ係数とともに差分制限値uが抽出され、ループ内フィルタ部208内の制限付き線形フィルタ処理部10に差分制限値uとして供給される。 Then, in the video decoding apparatus 200B of the third embodiment, the entropy decoding unit 204B extracts the difference limit value u together with the linear filter coefficient from the stream, and the difference limit is applied to the limited linear filter processing unit 10 in the in-loop filter unit 208. Supplied as the value u.

(C−2)第3の実施形態の動作
次に、以上のような構成を有する第3の実施形態の映像処理システム1Bの動作を説明する。
(C-2) Operation of the Third Embodiment Next, the operation of the video processing system 1B of the third embodiment having the above configuration will be described.

以下では、第3の実施形態の映像処理システム1Bの動作について、第1の実施形態との差異を説明する。以下では、第3の実施形態において、差分制限値uを映像符号化装置100B(フィルタ係数決定部120B)側で明示的に指定してシグナリング(符号化ストリームに多重化して映像復号装置200B側に通知)する点を中心に説明する。 Hereinafter, the difference between the operation of the video processing system 1B of the third embodiment and that of the first embodiment will be described. In the following, in the third embodiment, the difference limit value u is explicitly specified on the video coding device 100B (filter coefficient determination unit 120B) side and signaling (multiplexed into a coded stream to the video decoding device 200B side). The explanation will focus on the points to be notified.

差分制限値uは、周辺画素と対象画素との差分が、量子化ノイズ等によって生じたものか、もともとの符号化対象フレームのエッジのような部分の画素値の差によって生じたものであるかを見積もり、後者の場合のフィルタ結果に与える影響を抑制するためのパラメーターである。量子化ノイズ等によって生じる画素値の誤差は、主に量子化パラメーターから推定可能であり、従来技術のσのようにあらかじめ量子化パラメーターに依存する値として規定しておくことによって、明示的なシグナリング(映像符号化装置100Bから映像復号装置200Bへの通知)なしに用いることも可能である。 The difference limit value u is whether the difference between the peripheral pixel and the target pixel is caused by quantization noise or the like, or is it caused by the difference in the pixel value of a portion such as the edge of the original coded target frame. Is a parameter for estimating and suppressing the influence on the filter result in the latter case. The pixel value error caused by quantization noise or the like can be estimated mainly from the quantization parameter, and is explicitly defined as a value that depends on the quantization parameter in advance, such as σ r in the prior art. It can also be used without signaling (notification from the video coding device 100B to the video decoding device 200B).

ここでは、量子化ノイズ等による誤差成分を映像符号化装置100B側で推定して明示的に差分制限値uをシグナリングするものとして説明する。 Here, the error component due to quantization noise or the like is estimated on the video coding apparatus 100B side, and the difference limit value u is explicitly signaled.

次に、フィルタ係数決定部120Bが差分制限値uを算出する際の処理の例について説明する。 Next, an example of processing when the filter coefficient determining unit 120B calculates the difference limit value u will be described.

映像符号化装置100Bのフィルタ係数決定部120Bでは、符号化対象の入力画像の画素値T(x,y)と、符号化処理によって生成されるフィルタ処理前の再構成画像の画素値R(x,y)が入手可能である。すなわち、フィルタ係数決定部120Bでは、R(x,y)−T(x,y)と計算することによって画素ごとに、量子化ノイズ等によってどれだけの誤差が生じているかが算出可能である。 In the filter coefficient determining unit 120B of the video coding apparatus 100B, the pixel value T (x, y) of the input image to be encoded and the pixel value R (x) of the reconstructed image before the filtering process generated by the coding process. , Y) are available. That is, in the filter coefficient determination unit 120B, it is possible to calculate how much error occurs due to quantization noise or the like for each pixel by calculating R (x, y) −T (x, y).

フィルタ係数決定部120Bでは、この誤差(R(x,y)−T(x,y))を、符号化の対象領域全体にわたって統計処理することによって、再構成画像に生じている誤差の程度(誤差の分布)を推定することができる。フィルタ係数決定部120Bにおいて、誤差に対する統計処理の方法としては、例えば、|R−T|の最大値(差分絶対値の最大値)、|R−T|の平均値(差分絶対値の平均値)、(R−T)の平均値の平方根等の処理を適用することができる。フィルタ係数決定部120Bは、これらの統計値に対して、適切な係数をかけた値を差分制限値uとして算出するようにしてもよい。 In the filter coefficient determination unit 120B, this error (R (x, y) -T (x, y)) is statistically processed over the entire coding target area, so that the degree of error occurring in the reconstructed image ( Error distribution) can be estimated. In the filter coefficient determination unit 120B, as a method of statistical processing for the error, for example, the maximum value of | RT | (maximum value of the absolute difference value) and the average value of | RT | (average value of the absolute value of the difference) ), (RT) The square root of the average value of 2 and the like can be applied. The filter coefficient determination unit 120B may calculate a value obtained by multiplying these statistical values by an appropriate coefficient as a difference limit value u.

なお、第3の実施形態において、制限付き線形フィルタ処理部10を、第2の実施形態と同様に制限付き線形フィルタ処理部20に置き換えて、パターンタイプ情報も供給するように構成してもよい(すなわち、第2の実施形態と第3の実施形態を組み合わせて適用するようにしてもよい)。 In the third embodiment, the restricted linear filter processing unit 10 may be replaced with the restricted linear filter processing unit 20 as in the second embodiment, and pattern type information may also be supplied. (That is, the second embodiment and the third embodiment may be applied in combination).

(C−3)第3の実施形態の効果
第3の実施形態によれば、第1及び第2の実施形態と比較して、以下のような効果を奏することができる。
(C-3) Effect of Third Embodiment According to the third embodiment, the following effects can be obtained as compared with the first and second embodiments.

第3の実施形態の映像処理システム1Bでは、映像符号化装置100B側で再構成画像に生じている量子化ノイズ等による誤差成分を、実際の入力画像と再構成画像から算出し、算出した誤差成分に応じた差分制限値uを設定している。これにより、第3の実施形態の映像処理システム1Bでは、より厳密に差分制限値uを設定することが可能となり、制限付き線形フィルタ処理において、実際のノイズ振幅よりも大きな変化をしている画像のエッジ部分等の周辺画素からの影響を抑制したフィルタ処理を施すことが可能となる。 In the video processing system 1B of the third embodiment, an error component due to quantization noise or the like generated in the reconstructed image on the video coding apparatus 100B side is calculated from the actual input image and the reconstructed image, and the calculated error is calculated. The difference limit value u according to the component is set. As a result, in the video processing system 1B of the third embodiment, it is possible to set the difference limit value u more strictly, and in the limited linear filter processing, the image has a change larger than the actual noise amplitude. It is possible to perform filter processing that suppresses the influence of peripheral pixels such as the edge portion of the noise.

(D)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(D) Other Embodiments The present invention is not limited to each of the above embodiments, and modified embodiments as illustrated below can also be mentioned.

(D−1)本発明の画像処理装置は上記実施形態に限定されず、その他のさまざまな符号化処理/復号処理に利用可能である。すなわち、本発明の画像処理装置は、上記の実施形態以外の種々の映像符号化処理/映像復号処理の過程で発生するループ内のフィルタ処理に適用可能である。 (D-1) The image processing apparatus of the present invention is not limited to the above embodiment, and can be used for various other coding / decoding processes. That is, the image processing apparatus of the present invention can be applied to the filter processing in the loop generated in the process of various video coding processing / video decoding processing other than the above-described embodiment.

HEVCと同様なサンプル適応オフセット処理のフィルタタイプの一種として本発明の画像処理装置(制限付き線形フィルタ処理部)を用いる場合、HEVCと同様なBOやEOとの組み合わせだけでなく、これらの一部のみのSAOタイプやBOやEOとは異なる処理タイプのフィルタと組み合わせて、これらのSAOタイプと制限付き線形フィルタタイプのSAO処理からの選択が可能な構成としても良い。 When the image processing apparatus (limited linear filter processing unit) of the present invention is used as a kind of filter type of sample adaptive offset processing similar to HEVC, not only the combination with BO and EO similar to HEVC, but also some of them. In combination with a filter of only SAO type or a processing type different from BO or EO, it may be possible to select from these SAO types and restricted linear filter type SAO processing.

本発明の実施形態では、イントラ予測が参照する参照画素はループ内フィルタ処理前の再構成画像として説明したが、従来技術のバイラテラルフィルタのように、変換領域ごとに制限付き線形フィルタを適用して、隣接するイントラ予測では予測に利用する参照画素として、フィルタ前の再構成画像を用いるのではなく、制限付き線形フィルタの処理結果を参照画素として予測処理に用いるようにしても良い。 In the embodiment of the present invention, the reference pixel referred to by the intra-prediction is described as a reconstructed image before the in-loop filter processing, but a limited linear filter is applied to each conversion region like the bilateral filter of the prior art. Therefore, in the adjacent intra-prediction, instead of using the reconstructed image before the filter as the reference pixel used for the prediction, the processing result of the restricted linear filter may be used as the reference pixel in the prediction processing.

(D−2)上記の各実施形態の制限付き線形フィルタ処理部では、差分値を制限する関数の例として、(4)式や(5)式の関数を例示したが、これら以外の関数形を用いたり、複数の関数から選択可能とするなどの構成としても良い。 (D-2) In the restricted linear filter processing unit of each of the above embodiments, the functions of Eqs. (4) and (5) are exemplified as examples of the functions for limiting the difference value, but other functional forms are used. It may be configured such that can be selected from a plurality of functions.

(D−3)上記の各実施形態の制限付き線形フィルタ処理部では、線形フィルタ処理において、(3)式を適用する例について説明したが、(3)式の形式に限定されず、対象画素cと制限された差分値の線形結合となるような様々な演算式を用いても良い。また、(3)式ではクリッピング処理を用いているが、例えば、線形フィルタ係数a,bのとりうる範囲を制限することでクリッピング処理を不要とする(線形結合の演算結果が常にクリッピング範囲内となるような制限を設ける)ように、制限付き線形フィルタ処理部を構成するようにしてもよい。 (D-3) In the limited linear filter processing unit of each of the above embodiments, an example of applying the equation (3) in the linear filter processing has been described, but the target pixel is not limited to the format of the equation (3). Various arithmetic expressions may be used so as to be a linear combination of c and the limited difference value. Further, although the clipping process is used in the equation (3), for example, the clipping process is not required by limiting the range in which the linear filter coefficients ai and b can be taken (the operation result of the linear combination is always within the clipping range). The restricted linear filter processing unit may be configured so as to set a limit such that

(D−4)第2の実施形態の制限付き線形フィルタ処理部において、参照パターンとして図5や図7のような参照パターンを例示したが、その他の参照パターンを用いたり、参照する画素数も4画素に限定されないような参照パターンを用いても良い。 (D-4) In the restricted linear filter processing unit of the second embodiment, reference patterns as shown in FIGS. 5 and 7 are illustrated as reference patterns, but other reference patterns may be used and the number of pixels to be referred to may also be used. A reference pattern that is not limited to 4 pixels may be used.

(D−5)上記の各実施形態の制限付き線形フィルタ処理部10、20において、線形フィルタ処理部11で適用する線形フィルタ係数は、予め設定された値(例えば、工場出荷された後ユーザにより設定された値)や予め設定された固定値(例えば、工場出荷時に設定された値)を適用するようにしてもよい。 (D-5) In the restricted linear filter processing units 10 and 20 of each of the above embodiments, the linear filter coefficient applied by the linear filter processing unit 11 is a preset value (for example, by the user after being shipped from the factory). A set value) or a preset fixed value (for example, a factory-set value) may be applied.

また、同様に、上記の各実施形態の制限付き線形フィルタ処理部10、20において、制限値処理部14で適用する差分制限値uは、予め設定された値(例えば、ユーザにより設定された値)や予め設定された固定値(例えば、工場出荷時に設定された値)を適用するようにしてもよい。 Similarly, in the restricted linear filter processing units 10 and 20 of each of the above embodiments, the difference limit value u applied by the limit value processing unit 14 is a preset value (for example, a value set by the user). ) Or a preset fixed value (for example, a factory-set value) may be applied.

(D−6)上記の各実施形態では、本発明の画像処理装置としての制限付き線形フィルタ処理部を、映像符号化装置や映像復号装置に適用した例について説明したが、画像処理装置としての制限付き線形フィルタ処理部を独立した装置として実現するようにしてもよい。 (D-6) In each of the above embodiments, an example in which the limited linear filter processing unit as the image processing device of the present invention is applied to a video coding device or a video decoding device has been described, but the image processing device can be used as an image processing device. The limited linear filter processing unit may be realized as an independent device.

1…映像処理システム、10…制限付き線形フィルタ処理部、11…線形フィルタ処理部、12…線形フィルタ係数記憶部、13…差分値算出部、14…制限値処理部、100…映像符号化装置、101…差分処理部、102…変換部、103…量子化部、104…エントロピー符号化部、105…逆量子化部、106…逆変換部、107…加算部、108…ループ内フィルタ部、109…参照画像バッファ、110…インター予測部、111…イントラ予測部、112…切替部、120…フィルタ係数決定部、200…映像復号装置、204…エントロピー復号部、205…逆量子化部、206…逆変換部、207…加算部、208…ループ内フィルタ部、209…参照画像バッファ、210…インター予測部、211…イントラ予測部、212…切替部。 1 ... Video processing system, 10 ... Limited linear filter processing unit, 11 ... Linear filter processing unit, 12 ... Linear filter coefficient storage unit, 13 ... Difference value calculation unit, 14 ... Limited value processing unit, 100 ... Video coding device , 101 ... Difference processing unit, 102 ... Conversion unit, 103 ... Quantization unit, 104 ... Entropy coding unit, 105 ... Inverse quantization unit, 106 ... Inverse conversion unit, 107 ... Addition unit, 108 ... In-loop filter unit, 109 ... Reference image buffer, 110 ... Inter prediction unit, 111 ... Intra prediction unit, 112 ... Switching unit, 120 ... Filter coefficient determination unit, 200 ... Video decoding device, 204 ... Entropy decoding unit, 205 ... Inverse quantization unit, 206 ... Inverse conversion unit, 207 ... Addition unit, 208 ... In-loop filter unit, 209 ... Reference image buffer, 210 ... Inter prediction unit, 211 ... Intra prediction unit, 212 ... Switching unit.

Claims (13)

映像データの符号化対象フレームに対する予測画像を生成する予測画像生成手段と、
前記予測画像と前記符号化対象フレームとの差分を示す予測残差信号に所定の変換処理、及び量子化処理を施して量子化データを生成する変換/量子化手段と、
前記量子化データを符号化して符号化データを出力する符号化手段と、
前記量子化データに逆量子化処理及び所定の逆変換処理を施して予測残差信号を復元した復元予測残差信号を取得する逆量子化/逆変換手段と、
前記予測画像に前記復元予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、
前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、
前記ループ内フィルタ手段によるフィルタ処理後の再構成画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段を有し、
前記ループ内フィルタ手段は、画像処理装置を用いてフィルタ処理を行い、
前記画像処理装置は、
線形フィルタ係数を記憶する記憶手段と、
対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、
前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、
前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段とを有し、
前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を決定するフィルタ係数決定手段をさらに備え、
前記画像処理装置の前記線形フィルタ処理手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を用いて線形フィルタ処理を行い、
前記符号化手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を前記符号化データに多重化し、
前記フィルタ係数決定手段は、前記画像処理装置の差分値制限処理で用いる差分制限値をさらに決定し、
前記画像処理装置の前記制限値処理手段は、前記フィルタ係数決定手段が決定した差分制限値を用いて差分値制限処理を行い、
前記符号化手段は、前記フィルタ係数決定手段が決定した差分制限値を前記符号化データに多重化する
ことを特徴とする映像符号化装置
A predictive image generation means for generating a predictive image for a frame to be encoded of video data,
A conversion / quantization means for generating quantization data by performing a predetermined conversion process and a quantization process on a predicted residual signal indicating a difference between the predicted image and the coded frame.
A coding means that encodes the quantization data and outputs the coded data,
An inverse quantization / inverse transformation means for acquiring a restored predicted residual signal obtained by performing an inverse quantization process and a predetermined inverse transformation process on the quantization data to restore the predicted residual signal.
A reconstruction image acquisition means for acquiring a reconstruction image by adding the restoration prediction residual signal to the prediction image, and
An in-loop filter means for applying a predetermined filtering process to the reconstructed image, and
It has a reference image buffer means that holds a reconstructed image after filtering by the in-loop filter means and supplies it as a reference image to the predicted image generation means.
The in-loop filter means performs filter processing using an image processing device, and then performs filtering processing.
The image processing device is
A storage means for storing linear filter coefficients and
A difference value calculating means for calculating the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixels of the target pixel, and
If there is a difference value whose absolute value exceeds a predetermined difference limit value among the difference values calculated by the difference value calculation means, the absolute value of the difference value is changed to a predetermined value equal to or less than the difference limit value. The limit value processing means that performs the difference value limit processing and
The pixel value of the target pixel and the difference value corresponding to each of the peripheral pixels after the change processing by the limit value processing means are input, and are based on the linear filter coefficient stored in the storage means for the target pixel. It has a linear filter processing means that performs linear filter processing and outputs the pixel value of the target pixel after the linear filter processing.
Further, a filter coefficient determining means for determining the linear filter coefficient used in the linear filtering of the image processing apparatus is provided.
The linear filter processing means of the image processing apparatus performs linear filter processing using the linear filter coefficient determined by the filter coefficient determining means.
The coding means multiplexes the linear filter coefficient determined by the filter coefficient determining means into the coded data.
The filter coefficient determining means further determines the difference limiting value used in the difference value limiting process of the image processing apparatus.
The limit value processing means of the image processing apparatus performs the difference value limiting process using the difference limit value determined by the filter coefficient determining means.
The coding means is a video coding apparatus characterized in that the difference limit value determined by the filter coefficient determining means is multiplexed with the coded data.
前記記憶手段は、外部から供給された線形フィルタ係数を記憶することを特徴とする請求項1に記載の映像符号化装置 The video coding apparatus according to claim 1, wherein the storage means stores a linear filter coefficient supplied from the outside. 前記制限値処理手段は、外部から供給された差分制限値を用いて差分値制限処理を行うことを特徴とする請求項1又は2のいずれかに記載の映像符号化装置 The video coding apparatus according to claim 1 or 2, wherein the limit value processing means performs difference value limit processing using a difference limit value supplied from the outside. 前記差分値算出手段は、前記対象画素を中心として前記線形フィルタ処理手段の前記線形フィルタ処理で参照する周辺画素の参照パターンを複数備え、いずれかの参照パターンを指定するパターンタイプ情報が供給されると、前記対象画素の画素値と、前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出することを特徴とする請求項1〜3のいずれかに記載の映像符号化装置The difference value calculation means includes a plurality of reference patterns of peripheral pixels referenced in the linear filter processing of the linear filter processing means centering on the target pixel, and pattern type information for designating one of the reference patterns is supplied. , And any of claims 1 to 3, wherein the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixel at the position according to the reference pattern specified in the pattern type information is calculated. The video encoding device according to . 前記差分値算出手段は、前記対象画素を含む対象画像に対して、差分値算出方向の勾配画像を算出し、前記制限値処理手段は、勾配画像に対して差分値制限処理を施した結果を中間画像として取得し、
前記線形フィルタ処理手段は、前記中間画像の値を用いて前記線形フィルタ処理を行う
ことを特徴とする請求項1に記載の映像符号化装置
The difference value calculation means calculates a gradient image in the difference value calculation direction for the target image including the target pixel, and the limit value processing means performs the difference value limitation process on the gradient image. Get as an intermediate image,
The video coding apparatus according to claim 1, wherein the linear filter processing means performs the linear filter processing using the values of the intermediate image.
前記画像処理装置の前記差分値算出手段は、前記対象画素を中心として前記線形フィルタ処理手段の線形フィルタ処理で参照する周辺画素の参照パターンを複数備え、いずれかの参照パターンを指定するパターンタイプ情報が供給されると、前記対象画素の画素値と、前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出し、
前記フィルタ係数決定手段は、前記差分値算出手段に入力するパターンタイプ情報をさらに決定し、
前記画像処理装置の前記差分値算出手段は、前記フィルタ係数決定手段が決定した前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出し、
前記符号化手段は、前記フィルタ係数決定手段が決定したパターンタイプ情報を前記符号化データに多重化する
ことを特徴とする請求項1に記載の映像符号化装置。
The difference value calculation means of the image processing apparatus includes a plurality of reference patterns of peripheral pixels referred to in the linear filter processing of the linear filter processing means centering on the target pixel, and pattern type information for designating one of the reference patterns. Is supplied, the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixels at the position according to the reference pattern specified in the pattern type information is calculated.
The filter coefficient determining means further determines the pattern type information to be input to the difference value calculating means.
The difference value calculating means of the image processing device calculates a difference value from the pixel values of peripheral pixels at positions according to the reference pattern specified in the pattern type information determined by the filter coefficient determining means.
The video coding apparatus according to claim 1, wherein the coding means multiplexes pattern type information determined by the filter coefficient determining means into the coded data.
符号化された映像データを復号して復号データを取得する復号処理手段と、
前記映像データの復号対象フレームの予測画像を生成する予測画像生成手段と、
前記復号データに、逆量子化処理及び所定の逆変換処理を施して、復号対象フレームの予測残差信号を取得する逆量子化/逆変換手段と、
前記予測画像に前記予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、
前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、
前記ループ内フィルタによるフィルタ処理後の復号画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段とを有し、
前記ループ内フィルタ手段は、少なくとも画像処理装置を用いてフィルタ処理を行い、
前記画像処理装置は、
線形フィルタ係数を記憶する記憶手段と、
対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、
前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、
前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段とを有し、
前記復号処理手段は、前記復号データから、前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を取得し、
前記画像処理装置の前記線形フィルタ処理手段は、前記復号処理手段が取得した線形フィルタ係数を用いて線形フィルタ処理を行い、
前記復号処理手段は、前記復号データから、前記画像処理装置の差分値制限処理で用いる差分制限値を取得し、
前記画像処理装置の前記制限値処理手段は、前記復号処理手段が取得した差分制限値を用いて差分値制限処理を行う
ことを特徴とする映像復号装置。
Decoding processing means for decoding encoded video data and acquiring decoded data,
A predictive image generation means for generating a predictive image of the frame to be decoded of the video data, and
An inverse quantization / inverse transformation means for obtaining a predicted residual signal of a frame to be decoded by subjecting the decoded data to an inverse quantization process and a predetermined inverse transformation process.
Reconstructed image acquisition means for acquiring a reconstructed image by adding the predicted residual signal to the predicted image, and
An in-loop filter means for applying a predetermined filtering process to the reconstructed image, and
It has a reference image buffer means that holds a decoded image after filtering by the in-loop filter and supplies it as a reference image to the predicted image generation means.
It said loop filter means, have rows filtered using the images processing apparatus also small,
The image processing device is
A storage means for storing linear filter coefficients and
A difference value calculating means for calculating the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixels of the target pixel, and
If there is a difference value whose absolute value exceeds a predetermined difference limit value among the difference values calculated by the difference value calculation means, the absolute value of the difference value is changed to a predetermined value equal to or less than the difference limit value. The limit value processing means that performs the difference value limit processing and
The pixel value of the target pixel and the difference value corresponding to each of the peripheral pixels after the change processing by the limit value processing means are input, and are based on the linear filter coefficient stored in the storage means for the target pixel. It has a linear filter processing means that performs linear filter processing and outputs the pixel value of the target pixel after the linear filter processing.
The decoding processing means acquires a linear filter coefficient used in the linear filter processing of the image processing apparatus from the decoding data, and obtains the linear filter coefficient.
The linear filter processing means of the image processing apparatus performs linear filter processing using the linear filter coefficient acquired by the decoding processing means.
The decoding processing means acquires a difference limit value used in the difference value limiting process of the image processing apparatus from the decoded data, and obtains a difference limit value.
The image processing apparatus is a video decoding apparatus, characterized in that the limit value processing means performs the difference value limiting process using the difference limit value acquired by the decoding processing means.
前記記憶手段は、外部から供給された線形フィルタ係数を記憶することを特徴とする請求項7に記載の映像復号装置。The video decoding apparatus according to claim 7, wherein the storage means stores a linear filter coefficient supplied from the outside. 前記制限値処理手段は、外部から供給された差分制限値を用いて差分値制限処理を行うことを特徴とする請求項7又は請求項8のいずれかに記載の映像復号装置。The video decoding apparatus according to claim 7, wherein the limit value processing means performs difference value limit processing using a difference limit value supplied from the outside. 前記差分値算出手段は、前記対象画素を中心として前記線形フィルタ処理手段の前記線形フィルタ処理で参照する周辺画素の参照パターンを複数備え、いずれかの参照パターンを指定するパターンタイプ情報が供給されると、前記対象画素の画素値と、前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出することを特徴とする請求項7〜9のいずれかに記載の映像復号装置。The difference value calculation means includes a plurality of reference patterns of peripheral pixels referenced in the linear filter processing of the linear filter processing means centering on the target pixel, and pattern type information for designating one of the reference patterns is supplied. And any of claims 7 to 9, wherein the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixel at the position according to the reference pattern specified in the pattern type information is calculated. The video decoding apparatus described in 1. 前記差分値算出手段は、前記対象画素を含む対象画像に対して、差分値算出方向の勾配画像を算出し、前記制限値処理手段は、勾配画像に対して差分値制限処理を施した結果を中間画像として取得し、The difference value calculation means calculates a gradient image in the difference value calculation direction for the target image including the target pixel, and the limit value processing means performs the difference value limitation process on the gradient image. Get as an intermediate image,
前記線形フィルタ処理手段は、前記中間画像の値を用いて前記線形フィルタ処理を行う The linear filtering means performs the linear filtering using the values of the intermediate image.
ことを特徴とする請求項7に記載の映像復号装置。 The video decoding apparatus according to claim 7.
前記画像処理装置の前記差分値算出手段は、前記対象画素を中心として前記線形フィルタ処理手段の線形フィルタ処理で参照する周辺画素の参照パターンを複数備え、いずれかの参照パターンを指定するパターンタイプ情報が供給されると、前記対象画素の画素値と、前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出し、
前記画像処理装置の前記差分値算出手段は、前記復号処理手段が取得した前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出する
ことを特徴とする請求項に記載の映像復号装置。
The difference value calculation means of the image processing apparatus includes a plurality of reference patterns of peripheral pixels referred to in the linear filter processing of the linear filter processing means centering on the target pixel, and pattern type information for designating one of the reference patterns. Is supplied, the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixels at the position according to the reference pattern specified in the pattern type information is calculated.
The difference value calculating means of the image processing apparatus is characterized in that it calculates a difference value from the pixel values of peripheral pixels at positions according to the reference pattern specified in the pattern type information acquired by the decoding processing means. The video decoding device according to claim 7.
映像データを符号化して符号化データを出力する映像符号化装置と、前記符号化データを復号して復号画像を得る映像復号装置とを備える映像処理システムにおいて、前記映像符号化装置として請求項の映像符号化装置を適用し、前記映像復号装置として請求項の映像復号装置を適用したことを特徴とする映像処理システム。 Claim 1 as the video coding device in a video processing system including a video coding device that encodes video data and outputs the coded data, and a video decoding device that decodes the coded data to obtain a decoded image. The video processing system according to claim 7 , wherein the video coding apparatus of the above is applied, and the video decoding apparatus of claim 7 is applied as the video decoding apparatus.
JP2017167459A 2017-08-31 2017-08-31 Video coding device, video decoding device, and video processing system Active JP6919424B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017167459A JP6919424B2 (en) 2017-08-31 2017-08-31 Video coding device, video decoding device, and video processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017167459A JP6919424B2 (en) 2017-08-31 2017-08-31 Video coding device, video decoding device, and video processing system

Publications (2)

Publication Number Publication Date
JP2019047277A JP2019047277A (en) 2019-03-22
JP6919424B2 true JP6919424B2 (en) 2021-08-18

Family

ID=65816669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017167459A Active JP6919424B2 (en) 2017-08-31 2017-08-31 Video coding device, video decoding device, and video processing system

Country Status (1)

Country Link
JP (1) JP6919424B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167399A (en) * 2003-11-28 2005-06-23 Noritsu Koki Co Ltd Image noise eliminating method
US9445129B2 (en) * 2010-04-13 2016-09-13 Sun Patent Trust Image coding method and image decoding method
JP2012065120A (en) * 2010-09-15 2012-03-29 Sharp Corp Filter coefficient setting device, filter coefficient setting method, and image encoder
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters

Also Published As

Publication number Publication date
JP2019047277A (en) 2019-03-22

Similar Documents

Publication Publication Date Title
JP6865872B2 (en) How to deblock a block of video samples
WO2020007362A1 (en) Inherited motion information for decoding a current coding unit in a video coding system
US8649431B2 (en) Method and apparatus for encoding and decoding image by using filtered prediction block
US9930366B2 (en) Pixel level adaptive intra-smoothing
KR101628797B1 (en) Improved intra prediction in lossless coding in hevc
JP6949990B2 (en) Image coding / decoding method and equipment for that
US20110069752A1 (en) Moving image encoding/decoding method and apparatus with filtering function considering edges
US20150245021A1 (en) Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon
US9167271B2 (en) Image processing device, method, and program, dynamic image encoding device, method, and program, dynamic image decoding device, method, and program, and encoding/decoding system and method
KR20180119753A (en) Machine learning algorithm using compression parameter for image reconstruction and image reconstruction method therewith
JP5902814B2 (en) Video encoding method and apparatus, video decoding method and apparatus, and programs thereof
KR20090097688A (en) Method and apparatus of encoding/decoding image based on intra prediction
JP2019534629A (en) Image processing method and apparatus therefor
KR20110028734A (en) High definition video encoding/decoding method and apparatus
KR102598789B1 (en) Apparatus and method for filtering in video coding
KR20200110214A (en) Method and apparatus for intra prediction in which prediction unit is divided into sub-units
KR20120116936A (en) Method for coding and method for reconstruction of a block of an image
KR20170106592A (en) Method and apparatus for video coding using variable size unit of quantized coefficient group
JP2017537518A (en) Method and apparatus for decoding / encoding a video signal using a transformation derived from a graph template
US20240089442A1 (en) Image decoding device, method, and non-transitory computer-readable storage medium
KR20180079314A (en) And apparatus for encoding and decoding video signals using graph-based lifting transforms
KR20110086521A (en) Apparatus and method for encoding and decoding based region
KR20130027400A (en) Method and apparatus for intra prediction in dc mode
JP6919424B2 (en) Video coding device, video decoding device, and video processing system
WO2012172667A1 (en) Video encoding method, video decoding method, and device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210705

R150 Certificate of patent or registration of utility model

Ref document number: 6919424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150