JP6919424B2 - Video coding device, video decoding device, and video processing system - Google Patents
Video coding device, video decoding device, and video processing system Download PDFInfo
- Publication number
- JP6919424B2 JP6919424B2 JP2017167459A JP2017167459A JP6919424B2 JP 6919424 B2 JP6919424 B2 JP 6919424B2 JP 2017167459 A JP2017167459 A JP 2017167459A JP 2017167459 A JP2017167459 A JP 2017167459A JP 6919424 B2 JP6919424 B2 JP 6919424B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image
- value
- linear filter
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
この発明は、映像符号化装置、映像復号装置、及び映像処理システムに関し、例えば、映像を圧縮符号化する映像符号化装置や、符号化された映像を復号する映像復号装置に適用し得る。 The present invention, movies picture encoding apparatus, video decoding apparatus, and relates to an image processing system, for example, may be applied to a video decoding apparatus for decoding and video encoding apparatus for compressing and encoding video, the encoded video.
従来、H.264/MPEG−4 AVC(以下、単に「AVC」と呼ぶ)やH.265/MPEG−H HEVC(以下、単に「HEVC」と呼ぶ)等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。 Conventionally, H. 264 / MPEG-4 AVC (hereinafter simply referred to as "AVC") and H.A. The compression coding process of video information by a video coding method represented by 265 / MPEG-H HEVC (hereinafter, simply referred to as "HEVC") is an intra prediction for each processing unit in which the input target image is divided. The prediction residual signal, which is the difference between the predicted image that has undergone inter-prediction such as motion compensation prediction and the input target image, is quantized by the conversion coefficient that has undergone spatial transformation such as discrete cosine transform. Highly efficient video compression is realized by entropy encoding.
ここで、従来の映像符号化装置300の構成例について図8を用いて説明する。
Here, a configuration example of the conventional
図8に示す従来の映像符号化装置300は、差分抽出部301、変換部302、量子化部303、エントロピー符号化部304、逆量子化部305、逆変換部306、加算部307、ループ内フィルタ部308、参照画像バッファ309、インター予測部310、イントラ予測部311、及び切替部312を有している。
The conventional
映像符号化装置300では、HEVCのような符号化技術が適用されるものとする。そうすると、入力された符号化対象フレームは、符号化ユニット等の処理単位領域ごとに、動き補償を伴うインター予測部310もしくは画面内の符号化済み画素等から予測を行うイントラ予測部311による予測画像が生成される。
It is assumed that a coding technique such as HEVC is applied to the
そして、映像符号化装置300では、差分抽出部301を用いて、処理単位領域ごとの予測画像との差分である予測残差信号が取得される。そして、映像符号化装置300では、その予測残差信号が、変換部302により、DCT(離散コサイン変換)やDST(離散サイン変換)により変換されて変換係数が得られる。そして、映像符号化装置300では、得られた変換係数が量子化部303により量子化される。そして、映像符号化装置300では、量子化された変換係数が、エントロピー符号化部304により、可変長符号や算術符号で符号化されて、符号化ストリームが出力される。映像符号化装置300では、量子化された変換係数は、逆量子化部305による逆量子化及び逆変換部306による逆変換処理がなされた後、加算部307により予測画像に加算され、再構成画像が得られる。そして、映像符号化装置300では、再構成画像に対して、ループ内フィルタ部308により、ブロック歪を軽減するデブロッキングフィルタ処理等が適用された後、後続の画像の符号化時のインター予測の動き補償のための参照画像として参照画像バッファ309に保持される。
Then, in the
次に、従来の映像復号装置400の構成例について図9を用いて説明する。
Next, a configuration example of the conventional
図9に示す従来の映像復号装置400は、エントロピー復号部404、逆量子化部405、逆変換部406、加算部407、ループ内フィルタ部408、参照画像バッファ部409、インター予測部410、イントラ予測部411、及び切替部412を有している。
The conventional
映像復号装置400では、映像符号化装置300で生成された符号化ストリームが入力されると、符号化ストリームはエントロピー復号部404により復号され、復号データとしてDCT等の変換係数、符号化モード情報、及び動きベクトル情報が得られる。映像復号装置400では、変換係数は、逆量子化部405による逆量子化処理、及び逆変換部406による逆変換処理がなされて予測残差が得られる。そして、映像復号装置400では、この予測残差と予測画像(インター予測を行うインター予測部410、もしくはイントラ予測を行うイントラ予測部411により生成された予測画像)が加算部407により加算されることで、映像符号化装置300内と同じ再構成画像が得られる。そして、映像復号装置400では、再構成画像はループ内フィルタ部408によりデブロッキングフィルタなどが適用された後、復号画像として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ部409に保持される。
In the
ところで、現在では、HEVCの次世代の映像符号化方式が検討されており、ISO/IECとITU−Tのジョイントの検討チームであるJoint Video Exploration Team(JVET)において、Joint Exploration Test Model(JEM)という映像符号化方式が開発中である(非特許文献1参照)。 By the way, at present, the next-generation video coding method of HEVC is being studied, and the Joint Video Exploration Team (JVET), which is a study team of the joint between ISO / IEC and ITU-T, is studying the Joint Exploration Test Model (JEM). The video coding method is under development (see Non-Patent Document 1).
JEMのバージョン6においてはループ内フィルタとしてデブロッキングフィルタに加えて、バイラテラルフィルタ(Bilateral filter)が用いられている。バイラテラルフィルタは、エッジを保存する性質のあるノイズ除去平滑化フィルタであり、(i,j)の位置の画素に対して、近傍の(k,l)の位置の画素に対する重みをω(i,j,k,l)としてフィルタ処理を行う。また、バイラテラルフィルタは、重みとしてガウシアンフィルタのような画素位置間の距離だけでなく、画素値の差にも依存する以下の(1)式のような重みを用いるフィルタである。
(1)式において、I(i,j),I(k,l)はフィルタ処理前の再構成画像の画素値であり、σd、σrはフィルタ強度を制御するパラメーターである。JEMではσdは変換ユニット(TU)のサイズと、(イントラ/インター)予測モードに依存する値が用いられ、σrとしては量子化パラメーターに依存する値が用いられている。 In the equation (1), I (i, j) and I (k, l) are pixel values of the reconstructed image before the filter processing, and σ d and σ r are parameters for controlling the filter intensity. In JEM, σ d uses a value that depends on the size of the conversion unit (TU) and the (intra / inter) prediction mode, and σ r uses a value that depends on the quantization parameter.
バイラテラルフィルタに用いる画素は、図11に示すように、対象画素Cの上下左右に隣接する4画素A,B,L,Rであり、対象画素Cの位置のフィルタ後の画素値IFを以下の(2)式のように求めることができる。
図10は、従来のJEMにおけるバイラテラルフィルタの処理を行うバイラテラルフィルタ処理部30の構成例について示したブロック図である。
FIG. 10 is a block diagram showing a configuration example of a bilateral
図10に示す従来のJEMにおけるバイラテラルフィルタ処理部30は、フィルタ処理部31、フィルタ係数算出部32、及び差分値算出部33を有している。
The bilateral
図10に示す従来のバイラテラルフィルタ処理部30では、差分値算出部33が対象画素の画素値と周辺画素の画素値の差分値を算出する。そして、図10に示す従来のバイラテラルフィルタ処理部30では、フィルタ係数算出部32が、バイラテラルフィルタのフィルタ係数を算出してフィルタ処理部31に供給する。フィルタ処理部31は、供給されたフィルタ係数を用いて、対象画素の画素値と差分値に基づき、対象画素に対してバイラテラルフィルタを適用した画素(以下、「フィルタ結果画素」と呼ぶ)の画素値を算出する。
In the conventional bilateral
図10に示すバイラテラルフィルタ処理部30では、フィルタ係数算出部32が上記の(1)式のような重みωの算出処理を、LUT(look up table)を用いて行う。また、図10に示すバイラテラルフィルタ処理部30では、フィルタ処理部31が、上記の(2)式の除算処理についてLUT、乗算、シフトの組み合わせで行う。
In the bilateral
しかしながら、従来のバイラテラルフィルタ処理では演算処理量が多く、演算量低減のために用いているLUTも大きなテーブルサイズが必要であったり、並列処理化が困難であるなどの問題がある。 However, the conventional bilateral filter processing has a large amount of arithmetic processing, and the LUT used for reducing the arithmetic amount also requires a large table size, and there are problems that parallel processing is difficult.
また、従来技術のバイラテラルフィルタでは、フィルタの重みが再構成画像から自動的に導出されるようになっており、対象画像の性質によっては必ずしも最適ではないフィルタ処理が行われることがあるという問題があった。 Further, in the conventional bilateral filter, the weight of the filter is automatically derived from the reconstructed image, and there is a problem that the filter processing that is not always optimal may be performed depending on the nature of the target image. was there.
以上のような問題に鑑みて、映像の符号化/復号の過程で必要となる画像のフィルタ処理をより効率的かつ高品質に行うことができる映像符号化装置、映像復号装置、及び映像処理システムが望まれている。 In view of the above problems, a video encoding / decoding process more efficiently and movies picture encoding apparatus capable of performing high quality filtering of the image required by the video decoding apparatus, and image processing A system is desired.
第1の本発明の映像符号化装置は、(1)映像データの符号化対象フレームに対する予測画像を生成する予測画像生成手段と、(2)前記予測画像と前記符号化対象フレームとの差分を示す予測残差信号に所定の変換処理、及び量子化処理を施して量子化データを生成する変換/量子化手段と、(3)前記量子化データを符号化して符号化データを出力する符号化手段と、(4)前記量子化データに逆量子化処理及び所定の逆変換処理を施して予測残差信号を復元した復元予測残差信号を取得する逆量子化/逆変換手段と、(5)前記予測画像に前記復元予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、(6)前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、(7)前記ループ内フィルタ手段によるフィルタ処理後の再構成画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段を有し、(8)前記ループ内フィルタ手段は、画像処理装置を用いてフィルタ処理を行い、(9)前記画像処理装置は、(9−1)線形フィルタ係数を記憶する記憶手段と、(9−2)対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、(9−3)前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、(9−4)前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段とを有し、(10)前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を決定するフィルタ係数決定手段をさらに備え、(11)前記画像処理装置の前記線形フィルタ処理手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を用いて線形フィルタ処理を行い、(12)前記符号化手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を前記符号化データに多重化し、(13)前記フィルタ係数決定手段は、前記画像処理装置の差分値制限処理で用いる差分制限値をさらに決定し、(14)前記画像処理装置の前記制限値処理手段は、前記フィルタ係数決定手段が決定した差分制限値を用いて差分値制限処理を行い、(15)前記符号化手段は、前記フィルタ係数決定手段が決定した差分制限値を前記符号化データに多重化することを特徴とする。The first video coding apparatus of the present invention obtains (1) a predictive image generating means for generating a predicted image for a frame to be coded of video data, and (2) a difference between the predicted image and the coded frame. A conversion / quantization means for generating quantization data by performing a predetermined conversion process and a quantization process on the predicted residual signal shown, and (3) coding for encoding the quantization data and outputting the coded data. Means and (4) Inverse quantization / inverse conversion means for acquiring a restored predicted residual signal obtained by subjecting the quantization data to an inverse quantization process and a predetermined inverse conversion process to restore the predicted residual signal, and (5). ) Reconstructed image acquisition means for acquiring the reconstructed image by adding the restored predicted residual signal to the predicted image, (6) In-loop filter means for applying a predetermined filtering process to the reconstructed image, and (7). ) It has a reference image buffer means that holds a reconstructed image after filtering by the in-loop filter means and supplies it as a reference image to the predicted image generation means. (8) The in-loop filter means is an image processing apparatus. (9) The image processing apparatus uses (9-1) a storage means for storing a linear filter coefficient, (9-2) a pixel value of a target pixel, and peripheral pixels of the target pixel. Among the difference value calculating means for calculating the difference value from the pixel value of (9-3) and the difference value calculated by the difference value calculating means, there is a difference value whose absolute value exceeds a predetermined difference limit value. If so, the limit value processing means for performing the difference value limiting process for changing the absolute value of the difference value to a predetermined value equal to or less than the difference limit value, (9-4) the pixel value of the target pixel, and the limit value. The difference value corresponding to each of the peripheral pixels after the change processing by the processing means is input, and the linear filter processing based on the linear filter coefficient stored in the storage means for the target pixel is performed, and the linear filter processing is performed. It has a linear filter processing means for outputting the pixel value of the target pixel later, and (10) further includes a filter coefficient determining means for determining the linear filter coefficient used in the linear filter processing of the image processing apparatus (11). The linear filter processing means of the image processing apparatus performs linear filter processing using the linear filter coefficient determined by the filter coefficient determining means, and (12) the coding means is the linear determined by the filter coefficient determining means. The filter coefficient is multiplexed with the coded data, (13) the filter coefficient determining means further determines the difference limit value used in the difference value limiting process of the image processing apparatus, and (14) the image processing. The limit value processing means of the physical device performs the difference value limiting process using the difference limit value determined by the filter coefficient determining means, and (15) the coding means is the difference limiting determined by the filter coefficient determining means. It is characterized in that the value is multiplexed with the coded data.
第2の本発明の映像復号装置は、符号化された映像データを復号して復号データを取得する復号処理手段と、(1)前記映像データの復号対象フレームの予測画像を生成する予測画像生成手段と、(2)前記復号データに、逆量子化処理及び所定の逆変換処理を施して、復号対象フレームの予測残差信号を取得する逆量子化/逆変換手段と、(3)前記予測画像に前記予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、(4)前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、(5)前記ループ内フィルタによるフィルタ処理後の復号画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段とを有し、(6)前記ループ内フィルタ手段は、少なくとも画像処理装置を用いてフィルタ処理を行い、(7)前記画像処理装置は、(7−1)線形フィルタ係数を記憶する記憶手段と、(7−2)対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、(7−3)前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、(7−4)前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段とを有し、(8)前記復号処理手段は、前記復号データから、前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を取得し、(9)前記画像処理装置の前記線形フィルタ処理手段は、前記復号処理手段が取得した線形フィルタ係数を用いて線形フィルタ処理を行い、(10)前記復号処理手段は、前記復号データから、前記画像処理装置の差分値制限処理で用いる差分制限値を取得し、(11)前記画像処理装置の前記制限値処理手段は、前記復号処理手段が取得した差分制限値を用いて差分値制限処理を行うことを特徴とする。The second video decoding apparatus of the present invention is a decoding processing means for decoding encoded video data to acquire decoded data, and (1) predictive image generation for generating a predicted image of a frame to be decoded of the video data. Means, (2) inverse quantization / inverse conversion means for obtaining a predicted residual signal of a frame to be decoded by subjecting the decoded data to an inverse quantization process and a predetermined inverse conversion process, and (3) the prediction. Reconstructed image acquisition means for adding the predicted residual signal to the image to acquire the reconstructed image, (4) in-loop filter means for applying a predetermined filter process to the reconstructed image, and (5) in the loop. It has a reference image buffer means that holds the decoded image after filtering by the filter and supplies it to the predicted image generation means as a reference image. (6) The in-loop filter means filters by using at least an image processing apparatus. After processing, (7) the image processing apparatus includes (7-1) a storage means for storing linear filter coefficients, (7-2) pixel values of target pixels, and pixel values of peripheral pixels of the target pixels. If there is a difference value whose absolute value exceeds a predetermined difference limit value among the difference value calculation means for calculating the difference value of (7-3) and the difference value calculated by the difference value calculation means, the difference value is found. A limit value processing means for performing a difference value limiting process for changing the absolute value of the difference value to a predetermined value equal to or less than the difference limit value, and (7-4) a change between the pixel value of the target pixel and the limit value processing means. The difference value corresponding to each of the peripheral pixels after the processing is input, and the linear filter processing based on the linear filter coefficient stored in the storage means for the target pixel is performed, and the target after the linear filter processing. It has a linear filter processing means that outputs the pixel value of the pixel, (8) the decoding processing means acquires a linear filter coefficient used in the linear filter processing of the image processing apparatus from the decoding data, and (9) The linear filter processing means of the image processing device performs linear filter processing using the linear filter coefficient acquired by the decoding processing means, and (10) the decoding processing means uses the decoding data to obtain the image processing device of the image processing device. The difference limit value used in the difference value limiting process is acquired, and (11) the limit value processing means of the image processing apparatus performs the difference value limiting process using the difference limit value acquired by the decoding processing means. And.
第3の本発明の映像処理システムは、映像データを符号化して符号化データを出力する映像符号化装置と、前記符号化データを復号して復号画像を得る映像復号装置とを備える映像処理システムにおいて、前記映像符号化装置として第1の本発明の映像符号化装置を適用し、前記映像復号装置として第2の本発明の映像復号装置を適用したことを特徴とする。 The third video processing system of the present invention is a video processing system including a video coding device that encodes video data and outputs the coded data, and a video decoding device that decodes the coded data to obtain a decoded image. The video coding device of the first invention is applied as the video coding device, and the second video decoding device of the present invention is applied as the video decoding device.
本発明によれば、映像の符号化/復号の過程で必要となる画像のフィルタ処理をより効率的かつ高品質に行うことができる。 According to the present invention, image filtering required in the process of video coding / decoding can be performed more efficiently and with high quality.
(A)第1の実施形態
以下、本発明による映像符号化装置、映像復号装置、及び映像処理システムの第1の実施形態を、図面を参照しながら詳述する。第1の実施形態では、本発明の画像処理装置、プログラム及び方法を、制限付き線形フィルタ処理部に適用した例について説明する。
(A) less than the first embodiment, film picture coding apparatus according to the present invention, video decoding apparatus, and a first embodiment of the image processing system will be described in detail with reference to the drawings. In the first embodiment, an example in which the image processing apparatus, program, and method of the present invention is applied to a restricted linear filter processing unit will be described.
(A−1)第1の実施形態の構成
図2は、第1の実施形態に係る映像処理システム1の全体構成について示したブロック図である。図2において括弧内の符号は、後述する第2、第3の実施形態で用いられる符号である。
(A-1) Configuration of First Embodiment FIG. 2 is a block diagram showing an overall configuration of a
映像処理システム1は、符号化対象の入力映像(入力フレーム列)を符号化したストリームデータ(以下、「符号化ストリーム」と呼ぶ)を出力する映像符号化装置100と、映像符号化装置100で生成された符号化ストリームを復号して復号映像(復号フレーム列)を得る映像復号装置200とを有している。
The
映像符号化装置100に供給される入力映像の入力方式は限定されないものであり、リアルタイムにカメラで撮影(撮像)された映像信号としてもよいし、HDDやDVD等のデータ記録媒体に記録されたデータ(オフラインデータ)に基づく映像を読み込むようにしてもよいし、通信により供給されるデータ(オンラインデータ)に基づく映像を読み込むようにしてもよい。
The input method of the input video supplied to the
映像復号装置200に供給される符号化ストリームのデータについても入力方式は限定されないものであり、リアルタイムに通信により符号化ストリームを受信(映像符号化装置100から受信)するようにしてもよいし、データ記録媒体に記録された符号化ストリームのデータをオフラインで読み込むようにしてもよい。
The input method is not limited to the data of the coded stream supplied to the
図3は、この実施形態に係る映像符号化装置100の全体構成について示したブロック図である。なお、図3において、括弧内の符号は後述する第2、第3の実施形態で用いられる符号である。
FIG. 3 is a block diagram showing the overall configuration of the
映像符号化装置100は、差分処理部101、変換部102、量子化部103、エントロピー符号化部104、逆量子化部105、逆変換部106、加算部107、ループ内フィルタ部108、参照画像バッファ109、インター予測部110、イントラ予測部111、切替部112、及びフィルタ係数決定部120を有している。また、ループ内フィルタ部108は、制限付き線形フィルタ処理部10を有している。
The
映像符号化装置100は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム(実施形態に係る映像符号化プログラムを含む)をインストールすることにより構築するようにしてもよい。また、上述の映像符号化プログラムには、制限付き線形フィルタ処理部10に相当するプログラム(実施形態に係る画像処理プログラム)が含まれる。
The
インター予測部110は、入力フレーム(符号化対象フレーム)の各処理単位領域に対して、参照画像バッファ109を参照し、動き補償を伴うインター予測を行い、予測画像を生成する。
The
イントラ予測部111は、入力された入力フレーム(符号化対象フレーム)の各処理単位領域に対して、画面内の符号化済の再構成画素等から予測を行い、予測画像を生成する。
The
切替部112は、符号化モードに応じて予測画像の出力元(インター予測部110の予測画像、又はイントラ予測部111の予測画像)を切り替える。
The
差分処理部101は、入力フレーム(符号化対象フレーム)と予測画像との差分である予測残差信号を求める。
The
変換部102は、予測残差信号をDCT(離散コサイン変換)やDST(離散サイン変換)によって変換して変換係数を得る処理を行う。
The
量子化部103は、変換部102により得られた変換係数を量子化する処理を行う。
The
エントロピー符号化部104は、量子化された変換係数や予測モード情報、動きベクトル情報等を多重化してエントロピー符号化する処理を行う。
The
逆量子化部105は、量子化された変換係数を逆量子化する処理を行う。
The
逆変換部106は、逆量子化部105により得られた変換係数を逆変換処理して元のデータ(残差信号等)を復元する処理を行う。
The
加算部107は、復元された予測残差信号に予測画像を加算して再構成画像を求める処理を行う。
The
ループ内フィルタ部108は、少なくとも制限付き線形フィルタ処理部10を用いてフィルタ処理を行うものである。
The in-
フィルタ係数決定部120は、ループ内フィルタ部108で用いる線形フィルタ係数を決定する処理を行う。
The filter
ループ内フィルタ部108でフィルタされた復号画像はインター予測の動き補償のための参照画像として参照画像バッファ109に保持され、エントロピー符号化部104からの符号化ストリームが符号化処理結果として出力される。
The decoded image filtered by the in-
ループ内フィルタ部108は、再構成画像にフィルタ処理を施す制限付き線形フィルタ処理部10を有している。また、映像符号化装置100では、制限付き線形フィルタ処理部10で用いる線形フィルタ係数を決定するフィルタ係数決定部120が設けられている。また、映像符号化装置100では、フィルタ係数決定部120で決定した線形フィルタ係数は、エントロピー符号化部104で符号化されて符号化ストリームに多重化して出力される。
The in-
なお、ループ内フィルタ部108には制限付き線形フィルタ処理部10のほかに、HEVCで用いられているデブロッキングフィルタや、サンプル適応オフセット(SAO(Sample Adaptifve Offset))のようなフィルタを組み合わせて用いても良い。また、制限付き線形フィルタ処理部10をサンプル適応オフセットのフィルタタイプの一種として、サンプル適応オフセットと制限付き線形フィルタ処理部10を処理単位領域ごとに選択的に用いるように構成しても良い。
In addition to the limited linear
次に、図4を用いて、第1の実施形態の映像復号装置200の構成について説明する。なお、図4において、括弧内の符号は後述する第2、第3の実施形態で用いられる符号である。
Next, the configuration of the
図4に示すように、第1の実施形態の映像復号装置200は、エントロピー復号部204、逆量子化部205、逆変換部206、加算部207、ループ内フィルタ部208、参照画像バッファ209、インター予測部210、イントラ予測部211、切替部212を有している。また、ループ内フィルタ部208は、制限付き線形フィルタ処理部10を有している。
As shown in FIG. 4, the
映像復号装置200は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム(実施形態に係る映像復号プログラムを含む)をインストールすることにより構築するようにしてもよい。また、上述の映像復号プログラムには、制限付き線形フィルタ処理部10に相当するプログラム(実施形態に係る画像処理プログラム)が含まれる。
The
エントロピー復号部204は、入力された符号化ストリームをエントロピー復号して量子化された変換係数や符号化モード情報、動きベクトル情報等を取得する。
The
逆量子化部205は、復号された結果から得られた量子化された変換係数を逆量子化して、変換係数を得るものである。
The
逆変換部206は、逆量子化部205が逆量子化した変換係数を逆変換して予測残差信号を取得する。
The
インター予測部210は、参照画像バッファ209の画像を参照して、動き補償予測に基づく予測画像を生成する。
The
イントラ予測部211は、画面内の再構成画素等から予測を行って予測画像を生成する。
The
切替部212は、復号された符号化モード情報にしたがって、予測画像の取得元(インター予測部210の予測画像、又はイントラ予測部211の予測画像)を切り替える処理を行う。
The
加算部207は、逆変換部206から得られた予測残差信号と予測画像(切替部212により選択された予測画像)とを加算して再構成画像を得る処理を行う。
The
ループ内フィルタ部208は、再構成画像に対して制限付き線形フィルタを含むループ内フィルタを適用する処理を行う。
The in-
ループ内フィルタ部208で得られた復号画像は復号処理結果として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ209に保持される。
The decoded image obtained by the in-
映像復号装置200では、ループ内フィルタ部208に制限付き線形フィルタ処理部10を用いている。また、映像復号装置200では、この制限付き線形フィルタ処理部10で用いる線形フィルタ係数の情報として、符号化ストリームからエントロピー復号して得られた線形フィルタ係数を用いる。
In the
また、映像復号装置200では、映像符号化装置100と同様に、ループ内フィルタ部208には、制限付き線形フィルタ処理部10の他に、HEVCで用いられているデブロッキングフィルタや、サンプル適応オフセットのようなフィルタを組み合わせて用いても良い。また、制限付き線形フィルタ処理部10をサンプル適応オフセットのフィルタタイプの一種として、サンプル適応オフセットと制限付き線形フィルタを処理単位領域ごとに選択的に用いるように構成しても良い。
Further, in the
上述の通り、第1の実施形態では、映像符号化装置100のループ内フィルタ部108、及び映像復号装置200のループ内フィルタ部208に、制限付き線形フィルタ処理部10が含まれている。以下では、ループ内フィルタ部108、208に搭載される制限付き線形フィルタ処理部10の構成例について説明する。
As described above, in the first embodiment, the in-
図1は、第1の実施形態の制限付き線形フィルタ処理部10の構成例について示したブロック図である。
FIG. 1 is a block diagram showing a configuration example of the restricted linear
図1に示すように、制限付き線形フィルタ処理部10は、線形フィルタ処理部11、線形フィルタ係数記憶部12、差分値算出部13、及び制限値処理部14を有している。
As shown in FIG. 1, the limited linear
線形フィルタ係数記憶部12は、フィルタ係数決定部120もしくはエントロピー復号部204から得られる線形フィルタ係数を記憶する。
The linear filter
差分値算出部13は、処理対象となる領域内のそれぞれの画素ごとに、処理対象画素とその周辺画素を入力し、周辺画素と対象画素の差分値を算出する。
The difference
制限値処理部14は、所定の差分制限値が入力され、差分値算出部13からの差分値の絶対値が差分制限値を超える差分値に対して制限を施す処理を行う。
The limit
線形フィルタ処理部11は、対象画素と制限値処理部14からの制限された差分値を入力して、線形フィルタ係数記憶部12のフィルタ係数を参照して線形フィルタ処理を行い、対象画素に対するフィルタ結果の画素値として出力する。
The linear
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態の映像処理システム1の動作(映像符号化装置100、映像復号装置200、及び制限付き線形フィルタ処理部10の動作)について説明する。
(A-2) Operation of First Embodiment Next, the operation of the
まず、映像符号化装置100のループ内フィルタ部108、及び映像復号装置200のループ内フィルタ部208が備える制限付き線形フィルタ処理部10の動作について説明する。
First, the operation of the in-
図1に示すように、第1の実施形態の制限付き線形フィルタ処理部10では、線形フィルタ係数は自由に設定可能な線形フィルタとする代わりに、フィルタの入力となる周辺画素との差分値に対して制限値処理を施すことでエッジ保存する性質を実現する。
As shown in FIG. 1, in the limited linear
制限付き線形フィルタ処理部10では、例えば、図5に示すように処理対象の画素cに対してその上下左右(垂直方向及び水平方向)に隣接する4つの画素n0、n1、n2、n3を参照して、フィルタ処理結果の画素値c’を求める。制限付き線形フィルタ処理部10では、例えば、以下の(3)式を用いて、画素値c’を求めるようにしてもよい。
c’=Clip1(c+((Σiaif(ni,−c,u)+b+r)>>s))…(3)
In the limited linear
c '= Clip1 (c + ( (Σ i a i f (n i, -c, u) + b + r) >> s)) ... (3)
(3)式において、ai,bは線形フィルタ係数であり、線形フィルタ係数記憶部12から供給されるパラメーターである。また、(3)式において、添え字iは周辺画素niの位置i=0〜3である。さらに、(3)式において、r,sは整数演算で固定少数演算を行うためのシフト量sと丸め「r=1<<(s−1)」を表している。さらにまた、(3)式において、Clip1は画素値の値を有効な画素値の範囲にクリッピングする関数である。Clip1は、例えば、8ビット画像が処理対象の場合は0〜255の範囲にクリッピングし、10ビット画像の場合は0〜1023の範囲にクリッピングするものとする。JEMではクリッピングの上限、下限の値を指定可能となっているため、制限付き線形フィルタ処理部10において、(3)式の演算を行う際に、上述のClip1に替えて、JEMの機能を用いて指定した範囲にクリッピングする処理を用いても良い。なお、ループ内フィルタ部108、208において、制限付き線形フィルタ処理部10の結果を、さらに処理(例えば、さらに他のフィルタ処理)する場合には、上述の(3)式からクリッピング処理(Clip1の処理)を省略しても良い。
In the equation (3), ai and b are linear filter coefficients, which are parameters supplied from the linear filter
また、f(x,u)は差分値を制限するための関数であり、例えば、以下の(4)式のような関数を用いることができる。 Further, f (x, u) is a function for limiting the difference value, and for example, a function as shown in the following equation (4) can be used.
これにより、差分制限値uよりも差分値xの絶対値が大きい場合(すなわち、対象画素値と周辺画素値の差が大きい場合)は、当該周辺画素が、制限付き線形フィルタ処理部10のフィルタ結果(上述の(3)式の結果)へ与える影響を抑制する。
As a result, when the absolute value of the difference value x is larger than the difference limit value u (that is, when the difference between the target pixel value and the peripheral pixel value is large), the peripheral pixel is the filter of the restricted linear
制限付き線形フィルタ処理部10において、差分値を制限する関数としては、例えば、以下の式(5)のような関数を用いても良い。(5)式では、差分値xの絶対値が差分制限値uを超える場合に、差分値を±uに制限する関数であり、同様にこのような画素のフィルタ結果への影響を抑制することができる。
(3)式では、定数項bを設けているが、定数項bを用いない構成や、定数項bの有無を上位シンタックス等でシグナリング可能(映像符号化装置100側からエントロピー復号部204に通知可能)としても良い。また、(3)式において、フィルタ係数の固定少数精度を表すシフト量sもあらかじめ定めた固定値としても良いし、シフト量sの値を上位シンタックス等でシグナリング可能としても良い。
In the equation (3), the constant term b is provided, but the configuration that does not use the constant term b and the presence / absence of the constant term b can be signaled by higher-level syntax or the like (from the
なお、制限付き線形フィルタ処理部10は、周辺画素niが画面外の画素を含む場合や、スライスやタイルのような画面分割境界外の画素を含む場合の動作は、参照できない(しない)画素の値をni=cとみなして(すなわち(ni−c)=0として)処理するよう構成としても良い。
Incidentally, limited linear
制限付き線形フィルタ処理部10において、制限値uは、従来技術のσrと同様な量子化パラメーターに依存する値として算出するようにしても良いし、映像符号化装置100が明示的に指定可能な値としてシグナリングするようにしても良い。
In the limited linear
以上のように、制限付き線形フィルタ処理部10の制限付き線形フィルタ処理部10では、上記の(3)式(又は(3)式を変形した式)に相当する処理を行う。
As described above, the limited linear
差分値算出部13では、フィルタ対象画素cと周辺画素niとの差分値ni−cを求める処理を行うが、以下の(6)式、(7)式のように構成しても良い。すなわち、フィルタ対象の領域のフィルタ処理前の再構成画像をI(x,y)として、x方向とy方向の勾配画像Ix(x,y)とIy(x,y)を処理対象領域にわたって求め、中間画像として保持するようにしてもよい。
Ix(x,y)=I(x+1,y)−I(x,y) …(6)
Iy(x,y)=I(x,y+1)−I(x,y) …(7)
In the difference
I x (x, y) = I (x + 1, y) -I (x, y) ... (6)
I y (x, y) = I (x, y + 1) -I (x, y) ... (7)
図5のn0,n3に対しては差分値(―Iy(x,y−1),―Ix(x−1,y))の符号が反転した値となるが、後の処理で対応する係数aiの符号を反転して適用することで打ち消すことができる。 The difference values (-I y (x, y-1), -I x (x-1, y)) are inverted values for n 0 and n 3 in FIG. 5, but the subsequent processing It can be canceled by inverting and applying the sign of the corresponding coefficient ai in.
制限値処理部14では、所定の差分制限値uを用いて、差分値算出部13で求めた差分値に対して、(4)式もしくは(5)式で表されるような関数を適用し、f(Ix,u),f(Iy,u)を求め、これを処理対象領域にわたって中間画像として保持する。
The limit
線形フィルタ処理部11では、制限値処理部14で求めた制限された差分値と、対象画素値を入力として、線形フィルタ係数記憶部12からの線形フィルタ係数ai,bを用いた、(制限された)差分値の線形結合を求める(3)式の処理を行い、得られた結果を対象画素に対するフィルタ処理結果の画素値とする。この時、n0,n3に対する係数a0,a3の符号を反転した値(−a0,−a3)を線形フィルタ係数記憶部12に記憶しておくことで、符号の反転した制限された差分値を含む係数との積和処理を簡単化しても良い。
The linear
図1に示すような、制限付き線形フィルタ処理部10を用いる映像復号装置200では、エントロピー復号部204で、符号化ストリームに多重化された制限付き線形フィルタで用いる線形フィルタ係数を復号し、ループ内フィルタ部208に含まれる制限付き線形フィルタ処理部10の線形フィルタ係数記憶部12に格納する。
In the
線形フィルタ係数を符号化ストリームに多重化する方法としては、例えば、スライスヘッダやピクチャパラメーターセット等のパラメーターセットのような上位シンタックスで符号化する方法を適用してもよい。例えば、符号化ストリームの符号化方式としてHEVCと同様な符号化方式を適用した場合を想定する。この場合、HEVCのサンプル適応オフセット(SAO)と同様に符号化ツリーユニット(HEVCでは最大64x64画素の領域、JEMではさらに大きな符号化ツリーユニットを利用可能)のような処理単位領域ごとに、制限付き線形フィルタを、SAOの処理タイプ(例えばBO,EOなどの処理タイプがある)の一種として選択的に用いるように構成し、処理タイプとして制限付き線形フィルタタイプを選択している場合は、対象の処理単位領域で用いる線形フィルタ係数ai,bをシグナリングするようにしても良い。さらに、この場合、4つの線形フィルタ係数aiに関しては、他のSAOの処理タイプ(BOやE0)の4つのオフセット値を符号化するのと同じエントロピー符号化方法を流用するなどして構成しても良い。 As a method of multiplexing the linear filter coefficient into the coded stream, for example, a method of encoding with an upper syntax such as a parameter set such as a slice header or a picture parameter set may be applied. For example, it is assumed that a coding method similar to HEVC is applied as the coding method of the coded stream. In this case, there is a limitation for each processing unit area such as a coded tree unit (a region of up to 64x64 pixels in HEVC, a larger coded tree unit can be used in JEM) as well as the sample adaptive offset (SAO) of HEVC. If the linear filter is configured to be selectively used as a type of SAO processing type (for example, there are processing types such as BO and EO), and the restricted linear filter type is selected as the processing type, the target The linear filter coefficients ai and b used in the processing unit region may be signaled. Further, in this case, the four linear filter coefficients ai are configured by diverting the same entropy coding method as encoding the four offset values of other SAO processing types (BO and E0). You may.
以上のように、映像符号化装置100の制限付き線形フィルタ処理部10で得られた線形フィルタ係数と同様のものが、映像復号装置200のループ内フィルタ部208側に伝送される。映像復号装置200では、得られた線形フィルタ係数を用いて、制限付き線形フィルタ処理(制限付き線形フィルタ処理部10を用いたフィルタ処理)を行うことで復号処理を行う。
As described above, the same linear filter coefficient obtained by the limited linear
上述のように、制限付き線形フィルタ処理部10を備える映像符号化装置100では、フィルタ係数決定部120で、最適な線形フィルタ係数の設計を行い、得られた線形フィルタ係数をループ内フィルタ部108に含まれる制限付き線形フィルタ処理部10の線形フィルタ係数記憶部12に格納する。また、映像符号化装置100のエントロピー符号化部104が、得られた線形フィルタ係数を上述のような符号化方法により符号化ストリームに多重化する。
As described above, in the
次に、フィルタ係数決定部120による線形フィルタ係数の設計処理について説明する。
Next, the design process of the linear filter coefficient by the filter
以下では、同じ線形フィルタ係数を用いる領域内の各対象画素cjとし、cjに対する(3)式の制限付き線形フィルタによる結果をcj’とし、対象画素の位置の入力画像の画素値をCjとする。 In the following, the respective pixel c j in the area using the same linear filter coefficients, the result of (3) Restricted linear filter for c j and c j ', the pixel value of the input image at the position of the target pixel Let C j.
フィルタ係数決定部120は、フィルタ処理後の画素値cj’の入力画像の画素値Cjに対する誤差の和が最少となるよう線形フィルタ係数ai,bを設計する。すなわち、フィルタ係数決定部120は、以下の(8)式のような誤差の二乗和Eが最少となるような線形フィルタ係数ai,bを、最小二乗法を用いて求める。フィルタ係数決定部120は、誤差の二乗和Eについては、同じ線形フィルタ係数を用いることになる領域内の画素を収集することで求める。
E=Σ(cj’−Cj)2 …(8)
The filter
E = Σ (c j'- C j ) 2 ... (8)
(8)式のような誤差の二乗和Eを最小化する係数ai,bを求める場合、Eをai,bで偏微分した式が0となるようなai,bを、以下の(9)式のような連立方程式を解くことによって求めることができる。
(3)式では、制限された差分値f(Ix,u),f(Iy,u)に関する、ai,bを係数とする一次式でありf(Ix,u),f(Iy,u)を入力値とみなす単純な最小二乗法で線形フィルタ係数ai,bを求めることができる。 Equation (3) is a linear equation with ai and b as coefficients with respect to the restricted difference values f (I x , u) and f (I y , u), and is a linear equation with f (I x , u) and f ( The linear filter coefficients ai and b can be obtained by a simple least squares method that regards I y and u) as input values.
フィルタ係数決定部120は、制限付き線形フィルタ処理部10と、HEVCのSAOのようなフィルタを処理単位領域ごとに選択的に用いる場合は、このようにして最適設計した制限付き線形フィルタと、その他の(BOやEOといった)SAOタイプのいずれを用いるかを評価(例えば、それぞれのフィルタタイプによるフィルタ処理結果の入力画像に対する誤差(歪)を評価)する。そして、フィルタ係数決定部120は、最も入力画像からの画質劣化が少ないフィルタタイプを選択する。また、フィルタ係数決定部120は、例えば、レート歪最適化処理を用いてフィルタタイプを選択する。すなわち、フィルタ係数決定部120は、それぞれのフィルタタイプのフィルタを用いた場合の、入力画像に対するフィルタ処理結果の歪Dと、そのフィルタタイプを用いるために必要となる(フィルタタイプ情報と、オフセットもしくは線形フィルタ係数の符号化に必要となる)符号量Rのトレードオフを、ラグランジュ乗数λを用いてレート歪コスト「J=D+λR」として評価する。そして、フィルタ係数決定部120は、レート歪コストJが最少となるようなフィルタタイプのフィルタを対象領域に対して用いるよう選択する。
When the filter
以上のようにして、映像符号化装置100では最適設計した線形フィルタ係数を用いた制限付き線形フィルタ処理を、ループ内フィルタ部108で行うことによって符号化処理を行う。
As described above, in the
(A−3)第1の実施形態の効果
第1の実施形態によれば、以下のような効果を奏することができる。
(A-3) Effect of First Embodiment According to the first embodiment, the following effects can be obtained.
第1の実施形態の映像処理システム1では、ループ内フィルタ部108、208(制限付き線形フィルタ処理部10)において、従来技術のようにLUTを必要とするような複雑な演算処理を用いずに、周辺画素との差分値に簡単な制限値処理を加えるだけで差分値の大きな周辺画素からの影響を抑制するようにしている。すなわち、第1の実施形態のループ内フィルタ部108、208(制限付き線形フィルタ処理部10)では、従来のバイラテラルフィルタと同様なエッジを保存する性質をもつフィルタ処理を容易に施すことが可能となる。
In the
また、第1の実施形態のループ内フィルタ部108、208(制限付き線形フィルタ処理部10)では、フィルタ係数側ではなく、フィルタの入力値側に対して非線形な処理を施しているので、フィルタ処理自体は線形な係数演算となり、フィルタ係数の最適設計を容易に行うことが可能となる。
Further, in the in-
(B)第2の実施形態
以下、本発明による映像符号化装置、映像復号装置、及び映像処理システムの第2の実施形態を、図面を参照しながら詳述する。第2の実施形態では、本発明の画像処理装置、プログラム及び方法を、制限付き線形フィルタ処理部に適用した例について説明する。
(B) The following second embodiment, film picture coding apparatus according to the present invention, video decoding apparatus, and a second embodiment of the image processing system will be described in detail with reference to the drawings. In the second embodiment, an example in which the image processing apparatus, program, and method of the present invention is applied to the restricted linear filter processing unit will be described.
(B−1)第2の実施形態の構成
第2の実施形態の映像処理システム1Aの全体構成についても、上述の図2を用いて示すことができる。以下では、第2の実施形態について、第1の実施形態との差異を説明する。
(B-1) Configuration of Second Embodiment The overall configuration of the
図2に示す通り、映像処理システム1Aでは、映像符号化装置100と映像復号装置200が、映像符号化装置100Aと映像復号装置200Aに置き換えられている点で第1の実施形態と異なっている。
As shown in FIG. 2, the
第2の実施形態の映像符号化装置100A、映像復号装置200Aについても、第1の実施形態と同様に図3、図4を用いて示すことができる。
The
図3に示すように、映像符号化装置100Aでは、第1の実施形態と比較して、ループ内フィルタ部108、エントロピー符号化部104、フィルタ係数決定部120が、それぞれループ内フィルタ部108A、エントロピー符号化部104A、フィルタ係数決定部120Aに置き換えられている。また、図4に示すように、映像復号装置200Aでは、第1の実施形態と比較して、エントロピー復号部204、ループ内フィルタ部208が、それぞれエントロピー復号部204A、ループ内フィルタ部208Aに置き換えられている。さらに、図3、図4に示すように、ループ内フィルタ部108A、208Aでは、制限付き線形フィルタ処理部10が制限付き線形フィルタ処理部20に置き換えられている。
As shown in FIG. 3, in the
次に、制限付き線形フィルタ処理部20について、第1の実施形態の制限付き線形フィルタ処理部10との差異を説明する。
Next, the difference between the restricted linear
制限付き線形フィルタ処理部20は、制限付き線形フィルタで参照する周辺画素の参照パターンを複数用意し、選ばれた参照パターンの周辺画素を用いて制限付き線形フィルタ処理を行う点で第1の実施形態と異なっている。
The limited linear
図6は、第2の実施形態に係る制限付き線形フィルタ処理部20の機能的構成について示したブロック図である。
FIG. 6 is a block diagram showing a functional configuration of the restricted linear
第2の実施形態の制限付き線形フィルタ処理部20では、差分値算出部13が差分値算出部23に置き換わっている点で第1の実施形態と異なっている。
The restricted linear
差分値算出部23は、選ばれた参照パターンの情報(以下、「パターンタイプ情報」と呼ぶ)の入力を受け、制限付き線形フィルタ処理で用いる周辺画素をパターンタイプ情報で指定されたパターンにしたがって、周辺画素との差分値の求め方を変更可能としている点で第1の実施形態と異なっている。制限付き線形フィルタ処理部20の詳細処理については後述する。
The difference
制限付き線形フィルタ処理部20では、例えば、図5の十字型のパターンや、図7のようなX字型のパターン等、複数の周辺画素の参照パターンのいずれかを用いて線形フィルタ処理を行う。第2の実施形態の制限付き線形フィルタ処理部20では、図5の十字型のパターン、又は図7のX字型のパターンのいずれかの周辺画素の参照パターンを用いるものとして説明するが、制限付き線形フィルタ処理部20で適用する周辺画素の参照パターンの数や種類は限定されないものである。
The limited linear
映像符号化装置100Aのループ内フィルタ部108Aは、いずれかのパターン(図5の十字型のパターン、又は図7のX字型のパターン)を指定する情報が設定されたパターンタイプ情報を、制限付き線形フィルタ処理部20(差分値算出部23)に供給する。また、映像符号化装置100Aのエントロピー符号化部304は、指定されたパターンタイプ情報を符号化ストリームに多重化して、映像復号装置200A側に通知する(シグナリングする)。
The in-
符号化ストリーム上にパターンタイプ情報を多重化して通知(シグナリング)する方法は限定されないものである。例えば、パターンタイプ情報は、パラメーターセットのような上位シンタックスでシグナリングを行うようにしても良い。また、例えば、パターンタイプ情報をHEVCのようなSAOのタイプの一種として指定するようにしてもよい。HEVCのSAOにおいて、処理対象の画素と近傍の画素との関係に基づきオフセットを設定するモードとしてEO(Edge Offse)がある。EOでは、複数の参照パターン(EOクラス)のいずれかを選択することが可能となっており、EO0、EO1、…といった複数のSAOのタイプからの選択として指定している。そこで、この実施形態では、このSAOのタイプ情報を利用して、制限付き線形フィルタに係るパターンタイプ情報(制限付き線形フィルタの参照パターン)を、複数のSAOタイプ(例えばLO0,LO1)から選択して指定し、復号側にシグナリング(符号化ストリームに多重化して通知)するものとして説明する。例えば、映像符号化装置100Aで符号化する際に、SAOのタイプとして複数の制限付き線形フィルタタイプのいずれか(例えば、LO0、LO1のいずれか)をSAOタイプ情報として指定することでシグナリングするようにしてもよい。例えば、LO0を図5の十字型のパターンとし、LO1を図7のX字型のパターンとして取り扱うようにしてもよい。そして、映像復号装置200A側では、復号する際に、SAOのタイプ情報に設定された制限付き線形フィルタタイプ(例えば、LO0、LO1のいずれか)を読み取ることで、設定されたパターンタイプ情報を認識するようにしてもよい。
The method of multiplexing and notifying (signaling) pattern type information on the coded stream is not limited. For example, the pattern type information may be signaled by a higher-level syntax such as a parameter set. Further, for example, the pattern type information may be specified as a kind of SAO type such as HEVC. In HEVC SAO, there is EO (Edge Offse) as a mode for setting an offset based on the relationship between a pixel to be processed and a pixel in the vicinity. In EO, it is possible to select any one of a plurality of reference patterns (EO classes), and it is designated as a selection from a plurality of SAO types such as EO0, EO1, .... Therefore, in this embodiment, the pattern type information related to the restricted linear filter (reference pattern of the restricted linear filter) is selected from a plurality of SAO types (for example, LO0, LO1) by using the SAO type information. It will be described as signaling (multiplexing to a coded stream and notifying) to the decoding side. For example, when encoding with the
以下では、パターンタイプ情報(制限付き線形フィルタの参照パターンタイプ)について、上述のようにSAOのタイプの一種として処理するものとして説明する。 In the following, the pattern type information (reference pattern type of the restricted linear filter) will be described as being processed as a kind of SAO type as described above.
(B−2)第2の実施形態の動作
次に、以上のような構成を有する第2の実施形態の映像処理システム1Aの動作を説明する。
(B-2) Operation of the Second Embodiment Next, the operation of the
以下では、第2の実施形態の映像処理システム1Aの動作について、第1の実施形態との差異を説明する。
Hereinafter, the difference between the operation of the
以下では、制限付き線形フィルタ処理部20の動作を中心に説明する。
Hereinafter, the operation of the restricted linear
第2の実施形態の復号装置では、エントロピー復号部204Aで復号したSAOタイプ情報に含まれる制限付き線形フィルタのパターンタイプ情報を抽出し、差分値算出部23に供給するとともに、制限付き線形フィルタタイプを用いる場合の線形フィルタ係数を、制限付き線形フィルタ処理部20の線形フィルタ係数記憶部12に供給する。
In the decoding device of the second embodiment, the pattern type information of the restricted linear filter included in the SAO type information decoded by the
制限付き線形フィルタ処理部20の差分値算出部23では、パターンタイプ情報で指定された、図5、又は図7のような参照パターンにしたがって対象画素cに隣接する画素を周辺画素n0,n1,n2,n3として選択し、対象画素cとの差分を求めて制限値処理部14に供給する。
In the difference value calculation unit 23 of the limited linear filter processing unit 20, the peripheral pixels n 0 , n are the pixels adjacent to the target pixel c according to the reference pattern as shown in FIG. 5 or 7 specified in the pattern type information. It is selected as 1, n 2 , n 3 , and the difference from the target pixel c is obtained and supplied to the limit
ここでは、第1の実施形態のように、勾配画像Ix(x,y)とIy(x,y)を対象領域にわたって求める構成とする。そして、差分値算出部23は、パターンタイプ情報で図7のX字型の参照パターンが指定されていた場合は、Ix(x,y)とIy(x,y)に代わって、斜め方向の勾配画像I1(x,y)とI0(x,y)を求め、Ix,Iyに代わってI1,I0を制限値処理部14に供給する。
I1(x,y)=I(x+1,y−1)−I(x,y)…(10)
I0(x,y)=I(x+1,y+1)−I(x,y)…(11)
Here, as in the first embodiment, the gradient images I x (x, y) and I y (x, y) are obtained over the target region. Then, when the X-shaped reference pattern of FIG. 7 is specified in the pattern type information, the difference value calculation unit 23 obliquely replaces I x (x, y) and I y (x, y). Gradient images of directions I 1 (x, y) and I 0 (x, y) are obtained, and I 1 and I 0 are supplied to the limit
I 1 (x, y) = I (x + 1, y-1) -I (x, y) ... (10)
I 0 (x, y) = I (x + 1, y + 1) -I (x, y) ... (11)
制限付き線形フィルタ処理部20では、制限値処理部14以降の処理は、第1の実施形態と同様であるため詳しい説明を省略する。
In the limited linear
第2の実施形態の映像符号化装置100Aでは、フィルタ係数決定部120Aが、第1の実施形態のようなフィルタ係数の設計処理を、利用可能な複数の参照パターンについてそれぞれ行う。そして、フィルタ係数決定部120Aは、それぞれ得られた線形フィルタ係数を用いる制限付き線形フィルタタイプと、その他のBOやEOといったSAOタイプを選択する。その際、フィルタ係数決定部120Aは、第1の実施形態と同様に画像品質のみによる選択方式、あるいはレート歪最適化処理による選択方式により選択する処理を行う。そして、フィルタ係数決定部120Aは、制限付き線形フィルタ処理に用いるフィルタタイプを選択すると、その選択に対する線形フィルタ係数を、制限付き線形フィルタ処理部20の線形フィルタ係数記憶部12に供給し、選択された制限付き線形フィルタに対応するパターンタイプ情報を差分値算出部23に供給する。
In the
選択されたパターンタイプ情報は、例えば、SAOタイプの一種としてエントロピー符号化部104Aで線形フィルタ係数と共にエントロピー符号化される(符号化ストリームに多重化される)。
The selected pattern type information is entropy-encoded (multiplexed into a coded stream) together with a linear filter coefficient by the
(B−3)第2の実施形態の効果
第2の実施形態によれば、第1の実施形態の効果に加えて以下のような効果を奏することができる。
(B-3) Effect of Second Embodiment According to the second embodiment, the following effects can be obtained in addition to the effect of the first embodiment.
第2の実施形態の制限付き線形フィルタ処理部20では、第1の実施形態と同様にエッジを保存する性質をもつ最適な線形フィルタを施すことが可能になり、さらに複数の参照パターンから最適なものを選択可能となる。これにより、第2の実施形態の制限付き線形フィルタ処理部20では、第1の実施形態と比較して、より画質劣化が低減できるとともに、より符号化効率の高い符号化ストリームが生成可能となる。
In the limited linear
(C)第3の実施形態
以下、本発明による映像符号化装置、映像復号装置、及び映像処理システムの第3の実施形態を、図面を参照しながら詳述する。第3の実施形態では、本発明の画像処理装置、プログラム及び方法を、制限付き線形フィルタ処理部に適用した例について説明する。
(C) the following third embodiment, film picture coding apparatus according to the present invention, video decoding apparatus, and a third embodiment of the image processing system will be described in detail with reference to the drawings. In the third embodiment, an example in which the image processing apparatus, program, and method of the present invention is applied to the restricted linear filter processing unit will be described.
(C−1)第3の実施形態の構成
第3の実施形態の映像処理システム1Bの全体構成についても、上述の図2を用いて示すことができる。以下では、第3の実施形態について、第1の実施形態との差異を説明する。
(C-1) Configuration of Third Embodiment The overall configuration of the
図2に示す通り、映像処理システム1Bでは、映像符号化装置100が映像符号化装置100Bに置き換えられている点で第1の実施形態と異なっている。
As shown in FIG. 2, the
第3の実施形態の映像符号化装置100Bについても、第1の実施形態と同様に図3を用いて示すことができる。
The
図3に示すように、映像符号化装置100Bでは、第1の実施形態と比較して、エントロピー符号化部104、フィルタ係数決定部120が、それぞれエントロピー符号化部104B、フィルタ係数決定部120Bに置き換えられている。さらに、図4に示すように、映像復号装置200Bでは、第1の実施形態と比較して、エントロピー復号部204が、エントロピー復号部204Bに置き換えられている。
As shown in FIG. 3, in the
第3の実施形態では、映像符号化装置100B側で、制限付き線形フィルタ処理部10で用いる差分制限値uを設定し、シグナリング(符号化ストリームに多重化して映像復号装置200側に通知)する。
In the third embodiment, the difference limit value u used by the restricted linear
映像符号化装置100Bのフィルタ係数決定部120Bでは、差分制限値uを算出する。具体的には、フィルタ係数決定部120Bは、線形フィルタ係数ai,bに加えて、差分制限値uも算出(算出方法については後述)し、算出した差分制限値uを、ループ内フィルタ部108内の制限付き線形フィルタ処理部10に供給する。また、フィルタ係数決定部120Bは、算出した差分制限値uを、エントロピー符号化部104Bにも供給する。エントロピー符号化部104Bは、差分制限値uについても符号化ストリームに多重化して出力する。
The filter
そして、第3の実施形態の映像復号装置200Bでは、エントロピー復号部204Bでストリームから線形フィルタ係数とともに差分制限値uが抽出され、ループ内フィルタ部208内の制限付き線形フィルタ処理部10に差分制限値uとして供給される。
Then, in the
(C−2)第3の実施形態の動作
次に、以上のような構成を有する第3の実施形態の映像処理システム1Bの動作を説明する。
(C-2) Operation of the Third Embodiment Next, the operation of the
以下では、第3の実施形態の映像処理システム1Bの動作について、第1の実施形態との差異を説明する。以下では、第3の実施形態において、差分制限値uを映像符号化装置100B(フィルタ係数決定部120B)側で明示的に指定してシグナリング(符号化ストリームに多重化して映像復号装置200B側に通知)する点を中心に説明する。
Hereinafter, the difference between the operation of the
差分制限値uは、周辺画素と対象画素との差分が、量子化ノイズ等によって生じたものか、もともとの符号化対象フレームのエッジのような部分の画素値の差によって生じたものであるかを見積もり、後者の場合のフィルタ結果に与える影響を抑制するためのパラメーターである。量子化ノイズ等によって生じる画素値の誤差は、主に量子化パラメーターから推定可能であり、従来技術のσrのようにあらかじめ量子化パラメーターに依存する値として規定しておくことによって、明示的なシグナリング(映像符号化装置100Bから映像復号装置200Bへの通知)なしに用いることも可能である。
The difference limit value u is whether the difference between the peripheral pixel and the target pixel is caused by quantization noise or the like, or is it caused by the difference in the pixel value of a portion such as the edge of the original coded target frame. Is a parameter for estimating and suppressing the influence on the filter result in the latter case. The pixel value error caused by quantization noise or the like can be estimated mainly from the quantization parameter, and is explicitly defined as a value that depends on the quantization parameter in advance, such as σ r in the prior art. It can also be used without signaling (notification from the
ここでは、量子化ノイズ等による誤差成分を映像符号化装置100B側で推定して明示的に差分制限値uをシグナリングするものとして説明する。
Here, the error component due to quantization noise or the like is estimated on the
次に、フィルタ係数決定部120Bが差分制限値uを算出する際の処理の例について説明する。
Next, an example of processing when the filter
映像符号化装置100Bのフィルタ係数決定部120Bでは、符号化対象の入力画像の画素値T(x,y)と、符号化処理によって生成されるフィルタ処理前の再構成画像の画素値R(x,y)が入手可能である。すなわち、フィルタ係数決定部120Bでは、R(x,y)−T(x,y)と計算することによって画素ごとに、量子化ノイズ等によってどれだけの誤差が生じているかが算出可能である。
In the filter
フィルタ係数決定部120Bでは、この誤差(R(x,y)−T(x,y))を、符号化の対象領域全体にわたって統計処理することによって、再構成画像に生じている誤差の程度(誤差の分布)を推定することができる。フィルタ係数決定部120Bにおいて、誤差に対する統計処理の方法としては、例えば、|R−T|の最大値(差分絶対値の最大値)、|R−T|の平均値(差分絶対値の平均値)、(R−T)2の平均値の平方根等の処理を適用することができる。フィルタ係数決定部120Bは、これらの統計値に対して、適切な係数をかけた値を差分制限値uとして算出するようにしてもよい。
In the filter
なお、第3の実施形態において、制限付き線形フィルタ処理部10を、第2の実施形態と同様に制限付き線形フィルタ処理部20に置き換えて、パターンタイプ情報も供給するように構成してもよい(すなわち、第2の実施形態と第3の実施形態を組み合わせて適用するようにしてもよい)。
In the third embodiment, the restricted linear
(C−3)第3の実施形態の効果
第3の実施形態によれば、第1及び第2の実施形態と比較して、以下のような効果を奏することができる。
(C-3) Effect of Third Embodiment According to the third embodiment, the following effects can be obtained as compared with the first and second embodiments.
第3の実施形態の映像処理システム1Bでは、映像符号化装置100B側で再構成画像に生じている量子化ノイズ等による誤差成分を、実際の入力画像と再構成画像から算出し、算出した誤差成分に応じた差分制限値uを設定している。これにより、第3の実施形態の映像処理システム1Bでは、より厳密に差分制限値uを設定することが可能となり、制限付き線形フィルタ処理において、実際のノイズ振幅よりも大きな変化をしている画像のエッジ部分等の周辺画素からの影響を抑制したフィルタ処理を施すことが可能となる。
In the
(D)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(D) Other Embodiments The present invention is not limited to each of the above embodiments, and modified embodiments as illustrated below can also be mentioned.
(D−1)本発明の画像処理装置は上記実施形態に限定されず、その他のさまざまな符号化処理/復号処理に利用可能である。すなわち、本発明の画像処理装置は、上記の実施形態以外の種々の映像符号化処理/映像復号処理の過程で発生するループ内のフィルタ処理に適用可能である。 (D-1) The image processing apparatus of the present invention is not limited to the above embodiment, and can be used for various other coding / decoding processes. That is, the image processing apparatus of the present invention can be applied to the filter processing in the loop generated in the process of various video coding processing / video decoding processing other than the above-described embodiment.
HEVCと同様なサンプル適応オフセット処理のフィルタタイプの一種として本発明の画像処理装置(制限付き線形フィルタ処理部)を用いる場合、HEVCと同様なBOやEOとの組み合わせだけでなく、これらの一部のみのSAOタイプやBOやEOとは異なる処理タイプのフィルタと組み合わせて、これらのSAOタイプと制限付き線形フィルタタイプのSAO処理からの選択が可能な構成としても良い。 When the image processing apparatus (limited linear filter processing unit) of the present invention is used as a kind of filter type of sample adaptive offset processing similar to HEVC, not only the combination with BO and EO similar to HEVC, but also some of them. In combination with a filter of only SAO type or a processing type different from BO or EO, it may be possible to select from these SAO types and restricted linear filter type SAO processing.
本発明の実施形態では、イントラ予測が参照する参照画素はループ内フィルタ処理前の再構成画像として説明したが、従来技術のバイラテラルフィルタのように、変換領域ごとに制限付き線形フィルタを適用して、隣接するイントラ予測では予測に利用する参照画素として、フィルタ前の再構成画像を用いるのではなく、制限付き線形フィルタの処理結果を参照画素として予測処理に用いるようにしても良い。 In the embodiment of the present invention, the reference pixel referred to by the intra-prediction is described as a reconstructed image before the in-loop filter processing, but a limited linear filter is applied to each conversion region like the bilateral filter of the prior art. Therefore, in the adjacent intra-prediction, instead of using the reconstructed image before the filter as the reference pixel used for the prediction, the processing result of the restricted linear filter may be used as the reference pixel in the prediction processing.
(D−2)上記の各実施形態の制限付き線形フィルタ処理部では、差分値を制限する関数の例として、(4)式や(5)式の関数を例示したが、これら以外の関数形を用いたり、複数の関数から選択可能とするなどの構成としても良い。 (D-2) In the restricted linear filter processing unit of each of the above embodiments, the functions of Eqs. (4) and (5) are exemplified as examples of the functions for limiting the difference value, but other functional forms are used. It may be configured such that can be selected from a plurality of functions.
(D−3)上記の各実施形態の制限付き線形フィルタ処理部では、線形フィルタ処理において、(3)式を適用する例について説明したが、(3)式の形式に限定されず、対象画素cと制限された差分値の線形結合となるような様々な演算式を用いても良い。また、(3)式ではクリッピング処理を用いているが、例えば、線形フィルタ係数ai,bのとりうる範囲を制限することでクリッピング処理を不要とする(線形結合の演算結果が常にクリッピング範囲内となるような制限を設ける)ように、制限付き線形フィルタ処理部を構成するようにしてもよい。 (D-3) In the limited linear filter processing unit of each of the above embodiments, an example of applying the equation (3) in the linear filter processing has been described, but the target pixel is not limited to the format of the equation (3). Various arithmetic expressions may be used so as to be a linear combination of c and the limited difference value. Further, although the clipping process is used in the equation (3), for example, the clipping process is not required by limiting the range in which the linear filter coefficients ai and b can be taken (the operation result of the linear combination is always within the clipping range). The restricted linear filter processing unit may be configured so as to set a limit such that
(D−4)第2の実施形態の制限付き線形フィルタ処理部において、参照パターンとして図5や図7のような参照パターンを例示したが、その他の参照パターンを用いたり、参照する画素数も4画素に限定されないような参照パターンを用いても良い。 (D-4) In the restricted linear filter processing unit of the second embodiment, reference patterns as shown in FIGS. 5 and 7 are illustrated as reference patterns, but other reference patterns may be used and the number of pixels to be referred to may also be used. A reference pattern that is not limited to 4 pixels may be used.
(D−5)上記の各実施形態の制限付き線形フィルタ処理部10、20において、線形フィルタ処理部11で適用する線形フィルタ係数は、予め設定された値(例えば、工場出荷された後ユーザにより設定された値)や予め設定された固定値(例えば、工場出荷時に設定された値)を適用するようにしてもよい。
(D-5) In the restricted linear
また、同様に、上記の各実施形態の制限付き線形フィルタ処理部10、20において、制限値処理部14で適用する差分制限値uは、予め設定された値(例えば、ユーザにより設定された値)や予め設定された固定値(例えば、工場出荷時に設定された値)を適用するようにしてもよい。
Similarly, in the restricted linear
(D−6)上記の各実施形態では、本発明の画像処理装置としての制限付き線形フィルタ処理部を、映像符号化装置や映像復号装置に適用した例について説明したが、画像処理装置としての制限付き線形フィルタ処理部を独立した装置として実現するようにしてもよい。 (D-6) In each of the above embodiments, an example in which the limited linear filter processing unit as the image processing device of the present invention is applied to a video coding device or a video decoding device has been described, but the image processing device can be used as an image processing device. The limited linear filter processing unit may be realized as an independent device.
1…映像処理システム、10…制限付き線形フィルタ処理部、11…線形フィルタ処理部、12…線形フィルタ係数記憶部、13…差分値算出部、14…制限値処理部、100…映像符号化装置、101…差分処理部、102…変換部、103…量子化部、104…エントロピー符号化部、105…逆量子化部、106…逆変換部、107…加算部、108…ループ内フィルタ部、109…参照画像バッファ、110…インター予測部、111…イントラ予測部、112…切替部、120…フィルタ係数決定部、200…映像復号装置、204…エントロピー復号部、205…逆量子化部、206…逆変換部、207…加算部、208…ループ内フィルタ部、209…参照画像バッファ、210…インター予測部、211…イントラ予測部、212…切替部。 1 ... Video processing system, 10 ... Limited linear filter processing unit, 11 ... Linear filter processing unit, 12 ... Linear filter coefficient storage unit, 13 ... Difference value calculation unit, 14 ... Limited value processing unit, 100 ... Video coding device , 101 ... Difference processing unit, 102 ... Conversion unit, 103 ... Quantization unit, 104 ... Entropy coding unit, 105 ... Inverse quantization unit, 106 ... Inverse conversion unit, 107 ... Addition unit, 108 ... In-loop filter unit, 109 ... Reference image buffer, 110 ... Inter prediction unit, 111 ... Intra prediction unit, 112 ... Switching unit, 120 ... Filter coefficient determination unit, 200 ... Video decoding device, 204 ... Entropy decoding unit, 205 ... Inverse quantization unit, 206 ... Inverse conversion unit, 207 ... Addition unit, 208 ... In-loop filter unit, 209 ... Reference image buffer, 210 ... Inter prediction unit, 211 ... Intra prediction unit, 212 ... Switching unit.
Claims (13)
前記予測画像と前記符号化対象フレームとの差分を示す予測残差信号に所定の変換処理、及び量子化処理を施して量子化データを生成する変換/量子化手段と、
前記量子化データを符号化して符号化データを出力する符号化手段と、
前記量子化データに逆量子化処理及び所定の逆変換処理を施して予測残差信号を復元した復元予測残差信号を取得する逆量子化/逆変換手段と、
前記予測画像に前記復元予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、
前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、
前記ループ内フィルタ手段によるフィルタ処理後の再構成画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段を有し、
前記ループ内フィルタ手段は、画像処理装置を用いてフィルタ処理を行い、
前記画像処理装置は、
線形フィルタ係数を記憶する記憶手段と、
対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、
前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、
前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段とを有し、
前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を決定するフィルタ係数決定手段をさらに備え、
前記画像処理装置の前記線形フィルタ処理手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を用いて線形フィルタ処理を行い、
前記符号化手段は、前記フィルタ係数決定手段が決定した線形フィルタ係数を前記符号化データに多重化し、
前記フィルタ係数決定手段は、前記画像処理装置の差分値制限処理で用いる差分制限値をさらに決定し、
前記画像処理装置の前記制限値処理手段は、前記フィルタ係数決定手段が決定した差分制限値を用いて差分値制限処理を行い、
前記符号化手段は、前記フィルタ係数決定手段が決定した差分制限値を前記符号化データに多重化する
ことを特徴とする映像符号化装置。 A predictive image generation means for generating a predictive image for a frame to be encoded of video data,
A conversion / quantization means for generating quantization data by performing a predetermined conversion process and a quantization process on a predicted residual signal indicating a difference between the predicted image and the coded frame.
A coding means that encodes the quantization data and outputs the coded data,
An inverse quantization / inverse transformation means for acquiring a restored predicted residual signal obtained by performing an inverse quantization process and a predetermined inverse transformation process on the quantization data to restore the predicted residual signal.
A reconstruction image acquisition means for acquiring a reconstruction image by adding the restoration prediction residual signal to the prediction image, and
An in-loop filter means for applying a predetermined filtering process to the reconstructed image, and
It has a reference image buffer means that holds a reconstructed image after filtering by the in-loop filter means and supplies it as a reference image to the predicted image generation means.
The in-loop filter means performs filter processing using an image processing device, and then performs filtering processing.
The image processing device is
A storage means for storing linear filter coefficients and
A difference value calculating means for calculating the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixels of the target pixel, and
If there is a difference value whose absolute value exceeds a predetermined difference limit value among the difference values calculated by the difference value calculation means, the absolute value of the difference value is changed to a predetermined value equal to or less than the difference limit value. The limit value processing means that performs the difference value limit processing and
The pixel value of the target pixel and the difference value corresponding to each of the peripheral pixels after the change processing by the limit value processing means are input, and are based on the linear filter coefficient stored in the storage means for the target pixel. It has a linear filter processing means that performs linear filter processing and outputs the pixel value of the target pixel after the linear filter processing.
Further, a filter coefficient determining means for determining the linear filter coefficient used in the linear filtering of the image processing apparatus is provided.
The linear filter processing means of the image processing apparatus performs linear filter processing using the linear filter coefficient determined by the filter coefficient determining means.
The coding means multiplexes the linear filter coefficient determined by the filter coefficient determining means into the coded data.
The filter coefficient determining means further determines the difference limiting value used in the difference value limiting process of the image processing apparatus.
The limit value processing means of the image processing apparatus performs the difference value limiting process using the difference limit value determined by the filter coefficient determining means.
The coding means is a video coding apparatus characterized in that the difference limit value determined by the filter coefficient determining means is multiplexed with the coded data.
前記線形フィルタ処理手段は、前記中間画像の値を用いて前記線形フィルタ処理を行う
ことを特徴とする請求項1に記載の映像符号化装置。 The difference value calculation means calculates a gradient image in the difference value calculation direction for the target image including the target pixel, and the limit value processing means performs the difference value limitation process on the gradient image. Get as an intermediate image,
The video coding apparatus according to claim 1, wherein the linear filter processing means performs the linear filter processing using the values of the intermediate image.
前記フィルタ係数決定手段は、前記差分値算出手段に入力するパターンタイプ情報をさらに決定し、
前記画像処理装置の前記差分値算出手段は、前記フィルタ係数決定手段が決定した前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出し、
前記符号化手段は、前記フィルタ係数決定手段が決定したパターンタイプ情報を前記符号化データに多重化する
ことを特徴とする請求項1に記載の映像符号化装置。 The difference value calculation means of the image processing apparatus includes a plurality of reference patterns of peripheral pixels referred to in the linear filter processing of the linear filter processing means centering on the target pixel, and pattern type information for designating one of the reference patterns. Is supplied, the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixels at the position according to the reference pattern specified in the pattern type information is calculated.
The filter coefficient determining means further determines the pattern type information to be input to the difference value calculating means.
The difference value calculating means of the image processing device calculates a difference value from the pixel values of peripheral pixels at positions according to the reference pattern specified in the pattern type information determined by the filter coefficient determining means.
The video coding apparatus according to claim 1, wherein the coding means multiplexes pattern type information determined by the filter coefficient determining means into the coded data.
前記映像データの復号対象フレームの予測画像を生成する予測画像生成手段と、
前記復号データに、逆量子化処理及び所定の逆変換処理を施して、復号対象フレームの予測残差信号を取得する逆量子化/逆変換手段と、
前記予測画像に前記予測残差信号を加算して再構成画像を取得する再構成画像取得手段と、
前記再構成画像に所定のフィルタ処理を施すループ内フィルタ手段と、
前記ループ内フィルタによるフィルタ処理後の復号画像を保持して前記予測画像生成手段に参照画像として供給する参照画像バッファ手段とを有し、
前記ループ内フィルタ手段は、少なくとも画像処理装置を用いてフィルタ処理を行い、
前記画像処理装置は、
線形フィルタ係数を記憶する記憶手段と、
対象画素の画素値と、前記対象画素の周辺画素の画素値との差分値を算出する差分値算出手段と、
前記差分値算出手段で算出された差分値の中に、絶対値が所定の差分制限値を超える差分値があった場合、その差分値の絶対値を前記差分制限値以下の所定の値に変更する差分値制限処理を行う制限値処理手段と、
前記対象画素の画素値と、前記制限値処理手段による変更処理後のそれぞれの前記周辺画素に対応する差分値とを入力とし、前記対象画素に対する前記記憶手段に記憶された前記線形フィルタ係数に基づく線形フィルタ処理を行い、前記線形フィルタ処理の後の前記対象画素の画素値を出力する線形フィルタ処理手段とを有し、
前記復号処理手段は、前記復号データから、前記画像処理装置の線形フィルタ処理で用いる線形フィルタ係数を取得し、
前記画像処理装置の前記線形フィルタ処理手段は、前記復号処理手段が取得した線形フィルタ係数を用いて線形フィルタ処理を行い、
前記復号処理手段は、前記復号データから、前記画像処理装置の差分値制限処理で用いる差分制限値を取得し、
前記画像処理装置の前記制限値処理手段は、前記復号処理手段が取得した差分制限値を用いて差分値制限処理を行う
ことを特徴とする映像復号装置。 Decoding processing means for decoding encoded video data and acquiring decoded data,
A predictive image generation means for generating a predictive image of the frame to be decoded of the video data, and
An inverse quantization / inverse transformation means for obtaining a predicted residual signal of a frame to be decoded by subjecting the decoded data to an inverse quantization process and a predetermined inverse transformation process.
Reconstructed image acquisition means for acquiring a reconstructed image by adding the predicted residual signal to the predicted image, and
An in-loop filter means for applying a predetermined filtering process to the reconstructed image, and
It has a reference image buffer means that holds a decoded image after filtering by the in-loop filter and supplies it as a reference image to the predicted image generation means.
It said loop filter means, have rows filtered using the images processing apparatus also small,
The image processing device is
A storage means for storing linear filter coefficients and
A difference value calculating means for calculating the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixels of the target pixel, and
If there is a difference value whose absolute value exceeds a predetermined difference limit value among the difference values calculated by the difference value calculation means, the absolute value of the difference value is changed to a predetermined value equal to or less than the difference limit value. The limit value processing means that performs the difference value limit processing and
The pixel value of the target pixel and the difference value corresponding to each of the peripheral pixels after the change processing by the limit value processing means are input, and are based on the linear filter coefficient stored in the storage means for the target pixel. It has a linear filter processing means that performs linear filter processing and outputs the pixel value of the target pixel after the linear filter processing.
The decoding processing means acquires a linear filter coefficient used in the linear filter processing of the image processing apparatus from the decoding data, and obtains the linear filter coefficient.
The linear filter processing means of the image processing apparatus performs linear filter processing using the linear filter coefficient acquired by the decoding processing means.
The decoding processing means acquires a difference limit value used in the difference value limiting process of the image processing apparatus from the decoded data, and obtains a difference limit value.
The image processing apparatus is a video decoding apparatus, characterized in that the limit value processing means performs the difference value limiting process using the difference limit value acquired by the decoding processing means.
前記線形フィルタ処理手段は、前記中間画像の値を用いて前記線形フィルタ処理を行う The linear filtering means performs the linear filtering using the values of the intermediate image.
ことを特徴とする請求項7に記載の映像復号装置。 The video decoding apparatus according to claim 7.
前記画像処理装置の前記差分値算出手段は、前記復号処理手段が取得した前記パターンタイプ情報で指定された参照パターンに従った位置の周辺画素の画素値との差分値を算出する
ことを特徴とする請求項7に記載の映像復号装置。 The difference value calculation means of the image processing apparatus includes a plurality of reference patterns of peripheral pixels referred to in the linear filter processing of the linear filter processing means centering on the target pixel, and pattern type information for designating one of the reference patterns. Is supplied, the difference value between the pixel value of the target pixel and the pixel value of the peripheral pixels at the position according to the reference pattern specified in the pattern type information is calculated.
The difference value calculating means of the image processing apparatus is characterized in that it calculates a difference value from the pixel values of peripheral pixels at positions according to the reference pattern specified in the pattern type information acquired by the decoding processing means. The video decoding device according to claim 7.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017167459A JP6919424B2 (en) | 2017-08-31 | 2017-08-31 | Video coding device, video decoding device, and video processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017167459A JP6919424B2 (en) | 2017-08-31 | 2017-08-31 | Video coding device, video decoding device, and video processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019047277A JP2019047277A (en) | 2019-03-22 |
JP6919424B2 true JP6919424B2 (en) | 2021-08-18 |
Family
ID=65816669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017167459A Active JP6919424B2 (en) | 2017-08-31 | 2017-08-31 | Video coding device, video decoding device, and video processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6919424B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005167399A (en) * | 2003-11-28 | 2005-06-23 | Noritsu Koki Co Ltd | Image noise eliminating method |
US9445129B2 (en) * | 2010-04-13 | 2016-09-13 | Sun Patent Trust | Image coding method and image decoding method |
JP2012065120A (en) * | 2010-09-15 | 2012-03-29 | Sharp Corp | Filter coefficient setting device, filter coefficient setting method, and image encoder |
US9641866B2 (en) * | 2011-08-18 | 2017-05-02 | Qualcomm Incorporated | Applying partition-based filters |
-
2017
- 2017-08-31 JP JP2017167459A patent/JP6919424B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019047277A (en) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6865872B2 (en) | How to deblock a block of video samples | |
WO2020007362A1 (en) | Inherited motion information for decoding a current coding unit in a video coding system | |
US8649431B2 (en) | Method and apparatus for encoding and decoding image by using filtered prediction block | |
US9930366B2 (en) | Pixel level adaptive intra-smoothing | |
KR101628797B1 (en) | Improved intra prediction in lossless coding in hevc | |
JP6949990B2 (en) | Image coding / decoding method and equipment for that | |
US20110069752A1 (en) | Moving image encoding/decoding method and apparatus with filtering function considering edges | |
US20150245021A1 (en) | Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon | |
US9167271B2 (en) | Image processing device, method, and program, dynamic image encoding device, method, and program, dynamic image decoding device, method, and program, and encoding/decoding system and method | |
KR20180119753A (en) | Machine learning algorithm using compression parameter for image reconstruction and image reconstruction method therewith | |
JP5902814B2 (en) | Video encoding method and apparatus, video decoding method and apparatus, and programs thereof | |
KR20090097688A (en) | Method and apparatus of encoding/decoding image based on intra prediction | |
JP2019534629A (en) | Image processing method and apparatus therefor | |
KR20110028734A (en) | High definition video encoding/decoding method and apparatus | |
KR102598789B1 (en) | Apparatus and method for filtering in video coding | |
KR20200110214A (en) | Method and apparatus for intra prediction in which prediction unit is divided into sub-units | |
KR20120116936A (en) | Method for coding and method for reconstruction of a block of an image | |
KR20170106592A (en) | Method and apparatus for video coding using variable size unit of quantized coefficient group | |
JP2017537518A (en) | Method and apparatus for decoding / encoding a video signal using a transformation derived from a graph template | |
US20240089442A1 (en) | Image decoding device, method, and non-transitory computer-readable storage medium | |
KR20180079314A (en) | And apparatus for encoding and decoding video signals using graph-based lifting transforms | |
KR20110086521A (en) | Apparatus and method for encoding and decoding based region | |
KR20130027400A (en) | Method and apparatus for intra prediction in dc mode | |
JP6919424B2 (en) | Video coding device, video decoding device, and video processing system | |
WO2012172667A1 (en) | Video encoding method, video decoding method, and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6919424 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |