JP5298487B2 - Image encoding device, image decoding device, and image encoding method - Google Patents
Image encoding device, image decoding device, and image encoding method Download PDFInfo
- Publication number
- JP5298487B2 JP5298487B2 JP2007253021A JP2007253021A JP5298487B2 JP 5298487 B2 JP5298487 B2 JP 5298487B2 JP 2007253021 A JP2007253021 A JP 2007253021A JP 2007253021 A JP2007253021 A JP 2007253021A JP 5298487 B2 JP5298487 B2 JP 5298487B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- data
- encoding
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000003702 image correction Methods 0.000 claims description 24
- 238000013139 quantization Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 13
- 230000015556 catabolic process Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像データの画像符号化技術および画像復号化技術に関する。 The present invention relates to an image encoding technique and an image decoding technique for moving image data.
TV信号などの動画像データを高能率に符号化して記録あるいは伝送する手法としてMPEG(Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG−1規格、MPEG−2規格、MPEG−4規格等として国際標準の符号化方式となっている。また、さらに圧縮率を向上させる方式として、H.264/AVC(Advanced Video Coding)規格等が定められている。 Coding methods such as the MPEG (Moving Picture Experts Group) method have been established as a method for recording and transmitting moving image data such as TV signals with high efficiency. The MPEG-1 standard, MPEG-2 standard, MPEG-4 It is an international standard encoding method as a standard. As a method for further improving the compression ratio, H. The H.264 / AVC (Advanced Video Coding) standard is defined.
動画像符号化では、可変長符号化、離散コサイン変換(DCT)などの直交変換、変換係数の量子化、動き補償予測等の手法により高い圧縮率を実現する。しかし、低レートで量子化制御を行った場合、フリッカ(輝度レベルの量子化歪み)が発生することで主観上の画質劣化が生じる。 In moving picture coding, a high compression rate is realized by techniques such as variable length coding, orthogonal transform such as discrete cosine transform (DCT), quantization of transform coefficients, motion compensation prediction, and the like. However, when quantization control is performed at a low rate, flicker (quantization distortion of luminance level) occurs and subjective image quality degradation occurs.
ここで、フリッカの発生要因として、一般に動画像には時間方向の相関があるため、シーンチェンジ等の大きな変化がない画像においてはPピクチャで画面間符号化モードが選択される比率が高くなることが挙げられる。 Here, as a cause of occurrence of flicker, since a moving image generally has a correlation in the time direction, an image having no large change such as a scene change has a high ratio of selecting an inter-picture coding mode in a P picture. Is mentioned.
そのため、Pピクチャで発生した符号化歪みは次のIピクチャまでの間、以降のPピクチャに伝搬され符号化歪みの時間方向に対する変化は比較的小さい。一方、Iピクチャでは上記画面間符号化モードを使用せず画面内符号化モードのみにて符号化を行うため、上記で発生した符号化歪みはIピクチャで一旦途切れることになる。 Therefore, the coding distortion generated in the P picture is propagated to the subsequent P pictures until the next I picture, and the change of the coding distortion in the time direction is relatively small. On the other hand, since encoding is performed only in the intra-picture coding mode without using the inter-picture coding mode in the I picture, the coding distortion generated above is temporarily interrupted in the I picture.
このためIピクチャの間隔で符号化歪みが変化し、この符号化歪みの変化がフリッカとして視認される。 For this reason, the coding distortion changes at intervals of the I picture, and the change of the coding distortion is visually recognized as flicker.
このように動画像符号化においてフリッカの発生を解決する手法の1つとして、特許文献1ではフレーム間のブロックの差分値が一定値以下のブロックに対し、直前の復号ブロックとブロックに含まれる画素値との差分値が最小となる予測モードを選択する手法が提案されている。
In this way, as one method for solving the occurrence of flicker in moving image encoding, in
しかしながら、特許文献1に従ったフリッカ低減方式で量子化制御を行った場合、各符号化モード/ブロックサイズに対して、予測誤差の計算、DCT変換、量子化、発生符号量計算、逆量子化、逆DCT変換、歪み量計算といった符号化/復号化処理を繰り返し行う必要があるため、符号化を行うための演算処理が膨大となる課題があった。
However, when quantization control is performed by the flicker reduction method according to
本発明は上記課題を鑑みてなされたものであり、その目的は、演算処理量をより低減しながら画質の劣化を好適に低減することである。 The present invention has been made in view of the above problems, and an object thereof is to suitably reduce image quality deterioration while further reducing the amount of calculation processing.
本発明の一実施の態様は、例えば、特許請求の範囲に記載されるように構成すればよい。 One embodiment of the present invention may be configured as described in the claims, for example.
本発明によれば、演算処理量をより低減しながら画質の劣化を好適に低減することが可能である。 According to the present invention, it is possible to suitably reduce image quality degradation while further reducing the amount of calculation processing.
以下、本発明の実施例を、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、本発明の第1の実施例に係る画像符号化装置のブロック図である。 FIG. 1 is a block diagram of an image coding apparatus according to the first embodiment of the present invention.
図1に示す画像符号化装置は、減算器(100)、第1のDCT部(101)、量子化部(102)、逆量子化部(103)、第1のIDCT部(104)、加算器(105)、デブロッキング部(106)、フレームメモリ部(107)、可変長符号化部(113)、バッファ部(114)、フリッカ低減部(108)を備える。また、前記フリッカ低減部(108)は、第2のDCT部(109)、画像補正部(110)、第2のIDCT部(111)、第3のDCT部(112)を備える。 1 includes a subtracter (100), a first DCT unit (101), a quantization unit (102), an inverse quantization unit (103), a first IDCT unit (104), an addition Device (105), deblocking unit (106), frame memory unit (107), variable length coding unit (113), buffer unit (114), and flicker reduction unit (108). The flicker reduction unit (108) includes a second DCT unit (109), an image correction unit (110), a second IDCT unit (111), and a third DCT unit (112).
次に、図1に示した画像符号化装置の動作について説明する。 Next, the operation of the image coding apparatus shown in FIG. 1 will be described.
第1のDCT部(101)は減算器(100)から出力される差分画像信号を画像ブロック毎に直交変換して量子化部(102)に出力する。量子化部(102)は入力されたDCT変換データを量子化する。ここで、第1のDCT部(101)と量子化部(102)は、一つの符号化部として構成してもよい。量子化されたデータは可変長符号化部(113)に入力される。可変長符号化部(113)は入力データを可変長符号化する。可変長符号化された符号化データはバッファ部(114)に一旦格納される。バッファ部(114)は入力された符号化データを伝送回線にあわせて出力する。 The first DCT unit (101) orthogonally transforms the difference image signal output from the subtracter (100) for each image block and outputs the result to the quantization unit (102). The quantization unit (102) quantizes the input DCT transform data. Here, the first DCT unit (101) and the quantization unit (102) may be configured as one encoding unit. The quantized data is input to the variable length encoding unit (113). The variable length coding unit (113) performs variable length coding on the input data. The encoded data subjected to variable length encoding is temporarily stored in the buffer unit (114). The buffer unit (114) outputs the input encoded data according to the transmission line.
一方、量子化部(102)によって生成された量子化データは逆量子化部(103)に入力される。逆量子化部(103)は量子化データを逆量子化する。逆量子化された画像ブロックデータは第1のIDCT部(104)に入力される。第1のIDCT部(104)はこのデータを逆直交変換して差分ブロックとして復元する。復元された差分ブロックは加算器(105)を経由してローカルデコード画像が生成され、フリッカ低減部(108)に入力される。ここで、逆量子化部(103)と第1のIDCT部(104)と加算器(105)とは、一つの復号部として構成してもよい。フリッカ低減部(108)は入力されたローカルデコード画像を補正する。補正された画像ブロックデータはデブロッキング部(106)を経由してフレームメモリ(107)に格納される。デブロッキング部(106)は画像符号化時に発生したブロック歪を軽減させるためのフィルタ処理を行うものである。 On the other hand, the quantized data generated by the quantization unit (102) is input to the inverse quantization unit (103). The inverse quantization unit (103) inversely quantizes the quantized data. The inversely quantized image block data is input to the first IDCT unit (104). The first IDCT unit (104) performs inverse orthogonal transform on this data to restore it as a difference block. A local decoded image is generated from the restored difference block via the adder (105), and is input to the flicker reduction unit (108). Here, the inverse quantization unit (103), the first IDCT unit (104), and the adder (105) may be configured as one decoding unit. The flicker reduction unit (108) corrects the input local decoded image. The corrected image block data is stored in the frame memory (107) via the deblocking unit (106). The deblocking unit (106) performs a filter process for reducing block distortion generated during image coding.
次に、図1のフリッカ低減部(108)について詳細な動作を説明する。フリッカ低減部(108)では、まず初めに加算器(105)で生成されたローカルデコード画像が第2のDCT部(109)に入力される。第2のDCT部(109)は入力されたローカルデコード画像を直交変換して、画像補正部(110)に出力する。第3のDCT部(112)は、フレームメモリ部(107)から読み出した隣接ブロックの画像データ(122)を直交変換(112)して画像補正部(110)に出力(123)する。画像補正部(110)はDCT変換データ(120)に対し、フレームメモリ部(107)から読み出した隣接ブロックのDCT変換データ(123)を用いて補正を行う。補正されたDCT変換データ(121)は、第2のIDCT部(111)に入力される。第2のIDCT部(111)はこのデータを逆直交変換して復元する。復元された画像ブロックデータはデブロッキング部(106)を経由してフレームメモリ(107)に格納される。 Next, a detailed operation of the flicker reducing unit (108) in FIG. 1 will be described. In the flicker reduction unit (108), first, the local decoded image generated by the adder (105) is input to the second DCT unit (109). The second DCT unit (109) orthogonally transforms the input local decoded image and outputs it to the image correction unit (110). The third DCT unit (112) performs orthogonal transformation (112) on the image data (122) of the adjacent block read from the frame memory unit (107) and outputs (123) to the image correction unit (110). The image correction unit (110) corrects the DCT conversion data (120) using the DCT conversion data (123) of the adjacent block read from the frame memory unit (107). The corrected DCT conversion data (121) is input to the second IDCT unit (111). The second IDCT unit (111) restores this data by inverse orthogonal transformation. The restored image block data is stored in the frame memory (107) via the deblocking unit (106).
次に、図1の画像補正部(110)について詳細な動作を説明する。画像補正部(110)はDCT変換データ(120)に対して、隣接ブロックのDCT変換データ(123)から算出した補正値を用いて補正を行うものである。これを図2を参照して説明する。図2において、Dは補正対象ブロックを示し、D(p,q)は補正対象ブロックDにおけるDCT変換データのうち直流成分(D(0,0))を基準として水平方向にp番目、垂直方向にq番目のDCT係数値を示すものである。D(p、q)は図1におけるDCT変換データ(120)に相当する。D1はDに対して上に隣接するブロックであり、D1(p,q)はブロックD1におけるDCT変換データを示す。同様に、D2(p,q)は補正対象ブロックDに対して左に隣接するブロックD2のDCT変換データを、D0(p,q)は補正対象ブロックDに対して左上に隣接するブロックD0のDCT変換データを示す。また、uは各DCT変換データにおける水平方向の係数の個数を、vはDCT変換における垂直方向の係数の個数を示す。画像補正部(110)では、まず最初に上/左/左上の隣接ブロックのDCT変換データ(123)から、各周波数成分の平均値(AVE(p,q))を算出する。その具体的な算出例を数1に示す。数1において、Di(p,q)は第3のDCT部(112)でDCT変換された隣接する画像ブロックデータを示す。なお、数1においてnは隣接する画像ブロックの総数を示す。
Next, a detailed operation of the image correction unit (110) in FIG. 1 will be described. The image correction unit (110) corrects the DCT conversion data (120) using a correction value calculated from the DCT conversion data (123) of the adjacent block. This will be described with reference to FIG. In FIG. 2, D indicates a correction target block, and D (p, q) is the p-th, vertical direction in the horizontal direction with reference to the DC component (D (0, 0)) of the DCT conversion data in the correction target block D. Shows the q-th DCT coefficient value. D (p, q) corresponds to the DCT transformed data (120) in FIG. D 1 is a block adjacent to D above, and D 1 (p, q) represents DCT transformed data in the block D 1 . Similarly, D 2 (p, q) is the DCT transformed data of the block D 2 adjacent to the left with respect to the correction target block D, and D 0 (p, q) is adjacent to the upper left of the correction target block D. It shows the DCT transform data block D 0. U represents the number of coefficients in the horizontal direction in each DCT transform data, and v represents the number of coefficients in the vertical direction in DCT transform data. The image correction unit (110) first calculates an average value (AVE (p, q)) of each frequency component from the DCT transform data (123) of the upper / left / upper left adjacent block. A specific calculation example is shown in
図2では、n=3とし、上/左/左上の隣接ブロックのDCT変換データを参照した場合の動作を図示しているが、nの値は必ずしも3である必要はなく、演算量等の条件により増減させてもよい。 In FIG. 2, n = 3 and the operation when the DCT conversion data of the upper / left / upper left adjacent block is referred to are illustrated. However, the value of n does not necessarily need to be 3, and the amount of calculation, etc. It may be increased or decreased depending on conditions.
画像補正部(110)は式1で求めたAVE(p,q)を用いて補正対象となるDCT変換データD(p,q)の補正を行う。AVE(p,q)の演算結果を用いた具体的な補正例を数2に示す。
The image correction unit (110) corrects the DCT conversion data D (p, q) to be corrected using AVE (p, q) obtained by
なお、上記の式2による補正を行う条件として、例えば式3で示すように、p、qがあらかじめ定めた閾値Th_pおよびTh_q以下となる条件を満たすDCT係数領域に対してのみに本補正を適用するとの制約条件を設けることにより、本補正を行うための演算処理量を削減することが可能になるとともに、画質劣化がより視認されやすい低周波領域にのみ本補正を適用することで画質劣化を軽減することも可能である。
Note that as a condition for performing the correction according to the
また、画像補正部(110)にて隣接ブロックのDCT変換データを参照する際、補正対象ブロックと隣接ブロックとの類似度によって参照する隣接ブロックに制約条件を設けることが可能である。具体的には、補正対象ブロックDと隣接ブロックDiの各周波数成分の係数値を比較し、0≦p≦(u−1)および0≦q≦(v−1)のすべての係数値に対して式4で示すように、その差分絶対値があらかじめ定めた閾値Th_DCT(p,q)以下となる条件を満たす場合のみ隣接ブロックDiを参照ブロックとして用いるものである。
Further, when referring to the DCT conversion data of the adjacent block in the image correction unit (110), it is possible to set a constraint condition on the adjacent block to be referred to depending on the similarity between the correction target block and the adjacent block. Specifically, the coefficient values of the frequency components of the correction target block D and the adjacent block D i are compared, and all coefficient values of 0 ≦ p ≦ (u−1) and 0 ≦ q ≦ (v−1) are obtained. On the other hand, as shown in
上記のような条件を設けることで、例えば補正対象ブロックと隣接ブロックとの絵柄が大きく異なる場合には補正時の参照から外し、絵柄の類似した隣接ブロックのみを参照した画像補正を行うことが可能となる。 By providing the above conditions, for example, if the pattern of the correction target block and the adjacent block are significantly different, it is possible to remove the reference at the time of correction and perform image correction that refers only to the adjacent block with a similar pattern It becomes.
図3は、本発明の第2の実施例に係る画像符号化装置のブロック図である。 FIG. 3 is a block diagram of an image coding apparatus according to the second embodiment of the present invention.
図3に示す画像符号化装置は、減算器(500)、第1のDCT部(501)、量子化部(502)、逆量子化部(503)、第1のIDCT部(504)、加算器(505)、デブロッキング部(506)、フレームメモリ部(507)、可変長符号化部(513)、バッファ部(514)、フリッカ低減部(508)を備える。また、前記フリッカ低減部(508)は、第2のDCT部(509)、画像補正部(510)、第2のIDCT部(511)、第3のDCT部(515)、周波数判別部(516)、切り替え部(512)を備える。 3 includes a subtracter (500), a first DCT unit (501), a quantization unit (502), an inverse quantization unit (503), a first IDCT unit (504), an addition Device (505), deblocking unit (506), frame memory unit (507), variable length coding unit (513), buffer unit (514), and flicker reduction unit (508). The flicker reduction unit (508) includes a second DCT unit (509), an image correction unit (510), a second IDCT unit (511), a third DCT unit (515), and a frequency determination unit (516). ) And a switching unit (512).
次に、図3に示した画像符号化装置の動作について説明する。 Next, the operation of the image coding apparatus shown in FIG. 3 will be described.
第1のDCT部(501)は減算器(500)から出力される差分画像信号を画像ブロック毎に直交変換して量子化部(502)に出力する。量子化部(502)は入力されたDCT変換データを量子化する。量子化されたデータは可変長符号化部(513)に入力される。可変長符号化部(513)は入力データを可変長符号化する。可変長符号化された符号化データはバッファ部(514)に一旦格納される。バッファ部(514)は入力された符号化データを伝送回線にあわせて出力する。 The first DCT unit (501) orthogonally transforms the difference image signal output from the subtracter (500) for each image block and outputs the result to the quantization unit (502). The quantization unit (502) quantizes the input DCT transform data. The quantized data is input to the variable length coding unit (513). The variable length coding unit (513) performs variable length coding on the input data. The encoded data subjected to variable length encoding is temporarily stored in the buffer unit (514). The buffer unit (514) outputs the input encoded data in accordance with the transmission line.
一方、量子化部(502)によって生成された量子化データは逆量子化部(503)に入力される。逆量子化部(503)は量子化データを逆量子化する。逆量子化された画像ブロックデータは第1のIDCT部(504)に入力される。第1のIDCT部(504)はこのデータを逆直交変換して差分ブロックとして復元する。復元された差分ブロックは加算器(505)を経由してローカルデコード画像が生成され、フリッカ低減部(508)に入力される。フリッカ低減部(508)は入力されたローカルデコード画像を補正する。補正された画像ブロックデータはデブロッキング部(506)を経由してフレームメモリ(507)に格納される。デブロッキング部(506)は画像符号化時に発生したブロック歪を軽減させるためのフィルタ処理を行うものである。 On the other hand, the quantized data generated by the quantization unit (502) is input to the inverse quantization unit (503). An inverse quantization unit (503) inversely quantizes the quantized data. The inversely quantized image block data is input to the first IDCT unit (504). The first IDCT unit (504) performs inverse orthogonal transform on this data to restore it as a difference block. A local decoded image is generated from the restored difference block via the adder (505) and input to the flicker reduction unit (508). The flicker reduction unit (508) corrects the input local decoded image. The corrected image block data is stored in the frame memory (507) via the deblocking unit (506). The deblocking unit (506) performs a filter process for reducing block distortion generated during image encoding.
次に、図3のフリッカ低減部(508)の動作について説明する。フリッカ低減部(508)では、まず初めに加算器(505)を経由したローカルデコード画像を第2のDCT部(509)に出力する。第2のDCT部(509)は入力されたローカルデコード画像を直交変換して、画像補正部(510)に出力する。一方、フレームメモリ部(507)からは加算器(505)より出力されるローカルデコード画像に隣接する画像ブロックデータが読み出され、第3のDCT部(515)に入力される。第3のDCT部(515)は入力した画像ブロックデータを直交変換して、画像補正部(510)に出力(521)する。画像補正部(510)は第2のDCT部(509)から入力されたDCT変換データに対して、フレームメモリ(507)から読み出してDCT変換を行ったDCT変換データ(521)を用いて補正を行う。補正されたデータは、第2のIDCT部(511)に入力される。第2のIDCT部(511)はこのデータを逆直交変換して復元し、切り替え部(512)に出力(526)する。切り替え部(512)は周波数判別部(516)からの切り替え制御信号(524)により補正前のローカルデコード画像(525)と補正後のローカルデコード画像(526)のいずれか片方を選択してデブロッキング部(506)に出力する。また、周波数判別部(516)は上記の切り替え制御信号(524)を可変長符号部(514)に出力する。 Next, the operation of the flicker reduction unit (508) in FIG. 3 will be described. The flicker reduction unit (508) first outputs the local decoded image that has passed through the adder (505) to the second DCT unit (509). The second DCT unit (509) orthogonally transforms the input local decoded image and outputs it to the image correction unit (510). On the other hand, image block data adjacent to the local decoded image output from the adder (505) is read from the frame memory unit (507) and input to the third DCT unit (515). The third DCT unit (515) orthogonally transforms the input image block data and outputs (521) to the image correction unit (510). The image correction unit (510) corrects the DCT conversion data input from the second DCT unit (509) by using the DCT conversion data (521) read from the frame memory (507) and subjected to DCT conversion. Do. The corrected data is input to the second IDCT unit (511). The second IDCT unit (511) restores this data by inverse orthogonal transform, and outputs (526) to the switching unit (512). The switching unit (512) selects one of the local decoded image (525) before correction and the local decoded image (526) after correction by the switching control signal (524) from the frequency discriminating unit (516) to deblock. Part (506). The frequency discriminating unit (516) outputs the switching control signal (524) to the variable length coding unit (514).
次に、図3の周波数判別部(516)の動作について図5を参照して説明する。周波数判別部(516)ではDCT部(501)より出力される補正対象ブロックのDCT係数データ(522)を取得し、DCT係数和算出部(801)に入力する。DCT係数和算出部(801)はDCT係数データ(522)の係数の和を求め、これを補正判定部(803)に出力(821)する。また、周波数判別部(516)は逆量子化部(503)より出力される補正対象ブロックのDCT係数データ(523)を取得し、DCT係数和算出部(802)に入力する。DCT係数和算出部(802)はDCT係数データ(523)の係数の和を求め、これを補正判定部(803)に出力(822)する。補正判定部(803)はDCT係数和(821)およびDCT係数和(822)の値から、該当ブロックに対して補正を行うか行わないかを判定し、切り替え制御信号(524)を出力する。 Next, the operation of the frequency discrimination unit (516) in FIG. 3 will be described with reference to FIG. The frequency discriminating unit (516) acquires the DCT coefficient data (522) of the correction target block output from the DCT unit (501) and inputs it to the DCT coefficient sum calculating unit (801). The DCT coefficient sum calculation unit (801) calculates the sum of the coefficients of the DCT coefficient data (522), and outputs (821) this to the correction determination unit (803). Further, the frequency discriminating unit (516) acquires the DCT coefficient data (523) of the correction target block output from the inverse quantization unit (503) and inputs it to the DCT coefficient sum calculating unit (802). The DCT coefficient sum calculation unit (802) calculates the sum of the coefficients of the DCT coefficient data (523), and outputs (822) this to the correction determination unit (803). The correction determination unit (803) determines whether or not to correct the corresponding block from the values of the DCT coefficient sum (821) and the DCT coefficient sum (822), and outputs a switching control signal (524).
図6は図5の補正判定部(803)における判定動作の一例を示したものである。図6に示すように、DCT部(501)より出力される補正対象ブロックのDCT係数データ(522)について算出したDCT係数和(DCT_sum1)(821)をあらかじめ定めた閾値(Th_sum1)と比較し、DCT_sum1がTh_sum1未満の場合は切り替え制御信号(flag_select)を0にセットする(図6の(9−1)、(9−2))。一方、DCT_sum1がTh_sum1以上の場合は量子化部(503)より出力される補正対象ブロックのDCT係数データ(523)について算出したDCT係数和(DCT_sum2)(822)をあらかじめ定めた閾値(Th_sum2)と比較した結果によって切り替え制御信号(flag_select)の値が異なる。具体的にはDCT_sum2がTh_sum2未満の場合には切り替え制御信号(flag_select)を1にセット(図6の(9−3))し、逆にDCT_sum2がTh_sum2以上の場合には切り替え制御信号(flag_select)を0にセット(図6の(9−4))とするものである。図3の切り替え部(512)は上記切り替え制御信号(flag_select)が0の時は加算器(505)からの出力である補正前のローカルデコード画像(525)を選択して出力する。一方、上記切り替え制御信号(flag_select)が1の時は第2のIDCT部(511)からの出力である補正後のローカルデコード画像(525)を選択して出力する。 FIG. 6 shows an example of the determination operation in the correction determination unit (803) of FIG. As shown in FIG. 6, the DCT coefficient sum (DCT_sum1) (821) calculated for the DCT coefficient data (522) of the correction target block output from the DCT unit (501) is compared with a predetermined threshold (Th_sum1). When DCT_sum1 is less than Th_sum1, the switching control signal (flag_select) is set to 0 ((9-1), (9-2) in FIG. 6). On the other hand, when DCT_sum1 is equal to or greater than Th_sum1, a DCT coefficient sum (DCT_sum2) (822) calculated for DCT coefficient data (523) of the correction target block output from the quantization unit (503) is set to a predetermined threshold (Th_sum2). The value of the switching control signal (flag_select) varies depending on the comparison result. Specifically, when DCT_sum2 is less than Th_sum2, the switching control signal (flag_select) is set to 1 ((9-3) in FIG. 6), conversely, when DCT_sum2 is greater than or equal to Th_sum2, switching control signal (flag_select) is set. Is set to 0 ((9-4) in FIG. 6). When the switching control signal (flag_select) is 0, the switching unit (512) in FIG. 3 selects and outputs the local decoded image (525) before correction, which is an output from the adder (505). On the other hand, when the switching control signal (flag_select) is 1, a corrected local decoded image (525) which is an output from the second IDCT unit (511) is selected and output.
図6の判定動作の詳細について以下に示す。符号化前のDCT係数データ(522)の和(821)が十分に小さい(閾値(Th_sum1)未満)場合には量子化による歪みが小さく、補正が不要となるため切り替え制御信号(flag_select)を0にセットする(図6の(9−1)、(9−2))ものである。一方、符号化前のDCT係数データ(522)の和が閾値(Th_sum1)以上の場合は量子化による歪が発生する可能性があるが、符号化後のDCT係数データ(523)の和(822)が十分に大きい(閾値(Th_sum2)以上)場合には量子化による歪が少ないと考えられるため切り替え制御信号(flag_select)を0にセットし(図6の(9−4))、逆に符号化後のDCT係数データ(523)の和(822)が閾値(Th_sum2)未満の場合には量子化による歪が多いと考えられるため切り替え制御信号(flag_select)を1にセットする(図6の(9−3))ものである。 Details of the determination operation of FIG. 6 will be described below. When the sum (821) of the DCT coefficient data (522) before encoding is sufficiently small (less than the threshold (Th_sum1)), distortion due to quantization is small and correction is unnecessary, so that the switching control signal (flag_select) is set to 0. ((9-1), (9-2) in FIG. 6). On the other hand, when the sum of the DCT coefficient data (522) before encoding is equal to or greater than the threshold (Th_sum1), distortion due to quantization may occur, but the sum of the DCT coefficient data (523) after encoding (822) ) Is sufficiently large (threshold (Th_sum2) or more), the distortion due to quantization is considered to be small, so the switching control signal (flag_select) is set to 0 ((9-4) in FIG. 6), and the sign is reversed. When the sum (822) of the DCT coefficient data (523) after conversion is less than the threshold value (Th_sum2), it is considered that there is a lot of distortion due to quantization, so the switching control signal (flag_select) is set to 1 (FIG. 6 ( 9-3)).
以上のように、本発明の第2の実施例に係る画像符号化装置では、第2のDCT部にて周波数変換された画像中のブロックに対して画像補正を行う画像符号化装置であって、画面内の隣接するブロックの画像を用いて補正を行うことによって、主観上の画質劣化を軽減することが出来るものである。また、補正対象ブロックについてDCT変換後のDCT係数および逆量子化後のDCT係数を用いて画質劣化の目立ちやすい領域を特定して補正を行うことにより、より効果的に画質劣化軽減を図ることが可能となる。 As described above, the image coding apparatus according to the second embodiment of the present invention is an image coding apparatus that performs image correction on a block in an image frequency-converted by the second DCT unit. By performing correction using an image of an adjacent block in the screen, subjective image quality degradation can be reduced. In addition, it is possible to more effectively reduce image quality degradation by specifying and correcting a region where image quality degradation is conspicuous using the DCT coefficient after DCT conversion and the DCT coefficient after inverse quantization for the correction target block. It becomes possible.
図4は、本発明の第3の実施例に係る画像復号化装置の構成ブロック図である。 FIG. 4 is a block diagram showing the configuration of an image decoding apparatus according to the third embodiment of the present invention.
図4に示す画像復号化装置は、可変長復号化部(701)、逆量子化部(702)、IDCT部(703)、加算器(705)、フリッカ低減部(708)、フレームメモリ部(707)、デブロッキング部(706)を備える。また前記フリッカ低減部(708)は、DCT部(709)、画像補正部(710)、IDCT部(711)、第2のDCT部(712)、切り替え部(713)を備える。 4 includes a variable length decoding unit (701), an inverse quantization unit (702), an IDCT unit (703), an adder (705), a flicker reduction unit (708), a frame memory unit ( 707) and a deblocking part (706). The flicker reduction unit (708) includes a DCT unit (709), an image correction unit (710), an IDCT unit (711), a second DCT unit (712), and a switching unit (713).
次に、図4に示した画像復号化装置の動作について説明する。 Next, the operation of the image decoding apparatus shown in FIG. 4 will be described.
圧縮符号化された画像データは可変長復号化部(701)に入力される。可変長復号化部(701)は入力された圧縮符号化データを可変長復号化し、得られた量子化データを逆量子化部(702)に出力する。逆量子化部(702)は量子化データを逆量子化する。逆量子化された画像ブロックデータは第1のIDCT部(703)に入力される。第1のIDCT部(703)はこのデータを逆直交変換して差分ブロックとして復元する。復元された差分ブロックは加算器(705)を経由してローカルデコード画像が生成され、フリッカ低減部(708)に入力される。フリッカ低減部(708)は入力されたローカルデコード画像を補正する。フリッカ低減部(708)の詳細動作については後述する。補正された画像ブロックデータは第2のIDCT部(711)に入力される。第2のIDCT部(711)はこのデータを逆直交変換して切り替え部(713)に入力される。切り替え部(713)で選択したデータは、デブロッキング部(706)を経由してフレームメモリ(707)に格納される。デブロッキング部(706)は画像符号化時に発生したブロック歪を軽減させるためのフィルタ処理を行うものである。 The compressed and encoded image data is input to the variable length decoding unit (701). The variable length decoding unit (701) performs variable length decoding on the input compressed encoded data, and outputs the obtained quantized data to the inverse quantization unit (702). The inverse quantization unit (702) inversely quantizes the quantized data. The inversely quantized image block data is input to the first IDCT unit (703). The first IDCT unit (703) performs inverse orthogonal transform on this data to restore it as a difference block. A local decoded image is generated from the restored difference block via an adder (705) and input to a flicker reduction unit (708). A flicker reduction unit (708) corrects the input local decoded image. The detailed operation of the flicker reduction unit (708) will be described later. The corrected image block data is input to the second IDCT unit (711). The second IDCT unit (711) performs inverse orthogonal transform on this data and inputs the data to the switching unit (713). The data selected by the switching unit (713) is stored in the frame memory (707) via the deblocking unit (706). The deblocking unit (706) performs a filter process for reducing block distortion generated during image coding.
次に、図4のフリッカ低減部(708)について詳細な動作を説明する。フリッカ低減部(708)では、まず初めに加算器(705)を経由したローカルデコード画像をDCT部(709)に出力する。DCT部(709)は入力されたローカルデコード画像を直交変換して、画像補正部(710)に出力(721)する。フレームメモリ部(707)から出力される画像ブロックデータ(723)は第2のDCT部(712)に入力される。第2のDCT部(712)は入力した画像ブロックデータを直交変換して、画像補正部(710)に出力(724)する。画像補正部(710)はDCT部(709)から入力されたDCT変換データを隣接する画像ブロックのDCT変換データ(724)を用いて補正する。なお、本補正の手法は画像符号化装置における補正手法と同等であり、一例としては前記第1の実施形態における式2によるものである。補正されたデータは、IDCT部(711)に入力される。IDCT部(711)はこのデータを逆直交変換して復元し、切り替え部(713)に出力する。切り替え部(713)は、加算器(705)より出力される画像データとIDCT部(711)から出力される画像データのいずれか片方を選択して出力するものであり、その選択は可変長符号化部(701)より出力される切り替え制御信号(720)に基づいて行うものである。
Next, a detailed operation of the flicker reducing unit (708) in FIG. 4 will be described. The flicker reduction unit (708) first outputs the local decoded image that has passed through the adder (705) to the DCT unit (709). The DCT unit (709) orthogonally transforms the input local decoded image and outputs (721) to the image correction unit (710). The image block data (723) output from the frame memory unit (707) is input to the second DCT unit (712). The second DCT unit (712) orthogonally transforms the input image block data and outputs (724) to the image correction unit (710). The image correction unit (710) corrects the DCT conversion data input from the DCT unit (709) using the DCT conversion data (724) of the adjacent image block. Note that this correction method is equivalent to the correction method in the image coding apparatus, and as an example, is based on
以上のように、本発明の第3の実施例に係る画像復号化装置では、DCT部にて周波数変換された画像中のブロックに対して、画面内の隣接するブロックの画像を用いて補正を行うことによって、DCT部にて周波数変換された画像中のブロックと画面内の隣接するブロックとの周波数成分の差異が低減可能であり、画質劣化を軽減することが可能となる。
As described above, in the image decoding apparatus according to the third embodiment of the present invention, correction is performed on the blocks in the image frequency-converted by the DCT unit using the images of adjacent blocks in the screen. By doing so, it is possible to reduce the difference in frequency components between the block in the image frequency-converted by the DCT unit and the adjacent block in the screen, and it is possible to reduce image quality degradation.
101、109、112、501、509、515、709、712…DCT部
102、502…量子化部
103、503、702…逆量子化部
104、111、504、511、703、711…IDCT部
113、513…可変長符号化部
100、500…減算器
105、505、705…加算器
108、508、708…フリッカ低減部
110、510、710…画像補正部
107、507、707…フレームメモリ部
106、506、706…デブロッキング部
114、514…バッファ部
512、713…切り替え部
516…周波数判別部
701…可変長復号化部
801、802…DCT係数和算出部
803…補正判定部
101, 109, 112, 501, 509, 515, 709, 712 ...
Claims (9)
前記入力データを符号化する符号化部と、
符号化部により符号化された符号化データを復号する逆符号化部と、
前記逆符号化部により復号された画像データに対してフリッカを低減するフリッカ低減部と、を備え
前記符号化部は、前記入力データと前記画像データとを用いて画面間予測を行うことを特徴とする画像符号化装置。 An image encoding device for encoding input data,
An encoding unit for encoding the input data;
An inverse encoding unit for decoding the encoded data encoded by the encoding unit;
A flicker reduction unit for reducing flicker with respect to the image data decoded by the inverse encoding unit, wherein the encoding unit performs inter-screen prediction using the input data and the image data. An image encoding device.
前記補正された画像データと前記復号化された画像データとを周波数判別部からの切り替え制御信号によって切り替える切り替え部とを有することを特徴とする請求項1に記載の画像符号化装置。 The flicker reduction unit includes an image correction unit that corrects the decoded image data;
The image coding apparatus according to claim 1, further comprising: a switching unit that switches between the corrected image data and the decoded image data by a switching control signal from a frequency discrimination unit.
前記符号化データを復号化する復号化部と、
前記復号部により復号化された画像データに対してフリッカを低減するフリッカ低減部と、を備え
前記復号化部は、前記符号化データと前記画像データとを用いて画面間予測を行い、
前記フリッカ低減部は、前記画像データを補正する画像補正部と、補正された前記画像データと前記画像データとを切り替え制御信号によって切り替える切り替え部とを有し、
前記画像補正部は、画面データ内において補正対象のブロックに隣接するブロックの画像データを用いて補正対象ブロックの画像データを補正し、
前記切り替え部は、前記復号化部からの制御信号により切り替えを行うことを特徴とする画像復号化装置。 An image decoding device for decoding encoded data,
A decoding unit for decoding the encoded data;
A flicker reduction unit that reduces flicker on the image data decoded by the decoding unit, the decoding unit performs inter-screen prediction using the encoded data and the image data,
The flicker reduction unit includes an image correction unit that corrects the image data, and a switching unit that switches the corrected image data and the image data by a switching control signal,
The image correction unit corrects the image data of the correction target block using the image data of the block adjacent to the correction target block in the screen data,
The image switching apparatus, wherein the switching unit performs switching according to a control signal from the decoding unit.
前記入力データを符号化する符号化ステップと、
前記符号化部により符号化された符号化データを復号する逆符号化ステップと、
前記逆符号化部により復号された画像データに対してフリッカを低減するフリッカ低減ステップとを備え
前記符号化ステップでは、前記入力データと前記画像データとを用いて画面間予測を行うことを特徴とする画像符号化方法。 An image encoding method for encoding input data, comprising:
An encoding step for encoding the input data;
A reverse encoding step of decoding the encoded data encoded by the encoding unit;
A flicker reduction step for reducing flicker on the image data decoded by the inverse encoding unit, wherein the encoding step performs inter-screen prediction using the input data and the image data. An image encoding method to be performed.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007253021A JP5298487B2 (en) | 2007-09-28 | 2007-09-28 | Image encoding device, image decoding device, and image encoding method |
PCT/JP2008/064418 WO2009041174A1 (en) | 2007-09-28 | 2008-08-11 | Image encoding apparatus, image decoding apparatus, and image encoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007253021A JP5298487B2 (en) | 2007-09-28 | 2007-09-28 | Image encoding device, image decoding device, and image encoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009088736A JP2009088736A (en) | 2009-04-23 |
JP5298487B2 true JP5298487B2 (en) | 2013-09-25 |
Family
ID=40511069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007253021A Active JP5298487B2 (en) | 2007-09-28 | 2007-09-28 | Image encoding device, image decoding device, and image encoding method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5298487B2 (en) |
WO (1) | WO2009041174A1 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3067833B2 (en) * | 1991-04-26 | 2000-07-24 | キヤノン株式会社 | Image processing apparatus and method |
JP3235453B2 (en) * | 1996-01-22 | 2001-12-04 | 松下電器産業株式会社 | Image coding device |
JP2830856B2 (en) * | 1996-09-04 | 1998-12-02 | 日本電気株式会社 | Image coding device |
JP2000106673A (en) * | 1998-09-28 | 2000-04-11 | Nec Eng Ltd | Image-coding transmitter |
JP4359184B2 (en) * | 2004-05-11 | 2009-11-04 | 日本放送協会 | Prediction information / quantized value control compression encoding apparatus, prediction information / quantization value control compression encoding program |
JP2006128799A (en) * | 2004-10-26 | 2006-05-18 | Matsushita Electric Ind Co Ltd | Digital image reproducing apparatus |
JP2006191287A (en) * | 2005-01-05 | 2006-07-20 | Matsushita Electric Ind Co Ltd | Image coding device, image coding method and image coding program |
JP4528694B2 (en) * | 2005-08-12 | 2010-08-18 | 株式会社東芝 | Video encoding device |
-
2007
- 2007-09-28 JP JP2007253021A patent/JP5298487B2/en active Active
-
2008
- 2008-08-11 WO PCT/JP2008/064418 patent/WO2009041174A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2009041174A1 (en) | 2009-04-02 |
JP2009088736A (en) | 2009-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8644394B2 (en) | Deblocking filter | |
KR101197506B1 (en) | Boundary artifact correction within video units | |
KR100989296B1 (en) | Enhanced image/video quality through artifact evaluation | |
EP1076885B1 (en) | Method and apparatus for reducing breathing artifacts in compressed video | |
US7120197B2 (en) | Motion compensation loop with filtering | |
US8649431B2 (en) | Method and apparatus for encoding and decoding image by using filtered prediction block | |
KR101298389B1 (en) | Method and system for video coder and decoder joint optimization | |
US20080101469A1 (en) | Method and apparatus for adaptive noise filtering of pixel data | |
KR101482896B1 (en) | Optimized deblocking filters | |
US8891892B2 (en) | Image encoding method using adaptive preprocessing scheme | |
JP5133290B2 (en) | Video encoding apparatus and decoding apparatus | |
US20090080517A1 (en) | Method and Related Device for Reducing Blocking Artifacts in Video Streams | |
US20110002387A1 (en) | Techniques for motion estimation | |
JP4774315B2 (en) | Image decoding apparatus and image decoding method | |
WO2006074043A2 (en) | Method and apparatus for providing motion estimation with weight prediction | |
JP5100572B2 (en) | Encoder | |
JP2005311512A (en) | Error concealment method and decoder | |
JP5298487B2 (en) | Image encoding device, image decoding device, and image encoding method | |
JP4570081B2 (en) | Moving image error concealment method and apparatus | |
JPH0998421A (en) | Image encoding/decoding device | |
JP4196929B2 (en) | Noise detection apparatus and noise detection program | |
JP4849441B2 (en) | Video encoding device | |
JP2012124851A (en) | Motion compensation encoder, motion compensation encoding method and program | |
JPH07203442A (en) | Digital transmitter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20130529 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5298487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |