JP5292355B2 - Signal correction apparatus, encoding apparatus, decoding apparatus, and program - Google Patents
Signal correction apparatus, encoding apparatus, decoding apparatus, and program Download PDFInfo
- Publication number
- JP5292355B2 JP5292355B2 JP2010098060A JP2010098060A JP5292355B2 JP 5292355 B2 JP5292355 B2 JP 5292355B2 JP 2010098060 A JP2010098060 A JP 2010098060A JP 2010098060 A JP2010098060 A JP 2010098060A JP 5292355 B2 JP5292355 B2 JP 5292355B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- correction
- component
- corrected
- flag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 title claims abstract description 414
- 238000012545 processing Methods 0.000 claims abstract description 74
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims abstract description 29
- 238000010606 normalization Methods 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 50
- 230000002427 irreversible effect Effects 0.000 claims description 16
- 230000001172 regenerating effect Effects 0.000 claims 1
- 235000019557 luminance Nutrition 0.000 description 128
- 230000009466 transformation Effects 0.000 description 63
- 238000006243 chemical reaction Methods 0.000 description 56
- 238000005070 sampling Methods 0.000 description 56
- 230000033001 locomotion Effects 0.000 description 25
- 238000013139 quantization Methods 0.000 description 23
- 230000006866 deterioration Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 230000008707 rearrangement Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000015556 catabolic process Effects 0.000 description 8
- 238000006731 degradation reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 241000583281 Sugiura Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像処理技術に関し、特に、非可逆な符号化方式によって符号化され、符号化劣化を生じた画像信号を修正する信号修正装置、符号化装置、復号装置及びプログラムに関する。 The present invention relates to an image processing technique, and more particularly to a signal correction device, an encoding device, a decoding device, and a program for correcting an image signal that has been encoded by an irreversible encoding method and has undergone encoding degradation.
画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている(例えば、非特許文献1参照)。このようなイメージセンサにおける画像信号の補間技術は、RGB色空間におけるRGB信号(R:赤色信号、G:緑色信号、B:青色信号)の補間を目的としているため、符号化による信号劣化について想定されていない。 As a signal interpolation technique using the correlation between component signals constituting an image signal, a technique for improving the accuracy of a pixel interpolation method in a single-plate primary color image sensor has been reported (for example, see Non-Patent Document 1). Since the image signal interpolation technique in such an image sensor is intended to interpolate RGB signals (R: red signal, G: green signal, B: blue signal) in the RGB color space, signal deterioration due to encoding is assumed. It has not been.
また、YUV色空間におけるYUV信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている(例えば、非特許文献2参照)。この技術では、輝度(Y)信号のサンプリング周波数の高さを利用して色差信号(U信号=B−Y,V信号=R−Y)の補間信号を生成することによって高精度な補間を行う。このようなYUV信号のサンプリング周波数の違いに着目した信号補間技術も、YUV信号の補間を目的としているため、符号化による信号劣化について想定されていない。 Further, as a signal interpolation technique focusing on the difference in sampling frequency of YUV signals in the YUV color space, a color difference component interpolation technique for format color images has been reported (for example, see Non-Patent Document 2). In this technique, high-precision interpolation is performed by generating an interpolated signal of a color difference signal (U signal = BY, V signal = RY) using the sampling frequency of the luminance (Y) signal. . The signal interpolation technique that pays attention to such a difference in the sampling frequency of the YUV signal is also intended for the interpolation of the YUV signal, so that signal degradation due to encoding is not assumed.
これらの信号補間技術は、非可逆な符号化方式(例えば、MPEG−2,H.264等)によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってYUV信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。 These signal interpolation techniques are suitable for interpolation on an image signal before encoding when encoding an image signal by an irreversible encoding method (for example, MPEG-2, H.264, etc.). It is not suitable for interpolation on the image signal after conversion. For example, when a YUV signal is encoded by irreversible encoding processing, the deterioration of the luminance signal propagates to the color difference signal based on the luminance signal as the luminance signal deteriorates. In addition, these signal interpolation techniques are not processes for reducing the degradation of the luminance signal itself, and therefore do not reduce the degradation of the luminance signal.
また、符号化の劣化を低減するために、さまざまなデブロッキングフィルタ(例えば、H.264等におけるデブロッキングフィルタ)があるが、これらのデブロッキングフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を低減させることはできない。 In addition, there are various deblocking filters (for example, deblocking filters in H.264 etc.) in order to reduce the degradation of encoding, but these deblocking filters visually degrade each of the image signal components. Are processed independently so as not to stand out, and deterioration after encoding of the original image signal cannot be reduced.
YUV色空間におけるYUV信号のサンプリング周波数の違いに着目した従来からの信号補間技術では、符号化時に生じた信号劣化に基づいて信号補間を行うため、符号化前のYUV信号に対する劣化を低減させる効果を奏するものではない。 In the conventional signal interpolation technique that pays attention to the difference in sampling frequency of the YUV signal in the YUV color space, signal interpolation is performed based on the signal deterioration caused at the time of encoding. Therefore, the effect of reducing deterioration of the YUV signal before encoding is reduced. It does not play.
また、復号された画像の同一領域を表現するコンポーネント信号間を比較して修正するとしても、符号化前のYUV信号に対して必ずしも正しい修正となるとは限らない。 Even if the component signals representing the same area of the decoded image are compared and corrected, the correction is not necessarily correct for the YUV signal before encoding.
本発明の目的は、上述のような問題に鑑みて、符号化前のYUV信号に対して正しい修正を可能とする信号修正装置、符号化装置、復号装置及びプログラムを提供することにある。 In view of the above-described problems, an object of the present invention is to provide a signal correction device, an encoding device, a decoding device, and a program that can correct a YUV signal before encoding.
本発明の信号修正装置は、符号化時に生じた信号劣化を、復号された画像の同一領域を表現するコンポーネント信号(以下、代表的に、YUV信号について説明する)間を比較するとともに、符号化前のYUV信号(以下、「基準YUV信号」と称する)に基づいて修正すべきコンポーネント信号の信号要素(例えば、ブロックの画素値又は直交変換係数)を判別して、コンポーネント信号の信号要素の修正箇所を表すフラグ情報及び/又はコンポーネント信号の信号要素の修正量を表す正規化パラメータを生成するとともに、復号された画像の同一領域を表現するコンポーネント信号間を比較して修正推定することによって推定フラグ情報及び推定修正パラメータを生成し、フラグ情報と推定フラグ情報とを比較して相違する場合にのみ、その相違量を表すフラグ補正情報を外部に送出し、正規化パラメータと推定修正パラメータとを比較して相違する場合にのみ、その相違量を表すパラメータ補正情報を外部に送出する。尚、コンポーネント信号は、RGB,YCrCb,LUV,Lab,XYZなどの如何なる色空間のものでもよい。 The signal correction apparatus according to the present invention compares signal degradation caused during encoding between component signals representing the same region of a decoded image (hereinafter, typically described with respect to a YUV signal), and performs encoding. Based on the previous YUV signal (hereinafter referred to as “reference YUV signal”), the signal element of the component signal (for example, the pixel value of the block or the orthogonal transformation coefficient) to be corrected is determined, and the signal element of the component signal is corrected. The estimation flag is generated by generating flag information representing a location and / or a normalization parameter representing a modification amount of a signal element of a component signal, and comparing and estimating between component signals representing the same region of a decoded image. Only when the information and the estimated correction parameter are generated and the flag information and the estimated flag information are compared and different, Sends the flag correction information representing the difference amount to the outside, only when the difference by comparing the normalized parameter and the estimated correction parameters, and sends the parameter correction information representing the difference amount to the outside. The component signal may be in any color space such as RGB, YCrCb, LUV, Lab, XYZ.
即ち、本発明の第1態様の信号修正装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力するとともに、該画像信号における復号信号のうちの第1のコンポーネント信号を入力し、前記基準画像信号を基に正規化した前記第1のコンポーネント信号を、該復号信号のうちの第2のコンポーネント信号の教師信号として生成する教師信号生成手段と、前記復号信号のうちの前記第2のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断手段と、前記復号信号のうちの前記第2のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成する修正処理手段と、前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成する修正推定手段と、前記フラグ情報と前記推定フラグ情報を比較して、相違する信号要素の修正箇所を表すフラグ補正情報を生成するフラグ比較手段と、を備えることを特徴とする。 That is, the signal correction apparatus according to the first aspect of the present invention is a signal correction apparatus that corrects a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient, and performs encoding through an irreversible encoding method. The image signal of the predetermined image format before the input is input as a reference image signal, and the first component signal of the decoded signal in the image signal is input and normalized based on the reference image signal. One component signal is generated as a teacher signal of a second component signal of the decoded signal, input from the second component signal of the decoded signal, and the teacher signal generator A correction determination means for comparing the signal element with the teacher signal to be generated and generating flag information indicating a correction portion of the signal element to be corrected; A correction process for correcting the signal component to be corrected with the signal component of the teacher signal in accordance with the flag information with respect to the second component signal of the signal and generating a corrected second component signal And a signal element obtained by comparing the signal element of the first component signal normalized based on the second component signal with the signal element of the second component signal of the decoded signal Correction estimation means for generating estimated flag information representing a location; and flag comparison means for comparing the flag information with the estimated flag information to generate flag correction information representing a corrected location of a different signal element. It is characterized by.
また、本発明の第1態様の信号修正装置において、前記教師信号生成手段及び修正推定手段は、対応する第1のコンポーネント信号に対して、対応する第2のコンポーネント信号を基に振幅調整して正規化を施すことを特徴とする。 In the signal correction device according to the first aspect of the present invention, the teacher signal generation means and the correction estimation means adjust the amplitude of the corresponding first component signal based on the corresponding second component signal. It is characterized by performing normalization.
また、本発明の第1態様の信号修正装置において、前記フラグ情報は、各コンポーネント信号の信号要素について、信号要素単位か、又は分割したブロック単位の修正箇所を表すことを特徴とする。 Further, in the signal correction device according to the first aspect of the present invention, the flag information represents a correction point in signal element units or divided block units for the signal elements of each component signal.
また、本発明の第1態様の信号修正装置において、前記教師信号生成手段は、前記復号信号のうちの前記第2のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正量を表す正規化パラメータを生成する手段を有し、前記修正推定手段は、前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成する手段を有し、前記正規化パラメータと前記推定修正パラメータを比較して相違する信号要素の修正量を表すパラメータ補正情報を生成するパラメータ比較手段を更に備えることを特徴とする。 Further, in the signal correction device according to the first aspect of the present invention, the teacher signal generation unit is configured to perform processing between the second component signal of the decoded signal and the teacher signal input from the teacher signal generation unit. Means for comparing the signal elements and generating a normalization parameter representing a correction amount of the signal element to be corrected, wherein the correction estimation means is the first normalized based on the second component signal Means for generating an estimated correction parameter representing a correction amount of the signal element obtained by comparing the signal element of the component signal with the signal element of the second component signal of the decoded signal, and the normalization parameter; The apparatus further comprises parameter comparison means for comparing the estimated correction parameters and generating parameter correction information representing a correction amount of a different signal element.
更に、本発明の第2態様の信号修正装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第1のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記正規化した前記第1のコンポーネント信号を該復号信号のうちの第2のコンポーネント信号の教師信号として生成する修正推定手段と、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するフラグ補正判断手段と、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成する修正処理手段と、を備えることを特徴とする。
Furthermore, the signal correction device according to the second aspect of the present invention is a signal correction device for correcting a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient, and is obtained through an irreversible encoding method. The first component obtained by inputting and normalizing the first component signal of the decoded signal in the image signal of the predetermined image format, and normalizing based on the second component signal of the decoded signal in the image signal Generating estimated flag information indicating a correction portion of the signal element obtained by comparing the signal element of the signal with the signal element of the second component signal of the decoded signal, and the normalized first component Modified estimation means for generating a signal as a teacher signal of a second component signal of the decoded signal;
Input flag correction information indicating a correction portion of a different signal element obtained by comparing flag information indicating a correction portion of a signal element to be corrected and the estimation flag information, and performing the estimation based on the flag correction information Flag correction determination means for correcting flag information and reproducing the flag information, and correcting the signal element to be corrected with the signal element of the teacher signal according to the flag information, and correcting the second component signal after correction Correction processing means to be generated.
更に、本発明の第3態様の信号修正装置は、画素値又は直交変換係数の信号要素を含む動画像のコンポーネント信号を修正する信号修正装置であって、非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第1のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成する修正推定手段と、修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するフラグ補正判断手段と、修正すべき信号要素の修正量を表す正規化パラメータと前記推定修正パラメータを比較して得られる、相違する信号要素の修正量を表すパラメータ補正情報を入力して、該パラメータ補正情報に基づいて前記推定修正パラメータを補正して該正規化パラメータを再生するパラメータ補正判断手段と、前記復号信号のうちの第2のコンポーネント信号の教師信号を生成する教師信号生成手段と、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成する修正処理手段と、を備えることを特徴とする。 Furthermore, the signal correction apparatus according to the third aspect of the present invention is a signal correction apparatus that corrects a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient, and is obtained through an irreversible encoding method. The first component obtained by inputting and normalizing the first component signal of the decoded signal in the image signal of the predetermined image format, and normalizing based on the second component signal of the decoded signal in the image signal Generating estimated flag information indicating a correction portion of the signal element obtained by comparing the signal element of the signal with the signal element of the second component signal of the decoded signal, and based on the second component signal The normalized signal component of the first component signal is obtained by comparing the signal component of the second component signal of the decoded signal. A correction estimation unit for generating an estimated correction parameter representing a correction amount of a signal element to be corrected, a flag information indicating a correction part of the signal element to be corrected, and the correction flag information obtained by comparing the estimated flag information Flag correction information indicating the amount of correction of the signal element to be corrected, and flag correction determination means for correcting the estimated flag information based on the flag correction information and reproducing the flag information The parameter correction information representing the correction amount of the different signal element obtained by comparing the estimated correction parameter and the estimated correction parameter is input, the estimated correction parameter is corrected based on the parameter correction information, and the normalized parameter is reproduced. Parameter correction determination means, teacher signal generation means for generating a teacher signal of a second component signal of the decoded signal, According lag information, it modifies the signal elements to the corrected in signal component of the teacher signal, characterized by comprising a correction processing means for generating a second component signal after correction, a.
更に、第1〜第3の態様の信号修正装置の各々は、コンピュータで構成することができる。 Furthermore, each of the signal correction apparatuses of the first to third aspects can be configured by a computer.
本発明によれば、符号化前のYUV信号を基準にしてYUV信号を修正するため、本発明を適用しない場合と比較して画像劣化をより低減させることができるようになる。 According to the present invention, since the YUV signal is corrected based on the YUV signal before encoding, the image deterioration can be further reduced as compared with the case where the present invention is not applied.
以下、本発明による一実施例の信号修正装置について説明する。 A signal correction apparatus according to an embodiment of the present invention will be described below.
まず、本発明の理解のために、画像符号化で用いられる一般的な画像フォーマットについて説明する。一般に、画像符号化では、人間の知覚における輝度及び色差に対する感度の違いから、異なる画素サイズの信号の組み合わせで1フレームの画像フレームを構成する。このような画像フォーマットとして、図17(a)に示すように、フレーム画像Fにおける画素S1について、4:2:2フォーマット(水平方向にて、輝度信号(Y)の画素数1に対してU信号及びV信号のそれぞれの画素数が1/2)や、図17(b)に示すように、フレーム画像Fにおける画素S2について、4:2:0フォーマット(水平及び垂直方向にて、輝度信号の画素数1に対してU信号及びV信号のそれぞれの画素数が1/2)などがある。
First, in order to understand the present invention, a general image format used in image coding will be described. In general, in image encoding, one image frame is composed of a combination of signals of different pixel sizes because of differences in sensitivity to luminance and color differences in human perception. As such an image format, as shown in FIG. 17A, for the pixel S1 in the frame image F, the 4: 2: 2 format (in the horizontal direction, the number U of pixels of the luminance signal (Y) is 1). As shown in FIG. 17B, the number of pixels of the signal and the V signal is 1/2), and for the pixel S2 in the frame image F, the 4: 2: 0 format (the luminance signal in the horizontal and vertical directions). The number of pixels of each of the U signal and the V signal is ½) with respect to the number of
このような画像信号を、MPEGなどの代表的なブロック符号化では、輝度信号と色差信号の区別なく一定の画素数ごとに符号化を行う。このため、輝度信号及び色差信号の符号化ブロックの占める画像範囲は異なることになり、符号化劣化の生じる範囲も異なることになる。 In a typical block coding such as MPEG, such an image signal is coded for every certain number of pixels without distinguishing between a luminance signal and a color difference signal. For this reason, the image ranges occupied by the encoding blocks of the luminance signal and the color difference signal are different, and the range in which the encoding deterioration occurs is also different.
輝度信号及び色差信号が表現する各サンプリング数の違いは、輝度信号と色差信号のサンプリング周波数が異なることを意味する。例えば、4:2:2フォーマットの場合、16×16画素の輝度信号で構成される画像範囲に対応する2つの色差信号(U信号及びV信号)は、それぞれ8×16画素で構成される。従って、4:2:2フォーマットの場合、水平方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。同様に、4:2:0フォーマットの場合、水平及び垂直方向にて、輝度信号に対して色差信号のサンプリング周波数は半分になる。 The difference in the number of samplings expressed by the luminance signal and the color difference signal means that the sampling frequency of the luminance signal and the color difference signal is different. For example, in the case of 4: 2: 2 format, two color difference signals (U signal and V signal) corresponding to an image range formed by luminance signals of 16 × 16 pixels are each configured by 8 × 16 pixels. Therefore, in the case of the 4: 2: 2 format, the sampling frequency of the color difference signal is halved with respect to the luminance signal in the horizontal direction. Similarly, in the 4: 2: 0 format, the sampling frequency of the color difference signal is halved with respect to the luminance signal in the horizontal and vertical directions.
以下の説明では、代表的に、基準YUV信号(基準となる色差信号)に基づいて、被修正YUV信号のうちの色差信号(U信号/V信号)の信号要素を、被修正YUV信号のうちの輝度信号(Y信号)から生成した教師信号の信号要素で修正することにより、修正後のYUV信号(修正された色差信号)を得る例について説明する。 In the following description, typically, based on the reference YUV signal (reference color difference signal), the signal element of the color difference signal (U signal / V signal) in the corrected YUV signal is represented in the corrected YUV signal. An example in which a corrected YUV signal (corrected color difference signal) is obtained by correcting with a signal element of a teacher signal generated from the luminance signal (Y signal) will be described.
尚、図17で示す各コンポーネント信号間の関係から、基準YUV信号(基準となる輝度信号)に基づいて、被修正YUV信号のうちの輝度信号(Y信号)と、被修正YUV信号のうちの色差信号(U信号/V信号)とを比較して、被修正YUV信号のうちの輝度信号(Y信号)の信号要素を被修正YUV信号のうちの色差信号(U信号/V信号)の信号要素で修正することにより、修正後のYUV信号(修正された輝度信号)を得ることもできる。従って、輝度信号及び色差信号の双方を、輝度信号及び色差信号間の相関から互いに修正することができる。 From the relationship between the component signals shown in FIG. 17, the luminance signal (Y signal) of the corrected YUV signal and the corrected YUV signal of the corrected YUV signal are based on the reference YUV signal (reference luminance signal). The signal component of the luminance signal (Y signal) in the corrected YUV signal is compared with the color difference signal (U signal / V signal) and the signal component of the color difference signal (U signal / V signal) in the corrected YUV signal. It is also possible to obtain a corrected YUV signal (corrected luminance signal) by correcting with elements. Therefore, both the luminance signal and the color difference signal can be corrected from each other from the correlation between the luminance signal and the color difference signal.
また、以下の説明では、YUV信号は、図17に示すような、サンプリング周波数が異なる輝度信号及び色差信号からなる例を説明する。尚、基準YUV信号は、符号化前のYUV信号と考えてよく、被修正YUV信号は、符号化されたYUV信号の復号信号と考えてよい。 In the following description, an example in which the YUV signal is composed of a luminance signal and a color difference signal having different sampling frequencies as shown in FIG. 17 will be described. The reference YUV signal may be considered as a YUV signal before encoding, and the corrected YUV signal may be considered as a decoded signal of the encoded YUV signal.
図1に、本発明による一実施例の符号化側信号修正装置10のブロック図を示す。符号化側信号修正装置10は、教師信号生成部11と、修正判断部12と、修正処理部13と、修正推定部14と、フラグ比較部15とを備える。
FIG. 1 is a block diagram of an encoding-side
符号化側信号修正装置10は、例えば非可逆な符号化方式で符号化された画像信号を復号するデコーダ(図示せず)から出力される所定の画像フォーマットの被修正YUV信号を入力し、各コンポーネント信号間のサンプリング周波数の違いを利用して、輝度信号及び色差信号の符号化劣化を抑制しつつ、当該所定の画像フォーマットに従う新たなYUV信号(修正された輝度信号及び色差信号)を生成する。
The encoding-side
即ち、教師信号生成部11は、被修正YUV信号のうちの輝度信号と、基準YUV信号のうちの色差信号を入力して、基準YUV信号のうちの色差信号に基づいて被修正YUV信号のうちの輝度信号を正規化し、正規化した輝度信号を色差信号の教師信号として生成し、修正判断部12及び修正処理部13に送出する。
That is, the teacher
ここで、例えば正規化した輝度信号を色差信号の教師信号として生成する例を説明する。 Here, an example in which a normalized luminance signal is generated as a teacher signal of a color difference signal will be described.
以下の式に示すとおり、各色差信号の直交変換係数の各成分座標(u,v)(ただし、直流成分である(0,0)成分を除く)における値のうち絶対値の最大値となる成分座標が(a,b)で与えられる場合に、U信号に対する教師信号T_U[v][u],V信号に対する教師信号T_V[v][u]は、各色差信号の直交変換係数U[b][a](又はV[b][a])に対応する成分座標の輝度信号の直交変換係数Y[b][a]を基準にした比によって、サンプリングレートを揃えた輝度信号の直交変換係数Y[v][u]の各成分を正規化することにより得ることができる。
T_U[v][u]=Y[v][u]*U[b][a]/Y[b][a]
T_V[v][u]=Y[v][u]*V[b][a]/Y[b][a]
ここで、u,vは、8×8画素ブロックであれば0〜7。ここでの正規化係数は、U[b][a]/Y[b][a]又はV[b][a]/Y[b][a]で与えられる。
As shown in the following equation, the absolute value is the maximum value among the values in the component coordinates (u, v) of the orthogonal transform coefficient of each color difference signal (excluding the (0, 0) component which is a direct current component). When the component coordinates are given by (a, b), the teacher signal T_U [v] [u] for the U signal and the teacher signal T_V [v] [u] for the V signal are orthogonal transform coefficients U [ b] [a] (or V [b] [a]) The luminance signal is orthogonalized with a sampling rate equal to the ratio based on the orthogonal transformation coefficient Y [b] [a] of the luminance signal of the component coordinates. It can be obtained by normalizing each component of the conversion coefficient Y [v] [u].
T_U [v] [u] = Y [v] [u] * U [b] [a] / Y [b] [a]
T_V [v] [u] = Y [v] [u] * V [b] [a] / Y [b] [a]
Here, u and v are 0 to 7 for an 8 × 8 pixel block. The normalization coefficient here is given by U [b] [a] / Y [b] [a] or V [b] [a] / Y [b] [a].
輝度信号に対する教師信号T_Y[v][u]も同様のやり方で得ることができる。例えば、以下の式に示すとおり、輝度信号の直交変換係数の各成分座標(u,v)(ただし、直流成分である(0,0)成分を除く)における値のうち絶対値の最大値となる成分座標が(a,b)で与えられる場合に、輝度信号用の教師信号T_Y[v][u]は、この輝度信号の直交変換係数Y[b][a]に対応する成分座標の色差信号の直交変換係数U[b][a](又はV[b][a])を基準にした比によって、サンプリングレートを揃えた色差信号の直交変換係数U[v][u](又はV[v][u])の各成分を正規化することにより得ることができる。
T_Y[v][u]=U[v][u]*Y[b][a]/U[b][a]、又は
=V[v][u]*Y[b][a]/V[b][a]
ここでの正規化係数は、Y[b][a]/U[b][a]又はY[b][a]/V[b][a]で与えられる。
尚、輝度信号は、色差信号に対し複数の直交変換ブロックで構成されるので、例えば4:2:0フォーマットの場合、サンプリングレートを揃えるべくアップコンバートされた色差信号を4つに分割し、輝度信号の直交変換ブロックに対するブロックごとに正規化を行う。
The teacher signal T_Y [v] [u] for the luminance signal can be obtained in the same manner. For example, as shown in the following equation, the maximum absolute value of the values in the component coordinates (u, v) of the orthogonal transformation coefficient of the luminance signal (excluding the (0, 0) component which is a direct current component) Is given by (a, b), the teacher signal T_Y [v] [u] for the luminance signal has a component coordinate corresponding to the orthogonal transformation coefficient Y [b] [a] of the luminance signal. An orthogonal transform coefficient U [v] [u] (or a color difference signal with a sampling rate equal to the ratio based on the orthogonal transform coefficient U [b] [a] (or V [b] [a]) of the color difference signal. V [v] [u]) can be obtained by normalizing each component.
T_Y [v] [u] = U [v] [u] * Y [b] [a] / U [b] [a], or
= V [v] [u] * Y [b] [a] / V [b] [a]
The normalization coefficient here is given by Y [b] [a] / U [b] [a] or Y [b] [a] / V [b] [a].
Since the luminance signal is composed of a plurality of orthogonal transform blocks with respect to the chrominance signal, for example, in the case of 4: 2: 0 format, the chrominance signal up-converted to equalize the sampling rate is divided into four luminances. Normalization is performed for each block with respect to the orthogonal transform block of the signal.
尚、或る輝度信号に対する教師信号T_Y[v][u]としては2つ得られるため、これらの2つの教師信号のうちの絶対値の大きいほうを教師信号とするか、又は絶対値の平均値(又は二乗平均値)の大きいほうを教師信号とするか、又は2つの教師信号のうち相関の高いほうを教師信号とするか、又は事前に予め定められた選択基準で選択したものと教師信号とすることができるが、画像処理装置1の利用目的に応じて随意適したやり方で教師信号を算出することができる。
Since two teacher signals T_Y [v] [u] for a certain luminance signal are obtained, the larger one of these two teacher signals is used as the teacher signal or the average of the absolute values A teacher signal having a larger value (or mean square value) is used as a teacher signal, a teacher signal having a higher correlation of two teacher signals is selected, or a teacher selected based on a predetermined selection criterion The teacher signal can be calculated in a manner suitable for the purpose of use of the
上記の例では、教師信号を生成するために、直交変換係数の絶対値の最大値を検出して正規化する例について説明したが、直交変換係数の絶対値の平均値(又は二乗平均値)に基づいて正規化することもできる。 In the above example, the example in which the maximum value of the absolute value of the orthogonal transform coefficient is detected and normalized in order to generate the teacher signal has been described, but the average value (or the mean square value) of the absolute value of the orthogonal transform coefficient is described. It is also possible to normalize based on.
修正判断部12は、入力される基準YUV信号のうちの色差信号に基づいて、被修正YUV信号のうちの色差信号と、教師信号生成部11から入力される教師信号との間で、信号要素(例えば、ブロック内の画素値又は直交変換係数)の比較を行い、被修正YUV信号のうちの色差信号について修正すべき信号要素の修正箇所(座標)を表すフラグ情報を生成してフラグ比較部15に送出するとともに、修正処理部13に送出する。この比較処理にあたって、基準YUV信号の信号要素が本来の正しい信号であるために、この場合、基準YUV信号のうちの色差信号の信号要素に基づいて、被修正YUV信号のうちの色差信号について教師信号の信号要素で修正すべき信号要素の修正箇所(座標)を特定する。
Based on the color difference signal in the input reference YUV signal, the
修正処理部13は、被修正YUV信号のうちの色差信号を入力して、修正判断部12から入力されるフラグ情報にしたがって、被修正YUV信号のうちの色差信号について修正すべき信号要素の修正箇所(座標)を教師信号の信号要素で修正し(例えば、置き換え)、修正後の色差信号を含むYUV信号を外部に送出する。
The
修正推定部14は、被修正YUV信号のうちの輝度信号及び色差信号を入力して、被修正YUV信号のうちの色差信号に基づいて被修正YUV信号のうちの輝度信号を正規化し、被修正YUV信号のうちの色差信号について修正推定される信号要素の修正箇所(座標)を表す推定フラグ情報を生成してフラグ比較部15に送出する。この推定フラグ情報は、正規化した輝度信号を色差信号の修正推定信号としたきに生成されるものである。修正推定部14における正規化処理と、教師信号生成部11における正規化処理とは同一にする。
The
フラグ比較部15は、修正判断部12から入力されるフラグ情報と、修正推定部14から入力される推定フラグ情報とを比較し、一致しない信号要素の修正箇所(座標)を表すフラグ補正情報を生成して外部に送出する。従って、フラグ情報と推定フラグ情報とが完全一致する場合にはフラグ補正情報は伝送されないか、又は完全一致する旨を表すパリティビットを設けて伝送する。
The
これにより、符号化側信号修正装置10からの信号を受信する受信側では、修正後の色差信号を含むYUV信号を受信した際に、基準YUV信号の信号要素に対して、どの信号のどの信号要素が修正されたかをフラグ補正情報で判別して知ることができる。
As a result, on the receiving side that receives the signal from the encoding-side
図2に、本発明による一実施例の符号化側信号修正装置20のブロック図を示す。図1と同様な構成要素には同一の参照番号を付して説明する。符号化側信号修正装置20は、教師信号生成部11と、修正判断部12と、修正処理部13と、修正推定部14と、フラグ比較部15とを備える点で図1のものと同様であるが、更に、パラメータ比較部16を備える点で相違する。
FIG. 2 is a block diagram of the encoding-side
更に、符号化側信号修正装置20における修正推定部14は、被修正YUV信号のうちの輝度信号及び色差信号を入力して、被修正YUV信号のうちの色差信号に基づいて被修正YUV信号のうちの輝度信号を正規化し、被修正YUV信号のうちの色差信号について修正推定される信号要素の修正箇所(座標)を表す推定フラグ情報と、該修正推定される信号要素の修正量を表す推定修正パラメータを生成して、それぞれフラグ比較部15及びパラメータ比較部16に送出する。この推定修正パラメータは、正規化した輝度信号を色差信号の修正推定信号としたきに、この修正推定信号の生成における正規化処理のパラメータを表すものとして生成されるものである。
Further, the
更に、符号化側信号修正装置20における教師信号生成部11は、被修正YUV信号のうちの輝度信号を入力して正規化し、正規化した輝度信号を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準YUV信号における色差信号の信号要素との間の違いによって生じる修正量を表す正規化パラメータを生成し、パラメータ比較部16に送出する点で相違する。
Further, the teacher
フラグ比較部15は、修正判断部12から入力されるフラグ情報と、修正推定部14から入力される推定フラグ情報とを比較し、相違する信号要素の修正箇所を表すフラグ補正情報(例えば、一致しない信号要素の修正箇所(座標)を表すフラグ補正情報)を生成して外部に送出する。従って、フラグ情報と推定フラグ情報とが完全一致する場合にはフラグ補正情報は伝送されないか、又は完全一致する旨を表すパリティビットを設けて伝送する。これにより、伝送する情報量を更に削減することができるようになる。
The
パラメータ比較部16は、教師信号生成部11から入力される正規化パラメータと、修正推定部14から入力される推定修正パラメータとを比較し、相違する信号要素の修正箇所を表すフラグ補正情報(例えば、信号要素の修正箇所(座標)の一致しない修正量を表すパラメータ補正情報)を生成して外部に送出する。従って、正規化パラメータと推定修正パラメータとが完全一致する場合にはパラメータ補正情報は伝送されないか、又は完全一致する旨を表すパリティビットを設けて伝送する。
The
尚、フラグ比較部15及びパラメータ比較部16において、比較結果として一致する場合の受信側では、後述するように、フラグ情報とフラグ補正情報、及び推定修正パラメータと正規化パラメータを、同一として扱うことができるようになる。
In addition, in the
また、正規化パラメータ及び推定修正パラメータにおける修正量とは、最も簡単な例として、線形変換のパラメータとすることができる。例えば、色差信号の教師信号の信号要素(Y)を、対応する基準YUV信号における色差信号の信号要素(X)で近似するにあたって、Y=aX+bの近似関数を用いる場合、正規化パラメータ(推定修正パラメータ)a,bを得ることができる。 The correction amount in the normalization parameter and the estimated correction parameter can be a linear conversion parameter as the simplest example. For example, when approximating the signal element (Y) of the teacher signal of the color difference signal with the signal element (X) of the color difference signal in the corresponding reference YUV signal, when using an approximation function of Y = aX + b, the normalization parameter (estimation correction) Parameters a) and b) can be obtained.
従って、符号化側信号修正装置20は、修正処理部13によって、被修正YUV信号のうちの色差信号を入力して、修正判断部12から入力されるフラグ情報にしたがって、被修正YUV信号のうちの色差信号について修正すべき信号要素の修正箇所(座標)を教師信号の信号要素で修正し、修正後の色差信号を含むYUV信号を外部に送出する際に、基準YUV信号に基づいて生成されたフラグ情報及び正規化パラメータと、被修正YUV信号に基づいて修正推定された推定フラグ情報及び推定修正パラメータとをそれぞれ比較して、比較結果として一致しない場合に、フラグ補正情報及びパラメータ補正情報を外部に伝送する。
Therefore, the encoding-side
これにより、符号化側信号修正装置20からの信号を受信する受信側では、修正後の色差信号を含むYUV信号を受信した際に、どの信号のどの信号要素が修正されたかをフラグ補正情報で知ることができ、且つ修正された信号要素に対してどれだけの修正量を加えれば基準YUV信号の信号要素に近づくものとなるかをパラメータ補正情報で知ることができるとともに、フラグ補正情報及びパラメータ補正情報がないと判断される場合に、受信したコンポーネント信号のみで修正推定した結果が基準YUV信号に極めて近似した信号として復号することができる。
Thus, on the receiving side that receives the signal from the encoding-side
従って、以下、最も好適な符号化側信号修正装置20の構成を基に、より詳細な具体例を説明する。
Therefore, a more specific example will be described below based on the most preferable configuration of the encoding-side
図3及び図4は、符号化側信号修正装置20について、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正YUV信号を修正する構成例である。図2と対比して説明するに、図3に示すように、教師信号生成部11は、サンプリングレート変換部11aと、第3直交変換部11bと、正規化処理部11cからなる。修正判断部12は、第2直交変換部12aと、比較部12bからなる。修正処理部13は、第1直交変換部13aと、直交変換係数置換部13bと、逆直交変換部13cからなる。
FIGS. 3 and 4 are configuration examples for correcting the corrected YUV signal by replacing the orthogonal transformation coefficient as the signal element of the component signal in the encoding-side
サンプリングレート変換部11aは、本例の場合、被修正YUV信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第3直交変換部11bに送出する。尚、被修正YUV信号のうちの輝度信号を修正する場合には、サンプリングレート変換部11aは、被修正YUV信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第3直交変換部11bに送出する。
In the case of this example, the sampling rate conversion unit 11a down-converts the luminance signal of the corrected YUV signal to the sampling rate of the corresponding color difference signal and sends it to the third
前述したように、符号化処理の最小単位となる1つの輝度信号の画素ブロック(16×16画素)と、それに対応する色差信号の画素ブロック(4:2:0フォーマットの場合は8×8画素)の画素数は異なる。量子化による劣化は、8×8画素の画素ブロックごとに異なり、それぞれのブロックの劣化の傾向は無相関であるから、特に画素ブロックの境界において視覚的に顕著な劣化が生じうる。 As described above, one luminance signal pixel block (16 × 16 pixels), which is the minimum unit of the encoding process, and a corresponding color difference signal pixel block (8 × 8 pixels in the 4: 2: 0 format). ) Is different in number of pixels. Deterioration due to quantization differs for each pixel block of 8 × 8 pixels, and the tendency of deterioration of each block is uncorrelated, so that visually noticeable deterioration may occur particularly at the boundary between pixel blocks.
しかしながら、符号化後の色差信号の面積が、符号化後の輝度信号の面積に比べ水平(又は水平及び垂直)に2倍の面積であることを考慮すれば、この色差信号から、対応する輝度信号の隣接画素ブロック間の信号の相関を知ることができる。また、輝度信号のサンプリング数は色差信号に比べて多く、高解像度であるため、符号化劣化を含む輝度信号を色差信号のサンプリングレートまでダウンコンバートして劣化を低減させ、この劣化低減させた輝度信号を色差信号の教師信号とすることによって色差信号の復元を行うことができる。従って、輝度信号及び色差信号の相互の相関比較のためには、輝度信号及び色差信号のサンプリングレートを同一にするのが好適である。 However, considering that the area of the color difference signal after encoding is twice as large as the area of the luminance signal after encoding (or horizontal and vertical), the corresponding luminance is calculated from the color difference signal. It is possible to know the correlation of signals between adjacent pixel blocks of the signal. Also, since the number of luminance signal samplings is higher than that of chrominance signals and has a higher resolution, the luminance signal including coding degradation is down-converted to the sampling rate of the chrominance signal to reduce the degradation, and this luminance is reduced. The color difference signal can be restored by using the signal as a teacher signal for the color difference signal. Therefore, in order to compare the correlation between the luminance signal and the color difference signal, it is preferable that the sampling rates of the luminance signal and the color difference signal are the same.
尚、被修正YUV信号のうちの輝度信号を修正する場合に、サンプリングレート変換部11aは、被修正YUV信号における2つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定される。 When correcting the luminance signal of the corrected YUV signal, the sampling rate conversion unit 11a converts one or both of the two color difference signals in the corrected YUV signal. Predefined.
第3直交変換部11bは、本例の場合、サンプリングレート変換部11aから入力されるダウンコンバートした輝度信号に対して、第1直交変換部13aで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部11cに送出する。
In the case of this example, the third
第2直交変換部12aは、入力される基準YUV信号のうちの色差信号に対して、第1直交変換部13aで用いる直交変換処理と同様の直交変換を施し、得られた色差信号の直交変換係数を正規化処理部11c及び比較部12bに送出する。
The second
正規化処理部11cは、第3直交変換部11bからダウンコンバート後の輝度信号の直交変換係数を入力し、これとは別に入力される基準YUV信号の色差信号の直交変換係数の各値を基に振幅調整(例えば線形変換)することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、比較部12b及び直交変換係数置換部13bに送出する。また、正規化処理部11cは、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する基準YUV信号における色差信号の信号要素との間の違いによって生じる修正量を表す正規化パラメータを生成し、パラメータ比較部16に送出する。
The normalization processing unit 11c receives the orthogonal transformation coefficient of the down-converted luminance signal from the third
第1直交変換部13aは、本例の場合、入力される被修正YUV信号のうちの色差信号に対して、所定の直交変換処理(例えば、DCT)を施し、得られた色差信号の直交変換係数を直交変換係数置換部13b及び比較部12bに送出する。
In the case of this example, the first
比較部12bは、第1直交変換部13aから被修正YUV信号のうちの色差信号の直交変換係数を入力して、正規化処理部11cから入力される教師信号の直交変換係数との間で、信号要素(本例では、直交変換係数)の比較を行い、被修正YUV信号のうちの色差信号について修正すべき信号要素の修正箇所(座標)を表すフラグ情報を生成してフラグ比較部15に送出するとともに、直交変換係数置換部13bに送出する。この比較処理にあたって、比較部12bに入力される基準YUV信号の信号要素が本来の正しい信号であるために、この場合、基準YUV信号のうちの色差信号の信号要素に基づいて、被修正YUV信号のうちの色差信号について教師信号の信号要素で修正すべき信号要素の修正箇所(座標)を特定する。
The
直交変換係数置換部13bは、第1直交変換部13aから被修正YUV信号のうちの色差信号の直交変換係数を入力して、比較部12bから入力されるフラグ情報にしたがって、被修正YUV信号のうちの色差信号について修正すべき直交変換係数の修正箇所(座標)を教師信号の直交変換係数で修正し(例えば、置き換え)、修正後の色差信号の直交変換係数を逆直交変換部13cに送出する。
The orthogonal transform
逆直交変換部13cは、直交変換係数置換部13bから入力される修正後の色差信号の直交変換係数に対して、逆直交変換(例えば、IDCT)を施し、外部に送出する。上記は、輝度信号から色差信号を修正する場合について説明したが、色差信号から輝度信号を修正する場合も同様である。
The inverse
図4に示すように、修正推定部14は、サンプリングレート変換部11a−1と、第3直交変換部11b−1と、正規化処理部11c−1と、比較部12b−1と、第1直交変換部13a−1からなる。サンプリングレート変換部11a−1、第3直交変換部11b−1、正規化処理部11c−1、比較部12b−1、及び第1直交変換部13a−1の処理動作は、それぞれ図3に示すサンプリングレート変換部11a、第3直交変換部11b、正規化処理部11c、比較部12b、及び第1直交変換部13aと同一である。ただし、正規化処理部11c−1が、第3直交変換部11b−1から入力されるダウンコンバート後の輝度信号の直交変換係数を、これとは別に入力される被修正YUV信号の色差信号の直交変換係数の各値を基に振幅調整(例えば線形変換)することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、比較部12b−1に送出するとともに、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成する際に、色差信号の教師信号の信号要素と、対応する被修正YUV信号における色差信号の信号要素との間の違いによって生じる修正量を表す推定修正パラメータを生成し、パラメータ比較部16に送出する。
As shown in FIG. 4, the
図5及び図6は、この符号化側信号修正装置20における一連の処理動作を模式的に示した図である。図5(a)は、4:2:0フォーマットにおける色差信号のU信号及びV信号を、ダウンコンバートした輝度信号Yを用いて修正する様子を示しており、図5(b)は、4:2:0フォーマットにおける輝度信号Yを、アップコンバートした色差信号のU信号又はV信号を用いて修正する様子を示している。図6(a)は、4:2:2フォーマットにおける色差信号のU信号及びV信号を、ダウンコンバートした輝度信号Yを用いて修正する様子を示しており、図6(b)は、4:2:2フォーマットにおける輝度信号Yを、アップコンバートした色差信号のU信号又はV信号を用いて修正する様子を示している。
5 and 6 are diagrams schematically showing a series of processing operations in the encoding-side
これにより、本実施例の符号化側信号修正装置20によれば、非可逆な符号化方式で符号化を経て復号された画像信号(被修正YUV信号)であっても、基準YUV信号に基づいて画像劣化の少ない画像信号(修正後のYUV信号)として修正することができ、符号化に起因して生じていた画像劣化をより低減させることができるようになる。更に、本実施例の符号化側信号修正装置20によれば、フラグ比較部15及びパラメータ比較部16において、比較結果として一致しない場合に、修正判断部12によって生成したフラグ情報をフラグ補正情報として外部に伝送し、且つ教師信号生成部11によって生成した正規化パラメータをパラメータ補正情報として外部に伝送することができるので、単にフラグ情報及び正規化パラメータを伝送する場合と比較して、伝送情報をより低減させることができる。
As a result, according to the encoding-side
尚、MPEG−2やMPEG−4AVC/H.264など多くの符号化方式における直交変換としてDCTが用いられているが、本実施例の信号修正装置によれば、一般的に用いられている画像信号の輝度信号と色差信号のサンプリング周波数の違いを利用するものであるから、任意の符号化方式に適用することができる。特に、非可逆な符号化方式によって劣化した画像を入力して、その符号化方式による劣化を回復させることを目的とする場合には、入力に用いた符号化方式と同じ直交変換を用いることによって、より劣化低減の効果を発揮することになる。 Note that MPEG-2 and MPEG-4 AVC / H. Although DCT is used as orthogonal transform in many encoding systems such as H.264, according to the signal correction apparatus of this embodiment, the difference in the sampling frequency of the luminance signal of the image signal and the color difference signal that are generally used is used. Can be applied to any coding scheme. In particular, when an image deteriorated by an irreversible encoding method is input and the purpose is to recover the deterioration due to the encoding method, the same orthogonal transformation as the encoding method used for input is used. Thus, the effect of reducing deterioration will be exhibited.
以下、本実施例の符号化側信号修正装置20を、動画像用の符号化装置に適用した場合について説明する。
Hereinafter, a case where the encoding side
[符号化装置]
一般的に動画像の符号化では動き補償予測、直交変換、量子化、可変長符号化によって画像を符号化する。動き補償予測を用いる符号化方式の場合、復号された画像を予測に用いるため符号化装置内に復号装置を内包しており、この復号装置の出力に対して本実施例の信号修正装置を適用することができる。
[Encoding device]
In general, a moving image is encoded by motion compensation prediction, orthogonal transform, quantization, and variable length encoding. In the case of an encoding method using motion compensated prediction, a decoding device is included in an encoding device in order to use a decoded image for prediction, and the signal correction device of this embodiment is applied to the output of the decoding device. can do.
本実施例の符号化側信号修正装置20を、動画像用の符号化装置60に適用した場合における例を図7に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。
FIG. 7 shows an example in which the encoding side
符号化装置60は、本実施例の符号化側信号修正装置20と、並べ替え部124と、減算部119と、直交変換部114と、量子化部115と、可変長符号化部116と、逆量子化部117と、逆直交変換部118と、フレームメモリ121と、動き補償予測部122と、加算部123とを備える。尚、本実施例に係る符号化装置60は、既知の符号化装置(例えば、MPEG−2,H.264用の符号化装置)に対して、本実施例の符号化側信号修正装置20が追加されたものである。尚、本実施例の符号化側信号修正装置20は、いわゆるイントラ予測及び動き補償予測の符号化に適用できるが、代表的に、動き補償予測を行う例について説明する。
The
並べ替え部124は、入力された映像信号を一時的に蓄積し、フレーム画像の順番を並べ替え、符号化処理に必要なフレーム画像を減算部119及び動き補償予測部122に送出する。並べ替え部124は、本例では、入力画像信号を基準YUV信号として符号化側信号修正装置20に送出する。
The rearrangement unit 124 temporarily stores the input video signal, rearranges the order of the frame images, and sends the frame image necessary for the encoding process to the
動き補償予測部122は、並べ替え部124から供給される入力画像信号に対して、フレームメモリ121から符号化側信号修正装置20を経て取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を減算部119及び加算部123に出力する。動きベクトルの情報は、可変長符号化部116に送出される。
The motion
減算部119は、並べ替え部124からの入力画像信号と、動き補償予測部122からの予測画像との差分信号を生成して直交変換部114に送出する。
The
直交変換部114は、減算部119から供給される差分信号に対して小領域の画素ブロックごとに直交変換(例えば、DCT)を施し、量子化部115に送出する。
The orthogonal transform unit 114 performs orthogonal transform (for example, DCT) on the difference signal supplied from the
量子化部115は、直交変換部114から供給される小領域の画素ブロックに対応する量子化テーブルを選択して量子化処理を行い、可変長符号化部116及び逆量子化部117に送出する。
The
可変長符号化部116は、量子化部115から供給される量子化信号について可変長符号化処理を施しビットストリームを生成するとともに、動き補償予測部122から供給される動きベクトルの情報も可変長符号化を施して出力する。可変長符号化部116は、符号化側信号修正装置20から得られるフラグ補正情報及びパラメータ補正情報に対して符号化を施して伝送することができる。
The variable
逆量子化部117は、量子化部115から供給される量子化信号について逆量子化処理を行って逆直交変換部118に出力する。
The
逆直交変換部118は、逆量子化部117から供給される直交変換係数に対して逆直交変換(例えば、IDCT)を施し、加算部123に出力する。
The inverse
加算部123では、逆直交変換部118から得られる逆直交変換した信号と、動き補償予測部122から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ121に格納する。
The adding
ここで、図7における符号化側信号修正装置20は、被修正YUV信号をフレームメモリ121から取得でき、基準YUV信号(入力画像信号に対応する)を並び替え部124から取得することができる。図7における符号化側信号修正装置20は、基準YUV信号に基づいて被修正YUV信号に対して前述した修正処理を施し、フラグ補正情報(及びパラメータ補正情報)を可変長符号化部116に送出する。可変長符号化部116は、フラグ補正情報及びパラメータ補正情報に対して符号化を施してもよいし、符号化を施さずに伝送することもできる。
Here, the encoding-side
このように、符号化装置60で符号化側信号修正装置10,20を適用することで、基準YUV信号に基づいて、被修正YUV信号と教師信号を比較して、被修正YUV信号のうちのコンポーネント信号の信号要素を該コンポーネント信号とは別のコンポーネント信号から生成した教師信号の信号要素で修正することにより、元信号に対して、より近似した正しい修正後のYUV信号を得ることもできる。
In this way, by applying the encoding-side
次に、フラグ補正情報(及びパラメータ補正情報)を用いて被修正YUV信号を修正する復号側信号修正装置70,80を順に説明する。
Next, the decoding side
以下の説明では、フラグ補正情報(及びパラメータ補正情報)に基づいて、代表的に、被修正YUV信号のうちの色差信号(U信号/V信号)の信号要素を、被修正YUV信号のうちの輝度信号(Y信号)から生成した教師信号の信号要素で修正することにより、修正後のYUV信号(修正された色差信号)を得る例について説明する。また、YUV信号は、図17に示すような、サンプリング周波数が異なる輝度信号及び色差信号からなる例を説明する。 In the following description, based on the flag correction information (and parameter correction information), the signal elements of the color difference signal (U signal / V signal) in the YUV signal to be corrected are typically represented in the YUV signal to be corrected. An example of obtaining a corrected YUV signal (corrected color difference signal) by correcting with a signal element of a teacher signal generated from a luminance signal (Y signal) will be described. An example in which the YUV signal is composed of a luminance signal and a color difference signal having different sampling frequencies as shown in FIG. 17 will be described.
尚、図17で示す各コンポーネント信号間の関係から、入力されるフラグ補正情報(及びパラメータ補正情報)に基づいて、フラグ情報(及び正規化パラメータ)を生成し、被修正YUV信号のうちの輝度信号(Y信号)を被修正YUV信号のうちの色差信号(U信号/V信号)で修正することにより、修正後のYUV信号(修正された輝度信号)を得ることもでき、フラグ補正情報(及びパラメータ補正情報)が入力されない場合には、輝度信号及び色差信号の双方を、輝度信号及び色差信号間の相関から互いに修正することができる。 From the relationship between the component signals shown in FIG. 17, flag information (and normalization parameters) is generated based on the input flag correction information (and parameter correction information), and the luminance of the corrected YUV signal By correcting the signal (Y signal) with the color difference signal (U signal / V signal) of the YUV signal to be corrected, a corrected YUV signal (corrected luminance signal) can be obtained, and flag correction information ( When the parameter correction information) is not input, both the luminance signal and the color difference signal can be corrected from the correlation between the luminance signal and the color difference signal.
まず、図8に示す復号側信号修正装置70は、図1に示す復号側信号修正装置10に対応する装置であり、修正処理部72と、修正推定部73と、フラグ補正判断部74とを備える。
First, the decoding-side
修正処理部72は、符号化側の修正処理部13と同様の動作であり、被修正YUV信号を入力し、フラグ補正判断部74から入力されるフラグ情報に基づいて、被修正YUV信号の或るコンポーネント信号の信号要素を修正処理部72から得られる(教師信号として機能する)修正推定信号の信号要素に修正し(例えば、置き換え)、修正後のYUV信号を生成する。
The
修正推定部73は、符号化側の修正推定部14と同様の動作であり、被修正YUV信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を正規化した(教師信号として機能する)修正推定信号を、修正処理部72に送出する。
The
フラグ補正判断部74は、図1に示す符号化側信号修正装置10からフラグ補正情報を入力し、フラグ補正情報に従って、修正処理部72から得られる推定フラグ情報に示される修正箇所について補正し、フラグ情報を復元して修正処理部72に送出する。
The flag
フラグ補正情報がない場合(修正箇所がない旨を示す場合)、フラグ補正判断部74は、推定フラグ情報をフラグ情報として修正処理部72に送出することになる。この場合、コンポーネント信号間で予測したものであるにも関わらず、図8に示す復号側信号修正装置70は、基準YUV信号のコンポーネント信号に対して修正すべき信号要素の座標情報としてフラグ情報を用いて修正するものであるから、信号要素の修正箇所に対しては正確性を維持する。
When there is no flag correction information (indicating that there is no correction part), the flag
しかしながら、図8に示す修正推定部73が生成する修正推定信号は、図1と同様に、被修正YUV信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、被修正YUV信号の該コンポーネント信号を用いて正規化することで生成するため、修正箇所は正確であっても修正量の観点からは、基準YUV信号のコンポーネント信号に対して誤差を生じうる。
However, the correction estimation signal generated by the
そこで、図9に示す復号側信号修正装置80は、図2に示す符号化側信号修正装置20に対応する装置であり、入力される正規化パラメータに基づいて、被修正YUV信号の輝度信号から教師信号を生成する教師信号生成部71と、入力されるパラメータ補正情報に基づいて、修正推定部73が生成する推定修正パラメータを補正して正規化パラメータを復元し、教師信号生成部71に送出するパラメータ補正判断部75とを更に備える。本例の修正推定部73は、図8に示す例と同様に生成した修正推定信号に関して、この修正推定信号の生成における正規化処理のパラメータを表す推定修正パラメータをパラメータ補正判断部75に送出する。パラメータ補正情報がない場合(修正する必要がない旨を示す場合)、パラメータ補正判断部75は、修正推定信号に対応する推定修正パラメータを正規化パラメータとして教師信号生成部71に送出する。
9 is a device corresponding to the encoding-side
すなわち、図9に示す復号側信号修正装置80の修正処理部72は、図8に示す修正処理部72と同様の動作であり、被修正YUV信号を入力し、入力されるフラグ情報に基づいて、被修正YUV信号の或るコンポーネント信号の信号要素を教師信号生成部71から得られる教師信号の信号要素で修正し、修正後のYUV信号を生成する。一方で、図9に示す復号側信号修正装置80の教師信号生成部71は、被修正YUV信号の該コンポーネント信号とは別のコンポーネント信号の信号要素を、基準YUV信号に基にした修正を可能とすべく、正規化パラメータを用いて正規化することで教師信号を生成する。これにより、図9に示す復号側信号修正装置80は、信号要素の修正箇所および修正量に対して正確性を維持する。
That is, the
従って、以下、最も好適な復号側信号修正装置80の構成を基に、より詳細な具体例を説明する。
Therefore, a more specific example will be described below based on the most preferable configuration of the decoding-side
図10は、復号側信号修正装置80について、コンポーネント信号の信号要素として直交変換係数の置換えによって被修正YUV信号を修正する例である。図9と対比して説明するに、教師信号生成部71は、サンプリングレート変換部71aと、第3直交変換部71bと、正規化処理部71cからなる。修正処理部72は、第1直交変換部72aと、直交変換係数置換部72bと、逆直交変換部72cからなる。修正推定部73は、サンプリングレート変換部73aと、第2直交変換部73bと、正規化処理部73cと、比較部73dからなる。
FIG. 10 shows an example of correcting the corrected YUV signal by replacing the orthogonal transformation coefficient as the signal element of the component signal in the decoding-side
サンプリングレート変換部71aは、本例の場合、被修正YUV信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第3直交変換部71bに送出する。尚、被修正YUV信号のうちの輝度信号を修正する場合には、サンプリングレート変換部71aは、被修正YUV信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第3直交変換部71bに送出する。 In the case of this example, the sampling rate conversion unit 71a down-converts the luminance signal of the corrected YUV signal to the sampling rate of the corresponding color difference signal and sends it to the third orthogonal conversion unit 71b. When correcting the luminance signal of the corrected YUV signal, the sampling rate conversion unit 71a up-converts the color difference signal of the corrected YUV signal to the sampling rate of the corresponding luminance signal and performs the third orthogonal operation. The data is sent to the conversion unit 71b.
尚、被修正YUV信号のうちの輝度信号を修正する場合に、サンプリングレート変換部71aは、被修正YUV信号における2つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定され、符号化側と復号側で同一になるように規定するのが好適である。 When correcting the luminance signal in the corrected YUV signal, the sampling rate conversion unit 71a converts one or both of the two color difference signals in the corrected YUV signal. It is preferable to preliminarily prescribe and prescribe it to be the same on the encoding side and the decoding side.
第3直交変換部71bは、本例の場合、サンプリングレート変換部71aから入力されるダウンコンバートした輝度信号に対して、第1直交変換部72aで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部71cに送出する。符号化側と復号側で同一の直交変換タイプになるように規定するのが好適である。
In the case of this example, the third orthogonal transform unit 71b performs orthogonal transform similar to the orthogonal transform process used in the first
正規化処理部71cは、第3直交変換部71bからダウンコンバート後の輝度信号の直交変換係数を入力し、パラメータ補正判定部75から入力される正規化パラメータによって、基準YUV信号の色差信号の直交変換係数の各値を基に振幅調整(例えば線形変換)することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の教師信号として生成し、直交変換係数置換部72bに送出する。
The
第1直交変換部72aは、本例の場合、入力される被修正YUV信号のうちの色差信号に対して、所定の直交変換処理(例えば、DCT)を施し、得られた色差信号の直交変換係数を直交変換係数置換部72b、正規化処理部73c及び比較部73dに送出する。
In the case of this example, the first
サンプリングレート変換部73aは、本例の場合、被修正YUV信号のうちの輝度信号を対応する色差信号のサンプリングレートまでダウンコンバートして第2直交変換部73bに送出する。尚、被修正YUV信号のうちの輝度信号を修正する場合には、サンプリングレート変換部73aは、被修正YUV信号のうちの色差信号を対応する輝度信号のサンプリングレートまでアップコンバートして第2直交変換部73bに送出する。
In the case of this example, the sampling
尚、被修正YUV信号のうちの輝度信号を修正する場合に、サンプリングレート変換部73aは、被修正YUV信号における2つの色差信号のうちのいずれか一方、又は双方の色差信号を変換するように予め規定され、符号化側と復号側で同一になるように規定するのが好適である。
When correcting the luminance signal of the corrected YUV signal, the sampling
第2直交変換部73bは、本例の場合、サンプリングレート変換部73aから入力されるダウンコンバートした輝度信号に対して、第1直交変換部72aで用いる直交変換処理と同様の直交変換を施し、得られたダウンコンバート後の輝度信号の直交変換係数を正規化処理部73cに送出する。符号化側と復号側で同一の直交変換タイプになるように規定するのが好適である。
In the case of this example, the second
正規化処理部73cは、第2直交変換部73bからダウンコンバート後の輝度信号の直交変換係数を入力し、第1直交変換部72aからの被修正YUV信号の色差信号の直交変換係数の各値を基に振幅調整(例えば線形変換)することで輝度信号の直交変換係数を正規化し、正規化した輝度信号の直交変換係数を色差信号の推定修正信号の直交変換係数として生成し、比較部73dに送出する。
The
また、正規化処理部73cは、推定修正信号に対応する推定修正パラメータをパラメータ補正判定部75に送出する。
In addition, the
比較部73dは、第1直交変換部72aから被修正YUV信号のうちの色差信号の直交変換係数を入力して、正規化処理部73cから入力される推定修正信号の直交変換係数との間で、信号要素(本例では、直交変換係数)の比較を行い、被修正YUV信号のうちの色差信号について修正すべき信号要素の修正箇所(座標)を表す推定フラグ情報を生成してフラグ補正判断部74に送出する。
The
直交変換係数置換部72bは、第1直交変換部72aから被修正YUV信号のうちの色差信号の直交変換係数を入力して、フラグ補正判定部74から入力されるフラグ情報にしたがって、被修正YUV信号のうちの色差信号について修正すべき直交変換係数の修正箇所(座標)を、正規化処理部71cから得られる教師信号の直交変換係数で修正し(例えば、置き換え)、修正後の色差信号の直交変換係数を逆直交変換部72cに送出する。
The orthogonal transform
逆直交変換部72cは、直交変換係数置換部72bから入力される修正後の色差信号の直交変換係数に対して、逆直交変換(例えば、IDCT)を施し、外部に送出する。上記は、輝度信号から色差信号を修正する場合について説明したが、色差信号から輝度信号を修正する場合も同様である。
The inverse
以下、本実施例の復号側信号修正装置80を、動画像用の復号装置に適用した場合について説明する。
Hereinafter, the case where the decoding side
[復号装置]
本実施例の復号側信号修正装置80を、動画像用の復号装置90に適用した場合における例を図11に示す。尚、以下の説明において同様な構成要素には同一の参照番号を付して説明する。
[Decoding device]
An example in which the decoding-side
本実施例に係る復号装置90は、可変長復号部132と、逆量子化部133と、逆直交変換部134と、加算部135と、復号側信号修正装置80と、フレームメモリ136と、動き補償予測部137と、並べ替え部138とを備える。尚、本実施例に係る復号装置90は、既知の復号装置(例えば、MPEG−2,H.264用の復号装置)に対して、本実施例の復号側信号修正装置80が追加されたものである。
The
可変長復号部132は、符号化されたビットストリームを入力して、可変長復号処理を施し逆量子化部133に送出するとともに、動きベクトルの情報を復号して動き補償予測部137に送出する。また、可変長復号部132は、フラグ補正情報及びパラメータ補正情報を復号側信号修正装置80に送出する。
The variable-
逆量子化部133は、可変長復号部132から供給される量子化信号に対して逆量子化処理を施して動き補償した差分信号の直交変換係数を取得し、逆直交変換部134に送出する。
The
逆直交変換部134は、逆量子化部133から供給される差分信号の直交変換係数に対して、逆直交変換(例えば、IDCT)を施し、得られる当該差分信号を加算部135に送出する。
The inverse orthogonal transform unit 134 performs inverse orthogonal transform (for example, IDCT) on the orthogonal transform coefficient of the difference signal supplied from the
動き補償予測部137は、フレームメモリ136から得られる参照画像と可変長復号部132から得られる動きベクトルとを用いて予測画像を生成し、加算部135に出力する。
The motion
加算部135は、逆直交変換部134から得られる当該差分信号と、動き補償予測部137から供給される予測画像とを加算して画像信号を復元し、復元した画像信号を本実施例に係る復号装置90における復号側信号修正装置80に送出する。
The adding unit 135 adds the difference signal obtained from the inverse orthogonal transform unit 134 and the prediction image supplied from the motion
復号装置90における復号側信号修正装置80は、フラグ補正情報及びパラメータ補正情報を用いて、加算部135から得られる画像信号を上述したように符号化劣化を抑制した修正後の画像信号を生成し、フレームメモリ136に格納するとともに、並べ替え部138に送出する。
The decoding-side
並べ替え部138は、復号側信号修正装置80から得られる修正後の画像信号を表示フレーム順に並べ替て出力する。
The rearrangement unit 138 rearranges the corrected image signals obtained from the decoding-side
このように、復号装置90に本実施例の復号側信号修正装置80を適用することができる。
As described above, the decoding-side
尚、符号化装置60及び復号装置90において、特定の配置位置に本発明の信号修正装置を組み入れて説明したが、フレームメモリの前段に配置することや、動き補償予測部の後段に配置することもできる。
In the
以下、本実施例にかかる符号化装置60及び復号装置90において、符号化側信号修正装置20と復号側信号修正装置80の動作を、それぞれ図12及び図13を参照して説明する。
Hereinafter, operations of the encoding-side
図12を参照するに、符号化側信号修正装置20は、基準YUV信号と被修正YUV信号を入力する(ステップS1)。
Referring to FIG. 12, the encoding-side
符号化側信号修正装置20は、サンプリングレート変換部11aによって、被修正YUV信号のうちの輝度信号のダウンコンバートを実行するとともに(ステップS2)、被修正YUV信号のうちの色差信号のアップコンバートを実行する(ステップS3)。
The encoding-side
符号化側信号修正装置20は、第2直交変換部12aによって、基準YUV信号のうちの輝度信号及び色差信号の直交変換を施す(ステップS4)。
The encoding-side
符号化側信号修正装置20は、第3直交変換部11bによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各々に対して、直交変換を施し(ステップS5,S6)、正規化処理部11cによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して、それぞれ基準YUV信号のうちの色差信号及び輝度信号の直交変換係数に基づいて正規化処理を施す(ステップS7,S8)。
The encoding-side
符号化側信号修正装置20は、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して正規化処理を施すことで、それぞれ被修正YUV信号のうちの色差信号及び輝度信号の教師信号を生成するとともに、各信号要素(直交変換係数)の修正量を表す正規化パラメータを生成する(ステップS9,S10,S11)。
The encoding-side
符号化側信号修正装置20は、比較部12bによって、基準YUV信号を基に、被修正YUV信号のうちの色差信号及び輝度信号の直交変換係数と、対応する各教師信号の直交変換係数とを比較し、被修正YUV信号の修正箇所を決定し(ステップS12)、修正箇所の情報をフラグ情報として生成する(ステップS13)。
The encoding-side
ここで、フラグ情報について具体例を説明する。図14(a)は、コンポーネント信号の信号要素について信号要素単位で修正する例を示す図であり、図14(b)は、コンポーネント信号の信号要素について分割したブロック単位で修正する例を示す図である。例えば、図14(a)に示すように、基準YUV信号、被修正YUV信号、及び教師信号の信号要素の各々が、8×8のブロック(例えば、画素値又は直交変換係数)で構成されているものとする。例えば、被修正YUV信号の或る信号要素A1は、教師信号の対応する座標位置の信号要素A2によって修正するべきか否かを、基準YUV信号の信号要素A0を基にした差の大小比較によって判断することができる。例えば、(A1−A0)2>(A2−A0)2の場合、被修正YUV信号の或る信号要素A1を教師信号の対応する座標位置の信号要素A2によって修正すると判断する。他の信号要素についても同様に、(B1−B0)2>(B2−B0)2の場合、被修正YUV信号の或る信号要素B1を教師信号の対応する座標位置の信号要素B2によって修正すると判断する。 Here, a specific example of flag information will be described. FIG. 14A is a diagram illustrating an example in which the signal elements of the component signal are modified in units of signal elements. FIG. 14B is a diagram illustrating an example in which the signal elements of the component signal are modified in units of divided blocks. It is. For example, as shown in FIG. 14A, each of the signal elements of the reference YUV signal, the corrected YUV signal, and the teacher signal is composed of 8 × 8 blocks (for example, pixel values or orthogonal transform coefficients). It shall be. For example, whether or not a certain signal element A1 of the corrected YUV signal should be corrected by the signal element A2 at the corresponding coordinate position of the teacher signal is determined by comparing the difference based on the signal element A0 of the reference YUV signal. Judgment can be made. For example, when (A1-A0) 2 > (A2-A0) 2 , it is determined that a certain signal element A1 of the YUV signal to be corrected is corrected by the signal element A2 at the corresponding coordinate position of the teacher signal. Similarly for other signal elements, if (B1-B0) 2 > (B2-B0) 2, a signal element B1 of the corrected YUV signal is corrected by the signal element B2 at the corresponding coordinate position of the teacher signal. to decide.
一方、図14(b)に示すように、基準YUV信号、被修正YUV信号、及び教師信号の信号要素の各々が、8×8のブロック(例えば、画素値又は直交変換係数)で構成されている場合に、例えば4つのブロックに分割し、ブロック内の信号要素ごとの評価値の総和を表す値を比較及び置換え対象とすることができる。例えば、被修正YUV信号の或る信号要素(ブロックA1)は、教師信号の対応する座標位置の信号要素(ブロックA2)によって修正するべきか否かを、基準YUV信号の信号要素(ブロックA0)を基にした差の大小比較によって判断することができる。例えば、ブロックA0の信号要素とブロックA1の信号要素との差分の自乗和が、ブロックA0の信号要素とブロックA2の信号要素との差分の自乗和よりも大きい場合、被修正YUV信号の或る信号要素(ブロックA1)を教師信号の対応する座標位置の信号要素(ブロックA2)によって修正すると判断する。他の信号要素のブロックについても同様に、ブロック単位で修正すると判断する。被修正YUV信号の比較及び置換えを行う信号要素を、ブロック単位とすることにより、フラグ情報の信号量を低減させることができ、符号化装置に適用した場合に符号化率を改善することができる。分割のやり方は上述の例に限らず、個々の設計に応じて様々な態様に変形することができる。 On the other hand, as shown in FIG. 14B, each of the signal elements of the reference YUV signal, the corrected YUV signal, and the teacher signal is composed of 8 × 8 blocks (for example, pixel values or orthogonal transform coefficients). In this case, for example, the block is divided into four blocks, and a value representing the sum of evaluation values for each signal element in the block can be set as a comparison and replacement target. For example, whether a certain signal element (block A1) of the corrected YUV signal should be corrected by the signal element (block A2) at the corresponding coordinate position of the teacher signal indicates whether or not the signal element (block A0) of the reference YUV signal is to be corrected. It can be judged by comparing the magnitude of the difference based on the above. For example, if the sum of squares of the difference between the signal element of block A0 and the signal element of block A1 is greater than the sum of squares of the difference between the signal element of block A0 and the signal element of block A2, there is a certain corrected YUV signal. It is determined that the signal element (block A1) is corrected by the signal element (block A2) at the corresponding coordinate position of the teacher signal. Similarly, it is determined that other signal element blocks are corrected in units of blocks. By setting the signal element for comparing and replacing the corrected YUV signal as a block unit, the signal amount of flag information can be reduced, and the coding rate can be improved when applied to an encoding apparatus. . The dividing method is not limited to the above-described example, and can be modified in various ways according to individual designs.
符号化側信号修正装置20は、直交変換係数置換部13bによって、各教師信号の直交変換係数の信号要素を用いて、被修正YUV信号のうちの色差信号及び輝度信号の直交変換係数に対してフラグ情報に対応する修正箇所の修正を適用し、逆直交変換部13cによって、修正後のYUV信号の直交変換係数に対して逆直交変換を実行する(ステップS14)。
The encoding-side
符号化側信号修正装置20は、修正推定部14によって、被修正YUV信号における輝度信号及び色差信号の各直交変換係数間で正規化処理を実行し、推定フラグ情報及び推定修正パラメータを生成する(ステップS15)。
In the encoding-side
符号化側信号修正装置20は、フラグ比較部15及びパラメータ比較部16の各々によって、それぞれフラグ情報と推定フラグ情報との間、正規化パラメータと推定修正パラメータとの間で相違がある場合に、これらの相違量(差分値)を表すフラグ補正情報及びパラメータ補正情報をそれぞれ外部に送出する(ステップS16)。
When there is a difference between the flag information and the estimation flag information, and between the normalization parameter and the estimation correction parameter, respectively, the encoding side
このように、符号化側信号修正装置20によって、修正後のYUV信号と、フラグ情報と、正規化パラメータが生成される。
Thus, the encoding-side
図13を参照するに、復号側信号修正装置80は、被修正YUV信号と、該被修正YUV信号と関連付けられたフラグ補正情報及びパラメータ補正情報を入力する(ステップS21)。
Referring to FIG. 13, the decoding-side
復号側信号修正装置80は、修正推定部73によって、被修正YUV信号における輝度信号及び色差信号の各直交変換係数間で正規化処理を実行し、推定フラグ情報及び推定修正パラメータを生成する(ステップS22−1)。
In the decoding-side
符号化側信号修正装置20は、フラグ補正判断部74及びパラメータ補正判断部75によって、フラグ補正情報及びパラメータ補正情報から、それぞれフラグ情報と推定フラグ情報との間、正規化パラメータと推定修正パラメータとの間で相違があると判断する場合に、推定フラグ情報及び推定修正パラメータから、フラグ情報及び正規化パラメータを再生する(ステップS22−2)。尚、相違がない場合に(フラグ補正情報及びパラメータ補正情報が伝送されていない場合)、フラグ情報と推定フラグ情報とは等しく、正規化パラメータと推定修正パラメータとは等しい。
The encoding-side
復号側信号修正装置80は、サンプリングレート変換部71aによって、被修正YUV信号のうちの輝度信号のダウンコンバートを実行するとともに(ステップS23)、被修正YUV信号のうちの色差信号のアップコンバートを実行する(ステップS24)。
The decoding-side
一方で、復号側信号修正装置80は、第1直交変換部72aによって、被修正YUV信号のうちの輝度信号及び色差信号の直交変換を施す(ステップS25)。
On the other hand, the decoding-side
復号側信号修正装置80は、第3直交変換部71bによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各々に対して、直交変換を施し(ステップS26,S27)、正規化処理部71cによって、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して、それぞれ正規化パラメータに基づいて正規化処理を施す(ステップS28,S29)。
In the decoding-side
復号側信号修正装置80は、ダウンコンバート後の輝度信号及びアップコンバート後の色差信号の各直交変換係数の各々に対して正規化処理を施すことで、それぞれ被修正YUV信号のうちの色差信号及び輝度信号の教師信号を生成する(ステップS30)。
The decoding-side
復号側信号修正装置80は、直交変換係数置換部72bによって、各教師信号の直交変換係数の信号要素を用いて、被修正YUV信号のうちの色差信号及び輝度信号の直交変換係数に対してフラグ情報に対応する修正箇所の修正を適用し、逆直交変換部72cによって、修正後のYUV信号の直交変換係数に対して逆直交変換を実行する(ステップS31)。
The decoding-side
このように、復号側信号修正装置80によって、フラグ情報と正規化パラメータを用いて、修正後のYUV信号を得ることができる。例えば、図15に示すように、被修正YUV信号における輝度信号及び色差信号は、相互の相関と基準信号に対する差異を考慮して各信号要素について修正され、修正YUV信号を得ることができる。この修正後のYUV信号は、単にコンポーネント信号間の相関に基づいて修正したものとは相違して、基準YUV信号に基づいて修正したものであるため、劣化の少ない画像信号として復元されたものであることに留意する。
Thus, the decoding-side
更に、本発明の一態様として、各実施例の符号化側信号修正装置10,20又は復号側信号修正装置70,80をコンピュータとして構成させることができる。コンピュータに、各信号修正装置における各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはROM又はRAMなどの内部記憶装置で実現することができる。コンピュータに備える制御部は、中央演算処理装置(CPU)などの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
Furthermore, as one aspect of the present invention, the encoding-side
また、この処理内容を記述したプログラムを、例えばDVD又はCD−ROMなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。 In addition, the program describing the processing contents can be distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM, and such a program can be distributed on a server on a network, for example. Can be distributed by transferring the program from the server to another computer via the network.
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。 In addition, a computer that executes such a program can temporarily store, for example, a program recorded on a portable recording medium or a program transferred from a server in its own storage unit. As another embodiment of the program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer. In addition, the processing according to the received program may be executed sequentially.
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。 While the embodiments of the present invention have been described in detail with specific examples, it will be apparent to those skilled in the art that various modifications and changes can be made without departing from the scope of the claims of the present invention.
例えば、仮に信号修正装置に入力される信号のサンプリングレートが同一であれば、輝度信号ダウンコンバート部及び色差信号アップコンバート部をバイパスすることもできる。 For example, if the sampling rate of the signal input to the signal correction device is the same, the luminance signal down-conversion unit and the color difference signal up-conversion unit can be bypassed.
更に、信号修正装置にて、修正するコンポーネント信号は、それぞれYUV信号を入力するに限定するものではなく、例えば図16に示す符号化側信号修正装置20bのように、YUV信号の直交変換係数を入力するものとして構成することもできる。この場合、前述した符号化側信号修正装置20における第1〜第3直交変換部13a,12a,11bが不要になり、サンプリングレート変換部11dは直交変換係数を入力してサンプリングレート変換を実行することになる。尚、復号側信号修正装置についても同様の変形例を構成することができる。
Further, the component signals to be corrected by the signal correction device are not limited to inputting YUV signals, respectively. For example, as in the encoding-side
従って、画像信号における各コンポーネント信号、及び/又は、これらの直交変換係数の信号を比較するように構成するだけでなく、各コンポーネント信号が入力されてサンプリングレートを変換した信号について比較を行うことや、各コンポーネント信号が入力されてサンプリングレートを変換した信号の直交変換係数について比較を行うことや、各コンポーネント信号の直交変換係数の信号が入力されてサンプリングレートを変換した信号について量子化した後に比較を行うことや、これらの併用の構成とするなどの様々な変形例が可能である。 Therefore, not only is it configured to compare the component signals in the image signal and / or the signals of these orthogonal transform coefficients, but also to compare the signals that have been input with the component signals and converted in sampling rate. , Compare the orthogonal transform coefficients of the signals whose component signals are input and converted the sampling rate, or compare after quantizing the signals of the orthogonal transform coefficients of each component signal that are input and converted the sampling rate Various modifications are possible such as performing the above-mentioned or using a combination of these.
本発明によれば、例えばサンプリング周波数の異なる色空間の信号成分からなる画像信号であっても画像信号の劣化が低減するように、該画像信号を修正することができるので、非可逆な符号化方式による符号化処理を扱う画像信号を利用する任意の用途に有用である。 According to the present invention, for example, even if an image signal is composed of signal components in color spaces having different sampling frequencies, the image signal can be corrected so as to reduce the deterioration of the image signal. This is useful for any application that uses an image signal that handles encoding processing by a method.
10 符号化側信号修正装置
11 教師信号生成部
11a サンプリングレート変換部
11a−1 サンプリングレート変換部
11b 第3直交変換部
11b−1 第3直交変換部
11c 正規化処理部
11c−1 正規化処理部
11d サンプリングレート変換部
12 修正判断部
12a 第2直交変換部
12b 比較部
12b−1 比較部
13 修正処理部
13a 第1直交変換部
13a−1 第1直交変換部
13b 直交変換係数置換部
13c 逆直交変換部
14 修正推定部
15 フラグ比較部
16 パラメータ比較部
20 符号化側信号修正装置
20a 符号化側信号修正装置
60 符号化装置
70 復号側信号修正装置
71 教師信号生成部
71a サンプリングレート変換部
71b 第3直交変換部
71c 正規化処理部
72 修正処理部
72a 第1直交変換部
72b 直交変換係数置換部
72c 逆直交変換部
73 修正推定部
73a サンプリングレート変換部
73b 第2直交変換部
73c 正規化処理部
73d 比較部
74 フラグ補正判断部
75 パラメータ補正判断部
80 復号側信号修正装置
90 復号装置
114 直交変換部
115 量子化部
116 可変長符号化部
117 逆量子化部
118 逆直交変換部
119 減算部
121 フレームメモリ
122 動き補償予測部
123 加算部
124 並べ替え部
132 可変長復号部
133 逆量子化部
134 逆直交変換部
135 加算部
136 フレームメモリ
137 動き補償予測部
138 並べ替え部
DESCRIPTION OF SYMBOLS 10 Coding side signal correction apparatus 11 Teacher signal production | generation part 11a Sampling rate conversion part 11a-1 Sampling rate conversion part 11b 3rd orthogonal transformation part 11b-1 3rd orthogonal transformation part 11c Normalization process part 11c-1 Normalization process part 11d Sampling rate conversion unit 12 Correction determination unit 12a Second orthogonal transformation unit 12b Comparison unit 12b-1 Comparison unit 13 Correction processing unit 13a First orthogonal transformation unit 13a-1 First orthogonal transformation unit 13b Orthogonal transformation coefficient substitution unit 13c Inverse orthogonality Conversion unit 14 Modification estimation unit 15 Flag comparison unit 16 Parameter comparison unit 20 Encoding side signal modification device 20a Encoding side signal modification device 60 Encoding device 70 Decoding side signal modification device 71 Teacher signal generation unit 71a Sampling rate conversion unit 71b First 3-orthogonal transformation unit 71c normalization processing unit 72 correction processing unit 72a first 1 orthogonal transform unit 72b orthogonal transform coefficient replacement unit 72c inverse orthogonal transform unit 73 correction estimation unit 73a sampling rate conversion unit 73b second orthogonal transform unit 73c normalization processing unit 73d comparison unit 74 flag correction determination unit 75 parameter correction determination unit 80 decoding Side signal modification device 90 Decoding device 114 Orthogonal transformation unit 115 Quantization unit 116 Variable length coding unit 117 Inverse quantization unit 118 Inverse orthogonal transformation unit 119 Subtraction unit 121 Frame memory 122 Motion compensation prediction unit 123 Addition unit 124 Rearrangement unit 132 Variable length decoding unit 133 Inverse quantization unit 134 Inverse orthogonal transform unit 135 Adder unit 136 Frame memory 137 Motion compensation prediction unit 138 Rearrangement unit
Claims (12)
非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力するとともに、該画像信号における復号信号のうちの第1のコンポーネント信号を入力し、前記基準画像信号を基に正規化した前記第1のコンポーネント信号を、該復号信号のうちの第2のコンポーネント信号の教師信号として生成する教師信号生成手段と、
前記復号信号のうちの前記第2のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成する修正判断手段と、
前記復号信号のうちの前記第2のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成する修正処理手段と、
前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成する修正推定手段と、
前記フラグ情報と前記推定フラグ情報を比較して、相違する信号要素の修正箇所を表すフラグ補正情報を生成するフラグ比較手段と、
を備えることを特徴とする信号修正装置。 A signal correction device for correcting a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient,
The image signal of the predetermined image format before encoding through an irreversible encoding method is input as a reference image signal, and a first component signal of the decoded signal in the image signal is input, and the reference Teacher signal generation means for generating the first component signal normalized based on the image signal as a teacher signal of the second component signal of the decoded signal;
The signal component is compared between the second component signal of the decoded signal and the teacher signal input from the teacher signal generation means, and flag information indicating the correction location of the signal element to be corrected is generated. Correction determination means to
For the second component signal of the decoded signal, the signal element to be corrected is corrected with the signal element of the teacher signal in accordance with the flag information, and a corrected second component signal is generated. Correction processing means;
The signal component of the first component signal normalized based on the second component signal represents a correction portion of the signal component obtained by comparing the signal component of the second component signal of the decoded signal. Modified estimation means for generating estimation flag information;
Flag comparison means for comparing the flag information with the estimated flag information and generating flag correction information indicating a correction location of a different signal element;
A signal correction apparatus comprising:
前記修正推定手段は、前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成する手段を有し、
前記正規化パラメータと前記推定修正パラメータを比較して相違する信号要素の修正量を表すパラメータ補正情報を生成するパラメータ比較手段を更に備えることを特徴とする、請求項1〜3のいずれか一項に記載の信号修正装置。 The teacher signal generation means compares signal elements between the second component signal of the decoded signal and the teacher signal input from the teacher signal generation means, and corrects a signal element to be corrected Means for generating a normalization parameter representing the quantity;
The correction estimation means is a signal obtained by comparing the signal component of the first component signal normalized based on the second component signal with the signal component of the second component signal of the decoded signal. Means for generating an estimated correction parameter representing the correction amount of the element;
The parameter comparison means which produces | generates the parameter correction information showing the correction amount of a different signal element by comparing the said normalization parameter and the said estimated correction parameter is further provided, It is characterized by the above-mentioned. A signal correction device according to claim 1.
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第1のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記正規化した前記第1のコンポーネント信号を該復号信号のうちの第2のコンポーネント信号の教師信号として生成する修正推定手段と、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するフラグ補正判断手段と、
前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成する修正処理手段と、
を備えることを特徴とする信号修正装置。 A signal correction device for correcting a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient,
The first component signal of the decoded signal in the image signal of a predetermined image format obtained through the irreversible encoding method is input and normalized, and the second component signal of the decoded signal in the image signal is Generating estimated flag information representing a corrected portion of the signal element obtained by comparing the signal element of the first component signal normalized based on the signal element of the second component signal of the decoded signal; Correction estimation means for generating the normalized first component signal as a teacher signal of a second component signal of the decoded signal;
Input flag correction information indicating a correction portion of a different signal element obtained by comparing flag information indicating a correction portion of a signal element to be corrected and the estimation flag information, and performing the estimation based on the flag correction information Flag correction judging means for correcting flag information and reproducing the flag information;
Correction processing means for correcting the signal element to be corrected with the signal element of the teacher signal according to the flag information, and generating a corrected second component signal;
A signal correction apparatus comprising:
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第1のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成する修正推定手段と、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するフラグ補正判断手段と、
修正すべき信号要素の修正量を表す正規化パラメータと前記推定修正パラメータを比較して得られる、相違する信号要素の修正量を表すパラメータ補正情報を入力して、該パラメータ補正情報に基づいて前記推定修正パラメータを補正して該正規化パラメータを再生するパラメータ補正判断手段と、
前記復号信号のうちの第2のコンポーネント信号の教師信号を生成する教師信号生成手段と、
前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成する修正処理手段と、
を備えることを特徴とする信号修正装置。 A signal correction device for correcting a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient,
The first component signal of the decoded signal in the image signal of a predetermined image format obtained through the irreversible encoding method is input and normalized, and the second component signal of the decoded signal in the image signal is Generating estimated flag information representing a corrected portion of the signal element obtained by comparing the signal element of the first component signal normalized based on the signal element of the second component signal of the decoded signal; A correction amount of the signal element obtained by comparing the signal element of the first component signal normalized based on the second component signal with the signal element of the second component signal of the decoded signal. A correction estimation means for generating an estimated correction parameter representing;
Input flag correction information indicating a correction portion of a different signal element obtained by comparing flag information indicating a correction portion of a signal element to be corrected and the estimation flag information, and performing the estimation based on the flag correction information Flag correction judging means for correcting flag information and reproducing the flag information;
Input parameter correction information indicating a correction amount of a different signal element obtained by comparing the normalization parameter indicating the correction amount of the signal element to be corrected and the estimated correction parameter, and based on the parameter correction information Parameter correction determination means for correcting the estimated correction parameter and reproducing the normalization parameter;
Teacher signal generation means for generating a teacher signal of a second component signal of the decoded signal;
Correction processing means for correcting the signal element to be corrected with the signal element of the teacher signal according to the flag information, and generating a corrected second component signal;
A signal correction apparatus comprising:
非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力するとともに、該画像信号における復号信号のうちの第1のコンポーネント信号を入力し、前記基準画像信号を基に正規化した前記第1のコンポーネント信号を、該復号信号のうちの第2のコンポーネント信号の教師信号として生成するステップと、
前記復号信号のうちの前記第2のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成するステップと、
前記復号信号のうちの前記第2のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成するステップと、
前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するステップと、
前記フラグ情報と前記推定フラグ情報を比較して、相違する信号要素の修正箇所を表すフラグ補正情報を生成するステップと、
を実行させるためのプログラム。 A computer configured as a signal correction device for correcting a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient;
The image signal of the predetermined image format before encoding through an irreversible encoding method is input as a reference image signal, and a first component signal of the decoded signal in the image signal is input, and the reference Generating the first component signal normalized based on an image signal as a teacher signal of a second component signal of the decoded signal;
The signal component is compared between the second component signal of the decoded signal and the teacher signal input from the teacher signal generation means, and flag information indicating the correction location of the signal element to be corrected is generated. And steps to
For the second component signal of the decoded signal, the signal element to be corrected is corrected with the signal element of the teacher signal in accordance with the flag information, and a corrected second component signal is generated. Steps,
The signal component of the first component signal normalized based on the second component signal represents a correction portion of the signal component obtained by comparing the signal component of the second component signal of the decoded signal. Generating estimated flag information;
Comparing the flag information with the estimated flag information, and generating flag correction information representing a corrected portion of a different signal element;
A program for running
非可逆な符号化方式を経て符号化する前の前記所定の画像フォーマットの画像信号を基準画像信号として入力するとともに、該画像信号における復号信号のうちの第1のコンポーネント信号を入力し、前記基準画像信号を基に正規化した前記第1のコンポーネント信号を、該復号信号のうちの第2のコンポーネント信号の教師信号として生成するステップと、
前記復号信号のうちの前記第2のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正箇所を表すフラグ情報を生成するステップと、
前記復号信号のうちの前記第2のコンポーネント信号に対して、前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成するステップと、
前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するステップと、
前記フラグ情報と前記推定フラグ情報を比較して、相違する信号要素の修正箇所を表すフラグ補正情報を生成するステップと、
前記復号信号のうちの前記第2のコンポーネント信号と、前記教師信号生成手段から入力される教師信号との間で信号要素の比較を行い、修正すべき信号要素の修正量を表す正規化パラメータを生成するステップと、
前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成するステップと、
前記正規化パラメータと前記推定修正パラメータを比較して相違する信号要素の修正量を表すパラメータ補正情報を生成するステップと、
を実行させるためのプログラム。 A computer configured as a signal correction device for correcting a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient;
The image signal of the predetermined image format before encoding through an irreversible encoding method is input as a reference image signal, and a first component signal of the decoded signal in the image signal is input, and the reference Generating the first component signal normalized based on an image signal as a teacher signal of a second component signal of the decoded signal;
The signal component is compared between the second component signal of the decoded signal and the teacher signal input from the teacher signal generation means, and flag information indicating the correction location of the signal element to be corrected is generated. And steps to
For the second component signal of the decoded signal, the signal element to be corrected is corrected with the signal element of the teacher signal in accordance with the flag information, and a corrected second component signal is generated. Steps,
The signal component of the first component signal normalized based on the second component signal represents a correction portion of the signal component obtained by comparing the signal component of the second component signal of the decoded signal. Generating estimated flag information;
Comparing the flag information with the estimated flag information, and generating flag correction information representing a corrected portion of a different signal element;
A signal parameter is compared between the second component signal of the decoded signal and the teacher signal input from the teacher signal generation means, and a normalization parameter indicating a correction amount of the signal element to be corrected is obtained. Generating step;
The signal component correction amount obtained by comparing the signal component of the first component signal normalized based on the second component signal with the signal component of the second component signal of the decoded signal is represented. Generating an estimated correction parameter;
Comparing the normalized parameter and the estimated correction parameter to generate parameter correction information representing a correction amount of a different signal element;
A program for running
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第1のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記正規化した前記第1のコンポーネント信号を該復号信号のうちの第2のコンポーネント信号の教師信号として生成するステップと、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するステップと、
前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成するステップと、
を実行させるためのプログラム。 A computer configured as a signal correction device for correcting a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient;
The first component signal of the decoded signal in the image signal of a predetermined image format obtained through the irreversible encoding method is input and normalized, and the second component signal of the decoded signal in the image signal is Generating estimated flag information representing a corrected portion of the signal element obtained by comparing the signal element of the first component signal normalized based on the signal element of the second component signal of the decoded signal; Generating the normalized first component signal as a teacher signal of a second component signal of the decoded signal;
Input flag correction information indicating a correction portion of a different signal element obtained by comparing flag information indicating a correction portion of a signal element to be corrected and the estimation flag information, and performing the estimation based on the flag correction information Correcting the flag information and reproducing the flag information;
Modifying the signal element to be corrected with the signal element of the teacher signal according to the flag information, and generating a corrected second component signal;
A program for running
非可逆な符号化方式を経て得られる所定の画像フォーマットの画像信号における復号信号のうちの第1のコンポーネント信号を入力して正規化し、前記画像信号における復号信号のうちの第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正箇所を表す推定フラグ情報を生成するとともに、前記第2のコンポーネント信号を基に正規化した前記第1のコンポーネント信号の信号要素を、該復号信号のうちの第2のコンポーネント信号の信号要素と比較して得られる信号要素の修正量を表す推定修正パラメータを生成するステップと、
修正すべき信号要素の修正箇所を表すフラグ情報と前記推定フラグ情報を比較して得られる、相違する信号要素の修正箇所を表すフラグ補正情報を入力して、該フラグ補正情報に基づいて前記推定フラグ情報を補正して該フラグ情報を再生するステップと、
修正すべき信号要素の修正量を表す正規化パラメータと前記推定修正パラメータを比較して得られる、相違する信号要素の修正量を表すパラメータ補正情報を入力して、該パラメータ補正情報に基づいて前記推定修正パラメータを補正して該正規化パラメータを再生するステップと、
前記復号信号のうちの第2のコンポーネント信号の教師信号を生成するステップと、
前記フラグ情報にしたがって、当該修正すべき信号要素を前記教師信号の信号要素で修正し、修正後の第2のコンポーネント信号を生成するステップと、
を実行させるためのプログラム。 A computer configured as a signal correction device for correcting a component signal of a moving image including a signal element of a pixel value or an orthogonal transform coefficient;
The first component signal of the decoded signal in the image signal of a predetermined image format obtained through the irreversible encoding method is input and normalized, and the second component signal of the decoded signal in the image signal is Generating estimated flag information representing a corrected portion of the signal element obtained by comparing the signal element of the first component signal normalized based on the signal element of the second component signal of the decoded signal; A correction amount of the signal element obtained by comparing the signal element of the first component signal normalized based on the second component signal with the signal element of the second component signal of the decoded signal. Generating an estimated correction parameter representing;
Input flag correction information indicating a correction portion of a different signal element obtained by comparing flag information indicating a correction portion of a signal element to be corrected and the estimation flag information, and performing the estimation based on the flag correction information Correcting the flag information and reproducing the flag information;
Input parameter correction information indicating a correction amount of a different signal element obtained by comparing the normalization parameter indicating the correction amount of the signal element to be corrected and the estimated correction parameter, and based on the parameter correction information Correcting the estimated correction parameter and regenerating the normalization parameter;
Generating a teacher signal of a second component signal of the decoded signal;
Modifying the signal element to be corrected with the signal element of the teacher signal according to the flag information, and generating a corrected second component signal;
A program for running
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010098060A JP5292355B2 (en) | 2010-04-21 | 2010-04-21 | Signal correction apparatus, encoding apparatus, decoding apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010098060A JP5292355B2 (en) | 2010-04-21 | 2010-04-21 | Signal correction apparatus, encoding apparatus, decoding apparatus, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011229013A JP2011229013A (en) | 2011-11-10 |
JP5292355B2 true JP5292355B2 (en) | 2013-09-18 |
Family
ID=45043849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010098060A Expired - Fee Related JP5292355B2 (en) | 2010-04-21 | 2010-04-21 | Signal correction apparatus, encoding apparatus, decoding apparatus, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5292355B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101691314B1 (en) | 2012-06-11 | 2016-12-29 | 닛폰 호소 교카이 | Encoding device, decoding device, and program |
JP7527113B2 (en) | 2020-01-23 | 2024-08-02 | キヤノン株式会社 | Image processing device, its control method, program, and image processing system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3880862B2 (en) * | 2002-01-29 | 2007-02-14 | 富士フイルムホールディングス株式会社 | Imaging device |
-
2010
- 2010-04-21 JP JP2010098060A patent/JP5292355B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011229013A (en) | 2011-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9485513B2 (en) | Encoding device, decoding device, and program | |
WO2009084340A1 (en) | Moving image encoder and moving image decoder | |
US20070223585A1 (en) | Video decoding apparatus and video decoding method | |
JP3968712B2 (en) | Motion prediction compensation apparatus and method | |
JP5594841B2 (en) | Image encoding apparatus and image decoding apparatus | |
US11871021B2 (en) | Moving picture decoding device, moving picture decoding method, and program obtaining chrominance values from corresponding luminance values | |
JP5227989B2 (en) | Encoding device, decoding device, and program | |
JP6457248B2 (en) | Image decoding apparatus, image encoding apparatus, and image decoding method | |
JP5802786B2 (en) | Encoding device, decoding device, and program | |
JP5292355B2 (en) | Signal correction apparatus, encoding apparatus, decoding apparatus, and program | |
JP5512502B2 (en) | Encoding device, decoding device, and program | |
JP5238735B2 (en) | Signal correction apparatus, encoding apparatus, decoding apparatus, and program | |
JP5259632B2 (en) | Image processing apparatus, encoding apparatus, decoding apparatus, and program | |
JP5259634B2 (en) | Image processing apparatus, encoding apparatus, decoding apparatus, and program | |
JP5346871B2 (en) | Encoding device, decoding device, and program | |
JP6313614B2 (en) | Video encoding apparatus and control method thereof | |
JP5259633B2 (en) | Image processing apparatus, encoding apparatus, decoding apparatus, and program | |
JP6480790B2 (en) | Image determination apparatus, encoding apparatus, and program | |
JP2013102523A (en) | Image processing apparatus, encoding device, decoding device, and program | |
WO2022196133A1 (en) | Encoding device and method | |
JP2013118675A (en) | Image processing apparatus, encoding apparatus, decoding apparatus and program | |
JP2022145499A (en) | Encoder and method | |
JP2006203280A (en) | Image decoding method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5292355 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |