WO2010074170A1 - 画像復号装置及び画像符号化装置 - Google Patents

画像復号装置及び画像符号化装置 Download PDF

Info

Publication number
WO2010074170A1
WO2010074170A1 PCT/JP2009/071482 JP2009071482W WO2010074170A1 WO 2010074170 A1 WO2010074170 A1 WO 2010074170A1 JP 2009071482 W JP2009071482 W JP 2009071482W WO 2010074170 A1 WO2010074170 A1 WO 2010074170A1
Authority
WO
WIPO (PCT)
Prior art keywords
decoding
image
filter
prediction residual
block
Prior art date
Application number
PCT/JP2009/071482
Other languages
English (en)
French (fr)
Inventor
知宏 猪飼
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to EP09834968.1A priority Critical patent/EP2378775B1/en
Priority to BRPI0923603-1A priority patent/BRPI0923603B1/pt
Priority to CN200980152489.1A priority patent/CN102265618B/zh
Priority to EA201170888A priority patent/EA033108B1/ru
Priority to US13/142,027 priority patent/US8792738B2/en
Publication of WO2010074170A1 publication Critical patent/WO2010074170A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention generates a prediction residual from decoded data by decoding a prediction residual signal and a prediction signal, and inverse quantization and inverse transformation of the prediction residual signal decoded by the decoding means. And an image decoding device that decodes image data from the prediction residual and the prediction signal.
  • Image coding technology is applied to many familiar video devices, from television receivers to mobile phones capable of image processing.
  • image data (image information) is divided into a plurality of blocks, orthogonal transformation is performed in units of divided blocks, and the obtained transform coefficients are quantized and then quantized.
  • Encoding is performed by variable-length encoding of transform coefficients.
  • image loss occurs due to loss of information in quantization.
  • a large distortion is likely to occur in an image due to a large distortion (so-called block noise) generated at the boundary of each block which is a unit for performing orthogonal transformation.
  • block noise occurs at the boundary of each block in the image encoding process, block noise also occurs when the encoded image is decoded, so that the user viewing the image can easily feel unnaturalness. Therefore, in a general image decoding apparatus (or image encoding apparatus), in order to remove block noise, block noise generated at the boundary of each block is filtered.
  • Non-Patent Document 1 discloses a basic filter processing technique.
  • the filter processing technique described in Non-Patent Document 1 will be described below with reference to FIG.
  • FIG. 26 is a diagram schematically illustrating a pixel at a block boundary and a pixel value of the pixel.
  • a block boundary is defined between a pixel P0 having a pixel value p0 and a pixel Q0 having a pixel value q0, and as the distance from the boundary increases, the pixels P1, P2, P3, and the pixels Q1, Q2, Q3.
  • pixel values in each pixel are set to pixel values p1, p2, and p3 and pixel values q1, q2, and q3, respectively.
  • the strength can be adaptively changed by changing the number of taps of the filter, the coefficient, and the range of the filter according to the gradient ap of the block boundary.
  • the deblocking filter is basically a low-pass filter, the greater the number of filter taps and the wider the filter coverage, the greater the effect of removing block distortion. However, in this case, conversely, the image is blurred. Therefore, it is desired that the strength of the filter can be controlled according to the preference of the creator of the moving image and the viewer.
  • threshold values ⁇ and ⁇ that control switching of filter processing are added to a slice header that is information for controlling a slice in which a plurality of macroblocks are bundled, and then transmitted.
  • the degree of filter application can be controlled.
  • Non-Patent Document 1 since the switching method of the filter process can be controlled according to the magnitude of the gradient, it is possible to control the degree of blur and the distribution of the block noise removal effect. However, since the filter coefficient cannot be changed, it is difficult to improve the encoding efficiency.
  • an object of the present invention is to perform an image encoding apparatus that can efficiently and appropriately encode an image by performing filter processing according to the characteristics of the image, and to decode the image. It is to provide an image decoding apparatus capable of
  • an image decoding apparatus includes a decoding unit that decodes a prediction residual signal and a prediction signal from encoded data, and an inverse quantum for the prediction residual signal decoded by the decoding unit.
  • An image decoding device that decodes image data from the prediction residual and a prediction signal.
  • Filter parameter storage means for storing a set of filter parameters; Filter means for performing a filtering process on the image data using filter parameters stored in the filter parameter storage unit; With The filter means includes Gradient value calculating means for calculating a gradient value in the vicinity of a pixel to be filtered; Selecting means for selecting one filter parameter from a set of filter parameters according to the calculated gradient; Weighting factor calculating means for calculating a weighting factor for filtering using the filter parameter selected by the selecting means; It is characterized by providing.
  • the decoding means further decodes a set of filter parameters from the encoded data,
  • the filter means performs a filtering process on the image data using the filter parameter decoded by the decoding means.
  • the decoding means further decodes information about a plurality of blocks having different sizes from the encoded data,
  • the filter means performs a filtering process on the image data for each block.
  • the weighting factor calculating means calculates a weighting factor for filter processing according to the filter parameter selected by the selecting means and the distance from the boundary.
  • the image decoding apparatus of the present invention Decoding means for decoding a prediction residual signal and a prediction signal from encoded data; and generation means for generating a prediction residual by inverse quantization and inverse transformation of the prediction residual signal decoded by the decoding means; An image decoding device that decodes image data from the prediction residual and the prediction signal, Gradient value calculating means for calculating a gradient value in the vicinity of a pixel to be filtered; Filter means for performing a filtering process on the image data in accordance with the gradient calculated by the gradient value calculating means; Further comprising The gradient value calculating means calculates a gradient value by using the magnitude of the transform coefficient of the block to be filtered and the magnitude of the difference between the filter target pixel and surrounding pixels.
  • the gradient value calculating means uses the size of the transform coefficient of the block to be filtered, or the size of the transform coefficient, the filter target pixel, and its The gradient value is calculated using the difference between the surrounding pixels.
  • the pixel value calculation means when decoding image information divided into blocks and encoded, processing target pixels belonging to the certain block located near the boundary between the certain block and the adjacent block adjacent to the certain block Means for correcting the pixel value of
  • the gradient value calculating means calculates the difference between the pixel values of two or more pixels belonging to a certain block and two or more pixels belonging to an adjacent block. The gradient value is calculated from the magnitude of the difference between the pixel values.
  • An image decoding apparatus includes a decoding unit that decodes a prediction residual signal and a prediction signal from encoded data, and a prediction residual signal obtained by performing inverse quantization and inverse conversion on the prediction residual signal decoded by the decoding unit.
  • the decoding means includes decoding means for decoding a flag for switching a variable-length encoding method of a prediction residual signal
  • the prediction residual signal is a signal encoded by being divided into a plurality of blocks having different sizes
  • the decoding means is characterized in that, for a block size larger than a predetermined size, the number of transform coefficients included in the encoded data is smaller than the number of transform coefficients input to the inverse transform means.
  • Decoding means for changing the number of transform coefficients according to a flag for switching a variable-length encoding method.
  • An image decoding apparatus includes a decoding unit that decodes a prediction residual signal and a prediction signal from encoded data, and a prediction residual signal obtained by performing inverse quantization and inverse conversion on the prediction residual signal decoded by the decoding unit.
  • An image decoding device for decoding image data from the prediction residual and the prediction signal,
  • the prediction residual signal is a signal encoded by being divided into a plurality of blocks having different sizes,
  • the decoding means is characterized in that, for a block size larger than a predetermined size, the number of transform coefficients included in the encoded data is smaller than the number of transform coefficients input to the inverse transform means.
  • a decoding means for changing the number of the transform coefficients.
  • An image decoding apparatus includes a decoding unit that decodes a prediction residual signal and a prediction signal from encoded data, and a prediction residual signal obtained by performing inverse quantization and inverse conversion on the prediction residual signal decoded by the decoding unit.
  • An image decoding device for decoding image data from the prediction residual and the prediction signal In the decoding of the prediction residual signal, the decoding means includes a transform coefficient to be included in the encoded data according to the value of the prediction residual signal that has already been decoded, at the time when the decoding means decodes a predetermined number or more of prediction residual signals. It is characterized by comprising means for changing the position.
  • the decoding means linearizes the value of the decoded prediction residual signal when the decoding means decodes a predetermined number or more of prediction residual signals.
  • a means for calculating an exponent calculated by the sum is provided, and means for changing a position of a transform coefficient included in the encoded data according to whether the exponent is larger than a predetermined value.
  • An image encoding device of the present invention is an image encoding device including decoded image generation means for generating a local decoded image, A gradient value calculating means for calculating a gradient value near a certain calculation target pixel on the local decoded image; Learning data calculation and storage means for calculating learning data from the pixel value to be calculated, the surrounding pixel values, and the pixel value at the same position as the target pixel of the input image, and storing the learning data for each gradient; Filter parameter calculation means for calculating a filter parameter for each gradient, using learning data for each gradient stored by the learning data calculation storage means; It is characterized by providing.
  • encoding conversion efficiency can be increased by making the number of transform coefficients included in the image information smaller than the number of transform coefficients input to the inverse transform means.
  • the number of transform coefficients included in the image information is switched by a variable-length coding method of transform coefficients, or by switching with flags such as a frame header, a slice header, a macroblock header, and a block header, thereby further improving the coding efficiency.
  • the coding efficiency can be increased by switching the position of the transform coefficient of the high frequency component according to the value of the decoded low frequency component of the block to be decoded.
  • FIG. 1 is a block diagram illustrating a configuration of an image decoding device 100 according to the first embodiment.
  • the image decoding apparatus 100 includes a prediction unit 111, a variable length coding / decoding unit 114, an inverse quantization unit 115, an inverse transform unit 116, a frame memory 117, and a filter parameter storage unit 119. And a filter unit 120 and an adder unit 109. The operation of the image decoding apparatus 100 will be described below.
  • the encoded data input to the image decoding apparatus 100 is first input to the variable length encoding / decoding unit 114.
  • the variable-length coding / decoding unit 114 performs prediction of a filter parameter, which is a parameter for designating a weighting coefficient used for filter processing, a prediction signal indicating a prediction method, and a transformed / quantized prediction residual by variable-length decoding of encoded data. Decode the difference signal.
  • the inverse quantization unit 115 inversely quantizes the transform / quantized prediction residual signal input from the variable length coding / decoding unit 114.
  • the inverse transformation unit 116 inversely transforms the inversely quantized signal input from the inverse quantization unit 115 to generate a prediction residual.
  • the prediction unit 111 receives the prediction signal decoded from the variable-length encoding / decoding unit 114, and generates a prediction signal using the decoded image stored in the frame memory 117 according to the prediction signal.
  • the addition unit 109 generates a decoded image by adding the prediction signal input from the prediction unit 111 and the prediction residual input from the inverse conversion unit 116, and stores the decoded image in the frame memory 117.
  • the filter parameter storage unit 119 receives and stores the filter parameters decoded by the variable length coding / decoding unit 114.
  • the filter unit 120 reads out the filter parameters stored in the filter parameter storage unit 119 and performs filter processing on the image stored in the frame memory 117.
  • FIG. 2 is a diagram schematically showing pixels at the boundary portion of the block.
  • a pixel of one block is a pixel Pi
  • a pixel of the other block is a pixel Qi (i is an integer from 0 to n). Note that i in the pixel Pi and the pixel Qi corresponds to the distance from the block boundary.
  • the pixel values corresponding to the pixel Pi and the pixel Qi are shown as the pixel value pi and the pixel value qi, respectively, and the processed pixel value corresponding to the unprocessed pixel value pk in the processing target pixel Pk is It is shown as pk ′.
  • k is an integer that takes a value from 0 to the block size (k is 0 to n).
  • FIG. 3 is a diagram illustrating an internal configuration of the filter unit 120.
  • the filter unit 120 includes a difference value calculation unit 401, a gradient evaluation unit 402, a weight coefficient calculation unit 403, and a pixel value calculation unit 404.
  • FIG. 4 is a diagram illustrating a two-dimensional filter target pixel.
  • the difference value calculation unit 401 d ABS (r22-r32) + ABS (r22-r12) + ABS (r22-r23) + ABS (r22-r21) (1-2) Is used to calculate the difference value absolute value d.
  • pk ′ Wk ⁇ pk + (1 ⁇ Wk) ⁇ q0 (1-3) Is used to calculate the processed pixel value pk ′.
  • Wk is a weighting coefficient determined by the distance k.
  • Wk a value output from a weight coefficient calculation unit 403 described later is used.
  • the weighting factor Wk may be handled as an integer instead of a decimal.
  • a value obtained by converting the weight coefficient to an N power of 2 (for example, 32 times) to an integer is used. More specifically, Calculation is performed by the following equation obtained by modifying equation (1-3).
  • pk ′ (Wk ⁇ pk + (32 ⁇ Wk) ⁇ q0) / 32 (1-4)
  • the pixel value pk ′ after the filter processing is calculated from only the two pixel values pk and q0, but a configuration using more pixels may be used.
  • pk ′ ⁇ kk ⁇ pk + ⁇ k0 ⁇ p0 + ⁇ k0 ⁇ q0 + ⁇ k (1-6) It is expressed by
  • the pixel value calculation unit 404 uses the linear sum of the pixel value rij around the pixel to be filtered and the weighting coefficient ⁇ ij to obtain the pixel value r22 ′ after the filtering process. (Where i and j are integers from 0 to 4).
  • FIG. 5 is a block diagram showing an internal configuration of the gradient evaluation unit 402.
  • the gradient evaluation unit 402 includes a difference calculation unit 601, a gradient value calculation unit 602, and a gradient index calculation unit 603.
  • the gradient evaluation unit 402 includes a frequency component amount calculation unit 604. Since the frequency component amount calculation unit 604 will be described in the second embodiment, it will not be described here.
  • the gradient evaluation unit 402 calculates a gradient index, which is information indicating the magnitude of the gradient, using the pixel value read from the frame memory 117.
  • the difference calculation unit 601 calculates a difference value necessary for gradient value calculation using the pixel values of the filter target pixel and its surrounding pixels.
  • the difference value d_p0p2 is calculated.
  • d_p0p2 ABS (p2-p0)
  • the gradient index calculation unit 603 calculates the gradient index gi from the gradient value obtained by the gradient value calculation unit 602. More specifically, the gradient index gi is calculated by the following equation.
  • T0, T1, T2, and T3 are predetermined constants that determine the determination threshold.
  • ⁇ T0, T1, T2, T3 ⁇ ⁇ 0, 2, 4, 6 ⁇ Is used.
  • the weight coefficient calculation unit 403 reads out the filter parameters stored for each gradient magnitude from the filter parameter storage unit 119. More specifically, filter parameters K1, K2,..., Kn (n is a constant indicating the number of parameters) for each gradient index gi are read.
  • the weighting factor calculation unit 403 calculates a weighting factor used for the filtering process from the read filter parameter.
  • the method of calculating the weighting factor differs depending on the filter parameter expression format.
  • the following expression format a or expression format b is used as the filter parameter expression format.
  • the filter parameter represents a weighting factor for filtering.
  • Expression format b The filter parameter represents a parameter of an expression for calculating the weighting factor for filtering.
  • Whether the filter parameter is expressed in the expression format a or the expression format b may be determined in advance by the encoding device and the decoding device as using the same method, and may include a flag in the encoded data, For example, it may be specified by a sequence header, a picture header, or a slice header.
  • the flag is specified in the encoded data
  • the variable length encoding / decoding unit 114 decodes the flag indicating the expression format from the encoded data and outputs the decoded flag to the pixel value calculation unit 404.
  • FIG. 6 shows a method of obtaining the weighting coefficient Wk at the distance k from the boundary from the weighting parameters K1,..., Kn in the case of the expression format a.
  • FIG. 7 shows a method for obtaining the weighting coefficient Wk used for the filter processing of the pixel Pk from the weighting parameters K1,..., Kn in the case of the expression format b.
  • weighting coefficient for the pixel Pk is determined to be one Wk as in Expression (1-3)
  • a plurality of weighting coefficients for the pixel Pk are required as in Expression (1-5) and Expression (1-7).
  • the weight coefficient calculation unit 403 determines (l + m + 1) weight coefficients from the filter parameters.
  • the weight coefficient of the distance k is 0, 1, 2, 3, 4, 5 is required. Filter parameters may only be given for distances 1 and 3.
  • the weighting factor is interpolated by linear approximation of the filter parameter closest to the distance k.
  • the linear approximation is performed using the filter parameter values for the distances 0, 2, 4, and 5 from the boundary.
  • 0.45 and 0.0 are appropriate as the predetermined constants WW0 and WW6.
  • FIG. 9, and FIG. 10 are diagrams for explaining a filter parameter storage method in the filter parameter storage unit 119.
  • the filter parameter storage unit 119 stores a filter parameter for each gradient index.
  • the filter parameter is a vector composed of a plurality of values and is given by K1, K2,.
  • the filter parameter storage unit 119 outputs the filter parameters for each gradient index stored therein to the filter unit 120.
  • the filter parameter storage unit 119 preferably stores learning data for each block size in accordance with the output of the block size management unit 201. In this case, as shown in FIG. 9, corresponding filter parameters are stored for each block size and gradient index.
  • the filter parameters are also preferable to store the filter parameters by dividing them into horizontal boundaries and vertical boundaries.
  • the filter parameters when the block size is large or when the horizontal size and vertical size of the block are different, it is preferable to store the filter parameters by dividing them into horizontal boundaries and vertical boundaries.
  • the image decoding apparatus decodes a filter parameter from encoded data, reads out and reads out the decoded filter parameter according to the magnitude of the gradient value calculated from the boundary pixel value.
  • the filtering process By performing the filtering process according to the weighting coefficient calculated from the filtered filter parameters, an image close to the encoded image can be decoded.
  • FIG. 11 is a block diagram illustrating a configuration of an image decoding device 200 according to the second embodiment.
  • the image decoding apparatus 200 includes a prediction unit 111, a variable length coding / decoding unit 114, an inverse quantization unit 115, an inverse transform unit 116, a frame memory 117, and a block size management unit 201. And a filter parameter storage unit 119 and a filter unit 120. The operation of the image decoding device 200 will be described below.
  • the encoded data input to the image decoding apparatus 200 is first input to the variable length encoding / decoding unit 114.
  • the variable-length coding / decoding unit 114 obtains a filter parameter, a prediction signal indicating a prediction method, a block size used for prediction and conversion, and a converted / quantized prediction residual signal by variable-length decoding of the encoded data. Decrypt.
  • the decoded block size is stored in the block size management unit 201.
  • the image decoding apparatus changes the operations of the prediction unit 111, the inverse quantization unit 115, the inverse transform unit 116, and the filter unit 120 according to the block size stored in the block size management unit 201.
  • the block size management unit 201 is not shown for the sake of simplification of description, but decoding of encoded data encoded using a method of making the block size variable (variable block size) and This does not impair the filtering process.
  • the block size M ⁇ N means a block of horizontal M pixels and vertical N pixels.
  • the variable length coding / decoding unit 114 decodes the prediction residual signal.
  • the block size is 4 ⁇ 4, 8 ⁇ 8, or 32 ⁇ 32
  • transform coefficients for the block size are decoded.
  • a predetermined number 32 in this case
  • only a predetermined number of transform coefficients are encoded when the block size is 64 ⁇ 16.
  • the operations of the inverse quantization unit 115 and the inverse transform unit 116 are as described in the first embodiment.
  • the amount of inverse transform processing is large.
  • the block size is 64 ⁇ 16
  • the amount of processing of the quantization unit 115 and the inverse transformation unit 116 can be reduced.
  • the appropriate block size for achieving high coding efficiency varies depending on the characteristics of the image. In general, since the correlation between pixels increases as the image size increases, it is better to increase the maximum block size as the image size increases. In fact, a large block size is effective in improving the coding efficiency of the flat portion.
  • the maximum block size is preferably about 32 ⁇ 32.
  • the maximum block size is preferably 64 ⁇ 64.
  • the number of appropriate transform coefficients in the method of encoding only some transform coefficients varies depending on the characteristics of the image.
  • An image with a larger change gradient in a region other than the edge portion (a region where the pixel value does not change sharply) requires a higher-order transform coefficient, so it is better to increase the number of transform coefficients (for example, 48), when the gradient is small, the number of transform coefficients may be small (for example, 16).
  • the appropriate number of transform coefficients depends on the variable length coding method for coding the transform coefficients.
  • variable length encoding / decoding unit 114 when the variable length encoding method is provided in the encoded data as a flag (hereinafter referred to as a VLC mode flag), the variable length encoding / decoding unit 114 performs VLC indicating the variable length encoding method.
  • the mode flag is decoded and the VLC mode flag indicates a high-efficiency variable length coding method such as arithmetic code
  • the number of transform coefficients in the method of coding only some transform coefficients is Nm, and the VLC mode Otherwise, Nn ( ⁇ Nm) is set.
  • FIG. 12 is a diagram illustrating the positions of transform coefficients to be encoded that are switched by the variable-length encoding method described above.
  • 40 transform coefficients are decoded as shown in FIG. 12A, and in the other cases, 16 transform coefficients fewer than those in the case of arithmetic code are decoded as shown in FIG. 12B. .
  • FIG. 13 is a diagram for explaining the positions of transform coefficients to be encoded.
  • the position of the transform coefficient is switched, and there are default, horizontal direction priority, and vertical direction priority.
  • the position of the transform coefficient to be encoded is given priority in the horizontal direction, and when it is spread in the vertical direction, priority is given to the vertical direction. It is desirable. If it is neither, or if it extends in either direction, the default position should be used. In addition to priority in the horizontal direction and priority in the vertical direction, priority in the diagonal direction may be used.
  • the horizontal priority means that the number Nh of coefficients where h> v is larger than the number Nv of coefficients where h> v.
  • Nh ⁇ Nv> Th Point to.
  • FIG. 14 is a diagram showing the configuration of a header that encodes the block size, the number of transform coefficients, and the position of the transform coefficients.
  • sizeidx_of_max_block is an index indicating the maximum block size and takes a value from 0 to N-1.
  • the expression for converting sizeidx_of_max_block to the maximum block size is “the horizontal of the block size is 16 ⁇ sizeidx_of_max_block, and the vertical is 16”.
  • the formula for obtaining the maximum block size from sizeidx_of_max_block is not limited to the above, but may be “the block size is 16 ⁇ sizeidx_of_max_block, the vertical is 16 ⁇ sizeidx_of_max_block” or the like.
  • Numidx_coeff_of_max_block is an index indicating the number of transform coefficients in the maximum block, and encodes numidx_coeff_of_max_block ⁇ 8 transform coefficients.
  • Scanidx_mode_of_max_block is an index indicating the position of the conversion coefficient and takes values of 0, 1, and 2. 0 indicates default, 1 indicates horizontal priority, and 2 indicates vertical priority. Instead of the three types of values, two types may be used, and default and horizontal direction priority or a method of switching between default and vertical direction may be used. In addition, the four types may be switched between default, horizontal direction priority, vertical direction priority, and diagonal direction priority.
  • information about the block size (particularly the maximum block size), the number of transform coefficients, and the position of transform coefficients define the sequence. It is desirable that encoding is performed using a header that defines a frame, a header that defines a frame, a slice header, a macroblock header, and a block header.
  • the variable length coding / decoding unit 114 of the image decoding apparatus 200 decodes the number of transform coefficients and the position of the transform coefficients encoded in the header, and uses them for decoding the transform coefficients.
  • the position of the transform coefficient is not explicitly coded in the header, but the value of the low frequency component is used when a variable length coding method that codes the transform coefficient in order from the low frequency component to the high frequency component is used. Depending on the method, there is a method of changing the position of the conversion coefficient of the high frequency component.
  • the numbers in the figure indicate the order in which transform coefficients are decoded (scan order).
  • the value of the transform coefficient decoded in the order m is Cm.
  • 15A shows the low frequency component
  • FIG. 15B shows the default
  • FIG. 15C shows the horizontal direction priority
  • FIG. 15D shows the vertical direction priority
  • FIG. 15E shows the diagonal direction priority.
  • the variable length coding / decoding unit 114 decodes a predetermined number (here, 10) of transform coefficients.
  • FIG. 15A shows an example of positions of a predetermined number of transform coefficients.
  • the variable length coding / decoding unit 114 when a predetermined number or more of transform coefficients are decoded, has an absolute value of transform coefficients close to the horizontal direction (h ⁇ v) and close to the vertical direction (v ⁇ h).
  • the horizontal direction priority index H and the vertical direction priority index V calculated by the weighted difference in the absolute value of the conversion coefficient are calculated. More specifically, the following values are calculated.
  • Horizontal priority index H ABS (C3) + ABS (C6) -2 ⁇ (ABS (C5) + ABS (C9))
  • Vertical priority index V ABS (C5) + ABS (C9) -2 ⁇ (ABS (C3) + ABS (C6))
  • the lowest order transform coefficient has a large value even when there is no higher order transform coefficient, and the correlation with the higher order transform coefficient is often small.
  • conversion coefficients other than the conversion coefficient of the lowest order that is, conversion coefficients other than C1 and C2.
  • the weight used for calculating the horizontal priority index H and the weight used for calculating the vertical priority index V are absolute values of transform coefficients close to the horizontal direction. It is preferable that the absolute values of the transform coefficients close to the vertical direction are not symmetric but different.
  • the horizontal size of the block is larger than the vertical size
  • Horizontal priority index H ABS (C3) + ABS (C6) -4 ⁇ (ABS (C5) + ABS (C9))
  • Vertical priority index V ABS (C5) + ABS (C9)-(ABS (C3) + ABS (C6)) Is preferable.
  • variable length coding / decoding unit 114 selects the horizontal priority as the position of the high frequency component transform coefficient.
  • the vertical direction priority index V is larger than 0, the vertical direction priority is selected as the position of the high-frequency component conversion coefficient. Otherwise, use the default.
  • variable length coding / decoding unit 114 rearranges the position of the transform coefficient to a position determined by the selected scanning method, and then outputs the transform coefficient to the inverse quantization unit 115.
  • FIG. 16 is a diagram for explaining the operation of the variable length coding / decoding unit 114.
  • the variable length coding / decoding unit 114 first decodes the number nC of transform coefficients, and further decodes a run R that is information indicating the position of the transform coefficient and a level L that indicates the value of the transform coefficient.
  • a method of not decoding the number nC of transform coefficients first is possible by decoding a value called “Last Last”. In that case, in the following steps, the determination of whether or not it is the last conversion coefficient changes from the determination of whether Rem is 0 to the determination of whether Last is true.
  • S2501 nC is set as the remaining number of transform coefficients Rem, default is set as the scan method S, and 0 is set as the scan position I.
  • S2502: If it is the last transform coefficient (Rem 0), the process proceeds to S2520 and the decoding is terminated. If it is not the last conversion coefficient (Rem> 0), the process proceeds to S2503.
  • S2504 If the conversion coefficient position I is equal to or greater than the predetermined number T, the process proceeds to S2511. If it is less than the predetermined number T, the flow proceeds to S2505.
  • S2506 If the horizontal priority index H is greater than 0, the process proceeds to S2507. Otherwise, the process proceeds to S2508.
  • S2507 The scanning method S is set with priority in the horizontal direction.
  • S2508 The vertical priority index V is calculated.
  • S2509 If the vertical priority index V is greater than 0, the flow proceeds to S2510. Otherwise, the process proceeds to S2511.
  • S2510 The scanning method S is set with priority in the vertical direction.
  • S2511 The level L obtained in S2503 is stored at the position of the conversion coefficient determined by the scan method S and the scan position I. As an option of the scanning method S, a method of adding diagonal priority in addition to horizontal priority and vertical direction is also suitable.
  • FIGS. 13 and 14 are diagrams showing a method for setting the block size.
  • a block that is a constant multiple of the block size (64 ⁇ 32 in this case) that is the least common multiple of the block sizes 4 ⁇ 4, 8 ⁇ 8, 32 ⁇ 32, and 64 ⁇ 16 to be used is handled as a macroblock.
  • the screen is divided into macro blocks as shown in FIG. 18, and processing is performed in units of macro blocks.
  • the shaded portion in FIG. 18 is the input screen, and the macro block covers the screen. If the area of the macroblock exceeds the screen, such as at the edge of the screen, decoding is performed in the area covered by the entire macroblock. At the time of output from the image decoding apparatus, only the range of the screen is cut out and output to the outside. In FIG. 18, the upper left coordinates of the macroblock are indicated by black dots.
  • the divided 64 ⁇ 32 macroblock is further divided into 32 ⁇ 32 and 64 ⁇ 16.
  • the divided 32 ⁇ 32 and 64 ⁇ 16 blocks are further divided into smaller blocks.
  • it is divided into 4 ⁇ 4, 8 ⁇ 8, 32 ⁇ 32, and 64 ⁇ 16 blocks. This is called a tree decomposition method.
  • the method shown in FIG. 19 is different from the tree decomposition.
  • a certain block size is set as the macro block size regardless of a constant multiple of the block size which is the least common multiple of the block size to be used.
  • 32 ⁇ 16 is a macro block.
  • the screen is scanned in raster order in units of macroblocks, and 64 ⁇ 32 blocks, 32 ⁇ 32 blocks, and macroblocks (32 ⁇ 16) are selected in this unit.
  • the area selected as the macroblock is further divided into 4 ⁇ 4 or 8 ⁇ 8.
  • the previously selected area 64x16 or 32x32 or 32x16
  • the screen is further scanned in raster order, again starting from 64x32 blocks, 32x32 blocks, and macroblocks (32x16) Select block size.
  • 64x32 blocks, 32x32 blocks, and macroblocks 32x16 Select block size.
  • This method is called a large block priority method because the position of a block having a large block size can be determined in a smaller unit than the method based on tree division.
  • the larger block priority than the tree division gives a greater degree of freedom for determining the block division method, but the code amount for determining the block division method becomes larger.
  • the filter unit 120 of the second embodiment is as illustrated in FIG. 3, and includes a difference value calculation unit 401, a gradient evaluation unit 402, a weight coefficient calculation unit 403, and a pixel value calculation unit 404. It is prepared for.
  • the gradient evaluation unit 402 calculates a gradient value by using a pixel value read from the frame memory 117 by a method different for each block size read from the block size management unit 201.
  • the difference calculation unit 601 which is a component of the gradient evaluation unit 402 calculates a difference value necessary for calculating the gradient value. More specifically, the following difference value is calculated.
  • the gradient value calculation unit 602 uses the difference value to calculate the gradient value by a method that is different for each block size.
  • the gradient value is calculated using the difference value between pixels that are further away as the block size increases. This is because the larger the block size, the higher the possibility that it will be used for the flat portion. In the case of the flat portion, this corresponds to the fact that a difference value does not occur unless pixels that are more than a predetermined distance apart are used.
  • the horizontal size and vertical size of the block are different, when processing the vertical boundary, calculate the gradient value according to the horizontal size and when processing the horizontal boundary, the vertical size The gradient value is calculated according to
  • the block size is equal to or larger than a predetermined value
  • a predetermined value in the present embodiment, when it is 64 or larger, not only the pixel value (pk) of the block on the filter target pixel side but also the pixel value (qk) of the adjacent block See also This is because when the block size is particularly large, it is often used in a region where the flatness is extremely high, and it is not possible to measure the characteristics of a block sufficiently by simply referring to one of the blocks adjacent to the boundary.
  • the number of transform coefficients to be decoded is limited to a predetermined number. Since a block with a limited number of transform coefficients is often used in a region with extremely high flatness, it is preferable to calculate a gradient value by referring to the pixel value of the block on the opposite side of the filter target pixel. .
  • the gradient evaluation unit 402 calculates a gradient index from the gradient value g.
  • the gradient index gi is calculated by the following formula.
  • T0, T1, T2, and T3 are predetermined constants that give determination thresholds.
  • T0, T1, T2, and T3 may be changed according to the block size.
  • ⁇ T0, T1, T2, T3 ⁇ ⁇ 0, 3, 6, 12 ⁇ ...
  • Block size 4x4, 8x8 ⁇ T0, T1, T2, T3 ⁇ ⁇ 0, 2, 4, 6 ⁇ ...
  • the gradient evaluation unit 402 not only calculates a gradient value using the pixel value read from the frame memory 117 but also includes a frequency component amount calculation unit 604 as shown in FIG. 5 and is output from the inverse conversion unit 116. Information on conversion coefficients may be used.
  • FIG. 20 is a diagram for explaining the operation of the frequency component amount calculation unit 604.
  • the frequency component amount calculation unit 604 calculates the sum of the absolute values of the conversion coefficients for each region of the conversion coefficients using the conversion coefficients output from the inverse conversion unit 116, and calculates the low frequency component amount and the high frequency component amount. More specifically, the low-frequency component amount is calculated using the conversion coefficient at the position indicated by the fine shaded portion in FIG. 20, and the high-frequency component amount is calculated using the conversion coefficient at the position indicated by the coarse shaded portion in FIG. calculate.
  • the calculation of the low-frequency component amount and the high-frequency component amount is not limited to the sum of absolute values, but may be other values such as a sum of squares, a maximum value of absolute values, or a maximum value of square values.
  • the gradient index is determined by the size of the conversion coefficient, and when the amount is large, the difference between the pixel values is used regardless of the size of the conversion coefficient. Determine the gradient index.
  • the method of determining the magnitude of the gradient using the transform coefficient is effective when the block size is large. Therefore, it is preferable to use the above method when the block size is large, for example, 32 ⁇ 32 or 64 ⁇ 16, and otherwise use a method that does not use a transform coefficient. The reason is that when the block size is large, it is often used mainly in a region where the correlation between pixels is large, and in this case, the size of the transform coefficient well represents the characteristics of the block.
  • the block size when the block size is large, it may be used not only for an image area having a large inter-pixel correlation but also for an area having a repetitive pattern.
  • the gradient of the local region of the block cannot be sufficiently expressed only by the transform coefficient.
  • the amount of high-frequency components is usually large. In this case, the above method does not cause this problem because the difference value is used for calculating the gradient index.
  • the method using the conversion coefficient can use a wide range of characteristics without increasing the difference value used to calculate the gradient value.
  • a gradient value measuring method using only the transform coefficient is effective as described below.
  • the gradient evaluation unit 402 may also use a prediction signal indicating the prediction method output from the prediction unit 111.
  • the prediction signal output from the prediction unit 111 is DC prediction predicted from the average value of the already decoded pixel values in the vicinity, and the case of other prediction signals will be described.
  • the prediction signal is DC prediction
  • the gradient index gi is calculated by the gradient value method using the magnitude of the transform coefficient. For example, the following prediction method is used.
  • the operation of the filter unit 120 is equal to that of the first embodiment. Only differences from the first embodiment will be described below.
  • the weighting factor calculation unit 403 obtains a weighting factor using the filter parameters K1,..., K2, Kn.
  • the filter parameter expression format As the filter parameter expression format, the expression format a and the expression format b are used as described in the first embodiment.
  • the weighting factor calculation unit 403 of the second embodiment uses the block size input from the block size management unit 201 to change the expression format according to the block size.
  • the expression format a When the block size is 4x4 or 8x8, the expression format a When the block size is 32x32 or 64x16, the expression format b Is used.
  • the reason for this are as follows. For example, when the block size is small, the filtering process is sufficient only when the distance from the boundary is short. Therefore, the expression format a is suitable. When the block size is large, a weighting factor is required when the distance from the boundary is large. However, when the filter parameter is determined for each distance from the boundary, there is a problem that the number of filter parameters increases.
  • the expression format b is suitable.
  • the image decoding apparatus decodes the block size and the filter parameter from the encoded data, and decodes each block size according to the gradient value calculated from the boundary pixel value and the transform coefficient. It is possible to decode an image close to the encoded image by reading the read filter parameter and performing a filter process according to the weighting coefficient calculated from the read filter parameter.
  • FIG. 21 is a block diagram illustrating a configuration of an image encoding device 300 according to the third embodiment.
  • symbol is attached
  • the image encoding device 300 includes a prediction unit 111, a conversion unit 312, a quantization unit 313, a variable length encoding unit 314, an inverse quantization unit 115, and an inverse conversion unit 116.
  • the frame memory 117 and the filter parameter calculation unit 118 are configured.
  • the image coding apparatus 300 When the image coding apparatus 300 performs a loop filter process that reduces distortion of a locally decoded image stored in the frame memory 117, the image coding apparatus includes a filter unit 120. In this case, a filter parameter storage unit 119 that stores filter parameters for controlling the filter unit 120 is provided. Hereinafter, the operation of the image coding apparatus 300 will be described.
  • An image input to the image encoding device 300 is decomposed into blocks, and the following processing is performed.
  • the prediction unit 111 generates a prediction block close to the input block.
  • the subtraction unit 107 calculates a difference value block that is a difference value between the input block and the prediction block output from the prediction unit 111.
  • the conversion unit 312 calculates a conversion coefficient by DCT conversion or the like for the difference value block input from the subtraction unit 107.
  • the quantization unit 313 quantizes the transform coefficient according to a step determined by the quantization step.
  • the quantized transform coefficient is encoded by the variable length encoding unit 314 and output to the outside.
  • the inverse quantization unit 115 inversely quantizes the quantized transform coefficient.
  • the inverse transform unit 116 inversely transforms the inversely quantized transform coefficient to calculate a residual block.
  • the adder 109 calculates the sum of the residual block and the prediction block and reproduces the input block. The reproduced block is stored in the frame memory 117.
  • the filter parameter calculation unit 118 calculates a filter parameter.
  • the calculated filter parameter is output to the variable length encoding unit 314.
  • the variable length coding unit 314 performs not only the information indicating the prediction method and the transform coefficient but also the variable length coding of the filter parameter and outputs the result.
  • the filter parameter storage unit 119 When the filter parameter storage unit 119 exists, the calculated filter parameter is stored in the filter parameter storage unit 119.
  • the filter unit 120 reads the filter parameter stored in the filter parameter storage unit 119 and performs filter processing on the locally decoded image stored in the frame memory 117 according to the value. The filtered image is stored again in the frame memory 117.
  • FIG. 22 is a diagram illustrating a configuration of the filter parameter calculation unit 118.
  • the filter parameter calculation unit 118 includes a difference value calculation unit 401, a gradient evaluation unit 402, a learning data storage unit 501, and a parameter estimation unit 502.
  • the difference value calculation unit 401 calculates a difference value absolute value d that is a difference value between pixel values of the target block and adjacent blocks.
  • the gradient evaluation unit 402 indicates the magnitude of the gradient value using the pixel value read from the frame memory 117 or the transform coefficient output from the inverse quantization unit 115. The gradient index that is information is calculated.
  • the filter parameter calculation unit 118 stores this.
  • Storing the matrix data is specifically performed by storing each component of the matrix. That is, m ⁇ m data and m data (total m ⁇ m + m data) are stored.
  • i row j column component XX ij of X T X is The i row component XY i of X T Y is Expressed.
  • XX ij1 x i1 x j1
  • XY i1 x i1 y 1
  • t is an integer from 2 to n
  • XX ijt XX ijt-1 + x it x jt (3-5)
  • XY it XY it-1 + x it y t (3-6)
  • the values of XX and XY are updated.
  • the pixel value after filtering is pk ′, but it is considered appropriate if this is closest to the pixel value ppk of the input image. Therefore, it is required to obtain (l + m + 1) parameters ⁇ ki, ⁇ ki, ⁇ .
  • (l + m + 1) parameters ⁇ ki, ⁇ ki, ⁇ .
  • a matrix of (l + m + 1) rows (l + m + 1) columns and a vector of (l + m + 1) columns may be obtained sequentially.
  • the filter parameters of the present embodiment are expressed in the expression format a and the expression format b.
  • the learning data storage unit 501 stores different learning data depending on the expression format of the filter parameter.
  • the filter parameter represents a weighting factor in the filter processing. Therefore, learning data for obtaining a weighting factor is stored.
  • both the matrix XX (k) and the vector XY (k) when the distance from the boundary is k are both scalars, and the input image corresponding to the filter target pixel pk is Assuming that it is ppk, from the equations (3-3) and (3-4), the data index t (t is an integer from 1 to n) Ask for.
  • the learning data storage unit 501 calculates and stores values of XX (k) and XY (k) for each gradient value parameter and for each distance k from the boundary.
  • the filter parameter represents a parameter of an expression for calculating a weighting factor for the filter process.
  • XX and XY may be calculated and stored.
  • values for each gradient value are stored in both the expression format a and the expression format b.
  • the number of learning data if the number of parameters for linear prediction is m, in the case of the expression format a, learning data of (m ⁇ m + m) ⁇ number of gradient indexes ⁇ number of distances k from the boundary is required. .
  • the learning data storage unit 501 stores corresponding learning data for each gradient index.
  • the learning data is the values of XX (k) and XY (k) for each gradient distance k in the expression format a, and is XX and XY by gradient in the expression format b.
  • the learning data storage unit 501 preferably stores the learning data for each block size in accordance with the output of the block size management unit 201. In this case, as shown in FIG. 24, learning data corresponding to each block size and each gradient index is stored.
  • the learning data it is also preferable to store the learning data separately for each horizontal boundary and vertical boundary.
  • the block size is large, and when the horizontal size and vertical size of the block are different, it is preferable to store the learning data by dividing it into a horizontal boundary and a vertical boundary.
  • the parameter estimation unit 502 estimates linear prediction parameters using data stored in the learning data storage unit 501. In the description of this embodiment, estimation by the least square method is used.
  • the inverse matrix is easily obtained as 1 / XX obtained by division. Even when the number of parameters is two or three, the calculation is easy with a simple formula.
  • XX is decomposed into a lower triangular matrix L of m rows and m columns and an upper triangular matrix U of m rows and m columns.
  • LUA XY It is expressed.
  • the parameter estimation unit 105 obtains a parameter from the learning data using the learning data for each gradient value.
  • the parameters are obtained by a method using LU decomposition or Gaussian elimination. Even when the number of parameters is 1 to 3, a method using LU decomposition or Gaussian elimination may be used.
  • the calculated filter parameter is output to the variable length encoding unit 314.
  • the filter parameters output to the variable length encoding unit 314 are variable length encoded and output to the outside of the image encoding apparatus 300 as encoded data.
  • the filter parameter is a real number, for example, it is appropriate to multiply it by 2 to the power of n and convert it to an integer and encode it as an n-bit integer. Note that n is a predetermined constant.
  • the filter parameter is variable-length encoded.
  • the calculated filter parameter may be configured to have the same value in the image encoding device and the image decoding device without performing variable-length encoding.
  • the image coding apparatus stores learning data, which is a value calculated from a pixel to be filtered, surrounding pixel values, and an input image, for each gradient value, and stores the stored learning data.
  • the filter parameter for obtaining the optimum weighting coefficient for the filter processing can be obtained by calculating the filter parameter for each gradient value.
  • the image decoding apparatus can perform filter processing using an optimum weighting coefficient, and the coding efficiency is improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

　復号された画像データに対して、フィルタパラメータを利用してフィルタ処理を行う場合に、フィルタ処理の対象となる画素付近の勾配値を算出し、算出された勾配に応じて、フィルタパラメータの組から１つのフィルタパラメータを選択し、選択されたフィルタパラメータからフィルタ処理の重み係数を算出する。そして、処理対象となる画素値と、その周辺の画素値と、前記算出された重み係数を用いて、処理対象画素の補正後の画素値を算出する。これにより、画像の特性に応じてフィルタ処理を行うことによって、効率よく適切に画像を符号化することができる画像符号化装置及び画像を復号することができる画像復号装置を提供することができる。

Description

画像復号装置及び画像符号化装置
　本発明は、符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置等に関する。
　画像符号化技術は、テレビジョン受像機から画像処理の可能な携帯電話まで、身近にある多くの映像機器に応用されている。
　画像符号化技術の分野では、一般に、画像データ（画像情報）を複数のブロックに分割し、分割したブロック単位で直交変換を行い、得られた変換係数を量子化した上で、量子化された変換係数の可変長符号化により符号化する。このような符号化方法では、量子化において情報が損失することにより、画像の劣化が生じる。特に、直交変換を実行する単位である各ブロックの境界において生じる大きな歪み（いわゆる、ブロックノイズ）により、画像に大きな劣化が生じやすい。画像符号化処理において各ブロックの境界にブロックノイズが生じると、符号化された画像を復号した際にもブロックノイズが生じるため、画像を視聴するユーザーが不自然さを感じ易くなる。したがって、一般的な画像復号装置（または画像符号化装置）では、ブロックノイズを除去するために、各ブロックの境界に生じるブロックノイズをフィルタ処理する。
　例えば、非特許文献１には、基本的なフィルタ処理技術について開示されている。非特許文献１に記載のフィルタ処理技術について、図２６を参照しつつ以下に説明する。図２６は、ブロック境界における画素および当該画素の画素値を模式的に示した図である。
　図２６では、画素値ｐ０である画素Ｐ０と、画素値ｑ０である画素Ｑ０との間がブロックの境界であるとし、境界から離れるに従って、画素Ｐ１、Ｐ２、Ｐ３、および、画素Ｑ１、Ｑ２、Ｑ３としている。また、各画素における画素値を、それぞれ、画素値ｐ１、ｐ２、ｐ３、および、画素値ｑ１、ｑ２、ｑ３としている。
　すなわち、図２６では、ブロック境界において隣接する２つのブロックのうち、一方のブロックの画素値を画素値ｐｋ（ｋは境界からの距離により定められる値）、他方のブロックの画素値を画素値ｑｋ（ｋは境界からの距離により定められる値）として表している。なお、図２６では、境界が水平方向の境界であるのか、または垂直方向の境界であるのかについては区別していない。
　また、非特許文献１には、複数のフィルタ処理について開示されているが、本明細書等においては、ＢＳ＝４と称されるモードを利用したフィルタ処理を例に挙げて説明する。
　ＢＳ＝４では、下記の式（０－１）および式（０－２）を用いて、境界の状態を示す値「ｄ」および「ａｐ」を算出する。
　　ｄ＝ＡＢＳ（ｐ０－ｑ０）・・・（０－１）
　　ａｐ＝ＡＢＳ（ｐ２－ｐ０）・・・（０－２）
　次に、算出された「ｄ」および「ａｐ」が、所定の閾値α、βに対して、ｄ＜α、かつ、ａｐ＜βである場合に以下のフィルタ処理を施す。
　　ｐ０´＝（ｐ２＋２×ｐ１＋２×ｐ０＋２×ｑ０＋ｑ１）／８
　　ｐ１´＝（ｐ２＋ｐ１＋ｐ０＋ｑ０）／４
　　ｐ２´＝（２×ｐ３＋３×ｐ２＋ｐ１＋ｐ０＋ｑ０）／８
　そうではない場合には、以下のフィルタを施す。
　　ｐ０´＝（２×ｐ１＋ｐ０＋ｑ０）／４
　このように、この技術では、ブロック境界付近の勾配の大きさａｐに応じて、フィルタのタップ数や係数、フィルタのかかる範囲を変えることによって、適応的に強度を変えることができる。
　デブロッキングフィルタは基本的にローパスフィルタであるので、フィルタのタップ数が大きいほど、また、フィルタのかかる範囲が広いほど、ブロック歪みを除去する効果は大きい。しかし、この場合逆に、画像がぼけるという性質がある。そのため、動画像の作成者や視聴者の好みによって、フィルタの強さを制御できることが望まれている。
　また、非特許文献１の技術では、フィルタ処理の切り替えを制御する閾値α、βを、複数のマクロブロックを束ねたスライスを制御するための情報であるスライスヘッダに付加して伝送することによって、フィルタのかかり具合を制御することができる。
ＩＳＯ／ＩＥＣ１４４９６－１０
　非特許文献１では、勾配の大きさに応じてフィルタ処理の切り替え方法を制御することができるため、ボケ具合とブロックノイズ除去効果の配分を制御することはできる。しかし、フィルタ係数を変更できないために、符号化効率を向上させることは困難であった。
　また、勾配の大きさの評価値の算出に、境界周辺の画素のうち、フィルタがかかる側の画素だけを用いているため、ブロックサイズが大きくなった場合において、適切なフィルタがかからないという問題があった。
　上述した課題に鑑み、本発明が目的とするところは、画像の特性に応じてフィルタ処理を行うことによって、効率よく適切に画像を符号化することができる画像符号化装置及び画像を復号することができる画像復号装置を提供することである。
　上述した課題を解決するために、本発明の画像復号装置は、符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
　フィルタパラメータの組を保存するフィルタパラメータ保存手段と、
　前記フィルタパラメータ保存部に保存されたフィルタパラメータを利用して前記画像データにフィルタ処理を行うフィルタ手段と、
　を備え、
　前記フィルタ手段は、
　フィルタ処理の対象となる画素付近の勾配値を算出する勾配値算出手段と、
　算出された勾配に応じて、フィルタパラメータの組から１つのフィルタパラメータを選択する選択手段と、
　前記選択手段により選択されたフィルタパラメータを用いてフィルタ処理の重み係数を算出する重み係数算出手段と、
　を備えることを特徴とする。
　また、本発明の画像復号装置において、
　前記復号手段は、前記符号化データからフィルタパラメータの組を更に復号し、
　前記フィルタ手段は、前記復号手段により復号されたフィルタパラメータを利用して前記画像データにフィルタ処理を行うことを特徴とする。
　また、本発明の画像復号装置において、
　前記復号手段は、前記符号化データからサイズの異なる複数のブロックに関する情報を更に復号し、
　前記フィルタ手段は、前記ブロック毎に画像データにフィルタ処理を行うことを特徴とする。
　また、本発明の画像復号装置において、
　前記重み係数算出手段は、前記選択手段により選択されたフィルタパラメータと境界からの距離に応じてフィルタ処理の重み係数を算出することを特徴とする。
　本発明の画像復号装置は、
　符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
　フィルタ処理の対象となる画素付近の勾配値を算出する勾配値算出手段と、
　前記勾配値算出手段により算出された勾配に応じて、前記画像データにフィルタ処理を行うフィルタ手段と、
　を更に備え、
　前記勾配値算出手段は、フィルタ処理の対象となるブロックの変換係数の大きさと、フィルタ対象画素とその周囲の画素の差分の大きさを用いて、勾配値を算出することを特徴とする。
　また、本発明の画像復号装置において、
　前記勾配値算出手段は、ブロックのサイズが、所定のサイズ以上の場合において、フィルタ処理の対象となるブロックの変換係数の大きさを用いて、又は前記変換係数の大きさと、フィルタ対象画素とその周囲の画素の差分の大きさとを用いて、勾配値を算出することを特徴とする。
　また、本発明の画像復号装置において、
　前記画素値算出手段は、ブロックに分割して符号化された画像情報を復号する際に、あるブロックと当該あるブロックに隣接する隣接ブロックとの境界近傍に位置する上記あるブロックに属する処理対象画素の画素値を補正する手段であって、
　前記勾配値算出手段は、ブロックのサイズが、所定のサイズ以上の場合において、あるブロックに属する２つ以上の画素の画素値間の差分の大きさと、また、隣接ブロックに属する２つ以上の画素の画素値間の差分の大きさから、勾配値を算出することを特徴とする。
　本発明の画像復号装置は、符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
　前記復号手段は、予測残差信号の可変長符号化方法を切り替えるフラグを復号する復号手段を備え、
　前記予測残差信号は、サイズの異なる複数のブロックに分割して符号化された信号であって、
　前記復号手段は、所定のサイズよりも大きいブロックサイズに対しては、逆変換手段に入力する変換係数の数よりも、前記符号化データに含める変換係数の数の方が小さくなることを特徴とする復号手段であって、可変長符号化方法を切り替えるフラグによって、前記変換係数の数を変更する復号手段を備えることを特徴とする。
　本発明の画像復号装置は、符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
　前記予測残差信号は、サイズの異なる複数のブロックに分割して符号化された信号であって、
　前記復号手段は、所定のサイズよりも大きいブロックサイズに対しては、逆変換手段に入力する変換係数の数よりも、前記符号化データに含める変換係数の数の方が小さくなることを特徴とする復号手段であって、前記変換係数の数を変更する復号手段を備えることを特徴とする。
　本発明の画像復号装置は、符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
　前記予測残差信号の復号において、前記復号手段は所定の数以上の予測残差信号を復号する時点で、既に復号された予測残差信号の値に応じて、前記符号化データに含める変換係数の位置を変更する手段を備えることを特徴とする。
　また、本発明の画像復号装置は、前記予測残差信号の復号において、前記復号手段は、所定の数以上の予測残差信号を復号する時点で、復号された予測残差信号の値の線形和により算出される指数を算出する手段を備え、前記指数が所定の値よりも大きいかに応じて、前記符号化データに含める変換係数の位置を変更する手段を備えることを特徴とする。
　本発明の画像符号化装置は、局所復号画像を生成する復号画像生成手段を備える画像符号化装置であって、
　前記局所復号画像上のある算出対象画素付近の勾配値を算出する勾配値算出手段と、
　前記算出対象となる画素値と、その周辺の画素値と、入力画像の対象画素と同じ位置の画素値から、学習データを算出し、勾配毎に保存する学習データ算出保存手段と、
　前記学習データ算出保存手段により保存された勾配毎の学習データを用いて、勾配毎のフィルタパラメータを算出するフィルタパラメータ算出手段と、
　を備えることを特徴とする。
　画像の特性に応じたフィルタパラメータを、勾配値の大きさに応じて定め、フィルタパラメータからフィルタ処理の重み係数を制御することにより、画像を符号化する際の符号化効率を向上させることができる。また、効率的に符号化された画像を復号することができる。
　また、勾配の大きさの評価値（勾配値）の算出に、変換係数を用いる、もしくは、境界周辺の画素のうち、フィルタがかかる側のブロックの画素だけではなく、その隣接画素も用いることにより、フィルタ対象画素周辺のブロックの特性を正確に測定し、フィルタ処理の精度を高めることができる。
　また、逆変換手段に入力する変換係数の数よりも、画像情報に含める変換係数の数の方が小さくすることによって、符号化変換効率を高めることができる。また、画像情報に含める変換係数の数を、変換係数の可変長符号化方法により切り替える、もしくは、フレームヘッダ、スライスヘッダ、マクロブロックヘッダ、ブロックヘッダなどのフラグにより切り替えることによって、さらに符号化効率を高めることができる。また、復号対象ブロックの復号済みの低周波成分の値によって、高周波成分の変換係数の位置を切り替えることによって符号化効率を高めることができる。
第１実施形態の画像復号装置１００の構成を示すブロック図である。 第１実施形態における境界を説明する図である。 第１実施形態におけるフィルタ部の構成を示すブロック図である。 第１実施形態におけるフィルタ画素を説明する図である。 第１実施形態における勾配算出部の構成を示すブロック図である。 第１実施形態における表現形式ａのフィルタパラメータを説明する図である。 第１実施形態における表現形式ｂのフィルタパラメータを説明する図である。 第１実施形態におけるフィルタパラメータ保存部の動作を説明する図である。 第１実施形態におけるフィルタパラメータ保存部の動作を説明する図である。 第１実施形態におけるフィルタパラメータ保存部の動作を説明する図である。 第２実施形態の画像復号装置の構成を示すブロック図である。 第２実施形態において可変長符号化方式により切り替えられる符号化する変換係数の位置を説明する図である。 第２実施形態において、符号化する変換係数の位置を説明するための図である。 第２実施形態においてヘッダの構成を説明する図である。 第２実施形態において符号化する変換係数の位置を説明するための図である。 第２実施形態において符号化する変換係数の位置の選択方法を説明する図である。 第２実施形態におけるブロックサイズの設定方法を示す図である。 第２実施形態におけるブロックサイズの設定方法を示す図である。 第２実施形態におけるブロックサイズの設定方法を示す図である。 第２実施形態における周波数成分算出部の動作を説明する図である。 第３実施形態の画像符号化装置の構成を示すブロック図である。 第３実施形態のフィルタパラメータ算出部の構成を示すブロック図である。 第３実施形態における学習用データ保存部の動作を説明する図である。 第３実施形態における学習用データ保存部の動作を説明する図である。 第３実施形態における学習用データ保存部の動作を説明する図である。 従来における境界を説明する図である。
　以下、本発明の実施形態を図面を参照して説明する。
　［１．第１実施形態］
　まず、第１実施形態として、本発明を適用した画像復号装置について説明する。
　［１．１　画像復号装置の構成］
　本発明を適用した画像復号装置について、図１を参照しつつ以下に説明する。図１は、第１実施形態に係る画像復号装置１００の構成を示すブロック図である。
　図１に示すように、画像復号装置１００は、予測部１１１と、可変長符号化復号部１１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、フィルタパラメータ保存部１１９と、フィルタ部１２０と、加算部１０９とを備えて構成されている。画像復号装置１００の動作について以下に説明する。
　［１．２　画像復号装置の動作］
　画像復号装置１００に入力された符号化データは、まず、可変長符号化復号部１１４に入力される。可変長符号化復号部１１４は、符号化データの可変長復号により、フィルタ処理に用いる重み係数を指定するためのパラメータであるフィルタパラメータ及び予測方法を示す予測信号、変換・量子化された予測残差信号を復号する。
　逆量子化部１１５は、可変長符号化復号部１１４より入力された変換・量子化された予測残差信号を逆量子化する。逆変換部１１６は、逆量子化部１１５より入力された逆量子化された信号を逆変換し、予測残差を生成する。
　予測部１１１は、可変長符号化復号部１１４より復号された予測信号が入力され、当該予測信号に従って、フレームメモリ１１７に格納された復号済みの画像を用いて、予測信号を生成する。
　加算部１０９は、予測部１１１より入力された予測信号と、逆変換部１１６より入力された予測残差の加算により、復号画像を生成し、フレームメモリ１１７に格納する。
　フィルタパラメータ保存部１１９は、可変長符号化復号部１１４で復号されたフィルタパラメータが入力され、保存される。フィルタ部１２０は、フィルタパラメータ保存部１１９に保存されたフィルタパラメータを読み出し、フレームメモリ１１７に格納された画像のフィルタ処理を行う。
　［１．３　フィルタ部の説明］
　ここで、フィルタ部１２０について詳細に説明する。
　図２は、ブロックの境界部分における画素を模式的に示した図である。図２では、互いに隣接するブロックのうち、一方のブロックの画素を画素Ｐｉとし、もう一方のブロックの画素を画素Ｑｉとしている（ｉは０～ｎまでの整数）。なお、画素Ｐｉおよび画素Ｑｉにおけるｉは、ブロック境界からの距離に相当する。
　また、図２では、画素Ｐｉおよび画素Ｑｉに対応する画素値をそれぞれ画素値ｐｉおよび画素値ｑｉとして示しており、処理対象画素Ｐｋにおける処理前の画素値ｐｋに対応する処理後の画素値をｐｋ´として示している。ここで、ｋは０からブロックサイズ以下の値をとる整数である（ｋは０～ｎ）。
　図３は、フィルタ部１２０の内部構成を示す図である。フィルタ部１２０は、差分値算出部４０１と、勾配評価部４０２と、重み係数算出部４０３と、画素値算出部４０４とを備えて構成される。
　差分値算出部４０１は、対象ブロックの境界画素Ｐ０の画素値ｐ０と、隣接ブロックの隣接画素Ｑ０の画素値ｑ０との差分値絶対値ｄを算出する。すなわち、差分値算出部４０１は、
　　ｄ＝ＡＢＳ（ｐ０－ｑ０）・・・（１－１）
　を用いて差分値絶対値ｄを算出する。
　以上は、ブロック歪みの低減を考慮して、ブロック境界に垂直な方向（１次元）画素を参照してフィルタ処理を行う場合を説明したが、フィルタ対象画素周辺の２次元の画素を参照してフィルタ処理を行っても良い。
　図４は、２次元のフィルタ対象画素を説明する図である。フィルタ対象画素の画素値ｒ２２に対し、
　差分値算出部４０１は、
　　ｄ＝ＡＢＳ（ｒ２２－ｒ３２）＋ＡＢＳ（ｒ２２－ｒ１２）＋ＡＢＳ（ｒ２２－ｒ２３）＋ＡＢＳ（ｒ２２－ｒ２１）・・・（１－２）
を用いて差分値絶対値ｄを算出する。
　［１．４　画素値算出部の説明］
　画素値算出部４０４は、差分値算出部４０１において算出した差分値絶対値ｄが閾値Ｔｈ１未満であるか否かを判定する。すなわち、ｄ＜αであるか否かを判定する（α＝閾値Ｔｈ１）。差分値絶対値ｄが閾値Ｔｈ１未満である場合、すなわちｄ＜αである場合、画素値算出部４０４は、フィルタ対象画素の画素値ｐｋと、境界画素値ｑ０から、フィルタ処理後の画素値ｐｋ´を算出する。
　より具体的には、
　　ｐｋ´＝　Ｗｋ×ｐｋ＋（１―Ｗｋ）×ｑ０　　　　・・・（１－３）
　を用いて処理後の画素値ｐｋ´を算出する。Ｗｋは、距離ｋにより定まる重み係数である。重み係数Ｗｋは、後述の重み係数算出部４０３から出力された値を用いる。
　なお、重み係数Ｗｋは小数ではなく整数で扱ってもかまわない。この場合、重み係数は２のＮ乗倍（例えば、３２倍）して整数化した値を用いる。より具体的には、
　式（１－３）を変形した以下の式によって算出する。
　　ｐｋ´＝　（Ｗｋ×ｐｋ＋（３２―Ｗｋ）×ｑ０）／３２・・・（１－４）
　なお、上記説明では、フィルタ処理後の画素値ｐｋ´を、２つの画素値ｐｋとｑ０のみから計算しているが、より多くの画素を用いる構成でも構わない。
　この場合、フィルタ対象画素Ｐｋのフィルタ処理後の画素値をｐｋ´は、画素値ｐｘ（ｋ＝０～ｌ－１）、画素値ｑｘ（ｘ＝０～ｍ－１）と、画素値ｐｘに対する重み係数αｋｘ（ｘ＝０～ｌ－１）、画素値ｑｘに対する重み係数βｋｘ（ｘ＝０～ｍ－１）と、γｋを用いて、フィルタ処理は、
　ｐｋ´＝　Σαｋｘ×ｐｘ＋Σβｋｘ×ｑｘ＋γｋ　　　　　・・・（１－５）
　のように表現される。この場合、重み係数の数は、境界からの距離ｋ毎に（ｌ＋ｍ＋１）個必要になる。
　もっとも適当な場合は、画素値として、ｐｋとｐ０、ｑ０を用いる場合であり、
　この場合、
　　ｐｋ´＝　αｋｋ×ｐｋ＋αｋ０×ｐ０＋βｋ０×ｑ０＋γｋ　・・・（１－６）
　で表現される。
　また、重み係数の和（αｋｋ＋αｋ０＋βｋ０）を１とし、γｋ＝０とすれば
　　ｐｋ´＝　αｋｋ×ｐｋ＋（１－αｋｋ―β０）×ｐ０＋βｋ０×ｑ０・・・（１－７）
　となる。重み係数の数は、各ｐｋに対し、２つ（αｋｋ、βｋ０）である。
　図４のようにフィルタ参照画素が２次元的な場合には、画素値算出部４０４は、フィルタ対象画素周辺の画素値ｒｉｊと重み係数αｉｊの線形和より、フィルタ処理後の画素値ｒ２２´を定める（ここでｉ、ｊは０から４の整数）。
　具体的には、
　　ｒ２２´＝　Σαｉｊ×ｒｉｊ＋γ
　を用いて算出する。
　この場合、重み係数αｉｊの数は２５個になるが、画素位置の対称性を利用して、
　　α４ｊ＝α０ｊ
　　α３ｊ＝α１ｊ
　　αｉ４＝αｉ０
　　αｉ３＝αｉ１
　とすることも可能である。この場合、重み係数の数は９個に減らすことができる。
　［１．５　勾配評価部の説明］
　図５は、勾配評価部４０２の内部の構成を示すブロック図である。勾配評価部４０２は、差分算出部６０１と、勾配値算出部６０２と、勾配インデックス算出部６０３とを備えて構成されており、場合によって、周波数成分量算出部６０４を備えることとする。周波数成分量算出部６０４については、第２実施形態で説明するため、ここでは説明しない。
　本実施形態の勾配評価部４０２は、フレームメモリ１１７より読み出した画素値を用いて、勾配の大きさを示す情報である勾配インデックスを算出するものである。
　差分算出部６０１は、フィルタ対象画素とその周辺画素の画素値を利用して勾配値算出に必要な差分値を算出する。本実施形態では、差分値ｄ＿ｐ０ｐ２を算出する。
　　ｄ＿ｐ０ｐ２＝ＡＢＳ（ｐ２－ｐ０）
　次に、勾配値算出部６０２は、差分算出部６０１で得られた差分値を用いて、勾配値ｇを算出する。より具体的には、
　　ｇ＝ｄ＿ｐ０ｐ２
により算出する。
　図４のようにフィルタ参照画素が２次元的な場合には、差分算出部６０１は、
　　ｄ＿ｒｉｊ＝ＡＢＳ（ｒｉｊ）―ＡＢＳ（ｒ２２）
　を算出し、勾配値算出部６０２は、差分算出部６０１で得られた差分値を用いて、勾配値ｇを
　　ｇ＝ｄ＿ｒ４２＋ｄ＿ｒ０２＋ｄ＿ｒ２４＋ｄ＿ｒ２０
　により算出する。
　勾配インデックス算出部６０３は、勾配値算出部６０２で得られた勾配値から、勾配インデックスｇｉを算出する。より具体的には、以下の式により、勾配インデックスｇｉを算出する。
　　ｇｉ　＝　０　（ｇ＝Ｔ０）
　　　　　＝　１　（ｇ＞Ｔ１　かつ　ｇ＜＝Ｔ２）
　　　　　＝　２　（ｇ＞Ｔ２　かつ　ｇ＜＝Ｔ３）
　　　　　＝　３　（ｇ＞Ｔ３）
　Ｔ０、Ｔ１、Ｔ２、Ｔ３は判定の閾値を定める所定の定数であり、本実施形態では、
　　｛Ｔ０、Ｔ１、Ｔ２、Ｔ３｝＝｛０、２、４、６｝
　を用いる。
　［１．６　重み係数算出部の説明］
　重み係数算出部４０３は、勾配の大きさ毎に格納されたフィルタパラメータをフィルタパラメータ保存部１１９から読み出す。より、具体的には、勾配インデックスｇｉ毎のフィルタパラメータＫ１、Ｋ２、・・・、Ｋｎ（ｎはパラメータ数を表す定数）を読み出す。
　重み係数算出部４０３は、読み出したフィルタパラメータからフィルタ処理に用いる重み係数を算出する。重み係数の算出の仕方は、フィルタパラメータの表現形式によって異なる。フィルタパラメータの表現形式は、本実施形態では、下記の表現形式ａもしくは表現形式ｂを用いる。
　　（表現形式ａ）フィルタパラメータは、フィルタ処理の重み係数を表す
　　（表現形式ｂ）フィルタパラメータは、フィルタ処理の重み係数を算出する式のパラメータを表す。
　なお、フィルタパラメータを表現形式ａで表すか、表現形式ｂで表すかは、符号化装置、復号装置であらかじめ同じ方法を使うものとして決定しておいても構わないし、符号化データ中のフラグ、例えば、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダで指定する方法でも構わない。符号化データ中のフラグで指定する場合には、可変長符号化復号部１１４は、符号化データから、表現形式を示すフラグを復号し、画素値算出部４０４に出力する。
　図６は、表現形式ａの場合における、重みパラメータＫ１、・・・、Ｋｎから境界からの距離ｋにおける重み係数Ｗｋを求める方法を示すものである。重み係数算出部４０３は、
　Ｗｋ　＝　Ｋ１　（ｋ＝０）
　　　　＝　Ｋ２　（ｋ＝１）
　　　　＝　０　　（ｋ＞２）
　によって求める。
　また、重みパラメータの数がｎの場合には、
　Ｗｋ　＝　Ｋｎ　（ｋ＝ｎ－１）
　　　　＝　０　　（ｋ＞ｎ）
　によって求める。
　図７は、表現形式ｂの場合における、重みパラメータＫ１、・・・、Ｋｎから画素Ｐｋのフィルタ処理に用いる重み係数Ｗｋを求める方法を示すものである。この場合、重み係数算出部４０３は、
　Ｗｋ　＝　Ｋ１　－　Ｋ２　×　ｋ　（ｋ＜Ｋ１／Ｋ２）
　　　　＝　０　　　　　　　　　　　（ｋ＞＝Ｋ１／Ｋ２）
　によって求める。
　なお、式（１－３）のように画素Ｐｋに対する重み係数がＷｋ１つに定まる場合を説明したが、式（１－５）式（１－７）のように画素Ｐｋに対する重み係数が複数必要な場合もある。例えば、重み係数が、画素値ｐｋに対しαｋｘ（ｘ＝０～ｌ－１）、画素値ｑｋに対しβｋｘ（ｘ＝０～ｍ－１）とγｋという（ｌ＋ｍ＋１）個である場合がある。この場合、重み係数算出部４０３は、フィルタパラメータから（ｌ＋ｍ＋１）個の重み係数を定める。
　より具体的には、表現形式ａでは、重み係数算出部４０３はフィルタパラメータＫαｘ１、Ｋαｘ２、Ｋβｘ１、Ｋβｘ２、Ｋγｘ１、Ｋγｘ２から、重み係数を
　αｘｋ　＝　Ｋαｘ１　（ｋ＝０）
　　　　　＝　Ｋαｘ２　（ｋ＝１）
　　　　　＝　０　　　　（ｋ＞１）
　βｘｋ　＝　Ｋβｘ１　（ｋ＝０）
　　　　　＝　Ｋβｘ２　（ｋ＝１）
　　　　　＝　０　　　　（ｋ＞１）
　γｋ　　＝　Ｋγ１　　（ｋ＝０）
　　　　　＝　Ｋγ２　　（ｋ＝１）
　　　　　＝　０　　　　（ｋ＞１）
　により求める。
　表現形式ｂでは、重み係数算出部４０３は、フィルタパラメータＫαｘ１、Ｋαｘ２、Ｋβｘ１、Ｋβｘ２、Ｋγｘ１、Ｋγｘ２から、重み係数を
　αｋｘ　＝　Ｋαｘ１＋Ｋαｘ２×ｋ　　　　（ｋ＜Ｋαｘ１／Ｋαｘ２）
　　　　　＝　０　　　　　　　　　　　　　　（ｋ＞＝Ｋαｘ１／Ｋαｘ２）
　βｋｘ　＝　Ｋβｘ１＋Ｋβｘ２×ｋ　　　　（ｋ＜Ｋβｘ１／Ｋβｘ２）
　　　　　＝　０　　　　　　　　　　　　　　（ｋ＞＝Ｋβｘ１／Ｋβｘ２）
　γｋ　　＝　Ｋγｘ１＋Ｋγｘ２×ｋ　　　　（ｋ＜Ｋγｘ１／Ｋγｘ２）
　　　　　＝　０　　　　　　　　　　　　　　（ｋ＞＝Ｋγｘ１／Ｋγｘ２）
　により求める。
　図４のようにフィルタ参照画素が５×５の２次元的な場合には、表現形式ａでは、ｚ＝ｉ＋５×ｊとして、フィルタパラメータＫｚから重み係数αｉｊを
　αｉｊ　＝　Ｋｚ　（ｚ＝ｉ＋５×ｊ、ｉ、ｊは０から４の整数）
　　　　　＝　０　　（上記以外）
　により求める。
　表現形式ｂでは、フィルタパラメータＫ１、Ｋ２から重み係数αｉｊを
　αｉｊ＝Ｋ１　－　Ｋ２　×　ｋ　　　（ｋ＜Ｋ１／Ｋ２）
　　　　＝０　　　　　　　　　　　　　（ｋ＞＝Ｋ１／Ｋ２）
により求める。但しｋ＝ＡＢＳ（ｉ）＋ＡＢＳ（ｊ）。
　［１．７　重み係数算出部の説明補足］
　ところで、上記の説明では、表現形式ａの場合には、画素Ｐｋの重み係数に対応するフィルタパラメータが存在することを仮定している。しかし、画素Ｐｋの重み係数に対応するフィルタパラメータが存在するわけではない。
　例えば、距離ｋが０、１、２、３、４、５の場合にフィルタ処理を実行するには、距離ｋが０、１、２、３、４、５の重み係数を必要とするが、フィルタパラメータは、距離１、３の場合のみにしか与えられていない場合がある。
　この場合、距離ｋに最も近いフィルタパラメータの線形近似により重み係数を補間する。例えば、境界からの距離ｋが１、３のフィルタパラメータＷ１、Ｗ３が得られている場合には、境界からの距離０、２、４、５については、フィルタパラメータの値を用いて線形近似を行う。より具体的には、境界からの距離ｋの重み係数Ｗｋは、フィルタパラメータＫ１、Ｋ３及び所定の定数ＷＷ０、ＷＷ６を用いて、
　Ｗ０　＝　ＷＷ０　　　　　　　　　　（Ｋ＝０）
　Ｗ１　＝　Ｋ１　　　　　　　　　　　（Ｋ＝１）
　Ｗ２　＝　（Ｋ１＋Ｋ３）／２　　　　（Ｋ＝２）
　Ｗ３　＝　Ｋ３　　　　　　　　　　　（Ｋ＝３）
　Ｗ４　＝　（２×Ｋ３＋ＷＷ６）／３　（Ｋ＝４）
　Ｗ５　＝　（Ｋ３＋２×ＷＷ６）／３　（Ｋ＝５）
　に定める。なお、所定の定数ＷＷ０、ＷＷ６は、例えば０．４５、０．０が適当である。
　［１．８　フィルタパラメータ保存部の説明］
　図８、図９、図１０は、フィルタパラメータ保存部１１９における、フィルタパラメータの格納方法を説明するための図である。図８に示すとおり、フィルタパラメータ保存部１１９は、勾配インデックス毎にフィルタパラメータを格納する。フィルタパラメータは、複数の値からなるベクトルであり、Ｋ１、Ｋ２、・・・、Ｋｎで与えられる。フィルタパラメータ保存部１１９は、内部に格納された勾配インデックス毎のフィルタパラメータをフィルタ部１２０に出力する。
　フィルタパラメータ保存部１１９は、また、ブロックサイズ管理部２０１の出力に従い、ブロックサイズ毎に、学習用データを保存することが好適である。この場合、図９に示す通り、ブロックサイズ別及び勾配インデックス別に対応するフィルタパラメータを保存する。
　また、図１０に示す通り、水平境界と垂直境界毎にさらに分けて、フィルタパラメータを保存することも好適である。特に、ブロックサイズが大きい場合や、ブロックの横サイズと縦サイズとが異なる場合に、水平境界と垂直境界で分けて、フィルタパラメータを保存すると好適である。
　以上説明したとおり第１実施形態の画像復号装置は、符号化データから、フィルタパラメータを復号し、境界の画素値から計算される勾配値の大きさに従って、復号されたフィルタパラメータを読み出し、読み出されたフィルタパラメータから算出される重み係数に応じて、フィルタ処理を行うことによって、符号化されたときの画像に近い画像を復号することが可能になる。
　［２．第２実施形態］
　図１１は、第２実施形態に係る画像復号装置２００の構成を示すブロック図である。なお、第１実施形態と同様の部材に関しては、同一の符号を付し、その説明を省略する。図２に示すように、画像復号装置２００は、予測部１１１と、可変長符号化復号部１１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、ブロックサイズ管理部２０１と、フィルタパラメータ保存部１１９と、フィルタ部１２０とを備えて構成されている。画像復号装置２００の動作について以下に説明する。
　画像復号装置２００に入力された符号化データは、まず、可変長符号化復号部１１４に入力される。可変長符号化復号部１１４は、符号化データの可変長復号により、フィルタパラメータ、及び、予測方法を示す予測信号、予測及び変換に用いられるブロックサイズ、変換・量子化された予測残差信号を復号する。復号されたブロックサイズは、ブロックサイズ管理部２０１に格納される。
　第２実施形態に係る画像復号装置は、ブロックサイズ管理部２０１に格納されたブロックサイズに応じて、予測部１１１、逆量子化部１１５、逆変換部１１６、フィルタ部１２０の動作を変える。なお、第１実施形態では説明の簡略化のためブロックサイズ管理部２０１を図示していないが、ブロックサイズを可変にする方法（可変ブロックサイズ）を用いて符号化された符号化データの復号及びフィルタ処理を損なうものではない。
　本実施形態の復号装置ではブロックサイズとして４ｘ４、８ｘ８、３２ｘ３２、６４ｘ１６を用いる。ブロックサイズＭ×Ｎとは、横Ｍ画素、縦Ｎ画素のブロックを意味する。
　［２．１　変換係数の数を制限する手法］
　可変長符号化復号部１１４は予測残差信号を復号する。ブロックサイズが４ｘ４、８ｘ８、３２ｘ３２の場合は、ブロックサイズ分の変換係数を復号する。ブロックサイズ６４ｘ１６の場合には、１０２４個の変換係数のうち所定の数（ここでは３２個）のみを復号する。なお、本実施形態で復号可能な符号化データを符号化する符号化装置においてもブロックサイズが６４ｘ１６の場合には変換係数のうち所定の数のみを符号化する。
　逆量子化部１１５、逆変換部１１６の動作は第１実施形態で説明した通りである。一般に、ブロックサイズが大きい場合の逆変換の処理量は大きいものになるが、ブロックサイズが６４ｘ１６の場合には、所定の数（本実施形態では３２個）の変換係数のみを処理できれば良いので逆量子化部１１５及び逆変換部１１６の処理量を削減できる。
　高い符号化効率を達成するために適当なブロックサイズは、画像の特性に応じて異なる。一般に、画像サイズが大きいほど画素間相関が高まるため、画像サイズが大きいほど最大ブロックサイズも大きくしたほうが良い。実際、大きなブロックサイズは、平坦部の符号化効率向上に効果がある。
　しかし、ブロックサイズの位置に制約がある場合、例えば、フレーム内の位置として、ブロックサイズの整数倍の位置にのみ、当該ブロックを用いることが出来る場合には、ブロックサイズが大きくなるほど、この制約が厳しくなる。この場合、ブロックサイズが大きくなるほど、ブロック位置の制約から、平坦部をカバーすることが困難になる。そのため、平坦部領域が長く連続していない場合には、ブロックサイズの一辺が３２画素を超えることは適当ではない。従って、最大ブロックサイズは３２ｘ３２程度が良い。平坦部領域が長く連続している場合には、最大ブロックサイズは６４ｘ６４などが良い。
　一部の変換係数のみを符号化する方法における、適当な変換係数の数は、画像の特性に応じて異なる。エッジ部以外の領域（画素値が急峻に変化する部分のない領域）における変化の勾配が大きい画像ほど、高次の変換係数が必要であるため、変換係数の数を多くする方が良く（例えば４８個）、勾配が小さい場合には、変換係数の数は少なくて良い（例えば１６個）。
　また、適当な変換係数の数は、変換係数を符号化する可変長符号化の方法によっても異なる。符号化効率の高い算術符号を用いる場合には、変換係数の数を多くする方が良く（例えば４０個）、算術符号を用いない場合には、変換係数の数を小さくする方が良い（例えば１６個）。
　一つの方法では、可変長符号化の方法がフラグ（以下、ＶＬＣモードフラグと呼ぶ）として符号化データに備える場合には、可変長符号化復号部１１４は、可変長符号化の方法を示すＶＬＣモードフラグを復号し、ＶＬＣモードフラグが算術符号など高効率な可変長符号化方式を示す場合には、一部の変換係数のみを符号化する方法における変換係数の数をＮｍ個とし、ＶＬＣモードフラグがそれ以外の場合にはＮｎ個（＜Ｎｍ）とする。
　図１２は、以上説明した、可変長符号化方式により切り替えられる符号化する変換係数の位置を説明する図である。算術符号化の場合には、図１２（ａ）に示すように４０個、それ以外の場合には図１２（ｂ）に示すように算術符号の場合よりも少ない１６個の変換係数を復号する。
　図１３は、符号化する変換係数の位置を説明するための図である。図１３に示すように、変換係数の位置は切り替えられ、デフォルトと水平方向優先、垂直方向優先がある。この場合、エッジ以外の領域の変換係数が、水平方向に広がっている場合には、符号化する変換係数の位置を水平方向優先とし、垂直方向に広がっている場合には、垂直方向優先とすることが望ましい。どちらでもない場合、もしくはどちらの方向にも広がっている場合には、デフォルトの位置を使うのが良い。また、水平方向優先、垂直方向優先の他に、対角方向優先を用いても良い。
　なお、変換係数の水平位置をｈ、垂直位置をｖで表すと、水平方向優先とは、ｈ＞ｖである係数の数Ｎｈの方が、ｈ＞ｖである係数の数Ｎｖよりも所定の数Ｔｈ以上大きい場合、すなわち
　Ｎｈ－Ｎｖ　＞＝　Ｔｈ
を指す。
　垂直方向優先とは、ｖ＞ｈである係数の数Ｎｖの方が、ｖ＞ｈである係数の数Ｎｈよりも所定の数Ｔｖ以上大きい場合、すなわち
　Ｎｖ－Ｎｈ　＞＝　Ｔｖ
を指す。
　対角成分優先とは、ｈ＝ｖである係数の数Ｎｄが所定の数Ｎｄ以上大きい場合、すなわち
　Ｎｖ－Ｎｈ　＞＝　Ｔｄ
を指す。
　図１４は、ブロックサイズ、変換係数の個数、変換係数の位置を符号化するヘッダの構成を示す図である。sizeidx_of_max_blockは、最大ブロックサイズを示すインデックスであり０からＮ－１の値をとる。sizeidx_of_max_blockを最大ブロックサイズに変換する式は、「ブロックサイズの横は１６×sizeidx_of_max_block、縦は１６」とする。
　sizeidx_of_max_blockから最大ブロックサイズを求める式は、上記に限らず、「ブロックサイズの横は１６×sizeidx_of_max_block、縦は１６×sizeidx_of_max_block」等としても良い。
　numidx_coeff_of_max_blockは、最大ブロックにおける変換係数の個数を示すインデックスであり、numidx_coeff_of_max_block×８個の変換係数を符号化する。
　scanidx_mode_of_max_blockは、変換係数の位置を示すインデックスであり０、１、２の値をとる。０はデフォルト、１は水平方向優先、２は垂直方向優先を示す。なお、３種の値とせず、２種とし、デフォルトと水平方向優先、もしくは、デフォルトと垂直方向を切り替える方法でも良い。また、４種とし、デフォルトと水平方向優先、垂直方向優先、対角方向優先の４種を切り替えても良い。
　図１４に示すとおりブロックサイズ（特に最大ブロックサイズ）、変換係数の個数、変換係数の位置（例えば、デフォルト、水平方向優先、垂直方向優先の３種を示すフラグ）についての情報は、シーケンスを規定するヘッダ、フレームを規定するヘッダ、スライスヘッダ、マクロブロックのヘッダ、ブロックのヘッダ、で符号化することが望ましい。画像復号装置２００の可変長符号化復号部１１４は、それらヘッダに符号化された、変換係数の個数と、変換係数の位置を復号し、変換係数の復号に利用する。
　なお、変換係数の位置は、ヘッダにおいて明示的に符号化するのではなく、低周波数成分から高周波数成分の順に変換係数を符号化する可変長符号化方法を用いる場合において、低周波数成分の値に応じて、高周波数成分の変換係数の位置を変更する方法がある。
　図１５は、変換係数の位置（＝スキャン方法）とスキャン順を説明する図である。図中の番号は、変換係数が復号される順序（スキャン順）を示す。また順序ｍにおいて復号される変換係数の値をＣｍとする。図１５（ａ）は低周波数成分、（ｂ）はデフォルト、（ｃ）は水平方向優先、（ｄ）は垂直方向優先、（ｅ）は対角方向優先を示す。
　可変長符号化復号部１１４は、所定の数（ここでは１０個）の変換係数を復号する。図１５（ａ）は、所定の数の変換係数の位置の例が示されている。可変長符号化復号部１１４は、所定の数以上の変換係数が復号された時点で、水平方向に近い（ｈ＜ｖとなる）変換係数の絶対値と、垂直方向に近い（ｖ＜ｈとなる）変換係数の絶対値の重み付きの差で算出される水平方向優先指数Ｈ、垂直方向優先指数Ｖを算出する。より具体的には、以下の値を算出する。
　水平方向優先指数Ｈ＝
　ＡＢＳ（Ｃ３）＋ＡＢＳ（Ｃ６）－２×（ＡＢＳ（Ｃ５）＋ＡＢＳ（Ｃ９））
　垂直方向優先指数Ｖ＝
　ＡＢＳ（Ｃ５）＋ＡＢＳ（Ｃ９）－２×（ＡＢＳ（Ｃ３）＋ＡＢＳ（Ｃ６））
　なお、最低次数の変換係数は、高次の変換係数が存在しない場合にも大きな値を有するなど、高次の変換係数との相関が小さいことが多いため、水平方向優先指数Ｈ、垂直方向優先指数Ｖの算出には、最低次数の変換係数以外、すなわち、Ｃ１とＣ２以外の変換係数を用いることが好適である。
　なお、ブロックの横のサイズと縦のサイズが異なる場合には、水平方向優先指数Ｈの算出に用いる重みと、垂直方向優先指数Ｖの算出に用いる重みを、水平方向に近い変換係数の絶対値と、垂直方向に近い変換係数の絶対値の間で対称とせず、異なるものとすることが好適である。
　例えば、ブロックの横のサイズが縦のサイズよりも大きい場合には、水平方向優先指数Ｈの算出に用いる、垂直方向に近い変換係数の重みの和ＨＳｕｍＶと水平方向に近い変換係数の重みの和ＨＳｕｍＨの比ＨＲ（＝ＨＳｕｍＶ／ＨＳｕｍＨ）よりも、垂直方向優先指数Ｖの算出に用いる、垂直方向に近い変換係数の重みの和ＶＳｕｍＶと水平方向に近い変換係数の重みの和ＶＳｕｍＶの比ＶＲ（ＶＳｕｍＨ／ＶＳｕｍＶ）よりも、大きくすることが好適である。ブロックの横のサイズが縦のサイズよりも小さい場合は、この逆とする。
　より、具体的には、ブロックのサイズが６４×１６の場合、
　水平方向優先指数Ｈ＝
　　ＡＢＳ（Ｃ３）＋ＡＢＳ（Ｃ６）－４×（ＡＢＳ（Ｃ５）＋ＡＢＳ（Ｃ９））
　垂直方向優先指数Ｖ＝
　　ＡＢＳ（Ｃ５）＋ＡＢＳ（Ｃ９）－（ＡＢＳ（Ｃ３）＋ＡＢＳ（Ｃ６））
とすることが好適である。
　このときＨＲ＝ＨＳｕｍＶ／ＨＳｕｍＨ＝（４＋４）／（１＋１）＝４、ＶＲ＝（１＋１）／（１＋１）＝１であり、上記説明を満たす。
　可変長符号化復号部１１４は、水平方向優先指数Ｈが０よりも大きい場合には、高周波数成分の変換係数の位置として、水平方向優先を選択する。垂直方向優先指数Ｖが０よりも大きい場合には、高周波数成分の変換係数の位置として、垂直方向優先を選択する。それ以外の場合にはデフォルトを用いる。
　可変長符号化復号部１１４は、変換係数の位置を、選択されたスキャン方法で定まる位置に並び替えた上で、逆量子化部１１５に変換係数を出力する。
　図１６は、上記の可変長符号化復号部１１４の動作を説明する図である。可変長符号化復号部１１４は、まず変換係数の数ｎＣを復号し、さらに、変換係数の位置を示す情報であるランＲと、変換係数の値を示すレベルＬを復号するものとする。
　ラストＬａｓｔと呼ばれる値を復号することにより、変換係数の数ｎＣを最初に復号しない方法も可能である。その場合、以下のステップにおいて、最後の変換係数であるかの判定が、Ｒｅｍが０であるかから、Ｌａｓｔが真であるかの判定に変わる。
　Ｓ２５０１：変換係数の残数ＲｅｍにｎＣ、スキャン方法Ｓにデフォルト、スキャン位置Ｉに０を設定する。
　Ｓ２５０２：最後の変換係数である場合（Ｒｅｍ＝０）には、Ｓ２５２０に遷移し復号を終了する。最後の変換係数ではない場合（Ｒｅｍ＞０）には、Ｓ２５０３に遷移する。
　Ｓ２５０３：変換係数のランＲとレベルＬを復号し、スキャン位置Ｉと、変換係数の残数ＲｅｍをＩ＝Ｉ＋Ｒ及びＲｅｍ＝Ｒｅｍ－１により更新する。
　Ｓ２５０４：変換係数の位置Ｉが所定の数Ｔ以上である場合には、Ｓ２５１１に遷移する。所定の数Ｔ未満の場合には、Ｓ２５０５に遷移する。
　Ｓ２５０５：水平方向優先指数Ｈを算出する。
　Ｓ２５０６：水平方向優先指数Ｈが０より大きい場合には、Ｓ２５０７に遷移する。それ以外の場合にはＳ２５０８に遷移する。
　Ｓ２５０７：スキャン方法Ｓを水平方向優先に設定する。
　Ｓ２５０８：垂直方向優先指数Ｖを算出する。
　Ｓ２５０９：垂直方向優先指数Ｖが０より大きい場合には、Ｓ２５１０に遷移する。それ以外の場合にはＳ２５１１に遷移する。
　Ｓ２５１０：スキャン方法Ｓを垂直方向優先に設定する。
　Ｓ２５１１：スキャン方法Ｓとスキャン位置Ｉで定まる変換係数の位置にＳ２５０３で得られたレベルＬを格納する。なお、スキャン方法Ｓの選択肢として、水平方向優先、垂直方向に加え、対角方向優先を追加する方法も好適である。
　［２．２　ブロックサイズの設定方法］
　図１７、図１８、図１９は、ブロックサイズの設定方法を示す図である。図１３、図１４に示す方法では、使用するブロックサイズ４ｘ４、８ｘ８、３２ｘ３２、６４ｘ１６の最小公倍数となるブロックサイズ（ここでは６４ｘ３２）の定数倍のブロックをマクロブロックとして扱う。この場合には、図１８に示すように画面をマクロブロックに分割し、マクロブロック単位で処理を行う。
　図１８中の網掛け部分が入力画面であり、マクロブロックは画面を覆うようにする。画面の端などで、マクロブロックの領域が、画面を越える場合には、復号は、マクロブロック全体で覆われる領域で行い。画像復号装置から出力する時点で、画面の範囲だけを切り出して外部に出力する。図１８には、マクロブロックの左上座標を黒点で示してある。
　図１７に示すように、分割した６４ｘ３２のマクロブロックの中では、さらに、３２ｘ３２、６４ｘ１６に分割する。分割された３２ｘ３２及び６４ｘ１６のブロックはさらに小さなブロックに分割する。最終的に、４ｘ４、８ｘ８、３２ｘ３２、６４ｘ１６のブロックに分割される。これをツリー分解による方法と呼ぶ。
　図１９に示す方法は、ツリー分解とは異なる方法である。使用するブロックサイズの最小公倍数となるブロックサイズの定数倍によらず、あるブロックサイズを、マクロブロックサイズとして設定する。ここでは例えば３２ｘ１６をマクロブロックとする。このマクロブロック単位で、画面をラスタ順に走査し、この単位で、６４ｘ３２ブロック、３２ｘ３２ブロック、マクロブロック（３２ｘ１６）を選択する。マクロブロックとして選択された領域については、さらに４ｘ４もしくは８ｘ８に分割される。
　一度、ブロックサイズの選択がなされると、すでに選択された領域（６４ｘ１６もしくは３２ｘ３２もしくは３２ｘ１６）をスキップした上で、さらに画面をラスタ順に走査し、再度６４ｘ３２ブロック、３２ｘ３２ブロック、マクロブロック（３２ｘ１６）からブロックサイズを選択する。この走査を画面内で繰り返すことで、画面全体を各ブロックに分割する。この方法は、ツリー分割による方法よりも小さな単位で、大きなブロックサイズのブロックの位置を定めることができるので、大ブロック優先手法と呼ぶ。
　このように、ツリー分割よりも大ブロック優先の方が、ブロックの分割方法を定める自由度は大きくなるが、ブロック分割方法を定める符号量は大きくなる。
　［２．３　フィルタ部の説明］
　第２実施形態のフィルタ部１２０も、第１実施形態と同じく図３の通りであり、差分値算出部４０１と、勾配評価部４０２と、重み係数算出部４０３と、画素値算出部４０４とを備えて構成される。
　第２実施形態の勾配評価部４０２は、ブロックサイズ管理部２０１から読み出したブロックサイズ毎に異なる方法で、フレームメモリ１１７より読み出した画素値を用いて、勾配値を算出する。
　勾配評価部４０２の構成要素である差分算出部６０１は、勾配値算出に必要な差分値を算出する。より具体的には以下の差分値を算出する。
　　ｄ＿ｐ０ｐ２　＝　ＡＢＳ（ｐ０－ｐ２）
　　ｄ＿ｐ０ｐ４　＝　ＡＢＳ（ｐ０－ｐ４）
　　ｄ＿ｐ０ｐ８　＝　ＡＢＳ（ｐ０－ｐ８）
　　ｄ＿ｐ２ｐ４　＝　ＡＢＳ（ｐ２－ｐ４）
　　ｄ＿ｐ４ｐ８　＝　ＡＢＳ（ｐ４－ｐ８）
　　ｄ＿ｑ０ｑ８　＝　ＡＢＳ（ｑ０－ｑ８）
　勾配値算出部６０２は、差分値を用いて、ブロックサイズ毎に異なる方法で、勾配値を算出する。
　より具体的には、
　ブロックサイズが４ｘ４、８ｘ８の場合には、
　　ｇ＝ｄ＿ｐ０ｐ２
　ブロックサイズが３２ｘ３２の場合には、
　　ｇ＝ｄ＿ｐ０ｐ４＋ｄ＿ｐ４ｐ８
　ブロックサイズが６４ｘ１６の場合には、水平境界の場合には、
　　ｇ＝ｄ＿ｐ０ｐ２＋ｄ＿ｐ２ｐ４
　を用い、垂直境界の場合には、
　　ｇ＝ｄ＿ｐ０ｐ８＋ｄ＿ｑ０ｑ８
　を用いる。
　上記、算出方法で行われている通り、ブロックサイズが大きくなるほど、より離れた画素同士の差分値を用いて勾配値を算出する。これは、ブロックサイズが大きいほどより平坦部に用いられる可能性が高くなるためであり、平坦部の場合、所定の距離以上、離れた画素を用いないと差分値が生じないことに対応する。ブロックの横のサイズと縦のサイズが異なる場合には、垂直境界の処理を行う場合には、横のサイズに応じて勾配値を算出し、水平境界の処理を行う場合には、縦のサイズに応じて勾配値を算出する。
　また、ブロックサイズが所定の値以上となった場合、本実施形態では６４以上の場合には、フィルタ対象画素の側のブロックの画素値（ｐｋ）だけでなく、隣接ブロックの画素値（ｑｋ）も参照する。これはブロックサイズが特に大きい場合には、平坦度が極めて高い領域に用いられる場合が多く、境界に隣接するブロックのうち、片方を参照するだけでは十分にブロックの特性を測定できないためである。
　なお、フィルタ対象ブロックと隣接ブロックの画素値を参照して勾配値を算出する際には、フィルタ対象ブロックの側の参照する画素値の数を大きくすることは好適である。すなわち、勾配値の算出において、フィルタ対象ブロックから算出される差分値の数を隣接ブロックから算出される差分値の数よりも大きくすることは好適である。この場合、例えば、以下の式により、勾配値を算出する。
　　ｇ＝ｄ＿ｐ０ｐ４＋ｄ＿ｐ４ｐ８＋ｄ＿ｑ０ｑ８
　また、ブロックサイズ６４ｘ１６の場合には、復号する変換係数の数を所定の数に制限している。変換係数の数を制限したブロックについても、平坦度が極めて高い領域に用いられる場合が多いため、フィルタ対象画素の反対側のブロックの画素値も参照し、勾配値を算出することが好適である。
　勾配評価部４０２は、勾配値ｇから勾配インデックスを算出する。例えば、以下の式により、勾配インデックスｇｉを算出する。
　ｇｉ　＝　０　（ｇ＝Ｔ０）
　　　　＝　１　（ｇ＞Ｔ０　かつ　ｇ＜＝Ｔ１）
　　　　＝　２　（ｇ＞Ｔ１　かつ　ｇ＜＝Ｔ２）
　　　　＝　３　（ｇ＞Ｔ３）
　Ｔ０、Ｔ１、Ｔ２、Ｔ３は判定の閾値を与える所定の定数である。
　なお、Ｔ０、Ｔ１、Ｔ２、Ｔ３の値は、ブロックサイズに応じて変更しても良く、本実施形態では、
　｛Ｔ０、Ｔ１、Ｔ２、Ｔ３｝＝｛０、３、６、１２｝
　　　　　　・・・ブロックサイズ４ｘ４、８ｘ８
　｛Ｔ０、Ｔ１、Ｔ２、Ｔ３｝＝｛０、２、４、６｝
　　　　　　・・・ブロックサイズ３２ｘ３２、６４ｘ１６
　を用いる。
　［２．４　変換係数を利用した勾配値算出］
　勾配評価部４０２は、フレームメモリ１１７より読み出した画素値を用いて勾配値を算出するだけでなく、図５に示すように周波数成分量算出部６０４をさらに備え、逆変換部１１６から出力された変換係数の情報を用いても良い。
　図２０は周波数成分量算出部６０４の動作を説明するための図である。周波数成分量算出部６０４は、逆変換部１１６から出力された変換係数を用いて、変換係数の領域ごとに変換係数の絶対値和を計算し、低周波成分量、高周波成分量を計算する。より具体的には、図２０の細かい網がけ部で示す位置の変換係数を用いて低周波成分量を計算し、図２０の粗い網がけ部で示す位置の変換係数を用いて高周波成分量を計算する。低周波成分量、高周波成分量の計算は、絶対値和に限らず、２乗和や絶対値の最大値、２乗値の最大値など他の値でも良い。
　勾配値算出部６０２は、低周波成分量、高周波成分量、差分値に基づき勾配インデックスを算出する。より具体的には、以下の式により勾配インデックスｇｉを算出する。
　ｇｉ　＝　０　（低周波成分量＜＝ＴＬ０かつ、高周波成分量＜＝ＴＨ０）
　　　　＝　１　（上記以外かつ、低周波成分量＜＝ＴＬ１かつ、高周波成分量＜＝　ＴＨ１）
　　　　＝　２　（上記以外かつ、ｄ＿ｐ０ｐ２＜＝Ｔ１かつ、ｄ＿ｐ０ｐ２＜＝Ｔ２）
　　　　＝　３　（上記以外）
　なお、ＴＬ０、ＴＨ０、ＴＬ１、ＴＨ１は判定の閾値を定める所定の定数であり、例えば、ＴＬ０＝５０、ＴＨ０＝５０、ＴＬ１＝２００、ＴＨ１＝５０などがある。
　この方法は、低周波成分量及び高周波成分量が小さい場合には、変換係数の大きさで勾配インデックスを決定し、大きい場合は、変換係数の大きさによらず、画素値の差を用いて勾配インデックスを決定する。
　なお、変換係数を用いた勾配の大きさを決める方法（上記説明では勾配インデックスの決定）は、ブロックサイズが大きい場合に有効である。そのため、ブロックサイズが大きい場合、例えば３２ｘ３２、６４ｘ１６の場合に上記方法を用い、それ以外の場合は、変換係数を用いない方法を用いることが好適である。その理由は、ブロックサイズが大きい場合は、主に画素間相関が大きい領域に使用されることが多く、その場合、変換係数の大きさがそのブロックの特性を良く表すからである。
　ところで、ブロックサイズが大きい場合は、画素間相関が大きい画像領域だけでなく、繰り返しパターンのある領域に使用されることもある。このような場合には、変換係数だけではそのブロックの局所領域の勾配を十分に表現できない。しかし、繰り返しパターンのある領域では通常高周波成分量が大きく、この場合、上記の方法では、勾配インデックスの算出に差分値が用いられるため、この問題は生じない。
　変換係数を利用する方法は、勾配値の算出に用いる差分値を増加させることなく、広い範囲の特性を利用できる。
　また、ブロックサイズが６４ｘ１６など所定のサイズを超える場合には、下記のように、変換係数のみを用いた勾配値の大きさ測定方法が有効である。
ｇｉ　＝　０（低周波成分量＜＝ＴＬ０かつ、高周波成分量＜＝ＴＨ０）
　　　＝　１（上記以外かつ、低周波成分量＜＝ＴＬ１かつ、高周波成分量＜＝ＴＨ１）
　　　＝　２（上記以外かつ、高周波成分量＜＝ＴＨ１）
　　　＝　３（上記以外）
　［２．５　予測方法と変換係数を用いた勾配値算出］
　勾配評価部４０２は、また予測部１１１から出力された予測方法を示す予測信号を用いても良い。
　具体的に、予測部１１１の出力された予測信号が周辺の既に復号済み画素値の平均値から予測するＤＣ予測である場合、それ以外の予測信号の場合について説明する。予測信号が、ＤＣ予測の場合には、変換係数の大きさを利用した勾配値方法で勾配インデックスｇｉを算出する。例えば、以下の予測方法を用いる。
　ｇｉ　＝　０　（低周波成分量　＜＝　ＴＬ０　かつ　高周波成分量　＜＝　ＴＨ０）
　　　　＝　１　（低周波成分量　＜＝　ＴＬ１　かつ　高周波成分量　＜＝　ＴＨ１）
　　　　＝　２　（ｇ＞Ｔ１　かつ　ｇ＜＝Ｔ２）
　　　　＝　３　（ｇ＞Ｔ３）
　予測信号がＤＣ予測でない場合には、変換係数の大きさによらず、画素値の差を用いて勾配インデックスｇｉを決定する。
　ここで、フィルタ部１２０の動作は、第１の実施形態と等しい。以下、第１の実施形態と異なる点のみを説明する。
　［２．６　重み係数算出部の説明］
　第１実施形態で説明したとおり、重み係数算出部４０３は、フィルタパラメータＫ１、・・・、Ｋ２、Ｋｎにより重み係数を求める。フィルタパラメータの表現形式も、第１実施形態で説明したとおり、表現形式ａと表現形式ｂを用いる。第２実施形態の重み係数算出部４０３は、ブロックサイズ管理部２０１から入力されたブロックサイズを用いて、ブロックサイズに応じて表現形式を変更する。
　より具体的には、
　ブロックサイズが４ｘ４、８ｘ８の場合には、表現形式ａ
　ブロックサイズが３２ｘ３２、６４ｘ１６の場合には、表現形式ｂ
を用いる。
　このように定める理由は、以下の通りである。例えば、ブロックサイズが小さい場合には、境界からの距離が近い場合のみのフィルタ処理で十分であるので、その場合の重み係数があれば良い。そのため表現形式ａが適する。ブロックサイズが大きい場合は、境界からの距離が大きい場合の重み係数が必要になるが、境界からの距離毎にフィルタパラメータを定める場合には、フィルタパラメータの数が多くなる問題が発生するため、表現形式ｂが適する。
　以上説明したとおり第２実施形態の画像復号装置は、符号化データから、ブロックサイズとフィルタパラメータを復号し、境界の画素値及び変換係数から算出される勾配の大きさに従って、ブロックサイズ毎に復号されたフィルタパラメータを読み出し、読み出されたフィルタパラメータから算出される重み係数に応じて、フィルタ処理を行うことによって、符号化されたときの画像に近い画像を復号することが可能になる。
　［３．第３実施形態］
　つづいて、本発明を適用した画像符号化装置について、第３実施形態として図を参照して説明する。
　［３．１　画像符号化装置の構成］
　図２１は、第３実施形態に係る画像符号化装置３００の構成を示すブロック図である。なお、第１実施形態、第２実施形態と同様の部材に関しては、同一の符号を付し、その説明を省略する。
　図２１に示すように、画像符号化装置３００は、予測部１１１と、変換部３１２と、量子化部３１３と、可変長符号化部３１４と、逆量子化部１１５と、逆変換部１１６と、フレームメモリ１１７と、フィルタパラメータ算出部１１８とを備えて構成される。
　画像符号化装置３００が、フレームメモリ１１７に格納された局所復号画像の歪みを低減するループフィルタ処理を行う場合には、画像符号化装置はフィルタ部１２０を備える。この場合、フィルタ部１２０を制御するためのフィルタパラメータを格納するフィルタパラメータ保存部１１９を備える。以下、画像符号化装置３００の動作について説明する。
　［３．２　画像符号化装置の動作］
　画像符号化装置３００に画像が入力された画像はブロックに分解され、以下の処理がなさせる。予測部１１１は、入力ブロックに近い予測ブロックを生成する。減算部１０７は、入力ブロックと予測部１１１から出力される予測ブロックの差分値である差分値ブロックを計算する。
　変換部３１２は、減算部１０７から入力された差分値ブロックに対しＤＣＴ変換などにより変換係数を算出する。量子化部３１３は、量子化ステップにより定まるステップに従い、変換係数を量子化する。量子化された変換係数は、可変長符号化部３１４により符号化し外部に出力される。
　逆量子化部１１５は、量子化された変換係数を逆量子化する。逆変換部１１６は、逆量子化された変換係数を逆変換し、残差ブロックを算出する。加算部１０９は、残差ブロックと予測ブロックの和を計算し、入力ブロックを再生する。再生されたブロックは、フレームメモリ１１７に格納される。
　フィルタパラメータ算出部１１８は、フィルタパラメータを算出する。算出されたフィルタパラメータは、可変長符号化部３１４に出力される。可変長符号化部３１４は、予測方法を示す情報と変換係数だけでなく、フィルタパラメータの可変長符号化も行い出力する。
　フィルタパラメータ保存部１１９が存在する場合には、算出されたフィルタパラメータはフィルタパラメータ保存部１１９に格納される。フィルタ部１２０が存在する場合は、フィルタ部１２０は、フィルタパラメータ保存部１１９に保存されたフィルタパラメータを読み出し、その値に従って、フレームメモリ１１７に格納された局所復号画像にフィルタ処理を行う。フィルタ処理された画像はフレームメモリ１１７に再度格納される。
　フィルタパラメータ保存部１１９、フィルタ部１２０の動作は、第１実施形態、及び、第２実施形態と同一であるので、説明を省略する。
　［３．３　フィルタパラメータ算出部の説明］
　以下、フィルタパラメータ算出部１１８の動作を説明する。図２２は、フィルタパラメータ算出部１１８の構成を示す図である。フィルタパラメータ算出部１１８は、差分値算出部４０１、勾配評価部４０２、学習用データ保存部５０１、パラメータ推定部５０２を備えて構成される。
　差分値算出部４０１は、第１実施形態で説明した通り、対象ブロックと隣接ブロックの画素値の差分値である差分値絶対値ｄを算出する。勾配評価部４０２は、第１実施形態及び第２実施形態で説明したとおり、フレームメモリ１１７より読み出した画素値もしくは逆量子化部１１５から出力された変換係数を用いて勾配値の大きさを示す情報である勾配インデックスを算出する。
　学習用データ保存部５０１は、差分値算出部４０１において算出した差分値絶対値ｄが閾値Ｔｈ１未満であるか否かを判定する。すなわち、ｄ＜αであるか否かを判定する（α＝閾値Ｔｈ１）。差分値絶対値ｄが閾値Ｔｈ１未満である場合、すなわちｄ＜αである場合、学習用データ保存部５０１は、勾配インデックス毎に学習用データを保存する。
　［３．４　線形予測パラメータ推定の説明］
　学習用データ保存部５０１の動作を説明する前に、線形予測のパラメータを推定する方法について説明する。
　一般に、ｍ個の値（ｘ１、ｘ２、・・・、ｘｍ）であるベクトルｘとｍ個の重み係数（ａ０、ａ１、・・・、ａｍ）を用いて値ｙを線形予測する場合、
　ｙ　＝　ａ１×ｘ１＋ａ２×ｘ２・・・・ａｍ×ｘｍ＋ε
　と表現できる（εは予測残差である）。
　ベクトルｘと、ｙの組がｎ個、収集された場合において、ｎ個のεの２乗和を最小とする重み係数ｍを求めることを考える。ｎ個のデータを、あるインデックスｔ（ｔ＝１～ｎ）を用いて、（ｘ１ｔ、ｘ２ｔ、・・・、ｘｍｔ）、ｙｔで表し、ｎ行ｍ列の行列Ｘとｍ列のベクトルＹ、Ａ、Ｅを以下のように定義する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　上記、行列とベクトルを用いると、線形予測の式は
　　Ｙ＝ＸＡ＋Ｅ
　で表される。この式における残差Ｅ、より具体的にはεの二乗和を最小化するＡ（＝Ａ＾）を求める問題は、正規方程式として一般に知られており、
　　ＸＴＸＡ＾＝ＸＴＹ
　である。
　この式から、パラメータＡ＾を求めるために、学習データとして必要なのは、ｍ行ｍ列行列ＸＴＸとｍ行ベクトルＸＴＹであることが分かる。よって、フィルタパラメータ算出部１１８はこれを保存する。
　行列データの保存は、具体的には、行列の各成分を保存することにより行われる。すなわち、ｍ×ｍ個のデータとｍ個のデータ（合計ｍ×ｍ＋ｍ個のデータ）を保存する。
　ところで、ＸＴＸのｉ行ｊ列成分ＸＸｉｊは、
Figure JPOXMLDOC01-appb-M000003
 　ＸＴＹのｉ行成分ＸＹｉは、
Figure JPOXMLDOC01-appb-M000004
 表現される。上記式は、Σの中の値についてｔ＝１からｎまでの和を求めることを意味する。式中の値がｔの時点で決まることを考えると、ｎの時点を待たず、ｔ（ｔ＝１～ｎ）の各時点で逐次的に計算することができる。
　より具体的には、
　データがｔ個の時点のＸＸｉｊをＸＸｉｊｔ、ＸＹｉをＸＹｉｔとおけば、
　データが１個である場合（ｔ＝１）のときのＸＸ、ＸＹを
　　ＸＸｉｊ１＝ｘｉ１ｘｊ１
　　ＸＹｉ１＝ｘｉ１ｙ１
　と計算しておき、データｔ（ｔは２からｎの整数）が得られた時点で、逐次的に
　　ＸＸｉｊｔ＝ＸＸｉｊｔ－１＋ｘｉｔｘｊｔ　　　　　　　　　　・・・（３－５）
　　ＸＹｉｔ＝ＸＹｉｔ－１＋ｘｉｔｙｔ　　　　　　　　　　　　・・・（３－６）
　のように、ＸＸ、ＸＹの値を更新する。
　最終的な行列ＸＸｉｊおよび逐次的な計算に用いるＸＸｉｊｔはｍ行ｍ列行列であり、最終的なベクトルＸＹｉおよび逐次的な計算に用いるベクトルＸＹｉｔはｍ行ベクトルであるから、保存領域としては、パラメータ数がｍ個の場合に対し（ｍ×ｍ＋ｍ）個が必要となる。
　［３．５　フィルタ処理の学習データ］
　次にフィルタ処理の場合の具体的な学習データについて説明する。境界からの距離ｋにおけるフィルタ対象画素Ｐｋのフィルタ処理後の画素値をｐｋ´とし、フィルタ対象画素と同じ側のブロックの境界からの距離ｉの画素の画素値ｐｉ（ｋ＝０～ｌ－１）、フィルタ対象画素の反対側のブロックの境界からの距離ｉの画素の画素値ｑｉ（ｉ＝０～ｍ－１）と、境界からの距離ｋのフィルタ対象画素に対する重み係数αｋｉ（ｉ＝０～ｌ－１）、βｋｉ（ｋ＝０～ｍ－１）、γｋを用いて、
　フィルタ処理は、
　　ｐｋ´＝　Σαｋｉ×ｐｉ＋Σβｋｉ×ｑｉ＋γｋ　・・・（３－７）
で表現される。
　フィルタ処理後の画素値はｐｋ´であるが、これが入力画像の画素値ｐｐｋに最も近い場合が適当と考えられる。そのため、（ｌ＋ｍ＋１）個パラメータαｋｉ、βｋｉ、γを求めることが求められる。この場合、学習用データは、（ｌ＋ｍ＋１）行（ｌ＋ｍ＋１）列の行列と、（ｌ＋ｍ＋１）列のベクトルを逐次的に求めておけば良い。
　［３．６　本実施形態における学習データ］
　本実施形態のフィルタパラメータは、第１実施形態で説明したとおり、表現形式ａと表現形式ｂで表現される。学習用データ保存部５０１は、フィルタパラメータがどの表現形式であるかによって、異なる学習用データを保存する。
　表現形式ａの場合、フィルタパラメータは、フィルタ処理における重み係数を表す。そのため、重み係数を求めるための学習用データを保存する。
　境界からの距離がｋの場合における重み係数をＷｋであるとすると、フィルタ処理は、
　　ｐｋ´＝　Ｗｋ×ｐｋ＋（１―Ｗｋ）×ｑ０　・・・（３－８）
　で表現される。表現を変更すると
　　ｐｋ´―ｑ０＝　Ｗｋ×（ｐｋ―ｑ０）　　　・・・（３－９）
　である。
　この線形予測では、求めるパラメータｍは１個であるから、境界からの距離がｋの場合の行列ＸＸ（ｋ）、ベクトルＸＹ（ｋ）はともにスカラーとなり、フィルタ対象画素ｐｋに対応する入力画像がｐｐｋであるとすると、式（３－３）、式（３－４）から、データのインデックスｔ（ｔは１からｎの整数）に対して、
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 で求める。
　学習用データ保存部５０１は、勾配値パラメータ別に、また、境界からの距離ｋ別にＸＸ（ｋ）とＸＹ（ｋ）の値を算出しこれを保存する。
　表現形式ｂの場合、フィルタパラメータは、フィルタ処理の重み係数を算出する式のパラメータを表す。第１実施形態で説明したとおり、
　重み係数は
　　Ｗｋ　＝　Ｋ１　－　Ｋ２　×　ｋ　　　（ｋ＜Ｋ２）
　　　　　＝　０　　　　　　　　　　　　　（ｋ＞＝Ｋ２）
　により求める。
　このパラメータを用いると、フィルタ処理の式は、
　　ｐｋ´＝　（Ｋ１－Ｋ２×ｋ）ｐｋ＋（１―Ｋ１＋Ｋ２×ｋ）ｑ０
　　　　　＝　Ｋ１（ｐｋ―ｑ０）＋Ｋ２（ｋ×ｑ０－ｋ×ｐｋ）＋ｑ０
　と表現される。
　変形すると、
　　ｐｐｋ　―　ｑ０　＝　ａ１（ｐｋ―ｑ０）＋ａ２（ｋ×ｑ０－ｋ×ｐｋ）＋ε
　となる。
　従って、フィルタパラメータＫ１及びＫ２を求める学習用データとしては、
　　ｘ１＝ｐｋ―ｑ０
　　ｘ２＝ｋ×ｑ０－ｋ×ｐｋ
　として、式（３－５）、式（３－６）に示すとおりＸＸとＸＹを算出し保存すれば良い。
　学習用データとしては、表現形式ａ、表現形式ｂともに勾配値別の値を保存する。学習用データの数としては、線形予測のパラメータをｍ個とすると、表現形式ａの場合で（ｍ×ｍ＋ｍ）×勾配インデックスの数×境界からの距離ｋの数の学習用データが必要となる。
　上記の説明では、パラメータ数ｍは１であるから、例えば、勾配インデックスの数を４、境界からの距離ｋを８とすると、（１×１＋１）×４×８＝６４個になる。
　表現形式ｂの場合には（ｍ×ｍ＋ｍ）×勾配インデックスの数の学習用データが必要となる。上記の説明では、パラメータ数ｍは２であるから、例えば、勾配インデックスの数を４とすると、（２×２＋２）×４＝４８個になる。
　図２３、図２４、図２５は学習用データ保存部５０１で保存されるデータを模式的に示すものである。図２３に示されるとおり、学習用データ保存部５０１は、勾配インデックス別に対応する学習用データを保存する。学習用データは先に説明したとおり、表現形式ａでは、勾配別距離ｋ毎のＸＸ（ｋ）とＸＹ（ｋ）の値であり、表現形式ｂでは、勾配別のＸＸとＸＹである。
　学習用データ保存部５０１は、また、ブロックサイズ管理部２０１の出力に従い、ブロックサイズ毎に、学習用データを保存することが好適である。この場合、図２４に示すとおり、ブロックサイズ別および勾配インデックス別に対応する学習用データを保存する。
　また、図２５に示すとおり、水平境界と垂直境界ごとにさらに分けて、学習用データを保存することも好適である。特にブロックサイズが大きい場合、及び、ブロックの横サイズと縦サイズが異なる場合に、水平境界と垂直境界で分けて、学習データを保存すると好適である。
　［３．７　パラメータ推定部の説明］
　パラメータ推定部５０２は、学習用データ保存部５０１に保存されたデータを用いて、線形予測のパラメータを推定する。本実施形態の説明では最小二乗法による推定を用いる。
　［３．８　最小二乗法による線形予測パラメータ推定］
既に説明したｍ行ｍ列の学習用データＸＸ、ｍ行の学習用データＸＹとした場合、誤差の２乗和を最小とする線形予測のパラメータＡは、以下の正規方程式で示すことができる。
　　ＸＴＸＡ＾＝ＸＴＹ
　この正規方程式の解となるパラメータＡ＾は、一般的にはＸＸの逆行列を求めることで算出可能である。
　具体的には、パラメータの数が１の場合逆行列は、除算により求まる１／ＸＸであり容易に求められる。パラメータの数が２個、３個の場合も簡単な式により算出は容易である。
　パラメータ数が多くなるにつれて逆行列を求めることは困難になる。この場合、既存の手法であるＬＵ分解を用いて、逆量列を用いずにＡを求めることが演算量の上から最適である。
　ＬＵ分解においては、ＸＸをｍ行ｍ列の下三角行列Ｌと、ｍ行ｍ列の上三角行列Ｕに分解する。この分解には、既存の手法であるドゥーリトル法もしくはクラウト法を用いる。
この分解により、正規方程式は、
　　ＬＵＡ＝ＸＹ
　と表現される。
　まず、既存の手法であるガウスの消去法を用いて、ＵＺ＝ＸＹを満たす行列Ｚを求める。続いて、同じくガウスの消去法を用いて、ＬＡ＝Ｚを満たすＡを求める。この計算により、１００個を超えるパラメータを持つ場合においても容易に計算することができる。
　なお、ＬＵ分解を用いず、ガウスの消去法を直接用いることにより、ＸＸＡ＝ＸＹを満たすＡを解くことも可能である。この場合の演算量は、逆量列を求めて解く場合よりも小さく、ＬＵ分解を用いる場合よりも大きくなる。
　パラメータ推定部１０５は、勾配値別の学習データを用いて、学習用データからパラメータを求める。
　パラメータが距離ｋに応じて決まる１つの重み係数の場合は、既に式（３－８）、式（３－９）で示したような学習データの場合であり、除算により重み係数Ｗｋを求める。
　　Ｗｋ＝ＸＹ／ＸＸ
　なお、学習用データが、ブロックサイズ別である場合にはブロックサイズ別にパラメータを求める。
　また、学習用データ保存部５０１に保存された学習データのパラメータの数が２つ、もしくは３つの場合には、ＸＸの逆行列を求めることにより、
　　Ａ＾＝（ＸＴＸ）－１ＸＴＹ
　により、パラメータを求める。パラメータの数が３つ以上の場合には、ＬＵ分解もしくはガウスの消去法を利用した方法によってパラメータを求める。なお、パラメータ数が１～３の場合もＬＵ分解もしくはガウスの消去法を用いた方法を用いても構わない。
　算出したフィルタパラメータは、可変長符号化部３１４に出力される。可変長符号化部３１４に出力されたフィルタパラメータは、可変長符号化され符号化データとして、画像符号化装置３００外に出力される。フィルタパラメータが実数の場合には、例えば２のｎ乗をかけた上で整数化し、ｎビットの整数として符号化することが適当である。なお、ｎは、所定の定数である。
　なお、上記の説明では、フィルタパラメータを可変長符号化しているが、算出したフィルタパラメータは、可変長符号化することなく、画像符号化装置と画像復号装置に同じ値を備える構成としても良い。
　以上説明したとおり第３実施形態の画像符号化装置は、フィルタ対象画素とその周辺の画素値と入力画像から算出される値である学習用データを勾配値別に保存し、保存した学習用データを用いて、勾配値別のフィルタパラメータを算出することによって、フィルタ処理に最適な重み係数を求めるフィルタパラメータを得ることができる。また、そのフィルタパラメータを可変長符号化することにより、画像復号装置で、最適な重み係数を用いたフィルタ処理が可能になり、符号化効率が向上する。
１００　画像復号装置
２００　画像復号装置
３００　画像符号化装置
　１１１　予測部
　１１４　可変長符号化復号部
　１１５　逆量子化部
　１１６　逆変換部
　１１７　フレームメモリ
　１１８　フィルタパラメータ算出部
　　５０１　学習用データ保存部
　　５０２　パラメータ推定部
　１１９　フィルタパラメータ保存部
　１２０　フィルタ部
　　４０１　差分値算出部
　　４０２　勾配評価部
　　　６０１　差分値算出部
　　　６０２　勾配値算出部
　　　６０３　勾配インデックス算出部
　　　６０４　周波数成分量算出部
　　４０３　重み係数算出部
　　４０４　画素値算出部
　２０１　ブロックサイズ管理部
　３１２　変換部
　３１３　量子化部
　３１４　可変長符号化部

Claims (12)

  1. 　符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
    　フィルタパラメータの組を保存するフィルタパラメータ保存手段と、
    　前記フィルタパラメータ保存部に保存されたフィルタパラメータを利用して前記画像データにフィルタ処理を行うフィルタ手段と、
    　を備え、
    　前記フィルタ手段は、
    　フィルタ処理の対象となる画素付近の勾配値を算出する勾配値算出手段と、
    　算出された勾配に応じて、フィルタパラメータの組から１つのフィルタパラメータを選択する選択手段と、
    　前記選択手段により選択されたフィルタパラメータを用いてフィルタ処理の重み係数を算出する重み係数算出手段と、
    　を備えることを特徴とする画像復号装置。
  2. 　前記復号手段は、前記符号化データからフィルタパラメータの組を更に復号し、
    　前記フィルタ手段は、前記復号手段により復号されたフィルタパラメータを利用して前記画像データにフィルタ処理を行うことを特徴とする請求項１に記載の画像復号装置。
  3. 　前記復号手段は、前記符号化データからサイズの異なる複数のブロックに関する情報を更に復号し、
    　前記フィルタ手段は、前記ブロック毎に画像データにフィルタ処理を行うことを特徴とする請求項１又は２に記載の画像復号装置。
  4. 　前記重み係数算出手段は、前記選択手段により選択されたフィルタパラメータと境界からの距離に応じてフィルタ処理の重み係数を算出することを特徴とする請求項１から３の何れかに記載の画像復号装置。
  5. 　符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
    　フィルタ処理の対象となる画素付近の勾配値を算出する勾配値算出手段と、
    　前記勾配値算出手段により算出された勾配に応じて、前記画像データにフィルタ処理を行うフィルタ手段と、
    　を更に備え、
    　前記勾配値算出手段は、フィルタ処理の対象となるブロックの変換係数の大きさと、フィルタ対象画素とその周囲の画素の差分の大きさを用いて、勾配値を算出することを特徴とする画像復号装置。
  6. 　前記勾配値算出手段は、ブロックのサイズが、所定のサイズ以上の場合において、フィルタ処理の対象となるブロックの変換係数の大きさを用いて、又は前記変換係数の大きさと、フィルタ対象画素とその周囲の画素の差分の大きさとを用いて勾配値を算出することを特徴とする請求項１から５の何れかに記載の画像復号装置。
  7. 　前記画素値算出手段は、ブロックに分割して符号化された画像情報を復号する際に、あるブロックと当該あるブロックに隣接する隣接ブロックとの境界近傍に位置する上記あるブロックに属する処理対象画素の画素値を補正する手段であって、
    　前記勾配値算出手段は、ブロックのサイズが、所定のサイズ以上の場合において、あるブロックに属する２つ以上の画素の画素値間の差分の大きさと、また、隣接ブロックに属する２つ以上の画素の画素値間の差分の大きさから、勾配値を算出することを特徴とする請求項１から５の何れかに記載の画像復号装置。
  8. 　符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
    　前記復号手段は、予測残差信号の可変長符号化方法を切り替えるフラグを復号する復号手段を備え、
    　前記予測残差信号は、サイズの異なる複数のブロックに分割して符号化された信号であって、
    　前記復号手段は、所定のサイズよりも大きいブロックサイズに対しては、逆変換手段に入力する変換係数の数よりも、前記符号化データに含める変換係数の数の方が小さくなることを特徴とする復号手段であって、可変長符号化方法を切り替えるフラグによって、前記変換係数の数を変更する復号手段を備えることを特徴とする画像復号装置。
  9. 　符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
    　前記予測残差信号は、サイズの異なる複数のブロックに分割して符号化された信号であって、
    　前記復号手段は、所定のサイズよりも大きいブロックサイズに対しては、逆変換手段に入力する変換係数の数よりも、前記符号化データに含める変換係数の数の方が小さくなることを特徴とする復号手段であって、前記変換係数の数を変更する復号手段を備えることを特徴とする画像復号装置。
  10. 　符号化データから、予測残差信号及び予測信号を復号する復号手段と、前記復号手段により復号された予測残差信号を逆量子化及び逆変換することにより予測残差を生成する生成手段と、を有し、前記予測残差と、予測信号とから画像データを復号する画像復号装置であって、
    　前記予測残差信号の復号において、前記復号手段は所定の数以上の予測残差信号を復号する時点で、既に復号された予測残差信号の値に応じて、前記符号化データに含める変換係数の位置を変更する手段を備えることを特徴とする画像復号装置。
  11. 　前記予測残差信号の復号において、前記復号手段は、所定の数以上の予測残差信号を復号する時点で、復号された予測残差信号の値の線形和により算出される指数を算出する手段を備え、前記指数が所定の値よりも大きいかに応じて、前記符号化データに含める変換係数の位置を変更する手段を備えることを特徴とする請求項１０に記載の画像復号装置。
  12. 　局所復号画像を生成する復号画像生成手段を備える画像符号化装置であって、
    　前記局所復号画像上のある算出対象画素付近の勾配値を算出する勾配値算出手段と、
    　前記算出対象となる画素値と、その周辺の画素値と、入力画像の対象画素と同じ位置の画素値から、学習データを算出し、勾配毎に保存する学習データ算出保存手段と、
    　前記学習データ算出保存手段により保存された勾配毎の学習データを用いて、勾配毎のフィルタパラメータを算出するフィルタパラメータ算出手段と、
    　を備えることを特徴とする画像符号化装置。
PCT/JP2009/071482 2008-12-25 2009-12-24 画像復号装置及び画像符号化装置 WO2010074170A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP09834968.1A EP2378775B1 (en) 2008-12-25 2009-12-24 Image decoding device and image coding device
BRPI0923603-1A BRPI0923603B1 (pt) 2008-12-25 2009-12-24 aparelho de decodificação de imagem
CN200980152489.1A CN102265618B (zh) 2008-12-25 2009-12-24 图像解码设备和图像编码设备
EA201170888A EA033108B1 (ru) 2008-12-25 2009-12-24 Устройство декодирования изображения и устройство кодирования изображения
US13/142,027 US8792738B2 (en) 2008-12-25 2009-12-24 Image decoding apparatus and image coding apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008330596A JP5490404B2 (ja) 2008-12-25 2008-12-25 画像復号装置
JP2008-330596 2008-12-25

Publications (1)

Publication Number Publication Date
WO2010074170A1 true WO2010074170A1 (ja) 2010-07-01

Family

ID=42287777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/071482 WO2010074170A1 (ja) 2008-12-25 2009-12-24 画像復号装置及び画像符号化装置

Country Status (7)

Country Link
US (1) US8792738B2 (ja)
EP (1) EP2378775B1 (ja)
JP (1) JP5490404B2 (ja)
CN (1) CN102265618B (ja)
BR (1) BRPI0923603B1 (ja)
EA (1) EA033108B1 (ja)
WO (1) WO2010074170A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9338476B2 (en) 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
AU2012200319B2 (en) 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
RU2607998C9 (ru) * 2012-03-28 2017-07-07 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования изображения, способ кодирования изображения и программа кодирования изображения, а также устройство декодирования изображения, способ декодирования изображения и программа декодирования изображения
JP5943733B2 (ja) * 2012-06-20 2016-07-05 キヤノン株式会社 画像符号化装置およびその制御方法ならびにプログラム
DK2869557T3 (da) 2012-06-29 2023-11-06 Electronics & Telecommunications Res Inst Fremgangsmåde og anordning til kodning/afkodning af billeder
JPWO2017068856A1 (ja) * 2015-10-21 2018-08-09 シャープ株式会社 予測画像生成装置、画像復号装置および画像符号化装置
CN115037929A (zh) * 2016-02-03 2022-09-09 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
KR101862490B1 (ko) * 2016-12-13 2018-05-29 삼성전기주식회사 영상 보정 프로세서 및 컴퓨터 판독가능 기록 매체
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
US11889054B2 (en) * 2017-12-29 2024-01-30 Telefonaktiebolaget Lm Ericsson (Publ) Methods providing encoding and/or decoding of video using reference values and related devices
CN111903124B (zh) * 2018-03-29 2023-08-01 索尼公司 图像处理装置和图像处理方法
CN109389567B (zh) * 2018-10-24 2021-07-16 山东大学 一种快速光学成像数据的稀疏滤波方法
CN113891075B (zh) * 2020-07-03 2023-02-28 杭州海康威视数字技术股份有限公司 滤波处理方法及装置
CN113763291B (zh) * 2021-09-03 2023-08-29 深圳信息职业技术学院 保持边界滤波算法的性能评价方法、智能终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101850A (ja) * 1998-07-02 2000-04-07 Canon Inc フィルタリング方法および装置、コンピュ―タプログラム製品
JP2001204029A (ja) * 1999-08-25 2001-07-27 Matsushita Electric Ind Co Ltd ノイズ検出方法、ノイズ検出装置及び画像復号化装置
JP2005039766A (ja) * 2003-06-27 2005-02-10 Mitsubishi Electric Corp ポストフィルタ及びポストフィルタ処理方法並びに映像信号復号化装置
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム
JP2008533863A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド フレームレートアップ変換アプリケーションにおける補間されたフレームデブロッキング動作

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778192A (en) * 1995-10-26 1998-07-07 Motorola, Inc. Method and device for optimal bit allocation between different sources of information in digital video compression
JP3095140B2 (ja) * 1997-03-10 2000-10-03 三星電子株式会社 ブロック化効果の低減のための一次元信号適応フィルター及びフィルタリング方法
EP0878776B1 (en) * 1997-05-12 2003-08-27 STMicroelectronics S.r.l. Adaptive intrafield reducing of gaussian noise by fuzzy logic processing
KR100243225B1 (ko) * 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
KR100644498B1 (ko) 1999-08-25 2006-11-10 마츠시타 덴끼 산교 가부시키가이샤 노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치
FI117533B (fi) 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
BR0206629A (pt) * 2001-11-22 2004-02-25 Matsushita Electric Ind Co Ltd Método de codificação de comprimento variável e método de decodificação de comprimento variável
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP4097587B2 (ja) * 2002-10-16 2008-06-11 松下電器産業株式会社 画像処理装置および画像処理方法
US7292733B2 (en) 2002-10-16 2007-11-06 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
KR100582595B1 (ko) * 2002-12-23 2006-05-23 한국전자통신연구원 이산여현변환에 기반하여 압축된 영상으로부터 블록에지를 검출 및 분류하는 방법
JP4042563B2 (ja) * 2002-12-27 2008-02-06 セイコーエプソン株式会社 画像ノイズの低減
JP2004336103A (ja) * 2003-04-30 2004-11-25 Texas Instr Japan Ltd 画像情報圧縮装置
US20130107938A9 (en) * 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
CN1224270C (zh) 2003-09-30 2005-10-19 清华大学 用于宏块组结构的两阶段预测编码的帧内编码帧编码方法
US7346224B2 (en) 2003-11-07 2008-03-18 Mitsubishi Electric Research Laboratories, Inc. System and method for classifying pixels in images
JP2006054846A (ja) 2004-07-12 2006-02-23 Sony Corp 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム
CN1860796B (zh) 2004-07-12 2010-06-16 索尼株式会社 编码方法、编码装置、解码方法、及解码装置
US7574060B2 (en) * 2004-11-22 2009-08-11 Broadcom Corporation Deblocker for postprocess deblocking
DE102005025629A1 (de) 2005-06-03 2007-03-22 Micronas Gmbh Bildverarbeitungsverfahren zur Reduzierung von Blocking-Artefakten
US20070183684A1 (en) * 2006-02-08 2007-08-09 Bhattacharjya Anoop K Systems and methods for contrast adjustment
US8913670B2 (en) * 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
JP4666012B2 (ja) * 2008-06-20 2011-04-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US8098931B2 (en) * 2008-12-09 2012-01-17 Himax Technologies Limited Method for adaptively selecting filters to interpolate video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101850A (ja) * 1998-07-02 2000-04-07 Canon Inc フィルタリング方法および装置、コンピュ―タプログラム製品
JP2001204029A (ja) * 1999-08-25 2001-07-27 Matsushita Electric Ind Co Ltd ノイズ検出方法、ノイズ検出装置及び画像復号化装置
JP2005039766A (ja) * 2003-06-27 2005-02-10 Mitsubishi Electric Corp ポストフィルタ及びポストフィルタ処理方法並びに映像信号復号化装置
JP2008533863A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド フレームレートアップ変換アプリケーションにおける補間されたフレームデブロッキング動作
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム

Also Published As

Publication number Publication date
US20110255797A1 (en) 2011-10-20
EP2378775A4 (en) 2012-12-26
EP2378775B1 (en) 2020-03-18
EA033108B1 (ru) 2019-08-30
BRPI0923603A2 (pt) 2019-08-27
US8792738B2 (en) 2014-07-29
EA201170888A1 (ru) 2012-02-28
BRPI0923603B1 (pt) 2021-01-12
CN102265618B (zh) 2014-01-15
JP2010154264A (ja) 2010-07-08
JP5490404B2 (ja) 2014-05-14
CN102265618A (zh) 2011-11-30
EP2378775A1 (en) 2011-10-19

Similar Documents

Publication Publication Date Title
JP5490404B2 (ja) 画像復号装置
JP6091583B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法および符号化データ
EP3448038B1 (en) Decoding method for intra predicting a block by first predicting the pixels at the boundary
KR100788220B1 (ko) 품질기반 영상압축
JP2008507190A (ja) 動き補償方法
TW202315408A (zh) 以區塊為基礎之預測技術
US9094687B2 (en) Video encoder and video decoder
RU2573747C2 (ru) Способ и устройство кодирования видео, способ и устройство декодирования видео и программы для них
JP5594841B2 (ja) 画像符号化装置及び画像復号装置
JP6065613B2 (ja) 動画像符号化装置
KR102605285B1 (ko) 다중 그래프 기반 모델에 따라 최적화된 변환을 이용하여 비디오 신호를 인코딩/디코딩하는 방법 및 장치
KR100571920B1 (ko) 움직임 모델을 이용한 매쉬 기반의 움직임 보상방법을제공하는 영상의 부호화 방법 및 그 부호화 장치
WO2011105231A1 (ja) フィルタ係数符号化装置、フィルタ係数復号装置、動画像符号化装置、動画像復号装置、および、データ構造
EP2899974A1 (en) Video coding device, video coding method, and video coding program
KR20210156256A (ko) 인트라 예측 방법 및 장치
CN100459714C (zh) 测量区块假像及关联的编码/解码/译码的方法和设备
JP6992825B2 (ja) 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
WO2015045301A1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
WO2024055155A1 (zh) 一种编解码方法、装置、编码器、解码器及存储介质
JP5298082B2 (ja) 適応的に直交変換係数の走査順序を決定する符号化装置及び復号装置
CN115834882A (zh) 一种帧内预测方法、装置、电子设备及存储介质
KR20140124447A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR20210058848A (ko) 적어도 하나의 이미지를 표현하는 데이터 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들
US20200329232A1 (en) Method and device for encoding or decoding video signal by using correlation of respective frequency components in original block and prediction block
Hsieh et al. Application of grey polynomial interpolation to reduce the block effect in low bit rate coding

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980152489.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09834968

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13142027

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009834968

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 5223/CHENP/2011

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 201170888

Country of ref document: EA

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI0923603

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI0923603

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110627