WO2021045059A1 - 符号化装置、復号装置、及びプログラム - Google Patents

符号化装置、復号装置、及びプログラム Download PDF

Info

Publication number
WO2021045059A1
WO2021045059A1 PCT/JP2020/033129 JP2020033129W WO2021045059A1 WO 2021045059 A1 WO2021045059 A1 WO 2021045059A1 JP 2020033129 W JP2020033129 W JP 2020033129W WO 2021045059 A1 WO2021045059 A1 WO 2021045059A1
Authority
WO
WIPO (PCT)
Prior art keywords
quantization
block
unit
filter
inverse
Prior art date
Application number
PCT/JP2020/033129
Other languages
English (en)
French (fr)
Inventor
市ヶ谷　敦郎
俊輔 岩村
慎平 根本
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to JP2021543783A priority Critical patent/JPWO2021045059A1/ja
Publication of WO2021045059A1 publication Critical patent/WO2021045059A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to a coding device, a decoding device, and a program.
  • This feature encodes a high-quality signal in a region with signal characteristics that are easy for humans to detect, and a low-quality signal in a region that is difficult to detect, depending on the signal characteristics of a partial region of the image.
  • coding control that does not visually deteriorate the image quality can be performed by controlling the signal so as to be converted.
  • the coding is controlled on a block-by-block basis, a quality difference in image quality becomes apparent at the block boundary, and block-like distortion may be detected.
  • deblocking filter processing is generally used in recent coding methods. Since the deblocking filter is a filter for reducing the signal gap, it generally has the characteristics of a low-pass filter.
  • the signal deterioration due to the filtering may have a greater effect than the quality improvement at the boundary between the high quality regions, and conversely, the region encoded with excessively low quality. At the boundary between each other, the filter cannot exert a sufficient effect.
  • the filter strength of the deblocking filter is controlled based on the quantization parameter (specifically, the average value of the quantization parameters of the blocks sandwiching the boundary).
  • the quantization parameter is a parameter in which one value is set for one block and defines the quantization roughness (step size) of this block.
  • the parameters that control the quality in the block in which the image is divided are the quantization matrix (scaling) that controls the frequency characteristics in the block for quality control according to the visual perceptual intensity. Lists or scaling factors) are used.
  • the quantization matrix is a matrix consisting of values (weighting coefficients) set for each component of the i ⁇ j element according to the block size, and the quantization roughness is determined for each component of the conversion coefficient from low frequency to high frequency. Used to adjust.
  • the filter strength of the deblocking filter is controlled in consideration of the quantization parameter, which is a unique parameter set for each block, but the quantization matrix is used in controlling the filter strength. Not considered.
  • an object of the present invention is to provide a coding device, a decoding device, and a program that improve image quality and coding efficiency by appropriately controlling a deblocking filter.
  • the coding device is a coding device that divides an image into block units and encodes the image in block units, and is a coding target block in which the image is divided into block units and the code.
  • the conversion / quantization unit that performs conversion processing and quantization processing on the predicted residual, which is the difference from the prediction block generated by predicting the conversion target block, and the conversion coefficient generated by the conversion / quantization unit are reversed.
  • the coded target block is restored by synthesizing the inverse quantization / inverse conversion unit that restores the predicted residual by the quantization process and the inverse conversion process, and the restored predicted residual and the predicted block.
  • the synthesis unit a deblocking filter that filters the boundary between the restored coded block and the adjacent block adjacent to the coded block, and the quantization parameters used in the quantization process and the inverse quantization process.
  • a filter control unit that controls the filter strength of the deblocking filter based on the quantization matrix, and the quantization parameter is a parameter in which one value is set for one block.
  • the gist is that the quantization matrix is a matrix consisting of values set for each component in the one block.
  • the decoding device is a decoding device that decodes in block units generated by dividing an image, and outputs a conversion coefficient corresponding to the block to be decoded by decoding the encoded stream.
  • the decoding unit, the inverse quantization / inverse conversion unit that restores the predicted residual by performing inverse quantization processing and inverse conversion processing on the conversion coefficient output by the entropy decoding unit, the restored predicted residual, and the above. Filtering is performed on the boundary between the synthesis unit that restores the decoding target block by synthesizing the prediction block generated by predicting the decoding target block and the adjacent block adjacent to the restored decoding target block.
  • the deblocking filter to be performed and a filter control unit for controlling the filter strength of the deblocking filter based on the quantization parameter and the quantization matrix used in the inverse quantization process are provided, and the quantization parameter is 1. It is a gist that it is a parameter in which one value is set for one block, and the quantization matrix is a matrix consisting of values set for each component in the one block.
  • the gist of the program according to the third aspect is to make the computer function as a coding device according to the first aspect.
  • the gist of the program according to the fourth aspect is to make the computer function as a decoding device according to the second aspect.
  • the present invention it is possible to provide a coding device, a decoding device, and a program that improve image quality and coding efficiency by appropriately controlling the deblocking filter.
  • the coding device and the decoding device according to the embodiment will be described with reference to the drawings.
  • the coding device and the decoding device according to the embodiment encode and decode a moving image represented by MPEG, respectively.
  • MPEG moving image represented by MPEG
  • the same or similar parts are designated by the same or similar reference numerals.
  • FIG. 1 is a diagram showing a configuration of a coding device 1 according to the present embodiment.
  • the coding device 1 is a device that performs coding in block units obtained by dividing an image.
  • the coding apparatus 1 synthesizes a block dividing unit 100, a subtracting unit 110, a conversion / quantization unit 120, an entropy coding unit 130, and an inverse quantization / inverse conversion unit 140. It has a unit 150, a deblocking filter 160, a filter control unit 161, a memory 170, and a prediction unit 180.
  • the block division unit 100 divides the input image in units of frames (or pictures) constituting the moving image into a plurality of image blocks, and outputs the image block obtained by the division to the subtraction unit 110.
  • the size of the image block is, for example, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, 4 ⁇ 4 pixels, or the like.
  • the shape of the image block is not limited to a square and may be a rectangle (non-square).
  • the image block is a unit for coding by the coding device 1 (encoding target block) and a unit for decoding by the decoding device (decoding target block). Such an image block is sometimes called a CU (Coding Unit).
  • the block division unit 100 divides the luminance signal and the color difference signal into blocks.
  • the case where the shape of the block division is the same for the luminance signal and the color difference signal will be mainly described, but the division may be controlled independently for the luminance signal and the color difference signal.
  • the luminance block and the color difference block are not particularly distinguished, they are simply referred to as a coded block.
  • the subtraction unit 110 calculates a prediction residual representing a difference (error) between the coding target block output from the block division unit 100 and the prediction block obtained by predicting the coding target block by the prediction unit 180.
  • the subtraction unit 110 calculates the prediction residual by subtracting each pixel value of the prediction block from each pixel value of the block, and outputs the calculated prediction residual to the conversion / quantization unit 120.
  • the conversion / quantization unit 120 performs conversion processing and quantization processing in block units.
  • the conversion / quantization unit 120 includes a conversion unit 121 and a quantization unit 122.
  • the conversion unit 121 performs conversion processing on the predicted residual output from the subtraction unit 110, calculates a conversion coefficient for each frequency component, and outputs the calculated conversion coefficient to the quantization unit 122.
  • the conversion process (conversion) is a process of converting a signal in the pixel region into a signal in the frequency domain, for example, discrete cosine transform (DCT), discrete sine transform (DST), carunen-reve transform (KLT), and the like. Is an integer transform of. Further, the conversion process may include a conversion skip that adjusts by scaling or the like without converting the signal in the pixel region into the signal in the frequency domain.
  • the quantization unit 122 quantizes the conversion coefficient output from the conversion unit 121 using the quantization parameter and the quantization matrix, and transfers the quantized conversion coefficient to the entropy coding unit 130 and the inverse quantization / inverse conversion unit 140. Output. Further, the quantization unit 122 provides information on the quantization process (specifically, information on the quantization parameters and the quantization matrix used in the quantization process) to the entropy coding unit 130, the inverse quantization unit 141, and the quantization unit 121. Output to the filter control unit 161.
  • the quantization parameter is a parameter in which one value is set for one block.
  • the quantization parameter is a parameter that is commonly applied to each conversion coefficient in the block, and is a parameter that determines the roughness (step size) of quantization.
  • the quantization matrix is a matrix consisting of values set for each component in one block.
  • the quantization matrix is a matrix consisting of values (weighting coefficients) set for each component of the i ⁇ j element according to the block size, and is quantum for each component of the conversion coefficient from low frequency to high frequency. It is used to adjust the roughness of the quantization.
  • FIG. 2 is a diagram showing an example of a quantization matrix.
  • the quantization matrix has a larger value as the order in the horizontal direction and the order in the vertical direction becomes larger.
  • the conversion coefficient related to the elements arranged in the lower right that is, the conversion coefficient in the high frequency range is quantized with lower accuracy. Therefore, it is permissible to utilize the human visual characteristic that the lower frequencies are more sensitive to spatial changes in shading and hue, and to reduce the amount of information in the high frequencies by quantization without degrading the subjective image quality. To.
  • the quantization matrix includes the prediction mode of the coded block (intra prediction and inter prediction), the block size (for example, 2x2, 4x4, 8x8, 16x16, 32x32, 64x64), and one brightness and two color differences.
  • Each combination of signals R signal, B signal, G signal in the case of RGB signal) can be set.
  • the entropy coding unit 130 performs entropy coding on the conversion coefficient output from the quantization unit 122, performs data compression to generate a coded stream (bit stream), and encodes the coded stream into the coding device 1. Output to the outside of.
  • a Huffman code a CABAC (Context-based Adaptive Binary Arithmetic Coding; context-adaptive binary arithmetic code) or the like can be used.
  • the entropy encoding unit 130 acquires information such as the size and shape of each coded block from the block dividing unit 100, acquires information related to the quantization process from the quantization unit 122, and relates to prediction from the prediction unit 180. Information (for example, prediction mode and motion vector information) is acquired, and such information is also encoded.
  • the inverse quantization / inverse conversion unit 140 performs the inverse quantization process and the inverse conversion process on a block-by-block basis.
  • the inverse quantization / inverse conversion unit 140 includes an inverse quantization unit 141 and an inverse conversion unit 142.
  • the inverse quantization unit 141 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122. Specifically, the inverse quantization unit 141 restores the conversion coefficient by inversely quantizing the conversion coefficient output from the quantization unit 122 using the quantization parameter and the quantization matrix, and the restored conversion coefficient. Is output to the inverse conversion unit 142.
  • the inverse conversion unit 142 performs an inverse conversion process corresponding to the conversion process performed by the conversion unit 121. For example, when the conversion unit 121 performs the DCT, the inverse conversion unit 142 performs the inverse DCT. The inverse conversion unit 142 performs an inverse conversion process on the conversion coefficient output from the inverse quantization unit 141 to restore the predicted residual, and outputs the restored predicted residual, which is the restored predicted residual, to the synthesis unit 150. To do.
  • the synthesis unit 150 synthesizes the restoration prediction residual output from the inverse conversion unit 142 with the prediction block output from the prediction unit 180 in pixel units.
  • the synthesizing unit 150 adds each pixel value of the restoration prediction residual and each pixel value of the prediction block to restore (decode) the coded block, and deblocks the decoded image (restoration block) of the restored block unit. Output to 160.
  • the deblocking filter 160 performs filter processing on the block boundary of two blocks including a restoration block and an adjacent block adjacent to the restoration block, and outputs the restored block after the filtering processing to the memory 170.
  • the filter processing is a processing for reducing signal deterioration caused by processing in block units, and is a filtering processing for smoothing a signal gap at a block boundary between two adjacent blocks.
  • the deblocking filter 160 is generally configured as a low-pass filter that moderates signal fluctuations.
  • FIG. 3 is a diagram showing an operation example of the deblocking filter 160 according to the present embodiment.
  • the deblocking filter 160 performs filter processing on the block boundary of each block of 8 ⁇ 8 pixels. Further, the deblocking filter 160 performs filter processing in units of 4 rows or 4 columns.
  • the blocks P and Q shown in FIG. 3 show an example in which the deblocking filter 160 is one unit of the filter processing and the block size is 4 ⁇ 4 pixels. Each of the blocks P and Q may be referred to as a subblock. The details of the operation of the deblocking filter 160 will be described later.
  • the filter control unit 161 controls the deblocking filter 160. Specifically, the filter control unit 161 controls the boundary strength (Bs: Boundary strength) indicating whether or not the block boundary of the target block pair is filtered, and the filter strength of the deblocking filter 160.
  • the boundary strength Bs refers to a parameter for determining whether or not to apply the filtering process and the type of the filtering process.
  • the control of whether or not the filtering process is performed can be regarded as the control of whether the boundary strength Bs is 1 or more or zero.
  • the filter control unit 161 controls the deblocking filter 160 based on the fluctuation of the pixel value in the region near the boundary of the target block pair, the prediction mode, the quantization parameter, and the motion vector value used for the motion compensation prediction (inter-prediction). To do.
  • the filter control unit 161 is based on the quantization parameters and the quantization matrix used for the quantization processing in the quantization unit 120 and the inverse conversion processing in the inverse quantization unit 141.
  • the filter strength of the deblocking filter 160 is controlled.
  • the filter strength of the deblocking filter 160 can be controlled with respect to the occurrence, and the effect of reducing the block distortion by the deblocking filter 160 can be improved.
  • the memory 170 stores the restoration block output from the deblocking filter 160 as a decoded image in frame units.
  • the memory 170 outputs the stored decoded image to the prediction unit 180.
  • the prediction unit 180 generates a prediction block corresponding to the coded target block by performing prediction processing in block units, and outputs the generated prediction block to the subtraction unit 110 and the synthesis unit 150.
  • the prediction unit 180 includes an inter-prediction unit 181, an intra-prediction unit 182, and a switching unit 183.
  • the inter-prediction unit 181 uses the decoded image stored in the memory 170 as a reference image, calculates a motion vector by a method such as block matching, predicts a block to be encoded, and generates an inter-prediction block.
  • the inter-prediction block is output to the switching unit 183.
  • the inter-prediction unit 181 selects the optimum inter-prediction method from inter-prediction using a plurality of reference images (typically bi-prediction) and inter-prediction using one reference image (one-way prediction). Inter-prediction is performed using the selected inter-prediction method.
  • the inter-prediction unit 181 outputs information (motion vector, etc.) related to the inter-prediction to the entropy encoding unit 130 and the filter control unit 161.
  • the intra prediction unit 182 selects the optimum intra prediction mode to be applied to the coded target block from the plurality of intra prediction modes, and predicts the coded target block using the selected intra prediction mode.
  • the intra prediction unit 182 generates an intra prediction block by referring to the decoded pixel value adjacent to the coded target block among the decoded images stored in the memory 170, and outputs the generated intra prediction block to the switching unit 183. To do. Further, the intra prediction unit 182 outputs information regarding the selected intra prediction mode to the entropy encoding unit 130 and the filter control unit 161.
  • the switching unit 183 switches between the inter prediction block output from the inter prediction unit 181 and the intra prediction block output from the intra prediction unit 182, and outputs one of the prediction blocks to the subtraction unit 110 and the synthesis unit 150.
  • the coding apparatus 1 performs conversion processing and quantization processing on the predicted residual representing the difference between the coding target block and the prediction block obtained by predicting the coding target block.
  • the synthesis unit 150 that restores the coded target block by synthesizing the predicted residual and the predicted block, and filters the boundary between the restored coded target block and the adjacent block adjacent to the coded target block. It has a blocking filter 160 and a filter control unit 161 that controls the filter strength of the deblocking filter 160 based on the quantization parameters and the quantization matrix used in the quantization process and the inverse quantization process.
  • the filter control unit 161 used the quantization parameters and the quantization matrix used in the quantization processing and the dequantization processing for the coded target block, and the quantization processing and the dequantization processing for the adjacent blocks.
  • the filter strength of the deblocking filter 160 is controlled based on the quantization parameter and the quantization matrix. In the following, it is assumed that the coded block or its subblock is the block P, and the adjacent block or its subblock is the block Q.
  • FIG. 4 is a diagram showing the configuration of the filter control unit 161 according to the present embodiment.
  • the filter control unit 161 according to the present embodiment includes a boundary strength determination unit 161a, a representative value derivation unit 161b, an offset calculation unit 161c, a threshold value derivation unit 161d, and a filter strength control unit 161e. Has.
  • the boundary strength determining unit 161a determines the boundary strength Bs based on, for example, Table 1 below, and outputs the value of the determined boundary strength Bs to the threshold value deriving unit 161d and the filter strength control unit 161e.
  • the value of the boundary strength Bs is one of 0, 1, and 2.
  • the boundary strength of the luminance signal and the color difference signal for each block may be calculated, or the combination of the boundary intensity of the luminance signal and the color difference signal block may be determined as one boundary intensity.
  • the boundary strength determining unit 161a sets the value of Bs to 2 when the intra prediction is applied to at least one of the blocks P and Q.
  • the boundary strength determining unit 161a sets the Bs value when the inter-prediction is applied to both the blocks P and Q and at least one of the following (a) to (d) is satisfied. In other cases, the Bs value is set to 1.
  • At least one of blocks P and Q contains a significant conversion coefficient (that is, a non-zero conversion coefficient).
  • the boundary strength determining unit 161a controls the deblocking filter 160 so that the boundary between the blocks P and Q is not filtered when the value of the determined boundary strength Bs is 0.
  • Representative value deriving unit 161b is configured to derive a representative value m pp quantization matrix used in quantization processing and inverse quantization processing on the block P, the quantization used in the quantization process and inverse quantization processing for block Q
  • the representative values m pq of the matrix are derived, and the derived representative values m pp and m pq are output to the offset calculation unit 161c.
  • the representative values m pp and m pq are not particularly distinguished, they are simply referred to as representative values m p .
  • Representative values m p representative value deriving portion 161b derives, and any of the following 1) to 3).
  • the representative value m p is an average value of values constituting the low-frequency component of the quantization matrix.
  • the orthogonally transformed prediction residual in case that quantized by the quantization matrix, derive the m p is limited to the low-frequency component affecting most blockiness.
  • the representative value m p is a single value that corresponds to the lowest frequency of the quantization matrix.
  • the representative value derivation unit 161b has the lowest coefficient m [0] that most affects the block distortion, as shown in the following equation (2). ] as the representative value m p [0].
  • the representative value m p is the weighted average of a plurality of values which constitute the entire component of the quantization matrix.
  • Representative value deriving unit 161b derives a representative value m p in consideration of the quantization matrix of all coefficients in the quantization matrix. By using all the coefficients, it is possible to effectively reflect in the deblocking filter control in the case where a large number of coefficients occur even in the high frequency range.
  • Quantization matrices (MxN) is generally from a large weighting coefficient is used for high frequency, there is a tendency that the value of the extreme representative value m p Averaging including coefficient of broad increases. Therefore, the representative value derivation unit 161b considers the visual characteristics, increases the weight of the low frequency component, and averages it by using the weighting of the quantization matrix, as shown in the following equation (3).
  • c [j] [i] is a small number of 1.0 or less, and generally has a weight approaching 0 in the high frequency range. Specific values are designed by the system.
  • the method 1) and the method 3) described above may be combined.
  • the representative value deriving portion 161b, while deriving the m p is limited to the low-frequency component of the quantization matrix may be weighted average obtained by increasing the weighting coefficients of the lowest band quantization matrix ..
  • the offset calculation unit 161c calculates the offset value for each of the blocks P and Q based on the representative values m pp and m pq derived by the representative value derivation unit 161b.
  • the offset calculating section 161c uses the representative value m pp, calculates an offset value QppOffset for the block P, and outputs the calculated offset value QppOffset the threshold derivation unit 161d.
  • the offset calculation unit 161c calculates the offset value QppOffset by the following equation (4).
  • md is a value specified in the system as the value of the default quantization matrix. In this example, for example, m d is set to 16.
  • the offset calculation unit 161c uses the representative value m pq, calculates an offset value QpqOffset for block Q, and outputs the calculated offset value QpqOffset the threshold derivation unit 161d. For example, the offset calculation unit 161c calculates the offset QpqOffset by the following equation (5).
  • the offset calculation unit 161c may implement equations (4) and (5) by using a look-up table instead of division or log 2 function processing in hardware implementation or the like.
  • the threshold value derivation unit 161d calculates the quantization parameter Qp P used in the quantization processing and the inverse quantization processing for the block P, the quantization parameter Qp Q used in the quantization processing and the inverse quantization processing for the block Q, and the offset calculation. Based on the offset values QppOffset and QpqOffset calculated by the unit 161c, the threshold values ⁇ and t C for controlling the filter intensity of the deblocking filter 160 are derived, and the derived threshold values ⁇ and t C are transferred to the filter intensity control unit 161e. Output.
  • the threshold value derivation unit 161d calculates the variable qP by, for example, the following equation (6).
  • Equation (6) is basically a calculation formula for calculating the average of the quantization parameter Qp P of the block P and the quantization parameter Qp Q of the block Q. In this calculation formula, the offset based on the quantization matrix is obtained. The values QppOffset and QpqOffset have been introduced. The calculation formula of the formula (6) is only an example, and other calculation formulas may be used as long as the offset values QppOffset and QpqOffset based on the quantization matrix are reflected.
  • the threshold value derivation unit 161d calculates Q for deriving the threshold value ⁇ by, for example, the following equation (7).
  • the threshold value derivation unit 161d calculates Q for deriving the threshold value t C by, for example, the following equation (8).
  • the threshold value derivation unit 161d derives the threshold values ⁇ and t C from the Q calculated according to Table 2 below.
  • the filter strength control unit 161e controls the filter strength of the deblocking filter 160 based on the value of the boundary strength Bs output by the boundary strength determination unit 161a and the threshold values ⁇ and t C output by the threshold value derivation unit 161d.
  • the filter strength control unit 161e may control the deblocking filter 160 so as to perform the filtering process only when the following equation (9) is satisfied (FIG. 6). 3).
  • the filter strength control unit 161e may apply a strong filter when all of the following conditional expressions (10) to (15) are satisfied, and may apply a weak filter in other cases. (See FIG. 3).
  • the filter control unit 161 controls the filter strength of the deblocking filter 160 in consideration of not only the quantization parameter, which is a unique parameter set for each block, but also the quantization matrix. ..
  • the filter strength of the deblocking filter 160 can be controlled with respect to the generation of block noise caused by the quantization matrix, and the effect of reducing the block distortion by the deblocking filter 160 can be improved.
  • FIG. 5 is a diagram showing a configuration of a decoding device 2 according to the present embodiment.
  • the decoding device 2 is a device that decodes the decoding target block from the coded stream.
  • the decoding device 2 predicts the entropy decoding unit 200, the inverse quantization / inverse conversion unit 210, the synthesis unit 220, the deblocking filter 230, the filter control unit 231 and the memory 240. It has a part 250 and the like.
  • the entropy decoding unit 200 decodes the coded stream generated by the coding device 1 and decodes various signaling information. Specifically, the entropy decoding unit 200 acquires information on the quantization process applied to the decoding target block, and outputs the acquired information to the inverse quantization unit 211 and the filter control unit 231. Further, the entropy decoding unit 200 acquires information related to the prediction applied to the decoding target block (for example, prediction type information, motion vector information), and outputs the acquired information to the prediction unit 250 and the filter control unit 231.
  • information related to the prediction applied to the decoding target block for example, prediction type information, motion vector information
  • the entropy decoding unit 200 decodes the coded stream, acquires the quantized conversion coefficient, and outputs the acquired conversion coefficient to the inverse quantization / inverse conversion unit 210 (inverse quantization unit 211).
  • the inverse quantization / inverse conversion unit 210 performs the inverse quantization process and the inverse conversion process on a block-by-block basis.
  • the inverse quantization / inverse conversion unit 210 includes an inverse quantization unit 211 and an inverse conversion unit 212.
  • the inverse quantization unit 211 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122 of the coding device 1.
  • the inverse quantization unit 211 restores and restores the conversion coefficient of the decoding target block by inversely quantizing the quantization conversion coefficient output from the entropy decoding unit 200 using the quantization parameter and the quantization matrix.
  • the conversion coefficient is output to the inverse conversion unit 212.
  • the inverse conversion unit 212 performs an inverse conversion process corresponding to the conversion process performed by the conversion unit 121 of the coding device 1.
  • the inverse conversion unit 212 performs inverse conversion processing on the conversion coefficient output from the inverse quantization unit 211 to restore the predicted residual, and outputs the restored predicted residual (restored predicted residual) to the synthesis unit 220. To do.
  • the synthesizing unit 220 restores (decodes) the decoding target block by synthesizing the prediction residual output from the inverse conversion unit 212 and the prediction block output from the prediction unit 250 on a pixel-by-pixel basis, and converts the restored block into Output to the deblocking filter 230.
  • the deblocking filter 230 operates in the same manner as the deblocking filter 160 of the coding device 1.
  • the deblocking filter 230 filters the boundary of the block pair (blocks P and Q) consisting of the restoration block output from the synthesis unit 220 and the block adjacent to the restoration block, and stores the restored block after the filtering processing in memory. Output to 240.
  • the filter control unit 231 performs the same operation as the filter control unit 161 of the coding device 1 based on the information output from the entropy decoding unit 200. For example, the filter control unit 231 selects the boundary strength Bs by the method shown in Table 1, and controls the filter strength of the deblocking filter 160 by the formulas (1) to (15).
  • the memory 240 stores the restoration block output from the deblocking filter 230 as a decoded image in frame units.
  • the memory 240 outputs a frame-by-frame decoded image to the outside of the decoding device 2.
  • the prediction unit 250 makes a prediction in block units.
  • the prediction unit 250 includes an inter-prediction unit 251, an intra-prediction unit 252, and a switching unit 253.
  • the inter-prediction unit 251 uses the decoded image stored in the memory 240 as a reference image to predict the decoding target block by inter-prediction.
  • the inter-prediction unit 251 generates an inter-prediction block by performing inter-prediction using the motion vector information output from the entropy decoding unit 200, and outputs the generated inter-prediction block to the switching unit 253.
  • the intra prediction unit 252 refers to the reference pixel adjacent to the decoding target block among the decoded images stored in the memory 240, and predicts the decoding target block by intra prediction based on the information output from the entropy decoding unit 200. .. Then, the intra prediction unit 252 generates an intra prediction block, and outputs the generated intra prediction block to the switching unit 253.
  • the switching unit 253 switches between the inter prediction block output from the inter prediction unit 251 and the intra prediction block output from the intra prediction unit 252, and outputs one of the prediction blocks to the synthesis unit 220.
  • the decoding device 2 has the entropy decoding unit 200 that outputs the conversion coefficient corresponding to the block to be decoded by decoding the coded stream, and the entropy decoding unit 200 that outputs the conversion coefficient.
  • the inverse quantization / inverse conversion unit 210 that performs inverse quantization processing and inverse conversion processing to restore the predicted residual, and the restored predicted residual and the predicted block obtained by predicting the block to be decoded are combined.
  • the synthesis unit 220 that restores the decryption target block, the deblocking filter 230 that filters the boundary between the restored decoding target block and the adjacent block adjacent to the decoding target block, and the quantization used in the inverse quantization process. It has a filter control unit 231 that controls the filter strength of the deblocking filter 230 based on the parameters and the quantization matrix.
  • FIG. 6 is a diagram showing a configuration of a filter control unit 231 according to the present embodiment.
  • the filter control unit 231 according to the present embodiment includes a boundary strength determination unit 231a, a representative value derivation unit 231b, an offset calculation unit 231c, a threshold value derivation unit 231d, and a filter strength control unit 231e.
  • a boundary strength determination unit 231a the filter control unit 231 according to the present embodiment includes a boundary strength determination unit 231a, a representative value derivation unit 231b, an offset calculation unit 231c, a threshold value derivation unit 231d, and a filter strength control unit 231e.
  • the boundary strength determination unit 231a, the representative value derivation unit 231b, the offset calculation unit 231c, the threshold value derivation unit 231d, and the filter strength control unit 231e are the boundary strength determination unit 161a, the representative value derivation unit 161b, and the offset calculation unit of the coding device 1. The same operations as those of the 161c, the threshold value derivation unit 161d, and the filter strength control unit 161e are performed.
  • FIG. 7 is a diagram showing an example of an operation flow of the filter control unit 231 according to the present embodiment.
  • step S1 the boundary strength determining unit 231a determines the boundary strength Bs by the method shown in Table 1, and determines the value of the determined boundary strength Bs by the threshold value derivation unit 231d and the filter strength control unit 231e. Output to.
  • the processing for the boundaries of blocks P and Q is not performed without performing the processing after step S2.
  • the representative value deriving portion 231b is configured to derive a representative value m pp quantization matrix used in the inverse quantization process for the block P, the representative value of the quantization matrix used in the inverse quantization process on the block Q m pq is derived, and the derived representative values m pp and m pq are output to the offset calculation unit 231c.
  • Representative values m p representative value deriving portion 231b derives, using any of the above-described 1) to 3).
  • the offset calculation unit 231c calculates the offset value for each of the blocks P and Q based on the representative values m pp and m pq derived by the representative value derivation unit 231b. Specifically, the offset calculating section 231c uses the representative value m pp, by the above-mentioned formula (4) calculates an offset value QppOffset for the block P, and outputs the calculated offset value QppOffset the threshold derivation unit 231d. Similarly, the offset calculation unit 231c uses the representative value m pq, by the above-mentioned formula (5) to calculate an offset value QpqOffset for block Q, and outputs the calculated offset value QpqOffset the threshold derivation unit 231d.
  • step S4 the threshold derivation unit 231d is calculated by the quantization parameter Qp P used in the inverse quantization process for the block P, the quantization parameter Qp Q used in the inverse quantization process for the block Q, and the offset calculation unit 231c.
  • the variable qP is calculated by the above equation (6) based on the offset values QppOffset and QpqOffset.
  • step S5 the threshold value derivation unit 231d calculates the variable Q by the above equations (7) and (8) based on the variable qP, and derives the threshold values ⁇ and t C from the calculated variable Q according to Table 2. ..
  • step S6 the filter strength control unit 231e determines the filter strength of the deblocking filter 230 based on the value of the boundary strength Bs output by the boundary strength determination unit 231a and the threshold values ⁇ and t C output by the threshold value derivation unit 231d. To control.
  • the filter control unit 231 controls the filter strength of the deblocking filter 230 in consideration of not only the quantization parameter, which is a unique parameter set for each block, but also the quantization matrix. ..
  • the filter strength of the deblocking filter 230 can be controlled with respect to the generation of block noise caused by the quantization matrix, and the effect of reducing the block distortion by the deblocking filter 230 can be improved.
  • the entropy coding unit 130 sets an array (hereinafter, referred to as “offset array”) consisting of offset values defined for each of a plurality of quantization matrix candidates as a coding stream. Included in and transmitted to the decoding device. Specifically, the offset array stores the offset value for each quantization matrix set according to the combination of the prediction mode of the coded block, the block size, and the signal type (one luminance / two color difference signals). It was done. Although the details will be described later, the offset value is used to control the filter strength in the deblocking filtering process.
  • FIG. 8 is a diagram showing the configuration of the filter control unit 161 according to this modified example.
  • the filter control unit 161 according to this modification includes a boundary strength determination unit 1161a, an offset derivation unit 1161b, a threshold value derivation unit 1161c, and a filter strength control unit 1161d.
  • the boundary strength determination unit 1161a determines the boundary strength Bs based on, for example, Table 1 above, and outputs the value of the determined boundary strength Bs to the threshold value derivation unit 1161c and the filter strength control unit 1161d.
  • the value of the boundary strength Bs is set to either 0, 1, or 2.
  • the boundary strength of the luminance signal and the color difference signal for each block may be calculated, or the combination of the boundary intensity of the luminance signal and the color difference signal block may be determined as one boundary intensity.
  • the boundary strength determining unit 1161a sets the value of Bs to 2 when the intra prediction is applied to at least one of the blocks P and Q.
  • the boundary strength determining unit 1161a sets the Bs value when the inter-prediction is applied to both the blocks P and Q and at least one of the following (a) to (d) is satisfied. In other cases, the Bs value is set to 1.
  • At least one of blocks P and Q contains a significant conversion coefficient (that is, a non-zero conversion coefficient).
  • the boundary strength determining unit 1161a controls the deblocking filter 160 so that the boundary between the blocks P and Q is not filtered when the value of the determined boundary strength Bs is 0.
  • the offset derivation unit 1161b has an offset value QppOffset corresponding to the quantization matrix used in the quantization processing and the inverse quantization processing for the block P, and the quantization processing and the inverse quantization processing for the block Q.
  • the offset value QpqOffset corresponding to the quantization matrix used in the above is derived.
  • the offset derivation unit 1161b acquires the offset value m [k] in the offset array when the number of the quantization matrix used in the quantization processing and the inverse quantization processing for the block P is k, and the acquired offset.
  • the value m [k] be QppOffset.
  • k may be an index value indicating a block type determined according to a combination of a prediction mode, a block size, and a signal type.
  • the offset derivation unit 1161b may convert the offset value m [k] by the following equation (16) to obtain a QppOffset.
  • QppOffset log 2 (m pp / m d ) x 6 (16)
  • md is a value specified in the system as the value of the default quantization matrix. In this example, for example, m d is set to 16.
  • the offset derivation unit 1161b acquires and acquires the offset value m [l] in the offset array, where l is the number of the quantization matrix used in the quantization processing and the inverse quantization processing for the block Q.
  • the offset value m [l] be QpqOffset.
  • l may be an index value indicating a block type determined according to a combination of a prediction mode, a block size, and a signal type.
  • the offset derivation unit 1161b may convert the offset value m [l] by the following equation (17) to obtain QpqOffset.
  • QpqOffset log 2 (m pq / m d ) ⁇ 6 (17)
  • the quantization parameter Qp is a parameter that increases or decreases by a logarithmic function, and the representative value m p is divided by m d to obtain the logarithm.
  • equations (16) and (17) may be implemented by using a lookup table instead of division or processing of the log 2 function.
  • QppOffset sign ⁇ Q
  • the threshold value derivation unit 1161c includes the quantization parameter Qp P used in the quantization process and the dequantization process for the block P, the quantization parameter Qp Q used in the quantization process and the dequantization process for the block Q, and the offset derivation. Based on the offset values QppOffset and QpqOffset derived by the unit 1161b, the threshold values ⁇ and t C for controlling the filter intensity of the deblocking filter 160 are derived, and the derived threshold values ⁇ and t C are transferred to the filter intensity control unit 1161d. Output.
  • the threshold value derivation unit 1161c calculates the variable qP by, for example, the following equation (18).
  • Equation (18) is basically a calculation formula for calculating the average of the quantization parameter Qp P of the block P and the quantization parameter Qp Q of the block Q. In this calculation formula, the offset based on the quantization matrix is obtained. The values QppOffset and QpqOffset have been introduced. The calculation formula of the formula (18) is only an example, and other calculation formulas may be used as long as the offset values QppOffset and QpqOffset based on the quantization matrix are reflected.
  • the threshold value derivation unit 1161c calculates Q for deriving the threshold value ⁇ by, for example, the following equation (19).
  • the threshold value derivation unit 1161c calculates Q for deriving the threshold value t C by, for example, the following equation (20).
  • the threshold value derivation unit 1161c derives the threshold values ⁇ and t C from the Q calculated according to Table 2 above.
  • the filter strength control unit 1161d controls the filter strength of the deblocking filter 160 based on the value of the boundary strength Bs output by the boundary strength determination unit 1161a and the threshold values ⁇ and t C output by the threshold value derivation unit 1161c.
  • the filter strength control unit 1161d may control the deblocking filter 160 so as to perform the filter processing only when the above equation (9) is satisfied (FIG. 3).
  • the filter strength control unit 1161d may apply a strong filter when all of the above conditional expressions (10) to (15) are satisfied, and may apply a weak filter in other cases. (See FIG. 3).
  • the filter control unit 161 controls the filter strength of the deblocking filter 160 in consideration of not only the quantization parameter, which is a unique parameter set for each block, but also the quantization matrix. ..
  • the filter strength of the deblocking filter 160 can be controlled with respect to the generation of block noise caused by the quantization matrix, and the effect of reducing the block distortion by the deblocking filter 160 can be improved.
  • the entropy decoding unit 200 decodes the coded stream generated by the coding device 1 and decodes various signaling information. Specifically, the entropy decoding unit 200 acquires information on the quantization process applied to the decoding target block, and outputs the acquired information to the inverse quantization unit 211 and the filter control unit 231. Further, the entropy decoding unit 200 acquires information related to the prediction applied to the decoding target block (for example, prediction type information, motion vector information), and outputs the acquired information to the prediction unit 250 and the filter control unit 231. Further, the entropy decoding unit 200 acquires an offset array and outputs the acquired offset array to the filter control unit 231.
  • the decoding device 2 decodes the coded stream to obtain an array consisting of offset values defined for each of the candidates of the plurality of quantization matrices and a conversion corresponding to the block to be decoded.
  • An entropy decoding unit 200 that outputs a coefficient
  • an inverse quantization / inverse conversion unit 210 that performs dequantization processing and deconversion processing on the conversion coefficient output by the entropy decoding unit 200 to restore the predicted residuals.
  • the compositing unit 220 that restores the decoding target block by synthesizing the restored predicted residual and the prediction block obtained by predicting the decoding target block, and the restored decoding target block and the adjacent block adjacent to the decoding target block.
  • a deblocking filter 230 that performs filtering on the boundary, a filter control unit 231 that controls the filter strength of the deblocking filter 230 based on the quantization parameters and quantization matrix used in the inverse quantization processing, and an offset array.
  • FIG. 9 is a diagram showing a configuration of a filter control unit 231 according to this modified example.
  • the filter control unit 231 according to this modification includes a boundary strength determination unit 2231a, an offset derivation unit 2231b, a threshold value derivation unit 2231c, and a filter strength control unit 2231d.
  • the boundary strength determination unit 2231a, offset derivation unit 2231b, threshold value derivation unit 2231c, and filter strength control unit 2231d include the boundary strength determination unit 1161a, offset derivation unit 1161b, threshold value derivation unit 1161c, and filter strength control unit of the coding device 1. The same operation as that of 1161d is performed.
  • FIG. 10 is a diagram showing an example of an operation flow of the filter control unit 231 according to this modified example.
  • the boundary strength determining unit 2231a determines the boundary strength Bs by the method shown in Table 1, and sets the value of the determined boundary strength Bs to the threshold value derivation unit 2231c and the filter strength control unit 2231d. Output to.
  • the processing for the boundaries of blocks P and Q is not performed without performing the processing after step S12.
  • step S12 the offset derivation unit 2231b calculates the offset value QppOffset corresponding to the quantization matrix used in the inverse quantization process for the block P based on the offset array transmitted from the coding device 1, and blocks Q.
  • the offset value QpqOffset corresponding to the quantization matrix used in the inverse quantization process for is calculated, and the calculated offset values QppOffset and QpqOffset are output to the threshold derivation unit 2231c.
  • the threshold derivation unit 2231c is derived from the quantization parameter Qp P used in the dequantization process for the block P, the quantization parameter Qp Q used in the dequantization process for the block Q, and the offset derivation unit 2231b.
  • the variable qP is calculated by the above equation (18) based on the offset values QppOffset and QpqOffset.
  • step S14 the threshold value derivation unit 2231c calculates the variable Q by the above equations (19) and (20) based on the variable qP, and derives the threshold values ⁇ and t C from the calculated variable Q according to Table 2. ..
  • step S15 the filter strength control unit 2231d determines the filter strength of the deblocking filter 230 based on the value of the boundary strength Bs output by the boundary strength determination unit 2231a and the threshold values ⁇ and t C output by the threshold value derivation unit 2231c. To control.
  • the filter control unit 231 controls the filter strength of the deblocking filter 230 in consideration of not only the quantization parameter, which is a unique parameter set for each block, but also the quantization matrix. ..
  • the filter strength of the deblocking filter 230 can be controlled with respect to the generation of block noise caused by the quantization matrix, and the effect of reducing the block distortion by the deblocking filter 230 can be improved.
  • the filter control units 161 and 231 use the representative value of the quantization matrix applied to the block P and the representative value of the quantization matrix applied to the block Q.
  • the offset values QppOffset and QpqOffset are calculated for each target block pair.
  • prediction mode intra prediction, inter prediction
  • block size for example, 2x2, 4x4, 8x8, 16x16, 32x32, 64x64
  • one luminance / two color difference signals for example, 2x2, 4x4, 8x8, 16x16, 32x32, 64x64.
  • the offset value is calculated and saved in the memory for the quantization matrix set for each combination of R signal, B signal, and G signal), and each block of the target block pair is a luminance signal.
  • the offset value may be called from the memory based on the prediction mode and the block size, whether there is or two color difference signals.
  • a program that causes a computer to execute each process performed by the coding device 1 may be provided.
  • a program that causes a computer to execute each process performed by the decoding device 2 may be provided.
  • the program may be recorded on a computer-readable medium.
  • Computer-readable media can be used to install programs on a computer.
  • the computer-readable medium on which the program is recorded may be a non-transient recording medium.
  • the non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
  • a circuit that executes each process performed by the coding device 1 may be integrated, and the coding device 1 may be configured by a semiconductor integrated circuit (chipset, SoC).
  • a circuit that executes each process performed by the decoding device 2 may be integrated, and the decoding device 2 may be configured by a semiconductor integrated circuit (chipset, SoC).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

画像を分割して生成したブロック単位で符号化を行う符号化装置は、量子化処理及び逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部１６１を備える。量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータであって、量子化行列は、１つのブロック内の成分ごとに設定される値からなる行列である。

Description

符号化装置、復号装置、及びプログラム
　本発明は、符号化装置、復号装置、及びプログラムに関する。
　ＭＰＥＧ（Moving Picture Experts Group）の委員会で勧告された規格群のシリーズなどに代表されるブロック単位で符号化処理を行う映像符号化方式では、ブロック単位で異なる条件で符号化が行われるため、ブロック間の品質が均一でないという特徴がある。
　この特徴は、映像の部分領域の信号特性に応じて、例えば、人間の検知しやすい信号特性の領域であれば高品質の信号に符号化し、検知しにくい領域であれば低品質の信号に符号化するように制御することにより視覚的に画質の劣化を感じさせない符号化制御が行えるというメリットがある。反面、ブロック単位で符号化を制御するため、ブロック境界に画質の品質差が顕在化し、ブロック状の歪みが検知される場合がある。
　このような信号の劣化を低減するため、近年の符号化方式ではデブロッキングフィルタ処理が一般的に用いられる。デブロッキングフィルタは、信号のギャップを低減するためのフィルタであるため、一般的には低域通過フィルタの特性を持つ。
　デブロッキングフィルタを固定的に適用すると、高品質領域同士の境界部においては、フィルタ処理による信号劣化が品質改善よりも大きく作用することがあり、逆に過度に低品質に符号化処理された領域同士の境界部においては、フィルタが十分に効果を発揮できない。
　このような状況に鑑みて、従来の映像符号化方式では、量子化パラメータ（具体的には、境界を挟むブロックの量子化パラメータの平均値）に基づいてデブロッキングフィルタのフィルタ強度を制御している（例えば、非特許文献１参照）。ここで、量子化パラメータとは、１つのブロックに対して１つの値が設定され、このブロックの量子化の粗さ（ステップサイズ）を規定するパラメータをいう。
Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ＩＴＵ－Ｔ　Ｈ．２６５，（１２／２０１６），"Ｈｉｇｈ　ｅｆｆｉｃｉｅｎｃｙ　ｖｉｄｅｏ　ｃｏｄｉｎｇ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ
　画像が分割されたブロック内の品質を制御するパラメータは、上述した量子化パラメータのほかに、視覚による知覚強度に応じた品質制御のために、ブロック内の周波数特性を制御する量子化行列（スケーリングリストまたはスケーリングファクターと呼ばれることもある）が用いられている。
　量子化行列は、ブロックサイズに応じてi×j要素の成分ごとに設定される値（重み付け係数）からなる行列であって、変換係数の低周波から高周波にわたる成分ごとに量子化の粗さを調整するために用いられる。
　しかしながら、従来の映像符号化方式は、ブロック単位で設定される一意のパラメータである量子化パラメータを考慮してデブロッキングフィルタのフィルタ強度を制御しているものの、フィルタ強度の制御において量子化行列を考慮していない。
　このため、量子化行列に起因するブロックノイズの発生に対してはデブロッキングフィルタのフィルタ強度を制御する方法がなく、デブロッキングフィルタによるブロック歪みの低減効果が不十分であるという問題がある。
　そこで、本発明は、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供することを目的とする。
　第１の態様に係る符号化装置は、画像をブロック単位に分割し、ブロック単位で前記画像を符号化する符号化装置であって、前記画像をブロック単位に分割した符号化対象ブロックと前記符号化対象ブロックを予測することにより生成した予測ブロックとの差である予測残差に変換処理及び量子化処理を行う変換・量子化部と、前記変換・量子化部により生成された変換係数に逆量子化処理及び逆変換処理することで前記予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記予測ブロックとを合成することにより前記符号化対象ブロックを復元する合成部と、前記復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとの境界にフィルタ処理するデブロッキングフィルタと、前記量子化処理及び前記逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、前記量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータであって、前記量子化行列は、前記１つのブロック内の成分ごとに設定される値からなる行列であることを要旨とする。
　第２の態様に係る復号装置は、画像を分割して生成したブロック単位で復号を行う復号装置であって、符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、前記エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記復号対象ブロックを予測して生成した予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、前記復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタと、前記逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、前記量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータであって、前記量子化行列は、前記１つのブロック内の成分ごとに設定される値からなる行列であることを要旨とする。
　第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。
　第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。
　本発明によれば、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供できる。
実施形態に係る符号化装置の構成を示す図である。 量子化行列の一例を示す図である。 実施形態に係るデブロッキングフィルタの動作例を示す図である。 実施形態に係る符号化装置のフィルタ制御部の構成を示す図である。 実施形態に係る復号装置の構成を示す図である。 実施形態に係る復号装置のフィルタ制御部の構成を示す図である。 実施形態に係るフィルタ制御部の動作フロー例を示す図である。 変更例に係る符号化装置のフィルタ制御部の構成を示す図である。 変更例に係る復号装置のフィルタ制御部の構成を示す図である。 変更例に係るフィルタ制御部の動作フロー例を示す図である。
　図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
　＜符号化装置の構成＞
　まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。符号化装置１は、画像を分割して得たブロック単位で符号化を行う装置である。
　図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、デブロッキングフィルタ１６０と、フィルタ制御部１６１と、メモリ１７０と、予測部１８０とを有する。
　ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず矩形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ　Ｕｎｉｔ）と呼ばれることがある。
　ブロック分割部１００は、輝度信号と色差信号とに対してブロック分割を行う。以下において、ブロック分割の形状が輝度信号と色差信号とで同じである場合について主として説明するが、輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。
　減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１８０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。
　変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。
　変換部１２１は、減算部１１０から出力される予測残差に対して変換処理を行って周波数成分ごとの変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理（変換）とは、画素領域の信号を周波数領域の信号に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）、及びそれらを整数化した変換等をいう。また、変換処理には画素領域の信号を周波数領域の信号に変換することなくスケーリング等により調整する変換スキップを含んでもよい。
　量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。また、量子化部１２２は、量子化処理に関する情報（具体的には、量子化処理で用いた量子化パラメータ及び量子化行列の情報）を、エントロピー符号化部１３０、逆量子化部１４１、及びフィルタ制御部１６１に出力する。
　ここで、量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータである。具体的には、量子化パラメータは、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さ（ステップサイズ）を定めるパラメータである。
　量子化行列は、１つのブロック内の成分ごとに設定される値からなる行列である。具体的には、量子化行列は、ブロックサイズに応じてi×j要素の成分ごとに設定される値（重み付け係数）からなる行列であって、変換係数の低周波から高周波にわたる成分ごとに量子化の粗さを調整するために用いられる。
　図２は、量子化行列の一例を示す図である。図２において、ｉ×ｊ＝４×４である一例を示している。図２に示す例では、量子化行列は、水平方向、垂直方向の次数がそれぞれ大きくなるほど、大きな値を有する。このような量子化行列では、より右下に配列された要素に係る変換係数、つまり高域の変換係数ほど低い精度で量子化される。そのため、低域ほど濃淡や色相の空間的変化に鋭敏であるという人間の視覚特性を活用し、主観的な画質を劣化させずに量子化によって高域での情報量を低減することが許容される。
　なお、量子化行列は、符号化対象ブロックの予測モード（イントラ予測、インター予測の別）、ブロックサイズ（例えば、２ｘ２、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４）、及び１つの輝度・２つの色差信号（ＲＧＢ信号の場合は、Ｒ信号、Ｂ信号、Ｇ信号）のそれぞれの組み合わせについて設定可能である。
　エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ　Ａｄａｐｔｉｖｅ　Ｂｉｎａｒｙ　Ａｒｉｔｈｍｅｔｉｃ　Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。
　また、エントロピー符号化部１３０は、ブロック分割部１００から各符号化対象ブロックのサイズ・形状等の情報を取得し、量子化部１２２から量子化処理に関する情報を取得し、予測部１８０から予測に関する情報（例えば、予測モードや動きベクトルの情報）を取得し、これらの情報の符号化も行う。
　逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。
　逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。
　逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。
　合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１８０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復元（復号）し、復元したブロック単位の復号画像（復元ブロック）をデブロッキングフィルタ１６０に出力する。
　デブロッキングフィルタ１６０は、復元ブロックと当該復元ブロックに隣接する隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ１７０に出力する。フィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、隣り合う２つのブロックのブロック境界における信号のギャップを平滑化するフィルタ処理である。デブロッキングフィルタ１６０は、一般的に信号の変動を緩やかにするローパスフィルタとして構成されている。
　図３は、本実施形態に係るデブロッキングフィルタ１６０の動作例を示す図である。図３に示す例では、デブロッキングフィルタ１６０は、８×８画素のブロックごとのブロック境界を対象としてフィルタ処理を行う。また、デブロッキングフィルタ１６０は、４行又は４列を単位としてフィルタ処理を行う。図３に示すブロックＰ及びＱでは、デブロッキングフィルタ１６０のフィルタ処理の１単位であり、ブロックサイズが４×４画素である一例を示している。ブロックＰ及びＱのそれぞれは、サブブロックと呼ばれてもよい。デブロッキングフィルタ１６０の動作の詳細については後述する。
　フィルタ制御部１６１は、デブロッキングフィルタ１６０を制御する。具体的には、フィルタ制御部１６１は、対象ブロック対のブロック境界に対するフィルタ処理を行うか否かを示す境界強度（Ｂｓ：Ｂｏｕｎｄａｒｙ　ｓｔｒｅｎｇｔｈ）、及びデブロッキングフィルタ１６０のフィルタ強度を制御する。境界強度Ｂｓとは、フィルタ処理を適用するか否か、及びそのフィルタ処理の種類を決定するためのパラメータをいう。なお、フィルタ処理を行うか否かの制御は、境界強度Ｂｓを１以上とするか又はゼロとするかの制御とみなすことができる。
　フィルタ制御部１６１は、対象ブロック対の境界近傍領域における画素値の変動や、予測モード、量子化パラメータ、動き補償予測（インター予測）に用いる動きベクトルの値に基づいて、デブロッキングフィルタ１６０を制御する。
　詳細については後述するが、本実施形態に係るフィルタ制御部１６１は、量子化部１２０における量子化処理及び逆量子化部１４１における逆変換処理に用いた量子化パラメータ及び量子化行列に基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御する。
　このように、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタのフィルタ強度を制御することにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ１６０のフィルタ強度を制御可能になり、デブロッキングフィルタ１６０によるブロック歪みの低減効果を向上させることができる。
　メモリ１７０は、デブロッキングフィルタ１６０から出力される復元ブロックをフレーム単位で復号画像として蓄積する。メモリ１７０は、記憶している復号画像を予測部１８０に出力する。
　予測部１８０は、ブロック単位で予測処理を行うことにより、符号化対象ブロックに対応する予測ブロックを生成し、生成した予測ブロックを減算部１１０及び合成部１５０に出力する。予測部１８０は、インター予測部１８１と、イントラ予測部１８２と、切替部１８３とを有する。
　インター予測部１８１は、メモリ１７０に記憶された復号画像を参照画像として用いて、ブロックマッチング等の手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１８３に出力する。インター予測部１８１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１８１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。
　イントラ予測部１８２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。イントラ予測部１８２は、メモリ１７０に記憶された復号画像のうち、符号化対象ブロックに隣接する復号済み画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１８３に出力する。また、イントラ予測部１８２は、選択したイントラ予測モードに関する情報をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。
　切替部１８３は、インター予測部１８１から出力されるインター予測ブロックとイントラ予測部１８２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。
　このように、本実施形態に係る符号化装置１は、符号化対象ブロックと符号化対象ブロックを予測して得た予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部１２０と、変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部１４０と、復元した予測残差と予測ブロックとを合成して符号化対象ブロックを復元する合成部１５０と、復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタ１６０と、量子化処理及び逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御するフィルタ制御部１６１とを有する。
　次に、本実施形態に係るフィルタ制御部１６１の構成について説明する。本実施形態に係るフィルタ制御部１６１は、符号化対象ブロックに対する量子化処理及び逆量子化処理で用いた量子化パラメータ及び量子化行列と、隣接ブロックに対する量子化処理及び逆量子化処理で用いた量子化パラメータ及び量子化行列とに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御する。以下において、符号化対象ブロック又はそのサブブロックがブロックＰであり、隣接ブロック又はそのサブブロックがブロックＱであるものとする。
　図４は、本実施形態に係るフィルタ制御部１６１の構成を示す図である。図４に示すように、本実施形態に係るフィルタ制御部１６１は、境界強度決定部１６１ａと、代表値導出部１６１ｂと、オフセット算出部１６１ｃと、閾値導出部１６１ｄと、フィルタ強度制御部１６１ｅとを有する。
　境界強度決定部１６１ａは、例えば下記の表１に基づいて境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部１６１ｄ及びフィルタ強度制御部１６１ｅに出力する。本実施形態では、境界強度Ｂｓの値は０，１，２のいずれかとする。なお、輝度信号と色差信号のブロックに対する境界強度をそれぞれ算出してもよいし、輝度信号と色差信号のブロックの境界強度の組み合わせを一つの境界強度として判定してもよい。
Figure JPOXMLDOC01-appb-T000001
　表１に示すように、境界強度決定部１６１ａは、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、Ｂｓの値を２とする。
　一方、境界強度決定部１６１ａは、ブロックＰ及びＱの両方にインター予測が適用されており、且つ少なくとも以下の（ａ）乃至（ｄ）の中の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。
　（ａ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（すなわち、非ゼロ変換係数）を含むこと。
　（ｂ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。
　（ｃ）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。
　境界強度決定部１６１ａは、決定した境界強度Ｂｓの値が０の場合、ブロックＰ及びＱの境界に対するフィルタ処理を行わないようデブロッキングフィルタ１６０を制御する。
　代表値導出部１６１ｂは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化行列の代表値ｍｐｐを導出するとともに、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化行列の代表値ｍｐｑを導出し、導出した代表値ｍｐｐ及びｍｐｑをオフセット算出部１６１ｃに出力する。以下において、代表値ｍｐｐ及びｍｐｑを特に区別しないときは単に代表値ｍｐと呼ぶ。
　代表値導出部１６１ｂが導出する代表値ｍｐとしては、次の１）乃至３）のいずれかとする。
　１）代表値ｍｐは、量子化行列の低域成分を構成する複数の値の平均値である。
　直交変換された予測残差を量子化行列で量子化するケースにおいて、最もブロック歪みに影響をおよぼす低域成分に限定してｍｐを導出する。具体的には、代表値導出部１６１ｂは、次の式（１）に示すように、低域、ｉ＜ｓ，ｊ＜ｔ（例えば、ｓ＝ｔ＝４）を満たすｍ［ｊ］［ｉ］の平均値を代表値ｍｐとする。
Figure JPOXMLDOC01-appb-M000002
　一般的に、量子化行列は、ｉ，ｊが０に近いほど低域に対する重み付け係数を意味し、人間の視覚特性を考慮して重み付けが小さくなるが、ｉ，ｊが大きくなるにしたがって重み付けが大きくなる（図２参照）。また、一般的に、変換係数は、ｉ，ｊが０に近いほど大きく、ｉ，ｊが大きくなるほど小さくなる傾向がある。このため、低域成分に限定してｍｐを導出することとしている。
　２）代表値ｍｐは、量子化行列の最低域に相当する１つの値である。
　直交変換された予測残差を量子化行列で量子化するケースにおいて、代表値導出部１６１ｂは、次の式（２）に示すように、最もブロック歪みに影響を与える最低域の係数ｍ［０］［０］を代表値ｍｐとする。
　mp=m[0][0] 　　　　(2)
　この方法は、最低域のみのブロック歪みへの影響のみを考慮したもので、上述した１）の方法に比べてデブロッキングフィルタ制御への影響は少ないが、１つの係数の代入のみで実現されるため、非常に軽量な実現方法である。
　３）代表値ｍｐは、量子化行列の全成分を構成する複数の値の重み付き平均値である。
　代表値導出部１６１ｂは、量子化行列の全係数の量子化行列を考慮して代表値ｍｐを導出する。全係数を用いることで高域にも多数の係数が発生するケースについて効果的にデブロッキングフィルタ制御に反映することができる。量子化行列（ＭｘＮ）は、一般的に高域に対して大きな重み付け係数が用いられることから、広域の係数を含めて平均化すると極端に代表値ｍｐの値が大きくなる傾向がある。そこで、代表値導出部１６１ｂは、視覚特性を考慮し、次の式（３）に示すように、低域成分の重みを大きくして量子化行列の重み付けを用って平均化する。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｃ［ｊ］［ｉ］は、１．０以下の少数であり、一般的に高域において０に近づく重み付けを有する。具体的な値はシステムによって設計する。
　なお、上述した１）の方法と３）の方法とを組み合わせてもよい。具体的には、代表値導出部１６１ｂは、量子化行列の低域成分に限定してｍｐを導出しつつ、量子化行列の最低域の係数の重みを大きくした重み付け平均を行ってもよい。
　オフセット算出部１６１ｃは、代表値導出部１６１ｂが導出した代表値ｍｐｐ及びｍｐｑに基づいて、ブロックＰ及びＱのそれぞれについてオフセット値を算出する。
　具体的には、オフセット算出部１６１ｃは、代表値ｍｐｐを用いて、ブロックＰに対するオフセット値ＱｐｐＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐｐＯｆｆｓｅｔを閾値導出部１６１ｄに出力する。例えば、オフセット算出部１６１ｃは、次の式（４）によりオフセット値ＱｐｐＯｆｆｓｅｔを算出する。
　QppOffset=log2(mpp/ｍｄ)×6 　　　　(4)
　ただし、ｍｄはデフォルトの量子化行列の値としてシステムに規定される値である。本例では例えばｍｄを１６に設定する。
　同様に、オフセット算出部１６１ｃは、代表値ｍｐqを用いて、ブロックＱに対するオフセット値ＱｐｑＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐｑＯｆｆｓｅｔを閾値導出部１６１ｄに出力する。例えば、オフセット算出部１６１ｃは、次の式（５）によりオフセットＱｐｑＯｆｆｓｅｔを算出する。
　QpqOffset=log2(mpq/ｍｄ)×6 　　　　(5)
　式（４）及び（５）において、量子化パラメータＱｐが対数関数によって増減するパラメータであって、代表値ｍｐをｍｄで除算して対数をとっている。
　なお、オフセット算出部１６１ｃでは、ハードウェアでの実装などにおいては、除算やｌｏｇ２関数の処理の代わりにルックアップテーブルを用いて、式（４）及び式（５）を実装してもよい。
　例えば式（４）の処理の代わりにルックアップテーブルＬＵＴをＬＵＴ［］＝｛１８，２１，２３，２６，２９，３２，３６，４１，４６，５１，５８，６４，７２，８１，９１，１０２，１１５，１２８，１４４，１６２，１８２，２０４，２２９，２５６｝としたとき、下記の処理によりＱｐｐＯｆｆｓｅｔを算出してもよい。
if (mpp<md)
{
  sign = -1
  M = md × md / mpp
}
else
{
  sign = 1
  M = mpp
}
Q = 0
while (M >= LUT[Q])
{
  Q++
}
QppOffset = sign × Q
　同様に、式（５）の処理の代わりに、下記の処理によりQpqOffsetを算出してもよい。
if (mpq<md)
{
  sign = -1
  M = md × md / mpq
}
else
{
  sign = 1
  M = mpq
}
Q = 0
while (M >= LUT[Q])
{
  Q++
}
 QpqOffset = sign × Q
　なお、上記はルックアップテーブルを用いたＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔの算出の一例であり、量子化行列の代表値ｍｐｐ及びｍｑｑに基づいてｍｄにより除算および対数処理をＬＵＴで算出していれば、上記の例には限らない。
　閾値導出部１６１ｄは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐＰと、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐＱと、オフセット算出部１６１ｃが算出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔとに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御するための閾値β及びｔＣを導出し、導出した閾値β及びｔＣをフィルタ強度制御部１６１ｅに出力する。
　第１に、閾値導出部１６１ｄは、例えば次の式（６）により変数ｑＰを算出する。
　qP=((QpQ+QpqOffset+QpP+QppOffset+1)>>1) 　　　　(6)
　ここで、“>>”はシフト演算子（右シフト演算）を示す。式（６）は、基本的には、ブロックＰの量子化パラメータＱｐＰと、ブロックＱの量子化パラメータＱｐＱとの平均を求める計算式であるが、この計算式において量子化行列に基づくオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔが導入されている。なお、式（６）の計算式は一例に過ぎないものであって、量子化行列に基づくオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔが反映されたものであれば他の計算式を用いてもよい。
　第２に、閾値導出部１６１ｄは、例えば次の式（７）により、閾値βを導出するためのＱを算出する。
　Q=Clip3(0,63,qP+(slice_beta_offset_div2<<1)) 　　　　(7)
　ここで、“<<”はシフト演算子（左シフト演算）を示す。“Ｃｌｉｐ３（Ｘ，Ｙ，Ｚ）”は、ＺがＸより小さければＸを返し、ＺがＹより大きければＹを返し、それ以外の場合はＺを返すクリップ演算子である。slice_beta_offset_div2は、復号装置２にシグナリングするパラメータの１つである。
　また、閾値導出部１６１ｄは、例えば次の式（８）により、閾値ｔＣを導出するためのＱを算出する。
　Q=Clip3(0,65,qP+2*(bS?1)+(slice_tc_offset_div2<<1))　　　　(8)
　ここで、“bS”は境界強度決定部１６１ａが出力するＢｓ値である。slice_tc_offset_div2は、復号装置２にシグナリングするパラメータの１つである。
　第３に、閾値導出部１６１ｄは、次の表２により、それぞれ算出したＱから閾値β及びｔＣを導出する。
Figure JPOXMLDOC01-appb-T000004
　フィルタ強度制御部１６１ｅは、境界強度決定部１６１ａが出力する境界強度Ｂｓの値と、閾値導出部１６１ｄが出力する閾値β及びｔＣとに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御する。
　フィルタ強度制御部１６１ｅは、境界強度Ｂｓの値が１又は２の場合には、次の式（９）を満たす場合にのみ、フィルタ処理を行うようデブロッキングフィルタ１６０を制御してもよい（図３参照）。
Figure JPOXMLDOC01-appb-M000005
　また、フィルタ強度制御部１６１ｅは、フィルタ処理を行う場合、以下の条件式（１０）乃至（１５）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい（図３参照）。
Figure JPOXMLDOC01-appb-M000006
　このように、本実施形態に係るフィルタ制御部１６１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタ１６０のフィルタ強度を制御する。これにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ１６０のフィルタ強度を制御可能になり、デブロッキングフィルタ１６０によるブロック歪みの低減効果を向上させることができる。
　＜復号装置の構成＞
　次に、本実施形態に係る復号装置の構成について、上述した符号化装置の構成との相違点を主として説明する。図５は、本実施形態に係る復号装置２の構成を示す図である。復号装置２は、符号化ストリームから復号対象ブロックを復号する装置である。
　図５に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、デブロッキングフィルタ２３０と、フィルタ制御部２３１と、メモリ２４０と、予測部２５０とを有する。
　エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、各種のシグナリング情報を復号する。具体的には、エントロピー復号部２００は、復号対象ブロックに適用された量子化処理に関する情報を取得し、取得した情報を逆量子化部２１１及びフィルタ制御部２３１に出力する。また、エントロピー復号部２００は、復号対象ブロックに適用された予測に関する情報（例えば、予測種別情報、動きベクトル情報）を取得し、取得した情報を予測部２５０及びフィルタ制御部２３１に出力する。
　また、エントロピー復号部２００は、符号化ストリームを復号し、量子化された変換係数を取得し、取得した変換係数を逆量子化・逆変換部２１０（逆量子化部２１１）に出力する。
　逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。
　逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。
　逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。
　合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２５０から出力される予測ブロックとを画素単位で合成することにより、復号対象ブロックを復元（復号）し、復元ブロックをデブロッキングフィルタ２３０に出力する。
　デブロッキングフィルタ２３０は、符号化装置１のデブロッキングフィルタ１６０と同様な動作を行う。デブロッキングフィルタ２３０は、合成部２２０から出力される復元ブロックと当該復元ブロックに隣接するブロックとからなるブロック対（ブロックＰ及びＱ）の境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ２４０に出力する。
　フィルタ制御部２３１は、エントロピー復号部２００から出力される情報に基づいて、符号化装置１のフィルタ制御部１６１と同様な動作を行う。フィルタ制御部２３１は、例えば、表１に示した方法で境界強度Ｂｓを選択し、式（１）乃至式（１５）によりデブロッキングフィルタ１６０のフィルタ強度を制御する。
　メモリ２４０は、デブロッキングフィルタ２３０から出力される復元ブロックをフレーム単位で復号画像として記憶する。メモリ２４０は、フレーム単位の復号画像を復号装置２の外部に出力する。
　予測部２５０は、ブロック単位で予測を行う。予測部２５０は、インター予測部２５１と、イントラ予測部２５２と、切替部２５３とを有する。
　インター予測部２５１は、メモリ２４０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２５１は、エントロピー復号部２００から出力される動きベクトル情報を用いてインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２５３に出力する。
　イントラ予測部２５２は、メモリ２４０に記憶された復号画像のうち復号対象ブロックに隣接する参照画素を参照し、エントロピー復号部２００から出力される情報に基づいて、復号対象ブロックをイントラ予測により予測する。そして、イントラ予測部２５２は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２５３に出力する。
　切替部２５３は、インター予測部２５１から出力されるインター予測ブロックとイントラ予測部２５２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。
　このように、本実施形態に係る復号装置２は、符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部２１０と、復元した予測残差と復号対象ブロックを予測して得た予測ブロックとを合成して復号対象ブロックを復元する合成部２２０と、復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタ２３０と、逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、デブロッキングフィルタ２３０のフィルタ強度を制御するフィルタ制御部２３１とを有する。
　次に、本実施形態に係るフィルタ制御部２３１の構成について説明する。図６は、本実施形態に係るフィルタ制御部２３１の構成を示す図である。図６に示すように、本実施形態に係るフィルタ制御部２３１は、境界強度決定部２３１ａと、代表値導出部２３１ｂと、オフセット算出部２３１ｃと、閾値導出部２３１ｄと、フィルタ強度制御部２３１ｅとを有する。
　境界強度決定部２３１ａ、代表値導出部２３１ｂ、オフセット算出部２３１ｃ、閾値導出部２３１ｄ、及びフィルタ強度制御部２３１ｅは、符号化装置１の境界強度決定部１６１ａ、代表値導出部１６１ｂ、オフセット算出部１６１ｃ、閾値導出部１６１ｄ、及びフィルタ強度制御部１６１ｅとそれぞれ同様な動作を行う。
　＜フィルタ制御部の動作例＞
　次に、本実施形態に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作例について説明する。フィルタ制御部１６１及びフィルタ制御部２３１は同じ動作を行うため、ここではフィルタ制御部２３１を例に挙げて説明する。図７は、本実施形態に係るフィルタ制御部２３１の動作フロー例を示す図である。
　図７に示すように、ステップＳ１において、境界強度決定部２３１ａは、表１に示した方法により境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部２３１ｄ及びフィルタ強度制御部２３１ｅに出力する。決定された境界強度Ｂｓの値が０である場合、ステップＳ２以降の処理を行わずに、ブロックＰ及びＱの境界に対するフィルタ処理を行わない。
　ステップＳ２において、代表値導出部２３１ｂは、ブロックＰに対する逆量子化処理で用いた量子化行列の代表値ｍｐｐを導出するとともに、ブロックＱに対する逆量子化処理で用いた量子化行列の代表値ｍｐｑを導出し、導出した代表値ｍｐｐ及びｍｐｑをオフセット算出部２３１ｃに出力する。代表値導出部２３１ｂが導出する代表値ｍｐとしては、上述した１）乃至３）のいずれかを用いる。
　ステップＳ３において、オフセット算出部２３１ｃは、代表値導出部２３１ｂが導出した代表値ｍｐｐ及びｍｐｑに基づいて、ブロックＰ及びＱのそれぞれについてオフセット値を算出する。具体的には、オフセット算出部２３１ｃは、代表値ｍｐｐを用いて、上述した式（４）によりブロックＰに対するオフセット値ＱｐｐＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐｐＯｆｆｓｅｔを閾値導出部２３１ｄに出力する。同様に、オフセット算出部２３１ｃは、代表値ｍｐqを用いて、上述した式（５）によりブロックＱに対するオフセット値ＱｐｑＯｆｆｓｅｔを算出し、算出したオフセット値ＱｐｑＯｆｆｓｅｔを閾値導出部２３１ｄに出力する。
　ステップＳ４において、閾値導出部２３１ｄは、ブロックＰに対する逆量子化処理で用いた量子化パラメータＱｐＰと、ブロックＱに対する逆量子化処理で用いた量子化パラメータＱｐＱと、オフセット算出部２３１ｃが算出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔとに基づいて、上述した式（６）により変数ｑＰを算出する。
　ステップＳ５において、閾値導出部２３１ｄは、変数ｑＰに基づいて、上述した式（７）及び式（８）により変数Ｑを算出し、算出した変数Ｑから表２により閾値β及びｔＣを導出する。
　ステップＳ６において、フィルタ強度制御部２３１ｅは、境界強度決定部２３１ａが出力する境界強度Ｂｓの値と、閾値導出部２３１ｄが出力する閾値β及びｔＣとに基づいて、デブロッキングフィルタ２３０のフィルタ強度を制御する。
　このように、本実施形態に係るフィルタ制御部２３１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタ２３０のフィルタ強度を制御する。これにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ２３０のフィルタ強度を制御可能になり、デブロッキングフィルタ２３０によるブロック歪みの低減効果を向上させることができる。
　＜変更例＞
　次に、実施形態の変更例について、上述の実施形態との相違点を主として説明する。
　まず、本変更例に係る符号化装置１について説明する。本変更例に係る符号化装置１において、エントロピー符号化部１３０は、複数の量子化行列の候補のそれぞれについて規定されたオフセット値からなる配列（以下、「オフセット配列」と呼ぶ）を符号化ストリームに含めて復号装置に伝送する。具体的には、オフセット配列は、符号化対象ブロックの予測モード、ブロックサイズ、及び信号種別（１つの輝度・２つの色差信号）の組み合わせに応じて設定される各量子化行列についてオフセット値を格納したものである。詳細については後述するが、オフセット値は、デブロッキングフィルタ処理におけるフィルタ強度を制御するために用いられる。
　図８は、本変更例に係るフィルタ制御部１６１の構成を示す図である。図８に示すように、本変更例に係るフィルタ制御部１６１は、境界強度決定部１１６１ａと、オフセット導出部１１６１ｂと、閾値導出部１１６１ｃと、フィルタ強度制御部１１６１ｄとを有する。
　境界強度決定部１１６１ａは、例えば上記の表１に基づいて境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部１１６１ｃ及びフィルタ強度制御部１１６１ｄに出力する。本変更例では、境界強度Ｂｓの値は０，１，２のいずれかとする。なお、輝度信号と色差信号のブロックに対する境界強度をそれぞれ算出してもよいし、輝度信号と色差信号のブロックの境界強度の組み合わせを一つの境界強度として判定してもよい。
　表１に示すように、境界強度決定部１１６１ａは、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、Ｂｓの値を２とする。
　一方、境界強度決定部１１６１ａは、ブロックＰ及びＱの両方にインター予測が適用されており、且つ少なくとも以下の（ａ）乃至（ｄ）の中の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。
　（ａ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（すなわち、非ゼロ変換係数）を含むこと。
　（ｂ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。
　（ｃ）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。
　境界強度決定部１１６１ａは、決定した境界強度Ｂｓの値が０の場合、ブロックＰ及びＱの境界に対するフィルタ処理を行わないようデブロッキングフィルタ１６０を制御する。
　オフセット導出部１１６１ｂは、上述したオフセット配列に基づいて、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化行列に対応するオフセット値ＱｐｐＯｆｆｓｅｔと、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化行列に対応するオフセット値ＱｐｑＯｆｆｓｅｔとを導出する。
　例えば、オフセット導出部１１６１ｂは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化行列の番号をｋとした場合、オフセット配列中のオフセット値ｍ［ｋ］を取得し、取得したオフセット値ｍ［ｋ］をＱｐｐＯｆｆｓｅｔとする。ここで、ｋは、予測モード、ブロックサイズ、及び信号種別の組み合わせに応じて定まるブロック種別を示すインデックス値であってもよい。オフセット導出部１１６１ｂは、オフセット値ｍ［ｋ］を次の式（１６）のようにして変換してＱｐｐＯｆｆｓｅｔとしてもよい。
　QppOffset=log2(mpp/ｍd)×6 　　　　(16)
　ただし、ｍdはデフォルトの量子化行列の値としてシステムに規定される値である。本例では例えばｍdを１６に設定する。
　同様に、オフセット導出部１１６１ｂは、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化行列の番号をｌとした場合、オフセット配列中のオフセット値ｍ［ｌ］を取得し、取得したオフセット値ｍ［ｌ］をＱｐｑＯｆｆｓｅｔとする。ここで、ｌは、予測モード、ブロックサイズ、及び信号種別の組み合わせに応じて定まるブロック種別を示すインデックス値であってもよい。オフセット導出部１１６１ｂは、オフセット値ｍ［ｌ］を次の式（１７）のようにして変換してＱｐｑＯｆｆｓｅｔとしてもよい。
　QpqOffset=log2(mpq/ｍd)×6 　　　　(17)
　式（１６）及び（１７）において、量子化パラメータＱｐが対数関数によって増減するパラメータであって、代表値ｍpをｍdで除算して対数をとっている。
　なお、オフセット導出部１１６１ｂでは、ハードウェアでの実装などにおいては、除算やｌｏｇ2関数の処理の代わりにルックアップテーブルを用いて、式（１６）及び式（１７）を実装してもよい。
　例えば式（１６）の処理の代わりにルックアップテーブルＬＵＴをＬＵＴ［］＝｛１８，２１，２３，２６，２９，３２，３６，４１，４６，５１，５８，６４，７２，８１，９１，１０２，１１５，１２８，１４４，１６２，１８２，２０４，２２９，２５６｝としたとき、下記の処理によりＱｐｐＯｆｆｓｅｔを算出してもよい。
if (mpp<md)
[
  sign = -1
  M = md × md / mpp
]
else
[
  sign = 1
  M = mpp
]
Q = 0
while (M >= LUT[Q])
[
  Q++
]
QppOffset = sign × Q
　同様に、式（１７）の処理の代わりに、下記の処理によりQpqOffsetを算出してもよい。
if (mpq<md)
[
  sign = -1
  M = md × md / mpq
]
else
[
  sign = 1
  M = mpq
]
Q = 0
while (M >= LUT[Q])
[
  Q++
]
 QpqOffset = sign × Q
　なお、上記はルックアップテーブルを用いたＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔの算出の一例であり、上記の例には限らない。
　閾値導出部１１６１ｃは、ブロックＰに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐPと、ブロックＱに対する量子化処理及び逆量子化処理で用いた量子化パラメータＱｐQと、オフセット導出部１１６１ｂが導出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔとに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御するための閾値β及びｔCを導出し、導出した閾値β及びｔCをフィルタ強度制御部１１６１ｄに出力する。
　第１に、閾値導出部１１６１ｃは、例えば次の式（１８）により変数ｑＰを算出する。
　qP=((QpQ+QpqOffset+QpP+QppOffset+1)>>1) 　　　　(18)
　ここで、“>>”はシフト演算子（右シフト演算）を示す。式（１８）は、基本的には、ブロックＰの量子化パラメータＱｐPと、ブロックＱの量子化パラメータＱｐQとの平均を求める計算式であるが、この計算式において量子化行列に基づくオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔが導入されている。なお、式（１８）の計算式は一例に過ぎないものであって、量子化行列に基づくオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔが反映されたものであれば他の計算式を用いてもよい。
　第２に、閾値導出部１１６１ｃは、例えば次の式（１９）により、閾値βを導出するためのＱを算出する。
　Q=Clip3(0,63,qP+(slice_beta_offset_div2<<1))         (19)
　ここで、“<<”はシフト演算子（左シフト演算）を示す。“Ｃｌｉｐ３（Ｘ，Ｙ，Ｚ）”は、ＺがＸより小さければＸを返し、ＺがＹより大きければＹを返し、それ以外の場合はＺを返すクリップ演算子である。slice_beta_offset_div2は、復号装置２にシグナリングするパラメータの１つである。
　また、閾値導出部１１６１ｃは、例えば次の式（２０）により、閾値ｔCを導出するためのＱを算出する。
　Q=Clip3(0,65,qP+2*(bS-1)+(slice_tc_offset_div2<<1))        (20)
　ここで、“bS”は境界強度決定部１１６１ａが出力するＢｓ値である。slice_tc_offset_div2は、復号装置２にシグナリングするパラメータの１つである。
　第３に、閾値導出部１１６１ｃは、上記の表２により、それぞれ算出したＱから閾値β及びｔCを導出する。
　フィルタ強度制御部１１６１ｄは、境界強度決定部１１６１ａが出力する境界強度Ｂｓの値と、閾値導出部１１６１ｃが出力する閾値β及びｔCとに基づいて、デブロッキングフィルタ１６０のフィルタ強度を制御する。
　フィルタ強度制御部１１６１ｄは、境界強度Ｂｓの値が１又は２の場合には、上記の式（９）を満たす場合にのみ、フィルタ処理を行うようデブロッキングフィルタ１６０を制御してもよい（図３参照）。
　また、フィルタ強度制御部１１６１ｄは、フィルタ処理を行う場合、上記の条件式（１０）乃至（１５）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい（図３参照）。
　このように、本変更例に係るフィルタ制御部１６１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタ１６０のフィルタ強度を制御する。これにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ１６０のフィルタ強度を制御可能になり、デブロッキングフィルタ１６０によるブロック歪みの低減効果を向上させることができる。
　次に、本変更例に係る復号装置２について説明する。
　本変更例に係る復号装置２において、エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、各種のシグナリング情報を復号する。具体的には、エントロピー復号部２００は、復号対象ブロックに適用された量子化処理に関する情報を取得し、取得した情報を逆量子化部２１１及びフィルタ制御部２３１に出力する。また、エントロピー復号部２００は、復号対象ブロックに適用された予測に関する情報（例えば、予測種別情報、動きベクトル情報）を取得し、取得した情報を予測部２５０及びフィルタ制御部２３１に出力する。さらに、エントロピー復号部２００は、オフセット配列を取得し、取得したオフセット配列をフィルタ制御部２３１に出力する。
　このように、本変更例に係る復号装置２は、符号化ストリームを復号することで、複数の量子化行列の候補のそれぞれについて規定されたオフセット値からなる配列と、復号対象ブロックに対応する変換係数とを出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部２１０と、復元した予測残差と復号対象ブロックを予測して得た予測ブロックとを合成して復号対象ブロックを復元する合成部２２０と、復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタ２３０と、逆量子化処理で用いた量子化パラメータ及び量子化行列と、オフセット配列とに基づいて、デブロッキングフィルタ２３０のフィルタ強度を制御するフィルタ制御部２３１とを有する。
　次に、本変更例に係るフィルタ制御部２３１の構成について説明する。図９は、本変更例に係るフィルタ制御部２３１の構成を示す図である。図９に示すように、本変更例に係るフィルタ制御部２３１は、境界強度決定部２２３１ａと、オフセット導出部２２３１ｂと、閾値導出部２２３１ｃと、フィルタ強度制御部２２３１ｄとを有する。
　境界強度決定部２２３１ａ、オフセット導出部２２３１ｂ、閾値導出部２２３１ｃ、及びフィルタ強度制御部２２３１ｄは、符号化装置１の境界強度決定部１１６１ａ、オフセット導出部１１６１ｂ、閾値導出部１１６１ｃ、及びフィルタ強度制御部１１６１ｄとそれぞれ同様な動作を行う。
　次に、本変更例に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作例について説明する。フィルタ制御部１６１及びフィルタ制御部２３１は同じ動作を行うため、ここではフィルタ制御部２３１を例に挙げて説明する。図１０は、本変更例に係るフィルタ制御部２３１の動作フロー例を示す図である。
　図１０に示すように、ステップＳ１１において、境界強度決定部２２３１ａは、表１に示した方法により境界強度Ｂｓを決定し、決定した境界強度Ｂｓの値を閾値導出部２２３１ｃ及びフィルタ強度制御部２２３１ｄに出力する。決定された境界強度Ｂｓの値が０である場合、ステップＳ１２以降の処理を行わずに、ブロックＰ及びＱの境界に対するフィルタ処理を行わない。
　ステップＳ１２において、オフセット導出部２２３１ｂは、符号化装置１から伝送されたオフセット配列に基づいて、ブロックＰに対する逆量子化処理で用いた量子化行列に対応するオフセット値ＱｐｐＯｆｆｓｅｔを算出するとともに、ブロックＱに対する逆量子化処理で用いた量子化行列に対応するオフセット値ＱｐｑＯｆｆｓｅｔを算出し、オフセット導出部２２３１ｂ算出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔを閾値導出部２２３１ｃに出力する。
　ステップＳ１３において、閾値導出部２２３１ｃは、ブロックＰに対する逆量子化処理で用いた量子化パラメータＱｐPと、ブロックＱに対する逆量子化処理で用いた量子化パラメータＱｐQと、オフセット導出部２２３１ｂが導出したオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔとに基づいて、上述した式（１８）により変数ｑＰを算出する。
　ステップＳ１４において、閾値導出部２２３１ｃは、変数ｑＰに基づいて、上述した式（１９）及び式（２０）により変数Ｑを算出し、算出した変数Ｑから表２により閾値β及びｔCを導出する。
　ステップＳ１５において、フィルタ強度制御部２２３１ｄは、境界強度決定部２２３１ａが出力する境界強度Ｂｓの値と、閾値導出部２２３１ｃが出力する閾値β及びｔCとに基づいて、デブロッキングフィルタ２３０のフィルタ強度を制御する。
　このように、本変更例に係るフィルタ制御部２３１は、ブロック単位で設定される一意のパラメータである量子化パラメータだけではなく、量子化行列も考慮してデブロッキングフィルタ２３０のフィルタ強度を制御する。これにより、量子化行列に起因するブロックノイズの発生に対してデブロッキングフィルタ２３０のフィルタ強度を制御可能になり、デブロッキングフィルタ２３０によるブロック歪みの低減効果を向上させることができる。
　＜その他の実施形態＞
　上述の実施形態に係る符号化装置１および復号装置２では、フィルタ制御部１６１及び２３１においてブロックＰに適用される量子化行列の代表値およびブロックＱに適用される量子化行列の代表値を用いて対象ブロック対ごとにオフセット値ＱｐｐＯｆｆｓｅｔ及びＱｐｑＯｆｆｓｅｔを算出するよう構成されている。
　しかしながら、処理の簡略化のために、予測モード（イントラ予測、インター予測の別）、ブロックサイズ（例えば、２ｘ２、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４）、及び１つの輝度・２つの色差信号（ＲＧＢ信号の場合は、Ｒ信号、Ｂ信号、Ｇ信号）のそれぞれの組み合わせについて設定された量子化行列について、オフセット値を算出しメモリに保存しておき、対象ブロック対の各ブロックが輝度信号であるか、あるいは２つの色差信号のどちらであるか、予測モード、ブロックサイズに基づいて、オフセット値をメモリから呼び出すよう構成してもよい。
　符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
　符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。
　以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　本願は、日本国特許出願第２０１９-１５９９７１号（２０１９年９月２日出願）及び日本国特許出願第２０１９-１６０２５１号（２０１９年９月３日出願）の優先権を主張し、それらの内容のすべてが参照により本願明細書に組み込まれている。

Claims (18)

  1. 　画像をブロック単位に分割し、ブロック単位で前記画像を符号化する符号化装置であって、
    　前記画像をブロック単位に分割した符号化対象ブロックと前記符号化対象ブロックを予測することにより生成した予測ブロックとの差である予測残差に変換処理及び量子化処理を行う変換・量子化部と、
    　前記変換・量子化部により生成された変換係数に逆量子化処理及び逆変換処理することで前記予測残差を復元する逆量子化・逆変換部と、
    　前記復元した予測残差と前記予測ブロックとを合成することにより前記符号化対象ブロックを復元する合成部と、
    　前記復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとの境界にフィルタ処理するデブロッキングフィルタと、
    　前記量子化処理及び前記逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、
    　前記量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータであって、前記量子化行列は、前記１つのブロック内の成分ごとに設定される値からなる行列であることを特徴とする符号化装置。
  2. 　前記フィルタ制御部は、前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列とに基づいて、前記フィルタ強度を制御することを特徴とする請求項１に記載の符号化装置。
  3. 　前記フィルタ制御部は、
    　前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化行列の代表値と、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化行列の代表値とを導出する代表値導出部を有することを特徴とする請求項２に記載の符号化装置。
  4. 　前記フィルタ制御部は、
    　前記代表値導出部が導出した前記代表値に基づいて、前記符号化対象ブロック及び前記隣接ブロックのそれぞれについてオフセット値を算出するオフセット算出部と、
    　前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータと、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータと、前記オフセット算出部が算出した前記オフセット値とに基づいて、前記フィルタ強度を制御するための閾値を導出する閾値導出部と、をさらに有することを特徴とする請求項３に記載の符号化装置。
  5. 　前記代表値は、前記量子化行列の低域成分を構成する複数の値の平均値であることを特徴とする請求項３又は４に記載の符号化装置。
  6. 　前記代表値は、前記量子化行列の最低域に相当する１つの値であることを特徴とする請求項３又は４に記載の符号化装置。
  7. 　前記代表値は、前記量子化行列の低域成分のみ又は前記量子化行列の全成分を構成する複数の値の重み付き平均値であることを特徴とする請求項３又は４に記載の符号化装置。
  8. 　前記変換・量子化部により生成された前記変換係数を符号化して符号化ストリームを出力するエントロピー符号化部をさらに備え、
    　前記フィルタ制御部は、前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、複数の量子化行列の候補のそれぞれについて規定されたオフセット値からなる配列とに基づいて、前記デブロッキングフィルタのフィルタ強度を制御し、
    　前記エントロピー符号化部は、前記配列を前記符号化ストリームに含めて伝送することを特徴とする請求項１に記載の符号化装置。
  9. 　前記フィルタ制御部は、前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列とに基づいて、前記フィルタ強度を制御することを特徴とする請求項８に記載の符号化装置。
  10. 　前記フィルタ制御部は、
    　前記配列に基づいて、前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化行列に対応するオフセット値と、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化行列に対応するオフセット値とを導出するオフセット導出部を有することを特徴とする請求項９に記載の符号化装置。
  11. 　前記フィルタ制御部は、
    　前記符号化対象ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータと、前記隣接ブロックに対する前記量子化処理及び前記逆量子化処理で用いた前記量子化パラメータと、前記オフセット導出部が導出した前記オフセット値とに基づいて、前記フィルタ強度を制御するための閾値を導出する閾値導出部をさらに有することを特徴とする請求項１０に記載の符号化装置。
  12. 　画像を分割して生成したブロック単位で復号を行う復号装置であって、
    　符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、
    　前記エントロピー復号部が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、
    　前記復元した予測残差と前記復号対象ブロックを予測して生成した予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、
    　前記復元した復号対象ブロックと当該復号対象ブロックに隣接する隣接ブロックとの境界に対するフィルタ処理を行うデブロッキングフィルタと、
    　前記逆量子化処理で用いた量子化パラメータ及び量子化行列に基づいて、前記デブロッキングフィルタのフィルタ強度を制御するフィルタ制御部と、を備え、
    　前記量子化パラメータは、１つのブロックに対して１つの値が設定されるパラメータであって、前記量子化行列は、前記１つのブロック内の成分ごとに設定される値からなる行列であることを特徴とする復号装置。
  13. 　前記エントロピー復号部は、前記符号化ストリームを復号することで、複数の量子化行列の候補のそれぞれについて規定されたオフセット値からなる配列をさらに出力し、
    　前記フィルタ制御部は、前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、前記配列とに基づいて、前記デブロッキングフィルタのフィルタ強度を制御することを特徴とする請求項１２に記載の復号装置。
  14. 　前記フィルタ制御部は、前記復号対象ブロックに対する前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列と、前記隣接ブロックに対する前記逆量子化処理で用いた前記量子化パラメータ及び前記量子化行列とに基づいて、前記フィルタ強度を制御することを特徴とする請求項１３に記載の復号装置。
  15. 　前記フィルタ制御部は、
    　前記配列に基づいて、前記復号対象ブロックに対する前記逆量子化処理で用いた前記量子化行列に対応するオフセット値と、前記隣接ブロックに対する前記逆量子化処理で用いた前記量子化行列に対応するオフセット値とを導出するオフセット導出部を有することを特徴とする請求項１４に記載の復号装置。
  16. 　前記フィルタ制御部は、
    　前記復号対象ブロックに対する前記逆量子化処理で用いた前記量子化パラメータと、前記隣接ブロックに対する前記逆量子化処理で用いた前記量子化パラメータと、前記オフセット導出部が導出した前記オフセット値とに基づいて、前記フィルタ強度を制御するための閾値を導出する閾値導出部をさらに有することを特徴とする請求項１５に記載の復号装置。
  17. 　コンピュータを請求項１に記載の符号化装置として機能させることを特徴とするプログラム。
  18. 　コンピュータを請求項１２に記載の復号装置として機能させることを特徴とするプログラム。
     
PCT/JP2020/033129 2019-09-02 2020-09-01 符号化装置、復号装置、及びプログラム WO2021045059A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021543783A JPWO2021045059A1 (ja) 2019-09-02 2020-09-01

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019159971 2019-09-02
JP2019-159971 2019-09-02
JP2019-160251 2019-09-03
JP2019160251 2019-09-03

Publications (1)

Publication Number Publication Date
WO2021045059A1 true WO2021045059A1 (ja) 2021-03-11

Family

ID=74852210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033129 WO2021045059A1 (ja) 2019-09-02 2020-09-01 符号化装置、復号装置、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2021045059A1 (ja)
WO (1) WO2021045059A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182562A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 量子化マトリクスを用いた適応的デブロッキングフィルタリングの方法と装置
WO2012165095A1 (ja) * 2011-05-27 2012-12-06 ソニー株式会社 画像処理装置および方法
US20130259120A1 (en) * 2012-04-03 2013-10-03 Qualcomm Incorporated Quantization matrix and deblocking filter adjustments for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182562A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 量子化マトリクスを用いた適応的デブロッキングフィルタリングの方法と装置
WO2012165095A1 (ja) * 2011-05-27 2012-12-06 ソニー株式会社 画像処理装置および方法
US20130259120A1 (en) * 2012-04-03 2013-10-03 Qualcomm Incorporated Quantization matrix and deblocking filter adjustments for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SATO, KAZUSHI: "On Deblocking Filter and DC Component of Quantization Matrices", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING, 11 July 2012 (2012-07-11), Stockholm, SE, pages 1 - 6 *
VAN DER AUWERA, GEERT ET AL.: "AHG6: Quantization Matrices and Deb locking Filtering", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VG) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 9TH MEETING, 27 April 2012 (2012-04-27), Geneva'', CH, pages 1 - 10 *

Also Published As

Publication number Publication date
JPWO2021045059A1 (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
JP5982612B2 (ja) イントラ予測モード復号化方法
JP5997152B2 (ja) イントラ予測復号化装置
KR101962284B1 (ko) 평면 표현을 이용한 향상된 인트라-예측 부호화
KR101621854B1 (ko) Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
US11871021B2 (en) Moving picture decoding device, moving picture decoding method, and program obtaining chrominance values from corresponding luminance values
JP7357721B2 (ja) デブロッキングフィルタ制御装置及びプログラム
WO2021045059A1 (ja) 符号化装置、復号装置、及びプログラム
JP7229682B2 (ja) ループフィルタ制御装置、画像符号化装置、画像復号装置、及びプログラム
JP7069421B2 (ja) 符号化装置、復号装置、及びプログラム
WO2021054380A1 (ja) 符号化装置、復号装置、及びプログラム
WO2021251400A1 (ja) 復号装置及びプログラム
WO2021040036A1 (ja) 符号化装置、復号装置、及びプログラム
WO2021251398A1 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
JP7357481B2 (ja) デブロッキングフィルタ制御装置及びプログラム
JP7474772B2 (ja) 符号化装置、復号装置、及びプログラム
JP2021052249A (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20859745

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021543783

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20859745

Country of ref document: EP

Kind code of ref document: A1