WO2020085278A1 - 符号化装置、復号装置、及びプログラム - Google Patents

符号化装置、復号装置、及びプログラム Download PDF

Info

Publication number
WO2020085278A1
WO2020085278A1 PCT/JP2019/041254 JP2019041254W WO2020085278A1 WO 2020085278 A1 WO2020085278 A1 WO 2020085278A1 JP 2019041254 W JP2019041254 W JP 2019041254W WO 2020085278 A1 WO2020085278 A1 WO 2020085278A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
signal level
decoding
deblocking filter
Prior art date
Application number
PCT/JP2019/041254
Other languages
English (en)
French (fr)
Inventor
市ヶ谷 敦郎
俊輔 岩村
慎平 根本
井口 和久
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to JP2020553378A priority Critical patent/JP6997339B2/ja
Publication of WO2020085278A1 publication Critical patent/WO2020085278A1/ja
Priority to US17/237,780 priority patent/US11457241B2/en
Priority to JP2021204602A priority patent/JP7379453B2/ja
Priority to US17/821,739 priority patent/US11736728B2/en
Priority to US18/344,306 priority patent/US12120350B2/en
Priority to JP2023147920A priority patent/JP2023160964A/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to an encoding device, a decoding device, and a program that perform deblocking filter processing.
  • a video unit called a frame (or a picture) is divided into block-like small areas, and each block is divided into blocks in order to facilitate real-time processing.
  • Encoding compression is performed by making full use of technologies such as conversion and prediction.
  • a quality difference is perceived as distortion at a block boundary due to a difference in encoding control between adjacent blocks.
  • H. H.264 / AVC Advanced Video Coding
  • H.264 In a recent coding method called H.265 / HEVC (High Efficiency Video Coding), a process called a deblocking filter is adopted in order to reduce such coding distortion.
  • Block distortion is an adjacent region that should be originally smooth due to signal discontinuity that occurs because the signal at the boundary of both adjacent blocks is the result of quantizing the orthogonal transform coefficient, and because it is processing in block units. Occurs as a sharp signal fluctuation at.
  • the deblocking filter for reducing this distortion is generally designed as a low-pass filter that moderates signal fluctuations. Since the amount of signal deterioration varies depending on the roughness of the quantization, the strength of the filter is controlled by the quantization parameter that defines the roughness of the quantization (for example, see Non-Patent Document 1).
  • HDR High dynamic range
  • SDR Standard Dynamic Range
  • ⁇ correction Signal suppression processing
  • HDR methods include an HLG (Hybrid-Log Gamma) method specified in ARIB STD-B67 and a PQ (Perceptual Quantize) method specified in SMPTE ST.2084, which are ITU-R. It is standardized as BT.2100. Note that in the future, other methods may be specified.
  • FIG. 1 shows the correspondence relationship (inverse ⁇ correction) between the luminance signal level of an image and the display luminance level displayed on the display device for the SDR signal and the HDR signal of the HLG method and the PQ method.
  • the HLG method is a relative system in which the peak luminance of the display device is the maximum value, the peak luminance is shown as 2000 cd / m 2 in the figure.
  • the conventional SDR signal is also a relative system in which the peak brightness of the display device is the maximum value, the peak brightness is shown as 500 cd / m 2 by taking a display currently on the market as an example.
  • the change in the display brightness level (brightness) with respect to the change in the brightness signal level is larger than that in the conventional SDR signal. Therefore, in a region where the signal level is high, the block noise due to the quantization distortion is exaggerated as compared with the conventional signal deterioration.
  • the degree of signal suppression is the largest, the fluctuation of the display brightness level with respect to the brightness signal level is remarkable, and the influence of signal deterioration due to block distortion is also remarkable. In order to reduce this phenomenon, it is common to take measures to reduce the quantization parameter according to the signal level.
  • the threshold value for switching the strength of the filter that realizes smoothing between blocks is predetermined according to the quantization parameter on a frame-by-frame basis, and control according to the luminance signal level is not performed. It was Therefore, in the HDR signal, the non-linearity of the difference between the luminance signal level and the difference between the display luminance levels is strong, and it is difficult for the conventional deblocking filter to sufficiently reduce the block distortion. Further, even the conventional SDR signal has non-linearity due to gamma correction, so that there is a problem that the effect of the deblocking filter is reduced in a region where the brightness level is high.
  • An object of the present invention made in view of such circumstances is to provide an encoding device, a decoding device, and a program capable of reducing block distortion without impairing the compression effect.
  • an encoding device is an encoding device that encodes an input image, and is orthogonal to a residual image indicating a difference between an input image and a predicted image of the input image.
  • a transform unit that performs a transform process to calculate an orthogonal transform coefficient
  • a quantization unit that quantizes the orthogonal transform coefficient based on a quantization parameter to generate a quantized coefficient
  • a quantized coefficient that is coded and coded.
  • An image decoding unit that adds the predicted images to generate a pre-filtering image, and a deblocking filter unit that performs a filtering process on the pre-filtering image, the deblocking filter Parts are a luminance signal level of the unfiltered image compared with the luminance threshold value, and controlling the intensity of the filter according to the range of the luminance signal level.
  • the deblocking filter unit determines the luminance threshold value in picture units or sequence units.
  • a decoding device is a decoding device that decodes encoded data of an input image, the encoded data being decoded, and a quantized coefficient obtained by quantizing an orthogonal transform coefficient. And an entropy decoding unit that obtains an orthogonal transform coefficient from the quantized coefficient based on the quantization parameter, and performs an inverse orthogonal transform on the orthogonal transform coefficient to add the predicted image to the restored residual image. And an image decoding unit that generates a pre-filtering image, and a deblocking filter unit that performs a filtering process on the pre-filtering image, wherein the deblocking filter unit is a luminance signal of the pre-filtering image. The level is compared with a brightness threshold value, and the filter strength is controlled according to the range of the brightness signal level.
  • the deblocking filter unit determines the brightness threshold value in picture units or sequence units.
  • the program according to the present invention causes a computer to function as the above-mentioned encoding device.
  • the program according to the present invention causes a computer to function as the above-mentioned decoding device.
  • block distortion can be reduced without impairing the compression effect.
  • FIG. 2 shows a configuration example of an encoding device according to an embodiment of the present invention.
  • the coding apparatus 1 shown in FIG. 2 includes a block division unit 11, a subtraction unit 12, a conversion unit 13, a quantization unit 14, an inverse quantization unit 15, an inverse transformation unit 16, an addition unit 17, and
  • the sample adaptive offset unit 19 is not an essential component. Instead of the sample adaptive offset unit 19 or in addition to the sample adaptive offset unit 19, a processing unit that performs another post-filter process may be provided.
  • the block division unit 11 divides an encoding target frame, which is an input image, into a plurality of blocks, and outputs the block image to the subtraction unit 12.
  • the size of the block may be variable, for example, 128 ⁇ 128 pixels, 64 ⁇ 64 pixels, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, or 4 ⁇ 4 pixels.
  • the subtraction unit 12 calculates the predicted image of the input image, which is input from the intra prediction unit 21 or the motion compensation prediction unit 22 described later via the switching unit 23, from each pixel value of the block image input from the block division unit 11. Each pixel value is subtracted to generate a residual image showing the difference between the block image and the predicted image, and the residual image is output to the conversion unit 13.
  • the transform unit 13 performs an orthogonal transform process on the residual image input from the subtraction unit 12 to calculate an orthogonal transform coefficient, and outputs the orthogonal transform coefficient for each block to the quantization unit 14.
  • the quantization unit 14 quantizes the orthogonal transformation coefficient for each block input from the transformation unit 13 to generate a quantized coefficient based on a quantization parameter (Qp) that defines the roughness of quantization, and quantizes the quantized coefficient.
  • Qp quantization parameter
  • the parameters are output to the deblocking filter unit 18, and the quantization parameter and the quantization coefficient are output to the dequantization unit 15 and the entropy coding unit 24. More specifically, the quantization unit 14 generates the quantized coefficient by dividing the orthogonal transform coefficient for each block input from the transform unit 13 by the quantization step derived from the quantization parameter.
  • the value of the quantization parameter is from 0 to 51, and when the quantization parameter increases by 6, the quantization step is doubled (that is, the quantization parameter and the logarithm of the quantization step are proportional). Is associated with.
  • the inverse quantization unit 15 restores the orthogonal transform coefficient from the quantized coefficient input from the quantization unit 14 based on the quantization parameter, and outputs the restored orthogonal transform coefficient to the inverse transform unit 16. More specifically, the inverse quantization unit 15 restores the orthogonal transformation coefficient for each block by multiplying the quantization coefficient input from the quantization unit 14 by the quantization step derived from the quantization parameter. To do.
  • the inverse transform unit 16 performs an inverse orthogonal transform on the orthogonal transform coefficient input from the inverse quantization unit 15 to generate a residual image, and outputs the generated residual image to the addition unit 17. For example, when the transform unit 13 performs the discrete cosine transform, the inverse transform unit 16 performs the inverse discrete cosine transform.
  • the addition unit 17 adds the residual image input from the inverse conversion unit 16 and each pixel value of the prediction image input from the switching unit 23 to generate a pre-filtering image, and generates the pre-filtering image. Output to the deblocking filter unit 18.
  • the deblocking filter unit 18 performs a filtering process on the pre-filtering image input from the adding unit 17, and outputs the post-filtering image to the sample adaptive offset unit 19.
  • the deblocking filter unit 18 compares the brightness signal level of the pre-filtering image with a brightness threshold value, and controls the filter strength according to the range of the brightness signal level. Then, the deblocking filter unit 18 outputs information about the filter processing (in addition to the filter coefficient, information indicating a brightness threshold value and shift amounts a and b, which will be described later) to the entropy encoding unit 24. Details of the processing will be described later.
  • the sample adaptive offset unit 19 classifies the image input from the deblocking filter unit 18 in pixel units, adds an offset according to the classification to each pixel value, and outputs the result to the storage unit 20 as a decoded image.
  • the information on the sample adaptive offset is output to the entropy coding unit 24.
  • the intra prediction unit 21 refers to the decoded image stored in the storage unit 20, performs intra prediction to generate an intra prediction image, and outputs the generated intra prediction image to the switching unit 23.
  • the intra prediction unit 21 also outputs the selected intra prediction mode to the entropy coding unit 24.
  • the motion compensation prediction unit 22 refers to the decoded image stored in the storage unit 20, generates a motion vector by a method such as block matching, and outputs the motion compensation prediction image to the switching unit 23. Further, the motion compensation prediction unit 22 outputs the information of the motion vector to the entropy coding unit 24. Furthermore, the motion compensation prediction unit 22 generates a motion compensation prediction image based on the motion vector, and outputs the generated motion compensation prediction image to the switching unit 23.
  • the switching unit 23 switches between the intra prediction image input from the intra prediction unit 21 and the motion compensation prediction image input from the motion compensation prediction unit 22, and predicts a decoded image (intra prediction image or motion compensation prediction image). ) Is output to the subtraction unit 12 and the addition unit 17.
  • the image decoding unit 10 is configured by the inverse quantization unit 15, the inverse conversion unit 16, the addition unit 17, the intra prediction unit 21, the motion compensation prediction unit 22, and the switching unit 23. As described above, the image decoding unit 10 restores the orthogonal transform coefficient from the quantized coefficient based on the quantization parameter, performs the inverse orthogonal transform on the orthogonal transform coefficient, and restores the residual image to the predicted image.
  • a pre-filtering image is generated by adding
  • the entropy encoding unit 24 includes the quantization parameter and the quantization coefficient input from the quantization unit 14, the intra prediction mode input from the intra prediction unit 21, the information of the motion vector predictor input from the motion compensation prediction unit 22, Entropy coding is performed on the information regarding the filter processing input from the deblocking filter unit 18 and the sample adaptive offset information input from the sample adaptive offset unit 19, and data compression is performed to generate encoded data. , And outputs the generated encoded data to the outside of the encoding device 1.
  • any entropy coding method such as 0-th order exponential Golomb code or CABAC (Context-based Adaptive Binary Arithmetic Coding) can be used.
  • the block size that the deblocking filter unit 18 processes is set to 8 ⁇ 8 pixels, for example.
  • the deblocking filter unit 18 first obtains a boundary strength Bs (Boundary Strength) value indicating the strength of the smoothing process for each block.
  • Bs value is either 0, 1, or 2.
  • FIG. 3 shows a block boundary on which deblocking filter processing is performed.
  • the Bs value is set to 2.
  • the blocks P and Q are blocks for which inter prediction is performed and at least one of the following conditions is satisfied, the Bs value is set to 1, and in other cases, the Bs value is set to 0.
  • the block P or Q contains significant (non-zero) DCT coefficients and is the boundary of a transform unit TU (Transform Unit). -The number of motion vectors of blocks P and Q or the reference image is different. -The absolute value of the difference between the motion vectors of blocks P and Q is 4 pixels or more.
  • the deblocking filter unit 18 does not perform the filtering process when the Bs value is 0.
  • the vertical block boundary shown in FIG. 3 will be described as an example.
  • the deblocking filter unit 18 performs the filtering process only when the following expression (1) is satisfied.
  • the deblocking filter unit 18 when performing the filtering process, applies a strong filter when all of the following conditional expressions (2) to (7) are satisfied, and applies a weak filter in other cases.
  • >> 1 means a 1-bit arithmetic right shift operation.
  • the deblocking filter unit 18 has a reference table showing a correspondence relationship between Q av and the threshold values ⁇ and t C. Table 1 shows an example of the reference table.
  • the thresholds ⁇ and t C when the bit depth of the image is 8 bits are described as thresholds ⁇ ′ and t C ′, respectively.
  • Q av , ⁇ ′, and t C ′ can also be values to which offsets have been added in units of frames or slices.
  • ⁇ 1 means a 1-bit arithmetic left shift operation.
  • the threshold value ⁇ and t C are set by shifting the reference table according to the luminance signal level (pixel value of luminance component) L.
  • the value of the luminance signal level L is, for example, (p0 0 + p0 3 + q0 0 + q0 3 ) / 4 or (p0 0 + p0 1 + p0 2 + p0 3 + q0 0 + q0 1 + q0 2 + q0 3 ) / 8.
  • the method of obtaining the luminance signal level L is an example, and the present invention is not limited to this.
  • the deblocking filter unit 18 determines the threshold value (luminance threshold value) of the luminance signal level L, and determines the shift amount of the reference table by comparing the luminance signal level L and the luminance threshold value.
  • the deblocking filter unit 18 can determine the brightness threshold value on a picture-by-picture basis, and may perform it on any picture, or may perform it on a plurality of pictures or a specific picture (for example, sequence or I-picture). Good.
  • the luminance signal level should be divided into depending on the luminance threshold and whether the range of the luminance signal level should be equal or not.
  • the brightness signal level at which the slope of this function is a predetermined value eg, 1/4, 1/2, 2, 4, 8) is determined as the brightness threshold value.
  • the brightness threshold value may be determined by analyzing the correspondence between the brightness signal level and the block distortion degree. For example, the correspondence of the block distortion degree to the luminance signal level (1-254) of an 8-bit video is substantially linear, and when the luminance signal level is divided into 5 stages, the luminance threshold value is 50, 100, 150, 200.
  • the range of the luminance signal level is divided into 0-49, 50-99, 100-149, 150-199, 200-254. Further, when the rate of change of the block distortion degree is large in a specific luminance signal level range, this luminance signal level range may be divided more finely than other ranges.
  • the deblocking filter unit 18 sets ⁇ ′ and t C ′ shown in Table 1 to ⁇ ′ [Q AV ] and t C ′ [Q AV ] with Q AV as an index, and sets the luminance signal level L.
  • the index Q AV is controlled according to
  • the shift amount a is determined according to the criterion of the formula (10)
  • the shift amount b is determined according to the criterion of the formula (11).
  • th1 to th6 are brightness thresholds.
  • the shift amounts a and b correspond to the filter strength control information.
  • Q AV (Qp p + Qp Q +1) >> 1 + qpOffset
  • the index Q AV according to the brightness level L is used.
  • qpOffset 5
  • the threshold value ⁇ ′ and t C ′ are obtained by referring to the reference table and using Q AV with an offset of +5 as an index. That is, the thresholds ⁇ ′ and t C ′ in the reference table are shifted to the right by 5 with respect to no offset. If qpOffset is negative, shift to the left.
  • thresholds ⁇ ′ and t C ′ are 0, the thresholds thereafter are also the lower limit 0, and when the thresholds ⁇ ′ and t C ′ are the upper limit values 64 and 24, thereafter. Is complemented by the upper limit.
  • the deblocking filter unit 18 shifts the thresholds ⁇ ′ and t C ′ of the reference table according to the shift amounts a and b defined according to the luminance signal level L, thereby switching the threshold of the filter strength according to Q av. Can be adaptively controlled. If the thresholds ⁇ ′ and t C ′ in the reference table are shifted to the right (Q AV to which a positive offset is added is used as an index), the values of the thresholds ⁇ and tc become large, so that the above conditional expressions (2) to It becomes easy to satisfy (7), and a strong filter is easily applied.
  • control is performed to increase the shift amounts a and b for a group having a high block distortion degree so that a filter having a strong strength is easily applied, and a block distortion degree having a low block distortion degree is low. It is possible to change the filter strength suitable for the content by controlling the shift amounts a and b to be negative for the group so as to make it difficult to apply a strong filter. As a result, it is possible to reduce the occurrence of block distortion more than before without impairing the compression effect, and it is possible to realize high image quality. If the shift amounts a and b are negative, an offset may be added so that the value becomes zero or more before transmission. As a result, it is possible to reduce the number of sign bits indicating positive and negative.
  • Information indicating the brightness threshold value determined by the deblocking filter unit 18 and the shift amounts a and b defined for each range of the brightness signal level is transmitted by the entropy coding unit 24.
  • the entropy coding unit 24 can be transmitted by the entropy coding unit 24 as one of a parameter set for each picture called PPS (Picture parameter set) and a sequence parameter set called SPS (Sequence parameter set).
  • PPS Picture parameter set
  • SPS Sequence parameter set
  • the enable flag indicating whether or not the above-mentioned shift of the reference table is performed may be transmitted by the entropy coding unit 24.
  • the information indicating the brightness threshold value may be the number of divisions of the brightness signal level by the brightness threshold value and the difference value between adjacent brightness threshold values, instead of the brightness threshold value itself.
  • the number of divisions of the brightness signal level is 5.
  • the adjacent brightness threshold value is the minimum value of the brightness signal level, and the minimum value is 0 here.
  • the code amount can be reduced.
  • a computer can be preferably used to cause the above-described encoding device 1 to function, and such a computer stores a program describing the processing content for realizing each function of the encoding device 1 in the storage unit of the computer. It can be realized by storing the program in the computer and reading and executing the program by the CPU of the computer. The program can be recorded on a computer-readable recording medium.
  • FIG. 4 is a block diagram showing a configuration example of a decoding device according to an embodiment.
  • the decoding device 2 shown in FIG. 4 includes an entropy decoding unit 31, an inverse quantization unit 32, an inverse transformation unit 33, an addition unit 34, a deblocking filter unit 35, a sample adaptive offset unit 36, and a storage unit 37.
  • the decoding device 2 decodes the encoded data of the input image encoded by the encoding device 1.
  • the entropy decoding unit 31 decodes the encoded data output from the encoding device 1, and acquires a quantization parameter, a quantization coefficient, intra prediction mode, motion prediction information, information about filter processing, information on a sample adaptive offset, and the like. To do. Then, the entropy decoding unit 31 outputs the quantization parameter and the quantized coefficient to the dequantization unit 32, outputs the intra prediction mode to the intra prediction unit 38, and outputs the motion prediction information to the motion compensation prediction unit 39, Information on the quantization parameter and the filter processing is output to the deblocking filter unit 35, and information on the sample adaptive offset is output to the sample adaptive offset unit 36.
  • the dequantization unit 32 receives the quantized coefficient and the quantized parameter from the entropy decoding unit 31, multiplies the quantized coefficient by the quantized step derived from the quantized parameter, and restores the orthogonal transform coefficient for each block. , And outputs the restored orthogonal transform coefficient to the inverse transform unit 33.
  • the inverse transform unit 33 inversely transforms the orthogonal transform coefficient input from the inverse quantization unit 32 to generate a residual image, and outputs the generated residual image to the addition unit 34.
  • the adding unit 34 adds the residual image input from the inverse transforming unit 33 and each pixel value of the prediction image input from the switching unit 40 to generate a pre-filtering image, and generates the pre-filtering image. Output to the deblocking filter unit 35.
  • the deblocking filter unit 35 performs a filtering process on the pre-filtering image input from the adding unit 34, and outputs the post-filtering image to the sample adaptive offset unit 36.
  • the deblocking filter unit 35 compares the brightness signal level of the unfiltered image with a brightness threshold value, and controls the filter strength according to the range of the brightness signal level. Specifically, the deblocking filter unit 35 acquires a brightness threshold value for each picture or sequence and controls so that the filter strength becomes higher for a group having a high block distortion degree.
  • the sample adaptive offset unit 36 adds the offset to the image input from the deblocking filter unit 35 according to the information of the sample adaptive offset input from the entropy decoding unit 31, and outputs the result to the storage unit 37 as a decoded image. .
  • the storage unit 37 stores the image for one frame and outputs the image for one frame to the outside of the decoding device 2.
  • the intra prediction unit 38 refers to the decoded image stored in the storage unit 37, performs prediction processing according to the intra prediction mode input from the entropy decoding unit 31 to generate an intra prediction image, and switches the generated intra prediction image. It is output to the unit 40.
  • the motion compensation prediction unit 39 refers to the decoded image stored in the storage unit 37, performs prediction processing according to the information of the motion vector input from the entropy decoding unit 31, generates a motion compensation predicted image, and generates the generated motion compensation.
  • the predicted image is output to the switching unit 40.
  • the switching unit 40 switches between the intra prediction image input from the intra prediction unit 38 and the motion compensation prediction image input from the motion compensation prediction unit 39, and adds a prediction image (intra prediction image or motion compensation prediction image). It is output to the unit 34.
  • the image decoding unit 30 is configured by the inverse quantization unit 32, the inverse conversion unit 33, the addition unit 34, the intra prediction unit 38, the motion compensation prediction unit 39, and the switching unit 40. As described above, the image decoding unit 30 restores the orthogonal transform coefficient from the quantized coefficient based on the quantization parameter, performs the inverse orthogonal transform on the orthogonal transform coefficient, and restores the restored residual image to the decoded image.
  • the pre-filtering image is generated by adding the predicted images of.
  • the deblocking filter unit 35 performs the same process as the deblocking filter unit 18. That is, the deblocking filter unit 35 obtains the boundary strength Bs value for each block, does not perform the filtering process when the Bs value is 0, and uses the above formula (1) when the Bs value is 1 or 2.
  • the filtering process is performed only when the condition is satisfied. When performing the filtering process, a strong filter is applied when all of the above conditional expressions (2) to (7) are satisfied, and a weak filter is applied otherwise.
  • the deblocking filter unit 35 acquires the brightness threshold value and the shift amounts a and b from the entropy decoding unit 31. When the information on the difference value between the adjacent brightness threshold values is acquired from the entropy decoding unit 31, the brightness threshold value is determined from the information.
  • the deblocking filter unit 35 shifts the thresholds ⁇ ′ and t C ′ of the reference table according to the obtained shift amounts a and b by comparing the luminance signal level L and the luminance threshold value. with by (offset, indexed by Q AV applied), it is possible to adaptively control the threshold value of the switching of the filter strength corresponding to Qav.
  • the decoding device 2 When the thresholds ⁇ ′ and t C ′ in the reference table are shifted to the right, the values of the thresholds ⁇ and tc increase, so that the above conditional expressions (2) to (7) are easily satisfied, and a strong filter is easily applied. Therefore, in the decoding device 2 according to the present invention, a group having a high block distortion degree is controlled to increase the shift amounts a and b so that a filter having a high strength is easily applied, and a group having a low block distortion degree is controlled. In contrast, by controlling the shift amounts a and b to be negative so that a filter having a high strength is less likely to be applied, it is possible to change the filter strength suitable for the content. As a result, it is possible to reduce the occurrence of block distortion more than before without impairing the compression effect, and it is possible to realize high image quality.
  • a computer can be preferably used in order to function as the above-mentioned decryption device 2.
  • Such a computer can be realized by storing a program describing the processing content for realizing each function of the decoding device 2 in a storage unit of the computer and reading and executing the program by the CPU of the computer. You can The program can be recorded on a computer-readable recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化装置1は、入力画像と予測画像の残差画像に直交変換処理を行って直交変換係数を算出する変換部13と、量子化パラメータに基づいて直交変換係数を量子化して量子化係数を生成する量子化部14と、量子化係数を符号化して符号化データを生成するエントロピー符号化部24と、量子化パラメータに基づいて量子化係数から直交変換係数を復元し、該直交変換係数に逆直交変換を行って復元した残差画像に予測画像を加算してフィルタ処理前画像を生成する画像復号部10と、フィルタ処理前画像にフィルタ処理を行い、フィルタ処理前画像の輝度信号レベルを輝度閾値と比較し、輝度信号レベルの範囲に応じてフィルタの強度を制御するデブロッキングフィルタ部18とを備える。

Description

符号化装置、復号装置、及びプログラム
 本発明は、デブロッキングフィルタ処理を行う符号化装置、復号装置、及びプログラムに関する。
 主流となっているMPEGに代表される映像符号化方式では、リアルタイム処理の実現のし易さから、フレーム(あるいはピクチャ)などと呼ばれる映像の単位をブロック状の小領域に分割し、ブロック単位で変換や予測などの技術を駆使して符号化(圧縮)を行っている。このような符号化方式では、隣接するブロック間の符号化制御の違いに起因して、ブロック境界において品質差がひずみとなって知覚される。H.264/AVC(Advanced Video Coding)やH.265/HEVC(High Efficiency Video Coding)と呼ばれる近年の符号化方式では、このような符号化ひずみを低減するために、デブロッキングフィルタと呼ばれる処理が採用されている。
 ブロックひずみは、隣接する両ブロックの境界における信号が直交変換係数を量子化したことにより生じる信号劣化により、ブロック単位の処理であるがゆえに生じる処理の不連続性により、本来スムーズであるべき隣接領域において急峻な信号変動となって生じる。このひずみを軽減するためのデブロッキングフィルタは、一般的に信号の変動を緩やかにするローパスフィルタとして設計されている。量子化の粗さによって信号の劣化量が変動することから、量子化の粗さを規定する量子化パラメータによってフィルタの強度が制御されている(例えば、非特許文献1参照)。
 一方、新たな映像メディアの特徴として、従来の映像信号で表現できない黒と白の表現範囲を拡大したHDR(high dynamic range)信号の標準化が行われた。このHDR信号では、従来のSDR(Standard Dynamic Range)信号に比べて、光の強度が低いところから高いところ(すなわち、暗いところから明るいところ)までを限られたビット深度の中に記録するため、従来よりも極端なγ補正と呼ばれる信号抑圧処理が加えられている。HDRの方式としては、現在、ARIB STD-B67で規定されているHLG(Hybrid-Log Gamma)方式と、SMPTE ST.2084で規定されているPQ(Perceptual Quantize)方式があり、これらはITU-R BT.2100として標準化されている。なお、将来的にはこれら以外の方式が規定される可能性もある。
 図1に、SDR信号と、HLG方式及びPQ方式のHDR信号について、画像の輝度信号レベルと、表示装置に表示される表示輝度レベルとの対応関係(逆γ補正)を示す。なお、HLG方式は表示装置のピーク輝度を最大値とする相対的なシステムであるため、図中ではピーク輝度を2000cd/m2として示す。また同様に、従来のSDR信号も表示装置のピーク輝度を最大値とする相対的なシステムであるため、現在市販されているディスプレイを例としてピーク輝度を500cd/m2として示す。
 HDR信号では、輝度信号レベルの変動に対する、表示輝度レベル(明るさ)の変化が、従来のSDR信号に比べ大きくなっている。そのため、信号レベルの大きい領域では、量子化ひずみによるブロックノイズが従来の信号劣化に比べ誇張されて表現される。特に、最も信号の抑圧度合いが大きいPQ方式では、輝度信号レベルに対する表示輝度レベルの変動が顕著であり、ブロックひずみによる信号劣化の影響もまた顕著である。この現象を低減するために、信号レベルに応じて量子化パラメータを小さくするという対策を行うことが一般的になっている。
大久保榮監修、「インプレス標準教科書シリーズH.265/HEVC教科書」、株式会社インプレスジャパン、2013年10月21日
 従来のデブロッキングフィルタでは、ブロック間のスムージングを実現するフィルタの強度を切り替えるための閾値がフレーム単位で量子化パラメータに応じて予め決められており、輝度信号レベルに応じた制御は行われていなかった。そのため、HDR信号では、輝度信号レベルの差と表示輝度レベルの差の非線形性が強く、従来のデブロッキングフィルタではブロックひずみを十分に低減することが困難であった。また、従来のSDR信号でもガンマ補正による非線形性があるため、輝度レベルが高い領域においてデブロッキングフィルタの効果が低減するという課題があった。
 また、量子化パラメータを必要以上に小さくすることにより、ブロックの平均的な誤差量を低減させることは可能であるが、量子化パラメータが小さくなることによりデブロッキングフィルタの作用も小さくなり、境界部において輝度信号レベルの差が顕著に表示されてしまうことを十分に改善することはできなかった。また、量子化パラメータを小さくすると情報量が増加するため、圧縮効果も低減してしまうという課題があった。
 かかる事情に鑑みてなされた本発明の目的は、圧縮効果を損なうことなく、ブロックひずみを低減させることが可能な符号化装置、復号装置、及びプログラムを提供することにある。
 上記課題を解決するため、本発明に係る符号化装置は、入力画像を符号化する符号化装置であって、入力画像と該入力画像の予測画像との差を示す残差画像に対して直交変換処理を行って直交変換係数を算出する変換部と、量子化パラメータに基づいて、前記直交変換係数を量子化して量子化係数を生成する量子化部と、前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、前記量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に前記予測画像を加算してフィルタ処理前画像を生成する画像復号部と、前記フィルタ処理前画像に対して、フィルタ処理を行うデブロッキングフィルタ部と、を備え、前記デブロッキングフィルタ部は、前記フィルタ処理前画像の輝度信号レベルを輝度閾値と比較し、前記輝度信号レベルの範囲に応じてフィルタの強度を制御することを特徴とする。
 さらに、本発明に係る符号化装置において、前記デブロッキングフィルタ部は、ピクチャ単位又はシーケンス単位で、前記輝度閾値を決定することを特徴とする。
 また、上記課題を解決するため、本発明に係る復号装置は、入力画像の符号化データを復号する復号装置であって、符号化データを復号して、直交変換係数を量子化した量子化係数を取得するエントロピー復号部と、量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算してフィルタ処理前画像を生成する画像復号部と、前記フィルタ処理前画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、前記デブロッキングフィルタ部は、前記フィルタ処理前画像の輝度信号レベルを輝度閾値と比較し、前記輝度信号レベルの範囲に応じてフィルタ強度を制御することを特徴とする。
 さらに、本発明に係る復号装置において、前記デブロッキングフィルタ部は、ピクチャ単位又はシーケンス単位で、前記輝度閾値を決定することを特徴とする。
 また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。
 また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記復号装置として機能させることを特徴とする。
 本発明によれば、圧縮効果を損なうことなく、ブロックひずみを低減させることができるようになる。
信号レベルと輝度レベルとの対応関係を示す図である。 本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。 デブロッキングフィルタ処理を行うブロック境界を示す図である。 本発明の一実施形態に係る復号装置の構成例を示すブロック図である。
 以下、本発明の一実施形態について、図面を参照して詳細に説明する。
 (符号化装置)
 本発明の一実施形態に係る符号化装置について、以下に説明する。図2に、本発明の一実施形態に係る符号化装置の構成例を示す。図2に示す符号化装置1は、ブロック分割部11と、減算部12と、変換部13と、量子化部14と、逆量子化部15と、逆変換部16と、加算部17と、デブロッキングフィルタ部18と、サンプルアダプティブオフセット部19と、記憶部20と、イントラ予測部21と、動き補償予測部22と、切替部23と、エントロピー符号化部24とを備える。なお、サンプルアダプティブオフセット部19は必須の構成では無い。サンプルアダプティブオフセット部19に代えて、あるいはサンプルアダプティブオフセット部19に追加して、他のポストフィルタ処理を行う処理部を設けてもよい。
 ブロック分割部11は、入力画像である符号化対象フレームを複数のブロックに分割し、ブロック画像を減算部12に出力する。ブロックのサイズは可変サイズであってもよく、例えば128×128画素、64×64画素、32×32画素、16×16画素、8×8画素、又は4×4画素とする。
 減算部12は、ブロック分割部11から入力されたブロック画像の各画素値から、後述するイントラ予測部21又は動き補償予測部22から切替部23を介して入力された、入力画像の予測画像の各画素値を減算して、ブロック画像と予測画像との差を示す残差画像を生成し、残差画像を変換部13に出力する。
 変換部13は、減算部12から入力された残差画像に対して直交変換処理を行って直交変換係数を算出し、ブロックごとの直交変換係数を量子化部14に出力する。
 量子化部14は、量子化の粗さを規定する量子化パラメータ(Qp)に基づいて、変換部13から入力されたブロックごとの直交変換係数を量子化して量子化係数を生成し、量子化パラメータをデブロッキングフィルタ部18に出力するとともに、量子化パラメータ及び量子化係数を逆量子化部15及びエントロピー符号化部24に出力する。より詳細には、量子化部14は、変換部13から入力されたブロックごとの直交変換係数を、量子化パラメータから導出される量子化ステップで除することにより、量子化係数を生成する。例えば、HEVCなどでは量子化パラメータの値は0から51までであり、量子化パラメータが6増加すると量子化ステップが2倍となる(すなわち、量子化パラメータと量子化ステップの対数が比例する)ように対応付けられている。
 逆量子化部15は、量子化パラメータに基づいて、量子化部14から入力された量子化係数から直交変換係数を復元し、復元した直交変換係数を逆変換部16に出力する。より詳細には、逆量子化部15は、量子化部14から入力された量子化係数に対して、量子化パラメータから導出される量子化ステップを乗ずることにより、ブロックごとの直交変換係数を復元する。
 逆変換部16は、逆量子化部15から入力された直交変換係数に対して逆直交変換を行って残差画像を生成し、生成した残差画像を加算部17に出力する。例えば、変換部13が離散コサイン変換を行った場合には、逆変換部16は逆離散コサイン変換を行う。
 加算部17は、逆変換部16から入力された残差画像と、切替部23から入力された予測画像の各画素値を加算してフィルタ処理前画像を生成し、生成したフィルタ処理前画像をデブロッキングフィルタ部18に出力する。
 デブロッキングフィルタ部18は、加算部17から入力されたフィルタ処理前画像に対して、フィルタ処理を行い、フィルタ処理後の画像をサンプルアダプティブオフセット部19に出力する。デブロッキングフィルタ部18は、フィルタ処理前画像の輝度信号レベルを輝度閾値と比較し、輝度信号レベルの範囲に応じてフィルタ強度を制御する。そして、デブロッキングフィルタ部18はフィルタ処理に関する情報(フィルタ係数に加え、後述する輝度閾値及びシフト量a,bを示す情報など)をエントロピー符号化部24に出力する。処理の詳細については後述する。
 サンプルアダプティブオフセット部19は、デブロッキングフィルタ部18から入力された画像を画素単位で分類し、各画素値に分類に応じたオフセットを加算し、その結果を復号画像として記憶部20に出力する。また、サンプルアダプティブオフセットの情報をエントロピー符号化部24に出力する。
 イントラ予測部21は、記憶部20に記憶された復号画像を参照して、イントラ予測を行ってイントラ予測画像を生成し、生成したイントラ予測画像を切替部23に出力する。また、イントラ予測部21は、選択したイントラ予測モードをエントロピー符号化部24に出力する。
 動き補償予測部22は、記憶部20に記憶された復号画像を参照して、ブロックマッチングなどの手法により動きベクトルを生成し、動き補償予測画像を切替部23に出力する。また、動き補償予測部22は、動きベクトルの情報をエントロピー符号化部24に出力する。さらに、動き補償予測部22は、動きベクトルに基づいて動き補償予測画像を生成し、生成した動き補償予測画像を切替部23に出力する。
 切替部23は、イントラ予測部21から入力されたイントラ予測画像と、動き補償予測部22から入力された動き補償予測画像とを切替えて、復号画像の予測画像(イントラ予測画像又は動き補償予測画像)を減算部12及び加算部17に出力する。
 逆量子化部15と、逆変換部16と、加算部17と、イントラ予測部21と、動き補償予測部22と、切替部23とにより、画像復号部10を構成する。画像復号部10は、上記のように、量子化パラメータに基づいて、量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算することによりフィルタ処理前画像を生成する。
 エントロピー符号化部24は、量子化部14から入力された量子化パラメータ及び量子化係数、イントラ予測部21から入力されたイントラ予測モード、動き補償予測部22から入力された予測動きベクトルの情報、デブロッキングフィルタ部18から入力されたフィルタ処理に関する情報、及びサンプルアダプティブオフセット部19から入力されたサンプルアダプティブオフセットの情報などに対してエントロピー符号化を行い、データ圧縮を行って符号化データを生成し、生成した符号化データを符号化装置1の外部に出力する。エントロピー符号化は、0次指数ゴロム符号やCABAC(Context-based Adaptive Binary Arithmetic Coding;コンテキスト適応型2値算術符号)など、任意のエントロピー符号化方式を用いることができる。
 (デブロッキングフィルタ部)
 次に、デブロッキングフィルタ部18の詳細について説明する。本実施形態では、デブロッキングフィルタ部18が処理を行うブロックサイズを例えば8×8画素とする。デブロッキングフィルタ部18は、まずブロックごとに平滑化処理の強さを示す境界強度Bs(Boundary Strength)値を求める。Bs値は0,1,2のいずれかとする。
 図3に、デブロッキングフィルタ処理を行うブロック境界を示す。図3を参照して、H.265/HEVC方式に準拠したデブロッキングフィルタ処理の一例について説明する。ブロックP又はQがイントラ予測を行うブロックである場合には、Bs値を2とする。ブロックP及びQがインター予測を行うブロックであり、且つ少なくとも以下の一つの条件を満たす場合には、Bs値を1とし、その他の場合には、Bs値を0とする。
・ブロックP又はQが有意な(非ゼロの)DCT係数を含み、変換ユニットTU(Transform Unit)の境界であること。
・ブロックP及びQの動きベクトルの本数あるいは参照画像が異なること。
・ブロックP及びQの動きベクトルの差の絶対値が4画素以上であること。
 デブロッキングフィルタ部18は、Bs値が0の場合にはフィルタ処理を行わない。以下、図3に示す垂直ブロック境界を例に説明する。デブロッキングフィルタ部18は、Bs値が1又は2の場合には、次式(1)を満たす場合にのみ、フィルタリング処理を行う。
Figure JPOXMLDOC01-appb-M000001
 また、デブロッキングフィルタ部18は、フィルタリング処理を行う際には、以下の条件式(2)~(7)を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用する。
Figure JPOXMLDOC01-appb-M000002
 閾値β及びtCの値は、隣接するブロックPとブロックQの量子化パラメータQpp及びQpQの平均値Qav=(Qpp+QpQ+1)>>1に応じて変わる。ここで、>>1は1ビットの算術右シフト演算を意味する。デブロッキングフィルタ部18は、Qavと閾値β及びtCとの対応関係を示す基準テーブルを有する。基準テーブルの一例を表1に示す。画像のビット深度が8ビットの場合の閾値β,tCをそれぞれ閾値β’,tC’として表記している。なお、Qav,β’,tC’は、フレーム又はスライス単位でそれぞれオフセットを加えた値とすることも可能である。
Figure JPOXMLDOC01-appb-T000003
 ビット深度をBとすると、閾値β及びtCは、それぞれ式(8)(9)で表される。ここで、<<1は1ビットの算術左シフト演算を意味する。
Figure JPOXMLDOC01-appb-M000004
 本発明では、輝度信号レベル(輝度成分の画素値)Lによって基準テーブルをシフトして閾値β及びtCを設定する。輝度信号レベルLの値は、例えば(p00+p03+q00+q03)/4や、(p00+p01+p02+p03+q00+q01+q02+q03)/8とする。なお、輝度信号レベルLの求め方は一例であり、これに限定されるものではない。
 具体的には、デブロッキングフィルタ部18は、輝度信号レベルLの閾値(輝度閾値)を決定し、輝度信号レベルLと輝度閾値との比較により、基準テーブルのシフト量を決定する。デブロッキングフィルタ部18は、輝度閾値の決定をピクチャ単位で行うことができ、任意のピクチャで行ってもよいし、複数のピクチャ又は特定のピクチャ(例えば、シーケンスやIピクチャなど)ごとに行ってもよい。
 輝度閾値により輝度信号レベルを何段階に分けるか(何分割するか)、輝度信号レベルの範囲を均等にするか不均等にするかは、任意に決定することができる。例えば、EOTF(Electro-Optical Transfer Function)関数を用いて、この関数の傾きが所定の値(例えば、1/4,1/2,2,4,8)となる輝度信号レベルを輝度閾値と決定する。あるいは、輝度信号レベルとブロックひずみ度との対応関係を解析し、輝度閾値を決定してもよい。例えば、8ビット映像の輝度信号レベル(1-254)に対するブロックひずみ度の対応関係が略線形であり、輝度信号レベルを5段階に分割する場合には、輝度閾値を50,100,150,200としてもよい。この場合、輝度信号レベルの範囲は、0-49、50-99、100-149、150-199、200-254に分割される。また、特定の輝度信号レベルの範囲においてブロックひずみ度の変化率が大きい場合には、この輝度信号レベルの範囲を他の範囲よりも細かく分割してもよい。
 デブロッキングフィルタ部18は、具体的には、表1に示すβ’及びtC’を、QAVをインデックスとするβ’[QAV]及びtC’[QAV]とし、輝度信号レベルLに応じてインデックスQAVを制御する。例えばシフト量aを、式(10)の基準によって決定し、シフト量bを、式(11)の基準によって決定する。ここで、th1~th6は、輝度閾値である。また、アプリケーションごとの要求条件に応じてシフト量a,bを決定してもよく、簡単にはa=bとしてもよい。また、a=0又はb=0として、閾値β’,tC’の一方のみをシフトさせるようにしてもよい。なお、シフト量a,bは、フィルタ強度制御情報に相当する。
 if (L < th1)
  a=-1;
 else if (L >= th1 && L < th2)
  a=0;
 else if (L >= th2 && L < th3)
  a=1;
 else if (L >= th3 && L < th4)
  a=5;
 else if (L >= th4 && L < th5)
  a=10;
 else if (L >= th5 && L < th6)
  a=12;
 else if (L >= th6)
  a=15;                                                                              (10)
 if (L < th1)
  b=-1;
 else if (L >= th1 && L < th3)
  b=0;
 else if (L >= th3 && L < th4)
  b=1;
 else if (L >= th4 && L < th6)
  b=5;
 else if (L >= th6)
  b=7;                                        (11)
 例えば、シフト量a=b=qpOffsetのとき、QAV=(Qpp+QpQ+1)>>1+qpOffsetで求め、輝度レベルLに応じたインデックスQAVを用いる。例えばqpOffset=5であれば、基準テーブルを参照し、+5のオフセットが加えられたQAVをインデックスとして閾値β’及びtC’を求める。すなわち、基準テーブルの閾値β’及びtC’をオフセットなしに対して右に5だけシフトする。なお、qpOffsetがマイナスであれば、左にシフトする。なお、閾値β’及びtC’が0となった場合には、それ以降の閾値も下限0とし、また閾値β’及びtC’が上限値64及び24に至った場合には、それ以降は上限値で補完する。a=bの例を示したが、aとbが等しくない場合はQAVをそれぞれ用意してβ’及びtC’を算出する。
 デブロッキングフィルタ部18は、輝度信号レベルLに応じて規定されたシフト量a,bに従って基準テーブルの閾値β’及びtC’をシフトすることにより、Qavに応じたフィルタ強度の切替えの閾値を適応的に制御することができる。基準テーブルの閾値β’及びtC’を右にシフトする(正のオフセットが加えられたQAVをインデックスとする)と、閾値β及びtcの値が大きくなるので、上記条件式(2)~(7)を満たしやすくなり、強いフィルタが適用されやすくなる。したがって、本発明に係る符号化装置1においては、ブロックひずみ度の高い群に対してはシフト量a,bを増やして強度の強いフィルタが適用されやすくなるように制御し、ブロックひずみ度の低い群に対してはシフト量a,bをマイナスとして強度の強いフィルが適用されにくくなるように制御することによって、コンテンツに適したフィルタ強度の変更が可能となる。その結果、圧縮効果を損なうことなく従来よりもブロックひずみの発生を低減させることができ、高画質化を実現することができる。なお、シフト量a,bがマイナスとなる場合には、値がゼロ以上となるようにオフセットを加えてから伝送してもよい。これにより、正負を示す符号ビットを削減することができる。
 デブロッキングフィルタ部18が決定した輝度閾値、及び輝度信号レベルの範囲ごとに規定されるシフト量a,bを示す情報は、エントロピー符号化部24により伝送される。例えばHEVC方式の場合であれば、PPS(Picture parameter set)と呼ばれるピクチャ単位のパラメータセットやSPS(Sequence parameter set)と呼ばれるシーケンスパラメータセットのひとつとしてエントロピー符号化部24により伝送することができる。同時に、上述した基準テーブルのシフトを行うか否かを示すイネーブルフラグをエントロピー符号化部24により伝送してもよい。
 輝度閾値を示す情報は、輝度閾値そのものではなく、輝度閾値による輝度信号レベルの分割数、及び隣接する輝度閾値の差分値であってもよい。例えば、輝度信号レベルの輝度閾値th1~th4が、th1=40,th2=90,th3=150,th4=200である場合、輝度信号レベルの分割数は5である。隣接する輝度閾値の差分値は、th1-0=40,th2-th1=50,th3-th2=60,th4-th3=50である。なお、th1については、隣接する輝度閾値を輝度信号レベルの最低値とし、ここでは最低値を0としている。輝度信号レベルの分割数は2以上となるため、伝送する際には実際の分割数から2をマイナスした値の「3」を伝送してもよい。また、輝度閾値の差分値は1以上となるため、伝送する際には実際の輝度閾値の差分値から1をマイナスした値の「39,49,59,49」を伝送してもよい。できるだけ小さい値を伝送することにより、符号量を低減させることができる。
 なお、上述した符号化装置1として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置1の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
 (復号装置)
 次に、本発明の一実施形態に係る復号装置について説明する。図4は、一実施形態に係る復号装置の構成例を示すブロック図である。図4に示す復号装置2は、エントロピー復号部31と、逆量子化部32と、逆変換部33と、加算部34と、デブロッキングフィルタ部35と、サンプルアダプティブオフセット部36と、記憶部37と、イントラ予測部38と、動き補償予測部39と、切替部40とを備える。復号装置2は、符号化装置1によって符号化された、入力画像の符号化データを復号する。
 エントロピー復号部31は、符号化装置1が出力する符号化データを復号し、量子化パラメータ、量子化係数、イントラ予測モード、動き予測情報、フィルタ処理に関する情報、及びサンプルアダプティブオフセットの情報などを取得する。そして、エントロピー復号部31は、量子化パラメータ及び量子化係数を逆量子化部32に出力し、イントラ予測モードをイントラ予測部38に出力し、動き予測情報を動き補償予測部39に出力し、量子化パラメータ及びフィルタ処理に関する情報をデブロッキングフィルタ部35に出力し、サンプルアダプティブオフセットの情報をサンプルアダプティブオフセット部36に出力する。
 逆量子化部32は、エントロピー復号部31から量子化係数及び量子化パラメータを入力し、量子化係数に量子化パラメータから導出される量子化ステップを乗算してブロックごとの直交変換係数を復元し、復元した直交変換係数を逆変換部33に出力する。
 逆変換部33は、逆量子化部32から入力された直交変換係数に対して逆変換を行って残差画像を生成し、生成した残差画像を加算部34に出力する。
 加算部34は、逆変換部33から入力された残差画像と、切替部40から入力された予測画像の各画素値を加算してフィルタ処理前画像を生成し、生成したフィルタ処理前画像をデブロッキングフィルタ部35に出力する。
 デブロッキングフィルタ部35は、加算部34から入力されたフィルタ処理前画像に対してフィルタ処理を行い、フィルタ処理後の画像をサンプルアダプティブオフセット部36に出力する。デブロッキングフィルタ部35は、フィルタ処理前画像の輝度信号レベルを輝度閾値と比較し、輝度信号レベルの範囲に応じてフィルタ強度を制御する。具体的には、デブロッキングフィルタ部35は、ピクチャ又はシーケンス単位で、輝度閾値を取得し、ブロックひずみ度の高い群に対してフィルタの強度が強くなるように制御する。
 サンプルアダプティブオフセット部36は、エントロピー復号部31から入力されたサンプルアダプティブオフセットの情報に従って、デブロッキングフィルタ部35から入力された画像にオフセットを加算し、その結果を復号画像として記憶部37に出力する。
 記憶部37は、1フレーム分の画像を記憶するとともに、1フレーム分の画像を復号装置2の外部に出力する。
 イントラ予測部38は、記憶部37に記憶された復号画像を参照し、エントロピー復号部31から入力されたイントラ予測モードに従って予測処理を行ってイントラ予測画像を生成し、生成したイントラ予測画像を切替部40に出力する。
 動き補償予測部39は、記憶部37に記憶された復号画像を参照し、エントロピー復号部31から入力された動きベクトルの情報に従って予測処理を行って動き補償予測画像を生成し、生成した動き補償予測画像を切替部40に出力する。
 切替部40は、イントラ予測部38から入力されたイントラ予測画像と、動き補償予測部39から入力された動き補償予測画像とを切替えて、予測画像(イントラ予測画像又は動き補償予測画像)を加算部34に出力する。
 逆量子化部32と、逆変換部33と、加算部34と、イントラ予測部38と、動き補償予測部39と、切替部40とにより、画像復号部30を構成する。画像復号部30は、上記のように、量子化パラメータに基づいて、量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に復号画像の予測画像を加算することによりフィルタ処理前画像を生成する。
 デブロッキングフィルタ部35は、デブロッキングフィルタ部18と同様の処理を行う。すなわち、デブロッキングフィルタ部35は、ブロックごとに境界強度Bs値を求め、Bs値が0の場合にはフィルタ処理を行わず、Bs値が1又は2の場合には、上記式(1)を満たす場合にのみ、フィルタリング処理を行う。フィルタリング処理を行う際には、上記条件式(2)~(7)を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用する。デブロッキングフィルタ部35は、エントロピー復号部31から輝度閾値及びシフト量a,bを取得する。エントロピー復号部31から隣接する輝度閾値の差分値の情報を取得した場合には、該情報から輝度閾値を決定する。例えば、隣接する輝度閾値の差分値が40,50,60,50であった場合には、輝度閾値th1~th4は、輝度信号レベルの最低値を0とすると、th1=0+40=40,th2=th1+50=90,th3=th2+60=150,th4=th3+50=200と求まる。そして、デブロッキングフィルタ部35は、デブロッキングフィルタ部18と同様に、輝度信号レベルLと輝度閾値との比較により、取得したシフト量a,bに従って基準テーブルの閾値β’及びtC’をシフトする(オフセットが加えられたQAVをインデックスとする)ことにより、Qavに応じたフィルタ強度の切替えの閾値を適応的に制御することができる。
 基準テーブルの閾値β’及びtC’を右にシフトすると、閾値β及びtcの値が大きくなるので、上記条件式(2)~(7)を満たしやすくなり、強いフィルタが適用されやすくなる。したがって、本発明に係る復号装置2においては、ブロックひずみ度の高い群に対してはシフト量a,bを増やして強度の強いフィルタが適用されやすくなるように制御し、ブロックひずみ度の低い群に対してはシフト量a,bをマイナスとして強度の強いフィルタが適用されにくくなるように制御することによって、コンテンツに適したフィルタ強度の変更が可能となる。その結果、圧縮効果を損なうことなく従来よりもブロックひずみの発生を低減させることができ、高画質化を実現することができる。
 なお、上述した復号装置2として機能させるためにコンピュータを好適に用いることができる。そのようなコンピュータは、復号装置2の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
 上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
 本願は、日本国特許出願第2018-198728号(2018年10月22日出願)の優先権を主張し、その内容のすべてが本願明細書に組み込まれている。

Claims (17)

  1.  入力画像を符号化する符号化装置であって、
     入力画像と該入力画像の予測画像との差を示す残差画像に対して直交変換処理を行って直交変換係数を算出する変換部と、
     量子化パラメータに基づいて、前記直交変換係数を量子化して量子化係数を生成する量子化部と、
     前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、
     前記量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に前記予測画像を加算してフィルタ処理前画像を生成する画像復号部と、
     前記フィルタ処理前画像に対して、フィルタ処理を行うデブロッキングフィルタ部と、を備え、
     前記デブロッキングフィルタ部は、前記フィルタ処理前画像の輝度信号レベルを輝度閾値と比較した結果に応じてフィルタ強度を制御することを特徴とする符号化装置。
  2.  前記デブロッキングフィルタ部は、ピクチャ単位又はシーケンス単位で、前記輝度閾値を決定することを特徴とする、請求項1に記載の符号化装置。
  3.  前記デブロッキングフィルタ部は、シーケンス単位で前記輝度閾値を決定し、
     前記エントロピー符号化部は、前記輝度閾値を示す情報をシーケンスパラメータセットのひとつとして復号側に伝送することを特徴とする、請求項2に記載の符号化装置。
  4.  前記デブロッキングフィルタ部は、
      前記フィルタ処理前画像の輝度信号レベルが、前記輝度閾値により区分される複数の輝度信号レベル範囲のいずれに属するかを特定し、
      前記特定した輝度信号レベル範囲と対応付けられたフィルタ強度制御情報を用いて、前記フィルタ強度を制御することを特徴とする、請求項1乃至3のいずれか1項に記載の符号化装置。
  5.  前記エントロピー符号化部は、前記複数の輝度信号レベル範囲のそれぞれに対応して設けられるフィルタ強度制御情報をシーケンスパラメータセットのひとつとして復号側に伝送することを特徴とする、請求項4に記載の符号化装置。
  6.  前記デブロッキングフィルタ部は、前記フィルタ処理前画像に対応する一対の隣接ブロックにおける境界部分の複数の画素それぞれの画素値の平均を求めることで、前記フィルタ処理前画像の輝度信号レベルを算出することを特徴とする、請求項1乃至6のいずれか1項に記載の符号化装置。
  7.  前記エントロピー符号化部は、前記フィルタ処理前画像の輝度信号レベルに応じたフィルタ強度制御を有効化するか否かを示すフラグを復号側に伝送することを特徴とする、請求項1乃至5のいずれか1項に記載の符号化装置。
  8.  入力画像の符号化データを復号する復号装置であって、
     符号化データを復号して、直交変換係数を量子化した量子化係数を取得するエントロピー復号部と、
     量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算してフィルタ処理前画像を生成する画像復号部と、
     前記フィルタ処理前画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
     前記デブロッキングフィルタ部は、前記フィルタ処理前画像の輝度信号レベルを輝度閾値と比較した結果に応じてフィルタ強度を制御することを特徴とする復号装置。
  9.  前記デブロッキングフィルタ部は、ピクチャ単位又はシーケンス単位で、前記輝度閾値を決定することを特徴とする、請求項8に記載の復号装置。
  10.  前記エントロピー復号部は、前記輝度閾値を示す情報をシーケンスパラメータセットのひとつとして前記符号化データから取得し、
     前記デブロッキングフィルタ部は、前記輝度閾値を示す情報を用いて、シーケンス単位で前記輝度閾値を決定することを特徴とする、請求項9に記載の復号装置。
  11.  前記デブロッキングフィルタ部は、
      前記フィルタ処理前画像の輝度信号レベルが、前記輝度閾値により区分される複数の輝度信号レベル範囲のいずれに属するかを特定し、
      前記特定した輝度信号レベル範囲と対応付けられたフィルタ強度制御情報を用いて、前記フィルタ強度を制御することを特徴とする、請求項8乃至10のいずれか1項に記載の復号装置。
  12.  前記エントロピー復号部は、前記複数の輝度信号レベル範囲のそれぞれに対応して設けられるフィルタ強度制御情報をシーケンスパラメータセットのひとつとして前記符号化データから取得することを特徴とする、請求項11に記載の復号装置。
  13.  前記デブロッキングフィルタ部は、前記フィルタ処理前画像に対応する一対の隣接ブロックにおける境界部分の複数の画素それぞれの画素値の平均を求めることで、前記フィルタ処理前画像の輝度信号レベルを算出することを特徴とする、請求項8乃至12のいずれか1項に記載の復号装置。
  14.  前記エントロピー復号部は、前記フィルタ処理前画像の輝度信号レベルに応じたフィルタ強度制御を有効化するか否かを示すフラグを前記符号化データから取得することを特徴とする、請求項8乃至13のいずれか1項に記載の復号装置。
  15.  入力画像の符号化データを復号する復号装置であって、
     符号化データを復号して、直交変換係数を量子化した量子化係数を取得するエントロピー復号部と、
     量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算してフィルタ処理前画像を生成する画像復号部と、
     前記フィルタ処理前画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
     前記エントロピー復号部は、前記フィルタ処理前画像の輝度信号レベルを輝度閾値と比較した結果に応じて前記デブロッキングフィルタ部のフィルタ強度を制御する特定のフィルタ強度制御を有効化するか否かを示すフラグを前記符号化データから取得することを特徴とする復号装置。
  16.  コンピュータを、請求項1乃至7のいずれか1項に記載の符号化装置として機能させるためのプログラム。
  17.  コンピュータを、請求項8乃至15のいずれか1項に記載の復号装置として機能させるためのプログラム。
PCT/JP2019/041254 2018-10-22 2019-10-21 符号化装置、復号装置、及びプログラム WO2020085278A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020553378A JP6997339B2 (ja) 2018-10-22 2019-10-21 符号化装置、復号装置、及びプログラム
US17/237,780 US11457241B2 (en) 2018-10-22 2021-04-22 Luminance deblock filtering encoding device, decoding device, and program
JP2021204602A JP7379453B2 (ja) 2018-10-22 2021-12-16 符号化装置、復号装置、及びプログラム
US17/821,739 US11736728B2 (en) 2018-10-22 2022-08-23 Encoding device, decoding device, and program
US18/344,306 US12120350B2 (en) 2018-10-22 2023-06-29 Encoding device, decoding device, and program
JP2023147920A JP2023160964A (ja) 2018-10-22 2023-09-12 記録媒体、符号化装置、及び復号装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018198728 2018-10-22
JP2018-198728 2018-10-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/237,780 Continuation US11457241B2 (en) 2018-10-22 2021-04-22 Luminance deblock filtering encoding device, decoding device, and program

Publications (1)

Publication Number Publication Date
WO2020085278A1 true WO2020085278A1 (ja) 2020-04-30

Family

ID=70330427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041254 WO2020085278A1 (ja) 2018-10-22 2019-10-21 符号化装置、復号装置、及びプログラム

Country Status (3)

Country Link
US (3) US11457241B2 (ja)
JP (3) JP6997339B2 (ja)
WO (1) WO2020085278A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6997339B2 (ja) * 2018-10-22 2022-01-17 日本放送協会 符号化装置、復号装置、及びプログラム
EP3994879A1 (en) * 2019-07-05 2022-05-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder, methods and computer programs for an improved lossless compression
CN114584790B (zh) * 2022-01-21 2024-05-17 百果园技术(新加坡)有限公司 一种视频亮度滤波方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016526857A (ja) * 2013-07-12 2016-09-05 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける適応フィルタリング
WO2018097299A1 (ja) * 2016-11-28 2018-05-31 日本放送協会 符号化装置、復号装置、符号化方法、及び復号方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5884313B2 (ja) * 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2013223096A (ja) 2012-04-16 2013-10-28 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
WO2015130541A1 (en) * 2014-02-26 2015-09-03 Dolby Laboratories Licensing Corporation Luminance based coding tools for video compression
US10045038B2 (en) * 2015-05-28 2018-08-07 Hfi Innovation Inc. Method and apparatus for using a current picture as a reference picture
WO2017045101A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
US10448056B2 (en) * 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
JP6997339B2 (ja) 2018-10-22 2022-01-17 日本放送協会 符号化装置、復号装置、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016526857A (ja) * 2013-07-12 2016-09-05 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける適応フィルタリング
WO2018097299A1 (ja) * 2016-11-28 2018-05-31 日本放送協会 符号化装置、復号装置、符号化方法、及び復号方法

Also Published As

Publication number Publication date
US20210243474A1 (en) 2021-08-05
US20230353784A1 (en) 2023-11-02
US11736728B2 (en) 2023-08-22
JP6997339B2 (ja) 2022-01-17
US12120350B2 (en) 2024-10-15
JP2023160964A (ja) 2023-11-02
JP2022058366A (ja) 2022-04-12
US20220408112A1 (en) 2022-12-22
US11457241B2 (en) 2022-09-27
JP7379453B2 (ja) 2023-11-14
JPWO2020085278A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
JP7309822B2 (ja) 符号化装置、復号装置、符号化方法、及び復号方法
CN105706449B (zh) 样本自适应偏移控制
KR102147552B1 (ko) 채도 qp 값의 확장된 범위
KR102423809B1 (ko) 적응형 컬러 공간 변환 코딩
JP6272321B2 (ja) デブロッキングにおけるクロマ量子化パラメータ・オフセットの使用
JP7379453B2 (ja) 符号化装置、復号装置、及びプログラム
JP2023134585A (ja) Hdrコンテンツをデブロックするためのシステムおよび方法
JP6912978B2 (ja) 符号化装置及びプログラム
KR20150009313A (ko) 블록별 양자화 레벨을 이용한 인코딩 방법 및 그 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19877223

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553378

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19877223

Country of ref document: EP

Kind code of ref document: A1