WO2011158867A1 - 画像復号装置、及び画像符号化装置 - Google Patents
画像復号装置、及び画像符号化装置 Download PDFInfo
- Publication number
- WO2011158867A1 WO2011158867A1 PCT/JP2011/063709 JP2011063709W WO2011158867A1 WO 2011158867 A1 WO2011158867 A1 WO 2011158867A1 JP 2011063709 W JP2011063709 W JP 2011063709W WO 2011158867 A1 WO2011158867 A1 WO 2011158867A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- prediction
- unit
- image
- smoothing
- filter
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Definitions
- the present invention relates to an image encoding device for encoding an image and an image decoding device for decoding an encoded image.
- a moving image encoding device that encodes moving images and a moving image decoding device that decodes moving images are widely used.
- a typical moving image encoding method for example, H.264 is used.
- KTA software which is a codec for joint development in AVC (Non-Patent Document 1) and VCEG (Video Coding Expert Group).
- each picture constituting a moving image is composed of a slice obtained by dividing a picture, a macroblock obtained by dividing the slice, and a block obtained by dividing the macroblock.
- a slice obtained by dividing a picture is composed of a macroblock obtained by dividing the slice, and a block obtained by dividing the macroblock.
- a block obtained by dividing the macroblock is managed by a hierarchical structure.
- the moving image encoding device encodes a moving image in units of blocks. Specifically, (1) the prediction residual obtained by subtracting the prediction image from the original image is subjected to DCT transform (Discrete Cosine Transform) for each block, (2) the obtained DCT coefficient is quantized, and (3) The quantized DCT coefficient is variable length encoded.
- the amount of code can usually be reduced by DCT transform / quantization / encoding the prediction residual instead of DCT transform / quantization / encoding the original image.
- the moving image encoding device generates the above-described predicted image based on a locally decoded image obtained by inverse quantization / inverse DCT transform of the quantized DCT coefficient.
- the prediction image generation methods include inter-screen prediction (inter prediction) and intra-screen prediction (intra prediction), and the video encoding device selects which prediction method to use for each macroblock.
- Non-Patent Document 2 proposes that the prediction process and the conversion process be performed on an area having a size suitable for each process.
- the conversion unit indicates a unit for performing orthogonal transformation.
- the prediction unit roughly indicates a unit for performing the prediction process. More specifically, the prediction unit is a unit for assigning a prediction mode in intra prediction, and a unit for assigning a motion vector in inter prediction.
- a level difference may occur in the pixel values on both sides of the boundary of the prediction unit.
- a level difference may occur in pixel values on both sides of the boundary of the prediction unit.
- Non-Patent Document 2 does not show a specific countermeasure even though the above problem may occur. Further, conventional H.264. H.264 / MPEG-4. In AVC, as described above, since the conversion unit and the prediction unit have the same size or the conversion unit is smaller than the prediction unit, the above problem does not occur in the possible combinations.
- the present invention has been made in view of the above problems, and an object of the present invention is to perform image decoding that can reduce distortion in the vicinity of a prediction unit boundary when the prediction unit boundary is included in the transform unit.
- An apparatus and an image encoding device are realized.
- an image decoding apparatus converts a prediction residual on a frequency domain decoded from encoded data into a prediction residual on a spatial domain for each transform unit, and
- smoothing means for smoothing the prediction image for each transform unit, Smoothing means that selectively acts in the vicinity of the boundary of the prediction unit included in the transform unit, and in the generation of the decoded image, the prediction image subjected to smoothing processing by the smoothing means The prediction residual on the spatial region is added.
- the vicinity of the boundary of the prediction unit refers to a region including the boundary, for example, a region in a predetermined range around the boundary.
- the prediction mode when the boundary of the prediction unit is included inside the conversion unit, for example, the prediction mode may be different in each prediction unit. For this reason, a high frequency component may increase near the boundary of the prediction unit. This increase in high frequency components appears as distortion in the predicted image.
- smoothing can be performed on a portion where such a high frequency component appears, so that the high frequency component appearing in the vicinity of the boundary of the prediction unit can be reduced. That is, it is possible to reduce the distortion that appears in the vicinity of the boundary of the prediction unit in the prediction image.
- an image decoding apparatus converts a prediction residual on a frequency domain decoded from encoded data into a prediction residual on a spatial domain for each transform unit, and In the image decoding apparatus for generating a decoded image by adding a prediction residual in the spatial domain to the prediction image generated for each, decoded image smoothing means for smoothing the decoded image, the conversion unit And a decoded image smoothing means that selectively acts in the vicinity of the boundary of the prediction unit included in the prediction unit.
- the reproducibility of the original image may be reduced. That is, when a decoded image is generated from a prediction image and a prediction residual, distortion may occur in the decoded image as the prediction residual is smoothed.
- an image decoding apparatus converts a prediction residual on a frequency domain decoded from encoded data into a prediction residual on a spatial domain for each transform unit, and
- an image decoding apparatus that generates a decoded image by adding a prediction residual in the spatial domain to a prediction image generated for each, on a spatial domain obtained by inversely transforming the prediction residual in the frequency domain
- Edge enhancement means for performing edge enhancement processing on a prediction residual comprising edge enhancement means that selectively acts in the vicinity of a boundary of the prediction unit included in the conversion unit, in generating the decoded image
- the prediction residual on the spatial region that has been subjected to edge enhancement processing by the edge enhancement means is added to the predicted image.
- the above configuration corresponds to the distortion that may occur in the decoded image described above when the prediction residual is smoothed. That is, according to the above configuration, when generating a decoded image, the prediction residual is selectively edge-enhanced near the boundary of the prediction unit included in the transform unit and added to the prediction image. Thus, a decoded image is generated.
- the rounded prediction residual is compensated by applying edge enhancement processing to the smoothed prediction residual and enhancing the edge of the portion rounded by the smoothing.
- the image coding apparatus calculates, for each transform unit, a prediction residual on a spatial region generated by subtracting a predicted image generated for each prediction unit from the original image.
- smoothing means for smoothing the prediction image
- Smoothing means that selectively acts in the vicinity of the boundaries of the included prediction units
- the prediction residual on the frequency domain is generated using the prediction image smoothed by the smoothing means It is characterized by being.
- the vicinity of the boundary of the prediction unit included in the conversion unit can be selectively smoothed, so that distortion appearing near the boundary of the prediction unit is reduced. For this reason, the encoding efficiency can be improved. In other words, it is possible to prevent the high frequency component of the prediction error from increasing and the encoding efficiency from decreasing.
- the image coding apparatus calculates, for each transform unit, a prediction residual on a spatial region generated by subtracting a predicted image generated for each prediction unit from the original image.
- the smoothing means for smoothing the prediction residual on the spatial domain Smoothing means that selectively acts in the vicinity of the boundary of the prediction unit included in the conversion unit is provided, and the smoothing means converts and encodes the prediction residual subjected to smoothing processing. It is characterized by that.
- Such distortion also appears as a high-frequency component in the prediction residual obtained by subtracting the prediction image from the original image.
- the smoothing process that selectively acts near the boundary of the prediction unit included in the conversion unit can be applied to the prediction residual in the spatial domain.
- An image decoding apparatus is a smoothing unit that smoothes a prediction image for each conversion unit, and includes a smoothing unit that selectively acts near a boundary of the prediction unit included in the conversion unit. Provided that, in generating the decoded image, a prediction residual on the spatial region is added to the predicted image that has been subjected to smoothing processing by the smoothing means.
- the image decoding apparatus is a decoded image smoothing unit that smoothes a decoded image, and includes a decoded image smoothing unit that selectively acts near a boundary of a prediction unit included in a transform unit. It is the composition provided.
- the image decoding apparatus is edge enhancement means for performing edge enhancement processing on a prediction residual on a spatial domain obtained by inversely transforming a prediction residual on a frequency domain, An edge enhancement unit that selectively acts in the vicinity of the boundary of the prediction unit included therein, and in the generation of a decoded image, a prediction residual on the spatial region that has been subjected to edge enhancement processing by the edge enhancement unit in the predicted image; In this configuration, the difference is added.
- the image coding apparatus includes a smoothing unit that smoothes a predicted image, and includes a smoothing unit that selectively acts in the vicinity of a boundary of a prediction unit included in a transform unit.
- the prediction residual on the frequency domain is generated using the predicted image that has been smoothed by the smoothing means.
- An image encoding apparatus is a smoothing unit that smoothes a prediction residual on a spatial domain, and includes a smoothing unit that selectively acts near a boundary of a prediction unit included in a transform unit. Provided, and the smoothing means converts and encodes the prediction residual subjected to the smoothing process.
- the boundary of the prediction unit When the boundary of the prediction unit is included in the conversion unit, it is a graph showing the original image, the prediction image, and the prediction residual when the filtering process by the smoothing filter is performed, (a), It is the graph shown about the luminance value of an original picture and a prediction picture, and (b) is a graph which shows the prediction residual of an original picture and a prediction picture.
- Embodiment 1 An embodiment of the present invention will be described below with reference to FIGS.
- FIG. 2 is a block diagram illustrating a schematic configuration of the moving image encoding device 2
- FIG. 1 is a block diagram illustrating a schematic configuration of the moving image decoding device 1.
- the moving image encoding apparatus 2 is an apparatus that generates the encoded data # 1 by encoding the moving image # 10 with the moving image # 10 as an input.
- the video encoding device 2 transmits the generated encoded data # 1 to the video decoding device 1.
- the moving picture decoding apparatus 1 is an apparatus for generating moving picture # 2 by decoding the encoded data # 1 received from the moving picture encoding apparatus 2.
- the encoded data # 1 has a hierarchical structure including a sequence layer, a GOP (Group Of Pictures) layer, a picture layer, a slice layer, and a macroblock layer.
- the macroblock is also called LCU (LargestarCoding Unit).
- FIGS. 3A to 3D are diagrams showing the structures of the picture layer P, the slice layer S, the macroblock layer MB, and the macroblock header MBH, respectively.
- the picture layer P is a set of data referred to by the video decoding device 1 in order to decode the corresponding picture.
- the picture layer P includes a picture header PH and slice layers S 1 to S Ns (Ns is the total number of slice layers included in the picture layer P).
- the picture header PH includes a coding parameter group referred to by the video decoding device 1 in order to determine the decoding method of the corresponding picture.
- the encoding mode information (entoropy_coding_mode_flag) indicating the variable length encoding mode used in encoding by the moving image encoding device 2 is an example of an encoding parameter included in the picture header PH.
- Each slice layer S included in the picture layer P is a set of data referred to by the video decoding device 1 in order to decode the corresponding slice.
- the slice layer S includes a slice header SH and macroblock layers MB 1 to MB Nm (Nm is the total number of macroblocks included in the slice layer S).
- the slice header SH includes a coding parameter group that the moving image decoding apparatus 1 refers to in order to determine a decoding method for the corresponding slice.
- encoding parameters included in the slice header SH include (1) slice type designation information (slice_type) for designating a slice type, and (2) display order (POC: Picture Order Count) of a picture including a corresponding slice.
- POC designation information (pic_order_cnt_lbs, delta_pic_order_cnt, etc.) to be performed, and (3) weight coefficient designation information (pred_weight_table) for designating the weight coefficient used by the moving picture coding apparatus 2 during coding.
- slice types that can be specified by the slice type specification information, (1) I slice using only intra prediction at the time of encoding, and (2) P using unidirectional prediction or intra prediction at the time of encoding. Slice, (3) B-slice using unidirectional prediction, bidirectional prediction, or intra prediction at the time of encoding.
- Each macroblock layer MB included in the slice layer S is a set of data referred to by the video decoding device 1 in order to decode the corresponding macroblock.
- the macroblock layer MB includes a skip flag SKIP, a macroblock header MBH, prediction parameters PP 1 to PP Np , and quantized prediction residuals QD 1 to QD Nr .
- Np represents the total number of prediction units (also called partitions or PU: Prediction Unit) included in the corresponding macroblock
- Nr is a transform unit (block or TU: Transform Unit) included in the corresponding macroblock.
- the value of the skip flag SKIP is 1, that is, when the corresponding macro block is a skip block
- the macro block header MBH, the prediction parameters PP 1 to PP Np , and the quantized prediction residual QD 1 to QD Nr is omitted.
- the macroblock header MBH includes an encoding parameter referred to by the video decoding device 1 in order to determine a decoding method of the corresponding macroblock.
- the macroblock header MBH designates macroblock type designation information MBT (mb_type) for designating the macroblock type of the corresponding macroblock, and an encoded block pattern.
- CBP coded_block_pattern
- quantization parameter difference ⁇ qp quantization parameter difference ⁇ qp (mb_qp_delta) for specifying the size of the quantization step are included.
- the macroblock type designation information MBT includes prediction unit designation information PT and conversion unit designation information TT.
- the prediction unit designation information PT includes a division pattern of the corresponding macroblock into prediction units (partitions) and a prediction method (L0 unidirectional prediction, used when the moving image encoding device 2 generates a prediction image in each prediction unit). L1 unidirectional prediction, bidirectional prediction, etc.).
- the conversion unit designation information TT designates a division pattern of the corresponding macroblock into conversion units (blocks).
- the size of the conversion unit for example, a square area of 4N ⁇ 4N pixels, 2N ⁇ 2N pixels, or N ⁇ N pixels can be employed. Further, the present invention is not limited to this, and a rectangular area such as, for example, 8 ⁇ 16 or 16 ⁇ 1 can be adopted as the size of the conversion unit.
- the quantization parameter difference ⁇ qp is a difference qp ⁇ qp ′ between the quantization parameter qp in the corresponding macroblock and the quantization parameter qp ′ in the macroblock encoded immediately before the macroblock.
- Each quantized prediction residual QD n included in the macroblock layer MB is encoded data generated by the moving image encoding apparatus 2 performing the following processes 1 to 3 on the corresponding block.
- Process 1 DCT transform (Discrete Cosine Transform) is performed on the prediction residual obtained by subtracting the prediction image from the encoding target image.
- Process 2 The DCT coefficient obtained in Process 1 is quantized.
- Process 3 The DCT coefficient quantized in Process 2 is variable length encoded.
- the prediction parameter PP related to a prediction unit in which a prediction image is generated by inter prediction includes a reference image index RI, an estimated motion vector index PMVI, and a motion vector residual MVD. Including.
- the motion vector residual MVD is obtained by obtaining a motion vector mv and an estimated value (hereinafter referred to as “estimated motion vector”) pmv of the motion vector, and taking these differences.
- the reference image index RI specifies an encoded / decoded local decoded image (reference image) used when calculating the motion vector residual MVD.
- the estimated motion vector index PMVI designates an estimation method for deriving an estimated value (hereinafter also referred to as “estimated motion vector”) pmv of the motion vector mv.
- the prediction parameter PP related to a prediction unit for performing unidirectional prediction includes one reference image index RI, one estimated motion vector index PMVI, and one motion vector residual MVD.
- the prediction parameter PP includes one reference image index RI, one estimated motion vector index PMVI, and one motion vector residual MVD.
- the prediction parameter PP related to a prediction unit in which a prediction image is generated by intra prediction includes a prediction mode flag PMF and a prediction mode code PMC.
- the prediction mode flag PMF takes a value “1” when the prediction mode in the corresponding partition matches the prediction mode estimated from the adjacent partition, and takes a value “0” otherwise.
- the prediction mode code PMC is obtained by encoding prediction mode specifying information for specifying a prediction mode in the corresponding partition, and is omitted when the value of the prediction mode flag PMF is 1. Examples of prediction modes that can be specified in the prediction mode specification information include DC prediction, plane prediction, and direction prediction.
- the moving image decoding apparatus 1 includes a variable length code decoding unit 13, an inverse quantization / inverse conversion unit 14, an adder 15, a prediction processing unit 16, a smoothing filter (smoothing means) 17, and The deblocking filter 18 is included.
- ** (MBT)> indicates information included in the macroblock type designation information MBT, That is, the information is generated in units of macroblocks.
- variable length code decoding unit 13 starts from the encoded data # 1, the macroblock type MBT, the prediction parameter PP for each partition, the quantized prediction residual QD for each block, and the quantization parameter difference for the macroblock including the block Decode ⁇ qp.
- variable length code decoding unit 13 supplies the conversion unit designation information TT to the smoothing filter 17. Then, the variable length code decoding unit 13 supplies the prediction parameter PP and the prediction unit designation information PT to the prediction processing unit 16. Further, the variable length code decoding unit 13 supplies the quantized prediction residual QD, the quantization parameter difference ⁇ qp, and the transform unit designation information TT to the dequantization / inverse transform unit 14.
- the inverse quantization / inverse transform unit 14 (1) inversely quantizes the quantized prediction residual QD for each transform unit designated in the transform unit designation information TT, and (2) is obtained by inverse quantization.
- the DCT coefficient is subjected to inverse DCT (Discrete Cosine Transform) transformation, and (3) the prediction residual D obtained by the inverse DCT transformation is supplied to the adder 15.
- the inverse DCT transform corresponds to a process of converting a prediction residual on the frequency domain into a prediction residual on the spatial domain.
- the inverse quantization / inverse transform unit 14 derives the quantization step QP from the quantization parameter difference ⁇ qp supplied from the variable length code decoding unit 13.
- the adder 15 adds the decoded predicted image P (before deblocking) by adding the smoothed predicted image F_Pred supplied from the smoothing filter 17 and the prediction residual D supplied from the inverse quantization / inverse transform unit 14. ) Is generated.
- the decoded image P generated by the adder 15 is supplied to the deblocking filter 18.
- the prediction processing unit 16 generates and outputs a prediction image Pred by inter prediction or intra prediction using the prediction parameter PP for each prediction unit specified in the prediction unit specifying information PT.
- a predicted image in each prediction unit is generated by motion compensated prediction from another encoded / decoded picture (hereinafter referred to as a “reference image”) different from the picture to which the prediction unit belongs. .
- a prediction image in each prediction unit is extrapolated from a locally decoded image in another encoded / decoded partition (hereinafter referred to as “reference partition”) belonging to the same picture as the partition. Generated. Note that the present invention is not limited to this, and a predicted image can also be generated using interpolation.
- the prediction processing unit 16 When the prediction parameter PP relates to inter prediction, the prediction processing unit 16 generates a predicted image Pred by inter prediction. Specifically, the prediction processing unit 16 generates an inter predicted image Pred_Inter from the decoded image DF_P ′ as a reference image based on the prediction parameter PP and parameters such as the restored motion vector mv ′ related to other partitions.
- the decoded image DF_P ′ is a decoded image that has already been decoded, and the prediction processing unit 16 can read out the pixel value of each pixel constituting the decoded image DF_P ′ from the buffer memory 11. Further, the prediction processing unit 16 can read the restored motion vector mv ′ from the buffer memory 11.
- the prediction processing unit 16 when the prediction parameter PP relates to intra prediction, the prediction processing unit 16 generates a predicted image Pred by intra prediction. Specifically, the prediction processing unit 16 generates an intra predicted image Pred_Intra by intra prediction from the decoded image DF_P that has been locally decoded, using the prediction mode specified by the prediction mode specifying information included in the prediction parameter PP. To do.
- the decoded image DF_P is a decoded image that has not been decoded yet and is being decoded, and the prediction processing unit 16 selects each pixel that belongs to a block that has already been decoded from among the pixels constituting the decoded image DF_P. Pixel values can be read from the buffer memory 11.
- the prediction processing unit 16 supplies the inter prediction image Pred_Inter generated by the inter prediction or the intra prediction image Pred_Intra generated by the intra prediction as the prediction image Pred to the smoothing filter 17 together with the prediction unit designation information PT.
- the smoothing filter 17 is a filter for smoothing pixel values assigned to a region around the boundary when the prediction unit Predicate includes a prediction unit boundary in the prediction image Pred.
- the smoothing filter supplies the smoothed predicted image F_pred subjected to the smoothing process to the adder 15. Details of the smoothing filter 17 will be described later.
- the deblocking filter 18 determines the block boundary in the decoded image P when the difference between the pixel values of pixels adjacent to each other via the block boundary in the decoded image P or the macroblock boundary is smaller than a predetermined threshold value, or Deblocking processing is performed on macroblock boundaries.
- the deblocking filter 18 stores the decoded image DF_P obtained by performing the deblocking process on the decoded image P in the buffer memory 11 and outputs it to the outside as the moving image # 2.
- the video decoding device 1 supports various sizes of prediction units and conversion units specified by the prediction unit specification information PT and the conversion unit specification information TT shown using FIG.
- FIG. 4 is a diagram showing the prediction unit and the conversion unit in the video encoding / decoding process, where (a) shows the prediction unit, (b) shows the conversion unit, and (c) shows The case where the prediction unit and the conversion unit are superimposed is shown.
- the conversion unit TU shown in FIG. 4B is composed of four conversion units T1 to T4 of 2N ⁇ 2N. BTU indicates the boundary line of these conversion units T1 to T4.
- the moving picture decoding apparatus 1 supports flexible block configurations for the prediction unit PU and the transform unit TU, respectively. Therefore, as shown in (c) of FIG. 4, the boundary BPU of the prediction unit PU may be included in the conversion unit TU. That is, the boundary BPU of the prediction unit PU appears so as to cross each conversion unit within the conversion units T1 and T2. In other words, prediction units P1 and P2 are mixed in the conversion unit T1 (T2).
- a level difference is likely to occur in pixel values on both sides of the boundary BPU of the prediction unit, and the high frequency component of the prediction residual may increase due to this level difference.
- FIG. 5 is a graph showing the original image, the predicted image, and the prediction residual when the boundary of the prediction unit is included in the conversion unit as shown in FIG. (A) of the figure is a graph showing the luminance values of the original image and the predicted image, and (b) of the figure is a graph showing the prediction residual of the original image and the predicted image.
- the graph showing the luminance value of the original image has a very large level difference before and after the boundary BPU of the prediction unit, that is, from the prediction unit P1 side to the prediction unit P2 side. Absent.
- the luminance value of the prediction image Pred is before and after the boundary BPU of the prediction unit. May vary greatly.
- the level difference as indicated by reference numeral C1 appears as distortion in the predicted image. Also, such a predicted image is used for calculation of a prediction residual.
- the smoothing filter 17 determines the target of the smoothing process as follows in order to smooth the steps as shown in FIG. That is, the smoothing filter 17 is based on the prediction unit designation information PT supplied from the prediction processing unit 16 and the conversion unit designation information TT supplied from the variable length code decoding unit 13, and within the conversion unit, Identify where the boundary is included. And the smoothing filter 17 makes the predetermined range of the specified location the object of smoothing processing.
- FIG. 6 is a diagram illustrating the smoothing process in the case where the boundary of the prediction unit is included in the conversion unit.
- FIG. 6 shows an example in which the boundary BPU of the prediction unit PU is included in the conversion unit TU, as in FIG.
- the smoothing filter 17 performs a smoothing process on the smoothing target region R1 indicated by hatching in FIG.
- the smoothing filter 17 sets the smoothing target region R1 based on the prediction unit designation information PT and the conversion unit designation information TT. For example, the smoothing filter 17 sets the smoothing target region R1 as a band-like region having a predetermined width including the boundary BPU of the prediction unit.
- the smoothing filter 17 has a band shape having a predetermined width (for example, one pixel) of the boundary BPU of the prediction unit PU existing inside each transform unit TU when any of the following (1) to (3) is satisfied.
- the smoothing target region R1 is set as the region.
- the horizontal width (horizontal length) of the conversion unit TU indicated by the conversion unit specification information TT is larger than the horizontal width of the prediction unit PU indicated by the prediction unit specification information PT.
- the height (vertical length) of the conversion unit TU indicated by the conversion unit designation information TT is larger than the height of the prediction unit PU indicated by the prediction unit designation information PT.
- the size of the conversion unit TU and the size of the prediction unit PU are the same, and the start coordinates of the conversion unit TU (for example, the upper left coordinates of the TU) and the start coordinates of the prediction unit PU are different.
- the smoothing filter 17 obtains in advance a width including a portion where the level difference indicated by the reference symbol C1 appears in the graph of FIG. 5A, and sets the smoothing target region R1 around the boundary BPU. Can do.
- the smoothing target region R1 is expanded in both the conversion unit T1 and the conversion unit T2, but only the portion related to either the conversion unit T1 or the conversion unit T2 is set as the smoothing target region. You can also. That is, this smoothing process can be performed for each conversion unit.
- the smoothing filter 17 performs the following processing for each conversion unit TU (here, T1) included in the conversion unit designation information TT.
- the smoothing filter 17 refers to the prediction unit P1 (X1, Y1) including the upper left coordinate (X1, Y1) of the conversion unit T1.
- the notation of the prediction unit P1 (X1, Y1) indicates that the upper left coordinate of the prediction unit P1 is (X1, Y1).
- the smoothing filter 17 uses the prediction unit P1 (X1, Y1) and the prediction unit P1 (X1). , Y1) is smoothed near the boundary with the prediction unit P2 (X1 + W1, Y1) adjacent to the right side.
- the smoothing filter 17 performs the smoothing process on the prediction unit included in the conversion unit T1, and near the boundary of the prediction unit in which the y component of the upper left coordinate is Y1.
- the smoothing filter 17 uses the prediction unit P1 (X1, Y1) and the prediction unit P1 (X1). , Y1) is smoothed near the boundary with the prediction unit P1 ′ (X1, Y1 + H1) adjacent to the lower side.
- the smoothing filter 17 is in the vicinity of the boundary between the prediction unit P1 ′ (X1, Y1 + H1) and the prediction unit P2 ′ (X1 + W1, Y1 + H1) adjacent to the right side of the prediction unit P1 ′ (X1, Y1 + H1). Smoothing is performed.
- the prediction units PU included in each conversion unit TU can be scanned in a predetermined order (in this example, a raster scan), and smoothing processing can be sequentially performed on the vicinity of the boundaries of the prediction units PU.
- the smoothing filter 17 uses the boundary candidates that are generated when the transform unit TU is divided into rectangular units MINPW and MINPH having the minimum size. Whether the boundary candidate matches the PU boundary is determined along the scan order.
- the smoothing filter 17 sets the range of a predetermined width (for example, one pixel on each side of the boundary) in the vicinity of the boundary as the smoothing target region R1, and performs smoothing. Process. When the boundary candidate does not coincide with the PU boundary, the smoothing filter 17 does not perform the conversion smoothing process.
- a predetermined width for example, one pixel on each side of the boundary
- the smoothing filter 17 uses coordinates (X1 + i) in a double loop using the loop variable i and the loop variable j. , Y1 + j), whether the target rectangular unit (X1 + i, Y1 + j) and the right adjacent rectangular unit (X1 + (i + 1), Y1 + j) adjacent to the right side of the target rectangular unit are included in the same PU And whether the target rectangular unit (X1 + i, Y1 + j) and the lower adjacent rectangular unit (X1 + i, Y1 + (j + 1)) adjacent to the lower side of the target rectangular unit are included in the same PU. To do.
- the smoothing filter 17 processes that the boundary candidate matches the PU boundary. if the target rectangle unit and the right adjacent rectangle unit (the lower adjacent rectangle unit) are included in the same PU, the smoothing filter 17 processes that the boundary candidate does not match the PU boundary.
- an arbitrary smoothing filter can be used.
- smoothing filters include H.264. H.264 / MPEG-4.
- adaptive smoothing such as an AVC deblocking filter, a simple blur filter (eg, a filter based on a coefficient matrix ⁇ 1/4, 2/4, 1/4 ⁇ ), a median filter, and the like. .
- FIG. 7 shows how the graph shown in FIG. 5 changes when the smoothing filter 17 performs the smoothing process on the smoothing target region R1 shown in FIG.
- FIG. 7 is a graph showing the original image, the predicted image, and the prediction residual when the filtering process by the smoothing filter 17 is performed when the boundary of the prediction unit is included in the conversion unit.
- (A) is a graph showing the luminance values of the original image and the predicted image
- (b) is a graph showing the prediction residual of the original image and the predicted image.
- the level difference as shown in FIG. 5A can be eliminated before and after the boundary BPU, that is, at the position indicated by reference numeral C3. .
- the smoothing filter 17 the high frequency component of the prediction error can be reduced, so that the coding efficiency can be improved.
- the moving picture decoding apparatus 1 performs inter prediction and intra prediction in the order of the prediction unit P1 and the prediction unit P2, and then performs the conversion units T1, T2, and T3. , And T4 in this order.
- intra prediction has a configuration in which a prediction process and a conversion process are performed on a target prediction unit, and then a prediction process and a conversion process are performed on the next target prediction unit. That is, in the above configuration, the order in which intra prediction is performed is changed.
- intra prediction it may be limited not to process in a combination in which the boundary of the prediction unit is included inside the conversion unit as described above. That is, when performing intra prediction, only a combination that includes only a single prediction unit within a conversion unit may be used. Thereby, even if it does not change the order of intra prediction, the problem which a distortion produces in the above prediction image inside a conversion unit in intra prediction can be avoided.
- the video decoding device 1 converts the prediction residual on the frequency domain decoded from the encoded data # 1 into the prediction residual D on the spatial domain for each transform unit, and A smoothing filter 17 that smoothes the predicted image Pred for each transform unit in the moving image decoding apparatus 1 that generates the decoded image P by adding the prediction residual D to the predicted image Pred generated every time, A smoothing filter 17 that selectively acts in the vicinity of the boundary of the prediction unit included in the transform unit is provided.
- the smoothing process is performed by the smoothing filter 17. This is a configuration in which a prediction residual D is added to the smoothed predicted image F_Pred.
- an ALF Adaptive loop filter
- deblocking filter 18 may be provided in addition to the deblocking filter 18 before and after the deblocking filter 18.
- filtering processing such as smoothing may be adaptively performed on the vicinity of the boundary of the prediction unit included in the conversion unit by ALF.
- the encoded data # 1 includes a filter parameter for ALF, and the variable length code decoding unit 13 decodes the filter parameter and supplies it to the ALF.
- the ALF acquires filter parameters from the variable-length code decoding unit 13 and adaptively performs a filtering process such as smoothing on the decoded image.
- the filter parameter may include, for example, information that specifies ON / OFF of the filter, filter strength, a range to be subjected to filter processing, and the like.
- the moving image coding apparatus 2 includes a transform / quantization unit 21, a variable length coding unit 22, an inverse quantization / inverse transform unit 23, a prediction processing unit (predicted image generation unit) 25, and smoothing.
- the configuration includes a filter (smoothing means) 26, a deblocking filter 27, a subtracter 28 and an adder 29.
- the transform / quantization unit 21 performs (1) DCT transform (Discrete Cosine Transform) on the prediction residual D for each transform unit (block), (2) quantizes the DCT coefficient obtained by the DCT transform, and (3) The quantized prediction residual QD obtained by the quantization is supplied to the variable length coding unit 22 and the inverse quantization / inverse transform unit 23.
- the DCT transform corresponds to a process for transforming a prediction residual on the spatial domain into a prediction residual on the frequency domain.
- the transform / quantization unit 21 selects (1) a quantization step QP to be used for quantization for each macroblock, and (2) a quantization parameter difference ⁇ qp indicating the size of the selected quantization step QP. Is supplied to the variable length encoding unit 22 and (3) the selected quantization step QP is supplied to the inverse quantization / inverse transform unit 23.
- the transform / quantization unit 21 supplies the transform unit used for the transform to the variable length coding unit 22 as transform unit designation information TT.
- variable length coding unit 22 uses the quantization prediction residuals QD and ⁇ qp supplied from the transform / quantization unit 21 and the transform unit designation information TT as prediction parameters PP and predictions supplied from the prediction processing unit 25 described later.
- Encoded data # 1 is generated by performing variable length encoding together with the unit designation information PT.
- the inverse quantization / inverse transform unit 23 (1) inversely quantizes the quantized prediction residual QD, (2) performs inverse DCT (Discrete Cosine Transform) transformation on the DCT coefficient obtained by the inverse quantization, and (3) The prediction residual D obtained by the inverse DCT transform is supplied to the adder 31.
- inverse DCT Discrete Cosine Transform
- This inverse DCT transform corresponds to a process for converting a prediction residual on the frequency domain into a prediction residual on the spatial domain.
- the quantization step QP supplied from the transform / quantization unit 21 is used.
- the prediction residual D output from the inverse quantization / inverse transform unit 23 is obtained by adding a quantization error to the prediction residual D input to the transform / quantization unit 21.
- Common names are used for this purpose.
- the prediction processing unit 25 generates and outputs a prediction image Pred by inter prediction or intra prediction using the prediction parameter PP for the prediction unit specified in the prediction unit specifying information PT.
- the prediction processing unit 25 When the prediction processing unit 25 generates the prediction image Pred by inter prediction, specifically, the prediction processing unit 25 performs decoding as a reference image based on parameters such as the restored motion vector mv ′ related to other partitions.
- An inter prediction image Pred_Inter is generated from the image DF_P ′.
- the decoded image DF_P ′ is a decoded image that has already been decoded, and the prediction processing unit 25 can read out the pixel value of each pixel constituting the decoded image DF_P ′ from the buffer memory 24. Further, the prediction processing unit 25 can read the restored motion vector mv ′ from the buffer memory 24.
- the prediction processing unit 25 When the prediction processing unit 25 generates the predicted image Pred by intra prediction, specifically, (1) a prediction mode used for intra prediction is selected, and (2) from the local decoded image DF_P using the selected prediction mode. A predicted image Pred_Intra is generated.
- the decoded image DF_P is a local decoded image being decoded that has not yet been decoded, and the prediction processing unit 25 includes each of the pixels constituting the local decoded image P belonging to a block that has already been decoded. The pixel value of the pixel can be read from the buffer memory 24.
- the prediction processing unit 25 sets the generated inter prediction image Pred_Inter or intra prediction image Pred_Intra as the prediction image Pred, sets prediction mode specification information for specifying the selected prediction mode in the prediction parameter PP, and sets the prediction image Pred and the prediction parameter PP. Is supplied to the smoothing filter 26. Further, the prediction processing unit 25 supplies the prediction parameter PP and the prediction unit designation information PT to the variable length coding unit 22.
- the smoothing filter 26 is a filter that smoothes pixel values assigned to a region around the boundary when the boundary of the prediction unit is included in the conversion unit in the prediction image Pred.
- the smoothing filter 26 acquires the predicted image Pred and the prediction unit designation information PT from the prediction processing unit 25, and obtains the conversion unit designation information TT from the transform / quantization unit 21. And the smoothing filter 26 performs the smoothing process with respect to the smoothing object area
- the smoothing filter 26 supplies the smoothed predicted image F_Pred subjected to the smoothing process to the subtractor 28.
- the deblocking filter 27 determines the block boundary in the decoded image P or the block boundary in the decoded image P when the difference between the pixel values of pixels adjacent to each other via the block boundary or the macroblock boundary in the decoded image P is smaller than a predetermined threshold value. Deblocking processing is performed on macroblock boundaries.
- the deblocking filter 27 stores the decoded image DF_P obtained by performing the deblocking process on the decoded image P in the buffer memory 24.
- the subtracter 28 subtracts the smoothed predicted image F_Pred supplied by the smoothing filter 26 from the moving image # 10, which is the encoding target image, to generate a prediction residual D.
- the subtractor 28 supplies the prediction residual D to the transform / quantization unit 21.
- the adder 29 adds the predicted image F_Pred after smoothing supplied from the smoothing filter 26 and the prediction residual D supplied from the inverse quantization / inverse transform unit 23 to add the decoded image P (before deblocking). ) Is generated.
- the decoded image P generated by the adder 29 is supplied to the deblocking filter 27.
- the moving picture coding apparatus 2 performs inter prediction and intra prediction in the order of the prediction unit P1 and the prediction unit P2, and then performs transform units T1, T2, Conversion processing is performed in the order of T3 and T4.
- the moving image encoding apparatus 2 converts the prediction residual D in the spatial domain generated by subtracting the predicted image generated for each prediction unit from the input moving image # 10.
- a smoothing filter 26 for smoothing the prediction image Pred in the moving image encoding apparatus 2 that converts the prediction residual on the frequency domain for each unit and encodes the prediction residual on the frequency domain,
- a smoothing filter 26 that selectively acts in the vicinity of the boundary of the prediction unit included in the transform unit is provided.
- the prediction residual D on the frequency domain is smoothed by the smoothing filter 26. It is generated using the smoothed predicted image F_Pred.
- an ALF Adaptive loop filter
- filtering processing such as smoothing may be adaptively performed on the vicinity of the boundary of the prediction unit included in the conversion unit by ALF.
- ALF outputs the parameters used for the smoothing process as filter parameters.
- the filter parameter may include, for example, information designating ON / OFF of the filter, filter strength, a range to be subjected to filter processing, and the like.
- variable length encoding unit 22 encodes the filter parameter output by the ALF and includes the encoded filter parameter in the encoded data # 1.
- FIGS. 8 and 9 Another embodiment of the present invention will be described with reference to FIGS. 8 and 9 as follows.
- symbol is attached
- the moving image coding apparatus (image coding apparatus) 2A will be described with reference to FIG.
- the moving picture coding apparatus 2A is provided with a smoothing filter (smoothing means) 26A instead of the smoothing filter 26 in the moving picture coding apparatus 2 shown in FIG.
- a variable length encoding unit 22A is provided.
- the smoothing filter 26A performs a smoothing process on a portion where the level difference of the prediction residual generated near the boundary of the prediction unit satisfies a predetermined condition when the boundary of the prediction unit is included in the conversion unit. Do. For example, the smoothing filter 26A determines a threshold value for determining the contour and a flat portion so as not to inadvertently smooth the original contour that overlaps the boundary of the prediction unit included in the conversion unit. Smoothing processing is performed using the threshold value for this.
- the smoothing filter 26A determines that the portion where the level difference is equal to or greater than the threshold for determining the contour is a contour, and does not perform the smoothing process. Further, the smoothing filter 26A has a level difference equal to or greater than a threshold value for determining a flat portion and is less than a threshold value for determining a contour, that is, a portion indicating a level difference that is not determined to be a contour. Is smoothed adaptively.
- the smoothing filter 26A outputs a smoothing filter use flag indicating whether or not the smoothing processing should be performed on the boundary of the prediction unit included in the conversion unit, that is, whether the filter is ON / OFF.
- the smoothing filter 26A outputs a threshold value for deriving the filter strength, the selected filter type, the filter strength, and the like as the smoothing filter use parameter.
- smoothing filter 26A can be configured to output only one of the smoothing filter use flag and the smoothing filter use parameter.
- the smoothing filter 26A supplies the smoothing filter use flag and the smoothing filter use parameter to the variable length coding unit 22A.
- variable length coding unit 22A performs variable length coding of both the smoothing filter use flag and the smoothing filter use parameter in addition to the quantized prediction residual QD, ⁇ qp, the prediction parameter PP, and the prediction unit designation information PT. Thus, encoded data # 1A is generated.
- the moving picture decoding apparatus 1A includes a variable length code decoding unit 13A instead of the variable length code decoding unit 13 in the moving image decoding apparatus 1 shown in FIG. Instead, a smoothing filter 17A is provided.
- variable length code decoding unit 13A and the smoothing filter 17A which are the differences between the video decoding device 1A and the video decoding device 1, will be described.
- variable length code decoding unit 13A from the encoded data # 1A, the macroblock type MBT, the prediction parameter PP for each prediction unit, the quantized prediction residual QD for each block, and the quantization parameter for the macroblock including the block
- the smoothing filter use flag and the smoothing filter use parameter are decoded.
- variable length code decoding unit 13A supplies the conversion unit designation information TT, the smoothing filter use flag, and the smoothing filter use parameter to the smoothing filter 17.
- the parameters that the variable length code decoding unit 13A supplies to the prediction processing unit 16 and the inverse quantization / inverse transform unit 14 are the same as those of the variable length code decoding unit 13.
- the smoothing filter 17A is a filter that adaptively smoothes pixel values assigned to a region around the boundary when the prediction unit boundary is included in the conversion unit in the prediction image Pred.
- the smoothing filter 17A uses the smoothing filter use flag and the smoothing filter use parameter to adaptively smooth a portion where the distortion is large in the predicted image Pred.
- the smoothing filter 17A is different from the smoothing filter 17 in that the smoothing filter use flag and the smoothing filter use parameter are used in the smoothing process, but other points (for example, specifying the smoothing target region) The method is the same.
- the smoothing filter 17A supplies the smoothed predicted image F_pred after the smoothing process to the adder 15.
- the smoothing filter 26 outputs the smoothing filter use flag and the smoothing filter use parameter, and in the moving image decoding device 1A, the smoothing filter 17A has the smoothing filter use flag.
- the smoothing filter 26 and the smoothing filter 17A can be configured by diverting the function of the deblocking filter employed in H264 / AVC.
- the H264 / AVC deblocking filter can adaptively turn on / off the filter and control the strength of the filter.
- ⁇ ⁇ ⁇ ⁇ Filter ON / OFF is controlled by threshold values ⁇ and ⁇ .
- the threshold values ⁇ and ⁇ are parameters used for edge determination (edge-likeness determination) at each of the block boundary and the macroblock boundary.
- the threshold values ⁇ and ⁇ are threshold values for determining the application of the filter for each pixel, and are used for determining the increase or decrease of the pixel to which the filter is applied. In this way, the effect of the filter can be adjusted by controlling the increase / decrease of the pixel to be filtered, that is, the ON / OFF of the filter.
- the strength of the filter is controlled by the Bs (Boundary Strength) value.
- the Bs value is a control parameter for applying a strong filter to a conspicuous portion of a block boundary or macroblock boundary.
- the Bs value is determined by evaluating the characteristics of blocks adjacent to each other. H. In H.264 / AVC, five levels of evaluation are defined, and Bs can take a value of 0-4. This evaluation is performed based on, for example, a combination of macroblock types (whether one belongs to an intra macroblock), identity of motion vector values, identity of reference images, or presence / absence of a conversion coefficient.
- the quantization parameter qp affects the threshold values ⁇ and ⁇
- the quantization parameter qp is not fixed before the conversion process.
- the presence / absence of a conversion coefficient is represented by CBP (Coded Book Pattern), and CBP is also a parameter obtained as a result of conversion.
- a provisional value is set for the quantization parameter qp.
- a slice default QP value can be used.
- the provisional value is slightly different from the quantization parameter qp actually determined after conversion, there is no significant effect.
- variable-length encoding unit 22 encodes the smoothing filter parameter and the smoothing filter use flag by using a part of the functions of the existing deblocking filter. There is no need to convert it. Further, the moving image decoding apparatus 1A can perform adaptive smoothing by the deblocking filter without decoding the smoothing filter parameter and the smoothing filter use flag.
- FIG. 11 is a block diagram illustrating a schematic configuration of the moving image encoding device 2B
- FIG. 10 is a block diagram illustrating a schematic configuration of the moving image decoding device 1B.
- the predicted image is the target of the smoothing process
- the moving image encoding device 2B is different from the moving image encoding device 2 shown in FIG. 2 in the installation position of the smoothing filter.
- the smoothing filter 26 is provided between the prediction processing unit 25 and the subtractor 28, whereas in the moving image encoding device 2B, the smoothing filter (smoothing means) ) 26B is provided between the subtractor 28 and the transform / quantization unit 21.
- the video encoding device 2B smoothes the prediction residual D supplied from the subtracter 28.
- variable length encoding unit 22B is provided instead of the variable length encoding unit 22, and a deblocking filter 27B is provided instead of the deblocking filter 27.
- the prediction processing unit 25 changes the configuration so as to supply the predicted image Pred to the subtractor 28.
- the smoothing filter 26B, the variable length encoding unit 22B, and the deblocking filter 27B which are the differences between the moving image encoding device 2B and the moving image encoding device 2, will be described.
- the smoothing filter 26B is a filter that adaptively smoothes a step appearing around the boundary when the prediction residual D supplied from the subtractor 28 includes a boundary of the prediction unit inside the conversion unit. That is, the smoothing filter 26B performs a smoothing process when the step has a value greater than or equal to a predetermined value.
- the smoothing filter 26B supplies the smoothed prediction residual F_D subjected to the smoothing process to the transform / quantization unit 21. Further, the smoothing filter 26B transmits a prediction residual filter use flag indicating that the filter is used for the prediction residual in the conversion unit to the variable length coding unit 22B and the deblocking filter 27B.
- the smoothing filter 26B may generate a prediction residual filter use flag for each set of transform units obtained by grouping several transform units, not for each transform unit.
- variable length coding unit 22B adds the quantized prediction residuals QD and ⁇ qp supplied from the transform / quantization unit 21 to the prediction parameters PP and prediction unit designation information PT supplied from the prediction processing unit 25, and By encoding the prediction residual filter use flag supplied from the smoothing filter 26B together with variable length coding, encoded data # 1B is generated.
- the deblocking filter 27B performs the deblocking filter process similarly to the deblocking filter 27.
- the difference from the deblocking filter 27 is that the deblocking filter 27B controls the filter target range / strength by the prediction residual filter use flag. Details of the operation of the deblocking filter 27B will be described later.
- the moving picture decoding apparatus 1B will be described with reference to FIG.
- the video decoding device 1B includes a variable length code decoding unit 13B instead of the variable length code decoding unit 13 in the video decoding device 1 shown in FIG. Instead, a deblocking filter (decoded image smoothing means) 18B is provided, and the smoothing filter 17 provided in the moving image decoding apparatus 1 is removed.
- a deblocking filter decoded image smoothing means
- the prediction processing unit 16 changes the configuration so as to supply the predicted image Pred to the adder 15.
- variable length code decoding unit 13B and the deblocking filter 18B which are the differences between the video decoding device 1B and the video decoding device 1, will be described.
- variable length code decoding unit 13B from the encoded data # 1B, the macroblock type MBT, the prediction parameter PP for each prediction unit, the quantized prediction residual QD for each block, and the quantization parameter for the macroblock including the block In addition to the difference ⁇ qp, the prediction residual filter usage parameter is decoded.
- variable length code decoding unit 13B supplies the prediction residual filter use parameter, the prediction unit designation information PT, and the transform unit designation information TT to the deblocking filter 18B.
- the parameters that the variable length code decoding unit 13B supplies to the prediction processing unit 16 and the inverse quantization / inverse conversion unit 14 are the same as those of the variable length code decoding unit 13.
- the deblocking filter 18B performs a deblocking filter process similarly to the deblocking filter 18.
- the difference from the deblocking filter 18 is that the deblocking filter 18B controls the filter target range / strength by the prediction residual filter use flag. Details of the operation of the deblocking filter 18B will be described later.
- FIG. 12 is a graph showing the original image, the predicted image, and the prediction residual when the boundary of the prediction unit is included in the conversion unit as shown in FIG. (A) of the figure is a graph showing the luminance values of the original image and the predicted image, and (b) of the figure is a graph showing the prediction residual of the original image and the predicted image.
- the code C5 in FIG. 12A is the original image and the predicted image before and after the boundary BPU of the prediction unit, that is, at the position indicated by the code C5, as indicated by the code C1 in FIG. It shows that a large level difference appears.
- the smoothing filter 26B performs a smoothing process on a portion where a steep step as indicated by a symbol C2 in FIG. As a result, in the prediction residual graph, the level difference as indicated by the symbol C2 in FIG. 5B becomes gentle as indicated by the symbol C6 in FIG.
- the smoothing filter 26B smoothes the prediction residual
- the decoded image P is obtained from the prediction image Pred and the prediction residual D
- the reproducibility of the original image is reduced by the smoothed amount.
- the relationship between the original image, the predicted image, and the decoded image when the prediction residual is smoothed will be described with reference to FIG.
- the luminance value of the decoded image may not be a desired luminance value, as indicated by the symbol C7.
- the luminance value of the decoded image is reduced by the amount of smoothing of the prediction residual, and therefore, the graph of the decoded image has a step.
- the depth of the step leads to a decrease in reproducibility, and such a step appears as distortion in the decoded image.
- a prediction residual filter use flag is used to adaptively correct this step.
- the deblocking filters 18B and 27B specify a place where the filter is applied in the prediction residual based on the prediction residual filter use flag, a strong filter is applied to the specified place.
- the deblocking filters 18B and 27B perform the deblocking filter process based on the prediction residual filter use flag, so that the graph shown in FIG. 13 can be corrected like the graph shown in FIG.
- the prediction residual filter use flag it is specified that the prediction residual has been smoothed in the vicinity of the boundary BPU of the prediction unit, and a strong filter is applied to the specified portion, so that the code shown in FIG.
- the step (location indicated by symbol C7) seen in the decoded image graph of FIG. 13 can be made smooth like the location indicated by C8. Thereby, distortion included in the decoded image can be reduced.
- the video decoding device 1B converts the prediction residual on the frequency domain decoded from the encoded data # 1B into the prediction residual D on the spatial domain for each transform unit, and for each prediction unit
- a deblocking filter 18B that smoothes the decoded image P and is included in the conversion unit.
- the deblocking filter 18B that selectively acts near the boundary of the prediction unit is provided.
- the video encoding device 2B calculates the prediction residual on the spatial domain generated by subtracting the prediction image Pred generated for each prediction unit from the input video # 10.
- the smoothing filter 26B that smoothes the prediction residual D in the moving picture encoding apparatus 2B that converts the prediction residual in the frequency domain and encodes the prediction residual in the frequency domain for each transform unit.
- a smoothing filter 26B that selectively acts in the vicinity of the boundary of the prediction unit included in the transform unit, and the smoothed prediction residual F_D subjected to the smoothing process by the smoothing filter 26B is obtained. It is the structure which converts and encodes.
- any smoothing filter can be used as the smoothing filter 26B.
- the smoothing filter 26B is an H.264 filter. A part of the functions of the H.264 / AVC deblocking filter can be used. Since the diversion method is the same as that of the smoothing filter 26A shown in FIG. 9, the description thereof is omitted.
- FIG. 16 is a block diagram illustrating a schematic configuration of the moving image encoding device 2C
- FIG. 15 is a block diagram illustrating a schematic configuration of the moving image decoding device 1C.
- the difference between the moving picture encoding apparatus 2B shown using FIG. 11 and the moving picture decoding apparatus 1B shown using FIG. 10 is that the prediction residual is smoothed in the moving picture encoding apparatus 2C and the moving picture decoding apparatus 1C.
- a filter for correcting a level difference caused by the conversion process is provided separately from the deblocking filter.
- the moving image encoding device 2 ⁇ / b> C includes a dequantization / inverse transform unit 23 and an adder (decoded image generating unit) 29 in the moving image encoding device 2 ⁇ / b> B illustrated with reference to FIG. 11.
- the edge enhancement filter 30 is added, and the deblocking filter 27B is changed to the deblocking filter 27.
- the smoothing filter 26B is reconfigured to supply the prediction residual filter use flag to the variable length coding unit 22B and the edge enhancement filter 30, and the inverse quantization / inverse transformation unit 23 performs the edge enhancement.
- the configuration is changed so that the prediction residual D is supplied to the filter 30.
- the edge enhancement filter 30 acquires a prediction residual filter use flag from the smoothing filter 26B, and uses the prediction residual filter use flag for the prediction residual D supplied from the inverse quantization / inverse transform unit 23. Based on the above, edge enhancement processing is performed. Any edge enhancement filter can be used for the edge enhancement processing performed by the edge enhancement filter 30.
- the edge enhancement filter 30 supplies the prediction residual S_D subjected to the edge enhancement processing to the adder 29.
- the moving image decoding apparatus 1 ⁇ / b> C includes an edge enhancement filter (edge enhancement) between the inverse quantization / inverse transform unit 14 and the adder 15 in the moving image decoding apparatus 1 ⁇ / b> B illustrated with reference to FIG. 10.
- Means 19 is added, and the deblocking filter 18B is changed to the deblocking filter 18.
- the inverse quantization / inverse transform unit 14 changes the configuration so as to supply the prediction residual D to the edge enhancement filter 19, and the variable length code decoding unit 13 B adds the prediction residual filter to the edge enhancement filter 19.
- the configuration has been changed to supply a usage flag.
- the edge enhancement filter 19 obtains the prediction residual filter use flag from the variable length code decoding unit 13B, and obtains the prediction prediction obtained from the prediction residual D supplied from the inverse quantization / inverse transformation unit 14. Edge enhancement processing is performed based on the residual filter use flag. Any edge enhancement filter can be used for the edge enhancement processing performed by the edge enhancement filter 19.
- the edge enhancement filter 19 supplies the prediction residual S_D subjected to the edge enhancement processing to the adder 15.
- the moving picture decoding apparatus 1C converts the prediction residual on the frequency domain decoded from the encoded data # 1B into the prediction residual D on the spatial domain for each transform unit, and for each prediction unit
- the moving picture decoding apparatus 1C that generates the decoded image P by adding the prediction residual D to the prediction image Pred generated in the above, an edge enhancement filter 19 that performs edge enhancement processing on the prediction residual D, An edge enhancement filter 19 that selectively acts in the vicinity of the boundary of the prediction unit included in the conversion unit is provided, and in the generation of the decoded image P, the prediction residual D ( In other words, the prediction residual S_D) is added.
- the decoded image P is generated from the prediction residual D (that is, the prediction residual S_D) subjected to the edge enhancement process, distortion that may occur in the vicinity of the boundary in the decoded image P can be reduced.
- the smoothing filter 17 or the like may adaptively perform filter processing according to the size of a processing unit, that is, a prediction unit or a conversion unit.
- the smoothing filter 17 or the like performs filter processing adaptively according to the processing unit in this way, thereby expanding the application range of the filter in the vicinity of or exceeding the boundary of the processing unit, or an excessively strong filter. Is prevented from being applied. Thereby, it is possible to prevent the encoding efficiency from being lowered due to the influence of the filter.
- the smoothing filter 17 or the like is used when the size of the conversion unit is smaller than the predetermined size, when the size of the prediction unit is smaller than the predetermined size, and when the size of the prediction unit is smaller than the size of the conversion unit. In either case, the following filter control is performed. That is, in such a case, the smoothing filter 17 or the like performs filter control such as turning off the filter, reducing the strength of the filter, or reducing the number of taps.
- Such filter control is basically based on the idea of applying a smaller filter to a smaller processing unit. This is because applying a filter with a larger number of taps, that is, a filter with more complicated processing, to a smaller processing unit leads to an increase in processing amount. Therefore, it is preferable to directly change the filter processing range, and it is particularly desirable to control the number of taps.
- the smoothing filter 17 or the like may adaptively perform the filtering process according to the characteristics of the adjacent prediction unit when the boundary of the prediction unit is included in the conversion unit.
- the smoothing filter 17 or the like determines a portion where distortion is likely to occur from the characteristics of adjacent prediction units, and can reduce the distortion for a portion determined to be likely to cause distortion in the predicted image as a result of the determination. Control the filter.
- a case where distortion at the boundary is likely to occur is, for example, a case where adjacent prediction units are regions where intra prediction is performed, and the prediction directions are greatly different between the two. For example, this is the case when the prediction directions of both intra predictions are orthogonal or substantially orthogonal.
- the smoothing filter 17 or the like performs control such as turning on the filter, increasing the strength of the filter, or increasing the number of taps in both prediction units. Thereby, the filter effect with respect to distortion can be improved.
- adjacent prediction units are regions where intra prediction is performed, and the angle between the two prediction directions is within a predetermined range, that is, the angle between the two prediction directions is not so large. Time is given.
- the smoothing filter 17 or the like performs control such as turning off the filter, weakening the strength of the filter, or reducing the number of taps in the region near the boundary BPU2. As a result, it is possible to prevent the filter from being excessively affected.
- FIG. 17 is a diagram illustrating a conversion unit in which a boundary of a prediction unit is included in the conversion unit.
- the prediction unit PU1 is adjacent to the prediction unit PU2 in the horizontal direction and adjacent to the prediction unit PU3 in the vertical direction. Further, the prediction unit PU2 is adjacent to the prediction unit PU4 in the vertical direction, and the prediction unit PU3 is adjacent to the prediction unit PU4 in the horizontal direction.
- a horizontal boundary between the prediction unit PU1 and the prediction unit PU2 and the prediction unit PU3 and the prediction unit PU4 is defined as a boundary BPU1, and the vertical between the prediction unit PU1 and the prediction unit PU3, and the prediction unit PU2 and the prediction unit PU4.
- Let the boundary of direction be boundary BPU2.
- the prediction direction of the prediction unit PU1 is a substantially vertical direction
- the prediction direction of the prediction unit PU2 is a vertical direction
- the prediction direction of the prediction unit PU3 is a substantially horizontal direction
- the prediction direction of the prediction unit PU4 is a horizontal direction.
- the prediction unit PU1 and the prediction unit PU2 are not so large in the angle formed by both prediction directions. Also, the prediction unit PU3 and the prediction unit PU4 are not so large in angle between the prediction directions of both. Therefore, it is considered that there is little distortion at the boundary at these boundary BPU2. For this reason, the smoothing filter 17 or the like performs control such as turning off the filter for the boundary BPU2.
- the prediction direction of the prediction unit PU1 is a substantially vertical direction
- the prediction direction of the prediction unit PU3 is a substantially horizontal direction. to differ greatly.
- the prediction direction of the prediction unit PU2 is the vertical direction
- the prediction direction of the prediction unit PU4 is the horizontal direction.
- these boundary BPU1 are considered to be places where distortion at the boundary is likely to occur.
- the smoothing filter 17 or the like performs control such as turning on the filter in the peripheral region R2 of the boundary BPU1.
- any one of the adjacent prediction units is an area where intra prediction is performed, and in the case of a predetermined prediction mode or prediction direction, for example, a prediction direction orthogonal or substantially orthogonal to the boundary. Is considered to be a place where distortion at the boundary is likely to occur.
- the smoothing filter 17 or the like performs control such as turning on the filter.
- the distortion can be reduced by performing the filter process appropriately according to the characteristic of the adjacent prediction unit.
- the smoothing filter 17 or the like may adaptively perform filter processing according to the positional relationship between the boundary of the prediction unit and the boundary of the conversion unit.
- the smoothing filter 17 or the like reduces the number of taps so that the region to which the filter is applied does not protrude from the conversion unit.
- the smoothing filter 17 or the like applies a filter according to the slope when the boundary of the prediction unit is not horizontal or vertical in the conversion unit, for example. Thereby, the improvement of the effect of a filter can be aimed at.
- FIG. 18 is a diagram showing a conversion unit in which the boundary of the prediction unit is included in the conversion unit, and (a) shows a case where the boundary of the prediction unit is at the end of the conversion unit. , (B) shows a case where the boundary of the prediction unit is not horizontal or vertical in the conversion unit.
- the conversion unit TU11 includes the prediction units PU11 and PU12, and the boundary BPU3 between the prediction units PU11 and PU12 is in the positional relationship included in the end E1 of the conversion unit TU11. is there.
- the end E1 is, for example, a portion where the distance from the outer periphery of the conversion unit TU11 is at a position smaller than 1 ⁇ 4 of the length of one side of the conversion unit TU11.
- the smoothing filter 17 or the like performs control such as turning off the filter, weakening the strength of the filter, or reducing the number of taps in the region R11 in the vicinity of the boundary BPU3.
- the smoothing filter 17 or the like uses such a boundary BPU3.
- control such as turning on the filter, increasing the strength of the filter, or increasing the number of taps may be performed.
- the smoothing filter 17 or the like has a positional relationship in which the boundary of the prediction unit passes through the central portion of the conversion unit TU11, or the distance between the boundary of the prediction unit and the center point of the conversion unit TU11 is less than a predetermined threshold. In this case, the above control may be performed.
- the conversion unit TU21 includes prediction units PU21 and PU22.
- the prediction unit PU21 and the prediction unit PU22 are not square but trapezoidal. For this reason, the boundary BPU4 between the prediction unit PU21 and the prediction unit PU22 obliquely crosses the conversion unit TU21 and is not horizontal or vertical in the conversion unit TU21.
- the smoothing filter 17 and the like apply a filter according to the gradient of the boundary BPU4 in the region R21 in the vicinity of the boundary BPU4.
- FIG. 19 is a diagram illustrating an example of a filter according to the gradient of the boundary BPU4.
- a of the figure is an example of a filter for a horizontal boundary
- (b) of the figure is an example of a filter for a boundary having an inclination of 45 degrees.
- the horizontal boundary filter FIL1 has a shape of 1 ⁇ 5 pixels. That is, the filter FIL1 has five coefficients in the vertical direction.
- the smoothing filter 17 or the like performs filter processing by aligning the target pixel with the origin X1 of the filter FIL1.
- the 45-degree boundary filter FIL2 has coefficients for five pixels arranged diagonally on the right from the left to the right.
- the smoothing filter 17 or the like performs filter processing by matching the target pixel with the origin X2 of the filter FIL1.
- a filter that performs a smoothing process in a direction orthogonal or substantially orthogonal to the boundary is selected as the filter according to the gradient of the boundary.
- the macroblock in the above embodiment is H.264.
- Macroblocks and blocks correspond to HEVC CUs (sometimes referred to as coding units, coding tree leaves), PUs (Prediction Units), or TUs (Transformation Units).
- the image decoding apparatus converts the prediction residual on the frequency domain decoded from the encoded data into the prediction residual on the spatial domain for each transform unit, and generates the prediction residual for each prediction unit.
- an image decoding apparatus for generating a decoded image by adding a prediction residual in the spatial domain to a predicted image smoothing means for smoothing the predicted image for each conversion unit, the internal unit of the conversion unit Smoothing means that selectively acts in the vicinity of the boundary of the prediction unit included in the prediction unit, and in the generation of the decoded image, the prediction image subjected to smoothing processing by the smoothing means The prediction residual is added.
- the vicinity of the boundary of the prediction unit refers to a region including the boundary, for example, a region in a predetermined range around the boundary.
- the prediction mode when the boundary of the prediction unit is included inside the conversion unit, for example, the prediction mode may be different in each prediction unit. For this reason, a high frequency component may increase near the boundary of the prediction unit. This increase in high frequency components appears as distortion in the predicted image.
- smoothing can be performed on a portion where such a high frequency component appears, so that the high frequency component appearing in the vicinity of the boundary of the prediction unit can be reduced. That is, it is possible to reduce the distortion that appears in the vicinity of the boundary of the prediction unit in the prediction image.
- the smoothing unit sets at least one of the strength of the smoothing process and the number of taps according to at least one of the size of the transform unit and the size of the prediction unit. .
- the size of the conversion unit or the size of the prediction unit is set.
- the combined filter can be adjusted.
- the strength of the filter is reduced or the number of taps is decreased.
- reducing the strength of the filter includes turning the filter off by setting the strength of the filter to zero.
- the smoothing unit when the two adjacent prediction units are regions where intra prediction is performed, the smoothing unit performs a smoothing process according to a combination of prediction modes assigned to the two prediction units. It is preferable to set at least one of the intensity and the number of taps.
- the filter is adjusted according to the combination of prediction modes in each region. can do.
- prediction modes include DC prediction, plane prediction, and direction prediction.
- the smoothing process is turned on, the strength of the smoothing process is increased, the tap Since the filter adjustment such as increasing the number can be performed, such distortion can be reduced.
- the smoothing means sets at least one of the strength of the smoothing process and the number of taps according to the position of the boundary of the prediction unit inside the conversion unit.
- the filter may be applied beyond the conversion unit.
- the smoothing means determines a shape of a region where the filter acts according to a direction of a boundary of a prediction unit inside the conversion unit.
- an image decoding apparatus converts a prediction residual on a frequency domain decoded from encoded data into a prediction residual on a spatial domain for each transform unit, and In the image decoding apparatus for generating a decoded image by adding a prediction residual in the spatial domain to the prediction image generated for each, decoded image smoothing means for smoothing the decoded image, the conversion unit And a decoded image smoothing means that selectively acts in the vicinity of the boundary of the prediction unit included in the prediction unit.
- the reproducibility of the original image may be reduced. That is, when a decoded image is generated from a prediction image and a prediction residual, distortion may occur in the decoded image as the prediction residual is smoothed.
- an image decoding apparatus converts a prediction residual on a frequency domain decoded from encoded data into a prediction residual on a spatial domain for each transform unit, and
- an image decoding apparatus that generates a decoded image by adding a prediction residual in the spatial domain to a prediction image generated for each, on a spatial domain obtained by inversely transforming the prediction residual in the frequency domain
- Edge enhancement means for performing edge enhancement processing on a prediction residual comprising edge enhancement means that selectively acts in the vicinity of a boundary of the prediction unit included in the conversion unit, in generating the decoded image
- the prediction residual on the spatial region that has been subjected to edge enhancement processing by the edge enhancement means is added to the predicted image.
- the above configuration corresponds to the distortion that may occur in the decoded image described above when the prediction residual is smoothed. That is, according to the above configuration, when generating a decoded image, the prediction residual is selectively edge-enhanced near the boundary of the prediction unit included in the transform unit and added to the prediction image. Thus, a decoded image is generated.
- the rounded prediction residual is compensated by applying edge enhancement processing to the smoothed prediction residual and enhancing the edge of the portion rounded by the smoothing.
- the image coding apparatus calculates, for each transform unit, a prediction residual on a spatial region generated by subtracting a predicted image generated for each prediction unit from the original image.
- smoothing means for smoothing the prediction image
- Smoothing means that selectively acts in the vicinity of the boundaries of the included prediction units
- the prediction residual on the frequency domain is generated using the prediction image smoothed by the smoothing means It is characterized by being.
- the vicinity of the boundary of the prediction unit included in the conversion unit can be selectively smoothed, so that distortion appearing near the boundary of the prediction unit is reduced. For this reason, the encoding efficiency can be improved. In other words, it is possible to prevent the high frequency component of the prediction error from increasing and the encoding efficiency from decreasing.
- the image coding apparatus calculates, for each transform unit, a prediction residual on a spatial region generated by subtracting a predicted image generated for each prediction unit from the original image.
- the smoothing means for smoothing the prediction residual on the spatial domain Smoothing means that selectively acts in the vicinity of the boundary of the prediction unit included in the conversion unit is provided, and the smoothing means converts and encodes the prediction residual subjected to smoothing processing. It is characterized by that.
- Such distortion also appears as a high-frequency component in the prediction residual obtained by subtracting the prediction image from the original image.
- the smoothing process that selectively acts near the boundary of the prediction unit included in the conversion unit can be applied to the prediction residual in the spatial domain.
- decoded image generation means for generating a decoded image by adding a prediction residual on a spatial domain obtained by inversely transforming a prediction residual on the frequency domain to the predicted image.
- Decoded image smoothing means for smoothing the decoded image, the decoded image smoothing means selectively acting near the boundary of the prediction unit included in the transform unit, and the decoded image smoothing It is preferable to include a predicted image generation unit that generates the predicted image based on the decoded image smoothed by the unit.
- the image encoding apparatus smoothes the prediction residual, the reproducibility of the original image may be reduced. That is, when a decoded image is generated from a prediction image and a prediction residual, distortion may occur in the decoded image as the prediction residual is smoothed.
- Smoothing the decoded image in this way has an effect of reducing the distortion that can occur in the decoded image near the boundary.
- the image coding apparatus is an edge enhancement unit that performs edge enhancement processing on a prediction residual on a spatial domain obtained by inversely transforming a prediction residual on the frequency domain, Edge enhancement means that selectively act in the vicinity of the boundary of the prediction unit included in the unit; A decoded image generating unit that generates a decoded image by adding a prediction residual on the spatial region that has been subjected to edge enhancement processing by the edge enhancing unit to the predicted image, and a decoded image generated by the decoded image generating unit And a predicted image generating means for generating the predicted image based on
- the above configuration corresponds to the distortion that can occur in the decoded image. That is, according to the above configuration, when generating a decoded image, the prediction residual is subjected to edge enhancement processing that selectively acts on the vicinity of the boundary of the prediction unit included in the transform unit, and the prediction image To generate a decoded image.
- the prediction residual rounded by smoothing can be compensated. For this reason, when a decoded image is generated from a smoothed prediction residual, there is an effect that distortion that may occur near the boundary in the decoded image can be reduced.
- each block of the above-described moving picture decoding apparatuses 1, 1A, 1B, 1C and moving picture encoding apparatuses 2, 2A, 2B, 2C is hardware by a logic circuit formed on an integrated circuit (IC chip). Alternatively, it may be realized by software, or may be realized by software using a CPU (Central Processing Unit).
- IC chip integrated circuit
- CPU Central Processing Unit
- each device includes a CPU that executes instructions of a program that realizes each function, a ROM (Read (Memory) that stores the program, a RAM (Random Memory) that expands the program, the program, and various types
- a storage device such as a memory for storing data is provided.
- An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program for each of the above devices, which is software that realizes the above-described functions, is recorded in a computer-readable manner. This can also be achieved by supplying each of the above devices and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
- Examples of the recording medium include tapes such as magnetic tape and cassette tape, magnetic disks such as floppy (registered trademark) disks / hard disks, and CD-ROM / MO / MD / DVD / CD-R / Blu-ray disks (registered).
- Discs including optical disks such as trademark cards such as IC cards (including memory cards) / optical cards, semiconductor memories such as mask ROM / EPROM / EEPROM / flash ROM, or PLD (Programmable logic device) and FPGA Logic circuits such as (Field Programmable Gate Array) can be used.
- each of the above devices may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
- the communication network is not particularly limited as long as it can transmit the program code.
- the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network (Virtual Private Network), telephone line network, mobile communication network, satellite communication network, etc. can be used.
- the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
- wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by wireless such as High Data Rate, NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network.
- wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), IEEE 802.11 wireless, HDR ( It can also be used by wireless such as High Data Rate, NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network.
- the present invention can be suitably used in a moving image processing system including a moving image encoding device that encodes a moving image and a moving image decoding device that decodes the encoded moving image.
Abstract
符号化データ(#1)から復号された周波数領域上の予測残差を、変換単位ごとに空間領域上の予測残差(D)に変換し、予測単位ごとに生成した予測画像(Pred)に予測残差(D)を加算することにより復号画像(P)を生成する動画像復号装置(1)において、上記予測画像(Pred)を平滑化する平滑化フィルタ(17)であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ(17)を備えており、上記復号画像(P)の生成において、上記平滑化フィルタ(17)により平滑化処理が施された上記予測画像(F_Pred)に上記予測残差(D)を加算する構成である。
Description
本発明は画像を符号化する画像符号化装置および符号化された画像を復号する画像復号装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化する動画像符号化装置、及び、動画像を復号する動画像復号装置が広く用いられている。代表的な動画像符号化方式としては、例えば、H.264/MPEG-4.AVC(非特許文献1)や、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソフトウェアに採用されている方式などが挙げられる。
これらの符号化方式において、動画像を構成する各ピクチャは、ピクチャを分割することにより得られるスライス、スライスを分割することにより得られるマクロブロック、及び、マクロブロックを分割することにより得られるブロックからなる階層構造により管理される。
動画像符号化装置は、動画像をブロック単位で符号化する。具体的には、(1)原画像から予測画像を減算して得た予測残差をブロックごとにDCT変換(Discrete Cosine Transform)し、(2)得られたDCT係数を量子化し、(3)量子化されたDCT係数を可変長符号化する。原画像をDCT変換/量子化/符号化するのではなく、予測残差をDCT変換/量子化/符号化することによって、通常、符号量の削減を図ることができる。
動画像符号化装置は、上述した予測画像を、量子化されたDCT係数を逆量子化/逆DCT変換して得た局所復号画像に基づいて生成する。予測画像の生成方法には、画面間予測(インター予測)と画面内予測(イントラ予測)とがあり、動画像符号化装置において、どちらの予測方法を用いるかをマクロブロック毎に選択する。
さらには、近年、さらに効果的かつ柔軟に動画コンテンツを再現できるように、動画像の符号化および復号化において、予測単位および変換単位を独立して設定することが提案されている(非特許文献2)。すなわち、非特許文献2では、予測処理および変換処理を、それぞれの処理に適したサイズの領域に対して行うことが提案されている。
ここで、変換単位とは、直交変換を行う単位のことを示している。予測単位とは、大まかにいえば予測処理を行う単位のことを示している。さらに詳しくいえば、予測単位とは、イントラ予測においては、予測モードを割り当てる単位のことであり、インター予測においては、動きベクトルを割り当てる単位のことである。
「Recommendation ITU-T H.264」,Telecommunication Standardization Sector of ITU,03/2009(2009年3月公開)
Ken McCann et. al.,"Samsung’s Response to the Call for Proposals on Video Compression Technology(JCTVC-A124)", 1st Meeting: Dresden, DE, 15-23 April, 2010(2010年4月公開)
従来のH.264/MPEG-4.AVCでは、変換単位と予測単位とが同じ大きさであるか、変換単位が予測単位よりも小さいため、変換単位の内部に予測単位の境界が含まれる場合はない。
一方、非特許文献2に開示されているような技術では、変換単位と予測単位とを独立に設定することができるため、変換単位および予測単位の境界が一致せず、変換単位の内部に予測単位の境界が含まれる場合がある。
そして、隣接する2つの予測単位において予測パラメータが異なることにより、予測単位の境界両側の画素値にレベル差を生じることがある。
例えば、隣接する2つの予測単位がイントラ予測を行う領域であり、隣接する2つの予測単位の間で予測モードが異なる場合、予測単位の境界両側の画素値にレベル差を生じることがある。
よって、変換単位の内部に予測単位の境界が含まれる場合、上述のようなレベル差により予測単位の境界近傍において歪みを生じている予測画像が予測誤差の算出に用いられてしまうことになる。
このため、予測誤差の高周波成分が増加してしまい、符号化効率が低下するおそれがある。
しかし、非特許文献2では、上記問題が生じるおそれがあるにもかかわらず、具体的な対応策が示されていない。また、従来のH.264/MPEG-4.AVCでは、上述のとおり、変換単位と予測単位とが同じ大きさであるか、変換単位が予測単位よりも小さいため、その可能な組み合わせにおいて、上記問題がそもそも生じない。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、変換単位の内部に予測単位の境界が含まれるときに、予測単位の境界近傍における歪みを低減することができる画像復号装置および画像符号化装置を実現することにある。
本発明に係る画像復号装置は、上記の課題を解決するために、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記予測画像を変換単位ごとに平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記復号画像の生成において、上記平滑化手段により平滑化処理が施された上記予測画像に上記空間領域上の予測残差を加算することを特徴とする。
上記構成によれば、予測画像において変換単位の内部に、複数の予測単位が含まれるような場合、予測画像に含まれる画素のうち、当該予測単位の境界近傍に位置する画素を平滑化することができる。ここで、予測単位の境界近傍とは、その境界を含む領域のことであり、例えば、境界を中心として予め定められた範囲の領域のことをいう。
予測画像において、変換単位の内部に予測単位の境界が含まれるような場合、例えば、各予測単位において予測モードが相互に異なることが有り得る。このため、当該予測単位の境界近傍で高周波成分が増加することがある。この高周波成分の増加は、予測画像において歪みとなって現れる。
よって、上記構成によれば、このような高周波成分が現れる箇所に対して平滑化を施すことができるので、予測単位の境界近傍に現れる高周波成分を低減することができる。すなわち、予測画像において、予測単位の境界近傍に現れる歪みを低減することができる。
本発明に係る画像復号装置は、上記の課題を解決するために、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記復号画像を平滑化する復号画像平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する復号画像平滑化手段を備えることを特徴とする。
予測残差が平滑化された場合、原画像の再現性が低下する場合がある。つまり、予測画像と、予測残差とから復号画像を生成するときに、予測残差を平滑化した分、復号画像において歪みが生じる場合がある。
上記構成によれば、平滑化された予測残差から復号画像を生成する場合において、復号画像を生成したとき、当該復号画像に対して、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化処理を施すことができる。
このため、平滑化された予測残差から復号画像を生成する場合、復号画像において、上記境界近傍に生じ得る歪みを軽減することができるという効果を奏する。
本発明に係る画像復号装置は、上記の課題を解決するために、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対してエッジ強調処理を施すエッジ強調手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調手段を備え、上記復号画像の生成において、上記予測画像に、上記エッジ強調手段によりエッジ強調処理が施された上記空間領域上の予測残差を加算することを特徴とする。
上記構成は、予測残差が平滑化された場合において、上述の復号画像に生じ得る歪みに対応する。すなわち、上記構成によれば、復号画像を生成するときに、上記予測残差に対して変換単位の内部に含まれる予測単位の境界近傍に選択的にエッジ強調処理を施し、予測画像と加算することにより復号画像を生成する。
つまり、平滑化された予測残差にエッジ強調処理を施して、平滑化により丸められた箇所のエッジを強調することにより、丸められた予測残差を補う。
このため、平滑化された予測残差から復号画像を生成する場合、復号画像において、上記境界近傍に生じ得る歪みを軽減することができるという効果を奏する。
本発明に係る画像符号化装置は、上記の課題を解決するために、原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、上記予測画像を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記周波数領域上の予測残差は、上記平滑化手段が平滑化処理を施した上記予測画像を用いて生成されることを特徴とする。
上記構成によれば、予測画像において、変換単位の内部に含まれる上記予測単位の境界近傍を選択的に平滑化することができるので、予測単位の境界近傍に現れる歪みを低減する。このためで、符号化効率の向上を図ることができる。換言すれば、予測誤差の高周波成分が増加し符号化効率が低下することを防ぐことができる。
本発明に係る画像符号化装置は、上記の課題を解決するために、原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、上記空間領域上の予測残差を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記平滑化手段が平滑化処理を施した上記予測残差を変換して、符号化することを特徴とする。
上述のとおり、予測画像において、変換単位の内部に予測単位の境界が含まれる場合、境界両側の予測単位に割り当てられている予測パラメータの違い等により、予測単位の境界近傍に歪みが現れるときがある。
このような、歪みは、原画像から予測画像を減算して得られる予測残差にも高周波成分として現れる。
上記構成によれば、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化処理を空間領域上の予測残差に施すことができる。
このため、上述のような予測残差における歪みを低減して符号化することができるため、符号化効率の向上を図ることができる。
本発明に係る画像復号装置は、予測画像を変換単位ごとに平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記復号画像の生成において、上記平滑化手段により平滑化処理が施された上記予測画像に上記空間領域上の予測残差を加算する構成である。
よって、予測画像において、予測単位の境界近傍に現れる歪みを低減することができる。
また、本発明に係る画像復号装置は、復号画像を平滑化する復号画像平滑化手段であって、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用する復号画像平滑化手段を備える構成である。
また、本発明に係る画像復号装置は、周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対してエッジ強調処理を施すエッジ強調手段であって、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用するエッジ強調手段を備え、復号画像の生成において、予測画像に、上記エッジ強調手段によりエッジ強調処理が施された上記空間領域上の予測残差を加算する構成である。
よって、平滑化された予測残差から復号画像を生成する場合、復号画像において、上記境界近傍に生じ得る歪みを軽減することができる。
また、本発明に係る画像符号化装置は、予測画像を平滑化する平滑化手段であって、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記周波数領域上の予測残差は、上記平滑化手段が平滑化処理を施した上記予測画像を用いて生成される構成である。
よって、予測誤差の高周波成分が増加することにより符号化効率が低下することを防ぐことができる。
本発明に係る画像符号化装置は、空間領域上の予測残差を平滑化する平滑化手段であって、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記平滑化手段が平滑化処理を施した上記予測残差を変換して、符号化する構成である。
よって、このため、上述のような予測残差における歪みを低減して符号化することができ、符号化効率の向上を図ることができる。
〔実施形態1〕
本発明の一実施形態について図1~図7を参照して説明すると以下のとおりである。
本発明の一実施形態について図1~図7を参照して説明すると以下のとおりである。
まず、図2および図1を用いて、本実施形態に係る動画像符号化装置(画像符号化装置)2および動画像復号装置(画像復号装置)1の概要について説明する。図2は、動画像符号化装置2の概略的構成を示すブロック図であり、図1は、動画像復号装置1の概略的構成を示すブロック図である。
図2に示す動画像符号化装置2および図1に示す動画像復号装置1は、それぞれ、H.264/MPEG-4.AVC、及び、KTAソフトウェアに採用されている技術を含むものである。
動画像符号化装置2は、動画像#10を入力として、動画像符号化装置2は、動画像#10を符号化することによって、符号化データ#1を生成する装置である。動画像符号化装置2は、生成した符号化データ#1を動画像復号装置1に送信する。
動画像復号装置1は、動画像符号化装置2から受信した符号化データ#1を復号することによって動画像#2を生成するための装置である。
(符号化データのデータ構造)
ここで、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1のデータ構造について説明すると次のとおりである。
ここで、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1のデータ構造について説明すると次のとおりである。
符号化データ#1は、シーケンスレイヤ、GOP(Group Of Pictures)レイヤ、ピクチャレイヤ、スライスレイヤ、及び、マクロブロックレイヤ、からなる階層構造を有している。なお、マクロブロックは、LCU(Largest Coding Unit)とも呼ばれる。
図3を用いて、ピクチャレイヤ以下の階層について符号化データの構造についてより詳しく説明する。図3の(a)~(d)は、それぞれ、ピクチャレイヤP、スライスレイヤS、マクロブロックレイヤMB、およびマクロブロックヘッダMBHの構造を示す図である。
ピクチャレイヤPは、対応ピクチャを復号するために動画像復号装置1が参照するデータの集合である。
図3の(a)に示すように、ピクチャレイヤPは、ピクチャヘッダPH、及び、スライスレイヤS1~SNsを含んでいる(NsはピクチャレイヤPに含まれるスライスレイヤの総数)。
ピクチャヘッダPHには、対応ピクチャの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置2が符号化の際に用いた可変長符号化のモードを示す符号化モード情報(entoropy_coding_mode_flag)は、ピクチャヘッダPHに含まれる符号化パラメータの一例である。
ピクチャレイヤPに含まれる各スライスレイヤSは、対応スライスを復号するために動画像復号装置1が参照するデータの集合である。
図3の(b)に示すように、スライスレイヤSは、スライスヘッダSH、及び、マクロブロックレイヤMB1~MBNm(NmはスライスレイヤSに含まれるマクロブロックの総数)を含んでいる。
スライスヘッダSHには、対応スライスの復号方法を決定するために動画像復号装置1が参照する符号化パラメータ群が含まれる。スライスヘッダSHに含まれる符号化パラメータの例としては、(1)スライスタイプを指定するスライスタイプ指定情報(slice_type)、(2)対応スライスを含むピクチャの表示順序(POC:Picture Order Count)を指定するPOC指定情報(pic_order_cnt_lbsやdelta_pic_order_cntなど)、および、(3)動画像符号化装置2が符号化の際に用いた重み係数を指定する重み係数指定情報(pred_weight_table)などが挙げられる。
なお、スライスタイプ指定情報により指定可能なスライスタイプとしては、(1)符号化の際にイントラ予測のみを用いるIスライス、(2)符号化の際に単方向予測、又は、イントラ予測を用いるPスライス、(3)符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるBスライスなどが挙げられる。
スライスレイヤSに含まれる各マクロブロックレイヤMBは、対応マクロブロックを復号するために動画像復号装置1が参照するデータの集合である。
図3の(c)に示すように、マクロブロックレイヤMBは、スキップフラグSKIP、マクロブロックヘッダMBH、予測パラメータPP1~PPNp、及び、量子化予測残差QD1~QDNrを含んでいる。ここで、Npは、対応マクロブロックに含まれる予測単位(パーティション、またはPU:Prediction Unitとも呼ばれる)の総数を表し、Nrは、対応マクロブロックに含まれる変換単位(ブロック、またはTU:Transform Unitとも呼ばれる)の総数を表す。スキップフラグSKIPの値が1の場合、すなわち、対応マクロブロックがスキップブロックである場合、そのマクロブロックレイヤにおけるマクロブロックヘッダMBH、予測パラメータPP1~PPNp、及び、量子化予測残差QD1~QDNrは省略される。
マクロブロックヘッダMBHには、対応マクロブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。
図3の(d)に示すように、マクロブロックヘッダMBHには、具体的には、対応マクロブロックのマクロブロックタイプを指定するマクロブロックタイプ指定情報MBT(mb_type)、符号化ブロックパターンを指定するCBP(coded_block_pattern)、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(mb_qp_delta)が含まれる。マクロブロックタイプ指定情報MBTは、予測単位指定情報PTと変換単位指定情報TTとを含む。
予測単位指定情報PTは、対応マクロブロックの予測単位(パーティション)への分割パターンと、動画像符号化装置2が各予測単位における予測画像を生成する際に用いた予測方法(L0単方向予測、L1単方向予測、双方向予測など)を指定する。
予測単位(パーティション)のサイズとして、例えば、4N×4N、2N×2Nの正方形領域、4N×2N、2N×4Nの長方形領域、4N×N、4N×3N、N×4N、3N×4Nの非等分割領域を採用することができる。なお、Nは、マクロブロックのサイズに応じて、N=32などを用いることができる。
一方、変換単位指定情報TTは、対応マクロブロックの変換単位(ブロック)への分割パターンを指定する。変換単位のサイズとして、例えば、4N×4N画素、2N×2N画素、又はN×N画素の正方形領域を採用することができる。また、これに限られず、変換単位のサイズとして、例えば、たとえば、8×16や16×1など、長方形領域を採用することもできる。
量子化パラメータ差分Δqpは、対応マクロブロックにおける量子化パラメータqpと、そのマクロブロックの直前に符号化されたマクロブロックにおける量子化パラメータqp’との差分qp-qp’である。
マクロブロックレイヤMBに含まれる各量子化予測残差QDnは、動画像符号化装置2が以下の処理1~3を対応ブロックに施すことによって生成した符号化データである。処理1:符号化対象画像から予測画像を減算した予測残差をDCT変換(Discrete Cosine Transform)する。処理2:処理1にて得られたDCT係数を量子化する。処理3:処理2にて量子化されたDCT係数を可変長符号化する。上述した量子化パラメータqpは、動画像符号化装置2がDCT係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
なお、マクロブロックレイヤMBに含まれる予測パラメータPPのうち、インター予測によって予測画像が生成される予測単位に関する予測パラメータPPは、参照画像インデックスRIと、推定動きベクトルインデックスPMVIと、動きベクトル残差MVDとを含んでいる。
動きベクトル残差MVDは、動きベクトルmvと動きベクトルの推定値(以下、「推定動きベクトル」と称する)pmvとをそれぞれ求めて、これらの差分を取ることにより得られる。
参照画像インデックスRIは、動きベクトル残差MVDを算出するときに使用する符号化/復号化済みの局所復号画像(参照画像)を指定するものである。
推定動きベクトルインデックスPMVIは、動きベクトルmvの推定値(以下「推定動きベクトル」とも呼称)pmvを導出する推定方法を指定するものである。
なお、単方向予測を行う予測単位に関する予測パラメータPPには、参照画像インデックスRI、推定動きベクトルインデックスPMVI、及び、動きベクトル残差MVDがそれぞれ1つずつ含まれるが、双方向予測(重み付き予測)を行う予測単位に関する予測パラメータPPには、2つの参照画像インデックスRI1及びRI2、2つの推定動きベクトルインデックスPMVI1及びPMVI2、並びに、2つの動きベクトル残差MVD1及びMVD2が含まれる。
マクロブロックレイヤMBに含まれる予測パラメータPPのうち、イントラ予測によって予測画像が生成される予測単位に関する予測パラメータPPは、予測モードフラグPMFと予測モード符号PMCとを含んでいる。予測モードフラグPMFは、対応パーティションにおける予測モードが隣接パーティションから推定した予測モードと一致する場合に値“1”を取り、そうでない場合に値“0”を取る。予測モード符号PMCは、対応パーティションにおける予測モードを指定する予測モード指定情報を符号化したものであり、予測モードフラグPMFの値が1である場合には省略される。予測モード指定情報において指定できる予測モードの例としては、DC予測、プレーン予測、方向予測などが挙げられる。
(動画像復号装置の詳細)
次に、図1を用いて、動画像復号装置1の詳細について説明する。図1に示すように動画像復号装置1は、可変長符号復号部13、逆量子化・逆変換部14、加算器15、予測処理部16、平滑化フィルタ(平滑化手段)17、および、デブロッキングフィルタ18を含む構成である。
次に、図1を用いて、動画像復号装置1の詳細について説明する。図1に示すように動画像復号装置1は、可変長符号復号部13、逆量子化・逆変換部14、加算器15、予測処理部16、平滑化フィルタ(平滑化手段)17、および、デブロッキングフィルタ18を含む構成である。
なお、図1では、各ブロック間におけるデータの流れを記載しているが、このうち“<**(MBT)>”と記載しているものは、マクロブロックタイプ指定情報MBTに含まれる情報、すなわちマクロブロック単位で生成される情報であることを示している。
可変長符号復号部13は、符号化データ#1から、マクロブロックタイプMBT、各パーティションに関する予測パラメータPP、各ブロックに関する量子化予測残差QD、および、そのブロックを含むマクロブロックに関する量子化パラメータ差分Δqpを復号する。
また、可変長符号復号部13は、変換単位指定情報TTを平滑化フィルタ17に供給する。そして、可変長符号復号部13は、予測パラメータPPおよび予測単位指定情報PTを予測処理部16に供給する。さらに、可変長符号復号部13は、量子化予測残差QD、および、量子化パラメータ差分Δqp、ならびに、変換単位指定情報TTを逆量子化・逆変換部14に供給する。
逆量子化・逆変換部14は、変換単位指定情報TTにおいて指定されている各変換単位に対して、(1)量子化予測残差QDを逆量子化し、(2)逆量子化によって得られたDCT係数を逆DCT(Discrete Cosine Transform)変換し、(3)逆DCT変換によって得られた予測残差Dを加算器15に供給する。逆DCT変換は、周波数領域上の予測残差を空間領域上の予測残差に変換する処理に相当する。
なお、量子化予測残差QDを逆量子化する際に、逆量子化・逆変換部14は、可変長符号復号部13から供給された量子化パラメータ差分Δqpから量子化ステップQPを導出する。量子化パラメータqpは、直前に逆量子化/逆DCT変換したマクロブロックに関する量子化パラメータqp’に量子化パラメータ差分Δqpを加算することによって導出でき、量子化ステップQPは、量子化パラメータqpからQP=2qp/6によって導出できる。
加算器15は、平滑化フィルタ17から供給された平滑化後予測画像F_Predと、逆量子化・逆変換部14から供給された予測残差Dとを加算することによって復号画像P(デブロッキング前)を生成する。また、加算器15によって生成された復号画像Pは、デブロッキングフィルタ18に供給される。
予測処理部16は、予測単位指定情報PTにおいて指定されている各予測単位について、予測パラメータPPを用いてインター予測またはイントラ予測により予測画像Predを生成し出力する。
インター予測においては、各予測単位における予測画像が、その予測単位が属するピクチャとは異なる符号化/復号化済みの他のピクチャ(以下「参照画像」と呼称)から、動き補償予測により生成される。
一方、イントラ予測においては、各予測単位における予測画像が、そのパーティションと同じピクチャに属する符号化/復号化済みの他のパーティション(以下「参照パーティション」と呼称)における局所復号画像から、外挿により生成される。なお、これに限られず、内挿を用いて予測画像を生成することも可能である。
予測パラメータPPがインター予測に関するものであるとき、予測処理部16は、インター予測により予測画像Predを生成する。具体的には、予測処理部16は、予測パラメータPPおよび他のパーティションに関する復元済み動きベクトルmv’等のパラメータに基づいて、参照画像としての復号画像DF_P’からインター予測画像Pred_Interを生成する。
ここで、復号画像DF_P’は、既に復号が完了した復号済みの復号画像であり、予測処理部16は、復号画像DF_P’を構成する各画素の画素値をバッファメモリ11から読み出すことができる。また、予測処理部16は、復元済み動きベクトルmv’を、バッファメモリ11から読み出すことができる。
また、予測パラメータPPがイントラ予測に関するものであるとき、予測処理部16は、イントラ予測により予測画像Predを生成する。具体的には、予測処理部16は、予測パラメータPPに含まれる予測モード指定情報により指定された予測モードを用いて、局所的に復号済みの復号画像DF_Pからイントラ予測によりイントラ予測画像Pred_Intraを生成する。
ここで、復号画像DF_Pは、未だ復号が完了していない復号中の復号画像であり、予測処理部16は、復号画像DF_Pを構成する画素のうち、既に復号が完了したブロックに属する各画素の画素値をバッファメモリ11から読み出すことができる。
そして、予測処理部16は、インター予測により生成したインター予測画像Pred_Interまたはイントラ予測により生成したイントラ予測画像Pred_Intraを予測画像Predとして、予測単位指定情報PTと共に、平滑化フィルタ17に供給する。
平滑化フィルタ17は、予測画像Predにおいて、変換単位の内部に予測単位の境界が含まれる場合、この境界周辺の領域に割り当てられた画素値を平滑化するフィルタである。平滑化フィルタは平滑化処理を施した平滑化後予測画像F_predを加算器15に供給する。平滑化フィルタ17の詳細については後述する。
デブロッキングフィルタ18は、復号画像Pにおけるブロック境界、またはマクロブロック境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Pにおける当該ブロック境界、またはマクロブロック境界に対してデブロッキング処理を施す。デブロッキングフィルタ18は、復号画像Pにデブロッキング処理を施すことにより得られた復号画像DF_Pをバッファメモリ11に格納するとともに、外部に動画像#2として出力する。
(平滑化フィルタの詳細について)
次に、図4~7を参照しながら、平滑化フィルタの詳細について説明する。
次に、図4~7を参照しながら、平滑化フィルタの詳細について説明する。
そこで、まず、動画像復号装置1がサポートする予測単位および変換単位について説明する。動画像復号装置1は、図2を用いて示した予測単位指定情報PTおよび変換単位指定情報TTで指定される多様なサイズの予測単位および変換単位をサポートする。
その具体例を図4に示す。図4は、動画符号化/復号処理における予測単位および変換単位について示す図であり、(a)は、予測単位について示しており、(b)は、変換単位について示しており、(c)は、予測単位および変換単位を重ね合わせた場合について示している。
図4の(a)に示す予測単位PUは、N×4Nの予測単位P1と3N×4Nの予測単位P2とからなる。なお、BPUは、予測単位P1およびP2の境界線を示している。また、図4の(b)に示す変換単位TUは、2N×2Nの4つの変換単位T1~T4により構成される。なお、BTUは、これらの変換単位T1~T4の境界線を示している。
このように、動画像復号装置1では、予測単位PUおよび変換単位TUについて、それぞれ、柔軟なブロック構成をサポートしている。よって、図4の(c)に示すように、予測単位PUの境界BPUが、変換単位TUの内部に含まれることがある。つまり、変換単位T1およびT2の内部において、各変換単位を横切るように予測単位PUの境界BPUが出現する。言い換えれば、変換単位T1(T2)において、予測単位P1およびP2が混在する。
このような場合、予測単位の境界BPUの両側において画素値にレベル差が生じやすくなり、このレベル差のため予測残差の高周波成分が増加することがある。
図5を用いて、このように高周波成分が増加する場合の例についてさらに詳しく説明すると次のとおりである。図5は、図4の(c)で示したように変換単位の内部に、予測単位の境界が含まれている場合の原画像、予測画像、および予測残差について示すグラフである。同図の(a)は、原画像および予測画像の輝度値について示したグラフであり、同図の(b)は、原画像および予測画像の予測残差を示すグラフである。
図5の(a)に示すように、原画像の輝度値を示すグラフは、予測単位の境界BPUの前後において、すなわち、予測単位P1側から予測単位P2側にかけて、それほど大きなレベル差は生じていない。
しかし、図5の(a)に示すように、例えば、予測単位P1および予測単位P2の間における予測モードの違いなどに起因して、予測画像Predの輝度値が、予測単位の境界BPUの前後において大きく変化する場合がある。
図5の(a)において、符号C1で示すようなレベル差は、予測画像において歪みとして現れる。また、このような予測画像が、予測残差の算出に用いられることになる。
このため、図5の(b)において、符号C2で示すように、予測残差devのグラフには、予測単位の境界BPUの前後にかけて、急峻な段差が現れる。符号C2で示す箇所では、予測誤差の高周波成分が増加するため、符号化効率が低下する。
以下、平滑化フィルタ17の説明に戻り、図6および図7を用いて、平滑化フィルタ17の動作についてさらに詳しく説明する。
平滑化フィルタ17は、図5に示したような段差を平滑化するために、次のようにして平滑化処理の対象を定める。すなわち、平滑化フィルタ17は、予測処理部16から供給される予測単位指定情報PTおよび可変長符号復号部13から供給される変換単位指定情報TTに基づいて、変換単位の内部において、予測単位の境界が含まれている箇所を特定する。そして、平滑化フィルタ17は、特定した箇所の所定の範囲を平滑化処理の対象とする。
ここで、図6を用いて、平滑化フィルタ17が平滑化対象とする平滑化対象領域についてより詳しく説明する。図6は、変換単位の内部に、予測単位の境界が含まれている場合の平滑化処理について示す図である。図6は、図4の(c)と同様、予測単位PUの境界BPUが、変換単位TUの内部に含まれる例について示している。
平滑化フィルタ17は、図6に斜線を付して示す平滑化対象領域R1に対して平滑化処理を行う。平滑化フィルタ17は、予測単位指定情報PTおよび変換単位指定情報TTに基づいて平滑化対象領域R1を設定する。例えば、平滑化フィルタ17は、予測単位の境界BPUを含む、所定幅の帯状領域として平滑化対象領域R1を設定する。
また、平滑化フィルタ17は、下記(1)~(3)の何れかが満たされる場合、各変換単位TUの内部に存在する予測単位PUの境界BPUの所定幅(例えば1画素)を有する帯状領域として平滑化対象領域R1を設定する。
(1)変換単位指定情報TTで示される変換単位TUの横幅(水平方向の長さ)が予測単位指定情報PTで示される予測単位PUの横幅よりも大きい。
(2)変換単位指定情報TTで示される変換単位TUの高さ(垂直方向の長さ)が予測単位指定情報PTで示される予測単位PUの高さよりも大きい。
(3)変換単位TUのサイズと予測単位PUのサイズが同一であり、変換単位TUの開始座標(例えば、当該TUの左上座標)と、予測単位PUの開始座標とが異なる。
平滑化フィルタ17は、図5の(a)のグラフにおいて符号C1で示したレベル差が出現した箇所を含むような幅を事前に求め、境界BPUを中心として平滑化対象領域R1を設定することができる。なお、図6では、変換単位T1および変換単位T2の両方に平滑化対象領域R1が展開しているが、変換単位T1および変換単位T2のいずれか一方に係る部分のみを平滑化対象領域とすることもできる。つまり、この平滑化処理は変換単位ごとに行うことができる。
(変換単位ごとの平滑化処理の一例)
以下では、平滑化フィルタ17によって行われる変換単位ごとの平滑化処理の具体例の一つを説明する。
以下では、平滑化フィルタ17によって行われる変換単位ごとの平滑化処理の具体例の一つを説明する。
平滑化フィルタ17は、変換単位指定情報TTに含まれる各変換単位TU(ここではT1とする)について以下の処理を行う。
まず、平滑化フィルタ17は、変換単位T1の左上座標(X1、Y1)を含む予測単位P1(X1、Y1)を参照する。ここで、予測単位P1(X1、Y1)との表記は、該予測単位P1の左上座標が(X1、Y1)であることを示している。
続いて、予測単位P1(X1、Y1)の横幅W1が変換単位T1の横幅よりも小さい場合には、平滑化フィルタ17は、該予測単位P1(X1、Y1)と、該予測単位P1(X1、Y1)の右側に隣接する予測単位P2(X1+W1、Y1)との間の境界近傍に平滑化処理を行う。
続いて、予測単位P2(X1+W1、Y1)の横幅W2と、予測単位P1(X1、Y1)の横幅W1との和が、変換単位T1の横幅よりも小さい場合には、平滑化フィルタ17は、さらに、該予測単位P2(X1+W1、Y1)と、該予測単位P2(X1+W1、Y1)の右側に隣接する予測単位P3との間の境界近傍に平滑化処理を行う。
このようにして、平滑化フィルタ17は、変換単位T1に含まれる予測単位であって、左上座標のy成分がY1である予測単位の境界近傍に対して平滑化処理を行う。
その後、予測単位P1(X1、Y1)の高さH1が変換単位T1の高さよりも小さい場合には、平滑化フィルタ17は、該予測単位P1(X1、Y1)と、該予測単位P1(X1、Y1)の下側に隣接する予測単位P1’(X1、Y1+H1)との間の境界近傍に平滑化処理を行う。
続いて、平滑化フィルタ17は、予測単位P1’(X1、Y1+H1)と、該予測単位P1’(X1、Y1+H1)の右側に隣接する予測単位P2’(X1+W1、Y1+H1)との間の境界近傍に平滑化処理を行う。
以下、同様に、変換単位T1に含まれる予測単位PUを全て処理するまで上記平滑化処理を繰り返す。
このように、各変換単位TUに含まれる予測単位PUを所定の順にスキャン(この例ではラスタスキャン)し、それら予測単位PUの境界近傍に対して順に平滑化処理をすることができる。
(変換単位ごとの平滑化処理の他の例)
続いて、平滑化フィルタ17によって行われる変換単位ごとの平滑化処理の他の具体例を説明する。
続いて、平滑化フィルタ17によって行われる変換単位ごとの平滑化処理の他の具体例を説明する。
予測単位PUの最小横幅と最小高さが各々MINPW、MINPHである場合には、平滑化フィルタ17は、変換単位TUを最小サイズからなる矩形単位MINPW、MINPHに分割したときに生じる境界を境界候補とし、その境界候補がPU境界に一致するか否かをスキャン順に沿って判定する。
判定の結果、境界候補がPU境界に一致する場合には、平滑化フィルタ17は、変換その境界近傍の所定幅(例えば境界の両側各1画素)の範囲を平滑化対象領域R1とし、平滑化処理を行う。境界候補がPU境界に一致しない場合には、平滑化フィルタ17は、変換平滑化処理を行わない。
さらに具体的には例えば、変換単位TUの左上座標が(X1、Y1)である場合には、平滑化フィルタ17は、ループ変数iとループ変数jとを用いた2重ループにおいて、座標(X1+i、Y1+j)に対して、対象矩形単位(X1+i、Y1+j)と、該対象矩形単位の右側に隣接する右隣接矩形単位(X1+(i+1)、Y1+j)とが同一のPUに含まれているか否か、及び、対象矩形単位(X1+i、Y1+j)と、該対象矩形単位の下側に隣接する下隣接矩形単位(X1+i、Y1+(j+1))とが同一のPUに含まれているか否か、を判定する。
判定の結果、上記対象矩形単位と、上記右隣接矩形単位(上記下隣接矩形単位)とが同一PUに含まれていなければ、平滑化フィルタ17は、境界候補がPU境界に一致するとして処理する。一方、上記対象矩形単位と、上記右隣接矩形単位(上記下隣接矩形単位)とが同一PUに含まれていれば、平滑化フィルタ17は、境界候補がPU境界に一致しないとして処理する。
なお、平滑化フィルタ17が行う平滑化処理においては任意の平滑化フィルタを用いることができる。平滑化フィルタの例としては、H.264/MPEG-4.AVCのデブロッキングフィルタのように適応的に平滑化を行うもの、単純なぼかしフィルタ(例:係数行列{1/4,2/4,1/4}によるフィルタ)、およびメディアンフィルタなどが挙げられる。
図7を用いて、平滑化フィルタ17が図6に示す平滑化対象領域R1に対して平滑化処理を行うことにより図5で示したグラフがどのように変化するかを示す。
図7は、変換単位の内部に、予測単位の境界が含まれている場合において、平滑化フィルタ17によるフィルタ処理を施したときの原画像、予測画像、および予測残差について示すグラフである。(a)は、原画像および予測画像の輝度値について示したグラフであり、(b)は、原画像および予測画像の予測残差を示すグラフである。
図7の(a)の予測画像のグラフに注目すると、境界BPUの前後において、すなわち、符号C3に示す箇所において、図5の(a)に見られたようなレベル差を解消することができる。
また、これにより、図(7)の(b)において符号C4で示すように、予測残差のグラフにおいて、図5の(b)に見られたような急峻な段差を解消することができる。
平滑化フィルタ17によれば、予測誤差の高周波成分を低減することができるので、符号化効率を向上させることができる。
(イントラ予測とインター予測の処理順序について)
なお、再び図4を参照しながら、動画像復号装置1におけるイントラ予測とインター予測の処理順序について補足的に説明しておく。動画像復号装置1におけるイントラ予測およびインター予測では、変換単位内の全ての予測画素が、変換に先立って導出される処理順序である。
なお、再び図4を参照しながら、動画像復号装置1におけるイントラ予測とインター予測の処理順序について補足的に説明しておく。動画像復号装置1におけるイントラ予測およびインター予測では、変換単位内の全ての予測画素が、変換に先立って導出される処理順序である。
図4の(c)を用いて具体的に説明すると、動画像復号装置1では、インター予測およびイントラ予測を、予測単位P1、予測単位P2の順で行い、その後、変換単位T1、T2、T3、およびT4の順で変換処理を行う。
これにより、イントラ予測を行う場合、変換単位および予測単位の自由度が広がる。
なお、従来、イントラ予測は、対象となる予測単位について、予測処理と、変換処理とを行ってから、次の対象となる予測単位について、予測処理と、変換処理とを行う構成であった。つまり、上記構成では、イントラ予測を行う場合の順番を変更している。
ここで、イントラ予測では、上述のような変換単位の内部に予測単位の境界が含まれるような組み合わせでは処理しないように制限してもよい。すなわち、イントラ予測を行う場合には、変換単位の内部に単一の予測単位しか含まれないような組み合わせのみを用いるようにしてもよい。これにより、イントラ予測の順番を変更しなくても、イントラ予測において上述のような変換単位内部の予測画像に歪みが生じる問題を回避できる。
(作用・効果)
以上に示したように、動画像復号装置1は、符号化データ#1から復号された周波数領域上の予測残差を、変換単位ごとに空間領域上の予測残差Dに変換し、予測単位ごとに生成した予測画像Predに予測残差Dを加算することにより復号画像Pを生成する動画像復号装置1において、上記予測画像Predを変換単位ごとに平滑化する平滑化フィルタ17であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ17を備えており、上記復号画像Pの生成において、上記平滑化フィルタ17により平滑化処理が施された上記平滑化後予測画像F_Predに予測残差Dを加算する構成である。
以上に示したように、動画像復号装置1は、符号化データ#1から復号された周波数領域上の予測残差を、変換単位ごとに空間領域上の予測残差Dに変換し、予測単位ごとに生成した予測画像Predに予測残差Dを加算することにより復号画像Pを生成する動画像復号装置1において、上記予測画像Predを変換単位ごとに平滑化する平滑化フィルタ17であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ17を備えており、上記復号画像Pの生成において、上記平滑化フィルタ17により平滑化処理が施された上記平滑化後予測画像F_Predに予測残差Dを加算する構成である。
よって、予測画像Predにおいて、予測単位の境界BPU近傍に現れる歪みを低減することができる。
(変形例)
上記動画像復号装置1では、デブロッキングフィルタ18の前後において、デブロッキングフィルタ18以外に、ALF(Adaptive loop filter)を設けてもよい。
上記動画像復号装置1では、デブロッキングフィルタ18の前後において、デブロッキングフィルタ18以外に、ALF(Adaptive loop filter)を設けてもよい。
すなわち、ALFにより、変換単位の内部に含まれる予測単位の境界近傍に対して平滑化等のフィルタ処理を適応的に行ってもかまわない。
この場合、符号化データ#1に、ALFのためのフィルタパラメータが含まれることが想定され、可変長符号復号部13が当該フィルタパラメータを復号し、ALFに供給する。
ALFは、可変長符号復号部13からフィルタパラメータを取得して、平滑化等のフィルタ処理を適応的に復号画像に対して施す。
フィルタパラメータには、例えば、フィルタのON/OFF、フィルタの強度、フィルタ処理を施す範囲などを指定する情報が含まれていてもよい。
(動画像符号化装置の詳細)
次に、図2を用いて、動画像符号化装置2の詳細について説明する。図2に示すように動画像符号化装置2は、変換・量子化部21、可変長符号化部22、逆量子化・逆変換部23、予測処理部(予測画像生成手段)25、平滑化フィルタ(平滑化手段)26、デブロッキングフィルタ27、減算器28および加算器29を備える構成である。
次に、図2を用いて、動画像符号化装置2の詳細について説明する。図2に示すように動画像符号化装置2は、変換・量子化部21、可変長符号化部22、逆量子化・逆変換部23、予測処理部(予測画像生成手段)25、平滑化フィルタ(平滑化手段)26、デブロッキングフィルタ27、減算器28および加算器29を備える構成である。
変換・量子化部21は、(1)予測残差Dを変換単位(ブロック)毎にDCT変換(Discrete Cosine Transform)し、(2)DCT変換により得られたDCT係数を量子化し、(3)量子化により得られた量子化予測残差QDを可変長符号化部22および逆量子化・逆変換部23に供給する。DCT変換は、空間領域上の予測残差を周波数領域上の予測残差に変換する処理に相当する。
なお、変換・量子化部21は、(1)量子化の際に用いる量子化ステップQPをマクロブロック毎に選択し、(2)選択した量子化ステップQPの大きさを示す量子化パラメータ差分Δqpを可変長符号化部22に供給し、(3)選択した量子化ステップQPを逆量子化・逆変換部23に供給する。ここで、量子化パラメータ差分Δqpとは、DCT変換/量子化するマクロブロックに関する量子化パラメータqp(QP=2qp/6)の値から、直前にDCT変換/量子化したマクロブロックに関する量子化パラメータqp’の値を減算して得られる差分値のことを指す。
また、変換・量子化部21は、変換に用いた変換単位を変換単位指定情報TTとして、可変長符号化部22に供給する。
可変長符号化部22は、変換・量子化部21から供給された量子化予測残差QD、Δqp、および変換単位指定情報TTを、後述する予測処理部25から供給された予測パラメータPPおよび予測単位指定情報PTと共に可変長符号化することによって、符号化データ#1を生成する。
逆量子化・逆変換部23は、(1)量子化予測残差QDを逆量子化し、(2)逆量子化によって得られたDCT係数を逆DCT(Discrete Cosine Transform)変換し、(3)逆DCT変換によって得られた予測残差Dを加算器31に供給する。
この逆DCT変換は、周波数領域上の予測残差を空間領域上の予測残差に変換する処理に相当する。
量子化予測残差QDを逆量子化する際には、変換・量子化部21から供給された量子化ステップQPを利用する。なお、逆量子化・逆変換部23から出力される予測残差Dは、変換・量子化部21に入力される予測残差Dに量子化誤差を加えたものであるが、ここでは簡単のために共通の呼称を用いる。
予測処理部25は、予測単位指定情報PTにおいて指定されている予測単位について、予測パラメータPPを用いてインター予測またはイントラ予測により予測画像Predを生成し出力する。
予測処理部25は、インター予測により予測画像Predを生成する場合、具体的には、予測処理部25は、他のパーティションに関する復元済み動きベクトルmv’等のパラメータに基づいて、参照画像としての復号画像DF_P’からインター予測画像Pred_Interを生成する。
ここで、復号画像DF_P’は、既に復号が完了した復号済みの復号画像であり、予測処理部25は、復号画像DF_P’を構成する各画素の画素値をバッファメモリ24から読み出すことができる。また、予測処理部25は、復元済み動きベクトルmv’を、バッファメモリ24から読み出すことができる。
予測処理部25は、イントラ予測により予測画像Predを生成する場合、具体的には、(1)イントラ予測に用いる予測モードを選択し、(2)選択した予測モードを用いて局所復号画像DF_Pから予測画像Pred_Intraを生成する。ここで、復号画像DF_Pは、未だ復号が完了していない復号中の局所復号画像であり、予測処理部25は、局所復号画像Pを構成する画素のうち、既に復号が完了したブロックに属する各画素の画素値をバッファメモリ24から読み出すことができる。
予測処理部25は、生成したインター予測画像Pred_Interまたはイントラ予測画像Pred_Intraを予測画像Predとし、選択した予測モードを指定する予測モード指定情報を予測パラメータPPに設定して、予測画像Predおよび予測パラメータPPを、平滑化フィルタ26に供給する。また、予測処理部25は、予測パラメータPPおよび予測単位指定情報PTを可変長符号化部22に供給する。
平滑化フィルタ26は、予測画像Predにおいて、変換単位の内部に予測単位の境界が含まれる場合、この境界周辺の領域に割り当てられた画素値を平滑化するフィルタである。平滑化フィルタ26は、予測処理部25から予測画像Pred、予測単位指定情報PTを取得し、変換・量子化部21から変換単位指定情報TTを取得する。そして、平滑化フィルタ26は、図1の平滑化フィルタ17と同様、予測画像Predにおいて図6で示した平滑化対象領域R1に対し平滑化処理を施す。
なお、平滑化フィルタ26が行う処理の詳細については、図1等を用いて既に説明したとおりであるので、ここでは省略する。また、平滑化フィルタ26は、平滑化処理を施した平滑化後予測画像F_Predを減算器28に供給する。
デブロッキングフィルタ27は、復号画像Pにおけるブロック境界、またはマクロブロック境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Pにおける当該ブロック境界、またはマクロブロック境界に対してデブロッキング処理を施す。デブロッキングフィルタ27は、復号画像Pにデブロッキング処理を施すことにより得られた復号画像DF_Pをバッファメモリ24に格納する。
減算器28は、符号化対象画像である動画像#10から、平滑化フィルタ26により供給される平滑化後予測画像F_Predを減算して、予測残差Dを生成する。減算器28は、予測残差Dを変換・量子化部21に供給する。
加算器29は、平滑化フィルタ26から供給された平滑化後予測画像F_Predと、逆量子化・逆変換部23から供給された予測残差Dとを加算することによって復号画像P(デブロッキング前)を生成する。また、加算器29によって生成された復号画像Pは、デブロッキングフィルタ27に供給される。
(イントラ予測とインター予測の処理順序について)
ここで、再び図4を参照しながら、動画像符号化装置2におけるイントラ予測とインター予測の処理順序について補足的に説明しておく。動画像符号化装置2におけるイントラ予測およびインター予測では、変換単位内の全ての予測画素が、変換に先立って導出される処理順序である。
ここで、再び図4を参照しながら、動画像符号化装置2におけるイントラ予測とインター予測の処理順序について補足的に説明しておく。動画像符号化装置2におけるイントラ予測およびインター予測では、変換単位内の全ての予測画素が、変換に先立って導出される処理順序である。
図4の(c)を用いて具体的に説明すると、動画像符号化装置2では、インター予測およびイントラ予測を、予測単位P1、予測単位P2の順で行い、その後、変換単位T1、T2、T3、およびT4の順で変換処理を行う。
(作用・効果)
以上に示したように、動画像符号化装置2は、入力された動画像#10から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差Dを、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する動画像符号化装置2において、予測画像Predを平滑化する平滑化フィルタ26であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ26を備えており、上記周波数領域上の予測残差Dは、平滑化フィルタ26が平滑化処理を施した平滑化後予測画像F_Predを用いて生成されることを特徴とする。
以上に示したように、動画像符号化装置2は、入力された動画像#10から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差Dを、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する動画像符号化装置2において、予測画像Predを平滑化する平滑化フィルタ26であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ26を備えており、上記周波数領域上の予測残差Dは、平滑化フィルタ26が平滑化処理を施した平滑化後予測画像F_Predを用いて生成されることを特徴とする。
このため、予測誤差の高周波成分が増加することにより符号化効率が低下することを防ぐことができる。
(変形例)
上記動画像符号化装置2では、デブロッキングフィルタ27の前後において、デブロッキングフィルタ27以外に、ALF(Adaptive loop filter)を設けてもよい。
上記動画像符号化装置2では、デブロッキングフィルタ27の前後において、デブロッキングフィルタ27以外に、ALF(Adaptive loop filter)を設けてもよい。
すなわち、ALFにより、変換単位の内部に含まれる予測単位の境界近傍に対して平滑化等のフィルタ処理を適応的に行ってもかまわない。
この場合、ALFは、平滑化処理に際して用いたパラメータをフィルタパラメータとして出力する。フィルタパラメータには、例えば、フィルタのON/OFF、フィルタの強度、フィルタ処理を施す範囲などを指定する情報が含まれていてもよい。
また、この場合、可変長符号化部22は、ALFが出力したフィルタパラメータを符号化して符号化データ#1に含める。
〔実施形態2〕
本発明の他の実施形態について図8および図9を参照して説明すると以下のとおりである。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
本発明の他の実施形態について図8および図9を参照して説明すると以下のとおりである。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
まず、図9を用いて、動画像符号化装置(画像符号化装置)2Aについて説明する。同図に示すように、動画像符号化装置2Aは、図2で示した動画像符号化装置2において、平滑化フィルタ26に替えて、平滑化フィルタ(平滑化手段)26Aを設け、可変長符号化部22に替えて、可変長符号化部22Aを設けたものである。
以下、動画像符号化装置2Aと、動画像符号化装置2との相違点である平滑化フィルタ26Aおよび可変長符号化部22Aについて説明する。
平滑化フィルタ26Aは、変換単位の内部に、予測単位の境界が含まれるとき、予測単位の境界近傍に生じる予測残差のレベル差が所定の条件を満たすような箇所に対して平滑化処理を行う。例えば、平滑化フィルタ26Aは、変換単位に含まれる予測単位の境界と重なる映像本来の輪郭を不用意に平滑化してしまわないように、輪郭を判定するための閾値と、平坦な箇所を判定するための閾値とを用いて平滑化処理を行う。
より詳しく言えば、平滑化フィルタ26Aは、レベル差が、輪郭を判定するための閾値以上の箇所は輪郭と判定し、平滑化処理を行わない。また、平滑化フィルタ26Aは、レベル差が、平坦な箇所を判定するための閾値以上であって、輪郭を判定するための閾値未満の箇所、すなわち、輪郭と判定されない程度のレベル差を示す箇所を歪みとみなして適応的に平滑化を行う。
そして、平滑化フィルタ26Aは、変換単位に含まれる予測単位の境界について、平滑化処理を行うべきか否か、すなわちフィルタのON/OFFを示す平滑化フィルタ使用フラグを出力する。また、平滑化フィルタ26Aは、平滑化フィルタ使用フラグに加えて、フィルタ強度、選択したフィルタの種類、フィルタ強度等を導出するための閾値を平滑化フィルタ使用パラメータとして出力する。
なお、ここで平滑化フィルタ26Aが、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータのいずれか一方のみを出力するように構成することも可能である。
平滑化フィルタ26Aは、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを可変長符号化部22Aに供給する。
可変長符号化部22Aは、量子化予測残差QD、Δqp、および予測パラメータPP、予測単位指定情報PTに加えて、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを共に可変長符号化することによって、符号化データ#1Aを生成する。
次に、図8を用いて、動画像復号装置(画像復号装置)1Aについて説明する。同図に示すように、動画像復号装置1Aは、図1で示した動画像復号装置1において、可変長符号復号部13に替えて、可変長符号復号部13Aを設け、平滑化フィルタ17に替えて、平滑化フィルタ17Aを設けたものである。
以下、動画像復号装置1Aと、動画像復号装置1との相違点である可変長符号復号部13Aおよび平滑化フィルタ17Aについて説明する。
可変長符号復号部13Aは、符号化データ#1Aから、マクロブロックタイプMBT、各予測単位に関する予測パラメータPP、各ブロックに関する量子化予測残差QD、および、そのブロックを含むマクロブロックに関する量子化パラメータ差分Δqpに加えて、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを復号する。
可変長符号復号部13Aは、変換単位指定情報TTおよび平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを平滑化フィルタ17に供給する。可変長符号復号部13Aが予測処理部16、逆量子化・逆変換部14に供給するパラメータについては、可変長符号復号部13と同様である。
平滑化フィルタ17Aは、予測画像Predにおいて、変換単位の内部に予測単位の境界が含まれる場合、この境界周辺の領域に割り当てられた画素値を適応的に平滑化するフィルタである。平滑化フィルタ17Aは、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを用いて、予測画像Predにおいて、歪みが大きくなっている箇所に対して適応的に平滑化を行う。
平滑化フィルタ17Aは、平滑化処理において平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを用いること点で、平滑化フィルタ17と異なっているが、それ以外の点(例えば、平滑化対象領域の特定方法等)は同様である。
平滑化フィルタ17Aは平滑化処理を施した平滑化後予測画像F_predを加算器15に供給する。
(変形例)
以上では、動画像符号化装置2Aにおいて、平滑化フィルタ26が、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを出力して、動画像復号装置1Aにおいて、平滑化フィルタ17Aが平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを用いて平滑化処理を行う例について説明したが、次のように構成することもできる。すなわち、平滑化フィルタ26および平滑化フィルタ17Aを、H264/AVCにおいて採用されているデブロッキングフィルタの機能を流用することにより構成することができる。
以上では、動画像符号化装置2Aにおいて、平滑化フィルタ26が、平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを出力して、動画像復号装置1Aにおいて、平滑化フィルタ17Aが平滑化フィルタ使用フラグおよび平滑化フィルタ使用パラメータを用いて平滑化処理を行う例について説明したが、次のように構成することもできる。すなわち、平滑化フィルタ26および平滑化フィルタ17Aを、H264/AVCにおいて採用されているデブロッキングフィルタの機能を流用することにより構成することができる。
ここで、まず、H264/AVCのデブロッキングフィルタについて説明する。H264/AVCのデブロッキングフィルタでは、適応的にフィルタのON/OFFを行うとともに、フィルタの強度を制御することが可能である。
フィルタのON/OFFは、閾値α、βにより制御する。閾値α、βは、ブロック境界またはマクロブロック境界のそれぞれにおけるエッジ判定(エッジらしさの判定)に用いられるパラメータである。閾値α、βは、画素ごとにフィルタの適用を判定するための閾値であり、フィルタがかかる画素の増減の決定に用いられる。このように、フィルタがかかる画素の増減、すなわちフィルタのON/OFFを制御することにより、フィルタの効果を調節することができる。
また、フィルタの強度は、Bs(Boundary Strength)値により制御する。Bs値は、ブロック境界またはマクロブロック境界の目立ちやすい箇所に強いフィルタをかけるための制御パラメータである。Bs値は、互いに隣接するブロックの特性を評価することにより決定される。H.264/AVCでは、5段階の評価が規定されており、Bsは、0~4の値をとり得る。この評価は、例えば、マクロブロックタイプの組み合わせ(どちらかがイントラマクロブロックに属しているかどうか)、動きベクトル値の同一性、参照画像の同一性、あるいは、変換係数の有無により行われる。
これらの特性が異なれば、ブロック境界が目立つと判断し、より強いフィルタをかける。一方、特性が類似していれば、ブロック境界が目立たないと判断し、より弱いフィルタをかけるか、フィルタをかけない。
ところで、上記閾値α、βには、量子化パラメータqpが影響するが、量子化パラメータqpは、変換処理前には確定していない。また、変換係数の有無は、CBP(Coded Book Pattern)で表されるが、CBPについても変換の結果得られるパラメータである。
そこで、平滑化フィルタ26Aおよび平滑化フィルタ17Aに替えて、H264/AVCにおいて採用されているデブロッキングフィルタを流用する場合は、下記(A)~(C)のごとく当該デブロッキングフィルタを構成変更すればよい。
(A)量子化パラメータqpについては、暫定値を設定しておく。例えば、スライスデフォルトQP値を用いることができる。さらにいえば、当該暫定値が、変換後において実際に確定する量子化パラメータqpと多少異なっていても、大きな影響はない。
(B)CBPについては、例えば、存在する前提で上記の評価を行うようにする。
(C)フィルタを適用する領域については、変換単位における予測単位の境界にのみに限定する。つまり、マクロブロック境界を意味するBs=4は用いない。
このように構成変更し、境界BPUの両側にある2つの予測単位において、例えば、一方がイントラ予測である場合、動きベクトルの差が大きい場合(例えば1画素以上)、及び参照画像が異なる場合にはフィルタ処理を行い、それ以外ではフィルタ処理を行わない。
以上の構成によれば、動画像符号化装置2Aでは、既存のデブロッキングフィルタの一部機能を流用することにより、可変長符号化部22において、平滑化フィルタパラメータおよび平滑化フィルタ使用フラグを符号化しなくても済む。また、動画像復号装置1Aでは、平滑化フィルタパラメータおよび平滑化フィルタ使用フラグを復号化しなくても、デブロッキングフィルタによる適応的な平滑化を行うことができる。
また、従来のデブロッキングフィルタの構成の一部を流用するので、平滑化フィルタ26Aおよび平滑化フィルタ17Aを全くの新規には開発しなくても済み、装置構成を簡素化することができるという利点がある。
〔実施形態3〕
本発明のさらに別の実施形態について図10~図14を参照して説明すると以下のとおりである。なお、以上の実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
本発明のさらに別の実施形態について図10~図14を参照して説明すると以下のとおりである。なお、以上の実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
図11および図10を用いて、本実施形態に係る動画像符号化装置(画像符号化装置)2Bおよび動画像復号装置(画像復号装置)1Bの概要について説明する。図11は、動画像符号化装置2Bの概略的構成を示すブロック図であり、図10は、動画像復号装置1Bの概略的構成を示すブロック図である。
図2に示した動画像符号化装置2および図1に示した動画像復号装置1では、予測画像を平滑化処理の対象としていたのに対して、以下に説明する動画像符号化装置2Bおよび動画像復号装置1Bでは、予測残差を平滑化処理の対象としている。
まず、図11を参照しながら、動画像符号化装置2Bについて説明すると次のとおりである。
図11に示すように、動画像符号化装置2Bは、図2で示した動画像符号化装置2と比較すると、平滑化フィルタの設置位置が異なる。
すなわち、動画像符号化装置2では、平滑化フィルタ26を、予測処理部25および減算器28の間に設けていたのに対して、動画像符号化装置2Bでは、平滑化フィルタ(平滑化手段)26Bを、減算器28および変換・量子化部21の間に設けている。このような構成より、動画像符号化装置2Bは、減算器28から供給される予測残差Dを平滑化処理する。
また、動画像符号化装置2Bでは、可変長符号化部22に替えて、可変長符号化部22Bを設け、デブロッキングフィルタ27に替えて、デブロッキングフィルタ27Bを設けている。
なお、これに伴い、予測処理部25は、予測画像Predを減算器28に供給するよう構成変更している。
以下、動画像符号化装置2Bと、動画像符号化装置2との相違点である平滑化フィルタ26B、可変長符号化部22B、およびデブロッキングフィルタ27Bについて説明する。
平滑化フィルタ26Bは、減算器28から供給される予測残差Dにおいて、変換単位の内部に予測単位の境界が含まれる場合、当該境界周辺に現れる段差を適応的に平滑化するフィルタである。すなわち、平滑化フィルタ26Bは、上記段差が所定以上の値を示すときに平滑化処理を施す。
また、平滑化フィルタ26Bは、平滑化処理を施した平滑化後予測残差F_Dを変換・量子化部21に供給する。また、平滑化フィルタ26Bは、当該変換単位において予測残差にフィルタを使用したことを示す予測残差フィルタ使用フラグを可変長符号化部22Bおよびデブロッキングフィルタ27Bに送信する。なお、これに限られず、平滑化フィルタ26Bは、変換単位ごとにではなく、いくつかの変換単位をひとまとめにした変換単位の集合ごとに予測残差フィルタ使用フラグを生成してもよい。
可変長符号化部22Bは、変換・量子化部21から供給された量子化予測残差QD及びΔqpを、予測処理部25から供給された予測パラメータPPおよび予測単位指定情報PTに加えて、さらに平滑化フィルタ26Bから供給される予測残差フィルタ使用フラグを共に可変長符号化することによって、符号化データ#1Bを生成する。
デブロッキングフィルタ27Bは、デブロッキングフィルタ27と同様、デブロッキングフィルタ処理を施すものである。デブロッキングフィルタ27との違いは、デブロッキングフィルタ27Bが、予測残差フィルタ使用フラグによりフィルタ対象範囲・強度を制御する点にある。デブロッキングフィルタ27Bの動作の詳細については後述する。
次に、図10を参照しながら、動画像復号装置1Bについて説明すると次のとおりである。同図に示すように、動画像復号装置1Bは、図1で示した動画像復号装置1において、可変長符号復号部13に替えて、可変長符号復号部13Bを設け、デブロッキングフィルタ18に替えて、デブロッキングフィルタ(復号画像平滑化手段)18Bを設け、さらに動画像復号装置1が備えていた平滑化フィルタ17を取り除いたものである。
なお、これに伴い、予測処理部16は、予測画像Predを加算器15に供給するよう構成変更している。
以下、動画像復号装置1Bと、動画像復号装置1との相違点である可変長符号復号部13Bおよびデブロッキングフィルタ18Bについて説明する。
可変長符号復号部13Bは、符号化データ#1Bから、マクロブロックタイプMBT、各予測単位に関する予測パラメータPP、各ブロックに関する量子化予測残差QD、および、そのブロックを含むマクロブロックに関する量子化パラメータ差分Δqpに加えて、予測残差フィルタ使用パラメータを復号する。
可変長符号復号部13Bは、予測残差フィルタ使用パラメータ、予測単位指定情報PTおよび変換単位指定情報TTをデブロッキングフィルタ18Bに供給する。可変長符号復号部13Bが予測処理部16および逆量子化・逆変換部14に供給するパラメータについては、可変長符号復号部13と同様である。
デブロッキングフィルタ18Bは、デブロッキングフィルタ18と同様、デブロッキングフィルタ処理を施すものである。デブロッキングフィルタ18との違いは、デブロッキングフィルタ18Bが、予測残差フィルタ使用フラグによりフィルタ対象範囲・強度を制御する点にある。デブロッキングフィルタ18Bの動作の詳細については後述する。
(平滑フィルタおよびデブロッキングフィルタについて)
ここで、図12を用いて、平滑化フィルタ26Bが、図5で示したような予測残差のレベル差をどのように処理するかについて説明する。
ここで、図12を用いて、平滑化フィルタ26Bが、図5で示したような予測残差のレベル差をどのように処理するかについて説明する。
図12は、図4の(c)で示したように変換単位の内部に、予測単位の境界が含まれている場合の原画像、予測画像、および予測残差について示すグラフである。同図の(a)は、原画像および予測画像の輝度値について示したグラフであり、同図の(b)は、原画像および予測画像の予測残差を示すグラフである。
図12の(a)の符号C5は、図5の(a)の符号C1で示したように、予測単位の境界BPUの前後にかけて、すなわち、符号C5にて示す箇所において、原画像および予測画像の間で大きなレベル差が現れていることを示している。
平滑化フィルタ26Bは、図5の(b)の符号C2で示したような急峻な段差が現れている箇所に対して平滑化処理を行う。これにより、予測残差のグラフでは、図5の(b)の符号C2に示したようなレベル差は、図12の(b)の符号C6に示すようになだらかになる。
ところで、平滑化フィルタ26Bは、予測残差を平滑化しているため、予測画像Predおよび予測残差Dから復号画像Pを得る際、平滑化した分だけ原画像の再現性が低下する。予測残差を平滑化した場合の原画像、予測画像、および復号画像の関係について図13を用いて説明すれば次のとおりである。
この場合、図13に示すように、予測単位の境界BPU近傍において、符号C7に示すように、復号画像の輝度値が所望の輝度値にならないことがある。符号C7に示す箇所では、予測残差を平滑化した分、復号画像の輝度値が低下しており、このため復号画像のグラフが段差を生じている。この段差の深さが再現性の低下につながり、復号画像では、このような段差が歪みとして現れる。
動画像符号化装置2Bのデブロッキングフィルタ27Bおよび動画像復号装置1Bのデブロッキングフィルタ18Bでは、この段差を適応的に補正するため予測残差フィルタ使用フラグを用いる。
例えば、デブロッキングフィルタ18Bおよび27Bは、予測残差フィルタ使用フラグに基づいて予測残差においてフィルタを適用された箇所を特定すると、特定した箇所には強い強度のフィルタをかける。
このようにデブロッキングフィルタ18Bおよび27Bが予測残差フィルタ使用フラグに基づいてデブロッキングフィルタ処理を行うことで、図13に示したグラフを、図14に示すグラフのように補正することができる。
すなわち、予測残差フィルタ使用フラグに基づいて、予測単位の境界BPU近傍で予測残差が平滑化処理されたことを特定し、特定した箇所に強い強度のフィルタをかけることにより、図14で符号C8にて示す箇所のように、図13の復号画像のグラフに見られた段差(符号C7で示した箇所)をなだらかにすることができる。これにより、復号画像に含まれる歪みを軽減することができる。
(作用・効果)
以上に示したように、動画像復号装置1Bは、符号化データ#1Bから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差Dに変換し、予測単位ごとに生成した予測画像Predに予測残差を加算することにより復号画像Pを生成する動画像復号装置1Bにおいて、復号画像Pを平滑化するデブロッキングフィルタ18Bであって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するデブロッキングフィルタ18Bを備える構成である。
以上に示したように、動画像復号装置1Bは、符号化データ#1Bから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差Dに変換し、予測単位ごとに生成した予測画像Predに予測残差を加算することにより復号画像Pを生成する動画像復号装置1Bにおいて、復号画像Pを平滑化するデブロッキングフィルタ18Bであって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するデブロッキングフィルタ18Bを備える構成である。
よって、平滑化された予測残差から復号画像を生成する場合、復号画像において、上記境界近傍に生じ得る歪みを軽減することができる。
また、以上に示したように、動画像符号化装置2Bは、入力された動画像#10から、予測単位ごとに生成した予測画像Predを減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する動画像符号化装置2Bにおいて、予測残差Dを平滑化する平滑化フィルタ26Bであって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化フィルタ26Bを備えており、平滑化フィルタ26Bが平滑化処理を施した平滑化後予測残差F_Dを変換して、符号化する構成である。
よって、予測誤差の高周波成分が増加することにより符号化効率が低下することを防ぐことができる。
(変形例)
上述の動画像符号化装置2Bが備える平滑化フィルタ26Bは、なお、平滑化フィルタ26Bには、任意の平滑化フィルタを用いることができる。また、平滑化フィルタ26Bは、H.264/AVCのデブロッキングフィルタが備える機能の一部を流用して構成することができる。流用の手法は、図9を用いて示した平滑化フィルタ26Aの場合と同様であるので、その説明を省略する。
上述の動画像符号化装置2Bが備える平滑化フィルタ26Bは、なお、平滑化フィルタ26Bには、任意の平滑化フィルタを用いることができる。また、平滑化フィルタ26Bは、H.264/AVCのデブロッキングフィルタが備える機能の一部を流用して構成することができる。流用の手法は、図9を用いて示した平滑化フィルタ26Aの場合と同様であるので、その説明を省略する。
〔実施形態4〕
本発明のさらに別の実施形態について図15および図16を参照して説明すると以下のとおりである。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
本発明のさらに別の実施形態について図15および図16を参照して説明すると以下のとおりである。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
図16および図15を用いて、本実施形態に係る動画像符号化装置(画像符号化装置)2Cおよび動画像復号装置(画像復号装置)1Cの概要について説明する。図16は、動画像符号化装置2Cの概略的構成を示すブロック図であり、図15は、動画像復号装置1Cの概略的構成を示すブロック図である。
図11を用いて示した動画像符号化装置2Bおよび図10を用いて示した動画像復号装置1Bとの違いは、動画像符号化装置2Cおよび動画像復号装置1Cでは、予測残差を平滑化処理することにより生じる段差を補正するためのフィルタをデブロッキングフィルタとは別に設ける点にある。
まず、図16を参照しながら、動画像符号化装置2Cについて説明すると次のとおりである。
図16に示すように、動画像符号化装置2Cは、図11を用いて示した動画像符号化装置2Bにおいて、逆量子化・逆変換部23および加算器(復号画像生成手段)29の間に、エッジ強調フィルタ30を追加するとともに、デブロッキングフィルタ27Bを、デブロッキングフィルタ27に変更した構成である。
なお、これに伴い、平滑化フィルタ26Bは、可変長符号化部22Bおよびエッジ強調フィルタ30に予測残差フィルタ使用フラグを供給するよう構成変更し、逆量子化・逆変換部23は、エッジ強調フィルタ30に予測残差Dを供給するよう構成変更している。
以下、エッジ強調フィルタ30について説明すると次のとおりである。すなわち、エッジ強調フィルタ30は、平滑化フィルタ26Bから予測残差フィルタ使用フラグを取得して、逆量子化・逆変換部23から供給される予測残差Dに対して、予測残差フィルタ使用フラグに基づきエッジ強調処理を施す。エッジ強調フィルタ30が施すエッジ強調処理には、任意のエッジ強調フィルタを用いることができる。
また、エッジ強調フィルタ30は、エッジ強調処理を施した予測残差S_Dを加算器29に供給する。
次に、図15を参照しながら、動画像復号装置1Cについて説明すると次のとおりである。
図15に示すように、動画像復号装置1Cは、図10を用いて示した動画像復号装置1Bにおいて、逆量子化・逆変換部14および加算器15の間に、エッジ強調フィルタ(エッジ強調手段)19を追加するとともに、デブロッキングフィルタ18Bをデブロッキングフィルタ18に変更した構成である。なお、これに伴い、逆量子化・逆変換部14は、予測残差Dをエッジ強調フィルタ19に供給するよう構成変更し、可変長符号復号部13Bは、エッジ強調フィルタ19に予測残差フィルタ使用フラグを供給するよう構成変更している。
以下、エッジ強調フィルタ19について説明すれば次のとおりである。すなわち、エッジ強調フィルタ19は、可変長符号復号部13Bから、予測残差フィルタ使用フラグを取得して、逆量子化・逆変換部14から供給される予測残差Dに対して、取得した予測残差フィルタ使用フラグに基づいてエッジ強調処理を施す。エッジ強調フィルタ19が施すエッジ強調処理には、任意のエッジ強調フィルタを用いることができる。
また、エッジ強調フィルタ19は、エッジ強調処理を施した予測残差S_Dを加算器15に供給する。
(作用・効果)
以上に示したように、動画像復号装置1Cは、符号化データ#1Bから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差Dに変換し、予測単位ごとに生成した予測画像Predに予測残差Dを加算することにより復号画像Pを生成する動画像復号装置1Cにおいて、予測残差Dに対してエッジ強調処理を施すエッジ強調フィルタ19であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調フィルタ19を備え、復号画像Pの生成において、予測画像Predに、上記エッジ強調処理を施した予測残差D(すなわち、予測残差S_D)を加算する構成である。
以上に示したように、動画像復号装置1Cは、符号化データ#1Bから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差Dに変換し、予測単位ごとに生成した予測画像Predに予測残差Dを加算することにより復号画像Pを生成する動画像復号装置1Cにおいて、予測残差Dに対してエッジ強調処理を施すエッジ強調フィルタ19であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調フィルタ19を備え、復号画像Pの生成において、予測画像Predに、上記エッジ強調処理を施した予測残差D(すなわち、予測残差S_D)を加算する構成である。
よって、エッジ強調処理を施した予測残差D(すなわち、予測残差S_D)から復号画像Pを生成する場合、復号画像Pにおいて、上記境界近傍に生じ得る歪みを軽減することができる。
〔フィルタの変形例〕
本発明の好ましいフィルタの変形例について図17~図19を参照して説明すると以下のとおりである。以下に示す変形例は、上記各実施形態について好ましく適用可能である。より具体的には、以下に示す変形例は、上記の平滑化フィルタ17、17A、平滑化フィルタ26、26A、26Bをはじめ、変換単位の内部に予測単位の境界が含まれるとき、当該境界を平滑化するフィルタ(以下において、平滑化フィルタ17等と称する)に適用することができる。
本発明の好ましいフィルタの変形例について図17~図19を参照して説明すると以下のとおりである。以下に示す変形例は、上記各実施形態について好ましく適用可能である。より具体的には、以下に示す変形例は、上記の平滑化フィルタ17、17A、平滑化フィルタ26、26A、26Bをはじめ、変換単位の内部に予測単位の境界が含まれるとき、当該境界を平滑化するフィルタ(以下において、平滑化フィルタ17等と称する)に適用することができる。
なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
(変換単位のサイズに応じたフィルタ処理)
平滑化フィルタ17等は、処理単位、すなわち予測単位または変換単位のサイズに応じて適応的にフィルタ処理を行ってもよい。
平滑化フィルタ17等は、処理単位、すなわち予測単位または変換単位のサイズに応じて適応的にフィルタ処理を行ってもよい。
平滑化フィルタ17等は、このように処理単位に応じて適応的にフィルタ処理を行うことで、処理単位の境界の近傍または境界を越えてフィルタの適用範囲が広がったり、過度に強い強度のフィルタが適用されたりすることを防ぐ。これによりフィルタの影響によって符号化効率が低下することを防ぐことができる。
平滑化フィルタ17等は、具体的には、変換単位のサイズが所定サイズより小さい場合、予測単位のサイズが所定サイズより小さい場合、および、予測単位のサイズが変換単位のサイズよりも小さい場合のいずれかの場合に、次のようなフィルタ制御を行う。すなわち、このような場合、平滑化フィルタ17等は、フィルタをOFFにする、フィルタの強度を弱くする、またはタップ数を減少するといったフィルタ制御を行う。
なお、このようなフィルタ制御は、基本的には、より小さな処理単位に対してはより小さなフィルタをかけるという発想に基づく。これは、より小さな処理単位に対して、より大きなタップ数のフィルタ、すなわち、より複雑な処理のフィルタをかけることは、処理量の増加につながるためである。よって、フィルタ処理の範囲を直接的に変更することが好ましく、タップ数を制御することが特に望ましい。
(隣接する予測単位の特性に応じたフィルタ処理)
隣接する予測単位の特性が、それぞれ特定の条件に該当する場合、あるいは特定の組み合わせとなっている場合、予測画像において歪みが生じやすくなる。
隣接する予測単位の特性が、それぞれ特定の条件に該当する場合、あるいは特定の組み合わせとなっている場合、予測画像において歪みが生じやすくなる。
そこで、平滑化フィルタ17等は、変換単位の内部に、予測単位の境界が含まれる場合において、隣接する予測単位の特性に応じて適応的にフィルタ処理を行ってもよい。
すなわち、平滑化フィルタ17等は、隣接する予測単位の特性から歪みが生じやすい箇所を判定し、判定の結果、予測画像において歪みが生じやすいと判定された箇所については、歪みを軽減できるようにフィルタを制御する。
境界における歪みが生じやすい場合としては、例えば、隣接する予測単位が、それぞれイントラ予測を行う領域である場合であって、予測方向が両者において大きく異なるようなときが挙げられる。例えば、両者のイントラ予測の予測方向が直交するまたは略直交するようなときがこれに該当する。
このようなとき、平滑化フィルタ17等は、双方の予測単位において、フィルタをONにする、フィルタの強度を強くする、またはタップ数を増加させるといった制御を行う。これにより、歪みに対するフィルタ効果を向上させることができる。
一方、判定の結果、予測画像において歪みが生じやすいと判定されなかった箇所については、境界における歪みが少ないと考えられる。
例えば、隣接する予測単位が、それぞれイントラ予測を行う領域である場合であって、両者の予測方向のなす角が所定の範囲にあるとき、すなわち両者の予測方向のなす角がそれほど大きくないようなときが挙げられる。
このような箇所については、平滑化フィルタ17等は、境界BPU2近傍の領域において、フィルタをOFFにする、フィルタの強度を弱くする、またはタップ数を減少させるといった制御を行う。これにより、過度にフィルタの影響が及ぶことを防ぐことができる。
図17を用いて、具体的な事例について説明する。図17は、変換単位の内部に、予測単位の境界が含まれている変換単位について示す図である。
図17に示すように、変換単位TUの内部には、4つの予測単位PU1~PU4が含まれる。予測単位PU1~PU4では、イントラ予測を行う。そして、予測単位PU1は、予測単位PU2と水平方向に隣接し、予測単位PU3と垂直方向に隣接している。また、予測単位PU2は、予測単位PU4と垂直方向に隣接しており、予測単位PU3は、予測単位PU4と水平方向に隣接している。
予測単位PU1および予測単位PU2と、予測単位PU3および予測単位PU4との間の水平方向の境界を境界BPU1とし、予測単位PU1および予測単位PU3と、予測単位PU2および予測単位PU4との間の垂直方向の境界を境界BPU2とする。
ここで、予測単位PU1の予測方向は、略垂直方向であり、予測単位PU2の予測方向は、垂直方向である。また、予測単位PU3の予測方向は、略水平方向であり、予測単位PU4の予測方向は、水平方向である。
予測単位PU1および予測単位PU2は、両者の予測方向のなす角がそれほど大きくない。また、予測単位PU3および予測単位PU4も、両者の予測方向のなす角はそれほど大きくない。よって、これらの境界BPU2では、境界における歪みが少ないと考えられる。このため、平滑化フィルタ17等は、境界BPU2に対しては、フィルタをOFFにする等の制御を行う。
一方、予測単位PU1および予測単位PU3については、予測単位PU1の予測方向が略垂直方向であるのに対し、予測単位PU3の予測方向が略水平方向であるので、両者の予測方向のなす角が大きく異なる。
また、予測単位PU2および予測単位PU4についても、予測単位PU2の予測方向が垂直方向であるのに対し、予測単位PU4の予測方向が水平方向であるので、両者の予測方向のなす角が大きく異なる。
よって、これらの境界BPU1は、境界における歪みが生じやすい場所と考えられる。このため、平滑化フィルタ17等は、境界BPU1の周辺領域R2において、フィルタをONにする等の制御を行う。
また、他にも、隣接する予測単位のいずれか一方がイントラ予測を行う領域であり、所定の予測モードあるいは予測方向の場合、例えば、境界に対して直交または略直交する予測方向である場合には、境界における歪みが生じやすい箇所と考えられる。
このような箇所について、平滑化フィルタ17等は、フィルタをONにする等の制御を行う。
このように、変換単位の内部に、予測単位の境界が含まれる場合において、隣接する予測単位の特性に応じて適用的にフィルタ処理を行うことで、歪みを低減することができる。
(予測単位の境界と変換単位の境界との位置関係に応じたフィルタ処理)
また、平滑化フィルタ17等は、予測単位の境界と変換単位の境界との位置関係に応じて適応的にフィルタ処理を行ってもよい。
また、平滑化フィルタ17等は、予測単位の境界と変換単位の境界との位置関係に応じて適応的にフィルタ処理を行ってもよい。
平滑化フィルタ17等は、例えば、予測単位の境界が、変換単位の端部にある場合、タップ数を減じて、フィルタを適用する領域が、当該変換単位をはみださないようにする。
また、平滑化フィルタ17等は、例えば、予測単位の境界が、変換単位において、水平または垂直でない場合、傾きに応じたフィルタを適用する。これにより、フィルタの効果の向上を図ることができる。
図18を用いて、具体的な事例について説明すると次のとおりである。図18は、変換単位の内部に、予測単位の境界が含まれている変換単位について示す図であり、(a)は、予測単位の境界が、変換単位の端部にある場合について示しており、(b)は、予測単位の境界が、変換単位において、水平または垂直でない場合について示している。
図18の(a)では、変換単位TU11には、予測単位PU11およびPU12が含まれており、予測単位PU11およびPU12の間における境界BPU3が、変換単位TU11の端部E1に含まれる位置関係にある。ここで端部E1は、例示的に、変換単位TU11の外周からの距離が、変換単位TU11の一辺の長さの1/4より小さい位置にある部分である。
平滑化フィルタ17等は、このような境界BPU3近傍の領域R11おいて、フィルタをOFFにする、フィルタの強度を弱くする、またはタップ数を減少させるといった制御を行う。
また、これに対して、図示はしていないが予測単位の境界BPU3が変換単位TU11の端部E1に含まれない位置関係にある場合には、平滑化フィルタ17等は、このような境界BPU3近傍の領域R11おいて、フィルタをONにする、フィルタの強度を強くする、またはタップ数を増加させるといった制御を行ってもよい。
他にも、平滑化フィルタ17等は、予測単位の境界が変換単位TU11の中央部を通る位置関係にある場合や、予測単位の境界が変換単位TU11の中心点との距離が所定の閾値未満である場合に、上記の制御を行ってもかまわない。
また、図18の(b)では、変換単位TU21には、予測単位PU21およびPU22が含まれている。予測単位PU21および予測単位PU22は、正方形ではなく、台形である。このため、予測単位PU21および予測単位PU22の間における境界BPU4は、変換単位TU21を斜めに横切っており、変換単位TU21において水平または垂直ではない。
平滑化フィルタ17等は、このような境界BPU4近傍の領域R21において、境界BPU4の傾きに応じたフィルタを適用する。
ここで、図19を用いて境界BPU4の傾きに応じたフィルタの例について説明すると次のとおりである。図19は、境界BPU4の傾きに応じたフィルタの例について示す図である。同図の(a)は、水平な境界用のフィルタの例であり、同図の(b)は、傾きが45度の境界用のフィルタの例である。
図19の(a)に示すように水平な境界用のフィルタFIL1は、1×5画素の形をしている。つまりフィルタFIL1は、垂直方向に5つの係数をもつ。平滑化フィルタ17等は、フィルタFIL1の原点X1に注目画素をあわせて、フィルタ処理を行う。
また、図19の(b)に示すように45度の境界用のフィルタFIL2は、左から右にかけて右斜め上に並んだ5画素分の係数をもつ。平滑化フィルタ17等は、フィルタFIL1の原点X2に注目画素をあわせて、フィルタ処理を行う。
このように、平滑化フィルタ17等は、境界の傾きに応じたフィルタは、境界に対して直交または略直交する方向に平滑化処理を施すようなフィルタを選択する。これにより、フィルタの効果を向上させることができる。
(付記事項1)
なお、上記実施形態における、マクロブロックは、H.264/MPEG-4 AVCの後継規格として提案されているHEVC(High Efficiency Video Coding)のLCU(最大コーディングユニット:Largest Coding Unit、コーディングツリー(Coding Tree)のrootと呼ばれることもある)に相当し、マクロブロックおよびブロックは、HEVCのCU(コーディングユニット:Coding Unit、コーディングツリーのleafと呼ばれることもある)、PU(Prediction Unit)、またはTU(Transformation Unit)に相当するものである。
なお、上記実施形態における、マクロブロックは、H.264/MPEG-4 AVCの後継規格として提案されているHEVC(High Efficiency Video Coding)のLCU(最大コーディングユニット:Largest Coding Unit、コーディングツリー(Coding Tree)のrootと呼ばれることもある)に相当し、マクロブロックおよびブロックは、HEVCのCU(コーディングユニット:Coding Unit、コーディングツリーのleafと呼ばれることもある)、PU(Prediction Unit)、またはTU(Transformation Unit)に相当するものである。
(付記事項2)
以上のように、本発明に係る画像復号装置は、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記予測画像を変換単位ごとに平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記復号画像の生成において、上記平滑化手段により平滑化処理が施された上記予測画像に上記空間領域上の予測残差を加算することを特徴とする。
以上のように、本発明に係る画像復号装置は、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記予測画像を変換単位ごとに平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記復号画像の生成において、上記平滑化手段により平滑化処理が施された上記予測画像に上記空間領域上の予測残差を加算することを特徴とする。
上記構成によれば、予測画像において変換単位の内部に、複数の予測単位が含まれるような場合、予測画像に含まれる画素のうち、当該予測単位の境界近傍に位置する画素を平滑化することができる。ここで、予測単位の境界近傍とは、その境界を含む領域のことであり、例えば、境界を中心として予め定められた範囲の領域のことをいう。
予測画像において、変換単位の内部に予測単位の境界が含まれるような場合、例えば、各予測単位において予測モードが相互に異なることが有り得る。このため、当該予測単位の境界近傍で高周波成分が増加することがある。この高周波成分の増加は、予測画像において歪みとなって現れる。
よって、上記構成によれば、このような高周波成分が現れる箇所に対して平滑化を施すことができるので、予測単位の境界近傍に現れる高周波成分を低減することができる。すなわち、予測画像において、予測単位の境界近傍に現れる歪みを低減することができる。
本発明に係る画像復号装置では、上記平滑化手段は、変換単位のサイズおよび予測単位のサイズの少なくとも一方に応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定することが好ましい。
上記構成によれば、変換単位のサイズおよび予測単位のサイズの少なくとも一方に応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定するので、変換単位のサイズまたは予測単位のサイズに合わせたフィルタの調整を行うことができる。
例えば、変換単位のサイズまたは予測単位のサイズが所定サイズよりも小さい場合、または、予測単位のサイズが変換単位のサイズよりも小さい場合、フィルタの強度を弱めたり、タップ数を減少させたりする。なお、フィルタの強度を弱めることには、フィルタの強度をゼロにして、フィルタをオフにすることが含まれる。
このように、フィルタの調整を行うことにより、境界近傍においてフィルタが広がりすぎたり、強まりすぎたりして、符号化効率が低下してしまうことを防ぐことができる。
本発明に係る画像復号装置では、上記平滑化手段は、隣接する2つの予測単位がイントラ予測を行う領域であるとき、該2つの予測単位に割り当てられる予測モードの組み合わせに応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定することが好ましい。
上記構成によれば、変換単位の内部に含まれる複数の予測単位のうち、隣接する2つの予測単位がイントラ予測を行う領域であるときには、それぞれの領域における予測モードの組み合わせに応じてフィルタを調整することができる。
隣接する2つの予測単位において予測モードが異なる場合、これに起因して予測単位の境界付近で歪みが生じることがある。
予測モードの例としては、DC予測、プレーン予測、方向予測などが挙げられる。
例えば、方向予測の場合、2つの予測方向が異なる場合、2つの予測方向が同じ場合よりも、予測モードの性質が異なるため、上述の歪みが生じやすい。2つの予測方向がなす角度が大きくなればなるほど、この歪みは大きくなる傾向がある。
上記構成によれば、例えば、一方の予測単位における予測方向と他方の予測単位における予測方向とのなす角が異なるような場合、平滑化処理をオンにする、平滑化処理の強度を強める、タップ数を増加させるといったフィルタ調整をすることができるので、このような歪みを低減することができる。
一方、2つの予測方向がそれほど大きく異ならない場合、2つの予測方向が異なる場合よりも、フィルタ処理の必要性は低下するので、平滑化処理の強度を弱めたり、タップ数を減少させたりすることができる。またこのような場合には、平滑化処理をオフにすることも考えられる。
このように、上記構成によれば、歪みが生じやすいような関係にある領域の境界に対して、適切な平滑化処理を行うことができるという効果を奏する。
本発明に係る画像復号装置では、上記平滑化手段は、上記変換単位の内部における予測単位の境界の位置に応じて平滑化処理の強度、および、タップ数の少なくとも一方を設定することが好ましい。
上記構成によれば、予測単位の境界が、変換単位の内部において所定の位置にある場合、これに応じた適切な平滑化処理を行うことができる。
例えば、予測単位の境界が、変換単位の端のほうにある場合、強いフィルタ、広範囲のフィルタをかけてしまうと、当該変換単位を越えてフィルタをかけてしまうことになりかねない。
上記構成によれば、このような場合にも、適切なフィルタを選択することができるので、過度に平滑化処理をかけてしまうことを防ぐことができる。
本発明に係る画像復号装置では、上記平滑化手段は、上記変換単位の内部における予測単位の境界の方向に応じてフィルタが作用する領域の形状を決定することが好ましい。
上記構成によれば、予測単位の境界が、変換単位の内部において所定の角度にある場合、これに応じたフィルタの形状で適切な平滑化処理を行うことができる。
予測単位の境界が、変換単位の内部において、水平または垂直に変換単位の境界を横切らないようなものであるとき、変換単位の内部において予測単位の境界がなす角度に応じたフィルタを選択することが好ましい。
上記構成によれば、このような場合にも、適切なフィルタを選択することができるので、フィルタの効果を向上させることができる。
本発明に係る画像復号装置は、上記の課題を解決するために、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記復号画像を平滑化する復号画像平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する復号画像平滑化手段を備えることを特徴とする。
予測残差が平滑化された場合、原画像の再現性が低下する場合がある。つまり、予測画像と、予測残差とから復号画像を生成するときに、予測残差を平滑化した分、復号画像において歪みが生じる場合がある。
上記構成によれば、平滑化された予測残差から復号画像を生成する場合において、復号画像を生成したとき、当該復号画像に対して、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化処理を施すことができる。
このため、平滑化された予測残差から復号画像を生成する場合、復号画像において、上記境界近傍に生じ得る歪みを軽減することができるという効果を奏する。
本発明に係る画像復号装置は、上記の課題を解決するために、符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対してエッジ強調処理を施すエッジ強調手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調手段を備え、上記復号画像の生成において、上記予測画像に、上記エッジ強調手段によりエッジ強調処理が施された上記空間領域上の予測残差を加算することを特徴とする。
上記構成は、予測残差が平滑化された場合において、上述の復号画像に生じ得る歪みに対応する。すなわち、上記構成によれば、復号画像を生成するときに、上記予測残差に対して変換単位の内部に含まれる予測単位の境界近傍に選択的にエッジ強調処理を施し、予測画像と加算することにより復号画像を生成する。
つまり、平滑化された予測残差にエッジ強調処理を施して、平滑化により丸められた箇所のエッジを強調することにより、丸められた予測残差を補う。
このため、平滑化された予測残差から復号画像を生成する場合、復号画像において、上記境界近傍に生じ得る歪みを軽減することができるという効果を奏する。
本発明に係る画像符号化装置は、上記の課題を解決するために、原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、上記予測画像を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記周波数領域上の予測残差は、上記平滑化手段が平滑化処理を施した上記予測画像を用いて生成されることを特徴とする。
上記構成によれば、予測画像において、変換単位の内部に含まれる上記予測単位の境界近傍を選択的に平滑化することができるので、予測単位の境界近傍に現れる歪みを低減する。このためで、符号化効率の向上を図ることができる。換言すれば、予測誤差の高周波成分が増加し符号化効率が低下することを防ぐことができる。
本発明に係る画像符号化装置は、上記の課題を解決するために、原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、上記空間領域上の予測残差を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、上記平滑化手段が平滑化処理を施した上記予測残差を変換して、符号化することを特徴とする。
上述のとおり、予測画像において、変換単位の内部に予測単位の境界が含まれる場合、境界両側の予測単位に割り当てられている予測パラメータの違い等により、予測単位の境界近傍に歪みが現れるときがある。
このような、歪みは、原画像から予測画像を減算して得られる予測残差にも高周波成分として現れる。
上記構成によれば、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化処理を空間領域上の予測残差に施すことができる。
このため、上述のような予測残差における歪みを低減して符号化することができるため、符号化効率の向上を図ることができる。
本発明に係る画像符号化装置では、上記予測画像に、上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差を加算して復号画像を生成する復号画像生成手段と、上記復号画像を平滑化する復号画像平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する復号画像平滑化手段と、上記復号画像平滑化手段が平滑化した復号画像に基づいて上記予測画像を生成する予測画像生成手段と、を備えることが好ましい。
上記画像符号化装置は、予測残差を平滑化するため、原画像の再現性が低下する場合がある。つまり、予測画像と、予測残差とから復号画像を生成するときに、予測残差を平滑化した分、復号画像において歪みが生じる場合がある。
上記構成によれば、復号画像を生成したとき、当該復号画像に対して、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化処理を施すことができる。
このように復号画像を平滑化することで、復号画像において上記境界付近に生じ得る歪みを軽減することができるという効果を奏する。
本発明に係る画像符号化装置では、上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対して、エッジ強調処理を施すエッジ強調手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調手段と、
上記予測画像に、上記エッジ強調手段よりエッジ強調処理が施された上記空間領域上の予測残差を加算して復号画像を生成する復号画像生成手段と、上記復号画像生成手段が生成した復号画像に基づいて上記予測画像を生成する予測画像生成手段と、を備えることが好ましい。
上記予測画像に、上記エッジ強調手段よりエッジ強調処理が施された上記空間領域上の予測残差を加算して復号画像を生成する復号画像生成手段と、上記復号画像生成手段が生成した復号画像に基づいて上記予測画像を生成する予測画像生成手段と、を備えることが好ましい。
上記構成は、上述の復号画像に生じ得る歪みに対応する。すなわち、上記構成によれば、復号画像を生成するときに、上記予測残差に対して、変換単位の内部に含まれる予測単位の境界近傍に選択的に作用するエッジ強調処理を施し、予測画像と加算することにより復号画像を生成する。
このように、予測画像と、エッジ強調処理を施した予測残差とを加算することにより復号画像を生成することで、平滑化により丸められた予測残差を補うことができる。このため、平滑化された予測残差から復号画像を生成する場合、復号画像において上記境界付近に生じ得る歪みを軽減することができるという効果を奏する。
(付記事項3)
なお、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
なお、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、上述した動画像復号装置1、1A、1B、1Cおよび動画像符号化装置2、2A、2B、2Cの各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R/ブルーレイ・ディスク(登録商標)等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
本発明は、動画像を符号化する動画像符号化装置、符号化された動画像を復号する動画像復号装置を備える動画像処理システムにおいて好適に利用することができる。
1、1A、1B、1C 動画像復号装置(画像復号装置)
2、2A、2B、2C 動画像符号化装置(画像符号化装置)
17、17A 平滑化フィルタ(平滑化手段)
18B デブロッキングフィルタ(復号画像平滑化手段)
19 エッジ強調フィルタ(エッジ強調手段)
25 予測処理部(予測画像生成手段)
26、26A、26B 平滑化フィルタ(平滑化手段)
29 加算器(復号画像生成手段)
#1、#1A、#1B 符号化データ
#10 動画像(原画像)
2、2A、2B、2C 動画像符号化装置(画像符号化装置)
17、17A 平滑化フィルタ(平滑化手段)
18B デブロッキングフィルタ(復号画像平滑化手段)
19 エッジ強調フィルタ(エッジ強調手段)
25 予測処理部(予測画像生成手段)
26、26A、26B 平滑化フィルタ(平滑化手段)
29 加算器(復号画像生成手段)
#1、#1A、#1B 符号化データ
#10 動画像(原画像)
Claims (11)
- 符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、
上記予測画像を変換単位ごとに平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、
上記復号画像の生成において、上記平滑化手段により平滑化処理が施された上記予測画像に上記空間領域上の予測残差を加算することを特徴とする画像復号装置。 - 上記平滑化手段は、変換単位のサイズおよび予測単位のサイズの少なくとも一方に応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定することを特徴とする請求項1に記載の画像復号装置。
- 上記平滑化手段は、隣接する2つの予測単位がイントラ予測を行う領域であるとき、該2つの予測単位に割り当てられる予測モードの組み合わせに応じて、平滑化処理の強度、および、タップ数の少なくとも一方を設定することを特徴とする請求項1または2に記載の画像復号装置。
- 上記平滑化手段は、上記変換単位の内部における予測単位の境界の位置に応じて平滑化処理の強度、および、タップ数の少なくとも一方を設定することを特徴とする請求項1から3のいずれか1項に記載の画像復号装置。
- 上記平滑化手段は、上記変換単位の内部における予測単位の境界の方向に応じてフィルタが作用する領域の形状を決定することを特徴とする請求項1から4のいずれか1項に記載の画像復号装置。
- 符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、
上記復号画像を平滑化する復号画像平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する復号画像平滑化手段を備えることを特徴とする画像復号装置。 - 符号化データから復号された周波数領域上の予測残差を変換単位ごとに空間領域上の予測残差に変換し、予測単位ごとに生成した予測画像に、上記空間領域上の予測残差を加算することにより復号画像を生成する画像復号装置において、
上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対してエッジ強調処理を施すエッジ強調手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調手段を備え、
上記復号画像の生成において、上記予測画像に、上記エッジ強調手段によりエッジ強調処理が施された上記空間領域上の予測残差を加算することを特徴とする画像復号装置。 - 原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、
上記予測画像を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、
上記周波数領域上の予測残差は、上記平滑化手段が平滑化処理を施した上記予測画像を用いて生成されることを特徴とする画像符号化装置。 - 原画像から、予測単位ごとに生成した予測画像を減算して生成される空間領域上の予測残差を、変換単位ごとに周波数領域上の予測残差に変換し、該周波数領域上の予測残差を符号化する画像符号化装置において、
上記空間領域上の予測残差を平滑化する平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する平滑化手段を備えており、
上記平滑化手段が平滑化処理を施した上記予測残差を変換して、符号化することを特徴とする画像符号化装置。 - 上記予測画像に、上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差を加算して復号画像を生成する復号画像生成手段と、
上記復号画像を平滑化する復号画像平滑化手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用する復号画像平滑化手段と、
上記復号画像平滑化手段が平滑化した復号画像に基づいて上記予測画像を生成する予測画像生成手段と、を備えることを特徴とする請求項9に記載の画像符号化装置。 - 上記周波数領域上の予測残差を逆変換して得られる空間領域上の予測残差に対して、エッジ強調処理を施すエッジ強調手段であって、上記変換単位の内部に含まれる上記予測単位の境界近傍に選択的に作用するエッジ強調手段と、
上記予測画像に、上記エッジ強調手段よりエッジ強調処理が施された上記空間領域上の予測残差を加算して復号画像を生成する復号画像生成手段と、
上記復号画像生成手段が生成した復号画像に基づいて上記予測画像を生成する予測画像生成手段と、を備えることを特徴とする請求項9に記載の画像符号化装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-138676 | 2010-06-17 | ||
JP2010138676 | 2010-06-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011158867A1 true WO2011158867A1 (ja) | 2011-12-22 |
Family
ID=45348264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/063709 WO2011158867A1 (ja) | 2010-06-17 | 2011-06-15 | 画像復号装置、及び画像符号化装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2011158867A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013150329A (ja) * | 2012-01-20 | 2013-08-01 | Sony Corp | Hevcビデオ符号化における論理的イントラモードネーミング |
JPWO2013108330A1 (ja) * | 2012-01-18 | 2015-05-11 | パナソニックIpマネジメント株式会社 | 画像復号装置、画像符号化装置、画像復号方法および画像符号化方法 |
JP2016034161A (ja) * | 2011-11-21 | 2016-03-10 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003003749A1 (en) * | 2001-06-29 | 2003-01-09 | Ntt Docomo, Inc. | Image encoder, image decoder, image encoding method, and image decoding method |
JP2003250161A (ja) * | 2001-12-19 | 2003-09-05 | Matsushita Electric Ind Co Ltd | 符号化装置及び復号化装置 |
JP2004180248A (ja) * | 2001-11-29 | 2004-06-24 | Matsushita Electric Ind Co Ltd | 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム |
JP2010507286A (ja) * | 2006-10-13 | 2010-03-04 | クゥアルコム・インコーポレイテッド | 動き補償予測のための適応フィルタリングを備えたビデオ符号化 |
-
2011
- 2011-06-15 WO PCT/JP2011/063709 patent/WO2011158867A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003003749A1 (en) * | 2001-06-29 | 2003-01-09 | Ntt Docomo, Inc. | Image encoder, image decoder, image encoding method, and image decoding method |
JP2004180248A (ja) * | 2001-11-29 | 2004-06-24 | Matsushita Electric Ind Co Ltd | 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム |
JP2003250161A (ja) * | 2001-12-19 | 2003-09-05 | Matsushita Electric Ind Co Ltd | 符号化装置及び復号化装置 |
JP2010507286A (ja) * | 2006-10-13 | 2010-03-04 | クゥアルコム・インコーポレイテッド | 動き補償予測のための適応フィルタリングを備えたビデオ符号化 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016034161A (ja) * | 2011-11-21 | 2016-03-10 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
JP2017092977A (ja) * | 2011-11-21 | 2017-05-25 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
US9674528B2 (en) | 2011-11-21 | 2017-06-06 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and image processing method |
JP2018029379A (ja) * | 2011-11-21 | 2018-02-22 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
JP2018191338A (ja) * | 2011-11-21 | 2018-11-29 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
JPWO2013108330A1 (ja) * | 2012-01-18 | 2015-05-11 | パナソニックIpマネジメント株式会社 | 画像復号装置、画像符号化装置、画像復号方法および画像符号化方法 |
JP2013150329A (ja) * | 2012-01-20 | 2013-08-01 | Sony Corp | Hevcビデオ符号化における論理的イントラモードネーミング |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6671450B2 (ja) | 映像サンプルのブロックをデブロックする方法 | |
TWI827609B (zh) | 基於區塊之自適應迴路濾波器(alf)之設計及發信令 | |
US9565436B2 (en) | Method for filter control and a filtering control device | |
JP5801032B2 (ja) | インループのアーチファクト除去フィルタリングのための方法および装置 | |
JP5875979B2 (ja) | フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造 | |
JP7197720B2 (ja) | パレットモードの使用の指示の独立した符号化 | |
JP7295330B2 (ja) | パレットモードのための量子化処理 | |
JP2017513326A (ja) | ピクセル距離を使用したデブロックフィルタ処理 | |
JP2010093844A (ja) | 画像符号化装置及び画像符号化方法 | |
JP2013258771A (ja) | 予測データ精緻化を使用してビデオを符号化する方法及び装置 | |
JP6479548B2 (ja) | アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置 | |
TW201820866A (zh) | 用以移除漣漪效應之平滑化濾波方法和裝置 | |
WO2012077719A1 (ja) | 画像復号装置、および画像符号化装置 | |
JP2019534631A (ja) | ピークサンプル適応オフセット | |
JP2023058560A (ja) | パレットモードの使用の指示の共同符号化 | |
WO2011158867A1 (ja) | 画像復号装置、及び画像符号化装置 | |
JP2022543009A (ja) | 予測処理におけるパレットモードの符号化 | |
WO2012081706A1 (ja) | 画像フィルタ装置、フィルタ装置、復号装置、符号化装置、および、データ構造 | |
JP5728330B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム | |
WO2012043766A1 (ja) | 画像復号装置、画像符号化装置、および、符号化データのデータ構造 | |
WO2012043676A1 (ja) | 復号装置、符号化装置、および、データ構造 | |
JP2012182753A (ja) | 画像復号装置、画像符号化装置、および符号化データのデータ構造 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11795771 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11795771 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |