WO2021040037A1 - 符号化装置、復号装置、及びプログラム - Google Patents

符号化装置、復号装置、及びプログラム Download PDF

Info

Publication number
WO2021040037A1
WO2021040037A1 PCT/JP2020/032783 JP2020032783W WO2021040037A1 WO 2021040037 A1 WO2021040037 A1 WO 2021040037A1 JP 2020032783 W JP2020032783 W JP 2020032783W WO 2021040037 A1 WO2021040037 A1 WO 2021040037A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
unit
prediction
filter
boundary
Prior art date
Application number
PCT/JP2020/032783
Other languages
English (en)
French (fr)
Inventor
俊輔 岩村
市ヶ谷　敦郎
慎平 根本
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to CN202080060836.4A priority Critical patent/CN114365487B/zh
Priority to JP2021543093A priority patent/JP7474772B2/ja
Publication of WO2021040037A1 publication Critical patent/WO2021040037A1/ja
Priority to US17/681,296 priority patent/US12015789B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Definitions

  • the present invention relates to a coding device, a decoding device, and a program.
  • a deblocking filter is adopted as a filter in a coding loop (see, for example, Non-Patent Document 1).
  • the deblocking filter is an in-loop filter for suppressing distortion of the block boundary of a block when encoding processing is performed in block units.
  • the filter control unit that controls the deblocking filter applies the deblocking filter to the block boundary of the two blocks.
  • the filter control unit performs the 2 according to the value of the motion vector of each of the two blocks and the degree of coincidence of the reference destination (reference image). The continuity of one block is determined, and whether or not to apply a deblocking filter to the block boundary of the two blocks is determined.
  • VVC plans to adopt triangle merge mode as a kind of inter-prediction.
  • the coding device divides the coded block into triangle regions, predicts two triangle regions using two motion vectors, and generates two triangle prediction regions. Then, the prediction block of the coded target block is generated by synthesizing the boundary region of the generated plurality of triangle prediction regions by the weighted average.
  • the coding device uses the information about the motion vector used for the triangle synthesis prediction, that is, the information indicating the reference direction, the reference.
  • Information indicating the previous frame, the number of motion vectors (indicating whether it is single prediction or double prediction, and the value of the motion vector are stored in the motion vector storage.
  • the coding apparatus divides the coded block into a region of 4 ⁇ 4 pixels (hereinafter referred to as “4 ⁇ 4 unit”) and belongs to a composite region synthesized by a weighted average of 4 ⁇ 4.
  • 4 ⁇ 4 unit a region of 4 ⁇ 4 pixels
  • the dual prediction is applied, and the information about the two motion vectors is stored in the motion vector storage.
  • the simple prediction is applied, and the information regarding one of the two motion vectors defined in advance is stored in the motion vector storage.
  • 4 ⁇ 4 units belonging to a region other than the composite region assuming that simple prediction is applied, information on one motion vector used for generating a predicted image in the region is stored in the motion vector storage.
  • the continuity between the blocks is determined based on the information about the motion vector of the two blocks. ing.
  • the weighted average is applied to the composition area by the triangle composition prediction. Since the conventional continuity judgment does not consider such a weighted average, the deblocking filter is not applied even when a discontinuity occurs at the block boundary of two blocks, resulting in visual deterioration. There is a problem that it ends up.
  • the present invention provides a coding device, a decoding device, and a program that improve image quality and coding efficiency by appropriately controlling the deblocking filter.
  • the coding device is a coding device that performs coding in block units obtained by dividing an image, and operates for each of a plurality of divided regions obtained by dividing the coded block.
  • a composite prediction unit that generates a region prediction image using a vector and synthesizes the boundary regions of the generated plurality of region prediction images by a weighted average to generate a prediction block of the coded target block, and the coded target.
  • a conversion / quantization unit that performs conversion processing and quantization processing on the predicted residual that represents the difference between the block and the prediction block, and an inverse quantization processing and dequantization processing on the conversion coefficient obtained by the conversion / quantization unit.
  • An inverse quantization / inverse conversion unit that performs inverse conversion processing to restore the predicted residual, a synthesis unit that synthesizes the restored predicted residual and the predicted block to restore the coded target block, and the above.
  • the deblocking filter that filters the block boundary of two blocks consisting of the restored coded block and the adjacent block, and the deblocking filter based on the position of the synthetic region synthesized by the synthetic predictor by the weighted average. It includes a filter control unit that controls the blocking filter.
  • the decoding device is a decoding device that decodes in block units obtained by dividing an image, and outputs a conversion coefficient corresponding to the block to be decoded by decoding the coded stream.
  • the decoding unit, the inverse quantization / inverse conversion unit that restores the predicted residual by performing inverse quantization processing and inverse conversion processing on the conversion coefficient output by the entropy decoding unit, and the decoding target block are divided.
  • a region prediction image is generated using the motion vector for each of the plurality of divided regions obtained, and the region of the boundary of the generated plurality of region prediction images is combined by a weighted average to generate a prediction block of the decoding target block.
  • the block boundary of two blocks including the composite prediction unit for restoring the decryption target block by synthesizing the restored prediction residual and the prediction block, and the restored decoding target block and the adjacent block. It is provided with a deblocking filter that performs a filtering process on the deblocking filter, and a filter control unit that controls the deblocking filter based on the position of the composite region synthesized by the composite prediction unit by the weighted average.
  • the gist of the program according to the third aspect is to make the computer function as a coding device according to the first aspect.
  • the gist of the program according to the fourth aspect is to make the computer function as a decoding device according to the second aspect.
  • the present invention it is possible to provide a coding device, a decoding device, and a program that improve image quality and coding efficiency by appropriately controlling the deblocking filter.
  • the coding device and the decoding device according to the embodiment will be described with reference to the drawings.
  • the coding device and the decoding device according to the embodiment encode and decode moving images represented by MPEG, respectively.
  • MPEG moving images represented by MPEG
  • the same or similar parts are designated by the same or similar reference numerals.
  • FIG. 1 is a diagram showing a configuration of a coding device 1 according to the present embodiment.
  • the coding device 1 is a device that performs coding in block units obtained by dividing an image.
  • the coding apparatus 1 synthesizes a block dividing unit 100, a subtracting unit 110, a conversion / quantization unit 120, an entropy coding unit 130, and an inverse quantization / inverse conversion unit 140. It has a unit 150, a deblocking filter 160, a filter control unit 161, a memory 170, and a prediction unit 180.
  • the block division unit 100 divides the input image in units of frames (or pictures) constituting the moving image into a plurality of image blocks, and outputs the image block obtained by the division to the subtraction unit 110.
  • the size of the image block is, for example, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, 4 ⁇ 4 pixels, or the like.
  • the shape of the image block is not limited to a square and may be a rectangle (non-square).
  • the image block is a unit for coding by the coding device 1 (encoding target block) and a unit for decoding by the decoding device (decoding target block). Such an image block is sometimes called a CU (Coding Unit).
  • the block division unit 100 divides the luminance signal and the color difference signal into blocks.
  • the case where the shape of the block division is the same for the luminance signal and the color difference signal will be mainly described, but the division may be controlled independently for the luminance signal and the color difference signal.
  • the luminance block and the color difference block are not particularly distinguished, they are simply called a coded block.
  • the subtraction unit 110 calculates a prediction residual representing a difference (error) between the coding target block output from the block division unit 100 and the prediction block obtained by predicting the coding target block by the prediction unit 180.
  • the subtraction unit 110 calculates the prediction residual by subtracting each pixel value of the prediction block from each pixel value of the block, and outputs the calculated prediction residual to the conversion / quantization unit 120.
  • the conversion / quantization unit 120 performs conversion processing and quantization processing in block units.
  • the conversion / quantization unit 120 includes a conversion unit 121 and a quantization unit 122.
  • the conversion unit 121 performs conversion processing on the predicted residual output from the subtraction unit 110, calculates a conversion coefficient for each frequency component, and outputs the calculated conversion coefficient to the quantization unit 122.
  • the conversion process (conversion) is a process of converting a signal in the pixel region into a signal in the frequency domain, for example, discrete cosine transform (DCT), discrete sine transform (DST), carunen-reve transform (KLT), and the like. Is an integer transform of.
  • the quantization unit 122 quantizes the conversion coefficient output from the conversion unit 121 using the quantization parameter (Qp) and the quantization matrix, and the quantized conversion coefficient is the entropy coding unit 130 and the inverse quantization / inverse conversion. Output to unit 140.
  • the quantization parameter (Qp) is a parameter commonly applied to each conversion coefficient in the block, and is a parameter that determines the roughness of quantization.
  • the quantization matrix is a matrix having a quantization value as an element when quantizing each conversion coefficient.
  • the entropy coding unit 130 performs entropy coding on the conversion coefficient output from the quantization unit 122, performs data compression to generate a coded stream (bit stream), and encodes the coded stream into the coding device 1. Output to the outside of.
  • a Huffman code Context-based Adaptive Binary Arithmetic Coding; context-adaptive binary arithmetic coding
  • CABAC Context-based Adaptive Binary Arithmetic Coding; context-adaptive binary arithmetic coding
  • the entropy encoding unit 130 acquires information such as the size and shape of each coded block from the block dividing unit 100, and acquires information related to prediction (for example, information on the prediction mode and motion vector) from the prediction unit 180. It also encodes this information.
  • Inverse quantization / inverse conversion unit 140 performs inverse quantization processing and inverse conversion processing in block units.
  • the inverse quantization / inverse conversion unit 140 includes an inverse quantization unit 141 and an inverse conversion unit 142.
  • the inverse quantization unit 141 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122. Specifically, the inverse quantization unit 141 restores and restores the conversion coefficient by inversely quantizing the conversion coefficient output from the quantization unit 122 using the quantization parameter (Qp) and the quantization matrix. The converted conversion coefficient is output to the inverse conversion unit 142.
  • the inverse conversion unit 142 performs an inverse conversion process corresponding to the conversion process performed by the conversion unit 121. For example, when the conversion unit 121 performs the DCT, the inverse conversion unit 142 performs the inverse DCT. The inverse conversion unit 142 performs an inverse conversion process on the conversion coefficient output from the inverse quantization unit 141 to restore the predicted residual, and outputs the restored predicted residual, which is the restored predicted residual, to the synthesis unit 150. To do.
  • the synthesizing unit 150 synthesizes the restoration prediction residual output from the inverse conversion unit 142 with the prediction block output from the prediction unit 180 in pixel units.
  • the synthesizing unit 150 adds each pixel value of the restoration prediction residual and each pixel value of the prediction block to restore (decode) the coded block, and deblocks the decoded image (restoration block) of the restored block unit. Output to 160.
  • the deblocking filter 160 performs filtering on the block boundary of two blocks (hereinafter referred to as "target block pair") consisting of a restoration block and an adjacent block adjacent to the restoration block, and the restored block after the filtering processing is performed. Output to memory 170.
  • the filter processing is a processing for reducing signal deterioration caused by processing in block units, and is a filtering processing for smoothing a signal gap at a block boundary of a target block pair.
  • the deblocking filter 160 is generally configured as a low-pass filter that moderates signal fluctuations.
  • the filter control unit 161 controls the deblocking filter 160. Specifically, the filter control unit 161 controls the boundary strength (Bs: Boundary strength) indicating whether or not the block boundary of the target block pair is filtered, and the filter strength of the deblocking filter 160.
  • the boundary strength Bs refers to a parameter for determining whether or not to apply the filtering process and the type of the filtering process.
  • the control of whether or not to perform the filtering process can be regarded as the control of whether the boundary strength Bs is 1 or more or zero.
  • the filter control unit 161 controls the deblocking filter 160 based on the fluctuation of the pixel value in the region near the boundary of the target block pair, the prediction mode, the quantization parameter, and the motion vector value used for the motion compensation prediction (inter-prediction). To do. The details of the operation of the filter control unit 161 will be described later.
  • the memory 170 stores the restoration block output from the deblocking filter 160 as a decoded image in frame units.
  • the memory 170 outputs the stored decoded image to the prediction unit 180.
  • the prediction unit 180 generates a prediction block corresponding to the coded target block by performing prediction processing in block units, and outputs the generated prediction block to the subtraction unit 110 and the synthesis unit 150.
  • the prediction unit 180 includes an inter-prediction unit 181, an intra-prediction unit 182, and a switching unit 183.
  • the inter-prediction unit 181 uses the decoded image stored in the memory 170 as a reference image, calculates a motion vector by a method such as block matching, predicts a block to be encoded, and generates an inter-prediction block.
  • the inter-prediction block is output to the switching unit 183.
  • the inter-prediction unit 181 selects the optimum inter-prediction method from inter-prediction using a plurality of reference images (typically bi-prediction) and inter-prediction using one reference image (one-way prediction). Inter-prediction is performed using the selected inter-prediction method.
  • the inter-prediction unit 181 outputs information (motion vector, etc.) related to the inter-prediction to the entropy coding unit 130 and the filter control unit 161.
  • the inter prediction unit 181 has a synthesis prediction unit 181a that performs triangle composition prediction.
  • the composite prediction unit 181a divides the coded block into triangle regions, predicts two triangle regions using two motion vectors, and generates two triangle prediction regions (two region prediction images).
  • the prediction block of the coded block is generated by synthesizing the region of the boundary between the two triangle prediction regions by the weighted average. The details of the triangle composition prediction will be described later.
  • the intra prediction unit 182 selects the optimum intra prediction mode to be applied to the coded target block from the plurality of intra prediction modes, and predicts the coded target block using the selected intra prediction mode.
  • the intra prediction unit 182 generates an intra prediction block by referring to the decoded pixel value adjacent to the coded target block among the decoded images stored in the memory 170, and outputs the generated intra prediction block to the switching unit 183. To do. Further, the intra prediction unit 182 outputs information regarding the selected intra prediction mode to the entropy encoding unit 130 and the filter control unit 161.
  • the switching unit 183 switches between the inter prediction block output from the inter prediction unit 181 and the intra prediction block output from the intra prediction unit 182, and outputs one of the prediction blocks to the subtraction unit 110 and the synthesis unit 150.
  • the coding apparatus 1 generates a region prediction image using motion vectors for each of the plurality of divided regions obtained by dividing the coded block, and generates a plurality of region predictions.
  • the synthetic prediction unit 181a that generates the prediction block of the coded target block by synthesizing the boundary area of the image by the weighted average, and the conversion process and the prediction residual that represents the difference between the coded target block and the predicted block.
  • a conversion / quantization unit 120 that performs quantization processing, and an inverse quantization / inverse conversion unit that restores the predicted residual by performing dequantization processing and deconversion processing on the conversion coefficient obtained by the conversion / quantization unit.
  • Filtering is performed on the block boundary of two blocks consisting of 140, a synthesis unit 150 that synthesizes the restored predicted residual and the predicted block to restore the coded block, and the restored coded block and adjacent blocks. It has a deblocking filter 160 to perform.
  • 2 to 5 are diagrams showing the operation of the synthesis prediction unit 181a according to the present embodiment.
  • the synthesis prediction unit 181a divides the coded block into two triangular regions (Partition 1 and Partition 2). There are two types of division methods, the method shown in FIG. 2 (a) and the method shown in FIG. 2 (b).
  • the synthesis prediction unit 181a divides the coded block by a dividing line passing through the upper left zenith position and the lower right zenith position.
  • the synthesis prediction unit 181a divides the coded block by a dividing line passing through the upper right zenith position and the lower left zenith position.
  • the composite prediction unit 181a sets the motion vector for each triangular region by using the motion vector reference source as a candidate.
  • the composite prediction unit 181a arranges the seven types of candidates shown in FIGS. 3 to 7 in a predetermined priority order, and selects one type of motion vector for each triangular region from the top five motion vectors.
  • the composite prediction unit 181a synthesizes a prediction image for each triangle region (hereinafter referred to as "region prediction image") after performing motion compensation prediction for each triangle region using the motion vector of each triangle region. By doing so, a predicted image (predicted block) of the coded block is generated.
  • region prediction image a prediction image for each triangle region
  • the boundary between the two region prediction images is smoothly combined by the weighted average (weighted average) to suppress the discontinuity of the boundary between the two region prediction images.
  • the predicted images in the triangle synthesis prediction are the predicted image 1 (“P 1 ” in FIG. 4) generated by the motion vector applied to Partition 1 in the coded block, and the motion vector applied to Partition 2.
  • the predicted image 2 (“P 2 ” in FIG. 4) generated by the above is synthesized by a weighted average using a weight map (Weight map) according to the block size and block shape of the block to be encoded.
  • the region composed of pixels in which any of “1” to “7” has a weighting coefficient is a composite region synthesized by the weighted average.
  • the coded block may be divided into 4 ⁇ 4 pixel areas (4 ⁇ 4 units), and it may be determined whether or not each 4 ⁇ 4 unit is a composite area. Whether or not each 4 ⁇ 4 unit is a composite area is determined to be a composite area if at least one of “1” to “7” is included in the weighting coefficient set for the pixels in the 4 ⁇ 4 unit. Alternatively, it may be determined as a composite region when the weighting coefficient set for the pixel of the 4 ⁇ 4 unit does not include “0” or “8”.
  • the composite prediction unit 181a stores the motion vector used for the triangle composite prediction in the motion vector storage.
  • the motion vector used for the coded block may be reused when the adjacent block is coded, and the motion vector is stored in the motion vector storage for the reuse of the motion vector.
  • the motion vector storage is provided in the synthesis prediction unit 181a or the memory 170.
  • the synthesis prediction unit 181a divides the coded block into a 4 ⁇ 4 pixel area and prepares a motion vector storage for each 4 ⁇ 4 unit.
  • the composite prediction unit 181a determines the information about the corresponding motion vector, that is, the reference direction of the motion vector, the information indicating the reference frame of the motion vector, and the number of motion vectors (single prediction or double prediction) with respect to the motion vector storage. Show), and the value of the motion vector, etc. are stored.
  • the boundary region between Partition 1 (region 1) and Partition 2 (region 2) of the coded block was synthesized by the weighted average. It is a synthetic area.
  • the composite prediction unit 181a used each 4 ⁇ 4 unit included in such a composite region in Partition 1 as a dual prediction when the reference directions of the motion vectors applied to Partition 1 and Partition 2 are different. Information about two motion vectors, the motion vector and the motion vector used in Partition 2, is stored in the motion vector storage. On the other hand, when the reference directions of the motion vectors applied to the partition 1 and the partition 2 are the same, the information about the motion vector used in the partition 2 is stored in the motion vector storage as a simple prediction.
  • the composite prediction unit 181a stores information about one motion vector used in Partition 1 as a simple prediction for each 4 ⁇ 4 unit included in the region to which the weighted average is not applied in Partition 1 in the motion vector storage. Store. In addition, the composite prediction unit 181a stores information about one motion vector used in Partition 2 as a simple prediction for each 4 ⁇ 4 unit included in the region to which the weighted average is not applied in Partition 2 in the motion vector storage. Store.
  • FIGS. 4 and 5 the case where the area is divided diagonally is described, and when the area is divided diagonally, the motion vector information is stored in the motion vector storage so as to be line-symmetrically inverted to the left and right. To store.
  • FIG. 6 is a diagram showing an operation example of the deblocking filter 160 according to the present embodiment.
  • the deblocking filter 160 performs filter processing on the block boundary of each block of 8 ⁇ 8 pixels. Further, the deblocking filter 160 performs filter processing in units of 4 rows or 4 columns.
  • the blocks P and Q shown in FIG. 6 are one unit of the filter processing of the deblocking filter 160, and show an example in which the block size is 4 ⁇ 4 pixels. Each of the blocks P and Q may be referred to as a subblock.
  • the filter control unit 161 obtains the boundary strength Bs based on, for example, Table 1 below.
  • the value of the boundary strength Bs is one of 0, 1, and 2.
  • the boundary strength of the luminance signal and the color difference signal for each block may be calculated, or the combination of the boundary intensity of the luminance signal and the color difference signal block may be determined as one boundary intensity.
  • the filter control unit 161 sets the value of Bs to 2 when the intra prediction is applied to at least one of the blocks P and Q.
  • the filter control unit 161 sets the Bs value to 1 when the inter-prediction is applied to both the blocks P and Q and at least one of the following (a) to (d) is satisfied. In other cases, the Bs value is set to 0.
  • At least one block of blocks P and Q belongs to the composite region of the triangle composite prediction. (In other words, the boundary between blocks P and Q is adjacent to the composite region of the triangle composite prediction.)
  • At least one of blocks P and Q contains a significant conversion factor (ie, a non-zero conversion factor).
  • the filter control unit 161 can change the priority of applying the conditions shown in Table 1 within a range in which the Bs values determined as a result do not differ.
  • the filter control unit 161 controls the deblocking filter 160 so that the filter processing is not performed when the value of the boundary strength Bs is 0.
  • the vertical block boundary shown in FIG. 6 will be described as an example.
  • the filter control unit 161 may control the deblocking filter 160 so as to perform the filter processing only when the following equation (1) is satisfied.
  • the filter control unit 161 may apply a strong filter when all of the following conditional expressions (2) to (7) are satisfied, and may apply a weak filter in other cases.
  • the values of the threshold values ⁇ and t C change according to the average value Qav of the quantization parameters of the adjacent blocks P and Q.
  • the filter control unit 161 controls the deblocking filter based on the position of the composite region synthesized by the composite prediction unit 181a by the weighted average as described in (a) above. Specifically, the filter control unit 161 controls the deblocking filter so that when the block boundaries of the blocks P and Q (two subblocks) are adjacent to the composite region, the block boundaries are filtered.
  • the discontinuity of the block boundary caused by the composite region can be suppressed by the deblocking filter processing, and the visual sense Deterioration can be suppressed.
  • FIG. 7 is a diagram for explaining a specific example of the operation of the filter control unit 161 according to the present embodiment.
  • the two motion vectors used by block P for bi-prediction are P0 and P1.
  • the two motion vectors that block Q uses for bi-prediction are Q0 and Q1.
  • the reference destinations of P0 and Q0 are the same frame, and the reference destinations of P1 and Q1 are the same frame. Further, the difference between the motion vector values of P0 and Q0 is equal to or less than the threshold value, and the difference between the motion vector values of P1 and Q1 is equal to or less than the threshold value.
  • condition (a) above is newly introduced. Therefore, when at least one of the blocks P and Q is the composite region of the triangle synthesis prediction, it is possible to control the filtering process for the boundary between the blocks P and Q, so that the discontinuity of the boundaries between the blocks P and Q can be suppressed. ..
  • FIG. 8 is a diagram showing a specific example of the operation of the deblocking filter 160 and the filter control unit 161 according to the present embodiment.
  • the filter control unit 161 sets two subblocks (blocks P and Q) straddling the block boundary between the coded block and the adjacent block adjacent to the coded block. Filter processing is performed as one unit.
  • the filter control unit 161 performs the deblocking filter 160 so as to perform the filter processing on the subblock boundary. To control.
  • the filter control unit 161 refers to the motion vector storage and positions the position corresponding to the subblock.
  • the motion vector information of the 4 ⁇ 4 unit is acquired, and it is determined whether or not the two motion vectors are stored (that is, double prediction).
  • this subblock belongs to the composite area of the triangle composite prediction.
  • the filter control unit 161 controls the deblocking filter 160 so as to filter the subblock boundaries of the two subblocks (blocks P and Q).
  • this sub Whether or not the block belongs to the composite region is determined based on the weighting coefficient set for each pixel in the subblock.
  • the weighting coefficient set for the pixel included in the subblock does not include "0" or "8"
  • the system can preliminarily synthesize the size and shape of the coded block and the divided shape of the triangular area.
  • the area determination table may be prepared and the determination may be made by referring to the area determination table.
  • the filter control unit 161 will perform two subblocks (block P). And Q), the deblocking filter 160 is controlled so as to perform filtering on the subblock boundary.
  • the filter control unit 161 has a non-zero conversion coefficient in each of the two subblocks. Controls whether or not to filter the subblock boundaries based on the presence or absence of and at least one of the information about each motion vector of the two subblocks.
  • the filter control unit 161 determines the presence or absence of a non-zero conversion coefficient in each of the two subblocks. And based on at least one of the information about the motion vector of each of the two subblocks, it is controlled whether or not the subblock boundary is filtered.
  • FIG. 9 is a diagram showing a configuration of a decoding device 2 according to the present embodiment.
  • the decoding device 2 is a device that decodes the decoding target block from the coded stream.
  • the decoding device 2 predicts the entropy decoding unit 200, the inverse quantization / inverse conversion unit 210, the synthesis unit 220, the deblocking filter 230, the filter control unit 231 and the memory 240. It has a part 250.
  • the entropy decoding unit 200 decodes the coded stream generated by the coding device 1 and decodes various signaling information. Specifically, the entropy decoding unit 200 acquires information related to the prediction applied to the decoding target block (for example, prediction type information, motion vector information), and outputs the acquired information to the prediction unit 250 and the filter control unit 231. To do.
  • information related to the prediction applied to the decoding target block for example, prediction type information, motion vector information
  • the entropy decoding unit 200 decodes the coded stream, acquires the quantized conversion coefficient, and outputs the acquired conversion coefficient to the inverse quantization / inverse conversion unit 210 (inverse quantization unit 211).
  • Inverse quantization / inverse conversion unit 210 performs inverse quantization processing and inverse conversion processing in block units.
  • the inverse quantization / inverse conversion unit 210 includes an inverse quantization unit 211 and an inverse conversion unit 212.
  • the inverse quantization unit 211 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122 of the coding device 1.
  • the inverse quantization unit 211 restores the conversion coefficient of the decoding target block by inversely quantizing the quantization conversion coefficient output from the entropy decoding unit 200 using the quantization parameter (Qp) and the quantization matrix. , The restored conversion coefficient is output to the inverse conversion unit 212.
  • the inverse conversion unit 212 performs an inverse conversion process corresponding to the conversion process performed by the conversion unit 121 of the coding device 1.
  • the inverse conversion unit 212 performs inverse conversion processing on the conversion coefficient output from the inverse quantization unit 211 to restore the predicted residual, and outputs the restored predicted residual (restored predicted residual) to the synthesis unit 220. To do.
  • the synthesizing unit 220 restores (decodes) the decoding target block by synthesizing the prediction residual output from the inverse conversion unit 212 and the prediction block output from the prediction unit 250 on a pixel-by-pixel basis, and restores (decodes) the restoration block. Output to the deblocking filter 230.
  • the deblocking filter 230 operates in the same manner as the deblocking filter 160 of the coding device 1.
  • the deblocking filter 230 performs filter processing on the boundary of the target block pair consisting of the restoration block output from the synthesis unit 220 and the block adjacent to the restoration block, and outputs the restored block after the filtering processing to the memory 240.
  • the filter control unit 231 performs the same operation as the filter control unit 161 of the coding device 1 based on the information output from the entropy decoding unit 200.
  • the filter control unit 231 selects the boundary strength Bs by the method shown in Table 1, for example, and controls the deblocking filter 230 according to the selected boundary strength Bs.
  • the memory 240 stores the restoration block output from the deblocking filter 230 as a decoded image in frame units.
  • the memory 240 outputs a frame-by-frame decoded image to the outside of the decoding device 2.
  • the prediction unit 250 makes a prediction in block units.
  • the prediction unit 250 includes an inter-prediction unit 251, an intra-prediction unit 252, and a switching unit 253.
  • the inter-prediction unit 251 uses the decoded image stored in the memory 240 as a reference image to predict the decoding target block by inter-prediction.
  • the inter-prediction unit 251 generates an inter-prediction block by performing inter-prediction using the motion vector information output from the entropy decoding unit 200, and outputs the generated inter-prediction block to the switching unit 253.
  • the inter prediction unit 251 has a synthesis prediction unit 251a that performs triangle composition prediction.
  • the composite prediction unit 251a divides the decoding target block into triangle regions, predicts two triangle regions using two motion vectors, generates two triangle prediction regions, and generates a boundary between the two triangle prediction regions. By synthesizing the regions of the above by the weighted average, the predicted block of the coded block is generated.
  • the operation of the synthesis prediction unit 251a is the same as the operation of the synthesis prediction unit 181a of the coding device 1. However, the flag indicating that the triangle composition prediction is applied, the flag indicating the division method of the triangle composition prediction (FIGS. 2A or 2B), and the like are transmitted from the coding device 1 to the decoding device 2 by the coding stream. Signaled. The synthesis prediction unit 251a performs triangle synthesis prediction based on the signaled information.
  • the intra prediction unit 252 refers to the reference pixel adjacent to the decoding target block among the decoded images stored in the memory 240, and predicts the decoding target block by intra prediction based on the information output from the entropy decoding unit 200. .. Then, the intra prediction unit 252 generates an intra prediction block, and outputs the generated intra prediction block to the switching unit 253.
  • the switching unit 253 switches between the inter prediction block output from the inter prediction unit 251 and the intra prediction block output from the intra prediction unit 252, and outputs one of the prediction blocks to the synthesis unit 220.
  • the decoding device 2 has the entropy decoding unit 200 that outputs the conversion coefficient corresponding to the decoding target block by decoding the coded stream, and the conversion coefficient output by the entropy decoding unit 200.
  • the inverse quantization / inverse conversion unit 210 that performs the inverse quantization processing and the inverse conversion processing to restore the predicted residual, and the motion vector for each of the plurality of divided regions obtained by dividing the block to be decoded are used.
  • a composite prediction unit 251a that generates a region prediction image and synthesizes the boundary regions of a plurality of generated region prediction images by a weighted average to generate a prediction block of a block to be decoded, and a restored prediction residual and a prediction block. It has a compositing unit 220 that synthesizes and restores the decoding target block, and a deblocking filter 230 that performs a filtering process on the block boundary of two blocks including the restored decoding target block and the adjacent block.
  • the deblocking filter 230 performs filter processing with two subblocks (blocks P and Q) straddling the block boundary as one unit.
  • the filter control unit 231 controls the deblocking filter 230 so as to perform a filter process on the subblock boundary when the subblock boundary of the two subblocks is adjacent to the synthesis region of the triangle composition prediction.
  • the filter control unit 231 determines the presence or absence of a non-zero conversion coefficient in each of the two subblocks. And based on at least one of the information about the motion vector of each of the two subblocks, it is controlled whether or not the subblock boundary is filtered.
  • FIG. 10 is a diagram showing an example of an operation flow of the filter control unit 231 according to the present embodiment.
  • step S1 the filter control unit 231 determines whether or not the intra prediction is applied to at least one of the blocks P and Q.
  • step S5 the filter control unit 231 includes a non-zero conversion coefficient in at least one of blocks P and Q. Judge whether or not.
  • step S7 the filter control unit 231 determines whether or not the difference between the motion vectors of blocks P and Q is equal to or greater than the threshold value. Is determined.
  • step S8 the filter control unit 231 filters.
  • step S3 may be performed after the determination in step S7.
  • a program may be provided that causes a computer to execute each process performed by the coding device 1.
  • a program may be provided that causes the computer to execute each process performed by the decoding device 2.
  • the program may be recorded on a computer-readable medium.
  • Computer-readable media can be used to install programs on a computer.
  • the computer-readable medium on which the program is recorded may be a non-transient recording medium.
  • the non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
  • a circuit that executes each process performed by the coding device 1 may be integrated, and the coding device 1 may be configured by a semiconductor integrated circuit (chipset, SoC).
  • a circuit that executes each process performed by the decoding device 2 may be integrated, and the decoding device 2 may be configured by a semiconductor integrated circuit (chipset, SoC).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化装置１は、符号化対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して前記符号化対象ブロックの予測ブロックを生成する合成予測部１８１ａと、合成予測部１８１ａが重み付き平均により合成した合成領域の位置に基づいてデブロッキングフィルタ１６０を制御するフィルタ制御部１６１とを備える。

Description

符号化装置、復号装置、及びプログラム
　本発明は、符号化装置、復号装置、及びプログラムに関する。
　ＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）、及び次世代の符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）では、符号化ループ内フィルタとしてデブロッキングフィルタが採用されている（例えば、非特許文献１参照）。デブロッキングフィルタは、ブロック単位で符号化処理を行うときのブロックのブロック境界の歪みを抑制するためのループ内フィルタである。
　デブロッキングフィルタを制御するフィルタ制御部は、隣り合う２つのブロックのうち少なくとも一方にイントラ予測が適用される場合、当該２つのブロックのブロック境界に対するデブロッキングフィルタを適用する。
　一方、フィルタ制御部は、隣り合う２つのブロックいずれにもインター予測が適用される場合、当該２つのブロックのそれぞれの動きベクトルの値及び参照先（参照画像）の一致度等に応じて当該２つのブロックの連続性を判定し、当該２つのブロックのブロック境界にデブロッキングフィルタを適用するか否かを決定する。
　一方、ＶＶＣでは、インター予測の一種として、三角形合成予測（ｔｒｉａｎｇｌｅ　ｍｅｒｇｅ　ｍｏｄｅ）が採用される予定である。三角形合成予測では、符号化装置は、符号化対象ブロックを三角形領域に二分割し、２つの動きベクトルを用いて２つの三角形領域を予測して２つの三角形予測領域を生成する。そして、生成した複数の三角形予測領域の境界の領域を重み付き平均により合成することにより、符号化対象ブロックの予測ブロックを生成する。
　符号化対象ブロックに用いた動きベクトルは隣接ブロックの符号化時に再利用される場合があるため、符号化装置は、三角形合成予測に用いた動きベクトルに関する情報、すなわち、参照方向を示す情報、参照先フレームを示す情報、動きベクトルの本数（単予測か双予測かを示す、及び動きベクトルの値を動きベクトルストレージに格納する。
　具体的には、符号化装置は、符号化対象ブロックを４×４画素の領域（以下、「４×４ユニット」と呼ぶ）に分割し、重み付き平均により合成した合成領域に属する４×４ユニットについては、前記２つの動きベクトルの参照方向が異なる場合には双予測が適用されたとして、２つの動きベクトルに関する情報を動きベクトルストレージに格納する。一方、前記２つの動きベクトルの参照方向が等しい場合には、単予測が適用されたとして、前記２つの動きベクトルのうち、あらかじめ規定した一方の動きベクトルに関する情報を動きベクトルストレージに格納する。一方、合成領域以外の領域に属する４×４ユニットについては、単予測が適用されたとして、当該領域の予測画像生成に用いた１つの動きベクトルに関する情報を動きベクトルストレージに格納する。
Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ＩＴＵ－Ｔ　Ｈ．２６５，（１２／２０１６），"Ｈｉｇｈ　ｅｆｆｉｃｉｅｎｃｙ　ｖｉｄｅｏ　ｃｏｄｉｎｇ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ
　従来のデブロッキングフィルタ制御における連続性判定においては、隣り合う２つのブロックいずれにもインター予測が適用されている場合、ブロック間の連続性を当該２つのブロックの動きベクトルに関する情報に基づいて判定している。
　しかしながら、当該２つのブロックの少なくとも一方に三角形合成予測が適用されている場合、三角形合成予測による合成領域については、重み付き平均がされている。従来の連続性判定では、このような重み付き平均を考慮していないため、２つのブロックのブロック境界に不連続性が生じる場合にもデブロッキングフィルタが非適用となり、視覚的な劣化が生じてしまう問題がある。
　そこで、本発明は、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供する。
　第１の態様に係る符号化装置は、画像を分割して得たブロック単位で符号化を行う符号化装置であって、符号化対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して前記符号化対象ブロックの予測ブロックを生成する合成予測部と、前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、前記変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って前記予測残差を復元する逆量子化・逆変換部と、前記復元した予測残差と前記予測ブロックとを合成して前記符号化対象ブロックを復元する合成部と、前記復元した符号化対象ブロックと隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタと、前記合成予測部が前記重み付き平均により合成した合成領域の位置に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部とを備える。
　第２の態様に係る復号装置は、画像を分割して得たブロック単位で復号を行う復号装置であって、符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、前記エントロピー復号部が出力する前記変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、前記復号対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して前記復号対象ブロックの予測ブロックを生成する合成予測部と、前記復元した予測残差と前記予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、前記復元した復号対象ブロックと隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタと、前記合成予測部が前記重み付き平均により合成した合成領域の位置に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部とを備える。
　第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させることを要旨とする。
　第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させることを要旨とする。
　本発明によれば、デブロッキングフィルタを適切に制御することで画質や符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供できる。
実施形態に係る符号化装置の構成を示す図である。 実施形態に係る合成予測部の動作を示す図である。 実施形態に係る合成予測部の動作を示す図である。 実施形態に係る合成予測部の動作を示す図である。 実施形態に係る合成予測部の動作を示す図である。 実施形態に係るデブロッキングフィルタの動作例を示す図である。 実施形態に係るフィルタ制御部の動作の具体例を説明するための図である。 実施形態に係るデブロッキングフィルタ及びフィルタ制御部の動作の具体例を示す図である。 実施形態に係る復号装置の構成を示す図である。 実施形態に係るフィルタ制御部の動作フロー例を示す図である。
　図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
　＜符号化装置＞
　まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。符号化装置１は、画像を分割して得たブロック単位で符号化を行う装置である。
　図１に示すように、符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、デブロッキングフィルタ１６０と、フィルタ制御部１６１と、メモリ１７０と、予測部１８０とを有する。
　ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず矩形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ　Ｕｎｉｔ）と呼ばれることがある。
　ブロック分割部１００は、輝度信号と色差信号とに対してブロック分割を行う。以下において、ブロック分割の形状が輝度信号と色差信号とで同じである場合について主として説明するが、輝度信号と色差信号とで分割を独立に制御可能であってもよい。輝度ブロック及び色差ブロックを特に区別しないときは単に符号化対象ブロックと呼ぶ。
　減算部１１０は、ブロック分割部１００から出力される符号化対象ブロックと、符号化対象ブロックを予測部１８０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。減算部１１０は、ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。
　変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。
　変換部１２１は、減算部１１０から出力される予測残差に対して変換処理を行って周波数成分ごとの変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理（変換）とは、画素領域の信号を周波数領域の信号に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）、及びそれらを整数化した変換等をいう。
　量子化部１２２は、変換部１２１から出力される変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。なお、量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。
　エントロピー符号化部１３０は、量子化部１２２から出力される変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化ストリーム（ビットストリーム）を生成し、符号化ストリームを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ　Ａｄａｐｔｉｖｅ　Ｂｉｎａｒｙ　Ａｒｉｔｈｍｅｔｉｃ　Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０は、ブロック分割部１００から各符号化対象ブロックのサイズ・形状等の情報を取得し、予測部１８０から予測に関する情報（例えば、予測モードや動きベクトルの情報）を取得し、これらの情報の符号化も行う。
　逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。
　逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から出力される変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。
　逆変換部１４２は、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。
　合成部１５０は、逆変換部１４２から出力される復元予測残差を、予測部１８０から出力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復元（復号）し、復元したブロック単位の復号画像（復元ブロック）をデブロッキングフィルタ１６０に出力する。
　デブロッキングフィルタ１６０は、復元ブロックと当該復元ブロックに隣接する隣接ブロックとからなる２つのブロック（以下、「対象ブロック対」と呼ぶ）のブロック境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ１７０に出力する。フィルタ処理は、ブロック単位の処理に起因する信号劣化を軽減するための処理であって、対象ブロック対のブロック境界における信号のギャップを平滑化するフィルタ処理である。デブロッキングフィルタ１６０は、一般的に信号の変動を緩やかにするローパスフィルタとして構成されている。
　フィルタ制御部１６１は、デブロッキングフィルタ１６０を制御する。具体的には、フィルタ制御部１６１は、対象ブロック対のブロック境界に対するフィルタ処理を行うか否かを示す境界強度（Ｂｓ：Ｂｏｕｎｄａｒｙ　ｓｔｒｅｎｇｔｈ）、及びデブロッキングフィルタ１６０のフィルタ強度を制御する。境界強度Ｂｓとは、フィルタ処理を適用するか否か、及びそのフィルタ処理の種類を決定するためのパラメータをいう。なお、フィルタ処理を行うか否かの制御は、境界強度Ｂｓを１以上とするか又はゼロとするかの制御とみなすことができる。
　フィルタ制御部１６１は、対象ブロック対の境界近傍領域における画素値の変動や、予測モード、量子化パラメータ、動き補償予測（インター予測）に用いる動きベクトルの値に基づいて、デブロッキングフィルタ１６０を制御する。フィルタ制御部１６１の動作の詳細については後述する。
　メモリ１７０は、デブロッキングフィルタ１６０から出力される復元ブロックをフレーム単位で復号画像として蓄積する。メモリ１７０は、記憶している復号画像を予測部１８０に出力する。
　予測部１８０は、ブロック単位で予測処理を行うことにより、符号化対象ブロックに対応する予測ブロックを生成し、生成した予測ブロックを減算部１１０及び合成部１５０に出力する。予測部１８０は、インター予測部１８１と、イントラ予測部１８２と、切替部１８３とを有する。
　インター予測部１８１は、メモリ１７０に記憶された復号画像を参照画像として用いて、ブロックマッチング等の手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１８３に出力する。インター予測部１８１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１８１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。
　本実施形態において、インター予測部１８１は、三角形合成予測を行う合成予測部１８１ａを有する。合成予測部１８１ａは、符号化対象ブロックを三角形領域に二分割し、２つの動きベクトルを用いて２つの三角形領域を予測して２つの三角形予測領域（２つの領域予測画像）を生成し、生成した２つの三角形予測領域の境界の領域を重み付き平均により合成することにより、符号化対象ブロックの予測ブロックを生成する。三角形合成予測の詳細については後述する。
　イントラ予測部１８２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。イントラ予測部１８２は、メモリ１７０に記憶された復号画像のうち、符号化対象ブロックに隣接する復号済み画素値を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１８３に出力する。また、イントラ予測部１８２は、選択したイントラ予測モードに関する情報をエントロピー符号化部１３０及びフィルタ制御部１６１に出力する。
　切替部１８３は、インター予測部１８１から出力されるインター予測ブロックとイントラ予測部１８２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。
　このように、本実施形態に係る符号化装置１は、符号化対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して符号化対象ブロックの予測ブロックを生成する合成予測部１８１ａと、符号化対象ブロックと予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部１２０と、変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部１４０と、復元した予測残差と予測ブロックとを合成して符号化対象ブロックを復元する合成部１５０と、復元した符号化対象ブロックと隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタ１６０とを有する。
　次に、本実施形態に係る合成予測部１８１ａの動作について説明する。図２乃至図５は、本実施形態に係る合成予測部１８１ａの動作を示す図である。
　図２に示すように、第１に、合成予測部１８１ａは、符号化対象ブロックを２つの三角形領域（Ｐａｒｔｉｔｉｏｎ　１、Ｐａｒｔｉｔｉｏｎ　２）に分割する。分割方法には、図２（ａ）に示す方法と図２（ｂ）に示す方法との２種類がある。図２（ａ）に示す方法では、合成予測部１８１ａは、符号化対象ブロックの左上の頂天位置及び右下の頂天位置を通る分割線で分割する。図２（ｂ）に示す方法では、合成予測部１８１ａは、符号化対象ブロックの右上の頂天位置及び左下の頂天位置を通る分割線で分割する。
　第２に、合成予測部１８１ａは、動きベクトルの参照元を候補として、各三角形領域について動きベクトルを設定する。合成予測部１８１ａは、図３の１～７に示す７種類の候補の中から規定の優先順位に並べ、上位５つの動きベクトルの中から三角形領域ごとに１種類の動きベクトルを選択する。
　第３に、合成予測部１８１ａは、各三角形領域の動きベクトルを用いて三角形領域ごとの動き補償予測を行った後、三角形領域ごとの予測画像（以下、「領域予測画像」と呼ぶ）を合成することで、符号化対象ブロックの予測画像（予測ブロック）を生成する。この際、図４に示すように、２つの領域予測画像の境界については、重み付き平均（加重平均）により滑らかに合成することにより、２つの領域予測画像の境界の不連続性を抑制する。
　具体的には、三角形合成予測における予測画像は、符号化対象ブロックにおけるＰａｒｔｉｔｉｏｎ　１に適用する動きベクトルにより生成される予測画像１（図４の“Ｐ1”）と、Ｐａｒｔｉｔｉｏｎ　２に適用する動きベクトルにより生成される予測画像２（図４の“Ｐ2”）とを、符号化対象ブロックのブロックサイズやブロック形状に応じた重みマップ（Ｗｅｉｇｈｔ　ｍａｐ）を用いて加重平均により合成する。なお、図４において、“１”乃至“７”のいずれかの重み係数が設定される画素からなる領域は、重み付き平均により合成される合成領域である。
　なお、符号化対象ブロック内を４×４画素の領域（４×４ユニット）に分割し、４×４ユニットごとに合成領域か否か判定してもよい。各４×４ユニットが合成領域か否かは、当該４×４ユニット内の画素に設定する重み係数に少なくとも“１”乃至“７”のいずれかが含まれていた場合には合成領域と判定してもよいし、当該４×４ユニットの画素に設定する重み係数に“０”または“８”が含まれていない場合に合成領域と判定してもよい。
　第４に、合成予測部１８１ａは、三角形合成予測に用いた動きベクトルを動きベクトルストレージに格納する。具体的には、符号化対象ブロックに用いた動きベクトルは、隣接ブロックの符号化時に再利用される場合があり、その動きベクトル再利用のために動きベクトルストレージへの格納を行う。動きベクトルストレージは、合成予測部１８１ａ又はメモリ１７０に設けられる。
　具体的には、合成予測部１８１ａは、符号化対象ブロックを４×４画素の領域に分割し、４×４ユニットごとに動きベクトルストレージを準備する。合成予測部１８１ａは、動きベクトルストレージに対して、対応する動きベクトルに関する情報、すなわち、動きベクトルの参照方向、動きベクトルの参照先フレームを示す情報、動きベクトルの本数（単予測か双予測かを示す）、及び動きベクトルの値などを格納する。
　図５に示すように、符号化対象ブロックのＰａｒｔｉｔｉｏｎ　１（領域１）及びＰａｒｔｉｔｉｏｎ　２（領域２）の境界の領域、すなわち、符号化対象ブロックの対角線付近の領域は、重み付き平均により合成された合成領域である。合成予測部１８１ａは、このような合成領域に含まれる各４×４ユニットについては、Ｐａｒｔｉｔｉｏｎ　１及びＰａｒｔｉｔｉｏｎ　２に適用した動きベクトルの参照方向が異なる場合には、双予測として、Ｐａｒｔｉｔｉｏｎ　１で用いた動きベクトルとＰａｒｔｉｔｉｏｎ　２で用いた動きベクトルとの２つの動きベクトルに関する情報を動きベクトルストレージに格納する。一方、Ｐａｒｔｉｔｉｏｎ　１及びＰａｒｔｉｔｉｏｎ　２に適用した動きベクトルの参照方向が等しい場合には、単予測として、Ｐａｒｔｉｔｉｏｎ　２で用いた動きベクトルに関する情報を動きベクトルストレージに格納する。
　一方、合成予測部１８１ａは、Ｐａｒｔｉｔｉｏｎ　１において重み付き平均が適用されていない領域に含まれる各４×４ユニットについて、単予測として、Ｐａｒｔｉｔｉｏｎ　１で用いた１つの動きベクトルに関する情報を動きベクトルストレージに格納する。また、合成予測部１８１ａは、Ｐａｒｔｉｔｉｏｎ　２において重み付き平均が適用されていない領域に含まれる各４×４ユニットについて、単予測として、Ｐａｒｔｉｔｉｏｎ　２で用いた１つの動きベクトルに関する情報を動きベクトルストレージに格納する。
　なお、図４及び図５においては、対角に領域を分割した場合について記載しており、逆対角に分割した場合には、左右に線対称に反転するように動きベクトルストレージに動きベクトル情報を格納する。
　次に、本実施形態に係るデブロッキングフィルタ１６０及びフィルタ制御部１６１の動作について説明する。図６は、本実施形態に係るデブロッキングフィルタ１６０の動作例を示す図である。
　図６に示す例では、デブロッキングフィルタ１６０は、８×８画素のブロックごとのブロック境界を対象としてフィルタ処理を行う。また、デブロッキングフィルタ１６０は、４行又は４列を単位としてフィルタ処理を行う。図６に示すブロックＰ及びＱは、デブロッキングフィルタ１６０のフィルタ処理の１単位であり、ブロックサイズが４×４画素である一例を示している。ブロックＰ及びＱのそれぞれは、サブブロックと呼ばれてもよい。
　フィルタ制御部１６１は、例えば下記の表１に基づいて境界強度Ｂｓを求める。本実施形態では、境界強度Ｂｓの値は０，１，２のいずれかとする。なお、輝度信号と色差信号のブロックに対する境界強度をそれぞれ算出してもよいし、輝度信号と色差信号のブロックの境界強度の組み合わせを一つの境界強度として判定してもよい。
Figure JPOXMLDOC01-appb-T000001
　図６及び表１に示すように、フィルタ制御部１６１は、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合、Ｂｓの値を２とする。
　一方、フィルタ制御部１６１は、ブロックＰ及びＱの両方にインター予測が適用されており、且つ少なくとも以下の（ａ）乃至（ｄ）の中の１つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。
　（ａ）ブロックＰ及びＱの少なくとも一方のブロックが三角形合成予測の合成領域に属すること。（言い換えると、ブロックＰ及びＱの境界が三角形合成予測の合成領域に隣接すること。）
　（ｂ）ブロックＰ及びＱの少なくとも一方が有意な変換係数（すなわち、非ゼロ変換係数）を含むこと。
　（ｃ）ブロックＰ及びＱの動きベクトルの数又は参照画像が異なること。
　（ｄ）ブロックＰ及びＱの動きベクトルの差の絶対値が閾値（例えば１画素）以上であること。
　ただし、フィルタ制御部１６１は、表１に示した条件を適用する優先順位については、結果として判定されるＢｓ値が異ならない範囲で変更可能である。
　フィルタ制御部１６１は、境界強度Ｂｓの値が０の場合にはフィルタ処理を行わないようデブロッキングフィルタ１６０を制御する。以下、図６に示す垂直ブロック境界を例に説明する。
　フィルタ制御部１６１は、境界強度Ｂｓの値が１又は２の場合には、次式（１）を満たす場合にのみ、フィルタ処理を行うようデブロッキングフィルタ１６０を制御してもよい。
Figure JPOXMLDOC01-appb-M000002
　なお、フィルタ制御部１６１は、フィルタ処理を行う場合、以下の条件式（２）～（７）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用してもよい。
Figure JPOXMLDOC01-appb-M000003
　但し、閾値β及びｔCの値は、隣接するブロックＰとブロックＱの量子化パラメータの平均値Ｑavに応じて変わる。
　このように、本実施形態に係るフィルタ制御部１６１は、上記（ａ）のように、合成予測部１８１ａが重み付き平均により合成した合成領域の位置に基づいてデブロッキングフィルタを制御する。具体的には、フィルタ制御部１６１は、ブロックＰ及びＱ（２つのサブブロック）のブロック境界が合成領域に隣接する場合、このブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタを制御する。
　このように、三角形合成予測の合成領域の位置を考慮してブロック間の連続性判定を行うことにより、合成領域に起因するブロック境界の不連続性をデブロッキングフィルタ処理により抑制可能になり、視覚的な劣化を抑制できる。
　次に、本実施形態に係るフィルタ制御部１６１の動作の具体例について説明する。図７は、本実施形態に係るフィルタ制御部１６１の動作の具体例を説明するための図である。
　図７に示すように、ブロックＰ及びＱに適用した予測がどちらも双予測であるものとする。また、ブロックＰ及びＱのいずれも非ゼロ変換係数を含まないものとする。
　ブロックＰが双予測に用いる２つの動きベクトルは、Ｐ０及びＰ１である。ブロックＱが双予測に用いる２つの動きベクトルは、Ｑ０及びＱ１である。Ｐ０及びＱ０の参照先が同一のフレームであって、かつＰ１及びＱ１の参照先が同一のフレームである。また、Ｐ０とＱ０の動きベクトルの値の差が閾値以下であり、且つＰ１とＱ１の動きベクトルの値の差が閾値以下である。
　このような場合、上記の（ｂ）乃至（ｄ）のいずれの条件も満たされないことになる。しかしながら、ブロックＰ及びＱの少なくとも一方が三角形合成予測の合成領域である場合、ブロックＰ及びＱの境界に不連続性が生じる可能性が高い。
　本実施形態においては、上記の（ａ）の条件を新たに導入している。このため、ブロックＰ及びＱの少なくとも一方が三角形合成予測の合成領域である場合、ブロックＰ及びＱの境界に対するフィルタ処理を行うよう制御できるため、ブロックＰ及びＱの境界の不連続性を抑制できる。
　次に、本実施形態に係るデブロッキングフィルタ１６０及びフィルタ制御部１６１の動作の具体例について説明する。図８は、本実施形態に係るデブロッキングフィルタ１６０及びフィルタ制御部１６１の動作の具体例を示す図である。
　図８に示すように、フィルタ制御部１６１は、符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとのブロック境界について、このブロック境界を跨ぐ２つのサブブロック（ブロックＰ及びＱ）を１単位としてフィルタ処理を行う。ここで、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界が三角形合成予測の合成領域に隣接する場合、このサブブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタ１６０を制御する。
　具体的には、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のうち少なくとも一方に三角形合成予測が適用されている場合、動きベクトルストレージを参照し、サブブロックに対応する位置の４×４ユニットの動きベクトル情報を取得し、２つの動きベクトルが格納されている（すなわち、双予測）か否かを判定する。２つの動きベクトルが格納されている場合、このサブブロックは、三角形合成予測の合成領域に属することになる。このような場合、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタ１６０を制御する。
　一方、フィルタ制御部１６１は、取得した動きベクトル情報において、サブブロックに対応する位置の４×４ユニットの動きベクトル情報に１つの動きベクトルが格納されている（すなわち、単予測）場合、このサブブロックが合成領域に属しているか否かを、サブブロック内の各画素に設定した重み係数に基づいて判定する。
　具体的には、当該サブブロックに含まれる画素に設定する重み係数に“０”または“８”が含まれていない場合に合成領域と判定し、“０”または“８”が含まれている場合には、合成領域でないと判定する。重み係数は符号化対象ブロックの大きさ及び形状、三角形領域の分割形状に基づいて一意に決定可能であるため、システムがあらかじめ符号化対象ブロックの大きさ及び形状、三角形領域の分割形状ごとの合成領域判定テーブルを用意しておき、これを参照することで判定を行ってもよい。
　前述のように、前記取得した動きベクトル情報が単予測であった場合にも、サブブロックが合成領域に含まれると判定された場合には、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタ１６０を制御する。一方、前記取得した動きベクトル情報が単予測であって、サブブロックが合成領域に含まれないと判定された場合には、フィルタ制御部１６１は当該２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び当該２つのサブブロックのそれぞれの動きベクトルに関する情報の少なくとも一方に基づいて、サブブロック境界に対するフィルタ処理を行うか否かを制御する。
　一方、フィルタ制御部１６１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界が三角形合成予測の合成領域に隣接しない場合、当該２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び当該２つのサブブロックのそれぞれの動きベクトルに関する情報、の少なくとも一方に基づいて、サブブロック境界に対するフィルタ処理を行うか否かを制御する。
　＜復号装置の構成＞
　次に、本実施形態に係る復号装置の構成について、上述した符号化装置の構成との相違点を主として説明する。図９は、本実施形態に係る復号装置２の構成を示す図である。復号装置２は、符号化ストリームから復号対象ブロックを復号する装置である。
　図９に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、デブロッキングフィルタ２３０と、フィルタ制御部２３１と、メモリ２４０と、予測部２５０とを有する。
　エントロピー復号部２００は、符号化装置１により生成された符号化ストリームを復号し、各種のシグナリング情報を復号する。具体的には、エントロピー復号部２００は、復号対象ブロックに適用された予測に関する情報（例えば、予測種別情報、動きベクトル情報）を取得し、取得した情報を予測部２５０及びフィルタ制御部２３１に出力する。
　また、エントロピー復号部２００は、符号化ストリームを復号し、量子化された変換係数を取得し、取得した変換係数を逆量子化・逆変換部２１０（逆量子化部２１１）に出力する。
　逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。
　逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から出力される量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。
　逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１から出力される変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。
　合成部２２０は、逆変換部２１２から出力される予測残差と、予測部２５０から出力される予測ブロックとを画素単位で合成することにより、復号対象ブロックを復元（復号）し、復元ブロックをデブロッキングフィルタ２３０に出力する。
　デブロッキングフィルタ２３０は、符号化装置１のデブロッキングフィルタ１６０と同様な動作を行う。デブロッキングフィルタ２３０は、合成部２２０から出力される復元ブロックと当該復元ブロックに隣接するブロックとからなる対象ブロック対の境界に対するフィルタ処理を行い、フィルタ処理後の復元ブロックをメモリ２４０に出力する。
　フィルタ制御部２３１は、エントロピー復号部２００から出力される情報に基づいて、符号化装置１のフィルタ制御部１６１と同様な動作を行う。フィルタ制御部２３１は、例えば表１に示した方法で境界強度Ｂｓを選択し、選択した境界強度Ｂｓに応じてデブロッキングフィルタ２３０を制御する。
　メモリ２４０は、デブロッキングフィルタ２３０から出力される復元ブロックをフレーム単位で復号画像として記憶する。メモリ２４０は、フレーム単位の復号画像を復号装置２の外部に出力する。
　予測部２５０は、ブロック単位で予測を行う。予測部２５０は、インター予測部２５１と、イントラ予測部２５２と、切替部２５３とを有する。
　インター予測部２５１は、メモリ２４０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２５１は、エントロピー復号部２００から出力される動きベクトル情報を用いてインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２５３に出力する。
　本実施形態において、インター予測部２５１は、三角形合成予測を行う合成予測部２５１ａを有する。合成予測部２５１ａは、復号対象ブロックを三角形領域に二分割し、２つの動きベクトルを用いて２つの三角形領域を予測して２つの三角形予測領域を生成し、生成した２つの三角形予測領域の境界の領域を重み付き平均により合成することにより、符号化対象ブロックの予測ブロックを生成する。
　合成予測部２５１ａの動作は、符号化装置１の合成予測部１８１ａの動作と同様である。但し、三角形合成予測が適用されることを示すフラグ、三角形合成予測の分割方法（図２（ａ）又は（ｂ））を示すフラグ等は、符号化ストリームにより符号化装置１から復号装置２にシグナリングされる。合成予測部２５１ａは、シグナリングされた情報に基づいて三角形合成予測を行う。
　イントラ予測部２５２は、メモリ２４０に記憶された復号画像のうち復号対象ブロックに隣接する参照画素を参照し、エントロピー復号部２００から出力される情報に基づいて、復号対象ブロックをイントラ予測により予測する。そして、イントラ予測部２５２は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２５３に出力する。
　切替部２５３は、インター予測部２５１から出力されるインター予測ブロックとイントラ予測部２５２から出力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。
　このように、本実施形態に係る復号装置２は、符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部２００と、エントロピー復号部２００が出力する変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部２１０と、復号対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して復号対象ブロックの予測ブロックを生成する合成予測部２５１ａと、復元した予測残差と予測ブロックとを合成して復号対象ブロックを復元する合成部２２０と、復元した復号対象ブロックと隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタ２３０とを有する。
　また、デブロッキングフィルタ２３０は、ブロック境界を跨ぐ２つのサブブロック（ブロックＰ及びＱ）を１単位としてフィルタ処理を行う。フィルタ制御部２３１は、当該２つのサブブロックのサブブロック境界が三角形合成予測の合成領域に隣接する場合、サブブロック境界に対するフィルタ処理を行うようにデブロッキングフィルタ２３０を制御する。
　一方、フィルタ制御部２３１は、２つのサブブロック（ブロックＰ及びＱ）のサブブロック境界が三角形合成予測の合成領域に隣接しない場合、当該２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び当該２つのサブブロックのそれぞれの動きベクトルに関する情報、の少なくとも一方に基づいて、サブブロック境界に対するフィルタ処理を行うか否かを制御する。
　＜フィルタ制御部の動作例＞
　次に、本実施形態に係るフィルタ制御部１６１及びフィルタ制御部２３１の動作例について説明する。フィルタ制御部１６１及びフィルタ制御部２３１は同じ動作を行うため、ここではフィルタ制御部２３１を例に挙げて説明する。図１０は、本実施形態に係るフィルタ制御部２３１の動作フロー例を示す図である。
　図１０に示すように、ステップＳ１において、フィルタ制御部２３１は、ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されているか否かを判定する。ブロックＰ及びＱの少なくとも一方にイントラ予測が適用されている場合（ステップＳ１：ＹＥＳ）、ステップＳ２において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝２を選択する。
　ブロックＰ及びＱのいずれもイントラ予測が適用されていない場合（ステップＳ１：ＮＯ）、すなわち、ブロックＰ及びＱの両方にインター予測が適用されている場合、ステップＳ３において、フィルタ制御部２３１は、ブロックＰ及びＱの少なくとも一方が三角形合成予測の合成領域に属するか否かを判定する。ブロックＰ及びＱの少なくとも一方が三角形合成予測の合成領域に属する場合（ステップＳ３：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。
　ブロックＰ及びＱのいずれも三角形合成予測の合成領域に属しない場合（ステップＳ３：ＮＯ）、ステップＳ５において、フィルタ制御部２３１は、ブロックＰ及びＱの少なくとも一方に非ゼロ変換係数が含まれているか否かを判定する。ブロックＰ及びＱの少なくとも一方に非ゼロ変換係数が含まれている場合（ステップＳ５：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。
　ブロックＰ及びＱのいずれにも非ゼロ変換係数が含まれていない場合（ステップＳ３：ＮＯ）、すなわち、予測ブロックをそのまま復元ブロックとする場合、ステップＳ６において、フィルタ制御部２３１は、ブロックＰ及びＱの動きベクトルの数及び参照画像（参照先フレーム）が異なるか否かを判定する。ブロックＰ及びＱの動きベクトルの数及び参照画像が異なる場合（ステップＳ６：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。
　ブロックＰ及びＱの動きベクトルの数及び参照画像が同じである場合（ステップＳ６：ＮＯ）、ステップＳ７において、フィルタ制御部２３１は、ブロックＰ及びＱの動きベクトルの差が閾値以上であるか否かを判定する。ブロックＰ及びＱの動きベクトルの差が閾値以上である場合（ステップＳ７：ＹＥＳ）、ステップＳ４において、フィルタ制御部２３１は、フィルタ処理を行うようデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝１を選択する。
　ブロックＰ及びＱの動きベクトルの差が閾値未満である場合（ステップＳ７：ＮＯ）、例えば、ブロックＰ及びＱの動きベクトルの値が同じである場合、ステップＳ８において、フィルタ制御部２３１は、フィルタ処理を行わないようにデブロッキングフィルタ２３０を制御する。具体的には、フィルタ制御部２３１は、境界強度Ｂｓ＝０を選択する。
　なお、図１０に示す各判定ステップの順序は一例に過ぎず、各判定ステップの順序を変更してもよい。例えば、ステップＳ３の判定をステップＳ７の判定の後に行ってもよい。
　＜その他の実施形態＞
　符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
　符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。
　以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　なお、本願は日本国特許出願第２０１９－１５７４９３号（２０１９年８月２９日出願）の優先権を主張し、その内容のすべてが参照により本願明細書に組み込まれている。

Claims (8)

  1. 　画像を分割して得たブロック単位で符号化を行う符号化装置であって、
    　符号化対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して前記符号化対象ブロックの予測ブロックを生成する合成予測部と、
    　前記符号化対象ブロックと前記予測ブロックとの差を表す予測残差に対して変換処理及び量子化処理を行う変換・量子化部と、
    　前記変換・量子化部により得た変換係数に対して逆量子化処理及び逆変換処理を行って前記予測残差を復元する逆量子化・逆変換部と、
    　前記復元した予測残差と前記予測ブロックとを合成して前記符号化対象ブロックを復元する合成部と、
    　前記復元した符号化対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタと、
    　前記合成予測部が前記重み付き平均により合成した合成領域の位置に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部と、を備えることを特徴とする符号化装置。
  2. 　前記デブロッキングフィルタは、前記ブロック境界を跨ぐ２つのサブブロックを１単位として前記フィルタ処理を行い、
    　前記フィルタ制御部は、前記２つのサブブロックのサブブロック境界が前記合成領域に隣接する場合、前記サブブロック境界に対する前記フィルタ処理を行うように前記デブロッキングフィルタを制御することを特徴とする請求項１に記載の符号化装置。
  3. 　前記フィルタ制御部は、前記サブブロック境界が前記合成領域に隣接しない場合、前記２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び前記２つのサブブロックのそれぞれの動きベクトルに関する情報、の少なくとも一方に基づいて、前記サブブロック境界に対する前記フィルタ処理を行うか否かを制御することを特徴とする請求項２に記載の符号化装置。
  4. 　画像を分割して得たブロック単位で復号を行う復号装置であって、
    　符号化ストリームを復号することで、復号対象ブロックに対応する変換係数を出力するエントロピー復号部と、
    　前記エントロピー復号部が出力する前記変換係数に対して逆量子化処理及び逆変換処理を行って予測残差を復元する逆量子化・逆変換部と、
    　前記復号対象ブロックを分割して得た複数の分割領域のそれぞれについて動きベクトルを用いて領域予測画像を生成し、生成した複数の領域予測画像の境界の領域を重み付き平均により合成して前記復号対象ブロックの予測ブロックを生成する合成予測部と、
    　前記復元した予測残差と前記予測ブロックとを合成して前記復号対象ブロックを復元する合成部と、
    　前記復元した復号対象ブロックと当該符号化対象ブロックに隣接する隣接ブロックとからなる２つのブロックのブロック境界に対するフィルタ処理を行うデブロッキングフィルタと、
    　前記合成予測部が前記重み付き平均により合成した合成領域の位置に基づいて、前記デブロッキングフィルタを制御するフィルタ制御部と、を備えることを特徴とする復号装置。
  5. 　前記デブロッキングフィルタは、前記ブロック境界を跨ぐ２つのサブブロックを１単位として前記フィルタ処理を行い、
    　前記フィルタ制御部は、前記２つのサブブロックのサブブロック境界が前記合成領域に隣接する場合、前記サブブロック境界に対する前記フィルタ処理を行うように前記デブロッキングフィルタを制御することを特徴とする請求項４に記載の復号装置。
  6. 　前記フィルタ制御部は、前記サブブロック境界が前記合成領域に隣接しない場合、前記２つのサブブロックのそれぞれにおける非ゼロの変換係数の有無、及び前記２つのサブブロックのそれぞれの動きベクトルに関する情報、の少なくとも一方に基づいて、前記サブブロック境界に対する前記フィルタ処理を行うか否かを制御することを特徴とする請求項５に記載の復号装置。
  7. 　コンピュータを請求項１に記載の符号化装置として機能させることを特徴とするプログラム。
  8. 　コンピュータを請求項４に記載の復号装置として機能させることを特徴とするプログラム。
PCT/JP2020/032783 2019-08-29 2020-08-28 符号化装置、復号装置、及びプログラム WO2021040037A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080060836.4A CN114365487B (zh) 2019-08-29 2020-08-28 编码装置、解码装置及程序
JP2021543093A JP7474772B2 (ja) 2019-08-29 2020-08-28 符号化装置、復号装置、及びプログラム
US17/681,296 US12015789B2 (en) 2019-08-29 2022-02-25 Encoding device, decoding device and program for triangle merge protection on boundary between two blocks

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019157493 2019-08-29
JP2019-157493 2019-08-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/681,296 Continuation US12015789B2 (en) 2019-08-29 2022-02-25 Encoding device, decoding device and program for triangle merge protection on boundary between two blocks

Publications (1)

Publication Number Publication Date
WO2021040037A1 true WO2021040037A1 (ja) 2021-03-04

Family

ID=74685106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032783 WO2021040037A1 (ja) 2019-08-29 2020-08-28 符号化装置、復号装置、及びプログラム

Country Status (4)

Country Link
US (1) US12015789B2 (ja)
JP (1) JP7474772B2 (ja)
CN (1) CN114365487B (ja)
WO (1) WO2021040037A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123444A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
WO2019039322A1 (en) * 2017-08-22 2019-02-28 Panasonic Intellectual Property Corporation Of America IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282558B (zh) * 2014-07-18 2018-06-15 清华大学 帧内像素预测方法、编码方法、解码方法及其装置
WO2017030200A1 (ja) * 2015-08-20 2017-02-23 日本放送協会 画像符号化装置、画像復号化装置、及びこれらのプログラム
WO2017052405A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
EP3547685A4 (en) * 2016-11-28 2020-08-05 Nippon Hoso Kyokai CODING DEVICE, DECODING DEVICE, CODING METHODS, AND DECODING METHODS
WO2020094052A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Side information signaling for inter prediction with geometric partitioning
PL3849184T3 (pl) * 2018-11-08 2023-07-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Sposób kodowania/dekodowania sygnału obrazu i urządzenie do jego wykonywania
KR20210099008A (ko) * 2018-12-11 2021-08-11 인터디지털 브이씨 홀딩스 인코포레이티드 이미지를 디블록킹하기 위한 방법 및 장치
CN118612431A (zh) * 2019-02-08 2024-09-06 松下电器（美国）知识产权公司 编码装置、解码装置以及非暂时性计算机可读介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123444A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
WO2019039322A1 (en) * 2017-08-22 2019-02-28 Panasonic Intellectual Property Corporation Of America IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUNSUKE IWAMURA ET AL.: "[AHG18][non-CE5] Boundary strength derivation for CUs with TPM", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, 16TH MEETING, no. JVET-P0602 v1, October 2019 (2019-10-01), Geneva, CH, pages 1 - 4, XP030217825 *
SHUNSUKE IWAMURA ET AL.: "Non-CE5: Boundary strength derivation of deblocking filter for transform-skipped block", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11,15TH MEETING, no. JVET-O0656, 26 June 2019 (2019-06-26), Gothenburg, SE, pages 1 - 6, XP030220181 *
XUEWEI MENG ET AL.: "AHG18/Non-CE5: Deblocking for TPM and BCW", 16TH MEETING JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, no. JVET- P0269-v2, 3 October 2019 (2019-10-03), Geneva, CH, pages 1 - 7, XP030216761 *

Also Published As

Publication number Publication date
CN114365487B (zh) 2024-08-13
US12015789B2 (en) 2024-06-18
JP7474772B2 (ja) 2024-04-25
CN114365487A (zh) 2022-04-15
US20220182646A1 (en) 2022-06-09
JPWO2021040037A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
KR102298599B1 (ko) 샘플 적응 오프셋 필터링에 대한 인코더측 결정
JP2023143946A (ja) クロマデブロックフィルタリングのための量子化パラメータオフセット
US12137254B2 (en) Encoding device, decoding device and program
JP2024069638A (ja) 予測装置、符号化装置、復号装置、及びプログラム
CN114830646A (zh) 图像编码方法和图像解码方法
JP7357721B2 (ja) デブロッキングフィルタ制御装置及びプログラム
WO2021040037A1 (ja) 符号化装置、復号装置、及びプログラム
CN114830642A (zh) 图像编码方法和图像解码方法
JP7483725B2 (ja) 符号化装置、復号装置、及びプログラム
JP7531683B2 (ja) 符号化装置、復号装置、及びプログラム
WO2021251398A1 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
WO2021251400A1 (ja) 復号装置及びプログラム
WO2021045059A1 (ja) 符号化装置、復号装置、及びプログラム
JP2021052249A (ja) 符号化装置、復号装置、及びプログラム
CN114830641A (zh) 图像编码方法和图像解码方法
CN114830650A (zh) 图像编码方法和图像解码方法
CN114830644A (zh) 图像编码方法和图像解码方法
CN114830643A (zh) 图像编码方法和图像解码方法
JP2020195063A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20857106

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021543093

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20857106

Country of ref document: EP

Kind code of ref document: A1