WO2020184566A1 - 画像符号化装置、画像復号装置、及びプログラム - Google Patents

画像符号化装置、画像復号装置、及びプログラム Download PDF

Info

Publication number
WO2020184566A1
WO2020184566A1 PCT/JP2020/010326 JP2020010326W WO2020184566A1 WO 2020184566 A1 WO2020184566 A1 WO 2020184566A1 JP 2020010326 W JP2020010326 W JP 2020010326W WO 2020184566 A1 WO2020184566 A1 WO 2020184566A1
Authority
WO
WIPO (PCT)
Prior art keywords
conversion
unit
prediction
block
image
Prior art date
Application number
PCT/JP2020/010326
Other languages
English (en)
French (fr)
Inventor
俊輔 岩村
市ヶ谷　敦郎
慎平 根本
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to CN202080020534.4A priority Critical patent/CN113557719B/zh
Priority to JP2021505085A priority patent/JP7100194B2/ja
Priority to CN202311071069.9A priority patent/CN116939199A/zh
Priority to EP20770606.0A priority patent/EP3941044A4/en
Priority to KR1020247005609A priority patent/KR20240027865A/ko
Priority to KR1020217029043A priority patent/KR102639970B1/ko
Publication of WO2020184566A1 publication Critical patent/WO2020184566A1/ja
Priority to US17/471,734 priority patent/US11849145B2/en
Priority to JP2022105467A priority patent/JP7229413B2/ja
Priority to US18/504,619 priority patent/US20240080476A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present disclosure relates to an image coding device, an image decoding device, and a program.
  • intra-prediction In image coding technology, intra-prediction using spatial correlation within a frame is widely used.
  • a prediction block is generated by predicting each pixel in the reference block (hereinafter referred to as "reference pixel") which is a decoded block adjacent to the coded block. ..
  • the image coding device generates a conversion coefficient by performing orthogonal conversion processing on the predicted residual representing the error of the predicted block with respect to the block to be coded, and quantizes and entropy-codes the conversion coefficient to obtain the coded data. Output.
  • VVC Very Video Coding
  • PDPC Porition Dependent intraPrescription Combination
  • the predicted pixels are corrected by performing a weighted synthesis process depending on the position of the predicted pixels for the predicted pixels in the predicted block and the reference pixels in the reference block.
  • the prediction accuracy of the region near the reference block in the prediction block is improved, and the energy of the region near the reference block in the prediction residual can be reduced.
  • JVET-L1001 "Versatile Video Coding (Draft 3)"
  • the image coding device is a device that encodes a coded target block obtained by dividing an image.
  • the image coding device controls an intra prediction unit that predicts the coded block by intra prediction and generates a prediction block, and a conversion process for a prediction residual representing an error of the prediction block with respect to the coded block.
  • Entropy coding that entropy-encodes the conversion control unit that performs conversion processing for the predicted residual and the control information of the conversion processing by the conversion control unit as control flags based on the control of the conversion control unit. It has a part.
  • the intra prediction unit includes a synthesis processing control unit that controls a weighting synthesis process that depends on the position of the prediction pixel in the prediction block based on the control flag, a reference pixel adjacent to the coding target block, and the prediction. It has a correction unit that corrects the predicted pixel by performing the weighting synthesis process on the pixel.
  • the image decoding device is a device that decodes a decoding target block obtained by dividing and encoding an image.
  • the image decoding device has an entropy decoding unit that decodes an entropy-encoded control flag as control information for conversion processing on the coding side, and an inverse conversion with respect to a conversion coefficient corresponding to the decoding target block based on the control flag.
  • the inverse conversion control unit that controls the processing, the inverse conversion unit that performs the inverse conversion processing for the conversion coefficient corresponding to the decoding target block based on the control of the inverse conversion control unit, and the decoding target block are predicted by intra prediction. It is provided with an intra prediction unit that generates a prediction block.
  • the intra prediction unit includes a synthesis processing control unit that controls a weighting synthesis process that depends on the position of the prediction pixel in the prediction block based on the control flag, and a reference pixel and the prediction pixel adjacent to the decoding target block. It has a correction unit that corrects the predicted pixel by performing the weighting synthesis process.
  • the gist of the program related to the third feature is to make the computer function as an image coding device according to the first feature.
  • the gist of the program according to the fourth feature is to make the computer function as an image decoding device according to the second feature.
  • PDPC weighting synthesis process
  • DST7 is a transformation that includes a basis in which the impulse response is monotonically increasing. Therefore, when performing orthogonal conversion processing by applying DST7 to the predicted residuals in which the energy in the region near the reference block is small and the energy in the region far from the reference block is large, the conversion coefficient is set to the low region. The effect of concentrating is great.
  • DCT8 is a transformation including a basis in which the impulse response is monotonically reduced. Therefore, when DCT8 is applied to the predicted residuals such that the energy in the region near the reference block is large and the energy in the region far from the reference block is small, the conversion coefficient is set to the low region. The effect of concentrating is great.
  • the present disclosure aims to improve the coding efficiency.
  • the image coding device and the image decoding device according to the embodiment will be described with reference to the drawings.
  • the image coding device and the image decoding device according to the embodiment encode and decode a moving image represented by MPEG, respectively.
  • MPEG moving image represented by MPEG
  • FIG. 1 is a diagram showing a configuration of an image coding device 1 according to the present embodiment.
  • the image coding apparatus 1 includes a block dividing unit 100, a subtracting unit 110, a conversion / quantization unit 120, an entropy coding unit 130, an inverse quantization / inverse conversion unit 140, and the like. It has a synthesis unit 150, a memory 160, a prediction unit 170, and a conversion determination unit 180.
  • the conversion determination unit 180 corresponds to the conversion control unit.
  • the block division unit 100 divides the original image, which is an input image for each frame (or picture) constituting the moving image, into a plurality of image blocks, and outputs the image block obtained by the division to the subtraction unit 110.
  • the size of the image block is, for example, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, 4 ⁇ 4 pixels, or the like.
  • the shape of the image block is not limited to a square and may be a rectangle (rectangle).
  • the image block is a unit for encoding by the image coding device 1 (encoding target block) and a unit for decoding by the image decoding device (decoding target block).
  • Such an image block is sometimes called a CU (Coding Unit).
  • the subtraction unit 110 calculates a prediction residual representing a difference (error) between the coding target block input from the block division unit 100 and the prediction block obtained by predicting the coding target block by the prediction unit 170. Specifically, the subtraction unit 110 calculates the prediction residual by subtracting each pixel value of the prediction block from each pixel value of the coded block, and converts the calculated prediction residual into the conversion / quantization unit 120. Output.
  • the conversion / quantization unit 120 performs orthogonal conversion processing and quantization processing for each block to be encoded.
  • the conversion / quantization unit 120 includes a conversion unit 121 and a quantization unit 122.
  • the conversion unit 121 performs orthogonal conversion processing on the predicted residual input from the subtraction unit 110 to calculate a conversion coefficient, and outputs the calculated conversion coefficient to the quantization unit 122.
  • the orthogonal transform means, for example, a discrete cosine transform (DCT: Discrete Cosine Transform), a discrete sine transform (DST: Discrete Sine Transform), a Karhunen-Loeve transformation (KLT), and the like.
  • the orthogonal conversion process includes a horizontal conversion process that performs orthogonal conversion in the horizontal direction and a vertical conversion process that performs orthogonal conversion in the vertical direction.
  • the conversion determination unit 180 determines the type of conversion to be applied to each of the horizontal conversion process and the vertical conversion process, and sets a control flag indicating the determined conversion type to the conversion unit 121, the inverse conversion unit 142, and the entropy coding unit 130. Output.
  • the conversion unit 121 performs horizontal conversion processing and vertical conversion processing according to the control flags input from the conversion determination unit 180 for each coded block. That is, the conversion unit 121 switches and applies a plurality of types of orthogonal conversions.
  • the conversion determination unit 180 determines one conversion type from a total of three types of orthogonal conversion, DCT2, DCT8, and DST7, for each of the horizontal conversion processing and the vertical conversion processing.
  • FIG. 2 is a diagram showing the basis (Basis function) of a total of three conversion types of DCT2 (DCT-II), DCT8 (DCT-VIII), and DST7 (DST-VII).
  • DCT-II DCT2
  • DCT8 DCT8
  • DST7 DST-VII
  • N the size of the coded block.
  • DCT8 corresponds to the first type of conversion including the basis in which the impulse response is monotonically reduced.
  • DCT8 has a large value at one end of the conversion basis waveform and is open. A transformation with such basis characteristics is sometimes referred to as a "transformation with one end open”.
  • DST7 corresponds to a second type of orthogonal transformation including a basis in which the impulse response is monotonically increasing.
  • one end of the conversion basis waveform is closed.
  • a transformation with such basis characteristics is sometimes referred to as a "transformation with one end closed".
  • the plurality of conversion processes include the above-mentioned conversion process (for example, a transformation including a basis having the characteristics of monotonic increase and monotonous decrease). Therefore, the plurality of types of orthogonal transformations applied to the predicted residuals are not limited to these three conversion types.
  • DCT / DST such as DCT1 or DCT5 may be used, conversion skip without conversion processing adopted in HEVC or VVC standard draft may be used, or conversion such as discrete wavelet conversion may be performed. You may use it.
  • FIG. 3 is a diagram showing a control flag output by the conversion determination unit 180 according to the present embodiment.
  • the conversion determination unit 180 outputs a total of three control flags of MTS_CU_flag, MTS_Hor_flag, and MTS_Ver_flag.
  • the conversion determination unit 180 may apply DCT8 or DST7 to at least one of the horizontal conversion process and the vertical conversion process.
  • the conversion determination unit 180 sets MTS_Hor_flag and MTS_Ver_flag according to the combination of conversion types applied to the horizontal conversion process and the vertical conversion process.
  • the quantization unit 122 quantizes the conversion coefficient input from the conversion unit 121 using the quantization parameter and the quantization matrix, and the quantization conversion coefficient, which is the quantized conversion coefficient, is the entropy coding unit. It is output to 130 and the inverse quantization / inverse conversion unit 140.
  • the entropy coding unit 130 performs entropy coding on the quantization conversion coefficient input from the quantization unit 122, performs data compression to generate coded data (bit stream), and image-codes the coded data. Output to the outside of the conversion device 1.
  • a Huffman code a CABAC (Context-based Adaptive Binary Arithmetic Coding; context-adaptive binary arithmetic code) or the like can be used.
  • the entropy coding unit 130 receives information such as syntax related to prediction from the prediction unit 170, and also performs entropy coding of the input information.
  • the entropy coding unit 130 also performs the entropy coding of the control flag described above.
  • the inverse quantization / inverse conversion unit 140 performs inverse quantization processing and inverse orthogonal conversion processing for each block to be encoded.
  • the inverse quantization / inverse conversion unit 140 includes an inverse quantization unit 141 and an inverse conversion unit 142.
  • the inverse quantization unit 141 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122. Specifically, the inverse quantization unit 141 restores the conversion coefficient by inversely quantizing the conversion coefficient input from the quantization unit 122 using the quantization parameter and the quantization matrix, and the restored conversion coefficient. The restoration conversion coefficient is output to the inverse conversion unit 142.
  • the inverse conversion unit 142 performs an inverse orthogonal conversion process corresponding to the orthogonal conversion process performed by the conversion unit 121. For example, when the conversion unit 121 performs DCT, the inverse conversion unit 142 performs reverse DCT. The inverse conversion unit 142 restores the predicted residual by performing an inverse orthogonal conversion process on the restoration conversion coefficient input from the inverse quantization unit 141, and synthesizes the restored predicted residual which is the restored predicted residual. Output to.
  • the synthesizing unit 150 synthesizes the restoration prediction residual input from the inverse conversion unit 142 with the prediction block input from the prediction unit 170 in pixel units.
  • the synthesizing unit 150 adds each pixel value of the restoration prediction residual and each pixel value of the prediction block to reconstruct (decode) the coded block, and outputs the decoded image of the decoded block unit to the memory 160.
  • Such a decoded image is sometimes called a reconstructed image (reconstructed block).
  • the memory 160 stores the decoded image input from the compositing unit 150.
  • the memory 160 stores the decoded image in frame units.
  • the memory 160 outputs the stored decoded image to the prediction unit 170.
  • a loop filter may be provided between the compositing unit 150 and the memory 160.
  • the prediction unit 170 makes a prediction in units of blocks to be encoded.
  • the prediction unit 170 includes an inter prediction unit 171, an intra prediction unit 172, and a switching unit 173.
  • the inter-prediction unit 171 uses the decoded image stored in the memory 160 as a reference image to calculate the motion vector by a method such as block matching. Further, the inter-prediction unit 171 predicts the coded block to generate an inter-prediction block, and outputs the generated inter-prediction block to the switching unit 173.
  • the inter-prediction unit 171 selects the optimum inter-prediction method from inter-prediction using a plurality of reference images (typically bi-prediction) and inter-prediction using one reference image (one-way prediction). Inter-prediction is performed using the selected inter-prediction method.
  • the inter-prediction unit 171 outputs information (motion vector, etc.) related to the inter-prediction to the entropy coding unit 130.
  • the intra prediction unit 172 generates an intra prediction block by referring to the decoded reference pixels around the coded target block among the decoded images stored in the memory 160, and the generated intra prediction block is switched to the switching unit 173. Output to. Further, the intra prediction unit 172 outputs the syntax related to the selected prediction mode to the entropy coding unit 130.
  • the intra prediction unit 172 selects the optimum prediction mode to be applied to the coded target block from a plurality of prediction modes, and predicts the coded target block using the selected prediction mode.
  • FIG. 4 is a diagram showing an intra prediction mode in the intra prediction unit 172 according to the present embodiment.
  • the mode "0" of the prediction mode is Planar prediction
  • the mode "1" of the prediction mode is DC prediction
  • the modes "2" to “66” of the prediction mode are direction prediction.
  • the direction of the arrow indicates the prediction direction
  • the starting point of the arrow indicates the position of the pixel to be predicted
  • the end point of the arrow indicates the position of the reference pixel used for predicting the pixel to be predicted.
  • Modes “2" to “33” are prediction modes that mainly refer to the reference pixel on the left side of the target block for intra prediction.
  • the modes “35” to “66” are prediction modes that mainly refer to the reference pixel on the upper side of the target block for intra prediction.
  • the switching unit 173 switches between the inter prediction block input from the inter prediction unit 171 and the intra prediction block input from the intra prediction unit 172, and outputs one of the prediction blocks to the subtraction unit 110 and the synthesis unit 150.
  • the intra prediction unit 172 includes a prediction pixel generation unit 172a, a correction unit 172b, and a weight control unit 172c.
  • the weight control unit 172c corresponds to the synthesis processing control unit.
  • the prediction pixel generation unit 172a predicts each pixel value in the coded target block by intra prediction using any of the above-mentioned intra prediction modes, generates a prediction block composed of prediction pixels, and generates a prediction block. Output to the correction unit 172b.
  • the correction unit 172b predicts the predicted pixels in the predicted block input from the predicted pixel generation unit 172a and the reference pixels adjacent to the coded target block by performing weighting synthesis processing depending on the position of the predicted pixels. Correct the pixels.
  • the correction unit 172b outputs the corrected prediction block (intra prediction block) composed of the corrected prediction pixels to the switching unit 173.
  • the correction unit 172b corrects the prediction pixels in the prediction block by the PDPC.
  • PDPC is an example of weighted composition processing.
  • FIG. 5 is a diagram showing a PDPC according to the present embodiment.
  • the PDPC has an upper reference pixel (R x, -1 ) and a left reference pixel (R -1, y ) with respect to the predicted pixel pred (x, y) in the generated prediction block. ),
  • the reference pixel (R -1, -1 ) on the upper left is corrected by weighting at a specific ratio according to the coordinates (x, y) of the predicted pixel.
  • the PDPC obtains the corrected predicted pixel pred'(x, y).
  • the upper reference pixel (R x, -1 ) corresponds to a vertical reference pixel vertically adjacent to the coded block.
  • the reference pixel (R- 1, y ) on the left side corresponds to a horizontal reference pixel horizontally adjacent to the coded block.
  • the weight is increased for the predicted pixel close to the reference pixel and decreased for the predicted pixel far from the reference pixel, or the weight of the reference pixel is set to 0 (that is, only the predicted pixel).
  • the correction unit 172b corrects the predicted pixel pred (x, y) by, for example, the following equation (1).
  • pred'(x, y) (wL ⁇ R -1, y + wT ⁇ R x, -1 -wTL ⁇ R -1, -1 + wP ⁇ pred (x, y) +32) >> 6 ... (1)
  • x 0, ..., M-1
  • y 0, ..., N-1
  • M is the block width (wise)
  • N is the block height (height).
  • wL is a weight for the reference pixel on the left side
  • wT is a weight for the reference pixel on the upper side
  • wTL is a weight for the reference pixel on the upper left side
  • wP is a weight for the predicted pixel before correction.
  • the weight control unit 172c controls the weighting synthesis process (PDPC in this embodiment) in the correction unit 172b based on the type of conversion applied to the orthogonal conversion process.
  • the weight control unit 172c controls the weight wL for the reference pixel (R- 1, y ) on the left side based on the type of conversion applied to the horizontal conversion process. Further, the weight control unit 172c controls the weight wT for the upper reference pixel (R x, -1 ) based on the type of conversion applied to the vertical conversion process.
  • the type of conversion applied to the horizontal conversion process is the first type (DCT8 in the present embodiment) including the basis in which the impulse response T 0 (j) is monotonically decreased.
  • DCT8 the first type
  • the weight control unit 172c reduces the weight wL with respect to the reference pixel (R- 1, y ) on the left side.
  • the weight control unit 172c reduces the weight wT for the upper reference pixel (R x, -1 ). Note that "reducing the weight” may mean making the weight zero. That is, controlling the weighted composition process based on the control flag includes not executing the weighted composition process at least partially.
  • the weight control unit 172c converts the above-mentioned weights wL, wT, wTL, and wP relative to the conversion type (control flag) determined by the conversion determination unit 180 and the prediction pixel based on the upper left pixel position of the prediction block. It is determined according to the position (x, y).
  • the weight control unit 172c determines k (x) by the following equation (2) according to the conversion type (control flag) determined by the conversion determination unit 180.
  • a is an arbitrary positive integer and may be a fixed value predetermined by the system or a variable value output by the entropy encoding unit 130 as a stream.
  • the weight control unit 172c determines the weights wL, wT, wTL, and wP according to the following equation (3) according to k (x) determined by the equation (2).
  • width and height represent the width and height of the coded block, respectively, and x and y represent the pixel positions relative to the upper left coordinates of the coded block.
  • FIG. 6 is a diagram showing a configuration of an image decoding device 2 according to the present embodiment.
  • the image decoding device 2 includes an entropy decoding unit 200, an inverse quantization / inverse conversion unit 210, a synthesis unit 220, a memory 230, and a prediction unit 240.
  • the entropy decoding unit 200 decodes the coded data generated by the image coding device 1 and outputs the quantization conversion coefficient to the inverse quantization / inverse conversion unit 210. Further, the entropy decoding unit 200 acquires the syntax related to the prediction (intra-prediction and inter-prediction), and outputs the acquired syntax to the prediction unit 240.
  • the entropy decoding unit 200 acquires the above-mentioned control flag and outputs the acquired control flag to the inverse conversion unit 212 and the weight control unit 242c. That is, the entropy decoding unit 200 decodes the entropy-encoded control flag as the control information of the conversion process on the coding side.
  • the inverse quantization / inverse conversion unit 210 performs the inverse quantization process and the inverse orthogonal conversion process for each block to be decoded.
  • the inverse quantization / inverse conversion unit 210 includes an inverse quantization unit 211 and an inverse conversion unit 212.
  • the inverse quantization unit 211 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122 of the image coding device 1.
  • the inverse quantization unit 211 restores and restores the conversion coefficient of the decoding target block by inversely quantizing the quantization conversion coefficient input from the entropy decoding unit 200 using the quantization parameter and the quantization matrix.
  • the restoration conversion coefficient which is the conversion coefficient, is output to the inverse conversion unit 212.
  • the inverse conversion unit 212 performs an inverse orthogonal conversion process corresponding to the orthogonal conversion process performed by the conversion unit 121 of the image coding device 1 based on the control flag input from the entropy decoding unit 200. Specifically, the inverse conversion unit 212 performs a horizontal conversion process which is an inverse orthogonal conversion process in the horizontal direction and a vertical conversion process which is an inverse orthogonal conversion process in the vertical direction. The inverse conversion unit 212 also functions as an inverse conversion control unit that controls the inverse conversion process for the conversion coefficient corresponding to the decoding target block based on the control flag.
  • the inverse conversion unit 212 restores the predicted residual by performing an inverse orthogonal conversion process on the restoration conversion coefficient input from the inverse quantization unit 211, and synthesizes the restored predicted residual which is the restored predicted residual. Output to.
  • the synthesizing unit 220 reconstructs (decodes) the original block by synthesizing the restoration prediction residual input from the inverse conversion unit 212 and the prediction block input from the prediction unit 240 in pixel units, and blocks.
  • the decoded image (reconstruction block) of the unit is output to the memory 230.
  • the memory 230 stores the decoded image input from the compositing unit 220.
  • the memory 230 stores the decoded image in frame units.
  • the memory 230 outputs a frame-by-frame decoded image to the outside of the image decoding device 2.
  • a loop filter may be provided between the synthesis unit 220 and the memory 230.
  • the prediction unit 240 makes a prediction in units of blocks to be decoded.
  • the prediction unit 240 has an inter prediction unit 241, an intra prediction unit 242, and a switching unit 243.
  • the inter-prediction unit 241 predicts the decoding target block by inter-prediction using the decoded image stored in the memory 230 as a reference image.
  • the inter-prediction unit 241 generates an inter-prediction block by performing inter-prediction according to the syntax and motion vector input from the entropy decoding unit 200, and outputs the generated inter-prediction block to the switching unit 243.
  • the intra prediction unit 242 refers to the decoded image stored in the memory 230, and predicts the decoding target block by the intra prediction based on the syntax input from the entropy decoding unit 200. As a result, the intra prediction unit 242 generates an intra prediction block, and outputs the generated intra prediction block to the switching unit 243.
  • the switching unit 243 switches between the inter prediction block input from the inter prediction unit 241 and the intra prediction block input from the intra prediction unit 242, and outputs one of the prediction blocks to the synthesis unit 220.
  • the intra prediction unit 242 has a prediction pixel generation unit 242a, a correction unit 242b, and a weight control unit 242c.
  • the prediction pixel generation unit 242a, the correction unit 242b, and the weight control unit 242c operate in the same manner as the prediction pixel generation unit 172a, the correction unit 172b, and the weight control unit 172c of the image coding device 1.
  • the prediction pixel generation unit 242a predicts each pixel value in the decoding target block by intra prediction in the intra prediction mode indicated by the syntax input from the entropy decoding unit 200. Then, the prediction pixel generation unit 242a generates a prediction block composed of prediction pixels, and outputs the generated prediction block to the correction unit 242b.
  • the correction unit 242b performs a weighting synthesis process depending on the position of the prediction pixel on the prediction pixel in the prediction block input from the prediction pixel generation unit 242a and the reference pixel adjacent to the decoding target block. To correct.
  • the correction unit 242b outputs a corrected prediction block (intra prediction block) composed of corrected predicted pixels to the switching unit 173.
  • the correction unit 242b corrects the prediction pixels in the prediction block by the PDPC represented by the above-mentioned formula (1).
  • the weight control unit 242c controls the weighting synthesis process (PDPC in this embodiment) in the correction unit 242b based on the type of conversion applied to the orthogonal conversion process.
  • the weight control unit 242c controls the weight wL for the reference pixel (R- 1, y ) on the left side based on the type of conversion applied to the horizontal conversion process. Further, the weight control unit 242c controls the weight wT for the upper reference pixel (R x, -1 ) based on the type of conversion applied to the vertical conversion process.
  • the specific operation of the weight control unit 242c is the same as the operation of the weight control unit 172c of the image coding device 1 described above.
  • FIG. 7 is a diagram showing an example of an operation flow of the intra prediction unit 172 according to the present embodiment.
  • step S1 the prediction pixel generation unit 172a predicts each pixel value in the coded target block by intra prediction using any of the above-mentioned intra prediction modes. Then, the prediction pixel generation unit 172a generates a prediction block composed of prediction pixels, and outputs the generated prediction block to the correction unit 172b.
  • step S2 the weight control unit 172c sets the conversion type (control flag) applied to the orthogonal conversion process and the relative position (x, y) of the predicted pixel with respect to the upper left pixel position of the predicted block.
  • the weights wL, wT, wTL, and wP used for the weighting synthesis process (PDPC in the present embodiment) in the correction unit 172b are determined by the above-mentioned equations (2) and (3). The order of steps S1 and S2 may be reversed.
  • step S3 the correction unit 172b corrects the predicted pixel pred (x, y) by the weighting synthesis process according to the above equation (1) using the weights wL, wT, wTL, and wP determined by the weight control unit 172c. Then, the corrected predicted pixel pred'(x, y) is obtained.
  • the intra prediction unit 172 includes a weight control unit 172c that controls the weighting synthesis process in the correction unit 172b based on the type of conversion applied to the orthogonal conversion process. Have.
  • the intra prediction unit 242 has a weight control unit 242c that controls the weighting synthesis process in the correction unit 242b based on the type of conversion applied to the inverse orthogonal conversion process.
  • the prediction block predicted by the intra-prediction can be appropriately corrected in consideration of the type of conversion, so that the coding efficiency can be improved.
  • the weight control unit 172c uses the following equations (4) for the weights wL, wT, wTL, and wP. ).
  • width and height represent the width and height of the coded block, respectively, and x and y represent the pixel positions relative to the upper left coordinates of the coded block.
  • the weight control unit 172c determines the weights wL, wT, wTL, and wP by the following equation (5). To do.
  • the weight control unit 172c determines the weights wL, wT, wTL, and wP by the following equation (6).
  • the weight control unit 172c controls the weighting synthesis process (PDPC) based on the type of conversion applied to the orthogonal conversion process and the size of the coded block.
  • PDPC weighting synthesis process
  • the weight may be controlled according to the type of conversion applied to the orthogonal conversion process only when the block size is less than the threshold value.
  • the weight control unit 172c uses the following equation (8) which is a modification of the above equation (1).
  • width and height represent the width and height of the block to be encoded, respectively, and Tr represents the threshold value.
  • the position of the decoding target block (reference block) referred to in the intra prediction is on the upper side and the left side of the coding target block has been described.
  • the position of the decoding target block referred to in the intra prediction is not limited to the upper side of the coding target block, but may be the lower side of the coding target block.
  • the position of the decoding target block referred to in the intra prediction is not limited to the left side of the coding target block, and may be the right side of the coding target block.
  • a program that causes a computer to execute each process performed by the image coding device 1 may be provided.
  • a program that causes a computer to execute each process performed by the image decoding device 2 may be provided.
  • the program may be recorded on a computer-readable medium.
  • Computer-readable media can be used to install programs on a computer.
  • the computer-readable medium on which the program is recorded may be a non-transient recording medium.
  • the non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
  • a circuit that executes each process performed by the image coding device 1 may be integrated, and the image coding device 1 may be configured by a semiconductor integrated circuit (chipset, SoC).
  • a circuit that executes each process performed by the image decoding device 2 may be integrated, and the image decoding device 2 may be configured by a semiconductor integrated circuit (chipset, SoC).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

画像符号化装置１は、画像を分割して得た符号化対象ブロックを符号化する画像符号化装置であって、前記符号化対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部１７２と、前記符号化対象ブロックに対する前記予測ブロックの誤差を表す予測残差に対して直交変換処理を行う変換部１２１とを備える。前記イントラ予測部は、前記変換部における前記直交変換処理に適用する変換の種別に基づいて、前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する重み制御部１７２ｃと、前記符号化対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部１７２ｂとを有する。

Description

画像符号化装置、画像復号装置、及びプログラム
　本開示は、画像符号化装置、画像復号装置、及びプログラムに関する。
　画像符号化技術において、フレーム内の空間的な相関を利用したイントラ予測が広く用いられている。イントラ予測では、符号化対象ブロックに隣接する復号済みブロックである参照ブロック内の画素（以下、「参照画素」と呼ぶ）を参照して当該ブロック内の各画素を予測して予測ブロックを生成する。
　画像符号化装置は、符号化対象ブロックに対する予測ブロックの誤差を表す予測残差に対して直交変換処理を行うことにより変換係数を生成し、変換係数を量子化及びエントロピー符号化して符号化データを出力する。
　近年、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）及びＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ）は、次世代映像符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）の標準化作業を進めている（例えば、非特許文献１参照）。
　ＶＶＣの規格案では、直交変換処理において、符号化対象ブロックごとに、ＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）２、ＤＳＴ（Ｄｉｓｃｒｅｔｅ　Ｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）７、ＤＣＴ８の合計３つの種別の直交変換を選択的に適用することで、予測残差の特性により適した変換を行うことを可能としている。
　また、ＶＶＣの規格案では、イントラ予測により生成される予測ブロックを補正する手法として、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ　Ｄｅｐｅｎｄｅｎｔ　ｉｎｔｒａ　Ｐｒｅｄｉｃｔｉｏｎ　Ｃｏｍｂｉｎａｔｉｏｎ）と呼ばれる手法が採用されている。
　ＰＤＰＣでは、予測ブロック内の予測画素と参照ブロック内の参照画素とに対して、予測画素の位置に依存した重み付け合成処理を行うようにして予測画素を補正する。これにより、予測ブロック内において参照ブロックの近くの領域の予測精度が向上し、予測残差のうち参照ブロックの近くの領域のエネルギーを低減することができる。
　第１の特徴に係る画像符号化装置は、画像を分割して得た符号化対象ブロックを符号化する装置である。前記画像符号化装置は、前記符号化対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部と、前記符号化対象ブロックに対する前記予測ブロックの誤差を表す予測残差に対する変換処理を制御する変換制御部と、前記変換制御部の制御に基づいて、前記予測残差に対する変換処理を行う変換部と、前記変換制御部による変換処理の制御情報を制御フラグとしてエントロピー符号化するエントロピー符号化部とを備える。前記イントラ予測部は、前記制御フラグに基づいて、前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、前記符号化対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部とを有する。
　第２の特徴に係る画像復号装置は、画像を分割及び符号化して得た復号対象ブロックを復号する装置である。前記画像復号装置は、符号化側で変換処理の制御情報としてエントロピー符号化された制御フラグを復号するエントロピー復号部と、前記制御フラグに基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を制御する逆変換制御部と、前記逆変換制御部の制御に基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を行う逆変換部と、前記復号対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部とを備える。前記イントラ予測部は、前記制御フラグに基づいて、前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、前記復号対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部とを有する。
　第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させることを要旨とする。
　第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させることを要旨とする。
実施形態に係る画像符号化装置の構成を示す図である。 ＤＣＴ２（ＤＣＴ－ＩＩ）、ＤＣＴ８（ＤＣＴ－ＶＩＩＩ）、ＤＳＴ７（ＤＳＴ－ＶＩＩ）の合計３つの変換種別の基底（Ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ）を示す図である。 実施形態に係る変換決定部が出力する制御フラグを示す図である。 実施形態に係るイントラ予測部におけるイントラ予測モードを示す図である。 実施形態に係る重み付け合成処理（ＰＤＰＣ）を示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係るイントラ予測部の動作フロー例を示す図である。
　ＤＳＴ７は、インパルス応答が単調増加となる基底を含む変換である。このため、参照ブロックの近くの領域のエネルギーが小さく、参照ブロックの遠くの領域のエネルギーが大きいような予測残差に対してＤＳＴ７を適用して直交変換処理を行う場合、変換係数を低域に集中させる効果が大きい。
　一方、ＤＣＴ８は、インパルス応答が単調減少となる基底を含む変換である。このため、参照ブロックの近くの領域のエネルギーが大きく、参照ブロックの遠くの領域のエネルギーが小さいような予測残差に対してＤＣＴ８を適用して直交変換処理を行う場合、変換係数を低域に集中させる効果が大きい。
　しかしながら、直交変換処理においてＤＣＴ８を適用する場合、ＰＤＰＣにより参照ブロックの近くの領域のエネルギーを小さくするように補正すると、ＤＣＴ８の効果が損なわれ、符号化効率が低下しうるという問題がある。
　そこで、本開示は、符号化効率を改善することを目的とする。
　図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
　＜画像符号化装置の構成＞
　まず、本実施形態に係る画像符号化装置について説明する。図１は、本実施形態に係る画像符号化装置１の構成を示す図である。
　図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０と、変換決定部１８０とを有する。本実施形態において、変換決定部１８０は、変換制御部に相当する。
　ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを減算部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（矩形）であってもよい。
　画像ブロックは、画像符号化装置１が符号化を行う単位（符号化対象ブロック）であり、且つ画像復号装置が復号を行う単位（復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ　Ｕｎｉｔ）と呼ばれることがある。
　減算部１１０は、ブロック分割部１００から入力される符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、減算部１１０は、符号化対象ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。
　変換・量子化部１２０は、符号化対象ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。
　変換部１２１は、減算部１１０から入力される予測残差に対して直交変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ　Ｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ：Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ　Ｔｒａｎｓｆｏｒｍ）等をいう。
　直交変換処理は、水平方向に直交変換を行う水平変換処理と、垂直方向に直交変換を行う垂直変換処理とを含む。
　変換決定部１８０は、水平変換処理及び垂直変換処理のそれぞれに適用する変換の種別を決定し、決定した変換種別を示す制御フラグを変換部１２１、逆変換部１４２、及びエントロピー符号化部１３０に出力する。
　変換部１２１は、変換決定部１８０から符号化対象ブロックごとに入力される制御フラグに応じて水平変換処理及び垂直変換処理を行う。すなわち、変換部１２１は、複数種別の直交変換を切り替えて適用する。
　本実施形態において、変換決定部１８０は、水平変換処理及び垂直変換処理のそれぞれについて、ＤＣＴ２、ＤＣＴ８、及びＤＳＴ７の合計３つの種別の直交変換の中から１つの変換種別を決定する。
　図２は、ＤＣＴ２（ＤＣＴ－ＩＩ）、ＤＣＴ８（ＤＣＴ－ＶＩＩＩ）、ＤＳＴ７（ＤＳＴ－ＶＩＩ）の合計３つの変換種別の基底（Ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ）を示す図である。図２において、Ｎは符号化対象ブロックのサイズを表す。
　ＤＣＴ８は、インパルス応答が単調減少となる基底を含む第１種別の変換に相当する。具体的には、ＤＣＴ８は、最も低域のフィルタのインパルス応答Ｔ0（ｊ）が単調減少となる変換である（但し、ｊ＝０，…，Ｎ－１）。ＤＣＴ８は、変換基底波形の一端が大きい値を持ち開放となる。このような基底の特徴を持つ変換は、「一方の端点が開いた変換」と呼ばれることがある。
　ＤＳＴ７は、インパルス応答が単調増加となる基底を含む第２種別の直交変換に相当する。具体的には、ＤＳＴ７は、最も低域のフィルタのインパルス応答Ｔ0（ｊ）が単調増加となる変換である（但し、ｊ＝０，…，Ｎ－１）。ＤＳＴ７は、変換基底波形の一端が閉じている。このような基底の特徴を持つ変換は、「一方の端点が閉じた変換」と呼ばれることがある。
　本実施形態では、予測残差に適用する複数種別の直交変換としてＤＣＴ２、ＤＣＴ８、ＤＳＴ７の３つを例に説明するが、複数の変換処理を選択的に切り替えて適用するものであればよい。当該複数の変換処理は、上述したような変換処理（例えば、単調増加や単調減少の特徴を持つ基底を含む変換）を含む。そのため、予測残差に適用する複数種別の直交変換は、これら３つの変換種別に限定されない。例えば、ＤＣＴ１やＤＣＴ５などの他のＤＣＴ・ＤＳＴを用いてもよいし、ＨＥＶＣやＶＶＣ規格案で採用されている変換処理を行わない変換スキップを用いてもよいし、離散ウェーブレット変換などの変換を用いてもよい。
　図３は、本実施形態に係る変換決定部１８０が出力する制御フラグを示す図である。
　図３に示すように、変換決定部１８０は、ＭＴＳ＿ＣＵ＿ｆｌａｇ、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ、及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇの合計３つの制御フラグを出力する。
　変換決定部１８０は、水平変換処理及び垂直変換処理の両方にＤＣＴ２を適用する場合、ＭＴＳ＿ＣＵ＿ｆｌａｇ＝0とする。
　一方、変換決定部１８０は、水平変換処理及び垂直変換処理の少なくともいずれか一方にＤＣＴ８もしくはＤＳＴ７を適用する場合がある。この場合、変換決定部１８０は、水平変換処理及び垂直変換処理に適用する変換種別の組み合わせに応じてＭＴＳ＿Ｈｏｒ＿ｆｌａｇ及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇを設定する。
　これらの３つの制御フラグは、後述のエントロピー符号化部１３０によりエントロピー符号化処理を施されてストリーム出力される。但し、ＭＴＳ＿ＣＵ＿ｆｌａｇ＝０である場合、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇはストリーム出力しなくてもよい。
　図１に戻り、量子化部１２２は、変換部１２１から入力される変換係数を量子化パラメータ及び量子化行列を用いて量子化し、量子化した変換係数である量子化変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。
　エントロピー符号化部１３０は、量子化部１２２から入力される量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。ここで、エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ　Ａｄａｐｔｉｖｅ　Ｂｉｎａｒｙ　Ａｒｉｔｈｍｅｔｉｃ　Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。
　なお、エントロピー符号化部１３０は、予測部１７０から予測に関するシンタックス等の情報が入力され、入力される情報のエントロピー符号化も行う。また、エントロピー符号化部１３０は、上述した制御フラグのエントロピー符号化も行う。
　逆量子化・逆変換部１４０は、符号化対象ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。
　逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力される変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数である復元変換係数を逆変換部１４２に出力する。
　逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１がＤＣＴを行った場合には、逆変換部１４２は逆ＤＣＴを行う。逆変換部１４２は、逆量子化部１４１から入力される復元変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。
　合成部１５０は、逆変換部１４２から入力される復元予測残差を、予測部１７０から入力される予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを再構成（復号）し、復号したブロック単位の復号画像をメモリ１６０に出力する。このような復号画像は、再構成画像（再構成ブロック）と呼ばれることがある。
　メモリ１６０は、合成部１５０から入力される復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。メモリ１６０は、記憶している復号画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。
　予測部１７０は、符号化対象ブロック単位で予測を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。
　インター予測部１７１は、メモリ１６０に記憶された復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出する。さらに、インター予測部１７１は、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。
　インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。
　イントラ予測部１７２は、メモリ１６０に記憶された復号画像のうち、符号化対象ブロックの周辺にある復号済みの参照画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。また、イントラ予測部１７２は、選択した予測モードに関するシンタックスをエントロピー符号化部１３０に出力する。
　イントラ予測部１７２は、複数の予測モードの中から、符号化対象ブロックに適用する最適な予測モードを選択し、選択した予測モードを用いて符号化対象ブロックを予測する。
　図４は、本実施形態に係るイントラ予測部１７２におけるイントラ予測モードを示す図である。図４に示すように、０から６６までの６７通りの予測モードがある。予測モードのモード「０」はＰｌａｎａｒ予測であり、予測モードのモード「１」はＤＣ予測であり、予測モードのモード「２」乃至「６６」は方向性予測である。方向性予測において、矢印の方向は予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象の画素の予測に用いる参照画素の位置を示す。モード「２」～「３３」は、イントラ予測の対象ブロックの左側の参照画素を主として参照する予測モードである。一方で、モード「３５」～「６６」は、イントラ予測の対象ブロックの上側の参照画素を主として参照する予測モードである。
　切替部１７３は、インター予測部１７１から入力されるインター予測ブロックとイントラ予測部１７２から入力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを減算部１１０及び合成部１５０に出力する。
　本実施形態において、イントラ予測部１７２は、予測画素生成部１７２ａと、補正部１７２ｂと、重み制御部１７２ｃとを有する。重み制御部１７２ｃは、合成処理制御部に相当する。
　予測画素生成部１７２ａは、上述したイントラ予測モードのいずれかを用いて、符号化対象ブロック内の各画素値をイントラ予測により予測し、予測画素からなる予測ブロックを生成し、生成した予測ブロックを補正部１７２ｂに出力する。
　補正部１７２ｂは、予測画素生成部１７２ａから入力される予測ブロック内の予測画素と符号化対象ブロックに隣接する参照画素とに対して、予測画素の位置に依存した重み付け合成処理を行うことで予測画素を補正する。補正部１７２ｂは、補正後の予測画素からなる補正後の予測ブロック（イントラ予測ブロック）を切替部１７３に出力する。
　本実施形態において、補正部１７２ｂは、ＰＤＰＣにより予測ブロック内の予測画素を補正する。ＰＤＰＣは、重み付け合成処理の一例である。
　図５は、本実施形態に係るＰＤＰＣを示す図である。図５に示すように、ＰＤＰＣは、生成した予測ブロック内の予測画素ｐｒｅｄ（ｘ，ｙ）に対して、上側の参照画素（Ｒx,-1）、左側の参照画素（Ｒ-1,y）、左上の参照画素（Ｒ-1,-1）を、予測画素の座標（ｘ，ｙ）に応じて特定の割合で重みづけにより補正する。そして、ＰＤＰＣは、補正した予測画素ｐｒｅｄ'（ｘ，ｙ）を得る。
　本実施形態において、上側の参照画素（Ｒx,-1）は、符号化対象ブロックに垂直方向に隣接する垂直参照画素に相当する。左側の参照画素（Ｒ-1,y）は、符号化対象ブロックに水平方向に隣接する水平参照画素に相当する。
　なお、一般的なＰＤＰＣでは、参照画素から近い予測画素には重みを大きくし、遠い予測画素には重みを小さくする又は参照画素の重みを０（すなわち予測画素のみ）にする。
　補正部１７２ｂは、例えば下記の式（１）により予測画素ｐｒｅｄ（ｘ，ｙ）を補正する。
　pred'(x,y) = (wL・R-1,y+wT・Rx,-1-wTL・R-1,-1+wP・pred(x,y)+32) >> 6
　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　但し、ｘ＝０，…，Ｍ－１であり、ｙ＝０，…，Ｎ－１であり、Ｍはブロック幅（ｗｉｄｔｈ）、Ｎはブロック高さ（ｈｅｉｇｈｔ）である。
　また、ｗＬは左側の参照画素に対する重みであり、ｗＴは上側の参照画素に対する重みであり、ｗＴＬは左上の参照画素に対する重みであり、ｗＰは補正前の予測画素に対する重みである。
　重み制御部１７２ｃは、直交変換処理に適用する変換の種別に基づいて、補正部１７２ｂにおける重み付け合成処理（本実施形態では、ＰＤＰＣ）を制御する。
　例えば、重み制御部１７２ｃは、水平変換処理に適用する変換の種別に基づいて、左側の参照画素（Ｒ-1,y）に対する重みｗＬを制御する。また、重み制御部１７２ｃは、垂直変換処理に適用する変換の種別に基づいて、上側の参照画素（Ｒx,-1）に対する重みｗＴを制御する。
　具体的には、重み制御部１７２ｃは、水平変換処理に適用する変換の種別が、インパルス応答Ｔ0（ｊ）が単調減少となる基底を含む第１種別（本実施形態では、ＤＣＴ８）である場合（但し、ｊ＝０，…，Ｎ－１）が想定される。この場合、重み制御部１７２ｃは、左側の参照画素（Ｒ-1,y）に対する重みｗＬを小さくする。また、重み制御部１７２ｃは、垂直変換処理に適用する変換の種別が第１種別である場合、上側の参照画素（Ｒx,-1）に対する重みｗＴを小さくする。なお、「重みを小さくする」とは、重みをゼロにすることであってもよい。すなわち、制御フラグに基づいて重み付け合成処理を制御することは、重み付け合成処理を少なくとも部分的に実行しないことを含む。
　一方、重み制御部１７２ｃは、水平変換処理に適用する変換の種別が、インパルス応答Ｔ0（ｊ）が単調増加となる基底を含む第２種別（本実施形態では、ＤＳＴ７）である場合（但し、ｊ＝０，…，Ｎ－１）、左側の参照画素（Ｒ-1,y）に対する重みｗＬを大きくする。また、重み制御部１７２ｃは、垂直変換処理に適用する変換の種別が第２種別である場合、上側の参照画素（Ｒx,-1）に対する重みｗＴを大きくする。
　ここで、重み制御部１７２ｃの動作の具体例について説明する。重み制御部１７２ｃは、上述した重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを、変換決定部１８０により決定される変換種別（制御フラグ）と、予測ブロックの左上の画素位置を基準とした予測画素の相対的な位置（ｘ，ｙ）とに応じて決定する。
　第１に、重み制御部１７２ｃは、変換決定部１８０により決定される変換種別（制御フラグ）に応じて、下記の式（２）によりｋ（ｘ）を決定する。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　但し、ａは任意の正の整数であり、システムにより予め決定した固定値であってもよいし、エントロピー符号化部１３０がストリーム出力する可変値であってもよい。
　第２に、重み制御部１７２ｃは、式（２）により決定したｋ（ｘ）に応じて、下記の式（３）により重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを決定する。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　但し、ｗｉｄｔｈ及びｈｅｉｇｈｔは符号化対象ブロックの幅及び高さをそれぞれ表し、ｘ及びｙは符号化対象ブロックの左上座標からの相対的な画素位置を表す。
　式（３）に示すように、水平方向にＤＳＴ７が適用される場合、ｗＬの値が大きくなり、水平方向に隣接する参照画素による補正の影響を強める。このため、水平方向のブロック境界付近の予測残差のエネルギーが小さくなり、ＤＳＴ７を適用することによるエントロピー低減の効果が大きくなる。
　同様に、垂直方向にＤＳＴ７が適用される場合、ｗＴの値が大きくなり、垂直方向に隣接する参照画素による補正の影響を強める。このため、垂直方向のブロック境界付近の予測残差のエネルギーが小さくなり、ＤＳＴ７を適用することによるエントロピー低減の効果が大きくなる。
　一方、水平方向にＤＣＴ８が適用される場合、ｗＬの値が小さくなり、水平方向に隣接する参照画素による補正の影響を弱める。このため、ＰＤＰＣをＤＣＴ８と併用した際のエントロピー増大を抑制できる。
　同様に、垂直方向にＤＣＴ８が適用される場合、ｗＴの値が小さくなり、垂直方向に隣接する参照画素による補正の影響を弱める。このため、ＰＤＰＣをＤＣＴ８と併用した際のエントロピー増大を抑制できる。
　＜画像復号装置の構成＞
　次に、本実施形態に係る画像復号装置について説明する。図６は、本実施形態に係る画像復号装置２の構成を示す図である。
　図６に示すように、画像復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。
　エントロピー復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、予測（イントラ予測及びインター予測）に関するシンタックスを取得し、取得したシンタックスを予測部２４０に出力する。
　さらに、エントロピー復号部２００は、上述した制御フラグを取得し、取得した制御フラグを逆変換部２１２及び重み制御部２４２ｃに出力する。すなわち、エントロピー復号部２００は、符号化側で変換処理の制御情報としてエントロピー符号化された制御フラグを復号する。
　逆量子化・逆変換部２１０は、復号対象ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。
　逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００から入力される量子化変換係数を、量子化パラメータ及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数である復元変換係数を逆変換部２１２に出力する。
　逆変換部２１２は、エントロピー復号部２００から入力される制御フラグに基づいて、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。具体的には、逆変換部２１２は、水平方向の逆直交変換処理である水平変換処理と、垂直方向の逆直交変換処理である垂直変換処理とを行う。逆変換部２１２は、制御フラグに基づいて、復号対象ブロックに対応する変換係数に対する逆変換処理を制御する逆変換制御部としても機能する。
　逆変換部２１２は、逆量子化部２１１から入力される復元変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部２２０に出力する。
　合成部２２０は、逆変換部２１２から入力される復元予測残差と、予測部２４０から入力される予測ブロックとを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像（再構成ブロック）をメモリ２３０に出力する。
　メモリ２３０は、合成部２２０から入力される復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。
　予測部２４０は、復号対象ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。
　インター予測部２４１は、メモリ２３０に記憶された復号画像を参照画像として用いて、復号対象ブロックをインター予測により予測する。インター予測部２４１は、エントロピー復号部２００から入力されるシンタックス及び動きベクトル等に従ってインター予測を行うことによりインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。
　イントラ予測部２４２は、メモリ２３０に記憶された復号画像を参照し、エントロピー復号部２００から入力されるシンタックスに基づいて、復号対象ブロックをイントラ予測により予測する。これにより、イントラ予測部２４２は、イントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。
　切替部２４３は、インター予測部２４１から入力されるインター予測ブロックとイントラ予測部２４２から入力されるイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。
　本実施形態において、イントラ予測部２４２は、予測画素生成部２４２ａと、補正部２４２ｂと、重み制御部２４２ｃとを有する。予測画素生成部２４２ａ、補正部２４２ｂ、及び重み制御部２４２ｃは、画像符号化装置１の予測画素生成部１７２ａ、補正部１７２ｂ、及び重み制御部１７２ｃと同様に動作する。
　具体的には、予測画素生成部２４２ａは、エントロピー復号部２００から入力されるシンタックスが示すイントラ予測モードにより、復号対象ブロック内の各画素値をイントラ予測により予測する。そして、予測画素生成部２４２ａは、予測画素からなる予測ブロックを生成し、生成した予測ブロックを補正部２４２ｂに出力する。
　補正部２４２ｂは、予測画素生成部２４２ａから入力される予測ブロック内の予測画素と復号対象ブロックに隣接する参照画素とに対して、予測画素の位置に依存した重み付け合成処理を行うことで予測画素を補正する。補正部２４２ｂは、補正後の予測画素からなる補正後の予測ブロック（イントラ予測ブロック）を切替部１７３に出力する。本実施形態において、補正部２４２ｂは、上述した式（１）に示すＰＤＰＣにより予測ブロック内の予測画素を補正する。
　重み制御部２４２ｃは、直交変換処理に適用する変換の種別に基づいて、補正部２４２ｂにおける重み付け合成処理（本実施形態では、ＰＤＰＣ）を制御する。
　例えば、重み制御部２４２ｃは、水平変換処理に適用する変換の種別に基づいて、左側の参照画素（Ｒ-1,y）に対する重みｗＬを制御する。また、重み制御部２４２ｃは、垂直変換処理に適用する変換の種別に基づいて、上側の参照画素（Ｒx,-1）に対する重みｗＴを制御する。重み制御部２４２ｃの具体的な動作については、上述した画像符号化装置１の重み制御部１７２ｃの動作と同様である。
　＜イントラ予測の動作フロー＞
　次に、本実施形態に係るイントラ予測の動作フロー例について説明する。画像符号化装置１及び画像復号装置２でイントラ予測の動作は同様であるが、ここでは画像符号化装置１におけるイントラ予測（イントラ予測部１７２）の動作を例に挙げて説明する。図７は、本実施形態に係るイントラ予測部１７２の動作フロー例を示す図である。
　図７に示すように、ステップＳ１において、予測画素生成部１７２ａは、上述したイントラ予測モードのいずれかを用いて、符号化対象ブロック内の各画素値をイントラ予測により予測する。そして、予測画素生成部１７２ａは、予測画素からなる予測ブロックを生成し、生成した予測ブロックを補正部１７２ｂに出力する。
　ステップＳ２において、重み制御部１７２ｃは、直交変換処理に適用する変換の種別（制御フラグ）と、予測ブロックの左上の画素位置を基準とした予測画素の相対的な位置（ｘ，ｙ）とに応じて、補正部１７２ｂにおける重み付け合成処理（本実施形態では、ＰＤＰＣ）に用いる重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを、上述した式（２）及び式（３）により決定する。なお、ステップＳ１及びステップＳ２の順序は逆であってもよい。
　ステップＳ３において、補正部１７２ｂは、重み制御部１７２ｃが決定した重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを用いて、上述した式（１）により、予測画素ｐｒｅｄ（ｘ，ｙ）を重み付け合成処理により補正し、補正した予測画素ｐｒｅｄ'（ｘ，ｙ）を得る。
　このように、本実施形態に係る画像符号化装置１において、イントラ予測部１７２は、直交変換処理に適用する変換の種別に基づいて、補正部１７２ｂにおける重み付け合成処理を制御する重み制御部１７２ｃを有する。
　また、本実施形態に係る画像復号装置２において、イントラ予測部２４２は、逆直交変換処理に適用する変換の種別に基づいて、補正部２４２ｂにおける重み付け合成処理を制御する重み制御部２４２ｃを有する。
　よって、変換の種別を考慮して、イントラ予測により予測される予測ブロックを適切に補正することができるため、符号化効率を改善できる。
　＜重み制御部の動作の変更例１＞
　次に、重み制御部１７２ｃ及び２４２ｃの動作の変更例１について説明する。重み制御部１７２ｃ及び２４２ｃの動作は同様であるため、ここでは重み制御部１７２ｃの動作を例に挙げて説明する。
　本変更例において、重み制御部１７２ｃは、水平方向及び垂直方向にＤＳＴ７を適用する場合（すなわち、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇがともに０である場合）、重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを下記の式（４）により決定する。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　但し、ｗｉｄｔｈ及びｈｅｉｇｈｔは符号化対象ブロックの幅及び高さをそれぞれ表し、ｘ及びｙは符号化対象ブロックの左上座標からの相対的な画素位置を表す。
　重み制御部１７２ｃは、水平方向にＤＳＴ７、垂直方向にＤＣＴ８を適用する場合（すなわち、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ＝１、ＭＴＳ＿Ｖｅｒ＿ｆｌａｇ＝０の場合）、重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを下記の式（５）により決定する。
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　重み制御部１７２ｃは、水平方向にＤＣＴ８、垂直方向にＤＳＴ７を適用する場合（すなわち、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ＝０、ＭＴＳ＿Ｖｅｒ＿ｆｌａｇ＝１）、重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを下記の式（６）により決定する。
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　重み制御部１７２ｃは、水平方向及び垂直方向にＤＣＴ８を適用する場合（すなわち、ＭＴＳ＿Ｈｏｒ＿ｆｌａｇ＝１及びＭＴＳ＿Ｖｅｒ＿ｆｌａｇ＝１がともに１である場合）、重みｗＬ、ｗＴ、ｗＴＬ、ｗＰを下記の式（７）により決定する。これにより、重み制御部１７２ｃは、補正を行わないようにする。
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　＜重み制御部の動作の変更例２＞
　次に、重み制御部１７２ｃ及び２４２ｃの動作の変更例２について説明する。重み制御部１７２ｃ及び２４２ｃの動作は同様であるため、ここでは重み制御部１７２ｃの動作を例に挙げて説明する。
　本変更例において、重み制御部１７２ｃは、直交変換処理に適用する変換の種別と、符号化対象ブロックのサイズとに基づいて重み付け合成処理（ＰＤＰＣ）を制御する。
　ブロックサイズが大きい場合、重み付け合成処理（ＰＤＰＣ）による予測残差のエネルギー分布への影響は大きくなく、ＤＣＴ８を適用する場合であってもＰＤＰＣによるエントロピー増大の問題は生じにくい。
　このため、直交変換処理に適用する変換の種別に応じた重みの制御を、ブロックサイズが閾値未満である場合に限り行うとしてもよい。例えば、重み制御部１７２ｃは、上述した式（１）を変形した下記の式（８）を用いる。
Figure JPOXMLDOC01-appb-M000007
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
　但し、ｗｉｄｔｈ及びｈｅｉｇｈｔは符号化対象ブロックの幅及び高さをそれぞれ表し、Ｔｒは閾値を表す。
　＜その他の実施形態＞
　上述した実施形態及びその変更例において、水平及び垂直に直交変換を適用する一例について説明した。しかしながら、水平もしくは垂直の片方のみに直交変換を適用する場合においても、当該片方に適用する直交変換が上述したような単調増加や単調減少の特徴を持つ基底を含む変換であれば、適用可能である。
　また、上述した実施形態及びその変更例において、イントラ予測の際に参照する復号対象ブロック（参照ブロック）の位置が符号化対象ブロックの上側及び左側である一例について説明した。しかしながら、イントラ予測の際に参照する復号対象ブロックの位置は、符号化対象ブロックの上側に限らず、符号化対象ブロックの下側であってもよい。また、イントラ予測の際に参照する復号対象ブロックの位置は、符号化対象ブロックの左側に限らず、符号化対象ブロックの右側であってもよい。
　画像符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
　画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。
　以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　本願は、日本国特許出願第２０１９－０４３９６５号（２０１９年３月１１日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims (10)

  1. 　画像を分割して得た符号化対象ブロックを符号化する画像符号化装置であって、
    　前記符号化対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部と、
    　前記符号化対象ブロックに対する前記予測ブロックの誤差を表す予測残差に対する変換処理を制御する変換制御部と、
    　前記変換制御部の制御に基づいて、前記予測残差に対する変換処理を行う変換部と、
    　前記変換制御部による変換処理の制御情報を制御フラグとしてエントロピー符号化するエントロピー符号化部と、を備え、
    　前記イントラ予測部は、
    　前記制御フラグに基づいて、前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、
    　前記符号化対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部と、を有することを特徴とする画像符号化装置。
  2. 　前記変換部の前記変換処理は、
    　水平方向に変換を行う水平変換処理と、垂直方向に変換を行う垂直変換処理と、を含み、
    　前記合成処理制御部は、
    　　前記水平変換処理に適用する変換の種別に基づいて、前記符号化対象ブロックに水平方向に隣接する水平参照画素に対する重みを制御し、
    　　前記垂直変換処理に適用する変換の種別に基づいて、前記符号化対象ブロックに垂直方向に隣接する垂直参照画素に対する重みを制御することを特徴とする請求項１に記載の画像符号化装置。
  3. 　前記合成処理制御部は、
    　　前記水平変換処理に適用する変換の種別が、インパルス応答が単調減少となる基底を含む第１種別である場合、前記水平参照画素に対する重みを小さくし、
    　　前記垂直変換処理に適用する変換の種別が前記第１種別である場合、前記垂直参照画素に対する重みを小さくすることを特徴とする請求項２に記載の画像符号化装置。
  4. 　前記合成処理制御部は、
    　　前記水平変換処理に適用する変換の種別が、インパルス応答が単調増加となる基底を含む第２種別である場合、前記水平参照画素に対する重みを大きくし、
    　　前記垂直変換処理に適用する変換の種別が前記第２種別である場合、前記垂直参照画素に対する重みを大きくすることを特徴とする請求項２又は３に記載の画像符号化装置。
  5. 　前記合成処理制御部は、
    　前記制御フラグと、前記符号化対象ブロックのサイズとに基づいて、前記重み付け合成処理を制御することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
  6. 　画像を分割及び符号化して得た復号対象ブロックを復号する画像復号装置であって、
    　符号化側で変換処理の制御情報としてエントロピー符号化された制御フラグを復号するエントロピー復号部と、
    　前記制御フラグに基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を制御する逆変換制御部と、
    　前記逆変換制御部の制御に基づいて、前記復号対象ブロックに対応する変換係数に対する逆変換処理を行う逆変換部と、
    　前記復号対象ブロックをイントラ予測により予測して予測ブロックを生成するイントラ予測部と、を備え、
    　前記イントラ予測部は、
    　前記制御フラグに基づいて、前記予測ブロック内の予測画素の位置に依存した重み付け合成処理を制御する合成処理制御部と、
    　前記復号対象ブロックに隣接する参照画素と前記予測画素とに対して前記重み付け合成処理を行うようにして前記予測画素を補正する補正部と、を有することを特徴とする画像復号装置。
  7. 　前記合成処理制御部は、
    　前記制御フラグと、前記復号対象ブロックのサイズとに基づいて、前記重み付け合成処理を制御することを特徴とする請求項６に記載の画像復号装置。
  8. 　前記制御フラグに基づいて前記重み付け合成処理を制御することは、前記重み付け合成処理を少なくとも部分的に実行しないことを含むことを特徴とする請求項６又は７に記載の画像復号装置。
  9. 　コンピュータを請求項１乃至５のいずれか１項に記載の画像符号化装置として機能させることを特徴とするプログラム。
  10. 　コンピュータを請求項６乃至８のいずれか１項に記載の画像復号装置として機能させることを特徴とするプログラム。
PCT/JP2020/010326 2019-03-11 2020-03-10 画像符号化装置、画像復号装置、及びプログラム WO2020184566A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN202080020534.4A CN113557719B (zh) 2019-03-11 2020-03-10 图像编码装置、图像解码装置和程序
JP2021505085A JP7100194B2 (ja) 2019-03-11 2020-03-10 画像符号化装置、画像復号装置、及びプログラム
CN202311071069.9A CN116939199A (zh) 2019-03-11 2020-03-10 图像编码装置、图像解码装置和程序
EP20770606.0A EP3941044A4 (en) 2019-03-11 2020-03-10 IMAGE ENCODING DEVICE, IMAGE DECODE DEVICE, AND PROGRAM
KR1020247005609A KR20240027865A (ko) 2019-03-11 2020-03-10 화상 부호화 장치, 화상 복호 장치 및 프로그램
KR1020217029043A KR102639970B1 (ko) 2019-03-11 2020-03-10 화상 부호화 장치, 화상 복호 장치 및 프로그램
US17/471,734 US11849145B2 (en) 2019-03-11 2021-09-10 Image encoding device, image decoding device and program
JP2022105467A JP7229413B2 (ja) 2019-03-11 2022-06-30 画像符号化装置、画像復号装置、及びプログラム
US18/504,619 US20240080476A1 (en) 2019-03-11 2023-11-08 Image encoding device, image decoding device and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019043965 2019-03-11
JP2019-043965 2019-03-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/471,734 Continuation US11849145B2 (en) 2019-03-11 2021-09-10 Image encoding device, image decoding device and program

Publications (1)

Publication Number Publication Date
WO2020184566A1 true WO2020184566A1 (ja) 2020-09-17

Family

ID=72426698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010326 WO2020184566A1 (ja) 2019-03-11 2020-03-10 画像符号化装置、画像復号装置、及びプログラム

Country Status (6)

Country Link
US (2) US11849145B2 (ja)
EP (1) EP3941044A4 (ja)
JP (2) JP7100194B2 (ja)
KR (2) KR20240027865A (ja)
CN (2) CN116939199A (ja)
WO (1) WO2020184566A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760977A (zh) * 2015-08-20 2023-09-15 日本放送协会 图像编码装置、图像解码装置、和其程序
CN116939199A (zh) * 2019-03-11 2023-10-24 日本放送协会 图像编码装置、图像解码装置和程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165395A1 (en) * 2016-03-21 2017-09-28 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
WO2018231488A1 (en) * 2017-06-15 2018-12-20 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding
JP2019043965A (ja) 2002-07-30 2019-03-22 オメロス コーポレーション 眼科学的洗浄溶液および眼科学的洗浄方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4825227B2 (ja) * 2008-02-04 2011-11-30 日本放送協会 画像復号装置及び画像処理プログラム
US9609351B2 (en) * 2010-12-14 2017-03-28 M&K Holdings Inc. Apparatus for decoding a moving picture
CN103765885B (zh) * 2011-07-11 2017-04-12 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置
GB2557809B (en) * 2015-08-28 2021-12-01 Kt Corp Method and device for processing video signal
US10623774B2 (en) * 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
KR102361010B1 (ko) * 2017-06-21 2022-02-09 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
KR102389869B1 (ko) * 2017-07-04 2022-04-22 삼성전자주식회사 다중 코어 변환에 의한 비디오 복호화 방법 및 장치, 다중 코어 변환에 의한 비디오 부호화 방법 및 장치
KR20190110041A (ko) * 2018-03-19 2019-09-27 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11818340B2 (en) * 2018-07-06 2023-11-14 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
US11509908B2 (en) * 2018-09-11 2022-11-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
IL281629B2 (en) * 2018-09-21 2024-01-01 Guangdong Oppo Mobile Telecommunications Corp Ltd A method of encoding/decoding image signals and a device therefor
CN112823513B (zh) * 2018-10-12 2024-05-28 英迪股份有限公司 图像编码/解码方法和装置
CN113225559B (zh) * 2018-10-12 2023-05-16 Oppo广东移动通信有限公司 视频信号的编码方法和解码方法及其装置
EP4307681A3 (en) * 2018-11-29 2024-04-03 Beijing Bytedance Network Technology Co., Ltd. Interaction between intra block copy mode and inter prediction tools
US11057622B2 (en) * 2018-12-13 2021-07-06 Qualcomm Incorporated Position dependent intra prediction combination with non-square block diagonals
WO2020130680A1 (ko) * 2018-12-19 2020-06-25 엘지전자 주식회사 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
CN118632017A (zh) * 2018-12-21 2024-09-10 株式会社 Xris 视频信号编码/解码方法及其装置
CN112514384A (zh) * 2019-01-28 2021-03-16 株式会社 Xris 视频信号编码/解码方法及其装置
US11611742B2 (en) * 2019-01-28 2023-03-21 Apple Inc. Image signal encoding/decoding method and device therefor
CN118694973A (zh) * 2019-02-28 2024-09-24 数码士有限公司 基于帧内预测的视频信号处理方法和装置
WO2020175938A1 (ko) * 2019-02-28 2020-09-03 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
CN116939199A (zh) * 2019-03-11 2023-10-24 日本放送协会 图像编码装置、图像解码装置和程序
US11144822B1 (en) * 2021-01-04 2021-10-12 Edgecortix Pte. Ltd. Neural network accelerator run-time reconfigurability

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019043965A (ja) 2002-07-30 2019-03-22 オメロス コーポレーション 眼科学的洗浄溶液および眼科学的洗浄方法
WO2017165395A1 (en) * 2016-03-21 2017-09-28 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
WO2018231488A1 (en) * 2017-06-15 2018-12-20 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding

Also Published As

Publication number Publication date
JP7229413B2 (ja) 2023-02-27
JPWO2020184566A1 (ja) 2020-09-17
EP3941044A4 (en) 2022-12-14
CN113557719B (zh) 2023-09-12
JP2022121615A (ja) 2022-08-19
EP3941044A1 (en) 2022-01-19
CN113557719A (zh) 2021-10-26
KR20210135250A (ko) 2021-11-12
CN116939199A (zh) 2023-10-24
US20240080476A1 (en) 2024-03-07
US11849145B2 (en) 2023-12-19
KR20240027865A (ko) 2024-03-04
JP7100194B2 (ja) 2022-07-12
US20210409764A1 (en) 2021-12-30
KR102639970B1 (ko) 2024-02-22

Similar Documents

Publication Publication Date Title
JP7229413B2 (ja) 画像符号化装置、画像復号装置、及びプログラム
WO2019189904A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7415067B2 (ja) イントラ予測装置、画像復号装置、及びプログラム
JP2024144780A (ja) 予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2024053019A (ja) 符号化装置、復号装置、及びプログラム
WO2021206137A1 (ja) 符号化装置、復号装置、及びプログラム
JP7130890B2 (ja) 符号化装置、復号装置、及びプログラム
JP2021093575A (ja) 符号化装置、復号装置、及びプログラム
JP7531683B2 (ja) 符号化装置、復号装置、及びプログラム
JP7444599B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7361498B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
WO2021132404A1 (ja) 符号化装置、復号装置、及びプログラム
JP2020156087A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20770606

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021505085

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020770606

Country of ref document: EP

Effective date: 20211011