WO2021132404A1 - 符号化装置、復号装置、及びプログラム - Google Patents

符号化装置、復号装置、及びプログラム Download PDF

Info

Publication number
WO2021132404A1
WO2021132404A1 PCT/JP2020/048304 JP2020048304W WO2021132404A1 WO 2021132404 A1 WO2021132404 A1 WO 2021132404A1 JP 2020048304 W JP2020048304 W JP 2020048304W WO 2021132404 A1 WO2021132404 A1 WO 2021132404A1
Authority
WO
WIPO (PCT)
Prior art keywords
conversion
unit
color difference
conversion type
block
Prior art date
Application number
PCT/JP2020/048304
Other languages
English (en)
French (fr)
Inventor
俊輔 岩村
慎平 根本
市ヶ谷　敦郎
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to CN202080093165.1A priority Critical patent/CN114982232A/zh
Priority to JP2021567581A priority patent/JPWO2021132404A1/ja
Publication of WO2021132404A1 publication Critical patent/WO2021132404A1/ja
Priority to US17/849,233 priority patent/US20220329863A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • the present invention relates to a coding device, a decoding device, and a program.
  • the coding device switches between intra-prediction and inter-prediction for each block to be coded by dividing the original image into blocks.
  • a prediction residual which is a difference (error) between the prediction block, which is a prediction image in block units, and the coded block is generated.
  • the coding apparatus applies a conversion process to the generated predicted residuals and concentrates the energy distribution of the predicted residuals spread spatially to perform an efficient coding process.
  • a plurality of conversion types can be selectively applied to the predicted residual. Specifically, when the encoding device selects the default conversion type for the predicted residual, it applies DCT (Discrete Cosine Transform) type 2 (hereinafter, DCT2) in the horizontal direction and the vertical direction, and the conversion type. Signals flag information indicating that is the default mode.
  • DCT Discrete Cosine Transform
  • the encoding device selects either DCT type 8 (hereinafter, DCT8) or DST (Discrete Sine Transform) type 7 (hereinafter, DST7) in the horizontal and vertical directions.
  • DCT8 Discrete Sine Transform
  • DST7 Discrete Sine Transform type 7
  • VVC VVC
  • the coding device is a coding device that performs coding processing in units of blocks in which an image composed of a brightness signal and a color difference signal is divided, and is an object that is a code target block of the color difference signal.
  • a prediction unit that predicts a color difference block and generates a predicted color difference block
  • a residual generation unit that generates a color difference prediction residual that represents the difference between the target color difference block and the predicted color difference block
  • the present invention includes a conversion unit that applies processing to generate a conversion coefficient, and the conversion unit controls the conversion type applied to the conversion processing according to the signal format of the image.
  • the decoding device is a decoding device that performs decoding processing in block units that divide an image composed of a brightness signal and a color difference signal, and predicts a target color difference block that is a decoding target block of the color difference signal.
  • the inverse conversion process is applied to the conversion coefficient from the coding side and the prediction unit that generates the predicted color difference block, and the inverse conversion that generates the color difference prediction residual representing the difference between the target color difference block and the predicted color difference block.
  • the gist is that the inverse conversion unit controls the conversion type applied to the inverse conversion process according to the signal format of the image.
  • the program according to the third aspect causes the computer to function as the coding device according to the first aspect.
  • the program according to the fourth aspect causes the computer to function as the decoding device according to the second aspect.
  • the resolution of the color difference signal is the same size as the luminance signal, and the amount of information contained in the color difference signal is significantly larger than that of 4: 2: 0. Further, even in 4: 2: 2, since the resolution in the vertical direction is the same for the color difference signal and the luminance signal, the amount of information contained in the color difference signal is large as in the case of 4: 4: 4 described above.
  • a coding device a decoding device, and a program for improving the coding efficiency of the color difference signal are provided.
  • the coding device and the decoding device according to the embodiment will be described with reference to the drawings.
  • the coding device and the decoding device according to the embodiment encode and decode a moving image represented by MPEG, respectively.
  • MPEG moving image represented by MPEG
  • the same or similar parts are designated by the same or similar reference numerals.
  • FIG. 1 is a diagram showing a configuration of a coding device 1 according to the present embodiment.
  • the coding apparatus 1 includes a block division unit 100, a residual generation unit 110, a conversion / quantization unit 120, an entropy coding unit 130, and an inverse quantization / inverse conversion unit 140. , A synthesis unit 150, a memory 160, and a prediction unit 170.
  • the block division unit 100 divides the original image, which is an input image for each frame (or picture) constituting the moving image, into a plurality of image blocks, and outputs the image block obtained by the division to the residual generation unit 110.
  • the size of the image block is, for example, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, 4 ⁇ 4 pixels, or the like.
  • the shape of the image block is not limited to a square and may be a rectangle (non-square).
  • the image block is a unit in which the coding device 1 performs a coding process (that is, a block to be coded) and a unit in which the decoding device performs a decoding process (that is, a block to be decoded).
  • Such an image block is sometimes called a CU (Coding Unit).
  • the block division unit 100 outputs a luminance block and a color difference block by dividing the luminance signal and the color difference signal constituting the image into blocks.
  • the division may be independently controllable for the luminance signal and the color difference signal.
  • the luminance block and the color difference block are not distinguished, they are simply referred to as a coded block.
  • the residual generation unit 110 calculates a predicted residual representing a difference (error) between the coded block output by the block dividing unit 100 and the predicted block obtained by predicting the coded block by the prediction unit 170. .. Specifically, the residual generation unit 110 calculates the predicted residual by subtracting each pixel value of the predicted block from each pixel value of the coded block, and converts the calculated predicted residual into the converted / quantized unit. Output to 120.
  • the conversion / quantization unit 120 performs conversion processing and quantization processing in block units.
  • the conversion / quantization unit 120 includes a conversion unit 121 and a quantization unit 122.
  • the conversion unit 121 performs conversion processing on the predicted residual output by the residual generation unit 110 to calculate a conversion coefficient, and outputs the calculated conversion coefficient to the quantization unit 122.
  • the conversion process refers to a process of converting the predicted residual from the spatial domain to the frequency domain, and includes, for example, the discrete cosine transform (DCT), the discrete sine transform (DST), and the carunen-reve transform (KLT). However, the conversion process may include a conversion skip that adjusts by scaling or the like without converting the signal in the pixel region into the frequency domain.
  • the conversion unit 121 outputs information regarding the conversion process applied to the coded target block to the entropy coding unit 130.
  • the conversion unit 121 can selectively apply a plurality of conversion types to the predicted residual in order to increase the concentration of the energy distribution of the predicted residual.
  • the selectable conversion type may further include a conversion type such as conversion skip.
  • the conversion unit 121 has a function of MTS (Multiple Train Selection) that switches a plurality of conversion types for each coded block.
  • the conversion unit 121 determines a conversion type from DCT2, DST7, and DCT8 in each of the horizontal direction and the vertical direction, and outputs conversion type information indicating the determined conversion type to the entropy coding unit 130 and the inverse conversion unit 142. To do.
  • FIG. 2 is a diagram showing a total of three conversion types of DCT2, DCT8, and DST7 according to the present embodiment.
  • N represents the size of the coded block.
  • DCT2, DCT8, and DST7 which are applied to the predicted residuals
  • any conversion may be selectively switched and applied, and these three types are used. It is not limited to the conversion type.
  • DCT / DST such as DCT1 and DCT5 may be used, or a transformation such as a discrete wavelet transform may be used.
  • the quantization unit 122 quantizes the conversion coefficient output by the conversion unit 121 using the quantization parameter (Qp) and the quantization matrix, and the quantization conversion coefficient, which is the quantized conversion coefficient, is converted to the entropy coding unit 130 and the inverse. It is output to the quantization / inverse conversion unit 140.
  • the entropy coding unit 130 performs entropy coding on the quantization conversion coefficient output by the quantization unit 122, performs data compression to generate coded data (bit stream), and encodes the coded data. Output to the outside of 1.
  • a Huffman code Context-based Adaptive Binary Arithmetic Coding
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • the entropy encoding unit 130 encodes the information related to the conversion process input from the conversion unit 121, outputs a bit stream, and transmits (signaling) to the decoding side. Further, the entropy encoding unit 130 encodes the information regarding the prediction processing input from the prediction unit 170, outputs a bit stream, and transmits the bit stream to the decoding side.
  • the inverse quantization / inverse transformation unit 140 performs the inverse quantization process and the inverse transformation process on a block-by-block basis.
  • the inverse quantization / inverse transformation unit 140 has an inverse quantization unit 141 and an inverse transformation unit 142.
  • the inverse quantization unit 141 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122. Specifically, the inverse quantization unit 141 restores the conversion coefficient by inversely quantizing the quantization conversion coefficient output by the quantization unit 122 using the quantization parameter (Qp) and the quantization matrix. The restored conversion coefficient is output to the inverse conversion unit 142.
  • the reverse conversion unit 142 performs reverse conversion processing corresponding to the conversion processing performed by the conversion unit 121 based on the conversion type information output by the conversion unit 121. For example, when the conversion unit 121 performs the discrete cosine transform, the inverse transform unit 142 performs the inverse discrete cosine transform. The inverse transformation unit 142 performs an inverse transformation process on the conversion coefficient output by the inverse quantization unit 141 to restore the predicted residual, and outputs the restored predicted residual, which is the restored predicted residual, to the synthesis unit 150. ..
  • the synthesis unit 150 synthesizes the restoration prediction residual output by the inverse conversion unit 142 with the prediction block output by the prediction unit 170 in pixel units.
  • the synthesizing unit 150 adds each pixel value of the restoration prediction residual and each pixel value of the prediction block to decode (reconstruct) the coded block, and outputs the decoded block to the memory 160.
  • the decrypted block is sometimes called a reconstructed block.
  • the memory 160 stores the decoded blocks output by the compositing unit 150, and stores the decoded blocks as a decoded image in frame units.
  • the memory 160 outputs the stored decoded block or decoded image to the prediction unit 170.
  • a loop filter may be interposed between the compositing unit 150 and the memory 160.
  • the prediction unit 170 performs prediction processing in block units.
  • the prediction unit 170 includes an inter-prediction unit 171, an intra-prediction unit 172, and a switching unit 173.
  • the inter-prediction unit 171 performs inter-prediction using the correlation between frames. Specifically, the inter-prediction unit 171 uses the decoded image stored in the memory 160 as a reference image, calculates a motion vector by a method such as block matching, predicts the coded block, and predicts the inter-prediction block. Is generated, and the generated inter-prediction block is output to the switching unit 173.
  • the inter-prediction unit 171 selects the optimum inter-prediction method from inter-prediction using a plurality of reference images (typically bi-prediction) and inter-prediction using one reference image (one-way prediction). Select and perform inter-prediction using the selected inter-prediction method.
  • the inter-prediction unit 171 outputs information (motion vector, etc.) related to the inter-prediction to the entropy coding unit 130.
  • the intra prediction unit 172 performs intra prediction using the spatial correlation in the frame. Specifically, the intra prediction unit 172 generates an intra prediction block by referring to the decoded pixels around the coded block among the decoded images stored in the memory 160, and the generated intra prediction block. Is output to the switching unit 173. The intra prediction unit 172 selects an intra prediction mode to be applied to the coded target block from a plurality of intra prediction modes, and predicts the coded target block using the selected intra prediction mode.
  • the switching unit 173 switches between the inter prediction block output by the inter prediction unit 171 and the intra prediction block output by the intra prediction unit 172, and outputs one of the prediction blocks to the residual generation unit 110 and the synthesis unit 150.
  • the coding device 1 configured in this way encodes each of the luminance block as the coding target block (hereinafter referred to as the target luminance block) and the color difference block as the coding target block (hereinafter referred to as the target color difference block). To do.
  • the coding process of the target color difference block will be mainly described.
  • the coding device 1 performs coding processing on a block unit in which an image composed of a luminance signal and a color difference signal is divided.
  • the coding device 1 calculates a prediction unit 170 that predicts a target color difference block that is a color difference signal coding target block and generates a predicted color difference block, and a color difference prediction residual that represents the difference between the target color difference block and the predicted color difference block. It has a residual generation unit 110 to be generated, and a conversion unit 121 to generate a color difference conversion coefficient by applying a conversion process to the color difference prediction residual.
  • the conversion unit 121 makes it possible to apply the MTS that switches the conversion type for each coded block to not only the luminance block but also the color difference block.
  • the conversion process for the luminance signal will be described.
  • DCT2 is applied in the horizontal direction and the vertical direction, and a flag indicating that the conversion type is the default mode.
  • Information is signaled by the entropy coding unit 130.
  • the conversion unit 121 applies either DCT8 or DST7 to the brightness prediction residuals in the horizontal direction and the vertical direction, respectively, and indicates that the conversion type is not the default mode.
  • the entropy encoding unit 130 signals the flag information indicating which of the four modes in total of the combination of DCT8 and DST7 is selected.
  • the conversion unit 121 controls the conversion process for the color difference signal according to the signal format of the image.
  • the signal format refers to a color difference subsampling method in which a color difference signal is thinned out by sampling.
  • the signal format is sometimes called a color difference format.
  • three signal formats of 4: 4: 4, 4: 2: 2 and 4: 2: 0 are assumed.
  • the resolution of the color difference signal is half the size of the resolution of the color difference signal in the vertical and horizontal directions, and there are not many high frequency components contained in the color difference signal.
  • the resolution of the color difference signal is the same size as the luminance signal, and the amount of information contained in the color difference signal is significantly larger than that of 4: 2: 0.
  • Even in 4: 2: 2 since the resolution in the vertical direction is the same for the color difference signal and the luminance signal, the amount of information contained in the color difference signal is large as in 4: 4: 4.
  • the conversion unit 121 applies DCT2 to the color difference prediction residual in both the horizontal direction and the vertical direction when the signal format of the image to which the target color difference block belongs is 4: 2: 0 (that is, the default mode). Only the conversion process of is applicable).
  • the conversion unit 121 applies DCT2 in the horizontal direction and DCT2, DST7, or DCT8 in the vertical direction.
  • the conversion unit 121 applies any of DCT2, DST7, and DCT8 in the horizontal direction and the vertical direction, respectively.
  • the conversion unit 121 has a conversion candidate identification unit 121a and a conversion type determination unit 121b.
  • the conversion candidate identification unit 121a specifies a conversion type candidate applicable to the conversion process for each target color difference block according to the signal format. Specifically, the conversion candidate identification unit 121a includes a horizontal conversion type candidate which is a conversion type candidate applicable to the conversion process of the color difference prediction residual in the horizontal direction and a color difference prediction residue in the vertical direction according to the signal format. Identify the vertical conversion type candidate, which is a conversion type candidate applicable to the difference conversion process.
  • FIG. 3 is a diagram showing a conversion process for a color difference signal according to the present embodiment.
  • the conversion candidate identification unit 121a specifies DCT2 as a horizontal conversion type candidate and a vertical conversion type candidate when the signal format is 4: 2: 0.
  • the conversion candidate specifying unit 121a specifies DCT2 as a horizontal conversion type candidate, and specifies DCT2, DST7, and DCT8 as vertical conversion type candidates.
  • the conversion type determination unit 121b determines the conversion type (hereinafter referred to as “horizontal conversion type”) to be applied to the conversion process in the horizontal direction from the horizontal conversion type candidates for each target color difference block, and also determines the vertical conversion type candidates.
  • the conversion type (hereinafter referred to as “vertical conversion type”) applied to the conversion process in the vertical direction is determined for each target color difference block.
  • the conversion type determination unit 121b tries the conversion process with the horizontal conversion type candidate and the horizontal conversion type candidate, and determines the combination of the horizontal conversion type and the vertical conversion type having the highest coding efficiency. Then, the conversion unit 121 generates a color difference conversion coefficient by applying the determined combination of the horizontal conversion type and the vertical conversion type to the color difference prediction residual, and outputs the color difference conversion coefficient to the quantization unit 122.
  • the entropy coding unit 130 transmits the flag information indicating the horizontal conversion type and the vertical conversion type determined by the conversion type determination unit 121b to the decoding side by performing the entropy coding process.
  • the entropy encoding unit 130 transmits flag information indicating the horizontal conversion type and the vertical conversion type for each target color difference block.
  • the entropy coding unit 130 can select only one type of horizontal and vertical conversion processing, and therefore applies the conversion processing. It is not necessary to transmit the indicated flag information.
  • the signal format is 4: 2: 2 or 4: 4: 4
  • the flag information indicating the combination of conversions applied is entropy-encoded.
  • the entropy coding unit 130 transmits the flag information indicating the signal format of the original image to the decoding side by performing the entropy coding process.
  • FIG. 4 is a diagram showing an operation flow related to a conversion process for one target color difference block.
  • the conversion candidate specifying unit 121a is a conversion type candidate applicable to the conversion process according to the signal format (specifically, a horizontal conversion type candidate and a vertical conversion type candidate). To identify.
  • the conversion candidate identification unit 121a may acquire information indicating the signal format from the block division unit 100 or from a preprocessing unit (not shown).
  • step S12 the conversion type determination unit 121b determines the horizontal conversion type from the horizontal conversion type candidates specified by the conversion candidate identification unit 121a, and is vertical from the vertical conversion type candidates specified by the conversion candidate identification unit 121a. Determine the conversion type.
  • step S13 the conversion unit 121 generates a color difference conversion coefficient by applying the combination of the horizontal conversion type and the vertical conversion type determined by the conversion type determination unit 121b to the color difference prediction residual output by the residual generation unit 110. Then, the color difference conversion coefficient is output to the quantization unit 122.
  • step S14 the entropy coding unit 130 performs stream output (transmission to the decoding side) by performing entropy coding processing on the flag information indicating the combination of the horizontal conversion type and the vertical conversion type determined by the conversion type determination unit 121b. ). Further, the entropy coding unit 130 outputs a stream by performing an entropy coding process on the color difference quantization conversion coefficient output by the quantization unit 122.
  • the coding efficiency of the color difference signal is improved by controlling the conversion type applied to the conversion processing of the color difference prediction residual according to the signal format of the image. Can be improved.
  • FIG. 5 is a diagram showing a configuration of a decoding device 2 according to the present embodiment.
  • the decoding device 2 includes an entropy decoding unit 200, an inverse quantization / inverse conversion unit 210, a synthesis unit 220, a memory 230, and a prediction unit 240.
  • the entropy decoding unit 200 decodes the coded data and outputs the quantization conversion coefficient corresponding to the decoding target block to the inverse quantization / inverse conversion unit 210. Further, the entropy decoding unit 200 acquires information related to the conversion process and outputs the information related to the conversion process to the inverse quantization / inverse conversion unit 210 (inverse conversion unit 212).
  • the information regarding the conversion process includes flag information indicating a combination of the horizontal conversion type and the vertical conversion type as described above. Further, the entropy decoding unit 200 acquires information on the prediction process and outputs the information on the prediction process to the prediction unit 240.
  • the inverse quantization / inverse transformation unit 210 performs the inverse quantization process and the inverse transformation process on a block-by-block basis.
  • the inverse quantization / inverse conversion unit 210 includes an inverse quantization unit 211 and an inverse conversion unit 212.
  • the inverse quantization unit 211 performs the inverse quantization process corresponding to the quantization process performed by the quantization unit 122 of the coding device 1.
  • the inverse quantization unit 211 restores the conversion coefficient of the decoding target block by inversely quantizing the quantization conversion coefficient output by the entropy decoding unit 200 using the quantization parameter (Qp) and the quantization matrix.
  • the restored conversion coefficient is output to the inverse conversion unit 212.
  • the inverse conversion unit 212 performs an inverse conversion process corresponding to the conversion process performed by the conversion unit 121 of the coding device 1.
  • the inverse conversion unit 212 performs inverse transformation processing on the conversion coefficient output by the inverse quantization unit 211 to restore the predicted residual, and outputs the restored predicted residual (restored predicted residual) to the synthesis unit 220. ..
  • the synthesis unit 220 decodes (reconstructs) the original block by synthesizing the prediction residual output by the inverse conversion unit 212 and the prediction block output by the prediction unit 240 on a pixel-by-pixel basis, and decodes the decoded block. Output to memory 230.
  • the memory 230 stores the decoded blocks output by the compositing unit 220, and stores the decoded blocks as a decoded image in frame units.
  • the memory 230 outputs the decoded block or the decoded image to the prediction unit 240. Further, the memory 230 outputs the decoded image in frame units to the outside of the decoding device 2.
  • a loop filter may be interposed between the compositing unit 220 and the memory 230.
  • the prediction unit 240 makes a prediction in block units.
  • the prediction unit 240 has an inter prediction unit 241, an intra prediction unit 242, and a switching unit 243.
  • the inter-prediction unit 241 performs inter-prediction using the correlation between frames. Specifically, the inter-prediction unit 241 encodes the decoded image stored in the memory 230 as a reference image based on the information related to the inter-prediction (for example, motion vector information) output by the entropy decoding unit 200. The target block is predicted, an inter-prediction block is generated, and the generated inter-prediction block is output to the switching unit 243.
  • the inter-prediction unit 241 encodes the decoded image stored in the memory 230 as a reference image based on the information related to the inter-prediction (for example, motion vector information) output by the entropy decoding unit 200.
  • the target block is predicted, an inter-prediction block is generated, and the generated inter-prediction block is output to the switching unit 243.
  • the intra prediction unit 242 performs intra prediction using the spatial correlation in the frame. Specifically, the intra prediction unit 242 uses the intra prediction mode corresponding to the information related to the intra prediction output by the entropy decoding unit 200 (for example, the intra prediction mode information), and the intra prediction unit 242 uses the intra prediction mode of the decoded image stored in the memory 230. An intra prediction block is generated with reference to the decoded pixels around the coded block, and the generated intra prediction block is output to the switching unit 243.
  • the switching unit 243 switches between the inter prediction block output by the inter prediction unit 241 and the intra prediction block output by the intra prediction unit 242, and outputs one of the prediction blocks to the synthesis unit 220.
  • the decoding device 2 configured in this way decodes each of the luminance block (target luminance block) as the decoding target block and the color difference block (target color difference block) as the decoding target block.
  • the decoding process of the target color difference block will be mainly described.
  • the decoding device 2 performs decoding processing in block units in which an image composed of a luminance signal and a color difference signal is divided.
  • the decoding device 2 applies an inverse conversion process to the color difference conversion coefficient from the coding side and the prediction unit 240 that predicts the target color difference block and generates the predicted color difference block, and calculates the difference between the target color difference block and the predicted color difference block. It has an inverse conversion unit 212 that generates a color difference prediction residual to be represented.
  • the inverse conversion unit 212 makes it possible to apply the MTS that switches the conversion type for each decoding target block not only to the luminance block but also to the color difference block.
  • the inverse transformation process for the luminance signal will be described.
  • the inverse transform unit 212 applies DCT2 in the horizontal direction and the vertical direction with respect to the luminance conversion coefficient. To do.
  • the inverse conversion unit 212 , DCT8 or DST7 is applied to the luminance conversion coefficient with respect to the horizontal direction and the vertical direction, respectively.
  • the inverse transformation unit 212 controls the inverse transformation processing for the color difference signal according to the signal format of the image.
  • the information indicating the signal format is acquired by the entropy decoding unit 200, and the entropy decoding unit 200 notifies the inverse conversion unit 212 of the signal format.
  • the inverse conversion unit 212 applies DCT2 to the color difference conversion coefficient in both the horizontal direction and the vertical direction (that is, the default mode). Only the reverse conversion process of is applicable).
  • the inverse conversion unit 212 sets DCT2 in the horizontal direction based on the flag information indicating the combination of the horizontal conversion type and the vertical conversion type.
  • One of DCT2, DST7, and DCT8 is applied in the vertical direction.
  • the inverse conversion unit 212 has DCT2 in the horizontal direction and the vertical direction, respectively, based on the flag information indicating the combination of the horizontal conversion type and the vertical conversion type. Either DST7 or DCT8 is applied.
  • the inverse conversion unit 212 has a conversion candidate identification unit 212a and a conversion type determination unit 212b.
  • the conversion candidate identification unit 212a specifies candidates for conversion types applicable to the inverse transformation processing for each target color difference block according to the signal format. Specifically, the conversion candidate identification unit 212a has a horizontal conversion type candidate which is a candidate for a conversion type applicable to the inverse conversion processing of the color difference conversion coefficient in the horizontal direction and a color difference conversion coefficient in the vertical direction according to the signal format.
  • the vertical conversion type candidate which is a conversion type candidate applicable to the reverse conversion process of, is specified.
  • the method for specifying the horizontal conversion type candidate and the vertical conversion type candidate is the same as the specifying method in the coding apparatus 1 (see FIG. 3).
  • the conversion type determination unit 212b determines the horizontal conversion type to be applied to the reverse conversion processing in the horizontal direction for each target color difference block from the horizontal conversion type candidates based on the flag information indicating the combination of the horizontal conversion type and the vertical conversion type. At the same time, the vertical conversion type to be applied to the inverse conversion processing in the vertical direction is determined for each target color difference block from the vertical conversion type candidates.
  • FIG. 6 is a diagram showing an operation flow related to the inverse transformation processing for one target color difference block.
  • the conversion candidate specifying unit 212a is a conversion type candidate (specifically, a horizontal conversion type candidate and a vertical conversion type candidate) applicable to the inverse transformation processing according to the signal format. ) Is specified.
  • the conversion type determination unit 212b determines the horizontal conversion type from the horizontal conversion type candidates specified by the conversion candidate identification unit 212a based on the flag information indicating the combination of the horizontal conversion type and the vertical conversion type.
  • the vertical conversion type is determined from the vertical conversion type candidates specified by the conversion candidate specifying unit 212a.
  • the conversion type determination unit 212b may apply DCT2 (default mode) to the color difference conversion coefficient in both the horizontal direction and the vertical direction without being based on the flag information. ..
  • step S23 the inverse conversion unit 212 applies the combination of the horizontal transformation type and the vertical transformation type determined by the conversion type determination unit 212b to the color difference conversion coefficient output by the inverse quantization unit 211 to obtain the color difference prediction residual. It is generated and the color difference prediction residual is output to the synthesis unit 220.
  • the decoding efficiency of the color difference signal is improved by controlling the conversion type applied to the inverse conversion processing of the color difference conversion coefficient according to the signal format of the image. Can be made to.
  • the horizontal conversion type candidate and the vertical conversion type candidate may include a conversion skip.
  • the conversion candidate identification units 121a and 212a have (DCT2 ⁇ DCT2), (conversion skip ⁇ conversion skip), (DST7 ⁇ DST7), (DST7 ⁇ DST7), as a combination (horizontal ⁇ vertical) of the horizontal conversion type candidate and the vertical conversion type candidate.
  • DST7 ⁇ DCT8), (DCT8 ⁇ DST7), (DCT8 ⁇ DCT8) may be applied.
  • the horizontal conversion type and the vertical conversion type may be determined by utilizing the correlation between the luminance block and the color difference block.
  • the conversion type determination unit 121b of the coding device 1 converts the conversion type based on the conversion type applied to the conversion of the predicted residual of the luminance block (hereinafter referred to as the reference luminance block) corresponding to the position of the target color difference block.
  • the conversion type to be applied to the conversion process of the color difference prediction residual is determined from the candidates of the conversion type specified by the candidate identification unit 121a.
  • the conversion type determination unit 212b of the decoding device 2 further bases on the conversion type applied to the inverse conversion processing of the conversion coefficient of the reference luminance block, and selects the color difference signal from the conversion type candidates specified by the conversion candidate identification unit 212a. Determine the conversion type to be applied to the inverse transformation processing of the color difference conversion coefficient.
  • the conversion type determination unit 121b sets the reference luminance block as the horizontal transformation type and the vertical transformation type to be applied to the conversion processing (or inverse conversion processing).
  • the horizontal transformation type and the vertical transformation type applied to the conversion processing (or inverse conversion processing) of the above may be determined.
  • the conversion type The determination unit 121b may determine a predetermined combination of the horizontal conversion type and the vertical conversion type.
  • the signal format is 4: 4: 4
  • the copy flag indicating whether or not the combination of the horizontal conversion type and the vertical conversion type applied to the conversion process of the reference luminance block is applied to the conversion process of the target color difference block is transmitted, and the flag information indicating the combination is transmitted. Transmission may not be required.
  • the horizontal conversion type and the vertical conversion type applied to the conversion processing are the horizontal conversion applied to the conversion processing of the reference luminance block. Determine the type and vertical conversion type.
  • the conversion type The determination unit 121b (and 212b) may determine a predetermined combination of the horizontal conversion type and the vertical conversion type.
  • DCT2 default mode
  • the conversion type determination unit 121b uses the reference luminance block conversion processing (or) as the vertical conversion type to be applied to the conversion processing (or inverse conversion processing).
  • the vertical transformation type applied to the inverse transformation processing may be determined.
  • the conversion type determination unit 121b is set in the predetermined vertical direction. The conversion type may be determined.
  • the signal format is 4: 2: 2
  • the copy flag indicates whether or not the vertical conversion type applied to the conversion process of the reference luminance block is applied to the conversion process of the target color difference block is transmitted, and the transmission of the flag information indicating the vertical conversion type is unnecessary. May be good.
  • the copy flag is 1, as described above, the vertical conversion type applied to the conversion process of the reference luminance block is determined as the vertical conversion type applied to the conversion process.
  • the conversion type determination unit 121b (and 212b) performs the predetermined vertical transformation. The type may be determined.
  • DCT2 default mode
  • DCT2 default mode
  • a program that causes a computer to execute each process performed by the coding device 1 may be provided.
  • a program that causes a computer to execute each process performed by the decoding device 2 may be provided.
  • the program may be recorded on a computer-readable medium.
  • Computer-readable media allow you to install programs on your computer.
  • the computer-readable medium on which the program is recorded may be a non-transient recording medium.
  • the non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
  • a circuit that executes each process performed by the coding device 1 may be integrated, and the coding device 1 may be configured by a semiconductor integrated circuit (chipset, SoC).
  • a circuit that executes each process performed by the decoding device 2 may be integrated, and the decoding device 2 may be configured by a semiconductor integrated circuit (chipset, SoC).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

輝度信号及び色差信号により構成される画像を分割したブロック単位で符号化処理を行う符号化装置は、前記色差信号の符号化対象ブロックである対象色差ブロックを予測して予測色差ブロックを生成する予測部と、前記対象色差ブロックと前記予測色差ブロックとの差分を表す色差予測残差を生成する残差生成部と、前記色差予測残差に変換処理を適用して変換係数を生成する変換部と、を備え、前記変換部は、前記画像の信号フォーマットに応じて、前記変換処理に適用する変換種別を制御する。

Description

符号化装置、復号装置、及びプログラム
　本発明は、符号化装置、復号装置、及びプログラムに関する。
　ＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）やＶＶＣ（Ｖｅｒｓａｔｉｌｅ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）に代表される映像符号化方式では、符号化装置は、原画像をブロック単位に分割した符号化対象ブロック単位でイントラ予測やインター予測を切り替えながら、ブロック単位の予測画像である予測ブロックと符号化対象ブロックとの差分（誤差）である予測残差を生成する。符号化装置は、生成した予測残差に変換処理を適用し、空間的に広がった予測残差のエネルギー分布を集中させることで、効率的な符号化処理を行う。
　ＶＶＣにおいては、予測残差のエネルギー分布の集中度を高めるため、複数の変換種別を予測残差に対して選択的に適用可能となっている。具体的には、符号化装置は、予測残差に対してデフォルトの変換種別を選択する場合、水平方向及び垂直方向にＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）タイプ２（以下、ＤＣＴ２）を適用し、変換種別がデフォルトモードである旨を示すフラグ情報をシグナリングする。
　一方、デフォルトモードでないモードを選択する場合、符号化装置は、水平方向及び垂直方向に対してＤＣＴタイプ８（以下、ＤＣＴ８）或いはＤＳＴ（Ｄｉｓｃｒｅｔｅ　Ｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）タイプ７（以下、ＤＳＴ７）のいずれかを予測残差にそれぞれ適用した上で、変換種別がデフォルトモードでない旨を示すフラグ情報とともに、ＤＣＴ８及びＤＳＴ７の組み合わせ計４種のモードのいずれを選択したかを示すフラグ情報をシグナリングする。
　但し、ＶＶＣにおいては、輝度信号に対してのみデフォルトモード以外のモードの適用が可能であり、色差信号に対してはデフォルトモードのみを適用することが検討されている。これは、映像の信号フォーマット４：２：０においては、色差信号の解像度は色差信号の解像度の縦横半分の大きさであり、色差信号に含まれる高周波成分が多くないためである。
　第１の態様に係る符号化装置は、輝度信号及び色差信号により構成される画像を分割したブロック単位で符号化処理を行う符号化装置であって、前記色差信号の符号化対象ブロックである対象色差ブロックを予測して予測色差ブロックを生成する予測部と、前記対象色差ブロックと前記予測色差ブロックとの差分を表す色差予測残差を生成する残差生成部と、前記色差予測残差に変換処理を適用して変換係数を生成する変換部と、を備え、前記変換部は、前記画像の信号フォーマットに応じて、前記変換処理に適用する変換種別を制御することを要旨とする。
　第２の態様に係る復号装置は、輝度信号及び色差信号により構成される画像を分割したブロック単位で復号処理を行う復号装置であって、前記色差信号の復号対象ブロックである対象色差ブロックを予測して予測色差ブロックを生成する予測部と、符号化側からの変換係数に逆変換処理を適用し、前記対象色差ブロックと前記予測色差ブロックとの差分を表す色差予測残差を生成する逆変換部と、を備え、前記逆変換部は、前記画像の信号フォーマットに応じて、前記逆変換処理に適用する変換種別を制御することを要旨とする。
　第３の態様に係るプログラムは、コンピュータを第１の態様に係る符号化装置として機能させる。
　第４の態様に係るプログラムは、コンピュータを第２の態様に係る復号装置として機能させる。
実施形態に係る符号化装置の構成を示す図である。 実施形態に係るＤＣＴ２、ＤＣＴ８、ＤＳＴ７の合計３つの変換種別（Ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ）を示す図である。 実施形態に係る色差信号に対する変換処理を示す図である。 実施形態に係る符号化装置における変換処理に関する動作フローを示す図である。 実施形態に係る復号装置の構成を示す図である。 実施形態に係る復号装置における逆変換処理に関する動作フローを示す図である。
　信号フォーマット４：４：４においては、色差信号の解像度は輝度信号と同サイズであり、色差信号に含まれる情報量は４：２：０に比べて格段に大きくなる。また４：２：２においても、垂直方向の解像度は色差信号と輝度信号とで等しいことから、前述の４：４：４と同様に色差信号に含まれる情報量は大きくなる。
　しかしながら、現在のＶＶＣ規格案においては、信号フォーマットにかかわらず色差信号に対してはデフォルトモードの変換のみ適用可能であることから、色差信号の符号化効率を向上させる余地がある。
　そこで、本実施形態では、色差信号の符号化効率を向上させる符号化装置、復号装置、及びプログラムを提供する。
　図面を参照して、実施形態に係る符号化装置及び復号装置について説明する。実施形態に係る符号化装置及び復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号をそれぞれ行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
　＜符号化装置＞
　まず、本実施形態に係る符号化装置の構成について説明する。図１は、本実施形態に係る符号化装置１の構成を示す図である。
　図１に示すように、符号化装置１は、ブロック分割部１００と、残差生成部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０とを有する。
　ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像である原画像を複数の画像ブロックに分割し、分割により得た画像ブロックを残差生成部１１０に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。画像ブロックの形状は正方形に限らず長方形（非正方形）であってもよい。画像ブロックは、符号化装置１が符号化処理を行う単位（すなわち、符号化対象ブロック）であり、且つ復号装置が復号処理を行う単位（すなわち、復号対象ブロック）である。このような画像ブロックはＣＵ（Ｃｏｄｉｎｇ　Ｕｎｉｔ）と呼ばれることがある。
　ブロック分割部１００は、画像を構成する輝度信号及び色差信号に対してブロック分割を行うことで、輝度ブロック及び色差ブロックを出力する。輝度信号と色差信号とで分割を独立に制御可能であってもよい。以下において、輝度ブロック及び色差ブロックを区別しないときは単に符号化対象ブロックと呼ぶ。
　残差生成部１１０は、ブロック分割部１００が出力する符号化対象ブロックと、符号化対象ブロックを予測部１７０が予測して得た予測ブロックとの差分（誤差）を表す予測残差を算出する。具体的には、残差生成部１１０は、符号化対象ブロックの各画素値から予測ブロックの各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。
　変換・量子化部１２０は、ブロック単位で変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを有する。
　変換部１２１は、残差生成部１１０が出力する予測残差に対して変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。変換処理とは、予測残差を空間領域から周波数領域に変換する処理をいい、例えば、離散コサイン変換（ＤＣＴ）や離散サイン変換（ＤＳＴ）、カルーネンレーブ変換（ＫＬＴ）等をいう。但し、変換処理には、画素領域の信号を周波数領域に変換することなくスケーリング等により調整する変換スキップを含んでもよい。変換部１２１は、符号化対象ブロックに適用する変換処理に関する情報をエントロピー符号化部１３０に出力する。
　変換部１２１は、予測残差のエネルギー分布の集中度を高めるため、複数の変換種別を予測残差に対して選択的に適用可能となっている。本実施形態において、選択可能な変換種別には、ＤＣＴ２、ＤＣＴ８、及びＤＳＴ７の３つがある。但し、選択可能な変換種別には変換スキップ等の変換種別がさらに含まれてもよい。
　具体的には、変換部１２１は、複数の変換種別を符号化対象ブロックごとに切り替えるＭＴＳ（Ｍｕｌｔｉｐｌｅ　Ｔｒａｎｓｆｏｒｍ　Ｓｅｌｅｃｔｉｏｎ）の機能を有する。変換部１２１は、水平方向及び垂直方向のそれぞれについて、ＤＣＴ２、ＤＳＴ７、ＤＣＴ８の中から変換種別を決定し、決定した変換種別を示す変換種別情報をエントロピー符号化部１３０及び逆変換部１４２に出力する。
　図２は、本実施形態に係るＤＣＴ２、ＤＣＴ８、ＤＳＴ７の合計３つの変換種別を示す図である。図２において、Ｎは符号化対象ブロックのサイズを表す。ＤＣＴ８は、インパルス応答が単調減少となる基底を含む。具体的には、ＤＣＴ８は、最も低域のフィルタのインパルス応答Ｔ０（ｊ）が単調減少となる変換である（但し、ｊ＝０，…，Ｎ－１）。ＤＣＴ８は、変換種別波形の一端が大きい値を持ち開放となる。ＤＳＴ７は、インパルス応答が単調増加となる基底を含む。具体的には、ＤＳＴ７は、最も低域のフィルタのインパルス応答Ｔ０（ｊ）が単調増加となる変換である（但し、ｊ＝０，…，Ｎ－１）。ＤＳＴ７は、変換種別波形の一端が閉じている。
　本実施形態では、予測残差に適用する複数種別の変換処理としてＤＣＴ２、ＤＣＴ８、ＤＳＴ７の３つを例に説明するが、変換を選択的に切り替えて適用するものであればよく、これら３つの変換種別に限定されない。例えば、ＤＣＴ１やＤＣＴ５などの他のＤＣＴ・ＤＳＴを用いてもよいし、離散ウェーブレット変換などの変換を用いてもよい。
　量子化部１２２は、変換部１２１が出力する変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化した変換係数である量子化変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。
　エントロピー符号化部１３０は、量子化部１２２が出力する量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ　Ａｄａｐｔｉｖｅ　Ｂｉｎａｒｙ　Ａｒｉｔｈｍｅｔｉｃ　Ｃｏｄｉｎｇ）等を用いることができる。
　また、エントロピー符号化部１３０は、変換部１２１から入力された変換処理に関する情報を符号化してビットストリームを出力し、復号側に伝送（シグナリング）する。またエントロピー符号化部１３０は、予測部１７０から入力された予測処理に関する情報を符号化してビットストリームを出力し、復号側に伝送する。
　逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを有する。
　逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。
　逆変換部１４２は、変換部１２１が出力する変換種別情報に基づいて、変換部１２１が行う変換処理に対応する逆変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。
　合成部１５０は、逆変換部１４２が出力する復元予測残差を、予測部１７０が出力する予測ブロックと画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測ブロックの各画素値を加算して符号化対象ブロックを復号（再構成）し、復号済みブロックをメモリ１６０に出力する。なお、復号済みブロックは、再構成ブロックと呼ばれることもある。
　メモリ１６０は、合成部１５０が出力する復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ１６０は、記憶している復号済みブロック若しくは復号済み画像を予測部１７０に出力する。なお、合成部１５０とメモリ１６０との間にループフィルタが介在してもよい。
　予測部１７０は、ブロック単位で予測処理を行う。予測部１７０は、インター予測部１７１と、イントラ予測部１７２と、切替部１７３とを有する。
　インター予測部１７１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部１７１は、メモリ１６０に記憶された復号済み画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部１７３に出力する。ここで、インター予測部１７１は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１７１は、インター予測に関する情報（動きベクトル等）をエントロピー符号化部１３０に出力する。
　イントラ予測部１７２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部１７２は、メモリ１６０に記憶された復号済み画像のうち、符号化対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部１７３に出力する。イントラ予測部１７２は、複数のイントラ予測モードの中から、符号化対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードを用いて符号化対象ブロックを予測する。
　切替部１７３は、インター予測部１７１が出力するインター予測ブロックとイントラ予測部１７２が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを残差生成部１１０及び合成部１５０に出力する。
　このように構成された符号化装置１は、符号化対象ブロックとしての輝度ブロック（以下、対象輝度ブロックと呼ぶ）及び符号化対象ブロックとしての色差ブロック（以下、対象色差ブロック）のそれぞれを符号化する。以下の符号化装置１の説明において、対象色差ブロックの符号化処理について主として説明する。
　本実施形態に係る符号化装置１は、輝度信号及び色差信号により構成される画像を分割したブロック単位で符号化処理を行う。符号化装置１は、色差信号の符号化対象ブロックである対象色差ブロックを予測して予測色差ブロックを生成する予測部１７０と、対象色差ブロックと予測色差ブロックとの差分を表す色差予測残差を生成する残差生成部１１０と、色差予測残差に変換処理を適用して色差変換係数を生成する変換部１２１とを有する。
　次に、本実施形態に係る変換部１２１について説明する。本実施形態において、変換部１２１は、符号化対象ブロックごとに変換種別を切り替えるＭＴＳを、輝度ブロックだけではなく、色差ブロックにも適用可能とする。
　第１に、輝度信号に対する変換処理について説明する。輝度ブロックの符号化において、変換部１２１は、輝度予測残差に対してデフォルトの変換種別を選択する場合、水平方向及び垂直方向にＤＣＴ２を適用し、変換種別がデフォルトモードである旨を示すフラグ情報をエントロピー符号化部１３０によりシグナリングする。一方、デフォルトモードでないモードを選択する場合、変換部１２１は、水平方向及び垂直方向に対してＤＣＴ８或いはＤＳＴ７のいずれかを輝度予測残差にそれぞれ適用した上で、変換種別がデフォルトモードでない旨を示すフラグ情報とともに、ＤＣＴ８及びＤＳＴ７の組み合わせ計４種のモードのいずれを選択したかを示すフラグ情報をエントロピー符号化部１３０によりシグナリングする。
　第２に、色差信号に対する変換処理について説明する。本実施形態に係る変換部１２１は、画像の信号フォーマットに応じて、色差信号に対する変換処理を制御する。信号フォーマットとは、色差信号をサンプリングにより間引く色差サブサンプリングの方式をいう。信号フォーマットは、色差フォーマットと呼ばれることもある。本実施形態では、４：４：４、４：２：２、及び４：２：０の３つの信号フォーマットを想定する。
　ここで、信号フォーマット４：２：０においては、色差信号の解像度は色差信号の解像度の縦横半分の大きさであり、色差信号に含まれる高周波成分が多くない。信号フォーマット４：４：４においては、色差信号の解像度は輝度信号と同サイズであり、色差信号に含まれる情報量は４：２：０に比べて格段に大きくなる。４：２：２においても、垂直方向の解像度は色差信号と輝度信号とで等しいことから、４：４：４と同様に色差信号に含まれる情報量は大きくなる。
　本実施形態において、変換部１２１は、対象色差ブロックが属する画像の信号フォーマットが４：２：０の場合、水平方向及び垂直方向の両方についてＤＣＴ２を色差予測残差に適用する（すなわち、デフォルトモードの変換処理のみを適用可能とする）。
　一方、対象色差ブロックが属する画像の信号フォーマットが４：２：２の場合、変換部１２１は、水平方向にはＤＣＴ２を、垂直方向にはＤＣＴ２、ＤＳＴ７、ＤＣＴ８のいずれかを適用する。対象色差ブロックが属する画像の信号フォーマットが４：４：４の場合、変換部１２１は、水平方向及び垂直方向にそれぞれＤＣＴ２、ＤＳＴ７、ＤＣＴ８のいずれかを適用する。
　本実施形態において、変換部１２１は、変換候補特定部１２１ａと、変換種別決定部１２１ｂとを有する。
　変換候補特定部１２１ａは、信号フォーマットに応じて、変換処理に適用可能な変換種別の候補を対象色差ブロックごとに特定する。具体的には、変換候補特定部１２１ａは、信号フォーマットに応じて、水平方向における色差予測残差の変換処理に適用可能な変換種別の候補である水平変換種別候補と、垂直方向における色差予測残差の変換処理に適用可能な変換種別の候補である垂直変換種別候補とを特定する。
　図３は、本実施形態に係る色差信号に対する変換処理を示す図である。
　図３に示すように、変換候補特定部１２１ａは、信号フォーマットが４：２：０である場合、水平変換種別候補及び垂直変換種別候補としてＤＣＴ２を特定する。
　変換候補特定部１２１ａは、信号フォーマットが４：２：２である場合、水平変換種別候補としてＤＣＴ２を特定し、垂直変換種別の候補としてＤＣＴ２、ＤＳＴ７、及びＤＣＴ８を特定する。
　変換候補特定部１２１ａは、信号フォーマットが４：４：４である場合、水平変換種別候補及び垂直変換種別の候補としてＤＣＴ２、ＤＳＴ７、及びＤＣＴ８を特定する。但し、変換候補特定部１２１ａは、信号フォーマットが４：４：４である場合、すべての適用可能な変換種別の組み合わせ（水平３種類×垂直３種類＝９通り）を変換種別の候補として特定してもよいし、予め規定する一部の組み合わせを変換種別の候補として特定してもよい。例えば、選択可能な変換の組み合わせ（水平×垂直）を、図３に示すように、（ＤＣＴ２×ＤＣＴ２）、（ＤＳＴ７×ＤＳＴ７）、（ＤＳＴ７×ＤＣＴ８）、（ＤＣＴ８×ＤＳＴ７）、（ＤＣＴ８×ＤＣＴ８）としてもよい。
　変換種別決定部１２１ｂは、水平変換種別候補の中から水平方向における変換処理に適用する変換種別（以下、「水平変換種別」と呼ぶ）を対象色差ブロックごとに決定するとともに、垂直変換種別候補の中から垂直方向における変換処理に適用する変換種別（以下、「垂直変換種別」と呼ぶ）を対象色差ブロックごとに決定する。
　例えば、変換種別決定部１２１ｂは、水平変換種別候補及び水平変換種別候補により変換処理を試行し、最も符号化効率が高くなる水平変換種別及び垂直変換種別の組み合わせを決定する。そして、変換部１２１は、決定した水平変換種別及び垂直変換種別の組み合わせを色差予測残差に適用することで色差変換係数を生成し、色差変換係数を量子化部１２２に出力する。
　エントロピー符号化部１３０は、変換種別決定部１２１ｂが決定した水平変換種別及び垂直変換種別を示すフラグ情報に対してエントロピー符号化処理を行うことで復号側に伝送する。ここで、エントロピー符号化部１３０は、水平変換種別及び垂直変換種別を示すフラグ情報の伝送を対象色差ブロックごとに行う。
　図３に示すように、エントロピー符号化部１３０は、信号フォーマットが４：２：０である場合、選択可能な水平及び垂直の変換処理の種別が１種類のみであるため、適用する変換処理を示すフラグ情報を伝送する必要はない。一方、信号フォーマットが４：２：２又は４：４：４である場合、適用した変換の組み合わせを示すフラグ情報をエントロピー符号化する。
　なお、エントロピー符号化部１３０は、原画像の信号フォーマットを示すフラグ情報に対してエントロピー符号化処理を行うことで復号側に伝送する。
　次に、本実施形態に係る符号化装置１における変換処理に関する動作フローについて説明する。図４は、１つの対象色差ブロックに対する変換処理に関する動作フローを示す図である。
　図４に示すように、ステップＳ１１において、変換候補特定部１２１ａは、信号フォーマットに応じて、変換処理に適用可能な変換種別の候補（具体的には、水平変換種別候補及び垂直変換種別候補）を特定する。ここで、変換候補特定部１２１ａは、信号フォーマットを示す情報を、ブロック分割部１００から取得してもよいし、図示を省略する前処理部から取得してもよい。
　ステップＳ１２において、変換種別決定部１２１ｂは、変換候補特定部１２１ａが特定した水平変換種別候補の中から水平変換種別を決定するとともに、変換候補特定部１２１ａが特定した垂直変換種別候補の中から垂直変換種別を決定する。
　ステップＳ１３において、変換部１２１は、変換種別決定部１２１ｂが決定した水平変換種別及び垂直変換種別の組み合わせを、残差生成部１１０が出力する色差予測残差に適用することで色差変換係数を生成し、色差変換係数を量子化部１２２に出力する。
　ステップＳ１４において、エントロピー符号化部１３０は、変換種別決定部１２１ｂが決定した水平変換種別及び垂直変換種別の組み合わせを示すフラグ情報に対してエントロピー符号化処理を行うことでストリーム出力（復号側に伝送）する。また、エントロピー符号化部１３０は、量子化部１２２が出力する色差量子化変換係数に対するエントロピー符号化処理を行うことでストリーム出力する。
　このように、本実施形態に係る符号化装置１によれば、画像の信号フォーマットに応じて、色差予測残差の変換処理に適用する変換種別を制御することにより、色差信号の符号化効率を向上させることができる。
　＜復号装置＞
　次に、本実施形態に係る復号装置の構成について、符号化装置１との相違点を主として説明する。図５は、本実施形態に係る復号装置２の構成を示す図である。
　図５に示すように、復号装置２は、エントロピー復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０とを有する。
　エントロピー復号部２００は、符号化データを復号して、復号対象ブロックに対応する量子化変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー復号部２００は、変換処理に関する情報を取得し、変換処理に関する情報を逆量子化・逆変換部２１０（逆変換部２１２）に出力する。変換処理に関する情報は、上述したような水平変換種別及び垂直変換種別の組み合わせを示すフラグ情報を含む。さらに、エントロピー復号部２００は、予測処理に関する情報を取得し、予測処理に関する情報を予測部２４０に出力する。
　逆量子化・逆変換部２１０は、ブロック単位で逆量子化処理及び逆変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを有する。
　逆量子化部２１１は、符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー復号部２００が出力する量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、復号対象ブロックの変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。
　逆変換部２１２は、符号化装置１の変換部１２１が行う変換処理に対応する逆変換処理を行う。逆変換部２１２は、逆量子化部２１１が出力する変換係数に対して逆変換処理を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。
　合成部２２０は、逆変換部２１２が出力する予測残差と、予測部２４０が出力する予測ブロックとを画素単位で合成することにより、元のブロックを復号（再構成）し、復号済みブロックをメモリ２３０に出力する。
　メモリ２３０は、合成部２２０が出力する復号済みブロックを記憶し、復号済みブロックをフレーム単位で復号済み画像として蓄積する。メモリ２３０は、復号済みブロック若しくは復号済み画像を予測部２４０に出力する。また、メモリ２３０は、フレーム単位の復号済み画像を復号装置２の外部に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが介在してもよい。
　予測部２４０は、ブロック単位で予測を行う。予測部２４０は、インター予測部２４１と、イントラ予測部２４２と、切替部２４３とを有する。
　インター予測部２４１は、フレーム間の相関を利用したインター予測を行う。具体的には、インター予測部２４１は、エントロピー復号部２００が出力するインター予測に関する情報（例えば、動きベクトル情報）に基づいて、メモリ２３０に記憶された復号済み画像を参照画像として用いて符号化対象ブロックを予測してインター予測ブロックを生成し、生成したインター予測ブロックを切替部２４３に出力する。
　イントラ予測部２４２は、フレーム内の空間的な相関を利用したイントラ予測を行う。具体的には、イントラ予測部２４２は、エントロピー復号部２００が出力するイントラ予測に関する情報（例えば、イントラ予測モード情報）に応じたイントラ予測モードを用いて、メモリ２３０に記憶された復号済み画像のうち符号化対象ブロックの周辺にある復号済み画素を参照してイントラ予測ブロックを生成し、生成したイントラ予測ブロックを切替部２４３に出力する。
　切替部２４３は、インター予測部２４１が出力するインター予測ブロックとイントラ予測部２４２が出力するイントラ予測ブロックとを切り替えて、いずれかの予測ブロックを合成部２２０に出力する。
　このように構成された復号装置２は、復号対象ブロックとしての輝度ブロック（対象輝度ブロック）及び復号対象ブロックとしての色差ブロック（対象色差ブロック）のそれぞれを復号する。以下の復号装置２の説明において、対象色差ブロックの復号処理について主として説明する。
　本実施形態に係る復号装置２は、輝度信号及び色差信号により構成される画像を分割したブロック単位で復号処理を行う。復号装置２は、対象色差ブロックを予測して予測色差ブロックを生成する予測部２４０と、符号化側からの色差変換係数に逆変換処理を適用し、対象色差ブロックと予測色差ブロックとの差分を表す色差予測残差を生成する逆変換部２１２とを有する。
　次に、本実施形態に係る逆変換部２１２について説明する。本実施形態において、逆変換部２１２は、復号対象ブロックごとに変換種別を切り替えるＭＴＳを、輝度ブロックだけではなく、色差ブロックにも適用可能とする。
　第１に、輝度信号に対する逆変換処理について説明する。輝度ブロックの復号において、逆変換部２１２は、変換種別がデフォルトモードである旨を示すフラグ情報をエントロピー復号部２００が取得した場合、輝度変換係数に対して、水平方向及び垂直方向にＤＣＴ２を適用する。一方、変換種別がデフォルトモードでない旨を示すフラグ情報とともに、ＤＣＴ８及びＤＳＴ７の組み合わせ計４種のモードのいずれを選択したかを示すフラグ情報をエントロピー復号部２００が取得した場合、逆変換部２１２は、水平方向及び垂直方向に対してＤＣＴ８或いはＤＳＴ７のいずれかを輝度変換係数にそれぞれ適用する。
　第２に、色差信号に対する逆変換処理について説明する。本実施形態に係る逆変換部２１２は、画像の信号フォーマットに応じて、色差信号に対する逆変換処理を制御する。ここで、信号フォーマットを示す情報はエントロピー復号部２００が取得し、エントロピー復号部２００から逆変換部２１２に対して信号フォーマットを通知する。
　本実施形態において、逆変換部２１２は、対象色差ブロックが属する画像の信号フォーマットが４：２：０の場合、水平方向及び垂直方向の両方についてＤＣＴ２を色差変換係数に適用する（すなわち、デフォルトモードの逆変換処理のみを適用可能とする）。
　一方、対象色差ブロックが属する画像の信号フォーマットが４：２：２の場合、水平変換種別及び垂直変換種別の組み合わせを示すフラグ情報に基づいて、逆変換部２１２は、水平方向にはＤＣＴ２を、垂直方向にはＤＣＴ２、ＤＳＴ７、ＤＣＴ８のいずれかを適用する。対象色差ブロックが属する画像の信号フォーマットが４：４：４の場合、逆変換部２１２は、水平変換種別及び垂直変換種別の組み合わせを示すフラグ情報に基づいて、水平方向及び垂直方向にそれぞれＤＣＴ２、ＤＳＴ７、ＤＣＴ８のいずれかを適用する。
　本実施形態において、逆変換部２１２は、変換候補特定部２１２ａと、変換種別決定部２１２ｂとを有する。
　変換候補特定部２１２ａは、信号フォーマットに応じて、逆変換処理に適用可能な変換種別の候補を対象色差ブロックごとに特定する。具体的には、変換候補特定部２１２ａは、信号フォーマットに応じて、水平方向における色差変換係数の逆変換処理に適用可能な変換種別の候補である水平変換種別候補と、垂直方向における色差変換係数の逆変換処理に適用可能な変換種別の候補である垂直変換種別候補とを特定する。水平変換種別候補及び垂直変換種別候補の特定方法は、符号化装置１における特定方法（図３参照）と同様である。
　変換種別決定部２１２ｂは、水平変換種別及び垂直変換種別の組み合わせを示すフラグ情報に基づいて、水平変換種別候補の中から水平方向における逆変換処理に適用する水平変換種別を対象色差ブロックごとに決定するとともに、垂直変換種別候補の中から垂直方向における逆変換処理に適用する垂直変換種別を対象色差ブロックごとに決定する。
　次に、本実施形態に係る復号装置２における逆変換処理に関する動作フローについて説明する。図６は、１つの対象色差ブロックに対する逆変換処理に関する動作フローを示す図である。
　図６に示すように、ステップＳ２１において、変換候補特定部２１２ａは、信号フォーマットに応じて、逆変換処理に適用可能な変換種別の候補（具体的には、水平変換種別候補及び垂直変換種別候補）を特定する。
　ステップＳ２２において、変換種別決定部２１２ｂは、水平変換種別及び垂直変換種別の組み合わせを示すフラグ情報に基づいて、変換候補特定部２１２ａが特定した水平変換種別候補の中から水平変換種別を決定するとともに、変換候補特定部２１２ａが特定した垂直変換種別候補の中から垂直変換種別を決定する。但し、信号フォーマットが４：２：０の場合、変換種別決定部２１２ｂは、フラグ情報に基づかずに、水平方向及び垂直方向の両方についてＤＣＴ２（デフォルトモード）を色差変換係数に適用してもよい。
　ステップＳ２３において、逆変換部２１２は、変換種別決定部２１２ｂが決定した水平変換種別及び垂直変換種別の組み合わせを、逆量子化部２１１が出力する色差変換係数に適用することで色差予測残差を生成し、色差予測残差を合成部２２０に出力する。
　このように、本実施形態に係る復号装置２によれば、画像の信号フォーマットに応じて、色差変換係数の逆変換処理に適用する変換種別を制御することにより、色差信号の符号化効率を向上させることができる。
　＜変更例１＞
　上述した実施形態において、水平変換種別候補及び垂直変換種別候補に変換スキップが含まれていてもよい。例えば、変換候補特定部１２１ａ及び２１２ａは、水平変換種別候補及び垂直変換種別候補の組み合わせ（水平×垂直）として、（ＤＣＴ２×ＤＣＴ２）、（変換スキップ×変換スキップ）、（ＤＳＴ７×ＤＳＴ７）、（ＤＳＴ７×ＤＣＴ８）、（ＤＣＴ８×ＤＳＴ７）、（ＤＣＴ８×ＤＣＴ８）を適用してもよい。
　＜変更例２＞
　上述した実施形態において、輝度ブロック及び色差ブロックの相関を利用して水平変換種別及び垂直変換種別を決定してもよい。
　この場合、符号化装置１の変換種別決定部１２１ｂは、対象色差ブロックの位置に対応する輝度ブロック（以下、参照輝度ブロックと呼ぶ）の予測残差の変換に適用した変換種別に基づいて、変換候補特定部１２１ａが特定した変換種別の候補の中から色差予測残差の変換処理に適用する変換種別を決定する。
　一方、復号装置２の変換種別決定部２１２ｂは、参照輝度ブロックの変換係数の逆変換処理に適用した変換種別にさらに基づいて、変換候補特定部２１２ａが特定した変換種別候補の中から色差信号の色差変換係数の逆変換処理に適用する変換種別を決定する。
　例えば、信号フォーマットが４：４：４の場合、輝度ブロック及び色差ブロックの相関が高い。このため、変換種別決定部１２１ｂ（及び２１２ｂ）は、信号フォーマットが４：４：４の場合、変換処理（又は逆変換処理）に適用する水平方向変換種別及び垂直方向変換種別として、参照輝度ブロックの変換処理（又は逆変換処理）に適用した水平方向変換種別及び垂直方向変換種別を決定してもよい。但し、水平方向変換種別候補及び垂直方向変換種別候補の組み合わせが、参照輝度ブロックの変換処理（又は逆変換処理）に適用した水平方向変換種別及び垂直方向変換種別の組み合わせと一致しない場合、変換種別決定部１２１ｂ（及び２１２ｂ）は、予め定められた水平方向変換種別及び垂直方向変換種別の組み合わせを決定してもよい。信号フォーマットが４：４：４の場合、水平方向変換種別及び垂直方向変換種別の組み合わせを示すフラグ情報の伝送を不要としてもよい。また、参照輝度ブロックの変換処理に適用した水平方向変換種別及び垂直方向変換種別の組み合わせを対象色差ブロックの変換処理に適用するか否かを示すコピーフラグのみを伝送し、前記組み合わせを示すフラグ情報の伝送を不要としてもよい。このような場合には、前記コピーフラグが１である場合には前述のように、変換処理に適用する水平方向変換種別及び垂直方向変換種別として、参照輝度ブロックの変換処理に適用した水平方向変換種別及び垂直方向変換種別を決定する。但し、水平方向変換種別候補及び垂直方向変換種別候補の組み合わせが、参照輝度ブロックの変換処理（又は逆変換処理）に適用した水平方向変換種別及び垂直方向変換種別の組み合わせと一致しない場合、変換種別決定部１２１ｂ（及び２１２ｂ）は、予め定められた水平方向変換種別及び垂直方向変換種別の組み合わせを決定してもよい。一方、前記コピーフラグが０である場合には、水平方向及び垂直方向の両方についてＤＣＴ２（デフォルトモード）を対象色差ブロックの変換係数に適用してもよい。
　信号フォーマットが４：２：２の場合、垂直方向における輝度ブロック及び色差ブロックの相関が高い。このため、変換種別決定部１２１ｂ（及び２１２ｂ）は、信号フォーマットが４：２：２の場合、変換処理（又は逆変換処理）に適用する垂直方向変換種別として、参照輝度ブロックの変換処理（又は逆変換処理）に適用した垂直方向変換種別を決定してもよい。但し、垂直方向変換種別候補が、参照輝度ブロックの変換処理（又は逆変換処理）に適用した垂直方向変換種別と一致しない場合、変換種別決定部１２１ｂ（及び２１２ｂ）は、予め定められた垂直方向変換種別を決定してもよい。信号フォーマットが４：２：２の場合、垂直方向変換種別を示すフラグ情報の伝送を不要としてもよい。また、参照輝度ブロックの変換処理に適用した垂直方向変換種別を対象色差ブロックの変換処理に適用するか否かを示すコピーフラグのみを伝送し、垂直方向変換種別を示すフラグ情報の伝送を不要としてもよい。このような場合には、前記コピーフラグが１である場合には前述のように、変換処理に適用する垂直方向変換種別として、参照輝度ブロックの変換処理に適用した垂直方向変換種別を決定する。但し、垂直方向変換種別候補が参照輝度ブロックの変換処理（又は逆変換処理）に適用した垂直方向変換種別と一致しない場合、変換種別決定部１２１ｂ（及び２１２ｂ）は、予め定められた垂直方向変換種別を決定してもよい。一方、前記コピーフラグが０である場合には、垂直方向についてＤＣＴ２（デフォルトモード）を対象色差ブロックの変換係数に適用してもよい。
　＜その他の実施形態＞
　符号化装置１が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
　符号化装置１が行う各処理を実行する回路を集積化し、符号化装置１を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。復号装置２が行う各処理を実行する回路を集積化し、復号装置２を半導体集積回路（チップセット、ＳｏＣ）により構成してもよい。
　以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　本願は日本国特許出願第２０１９－２３５６２１号（２０１９年１２月２６日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims (10)

  1. 　輝度信号及び色差信号により構成される画像を分割したブロック単位で符号化処理を行う符号化装置であって、
    　前記色差信号の符号化対象ブロックである対象色差ブロックを予測して予測色差ブロックを生成する予測部と、
    　前記対象色差ブロックと前記予測色差ブロックとの差分を表す色差予測残差を生成する残差生成部と、
    　前記色差予測残差に変換処理を適用して変換係数を生成する変換部と、を備え、
    　前記変換部は、
    　前記画像の信号フォーマットに応じて、前記変換処理に適用する変換種別を制御することを特徴とする符号化装置。
  2. 　前記変換部は、
    　前記信号フォーマットに応じて、前記変換処理に適用可能な変換種別の候補を特定する変換候補特定部と、
    　前記変換候補特定部が特定した前記変換種別の候補の中から前記変換処理に適用する変換種別を決定する変換種別決定部と、を有することを特徴とする請求項１に記載の符号化装置。
  3. 　エントロピー符号化部をさらに備え、
    　前記変換候補特定部は、
    　前記画像の信号フォーマットに応じて、水平方向における前記変換処理に適用可能な変換種別の候補である水平変換種別候補と、垂直方向における前記変換処理に適用可能な変換種別の候補である垂直変換種別候補とを特定し、
    　前記変換種別決定部は、
    　前記水平変換種別候補の中から水平方向における前記変換処理に適用する変換種別を決定するとともに、前記垂直変換種別候補の中から垂直方向における前記変換処理に適用する変換種別を決定し、
    　前記エントロピー符号化部は、
    　前記変換種別決定部が決定した前記水平変換種別及び前記垂直変換種別を示すフラグ情報を復号側に伝送することを特徴とする請求項２に記載の符号化装置。
  4. 　前記変換種別決定部は、
    　前記対象色差ブロックの位置に対応する輝度ブロックの予測残差の変換に適用した変換種別に基づいて、前記変換候補特定部が特定した前記変換種別の候補の中から前記色差予測残差の変換処理に適用する変換種別を決定することを特徴とする請求項２又は３に記載の符号化装置。
  5. 　輝度信号及び色差信号により構成される画像を分割したブロック単位で復号処理を行う復号装置であって、
    　前記色差信号の復号対象ブロックである対象色差ブロックを予測して予測色差ブロックを生成する予測部と、
    　符号化側からの変換係数に逆変換処理を適用し、前記対象色差ブロックと前記予測色差ブロックとの差分を表す色差予測残差を生成する逆変換部と、を備え、
    　前記逆変換部は、
    　前記画像の信号フォーマットに応じて、前記逆変換処理に適用する変換種別を制御することを特徴とする復号装置。
  6. 　前記逆変換部は、
    　前記画像の信号フォーマットに応じて、前記逆変換処理に適用可能な変換種別の候補を特定する変換候補特定部と、
    　前記変換候補特定部が特定した前記変換種別の候補の中から前記逆変換処理に適用する変換種別を決定する変換種別決定部と、を有することを特徴とする請求項５に記載の復号装置。
  7. 　符号化側で決定した水平変換種別及び垂直変換種別を示すフラグ情報を取得するエントロピー復号部をさらに備え、
    　前記変換候補特定部は、
    　前記画像の信号フォーマットに応じて、水平方向における前記逆変換処理に適用可能な水平変換種別候補と、垂直方向における前記逆変換処理に適用可能な垂直変換種別の候補とを特定し、
    　前記変換種別決定部は、
    　前記フラグ情報に基づいて、前記水平変換種別候補の中から前記変換種別を決定するとともに、前記垂直変換種別候補の中から前記変換種別を決定することを特徴とする請求項６に記載の復号装置。
  8. 　前記変換種別決定部は、
    　前記対象色差ブロックの位置に対応する輝度ブロックの変換係数の逆変換処理に適用した変換種別にさらに基づいて、前記変換候補特定部が特定した前記変換種別の候補の中から前記色差変換係数の逆変換処理に適用する変換種別を決定することを特徴とする請求項６又は７に記載の復号装置。
  9. 　コンピュータを請求項１乃至４のいずれか１項に記載の符号化装置として機能させることを特徴とするプログラム。
  10. 　コンピュータを請求項５乃至８のいずれか１項に記載の復号装置として機能させることを特徴とするプログラム。
PCT/JP2020/048304 2019-12-26 2020-12-23 符号化装置、復号装置、及びプログラム WO2021132404A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080093165.1A CN114982232A (zh) 2019-12-26 2020-12-23 编码装置、解码装置和程序
JP2021567581A JPWO2021132404A1 (ja) 2019-12-26 2020-12-23
US17/849,233 US20220329863A1 (en) 2019-12-26 2022-06-24 Encoding device, decoding device and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-235621 2019-12-26
JP2019235621 2019-12-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/849,233 Continuation US20220329863A1 (en) 2019-12-26 2022-06-24 Encoding device, decoding device and program

Publications (1)

Publication Number Publication Date
WO2021132404A1 true WO2021132404A1 (ja) 2021-07-01

Family

ID=76574305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048304 WO2021132404A1 (ja) 2019-12-26 2020-12-23 符号化装置、復号装置、及びプログラム

Country Status (4)

Country Link
US (1) US20220329863A1 (ja)
JP (1) JPWO2021132404A1 (ja)
CN (1) CN114982232A (ja)
WO (1) WO2021132404A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123644A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置および方法
EP3389274A1 (en) * 2016-02-04 2018-10-17 Samsung Electronics Co., Ltd. Video decoding method and apparatus by chroma-multi-transform, and video encoding method and apparatus by chroma-multi-transform

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
WO2017222334A1 (ko) * 2016-06-24 2017-12-28 한국전자통신연구원 변환 기반의 영상 부호화/복호화 방법 및 장치
US10893286B2 (en) * 2018-10-09 2021-01-12 Tencent America LLC Methods and apparatus for low-complexity MTS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3389274A1 (en) * 2016-02-04 2018-10-17 Samsung Electronics Co., Ltd. Video decoding method and apparatus by chroma-multi-transform, and video encoding method and apparatus by chroma-multi-transform
WO2018123644A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI (LGE) L; NAM J; LIM J; KIM (LGE) S: "Non-CE6: Maximum TU size for chroma format 4:2:2 and 4:4:4", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/ WG 11, JVET-00357-V3, 15TH MEETING, no. JVET-O0357 ; m48475, 8 July 2019 (2019-07-08), Gothenburg, SE, pages 1 - 4, XP030219323 *
TSUKUBA (SONY) T; IKEDA (SONY) M; SUZUKI (SONY) T: "CE6: Chroma AMT (CE6.1.7.1)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/ IEC JTC 1/SC 29/WG 11, JVET-K00121-V1, 11TH MEETING, no. JVET-K00121-v1, 2 July 2018 (2018-07-02), Ljubljana, SI, pages 1 - 9, XP030198674 *
TSUKUBA (SONY) T; NAKAGAMI O; IKEDA M; SUZUKI (SONY) T: "On Adaptive Multiple Core Transform for Chroma", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-E0036, 5TH MEETING, no. JVET-E0036, 13 January 2017 (2017-01-13), Geneva, CH, pages 1 - 4, XP030247556 *

Also Published As

Publication number Publication date
US20220329863A1 (en) 2022-10-13
CN114982232A (zh) 2022-08-30
JPWO2021132404A1 (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US11695955B2 (en) Image encoding device, image decoding device and program
JP7047777B2 (ja) 画像データ符号化及び復号化
JP7357736B2 (ja) 符号化装置、復号装置、及びプログラム
US20240195992A1 (en) Decoding device, program, and decoding method
JP2024053019A (ja) 符号化装置、復号装置、及びプログラム
JP7441638B2 (ja) 符号化装置、復号装置、及びプログラム
JP7030246B2 (ja) イントラ予測装置、画像復号装置、及びプログラム
WO2021132404A1 (ja) 符号化装置、復号装置、及びプログラム
WO2020184566A1 (ja) 画像符号化装置、画像復号装置、及びプログラム
WO2021251398A1 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
WO2021054380A1 (ja) 符号化装置、復号装置、及びプログラム
JP7396883B2 (ja) 符号化装置、復号装置、及びプログラム
JP7388900B2 (ja) 符号化装置、復号装置、及びプログラム
WO2021251400A1 (ja) 復号装置及びプログラム
WO2021215454A1 (ja) 符号化装置、復号装置、及びプログラム
WO2021201222A1 (ja) 符号化装置、復号装置、及びプログラム
WO2021100450A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2023086397A (ja) イントラ予測装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20904702

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021567581

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20904702

Country of ref document: EP

Kind code of ref document: A1