WO2013114992A1 - カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 - Google Patents

カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 Download PDF

Info

Publication number
WO2013114992A1
WO2013114992A1 PCT/JP2013/051081 JP2013051081W WO2013114992A1 WO 2013114992 A1 WO2013114992 A1 WO 2013114992A1 JP 2013051081 W JP2013051081 W JP 2013051081W WO 2013114992 A1 WO2013114992 A1 WO 2013114992A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
block
prediction
signal
color
Prior art date
Application number
PCT/JP2013/051081
Other languages
English (en)
French (fr)
Inventor
杉本　和夫
亮史 服部
裕介 伊谷
彰 峯澤
関口　俊一
村上　篤道
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Publication of WO2013114992A1 publication Critical patent/WO2013114992A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Definitions

  • the present invention relates to a color moving image encoding device and a color moving image encoding method for encoding a color moving image with high efficiency, a color moving image decoding device for decoding a color moving image encoded with high efficiency, and The present invention relates to a color moving image decoding method.
  • an input color image is divided into maximum encoding blocks of a predetermined size, and the maximum encoding block is further divided.
  • Hierarchy is divided into fine coding blocks.
  • the encoded block is divided into finer prediction blocks, and prediction errors are generated by performing intra prediction and motion compensation prediction on the prediction block.
  • the prediction error is hierarchically divided into transform blocks in the coding block, and each transform coefficient is entropy coded to achieve a high compression rate.
  • the transform block when the prediction block is a rectangle of 2N ⁇ N size or 2N ⁇ 0.5N size, the long side and the short side have a length of 2N ⁇ 0.5N as shown in FIG.
  • the transform block does not cross the boundary of the prediction block, and entropy coding of the transform coefficient is performed in N ⁇ N size.
  • a high compression ratio is achieved by compressing by means common to the square transform block.
  • the size of the prediction block and the conversion block of the color difference signal is fixed to the vertical and horizontal half size of the conversion block size of the luminance signal. Therefore, it is not necessary to encode information related to the transform block size of the color difference signal, and the color difference signal can be reduced with a small circuit scale by compressing the entropy coding of the transform coefficient with the transform coefficient entropy encoding means common to the luminance signal. Enhancing encoding efficiency.
  • the entropy encoding unit of the color difference signal conversion block is used as the entropy encoding unit of the luminance signal. Can be shared with. For this reason, it is possible to efficiently encode the color difference signal with a small circuit scale, but when encoding the YUV 4: 2: 2 signal, the shape of the color difference signal is a rectangle whose vertical direction is twice the horizontal direction. Therefore, if the same block division as the luminance signal is performed, the entropy encoding means of the color difference signal conversion block cannot be shared with the entropy encoding means of the luminance signal, and the circuit scale increases. There was a problem.
  • the present invention has been made to solve the above-described problems. Even when YUV 4: 2: 2 signals are encoded, the encoding efficiency of luminance signals and color difference signals can be increased with a small circuit scale.
  • An object is to obtain a color moving image encoding apparatus and a color moving image encoding method. It is another object of the present invention to obtain a color moving image decoding apparatus and a color moving image decoding method capable of accurately decoding a moving image from encoded data whose encoding efficiency is improved.
  • the color moving image coding apparatus performs a conversion process of a difference image between a coding block obtained by dividing an input color image and a prediction image generated by performing a prediction process on the coding block.
  • Image compression means for compressing the difference image, and variable-length code for generating a bit stream in which the transform coefficient of the difference image compressed by the image compression means is variable-length encoded and the encoded data of the transform coefficient is multiplexed
  • the image compression unit is configured so that the conversion block shape of the color difference signal is rectangular when performing the conversion process of the difference image from the predicted image. It is a thing.
  • the difference image is compressed by performing the conversion process of the difference image between the encoded block obtained by dividing the input color image and the prediction image generated by performing the prediction process on the encoded block.
  • An image compression unit that performs variable-length coding on the transform coefficient of the difference image compressed by the image compression unit, and generates a bitstream in which encoded data of the transform coefficient is multiplexed.
  • the compression means is configured so that the conversion block shape of the color difference signal is rectangular when performing the conversion process of the difference image from the predicted image. : Even when encoding 2: 2 signals, it is possible to increase the encoding efficiency of the luminance signal and the color difference signal with a small circuit scale.
  • FIG. 1 is a block diagram showing a color moving image encoding apparatus according to Embodiment 1 of the present invention.
  • the video signal to be processed by the color moving image encoding apparatus according to the first embodiment is an arbitrary color space such as a YUV signal composed of a luminance signal and two color difference signals, or an RGB signal output from a digital image sensor.
  • the video frame is an arbitrary video signal such as a monochrome image signal or an infrared image signal, in which a video frame is composed of a horizontal and vertical two-dimensional digital sample (pixel) sequence.
  • the gradation of each pixel may be 8 bits, or a gradation of 10 bits, 12 bits, or the like.
  • the input video signal is YUV4: 2 in which the two color difference components U and V are subsampled in half both vertically and horizontally with respect to the luminance component Y: 0 format
  • YUV 4: 4: 4 format signal having the same number of samples.
  • the processing data unit corresponding to each frame of the video is referred to as “picture”.
  • “picture” is described as a signal of a video frame that is sequentially scanned (progressive scan).
  • the “picture” may be a field image signal which is a unit constituting a video frame.
  • the encoding control unit 1 determines the maximum size of an encoding block that is a processing unit when intra prediction processing (intraframe prediction processing) or motion compensation prediction processing (interframe prediction processing) is performed. Then, a process of determining the upper limit number of layers when the encoding block of the maximum size is hierarchically divided is performed. In addition, the encoding control unit 1 assigns each encoding block divided hierarchically from one or more available encoding modes (one or more intra encoding modes and one or more inter encoding modes). A process of selecting a suitable encoding mode is performed.
  • the encoding control unit 1 determines a quantization parameter and a transform block size used when the difference image is compressed for each encoding block, and intra prediction used when the prediction process is performed. A process of determining a parameter or an inter prediction parameter is performed.
  • the transform block division flag indicating the quantization parameter and the transform block size is included in the prediction difference coding parameter and is output to the transform / quantization unit 7, the inverse quantization / inverse transform unit 8, the variable length coding unit 13, and the like. Is done.
  • the encoding control unit 1 constitutes an encoding control unit.
  • FIG. 13 is an explanatory diagram showing a conversion block size when performing compression processing (conversion processing, quantization processing) of luminance signals and color difference signals in a 4: 2: 0 format signal.
  • the transform block size is determined by hierarchically dividing the encoded block into a quadtree. For example, whether or not to divide the transform block so that the evaluation value is minimized based on the amount of code when the transform block is divided and when the transform block is not divided, the evaluation scale that takes into account the coding error, etc. By determining, it is possible to determine the optimal division shape of the transform block from the viewpoint of the trade-off between the code amount and the coding error.
  • the prediction mode in which the shape of the prediction block of the luminance signal is a square is selected as the encoding mode of the encoding block
  • one or more encoding blocks are included. It is configured to be hierarchically divided into square transform blocks.
  • the prediction mode in which the shape of the prediction block of the luminance signal is rectangular is selected as the coding mode of the coding block
  • the coding block is hierarchically divided into one or a plurality of rectangular transform blocks.
  • the prediction mode in which the shape of the prediction block of the luminance signal is a square is the encoding mode of the encoding block.
  • the coding block is configured to be hierarchically divided into one or a plurality of square transform blocks in the same manner as the luminance signal. In this case, the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the encoding block is converted into one or a plurality of rectangular transform blocks, similarly to the luminance signal. It is configured to be divided hierarchically. In this case, the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the encoding block has one or more rectangular blocks for the color difference signal. It is configured to be divided hierarchically into transform blocks. In this case, the color difference signal conversion block shape is always a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction. As shown in FIG. 14, when the input signal format is a YUV 4: 4: 4 signal, the color difference signal conversion block always performs the same division as the luminance signal conversion block, and the same size conversion block. To be configured.
  • the division information of the transformation block of the luminance signal is output to the variable length coding unit 13 as a transformation block division flag indicating whether or not to divide for each layer.
  • the block dividing unit 2 divides the input color image into encoded blocks of the maximum size determined by the encoding control unit 1, and the encoding control unit The process of dividing the encoded block hierarchically is performed until the upper limit number of hierarchies determined by 1 is reached.
  • the block dividing unit 2 constitutes block dividing means. If the coding mode selected by the coding control unit 1 is the intra coding mode, the changeover switch 3 outputs the coding block divided by the block dividing unit 2 to the intra prediction unit 4, and the coding control unit 1 If the coding mode selected by (2) is the inter coding mode, a process of outputting the coding block divided by the block dividing unit 2 to the motion compensation prediction unit 5 is performed.
  • the intra prediction unit 4 When the intra prediction unit 4 receives the encoded block divided by the block dividing unit 2 from the changeover switch 3, the intra prediction unit 4 is adjacent to the encoded block stored in the intra prediction memory 10 with respect to the encoded block.
  • generates a prediction image is implemented by implementing the intra prediction process based on the intra prediction parameter output from the encoding control part 1 using the decoded pixel which is. That is, the intra prediction unit 4 performs intra-frame prediction of the luminance component of the encoded block divided by the block dividing unit 2 to generate a prediction image for the luminance component.
  • the chrominance component in the coding block divided by the block dividing unit 2 is selected by the coding control unit 1 when the input signal format is YUV4: 2: 0 signal or YUV4: 2: 2 signal.
  • the coding mode is the luminance / chrominance common intra prediction mode indicating that the same intra prediction mode as that of the luminance signal is applied, the luminance signal and the luminance signal are compared with the color difference component in the coding block divided by the block dividing unit 2. Intraframe prediction is performed in the same intra prediction mode to generate a prediction image for the color difference component.
  • the coding mode selected by the coding control unit 1 is the directional prediction mode in the intra coding mode
  • the directional frame is applied to the color difference component in the coding block divided by the block dividing unit 2.
  • Intra prediction is performed to generate a prediction image for the color difference component.
  • the coding mode selected by the coding control unit 1 is the luminance correlation-use color difference signal prediction mode in the intra coding mode
  • the horizontal direction and the vertical direction among the pixels constituting the coding block Is used to calculate a correlation parameter indicating the correlation between the luminance component and the color difference component, and the luminance component corresponding to the color difference component coding block to be processed is calculated.
  • the prediction image for the color difference component is generated.
  • the processing of the luminance color difference common intra prediction mode or the luminance correlation using color difference signal prediction mode is performed, and the directionality prediction mode is not selected. Also good.
  • the YUV 4: 4: 4 signal there is a high correlation between the edge positions of the luminance signal and the color difference signal. Therefore, by prohibiting application of the direction prediction mode different from the luminance signal to the color difference signal, the intra of the color difference signal is prohibited. It is possible to increase the coding efficiency by reducing the amount of information in the prediction mode.
  • a directionality prediction mode different from that of the luminance signal may be selected for the color difference signal.
  • the motion compensated prediction unit 5 is stored by the motion compensated prediction frame memory 12. Based on the inter prediction parameters output from the encoding control unit 1, using a reference image of one or more frames, a process for generating a prediction image is performed by performing a motion compensation prediction process for the encoded block To do.
  • the changeover switch 3, the intra prediction unit 4, and the motion compensation prediction unit 5 constitute a predicted image generation unit.
  • the process to generate is performed.
  • the subtracting unit 6 constitutes a difference image generating unit.
  • the transform / quantization unit 7 converts the difference image generated by the subtraction unit 6 in units of transform block size specified from the transform block division flag included in the prediction difference encoding parameter output from the encoding control unit 1.
  • transform processing for example, DCT (discrete cosine transform), DST (discrete sine transform), orthogonal transform processing such as KL transform in which a base design is made in advance for a specific learning sequence
  • transform processing for example, DCT (discrete cosine transform), DST (discrete sine transform), orthogonal transform processing such as KL transform in which a base design is made in advance for a specific learning sequence
  • the quantization parameter included in the quantization parameter the transform coefficient of the difference image is quantized to output the quantized transform coefficient as compressed data of the difference image.
  • the transform / quantization unit 7 performs transform / quantization processing (compression processing) on the difference image of the encoded block generated by the subtraction unit 6, the luminance signal is, for example, as shown in FIG. If the prediction mode in which the shape of the prediction block of the luminance signal is square is selected as the coding mode of the coding block, the coding block is hierarchically divided into one or a plurality of square transform blocks. Configure. On the other hand, if the prediction mode in which the shape of the prediction block of the luminance signal is rectangular is selected as the encoding mode of the encoding block, the encoding block is hierarchically divided into one or a plurality of rectangular transform blocks. Configure as follows.
  • the prediction mode in which the shape of the prediction block of the luminance signal is a square is the encoding mode of the encoding block.
  • the coding block is configured to be hierarchically divided into one or a plurality of square transform blocks in the same manner as the luminance signal. In this case, the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the encoding block is converted into one or a plurality of rectangular transform blocks, similarly to the luminance signal. It is configured to be divided hierarchically. In this case, the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the coding block is divided hierarchically into one or more rectangular transform blocks for the color difference signal regardless of the shape of the prediction block of the luminance signal.
  • the color difference signal conversion block shape is always a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction.
  • the input signal format is a YUV 4: 4: 4 signal
  • the color difference signal conversion block is always divided in the same manner as the luminance signal conversion block so as to be the same size conversion block.
  • the transform / quantization unit 7 performs difference image transform / quantization processing on a block basis after division by the block division unit 2.
  • the transform / quantization unit 7 constitutes an image compression unit.
  • the inverse quantization / inverse transform unit 8 performs inverse quantization on the compressed data output from the transform / quantization unit 7 using the quantization parameter included in the prediction difference encoding parameter output from the encoding control unit 1. And inverse transform processing of the compressed data after inverse quantization (for example, inverse DCT (Inverse Discrete Cosine Transform)) in units of transform block size specified from the transform block division flag included in the prediction difference encoding parameter By performing inverse DST (inverse discrete sine transform), inverse KL transform, or the like), a process of outputting the compressed data after the inverse transform process as a local decoded prediction difference signal is performed.
  • inverse DCT Inverse Discrete Cosine Transform
  • the adding unit 9 adds the local decoded prediction difference signal output from the inverse quantization / inverse transform unit 8 and the prediction signal indicating the prediction image generated by the intra prediction unit 4 or the motion compensated prediction unit 5 to perform local decoding. A process of generating a locally decoded image signal indicating an image is performed.
  • the intra prediction memory 10 is a recording medium such as a RAM that stores a local decoded image indicated by the local decoded image signal generated by the adding unit 9 as an image used in the next intra prediction process by the intra prediction unit 4.
  • the loop filter unit 11 compensates for the coding distortion included in the locally decoded image signal generated by the adding unit 9, and performs motion compensation prediction using the locally decoded image indicated by the locally decoded image signal after the coding distortion compensation as a reference image.
  • a process of outputting to the frame memory 12 is performed.
  • the motion-compensated prediction frame memory 12 is a recording medium such as a RAM that stores a locally decoded image after the filtering process by the loop filter unit 11 as a reference image to be used by the motion-compensated prediction unit 5 in the next motion-compensated prediction process.
  • the variable length coding unit 13 includes input signal format information for specifying an input signal format, compressed data output from the transform / quantization unit 7, a coding mode output from the coding control unit 1, and a transform block division flag.
  • the prediction prediction encoding parameter including the intra prediction parameter output from the intra prediction unit 4 or the inter prediction parameter output from the motion compensated prediction unit 5 and the motion information are variable-length encoded by arithmetic encoding, and the input A process of generating a bit stream in which encoded data such as signal format information, compressed data, encoding mode, prediction differential encoding parameter, intra prediction parameter / inter prediction parameter, and motion information is multiplexed is performed.
  • variable length coding unit 13 performs variable length coding on the transform coefficient that is the compressed data output from the transform / quantization unit 7, if the signal format of the input color image is YUV 4: 2: 0, the difference Referring to the context value information for YUV 4: 2: 0 in which the context value of each conversion coefficient in the color difference signal of the image is assigned according to the frequency position of the conversion coefficient, the context value of each conversion coefficient in the color difference signal Is specified, and each conversion coefficient in the color difference signal is arithmetically encoded using the occurrence probability corresponding to the context value of the conversion coefficient.
  • the same context value as the context value of each conversion coefficient in the color difference signal when the signal format is YUV 4: 2: 0 is in the vertical direction of the frequency position.
  • the context value information for YUV 4: 2: 2 that is repeatedly assigned two by two, the context value of each transform coefficient in the color difference signal is specified, and the occurrence probability corresponding to the context value of the transform coefficient is used. Then, each conversion coefficient in the color difference signal is arithmetically encoded.
  • the variable length encoding unit 13 constitutes variable length encoding means.
  • a coding control unit 1 a block division unit 2, a changeover switch 3, an intra prediction unit 4, a motion compensation prediction unit 5, a subtraction unit 6, a transform / quantization unit, which are components of the color moving image coding apparatus.
  • each of the inverse quantization / inverse transform unit 8, the adder unit 9, the loop filter unit 11, and the variable length coding unit 13 has dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, or one chip
  • the encoding control unit 1, the block division unit 2, the changeover switch 3, and the intra prediction unit 4 are assumed.
  • FIG. 2 is a flowchart showing the processing contents of the color moving image coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram showing the variable length coding unit 13 of the color moving image coding apparatus according to Embodiment 1 of the present invention.
  • the transform coefficient variable length coding unit 21 performs a process of variable length coding the orthogonal transform coefficient that is the compressed data output from the transform / quantization unit 7.
  • the encoding parameter variable length encoding unit 22 includes input signal format information, a prediction differential encoding parameter including the encoding mode and transform block division flag output from the encoding control unit 1, and intra prediction output from the intra prediction unit 4.
  • a process of performing variable-length coding on encoding parameters such as inter prediction parameters and motion information output from the parameter or motion compensation prediction unit 5 and block division information indicating the division status of the encoded block is performed.
  • the encoded data of the compressed data variable-length encoded by the transform coefficient variable-length encoding unit 21 and the encoding parameter variable-length encoded by the encoding parameter variable-length encoding unit 22 are multiplexed to form a bit stream Is generated.
  • FIG. 4 is a block diagram showing a color moving image decoding apparatus according to Embodiment 1 of the present invention.
  • the variable length decoding unit 41 is a code that is hierarchically divided from the maximum size of a coding block that is a processing unit when intra prediction processing or motion compensation prediction processing is performed, and a coding block of the maximum size.
  • the coded data related to the largest size coded block and the hierarchically divided coded block is identified from the coded data multiplexed in the bitstream.
  • the compressed data related to the encoded block is variable.
  • the input signal format information, the encoding mode, the prediction differential encoding parameter including the transform block division flag, the intra prediction parameter / inter prediction parameter, the motion information, and the like are variable.
  • Perform long decoding and output the compressed data and the prediction differential encoding parameter to the inverse quantization / inverse transform unit 45 Rutotomoni carries out a process of outputting the encoding mode and the intra prediction parameters / inter prediction parameter to the changeover switch 42.
  • variable length decoding unit 41 performs variable length decoding of the transform coefficient, which is compressed data related to the encoded block, from each encoded data, when the signal format indicated by the input signal format information is YUV 4: 2: 0,
  • the context value information for YUV 4: 2: 0 in which the context value of each conversion coefficient in the color difference signal of the difference image is assigned according to the frequency position of the conversion coefficient, the context of each conversion coefficient in the color difference signal A value is specified, and each transform coefficient in the color difference signal is arithmetically decoded using an occurrence probability corresponding to the context value of the transform coefficient.
  • the context value identical to the context value of each conversion coefficient in the color difference signal when the signal format is YUV 4: 2: 0 is the vertical direction of the frequency position.
  • the context value information for YUV 4: 2: 2 that is repeatedly assigned two by two, the context value of each transform coefficient in the color difference signal is specified, and the occurrence probability corresponding to the context value of the transform coefficient is determined.
  • the conversion coefficient in the color difference signal is arithmetically decoded.
  • the variable length decoding unit 41 constitutes variable length decoding means.
  • the changeover switch 42 outputs the intra prediction parameter output from the variable length decoding unit 41 to the intra prediction unit 43 when the coding mode related to the coding block output from the variable length decoding unit 41 is the intra coding mode.
  • the coding mode is the inter coding mode
  • a process of outputting the inter prediction parameter output from the variable length decoding unit 41 to the motion compensation unit 44 is performed.
  • the intra prediction unit 43 uses a decoded pixel adjacent to the coding block stored in the intra prediction memory 47 and uses the decoded prediction frame output from the changeover switch 42 to generate a frame for the coding block.
  • generates an estimated image is implemented by implementing an intra prediction process.
  • the intra prediction unit 43 performs intra-frame prediction of the luminance component, and generates a predicted image for the luminance component.
  • the coding mode variable-length decoded by the variable-length decoding unit 41 is In the case of the luminance / chrominance common intra prediction mode indicating that the same intra prediction mode as that of the luminance signal is applied, intra-frame prediction is performed on the chrominance component in the coding block using the same intra prediction mode as that of the luminance signal, and the color difference Generate a predicted image for the component.
  • the directional intra-frame prediction is performed on the color difference component in the coding block.
  • the prediction image for the color difference component is generated.
  • variable-length decoded by the variable-length decoding unit 41 is the luminance correlation-use color difference signal prediction mode in the intra encoding mode, among the pixels constituting the encoding block, the horizontal direction and Using the luminance components of a plurality of pixels adjacent in the vertical direction, a correlation parameter indicating the correlation between the luminance component and the color difference component is calculated, and the luminance corresponding to the correlation parameter and the color difference component coding block to be processed A predicted image for the color difference component is generated using the component.
  • the processing of the luminance color difference common intra prediction mode or the luminance correlation using color difference signal prediction mode is performed, and the directionality prediction mode is not selected. Also good.
  • the YUV 4: 4: 4 signal there is a high correlation between the edge positions of the luminance signal and the color difference signal. Therefore, by prohibiting application of the direction prediction mode different from the luminance signal to the color difference signal, the intra of the color difference signal is prohibited. It is possible to increase the coding efficiency by reducing the amount of information in the prediction mode.
  • a directionality prediction mode different from that of the luminance signal may be selected for the color difference signal.
  • the motion compensation unit 44 performs a motion compensation prediction process on the encoded block based on the inter prediction parameter output from the changeover switch 42 using one or more reference images stored in the motion compensation prediction frame memory 49. Thus, a process for generating a predicted image is performed.
  • the changeover switch 42, the intra prediction unit 43, and the motion compensation unit 44 constitute a predicted image generation unit.
  • the inverse quantization / inverse transform unit 45 uses the quantization parameter included in the prediction difference encoding parameter output from the variable length decoding unit 41 to compress the encoded block output from the variable length decoding unit 41 Inverse transform processing (for example, inverse DCT (inverse discrete cosine) of compressed data of inverse quantization in units of transform block size specified from the transform block division flag included in the prediction differential encoding parameter. Conversion), inverse DST (inverse discrete sine transform), inverse KL transformation, etc.), and the compressed data after the inverse transformation process is used as a decoded prediction difference signal (a signal indicating a difference image before compression). Perform the output process.
  • Inverse transform processing for example, inverse DCT (inverse discrete cosine) of compressed data of inverse quantization in units of transform block size specified from the transform block division flag included in the prediction differential encoding parameter. Conversion), inverse DST (inverse discrete sine transform), inverse KL transformation, etc.
  • the compressed data after the inverse transformation process is used as a decode
  • the inverse quantization / inverse transform unit 45 converts the transform block shape of the luminance signal divided hierarchically based on the transform block partition flag included in the prediction difference encoding parameter output from the variable length decoding unit 41. Identify and perform inverse quantization and inverse transform on a transform block basis.
  • the encoding block is determined based on the transform block division flag or It is configured so as to be hierarchically divided into a plurality of square transform blocks.
  • the prediction mode in which the shape of the prediction block of the luminance signal is rectangular is the encoding mode of the encoding block
  • the encoding block is hierarchically divided into one or a plurality of rectangular transform blocks.
  • the encoding block is configured to be hierarchically divided into one or a plurality of square transform blocks.
  • the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the prediction mode in which the prediction block of the luminance signal is rectangular is the encoding mode of the encoding block
  • the encoding block is hierarchically divided into one or a plurality of rectangular transform blocks as in the luminance signal. Configure to be split.
  • the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the coding block is divided hierarchically into one or more rectangular transform blocks for the color difference signal regardless of the shape of the prediction block of the luminance signal.
  • the conversion block shape of the color difference signal is always a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction.
  • the color difference signal conversion block is always divided in the same manner as the luminance signal conversion block so as to be the same size conversion block.
  • the inverse quantization / inverse transform unit 45 constitutes a difference image generation unit.
  • the addition unit 46 adds the decoded prediction difference signal output from the inverse quantization / inverse conversion unit 45 and the prediction signal indicating the prediction image generated by the intra prediction unit 43 or the motion compensation unit 44 to indicate a decoded image. A process of generating a decoded image signal is performed.
  • the adding unit 46 constitutes a decoded image generating unit.
  • the intra prediction memory 47 is a recording medium such as a RAM that stores a decoded image indicated by the decoded image signal generated by the addition unit 46 as an image used in the next intra prediction process by the intra prediction unit 43.
  • the loop filter unit 48 compensates for the coding distortion included in the decoded image signal generated by the adding unit 46, and uses the decoded image indicated by the decoded image signal after the coding distortion compensation as a reference image as a motion compensated prediction frame memory 49. And a process of outputting the decoded image as a reproduced image to the outside.
  • the motion compensated prediction frame memory 49 is a recording medium such as a RAM that stores a decoded image after the filtering process by the loop filter unit 48 as a reference image to be used by the motion compensation unit 44 in the next motion compensation prediction process.
  • variable length decoding unit 41 a variable length decoding unit 41, a changeover switch 42, an intra prediction unit 43, a motion compensation unit 44, an inverse quantization / inverse transform unit 45, an addition unit 46, and a loop filter unit, which are components of the color moving image decoding apparatus.
  • 48 is assumed to be configured by dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer), but the color moving image decoding device is a computer or the like.
  • the processing contents of the variable length decoding unit 41, the changeover switch 42, the intra prediction unit 43, the motion compensation unit 44, the inverse quantization / inverse transformation unit 45, the addition unit 46, and the loop filter unit 48 are described.
  • FIG. 5 is a flowchart showing the processing contents of the color moving image decoding apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a block diagram showing the variable length decoding unit 41 of the color moving image decoding apparatus according to Embodiment 1 of the present invention.
  • a transform coefficient variable length decoding unit 51 performs a process of variable length decoding orthogonal transform coefficients that are compressed data from encoded data multiplexed in a bit stream.
  • the encoding parameter variable length decoding unit 52 receives input signal format information, encoding mode, prediction differential encoding parameter, intra prediction parameter / inter prediction parameter, motion information, block division information, etc. from the encoded data multiplexed in the bitstream. A process for variable-length decoding of the coding parameters is performed.
  • the encoding control unit 1 determines the maximum size of an encoding block that is a processing unit when the intra prediction process (intraframe prediction process) or the motion compensation prediction process (interframe prediction process) is performed, The upper limit number of hierarchies when the coding block of the maximum size is divided hierarchically is determined (step ST1 in FIG. 2).
  • a method of determining the maximum size of the encoded block for example, a method of determining a size corresponding to the resolution of the input image for all the pictures can be considered. Also, the difference in the complexity of the local motion of the input color image is quantified as a parameter, and the maximum size is determined to be a small value for pictures with intense motion, and the maximum size is determined to be a large value for pictures with little motion. Possible methods.
  • the upper limit of the number of hierarchies is set so that, for example, the more intense the input color image moves, the deeper the number of hierarchies, so that more detailed movement can be detected. The method of setting to can be considered.
  • the encoding control unit 1 includes each encoding block divided hierarchically from one or more available encoding modes (M types of intra encoding modes and N types of inter encoding modes). Is selected (step ST2).
  • M types of intra coding modes prepared in advance will be described later.
  • each coding block hierarchically divided by the block dividing unit 2 described later is further divided into partitions, it is possible to select an encoding mode corresponding to each partition.
  • description will be made assuming that each encoded block is further divided into partitions. Since the encoding mode selection method by the encoding control unit 1 is a known technique, a detailed description thereof will be omitted. There is a method in which coding efficiency is verified by performing and a coding mode having the best coding efficiency is selected from among a plurality of available coding modes.
  • the encoding control unit 1 determines a quantization parameter and a transform block size used when the difference image is compressed for each partition included in each encoding block, and a prediction process is performed. Intra prediction parameters or inter prediction parameters used in the determination are determined.
  • the encoding control unit 1 outputs the prediction difference encoding parameter including the quantization parameter and the transform block size to the transform / quantization unit 7, the inverse quantization / inverse transform unit 8, and the variable length encoding unit 13.
  • a prediction difference encoding parameter is output to the intra estimation part 4 as needed.
  • FIG. 7 is an explanatory diagram showing a state in which a maximum-size encoded block is hierarchically divided into a plurality of encoded blocks.
  • the maximum size encoded block is the 0th layer encoded block B 0 , and has a size of (L 0 , M 0 ) as a luminance component.
  • the encoding block B n is obtained by performing hierarchical division to a predetermined depth determined separately in a quadtree structure with the encoding block B 0 having the maximum size as a starting point. Yes.
  • the coding block B n is an image area of size (L n , M n ).
  • the size of all color components is (L n , M n ).
  • the size of the corresponding color difference component coding block is (L n / 2, M n / 2).
  • an encoding mode that can be selected in the encoding block B n in the n-th layer is denoted as m (B n ).
  • the encoding mode m (B n ) may be configured to use an individual mode for each color component, but hereinafter, unless otherwise specified, YUV The description will be made on the assumption that the signal indicates the coding mode for the luminance component of the coding block in the 4: 2: 0 format.
  • the coding mode m (B n ) includes one or more intra coding modes (collectively “INTRA”), one or more inter coding modes (collectively “INTER”), As described above, the encoding control unit 1 selects an encoding mode having the highest encoding efficiency for the encoding block B n from all the encoding modes available for the picture or a subset thereof. .
  • the coding block B n is further divided into one or more prediction processing units (partitions).
  • the partition belonging to the coding block B n is denoted as P i n (i: the partition number in the nth layer).
  • FIG. 8 is an explanatory diagram showing partitions P i n belonging to the coding block B n . How the partition P i n belonging to the coding block B n is divided is included as information in the coding mode m (B n ). All partitions P i n are subjected to prediction processing according to the encoding mode m (B n ), but individual prediction parameters can be selected for each partition P i n .
  • the encoding control unit 1 generates a block division state as illustrated in FIG. 9 for the encoding block of the maximum size, and specifies the encoding block Bn .
  • 9A shows the distribution of the partitions after the division
  • FIG. 9B shows a situation where the encoding mode m (B n ) is assigned to the partition after the hierarchical division in a quadtree graph. Show.
  • nodes surrounded by squares indicate nodes (encoded blocks B n ) to which the encoding mode m (B n ) is assigned.
  • the encoding control unit 1 determines the division shape of the transform block as described above for the divided partition.
  • the changeover switch 3 performs intra prediction on the partition P i n belonging to the coding block B n divided by the block dividing unit 2.
  • the coding control unit 1 selects the inter coding mode (m (B n ) ⁇ INTER)
  • the partition P i n belonging to the coding block B n is output to the motion compensation prediction unit 5. .
  • the intra prediction unit 4 When receiving the partition P i n belonging to the coding block B n from the changeover switch 3 (step ST4), the intra prediction unit 4 receives each partition P i n based on the intra prediction parameters determined by the coding control unit 1. Intra prediction image (P i n ) is generated by performing intra prediction processing on (step ST5).
  • P i n indicates a partition
  • P i n indicates a predicted image of the partition P i n .
  • the variable length coding unit 13 Is multiplexed into the bitstream.
  • the number of intra prediction directions that can be selected as the intra prediction parameter may be configured to differ depending on the size of the block to be processed. Since the efficiency of intra prediction decreases in a large size partition, the number of intra prediction directions that can be selected can be reduced, and the number of intra prediction directions that can be selected in a small size partition can be increased. For example, a 4 ⁇ 4 pixel partition or an 8 ⁇ 8 pixel partition may be configured in 34 directions, a 16 ⁇ 16 pixel partition in 17 directions, a 32 ⁇ 32 pixel partition in 9 directions, or the like.
  • FIG. 10 is an explanatory diagram showing an example of intra prediction parameters (intra prediction modes) that can be selected in each partition P i n belonging to the coding block B n .
  • intra prediction parameters intra prediction modes
  • the prediction direction vector corresponding to the intra prediction mode is shown, and the relative angle between the prediction direction vectors is designed to decrease as the number of selectable intra prediction modes increases.
  • the intra prediction unit 4 performs intra-frame prediction of the luminance component in the encoded block divided by the block dividing unit 2, and generates a prediction image for the luminance component.
  • the intra prediction unit 4 based on the intra prediction parameters (intra prediction mode) for the luminance signal partitions P i n, that the luminance signal Intra processing for generating the intra prediction signal will be described.
  • the size of the partition P i n a l i n ⁇ m i n pixels.
  • the number of pixels) is a reference pixel used for prediction, but the number of pixels used for prediction may be more or less than that shown in FIG.
  • pixels for one row or one column adjacent to each other are used for prediction, but pixels for two rows or two columns or more may be used for prediction. .
  • the intra prediction unit 4 calculates the average value of the adjacent pixels in the upper partition and the adjacent pixels in the left partition in the partition P i n .
  • k is a positive scalar value.
  • the integer pixel When the reference pixel is at the integer pixel position, the integer pixel is set as the prediction value of the prediction target pixel. When the reference pixel is not located at the integer pixel position, an interpolation pixel generated from the integer pixel adjacent to the reference pixel is set as the predicted value. In the example of FIG. 11, since the reference pixel is not located at the integer pixel position, an average value of two pixels adjacent to the reference pixel is used as the predicted value. Note that an interpolation pixel may be generated not only from two adjacent pixels but also from two or more adjacent pixels as a predicted value.
  • the intra prediction unit 4 generates prediction pixels for all the pixels of the luminance signal in the partition P i n in the same procedure, and outputs the generated intra prediction image (P i n ). As described above, the intra-prediction parameters used for generating the intra-predicted image (P i n ) are output to the variable-length encoding unit 13 for multiplexing into the bitstream.
  • Intra prediction is a means for predicting an unknown area in the screen from a known area, but the texture of the luminance signal and the color difference signal are correlated, and in the spatial direction, neighboring pixels change in pixel values. Therefore, by using the decoded luminance signal and color difference signal adjacent to the prediction block, the correlation parameter between the luminance signal and the color difference signal is calculated, and the color difference signal is predicted from the luminance signal and the correlation parameter. Can be improved.
  • FIG. 12 is an explanatory diagram showing an example of correspondence between intra prediction parameters of color difference signals and color difference intra prediction modes.
  • the input signal format is YUV4: 2: 0 signal or YUV4: 2: 2 signal, it indicates that the encoding mode selected by the encoding control unit 1 applies the same intra prediction mode as the luminance signal.
  • intra-frame prediction is performed on the chrominance component in the encoded block divided by the block dividing unit 2 in the same intra prediction mode as the luminance signal, and a prediction image for the chrominance component is obtained. Generate.
  • the coding mode selected by the coding control unit 1 is the directional prediction mode in the intra coding mode
  • the directional intra-frame prediction is performed on the color difference component in the coding block divided by the block dividing unit 2.
  • the coding mode selected by the coding control unit 1 is the luminance correlation-use color difference signal prediction mode in the intra coding mode
  • the horizontal direction and the vertical direction among the pixels constituting the coding block Is used to calculate a correlation parameter indicating the correlation between the luminance component and the color difference component, and the luminance component corresponding to the color difference component coding block to be processed is calculated.
  • the prediction image for the color difference component is generated.
  • the processing of the luminance color difference common intra prediction mode or the luminance correlation using color difference signal prediction mode is performed, and the directionality prediction mode is not selected. Also good.
  • the YUV 4: 4: 4 signal there is a high correlation between the edge positions of the luminance signal and the color difference signal. Therefore, by prohibiting application of the direction prediction mode different from the luminance signal to the color difference signal, the intra of the color difference signal is prohibited. It is possible to increase the coding efficiency by reducing the amount of information in the prediction mode.
  • a directionality prediction mode different from that of the luminance signal may be selected for the color difference signal.
  • each of the partitions P i is based on the inter prediction parameter determined by the coding control unit 1.
  • an inter predicted image (P i n ) is generated (step ST6). That is, the motion compensation prediction unit 5 uses the reference image of one or more frames stored in the motion compensation prediction frame memory 12, and based on the inter prediction parameter output from the coding control unit 1, the coding block By performing the motion compensated prediction process for, an inter predicted image (P i n ) is generated.
  • inter prediction parameters to be used in generating the inter prediction image (P i n) is also a color video decoding apparatus side, it is necessary to generate exactly the same inter-prediction image (P i n), the variable length coding unit 13 Is multiplexed into the bitstream.
  • the subtraction unit 6 When the subtraction unit 6 receives the predicted image (P i n ) from the intra prediction unit 4 or the motion compensation prediction unit 5, the subtraction unit 6 predicts the prediction from the partition P i n belonging to the encoded block B n divided by the block division unit 2. By subtracting the image (P i n ), a prediction difference signal e i n indicating the difference image is generated (step ST7).
  • the subtraction unit 6 generates a prediction difference signal e i n, the transformation block size determined by the coding control unit 1, the conversion processing for the prediction difference signal e i n (e.g., DCT (Discrete Cosine Transform), DST (Discrete Sine Transform), and orthogonal transform processing such as KL transform in which a base design is made in advance for a specific learning sequence) are included in the prediction differential encoding parameters.
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • orthogonal transform processing such as KL transform in which a base design is made in advance for a specific learning sequence
  • the transform / quantization unit 7 performs division / quantization processing on the luminance signal of the prediction difference signal e i n by the block division unit 2.
  • the encoded block is further divided hierarchically, and luminance signal conversion / quantization processing is performed in units of the divided blocks. That is, when the prediction mode in which the shape of the prediction block of the luminance signal is square is selected as the encoding mode of the encoding block, the encoding block is hierarchically divided into one or a plurality of square transform blocks. Configure. On the other hand, when the prediction mode in which the shape of the prediction block of the luminance signal is rectangular is selected as the coding mode of the coding block, the coding block is hierarchically divided into one or a plurality of rectangular transform blocks. Configure.
  • the prediction mode in which the shape of the prediction block of the luminance signal is a square is the encoding mode of the encoding block.
  • the coding block is configured to be hierarchically divided into one or a plurality of square transform blocks in the same manner as the luminance signal. In this case, the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the encoding block is converted into one or a plurality of rectangular transform blocks, similarly to the luminance signal. It is configured to be divided hierarchically. In this case, the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the encoding block has one or more rectangular blocks for the color difference signal. It is configured to be divided hierarchically into transform blocks. In this case, the color difference signal conversion block shape is always a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction. As shown in FIG. 14, when the input signal format is a YUV 4: 4: 4 signal, the color difference signal conversion block always performs the same division as the luminance signal conversion block, and the same size conversion block. To be configured.
  • the inverse quantization / inverse transform unit 8 uses the quantization parameter included in the prediction difference coding parameter output from the coding control unit 1 to
  • the compressed data is inversely quantized, and inverse transform processing (for example, inverse DCT (inverse discrete) of the quantized compressed data is performed in transform block size units specified from the transform block division flag included in the prediction differential encoding parameter.
  • inverse transform processing for example, inverse DCT (inverse discrete) of the quantized compressed data is performed in transform block size units specified from the transform block division flag included in the prediction differential encoding parameter.
  • the adder 9 Upon receiving the local decoded prediction difference signal from the inverse quantization / inverse transform unit 8, the adder 9 receives the local decoded prediction difference signal and the predicted image (P i ) generated by the intra prediction unit 4 or the motion compensated prediction unit 5. n ) to generate a locally decoded image signal indicating a locally decoded partition image or a locally decoded block image (hereinafter referred to as “locally decoded image”) as a collection thereof.
  • the locally decoded image signal is output to the loop filter unit 11 (step ST10).
  • the intra prediction memory 10 stores the local decoded image for use in intra prediction.
  • the loop filter unit 11 compensates for the encoding distortion included in the local decoded image signal, and the local decoded image indicated by the local decoded image signal after the encoding distortion compensation Is stored in the motion compensated prediction frame memory 12 as a reference image (step ST11).
  • the coding distortion occurs along the boundary of the transform block, the coding distortion is compensated for the boundary of the transform block.
  • the coding distortion at the transform block boundary is inconspicuous, so signal the minimum loop filter application block size in the header and code only for blocks whose transform block size is larger than the minimum loop filter application block size. It may be configured to apply the distorted distortion compensation. In this way, since unnecessary encoding distortion compensation can be omitted, the amount of calculation can be reduced while maintaining the image quality.
  • the coding distortion compensation is configured to identify and process the division shape of the transformation block with the luminance signal and the color difference signal, respectively.
  • the filtering process by the loop filter unit 11 may be performed in units of the maximum encoded block or individual encoded block of the input local decoded image signal, or the local decoded image signal corresponding to a macroblock for one screen. It may be performed for one screen after the input.
  • the processes of steps ST4 to ST10 are repeated until the processes for the partitions P i n belonging to all the encoded blocks B n divided by the block dividing unit 2 are completed (step ST12).
  • the variable length coding unit 13 is a prediction difference coding parameter including input signal format information, compressed data output from the transform / quantization unit 7, a coding mode output from the coding control unit 1, and a transform block division flag.
  • the intra-prediction parameter output from the intra-prediction unit 4 or the inter-prediction parameter and the motion information output from the motion-compensated prediction unit 5 are variable-length encoded, and the input signal format information, compressed data, encoding mode, and prediction A bit stream in which encoded data such as differential encoding parameters, intra prediction parameters / inter prediction parameters, and motion information is multiplexed is generated (step ST13).
  • variable length coding unit 13 performs variable length coding on the intra prediction parameter output from the intra prediction unit 4 and multiplexes the codeword of the intra prediction parameter into the bitstream.
  • a representative prediction direction vector (prediction direction representative vector) is selected from prediction direction vectors of a plurality of directional predictions, and an intra prediction parameter is used as an index of the prediction direction representative vector (prediction direction representative). Index) and an index (prediction direction difference index) representing the difference from the prediction direction representative vector, and by performing Huffman coding such as arithmetic coding according to the probability model for each index, the code amount is You may comprise so that it may reduce and encode.
  • variable length encoding unit 13 includes a transform coefficient variable length encoding unit 21 that performs variable length encoding on orthogonal transform coefficients that are compressed data output from the transform / quantization unit 7, and an input signal.
  • Coding parameter variable length code for variable length coding of coding parameters such as format information, coding mode, prediction differential coding parameter including transform block division flag, intra prediction parameter / inter prediction parameter, motion information, block division information Encoding unit 22, encoded data of compressed data variable-length encoded by transform coefficient variable-length encoding unit 21, and code encoded by variable-length encoding by encoding parameter variable-length encoding unit 22
  • the bit stream is generated by multiplexing with the conversion parameter.
  • the transform coefficient variable length coding unit 21 of the variable length coding unit 13 uses the occurrence probability corresponding to the context value of the orthogonal transform coefficient that is the compressed data output from the transform / quantization unit 7, and uses the orthogonal transform coefficient. Is arithmetically encoded. That is, the transform coefficient variable length encoding unit 21 arithmetically encodes a luminance component, a color difference component in YUV 4: 2: 0 format, or a color difference component in YUV 4: 4: 4 format as follows, and performs block coding data. Output as.
  • Each orthogonal transform coefficient is scanned in the oblique scan order shown in FIG. 15, and the position of the nonzero orthogonal transform coefficient that is the last in the oblique scan order is specified as “PosLast”.
  • (3) The following processes (4) to (8) are performed from PosLast in the reverse oblique scan order (see FIG. 16) which is the reverse order to the oblique scan.
  • orthogonal transform coefficients are mapped to N ⁇ N size blocks by performing the same oblique scan. A process similar to the above is performed later.
  • an occurrence probability used for arithmetic coding of significant_coeff_flag if the pixel size is 4 ⁇ 4 or 8 ⁇ 8, for example, a context index value for YUV 4: 2: 0 as shown in FIG.
  • the context index value of each transform coefficient in the color difference signal is specified, and the occurrence probability corresponding to the context index value (for example, each region of the probability state memory not shown) (Occurrence probability corresponding to the context index value defined in the above) is stored.
  • the YUV 4: 2: 2 since the shape of the conversion block is a rectangle that is twice as long as the width, the YUV 4: 2: as shown in FIG. Reference is made to the context index value for 2 (context value information).
  • the context index value for YUV 4: 2: 2 the assignment of the context index value indicating the region of the probability state memory is repeatedly applied two by two in the vertical direction. In this way, even when the input signal is in the YUV 4: 2: 2 format, the context index value assignment table of the color difference component in the YUV 4: 2: 0 format can be reused, and the compression efficiency can be reduced with a small circuit scale. Can be increased.
  • variable length decoding unit 41 receives the bit stream generated by the color moving image encoding apparatus in FIG. 1, the variable length decoding unit 41 performs a variable length decoding process on the bit stream (step ST41 in FIG. 5), and more than one frame.
  • the frame size is decoded in units of sequences composed of pictures or in units of pictures.
  • the variable length decoding unit 41 decodes the frame size, it becomes the maximum encoded block size determined by the color moving image encoding apparatus in FIG. 1 (a processing unit when intra prediction processing or motion compensation prediction processing is performed).
  • the maximum size of the encoding block) and the upper limit of the number of division layers are determined by the same procedure as that of the color moving image encoding apparatus. (Step ST42).
  • the maximum size of the encoding block is determined to be the size corresponding to the resolution of the input color image for all the pictures, the maximum size of the encoding block is determined based on the previously decoded frame size in FIG.
  • the maximum size of the encoded block is determined by the same procedure as that of the color moving image encoding apparatus.
  • the maximum size of the encoded block and the number of layers of the encoded block are multiplexed in the bit stream by the color moving image encoding device, the maximum size of the encoded block and the layer of the encoded block are encoded from the bit stream. Decode the number.
  • the variable length decoding unit 41 determines the maximum size of the encoded block and the number of layers of the encoded block, and grasps the hierarchical division state of each encoded block, starting from the maximum encoded block, Among the encoded data multiplexed in the bit stream, the encoded data related to each encoded block is specified, and the encoding mode assigned to each encoded block is decoded from the encoded data. Then, the variable length decoding unit 41 refers to the division information of the partition P i n belonging to the coding block B n included in the coding mode, and includes the encoded data that is multiplexed in the bit stream. in, it identifies the coded data according to each partition P i n (step ST43).
  • Variable-length decoding unit 41 compressed data, predictive differential coding parameters including transform block division flag, an intra prediction parameter / inter prediction parameters by variable length decoding the coded data according to each partition P i n, the compressed data
  • the prediction differential encoding parameter is output to the inverse quantization / inverse transform unit 45, and the encoding mode and the intra prediction parameter / inter prediction parameter are output to the changeover switch 42 (step ST44).
  • the prediction direction representative index and the prediction direction difference index are multiplexed in the bitstream, the prediction direction representative index and the prediction direction difference index are entropy decoded by arithmetic decoding or the like according to the respective probability models, An intra prediction parameter is specified from the prediction direction representative index and the prediction direction difference index. Thereby, even when the code amount of the intra prediction parameter is reduced on the color moving image encoding device side, the intra prediction parameter can be correctly decoded.
  • variable length decoding unit 41 includes a transform coefficient variable length decoding unit 51 that performs variable length decoding of orthogonal transform coefficients, which are compressed data, from encoded data multiplexed in a bit stream, and multiplexes the bit stream.
  • Coding parameter variable for variable length decoding coding parameters such as input signal format information, coding mode, prediction differential coding parameter, intra prediction parameter / inter prediction parameter, motion information, block division information from coded coded data
  • a long decoding unit 52 a long decoding unit 52.
  • the transform coefficient variable length decoding unit 51 of the variable length decoding unit 41 arithmetically decodes the orthogonal transform coefficient using the occurrence probability corresponding to the context value of the orthogonal transform coefficient. That is, the transform coefficient variable length decoding unit 51 arithmetically decodes the luminance component, the color difference component in the YUV 4: 2: 0 format, or the color difference component in the YUV 4: 4: 4 format as follows.
  • the SigCoeffGroupFlag indicating whether or not a non-zero orthogonal transform coefficient is included in the sub-block is arithmetically decoded in the reverse oblique scan order shown in FIG.
  • the following processes (2) to (6) are performed.
  • Arithmetically decode significant_coeff_flag indicating whether or not the orthogonal transform coefficient at the position of each frequency component is non-zero in reverse diagonal scan order.
  • the absolute value of the orthogonal transform coefficient at the frequency component position is set to a value obtained by adding 3 to the value of coeff_abs_level_minus3, and the sign of the absolute value of the orthogonal transform coefficient at the frequency component position is determined by coeff_sign_flag.
  • the occurrence probability used for arithmetic decoding of significant_coeff_flag if the pixel size is 4 ⁇ 4 or 8 ⁇ 8, for example, refer to the context index value for YUV 4: 2: 0 as shown in FIG. Then, the context index value of each conversion coefficient in the color difference signal is specified, and the occurrence probability corresponding to the context index value (for example, the context index determined for each frequency position in each area of the probability state memory (not shown)) The occurrence probability corresponding to the value is stored).
  • the YUV 4: 2: 2 as shown in FIG. Refer to the context index value for 2.
  • the assignment of the context index value indicating the region of the probability state memory is repeatedly applied two by two in the vertical direction. In this way, even when the input signal is in the YUV 4: 2: 2 format, the context index value assignment table of the color difference component in the YUV 4: 2: 0 format can be reused, and the compression efficiency can be reduced with a small circuit scale. Can be increased.
  • the changeover switch 42 When the coding mode of the partition P i n belonging to the coding block B n output from the variable length decoding unit 41 is the intra coding mode, the changeover switch 42 outputs the intra prediction parameter output from the variable length decoding unit 41. Is output to the intra prediction unit 43, and when the encoding mode is the inter encoding mode, the inter prediction parameter output from the variable length decoding unit 41 is output to the motion compensation unit 44.
  • the intra prediction unit 43 receives the intra prediction parameter from the variable length decoding unit 41 (step ST45), like the intra prediction unit 4 in FIG. 1, on the basis of the intra prediction parameters, intra prediction for each partition P i n
  • an intra-predicted image P i n
  • the intra prediction unit 43 receives the intra prediction parameter from the variable length decoding unit 41, similarly to the intra prediction unit 4 in FIG. 1, for example, the index value of the intra prediction mode for the partition P i n is 2 (average value If the prediction), and generates a prediction image the mean value of neighboring pixels of the adjacent pixel and the left partition of the upper partition as the predicted value of the pixel in the partition P i n.
  • the intra prediction unit 43 generates prediction pixels for all the pixels of the luminance signal in the partition P i n in the same procedure, and outputs the generated intra prediction image (P i n ).
  • Motion compensation unit 44 receives the inter prediction parameters from the changeover switch 42, similarly to the motion compensation prediction unit 5 of the color video encoding apparatus, based on the inter prediction parameters, inter-prediction processing for each partition P i n To generate an inter predicted image (P i n ) (step ST47). That is, motion compensation unit 44, using one or more frames of reference images stored by the motion compensated prediction frame memory 49, by performing the motion compensation prediction processing on partition P i n based on the inter prediction parameters, An inter prediction image (P i n ) is generated.
  • the inverse quantization / inverse transform unit 45 When the inverse quantization / inverse transform unit 45 receives the prediction difference encoding parameter including the transform block division flag from the variable length decoding unit 41, the inverse quantization / inverse transform unit 45 performs transform using the quantization parameter included in the prediction difference encoding parameter. For each transform block size determined according to the block partition flag, the compressed data related to the coding block output from the variable length decoding unit 41 is inversely quantized, and the transform block partition flag included in the prediction differential coding parameter is used.
  • Inverse transform processing of compressed data after inverse quantization for example, inverse transform processing such as inverse DCT (Inverse Discrete Cosine Transform), inverse DST (Inverse Discrete Sine Transform), inverse KL transform, etc.) in units of transform block size specified
  • inverse transform processing such as inverse DCT (Inverse Discrete Cosine Transform), inverse DST (Inverse Discrete Sine Transform), inverse KL transform, etc.
  • the addition unit 46 adds the decoded prediction difference signal output from the inverse quantization / inverse conversion unit 45 and the prediction signal indicating the prediction image (P i n ) generated by the intra prediction unit 43 or the motion compensation unit 44.
  • a decoded image signal indicating a decoded partition image or a decoded image as a collection thereof is generated, and the decoded image signal is output to the loop filter unit 48 (step ST49).
  • the intra prediction memory 47 stores the decoded image for use in intra prediction.
  • the loop filter unit 48 compensates for the encoding distortion included in the decoded image signal, and uses the decoded image indicated by the decoded image signal after the encoding distortion compensation as a reference image. While storing in the motion compensation prediction frame memory 49, the decoded image is output as a reproduced image (step ST50).
  • the coding distortion occurs along the boundary of the transform block, the transform distortion is compensated for the boundary in the transform block. For small transform blocks, coding distortion at the transform block boundaries is not noticeable, so the minimum loop filter applied block size is signaled in the header, and coding is performed only for blocks whose transform block size is larger than the minimum loop filter applied block size. You may comprise so that distortion compensation may be applied. In this way, since unnecessary encoding distortion compensation can be omitted, the amount of calculation can be reduced while maintaining image quality.
  • the coding distortion compensation is configured to identify and process the division shape of the transformation block with the luminance signal and the color difference signal, respectively.
  • the filtering processing by the loop filter unit 48 may be performed for the maximum encoded block of the input decoded image signal or for each individual encoded block, or a decoded image signal corresponding to a macroblock for one screen is input. After being done, it may be performed for one screen at a time.
  • the processes in steps ST43 to ST49 are repeatedly performed until the processes for the partitions P i n belonging to all the coding blocks B n are completed (step ST51).
  • the input signal is When the YUV4: 2: 2 format is used, the conversion block shape of the color difference signal is always divided into rectangles whose vertical length is twice the horizontal width, and when the obtained conversion coefficient is encoded by the variable length encoding unit 13, By applying the context index value assigned to the YUV4: 2: 0 color difference component conversion coefficient two times in the vertical direction, the color difference of YUV4: 2: 2 is increased without increasing the circuit scale. There is an effect that the encoding efficiency of the signal can be increased.
  • the conversion block shape of the color difference signal is always divided into rectangles whose vertical and horizontal dimensions are twice, and the obtained conversion coefficients are variable.
  • color moving image coding is performed by applying a context index value assigned to YUV4: 2: 0 chrominance component conversion coefficients two times in the vertical direction.
  • the bit stream generated by the apparatus can be suitably decoded.
  • Embodiment 2 In the color moving picture coding apparatus according to the first embodiment, the luminance signal and the color difference signal are coded simultaneously.
  • the input signal is YUV4. : 4: 4 format
  • each component is regarded as YUV4: 0: 0 format
  • only the luminance component (Y component) is first encoded, and the locally decoded image of the luminance component is stored in the reference image memory.
  • the image of each color difference component U component and V component
  • a configuration in which predictive coding is performed between components of the YUV 4: 4: 4 format as described above, or predictive coding between pictures as in the first embodiment is performed.
  • the three YUV4: 0: 0 images generated in this way are combined and an access unit delimiter, which is information for recognizing one picture, is multiplexed at the head of the picture.
  • the Y component is encoded as a YUV4: 0: 0 format using the locally decoded image of the Y component of the previous picture stored in the reference image memory as a reference image, and the U component and the V component are encoded.
  • encoding is performed using the locally decoded image of the Y component of the picture as a reference image.
  • the prediction configuration flag is decoded, and the prediction configuration flag is predicted and encoded between the components in the YUV 4: 4: 4 format.
  • the Y component is decoded as a YUV4: 0: 0 format
  • the decoded image of the Y component is stored in the reference image memory
  • the Y component stored in the reference image memory is stored.
  • the decoded image is used as a reference image, and the image of each color difference component (U component and V component) is assumed to be in the YUV4: 0: 0 format and decoded.
  • the Y component is decoded as a YUV4: 0: 0 format using the decoded image of the Y component of the previous picture stored in the reference image memory as the reference image, and the U component and the V component are decoded.
  • decoding is performed using the decoded image of the Y component of the picture as a reference image.
  • the color moving image encoding apparatus according to the second embodiment has an effect that the image in the YUV 4: 4: 4 format can be compressed with high efficiency only by the luminance component encoding circuit.
  • the encoded data compressed as described above can be suitably decoded only by the luminance component decoding circuit, so that the circuit scale can be kept small. Play.
  • the conversion block shape of the color difference signal is rectangular. Even when YUV4: 2: 2 signal encoding is performed, the encoding efficiency of the luminance signal and the color difference signal can be increased with a small circuit scale, so that the color moving image is encoded with high efficiency. It is suitable for use in a color moving image encoding device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　差分画像の輝度信号に対する変換・量子化処理を実施する場合、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長符号化部１３で符号化する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用する。

Description

カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
　この発明は、カラー動画像を高効率で符号化を行うカラー動画像符号化装置及びカラー動画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー動画像復号装置及びカラー動画像復号方法とに関するものである。
　例えば、以下の非特許文献１に記載されている従来のカラー動画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
　また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
　また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
　変換ブロックについては、予測ブロックが２Ｎ×Ｎサイズや、２Ｎ×０．５Ｎサイズの長方形である場合には、図１３に示すように、長辺と短辺が２Ｎ×０．５Ｎの長さとなる非正方形変換ブロックに、変換ブロックを四分木状に階層的に分割することにより、変換ブロックが予測ブロックの境界を跨がないようにするとともに、変換係数のエントロピー符号化をＮ×Ｎサイズの正方形変換ブロックと共通する手段で圧縮して、高い圧縮率を達成している。
　従来のカラー動画像符号化装置では、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の予測ブロックおよび変換ブロックのサイズを、輝度信号の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号の変換ブロックサイズに係る情報を符号化する必要をなくすとともに、変換係数のエントロピー符号化を輝度信号と共通する変換係数エントロピー符号化手段で圧縮することで、少ない回路規模で色差信号の符号化効率を高めている。
B. Bross，W.-J. Han，J.-R. Ohm，G. J. Sullivan and T. Wiegand，"WD5: Working Draft 5 of High-Efficiency Video Coding"，doc. JCTVC-G1103，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，7th Meeting，2011
　従来のカラー動画像符号化装置は以上のように構成されているので、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の変換ブロックのエントロピー符号化手段を輝度信号のエントロピー符号化手段と共有することができる。このため、少ない回路規模で色差信号を効率よく符号化することができるが、ＹＵＶ４：２：２信号の符号化を行う場合、色差信号の形状が、垂直方向が横方向の２倍となる長方形であるため、輝度信号と同様のブロック分割を行うと、色差信号の変換ブロックのエントロピー符号化手段を輝度信号のエントロピー符号化手段と共有することができなくなり、回路規模が増大してしまうなどの課題があった。
　この発明は上記のような課題を解決するためになされたもので、ＹＵＶ４：２：２信号の符号化を行う場合でも、少ない回路規模で輝度信号と色差信号の符号化効率を高めることができるカラー動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。
　また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。
　この発明に係るカラー動画像符号化装置は、入力カラー画像が分割された符号化ブロックと、符号化ブロックに対して予測処理を実施して生成された予測画像との差分画像の変換処理を実施して差分画像を圧縮する画像圧縮手段と、画像圧縮手段で圧縮された差分画像の変換係数を可変長符号化して、変換係数の符号化データが多重化されたビットストリームを生成する可変長符号化手段を備え、画像圧縮手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、予測画像との差分画像の変換処理を行う際、色差信号の変換ブロック形状が長方形となるようにしたものである。
　この発明によれば、入力カラー画像が分割された符号化ブロックと、符号化ブロックに対して予測処理を実施して生成された予測画像との差分画像の変換処理を実施して差分画像を圧縮する画像圧縮手段と、画像圧縮手段で圧縮された差分画像の変換係数を可変長符号化して、変換係数の符号化データが多重化されたビットストリームを生成する可変長符号化手段を備え、画像圧縮手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、予測画像との差分画像の変換処理を行う際、色差信号の変換ブロック形状が長方形となるように構成したので、ＹＵＶ４：２：２信号の符号化を行う場合でも、少ない回路規模で輝度信号と色差信号の符号化効率を高めることができる効果がある。
この発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。 この発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１によるカラー動画像符号化装置の可変長符号化部１３を示す構成図である。 この発明の実施の形態１によるカラー動画像復号装置を示す構成図である。 この発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。 この発明の実施の形態１によるカラー動画像復号装置の可変長復号部４１を示す構成図である。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 符号化ブロックＢｎに属するパーティションＰｉ ｎを示す説明図である。 分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化ブロックＢｎに属する各パーティションＰｉ ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌｉ ｎ＝ｍｉ ｎ＝４の場合において、パーティションＰｉ ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ４：２：２フォーマット及び４：４：４フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ４×４直交変換係数のスキャン順を示す説明図である。 ４×４直交変換係数の逆スキャン順を示す説明図である。 周波数位置に応じて予め定められたコンテキストインデックス値を示す説明図である。 周波数位置に応じて予め定められたコンテキストインデックス値を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。　
　この実施の形態１のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
　各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
　ただし、以下の説明においては、特に断らない限り、入力される映像信号が、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、縦横ともに２分の１にサブサンプルされたＹＵＶ４：２：０フォーマット、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、横方向に２分の１にサブサンプルされたＹＵＶ４：２：２フォーマット、あるいは、２つの色差成分Ｕ，Ｖが輝度成分Ｙと同じサンプル数であるＹＵＶ４：４：４フォーマットの信号であるものとする。
　なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
　図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
　また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
　また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
　なお、符号化制御部１は符号化制御手段を構成している。
　ここで、図１３は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
　変換ブロックサイズは、図１３に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
　例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
　輝度信号については、例えば、図１３に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　図１４に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
　また、図１４に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
　ブロック分割部２は入力カラー画像（カレントピクチャ）を示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
　切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
　イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
　即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
　一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、符号化制御部１により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
　また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
　また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
　入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
　ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
　動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
　なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
　減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック－予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
　変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
　即ち、変換・量子化部７は減算部６により生成された符号化ブロックの差分画像に対する変換・量子化処理（圧縮処理）を実施する場合、輝度信号については、例えば、図１３に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
　また、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　変換・量子化部７はブロック分割部２による分割後のブロック単位で差分画像の変換・量子化処理を実施する。
　なお、変換・量子化部７は画像圧縮手段を構成している。
　逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
　加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
　イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
　ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
　動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
　可変長符号化部１３は入力信号フォーマットを特定する入力信号フォーマット情報と、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報とを算術符号化によって可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する処理を実施する。
　即ち、可変長符号化部１３は変換・量子化部７から出力された圧縮データである変換係数を可変長符号化する際、入力カラー画像の信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化する。
　入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術符号化する。
　なお、可変長符号化部１３は可変長符号化手段を構成している。
　図１では、カラー動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図２はこの発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。
　ここで、図３はこの発明の実施の形態１によるカラー動画像符号化装置の可変長符号化部１３を示す構成図である。
　図３において、変換係数可変長符号化部２１は変換・量子化部７から出力された圧縮データである直交変換係数を可変長符号化する処理を実施する。
　符号化パラメータ可変長符号化部２２は入力信号フォーマット情報、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する処理を実施する。
　変換係数可変長符号化部２１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部２２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
　図４はこの発明の実施の形態１によるカラー動画像復号装置を示す構成図である。
　図４において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。
　即ち、可変長復号部４１は各々の符号化データから符号化ブロックに係る圧縮データである変換係数を可変長復号する際、入力信号フォーマット情報が示す信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
　入力フォーマット情報が示す信号フォーマットがＹＵＶ４：２：２である場合、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
　なお、可変長復号部４１は可変長復号手段を構成している。
　切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
　イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
　即ち、イントラ予測部４３は、符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
　一方、符号化ブロックにおける色差成分については、入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、可変長復号部４１により可変長復号された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
　また、可変長復号部４１により可変長復号された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
　また、可変長復号部４１により可変長復号された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
　入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
　ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
　動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
　なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成手段が構成されている。
　逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
　即ち、逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
　具体的には、輝度信号については、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードである場合、その変換ブロック分割フラグに基づいて符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードである場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
　また、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。
　加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
　イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
　ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
　動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
　図４では、カラー動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成される場合、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図５はこの発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。
　図６はこの発明の実施の形態１によるカラー動画像復号装置の可変長復号部４１を示す構成図である。
　図６において、変換係数可変長復号部５１はビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する処理を実施する。
　符号化パラメータ可変長復号部５２はビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する処理を実施する。
　次に動作について説明する。
　最初に、図１のカラー動画像符号化装置の処理内容を説明する。
　まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
　符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
　また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
　上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
　また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
　ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
　以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
　符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
　また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
　符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
　ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
　ここで、図７は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
　図７の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
　また、図７の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
　深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
　ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図７の例ではＬｎ＝Ｍｎのケースを示している。
　以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
　ブロック分割部２では、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
　ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
　以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と表記する。
　複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
　符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
　符号化ブロックＢｎは、図７に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
　以降、符号化ブロックＢｎに属するパーティションをＰｉ ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図８は符号化ブロックＢｎに属するパーティションＰｉ ｎを示す説明図である。
　符号化ブロックＢｎに属するパーティションＰｉ ｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
　パーティションＰｉ ｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉ ｎ毎に、個別の予測パラメータを選択することができる。
　符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図９に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
　図９（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図９（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
　図９（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
　また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
　切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉ ｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢｎに属するパーティションＰｉ ｎを動き補償予測部５に出力する。
　イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉ ｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰｉ ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ５）。
　以下、この明細書では、Ｐｉ ｎはパーティションを示し、（Ｐｉ ｎ）はパーティションＰｉ ｎの予測画像を示すものとする。
　イントラ予測画像（Ｐｉ ｎ）の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像（Ｐｉ ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
　なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
　大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
　例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
　ここで、イントラ予測部４の処理内容を具体的に説明する。
　図１０は符号化ブロックＢｎに属する各パーティションＰｉ ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
　図１０の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
　まず、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
　以下、輝度成分に対する予測画像の生成処理を具体的に説明するが、ここでは、イントラ予測部４が、パーティションＰｉ ｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
　説明の便宜上、パーティションＰｉ ｎのサイズをｌｉ ｎ×ｍｉ ｎ画素とする。
　図１１はｌｉ ｎ＝ｍｉ ｎ＝４の場合において、パーティションＰｉ ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
　図１１の例では、パーティションＰｉ ｎに隣接している符号化済みの上パーティションの画素（（２×ｌｉ ｎ＋１）個の画素）と、左パーティションの画素（（２×ｍｉ ｎ）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１１に示す画素より多くても少なくてもよい。
　また、図１１の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
　イントラ予測部４は、例えば、パーティションＰｉ ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉ ｎ内の画素の予測値として予測画像を生成する。
　イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉ ｎ内の画素の予測値を生成する。
　予測値を生成する画素（予測対象画素）のパーティションＰｉ ｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。

Figure JPOXMLDOC01-appb-I000001
　ただし、ｋは正のスカラ値である。
　参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
　図１１の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
　なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
　イントラ予測部４は、同様の手順で、パーティションＰｉ ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉ ｎ）を出力する。
　イントラ予測画像（Ｐｉ ｎ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。
　なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
　ここでは、符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成するものを示したが、色差成分対する予測画像は次のように生成する。
　図１２は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
　入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、符号化制御部１により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
　符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
　また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
　入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
　ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
　動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉ ｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰｉ ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ６）。
　即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉ ｎ）を生成する。
　インター予測画像（Ｐｉ ｎ）の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像（Ｐｉ ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
　減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐｉ ｎ）を受けると、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉ ｎから、その予測画像（Ｐｉ ｎ）を減算することで、その差分画像を示す予測差分信号ｅｉ ｎを生成する（ステップＳＴ７）。
　変換・量子化部７は、減算部６が予測差分信号ｅｉ ｎを生成すると、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅｉ ｎに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅｉ ｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
　即ち、変換・量子化部７は、減算部６が予測差分信号ｅｉ ｎを生成すると、予測差分信号ｅｉ ｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施する。
　つまり、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　図１４に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
　また、図１４に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
　加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐｉ ｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
　また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
　ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
　ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックの境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ、符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
　また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
　なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
　ステップＳＴ４～ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢｎに属するパーティションＰｉ ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
　可変長符号化部１３は、入力信号フォーマット情報、変換・量子化部７から出力された圧縮データ、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報などを可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
　可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するように構成してもよい。
　以下、可変長符号化部１３の処理内容を具体的に説明する。
　可変長符号化部１３は、図３に示すように、変換・量子化部７から出力された圧縮データである直交変換係数を可変長符号化する変換係数可変長符号化部２１と、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部２２とから構成されており、変換係数可変長符号化部２１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部２２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
　可変長符号化部１３の変換係数可変長符号化部２１は、変換・量子化部７から出力された圧縮データである直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術符号化する。
　即ち、変換係数可変長符号化部２１は、輝度成分、ＹＵＶ４：２：０フォーマットの色差成分又はＹＵＶ４：４：４フォーマットの色差成分の変換ブロックを次のように算術符号化してブロック符号化データとして出力する。
（１）図１５に示す斜めスキャン順に各直交変換係数を走査するとともに、斜めスキャン順で最も後ろにある非零の直交変換係数の位置を“ＰｏｓＬａｓｔ”として特定する。
（２）ＰｏｓＬａｓｔの水平成分であるＰｏｓＬａｓｔＸと、ＰｏｓＬａｓｔの垂直成分であるＰｏｓＬａｓｔＹを算術符号化する。
（３）斜めスキャンと逆順である逆斜めスキャン順（図１６を参照）に、ＰｏｓＬａｓｔから以下の（４）～（８）の処理を行う。
（４）逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術符号化する。
（５）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が１より大きいか否かを示すcoeff_abs_level_greater1_flagを算術符号化する。
（６）逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が２より大きいか否かを示すcoeff_abs_level_greater2_flagを算術符号化する。
（７）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術符号化する。
（８）逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から３を減じた値であるcoeff_abs_level_minus3を算術符号化する。
（９）最後のサブブロックに至るまで（３）を繰り返し実施する。
　なお、変換ブロックの縦横比が２Ｎ：０．５Ｎ、あるいは、０．５Ｎ：２Ｎである長方形ブロックについては、同様の斜めスキャンを施すことにより、Ｎ×Ｎサイズのブロックに直交変換係数をマッピングした後に上記と同様の処理を行う。
　ここで、significant_coeff_flagの算術符号化に用いる生起確率としては、画素サイズが４×４や８×８のサイズであれば、例えば、図１７に示すようなＹＵＶ４：２：０用のコンテキストインデックス値（コンテキスト値情報）を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率（例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている）を用いる。
　ただし、入力信号がＹＵＶ４：２：２フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が２倍の長方形となるため、図１８に示すようなＹＵＶ４：２：２用のコンテキストインデックス値（コンテキスト値情報）を参照する。
　ＹＵＶ４：２：２用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に２個ずつ繰り返し適用されている。
　このようにすれば、入力信号がＹＵＶ４：２：２フォーマットである場合でも、ＹＵＶ４：２：０フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
　次に、図４のカラー動画像復号装置の処理内容を説明する。
　可変長復号部４１は、図１のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図５のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
　可変長復号部４１は、フレームサイズを復号すると、図１のカラー動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）をカラー動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
　例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
　カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
　可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
　そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢｎに属するパーティションＰｉ ｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰｉ ｎに係る符号化データを特定する（ステップＳＴ４３）。
　可変長復号部４１は、各パーティションＰｉ ｎに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
　例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
　これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
　以下、可変長復号部４１の処理内容を具体的に説明する。
　可変長復号部４１は、図６に示すように、ビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する変換係数可変長復号部５１と、ビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する符号化パラメータ可変長復号部５２とから構成されている。
　可変長復号部４１の変換係数可変長復号部５１は、直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術復号する。
　即ち、変換係数可変長復号部５１は、輝度成分、ＹＵＶ４：２：０フォーマットの色差成分又はＹＵＶ４：４：４フォーマットの色差成分の変換ブロックを次のように算術復号する。
（１）図１６に示す逆斜めスキャン順に、ＰｏｓＬａｓｔを含むサブブロックから始めて、当該サブブロック内に非零の直交変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術復号する。
　SigCoeffGroupFlagが当該サブブロック内に非零の直交変換係数が含まれている旨を示している場合、以下の（２）～（６）の処理を行う。
（２）逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術復号する。
（３）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が１より大きいか否かを示すcoeff_abs_level_greater1_flagを算術復号する。
　coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として１を出力する。
（４）逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が２より大きいか否かを示すcoeff_abs_level_greater2_flagを算術復号する。
　coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として２を出力する。
（５）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術復号し、当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
（６）逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から３を減じた値であるcoeff_abs_level_minus3を算術復号する。
　当該周波数成分位置の直交変換係数の絶対値をcoeff_abs_level_minus3の値に３を加えた値とし、coeff_sign_flagにより当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
　ここで、significant_coeff_flagの算術復号に用いる生起確率としては、画素サイズが４×４や８×８のサイズであれば、例えば、図１７に示すようなＹＵＶ４：２：０用のコンテキストインデックス値を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率（例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている）を用いる。
　ただし、入力信号がＹＵＶ４：２：２フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が２倍の長方形となるため、図１８に示すようなＹＵＶ４：２：２用のコンテキストインデックス値を参照する。
　ＹＵＶ４：２：２用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に２個ずつ繰り返し適用されている。
　このようにすれば、入力信号がＹＵＶ４：２：２フォーマットである場合でも、ＹＵＶ４：２：０フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
　切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢｎに属するパーティションＰｉ ｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
　イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰｉ ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ４６）。
　即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、図１のイントラ予測部４と同様に、例えば、パーティションＰｉ ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉ ｎ内の画素の予測値として予測画像を生成する。
　イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉ ｎ内の画素の予測値を生成する。
　イントラ予測部４３は、同様の手順で、パーティションＰｉ ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉ ｎ）を出力する。
　動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰｉ ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ４７）。
　即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰｉ ｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉ ｎ）を生成する。
　逆量子化・逆変換部４５は、可変長復号部４１から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
　加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐｉ ｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
　また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
　ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
　ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックに境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
　また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
　なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
　ステップＳＴ４３～ＳＴ４９の処理は、全ての符号化ブロックＢｎに属するパーティションＰｉ ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
　以上で明らかなように、この実施の形態１によれば、変換・量子化部７が、減算部６により生成された差分画像の輝度信号に対する変換・量子化処理を実施する場合、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長符号化部１３で符号化する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用することにより、回路規模を増加させることなく、ＹＵＶ４：２：２の色差信号の符号化効率を高めることができる効果を奏する。
　また、カラー動画像復号装置においても、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長復号４１で復号する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用することにより、カラー動画像符号化装置で生成されるビットストリームを好適に復号することができる。
実施の形態２．
　上記実施の形態１によるカラー動画像符号化装置では、輝度信号と色差信号を同時に符号化するように構成しているが、この実施の形態２によるカラー動画像符号化装置では、入力信号がＹＵＶ４：４：４フォーマットである場合、それぞれの成分をＹＵＶ４：０：０フォーマットであるとみなして、輝度成分（Ｙ成分）のみを最初に符号化し、その輝度成分の局部復号画像を参照画像メモリに格納し、その参照画像メモリに格納されたＹ成分の局部復号画像を参照画像として用いて、それぞれの色差成分（Ｕ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして符号化するように構成する。
　また、このようにＹＵＶ４：４：４フォーマットの各成分間で予測符号化を行う構成にするか、上記実施の形態１のように、ピクチャ間での予測符号化を行うかのいずれであるかを示す予測構成フラグを可変長符号化し符号化データに多重化する。
　このようにして生成された３つのＹＵＶ４：０：０画像をまとめて、１つのピクチャと認識するための情報であるアクセスユニットデリミタをピクチャの先頭に多重化する。
　次のピクチャでは、Ｙ成分については、参照画像メモリに格納された前ピクチャのＹ成分の局部復号画像を参照画像として用いて、ＹＵＶ４：０：０フォーマットとして符号化し、Ｕ成分およびＶ成分については、前ピクチャと同様に、当該ピクチャのＹ成分の局部復号画像を参照画像として用いて、それぞれ符号化を行う。
　この実施の形態２によるカラー動画像復号装置では、符号化データからアクセスユニットデリミタを復号すると、予測構成フラグを復号し、その予測構成フラグがＹＵＶ４：４：４フォーマットの各成分間で予測符号化を行う構成にすることを示してれば、Ｙ成分をＹＵＶ４：０：０フォーマットとして復号して、Ｙ成分の復号画像を参照画像メモリに格納し、その参照画像メモリに格納されたＹ成分の復号画像を参照画像として用いて、それぞれの色差成分（Ｕ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして復号するように構成する。
　次のピクチャでは、Ｙ成分については、その参照画像メモリに格納された前ピクチャのＹ成分の復号画像を参照画像として用いて、ＹＵＶ４：０：０フォーマットとして復号し、Ｕ成分およびＶ成分については、前ピクチャと同様に、当該ピクチャのＹ成分の復号画像を参照画像として用いて、それぞれ復号を行う。
　このように構成すれば、実施の形態２によるカラー動画像符号化装置では、輝度成分の符号化回路のみでＹＵＶ４：４：４フォーマットの画像を高効率に圧縮することができる効果を奏する。
　また、実施の形態２による動画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えることができる効果を奏する。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係るカラー動画像符号化装置は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、予測画像との差分画像の変換処理を行う際、色差信号の変換ブロック形状が長方形となるように構成し、ＹＵＶ４：２：２信号の符号化を行う場合でも、少ない回路規模で輝度信号と色差信号の符号化効率を高めることができるので、カラー動画像を高効率で符号化するカラー動画像符号化装置に用いるのに適している。
　１　符号化制御部（符号化制御手段）、２　ブロック分割部（ブロック分割手段）、３　切替スイッチ（予測画像生成手段）、４　イントラ予測部（予測画像生成手段）、５　動き補償予測部（予測画像生成手段）、６　減算部（差分画像生成手段）、７　変換・量子化部（画像圧縮手段）、８　逆量子化・逆変換部、９　加算部、１０　イントラ予測用メモリ、１１　ループフィルタ部、１２　動き補償予測フレームメモリ、１３　可変長符号化部（可変長符号化手段）、２１　変換係数可変長符号化部、２２　符号化パラメータ可変長符号化部、４１　可変長復号部（可変長復号手段）、４２　切替スイッチ（予測画像生成手段）、４３　イントラ予測部（予測画像生成手段）、４４　動き補償部（予測画像生成手段）、４５　逆量子化・逆変換部（差分画像生成手段）、４６　加算部（復号画像生成手段）、４７　イントラ予測用メモリ、４８　ループフィルタ部、４９　動き補償予測フレームメモリ、５１　変換係数可変長復号部、５２　符号化パラメータ可変長復号部。

Claims (11)

  1. 　分割された各々の符号化ブロックに係る変換係数を、ビットストリームに多重化された符号化データから可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る変換係数の逆変換処理を実施して圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
    　上記差分画像生成手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記可変長復号手段により可変長復号された符号化ブロックに係る変換係数の逆変換処理を行う際、色差信号の変換ブロック形状が長方形となることを特徴とするカラー動画像復号装置。
  2. 　上記差分画像生成手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記可変長復号手段により可変長復号された符号化ブロックに係る変換係数の逆変換処理を行う際、色差信号の変換ブロック形状が垂直方向の画素数が水平方向の画素数の２倍となる長方形となることを特徴とする請求項１記載のカラー動画像復号装置。
  3. 　上記可変長復号手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術復号することを特徴とする請求項２記載のカラー動画像復号装置。
  4. 　上記可変長復号手段は、ビットストリームに多重化された符号化データから入力カラー画像の信号フォーマットを示すフォーマット情報を可変長復号し、
    　上記フォーマット情報が示す信号フォーマットがＹＵＶ４：２：０である場合、上記差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術復号し、
    　上記フォーマット情報が示す信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術復号する
    　ことを特徴とする請求項３記載のカラー動画像復号装置。
  5. 　入力カラー画像が分割された符号化ブロックと、上記符号化ブロックに対して予測処理を実施して生成された予測画像との差分画像の変換処理を実施して上記差分画像を圧縮する画像圧縮手段と、上記画像圧縮手段で圧縮された差分画像の変換係数を可変長符号化して、上記変換係数の符号化データが多重化されたビットストリームを生成する可変長符号化手段を備え、
    　上記画像圧縮手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記予測画像との差分画像の変換処理を行う際、色差信号の変換ブロック形状が長方形となることを特徴とするカラー動画像符号化装置。
  6. 　上記画像圧縮手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記予測画像との差分画像の変換処理を行う際、色差信号の変換ブロック形状が垂直方向の画素数が水平方向の画素数の２倍となる長方形となることを特徴とする請求項５記載のカラー動画像符号化装置。
  7. 　上記可変長符号化手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化することを特徴とする請求項６記載のカラー動画像符号化装置。
  8. 　上記可変長符号化手段は、入力カラー画像の信号フォーマットを示すフォーマット情報を可変長符号化するとともに、
    　入力カラー画像の信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化し、
    　入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化し、
    　上記フォーマット情報及び上記色差信号における各変換係数の符号化データが多重化されたビットストリームを生成する
    　ことを特徴とする請求項７記載のカラー動画像符号化装置。
  9. 　入力カラー画像を所定のサイズの最大符号化ブロックに分割し、上記最大符号化ブロックを階層的に符号化ブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードを選択する符号化制御手段と、上記ブロック分割手段により分割された符号化ブロックに対して、上記符号化制御手段により選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像の変換処理を実施して上記差分画像を圧縮する画像圧縮手段とを備えていることを特徴とする請求項７記載のカラー動画像符号化装置。
  10. 　可変長復号手段が、分割された各々の符号化ブロックに係る変換係数を、ビットストリームに多重化された符号化データから可変長復号する可変長復号ステップと、予測画像生成手段が、上記可変長復号ステップにより可変長復号された符号化ブロックに予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成ステップと、差分画像生成手段が、上記可変長復号ステップにより可変長復号された符号化ブロックに係る変換係数の逆変換処理を実施して圧縮前の差分画像を生成する差分画像生成ステップと、復号画像生成手段が、上記差分画像生成ステップにより生成された差分画像と上記予測画像生成ステップにより生成された予測画像とを加算して復号画像を生成する復号画像生成ステップとを備え、
    　上記差分画像生成ステップは、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記可変長復号ステップにより可変長復号された符号化ブロックに係る変換係数の逆変換処理を行う際、色差信号の変換ブロック形状が長方形となることを特徴とするカラー動画像復号方法。
  11. 　画像圧縮手段が、入力カラー画像が分割された符号化ブロックと、上記符号化ブロックに対して予測処理を実施して生成された予測画像との差分画像の変換処理を実施して上記差分画像を圧縮する画像圧縮ステップと、可変長符号化手段が、上記画像圧縮ステップで圧縮された差分画像の変換係数を可変長符号化して、上記変換係数の符号化データが多重化されたビットストリームを生成する可変長符号化ステップを備え、
    　上記画像圧縮ステップは、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記予測画像との差分画像の変換処理を行う際、色差信号の変換ブロック形状が長方形となることを特徴とするカラー動画像符号化方法。
PCT/JP2013/051081 2012-01-30 2013-01-21 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 WO2013114992A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-016868 2012-01-30
JP2012016868A JP2015080004A (ja) 2012-01-30 2012-01-30 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法

Publications (1)

Publication Number Publication Date
WO2013114992A1 true WO2013114992A1 (ja) 2013-08-08

Family

ID=48905034

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/051081 WO2013114992A1 (ja) 2012-01-30 2013-01-21 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法

Country Status (2)

Country Link
JP (1) JP2015080004A (ja)
WO (1) WO2013114992A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014051080A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
JP2015076781A (ja) * 2013-10-10 2015-04-20 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
EP3445052A1 (en) 2017-08-10 2019-02-20 Fujitsu Limited Video encoding apparatus and video encoding method
CN110235445A (zh) * 2017-01-31 2019-09-13 世宗大学校产学协力团 影像编码/解码方法及装置
CN110476422A (zh) * 2017-04-28 2019-11-19 Jvc建伍株式会社 图像编码装置、图像编码方法和图像编码程序、图像解码装置、图像解码方法和图像解码程序
CN111127472A (zh) * 2019-10-30 2020-05-08 武汉大学 一种基于权重学习的多尺度图像分割方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7256658B2 (ja) * 2019-03-01 2023-04-12 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAZUO SUGIMOTO ET AL.: "4:2:2 support in HEVC", COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 7TH MEETING, 21 November 2011 (2011-11-21), GENEVA, CH *
LIWEI GUO ET AL.: "Non-Square Transform for 2NxN and Nx2N Motion Partitions", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/ SC29/WG11 6TH MEETING, 14 July 2011 (2011-07-14), TORINO *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014051080A1 (ja) * 2012-09-28 2016-08-25 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
WO2014051080A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
JP2015076781A (ja) * 2013-10-10 2015-04-20 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US11425426B2 (en) 2017-01-31 2022-08-23 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image
CN110235445A (zh) * 2017-01-31 2019-09-13 世宗大学校产学协力团 影像编码/解码方法及装置
US11882315B2 (en) 2017-01-31 2024-01-23 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding image
CN110235445B (zh) * 2017-01-31 2022-09-02 世宗大学校产学协力团 影像编码/解码方法及装置
CN110476422A (zh) * 2017-04-28 2019-11-19 Jvc建伍株式会社 图像编码装置、图像编码方法和图像编码程序、图像解码装置、图像解码方法和图像解码程序
CN110476422B (zh) * 2017-04-28 2023-12-22 知识产权之桥一号有限责任公司 图像编码装置和方法、图像解码装置和方法以及记录介质
EP3445052A1 (en) 2017-08-10 2019-02-20 Fujitsu Limited Video encoding apparatus and video encoding method
US11223829B2 (en) 2017-08-10 2022-01-11 Fujitsu Limited Video encoding apparatus and video encoding method with block shape based filtering
CN111127472B (zh) * 2019-10-30 2021-09-14 武汉大学 一种基于权重学习的多尺度图像分割方法
CN111127472A (zh) * 2019-10-30 2020-05-08 武汉大学 一种基于权重学习的多尺度图像分割方法

Also Published As

Publication number Publication date
JP2015080004A (ja) 2015-04-23

Similar Documents

Publication Publication Date Title
JP6863669B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
JP6005087B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造
JP5674972B2 (ja) 画像符号化装置及び画像復号装置
JP6469048B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、動画像符号化データ及び記録媒体
WO2012008125A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2014199634A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置及び画像復号方法
WO2013001730A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
WO2013114992A1 (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
WO2014163200A1 (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
WO2012176387A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2015076781A (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2015019257A (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
JP2013168913A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014007643A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013126145A (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
WO2014051080A1 (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
JP2013102269A (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13743740

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13743740

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP