WO2014163200A1 - カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 - Google Patents

カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 Download PDF

Info

Publication number
WO2014163200A1
WO2014163200A1 PCT/JP2014/060019 JP2014060019W WO2014163200A1 WO 2014163200 A1 WO2014163200 A1 WO 2014163200A1 JP 2014060019 W JP2014060019 W JP 2014060019W WO 2014163200 A1 WO2014163200 A1 WO 2014163200A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
block
coding
intra
signal
Prior art date
Application number
PCT/JP2014/060019
Other languages
English (en)
French (fr)
Inventor
彰 峯澤
亮史 服部
孝之 瀬光
守屋　芳美
憲道 日和佐
関口　俊一
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to EP14779411.9A priority Critical patent/EP2983360A4/en
Priority to CN201480019631.6A priority patent/CN105103547A/zh
Priority to BR112015025113-7A priority patent/BR112015025113B1/pt
Priority to JP2015510162A priority patent/JPWO2014163200A1/ja
Priority to US14/781,970 priority patent/US9774872B2/en
Priority to KR1020157031774A priority patent/KR101749855B1/ko
Publication of WO2014163200A1 publication Critical patent/WO2014163200A1/ja
Priority to HK16100571.9A priority patent/HK1212838A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the present invention relates to a color image coding apparatus and a color image coding method for coding a color moving image with high efficiency, a color image decoding apparatus for decoding a color moving image encoded with high efficiency, and a color image decoding It relates to the method.
  • an input color image is divided into maximum coding blocks of a predetermined size, and further, the maximum coding blocks are finer Hierarchically divide into coding blocks.
  • the coding block is divided into finer prediction blocks, and intra prediction and motion compensation prediction are performed on the prediction blocks to generate prediction errors.
  • the prediction error is hierarchically divided into transform blocks in a coding block, and a high compression rate is achieved by entropy coding each transform coefficient.
  • the color difference signal is obtained by making the block division information of the color difference signal coding block, the prediction block and the conversion block the same as the luminance signal.
  • the coding efficiency of the color difference signal is enhanced by eliminating the need to encode the information related to the transform block size of the above.
  • the block size of the color difference signal is half the size of the block size of the luminance signal, except in the case where the size of the division target block of the color difference signal can not be divided because it is the smallest possible block size.
  • the prediction mode used for the intra-frame prediction processing of the color difference signal is the frame of the luminance signal.
  • the luminance / color difference common intra prediction mode (DM mode) which is the same as the prediction mode used for the inner prediction processing, as shown in FIG. 25, if the prediction mode of the luminance signal is directional prediction, the color difference signal is also the luminance signal.
  • DM mode luminance / color difference common intra prediction mode
  • the prediction mode of the luminance signal is directional prediction
  • the color difference signal is also the luminance signal.
  • the signal format of the color image is YUV 4: 2: 2
  • the color difference signal is a signal in which only pixels in the horizontal direction are thinned to half the number of pixels of the luminance signal.
  • the directionality prediction of the chrominance signal is performed in the same prediction direction (angle) as the luminance signal, the chrominance signal is different from the prediction direction of the luminance signal when it is considered as the chrominance signal before thinning out the pixels in the horizontal direction.
  • the present invention has been made to solve the above-described problems, and even when the signal format of a color image is YUV 4: 2: 2, encoding efficiency can be reduced without causing a decrease in the prediction efficiency of the color difference signal. It is an object of the present invention to provide a color image coding apparatus and a color image coding method that can be enhanced. Another object of the present invention is to provide a color image decoding apparatus and a color image decoding method capable of accurately decoding an image from encoded data whose coding efficiency is to be improved.
  • the intra prediction means converts the index indicating the intra prediction mode for the luminance signal, and the converted index indicates In the intra prediction mode, intra-frame prediction processing of color difference signals is performed.
  • the intra prediction means converts the index indicating the intra prediction mode for the luminance signal, and in the intra prediction mode indicated by the converted index, Since the intra-frame prediction processing of the color difference signal is performed, even if the signal format of the color image is YUV 4: 2: 2, the coding efficiency can be increased without causing a decrease in the prediction efficiency of the color difference signal.
  • (A) shows distribution of the coding block and prediction block after division
  • (b) is explanatory drawing which shows the condition where coding mode m ( Bn ) is allocated by hierarchy division.
  • FIG. 1 is a block diagram showing a color image coding apparatus according to a first embodiment of the present invention.
  • a video signal to be processed by the color image coding apparatus according to the first embodiment is a color of an arbitrary color space such as a YUV signal consisting of a luminance signal and two color difference signals, an RGB signal output from a digital imaging device, etc.
  • the video signal it is an arbitrary video signal such as a monochrome image signal or an infrared image signal, in which a video frame is composed of horizontal and vertical two-dimensional digital sample (pixel) rows.
  • the gradation of each pixel may be 8 bits, or may be 10 bits, 12 bits or the like.
  • the input signal may be a still image signal instead of a video signal, as a matter of course because the still image signal can be interpreted as a video signal consisting of only one frame.
  • the input video signal is subsampled by a factor of 2 with respect to the luminance component Y of the two color difference components U and V: YUV 4: 2: 0 format, YUV 4: 2: 2 format in which two color difference components U and V are subsampled in half in the lateral direction with respect to the brightness component Y, or two color difference components U and V have brightness components Y It is assumed that it is a signal of YUV 4: 4: 4 format which is the same number of samples as in.
  • each signal is regarded as a YUV 4: 4: 4 format signal and YUV4: It performs the same encoding as 4: 4 format.
  • the correspondence of each signal (RGB) of the RGB 4: 4: 4 format to each signal (YUV) of the YUV 4: 4: 4 format is not limited (can be set arbitrarily).
  • a processing data unit corresponding to each frame of video is referred to as a "picture", and in the first embodiment, the "picture" will be described as a signal of a video frame which is sequentially scanned (progressive scan). However, when the video signal is an interlaced signal, the "picture" may be a field image signal which is a unit constituting a video frame.
  • the slice division unit 14 when the slice division unit 14 inputs a video signal as an input image, processing is performed to divide the input image into one or more partial images called “slices” according to the slice division information determined by the encoding control unit 2 carry out.
  • the division unit of the slice can be finely divided into coding block units to be described later.
  • the block division unit 1 divides the slice into the largest coding block which is the coding block of the largest size determined by the coding control unit 2 every time the slice divided by the slice division unit 14 is input. A process of hierarchically dividing the largest coded block into each coded block is performed until the upper limit hierarchy number determined by the quantization control unit 2 is reached. That is, the block division unit 1 divides the slice into coding blocks in accordance with the division determined by the coding control unit 2, and performs a process of outputting the coding block. In addition, each coding block is divided into one or more prediction blocks as a prediction processing unit.
  • the coding control unit 2 determines the maximum size of the coding block as a processing unit when the coding process is performed, and sets the upper limit hierarchy number when the coding block of the maximum size is hierarchically divided. The determination is performed to determine the size of each coding block. Further, the coding control unit 2 may select one or more selectable coding modes (one or more intra coding modes different in the size of the prediction block indicating the prediction processing unit, etc., one or more inter codes different in the size of the prediction block) A process of selecting a coding mode to be applied to the coding block output from the block division unit 1 from the coding mode) is performed. As an example of the selection method, there is a method of selecting a coding mode with the highest coding efficiency for the coding block output from the block division unit 1 from one or more selectable coding modes.
  • the coding control unit 2 uses the intra prediction parameter to be used when performing the intra prediction process on the coding block in the intra coding mode. It is determined for each prediction block which is a prediction processing unit indicated by the intra coding mode, and when the coding mode with the highest coding efficiency is the inter coding mode, the inter prediction process for the coding block is performed in the inter coding mode A process of determining an inter prediction parameter to be used in the implementation for each prediction block which is a prediction processing unit indicated by the inter coding mode is performed.
  • the coding control unit 2 carries out a process of determining a prediction differential coding parameter to be given to the transform / quantization unit 7 and the inverse quantization / inverse transform unit 8.
  • the prediction differential coding parameter includes transform block division information indicating division information of a transform block serving as a unit of orthogonal transform processing in the coding block, and a quantization parameter defining a quantization step size at the time of quantization of transform coefficients. And so on.
  • FIG. 20 is an explanatory view showing a conversion block size when compression processing (conversion processing, quantization processing) of the luminance signal and the color difference signal in the signal of YUV 4: 2: 0 format is performed.
  • the transform block size is determined by hierarchically dividing the coding block into quadtrees as shown in FIG. For example, whether or not to divide the transform block so as to minimize the evaluation value based on the code amount in the case of dividing the transform block and in the case of not dividing the transform block, the evaluation scale including the coding error, etc.
  • the coding block is hierarchically divided into one or more square transformation blocks.
  • the coding block is hierarchically divided into one or more square conversion blocks, like the luminance signal.
  • the conversion block size of the chrominance signal is half the size in the vertical and horizontal directions of the corresponding luminance signal conversion block.
  • the input signal format is a YUV 4: 2: 2 signal
  • the same quadrilateral tree division as the luminance signal is performed.
  • the shape of the divided block is a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction
  • YUV 4: 2: 0 signal is further divided by dividing the divided block into upper and lower parts.
  • the color difference signal is composed of two conversion blocks of the same block size (half the size of the conversion block of the luminance signal in both the vertical and horizontal directions).
  • the color difference signal conversion block when the input signal format is YUV 4: 4: 4, the color difference signal conversion block always performs the same division as the luminance signal conversion block and becomes the conversion block of the same size.
  • the division information of the conversion block of the luminance signal is output to, for example, the variable-length coding unit 13 as a conversion block division flag indicating whether or not division is performed for each hierarchy.
  • the changeover switch 3 outputs the coding block output from the block division unit 1 to the intra prediction unit 4, and the coding control unit 2 If the coding mode determined by the above is the inter coding mode, the process of outputting the coding block output from the block division unit 1 to the motion compensation prediction unit 5 is performed.
  • the intra prediction unit 4 stores the local data stored in the memory 10 for intra prediction. While referring to the decoded image, the intra prediction process (intra-frame prediction process) using the intra prediction parameter determined by the encoding control unit 2 is performed to generate an intra predicted image.
  • the intra prediction unit 4 constitutes an intra prediction means.
  • the intra prediction unit 4 performs intra prediction processing (intra-frame prediction processing) using an intra prediction parameter of the luminance signal to generate a predicted image of the luminance signal.
  • intra prediction processing intra-frame prediction processing
  • the intra prediction parameter of the chrominance signal indicates that the same prediction mode as the intra prediction mode for the luminance signal is to be used (the intra prediction parameter indicates the luminance chrominance common intra prediction mode (DM mode)
  • the same intra-frame prediction as the luminance signal is performed to generate a predicted image of the chrominance signal.
  • the intra prediction parameter of the chrominance signal indicates the vertical prediction mode or the horizontal prediction mode
  • directional prediction is performed on the chrominance signal to generate a predicted image of the chrominance signal.
  • the intra prediction parameter of the color difference signal indicates the brightness correlation use color difference signal prediction mode (LM mode)
  • LM mode brightness correlation use color difference signal prediction mode
  • the signal is used to calculate a correlation parameter indicating the correlation between the luminance signal and the color difference signal, and a predicted image of the color difference signal is generated using the correlation parameter and the luminance signal corresponding to the block of the color difference signal to be predicted.
  • the processing of the DM mode or the LM mode may be performed, and the other prediction modes may not be selected.
  • the intra prediction mode of the color difference signal is prohibited by prohibiting application of a prediction mode different from the luminance signal to the color difference signal. The amount of information can be reduced to enhance the coding efficiency.
  • the input signal format is YUV 4: 2: 2, as shown in FIG. 27, if the luminance signal is a square block, the color difference signal has 1/2 the number of pixels in the horizontal direction compared to the luminance signal. Becomes a rectangular block. Therefore, as shown in FIG. 28, when the YUV4: 4: 4 signal is converted to the YUV4: 2: 2 signal, in order to predict the same direction for the luminance signal and the color difference signal, YUV4: 2 is used. On two signals, in the case of directional prediction other than vertical direction prediction and horizontal direction prediction, the prediction direction of the color difference signal is different from the prediction direction of the luminance signal. Specifically, as shown in FIG.
  • the index of the intra prediction mode used for the luminance signal is converted to the index of the intra prediction mode used for prediction of the color difference signal. And carry out prediction processing of color difference signals in the intra prediction mode corresponding to the converted index.
  • an index conversion table may be prepared, and the index may be converted by referring to the conversion table.
  • a conversion equation is prepared in advance, and the index is converted according to the conversion equation. It may be configured to By configuring in this way, it is possible to perform appropriate prediction of the color difference signal according to the format of the YUV 4: 2: 2 signal only by converting the index without changing the directionality prediction processing itself.
  • the motion compensation prediction unit 5 calculates the coding block and the motion compensation prediction frame memory 12.
  • the local decoded image stored in one or more frames is compared to search for a motion vector, and the motion vector and the inter prediction parameter such as a reference frame number determined by the encoding control unit 2 are used to
  • the inter prediction process motion compensation prediction process is performed on the block to perform the process of generating the inter prediction image.
  • the subtraction unit 6 subtracts the intra prediction image generated by the intra prediction unit 4 or the inter prediction image generated by the motion compensation prediction unit 5 from the coding block output from the block division unit 1 and subtracts the subtraction.
  • a process of outputting a predicted difference signal indicating a difference image as a result to the conversion / quantization unit 7 is performed.
  • the transform / quantization unit 7 refers to transform block division information included in the prediction difference coding parameter determined by the coding control unit 2 and performs orthogonal transformation processing (eg, for example, on the prediction difference signal output from the subtraction unit 6).
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • orthogonal transform processing such as KL transform in which a basic design is previously performed on a specific learning sequence
  • the transform / quantization unit 7 When quantizing the transform coefficient, the transform / quantization unit 7 performs quantization processing of the transform coefficient using a quantization matrix that scales the quantization step size calculated from the quantization parameter for each transform coefficient. You may do so.
  • FIG. 10 is an explanatory view showing an example of a 4 ⁇ 4 DCT quantization matrix.
  • the numbers in the figure indicate the scaling value of the quantization step size of each transform coefficient. For example, in order to suppress the encoding bit rate, as shown in FIG. 10, by scaling the quantization step size to a larger value as the transform coefficient of the higher band is increased, the high band generated in a complicated image region etc. It is possible to perform encoding without dropping information on low-pass coefficients that greatly affect the subjective quality while suppressing the transform coefficient to suppress the code amount.
  • a quantization matrix may be used.
  • the quantization matrix can use an independent matrix for each color signal and coding mode (intra coding or inter coding) at each orthogonal transformation size, and the color image coding apparatus and It is possible to select each of the quantization matrix prepared in common in the color image decoding apparatus in advance or the already encoded quantization matrix or to use a new quantization matrix. Therefore, the transformation / quantization unit 7 sets flag information indicating whether or not to use a new quantization matrix for each color signal and coding mode for each orthogonal transformation size as a quantization matrix parameter to be encoded. .
  • each scaling value of the quantization matrix as shown in FIG. 10 is set to the quantization matrix parameter to be encoded.
  • the index specifying the matrix to be used is set as the quantization matrix parameter to be encoded.
  • the inverse quantization / inverse transform unit 8 refers to the quantization parameter and transform block division information included in the prediction differential encoding parameter determined by the encoding control unit 2 and converts the transform block into a transform block unit 7 A local decoded prediction difference corresponding to the prediction difference signal output from the subtraction unit 6 by performing inverse orthogonal transformation processing on the transform coefficient that is the compression data after inverse quantization while performing inverse quantization on the output compressed data Implement a process to calculate the signal.
  • the transformation / quantization unit 7 performs the quantization process using the quantization matrix, the corresponding inverse quantization is performed with reference to the quantization matrix even during the inverse quantization process. Perform the process.
  • the adder 9 adds the locally decoded prediction difference signal calculated by the inverse quantization / inverse transformer 8, the intra prediction image generated by the intra prediction unit 4, or the inter prediction image generated by the motion compensation prediction unit 5. Are added to each other to calculate a locally decoded image corresponding to the coding block output from the block division unit 1.
  • the intra prediction memory 10 is a recording medium for storing the locally decoded image calculated by the adding unit 9.
  • the loop filter unit 11 performs a predetermined filter process on the locally decoded image calculated by the adding unit 9 and performs a process of outputting the locally decoded image after the filter process.
  • filter deblocking filter
  • processing for reducing distortion generated at boundaries of transform blocks and boundaries of prediction blocks processing for adaptively adding an offset on a pixel basis (pixel adaptive offset) processing, Wiener filter, etc. It performs adaptive filter processing etc. which adaptively switches and filters a linear filter.
  • the loop filter unit 11 determines whether or not each of the above deblocking filter processing, pixel adaptive offset processing, and adaptive filter processing is to be processed, and variable length coding is performed using the effective flag of each processing as header information. Output to section 13.
  • each filter processing is implemented in order.
  • FIG. 11 shows a configuration example of the loop filter unit 11 in the case of using a plurality of filter processes. The more types of filtering that are commonly used, the better the image quality, but the higher the processing load. That is, the image quality and the processing load are in a trade-off relationship. Further, the image quality improvement effect of each filtering process differs depending on the characteristics of the filtering target image.
  • the filtering process to be used may be determined according to the processing load permitted by the color image coding apparatus and the characteristics of the image to be coded. For example, when it is desired to reduce the processing impossibility as compared with the configuration of FIG. 11, it can be considered to be configured only by the deblocking filter processing and the pixel adaptive offset processing.
  • the deblocking filter processing various parameters used to select the filter strength applied to the block boundary can be changed from the initial value.
  • the parameter is output to the variable-length coding unit 13 as header information.
  • the pixel adaptive offset processing first, the image is divided into a plurality of blocks, and even if the offset processing is not performed for each block, a plurality of classifications prepared in advance are defined as one of the classification methods. From among the methods, select one classification method. Next, each pixel in the block is classified according to the selected classification method, and an offset value for compensating for coding distortion is calculated for each class. Finally, the image quality of the locally decoded image is improved by performing processing of adding the offset value to the luminance value of the locally decoded image.
  • block division information an index indicating a class classification method of each block, and offset information for specifying an offset value of each class in block units are output to the variable length coding unit 13 as header information.
  • the division method may be always divided into fixed size block units such as a maximum coding block, the class classification method is selected for each block, and the adaptive offset processing for each class may be performed.
  • the block division information is unnecessary, the code amount is reduced by the amount of code required for the block division information, and the coding efficiency can be improved.
  • a locally decoded image is classified by a predetermined method, and a filter that compensates for the superimposed distortion is designed for each region (locally decoded image) belonging to each class, and the filter is used to Implement filter processing of the local decoded image. Then, the filter designed for each class is output to the variable-length coding unit 13 as header information.
  • a class classification method there is a simple method of spatially dividing an image at equal intervals, or a method of classifying a block unit in accordance with local characteristics (such as dispersion) of the image.
  • the number of classes used in the adaptive filter processing may be set in advance as a value common to the color image coding apparatus and the color image decoding apparatus, or may be a parameter to be coded. Compared with the former, the latter can freely set the number of classes to be used, thereby improving the image quality improvement effect, while increasing the code amount for encoding the number of classes Do.
  • the video signal When performing pixel adaptive offset processing and adaptive filter processing, as shown in FIG. 11, the video signal needs to be referred to by the loop filter unit 11 so that the video signal is input to the loop filter unit 11. In addition, it is necessary to change the color image coding apparatus of FIG.
  • the motion compensation prediction frame memory 12 is a recording medium for storing the locally decoded image after the filter processing of the loop filter unit 11.
  • the variable-length coding unit 13 outputs the compressed data output from the transform / quantization unit 7 and the output signal of the coding control unit 2 (block division information in the maximum coding block, coding mode, predictive differential coding
  • the intra prediction parameter or the inter prediction parameter and the motion vector (when the coding mode is the inter coding mode) output from the motion compensation prediction unit 5 are variable length coded to generate coded data.
  • the variable-length coding unit 13 codes a sequence level header and a picture level header as header information of a coded bit stream, and generates a coded bit stream together with picture data.
  • picture data is composed of one or more slice data
  • each slice data is a combination of a slice level header and the above-mentioned encoded data in the slice.
  • the sequence level header includes image size, color signal format, bit depth of signal value of luminance signal and color difference signal, each filter processing in loop filter unit 11 in sequence unit (adaptive filter processing, pixel adaptive offset processing, deblocking filter processing
  • header information that is common to each sequence unit is collected, such as the valid flag information of (1) and the valid flag information of the quantization matrix.
  • the picture level header is a collection of header information to be set in units of pictures, such as the index of the sequence level header to be referenced, the number of reference pictures during motion compensation, the probability table initialization flag for entropy coding, and quantization matrix parameters. .
  • the slice level header is position information indicating where in the picture the slice is located, an index indicating which picture level header is to be referenced, slice coding type (all intra coding, inter coding etc.), loop
  • slice-based parameters such as flag information indicating whether or not each filter process (adaptive filter process, pixel adaptive offset process, deblocking filter process) in the filter unit 11 is to be performed.
  • the block division unit 1, the coding control unit 2, the changeover switch 3, the intra prediction unit 4, the motion compensation prediction unit 5, the subtraction unit 6, transform / quantization which are components of the color image coding apparatus Unit 7, inverse quantization / inverse conversion unit 8, addition unit 9, intra prediction memory 10, loop filter unit 11, motion compensation prediction frame memory 12, variable length coding unit 13, and slice division unit 14 are each dedicated although hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, etc.) is assumed, the block division unit is assumed when the color image coding apparatus is formed by a computer.
  • FIG. 2 is a flow chart showing the contents of processing (image coding method) of the color image coding apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing a color image decoding apparatus according to Embodiment 1 of the present invention.
  • the variable length decoding unit 31 receives the coded bit stream generated by the color image coding apparatus of FIG. 1, header information such as a sequence level header, a picture level header, and a slice level header from the bit stream. , And variable-length-decodes block division information indicating the division status of each coding block divided hierarchically from the bit stream.
  • the valid flag information of the quantization matrix included in the header information indicates "valid"
  • the variable-length decoding unit 31 performs variable-length decoding of the quantization matrix parameter to specify the quantization matrix.
  • a quantization matrix parameter is provided as an initial value in a quantization matrix commonly prepared in advance by the color image encoding device and the color image decoding device, Alternatively, when it indicates that the quantization matrix has already been decoded (not a new quantization matrix), the quantization matrix is identified by referring to the index information identifying which quantization matrix in the above matrix. If the quantization matrix parameter indicates that a new quantization matrix is to be used, the quantization matrix included in the quantization matrix parameter is specified as a quantization matrix using the same.
  • variable-length decoding unit 31 refers to each header information to identify a slice division state, identifies the largest coding block included in slice data of each slice, and refers to block division information to A coding block is hierarchically divided to specify a coding block which is a unit to be subjected to decoding processing, and compressed data, coding mode, intra prediction parameter (coding mode is intra coding mode according to each coding block) Processing for variable-length decoding of inter prediction parameters (if coding mode is inter coding mode), motion vectors (if coding mode is inter coding mode) and prediction differential coding parameters carry out.
  • the inverse quantization / inverse transform unit 32 refers to the quantization parameter and the transform block division information included in the prediction differential encoding parameter that has been variable-length decoded by the variable-length decoding unit 31, and the variable-length decoding unit 31 performs variable-length decoding Is subjected to inverse orthogonal transform processing on transform coefficients which are compressed data after inverse quantization, and is output from the inverse quantization / inverse transform unit 8 of FIG. A process of calculating the same decoded predicted difference signal as the locally decoded predicted difference signal is performed.
  • the division state of the conversion block in the coding block is specified from the conversion block division information.
  • the transform block size is determined by hierarchically dividing the coding block into quadtrees as shown in FIG.
  • the coding block is hierarchically divided into one or more square transformation blocks.
  • the coding block is hierarchically divided into one or more square conversion blocks, like the luminance signal.
  • the conversion block size of the chrominance signal is half the size in the vertical and horizontal directions of the corresponding luminance signal conversion block.
  • the input signal format is a YUV 4: 2: 2 signal
  • the same quadrilateral tree division as the luminance signal is performed.
  • the shape of the divided block is a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction
  • YUV 4: 2: 0 signal is further divided by dividing the divided block into upper and lower parts.
  • the color difference signal is composed of two conversion blocks of the same block size (half the size of the conversion block of the luminance signal in both the vertical and horizontal directions).
  • the color difference signal conversion block always performs division similar to that of the luminance signal conversion block so that it becomes a conversion block of the same size.
  • each header information variable-length decoded by the variable-length decoding unit 31 indicates that the inverse quantization process is to be performed using the quantization matrix in the corresponding slice
  • the inverse quantization using the quantization matrix is performed.
  • the changeover switch 33 outputs the intra prediction parameter variable-length decoded by the variable-length decoding unit 31 to the intra prediction unit 34, If the coding mode variable-length decoded by the variable-length decoding unit 31 is the inter coding mode, processing for outputting the inter prediction parameter and motion vector variable-length decoded by the variable-length decoding unit 31 to the motion compensation unit 35 carry out.
  • the intra prediction unit 34 is stored in the intra prediction memory 37 when the coding mode related to the coding block identified from the block division information subjected to variable length decoding by the variable length decoding unit 31 is the intra coding mode. While referring to the decoded image, the intra prediction process (intra-frame prediction process) using the intra prediction parameter output from the changeover switch 33 is performed to generate an intra predicted image.
  • the intra prediction unit 34 constitutes an intra prediction means.
  • the intra prediction unit 34 performs intra prediction processing (intra-frame prediction processing) using the above-described intra prediction parameter on the luminance signal to generate a predicted image of the luminance signal.
  • intra prediction processing intra-frame prediction processing
  • the intra prediction parameter of the chrominance signal indicates that the same prediction mode as the intra prediction mode for the luminance signal is to be used (the intra prediction parameter indicates the luminance chrominance common intra prediction mode (DM mode)
  • the same intra-frame prediction as the luminance signal is performed to generate a predicted image of the chrominance signal.
  • the intra prediction parameter of the chrominance signal indicates the vertical prediction mode or the horizontal prediction mode
  • directional prediction is performed on the chrominance signal to generate a predicted image of the chrominance signal.
  • the intra prediction parameter of the color difference signal indicates the brightness correlation use color difference signal prediction mode (LM mode)
  • LM mode brightness correlation use color difference signal prediction mode
  • the signal is used to calculate a correlation parameter indicating the correlation between the luminance signal and the color difference signal, and a predicted image of the color difference signal is generated using the correlation parameter and the luminance signal corresponding to the block of the color difference signal to be predicted.
  • the color image coding apparatus is configured to execute the processing in the DM mode or the LM mode and not to select another prediction mode.
  • the color image decoding apparatus also has the same configuration so that the bit stream generated from the color image coding apparatus can be decoded.
  • the YUV 4: 4: 4 signal since there is a high correlation between the edge positions of the luminance signal and the color difference signal, the intra prediction mode of the color difference signal is prohibited by prohibiting application of a prediction mode different from the luminance signal to the color difference signal. The amount of information can be reduced to enhance the coding efficiency.
  • the input signal format is YUV 4: 2: 2, as shown in FIG. 27, if the luminance signal is a square block, the color difference signal has 1/2 the number of pixels in the horizontal direction compared to the luminance signal. Becomes a rectangular block. Therefore, as shown in FIG. 28, when the YUV4: 4: 4 signal is converted to the YUV4: 2: 2 signal, in order to predict the same direction for the luminance signal and the color difference signal, YUV4: 2 is used. On two signals, in the case of directional prediction other than vertical direction prediction and horizontal direction prediction, the prediction direction of the color difference signal is different from the prediction direction of the luminance signal. Specifically, as shown in FIG.
  • the index of the intra prediction mode used for the luminance signal is converted to the index of the intra prediction mode used for prediction of the color difference signal. And carry out prediction processing of color difference signals in the intra prediction mode corresponding to the converted index.
  • an index conversion table may be prepared, and the index may be converted by referring to the conversion table.
  • a conversion equation is prepared in advance, and the index is converted according to the conversion equation. It may be configured to By configuring in this way, it is possible to perform appropriate prediction of the color difference signal according to the format of the YUV 4: 2: 2 signal only by converting the index without changing the directionality prediction processing itself.
  • the motion compensation unit 35 stores the motion compensation prediction frame memory 39 when the coding mode relating to the coding block identified from the block division information subjected to variable length decoding by the variable length decoding unit 31 is the inter coding mode.
  • the inter prediction process motion compensation prediction process
  • the inter prediction process is performed using the motion vector output from the changeover switch 33 and the inter prediction parameter while referring to the decoded image to generate an inter prediction image.
  • the addition unit 36 adds the decoded prediction difference signal calculated by the inverse quantization / inverse conversion unit 32, and the intra prediction image generated by the intra prediction unit 34 or the inter prediction image generated by the motion compensation unit 35. Then, a process of calculating the same decoded image as the local decoded image output from the adding unit 9 of FIG. 1 is performed.
  • the intra prediction memory 37 is a recording medium for storing the decoded image calculated by the adding unit 36 as a reference image used in the intra prediction process.
  • the loop filter unit 38 performs a predetermined filtering process on the decoded image calculated by the adding unit 36 and performs a process of outputting the decoded image after the filter process. Specifically, filter (deblocking filter) processing for reducing distortion generated at boundaries of transform blocks and boundaries of prediction blocks, processing for adaptively adding an offset on a pixel basis (pixel adaptive offset) processing, Wiener filter, etc. It performs adaptive filter processing etc. which adaptively switches and filters a linear filter.
  • the loop filter unit 38 refers to each piece of header information that has been variable-length decoded by the variable-length decoding unit 31 for each of the deblocking filter processing, the pixel adaptive offset processing, and the adaptive filter processing described above. Identify whether or not. At this time, when two or more filter processes are performed, if, for example, the loop filter unit 11 of the color image coding apparatus is configured as shown in FIG. 11, the loop filter unit 38 is configured as shown in FIG. Be done. Naturally, if the loop filter unit 11 of the color image coding apparatus is composed of deblocking filter processing and pixel adaptive offset processing, the loop filter unit 38 is also composed of deblocking filter processing and pixel adaptive offset processing.
  • Deblocking filtering when there is information for changing from the initial value various parameters used for selecting the filter strength to be applied to the block boundary with reference to the header information that is variable-length decoded by the variable-length decoding unit 31 Deblocking filtering is performed based on the change information. If there is no change information, it is performed according to a predetermined method.
  • the decoded image is divided based on the block division information of the pixel adaptive offset processing that is variable-length decoded by the variable-length decoding unit 31, and the variable-length decoding unit 31
  • the index indicating the block classification method if the index is not an index indicating "do not perform offset processing", class classification according to the classification method indicated by the above index indicates each pixel in the block in block units Do.
  • candidates for the class classification method the same ones as candidates for the class classification method for pixel adaptive offset processing of the loop filter unit 11 are prepared in advance.
  • the offset information is added to the luminance value of the decoded image with reference to the offset information that specifies the offset value of each class in block units.
  • the image is always divided into fixed size block units (for example, maximum coded block units) without coding block division information.
  • the loop filter unit 38 also applies pixels in block units of the same fixed size as the loop filter unit 11.
  • the motion compensation prediction frame memory 39 is a recording medium for storing the decoded image after the filter processing of the loop filter unit 38 as a reference image used in inter prediction processing (motion compensation prediction processing).
  • variable length decoding unit 31 which is a component of the color image decoding apparatus, the inverse quantization / inverse conversion unit 32, the changeover switch 33, the intra prediction unit 34, the motion compensation unit 35, the addition unit 36, the intra prediction Memory 37, loop filter unit 38, and motion compensation prediction frame memory 39 are assumed to be configured with dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, etc.).
  • FIG. 4 is a flowchart showing the processing content (image decoding method) of the color image decoding apparatus according to the first embodiment of the present invention.
  • intra-prediction from encoded adjacent pixels or motion-compensated prediction between adjacent frames is performed with each frame image of video as an input image, and a predicted difference signal obtained is obtained.
  • a color image coding apparatus that performs compression processing by orthogonal transform and quantization and then performs variable length coding to generate a coded bit stream, and decodes the coded bit stream output from the color image coding apparatus A color image decoding apparatus to be used will be described.
  • the color image coding apparatus shown in FIG. 1 divides the video signal into blocks of various sizes according to local changes in the space and time directions of the video signal, and performs intra-frame and inter-frame adaptive coding. It is characterized by Generally, a video signal has a characteristic that the complexity of the signal changes locally in space and time. When viewed spatially, on some video frames, for example, some patterns have uniform signal characteristics in relatively large image areas such as sky or wall, small images such as a person or a picture including fine texture There may be a mixture of patterns having complicated texture patterns in the area. Even in time, although the sky and walls locally have a small change in the pattern in the time direction, the moving person or object moves temporally in a rigid or non-rigid motion, so the temporal change Is large.
  • the encoding process generates a prediction difference signal with small signal power and entropy by temporal and spatial prediction, and performs a process to reduce the overall code amount, but the parameters used for prediction are as large as possible in the image signal area. If it can apply uniformly, the code amount of the said parameter can be made small.
  • the same prediction parameter is applied to a large image area with respect to an image signal pattern having a large change in time and space, the number of prediction errors increases, so the code amount of the prediction difference signal increases. . Therefore, in a region where temporal and spatial changes are large, the block size for performing prediction processing is reduced by applying the same prediction parameter, and the data amount of parameters used for prediction is increased, and the power and entropy of the prediction difference signal It is desirable to reduce the
  • prediction processing etc. in order to perform encoding adapted to the general nature of the video signal, prediction processing etc. is first started from a predetermined maximum block size, and the area of the video signal is hierarchically divided.
  • prediction processing and coding processing of prediction differences thereof are adapted to be adapted to each divided area.
  • the coding control unit 2 determines the slice division state of a picture (current picture) to be coded, and also the size of the largest coding block used for coding the picture, and the hierarchy in which the largest coding block is hierarchically divided.
  • the upper limit of the number is determined (step ST1 in FIG. 2).
  • the size of the maximum coding block for example, the same size may be determined for all the pictures according to the resolution of the video signal of the input image, or the local movement of the video signal of the input image
  • the difference in complexity may be quantified as a parameter to set a small size for a picture with large motion, while setting a large size for a picture with small movement.
  • the method of determining the upper limit of the number of divided layers for example, according to the resolution of the video signal of the input image, the method of determining the same number of layers for all pictures or when the motion of the video signal of the input image is severe There is a method of setting the number of layers deeper and setting so as to detect finer movement, and setting the number of layers smaller if the movement is small.
  • the size of the largest coding block and the upper limit of the number of layers into which the largest coding block is hierarchically divided may be coded in a sequence level header or the like, and the color image decoding device side is the same without coding. The determination process may be performed.
  • the code amount of header information increases, but the color image decoding device does not need to perform the above determination processing, so the processing load of the color image decoding device can be suppressed and the color image encoding device is optimal. Value can be searched and sent.
  • the color image decoding apparatus since the color image decoding apparatus performs the above-described determination processing, the processing load of the color image decoding apparatus increases, but the code amount of the header information does not increase.
  • the minimum block size of the encoded block May be encoded.
  • the size of the block when dividing the largest coding block up to the upper limit of the number of division layers is the minimum block size of the coding block
  • the size of the largest coding block and the coding block in the color image decoding apparatus The upper limit of the number of division layers can be specified from the minimum block size of.
  • the coding control unit 2 selects a coding mode corresponding to each coding block divided hierarchically from the available one or more coding modes (step ST2). That is, the coding control unit 2 divides the image area of the maximum coding block size hierarchically into coding blocks having coding block sizes until reaching the upper limit of the number of division layers determined previously. Determine the coding mode for each coding block. There are one or more intra coding modes (collectively referred to as "INTRA") and one or more inter coding modes (collectively referred to as "INTER”) as coding modes. The coding control unit 2 selects a coding mode corresponding to each coding block from all coding modes available for the picture or a subset thereof.
  • each coding block hierarchically divided by the block division unit 1 described later is further divided into one or more prediction blocks, which are units for performing prediction processing, and the division state of the prediction block is also the coding mode Contained as information. That is, the coding mode is an index for identifying what kind of prediction block division the intra or inter coding mode has.
  • the method of selecting the coding mode by the coding control unit 2 is a known technique, the detailed description is omitted, but, for example, the coding process for the coding block is performed using any available coding mode. There is a method of implementing to verify the coding efficiency, and selecting a coding mode with the highest coding efficiency among a plurality of available coding modes.
  • the encoding control unit 2 is used when performing prediction processing while determining the quantization parameter and transform block division state to be used when the differential image is compressed for each of the encoding blocks.
  • Determine prediction parameters intra prediction parameters or inter prediction parameters.
  • prediction parameters are selected for each prediction block.
  • FIG. 20 is an explanatory view showing a conversion block size when performing compression processing (conversion processing, quantization processing) of the luminance signal and the color difference signal in the signal of 4: 2: 0 format.
  • the transform block size is determined by hierarchically dividing the coding block into quadtrees as shown in FIG. For example, whether or not to divide the transform block so as to minimize the evaluation value based on the code amount in the case of dividing the transform block and in the case of not dividing the transform block, the evaluation scale including the coding error, etc.
  • the coding block is hierarchically divided into one or more square transformation blocks.
  • the coding block is hierarchically divided into one or more square conversion blocks, like the luminance signal.
  • the conversion block size of the chrominance signal is half the size in the vertical and horizontal directions of the corresponding luminance signal conversion block.
  • the input signal format is a YUV 4: 2: 2 signal
  • the same quadrilateral tree division as the luminance signal is performed.
  • the shape of the divided block is a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction
  • YUV 4: 2: 0 signal is further divided by dividing the divided block into upper and lower parts.
  • the color difference signal is composed of two conversion blocks of the same block size (half the size of the conversion block of the luminance signal in both the vertical and horizontal directions).
  • the color difference signal conversion block when the input signal format is YUV 4: 4: 4, the color difference signal conversion block always performs the same division as the luminance signal conversion block and becomes the conversion block of the same size. Configure as.
  • the coding control unit 2 is predictive difference coding including transformation block division information indicating division information of a transformation block in a coding block, and a quantization parameter defining a quantization step size at the time of quantization of transformation coefficients.
  • the parameters are output to the transform / quantization unit 7, the inverse quantization / inverse transform unit 8, and the variable-length coding unit 13.
  • the coding control unit 2 outputs the intra prediction parameter to the intra prediction unit 4 as needed.
  • the coding control unit 2 outputs the inter prediction parameter to the motion compensation prediction unit 5 as necessary.
  • the slice division unit 14 divides the input image into slices which are one or more partial images according to the slice division information determined by the encoding control unit 2.
  • the block division unit 1 divides the slice into the maximum coding block size determined by the coding control unit 2 every time each slice is input from the slice division unit 14, and further divides the largest coding block into a code
  • the coding block is hierarchically divided into coding blocks determined by the quantization control unit 2, and the coding block is output.
  • FIG. 5 is an explanatory view showing an example in which the largest coding block is hierarchically divided into a plurality of coding blocks.
  • the largest coding block is a coding block in which the luminance component described as "the 0th layer" has a size of (L 0 , M 0 ).
  • the coding block is obtained by hierarchically dividing up to a predetermined depth separately defined in the quadtree structure.
  • the coding block is an image area of size (L n , M n ).
  • the coding block size determined by the coding control unit 2 is defined as the size (L n , M n ) of the luminance component of the coding block.
  • (L n + 1 , M n + 1 ) (L n / 2, M n / 2) always holds.
  • the size of all color components is (L n , M n ), but 4: 2
  • the coding block size of the corresponding chrominance component is (L n / 2, M n / 2).
  • the coding block of the n hierarchy expressed in B n denote the encoding modes selectable by the coding block B n with m (B n).
  • the encoding mode m (B n ) may be configured to use an individual mode for each color component, or may be common to all color components. It may be configured to use the mode. The following description will be made on the assumption that the coding mode for the luminance component of the YUV signal and the coding block of the 4: 2: 0 format is indicated unless otherwise specified.
  • the coding block B n is divided by the block division unit 1 into one or more prediction blocks representing prediction processing units. Thereafter, a prediction block belonging to the coding block B n P i n (i is the predicted block number in the n layer) is denoted as.
  • FIG. 5 shows an example of P 0 0 and P 1 0 .
  • How the prediction block in the coding block B n is divided is included as information in the coding mode m (B n ).
  • Prediction block P i n is that although prediction process all according to the coding mode m (B n) is performed, which for each predicted block P i n, select individual prediction parameters (intra prediction parameters or inter prediction parameter) it can.
  • the coding control unit 2 generates, for example, a block division state as shown in FIG. 6 for the largest coding block, and specifies the coding block.
  • a rectangle surrounded by a dotted line in FIG. 6A represents each coding block, and a hatched block in each coding block represents a division state of each prediction block.
  • FIG. 6B shows a quadtree graph showing the situation where the coding mode m (B n ) is assigned by hierarchical division, in the example of FIG. 6A.
  • the nodes enclosed by ⁇ in FIG. 6B are nodes (coding blocks) to which a coding mode m (B n ) is assigned.
  • the information of this quadtree graph is output from the encoding control unit 2 to the variable length encoding unit 13 together with the encoding mode m (B n ) and multiplexed into a bit stream.
  • the changeover switch 3 is output from the block division unit 1 when the coding mode m (B n ) determined by the coding control unit 2 is the intra coding mode (when m (B n ) ⁇ ⁇ ⁇ ⁇ INTRA).
  • the coding block B n is output to the intra prediction unit 4.
  • the coding mode m (B n ) determined by the coding control unit 2 is the inter coding mode (m (B n ) ⁇ INTER)
  • the coding block output from the block division unit 1 It outputs B n to the motion compensation prediction unit 5.
  • the intra prediction unit 4 determines that the coding mode m (B n ) determined by the coding control unit 2 is the intra coding mode (in the case where m (B n ) ⁇ INTRA), and the switch 3
  • the switch 3 When receiving the n (step ST3), with reference to the local decoded image stored in the intra-prediction memory 10, using the intra prediction parameters determined by the coding control unit 2, the encoding block B n and implementing intra prediction process for each of the prediction block P i n in, it generates an intra prediction image P INTRAi n (step ST4).
  • the process of generating the intra prediction image is the prediction used for the prediction process It must always be performed on a per transform block basis so that the pixels adjacent to the target block are already encoded. Therefore, in the coding block in which the coding mode is the intra coding mode, the block size of the selectable transform block is limited to the size of the prediction block or less, and the transform block is smaller than the prediction block (within the prediction block) (In the case where there are a plurality of transform blocks), the intra-prediction process using the intra-prediction parameters defined in the prediction block is performed on a transform block basis to generate an intra-predicted image.
  • intra prediction parameters used for generating the intra prediction image P INTRAi n is from encoding control unit 2 It is output to the variable-length coding unit 13 and multiplexed into a bit stream. Details of the processing content of the intra prediction unit 4 will be described later.
  • the motion compensation prediction unit 5 determines that the coding mode m (B n ) determined by the coding control unit 2 is the inter coding mode (when m (B n ) ⁇ INTER), and the switching block 3 starts the coding block.
  • the motion vector by comparing the locally decoded image after the filtering process stored in the prediction block P i n and the motion compensated prediction frame memory 12 of the encoding block B n I searched, using inter prediction parameters determined by the motion vector and the encoding control unit 2, implemented inter prediction processing for each of the prediction block P i n in the encoding block B n, the inter prediction image P generating a INTERi n (step ST5).
  • inter prediction parameters used for generating the inter prediction image P INTERi n is from encoding control unit 2 It is output to the variable-length coding unit 13 and multiplexed into a bit stream.
  • the motion vector searched by the motion compensation prediction unit 5 is also output to the variable length coding unit 13 and multiplexed into a bit stream.
  • Subtraction unit 6 upon receiving the encoded block B n from the block dividing unit 1 from its prediction block P i n the coded block B n, the intra prediction image P INTRAi n generated by the intra prediction unit 4 or, , by subtracting one of the inter prediction image P INTERi n generated by the motion compensation prediction unit 5, and outputs the prediction difference signal e i n representing a difference image is the subtraction result to the transform and quantization unit 7 (Step ST6).
  • Transform and quantization unit 7 when the subtraction unit 6 receives the prediction difference signal e i n, with reference to the conversion block division information included in the predictive differential coding parameters determined by the coding control unit 2, the prediction orthogonal transform processing with respect to the difference signal e i n (e.g., DCT (discrete cosine transform) or DST (discrete sine transform), the orthogonal transform for KL conversion and the base design have been made in advance to the particular learning sequence) to transform Implemented in block units to calculate transform coefficients.
  • the transform / quantization unit 7 quantizes the transform coefficient in units of transform blocks with reference to the quantization parameter included in the predictive difference encoding parameter, and inverts the compressed data which is the transform coefficient after quantization.
  • the quantization / inverse transform unit 8 and the variable-length coding unit 13 are output (step ST7). At this time, the quantization process may be performed using a quantization matrix that scales the quantization step size calculated from the quantization parameter for each transform coefficient.
  • the quantization matrix can use an independent matrix for each color signal or coding mode (intra coding or inter coding) at each orthogonal transform size, and as an initial value, a color image coding apparatus and In the color image decoding apparatus, it is possible to select whether to select from among a quantization matrix prepared in advance in common or a quantization matrix that has already been encoded, or to use a new quantization matrix. Therefore, the transformation / quantization unit 7 sets flag information indicating whether or not to use a new quantization matrix for each color signal and coding mode for each orthogonal transformation size as a quantization matrix parameter to be encoded. . Furthermore, when using a new quantization matrix, each scaling value of the quantization matrix as shown in FIG.
  • the transform / quantization unit 7 outputs the set quantization matrix parameter to the variable-length coding unit 13.
  • the inverse quantization / inverse transform unit 8 When the inverse quantization / inverse transform unit 8 receives the compressed data from the transform / quantization unit 7, the inverse quantization / inverse transform unit 8 refers to the quantization parameter and transform block division information included in the prediction differential encoding parameter determined by the encoding control unit 2. Then, the compressed data is dequantized in units of transform blocks.
  • the transformation / quantization unit 7 uses a quantization matrix for the quantization process, the corresponding inverse quantization process is performed with reference to the quantization matrix also at the time of the inverse quantization process.
  • the inverse quantization / inverse transform unit 8 performs inverse orthogonal transformation processing (for example, inverse DCT, inverse DST, inverse KL transformation, etc.) on transform coefficients that are compressed data after inverse quantization in units of transform blocks. calculates a local decoded prediction difference signal corresponding to the prediction difference signal e i n output from the subtraction unit 6 and outputs the result to adding section 9 (step ST8).
  • inverse orthogonal transformation processing for example, inverse DCT, inverse DST, inverse KL transformation, etc.
  • Adding unit 9 from the inverse quantization and inverse transform unit 8 receives the local decoded prediction difference signal, and the local decoded prediction difference signal or intra prediction image P INTRAi n, generated by the intra prediction unit 4, motion compensation by adding one of the inter prediction image P INTERi n generated by the prediction unit 5 calculates a local decoded image (step ST9).
  • the addition unit 9 outputs the local decoded image to the loop filter unit 11 and stores the local decoded image in the intra prediction memory 10. This local decoded image becomes an encoded image signal used in the subsequent intra prediction processing.
  • the loop filter unit 11 When receiving the locally decoded image from the adding unit 9, the loop filter unit 11 performs predetermined filter processing on the locally decoded image, and stores the locally decoded image after the filter processing in the motion compensation prediction frame memory 12 To do (step ST10).
  • filter deblocking filter
  • processing for reducing distortion generated at boundaries of transform blocks and boundaries of prediction blocks processing for adaptively adding an offset on a pixel basis (pixel adaptive offset) processing, Wiener filter, etc. It performs adaptive filter processing etc. which adaptively switches and filters a linear filter.
  • the loop filter unit 11 determines whether or not to perform processing for each of the above deblocking filter processing, pixel adaptive offset processing, and adaptive filter processing, and sets the valid flag of each processing to a part of the sequence level header and It is output to the variable-length coding unit 13 as part of the slice level header.
  • each filter processing is implemented in order.
  • FIG. 11 shows a configuration example of the loop filter unit 11 in the case of using a plurality of filter processes.
  • the more types of filtering that are commonly used the better the image quality, but the higher the processing load. That is, the image quality and the processing load are in a trade-off relationship.
  • the image quality improvement effect of each filtering process differs depending on the characteristics of the filtering target image. Therefore, the filtering process to be used may be determined according to the processing load permitted by the color image coding apparatus and the characteristics of the image to be coded.
  • the parameter is output to the variable-length coding unit 13 as header information.
  • the image is divided into a plurality of blocks, and even if the offset processing is not performed for each block, a plurality of classifications prepared in advance are defined as one of the classification methods. From among the methods, select one classification method. Next, each pixel in the block is classified according to the selected classification method, and an offset value for compensating for coding distortion is calculated for each class. Finally, the image quality of the locally decoded image is improved by performing processing of adding the offset value to the luminance value of the locally decoded image.
  • a method (called a BO method) of classifying according to the size of the luminance value of the local decoded image, or classification according to the circumstances (such as whether or not it is an edge part) of each pixel for each direction of the edge Method (referred to as EO method).
  • BO method a method of classifying according to the size of the luminance value of the local decoded image, or classification according to the circumstances (such as whether or not it is an edge part) of each pixel for each direction of the edge Method
  • EO method edge Method
  • block division information, an index indicating a block classification method, and offset information in block units are output to the variable-length coding unit 13 as header information.
  • the division method may be always divided into fixed size block units such as a maximum coding block, the class classification method may be selected for each block, and the adaptive offset processing for each class may be performed.
  • the block division information is unnecessary, the code amount is reduced by the amount of code required for the block division information, and the coding efficiency can be improved.
  • a locally decoded image is classified by a predetermined method, and a filter that compensates for the superimposed distortion is designed for each region (locally decoded image) belonging to each class, and the filter is used. , Filter the local decoded image. Then, the filter designed for each class is output to the variable-length coding unit 13 as header information.
  • a class classification method there are a simple method of spatially dividing an image at equal intervals, and a method of classifying a block unit in accordance with local characteristics (such as dispersion) of the image.
  • the number of classes used in the adaptive filter processing may be set in advance to a common value in the color image coding apparatus and the color image decoding apparatus, or may be one of the parameters to be coded. Compared with the former, the latter can freely set the number of classes to be used, thereby improving the image quality improvement effect, while increasing the code amount for encoding the number of classes Do.
  • steps ST3 to ST9 is repeatedly performed until the processing for all the coding blocks B n hierarchically divided is completed, and when the processing for all the coding blocks B n is completed, the processing proceeds to step ST13. (Steps ST11 and ST12).
  • the variable-length coding unit 13 takes the compressed data output from the transform / quantization unit 7 and the block division information in the maximum coding block output from the coding control unit 2 (FIG. 6B as an example).
  • Quadtree information coding mode m (B n ) and prediction differential coding parameter, intra prediction parameter (if coding mode is intra coding mode) output from the coding control unit 2 or inter prediction
  • the variable length coding is performed on the parameters (when the coding mode is the inter coding mode) and the motion vector (when the coding mode is the inter coding mode) output from the motion compensation prediction unit 5, and those codes Coded data indicating the coding result is generated (step ST13).
  • the transform block is further divided into blocks (coding subblocks) of 4 ⁇ 4 pixel units called Coefficient Group (CG)
  • CG Coefficient Group
  • FIG. 15 shows the coding order (scan order) of the coefficients in the 16 ⁇ 16 pixel conversion block.
  • 16 CGs in 4 ⁇ 4 pixel units are encoded sequentially from the lower right CG, and each CG encodes 16 coefficients in the CG sequentially from the lower right coefficients.
  • the coefficients after orthogonal transformation represent lower coefficients of lower frequency components as the upper left is closer to the upper left, including the DC component located at the upper left. Therefore, as shown in FIG. Since a large number of (non-zero) coefficients are generated, encoding can be efficiently performed by sequentially encoding from the lower right as shown in FIG.
  • the code block of CG (coding sub-block) is also used in a block size other than 16 ⁇ 16 pixels, such as a conversion block of 8 ⁇ 8 pixels or 32 ⁇ 32 pixels. Shall be implemented.
  • variable-length coding unit 13 codes a sequence level header and a picture level header as header information of a coded bit stream, and generates a coded bit stream together with picture data.
  • picture data is composed of one or more slice data, and each slice data is a combination of a slice level header and the above-mentioned encoded data in the slice.
  • the sequence level header includes image size, color signal format, bit depth of signal value of luminance signal and color difference signal, each filter processing in loop filter unit 11 in sequence unit (adaptive filter processing, pixel adaptive offset processing, deblocking filter processing
  • header information that is common to each sequence unit is collected, such as the valid flag information of (1), the valid flag information of the quantization matrix, and the flag indicating whether or not field coding is performed.
  • the picture level header is a collection of header information set in units of pictures, such as an index of a sequence level header to be referred to, the number of reference pictures at the time of motion compensation, and a probability table initialization flag for entropy coding.
  • the slice level header is position information indicating where in the picture the slice is located, an index indicating which picture level header is to be referenced, slice coding type (all intra coding, inter coding etc.), loop
  • the parameters in units of slices such as flag information indicating whether or not each filter process (adaptive filter process, pixel adaptive offset process, deblocking filter process) in the filter unit 11 is performed, are summarized.
  • Intra prediction unit 4 as described above, with reference to the intra prediction parameters of the prediction block P i n, to implement intra prediction processing for the prediction block P i n, but to generate an intra prediction image P INTRAi n , will be described here intra process for generating an intra prediction image predicted block P i n in the luminance signal.
  • Figure 7 is an explanatory diagram showing an example of the prediction block P i n-selectable intra prediction modes for intra-coded blocks B n, and the index value of the intra prediction mode, the prediction direction vector indicated by the intra-prediction mode It shows.
  • the index value in the intra prediction mode indicates an intra prediction parameter.
  • the number of intra prediction modes may be configured to be different depending on the size of the block to be processed. Since the efficiency of intra prediction decreases for large size blocks, the number of selectable intra prediction directions is reduced, and for small size blocks, the number of selectable intra prediction directions is increased to reduce the amount of computation. can do.
  • the encoded pixels (2 ⁇ 1 i n + 1) on the predicted image generation block and the left encoded pixels (2 ⁇ m i n ) are used as the pixels for prediction.
  • the number of pixels used for prediction may be more or less than the pixels shown in FIG. Further, in FIG. 8, pixels in one row or one column in the vicinity of the predicted image generation block are used for prediction, but pixels in two rows or two columns or more may be used for prediction.
  • the index value of the intra prediction mode for prediction block P i n that the predicted image generation block belongs is 0 (plane (Planar) prediction) includes a coded pixels adjacent to the top of the predicted image generation block, the predicted image generation By using encoded pixels adjacent to the left of the block, a predicted image is generated with a value interpolated according to the distance between these pixels and the pixel to be predicted in the predicted image generation block as a predicted value.
  • the index value of the intra prediction mode for prediction block P i n that the predicted image generation block belongs is 1 (average value (DC) prediction) includes a coded pixels adjacent to the top of the predicted image generation block
  • the predicted image is generated using the average value of the encoded pixels adjacent to the left of the generated block as the predicted value of the pixels in the predicted image generation block.
  • filter processing for smoothing block boundaries is performed on regions A, B, and C in FIG. 17 positioned at the upper end and the left end of the predicted image generation block to obtain a final predicted image. For example, filter processing is performed using the following filter coefficients in the reference pixel arrangement of the filter of FIG. 18 according to the following equation (1).
  • a pixel S '(p 0 ) is a predicted value after filtering in the filtering target pixel p 0
  • the block size of the predicted image generation block on which the above-mentioned filter processing is performed may be limited.
  • filtering is performed only at the block end to change the prediction value
  • prediction residuals generated by the change The change of the difference signal is represented by a very high frequency component, and there is a tendency to cause deterioration of coding efficiency to encode this high frequency component.
  • by giving priority to coding efficiency and not coding this high frequency component there is a tendency for distortion to occur at the block boundary without being able to restore the change in the prediction residual signal at the block end. .
  • the change in the prediction residual signal caused by the change in the predicted value is as in the block with a large block size.
  • the residual signal can be appropriately encoded without being represented by a high frequency component, and the quality of the decoded image can be improved by the improvement of the block boundary continuity by this filtering process. Therefore, for example, in a predicted image generation block having a block size of 32 ⁇ 32 pixels or more, the conventional filter value is applied by applying the above-mentioned filter processing only to blocks smaller than 32 ⁇ 32 pixels without applying the above-mentioned filter processing. While improving the prediction performance more than prediction, it is possible to suppress an increase in the amount of computation.
  • the block size of the predicted image generation block to be subjected to the above-mentioned filter processing may be limited according to the conversion block size.
  • the above filter processing is applied only to blocks smaller than max (16, MaxTUsize) without applying the above filter processing.
  • the maximum conversion block size to be obtained is shown, and "16" indicates a predetermined block size (16 ⁇ 16 pixels).
  • max (16, 32) 32, and the above filter process is not applied only to the 32 ⁇ 32 pixel block, and the above filter process is applied to the 16 ⁇ 16 pixel, 8 ⁇ 8 pixel, 4 ⁇ 4 pixel block Conduct.
  • MaxTUsize 16 ⁇ 16 pixels
  • MaxTUsize 8 ⁇ 8 pixels
  • MaxTUsize 8 where there is no block of 16 ⁇ 16 pixels
  • the above-mentioned filter processing is performed on all blocks of pixels (8 ⁇ 8, 4 ⁇ 4).
  • MaxTUsize 4
  • max (16, 4) 16
  • the above-mentioned filter processing is not applied only to the block of 16 ⁇ 16 pixels, and the above is applied to the block of 8 ⁇ 8 pixels and 4 ⁇ 4 pixels. Since filtering is to be performed, if MaxTUsize is 4 and there is only a 4 ⁇ 4 pixel block, the filtering is performed on all pixel blocks (4 ⁇ 4). In this way, in general, when performing high-efficiency encoding, for example, in a flat area such as "empty”, orthogonal transformation processing of the largest possible size is performed. The conversion process is performed using the block size MaxTUsize,.
  • the sequence level header has a flag indicating whether or not field encoding is performed, and when the above flag is valid, as shown in FIG. 19, the upper end of the predicted image generation block is not filtered.
  • field coding since the correlation between pixels in the vertical direction is low, filtering at the upper end of the predicted image generation block may deteriorate prediction efficiency. Therefore, by performing the filtering process only on the areas A and C and not performing the filtering process on the area B, it is possible to reduce the amount of calculation while suppressing the decrease in the prediction efficiency.
  • the filter processing may be performed not only on the area A but also on the area C.
  • the prediction calculates the prediction value of the pixel of the predicted image generation block according to the following formula (2) Generate an image.
  • coordinates (x, y) are relative coordinates (refer to FIG. 9) having the upper left pixel in the predicted image generation block as an origin
  • S ′ (x, y) is a predicted value at coordinates (x, y)
  • S (x, y) is the luminance value (decoded luminance value) of the coded pixel at coordinates (x, y).
  • the calculated predicted value exceeds the range of possible values of the luminance value, the value is rounded so that the predicted value falls within the range.
  • the equation in the first line of Equation (2) corresponds to MPEG-4 AVC / H.
  • the variation S (-1, y) -S (-1, -1) of the luminance value of the adjacent encoded pixel in the vertical direction By adding the value of 1 ⁇ 2) to 1 ⁇ 2, it means that the filter processing is performed so that the block boundary is smoothed as the predicted value, and the second line of the equation (2) is , MPEG-4 AVC / H. 21 shows the same prediction formula as the vertical prediction in H.264.
  • the prediction calculates the prediction value of the pixel of the predicted image generation block according to the following formula (3) Generate an image.
  • coordinates (x, y) are relative coordinates (refer to FIG. 9) having the upper left pixel in the predicted image generation block as an origin
  • S ′ (x, y) is a predicted value at coordinates (x, y)
  • S (x, y) is the luminance value (decoded luminance value) of the coded pixel at coordinates (x, y).
  • the calculated predicted value exceeds the range of possible values of the luminance value, the value is rounded so that the predicted value falls within the range.
  • the equation in the first line of Equation (3) corresponds to MPEG-4 AVC / H.
  • the variation S (x, ⁇ 1) ⁇ S ( ⁇ 1, ⁇ 1) of the brightness value in the horizontal direction of the adjacent coded pixel By adding the value of 1 ⁇ 2) to 1 ⁇ 2, it means that the filter processing is performed so that the block boundary is smoothed as the predicted value, and the second line of the equation (3) is , MPEG-4 AVC / H. 26 shows the same prediction formula as the horizontal prediction in H.264.
  • the block size of the predicted image generation block may be limited, in which the vertical prediction of Expression (2) and the horizontal prediction of Expression (3) are performed.
  • the filter at the block end of the prediction image generation block Since the proportion of the area where the predicted value changes due to the process is small, the change of the predicted residual signal caused by the change of the predicted value is represented by a very high frequency component, and this high frequency component is There is a tendency to cause deterioration of coding efficiency to Also, by giving priority to coding efficiency and not coding this high frequency component, there is a tendency for distortion at the block boundary to occur because the change in the prediction residual signal at the block end can not be restored.
  • the conventional vertical processing is performed. While improving the prediction performance over directional prediction and horizontal prediction, it is possible to suppress an increase in the amount of computation.
  • the block size of the predicted image generation block to be subjected to the vertical direction prediction of Equation (2) and the horizontal direction prediction of Equation (3) may be limited according to the conversion block size.
  • the equations in the second line of Equation (2) and Equation (3) are always used regardless of the coordinates of the prediction target pixel (2) and (3) which apply the above-mentioned filter processing only to a block smaller than max (16, MaxTUsize).
  • the conversion block size of is indicated by “16”, which indicates a predetermined block size (16 ⁇ 16 pixels).
  • MaxTUsize 32
  • max (16, 32) 32 and the above filter process is not applied to blocks of 32 x 32 pixels, and the above filter process is applied to blocks of 16 x 16 pixels, 8 x 8 pixels, 4 x 4 pixels. carry out.
  • MaxTUsize 16 ⁇ 16 pixels
  • MaxTUsize 8 ⁇ 8 pixels
  • MaxTUsize 8 where there is no block of 16 ⁇ 16 pixels
  • the above-mentioned filter processing is performed on all blocks of pixels (8 ⁇ 8, 4 ⁇ 4).
  • MaxTUsize 4
  • max (16, 4) 16
  • the above-mentioned filter processing is not applied only to the block of 16 ⁇ 16 pixels, and the above is applied to the block of 8 ⁇ 8 pixels and 4 ⁇ 4 pixels. Since filtering is to be performed, if MaxTUsize is 4 and there is only a 4 ⁇ 4 pixel block, the filtering is performed on all pixel blocks (4 ⁇ 4). In this way, in general, when performing high-efficiency encoding, for example, in a flat area such as "empty”, orthogonal transformation processing of the largest possible size is performed. The conversion process is performed using the MaxTUsize block size.
  • the sequence level header has a flag indicating whether or not field coding is performed, and when the above flag is valid, horizontal prediction uses equation (4) instead of equation (3). That is, as shown in FIG. 19, filter processing is not performed on the upper end of the predicted image generation block (in the case of average value prediction and vertical direction prediction, filter processing is performed only on the left end of the predicted image generation block, No filtering is performed in the case of horizontal prediction).
  • the prediction efficiency may be deteriorated by enhancing the continuity of the block boundary by the filtering process at the upper end of the predicted image generation block. Therefore, the calculation amount can be reduced while suppressing the decrease in the prediction efficiency by not performing the above-mentioned filter processing.
  • a flag indicating whether or not field coding of the sequence level header is prepared in the picture level header, and a predicted image of average value (DC) prediction and horizontal direction prediction according to the correlation between pixels in the vertical direction of each picture.
  • the filter processing at the upper end of the generation block may be switched ON / OFF. By doing so, adaptive control in units of pictures can be realized, and prediction efficiency can be improved.
  • the filter processing of the upper end of the predicted image generation block is switched ON / OFF based on the flag indicating whether or not field coding of the sequence level header or the picture level header.
  • a flag indicating whether or not to perform this switching process separately from the flag indicating whether or not field encoding of the level header or picture level header is defined, and a predicted image based on the flag indicating whether or not to perform this switching process You may make it switch ON / OFF of the filter process of the production
  • the switching of the encoding order described above and the switching of the filtering process are separately described, but these may be combined and set.
  • the prediction direction vector ( p indicated by the index value Based on dx, dy)
  • the predicted value of the pixel in the predicted image generation block is generated.
  • the relative coordinate in the predicted image generation block is set as (x, y) with the upper left pixel of the predicted image generation block as the origin, the position of the reference pixel used for prediction is adjacent to L described below. It becomes the intersection of the pixels.
  • k is a negative real number.
  • the interpolated pixel generated from the integer pixel adjacent to the reference pixel is Make it a forecast value.
  • a value interpolated from two pixels adjacent to the reference pixel is used as a predicted value. Note that interpolation pixels may be generated not only from adjacent two pixels but also from adjacent two or more pixels as prediction values.
  • the processing described above to generate a predicted pixel for all the pixels of the luminance signals of the prediction block P i n in the predicted image generation block, and outputs an intra prediction image P INTRAi n.
  • the intra prediction parameters used for generating the intra prediction image P INTRAi n is output to the variable length coding unit 13 for multiplexing the bitstream.
  • the intra prediction unit 4 predicts the reference pixels when generating the predicted image of the predicted image generation block, Even when the encoded pixel adjacent to the image generation block is configured to be the smoothed pixel, the filtering process can be performed on the predicted image similar to the above-described example. By doing this, the noise of the reference pixel due to the filtering process on the reference pixel is removed, and the prediction accuracy can be improved by performing prediction using this.
  • the filtering process on the reference pixels may be performed only in the prediction other than the average value prediction, the vertical direction prediction, and the horizontal direction prediction in which the filtering process on the prediction image is performed. By doing this, it is only necessary to perform at most one filtering process for each prediction mode, and it is possible to suppress an increase in the amount of computation.
  • the prediction image for the color difference component is generated as follows.
  • the color difference signal of the prediction block P i n conduct intra prediction processing based on the intra prediction parameter of the color difference signal (intra prediction mode), the variable length coding unit intra prediction parameter used to generate the intra-prediction image Output to 13.
  • FIG. 23 is an explanatory view showing a correspondence example of the intra prediction parameter (index value) of the color difference signal and the color difference intra prediction mode.
  • the intra prediction parameter of the chrominance signal indicates that the same prediction mode as the intra prediction mode for the luminance signal is used (intra prediction parameter indicates the luminance / chroma common intra prediction mode (DM mode))
  • the luminance signal And perform the same intra-frame prediction to generate a predicted image of the chrominance signal.
  • the intra prediction parameter of the chrominance signal indicates the vertical prediction mode or the horizontal prediction mode
  • directional prediction is performed on the chrominance signal to generate a predicted image of the chrominance signal.
  • the intra prediction parameter of the color difference signal indicates the brightness correlation use color difference signal prediction mode (LM mode)
  • LM mode brightness correlation use color difference signal prediction mode
  • the signal is used to calculate a correlation parameter indicating the correlation between the luminance signal and the color difference signal, and a predicted image of the color difference signal is generated using the correlation parameter and the luminance signal corresponding to the block of the color difference signal to be predicted.
  • the processing of the DM mode or the LM mode may be performed, and the other prediction modes may not be selected.
  • the intra prediction mode of the color difference signal is prohibited by prohibiting application of a prediction mode different from the luminance signal to the color difference signal. The amount of information can be reduced to enhance the coding efficiency.
  • the color difference signal may be configured to be able to select a directionality prediction mode different from the luminance signal.
  • the input signal format is YUV 4: 2: 2, as shown in FIG. 27, if the luminance signal is a square block, the color difference signal has 1/2 the number of pixels in the horizontal direction compared to the luminance signal. Becomes a rectangular block. Therefore, as shown in FIG. 28, when the YUV4: 4: 4 signal is converted to the YUV4: 2: 2 signal, in order to predict the same direction for the luminance signal and the color difference signal, YUV4: 2 is used. On two signals, in the case of directional prediction other than vertical direction prediction and horizontal direction prediction, the prediction direction of the color difference signal is different from the prediction direction of the luminance signal. Specifically, as shown in FIG.
  • FIG. 31 shows an example of conversion of the intra prediction mode index in the intra prediction mode of FIG.
  • an index conversion table may be prepared, and the index may be converted by referring to the conversion table, or a conversion equation is prepared according to the conversion equation. It may be configured to convert the index.
  • the LM mode may not be performed on the color difference signal.
  • FIG. 24 is given as an example of correspondence between the intra prediction parameter (index value) of the chrominance signal and the chrominance intra prediction mode at this time. Since the dependency between the luminance signal and the color difference signal of the pixel to be predicted is eliminated by not using the LM mode in this way, the prediction processing of the luminance signal and the color difference signal can be parallelized, and high-speed arithmetic processing can be performed. It can be realized.
  • variable length decoding unit 31 performs variable length decoding processing on the bitstream (step ST21 of FIG. 4),
  • variable-length decoding unit 31 performs variable-length decoding of the quantization matrix parameter to specify the quantization matrix. Specifically, for each color signal of each orthogonal transformation size and the encoding mode, a quantization matrix parameter is used as an initial value, and a quantization matrix prepared in advance in common by the color image encoding device and the color image decoding device.
  • index information specifying which quantization matrix in the above matrix is included in the quantization matrix parameter
  • the quantization matrix is identified by reference, and when the quantization matrix parameter indicates that a new quantization matrix is used, it is identified as a quantization matrix using the quantization matrix included in the quantization matrix parameter.
  • header information slice level header
  • slice division information is decoded from slice data forming data in units of pictures, and encoded data of each slice is decoded.
  • variable length decoding unit 31 determines the maximum coding block size and the upper limit of the number of divided layers determined by the coding control unit 2 of the color image coding apparatus of FIG. 1 in the same procedure as the color image coding apparatus. (Step ST22). For example, when the upper limit of the maximum coding block size and the number of division layers is determined according to the resolution of the video signal, the maximum coding is performed in the same procedure as the color image coding apparatus based on the decoded frame size information. Determine the block size. When the upper limit of the maximum coding block size and the number of division layers is multiplexed in the sequence level header or the like on the color image coding apparatus side, the value decoded from the header is used.
  • the upper limit of the number of divided layers is determined by decoding this. That is, when the largest coding block is divided up to the above-mentioned minimum block size, it becomes the upper limit of the number of division hierarchies.
  • the variable-length decoding unit 31 decodes the division state of the largest coding block as shown in FIG. 6 in units of the determined largest coding block. Based on the decoded division state, a coding block is specified hierarchically (step ST23).
  • variable-length decoding unit 31 decodes the coding mode assigned to the coding block. Based on the information included in the decoded coding mode, the coding block is further divided into prediction blocks which are one or more prediction processing units, and the prediction parameters assigned to each prediction block are decoded (step ST24). .
  • the variable-length decoding unit 31 is included in the coding block, and for each of one or more prediction blocks serving as a prediction processing unit Decode intra prediction parameters into.
  • the coding mode assigned to the coding block is the inter coding mode, it is included in the coding block, and the inter prediction parameter and motion vector for each of one or more prediction blocks serving as a prediction processing unit Are decoded (step ST24).
  • variable-length decoding unit 31 decodes the compressed data (conversion coefficients after conversion / quantization) for each conversion block based on the conversion block division information included in the prediction differential encoding parameter (step ST24). At that time, decoding processing of coefficients in CG units is performed as in the coding processing of compressed data in the variable-length coding unit 13 of the color image coding apparatus of FIG. Therefore, as shown in FIG. 15, 16 CG in units of 4 ⁇ 4 pixels are decoded sequentially from the CG on the lower right, and further each CG decodes 16 coefficients in CG in order from the lower right coefficient It will be done.
  • flag information indicating whether a significant (non-zero) coefficient exists in 16 coefficients in CG is decoded, and then the decoded flag information is significant (non-zero) in CG ) Decode in the above order whether each coefficient in CG is a significant (nonzero) coefficient only when it indicates that there is a coefficient, and the coefficient value information for the coefficient showing a significant (nonzero) coefficient at the end Decrypt in order. This is performed in the above order in CG units.
  • variable-length decoding unit 31 If the coding mode m (B n ) variable-length decoded by the variable-length decoding unit 31 is the intra coding mode (if m (B n ) ⁇ INTRA), the change-over switch 33 operates the variable-length decoding unit 31 The intra prediction parameter of the prediction block unit which has been variable-length decoded is output to the intra prediction unit 34. On the other hand, if the coding mode m (B n ) variable-length decoded by the variable-length decoding unit 31 is the inter coding mode (if m (B n ) ⁇ INTER), then the variable-length decoding unit 31 performs variable-length decoding The motion prediction unit 35 outputs the predicted block unit inter prediction parameter and motion vector to the motion compensation unit 35.
  • the intra prediction unit 34 switches the switch 33.
  • the average value (DC) is the same as in the color image coding apparatus of FIG. 2.
  • the color image coding apparatus of FIG. 1 when a flag indicating whether or not field coding of the sequence level header is provided in the picture level header, a flag indicating whether or not field coding of the picture level header is indicated.
  • the filter processing of the upper end of the predicted image generation block of the average value (DC) prediction and the horizontal direction prediction is switched ON / OFF in units of pictures according to the value of. By doing this, it is possible to generate the same predicted image as the stream generated by the color image coding apparatus of FIG. 1 configured as described above.
  • the intra prediction unit 34 performs, for the luminance signal, intra prediction processing (intra-frame prediction processing) using the above-described intra prediction parameter on the luminance signal to generate a predicted image of the luminance signal.
  • intra prediction processing based on the intra prediction parameter of the chrominance signal is performed to generate a predicted image of the chrominance signal.
  • FIG. 23 is an explanatory view showing a correspondence example of the intra prediction parameter (index value) of the color difference signal and the color difference intra prediction mode.
  • the intra prediction parameter of the chrominance signal indicates that the same prediction mode as the intra prediction mode for the luminance signal is used (intra prediction parameter indicates the luminance / chroma common intra prediction mode (DM mode))
  • the luminance signal And perform the same intra-frame prediction to generate a predicted image of the chrominance signal.
  • the intra prediction parameter of the chrominance signal indicates the vertical prediction mode or the horizontal prediction mode
  • directional prediction is performed on the chrominance signal to generate a predicted image of the chrominance signal.
  • the intra prediction parameter of the color difference signal indicates the brightness correlation use color difference signal prediction mode (LM mode)
  • LM mode brightness correlation use color difference signal prediction mode
  • the signal is used to calculate a correlation parameter indicating the correlation between the luminance signal and the color difference signal, and a predicted image of the color difference signal is generated using the correlation parameter and the luminance signal corresponding to the block of the color difference signal to be predicted.
  • the color image coding apparatus is configured to execute the processing in the DM mode or the LM mode and not to select another prediction mode.
  • the color image decoding apparatus also has the same configuration so that the bit stream generated from the color image coding apparatus can be decoded.
  • the YUV 4: 4: 4 signal since there is a high correlation between the edge positions of the luminance signal and the color difference signal, the intra prediction mode of the color difference signal is prohibited by prohibiting application of a prediction mode different from the luminance signal to the color difference signal. The amount of information can be reduced to enhance the coding efficiency.
  • the input signal format is YUV 4: 2: 2, as shown in FIG. 27, if the luminance signal is a square block, the color difference signal has 1/2 the number of pixels in the horizontal direction compared to the luminance signal. Becomes a rectangular block. Therefore, as shown in FIG. 28, when the YUV4: 4: 4 signal is converted to the YUV4: 2: 2 signal, in order to predict the same direction for the luminance signal and the color difference signal, YUV4: 2 is used. On two signals, in the case of directional prediction other than vertical direction prediction and horizontal direction prediction, the prediction direction of the color difference signal is different from the prediction direction of the luminance signal. Specifically, as shown in FIG.
  • FIG. 31 shows an example of conversion of the intra prediction mode index in the intra prediction mode of FIG.
  • an index conversion table may be prepared, and the index may be converted by referring to the conversion table, or a conversion equation is prepared according to the conversion equation. It may be configured to convert the index.
  • the color image decoding apparatus is also able to decode the bit stream generated from the color image coding apparatus. It has the same configuration.
  • FIG. 24 is given as an example of correspondence between the intra prediction parameter (index value) of the chrominance signal and the chrominance intra prediction mode at this time. Since the dependency between the luminance signal and the color difference signal of the pixel to be predicted is eliminated by not using the LM mode in this way, the prediction processing of the luminance signal and the color difference signal can be parallelized, and high-speed arithmetic processing Can be realized.
  • the color image decoding apparatus also has the same structure so that the bit stream generated from the color image coding apparatus can be decoded. As described above, by not performing the filter process, it is possible to reduce the calculation of the prediction process.
  • the motion compensation unit 35 performs switching switch 33 Using the motion vector and the inter prediction parameter while referring to the filtered decoded image stored in the motion compensated prediction frame memory 39 by receiving the motion vector and the inter prediction parameter of the prediction block unit output from by carrying out inter-prediction process generates an inter prediction image P INTERi n for each of the prediction block P i n the coded block B n (step ST27).
  • the predictive difference encoding is performed in the same procedure as the inverse quantization / inverse transform unit 8 in FIG.
  • the compressed data is dequantized in units of transform block with reference to the quantization parameter and transform block division information included in the parameter.
  • each header information refers to each header information that has been variable-length decoded by the variable-length decoding unit 31 and each header information indicates that the inverse quantization process is performed using the quantization matrix in the corresponding slice. And inverse quantization using the quantization matrix.
  • variable-length decoding unit 31 With reference to each header information that has been variable-length decoded by the variable-length decoding unit 31, a quantization matrix used for each color signal or coding mode (intra coding or inter coding) at each orthogonal transformation size. Identify Further, the inverse quantization / inverse transform unit 32 performs inverse orthogonal transform processing on transform coefficients which are compressed data after inverse quantization in units of transform blocks, and outputs the result from the inverse quantization / inverse transform unit 8 in FIG. Decoded predicted differential signal identical to the locally decoded predicted differential signal is calculated (step ST28).
  • Addition unit 36 decodes the prediction difference signal calculated by the inverse quantization and inverse transform unit 32, an intra prediction image P INTRAi n generated by the intra prediction unit 34 or, inter prediction generated by the motion compensation unit 35 by adding one of the image P INTERi n calculates a decoded image, and outputs the decoded image to the loop filter unit 38, and stores the decoded image to the intra prediction memory 37 (step ST29).
  • This decoded image is a decoded image signal used in the subsequent intra prediction processing.
  • the loop filter unit 38 performs predetermined filter processing on the decoded image output from the addition unit 36,
  • the decoded image after filter processing is stored in the motion compensation prediction frame memory 39 (step ST31).
  • filter deblocking filter
  • processing for reducing distortion generated at boundaries of transform blocks and boundaries of prediction blocks processing for adaptively adding an offset on a pixel basis (pixel adaptive offset) processing, Wiener filter, etc. It performs adaptive filter processing etc. which adaptively switches and filters a linear filter.
  • the loop filter unit 38 refers to each header information that has been variable-length decoded by the variable-length decoding unit 31 for each of the deblocking filter processing, the pixel adaptive offset processing, and the adaptive filter processing described above. Identify if you want to At this time, when two or more filter processes are performed, for example, when the loop filter unit 11 of the color image coding apparatus is configured as shown in FIG. 11, the loop filter unit 38 as shown in FIG. Is configured.
  • the header information that is variable-length decoded by the variable-length decoding unit 31 is referred to, and information that changes various parameters used to select the filter strength applied to the block boundary from the initial value is present.
  • each pixel in the block is classified into blocks according to the classification method indicated by the index.
  • candidates for the class classification method the same ones as candidates for the class classification method for pixel adaptive offset processing of the loop filter unit 11 are prepared in advance.
  • the loop filter unit 38 performs a process of adding an offset to the luminance value of the decoded image with reference to the offset information that is variable-length decoded by the variable-length decoding unit 31 that specifies the offset value of each class in block units. .
  • class classification is performed in the same manner as the color image coding apparatus of FIG. Do the processing.
  • the decoded image after the filter processing by the loop filter unit 38 becomes a reference image for motion compensation prediction, and becomes a reproduced image.
  • the signal format of the color image is YUV 4: 2: 2
  • the intra prediction parameter used for the intra-frame prediction process of the color difference signal in the prediction block is the prediction block
  • the intra prediction unit 4 indicates that the same prediction mode as the intra prediction mode for the luminance signal in is used
  • the intra prediction unit 4 converts the index indicating the intra prediction mode for the luminance signal, and the intra prediction mode indicated by the converted index Since the intra-frame prediction processing of the color difference signal is performed, even when the signal format of the color image is YUV 4: 2: 2, the coding efficiency can be reduced without causing a decrease in the prediction efficiency of the color difference signal. There is an effect that can be enhanced.
  • the luminance / color difference using the same prediction mode as the luminance signal as the intra prediction mode for predicting the color difference signal of the prediction target block
  • the index indicating the intra prediction mode of the luminance signal is converted, and the intra prediction process of the chrominance signal of the prediction target block is performed using the intra prediction mode indicated by the converted index. Therefore, it is possible to realize highly accurate prediction processing, and to correctly decode the bit stream encoded by the color image coding apparatus according to the first embodiment, which can improve the coding efficiency. It has the effect of being able to
  • the color image coding apparatus converts the index indicating the intra prediction mode for the luminance signal, and the intra prediction mode indicated by the converted index Since intra-frame prediction processing of color difference signals is performed, even when the signal format of a color image is YUV 4: 2: 2, coding efficiency can be enhanced without causing a decrease in the prediction efficiency of color difference signals, It is suitable for encoding color moving pictures with high efficiency.
  • Intra prediction unit intra prediction means
  • 5 motion compensation prediction unit 6 subtraction unit
  • 7 transformation / quantization unit 8 inverse quantization / inverse transformation unit
  • 9 addition unit 10 intra prediction memory, 11 loop filter unit, 12 motion compensation prediction frame memory, 13 variable length coding unit, 14 slice division unit, 31 variable length decoding unit, 32 inverse quantization / inverse conversion unit, 33 switch, 34 intra prediction unit (intra prediction means), 35 motion compensation unit, 36 addition unit, 37 intra prediction memory, 38 loop filter unit, 39 motion compensation prediction frame memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

カラー画像の信号フォーマットがＹＵＶ４：２：２であり、予測ブロックにおける色差信号のフレーム内予測処理に用いるイントラ予測パラメータが、その予測ブロックにおける輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合、イントラ予測部（４）が、その輝度信号に対するイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードで、その色差信号のフレーム内予測処理を実施する。

Description

カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
　この発明は、カラー動画像を高効率で符号化を行うカラー画像符号化装置及びカラー画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー画像復号装置及びカラー画像復号方法とに関するものである。
　例えば、以下の非特許文献１に記載されている従来のカラー画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
　また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
　また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
　従来のカラー画像符号化装置では、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の符号化ブロック、予測ブロック及び変換ブロックのブロック分割情報を輝度信号と同一とすることで、色差信号の変換ブロックサイズに係る情報を符号化する必要を無くして、色差信号の符号化効率を高めている。
　このとき、色差信号の分割対象ブロックのサイズが、取り得る最小のブロックサイズであるために分割できない場合を除き、色差信号のブロックサイズは輝度信号のブロックサイズの縦横半分のサイズとなる。
B．Bross，W.-J．Han，J.-R．Ohm，G．J．Sullivan，Y.-K．Wang and T．Wiegand，"High Efficiency Video Coding（HEVC）text specification draft 10（for FDIS & Consent）"，doc．JCTVC-L1003，Joint Collaborative Team on Video Coding（JCT-VC）of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，12th Meeting，2013
　従来のカラー画像符号化装置は以上のように構成されているので、カラー画像の信号フォーマットがＹＵＶ４：２：０であるとき、色差信号のフレーム内予測処理に用いる予測モードが、輝度信号のフレーム内予測処理に用いる予測モードと同じである輝度色差共通イントラ予測モード（ＤＭモード）である場合、図２５に示すように、輝度信号の予測モードが方向性予測であれば、色差信号も輝度信号と同一の予測方向（角度）の方向性予測を行えばよい。しかし、カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、色差信号は、水平方向の画素だけが輝度信号の半分の画素数に間引かれた信号であるため、図２６に示すように、色差信号の方向性予測を輝度信号と同一の予測方向（角度）で行ってしまうと、水平方向の画素を間引く前の色差信号として考えた場合、輝度信号の予測方向とは異なり、色差信号の予測効率が低下してしまう課題があった。
　この発明は上記のような課題を解決するためになされたもので、カラー画像の信号フォーマットがＹＵＶ４：２：２である場合でも、色差信号の予測効率の低下を招くことなく、符号化効率を高めることができるカラー画像符号化装置及びカラー画像符号化方法を得ることを目的とする。
　また、この発明は、符号化効率の改善が図られている符号化データから正確に画像を復号することができるカラーカラー画像復号装置及びカラー画像復号方法を得ることを目的とする。
　この発明に係るカラー画像符号化装置は、カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、イントラ予測手段が、輝度信号に対するイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードで、色差信号のフレーム内予測処理を実施するようにしたものである。
　この発明によれば、カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、イントラ予測手段が、輝度信号に対するイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードで、色差信号のフレーム内予測処理を実施するように構成したので、カラー画像の信号フォーマットがＹＵＶ４：２：２である場合でも、色差信号の予測効率の低下を招くことなく、符号化効率を高めることができる効果がある。
この発明の実施の形態１によるカラー画像符号化装置を示す構成図である。 この発明の実施の形態１によるカラー画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１によるカラー画像復号装置を示す構成図である。 この発明の実施の形態１によるカラー画像復号装置の処理内容（画像復号方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂn）が割り当てられる状況を示す説明図である。 符号化ブロックＢn内の各予測ブロックＰi nが選択可能なイントラ予測モードの一例を示す説明図である。 ｌi n＝ｍi n＝４の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測画像生成ブロック内の左上画素を原点とする相対座標を示す説明図である。 量子化マトリクスの一例を示す説明図である。 この発明の実施の形態１によるカラー画像符号化装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 この発明の実施の形態１によるカラー画像復号装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 符号化ビットストリームの一例を示す説明図である。 画素適応オフセット処理のクラス分類手法のインデックスを示す説明図である。 １６×１６画素のサイズの直交変換における変換係数の符号化順を示す説明図である。 １６×１６画素のサイズの直交変換における変換係数の分布の一例を示す説明図である。 平均値予測時のフィルタ処理におけるフィルタの切り替え領域を示す説明図である。 平均値予測時のフィルタ処理の参照画素配置を示す説明図である。 フィールド符号化の際のイントラ予測画像に対するフィルタ処理を示す説明図である。 ＹＵＶ４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ＹＵＶ４：２：２フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ＹＵＶ４：４：４フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ＬＭモードを用いない場合の色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ＹＵＶ４：２：０フォーマットの信号において輝度信号と色差信号で同一の方向性予測を用いた場合を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号において輝度信号と色差信号で同一の方向性予測を用いた場合を示す説明図である。 ＹＵＶ４：４：４フォーマットとＹＵＶ４：２：２フォーマットの関係を示す説明図である。 ＹＵＶ４：４：４フォーマットの信号において輝度信号と色差信号で同一の方向性予測を用いることと等価となるＹＵＶ４：２：２フォーマットでの方向性予測の例を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号での方向性予測の予測方向ベクトルを示す説明図である。 方向性予測と角度の関係を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号において輝度信号のイントラ予測モードインデックスと色差信号のイントラ予測モードインデックスの関係を示す説明図である。 イントラ予測モードインデックスとｔａｎθの関係を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１によるカラー画像符号化装置を示す構成図である。
　この実施の形態１のカラー画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
　各画素の階調は８ビットでもよいし、１０ビット、１２ビットなどの階調であってもよい。
　また、入力信号は映像信号ではなく静止画像信号でもよいことは、静止画像信号を１フレームのみで構成される映像信号と解釈できることから当然である。
　以下の説明においては、便宜上、特に断らない限り、入力される映像信号が、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、縦横ともに２分の１にサブサンプルされたＹＵＶ４：２：０フォーマット、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、横方向に２分の１にサブサンプルされたＹＵＶ４：２：２フォーマット、あるいは、２つの色差成分Ｕ，Ｖが輝度成分Ｙと同じサンプル数であるＹＵＶ４：４：４フォーマットの信号であるものとする。また、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の三原色の信号からなるＲＧＢ４：４：４フォーマットの信号については、それぞれの信号をＹＵＶ４：４：４フォーマットの信号とみなしてＹＵＶ４：４：４フォーマットと同一の符号化を行う。ただし、ＲＧＢ４：４：４フォーマットの各信号（ＲＧＢ）のＹＵＶ４：４：４フォーマットの各信号（ＹＵＶ）への対応付けについては限定しない（任意に設定できる）。
　なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
　図１において、スライス分割部１４は入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の“スライス”という部分画像に分割する処理を実施する。スライスの分割単位は、後述する符号化ブロック単位まで細かくすることができる。
　ブロック分割部１はスライス分割部１４により分割されたスライスを入力する毎に、そのスライスを符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
　即ち、ブロック分割部１はスライスを符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
　符号化制御部２は符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
　また、符号化制御部２は選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
　また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
　さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
　ここで、図２０はＹＵＶ４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
　変換ブロックサイズは、図２０に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
　例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
　輝度信号については、例えば、図２０に示すように、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、図２０に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　図２１に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差信号と同じブロックサイズ（輝度信号の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。
　また、図２２に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　輝度信号の変換ブロックの分割情報は、例えば、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
　切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。
　イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりイントラ符号化モードが選択された場合、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。なお、イントラ予測部４はイントラ予測手段を構成している。
　即ち、イントラ予測部４は、輝度信号については、輝度信号のイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度信号の予測画像を生成する。
　一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
　なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように構成してもよい。
　ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２７に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２８に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
　具体的には、図２９に示すように、輝度信号の予測方向ベクトルをｖL＝（ｄｘL，ｄｙL）とした場合、色差信号の予測方向ベクトルは、ｖC＝（ｄｘL／２，ｄｙL）となる。即ち、図３０に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθL、色差信号の予測方向の角度をθCとして、ｔａｎθC＝２ｔａｎθLの関係となる予測方向で予測する必要がある。
　したがって、入力信号フォーマットがＹＵＶ４：２：２信号である場合、上記ＤＭモードを実施する際には、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。具体的には、インデックスの変換テーブルを用意し、その変換テーブルを参照することで、インデックスを変換するように構成してもよいし、予め変換式を用意して、その変換式に従ってインデックスを変換するように構成してもよい。
　このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、ＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
　動き補償予測部５は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
　減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部７に出力する処理を実施する。
　変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
　変換・量子化部７は変換係数を量子化する際、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。
　ここで、図１０は４×４ＤＣＴの量子化マトリクスの一例を示す説明図である。
　図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。
　例えば、符号化ビットレートを抑制するために、図１０に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
　このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。
　また、量子化マトリクスは、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に独立したマトリクスを使用することができ、初期値として予めカラー画像符号化装置及びカラー画像復号装置で予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
　したがって、変換・量子化部７は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
　さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
　一方、新しい量子化マトリクスを用いない場合には、初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、カラー画像符号化装置及びカラー画像復号装置で予め共通に用意されている量子化マトリクスのみ選択可能となる。
　逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位に変換・量子化部７から出力された圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。なお、変換・量子化部７が量子化マトリクスを用いて、量子化処理を実施している場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応する逆量子化処理を実施する。
　加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
　イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
　ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
　具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
　ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理及び適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをヘッダ情報として可変長符号化部１３に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１１の構成例を示している。
　一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、カラー画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。例えば、図１１の構成よりも処理不可を削減したい場合、デブロッキングフィルタ処理と画素適応オフセット処理のみで構成するといったことが考えられる。
　ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部１３に出力する。
　画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
　次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
　最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
　したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を特定するオフセット情報をヘッダ情報として可変長符号化部１３に出力する。
　なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
　適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
　そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部１３に出力する。
　クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。
　また、適応フィルタ処理で使用するクラス数は、予めカラー画像符号化装置及びカラー画像復号装置に共通の値として設定してもよいし、符号化すべきパラメータとしてもよい。
　前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
　なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、図１１に示すように、映像信号をループフィルタ部１１で参照する必要があるため、映像信号がループフィルタ部１１に入力されるように、図１のカラー画像符号化装置を変更する必要がある。
　動き補償予測フレームメモリ１２はループフィルタ部１１のフィルタ処理後の局所復号画像を格納する記録媒体である。
　可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して符号化データを生成する。
　また、可変長符号化部１３は、図１３に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
　ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
　シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ情報、量子化マトリクスの有効フラグ情報など、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
　ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ、量子化マトリクスパラメータなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。
　スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）、ループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグ情報などのスライス単位のパラメータをまとめたものである。
　図１の例では、カラー画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２、可変長符号化部１３及びスライス分割部１４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、カラー画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１、可変長符号化部１３及びスライス分割部１４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図２はこの発明の実施の形態１によるカラー画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。
　図３はこの発明の実施の形態１によるカラー画像復号装置を示す構成図である。
　図３において、可変長復号部３１は図１のカラー画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダなどの各ヘッダ情報を復号するとともに、そのビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。
　このとき、上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部３１は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、カラー画像符号化装置及びカラー画像復号装置で予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
　また、可変長復号部３１は、各ヘッダ情報を参照して、スライス分割状態を特定するとともに、各スライスのスライスデータに含まれる最大符号化ブロックを特定し、ブロック分割情報を参照して、最大符号化ブロックを階層的に分割して復号処理を行う単位である符号化ブロックを特定し、各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、動きベクトル（符号化モードがインター符号化モードである場合）及び予測差分符号化パラメータを可変長復号する処理を実施する。
　逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、可変長復号部３１により可変長復号された圧縮データを変換ブロック単位に逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
　ここで、上記変換ブロック分割情報から、符号化ブロックにおける変換ブロックの分割状態を特定する。例えば、ＹＵＶ４：２：０フォーマットの信号の場合、変換ブロックサイズは、図２０に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
　輝度信号については、例えば、図２０に示すように、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、図２０に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　図２１に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差信号と同じブロックサイズ（輝度信号の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。
　図２２に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　また、可変長復号部３１により可変長復号された各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合、量子化マトリクスを用いて逆量子化処理を行う。
　具体的には、各ヘッダ情報から特定される量子化マトリクスを用いて逆量子化処理を行う。
　切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。
　イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがイントラ符号化モードである場合、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。なお、イントラ予測部３４はイントラ予測手段を構成している。
　即ち、イントラ予測部３４は、輝度信号については、輝度信号に対する上記イントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度信号の予測画像を生成する。
　一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
　なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないようにカラー画像符号化装置が構成されている場合、そのカラー画像符号化装置から生成されるビットストリームが復号できるようにカラー画像復号装置も同様の構成とする。
　ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２７に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２８に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
　具体的には、図２９に示すように、輝度信号の予測方向ベクトルをｖL＝（ｄｘL，ｄｙL）とした場合、色差信号の予測方向ベクトルは、ｖC＝（ｄｘL／２，ｄｙL）となる。即ち、図３０に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθL、色差信号の予測方向の角度をθCとして、ｔａｎθC＝２ｔａｎθLの関係となる予測方向で予測する必要がある。
　したがって、入力信号フォーマットがＹＵＶ４：２：２信号である場合、上記ＤＭモードを実施する際には、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。具体的には、インデックスの変換テーブルを用意し、その変換テーブルを参照することで、インデックスを変換するように構成してもよいし、予め変換式を用意して、その変換式に従ってインデックスを変換するように構成してもよい。
　このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、ＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
　動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがインター符号化モードである場合、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
　加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。
　イントラ予測用メモリ３７は加算部３６により算出された復号画像をイントラ予測処理で用いる参照画像として格納する記録媒体である。
　ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
　具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
　ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで行うか否かを特定する。
　このとき、２つ以上のフィルタ処理を行う場合において、例えば、カラー画像符号化装置のループフィルタ部１１が図１１のように構成されていれば、図１２に示すようにループフィルタ部３８が構成される。当然、カラー画像符号化装置のループフィルタ部１１がデブロッキングフィルタ処理と画素適応オフセット処理から構成されていれば、ループフィルタ部３８もデブロッキングフィルタ処理と画素適応オフセット処理で構成される。
　ここで、デブロッキングフィルタ処理では、可変長復号部３１により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
　画素適応オフセット処理では、可変長復号部３１により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて復号画像を分割し、そのブロック単位に、可変長復号部３１により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
　なお、クラス分類手法の候補として、ループフィルタ部１１の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
　そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
　ただし、カラー画像符号化装置のループフィルタ部１１の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を固定サイズのブロック単位（例えば、最大符号化ブロック単位）に分割し、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行うように構成されている場合、ループフィルタ部３８においても、ループフィルタ部１１と同一の固定サイズのブロック単位に画素適応オフセット処理を実施する。
　適応フィルタ処理では、可変長復号部３１により可変長復号されたクラス毎のフィルタを用いて、図１のカラー画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
　動き補償予測フレームメモリ３９はループフィルタ部３８のフィルタ処理後の復号画像をインター予測処理（動き補償予測処理）で用いる参照画像として格納する記録媒体である。
　図３の例では、カラー画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、カラー画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図４はこの発明の実施の形態１によるカラー画像復号装置の処理内容（画像復号方法）を示すフローチャートである。
　次に動作について説明する。
　この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成するカラー画像符号化装置と、そのカラー画像符号化装置から出力される符号化ビットストリームを復号するカラー画像復号装置について説明する。
　図１のカラー画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
　一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
　時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
　符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
　一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
　したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
　この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
　最初に、図１のカラー画像符号化装置の処理内容を説明する。
　まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
　最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
　分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
　なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限は、シーケンスレベルヘッダなどに符号化してもよいし、符号化せずにカラー画像復号装置側も同一の決定処理を行うようにしてもよい。
　前者はヘッダ情報の符号量が増加するが、カラー画像復号装置側で上記決定処理を行わずに済むため、カラー画像復号装置の処理負荷を抑えることができる上、カラー画像符号化装置側で最適な値を探索して送ることができる。
　後者は反対に、カラー画像復号装置側で上記決定処理を行うため、カラー画像復号装置の処理負荷が増加するが、ヘッダ情報の符号量は増加しない。
　また、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限をシーケンスレベルヘッダなどに符号化する場合、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズを符号化するようにしてもよい。即ち、最大符号化ブロックを分割階層数の上限まで分割したときのブロックのサイズが、符号化ブロックの最小ブロックサイズであるため、カラー画像復号装置側において、最大符号化ブロックのサイズと符号化ブロックの最小ブロックサイズから分割階層数の上限を特定することができる。
　また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
　即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
　符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
　ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。即ち、符号化モードは、どのような予測ブロック分割を持つイントラまたはインター符号化モードかを識別するインデックスである。
　符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
　また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
　ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択する。
　ここで、図２０は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
　変換ブロックサイズは、図２０に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
　例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
　輝度信号については、例えば、図２０に示すように、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、図２０に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　図２１に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差信号と同じブロックサイズ（輝度信号の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。
　また、図２２に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　符号化制御部２は、符号化ブロックにおける変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
　また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
　また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
　スライス分割部１４は、入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の部分画像であるスライスに分割する。
　ブロック分割部１は、スライス分割部１４から各スライスを入力する毎に、そのスライスを符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
　ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
　図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ0，Ｍ0）のサイズを有する符号化ブロックである。
　最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
　深さｎにおいては、符号化ブロックはサイズ（Ｌn，Ｍn）の画像領域である。
　ただし、ＬnとＭnは、同じであってもよいし、異なっていてもよいが、図５では、Ｌn＝Ｍnのケースを示している。
　以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌn，Ｍn）と定義する。
　４分木分割を行うため、常に、（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）が成立する。
　なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌn，Ｍn）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌn／２，Ｍn／２）になる。
　以降、第ｎ階層の符号化ブロックをＢnで表し、符号化ブロックＢnで選択可能な符号化モードをｍ（Ｂn）で表すものとする。
　複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂn）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
　符号化ブロックＢnは、図５に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
　以降、符号化ブロックＢnに属する予測ブロックをＰi n（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にはＰ0 0とＰ1 0の例を示している。
　符号化ブロックＢn内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂn）の中に情報として含まれる。
　予測ブロックＰi nは、全て符号化モードｍ（Ｂn）に従って予測処理が行われるが、予測ブロックＰi n毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
　符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
　図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
　図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂn）が割り当てられたノード（符号化ブロック）である。
　この４分木グラフの情報は符号化モードｍ（Ｂn）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
　切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂn）がイントラ符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢnをイントラ予測部４に出力する。
　一方、符号化制御部２により決定された符号化モードｍ（Ｂn）がインター符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢnを動き補償予測部５に出力する。
　イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂn）がイントラ符号化モードであり（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢnを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢn内の各予測ブロックＰi nに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAi nを生成する（ステップＳＴ４）。
　ただし、詳細は後述するが、イントラ予測画像を生成する処理を行う際に、予測対象ブロックに隣接する符号化済みの画素を用いることから、イントラ予測画像を生成する処理は、予測処理に用いる予測対象ブロックに隣接する画素が既に符号化済みとなるように常に変換ブロック単位に行われなくてはならない。
　したがって、符号化モードがイントラ符号化モードである符号化ブロックでは、選択可能な変換ブロックのブロックサイズは、予測ブロックのサイズ以下に制限され、さらに、変換ブロックが予測ブロックより小さい場合（予測ブロック内に複数の変換ブロックが存在する場合）には、変換ブロック単位に、当該予測ブロックで定められたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
　なお、カラー画像復号装置がイントラ予測画像ＰINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
　イントラ予測部４の処理内容の詳細は後述する。
　動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂn）がインター符号化モードであり（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢnを受けると（ステップＳＴ３）、その符号化ブロックＢn内の各予測ブロックＰi nと動き補償予測フレームメモリ１２に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢn内の各予測ブロックＰi nに対するインター予測処理を実施して、インター予測画像ＰINTERi nを生成する（ステップＳＴ５）。
　なお、カラー画像復号装置がインター予測画像ＰINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰINTERi nの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
　また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。
　減算部６は、ブロック分割部１から符号化ブロックＢnを受けると、その符号化ブロックＢn内の予測ブロックＰi nから、イントラ予測部４により生成されたイントラ予測画像ＰINTRAi n、または、動き補償予測部５により生成されたインター予測画像ＰINTERi nのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅi nを変換・量子化部７に出力する（ステップＳＴ６）。
　変換・量子化部７は、減算部６から予測差分信号ｅi nを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、その予測差分信号ｅi nに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して、変換係数を算出する。
　また、変換・量子化部７は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。
　量子化マトリクスは、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に独立しているマトリクスを使用することができ、初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
　したがって、変換・量子化部７は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
　さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
　一方、新しい量子化マトリクスを用いない場合には、初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
　そして、変換・量子化部７は、設定した量子化マトリクスパラメータを可変長符号化部１３に出力する。
　逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
　変換・量子化部７が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
　また、逆量子化・逆変換部８は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅi nに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。
　加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像ＰINTRAi n、または、動き補償予測部５により生成されたインター予測画像ＰINTERi nのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
　なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
　この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
　ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
　具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
　ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをシーケンスレベルヘッダの一部及びスライスレベルヘッダの一部として可変長符号化部１３に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１１の構成例を示している。
　一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、カラー画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。
　ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部１３に出力する。
　画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
　次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
　最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
　クラス分類手法としては、局所復号画像の輝度値の大きさで分類する手法（ＢＯ手法と呼ぶ）や、エッジの方向毎に各画素の周囲の状況（エッジ部か否か等）に応じて分類する手法（ＥＯ手法と呼ぶ）がある。
　これらの手法は、予めカラー画像符号化装置及びカラー画像復号装置で共通に用意されており、例えば図１４に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。
　したがって、画素適応オフセット処理は、ブロックの分割情報、ブロック単位のクラス分類手法を示すインデックス、ブロック単位のオフセット情報をヘッダ情報として可変長符号化部１３に出力する。
　なお、画素適応オフセット処理において、例えば最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
　また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
　そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部１３に出力する。
　ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予めカラー画像符号化装置及びカラー画像復号装置で共通の値に設定してもよいし、符号化すべきパラメータの一つとしてもよい。
　前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
　ステップＳＴ３～ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢnに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢnに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。
　可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂn）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化し、それらの符号化結果を示す符号化データを生成する（ステップＳＴ１３）。
　その際、量子化された直交変換係数である圧縮データの符号化手法として、変換ブロックをさらにＣｏｅｆｆｉｃｉｅｎｔ　Ｇｒｏｕｐ（ＣＧ）と呼ばれる４×４画素単位のブロック（符号化サブブロック）に分割して、ＣＧ単位に係数の符号化処理を実施する。
　図１５は１６×１６画素の変換ブロックにおける係数の符号化順（スキャン順）を示している。
　このように、４×４画素単位の１６個のＣＧを右下のＣＧから順に符号化処理し、さらに、各ＣＧはＣＧ内の１６個の係数を右下の係数から順に符号化する。
　具体的には、まず、ＣＧ内の１６個の係数の中に有意（非零）係数が存在するか否かのフラグ情報を符号化し、次に、ＣＧ内に有意（非零）係数が存在する場合のみ、ＣＧ内の各係数が有意（非零）係数であるかを上記順に符号化し、最後に有意（非零）係数に対して、その係数値情報を順に符号化する。これをＣＧ単位に上記順に行う。
　その際、有意（非零）係数がなるべく連続で発生するように偏るスキャン順とした方がエントロピー符号化による符号化効率を高めることができる。
　直交変換後の係数は、左上に位置する直流成分をはじめとして、左上に近い程、低い周波数成分の低い係数を表すことから、図１６に示す例のように、一般的に左上に近いほど有意（非零）係数が多く発生するために、図１５に示すように、右下から順に符号化することで効率的に符号化することができる。
　なお、上記では１６×１６画素の変換ブロックについて説明したが、８×８画素や３２×３２画素の変換ブロック等、１６×１６画素以外のブロックサイズにおいてもＣＧ（符号化サブブロック）単位の符号化処理を実施するものとする。
　また、可変長符号化部１３は、図１３に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
　ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
　シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ情報、量子化マトリクスの有効フラグ情報、フィールド符号化か否かを示すフラグなど、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
　ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
　スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）、ループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグ情報などといったスライス単位のパラメータをまとめたものである。
　次に、イントラ予測部４の処理内容を詳細に説明する。
　イントラ予測部４は、上述したように、予測ブロックＰi nのイントラ予測パラメータを参照して、その予測ブロックＰi nに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAi nを生成するが、ここでは、輝度信号における予測ブロックＰi nのイントラ予測画像を生成するイントラ処理について説明する。
　図７は符号化ブロックＢn内の各予測ブロックＰi nが選択可能なイントラ予測モードの一例を示す説明図であり、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示している。上記イントラ予測モードのインデックス値がイントラ予測パラメータを示している。
　なお、イントラ予測モード数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
　大きいサイズのブロックでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのブロックでは、選択できるイントラ予測方向数を多くするように構成することで演算量を抑制することができる。
　まず、イントラ予測画像を生成する処理は、処理対象のブロックに隣接する符号化済みの画素を用いることから、上述した通り、変換ブロック単位に行われなくてはならない。
　ここで、イントラ予測画像を生成する変換ブロックを予測画像生成ブロックと呼ぶこととする。したがって、イントラ予測部４は、予測画像生成ブロック単位に下記に述べるイントラ予測画像生成処理を実施して、予測ブロックＰi nのイントラ予測画像を生成する。
　予測画像生成ブロックのサイズをｌi n×ｍi n画素とする。
　図８はｌi n＝ｍi n＝４の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
　図８では、予測画像生成ブロックの上の符号化済みの画素（２×ｌi n＋１）個と、左の符号化済みの画素（２×ｍi n）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
　また、図８では、予測画像生成ブロックの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。
　予測画像生成ブロックが属する予測ブロックＰi nに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と、予測画像生成ブロックの左に隣接する符号化済み画素を用いて、これら画素と予測画像生成ブロック内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
　予測画像生成ブロックが属する予測ブロックＰi nに対するイントラ予測モードのインデックス値が１（平均値（ＤＣ）予測）の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と、予測画像生成ブロックの左に隣接する符号化済み画素の平均値を予測画像生成ブロック内の画素の予測値として予測画像を生成する。
　さらに、予測画像生成ブロックの上端及び左端に位置する図１７の領域Ａ，Ｂ，Ｃに対して、ブロック境界を平滑化するフィルタ処理を行って最終的な予測画像とする。例えば、下記の式（１）にしたがって、図１８のフィルタの参照画素配置で、下記のフィルタ係数を用いてフィルタ処理を実施する。
Figure JPOXMLDOC01-appb-I000001
・領域Ａ（パーティションＰi nの左上の画素）
　　　ａ0＝１／２，ａ1＝１／４，ａ2＝１／４
・領域Ｂ（領域Ａ以外のパーティションＰi nの上端の画素）
　　　ａ0＝３／４，ａ2＝１／４，（ａ1＝０）
・領域Ｃ（領域Ａ以外のパーティションＰi nの左端の画素）
　　　ａ0＝３／４，ａ1＝１／４，（ａ2＝０）
　ただし、式（１）において、ａn（ｎ＝０，１，２）は参照画素にかかるフィルタ係数、ｐn（ｎ＝０，１，２）はフィルタ処理対象画素ｐ0を含むフィルタの参照画素、Ｓ’（ｐ0）はフィルタ処理対象画素ｐ0におけるフィルタ処理後の予測値、Ｓ（ｐn）（ｎ＝０，１，２）はフィルタ処理対象画素ｐ0を含む参照画素のフィルタ処理前の予測値を表している。
　さらに、上記フィルタ処理を行う予測画像生成ブロックのブロックサイズは限定してもよい。
　一般にブロック端のみフィルタ処理を行って予測値を変化させる場合、大きなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測残差信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測残差信号の変化を復元できずに、ブロック境界に歪みが生じてしまう傾向がある。
　一方、小さなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が大きいために、この予測値の変化によって生じた予測残差信号の変化が大きなブロックサイズのブロックの時のような高い周波数成分で表されることはなく、適切に残差信号を符号化することができ、本フィルタ処理によって、ブロック境界の連続性を高めた分、復号画像の品質を高めることができる。
　したがって、例えば、３２×３２画素以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せずに、３２×３２画素より小さいブロックのみに上記フィルタ処理を適用することで、従来の平均値予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
　他にも変換ブロックサイズに応じて上記フィルタ処理を行う予測画像生成ブロックのブロックサイズを限定してもよい。
　例えば、ｍａｘ（１６，ＭａｘＴＵｓｉｚｅ）以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せずに、ｍａｘ（１６，ＭａｘＴＵｓｉｚｅ）より小さいブロックのみに上記フィルタ処理を適用する。
　ただし、ｍａｘ（α，β）は、αとβのうちの最大値を示しており（例えば、α＝１、β＝２なら、ｍａｘ（α，β）＝２）、“ＭａｘＴＵｓｉｚｅ”は、取り得る最大の変換ブロックサイズを示しており、“１６”は所定のブロックサイズ（１６×１６画素）を示している。
　つまり、ｍａｘ（１６，ＭａｘＴＵｓｉｚｅ）以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せず、ｍａｘ（１６，ＭａｘＴＵｓｉｚｅ）より小さいブロックのみに上記フィルタ処理を適用するとは、ＭａｘＴＵｓｉｚｅが３２である場合はｍａｘ（１６，３２）＝３２となり、３２×３２画素のブロックのみに上記フィルタ処理を適用せず、１６×１６画素、８×８画素、４×４画素のブロックには上記フィルタ処理を実施する。
　同様に、ＭａｘＴＵｓｉｚｅが１６である場合は、ｍａｘ（１６，１６）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施する。
　さらに、ＭａｘＴＵｓｉｚｅが８である場合は、ｍａｘ（１６，８）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施することになるため、１６×１６画素のブロックが存在しないＭａｘＴＵｓｉｚｅが８である場合は、全ての画素のブロック（８×８、４×４）で上記フィルタ処理を実施する。
　同様に、ＭａｘＴＵｓｉｚｅが４である場合は、ｍａｘ（１６，４）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施することになるため、４×４画素のブロックしか存在しないＭａｘＴＵｓｉｚｅが４である場合は、全ての画素のブロック（４×４）で上記フィルタ処理を実施する。
　このようにすることで、一般に高効率な符号化を行う際には、例えば、“空”等の平坦な領域では、できる限り大きいサイズの直交変換処理が施されるため、このような領域では、ＭａｘＴＵｓｉｚｅのブロックサイズによる変換処理が行われる。
　一方、このような大きいブロックでは、上述したとおり、フィルタ処理によって復号画像のブロック境界に歪みを生じさせてしまう傾向があるため、人間の視覚特性として、特に感度が高い平坦部において、このような歪みを抑えるためにフィルタ処理を行わないようにし、ブロックサイズを小さくすることで効率的に符号化できる傾向のある複雑な領域部等、小さいブロックサイズのブロックについては上記フィルタ処理を行うことで予測効率を向上させ、復号画像の品質を高める効果が得られる。
　さらに、シーケンスレベルヘッダにフィールド符号化か否かを示すフラグを持ち、上記フラグが有効である場合、図１９に示すように、予測画像生成ブロックの上端にフィルタ処理を実施しないようにする。
　フィールド符号化の場合、垂直方向の画素間の相関が低いことから予測画像生成ブロックの上端におけるフィルタ処理によって予測効率が悪化してしまう可能性がある。したがって、領域Ａ，Ｃのみにフィルタ処理を行い、領域Ｂはフィルタ処理を行わないようにすることで、予測効率の低下を抑制しつつ演算量を削減することができる。
　ただし、上記ではシーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、領域Ａ，Ｃのみにフィルタ処理を行うようにしたが、領域Ａも領域Ｃと同じフィルタ処理してもよい。このように、画素間の相関が低い垂直方向の画素を用いないようにすることで、さらに予測効率悪化の可能性を下げつつ、フィルタ処理に要する演算量を削減することができる。あるいは、より演算量を削減することを重視する場合は、領域Ａもフィルタ処理を行わないようにし、領域Ｃのみフィルタ処理を行うようにしてもよい。
　予測画像生成ブロックの属する予測ブロックＰi nに対するイントラ予測モードのインデックス値が２６（垂直方向予測）の場合、下記の式（２）から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。
Figure JPOXMLDOC01-appb-I000002
　ただし、座標（ｘ，ｙ）は予測画像生成ブロック内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
　なお、式（２）の１行目の式は、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における垂直方向予測の予測値であるＳ（ｘ，－１）に対し、隣接する符号化済み画素の垂直方向の輝度値の変化量Ｓ（－１，ｙ）－Ｓ（－１，－１）を１／２にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式（２）の２行目の式は、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における垂直方向予測と同じ予測式を示している。
　予測画像生成ブロックが属する予測ブロックＰi nに対するイントラ予測モードのインデックス値が１０（水平方向予測）の場合、下記の式（３）から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。
Figure JPOXMLDOC01-appb-I000003
　ただし、座標（ｘ，ｙ）は予測画像生成ブロック内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
　なお、式（３）の１行目の式は、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における水平方向予測の予測値であるＳ（－１，ｙ）に対し、隣接する符号化済み画素の水平方向の輝度値の変化量Ｓ（ｘ，－１）－Ｓ（－１，－１）を１／２にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式（３）の２行目の式は、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における水平方向予測と同じ予測式を示している。
　ただし、式（２）の垂直方向予測、式（３）の水平方向予測を行う予測画像生成ブロックのブロックサイズを限定してもよい。
　一般にブロック端のみ予測方向の輝度値の変化量に比例する値を加算するフィルタ処理を行うことで予測値を変化させる場合、大きなブロックサイズのブロックでは、上述した予測画像生成ブロックのブロック端のフィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測残差信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測残差信号の変化を復元できずにブロック境界に歪みが生じてしまう傾向がある。
　一方、小さなブロックサイズのブロックでは、上記フィルタ処理により予測値が変化する領域の占める割合が大きいために、この予測値の変化によって生じた予測残差信号の変化が大きなブロックサイズのブロックの時のような高い周波数成分で表されることはなく、適切に残差信号を符号化することができ、本フィルタ処理によってブロック境界の連続性を高めた分、復号画像の品質を高めることができる。
　したがって、例えば、３２×３２画素以上のブロックサイズの予測画像生成ブロックでは、予測対象画素の座標によらず、式（２）及び式（３）の２行目の式を常に用いるようにし（予測画像生成ブロックのブロック端のフィルタ処理を行わないことにする）、３２×３２画素より小さいブロックのみに、上記フィルタ処理を行う式（２）及び式（３）を適用することで、従来の垂直方向予測、水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
　他にも変換ブロックサイズに応じて式（２）の垂直方向予測、式（３）の水平方向予測を行う予測画像生成ブロックのブロックサイズを限定してもよい。
　例えば、ｍａｘ（１６，ＭａｘＴＵｓｉｚｅ）以上のブロックサイズの予測画像生成ブロックでは、予測対象画素の座標によらず、式（２）及び式（３）の２行目の式を常に用いるようにし（予測画像生成ブロックのブロック端のフィルタ処理を行わないことにする）、ｍａｘ（１６，ＭａｘＴＵｓｉｚｅ）より小さいブロックのみに上記フィルタ処理を行う式（２）及び式（３）を適用する。
　ただし、ｍａｘ（α，β）は、αとβのうちの最大値を示しており（例えばα＝１、β＝２ならｍａｘ（α，β）＝２）、“ＭａｘＴＵｓｉｚｅ”は、取り得る最大の変換ブロックサイズを示しており、“１６”は所定のブロックサイズ（１６×１６画素）を示している。
　つまり、ｍａｘ（１６、ＭａｘＴＵｓｉｚｅ）以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せず、ｍａｘ（１６，ＭａｘＴＵｓｉｚｅ）より小さいブロックのみに上記フィルタ処理を適用するとは、ＭａｘＴＵｓｉｚｅが３２である場合はｍａｘ（１６，３２）＝３２となり、３２×３２画素のブロックのみ上記フィルタ処理を適用せず、１６×１６画素、８×８画素、４×４画素のブロックには上記フィルタ処理を実施する。
　同様に、ＭａｘＴＵｓｉｚｅが１６である場合は、ｍａｘ（１６，１６）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施する。
　さらに、ＭａｘＴＵｓｉｚｅが８である場合は、ｍａｘ（１６，８）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施することになるため、１６×１６画素のブロックが存在しないＭａｘＴＵｓｉｚｅが８である場合は、全ての画素のブロック（８×８、４×４）で上記フィルタ処理を実施する。
　同様に、ＭａｘＴＵｓｉｚｅが４である場合は、ｍａｘ（１６，４）＝１６となり、１６×１６画素のブロックのみ上記フィルタ処理を適用せず、８×８画素、４×４画素のブロックには上記フィルタ処理を実施することになるため、４×４画素のブロックしか存在しないＭａｘＴＵｓｉｚｅが４である場合は、全ての画素のブロック（４×４）で上記フィルタ処理を実施する。
　このようにすることで、一般に高効率な符号化を行う際には、例えば、“空”等の平坦な領域では、できる限り大きいサイズの直交変換処理が施されるため、このような領域ではＭａｘＴＵｓｉｚｅのブロックサイズによる変換処理が行われる。
　一方、このような大きいブロックでは、上述したとおり、フィルタ処理によって復号画像のブロック境界に歪みを生じさせてしまう傾向があるため、人間の視覚特性として、特に感度が高い平坦部において、このような歪みを抑えるためにフィルタ処理を行わないようにし、ブロックサイズを小さくすることで、効率的に符号化できる傾向のある複雑な領域部等、小さいブロックサイズのブロックについては上記フィルタ処理を行うことで予測効率を向上させ、復号画像の品質を高める効果が得られる。
　なお、上記の動作は、平均値予測の場合、垂直方向予測の場合、水平方向予測の場合について説明したが、これら以外の予測を用いた場合も、同様の効果を得ることができる。
　さらに、シーケンスレベルヘッダにフィールド符号化か否かを示すフラグを持ち、上記フラグが有効である場合、水平方向予測は式（３）の代わりに式（４）を用いる。
Figure JPOXMLDOC01-appb-I000004
　即ち、図１９に示すように、予測画像生成ブロックの上端にフィルタ処理を実施しないようにする（平均値予測及び垂直方向予測の場合は、予測画像生成ブロックの左端のみにフィルタ処理を実施し、水平方向予測の場合はフィルタ処理を実施しない）。
　フィールド符号化の場合、垂直方向の画素間の相関が低いことから、予測画像生成ブロックの上端におけるフィルタ処理によるブロック境界の連続性を高めることによる予測効率が悪化してしまう可能性がある。したがって、上記フィルタ処理を行わないことで予測効率の低下を抑制しつつ演算量を削減することができる。
　なお、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグをピクチャレベルヘッダに用意して、各ピクチャの垂直方向の画素間の相関に応じて平均値（ＤＣ）予測及び水平方向予測の予測画像生成ブロック上端のフィルタ処理をＯＮ／ＯＦＦで切り替えるようにしてもよい。
　そのようにすることで、ピクチャ単位の適応的な制御を実現でき、予測効率を高めることができる。なお、ピクチャ単位にフレーム符号化とフィールド符号化を適応的に切り替える符号化を実現する場合には、上記フラグはピクチャレベルヘッダに用意する必要がある。
　また、この実施の形態１では、シーケンスレベルヘッダあるいはピクチャレベルヘッダのフィールド符号化か否かを示すフラグに基づいて予測画像生成ブロック上端のフィルタ処理のＯＮ／ＯＦＦを切り替える場合について説明したが、シーケンスレベルヘッダあるいはピクチャレベルヘッダのフィールド符号化か否かを示すフラグとは別に本切り替え処理を行うか否かを示すフラグを定義し、この切り替え処理を行うか否かを示すフラグに基づいて予測画像生成ブロック上端のフィルタ処理のＯＮ／ＯＦＦを切り替えるようにしてもよい。
　また、この実施の形態１では、先に説明した符号化順の切り替えと、上記フィルタ処理の切り替えとを、それぞれ別々に説明したが、これらを組み合わせて設定するようにしてもよい。
　イントラ予測モードのインデックス値が０（平面予測）、１（平均値予測）、２６（垂直方向予測）、１０（水平方向予測）以外の場合には、インデックス値が示す予測方向ベクトルυp＝（ｄｘ，ｄｙ）に基づいて、予測画像生成ブロック内の画素の予測値を生成する。
　図９に示すように、予測画像生成ブロックの左上画素を原点として、予測画像生成ブロック内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。
Figure JPOXMLDOC01-appb-I000005
ただし、ｋは負の実数である。
　参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
　図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
　補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求するカラー画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
　以上に述べた処理によって、予測画像生成ブロック単位に予測ブロックＰi n内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像ＰINTRAi nを出力する。
　なお、イントラ予測画像ＰINTRAi nの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために可変長符号化部１３に出力される。
　なお、先に説明したＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画素に対して施される平滑化処理と同様に、イントラ予測部４において、予測画像生成ブロックの予測画像を生成する際の参照画素を、予測画像生成ブロックに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の予測画像に対するフィルタ処理を行うことができる。このようにすることで参照画素へのフィルタ処理による参照画素のノイズが除去され、これを用いて予測を行うことで予測の精度高めることができる。
　あるいは、上記参照画素へのフィルタ処理は予測画像へのフィルタ処理を行う平均値予測、垂直方向予測、水平方向予測以外の予測の際のみ実施するようにしてもよい。このようにすることで、各予測モードに対して最大で１つのフィルタ処理しか行わずに済み、演算量の増加を抑えることができる。
　上記では、輝度信号の予測画像生成処理について説明したが、色差成分に対する予測画像は次のように生成する。
　予測ブロックＰi nの色差信号に対して、色差信号のイントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
　図２３は色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例を示す説明図である。
　色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、垂直方向予測モードまたは水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
　なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように構成してもよい。ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　当然、ＹＵＶ４：４：４信号の場合においても、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
　また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２７に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２８に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
　具体的には、図２９に示すように、輝度信号の予測方向ベクトルをｖL＝（ｄｘL，ｄｙL）とした場合、色差信号の予測方向ベクトルは、ｖC＝（ｄｘL／２，ｄｙL）となる。即ち、図３０に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθL、色差信号の予測方向の角度をθCとして、ｔａｎθC＝２ｔａｎθLの関係となる予測方向で予測する必要がある。
　したがって、入力信号フォーマットがＹＵＶ４：２：２信号である場合、上記ＤＭモードを実施する際には、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。
　図３１は図７のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
　図３１の変換テーブルは、予測方向の角度がθであるとき（図３０を参照）、イントラ予測モードの方向性予測が図３２に示すｔａｎθとなる角度である場合、ｔａｎθC＝２ｔａｎθLの関係に最も近い角度θCに変換するテーブルの例である。
　変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
　このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
　また、色差信号に対して上記ＬＭモードを行わないように構成してもよい。このときの色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例として、図２４が挙げられる。
　このようにＬＭモードも用いないようにすることで、予測対象画素の輝度信号と色差信号の依存性がなくなるため、輝度信号と色差信号の予測処理の並列化が可能となり、高速な演算処理を実現することができる。
　さらに、色差信号では、色差信号の垂直方向予測及び水平方向予測については、ブロック境界のフィルタ処理を行わずに、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４と同様の予測手法としてもよい。このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。
　次に、図３のカラー画像復号装置の処理内容を具体的に説明する。
　可変長復号部３１は、図１のカラー画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報（シーケンスレベルヘッダ）及びピクチャ単位のヘッダ情報（ピクチャレベルヘッダ）、ループフィルタ部３８で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。
　このとき、上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部３１は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。
　具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、カラー画像符号化装置及びカラー画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、量子化マトリクスパラメータに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
　そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報（スライスレベルヘッダ）を復号し、各スライスの符号化データを復号する。
　また、可変長復号部３１は、図１のカラー画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限をカラー画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
　例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、カラー画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
　最大符号化ブロックサイズ及び分割階層数の上限が、カラー画像符号化装置側でシーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いるようにする。ただし、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズが符号化されている場合、これを復号することで分割階層数の上限を決定する。即ち、最大符号化ブロックを上記最小ブロックサイズまで分割した場合が分割階層数の上限となる。
　可変長復号部３１は、決定された最大符号化ブロック単位に、図６で示されるような最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する（ステップＳＴ２３）。
　次に、可変長復号部３１は、符号化ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、符号化ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。
　即ち、可変長復号部３１は、符号化ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
　一方、符号化ブロックに割り当てられている符号化モードがインター符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。
　さらに、可変長復号部３１は、予測差分符号化パラメータに含まれる変換ブロック分割情報に基づき、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。
　その際、図１のカラー画像符号化装置の可変長符号化部１３での圧縮データの符号化処理と同様に、ＣＧ単位の係数の復号処理を実施する。
　したがって、図１５に示すように、４×４画素単位の１６個のＣＧを右下のＣＧから順に復号処理し、さらに、各ＣＧはＣＧ内の１６個の係数を右下の係数から順に復号していくことになる。
　具体的には、まず、ＣＧ内の１６個の係数の中に有意（非零）係数が存在するか否かのフラグ情報を復号し、次に復号したフラグ情報がＣＧ内に有意（非零）係数が存在することを示す場合のみＣＧ内の各係数が有意（非零）係数であるかを上記順に復号し、最後に有意（非零）係数を示す係数に対して、その係数値情報を順に復号する。これをＣＧ単位に上記順に行う。
　切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
　一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がインター符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。
　イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モード（ｍ（Ｂn）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた符号化ブロックＢn内の各予測ブロックＰi nに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAi nを生成する（ステップＳＴ２６）。
　ただし、可変長復号部３１によって復号されたシーケンスレベルヘッダにフィールド符号化か否かを示すフラグを持ち、上記フラグが有効である場合、図１のカラー画像符号化装置と同様に平均値（ＤＣ）予測及び水平方向予測の予測画像生成ブロック上端のフィルタ処理を行わないようにする。このようにすることで、図１のカラー画像符号化装置で生成したストリームと同一の予測画像を生成することができる。
　なお、図１のカラー画像符号化装置において、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグをピクチャレベルヘッダに用意している場合、このピクチャレベルヘッダのフィールド符号化か否かを示すフラグの値に応じて、ピクチャ単位に、平均値（ＤＣ）予測及び水平方向予測の予測画像生成ブロック上端のフィルタ処理をＯＮ／ＯＦＦで切り替えるようにする。
　このようにすることで、上記のように構成した図１のカラー画像符号化装置で生成したストリームと同一の予測画像を生成することができる。
　また、イントラ予測部３４は、輝度信号については、輝度信号に対する上記イントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度信号の予測画像を生成する。
　一方、色差信号については、色差信号のイントラ予測パラメータに基づくイントラ予測処理を実施して、色差信号の予測画像を生成する。
　図２３は色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例を示す説明図である。
　色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、垂直方向予測モードまたは水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
　なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないようにカラー画像符号化装置が構成されている場合、そのカラー画像符号化装置から生成されるビットストリームが復号できるようにカラー画像復号装置も同様の構成とする。
　ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２７に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２８に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
　具体的には、図２９に示すように、輝度信号の予測方向ベクトルをｖL＝（ｄｘL，ｄｙL）とした場合、色差信号の予測方向ベクトルは、ｖC＝（ｄｘL／２，ｄｙL）となる。即ち、図３０に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθL、色差信号の予測方向の角度をθCとして、ｔａｎθC＝２ｔａｎθLの関係となる予測方向で予測する必要がある。
　したがって、入力信号フォーマットがＹＵＶ４：２：２信号である場合、上記ＤＭモードを実施する際には、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。
　図３１は図７のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
　図３１の変換テーブルは、予測方向の角度がθであるとき（図３０を参照）、イントラ予測モードの方向性予測が図３２に示すｔａｎθとなる角度である場合、ｔａｎθC＝２ｔａｎθLの関係に最も近い角度θCに変換するテーブルの例である。
　変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
　このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
　また、色差信号に対して、上記ＬＭモードを行わないようにカラー画像符号化装置が構成されている場合、そのカラー画像符号化装置から生成されるビットストリームが復号できるようにカラー画像復号装置も同様の構成とする。
　このときの色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例として、図２４が挙げられる。
　このようにＬＭモードも用いないようにすることで、予測対象画素の輝度信号と色差信号の依存性がなくなるため、輝度信号と色差信号の予測処理の並列化が可能になり、高速な演算処理を実現することができる。
　さらに、色差信号では、色差信号の垂直方向予測及び水平方向予測については、ブロック境界のフィルタ処理を行わずに、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４と同様の予測手法としてカラー画像符号化装置が構成されている場合、そのカラー画像符号化装置から生成されるビットストリームが復号できるようにカラー画像復号装置も同様の構成とする。
　このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。
　動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂn）がインター符号化モード（ｍ（Ｂn）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた符号化ブロックＢn内の各予測ブロックＰi nに対するインター予測処理を実施してインター予測画像ＰINTERi nを生成する（ステップＳＴ２７）。
　逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
　このとき、可変長復号部３１により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。
　この際、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に使用する量子化マトリクスを特定する。
　また、逆量子化・逆変換部３２は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。
　加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像ＰINTRAi n、または、動き補償部３５により生成されたインター予測画像ＰINTERi nのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
　この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
　ループフィルタ部３８は、全ての符号化ブロックＢnに対するステップＳＴ２３～ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
　具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
　ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。
　このとき、２つ以上のフィルタ処理を行う場合に、例えば、カラー画像符号化装置のループフィルタ部１１が図１１のように構成されている場合には、図１２に示すようにループフィルタ部３８が構成される。
　ここで、デブロッキングフィルタ処理では、可変長復号部３１により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
　画素適応オフセット処理では、可変長復号部３１により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて分割し、そのブロック単位に、可変長復号部３１により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
　なお、クラス分類手法の候補として、ループフィルタ部１１の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
　そして、ループフィルタ部３８は、ブロック単位の各クラスのオフセット値を特定する可変長復号部３１により可変長復号されたオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
　適応フィルタ処理では、可変長復号部３１により可変長復号されたクラス毎のフィルタを用いて、図１のカラー画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
　このループフィルタ部３８によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
　以上で明らかなように、この実施の形態１によれば、カラー画像の信号フォーマットがＹＵＶ４：２：２であり、予測ブロックにおける色差信号のフレーム内予測処理に用いるイントラ予測パラメータが、その予測ブロックにおける輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合、イントラ予測部４が、その輝度信号に対するイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードで、その色差信号のフレーム内予測処理を実施するように構成したので、カラー画像の信号フォーマットがＹＵＶ４：２：２である場合でも、色差信号の予測効率の低下を招くことなく、符号化効率を高めることができる効果を奏する。
　また、この実施の形態１によれば、カラー画像の信号フォーマットがＹＵＶ４：２：２であるとき、予測対象ブロックの色差信号を予測するイントラ予測モードとして、輝度信号と同じ予測モードを用いる輝度色差共通イントラ予測モードを用いる旨を示している場合、輝度信号のイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードを用いて、予測対象ブロックの色差信号のフレーム内予測処理を実施するように構成したので、精度の高い予測処理を実現することができ、符号化効率を高めることができる実施の形態１のカラー画像符号化装置で符号化されたビットストリームを正しく復号することができる効果を奏する。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　この発明に係るカラー画像符号化装置は、カラー画像の信号フォーマットがＹＵＶ４：２：２である場合は、輝度信号に対するイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードで、色差信号のフレーム内予測処理を実施するので、カラー画像の信号フォーマットがＹＵＶ４：２：２である場合でも、色差信号の予測効率の低下を招くことなく、符号化効率を高めることができ、カラー動画像を高効率で符号化を行うのに好適なものである。
　１　ブロック分割部、２　符号化制御部、３　切換スイッチ、４　イントラ予測部（イントラ予測手段）、５　動き補償予測部、６　減算部、７　変換・量子化部、８　逆量子化・逆変換部、９　加算部、１０　イントラ予測用メモリ、１１　ループフィルタ部、１２　動き補償予測フレームメモリ、１３　可変長符号化部、１４　スライス分割部、３１　可変長復号部、３２　逆量子化・逆変換部、３３　切換スイッチ、３４　イントラ予測部（イントラ予測手段）、３５　動き補償部、３６　加算部、３７　イントラ予測用メモリ、３８　ループフィルタ部、３９　動き補償予測フレームメモリ。

Claims (4)

  1. 　カラー画像を構成している符号化ブロック内の予測ブロック毎に設定されているイントラ予測パラメータを用いて、各予測ブロックに対するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
    　上記イントラ予測手段は、上記カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、輝度信号に対するイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードで、色差信号のフレーム内予測処理を実施することを特徴とするカラー画像符号化装置。
  2. 　符号化ブロック内の予測ブロック毎に設定されているイントラ予測パラメータを用いて、各予測ブロックに対するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
    　上記イントラ予測手段は、上記符号化ブロックが構成しているカラー画像の信号フォーマットがＹＵＶ４：２：２である場合、輝度信号に対するイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードで、色差信号のフレーム内予測処理を実施することを特徴とするカラー画像復号装置。
  3. 　イントラ予測手段が、カラー画像を構成している符号化ブロック内の予測ブロック毎に設定されているイントラ予測パラメータを用いて、各予測ブロックに対するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
    　上記イントラ予測処理ステップでは、上記カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、輝度信号に対するイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードで、色差信号のフレーム内予測処理を実施することを特徴とするカラー画像符号化方法。
  4. 　イントラ予測手段が、符号化ブロック内の予測ブロック毎に設定されているイントラ予測パラメータを用いて、各予測ブロックに対するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
    　上記イントラ予測処理ステップでは、上記符号化ブロックが構成しているカラー画像の信号フォーマットがＹＵＶ４：２：２である場合、輝度信号に対するイントラ予測モードを示すインデックスを変換し、変換後のインデックスが示すイントラ予測モードで、色差信号のフレーム内予測処理を実施することを特徴とするカラー画像復号方法。
PCT/JP2014/060019 2013-04-05 2014-04-04 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 WO2014163200A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP14779411.9A EP2983360A4 (en) 2013-04-05 2014-04-04 COLOR IMAGE DEVICE, COLOR IMAGE DECODER, COLOR IMAGE PROCESS AND COLOR IMAGE DECODING METHOD
CN201480019631.6A CN105103547A (zh) 2013-04-05 2014-04-04 彩色图像编码装置、彩色图像解码装置、彩色图像编码方法以及彩色图像解码方法
BR112015025113-7A BR112015025113B1 (pt) 2013-04-05 2014-04-04 Dispositivo de decodificação de imagem a cores, e, método de decodificação de imagem a cores
JP2015510162A JPWO2014163200A1 (ja) 2013-04-05 2014-04-04 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
US14/781,970 US9774872B2 (en) 2013-04-05 2014-04-04 Color image encoding device, color image decoding device, color image encoding method, and color image decoding method
KR1020157031774A KR101749855B1 (ko) 2013-04-05 2014-04-04 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법
HK16100571.9A HK1212838A1 (zh) 2013-04-05 2016-01-19 彩色圖像編碼裝置、彩色圖像解碼裝置、彩色圖像編碼方法以及彩色圖像解碼方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-079497 2013-04-05
JP2013079497 2013-04-05

Publications (1)

Publication Number Publication Date
WO2014163200A1 true WO2014163200A1 (ja) 2014-10-09

Family

ID=51658487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/060019 WO2014163200A1 (ja) 2013-04-05 2014-04-04 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法

Country Status (8)

Country Link
US (1) US9774872B2 (ja)
EP (1) EP2983360A4 (ja)
JP (1) JPWO2014163200A1 (ja)
KR (1) KR101749855B1 (ja)
CN (1) CN105103547A (ja)
BR (1) BR112015025113B1 (ja)
HK (1) HK1212838A1 (ja)
WO (1) WO2014163200A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157924A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US10097827B2 (en) 2016-04-05 2018-10-09 Fujitsu Limited Apparatus and method for image encoding, apparatus and method for image decoding, and image transmission system
JP2019213206A (ja) * 2013-04-05 2019-12-12 キヤノン株式会社 符号化方法、復号方法、符号化装置、復号装置、及びプログラム
CN113766223A (zh) * 2020-06-03 2021-12-07 北京三星通信技术研究有限公司 预测模式获取方法和装置
US11202063B2 (en) 2016-10-04 2021-12-14 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium storing bit stream
JP7538243B2 (ja) 2020-04-02 2024-08-21 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ４：４：４のクロマフォーマット及びシングルツリーの場合のすべてのチャネルに対するｍｉｐ

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9774872B2 (en) * 2013-04-05 2017-09-26 Mitsubishi Electric Corporation Color image encoding device, color image decoding device, color image encoding method, and color image decoding method
JP6680260B2 (ja) * 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
US11044466B2 (en) 2018-01-26 2021-06-22 Samsung Electronics Co., Ltd. Image processing device
KR20240005108A (ko) * 2019-01-08 2024-01-11 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 예측 방법, 장치 및 시스템, 디바이스 및 저장 매체
KR102642797B1 (ko) 2019-01-14 2024-03-05 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102452870B1 (ko) * 2019-06-25 2022-10-07 닛폰 호소 교카이 인트라 예측 장치, 화상 복호 장치, 및 프로그램
WO2021132404A1 (ja) * 2019-12-26 2021-07-01 日本放送協会 符号化装置、復号装置、及びプログラム
JP2021158633A (ja) * 2020-03-30 2021-10-07 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN112905829A (zh) * 2021-03-25 2021-06-04 王芳 一种跨模态人工智能信息处理系统及检索方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172599A (ja) * 2007-01-12 2008-07-24 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、および動画像復号方法
JP2013005344A (ja) * 2011-06-20 2013-01-07 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP2013150178A (ja) * 2012-01-19 2013-08-01 Sharp Corp 画像復号装置、および画像符号化装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998041012A1 (en) * 1997-03-12 1998-09-17 Matsushita Electric Industrial Co., Ltd. Mpeg decoder providing multiple standard output signals
JP2001014454A (ja) * 1999-06-29 2001-01-19 Sharp Corp 画像処理装置
EP1391121B1 (en) * 2001-03-23 2012-08-15 Nokia Corporation Variable length coding
US7158668B2 (en) * 2003-08-01 2007-01-02 Microsoft Corporation Image processing using linear light values and other image processing improvements
KR20070077609A (ko) * 2006-01-24 2007-07-27 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
US8121195B2 (en) * 2006-11-30 2012-02-21 Lsi Corporation Memory reduced H264/MPEG-4 AVC codec
US20080137743A1 (en) * 2006-12-06 2008-06-12 Electronics And Telecommunications Research Institute Intra-mode predication search method and apparatus for compression of real-time video signal
CN102090067B (zh) * 2008-08-04 2013-03-20 松下电器产业株式会社 摄像装置、图像处理方法、图像处理程序及半导体集成电路
US9210436B2 (en) * 2010-01-11 2015-12-08 Sungkyunkwan University Foundation For Corporate Collaboration Distributed video coding/decoding method, distributed video coding/decoding apparatus, and transcoding apparatus
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
EP3703369B1 (en) * 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
CN103392341A (zh) * 2010-12-23 2013-11-13 三星电子株式会社 用于对图像预测单元的帧内预测模式进行编码的方法和装置，以及用于对图像预测单元的帧内预测模式进行解码的方法和装置
CN103119943B (zh) * 2011-06-03 2017-03-08 太阳专利托管公司 图像编码方法及图像解码方法
JP2013034162A (ja) 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
KR101678347B1 (ko) 2011-06-20 2016-11-21 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 또한 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
JP2013058939A (ja) * 2011-09-08 2013-03-28 Sharp Corp 画像復号装置、および画像符号化装置
AU2013311185B2 (en) * 2012-09-06 2017-06-22 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, image coding and decoding apparatus
JP6137817B2 (ja) * 2012-11-30 2017-05-31 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
JP5840638B2 (ja) 2013-03-21 2016-01-06 株式会社東芝 放射線検出装置及び放射線の検出方法
JP5849206B2 (ja) * 2013-03-27 2016-01-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9774872B2 (en) * 2013-04-05 2017-09-26 Mitsubishi Electric Corporation Color image encoding device, color image decoding device, color image encoding method, and color image decoding method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172599A (ja) * 2007-01-12 2008-07-24 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法、および動画像復号方法
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP2013005344A (ja) * 2011-06-20 2013-01-07 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
JP2013150178A (ja) * 2012-01-19 2013-08-01 Sharp Corp 画像復号装置、および画像符号化装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B. BROSS; W.-J. HAN; J.-R. OHM; G. J. SULLIVAN; Y.-K. WANG; T. WIEGAND: "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent", JCTVC-L1003, JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-TSG16 WP3 AND ISO/IEC JTC1/SC29/WG11, 12TH MEETING, 2013
See also references of EP2983360A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019213206A (ja) * 2013-04-05 2019-12-12 キヤノン株式会社 符号化方法、復号方法、符号化装置、復号装置、及びプログラム
WO2016157924A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
CN107409208A (zh) * 2015-03-27 2017-11-28 索尼公司 图像处理装置、图像处理方法、程序以及记录媒体
JPWO2016157924A1 (ja) * 2015-03-27 2018-01-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US10362305B2 (en) 2015-03-27 2019-07-23 Sony Corporation Image processing device, image processing method, and recording medium
US10097827B2 (en) 2016-04-05 2018-10-09 Fujitsu Limited Apparatus and method for image encoding, apparatus and method for image decoding, and image transmission system
US11202063B2 (en) 2016-10-04 2021-12-14 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium storing bit stream
US11902509B2 (en) 2016-10-04 2024-02-13 Lx Semicon Co., Ltd. Method and device for encoding/decoding image, and recording medium storing bit stream
US12088795B2 (en) 2016-10-04 2024-09-10 Lx Semicon Co., Ltd. Method and device for encoding/decoding image, and recording medium storing bit stream
JP7538243B2 (ja) 2020-04-02 2024-08-21 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ４：４：４のクロマフォーマット及びシングルツリーの場合のすべてのチャネルに対するｍｉｐ
CN113766223A (zh) * 2020-06-03 2021-12-07 北京三星通信技术研究有限公司 预测模式获取方法和装置

Also Published As

Publication number Publication date
EP2983360A4 (en) 2016-11-16
HK1212838A1 (zh) 2016-06-17
US9774872B2 (en) 2017-09-26
US20160050421A1 (en) 2016-02-18
KR101749855B1 (ko) 2017-06-21
BR112015025113B1 (pt) 2023-03-21
CN105103547A (zh) 2015-11-25
KR20150139933A (ko) 2015-12-14
EP2983360A1 (en) 2016-02-10
BR112015025113A2 (pt) 2017-07-18
JPWO2014163200A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6573689B2 (ja) 画像符号化装置および画像符号化方法
WO2014163200A1 (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JP6005087B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造
JP5674972B2 (ja) 画像符号化装置及び画像復号装置
WO2012176381A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2013108684A1 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法及び動画像符号化方法
WO2012081162A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2014049981A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP6362370B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6373008B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2014204311A (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JP2014090327A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014090326A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2014049982A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2013108882A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013098713A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2018166329A (ja) 画像符号化装置および画像復号装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480019631.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14779411

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015510162

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14781970

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014779411

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20157031774

Country of ref document: KR

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015025113

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015025113

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150930