WO2012008389A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2012008389A1
WO2012008389A1 PCT/JP2011/065735 JP2011065735W WO2012008389A1 WO 2012008389 A1 WO2012008389 A1 WO 2012008389A1 JP 2011065735 W JP2011065735 W JP 2011065735W WO 2012008389 A1 WO2012008389 A1 WO 2012008389A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
orthogonal transform
inverse
frequency component
dct
Prior art date
Application number
PCT/JP2011/065735
Other languages
English (en)
French (fr)
Inventor
健治 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR20137000110A priority Critical patent/KR20130088114A/ko
Priority to RU2013100169/08A priority patent/RU2013100169A/ru
Priority to AU2011277552A priority patent/AU2011277552A1/en
Priority to CA2802439A priority patent/CA2802439A1/en
Priority to BR112013000637A priority patent/BR112013000637A2/pt
Priority to CN2011800340205A priority patent/CN102986223A/zh
Priority to MX2013000355A priority patent/MX2013000355A/es
Priority to US13/809,819 priority patent/US20130108185A1/en
Priority to EP11806719.8A priority patent/EP2595384A1/en
Publication of WO2012008389A1 publication Critical patent/WO2012008389A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Definitions

  • the present technology relates to an image processing device, an image processing method, and a program, and more particularly, to an image processing device, an image processing method, and a program that can reduce the amount of computation of orthogonal transform processing or inverse orthogonal transform processing.
  • ROT Directional Transform
  • FIG. 1 shows a process example of inverse ROT in a decoder that decodes image data encoded by performing orthogonal transform by such a method.
  • the white box on the left is image data as residual information extracted from the encoded image data.
  • This image data is inversely quantized for each block having pixel values of 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels, 32 ⁇ 32 pixels, 64 ⁇ 64 pixels, or 128 ⁇ 128 pixels. Then, only the 4 ⁇ 4 or 8 ⁇ 8 pixel block composed of the low frequency components in the dequantized block is subjected to the inverse ROT, and the coefficient after the inverse ROT and the remaining blocks in the dequantized block are processed. The high frequency components are combined and inverse DCT transformed.
  • CU Coreding Unit
  • This technology has been made in view of such a situation, and is intended to reduce the processing amount of ROT and DCT or inverse DCT and inverse ROT.
  • the image processing apparatus or the program according to one aspect of the present technology obtains the image obtained by performing the second orthogonal transform after the first orthogonal transform by performing inverse quantization on the quantized image.
  • An inverse quantization unit that obtains a low-frequency component of a predetermined size and a high-frequency component that is a component other than the low-frequency component of the image obtained by the first orthogonal transform, and the size of the image
  • the first inverse orthogonal transform corresponding to the first orthogonal transform and the second inverse orthogonal corresponding to the second orthogonal transform are performed on the image that is the low frequency component.
  • Performing a third inverse orthogonal transform which is a transform obtained by combining the transforms, and if the size of the image is larger than the predetermined size, performing the second inverse orthogonal transform on the low frequency component,
  • the low frequency component after inverse orthogonal transformation and
  • An image processing apparatus provided with an inverse orthogonal transform unit that performs the first inverse orthogonal transform on the high-frequency component obtained by the inverse quantization unit, or a program for causing a computer to function as the image processing apparatus It is.
  • An image processing method provides a predetermined size of the image obtained by performing a second orthogonal transform after the first orthogonal transform by performing inverse quantization on the quantized image. And the high-frequency component obtained by the first orthogonal transformation, which is a component other than the low-frequency component of the image, and when the size of the image is the predetermined size, A third transform that is a combination of the first inverse orthogonal transform corresponding to the first orthogonal transform and the second inverse orthogonal transform corresponding to the second orthogonal transform for the image that is a low-frequency component.
  • the second inverse orthogonal transform is performed on the low frequency component, and the low frequency component after the second inverse orthogonal transform is performed. And before obtained by the inverse quantization unit
  • the image processing method comprising the steps of performing the first inverse orthogonal transform on the high-frequency component.
  • a low frequency of a predetermined size of the image obtained by performing the second orthogonal transform after the first orthogonal transform by performing inverse quantization on the quantized image When a component and a high frequency component that is a component other than the low frequency component of the image obtained by the first orthogonal transformation are obtained, and the size of the image is the predetermined size, the low frequency A third inverse transform that is a transform obtained by combining the first inverse orthogonal transform corresponding to the first orthogonal transform and the second inverse orthogonal transform corresponding to the second orthogonal transform with respect to the image that is a component.
  • the second inverse orthogonal transform is performed on the low frequency component, and the low frequency component after the second inverse orthogonal transform and Before determined by the inverse quantization unit It said first inverse orthogonal transform is performed on the high-frequency component.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 2 is a block diagram illustrating a configuration example of an embodiment of an AVC encoder to which the present technology is applied.
  • the apparatus includes an A / D conversion device 101, a screen rearrangement buffer 102, an arithmetic device 103, an orthogonal transformation device 104, a quantization device 105, a lossless encoding device 106, a storage buffer 107, an inverse quantization device 108, an inverse quantization device.
  • the apparatus includes an orthogonal transformation device 109, an addition device 110, a deblock filter 111, a frame memory 112, a motion compensation device 113, an intra prediction device 114, a rate control device 115, a motion prediction device 116, and a selection device 117.
  • the encoder in FIG. 1 compresses and encodes an input image using the AVC method.
  • the A / D conversion device 101 of the encoder performs A / D conversion on an image in units of frames input as an input signal, and outputs and stores it in the screen rearrangement buffer 102.
  • the screen rearrangement buffer 102 rearranges the stored frame images in the display order in the order for encoding according to the GOP (Group of Picture) structure.
  • the computing device 103 subtracts the predicted image supplied from the selection device 117 from the image read from the screen rearrangement buffer 102 as necessary.
  • the arithmetic device 103 outputs an image obtained as a result of the subtraction to the orthogonal transform device 104 as residual information.
  • the arithmetic device 103 outputs the image read from the screen rearrangement buffer 102 as it is to the orthogonal transform device 104 as residual information.
  • the orthogonal transform device 104 performs orthogonal transform processing on the residual information from the arithmetic device 103 according to the block size. Specifically, when the block size is 4 ⁇ 4 pixels, the orthogonal transform apparatus 104 performs transform by combining DCT and ROT on the residual information. On the other hand, when the block size is 8 ⁇ 8 pixels, the orthogonal transform apparatus 104 performs DCT on the residual information and performs ROT on the coefficient obtained as a result. When the block size is larger than 8 ⁇ 8 pixels, the orthogonal transform apparatus 104 performs DCT on the residual information, and performs ROT on the low-frequency component of 8 ⁇ 8 pixels among the resulting coefficients. And the resulting coefficients and the remaining high frequency components are final coefficients. The orthogonal transformation device 104 supplies the coefficient obtained as a result of the orthogonal transformation processing to the quantization device 105.
  • the quantization device 105 quantizes the coefficient supplied from the orthogonal transformation device 104.
  • the quantized coefficient is input to the lossless encoding device 106.
  • the lossless encoding apparatus 106 acquires information indicating the optimal intra prediction mode (hereinafter referred to as intra prediction mode information) from the intra prediction apparatus 114, information indicating the optimal inter prediction mode (hereinafter referred to as inter prediction mode information), motion Vector information and the like are acquired from the motion prediction device 116.
  • intra prediction mode information information indicating the optimal intra prediction mode
  • inter prediction mode information information indicating the optimal inter prediction mode
  • motion Vector information motion Vector information and the like are acquired from the motion prediction device 116.
  • the lossless encoding device 106 performs variable length coding (for example, CAVLC (Context-Adaptive Variable Length Coding)), arithmetic coding (for example, CABAC) on the quantized coefficients supplied from the quantization device 105. (Context-Adaptive
  • CAVLC Context-Adaptive Variable Length Coding
  • CABAC Arithmetic
  • the accumulation buffer 107 temporarily stores the image compression information supplied from the lossless encoding device 106, and outputs it to, for example, a recording device or a transmission path (not shown) in the subsequent stage.
  • the quantized coefficient output from the quantizing device 105 is also input to the inverse quantizing device 108, and after being inverse quantized, is supplied to the inverse orthogonal transform device 109.
  • the inverse orthogonal transform device 109 performs an inverse orthogonal transform process on the coefficients supplied from the inverse quantization device 108 according to the block size. Specifically, when the block size is 4 ⁇ 4 pixels, the inverse orthogonal transform apparatus 109 performs transform by combining inverse ROT and inverse DCT on the coefficients. On the other hand, when the block size is 8 ⁇ 8 pixels, the inverse orthogonal transform apparatus 109 performs inverse ROT on the coefficient and performs inverse DCT on the coefficient obtained as a result.
  • the inverse orthogonal transform apparatus 109 performs inverse ROT on the low frequency component of 8 ⁇ 8 coefficient, and the coefficient obtained as a result and the remaining high frequency component. Perform reverse DCT.
  • the inverse orthogonal transform device 109 supplies residual information obtained as a result of the inverse orthogonal transform processing to the adder device 110.
  • the adder 110 adds the residual information supplied from the inverse orthogonal transform device 109 to the predicted image supplied from the intra prediction device 114 or the motion compensation device 113 as necessary, and locally decoded image. Get.
  • the adding device 110 supplies the obtained image to the deblocking filter 111 and also supplies it to the intra prediction device 114 as a reference image.
  • the deblocking filter 111 removes block distortion by filtering the locally decoded image supplied from the adding device 110.
  • the deblocking filter 111 supplies the image obtained as a result to the frame memory 112 and accumulates it.
  • the image stored in the frame memory 112 is output to the motion compensation device 113 and the motion prediction device 116 as a reference image.
  • the motion compensation device 113 performs a compensation process on the reference image supplied from the frame memory 112 based on the motion vector supplied from the motion prediction device 116 and the inter prediction mode information, and generates a prediction image.
  • the motion compensation device 113 supplies the cost function value (details will be described later) supplied from the motion prediction device 116 and the generated predicted image to the selection device 117.
  • the cost function value is also called RD (RatetorDistortion) cost, for example, either High Complexity mode or Low Complexity mode as defined by JM (Joint Model), which is the reference software in the AVC method. Calculated based on the method.
  • RD RatorDistortion
  • D is the difference (distortion) between the original image and the decoded image
  • R is the amount of generated code including up to the coefficient of orthogonal transform
  • ⁇ is the Lagrange multiplier given as a function of the quantization parameter QP.
  • D is the difference (distortion) between the original image and the decoded image
  • Header_Bit is the header bit for the prediction mode
  • QPtoQuant is a function given as a function of the quantization parameter QP.
  • the High Complexity mode is employed as a cost function value calculation method.
  • the intra prediction device 114 based on the image read from the screen rearrangement buffer 102 and the reference image supplied from the addition device 110, all candidate blocks in block units of all candidate block sizes. Intra prediction processing in the intra prediction mode is performed to generate a predicted image.
  • the intra prediction device 114 calculates cost function values for all candidate intra prediction modes and block sizes. Then, the intra prediction device 114 determines the combination of the intra prediction mode and the block size that minimizes the cost function value as the optimal intra prediction mode. The intra prediction device 114 supplies the prediction image generated in the optimal intra prediction mode and the corresponding cost function value to the selection device 117. The intra prediction device 114 supplies the intra prediction mode information to the lossless encoding device 106 when the selection device 117 is notified of the selection of the predicted image generated in the optimal intra prediction mode.
  • the motion prediction device 116 performs motion prediction in all candidate inter prediction modes based on the image supplied from the screen rearrangement buffer 102 and the reference image supplied from the frame memory 112, and generates a motion vector. . At this time, the motion prediction device 116 calculates cost function values for all candidate inter prediction modes, and determines the inter prediction mode that minimizes the cost function value as the optimal inter prediction mode. Then, the motion prediction device 116 supplies the inter prediction mode information, the corresponding motion vector, and the cost function value to the motion compensation device 113. When the selection device 117 is notified of selection of a predicted image generated in the optimal inter prediction mode, the motion prediction device 116 outputs inter prediction mode information, information on a corresponding motion vector, and the like to the lossless encoding device 106.
  • the selection device 117 determines one of the optimal intra prediction mode and the optimal inter prediction mode as the optimal prediction mode based on the cost function values supplied from the intra prediction device 114 and the motion compensation device 113. Then, the selection device 117 supplies the prediction image in the optimal prediction mode to the arithmetic device 103 and the addition device 110. In addition, the selection device 117 notifies the intra prediction device 114 or the motion prediction device 116 of selection of the prediction image in the optimal prediction mode.
  • the rate control device 115 controls the quantization operation rate of the quantization device 105 based on the image compression information stored in the storage buffer 107 so that overflow or underflow does not occur.
  • FIG. 3 is a block diagram of an AVC decoder corresponding to the encoder of FIG.
  • the compensator 224 includes an accumulation buffer 216, a lossless decoding device 217, an inverse quantization device 218, an inverse orthogonal transformation device 219, an addition device 220, a screen rearrangement buffer 221, a D / A conversion device 222, a frame memory 223, a motion
  • the compensator 224, the intra prediction device 225, the deblock filter 226, and the switch 227 are included.
  • the accumulation buffer 216 accumulates the compressed image information transmitted from the encoder of FIG.
  • the lossless decoding device 217 reads out and acquires image compression information from the storage buffer 216, and performs lossless decoding of the image compression information by a method corresponding to the lossless encoding method of the lossless encoding device 106 in FIG.
  • the lossless decoding device 217 performs lossless decoding of header information in the image compression information, and acquires intra prediction mode information, inter prediction mode information, motion vector information, and the like.
  • the lossless decoding device 217 performs lossless decoding on the compressed image in the image compression information.
  • the lossless decoding device 217 supplies the quantized coefficients obtained as a result of lossless decoding of the compressed image to the inverse quantization device 218.
  • the lossless decoding device 217 supplies intra prediction mode information obtained as a result of lossless decoding to the intra prediction device 225, and supplies inter prediction mode information, motion vector information, and the like to the motion compensation device 224.
  • the inverse quantization device 218 is configured in the same manner as the inverse quantization device 108 in FIG. 2, and the quantized coefficients supplied from the lossless decoding device 217 correspond to the quantization method of the quantization device 105 in FIG. Inverse quantization using the method The inverse quantization device 218 supplies the coefficient obtained as a result of the inverse quantization to the inverse orthogonal transform device 219.
  • the inverse orthogonal transform device 219 performs an inverse orthogonal transform process corresponding to the block size on the coefficients supplied from the inverse quantization device 218, similarly to the inverse orthogonal transform device 109 in FIG.
  • the inverse orthogonal transform device 219 supplies residual information obtained as a result of the inverse orthogonal transform processing to the adder device 220.
  • the adding device 220 adds the residual information supplied from the inverse orthogonal transform device 219 with the predicted image supplied from the switch 227 as necessary, and decodes it.
  • the adding device 220 supplies the decoded image obtained as a result to the intra prediction device 225 and the deblocking filter 226.
  • the deblock filter 226 removes block distortion by filtering the decoded image supplied from the adder 220.
  • the deblocking filter 226 supplies the image obtained as a result to the frame memory 223, accumulates it, and outputs it to the screen rearrangement buffer 221.
  • the screen rearrangement buffer 221 rearranges the images supplied from the deblock filter 226. Specifically, the order of images rearranged in the order for encoding by the screen rearrangement buffer 102 in FIG. 2 is rearranged in the original display order.
  • the D / A conversion device 222 performs D / A conversion on the images rearranged by the screen rearrangement buffer 221, and outputs and displays them as output signals on a display (not shown).
  • the frame memory 223 reads the stored image as a reference image and outputs it to the motion compensation device 224.
  • the intra prediction device 225 performs intra prediction processing in the optimal intra prediction mode indicated by the intra prediction mode information based on the intra prediction mode information supplied from the lossless decoding device 217, and generates a prediction image.
  • the intra prediction device 225 supplies the predicted image to the switch 227.
  • the motion compensation device 224 performs motion compensation processing on the reference image supplied from the frame memory 223 based on the inter prediction mode information, the motion vector information, and the like supplied from the lossless decoding device 217, and generates a predicted image.
  • the motion compensation device 224 supplies the predicted image to the switch 227.
  • the switch 227 selects the prediction image generated by the motion compensation device 224 or the intra prediction device 225 and supplies the selected prediction image to the addition device 220.
  • FIG. 4 is a block diagram showing a conventional encoder orthogonal transform device, quantization device, inverse quantization device, and inverse orthogonal transform device when performing DCT and ROT as orthogonal transform processing.
  • a conventional encoder orthogonal transform apparatus includes 4 ⁇ 4 DCT 411, 8 ⁇ 8 DCT 412, 16 ⁇ 16 DCT 413, 32 ⁇ 32 DCT 414, 64 ⁇ 64 DCT 415, 128 ⁇ 128 DCT 416, 4 ⁇ 4 ROT 417, and 8 ⁇ 8 ROT 418. Is done.
  • Residual information is input to 4 ⁇ 4 DCT 411, 8 ⁇ 8 DCT 412, 16 ⁇ 16 DCT 413, 32 ⁇ 32 DCT 414, 64 ⁇ 64 DCT 415, and 128 ⁇ 128 DCT 416 according to the block size and DCT is performed.
  • the 4 ⁇ 4 DCT 411 performs DCT on the residual information of 4 ⁇ 4 pixels, rounds the calculation accuracy of the 4 ⁇ 4 pixel coefficient obtained as a result, and supplies the result to the 4 ⁇ 4 ROT 417.
  • 8 ⁇ 8 DCT 412 performs DCT on the residual information of 8 ⁇ 8 pixels, rounds the calculation accuracy of the coefficient of 8 ⁇ 8 pixels obtained as a result, and supplies the result to 8 ⁇ 8 ROT 418.
  • the 16 ⁇ 16 DCT 413 performs DCT on the residual information of 16 ⁇ 16 pixels and rounds the calculation accuracy of the coefficient of 16 ⁇ 16 pixels obtained as a result.
  • the 16 ⁇ 16 DCT 413 supplies the low frequency component of 8 ⁇ 8 pixels among the 16 ⁇ 16 pixel coefficients obtained as a result thereof to the 8 ⁇ 8 ROT 418 and supplies the remaining high frequency components to the quantization device.
  • 32 ⁇ 32 DCT 414, 64 ⁇ 64 DCT 415, and 128 ⁇ 128 DCT 416 perform DCT on the residual information of 32 ⁇ 32 pixels, 64 ⁇ 64 pixels, and 128 ⁇ 128 pixels, respectively, and obtain the coefficients obtained as a result. Round arithmetic precision.
  • the 32 ⁇ 32 DCT 414, 64 ⁇ 64 DCT 415, and 128 ⁇ 128 DCT 416 supply only the low frequency components of 8 ⁇ 8 pixels of the resulting coefficients to the 8 ⁇ 8 ROT 418, and the remaining high frequency components to the quantizer. Supply.
  • 4 ⁇ 4 ROT 417 performs ROT on the 4 ⁇ 4 pixel coefficient supplied from 4 ⁇ 4 DCT 411 using an angle index.
  • the ROT is a rotation transformation using the vertical rotation matrix R vertical and the horizontal rotation matrix R horizontal shown in the following equation (1), and the angle index is ⁇ 1 to ⁇ in the equation (1). it is an ⁇ 6.
  • 8 ⁇ 8 ROT 418 performs ROT on the 8 ⁇ 8 pixel coefficients supplied from 8 ⁇ 8 DCT 412, 16 ⁇ 16 DCT 413, 32 ⁇ 32 DCT 414, 64 ⁇ 64 DCT 415, and 128 ⁇ 128 DCT 416 using an angle index.
  • the coefficient of 4 ⁇ 4 pixels obtained as a result of ROT by 4 ⁇ 4 ROT 417 and the coefficient of 8 ⁇ 8 pixels obtained as a result of ROT by 8 ⁇ 8 ROT 418 are rounded and supplied to the quantizer.
  • the quantizer is composed of 4 ⁇ 4 Quant 419, 8 ⁇ 8 Quant 420, 16 ⁇ 16 Quant 421, 32 ⁇ 32 Quant 422, 64 ⁇ 64 Quant 423, and 128 ⁇ 128 Quant 424.
  • 4 ⁇ 4 Quant 419 quantizes the coefficient of 4 ⁇ 4 pixels supplied from 4 ⁇ 4 ROT 417.
  • the 4 ⁇ 4 Quant 419 supplies the quantized coefficient of 4 ⁇ 4 pixels to the inverse quantization device and also supplies it to a lossless encoding device (not shown) similar to the lossless encoding device 106 of FIG.
  • 8 ⁇ 8 Quant 420 quantizes the coefficient of 8 ⁇ 8 pixels supplied from 8 ⁇ 8 ROT 418.
  • the 8 ⁇ 8 Quant 420 supplies the quantized coefficient of 8 ⁇ 8 pixels to the inverse quantization device and also supplies it to a lossless encoding device (not shown) similar to the lossless encoding device 106.
  • the 16 ⁇ 16 Quant 421 is an 8 ⁇ 8 pixel among the 8 ⁇ 8 pixel coefficient supplied from the 8 ⁇ 8 ROT 418 and the coefficient obtained as a result of DCT for the 16 ⁇ 16 pixel residual information supplied from the 16 ⁇ 16 DCT 413. Quantize high frequency components other than the low frequency components.
  • the 16 ⁇ 16 Quant 421 supplies the quantized coefficient of 16 ⁇ 16 pixels to the inverse quantization device and also supplies it to a lossless encoding device (not shown) similar to the lossless encoding device 106.
  • 32 ⁇ 32 Quant 422, 64 ⁇ 64 Quant 423, and 128 ⁇ 128 Quant 424 are the 8 ⁇ 8 pixel coefficient supplied from 8 ⁇ 8 ROT 418 and the remaining 32 ⁇ 32, 64 ⁇ 64, and 128 ⁇ 128 pixels, respectively.
  • high frequency components other than the low frequency components of 8 ⁇ 8 pixels are quantized.
  • the 32 ⁇ 32 Quant 422, 64 ⁇ 64 Quant 423, and 128 ⁇ 128 Quant 424 supply the quantized coefficients of 32 ⁇ 32 pixels, 64 ⁇ 64 pixels, and 128 ⁇ 128 pixels to the inverse quantizer, and the lossless encoding device. This is supplied to a lossless encoding apparatus (not shown) similar to 106.
  • the inverse quantization apparatus is composed of 4 ⁇ 4 Inv Quant 451, 8 ⁇ 8 Inv Quant 452, 16 ⁇ 16 Inv Quant 453, 32 ⁇ 32 Inv Quant 454, 64 ⁇ 64 Inv Quant 455, and 128 ⁇ 128 Inv Quant 456.
  • 4 ⁇ 4 Inv Quant 451, 8 ⁇ 8 Inv Quant 452, 16 ⁇ 16 Inv Quant 453, 32 ⁇ 32 Inv Quant 454, 64 ⁇ 64 Inv Quant 455 and 128 ⁇ 128 Inv Quant 456 are respectively 4 ⁇ 4 Quant 419, 8 ⁇ 8 Quant 420, 16 ⁇ 16 Quant 421, 32 ⁇ 32 Quant 422
  • the quantized coefficients supplied from 64 ⁇ 64 Quant 423, 128 ⁇ 128 Quant 424 are inversely quantized and supplied to the inverse orthogonal transform device.
  • the inverse orthogonal transform apparatus includes 4 ⁇ 4 InvInROT457, 8 ⁇ 8 Inv ROT458, 4 ⁇ 4Inv DCT459, 8 ⁇ 8Inv DCT460, 16 ⁇ 16Inv DCT461, 32 ⁇ 32Inv DCT462, 64 ⁇ 64Inv DCT463, and 128 ⁇ 128Inv DCT464. .
  • 4 ⁇ 4 Inv ROT 457 performs inverse ROT on the inversely quantized 4 ⁇ 4 pixel coefficient supplied from 4 ⁇ 4 Inv Quant 451 using an angle index.
  • the 4 ⁇ 4 Inv ROT 457 supplies the resulting 4 ⁇ 4 pixel coefficient to the 4 ⁇ 4 Inv DCT 459.
  • the 8 ⁇ 8 Inv ROT 458 performs inverse ROT using the angle index on the inversely quantized 8 ⁇ 8 pixel coefficient supplied from the 8 ⁇ 8 Inv Quant 452, and obtains the 8 ⁇ 8 pixel coefficient obtained as a result. Supply to 8 ⁇ 8 Inv DCT460.
  • the 8 ⁇ 8 Inv ROT 458 performs inverse ROT using an angle index on the low frequency component of 8 ⁇ 8 pixels among the 16 ⁇ 16 pixel coefficients inversely quantized supplied from the 16 ⁇ 16 Inv Quant 453. Do. Then, the 8 ⁇ 8 InvTROT 458 supplies the coefficient of 8 ⁇ 8 pixels obtained as a result of the inverse ROT to the 16 ⁇ 16 Inv DCT 461.
  • 8 ⁇ 8 Inv ROT 458 is the inverse quantized 32 ⁇ 32 pixel, 64 ⁇ 64 pixel, and 128 ⁇ 128 pixel coefficients supplied from 32 ⁇ 32 Inv Quant 454, 64 ⁇ 64 Inv Quant 455, and 128 ⁇ 128 Inv Quant 456.
  • the inverse ROT is performed on the low frequency components of 8 ⁇ 8 pixels using the angle index.
  • the 8 ⁇ 8 Inv ROT 458 is an 8 ⁇ 8 obtained as a result of the inverse ROT with respect to the low frequency component of 8 ⁇ 8 pixels among the dequantized coefficients of 32 ⁇ 32 pixels, 64 ⁇ 64 pixels, and 128 ⁇ 128 pixels.
  • the pixel coefficients are supplied to 32 ⁇ 32 InvInDCT 462, 64 ⁇ 64 Inv DCT 463, and 128 ⁇ 128 Inv DCT 464.
  • 4 ⁇ 4 Inv DCT 459 performs inverse DCT on the coefficient of 4 ⁇ 4 pixels supplied from 4 ⁇ 4 Inv Rot457.
  • the 4 ⁇ 4 Inv DCT 459 supplies the resulting 4 ⁇ 4 pixel residual information to an adder (not shown) similar to the adder 110 of FIG.
  • 8 ⁇ 8 Inv DCT 460 performs inverse DCT on the coefficient of 8 ⁇ 8 pixels supplied from 8 ⁇ 8 Inv Rot458.
  • the 8 ⁇ 8 Inv DCT 460 supplies 8 ⁇ 8 pixel residual information obtained as a result to an adder (not shown) similar to the adder 110.
  • the 16 ⁇ 16 Inv DCT 461 is a high-frequency component other than the 8 ⁇ 8 pixel low frequency component of the 8 ⁇ 8 pixel coefficient supplied from the 8 ⁇ 8 Inv Rot 458 and the 16 ⁇ 16 pixel coefficient supplied from the 16 ⁇ 16 Inv Quant 453. Perform inverse DCT on frequency components.
  • the 16 ⁇ 16 Inv DCT 461 supplies the 16 ⁇ 16 pixel residual information obtained as a result to an adder (not shown) similar to the adder 110.
  • 32 ⁇ 32 Inv DCT 462, 64 ⁇ 64 Inv DCT 463, and 128 ⁇ 128 Inv DCT 464 are respectively represented by 8 ⁇ 8 pixel coefficients supplied from 8 ⁇ 8 Inv Rot 458, 32 ⁇ 32 Inv Quant 454, 64 ⁇ 64 Inv Quant 455, 128 ⁇
  • the inverse DCT is performed on the high frequency components other than the low frequency components of 8 ⁇ 8 pixels among the coefficients supplied from 128 InvInQuant 456.
  • 32 ⁇ 32 Inv DCT 462, 64 ⁇ 64 Inv DCT 463, and 128 ⁇ 128 Inv DCT 464 are respectively the same as the adder 110 for residual information of 32 ⁇ 32 pixels, 64 ⁇ 64 pixels, and 128 ⁇ 128 pixels obtained as a result of inverse DCT. This is supplied to an adder (not shown).
  • residual information is input to an adder (not shown) to obtain a decoded image.
  • FIG. 5 is a block diagram showing details of the orthogonal transform device 104, the quantization device 105, the inverse quantization device 108, and the inverse orthogonal transform device 109 of the encoder of FIG.
  • the configuration of FIG. 5 is mainly based on the point that the 4 ⁇ 4 DCT 411 and the 4 ⁇ 4 ROT 417 are provided instead of the 4 ⁇ 4 DCT 411 and the 4 ⁇ 4 ROT 417 in the orthogonal transform device 104, and that the 4 ⁇ 4 Inv ROT 457 and 4 ⁇ 4 Inv are used in the inverse orthogonal transform device 109.
  • 4 is different from the configuration of FIG. 4 in that 4 ⁇ 4 Inv502ROT ⁇ Inv DCT 502 is provided instead of DCT 459. *
  • the 4 ⁇ 4 DCT ⁇ ROT 501 of the orthogonal transform device 104 performs transform by combining DCT and ROT on the 4 ⁇ 4 pixel residual information supplied from the arithmetic device 103 of FIG. 2 using the angle index. Specifically, the 4 ⁇ 4 DCT ⁇ ROT 501 prepares in advance a matrix for conversion by combining DCT and ROT corresponding to the angle index, and the 4 ⁇ 4 DCT ⁇ ROT 501 uses the matrix once. In the transformation, a coefficient of 4 ⁇ 4 pixels after DCT and ROT is obtained. The 4 ⁇ 4 DCT ⁇ ROT 501 rounds the calculation accuracy of the coefficient of 4 ⁇ 4 pixels and supplies it to the 4 ⁇ 4 Quant 419.
  • DCT and ROT are a kind of orthogonal transform, and are usually performed by matrix operation. Therefore, the matrix for conversion obtained by combining DCT and ROT is a matrix obtained by the product of the matrix used in the matrix operation of DCT and the matrix used in the matrix operation of ROT.
  • the orthogonal transformation device 104 can perform DCT and ROT with a single transformation on residual information of 4 ⁇ 4 pixels, the orthogonal transformation device 104 can perform orthogonal transformation processing as compared with the orthogonal transformation device of FIG. The amount of calculation can be reduced. Further, it is not necessary to round the calculation accuracy after DCT, and the calculation accuracy can be improved as compared with the orthogonal transformation device of FIG. Therefore, the output of 4 ⁇ 4 ROT 417 in FIG. 4 and the output of 4 ⁇ 4 DCT ⁇ ROT 501 in FIG. 5 are not the same.
  • the 4 ⁇ 4 Inv ⁇ ROT ⁇ Inv DCT 502 of the inverse orthogonal transform device 109 performs transform by combining the inverse DCT and the inverse ROT on the coefficient of 4 ⁇ 4 pixels supplied from the 4 ⁇ 4 Inv Quant 451 using the angle index.
  • the 4 ⁇ 4 Inv ROT ⁇ Inv DCT 502 prepares in advance a matrix for conversion by combining the inverse DCT and the inverse ROT corresponding to the angle index, and the 4 ⁇ 4 Inv ROT ⁇ Inv DCT 502 Is used to obtain residual information of 4 ⁇ 4 pixels after inverse DCT and inverse ROT.
  • the transformation obtained by combining the inverse DCT and the inverse ROT is an inverse transformation of the transformation performed by 4 ⁇ 4 DCT ⁇ ROT 501.
  • the 4 ⁇ 4 Inv ROT ⁇ Inv DCT 502 supplies 4 ⁇ 4 pixel residual information obtained as a result of the conversion to the adder 110 in FIG. 2.
  • the inverse orthogonal transform device 109 can perform inverse DCT and inverse ROT with a single transform on a coefficient of 4 ⁇ 4 pixels, it is inversely orthogonal compared to the inverse orthogonal transform device of FIG. The amount of calculation for the conversion process can be reduced. Further, it is not necessary to round the calculation accuracy after the inverse ROT, and the calculation accuracy can be improved as compared with the inverse orthogonal transform apparatus of FIG. Therefore, the output of 4 ⁇ 4 Inv DCT 459 in FIG. 4 and the output of 4 ⁇ 4 Inv ROT ⁇ Inv DCT 502 in FIG. 5 are not the same.
  • FIG. 6 is a block diagram showing a conventional decoder inverse quantization apparatus and inverse orthogonal transform apparatus when DCT and ROT are performed as orthogonal transform processing.
  • FIG. 6 is configured in the same manner as the inverse quantization apparatus in FIG. 4, and the inverse orthogonal transform apparatus in FIG. 6 is configured in the same manner as the inverse orthogonal transform apparatus in FIG.
  • the inverse quantization apparatus of FIG. 6 includes 4 ⁇ 4 Inv Quant 601, 8 ⁇ 8 Inv Quant 602, 16 ⁇ 16 Inv Quant 603, 32 ⁇ 32 Inv Quant 604, 64 ⁇ 64 Inv Quant 605, and 128 ⁇ 128 Inv Quant 606.
  • 4 ⁇ 4 Inv Quant 601, 8 ⁇ 8 Inv Quant 602, 16 ⁇ 16 Inv Quant 603, 32 ⁇ 32 Inv Quant 604, 64 ⁇ 64 Inv Quant 605, and 128 ⁇ 128 Inv Quant 606 are losslessly encoded and transmitted to the compressed image information transmitted from the encoder.
  • the quantized coefficient obtained as a result is inversely quantized in the same manner as the inverse quantization apparatus in FIG.
  • the inverse orthogonal transform apparatus of FIG. 6 includes 4 ⁇ 4 Inv ROT 607, 8 ⁇ 8 Inv ROT 608, 4 ⁇ 4 Inv DCT 609, 8 ⁇ 8 Inv DCT 610, 16 ⁇ 16 Inv DCT 611, 32 ⁇ 32 Inv DCT 612, 64 ⁇ 64 Inv DCT 613, and 128 ⁇ 128 Inv. It is comprised by DCT614.
  • the 4 ⁇ 4 Inv / ROT 607 and the 8 ⁇ 8 Inv / ROT 608 perform inverse ROT in the same manner as the 4 ⁇ 4 Inv / ROT 457 and the 8 ⁇ 8 Inv / ROT 458 in FIG.
  • FIG. 7 is a block diagram showing details of the inverse quantization device 218 and the inverse orthogonal transform device 219 of the decoder of FIG.
  • the inverse orthogonal transform device 219 is mainly provided with a 4 ⁇ 4 Inv ROT ⁇ Inv DCT 701 instead of the 4 ⁇ 4 Inv ROT 607 and the 4 ⁇ 4 Inv DCT 609 similarly to the inverse orthogonal transform device 109. Is different from the configuration of FIG.
  • the 4 ⁇ 4 Inv ROT ⁇ Inv DCT 701 of the inverse orthogonal transform device 219 uses the angle index to convert the coefficient of 4 ⁇ 4 pixels supplied from the 4 ⁇ 4 Inv ⁇ Quant 601 to the 4 ⁇ 4 Inv ROT ⁇ Inv DCT 502 in FIG.
  • conversion is performed by combining inverse DCT and inverse ROT.
  • the 4 ⁇ 4 Inv ROT ⁇ Inv DCT 701 supplies 4 ⁇ 4 pixel residual information obtained as a result of the conversion to the adder 220 in FIG. 3.
  • the angle index is determined by, for example, an encoder, is included in header information by the lossless encoding device 106, and is transmitted to the decoder.
  • DCT and ROT for the residual information of 4 ⁇ 4 pixels are performed by one conversion, but DCT and ROT for the residual information of 8 ⁇ 8 pixels as well as 4 ⁇ 4 pixels are performed. Alternatively, the conversion may be performed once. The same applies to reverse DCT and reverse ROT.
  • ROT is performed only on the low frequency component of 8 ⁇ 8 pixels for the coefficient having a size of 8 ⁇ 8 pixels or more obtained as a result of DCT, but ROT is performed.
  • the maximum size of the coefficient may be a size other than 8 ⁇ 8 pixels (4 ⁇ 4 pixels, 16 ⁇ 16 pixels, etc.). The same applies to reverse ROT.
  • FIG. 9, FIG. 10, FIG. 11, and FIG. 12 are flowcharts of processing of the encoder of FIG.
  • FIG. 8 is a flowchart for explaining macroblock (MB) encoding processing.
  • step S11 in FIG. 8 the encoder calculates an RD cost (P) when using inter prediction. Details of the process of calculating the RD cost (P) when using inter prediction will be described with reference to FIG. 9 described later.
  • step S12 the encoder calculates an RD cost (I) when intra prediction is used. Details of the process of calculating the RD cost (I) when using intra prediction will be described with reference to FIG.
  • step S13 the selection device 117 determines whether the RD cost (I) is greater than the RD cost (P).
  • the selection device 117 selects the optimal intra prediction mode. Is determined as the optimum prediction mode. Then, the selection device 117 supplies the prediction image in the optimal intra prediction mode to the arithmetic device 103 and the addition device 110. In addition, the selection device 117 notifies the intra prediction device 114 of selection of the prediction image in the optimal intra prediction mode. Thereby, the intra prediction device 114 supplies the intra prediction mode information to the lossless encoding device 106.
  • step S14 the encoder encodes the processing target macroblock (the MB) by intra prediction in the optimal intra prediction mode. Specifically, the arithmetic operation device 103 of the encoder subtracts the predicted image supplied from the selection device 117 from the processing target macroblock of the image read from the screen rearrangement buffer 102, and the orthogonal transformation device 104 The residual information obtained as a result is orthogonally transformed.
  • the quantization device 105 quantizes the coefficient obtained as a result of the orthogonal transformation by the orthogonal transformation device 104, and the lossless coding device 106 performs lossless coding of the quantized coefficient and lossless coding of intra prediction mode information and the like. Header information.
  • the accumulation buffer 107 temporarily accumulates and outputs a compressed image to which header information obtained as a result of lossless encoding is added as image compression information.
  • the selection device 117 determines the optimal inter prediction mode as the optimal prediction mode. Then, the selection device 117 supplies the prediction image in the optimal inter prediction mode to the arithmetic device 103 and the addition device 110. In addition, the selection device 117 notifies the motion prediction device 116 of selection of the prediction image in the optimal inter prediction mode. As a result, the motion prediction device 116 outputs inter prediction mode information, corresponding motion vector information, and the like to the lossless encoding device 106.
  • step S15 the encoder encodes the macroblock to be processed by inter prediction in the optimal inter prediction mode.
  • the arithmetic operation device 103 of the encoder subtracts the predicted image supplied from the selection device 117 from the processing target macroblock of the image read from the screen rearrangement buffer 102, and the orthogonal transformation device 104
  • the residual information obtained as a result is orthogonally transformed.
  • the quantization device 105 quantizes the coefficient obtained as a result of the orthogonal transformation by the orthogonal transformation device 104
  • the lossless coding device 106 performs lossless coding of the quantized coefficient, inter prediction mode information, and motion vector information. Etc. are converted into header information by lossless encoding.
  • the accumulation buffer 107 temporarily accumulates and outputs a compressed image to which header information obtained as a result of lossless encoding is added as image compression information.
  • FIG. 9 is a flowchart for explaining the details of the process of calculating the RD cost (P) when the inter prediction in step S11 of FIG. 8 is used.
  • step S31 of FIG. 9 the motion prediction device 116 sets the block size of inter prediction to 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels, 32 ⁇ 32 pixels, and 64 ⁇ 64 corresponding to each inter prediction mode. Of the pixels, 128 ⁇ 128 pixels, set to those not yet set.
  • step S32 the motion prediction device 116 performs motion prediction with the size set in step S31. Specifically, the motion prediction device 116 uses the image supplied from the screen rearrangement buffer 102 and the reference image supplied from the frame memory 112 to perform motion prediction in units of blocks having the size set in step S31. Do. As a result, a block-based motion vector (MV) is obtained. The motion prediction device 116 supplies the motion vector to the motion compensation device 113.
  • MV block-based motion vector
  • step S33 the motion compensation device 113 performs motion compensation (MC) according to the motion vector supplied from the motion prediction device 116. Specifically, the motion compensation device 113 generates a predicted image from the reference image supplied from the frame memory 112 according to the motion vector. The motion compensation device 113 supplies the generated predicted image to the arithmetic device 103 via the selection device 117.
  • MC motion compensation
  • step S34 the arithmetic unit 103 calculates the difference between the image corresponding to the input signal and the MC image (predicted image).
  • the arithmetic device 103 supplies the difference obtained as a result of the calculation to the orthogonal transform device 104 as residual information.
  • step S ⁇ b> 35 the orthogonal transformation device 104 sets the angle index to an angle index that has not yet been set among the angle indexes of index numbers 0, 1, 2, and 3.
  • the index number is a number unique to the combination of the angle indexes ⁇ 1 to ⁇ 6.
  • four types of angle index combinations of 0 to 3 are prepared.
  • step S36 the orthogonal transform device 104 performs ROT processing, which is processing for performing ROT according to the angle index, on the residual information (difference information) supplied from the arithmetic device 103. Details of the processing in step S36 will be described with reference to FIG.
  • step S37 the quantization apparatus 105 performs a quantization process that is a process for quantizing the coefficient obtained as a result of the ROT process or the like performed in step S36.
  • a quantization process that is a process for quantizing the coefficient obtained as a result of the ROT process or the like performed in step S36.
  • 4 ⁇ 4 Quant 419, 8 ⁇ 8 Quant 420, 16 ⁇ 16 Quant 421, 32 ⁇ 32 Quant 422, 64 ⁇ 64 Quant 423, or 128 ⁇ 128 Quant 424 corresponding to the block size of the inter prediction of the quantization device 105 is supplied from the orthogonal transform device 104. Quantize the coefficients to be performed.
  • the quantization device 105 supplies the coefficient obtained as a result of the quantization process to the lossless encoding device 106 and the inverse quantization device 108.
  • step S38 the lossless encoding apparatus 106 losslessly encodes the coefficient (quantized coefficient) supplied from the quantization apparatus 105 to obtain a compressed image.
  • the inverse quantization apparatus 108 performs an inverse quantization process that is a process of inverse quantization on the coefficient supplied from the quantization apparatus 105. Specifically, 4 ⁇ 4 Inv Quant 451, 8 ⁇ 8 Inv Quant 452, 16 ⁇ 16 Inv Quant 453, 32 ⁇ 32 Inv Quant 454, 64 ⁇ 64 Inv Quant 455, or 128 ⁇ 128 Inv Quant 456 corresponding to the block size of the inter prediction of the inverse quantizer 108 is obtained.
  • the coefficients supplied from the quantization device 105 are inversely quantized.
  • the coefficient obtained as a result of the inverse quantization process is supplied to the inverse orthogonal transform device 109.
  • step S40 the inverse orthogonal transform apparatus 109 performs an inverse ROT process, which is a process for performing an inverse ROT on the coefficient corresponding to the residual information (difference information) according to the angle index set in step S35. Apply. Details of the process of step S40 will be described with reference to FIG.
  • step S40 After the process of step S40, the process returns to step S35, and the processes of steps S35 to S40 are repeated until all the angle indexes with index numbers 0 to 3 are set as angle indexes. When all the angle indexes with index numbers 0 to 3 are set as angle indexes, the process returns to step S31. Step S31 is performed until all sizes of 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels, 32 ⁇ 32 pixels, 64 ⁇ 64 pixels, and 128 ⁇ 128 pixels are set to the inter prediction block size. The process of thru
  • step S41 all sizes of 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels, 32 ⁇ 32 pixels, 64 ⁇ 64 pixels, and 128 ⁇ 128 pixels are set as inter prediction block sizes, and each block size is If all the angle indexes with index numbers 0 to 3 are set as the angle indexes for the inter prediction block, the process proceeds to step S41.
  • step S41 the motion prediction device 116 calculates the RD cost from the MV information, the quantized code information, and the decoded image for each combination of the inter prediction mode and the angle index. Specifically, the motion prediction device 116 generates a prediction image using the motion vector and the reference image supplied from the frame memory 112 for each combination of the inter prediction mode and the angle index. Then, the motion prediction device 116 calculates the difference between the predicted image and the image supplied from the screen rearrangement buffer 102. Then, using the difference, the generated code amount of the compressed image obtained by the process of step S38, the motion prediction device 116 calculates the above-described equation (1) and calculates the RD cost.
  • the motion prediction device 116 uses the RD cost that is the smallest from the RD cost for each combination of the inter prediction mode and the angle index corresponding to the block size of the inter prediction as the RD cost (P). That is, the motion prediction device 116 obtains the RD cost (P), which is the lowest RD cost among the RD costs for each combination of the inter prediction mode and the angle index, and the corresponding motion vector and inter prediction mode information. 113.
  • the motion compensation device 113 performs a compensation process on the reference image supplied from the frame memory 112 based on the motion vector and the inter prediction mode information supplied from the motion prediction device 116, and generates a prediction image. . Then, the motion compensation device 113 supplies the selection device 117 with the RD cost (P) supplied from the motion prediction device 116 and the generated predicted image.
  • FIG. 10 is a flowchart for explaining details of the process in step S36 of FIG.
  • step S51 of FIG. 10 the orthogonal transformation apparatus 104 determines whether or not the block size of inter prediction is 4 ⁇ 4 pixels.
  • the orthogonal transform device 104 performs ROT ⁇ DCT processing according to the angle index. Specifically, the 4 ⁇ 4 DCT ⁇ ROT 501 (FIG. 5) of the orthogonal transform device 104 performs the following on the residual information supplied from the arithmetic device 103 according to the angle index set in step S35 of FIG. Performs conversion by combining DCT and ROT. The 4 ⁇ 4 DCT ⁇ ROT 501 supplies the coefficient obtained as a result of the conversion to the 4 ⁇ 4 Quant 419 of the quantization device 105.
  • step S53 the orthogonal transform device 104 performs DCT on the residual information supplied from the arithmetic device 103. Apply some DCT processing. Specifically, 8 ⁇ 8 DCT 412, 16 ⁇ 16 DCT 413, 32 ⁇ 32 DCT 414, 64 ⁇ 64 DCT 415, or 128 ⁇ 128 DCT 416 corresponding to the block size of inter prediction of orthogonal transform apparatus 104 performs DCT on the residual information.
  • the low frequency components of 8 ⁇ 8 pixels are supplied to 8 ⁇ 8 ROT 418, and the remaining high frequency components are 16 ⁇ 16Quant 421, 32 ⁇ 32Quant 422, 64 corresponding to the block size of inter prediction.
  • step S54 the 8 ⁇ 8 ROT 418 of the orthogonal transform device 104 performs ROT processing on the low frequency component 8 ⁇ 8 pixel (8 ⁇ 8 size) coefficient in accordance with the angle index set in step S35 of FIG. Apply.
  • the 8 ⁇ 8 ROT 418 supplies the coefficient of 8 ⁇ 8 pixels obtained as a result of the ROT processing to the 8 ⁇ 8 Quant 420, 16 ⁇ 16 Quant 421, 32 ⁇ 32 Quant 422, 64 ⁇ 64 Quant 423, or 128 ⁇ 128 Quant 424 corresponding to the block size of the intra prediction. .
  • FIG. 11 is a flowchart for explaining in detail the processing in step S40 in FIG.
  • step S71 of FIG. 11 the inverse orthogonal transform apparatus 109 determines whether the block size of the inter prediction is 4 ⁇ 4 pixels.
  • step S72 the inverse orthogonal transform apparatus 109 performs inverse ROT ⁇ DCT processing according to the angle index. Specifically, the 4 ⁇ 4 Inv ROT ⁇ Inv DCT 502 (FIG. 5) of the inverse orthogonal transform device 109 is changed from the 4 ⁇ 4 Inv Quant 451 of the inverse quantization device 108 according to the angle index set in step S35 of FIG. The supplied coefficient is transformed by combining inverse ROT and inverse DCT.
  • the 4 ⁇ 4 Inv ROT ⁇ Inv DCT 502 supplies residual information obtained as a result of the conversion to the adding device 110.
  • step S71 If it is determined in step S71 that the inter prediction block size is not 4 ⁇ 4 pixels, the process proceeds to step S73.
  • step S73 the 8 ⁇ 8 Inv ROT 458 (FIG. 7) of the inverse orthogonal transform device 109 performs 8 ⁇ 8 pixels (8 ⁇ 8 pixels of low-frequency components among the coefficients having a size of 8 ⁇ 8 pixels or more supplied from the inverse quantization device 108.
  • the inverse ROT process which is a process for performing the inverse ROT, is performed on the coefficient of (8 ⁇ 8 size) according to the angle index set in step S35 of FIG.
  • the 8 ⁇ 8 Inv ROT 458 converts the coefficient obtained as a result of the inverse ROT processing into 8 ⁇ 8 Inv DCT 460, 16 ⁇ 16 Inv DCT 461, 32 ⁇ 32 Inv DCT 462, 64 ⁇ 64 Inv DCT 463, or 128 ⁇ 128 Inv DCT 464 corresponding to the block size of the inter prediction. Supply.
  • step S 74 the 8 ⁇ 8 Inv DCT 460, 16 ⁇ 16 Inv DCT 461, 32 ⁇ 32 Inv DCT 462, 64 ⁇ 64 Inv DCT 463, or 128 ⁇ 128 Inv DCT 464 of the inverse orthogonal transform apparatus 109 are inversely quantized with the coefficients supplied from the 8 ⁇ 8 Inv ROT 458.
  • An inverse DCT process which is an inverse DCT process, is performed on the coefficient supplied from the device 108. Residual information obtained as a result of the inverse DCT process is supplied to the adder 110.
  • FIG. 12 is a flowchart for explaining in detail the process of calculating the RD cost (I) when the intra prediction in step S12 of FIG. 8 is used.
  • the intra prediction device 114 sets the block size of intra prediction to 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels, 32 ⁇ 32 pixels, 64 ⁇ 64 pixels, and 128 ⁇ 128 pixels. Set to one that has not been set yet.
  • the intra prediction device 114 sets the intra prediction mode (Intra direction mode) to an intra prediction mode whose intra prediction mode number is 0, 1, 2, 3, 4, 5, 6, 7, or 8. Set it to something that has not been set.
  • the intra prediction mode number is a number unique to the intra prediction mode, and in this embodiment, eight types of intra prediction modes of numbers 0 to 8 are prepared.
  • step S103 the intra prediction device 114 performs motion prediction using the block size and the intra prediction mode set in step S101. Specifically, the intra prediction device 114 uses the image supplied from the screen rearrangement buffer 102 and the reference image supplied from the addition device 110 to set in block units of the block size set in step S101. The intra prediction process in the intra prediction mode is performed to generate a predicted image. The intra prediction device 114 supplies the generated prediction image to the arithmetic device 103 via the selection device 117.
  • step S104 the arithmetic unit 103 calculates the difference between the image corresponding to the input signal and the intra predicted image (the predicted image generated by the intra prediction process).
  • the arithmetic device 103 supplies the difference obtained as a result of the calculation to the orthogonal transform device 104 as residual information.
  • steps S105 to S110 is the same as the processing in steps S35 to S40 in FIG.
  • step S110 After the process of step S110, the process returns to step S105, and the processes of steps S105 to S110 are repeated until all the angle indexes with index numbers 0 to 3 are set as the angle indexes. When all the angle indexes with index numbers 0 to 3 are set as angle indexes, the process returns to step S102. And the process of step S102 thru
  • Step S101 is performed until all sizes of 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels, 32 ⁇ 32 pixels, 64 ⁇ 64 pixels, and 128 ⁇ 128 pixels are set to the intra prediction block size. Thru
  • the intra prediction device 114 calculates the RD cost from the quantized code information and the decoded image for each combination of the block size of intra prediction, the intra prediction mode, and the angle index. Specifically, the intra prediction device 114 generates a prediction image using the reference image supplied from the frame memory 112 for each combination of the block size of intra prediction, the intra prediction mode, and the angle index. Then, the intra prediction device 114 calculates the difference between the predicted image and the image supplied from the screen rearrangement buffer 102. Then, using the difference, the generated code amount of the compressed image obtained by the processing in step S108, the motion prediction device 116 calculates the above-described equation (1) and calculates the RD cost.
  • the intra prediction device 114 uses the RD cost that is the smallest from the RD cost for each combination of the block size of the intra prediction, the intra prediction mode, and the angle index as the RD cost (I). That is, the intra prediction apparatus 114 selects the prediction image corresponding to the RD cost (I) that is the smallest RD cost among the RD costs for each combination of the block size of intra prediction, the intra prediction mode, and the angle index. Supply to device 117.
  • FIG. 13, FIG. 14, and FIG. 15 are flowcharts of the processing of the decoder of FIG.
  • FIG. 13 is a flowchart for explaining macroblock (MB) decoding processing.
  • step S121 in FIG. 13 the lossless decoding apparatus 217 reads out and acquires image compression information of the macroblock to be processed from the accumulation buffer 216, and the lossless encoding of the lossless encoding apparatus 106 in FIG. Reversible decoding is performed using a method corresponding to the method. As a result of this lossless decoding, intra prediction mode information or inter prediction mode information is extracted as information indicating the optimal prediction mode of the macroblock to be processed.
  • step S122 the lossless decoding apparatus 217 determines whether the information indicating the optimal prediction mode extracted in step S121 is intra prediction mode information.
  • step S123 the decoder decodes the processing target macroblock (the MB) by intra prediction. Details of the processing in step S123 will be described with reference to FIG.
  • step S122 determines whether the information is intra prediction mode information, that is, if the information indicating the optimal prediction mode extracted in step S121 is inter prediction mode information. If it is determined in step S122 that the information is not intra prediction mode information, that is, if the information indicating the optimal prediction mode extracted in step S121 is inter prediction mode information, the process proceeds to step S124.
  • step S124 the decoder decodes the macroblock to be processed by inter prediction. Details of the processing in step S124 will be described with reference to FIG.
  • FIG. 14 is a flowchart for explaining the details of the processing in step S124 in FIG.
  • the lossless decoding apparatus 217 determines the inter prediction block size, motion vector (MV), angle index information, and residual information (from the compressed image information (stream information) acquired from the accumulation buffer 216).
  • the quantized coefficient corresponding to (difference information) is extracted.
  • the lossless decoding apparatus 217 performs lossless decoding on the compressed image information, and obtains inter prediction mode information, motion vectors, angle index information, and quantized coefficients.
  • the lossless decoding apparatus 217 recognizes the block size of the inter prediction corresponding to the inter prediction mode information.
  • the lossless decoding apparatus 217 supplies the quantized coefficients to the inverse quantization apparatus 218 in block units having a block size corresponding to the inter prediction mode information.
  • the lossless decoding apparatus 217 supplies the inter prediction mode information and the motion vector to the motion compensation apparatus 224, and supplies the angle index to the inverse orthogonal transform apparatus 219.
  • step S142 the motion compensation device 224 performs motion compensation processing (MC processing) on the reference image supplied from the frame memory 223 according to the inter prediction mode information and the motion vector supplied from the lossless decoding device 217. Apply. Then, the motion compensation device 224 supplies the predicted image obtained as a result of the motion compensation process to the addition device 220 via the switch 227.
  • MC processing motion compensation processing
  • step S143 the inverse quantization apparatus 218 performs an inverse quantization process on the quantized coefficient supplied from the lossless decoding apparatus 217. Specifically, 4 ⁇ 4 Inv Quant 601, 8 ⁇ 8 Inv Quant 602,16 ⁇ 16 Inv Quant 603, 32 ⁇ 32 Inv Quant 604, 64 ⁇ 64 Inv Quant 605, or 128 ⁇ 128 Inv Quant 606 corresponding to the block size of the inter prediction of the inverse quantizer 218 is Dequantize the quantized coefficients. The inverse quantization device 218 supplies the coefficient obtained as a result of the inverse quantization process to the inverse orthogonal transform device 219.
  • step S ⁇ b> 144 the inverse orthogonal transform device 219 reverses the coefficient corresponding to the difference information (residual information) supplied from the inverse quantization device 218 according to the angle index supplied from the lossless decoding device 217.
  • Apply ROT processing Details of the processing in step S144 are the same as those described with reference to FIG.
  • step S145 the adding device 220 adds residual information (inverse ROT information) obtained as a result of the processing in step S144 to the predicted image (predicted signal) supplied from the motion compensating device 224 via the switch 227, and A decoded image is obtained.
  • This decoded image is supplied to the intra prediction device 225, supplied to the frame memory 223 via the deblock filter 226, or externally via the deblock filter 226, the screen rearrangement buffer 221, and the D / A conversion device 222. Is output to.
  • FIG. 15 is a flowchart for explaining details of the process in step S123 of FIG.
  • the lossless decoding apparatus 217 determines the block size of intra prediction, intra prediction mode, angle index information, residual information (difference information) from the compressed image information (stream information) acquired from the accumulation buffer 216. ) To extract the quantized coefficients corresponding to. Specifically, the lossless decoding apparatus 217 performs lossless decoding on the compressed image information, and obtains intra prediction mode information, angle index information, and quantized coefficients. Then, the lossless decoding apparatus 217 recognizes the intra prediction mode and the block size of the intra prediction from the intra prediction mode information. The lossless decoding apparatus 217 supplies the quantized coefficients to the inverse quantization apparatus 218 in block units of the intra prediction block size. Also, the lossless decoding apparatus 217 supplies the intra prediction mode information to the intra prediction apparatus 225 and supplies the angle index to the inverse orthogonal transform apparatus 219.
  • step S162 the intra prediction device 225 performs an intra prediction process on the reference image supplied from the addition device 220 in accordance with the intra prediction mode information supplied from the lossless decoding device 217. Then, the intra prediction device 225 supplies the prediction image obtained as a result of the intra prediction processing to the addition device 220 via the switch 227.
  • step S163 the inverse quantization apparatus 218 performs an inverse quantization process on the quantized coefficients supplied from the lossless decoding apparatus 217, similarly to the process in step S143 of FIG.
  • the inverse quantization device 218 supplies the coefficient obtained as a result of the inverse quantization process to the inverse orthogonal transform device 219.
  • step S164 the inverse orthogonal transform device 219 uses the angle index supplied from the lossless decoding device 217 for the coefficient corresponding to the difference information supplied from the inverse quantization device 218, as in the process of step S144. Perform reverse ROT processing, etc. accordingly.
  • step S165 the adding device 220 adds residual information (inverse ROT information) obtained as a result of the processing in step S164 to the predicted image (predicted signal) supplied from the intra prediction device 225 via the switch 227, A decoded image is obtained.
  • This decoded image is supplied to the intra prediction device 225, supplied to the frame memory 223 via the deblock filter 226, or externally via the deblock filter 226, the screen rearrangement buffer 221, and the D / A conversion device 222. Is output to.
  • FIG. 16 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance on a hard disk 705 or ROM 703 as a recording medium built in the computer.
  • the program can be stored (recorded) in a removable recording medium 711.
  • a removable recording medium 711 can be provided as so-called package software.
  • examples of the removable recording medium 711 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), a MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed on the computer from the removable recording medium 711 as described above, or can be downloaded to the computer via the communication network or the broadcast network and installed on the built-in hard disk 705. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer incorporates a CPU (Central Processing Unit) 702, and an input / output interface 710 is connected to the CPU 702 via a bus 701.
  • a CPU Central Processing Unit
  • an input / output interface 710 is connected to the CPU 702 via a bus 701.
  • the CPU 702 executes a program stored in a ROM (Read Only Memory) 703 accordingly. .
  • the CPU 702 loads a program stored in the hard disk 705 into a RAM (Random Access Memory) 704 and executes it.
  • the CPU 702 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 702 outputs the processing result as necessary, for example, via the input / output interface 710, output from the output unit 706, transmitted from the communication unit 708, and further recorded on the hard disk 705.
  • the input unit 707 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 706 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the present technology can have the following configurations.
  • a low-frequency component of a predetermined size of the image obtained by performing a second orthogonal transformation after the first orthogonal transformation by dequantizing the quantized image, and the first orthogonality An inverse quantization unit that obtains a high-frequency component that is a component other than the low-frequency component of the image, which is obtained by conversion,
  • the image corresponding to the low frequency component corresponds to the first inverse orthogonal transform and the second orthogonal transform corresponding to the first orthogonal transform.
  • a third inverse orthogonal transform which is a transform obtained by combining the second inverse orthogonal transform, is performed, and when the size of the image is larger than the predetermined size, the second inverse orthogonal transform is performed on the low frequency component.
  • An image processing apparatus comprising: an inverse orthogonal transform unit that performs the first inverse orthogonal transform on the low frequency component after the second inverse orthogonal transform and the high frequency component obtained by the inverse quantization unit. .
  • the predetermined size is 4 ⁇ 4 pixels when the size of the image is 4 ⁇ 4 pixels, and is 8 ⁇ 8 pixels when the size of the image is 8 ⁇ 8 pixels or more,
  • the inverse orthogonal transform unit performs the third inverse orthogonal transform on the image that is the low-frequency component, and the image size is 8 ⁇ 8 pixels.
  • the second inverse orthogonal transform is performed on the low frequency component, and the low frequency component after the second inverse orthogonal transform and the high frequency component obtained by the inverse quantization unit are applied.
  • the first orthogonal transformation is DCT (Discrete Cosine Transform), The image processing apparatus according to any one of (1) to (3), wherein the second orthogonal transform is ROT (Rotation transform).
  • a third orthogonal transformation that is a transformation obtained by combining the first orthogonal transformation and the second orthogonal transformation is performed on the image, and the size of the image is When larger than the predetermined size, the first orthogonal transformation is performed on the image, and the second orthogonal transformation is performed on the low-frequency component of the predetermined size in the image after the first orthogonal transformation.
  • An orthogonal transform unit Quantize the image of the predetermined size after the third orthogonal transformation or the second orthogonality with a high-frequency component that is a component other than the low-frequency component obtained by the first orthogonal transformation
  • the image processing apparatus according to any one of (1) to (4), further including: a quantization unit that quantizes the low-frequency component obtained by the conversion.
  • a low-frequency component of a predetermined size of the image obtained by performing a second orthogonal transformation after the first orthogonal transformation by dequantizing the quantized image, and the first orthogonality An inverse quantization unit that obtains a high-frequency component that is a component other than the low-frequency component of the image, which is obtained by conversion,
  • the image corresponding to the low frequency component corresponds to the first inverse orthogonal transform and the second orthogonal transform corresponding to the first orthogonal transform.
  • a third inverse orthogonal transform which is a transform obtained by combining the second inverse orthogonal transform, is performed, and when the size of the image is larger than the predetermined size, the second inverse orthogonal transform is performed on the low frequency component.
  • An image processing apparatus comprising: an inverse orthogonal transform unit that performs the first inverse orthogonal transform on the low frequency component after the second inverse orthogonal transform and the high frequency component obtained by the inverse quantization unit. of, The inverse quantization unit obtains the low frequency component and the high frequency component, When the size of the image is the predetermined size, the inverse orthogonal transform unit performs the third inverse orthogonal transform on the image that is the low frequency component, and the size of the image is the predetermined size.
  • the second inverse orthogonal transform is performed on the low frequency component, and the low frequency component after the second inverse orthogonal transform and the high frequency component obtained by the inverse quantization unit are performed. And performing the first inverse orthogonal transform.
  • a low-frequency component of a predetermined size of the image obtained by performing a second orthogonal transformation after the first orthogonal transformation by dequantizing the quantized image, and the first orthogonality An inverse quantization unit that obtains a high-frequency component that is a component other than the low-frequency component of the image, which is obtained by conversion,
  • the image corresponding to the low frequency component corresponds to the first inverse orthogonal transform and the second orthogonal transform corresponding to the first orthogonal transform.
  • a third inverse orthogonal transform which is a transform obtained by combining the second inverse orthogonal transform, is performed, and when the size of the image is larger than the predetermined size, the second inverse orthogonal transform is performed on the low frequency component.
  • An inverse orthogonal transform unit that performs the first inverse orthogonal transform on the low frequency component after the second inverse orthogonal transform and the high frequency component obtained by the inverse quantization unit; A program to make it work.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本技術は、ROTおよびDCTまたは逆DCTおよび逆ROTの処理量を削減することができる画像処理装置、画像処理方法、及びプログラムに関する。 符号化された画像を復号した画像情報を逆量子化することで、第一の直交変換部により求められた、前記画像情報における低周波成分と、第二の直交変換部により求められた、前記画像情報における前記低周波成分より高い高周波数成分とを求め、前記低周波数成分と前記高周波数成分とを同様の手法により逆直交変換する。本技術は、例えば、画像を符号化する場合や復号する場合に適用できる。

Description

画像処理装置、画像処理方法、及びプログラム
　本技術は、画像処理装置、画像処理方法、及びプログラムに関し、特に、直交変換処理または逆直交変換処理の演算量を削減することができるようにした画像処理装置、画像処理方法、及びプログラムに関する。
　AVC（Advanced Video Coding）の次世代に相当する符号化方式において、Rotation transform(ROT)という直交変換を用いることが検討されている（例えば、特許文献１参照）。ビデオ符号化で広く使われている従来の離散コサイン変換(DCT（Discrete Cosine Transform）)は、いくつかの状況では最適ではない。例えば、変換対象が強い方向成分をもっている場合、DCT基底ベクトルは、その強い方向成分を良好に表現できない。
　通常、ROT（Directional transform）では上記の問題を解決することができるが、多くの浮動小数点演算が要求されたり、変換対象のブロックが正方形であることが求められたりするため、ROTを行うことは困難である。特に、ROT のブロックサイズの種類が多い場合にはより困難である。
　そこで、ブロックサイズの種類の少ないROT を行う処理部を設計しておき、 DCT の後に2nd transform として低周波数成分に対してのみROT を施す方法が考案されている。
　図１は、このような方法で直交変換を行うことにより符号化された画像データを復号するデコーダにおける逆ROTの工程例を示したものである。
　左の白い箱は、符号化された画像データから取り出された残差情報としての画像データである。この画像データは、４×４画素，８×８画素，１６×１６画素，３２×３２画素，６４×６４画素、または１２８×１２８画素の画素値からなるブロックごとに逆量子化される。そして、逆量子化後のブロックのうちの低い周波数成分からなる４×４または８×８画素のブロックだけが逆ROTされ、その逆ROT後の係数と逆量子化後のブロックのうちの残りの高い周波数成分が併せられて逆DCT変換される。
　こうすることで、上述した方法では、ROTおよび逆ROTのブロックサイズとして、４×４画素または８×８画素の２種類だけ用意すればよくなる。
http://wftp3.itu.int/av-arch/jctvc-site/2010_04_A_Dresden/JCTVC-A124.zip[平成２２年１０月２８日検索]
　しかしながら、イントラ予測のブロックサイズが４×４画素のように小さい場合、問題が起こる。具体的には、各ブロックのイントラ予測を行うためには、そのブロックの左のブロックを含む周囲のブロックの復号後の画像データが必要であるため、各ブロックのイントラ予測を並列に行うことはできない。そして、上述した方法では、復号後の画像データを得るために、DCT,ROT、量子化、逆量子化、逆ROT、および逆DCTといった非常に多くの処理が必要である。
　従って、イントラ予測のブロックサイズが小さい場合、マクロブロックあるいはCU(Cording Unit)のエンコードおよびデコードに要する最長時間が大きくなり、リアルタイム性を要求するアプリケーションにおいて上述した方法を用いることは極めて困難になる。ここでCUとはAVC方式におけるマクロブロックと同じ概念である。
　本技術は、このような状況に鑑みてなされたものであり、ROTおよびDCTまたは逆DCTおよび逆ROTの処理量を削減することができるようにするものである。
　本技術の一側面の画像処理装置、又は、プログラムは、量子化された画像を逆量子化することで、第１の直交変換後に第２の直交変換が行われることにより求められた、前記画像の所定のサイズの低周波成分と、前記第１の直交変換により求められた、前記画像の前記低周波成分以外の成分である高周波数成分とを求める逆量子化部と、前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して、前記第１の直交変換に対応する第１の逆直交変換と前記第２の直交変換に対応する第２の逆直交変換を合成した変換である第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う逆直交変換部とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。
　本技術の一側面の画像処理方法は、量子化された画像を逆量子化することで、第１の直交変換後に第２の直交変換が行われることにより求められた、前記画像の所定のサイズの低周波成分と、前記第１の直交変換により求められた、前記画像の前記低周波成分以外の成分である高周波数成分とを求め、前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して、前記第１の直交変換に対応する第１の逆直交変換と前記第２の直交変換に対応する第２の逆直交変換を合成した変換である第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行うステップを含む画像処理方法である。
　本技術の一側面においては、量子化された画像を逆量子化することで、第１の直交変換後に第２の直交変換が行われることにより求められた、前記画像の所定のサイズの低周波成分と、前記第１の直交変換により求められた、前記画像の前記低周波成分以外の成分である高周波数成分とが求められ、前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して、前記第１の直交変換に対応する第１の逆直交変換と前記第２の直交変換に対応する第２の逆直交変換を合成した変換である第３の逆直交変換が行われ、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換が行われる。
　本技術の一側面によれば、ROTおよびDCTまたは逆DCTおよび逆ROTの処理量を削減することができる。
デコーダにおけるROT の工程例を示す図である。 AVC方式のエンコーダの構成例を示すブロック図である。 AVC方式のデコーダの構成例を示すブロック図である。 ROTを導入したときの、直交変換装置、量子化装置、逆量子化装置、及び、逆直交変換装置に相当する部分の構成例を示すブロック図である。 エンコーダ側でのROTの改善を説明するための図である。 ROTを導入したときの、逆量子化装置、及び、逆直交変換装置に相当する部分の構成例を示すブロック図である。 デコーダ側でのROTの改善を説明するための図である。 エンコーダ処理を説明するフローチャートである。 エンコーダ処理を説明するフローチャートである。 エンコーダ処理を説明するフローチャートである。 エンコーダ処理を説明するフローチャートである。 エンコーダ処理を説明するフローチャートである。 デコーダ処理を説明するフローチャートである。 デコーダ処理を説明するフローチャートである。 デコーダ処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜一実施の形態＞
　［エンコーダの構成例］
　図２は、本技術を適用したAVC方式のエンコーダの一実施の形態の構成例を示すブロック図である。
　図２のエンコーダは、A/D変換装置１０１、画面並べ替えバッファ１０２、演算装置１０３、直交変換装置１０４、量子化装置１０５、可逆符号化装置１０６、蓄積バッファ１０７、逆量子化装置１０８、逆直交変換装置１０９、加算装置１１０、デブロックフィルタ１１１、フレームメモリ１１２、動き補償装置１１３、イントラ予測装置１１４、レート制御装置１１５、動き予測装置１１６、および選択装置１１７により構成される。図１のエンコーダは、入力された画像をAVC方式で圧縮符号化する。
　具体的には、エンコーダのA/D変換装置１０１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替える。
　演算装置１０３は、必要に応じて、画面並べ替えバッファ１０２から読み出された画像から、選択装置１１７から供給される予測画像を減算する。演算装置１０３は、減算の結果得られる画像を、残差情報として直交変換装置１０４に出力する。演算装置１０３は、選択装置１１７から予測画像が供給されない場合、画面並べ替えバッファ１０２から読み出された画像をそのまま残差情報として直交変換装置１０４に出力する。
　直交変換装置１０４は、演算装置１０３からの残差情報に対して、ブロックサイズに応じた直交変換処理を行う。具体的には、ブロックサイズが４×４画素である場合、直交変換装置１０４は、残差情報に対してDCTとROTを合成した変換を行う。一方、ブロックサイズが８×８画素である場合、直交変換装置１０４は、残差情報に対してDCTを行い、その結果得られる係数に対してROTを行う。また、ブロックサイズが８×８画素より大きい場合、直交変換装置１０４は、残差情報に対してDCTを行い、その結果得られる係数のうちの８×８画素の低周波数成分に対してROTを行い、その結果得られる係数と残りの高周波数成分を最終的な係数とする。直交変換装置１０４は、直交変換処理の結果得られる係数を量子化装置１０５に供給する。
　量子化装置１０５は、直交変換装置１０４から供給される係数を量子化する。量子化された係数は、可逆符号化装置１０６に入力される。
　可逆符号化装置１０６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測装置１１４から取得し、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトルの情報などを動き予測装置１１６から取得する。
　可逆符号化装置１０６は、量子化装置１０５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化装置１０６は、イントラ予測モード情報、インター予測モード情報、動きベクトルの情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。可逆符号化装置１０６は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を画像圧縮情報として蓄積バッファ１０７に供給し、蓄積させる。
　蓄積バッファ１０７は、可逆符号化装置１０６から供給される画像圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
　また、量子化装置１０５より出力された、量子化された係数は、逆量子化装置１０８にも入力され、逆量子化された後、逆直交変換装置１０９に供給される。
　逆直交変換装置１０９は、逆量子化装置１０８から供給される係数に対して、ブロックサイズに応じた逆直交変換処理を行う。具体的には、ブロックサイズが４×４画素である場合、逆直交変換装置１０９は、係数に対して逆ROTと逆DCTを合成した変換を行う。一方、ブロックサイズが８×８画素である場合、逆直交変換装置１０９は、係数に対して逆ROTを行い、その結果得られる係数に対して逆DCTを行う。また、ブロックサイズが８×８画素より大きい場合、逆直交変換装置１０９は、係数の８×８の低周波数成分に対して逆ROTを行い、その結果得られる係数と残りの高周波数成分に対して逆DCTを行う。逆直交変換装置１０９は、逆直交変換処理の結果得られる残差情報を加算装置１１０に供給する。
　加算装置１１０は、逆直交変換装置１０９から供給される残差情報を、必要に応じて、イントラ予測装置１１４または動き補償装置１１３から供給される予測画像と加算し、局部的に復号された画像を得る。加算装置１１０は、得られた画像をデブロックフィルタ１１１に供給するとともに、参照画像としてイントラ予測装置１１４に供給する。
　デブロックフィルタ１１１は、加算装置１１０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１１１は、その結果得られる画像をフレームメモリ１１２に供給し、蓄積させる。フレームメモリ１１２に蓄積された画像は、参照画像として動き補償装置１１３および動き予測装置１１６に出力される。
　動き補償装置１１３は、動き予測装置１１６から供給される動きベクトルとインター予測モード情報に基づいて、フレームメモリ１１２から供給される参照画像に対して補償処理を行い、予測画像を生成する。動き補償装置１１３は、動き予測装置１１６から供給されるコスト関数値（詳細は後述する）と、生成された予測画像とを選択装置１１７に供給する。
　なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、AVC方式における参照ソフトウェアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。
　具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。
　Cost(Mode)=D＋λ・R　　　　　　　　　　　　　　　　　　　　　・・・（１）
　Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
　一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。
　Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit　　　　　　　　　　　・・・（２）
　Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
　Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。
　イントラ予測装置１１４は、画面並べ替えバッファ１０２から読み出された画像と、加算装置１１０から供給された参照画像とに基づいて、候補となる全てのブロックサイズのブロック単位で、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。
　また、イントラ予測装置１１４は、候補となる全てのイントラ予測モードおよびブロックサイズに対してコスト関数値を算出する。そして、イントラ予測装置１１４は、コスト関数値が最小となるイントラ予測モードおよびブロックサイズの組み合わせを最適イントラ予測モードに決定する。イントラ予測装置１１４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、選択装置１１７に供給する。イントラ予測装置１１４は、選択装置１１７から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化装置１０６に供給する。
　動き予測装置１１６は、画面並べ替えバッファ１０２から供給される画像と、フレームメモリ１１２から供給される参照画像とに基づいて、候補となる全てのインター予測モードの動き予測行い、動きベクトルを生成する。このとき、動き予測装置１１６は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測装置１１６は、インター予測モード情報、並びに、対応する動きベクトルおよびコスト関数値を動き補償装置１１３に供給する。動き予測装置１１６は、選択装置１１７から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトルの情報などを可逆符号化装置１０６に出力する。
　選択装置１１７は、イントラ予測装置１１４および動き補償装置１１３から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。そして、選択装置１１７は、最適予測モードの予測画像を、演算装置１０３および加算装置１１０に供給する。また、選択装置１１７は、最適予測モードの予測画像の選択をイントラ予測装置１１４または動き予測装置１１６に通知する。
　レート制御装置１１５は、蓄積バッファ１０７に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化装置１０５の量子化動作のレートを制御する。
　［復号装置の構成例］
　図３は、図２のエンコーダに対応するAVC方式のデコーダのブロック図である。
　図３のデコーダは、蓄積バッファ２１６、可逆復号化装置２１７、逆量子化装置２１８、逆直交変換装置２１９、加算装置２２０、画面並べ替えバッファ２２１、D/A変換装置２２２、フレームメモリ２２３、動き補償装置２２４、イントラ予測装置２２５、デブロックフィルタ２２６、およびスイッチ２２７により構成されている。
　蓄積バッファ２１６は、図２のエンコーダより伝送されてきた画像圧縮情報を蓄積する。可逆復号化装置２１７は、蓄積バッファ２１６から画像圧縮情報を読み出して取得し、その画像圧縮情報を図２の可逆符号化装置１０６の可逆符号化方式に対応する方式で可逆復号化する。
　具体的には、可逆復号化装置２１７は、画像圧縮情報のうちのヘッダ情報を可逆復号し、イントラ予測モード情報、インター予測モード情報、動きベクトル情報などを取得する。また、可逆復号化装置２１７は、画像圧縮情報のうちの圧縮画像を可逆復号する。
　また、可逆復号化装置２１７は、圧縮画像を可逆復号した結果得られる量子化された係数を逆量子化装置２１８に供給する。可逆復号化装置２１７は、可逆復号の結果得られるイントラ予測モード情報をイントラ予測装置２２５に供給し、インター予測モード情報、動きベクトル情報などを動き補償装置２２４に供給する。
　逆量子化装置２１８は、図２の逆量子化装置１０８と同様に構成され、可逆復号化装置２１７から供給される量子化された係数を、図２の量子化装置１０５の量子化方式に対応する方式で逆量子化する。逆量子化装置２１８は、逆量子化の結果得られる係数を逆直交変換装置２１９に供給する。
　逆直交変換装置２１９は、図２の逆直交変換装置１０９と同様に、逆量子化装置２１８から供給される係数に対して、ブロックサイズに応じた逆直交変換処理を行う。逆直交変換装置２１９は、逆直交変換処理の結果得られる残差情報を加算装置２２０に供給する。
　加算装置２２０は、逆直交変換装置２１９から供給される残差情報を、必要に応じて、スイッチ２２７から供給される予測画像と加算し、復号する。加算装置２２０は、その結果得られるデコード画像をイントラ予測装置２２５とデブロックフィルタ２２６に供給する。
　デブロックフィルタ２２６は、加算装置２２０から供給されるデコード画像をフィルタリングすることによりブロック歪を除去する。デブロックフィルタ２２６は、その結果得られる画像をフレームメモリ２２３に供給し、蓄積させるとともに、画面並べ替えバッファ２２１に出力する。
　画面並べ替えバッファ２２１は、デブロックフィルタ２２６から供給される画像の並べ替えを行う。具体的には、図２の画面並べ替えバッファ１０２により符号化するための順番に並べ替えられた画像の順番が、元の表示の順番に並べ替えられる。D/A変換装置２２２は、画面並べ替えバッファ２２１により並べ替えられた画像をD/A変換し、図示せぬディスプレイに出力信号として出力し、表示させる。
　フレームメモリ２２３は、蓄積している画像を参照画像として読み出し、動き補償装置２２４に出力する。
　イントラ予測装置２２５は、可逆復号化装置２１７から供給されるイントラ予測モード情報に基づいて、そのイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行い、予測画像を生成する。イントラ予測装置２２５は、予測画像をスイッチ２２７に供給する。
　動き補償装置２２４は、可逆復号化装置２１７から供給されるインター予測モード情報、動きベクトル情報などに基づいて、フレームメモリ２２３から供給される参照画像に動き補償処理を行い、予測画像を生成する。動き補償装置２２４は、予測画像をスイッチ２２７に供給する。
　スイッチ２２７は、動き補償装置２２４またはイントラ予測装置２２５により生成された予測画像を選択し、加算装置２２０に供給する。
　［直交変換処理と逆直交変換処理の説明］
　まず、図４は、直交変換処理としてDCTとROTを行う場合の従来のエンコーダの直交変換装置、量子化装置、逆量子化装置、および逆直交変換装置を示すブロック図である。
　図４に示すように、従来のエンコーダの直交変換装置は、４×４DCT４１１，８×８DCT４１２，１６×１６DCT４１３，３２×３２DCT４１４，６４×６４DCT４１５，１２８×１２８DCT４１６，４×４ROT４１７、および８×８ROT４１８により構成される。
　４×４DCT４１１，８×８DCT４１２，１６×１６DCT４１３，３２×３２DCT４１４，６４×６４DCT４１５、および１２８×１２８DCT４１６には、残差情報がブロックサイズに応じて入力され、DCTされる。
　具体的には、４×４DCT４１１は、４×４画素の残差情報に対してDCTを行い、その結果得られる４×４画素の係数の演算精度を丸めて、４×４ROT４１７に供給する。
　８×８DCT４１２は、８×８画素の残差情報に対してDCTを行い、その結果得られる８×８画素の係数の演算精度を丸めて、８×８ROT４１８に供給する。１６×１６DCT４１３は、１６×１６画素の残差情報に対してDCTを行い、その結果得られる１６×１６画素の係数の演算精度を丸める。１６×１６DCT４１３は、その結果得られる１６×１６画素の係数のうちの８×８画素の低周波数成分を８×８ROT４１８に供給し、残りの高周波数成分を量子化装置に供給する。
　同様に、３２×３２DCT４１４，６４×６４DCT４１５、および１２８×１２８DCT４１６は、それぞれ、３２×３２画素，６４×６４画素，１２８×１２８画素の残差情報に対してDCTを行い、その結果得られる係数の演算精度を丸める。そして、３２×３２DCT４１４，６４×６４DCT４１５、および１２８×１２８DCT４１６は、その結果得られる係数のうちの８×８画素の低周波数成分だけ８×８ROT４１８に供給し、残りの高周波数成分を量子化装置に供給する。
　４×４ROT４１７は、４×４DCT４１１から供給される４×４画素の係数に対して、角度インデックス（index）を用いてROTを行う。
　なお、ROTとは、以下の式（１）に示す垂直方向の回転行列Rｖｅｒｔｉｃａｌおよび水平方向の回転行列Rｈｏｒｉｚｏｎｔａｌを用いた回転変換であり、角度インデックスとは、式（１）におけるα１乃至α６である。
Figure JPOXMLDOC01-appb-M000001
　８×８ROT４１８は、８×８DCT４１２，１６×１６DCT４１３，３２×３２DCT４１４，６４×６４DCT４１５、および１２８×１２８DCT４１６から供給される８×８画素の係数に対して、角度インデックスを用いてROTを行う。
　４×４ROT４１７によるROTの結果得られる４×４画素の係数および８×８ROT４１８によるROTの結果得られる８×８画素の係数は、それぞれ、演算精度が丸められ、量子化装置に供給される。
　量子化装置は、４×４Quant４１９，８×８Quant４２０，１６×１６Quant４２１，３２×３２Quant４２２，６４×６４Quant４２３、および１２８×１２８Quant４２４により構成される。
　４×４Quant４１９は、４×４ROT４１７から供給される４×４画素の係数を量子化する。４×４Quant４１９は、量子化された４×４画素の係数を逆量子化装置に供給するとともに、図２の可逆符号化装置１０６と同様の図示せぬ可逆符号化装置に供給する。
　８×８Quant４２０は、８×８ROT４１８から供給される８×８画素の係数を量子化する。８×８Quant４２０は、量子化された８×８画素の係数を逆量子化装置に供給するとともに、可逆符号化装置１０６と同様の図示せぬ可逆符号化装置に供給する。
　１６×１６Quant４２１は、８×８ROT４１８から供給される８×８画素の係数と、１６×１６DCT４１３から供給される、１６×１６画素の残差情報に対するDCTの結果得られる係数のうちの８×８画素の低周波数成分以外の高周波数成分とを量子化する。１６×１６Quant４２１は、量子化された１６×１６画素の係数を逆量子化装置に供給するとともに、可逆符号化装置１０６と同様の図示せぬ可逆符号化装置に供給する。
　同様に、３２×３２Quant４２２，６４×６４Quant４２３、および１２８×１２８Quant４２４は、それぞれ、８×８ROT４１８から供給される８×８画素の係数と、３２×３２画素，６４×６４画素，１２８×１２８画素の残差情報に対するDCTの結果得られる係数のうちの８×８画素の低周波数成分以外の高周波数成分とを量子化する。３２×３２Quant４２２，６４×６４Quant４２３、および１２８×１２８Quant４２４は、それぞれ、量子化された３２×３２画素，６４×６４画素，１２８×１２８画素の係数を逆量子化装置に供給するとともに、可逆符号化装置１０６と同様の図示せぬ可逆符号化装置に供給する。
　逆量子化装置は、４×４Inv Quant４５１，８×８Inv Quant４５２，１６×１６Inv Quant４５３，３２×３２Inv Quant４５４，６４×６４Inv Quant４５５、および１２８×１２８Inv Quant４５６により構成される。
　４×４Inv Quant４５１，８×８Inv Quant４５２，１６×１６Inv Quant４５３，３２×３２Inv Quant４５４，６４×６４Inv Quant４５５、および１２８×１２８Inv Quant４５６は、それぞれ、４×４Quant４１９，８×８Quant４２０，１６×１６Quant４２１，３２×３２Quant４２２，６４×６４Quant４２３，１２８×１２８Quant４２４から供給される量子化された係数を逆量子化し、逆直交変換装置に供給する。
　逆直交変換装置は、４×４Inv ROT４５７，８×８Inv ROT４５８，４×４Inv DCT４５９，８×８Inv DCT４６０，１６×１６Inv DCT４６１，３２×３２Inv DCT４６２，６４×６４Inv DCT４６３、および１２８×１２８Inv DCT４６４により構成される。
　４×４Inv ROT４５７は、４×４Inv Quant４５１から供給される逆量子化された４×４画素の係数に対して、角度インデックスを用いて逆ROTを行う。４×４Inv ROT４５７は、その結果得られる４×４画素の係数を４×４Inv DCT４５９に供給する。
　８×８Inv ROT４５８は、８×８Inv Quant４５２から供給される逆量子化された８×８画素の係数に対して、角度インデックスを用いて逆ROTを行い、その結果得られる８×８画素の係数を８×８Inv DCT４６０に供給する。
　また、８×８Inv ROT４５８は、１６×１６Inv Quant４５３から供給される逆量子化された１６×１６画素の係数のうちの８×８画素の低周波数成分に対して、角度インデックスを用いて逆ROTを行う。そして、８×８Inv ROT４５８は、逆ROTの結果得られる８×８画素の係数を１６×１６Inv DCT４６１に供給する。
　同様に、８×８Inv ROT４５８は、３２×３２Inv Quant４５４，６４×６４Inv Quant４５５、および１２８×１２８Inv Quant４５６から供給される逆量子化された３２×３２画素，６４×６４画素，１２８×１２８画素の係数のうちの８×８画素の低周波数成分に対して、角度インデックスを用いて逆ROTを行う。そして、８×８Inv ROT４５８は、逆量子化された３２×３２画素，６４×６４画素，１２８×１２８画素の係数のうちの８×８画素の低周波数成分に対する逆ROTの結果得られる８×８画素の係数を、３２×３２Inv DCT４６２，６４×６４Inv DCT４６３，１２８×１２８Inv DCT４６４に供給する。
　４×４Inv DCT４５９は、４×４Inv Rot４５７から供給される４×４画素の係数に対して逆DCTを行う。４×４Inv DCT４５９は、その結果得られる４×４画素の残差情報を図２の加算装置１１０と同様の図示せぬ加算装置に供給する。
　８×８Inv DCT４６０は、８×８Inv Rot４５８から供給される８×８画素の係数に対して逆DCTを行う。８×８Inv DCT４６０は、その結果得られる８×８画素の残差情報を加算装置１１０と同様の図示せぬ加算装置に供給する。１６×１６Inv DCT４６１は、８×８Inv Rot４５８から供給される８×８画素の係数と、１６×１６Inv Quant４５３から供給される１６×１６画素の係数のうちの８×８画素の低周波数成分以外の高周波数成分とに対して逆DCTを行う。１６×１６Inv DCT４６１は、その結果得られる１６×１６画素の残差情報を加算装置１１０と同様の図示せぬ加算装置に供給する。
　同様に、３２×３２Inv DCT４６２，６４×６４Inv DCT４６３、および１２８×１２８Inv DCT４６４は、それぞれ、８×８Inv Rot４５８から供給される８×８画素の係数と、３２×３２Inv Quant４５４，６４×６４Inv Quant４５５，１２８×１２８Inv Quant４５６から供給される係数のうちの８×８画素の低周波数成分以外の高周波数成分とに対して逆DCTを行う。３２×３２Inv DCT４６２，６４×６４Inv DCT４６３、および１２８×１２８Inv DCT４６４は、それぞれ、逆DCTの結果得られる３２×３２画素，６４×６４画素，１２８×１２８画素の残差情報を加算装置１１０と同様の図示せぬ加算装置に供給する。
　以上のようにして図示せぬ加算装置に残差情報が入力されることにより、復号後の画像が得られる。
　次に、図５は、図２のエンコーダの直交変換装置１０４、量子化装置１０５、逆量子化装置１０８、および逆直交変換装置１０９の詳細を示すブロック図である。
　なお、図５に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図５の構成は、主に、直交変換装置１０４において４×４DCT４１１と４×４ROT４１７の代わりに４×４DCT×ROT５０１が設けられている点、逆直交変換装置１０９において４×４Inv ROT４５７と４×４Inv DCT４５９の代わりに４×４Inv ROT×Inv DCT５０２が設けられている点が図４の構成と異なる。　
　直交変換装置１０４の４×４DCT×ROT５０１は、角度インデックスを用いて、図２の演算装置１０３から供給される４×４画素の残差情報に対してDCTとROTを合成した変換を行う。具体的には、４×４DCT×ROT５０１は、角度インデックスに応じたDCTとROTを合成した変換のための行列を予め用意しており、４×４DCT×ROT５０１は、その行列を用いた１回の変換で、DCTおよびROT後の４×４画素の係数を得る。４×４DCT×ROT５０１は、その４×４画素の係数の演算精度を丸め、４×４Quant４１９に供給する。
　なお、DCTとROTは直交変換の一種であり、通常、行列演算により行われる。従って、DCTとROTを合成した変換のための行列とは、DCTの行列演算で用いられる行列とROTの行列演算で用いられる行列の積によって得られる行列である。
　以上のように、直交変換装置１０４では、４×４画素の残差情報に対して１回の変換でDCTとROTを行うことができるので、図４の直交変換装置に比べて直交変換処理の演算量を削減することができる。また、DCT後の演算精度の丸めが必要なくなり、図４の直交変換装置に比べて演算精度を高めることができる。従って、図４の４×４ROT４１７の出力と図５の４×４DCT×ROT５０１の出力は同一ではない。
　また、逆直交変換装置１０９の４×４Inv ROT×Inv DCT５０２は、角度インデックスを用いて、４×４Inv Quant４５１から供給される４×４画素の係数に対して逆DCTと逆ROTを合成した変換を行う。具体的には、４×４Inv ROT×Inv DCT５０２は、角度インデックスに応じた逆DCTと逆ROTを合成した変換のための行列を予め用意しており、４×４Inv ROT×Inv DCT５０２は、その行列を用いた１回の変換で、逆DCTおよび逆ROT後の４×４画素の残差情報を得る。なお、逆DCTと逆ROTを合成した変換は、４×４DCT×ROT５０１で行われる変換の逆変換である。４×４Inv ROT×Inv DCT５０２は、変換の結果得られる４×４画素の残差情報を図２の加算装置１１０に供給する。
　以上のように、逆直交変換装置１０９では、４×４画素の係数に対して１回の変換で逆DCTと逆ROTを行うことができるので、図４の逆直交変換装置に比べて逆直交変換処理の演算量を削減することができる。また、逆ROT後の演算精度の丸めが必要なくなり、図４の逆直交変換装置に比べて演算精度を高めることができる。従って、図４の４×４Inv DCT４５９の出力と図５の４×４Inv ROT×Inv DCT５０２の出力は同一ではない。
　次に、図６は、直交変換処理としてDCTとROTを行う場合の従来のデコーダの逆量子化装置および逆直交変換装置を示すブロック図である。
　図６の従来のデコーダの逆量子化装置は、図４の逆量子化装置と同様に構成され、図６の逆直交変換装置は、図４の逆直交変換装置と同様に構成される。
　具体的には、図６の逆量子化装置は、４×４Inv Quant６０１，８×８Inv Quant６０２，１６×１６Inv Quant６０３，３２×３２Inv Quant６０４，６４×６４Inv Quant６０５、および１２８×１２８Inv Quant６０６により構成される。４×４Inv Quant６０１，８×８Inv Quant６０２，１６×１６Inv Quant６０３，３２×３２Inv Quant６０４，６４×６４Inv Quant６０５、および１２８×１２８Inv Quant６０６は、エンコーダから可逆符号化されて伝送されてくる画像圧縮情報を可逆復号した結果得られる量子化された係数に対して、図４の逆量子化装置と同様に逆量子化を行う。
　また、図６の逆直交変換装置は、４×４Inv ROT６０７，８×８Inv ROT６０８，４×４Inv DCT６０９，８×８Inv DCT６１０，１６×１６Inv DCT６１１，３２×３２Inv DCT６１２，６４×６４Inv DCT６１３、および１２８×１２８Inv DCT６１４により構成される。４×４Inv ROT６０７および８×８Inv ROT６０８は、それぞれ、図４の４×４Inv ROT４５７，８×８Inv ROT４５８と同様に逆ROTを行う。また、４×４Inv DCT６０９，８×８Inv DCT６１０，１６×１６Inv DCT６１１，３２×３２Inv DCT６１２，６４×６４Inv DCT６１３、および１２８×１２８Inv DCT６１４は、それぞれ、図４の対応するブロックサイズのInv DCTと同様に、逆DCTを行う。
　次に、図７は、図３のデコーダの逆量子化装置２１８および逆直交変換装置２１９の詳細を示すブロック図である。
　図７の逆量子化装置２１８は、図５の逆量子化装置１０８と同様に構成され、図７の逆直交変換装置２１９は、図５の逆直交変換装置１０９と同様に構成される。
　なお、図７に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図７の構成は、主に、逆直交変換装置２１９において、逆直交変換装置１０９と同様に、４×４Inv ROT６０７と４×４Inv DCT６０９の代わりに４×４Inv ROT×Inv DCT７０１が設けられている点が図６の構成と異なる。
　逆直交変換装置２１９の４×４Inv ROT×Inv DCT７０１は、図５の４×４Inv ROT×Inv DCT５０２と同様に、角度インデックスを用いて、４×４Inv Quant６０１から供給される４×４画素の係数に対して逆DCTと逆ROTを合成した変換を行う。４×４Inv ROT×Inv DCT７０１は、変換の結果得られる４×４画素の残差情報を図３の加算装置２２０に供給する。
　なお、角度インデックスは、例えば、エンコーダで決定され、可逆符号化装置１０６でヘッダ情報に含められてデコーダに伝送される。
　本実施の形態では、４×４画素の残差情報に対するDCTとROTが１度の変換で行われるようにしたが、４×４画素だけでなく８×８画素の残差情報に対するDCTとROTも１度の変換で行われるようにしてもよい。逆DCTと逆ROTについても同様である。
　また、本実施の形態では、DCTの結果得られる８×８画素以上のサイズの係数については、８×８画素の低周波数成分に対してのみROTが行われるようにしたが、ROTが行われる係数の最大限のサイズは、８×８画素以外のサイズ（４×４画素、１６×１６画素等）にしてもよい。このことは、逆ROTについても同様である。
[エンコーダの処理の説明]
　図８、図９、図１０、図１１、及び、図１２は、図２のエンコーダの処理のフローチャートである。
　図８は、マクロブロック（ＭＢ）のエンコード処理を説明するフローチャートである。
　図８のステップＳ１１において、エンコーダは、インター予測を用いた時のＲＤコスト（Ｐ）を算出する。インター予測を用いた時のＲＤコスト（Ｐ）を算出する処理の詳細は、後述する図９を参照して説明する。
　ステップＳ１２において、エンコーダは、イントラ予測を用いた時のＲＤコスト（Ｉ）を算出する。イントラ予測を用いた時のＲＤコスト（Ｉ）を算出する処理の詳細は、後述する図１２を参照して説明する。
　ステップＳ１３において、選択装置１１７は、ＲＤコスト（Ｉ）がＲＤコスト（Ｐ）より大きいかどうかを判定する。
　ステップＳ１３でＲＤコスト（Ｉ）がＲＤコスト（Ｐ）より大きくはないと判定された場合、即ちＲＤコスト（Ｉ）がＲＤコスト（Ｐ）以下である場合、選択装置１１７は、最適イントラ予測モードを最適予測モードに決定する。そして、選択装置１１７は、最適イントラ予測モードの予測画像を、演算装置１０３および加算装置１１０に供給する。また、選択装置１１７は、最適イントラ予測モードの予測画像の選択をイントラ予測装置１１４に通知する。これにより、イントラ予測装置１１４は、イントラ予測モード情報を可逆符号化装置１０６に供給する。
　そして、ステップＳ１４において、エンコーダは、処理対象のマクロブロック（当該ＭＢ）を最適イントラ予測モードのイントラ予測で符号化する。具体的には、エンコーダの演算装置１０３が、画面並べ替えバッファ１０２から読み出された画像の処理対象のマクロブロックから、選択装置１１７から供給される予測画像を減算し、直交変換装置１０４が、その結果得られる残差情報を直交変換する。量子化装置１０５は、直交変換装置１０４による直交変換の結果得られる係数を量子化し、可逆符号化装置１０６は、量子化された係数を可逆符号化するとともに、イントラ予測モード情報などを可逆符号化してヘッダ情報とする。蓄積バッファ１０７は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を、画像圧縮情報として一時的に蓄積し、出力する。
　一方、ステップＳ１３でＲＤコスト（Ｉ）がＲＤコスト（Ｐ）より大きいと判定された場合、選択装置１１７は、最適インター予測モードを最適予測モードに決定する。そして、選択装置１１７は、最適インター予測モードの予測画像を、演算装置１０３および加算装置１１０に供給する。また、選択装置１１７は、最適インター予測モードの予測画像の選択を動き予測装置１１６に通知する。これにより、動き予測装置１１６は、インター予測モード情報、対応する動きベクトルの情報などを可逆符号化装置１０６に出力する。
　そして、ステップＳ１５において、エンコーダは、処理対象のマクロブロックを最適インター予測モードのインター予測で符号化する。具体的には、エンコーダの演算装置１０３が、画面並べ替えバッファ１０２から読み出された画像の処理対象のマクロブロックから、選択装置１１７から供給される予測画像を減算し、直交変換装置１０４が、その結果得られる残差情報を直交変換する。量子化装置１０５は、直交変換装置１０４による直交変換の結果得られる係数を量子化し、可逆符号化装置１０６は、量子化された係数を可逆符号化するとともに、インター予測モード情報、動きベクトルの情報などを可逆符号化してヘッダ情報とする。蓄積バッファ１０７は、可逆符号化の結果得られるヘッダ情報が付加された圧縮画像を、画像圧縮情報として一時的に蓄積し、出力する。
　図９は、図８のステップＳ１１のインター予測を用いた時のＲＤコスト（Ｐ）を算出する処理の詳細を説明するフローチャートである。
　図９のステップＳ３１において、動き予測装置１１６は、インター予測のブロックサイズを、各インター予測モードに対応する４×４画素，８×８画素，１６×１６画素，３２×３２画素，６４×６４画素，１２８×１２８画素のうち、まだ設定されていないものに設定する。
　ステップＳ３２において、動き予測装置１１６は、ステップＳ３１で設定されたサイズで動き予測を行う。具体的には、動き予測装置１１６は、画面並べ替えバッファ１０２から供給される画像とフレームメモリ１１２から供給される参照画像とを用いて、ステップＳ３１で設定されたサイズのブロック単位で動き予測を行う。その結果、ブロック単位の動きベクトル（ＭＶ）が得られる。動き予測装置１１６は、その動きベクトルを動き補償装置１１３に供給する。
　ステップＳ３３において、動き補償装置１１３は、動き予測装置１１６から供給される動きベクトルに応じて、動き補償（ＭＣ）を行う。具体的には、動き補償装置１１３は、動きベクトルに応じて、フレームメモリ１１２から供給される参照画像から予測画像を生成する。動き補償装置１１３は、生成された予測画像を、選択装置１１７を介して演算装置１０３に供給する。
　ステップＳ３４において、演算装置１０３は、入力信号に対応する画像とＭＣ画像（予測画像）の差分を計算する。演算装置１０３は、計算の結果得られる差分を残差情報として直交変換装置１０４に供給する。
　ステップＳ３５において、直交変換装置１０４は、角度インデックスを、インデックス番号０，１，２、および３の角度インデックスのうちのまだ設定されていない角度インデックスに設定する。なお、インデックス番号とは、角度インデックスα１乃至α６の組み合わせに固有の番号であり、本実施の形態では、０乃至３の番号の４種類の角度インデックスの組み合わせが用意されている。
　ステップＳ３６において、直交変換装置１０４は、演算装置１０３から供給される残差情報（差分情報）に対して角度インデックスに応じてROTを行う処理であるROT処理等を施す。ステップＳ３６の処理の詳細は、後述する図１０を参照して説明する。
　ステップＳ３７において、量子化装置１０５は、ステップＳ３６でROT処理等が施された結果得られる係数に対して量子化する処理である量子化処理を施す。具体的には、量子化装置１０５のインター予測のブロックサイズに対応する４×４Quant４１９，８×８Quant４２０，１６×１６Quant４２１，３２×３２Quant４２２，６４×６４Quant４２３、または１２８×１２８Quant４２４が、直交変換装置１０４から供給される係数を量子化する。量子化装置１０５は、量子化処理の結果得られる係数を可逆符号化装置１０６と逆量子化装置１０８に供給する。
　ステップＳ３８において、可逆符号化装置１０６は、量子化装置１０５から供給される係数（量子化後係数）を可逆符号化し、圧縮画像を得る。
　ステップＳ３９において、逆量子化装置１０８は、量子化装置１０５から供給される係数に対して逆量子化する処理である逆量子化処理を施す。具体的には、逆量子化装置１０８のインター予測のブロックサイズに対応する４×４Inv Quant４５１，８×８Inv Quant４５２，１６×１６Inv Quant４５３，３２×３２Inv Quant４５４，６４×６４Inv Quant４５５、または１２８×１２８Inv Quant４５６が、量子化装置１０５から供給される係数を逆量子化する。逆量子化処理の結果得られる係数は、逆直交変換装置１０９に供給される。
　ステップＳ４０において、逆直交変換装置１０９は、残差情報（差分情報）に対応する係数に対して、ステップＳ３５で設定された角度インデックスに応じて、逆ROTを行う処理である逆ROT処理等を施す。ステップＳ４０の処理の詳細は、後述する図１１を参照して説明する。
　ステップＳ４０の処理後、処理はステップＳ３５に戻り、インデックス番号０乃至３の角度インデックスの全てが角度インデックスに設定されるまで、ステップＳ３５乃至Ｓ４０の処理が繰り返される。そして、インデックス番号０乃至３の角度インデックスの全てが角度インデックスに設定されると、処理はステップＳ３１に戻る。そして、４×４画素，８×８画素，１６×１６画素，３２×３２画素，６４×６４画素、および１２８×１２８画素の全てのサイズがインター予測のブロックサイズに設定されるまで、ステップＳ３１乃至Ｓ４０の処理が繰り返される。
　そして、４×４画素，８×８画素，１６×１６画素，３２×３２画素，６４×６４画素、および１２８×１２８画素の全てのサイズがインター予測のブロックサイズに設定され、各ブロックサイズのインター予測のブロックに対して、インデックス番号０乃至３の角度インデックスの全てが角度インデックスとして設定された場合、処理はステップＳ４１に進む。
　ステップＳ４１において、動き予測装置１１６は、インター予測モードと角度インデックスの組み合わせごとに、ＭＶ情報、量子化後符号情報、デコード画像からＲＤコストを計算する。具体的には、動き予測装置１１６は、インター予測モードと角度インデックスの組み合わせごとに、動きベクトルとフレームメモリ１１２から供給される参照画像を用いて予測画像を生成する。そして、動き予測装置１１６は、その予測画像と画面並べ替えバッファ１０２から供給される画像との差分を演算する。そして、動き予測装置１１６は、その差分、ステップＳ３８の処理により得られる圧縮画像の発生符号量などを用いて、上述した式（１）を演算し、ＲＤコストを算出する。
　そして、動き予測装置１１６により、インター予測のブロックサイズに対応するインター予測モードと角度インデックスの組み合わせごとのＲＤコストから最も小さかったＲＤコストがＲＤコスト（Ｐ）として使われる。即ち、動き予測装置１１６は、インター予測モードと角度インデックスの組み合わせごとのＲＤコストのうちの最も小さかったＲＤコストであるＲＤコスト（Ｐ）と、対応する動きベクトルおよびインター予測モード情報を動き補償装置１１３に供給する。
　これにより、動き補償装置１１３は、動き予測装置１１６から供給される動きベクトルとインター予測モード情報に基づいて、フレームメモリ１１２から供給される参照画像に対して補償処理を行い、予測画像を生成する。そして、動き補償装置１１３は、動き予測装置１１６から供給されるＲＤコスト（Ｐ）と、生成された予測画像とを選択装置１１７に供給する。
　図１０は、図９のステップＳ３６の処理の詳細を説明するフローチャートである。
　図１０のステップＳ５１において、直交変換装置１０４は、インター予測のブロックサイズが４×４画素であるかどうかを判定する。
　ステップＳ５１でインター予測のブロックサイズが４×４画素であると判定された場合、ステップＳ５２において、直交変換装置１０４は、角度インデックスに応じてROT×DCT処理を施す。具体的には、直交変換装置１０４の４×４DCT×ROT５０１(図５)は、図９のステップＳ３５で設定された角度インデックスに応じて、演算装置１０３から供給される残差情報に対して、DCTとROTを合成した変換を行う。４×４DCT×ROT５０１は、変換の結果得られる係数を量子化装置１０５の４×４Quant４１９に供給する。
　ステップＳ５１でインター予測のブロックサイズが４×４画素ではないと判定された場合、ステップＳ５３において、直交変換装置１０４は、演算装置１０３から供給される残差情報に対して、DCTを行う処理であるDCT処理を施す。具体的には、直交変換装置１０４のインター予測のブロックサイズに対応する８×８DCT４１２，１６×１６DCT４１３，３２×３２DCT４１４，６４×６４DCT４１５、または１２８×１２８DCT４１６が、残差情報に対してDCTを行う。DCTの結果得られる係数のうちの８×８画素の低周波数成分は、８×８ROT４１８に供給され、残りの高周波数成分は、インター予測のブロックサイズに対応する１６×１６Quant４２１，３２×３２Quant４２２，６４×６４Quant４２３、または１２８×１２８Quant４２４に供給される。
　ステップＳ５４において、直交変換装置１０４の８×８ROT４１８は、低周波数成分の８×８画素（８×８サイズ）の係数に対して、図９のステップＳ３５で設定された角度インデックスに応じてROT処理を施す。８×８ROT４１８は、ROT処理の結果得られる８×８画素の係数を、イントラ予測のブロックサイズに対応する８×８Quant４２０，１６×１６Quant４２１，３２×３２Quant４２２，６４×６４Quant４２３、または１２８×１２８Quant４２４に供給する。
　図１１は、図９のステップＳ４０の処理を詳細に説明するフローチャートである。
　図１１のステップＳ７１において、逆直交変換装置１０９は、インター予測のブロックサイズが４×４画素であるかどうかを判定する。
　ステップＳ７１でインター予測のブロックサイズが４×４画素であると判定された場合、ステップＳ７２において、逆直交変換装置１０９は、角度インデックスに応じて逆ROT×DCT処理を施す。具体的には、逆直交変換装置１０９の４×４Inv ROT×Inv DCT５０２(図５)は、図９のステップＳ３５で設定された角度インデックスに応じて、逆量子化装置１０８の４×４Inv Quant４５１から供給される係数に対して、逆ROTと逆DCTを合成した変換を行う。４×４Inv ROT×Inv DCT５０２は、変換の結果得られる残差情報を加算装置１１０に供給する。
　ステップＳ７１でインター予測のブロックサイズが４×４画素ではないと判定された場合、処理はステップＳ７３に進む。ステップＳ７３において、逆直交変換装置１０９の８×８Inv ROT４５８(図７)は、逆量子化装置１０８から供給される８×８画素以上のサイズの係数のうちの低周波数成分の８×８画素（８×８サイズ）の係数に対して、図９のステップＳ３５で設定された角度インデックスに応じて、逆ROTを行う処理である逆ROT処理を施す。８×８Inv ROT４５８は、逆ROT処理の結果得られる係数を、インター予測のブロックサイズに対応する８×８Inv DCT４６０，１６×１６Inv DCT４６１，３２×３２Inv DCT４６２，６４×６４Inv DCT４６３、または１２８×１２８Inv DCT４６４に供給する。
　ステップＳ７４において、逆直交変換装置１０９の８×８Inv DCT４６０，１６×１６Inv DCT４６１，３２×３２Inv DCT４６２，６４×６４Inv DCT４６３、または１２８×１２８Inv DCT４６４は、８×８Inv ROT４５８から供給される係数と逆量子化装置１０８から供給される係数に対して、逆DCTを行う処理である逆DCT処理を施す。逆DCT処理の結果得られる残差情報は、加算装置１１０に供給される。
　図１２は、図８のステップＳ１２のイントラ予測を用いた時のＲＤコスト（Ｉ）を算出する処理を詳細に説明するフローチャートである。
　図１２のステップＳ１０１において、イントラ予測装置１１４は、イントラ予測のブロックサイズを４×４画素，８×８画素，１６×１６画素，３２×３２画素，６４×６４画素、および１２８×１２８画素のうち、まだ設定されていないものに設定する。
　ステップＳ１０２において、イントラ予測装置１１４は、イントラ予測モード（Intra direction mode）を、イントラ予測モード番号が０，１，２，３，４，５，６，７、または８であるイントラ予測モードのうち、まだ設定されていないものに設定する。なお、イントラ予測モード番号とは、イントラ予測モードに固有の番号であり、本実施の形態では、０乃至８の番号の８種類のイントラ予測モードが用意されている。
　ステップＳ１０３において、イントラ予測装置１１４は、ステップＳ１０１で設定されたブロックサイズおよびイントラ予測モードで動き予測を行う。具体的には、イントラ予測装置１１４は、画面並べ替えバッファ１０２から供給される画像と加算装置１１０から供給される参照画像とを用いて、ステップＳ１０１で設定されたブロックサイズのブロック単位で、設定されたイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。イントラ予測装置１１４は、生成された予測画像を、選択装置１１７を介して演算装置１０３に供給する。
　ステップＳ１０４において、演算装置１０３は、入力信号に対応する画像とイントラ予測画像（イントラ予測処理により生成された予測画像）の差分を計算する。演算装置１０３は、計算の結果得られる差分を残差情報として直交変換装置１０４に供給する。
　ステップＳ１０５乃至Ｓ１１０の処理は、図９のステップＳ３５乃至Ｓ４０の処理と同様であるので、説明は省略する。
　ステップＳ１１０の処理後、処理はステップＳ１０５に戻り、インデックス番号０乃至３の角度インデックスの全てが角度インデックスに設定されるまで、ステップＳ１０５乃至Ｓ１１０の処理が繰り返される。そして、インデックス番号０乃至３の角度インデックスの全てが角度インデックスに設定されると、処理はステップＳ１０２に戻る。そして、イントラ予測モード番号０乃至８のイントラ予測モードの全てがイントラ予測モードに設定されるまで、ステップＳ１０２乃至Ｓ１１０の処理が繰り返される。
　そして、イントラ予測モード番号０乃至８の全てがイントラ予測モードに設定されると、処理はステップＳ１０１に戻る。そして、４×４画素，８×８画素，１６×１６画素，３２×３２画素，６４×６４画素、および１２８×１２８画素の全てのサイズがイントラ予測のブロックサイズに設定されるまで、ステップＳ１０１乃至Ｓ１１０の処理が繰り返される。
　そして、４×４画素，８×８画素，１６×１６画素，３２×３２画素，６４×６４画素、および１２８×１２８画素の全てのサイズがイントラ予測のブロックサイズに設定され、各ブロックサイズのブロックに対して、インデックス番号０乃至３の角度インデックスの全てが角度インデックスとして設定され、かつ、イントラ予測モード０乃至８のイントラ予測モードの全てがイントラ予測モードとして設定された場合、処理はステップＳ１１１に進む。
　ステップＳ１１１において、イントラ予測装置１１４は、イントラ予測のブロックサイズ、イントラ予測モード、および角度インデックスの組み合わせごとに、量子化後符号情報、デコード画像からＲＤコストを計算する。具体的には、イントラ予測装置１１４は、イントラ予測のブロックサイズ、イントラ予測モード、および角度インデックスの組み合わせごとに、フレームメモリ１１２から供給される参照画像を用いて予測画像を生成する。そして、イントラ予測装置１１４は、その予測画像と画面並べ替えバッファ１０２から供給される画像との差分を演算する。そして、動き予測装置１１６は、その差分、ステップＳ１０８の処理により得られる圧縮画像の発生符号量などを用いて、上述した式（１）を演算し、ＲＤコストを算出する。
　そして、イントラ予測装置１１４により、イントラ予測のブロックサイズ、イントラ予測モード、および角度インデックスの組み合わせごとのＲＤコストから最も小さかったＲＤコストがＲＤコスト（Ｉ）として使われる。即ち、イントラ予測装置１１４は、イントラ予測のブロックサイズ、イントラ予測モード、および角度インデックスの組み合わせごとのＲＤコストのうちの最も小さかったＲＤコストであるＲＤコスト（Ｉ）と、対応する予測画像を選択装置１１７に供給する。
　図１３、図１４、及び、図１５は、図３のデコーダの処理のフローチャートである。
　図１３は、マクロブロック（ＭＢ）のデコード処理を説明するフローチャートである。
　図１３のステップＳ１２１において、可逆復号化装置２１７は、蓄積バッファ２１６から処理対象のマクロブロックの画像圧縮情報を読み出して取得し、その画像圧縮情報を図２の可逆符号化装置１０６の可逆符号化方式に対応する方式で可逆復号化する。この可逆復号化によって処理対象のマクロブロックの最適予測モードを示す情報として、イントラ予測モード情報またはインター予測モード情報が取り出される。
　ステップＳ１２２において、可逆復号化装置２１７は、ステップＳ１２１で取り出された最適予測モードを示す情報が、イントラ予測モード情報であるかどうかを判定する。ステップＳ１２２でイントラ予測モード情報であると判定された場合、ステップＳ１２３において、デコーダは、処理対象のマクロブロック（当該ＭＢ）を、イントラ予測で復号化する。ステップＳ１２３の処理の詳細は、後述する図１５を参照して説明する。
　一方、ステップＳ１２２でイントラ予測モード情報ではないと判定された場合、即ちステップＳ１２１で取り出された最適予測モードを示す情報が、インター予測モード情報である場合、処理はステップＳ１２４に進む。
　ステップＳ１２４において、デコーダは、処理対象のマクロブロックを、インター予測で復号化する。ステップＳ１２４の処理の詳細は、後述する図１４を参照して説明する。
　図１４は、図１３のステップＳ１２４の処理の詳細を説明するフローチャートである。
　図１４のステップＳ１４１において、可逆復号化装置２１７は、蓄積バッファ２１６から取得された画像圧縮情報（ストリーム情報）から、インター予測のブロックサイズ、動きベクトル（ＭＶ）、角度インデックス情報、残差情報（差分情報）に対応する量子化された係数を取り出す。具体的には、可逆復号化装置２１７は、画像圧縮情報を可逆復号化し、インター予測モード情報、動きベクトル、角度インデックス情報、および量子化された係数を得る。そして、可逆復号化装置２１７は、インター予測モード情報に対応するインター予測のブロックサイズを認識する。可逆復号化装置２１７は、インター予測モード情報に対応するブロックサイズのブロック単位で、量子化された係数を逆量子化装置２１８に供給する。また、可逆復号化装置２１７は、インター予測モード情報および動きベクトルを動き補償装置２２４に供給し、角度インデックスを逆直交変換装置２１９に供給する。
　ステップＳ１４２において、動き補償装置２２４は、可逆復号化装置２１７から供給されるインター予測モード情報および動きベクトルに応じて、フレームメモリ２２３から供給される参照画像に対して動き補償処理（ＭＣ処理）を施す。そして、動き補償装置２２４は、動き補償処理の結果得られる予測画像を、スイッチ２２７を介して加算装置２２０に供給する。
　ステップＳ１４３において、逆量子化装置２１８は、可逆復号化装置２１７から供給される量子化された係数に対して逆量子化処理を施す。具体的には、逆量子化装置２１８のインター予測のブロックサイズに対応する４×４Inv Quant６０１，８×８Inv Quant６０２，１６×１６Inv Quant６０３，３２×３２Inv Quant６０４，６４×６４Inv Quant６０５、または１２８×１２８Inv Quant６０６は、量子化された係数を逆量子化する。逆量子化装置２１８は、逆量子化処理の結果得られる係数を逆直交変換装置２１９に供給する。
　ステップＳ１４４において、逆直交変換装置２１９は、逆量子化装置２１８から供給される差分情報（残差情報）に対応する係数に対して、可逆復号化装置２１７から供給される角度インデックスに応じて逆ROT処理等を施す。ステップＳ１４４の処理の詳細は、図１１で説明した場合と同様であるので、説明は省略する。
　ステップＳ１４５において、加算装置２２０は、動き補償装置２２４からスイッチ２２７を介して供給される予測画像（予測信号）に、ステップＳ１４４の処理の結果得られる残差情報(逆ROT情報)を加えて、デコード画像を得る。このデコード画像は、イントラ予測装置２２５に供給されたり、デブロックフィルタ２２６を介してフレームメモリ２２３に供給されたり、デブロックフィルタ２２６、画面並べ替えバッファ２２１、D/A変換装置２２２を介して外部に出力されたりする。
　図１５は、図１３のステップＳ１２３の処理の詳細を説明するフローチャートである。
　図１５のステップＳ１６１において、可逆復号化装置２１７は、蓄積バッファ２１６から取得された画像圧縮情報（ストリーム情報）から、イントラ予測のブロックサイズ、イントラ予測モード、角度インデックス情報、残差情報（差分情報）に対応する量子化された係数を取り出す。具体的には、可逆復号化装置２１７は、画像圧縮情報を可逆復号化し、イントラ予測モード情報、角度インデックス情報、および量子化された係数を得る。そして、可逆復号化装置２１７は、イントラ予測モード情報からイントラ予測モードとイントラ予測のブロックサイズを認識する。可逆復号化装置２１７は、イントラ予測のブロックサイズのブロック単位で、量子化された係数を逆量子化装置２１８に供給する。また、可逆復号化装置２１７は、イントラ予測モード情報をイントラ予測装置２２５に供給し、角度インデックスを逆直交変換装置２１９に供給する。
　ステップＳ１６２において、イントラ予測装置２２５は、可逆復号化装置２１７から供給されるイントラ予測モード情報に応じて、加算装置２２０から供給される参照画像に対してイントラ予測処理を行う。そして、イントラ予測装置２２５は、イントラ予測処理の結果得られる予測画像を、スイッチ２２７を介して加算装置２２０に供給する。
　ステップＳ１６３において、逆量子化装置２１８は、図１４のステップＳ１４３の処理と同様に、可逆復号化装置２１７から供給される量子化された係数に対して逆量子化処理を施す。逆量子化装置２１８は、逆量子化処理の結果得られる係数を逆直交変換装置２１９に供給する。
　ステップＳ１６４において、逆直交変換装置２１９は、ステップＳ１４４の処理と同様に、逆量子化装置２１８から供給される差分情報に対応する係数に対して、可逆復号化装置２１７から供給される角度インデックスに応じて逆ROT処理等を施す。
　ステップＳ１６５において、加算装置２２０は、イントラ予測装置２２５からスイッチ２２７を介して供給される予測画像（予測信号）に、ステップＳ１６４の処理の結果得られる残差情報(逆ROT情報)を加えて、デコード画像を得る。このデコード画像は、イントラ予測装置２２５に供給されたり、デブロックフィルタ２２６を介してフレームメモリ２２３に供給されたり、デブロックフィルタ２２６、画面並べ替えバッファ２２１、D/A変換装置２２２を介して外部に出力されたりする。
　［本技術を適用したコンピュータの説明］
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図１６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク７０５やROM７０３に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブル記録媒体７１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体７１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体７１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体７１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク７０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)７０２を内蔵しており、CPU７０２には、バス７０１を介して、入出力インタフェース７１０が接続されている。
　CPU７０２は、入出力インタフェース７１０を介して、ユーザによって、入力部７０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)７０３に格納されているプログラムを実行する。あるいは、CPU７０２は、ハードディスク７０５に格納されたプログラムを、RAM(Random Access Memory)７０４にロードして実行する。
　これにより、CPU７０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU７０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース７１０を介して、出力部７０６から出力、あるいは、通信部７０８から送信、さらには、ハードディスク７０５に記録等させる。
　なお、入力部７０７は、キーボードや、マウス、マイク等で構成される。また、出力部７０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本技術は、以下のような構成もとることができる。
　（１）
　量子化された画像を逆量子化することで、第１の直交変換後に第２の直交変換が行われることにより求められた、前記画像の所定のサイズの低周波成分と、前記第１の直交変換により求められた、前記画像の前記低周波成分以外の成分である高周波数成分とを求める逆量子化部と、
　前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して、前記第１の直交変換に対応する第１の逆直交変換と前記第２の直交変換に対応する第２の逆直交変換を合成した変換である第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う逆直交変換部と
　を備える画像処理装置。
　（２）
　前記所定のサイズは、４×４画素である
　前記（１）に記載の画像処理装置。
　（３）
　前記所定のサイズは、前記画像のサイズが４×４画素である場合４×４画素であり、前記画像のサイズが８×８画素以上である場合８×８画素であり、
　前記逆直交変換部は、前記画像のサイズが４×４画素である場合、前記低周波数成分である前記画像に対して前記第３の逆直交変換を行い、前記画像のサイズが８×８画素以上である場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う
　前記（１）に記載の画像処理装置。
　（４）
　前記第１の直交変換は、ＤＣＴ（Discrete Cosine Transform）であり、
　前記第２の直交変換は、ＲＯＴ（Rotation transform）である
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）
　前記画像のサイズが前記所定のサイズである場合、前記画像に対して前記第１の直交変換と前記第２の直交変換を合成した変換である第３の直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記画像に対して前記第１の直交変換を行い、前記第１の直交変換後の画像における前記所定のサイズの低周波成分に対して第２の直交変換を行う直交変換部と、
　前記第３の直交変換後の前記所定のサイズの前記画像を量子化するか、または、前記第１の直交変換により求められた前記低周波成分以外の成分である高周波成分と前記第２の直交変換により求められた前記低周波成分を量子化する量子化部と
　をさらに備える
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）
　量子化された画像を逆量子化することで、第１の直交変換後に第２の直交変換が行われることにより求められた、前記画像の所定のサイズの低周波成分と、前記第１の直交変換により求められた、前記画像の前記低周波成分以外の成分である高周波数成分とを求める逆量子化部と、
　前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して、前記第１の直交変換に対応する第１の逆直交変換と前記第２の直交変換に対応する第２の逆直交変換を合成した変換である第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う逆直交変換部と
　を備える画像処理装置の、
　前記逆量子化部が、前記低周波成分と、前記高周波数成分とを求め、
　前記逆直交変換部が、前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して前記第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う
　ステップを含む画像処理方法。
　（７）
　量子化された画像を逆量子化することで、第１の直交変換後に第２の直交変換が行われることにより求められた、前記画像の所定のサイズの低周波成分と、前記第１の直交変換により求められた、前記画像の前記低周波成分以外の成分である高周波数成分とを求める逆量子化部と、
　前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して、前記第１の直交変換に対応する第１の逆直交変換と前記第２の直交変換に対応する第２の逆直交変換を合成した変換である第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う逆直交変換部と
　して、コンピュータを機能させるためのプログラム。
　１０４　直交変換装置，　１０５　量子化装置，　１０８　逆量子化装置，　１０９　逆直交変換装置，　２１８　逆量子化装置，　２１９　逆直交変換装置，　７０１　バス，　７０２　CPU，　７０３　ROM，　７０４　RAM，　７０５　ハードディスク，　７０６　出力部，　７０７　入力部，　７０８　通信部，　７０９　ドライブ，　７１０　入出力インタフェース，　７１１　リムーバブル記録媒体

Claims (7)

  1. 　量子化された画像を逆量子化することで、第１の直交変換後に第２の直交変換が行われることにより求められた、前記画像の所定のサイズの低周波成分と、前記第１の直交変換により求められた、前記画像の前記低周波成分以外の成分である高周波数成分とを求める逆量子化部と、
    　前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して、前記第１の直交変換に対応する第１の逆直交変換と前記第２の直交変換に対応する第２の逆直交変換を合成した変換である第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う逆直交変換部と
    　を備える画像処理装置。
  2. 　前記所定のサイズは、４×４画素である
    　請求項１に記載の画像処理装置。
  3. 　前記所定のサイズは、前記画像のサイズが４×４画素である場合４×４画素であり、前記画像のサイズが８×８画素以上である場合８×８画素であり、
    　前記逆直交変換部は、前記画像のサイズが４×４画素である場合、前記低周波数成分である前記画像に対して前記第３の逆直交変換を行い、前記画像のサイズが８×８画素以上である場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う
    　請求項１に記載の画像処理装置。
  4. 　前記第１の直交変換は、ＤＣＴ（Discrete Cosine Transform）であり、
    　前記第２の直交変換は、ＲＯＴ（Rotation transform）である
    　請求項１に記載の画像処理装置。
  5. 　前記画像のサイズが前記所定のサイズである場合、前記画像に対して前記第１の直交変換と前記第２の直交変換を合成した変換である第３の直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記画像に対して前記第１の直交変換を行い、前記第１の直交変換後の画像における前記所定のサイズの低周波成分に対して第２の直交変換を行う直交変換部と、
    　前記第３の直交変換後の前記所定のサイズの前記画像を量子化するか、または、前記第１の直交変換により求められた前記低周波成分以外の成分である高周波成分と前記第２の直交変換により求められた前記低周波成分を量子化する量子化部と
    　をさらに備える
    　請求項１に記載の画像処理装置。
  6. 　量子化された画像を逆量子化することで、第１の直交変換後に第２の直交変換が行われることにより求められた、前記画像の所定のサイズの低周波成分と、前記第１の直交変換により求められた、前記画像の前記低周波成分以外の成分である高周波数成分とを求める逆量子化部と、
    　前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して、前記第１の直交変換に対応する第１の逆直交変換と前記第２の直交変換に対応する第２の逆直交変換を合成した変換である第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う逆直交変換部と
    　を備える画像処理装置の、
    　前記逆量子化部が、前記低周波成分と、前記高周波数成分とを求め、
    　前記逆直交変換部が、前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して前記第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う
    　ステップを含む画像処理方法。
  7. 　量子化された画像を逆量子化することで、第１の直交変換後に第２の直交変換が行われることにより求められた、前記画像の所定のサイズの低周波成分と、前記第１の直交変換により求められた、前記画像の前記低周波成分以外の成分である高周波数成分とを求める逆量子化部と、
    　前記画像のサイズが前記所定のサイズである場合、前記低周波成分である前記画像に対して、前記第１の直交変換に対応する第１の逆直交変換と前記第２の直交変換に対応する第２の逆直交変換を合成した変換である第３の逆直交変換を行い、前記画像のサイズが前記所定のサイズより大きい場合、前記低周波数成分に対して前記第２の逆直交変換を行い、前記第２の逆直交変換後の前記低周波数成分と前記逆量子化部により求められた前記高周波数成分に対して前記第１の逆直交変換を行う逆直交変換部と
    　して、コンピュータを機能させるためのプログラム。
PCT/JP2011/065735 2010-07-16 2011-07-08 画像処理装置、画像処理方法、及びプログラム WO2012008389A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR20137000110A KR20130088114A (ko) 2010-07-16 2011-07-08 화상 처리 장치, 화상 처리 방법, 및 프로그램
RU2013100169/08A RU2013100169A (ru) 2010-07-16 2011-07-08 Устройство обработки изображения, способ обработки изображения и программа
AU2011277552A AU2011277552A1 (en) 2010-07-16 2011-07-08 Image processing device, image processing method, and program
CA2802439A CA2802439A1 (en) 2010-07-16 2011-07-08 Image processing device, image processing method, and program
BR112013000637A BR112013000637A2 (pt) 2010-07-16 2011-07-08 dispositivo de processamento de imagem, método de processamento de imagem, e, programa
CN2011800340205A CN102986223A (zh) 2010-07-16 2011-07-08 图像处理设备、图像处理方法和程序
MX2013000355A MX2013000355A (es) 2010-07-16 2011-07-08 Dispositivo de procesamiento de imagenes, metodo de procesamiento de imagenes, y programa.
US13/809,819 US20130108185A1 (en) 2010-07-16 2011-07-08 Image processing device, image processing method, and program
EP11806719.8A EP2595384A1 (en) 2010-07-16 2011-07-08 Image processing device, image processing method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-162279 2010-07-16
JP2010162279 2010-07-16
JP2010241769A JP2012039590A (ja) 2010-07-16 2010-10-28 画像処理装置、画像処理方法、及びプログラム
JP2010-241769 2010-10-28

Publications (1)

Publication Number Publication Date
WO2012008389A1 true WO2012008389A1 (ja) 2012-01-19

Family

ID=45469389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/065735 WO2012008389A1 (ja) 2010-07-16 2011-07-08 画像処理装置、画像処理方法、及びプログラム

Country Status (12)

Country Link
US (1) US20130108185A1 (ja)
EP (1) EP2595384A1 (ja)
JP (1) JP2012039590A (ja)
KR (1) KR20130088114A (ja)
CN (1) CN102986223A (ja)
AU (1) AU2011277552A1 (ja)
BR (1) BR112013000637A2 (ja)
CA (1) CA2802439A1 (ja)
MX (1) MX2013000355A (ja)
RU (1) RU2013100169A (ja)
TW (1) TW201208383A (ja)
WO (1) WO2012008389A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5854612B2 (ja) * 2011-02-18 2016-02-09 ソニー株式会社 画像処理装置および方法
US9712829B2 (en) * 2013-11-22 2017-07-18 Google Inc. Implementation design for hybrid transform coding scheme
JP6476900B2 (ja) * 2015-01-21 2019-03-06 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US11375220B2 (en) * 2019-11-27 2022-06-28 Tencent America LLC Method and apparatus for video decoding using a nominal directional mode and an angular offset

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167092A (en) * 1999-08-12 2000-12-26 Packetvideo Corporation Method and device for variable complexity decoding of motion-compensated block-based compressed digital video
US7221708B1 (en) * 2002-12-16 2007-05-22 Emblaze V Con Ltd Apparatus and method for motion compensation
US8094711B2 (en) * 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
US20080008246A1 (en) * 2006-07-05 2008-01-10 Debargha Mukherjee Optimizing video coding
KR20110017303A (ko) * 2009-08-13 2011-02-21 삼성전자주식회사 회전변환을 이용한 영상 부호화, 복호화 방법 및 장치
KR20110065092A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
US9661338B2 (en) * 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
US8693795B2 (en) * 2010-10-01 2014-04-08 Samsung Electronics Co., Ltd. Low complexity secondary transform for image and video compression
US20120320972A1 (en) * 2011-06-16 2012-12-20 Samsung Electronics Co., Ltd. Apparatus and method for low-complexity optimal transform selection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DUNN F. ET AL.: "Chapter 7, GYORETSU TO SENKEI HENKAN, JITSUREI DE MANABU 3D SUGAKU", October 2008 (2008-10-01), pages 97 - 120, XP003031730, Retrieved from the Internet <URL:ftp://ftp.oreilly.co.jp/9784873113777/g3d_sample02.pdf> [retrieved on 20110916] *
KEN MCCANN ET AL.: "Samsung's Response to the Call for Proposals on Video Compression Technology", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST MEETING: DRESDEN, DE, DOCUMENT: JCTVC-A124, ITU-T, 15 April 2010 (2010-04-15) - 23 April 2010 (2010-04-23), XP002649004 *

Also Published As

Publication number Publication date
JP2012039590A (ja) 2012-02-23
TW201208383A (en) 2012-02-16
CN102986223A (zh) 2013-03-20
MX2013000355A (es) 2013-01-28
KR20130088114A (ko) 2013-08-07
RU2013100169A (ru) 2014-07-20
EP2595384A1 (en) 2013-05-22
BR112013000637A2 (pt) 2016-05-24
CA2802439A1 (en) 2012-01-19
AU2011277552A1 (en) 2013-01-10
US20130108185A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
KR101974261B1 (ko) Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
RU2679285C2 (ru) Обеспечение информации точности в устройстве кодирования изображения, способ и программа кодирования изображения, устройство декодирования изображения и способ и программа декодирования изображения
EP2081387A1 (en) Dequantization circuit, dequantization method, and image reproduction device
EP2129132A2 (en) Encoding/decoding device, encoding/decoding method and storage medium
WO2012008389A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5377395B2 (ja) 符号化装置、復号装置及びプログラム
KR20120030537A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
WO2011086672A1 (ja) 動画像符号化装置および復号装置
JP2011082629A (ja) 画像符号化方法、画像復号化方法、画像符号化装置、及び画像復号化装置、並びにプログラム
CN103154970A (zh) 视觉优化量化
JP6854816B2 (ja) 符号化及び復号方法並びに対応するデバイス
JP6564315B2 (ja) 符号化装置、復号装置、及びプログラム
JP6115968B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
JP5937946B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
JP2007266861A (ja) 画像符号化装置
JP6557483B2 (ja) 符号化装置、符号化システム、及びプログラム
JP2006237765A (ja) 画像符号化装置
JP2015186120A (ja) 符号化方式変換装置及びプログラム
WO2011161823A1 (ja) 動画像符号化方法および復号方法
JP6402520B2 (ja) 符号化装置、方法、プログラム及び機器
WO2017104010A1 (ja) 動画像符号化装置および動画像符号化方法
JP2011049816A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP4857152B2 (ja) 直交変換・量子化装置
JP6727900B2 (ja) 符号化装置、復号装置、及びプログラム
US20130223516A1 (en) Block quantizer in h.264 with reduced computational stages

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180034020.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11806719

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2802439

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20137000110

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011806719

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013100169

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2013/000355

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2011277552

Country of ref document: AU

Date of ref document: 20110708

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13809819

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013000637

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013000637

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130109