WO2011155332A1 - 画像復号化装置と画像符号化装置およびその方法とプログラム - Google Patents

画像復号化装置と画像符号化装置およびその方法とプログラム Download PDF

Info

Publication number
WO2011155332A1
WO2011155332A1 PCT/JP2011/061974 JP2011061974W WO2011155332A1 WO 2011155332 A1 WO2011155332 A1 WO 2011155332A1 JP 2011061974 W JP2011061974 W JP 2011061974W WO 2011155332 A1 WO2011155332 A1 WO 2011155332A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data
image data
transform
prediction
Prior art date
Application number
PCT/JP2011/061974
Other languages
English (en)
French (fr)
Inventor
健治 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to RU2012151530/08A priority Critical patent/RU2012151530A/ru
Priority to EP11792289.8A priority patent/EP2582137A1/en
Priority to BR112012030544A priority patent/BR112012030544A2/pt
Priority to CN201180027201.5A priority patent/CN102918843B/zh
Priority to KR20127031223A priority patent/KR20130090322A/ko
Priority to US13/701,319 priority patent/US9053549B2/en
Publication of WO2011155332A1 publication Critical patent/WO2011155332A1/ja
Priority to US14/720,265 priority patent/US9596476B2/en
Priority to US15/432,338 priority patent/US9979982B2/en
Priority to US15/960,370 priority patent/US10499083B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • the present invention relates to an image decoding device, an image encoding device, a method thereof, and a program. Specifically, an image decoding apparatus, an image encoding apparatus, a method thereof, and a program that can perform efficient decoding and encoding are provided.
  • image information has been handled as digital data.
  • the purpose is to transmit and store information efficiently, and it is based on a method such as MPEG that compresses by orthogonal transform and motion compensation using redundancy unique to image information.
  • Devices are becoming popular for both information distribution in broadcasting stations and information reception in general households.
  • MPEG2 ISO / IEC 13818-2
  • MPEG2 compression is a standard that covers both interlaced and progressively scanned images, as well as standard resolution and high definition images, and is currently widely used in a wide range of professional and consumer applications.
  • a high-resolution interlaced scanned image having 1920 ⁇ 1088 pixels can be allocated a code amount (bit rate) of 18 to 22 Mbps, thereby realizing a high compression ratio and good image quality. It is.
  • MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate.
  • bit rate code amount
  • MPEG4 encoding system has been standardized accordingly.
  • image coding system the standard was approved as an international standard as ISO / IEC 14496-2 in December 1998.
  • H.264 and MPEG-4 Part 10 are international standards. This H. H.264 / AVC is H.264. Based on 26L, It also incorporates functions not supported by 26L.
  • Patent Document 1 discloses that image data is more efficiently encoded using H.264 / AVC.
  • MDDT Mode-dependent directional transform
  • an object of the present invention is to provide an image decoding device, an image encoding device, a method thereof, and a program that can improve the encoding efficiency.
  • encoding is performed by orthogonally transforming prediction error data, which is an error between image data and predicted image data, for each transform block and processing the coefficient data after the orthogonal transform.
  • an image decoding device that decodes the image data from the bit stream, a data processing unit that processes the encoded bit stream to obtain coefficient data and encoding parameter information after the orthogonal transformation, and the encoding parameter information
  • An inverse orthogonal transform unit that obtains a prediction error by performing inverse orthogonal transform of the coefficient data using a base set in advance according to the position of the transform block in the indicated macroblock, and generates the predicted image data
  • the predicted image data generated by the predicted image data generating unit is added to the predicted error obtained by the predicted image data generating unit and the inverse orthogonal transform unit.
  • an addition unit for decoding the image data is performed by orthogonally transforming prediction error data, which is an error between image data and predicted image data, for each transform block and processing the coefficient data after the orthogonal transform.
  • the Karoonen-Labe inverse transform is performed using the set basis.
  • the base used in the inverse orthogonal transform unit is a reverse example of the base used when the prediction error data is orthogonally transformed for each transform block.
  • Such a base is provided in advance, and the prediction error data before the orthogonal transformation is generated by performing the inverse orthogonal transformation by selecting and using the basis corresponding to the block position or the like.
  • an encoding generated by orthogonally transforming prediction error data which is an error between image data and predicted image data, for each transform block, and processing the coefficient data after the orthogonal transform.
  • the predicted image data generation procedure for generating the predicted image data, and the generated prediction error obtained by the inverse orthogonal transform unit An adding procedure for decoding the image data by adding measurement image data in the program to be executed by the computer.
  • a prediction unit that generates predicted image data of the image data, and prediction that is an error between the image data and the predicted image data
  • An orthogonal unit that performs orthogonal transform of the prediction error for each transform block and performs orthogonal transform using a base set in advance according to the position of the transform block in a macro block.
  • the image coding apparatus includes a transform unit and a data processing unit that processes output data of the orthogonal transform unit to generate a coded bitstream.
  • the block position and block position of the transform block in the macro block and the predicted image data are obtained.
  • a base set in advance according to the prediction mode at the time of generation is used, and orthogonal transformation, for example, Karhunen-Loeve transformation, is performed.
  • Karoonen-Label transform is performed on the block configured with the coefficient of the lowest frequency component after orthogonal transform in each transform block.
  • a base set in advance according to the prediction mode is used.
  • This base is obtained by using a plurality of images prepared for base learning in advance, in each transform block for each macroblock size, each transform block size, each transform block position in the macroblock, and each prediction mode. Is an eigenvector corresponding to the eigenvalue of the matrix calculated from the prediction error data.
  • the bases are grouped according to the distance between the bases or the distance from the reference pixel.
  • Such a base is provided in advance, and an orthogonal transform is performed by selecting and using a base corresponding to a block position or the like. Further, the coefficient data after the orthogonal transform is subjected to processing such as quantization and lossless encoding, and an encoded bit stream is generated.
  • a predicted image data generation step for generating predicted image data of the image data, and an error between the image data and the predicted image data
  • a subtraction process for generating prediction error data, and orthogonal transformation of the prediction error is performed for each transformation block, and the orthogonal transformation is performed using a base set in advance according to the position of the transformation block in a macroblock.
  • the image encoding method includes an orthogonal transform step for performing the above.
  • the program of the present invention is, for example, a storage medium or communication medium provided in a computer-readable format to a general-purpose computer system capable of executing various program codes, such as an optical disk, a magnetic disk, a semiconductor memory, etc. Or a program that can be provided by a communication medium such as a network.
  • a program that can be provided by a communication medium such as a network.
  • the orthogonal transformation is performed using a base set in advance according to the block position of the transformation block in the macroblock.
  • it is included in the encoded bitstream.
  • Inverse orthogonal transformation is performed using a base set in advance according to the block position in the macroblock indicated by the encoding parameter information, so that coefficient data after orthogonal transformation is predicted before orthogonal transformation. Error data can be restored.
  • orthogonal transform and inverse orthogonal transform are performed using a base corresponding to the block position in the macroblock, it is possible to perform a transform optimized according to the block position and improve coding efficiency. be able to.
  • FIG. 1 shows the configuration of an image encoding device.
  • the image encoding device 10 includes an analog / digital conversion unit (A / D conversion unit) 11, a screen rearrangement buffer 12, a subtraction unit 13, an orthogonal transformation unit 14, a quantization unit 15, a lossless encoding unit 16, and a storage buffer 17.
  • the rate control unit 18 is provided.
  • the image encoding device 10 includes an inverse quantization unit 21, an inverse orthogonal transform unit 22, an addition unit 23, a deblocking filter 24, a frame memory 27, an intra prediction unit 31, a motion prediction / compensation unit 32, a predicted image / optimum A mode selection unit 33 is provided.
  • the A / D converter 11 converts an analog image signal into digital image data and outputs the digital image data to the screen rearrangement buffer 12.
  • the screen rearrangement buffer 12 rearranges the frames of the image data output from the A / D conversion unit 11.
  • the screen rearrangement buffer 12 rearranges the frames according to the GOP (Group of Pictures) structure related to the encoding process, and subtracts the image data after the rearrangement, the intra prediction unit 31, and the motion prediction / compensation unit. 32.
  • GOP Group of Pictures
  • the subtraction unit 13 is supplied with the image data output from the screen rearrangement buffer 12 and the predicted image data selected by the predicted image / optimum mode selection unit 33 described later.
  • the subtraction unit 13 calculates prediction error data that is a difference between the image data output from the screen rearrangement buffer 12 and the prediction image data supplied from the prediction image / optimum mode selection unit 33, and sends the prediction error data to the orthogonal transformation unit 14. Output.
  • the quantization unit 15 is supplied with coefficient data output from the orthogonal transform unit 14 and a rate control signal from a rate control unit 18 described later.
  • the quantization unit 15 quantizes the coefficient data and outputs the quantized data to the lossless encoding unit 16 and the inverse quantization unit 21. Further, the quantization unit 15 changes the bit rate of the quantized data by switching the quantization parameter (quantization scale) based on the rate control signal from the rate control unit 18.
  • the lossless encoding unit 16 performs lossless encoding on the encoding parameter information and adds it to, for example, header information of the encoded bit stream.
  • the quantization unit 15 and the lossless encoding unit 16 correspond to a data processing unit that processes output data of the orthogonal transform unit 14 to generate an encoded bit stream.
  • the rate control unit 18 monitors the free capacity of the storage buffer 17, generates a rate control signal according to the free capacity, and outputs it to the quantization unit 15.
  • the rate control unit 18 acquires information indicating the free capacity from the accumulation buffer 17, for example.
  • the rate control unit 18 reduces the bit rate of the quantized data by the rate control signal when the free space is low.
  • the rate control unit 18 increases the bit rate of the quantized data by the rate control signal.
  • the inverse quantization unit 21 performs an inverse quantization process on the quantized data supplied from the quantization unit 15.
  • the inverse quantization unit 21 outputs coefficient data obtained by performing the inverse quantization process to the inverse orthogonal transform unit 22.
  • the inverse orthogonal transform unit 22 outputs data obtained by performing an inverse orthogonal transform process on the coefficient data supplied from the inverse quantization unit 21 to the addition unit 23.
  • the adding unit 23 adds the data supplied from the inverse orthogonal transform unit 22 and the predicted image data supplied from the predicted image / optimum mode selection unit 33 to generate reference image data, and the deblocking filter 24 and the intra prediction. To the unit 31.
  • the deblocking filter 24 performs a filter process for reducing block distortion that occurs during image coding.
  • the deblocking filter 24 performs a filtering process for removing block distortion from the reference image data supplied from the adding unit 23, and outputs the filtered reference image data to the frame memory 27.
  • the frame memory 27 holds the reference image data after the filtering process supplied from the deblocking filter 24.
  • the intra prediction unit 31 performs an intra prediction process using the image data of the encoding target image output from the screen rearrangement buffer 12 and the reference image data supplied from the addition unit 23.
  • the intra prediction unit 31 performs an intra prediction process for each transform block size in orthogonal transform and for each prediction mode of intra prediction.
  • the intra prediction unit 31 outputs the generated predicted image data to the predicted image / optimum mode selection unit 33.
  • the intra prediction unit 31 generates coding parameter information related to the intra prediction process, and outputs the coding parameter information to the lossless coding unit 16 and the predicted image / optimum mode selection unit 33.
  • the intra prediction unit 31 includes, for example, the macro block size, the transform block size, the position of the transform block in the macro block, the prediction mode, and the like in the encoding parameter information.
  • the intra prediction unit 31 calculates a cost function value in each intra prediction process, and selects an intra prediction process that minimizes the calculated cost function value, that is, an optimal intra prediction process that maximizes the coding efficiency.
  • the intra prediction unit 31 outputs the encoding parameter information and the cost value in the optimal intra prediction process, and the predicted image data generated in the optimal intra prediction process to the predicted image / optimum mode selection unit 33.
  • the motion prediction / compensation unit 32 performs inter prediction processing with all motion compensation block sizes for the macroblock, generates predicted image data, and outputs the prediction image data to the predicted image / optimum mode selection unit 33.
  • the motion prediction / compensation unit 32 uses the filtered reference image data read from the frame memory 27 for each image of each motion compensation block size in the encoding target image read from the screen rearrangement buffer 12. To detect a motion vector. Further, the motion prediction / compensation unit 32 performs motion compensation processing on the reference image based on the detected motion vector to generate predicted image data.
  • the motion prediction / compensation unit 32 generates encoding parameter information related to inter prediction processing, for example, encoding parameter information indicating a macroblock size, a motion compensation block size, a motion vector, and the like, and performs prediction with the lossless encoding unit 16. Output to the image / optimum mode selection unit 33.
  • the motion prediction / compensation unit 32 calculates a cost function value for each motion compensation block size, and performs an inter prediction process in which the calculated cost function value is the minimum, that is, an inter prediction process in which the encoding efficiency is the highest. Select.
  • the motion prediction / compensation unit 32 outputs the encoding parameter information and cost value in the optimal inter prediction process, and the predicted image data generated in the optimal inter prediction process to the predicted image / optimum mode selection unit 33.
  • the predicted image / optimum mode selection unit 33 When the intra prediction unit 31 performs intra prediction processing for each transform block size or prediction mode and selects the optimal intra prediction processing, the predicted image / optimum mode selection unit 33 performs lossless encoding on the encoding parameter information with the orthogonal transform unit 14. Unit 16 outputs the predicted image data to the subtraction unit 13.
  • the prediction image / optimum mode selection unit 33 converts the encoding parameter information into the orthogonal transform unit 14 and the lossless code. Output to the conversion unit 16, and output the predicted image data to the subtraction unit 13.
  • FIG. 2 shows a prediction mode for a block of 4 ⁇ 4 pixels, for example.
  • each prediction mode in FIG. 2 will be briefly described.
  • the arrow indicates the prediction direction.
  • the prediction mode 0 vertical
  • the pixels P0 to P3 have fewer prediction errors than the pixels P12 to P15.
  • the pixels P0, P4, P8, and P12 have fewer prediction errors than the pixels P3, P7, P11, and P15.
  • the prediction mode 4 diagonal down-right
  • the pixel P0 has less prediction error than the pixel P15.
  • the calculated base is added to the encoded bitstream, the encoding efficiency is deteriorated. Therefore, an optimal base is calculated in advance for each block position and prediction mode for performing orthogonal transformation in the macroblock. If the calculated base is used in the image coding apparatus and the image decoding apparatus, it is not necessary to calculate the base in the image coding apparatus and the image decoding apparatus, and the image coding apparatus and the image decoding apparatus The configuration is simple compared to the case of calculating the base. Furthermore, since it is not necessary to transmit the base, it is possible to increase the coding efficiency using the KL transform. The basis learning will be described later.
  • the transform block size that is the block size of the encoding target image is, for example, any block size of 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, or 4 ⁇ 4 pixels. It is said.
  • the conversion block size is, for example, any block size of 8 ⁇ 8 pixels and 4 ⁇ 4 pixels. Therefore, as shown in FIG. 4, when the macro block is 16 ⁇ 16 pixels, the orthogonal transform unit 14 has a block size of 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, and 4 ⁇ 4 pixels according to the prediction mode. It is configured so that conversion can be performed.
  • the 16 ⁇ 16 KL conversion unit 141 performs KL conversion of prediction error data in block units of 16 ⁇ 16 pixels using an optimal base learned in advance for each prediction mode, and the obtained coefficient is used as a coefficient selection unit 148. Output to.
  • the 2 ⁇ 2 KL conversion unit 143 uses the optimal base learned in advance for each prediction mode, and performs the KL conversion of the coefficients of 2 ⁇ 2 blocks supplied from the 8 ⁇ 8 KL conversion unit 142 to the prediction mode. The basis is used, and the obtained coefficient is output to the coefficient selection unit 148.
  • the 4 ⁇ 4 KL conversion unit 144 performs KL conversion of prediction error data in units of 4 ⁇ 4 pixel blocks using an optimal base previously learned for each block position in the prediction mode and macroblock.
  • the prediction error data is data corresponding to a block size of 16 ⁇ 16 pixels
  • the 16 ⁇ 16 pixel block includes 16 4 ⁇ 4 pixel blocks. Therefore, the 4 ⁇ 4KL conversion unit 144 outputs the lowest frequency component coefficient in each block of 4 ⁇ 4 pixels to the 4 ⁇ 4KL conversion unit 145 and outputs the other coefficients to the coefficient selection unit 148.
  • the prediction error data is data corresponding to a block size of 8 ⁇ 8 pixels
  • the block of 8 ⁇ 8 pixels includes four 4 ⁇ 4 pixel blocks. Therefore, the 4 ⁇ 4 KL conversion unit 144 outputs the lowest frequency component coefficient in each block of 4 ⁇ 4 pixels to the 2 ⁇ 2 KL conversion unit 146 and outputs the other coefficients to the coefficient selection unit 148.
  • the 2 ⁇ 2 KL conversion unit 146 performs KL conversion on the block of the lowest frequency component coefficient for 2 ⁇ 2 blocks supplied from the 4 ⁇ 4 KL conversion unit 144 using the optimum base learned in advance for each prediction mode. This is done using the basis corresponding to the prediction mode.
  • the 2 ⁇ 2 KL conversion unit 146 outputs the coefficient obtained by the KL conversion to the coefficient selection unit 148.
  • step ST12 the screen rearrangement buffer 12 performs image rearrangement.
  • the screen rearrangement buffer 12 stores the image data supplied from the A / D conversion unit 11, and rearranges from the display order of each picture to the encoding order.
  • step ST13 the subtraction unit 13 generates prediction error data.
  • the subtraction unit 13 calculates a difference between the image data of the images rearranged in step ST12 and the predicted image data selected by the predicted image / optimum mode selection unit 33, and generates prediction error data.
  • the prediction error data has a smaller data amount than the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.
  • step ST16 the inverse quantization unit 21 performs an inverse quantization process.
  • the inverse quantization unit 21 inversely quantizes the coefficient data quantized by the quantization unit 15 with characteristics corresponding to the characteristics of the quantization unit 15.
  • step ST19 the deblocking filter 24 performs filter processing.
  • the deblocking filter 24 filters the reference image data output from the addition unit 23 to remove block distortion.
  • step ST23 the predicted image / optimum mode selection unit 33 performs encoding parameter information generation processing.
  • the prediction image / optimum mode selection unit 33 outputs the encoding parameter information regarding the selected prediction image data to the orthogonal transform unit 14 and the lossless encoding unit 16 as the encoding parameter information of the optimal mode.
  • step ST32 the motion prediction / compensation unit 32 performs inter prediction.
  • the motion prediction / compensation unit 32 uses the reference image data after filter processing stored in the frame memory 27 to perform inter prediction processing with each motion compensation block size.
  • inter prediction inter prediction processing is performed with each motion compensation block size, and a cost function value in each prediction block is calculated. Then, based on the calculated cost function value, the inter prediction process with the highest coding efficiency is selected.
  • the motion prediction / compensation unit 32 calculates a cost function value for each motion compensation block size.
  • the motion prediction / compensation unit 32 calculates the cost function value using the above-described equation (1) or equation (2).
  • a generated code amount including coding parameter information and the like is used.
  • the cost function value for the inter prediction mode is calculated using the H.264 standard. Evaluation of the cost function value of Skip Mode and Direct Mode defined in the H.264 / AVC format is also included.
  • step ST61 the intra prediction unit 31 determines whether or not the macroblock size is 16 ⁇ 16 pixels.
  • the intra prediction unit 31 proceeds to step ST62 when the macroblock size is 16 ⁇ 16 pixels, and proceeds to step ST63 when the macroblock size is not 16 ⁇ 16 pixels.
  • step ST73 the orthogonal transform unit 14 determines whether the transform block size is 4 ⁇ 4 pixels.
  • the orthogonal transform unit 14 proceeds to step ST74 when the coding parameter information indicates that the transform block size is 4 ⁇ 4 pixels, and proceeds to step ST75 when it does not indicate that it is 4 ⁇ 4 pixels.
  • the orthogonal transform unit 14 performs 16 ⁇ 16 orthogonal transform processing.
  • the orthogonal transform unit 14 performs KL transform of a block of 16 ⁇ 16 pixels using a base learned in advance according to the prediction mode, and outputs the obtained coefficient to the quantization unit 15. That is, the coefficient selection unit 148 of the orthogonal transformation unit 14 illustrated in FIG. 5 selects the coefficient output from the 16 ⁇ 16 KL conversion unit 141 and outputs the selected coefficient to the quantization unit 15.
  • the orthogonal transform unit 14 determines whether or not the transform block size is 4 ⁇ 4 pixels.
  • the orthogonal transform unit 14 proceeds to step ST79 when the coding parameter information indicates that the transform block size is 4 ⁇ 4 pixels, and proceeds to step ST80 when it does not indicate that it is 4 ⁇ 4 pixels.
  • the orthogonal transform unit 14 performs 4 ⁇ 4 orthogonal transform processing.
  • the orthogonal transform unit 14 performs KL transform for each block of 4 ⁇ 4 pixels using a base learned in advance according to the prediction mode and the block position.
  • KL conversion is performed four times.
  • the lowest frequency component coefficient is selected from the coefficients obtained by performing the KL conversion on the 4 ⁇ 4 pixel block, and the KL conversion is performed on the selected 2 ⁇ 2 coefficient using the basis corresponding to the prediction mode. I do.
  • the orthogonal transform unit 14 outputs the coefficient obtained by performing the KL transform on the lowest frequency component coefficient and other coefficients excluding the lowest frequency component coefficient to the quantization unit 15.
  • the orthogonal transform unit 14 performs orthogonal transform in units of 8 ⁇ 8 pixel blocks.
  • the orthogonal transform unit 14 performs KL transform of an 8 ⁇ 8 pixel block using a base learned in advance according to the prediction mode, and outputs the obtained coefficient to the quantization unit 15. That is, the coefficient selection unit 148 of the orthogonal transformation unit 14 illustrated in FIG. 5 selects the coefficient output from the 8 ⁇ 8 KL conversion unit 142 and outputs the selected coefficient to the quantization unit 15.
  • the orthogonal transform unit 14 performs discrete cosine transform (DCT).
  • DCT discrete cosine transform
  • the orthogonal transform unit 14 outputs the coefficient obtained by performing the discrete cosine transform to the quantization unit 15. That is, the coefficient selection unit 148 of the orthogonal transform unit 14 illustrated in FIG. 5 selects the coefficient output from the DCT unit 147 and outputs the selected coefficient to the quantization unit 15.
  • FIG. 12 is a diagram for explaining the orthogonal transform operation.
  • the transform block size is 4 ⁇ 4 pixels.
  • the 16 macroblocks are included in the macroblock.
  • the number in the block indicates the block position loc.
  • the 4 ⁇ 4 KL transform unit 144 of the orthogonal transform unit 14 performs KL transform on each transform block using a base optimized for the prediction mode and block position of each block, and is shown in FIG. Thus, a coefficient for each block is generated.
  • the 4 ⁇ 4 KL conversion unit 145 forms a 4 ⁇ 4 block as shown in FIG. 12D using the lowest frequency component coefficient (indicated by hatching) in each block.
  • the 4 ⁇ 4 KL conversion unit 145 performs KL conversion on the block using a base optimized in accordance with the prediction mode, and generates a coefficient for each block as illustrated in FIG.
  • the orthogonal transform unit 14 outputs the coefficient shown in (E) of FIG. 12 and other coefficients excluding the lowest frequency component coefficient in (C) of FIG. 12 to the quantization unit 15.
  • the macroblock size is 8 ⁇ 8 pixels as shown in FIG. 12F and the transform block size is 4 ⁇ 4 pixels
  • 4 macroblocks are included in the macroblock as shown in FIG. Contains transformation blocks.
  • the number in the block indicates the block position loc.
  • the 4 ⁇ 4 KL transform unit 144 of the orthogonal transform unit 14 performs KL transform on each transform block using a base optimized for the prediction mode and block position of each block, and is shown in FIG. Thus, a coefficient for each block is generated.
  • the 2 ⁇ 2 KL conversion unit 146 forms a 2 ⁇ 2 block as shown in (I) of FIG. 12 using the lowest frequency component coefficient (indicated by hatching) in each block.
  • the 2 ⁇ 2 KL conversion unit 146 performs KL conversion on the block using a base optimized in accordance with the prediction mode, and generates a coefficient for each block as illustrated in FIG.
  • the orthogonal transform unit 14 outputs the coefficient shown in (J) of FIG. 12 and other coefficients excluding the lowest frequency component coefficient in (H) of FIG.
  • FIG. 13 shows the configuration of the image decoding apparatus.
  • the image decoding device 50 includes a storage buffer 51, a lossless decoding unit 52, an inverse quantization unit 53, an inverse orthogonal transform unit 54, an addition unit 55, a deblocking filter 56, a screen rearrangement buffer 57, a digital / analog conversion unit ( D / A converter 58). Furthermore, the image decoding device 50 includes a frame memory 61, an intra prediction unit 62, a motion compensation unit 63, and a selector 64.
  • the accumulation buffer 51 accumulates the transmitted encoded bit stream.
  • the lossless decoding unit 52 decodes the encoded bit stream supplied from the accumulation buffer 51 by a method corresponding to the encoding method of the lossless encoding unit 16 of FIG.
  • the lossless decoding unit 52 outputs the encoding parameter information obtained by decoding the header information of the encoded bitstream to the intra prediction unit 62, the motion compensation unit 63, and the deblocking filter 56. Further, the lossless decoding unit 52 sets prediction motion vector candidates using the motion vectors of the decoding target block and the decoded adjacent block. The lossless decoding unit 52 selects a motion vector from prediction motion vector candidates based on prediction motion vector selection information obtained by lossless decoding of the encoded bitstream, and uses the selected motion vector as a prediction motion vector. . Further, the lossless decoding unit 52 adds the predicted motion vector to the difference motion vector obtained by lossless decoding of the encoded bitstream to calculate the motion vector of the block to be decoded, and the motion compensation unit 63 Output.
  • the inverse quantization unit 53 inversely quantizes the quantized data decoded by the lossless decoding unit 52 by a method corresponding to the quantization method of the quantization unit 15 in FIG.
  • the inverse orthogonal transform unit 54 performs inverse orthogonal transform on the output of the inverse quantization unit 53 by a method corresponding to the orthogonal transform method of the orthogonal transform unit 14 of FIG.
  • the addition unit 55 adds the data after inverse orthogonal transform and the predicted image data supplied from the selector 64 to generate decoded image data, and outputs the decoded image data to the deblocking filter 56 and the intra prediction unit 62.
  • the deblocking filter 56 performs a filtering process on the decoded image data supplied from the adder 55, removes block distortion, supplies the frame memory 61 to the frame memory 61, and stores it in the screen rearrangement buffer 57.
  • the screen rearrangement buffer 57 rearranges images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 12 in FIG. 1 is rearranged in the original display order and output to the D / A conversion unit 58.
  • the D / A conversion unit 58 performs D / A conversion on the image data supplied from the screen rearrangement buffer 57 and outputs it to a display (not shown) to display an image.
  • the frame memory 61 holds the decoded image data after the filtering process supplied from the deblocking filter 24.
  • the intra prediction unit 62 generates a predicted image based on the encoding parameter information supplied from the lossless decoding unit 52, and outputs the generated predicted image data to the selector 64.
  • the motion compensation unit 63 performs motion compensation based on the encoding parameter information and the motion vector supplied from the lossless decoding unit 52, generates predicted image data, and outputs the prediction image data to the selector 64. That is, the motion compensation unit 63 performs motion compensation on the basis of the motion vector for the reference image indicated by the reference frame information based on the motion vector and the reference frame information supplied from the lossless decoding unit 52, Prediction image data having a compensation block size is generated.
  • the selector 64 supplies the prediction image data generated by the intra prediction unit 62 to the addition unit 55. Further, the selector 64 supplies the predicted image data generated by the motion compensation unit 63 to the addition unit 55.
  • FIG. 14 shows the configuration of the inverse orthogonal transform unit 54.
  • the inverse orthogonal transform unit 54 includes a 16 ⁇ 16KL inverse transform unit 541, a 2 ⁇ 2KL inverse transform unit 542, 545, an 8 ⁇ 8KL inverse transform unit 543, a 4 ⁇ 4KL inverse transform unit 544, 546, an IDCT unit 547, and a data selection unit. 548.
  • the 16 ⁇ 16 KL reverse conversion unit 541 performs KL reverse conversion corresponding to the KL conversion performed by the 16 ⁇ 16 KL conversion unit 141 illustrated in FIG.
  • the 16 ⁇ 16KL inverse transform unit 541 is output from the inverse quantization unit 53 using a basis corresponding to the prediction mode (optimum prediction mode) indicated by the coding parameter information of the optimum mode supplied from the lossless decoding unit 52. KL inverse transformation of the dequantized data is performed.
  • the 16 ⁇ 16 KL inverse transform unit 541 outputs the image data obtained by performing the KL inverse transform to the data selection unit 548.
  • the 2 ⁇ 2 KL reverse conversion unit 542 performs KL reverse conversion corresponding to the KL conversion performed by the 2 ⁇ 2 KL conversion unit 143 shown in FIG.
  • the 2 ⁇ 2 KL inverse transform unit 542 performs KL inverse transform of the dequantized data output from the inverse quantization unit 53 using a basis corresponding to the prediction mode indicated by the coding parameter information of the optimal mode.
  • the 2 ⁇ 2 KL inverse transform unit 542 outputs the lowest frequency component coefficient obtained by performing the KL inverse transform to the 8 ⁇ 8 KL inverse transform unit 543.
  • the 8 ⁇ 8 KL inverse conversion unit 543 performs KL inverse conversion corresponding to the KL conversion performed by the 8 ⁇ 8 KL conversion unit 143 shown in FIG.
  • the 8 ⁇ 8 KL inverse transform unit 543 performs KL inverse transform based on the coding parameter information of the optimal mode supplied from the lossless decoding unit 52. For example, when the macro block size is 16 ⁇ 16 pixels, the 8 ⁇ 8 KL inverse transform unit 543 uses the prediction mode indicated by the coding parameter information of the optimal mode and the basis corresponding to the block position to perform the 2 ⁇ 2 KL inverse transform.
  • the KL inverse transform between the lowest frequency component coefficient output from the unit 542 and the post-inverse quantization data output from the inverse quantization unit 53 is performed.
  • the 8 ⁇ 8 KL inverse transform unit 543 outputs the image data obtained by performing the KL inverse transform to the data selection unit 548. Further, the 8 ⁇ 8KL inverse transform unit 543 uses the basis corresponding to the prediction mode and the block position when the macroblock size is 8 ⁇ 8 pixels, and the dequantized data output from the inverse quantization unit 53 KL inverse transform is performed, and the obtained image data is output to the data selection unit 548.
  • the 4 ⁇ 4KL inverse transform unit 544 performs KL inverse transform corresponding to the KL transform performed by the 4 ⁇ 4KL transform unit 145 illustrated in FIG.
  • the 4 ⁇ 4KL inverse transform unit 544 performs KL inverse transform on the dequantized data output from the inverse quantization unit 53 using a basis corresponding to the prediction mode indicated by the coding parameter information of the optimal mode.
  • the 4 ⁇ 4KL inverse transform unit 544 outputs the lowest frequency component coefficient obtained by performing the KL inverse transform to the 4 ⁇ 4KL inverse transform unit 546.
  • the 2 ⁇ 2 KL reverse conversion unit 545 performs KL reverse conversion corresponding to the KL conversion performed by the 2 ⁇ 2 KL conversion unit 146 shown in FIG.
  • the 2 ⁇ 2 KL inverse transform unit 545 performs KL inverse transform on the dequantized data output from the inverse quantization unit 53 using a basis corresponding to the prediction mode indicated by the coding parameter information of the optimal mode.
  • the 2 ⁇ 2 KL inverse transform unit 545 outputs the lowest frequency component coefficient obtained by performing the KL inverse transform to the 4 ⁇ 4 KL inverse transform unit 546.
  • the 4 ⁇ 4 KL inverse conversion unit 546 performs KL inverse conversion corresponding to the KL conversion performed by the 4 ⁇ 4 KL conversion unit 144 illustrated in FIG.
  • the 4 ⁇ 4KL inverse transform unit 546 performs KL inverse transform based on the coding parameter information of the optimal mode supplied from the lossless decoding unit 52. For example, when the macro block size is 16 ⁇ 16 pixels, the 4 ⁇ 4 KL inverse transform unit 546 uses the prediction mode indicated by the coding parameter information of the optimal mode and the basis corresponding to the block position to perform the 4 ⁇ 4 KL inverse transform.
  • the KL inverse transform between the lowest frequency component coefficient output from the unit 544 and the dequantized data output from the inverse quantization unit 53 is performed.
  • the 4 ⁇ 4 KL inverse transform unit 546 outputs the image data obtained by performing the KL inverse transform to the data selection unit 548.
  • the 4 ⁇ 4 KL inverse transform unit 546 uses the base corresponding to the prediction mode and the block position, and the lowest frequency component output from the 2 ⁇ 2 KL inverse transform unit 545.
  • KL inverse transform is performed between the coefficient and the data after inverse quantization output from the inverse quantization unit 53.
  • the 4 ⁇ 4 KL inverse transform unit 546 outputs the image data obtained by performing the KL inverse transform to the data selection unit 548.
  • the IDCT unit 547 performs inverse discrete cosine transform using the dequantized data output from the inverse quantization unit 53, and outputs the obtained image data to the data selection unit 548.
  • the data selection unit 548 selects the image data output from the 16 ⁇ 16KL inverse transform unit 541, the 8 ⁇ 8KL inverse transform unit 543, the 4 ⁇ 4KL inverse transform unit 546, and the IDCT unit 547 based on the encoding parameter information. Do.
  • the data selection unit 548 outputs the selected image data to the addition unit 55 as prediction error data.
  • step ST91 the accumulation buffer 51 accumulates the transmitted encoded bit stream.
  • step ST92 the lossless decoding unit 52 performs lossless decoding processing.
  • the lossless decoding unit 52 decodes the encoded bit stream supplied from the accumulation buffer 51. That is, quantized data of each picture encoded by the lossless encoding unit 16 in FIG. 1 is obtained.
  • the lossless decoding unit 52 performs lossless decoding of the encoding parameter information included in the header information of the encoded bitstream, and supplies the obtained encoding parameter information to the deblocking filter 56 and the selector 64.
  • the lossless decoding unit 52 outputs the encoding parameter information to the intra prediction unit 62 when the encoding parameter information is information related to the intra prediction mode.
  • the lossless decoding unit 52 outputs the encoding parameter information to the motion compensation unit 63 when the encoding parameter information is information related to the inter prediction mode.
  • step ST93 the inverse quantization unit 53 performs an inverse quantization process.
  • the inverse quantization unit 53 inversely quantizes the quantized data decoded by the lossless decoding unit 52 with characteristics corresponding to the characteristics of the quantization unit 15 in FIG.
  • the inverse orthogonal transform unit 54 performs an inverse orthogonal transform process.
  • the inverse orthogonal transform unit 54 performs inverse orthogonal transform corresponding to the orthogonal transform of the orthogonal transform unit 14 of FIG. 1 on the data after inverse quantization from the inverse quantization unit 53.
  • step ST95 the addition unit 55 generates decoded image data.
  • the adder 55 adds the prediction error data obtained by performing the inverse orthogonal transform process and the prediction image data selected in step ST99 described later to generate decoded image data. As a result, the original image is decoded.
  • step ST96 the deblocking filter 56 performs filter processing.
  • the deblocking filter 56 performs a filtering process on the decoded image data output from the adding unit 55 to remove block distortion included in the decoded image.
  • step ST97 the frame memory 61 performs a storage process of the decoded image data.
  • step ST98 the intra prediction unit 62 and the motion compensation unit 63 perform prediction processing.
  • the intra prediction unit 62 and the motion compensation unit 63 perform prediction processing corresponding to the encoding parameter information supplied from the lossless decoding unit 52, respectively.
  • the intra prediction unit 62 performs intra prediction processing based on the encoding parameter information, and obtains predicted image data. Generate. Also, when the encoding parameter information supplied from the lossless decoding unit 52 indicates inter prediction, the motion compensation unit 63 performs motion compensation based on the encoding parameter information and generates predicted image data. .
  • step ST99 the selector 64 selects predicted image data. That is, the selector 64 selects the prediction image data supplied from the intra prediction unit 62 and the prediction image data generated by the motion compensation unit 63 and supplies the selection image data to the addition unit 55. As described above, the selector 64 performs the reverse operation in step ST95. It is added to the output of the orthogonal transformation unit 54.
  • step ST100 the screen rearrangement buffer 57 performs image rearrangement. That is, the screen rearrangement buffer 57 rearranges the order of frames rearranged for encoding by the screen rearrangement buffer 12 of the image encoding device 10 of FIG. 1 to the original display order.
  • step ST101 the D / A converter 58 D / A converts the image data from the screen rearrangement buffer 57. This image is output to a display (not shown), and the image is displayed.
  • the inverse orthogonal transform unit 54 determines whether or not intra prediction is performed. For example, the inverse orthogonal transform unit 54 determines whether the block to be decoded is intra prediction based on the encoding parameter information extracted from the encoded bitstream by the lossless decoding unit 52. The inverse orthogonal transform unit 54 proceeds to step ST112 when the encoding parameter information indicates intra prediction, and proceeds to step ST121 when it does not indicate intra prediction, that is, when it is inter prediction.
  • step ST112 the inverse orthogonal transform unit 54 determines whether or not the macroblock size is 16 ⁇ 16 pixels.
  • the inverse orthogonal transform unit 54 proceeds to step ST113 when the encoding parameter information indicates that the macroblock size is 16 ⁇ 16 pixels, and proceeds to step ST118 when it does not indicate that it is 16 ⁇ 16 pixels.
  • step ST113 the inverse orthogonal transform unit 54 determines whether the transform block size is 4 ⁇ 4 pixels.
  • the inverse orthogonal transform unit 54 proceeds to step ST114 when the transform block size information in the encoding parameter information is “0” and the transform block size is 4 ⁇ 4 pixels, and proceeds to step ST115 when the transform block size is not “0”.
  • the inverse orthogonal transform unit 54 performs 4 ⁇ 4 inverse orthogonal transform processing.
  • the inverse orthogonal transform unit 54 performs 4 ⁇ 4 KL inverse transform using a base learned in advance according to the prediction mode and the block position.
  • the KL conversion is performed by selecting the lowest frequency component coefficient from the coefficients obtained by performing KL conversion and KL conversion 16 times. Therefore, the inverse orthogonal transform unit 54 performs KL inverse transform on the data after inverse quantization of the lowest frequency component coefficient, using the basis corresponding to the prediction mode.
  • the inverse orthogonal transform unit 54 performs KL using the basis corresponding to the prediction mode and the block position with respect to 16 blocks including the lowest frequency component coefficient obtained by the KL inverse transform and the coefficients of other components. Perform inverse transformation.
  • the inverse orthogonal transform unit 54 outputs prediction error data obtained by performing the KL inverse transform to the addition unit 55. That is, the data selection unit 548 of the inverse orthogonal transform unit 54 illustrated in FIG. 14 uses the output of the 4 ⁇ 4KL inverse transform unit 544 to perform data obtained by performing the KL inverse transform in the 4 ⁇ 4KL inverse transform unit 546. Select and output to the adder 55.
  • step ST115 the inverse orthogonal transform unit 54 determines whether the transform block size is 8 ⁇ 8 pixels.
  • the inverse orthogonal transform unit 54 proceeds to step ST116 when the transform block size information in the encoding parameter information is “1” and the transform block size is 8 ⁇ 8 pixels, and proceeds to step ST117 when it is not “1”.
  • the inverse orthogonal transform unit 54 performs 8 ⁇ 8 inverse orthogonal transform processing.
  • the inverse orthogonal transform unit 54 performs 8 ⁇ 8 KL inverse transform using a base learned in advance according to the prediction mode and the block position.
  • the KL conversion is performed by selecting the lowest frequency component coefficient from the coefficients obtained by performing KL conversion and KL conversion four times. Therefore, the inverse orthogonal transform unit 54 performs KL inverse transform on the data after inverse quantization of the lowest frequency component coefficient, using the basis corresponding to the prediction mode.
  • the inverse orthogonal transform unit 54 uses the basis corresponding to the prediction mode and the block position for the four blocks including the lowest frequency component coefficient obtained by the KL inverse transform and the coefficients of the other components. Perform inverse transformation.
  • the inverse orthogonal transform unit 54 outputs prediction error data obtained by performing the KL inverse transform to the addition unit 55. That is, the data selection unit 548 of the inverse orthogonal transform unit 54 illustrated in FIG. 14 uses the output of the 2 ⁇ 2KL inverse transform unit 542 to perform the KL inverse transform in the 8 ⁇ 8KL inverse transform unit 543. Select and output to the adder 55.
  • the inverse orthogonal transform unit 54 performs 16 ⁇ 16 inverse orthogonal transform processing.
  • the inverse orthogonal transform unit 54 performs 16 ⁇ 16 KL inverse transform using a base learned in advance according to the prediction mode.
  • the inverse orthogonal transform unit 54 outputs prediction error data obtained by performing the KL inverse transform to the addition unit 55. That is, the data selection unit 548 of the inverse orthogonal transform unit 54 illustrated in FIG. 14 selects the data obtained by performing the KL inverse transform in the 16 ⁇ 16 KL inverse transform unit 541 and outputs the data to the adder 55.
  • the inverse orthogonal transform unit 54 determines whether the transform block size is 4 ⁇ 4 pixels. The inverse orthogonal transform unit 54 proceeds to step ST119 when the transform block size information in the encoding parameter information is “0” and the transform block size is 4 ⁇ 4 pixels, and proceeds to step ST120 when the transform block size is not “0”.
  • the inverse orthogonal transform unit 54 performs 4 ⁇ 4 inverse orthogonal transform processing.
  • the inverse orthogonal transform unit 54 performs 4 ⁇ 4 KL inverse transform processing using a base learned in advance according to the prediction mode and the block position.
  • the KL conversion is performed by selecting the lowest frequency component coefficient from the coefficients obtained by performing KL conversion and KL conversion four times. Therefore, the inverse orthogonal transform unit 54 performs KL inverse transform on the data after inverse quantization of the lowest frequency component coefficient, using the basis corresponding to the prediction mode.
  • the inverse orthogonal transform unit 54 uses the basis corresponding to the prediction mode and the block position for the four blocks including the lowest frequency component coefficient obtained by the KL inverse transform and the coefficients of the other components. Perform inverse transformation.
  • the inverse orthogonal transform unit 54 outputs prediction error data obtained by performing the KL inverse transform to the addition unit 55. That is, the data selection unit 548 of the inverse orthogonal transform unit 54 illustrated in FIG. 14 uses the output of the 2 ⁇ 2KL inverse transform unit 545 to perform the data obtained by performing the KL inverse transform in the 4 ⁇ 4KL inverse transform unit 546. Select and output to the adder 55.
  • the inverse orthogonal transform unit 54 performs 8 ⁇ 8 inverse orthogonal transform processing.
  • the inverse orthogonal transform unit 54 performs 8 ⁇ 8 KL inverse transform using a base learned in advance according to the prediction mode.
  • the inverse orthogonal transform unit 54 outputs prediction error data obtained by performing the KL inverse transform to the addition unit 55. That is, the data selection unit 548 of the inverse orthogonal transform unit 54 illustrated in FIG. 14 selects the data obtained by performing the KL inverse transform in the 8 ⁇ 8KL inverse transform unit 543 and outputs the selected data to the adder 55.
  • the inverse orthogonal transform unit 54 performs inverse discrete cosine transform (IDCT).
  • IDCT inverse discrete cosine transform
  • the inverse orthogonal transform unit 54 outputs the coefficient obtained by performing the inverse discrete cosine transform to the addition unit 55. That is, the data selection unit 548 of the inverse orthogonal transform unit 54 illustrated in FIG. 14 selects the data output from the IDCT unit 547 and outputs the data to the addition unit 55.
  • FIG. 17 is a diagram for explaining the inverse orthogonal transform operation, and illustrates the inverse orthogonal transform of the transform coefficient generated by the orthogonal transform operation of FIG.
  • the 4 ⁇ 4KL inverse transform unit 544 uses the basis corresponding to the prediction mode indicated by the coding parameter information of the optimal mode, and performs the KL-transformed data (inverse quantum) of the lowest frequency component coefficient shown in FIG. KL inverse transform of the data).
  • the 4 ⁇ 4KL inverse transform unit 544 generates the coefficient of the lowest frequency component shown in FIG. 17B by the KL inverse transform.
  • the 4 ⁇ 4KL inverse transform unit 546 returns the lowest frequency component coefficient and other KL-transformed data (inverse quantized data) to coefficients for each block. Further, as shown in FIG.
  • the 4 ⁇ 4 KL inverse transform unit 546 uses the prediction mode indicated by the encoding parameter information and the basis corresponding to the block position to perform KL every 16 4 ⁇ 4 blocks. Inverse transformation is performed to generate prediction error data shown in FIG.
  • the data selection unit 548 selects the generated prediction error data and outputs it to the addition unit 55.
  • the 2 ⁇ 2 KL inverse transform unit 545 uses the basis corresponding to the prediction mode indicated by the coding parameter information of the optimum mode, and performs the KL-transformed data (inverse of the lowest frequency component coefficient shown in FIG. 17F). KL inverse transform of (quantized data) is performed. The 2 ⁇ 2 KL inverse transform unit 545 generates the lowest frequency component coefficient shown in FIG. 17G by the KL inverse transform. As shown in FIG. 17H, the 4 ⁇ 4KL inverse transform unit 546 returns the lowest frequency component coefficient and other KL-transformed data (inverse quantized data) to coefficients for each block.
  • the 4 ⁇ 4KL inverse transform unit 546 uses the prediction mode indicated by the encoding parameter information and the base corresponding to the block position to perform KL for every 4 ⁇ 4 blocks. Inverse transformation is performed to generate prediction error data shown in FIG.
  • the data selection unit 548 selects the generated prediction error data and outputs it to the addition unit 55.
  • step ST98 in FIG. 15 will be described with reference to the flowchart in FIG.
  • step ST131 the lossless decoding unit 52 determines whether or not the target block is intra-coded.
  • the lossless decoding unit 52 supplies the encoding parameter information to the intra prediction unit 62, and proceeds to step ST132. Also, when the encoding parameter information is not intra prediction information, the lossless decoding unit 52 supplies the encoding parameter information to the motion compensation unit 63 and proceeds to step ST133.
  • step ST133 the motion compensation unit 63 performs inter prediction processing.
  • the motion compensation unit 63 performs motion compensation on the decoded image data supplied from the frame memory 61 based on the encoding parameter information and the motion vector from the lossless decoding unit 52. Further, the motion compensation unit 63 outputs predicted image data generated by motion compensation to the selector 64.
  • coded bits generated by processing coefficient data obtained by performing orthogonal transformation using a base set in advance according to a block position In decoding a stream, inverse orthogonal transform is performed using a base set in advance according to the block position in the macroblock indicated by the encoding parameter information included in the encoded bitstream. Therefore, the coefficient data after orthogonal transformation can be restored to the prediction error data before orthogonal transformation, so even if orthogonal transformation is performed using the basis corresponding to the block position in the macroblock, the prediction error before orthogonal transformation is performed. You can return to data.
  • coefficient data after orthogonal transformation is obtained by using a basis set in advance according to the prediction mode indicated by the encoding parameter information.
  • the prediction error data before the orthogonal transformation can be restored.
  • step ST142 the base generation unit determines whether macroblocks that are not used for learning remain. The base generation unit proceeds to step ST143 when macroblocks not used for learning remain in the image used for learning, and returns to step ST141 when learning is performed using all macroblocks.
  • the base generation unit calculates a symmetric matrix of 4 ⁇ 4 orthogonal transformation.
  • the base generation unit divides the 16 ⁇ 16 prediction error data into 16 transform blocks each having 4 ⁇ 4 pixels, and calculates a symmetric matrix M for each block position of the transform block in the prediction mode and the macroblock.
  • the base generation unit calculates the difference between the average of the 16th-order vectors and each vector as 16th-order vectors by arranging the prediction error data of the 4 ⁇ 4 pixel conversion blocks.
  • the base generation unit calculates the symmetric matrix M by performing the calculation of Expression (3) using this difference as “q”.
  • mdt conversion mode information that makes it possible to determine the macroblock size and the conversion block size.
  • Mod is a prediction mode of intra prediction.
  • Loc is the block position of the transform block within the macroblock.
  • Na is the number of learning times.
  • T indicates a transposed matrix.
  • the base generation unit calculates a symmetric matrix of 8 ⁇ 8 orthogonal transformation.
  • the base generation unit divides the 16 ⁇ 16 prediction error data into four transform blocks each having 8 ⁇ 8 pixels, and calculates a symmetric matrix M for each block position of the transform block in the prediction mode and the macroblock.
  • the base generation unit arranges the prediction error data of the transform block of 8 ⁇ 8 pixels and calculates a difference between each vector and the average of the 64th order vector as a 64th order vector.
  • the base generation unit calculates the symmetric matrix M by performing the calculation of Expression (3) using this difference as “q”.
  • the base generation unit calculates a 4 ⁇ 4 orthogonal transformation symmetric matrix.
  • the base generation unit divides the 8 ⁇ 8 prediction error data into four transform blocks each having 4 ⁇ 4 pixels, and calculates a symmetric matrix M for each block position of the transform block in the prediction mode and the macroblock.
  • the base generation unit calculates the difference between the average of the 16th-order vectors and each vector as 16th-order vectors by arranging the prediction error data of the 4 ⁇ 4 pixel conversion blocks.
  • the base generation unit calculates the symmetric matrix M by performing the calculation of Expression (3) using this difference as “q”.
  • step ST151 the base generation unit calculates a symmetric matrix of 8 ⁇ 8 orthogonal transformation.
  • the base generation unit calculates the difference between the average of the 64th order vectors and each vector as a 64th order vector by arranging the prediction error data of the 8 ⁇ 8 pixel transform block for each prediction mode.
  • the base generation unit calculates the symmetric matrix M for each prediction mode by performing the calculation of Expression (3) using this difference as “q”.
  • the prediction errors of the pixels P1, P5, P9, and P13 often have similar characteristics. Therefore, all the Groups 1 adopt the same base.
  • the groups 0, 2, and 3 can be reduced from 16 types to 4 types by adopting the same base.
  • the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium.
  • the program can be temporarily or permanently stored on a removable recording medium such as a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical disc), DVD (Digital Versatile Disc), magnetic disk, or semiconductor memory. It can be stored (recorded).
  • a removable recording medium can be provided as so-called package software.
  • H.264 is used as the encoding method / decoding method.
  • the present invention can also be applied to an image encoding device / image decoding device using other encoding / decoding methods.
  • the decoder 904 performs packet decoding processing, and outputs video data generated by the decoding processing to the video signal processing unit 905 and audio data to the audio signal processing unit 907.
  • the video signal processing unit 905 performs noise removal, video processing according to user settings, and the like on the video data.
  • the video signal processing unit 905 generates video data of a program to be displayed on the display unit 906, image data by processing based on an application supplied via a network, and the like.
  • the video signal processing unit 905 generates video data for displaying a menu screen for selecting an item and the like, and superimposes the video data on the video data of the program.
  • the video signal processing unit 905 generates a drive signal based on the video data generated in this way, and drives the display unit 906.
  • the television device 90 is provided with a bus 912 for connecting the tuner 902, the demultiplexer 903, the video signal processing unit 905, the audio signal processing unit 907, the external interface unit 909, and the control unit 910.
  • FIG. 22 illustrates a schematic configuration of a mobile phone to which the present invention is applied.
  • the cellular phone 92 includes a communication unit 922, an audio codec 923, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, and a control unit 931. These are connected to each other via a bus 933.
  • the image data generated by the camera unit 926 is supplied to the image processing unit 927.
  • the image processing unit 927 performs encoding processing of image data and generates encoded data.
  • the image processing unit 927 is provided with the functions of the image encoding device (image encoding method) and the image decoding device (image decoding method) of the present application. Therefore, encoding efficiency and image quality can be improved when communicating image data.
  • FIG. 23 exemplifies a schematic configuration of a recording / reproducing apparatus to which the present invention is applied.
  • the recording / reproducing apparatus 94 records, for example, audio data and video data of a received broadcast program on a recording medium, and provides the recorded data to the user at a timing according to a user instruction.
  • the recording / reproducing device 94 can also acquire audio data and video data from another device, for example, and record them on a recording medium.
  • the recording / reproducing device 94 decodes and outputs the audio data and video data recorded on the recording medium, thereby enabling image display and audio output on the monitor device or the like.
  • the external interface unit 942 includes at least one of an IEEE 1394 interface, a network interface unit, a USB interface, a flash memory interface, and the like.
  • the external interface unit 942 is an interface for connecting to an external device, a network, a memory card, and the like, and receives data such as video data and audio data to be recorded.
  • the selector 946 selects one of the encoded bit streams from the tuner 941 or the encoder 943 and supplies it to either the HDD unit 944 or the disk drive 945 when recording video or audio. Further, the selector 946 supplies the encoded bit stream output from the HDD unit 944 or the disk drive 945 to the decoder 947 at the time of reproduction of video and audio.
  • the encoder 943 is provided with the function of the image encoding apparatus (image encoding method) of the present application
  • the decoder 947 is provided with the function of the image decoding apparatus (image decoding method). Video recording and reproduction can be performed efficiently by improving the efficiency and image quality.
  • the imaging device 96 includes an optical block 961, an imaging unit 962, a camera signal processing unit 963, an image data processing unit 964, a display unit 965, an external interface unit 966, a memory unit 967, a media drive 968, an OSD unit 969, and a control unit 970. Have. In addition, a user interface unit 971 is connected to the control unit 970. Furthermore, the image data processing unit 964, the external interface unit 966, the memory unit 967, the media drive 968, the OSD unit 969, the control unit 970, and the like are connected via a bus 972.
  • the camera signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the electrical signal supplied from the imaging unit 962.
  • the camera signal processing unit 963 supplies the image data after the camera signal processing to the image data processing unit 964.
  • the image data processing unit 964 performs an encoding process on the image data supplied from the camera signal processing unit 963.
  • the image data processing unit 964 supplies the encoded data generated by performing the encoding process to the external interface unit 966 and the media drive 968. Further, the image data processing unit 964 performs a decoding process on the encoded data supplied from the external interface unit 966 and the media drive 968.
  • the image data processing unit 964 supplies the image data generated by performing the decoding process to the display unit 965. Further, the image data processing unit 964 superimposes the processing for supplying the image data supplied from the camera signal processing unit 963 to the display unit 965 and the display data acquired from the OSD unit 969 on the image data. To supply.
  • the OSD unit 969 generates display data such as a menu screen and icons made up of symbols, characters, or figures and outputs them to the image data processing unit 964.
  • the external interface unit 966 includes, for example, a USB input / output terminal, and is connected to a printer when printing an image.
  • a drive is connected to the external interface unit 966 as necessary, a removable medium such as a magnetic disk or an optical disk is appropriately mounted, and a computer program read from them is installed as necessary.
  • the external interface unit 966 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the control unit 970 reads the encoded data from the memory unit 967 in accordance with an instruction from the user interface unit 971, and supplies the encoded data to the other device connected via the network from the external interface unit 966. it can.
  • the control unit 970 may acquire encoded data and image data supplied from another device via the network via the external interface unit 966 and supply the acquired data to the image data processing unit 964. it can.
  • any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory is used.
  • the recording medium may be any type of removable medium, and may be a tape device, a disk, or a memory card. Of course, a non-contact IC card or the like may be used.
  • media drive 968 and the recording medium may be integrated and configured by a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • the control unit 970 is configured using a CPU, a memory, and the like.
  • the memory stores programs executed by the CPU, various data necessary for the CPU to perform processing, and the like.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the imaging device 96 is activated.
  • the CPU executes the program to control each unit so that the imaging device 96 operates according to the user operation.
  • the image data processing unit 964 is provided with the functions of the image encoding device (image encoding method) and the image decoding device (image decoding method) of the present application. Therefore, when the captured image is recorded in the memory unit 967, a recording medium, or the like, it is possible to improve the encoding efficiency and the image quality and efficiently record and reproduce the captured image.
  • the present invention should not be construed as being limited to the embodiments of the invention described above.
  • it should not be limited to the above-described macroblock size, transform block size, and prediction mode.
  • the embodiments of the present invention disclose the present invention in the form of examples, and it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. That is, in order to determine the gist of the present invention, the claims should be taken into consideration.
  • a base set in advance according to the block position of the transform block in the macro block is set.
  • orthogonal transformation in decoding of an encoded bitstream generated by processing coefficient data obtained by performing orthogonal transformation using a base set in advance according to a block position, it is included in the encoded bitstream.
  • the base set in advance according to the block position in the macroblock indicated by the encoding parameter information is used, inverse orthogonal transformation is performed, and the coefficient data after orthogonal transformation is predicted before orthogonal transformation. Returned to error data.
  • image information (encoded bitstream) obtained by performing encoding in block units, such as MPEG and H.26x, is transmitted via network media such as satellite broadcasting, cable TV, the Internet, and cellular phones. Therefore, the present invention is suitable for an image decoding device, an image encoding device, or the like used when transmitting / receiving data or processing on a storage medium such as an optical, magnetic disk, or flash memory.
  • tuner 903 ... demultiplexer, 904, 947 ..Decoder, 905 ... Video signal processing unit, 906 ... Display unit, 907 ... Audio signal processing unit, 908 ... Speaker, 909, 942, 966 ... External interface unit, 910,931 , 949, 970 ... control unit, 911, 932, 971 ... user interface unit, 912, 933, 972 ... bus, 922 ... communication unit, 923 ... voice codec, 924 ... Speaker, 925 ... Microphone, 926 ... Camera part, 927 ... Image processing part, 928 ... Demultiplexing part, 929 ... Recording / reproducing part, 930 ... Display part, 943 ... Encoder, 944... HDD section, 945... Disk drive, 948, 969... OSD section, 961... Optical block, 962. ..Image data processing unit, 965... Display unit, 967... Memory unit, 968.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　符号化ビットストリームを処理を可逆復号化部５２と逆量子化部５３と逆直交変換部５４で順に行い直交変換後の係数データと符号化パラメータ情報を得る。逆直交変換部５４は、符号化パラメータ情報で示されたマクロブロック内における変換ブロックの位置に応じて、予め設定されている基底を用いて係数データの逆直交変換を行い予測誤差データを得る。イントラ予測部６２は予測画像データを生成する。加算部５５は、予測誤差データに予測画像データを加算して画像データを復号する。変換ブロックの位置に応じて設定されている基底を用いることで、最適な逆直交変換を行うことが可能となり、符号化効率を改善できる。

Description

画像復号化装置と画像符号化装置およびその方法とプログラム
　この発明は、画像復号化装置と画像符号化装置およびその方法とプログラムに関する。詳しくは、効率的な復号化や符号化を行うことができる画像復号化装置と画像符号化装置およびその方法とプログラムを提供する。
　近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
　特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８－２）は、汎用画像符号化方式として定義されている。ＭＰＥＧ２圧縮方式は、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像および高精細画像を網羅する標準で、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８～２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
　ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６－２としてその規格が国際標準に承認された。
　さらに、近年、ＭＰＥＧ２やＭＰＥＧ４といった符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率を実現できるＨ．２６４およびＭＰＥＧ－４　Part１０（Advanced Video Coding、以下Ｈ．２６４／ＡＶＣと記す）という名で国際標準となっている。このＨ．２６４／ＡＶＣは、Ｈ．２６Ｌをベースとして、Ｈ．２６Ｌではサポートされない機能をも取り入れている。
　また、Ｈ．２６４／ＡＶＣを用いて画像データをより効率的に符号化することが特許文献１等に開示されている。
特開２００８－４９８４号公報
　ところで、イントラ予測では、イントラ予測の方向に合わせて変換手法の切り替えを行う、ＭＤＤＴ（Mode dependent directional transform）と呼ばれる方式が提案されている。このようなＭＤＤＴ方式を用いる場合、イントラ予測の方向に合わせて行われる変換が最適化されていないと、符号化効率を改善することが困難である。
　そこで、この発明では、符号化効率を改善できる画像復号化装置と画像符号化装置およびその方法とプログラムを提供することを目的とする。
　この発明の第１の側面は、画像データと予測画像データとの誤差である予測誤差データを、変換ブロック毎に直交変換して、該直交変換後の係数データを処理して生成された符号化ビットストリームから前記画像データを復号する画像復号化装置において、前記符号化ビットストリームを処理して、前記直交変換後の係数データと符号化パラメータ情報を得るデータ処理部と、前記符号化パラメータ情報で示されたマクロブロック内における前記変換ブロックの位置に応じて予め設定されている基底を用いて前記係数データの逆直交変換を行い予測誤差を得る逆直交変換部と、前記予測画像データを生成する予測画像データ生成部と、前記逆直交変換部で得られた前記予測誤差に前記予測画像データ生成部で生成された予測画像データを加算して前記画像データを復号する加算部とを有する画像復号化装置にある。
　この発明の画像復号化装置では、符号化ビットストリームを処理して得られた直交変換後の係数データの逆直交変換を行う際に、前記符号化ビットストリームに含まれている画像データを復号するための符号化パラメータ情報で示されたマクロブロック内における変換ブロックのブロック位置やブロック位置と符号化パラメータ情報で示された予測モードに応じて予め設定されている基底が用いられて、逆直交変換例えばカルーネン・レーベ逆変換が行われる。また、マクロブロックに含まれる変換ブロックが複数であるとき、各変換ブロックの直交変換後の最も低い周波数成分の係数を用いたブロックの直交変換後の係数データに対して、予測モードに応じて予め設定されている基底を用いて、カルーネン・レーベ逆変換が行われる。また、逆直交変換部で用いられる基底は、予測誤差データを変換ブロック毎に直交変換したときに用いられる基底の逆行例である。このような基底を予め設けておき、ブロック位置等に応じた基底を選択して用いて逆直交変換を行い直交変換が行われるまえの予測誤差データを生成する。
　この発明の第２の側面は、画像データと予測画像データとの誤差である予測誤差データを、変換ブロック毎に直交変換して、該直交変換後の係数データを処理して生成された符号化ビットストリームから前記画像データを復号する画像復号化方法において、前記符号化ビットストリームを処理して、前記直交変換後の係数データと符号化パラメータ情報を得るデータ処理工程と、前記符号化パラメータ情報で示されたマクロブロック内における前記変換ブロックの位置に応じて、予め設定されている基底を用いて前記係数データの逆直交変換を行い予測誤差を得る逆直交変換工程と、前記予測画像データを生成する予測画像データ生成工程と、前記逆直交変換部で得られた前記予測誤差に前記生成された予測画像データを加算して前記画像データを復号する加算工程とを設けた画像復号化方法にある。
　この発明の第３の側面は、画像データと予測画像データとの誤差である予測誤差データを、変換ブロック毎に直交変換して、該直交変換後の係数データを処理して生成された符号化ビットストリームから前記画像データを復号する画像符号化をコンピュータで実行させるプログラムであって、前記符号化ビットストリームを処理して、前記直交変換後の係数データと符号化パラメータ情報を得るデータ処理手順と、前記符号化パラメータ情報で示されたマクロブロック内における前記変換ブロックの位置に応じて、予め設定されている基底を用いて前記係数データの逆直交変換を行い予測誤差を得る逆直交変換手順と、前記予測画像データを生成する予測画像データ生成手順と、前記逆直交変換部で得られた前記予測誤差に前記生成された予測画像データを加算して前記画像データを復号する加算手順とを前記コンピュータで実行させるプログラムにある。
　この発明の第４の側面は、画像データの符号化を行う画像符号化装置において、前記画像データの予測画像データを生成する予測部と、前記画像データと前記予測画像データとの誤差である予測誤差データを生成する減算部と、前記予測誤差の直交変換を変換ブロック毎に行い、マクロブロック内における前記変換ブロックの位置に応じて予め設定されている基底を用いて、前記直交変換を行う直交変換部と、前記直交変換部の出力データを処理して符号化ビットストリームを生成するデータ処理部とを有する画像符号化装置にある。
　この発明の画像符号化装置では、画像データと予測画像データの誤差を示す予測誤差データを変換ブロック毎に直交変換する際に、マクロブロック内における変換ブロックのブロック位置やブロック位置と予測画像データを生成したときの予測モードに応じて予め設定されている基底が用いられて、直交変換例えばカルーネン・レーベ変換が行われる。また、マクロブロックに含まれる変換ブロックが複数であるとき、各変換ブロックにおける直交変換後の最も低い周波数成分の係数で構成したブロックのカルーネン・レーベ変換が行われる。このカルーネン・レーベ変換では、予測モードに応じて予め設定されている基底が用いられる。この基底は、予め基底の学習用に用意されている複数の画像を用いて、マクロブロックサイズ毎、変換ブロックサイズ毎、マクロブロック内における変換ブロックの位置毎、および予測モード毎の各変換ブロック内の予測誤差データから算出した行列の固有値に対応する固有ベクトルである。また、基底は、基底間の距離または参照画素からの距離に応じてグループ化されている。このような基底を予め設けておき、ブロック位置等に応じた基底を選択して用いて直交変換を行う。さらに、直交変換後の係数データに対して量子化や可逆符号化等の処理が行われて、符号化ビットストリームの生成が行われる。
　この発明の第５の側面は、画像データの符号化を行う画像符号化方法において、前記画像データの予測画像データを生成する予測画像データ生成工程と、前記画像データと前記予測画像データとの誤差である予測誤差データを生成する減算工程と、前記予測誤差の直交変換を変換ブロック毎に行い、マクロブロック内における前記変換ブロックの位置に応じて予め設定されている基底を用いて、前記直交変換を行う直交変換工程とを設けた画像符号化方法にある。
　この発明の第６の側面は、画像データの符号化をコンピュータで実行させるプログラムであって、前記画像データの予測画像データを生成する予測画像データ生成手順と、前記画像データと前記予測画像データとの誤差である予測誤差データを生成する減算手順と、前記予測誤差の直交変換を変換ブロック毎に行い、マクロブロック内における前記変換ブロックの位置に応じて予め設定されている基底を用いて、前記直交変換を行う直交変換手順とを前記コンピュータで実行させるプログラムにある。
　なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
　この発明によれば、画像データの符号化時に行われる直交変換において、マクロブロック内における変換ブロックのブロック位置に応じて予め設定されている基底を用いて直交変換が行われる。また、ブロック位置に応じて予め設定されている基底を用いて直交変換を行うことに得られた係数データを処理して生成された符号化ビットストリームの復号化において、符号化ビットストリームに含まれている符号化パラメータ情報で示されたマクロブロック内のブロック位置に応じて予め設定されている基底が用いられて、逆直交変換が行われるので、直交変換後の係数データを直交変換前の予測誤差データに戻すことができる。このように、マクロブロック内のブロック位置に応じた基底を用いて直交変換や逆直交変換が行われるので、ブロック位置に応じて最適化した変換を行うことが可能となり、符号化効率を改善することができる。
画像符号化装置の構成を示した図である。 ４×４画素のブロックについてのイントラ予測モードを示す図である。 予測モードと予測誤差の関係を示した図である。 直交変換部におけるＫＬ変換を示す図である。 直交変換部の構成を示す図である。 画像符号化処理動作を示すフローチャートである。 予測処理を示すフローチャートである。 イントラ予測処理を示すフローチャートである。 インター予測処理を示すフローチャートである。 符号化パラメータ生成処理を示すフローチャートである。 直交変換処理を示すフローチャートである。 直交変換動作を説明するための図である。 画像復号化装置の構成を示した図である。 逆直交変換部の構成を示す図である。 画像復号化処理動作を示すフローチャートである。 逆直交変換処理を示すフローチャートである。 逆直交変換処理を説明するための図である。 予測処理を示すフローチャートである。 基底の学習動作を示すフローチャートである。 基底のグループ化を説明するための図である。 テレビジョン装置の概略構成を例示した図である。 携帯電話機の概略構成を例示した図である。 記録再生装置の概略構成を例示した図である。 撮像装置の概略構成を例示した図である。
　以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．画像符号化装置の構成
　２．直交変換部の構成
　３．画像符号化装置の動作
　４．画像復号化装置の構成
　５．逆直交変換部の構成
　６．画像復号化装置の動作
　７．基底の学習動作
　８．ソフトウェア処理の場合
　９．電子機器に適用した場合
　＜１．画像符号化装置の構成＞
　図１は、画像符号化装置の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ２４、フレームメモリ２７、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。
　Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
　画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とイントラ予測部３１と動き予測・補償部３２に出力する。
　減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部３３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
　直交変換部１４は、減算部１３から出力された予測誤差データに対して直交変換処理を行う。また、直交変換部１４は、イントラ予測を行う場合、予測モードに応じた直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた係数データを量子化部１５に出力する。
　量子化部１５には、直交変換部１４から出力された係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
　可逆符号化部１６には、量子化部１５から出力された量子化データと、後述するイントラ予測部３１と動き予測・補償部３２や予測画像・最適モード選択部３３から符号化パラメータ情報が供給される。なお、符号化パラメータ情報には、イントラ予測であるかインター予測であるかを示す情報、マクロブロックサイズを示すマクロブロック情報、イントラ予測に関する情報、インター予測に関する情報等が含まれる。可逆符号化部１６は、量子化データに対して例えば可変長符号化または算術符号化等により可逆符号化処理を行い、符号化ビットストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、符号化パラメータ情報を可逆符号化して、符号化ビットストリームの例えばヘッダ情報に付加する。なお、量子化部１５や可逆符号化部１６が、直交変換部１４の出力データを処理して符号化ビットストリームを生成するデータ処理部に相当する。
　蓄積バッファ１７は、可逆符号化部１６からの符号化ビットストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ビットストリームを伝送路に応じた伝送速度で出力する。
　レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。
　逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた係数データを逆直交変換部２２に出力する。
　逆直交変換部２２は、逆量子化部２１から供給された係数データの逆直交変換処理を行うことで得られたデータを加算部２３に出力する。
　加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算して参照画像データを生成して、デブロッキングフィルタ２４とイントラ予測部３１に出力する。
　デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３から供給された参照画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の参照画像データをフレームメモリ２７に出力する。
　フレームメモリ２７は、デブロッキングフィルタ２４から供給されたフィルタ処理後の参照画像データとを保持する。
　イントラ予測部３１は、画面並べ替えバッファ１２から出力された符号化対象画像の画像データと加算部２３から供給された参照画像データを用いて、イントラ予測処理を行う。イントラ予測部３１は、直交変換における変換ブロックサイズ毎、およびイントラ予測の予測モード毎にイントラ予測処理を行う。イントラ予測部３１は、生成した予測画像データを予測画像・最適モード選択部３３に出力する。また、イントラ予測部３１は、イントラ予測処理に関する符号化パラメータ情報を生成して、可逆符号化部１６と予測画像・最適モード選択部３３に出力する。イントラ予測部３１は、符号化パラメータ情報に、例えばマクロブロックサイズや変換ブロックサイズ、マクロブロック内における変換ブロックの位置、予測モード等を含める。
　また、イントラ予測部３１は、各イントラ予測処理においてコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測処理、すなわち符号化効率が最も高くなる最適イントラ予測処理を選択する。イントラ予測部３１は、最適イントラ予測処理における符号化パラメータ情報とコスト値と最適イントラ予測処理で生成した予測画像データを、予測画像・最適モード選択部３３に出力する。
　動き予測・補償部３２は、マクロブロックに対するすべての動き補償ブロックサイズでインター予測処理を行い、予測画像データを生成して予測画像・最適モード選択部３３に出力する。動き予測・補償部３２は、画面並べ替えバッファ１２から読み出された符号化対象画像における各動き補償ブロックサイズの画像毎に、フレームメモリ２７から読み出されたフィルタ処理後の参照画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部３２は、検出した動きベクトルに基づいて参照画像に動き補償処理を施して予測画像データの生成を行う。また、動き予測・補償部３２は、インター予測処理に関する符号化パラメータ情報、例えばマクロブロックサイズや動き補償ブロックサイズ、動きベクトル等を示す符号化パラメータ情報を生成して、可逆符号化部１６と予測画像・最適モード選択部３３に出力する。
　また、動き予測・補償部３２は、各動き補償ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となるインター予測処理、すなわち符号化効率が最も高くなるインター予測処理を選択する。動き予測・補償部３２は、最適インター予測処理における符号化パラメータ情報とコスト値と最適インター予測処理で生成した予測画像データを予測画像・最適モード選択部３３に出力する。
　予測画像・最適モード選択部３３は、イントラ予測部３１で変換ブロックサイズや予測モード毎にイントラ予測処理を行い最適イントラ予測処理を選択するとき、符号化パラメータ情報を直交変換部１４と可逆符号化部１６、予測画像データを減算部１３に出力する。また、予測画像・最適モード選択部３３は、動き予測・補償部３２で予測ブロック毎にインター予測処理を行って最適インター予測処理を選択するとき、符号化パラメータ情報を直交変換部１４と可逆符号化部１６に出力し、予測画像データを減算部１３に出力する。さらに、予測画像・最適モード選択部３３は、最適イントラ予測処理と最適インター予測処理のいずれかを選択して最適モードとするとき、最適イントラ予測処理のコスト関数値と最適インター予測処理のコスト関数値を比較する。予測画像・最適モード選択部３３は、比較結果に基づき、コスト関数値の小さい予測処理、すなわち符号化効率の高い予測処理を最適モードとして選択して、選択した最適モードで生成された予測画像データを減算部１３出力する。また、予測画像・最適モード選択部３３は、最適モードの予測処理を示す符号化パラメータ情報を直交変換部１４と可逆符号化部１６に出力する。
　＜２．直交変換部の構成＞
　イントラ予測処理では、符号化済みの隣接ブロックの画素を用いて予測が行われており、複数の予測方向から最適な予測方向を選択することが行われている。例えば、Ｈ．２６４／ＡＶＣでは、１６×１６画素のブロックについての予測モードとして、予測モード０～予測モード３の４つモードが設定されている。また、８×８画素のブロックについての予測モードとして、予測モード０～予測モード８の９つの予測モードが設定されている。さらに、４×４画素のブロックについての予測モードとして、予測モード０～予測モード８の９つの予測モードが設定されている。
　図２は、例えば４×４画素のブロックについての予測モードを示している。以下、図２の各予測モードについて簡単に説明する。なお、図２において矢印は予測方向を示している。
　図２の（Ａ）は予測モード０(vertical)を示している。予測モード０は、垂直方向に隣接する参照画素(reference pixel)Ａ～Ｄをより予測値を生成するモードである。図２の（Ｂ）は予測モード１(horizontal)を示している。予測モード１は、矢印で示すように、水平方向に隣接する参照画素Ｉ～Ｌより予測値を生成するモードである。図２の（Ｃ）は予測モード２（DC）を示している。予測モード２は、１３個の参照画素Ａ～Ｍのうち、このブロックの垂直方向および水平方向に隣接する参照画素Ａ～ＤおよびＩ～Ｌより予測値を生成するモードである。
　図２の（Ｄ）は予測モード３(diagonal down-left)を示している。予測モード３は、１３個の参照画素Ａ～Ｍのうち、水平方向に連続する参照画素Ａ～Ｈより予測値を生成するモードである。図２の（Ｅ）は予測モード４(diagonal down-right)を示している。予測モード４は、１３個の参照画素Ａ～Ｍのうち、当該ブロックに隣接する参照画素Ａ～Ｄ、Ｉ～Ｍとにより予測値を生成するモードである。図２の（Ｆ）は予測モード５(vertical-right)を示している。予測モード５は、１３個の参照画素Ａ～Ｍのうち、当該ブロックに隣接する参照画素Ａ～Ｄ、Ｉ～Ｍとにより予測値を生成するモードである。
　図２の（Ｇ）は予測モード６(horizontal-down)を示している。予測モード６は、予測モード４および予測モード５と同様に、１３個の参照画素Ａ～Ｍのうち、当該ブロックに隣接する参照画素Ａ～Ｄ、Ｉ～Ｍにより予測値を生成するモードである。図２の（Ｈ）は予測モード７(vertical-left)を示している。予測モード７は、１３個の参照画素Ａ～Ｍのうち、当該ブロックの上方に隣接する４個の参照画素Ａ～Ｄと、この４個の参照画素Ａ～Ｄに続く４個の参照画素Ｅ～Ｇとにより予測値を生成するモードである。図２の（Ｉ）は予測モード８(horizontal-up)を示している。予測モード８は、１３個の参照画素Ａ～Ｍのうち、当該ブロックの左方に隣接する４個の参照画素Ｉ～Ｌにより予測値を生成するモードである。
　このように予測値を生成する場合、ブロック内の画素において、予測値との誤差（予測誤差）は予測に用いる画素に近い画素ほど少なくなる場合が多い。したがって、例えば、図３の（Ａ）に示すように最適モードとして予測モード０(vertical)が選択された場合、画素Ｐ0～Ｐ3は画素Ｐ12～Ｐ15よりも予測誤差が少ない。また、図３の（Ｂ）に示すように予測モード１(horizontal)が選択された場合、画素Ｐ0，Ｐ4，Ｐ8，Ｐ12は画素Ｐ3，Ｐ7，Ｐ11，Ｐ15よりも予測誤差が少ない。また、図３の（Ｃ）に示すように予測モード４(diagonal down-right)が選択された場合、画素Ｐ0は画素Ｐ15よりも予測誤差が少ない。このように、予測誤差は予測モードに依存している。また、マクロブロック内のブロック位置についても、符号化済みの隣接マクロブロックに近いブロックほど予測誤差が少なくなる場合が多く、予測誤差はマクロブロックにおけるブロック位置にも依存する。したがって、直交変換部１４は、予測モードおよびマクロブロック内の直交変換を行うブロックの位置毎に最適な基底を設定することで、予測誤差の直交変換を最適化する。
　また、直交変換において、カルーネン・レーベ変換（以下「ＫＬ(Karhunen-Loeve)変換」という）は、変換後の係数が互いに無相関となるように変換する変換方式、すなわち最大の符号化効率を得ようとする最適な変換方式であることが知られている。しかし、ＫＬ変換の基底を知るためには、予測誤差に基づいた行列の生成や生成した行列の固有値に対応する固有ベクトルを算出しなければならない。ここで、画像符号化装置でその都度基底を計算すると、画像符号化装置における演算量が大きくなってしまう。また、計算した基底を符号化ビットストリームに付加すると符号化効率の悪化を招いてしまう。そこで、マクロブロック内の直交変換を行うブロック位置や予測モード毎に最適な基底を予め学習によって算出しておく。この算出した基底を画像符号化装置と画像復号化装置で用いるようにすれば、画像符号化装置と画像復号化装置で基底の算出を行う必要がなく、画像符号化装置と画像復号化装置の構成は、基底を算出する場合に比べて簡易となる。さらに、基底を伝送する必要がないので、ＫＬ変換を用いて符号化効率を高めることができるようになる。なお、基底の学習については後述する。
　イントラ予測では、マクロブロックが１６×１６画素であるとき、符号化対象画像のブロックサイズである変換ブロックサイズは、例えば１６×１６画素、８×８画素、４×４画素のいずれかのブロックサイズとされる。また、マクロブロックが８×８画素であるとき、変換ブロックサイズは、例えば８×８画素、４×４画素のいずれかのブロックサイズとされる。したがって、直交変換部１４は、図４に示すように、マクロブロックが１６×１６画素であるとき、１６×１６画素、８×８画素、４×４画素のブロックサイズで予測モードに応じたＫＬ変換を行うことができるように構成する。また、直交変換部１４は、マクロブロックが８×８画素であるとき、８×８画素、４×４画素のブロックサイズで予測モードに応じたＫＬ変換を行うことができるように構成する。さらに、直交変換部１４は、マクロブロック内に複数の変換ブロックが設けられる場合、マクロブロック内のブロック位置ｌｏｃに応じたＫＬ変換を行う。
　図５は、ＫＬ変換を用いた直交変換部１４の構成を例示している。直交変換部１４は、１６×１６ＫＬ変換部１４１、８×８ＫＬ変換部１４２、２×２ＫＬ変換部１４３，１４６、４×４ＫＬ変換部１４４，１４５、ＤＣＴ部１４７、係数選択部１４８を有している。
　１６×１６ＫＬ変換部１４１は、予測モード毎に予め学習されている最適な基底を用いて、１６×１６画素のブロック単位で予測誤差データのＫＬ変換を行い、得られた係数を係数選択部１４８に出力する。
　８×８ＫＬ変換部１４２は、予測モードおよびマクロブロック内におけるブロック位置毎に予め学習されている最適な基底を用いて、８×８画素のブロック単位で予測誤差データのＫＬ変換を行う。また、予測誤差データが１６×１６画素のブロックサイズに対応するデータであるとき、１６×１６画素のブロックには８×８画素のブロックが４個含まれる。したがって、８×８ＫＬ変換部１４２は、８×８画素の各ブロックにおける最も低い周波数成分の係数（以下「最低周波数成分係数」という）を２×２ＫＬ変換部１４３に出力し、他の係数を係数選択部１４８に出力する。また、８×８ＫＬ変換部１４２は、予測誤差データが８×８画素のブロックサイズに対応するデータであるとき、予測モード毎に予め学習されている最適な基底を用いて、８×８画素のブロック単位で予測誤差データのＫＬ変換を行う。８×８ＫＬ変換部１４２は、ＫＬ変換によって得られた係数を係数選択部１４８に出力する。
　２×２ＫＬ変換部１４３は、予測モード毎に予め学習されている最適な基底を用いて、８×８ＫＬ変換部１４２から供給された２×２ブロック分の係数のＫＬ変換を予測モードに対応する基底を用いて行い、得られた係数を係数選択部１４８に出力する。
　４×４ＫＬ変換部１４４は、予測モードおよびマクロブロック内におけるブロック位置毎に予め学習されている最適な基底を用いて、４×４画素のブロック単位で予測誤差データのＫＬ変換を行う。また、予測誤差データが１６×１６画素のブロックサイズに対応するデータであるとき、１６×１６画素のブロックには４×４画素のブロックが１６個含まれる。したがって、４×４ＫＬ変換部１４４は、４×４画素の各ブロックにおける最低周波数成分係数を４×４ＫＬ変換部１４５に出力し、他の係数を係数選択部１４８に出力する。また、予測誤差データが８×８画素のブロックサイズに対応するデータであるとき、８×８画素のブロックには４×４画素のブロックが４個含まれる。したがって、４×４ＫＬ変換部１４４は、４×４画素の各ブロックにおける最低周波数成分係数を２×２ＫＬ変換部１４６に出力し、他の係数を係数選択部１４８に出力する。
　４×４ＫＬ変換部１４５は、予測モード毎に予め学習されている最適な基底を用いて、４×４ＫＬ変換部１４４から供給された４×４ブロック分の最低周波数成分係数のブロックについてＫＬ変換を、４×４ＫＬ変換部１４４から示された予測モードに対応する基底を用いて行う。４×４ＫＬ変換部１４５は、ＫＬ変換によって得られた係数を係数選択部１４８に出力する。
　２×２ＫＬ変換部１４６は、予測モード毎に予め学習されている最適な基底を用いて、４×４ＫＬ変換部１４４から供給された２×２ブロック分の最低周波数成分係数のブロックについてＫＬ変換を予測モードに対応する基底を用いて行う。２×２ＫＬ変換部１４６は、ＫＬ変換によって得られた係数を係数選択部１４８に出力する。
　ＤＣＴ部１４７は、予測誤差データの離散コサイン変換を行い、得られた係数を係数選択部１４８に出力する。
　係数選択部１４８は、マクロブロックサイズと、変換ブロックサイズすなわち予測誤差データに対応するブロックサイズに応じて係数の選択を行う。係数選択部１４８は、マクロブロックサイズが１６×１６画素であるとき、１６×１６ＫＬ変換部１４１から出力された係数、８×８ＫＬ変換部１４２と２×２ＫＬ変換部１４３から出力された係数、４×４ＫＬ変換部１４４と４×４ＫＬ変換部１４５から出力された係数のいずれかを変換ブロックサイズに基づき選択する。係数選択部１４８は、選択した係数を量子化部１５に出力する。
　また、係数選択部１４８は、マクロブロックサイズが８×８画素であるとき、８×８ＫＬ変換部１４２から出力された係数、４×４ＫＬ変換部１４４と２×２ＫＬ変換部１４６から出力された係数のいずれかを変換ブロックサイズに基づき選択する。係数選択部１４８は、選択した係数を量子化部１５に出力する。なお、係数選択部１４８は、予測画像・最適モード選択部３３から供給された符号化パラメータ情報によってインター予測モードであることが示されたとき、ＤＣＴ部１４７から出力された係数を量子化部１５に出力する。
　＜３．画像符号化装置の動作＞
　次に、画像符号化処理動作について説明する。図６は、画像符号化処理動作を示すフローチャートである。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
　ステップＳＴ１２において画面並べ替えバッファ１２は、画像並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並び替えられた画像の画像データと予測画像・最適モード選択部３３で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
　ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。直交変換部１４は、例えば予測誤差データに対してカルーネン・レーベ変換や離散コサイン変換等の直交変換を行い、係数データを出力する。なお、直交変換部１４の動作の詳細については後述する。
　ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、係数データを量子化する。量子化に際しては、後述するステップＳＴ２６の処理で説明されるように、レート制御が行われる。
　ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された係数データを量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
　ステップＳＴ１８において加算部２３は、参照画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像データと対応するブロック位置の逆直交変換後のデータを加算して、参照画像データを生成する。
　ステップＳＴ１９においてデブロッキングフィルタ２４は、フィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３より出力された参照画像データをフィルタリングしてブロック歪みを除去する。
　ステップＳＴ２０においてフレームメモリ２７は、参照画像データを記憶する。フレームメモリ２７は、フィルタ処理後の参照画像データを記憶する。
　ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理の詳細は、図７を参照して後述するが、この処理により、候補となるすべての予測モードで予測処理がそれぞれ行われ、候補となるすべての予測モードでコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測処理と最適インター予測処理が選択され、選択された予測処理で生成された予測画像データとそのコスト関数および符号化パラメータ情報が予測画像・最適モード選択部３３に供給される。
　ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードを決定する。また、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを選択して、減算部１３と加算部２３に供給する。この予測画像データは、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
　ステップＳＴ２３において予測画像・最適モード選択部３３は、符号化パラメータ情報生成処理を行う。予測画像・最適モード選択部３３は、選択した予測画像データに関する符号化パラメータ情報を最適モードの符号化パラメータ情報として直交変換部１４と可逆符号化部１６に出力する。
　ステップＳＴ２４において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。このとき、上述したステップＳＴ２３において可逆符号化部１６に供給された符号化パラメータ情報等も可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ビットストリームのヘッダ情報に、符号化パラメータ情報等の可逆符号化データが付加される。
　ステップＳＴ２５において蓄積バッファ１７は、蓄積処理を行う。蓄積バッファ１７は、可逆符号化部１６から出力される符号化ビットストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ビットストリームは、適宜読み出されて伝送路を介して復号側に伝送される。
　ステップＳＴ２６においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ビットストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。
　次に、図７のフローチャートを参照して、図６のステップＳＴ２１における予測処理を説明する。
　ステップＳＴ３１において、イントラ予測部３１はイントラ予測処理を行う。イントラ予測部３１は処理対象のブロックの画像を、候補となるすべての予測モードでイントラ予測処理する。なお、イントラ予測処理では、加算部２３から供給された参照画像データが用いられる。イントラ予測は、後述するように各予測モードでイントラ予測処理が行われて、各予測モードにおけるコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、符号化効率が最も高いイントラ予測処理が選択される。
　ステップＳＴ３２において、動き予測・補償部３２はインター予測を行う。動き予測・補償部３２は、フレームメモリ２７に記憶されているフィルタ処理後の参照画像データを用いて、各動き補償ブロックサイズでインター予測処理を行う。インター予測では、各動き補償ブロックサイズでインター予測処理が行われて、各予測ブロックにおけるコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、符号化効率が最も高いインター予測処理が選択される。
　次に、図７のステップＳＴ３１におけるイントラ予測処理について図８のフローチャートを参照して説明する。
　ステップＳＴ４１でイントラ予測部３１は、各予測モードおよび変換ブロックサイズで仮にイントラ予測処理を行う。イントラ予測部３１は、各予測モードおよび変換ブロックサイズで、仮に加算部２３から供給された参照画像データを用いて予測画像データの生成と、予測誤差データの生成から可逆符号化までの処理を行う。なお、イントラ予測部３１は、各イントラ予測処理において、イントラ予測処理に関する符号化パラメータ情報を直交変換部１４と可逆符号化部１６に出力する。
　ステップＳＴ４２でイントラ予測部３１は、各予測モードと各変換ブロックサイズに対するコスト関数値を算出する。コスト関数値としては、Ｈ．２６４／ＡＶＣ方式における参照ソフトウェアであるＪＭ(Joint Model)で定められているように、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。
　すなわち、High Complexity モードにおいては、ステップＳＴ４１の処理として、各予測モードおよび変換ブロックサイズに対して、仮に可逆符号化処理までを行い、次の式（１）で表されるコスト関数値を各予測モードおよび変換ブロックサイズに対して算出する。
　　Cost(Mode∈Ω)=Ｄ+λ・Ｒ　　　　　　・・・（１）
　Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードと変換ブロックサイズの全体集合を示している。Ｄは、予測モードおよび変換ブロックサイズで符号化を行った場合の参照画像と入力画像との差分エネルギー（歪み）を示している。Ｒは、直交変換係数や符号化パラメータ情報等を含んだ発生符号量、λは、量子化パラメータＱＰの関数として与えられるラグランジュ乗数である。
　つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤおよびＲを算出するため、候補となるすべての予測モードおよび変換ブロックサイズにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
　一方、Low Complexity モードにおいては、ステップＳＴ４１の処理として、候補となるすべての予測モードおよび変換ブロックサイズに対して、予測画像の生成、および、符号化パラメータ情報などのヘッダビットまでを算出し、次の式（２）で表されるコスト関数値を各予測モードに対して算出する。
　　Cost(Mode∈Ω)=Ｄ+QPtoQuant(QP)・Header＿Bit　　　・・・（２）
　Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードと変換ブロックサイズの全体集合を示している。Ｄは、予測モードと変換ブロックサイズで符号化を行った場合の参照画像と入力画像との差分エネルギー（歪み）を示している。Header＿Bitは、予測モードと変換ブロックサイズに対するヘッダビット、QPtoQuantは、量子化パラメータＱＰの関数として与えられる関数である。
　すなわち、Low Complexity Modeにおいては、それぞれの予測モードおよび変換ブロックサイズに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、High Complexity Modeより低い演算量での実現が可能である。
　ステップＳＴ４３でイントラ予測部３１は、最適イントラ予測処理を決定する。イントラ予測部３１は、ステップＳＴ４２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのイントラ予測処理を選択して最適イントラ予測処理に決定する。
　次に、図９のフローチャートを参照して、図７のステップＳＴ３２のインター予測処理について説明する。
　ステップＳＴ５１で動き予測・補償部３２は、各動き補償ブロックサイズで仮にインター予測処理を行う。動き予測・補償部３２は、各動き補償ブロックサイズで、仮に符号化処理対象ブロックの画像データと参照画像データを用いて動き予測を行う。動き予測・補償部３２は、検出した動きベクトル基づき参照画像データの動き補償を行い予測画像データの生成等を行う。なお、動き予測・補償部３２は、各インター予測処理において、インター予測処理に関する符号化パラメータ情報を直交変換部１４と可逆符号化部１６に出力する。
　ステップＳＴ５２で動き予測・補償部３２は、各動き補償ブロックサイズに対するコスト関数値の算出を行う。動き予測・補償部３２は、上述した式（１）または式（２）を用いてコスト関数値の算出を行う。コスト関数値の算出では、符号化パラメータ情報等を含めた発生符号量を用いる。なお、インター予測モードに対するコスト関数値の算出には、Ｈ．２６４／ＡＶＣ方式において定められているSkip ModeおよびDirect Modeのコスト関数値の評価も含まれる。
　ステップＳＴ５３で動き予測・補償部３２は、最適インター予測処理を決定する。動き予測・補償部３２は、ステップＳＴ５２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのインター予測処理を選択して最適インター予測処理に決定する。
　次に、図１０のフローチャートを参照して、図６におけるステップＳＴ２３の符号化パラメータ情報生成処理について、イントラ予測処理の場合を説明する。符号化パラメータ情報は、上述のようにイントラ予測部３１で生成する。また、予測画像・最適モード選択部３３で最適モードを選択したとき、選択した予測処理に応じた符号化パラメータ情報を予測画像・最適モード選択部３３で生成するようにしてもよい。
　ステップＳＴ６１でイントラ予測部３１は、マクロブロックサイズが１６×１６画素であるか否かを判別する。イントラ予測部３１は、マクロブロックサイズが１６×１６画素であるときステップＳＴ６２に進み、１６×１６画素でないときステップＳＴ６３に進む。
　ステップＳＴ６２でイントラ予測部３１は、１６×１６画素における変換ブロックサイズ情報を設定してステップＳＴ６５に進む。イントラ予測部３１は、例えば直交変換部１４でＫＬ変換を行うときの変換ブロックサイズを４×４画素とするとき、変換ブロックサイズを示す変換ブロックサイズ情報を「０」に設定する。また、イントラ予測部３１は、直交変換部１４でＫＬ変換を行うときの変換ブロックサイズを８×８画素とするとき、変換ブロックサイズ情報を「１」、１６×１６画素とするとき「２」に設定する。
　ステップＳＴ６３でイントラ予測部３１は、マクロブロックサイズが８×８画素であるか否か判別する。イントラ予測部３１は、マクロブロックサイズが８×８画素であるときステップＳＴ６４に進み、８×８画素でないときステップＳＴ６５に進む。
　ステップＳＴ６４でイントラ予測部３１は、８×８画素における変換ブロックサイズ情報を設定してステップＳＴ６５に進む。イントラ予測部３１は、例えば直交変換部１４でＫＬ変換を行うときの変換ブロックサイズを４×４画素とするとき、変換ブロックサイズ情報を「０」に設定する。また、イントラ予測部３１は、直交変換部１４でＫＬ変換を行うときの変換ブロックサイズを８×８画素とするとき、変換ブロックサイズ情報を「１」とする。
　ステップＳＴ６５でイントラ予測部３１は、符号化パラメータ情報を生成する。イントラ予測部３１は、イントラ予測であることを示す情報、マクロブロックサイズ、変換ブロックサイズ情報、予測モード、マクロブロック内のブロック位置等を用いて符号化パラメータ情報を構成する。
　次に、図１１のフローチャートを参照して、直交変換処理について説明する。ステップＳＴ７１で直交変換部１４は、イントラ予測であるか否か判別する。直交変換部１４は、符号化パラメータ情報でイントラ予測であることが示されているときステップＳＴ７２に進み、イントラ予測であることが示されていないときステップＳＴ８１に進む。
　ステップＳＴ７２で直交変換部１４は、マクロブロックサイズが１６×１６画素であるか否か判別する。直交変換部１４は、符号化パラメータ情報でマクロブロックサイズが１６×１６画素であることを示しているときステップＳＴ７３に進み、１６×１６画素であることを示していないときステップＳＴ７８に進む。
　ステップＳＴ７３で直交変換部１４は、変換ブロックサイズが４×４画素であるか否か判別する。直交変換部１４は、符号化パラメータ情報で変換ブロックサイズが４×４画素であることを示しているときステップＳＴ７４に進み、４×４画素であることを示していないときステップＳＴ７５に進む。
　ステップＳＴ７４で直交変換部１４は、４×４直交変換処理を行う。直交変換部１４は、予測モードとブロック位置に応じて予め学習されている基底を用いて４×４画素のブロック毎にＫＬ変換を行う。ここで、１６×１６画素のブロックには、４×４画素のブロックが１６個含まれることから１６回のＫＬ変換を行う。さらに、直交変換部１４は、４×４画素のブロックについてＫＬ変換を行って得られた係数から、最低周波数成分係数を選択して、選択した４×４の係数に対して予測モードに応じた基底を用いてＫＬ変換を行う。直交変換部１４は、最低周波数成分係数に対してＫＬ変換を行って得られた係数と、最低周波数成分係数を除いた他の係数を量子化部１５に出力する。すなわち、図５に示す直交変換部１４の係数選択部１４８は、４×４ＫＬ変換部１４４，１４６から出力される係数を選択して量子化部１５に出力する。
　ステップＳＴ７５で直交変換部１４は、変換ブロックサイズが８×８画素であるか否か判別する。直交変換部１４は、符号化パラメータ情報で変換ブロックサイズが８×８画素であることを示しているときステップＳＴ７６に進み、８×８画素であることを示していないときステップＳＴ７７に進む。
　ステップＳＴ７６で直交変換部１４は、８×８直交変換処理を行う。直交変換部１４は、予測モードとブロック位置に応じて予め学習されている基底を用いて８×８画素のブロック毎にＫＬ変換を行う。ここで、１６×１６画素のブロックには、８×８画素のブロックが４個含まれることから４回のＫＬ変換を行う。さらに、直交変換部１４は、８×８画素のブロックについてＫＬ変換を行って得られた係数から、最低周波数成分係数を選択して、選択した２×２の係数に対して予測モードに応じた基底を用いてＫＬ変換を行う。直交変換部１４は、最低周波数成分係数に対してＫＬ変換を行って得られた係数と、最低周波数成分係数を除いた他の係数を量子化部１５に出力する。すなわち、図５に示す直交変換部１４の係数選択部１４８は、８×８ＫＬ変換部１４２と２×２ＫＬ変換部１４３から出力される係数を選択して量子化部１５に出力する。
　ステップＳＴ７７で直交変換部１４は、１６×１６直交変換処理を行う。直交変換部１４は、予測モードに応じて予め学習されている基底を用いて１６×１６画素のブロックのＫＬ変換を行い、得られた係数を量子化部１５に出力する。すなわち、図５に示す直交変換部１４の係数選択部１４８は、１６×１６ＫＬ変換部１４１から出力される係数を選択して量子化部１５に出力する。
　ステップＳＴ７２からステップＳＴ７８に進むと、直交変換部１４は、変換ブロックサイズが４×４画素であるか否か判別する。直交変換部１４は、符号化パラメータ情報で変換ブロックサイズが４×４画素であることを示しているときステップＳＴ７９に進み、４×４画素であることを示していないときステップＳＴ８０に進む。
　ステップＳＴ７９で直交変換部１４は、４×４直交変換処理を行う。直交変換部１４は、予測モードとブロック位置に応じて予め学習されている基底を用いて４×４画素のブロック毎にＫＬ変換を行う。ここで、８×８画素のブロックには、４×４画素のブロックが４個含まれることから４回のＫＬ変換を行う。さらに、４×４画素のブロックについてＫＬ変換を行って得られた係数から、最低周波数成分係数を選択して、選択した２×２の係数に対して予測モードに応じた基底を用いてＫＬ変換を行う。直交変換部１４は、最低周波数成分係数に対してＫＬ変換を行って得られた係数と、最低周波数成分係数を除いた他の係数を量子化部１５に出力する。すなわち、図５に示す直交変換部１４の係数選択部１４８は、４×４ＫＬ変換部１４４と２×２ＫＬ変換部１４６から出力される係数を選択して量子化部１５に出力する。
　ステップＳＴ８０で直交変換部１４は、８×８画素のブロック単位で直交変換を行う。直交変換部１４は、予測モードに応じて予め学習されている基底を用いて８×８画素のブロックのＫＬ変換を行い、得られた係数を量子化部１５に出力する。すなわち、図５に示す直交変換部１４の係数選択部１４８は、８×８ＫＬ変換部１４２から出力される係数を選択して量子化部１５に出力する。
　ステップＳＴ８１で直交変換部１４は、離散コサイン変換（ＤＣＴ）を行う。直交変換部１４は、離散コサイン変換を行って得られた係数を量子化部１５に出力する。すなわち、図５に示す直交変換部１４の係数選択部１４８は、ＤＣＴ部１４７から出力される係数を選択して量子化部１５に出力する。
　図１２は、直交変換動作を説明するための図であり、マクロブロックサイズが図１２の（Ａ）に示すように１６×１６画素であり、変換ブロックサイズが４×４画素であると、図１２の（Ｂ）に示すように、マクロブロック内には１６個の変換ブロックが含まれる。なお、ブロック内の数字はブロック位置ｌｏｃを示している。直交変換部１４の４×４ＫＬ変換部１４４は、各変換ブロックについて、各ブロックの予測モードとブロック位置に対して最適化された基底を用いてＫＬ変換を行い、図１２の（Ｃ）に示すようにブロック毎の係数を生成する。さらに、４×４ＫＬ変換部１４５は、各ブロックにおける最低周波数成分係数（斜線で示す）を用いて、図１２の（Ｄ）に示すように４×４のブロックを構成する。４×４ＫＬ変換部１４５は、このブロックに対して、予測モードに応じて最適化された基底を用いてＫＬ変換を行い、図１２の（Ｅ）に示すようにブロック毎の係数を生成する。直交変換部１４は図１２の（Ｅ）に示す係数と、図１２の（Ｃ）における最低周波数成分係数を除いた他の係数を量子化部１５に出力する。
　マクロブロックサイズが図１２の（Ｆ）に示すように８×８画素であり、変換ブロックサイズが４×４画素であると、図１２の（Ｇ）に示すように、マクロブロック内には４個の変換ブロックが含まれる。なお、ブロック内の数字はブロック位置ｌｏｃを示している。直交変換部１４の４×４ＫＬ変換部１４４は、各変換ブロックについて、各ブロックの予測モードとブロック位置に対して最適化された基底を用いてＫＬ変換を行い、図１２の（Ｈ）に示すようにブロック毎の係数を生成する。さらに、２×２ＫＬ変換部１４６は、各ブロックにおける最低周波数成分係数（斜線で示す）を用いて、図１２の（Ｉ）に示すように２×２のブロックを構成する。２×２ＫＬ変換部１４６は、このブロックに対して、予測モードに応じて最適化された基底を用いてＫＬ変換を行い、図１２の（Ｊ）に示すようにブロック毎の係数を生成する。直交変換部１４は図１２の（Ｊ）に示す係数と、図１２の（Ｈ）における最低周波数成分係数を除いた他の係数を量子化部１５に出力する。
　このように、本願発明の画像符号化装置および方法によれば、画像データの符号化時に行われる直交変換において、マクロブロック内における変換ブロックのブロック位置に応じて予め設定されている基底を用いて直交変換が行われる。したがって、ブロック位置に応じて最適化した変換を行うことが可能となり、符号化効率を改善することができる。また、ブロック位置だけでなく予測モードに応じて予め設定されている基底を用いて直交変換を行うことで、さらに最適化した直交変換を行うことが可能となり、さらに符号化効率を改善することができる。また、符号化効率を改善することで、例えば符号化ビットストリームのデータ量を増やさなくとも画質を改善できる。
　＜４．画像復号化装置の構成＞
　入力画像を符号化して生成された符号化ビットストリームは、所定の伝送路や記録媒体等を介して画像復号化装置に供給されて復号される。
　図１３は、画像復号化装置の構成を示している。画像復号化装置５０は、蓄積バッファ５１、可逆復号化部５２、逆量子化部５３、逆直交変換部５４、加算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、ディジタル／アナログ変換部（Ｄ／Ａ変換部）５８を備えている。さらに、画像復号化装置５０は、フレームメモリ６１、イントラ予測部６２、動き補償部６３、セレクタ６４を備えている。
　蓄積バッファ５１は、伝送されてきた符号化ビットストリームを蓄積する。可逆復号化部５２は、蓄積バッファ５１より供給された符号化ビットストリームを、図１の可逆符号化部１６の符号化方式に対応する方式で復号化する。
　可逆復号化部５２は、符号化ビットストリームのヘッダ情報を復号して得られた符号化パラメータ情報をイントラ予測部６２や動き補償部６３、デブロッキングフィルタ５６に出力する。また、可逆復号化部５２は、復号化対象のブロックと復号化済みの隣接ブロックの動きベクトルを用いて予測動きベクトルの候補を設定する。可逆復号化部５２は、符号化ビットストリームを可逆復号化して得られた予測動きベクトル選択情報に基づき、予測動きベクトルの候補から動きベクトルを選択して、選択した動きベクトルを予測動きベクトルとする。また、可逆復号化部５２は、符号化ビットストリームを可逆復号化して得られた差分動きベクトルに予測動きベクトルを加算して復号化対象のブロックの動きベクトルを算出して、動き補償部６３に出力する。
　逆量子化部５３は、可逆復号化部５２で復号された量子化データを、図１の量子化部１５の量子化方式に対応する方式で逆量子化する。逆直交変換部５４は、図１の直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して加算部５５に出力する。
　加算部５５は、逆直交変換後のデータとセレクタ６４から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ５６とイントラ予測部６２に出力する。
　デブロッキングフィルタ５６は、加算部５５から供給された復号画像データに対してフィルタ処理を行い、ブロック歪みを除去してからフレームメモリ６１に供給し蓄積させるとともに、画面並べ替えバッファ５７に出力する。
　画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
　Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することで画像を表示させる。
　フレームメモリ６１は、デブロッキングフィルタ２４から供給されたフィルタ処理後の復号画像データとを保持する。
　イントラ予測部６２は、可逆復号化部５２から供給された符号化パラメータ情報に基づいて予測画像の生成を行い、生成した予測画像データをセレクタ６４に出力する。
　動き補償部６３は、可逆復号化部５２から供給された符号化パラメータ情報や動きベクトルに基づいて動き補償を行い、予測画像データを生成してセレクタ６４に出力する。すなわち、動き補償部６３は、可逆復号化部５２から供給された動きベクトルおよび参照フレーム情報に基づいて、参照フレーム情報で示された参照画像に対して、動きベクトルに基づき動き補償を行い、動き補償ブロックサイズの予測画像データを生成する。
　セレクタ６４は、イントラ予測部６２で生成された予測画像データを加算部５５に供給する。また、セレクタ６４は、動き補償部６３で生成された予測画像データを加算部５５に供給する。
　＜５．逆直交変換部の構成＞
　図１４は、逆直交変換部５４の構成を示している。逆直交変換部５４は、１６×１６ＫＬ逆変換部５４１、２×２ＫＬ逆変換部５４２，５４５、８×８ＫＬ逆変換部５４３、４×４ＫＬ逆変換部５４４，５４６、ＩＤＣＴ部５４７およびデータ選択部５４８を有している。
　１６×１６ＫＬ逆変換部５４１は、図５に示す１６×１６ＫＬ変換部１４１で行われたＫＬ変換に対応するＫＬ逆変換を行う。１６×１６ＫＬ逆変換部５４１は、可逆復号化部５２から供給された最適モードの符号化パラメータ情報が示す予測モード（最適予測モード）に応じた基底を用いて、逆量子化部５３から出力された逆量子化後データのＫＬ逆変換を行う。１６×１６ＫＬ逆変換部５４１は、ＫＬ逆変換を行うことにより得られた画像データをデータ選択部５４８に出力する。
　２×２ＫＬ逆変換部５４２は、図５に示す２×２ＫＬ変換部１４３で行われたＫＬ変換に対応するＫＬ逆変換を行う。２×２ＫＬ逆変換部５４２は、最適モードの符号化パラメータ情報が示す予測モードに応じた基底を用いて、逆量子化部５３から出力された逆量子化後データのＫＬ逆変換を行う。２×２ＫＬ逆変換部５４２は、ＫＬ逆変換を行うことにより得られた最低周波数成分係数を８×８ＫＬ逆変換部５４３に出力する。
　８×８ＫＬ逆変換部５４３は、図５に示す８×８ＫＬ変換部１４３で行われたＫＬ変換に対応するＫＬ逆変換を行う。８×８ＫＬ逆変換部５４３は、可逆復号化部５２から供給された最適モードの符号化パラメータ情報に基づいてＫＬ逆変換を行う。例えば、８×８ＫＬ逆変換部５４３は、マクロブロックサイズが１６×１６画素であるとき、最適モードの符号化パラメータ情報が示す予測モードとブロック位置に応じた基底を用いて、２×２ＫＬ逆変換部５４２から出力された最低周波数成分係数と逆量子化部５３から出力された逆量子化後データとのＫＬ逆変換を行う。８×８ＫＬ逆変換部５４３は、ＫＬ逆変換を行うことにより得られた画像データをデータ選択部５４８に出力する。また、８×８ＫＬ逆変換部５４３は、マクロブロックサイズが８×８画素であるとき、予測モードとブロック位置に応じた基底を用いて、逆量子化部５３から出力された逆量子化後データのＫＬ逆変換を行い、得られた画像データをデータ選択部５４８に出力する。
　４×４ＫＬ逆変換部５４４は、図５に示す４×４ＫＬ変換部１４５で行われたＫＬ変換に対応するＫＬ逆変換を行う。４×４ＫＬ逆変換部５４４は、最適モードの符号化パラメータ情報が示す予測モードに応じた基底を用いて、逆量子化部５３から出力された逆量子化後データのＫＬ逆変換を行う。４×４ＫＬ逆変換部５４４は、ＫＬ逆変換を行うことにより得られた最低周波数成分係数を４×４ＫＬ逆変換部５４６に出力する。
　２×２ＫＬ逆変換部５４５は、図５に示す２×２ＫＬ変換部１４６で行われたＫＬ変換に対応するＫＬ逆変換を行う。２×２ＫＬ逆変換部５４５は、最適モードの符号化パラメータ情報が示す予測モードに応じた基底を用いて、逆量子化部５３から出力された逆量子化後データのＫＬ逆変換を行う。２×２ＫＬ逆変換部５４５は、ＫＬ逆変換を行うことにより得られた最低周波数成分係数を４×４ＫＬ逆変換部５４６に出力する。
　４×４ＫＬ逆変換部５４６は、図５に示す４×４ＫＬ変換部１４４で行われたＫＬ変換に対応するＫＬ逆変換を行う。４×４ＫＬ逆変換部５４６は、可逆復号化部５２から供給された最適モードの符号化パラメータ情報に基づいてＫＬ逆変換を行う。例えば、４×４ＫＬ逆変換部５４６は、マクロブロックサイズが１６×１６画素であるとき、最適モードの符号化パラメータ情報が示す予測モードとブロック位置に応じた基底を用いて、４×４ＫＬ逆変換部５４４から出力された最低周波数成分係数と逆量子化部５３から出力された逆量子化後データとのＫＬ逆変換を行う。４×４ＫＬ逆変換部５４６は、ＫＬ逆変換を行うことにより得られた画像データをデータ選択部５４８に出力する。また、４×４ＫＬ逆変換部５４６は、マクロブロックサイズが８×８画素であるとき、予測モードとブロック位置に応じた基底を用いて、２×２ＫＬ逆変換部５４５から出力された最低周波数成分係数と逆量子化部５３から出力された逆量子化後データとのＫＬ逆変換を行う。４×４ＫＬ逆変換部５４６は、ＫＬ逆変換を行うことにより得られた画像データをデータ選択部５４８に出力する。
　ＩＤＣＴ部５４７は、逆量子化部５３から出力された逆量子化後データを用いて、逆離散コサイン変換を行い、得られた画像データをデータ選択部５４８に出力する。
　データ選択部５４８は、符号化パラメータ情報に基づいて、１６×１６ＫＬ逆変換部５４１、８×８ＫＬ逆変換部５４３、４×４ＫＬ逆変換部５４６、ＩＤＣＴ部５４７から出力された画像データの選択を行う。データ選択部５４８は、選択した画像データを予測誤差データとして加算部５５に出力する。
　＜６．画像復号化装置の動作＞
　次に、図１５のフローチャートを参照して、画像復号化装置５０で行われる画像復号処理動作について説明する。
　ステップＳＴ９１で蓄積バッファ５１は、伝送されてきた符号化ビットストリームを蓄積する。ステップＳＴ９２で可逆復号化部５２は、可逆復号化処理を行う。可逆復号化部５２は、蓄積バッファ５１から供給される符号化ビットストリームを復号化する。すなわち、図１の可逆符号化部１６により符号化された各ピクチャの量子化データが得られる。また、可逆復号化部５２、符号化ビットストリームのヘッダ情報に含まれている符号化パラメータ情報の可逆復号化を行い、得られた符号化パラメータ情報をデブロッキングフィルタ５６やセレクタ６４に供給する。さらに、可逆復号化部５２は、符号化パラメータ情報がイントラ予測モードに関する情報である場合、符号化パラメータ情報をイントラ予測部６２に出力する。また、可逆復号化部５２は、符号化パラメータ情報がインター予測モードに関する情報である場合、符号化パラメータ情報を動き補償部６３に出力する。
　ステップＳＴ９３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号化部５２により復号された量子化データを、図１の量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ９４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３からの逆量子化後データに対して、図１の直交変換部１４の直交変換に対応する逆直交変換を行う。
　ステップＳＴ９５において加算部５５は、復号画像データの生成を行う。加算部５５は、逆直交変換処理を行うことにより得られた予測誤差データと、後述するステップＳＴ９９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
　ステップＳＴ９６においてデブロッキングフィルタ５６は、フィルタ処理を行う。デブロッキングフィルタ５６は、加算部５５より出力された復号画像データのフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。
　ステップＳＴ９７においてフレームメモリ６１は、復号画像データの記憶処理を行う。
　ステップＳＴ９８においてイントラ予測部６２と動き補償部６３は、予測処理を行う。イントラ予測部６２と動き補償部６３は、可逆復号化部５２から供給される符号化パラメータ情報に対応してそれぞれ予測処理を行う。
　すなわち、可逆復号化部５２から供給された符号化パラメータ情報がイントラ予測であることを示している場合、イントラ予測部６２は、符号化パラメータ情報に基づいてイントラ予測処理を行い、予測画像データを生成する。また、可逆復号化部５２から供給された符号化パラメータ情報がインター予測であることを示している場合、動き補償部６３は、符号化パラメータ情報に基づき動き補償を行い、予測画像データを生成する。
　ステップＳＴ９９において、セレクタ６４は予測画像データの選択を行う。すなわち、セレクタ６４は、イントラ予測部６２から供給された予測画像データと動き補償部６３で生成された予測画像データを選択して加算部５５に供給して、上述したように、ステップＳＴ９５において逆直交変換部５４の出力と加算させる。
　ステップＳＴ１００において画面並べ替えバッファ５７は、画像並べ替えを行う。すなわち画面並べ替えバッファ５７は、図１の画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳＴ１０１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
　次に、逆直交変換処理について、図１６に示すフローチャートを用いて説明する。ステップＳＴ１１１で逆直交変換部５４は、イントラ予測であるか否か判別する。逆直交変換部５４は、例えば可逆復号化部５２で符号化ビットストリームから取り出された符号化パラメータ情報に基づき復号化を行うブロックがイントラ予測であるか否か判別する。逆直交変換部５４は、符号化パラメータ情報がイントラ予測であることを示しているときステップＳＴ１１２に進み、イントラ予測であることを示していないとき、すなわちインター予測であるときステップＳＴ１２１に進む。
　ステップＳＴ１１２で逆直交変換部５４は、マクロブロックサイズが１６×１６画素であるか否か判別する。逆直交変換部５４は、符号化パラメータ情報でマクロブロックサイズが１６×１６画素であることを示しているときステップＳＴ１１３に進み、１６×１６画素であることを示していないときステップＳＴ１１８に進む。
　ステップＳＴ１１３で逆直交変換部５４は、変換ブロックサイズが４×４画素であるか判別する。逆直交変換部５４は符号化パラメータ情報における変換ブロックサイズ情報が「０」であり、変換ブロックサイズが４×４画素のときステップＳＴ１１４に進み、「０」でないときステップＳＴ１１５に進む。
　ステップＳＴ１１４で逆直交変換部５４は、４×４逆直交変換処理を行う。逆直交変換部５４は、予測モードとブロック位置に応じて予め学習されている基底を用いて４×４ＫＬ逆変換を行う。マクロブロックサイズが１６×１６画素であるとき、符号化では１６回のＫＬ変換とＫＬ変換を行って得られた係数から最低周波数成分係数を選択してＫＬ変換が行われている。したがって、逆直交変換部５４は、予測モードに応じた基底を用いて、最低周波数成分係数の逆量子化後データのＫＬ逆変換を行う。また、逆直交変換部５４は、このＫＬ逆変換によって得られた最低周波数成分係数と他の成分の係数からなる１６個のブロックに対して、予測モードとブロック位置に応じた基底を用いてＫＬ逆変換を行う。逆直交変換部５４は、ＫＬ逆変換を行うことにより得られた予測誤差データを加算部５５に出力する。すなわち、図１４に示す逆直交変換部５４のデータ選択部５４８は、４×４ＫＬ逆変換部５４４の出力を用いて４×４ＫＬ逆変換部５４６でＫＬ逆変換を行うことにより得られたデータを選択して加算部５５に出力する。
　ステップＳＴ１１５で逆直交変換部５４は、変換ブロックサイズが８×８画素であるか判別する。逆直交変換部５４は符号化パラメータ情報における変換ブロックサイズ情報が「１」であり、変換ブロックサイズが８×８画素であるときステップＳＴ１１６に進み、「１」でないときステップＳＴ１１７に進む。
　ステップＳＴ１１６で逆直交変換部５４は、８×８逆直交変換処理を行う。逆直交変換部５４は、予測モードとブロック位置に応じて予め学習されている基底を用いて８×８ＫＬ逆変換を行う。マクロブロックサイズが１６×１６画素であるとき、符号化では４回のＫＬ変換とＫＬ変換を行って得られた係数から最低周波数成分係数を選択してＫＬ変換が行われている。したがって、逆直交変換部５４は、予測モードに応じた基底を用いて、最低周波数成分係数の逆量子化後データのＫＬ逆変換を行う。また、逆直交変換部５４は、このＫＬ逆変換によって得られた最低周波数成分係数と他の成分の係数からなる４個のブロックに対して、予測モードとブロック位置に応じた基底を用いてＫＬ逆変換を行う。逆直交変換部５４は、ＫＬ逆変換を行うことにより得られた予測誤差データを加算部５５に出力する。すなわち、図１４に示す逆直交変換部５４のデータ選択部５４８は、２×２ＫＬ逆変換部５４２の出力を用いて８×８ＫＬ逆変換部５４３でＫＬ逆変換を行うことにより得られたデータを選択して加算部５５に出力する。
　ステップＳＴ１１７で逆直交変換部５４は、１６×１６逆直交変換処理を行う。逆直交変換部５４は、予測モードに応じて予め学習されている基底を用いて１６×１６ＫＬ逆変換を行う。逆直交変換部５４は、ＫＬ逆変換を行うことにより得られた予測誤差データを加算部５５に出力する。すなわち、図１４に示す逆直交変換部５４のデータ選択部５４８は、１６×１６ＫＬ逆変換部５４１でＫＬ逆変換を行うことにより得られたデータを選択して加算部５５に出力する。
　ステップＳＴ１１２からステップＳＴ１１８に進むと、逆直交変換部５４は、変換ブロックサイズが４×４画素であるか判別する。逆直交変換部５４は符号化パラメータ情報における変換ブロックサイズ情報が「０」であり、変換ブロックサイズが４×４画素であるるときステップＳＴ１１９に進み、「０」でないときステップＳＴ１２０に進む。
　ステップＳＴ１１９で逆直交変換部５４は、４×４逆直交変換処理を行う。逆直交変換部５４は、予測モードとブロック位置に応じて予め学習されている基底を用いて４×４ＫＬ逆変換処理を行う。マクロブロックサイズが８×８画素であるとき、符号化では４回のＫＬ変換とＫＬ変換を行って得られた係数から最低周波数成分係数を選択してＫＬ変換が行われている。したがって、逆直交変換部５４は、予測モードに応じた基底を用いて、最低周波数成分係数の逆量子化後データのＫＬ逆変換を行う。また、逆直交変換部５４は、このＫＬ逆変換によって得られた最低周波数成分係数と他の成分の係数からなる４個のブロックに対して、予測モードとブロック位置に応じた基底を用いてＫＬ逆変換を行う。逆直交変換部５４は、ＫＬ逆変換を行うことにより得られた予測誤差データを加算部５５に出力する。すなわち、図１４に示す逆直交変換部５４のデータ選択部５４８は、２×２ＫＬ逆変換部５４５の出力を用いて４×４ＫＬ逆変換部５４６でＫＬ逆変換を行うことにより得られたデータを選択して加算部５５に出力する。
　ステップＳＴ１２０で逆直交変換部５４は、８×８逆直交変換処理を行う。逆直交変換部５４は、予測モードに応じて予め学習されている基底を用いて８×８ＫＬ逆変換を行う。逆直交変換部５４は、ＫＬ逆変換を行うことにより得られた予測誤差データを加算部５５に出力する。すなわち、図１４に示す逆直交変換部５４のデータ選択部５４８は、８×８ＫＬ逆変換部５４３でＫＬ逆変換を行うことにより得られたデータを選択して加算部５５に出力する。
　ステップＳＴ１２１で逆直交変換部５４は、逆離散コサイン変換（ＩＤＣＴ）を行う。逆直交変換部５４は、逆離散コサイン変換を行って得られた係数を加算部５５に出力する。すなわち、図１４に示す逆直交変換部５４のデータ選択部５４８は、ＩＤＣＴ部５４７から出力されるデータを選択して加算部５５に出力する。
　図１７は、逆直交変換動作を説明するための図であり、図１２の直交変換動作で生成された変換係数の逆直交変換を例示している。
　例えば、マクロブロックサイズが１６×１６画素で変換ブロックサイズが４×４画素とする。この場合、４×４ＫＬ逆変換部５４４は、最適モードの符号化パラメータ情報が示す予測モードに応じた基底を用いて図１７の（Ａ）に示す最低周波数成分係数のＫＬ変換後データ（逆量子化データ）のＫＬ逆変換を行う。４×４ＫＬ逆変換部５４４は、このＫＬ逆変換によって、図１７の（Ｂ）に示す最も低い周波数成分の係数を生成する。４×４ＫＬ逆変換部５４６は、図１７の（Ｃ）に示すように、最低周波数成分係数と他のＫＬ変換後データ（逆量子化データ）をブロック毎の係数に戻す。さらに、４×４ＫＬ逆変換部５４６は、図１７の（Ｄ）に示すように、符号化パラメータ情報が示す予測モードとブロック位置に応じた基底を用いて１６個の４×４ブロック毎にＫＬ逆変換を行い、図１７の（Ｅ）に示す予測誤差データを生成する。データ選択部５４８は、生成された予測誤差データを選択して加算部５５に出力する。
　また、マクロブロックサイズが８×８画素で変換ブロックサイズが４×４画素であるとする。この場合、２×２ＫＬ逆変換部５４５は、最適モードの符号化パラメータ情報が示す予測モードに応じた基底を用いて、図１７の（Ｆ）に示す最低周波数成分係数のＫＬ変換後データ（逆量子化データ）のＫＬ逆変換を行う。２×２ＫＬ逆変換部５４５は、このＫＬ逆変換によって、図１７の（Ｇ）に示す最低周波数成分係数を生成する。４×４ＫＬ逆変換部５４６は、図１７の（Ｈ）に示すように、最低周波数成分係数と他のＫＬ変換後データ（逆量子化データ）をブロック毎の係数に戻す。さらに、４×４ＫＬ逆変換部５４６は、図１７の（Ｉ）に示すように、符号化パラメータ情報が示す予測モードとブロック位置に応じた基底を用いて４個の４×４ブロック毎にＫＬ逆変換を行い、図１７の（Ｊ）に示す予測誤差データを生成する。データ選択部５４８は、生成された予測誤差データを選択して加算部５５に出力する。
　次に、図１８のフローチャートを参照して、図１５のステップＳＴ９８の予測処理について説明する。
　ステップＳＴ１３１で可逆復号化部５２は、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号化部５２は、可逆復号化を行うことにより得られた符号化パラメータ情報がイントラ予測の情報であるとき、符号化パラメータ情報をイントラ予測部６２に供給してステップＳＴ１３２に進む。また、可逆復号化部５２は、符号化パラメータ情報がイントラ予測の情報でないとき、符号化パラメータ情報を動き補償部６３に供給してステップＳＴ１３３に進む。
　ステップＳＴ１３２でイントラ予測部６２は、イントラ予測処理を行う。イントラ予測部６２は、加算部５５から供給された復号画像データと符号化パラメータ情報を用いてイントラ予測を行い、予測画像データを生成する。
　ステップＳＴ１３３で動き補償部６３は、インター予測処理を行う。動き補償部６３は、可逆復号化部５２からの符号化パラメータ情報や動きベクトルに基づいて、フレームメモリ６１から供給された復号画像データの動き補償を行う。さらに、動き補償部６３は、動き補償により生成した予測画像データをセレクタ６４に出力する。
　このように、本願発明の画像復号化装置および方法では、ブロック位置に応じて予め設定されている基底を用いて直交変換を行うことに得られた係数データを処理して生成された符号化ビットストリームの復号化において、符号化ビットストリームに含まれている符号化パラメータ情報で示されたマクロブロック内のブロック位置に応じて予め設定されている基底が用いられて、逆直交変換が行われる。したがって、直交変換後の係数データを直交変換前の予測誤差データに戻すことができるので、マクロブロック内のブロック位置に応じた基底を用いて直交変換が行われても、直交変換前の予測誤差データに戻すことができる。また、予測モードに応じた基底を用いて符号化が行われても、符号化パラメータ情報で示された予測モードに応じて予め設定されている基底を用いることで、直交変換後の係数データを直交変換前の予測誤差データに戻すことができる。
　＜７．基底の学習動作＞　
　次に、直交変換部１４と逆直交変換部５４で用いられる基底を、学習動作によって予め生成する基底生成部について説明する。図１９は、基底の学習動作を示すフローチャートであり、基底生成部は、学習用に用意した画像を用いて図１９に示す処理を行い基底を生成する。なお、学習用の画像としては、画像の内容によって学習に偏りが起こらないように、なるべく異なる多くの画像を用いるようにする。
　ステップＳＴ１４１で基底生成部は、学習に用いていない画像が残っているか判別する。基底生成部は、学習に用いていない画像が残っているときはステップＳＴ１４２に進み、すべての画像を用いて学習が行われたときはステップＳＴ１５２に進む。
　ステップＳＴ１４２で基底生成部は、学習に用いていないマクロブロックが残っているか判別する。基底生成部は、学習に使う画像において、学習に用いていないマクロブロックが残っているときはステップＳＴ１４３に進み、すべてのマクロブロックを用いて学習が行われたときはステップＳＴ１４１に戻る。
　ステップＳＴ１４３で基底生成部は、マクロブロックサイズが１６×１６画素であるか判別する。基底生成部は、マクロブロックサイズが１６×１６画素であるときステップＳＴ１４４に進み、マクロブロックサイズが１６×１６画素でないときステップＳＴ１４８に進む。
　ステップＳＴ１４４で基底生成部は、１６×１６予測誤差データを生成する。基底生成部はイントラ予測を行い１６×１６画素の予測誤差データを生成する。
　ステップＳＴ１４５で基底生成部は、４×４直交変換の対称行列を算出する。基底生成部は、１６×１６予測誤差データを４×４画素である１６個の変換ブロックに分割して、予測モードとマクロブロック内における変換ブロックのブロック位置毎に対称行列Ｍを算出する。基底生成部は、４×４画素の変換ブロックの予測誤差データを並べて１６次のベクトルとして、１６次のベクトルの平均と各ベクトルとの差を算出する。基底生成部は、この差を「ｑ」として式（３）の演算を行い対称行列Ｍを求める。
Figure JPOXMLDOC01-appb-M000001
　なお、式（３）において、「ｍｄｔ」はマクロブロックサイズと変換ブロックサイズを判別可能とする変換モード情報である。「ｍｉｄ」はイントラ予測の予測モードである。「ｌｏｃ」は、マクロブロック内における変換ブロックのブロック位置である。「ｎｕｍ」は学習回数である。また「Ｔ」は転置行列であることを示している。
　ステップＳＴ１４６で基底生成部は、８×８直交変換の対称行列を算出する。基底生成部は、１６×１６予測誤差データを８×８画素である４個の変換ブロックに分割して、予測モードとマクロブロック内における変換ブロックのブロック位置毎に対称行列Ｍを算出する。基底生成部は、８×８画素の変換ブロックの予測誤差データを並べて６４次のベクトルとして、６４次のベクトルの平均と各ベクトルとの差を算出する。基底生成部は、この差を「ｑ」として式（３）の演算を行い対称行列Ｍを求める。
　ステップＳＴ１４７で基底生成部は、１６×１６直交変換の対称行列を算出する。基底生成部は、予測モード毎に１６×１６画素の変換ブロックの予測誤差データを並べて２５６次のベクトルとして、２５６次のベクトルの平均と各ベクトルとの差を算出する。基底生成部は、この差を「ｑ」として式（３）の演算を行い、予測モード毎に対称行列Ｍを求める。
　ステップＳＴ１４３からステップＳＴ１４８に進むと、基底生成部は、マクロブロックサイズが８×８画素であるか判別する。基底生成部は、マクロブロックサイズが８×８画素であるときステップＳＴ１４９に進み、マクロブロックサイズが８×８画素でないときステップＳＴ１４２に戻る。
　ステップＳＴ１４９で基底生成部は、８×８予測誤差データを生成する。基底生成部はイントラ予測を行い８×８画素の予測誤差データを生成する。
　ステップＳＴ１５０で基底生成部は、４×４直交変換の対称行列を算出する。基底生成部は、８×８予測誤差データを４×４画素である４個の変換ブロックに分割して、予測モードとマクロブロック内における変換ブロックのブロック位置毎に対称行列Ｍを算出する。基底生成部は、４×４画素の変換ブロックの予測誤差データを並べて１６次のベクトルとして、１６次のベクトルの平均と各ベクトルとの差を算出する。基底生成部は、この差を「ｑ」として式（３）の演算を行い対称行列Ｍを求める。
　ステップＳＴ１５１で基底生成部は、８×８直交変換の対称行列を算出する。基底生成部は、予測モード毎に８×８画素の変換ブロックの予測誤差データを並べて６４次のベクトルとして、６４次のベクトルの平均と各ベクトルとの差を算出する。基底生成部は、この差を「ｑ」として式（３）の演算を行い、予測モード毎に対称行列Ｍを求める。
　ステップＳＴ１５２で基底生成部は、ＫＬ変換の基底を算出する。基底生成部は、各対称行列Ｍの固有値に対応する固有ベクトルを求め、固有値の大きさの順に固有ベクトルを並べて、ＫＬ変換の基底とする。
　このような処理を行うと、１６×１６ＫＬ変換部１４１、８×８ＫＬ変換部１４２、２×２ＫＬ変換部１４３，１４６、４×４ＫＬ変換部１４４，１４５でＫＬ変換を行うときの基底を生成できる。また、各基底の逆行列の算出を行うことで、１６×１６ＫＬ逆変換部５４１、２×２ＫＬ逆変換部５４２，５４５、８×８ＫＬ逆変換部５４３、４×４ＫＬ逆変換部５４４，５４６でＫＬ逆変換を行うときの基底を生成できる。
　さらに、マクロブロックサイズ毎と予測モード毎およびマクロブロック内のブロック位置毎に各ブロックのＫＬ変換やＫＬ逆変換を行うための基底を、画像符号化装置と画像復号化装置のそれぞれで記憶すると、記憶しておく基底の数が多くなってしまう。すなわち、容量の大きいメモリが必要となる。そこで、基底のグループ化を行い、記憶する基底を削減する。
　次に、グループ化の方法について、２つの方法を例示する。第１の方法は、学習で求めた基底について、基底間でユークリッド距離を計算し、距離が小さいものをグループ化して、グループ内の複数の基底を代表する１つの基底に置き換える。このようにグループ化を行えば、基底の数を削減できる。
　第２の方法は、参照画素かの距離に応じてグループ化する方法である。図２０に示すように、予測モード０(Vertical)では、例えばＧｒｏｕｐ１＝｛Ｐ4，Ｐ5，Ｐ6，Ｐ7｝のブロックは 参照画素からの距離が等しくなる。このような場合、画素Ｐ4，Ｐ5，Ｐ6，Ｐ7の予測誤差は同じような特性になる場合が多い。そこで、このＧｒｏｕｐ１はすべて同じ基底を採用する。同様に、Ｇｒｏｕｐ０，２，３も同じ基底を採用することで、１６種類から４種類に基底を削減できる。
　同様に、予測モード１(horizontal)では、例えばＧｒｏｕｐ１＝｛Ｐ1，Ｐ5，Ｐ9，Ｐ13｝のブロックは 参照画素からの位置関係（あるいは距離）が等しくなる。このような場合、画素Ｐ1，Ｐ5，Ｐ9，Ｐ13の予測誤差は同じような特性になる場合が多い。そこで、このＧｒｏｕｐ１はすべて同じ基底を採用する。同様に、Ｇｒｏｕｐ０，２，３も同じ基底を採用することで、１６種類から４種類に基底を削減できる。
　また、予測モード４(diagonal down-right)では、参照画素と各ブロックの位置関係が同じにならない。しかし、９０度回転することでＰ3，Ｐ12は参照画素との位置関係が同じになる。そこで、９０度回転することで参照画素との位置関係が同じとなる｛Ｐ1，Ｐ4｝，｛Ｐ2，Ｐ8｝，｛Ｐ6，Ｐ9｝，｛Ｐ7，Ｐ13｝，｛Ｐ11，Ｐ14｝をそれぞれグループ化して同じ基底を採用する。
　さらに、予測モード０(Vertical)を９０度回転したときの参照画素と各ブロックの位置関係は、予測モード１(horizontal)と等しくなることから、予測モード０(Vertical)と予測モード１(horizontal)をグループ化すれば、さらに基底を削減できることになる。
　＜８．ソフトウェア処理の場合＞
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　＜９．電子機器に適用した場合＞
　また、以上においては、符号化方式／復号方式としてＨ．２６４／ＡＶＣ方式が用いられたが、本発明は、その他の符号化方式／復号方式を用いる画像符号化装置／画像復号装置に適用することもできる。
　さらに、本発明は、例えば、ＭＰＥＧ，Ｈ．２６ｘ等のように、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（符号化ビットストリーム）を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
　上述した画像符号化装置１０や画像復号化装置５０は、任意の電子機器に適用することができる。以下にその例について説明する。
　図２１は、本発明を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９０は、制御部９１０、ユーザインタフェース部９１１等を有している。
　チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
　デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
　映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
　表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
　音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
　外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
　制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
　制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９０の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９０がユーザ操作に応じた動作となるように各部を制御する。
　なお、テレビジョン装置９０では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
　このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像復号化装置（画像復号化方法）の機能が設けられる。このため、放送局側で本願の画像符号化装置の機能を用いることにより、符号化効率や画質の改善がはかられて符号化ビットストリームの生成が行われても、テレビジョン装置で符号化ビットストリームの復号化を正しく行うことができる。
　図２２は、本発明を適用した携帯電話機の概略構成を例示している。携帯電話機９２は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
　また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
　携帯電話機９２は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
　また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
　なお、携帯電話機９２は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
　データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い符号化データを生成する。
　多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
　このように構成された携帯電話装置では、画像処理部９２７に本願の画像符号化装置（画像符号化方法）や画像復号化装置（画像復号化方法）の機能が設けられる。したがって、画像データの通信を行う際に、符号化効率や画質を改善することができる。
　図２３は、本発明を適用した記録再生装置の概略構成を例示している。記録再生装置９４は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
　記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
　チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
　外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
　エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
　ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ－ｒａｙディスク等である。
　セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
　デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
　ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
　制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
　制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４がユーザ操作に応じた動作となるように各部を制御する。
　このように構成された記録再生装置では、エンコーダ９４３に本願の画像符号化装置（画像符号化方法）の機能、デコーダ９４７に画像復号化装置（画像復号化方法）の機能が設けられて、符号化効率や画質を改善して、映像の記録再生を効率よく行うことができる。
　図２４は、本発明を適用した撮像装置の概略構成を例示している。撮像装置９６は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
　撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
　光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
　カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
　画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
　ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
　外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
　メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
　また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６がユーザ操作に応じた動作となるように各部を制御する。
　このように構成された撮像装置では、画像データ処理部９６４に本願の画像符号化装置（画像符号化方法）や画像復号化装置（画像復号化方法）の機能が設けられる。したがって、撮像画像をメモリ部９６７や記録メディア等に記録する際に、符号化効率や画質の改善をはかり撮像画像の記録再生を効率よく行うことができる。
　さらに、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば、上述のマクロブロックサイズや変換ブロックサイズおよび予測モードに限定されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、請求の範囲を参酌すべきである。
　この発明の画像復号化装置と画像符号化装置およびその方法とプログラムでは、画像データの符号化時に行われる直交変換において、マクロブロック内における変換ブロックのブロック位置に応じて予め設定されている基底を用いて直交変換が行われる。また、ブロック位置に応じて予め設定されている基底を用いて直交変換を行うことに得られた係数データを処理して生成された符号化ビットストリームの復号化において、符号化ビットストリームに含まれている符号化パラメータ情報で示されたマクロブロック内のブロック位置に応じて予め設定されている基底が用いられて、逆直交変換が行われて、直交変換後の係数データが直交変換前の予測誤差データに戻される。このように、マクロブロック内のブロック位置に応じた基底を用いて直交変換や逆直交変換が行われるので、ブロック位置に応じて最適化した変換を行うことが可能となり、符号化効率を改善することができる。したがって、ＭＰＥＧ、Ｈ.２６ｘ等のように、ブロック単位で符号化を行うことにより得られた画像情報（符号化ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像復号化装置や画像符号化装置等に適している。
１０・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７，５１・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２３，５５・・・加算部、２４，５６・・・デブロッキングフィルタ、２７，６１・・・フレームメモリ、３１，６２・・・イントラ予測部、３２，６３・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号化装置、５２・・・可逆復号化部、５８・・・Ｄ／Ａ変換部、６４，９４６・・・セレクタ、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、１４１・・・１６×１６ＫＬ変換部、１４２・・・８×８ＫＬ変換部、１４３，１４６・・・２×２ＫＬ変換部、１４４，１４５・・・４×４ＫＬ変換部、１４７・・・ＤＣＴ部、１４８・・・係数選択部、５４１・・・１６×１６ＫＬ逆変換部、５４２，５４５・・・２×２ＫＬ逆変換部、５４３・・・８×８ＫＬ逆変換部、５４４，５４６・・・ＫＬ逆変換部、５４７・・・ＩＤＣＴ部、５４８・・・データ選択部、９０１、９２１・・・アンテナ、９０２、９４１・・・チューナ、９０３・・・デマルチプレクサ、９０４，９４７・・・デコーダ、９０５・・・映像信号処理部、９０６・・・表示部、９０７・・・音声信号処理部、９０８・・・スピーカ、９０９、９４２、９６６・・・外部インタフェース部、９１０、９３１，９４９，９７０・・・制御部、９１１，９３２，９７１・・・ユーザインタフェース部、９１２，９３３，９７２・・・バス、９２２・・・通信部、９２３・・・音声コーデック、９２４・・・スピーカ、９２５・・・マイクロホン、９２６・・・カメラ部、９２７・・・画像処理部、９２８・・・多重分離部、９２９・・・記録再生部、９３０・・・表示部、９４３・・・エンコーダ、９４４・・・ＨＤＤ部、９４５・・・ディスクドライブ、９４８、９６９・・・ＯＳＤ部、９６１・・・光学ブロック、９６２・・・撮像部、９６３・・・カメラ信号処理部、９６４・・・画像データ処理部、９６５・・・表示部、９６７・・・メモリ部、９６８・・・メディアドライブ

Claims (16)

  1. 　画像データと予測画像データとの誤差である予測誤差データを、変換ブロック毎に直交変換して、該直交変換後の係数データを処理して生成された符号化ビットストリームから前記画像データを復号する画像復号化装置において、
    　前記符号化ビットストリームを処理して、前記直交変換後の係数データと符号化パラメータ情報を得るデータ処理部と、
    　前記符号化パラメータ情報で示されたマクロブロック内における前記変換ブロックの位置に応じて、予め設定されている基底を用いて前記係数データの逆直交変換を行い予測誤差データを得る逆直交変換部と、
    　前記予測画像データを生成する予測画像データ生成部と、
    　前記逆直交変換部で得られた前記予測誤差データに前記予測画像データ生成部で生成された予測画像データを加算して前記画像データを復号する加算部と
    を有する画像復号化装置。
  2. 　前記逆直交変換部は、前記変換ブロックの位置と前記符号化パラメータ情報で示された予測モードに応じて、予め設定されている基底を用いて前記逆直交変換を行う請求項１記載の画像復号化装置。
  3. 　前記逆直交変換部は、前記符号化パラメータ情報に基づきマクロブロックに変換ブロックが複数含まれるとき、前記マクロブロックに含まれる各変換ブロックの直交変換後の最も低い周波数成分の係数データについての直交変換後の係数データに対して、予測モードに応じて予め設定されている基底を用いて前記逆直交変換を行う請求項２記載の画像復号化装置。
  4. 　前記逆直交変換部で用いられる基底は、前記予測誤差データを変換ブロック毎に直交変換したときに用いられる基底の逆行例である請求項２記載の画像復号化装置。
  5. 　前記逆直交変換部は、前記基底を用いてカルーネン・レーベ逆変換を行う請求項１記載の画像復号化装置。
  6. 　画像データと予測画像データとの誤差である予測誤差データを、変換ブロック毎に直交変換して、該直交変換後の係数データを処理して生成された符号化ビットストリームから前記画像データを復号する画像復号化方法において、
    　前記符号化ビットストリームを処理して、前記直交変換後の係数データと符号化パラメータ情報を得るデータ処理工程と、
    　前記符号化パラメータ情報で示されたマクロブロック内における前記変換ブロックの位置に応じて、予め設定されている基底を用いて前記係数データの逆直交変換を行い予測誤差を得る逆直交変換工程と、
    　前記予測画像データを生成する予測画像データ生成工程と、
    　前記逆直交変換部で得られた前記予測誤差に前記生成された予測画像データを加算して前記画像データを復号する加算工程と
    　を設けた画像復号化方法。
  7. 　画像データと予測画像データとの誤差である予測誤差データを、変換ブロック毎に直交変換して、該直交変換後の係数データを処理して生成された符号化ビットストリームから前記画像データを復号する画像符号化をコンピュータで実行させるプログラムであって、
    　前記符号化ビットストリームを処理して、前記直交変換後の係数データと符号化パラメータ情報を得るデータ処理手順と、
    　前記符号化パラメータ情報で示されたマクロブロック内における前記変換ブロックの位置に応じて、予め設定されている基底を用いて前記係数データの逆直交変換を行い予測誤差を得る逆直交変換手順と、
    　前記予測画像データを生成する予測画像データ生成手順と、
    　前記逆直交変換部で得られた前記予測誤差に前記生成された予測画像データを加算して前記画像データを復号する加算手順と
    　を前記コンピュータで実行させるプログラム。
  8. 　画像データの符号化を行う画像符号化装置において、
    　前記画像データの予測画像データを生成する予測部と、
    　前記画像データと前記予測画像データとの誤差である予測誤差データを生成する減算部と、
    　前記予測誤差の直交変換を変換ブロック毎に行い、マクロブロック内における前記変換ブロックの位置に応じて、予め設定されている基底を用いて前記直交変換を行う直交変換部と、
    　前記直交変換部の出力データを処理して符号化ビットストリームを生成するデータ処理部と
    を有する画像符号化装置。
  9. 　前記直交変換部は、前記変換ブロックの位置と前記予測部で前記予測画像データの生成を行ったときの予測モードに応じて、予め設定されている基底を用いて前記直交変換を行う請求項８記載の画像符号化装置。
  10. 　前記直交変換部は、前記マクロブロックに含まれる変換ブロックが複数であるとき、マクロブロックに含まれる各変換ブロックの直交変換後の最も低い周波数成分の係数を用いたブロックについて、前記予測モードに応じて、予め設定されている基底を用いて直交変換を行う請求項９記載の画像符号化装置。
  11. 　前記直交変換部で用いられる基底は、予め用意されている複数の画像を用いて、前記マクロブロックサイズ、前記変換ブロックサイズ、前記マクロブロック内における変換ブロックの位置、および前記予測モード毎の各変換ブロック内の予測誤差データから算出した行列の固有値に対応する固有ベクトルである請求項９記載の画像符号化装置。
  12. 　前記直交変換部で用いられる基底は、基底間の距離に応じてグループ化されている請求項１１記載の画像符号化装置。
  13. 　前記直交変換部で用いられる基底は、参照画素からの距離に応じてグループ化されている請求項１１記載の画像符号化装置。
  14. 　前記直交変換部は、前記基底を用いてカルーネン・レーベ変換を行う請求項８記載の画像符号化装置。
  15. 　画像データの符号化を行う画像符号化方法において、
    　前記画像データの予測画像データを生成する予測画像データ生成工程と、
    　前記画像データと前記予測画像データとの誤差である予測誤差データを生成する減算工程と、
    　前記予測誤差の直交変換を変換ブロック毎に行い、マクロブロック内における前記変換ブロックの位置に応じて、予め設定されている基底を用いて前記直交変換を行う直交変換工程と
    を設けた画像符号化方法。

  16. 　画像データの符号化をコンピュータで実行させるプログラムであって、
    　前記画像データの予測画像データを生成する予測画像データ生成手順と、
    　前記画像データと前記予測画像データとの誤差である予測誤差データを生成する減算手順と、
    　前記予測誤差の直交変換を変換ブロック毎に行い、マクロブロック内における前記変換ブロックの位置に応じて、予め設定されている基底を用いて前記直交変換を行う直交変換手順と
    　を前記コンピュータで実行させるプログラム。
PCT/JP2011/061974 2010-06-09 2011-05-25 画像復号化装置と画像符号化装置およびその方法とプログラム WO2011155332A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
RU2012151530/08A RU2012151530A (ru) 2010-06-09 2011-05-25 Устройство декодирования изображения, устройство кодирования изображения, способ и программа для декодирования и кодирования изображения
EP11792289.8A EP2582137A1 (en) 2010-06-09 2011-05-25 Image decoder apparatus, image encoder apparatus and methods and programs thereof
BR112012030544A BR112012030544A2 (pt) 2010-06-09 2011-05-25 aparelho e método de decodificação de imagem, programa, e, aparelho e método de codificação de imagem
CN201180027201.5A CN102918843B (zh) 2010-06-09 2011-05-25 图像解码装置、图像编码装置以及用于图像解码和编码的方法和程序
KR20127031223A KR20130090322A (ko) 2010-06-09 2011-05-25 화상 복호화 장치와 화상 부호화 장치 및 그 방법과 프로그램
US13/701,319 US9053549B2 (en) 2010-06-09 2011-05-25 Image decoding apparatus, image encoding apparatus, and method and program for image decoding and encoding
US14/720,265 US9596476B2 (en) 2010-06-09 2015-05-22 Image decoding apparatus, image encoding apparatus, and method and program for image decoding and encoding
US15/432,338 US9979982B2 (en) 2010-06-09 2017-02-14 Image decoding apparatus, image encoding apparatus, and method and program for image decoding and encoding
US15/960,370 US10499083B2 (en) 2010-06-09 2018-04-23 Image decoding apparatus, image encoding apparatus, and method and program for image decoding and encoding

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-131891 2010-06-09
JP2010131891A JP2011259205A (ja) 2010-06-09 2010-06-09 画像復号化装置と画像符号化装置およびその方法とプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/701,319 A-371-Of-International US9053549B2 (en) 2010-06-09 2011-05-25 Image decoding apparatus, image encoding apparatus, and method and program for image decoding and encoding
US14/720,265 Continuation US9596476B2 (en) 2010-06-09 2015-05-22 Image decoding apparatus, image encoding apparatus, and method and program for image decoding and encoding

Publications (1)

Publication Number Publication Date
WO2011155332A1 true WO2011155332A1 (ja) 2011-12-15

Family

ID=45097940

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/061974 WO2011155332A1 (ja) 2010-06-09 2011-05-25 画像復号化装置と画像符号化装置およびその方法とプログラム

Country Status (9)

Country Link
US (4) US9053549B2 (ja)
EP (1) EP2582137A1 (ja)
JP (1) JP2011259205A (ja)
KR (1) KR20130090322A (ja)
CN (3) CN105049859B (ja)
BR (1) BR112012030544A2 (ja)
RU (1) RU2012151530A (ja)
TW (1) TW201215156A (ja)
WO (1) WO2011155332A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107743240A (zh) * 2012-02-29 2018-02-27 索尼公司 图像处理装置和方法
RU2759052C2 (ru) * 2016-12-28 2021-11-09 Сони Корпорейшн Устройство и способ обработки изображений

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625914B2 (en) * 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
CN106060547B (zh) * 2010-06-07 2019-09-13 数码士有限公司 解码高分辨率图像的方法和装置
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
JPWO2012120840A1 (ja) * 2011-03-07 2014-07-17 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
CN103974076B (zh) 2014-05-19 2018-01-12 华为技术有限公司 图像编解码方法和设备、系统
US10139480B2 (en) * 2016-02-19 2018-11-27 Fujifilm Sonosite, Inc. Ultrasound transducer with data compression
WO2017195917A1 (ko) * 2016-05-12 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
JP7493310B2 (ja) * 2019-06-07 2024-05-31 キヤノン株式会社 画像復号装置及び方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130417A (ja) * 2003-10-01 2005-05-19 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
JP2009272727A (ja) * 2008-04-30 2009-11-19 Toshiba Corp 予測誤差の方向性に基づく変換方法、画像符号化方法及び画像復号化方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846971A (ja) * 1994-07-29 1996-02-16 Sharp Corp 動画像符号化装置
JP3169783B2 (ja) * 1995-02-15 2001-05-28 日本電気株式会社 動画像の符号化・復号システム
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
JP4014263B2 (ja) * 1997-10-01 2007-11-28 松下電器産業株式会社 映像信号変換装置及び映像信号変換方法
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP4168304B2 (ja) * 1999-09-16 2008-10-22 ソニー株式会社 情報出力装置、情報報知方法および情報信号供給経路選択方法
US6940911B2 (en) * 2000-03-14 2005-09-06 Victor Company Of Japan, Ltd. Variable picture rate coding/decoding method and apparatus
JP3887178B2 (ja) * 2001-04-09 2007-02-28 株式会社エヌ・ティ・ティ・ドコモ 信号符号化方法及び装置並びに復号方法及び装置
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US7009655B2 (en) * 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
JP2005272727A (ja) * 2004-03-25 2005-10-06 Nippon Shokubai Co Ltd 水性樹脂分散体及びその製造方法
KR101104828B1 (ko) * 2004-12-09 2012-01-16 삼성전자주식회사 움직임 벡터 연산 장치 및 그 방법
JP2008004984A (ja) * 2006-06-20 2008-01-10 Sony Corp 画像理装置および方法、プログラム、並びに記録媒体
US20080008246A1 (en) * 2006-07-05 2008-01-10 Debargha Mukherjee Optimizing video coding
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
JP4678015B2 (ja) * 2007-07-13 2011-04-27 富士通株式会社 動画像符号化装置及び動画像符号化方法
EP2051524A1 (en) * 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
US8275033B2 (en) * 2008-01-15 2012-09-25 Sony Corporation Picture mode selection for video transcoding
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
WO2010143853A2 (ko) * 2009-06-07 2010-12-16 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
US20110090952A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Directional Transforms for Video and Image Coding
KR101441879B1 (ko) * 2009-12-09 2014-09-23 에스케이텔레콤 주식회사 영상 부호화 장치 및 방법, 및 거기에 이용되는 변환 부호화 장치 및 방법, 변환기저 생성장치 및 방법, 및 영상 복호화 장치 및 방법
US8792740B2 (en) * 2010-02-02 2014-07-29 Humax Holdings Co., Ltd. Image encoding/decoding method for rate-distortion optimization and apparatus for performing same
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
PL3104616T3 (pl) * 2010-07-09 2017-10-31 Samsung Electronics Co Ltd Urządzenie do entropijnego dekodowania współczynników przekształcenia
US9066097B2 (en) * 2011-02-01 2015-06-23 Sony Corporation Method to optimize the transforms and/or predictions in a video codec
US9641840B2 (en) * 2011-05-20 2017-05-02 Sony Corporation Processing device and image processing method for encoding and decoding image
AU2012355057B2 (en) * 2011-12-19 2016-08-18 Sony Corporation Image processing device and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130417A (ja) * 2003-10-01 2005-05-19 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
JP2009272727A (ja) * 2008-04-30 2009-11-19 Toshiba Corp 予測誤差の方向性に基づく変換方法、画像符号化方法及び画像復号化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BYEONGMOON JEON ET AL.: "Description of video coding technology proposal by LG Electronics, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/ SC29/WG11", JCTVC-A110, 1ST MEETING, April 2010 (2010-04-01), DRESDEN, DE, pages 1 *
MADHUKAR BUDAGAVI ET AL.: "Orthogonal MDDT and Mode Dependent DCT, tions Standardization SectorSTUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG)", VCEG-AM20, 39TH MEETING, January 2010 (2010-01-01), KYOTO, JP, pages 1 - 9 *
MARTA KARCZEWICZ: "Improved Intra Coding, ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG)", VCEG-AF15, 32ND MEETING, April 2007 (2007-04-01), SAN JOSE, CA, pages 1 - 4 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107743240A (zh) * 2012-02-29 2018-02-27 索尼公司 图像处理装置和方法
CN109803149A (zh) * 2012-02-29 2019-05-24 索尼公司 图像处理装置和方法
US10574990B2 (en) 2012-02-29 2020-02-25 Sony Corporation Image processing device and method with a scalable quantization matrix
CN107743240B (zh) * 2012-02-29 2020-03-17 索尼公司 图像处理装置和方法
CN110913224A (zh) * 2012-02-29 2020-03-24 索尼公司 图像处理装置和方法
CN110913224B (zh) * 2012-02-29 2022-05-03 索尼公司 图像处理装置和方法
US11539954B2 (en) 2012-02-29 2022-12-27 Sony Corporation Image processing device and method with a scalable quantization matrix
RU2759052C2 (ru) * 2016-12-28 2021-11-09 Сони Корпорейшн Устройство и способ обработки изображений
US11997316B2 (en) 2016-12-28 2024-05-28 Sony Corporation Image processing apparatus and method for curbing deterioration in coding efficiency

Also Published As

Publication number Publication date
CN102918843A (zh) 2013-02-06
US20180242019A1 (en) 2018-08-23
US9053549B2 (en) 2015-06-09
US20130071038A1 (en) 2013-03-21
EP2582137A1 (en) 2013-04-17
CN102918843B (zh) 2015-08-19
US20150281697A1 (en) 2015-10-01
TW201215156A (en) 2012-04-01
CN105049859A (zh) 2015-11-11
CN105049859B (zh) 2019-01-08
US10499083B2 (en) 2019-12-03
RU2012151530A (ru) 2014-07-20
JP2011259205A (ja) 2011-12-22
CN105025295B (zh) 2019-01-29
US20170164005A1 (en) 2017-06-08
US9979982B2 (en) 2018-05-22
US9596476B2 (en) 2017-03-14
BR112012030544A2 (pt) 2016-08-09
KR20130090322A (ko) 2013-08-13
CN105025295A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
WO2011155332A1 (ja) 画像復号化装置と画像符号化装置およびその方法とプログラム
KR101914896B1 (ko) 화상 처리 장치와 화상 처리 방법
KR101772851B1 (ko) 화상 처리 장치 및 방법
WO2011155364A1 (ja) 画像復号化装置と画像符号化装置およびその方法とプログラム
WO2012102088A1 (ja) 画像復号装置と画像符号化装置およびその方法
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
WO2011018965A1 (ja) 画像処理装置および方法
WO2011089972A1 (ja) 画像処理装置および方法
WO2012063878A1 (ja) 画像処理装置と画像処理方法
WO2010035732A1 (ja) 画像処理装置および方法
US20110229049A1 (en) Image processing apparatus, image processing method, and program
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
JP2013150164A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
KR20130088119A (ko) 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법
JP5387520B2 (ja) 情報処理装置と情報処理方法
JP4655791B2 (ja) 符号化装置、符号化方法およびそのプログラム
WO2014002900A1 (ja) 画像処理装置および画像処理方法
JP2012138884A (ja) 符号化装置および符号化方法、並びに復号装置および復号方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180027201.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792289

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011792289

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20127031223

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2012151530

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13701319

Country of ref document: US

Ref document number: 10421/DELNP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012030544

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012030544

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20121130