WO2011040302A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2011040302A1
WO2011040302A1 PCT/JP2010/066388 JP2010066388W WO2011040302A1 WO 2011040302 A1 WO2011040302 A1 WO 2011040302A1 JP 2010066388 W JP2010066388 W JP 2010066388W WO 2011040302 A1 WO2011040302 A1 WO 2011040302A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
motion vector
unit
color difference
image
Prior art date
Application number
PCT/JP2010/066388
Other languages
English (en)
French (fr)
Inventor
佐藤　数史
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43826126&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2011040302(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201080043968.2A priority Critical patent/CN102577388B/zh
Priority to US13/498,096 priority patent/US8744182B2/en
Publication of WO2011040302A1 publication Critical patent/WO2011040302A1/ja
Priority to US14/195,990 priority patent/US9503748B2/en
Priority to US14/602,634 priority patent/US9510014B2/en
Priority to US14/602,830 priority patent/US9510015B2/en
Priority to US14/602,497 priority patent/US9544614B2/en
Priority to US15/337,602 priority patent/US9979981B2/en
Priority to US15/914,264 priority patent/US10911772B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Definitions

  • the present invention relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method that realizes improvement in encoding efficiency in a color difference signal and reduction in address calculation for memory access.
  • MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image encoding system, and is a standard that covers both interlaced scanning images and progressive scanning images, as well as standard resolution images and high-definition images.
  • MPEG2 is currently widely used in a wide range of applications for professional and consumer applications.
  • a code amount (bit rate) of 4 to 8 Mbps is assigned to an interlaced scanned image having a standard resolution of 720 ⁇ 480 pixels.
  • a high resolution interlaced scanned image having 1920 ⁇ 1088 pixels is assigned a code amount (bit rate) of 18 to 22 Mbps.
  • bit rate code amount
  • MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but it did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate. With the widespread use of mobile terminals, the need for such an encoding system is expected to increase in the future, and the MPEG4 encoding system has been standardized accordingly. Regarding the image coding system, the standard was approved as an international standard in December 1998 as ISO / IEC 14496-2.
  • H. The standardization of 26L (ITU-T Q6 / 16 ⁇ VCEG) is in progress.
  • H. 26L is known to achieve higher encoding efficiency than the conventional encoding schemes such as MPEG2 and MPEG4, although a large amount of calculation is required for encoding and decoding.
  • this H. Based on 26L, H. Standardization to achieve higher coding efficiency by incorporating functions that are not supported by 26L is performed as JointJModel of Enhanced-Compression Video Coding.
  • H. H.264 and MPEG-4 Part 10 Advanced Video Coding, hereinafter referred to as H.264 / AVC).
  • motion prediction / compensation processing with 1/2 pixel accuracy is performed by linear interpolation processing.
  • H. In the H.264 / AVC system, prediction / compensation processing with 1/4 pixel accuracy is performed using a 6-tap FIR (Finite Impulse Response Filter) filter as an interpolation filter.
  • FIR Finite Impulse Response Filter
  • Figure 1 shows H. It is a figure explaining the prediction and compensation process of the 1/4 pixel precision in a H.264 / AVC system.
  • H. In the H.264 / AVC format, 1/4 pixel accuracy prediction / compensation processing using a 6-tap FIR (Finite Impulse Response Filter) filter is performed.
  • FIR Finite Impulse Response Filter
  • the position A indicates the position of the integer precision pixel
  • the positions b, c, and d indicate the positions of the 1/2 pixel precision
  • the positions e1, e2, and e3 indicate the positions of the 1/4 pixel precision.
  • max_pix When the input image has 8-bit precision, the value of max_pix is 255.
  • the pixel values at the positions b and d are generated by the following equation (2) using a 6-tap FIR filter.
  • the pixel value at the position c is generated as in the following Expression (3) by applying a 6-tap FIR filter in the horizontal direction and the vertical direction.
  • the clip process is executed only once at the end after performing both the horizontal and vertical product-sum processes.
  • the positions e1 to e3 are generated by linear interpolation as in the following equation (4).
  • FIG. 6 is a diagram for explaining prediction / compensation processing related to a color difference signal in the H.264 / AVC format.
  • FIG. H In the H.264 / AVC format, as described above with reference to FIG. 1, the prediction / compensation processing with 1/4 pixel accuracy is performed. In the case of 4: 2: 0 signal, the color difference signal is 1/8. Pixel accuracy prediction / compensation processing is performed.
  • black circles are pixels with integer pixel precision stored in the frame memory, and A to D attached to each black circle represent the pixel value of each pixel.
  • the position of the white circle (d x , dy ) is the position indicated by the motion vector information with 1/8 pixel accuracy within the rectangular area surrounded by the pixels A to D
  • the pixel value v is generated as in the following equation (5).
  • JM Joint Model
  • pixels A to I represent pixels having pixel values with integer pixel accuracy (hereinafter referred to as integer pixel accuracy pixels).
  • Pixels 1 to 8 represent pixels having pixel values with 1/2 pixel accuracy around the pixel E (hereinafter referred to as pixels with 1/2 pixel accuracy).
  • Pixels a to h represent pixels having a pixel value of 1/4 pixel accuracy around the pixel 6 (hereinafter referred to as 1/4 pixel accuracy pixels).
  • JM JM
  • a motion vector with integer pixel accuracy that minimizes a cost function value such as SAD (Sum Absolute Difference) is obtained within a predetermined search range. Accordingly, it is assumed that the pixel corresponding to the obtained motion vector is the pixel E.
  • a pixel having a pixel value that minimizes the above-described cost function value is obtained from the pixel E and the pixels 1 to 8 having 1 ⁇ 2 pixel accuracy around the pixel E, and this pixel ( In the case of the example of FIG. 2, the pixel 6) is a pixel for the optimum motion vector with 1/2 pixel accuracy.
  • a pixel having a pixel value that minimizes the above-described cost function value is obtained from the pixel 6 and the pixels a to h with a 1/4 pixel accuracy around the pixel 6.
  • the motion vector for the obtained pixel becomes the optimal motion vector with 1 ⁇ 4 pixel accuracy.
  • Non-Patent Document 3 it is proposed to adaptively switch this filter coefficient for each target frame so that the prediction residual is minimized.
  • Non-Patent Document 3 first, as a first step, the normal H.264 standard is used. H.264 / AVC motion prediction processing is performed, and a motion vector value is calculated for each motion compensation block.
  • the filter is optimized so as to minimize the motion residual with respect to the motion vector value obtained in the first step.
  • the motion coefficient is updated again using the filter coefficient obtained in the second step, and the motion vector value is updated. Thereby, encoding efficiency can be improved.
  • the macroblock size is 16 ⁇ 16 pixels.
  • the macroblock size of 16 ⁇ 16 pixels is not optimal for a large image frame such as UHD (Ultra High Definition: 4000 ⁇ 2000 pixels) that is the target of the next-generation encoding method.
  • Non-Patent Document 4 it is also proposed to expand the macroblock size to a size of 32 ⁇ 32 pixels, for example.
  • or FIG. 3 mentioned above is used also as a figure explaining this invention hereafter.
  • the motion compensation block of the luminance signal is 4 ⁇ 4 pixels and the input signal is 4: 2: 0, the motion compensation block of the color difference signal is 2 ⁇ 2 pixels.
  • the motion compensation block is 2 ⁇ 2 pixels, it is necessary to perform address calculation for memory access in that unit, and the memory bandwidth is reduced in both the encoding side and decoding side devices. End up.
  • the present invention has been made in view of such a situation, and can realize improvement in coding efficiency in color difference signals and reduction in address calculation for memory access.
  • An image processing apparatus includes a motion prediction unit that performs motion prediction of a luminance block to be encoded and generates a motion vector, and the luminance block in which the motion vector is generated by the motion prediction unit. And a block discriminating unit that classifies the color difference blocks corresponding to the category according to the block size of orthogonal transform by the block discriminating unit, and the color difference block is classified into a category having a size smaller than the block size of the orthogonal transform.
  • a color difference motion vector generation unit that generates a motion vector of the single color difference block by associating a single color difference block with the plurality of luminance blocks is provided.
  • the chrominance motion vector generation means can generate the motion vector of the single chrominance block using at least one of the plurality of luminance block motion vectors generated by the motion prediction means.
  • the chrominance motion vector generation means can generate a motion vector of the single chrominance block by a function using at least one of the motion vectors of the plurality of luminance blocks generated by the motion prediction means.
  • Coding means for coding motion vector information of the luminance block generated by the motion prediction means is further provided, wherein the chrominance motion vector generation means uses the predicted motion vector of the single chrominance block as the motion prediction. Generated by a function using at least one of the motion vectors of the plurality of luminance blocks obtained by the means, and the generated predicted motion vector and the single unit searched in a predetermined range centered on the predicted motion vector. The difference with the motion vector of one chrominance block is obtained, and the encoding means can also encode the difference information obtained by the chrominance motion vector generation means.
  • the motion prediction unit generates a motion vector of the color difference block by a method of an encoding standard when the color difference block is classified into a category having a size equal to or larger than the orthogonal transform block size by the block determination unit. Can do.
  • the image processing apparatus performs motion prediction of a luminance block to be encoded, generates a motion vector, and a color difference corresponding to the luminance block from which the motion vector is generated.
  • the blocks are classified into categories according to the block size of the orthogonal transform, and the color difference block is classified into a category having a size smaller than the block size of the orthogonal transform, a single block is used for the plurality of luminance blocks. And generating a motion vector of the single color difference block.
  • the image processing apparatus includes a decoding unit that decodes prediction mode information of a luminance block to be decoded, and a size of the luminance block indicated by the prediction mode information decoded by the decoding unit. And a block discriminating unit for classifying the chrominance block corresponding to the luminance block into a category corresponding to an orthogonal transform block size, and the chrominance block is smaller than the block size of the orthogonal transform by the block discriminating unit. And a chrominance motion vector generation means for generating a motion vector of the single chrominance block by associating a single chrominance block with the plurality of luminance blocks.
  • the decoding means decodes information on the motion vector of the luminance block, and the chrominance motion vector generation means moves the motion vector of the single chrominance block to the motions of the plurality of luminance blocks decoded by the decoding means. It can be generated using at least one of the vectors.
  • the chrominance motion vector generation means can generate the motion vector of the single chrominance block by a function using at least one of the motion vectors of the plurality of luminance blocks decoded by the decoding means.
  • the decoding means includes a predicted motion vector of the single chrominance block generated by calculating an average value using motion vectors of the plurality of luminance blocks obtained and encoded on the encoding side, and Decoding the difference information from the motion vector of the single chrominance block searched in a predetermined range centered on the prediction motion vector, and the chrominance motion vector generating means predicts the single chrominance block
  • a motion vector is generated by a function using at least one of the motion vectors of the plurality of luminance blocks obtained by the motion prediction unit, and the generated predicted motion vector and the difference decoded by the decoding unit By adding the information, a motion vector of the single color difference block can be generated.
  • Predictive image generation means for generating a prediction image of the luminance block using the motion vector of the luminance block is further provided, wherein the prediction image generation means is configured such that the color difference block is a block size of the orthogonal transform by the block determination means.
  • the motion vector of the chrominance block can be generated by the encoding standard method to generate the predicted image of the chrominance block.
  • the image processing apparatus decodes the prediction mode information of the luminance block to be decoded, and based on the size of the luminance block indicated by the decoded prediction mode information.
  • the color difference block corresponding to the luminance block is classified into a category corresponding to the block size of orthogonal transform, and the color difference block is classified into a category having a size smaller than the block size of the orthogonal transform, a plurality of the A step of associating a single color difference block with a luminance block to generate a motion vector of the single color difference block is included.
  • motion prediction of a luminance block to be encoded is performed to generate a motion vector, and a color difference block corresponding to the luminance block from which the motion vector is generated is subjected to orthogonal transformation.
  • the color difference block is classified into a category having a size smaller than the orthogonal transform block size, the single color difference block is associated with the plurality of luminance blocks, and the single color difference block Motion vectors are generated.
  • the prediction mode information of the luminance block to be decoded is decoded, and based on the size of the luminance block indicated by the decoded prediction mode information, the color difference corresponding to the luminance block
  • the blocks are classified into categories according to the block size of the orthogonal transform.
  • the single color difference block is associated with the plurality of luminance blocks, and the single color difference block Motion vectors are generated.
  • each of the above-described image processing apparatuses may be an independent apparatus, or may be an internal block constituting one image encoding apparatus or image decoding apparatus.
  • the first aspect of the present invention it is possible to improve the coding efficiency in the color difference signal. Further, according to the first aspect of the present invention, it is possible to reduce address calculation for memory access.
  • the second aspect of the present invention it is possible to improve the coding efficiency in the color difference signal. In addition, according to the second aspect of the present invention, it is possible to reduce address calculation for memory access.
  • H. It is a figure explaining the motion prediction / compensation process of 1/4 pixel precision in a H.264 / AVC system.
  • FIG. 6 is a diagram for explaining motion prediction / compensation processing for color difference signals in the H.264 / AVC format.
  • H. 2 is a diagram illustrating a motion search method in the H.264 / AVC format.
  • FIG. It is a block diagram which shows the structure of one Embodiment of the image coding apparatus to which this invention is applied. It is a figure explaining variable block size motion prediction and compensation processing. It is a figure explaining the motion prediction and compensation system of a multi reference frame. It is a figure explaining the example of the production
  • 5 is a block diagram illustrating a configuration example of a motion prediction / compensation unit and a color difference motion vector determination unit in FIG. 4. It is a figure explaining the motion prediction process of a color difference signal.
  • 5 is a flowchart for describing an encoding process of the image encoding device in FIG. 4. It is a flowchart explaining the prediction process of step S21 of FIG. It is a flowchart explaining the intra prediction process of step S31 of FIG. It is a flowchart explaining the inter motion prediction process using the luminance signal of step S32 of FIG. It is a flowchart explaining the motion estimation process with respect to the color difference signal of step S34 of FIG. FIG.
  • FIG. 5 is a block diagram illustrating another configuration example of the motion prediction / compensation unit and the chrominance motion vector determination unit in FIG. 4.
  • 12 is a flowchart illustrating another example of the motion prediction process for the color difference signal in step S34 in FIG. 11. It is a block diagram which shows the structure of one Embodiment of the image decoding apparatus to which this invention is applied.
  • FIG. 18 is a block diagram illustrating a configuration example of a motion prediction / compensation unit and a color difference motion vector determination unit in FIG. 17. It is a flowchart explaining the decoding process of the image decoding apparatus of FIG. It is a flowchart explaining the prediction process of step S138 of FIG. 21 is a flowchart for describing motion compensation processing for a color difference signal in step S176 of FIG.
  • 20. 21 is a flowchart illustrating another example of motion compensation for the color difference signal in step S176 of FIG. It is a figure which shows the example of the expanded block size. It is a figure which shows the example in case an input signal is 4: 2: 2. It is a block diagram which shows the structural example of the hardware of a computer. It is a block diagram which shows the main structural examples of the television receiver to which this invention is applied. It is a block diagram which shows the main structural examples of the mobile telephone to which this invention is applied. It is a block diagram which shows the main structural examples of the hard disk recorder to which this invention is applied. It is a block diagram which shows the main structural examples of the camera to which this invention is applied.
  • FIG. 4 shows the configuration of an embodiment of an image encoding apparatus as an image processing apparatus to which the present invention is applied.
  • This image encoding device 51 receives, for example, an image of an input signal in 4: 2: 0 format.
  • the input image is compressed and encoded based on the H.264 and MPEG-4 Part 10 (Advanced Video Coding) (hereinafter referred to as H.264 / AVC) system.
  • H.264 / AVC Advanced Video Coding
  • the image encoding device 51 includes an A / D conversion unit 61, a screen rearrangement buffer 62, a calculation unit 63, an orthogonal transformation unit 64, a quantization unit 65, a lossless encoding unit 66, an accumulation buffer 67, Inverse quantization unit 68, inverse orthogonal transform unit 69, operation unit 70, deblock filter 71, frame memory 72, switch 73, intra prediction unit 74, motion prediction / compensation unit 75, color difference block determination unit 76, color difference motion vector determination The unit 77, the predicted image selection unit 78, and the rate control unit 79 are configured.
  • the A / D converter 61 A / D converts the input image, outputs it to the screen rearrangement buffer 62, and stores it.
  • the screen rearrangement buffer 62 rearranges the stored frames in the display order in the order of frames for encoding in accordance with GOP (Group of Picture).
  • the calculation unit 63 subtracts the prediction image from the intra prediction unit 74 or the prediction image from the motion prediction / compensation unit 75 selected by the prediction image selection unit 78 from the image read from the screen rearrangement buffer 62, The difference information is output to the orthogonal transform unit 64.
  • the orthogonal transform unit 64 subjects the difference information from the calculation unit 63 to orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform, and outputs the transform coefficient.
  • the quantization unit 65 quantizes the transform coefficient output from the orthogonal transform unit 64.
  • the quantized transform coefficient that is the output of the quantization unit 65 is input to the lossless encoding unit 66, where lossless encoding such as variable length encoding and arithmetic encoding is performed and compressed.
  • the lossless encoding unit 66 acquires information indicating intra prediction from the intra prediction unit 74 and acquires information indicating inter prediction mode from the motion prediction / compensation unit 75. Note that the information indicating intra prediction and the information indicating inter prediction are also referred to as intra prediction mode information and inter prediction mode information, respectively.
  • the lossless encoding unit 66 encodes the quantized transform coefficient, encodes information indicating intra prediction, information indicating inter prediction mode, and the like, and uses it as a part of header information in the compressed image.
  • the lossless encoding unit 66 supplies the encoded data to the accumulation buffer 67 for accumulation.
  • lossless encoding processing such as variable length encoding or arithmetic encoding is performed.
  • variable length coding include H.264.
  • CAVLC Context-Adaptive Variable Length Coding
  • arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).
  • the accumulation buffer 67 converts the data supplied from the lossless encoding unit 66 to H.264. As a compressed image encoded by the H.264 / AVC format, for example, it is output to a recording device or a transmission path (not shown) in the subsequent stage.
  • the quantized transform coefficient output from the quantization unit 65 is also input to the inverse quantization unit 68, and after inverse quantization, the inverse orthogonal transform unit 69 further performs inverse orthogonal transform.
  • the output subjected to the inverse orthogonal transform is added to the predicted image supplied from the predicted image selection unit 78 by the calculation unit 70, and becomes a locally decoded image.
  • the deblocking filter 71 removes block distortion from the decoded image, and then supplies the deblocking filter 71 to the frame memory 72 for accumulation.
  • the image before the deblocking filter processing by the deblocking filter 71 is also supplied to the frame memory 72 and accumulated.
  • the switch 73 outputs the reference image stored in the frame memory 72 to the motion prediction / compensation unit 75 or the intra prediction unit 74.
  • an I picture, a B picture, and a P picture from the screen rearrangement buffer 62 are supplied to the intra prediction unit 74 as images to be intra predicted (also referred to as intra processing). Further, the B picture and the P picture read from the screen rearrangement buffer 62 are supplied to the motion prediction / compensation unit 75 as an image to be inter-predicted (also referred to as inter-processing).
  • the intra prediction unit 74 performs intra prediction processing of all candidate intra prediction modes based on the image to be intra predicted read from the screen rearrangement buffer 62 and the reference image supplied from the frame memory 72, and performs prediction. Generate an image.
  • the intra prediction unit 74 calculates cost function values for all candidate intra prediction modes, and selects an intra prediction mode in which the calculated cost function value gives the minimum value as the optimal intra prediction mode. Details of the cost function value will be described later with reference to FIG.
  • the intra prediction unit 74 supplies the predicted image generated in the optimal intra prediction mode and its cost function value to the predicted image selection unit 78.
  • the intra prediction unit 74 supplies information indicating the optimal intra prediction mode to the lossless encoding unit 66.
  • the lossless encoding unit 66 encodes this information and uses it as a part of header information in the compressed image.
  • the motion prediction / compensation unit 75 is supplied with the inter-processed image read from the screen rearrangement buffer 62 and the reference image from the frame memory 72 via the switch 73.
  • the motion prediction / compensation unit 75 performs motion prediction of all candidate inter prediction modes using the luminance signal, and generates and accumulates motion vectors of each block.
  • the motion prediction / compensation unit 75 calculates cost function values for all candidate inter prediction modes using the predicted motion vector of each block.
  • the motion prediction / compensation unit 75 determines the prediction mode of the block that gives the minimum value among the calculated cost function values as the optimal inter prediction mode, and supplies information on the determined prediction mode to the color difference block determination unit 76.
  • the motion prediction / compensation unit 75 performs compensation processing on the reference image based on the motion vector in the optimal inter prediction mode, and obtains a predicted image of a target luminance signal block (hereinafter also referred to as a luminance block or luminance signal block as appropriate). Generate.
  • the motion prediction / compensation unit 75 A motion vector of a target color difference signal block (hereinafter also referred to as a color difference block or a color difference signal block as appropriate) is generated by the H.264 / AVC format. Then, the motion prediction / compensation unit 75 generates a predicted image of the color difference signal block using the generated motion vector.
  • the motion prediction / compensation unit 75 generates a predicted image of the color difference signal block using the motion vector of the color difference signal indicated by the information.
  • the motion prediction / compensation unit 75 supplies the predicted image of the generated target block (luminance signal and chrominance signal block) in the optimal inter prediction mode and its cost function value to the predicted image selection unit 78.
  • the motion prediction / compensation unit 75 sends information indicating the optimal inter prediction mode (inter prediction mode information) to the lossless encoding unit 66. Output.
  • the lossless encoding unit 66 performs lossless encoding processing such as variable length encoding and arithmetic encoding on the information from the motion prediction / compensation unit 75 and inserts the information into the header portion of the compressed image.
  • the chrominance block determination unit 76 determines the block size of the chrominance signal block according to the block size of the luminance signal block indicated by the prediction mode information from the motion prediction / compensation unit 75.
  • the color difference block determination unit 76 supplies information about the determined color difference block size to the color difference motion vector determination unit 77.
  • the block size of the corresponding chrominance signal block Is determined to be 4 ⁇ 4 pixels.
  • the color difference motion vector determination unit 77 classifies which color difference signal block belongs to which of the two categories based on the color difference block size information from the color difference block determination unit 76.
  • the first category includes blocks having a block size of 4 ⁇ 4 pixels or more among color difference signal blocks.
  • the second category belongs to blocks having a block size smaller than 4 ⁇ 4 pixels among color difference signal blocks.
  • the color difference motion vector determination unit 77 supplies a control signal to the motion prediction / compensation unit 75.
  • the motion prediction of the color difference signal by the H.264 / AVC format is performed.
  • the color difference motion vector determination unit 77 associates a single color difference signal block with a plurality of luminance signal blocks when the color difference signal block is classified into the second category, and the color difference signal in units thereof.
  • the generated color difference motion vector information is supplied to the motion prediction / compensation unit 75.
  • a motion search is performed on a single color difference signal block corresponding to a plurality of luminance signal blocks, and difference information from the motion vector generated using the motion vectors of the plurality of luminance signal blocks as described above. May be generated and sent to the decoding side.
  • the generated difference information is supplied to the lossless encoding unit 66 as indicated by a dotted line.
  • the predicted image selection unit 78 determines the optimal prediction mode from the optimal intra prediction mode and the optimal inter prediction mode based on each cost function value output from the intra prediction unit 74 or the motion prediction / compensation unit 75. Then, the predicted image selection unit 78 selects a predicted image in the determined optimal prediction mode and supplies the selected predicted image to the calculation units 63 and 70. At this time, the predicted image selection unit 78 supplies the selection information of the predicted image to the intra prediction unit 74 or the motion prediction / compensation unit 75.
  • the rate control unit 79 controls the rate of the quantization operation of the quantization unit 65 based on the compressed image stored in the storage buffer 67 so that overflow or underflow does not occur.
  • a block when simply referred to as a block, a luminance signal block, a chrominance signal block, etc., it represents a motion prediction / compensation block.
  • FIG. 3 is a diagram illustrating an example of a block size for motion prediction / compensation in the H.264 / AVC format.
  • macroblocks composed of 16 ⁇ 16 pixels divided into 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, and 8 ⁇ 8 pixel partitions are sequentially shown from the left. ing.
  • 8 ⁇ 8 pixel partitions divided into 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, and 4 ⁇ 4 pixel subpartitions are sequentially shown. Yes.
  • one macroblock is divided into any partition of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, or 8 ⁇ 8 pixels, and independent motion vector information is obtained. It is possible to have.
  • an 8 ⁇ 8 pixel partition is divided into 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, or 4 ⁇ 4 pixel subpartitions and has independent motion vector information. Is possible.
  • Figure 6 shows H. 6 is a diagram for describing prediction / compensation processing of a multi-reference frame in the H.264 / AVC format.
  • a target frame Fn to be encoded from now and encoded frames Fn-5,..., Fn-1 are shown.
  • the frame Fn-1 is a frame immediately before the target frame Fn on the time axis
  • the frame Fn-2 is a frame two frames before the target frame Fn
  • the frame Fn-3 is the frame of the target frame Fn. This is the previous three frames.
  • the frame Fn-4 is a frame four times before the target frame Fn
  • the frame Fn-5 is a frame five times before the target frame Fn.
  • a smaller reference picture number (ref_id) is added to a frame closer to the time axis than the target frame Fn. That is, frame Fn-1 has the smallest reference picture number, and thereafter, the reference picture numbers are smallest in the order of Fn-2,..., Fn-5.
  • a block A1 and a block A2 are shown in the target frame Fn.
  • the block A1 is considered to be correlated with the block A1 'of the previous frame Fn-2, and the motion vector V1 is searched.
  • the block A2 is considered to be correlated with the block A1 'of the previous frame Fn-4, and the motion vector V2 is searched.
  • the block indicates any of the 16 ⁇ 16 pixel, 16 ⁇ 8 pixel, 8 ⁇ 16 pixel, and 8 ⁇ 8 pixel partitions described above with reference to FIG.
  • the reference frames within the 8x8 sub-block must be the same.
  • FIG. It is a figure explaining the production
  • a target block E to be encoded (for example, 16 ⁇ 16 pixels) and blocks A to D that have already been encoded and are adjacent to the target block E are shown.
  • the block D is adjacent to the upper left of the target block E
  • the block B is adjacent to the upper side of the target block E
  • the block C is adjacent to the upper right of the target block E
  • the block A is , Adjacent to the left of the target block E.
  • the blocks A to D are not divided represent blocks having any one of the 16 ⁇ 16 pixels to 4 ⁇ 4 pixels described above with reference to FIG.
  • the predicted motion vector information for the current block E pmv E is block A, B, by using the motion vector information on C, is generated as in the following equation by median prediction (6).
  • the motion vector information related to the block C may be unavailable (unavailable) because it is at the edge of the image frame or is not yet encoded. In this case, the motion vector information regarding the block C is substituted with the motion vector information regarding the block D.
  • the data mvd E added to the header portion of the compressed image as motion vector information for the target block E is generated as in the following equation (7) using pmv E.
  • mvd E mv E -pmv E (7)
  • processing is performed independently for each of the horizontal and vertical components of the motion vector information.
  • the motion vector information is generated by generating the motion vector information and adding a difference between the motion vector information and the motion vector information generated by the correlation with the adjacent block to the header portion of the compressed image. Reduced.
  • FIG. 8 is a block diagram illustrating a detailed configuration example of the motion prediction / compensation unit 75 and the chrominance motion vector determination unit 77. In FIG. 8, the switch 73 in FIG. 4 is omitted.
  • the motion prediction / compensation unit 75 includes a motion search unit 81, a mode determination unit 82, and a motion compensation unit 83.
  • the color difference motion vector determination unit 77 includes a block categorization unit 91 and a color difference motion vector generation unit 92.
  • the reference image pixel value from the frame memory 72 is supplied to the motion search unit 81, the mode determination unit 82, and the motion compensation unit 83. Also, the image (input image) pixel value to be inter-processed from the screen rearrangement buffer 62 is supplied to the motion search unit 81 and the mode determination unit 82.
  • the motion search unit 81 performs a motion search of each target block of the luminance signal for all candidate inter prediction modes, using an image to be inter-processed and a reference image pixel value with integer pixel accuracy.
  • the motion search unit 81 obtains a motion vector with integer pixel accuracy based on the motion search method implemented in the JM (Joint Model) described above with reference to FIG. Is required.
  • JM Joint Model
  • the mode determination unit 82 uses the inter-processed image and the reference image pixel value with integer pixel accuracy for all the inter prediction modes that are candidates for which the motion vector is obtained by the motion search unit 81 with reference to FIG. A cost function value to be described later is calculated.
  • the mode determination unit 82 determines the inter prediction mode in which the calculated cost function value gives the minimum value as the optimal inter prediction mode of the target block.
  • the mode determination unit 82 supplies the determined optimal inter prediction mode information and the corresponding motion vector information to the motion compensation unit 83.
  • the mode determination unit 82 also supplies the determined optimal inter prediction mode information to the color difference block determination unit 76.
  • the mode determination unit 82 sets the optimal inter prediction mode obtained when calculating the information of the optimal inter prediction mode and the cost function value.
  • Corresponding motion vector difference information, reference frame information, and the like are supplied to the lossless encoding unit 66.
  • the motion compensation unit 83 performs a compensation process on the reference image based on the motion vector in the optimal inter prediction mode from the mode determination unit 82, and generates a predicted image of the target luminance signal block.
  • the motion compensating unit 83 is The motion vector of the color difference signal is generated by the H.264 / AVC method, and compensation processing is performed using the generated motion vector to generate a predicted image of the target color difference signal block.
  • the motion compensation unit 83 performs compensation processing using the motion vector of the chrominance signal indicated by the information, and predicts the target chrominance signal block image. Is generated.
  • the motion compensation unit 83 supplies the generated predicted image of the target block in the optimal inter prediction mode and its cost function value to the predicted image selection unit 78.
  • the cost function value may be supplied from the mode determination unit 82 or may be obtained again by the motion compensation unit 83 and supplied to the predicted image selection unit 78. Good.
  • the block categorizing unit 91 classifies which of the two categories the color difference signal block belongs to based on the information on the color difference block size from the color difference block determination unit 76.
  • the block categorizing unit 91 supplies a control signal to the motion compensation unit 83, and The motion prediction of the color difference signal by the H.264 / AVC format is performed.
  • the block categorizing unit 91 supplies a control signal to the color difference motion vector generation unit 92 to perform motion prediction of the color difference signal.
  • the chrominance motion vector generation unit 92 associates a single chrominance signal block with a plurality of luminance signal blocks based on the control signal from the block categorizing unit 91. Then, the color difference motion vector generation unit 92 uses the motion vector information of the plurality of luminance signal blocks acquired from the mode determination unit 82 to generate a motion vector of the corresponding single color difference signal block. The color difference motion vector generation unit 92 supplies the generated motion vector information of the color difference signal to the motion compensation unit 83.
  • motion prediction / compensation processing is performed according to any of the motion partition (block) sizes shown in FIG.
  • the size shown in FIG. 5 relates to the luminance signal.
  • the block size for the color difference signal is the same as that for the luminance signal, both horizontally and vertically. 1/2 of the block size.
  • the color difference block determination unit 76 Information regarding which block size is used for motion prediction based on the luminance signal, that is, information on the prediction mode is supplied to the color difference block determination unit 76.
  • the block size of the target block of the chrominance signal is discriminated in accordance with the block size of the target block of the luminance signal indicated by the prediction mode information, and the discriminated chrominance block size information is used as the block categorizing unit. 91.
  • the target blocks are classified into the two categories described above. That is, among the block sizes in the luminance signal, the first category belongs to a block having a size of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, or 8 ⁇ 8 pixels in FIG. . Of the block sizes in the luminance signal, blocks of other sizes belong to the second category.
  • the first category of the block size in the color difference signal includes any of 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixels.
  • Block of size belongs.
  • blocks of other sizes that is, 4 ⁇ 2 pixels, 2 ⁇ 4 pixels, 2 ⁇ 2 pixels
  • the block size of the orthogonal transform performed by the orthogonal transform unit 64 is 4 ⁇ 4 pixels. That is, the block categorizing unit 91 classifies the blocks of the color difference signals into categories according to the orthogonal transform block size.
  • the first category is a category to which a block having a size equal to or larger than the orthogonal transform block size belongs
  • the second category is a category to which a block having a size smaller than the orthogonal transform block size belongs.
  • the block categorizing unit 91 performs H.264 on the target block classified in the first category in this way.
  • a control signal for performing motion prediction of the color difference signal by the H.264 / AVC format is supplied to the motion compensation unit 83.
  • the block categorizing unit 91 outputs a control signal for performing motion prediction of the color difference signal described next with reference to FIG. 9 for the target block classified into the second category. This is supplied to the motion vector generation unit 92.
  • FIG. 9 is a diagram for explaining the color difference signal motion prediction processing in the color difference motion vector generation unit 92.
  • FIG. 9A shows an example of the color difference signal when the macro block of the luminance signal is composed of four 4 ⁇ 4 pixel blocks.
  • FIG. 9B shows an example of the color difference signal in the case where the macro block of the luminance signal is composed of two 8 ⁇ 4 pixel blocks.
  • C of FIG. 9 shows an example of the color difference signal in the case where the macro block of the luminance signal is composed of two 4 ⁇ 8 pixel blocks.
  • the color difference signal is composed of four 2 ⁇ 2 blocks. That is, the 4 luminance signal blocks are made to correspond to the 4 ⁇ 4 block of a single color difference signal instead of the 2 ⁇ 2 block of the four color difference signals corresponding to the encoding standard. In other words, a 4 ⁇ 4 block of a single color difference signal is newly associated with four luminance signal blocks.
  • the color difference motion vector generation unit 92 calculates the motion vector information mv c of the color difference signal of one 4 ⁇ 4 block as shown in the following equation (8).
  • mv c f (mv 0 , mv 1 , mv 2 , mv 3 ) ... (8)
  • equation (8) for example, processing by averaging is performed as f ().
  • the color difference motion vector generation unit 92 a horizontal component, for each vertical component, the motion vector information mv c is calculated by the following equation (9).
  • the color difference signal has only half the resolution with respect to the luminance signal, so the right side of equation (9) is not divided by 4 (/ 4). , Division by 8 (/ 8).
  • the motion vector difference information dmv c is obtained as in (11).
  • This motion vector difference information may be sent to the decoding side. The details will be described later with reference to FIGS. 15 and 16.
  • the color difference signal motion prediction process described above may be performed for both Cb / Cr or may be performed independently for each of Cb / Cr. That is, the single motion vector information mv c may be provided for both Cb / Cr, or the motion vector information mv cb and mv cr may be provided independently for Cb / CR. You may do it.
  • the target block for the luminance signal is 4 ⁇ 4 pixels (in the case of A in FIG. 9), but in the case where the target block for the luminance signal is 8 ⁇ 4 pixels, As indicated by B in 9, a block of two luminance signals to which 0 and 1 are assigned is associated with a 4 ⁇ 4 block of one color difference signal to which C is assigned. Then, using the motion vector information of two 8 ⁇ 4 blocks, motion vector information mv c of the color difference signal of one 4 ⁇ 4 block is calculated.
  • the target block for the luminance signal is 4 ⁇ 8 pixels, as shown in C of FIG. 9, two luminance signal blocks with 0 and 1 are assigned 1 with C. 4 ⁇ 4 blocks of two color difference signals are made to correspond. Then, the motion vector information mv c of the color difference signal of one 4 ⁇ 4 block is calculated using the motion vector information of two 4 ⁇ 8 blocks.
  • the luminance signal is composed of two 4 ⁇ 8 pixels, whereas the color difference signal is composed of two blocks of 2 ⁇ 4 pixels.
  • the luminance signal is composed of two 8 ⁇ 4 pixels, whereas the color difference signal is composed of two 4 ⁇ 2 pixel blocks.
  • f () in the above equation (8) in addition to the processing by averaging, for example, the processing shown in the following equation (12) may be performed.
  • the processing shown in the equation (12) may be performed as f ().
  • This flag may be transmitted separately in the horizontal and vertical directions, or a single flag may be transmitted in both the horizontal and vertical directions.
  • decode the compressed image by acquiring this flag, it is possible to reconstruct the mv c.
  • the motion vector of the single chrominance signal block corresponding to the plurality of luminance signal blocks is converted to the plurality of luminances. It was made to generate using the motion vector of the block of the signal.
  • H. In the H.264 / AVC format if the target block of the luminance signal is 4 ⁇ 4 pixels, it is necessary to perform memory access by calculating the address of the four 2 ⁇ 2 pixel blocks for the color difference signal. . On the other hand, by performing the above-described processing, the memory access calculation can be performed only once, and the required memory bandwidth can be reduced.
  • step S11 the A / D converter 61 performs A / D conversion on the input image.
  • step S12 the screen rearrangement buffer 62 stores the image supplied from the A / D conversion unit 61, and rearranges the picture from the display order to the encoding order.
  • step S13 the calculation unit 63 calculates the difference between the image rearranged in step S12 and the predicted image.
  • the predicted image is supplied from the motion prediction / compensation unit 75 in the case of inter prediction and from the intra prediction unit 74 in the case of intra prediction to the calculation unit 63 via the predicted image selection unit 78.
  • ⁇ Difference data has a smaller data volume than the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.
  • step S14 the orthogonal transformation unit 64 orthogonally transforms the difference information supplied from the calculation unit 63. Specifically, orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed, and transformation coefficients are output.
  • step S15 the quantization unit 65 quantizes the transform coefficient. At the time of this quantization, the rate is controlled as described in the process of step S25 described later.
  • step S ⁇ b> 16 the inverse quantization unit 68 inversely quantizes the transform coefficient quantized by the quantization unit 65 with characteristics corresponding to the characteristics of the quantization unit 65.
  • step S ⁇ b> 17 the inverse orthogonal transform unit 69 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 68 with characteristics corresponding to the characteristics of the orthogonal transform unit 64.
  • step S ⁇ b> 18 the calculation unit 70 adds the predicted image input via the predicted image selection unit 78 to the locally decoded difference information, and outputs the locally decoded image (input to the calculation unit 63. Corresponding image).
  • step S ⁇ b> 19 the deblock filter 71 filters the image output from the calculation unit 70. Thereby, block distortion is removed.
  • step S20 the frame memory 72 stores the filtered image. Note that an image that has not been filtered by the deblocking filter 71 is also supplied to the frame memory 72 from the computing unit 70 and stored therein.
  • step S21 the intra prediction unit 74 and the motion prediction / compensation unit 75 each perform image prediction processing. That is, in step S21, the intra prediction unit 74 performs an intra prediction process in the intra prediction mode.
  • the motion prediction / compensation unit 75 performs inter prediction mode motion prediction / compensation processing.
  • step S21 Details of the prediction process in step S21 will be described later with reference to FIG. 11. First, by this process, prediction processes in all candidate intra prediction modes are performed, and all candidate intra prediction modes are performed. The cost function value at is calculated. Then, based on the calculated cost function value, the optimal intra prediction mode is selected, and the predicted image generated by the intra prediction in the optimal intra prediction mode and its cost function value are supplied to the predicted image selection unit 78.
  • prediction processing in all candidate inter prediction modes is performed, and cost function values in all candidate inter prediction modes are calculated. Based on the calculated cost function value, the optimum inter prediction mode is determined from the inter prediction modes.
  • motion prediction, cost function value calculation, and optimum inter prediction mode are determined for the luminance signal. Based on the block size indicated in the optimal inter prediction mode, category classification of the target block is performed, and motion prediction according to the classified category is performed on the color difference signal. Then, a predicted image in the optimal inter prediction mode is generated, and the generated predicted image and its cost function value are supplied to the predicted image selection unit 78.
  • step S ⁇ b> 22 the predicted image selection unit 78 optimizes one of the optimal intra prediction mode and the optimal inter prediction mode based on the cost function values output from the intra prediction unit 74 and the motion prediction / compensation unit 75. Determine the prediction mode. Then, the predicted image selection unit 78 selects the predicted image in the determined optimal prediction mode and supplies it to the calculation units 63 and 70. As described above, this predicted image is used for the calculations in steps S13 and S18.
  • the prediction image selection information is supplied to the intra prediction unit 74 or the motion prediction / compensation unit 75.
  • the intra prediction unit 74 supplies information indicating the optimal intra prediction mode (that is, intra prediction mode information) to the lossless encoding unit 66.
  • the motion prediction / compensation unit 75 further includes information indicating the optimal inter prediction mode and, if necessary, information corresponding to the optimal inter prediction mode as a lossless encoding unit. 66.
  • Information according to the optimal inter prediction mode includes motion vector information and reference frame information.
  • step S23 the lossless encoding unit 66 encodes the quantized transform coefficient output from the quantization unit 65. That is, the difference image is subjected to lossless encoding such as variable length encoding and arithmetic encoding, and is compressed.
  • the intra prediction mode information from the intra prediction unit 74 or the information corresponding to the optimal inter prediction mode from the motion prediction / compensation unit 75, which is input to the lossless encoding unit 66 in step S22 described above, is also encoded. And added to the header information.
  • information indicating the inter prediction mode is encoded for each macroblock.
  • Motion vector information and reference frame information are encoded for each target block.
  • the motion vector difference information of the generated color difference signal is supplied from the color difference motion vector determination unit 77.
  • the color difference motion vector determination unit 77 are also encoded. This will be described in detail later with reference to FIGS. 15 and 16.
  • step S24 the accumulation buffer 67 accumulates the difference image as a compressed image.
  • the compressed image stored in the storage buffer 67 is appropriately read and transmitted to the decoding side via the transmission path.
  • step S25 the rate control unit 79 controls the quantization operation rate of the quantization unit 65 based on the compressed image stored in the storage buffer 67 so that overflow or underflow does not occur.
  • the decoded image to be referred to is read from the frame memory 72, and the intra prediction unit 74 via the switch 73. To be supplied. Based on these images, in step S31, the intra prediction unit 74 performs intra prediction on the pixels of the block to be processed in all candidate intra prediction modes. Note that pixels that have not been deblocked filtered by the deblocking filter 71 are used as decoded pixels that are referred to.
  • intra prediction is performed in all candidate intra prediction modes, and for all candidate intra prediction modes.
  • a cost function value is calculated.
  • the optimal intra prediction mode is selected, and the predicted image generated by the intra prediction in the optimal intra prediction mode and its cost function value are supplied to the predicted image selection unit 78.
  • the processing target image supplied from the screen rearrangement buffer 62 is an image to be inter-processed
  • the referenced image is read from the frame memory 72 and supplied to the motion search unit 81 via the switch 73.
  • the motion search unit 81 performs an inter motion prediction process using a luminance signal. That is, the motion search unit 81 refers to the image supplied from the frame memory 72 and performs motion prediction processing in all candidate inter prediction modes using the luminance signal.
  • step S32 Details of the inter motion prediction process in step S32 will be described later with reference to FIG. With this processing, motion prediction processing is performed in all candidate inter prediction modes using the luminance signal, and the cost determination value is calculated by the mode determination unit 82 for all candidate inter prediction modes. .
  • step S33 the mode determination unit 82 determines the optimal inter prediction mode based on the calculated cost function value from all the candidate inter prediction modes. That is, the mode determination unit 82 determines the prediction mode with the minimum cost function value as the optimal intra prediction mode.
  • the mode determination unit 82 supplies the determined optimal inter prediction mode information and the corresponding motion vector information to the motion compensation unit 83. In addition, the mode determination unit 82 also supplies the determined optimal inter prediction mode information to the color difference block determination unit 76.
  • step S34 the color difference block determination unit 76, the color difference motion vector determination unit 77, and the motion compensation unit 83 execute a motion prediction process on the color difference signal.
  • motion prediction process for the color difference signal in step S34 will be described later with reference to FIG.
  • motion prediction of the color difference signal is performed according to the block size of the optimal intra prediction mode.
  • the color difference signal block is classified into categories, and a motion vector of the color difference signal block is generated according to the classified category. .
  • step S35 the motion compensation unit 83 performs compensation processing on the reference image based on the motion vector in the optimal inter prediction mode from the mode determination unit 82, and generates a predicted image of the target block.
  • the motion compensation unit 83 performs compensation processing on the reference image based on the motion vector in the optimal inter prediction mode from the mode determination unit 82, and generates a predicted image of the target luminance signal block.
  • the control signal is supplied from the block categorizing unit 91
  • the motion compensating unit 83 is A motion vector of the color difference signal is generated by the H.264 / AVC method, and a predicted image of the target color difference signal block is generated using the generated motion vector.
  • the chrominance motion vector information is supplied from the chrominance motion vector generation unit 92
  • the motion compensation unit 83 performs compensation processing using the motion vector of the chrominance signal indicated by the information, and the motion compensation unit 83 determines the target chrominance signal block.
  • a prediction image is generated.
  • the prediction image of the optimal inter prediction mode generated as described above and its cost function value are supplied to the prediction image selection unit 78.
  • step S41 the intra prediction unit 74 performs intra prediction for each of the 4 ⁇ 4 pixel, 8 ⁇ 8 pixel, and 16 ⁇ 16 pixel intra prediction modes.
  • the luminance signal intra prediction modes include nine types of 4 ⁇ 4 pixel and 8 ⁇ 8 pixel block units, and four types of 16 ⁇ 16 pixel macroblock unit prediction modes. There are four types of prediction modes in units of 8 ⁇ 8 pixel blocks.
  • the color difference signal intra prediction mode can be set independently of the luminance signal intra prediction mode.
  • the 4 ⁇ 4 pixel and 8 ⁇ 8 pixel intra prediction modes of the luminance signal one intra prediction mode is defined for each block of the luminance signal of 4 ⁇ 4 pixels and 8 ⁇ 8 pixels.
  • the 16 ⁇ 16 pixel intra prediction mode for luminance signals and the intra prediction mode for color difference signals one prediction mode is defined for one macroblock.
  • the intra prediction unit 74 refers to a decoded image read from the frame memory 72 and supplied via the switch 73, and performs intra prediction on the pixel of the processing target block. By performing this intra prediction process in each intra prediction mode, a prediction image in each intra prediction mode is generated. Note that pixels that have not been deblocked filtered by the deblocking filter 71 are used as decoded pixels that are referred to.
  • the intra prediction unit 74 calculates a cost function value for each intra prediction mode of 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, and 16 ⁇ 16 pixels.
  • the cost function value is determined based on a method of either High Complexity mode or Low Complexity mode. These modes are H.264. It is defined by JM, which is reference software in the H.264 / AVC format.
  • the encoding process is temporarily performed for all candidate prediction modes as the process in step S41. Then, the cost function value represented by the following equation (13) is calculated for each prediction mode, and the prediction mode that gives the minimum value is selected as the optimum prediction mode.
  • D a difference (distortion) between the original image and the decoded image
  • R a generated code amount including up to the orthogonal transform coefficient
  • ⁇ a Lagrange multiplier given as a function of the quantization parameter QP.
  • step S41 generation of predicted images and header bits such as motion vector information, prediction mode information, and flag information are calculated for all candidate prediction modes. The Then, the cost function value represented by the following equation (13) is calculated for each prediction mode, and the prediction mode that gives the minimum value is selected as the optimum prediction mode.
  • Cost (Mode) D + QPtoQuant (QP) ⁇ Header_Bit (14)
  • D is a difference (distortion) between the original image and the decoded image
  • Header_Bit is a header bit for the prediction mode
  • QPtoQuant is a function given as a function of the quantization parameter QP.
  • the intra prediction unit 74 determines an optimum mode for each of the 4 ⁇ 4 pixel, 8 ⁇ 8 pixel, and 16 ⁇ 16 pixel intra prediction modes. That is, as described above, in the case of the intra 4 ⁇ 4 prediction mode and the intra 8 ⁇ 8 prediction mode, there are nine types of prediction modes, and in the case of the intra 16 ⁇ 16 prediction mode, there are types of prediction modes. There are four types. Therefore, the intra prediction unit 74 selects the optimal intra 4 ⁇ 4 prediction mode, the optimal intra 8 ⁇ 8 prediction mode, and the optimal intra 16 ⁇ 16 prediction mode from among the cost function values calculated in step S42. decide.
  • the intra prediction unit 74 calculates the cost calculated in step S42 from among the optimal modes determined for the 4 ⁇ 4 pixel, 8 ⁇ 8 pixel, and 16 ⁇ 16 pixel intra prediction modes in step S44.
  • the optimal intra prediction mode is selected based on the function value. That is, the mode having the minimum cost function value is selected as the optimum intra prediction mode from among the optimum modes determined for 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, and 16 ⁇ 16 pixels.
  • the intra prediction unit 74 supplies the predicted image generated in the optimal intra prediction mode and its cost function value to the predicted image selection unit 78.
  • step S61 the motion search unit 81 uses the luminance signal and motion vectors and reference images for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels described above with reference to FIG. Respectively.
  • the motion search unit 81 is supplied with an image to be inter-processed from the screen rearrangement buffer 62 and a reference image pixel value with integer pixel accuracy from the frame memory 72.
  • the motion search unit 81 uses the luminance signals of these images to perform integer pixel precision motion that minimizes a cost function value such as SAD within a predetermined search range of a candidate reference image for each inter prediction mode. Find vectors and reference images.
  • the motion search unit 81 obtains sub-pixel precision motion vector information with 1 ⁇ 2 pixel accuracy that minimizes a cost function such as SAD, and further 1 ⁇ 4 pixel precision that minimizes a cost function such as SAD. Obtain motion vector information with decimal pixel precision.
  • the motion vector and the reference image are determined for the target block to be processed in each inter prediction mode of the luminance signal.
  • Each motion vector information obtained for each target block of the luminance signal by the motion search unit 81 is supplied to the mode determination unit 82.
  • the mode determination unit 82 performs the processes of the following steps S62 to S64 in order to calculate the cost function value represented by the above formula (13) or formula (14).
  • the mode determination unit 82 performs compensation processing on the reference image based on the motion vector from the motion search unit 81 in step S62. Specifically, the mode determination unit 82 uses the reference image pixel value with integer pixel accuracy from the frame memory 72, the motion vector information with decimal pixel accuracy, and the filter coefficient of the interpolation filter to obtain a pixel with decimal pixel accuracy. A predicted image of the target block is generated by interpolating the values.
  • step S63 the mode determination unit 82 generates differential motion vector information mvd E for the motion vectors determined for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels. At this time, the motion vector generation method described above with reference to FIG. 7 is used.
  • the mode determination unit 82 uses the adjacent block motion vector information to calculate predicted motion vector information pmv E for the target block E by the median prediction of Equation (6) described above. The mode determination unit 82 then calculates the difference motion vector information mvd based on the difference between the motion vector information mv E from the mode determination unit 82 and the calculated predicted motion vector information pmv E , as shown in the equation (7) described above. Find E.
  • the obtained difference motion vector information is used when the cost function value is calculated in the next step S64, and finally when the corresponding predicted image is selected by the predicted image selection unit 78, the prediction mode information, and The reference frame information and the like are supplied to the lossless encoding unit 66.
  • step S64 the mode determination unit 82 calculates the cost function value represented by the above-described equation (13) or equation (14) for each of the eight types of inter prediction modes including 16 ⁇ 16 pixels to 4 ⁇ 4 pixels. calculate.
  • the mode determination unit 82 performs an inter-processing image from the screen rearrangement buffer 62, a reference image pixel value with integer pixel accuracy, a motion vector information with decimal pixel accuracy, and difference motion vector information from the frame memory 72.
  • the cost function value is calculated by appropriately using information such as The cost function value calculated here is used when determining the optimal inter prediction mode in step S33 of FIG. 11 described above.
  • the chrominance block determination unit 76 determines the block size of the chrominance signal block according to the block size of the luminance signal block indicated by the information on the optimal inter prediction mode, and supplies the determined chrominance block size information to the block categorizing unit 91. To do.
  • the color difference block determination unit 76 sets the block size in the color difference signal to 8 ⁇ 8 pixels, respectively. , 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixels. Further, the color difference block discriminating unit 76, when the block size in the luminance signal is 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixels, the block sizes in the color difference signal are 4 ⁇ 2 pixels and 2 ⁇ 4 pixels, respectively. It is determined that the pixel is 2 ⁇ 2 pixels.
  • the block categorizing unit 91 categorizes the color difference signal blocks. For example, when the block size in the color difference signal is any of 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixels, the block categorizing unit 91 determines the color difference signal block as the first color difference signal block. Classify into one category. On the other hand, the block categorizing unit 91 classifies the color difference signal block into the second category when the block size in the color difference signal is any of 4 ⁇ 2 pixels, 2 ⁇ 4 pixels, and 2 ⁇ 2 pixels. To do.
  • step S72 the block categorizing unit 91 determines whether or not the color difference signal block is a block belonging to the first category.
  • step S72 If it is determined in step S72 that the block does not belong to the first category, that is, the block belongs to the second category, the process proceeds to step S73.
  • the block categorizing unit 91 supplies a control signal for performing motion compensation of the color difference signal to the color difference motion vector generating unit 92.
  • the color difference motion vector generation unit 92 generates color difference motion vector information in step S73. That is, as described above with reference to FIG. 9A, the chrominance motion vector generation unit 92 generates a single unit for a plurality of luminance signal blocks (for example, four 4 ⁇ 4 blocks) that are assumed to belong to the second category. Corresponding color difference signal blocks (for example, one 4 ⁇ 4 block). The color difference motion vector generation unit 92 generates motion vector information of the single color difference signal block using the motion vector information acquired from the mode determination unit 82.
  • the generated color difference motion vector information is supplied to the motion compensation unit 83, and is used for generating a predicted image of the color difference signal in step S35 of FIG.
  • step S72 if it is determined in step S72 that the block belongs to the first category, the process proceeds to step S74.
  • a control signal for performing motion prediction of the color difference signal by the H.264 / AVC format is supplied to the motion compensation unit 83.
  • the motion compensation unit 83 determines the H. Performs color difference motion prediction processing using the H.264 / AVC format. For example, when the luminance signal block is an 8 ⁇ 8 pixel block, the motion compensation unit 83 performs the motion prediction process described above with reference to FIG. 2 for the color difference signal block of the 4 ⁇ 4 pixel block.
  • the generated color difference motion vector information is used for generating a predicted image of the color difference signal in step S35 of FIG.
  • the chrominance motion vector information is generated by using the motion vector information of the luminance signal block, so it is not necessary to send it to the decoding side.
  • predicted motion vector information may be obtained, the motion vector of the color difference signal block may be searched, and the difference information may be sent to the decoding side.
  • FIG. 15 is a block diagram illustrating a detailed configuration example of the motion prediction / compensation unit 75 and the color difference motion vector determination unit 77 when the color difference motion vector difference information is sent to the decoding side.
  • the motion prediction / compensation unit 75 in FIG. 15 is common to the motion prediction / compensation unit 75 in FIG. 8 in that it includes a motion search unit 81, a mode determination unit 82, and a motion compensation unit 83.
  • the chrominance motion vector determination unit 77 in FIG. 15 is common to the motion prediction / compensation unit 75 in FIG. 8 in that the block categorization unit 91 is provided.
  • the color difference motion vector determination unit 77 in FIG. 15 is different in that the color difference motion vector generation unit 92 is replaced with a color difference prediction motion vector generation unit 95 and a color difference motion vector search unit 96 is added.
  • the chrominance motion vector predictor generation unit 95 differs only in name and performs basically the same processing as the chrominance motion vector generator 92 of FIG.
  • the chrominance motion vector predictor generating unit 95 associates a single chrominance signal block with a plurality of luminance signal blocks based on the control signal from the block categorizing unit 91. Then, using the motion vector information of the plurality of luminance signal blocks acquired from the mode determination unit 82, the color difference prediction motion vector generation unit 95 uses the motion vector information of a single color difference signal block as described in the above equation (10). Prediction motion vector information is generated.
  • the predicted motion vector information (color difference predicted motion vector information) of the generated color difference signal is supplied to the color difference motion vector search unit 96.
  • the color difference motion vector search unit 96 uses the reference image pixel value from the frame memory 72 to obtain motion vector information for the color difference signal block that the color difference prediction motion vector generation unit 95 corresponds to a plurality of luminance signals. At this time, the chrominance motion vector search unit 96 obtains a motion vector for the chrominance signal within a predetermined search range around the chrominance prediction motion vector generated by the chrominance prediction motion vector generation unit 95.
  • the color difference motion vector search unit 96 supplies the color difference motion vector information obtained for the color difference signal block to the motion compensation unit 83.
  • the color difference motion vector search unit 96 obtains a difference between the color difference motion vector information and the color difference prediction motion vector information from the color difference prediction motion vector generation unit 95, and the obtained color difference motion vector difference information is converted into a lossless encoding unit. 66.
  • the chrominance block determination unit 76 determines the block size of the chrominance signal block according to the block size of the luminance signal block indicated by the information on the optimal inter prediction mode, and supplies the determined chrominance block size information to the block categorizing unit 91. To do.
  • step S91 the block categorizing unit 91 classifies the color difference signal blocks. For example, when the block size in the color difference signal is any of 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixels, the block categorizing unit 91 determines the color difference signal block as the first color difference signal block. Classify into one category. On the other hand, the block categorizing unit 91 classifies the color difference signal block into the second category when the block size in the color difference signal is any of 4 ⁇ 2 pixels, 2 ⁇ 4 pixels, and 2 ⁇ 2 pixels. To do.
  • step S92 the block categorizing unit 91 determines whether or not the color difference signal block is a block belonging to the first category.
  • step S92 If it is determined in step S92 that the block does not belong to the first category, that is, the block belongs to the second category, the process proceeds to step S93.
  • a control signal for performing motion prediction of the color difference signal is supplied from the block categorizing unit 91 to the color difference predicted motion vector generation unit 95.
  • the color difference prediction motion vector generation unit 95 generates color difference prediction motion vector information in step S93. That is, the color difference prediction motion vector generation unit 95 associates a single color difference signal block with a plurality of luminance signal blocks that belong to the second category, as described above with reference to FIG. 9A. Then, the color difference prediction motion vector generation unit 95 generates motion prediction vector information of the single color difference signal block using the motion vector information acquired from the mode determination unit 82.
  • the generated color difference motion vector information is supplied to the color difference motion vector search unit 96.
  • the color difference motion vector search unit 96 calculates a color difference motion vector difference. That is, the chrominance motion vector search unit 96 uses the reference image pixel value from the frame memory 72 to search for the chrominance signal block in the search range centered on the prediction motion vector information generated by the chrominance prediction motion vector generation unit 95. Find motion vector information. Then, the color difference motion vector search unit 96 calculates a difference between the color difference motion vector information and the color difference predicted motion vector information from the color difference predicted motion vector generation unit 95.
  • the obtained color difference motion vector information is supplied to the motion compensation unit 83, and is used to generate a color difference signal predicted image in step S35 of FIG.
  • the calculated color difference motion vector difference information is supplied to the lossless encoding unit 66, and when a predicted image by inter prediction is selected in step S22 of FIG. 10, the encoded color difference motion vector difference information is encoded in step S23. It is added to the header and transmitted to the decoding side.
  • step S92 determines whether the block belongs to the first category. If it is determined in step S92 that the block belongs to the first category, the process proceeds to step S95.
  • a control signal for performing motion prediction of the color difference signal by the H.264 / AVC format is supplied to the motion compensation unit 83.
  • the motion compensation unit 83 determines whether the motion compensation unit 83 Performs color difference motion prediction processing using the H.264 / AVC format. For example, when the target block of the luminance signal is an 8 ⁇ 8 pixel block, the motion compensation unit 83 performs the motion prediction process described above with reference to FIG. 2 for the target block of the color difference signal of the 4 ⁇ 4 pixel block.
  • the generated color difference motion vector information is used for generating a predicted image of the color difference signal in step S35 of FIG.
  • the encoded compressed image is transmitted via a predetermined transmission path and decoded by an image decoding device.
  • FIG. 17 shows the configuration of an embodiment of an image decoding apparatus as an image processing apparatus to which the present invention is applied.
  • the image decoding apparatus 101 includes a storage buffer 111, a lossless decoding unit 112, an inverse quantization unit 113, an inverse orthogonal transform unit 114, a calculation unit 115, a deblock filter 116, a screen rearrangement buffer 117, a D / A conversion unit 118, a frame
  • the memory 119, the switch 120, the intra prediction unit 121, the motion prediction / compensation unit 122, the color difference motion vector determination unit 123, the color difference block determination unit 124, and the switch 125 are configured.
  • the accumulation buffer 111 accumulates the transmitted compressed image.
  • the lossless decoding unit 112 decodes the information supplied from the accumulation buffer 111 and encoded by the lossless encoding unit 66 of FIG. 4 by a method corresponding to the encoding method of the lossless encoding unit 66.
  • the inverse quantization unit 113 inversely quantizes the image decoded by the lossless decoding unit 112 by a method corresponding to the quantization method of the quantization unit 65 in FIG.
  • the inverse orthogonal transform unit 114 performs inverse orthogonal transform on the output of the inverse quantization unit 113 by a method corresponding to the orthogonal transform method of the orthogonal transform unit 64 in FIG.
  • the output subjected to inverse orthogonal transform is added to the prediction image supplied from the switch 125 by the arithmetic unit 115 and decoded.
  • the deblocking filter 116 removes block distortion of the decoded image, and then supplies the frame to the frame memory 119 for storage and outputs it to the screen rearrangement buffer 117.
  • the screen rearrangement buffer 117 rearranges images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 62 in FIG. 4 is rearranged in the original display order.
  • the D / A conversion unit 118 performs D / A conversion on the image supplied from the screen rearrangement buffer 117, and outputs and displays the image on a display (not shown).
  • the switch 120 reads an image to be inter-processed and a reference image from the frame memory 119 and outputs them to the motion prediction / compensation unit 122, and also reads an image used for intra prediction from the frame memory 119 and sends it to the intra prediction unit 121. Supply.
  • the information indicating the intra prediction mode obtained by decoding the header information is supplied from the lossless decoding unit 112 to the intra prediction unit 121.
  • the intra prediction unit 121 generates a prediction image based on this information, and outputs the generated prediction image to the switch 125.
  • the motion prediction / compensation unit 122 is supplied with inter prediction mode information, motion vector information, reference frame information, and the like from the lossless decoding unit 112.
  • the inter prediction mode information is transmitted for each macroblock. Motion vector information and reference frame information are transmitted for each target block.
  • the motion prediction / compensation unit 122 generates a predicted image pixel value for the target block in the prediction mode indicated by the inter prediction mode information supplied from the lossless decoding unit 112.
  • the motion prediction / compensation unit 122 receives the control signal when the control signal from the color difference block determination unit 124 is supplied.
  • a motion vector of the color difference signal is generated by the H.264 / AVC method, and a predicted image of the target color difference signal block is generated using the generated motion vector.
  • the motion prediction / compensation unit 122 generates a prediction image of the target color difference signal block using the motion vector of the color difference signal indicated by the information. .
  • the pixel value of the generated prediction image is supplied to the calculation unit 115 via the switch 125.
  • the color difference motion vector determination unit 123 determines which of the two categories the color difference signal block is based on the color difference block size information from the color difference block determination unit 124. Classify if it belongs.
  • the color difference motion vector determination unit 123 supplies a control signal to the motion prediction / compensation unit 122.
  • the motion prediction of the color difference signal by the H.264 / AVC format is performed.
  • the color difference motion vector determining unit 123 associates a single color difference signal block with a plurality of luminance signal blocks when the color difference signal block is classified into the second category, and the color difference signal in units thereof.
  • the generated color difference motion vector information is supplied to the motion prediction / compensation unit 122.
  • color difference motion vector difference information is generated and sent from the image encoding device 51 (in the case of FIG. 16)
  • the color difference motion vector difference information is received from the lossless decoding unit 112 as indicated by a dotted line. This is supplied to the vector determination unit 123.
  • the chrominance motion vector determination unit 123 calculates a prediction motion vector of a single chrominance signal block corresponding to a plurality of luminance signal blocks, and calculates the calculated prediction motion vector and the supplied chrominance motion vector difference information. To obtain a color difference motion vector.
  • the color difference block determination unit 124 sets the block size of the color difference signal block according to the block size of the luminance signal block indicated by the prediction mode information from the motion prediction / compensation unit 122. Determine.
  • the color difference block determination unit 124 supplies information about the determined color difference block size to the color difference motion vector determination unit 7123.
  • the switch 125 selects the prediction image generated by the motion prediction / compensation unit 122 or the intra prediction unit 121 and supplies the selected prediction image to the calculation unit 115.
  • motion vector information and encoding mode information are obtained inside the device as a result of motion search and mode determination.
  • these pieces of information are added to the compressed image information transmitted after being encoded, and are obtained as a result of the lossless decoding process. Except for this difference, the operation principles of the image encoding device 51 and the image decoding device 101 in FIG. 4 are the same.
  • FIG. 18 is a block diagram illustrating a detailed configuration example of the motion prediction / compensation unit 122 and the chrominance motion vector determination unit 123. In FIG. 18, the switches 120 and 125 in FIG. 17 are omitted.
  • the motion prediction / compensation unit 122 includes a motion vector buffer 131, a mode information buffer 132, and a predicted image generation unit 133.
  • the color difference motion vector determination unit 123 includes a block categorization unit 141 and a color difference motion vector generation unit 142.
  • the motion vector buffer 131 stores the motion vector information of the target block from the lossless decoding unit 112.
  • the mode information buffer 132 stores the inter prediction mode information for each macroblock from the lossless decoding unit 112.
  • the predicted image generation unit 133 acquires the motion vector information of the target block from the motion vector buffer 131 and acquires the corresponding inter prediction mode information from the mode information buffer 132.
  • the predicted image generation unit 133 generates a pixel value of the predicted image for the target luminance signal block using the acquired information and the reference image pixel value obtained from the frame memory 119.
  • the predicted image generating unit 133 is connected to the H.264 image.
  • the motion vector of the color difference signal is generated by the H.264 / AVC method, and compensation processing is performed using the generated motion vector to generate a predicted image of the target color difference signal block.
  • the predicted image generation unit 133 performs compensation processing using the motion vector of the color difference signal indicated by the information, and becomes a target. A prediction image of the color difference signal block is generated.
  • the block categorizing unit 141 classifies which of the two categories the color difference signal block belongs to based on the information on the color difference block size from the color difference block determination unit 124.
  • the block categorizing unit 141 supplies a control signal to the predicted image generation unit 133, and The motion prediction of the color difference signal by the H.264 / AVC format is performed.
  • the block categorizing unit 141 supplies a control signal to the color difference motion vector generation unit 142 to perform motion prediction of the color difference signal.
  • the color difference motion vector generation unit 142 associates a single color difference signal block with a plurality of luminance signal blocks based on the control signal from the block categorizing unit 141. Then, the chrominance motion vector generation unit 142 uses the motion vector information of the plurality of luminance signal blocks acquired from the motion vector buffer 131 to generate a motion vector of the corresponding single chrominance signal block. The color difference motion vector generation unit 142 supplies motion vector information of the generated color difference signal to the predicted image generation unit 133.
  • color difference motion vector difference information is generated and sent from the image encoding device 51 (in the case of FIG. 16)
  • the color difference motion vector difference information is received from the lossless decoding unit 112 as indicated by a dotted line. This is supplied to the vector generation unit 142.
  • the chrominance motion vector generation unit 142 calculates a predicted motion vector of a single chrominance signal block corresponding to a plurality of luminance signal blocks, as in Expression (10) described above. Then, the color difference motion vector generation unit 142 obtains a color difference motion vector using the calculated predicted motion vector and the supplied color difference motion vector difference information.
  • step S131 the storage buffer 111 stores the transmitted image.
  • step S132 the lossless decoding unit 112 decodes the compressed image supplied from the accumulation buffer 111. That is, the I picture, P picture, and B picture encoded by the lossless encoding unit 66 in FIG. 4 are decoded.
  • motion vector information reference frame information
  • prediction mode information information indicating an intra prediction mode or an inter prediction mode
  • the prediction mode information is intra prediction mode information
  • the prediction mode information is supplied to the intra prediction unit 121.
  • the prediction mode information is inter prediction mode information
  • motion vector information and reference frame information corresponding to the prediction mode information are supplied to the motion prediction / compensation unit 122.
  • color difference motion vector difference information is added to the header of the image transmitted after the processing of FIG. 16 is performed.
  • the color difference motion vector difference information is also decoded and supplied to the color difference motion vector determination unit 123. Is done.
  • step S133 the inverse quantization unit 113 inversely quantizes the transform coefficient decoded by the lossless decoding unit 112 with characteristics corresponding to the characteristics of the quantization unit 65 in FIG.
  • step S134 the inverse orthogonal transform unit 114 performs inverse orthogonal transform on the transform coefficient inversely quantized by the inverse quantization unit 113 with characteristics corresponding to the characteristics of the orthogonal transform unit 64 in FIG. As a result, the difference information corresponding to the input of the orthogonal transform unit 64 in FIG. 4 (the output of the calculation unit 63) is decoded.
  • step S135 the calculation unit 115 adds the prediction image selected in the process of step S139 described later and input via the switch 125 to the difference information. As a result, the original image is decoded.
  • step S136 the deblocking filter 116 filters the image output from the calculation unit 115. Thereby, block distortion is removed.
  • step S137 the frame memory 119 stores the filtered image.
  • step S138 the intra prediction unit 121 or the motion prediction / compensation unit 122 performs image prediction processing corresponding to the prediction mode information supplied from the lossless decoding unit 112, respectively.
  • the intra prediction unit 121 performs an intra prediction process in the intra prediction mode.
  • the motion prediction / compensation unit 122 performs a motion prediction / compensation process in the inter prediction mode.
  • the motion prediction / compensation unit 122 generates a pixel value of the predicted image for the target block according to the category classified by the block size indicated by the inter prediction mode.
  • step S138 The details of the prediction processing in step S138 will be described later with reference to FIG. 20, but the prediction image generated by the intra prediction unit 121 or the prediction image generated by the motion prediction / compensation unit 122 is switched by this process. To be supplied.
  • step S139 the switch 125 selects a predicted image. That is, a prediction image generated by the intra prediction unit 121 or a prediction image generated by the motion prediction / compensation unit 122 is supplied. Therefore, the supplied predicted image is selected and supplied to the calculation unit 115, and is added to the output of the inverse orthogonal transform unit 114 in step S134 as described above.
  • step S140 the screen rearrangement buffer 117 performs rearrangement. That is, the order of frames rearranged for encoding by the screen rearrangement buffer 62 of the image encoding device 51 is rearranged to the original display order.
  • step S141 the D / A conversion unit 118 D / A converts the image from the screen rearrangement buffer 117. This image is output to a display (not shown), and the image is displayed.
  • step S171 the intra prediction unit 121 determines whether the target block is intra-coded.
  • the intra prediction unit 121 determines in step S171 that the target block is intra-coded, and the process proceeds to step S172. .
  • the intra prediction unit 121 acquires the intra prediction mode information in step S172, and performs intra prediction in step S173.
  • the intra prediction unit 121 performs intra prediction according to the intra prediction mode information acquired in step S172, and generates a predicted image.
  • the generated prediction image is output to the switch 125.
  • step S171 determines whether the intra encoding has been performed. If it is determined in step S171 that the intra encoding has not been performed, the process proceeds to step S174.
  • the inter prediction mode information, the reference frame information, and the motion vector information are supplied from the lossless decoding unit 112 to the motion prediction / compensation unit 122.
  • step S174 the motion prediction / compensation unit 122 acquires the prediction mode information from the lossless decoding unit 112 and the like. That is, inter prediction mode information, reference frame information, and motion vector information are acquired.
  • the acquired motion vector information is stored in the motion vector buffer 131, and the inter prediction mode information is stored in the mode information buffer 132.
  • step S175 the predicted image generation unit 133 generates a predicted image for the luminance signal. That is, the predicted image generation unit 133 acquires the motion vector information of the target block from the motion vector buffer 131 and acquires the corresponding inter prediction mode information from the mode information buffer 132. The predicted image generation unit 133 generates a pixel value of the predicted image for the target luminance signal block using the acquired information and the reference image pixel value obtained from the frame memory 119.
  • step S176 motion prediction processing for the color difference signal is performed. Details of the motion prediction processing for this color difference signal will be described later with reference to FIG.
  • the target color difference signal block is classified into the first or second category according to the block size indicated by the inter prediction mode information, and the motion vector of the color difference signal block is obtained according to the classified category. .
  • step S177 the predicted image generation unit 133 performs a compensation process using the motion vector of the color difference signal obtained by the process in step S176, and generates a predicted image for the target color difference signal block.
  • the generated predicted image is supplied to the calculation unit 115 via the switch 125, and is added to the output of the inverse orthogonal transform unit 114 in step S134.
  • the color difference block determination unit 124 determines the block size of the color difference signal block according to the block size of the luminance signal block indicated by the prediction mode information from the mode information buffer 132.
  • the color difference block discriminating unit 124 supplies the discriminated color difference block size information to the block categorizing unit 141.
  • step S181 the block categorizing unit 141 classifies which color difference signal block belongs to which of the two categories based on the color difference block size information from the color difference block determining unit 124.
  • the block categorizing unit 141 selects the color difference signal block Classify into one category.
  • the block categorizing unit 141 classifies the color difference signal block into the second category when the block size in the color difference signal is any of 4 ⁇ 2 pixels, 2 ⁇ 4 pixels, and 2 ⁇ 2 pixels. To do.
  • step S182 the block categorizing unit 141 determines whether the color difference signal block is a block belonging to the first category. If it is determined in step S182 that the block does not belong to the first category, that is, the block belongs to the second category, the process proceeds to step S183. In this case, the block categorizing unit 141 supplies a control signal for performing motion compensation of the color difference signal to the color difference motion vector generating unit 142.
  • the color difference motion vector generation unit 142 generates color difference motion vector information in step S183. That is, as described above with reference to FIG. 9A, the chrominance motion vector generation unit 142 applies a single to a plurality of luminance signal blocks (for example, four 4 ⁇ 4 blocks) that are determined to belong to the second category. Corresponding color difference signal blocks (for example, one 4 ⁇ 4 block). Then, the chrominance motion vector generation unit 142 uses the motion vector information acquired from the motion vector buffer 131 to generate motion vector information of the single chrominance signal block.
  • a plurality of luminance signal blocks for example, four 4 ⁇ 4 blocks
  • Corresponding color difference signal blocks for example, one 4 ⁇ 4 block.
  • the generated color difference motion vector information is supplied to the predicted image generation unit 133, and is used to generate a predicted image of a color difference signal in step S177 in FIG.
  • step S182 if it is determined in step S182 that the block belongs to the first category, the process proceeds to step S184.
  • a control signal for performing motion prediction of the color difference signal by the H.264 / AVC format is supplied to the predicted image generation unit 133.
  • the predicted image generation unit 133 determines the H.264 image. Performs color difference motion prediction processing using the H.264 / AVC format. For example, when the luminance signal block is an 8 ⁇ 8 pixel block, the predicted image generation unit 133 performs the motion prediction process described above with reference to FIG. 2 for the color difference signal block of the 4 ⁇ 4 pixel block.
  • the generated color difference motion vector information is used to generate a predicted image of the color difference signal block in step S177 in FIG.
  • the color difference motion vector information is generated using the motion vector information of the luminance signal block.
  • the color difference motion vector difference information is sent from the encoding side, the color difference motion generated by using the motion vector information of the luminance signal block from the difference information.
  • the vector prediction information is differentiated to generate a color difference motion vector.
  • the color difference block determination unit 124 determines the block size of the color difference signal block according to the block size of the luminance signal block indicated by the prediction mode information from the mode information buffer 132.
  • the color difference block discriminating unit 124 supplies the discriminated color difference block size information to the block categorizing unit 141.
  • step S191 the block categorizing unit 141 classifies which color difference signal block belongs to which of the two categories based on the color difference block size information from the color difference block determining unit 124.
  • step S192 the block categorizing unit 141 determines whether the color difference signal block is a block belonging to the first category. If it is determined in step S192 that the block does not belong to the first category, that is, the block belongs to the second category, the process proceeds to step S193. In this case, the block categorizing unit 141 supplies a control signal for performing motion compensation of the color difference signal to the color difference motion vector generating unit 142.
  • the color difference motion vector generation unit 142 generates color difference prediction motion vector information in step S193. That is, as described above with reference to FIG. 9A, the color difference motion vector generation unit 142 associates a single color difference signal block with a plurality of luminance signal blocks that belong to the second category. Then, the chrominance motion vector generation unit 142 uses the motion vector information acquired from the motion vector buffer 131 to generate predicted motion vector information of the single chrominance signal block.
  • step S194 the color difference motion vector generation unit 142 acquires the color difference motion vector difference information from the lossless decoding unit 112.
  • step S195 the color difference motion vector generation unit 142 generates the color difference motion vector information by adding the generated color difference prediction motion vector information and the acquired color difference motion vector difference information.
  • the generated color difference motion vector information is supplied to the predicted image generation unit 133, and is used to generate a predicted image of a color difference signal in step S177 in FIG.
  • step S192 determines whether the block belongs to the first category. If it is determined in step S192 that the block belongs to the first category, the process proceeds to step S196.
  • a control signal for performing motion prediction of the color difference signal by the H.264 / AVC format is supplied to the predicted image generation unit 133.
  • step S196 the predicted image generation unit 133 determines the H.264 image. Performs color difference motion prediction processing using the H.264 / AVC format.
  • the generated color difference motion vector information is used for generating a predicted image of the color difference signal in step S177 in FIG.
  • the motion prediction of the color difference signal is performed according to the category classified based on the block size of motion prediction / compensation of the color difference signal. That is, in the case of a target block in which the color difference signal motion prediction / compensation block size is smaller than the orthogonal transform block size, the motion vector of a single color difference signal block corresponding to the plurality of luminance signal blocks becomes a plurality of luminance signals. It is generated using the motion vector of the block.
  • the color difference signal needs to be subjected to memory access by calculating an address for four 2 ⁇ 2 pixel blocks.
  • the memory access calculation can be performed only once, and the required memory bandwidth can be reduced.
  • FIG. 23 is a diagram illustrating an example of a block size proposed in Non-Patent Document 4.
  • the macroblock size is expanded to 32 ⁇ 32 pixels.
  • a macro block composed of 32 ⁇ 32 pixels divided into blocks (partitions) of 32 ⁇ 32 pixels, 32 ⁇ 16 pixels, 16 ⁇ 32 pixels, and 16 ⁇ 16 pixels from the left. They are shown in order.
  • blocks from 16 ⁇ 16 pixels divided into 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, and 8 ⁇ 8 pixel blocks are sequentially shown from the left. Yes.
  • an 8 ⁇ 8 pixel block divided into 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, and 4 ⁇ 4 pixel blocks is sequentially shown from the left. .
  • the 32 ⁇ 32 pixel macroblock can be processed in the 32 ⁇ 32 pixel, 32 ⁇ 16 pixel, 16 ⁇ 32 pixel, and 16 ⁇ 16 pixel blocks shown in the upper part of FIG.
  • the 16 ⁇ 16 pixel block shown on the right side of the upper row is H.264. Similar to the H.264 / AVC format, processing in blocks of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, and 8 ⁇ 8 pixels shown in the middle stage is possible.
  • the 8 ⁇ 8 pixel block shown on the right side of the middle row Similar to the H.264 / AVC format, processing in blocks of 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, and 4 ⁇ 4 pixels shown in the lower stage is possible.
  • the block of 32 ⁇ 32 pixels, 32 ⁇ 16 pixels, and 16 ⁇ 32 pixels shown in the upper part of FIG. 23 is referred to as a first layer.
  • the block of 16 ⁇ 16 pixels shown on the right side of the upper stage and the block of 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, and 8 ⁇ 16 pixels shown in the middle stage are called a second hierarchy.
  • the 8 ⁇ 8 pixel block shown on the right side of the middle row and the 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, and 4 ⁇ 4 pixel blocks shown on the lower row are called the third layer.
  • H. A larger block is defined as a superset while maintaining compatibility with the H.264 / AVC format.
  • the minimum unit of luminance signal encoding is H.264.
  • 4 ⁇ 4 pixels that is, the minimum unit for encoding the color difference signal is 2 ⁇ 2 pixels. Therefore, when the minimum unit of orthogonal transformation is 4 ⁇ 4 pixels, the method shown in FIG. 9A can be applied.
  • a block size of less than 8 ⁇ 8 pixels is not used in the hierarchical structure shown in FIG. 23, and the minimum unit of orthogonal transformation is 8 ⁇ 8 pixels including color difference signals.
  • the minimum unit of the color difference signal block is 4 ⁇ 4 pixels, which is smaller than the minimum unit of orthogonal transformation.
  • the minimum unit of the color difference block can be obtained by applying the method shown in FIG. It can be suppressed from becoming smaller than the minimum unit of orthogonal transformation.
  • the luminance signal block and the chrominance signal block have the same size, and as described above, the minimum unit of the chrominance block is smaller than the minimum unit of orthogonal transformation. None become.
  • the corresponding color difference signal block is 4 ⁇ 4 pixels
  • the minimum unit of the color difference block is never smaller than the minimum unit of orthogonal transformation.
  • the present invention can be applied when the luminance signal block is 4 ⁇ 4 pixels or 4 ⁇ 8 pixels as shown in FIG.
  • the motion vector information mv 0 and mv 1 for the two luminance signal blocks to which 0 and 1 are attached the motion vector information mv c to the block of the color difference signal to which C is attached, or Predicted motion vector information pmv c can be generated.
  • motion vector information mv c for the color difference signal block with C, from the motion vector information mv 0 , mv 1 for the two luminance signal blocks with 0 and 1 attached, Alternatively, predicted motion vector information pmv c can be generated.
  • the size of the color difference signal block with C is 4 ⁇ 8
  • the size of orthogonal transformation is 4 ⁇ 4 as shown in FIG. 24B.
  • H.264 / AVC format is used as a base, but the present invention is not limited to this.
  • One macroblock is divided into a plurality of motion partitions, motion compensation is performed, and orthogonal transformation is performed on the difference value.
  • the encoding method / decoding method can be applied.
  • the present invention includes, for example, MPEG, H.264, and the like.
  • image information bitstream
  • orthogonal transformation such as discrete cosine transformation and motion compensation, such as 26x
  • network media such as satellite broadcasting, cable television, the Internet, or mobile phones.
  • the present invention can be applied to an image encoding device and an image decoding device used in the above. Further, the present invention can be applied to an image encoding device and an image decoding device used when processing on a storage medium such as an optical, magnetic disk, and flash memory. Furthermore, the present invention can also be applied to motion prediction / compensation devices included in such image encoding devices and image decoding devices.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • FIG. 25 is a block diagram illustrating a hardware configuration example of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes it, thereby executing the above-described series of processing. Is done.
  • the program executed by the computer (CPU 201) can be provided by being recorded in the removable medium 211 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the image encoding device 51 and the image decoding device 101 described above can be applied to any electronic device. Examples thereof will be described below.
  • FIG. 26 is a block diagram illustrating a main configuration example of a television receiver using the image decoding device to which the present invention has been applied.
  • the television receiver 300 shown in FIG. 1 includes a terrestrial tuner 313, a video decoder 315, a video signal processing circuit 318, a graphic generation circuit 319, a panel drive circuit 320, and a display panel 321.
  • the television receiver 300 shown in FIG. 1 includes a terrestrial tuner 313, a video decoder 315, a video signal processing circuit 318, a graphic generation circuit 319, a panel drive circuit 320, and a display panel 321.
  • the terrestrial tuner 313 receives a broadcast wave signal of terrestrial analog broadcast via an antenna, demodulates it, acquires a video signal, and supplies it to the video decoder 315.
  • the video decoder 315 performs a decoding process on the video signal supplied from the terrestrial tuner 313 and supplies the obtained digital component signal to the video signal processing circuit 318.
  • the video signal processing circuit 318 performs predetermined processing such as noise removal on the video data supplied from the video decoder 315, and supplies the obtained video data to the graphic generation circuit 319.
  • the graphic generation circuit 319 generates video data of a program to be displayed on the display panel 321, image data based on processing based on an application supplied via a network, and the generated video data and image data to the panel drive circuit 320. Supply.
  • the graphic generation circuit 319 generates video data (graphic) for displaying a screen used by the user for selecting an item, and superimposing the video data on the video data of the program.
  • a process of supplying data to the panel drive circuit 320 is also performed as appropriate.
  • the panel drive circuit 320 drives the display panel 321 based on the data supplied from the graphic generation circuit 319, and causes the display panel 321 to display the video of the program and the various screens described above.
  • the display panel 321 includes an LCD (Liquid Crystal Display) or the like, and displays a program video or the like according to control by the panel drive circuit 320.
  • LCD Liquid Crystal Display
  • the television receiver 300 also includes an audio A / D (Analog / Digital) conversion circuit 314, an audio signal processing circuit 322, an echo cancellation / audio synthesis circuit 323, an audio amplification circuit 324, and a speaker 325.
  • an audio A / D (Analog / Digital) conversion circuit 3144 an audio signal processing circuit 322, an echo cancellation / audio synthesis circuit 323, an audio amplification circuit 324, and a speaker 325.
  • the terrestrial tuner 313 acquires not only the video signal but also the audio signal by demodulating the received broadcast wave signal.
  • the terrestrial tuner 313 supplies the acquired audio signal to the audio A / D conversion circuit 314.
  • the audio A / D conversion circuit 314 performs A / D conversion processing on the audio signal supplied from the terrestrial tuner 313, and supplies the obtained digital audio signal to the audio signal processing circuit 322.
  • the audio signal processing circuit 322 performs predetermined processing such as noise removal on the audio data supplied from the audio A / D conversion circuit 314 and supplies the obtained audio data to the echo cancellation / audio synthesis circuit 323.
  • the echo cancellation / voice synthesis circuit 323 supplies the voice data supplied from the voice signal processing circuit 322 to the voice amplification circuit 324.
  • the audio amplification circuit 324 performs D / A conversion processing and amplification processing on the audio data supplied from the echo cancellation / audio synthesis circuit 323, adjusts to a predetermined volume, and then outputs the audio from the speaker 325.
  • the television receiver 300 also has a digital tuner 316 and an MPEG decoder 317.
  • the digital tuner 316 receives a broadcast wave signal of digital broadcasting (terrestrial digital broadcasting, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcasting) via an antenna, demodulates, and MPEG-TS (Moving Picture Experts Group). -Transport Stream) and supply it to the MPEG decoder 317.
  • digital broadcasting terrestrial digital broadcasting, BS (Broadcasting Satellite) / CS (Communications Satellite) digital broadcasting
  • MPEG-TS Motion Picture Experts Group
  • the MPEG decoder 317 releases the scramble applied to the MPEG-TS supplied from the digital tuner 316, and extracts a stream including program data to be played (viewing target).
  • the MPEG decoder 317 decodes the audio packet constituting the extracted stream, supplies the obtained audio data to the audio signal processing circuit 322, decodes the video packet constituting the stream, and converts the obtained video data into the video
  • the signal processing circuit 318 is supplied.
  • the MPEG decoder 317 supplies EPG (Electronic Program Guide) data extracted from the MPEG-TS to the CPU 332 via a path (not shown).
  • the television receiver 300 uses the above-described image decoding device 101 as the MPEG decoder 317 that decodes the video packet in this way. Therefore, as in the case of the image decoding apparatus 101, the MPEG decoder 317 has a single color difference corresponding to a plurality of luminance signal blocks when the block size of the color difference signal is smaller than the block size of the orthogonal transform. A motion vector of the signal block is generated using the motion vectors of the plurality of luminance signal blocks. Thereby, since the appearance of non-zero coefficients due to orthogonal transformation is reduced, coding efficiency can be improved. Further, since the memory access calculation only needs to be performed once, the required memory bandwidth can be reduced.
  • the video data supplied from the MPEG decoder 317 is subjected to predetermined processing in the video signal processing circuit 318 as in the case of the video data supplied from the video decoder 315.
  • the video data that has been subjected to the predetermined processing is appropriately superposed on the generated video data in the graphic generation circuit 319 and supplied to the display panel 321 via the panel drive circuit 320 to display the image. .
  • the audio data supplied from the MPEG decoder 317 is subjected to predetermined processing in the audio signal processing circuit 322 as in the case of the audio data supplied from the audio A / D conversion circuit 314.
  • the audio data that has been subjected to the predetermined processing is supplied to the audio amplifying circuit 324 via the echo cancel / audio synthesizing circuit 323, and subjected to D / A conversion processing and amplification processing.
  • sound adjusted to a predetermined volume is output from the speaker 325.
  • the television receiver 300 also has a microphone 326 and an A / D conversion circuit 327.
  • the A / D conversion circuit 327 receives the user's voice signal captured by the microphone 326 provided in the television receiver 300 for voice conversation.
  • the A / D conversion circuit 327 performs A / D conversion processing on the received audio signal, and supplies the obtained digital audio data to the echo cancellation / audio synthesis circuit 323.
  • the echo cancellation / audio synthesis circuit 323 When the audio data of the user (user A) of the television receiver 300 is supplied from the A / D conversion circuit 327, the echo cancellation / audio synthesis circuit 323 performs echo cancellation on the audio data of the user A. . The echo cancellation / speech synthesis circuit 323 then outputs voice data obtained by synthesizing with other voice data after echo cancellation from the speaker 325 via the voice amplification circuit 324.
  • the television receiver 300 also includes an audio codec 328, an internal bus 329, an SDRAM (Synchronous Dynamic Random Access Memory) 330, a flash memory 331, a CPU 332, a USB (Universal Serial Bus) I / F 333, and a network I / F 334.
  • SDRAM Serial Dynamic Random Access Memory
  • USB Universal Serial Bus
  • the A / D conversion circuit 327 receives the user's voice signal captured by the microphone 326 provided in the television receiver 300 for voice conversation.
  • the A / D conversion circuit 327 performs A / D conversion processing on the received audio signal, and supplies the obtained digital audio data to the audio codec 328.
  • the audio codec 328 converts the audio data supplied from the A / D conversion circuit 327 into data of a predetermined format for transmission via the network, and supplies the data to the network I / F 334 via the internal bus 329.
  • the network I / F 334 is connected to the network via a cable attached to the network terminal 335.
  • the network I / F 334 transmits the audio data supplied from the audio codec 328 to another device connected to the network.
  • the network I / F 334 receives, for example, audio data transmitted from another device connected via the network via the network terminal 335, and receives it via the internal bus 329 to the audio codec 328. Supply.
  • the voice codec 328 converts the voice data supplied from the network I / F 334 into data of a predetermined format and supplies it to the echo cancellation / voice synthesis circuit 323.
  • the echo cancellation / speech synthesis circuit 323 performs echo cancellation on the voice data supplied from the voice codec 328 and synthesizes voice data obtained by synthesizing with other voice data via the voice amplification circuit 324. And output from the speaker 325.
  • the SDRAM 330 stores various data necessary for the CPU 332 to perform processing.
  • the flash memory 331 stores a program executed by the CPU 332.
  • the program stored in the flash memory 331 is read out by the CPU 332 at a predetermined timing such as when the television receiver 300 is activated.
  • the flash memory 331 also stores EPG data acquired via digital broadcasting, data acquired from a predetermined server via a network, and the like.
  • the flash memory 331 stores MPEG-TS including content data acquired from a predetermined server via a network under the control of the CPU 332.
  • the flash memory 331 supplies the MPEG-TS to the MPEG decoder 317 via the internal bus 329 under the control of the CPU 332, for example.
  • the MPEG decoder 317 processes the MPEG-TS similarly to the MPEG-TS supplied from the digital tuner 316. In this way, the television receiver 300 receives content data including video and audio via the network, decodes it using the MPEG decoder 317, displays the video, and outputs audio. Can do.
  • the television receiver 300 also includes a light receiving unit 337 that receives an infrared signal transmitted from the remote controller 351.
  • the light receiving unit 337 receives infrared rays from the remote controller 351 and outputs a control code representing the contents of the user operation obtained by demodulation to the CPU 332.
  • the CPU 332 executes a program stored in the flash memory 331, and controls the overall operation of the television receiver 300 according to a control code supplied from the light receiving unit 337.
  • the CPU 332 and each part of the television receiver 300 are connected via a path (not shown).
  • the USB I / F 333 transmits and receives data to and from an external device of the television receiver 300 connected via a USB cable attached to the USB terminal 336.
  • the network I / F 334 is connected to the network via a cable attached to the network terminal 335, and transmits / receives data other than audio data to / from various devices connected to the network.
  • the television receiver 300 uses the image decoding apparatus 101 as the MPEG decoder 317, so that the processing speed can be increased and the encoding efficiency can be improved. As a result, the television receiver 300 can obtain and display a higher-definition decoded image at a higher speed from a broadcast wave signal received via an antenna or content data obtained via a network. it can.
  • FIG. 31 is a block diagram illustrating a main configuration example of a mobile phone using an image encoding device and an image decoding device to which the present invention is applied.
  • a mobile phone 400 shown in FIG. 31 includes a main control unit 450, a power supply circuit unit 451, an operation input control unit 452, an image encoder 453, a camera I / F unit 454, an LCD control, which are configured to control each unit in an integrated manner.
  • the mobile phone 400 includes an operation key 419, a CCD (Charge Coupled Devices) camera 416, a liquid crystal display 418, a storage unit 423, a transmission / reception circuit unit 463, an antenna 414, a microphone (microphone) 421, and a speaker 417.
  • CCD Charge Coupled Devices
  • the power supply circuit unit 451 starts up the mobile phone 400 to an operable state by supplying power from the battery pack to each unit.
  • the mobile phone 400 transmits / receives voice signals, sends / receives e-mails and image data in various modes such as a voice call mode and a data communication mode based on the control of the main control unit 450 including a CPU, a ROM, a RAM, and the like. Various operations such as shooting or data recording are performed.
  • the cellular phone 400 converts a voice signal collected by the microphone (microphone) 421 into digital voice data by the voice codec 459, performs a spectrum spread process by the modulation / demodulation circuit unit 458, and transmits and receives
  • the unit 463 performs digital / analog conversion processing and frequency conversion processing.
  • the cellular phone 400 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 414.
  • the transmission signal (voice signal) transmitted to the base station is supplied to the mobile phone of the other party via the public telephone line network.
  • the cellular phone 400 amplifies the received signal received by the antenna 414 by the transmission / reception circuit unit 463, further performs frequency conversion processing and analog-digital conversion processing, and performs spectrum despreading processing by the modulation / demodulation circuit unit 458. Then, the audio codec 459 converts it into an analog audio signal. The cellular phone 400 outputs an analog audio signal obtained by the conversion from the speaker 417.
  • the mobile phone 400 when transmitting an e-mail in the data communication mode, receives the text data of the e-mail input by operating the operation key 419 in the operation input control unit 452.
  • the cellular phone 400 processes the text data in the main control unit 450 and displays it on the liquid crystal display 418 as an image via the LCD control unit 455.
  • the cellular phone 400 generates e-mail data in the main control unit 450 based on text data received by the operation input control unit 452, user instructions, and the like.
  • the cellular phone 400 subjects the electronic mail data to spread spectrum processing by the modulation / demodulation circuit unit 458 and performs digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit unit 463.
  • the cellular phone 400 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 414.
  • the transmission signal (e-mail) transmitted to the base station is supplied to a predetermined destination via a network and a mail server.
  • the mobile phone 400 when receiving an e-mail in the data communication mode, receives and amplifies the signal transmitted from the base station by the transmission / reception circuit unit 463 via the antenna 414, and further performs frequency conversion processing and Analog-digital conversion processing.
  • the mobile phone 400 performs spectrum despreading processing on the received signal by the modulation / demodulation circuit unit 458 to restore the original e-mail data.
  • the cellular phone 400 displays the restored e-mail data on the liquid crystal display 418 via the LCD control unit 455.
  • the mobile phone 400 can record (store) the received e-mail data in the storage unit 423 via the recording / playback unit 462.
  • the storage unit 423 is an arbitrary rewritable storage medium.
  • the storage unit 423 may be a semiconductor memory such as a RAM or a built-in flash memory, a hard disk, or a removable disk such as a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card. It may be media. Of course, other than these may be used.
  • the mobile phone 400 when transmitting image data in the data communication mode, the mobile phone 400 generates image data with the CCD camera 416 by imaging.
  • the CCD camera 416 includes an optical device such as a lens and a diaphragm and a CCD as a photoelectric conversion element, images a subject, converts the intensity of received light into an electrical signal, and generates image data of the subject image.
  • the image data is converted into encoded image data by compression encoding with a predetermined encoding method such as MPEG2 or MPEG4 by the image encoder 453 via the camera I / F unit 454.
  • the cellular phone 400 uses the above-described image encoding device 51 as the image encoder 453 that performs such processing. Therefore, as in the case of the image encoding device 51, the image encoder 453 has a single corresponding to a plurality of luminance signal blocks when the block size of the color difference signal is smaller than the block size of the orthogonal transform.
  • the motion vector of the color difference signal block is generated using the motion vectors of the plurality of luminance signal blocks.
  • the mobile phone 400 converts the sound collected by the microphone (microphone) 421 during imaging by the CCD camera 416 from analog to digital by the audio codec 459 and further encodes it.
  • the cellular phone 400 multiplexes the encoded image data supplied from the image encoder 453 and the digital audio data supplied from the audio codec 459 by a predetermined method.
  • the cellular phone 400 performs spread spectrum processing on the multiplexed data obtained as a result by the modulation / demodulation circuit unit 458 and digital / analog conversion processing and frequency conversion processing by the transmission / reception circuit unit 463.
  • the cellular phone 400 transmits the transmission signal obtained by the conversion process to a base station (not shown) via the antenna 414.
  • a transmission signal (image data) transmitted to the base station is supplied to a communication partner via a network or the like.
  • the mobile phone 400 can also display the image data generated by the CCD camera 416 on the liquid crystal display 418 via the LCD control unit 455 without passing through the image encoder 453.
  • the cellular phone 400 when receiving data of a moving image file linked to a simple homepage or the like, transmits a signal transmitted from the base station via the antenna 414 to the transmission / reception circuit unit 463. Receive, amplify, and further perform frequency conversion processing and analog-digital conversion processing. The cellular phone 400 performs spectrum despreading processing on the received signal by the modulation / demodulation circuit unit 458 to restore the original multiplexed data. In the cellular phone 400, the demultiplexing unit 457 separates the multiplexed data and divides it into encoded image data and audio data.
  • the cellular phone 400 In the image decoder 456, the cellular phone 400 generates reproduction moving image data by decoding the encoded image data with a decoding method corresponding to a predetermined encoding method such as MPEG2 or MPEG4, and this is controlled by the LCD control.
  • the image is displayed on the liquid crystal display 418 via the unit 455.
  • the moving image data included in the moving image file linked to the simple homepage is displayed on the liquid crystal display 418.
  • the mobile phone 400 uses the above-described image decoding device 101 as the image decoder 456 that performs such processing. Therefore, as in the case of the image decoding apparatus 101, the image decoder 456 has a single color difference corresponding to a plurality of luminance signal blocks when the block size of the color difference signal is smaller than the block size of the orthogonal transform. A motion vector of the signal block is generated using the motion vectors of the plurality of luminance signal blocks. Thereby, since the appearance of non-zero coefficients due to orthogonal transformation is reduced, coding efficiency can be improved. Further, since the memory access calculation only needs to be performed once, the required memory bandwidth can be reduced.
  • the cellular phone 400 simultaneously converts the digital audio data into an analog audio signal in the audio codec 459 and causes the speaker 417 to output it.
  • audio data included in the moving image file linked to the simple homepage is reproduced.
  • the mobile phone 400 can record (store) the data linked to the received simplified home page or the like in the storage unit 423 via the recording / playback unit 462. .
  • the mobile phone 400 can analyze the two-dimensional code obtained by the CCD camera 416 by the main control unit 450 and acquire information recorded in the two-dimensional code.
  • the mobile phone 400 can communicate with an external device by infrared rays at the infrared communication unit 481.
  • the cellular phone 400 uses the image encoding device 51 as the image encoder 453, thereby realizing high-speed processing and improving encoding efficiency. As a result, the cellular phone 400 can provide encoded data (image data) with high encoding efficiency to other devices at a higher speed.
  • the cellular phone 400 can use the image decoding apparatus 101 as the image decoder 456, thereby realizing high-speed processing and improving encoding efficiency.
  • the mobile phone 400 can obtain and display a higher-definition decoded image at a higher speed from a moving image file linked to a simple homepage, for example.
  • the cellular phone 400 uses the CCD camera 416, but instead of the CCD camera 416, an image sensor (CMOS image sensor) using CMOS (Complementary Metal Metal Oxide Semiconductor) is used. May be. Also in this case, the mobile phone 400 can capture the subject and generate image data of the subject image, as in the case where the CCD camera 416 is used.
  • CMOS image sensor Complementary Metal Metal Oxide Semiconductor
  • the mobile phone 400 has been described.
  • an imaging function similar to that of the mobile phone 400 such as a PDA (Personal Digital Assistant), a smartphone, an UMPC (Ultra Mobile Personal Computer), a netbook, a notebook personal computer, or the like.
  • the image encoding device 51 and the image decoding device 101 can be applied to any device as in the case of the mobile phone 400.
  • FIG. 32 is a block diagram illustrating a main configuration example of a hard disk recorder using the image encoding device and the image decoding device to which the present invention is applied.
  • a hard disk recorder 500 shown in FIG. 32 receives audio data and video data of a broadcast program included in a broadcast wave signal (television signal) transmitted from a satellite or a ground antenna received by a tuner.
  • This is an apparatus for storing in a built-in hard disk and providing the stored data to the user at a timing according to the user's instruction.
  • the hard disk recorder 500 can, for example, extract audio data and video data from broadcast wave signals, decode them as appropriate, and store them in a built-in hard disk.
  • the hard disk recorder 500 can also acquire audio data and video data from other devices via a network, for example, decode them as appropriate, and store them in a built-in hard disk.
  • the hard disk recorder 500 decodes audio data and video data recorded in the built-in hard disk, supplies the decoded data to the monitor 560, and displays the image on the screen of the monitor 560. Further, the hard disk recorder 500 can output the sound from the speaker of the monitor 560.
  • the hard disk recorder 500 decodes, for example, audio data and video data extracted from a broadcast wave signal acquired via a tuner, or audio data and video data acquired from another device via a network, and monitors 560. And the image is displayed on the screen of the monitor 560.
  • the hard disk recorder 500 can also output the sound from the speaker of the monitor 560.
  • the hard disk recorder 500 includes a reception unit 521, a demodulation unit 522, a demultiplexer 523, an audio decoder 524, a video decoder 525, and a recorder control unit 526.
  • the hard disk recorder 500 further includes an EPG data memory 527, a program memory 528, a work memory 529, a display converter 530, an OSD (On Screen Display) control unit 531, a display control unit 532, a recording / playback unit 533, a D / A converter 534, And a communication unit 535.
  • the display converter 530 has a video encoder 541.
  • the recording / playback unit 533 includes an encoder 551 and a decoder 552.
  • the receiving unit 521 receives an infrared signal from a remote controller (not shown), converts it into an electrical signal, and outputs it to the recorder control unit 526.
  • the recorder control unit 526 is constituted by, for example, a microprocessor and executes various processes according to a program stored in the program memory 528. At this time, the recorder control unit 526 uses the work memory 529 as necessary.
  • the communication unit 535 is connected to the network and performs communication processing with other devices via the network.
  • the communication unit 535 is controlled by the recorder control unit 526, communicates with a tuner (not shown), and mainly outputs a channel selection control signal to the tuner.
  • the demodulator 522 demodulates the signal supplied from the tuner and outputs the demodulated signal to the demultiplexer 523.
  • the demultiplexer 523 separates the data supplied from the demodulation unit 522 into audio data, video data, and EPG data, and outputs them to the audio decoder 524, the video decoder 525, or the recorder control unit 526, respectively.
  • the audio decoder 524 decodes the input audio data by, for example, the MPEG system, and outputs it to the recording / playback unit 533.
  • the video decoder 525 decodes the input video data using, for example, the MPEG system, and outputs the decoded video data to the display converter 530.
  • the recorder control unit 526 supplies the input EPG data to the EPG data memory 527 for storage.
  • the display converter 530 encodes the video data supplied from the video decoder 525 or the recorder control unit 526 into video data of, for example, NTSC (National Television Standards Committee) using the video encoder 541 and outputs the video data to the recording / reproducing unit 533.
  • the display converter 530 converts the screen size of the video data supplied from the video decoder 525 or the recorder control unit 526 into a size corresponding to the size of the monitor 560.
  • the display converter 530 further converts the video data whose screen size is converted into NTSC video data by the video encoder 541, converts the video data into an analog signal, and outputs the analog signal to the display control unit 532.
  • the display control unit 532 superimposes the OSD signal output from the OSD (On Screen Display) control unit 531 on the video signal input from the display converter 530 under the control of the recorder control unit 526 and displays the OSD signal on the display of the monitor 560. Output and display.
  • OSD On Screen Display
  • the monitor 560 is also supplied with the audio data output from the audio decoder 524 after being converted into an analog signal by the D / A converter 534.
  • the monitor 560 outputs this audio signal from a built-in speaker.
  • the recording / playback unit 533 has a hard disk as a storage medium for recording video data, audio data, and the like.
  • the recording / playback unit 533 encodes the audio data supplied from the audio decoder 524 by the encoder 551 in the MPEG system. Further, the recording / reproducing unit 533 encodes the video data supplied from the video encoder 541 of the display converter 530 by the MPEG method using the encoder 551. The recording / playback unit 533 combines the encoded data of the audio data and the encoded data of the video data by a multiplexer. The recording / reproducing unit 533 amplifies the synthesized data by channel coding, and writes the data to the hard disk via the recording head.
  • the recording / playback unit 533 plays back the data recorded on the hard disk via the playback head, amplifies it, and separates it into audio data and video data by a demultiplexer.
  • the recording / playback unit 533 uses the decoder 552 to decode the audio data and video data using the MPEG system.
  • the recording / playback unit 533 performs D / A conversion on the decoded audio data and outputs it to the speaker of the monitor 560.
  • the recording / playback unit 533 performs D / A conversion on the decoded video data and outputs it to the display of the monitor 560.
  • the recorder control unit 526 reads the latest EPG data from the EPG data memory 527 based on the user instruction indicated by the infrared signal from the remote controller received via the receiving unit 521, and supplies it to the OSD control unit 531. To do.
  • the OSD control unit 531 generates image data corresponding to the input EPG data, and outputs the image data to the display control unit 532.
  • the display control unit 532 outputs the video data input from the OSD control unit 531 to the display of the monitor 560 for display. As a result, an EPG (electronic program guide) is displayed on the display of the monitor 560.
  • the hard disk recorder 500 can acquire various data such as video data, audio data, or EPG data supplied from other devices via a network such as the Internet.
  • the communication unit 535 is controlled by the recorder control unit 526, acquires encoded data such as video data, audio data, and EPG data transmitted from another device via the network, and supplies it to the recorder control unit 526. To do.
  • the recorder control unit 526 supplies the encoded data of the acquired video data and audio data to the recording / reproducing unit 533 and stores the data in the hard disk.
  • the recorder control unit 526 and the recording / playback unit 533 may perform processing such as re-encoding as necessary.
  • the recorder control unit 526 decodes the acquired encoded data of video data and audio data, and supplies the obtained video data to the display converter 530.
  • the display converter 530 processes the video data supplied from the recorder control unit 526 in the same manner as the video data supplied from the video decoder 525, supplies the processed video data to the monitor 560 via the display control unit 532, and displays the image. .
  • the recorder control unit 526 may supply the decoded audio data to the monitor 560 via the D / A converter 534 and output the sound from the speaker.
  • the recorder control unit 526 decodes the encoded data of the acquired EPG data, and supplies the decoded EPG data to the EPG data memory 527.
  • the hard disk recorder 500 as described above uses the image decoding device 101 as a decoder incorporated in the video decoder 525, the decoder 552, and the recorder control unit 526. Accordingly, the video decoder 525, the decoder 552, and the decoder built in the recorder control unit 526 have a plurality of decoders when the block size of the color difference signal is smaller than the block size of the orthogonal transform, as in the case of the image decoding apparatus 101.
  • a motion vector of a single color difference signal block corresponding to each of the luminance signal blocks is generated using the motion vectors of a plurality of luminance signal blocks.
  • the hard disk recorder 500 can realize high-speed processing and generate a highly accurate predicted image.
  • the hard disk recorder 500 acquires, for example, encoded data of video data received via a tuner, encoded data of video data read from the hard disk of the recording / playback unit 533, or via a network. From the encoded data of the video data, a higher-definition decoded image can be obtained at a higher speed and displayed on the monitor 560.
  • the hard disk recorder 500 uses the image encoding device 51 as the encoder 551. Therefore, as in the case of the image encoding device 51, the encoder 551 has a single color difference corresponding to a plurality of luminance signal blocks when the block size of the color difference signal is smaller than the block size of the orthogonal transform. A motion vector of the signal block is generated using the motion vectors of the plurality of luminance signal blocks. Thereby, since the appearance of non-zero coefficients due to orthogonal transformation is reduced, coding efficiency can be improved. Further, since the memory access calculation only needs to be performed once, the required memory bandwidth can be reduced.
  • the hard disk recorder 500 can realize, for example, high-speed processing and improve the encoding efficiency of the encoded data recorded on the hard disk. As a result, the hard disk recorder 500 can use the storage area of the hard disk more efficiently at a higher speed.
  • the hard disk recorder 500 that records video data and audio data on the hard disk has been described.
  • any recording medium may be used.
  • the image encoding device 51 and the image decoding device 101 are applied as in the case of the hard disk recorder 500 described above. Can do.
  • FIG. 33 is a block diagram illustrating a main configuration example of a camera using an image decoding device and an image encoding device to which the present invention has been applied.
  • the lens block 611 causes light (that is, an image of the subject) to enter the CCD / CMOS 612.
  • the CCD / CMOS 612 is an image sensor using CCD or CMOS, converts the intensity of received light into an electric signal, and supplies it to the camera signal processing unit 613.
  • the camera signal processing unit 613 converts the electrical signal supplied from the CCD / CMOS 612 into Y, Cr, and Cb color difference signals and supplies them to the image signal processing unit 614.
  • the image signal processing unit 614 performs predetermined image processing on the image signal supplied from the camera signal processing unit 613 under the control of the controller 621, and encodes the image signal by the encoder 641 using, for example, the MPEG method. To do.
  • the image signal processing unit 614 supplies encoded data generated by encoding the image signal to the decoder 615. Further, the image signal processing unit 614 acquires display data generated in the on-screen display (OSD) 620 and supplies it to the decoder 615.
  • OSD on-screen display
  • the camera signal processing unit 613 appropriately uses DRAM (Dynamic Random Access Memory) 618 connected via the bus 617, and image data or a code obtained by encoding the image data as necessary.
  • DRAM Dynamic Random Access Memory
  • the digitized data is held in the DRAM 618.
  • the decoder 615 decodes the encoded data supplied from the image signal processing unit 614 and supplies the obtained image data (decoded image data) to the LCD 616. In addition, the decoder 615 supplies the display data supplied from the image signal processing unit 614 to the LCD 616. The LCD 616 appropriately synthesizes the image of the decoded image data supplied from the decoder 615 and the image of the display data, and displays the synthesized image.
  • the on-screen display 620 outputs display data such as menu screens and icons composed of symbols, characters, or figures to the image signal processing unit 614 via the bus 617 under the control of the controller 621.
  • the controller 621 executes various processes based on a signal indicating the content instructed by the user using the operation unit 622, and also via the bus 617, an image signal processing unit 614, a DRAM 618, an external interface 619, an on-screen display. 620, media drive 623, and the like are controlled.
  • the FLASH ROM 624 stores programs and data necessary for the controller 621 to execute various processes.
  • the controller 621 can encode the image data stored in the DRAM 618 or decode the encoded data stored in the DRAM 618 instead of the image signal processing unit 614 or the decoder 615.
  • the controller 621 may perform the encoding / decoding process by a method similar to the encoding / decoding method of the image signal processing unit 614 or the decoder 615, or the image signal processing unit 614 or the decoder 615 can handle this.
  • the encoding / decoding process may be performed by a method that is not performed.
  • the controller 621 reads image data from the DRAM 618 and supplies it to the printer 634 connected to the external interface 619 via the bus 617. Let it print.
  • the controller 621 reads the encoded data from the DRAM 618 and supplies it to the recording medium 633 attached to the media drive 623 via the bus 617.
  • the recording medium 633 is an arbitrary readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • the recording medium 633 may be of any type as a removable medium, and may be a tape device, a disk, or a memory card.
  • a non-contact IC card or the like may be used.
  • media drive 623 and the recording medium 633 may be integrated and configured by a non-portable storage medium such as a built-in hard disk drive or SSD (Solid State Drive).
  • SSD Solid State Drive
  • the external interface 619 includes, for example, a USB input / output terminal and is connected to the printer 634 when printing an image.
  • a drive 631 is connected to the external interface 619 as necessary, and a removable medium 632 such as a magnetic disk, an optical disk, or a magneto-optical disk is appropriately mounted, and a computer program read from them is loaded as necessary. Installed in the FLASH ROM 624.
  • the external interface 619 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the controller 621 can read the encoded data from the DRAM 618 in accordance with an instruction from the operation unit 622 and supply the encoded data from the external interface 619 to another device connected via the network. Also, the controller 621 acquires encoded data and image data supplied from other devices via the network via the external interface 619 and holds them in the DRAM 618 or supplies them to the image signal processing unit 614. Can be.
  • the camera 600 as described above uses the image decoding device 101 as the decoder 615. Therefore, as in the case of the image decoding apparatus 101, the decoder 615 provides a single color difference signal corresponding to a plurality of luminance signal blocks when the block size of the color difference signal is smaller than the block size of the orthogonal transform.
  • a motion vector of the block is generated using motion vectors of a plurality of luminance signal blocks.
  • the camera 600 can realize high-speed processing and can generate a highly accurate predicted image.
  • the camera 600 encodes, for example, image data generated in the CCD / CMOS 612, encoded data of video data read from the DRAM 618 or the recording medium 633, and encoded video data acquired via the network.
  • a higher-resolution decoded image can be obtained from the data at higher speed and displayed on the LCD 616.
  • the camera 600 uses the image encoding device 51 as the encoder 641. Therefore, as in the case of the image encoding device 51, the encoder 641 uses a single color difference corresponding to a plurality of luminance signal blocks when the block size of the color difference signal is smaller than the block size of the orthogonal transform. A motion vector of the signal block is generated using the motion vectors of the plurality of luminance signal blocks. Thereby, since the appearance of non-zero coefficients due to orthogonal transformation is reduced, coding efficiency can be improved. Further, since the memory access calculation only needs to be performed once, the required memory bandwidth can be reduced.
  • the camera 600 can realize high-speed processing and improve the encoding efficiency of encoded data recorded on the hard disk. As a result, the camera 600 can use the storage area of the DRAM 618 and the recording medium 633 more efficiently at a higher speed.
  • the decoding method of the image decoding apparatus 101 may be applied to the decoding process performed by the controller 621.
  • the encoding method of the image encoding device 51 may be applied to the encoding process performed by the controller 621.
  • the image data captured by the camera 600 may be a moving image or a still image.
  • image encoding device 51 and the image decoding device 101 can also be applied to devices and systems other than those described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本発明は、色差信号における符号化効率の改善およびメモリアクセスのためのアドレス計算の削減を実現することができるようにする画像処理装置および方法に関する。　直交変換のブロックサイズが４×４であり、輝度信号のマクロブロックが４つの０乃至１が付された４×４画素ブロックで構成される場合、それらの４つの輝度信号のブロックに、Ｃが付された１つの色差信号の４×４ブロックを対応させる。このとき、輝度信号の４つのブロックに対して、mv0，mv1，mv2，mv3と４つの動きベクトル情報が存在する。これらの４つの動きベクトル情報を用いて平均による処理を行うことで、１つの４×４ブロックの色差信号の動きベクトル情報mvcが算出される。本発明は、例えば、H．264/AVC方式をベースに符号化する画像符号化装置に適用することができる。

Description

画像処理装置および方法
　本発明は画像処理装置および方法に関し、特に、色差信号における符号化効率の改善およびメモリアクセスのためのアドレス計算の削減を実現するようにした画像処理装置および方法に関する。
　近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。
　特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22 Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
　MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
　さらに、近年、当初テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、2003年3月にはH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）という国際標準となっている。
　さらに、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCTや量子化マトリクスをも含んだFRExt (Fidelity Range Extension) の標準化が2005年2月に完了した。これにより、H．264/AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc（商標）等の幅広いアプリケーションに用いられる運びとなった。
　しかしながら、昨今、ハイビジョン画像の4倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、先述の、ITU-T傘下のVCEG (=Video Coding Expert Group) において、符号化効率の改善に関する検討が継続され行なわれている。
　ここで、H．264/AVC方式の動き予測補償においては、１／４画素精度の予測・補償処理を行うことにより、予測効率を向上させている。
　例えば、MPEG2方式においては、線形内挿処理により１／２画素精度の動き予測・補償処理が行われている。これに対して、H．264/AVC方式においては、内挿フィルタとして、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。
　図１は、H．264/AVC方式における１／４画素精度の予測・補償処理を説明する図である。H．264/AVC方式においては、６タップのFIR (Finite Impulse Response Filter)フィルタを用いた１／４画素精度の予測・補償処理が行われている。
　図１の例において、位置Ａは、整数精度画素の位置、位置ｂ，ｃ，ｄは、１／２画素精度の位置、位置ｅ１，ｅ２，ｅ３は、１／４画素精度の位置を示している。まず、以下においては、Clip()を次の式（１）のように定義する。
Figure JPOXMLDOC01-appb-M000001
 　なお、入力画像が８ビット精度である場合、max_pixの値は255となる。
　位置ｂおよびｄにおける画素値は、６タップのFIRフィルタを用いて、次の式（２）のように生成される。
　
Figure JPOXMLDOC01-appb-M000002
　位置ｃにおける画素値は、水平方向および垂直方向に６タップのFIRフィルタを適用し、次の式（３）のように生成される。

Figure JPOXMLDOC01-appb-M000003
 　なお、Clip処理は、水平方向および垂直方向の積和処理の両方を行った後、最後に１度のみ実行される。
　位置ｅ１乃至ｅ３は、次の式（４）のように線形内挿により生成される。
Figure JPOXMLDOC01-appb-M000004
　図２は、H．264/AVC方式における色差信号に関する予測・補償処理を説明する図である。H．264/AVC方式においては、図１を参照して上述したように、１／４画素精度の予測・補償処理が行われるが、4:2:0信号の場合、色差信号に関しては、１／８画素精度の予測・補償処理が行われる。
　図２の例において、黒丸は、フレームメモリに格納されている整数画素精度の画素であり、各黒丸に付されているＡ乃至Ｄは、各画素の画素値を表している。白丸の位置（ｄx，ｄy）を、Ａ乃至Ｄが付される画素により囲まれる矩形領域内で、動きベクトル情報が１／８画素精度で指し示す位置であるとすると、白丸の位置における予測画素値ｖは、次の式（５）のように生成される。
Figure JPOXMLDOC01-appb-M000005
　ただし、ｓ＝８である。
　また、上述したような小数画素精度で求められる動きベクトルを、どのような処理により選択するかも、符号化効率の高い圧縮画像を得るためには重要である。この処理の一例としては、非特許文献１において公開されているJM(Joint Model)と呼ばれる参照ソフトウエア（reference software）に実装されている方法が挙げられる。
　次に、図３を参照して、JMにおいて実装されている動き探索方法について説明する。
　図３の例において、画素Ａ乃至Ｉは、整数画素精度の画素値を有する画素（以下、整数画素精度の画素と称する）を表している。画素１乃至８は、画素Ｅ周辺における１／２画素精度の画素値を有する画素（以下、１／２画素精度の画素と称する）を表している。画素ａ乃至ｈは、画素６周りの１／４画素精度の画素値を有する画素（以下、１／４画素精度の画素と称する）を表している。
　JMでは、第１のステップとして、所定の探索範囲内において、SAD(Sum of Absolute Difference)などのコスト関数値を最小にする整数画素精度の動きベクトルが求められる。これにより、求められた動きベクトルに対する画素が、画素Ｅであるとする。
　次に、第２のステップとして、画素Ｅ、および画素Ｅ周辺の１／２画素精度の画素１乃至８のうち、上述したコスト関数値を最小にする画素値の画素が求められ、この画素（図２の例の場合、画素６）が、１／２画素精度の最適動きベクトルに対する画素とされる。
　そして、第３のステップとして、画素６、および画素６周辺の１／４画素精度の画素ａ乃至ｈのうち、上述したコスト関数値を最小にする画素値の画素が求められる。これにより、求められた画素に対する動きベクトルが、１／４画素精度の最適動きベクトルとなる。
　以上のように、H．264/AVC方式において１／４画素精度の予測・補償処理が行われるが、この１／４画素精度の予測・補償処理に対して、さらに符号化効率を向上させるための技術が複数提案されている。
　例えば、H．264/AVC方式において、図１を参照して上述した小数画素精度の動きベクトルに対するサンプリング位置の画素値を生成するための内挿フィルタのフィルタ係数は、非特許文献２に記載のように、予め定められたものであった。
　そこで、非特許文献３においては、このフィルタ係数を、各対象フレームに対して、予測残差が最小となるよう、適応的に切り替えることが提案されている。
　すなわち、非特許文献３においては、まず、第１のステップとして、通常のH．264/AVC方式の動き予測処理が行われ、それぞれの動き補償ブロックに対して、動きベクトル値が算出される。
　第２のステップとして、第１のステップで求められた動きベクトル値に対して、動き残差を最小にするよう、フィルタの最適化が行われる。
　そして、第３のステップとして、第２のステップで求められたフィルタ係数が用いられて、再び動き探索が行われ、動きベクトル値が更新される。これにより、符号化効率を向上させることができる。
　以上のステップをさらに繰り返すことにより、フィルタ係数と動きベクトル値の最適化を行うこともできる。
　また、上述したように、H．264/AVC方式において、マクロブロックサイズは１６×１６画素である。しかしながら、マクロブロックサイズを１６×１６画素とするのは、次世代符号化方式の対象となるようなUHD(Ultra High Definition;4000×2000画素)といった大きな画枠に対しては最適ではない。
　そこで、非特許文献４などにおいては、マクロブロックサイズを、例えば、３２×３２画素といった大きさに拡張することも提案されている。
　なお、上述した図１乃至図３は、以下、本発明を説明する図としても用いられる。
H.264/AVC Software Coordination、Institut Nachrichtentechnik Heinrich-Hertz-Institut、［平成２１年８月２４日検索］、インターネット＜URL： http://iphome.hhi.de/suehring/tml/index.htm＞ "8.4.2.2.1 Luma sample interpolation process", "ITU-T Recommendation H.264 Advanced video coding for generic audiovisual",P162-P164 November 2007 "Prediction of P- and B- Frames Using a Two-dimensional Non-separable Adaptive Wiener Interpolation for H.264/AVC",VCEG-AD08,ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 23-27 Oct 2006 "Video Coding Using Extended Block Sizes",VCEG-AD09,ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009
　ところで、輝度信号の動き補償ブロックが４×４画素である場合、入力信号が4:2:0であるなら、色差信号の動き補償ブロックは、２×２画素になる。
　しかしながら、H．264/AVC方式において定められている直交変換は、４×４画素が最小単位である。このため、色差信号の動き補償ブロックが２×２画素である場合、直交変換ブロック内に、動き補償ブロックの境界が存在することになってしまう。
　さらに、動き補償ブロックが２×２画素であると、その単位で、メモリアクセスのためのアドレス計算を行わなければならず、符号化側および復号側の装置の双方において、メモリバンド幅を圧迫してしまう。
　このような事実は、輝度信号の動き補償ブロックが４×４画素である場合に限らず、８×４画素や４×８画素の場合にも存在する。
　本発明は、このような状況に鑑みてなされたものであり、色差信号における符号化効率の改善およびメモリアクセスのためのアドレス計算の削減を実現することができるものである。
　本発明の第１の側面の画像処理装置は、符号化対象の輝度ブロックの動き予測を行い、動きベクトルを生成する動き予測手段と、前記動き予測手段により前記動きベクトルが生成された前記輝度ブロックに対応する色差ブロックを、前記ブロック判別手段により直交変換のブロックサイズに応じたカテゴリに分類するブロック判別手段と、前記色差ブロックが、前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルを生成する色差動きベクトル生成手段とを備える。
　前記色差動きベクトル生成手段は、前記単一の色差ブロックの動きベクトルを、前記動き予測手段により生成された複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いて生成することができる。
　前記色差動きベクトル生成手段は、前記単一の色差ブロックの動きベクトルを、前記動き予測手段により生成された複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いた関数により生成することができる。
　前記動き予測手段により生成された前記輝度ブロックの動きベクトルの情報を符号化する符号化手段をさらに備え、前記色差動きベクトル生成手段は、前記単一の色差ブロックの予測動きベクトルを、前記動き予測手段により求められた複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いた関数により生成し、生成した前記予測動きベクトルと、前記予測動きベクトルを中心とした所定の範囲で探索された前記単一の色差ブロックの動きベクトルとの差分を求め、前記符号化手段は、前記色差動きベクトル生成手段により求められた前記差分の情報も符号化することができる。
　前記動き予測手段は、前記色差ブロックが、前記ブロック判別手段により前記直交変換のブロックサイズ以上のサイズのカテゴリに分類された場合、符号化規格の方法で、前記色差ブロックの動きベクトルを生成することができる。
　本発明の第１の側面の画像処理方法は、画像処理装置が、符号化対象の輝度ブロックの動き予測を行い、動きベクトルを生成し、前記動きベクトルが生成された前記輝度ブロックに対応する色差ブロックを、直交変換のブロックサイズに応じたカテゴリに分類し、前記色差ブロックが、前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルを生成するステップを含む。
　本発明の第２の側面の画像処理装置は、復号対象の輝度ブロックの予測モードの情報を復号する復号手段と、前記復号手段により復号された前記予測モードの情報が示す前記輝度ブロックのサイズに基づいて、前記輝度ブロックに対応する色差ブロックを、直交変換のブロックサイズに応じたカテゴリに分類するブロック判別手段と、前記色差ブロックが、前記ブロック判別手段により前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルを生成する色差動きベクトル生成手段とを備える。
　前記復号手段は、前記輝度ブロックの動きベクトルの情報を復号し、前記色差動きベクトル生成手段は、前記単一の色差ブロックの動きベクトルを、前記復号手段により復号された複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いて生成することができる。
　前記色差動きベクトル生成手段は、前記単一の色差ブロックの動きベクトルを、前記復号手段により復号された複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いた関数により生成することができる。
　前記復号手段は、符号化側において求められて符号化されている、複数の前記輝度ブロックの動きベクトルを用いて平均値を算出することにより生成された前記単一の色差ブロックの予測動きベクトルと、前記予測動きベクトルを中心とした所定の範囲で探索された前記単一の色差ブロックの動きベクトルとの差分の情報を復号し、前記色差動きベクトル生成手段は、前記単一の色差ブロックの予測動きベクトルを、前記動き予測手段により求められた複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いた関数により生成し、生成した前記予測動きベクトルと、前記復号手段により復号された前記差分の情報とを加算することにより、前記単一の色差ブロックの動きベクトルを生成することができる。
　前記輝度ブロックの動きベクトルを用いて、前記輝度ブロックの予測画像を生成する予測画像生成手段をさらに備え、前記予測画像生成手段は、前記色差ブロックが、前記ブロック判別手段により前記直交変換のブロックサイズ以上のサイズのカテゴリに分類された場合、符号化規格の方法で、前記色差ブロックの動きベクトルを生成して、前記色差ブロックの予測画像を生成することができる。
　本発明の第２の側面の画像処理方法は、画像処理装置が、復号対象の輝度ブロックの予測モードの情報を復号し、復号された前記予測モードの情報が示す前記輝度ブロックのサイズに基づいて、前記輝度ブロックに対応する色差ブロックを、直交変換のブロックサイズに応じたカテゴリに分類し、前記色差ブロックが、前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルを生成するステップを含む。
　本発明の第１の側面においては、符号化対象の輝度ブロックの動き予測が行われて、動きベクトルが生成され、前記動きベクトルが生成された前記輝度ブロックに対応する色差ブロックが、直交変換のブロックサイズに応じたカテゴリに分類される。そして、前記色差ブロックが、前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルが生成される。
　本発明の第２の側面においては、復号対象の輝度ブロックの予測モードの情報が復号され、復号された前記予測モードの情報が示す前記輝度ブロックのサイズに基づいて、前記輝度ブロックに対応する色差ブロックが、直交変換のブロックサイズに応じたカテゴリに分類される。そして、前記色差ブロックが、前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルが生成される。
　なお、上述の画像処理装置のそれぞれは、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
　本発明の第１の側面によれば、色差信号における符号化効率を改善することができる。また、本発明の第１の側面によれば、メモリアクセスのためのアドレス計算を削減することができる。
　本発明の第２の側面によれば、色差信号における符号化効率を改善することができる。また、本発明の第２の側面によれば、メモリアクセスのためのアドレス計算を削減することができる。
H．264/AVC方式における１／４画素精度の動き予測・補償処理を説明する図である。 H．264/AVC方式における色差信号の動き予測・補償処理を説明する図である。 H．264/AVC方式における動き探索方法を説明する図である。 本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。 可変ブロックサイズ動き予測・補償処理を説明する図である。 マルチ参照フレームの動き予測・補償方式について説明する図である。 動きベクトル情報の生成方法の例を説明する図である。 図４の動き予測・補償部および色差動きベクトル決定部の構成例を示すブロック図である。 色差信号の動き予測処理を説明する図である。 図４の画像符号化装置の符号化処理を説明するフローチャートである。 図１０のステップＳ２１の予測処理を説明するフローチャートである。 図１１のステップＳ３１のイントラ予測処理を説明するフローチャートである。 図１１のステップＳ３２の輝度信号を用いたインター動き予測処理を説明するフローチャートである。 図１１のステップＳ３４の色差信号に対する動き予測処理を説明するフローチャートである。 図４の動き予測・補償部および色差動きベクトル決定部の他の構成例を示すブロック図である。 図１１のステップＳ３４の色差信号に対する動き予測処理の他の例を説明するフローチャートである。 本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 図１７の動き予測・補償部および色差動きベクトル決定部の構成例を示すブロック図である。 図１７の画像復号装置の復号処理を説明するフローチャートである。 図１９のステップＳ１３８の予測処理を説明するフローチャートである。 図２０のステップＳ１７６の色差信号に対する動き補償処理を説明するフローチャートである。 図２０のステップＳ１７６の色差信号に対する動き補償の他の例を説明するフローチャートである。 拡張されたブロックサイズの例を示す図である。 入力信号が4:2:2である場合の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。
　以下、図を参照して本発明の実施の形態について説明する。
［画像符号化装置の構成例］
　図４は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
　この画像符号化装置５１は、例えば、4:2:0フォーマットの入力信号の画像が入力され、H．264及びMPEG-4 Part10（Advanced Video Coding）（以下H．264/AVCと記す）方式をベースに、入力された画像を圧縮符号化する。
　図４の例において、画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、演算部６３、直交変換部６４、量子化部６５、可逆符号化部６６、蓄積バッファ６７、逆量子化部６８、逆直交変換部６９、演算部７０、デブロックフィルタ７１、フレームメモリ７２、スイッチ７３、イントラ予測部７４、動き予測・補償部７５、色差ブロック判別部７６、色差動きベクトル決定部７７、予測画像選択部７８、およびレート制御部７９により構成されている。
　Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。
　演算部６３は、画面並べ替えバッファ６２から読み出された画像から、予測画像選択部７８により選択されたイントラ予測部７４からの予測画像または動き予測・補償部７５からの予測画像を減算し、その差分情報を直交変換部６４に出力する。直交変換部６４は、演算部６３からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部６５は直交変換部６４が出力する変換係数を量子化する。
　量子化部６５の出力となる、量子化された変換係数は、可逆符号化部６６に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。
　可逆符号化部６６は、イントラ予測を示す情報をイントラ予測部７４から取得し、インター予測モードを示す情報などを動き予測・補償部７５から取得する。なお、イントラ予測を示す情報およびインター予測を示す情報は、以下、それぞれ、イントラ予測モード情報およびインター予測モード情報とも称する。
　可逆符号化部６６は、量子化された変換係数を符号化するとともに、イントラ予測を示す情報、インター予測モードを示す情報などを符号化し、圧縮画像におけるヘッダ情報の一部とする。可逆符号化部６６は、符号化したデータを蓄積バッファ６７に供給して蓄積させる。
　例えば、可逆符号化部６６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
　蓄積バッファ６７は、可逆符号化部６６から供給されたデータを、H．264/AVC方式で符号化された圧縮画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
　また、量子化部６５より出力された、量子化された変換係数は、逆量子化部６８にも入力され、逆量子化された後、さらに逆直交変換部６９において逆直交変換される。逆直交変換された出力は演算部７０により予測画像選択部７８から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ７１は、復号された画像のブロック歪を除去した後、フレームメモリ７２に供給し、蓄積させる。フレームメモリ７２には、デブロックフィルタ７１によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
　スイッチ７３はフレームメモリ７２に蓄積された参照画像を動き予測・補償部７５またはイントラ予測部７４に出力する。
　この画像符号化装置５１においては、例えば、画面並べ替えバッファ６２からのＩピクチャ、Ｂピクチャ、およびＰピクチャが、イントラ予測（イントラ処理とも称する）する画像として、イントラ予測部７４に供給される。また、画面並べ替えバッファ６２から読み出されたＢピクチャおよびＰピクチャが、インター予測（インター処理とも称する）する画像として、動き予測・補償部７５に供給される。
　イントラ予測部７４は、画面並べ替えバッファ６２から読み出されたイントラ予測する画像とフレームメモリ７２から供給された参照画像に基づいて、候補となる全てのイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。
　その際、イントラ予測部７４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出し、算出したコスト関数値が最小値を与えるイントラ予測モードを、最適イントラ予測モードとして選択する。このコスト関数値についての詳細は、図１２を参照して後述される。
　イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値を、予測画像選択部７８に供給する。イントラ予測部７４は、予測画像選択部７８により最適イントラ予測モードで生成された予測画像が選択された場合、最適イントラ予測モードを示す情報を、可逆符号化部６６に供給する。可逆符号化部６６は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。
　動き予測・補償部７５には、画面並べ替えバッファ６２から読み出されたインター処理する画像と、スイッチ７３を介してフレームメモリ７２から参照画像が供給される。動き予測・補償部７５は、輝度信号を用いて、候補となる全てのインター予測モードのブロックの動き予測を行い、各ブロックの動きベクトルを生成し、蓄積する。
　動き予測・補償部７５は、予測した各ブロックの動きベクトルを用いて、候補となる全てのインター予測モードに対してコスト関数値を算出する。動き予測・補償部７５は、算出したコスト関数値のうち、最小値を与えるブロックの予測モードを、最適インター予測モードとして決定し、決定した予測モードの情報を色差ブロック判別部７６に供給する。
　動き予測・補償部７５は、最適インター予測モードの動きベクトルに基づいて参照画像に補償処理を施し、対象となる輝度信号のブロック（以下、輝度ブロックまたは輝度信号ブロックとも適宜称する）の予測画像を生成する。動き予測・補償部７５は、色差動きベクトル決定部７７から制御信号が供給された場合、H．264/AVC方式により、対象となる色差信号のブロック（以下、色差ブロックまたは色差信号ブロックとも適宜称する）の動きベクトルを生成する。そして、動き予測・補償部７５は、生成した動きベクトルを用いて、色差信号ブロックの予測画像を生成する。また、動き予測・補償部７５は、色差動きベクトル決定部７７から色差動きベクトル情報が供給された場合、その情報が示す色差信号の動きベクトルを用いて、色差信号ブロックの予測画像を生成する。
　動き予測・補償部７５は、生成された最適インター予測モードの対象ブロック（輝度信号および色差信号ブロック）の予測画像とそのコスト関数値を、予測画像選択部７８に供給する。動き予測・補償部７５は、予測画像選択部７８により最適インター予測モードの対象ブロックの予測画像が選択された場合、最適インター予測モードを示す情報（インター予測モード情報）を可逆符号化部６６に出力する。
　このとき、動きベクトル情報、参照フレーム情報なども可逆符号化部６６に出力される。可逆符号化部６６は、動き予測・補償部７５からの情報をやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
　色差ブロック判別部７６は、動き予測・補償部７５からの予測モードの情報が示す輝度信号ブロックのブロックサイズに応じて、色差信号ブロックのブロックサイズを判別する。色差ブロック判別部７６は、判別した色差ブロックサイズの情報を、色差動きベクトル決定部７７に供給する。
　図４の例においては、入力信号が4:2:0であるので、色差ブロック判別部７６においては、輝度信号ブロックのブロックサイズが８×８画素である場合、対応する色差信号ブロックのブロックサイズが、４×４画素であると判別される。
　色差動きベクトル決定部７７は、色差ブロック判別部７６からの色差ブロックサイズの情報に基づいて、色差信号ブロックが、２つのカテゴリのうちのどちらに属するかを分類する。例えば、第１のカテゴリは、色差信号ブロックのうち、４×４画素以上のブロックサイズのブロックが属する。第２のカテゴリは、色差信号ブロックのうち、４×４画素より小さいブロックサイズのブロックが属する。
　色差動きベクトル決定部７７は、色差信号ブロックを第１のカテゴリに分類した場合、動き予測・補償部７５に制御信号を供給し、H．264/AVC方式による色差信号の動き予測を行わせる。これに対して、色差動きベクトル決定部７７は、色差信号ブロックを第２のカテゴリに分類した場合、複数の輝度信号ブロックに対して単一の色差信号ブロックを対応させ、その単位で、色差信号の動きベクトルを生成する。例えば、複数の輝度信号ブロックに対応させた単一の色差信号ブロックの動きベクトルは、動き予測・補償部７５により生成され、蓄積されている複数の輝度信号ブロックの動きベクトルの少なくとも１つを用いて生成される。生成された色差動きベクトルの情報は、動き予測・補償部７５に供給される。
　なお、複数の輝度信号ブロックに対応させた単一の色差信号ブロックに対して、動き探索を行い、上述したように複数の輝度信号ブロックの動きベクトルを用いて生成された動きベクトルとの差分情報を生成して、それを復号側に送るようにしてもよい。この場合、生成された差分情報は、点線に示されるように、可逆符号化部６６に供給される。
　予測画像選択部７８は、イントラ予測部７４または動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードから、最適予測モードを決定する。そして、予測画像選択部７８は、決定された最適予測モードの予測画像を選択し、演算部６３，７０に供給する。このとき、予測画像選択部７８は、予測画像の選択情報を、イントラ予測部７４または動き予測・補償部７５に供給する。
　レート制御部７９は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
　なお、以下、単に、ブロック、輝度信号ブロック、色差信号ブロックなどと記載する場合には、動き予測・補償のブロックを表すものとする。
［H．264/AVC方式の説明］
　図５は、H．264/AVC方式における動き予測・補償のブロックサイズの例を示す図である。H．264/AVC方式においては、ブロックサイズを可変にして、動き予測・補償が行われる。
　図５の上段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションに分割された１６×１６画素で構成されるマクロブロックが順に示されている。また、図５の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のサブパーティションに分割された８×８画素のパーティションが順に示されている。
　すなわち、H．264/AVC方式においては、１つのマクロブロックを、１６×１６画素、１６×８画素、８×１６画素、あるいは８×８画素のいずれかのパーティションに分割して、それぞれ独立した動きベクトル情報を持つことが可能である。また、８×８画素のパーティションに関しては、８×８画素、８×４画素、４×８画素、あるいは４×４画素のいずれかのサブパーティションに分割し、それぞれ独立した動きベクトル情報を持つことが可能である。
　図６は、H．264/AVC方式におけるマルチ参照フレームの予測・補償処理を説明する図である。H．264/AVC方式においては、マルチ参照フレーム(Multi-Reference Frame) の動き予測・補償方式が定められている。
　図６の例においては、いまから符号化される対象フレームＦnと、符号化済みのフレームＦn-5,…,Ｆn-1が示されている。フレームＦn-1は、時間軸上、対象フレームＦnの１つ前のフレームであり、フレームＦn-2は、対象フレームＦnの２つ前のフレームであり、フレームＦn-3は、対象フレームＦnの３つ前のフレームである。また、フレームＦn-4は、対象フレームＦnの４つ前のフレームであり、フレームＦn-5は、対象フレームＦnの５つ前のフレームである。一般的には、対象フレームＦnに対して時間軸上に近いフレームほど、小さい参照ピクチャ番号（ref_id）が付加される。すなわち、フレームＦn-1が一番参照ピクチャ番号が小さく、以降、Fn-2,…, Ｆn-5の順に参照ピクチャ番号が小さい。
　対象フレームＦnには、ブロックＡ1とブロックＡ2が示されており、ブロックＡ1は、２つ前のフレームＦn-2のブロックＡ1’と相関があるとされて、動きベクトルＶ1が探索されている。また、ブロックＡ2は、４つ前のフレームＦn-4のブロックＡ1’と相関があるとされて、動きベクトルＶ2が探索されている。
　以上のように、H．264/AVC方式においては、複数の参照フレームをメモリに格納しておき、１枚のフレーム（ピクチャ）において、異なる参照フレームを参照することが可能である。すなわち、例えば、ブロックＡ1がフレームＦn-2を参照し、ブロックＡ2がフレームＦn-4を参照しているというように、１枚のピクチャにおいて、ブロック毎にそれぞれ独立した参照フレーム情報（参照ピクチャ番号（ref_id））を持つことができる。
　ここで、ブロックとは、図５を参照して上述した１６×１６画素、１６×８画素、８×１６画素、および８×８画素のパーティションのいずれかを示す。８×８サブブロック内における参照フレームは同一でなければならない。
　H．264/AVC方式においては、図１を参照して上述した１／４画素精度の動き予測・補償処理、および図５および図６を参照して上述したような動き予測・補償処理が行われることにより、膨大な動きベクトル情報が生成される。この膨大な動きベクトル情報をこのまま符号化することは、符号化効率の低下を招いてしまう。これに対して、H．264/AVC方式においては、図７に示す方法により、動きベクトルの符号化情報の低減が実現されている。
　図７は、H．264/AVC方式による動きベクトル情報の生成方法について説明する図である。
　図７の例において、これから符号化される対象ブロックＥ（例えば、１６×１６画素）と、既に符号化済みであり、対象ブロックＥに隣接するブロックＡ乃至Ｄが示されている。
　すなわち、ブロックＤは、対象ブロックＥの左上に隣接しており、ブロックＢは、対象ブロックＥの上に隣接しており、ブロックＣは、対象ブロックＥの右上に隣接しており、ブロックＡは、対象ブロックＥの左に隣接している。なお、ブロックＡ乃至Ｄが区切られていないのは、それぞれ、図４で上述した１６×１６画素乃至４×４画素のうちのいずれかの構成のブロックであることを表している。
　例えば、Ｘ（＝Ａ，Ｂ，Ｃ，Ｄ，Ｅ）に対する動きベクトル情報を、mvXで表す。まず、対象ブロックＥに対する予測動きベクトル情報pmvEは、ブロックＡ，Ｂ，Ｃに関する動きベクトル情報を用いて、メディアン予測により次の式（６）のように生成される。
　pmvE = med(mvA,mvB,mvC)　　　　　　　　　　　　　　・・・（６）
　ブロックＣに関する動きベクトル情報が、画枠の端であったり、あるいは、まだ符号化されていないなどの理由により、利用可能でない（unavailableである）場合がある。この場合には、ブロックＣに関する動きベクトル情報は、ブロックＤに関する動きベクトル情報で代用される。
　対象ブロックＥに対する動きベクトル情報として、圧縮画像のヘッダ部に付加されるデータmvdEは、pmvEを用いて、次の式（７）のように生成される。

　mvdE = mvE - pmvE　　　　　　　　　　　　　　　　　・・・（７）
　なお、実際には、動きベクトル情報の水平方向、垂直方向のそれぞれの成分に対して、独立に処理が行われる。
　このように、予測動きベクトル情報を生成し、隣接するブロックとの相関で生成された予測動きベクトル情報と動きベクトル情報との差分を、圧縮画像のヘッダ部に付加することにより、動きベクトル情報が低減される。
［動き予測・補償部および色差動きベクトル決定部の構成例］
　図８は、動き予測・補償部７５および色差動きベクトル決定部７７の詳細な構成例を示すブロック図である。なお、図８においては、図４のスイッチ７３が省略されている。
　図８の例において、動き予測・補償部７５は、動き探索部８１、モード判定部８２、および動き補償部８３により構成されている。
　色差動きベクトル決定部７７は、ブロックカテゴライズ部９１、および色差動きベクトル生成部９２により構成されている。
　フレームメモリ７２からの参照画像画素値は、動き探索部８１、モード判定部８２、および動き補償部８３に供給されている。また、画面並べ替えバッファ６２からのインター処理する画像（入力画像）画素値が、動き探索部８１およびモード判定部８２に供給されている。
　動き探索部８１は、インター処理する画像および整数画素精度の参照画像画素値を用いて、候補となる全てのインター予測モードについての輝度信号の各対象ブロックの動き探索を行う。なお、動き探索部８１においては、図３を参照して上述したJM(Joint Model)に実装されている動き探索方法に基づき、整数画素精度の動きベクトルが求められて、小数画素精度の動きベクトルが求められる。動き探索部８１により輝度信号の各対象ブロックについて求められた各動きベクトル情報は、モード判定部８２に供給される。
　モード判定部８２は、インター処理する画像および整数画素精度の参照画像画素値を用いて、動き探索部８１により動きベクトルが求められた候補となる全てのインター予測モードについて、図１２を参照して後述するコスト関数値を算出する。モード判定部８２は、算出したコスト関数値が最小値を与えるインター予測モードを、その対象ブロックの最適インター予測モードとして決定する。
　モード判定部８２は、決定した最適インター予測モードの情報と、それに対応する動きベクトル情報を、動き補償部８３に供給する。モード判定部８２は、決定した最適インター予測モードの情報を、色差ブロック判別部７６にも供給する。
　さらに、モード判定部８２は、予測画像選択部７８により最適インター予測モードの予測画像が選択された場合、最適インター予測モードの情報、コスト関数値の算出の際に得られた最適インター予測モードに対応する動きベクトルの差分情報、および参照フレーム情報などを、可逆符号化部６６に供給する。
　動き補償部８３は、モード判定部８２からの最適インター予測モードの動きベクトルに基づいて参照画像に補償処理を施し、対象となる輝度信号ブロックの予測画像を生成する。また、動き補償部８３は、ブロックカテゴライズ部９１から制御信号が供給された場合、H．264/AVC方式により、色差信号の動きベクトルを生成し、生成した動きベクトルを用いて、補償処理を行い、対象となる色差信号ブロックの予測画像を生成する。動き補償部８３は、色差動きベクトル生成部９２から色差動きベクトル情報が供給された場合、その情報が示す色差信号の動きベクトルを用いて、補償処理を行い、対象となる色差信号ブロックの予測画像を生成する。
　動き補償部８３は、生成された最適インター予測モードの対象ブロックの予測画像とそのコスト関数値を、予測画像選択部７８に供給する。なお、このコスト関数値は、モード判定部８２より算出されたものを供給するようにしてもよいし、動き補償部８３において再度求めなおしてそれを予測画像選択部７８に供給するようにしてもよい。
　ブロックカテゴライズ部９１は、色差ブロック判別部７６からの色差ブロックサイズの情報に基づいて、色差信号ブロックが、２つのカテゴリのうちのどちらに属するかを分類する。ブロックカテゴライズ部９１は、色差信号ブロックを第１のカテゴリに分類した場合、動き補償部８３に制御信号を供給し、H．264/AVC方式による色差信号の動き予測を行わせる。また、ブロックカテゴライズ部９１は、色差信号ブロックを第２のカテゴリに分類した場合、色差動きベクトル生成部９２に制御信号を供給し、色差信号の動き予測を行わせる。
　色差動きベクトル生成部９２は、ブロックカテゴライズ部９１からの制御信号に基づいて、複数の輝度信号ブロックに対して単一の色差信号ブロックを対応させる。そして、色差動きベクトル生成部９２は、モード判定部８２から取得される複数の輝度信号ブロックの動きベクトル情報を用いて、その対応させた単一の色差信号ブロックの動きベクトルを生成する。色差動きベクトル生成部９２は、生成した色差信号の動きベクトル情報を、動き補償部８３に供給する。
［色差信号の動き予測処理の説明］
　ここで、再度、図５を参照して、色差信号の動き予測処理について詳しく説明する。
　動き予測・補償部７５においては、図５に示されるいずれかの動きパーティション（ブロック）サイズ、あるいは、サブ動きパーティションサイズによって、動き予測・補償処理が行われる。なお、図５に示されるサイズは、輝度信号に関するもので、入力となる画像信号が4:2:0フォーマットの場合、色差信号に対するブロックの大きさは、水平も垂直も、それぞれ、輝度信号に対するブロックの大きさの１／２となる。
　輝度信号が、どのブロックサイズにより動き予測が行われたかに関する情報、すなわち、予測モードの情報は、色差ブロック判別部７６に供給される。色差ブロック判別部７６においては、予測モードの情報が示す輝度信号の対象ブロックのブロックサイズに応じて、色差信号の対象ブロックのブロックサイズが判別され、判別した色差ブロックサイズの情報が、ブロックカテゴライズ部９１に供給される。
　ブロックカテゴライズ部９１においては、対象ブロックが、上述した２つのカテゴリに分類される。すなわち、輝度信号におけるブロックサイズのうち、第１のカテゴリには、図５における１６×１６画素、１６×８画素、８×１６画素、８×８画素のいずれかのサイズのブロックが属している。また、輝度信号におけるブロックサイズのうち、第２のカテゴリには、それ以外のサイズのブロックが属している。
　そして、入力信号が4:2:0の場合、色差信号におけるブロックサイズのうち、第１のカテゴリには、８×８画素、８×４画素、４×８画素、４×４画素のいずれかのサイズのブロックが属している。また、輝度信号におけるブロックサイズのうち、第２のカテゴリには、それ以外のサイズ（すなわち、４×２画素、２×４画素、２×２画素）のブロックが属している。
　ここで、直交変換部６４が施す直交変換のブロックサイズは、４×４画素である。すなわち、ブロックカテゴライズ部９１は、色差信号のブロックを、直交変換のブロックサイズに応じたカテゴリに分類する。換言するに、第１のカテゴリは、直交変換のブロックサイズ以上のサイズのブロックが属するカテゴリであり、第２のカテゴリは、直交変換のブロックサイズより小さいサイズのブロックが属するカテゴリである。
　ブロックカテゴライズ部９１は、このように第１のカテゴリに分類された対象ブロックに関しては、H．264/AVC方式による色差信号の動き予測を行わせるための制御信号を、動き補償部８３に供給する。
　これに対して、ブロックカテゴライズ部９１は、第２のカテゴリに分類された対象ブロックに関しては、次に図９を参照して説明される色差信号の動き予測を行わせるための制御信号を、色差動きベクトル生成部９２に供給する。
　図９は、色差動きベクトル生成部９２における色差信号の動き予測処理を説明する図である。なお、図９のＡは、輝度信号のマクロブロックが４つの４×４画素ブロックで構成される場合の色差信号の例を示している。図９のＢは、輝度信号のマクロブロックが２つの８×４画素ブロックで構成される場合の色差信号の例を示している。図９のＣは、輝度信号のマクロブロックが２つの４×８画素ブロックで構成される場合の色差信号の例を示している。
　まず、輝度信号のマクロブロックが４つの０乃至１が付された４×４画素ブロックで構成される場合、それらの４つの輝度信号ブロックに、図９のＡに示されるようにＣが付された１つの色差信号の４×４ブロックを対応させる。
　参考として、H．264/AVC方式の場合、色差信号は４つの２×２ブロックで構成される。すなわち、４つの輝度信号ブロックに対して、符号化規格において対応する４つの色差信号の２×２ブロックではなく、単一の色差信号の４×４ブロックを対応させなおす。さらに換言すると、４つの輝度信号のブロックに対して、単一の色差信号の４×４ブロックを新たに対応させる。
　このとき、４つの輝度信号ブロックに対して、mv0，mv1，mv2，mv3と、４つの動きベクトル情報が存在する。これらの４つの動きベクトル情報を用いて、色差動きベクトル生成部９２は、上述した１つの４×４ブロックの色差信号の動きベクトル情報mvcを、次の式（８）のように算出する。
　mvc = f(mv0，mv1，mv2，mv3)
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
　式（８）において、f()としては、例えば、平均による処理が行われる。この場合、色差動きベクトル生成部９２においては、水平成分、垂直成分毎に、次の式（９）のように動きベクトル情報mvcが算出される。

Figure JPOXMLDOC01-appb-M000006
　なお、入力信号が4:2:0フォーマットである場合、輝度信号に対し、色差信号は、半分の解像度しかもたないため、式（９）の右辺においては、４による除算（／４）ではなく、８による除算（／８）となる。
　あるいは、次の式（１０）のように算出される色差信号についての予測動きベクトル情報pmvcと、色差信号に対して行われた動き探索による動きベクトル情報mvcとを用いて、次の式（１１）のように動きベクトル差分情報dmvcを求める。

　pmvc= f(mv0，mv1，mv2，mv3)
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１０）
　式（１０）においても、f()として、例えば、式（９）に示されたような平均による処理が行われる。

dmvc = mvc - pmvc
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１１）
　この動きベクトル差分情報を、復号側に送るようにしてもよい。なお、この詳細は、図１５および図１６を参照して後述される。
　上述した色差信号の動き予測処理は、Cb/Crの両方に対して行ってもよいし、あるいは、Cb/Crそれぞれ独立に行ってもよい。すなわち、Cb/Crの両方に対して、単一の動きベクトル情報mvcを持つようにしてもよいし、あるいは、Cb/CRに対して、独立に、動きベクトル情報mvcbおよびmvcrを持つようにしてもよい。
　なお、上記説明においては、輝度信号についての対象ブロックが４×４画素の場合（図９のＡの場合）について説明したが、輝度信号についての対象ブロックが８×４画素の場合には、図９のＢに示されるように、０および１が付された２つの輝度信号のブロックに、Ｃが付された１つの色差信号の４×４ブロックを対応させる。そして、２つの８×４ブロックの動きベクトル情報を用いて、１つの４×４ブロックの色差信号の動きベクトル情報mvcが算出される。
　同様に、輝度信号についての対象ブロックが４×８画素の場合には、図９のＣに示されるように、０および１が付された２つの輝度信号のブロックに、Ｃが付された１つの色差信号の４×４ブロックを対応させる。そして、２つの４×８ブロックの動きベクトル情報を用いて、１つの４×４ブロックの色差信号の動きベクトル情報mvcが算出される。
　ちなみに、H．264/AVC方式の場合、輝度信号が２つの４×８画素で構成されるのに対して、色差信号は、２×４画素のブロック２つで構成される。輝度信号が２つの８×４画素で構成されるのに対して、色差信号は、４×２画素のブロック２つで構成される。
　また、上述した式（８）におけるf()としては、平均による処理の他に、例えば、次の式（１２）に示される処理を行ってもよい。なお、もちろん、式（１０）においても、f()として、例えば、式（１２）に示される処理を行ってもよい。
Figure JPOXMLDOC01-appb-M000007
　具体的には、色差動きベクトル生成部９２は、４つの輝度信号ブロックに対する動きベクトル情報mv0，mv1，mv2，mv3を用いて、式（１２）のように、mvciを算出し、i=0乃至3のうち、もっとも残差が小さく、もっとも高い符号化効率を実現するmvciを、mvcとして選択する。
　すなわち、色差動きベクトル生成部９２は、対応する輝度信号ブロックに対する動きベクトルのうち、色差信号に対して、もっとも高い符号化効率を与えるものを選択し、これを、例えば、4:2:0といった色差信号のフォーマットを考慮したスケーリングを行うことにより、色差信号ブロックに対する動きベクトルを生成する。その際、色差動きベクトル生成部９２は、i=0乃至3のうち、どのiを用いたかに関するフラグを生成し、可逆符号化部６６に供給して、復号側に送信する圧縮画像のヘッダに付加させる。
　このフラグは、水平方向と垂直方向を別々に送信してもよく、あるいは水平方向と垂直方向の両方に対して単一のフラグを送信するようにしてもよい。後述する画像復号装置１０１においては、圧縮画像を復号し、このフラグを取得することで、mvcを再構築することができる。
　以上のように、色差信号のブロックサイズが、直交変換のブロックサイズよりも小さい場合に、複数の輝度信号のブロックに対して対応させた単一の色差信号のブロックの動きベクトルを、複数の輝度信号のブロックの動きベクトルを用いて生成するようにした。
　これにより、色差に関する４×４サイズの直交変換ブロック内に、動き予測（補償）のブロック境界が内在しないことになり、直交変換による非０係数の出現が減少されるので、符号化効率を改善することができる。
　さらにまた、動き予測の際、H．264/AVC方式においては、輝度信号の対象ブロックが４×４画素であったら、色差信号については、４つの２×２画素ブロックに対してアドレスの計算を行い、メモリアクセスを行う必要があった。これに対して、上述した処理を行うことにより、メモリアクセスの計算は１回で済むことになり、必要となるメモリバンド幅を減少させることができる。
［画像符号化装置の符号化処理の説明］
　次に、図１０のフローチャートを参照して、図４の画像符号化装置５１の符号化処理について説明する。
　ステップＳ１１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ１２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳ１３において、演算部６３は、ステップＳ１２で並び替えられた画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部７５から、イントラ予測する場合はイントラ予測部７４から、それぞれ予測画像選択部７８を介して演算部６３に供給される。
　差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
　ステップＳ１４において、直交変換部６４は演算部６３から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ１５において、量子化部６５は変換係数を量子化する。この量子化に際しては、後述するステップＳ２５の処理で説明されるように、レートが制御される。
　以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１６において、逆量子化部６８は量子化部６５により量子化された変換係数を量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１７において、逆直交変換部６９は逆量子化部６８により逆量子化された変換係数を直交変換部６４の特性に対応する特性で逆直交変換する。
　ステップＳ１８において、演算部７０は、予測画像選択部７８を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部６３への入力に対応する画像）を生成する。ステップＳ１９においてデブロックフィルタ７１は、演算部７０より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ２０においてフレームメモリ７２は、フィルタリングされた画像を記憶する。なお、フレームメモリ７２にはデブロックフィルタ７１によりフィルタ処理されていない画像も演算部７０から供給され、記憶される。
　ステップＳ２１において、イントラ予測部７４および動き予測・補償部７５は、それぞれ画像の予測処理を行う。すなわち、ステップＳ２１において、イントラ予測部７４は、イントラ予測モードのイントラ予測処理を行う。動き予測・補償部７５は、インター予測モードの動き予測・補償処理を行う。
　ステップＳ２１における予測処理の詳細は、図１１を参照して後述するが、まず、この処理により、候補となる全てのイントラ予測モードでの予測処理がそれぞれ行われ、候補となる全てのイントラ予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７８に供給される。
　また、この処理により、候補となる全てのインター予測モードでの予測処理がそれぞれ行われ、候補となる全てのインター予測モードでのコスト関数値がそれぞれ算出される。算出されたコスト関数値に基づいて、インター予測モードの中から、最適インター予測モードが決定される。
　なお、具体的には、輝度信号について動き予測、コスト関数値の算出、最適インター予測モードの決定が行われる。最適インター予測モードに示されるブロックサイズにより、対象ブロックのカテゴリ分類が行われ、色差信号については、分類されたカテゴリに応じた動き予測が行われる。そして、最適インター予測モードでの予測画像が生成され、生成された予測画像とそのコスト関数値が、予測画像選択部７８に供給される。
　ステップＳ２２において、予測画像選択部７８は、イントラ予測部７４および動き予測・補償部７５より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部７８は、決定した最適予測モードの予測画像を選択し、演算部６３，７０に供給する。この予測画像が、上述したように、ステップＳ１３，Ｓ１８の演算に利用される。
　なお、この予測画像の選択情報は、イントラ予測部７４または動き予測・補償部７５に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部７４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部６６に供給する。
　最適インター予測モードの予測画像が選択された場合、動き予測・補償部７５は、最適インター予測モードを示す情報と、さらに、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部６６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。
　ステップＳ２３において、可逆符号化部６６は量子化部６５より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。このとき、上述したステップＳ２２において可逆符号化部６６に入力された、イントラ予測部７４からのイントラ予測モード情報、または、動き予測・補償部７５からの最適インター予測モードに応じた情報なども符号化され、ヘッダ情報に付加される。
　例えば、インター予測モードを示す情報は、マクロブロック毎に符号化される。動きベクトル情報や参照フレーム情報は、対象となるブロック毎に符号化される。
　なお、ステップＳ２１におけるインター動き予測により、色差信号の動きベクトル差分情報が生成された場合には、生成された色差信号の動きベクトル差分情報が色差動きベクトル決定部７７から供給されるので、その情報も符号化される。これについて詳しくは図１５および図１６を参照して後述される。
　ステップＳ２４において蓄積バッファ６７は差分画像を圧縮画像として蓄積する。蓄積バッファ６７に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
　ステップＳ２５においてレート制御部７９は、蓄積バッファ６７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部６５の量子化動作のレートを制御する。
［予測処理の説明］
　次に、図１１のフローチャートを参照して、図１０のステップＳ２１における予測処理を説明する。
　画面並べ替えバッファ６２から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ７２から読み出され、スイッチ７３を介してイントラ予測部７４に供給される。これらの画像に基づいて、ステップＳ３１において、イントラ予測部７４は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。
　ステップＳ３１におけるイントラ予測処理の詳細は、図１２を参照して後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部７８に供給される。
　画面並べ替えバッファ６２から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ７２から読み出され、スイッチ７３を介して動き探索部８１に供給される。これらの画像に基づいて、ステップＳ３２において、動き探索部８１は、輝度信号を用いたインター動き予測処理を行う。すなわち、動き探索部８１は、フレームメモリ７２から供給される画像を参照して、輝度信号を用いて、候補となる全てのインター予測モードの動き予測処理を行う。
　ステップＳ３２におけるインター動き予測処理の詳細は、図１３を参照して後述する。この処理により、輝度信号を用いて、候補となる全てのインター予測モードで動き予測処理が行われ、モード判定部８２により、候補となる全てのインター予測モードに対してコスト関数値が算出される。
　ステップＳ３３において、モード判定部８２は、候補となる全てのインター予測モードの中から、算出したコスト関数値に基づいて、最適インター予測モードを決定する。すなわち、モード判定部８２は、コスト関数値の最小の予測モードを、最適イントラ予測モードに決定する。
　モード判定部８２は、決定した最適インター予測モードの情報と、それに対応する動きベクトル情報を、動き補償部８３に供給する。また、モード判定部８２は、決定した最適インター予測モードの情報を、色差ブロック判別部７６にも供給する。
　ステップＳ３４において、色差ブロック判別部７６、色差動きベクトル決定部７７、および動き補償部８３は、色差信号に対する動き予測処理を実行する。
　ステップＳ３４における色差信号に対する動き予測処理の詳細は、図１４を参照して後述する。この処理により、最適イントラ予測モードのブロックサイズに応じて、色差信号の動き予測が行われる。
　すなわち、最適イントラ予測モードが示すブロックサイズから判別される色差信号ブロックのサイズに基づいて、色差信号ブロックがカテゴリに分類され、分類されたカテゴリに応じて、色差信号ブロックの動きベクトルが生成される。
　ステップＳ３５において、動き補償部８３は、モード判定部８２からの最適インター予測モードの動きベクトルに基づいて参照画像に補償処理を施し、対象となるブロックの予測画像を生成する。
　すなわち、動き補償部８３は、モード判定部８２からの最適インター予測モードの動きベクトルに基づいて参照画像に補償処理を施し、対象となる輝度信号ブロックの予測画像を生成する。そして、動き補償部８３は、ブロックカテゴライズ部９１から制御信号が供給された場合、H．264/AVC方式により、色差信号の動きベクトルを生成し、生成した動きベクトルを用いて、対象となる色差信号ブロックの予測画像を生成する。一方、動き補償部８３は、色差動きベクトル生成部９２から色差動きベクトル情報が供給された場合、その情報が示す色差信号の動きベクトルを用いて、補償処理を施し、対象となる色差信号ブロックの予測画像を生成する。
　以上のようにして生成された最適インター予測モードの予測画像とそのコスト関数値が、予測画像選択部７８に供給される。
［イントラ予測処理の説明］
　次に、図１２のフローチャートを参照して、図１１のステップＳ３１におけるイントラ予測処理を説明する。なお、図１２の例においては、輝度信号の場合を例として説明する。
　イントラ予測部７４は、ステップＳ４１において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対してイントラ予測を行う。
　輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。輝度信号の４×４画素および８×８画素のイントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の１６×１６画素のイントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。
　具体的には、イントラ予測部７４は、処理対象のブロックの画素を、フレームメモリ７２から読み出され、スイッチ７３を介して供給される復号済みの画像を参照して、イントラ予測する。このイントラ予測処理が、各イントラ予測モードで行われることで、各イントラ予測モードでの予測画像が生成される。なお、参照される復号済みの画素としては、デブロックフィルタ７１によりデブロックフィルタリングされていない画素が用いられる。
　イントラ予測部７４は、ステップＳ４２において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対するコスト関数値を算出する。ここで、コスト関数値としては、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。これらのモードは、H．264/AVC方式における参照ソフトウエアであるJMで定められている。
　すなわち、High Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、仮に符号化処理までが行われる。そして、次の式（１３）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。
　Cost(Mode) = D + λ・R　　　　　　　　　　　　　　・・・（１３）
　Dは、原画像と復号画像の差分（歪）、Rは、直交変換係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。
　一方、Low Complexity モードにおいては、ステップＳ４１の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報、フラグ情報などのヘッダビットまでが算出される。そして、次の式（１３）で表わされるコスト関数値が各予測モードに対して算出され、その最小値を与える予測モードが最適予測モードであるとして選択される。
　Cost(Mode) = D + QPtoQuant(QP)・Header_Bit　　　　　・・・（１４）
　Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。
　Low Complexity モードにおいては、全ての予測モードに対して、予測画像を生成するのみで、符号化処理および復号処理を行う必要がないため、演算量が少なくて済む。
　イントラ予測部７４は、ステップＳ４３において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して、それぞれ最適モードを決定する。すなわち、上述したように、イントラ４×４予測モードおよびイントラ８×８予測モードの場合には、予測モードの種類が９種類あり、イントラ１６×１６予測モードの場合には、予測モードの種類が４種類ある。したがって、イントラ予測部７４は、ステップＳ４２において算出されたコスト関数値に基づいて、それらの中から、最適イントラ４×４予測モード、最適イントラ８×８予測モード、最適イントラ１６×１６予測モードを決定する。
　イントラ予測部７４は、ステップＳ４４において、４×４画素、８×８画素、および１６×１６画素の各イントラ予測モードに対して決定された各最適モードの中から、ステップＳ４２において算出されたコスト関数値に基づいて、最適イントラ予測モードを選択する。すなわち、４×４画素、８×８画素、および１６×１６画素に対して決定された各最適モードの中から、コスト関数値が最小値であるモードを、最適イントラ予測モードとして選択する。そして、イントラ予測部７４は、最適イントラ予測モードで生成された予測画像とそのコスト関数値とを、予測画像選択部７８に供給する。
［輝度信号を用いたインター動き予測処理の説明］
　次に、図１３のフローチャートを参照して、図１１のステップＳ３２の輝度信号を用いたインター動き予測処理について説明する。なお、動き探索部８１においては、図３を参照して上述したJMに実装されている動き探索方法に基づき整数画素精度の動きベクトルが求められ、小数画素精度の動きベクトルが求められる。
　ステップＳ６１において、動き探索部８１は、輝度信号を用いて、図５を参照して上述した１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して動きベクトルと参照画像をそれぞれ決定する。
　すなわち、動き探索部８１には、画面並べ替えバッファ６２からのインター処理する画像と、フレームメモリ７２からの整数画素精度の参照画像画素値が供給される。動き探索部８１は、これらの画像の輝度信号を用いて、各インター予測モードに対して、候補の参照画像の所定の探索範囲内においてSADなどのコスト関数値を最小にする整数画素精度の動きベクトルと参照画像を求める。また、動き探索部８１は、SADなどのコスト関数を最小にする１／２画素精度の小数画素精度の動きベクトル情報を求め、さらに、SADなどのコスト関数を最小にする１／４画素精度の小数画素精度の動きベクトル情報を求める。
　以上により、輝度信号の、各インター予測モードの処理対象の対象ブロックについて、動きベクトルと参照画像がそれぞれ決定される。動き探索部８１により輝度信号の各対象ブロックについて求められた各動きベクトル情報は、モード判定部８２に供給される。
　モード判定部８２は、上述した式（１３）または式（１４）で示されるコスト関数値を算出するために、次のステップＳ６２乃至Ｓ６４の処理を行う。
　すなわち、モード判定部８２は、ステップＳ６２において、動き探索部８１からの動きベクトルに基づいて、参照画像に補償処理を行う。具体的には、モード判定部８２には、フレームメモリ７２からの整数画素精度の参照画像画素値、小数画素精度の動きベクトル情報、および内挿フィルタのフィルタ係数を用いて、小数画素精度の画素値を補間することで、対象ブロックの予測画像を生成する。
　ステップＳ６３において、モード判定部８２は、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して決定された動きベクトルについて、差分動きベクトル情報mvdEを生成する。このとき、図７を参照して上述した動きベクトルの生成方法が用いられる。
　具体的には、モード判定部８２は、隣接ブロック動きベクトル情報を用いて、上述した式（６）のメディアン予測により対象ブロックＥに対する予測動きベクトル情報pmvEを算出する。そして、モード判定部８２は、上述した式（７）に示されるように、モード判定部８２からの動きベクトル情報mvEと、算出された予測動きベクトル情報pmvEの差分により差分動きベクトル情報mvdEを求める。
　求められた差分動きベクトル情報は、次のステップＳ６４におけるコスト関数値算出の際に用いられ、最終的に予測画像選択部７８により対応する予測画像が選択された場合には、予測モード情報、および参照フレーム情報などとともに可逆符号化部６６へ供給される。
　モード判定部８２は、ステップＳ６４において、１６×１６画素乃至４×４画素からなる８種類の各インター予測モードに対して、上述した式（１３）または式（１４）で示されるコスト関数値を算出する。
　具体的には、モード判定部８２は、画面並べ替えバッファ６２からのインター処理する画像、フレームメモリ７２からの整数画素精度の参照画像画素値、小数画素精度の動きベクトル情報、および差分動きベクトル情報などの情報を適宜用いて、コスト関数値を算出する。ここで算出されたコスト関数値は、上述した図１１のステップＳ３３で最適インター予測モードを決定する際に用いられる。
［輝度信号に対する動き予測処理の説明］
　次に、図１４のフローチャートを参照して、色差信号に対する動き予測処理について説明する。
　色差ブロック判別部７６には、最適インター予測モードの情報が、モード判定部８２から供給される。色差ブロック判別部７６は、最適インター予測モードの情報が示す輝度信号ブロックのブロックサイズに応じて、色差信号ブロックのブロックサイズを判別し、判別した色差ブロックサイズの情報を、ブロックカテゴライズ部９１に供給する。
　すなわち、色差ブロック判別部７６は、輝度信号におけるブロックサイズが１６×１６画素、１６×８画素、８×１６画素、８×８画素の場合、色差信号におけるブロックサイズは、それぞれ、８×８画素、８×４画素、４×８画素、４×４画素であることを判別する。また、色差ブロック判別部７６は、輝度信号におけるブロックサイズが８×４画素、４×８画素、４×４画素の場合、色差信号におけるブロックサイズは、それぞれ、４×２画素、２×４画素、２×２画素であることを判別する。
　ブロックカテゴライズ部９１は、ステップＳ７１において、色差信号ブロックをカテゴリ分類する。例えば、ブロックカテゴライズ部９１は、色差信号におけるブロックサイズが、８×８画素、８×４画素、４×８画素、４×４画素のいずれかのサイズであった場合、色差信号ブロックを、第１のカテゴリに分類する。一方、ブロックカテゴライズ部９１は、色差信号におけるブロックサイズが、４×２画素、２×４画素、２×２画素のいずれかのサイズであった場合、色差信号ブロックを、第２のカテゴリに分類する。
　そして、ブロックカテゴライズ部９１は、ステップＳ７２において、色差信号ブロックが第１のカテゴリに属するブロックであるか否かを判定する。
　ステップＳ７２において、第１のカテゴリに属するブロックではない、すなわち、第２のカテゴリに属するブロックであると判定された場合、処理は、ステップＳ７３に進む。この場合、ブロックカテゴライズ部９１から、色差信号の動き補償を行わせるための制御信号が、色差動きベクトル生成部９２に供給される。
　これに対応して、色差動きベクトル生成部９２は、ステップＳ７３において、色差動きベクトル情報を生成する。すなわち、色差動きベクトル生成部９２は、図９のＡを参照して上述したように、第２のカテゴリに属するとされた複数の輝度信号ブロック（例えば、４つの４×４ブロック）に単一の色差信号ブロック（例えば、１つの４×４ブロック）を対応させる。そして、色差動きベクトル生成部９２は、モード判定部８２より取得される動きベクトル情報を用いて、その単一の色差信号ブロックの動きベクトル情報を生成する。
　生成された色差動きベクトル情報は、動き補償部８３に供給され、図１１のステップＳ３５において、色差信号の予測画像生成に用いられる。
　一方、ステップＳ７２において、第１のカテゴリに属するブロックであると判定された場合、処理は、ステップＳ７４に進む。この場合、ブロックカテゴライズ部９１から、H．264/AVC方式による色差信号の動き予測を行わせるための制御信号が動き補償部８３に供給される。
　これに対応して、動き補償部８３は、ステップＳ７４において、H．264/AVC方式による色差動き予測処理を行う。例えば、動き補償部８３は、輝度信号ブロックが８×８画素ブロックの場合、４×４画素ブロックの色差信号ブロックについて、図２を参照して上述した動き予測処理を行う。
　生成された色差動きベクトル情報は、図１１のステップＳ３５において、色差信号の予測画像生成に用いられる。
　以上のように、色差動きベクトル情報は、輝度信号ブロックの動きベクトル情報が用いられて生成されるので、復号側に送る必要がない。これに対して、次に説明するように、予測動きベクトル情報を求めて、色差信号ブロックの動きベクトルも探索し、それらの差分情報を復号側に送るようにしてもよい。
［動き予測・補償部および色差動きベクトル決定部の構成例］
　図１５は、色差動きベクトル差分情報を復号側に送る場合の動き予測・補償部７５および色差動きベクトル決定部７７の詳細な構成例を示すブロック図である。
　なお、図１５の動き予測・補償部７５は、動き探索部８１、モード判定部８２、および動き補償部８３を備える点が図８の動き予測・補償部７５と共通する。図１５の色差動きベクトル決定部７７は、ブロックカテゴライズ部９１を備える点が図８の動き予測・補償部７５と共通する。一方、図１５の色差動きベクトル決定部７７は、色差動きベクトル生成部９２が、色差予測動きベクトル生成部９５に入れ替わった点と、色差動きベクトル探索部９６が追加された点が異なっている。ただし、色差予測動きベクトル生成部９５は、名前が異なるだけであり、図８の色差動きベクトル生成部９２と基本的に同様な処理を行う。
　すなわち、色差予測動きベクトル生成部９５は、ブロックカテゴライズ部９１からの制御信号に基づいて、複数の輝度信号ブロックに対して単一の色差信号ブロックを対応させる。そして、色差予測動きベクトル生成部９５は、モード判定部８２から取得される複数の輝度信号ブロックの動きベクトル情報を用いて、上述した式（１０）のように、単一の色差信号のブロックの予測動きベクトル情報を生成する。
　生成された色差信号の予測動きベクトル情報（色差予測動きベクトル情報）は、色差動きベクトル探索部９６に供給される。
　色差動きベクトル探索部９６は、フレームメモリ７２からの参照画像画素値を用いて、色差予測動きベクトル生成部９５が複数の輝度信号に対応させた色差信号ブロックについて、動きベクトル情報を求める。このとき、色差動きベクトル探索部９６は、色差予測動きベクトル生成部９５により生成された色差予測動きベクトルを中心として、予め定められた探索範囲で、色差信号についての動きベクトルを求める。
　なお、この場合も、図３を参照して上述したJMに実装されている動き探索方法に基づき、整数画素精度の動きベクトルが求められて、小数画素精度の動きベクトルが求められる。したがって、SADなどのコスト関数が求められ、最適な動きベクトルが求められるので、その図示は省略されているが、画面並べ替えバッファ６２からのインターする画像も入力される。
　色差動きベクトル探索部９６は、色差信号ブロックについて求めた色差動きベクトル情報を動き補償部８３に供給する。また、色差動きベクトル探索部９６は、色差動きベクトル情報と、色差予測動きベクトル生成部９５からの色差予測動きベクトル情報との差分を求め、求められた色差動きベクトル差分情報を、可逆符号化部６６に供給する。
［輝度信号に対する動き予測処理の説明］
　次に、図１６のフローチャートを参照して、図１５の例の場合の図１１のステップＳ３４の色差信号に対する動き予測処理について説明する。なお、それ以外の処理は、図１０を参照して上述した図８の例の場合の処理と基本的に同様な処理であるのでその説明は繰り返しになるので省略する。また、図１６のステップＳ９１、Ｓ９２、およびＳ９５の処理は、図１４のステップＳ７１、Ｓ７２、およびＳ７４の処理と同じ処理である。
　色差ブロック判別部７６には、最適インター予測モードの情報が、モード判定部８２から供給される。色差ブロック判別部７６は、最適インター予測モードの情報が示す輝度信号ブロックのブロックサイズに応じて、色差信号ブロックのブロックサイズを判別し、判別した色差ブロックサイズの情報を、ブロックカテゴライズ部９１に供給する。
　ブロックカテゴライズ部９１は、ステップＳ９１において、色差信号ブロックをカテゴリ分類する。例えば、ブロックカテゴライズ部９１は、色差信号におけるブロックサイズが、８×８画素、８×４画素、４×８画素、４×４画素のいずれかのサイズであった場合、色差信号ブロックを、第１のカテゴリに分類する。一方、ブロックカテゴライズ部９１は、色差信号におけるブロックサイズが、４×２画素、２×４画素、２×２画素のいずれかのサイズであった場合、色差信号ブロックを、第２のカテゴリに分類する。
　そして、ブロックカテゴライズ部９１は、ステップＳ９２において、色差信号ブロックが第１のカテゴリに属するブロックであるか否かを判定する。
　ステップＳ９２において、第１のカテゴリに属するブロックではない、すなわち、第２のカテゴリに属するブロックであると判定された場合、処理は、ステップＳ９３に進む。この場合、ブロックカテゴライズ部９１から、色差信号の動き予測を行わせるための制御信号が、色差予測動きベクトル生成部９５に供給される。
　これに対応して、色差予測動きベクトル生成部９５は、ステップＳ９３において、色差予測動きベクトル情報を生成する。すなわち、色差予測動きベクトル生成部９５は、図９のＡを参照して上述したように、第２のカテゴリに属するとされた複数の輝度信号ブロックに単一の色差信号ブロックを対応させる。そして、色差予測動きベクトル生成部９５は、モード判定部８２より取得される動きベクトル情報を用いて、その単一の色差信号ブロックの動き予測ベクトル情報を生成する。
　生成された色差予測動きベクトル情報は、色差動きベクトル探索部９６に供給される。色差動きベクトル探索部９６は、ステップＳ９４において、色差動きベクトル差分を算出する。すなわち、色差動きベクトル探索部９６は、フレームメモリ７２からの参照画像画素値を用いて、色差予測動きベクトル生成部９５により生成された予測動きベクトル情報を中心とした探索範囲で、色差信号ブロックについて、動きベクトル情報を求める。そして、色差動きベクトル探索部９６は、色差動きベクトル情報と、色差予測動きベクトル生成部９５からの色差予測動きベクトル情報との差分を算出する。
　求められた色差動きベクトル情報は、動き補償部８３に供給され、図１１のステップＳ３５において、色差信号の予測画像生成に用いられる。
　また、算出された色差動きベクトル差分情報は、可逆符号化部６６に供給され、図１０のステップＳ２２でインター予測による予測画像が選択された場合に、ステップＳ２３において、符号化され、圧縮画像のヘッダに付加されて、復号側に送信される。
　一方、ステップＳ９２において、第１のカテゴリに属するブロックであると判定された場合、処理は、ステップＳ９５に進む。この場合、ブロックカテゴライズ部９１から、H．264/AVC方式による色差信号の動き予測を行わせるための制御信号が動き補償部８３に供給される。
　これに対応して、動き補償部８３は、ステップＳ９５において、H．264/AVC方式による色差動き予測処理を行う。例えば、動き補償部８３は、輝度信号の対象ブロックが８×８画素ブロックの場合、４×４画素ブロックの色差信号の対象ブロックについて、図２を参照して上述した動き予測処理を行う。
　生成された色差動きベクトル情報は、図１１のステップＳ３５において、色差信号の予測画像生成に用いられる。
　符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。
［画像復号装置の構成例］
　図１７は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。
　画像復号装置１０１は、蓄積バッファ１１１、可逆復号部１１２、逆量子化部１１３、逆直交変換部１１４、演算部１１５、デブロックフィルタ１１６、画面並べ替えバッファ１１７、Ｄ／Ａ変換部１１８、フレームメモリ１１９、スイッチ１２０、イントラ予測部１２１、動き予測・補償部１２２、色差動きベクトル決定部１２３、色差ブロック判別部１２４、およびスイッチ１２５により構成されている。
　蓄積バッファ１１１は伝送されてきた圧縮画像を蓄積する。可逆復号部１１２は、蓄積バッファ１１１より供給された、図４の可逆符号化部６６により符号化された情報を、可逆符号化部６６の符号化方式に対応する方式で復号する。逆量子化部１１３は可逆復号部１１２により復号された画像を、図４の量子化部６５の量子化方式に対応する方式で逆量子化する。逆直交変換部１１４は、図４の直交変換部６４の直交変換方式に対応する方式で逆量子化部１１３の出力を逆直交変換する。
　逆直交変換された出力は演算部１１５によりスイッチ１２５から供給される予測画像と加算されて復号される。デブロックフィルタ１１６は、復号された画像のブロック歪を除去した後、フレームメモリ１１９に供給し、蓄積させるとともに、画面並べ替えバッファ１１７に出力する。
　画面並べ替えバッファ１１７は、画像の並べ替えを行う。すなわち、図４の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。
　スイッチ１２０は、インター処理される画像と参照される画像をフレームメモリ１１９から読み出し、動き予測・補償部１２２に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１１９から読み出し、イントラ予測部１２１に供給する。
　イントラ予測部１２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報が可逆復号部１１２から供給される。イントラ予測部１２１は、この情報に基づいて、予測画像を生成し、生成した予測画像を、スイッチ１２５に出力する。
　動き予測・補償部１２２には、ヘッダ情報を復号して得られた情報のうち、インター予測モード情報、動きベクトル情報、参照フレーム情報などが可逆復号部１１２から供給される。インター予測モード情報は、マクロブロック毎に送信されてくる。動きベクトル情報や参照フレーム情報は、対象ブロック毎に送信されてくる。
　動き予測・補償部１２２は、可逆復号部１１２から供給されるインター予測モード情報が示す予測モードで、輝度信号について、対象ブロックに対する予測画像の画素値を生成する。
　また、動き予測・補償部１２２は、色差ブロック判別部１２４からの制御信号が供給された場合、H．264/AVC方式により、色差信号の動きベクトルを生成し、生成した動きベクトルを用いて、対象となる色差信号ブロックの予測画像を生成する。動き予測・補償部１２２は、色差動きベクトル決定部１２３から色差動きベクトル情報が供給された場合、その情報が示す色差信号の動きベクトルを用いて、対象となる色差信号ブロックの予測画像を生成する。生成された予測画像の画素値は、スイッチ１２５を介して、演算部１１５に供給される。
　色差動きベクトル決定部１２３は、図４の色差動きベクトル決定部７７と同様に、色差ブロック判別部１２４からの色差ブロックサイズの情報に基づいて、色差信号ブロックが、２つのカテゴリのうちのどちらに属するかを分類する。
　色差動きベクトル決定部１２３は、色差信号ブロックを第１のカテゴリに分類した場合、動き予測・補償部１２２に制御信号を供給し、H．264/AVC方式による色差信号の動き予測を行わせる。これに対して、色差動きベクトル決定部１２３は、色差信号ブロックを第２のカテゴリに分類した場合、複数の輝度信号ブロックに対して単一の色差信号ブロックを対応させ、その単位で、色差信号の動きベクトルを生成する。例えば、複数の輝度信号ブロックに対応させた単一の色差信号ブロックの動きベクトルは、複数の輝度信号ブロックの動きベクトルの少なくとも１つを用いて生成される。生成された色差動きベクトルの情報は、動き予測・補償部１２２に供給される。
　なお、画像符号化装置５１より色差動きベクトル差分情報が生成されて送られてくる場合（図１６の場合）、点線に示されるように、色差動きベクトル差分情報が、可逆復号部１１２から色差動きベクトル決定部１２３に供給される。
　この場合、色差動きベクトル決定部１２３は、複数の輝度信号ブロックに対応させた単一の色差信号ブロックの予測動きベクトルを算出し、算出した予測動きベクトルと、供給された色差動きベクトル差分情報を用いて、色差動きベクトルを求める。
　色差ブロック判別部１２４は、図４の色差ブロック判別部１２４と同様に、動き予測・補償部１２２からの予測モードの情報が示す輝度信号ブロックのブロックサイズに応じて、色差信号ブロックのブロックサイズを判別する。色差ブロック判別部１２４は、判別した色差ブロックサイズの情報を、色差動きベクトル決定部７１２３に供給する。
　スイッチ１２５は、動き予測・補償部１２２またはイントラ予測部１２１により生成された予測画像を選択し、演算部１１５に供給する。
　なお、図４の画像符号化装置５１においては、装置内部で、動きベクトル情報いよび符号化モード情報が、動き探索およびモード判定の結果求められるものである。これに対して、この画像復号装置１０１においては、これらの情報が、符号化されて送られてくる圧縮画像情報に付加されており、可逆復号処理の結果として得られるものである。この相違点以外の点において、図４の画像符号化装置５１と画像復号装置１０１との動作原理は同じである。
［動き予測・補償部および色差動きベクトル決定部の構成例］
　図１８は、動き予測・補償部１２２および色差動きベクトル決定部１２３の詳細な構成例を示すブロック図である。なお、図１８においては、図１７のスイッチ１２０および１２５が省略されている。
　図１８の例においては、動き予測・補償部１２２は、動きベクトルバッファ１３１、モード情報バッファ１３２、および予測画像生成部１３３により構成される。
　色差動きベクトル決定部１２３は、ブロックカテゴライズ部１４１、および色差動きベクトル生成部１４２により構成される。
　動きベクトルバッファ１３１は、可逆復号部１１２からの対象ブロックの動きベクトル情報を蓄積する。モード情報バッファ１３２は、可逆復号部１１２からのマクロブロック毎のインター予測モード情報を蓄積する。
　予測画像生成部１３３は、動きベクトルバッファ１３１から対象ブロックの動きベクトル情報を取得し、モード情報バッファ１３２から対応するインター予測モード情報を取得する。予測画像生成部１３３は、取得したこれらの情報と、フレームメモリ１１９から得られる参照画像画素値を用いて、対象となる輝度信号ブロックに対する予測画像の画素値を生成する。
　また、予測画像生成部１３３は、ブロックカテゴライズ部１４１から制御信号が供給された場合、H．264/AVC方式により、色差信号の動きベクトルを生成し、生成した動きベクトルを用いて、補償処理を行い、対象となる色差信号ブロックの予測画像を生成する。これに対して、予測画像生成部１３３は、色差動きベクトル生成部１４２から色差動きベクトル情報が供給された場合、その情報が示す色差信号の動きベクトルを用いて、補償処理を行い、対象となる色差信号ブロックの予測画像を生成する。
　ブロックカテゴライズ部１４１は、色差ブロック判別部１２４からの色差ブロックサイズの情報に基づいて、色差信号ブロックが、２つのカテゴリのうちのどちらに属するかを分類する。ブロックカテゴライズ部１４１は、色差信号ブロックを第１のカテゴリに分類した場合、予測画像生成部１３３に制御信号を供給し、H．264/AVC方式による色差信号の動き予測を行わせる。また、ブロックカテゴライズ部１４１は、色差信号ブロックを第２のカテゴリに分類した場合、色差動きベクトル生成部１４２に制御信号を供給し、色差信号の動き予測を行わせる。
　色差動きベクトル生成部１４２は、ブロックカテゴライズ部１４１からの制御信号に基づいて、複数の輝度信号ブロックに対して単一の色差信号ブロックを対応させる。そして、色差動きベクトル生成部１４２は、動きベクトルバッファ１３１から取得される複数の輝度信号ブロックの動きベクトル情報を用いて、その対応させた単一の色差信号ブロックの動きベクトルを生成する。色差動きベクトル生成部１４２は、生成した色差信号の動きベクトル情報を、予測画像生成部１３３に供給する。
　なお、画像符号化装置５１より色差動きベクトル差分情報が生成されて送られてくる場合（図１６の場合）、点線に示されるように、色差動きベクトル差分情報が、可逆復号部１１２から色差動きベクトル生成部１４２に供給される。
　この場合、色差動きベクトル生成部１４２は、上述した式（１０）のように、複数の輝度信号ブロックに対応させた単一の色差信号ブロックの予測動きベクトルを算出する。そして、色差動きベクトル生成部１４２は、算出した予測動きベクトルと、供給された色差動きベクトル差分情報を用いて、色差動きベクトルを求める。
［画像復号装置の復号処理の説明］
　次に、図１９のフローチャートを参照して、画像復号装置１０１が実行する復号処理について説明する。
　ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた画像を蓄積する。ステップＳ１３２において、可逆復号部１１２は、蓄積バッファ１１１から供給される圧縮画像を復号する。すなわち、図４の可逆符号化部６６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
　このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モードを示す情報）なども復号される。
　すなわち、予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部１２１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報および参照フレーム情報は、動き予測・補償部１２２に供給される。
　また、図１６の処理が行われて送信されてきた画像のヘッダには色差動きベクトル差分情報も付加されており、この場合、色差動きベクトル差分情報も復号され、色差動きベクトル決定部１２３に供給される。
　ステップＳ１３３において、逆量子化部１１３は可逆復号部１１２により復号された変換係数を、図４の量子化部６５の特性に対応する特性で逆量子化する。ステップＳ１３４において逆直交変換部１１４は逆量子化部１１３により逆量子化された変換係数を、図４の直交変換部６４の特性に対応する特性で逆直交変換する。これにより図４の直交変換部６４の入力（演算部６３の出力）に対応する差分情報が復号されたことになる。
　ステップＳ１３５において、演算部１１５は、後述するステップＳ１３９の処理で選択され、スイッチ１２５を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１３６においてデブロックフィルタ１１６は、演算部１１５より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ１３７においてフレームメモリ１１９は、フィルタリングされた画像を記憶する。
　ステップＳ１３８において、イントラ予測部１２１または動き予測・補償部１２２は、可逆復号部１１２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
　すなわち、可逆復号部１１２からイントラ予測モード情報が供給された場合、イントラ予測部１２１は、イントラ予測モードのイントラ予測処理を行う。可逆復号部１１２からインター予測モード情報が供給された場合、動き予測・補償部１２２は、インター予測モードの動き予測・補償処理を行う。このとき、動き予測・補償部１２２は、色差信号については、インター予測モードが示すブロックサイズにより分類されたカテゴリに応じて、対象ブロックに対する予測画像の画素値を生成する。
　ステップＳ１３８における予測処理の詳細は、図２０を参照して後述するが、この処理により、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２２により生成された予測画像がスイッチ１２５に供給される。
　ステップＳ１３９において、スイッチ１２５は予測画像を選択する。すなわち、イントラ予測部１２１により生成された予測画像、または動き予測・補償部１２２により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部１１５に供給され、上述したように、ステップＳ１３４において逆直交変換部１１４の出力と加算される。
　ステップＳ１４０において、画面並べ替えバッファ１１７は並べ替えを行う。すなわち画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳ１４１において、Ｄ／Ａ変換部１１８は、画面並べ替えバッファ１１７からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
［画像復号装置の予測処理の説明］
　次に、図２０のフローチャートを参照して、図１９のステップＳ１３８の予測処理を説明する。
　イントラ予測部１２１は、ステップＳ１７１において、対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部１１２からイントラ予測モード情報がイントラ予測部１２１に供給されると、イントラ予測部１２１は、ステップＳ１７１において、対象ブロックがイントラ符号化されていると判定し、処理は、ステップＳ１７２に進む。
　イントラ予測部１２１は、ステップＳ１７２において、イントラ予測モード情報を取得し、ステップＳ１７３において、イントラ予測を行う。
　すなわち、処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ１１９から読み出され、スイッチ１２０を介してイントラ予測部１２１に供給される。ステップＳ１７３において、イントラ予測部１２１は、ステップＳ１７２で取得したイントラ予測モード情報に従ってイントラ予測し、予測画像を生成する。生成した予測画像は、スイッチ１２５に出力される。
　一方、ステップＳ１７１において、イントラ符号化されていないと判定された場合、処理は、ステップＳ１７４に進む。
　処理対象の画像がインター処理される画像である場合、可逆復号部１１２からインター予測モード情報、参照フレーム情報、動きベクトル情報が動き予測・補償部１２２に供給される。
　ステップＳ１７４において、動き予測・補償部１２２は、可逆復号部１１２からの予測モード情報などを取得する。すなわち、インター予測モード情報、参照フレーム情報、動きベクトル情報が取得される。取得された動きベクトル情報は、動きベクトルバッファ１３１に蓄積され、インター予測モード情報は、モード情報バッファ１３２に蓄積される。
　ステップＳ１７５において、予測画像生成部１３３は、輝度信号について予測画像を生成する。すなわち、予測画像生成部１３３は、動きベクトルバッファ１３１から対象ブロックの動きベクトル情報を取得し、モード情報バッファ１３２から対応するインター予測モード情報を取得する。予測画像生成部１３３は、取得したこれらの情報と、フレームメモリ１１９から得られる参照画像画素値を用いて、対象となる輝度信号ブロックに対する予測画像の画素値を生成する。
　ステップＳ１７６において、色差信号に対する動き予測処理が行われる。この色差信号に対する動き予測処理の詳細は、図２１を参照して後述される。ステップＳ１７６の処理により、インター予測モード情報が示すブロックサイズにより対象となる色差信号ブロックが第１または第２のカテゴリに分類され、分類されたカテゴリに応じて、色差信号ブロックの動きベクトルが求められる。
　ステップＳ１７７において、予測画像生成部１３３は、ステップＳ１７６の処理により求められた色差信号の動きベクトルを用いて、補償処理を行い、対象となる色差信号ブロックに対する予測画像を生成する。
　生成された予測画像は、スイッチ１２５を介して、演算部１１５に供給され、ステップＳ１３４において逆直交変換部１１４の出力と加算される。
　次に、図２１のフローチャートを参照して、図２０のステップＳ１７６における色差信号に対する動き予測処理について説明する。
　色差ブロック判別部１２４は、モード情報バッファ１３２からの予測モードの情報が示す輝度信号ブロックのブロックサイズに応じて、色差信号ブロックのブロックサイズを判別する。色差ブロック判別部１２４は、判別した色差ブロックサイズの情報を、ブロックカテゴライズ部１４１に供給する。
　ステップＳ１８１において、ブロックカテゴライズ部１４１は、色差ブロック判別部１２４からの色差ブロックサイズの情報に基づいて、色差信号ブロックが、２つのカテゴリのうちのどちらに属するかを分類する。
　例えば、ブロックカテゴライズ部１４１は、色差信号におけるブロックサイズが、８×８画素、８×４画素、４×８画素、４×４画素のいずれかのサイズであった場合、色差信号ブロックを、第１のカテゴリに分類する。一方、ブロックカテゴライズ部１４１は、色差信号におけるブロックサイズが、４×２画素、２×４画素、２×２画素のいずれかのサイズであった場合、色差信号ブロックを、第２のカテゴリに分類する。
　そして、ブロックカテゴライズ部１４１は、ステップＳ１８２において、色差信号ブロックが第１のカテゴリに属するブロックであるか否かを判定する。ステップＳ１８２において、第１のカテゴリに属するブロックではない、すなわち、第２のカテゴリに属するブロックであると判定された場合、処理は、ステップＳ１８３に進む。この場合、ブロックカテゴライズ部１４１から、色差信号の動き補償を行わせるための制御信号が、色差動きベクトル生成部１４２に供給される。
　これに対応して、色差動きベクトル生成部１４２は、ステップＳ１８３において、色差動きベクトル情報を生成する。すなわち、色差動きベクトル生成部１４２は、図９のＡを参照して上述したように、第２のカテゴリに属するとされた複数の輝度信号ブロック（例えば、４つの４×４ブロック）に単一の色差信号ブロック（例えば、１つの４×４ブロック）を対応させる。そして、色差動きベクトル生成部１４２は、動きベクトルバッファ１３１より取得される動きベクトル情報を用いて、その単一の色差信号ブロックの動きベクトル情報を生成する。
　生成された色差動きベクトル情報は、予測画像生成部１３３に供給され、図２０のステップＳ１７７において、色差信号の予測画像生成に用いられる。
　一方、ステップＳ１８２において、第１のカテゴリに属するブロックであると判定された場合、処理は、ステップＳ１８４に進む。この場合、ブロックカテゴライズ部１４１から、H．264/AVC方式による色差信号の動き予測を行わせるための制御信号が予測画像生成部１３３に供給される。
　これに対応して、予測画像生成部１３３は、ステップＳ１８４において、H．264/AVC方式による色差動き予測処理を行う。例えば、予測画像生成部１３３は、輝度信号ブロックが８×８画素ブロックの場合、４×４画素ブロックの色差信号ブロックについて、図２を参照して上述した動き予測処理を行う。
　生成された色差動きベクトル情報は、図２０のステップＳ１７７において、色差信号ブロックの予測画像生成に用いられる。
　以上のよう、色差動きベクトル情報は、輝度信号ブロックの動きベクトル情報が用いられて生成される。これに対して、次に説明するように、符号化側から色差動きベクトル差分情報が送られてくる場合には、差分情報から、輝度信号ブロックの動きベクトル情報が用いられて生成される色差動きベクトル予測情報が差分されて、色差動きベクトルが生成される。
　次に、図２２のフローチャートを参照して、符号化側から色差動きベクトル差分情報が送られてくる場合の色差信号に対する動き予測処理について説明する。なお、図２２のステップＳ１９１、Ｓ１９２、およびＳ１９６の処理は、図２１のステップＳ１８１、Ｓ１８２、およびＳ１８４の処理と同じ処理である。
　色差ブロック判別部１２４は、モード情報バッファ１３２からの予測モードの情報が示す輝度信号ブロックのブロックサイズに応じて、色差信号ブロックのブロックサイズを判別する。色差ブロック判別部１２４は、判別した色差ブロックサイズの情報を、ブロックカテゴライズ部１４１に供給する。
　ステップＳ１９１において、ブロックカテゴライズ部１４１は、色差ブロック判別部１２４からの色差ブロックサイズの情報に基づいて、色差信号ブロックが、２つのカテゴリのうちのどちらに属するかを分類する。
　そして、ブロックカテゴライズ部１４１は、ステップＳ１９２において、色差信号ブロックが第１のカテゴリに属するブロックであるか否かを判定する。ステップＳ１９２において、第１のカテゴリに属するブロックではない、すなわち、第２のカテゴリに属するブロックであると判定された場合、処理は、ステップＳ１９３に進む。この場合、ブロックカテゴライズ部１４１から、色差信号の動き補償を行わせるための制御信号が、色差動きベクトル生成部１４２に供給される。
　これに対応して、色差動きベクトル生成部１４２は、ステップＳ１９３において、色差予測動きベクトル情報を生成する。すなわち、色差動きベクトル生成部１４２は、図９のＡを参照して上述したように、第２のカテゴリに属するとされた複数の輝度信号ブロックに単一の色差信号ブロックを対応させる。そして、色差動きベクトル生成部１４２は、動きベクトルバッファ１３１より取得される動きベクトル情報を用いて、その単一の色差信号ブロックの予測動きベクトル情報を生成する。
　ステップＳ１９４において、色差動きベクトル生成部１４２は、可逆復号部１１２からの色差動きベクトル差分情報を取得する。
　ステップＳ１９５において、色差動きベクトル生成部１４２は、生成した色差予測動きベクトル情報と、取得した色差動きベクトル差分情報を加算することで、色差動きベクトル情報を生成する。
　生成された色差動きベクトル情報は、予測画像生成部１３３に供給され、図２０のステップＳ１７７において、色差信号の予測画像生成に用いられる。
　一方、ステップＳ１９２において、第１のカテゴリに属するブロックであると判定された場合、処理は、ステップＳ１９６に進む。この場合、ブロックカテゴライズ部１４１から、H．264/AVC方式による色差信号の動き予測を行わせるための制御信号が予測画像生成部１３３に供給される。
　これに対応して、予測画像生成部１３３は、ステップＳ１９６において、H．264/AVC方式による色差動き予測処理を行う。生成された色差動きベクトル情報は、図２０のステップＳ１７７において、色差信号の予測画像生成に用いられる。
　以上のように、画像符号化装置５１および画像復号装置１０１においては、色差信号の動き予測・補償のブロックサイズにより分類されたカテゴリに応じて色差信号の動き予測が行われる。すなわち、色差信号の動き予測・補償のブロックサイズが直交変換ブロックのサイズより小さい対象ブロックの場合、複数の輝度信号ブロックに対応させられた単一の色差信号ブロックの動きベクトルが、複数の輝度信号ブロックの動きベクトルを用いて生成される。
　これにより、色差に関する４×４直交変換ブロック内に、動き補償のブロック境界が内在しないことになり、直交変換による非０係数の出現が減少されるので、符号化効率を改善することができる。
　さらにまた、動き補償の際、H．264/AVC方式においては、輝度信号ブロックが４×４画素であったら、色差信号については、４つの２×２画素ブロックに対してアドレスの計算を行い、メモリアクセスを行う必要があった。これに対して、上述した処理を行うことにより、メモリアクセスの計算は１回で済むことになり、必要となるメモリバンド幅を減少させることができる。
　また、上記説明においては、マクロブロックの大きさが、１６×１６画素の場合について説明してきたが、本発明は、上述した非特許文献４に記載の拡張されたマクロブロックサイズに対しても適用することが可能である。
［拡張マクロブロックサイズへの適用の説明］
　図２３は、非特許文献４で提案されているブロックサイズの例を示す図である。非特許文献４では、マクロブロックサイズが３２×３２画素に拡張されている。
　図２３の上段には、左から、３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロック（パーティション）に分割された３２×３２画素で構成されるマクロブロックが順に示されている。図２３の中段には、左から、１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックに分割された１６×１６画素で構成されるブロックが順に示されている。また、図２３の下段には、左から、８×８画素、８×４画素、４×８画素、および４×４画素のブロックに分割された８×８画素のブロックが順に示されている。
　すなわち、３２×３２画素のマクロブロックは、図２３の上段に示される３２×３２画素、３２×１６画素、１６×３２画素、および１６×１６画素のブロックでの処理が可能である。
　上段の右側に示される１６×１６画素のブロックは、H．264/AVC方式と同様に、中段に示される１６×１６画素、１６×８画素、８×１６画素、および８×８画素のブロックでの処理が可能である。
　中段の右側に示される８×８画素のブロックは、H．264/AVC方式と同様に、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックでの処理が可能である。
　これらのブロックは、以下の３階層に分類することができる。すなわち、図２３の上段に示される３２×３２画素、３２×１６画素、および１６×３２画素のブロックを第１階層と呼ぶ。上段の右側に示される１６×１６画素のブロック、並びに、中段に示される１６×１６画素、１６×８画素、および８×１６画素のブロックを、第２階層と呼ぶ。中段の右側に示される８×８画素のブロック、並びに、下段に示される８×８画素、８×４画素、４×８画素、および４×４画素のブロックを、第３階層と呼ぶ。
　このような階層構造を採用することにより、非特許文献１の提案では、１６×１６画素のブロック以下に関しては、H．264/AVC方式と互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
　以上のように提案される拡張されたマクロブロックサイズへの本発明の適用方法は、次の通りである。
　例えば、上述した階層構造により、３２×３２マクロブロックが符号化される場合、輝度信号の符号化の最小単位は、H．264/AVC方式で定められているのと同様に、４×４画素、すなわち、色差信号の符号化の最小単位は、２×２画素となる。したがって、直交変換の最小単位が４×４画素である場合、図９のＡに示された方法を適用することが可能になる。
　また、拡張マクロブロックサイズにおいては、図２３に示された階層構造のうち、８×８画素未満のブロックサイズが用いられず、直交変換の最小単位が、色差信号を含め、８×８画素である場合も考えられる。このような場合に、入力信号のフォーマットが4:2:0であるときには、色差信号ブロックの最小単位が４×４画素ということになり、直交変換の最小単位よりも小さくなってしまう。
　このような場合には、図９のＡの１乃至３、Ｃを付したブロックのサイズが８×８画素として、図９のＡに示した方法を適用することにより、色差ブロックの最小単位が直交変換の最小単位よりも小さくなることを抑制することができる。
　さらに、上記説明においては、入力信号のフォーマットが4:2:0の場合について説明したが、次に、図２４を参照して、入力信号のフォーマットが4:2:2の場合について考える。
　なお、入力信号のフォーマットが4:4:4の場合、輝度信号ブロックと色差信号ブロックは同一の大きさであるので、上述したように、色差ブロックの最小単位が直交変換の最小単位よりも小さくなることはない。
　入力信号のフォーマットが4:2:2の場合で、輝度信号ブロックが、図９のＢに示された８×４画素であるとき、これに対応する色差信号ブロックは、４×４画素となり、色差ブロックの最小単位が直交変換の最小単位よりも小さくなることはない。
　これに対して、輝度信号ブロックが、図２４に示されるように、４×４画素または４×８画素であるとき、本発明を適用することができる。
　すなわち、図２４のＡの例においては、入力信号のフォーマットが4:2:2であり、輝度信号ブロックが４×４画素である場合が示されている。このとき、０および１が付された２つの輝度信号の４×４ブロックに、Ｃが付された１つの色差信号の４×４ブロックが対応することになる。
　したがって、図２４のＡの場合、０および１が付された２つの輝度信号のブロックに対する動きベクトル情報mv0，mv1から、Ｃが付された色差信号のブロックに対する動きベクトル情報mvc、または予測動きベクトル情報pmvcが生成可能である。
　また、図２４のＢの例においては、入力信号のフォーマットが4:2:2であり、輝度信号ブロックが４×８画素である場合が示されている。このとき、０および１が付された２つの輝度信号の４×８ブロックに、Ｃが付された１つの色差信号の４×８ブロックが対応することになる。
　したがって、図２４のＢの場合も、０および１が付された２つの輝度信号のブロックに対する動きベクトル情報mv0，mv1から、Ｃが付された色差信号のブロックに対する動きベクトル情報mvc、または予測動きベクトル情報pmvcが生成可能である。
　ただし、Ｃが付された色差信号のブロックのサイズが４×８となるが、図２４のＢに示されるように、直交変換の大きさは４×４である。
　以上においては、符号化方式としてH．264/AVC方式をベースに用いるようにしたが、本発明はこれに限らず、１つのマクロブロックを複数の動きパーティションに分割し、動き補償を行い、差分値に対して直交変換を行う、その他の符号化方式／復号方式を適用することができる。
　なお、本発明は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
［パーソナルコンピュータの構成例］
　図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した画像符号化装置５１や画像復号装置１０１は、任意の電子機器に適用することができる。以下にその例について説明する。
［テレビジョン受像機の構成例］
　図２６は、本発明を適用した画像復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。
　図２６に示されるテレビジョン受像機３００は、地上波チューナ３１３、ビデオデコーダ３１５、映像信号処理回路３１８、グラフィック生成回路３１９、パネル駆動回路３２０、および表示パネル３２１を有する。
　地上波チューナ３１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ３１５に供給する。ビデオデコーダ３１５は、地上波チューナ３１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路３１８に供給する。
　映像信号処理回路３１８は、ビデオデコーダ３１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路３１９に供給する。
　グラフィック生成回路３１９は、表示パネル３２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路３２０に供給する。また、グラフィック生成回路３１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路３２０に供給するといった処理も適宜行う。
　パネル駆動回路３２０は、グラフィック生成回路３１９から供給されたデータに基づいて表示パネル３２１を駆動し、番組の映像や上述した各種の画面を表示パネル３２１に表示させる。
　表示パネル３２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路３２０による制御に従って番組の映像などを表示させる。
　また、テレビジョン受像機３００は、音声A/D（Analog/Digital)変換回路３１４、音声信号処理回路３２２、エコーキャンセル／音声合成回路３２３、音声増幅回路３２４、およびスピーカ３２５も有する。
　地上波チューナ３１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ３１３は、取得した音声信号を音声A/D変換回路３１４に供給する。
　音声A/D変換回路３１４は、地上波チューナ３１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路３２２に供給する。
　音声信号処理回路３２２は、音声A/D変換回路３１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路３２３に供給する。
　エコーキャンセル／音声合成回路３２３は、音声信号処理回路３２２から供給された音声データを音声増幅回路３２４に供給する。
　音声増幅回路３２４は、エコーキャンセル／音声合成回路３２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ３２５から出力させる。
　さらに、テレビジョン受像機３００は、デジタルチューナ３１６およびMPEGデコーダ３１７も有する。
　デジタルチューナ３１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ３１７に供給する。
　MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ３１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路３２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路３１８に供給する。また、MPEGデコーダ３１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU３３２に供給する。
　テレビジョン受像機３００は、このように映像パケットをデコードするMPEGデコーダ３１７として、上述した画像復号装置１０１を用いる。したがって、MPEGデコーダ３１７は、画像復号装置１０１の場合と同様に、色差信号のブロックサイズが、直交変換のブロックサイズよりも小さい場合に、複数の輝度信号ブロックに対して対応させた単一の色差信号ブロックの動きベクトルを、複数の輝度信号ブロックの動きベクトルを用いて生成する。これにより、直交変換による非０係数の出現が減少されるので、符号化効率を改善することができる。また、メモリアクセスの計算が１回で済むので、必要となるメモリバンド幅を減少させることができる。
　MPEGデコーダ３１７から供給された映像データは、ビデオデコーダ３１５から供給された映像データの場合と同様に、映像信号処理回路３１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路３１９において、生成された映像データ等が適宜重畳され、パネル駆動回路３２０を介して表示パネル３２１に供給され、その画像が表示される。
　MPEGデコーダ３１７から供給された音声データは、音声A/D変換回路３１４から供給された音声データの場合と同様に、音声信号処理回路３２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路３２３を介して音声増幅回路３２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ３２５から出力される。
　また、テレビジョン受像機３００は、マイクロホン３２６、およびA/D変換回路３２７も有する。
　A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路３２３に供給する。
　エコーキャンセル／音声合成回路３２３は、テレビジョン受像機３００のユーザ（ユーザＡ）の音声のデータがA/D変換回路３２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路３２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
　さらに、テレビジョン受像機３００は、音声コーデック３２８、内部バス３２９、SDRAM（Synchronous Dynamic Random Access Memory)３３０、フラッシュメモリ３３１、CPU３３２、USB（Universal Serial Bus) I/F３３３、およびネットワークI/F３３４も有する。
　A/D変換回路３２７は、音声会話用のものとしてテレビジョン受像機３００に設けられるマイクロホン３２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路３２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック３２８に供給する。
　音声コーデック３２８は、A/D変換回路３２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス３２９を介してネットワークI/F３３４に供給する。
　ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F３３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック３２８から供給された音声データを送信する。また、ネットワークI/F３３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子３３５を介して受信し、それを、内部バス３２９を介して音声コーデック３２８に供給する。
　音声コーデック３２８は、ネットワークI/F３３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路３２３に供給する。
　エコーキャンセル／音声合成回路３２３は、音声コーデック３２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路３２４を介してスピーカ３２５より出力させる。
　SDRAM３３０は、CPU３３２が処理を行う上で必要な各種のデータを記憶する。
　フラッシュメモリ３３１は、CPU３３２により実行されるプログラムを記憶する。フラッシュメモリ３３１に記憶されているプログラムは、テレビジョン受像機３００の起動時などの所定のタイミングでCPU３３２により読み出される。フラッシュメモリ３３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。
　例えば、フラッシュメモリ３３１には、CPU３３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ３３１は、例えばCPU３３２の制御により、そのMPEG-TSを、内部バス３２９を介してMPEGデコーダ３１７に供給する。
　MPEGデコーダ３１７は、デジタルチューナ３１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機３００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ３１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。
　また、テレビジョン受像機３００は、リモートコントローラ３５１から送信される赤外線信号を受光する受光部３３７も有する。
　受光部３３７は、リモートコントローラ３５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU３３２に出力する。
　CPU３３２は、フラッシュメモリ３３１に記憶されているプログラムを実行し、受光部３３７から供給される制御コードなどに応じてテレビジョン受像機３００の全体の動作を制御する。CPU３３２とテレビジョン受像機３００の各部は、図示せぬ経路を介して接続されている。
　USB I/F３３３は、USB端子３３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機３００の外部の機器との間でデータの送受信を行う。ネットワークI/F３３４は、ネットワーク端子３３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。
　テレビジョン受像機３００は、MPEGデコーダ３１７として画像復号装置１０１を用いることにより、処理の高速化を実現するとともに、符号化効率を向上することができる。その結果として、テレビジョン受像機３００は、アンテナを介して受信した放送波信号や、ネットワークを介して取得したコンテンツデータから、より高速に、より高精細な復号画像を得て、表示することができる。
［携帯電話機の構成例］
　図３１は、本発明を適用した画像符号化装置および画像復号装置を用いる携帯電話機の主な構成例を示すブロック図である。
　図３１に示される携帯電話機４００は、各部を統括的に制御するようになされた主制御部４５０、電源回路部４５１、操作入力制御部４５２、画像エンコーダ４５３、カメラI/F部４５４、LCD制御部４５５、画像デコーダ４５６、多重分離部４５７、記録再生部４６２、変復調回路部４５８、および音声コーデック４５９を有する。これらは、バス４６０を介して互いに接続されている。
　また、携帯電話機４００は、操作キー４１９、CCD（Charge Coupled Devices）カメラ４１６、液晶ディスプレイ４１８、記憶部４２３、送受信回路部４６３、アンテナ４１４、マイクロホン（マイク）４２１、およびスピーカ４１７を有する。
　電源回路部４５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機４００を動作可能な状態に起動する。
　携帯電話機４００は、CPU、ROMおよびRAM等でなる主制御部４５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　例えば、音声通話モードにおいて、携帯電話機４００は、マイクロホン（マイク）４２１で集音した音声信号を、音声コーデック４５９によってデジタル音声データに変換し、これを変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。
　また、例えば、音声通話モードにおいて、携帯電話機４００は、アンテナ４１４で受信した受信信号を送受信回路部４６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部４５８でスペクトラム逆拡散処理し、音声コーデック４５９によってアナログ音声信号に変換する。携帯電話機４００は、その変換して得られたアナログ音声信号をスピーカ４１７から出力する。
　更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機４００は、操作キー４１９の操作によって入力された電子メールのテキストデータを、操作入力制御部４５２において受け付ける。携帯電話機４００は、そのテキストデータを主制御部４５０において処理し、LCD制御部４５５を介して、画像として液晶ディスプレイ４１８に表示させる。
　また、携帯電話機４００は、主制御部４５０において、操作入力制御部４５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機４００は、その電子メールデータを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。
　また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機４００は、復元された電子メールデータを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示する。
　なお、携帯電話機４００は、受信した電子メールデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
　この記憶部４２３は、書き換え可能な任意の記憶媒体である。記憶部４２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。
　さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機４００は、撮像によりCCDカメラ４１６で画像データを生成する。CCDカメラ４１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部４５４を介して、画像エンコーダ４５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。
　携帯電話機４００は、このような処理を行う画像エンコーダ４５３として、上述した画像符号化装置５１を用いる。したがって、画像エンコーダ４５３は、画像符号化装置５１の場合と同様に、色差信号のブロックサイズが、直交変換のブロックサイズよりも小さい場合に、複数の輝度信号ブロックに対して対応させた単一の色差信号ブロックの動きベクトルを、複数の輝度信号ブロックの動きベクトルを用いて生成する。これにより、直交変換による非０係数の出現が減少されるので、符号化効率を改善することができる。また、メモリアクセスの計算が１回で済むので、必要となるメモリバンド幅を減少させることができる。
　なお、携帯電話機４００は、このとき同時に、CCDカメラ４１６で撮像中にマイクロホン（マイク）４２１で集音した音声を、音声コーデック４５９においてアナログデジタル変換し、さらに符号化する。
　携帯電話機４００は、多重分離部４５７において、画像エンコーダ４５３から供給された符号化画像データと、音声コーデック４５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機４００は、その結果得られる多重化データを、変復調回路部４５８でスペクトラム拡散処理し、送受信回路部４６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機４００は、その変換処理により得られた送信用信号を、アンテナ４１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。
　なお、画像データを送信しない場合、携帯電話機４００は、CCDカメラ４１６で生成した画像データを、画像エンコーダ４５３を介さずに、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させることもできる。
　また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機４００は、基地局から送信された信号を、アンテナ４１４を介して送受信回路部４６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機４００は、その受信信号を変復調回路部４５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機４００は、多重分離部４５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。
　携帯電話機４００は、画像デコーダ４５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部４５５を介して液晶ディスプレイ４１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ４１８に表示される。
　携帯電話機４００は、このような処理を行う画像デコーダ４５６として、上述した画像復号装置１０１を用いる。したがって、画像デコーダ４５６は、画像復号装置１０１の場合と同様に、色差信号のブロックサイズが、直交変換のブロックサイズよりも小さい場合に、複数の輝度信号ブロックに対して対応させた単一の色差信号ブロックの動きベクトルを、複数の輝度信号ブロックの動きベクトルを用いて生成する。これにより、直交変換による非０係数の出現が減少されるので、符号化効率を改善することができる。また、メモリアクセスの計算が１回で済むので、必要となるメモリバンド幅を減少させることができる。
　このとき、携帯電話機４００は、同時に、音声コーデック４５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ４１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
　なお、電子メールの場合と同様に、携帯電話機４００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部４６２を介して、記憶部４２３に記録する（記憶させる）ことも可能である。
　また、携帯電話機４００は、主制御部４５０において、撮像されてCCDカメラ４１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。
　さらに、携帯電話機４００は、赤外線通信部４８１で赤外線により外部の機器と通信することができる。
　携帯電話機４００は、画像エンコーダ４５３として画像符号化装置５１を用いることにより、処理の高速化を実現するとともに、符号化効率を向上させることができる。結果として、携帯電話機４００は、符号化効率のよい符号化データ（画像データ）を、より高速に、他の装置に提供することができる。
　また、携帯電話機４００は、画像デコーダ４５６として画像復号装置１０１を用いることにより、処理の高速化を実現するとともに、符号化効率を向上させることができる。その結果として、携帯電話機４００は、例えば、簡易ホームページにリンクされた動画像ファイルから、より高速に、より高精細な復号画像を得て、表示することができる。
　なお、以上において、携帯電話機４００が、CCDカメラ４１６を用いるように説明したが、このCCDカメラ４１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機４００は、CCDカメラ４１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。
　また、以上においては携帯電話機４００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機４００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機４００の場合と同様に、画像符号化装置５１および画像復号装置１０１を適用することができる。
［ハードディスクレコーダの構成例］
　図３２は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。
　図３２に示されるハードディスクレコーダ（HDDレコーダ）５００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。
　ハードディスクレコーダ５００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ５００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。
　さらに、ハードディスクレコーダ５００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることができる。
　ハードディスクレコーダ５００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ５６０に供給し、モニタ５６０の画面にその画像を表示させる。また、ハードディスクレコーダ５００は、モニタ５６０のスピーカよりその音声を出力させることもできる。
　もちろん、この他の動作も可能である。
　図３２に示されるように、ハードディスクレコーダ５００は、受信部５２１、復調部５２２、デマルチプレクサ５２３、オーディオデコーダ５２４、ビデオデコーダ５２５、およびレコーダ制御部５２６を有する。ハードディスクレコーダ５００は、さらに、EPGデータメモリ５２７、プログラムメモリ５２８、ワークメモリ５２９、ディスプレイコンバータ５３０、OSD（On Screen Display）制御部５３１、ディスプレイ制御部５３２、記録再生部５３３、D/Aコンバータ５３４、および通信部５３５を有する。
　また、ディスプレイコンバータ５３０は、ビデオエンコーダ５４１を有する。記録再生部５３３は、エンコーダ５５１およびデコーダ５５２を有する。
　受信部５２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部５２６に出力する。レコーダ制御部５２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ５２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部５２６は、このとき、ワークメモリ５２９を必要に応じて使用する。
　通信部５３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部５３５は、レコーダ制御部５２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。
　復調部５２２は、チューナより供給された信号を、復調し、デマルチプレクサ５２３に出力する。デマルチプレクサ５２３は、復調部５２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ５２４、ビデオデコーダ５２５、またはレコーダ制御部５２６に出力する。
　オーディオデコーダ５２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部５３３に出力する。ビデオデコーダ５２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ５３０に出力する。レコーダ制御部５２６は、入力されたEPGデータをEPGデータメモリ５２７に供給し、記憶させる。
　ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されたビデオデータを、ビデオエンコーダ５４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部５３３に出力する。また、ディスプレイコンバータ５３０は、ビデオデコーダ５２５またはレコーダ制御部５２６より供給されるビデオデータの画面のサイズを、モニタ５６０のサイズに対応するサイズに変換する。ディスプレイコンバータ５３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ５４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部５３２に出力する。
　ディスプレイ制御部５３２は、レコーダ制御部５２６の制御のもと、OSD（On Screen Display）制御部５３１が出力したOSD信号を、ディスプレイコンバータ５３０より入力されたビデオ信号に重畳し、モニタ５６０のディスプレイに出力し、表示させる。
　モニタ５６０にはまた、オーディオデコーダ５２４が出力したオーディオデータが、D/Aコンバータ５３４によりアナログ信号に変換されて供給されている。モニタ５６０は、このオーディオ信号を内蔵するスピーカから出力する。
　記録再生部５３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。
　記録再生部５３３は、例えば、オーディオデコーダ５２４より供給されるオーディオデータを、エンコーダ５５１によりMPEG方式でエンコードする。また、記録再生部５３３は、ディスプレイコンバータ５３０のビデオエンコーダ５４１より供給されるビデオデータを、エンコーダ５５１によりMPEG方式でエンコードする。記録再生部５３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部５３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。
　記録再生部５３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部５３３は、デコーダ５５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部５３３は、復号したオーディオデータをD/A変換し、モニタ５６０のスピーカに出力する。また、記録再生部５３３は、復号したビデオデータをD/A変換し、モニタ５６０のディスプレイに出力する。
　レコーダ制御部５２６は、受信部５２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ５２７から最新のEPGデータを読み出し、それをOSD制御部５３１に供給する。OSD制御部５３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部５３２に出力する。ディスプレイ制御部５３２は、OSD制御部５３１より入力されたビデオデータをモニタ５６０のディスプレイに出力し、表示させる。これにより、モニタ５６０のディスプレイには、EPG（電子番組ガイド）が表示される。
　また、ハードディスクレコーダ５００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。
　通信部５３５は、レコーダ制御部５２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部５２６に供給する。レコーダ制御部５２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部５３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部５２６および記録再生部５３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。
　また、レコーダ制御部５２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ５３０に供給する。ディスプレイコンバータ５３０は、ビデオデコーダ５２５から供給されるビデオデータと同様に、レコーダ制御部５２６から供給されるビデオデータを処理し、ディスプレイ制御部５３２を介してモニタ５６０に供給し、その画像を表示させる。
　また、この画像表示に合わせて、レコーダ制御部５２６が、復号したオーディオデータを、D/Aコンバータ５３４を介してモニタ５６０に供給し、その音声をスピーカから出力させるようにしてもよい。
　さらに、レコーダ制御部５２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ５２７に供給する。
　以上のようなハードディスクレコーダ５００は、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダとして画像復号装置１０１を用いる。したがって、ビデオデコーダ５２５、デコーダ５５２、およびレコーダ制御部５２６に内蔵されるデコーダは、画像復号装置１０１の場合と同様に、色差信号のブロックサイズが、直交変換のブロックサイズよりも小さい場合に、複数の輝度信号ブロックに対して対応させた単一の色差信号ブロックの動きベクトルを、複数の輝度信号ブロックの動きベクトルを用いて生成する。これにより、直交変換による非０係数の出現が減少されるので、符号化効率を改善することができる。また、メモリアクセスの計算が１回で済むので、必要となるメモリバンド幅を減少させることができる。
　したがって、ハードディスクレコーダ５００は、処理の高速化を実現するとともに、精度の高い予測画像を生成することができる。その結果として、ハードディスクレコーダ５００は、例えば、チューナを介して受信されたビデオデータの符号化データや、記録再生部５３３のハードディスクから読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高速に、より高精細な復号画像を得て、モニタ５６０に表示させることができる。
　また、ハードディスクレコーダ５００は、エンコーダ５５１として画像符号化装置５１を用いる。したがって、エンコーダ５５１は、画像符号化装置５１の場合と同様に、色差信号のブロックサイズが、直交変換のブロックサイズよりも小さい場合に、複数の輝度信号ブロックに対して対応させた単一の色差信号ブロックの動きベクトルを、複数の輝度信号ブロックの動きベクトルを用いて生成する。これにより、直交変換による非０係数の出現が減少されるので、符号化効率を改善することができる。また、メモリアクセスの計算が１回で済むので、必要となるメモリバンド幅を減少させることができる。
　したがって、ハードディスクレコーダ５００は、例えば、処理の高速化を実現するとともに、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、ハードディスクレコーダ５００は、より高速に、ハードディスクの記憶領域をより効率よく使用することができる。
　なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ５００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ５００の場合と同様に、画像符号化装置５１および画像復号装置１０１を適用することができる。
［カメラの構成例］
　図３３は、本発明を適用した画像復号装置および画像符号化装置を用いるカメラの主な構成例を示すブロック図である。
　図３３に示されるカメラ６００は、被写体を撮像し、被写体の画像をLCD６１６に表示させたり、それを画像データとして、記録メディア６３３に記録したりする。
　レンズブロック６１１は、光（すなわち、被写体の映像）を、CCD/CMOS６１２に入射させる。CCD/CMOS６１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部６１３に供給する。
　カメラ信号処理部６１３は、CCD/CMOS６１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部６１４に供給する。画像信号処理部６１４は、コントローラ６２１の制御の下、カメラ信号処理部６１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ６４１で例えばMPEG方式により符号化したりする。画像信号処理部６１４は、画像信号を符号化して生成した符号化データを、デコーダ６１５に供給する。さらに、画像信号処理部６１４は、オンスクリーンディスプレイ（OSD）６２０において生成された表示用データを取得し、それをデコーダ６１５に供給する。
　以上の処理において、カメラ信号処理部６１３は、バス６１７を介して接続されるDRAM（Dynamic Random Access Memory）６１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM６１８に保持させる。
　デコーダ６１５は、画像信号処理部６１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD６１６に供給する。また、デコーダ６１５は、画像信号処理部６１４から供給された表示用データをLCD６１６に供給する。LCD６１６は、デコーダ６１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。
　オンスクリーンディスプレイ６２０は、コントローラ６２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス６１７を介して画像信号処理部６１４に出力する。
　コントローラ６２１は、ユーザが操作部６２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス６１７を介して、画像信号処理部６１４、DRAM６１８、外部インタフェース６１９、オンスクリーンディスプレイ６２０、およびメディアドライブ６２３等を制御する。FLASH ROM６２４には、コントローラ６２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。
　例えば、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５に代わって、DRAM６１８に記憶されている画像データを符号化したり、DRAM６１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ６２１は、画像信号処理部６１４やデコーダ６１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部６１４やデコーダ６１５が対応していない方式により符号化・復号処理を行うようにしてもよい。
　また、例えば、操作部６２２から画像印刷の開始が指示された場合、コントローラ６２１は、DRAM６１８から画像データを読み出し、それを、バス６１７を介して外部インタフェース６１９に接続されるプリンタ６３４に供給して印刷させる。
　さらに、例えば、操作部６２２から画像記録が指示された場合、コントローラ６２１は、DRAM６１８から符号化データを読み出し、それを、バス６１７を介してメディアドライブ６２３に装着される記録メディア６３３に供給して記憶させる。
　記録メディア６３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア６３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。
　また、メディアドライブ６２３と記録メディア６３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　外部インタフェース６１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ６３４と接続される。また、外部インタフェース６１９には、必要に応じてドライブ６３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア６３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM６２４にインストールされる。
　さらに、外部インタフェース６１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ６２１は、例えば、操作部６２２からの指示に従って、DRAM６１８から符号化データを読み出し、それを外部インタフェース６１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ６２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース６１９を介して取得し、それをDRAM６１８に保持させたり、画像信号処理部６１４に供給したりすることができる。
　以上のようなカメラ６００は、デコーダ６１５として画像復号装置１０１を用いる。したがって、デコーダ６１５は、画像復号装置１０１の場合と同様に、色差信号のブロックサイズが、直交変換のブロックサイズよりも小さい場合に、複数の輝度信号ブロックに対して対応させた単一の色差信号ブロックの動きベクトルを、複数の輝度信号ブロックの動きベクトルを用いて生成する。これにより、直交変換による非０係数の出現が減少されるので、符号化効率を改善することができる。また、メモリアクセスの計算が１回で済むので、必要となるメモリバンド幅を減少させることができる。
　したがって、カメラ６００は、処理の高速化を実現するとともに、精度の高い予測画像を生成することができる。その結果として、カメラ６００は、例えば、CCD/CMOS６１２において生成された画像データや、DRAM６１８または記録メディア６３３から読み出されたビデオデータの符号化データや、ネットワークを介して取得したビデオデータの符号化データから、より高速に、より高精細な復号画像を得て、LCD６１６に表示させることができる。
　また、カメラ６００は、エンコーダ６４１として画像符号化装置５１を用いる。したがって、エンコーダ６４１は、画像符号化装置５１の場合と同様に、色差信号のブロックサイズが、直交変換のブロックサイズよりも小さい場合に、複数の輝度信号ブロックに対して対応させた単一の色差信号ブロックの動きベクトルを、複数の輝度信号ブロックの動きベクトルを用いて生成する。これにより、直交変換による非０係数の出現が減少されるので、符号化効率を改善することができる。また、メモリアクセスの計算が１回で済むので、必要となるメモリバンド幅を減少させることができる。
　したがって、カメラ６００は、例えば、処理の高速化を実現するとともに、ハードディスクに記録する符号化データの符号化効率を向上させることができる。その結果として、カメラ６００は、より高速に、DRAM６１８や記録メディア６３３の記憶領域をより効率よく使用することができる。
　なお、コントローラ６２１が行う復号処理に画像復号装置１０１の復号方法を適用するようにしてもよい。同様に、コントローラ６２１が行う符号化処理に画像符号化装置５１の符号化方法を適用するようにしてもよい。
　また、カメラ６００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。
　もちろん、画像符号化装置５１および画像復号装置１０１は、上述した装置以外の装置やシステムにも適用可能である。
　５１　画像符号化装置，　６６　可逆符号化部，　７４　イントラ予測部，　７５　動き予測・補償部，　７６　色差ブロック判別部，　７７　色差動きベクトル決定部，　８１　動き探索部，　８２　モード判定部，　８３　動き補償部，　９１　ブロックカテゴライズ部，　９２　色差動きベクトル生成部，　９５　色差予測動きベクトル生成部，　９６　色差動きベクトル探索部，　１０１　画像復号装置，　１１２　可逆復号部，　１２１　イントラ予測部，　１２２　動き予測・補償部，　１２３　色差動きベクトル決定部，　１２４　色差ブロック判別部，　１３１　動きベクトルバッファ，　１３２　モード情報バッファ，　１３３　予測画像生成部，　１４１　ブロックカテゴライズ部，　１４２　色差動きベクトル生成部

Claims (12)

  1. 　符号化対象の輝度ブロックの動き予測を行い、動きベクトルを生成する動き予測手段と、
    　前記動き予測手段により前記動きベクトルが生成された前記輝度ブロックに対応する色差ブロックを、直交変換のブロックサイズに応じたカテゴリに分類するブロック判別手段と、
    　前記色差ブロックが、前記ブロック判別手段により前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルを生成する色差動きベクトル生成手段と
    　を備える画像処理装置。
  2. 　前記色差動きベクトル生成手段は、前記単一の色差ブロックの動きベクトルを、前記動き予測手段により生成された複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いて生成する
    　請求項１に記載の画像処理装置。
  3. 　前記色差動きベクトル生成手段は、前記単一の色差ブロックの動きベクトルを、前記動き予測手段により生成された複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いた関数により生成する
    　請求項２に記載の画像処理装置。
  4. 　前記動き予測手段により生成された前記輝度ブロックの動きベクトルの情報を符号化する符号化手段をさらに備え、
    　前記色差動きベクトル生成手段は、前記単一の色差ブロックの予測動きベクトルを、前記動き予測手段により求められた複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いた関数により生成し、生成した前記予測動きベクトルと、前記予測動きベクトルを中心とした所定の範囲で探索された前記単一の色差ブロックの動きベクトルとの差分を求め、
    　前記符号化手段は、前記色差動きベクトル生成手段により求められた前記差分の情報を符号化する
    　請求項２に記載の画像処理装置。
  5. 　前記動き予測手段は、前記色差ブロックが、前記ブロック判別手段により前記直交変換のブロックサイズ以上のサイズのカテゴリに分類された場合、符号化規格の方法で、前記色差ブロックの動きベクトルを生成する
    　請求項２に記載の画像処理装置。
  6. 　画像処理装置が、
    　符号化対象の輝度ブロックの動き予測を行い、動きベクトルを生成し、
    　前記動きベクトルが生成された前記輝度ブロックに対応する色差ブロックを、直交変換のブロックサイズに応じたカテゴリに分類し、
    　前記色差ブロックが、前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルを生成するステップ
    　を含む画像処理方法。
  7. 　復号対象の輝度ブロックの予測モードの情報を復号する復号手段と、
    　前記復号手段により復号された前記予測モードの情報が示す前記輝度ブロックのサイズに基づいて、前記輝度ブロックに対応する色差ブロックを、直交変換のブロックサイズに応じたカテゴリに分類するブロック判別手段と、
    　前記色差ブロックが、前記ブロック判別手段により前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルを生成する色差動きベクトル生成手段と
    　を備える画像処理装置。
  8. 　前記復号手段は、前記輝度ブロックの動きベクトルの情報を復号し、
    　前記色差動きベクトル生成手段は、前記単一の色差ブロックの動きベクトルを、前記復号手段により復号された複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いて生成する
    　請求項７に記載の画像処理装置。
  9. 　前記色差動きベクトル生成手段は、前記単一の色差ブロックの動きベクトルを、前記復号手段により復号された複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いた関数により生成する
    　請求項８に記載の画像処理装置。
  10. 　前記復号手段は、符号化側において求められて符号化されている、複数の前記輝度ブロックの動きベクトルを用いて平均値を算出することにより生成された前記単一の色差ブロックの予測動きベクトルと、前記予測動きベクトルを中心とした所定の範囲で探索された前記単一の色差ブロックの動きベクトルとの差分の情報を復号し、
    　前記色差動きベクトル生成手段は、前記単一の色差ブロックの予測動きベクトルを、前記動き予測手段により求められた複数の前記輝度ブロックの動きベクトルの少なくとも１つを用いた関数により生成し、生成した前記予測動きベクトルと、前記復号手段により復号された前記差分の情報とを加算することにより、前記単一の色差ブロックの動きベクトルを生成する
    　請求項８に記載の画像処理装置。
  11. 　前記輝度ブロックの動きベクトルを用いて、前記輝度ブロックの予測画像を生成する予測画像生成手段をさらに備え、
    　前記予測画像生成手段は、前記色差ブロックが、前記ブロック判別手段により前記直交変換のブロックサイズ以上のサイズのカテゴリに分類された場合、符号化規格の方法で、前記色差ブロックの動きベクトルを生成して、前記色差ブロックの予測画像を生成する
    　請求項８に記載の画像処理装置。
  12. 　画像処理装置が、
    　復号対象の輝度ブロックの予測モードの情報を復号し、
    　復号された前記予測モードの情報が示す前記輝度ブロックのサイズに基づいて、前記輝度ブロックに対応する色差ブロックを、直交変換のブロックサイズに応じたカテゴリに分類する、
    　前記色差ブロックが、前記直交変換のブロックサイズよりも小さいサイズのカテゴリに分類された場合、複数の前記輝度ブロックに対して、単一の色差ブロックを対応させて、前記単一の色差ブロックの動きベクトルを生成するステップ
    　を含む画像処理方法。
PCT/JP2010/066388 2009-09-30 2010-09-22 画像処理装置および方法 WO2011040302A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201080043968.2A CN102577388B (zh) 2009-09-30 2010-09-22 图像处理装置和方法
US13/498,096 US8744182B2 (en) 2009-09-30 2010-09-22 Image processing device and method
US14/195,990 US9503748B2 (en) 2009-09-30 2014-03-04 Image processing device and method for assigning luma blocks to chroma blocks
US14/602,634 US9510014B2 (en) 2009-09-30 2015-01-22 Image processing device and method for assigning luma blocks to chroma blocks
US14/602,830 US9510015B2 (en) 2009-09-30 2015-01-22 Image processing device and method for assigning luma blocks to chroma blocks
US14/602,497 US9544614B2 (en) 2009-09-30 2015-01-22 Image processing device and method for assigning luma blocks to chroma blocks
US15/337,602 US9979981B2 (en) 2009-09-30 2016-10-28 Image processing device and method
US15/914,264 US10911772B2 (en) 2009-09-30 2018-03-07 Image processing device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-226220 2009-09-30
JP2009226220A JP5234368B2 (ja) 2009-09-30 2009-09-30 画像処理装置および方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/498,096 A-371-Of-International US8744182B2 (en) 2009-09-30 2010-09-22 Image processing device and method
US14/195,990 Continuation US9503748B2 (en) 2009-09-30 2014-03-04 Image processing device and method for assigning luma blocks to chroma blocks

Publications (1)

Publication Number Publication Date
WO2011040302A1 true WO2011040302A1 (ja) 2011-04-07

Family

ID=43826126

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/066388 WO2011040302A1 (ja) 2009-09-30 2010-09-22 画像処理装置および方法

Country Status (4)

Country Link
US (7) US8744182B2 (ja)
JP (1) JP5234368B2 (ja)
CN (3) CN104639945B (ja)
WO (1) WO2011040302A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959785A (zh) * 2011-11-01 2014-07-30 高通股份有限公司 在视频译码中用于色度分量的变换单位分割

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
JP2013110517A (ja) * 2011-11-18 2013-06-06 Canon Inc 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9743091B2 (en) 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
US9491460B2 (en) * 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
JP6399433B2 (ja) * 2013-05-31 2018-10-03 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
DE102014220809A1 (de) * 2014-10-14 2016-04-14 Siemens Aktiengesellschaft Vorrichtung und Verfahren zum Detektieren eines sich bewegenden Objekts
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
US10015504B2 (en) * 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
CN109218733B (zh) * 2017-06-30 2022-03-29 华为技术有限公司 一种确定预测运动矢量预测的方法以及相关设备
CN107392838B (zh) * 2017-07-27 2020-11-27 苏州浪潮智能科技有限公司 基于OpenCL的WebP压缩并行加速方法及装置
TW201944778A (zh) * 2018-04-09 2019-11-16 晨星半導體股份有限公司 幀內預測模式決定裝置與幀內預測模式決定方法
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
CN110636297B (zh) 2018-06-21 2021-05-14 北京字节跳动网络技术有限公司 分量相关的子块分割
GB2589769B (en) 2018-07-15 2023-02-15 Beijing Bytedance Network Tech Co Ltd Cross-component coding order derivation
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
CN112997480B (zh) 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
CN113597760A (zh) 2019-01-02 2021-11-02 北京字节跳动网络技术有限公司 视频处理的方法
US11632563B2 (en) * 2019-02-22 2023-04-18 Qualcomm Incorporated Motion vector derivation in video coding
BR112021017841A2 (pt) * 2019-03-11 2021-11-30 Fraunhofer Ges Forschung Codificador e decodificador, método de codificação e decodificação, sinal de vídeo e sistema
CN112655201B (zh) * 2020-04-23 2022-02-11 华为技术有限公司 一种图像编解码的方法、装置及系统、和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308662A (ja) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp 高能率符号化装置
JPH06189297A (ja) * 1992-12-21 1994-07-08 Matsushita Electric Ind Co Ltd 動きベクトル検出方法
JPH06311533A (ja) * 1993-04-27 1994-11-04 Matsushita Electric Ind Co Ltd 動き補償装置
JPH07236159A (ja) * 1994-02-21 1995-09-05 Sony Corp 動き補償符号化方法、動き補償符号化装置、伝送装置および記録装置
JP2004254327A (ja) * 2003-02-21 2004-09-09 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
WO2006114954A1 (ja) * 2005-04-22 2006-11-02 Matsushita Electric Industrial Co., Ltd. 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
WO2010001918A1 (ja) * 2008-07-01 2010-01-07 ソニー株式会社 画像処理装置および方法、並びにプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1047055A (zh) * 1989-05-10 1990-11-21 夏敬释 车辆大灯自动变光控制装置
NL9201594A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een gecodeerd digitaal signaal, en encoder en decoder voor toepassing in het systeem.
EP0779744A3 (en) * 1995-12-06 1997-08-20 Thomson Multimedia Sa Method and device for coding digital video signals
JP3440830B2 (ja) 1998-06-26 2003-08-25 ソニー株式会社 画像符号化装置及び方法、並びに記録媒体
NO319007B1 (no) * 2003-05-22 2005-06-06 Tandberg Telecom As Fremgangsmate og apparat for videokomprimering
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
JP3955303B2 (ja) 2005-04-25 2007-08-08 有限会社ムゲンコーポレーション コンテナ等の防振装置およびその使用方法
JP4820191B2 (ja) * 2006-03-15 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
NO325859B1 (no) * 2006-05-31 2008-08-04 Tandberg Telecom As Kodek-preprosessering
WO2008032660A1 (en) 2006-09-11 2008-03-20 Panasonic Corporation Image decoding device, image decoding method, image decoding system, and system lsi
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
TW200845758A (en) * 2007-05-03 2008-11-16 Nat Univ Chung Cheng Fast intra coding algorithms for dynamic definition adjustment
US8754990B2 (en) * 2007-09-14 2014-06-17 Broadcom Corporation Method and system for processing chroma signals
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US8588295B2 (en) * 2009-03-09 2013-11-19 Mediatek Inc. Methods and electronic devices for quantization and de-quantization
KR102333204B1 (ko) * 2009-08-12 2021-12-02 인터디지털 브이씨 홀딩스 인코포레이티드 개선된 인트라 색차 엔코딩 및 디코딩을 위한 방법 및 장치
JP5234368B2 (ja) 2009-09-30 2013-07-10 ソニー株式会社 画像処理装置および方法
JP6301624B2 (ja) 2013-10-03 2018-03-28 株式会社東芝 放送受信装置、情報処理システムおよび情報処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308662A (ja) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp 高能率符号化装置
JPH06189297A (ja) * 1992-12-21 1994-07-08 Matsushita Electric Ind Co Ltd 動きベクトル検出方法
JPH06311533A (ja) * 1993-04-27 1994-11-04 Matsushita Electric Ind Co Ltd 動き補償装置
JPH07236159A (ja) * 1994-02-21 1995-09-05 Sony Corp 動き補償符号化方法、動き補償符号化装置、伝送装置および記録装置
JP2004254327A (ja) * 2003-02-21 2004-09-09 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
WO2006114954A1 (ja) * 2005-04-22 2006-11-02 Matsushita Electric Industrial Co., Ltd. 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
WO2010001918A1 (ja) * 2008-07-01 2010-01-07 ソニー株式会社 画像処理装置および方法、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959785A (zh) * 2011-11-01 2014-07-30 高通股份有限公司 在视频译码中用于色度分量的变换单位分割
JP2014535221A (ja) * 2011-11-01 2014-12-25 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングにおけるクロマ成分のための変換ユニットパーティショニング
US9807401B2 (en) 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding

Also Published As

Publication number Publication date
JP5234368B2 (ja) 2013-07-10
US20150131735A1 (en) 2015-05-14
US20140185946A1 (en) 2014-07-03
CN104539969B (zh) 2018-06-26
US10911772B2 (en) 2021-02-02
US20150131905A1 (en) 2015-05-14
CN104539969A (zh) 2015-04-22
JP2011077761A (ja) 2011-04-14
US9979981B2 (en) 2018-05-22
US9544614B2 (en) 2017-01-10
CN104639945B (zh) 2018-11-20
CN102577388A (zh) 2012-07-11
CN104639945A (zh) 2015-05-20
US8744182B2 (en) 2014-06-03
US20120219216A1 (en) 2012-08-30
US20150131737A1 (en) 2015-05-14
US9510014B2 (en) 2016-11-29
US9503748B2 (en) 2016-11-22
US20180199056A1 (en) 2018-07-12
CN102577388B (zh) 2016-05-25
US9510015B2 (en) 2016-11-29
US20170048542A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5234368B2 (ja) 画像処理装置および方法
WO2011024685A1 (ja) 画像処理装置および方法
WO2010101064A1 (ja) 画像処理装置および方法
TWI405469B (zh) Image processing apparatus and method
WO2011018965A1 (ja) 画像処理装置および方法
WO2010035731A1 (ja) 画像処理装置および方法
WO2010095560A1 (ja) 画像処理装置および方法
WO2010035734A1 (ja) 画像処理装置および方法
WO2011089972A1 (ja) 画像処理装置および方法
WO2011089973A1 (ja) 画像処理装置および方法
WO2010035732A1 (ja) 画像処理装置および方法
JPWO2011078002A1 (ja) 画像処理装置および方法、並びにプログラム
WO2011086963A1 (ja) 画像処理装置および方法
JPWO2010064674A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2011096318A1 (ja) 画像処理装置および方法
WO2010101063A1 (ja) 画像処理装置および方法
WO2010035735A1 (ja) 画像処理装置および方法
JP2014143716A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6048774B2 (ja) 画像処理装置および方法
WO2011125625A1 (ja) 画像処理装置および方法
JP2013150347A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080043968.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10820421

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13498096

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10820421

Country of ref document: EP

Kind code of ref document: A1