WO2010067529A1 - 動画像復号化方法及び装置、動画像符号化方法及び装置 - Google Patents

動画像復号化方法及び装置、動画像符号化方法及び装置 Download PDF

Info

Publication number
WO2010067529A1
WO2010067529A1 PCT/JP2009/006476 JP2009006476W WO2010067529A1 WO 2010067529 A1 WO2010067529 A1 WO 2010067529A1 JP 2009006476 W JP2009006476 W JP 2009006476W WO 2010067529 A1 WO2010067529 A1 WO 2010067529A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction direction
encoding
decoding
prediction
block
Prior art date
Application number
PCT/JP2009/006476
Other languages
English (en)
French (fr)
Inventor
米司健一
高橋昌史
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN200980149592.0A priority Critical patent/CN102246526B/zh
Priority to JP2010541982A priority patent/JP5400798B2/ja
Priority to US13/133,390 priority patent/US20110243227A1/en
Publication of WO2010067529A1 publication Critical patent/WO2010067529A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving picture encoding technique for encoding a moving picture and a moving picture decoding technique for decoding a moving picture.
  • Encoding methods such as MPEG (Moving Picture Experts Group) method have been established as a method to record and transmit large-capacity moving image information as digital data, MPEG-1 standard, MPEG-2 standard, MPEG-4 standard, The H.264 / AVC (Advanced Video Video Coding) standard is known.
  • MPEG Motion Picture Experts Group
  • MPEG-4 Motion Picture Experts Group
  • H.264 / AVC Advanced Video Video Coding
  • each predictive encoding since prediction is performed while switching a plurality of pixel value prediction methods and block sizes for each macroblock, it is necessary to encode the pixel value prediction method and block size information for each macroblock. .
  • Non-Patent Document 1 shortens the code for representing the prediction direction for the block at the edge of the screen with a small number of prediction directions that can be used in the encoding of the prediction direction at the time of intra prediction encoding. Accordingly, it is disclosed that the code amount is reduced.
  • Non-Patent Document 1 can be applied only to the block at the edge of the screen, and there is a problem that the effect of improving the compression efficiency is small.
  • the present invention has been made in view of the above problems, and an object thereof is to further reduce the amount of codes in the encoding / decoding processing of moving images.
  • an embodiment of the present invention may be configured as described in the claims, for example.
  • Example of block diagram of image coding apparatus Example of block diagram of intra prediction encoding apparatus according to embodiment 1
  • Example of block diagram of image decoding apparatus Example of block diagram of image decoding apparatus according to embodiment 1
  • An example of a block diagram of an intra prediction decoding apparatus according to the first embodiment Conceptual explanatory diagram of intra prediction encoding processing related to H.264 / AVC Conceptual explanatory diagram of prediction direction encoding processing according to H.264 / AVC Conceptual explanatory diagram of intra-screen predictive decoding processing according to H.264 / AVC Explanatory drawing of an example of the encoding of the prediction direction which concerns on Example 1.
  • FIG. 1 is a flowchart of an image encoding device according to the first embodiment.
  • Flowchart of intra-picture encoding apparatus according to embodiment 1 1 is a flowchart of an image decoding apparatus according to the first embodiment.
  • Flowchart of intra-screen decoding apparatus according to embodiment 1 Conceptual explanatory diagram of predictive coding processing used in H.264 / AVC Explanatory drawing of the Example regarding the encoding of the block type which concerns on Example 2.
  • FIG. Block diagram of variable-length encoding apparatus according to embodiment 2 Block diagram of variable length decoding apparatus according to embodiment 2 Flowchart of variable length coding apparatus according to embodiment 2 Flowchart of Variable Length Decoding Device According to Embodiment 2
  • Fig. 5 conceptually shows the operation of the intra-frame predictive encoding process by H.264 / AVC.
  • the encoding target image is encoded in the raster scan order (501), and decoding is performed on the encoded blocks adjacent to the left, upper left, upper, and upper right of the encoding target block.
  • Prediction processing is performed using the converted image.
  • the prediction process uses the pixel values of 13 pixels included in the encoded block (502), and all the pixels on the same straight line with the prediction direction vector as an inclination are predicted based on the same pixel. For example, as shown in (503), the pixels B, C, D, and E of the encoding target block are all subjected to predictive encoding processing with reference to the same pixel.
  • differences (prediction differences) b, c, d, e between the pixels B, C, D, E of the encoding target block and the value A ′ obtained by decoding the pixel immediately above the pixel B are calculated.
  • one prediction direction is selected in units of blocks from eight types of prediction direction candidates such as vertical, horizontal, and diagonal, and the prediction difference and a prediction direction value indicating the selected prediction direction are encoded.
  • “DC prediction” that predicts all the pixels included in the encoding target block by the average value of the reference pixels is used.
  • Fig. 7 conceptually shows the operation of the intra-screen predictive decoding process according to H.264 / AVC.
  • the decoding process is performed according to the raster scan order (701).
  • the reverse procedure of the encoding process is performed using the decoded reference pixel and the prediction difference. That is, a decoded image is acquired by adding a prediction difference value and a reference pixel value along the prediction direction.
  • (702) is the prediction difference b ′, c ′, d ′, e ′ of the decoding target block (b, c, d, e in FIG. 5 are decoded and include a quantization error).
  • To the decoded pixels B ′, C ′, D ′, E ′ decoded pixels for B, C, D, E in FIG. 5 respectively) by adding the decoded reference pixel A ′ ).
  • the intra-screen predictive encoding process based on H.264 / AVC employs a unidirectional method that predicts a pixel at a position along a prediction direction from a reference pixel based on the reference pixel. Yes. In this case, it is necessary to add to the encoded stream information about which prediction direction the prediction process is to be performed for each block that is a unit of the prediction process.
  • Fig. 6 shows the encoding method of the prediction direction in the intra-screen prediction method based on H.264 / AVC.
  • H.264 / AVC pays attention to the fact that the prediction direction of the target block has a high correlation with the prediction direction of the adjacent block, and estimates the prediction direction of the encoding target block from the prediction direction of the encoded adjacent block. That is, as shown in (601), referring to the prediction direction of the block A adjacent to the left side of the encoding target block and the prediction direction of the block B adjacent to the upper side of the target block, the two prediction directions Of these, the prediction direction having the smaller prediction direction value is set as the prediction value (adjacent direction) of the prediction direction in the target block (602).
  • the actual prediction direction (8 directions + 9 prediction directions of DC prediction) 8) (except for the prediction direction in the block) is encoded with 3 bits.
  • Example 1 is an example in which the present invention is used for encoding processing and decoding processing in a prediction direction of a target block in intra prediction.
  • it is determined whether or not the prediction direction of the target block can be easily estimated using the prediction direction data of the block adjacent to the target block.
  • FIG. 8 is a diagram showing an example of a method for determining whether or not the prediction direction of the encoding target block is easy to estimate, and the prediction direction encoding method A and the prediction direction encoding method B.
  • a method for determining whether or not the prediction direction of the encoding target block is easy to estimate will be described with reference to FIG.
  • whether the prediction direction of the encoding target block is easy to estimate is determined by determining whether the encoding target block is adjacent to the left side, the upper side, the upper left side, or the upper right side.
  • Prediction directions MA, MB, MC, and MD of adjacent blocks A, B, C, and D are used. That is, in the prediction directions MA, MB, MC, and MD, when there are N (N is an integer of 2 to 4) identical prediction directions M, it is easy to estimate the prediction direction of the encoding target block.
  • the prediction direction data of the encoding target block is encoded using the prediction direction encoding method A.
  • the prediction direction information of the adjacent block cannot be used as the prediction direction of the encoding target block, such as the presence of the encoding target block at the slice end or the screen end
  • the prediction direction of the encoding target block is estimated. It is determined that it is easy, and the prediction direction data of the encoding target block is encoded using the prediction direction encoding method A.
  • the prediction direction encoding method B (803) is selected, and variable length encoding is performed.
  • the process proceeds to the prediction direction selection process. That is, the prediction direction of one of the prediction directions MA, MB, MC, and MD of the adjacent blocks A, B, C, and D that have been encoded adjacent to the left side, the upper side, the upper left side, and the upper right side of the encoding target block Selection is performed by a predetermined method, and the prediction direction of the selected adjacent block is set as the estimated prediction direction of the encoding target block.
  • the predetermined selection method may be any selection method as long as the same processing can be realized on both the encoding side and the decoding side.
  • a method of selecting a prediction direction with the smallest prediction direction value a method of selecting the most prediction direction among MA, MB, MC, and MD may be used.
  • the encoded adjacent blocks A, B, C, and D adjacent to the left side, the upper side, the upper left side, and the upper right side of the encoding target block are Encoding processing may be performed using adjacent blocks, or encoding processing is performed using only the adjacent blocks A and B that have been encoded adjacent to the left and upper sides of the current block as conventional blocks. May be.
  • the prediction direction encoding method A is a method of determining estimated prediction information using prediction direction information of adjacent blocks, and encoding prediction direction data of an encoding target block using the estimated prediction information.
  • FIG. 8 is a diagram showing details of the bit configuration for encoding the prediction direction data of the encoding target block in the prediction direction encoding method A.
  • the prediction direction in the encoding target block is the same as the prediction direction (estimated prediction direction) in the adjacent block
  • the prediction direction in the encoding target block and the prediction direction (estimated prediction direction) in the adjacent block are the same.
  • Information (1 bit) indicating the direction is encoded.
  • the prediction direction in the encoding target block is different from the prediction direction (estimated prediction direction) in the adjacent block, it indicates that the prediction direction in the encoding target block is different from the prediction direction (estimated prediction direction) in the adjacent block.
  • the actual prediction directions are encoded with 3 bits.
  • the prediction direction encoding method B is a method of encoding the prediction direction data of the encoding target block independently without estimating the prediction direction data of the encoding target block based on the prediction direction data of the adjacent block.
  • the table (803) in FIG. 8 is an example of a variable length code table used for the prediction direction coding method B.
  • the prediction direction data of the block to be encoded is variable length encoded according to the variable length code table as shown in Table (803).
  • Table (803) When a variable length code table such as the table (803) is used, there is no mode that can be indicated by only 1 bit as in the prediction direction coding method A, but some prediction directions may be different from those in the adjacent mode.
  • the mode can be indicated by 2 bits or 3 bits smaller than 4 bits. Therefore, the number of modes that can be indicated by bits smaller than 4 bits is larger than that in the prediction direction encoding method A.
  • the prediction direction encoding method B since it is determined that the prediction direction of the target block is not easy to estimate as described above, the prediction direction of the target block is adjacent. This is the case when the probability of matching the predicted direction of the block is low. That is, in this case, if the prediction direction encoding method A is used, the probability that the code amount in the prediction direction is 4 bits is higher than the probability that the code amount in the prediction direction is 1 bit. Therefore, in such a case, by using the prediction direction encoding method B, improving the probability of encoding the prediction direction with a 2-bit or 3-bit code amount is effective in reducing the code amount. .
  • the variable length code table in table (803) is an example, and other patterns may be used as long as the same effect can be obtained.
  • the decoding process in the present embodiment has been described.
  • the decoding process in this embodiment determines whether the prediction direction of the decoding target block is easy to estimate using the prediction direction information of the adjacent decoded block, and estimates the prediction direction of the decoding target block. Is determined to be easy, the prediction direction data of the decoding target block is decoded according to the bit configuration shown in the bit configuration (802). On the other hand, when it is determined that the estimation of the prediction direction of the decoding target block is not easy, the prediction direction data of the decoding target block is decoded based on the variable length code table shown in the table (803).
  • the moving image encoding apparatus includes an input image memory (102) that holds an input original image (101), a block dividing unit (103) that divides the input image into small regions, and a motion in units of blocks.
  • the motion search unit (104) that detects the same, the intra-screen prediction unit (106) that similarly performs the intra-screen prediction process (described in FIG.
  • An inter-screen prediction unit (107) that performs inter-screen prediction on a block basis, a mode selection unit (108) that selects a predictive encoding unit that matches the characteristics of the image, and a subtraction unit (109) that generates prediction difference data ),
  • an inverse quantization processing unit (113) and an inverse frequency transform unit (114) for decoding the encoded prediction difference data
  • An adder (115) that generates a decoded image using the predicted difference data, and a reference image memory (116) that stores the decoded image.
  • the input image memory (102) holds one image as an encoding target image from the original image (101), and divides it into fine blocks by the block dividing unit (103), and the motion search unit (104 ) And the intra prediction unit (106).
  • the motion search unit (104) calculates the amount of motion of the corresponding block using the decoded image stored in the reference image memory (116), and outputs it as motion vector data to the inter-screen prediction unit (107).
  • An intra-screen prediction unit (106) and an inter-screen prediction unit (107) perform intra-screen prediction processing and inter-screen prediction processing in units of blocks.
  • the mode selection unit (108) selects an optimal prediction process from the intra-screen prediction process and the inter-screen prediction process.
  • the mode selection unit (108) outputs a predicted image for the selected prediction process to the subtraction unit (109).
  • the mode selection unit (108) outputs encoded prediction direction data described later to the variable length decoding unit (112).
  • the subtraction unit (109) generates prediction difference data between the input image and the prediction image obtained by the optimal prediction encoding process, and outputs the prediction difference data to the frequency conversion unit (110).
  • the frequency transform unit (110) and the quantization processing unit (111) each perform frequency transform such as DCT (Discrete Cosine Transformation) for each block of the specified size for the prediction difference data sent. Processing and quantization processing are performed and output to the variable length coding processing unit (112) and the inverse quantization processing unit (113).
  • DCT Discrete Cosine Transformation
  • the variable length coding processing unit (112) is configured to calculate prediction difference information represented by the frequency transform coefficient, for example, information necessary for predictive decoding such as a prediction direction in intra prediction encoding and a motion vector in inter prediction encoding. At the same time, variable-length coding is performed based on the occurrence probability of symbols to generate an encoded stream.
  • the inverse quantization processing unit (113) and the inverse frequency transform unit (114) perform inverse frequency transforms such as inverse quantization and IDCT (Inverse DCT) on the quantized frequency transform coefficients, respectively.
  • the prediction difference is acquired and output to the adding unit (115).
  • the adder (115) generates a decoded image and outputs it to the reference image memory (116).
  • the reference image memory (116) stores the decoded image.
  • FIG. 2 is a diagram showing details of the in-screen prediction unit (106) of the moving picture coding apparatus according to the present embodiment.
  • the image divided by the block dividing unit (103) shown in FIG. 1 is input to the intra prediction unit (106).
  • the input image is input to the direction-specific prediction unit (201).
  • the direction-specific prediction unit (201) uses the pixel value of the decoded image of the encoded adjacent block stored in the reference image memory for each block of the input image input from the block dividing unit (103).
  • a prediction image for the direction is generated and prediction processing is performed.
  • the encoding method based on H.264 / AVC described in FIG. 5 is used.
  • This prediction result is input to the prediction direction determination unit (202).
  • a prediction result a difference between a block of an input image and a predicted image, a predicted image itself, or the like can be considered.
  • the prediction direction determination unit (202) selects a prediction direction that provides the best coding efficiency, and determines that direction as the prediction direction of the encoding target block.
  • the prediction direction determination unit (202) outputs a prediction image for the determined prediction direction to the mode selection unit (108). Further, the information on the determined prediction direction is output to the prediction direction estimation difficulty level determination unit (203).
  • the prediction direction storage memory (206) stores the determined prediction direction.
  • the prediction direction estimation difficulty level determination unit (203) reads the prediction direction information of surrounding encoded blocks from the prediction direction storage memory (206), and easily predicts the prediction direction of the encoding target block from the read prediction direction information. It is determined whether or not. For this determination method, for example, the method described in FIG. 8 may be used. Based on the determination result, the encoding method in the prediction direction is switched.
  • the prediction direction data encoding process is performed by the prediction direction prediction encoding unit (205).
  • the prediction direction prediction encoding unit (205) encodes prediction direction data using, for example, the method of FIG. 8 (802) (prediction direction encoding method A).
  • the prediction direction data encoding process is performed by the prediction direction variable length encoding unit (204).
  • the prediction direction variable length encoding unit (204) performs prediction direction encoding using, for example, the method (prediction direction encoding method B) in FIG. 8 (803).
  • the prediction direction variable length encoding unit (204) or the prediction direction prediction encoding unit (205) outputs the prediction direction data encoded as described above to the mode selection unit (108).
  • the encoding process of the prediction direction data is performed by the intra prediction unit (106), but this encoding process can be performed by the variable length encoding unit (112), You may carry out by another structure part.
  • the moving picture decoding apparatus is, for example, a variable length decoding unit that performs the reverse procedure of variable length coding on the encoded stream (301) generated by the moving picture encoding apparatus shown in FIG. 302), an inverse quantization processing unit (303) and an inverse frequency conversion unit (304) for decoding prediction difference data, an intra-screen prediction unit (306) for performing intra-screen prediction processing, and a screen for performing inter-screen prediction An inter prediction unit (307), an addition unit (308) that generates a decoded image, and a reference image memory (309) that stores the decoded image.
  • the variable length decoding unit (302) performs variable length decoding on the encoded stream (301), and obtains information necessary for prediction processing such as a frequency transform coefficient component of a prediction difference and a prediction direction and a motion vector.
  • the frequency transform coefficient component of the prediction difference is output to the inverse quantization processing unit (303).
  • the prediction direction, the motion vector, and the like are output to the intra-screen prediction unit (306) or the inter-screen prediction unit (307) according to the prediction means.
  • the inverse quantization processing unit (303) and the inverse frequency transform unit (304) perform inverse quantization and inverse frequency transform on the prediction difference information, respectively, and decode the prediction difference data.
  • the intra prediction unit (306) or the inter prediction unit (307) refers to the decoded image stored in the reference image memory (309) based on the data input from the variable length decoding unit (302). Perform prediction processing.
  • the adding unit (308) generates a decoded image.
  • the reference image memory (309) stores the decoded image.
  • FIG. 4 is a diagram showing details of the in-screen prediction unit (306) of the video decoding device in the present embodiment.
  • the prediction direction estimation difficulty level determination unit (401) reads the prediction direction information of the surrounding decoded blocks from the prediction direction storage memory (405), and, based on the read information, the decoding target block. It is determined whether the estimation of the prediction direction is easy. For this determination method, for example, the method described in FIG. 8 may be used. Based on the determination result, the output destination of the prediction direction data of the decoding target block input from the variable length decoding unit (302) is switched. That is, the decoding method is switched.
  • the prediction direction data is decoded by the prediction direction prediction decoding unit (403).
  • the prediction direction predictive decoding unit (403) performs prediction direction data decoding processing using a decoding method corresponding to, for example, the method of FIG. 8 (802) (prediction direction encoding method A).
  • the decoding process of the prediction direction data is performed by the prediction direction variable length decoding unit (402).
  • the prediction direction variable length decoding unit (402) performs prediction direction data decoding processing using, for example, a decoding method corresponding to the method of FIG. 8 (803) (prediction direction encoding method B).
  • the prediction direction data decoded as described above is input to the intra-screen prediction image generation unit (404). Also, the prediction direction data decoded is stored in the prediction direction storage memory (405). The intra-screen prediction image generation unit (404) adds the intra-screen prediction image based on the pixel value of the decoded image of the adjacent block input from the reference image memory (309) and the decoded prediction direction data. Part (308).
  • the prediction direction data decoding process is performed in the intra prediction unit (306), but this decoding process can also be performed by the variable length decoding unit (302), You may perform in a structure part.
  • the following processing is performed for all blocks existing in the frame to be encoded (901). That is, predictive encoding processing is performed for all encoding directions (combination of prediction method and block size) once for the corresponding block to calculate a prediction difference, and an encoding direction with the highest encoding efficiency is selected. .
  • the intra-frame predictive encoding process (904) or the inter-predictive predictive encoding process (907) is performed, and the optimum predictive encoding process is selected, so that it can be efficiently performed according to the nature of the image. Encode.
  • the RD-Optimization method that determines the optimum coding direction from the relationship between image quality distortion and code amount is used. Therefore, it can encode efficiently. Details of the RD-Optimization method are described in Reference Document 1. (Reference 1) G. Sullivan and T. Wiegand: “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998. Subsequently, frequency conversion (909) and quantization processing (910) are performed on the prediction difference data generated based on the selected encoding direction, and further, variable-length encoding is performed to generate an encoded stream. (911).
  • the quantized frequency transform coefficients are subjected to inverse quantization processing (912) and inverse frequency transformation processing (913) to decode the prediction difference data, generate a decoded image, and store it in the reference image memory (914).
  • in-block prediction processing (1002) is performed for all prediction directions (1001) in the block to be encoded.
  • the optimum prediction direction is selected from the list (1003). Further, it is determined from the information of surrounding blocks that have already been encoded whether or not the estimation of the prediction direction is easy (1004). If it is easy, the prediction direction encoding method A is used for encoding (1005). If not easy, if encoding is performed using the prediction direction encoding method B (1006), encoding in the prediction direction for one block ends (1007).
  • the encoding process of the prediction direction data is performed in the intra prediction encoding process (904), but this encoding can be performed by the variable length encoding process (911). It may be performed within the process.
  • the following processing is performed for all blocks in one frame (1101). That is, the variable length decoding process is performed on the input stream (1102), the inverse quantization process (1103) and the inverse frequency transform process (1104) are performed, and the prediction difference data is decoded. Subsequently, a prediction mode in which the target block is predictively encoded is determined based on information included in the encoded stream, and based on the determination result, intra prediction decoding processing (1108) or inter prediction decoding (1109) is performed to generate a predicted image, which is added to the above-described decoded prediction difference data to generate a decoded image. The generated decoded image is stored in the reference image memory. When the above processing is completed for all the blocks in the frame, decoding for one frame of the image is completed (1110).
  • the prediction direction of the target block is easy to estimate from the prediction directions of the decoded blocks located around the target block (1201). At this time, if it is easy to estimate the prediction direction of the target block, decoding corresponding to the prediction direction encoding method A is executed (1202), otherwise decoding processing corresponding to the prediction direction encoding method B is performed. Execute (1203). If predictive decoding processing is performed based on the decoded prediction direction data at the end (1204), intra-block predictive decoding processing for one block is completed (1205).
  • the prediction direction data is decoded in the intra prediction decoding process (1106), but this decoding can also be performed in the variable length decoding process (1102). It may be performed within the process.
  • DCT is cited as an example of frequency transformation.
  • DST Discrete Sine Transformation
  • WT Widelet Transformation
  • DFT Discrete Fourier Transformation
  • KLT Kerhunen
  • KLT Kearhunen-Loeve Transformation
  • any orthogonal transformation used for removing correlation between pixels may be used.
  • the prediction difference itself may be encoded without performing frequency conversion.
  • variable length coding is not particularly required.
  • prediction is performed along 8 directions defined by H.264 / AVC, but the number of directions may be increased or decreased.
  • the amount of code is further reduced in the moving picture coding / decoding process. It becomes possible to do.
  • selective encoding processing as in the first embodiment is performed for encoding processing of prediction mode information such as the size of a macroblock used for predictive encoding and a prediction method (intra-screen prediction, inter-screen prediction).
  • prediction mode information such as the size of a macroblock used for predictive encoding and a prediction method (intra-screen prediction, inter-screen prediction).
  • Fig. 13 shows the types of encoding modes that can be used with the Baseline profile in H.264 / AVC IV.
  • H.264 / AVC an encoding mode is determined for each macroblock having a 16 ⁇ 16 pixel size.
  • intra prediction intra prediction
  • inter prediction inter prediction
  • H.264 / AVC as a pixel value prediction method between screens, forward prediction that specifies one reference image (Predictive prediction) and bidirectional prediction that can specify two reference images (Bi -directional predictive prediction), but when using the Baseline profile, only predictive prediction is available.
  • Predictive prediction forward prediction that specifies one reference image
  • Bi -directional predictive prediction bidirectional prediction that can specify two reference images
  • each frame encoding is performed sequentially according to the order of raster scanning from the macro block at the upper left of the screen toward the macro block at the lower right.
  • the macro block can be divided into blocks of smaller size, and encoding is performed by selecting an optimal one from several sizes determined in advance for each type of prediction method. For in-screen prediction, two block sizes of 16x16 pixels (I16x16 mode) and 4x4 pixels (I4x4 mode) can be used, whichever mode is appropriate. .
  • 16 ⁇ 16 pixels (P16 ⁇ 16 mode), 16 ⁇ 8 pixels (P16 ⁇ 8 mode), 8 ⁇ 16 pixels (P8 ⁇ 16 mode), 8 ⁇ 8 pixels (P8 ⁇ 8 mode)
  • 8 ⁇ 8 pixel size it can be further divided into sub-macroblocks of 8 ⁇ 8 pixel, 8 ⁇ 4 pixel, 4 ⁇ 8 pixel, and 4 ⁇ 4 pixel sizes.
  • a Pskip mode that does not encode motion vector information is prepared for a block size of 16 ⁇ 16 pixels
  • a P8 ⁇ 8ref0 mode that does not encode reference frame numbers is prepared for an 8 ⁇ 8 pixel size.
  • the prediction method and block size described above are determined and the information is encoded.
  • a combination of the prediction method (intra-screen prediction, inter-screen prediction) and block size (for example, I16 ⁇ 16 mode, I4 ⁇ 4 mode, etc.) mentioned above is called a block type.
  • the image block explanatory diagram (1401), bit configuration diagram (1402), and variable length code table (1403) in FIG. 14 are the image block explanatory diagram (801) and bit configuration diagram (802) in FIG. This corresponds to the variable length code table (803).
  • the block type of the target block is estimated using the digitized image.
  • the block type encoding scheme is switched depending on whether estimation is easy or not. If block type estimation is easy, block type encoding method A is used, and the block type of the target block is encoded based on the prediction result using the block type of the adjacent block. On the other hand, when block type estimation is not easy, the block type encoding method B is used, and the block type is encoded independently without estimation from adjacent blocks.
  • This estimation difficulty level is determined by, for example, voting from block types MSA, MSB, MSC, and MSD of neighboring encoded neighboring blocks A, B, C, and D, and N (N is an integer of 2 or more)
  • the block type can be easily estimated when there are two or more identical block types, and it is not easy in other cases.
  • the bit configuration diagram (1402) shows the details of the bit configuration representing the prediction method in the block type encoding method A.
  • block type encoding method A it is necessary to determine the adjacent mode (estimated block type). For example, the block type that appears most frequently among the block types of the surrounding blocks is set to the adjacent mode (estimated block type). It is possible to determine by such a method.
  • Table (1403) shows an example of a variable length code table used in the block type encoding method B.
  • the block type is variable length encoded according to a variable length code table such as (1403).
  • the variable length code table in the table (1403) is an example, and other patterns may be used.
  • decoding can be performed by performing processing reverse to the corresponding encoding method at the time of decoding.
  • the block type information of the adjacent decoded block is used to determine the block type estimation difficulty level of the target block, and if block type estimation is easy, the bit configuration diagram (1402) is followed. Perform block type decoding.
  • block type decoding can be performed by performing block type decoding based on the code table of the table (1403).
  • the image coding apparatus according to the present embodiment can be realized if the variable length coding unit (112) is configured as shown in FIG. 15 in the image coding apparatus of FIG.
  • the other configuration is the same as that of the first embodiment shown in FIG.
  • block type information is stored in a block type storage memory (1505).
  • the block type estimation difficulty level determination unit (1501) reads information on the surrounding encoded block type from the block type storage memory (1505), and determines the block type estimation difficulty level of the target block based on the read information. To do. For example, the method described with reference to FIG. 14 can be used to determine the estimation difficulty level. Based on this determination, the block type encoding method is switched.
  • block type encoding is performed by the block type predictive encoding unit (1503).
  • the block type predictive encoding unit (1503) performs block type encoding using the method (block type encoding method A) shown in the bit configuration diagram (1402) of FIG.
  • block type encoding is performed by the block type variable length encoding unit (1502).
  • the block type variable length encoding unit (1502) performs block type encoding using a variable length encoding method (block type encoding method B) using, for example, the table (1403) of FIG.
  • encoding is performed while selecting a block type encoding method for each block.
  • variable length coding unit (1504) other than the block type performs variable length coding of data other than the block type, and the result and the result of coding the block type are output values.
  • the block type encoding is performed by the variable length encoding unit (112), but the mode selection unit (108) can also perform the encoding, or can be performed by another component unit. good.
  • variable length encoding unit (302) is configured as shown in FIG. 16 in the image decoding apparatus of FIG. 3 of the first embodiment.
  • the other configuration is the same as that of the first embodiment shown in FIG.
  • the block type estimation difficulty level determination unit (1601) reads block type information of surrounding decoded blocks from the block type storage memory (1605), and based on the read information, the block type of the target block Determine the estimated difficulty of. As this method, for example, the method described in FIG. 14 can be used. Based on this determination, the block type decoding method is switched.
  • block type decoding is performed by the block type predictive decoding unit (1603).
  • the block type predictive decoding unit (1603) for example, decoding is performed using a decoding method corresponding to the method (block type encoding method A) shown in the bit configuration diagram (1402) of FIG.
  • block type decoding is performed by a block type variable length decoding unit (1602).
  • the block type variable length decoding unit (1602) performs block type decoding using a decoding method corresponding to the variable length decoding method (block type encoding method B) using, for example, the table (1403) of FIG. Do.
  • the block type decoded as described above is stored in the block type storage memory (1605).
  • variable length decoding unit (1604) other than the block type performs variable length decoding of the data other than the block type, and outputs the decoding result of the data other than the block type and the decoding result of the block type.
  • the block type decoding is performed by the variable length decoding unit (302), but the intra-screen prediction unit (306) and the inter-screen prediction unit (307) can also perform decoding. Alternatively, this may be done by another component.
  • variable-length coding process (911) in FIG. 9 in the first embodiment may be the contents shown in FIG. 17 for the one-frame coding process procedure of the moving picture coding apparatus according to the present embodiment. Since other processes are the same as those in the first embodiment, description thereof is omitted.
  • block type estimation is easy or not from information on surrounding blocks that have already been encoded (1701). If it is easy, encoding is performed using the block type encoding method A (1702). If not easy, encoding is performed using the block type encoding method B (1703). Finally, variable length coding processing other than the block type is executed (1704), and variable length coding for one block is completed (1705).
  • block type encoding is performed in the variable length encoding process (911), but this encoding can also be performed in the encoding mode selection process (908) or in another process. May be.
  • variable length decoding process (1102) in FIG. Since other processes are the same as those in the first embodiment, description thereof is omitted.
  • the block type decoding is performed in the variable length decoding process (1102), but this decoding is performed in the intra prediction decoding process (1106) and the intra prediction decoding process (1109). It can also be done in a separate process.
  • DCT is cited as an example of frequency transformation.
  • DST Discrete Sine Transformation
  • WT Widelet Transformation
  • DFT Discrete Fourier Transformation
  • KLT Kerhunen
  • KLT Kearhunen-Loeve Transformation
  • any orthogonal transformation used for removing correlation between pixels may be used.
  • the prediction difference itself may be encoded without performing frequency conversion.
  • prediction is performed along 8 directions defined in H.264 / AVC, but the number of directions may be increased or decreased.
  • the present invention can be applied to other information as long as it is an encoding process and a decoding process for information that needs to be encoded in units of blocks, such as CBP (Coded Block Pattern) indicating the presence / absence of a frequency coefficient and a motion vector. Can be applied.
  • CBP Coded Block Pattern
  • the present invention is useful as a moving picture encoding technique for encoding a moving picture and a moving picture decoding technique for decoding a moving picture.
  • Prediction direction prediction coding unit 206 ... Prediction direction storage memory, 207 ... In-screen prediction Image generation unit 301 ... encoded stream 302 ... variable length decoding unit 303 ... dequantization processing unit 304 ... inverse frequency conversion unit 306 ... intra prediction unit 307 ... inter prediction unit 308 ... addition 309: Reference image memory 401: Prediction direction estimation difficulty determination unit 402: Prediction direction variable length decoding unit 403 ... Prediction direction prediction decoding unit 404 Intra-screen prediction image generation unit, 405 ... Prediction direction storage memory, 1501 ... Block type estimation difficulty determination unit, 1502 ... Block type modifiable encoding unit, 1503 ... Block type prediction encoding unit, 1504 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　動画像の符号化・復号化処理において符号量を低減する。画面内予測処理において、復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックの予測方向データまたはブロックモードに基づいて、復号化対象ブロックの予測方向またはブロックモードの推定の容易性を判定し、判定結果に基づいて、前記復号化対象ブロックの予測方向データまたはブロックモードを復号化し、復号化された予測方向データまたはブロックモードに基づいて画面内予測を行い、復号化画像データを生成する。

Description

動画像復号化方法及び装置、動画像符号化方法及び装置
　本発明は動画像を符号化する動画像符号化技術および動画像を復号化する動画像復号化技術に関する。
　大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、MPEG (Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格、H.264/AVC(Advanced Video Coding)規格等が知られている。
　H.264/AVCでは、画面内予測符号化や画面間予測符号化等の予測符号化を用いる事で、圧縮効率を向上させている。このとき、予測符号化には様々な方向が存在し、これらをブロック単位で使い分けて符号化する。このとき、対象ブロックにおいて利用した予測方向を表す符号を別途符号化する必要があり符号量が増大するといった課題があった。
　また、各予測符号化では、マクロブロック毎に複数の画素値予測方法とブロックサイズを切り替えながら予測を行うため、画素値予測方法とブロックサイズ情報を、マクロブロック毎に符号化する必要があった。
　この課題に対し、例えば非特許文献1には、画面内予測符号化の際の予測方向の符号化において、利用できる予測方向数の少ない画面端のブロックについて予測方向を表すための符号を短くすることによって符号量を減らすことが開示されている。
Jamil-ur-Rehman and Zhang Ye, "Efficient Techniques for Signalling Intra Prediction Modes of H.264/Mpeg-4 Part 10", Proc. ICICIC2006, August, 2006.
　しかし、非特許文献1に記載の技術は画面端のブロックにしか適用できず、圧縮効率向上の効果は少ないという課題があった。
　本発明は、上記課題を鑑みてなされたものであり、その目的は、動画像の符号化・復号化処理においてより符号量を低減することである。
　上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。
　動画像の符号化・復号化処理においてより符号量を低減することができる。
実施例１に係る画像符号化装置のブロック図の一例 実施例１に係る画面内予測符号化装置のブロック図の一例 実施例１に係る画像復号化装置のブロック図の一例 実施例１に係る画面内予測復号化装置のブロック図の一例 H.264/AVCに係る画面内予測符号化処理の概念的な説明図 H.264/AVCに係る予測方向の符号化処理の概念的な説明図 H.264/AVCに係る画面内予測復号化処理の概念的な説明図 実施例１に係る予測方向の符号化の一例の説明図 実施例１に係る画像符号化装置の流れ図 実施例１に係る画面内符号化装置の流れ図 実施例１に係る画像復号化装置の流れ図 実施例１に係る画面内復号化装置の流れ図 H.264/AVCで用いる予測符号化処理の概念的な説明図 実施例２に係るブロックタイプの符号化に関する実施例の説明図 実施例２に係る可変長符号化装置のブロック図 実施例２に係る可変長復号化装置のブロック図 実施例２に係る可変長符号化装置の流れ図 実施例２に係る可変長復号化装置の流れ図
　以下、本発明の実施例について図面を参照して説明する。
　図5は、H.264/AVCによる画面内予測符号化処理の動作について概念的に示したものである。
　H.264/AVCでは、符号化対象画像に対してラスタースキャンの順序に従って符号化処理を行い(501)、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みブロックについての復号化画像を用いて予測処理を行う。当該予測処理は、符号化済みブロックに含まれる13個の画素の画素値を利用し(502)、予測方向ベクトルを傾きとする同一直線上の画素は、すべて同一画素に基づいて予測される。例えば(503)に示すように、符号化対象ブロックの画素B、C、D、Eは、すべて同一画素を参照して予測符号化処理が行われる。まず、符号化対象ブロックの画素B、C、D、Eと画素Bの直上の画素を復号化した値A’との差分(予測差分)b、c、d、eを算出する。次に、縦、横、斜めなど、8種類の予測方向候補の中から一つの予測方向をブロック単位で選択し、前記予測差分と選択した一の予測方向を示す予測方向値とを符号化する。ただし、H.264/AVCでは、上記特定の予測方向に沿った予測処理の他に、参照画素の平均値によって符号化対象ブロックに含まれるすべての画素を予測する「DC予測」を利用することができる(504)。
　図7は、H.264/AVCによる画面内予測復号化処理の動作について概念的に示したものである。
　復号化処理も符号化処理と同様に、ラスタースキャンの順序に従って復号化処理を行う (701)。次に、復号化済みの参照画素と予測差分とを用いて符号化処理の逆手順を行う。すなわち、予測差分値と参照画素値とを予測方向に沿って加算することにより復号化画像を取得する。例えば(702)は、復号化対象ブロックの予測差分b’、ｃ’、ｄ’、ｅ’(それぞれ、上記図5のb、c、d、eが復号化され量子化誤差を含んだもの)に対して、復号化済みの参照画素A’を加算することにより、復号化画素B’、Ｃ’、Ｄ’、Ｅ’（それぞれ、上記図5のB、C、D、Eに対する復号化画素）を取得する過程を示している。
　以上のように、H.264/AVCによる画面内予測符号化処理では、参照画素から予測方向に沿った位置にある画素を、当該参照画素に基づいて予測するといった単方向による方法を採用している。この場合、予測処理の単位となるブロックごとに、どの予測方向に沿って予測処理を行うのかについての情報を符号化ストリームに付加する必要があった。
　図6は、H.264/AVCによる画面内予測方式における予測方向の符号化方法について示したものである。
　H.264/AVCは、対象ブロックの予測方向が隣接するブロックの予測方向と相関が高いことに着目し、符号化済みの隣接ブロックにおける予測方向から符号化対象ブロックの予測方向を推定する。すなわち、(601)に示すように、符号化対象ブロックの左側に隣接するブロックAの予測方向と、同じく対象ブロックの上側に隣接するブロックBの予測方向とを参照し、この2つの予測方向のうち予測方向値が小さい予測方向を対象ブロックにおける予測方向の予測値(隣接方向)とする(602)。
　(603)は、予測方法を表すビット構成の詳細を示している。H.264/AVCでは、対象ブロックにおける予測方向と隣接ブロックにおける予測方向とが同じ場合には、対象ブロックにおける予測方向と隣接ブロックにおける予測方向とが同じ予測方向であることを示す情報 (1ビット)を符号化する。
　一方、両者が異なる場合には、対象ブロックにおける予測方向と隣接ブロックにおける予測方向とが異なるという情報を符号化した後、実際の予測方向（8方向＋DC予測の9通りの予測方向のうち、隣接ブロックにおける予測方向を除く8通り）を3ビットで符号化する。
　この場合、予測方向を表すために多くの符号を必要とし、例えば4×4画素サイズのブロック単位で画面内予測を行った場合、一つのマクロブロックあたり最大で64ビットの符号が発生する。
　実施例１は、画面内予測において、対象ブロックの予測方向の符号化処理および復号化処理に本発明を用いる例である。本実施例では、対象ブロックに隣接するブロックの予測方向データを用いて、対象ブロックの予測方向が推定容易であるか否かを判定する。対象ブロックの予測方向が推定容易であると判定された場合と対象ブロックの予測方向が推定非容易であると判定された場合とで、対象ブロックにおける予測方向データの符号化処理及び復号化処理方法を切り換える。
　以下、本実施例についてさらに詳細に説明する。
　図8は、符号化対象ブロックの予測方向が推定容易か否かの判定方法の一例、及び予測方向符号化方法Ａと予測方向符号化方法Ｂとについて示した図である。図8を用いて、符号化対象ブロックの予測方向が推定容易か否かの判定方法について説明する。
　符号化対象ブロックの予測方向が推定容易か否かの判定は、画像ブロック説明図(801)に示すように、符号化対象ブロックの左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロックA、B、C、Dの予測方向MA、MB、MC、MDを用いる。すなわち、予測方向MA、MB、MC、MDにおいて、Ｎ個（Ｎは２以上４以下の整数）以上同一の予測方向Ｍが存在する場合は、符号化対象ブロックの予測方向の推定が容易であると判定し、予測方向符号化方法Ａを用いて、符号化対象ブロックの予測方向データを符号化する。
　また、例えば、スライス端や画面端などに符号化対象ブロックが存在するなど、隣接ブロックの予測方向情報を符号化対象ブロックの予測方向として利用できない場合は、符号化対象ブロックの予測方向の推定が容易であると判定し、予測方向符号化方法Ａを用いて、符号化対象ブロックの予測方向データを符号化する。
　なお、上記のどちらの場合にも該当しないブロックに関しては、予測方向の推定が非容易であると判定し、予測方向符号化方法Ｂ(803)を選択し、可変長符号化を行う。
　上述した判定方法により予測方向符号化方法Ａを選択した場合は、予測方向選択処理に移る。すなわち、符号化対象ブロックの左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロックA、B、C、Dの予測方向MA、MB、MC、MDのうちいずれかの予測方向を所定の方法で選択し、選択した隣接ブロックの予測方向を符号化対象ブロックの推定予測方向とする。
　ここで、当該所定の選択方法は、符号化側と復号化側の両方で同様の処理が実現できる方法であれば、どのような選択方法でも良いが、例えばMA、MB、MC、MDのうち最も予測方向値の小さい予測方向を選択する方法や、MA、MB、MC、MDのうち最も多い予測方向を選択する方法などを用いればよい。
　さらに、予測方向符号化方法Ａを選択した場合の符号化処理においては、符号化対象ブロックの左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロックA、B、C、Dを隣接ブロックとして用いて符号化処理を行っても良いし、従来の通り符号化対象ブロックの左側および上側に隣接する符号化済みの隣接ブロックA、Bのみを隣接ブロックとして用いて符号化処理を行っても良い。
　次に、予測方向符号化方法Ａについてさらに詳細に説明する。予測方向符号化方法Ａは、隣接ブロックの予測方向情報を用いて推定予測情報を決定し、当該推定予測情報を用いて符号化対象ブロックの予測方向データを符号化する方法である。
　図8のビット構成図(802)は、予測方向符号化方法Ａにおける符号化対象ブロックの予測方向データの符号化のためのビット構成の詳細を示した図である。
　符号化対象ブロックにおける予測方向と、隣接ブロックにおける予測方向（推定予測方向）とが同じ方向である場合は、符号化対象ブロックにおける予測方向と隣接ブロックにおける予測方向（推定予測方向）とが同じ予測方向であることを示す情報(1ビット)を符号化する。
　一方、符号化対象ブロックにおける予測方向と隣接ブロックにおける予測方向（推定予測方向）とが異なる場合は、符号化対象ブロックにおける予測方向と隣接ブロックにおける予測方向（推定予測方向）とが異なることを示す情報を符号化した後、実際の予測方向（8方向＋DC予測の9通りの予測方向のうち、隣接ブロックにおける予測方向（推定予測方向）を除く8通り）を3ビットで符号化する。
　次に、予測方向符号化方法Ｂについてさらに詳細に説明する。予測方向符号化方法Ｂは、隣接ブロックの予測方向データに基づいて符号化対象ブロックの予測方向データを推定せず、符号化対象ブロックの予測方向データを単独で符号化する方法である。
　図8の表(803)は、予測方向符号化方法Ｂに用いる可変長符号表の一例である。予測方向符号化方法Ｂは、表(803)のような可変長符号表にしたがって符号化対象ブロックの予測方向データを可変長符号化する。表(803)のような可変長符号表を用いる場合、予測方向符号化方法Ａのように１ビットのみで示すことのできるモードはないが、隣接モードと異なる予測方向であっても一部のモードは４ビットよりも小さい２ビットか３ビットで示すことができる。よって、４ビットよりも小さいビットで示すことができるモードの数が予測方向符号化方法Ａよりも多い。ここで、本実施例で予測方向符号化方法Ｂが用いられる場合は、そもそも上述のとおり対象ブロックの予測方向が推定非容易であると判定された場合であるので、対象ブロックの予測方向が隣接ブロックの予測方向に一致する確立が低い場合である。すなわちこの場合、仮に予測方向符号化方法Ａを用いると、予測方向の符号量が１ビットである確率よりも４ビットである確率が高い。よって、このような場合に、予測方向符号化方法Ｂを用いることで、予測方向を２ビットまたは３ビットの符号量で符号化する確率を向上させることは、符号量の低減に効果的である。なお、表(803)の可変長符号表は一例であり、同様の効果を得るものであれば、他のパターンでもかまわない。
　以上において、本実施例における符号化処理について説明したが、復号化処理の際には対応する符号化方法と逆の処理を行うことで復号化処理を行うことができる。すなわち、本実施例における復号化処理は、隣接する復号化済みブロックの予測方向情報を用いて復号化対象ブロックの予測方向が推定容易か否かを判定し、復号化対象ブロックの予測方向の推定が容易であると判定した場合には、ビット構成(802)に示すビット構成にしたがって復号化対象ブロックの予測方向データの復号化を行う。一方、復号化対象ブロックの予測方向の推定が非容易であると判定した場合には、表(803)に示す可変長符号表に基づいて復号化対象ブロックの予測方向データの復号化を行う。
　次に、本実施例における動画像符号化装置について図１を用いて説明する。
　本実施例における動画像符号化装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像を小領域に分割するブロック分割部(103)と、ブロック単位で動きを検出する動き探索部(104)と、同じくブロック単位で画面内予測処理(図7に記載)を行う画面内予測部(106)と、動き探索部(104)にて検出された動き量を基にブロック単位で画面間予測を行う画面間予測部(107)と、画像の性質に合った予測符号化手段を選択するモード選択部(108)と、予測差分データを生成する減算部(109)と、予測差分データに対して符号化処理を行う周波数変換部(110)および量子化処理部(111)と、記号の発生確率に応じた符号化処理を行う可変長符号化部(112)と、符号化した予測差分データを復号化する逆量子化処理部(113)および逆周波数変換部(114)と、復号化された予測差分データを用いて復号化画像を生成する加算部(115)と、復号化画像を格納する参照画像メモリ(116)とを有する。
　入力画像メモリ(102)は原画像(101)の中から一枚の画像を符号化対象画像として保持し、これをブロック分割部(103)にて細かなブロックに分割し、動き探索部(104)および画面内予測部(106)に出力する。動き探索部(104)は、参照画像メモリ(116)に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、動きベクトルデータとして画面間予測部(107)に出力する。画面内予測部(106)および画面間予測部(107)は、画面内予測処理および画面間予測処理をブロック単位で行う。モード選択部(108)は、上記の画面内予測処理および画面間予測処理のうちから最適な予測処理を選択する。モード選択部(108)は、選択した予測処理についての予測画像を減算部(109)へ出力する。ここで、画面内予測処理が選択された場合は、モード選択部(108)は、後述する符号化された予測方向データを可変長復号化部(112)に出力する。減算部(109)は、入力画像と、上記の最適な予測符号化処理による予測画像との予測差分データを生成し、周波数変換部(110)に出力する。周波数変換部(110)および量子化処理部(111)は、送られてきた予測差分データに対して指定された大きさのブロック単位でそれぞれDCT(Discrete Cosine Transformation：離散コサイン変換)などの周波数変換処理および量子化処理を行い、可変長符号化処理部(112)および逆量子化処理部(113)に出力する。可変長符号化処理部(112)は、周波数変換係数によって表される予測差分情報を、例えば画面内予測符号化における予測方向や画面間予測符号化における動きベクトルなど、予測復号化に必要な情報とともに、記号の発生確率に基づいて可変長符号化を行い、符号化ストリームを生成する。また、逆量子化処理部(113)および逆周波数変換部(114)は、量子化後の周波数変換係数に対して、それぞれ逆量子化およびIDCT(Inverse DCT：逆DCT)などの逆周波数変換を行い、予測差分を取得して加算部 (115)に出力する。加算部(115)は、復号化画像を生成して参照画像メモリ(116)に出力する。参照画像メモリ(116)は、復号化画像を格納する。
　図2は、本実施例における動画像符号化装置の画面内予測部(106)の詳細を示した図である。
　ここで、画面内予測部(106)には、例えば図1に示すブロック分割部(103)にて分割された画像が入力される。当該入力画像は、方向別予測部(201)に入力される。方向別予測部(201)は、ブロック分割部(103)から入力される入力画像のブロックに対して、参照画像メモリに記憶される符号化済み隣接ブロックの復号画像の画素値を用いて各予測方向についての予測画像を生成して予測処理を行う。この符号化処理には図5にて説明したH.264/AVCによる符号化方法を用いる。この予測結果が予測方向決定部(202)に入力される。予測結果としては、入力画像のブロックと予測画像の差分や、予測画像そのものなどが考えられる。予測方向決定部(202)は、符号化効率が最も良くなる予測方向を選択し、その方向を符号化対象ブロックの予測方向として決定する。ここで、予測方向決定部(202)は決定した予測方向についての予測画像をモード選択部(108)へ出力する。また、決定した予測方向の情報を予測方向推定難易度判定部(203)に出力する。また、予測方向記憶メモリ(206)は、決定された予測方向を記憶する。予測方向推定難易度判定部(203)は、周囲の符号化済みのブロックの予測方向情報を予測方向記憶メモリ(206)から読み出し、読み出した予測方向情報から符号化対象ブロックの予測方向が推定容易か否かを判定する。この判定方法には、例えば図8にて説明した方法を用いれば良い。当該判定結果に基づいて、予測方向の符号化方式を切替える。
　例えば、符号化対象ブロックの予測方向の推定が容易であると判定された場合には、予測方向データの符号化処理は予測方向予測符号化部(205)によって行われる。予測方向予測符号化部(205)は、例えば図8(802)の方法(予測方向符号化方法Ａ)を用いて予測方向データの符号化を行う。
　一方、符号化対象ブロックの予測方向の推定が非容易であると判断された場合は、予測方向データの符号化処理は予測方向可変長符号化部(204)によって行われる。予測方向可変長符号化部(204)は、例えば図8(803)の方法(予測方向符号化方法Ｂ)を用いて予測方向の符号化を行う。
　予測方向可変長符号化部(204)または予測方向予測符号化部(205)は、以上のように符号化された予測方向データをモード選択部(108)へ出力する。なお、図2の例では、予測方向データの符号化処理を画面内予測部(106)にて行っているが、この符号化処理は可変長符号化部(112)で行うこともできるし、別の構成部で行っても良い。
　次に、本実施例における動画像復号化装置の一例を、図3を用いて説明する。本実施例における動画像復号化装置は、例えば図1に示す動画像符号化装置によって生成された符号化ストリーム(301)に対して可変長符号化の逆の手順を行う可変長復号化部(302)と、予測差分データを復号化する逆量子化処理部(303)および逆周波数変換部(304)と、画面内予測処理を行う画面内予測部(306)と、画面間予測を行う画面間予測部(307)と、復号化画像を生成する加算部(308)と、復号化画像を格納する参照画像メモリ(309)とを有する。
　可変長復号化部(302)は、符号化ストリーム(301)を可変長復号化し、予測差分の周波数変換係数成分と、予測方向や動きベクトルなどの予測処理に必要な情報を取得する。予測差分の周波数変換係数成分は逆量子化処理部(303)に出力される。予測方向や動きベクトルなどは、予測手段に応じて画面内予測部(306)または画面間予測部(307)に出力される。続いて、逆量子化処理部(303)および逆周波数変換部(304)は、予測差分情報に対してそれぞれ逆量子化と逆周波数変換を行い、予測差分データを復号化する。画面内予測部(306)または画面間予測部(307)は、可変長復号化部(302)から入力されたデータに基づいて参照画像メモリ(309)に格納された復号化画像を参照して予測処理を行う。加算部(308)は、復号化画像を生成する。参照画像メモリ(309)は、復号化画像を格納する。
　図4は、本実施例における動画像復号化装置の画面内予測部(306)の詳細を示した図である。
　ここで、予測方向推定難易度判定部(401)は、周囲の復号化済みのブロックの予測方向の情報を予測方向記憶メモリ(405)から読み出し、読み出した情報に基づいて、復号化対象ブロックの予測方向の推定が容易か否かを判定する。この判定方法には、例えば図8にて説明した方法を用いれば良い。当該判定結果に基づいて、可変長復号化部（302）から入力される復号化対象ブロックの予測方向データの出力先を切替える。すなわち、復号化方式を切り替える。
　例えば、復号化対象ブロックの予測方向の推定が容易であると判定された場合は、予測方向データの復号化は予測方向予測復号化部(403)によって行われる。予測方向予測復号化部(403)は、例えば図8(802)の方法(予測方向符号化方法Ａ)に対応する復号化方式を用いて予測方向データの復号化処理を行う。
　一方、復号化対象ブロックの予測方向の推定が非容易であると判定された場合は、予測方向データの復号化処理は予測方向可変長復号化部(402)にて行われる。予測方向可変長復号化部(402)は、例えば図8(803)の方法(予測方向符号化方法Ｂ)に対応する復号化方式を用いて予測方向データの復号化処理を行う。
　以上のように復号化処理された予測方向データが画面内予測画像生成部(404)に入力される。また、予測方向記憶メモリ(405)に復号化処理された予測方向データを格納する。画面内予測画像生成部(404)は、参照画像メモリ(309)から入力される隣接ブロックの復号画像の画素値と、復号化処理された予測方向データとに基づいて、画面内予測画像を加算部(308)へ出力する。
　なお、図4の例では画面内予測部(306)において予測方向データの復号化処理を行っているが、この復号化処理は可変長復号化部(302)で行うこともできるし、別の構成部で行っても良い。
　次に、本実施例の動画像符号化装置の1フレームの符号化処理手順について、図9を用いて説明する。
　まず、符号化対象となるフレーム内に存在するすべてのブロックに対して(901)、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化方向(予測方法とブロックサイズの組み合わせ)に対して予測符号化処理を行って予測差分を算出し、最も符号化効率が高い符号化方向を選択する。
　上記予測符号化処理においては、画面内予測符号化処理(904)または画面間予測符号化処理(907)を行い、最適な予測符号化処理を選択することによって、画像の性質に応じて効率良く符号化する。
　上記多数の符号化方向の中から最も符号化効率の高いものを選択する際には(908)、例えば画質歪みと符号量の関係から最適な符号化方向を決定するRD-Optimization方式を利用することによって、効率良く符号化できる。RD-Optimization方式の詳細については参考文献１に記載されている。
（参考文献１）G. Sullivan and T.Wiegand : “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998. 
　続いて、選択した符号化方向に基づいて生成された予測差分データに対して周波数変換 (909)と量子化処理(910)を行い、さらに可変長符号化を行うことによって符号化ストリームを生成する(911)。
　一方、量子化済みの周波数変換係数に対しては逆量子化処理(912)と逆周波数変換処理(913)を行って予測差分データを復号化し、復号化画像を生成して参照画像メモリに格納する(914)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(915)。
　次に、図9の画面内予測符号化処理(904)の処理手順の詳細について、図10を用いて説明する。
　まず、符号化対象となるブロックにおいて、全ての予測方向に対して(1001)、画面内予測処理(1002)を行う。その中から最適な予測方向を選択する(1003)。また、既に符号化済みの周囲のブロックの情報から、予測方向の推定が容易か否かを判定し(1004)、容易であれば予測方向符号化方法Ａを用いて符号化を行い(1005)、容易でなければ予測方向符号化方法Ｂを用いて符号化を行えば(1006)、１ブロック分の予測方向の符号化は終了する(1007)。
　なお、図10の例では画面内予測符号化処理(904)において予測方向データの符号化処理を行っているが、この符号化は可変長符号化処理(911)で行うこともできるし、別の処理内で行っても良い。
　次に、図3に示す動画像復号化装置における1フレームの復号化処理手順について図11を用いて説明する。
　まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(1101)。すなわち、入力ストリームに対して可変長復号化処理を行い(1102)、逆量子化処理(1103)および逆周波数変換処理(1104)を行い、予測差分データを復号化する。続いて、対象ブロックが予測符号化されている予測モードを、符号化ストリームに含まれる情報に基づいて判定し、当該判定結果に基づいて、画面内予測復号化処理(1108)または画面間予測復号化処理(1109)を行って予測画像を生成し、上述の復号化した予測差分データと加算して復号化画像を生成する。生成した復号化画像を参照画像メモリに格納する。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像1フレーム分の復号化が終了する(1110)。
　次に、図11の画面内予測復号化処理(1106)の処理手順の詳細について、図12を用いて説明する。
　まず対象ブロックの周辺に位置する復号化済みのブロックの予測方向から、対象ブロックの予測方向の推定が容易か否かを判定する(1201)。この際、対象ブロックの予測方向の推定が容易であれば予測方向符号化方法Ａに対応する復号化を実行し(1202)、容易でなければ予測方向符号化方法Ｂに対応する復号化処理を実行する(1203)。最後に復号化された予測方向データを基に予測復号化処理を行えば(1204)、１ブロック分の画面内予測復号化処理は終了する(1205)。
　なお、図12の例では画面内予測復号化処理(1106)において予測方向データの復号化を行っているが、この復号化は可変長復号化処理(1102)で行うこともできるし、別の処理内で行っても良い。
　本実施例では周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換ならどんなものでも構わない。
　特に周波数変換を施さずに予測差分そのものに対して符号化を行っても構わない。さらに、可変長符号化も特に行わなくて良い。
　また、実施例では特に4×4画素サイズのブロック単位で予測を行う場合について記載しているが、例えば8×8画素サイズや16×16画素サイズなど、どのようなサイズのブロックに対して本発明を適用しても良い。
　また、本実施例ではH.264/AVCで定められている8方向に沿って予測を行っているが、方向数を増やしても減らしても構わない。
　以上説明した実施例１に係る動画像符号化装置、動画像符号化方法、動画像復号化装置、動画像復号化方法によれば、動画像の符号化・復号化処理においてより符号量を低減することが可能となる。
　実施例２では予測符号化に用いるマクロブロックのサイズ及び予測方法(画面内予測、画面間予測)などの予測モード情報の符号化処理に対して、実施例１のような選択的な符号化処理を用いる例について述べる。
　図13はH.264/AVC における、Baselineプロファイルで利用可能な符号化モードの種類を示す。H.264/AVCでは、16×16画素サイズのマクロブロックごとに符号化モードを決定する。ここでは、画面内ブロックの画素相関を利用して圧縮を行う画面内予測(Intra予測)、および画面間ブロックの画素相関を利用する画面間予測(Inter予測)のうちどちらの予測方法を適用するか、ならびに予測に利用するブロックのサイズを決定する。H.264/AVCでは、画面間の画素値予測方法として、1枚の参照画像を指定する順方向予測(Predictive予測)と、2枚の参照画像を指定することが可能な双方向予測(Bi-directional predictive予測)を規定しているが、Baselineプロファイルを利用する場合は、Predictive予測のみが利用可能となっている。
　各フレームでは、画面左上のマクロブロックから右下のマクロブロックに向かってラスター走査の順番に従って順次符号化が行われる。マクロブロックはさらに小さなサイズのブロックに分割することが可能であり、あらかじめ予測方法の種類ごとに定められたいくつかのサイズの中から最適なものを選んで符号化を行う。画面内予測の場合、16×16画素 (I16×16モード)と4×4画素(I4×4モード)の2種類のブロックサイズを利用することができ、いずれか適した方のモードが使われる。一方、画面間予測では、16×16画素(P16×16モード)、16×8画素(P16×8モード)、8×16画素(P8×16モード)、8×8画素(P8×8モード)のサイズが用意されており、8×8画素サイズの場合はさらに8×8画素、8×4画素、4×8画素、4×4画素サイズのサブマクロブロックに分割することが可能である。さらに、16×16画素のブロックサイズに対しては動きベクトル情報を符号化しないPSkipモードを、8×8画素サイズに対しては参照フレーム番号を符号化しないP8×8ref0モードを用意している。
　各マクロブロックに対して、以上で述べた予測方法およびブロックサイズを決定し、その情報を符号化する。上記で挙げた予測方法(画面内予測、画面間予測)とブロックサイズの組合せ(例えばI16×16モードやI4×4モード等)をブロックタイプと呼ぶ。
　ここで、図14を用いて、本実施例に係るブロックタイプの符号化方法を説明する。図14の画像ブロック説明図(1401)、ビット構成図(1402)、可変長符号表(1403)は、それぞれ、実施例１の図8の画像ブロック説明図(801),ビット構成図(802)、可変長符号表(803)に対応する。
　図14(実施例２)と図8（実施例１）を比較すれば明らかなとおり、両者の相違は、図8の「予測方向」を「ブロックタイプ」に変更すれば、図14に示すブロックタイプの符号化方法が実現できる。
　具体的には、画像ブロック説明図(1401)に示すように、対象ブロックに対してそれぞれ左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロックA、B、C、Dの復号化画像を利用して対象ブロックのブロックタイプを推定する。この際に推定が容易か否かによってブロックタイプの符号化方式を切替える。ブロックタイプの推定が容易である場合には、ブロックタイプ符号化方法Ａを用い、隣接ブロックのブロックタイプを用いた予測結果に基づいて対象ブロックのブロックタイプを符号化する。一方、ブロックタイプの推定が容易でない場合にはブロックタイプ符号化方法Ｂを用い、隣接ブロックから推定せずにブロックタイプを単独で符号化する。この推定難易度の判定は、例えば、周囲の符号化済みの隣接ブロックA、B、C、D、のブロックタイプMSA、MSB、MSC、MSDから多数決を行い、N(Ｎは2以上の整数)個以上同じブロックタイプが存在する場合にはブロックタイプの推定が容易であり、それ以外の場合は容易でないとする、などの方法で行うことができる。
　ビット構成図(1402)は、ブロックタイプ符号化方法Ａの際の予測方法を表すビット構成の詳細を示している。ブロックタイプ符号化方法Ａでは、隣接モード（推定ブロックタイプ）を決定する必要があるが、これは例えば周囲ブロックのブロックタイプのうち、最も多く現れるブロックタイプを隣接モード（推定ブロックタイプ）とする、などの方法で決定することが可能である。
　表(1403)は、ブロックタイプ符号化方法Ｂの際に用いる可変長符号表の一例を示す。ブロックタイプ符号化方法Ｂでは、ブロックタイプを(1403)のような可変長符号表に従って、可変長符号化する。表(1403)の可変長符号表は一例であり、他のパターンを用いてもよい。
　また、以上では符号化について述べたが、復号化の際には対応する符号化方法と逆の処理を行うことで復号化を行うことができる。
　すなわち、隣接する復号化済みブロックのブロックタイプ情報を利用して対象ブロックのブロックタイプの推定難易度を判定し、ブロックタイプの推定が容易である場合にはビット構成図(1402)のビット構成に従いブロックタイプの復号化を行う。一方、ブロックタイプの推定が容易でない場合には表(1403)の符号表を基にブロックタイプの復号化を行うことで、ブロックタイプの復号化を行うことができる。
　本実施例における画像符号化装置は、実施例1の図1の画像符号化装置において、可変長符号化部(112)を図15に示す構成とすれば実現できる。その他の構成は、実施例１の図１の構成と同一であるため、説明を省略する。
　図15において、可変長符号化部(112)には、例えば図1に示す量子化処理部部(103)にて量子化されたデータが入力される。入力されるデータのうちブロックタイプ情報はブロックタイプ記憶メモリ(1505)に記憶される。ブロックタイプ推定難易度判定部(1501)で、周囲の符号化済みのブロックタイプの情報をブロックタイプ記憶メモリ(1505)から読み出し、読み出した情報を基に対象ブロックのブロックタイプの推定難易度を判定する。推定難易度を判定は、例えば図14にて説明した方法を使うことができる。この判定を基にブロックタイプの符号化方式を切替える。
　例えば、ブロックタイプの推定が容易であると判定された場合には、ブロックタイプの符号化はブロックタイプ予測符号化部(1503)によって行われる。ブロックタイプ予測符号化部(1503)では、図14のビット構成図(1402)に示す方法(ブロックタイプ符号化方法Ａ)を用いてブロックタイプの符号化を行う。
　また、例えば、ブロックタイプの推定が容易でないと判断された場合には、ブロックタイプの符号化はブロックタイプ可変長符号化部(1502)によって行われる。ブロックタイプ可変長符号化部(1502)では、例えば図14の表(1403)を用いる可変長符号化方法(ブロックタイプ符号化方法Ｂ)を用いてブロックタイプの符号化を行う。
　以上説明したように、ブロック毎にブロックタイプの符号化方法を選択しながら、符号化を行う。
　また同時にブロックタイプ以外の可変長符号化部(1504)において、ブロックタイプ以外のデータの可変長符号化を行い、この結果とブロックタイプを符号化した結果を出力値とする。図15の例ではブロックタイプの符号化を可変長符号化部(112)にて行っているが、モード選択部(108)で符号化を行うこともできるし、別の構成部で行っても良い。
　次に、本実施例における画像復号化装置は、実施例1の図３の画像復号化装置において、可変長符号化部(302)を図16に示す構成とすれば実現できる。その他の構成は、実施例１の図３の構成と同一であるため、説明を省略する。
　図16において、ブロックタイプ推定難易度判定部(1601)では、周囲の復号化済みのブロックのブロックタイプの情報をブロックタイプ記憶メモリ(1605)から読み出し、読み出した情報を基に対象ブロックのブロックタイプの推定難易度を判定する。この方法は例えば図14にて説明した方法を使うことができる。この判定を基に、ブロックタイプの復号化方式を切替える。
　例えばブロックタイプの推定が容易であると判定された場合には、ブロックタイプの復号化はブロックタイプ予測復号化部(1603)によって行われる。ブロックタイプ予測復号化部(1603)では、例えば図14のビット構成図(1402)に示す方法(ブロックタイプ符号化方法Ａ)に対応する復号化方式を用いて復号化を行う。
　また、ブロックタイプの推定が容易でないと判断された場合には、ブロックタイプの復号化はブロックタイプ可変長復号化部(1602)によって行われる。ブロックタイプ可変長復号化部(1602)では、例えば図14の表(1403)を用いる可変長復号化方法(ブロックタイプ符号化方法Ｂ)に対応する復号化方式を用いてブロックタイプの復号化を行う。
　以上のように復号化されたブロックタイプはブロックタイプ記憶メモリ(1605)に記憶される。
　またブロックタイプ以外の可変長復号化部(1604)において、ブロックタイプ以外のデータの可変長復号化を行い、ブロックタイプ以外のデータの復号結果とブロックタイプの復号結果とを出力する。
　図16の例ではブロックタイプの復号化を可変長復号化部(302)にて行っているが、画面内予測部(306)および画面間予測部(307)で復号化を行うこともできるし、別の構成部で行っても良い。
　本実施例に係る動画像符号化装置の1フレームの符号化処理手順については、実施例１における図9のうち可変長符号化処理(911)の詳細を図17に示す内容とればよい。その他の処理は実施例１と同様のため説明を省略する。
　図17においては、まず、符号化対象となるブロックにおいて、既に符号化済みの周囲のブロックの情報から、ブロックタイプの推定が容易かどうかを判定する(1701)。容易であればブロックタイプ符号化方法Ａを用いて符号化を実行する(1702)。容易でなければブロックタイプ符号化方法Ｂを用いて符号化を実行する(1703)。最後にブロックタイプ以外の可変長符号化処理を実行して(1704)、１ブロック分の可変長符号化は終了する(1705)。
　図17の例では可変長符号化処理(911)においてブロックタイプの符号化を行っているが、この符号化は符号化モード選択処理(908)で行うこともできるし、別の処理内で行っても良い。
　本実施例に係る動画像復号化装置の1フレームの復号化処理手順については、実施例１における図11のうち可変長復号化処理(1102)の詳細を図18に示す内容とればよい。その他の処理は実施例１と同様のため説明を省略する。
　図18において、まず、復号化対象となるブロックについて、既に復号化済みの周囲のブロックの情報から、ブロックタイプの推定が容易かどうかを判定する(1801)。容易であればブロックタイプ符号化方法Ａに対応する復号化方式を用いて復号化を実行する(1802)。容易でなければブロックタイプ符号化方法Ｂに対応する復号化方式を用いて復号化を実行する(1803)。最後にブロックタイプ以外の可変長復号化処理を実行して(1804)、１ブロック分の可変長復号化は終了する(1805)。
　図18の例では可変長復号化処理(1102)においてブロックタイプの復号化を行っているが、この復号化は画面内予測復号化処理(1106)および画面内予測復号化処理(1109)で行うこともできるし、別の処理内で行っても良い。
　本実施例では周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換ならどんなものでも構わない。特に周波数変換を施さずに予測差分そのものに対して符号化を行っても構わない。
　さらに、可変長符号化も特に行わなくて良い。また、実施例ではH.264/AVCで定められている8方向に沿って予測を行っているが、方向数を増やしても減らしても構わない。
　また、実施例では一部のブロックタイプの例を挙げているが、他のブロックタイプを用いても構わない。
　以上の２つの実施例では、画面内予測の際の予測方向の符号化および復号化と、予測符号化の際のブロックタイプの符号化および復号化に本発明を適用する例について示したが、例えば、周波数係数の有無を表すCBP(Coded Block Pattern)や動きベクトルなど、ブロック単位で符号化する必要がある情報の符号化処理および復号化処理であれば、他の情報であっても本発明を適用できる。
　本発明は動画像を符号化する動画像符号化技術および動画像を復号化する動画像復号化技術として有用である。
101…原画像、102…原画像メモリ、103…ブロック分割部、104…動き探索部、106…画面内予測部、107…画面間予測部、108…方向選択部、109…減算部、110…周波数変換部、111…量子化処理部、112…可変長符号化部、113…逆量子化処理部、114…逆周波数変換部、115…加算部、116…参照画像メモリ、201…方向別予測部、202…予測方向決定部、203…予測方向推定難易度決定部、204…予測方向可変長符号化部、205…予測方向予測符号化部、206…予測方向記憶メモリ、207…画面内予測画像生成部、301…符号化ストリーム、302…可変長復号化部、303…逆量子化処理部、304…逆周波数変換部、306…画面内予測部、307…画面間予測部、308…加算部、309…参照画像メモリ、401…予測方向推定難易度判定部、402…予測方向可変長復号化部、403…予測方向予測復号化部、404…画面内予測画像生成部、405…予測方向記憶メモリ、1501…ブロックタイプ推定難易度判定部、1502…ブロックタイプ可変調符号化部、1503…ブロックタイプ予測符号化部、1504…ブロックタイプ以外の可変長符号化部、1505…ブロックタイプ記憶メモリ、1601…ブロックタイプ推定難易度判定部、1602…ブロックタイプ可変調復号化部、1603…ブロックタイプ予測復号化部、1604…ブロックタイプ以外の可変長復号化部、1605…ブロックタイプ記憶メモリ。

Claims (12)

  1. 　画面内予測処理を行う動画像復号化方法であって、
    　前記復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックのうち、同一の予測方向または同一のブロックサイズを有するブロックの個数を判定する判定ステップと、
    　前記判定ステップの判定結果に基づいて、前記復号化対象ブロックの予測方向データまたはブロックサイズデータを復号化する復号化ステップと、
    　前記復号化ステップにおいて復号化された予測方向データまたはブロックサイズデータに基づいて画面内予測を行い、復号化画像データを生成する生成ステップと
    　を備えることを特徴とする動画像復号化方法。
  2. 　前記判定ステップにおいて、前記複数の隣接ブロックのうち、同一の予測方向または同一のブロックサイズを有するブロックが二つ以上ある場合、該予測方向または該ブロックサイズを前記復号化対象ブロックの推定予測方向または推定ブロックサイズとし、
    　前記復号化ステップにおいて、前記推定予測方向データまたは前記推定ブロックサイズに基づいて生成され、符号化ストリームに含まれるビット構成情報に基づいて、前記復号化対象ブロックの予測方向データまたは前記ブロックサイズデータを復号化する
    　ことを特徴とする請求項１記載の動画像復号化方法。
  3. 　前記判定ステップにおいて、前記複数の隣接ブロックに、同一の予測方向データまたは同一のブロックサイズを有する二つ以上のブロックが存在しない場合、
    　前記復号化ステップにおいて、前記復号化対象ブロックの予測方向データまたはブロックサイズデータを可変長復号処理により復号化する
    　ことを特徴とする請求項１記載の動画像復号化方法。
  4. 　画面内予測処理を行う動画像符号化方法であって、
    　前記符号化対象ブロックに隣接する既に符号化された複数の隣接ブロックのうち、同一の予測方向または同一のブロックサイズを有するブロックの個数を判定する判定ステップと、
    　前記判定ステップの判定結果に基づいて、前記符号化対象ブロックの予測方向データまたはブロックサイズデータを符号化する符号化ステップと
    　を備えることを特徴とする動画像符号化方法。
  5. 　前記判定ステップにおいて、前記複数の隣接ブロックのうち、同一の予測方向または同一のブロックサイズを有するブロックが二つ以上ある場合、該予測方向または該ブロックサイズを前記符号化対象ブロックの推定予測方向または推定ブロックサイズとし、
    　前記符号化ステップにおいて、前記推定予測方向データまたは前記推定ブロックサイズに基くビット構成情報として、前記符号化対象ブロックの予測方向データまたは前記ブロックサイズデータを符号化する
    　ことを特徴とする請求項４記載の動画像符号化方法。
  6. 　前記判定ステップにおいて、前記複数の隣接ブロックに同一の予測方向データまたは同一のブロックサイズを有する二つ以上のブロックが存在しない場合、
    　前記符号化ステップにおいて、前記符号化対象ブロックの予測方向データまたはブロックサイズデータを可変長符号化処理により符号化する
    　ことを特徴とする請求項４記載の動画像符号化方法。
  7. 　画面内予測処理を行う動画像復号化装置であって、
    　前記復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックのうち、同一の予測方向または同一のブロックサイズを有するブロックの個数を判定する判定部と、
    　前記判定部の判定結果に基づいて、前記復号化対象ブロックの予測方向データまたはブロックサイズデータを復号化する復号化部と、
    　前記復号化部において復号化された予測方向データまたはブロックサイズデータに基づいて画面内予測を行い、復号化画像を生成する復号画像生成部と
    　を備えることを特徴とする動画像復号化装置。
  8. 　前記判定部は、前記複数の隣接ブロックのうち、同一の予測方向または同一のブロックサイズを有するブロックが二つ以上あると判定した場合、該予測方向または該ブロックサイズを前記復号化対象ブロックの推定予測方向または推定ブロックサイズとし、
    　前記復号化部は、前記推定予測方向データまたは前記推定ブロックサイズに基づいて生成され、符号化ストリームに含まれるビット構成情報に基づいて、前記復号化対象ブロックの予測方向データまたは前記ブロックサイズデータを復号化する
    　ことを特徴とする請求項７記載の動画像復号化装置。
  9. 　前記判定部が、前記複数の隣接ブロックに、同一の予測方向データまたは同一のブロックサイズを有する二つ以上のブロックが存在しないと判定した場合、
    　前記復号化部は、前記復号化対象ブロックの予測方向データまたはブロックサイズデータを可変長復号処理により復号化する
    　ことを特徴とする請求項７記載の動画像復号化装置。
  10. 　画面内予測処理を行う動画像符号化装置であって、
    　前記符号化対象ブロックに隣接する既に符号化された複数の隣接ブロックのうち、同一の予測方向または同一のブロックサイズを有するブロックの個数を判定する判定部と、
    　前記判定部の判定結果に基づいて、前記符号化対象ブロックの予測方向データまたはブロックサイズデータを符号化する符号化部と
    　を備えることを特徴とする動画像符号化装置。
  11. 　前記判定部は、前記複数の隣接ブロックのうち、同一の予測方向または同一のブロックサイズを有するブロックが二つ以上あると判定した場合、該予測方向または該ブロックサイズを前記符号化対象ブロックの推定予測方向または推定ブロックサイズとし、
    　前記符号化部は、前記推定予測方向データまたは前記推定ブロックサイズに基くビット構成情報として、前記符号化対象ブロックの予測方向データまたは前記ブロックサイズデータを符号化する
    　ことを特徴とする請求項１０記載の動画像符号化装置。
  12. 　前記判定部が、前記複数の隣接ブロックに同一の予測方向データまたは同一のブロックサイズを有する二つ以上のブロックが存在しないと判定した場合、
    　前記符号化部は、前記符号化対象ブロックの予測方向データまたはブロックサイズデータを可変長符号化処理により符号化する
    　ことを特徴とする請求項１０記載の動画像符号化装置。
PCT/JP2009/006476 2008-12-10 2009-11-30 動画像復号化方法及び装置、動画像符号化方法及び装置 WO2010067529A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200980149592.0A CN102246526B (zh) 2008-12-10 2009-11-30 运动图像解码方法以及装置、运动图像编码方法以及装置
JP2010541982A JP5400798B2 (ja) 2008-12-10 2009-11-30 動画像復号化方法及び装置、動画像符号化方法及び装置
US13/133,390 US20110243227A1 (en) 2008-12-10 2009-11-30 Moving picture decoding method and device, and moving picture encoding method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008313879 2008-12-10
JP2008-313879 2008-12-10

Publications (1)

Publication Number Publication Date
WO2010067529A1 true WO2010067529A1 (ja) 2010-06-17

Family

ID=42242526

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006476 WO2010067529A1 (ja) 2008-12-10 2009-11-30 動画像復号化方法及び装置、動画像符号化方法及び装置

Country Status (4)

Country Link
US (1) US20110243227A1 (ja)
JP (1) JP5400798B2 (ja)
CN (1) CN102246526B (ja)
WO (1) WO2010067529A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042654A1 (ja) * 2010-09-30 2012-04-05 富士通株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム
WO2012042650A1 (ja) * 2010-09-30 2012-04-05 富士通株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム
WO2012081477A1 (ja) * 2010-12-17 2012-06-21 ソニー株式会社 画像処理装置および方法
US20120177113A1 (en) * 2011-01-07 2012-07-12 Mediatek Singapore Pte. Ltd. Method and Apparatus of Improved Intra Luma Prediction Mode Coding
WO2012096228A1 (ja) * 2011-01-13 2012-07-19 ソニー株式会社 画像処理装置および方法
JP2012231278A (ja) * 2011-04-26 2012-11-22 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
WO2013051794A1 (ko) * 2011-10-06 2013-04-11 주식회사 팬택 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
CN105872551A (zh) * 2011-01-07 2016-08-17 联发科技（新加坡）私人有限公司 编码方法与装置以及解码方法与装置
CN107277526A (zh) * 2010-07-15 2017-10-20 夏普株式会社 解码装置、解码方法、编码装置以及编码方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699456B2 (en) 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
KR20130049522A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
JP5877053B2 (ja) * 2011-12-14 2016-03-02 パナソニック株式会社 姿勢推定装置および姿勢推定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304107A (ja) * 2005-04-22 2006-11-02 Ntt Electornics Corp 符号化装置、及び、この符号化装置に適用されるプログラム
JP2007116351A (ja) * 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386048B2 (en) * 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR101365569B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
CN101669367A (zh) * 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
EP3410706B1 (en) * 2007-06-29 2021-12-01 Velos Media International Limited Image encoding device and image decoding device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304107A (ja) * 2005-04-22 2006-11-02 Ntt Electornics Corp 符号化装置、及び、この符号化装置に適用されるプログラム
JP2007116351A (ja) * 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277526B (zh) * 2010-07-15 2020-02-18 威勒斯媒体国际有限公司 解码装置、解码方法、编码装置以及编码方法
CN107277526A (zh) * 2010-07-15 2017-10-20 夏普株式会社 解码装置、解码方法、编码装置以及编码方法
JP5472476B2 (ja) * 2010-09-30 2014-04-16 富士通株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム
WO2012042650A1 (ja) * 2010-09-30 2012-04-05 富士通株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム
CN103141102B (zh) * 2010-09-30 2016-07-13 富士通株式会社 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
WO2012042654A1 (ja) * 2010-09-30 2012-04-05 富士通株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム
CN103141102A (zh) * 2010-09-30 2013-06-05 富士通株式会社 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
CN103155562A (zh) * 2010-09-30 2013-06-12 富士通株式会社 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
JP5541364B2 (ja) * 2010-09-30 2014-07-09 富士通株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム
WO2012081477A1 (ja) * 2010-12-17 2012-06-21 ソニー株式会社 画像処理装置および方法
US9374600B2 (en) 2011-01-07 2016-06-21 Mediatek Singapore Pte. Ltd Method and apparatus of improved intra luma prediction mode coding utilizing block size of neighboring blocks
US20120177113A1 (en) * 2011-01-07 2012-07-12 Mediatek Singapore Pte. Ltd. Method and Apparatus of Improved Intra Luma Prediction Mode Coding
AU2011354441B2 (en) * 2011-01-07 2014-07-17 Hfi Innovation Inc. Method and apparatus of improved intra luma prediction mode coding
CN103299622A (zh) * 2011-01-07 2013-09-11 联发科技（新加坡）私人有限公司 改进型帧内亮度预测模式编码方法及装置
CN105872551B (zh) * 2011-01-07 2018-09-25 寰发股份有限公司 编码方法与装置以及解码方法与装置
CN103299622B (zh) * 2011-01-07 2016-06-29 联发科技（新加坡）私人有限公司 编码方法与装置以及解码方法与装置
US9596483B2 (en) 2011-01-07 2017-03-14 Hfi Innovation Inc. Method and apparatus of improved intra luma prediction mode coding
CN105872551A (zh) * 2011-01-07 2016-08-17 联发科技（新加坡）私人有限公司 编码方法与装置以及解码方法与装置
WO2012096228A1 (ja) * 2011-01-13 2012-07-19 ソニー株式会社 画像処理装置および方法
JP2012231278A (ja) * 2011-04-26 2012-11-22 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US9918083B2 (en) 2011-10-06 2018-03-13 Intellectual Discovery Co., Ltd. Method for encoding/decoding an intra-picture prediction mode using two intra-prediction mode candidate, and apparatus using such a method
WO2013051794A1 (ko) * 2011-10-06 2013-04-11 주식회사 팬택 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
US10284841B2 (en) 2011-10-06 2019-05-07 Intellectual Discovery Co., Ltd. Method for encoding/decoding an intra-picture prediction mode using two intra-prediction mode candidate, and apparatus using such a method
US20140233644A1 (en) * 2011-10-06 2014-08-21 Pantech Co., Ltd. Method for encoding/decoding an intra-picture prediction mode using two intra- prediction mode candidate, and apparatus using such a method
US10708579B2 (en) 2011-10-06 2020-07-07 Intellectual Discovery Co., Ltd. Method for encoding/decoding an intra-picture prediction mode using two intra-prediction mode candidate, and apparatus using such a method
US11032540B2 (en) 2011-10-06 2021-06-08 Intellectual Discovery Co., Ltd. Method for encoding/decoding an intra-picture prediction mode using two intra-prediction mode candidate, and apparatus using such a method
US11516461B2 (en) 2011-10-06 2022-11-29 Dolby Laboratories Licensing Corporation Method for encoding/decoding an intra-picture prediction mode using two intra-prediction mode candidate, and apparatus using such a method
US11973933B1 (en) 2011-10-06 2024-04-30 Dolby Laboratories Licensing Corporation Method for encoding/decoding an intra-picture prediction mode using two intra-prediction mode candidate, and apparatus using such a method

Also Published As

Publication number Publication date
US20110243227A1 (en) 2011-10-06
CN102246526A (zh) 2011-11-16
JP5400798B2 (ja) 2014-01-29
JPWO2010067529A1 (ja) 2012-05-17
CN102246526B (zh) 2014-10-29

Similar Documents

Publication Publication Date Title
JP5400798B2 (ja) 動画像復号化方法及び装置、動画像符号化方法及び装置
KR102518242B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
JP5401009B2 (ja) 映像のイントラ予測符号化、復号化方法及び装置
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
EP3448038B1 (en) Decoding method for intra predicting a block by first predicting the pixels at the boundary
KR101365570B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
JP2009111691A (ja) 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
US11659174B2 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
JP2015130684A (ja) 映像復号化装置
JP2007074725A (ja) 映像のイントラ予測符号化及び復号化方法、並びに装置
KR20070027981A (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR20110073263A (ko) 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
US20220345703A1 (en) Image encoding method/device, image decoding method/device and recording medium having bitstream stored therein
EP2034742A2 (en) Video coding method and device
JP2020005294A (ja) 処理方法
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP5887012B2 (ja) 画像復号化方法
JP5886922B2 (ja) 画像復号化方法
JP5891333B2 (ja) 画像復号化方法
JP5887013B2 (ja) 画像復号化方法
KR101841352B1 (ko) 참조 프레임 선택 방법 및 그 장치
KR20160106348A (ko) 비디오 부호화 방법 및 그 장치
JP5422681B2 (ja) 画像復号化方法
JP5690898B2 (ja) 画像復号化方法
RU2782400C2 (ru) Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980149592.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09831637

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010541982

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13133390

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09831637

Country of ref document: EP

Kind code of ref document: A1