WO2010100860A1 - 動画像符号化方法及び動画像復号化方法 - Google Patents

動画像符号化方法及び動画像復号化方法 Download PDF

Info

Publication number
WO2010100860A1
WO2010100860A1 PCT/JP2010/001198 JP2010001198W WO2010100860A1 WO 2010100860 A1 WO2010100860 A1 WO 2010100860A1 JP 2010001198 W JP2010001198 W JP 2010001198W WO 2010100860 A1 WO2010100860 A1 WO 2010100860A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
decoding
encoding
image
target block
Prior art date
Application number
PCT/JP2010/001198
Other languages
English (en)
French (fr)
Inventor
小松佑人
高橋昌史
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2010100860A1 publication Critical patent/WO2010100860A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/42—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present invention relates to a moving picture coding technique for coding a moving picture and a moving picture decoding technique for decoding a coded moving picture.
  • Encoding methods such as MPEG (Moving Picture Experts Group) method have been established as a method to record and transmit large-capacity moving image information as digital data, MPEG-1 standard, MPEG-2 standard, MPEG-4 standard, It is an international standard encoding method such as H.264 / AVC (Advanced Video Video Coding) standard. These systems have been adopted as encoding systems for digital satellite broadcasting, DVDs, mobile phones, digital cameras, and the like, and the range of use is now expanding and becoming familiar.
  • MPEG Motion Picture Experts Group
  • AVC Advanced Video Video Coding
  • the encoding amount is reduced by predicting the encoding target image in units of blocks using image information for which encoding processing has been completed, and variable-length encoding the prediction difference from the original image.
  • H.264 / AVC employs an intra-screen predictive coding scheme that uses the surrounding pixels of the encoding target block and an inter-screen predictive encoding scheme that uses the pixels of the screen before and after the encoding target block. Only the prediction difference is encoded.
  • paragraph 0007 of Patent Document 1 states that “based on the number of non-zero coefficients included in an encoded block located around the encoding target block, A prediction step for calculating a prediction value for the number of coefficients other than 0 included in the table, a table selection step for selecting a variable length coding table based on the prediction value calculated by the prediction step, and the table selection A variable length coding step for performing variable length coding on the number of non-zero coefficients included in the coding target block with reference to the variable length coding table selected in the step. It is described that it is constituted as follows.
  • Patent Document 1 is intended to perform variable-length coding processing with high efficiency for “the number of coefficients other than 0 included in a block to which orthogonal transform is applied”. There was a problem that highly efficient variable-length encoding processing could not be performed.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a moving picture coding technique and a moving picture decoding technique that provide high-quality video with a small amount of codes.
  • an encoded stream is input, a prediction mode of a decoding target block included in the encoded stream is determined, and already decoded by a calculation method corresponding to the determined prediction mode
  • An estimated index value of a prediction error of a decoding target block is calculated based on the image of, and a decoding table used for variable length decoding processing is determined from a plurality of decoding tables based on the calculated estimated index value,
  • the encoded stream data is subjected to variable length decoding processing
  • the variable length decoding processing data is subjected to inverse quantization processing and inverse frequency transform processing to decode the prediction difference
  • a decoded image is generated based on the decoded prediction difference and the predicted image generated by the prediction process in the determined prediction mode.
  • Example of block diagram of image coding apparatus Example of block diagram of variable-length encoding unit according to embodiment 1
  • Example of block diagram of image decoding apparatus Example of block diagram of variable length decoding unit according to embodiment 1
  • Conceptual explanatory diagram of an example of inter-screen prediction according to the first embodiment Conceptual explanatory diagram of an example of intra prediction according to the first embodiment.
  • Conceptual illustration of H.264 standard variable length coding Conceptual explanatory diagram of an example of a prediction error estimation index value calculation process for inter-screen prediction according to the first embodiment
  • FIG. Explanatory drawing of an example of the prediction error estimation index value calculation process for inter-screen prediction which concerns on Example 2.
  • FIG. Explanatory drawing of an example of the prediction error estimation index value calculation process for inter-screen prediction which concerns on Example 2.
  • FIG. 1 Explanatory drawing of an example of the prediction error estimation index value calculation process for the prediction in a screen which concerns on Example 1.
  • FIG. 2 Explanatory drawing of an example of the prediction error estimation index value calculation process for the prediction in a screen which concerns on Example 2.
  • FIG. 14 Explanatory drawing of an example of the determination method of the encoding / decoding table which concerns on Example 1.
  • FIG. An example of a flowchart of an image encoding method according to the first embodiment Example of flowchart of image decoding method according to embodiment 1
  • Example of flowchart of variable length coding method according to embodiment 1 Example of flowchart of variable length decoding method according to embodiment 1
  • FIG. 1 shows an example of a moving picture coding apparatus according to the first embodiment.
  • the moving image encoding apparatus performs an intra-screen prediction in units of blocks, an input image memory (102) that holds an input original image (101), a block division unit (103) that divides the input image into small regions.
  • An intra-screen prediction unit (105) that generates a predicted image and an inter-screen prediction unit that calculates a motion vector by performing a motion search on the target block, and generates a predicted image by an inter-screen prediction process based on the motion vector (106), a mode determination unit (107) for determining a prediction mode (prediction method and block size) suitable for the nature of the image, and outputting a prediction image of the determined prediction mode, and a prediction mode determined from the input image
  • a subtractor (108) that subtracts the predicted image to generate a prediction difference, a frequency conversion unit (109) and a quantization unit (110) that perform encoding on the prediction difference, and performs variable-length encoding processing Variable length encoder (111), frequency conversion and quantization
  • the input image memory (102) holds one image from the original image (101) as an encoding target image.
  • the block dividing unit (103) divides the original image into a plurality of blocks, and outputs them to the intra-screen prediction unit (105) and the inter-screen prediction unit (106).
  • the inter-screen prediction unit (106) calculates the motion vector of the target block by motion search using the decoded image stored in the reference image memory (117), and executes the inter-screen prediction process on a block basis .
  • the inter-screen prediction unit (106) performs encoding in units of blocks on the encoding target image in the raster scan order.
  • the decoded image of the encoded image included in the same video (501) as the encoding target image (503) is set as the reference image (502), and the target block (504) in the target image Motion search is performed to search a reference block (predicted image) (505) having a high correlation with the reference image from the reference image.
  • a motion vector is calculated as a search result, and a prediction image (505) used for encoding the target block (504) is determined.
  • the inter-screen prediction unit (106) outputs the motion vector to the variable length coding unit (111), and outputs the predicted image for the target block to the mode determination unit (107).
  • the intra-screen prediction unit (105) executes intra-screen prediction processing in units of blocks. Details of the intra-screen prediction processing by the intra-screen prediction unit (105) will be described with reference to FIG.
  • the intra prediction unit (105) performs prediction using the decoded images of the encoded blocks adjacent to the left, upper left, upper, and upper right of the encoding target block. In particular, for prediction, 13 pixels included in these blocks are used as reference pixels, and all pixels on the same straight line having a prediction direction vector as an inclination are predicted from the same pixel (601). Further, as shown in the description (602), the optimum prediction direction is selected in units of blocks from eight types of prediction direction candidates such as vertical, horizontal, and diagonal directions.
  • the prediction in the in-screen prediction process is to generate the prediction image of the encoding target block by copying the pixel value of the pixel of the adjacent encoded block to the pixel in the selected prediction direction.
  • the 13 pixels are encoded by the average value of the pixel values of the 8 pixels belonging to the block adjacent to the target block above or to the left of the reference pixels.
  • “DC prediction” for predicting all pixels included in the conversion target block can also be used (602). In this case, all the pixel values of the predicted image are average values of the pixel values of the eight pixels.
  • an intra-screen prediction unit (105) uses variable-length codes for information on the type of prediction method used in the intra-screen prediction process (for example, information indicating the type of intra-screen prediction mode such as prediction direction or DC prediction). And outputting the prediction image for the target block to the mode determining unit (107).
  • the mode determination unit (107) determines an optimal prediction mode based on the result of the intra-screen prediction process or the inter-screen prediction process.
  • the subtraction unit (108) subtracts the prediction image in the prediction mode determined from the target block image of the original image to generate a prediction difference, and outputs the prediction difference to the frequency conversion unit (109).
  • the frequency conversion unit (109) performs frequency conversion processing such as DCT (Discrete Cosine Transformation) on the acquired prediction difference.
  • the quantization processing unit (110) performs quantization processing and outputs the result to the variable length coding processing unit (111) and the inverse quantization processing unit (112).
  • variable length coding processing unit (111) calculates a prediction error estimation index value based on the pixel values of the pixels of the peripheral block of the target block, and determines a coding table based on the prediction error estimation index value. Next, using the determined coding table, variable length information necessary for decoding, such as quantized prediction difference information, prediction direction used in intra prediction processing, and motion vector used in inter prediction processing Encode to generate an encoded stream. Details of the processing of the variable length coding processing unit (111) will be described later.
  • the inverse quantization processing unit (112) performs inverse quantization processing on the quantized frequency transform coefficient of the prediction difference information, and the inverse frequency transform unit (113) performs IDCT (Inverse DCT: Inverse DCT). ) And the like, and a prediction difference is generated and output to the adding unit (114). Subsequently, the adding unit (114) adds the prediction difference to the prediction image in the prediction mode in which the prediction difference is determined, and generates a decoded image. The generated decoded image is stored in the reference image memory (104).
  • variable length coding processing unit (111) Next, details of the processing of the variable length coding processing unit (111) will be described in comparison with the conventional variable length coding processing of the H.264 standard.
  • variable length coding process of the H.264 standard will be described with reference to FIG.
  • a coefficient value obtained by performing frequency conversion processing (such as DCT conversion) and quantization processing on a prediction difference generated by inter-screen prediction processing or intra-screen prediction processing is encoded by a zigzag scan. Convert to a dimensional array.
  • the six types of information shown in (1) to (6) included in the one-dimensional array are subjected to variable length encoding using, for example, an encoding table having the illustrated characteristics.
  • FIG. 2 shows an example of a detailed configuration of the variable length coding unit (111) of the moving picture coding apparatus according to the present embodiment.
  • the variable length coding unit (111) includes, for example, a prediction error estimation index value calculation unit (201), a table determination unit (202), and a coding unit (203).
  • a prediction error estimation index value calculation unit (201) obtains pixel values of encoded peripheral blocks adjacent to the encoding target block from the reference image memory (104), and estimates prediction errors for the encoding target block. Calculate the value.
  • the prediction error estimation index value calculation unit (201) acquires information on the prediction mode determined from the mode determination unit (107), and predicts depending on whether the determined prediction mode is the intra prediction mode or the inter prediction mode.
  • the prediction error estimation index value calculation processing is performed by acquiring information on the type of the prediction method described above from the intra-screen prediction unit (105) and acquiring the motion vector described above from the inter-screen prediction unit (106). Details of the prediction error estimation index value calculation process according to the prediction mode will be described later.
  • the table determination unit (202) is used for variable length encoding processing from among a plurality of encoding tables held in advance. Determine the encoding table.
  • the encoding unit (203) performs variable length encoding processing on the quantized coefficients acquired from the quantization processing unit (110) using the determined encoding table.
  • the encoding unit (203) acquires information on the type of the prediction method described above from the intra-screen prediction unit (105), and acquires the motion vector described above from the inter-screen prediction unit (106).
  • the encoding may be performed using an encoding table other than the encoding table determined by the table determination unit (202), or other encoding methods.
  • variable length coding unit (111) an example of a coding table determination method by the variable length coding unit (111) described above will be described with reference to FIGS.
  • variable length coding unit (111) holds, for example, a plurality of coding tables having different characteristics as shown in FIG.
  • the table A in FIG. 18 has a characteristic that the code length is relatively small when the coefficient value of the quantized prediction difference is small, but the code length is relatively large when the coefficient value is large. It is a table.
  • the table C is a table having a characteristic that the code length does not become relatively large even when the coefficient value is large, but the code length does not become relatively small even when the coefficient value is small.
  • Table B is a table having characteristics between Table A and Table C.
  • the table determination unit (202) performs table A in FIG. Select.
  • the code length can be made smaller than when the tables B and C are used, and the code amount can be reduced.
  • the table determining unit (202) selects the table C in FIG. 13 when X is larger than the predetermined threshold value S2. In this case, by using the table C in the encoding process of the encoding unit (203), the code length can be made smaller than when the tables A and B are used, and the code amount can be reduced.
  • the table determination unit (202) selects the table B in FIG. 13 when X is larger than the predetermined threshold S1 and equal to or smaller than the threshold S2. In this case, by using the table B in the encoding process of the encoding unit (203), the code length can be made smaller than when the tables A and C are used, and the code amount can be reduced.
  • the table selected in the above procedure can be applied to any information as long as it relates to the prediction error.
  • the prediction error estimation index value calculation unit (201) acquires information on the prediction mode determined from the mode determination unit (107), and whether the determined prediction mode is the intra prediction mode or the inter prediction mode. Depending on the type, the type of prediction error estimation index value calculation processing is switched.
  • FIGS. 8 and 9 when the determined prediction mode is inter-screen prediction, prediction error estimation index value calculation processing for inter-screen prediction shown in FIGS. 8 and 9 is performed.
  • FIGS. 8 and 9 will be described.
  • the prediction error estimation index value calculation process for inter-screen prediction belongs to the encoded pixel region belonging to the peripheral block of the target block (801) and the peripheral block of the predicted image (802).
  • a difference value from the encoded pixel region is calculated as a prediction error estimation index value.
  • a specific example of the calculation process is shown in FIG.
  • FIG. 9 shows an example of prediction error estimation index value calculation processing for inter-screen prediction according to the present embodiment.
  • the spatial correlation of images is high. That is, the target block and the peripheral area of the target area are similar. Therefore, by comparing the surrounding area of the target block with the image of the surrounding area of the reference block obtained by motion search, the correlation between the target block and the reference block image is estimated, that is, the index value of the size of the prediction error is estimated. Is possible.
  • the decoded image of the area in the encoded block adjacent to the left, upper left, upper, and upper right of the encoding target block, and the code adjacent to the left, upper left, upper, and upper right of the predicted image A difference value from the decoded image of the area in the segmented block is used as an estimation value of the prediction error.
  • the reason for using the encoded region encoded before the target block located on the left, upper left, upper, upper right in the adjacent block is that the decoding side performs the same prediction error estimation index value calculation process. This is because the pixel cannot be used unless it is decoded before the target block.
  • the pixel located at the right end of the block adjacent to the left of the target block and the upper left, upper, and upper right of the target block in the target image Thirteen pixels including the pixel at the lower end of the block to be processed are set as peripheral region pixels. Further, in the reference image, a pixel at a position corresponding to the 13 peripheral region pixels is set as a peripheral region pixel.
  • the value N obtained by adding the differences between the corresponding pixels of the peripheral region pixel in the target image and the peripheral region pixel in the reference image for all the pixels in the peripheral region pixel is divided by the quantization step value of the target block.
  • a value Error obtained by an equation (901) obtained by multiplying a predetermined coefficient ⁇ ( ⁇ is larger than 0) and adding a predetermined value ⁇ is set as a prediction error estimation index value.
  • the quantization step value may be acquired from the quantization processing unit (110).
  • some pixels in the encoded block adjacent to the target block on the left, upper left, upper, and upper right are set as peripheral area pixels.
  • any pixel may be combined as long as the pixels constituting the peripheral region pixel are pixels that are encoded before the target block and belong to a block that touches the side or corner of the target block. .
  • pixels belonging to three blocks adjacent to the target block on the left, upper, and upper right for example, 12 pixels excluding pixel A from 13 pixels in FIG. 9 may be used.
  • the index value for estimating the magnitude of the prediction error can be calculated using the fact that the correlation in the spatial direction of the image is high.
  • the prediction error estimation index value calculation unit (201) performs prediction error estimation index value calculation processing for intra prediction shown in FIG. Do.
  • FIG. 11 will be described.
  • FIG. 11 shows an example of the operation of the prediction error estimation index value calculation process for intra-screen prediction according to this embodiment.
  • a prediction error estimation index is obtained using a pixel located at the right end of a block adjacent to the left of the target block and a pixel belonging to a block adjacent to the upper left, upper, and upper right of the target block in the target image. Calculate the value.
  • the calculation method of the prediction error estimation index value is changed according to the intra-screen prediction mode (prediction direction) used in the intra-screen prediction process.
  • the pixels in the lower two columns of the upper adjacent block adjacent on the target block are used.
  • a pair of two pixels arranged in the same direction as the intra-screen prediction mode 0 (prediction direction in the lower direction of the screen) is used as a pair, and a difference between the paired pixels is calculated.
  • a value N obtained by summing the differences of a plurality of pixel pairs arranged in the boundary direction between the target block and the upper adjacent block is divided by the quantization step value of the target block, and a predetermined coefficient ⁇ ( ⁇
  • the value Error obtained by the equation (1101) ⁇ ⁇ which is multiplied by 0 and added with a predetermined value ⁇ is set as a prediction error estimation index value.
  • the pixel pairs used for the calculation may be, for example, three pairs as shown by AA ′, BB ′, and CC ′ in FIG. It doesn't matter.
  • the pixels in the right end two columns of the left adjacent block adjacent to the left of the target block are used.
  • a pair of two pixels arranged in the same direction as the intra-screen prediction mode 1 (prediction direction in the right direction of the screen) is used as a pair, and a difference between the paired pixels is calculated.
  • a value N obtained by summing the differences of a plurality of pixel pairs arranged in the boundary direction between the target block and the left adjacent block is divided by the quantization step value of the target block, and a predetermined coefficient ⁇ ( ⁇ ).
  • the value Error obtained by the formula (1102) obtained by multiplying by 0 and greater than the predetermined value ⁇ is set as the prediction error estimation index value.
  • the pixel pairs used for the calculation may be, for example, three pairs as indicated by DD ′, EE ′, and FF ′ in FIG. It doesn't matter.
  • An estimated index value of the block prediction error can be determined.
  • the estimation index value of the prediction error of the target block is determined based on the difference between the pixel values of a predetermined pixel pair in the peripheral area of the target block. be able to.
  • two pixels out of the pixels belonging to the block adjacent to the decoding target block according to the type of the intra prediction mode of the decoding target block A group is determined, a sum of pixel values belonging to each pixel group is calculated, and an estimation index value of a prediction error of the decoding target block is calculated based on a difference in sum of pixel values between the two pixel groups.
  • variable length coding unit (111) of the first embodiment described above and the moving picture coding apparatus having the same the index for estimating the prediction error of the target block based on the information of the pixels in the peripheral area of the target block By calculating the value and switching the encoding table based on this value, the amount of code can be reduced. In particular, highly efficient variable-length encoding processing can be performed for items other than (3) the number of coefficients other than non-zero in FIG.
  • the moving image decoding apparatus performs reverse processing of variable length coding on the encoded stream (301) generated by the moving image encoding apparatus shown in FIG. 1, motion vectors used for inter-screen prediction, and intra-screen prediction.
  • a variable length decoding unit (302) that performs decoding processing of type information (intra prediction mode information) of the intra prediction method to be used, and an inverse that performs inverse quantization processing on the output from the variable length decoding unit (302)
  • An inter-screen prediction unit (305) that performs inter-screen prediction to generate a predicted image using the motion vector output from the decoded image stored in the reference image memory (308), and a variable-length decoding unit (302) Screen prediction mode information output from the image and the decoded image stored in the reference image memory (308)
  • In-screen prediction unit (306) that performs intra-screen prediction to generate a prediction image, prediction image generated by inter-screen prediction unit (305) or in-screen prediction unit (306), and output from inverse frequency conversion unit (304)
  • a reference image memory (308) for
  • the inter-screen prediction unit (305) performs decoding in units of blocks on the decoding target image according to the raster scan order.
  • the motion vector for the target block (504) in the decoding target image (503) is obtained from the variable length decoding unit (302), and the motion vector has been decoded based on the motion vector.
  • a reference block (predicted image) (505) in the reference image is specified, and a predicted image used for decoding is determined.
  • the intra prediction unit (306) acquires intra prediction mode information about the target block from the variable length decoding unit (302), and based on the intra prediction mode information, the type of inter prediction method (prediction direction) Prediction or DC prediction) is specified, and a prediction image is generated by performing prediction similar to that at the time of encoding by the specified prediction method.
  • the type of inter prediction method prediction direction
  • Prediction or DC prediction prediction direction
  • variable length decoding unit (302) includes a prediction error estimation index value calculation unit (401), a table determination unit (402), and an encoding unit (403).
  • the prediction error estimation index value calculation unit (401) determines whether the decoding target block of the encoded stream input to the variable length decoding unit (302) is an intra-screen prediction block or an inter-screen prediction block.
  • the decoding target block is an inter-picture prediction block
  • the motion vector information of the decoding target block included in the encoded stream and the decoded reference image acquired from the reference image memory (308) are used. Then, the prediction error estimation index value calculation process described with reference to FIGS. 8 and 9 is performed in the same manner as the encoding side.
  • the decoding target block is an intra prediction block
  • the prediction error estimation index value calculation process described with reference to FIG. 11 is performed using the decoded peripheral region pixels acquired from the memory (308) in the same manner as the encoding side.
  • the table determination unit (402) determines a decoding table used for the variable length decoding process based on the prediction error estimation index value calculated by the prediction error estimation index value calculation unit (401).
  • the table determination unit (402) is the same as the processing on the encoding side already described with reference to FIG. 13 and FIG.
  • the table in FIG. 18 is referred to as an encoding table at the time of encoding and a decoding table at the time of decoding, but both are the same table.
  • the decoding unit (403) performs variable length encoding processing on the encoded coefficient data included in the encoded stream, using the determined encoding table.
  • the quantization coefficient generated by the variable length coding process is output to the inverse quantization unit (303). Further, the decoding unit (403) transmits the motion vector decoded from the encoded stream to the inter-screen prediction unit (306), and the information about the type of the intra-screen prediction method decoded from the encoded stream to the intra-screen prediction unit (306). Output to.
  • variable length decoding unit (302) of the first embodiment described above and the moving picture decoding apparatus having the variable length decoding unit (302) the index for estimating the prediction error of the target block based on the information of the pixels in the peripheral region of the target block
  • the index for estimating the prediction error of the target block based on the information of the pixels in the peripheral region of the target block
  • FIG. 14 shows a procedure for encoding one frame in the moving image encoding method according to the first embodiment.
  • the following processing is performed for all blocks existing in a frame to be encoded (1401). That is, the prediction process is executed for all prediction modes (combination of prediction method and block size) for the corresponding block (1402).
  • the prediction mode for performing the prediction process is determined (1403). If the determination result is the intra prediction mode, the intra prediction process is performed (1404). An example of the in-screen prediction is as described with reference to FIG. If the determination result is an inter-screen prediction mode, an inter-screen prediction process is performed (1405). An example of the inter-screen prediction is as described in FIG.
  • a predicted image is generated in both the intra-screen prediction process and the inter-screen prediction process, and the prediction difference between the target block image and the predicted image is calculated. Subsequently, frequency conversion processing (1410), quantization processing (1411), and variable length encoding processing (1412) are performed on the prediction difference, and image quality distortion and code amount of each prediction mode are calculated. If the above processing is completed for all prediction modes, the most efficient coding mode is determined based on the above results (1413), and the variable length encoded data of the determined prediction mode is encoded stream. Include in When selecting the one with the highest coding efficiency from among many prediction modes, for example, by using the RD-Optimization method that determines the optimal prediction mode from the relationship between image quality distortion and code amount, Encode well.
  • variable length coding process (1412) shown in FIG. 14 a prediction mode when performing the variable length coding process (1412) of FIG. 14 is determined (1601). If the determination result is intra prediction, prediction error estimation index value calculation processing for intra prediction processing is performed (1602). An example of the prediction error estimation index value calculation process for the intra-screen prediction process is as described with reference to FIG. If the determination result is inter-screen prediction, prediction error estimation index value calculation processing for inter-screen prediction processing is performed (1603). An example of the prediction error estimation index value calculation process for the inter-screen prediction process is as described with reference to FIGS. Next, an encoding table is determined by table determination processing (1604). The table determination process is as described in FIGS. Subsequently, coefficient encoding (1605) is performed using the determined encoding table, and the variable length encoding process is terminated (1606).
  • the index value for estimating the prediction error of the target block is calculated based on the information on the pixels in the peripheral area of the target block, and based on this.
  • FIG. 15 shows a decoding process procedure of one frame in the moving picture decoding method according to the first embodiment.
  • the following processing is performed for all blocks in one frame (1501). That is, the variable length decoding process (1502) is performed on the input stream, the inverse quantization process (1503) and the inverse frequency transform process (1504) are performed, and the prediction difference is decoded. Subsequently, the prediction mode of the decoding target block is determined (1505). If the determination result is intra prediction, intra prediction processing is performed (1506). An example of the in-screen prediction is as described with reference to FIG. If the determination result is inter-screen prediction, inter-screen prediction processing is performed (1507). An example of the inter-screen prediction is as described in FIG. When the above processing is completed for all the blocks in the frame, decoding for one frame of the image is completed (1508).
  • the prediction mode for performing the variable length decoding process (1502) of FIG. 14 is determined (1701). If the determination result is intra prediction, prediction error estimation index value calculation processing for intra prediction processing is performed (1702). An example of the prediction error estimation index value calculation process for the intra-screen prediction process is as described with reference to FIG. If the discrimination result is inter-screen prediction, prediction error estimation index value calculation processing for inter-screen prediction processing is performed (1703). An example of the prediction error estimation index value calculation process for the inter-screen prediction process is as described with reference to FIGS. Next, a decoding table is determined by table determination processing (1704). The table determination process is as described in FIGS. Subsequently, coefficient coding (1705) is performed using the determined decoding table, and the variable length coding process is terminated (1706).
  • the index value for estimating the prediction error of the target block is calculated based on the information of the pixels in the peripheral area of the target block, and the decoding table is based on this. Is switched, it is possible to perform variable length decoding processing corresponding to the encoding table selected on the encoding side, and it is possible to suitably decode an encoded stream with a smaller code amount.
  • DCT is cited as an example of frequency transformation.
  • DST Discrete Sine Transformation
  • WT Wavelet Transformation
  • DFT Discrete Fourier Transformation: discrete Fourier transform
  • Any transformation process may be used as long as it is an orthogonal transform used for removing correlation between pixels, such as KLT (Karhunen-Loeve Transformation). You may encode with respect to the prediction difference itself, without performing frequency conversion.
  • the method of estimating the prediction accuracy of the target block from the information on the peripheral area is shown by taking the case of performing the intra prediction and the inter prediction as an example.
  • a skip mode which is a special method related to the inter prediction
  • the present invention can be similarly used for other prediction methods such as the direct mode and the direct mode. That is, the present invention may be applied to any prediction method as long as the prediction error can be estimated by performing prediction on the peripheral region in the same procedure as that performed for the target block.
  • the prediction accuracy is estimated from the encoded peripheral area of the coding target block. Then, by switching the encoding table based on the size of the prediction error estimated value, the code amount at the time of encoding can be reduced and the compression efficiency can be improved. Thereby, it is possible to provide a high-quality video with a small code amount.
  • Example 2 of the present invention will be described.
  • the moving picture coding method, the moving picture decoding method, the moving picture coding apparatus, and the moving picture decoding apparatus according to the second embodiment of the present invention are the prediction error estimation index value calculation process for the inter-screen prediction process according to the first embodiment.
  • the prediction error estimation index value calculation process for the in-screen prediction process are changed to the processes shown in FIGS. 10 and 12, respectively. Since other operations and configurations are the same as those in the first embodiment, the description thereof is omitted.
  • the prediction error estimation index value calculation process for the inter-screen prediction process will be described with reference to FIG.
  • the decoded image of any of the encoded / decoded blocks adjacent to the left, upper, upper left, and upper right of the encoding / decoding target block, and the left and upper of the prediction image of the reference image The difference value between the adjacent encoded block and the decoded image of the corresponding block is calculated, and a difference value block is generated.
  • frequency transform such as DCT transform or Hadamard transform is performed on the difference value block.
  • the value Error obtained by the above is used as a prediction error estimation index value.
  • an example is shown in which only the block adjacent to the encoding / decoding target block and the reference block in the upward direction is used.
  • an adjacent block that is encoded and decoded before the target block Left, upper, upper left, upper right adjacent block.
  • a value obtained by adding or averaging the results of S ′ of a plurality of blocks among these blocks may be set as S ′.
  • S ′ A value obtained by adding or averaging the results of S ′ of a plurality of blocks among these blocks.
  • the prediction error estimation index value calculation process for the intra-screen prediction process according to the second embodiment will be described with reference to FIG.
  • the adjacent pixel in the decoded image of any of the blocks that have been encoded / decoded adjacent to the left, upper, upper left, and upper right of the encoding / decoding target block, the adjacent pixel (in FIG. 12, A difference value block S is generated by calculating a difference between the pixel a and the pixel a ′) and calculating the difference for each pixel in each position in the block.
  • a frequency transform such as DCT transform or Hadamard transform is performed on the difference value block.
  • the value Error obtained by the above is used as a prediction error estimation index value.
  • the difference value block S is a block smaller than the original adjacent block because the difference between pixel values of adjacent pixels in the adjacent block is used. For example, when the original adjacent block is 16 ⁇ 16 pixels, the difference value block S is 16 ⁇ 15 pixels at the maximum. However, when performing frequency conversion such as DCT conversion or Hadamard conversion, it is necessary to form a square block. Therefore, processing is performed after reducing one pixel column to a square block of 15 ⁇ 15 pixels. That is, the difference value block S is generated by generating a square difference value block using a difference in pixel values between some adjacent pixels of the adjacent block.
  • the direction of the combination of pixels for calculating the difference (vertical direction in the example of FIG. 12) is set to the target block. You may change according to a prediction direction. For example, in the case of the intra prediction mode 0, a difference value between pixels adjacent in the vertical direction may be used using the upper adjacent block as in the example of FIG. In addition, for example, in the case of the intra prediction mode 1, it is only necessary to use a difference value between pixels adjacent in the left-right direction using the left adjacent block.
  • a plurality of blocks among the left, upper, upper left, and upper right adjacent blocks are used, and the difference value of the pixels adjacent in the left-right direction is used for the left adjacent block.
  • the difference value between pixels adjacent in the vertical direction may be used.
  • the accuracy suitable for switching of the encoding / decoding table is improved as compared with the prediction error estimation index value calculation process of the first embodiment.
  • An index value can be calculated.
  • the moving picture decoding method According to the moving picture coding method, the moving picture decoding method, the moving picture coding apparatus, and the moving picture decoding apparatus according to the second embodiment described above, it is possible to use a prediction error estimation index value with higher accuracy. Thus, it is possible to provide a high-quality video with a smaller code amount than in the first embodiment.
  • the present invention is extremely useful as a moving picture coding technique for coding a moving picture and a moving picture decoding technique for decoding a coded moving picture.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　少ない符号量で高画質の映像を提供する動画像符号化技術および動画像復号化技術を提供する。符号化ストリームを入力し、符号化ストリームに含まれる復号化対象ブロックの予測モードを判別し、判別した予測モードに対応する算出方式により、既に復号化済みの画像に基づいて復号化対象ブロックの予測誤差の推定指標値を算出し、算出した推定指標値に基づいて、複数の復号化テーブルから、可変長復号化処理に用いる復号化テーブルを決定し、決定した復号化テーブルに基づいて符号化ストリームのデータに可変長復号化処理を行い、可変長復号化処理を行ったデータに逆量子化処理及び逆周波数変換処理を行って予測差分を復号し、復号した予測差分と判別した予測モードによる予測処理により生成した予測画像とに基づいて復号画像を生成する。

Description

動画像符号化方法及び動画像復号化方法
　本発明は動画像を符号化する動画像符号化技術、符号化された動画像を復号化する動画像復号化技術に関する。
　大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、MPEG (Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格、H.264/AVC(Advanced Video Coding)規格等として国際標準の符号化方式となっている。これらの方式はデジタル衛星放送やDVD、携帯電話やデジタルカメラなどにおける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。
　これらの規格では、符号化処理が完了した画像情報を利用して符号化対象画像をブロック単位で予測し、原画像との予測差分を可変長符号化することによって、符号量を減らしている。
　特にH.264/AVCでは、符号化対象ブロックの周辺画素を利用する画面内予測符号化方式と、符号化対象ブロックの前後の画面の画素を利用する画面間予測符号化方式とを採用して予測差分のみを符号化する。
　しかし、上記可変長符号化における符号表は、予測差分が小さくなることを想定して作成されているため、予測精度が低いと予測誤差が大きくなり、符号量が膨大になるといった課題があった。
　この課題を解決する試みとして特許文献１の段落０００７には、「符号化対象ブロックの周辺に位置する符号化済ブロック中に含まれる０以外の係数の個数に基づいて、前記符号化対象ブロック中に含まれる０以外の係数の個数の予測値を算出する予測ステップと、前記予測ステップにより算出された前記予測値に基づいて可変長符号化用のテーブルを選択するテーブル選択ステップと、前記テーブル選択ステップにより選択された前記可変長符号化用のテーブルを参照して、前記符号化対象ブロック中に含まれる０以外の係数の個数に対して可変長符号化を行う可変長符号化ステップとを含む」ように構成することが記載されている。
特開２００８－１９３７２５号公報
　しかしながら、特許文献１開示の技術は「直交変換を適用したブロック中に含まれる０以外の係数の個数」について高効率化な可変長符号化処理を図るものであって、その他の種類の係数について高効率化な可変長符号化処理を行うことはできないという課題があった。
　本発明は上記課題を鑑みてなされたものであり、その目的は、少ない符号量で高画質の映像を提供する動画像符号化技術および動画像復号化技術を提供することである。
　本発明の一実施の形態は、たとえば、符号化ストリームを入力し、符号化ストリームに含まれる復号化対象ブロックの予測モードを判別し、判別した予測モードに対応する算出方式により、既に復号化済みの画像に基づいて復号化対象ブロックの予測誤差の推定指標値を算出し、算出した推定指標値に基づいて、複数の復号化テーブルから、可変長復号化処理に用いる復号化テーブルを決定し、決定した復号化テーブルに基づいて符号化ストリームのデータに可変長復号化処理を行い、可変長復号化処理を行ったデータに逆量子化処理及び逆周波数変換処理を行って予測差分を復号し、復号した予測差分と判別した予測モードによる予測処理により生成した予測画像とに基づいて復号画像を生成する。
　本発明によれば、少ない符号量で高画質の映像を提供する動画像符号化技術および動画像復号化技術を提供することができる。
実施例１に係る画像符号化装置のブロック図の一例 実施例１に係る可変長符号化部のブロック図の一例 実施例１に係る画像復号化装置のブロック図の一例 実施例１に係る可変長復号化部のブロック図の一例 実施例１に係る画面間予測の一例の概念的な説明図 実施例１に係る画面内予測の一例の概念的な説明図 H.264規格の可変長符号化の概念的な説明図 実施例１に係る画面間予測向けの予測誤差推定指標値算出処理の一例の概念的な説明図 実施例１に係る画面間予測向けの予測誤差推定指標値算出処理の一例の説明図 実施例２に係る画面間予測向けの予測誤差推定指標値算出処理の一例の説明図 実施例１に係る画面内予測向けの予測誤差推定指標値算出処理の一例の説明図 実施例２に係る画面内予測向けの予測誤差推定指標値算出処理の一例の説明図 実施例１に係る符号化・復号化テーブルの決定方法の一例の説明図 実施例１に係る画像符号化方法の流れ図の一例 実施例１に係る画像復号化方法の流れ図の一例 実施例１に係る可変長符号化方法の流れ図の一例 実施例１に係る可変長復号化方法の流れ図の一例 実施例１に係る符号化テーブルの一例の説明図
　以下、本発明の実施例を、図面を参照して説明する。
　図1は実施例１における動画像符号化装置の一例を示したものである。動画像符号化装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像を小領域に分割するブロック分割部(103)と、ブロック単位で画面内予測を行って予測画像を生成する画面内予測部(105)と、対象ブロックについての動き探索を行って動きベクトルを算出し、当該動きベクトルに基づいて画面間予測処理により予測画像を生成する画面間予測部(106)と、画像の性質に合った予測モード(予測方法およびブロックサイズ)を決定して、決定した予測モードの予測画像を出力するモード決定部(107)と、入力画像から決定した予測モードの予測画像を減算して予測差分を生成する減算部(108)と、予測差分に対して符号化を行う周波数変換部(109)および量子化部(110)と、可変長符号化処理を行う可変長符号化部(111)と、周波数変換及び量子化した予測差分を復号化する逆量子化処理部(112)および逆周波数変換部(113)と、復号化された予測差分と決定した予測モードの予測画像を用いて復号化画像を生成する加算部(114)と、後の予測処理に用いるための復号化画像を保持する参照画像メモリ(104)を有する。以下、各部の詳細な動作について説明する。
　入力画像メモリ(102)は原画像(101)の中から一枚の画像を符号化対象画像として保持する。ブロック分割部(103)は、原画像を複数のブロックに分割して、画面内予測部(105)、および画面間予測部(106)に出力する。画面間予測部(106)は、参照画像メモリ(117)に格納されている復号化済み画像を用いて、動き探索により対象ブロックの動きベクトルを算出し、ブロック単位で画面間予測処理を実行する。
　ここで、画面間予測部(106)による画面間予測処理の詳細について図５を用いて説明する。画面間予測部(106)では、符号化対象画像に対してラスタースキャンの順序に従ってブロック単位による符号化を行う。画面間予測を行う際には、符号化対象画像(503)と同じ映像(501)に含まれる符号化済みの画像の復号画像を参照画像(502)とし、対象画像中の対象ブロック(504)と相関の高い参照ブロック(予測画像)(505)を参照画像中から探索する動き探索を行う。探索結果として動きベクトルを算出し、対象ブロック(504)の符号化に用いる予測画像(505)を決定する。
　図１において、画面間予測部(106)は、当該動きベクトルを可変長符号化部(111)に出力し、対象ブロックについての予測画像をモード決定部(107)に出力する。
　また、画面内予測部(105)は、ブロック単位で画面内予測処理を実行する。画面内予測部(105)による画面内予測処理の詳細について図６を用いて説明する。画面内予測部(105)では、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みのブロックの復号化画像を用いて予測を行う。特に、予測にはこれらのブロックに含まれる13個の画素を参照画素として利用し、予測方向ベクトルを傾きとする同一直線上の画素はすべて同一画素から予測する(601)。さらに、予測方向については、説明(602)に示すように、縦、横、斜めなど、8種類の予測方向候補の中から最適なものをブロック単位で選択する。すなわち、画面内予測処理における予測とは、符号化対象ブロックの予測画像を、隣接する符号化済みのブロックの画素の画素値を選択した予測方向上の画素にコピーすることにより生成することである。また、上記の8種類の方向に沿った予測の他に、上記13個の画素を参照画素のうち対象ブロックの上または左に隣接するブロックに属する8個の画素の画素値の平均値によって符号化対象ブロックに含まれるすべての画素を予測する「DC予測」も利用可能である(602)。この場合、予測画像のすべての画素値が、上記8個の画素の画素値の平均値となる。
　図１において、画面内予測部(105)は、画面内予測処理において用いた予測方法の種類の情報（例えば、予測方向またはＤＣ予測などの画面内予測モードの種類を示す情報）を可変長符号化部(111)に出力し、対象ブロックについての予測画像をモード決定部(107)に出力する。
　次に、図１において、モード決定部(107)は画面内予測処理または画面間予測処理の結果に基づいて最適な予測モードを決定する。減算部(108)では、原画像の対象ブロック画像から決定した予測モードの予測画像を減算して予測差分を生成し、周波数変換部(109)に出力する。周波数変換部(109)は、取得した予測差分に対してDCT(Discrete Cosine Transformation：離散コサイン変換)などの周波数変換処理を行う。続いて、量子化処理部(110)が量子化処理を行って、可変長符号化処理部(111)および逆量子化処理部(112)に出力する。さらに可変長符号化処理部(111)は、対象ブロックの周辺ブロックの画素の画素値に基づいて予測誤差推定指標値を算出し、当該予測誤差推定指標値に基づいて符号化テーブルを決定する。次に、決定した符号化テーブルを用いて、量子化された予測差分情報、画面内予測処理で用いた予測方向や画面間予測処理で用いた動きベクトルなど、復号化に必要な情報を可変長符号化して符号化ストリームを生成する。当該可変長符号化処理部(111)の処理の詳細については後述する。
　また、逆量子化処理部(112)は、予測差分情報の量子化された周波数変換係数に対して、逆量子化処理を行い、逆周波数変換部(113)では、IDCT(Inverse DCT：逆DCT)などの逆周波数変換処理を行い、予測差分を生成して加算部(114)に出力する。続いて、加算部(114)は、予測差分を決定した予測モードの予測画像に加算して、復号化画像を生成する。生成された復号化画像は参照画像メモリ(104)に格納される。
　次に、可変長符号化処理部(111)の処理の詳細について、従来のH.264規格の可変長符号化処理と比較して説明する。
　まず、図７を用いてH.264規格の可変長符号化処理(CAVLC)について説明する。H.264/AVCでは、符号化対象ブロックについて、画面間予測処理または画面内予測処理により生成した予測差分に周波数変換処理（ＤＣＴ変換等）と量子化処理を行った係数値をジグザグスキャンによって1次元配列に変換とする。次に、当該1次元配列に含まれる(１)～(６)に示す6種類の情報について、例えば図示する特性を有する符号化テーブルを用いて可変長符号化する。
　これに対し、本実施例における動画像符号化装置の可変長符号化部(111)の詳細な構成の一例を図２に示す。可変長符号化部(111)は、例えば、予測誤差推定指標値算出部(201)と、テーブル決定部(202)と、符号化部(203)とを有する。予測誤差推定指標値算出部(201)は、参照画像メモリ(104)から符号化対象ブロックに隣接する符号化済みの周辺ブロックの画素値を取得し、符号化対象ブロックについての予測誤差の推定指標値を算出する。なお、予測誤差推定指標値算出部(201)は、モード決定部(107)から決定した予測モードの情報を取得し、決定した予測モードが画面内予測モードか、画面間予測モードかによって、予測誤差推定指標値算出処理の種類を切り替える。当該予測誤差推定指標値算出処理は、画面内予測部(105)から上述の予測方法の種類の情報を取得し、画面間予測部(106)から上述の動きベクトルを取得して行うが、それぞれの予測モードに応じた予測誤差推定指標値算出処理の詳細については後述する。テーブル決定部(202)は、予測誤差推定指標値算出部(201)が算出した予測誤差推定指標値に基づいて、予め保持している複数の符号化テーブルのうちから可変長符号化処理に用いる符号化テーブルを決定する。符号化部(203)は、決定した符号化テーブルを用いて、量子化処理部(110)から取得した量子化後の係数について可変長符号化処理を行う。なお、符号化部(203)は、画面内予測部(105)から上述の予測方法の種類の情報を取得し、画面間予測部(106)から上述の動きベクトルを取得するが、これらについては、テーブル決定部(202)で決定した符号化テーブル以外の符号化テーブルや、その他の符号化方法によって符号化して構わない。
　ここで、図１３及び図１８を用いて、上述の可変長符号化部(111)による、符号化テーブルの決定方法の一例について説明する。
　まず、可変長符号化部(111)は、例えば、図示しない記憶部などに予め、図１８に示すような特性の異なる複数の符号化テーブルを保持している。ここで、図１８のテーブルＡは、量子化済みの予測差分の係数値が小さい場合には符号長が比較的小さいが、係数値が大きい場合には、符号長が比較的大きくなる特性を有するテーブルである。これに対し、テーブルＣは、係数値が大きくても符号長は比較的大きくならないが、係数値が小さい場合にも符号長が比較的小さくならない特性を有するテーブルである。テーブルＢは、テーブルＡとテーブルＣの間の特性を有するテーブルである。
　ここで、テーブル決定部(202)は、例えば、予測誤差推定指標値算出部(201)の算出した予測誤差推定指標値をＸとして、Ｘが所定の閾値Ｓ1以下の場合、図１３のテーブルＡを選択する。この場合、符号化部(203)の符号化処理においてテーブルＡを用いることにより、テーブルＢ、Ｃを用いた場合よりも符号長を小さくすることが可能となり符号量を低減できる。
　また、テーブル決定部(202)は、Ｘが所定の閾値Ｓ２より大きい場合、図１３のテーブルＣを選択する。この場合、符号化部(203)の符号化処理においてテーブルＣを用いることにより、テーブルＡ、Ｂを用いた場合よりも符号長を小さくすることが可能となり、符号量を低減できる。
　同様に、テーブル決定部(202)は、Ｘが所定の閾値Ｓ１より大きく、閾値Ｓ２以下である場合は図１３のテーブルＢを選択する。この場合、符号化部(203)の符号化処理においてテーブルＢを用いることにより、テーブルＡ、Ｃを用いた場合よりも符号長を小さくすることが可能となり、符号量を低減できる。
　なお、上記の手順で選択したテーブルは、予測誤差に関する情報であればどのようなものに対しても適応することができるが、例えば、図７の（１）から（６）に示す6項目のうち(２)DCT係数値などに適用すると、特に、可変長の低減、符号量の低減に効果的である。
　次に、上記の符号化テーブルの決定に用いる予測誤差推定指標値の算出方法について説明する。
　まず、予測誤差推定指標値算出部(201)は、上述のとおり、モード決定部(107)から決定した予測モードの情報を取得し、決定した予測モードが画面内予測モードか、画面間予測モードかによって、予測誤差推定指標値算出処理の種類を切り替える。
　ここで、決定した予測モードが画面間予測の場合は、図８及び図９に示す画面間予測向けの予測誤差推定指標値算出処理を行う。以下、図８及び図９について説明する。
　図８に示すように、画面間予測向けの予測誤差推定指標値算出処理は、対象ブロック(801)の周辺ブロックに属する符号化済みの画素領域と、予測画像(802)のの周辺ブロックに属する符号化済みの画素領域との差分値を予測誤差推定指標値として算出する。当該算出処理の具体例を図９に示す。
　図９は本実施例に係る画面間予測向け予測誤差推定指標値算出処理の一例を示したものである。一般に画像の空間方向の相関は高い。すなわち対象ブロックと対象領域の周辺領域とは似ている。そのため、対象ブロックの周辺領域と動き探索により求められた参照ブロックの周辺領域の画像を比較することにより、対象ブロックと参照ブロックの画像の相関の推定、すなわち予測誤差の大きさの指標値を推定することが可能である。
　例えば、図９の例では、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みブロック中の領域の復号化画像と、予測画像の左、左上、上、右上に隣接する符号化済みブロック中の領域の復号化画像との差分値を用いて予測誤差の推定値とする。
　ここで、隣接ブロック中の左、左上、上、右上に位置する、対象ブロックよりも先に符号化された符号化済み領域を用いる理由は、復号側で同様の予測誤差推定指標値算出処理を行う際に、対象ブロックよりも先に復号化されている画素でなければ、用いることができないからである。
　ここで、図9の例では、当該予測誤差の推定値の算出において、対象画像中おいて、対象ブロックの左に隣接するブロックの右端に位置する画素と対象ブロックの左上、上、右上に隣接するブロックの下端の画素とを含む１３個の画素を周辺領域画素とする。また、参照画像において、上記１３個の周辺領域画素に対応する位置にある画素を周辺領域画素とする。上記の対象画像中の周辺領域画素と参照画像中の周辺領域画素の対応する各画素の差分を周辺領域画素中のすべての画素について合計した値Ｎを、対象ブロックの量子化ステップ値で除算し、所定の係数α(αは０より大きい)を乗じて所定の値βを加算する式 (901)により求める値Errorを予測誤差推定指標値とする。なお、量子化ステップ値は、量子化処理部(110)から取得すればよい。
　なお、図９の例では上記周辺領域の差分値を算出する際、周辺領域画素として１画素幅領域分の１３画素しか用いていないが、複数画素幅の領域の画素（例えば、2ライン分では28画素）を周辺領域画素とすることも可能である。
　また、図９の例では、対象ブロックに左、左上、上、右上に隣接する符号化済みブロック内の一部の画素を周辺領域画素としている。しかし、周辺領域画素を構成する画素は、対象ブロックよりも先に符号化されるブロックであって対象ブロックの辺または角に接するブロックに属する画素であれば、いずれの画素を組み合わせてもかまわない。
　例えば、対象ブロックに左、上、右上に隣接する３つのブロックに属する画素、例えば、図９の１３個の画素から画素Ａを除いた１２個の画素を用いても良い。
　以上説明した画面間予測向け予測誤差推定指標値算出処理によれば、画像の空間方向の相関が高いことを用いて、予測誤差の大きさを推定する指標値を算出することができる。
　次に、モード決定部(107)が決定した予測モードが画面内予測の場合、予測誤差推定指標値算出部(201)は、図１１に示す画面内予測向けの予測誤差推定指標値算出処理を行う。以下、図１１について説明する。
　図１１は本実施例による画面内予測向け予測誤差推定指標値算出処理の動作について、その一例を示したものである。図１１の例では、対象画像中おいて、対象ブロックの左に隣接するブロックの右端に位置する画素と対象ブロックの左上、上、右上に隣接するブロックに属する画素を用いて、予測誤差推定指標値を算出する。このとき、画面内予測処理において用いた画面内予測モード（予測方向）に応じて、予測誤差推定指標値の算出方法を変更する。
　例えば、図６に示す予測方向のうち、画面内予測モード０（画面下方向への予測方向）の場合は、対象ブロックの上に隣接する上隣接ブロックの下端２列の画素を用いる。当該２列の画素のうち、画面内予測モード０と同じ方向（画面下方向への予測方向）に並ぶ２つの画素をペアとし、ペアとなる画素の差分を算出する。次に、例えば、対象ブロックと上隣接ブロックとの境界方向に配列する複数の画素のペアの各差分を合計した値Ｎを、対象ブロックの量子化ステップ値で除算し、所定の係数α(αは０より大きい)を乗じて所定の値βを加算する式(1101) により求める値Errorを予測誤差推定指標値とする。ここで、当該算出に用いる画素のペアは、例えば、図１１にＡ－Ａ’、Ｂ－Ｂ’、Ｃ－Ｃ’として示すように３組のペアでも良いが、１～４組のいずれでもかまわない。
　また、例えば、図６に示す予測方向のうち、画面内予測モード１（画面右方向への予測方向）の場合は、対象ブロックの左に隣接する左隣接ブロックの右端２列の画素を用いる。当該２列の画素のうち、画面内予測モード１と同じ方向（画面右方向への予測方向）に並ぶ２つの画素をペアとし、ペアとなる画素の差分を算出する。次に、例えば、対象ブロックと左隣接ブロックとの境界方向に配列する複数の画素のペアの各差分を合計した値Ｎを、対象ブロックの量子化ステップ値で除算し、所定の係数α(αは０より大きい)を乗じて所定の値βを加算する式(1102)により求める値Errorを予測誤差推定指標値とする。ここで、当該算出に用いる画素のペアは、例えば、図１１にＤ－Ｄ’、Ｅ－Ｅ’、Ｆ－Ｆ’として示すように３組のペアでも良いが、１～４組のいずれでもかまわない。
　以上説明した画面内予測モード０や画面内予測モード１の予測誤差推定指標値によれば、対象ブロックの周辺領域の予測方向に応じた所定の画素のペアの画素値の差分に基づいて、対象ブロックの予測誤差の推定指標値を決定することができる。
　また、例えば、図６に示す画面内予測モードのうち画面内予測モード２～８の場合は、図１１に示すように、対象ブロックに左、上に隣接する符号化済みブロック内のうち図示するような２列（上隣接ブロックでは下２列、左隣接ブロックでは、右２列）の画素を用いて、当該２列の画素のうち、対象ブロックから遠い列の画素の画素値の合計と対象ブロックに近い列の画素の合計との差分Ｎを、対象ブロックの量子化ステップ値で除算し、所定の係数α(αは０より大きい)を乗じて所定の値βを加算する式(1103)により求める値Errorを予測誤差推定指標値とする。
　以上説明した予測モード２～８の予測誤差推定指標値によれば、対象ブロックの周辺領域の所定の画素のペアの画素値の差分に基づいて、対象ブロックの予測誤差の推定指標値を決定することができる。
　すなわち、以上説明した画面内予測向け予測誤差推定指標値算出処理では、復号化対象ブロックの画面内予測モードの種類に応じて、復号化対象ブロックに隣接するブロックに属する画素のうちから二つの画素群を決定し、各画素群に属する画素値の和の算出し、両者の画素群間の画素値の和の差に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出する。
　なお、上記の画面内予測向け予測誤差推定指標値算出処理において、各予測モードにおいて用いる周辺領域の画素の数が異なる場合に、予測誤差推定指標値Errorの算出結果にて用いた周辺領域の画素の数で除算して正規化すれば、画素数の差の影響を調整することが可能となる。
　以上説明した実施例１の可変長符号化部(111)及びこれを有する動画像符号化装置によれば、対象ブロックの周辺領域の画素の情報に基づいて、対象ブロックの予測誤差を推定する指標値を算出し、これに基づいて符号化テーブルを切替えることにより、符号量を削減することが可能となる。特に、図７の(3)非０以外の係数の個数、以外の項目についても高効率化な可変長符号化処理を行うことが可能となる。
　次に、図３を用いて実施例１に係る動画像復号化装置の一例について説明する。動画像復号化装置は、例えば図1に示す動画像符号化装置によって生成された符号化ストリーム(301)に対して可変長符号化の逆処理、画面間予測に用いる動きベクトルや画面内予測に用いる画面内予測方法の種類情報（画面内予測モード情報）の復号化処理を行う可変長復号化部(302)と、可変長復号化部(302)からの出力に逆量子化処理を行う逆量子化処理部(303)と、逆量子化処理部(303)からの出力に逆周波数変換処理を行って予測差分を復号する逆周波数変換部(304)と、可変長復号化部(302)から出力される動きベクトルと参照画像メモリ(308)に格納される復号済み画像を用いて予測画像を生成する画面間予測を行う画面間予測部(305)と、可変長復号化部(302)から出力される画面内予測モード情報と参照画像メモリ(308)に格納される復号済み画像を用いて予測画像を生成する画面内予測を行う画面内予測部(306)と、画面間予測部(305)または画面内予測部(306)が生成した予測画像と、逆周波数変換部(304)から出力される予測差分とを加算して復号画像を生成する加算部(307)と、生成した復号化画像を記憶する参照画像メモリ(308)を有する。
　ここで、画面間予測部(305)による画面間予測処理の詳細について、図５を用いて説明する。画面間予測部(305)は、復号化対象画像に対してラスタースキャンの順序に従ってブロック単位による復号化を行う。画面間予測を行う際には、復号化対象画像(503)中の対象ブロック(504)についての動きベクトルを可変長復号化部(302)から取得し、当該動きベクトルに基づいて復号化済みの参照画像の中の参照ブロック(予測画像)(505)を特定し、復号化に用いる予測画像を決定する。
　また、画面内予測部(306)による画面内予測処理の詳細について、図６を用いて説明する。画面内予測部(306)は、対象ブロックについての画面内予測モード情報を可変長復号化部(302)から取得し、当該画面内予測モード情報に基づいて、画面間予測方法の種類（予測方向を用いた予測またはＤＣ予測）を特定し、特定した予測方法により、符号化時と同様の予測を行って予測画像を生成する。
　次に、図４を用いて、可変長復号化部(302)の詳細について説明する。可変長復号化部(302)は予測誤差推定指標値算出部(401)と、テーブル決定部(402)と、符号化部(403)とを有する。
　予測誤差推定指標値算出部(401)は、可変長復号化部(302)に入力された符号化ストリームの復号化対象ブロックが画面内予測ブロックか画面間予測ブロックかを判定する。
　ここで、復号化対象ブロックが画面間予測ブロックであれば、符号化ストリームに含まれる復号化対象ブロックの動きベクトル情報と、参照画像メモリ(308)から取得する復号化済みの参照画像とを用いて、符号化側と同様に図８、図９で説明した予測誤差推定指標値算出処理を行う。
　ここで、復号化対象ブロックが画面内予測ブロックであれば、符号化ストリームに含まれる復号化対象ブロックの復号化対象ブロックの画面内予測方法の種類情報（画面内予測モード情報）と、参照画像メモリ(308)から取得する復号化済みの周辺領域の画素とを用いて、符号化側と同様に図１１で説明した予測誤差推定指標値算出処理を行う。
　テーブル決定部(402)は、予測誤差推定指標値算出部(401)の算出した予測誤差推定指標値に基づいて、可変長復号化処理に用いる復号化テーブルを決定する。当該テーブル決定部(402)は、既に図１３及び図１８を用いて説明した符号化側の処理と同様であるので、説明を省略する。なお、図１８のテーブルは、符号化時は符号化テーブル、復号化時は復号化テーブルと称するが、両者は同じテーブルである。
　復号化部(403)は、決定した符号化テーブルを用いて、符号化ストリームに含まれる符号化係数データに可変長符号化処理を行う。可変長符号化処理により生じた量子化係数は逆量子化部(303)に出力する。また、復号化部(403)は、符号化ストリームから復号した動きベクトルを画面間予測部(306)へ、符号化ストリームから復号した画面内予測方法の種類の情報を画面内予測部(306)へ出力する。
　以上説明した実施例１の可変長復号化部(302)及びこれを有する動画像復号化装置によれば、対象ブロックの周辺領域の画素の情報に基づいて、対象ブロックの予測誤差を推定する指標値を算出し、これに基づいて復号化テーブルを切替えることにより、符号化側で選択した符号化テーブルに対応した可変長復号処理を行うことが可能となり、より符号量の小さい符号化ストリームを好適に復号することが可能となる。特に、図７の(3)非０以外の係数の個数、以外の項目についても高効率化な可変長符号化処理を行うことが可能となる。
　図１４は、実施例１の動画像符号化方法における1フレームの符号化処理手順について示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対して(1401)、以下の処理を行う。すなわち、該当ブロックに対して、すべての予測モード(予測方法とブロックサイズの組み合わせ)に対して(1402)、予測処理を実行する。次に、予測処理を行う予測モードを判別する(1403)。判別結果が、画面内予測モードであれば画面内予測処理を行う(1404)。当該画面内予測の一例は図６にて説明したとおりである。また、判別結果が、画面間予測モードであれば画面間予測処理を行う(1405)。当該画面間予測の一例は図５にて説明したとおりである。画面内予測処理、画面間予測処理のいずれにおいても予測画像を生成し、対象ブロック画像と予測画像との予測差分の計算を行う。続いて、当該予測差分に対して周波数変換処理(1410)、量子化処理(1411)、および可変長符号化処理(1412)を行い、各予測モードの画質歪と符号量を計算する。以上の処理をすべての予測モードに対して終了すれば、以上の結果に基づいて最も符号化効率の良いモードを決定し(1413)、決定した予測モードの可変長符号化済みデータを符号化ストリームに含める。なお、多数の予測モードの中から最も符号化効率の高いものを選択する際には、例えば画質歪みと符号量の関係から最適な予測モードを決定するRD-Optimization方式を利用することによって、効率良く符号化できる。RD-Optimization方式の詳細については下記参考文献１を参照のこと。
［参考文献１］G. Sullivan and T.Wiegand :“Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998.
　続いて、決定された予測モードの量子化済みの周波数変換係数について、逆量子化処理 (1414)と逆周波数変換処理(1415)を施して予測差分を復号化し、決定された予測モードの予測画像と加算して復号化画像を生成して参照画像メモリに格納する(1416)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(1417)。　
　次に、図１６を用いて図１４に示す可変長符号化処理(1412)の詳細な手順を説明する。まず、図１４の可変長符号化処理(1412)を行う際の予測モードを判別する(1601)。判別結果が画面内予測であれば画面内予測処理向けの予測誤差推定指標値算出処理を行う(1602)。当該画面内予測処理向け予測誤差推定指標値算出処理の一例は図１１にて説明したとおりである。また、判別結果が画面間予測であれば画面間予測処理向けの予測誤差推定指標値算出処理を行う(1603)。当該画面間予測処理向けの予測誤差推定指標値算出処理の一例は図８及び図９にて説明したとおりである。次に、テーブル決定処理(1604)にて符号化テーブルを決定する。当該テーブル決定処理は、図１３及び図１８において説明したとおりである。続いて、決定した符号化テーブルを用いて係数符号化(1605)を行い、可変長符号化処理を終了する(1606)。
　以上説明した実施例１の実施例１の動画像符号化方法によれば、対象ブロックの周辺領域の画素の情報に基づいて、対象ブロックの予測誤差を推定する指標値を算出し、これに基づいて符号化テーブルを切替えることにより、符号量を削減する動画像符号化方法を実現できる。
　図１５は、実施例１の動画像復号化方法における1フレームの復号化処理手順について示している。まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(1501)。すなわち、入力ストリームに対して可変長復号化処理(1502)を行い、逆量子化処理(1503)および逆周波数変換処理(1504)を行い予測差分を復号化する。続いて、復号化対象ブロックの予測モードを判別する(1505)。判別結果が、画面内予測であれば画面内予測処理を行う(1506)。当該画面内予測の一例は図６にて説明したとおりである。また、判別結果が、画面間予測であれば画面間予測処理を行う(1507)。当該画面間予測の一例は図５にて説明したとおりである。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像1フレーム分の復号化が終了する(1508)。
　次に、図１７を用いて、図15に示す可変長復号化処理(1502)の詳細な手順を説明する。まず、図１４の可変長復号化処理(1502)を行う際の予測モードを判別する(1701)。判別結果が画面内予測であれば画面内予測処理向けの予測誤差推定指標値算出処理を行う(1702)。当該画面内予測処理向け予測誤差推定指標値算出処理の一例は図１１にて説明したとおりである。また、判別結果が画面間予測であれば画面間予測処理向けの予測誤差推定指標値算出処理を行う(1703)。当該画面間予測処理向けの予測誤差推定指標値算出処理の一例は図８及び図９にて説明したとおりである。次に、テーブル決定処理(1704)にて復号化テーブルを決定する。当該テーブル決定処理は、図１３及び図１８において説明したとおりである。続いて、決定した復号化テーブルを用いて係数符号化(1705)を行い、可変長符号化処理を終了する(1706)。
　以上説明した実施例１の動画像復号化方法によれば、対象ブロックの周辺領域の画素の情報に基づいて、対象ブロックの予測誤差を推定する指標値を算出し、これに基づいて復号化テーブルを切替えることにより、符号化側で選択した符号化テーブルに対応した可変長復号処理を行うことが可能となり、より符号量の小さい符号化ストリームを好適に復号することが可能となる。
　以上説明した実施例１では、周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換であればいずれの変換処理でも構わない。周波数変換を行わずに予測差分そのものに対して符号化を行っても構わない。
　また、実施例１では、画面内予測と画面間予測を行う場合を例として周辺領域の情報より対象ブロックの予測精度を見積もる方法を示したが、例えば画面間予測に関する特別な方式であるスキップモードやダイレクトモードなど、その他の予測方法についても同様に本発明を利用することができる。すなわち、対象ブロックに対して行う予測と同様の手順で周辺領域に対して予測を施すことにより予測誤差を見積もることができれば、どのような予測方法に対して本発明を適用してもよい。
　以上説明した実施例１に係る動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置によれば、符号化対象ブロックの符号化済み周辺領域から予測精度を推定し、予測誤差推定値の大きさに基づいて、符号化テーブルを切り替えることにより、符号化時の符号量を低減し、圧縮効率を向上できる。これにより、少ない符号量で高画質の映像を提供することが可能となる。
　次に、本発明の実施例２について説明する。
　本発明の実施例２に係る動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置は、実施例１に係る画面間予測処理向け予測誤差推定指標値算出処理と画面内予測処理向け予測誤差推定指標値算出処理とを、それぞれ図１０、図１２に示す処理に変更したものである。その他の動作、構成については、実施例１と同様であるので説明を省略する。
　まず、図１０を用いて実施例２に係る画面間予測処理向け予測誤差推定指標値算出処理について説明する。実施例２では、符号化・復号化対象ブロックの左、上、左上、右上に隣接する符号化・復号化済みのブロックのいずれかの復号化画像と、参照画像の予測画像の左、上に隣接する符号化済みのブロックの対応するブロックの復号化画像との差分値を算出し、差分値ブロックを生成する。次に、上記差分値ブロックにDCT変換またはアダマール変換などの周波数変換を行う。当該変換処理により生成した係数値の合計Ｓ’を、対象ブロックの量子化ステップ値で除算し、所定の係数γ(γは０より大きい)を乗じて所定の値δを加算する式(1001) により求める値Errorを予測誤差推定指標値とする。
　なお、上述のＳ’の算出では、ブロック内のすべての係数値を用いてもよいが、演算簡易化のために、低周波成分のみを用いて、式(1002)により算出した値Errorを予測誤差推定指標値としてもよい。
　なお、図１０の例では、符号化・復号化対象ブロックおよび参照ブロックに上方向に隣接するブロックのみを用いる例を示したが、対象ブロックよりも先に符号化、復号化される隣接ブロック（左、上、左上、右上隣接ブロック）であれば、いずれでもよい。また、これらのブロックのうち複数のブロックのＳ’の結果を加算または平均した値をＳ’としてもよい。この場合、いずれのブロックを用いるか、加算を行うのか平均を行うのかの各方式は符号化側と復号化側で対応する方式を行えば、符号化側と復号化側で対応するテーブルを選択することが可能となり、好適な符号化・復号化処理を行うことができる。
　次に、図１２を用いて実施例２に係る画面内予測処理向け予測誤差推定指標値算出処理について説明する。実施例２では、符号化・復号化対象ブロックの左、上、左上、右上に隣接する符号化・復号化済みのブロックのいずれかの復号化画像において、隣接する画素 (図１２であれば、画素aと画素a’)との差分を算出し、当該差分をブロック内の各位置の画素について算出することにより、差分値ブロックＳを生成する。次に、上記差分値ブロックにDCT変換またはアダマール変換などの周波数変換を行う。当該変換処理により生成した係数値の合計Ｓ’を、対象ブロックの量子化ステップ値で除算し、所定の係数γ(γは０より大きい)を乗じて所定の値δを加算する式(1201) により求める値Errorを予測誤差推定指標値とする。
　なお、上記差分値ブロックＳは、隣接ブロックの隣接画素間の画素値の差分を用いているため、元の隣接ブロックよりも小さいブロックとなる。例えば、元の隣接ブロックが１６×１６画素である場合には差分値ブロックＳは最大でも１６×１５画素となる。しかし、DCT変換またはアダマール変換などの周波数変換を行う際に正方形ブロックとする必要が生じるため、１画素列を減らし、１５×１５画素の正方形ブロックとしたのち処理を行う。すなわち、差分値ブロックＳの生成は、隣接ブロックの一部の隣接画素間の画素値の差分を用いて正方形の差分値ブロックを生成することにより行う。
　なお、図１２の例では、符号化・復号化対象ブロックおよび参照ブロックに上方向に隣接するブロックのみを用いる例を示したが、対象ブロックよりも先に符号化、復号化される隣接ブロック（左、上、左上、右上隣接ブロック）であれば、いずれでもよい。また、これらのブロックのうち複数のブロックのＳ’の結果を加算または平均した値をＳ’としてもよい。この場合、いずれのブロックを用いるか、加算を行うのか平均を行うのかの各方式は符号化側と復号化側で対応する方式を行えば、符号化側と復号化側で対応するテーブルを選択することが可能となり、好適な符号化・復号化処理を行うことができる。
　さらに、図１１に示す実施例１の画面内予測処理向け予測誤差推定指標値算出処理と同様に、差分を算出する画素の組み合わせの方向(図１２の例では上下方向)を、当該対象ブロックの予測方向に応じて変更してもよい。例えば、画面内予測モード０の場合は、図１２の例のように、上隣接ブロックを用いて、上下方向に隣接した画素の差分値を用いればよい。また、例えば、画面内予測モード１の場合は、左隣接ブロックを用いて、左右方向に隣接した画素の差分値を用いればよい。また、例えば、画面内予測モード２～８の場合は、左、上、左上、右上隣接ブロックのうちの複数のブロックを用いて、左隣接ブロックについては左右方向に隣接した画素の差分値を用い、上、左上、右上隣接ブロックについては、上下方向に隣接した画素の差分値を用いればよい。
　なお、Ｓ’の算出では、ブロック内のすべての係数値を用いてもよいが、演算簡易化のために、低周波成分のみを用いて、式(1202)により算出した値Errorを予測誤差推定指標値としてもよい。
　このように、予測誤差推定指標値の算出処理に周波数変換処理を含めることにより、実施例１の予測誤差推定指標値算出処理に比べて、符号化・復号化テーブルの切替に適した精度のよい指標値を算出することが可能となる。
　以上説明した実施例２に係る動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置によれば、より精度の高い予測誤差推定指標値を用いることが可能となり、実施例１よりもさらに少ない符号量で高画質の映像を提供することが可能となる。
　本発明は、動画像を符号化する動画像符号化技術、符号化された動画像を復号化する動画像復号化技術として極めて有用である。
１０２…入力画像メモリ、１０３…ブロック分割部、１０４…参照画像メモリ、１０５…画面間予測部、１０６…画面内予測部、１０７…モード決定部、１０８…減算部、１０９…周波数変換部、１１０…量子化部、１１１…可変長符号化部、１１２…逆量子化部、１１３…逆周波数変換部、１１４…加算部、２０１…予測誤差推定指標値算出部、２０２…テーブル決定部、２０３…符号化部、３０２…可変長復号化部、３０３…逆量子化処理部、３０４…逆周波数変換部、３０５…画面間予測部、３０６…画面内予測部、３０７…加算部、３０８…参照画像メモリ、４０１…予測誤差推定指標値算出部、４０２…テーブル決定部、４０３…復号化部。

Claims (10)

  1. 　符号化ストリームを入力するステップと、
    　前記符号化ストリームに含まれる復号化対象ブロックの予測モードを判別するステップと、
    　前記判別した予測モードに対応する算出方式により、既に復号化済みの画像に基づいて前記復号化対象ブロックの予測誤差の推定指標値を算出する予測誤差推定指標値算出ステップと、
    　前記予測誤差推定指標値算出ステップにおいて算出した推定指標値に基づいて、複数の復号化テーブルから、可変長復号化処理に用いる復号化テーブルを決定する復号化テーブル決定ステップと、
    　前記復号化テーブル決定ステップで決定した復号化テーブルに基づいて符号化ストリームのデータに可変長復号化処理を行い、該可変長復号化処理を行ったデータに逆量子化処理及び逆周波数変換処理を行って予測差分を復号し、復号した予測差分と前記判別した予測モードによる予測処理により生成した予測画像とに基づいて復号画像を生成する復号画像生成ステップとを備えることを特徴とする動画像復号化方法。
  2. 　前記判別した予測モードが画面間予測モードである場合に、前記予測誤差推定指標値算出ステップは、復号化対象画像中の復号化対象ブロックに隣接するブロックに属する画素と、前記復号化対象画像とは異なるブロックであって、前記復号化対象ブロックについての動きベクトルが示す参照画像中の参照ブロックに隣接するブロックに属する画素との画素値の差分値に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項１に記載の動画像復号化方法。
  3. 　前記差分値を前記復号化対象ブロックの量子化ステップ値で除算した値に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項２に記載の動画像復号化方法。
  4. 　前記判別した予測モードが画面内予測モードである場合に、前記復号化対象ブロックの前記画面内予測モードの種類に応じて、前記復号化対象ブロックに隣接するブロックに属する画素のうちから二つの画素群を決定し、各画素群に属する画素値の和の算出し、両者の画素群間の画素値の和の差に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項１に記載の動画像復号化方法。
  5. 　前記差分値を前記復号化対象ブロックの量子化ステップ値で除算した値に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項４に記載の動画像復号化方法。
  6. 　画面内予測モードまたは画面間予測モードにより符号化対象画像中の符号化対象画像ブロックについての予測画像を生成して、前記符号化対象画像ブロックの画像と前記予測画像との予測差分を生成する予測処理ステップと、
    　前記予測処理ステップで生成した予測差分に周波数変換処理と量子化処理とを行い量子化データを生成する周波数変換・量子化ステップと、
    　前記予測処理ステップにおける予測モードに対応する算出方式により、既に符号化済みの画像に基づいて符号化対象ブロックの予測誤差の推定指標値を算出する予測誤差推定指標値算出ステップと、
    　前記予測誤差推定指標値算出ステップにおいて算出した推定指標値に基づいて、複数の符号化テーブルから、可変長符号化処理に用いる符号化テーブルを決定する符号化テーブル決定ステップと、
    　前記符号化テーブル決定ステップで決定した符号化テーブルを用いて、前記周波数変換・量子化ステップで生成した量子化データを可変長符号化して符号化ストリームに含める符号化ストリーム生成ステップとを備える特徴とする動画像符号化方法。
  7. 　前記予測処理ステップにおける予測モードが画面間予測モードである場合に、前記予測誤差推定指標値算出ステップは、符号化対象画像中の符号化対象ブロックに隣接するブロックに属する画素と、前記符号化対象画像とは異なるブロックであって、前記符号化対象ブロックについての動きベクトルが示す参照画像中の参照ブロックに隣接するブロックに属する画素との画素値の差分値に基づいて、前記符号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項６に記載の動画像符号化方法。
  8. 　前記差分値を前記符号化対象ブロックの量子化ステップ値で除算した値に基づいて、前記符号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項７に記載の動画像符号化方法。
  9. 　前記予測処理ステップにおける予測モードが画面内予測モードである場合に、前記符号化対象ブロックの前記画面内予測モードの種類に応じて、前記符号化対象ブロックに隣接するブロックに属する画素のうちから二つの画素群を決定し、各画素群に属する画素値の和の算出し、両者の画素群間の画素値の和の差に基づいて、前記符号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項６に記載の動画像符号化方法。
  10. 　前記差分値を前記符号化対象ブロックの量子化ステップ値で除算した値に基づいて、前記符号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項９に記載の動画像符号化方法。
PCT/JP2010/001198 2009-03-03 2010-02-23 動画像符号化方法及び動画像復号化方法 WO2010100860A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009048727A JP2012124542A (ja) 2009-03-03 2009-03-03 動画像符号化方法及び動画像復号化方法
JP2009-048727 2009-03-03

Publications (1)

Publication Number Publication Date
WO2010100860A1 true WO2010100860A1 (ja) 2010-09-10

Family

ID=42709430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001198 WO2010100860A1 (ja) 2009-03-03 2010-02-23 動画像符号化方法及び動画像復号化方法

Country Status (2)

Country Link
JP (1) JP2012124542A (ja)
WO (1) WO2010100860A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204550A (ja) * 2002-01-07 2003-07-18 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
JP2004007506A (ja) * 2002-04-15 2004-01-08 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2004135251A (ja) * 2002-10-10 2004-04-30 Sony Corp 画像情報符号化方法及び画像情報復号方法
JP2008283303A (ja) * 2007-05-08 2008-11-20 Canon Inc 画像符号化装置及び画像符号化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204550A (ja) * 2002-01-07 2003-07-18 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
JP2004007506A (ja) * 2002-04-15 2004-01-08 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2004135251A (ja) * 2002-10-10 2004-04-30 Sony Corp 画像情報符号化方法及び画像情報復号方法
JP2008283303A (ja) * 2007-05-08 2008-11-20 Canon Inc 画像符号化装置及び画像符号化方法

Also Published As

Publication number Publication date
JP2012124542A (ja) 2012-06-28

Similar Documents

Publication Publication Date Title
KR102518242B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
US9058659B2 (en) Methods and apparatuses for encoding/decoding high resolution images
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
EP3448038B1 (en) Decoding method for intra predicting a block by first predicting the pixels at the boundary
WO2013042888A2 (ko) 머지 후보 블록 유도 방법 및 이러한 방법을 사용하는 장치
JP5400798B2 (ja) 動画像復号化方法及び装置、動画像符号化方法及び装置
KR101614828B1 (ko) 화상 부호화 및 복호 방법, 장치, 프로그램
CN104363457A (zh) 图像处理设备和方法
KR101615643B1 (ko) 픽처들의 압축
KR20200013765A (ko) 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
US20090028241A1 (en) Device and method of coding moving image and device and method of decoding moving image
US8792549B2 (en) Decoder-derived geometric transformations for motion compensated inter prediction
JP2006100871A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
AU2016228184B2 (en) Method for inducing a merge candidate block and device using same
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP5887012B2 (ja) 画像復号化方法
WO2010100860A1 (ja) 動画像符号化方法及び動画像復号化方法
KR100790757B1 (ko) Ｈ.264 동영상 부호화기의 적응적 고속 움직임 추정 방법
JP5891333B2 (ja) 画像復号化方法
JP5887013B2 (ja) 画像復号化方法
JP2006295734A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
WO2010061515A1 (ja) 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法
JP5422681B2 (ja) 画像復号化方法
KR20170095671A (ko) 영상 처리 방법, 프레임 율 변환 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10748462

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10748462

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP