WO2010061515A1 - 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法 - Google Patents

動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法 Download PDF

Info

Publication number
WO2010061515A1
WO2010061515A1 PCT/JP2009/005350 JP2009005350W WO2010061515A1 WO 2010061515 A1 WO2010061515 A1 WO 2010061515A1 JP 2009005350 W JP2009005350 W JP 2009005350W WO 2010061515 A1 WO2010061515 A1 WO 2010061515A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
unit
encoding
smoothing
reference image
Prior art date
Application number
PCT/JP2009/005350
Other languages
English (en)
French (fr)
Inventor
高橋昌史
影山昌広
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2010061515A1 publication Critical patent/WO2010061515A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Definitions

  • the present invention relates to a moving image encoding apparatus and encoding method, a moving image decoding apparatus and a decoding method, and a moving image encoding apparatus and encoding method capable of encoding an image with high image quality with a small code amount.
  • the present invention relates to a decoding device and a decoding method.
  • Encoding methods such as MPEG (Moving Picture Experts Group) method have been established as a method to record and transmit large-capacity moving image information as digital data, MPEG-1 standard, MPEG-2 standard, MPEG-4 standard, It is an international standard encoding method such as H.264 / AVC (Advanced Video Video Coding) standard. These systems have been adopted as encoding systems for digital satellite broadcasting, DVDs, mobile phones, digital cameras, and the like, and the range of use is now expanding and becoming familiar.
  • MPEG Motion Picture Experts Group
  • AVC Advanced Video Video Coding
  • the encoding target image is predicted in block units using the image information that has been encoded, and the prediction difference from the original image is encoded, thereby eliminating the redundancy of the moving image.
  • the code amount is reduced.
  • high-precision prediction is enabled by searching for a block having a high correlation with the encoding target block from the reference image by inter-screen prediction that refers to an image different from the target image.
  • high-precision prediction is enabled by searching a block having a high correlation with the encoding target block from the encoded target image.
  • FIG. 1 conceptually shows the operation of inter-screen prediction processing by H.264 / AVC.
  • encoding is performed in block units on the encoding target image in the raster scan order.
  • the decoded image of the encoded image included in the same video (501) as the encoding target image (503) is set as the reference image (502), and the target block (504) in the target image A block (predicted block) (505) having a high correlation with the reference image is searched from the reference image.
  • the prediction difference calculated as the difference between both blocks and the difference between the coordinate values of both blocks are encoded as a motion vector (506).
  • the reverse procedure described above may be performed, and the decoded image can be acquired by adding the decoded prediction difference to the prediction block (505) in the reference image.
  • H.264 / AVC by introducing inter-screen prediction processing, it has become possible to significantly reduce the code amount of images with high inter-screen correlation.
  • Fig. 2 conceptually shows the operation of the intra-frame predictive encoding process by H.264 / AVC.
  • the encoding target image is encoded in the raster scan order (1201), and decoding of the encoded block adjacent to the left, upper left, upper, and upper right of the encoding target block is performed.
  • the prediction is performed with reference to the converted image.
  • 13 pixels included in these blocks are used (1202), and all pixels on the same straight line having the prediction direction vector as a gradient are predicted from the same pixel.
  • the pixels B, C, D, and E of the encoding target block are all subjected to predictive encoding with reference to the same pixel, and a value A ′ obtained by decoding the pixel immediately above the pixel B (Prediction differences) b, c, d, and e are calculated.
  • an optimal one of eight types of prediction direction candidates such as vertical, horizontal, and diagonal can be selected in units of blocks, and the prediction difference and the value of the prediction direction are encoded.
  • “DC prediction” that predicts all the pixels included in the encoding target block based on the average value of the reference pixels can be used.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to provide a moving image encoding apparatus and encoding method, a moving image decoding apparatus, and a decoding apparatus capable of encoding an image with high image quality with a small code amount. It is to provide a method.
  • the present invention is a moving image encoding apparatus that compresses an input moving image, encodes and outputs the encoded moving image, and encodes a region to be encoded of the input moving image and after smoothing
  • a subtraction unit that obtains a prediction difference that is a difference between already encoded regions, a frequency transform quantization processing unit that performs encoding on the prediction difference, and transmission of the encoded prediction difference according to the occurrence probability
  • a reference image storage unit for storing the reference image, and adding the decoded prediction difference and the already encoded region after the smoothing to generate a reference image of the already encoded region, in the reference image storage unit
  • a reference image generation unit for providing the stored Based on a smoothing processing unit that smoothes a reference image, and a motion vector between the smooth
  • the present invention relates to a moving image coding method for compressing an input moving image, performing transmission encoding, and outputting the encoded difference, and a difference between an encoding target region of the input moving image and an already encoded region after smoothing
  • a reference an inverse quantization inverse frequency transform step for decoding the encoded prediction difference, and a reference for storing a reference image of an already-encoded area to be referred to when the compression is generated based on the input moving image
  • An image storage step a reference image generation step of generating a reference image of the already-encoded region by adding the decoded prediction difference and the already-encoded encoded region to the reference image storage unit;
  • a smoothing processing step for smoothing the stored reference image, and the smoothed reference image and the already coded region after smoothing which is spatially and spatially close to the coding target region
  • an inter-screen prediction step for obtaining a smoothed encoded region to be given to the subtracting unit based on a motion vector, and the code amount of the prediction difference is reduced by the smoothing process.
  • the present invention is a moving picture decoding apparatus that receives a prediction difference of a moving picture that has been converted into a variable-length code according to an occurrence probability, outputs the decoded difference picture, and outputs the decoded moving picture.
  • a variable length decoding unit for decoding, an inverse quantization inverse frequency transform unit for obtaining a prediction difference from a code decoded by the variable length decoding unit, and a sum of the prediction difference and a smoothed already decoded region An addition unit that outputs the decoded moving image, a reference image storage unit that stores the decoded moving image as a reference image, a smoothing processing unit that smoothes the stored reference image, and the smoothed image
  • an inter-screen prediction unit to be obtained.
  • the present invention is a moving picture decoding method in which a prediction difference of a moving picture that has been converted into a variable length code according to an occurrence probability is input, and the decoded difference is output to output a decoded moving picture.
  • An addition step for outputting the decoded moving image a reference image storing step for storing the decoded moving image as a reference image; a smoothing processing step for smoothing the stored reference image; A smoothed already decoded region to be given to the adding unit based on a motion vector between the decoding target region and a smoothed already decoded region that is spatially and spatially close to the reference image.
  • Required inter-screen prediction step It is characterized by having a.
  • the present invention is a moving image encoding apparatus that compresses an input moving image, performs transmission encoding, and outputs the encoded image, and the difference between the encoding target region of the input moving image and the already encoded region after smoothing
  • a subtraction unit that obtains a prediction difference, a frequency transform quantization processing unit that performs encoding on the prediction difference, and variable-length coding that uses the encoded prediction difference as a transmission code according to the occurrence probability ,
  • a dequantization inverse frequency transform unit that decodes the encoded prediction difference, and a reference that stores a reference image of an already-encoded region that is generated based on the input moving image and is referred to during the compression
  • An image storage unit a reference image generation unit that adds the decoded prediction difference and the smoothed already-encoded region to generate a reference image of the already-encoded region and gives the reference image storage unit;
  • a frequency conversion quantization processing unit that refers to the smoothed reference image, performs intra prediction on a block basis, obtains a difference between the encoding target region and the already encoded region after smoothing, and And an in-screen prediction unit for giving a prediction difference.
  • the present invention relates to a moving image coding method for compressing an input moving image, performing transmission encoding, and outputting the encoded difference, and a difference between an encoding target region of the input moving image and an already encoded region after smoothing
  • a reference, an inverse quantization inverse frequency transform step for decoding the encoded prediction difference, and a reference for storing a reference image of an already-encoded area to be referred to when the compression is generated based on the input moving image An image storage step; a reference image generation step of generating a reference image of the already-encoded region by adding the decoded prediction difference and the already-encoded encoded region to the reference image storage unit; A smoothing processing step for smoothing the stored reference image, and referring to the smoothed reference image, performing intra prediction on a block basis, and encoding target region and smoothed already encoded region
  • An intra-screen prediction step for obtaining a difference and providing a prediction difference to the frequency transform quantization processing unit, and the code amount of the prediction difference is reduced by the smoothing process.
  • the present invention is a moving picture decoding apparatus that receives a prediction difference of a moving picture that has been converted into a variable-length code according to an occurrence probability, outputs the decoded difference picture, and outputs the decoded moving picture.
  • a variable length decoding unit for decoding, an inverse quantization inverse frequency transform unit for obtaining a prediction difference from a code decoded by the variable length decoding unit, and a sum of the prediction difference and a smoothed already decoded region An addition unit that outputs the decoded moving image, a reference image storage unit that stores the decoded moving image as a reference image, a smoothing processing unit that smoothes the stored reference image, and the smoothed image
  • an intra-screen prediction unit that performs intra-screen prediction on a block basis with reference to the reference image and obtains a smoothed decoded region to be given to the adding unit.
  • the present invention is a moving picture decoding method in which a prediction difference of a moving picture that has been converted into a variable length code according to an occurrence probability is input, and the decoded difference is output to output a decoded moving picture.
  • An addition step for outputting the decoded moving image a reference image storing step for storing the decoded moving image as a reference image; a smoothing processing step for smoothing the stored reference image;
  • an intra-screen prediction step is performed in which intra-screen prediction is performed in block units with reference to the reference image, and a smoothed decoded region to be given to the adding unit is obtained.
  • the present invention it is possible to obtain a moving image encoding device and encoding method, a moving image decoding device, and a decoding method that can encode an image with a small amount of code with high image quality. There is an effect that it is possible to realize the moving picture encoding apparatus and the encoding method, the moving picture decoding apparatus, and the decoding method that are provided.
  • FIG. 1 is a block diagram of a video encoding apparatus according to Embodiment 1 of the present invention. It is a block diagram of the moving picture decoding apparatus which concerns on Example 1 of this invention. It is a flowchart of the moving image encoder which concerns on Example 1 of this invention. It is a flowchart of the moving image decoding apparatus which concerns on Example 1 of this invention. It is a block diagram of the moving image encoder which concerns on Example 2 of this invention. It is a block diagram of the moving image decoding apparatus which concerns on Example 2 of this invention. It is a flowchart of the moving image encoder which concerns on Example 2 of this invention. It is a flowchart of the moving image decoding apparatus which concerns on Example 2 of this invention. It is a flowchart of the moving image decoding apparatus which concerns on Example 2 of this invention.
  • FIG. 3 conceptually shows an example of the inter-screen prediction method according to the present invention.
  • a target image (701) is an image to be encoded from now on.
  • a subject woman is watering a flower bed.
  • a prediction block (704) having a high correlation with the target block (703) in the target image (701). Is searched from the reference image (702).
  • an image with a complex texture moves in a complex manner, such as water that spouts vigorously, even if the movement of the rough water matches, the movement of each drop of water does not match exactly.
  • the correlation between the target block (703) and the prediction block (704) is lowered, and the prediction difference is increased.
  • a prediction block (705) having a high correlation with the target block (703) is searched.
  • the target block is more than when the predicted block (704) without smoothing is used. Correlation with (703) increases.
  • (E) in the figure shows an example of the smoothing method. That is, smoothing is performed by convolving the tap coefficient (706) of the two-dimensional low-pass filter composed of the horizontal direction and the vertical direction as shown in (e) for all pixels constituting the reference image (702). To do. Since the smoothing process (convolution operation) can be realized using a general technique, illustration and detailed description thereof are omitted. Note that the smoothing method shown in FIG. 5E is an example, and the present invention is not limited to this. For example, by changing each tap coefficient or increasing the number of taps in the horizontal or vertical direction, the filter pass characteristics and blocking characteristics can be changed to make the smoothing level stronger or weaker. May be.
  • a one-dimensional low-pass filter only in the horizontal direction or in the vertical direction may be used. Smoothing may also be performed by performing a convolution operation not only in the horizontal and vertical directions but also in the time axis direction using temporally adjacent screen pixels.
  • the processing may be performed on the assumption that the pixel values at the edge of the screen are infinitely continuous toward the outside of the screen. Processing may be performed assuming that the pixels are infinitely continuous outside the screen.
  • smoothing is performed on the prediction block (704) shown in (c) of FIG.
  • a predicted block (705) after smoothing may be generated.
  • the processing for the pixels near the end of the block at this time may be the same as the processing for the pixels near the end of the screen described above.
  • processing may be performed using pixels outside the prediction block (704) in the reference image (702). ) Is the same result as smoothing the whole.
  • the smoothing method mentioned above is the same also in Example 2 or later, description thereof is omitted in Example 2 and later.
  • FIG. 4 shows an example of a moving picture encoding apparatus according to the present embodiment.
  • the video encoding apparatus performs an intra-screen prediction in units of blocks, an input image memory (102) that holds an input original image (101), a block division unit (103) that divides the input image into small regions
  • a mode selection unit (107) for determining a conversion means (prediction method and block size), a subtraction unit (108) for generating a prediction difference, a frequency conversion unit (109) for encoding the prediction difference, and Quantization processing unit (110) and variable length encoding unit for encoding prediction difference after quantization processing and mode information (116) selected by mode selection unit (107) according to symbol occurrence probability (111) and an inverse quantization processing unit (112) and an inverse frequency transform unit (113) for decoding a prediction difference encoded
  • the input image memory (102) holds one image as an encoding target image from the original image (101), and divides it into fine blocks by the block dividing unit (103), and the motion search unit (104 ), An intra-screen prediction unit (105), and an inter-screen prediction unit (106).
  • the motion search unit (104) calculates the amount of motion of the corresponding block using the decoded image stored in the reference image memory (115), and passes the motion vector to the inter-screen prediction unit (106).
  • the in-screen prediction unit (105) and the inter-screen prediction unit (106) execute the intra-screen prediction process and the inter-screen prediction process in blocks of several sizes, and the mode selection unit (107) Select a prediction method.
  • the subtraction unit (108) generates a prediction difference by the optimum prediction encoding means and passes it to the frequency conversion unit (109).
  • frequency transform such as DCT (Discrete Cosine Transformation) is performed in units of blocks each having a specified size with respect to the transmitted prediction difference
  • Quantization processing is performed and passed to the variable length coding processing unit (111) and the inverse quantization processing unit (112).
  • the variable length coding processing unit (111) the prediction difference information represented by the frequency conversion coefficient, the prediction direction used when performing intra prediction, for example, the motion vector used when performing inter prediction, etc.
  • Information necessary for decoding is subjected to variable length coding based on the probability of occurrence of symbols to generate a coded stream.
  • the inverse quantization processing unit (112) and the inverse frequency transform unit (113) perform inverse frequency transform such as inverse quantization and IDCT (Inverse DCT) on the frequency transform coefficient after quantization.
  • the prediction difference is acquired and sent to the adding unit (114). Subsequently, a decoding image is generated by the adding unit (114) and stored in the reference image memory (115).
  • FIG. 5 shows an example of the details of the inter-screen prediction unit (106).
  • the inter-screen prediction unit includes a motion vector storage memory (201) for storing a motion vector of an already-encoded region, and a prediction vector calculation unit (202) that calculates a prediction vector using the motion vector of the already-encoded region. And a subtractor (203) for calculating a difference vector by calculating a difference between the motion vector and the prediction vector, and a prediction image generation unit (204) for generating a prediction image.
  • the prediction vector calculation unit (202) calculates the prediction vector of the target block based on the motion vector of the already-encoded region stored in the motion vector storage memory (201), and the subtraction unit (203)
  • the difference vector (205) is calculated by calculating the difference between the motion vector calculated in 104) and the prediction vector.
  • the predicted image generation unit (204) generates a predicted image (206) from the motion vector and the reference image. Then, the motion vector is stored in the motion vector storage memory (201).
  • FIG. 6 shows an example of a moving picture decoding apparatus according to the present embodiment.
  • the video decoding device includes, for example, a variable length decoding unit (302) that performs the reverse procedure of variable length encoding on the encoded stream (301) generated by the video encoding device shown in FIG.
  • Inverse quantization processing unit (303) and inverse frequency transform unit (304) for decoding the prediction difference inter-screen prediction unit (305) that performs inter-screen prediction, and intra-screen prediction unit (in-screen prediction) 306), an adder (307) for obtaining a decoded image, and a reference image memory (308) for temporarily storing the decoded image.
  • the variable length decoding unit (302) performs variable length decoding on the encoded stream (301), and acquires information necessary for prediction processing, such as a frequency transform coefficient component of a prediction difference, a block size, and a motion vector.
  • the former prediction difference information is sent to the inverse quantization processing unit (303), and the information necessary for the latter prediction processing is sent to the inter-screen prediction unit (305) or the intra-screen prediction unit (306). It is done.
  • the inverse quantization processing unit (303) and the inverse frequency transform unit (304) perform decoding by performing inverse quantization and inverse frequency transform on the prediction difference information, respectively.
  • the inter-screen prediction unit (305) or the intra-screen prediction unit (306) executes the prediction process with reference to the reference image memory (308) based on the information sent from the variable length decoding unit (302). Then, the adder (307) generates a decoded image and stores the decoded image in the reference image memory (308).
  • FIG. 7 shows an example of the details of the inter-screen prediction unit (305).
  • the inter-screen prediction unit (305) includes a motion vector storage memory (401) for storing the motion vector of the already decoded area, and a prediction vector calculation unit that calculates a prediction vector using the motion vector of the already decoded area (402), an adder (403) that calculates a motion vector by calculating the sum of the difference vector and the prediction vector, and a prediction image generation unit (404) that generates a prediction image.
  • the prediction vector calculation unit (402) calculates the prediction vector of the target block based on the motion vector of the already decoded region stored in the motion vector storage memory (401), and the addition unit (403) performs variable length decoding.
  • the motion vector is decoded by calculating the sum of the difference vector decoded by the unit and the prediction vector. Then, while storing the decoded motion vector in the motion vector storage memory (401), the predicted image generation unit (404) generates a predicted image (405) from the motion vector and the reference image.
  • FIG. 8 is obtained by adding a reference image smoothing processing unit conceptually shown in FIG. 3 based on the configuration of the moving picture encoding device shown in FIG. 4 described above.
  • a part (601) surrounded by a dotted line is an additional part, and the other parts are the same as those shown in FIG.
  • the part (601) surrounded by a dotted line will be described.
  • the smoothed processing unit (602) smoothes the decoded image stored in the reference image memory (115), and passes it to the motion search unit (603) and the inter-screen prediction unit (604).
  • the motion search unit (603) the amount of motion of the corresponding block is calculated using the decoded image after the smoothing process and the target image from the block division unit (103), and the motion vector is calculated as an inter-screen prediction unit (604).
  • the inter-screen prediction unit (604) performs inter-screen prediction processing in units of several blocks, and then the mode selection unit (107) performs the intra-screen prediction unit (105) and the inter-screen prediction unit (106). Choose the best prediction method including the results.
  • the mode information (116) is included in the mode information (116), and is passed from the mode selection unit to the variable length encoding unit (111) for encoding.
  • the operation and configuration of the motion search unit (603) may be the same as those of the motion search unit (104), and the operation and configuration of the inter-screen prediction unit (604) may be the same as those of the inter-screen prediction unit (106).
  • FIG. 9 shows an example of a moving picture decoding apparatus according to the present embodiment, and a reference image smoothing processing unit is added based on the structure of the moving picture decoding apparatus shown in FIG. 6 described above. Is.
  • a portion (801) surrounded by a dotted line is an additional portion, and the other portions are the same as the configuration shown in FIG.
  • a portion (801) surrounded by a dotted line will be described.
  • the smoothed processing unit (803) smoothes the decoded image (reference image) stored in the reference image memory (308) and passes it to the inter-screen prediction unit (802).
  • the inter-screen prediction unit (802) the mode information obtained by executing the prediction process with reference to the reference image after the smoothing process based on the information transmitted from the variable length decoding unit (302), and performing the variable length decoding (309), one of the results of the inter-screen prediction unit (802), the inter-screen prediction unit (305), and the intra-screen prediction unit (306) is selected and decoded by the addition unit (307). An image is generated and the decoded image is stored in the reference image memory (308).
  • the characteristics of the smoothing processing unit (803) may be the same as the characteristics of the smoothing processing unit (602) in the moving picture coding apparatus shown in FIG.
  • the operation and configuration of the inter-screen prediction unit (802) may be the same as those of the inter-screen prediction unit (305).
  • FIG. 10 shows an encoding processing procedure for one frame in the present embodiment.
  • the following processing is performed for all blocks existing in the frame to be encoded (2001). That is, prediction is executed for all coding modes (combination of prediction method and block size) once for the corresponding block (2002).
  • intra prediction (2004) or inter-screen prediction processing (2005) is performed to calculate the prediction difference.
  • the prediction difference is calculated by the general inter-screen prediction process (2006), and the inter-screen prediction process is performed after smoothing the predicted image (2007). Calculate the prediction difference according to (2008).
  • the prediction image used for a process differs between the prediction processes (2006) (2008) between screens, the processing content may be the same.
  • a motion vector and mode information indicating the presence / absence of smoothing processing are variable-length encoded.
  • frequency conversion processing (2009), quantization processing (2010), and variable length encoding processing (2011) are performed on the prediction difference, and image quality distortion in each encoding mode (for each pixel of the input image and the decoded image). Code amount).
  • the mode with the highest coding efficiency is selected based on the above results (2012).
  • the RD-Optimization method that determines the optimal encoding mode from the relationship between image quality distortion and code amount, for example. Can be encoded efficiently. Details of the RD-Optimization method are described in [Reference 1].
  • FIG. 11 shows the decoding processing procedure for one frame in the present embodiment.
  • the following processing is performed for all blocks in one frame (2101). That is, a variable length decoding process is performed on the input stream (2102), and an inverse quantization process (2103) and an inverse frequency transform process (2104) are performed to decode the prediction difference.
  • in-screen prediction processing (2106) and inter-screen prediction processing (2107) are performed according to the prediction method (2105). Note that when performing inter-screen prediction, it is necessary to decode motion vectors and mode information prior to prediction.
  • inter-screen prediction process (2111) is performed after the smoothing process (2110) similar to that at the time of encoding is performed on the predicted image.
  • the inter-screen prediction process (2109) may have the same contents as the inter-screen prediction process (2006) in the encoding process shown in FIG. 10, and the inter-screen prediction process (2111) is the encoding process shown in FIG. The same processing contents as the inter-screen prediction processing (2008) in FIG.
  • the prediction vector is calculated in units of blocks, but other than that, for example, it may be calculated in units of objects separated from the background of the image.
  • DCT is mentioned as an example of frequency transformation
  • DST Discrete Sine Transformation
  • WT Widelet Transformation
  • DFT Discrete Fourier Transformation
  • KLT Kerhunen-Loeve
  • Any transformation may be used as long as the orthogonal transformation is used for removing the correlation between pixels, such as Transformation (Karunen-Reeve transformation), and the prediction difference itself may be encoded without performing frequency transformation.
  • variable length coding is not particularly required.
  • the details of the texture of the image do not match between the target image and the reference image. Even in the case of coincidence, there is an effect that a suitable inter-screen prediction can be realized.
  • the second embodiment of the present invention a plurality of smoothing processes having different characteristics are provided in each of the encoding device and the decoding device, and a smoothing process with the highest encoding efficiency is selected at the time of encoding. The aim is to improve the coding efficiency.
  • FIG. 12 shows an example of a moving picture encoding apparatus according to the present embodiment. This figure is obtained by adding a plurality of smoothing processing units to a reference image based on the configuration of the moving picture coding apparatus shown in FIG. 8 described above.
  • a portion (901) surrounded by a dotted line is an additional portion, and the other portions are the same as those shown in FIG.
  • the portion (901) surrounded by the dotted line will be described.
  • the smoothed processing unit (902) smoothes the decoded image stored in the reference image memory (115) and passes it to the motion search unit (903) and the inter-screen prediction unit (904).
  • the motion search unit (903) the amount of motion of the corresponding block is calculated using the decoded image after the smoothing process and the target image from the block division unit (103), and the motion vector is calculated as an inter-screen prediction unit (904 ).
  • the mode selection unit (107) uses the intra-screen prediction unit (105), the inter-screen prediction unit (106), and The optimum prediction method is selected including the result of the inter-screen prediction unit (604).
  • the smoothing processing unit (902) and the smoothing processing unit (602) different characteristics and selecting a smoothing process with the highest encoding efficiency at the time of encoding, the encoding efficiency is improved.
  • the pass characteristics of the filter for example, by changing each tap coefficient or increasing the number of taps in the horizontal direction or the vertical direction between the smoothing processing unit (902) and the smoothing processing unit (602), the pass characteristics of the filter Alternatively, the blocking characteristic may be changed to make the degree of smoothing stronger or weaker.
  • a one-dimensional low-pass filter only in the horizontal direction or in the vertical direction may be used.
  • the operation and configuration of the motion search unit (903) may be the same as those of the motion search units (104) and (603), and the operation and configuration of the inter-screen prediction unit (904) are the same as the inter-screen prediction units (106) and (604). Same as).
  • FIG. 13 shows an example of a moving picture decoding apparatus according to the present embodiment, in which a plurality of smoothing processing units are added based on the configuration of the moving picture decoding apparatus shown in FIG. 9 described above. It is.
  • a part (1001) surrounded by a dotted line is an additional part, and the other parts are the same as those shown in FIG.
  • a portion (1001) surrounded by a dotted line will be described.
  • the smoothed processing unit (1003) smoothes the decoded image (reference image) stored in the reference image memory (308) and passes it to the inter-screen prediction unit (1002).
  • the inter-screen prediction unit (1002) performs prediction processing with reference to the reference image after smoothing processing based on the information sent from the variable length decoding unit (302), and based on the mode information (309) Select one of the results of the inter-screen prediction unit (1002), the inter-screen prediction unit (802), the inter-screen prediction unit (305), and the intra-screen prediction unit (306), and add it to the addition unit (307).
  • a decoded image is generated, and the decoded image is stored in the reference image memory (308).
  • the characteristics of the smoothing processing unit (1003) may be the same as the characteristics of the smoothing processing unit (902) in the moving picture coding apparatus shown in FIG.
  • the operation and configuration of the inter-screen prediction unit (1002) may be the same as that of the inter-screen prediction unit (305).
  • the number of smoothing processing units in the video encoding device and the video decoding device has been described as two.
  • the present invention is not limited to this, and the number of smoothing processing units is not limited to three. It is obvious that a smoothing processing unit may be provided and an optimum prediction method may be selected from the smoothing processing unit.
  • the moving picture decoding apparatus in the present embodiment also has only one smoothing processing unit as in the moving picture decoding apparatus in the first embodiment shown in FIG. 9, and the moving picture code shown in FIG.
  • the characteristics of the smoothing processing unit (803) are changed for each prediction block based on the mode information (309) so that the characteristics are the same as the characteristics of the smoothing processing unit (602) or (902) in the conversion apparatus. It may be configured.
  • FIG. 14 shows an encoding process procedure for one frame in the present embodiment. The procedure shown in the figure is based on the encoding process procedure shown in FIG. 10, and the contents of the process related to inter-screen prediction (2005) surrounded by dotted lines are changed to the process related to inter-screen prediction (2201). is there. The rest of the procedure is the same as that shown in FIG. Hereinafter, processing (2201) related to inter-screen prediction will be described.
  • the prediction difference is calculated by the general inter-screen prediction process (2006) and the first smoothing process (2007) is performed on the predicted image, and then the inter-screen prediction is performed.
  • the prediction difference is calculated by the process (2008), and after the second smoothing process (2202) is performed on the predicted image, the prediction difference is calculated by the inter-screen prediction process (2203).
  • the screen prediction processes (2006), (2008), and (2203) are different in the predicted image used in the process, but the process contents may be the same.
  • the motion vector, the presence / absence of smoothing processing, and, if smoothing processing, mode information indicating which smoothing processing has been performed are variable length Encode.
  • FIG. 15 shows the decoding processing procedure for one frame in the present embodiment.
  • the procedure shown in the figure is based on the encoding process procedure shown in FIG. 11 and changes the contents of the process (2301) related to inter-screen prediction surrounded by a dotted line. The rest of the procedure is the same as that shown in FIG. Hereinafter, processing (2301) related to inter-screen prediction will be described.
  • inter-screen prediction processing (2109) In the processing related to inter-screen prediction (2301), in accordance with the decoded mode information (2108), when smoothing processing is not performed during encoding, general inter-screen prediction processing (2109) is performed.
  • the mode information (2302) the same smoothing processing as that at the time of encoding is performed on the predicted image, that is, the first smoothing processing (2110) or the first processing.
  • an inter-screen prediction process (2111) or an inter-screen prediction process (2304) is performed.
  • the inter-screen prediction process (2304) may have the same processing content as the inter-screen prediction process (2203) in the encoding process shown in FIG.
  • the number of smoothing processing procedures in the encoding procedure and the decoding procedure has been described as two.
  • the present invention is not limited to this, and three or more smoothing processing procedures are used. It is obvious that the optimum prediction method may be selected from among them.
  • the decoding procedure in the present embodiment also has only one smoothing procedure similar to the decoding procedure in the first embodiment shown in FIG. 11, and the smoothing process in the encoding procedure shown in FIG.
  • a processing procedure for changing the characteristics of the smoothing processing procedure (2110) for each prediction block based on the mode information may be the same as the characteristics of the procedure (2007) or (2202).
  • the moving picture coding apparatus and coding method, the moving picture decoding apparatus and the decoding method according to the second embodiment described above are the degree of fineness of the texture of the image (that is, the frequency of the high-definition component included in the image). Regardless of (amplitude), the correlation between the target block when performing inter-screen prediction and the prediction block after the smoothing process can be increased, and a suitable inter-screen prediction can be realized.
  • the coding efficiency is reduced by the increase in mode information. Therefore, in the third embodiment of the present invention, whether or not to perform the smoothing process of the predicted image without encoding the mode information indicating the presence or absence of the smoothing process of the predicted image and without using the mode information at the time of decoding. The determination is aimed at improving the coding efficiency.
  • the mode information corresponding to FIG. 8 does not include information indicating the presence / absence of smoothing processing of the predicted image.
  • FIG. 16 shows an example of a moving picture decoding apparatus according to the present embodiment. Based on the configuration of the moving picture decoding apparatus shown in FIG. 6 described above, a reference image smoothing processing unit and mode selection are shown. The part is added. In the same figure, a part (1101) surrounded by a dotted line is an additional part, and the other parts are the same as those shown in FIG. Hereinafter, a portion (1101) surrounded by a dotted line will be described.
  • the smoothed processing unit (803) smoothes the decoded image (reference image) stored in the reference image memory (308) and passes it to the inter-screen prediction unit (802).
  • the inter-screen prediction unit (802) executes the prediction process with reference to the reference image after the smoothing process based on the information sent from the variable length decoding unit (302).
  • the mode selection unit (1102) selects one of the results of the inter-screen prediction unit (802) and the inter-screen prediction unit (305) based on a selection method described later.
  • variable length decoded mode information (309)
  • the unit (307) generates a decoded image and stores the decoded image in the reference image memory (308).
  • the results of the inter-screen prediction unit (305) and the inter-screen prediction unit (802) in the video decoding device shown in FIG. This is the same as each result of the inter-screen prediction unit (106) and the inter-screen prediction unit (604) in the mode selection unit (107) in the encoding device.
  • the inter-screen prediction unit (106) and the inter-screen prediction unit (604) in the mode selection unit (107) in the video encoding device shown in FIG. If a selection method similar to the selection method is used, the presence or absence of smoothing processing at the time of encoding and decoding can be matched, and the encoded stream is correctly decoded and decoded without adding mode information. A digitized image can be obtained.
  • FIG. 17 shows a decoding process procedure for one frame in the present embodiment.
  • the procedure shown in the figure is obtained by changing the process (2107) relating to the inter-screen prediction in the encoding process procedure shown in FIG. 11 to the process (2401).
  • the rest of the procedure is the same as that shown in FIG.
  • the process (2401) related to the inter-screen prediction after the change will be described.
  • the prediction matching degree estimation process (2402) is performed for each of the cases where the smoothing process of the reference image is performed and the case where it is not performed.
  • the peripheral area (A) (2505) of the target block (2504) is used as an area belonging to the encoded area (2501). That is, the prediction block (2507) corresponding to the target block (2504) is obtained based on the decoded motion vector (2506), and the surrounding area (B) (2508) and the surrounding area (A) (2505)
  • SAD Sum of Absolute Difference
  • a prediction block (2510) corresponding to the target block (2504) is obtained based on the decoded motion vector (2509) (same as the motion vector (2506)), and its surrounding area (C) (2511) And the sum of absolute value differences (SAD) between the pixels in the peripheral area (A) (2505), and the value is taken as SAD (A, C).
  • SAD absolute value differences
  • whether SAD (A, ⁇ B) and SAD (A, C) are compared and whether or not smoothing is performed so that the absolute value difference sum is reduced. (2403) may be determined.
  • the inter-screen prediction process (2403) is performed, or the reference image smoothing process (2404) is performed, and then the inter-screen prediction process (2405) is performed.
  • the content of the prediction matching degree estimation process (2402) is not limited to the absolute difference sum, the square difference sum (SSD: Sum of Squared Difference) between the target block and the prediction block pixels, variance value, Activity values used in H.264 / AVC may be used.
  • the target block contains random motion of a small object or a non-rigid body region, the accuracy of inter-screen prediction is generally low, so a decision is made to smooth the reference image (2403) May be.
  • a present Example is applicable also when providing a several smoothing process like the inter-screen prediction apparatus which concerns on Example 2.
  • FIG. 18 the SAD values shown in FIG. 18 are obtained for all the smoothed reference images, and if it is determined that inter-screen prediction is performed using the reference image having the smallest SAD value, the coding is performed. It is possible to match the presence / absence of smoothing processing at the time of decoding and which smoothing processing is selected.
  • the moving image encoding apparatus and encoding method, moving image decoding apparatus, and decoding method according to the third embodiment described above do not need to encode mode information indicating the presence / absence of smoothing processing of a predicted image. There is an effect that a suitable inter-screen prediction can be realized without causing a reduction in conversion efficiency.
  • the smoothing process of the reference image is applied to the inter-screen prediction.
  • the smoothing process of the reference image is applied to the intra prediction to improve the encoding efficiency.
  • the intra prediction encoding process shown in FIG. 2 is used.
  • the encoding target image is encoded according to the raster scan order (1201), and the decoded image of the encoded block adjacent to the left, upper left, upper, and upper right of the encoding target block (see Prediction is performed with reference to (image), and the optimal prediction direction can be selected from among eight types of prediction direction candidates such as vertical, horizontal, and diagonal, and the prediction difference and prediction direction values are encoded.
  • “DC prediction” that predicts all the pixels included in the encoding target block based on the average value of the reference pixels can be used (1204).
  • a mode for performing the smoothing process on the above-described reference image is provided, and a mode with the highest coding efficiency is selected as compared with the conventional mode in which the smoothing process is not performed. Note that, by obtaining an average value of reference pixels from a reference image after smoothing processing, the present invention can be similarly applied to DC prediction.
  • FIG. 19 shows an example of a moving picture coding apparatus according to the present embodiment. This figure is obtained by adding a smoothing processing unit for a reference image in intra prediction based on the configuration of the moving picture encoding apparatus shown in FIG. 4 described above.
  • a portion (1301) surrounded by a dotted line is an additional portion, and the other portions are the same as the configuration shown in FIG.
  • the portion (1301) surrounded by the dotted line will be described.
  • the decoded image stored in the reference image memory (115) is smoothed by the smoothing processing unit (1302) and transferred to the in-screen prediction unit (1303).
  • the mode selection unit (107) performs the in-screen prediction unit (105) and the inter-screen prediction unit (106 ) Including the result of).
  • information indicating whether smoothing processing has been performed is included in the mode information (116), and is passed from the mode selection unit to the variable length encoding unit (111) for encoding.
  • FIG. 20 shows an example of a moving picture decoding apparatus according to the present embodiment. Based on the configuration of the moving picture decoding apparatus shown in FIG. 6 described above, reference image smoothing processing in intra prediction is performed. The part is added. In the same figure, a part (1401) enclosed by a dotted line is an additional part, and the other parts are the same as those shown in FIG. Hereinafter, the portion (1401) surrounded by the dotted line will be described.
  • the smoothed processing unit (1403) smoothes the decoded image (reference image) stored in the reference image memory (308) and passes it to the in-screen prediction unit (1402).
  • the in-screen prediction unit (1402) executes the prediction process with reference to the reference image after the smoothing process based on the information sent from the variable length decoding unit (302), and performs variable length decoding mode information.
  • one of the results of the intra prediction unit (1402), the inter prediction unit (305), and the intra prediction unit (306) is selected and decoded by the addition unit (307) An image is generated and the decoded image is stored in the reference image memory (308).
  • the characteristics of the smoothing processing unit (1403) may be the same as the characteristics of the smoothing processing unit (1302) in the moving picture coding apparatus shown in FIG.
  • the operation and configuration of the intra-screen prediction unit (1402) may be the same as those of the intra-screen prediction unit (1303).
  • FIG. 21 shows an encoding process procedure for one frame in the present embodiment.
  • the following processing is performed for all blocks (2601) existing in a frame to be encoded. That is, prediction is executed once for all coding modes (combination of prediction method and block size) for the corresponding block (2602).
  • the prediction method 2603
  • the inter-screen prediction (2604) or the process (2605) related to the intra-screen prediction is performed, and the prediction difference is calculated.
  • the prediction difference is calculated by the general in-screen prediction process (2606), and the smoothed process (2607) is performed on the predicted image, and then the in-screen prediction process is performed.
  • the prediction difference is calculated according to (2608).
  • the processing content may be the same.
  • mode information indicating the presence / absence of smoothing processing is variable-length encoded in addition to the prediction difference.
  • frequency conversion processing (2609), quantization processing (2610), and variable length encoding processing (2611) are performed on the prediction difference, and image quality distortion and code amount of each encoding mode are calculated.
  • the mode with the highest coding efficiency is selected based on the above results (2612).
  • the quantized frequency transform coefficient is subjected to inverse quantization processing (2613) and inverse frequency transform processing (2614), and the prediction difference is decoded to generate a decoded image. And stored in the reference image memory (2615). If the above processing is completed for all the blocks, the encoding for one frame of the image is completed (2616).
  • the inter-screen prediction process (2604) in the figure the process (2005) related to the inter-screen prediction shown in FIG. 10, the process (2201) related to the inter-screen prediction shown in FIG. 14, and the process shown in FIG.
  • the process (2401) related to the inter-screen prediction may be used.
  • FIG. 22 shows a procedure for decoding one frame in the present embodiment.
  • the following processing is performed on all blocks in one frame (2701). That is, the variable length decoding process is performed on the input stream (2702), and the inverse quantization process (2703) and the inverse frequency transform process (2704) are performed to decode the prediction difference.
  • inter-screen prediction processing (2706) and processing related to intra-screen prediction (2707) are performed.
  • intra prediction it is necessary to decode mode information prior to prediction.
  • the processing related to intra prediction (2707), depending on the mode information (2708), if smoothing processing is not performed during encoding, general intra prediction processing (2709) is performed and smoothing is performed during encoding.
  • the intra prediction process (2709) has the same contents as the intra prediction process (2606) in the encoding process shown in FIG. 21, and the intra prediction process (2711) is the encoding process shown in FIG.
  • the processing contents are the same as those in the intra-screen prediction process (2608).
  • the details of the texture of the image do not match between the target image and the reference image. Even in the case of coincidence, there is an effect that a suitable intra prediction can be realized.
  • the reference image is not limited to the encoded block adjacent to the encoding target block, but the decoded images of all the encoded blocks in the encoding target screen (reference When referring to (image), encoding efficiency is improved by applying a smoothing process of the reference image.
  • a texture matching process has been proposed as a technique for referring to the decoded images (reference images) of all the encoded blocks in the encoding target screen.
  • FIG. 23 conceptually shows the operation of the texture matching process.
  • the encoded region (1503) of the target image (1501) the block having the highest correlation with the target block (1502), that is, the block having the closest texture is searched for as the prediction block (1504). It is processing.
  • the position information (vector) of the target block (1502) and the prediction block (1504) is set as the texture matching result (1505), and is encoded together with the prediction difference. See [Reference 2] for details of the texture matching process.
  • FIG. 24 shows an example of a moving picture coding apparatus according to the present embodiment. This figure is obtained by adding a smoothing processing unit for a reference image in intra prediction based on the configuration of the moving picture encoding apparatus shown in FIG. 4 described above.
  • a part (1601) enclosed by a dotted line is an additional part, and the other parts are the same as those shown in FIG.
  • the portion (1601) surrounded by the dotted line will be described.
  • the decoded image stored in the reference image memory (115) is smoothed by the smoothing processing unit (1302) and transferred to the texture matching unit (1602) and the in-screen prediction unit (1303).
  • the texture matching unit (1602) uses the decoded image after the smoothing process and the target image from the block dividing unit (103) to search for the block with the closest texture, and the texture matching result (vector) is displayed on the screen. Pass to the prediction unit (1303).
  • the mode selection unit (107) performs the in-screen prediction unit (105) and the inter-screen prediction unit (106 ) Including the result of). At this time, information indicating whether or not smoothing processing has been performed, and if smoothing processing is performed, the texture matching result (vector) is included in the mode information (116), and the variable length coding unit ( 111) for encoding.
  • the configuration of the video encoding device shown in FIG. 20 according to the fourth embodiment can be used as it is, and thus illustration and description thereof are omitted.
  • the position of the prediction block passed from the reference image memory (308) to the smoothing processing unit (1403) is based on the texture matching result (vector) included in the mode information (309) subjected to variable length decoding. decide.
  • FIG. 25 shows an encoding process procedure for one frame in the present embodiment.
  • the procedure shown in the figure is based on the encoding process procedure shown in FIG. 21 and is modified by extracting the contents of the process (2605) related to the prediction within the screen surrounded by a dotted line.
  • the rest of the procedure is the same as that shown in FIG.
  • the process (2605) related to the inter-screen prediction after the change will be described.
  • the prediction difference is calculated by a general intra-screen prediction process (2606), and after smoothing the predicted image (2607), the texture matching process (2801) is used to obtain the most significant difference from the target block.
  • a block after smoothing processing with a close texture is searched for as a prediction block.
  • a prediction difference is calculated by an intra-screen prediction process (2608).
  • mode information including the presence / absence of smoothing processing and the texture matching result (vector) when smoothing processing is variable-length encoded.
  • the decoding process procedure for one frame shown in FIG. 22 can be used as it is as the decoding process procedure for one frame in the present embodiment, illustration and description thereof are omitted.
  • the position of the prediction block when performing the intra prediction process (2711) is determined based on the texture matching result (vector) included in the mode information.
  • the moving image encoding apparatus and encoding method, moving image decoding apparatus, and decoding method according to the fifth embodiment described above are the same as the moving image encoding apparatus, the encoding method, the moving image decoding apparatus, and the moving image decoding apparatus according to the fourth embodiment.
  • the texture matching result (vector) is encoded by including it in the mode information, and the position of the predicted image needs to be determined using the texture matching result (vector) at the time of decoding. In some cases, the coding efficiency is reduced by the increased amount. Therefore, in Embodiment 6 of the present invention, the texture matching result (vector) is not encoded, and the position of the predicted image is determined and smoothed without using the texture matching result (vector) at the time of decoding. , Improve the coding efficiency.
  • a technique described in [Reference 3] has been proposed as a technique that eliminates the need to encode a texture matching result (vector) when performing intra-picture encoding using texture matching processing.
  • FIG. 26 conceptually shows the technique described in [Reference Document 3].
  • the same decoded image can be obtained by the encoding device and the decoding device.
  • the surrounding area (1702) closest to the texture (1701) and the surrounding area (1702) of the target block (1502) in the target image (1501) is searched for by each of the encoding device and the decoding device.
  • the matching result (vector) (1703) as the texture matching result (vector) between the target block (1502) and the prediction block (1504)
  • the position of the prediction block without encoding the texture matching result (vector) Can be determined.
  • FIG. 27 shows an example of a moving picture coding apparatus according to the present embodiment. This figure is obtained by adding a smoothing processing unit for a reference image in intra prediction based on the configuration of the moving picture encoding apparatus shown in FIG. 4 described above. In the same figure, a portion (1801) surrounded by a dotted line is an additional portion, and the rest is the same as the configuration shown in FIG. Hereinafter, a portion (1801) surrounded by a dotted line will be described.
  • the decoded image stored in the reference image memory (115) is smoothed by the smoothing processing unit (1302) and transferred to the texture matching unit (1602) and the in-screen prediction unit (1303).
  • the decoded image stored in the reference image memory (115) is smoothed by the smoothing processing unit (1802) and transferred to the texture matching unit (1602).
  • the smoothing processing unit (1302) and the smoothing processing unit (1802) smooth the peripheral region (1702) of the prediction block and the peripheral region (1701) of the target block shown in FIG. Yes, for the sake of explanation, it is divided into two parts, but it may be configured to be unified and combined into one.
  • the texture matching unit (1602) searches for the block with the closest texture using the peripheral area (1701) of the target block after smoothing and the peripheral area (1702) of the predicted block after smoothing, and performs texture matching
  • the result (vector) is passed to the in-screen prediction unit (1303).
  • the in-screen prediction unit (1303) performs the same in-screen prediction processing as the in-screen prediction unit (105) using the target block (1502) and the prediction block (1504) shown in FIG.
  • an optimal prediction method is selected including the results of the intra-screen prediction unit (105) and the inter-screen prediction unit ⁇ (106).
  • FIG. 28 shows an example of a moving picture decoding apparatus according to the present embodiment. Based on the configuration of the moving picture decoding apparatus shown in FIG. 6 described above, reference image smoothing processing in intra prediction is performed. Part and texture matching part. In the figure, a part (1901) surrounded by a dotted line is an additional part, and the other parts are the same as those shown in FIG. Hereinafter, a portion (1901) surrounded by a dotted line will be described.
  • the smoothed processing units (1403) (1902) smooth the decoded image (reference image) stored in the reference image memory (308) and pass it to the intra-screen prediction unit (1402).
  • the smoothing processing unit (1403) and the smoothing processing unit (1902) perform smoothing processing on the peripheral region (1702) of the prediction block and the peripheral region (1701) of the target block shown in FIG. 26, respectively.
  • it is divided into two parts, but it may be configured to be unified and combined into one.
  • the texture matching unit (1903) searches for the block with the closest texture using the peripheral area (1701) of the target block after smoothing processing and the peripheral area (1702) of the predicted block after smoothing processing, and texture matching
  • the result (vector) is passed to the in-screen prediction unit (1402).
  • the in-screen prediction unit (1402) executes the prediction process with reference to the prediction block (1504) after the smoothing process based on the information sent from the variable length decoding unit (302), and performs variable length decoding.
  • the mode information (309) On the basis of the mode information (309), one of the results of the in-screen prediction unit (1402), the inter-screen prediction unit (305), and the in-screen prediction unit (306) is selected, and the addition unit (307) Thus, a decoded image is generated, and the decoded image is stored in the reference image memory (308).
  • the encoding process procedure for one frame in the present embodiment shown in FIG. 25 can be used as it is as the encoding process procedure for one frame in the present embodiment, illustration and description thereof are omitted.
  • the peripheral region (1701) of the target block and the peripheral region (1702) of the prediction block shown in FIG. 26 are used as images used for the texture matching processing (2801), and the texture matching result (vector) is obtained. It is regarded as a texture matching result (vector) of the target block (1502) and the prediction block (1504).
  • FIG. 29 shows a decoding process procedure for one frame in the present embodiment.
  • the procedure shown in the figure is based on the decoding process procedure shown in FIG. 22 and is modified by extracting the contents of the process (2707) related to the intra-screen prediction surrounded by a dotted line.
  • the rest of the procedure is the same as that shown in FIG.
  • processing (2707) related to the inter-screen prediction after the change will be described.
  • the general intra prediction process (2709) is performed.
  • smoothing processing is performed during encoding
  • the same texture matching processing (2901) as that during encoding is performed after the smoothing processing (2710) similar to that during encoding is performed on the predicted image.
  • An intra-screen prediction process (2711) is performed using the prediction block and the target block. At this time, as an image used for the texture matching process (2901), the surrounding area (1701) of the target block and the surrounding area (1702) of the prediction block shown in FIG. 1502) and the texture matching result (vector) of the prediction block (1504).
  • the same prediction block can be determined and used at the time of encoding and at the time of decoding without encoding the texture matching result (vector).
  • the moving image encoding apparatus and encoding method, the moving image decoding apparatus, and the decoding method according to the sixth embodiment described above are the same as the moving image encoding apparatus, the encoding method, the moving image decoding apparatus, and the moving image decoding apparatus according to the fifth embodiment.
  • the decoding method there is no need to encode the texture matching result (vector), and there is an effect that a suitable intra prediction can be realized without causing a decrease in encoding efficiency.
  • 101 to 115 explanatory diagram of a video encoding device according to an embodiment of the present invention
  • 201 to 206 explanatory diagram of a video encoding device according to an embodiment of the present invention
  • 301 to 309 one embodiment of the present invention
  • Explanatory diagram of a video decoding device according to the present invention 401 to 405 ... explanatory diagram of a video decoding device according to an embodiment of the present invention, 501 to 505 ... an explanatory diagram of inter-screen predictive encoding processing by H.264 / AVC, 601 to 604...
  • FIG. 1 is an explanatory diagram of an image encoding device
  • 1401 to 1403 is an explanatory diagram of a moving image decoding device according to an embodiment of the present invention
  • 1501 to 1505 is an explanatory diagram of a texture matching process according to the prior art
  • FIG. 17 is an explanatory diagram of a moving image encoding apparatus according to the embodiment, 1701 to 1703...
  • 1801 to 1802. 1 is an explanatory diagram of a moving picture decoding apparatus according to an embodiment of the present invention, 2501 to 2513, a moving picture encoding method and a moving picture decoding according to an embodiment of the present invention. Explanatory diagram of the method.

Abstract

　画面間予測および画面内予測を用いた動画像符号化において、複雑なテクスチャを持つ画像が複雑に動く場合などにも予測差分の符号量を減少させて、圧縮効率を向上する。画面間予測を行って予測差分を計算する画面間予測部と、予測差分に対して符号化を行う周波数変換部および量子化部と、記号の発生確率に応じた符号化を行うための可変長符号化部を有し、画面間予測部では既符号化領域の画像を平滑化し、対象領域と時空間的に近接する平滑化後の既符号化領域の動きベクトルに基づいて対象領域の動きベクトルを予測してその予測差分を符号化する。

Description

動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法
　本発明は、動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法に係わり、少ない符号量で高画質に画像を符号化できる動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法に関する。
　大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、MPEG (Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格、H.264/AVC(Advanced Video Coding)規格等として国際標準の符号化方式となっている。これらの方式はデジタル衛星放送やDVD、携帯電話やデジタルカメラなどにおける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。
　これらの規格では、符号化処理が完了した画像情報を利用して符号化対象画像をブロック単位で予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性を除いて符号量を減らしている。
　H.264/AVCでは、対象画像とは別の画像を参照する画面間予測により、符号化対象ブロックと相関の高いブロックを参照画像中から探索することによって、高精度な予測を可能としている。また、対象画像内を参照する画面内予測では、符号化対象ブロックと相関の高いブロックを符号化済みの対象画像中から探索することによって、高精度な予測を可能としている。これにより、符号量を大幅に削減することに成功している。
  図１はH.264/AVCによる画面間予測処理の動作について概念的に示したものである。H.264/AVCでは、符号化対象画像に対してラスタースキャンの順序に従ってブロック単位による符号化を行う。画面間予測を行う際には、符号化対象画像(503)と同じ映像(501)に含まれる符号化済みの画像の復号画像を参照画像(502)とし、対象画像中の対象ブロック(504)と相関の高いブロック(予測ブロック)(505)を参照画像中から探索する。このとき、両ブロックの差分として計算される予測差分と、両ブロックの座標値の差分を動きベクトル(506)として符号化する。一方復号化の際には上記の逆の手順を行えばよく、復号化された予測差分を参照画像中の予測ブロック(505)に加えることにより、復号化画像を取得できる。以上のように、H.264/AVCでは、画面間予測処理を導入することにより、画面間相関が高い画像の符号量を大幅に削減することが可能になった。
　図２は、H.264/AVCによる画面内予測符号化処理の動作について概念的に示したものである。H.264/AVCでは、符号化対象画像に対してラスタースキャンの順序に従って符号化を実行し(1201)、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みのブロックの復号化画像を参照して予測を行う。特に、予測にはこれらのブロックに含まれる13個の画素を利用し(1202)、予測方向ベクトルを傾きとする同じ直線上の画素はすべて同じ画素から予測される。例えば(1203)に示すように、符号化対象ブロックの画素B、C、D、Eはすべて同じ画素を参照して予測符号化が行われ、画素Bの直上の画素を復号化した値A’との差分(予測差分)b、c、d、eが計算される。さらに、H.264/AVCでは縦、横、斜めなど、8種類の予測方向候補の中から最適なものをブロック単位で選択することができ、予測差分と予測方向の値が符号化される。なお、H.264/AVCでは、上記特定の方向に沿った予測の他に、参照画素の平均値によって符号化対象ブロックに含まれるすべての画素を予測する「DC予測」を利用することができる(1204)。以上のように、H.264/AVCでは、画面内予測処理を導入することにより、画面内相関が高い画像の符号量を大幅に削減することが可能になった。
　しかし、複雑なテクスチャを持つ画像が複雑に動く場合などでは、画面間予測および画面内予測の効果をさらに改善し、少ない符号量で高画質な画像を得る方法を開発する必要がある。
　本発明は、前記の課題に鑑みてなされたものであり、その目的は、少ない符号量で高画質に画像を符号化できる動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法を提供することにある。
　上記目的を達成するために本発明は、入力された動画像を圧縮し、伝送符号化して出力する動画像符号化装置であって、前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算部と、前記予測差分に対して符号化を行う周波数変換量子化処理部と、前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化部と、前記符号化された予測差分を復号する逆量子化逆周波数変換部と、前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納部と、前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成部と、前記格納された参照画像を平滑化する平滑化処理部と、前記平滑化された参照画像を参照し、符号化対象領域と時空間的に近接する平滑化後の既符号化領域との間の動きベクトルに基づいて、前記減算部に与える平滑化後の既符号化領域を求める画面間予測部とを有したことを特徴としている。
　本発明は、入力された動画像を圧縮し、伝送符号化して出力する動画像符号化方法であって、前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算ステップと、前記予測差分に対して符号化を行う周波数変換量子化処理ステップと、前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化ステップと、前記符号化された予測差分を復号する逆量子化逆周波数変換ステップと、前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納ステップと、前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成ステップと、前記格納された参照画像を平滑化する平滑化処理ステップと、前記平滑化された参照画像を参照し、符号化対象領域と時空間的に近接する平滑化後の既符号化領域との間の動きベクトルに基づいて、前記減算部に与える平滑化後の既符号化領域を求める画面間予測ステップとを有し、前記平滑化処理により前記予測差分の符号量を低減したことを特徴としている。
　本発明は、発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化装置であって、前記可変長符号を復号する可変長復号化部と、該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換部と、前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算部と、前記復号化動画像を参照画像として格納する参照画像格納部と、前記格納された参照画像を平滑化する平滑化処理部と、前記平滑化された参照画像を参照し、復号化対象領域と時空間的に近接する平滑化後の既復号化領域との間の動きベクトルに基づいて、前記加算部に与える平滑化後の既復号化領域を求める画面間予測部とを有したことを特徴としている。
　本発明は、発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化方法であって、前記可変長符号を復号する可変長復号化ステップと、該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換ステップと、前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算ステップと、前記復号化動画像を参照画像として格納する参照画像格納ステップと、前記格納された参照画像を平滑化する平滑化処理ステップと、前記平滑化された参照画像を参照し、復号化対象領域と時空間的に近接する平滑化後の既復号化領域との間の動きベクトルに基づいて、前記加算部に与える平滑化後の既復号化領域を求める画面間予測ステップとを有したことを特徴としている。
　本発明は、入力された動画像を圧縮し、伝送符号化して出力する動画像符号化装置であって、前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算部と、前記予測差分に対して符号化を行う周波数変換量子化処理部と、前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化部と、前記符号化された予測差分を復号する逆量子化逆周波数変換部と、前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納部と、前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成部と、前記格納された参照画像を平滑化する平滑化処理部と、前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行って符号化対象領域と平滑化後の既符号化領域の差分を求め、前記周波数変換量子化処理部に予測差分を与える画面内予測部とを有したことを特徴としている。
　本発明は、入力された動画像を圧縮し、伝送符号化して出力する動画像符号化方法であって、前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算ステップと、前記予測差分に対して符号化を行う周波数変換量子化処理ステップと、前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化ステップと、前記符号化された予測差分を復号する逆量子化逆周波数変換ステップと、前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納ステップと、前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成ステップと、前記格納された参照画像を平滑化する平滑化処理ステップと、前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行って符号化対象領域と平滑化後の既符号化領域の差分を求め、前記周波数変換量子化処理部に予測差分を与える画面内予測ステップとを有し、前記平滑化処理により前記予測差分の符号量を低減したことを特徴としている。
　本発明は、発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化装置であって、前記可変長符号を復号する可変長復号化部と、該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換部と、前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算部と、前記復号化動画像を参照画像として格納する参照画像格納部と、前記格納された参照画像を平滑化する平滑化処理部と、前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行い、前記加算部に与える平滑化後の既復号化領域を求める画面内予測部とを有したことを特徴としている。
　本発明は、発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化方法であって、前記可変長符号を復号する可変長復号化ステップと、該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換ステップと、前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算ステップと、前記復号化動画像を参照画像として格納する参照画像格納ステップと、前記格納された参照画像を平滑化する平滑化処理ステップと、前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行い、前記加算部に与える平滑化後の既復号化領域を求める画面内予測ステップとを有したことを特徴としている。
　本発明によれば、少ない符号量で高画質に画像を符号化できる動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法を得ることができ、ユーザに良好な動画像を提供する動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法を実現できるという効果がある。
本発明に係る画面間予測の一例を示す説明図である。 本発明に係る画面内予測の一例を示す説明図である。 本発明に係る平滑化方法の一例を示す説明図である。 本発明に係る動画像符号化装置の一例を示すブロック図である。 本発明に係る動画像符号化装置の画面間予測部の一例を示すブロック図である。 本発明に係る動画像復号化装置の一例を示すブロック図である。 本発明に係る動画像復号化装置の画面間予測部の一例を示すブロック図である。 本発明の実施例１に係る動画像符号化装置のブロック図である。 本発明の実施例１に係る動画像復号化装置のブロック図である。 本発明の実施例１に係る動画像符号化装置のフローチャートである。 本発明の実施例１に係る動画像復号化装置のフローチャートである。 本発明の実施例２に係る動画像符号化装置のブロック図である。 本発明の実施例２に係る動画像復号化装置のブロック図である。 本発明の実施例２に係る動画像符号化装置のフローチャートである。 本発明の実施例２に係る動画像復号化装置のフローチャートである。 本発明の実施例３に係る動画像復号化装置のブロック図である。 本発明の実施例３に係る動画像復号化装置のフローチャートである。 本発明の実施例３に係る画面間予測動作の説明図である。 本発明の実施例４に係る動画像符号化装置のブロック図である。 本発明の実施例４に係る動画像復号化装置のブロック図である。 本発明の実施例４に係る動画像符号化装置のフローチャートである。 本発明の実施例４に係る動画像復号化装置のフローチャートである。 本発明に係るテクスチャマッチングの一例を示す説明図である。 本発明の実施例５に係る動画像符号化装置のブロック図である。 本発明の実施例５に係る動画像符号化装置のフローチャートである。 本発明に係るテクスチャマッチングの別な一例を示す説明図である。 本発明の実施例６に係る動画像符号化装置のブロック図である。 本発明の実施例６に係る動画像復号化装置のブロック図である。 本発明の実施例６に係る動画像復号化装置のフローチャートである。
　以下、本発明の実施例を、図面を参照して説明する。各図面において、同じの符号が付されている構成要素は同様の機能を有することとする。
  また、簡単のため、従来方式としてH.264/AVCを例に挙げて以下説明するが、本発明はこれに限定されるわけではなく、他の画像符号化方式に対しても同様に広く利用することができる。
　図３は、本発明による画面間予測方法の一例について概念的に示している。同図(a)において、対象画像(701)は、これから符号化しようとしている画像であり、一例として、被写体の女性が花壇に水をまいている様子を示している。H.264/AVCによる画面間予測処理では、同図(a)(b)(c)に示すように、対象画像(701)の中の対象ブロック(703)と相関の高い予測ブロック(704)を参照画像(702)の中から探索する。このとき、勢いよく噴出す水のように、複雑なテクスチャを持つ画像が複雑に動く場合には、おおまかな水の動きは一致しても、水滴の一つずつの動きは正確に一致しないため、対象ブロック(703)と予測ブロック(704)の間の相関が低くなり、予測差分が大きくなる。
　そこで、本発明による画面間予測方法では、参照画像(702)に対して平滑化を行ったのちに、対象ブロック(703)と相関の高い予測ブロック(705)を探索する。このとき、対象ブロック(703)と平滑化後の予測ブロック(705)の間でおおまかな水の動きは一致しやすくなるため、平滑化しない予測ブロック(704)を用いたときよりも、対象ブロック(703)との相関が高くなる。
　同図(e)は、平滑化方法の一例を示している。すなわち、参照画像(702)を構成する全画素に対して、同図(e)に示すような水平方向および垂直方向からなる2次元ローパスフィルタのタップ係数(706)を畳み込み演算することにより、平滑化を行う。この平滑化処理(畳み込み演算)は、一般的な技術を用いて実現可能なため、図示および詳細な説明は省略する。なお、同図(e)に示した平滑化方法は一例であり、本発明はこれに限定されるものではない。例えば、各タップ係数を変更したり、水平方向や垂直方向のタップ数を増やしたりすることによって、フィルタの通過特性や阻止特性を変更し、平滑化の度合いをより強くしたり、より弱くしたりしてもよい。また、水平方向のみ、あるいは垂直方向のみの1次元ローパスフィルタとしてもよい。また、水平方向、垂直方向のみならず、時間的に隣接する画面の画素を用いて時間軸方向にも畳み込み演算して、平滑化を行っても良い。また、画面の端の近傍の画素の処理ついては、一般のフィルタ処理でよく用いられるように、画素値=0の画素が画面の外側に向かって無限に連続しているものと仮定して処理してもよいし、画面端の画素値が画面の外側に向かって無限に連続しているものと仮定して処理してもよいし、画面端を対称軸として左右対象あるいは上下対象に画面内の画素が画面外にも無限に連続しているものと仮定して処理してもよい。また、同図(a)に示す参照画面(702)の全体を平滑化するのではなく、同図(c)に示す予測ブロック(704)に対して平滑化を行って同図(d)に示す平滑化後の予測ブロック(705)を生成してもよい。このときのブロックの端の近傍の画素の処理についても、上述した画面の端の近傍の画素の処理と同様にしてもよい。また、予測ブロック(704)に対して平滑化を行う際に、参照画像(702)の中の予測ブロック(704)の外側の画素を用いて処理してもよく、この場合は参照画像(702)の全体を平滑化したのと同じ結果になる。なお、上述した平滑化方法は、実施例２以降でも同様であるため、実施例２以降ではこれらの説明を省略する。
　図４は、本実施例における動画像符号化装置の一例を示したものである。動画像符号化装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像を小領域に分割するブロック分割部(103)と、ブロック単位で画面内予測を行う画面内予測部(105)と、動き探索部(104)にて検出された動き量を基にブロック単位で画面間予測を行う画面間予測部(106)と、画像の性質に合った予測符号化手段(予測方法およびブロックサイズ)を決定するモード選択部(107)と、予測差分を生成するための減算部(108)と、予測差分に対して符号化を行う周波数変換部(109)および量子化処理部(110)と、量子化処理後の予測差分およびモード選択部(107)で選択したモード情報(116)を記号の発生確率に応じた符号化を行うための可変長符号化部(111)と、一度符号化した予測差分を復号化するための逆量子化処理部(112)および逆周波数変換部(113)と、復号化された予測差分を用いて復号化画像を生成するための加算部(114)と、復号化画像を保持して後の予測に活用するための参照画像メモリ(115)を有する。
　入力画像メモリ(102)は原画像(101)の中から一枚の画像を符号化対象画像として保持し、これをブロック分割部(103)にて細かなブロックに分割し、動き探索部(104)、画面内予測部(105)、および画面間予測部(106)に渡す。動き探索部(104)では、参照画像メモリ(115)に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部(106)に渡す。画面内予測部(105)および画面間予測部(106)では画面内予測処理および画面間予測処理をいくつかの大きさのブロック単位で実行し、モード選択部(107)にてどちらか最適な予測方法を選ぶ。続いて減算部(108)では最適な予測符号化手段による予測差分を生成し、周波数変換部(109)に渡す。周波数変換部(109)および量子化処理部(110)では、送られてきた予測差分に対して指定された大きさのブロック単位でそれぞれDCT(Discrete Cosine Transformation：離散コサイン変換)などの周波数変換および量子化処理を行い、可変長符号化処理部(111)および逆量子化処理部(112)に渡す。さらに可変長符号化処理部(111)では、周波数変換係数によって表される予測差分情報と、例えば画面内予測を行う際に利用した予測方向や画面間予測を行う際に利用した動きベクトルなど、復号化に必要な情報を、記号の発生確率に基づいて可変長符号化を行って符号化ストリームを生成する。また、逆量子化処理部(112)および逆周波数変換部(113)では、量子化後の周波数変換係数に対して、それぞれ逆量子化およびIDCT(Inverse DCT：逆DCT)などの逆周波数変換を施し、予測差分を取得して加算部(114)に送る。続いて加算部(114)により復号化画像を生成して参照画像メモリ(115)に格納する。
　図５は画面間予測部(106)の詳細について、その一例を示したものである。画面間予測部は、既符号化領域の動きベクトルを記憶するための動きベクトル記憶メモリ(201)と、既符号化領域の動きベクトルを利用して予測ベクトルを算出する予測ベクトル算出部(202)と、動きベクトルと予測ベクトルの差を計算して差分ベクトルを算出する減算器(203)と、予測画像を生成する予測画像生成部(204)を有する。
　予測ベクトル算出部(202)は動きベクトル記憶メモリ(201)に記憶されている既符号化領域の動きベクトルに基づいて対象ブロックの予測ベクトルを算出し、減算部(203)では、動き探索部(104)で算出された動きベクトルと予測ベクトルの差分を計算して差分ベクトル(205)を算出する。予測画像生成部(204)では動きベクトルと参照画像から予測画像(206)を生成する。そして、動きベクトルを動きベクトル記憶メモリ(201)に記憶する。
　図６は本実施例による動画像復号化装置の一例を示したものである。動画像復号化装置は、例えば図４に示す動画像符号化装置によって生成された符号化ストリーム(301)に対して可変長符号化の逆の手順を踏む可変長復号化部(302)と、予測差分を復号化するための逆量子化処理部(303)および逆周波数変換部(304)と、画面間予測を行う画面間予測部(305)と、画面内予測を行う画面内予測部(306)と、復号化画像を取得するための加算部(307)と、復号化画像を一時的に記憶しておくための参照画像メモリ(308)を有する。
　可変長復号化部(302)では、符号化ストリーム(301)を可変長復号化し、予測差分の周波数変換係数成分と、ブロックサイズや動きベクトルなど予測処理に必要な情報を取得する。前者の予測差分情報に対しては逆量子化処理部(303)に、後者の予測処理に必要な情報に対しては、画面間予測部(305)、または画面内予測部(306)に送られる。続いて、逆量子化処理部(303)および逆周波数変換部(304)では、予測差分情報に対してそれぞれ逆量子化と逆周波数変換を施して復号化を行う。続いて画面間予測部(305)または画面内予測部(306)では、可変長復号化部(302)から送られてきた情報を基に参照画像メモリ(308)を参照して予測処理を実行し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。
　図７は画面間予測部(305)の詳細について、その一例を示したものである。画面間予測部(305)は、既復号化領域の動きベクトルを記憶するための動きベクトル記憶メモリ(401)と、既復号化領域の動きベクトルを利用して予測ベクトルを算出する予測ベクトル算出部 (402)と、差分ベクトルと予測ベクトルの和を計算して動きベクトルを算出する加算器(403)と、予測画像を生成する予測画像生成部(404)を有する。
　予測ベクトル算出部(402)は動きベクトル記憶メモリ(401)に記憶されている既復号化領域の動きベクトルに基づいて対象ブロックの予測ベクトルを算出し、加算部(403)では、可変長復号化部にて復号化された差分ベクトルと予測ベクトルの和を計算して動きベクトルを復号化する。そして、復号化された動きベクトルを動きベクトル記憶メモリ(401)に記憶する一方で、予測画像生成部(404)では動きベクトルと参照画像から予測画像(405)を生成する。
　図４～図７に示す動画像符号化装置、動画像復号化装置の構成は実施例2以降でも同様であるため、実施例2以降ではこれらの説明を省略する。
　図８は、上述した図４に示した動画像符号化装置の構成をベースに、図３に概念的に示した参照画像の平滑化処理部を追加したものである。同図において、点線で囲った部分(601)が追加部分であり、その他は図４に示した構成と同様のため説明は省略する。以下、点線で囲った部分(601)について説明する。
　同図において、平滑化処理部(602)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、動き探索部(603)と画面間予測部(604)に渡す。動き探索部(603)では、平滑化処理後の復号化済み画像と、ブロック分割部(103)からの対象画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部(604)に渡す。画面間予測部(604)では画面間予測処理をいくつかの大きさのブロック単位で実行したのち、モード選択部(107)にて画面内予測部(105)および画面間予測部(106)の結果も含めて最適な予測方法を選ぶ。このとき、平滑化処理を行ったかどうかを示す情報をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。なお、動き探索部(603)の動作および構成は動き探索部(104)と同様で良く、画面間予測部(604)の動作および構成は画面間予測部(106)と同様で良い。
　図９は、本実施例における動画像復号化装置の一例を示したものであり、上述した図６に示した動画像復号化装置の構成をベースに、参照画像の平滑化処理部を追加したものである。同図において、点線で囲った部分(801)が追加部分であり、その他は図６に示した構成と同様のため説明は省略する。以下、点線で囲った部分(801)について説明する。
　同図において、平滑化処理部(803)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面間予測部(802)に渡す。画面間予測部(802)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の参照画像を参照して予測処理を実行し、可変長復号化したモード情報(309)に基づいて、画面間予測部(802)、画面間予測部(305)、画面内予測部(306)の各結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。なお、平滑化処理部(803)の特性は、図８に示した動画像符号化装置における平滑化処理部(602)の特性と同様で良い。また、画面間予測部(802)の動作および構成は画面間予測部(305)と同様で良い。このように、モード情報(309)に基づいて、符号化時と復号化時の平滑化処理の有無を一致させれば、符号化ストリームを正しく復号して復号化画像を得ることができる。
　図１０は、本実施例における1フレームの符号化処理手順について示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対して(2001)、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モード(予測方法とブロックサイズの組み合わせ)に対して(2002)、予測を実行する。ここでは、予測の方法に応じて(2003)、画面内予測(2004)、または画面間予測に関わる処理(2005)を行い、予測差分の計算を行う。画面間予測に関わる処理(2005)では、一般的な画面間予測処理(2006)によって予測差分の計算を行うとともに、予測画像に対して平滑化処理(2007)を行ったのちに画面間予測処理(2008)によって予測差分の計算を行う。なお、画面間予測処理(2006)(2008)は、処理に用いる予測画像は異なるが、処理内容は同様で良い。さらに、画面間予測を行う際には、予測差分の他に、動きベクトルと、平滑化処理の有無を示すモード情報を可変長符号化する。続いて、予測差分に対して周波数変換処理(2009)、量子化処理(2010)、および可変長符号化処理(2011)を行い、各符号化モードの画質歪（入力画像と復号画像の画素毎の差をいう）と符号量を計算する。以上の処理をすべての符号化モードに対して終了すれば、以上の結果に基づいて最も符号化効率の良いモードを選択する(2012)。なお、多数の符号化モードの中から最も符号化効率の高いものを選択する際には、例えば画質歪と符号量の関係から最適な符号化モードを決定するRD-Optimization方式を利用することによって、効率良く符号化できる。RD-Optimization方式の詳細については〔参考文献１〕に詳しい。
　　〔参考文献１〕G. Sullivan and T.Wiegand : “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998.
続いて、選択された符号化モードに対して、量子化済みの周波数変換係数に逆量子化処理 (2013)と逆周波数変換処理(2014)を施して予測差分を復号化し、復号化画像を生成して参照画像メモリに格納する(2015)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(2016)。
　図１１は、本実施例における1フレームの復号化処理手順について示している。まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(2101)。すなわち、入力ストリームに対して可変長復号化処理を施し(2102)、逆量子化処理(2103)および逆周波数変換処理(2104)を施して予測差分を復号化する。続いて、予測の方法に応じて(2105)、画面内予測処理(2106)および画面間予測に関わる処理(2107)を行う。なお、画面間予測を行う際には予測に先駆けて動きベクトルとモード情報の復号化を行う必要がある。画面間予測に関わる処理(2107)では、モード情報に応じて(2108)、符号化時に平滑化処理を行っていない場合には一般的な画面間予測処理(2109)を行い、符号化時に平滑化処理を行った場合には予測画像に対して符号化時と同様の平滑化処理(2110)を行ったのちに画面間予測処理(2111)を行う。このとき、画面間予測処理(2109)は図１０に示した符号化処理における画面間予測処理(2006)と同様の内容で良く、画面間予測処理(2111)は図１０に示した符号化処理における画面間予測処理(2008)と同様の処理内容とする。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像1フレーム分の復号化が終了する(2112)。
　本実施例では、予測ベクトルの算出をブロック単位で行っているが、それ以外にも例えば画像の背景から分離したオブジェクト単位で算出しても良い。また、周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換ならどんなものでも構わないし、特に周波数変換を施さずに予測差分そのものに対して符号化を行っても構わない。さらに、可変長符号化も特に行わなくて良い。
　以上説明した実施例１に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、対象画像と参照画像の間で、画像のテクスチャの詳細は一致しないが、おおまかに一致する場合に対しても、好適な画面間予測が実現できるという効果を有する。
　上述した実施例１では、予測ブロックに対する平滑化処理を一つしか設けていなかったため、画像のテクスチャの精細さの度合い(すなわち、画像に含まれる高精細成分の周波数と振幅)によっては、画面間予測を行う際の対象ブロックと平滑化処理後の予測ブロックの間の相関が高くならず、符号化効率が向上しない場合もある。そこで、本発明の実施例２では、符号化装置と復号化装置のそれぞれに特性の異なる複数の平滑化処理を設け、最も符号化効率が高くなる平滑化処理を符号化時に選択することにより、符号化効率を向上することを狙いとしている。
　図１２は、本実施例における動画像符号化装置の一例を示したものである。同図は、上述した図８に示した動画像符号化装置の構成をベースに、参照画像に対して複数の平滑化処理部を追加したものである。同図において、点線で囲った部分(901)が追加部分であり、その他は図８に示した構成と同様のため説明は省略する。以下、点線で囲った部分(901)について説明する。
　同図において、平滑化処理部(902)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、動き探索部(903)と画面間予測部(904)に渡す。動き探索部(903)では、平滑化処理後の復号化済み画像と、ブロック分割部(103)からの対象画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部(904)に渡す。画面間予測部(904)では画面間予測処理をいくつかの大きさのブロック単位で実行したのち、モード選択部(107)にて画面内予測部(105)、画面間予測部(106)および画面間予測部(604)の結果も含めて最適な予測方法を選ぶ。このとき、どの平滑化処理を行ったかどうかを示す情報をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。ここで、平滑化処理部(902)と平滑化処理部(602)を異なる特性にして、最も符号化効率が高くなる平滑化処理を符号化時に選択することにより、符号化効率が向上する。このとき例えば、平滑化処理部(902)と平滑化処理部(602)の間で、各タップ係数を変更したり、水平方向や垂直方向のタップ数を増やしたりすることによって、フィルタの通過特性や阻止特性を変更し、平滑化の度合いをより強くしたり、より弱くしたりしてもよい。また、水平方向のみ、あるいは垂直方向のみの1次元ローパスフィルタとしてもよい。なお、動き探索部(903)の動作および構成は動き探索部(104)および(603)と同様で良く、画面間予測部(904)の動作および構成は画面間予測部(106)および(604)と同様で良い。
　図１３は、本実施例における動画像復号化装置の一例を示したものであり、上述した図９に示した動画像復号化装置の構成をベースに、複数の平滑化処理部を追加したものである。同図において、点線で囲った部分(1001)が追加部分であり、その他は図９に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1001)について説明する。
　同図において、平滑化処理部(1003)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面間予測部(1002)に渡す。画面間予測部(1002)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の参照画像を参照して予測処理を実行し、モード情報(309)に基づいて、画面間予測部(1002)、画面間予測部(802)、画面間予測部(305)、画面内予測部(306)の各結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。なお、平滑化処理部(1003)の特性は、図１２に示した動画像符号化装置における平滑化処理部(902)の特性と同様で良い。また、画面間予測部(1002)の動作および構成は画面間予測部(305)と同様で良い。このように、モード情報(309)に基づいて、符号化時と復号化時の平滑化処理の有無を一致させれば、符号化ストリームを正しく復号して復号化画像を得ることができる。
　なお、上記では、動画像符号化装置および動画像復号化装置における平滑化処理部の各個数を2個として説明を行ったが、本発明はこれに限定されるわけではなく、3個以上の平滑化処理部を設け、その中から最適な予測方法を選ぶ構成にしてもよいことは明らかである。
　また、本実施例における動画像復号化装置も、図９に示した第１の実施例における動画像復号化装置と同様に平滑化処理部を一つのみとし、図１２に示した動画像符号化装置における平滑化処理部(602)あるいは(902)の特性と同様になるように、モード情報(309)に基づいて、予測ブロックごとに平滑化処理部(803)の特性を変更するように構成してもよい。
図１４は、本実施例における1フレームの符号化処理手順について示している。同図に示す手順は、図１０に示した符号化処理手順をベースに、点線で囲んだ画面間予測に関わる処理(2005)の内容を画面間予測に関わる処理(2201)に変更したものである。その他は図１０に示した各手順と同様のため説明は省略する。以下、画面間予測に関わる処理(2201)について説明する。
　画面間予測に関わる処理(2201)では、一般的な画面間予測処理(2006)によって予測差分の計算と、予測画像に対して第1の平滑化処理(2007)を行ったのちに画面間予測処理(2008)によって予測差分の計算を行うとともに、予測画像に対して第2の平滑化処理(2202)を行ったのちに画面間予測処理(2203)によって予測差分の計算を行う。なお、画面予測処理(2006)(2008)(2203)は、処理に用いる予測画像は異なるが、処理内容は同様で良い。さらに、画面間予測を行う際には、予測差分の他に、動きベクトルと、平滑化処理の有無、および平滑化処理を行った場合はどの平滑化処理を行ったかを示すモード情報を可変長符号化する。
　図１５は、本実施例における1フレームの復号化処理手順について示している。同図に示す手順は、図１１に示した符号化処理手順をベースに、点線で囲んだ画面間予測に関わる処理(2301)の内容を変更したものである。その他は図１１に示した各手順と同様のため説明は省略する。以下、画面間予測に関わる処理(2301)について説明する。
　画面間予測に関わる処理(2301)では、復号化したモード情報に応じて(2108)、符号化時に平滑化処理を行っていない場合には一般的な画面間予測処理(2109)を行う。符号化時に平滑化処理を行った場合には、さらにモード情報に応じて(2302)、予測画像に対して符号化時と同様の平滑化処理、すなわち第1の平滑化処理(2110)または第2の平滑化処理(2303)を選択して行ったのちに、それぞれ画面間予測処理(2111)または画面間予測処理(2304)を行う。このとき、画面間予測処理(2304)は図１４に示した符号化処理における画面間予測処理(2203)と同様の処理内容で良い。
　なお、上記では、符号化手順および復号化手順における平滑化処理手順の各個数を2個として説明を行ったが、本発明はこれに限定されるわけではなく、3個以上の平滑化処理手順を設け、その中から最適な予測方法を選ぶ構成にしてもよいことは明らかである。
　また、本実施例における復号化手順も、図１１に示した第１の実施例における復号化手順と同様に平滑化処理手順を一つのみとし、図１４に示した符号化手順における平滑化処理手順(2007)あるいは(2202)の特性と同様になるように、モード情報に基づいて、予測ブロックごとに平滑化処理手順(2110)の特性を変更する処理手順としてもよい。
　以上説明した実施例２に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、画像のテクスチャの精細さの度合い(すなわち、画像に含まれる高精細成分の周波数と振幅)に関わらず、画面間予測を行う際の対象ブロックと平滑化処理後の予測ブロックの間の相関を高くすることができ、好適な画面間予測が実現できるという効果を有する。
　上述した実施例1では、予測画像の平滑化処理の有無を示すモード情報を符号化し、復号化時にこのモード情報を用いて予測画像の平滑化処理を行うか否かを判定する必要があるため、モード情報が増加した分だけ符号化効率が低下する場合もある。そこで、本発明の実施例３では、予測画像の平滑化処理の有無を示すモード情報を符号化せず、復号化時にもモード情報を用いないで予測画像の平滑化処理を行うか否かを判定することにより、符号化効率を向上することを狙いとしている。
　本実施例における動画像符号化装置の構成として、実施例１に係る図８に示した動画像符号化装置の構成をそのまま用いることができるため、図示および説明は省略する。ただし、本実施例では図８における相当するモード情報には、予測画像の平滑化処理の有無を示す情報を含めない。
　図１６は、本実施例における動画像復号化装置の一例を示したものであり、上述した図６に示した動画像復号化装置の構成をベースに、参照画像の平滑化処理部とモード選択部を追加したものである。同図において、点線で囲った部分(1101)が追加部分であり、その他は図６に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1101)について説明する。
　同図において、平滑化処理部(803)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面間予測部(802)に渡す。画面間予測部(802)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の参照画像を参照して予測処理を実行する。モード選択部(1102)では、後述する選択方法に基づいて、画面間予測部(802)、画面間予測部(305)の各結果のどちらかを選択する。その後、可変長復号化したモード情報(309)に基づいて、画面間予測部(802)(305)のどちらかの結果と画面内予測部(306)の結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。
　ここで、既に符号化済みの領域については、図１６に示した動画像復号化装置における画面間予測部(305)と画面間予測部(802)の各結果が、図８に示した動画像符号化装置におけるモード選択部(107)における画面間予測部(106)と画面間予測部(604)の各結果とそれぞれ同様になる。これを利用し、モード選択部(1102)における選択方法として、図８に示した動画像符号化装置におけるモード選択部(107)における画面間予測部(106)と画面間予測部(604)の選択方法と同様の選択方法を用いるようにすれば、符号化時と復号化時の平滑化処理の有無を一致させることができ、モード情報を追加せずに符号化ストリームを正しく復号して復号化画像を得ることができる。
　図１７は、本実施例における1フレームの復号化処理手順について示している。同図に示す手順は、図１１に示した符号化処理手順における画面間予測に関わる処理(2107)を処理(2401)に変更したものである。その他は図１１に示した各手順と同様のため説明は省略する。以下、変更後の画面間予測に関わる処理(2401)について説明する。
　画面間予測に関わる処理(2401)では、まず、参照画像の平滑化処理を行った場合と行わない場合のそれぞれについて、予測一致度推定処理(2402)を行う。このとき例えば、図１８に示すように、符号化済み領域(2501)に属する領域として、対象ブロック(2504)の周辺領域(A)(2505)を利用する。すなわち、復号化した動きベクトル(2506)に基づいて対象ブロック(2504)と対応する予測ブロック(2507)を求めておき、その周辺領域(B)(2508)と周辺領域(A)(2505)の画素間の絶対値差分総和(SAD: Sum of Absolute Difference)をとり、その値をSAD(A, B)とする。同様に、復号化した動きベクトル(2509)(動きベクトル(2506)と同じ)に基づいて対象ブロック(2504)と対応する予測ブロック(2510)を求めておき、その周辺領域(C)(2511)と周辺領域(A)(2505)の画素間の絶対値差分総和(SAD)をとり、その値をSAD(A, C)とする。判断方法の一例(2512)に示したように、SAD(A, B)とSAD(A, C)の値を比較し、絶対値差分総和が小さくなるように、平滑化を行うか行わないかを判断(2403)すればよい。この判断結果に基づき、画面間予測処理(2403)を行うか、参照画像の平滑化処理(2404)を行ったのちに画面間予測処理(2405)を行う。なお、予測一致度推定処理(2402)の内容は絶対値差分総和に限定されるわけではなく、対象ブロックと予測ブロックの画素間の2乗差分総和(SSD: Sum of Squared Difference)や分散値、H.264/AVCで用いられているアクティビティ値などを用いてもよい。また、対象ブロックの中に小さい物体のランダムな動きや非剛体領域を含む場合は、一般に画面間予測の精度が低くなることが多いため、参照画像の平滑化処理を行うように判断(2403)してもよい。復号化手順における予測一致度推定処理(2402)および平滑化を行うかどうかの判断(2403)を、符号化手順における予測一致度推定処理および平滑化を行うかどうかの判断と一致させることにより、モード情報を用いなくても、符号化時と復号化時の平滑化処理の有無を一致させることができる。
　なお、本実施例は、実施例２に係る画面間予測装置のように、複数の平滑化処理を備える場合にも適用することができる。この場合、すべての平滑化後の参照画像に対して、図１８に示したSAD値を求めておき、SAD値が最小となる参照画像を用いて画面間予測するように判断すれば、符号化時と復号化時の平滑化処理の有無、およびどの平滑化処理を選択したかを一致させることができる。
　以上説明した実施例３に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、予測画像の平滑化処理の有無を示すモード情報を符号化する必要がなくなり、符号化効率低下を生じることなく、好適な画面間予測が実現できるという効果を有する。
　以上の実施例では、参照画像の平滑化処理を画面間予測に適用する場合について説明した。一方、本発明の実施例４では、参照画像の平滑化処理を画面内予測に適用し、符号化効率を向上する。
　上述したように、H.264/AVCでは、図２に示す画面内予測符号化処理が用いられている。このとき、符号化対象画像に対してラスタースキャンの順序に従って符号化を実行し(1201)、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みのブロックの復号化画像(参照画像)を参照して予測を行い、縦、横、斜めなど、8種類の予測方向候補の中から最適なものをブロック単位で選択することができ、予測差分と予測方向の値が符号化される。また、上記特定の方向に沿った予測の他に、参照画素の平均値によって符号化対象ブロックに含まれるすべての画素を予測する「DC予測」を利用することができる(1204)。
　本実施例では、上述した参照画像に対して平滑化処理を行うモードを備え、平滑化処理を行わない従来のモードと比較して、最も符号化効率の良いモードを選択する。なお、平滑化処理後の参照画像から参照画素の平均値を求めることにより、DC予測にも同様に適用できる。
　図１９は、本実施例における動画像符号化装置の一例を示したものである。同図は、上述した図４に示した動画像符号化装置の構成をベースに、画面内予測における参照画像に対する平滑化処理部を追加したものである。同図において、点線で囲った部分(1301)が追加部分であり、その他は図４に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1301)について説明する。
　同図において、平滑化処理部(1302)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、画面内予測部(1303)に渡す。画面内予測部(1303)では、画面内予測部(105)と同様の画面内予測処理を実行したのち、モード選択部(107)にて画面内予測部(105)および画面間予測部(106)の結果も含めて最適な予測方法を選ぶ。このとき、平滑化処理を行ったかどうかを示す情報をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。
　図２０は、本実施例における動画像復号化装置の一例を示したものであり、上述した図６に示した動画像復号化装置の構成をベースに、画面内予測における参照画像の平滑化処理部を追加したものである。同図において、点線で囲った部分(1401)が追加部分であり、その他は図６に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1401)について説明する。
　同図において、平滑化処理部(1403)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面内予測部(1402)に渡す。画面内予測部(1402)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の参照画像を参照して予測処理を実行し、可変長復号化したモード情報(309)に基づいて、画面内予測部(1402)、画面間予測部(305)、画面内予測部(306)の各結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。なお、平滑化処理部(1403)の特性は、図１９に示した動画像符号化装置における平滑化処理部(1302)の特性と同様で良い。また、画面内予測部(1402)の動作および構成は画面内予測部(1303)と同様で良い。このように、モード情報(309)に基づいて、符号化時と復号化時の平滑化処理の有無を一致させれば、符号化ストリームを正しく復号して復号化画像を得ることができる。
　図２１は、本実施例における1フレームの符号化処理手順について示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対して(2601)、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モード(予測方法とブロックサイズの組み合わせ)に対して(2602)、予測を実行する。ここでは、予測の方法に応じて(2603)、画面間予測(2604)、または画面内予測に関わる処理(2605)を行い、予測差分の計算を行う。画面内予測に関わる処理(2605)では、一般的な画面内予測処理(2606)によって予測差分の計算を行うとともに、予測画像に対して平滑化処理(2607)を行ったのちに画面内予測処理(2608)によって予測差分の計算を行う。なお、画面内予測処理(2606)(2608)は、処理に用いる予測画像は異なるが、処理内容は同様で良い。さらに、画面内予測を行う際には、予測差分の他に、平滑化処理の有無を示すモード情報を可変長符号化する。続いて、予測差分に対して周波数変換処理(2609)、量子化処理(2610)、および可変長符号化処理(2611)を行い、各符号化モードの画質歪と符号量を計算する。以上の処理をすべての符号化モードに対して終了すれば、以上の結果に基づいて最も符号化効率の良いモードを選択する(2612)。続いて、選択された符号化モードに対して、量子化済みの周波数変換係数に逆量子化処理(2613)と逆周波数変換処理(2614)を施して予測差分を復号化し、復号化画像を生成して参照画像メモリに格納する(2615)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(2616)。なお、同図における画面間予測処理(2604)として、図１０に示した画面間予測に関わる処理(2005)や、図１４に示した画面間予測に関わる処理(2201)や、図１７に示した画面間予測に関わる処理(2401)を用いてもよい。
　図２２は、本実施例における1フレームの復号化処理手順について示している。まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(2701)。すなわち、入力ストリームに対して可変長復号化処理を施し(2702)、逆量子化処理(2703)および逆周波数変換処理(2704)を施して予測差分を復号化する。続いて、予測の方法に応じて(2705)、画面間予測処理(2706)および画面内予測に関わる処理(2707)を行う。なお、画面内予測を行う際には予測に先駆けてモード情報の復号化を行う必要がある。画面内予測に関わる処理(2707)では、モード情報に応じて(2708)、符号化時に平滑化処理を行っていない場合には一般的な画面内予測処理(2709)を行い、符号化時に平滑化処理を行った場合には予測画像に対して符号化時と同様の平滑化処理(2710)を行ったのちに画面内予測処理(2711)を行う。このとき、画面内予測処理(2709)は図２１に示した符号化処理における画面内予測処理(2606)と同様の内容であり、画面内予測処理(2711)は図２１に示した符号化処理における画面内予測処理(2608)と同様の処理内容とする。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像1フレーム分の復号化が終了する(2712)。なお、同図における画面間予測処理(2706)として、図１１に示した画面間予測に関わる処理(2107)や、図１５に示した画面間予測に関わる処理(2301)や、図１７示した画面間予測に関わる処理(2401)を用いてもよい。
　以上説明した実施例４に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、対象画像と参照画像の間で、画像のテクスチャの詳細は一致しないが、おおまかに一致する場合に対しても、好適な画面内予測が実現できるという効果を有する。
　上述した実施例４では、画面内予測において、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みのブロックの復号化画像(参照画像)を参照する場合に、参照画像の平滑化処理を適用する装置および方法について説明した。一方、本発明の実施例５では、参照画像を符号化対象ブロックに隣接する符号化済みのブロックのみに限定せず、符号化対象画面内のすべての符号化済みのブロックの復号化画像(参照画像)を参照する場合に、参照画像の平滑化処理を適用することによって、符号化効率を向上する。
　符号化対象画面内のすべての符号化済みのブロックの復号化画像(参照画像)を参照する技術として、テクスチャマッチング処理が提案されている。
　図２３は、テクスチャマッチング処理の動作について概念的に示したものである。同図において、対象画像(1501)の符号化済み領域(1503)の中で、対象ブロック(1502)と最も相関が高いブロック、すなわち最もテクスチャが近いブロックを探索して予測ブロック(1504)とする処理である。このとき、対象ブロック(1502)と予測ブロック(1504)の位置情報(ベクトル)をテクスチャマッチング結果(1505)とし、予測差分とともに符号化する。テクスチャマッチング処理の詳細については〔参考文献２〕を参照のこと。
　　〔参考文献２〕S. L. Yu and C. Chrysafis, “New intra prediction using intra-macroblock motion compensation,” JVT-C151, Joint Video Team (JVT) of ISO/lEC MPEG & ITU-T VCEG Meeting, May 2002.
　本実施例では、上述したテクスチャマッチング処理を行う際に、参照画像に対して平滑化処理を行うモードを備え、平滑化処理を行わない従来のモードと比較して、最も符号化効率の良いモードを選択する。
　図２４は、本実施例における動画像符号化装置の一例を示したものである。同図は、上述した図４に示した動画像符号化装置の構成をベースに、画面内予測における参照画像に対する平滑化処理部を追加したものである。同図において、点線で囲った部分(1601)が追加部分であり、その他は図４に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1601)について説明する。
　同図において、平滑化処理部(1302)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、テクスチャマッチング部(1602)と画面内予測部(1303)に渡す。テクスチャマッチング部(1602)では、平滑化処理後の復号化済み画像と、ブロック分割部(103)からの対象画像を用いて最もテクスチャが近いブロックを探索し、テクスチャマッチング結果(ベクトル)を画面内予測部(1303)に渡す。画面内予測部(1303)では、画面内予測部(105)と同様の画面内予測処理を実行したのち、モード選択部(107)にて画面内予測部(105)および画面間予測部(106)の結果も含めて最適な予測方法を選ぶ。このとき、平滑化処理を行ったかどうかを示す情報と、平滑化処理を行った場合にはテクスチャマッチング結果(ベクトル)をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。
　本実施例における動画像復号化装置の構成として、実施例４に係る図２０に示した動画像符号化装置の構成をそのまま用いることができるため、図示および説明は省略する。ただし、図２０において、参照画像メモリ(308)から平滑化処理部(1403)に渡す予測ブロックの位置は、可変長復号化したモード情報(309)に含まれるテクスチャマッチング結果(ベクトル)に基づいて決定する。
　図２５は、本実施例における1フレームの符号化処理手順について示している。同図に示す手順は、図２１に示した符号化処理手順をベースに、点線で囲んだ画面内予測に関わる処理(2605)の内容を抜き出して変更したものである。その他は図２１に示した各手順と同様のため説明は省略する。以下、変更後の画面間予測に関わる処理(2605)について説明する。
　図２５において、一般的な画面内予測処理(2606)によって予測差分の計算行うとともに、予測画像に対して平滑化処理(2607)を行ったのちに、テクスチャマッチング処理(2801)によって対象ブロックと最もテクスチャが近い平滑化処理後のブロックを探索して予測ブロックとする。この予測ブロックと対象ブロックを用いて、画面内予測処理(2608)によって予測差分の計算を行う。なお、画面内予測を行う際には、予測差分の他に、平滑化処理の有無、および平滑化処理を行った場合はテクスチャマッチング結果(ベクトル)を含めたモード情報を可変長符号化する。
　本実施例における1フレームの復号化処理手順として、図２２に示した1フレームの復号化処理手順をそのまま用いることができるため、図示および説明は省略する。ただし、図２２において、画面内予測処理(2711)を行う際の予測ブロックの位置は、モード情報に含まれるテクスチャマッチング結果(ベクトル)に基づいて決定する。
以上説明した実施例５に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、実施例４に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法の効果に加え、画面内予測を行う際の対象ブロックと平滑化処理後の予測ブロックの間の相関を高くすることができ、好適な画面内予測が実現できるという効果を有する。
　上述した実施例５では、テクスチャマッチング結果(ベクトル)をモード情報に含めて符号化し、復号化時にこのテクスチャマッチング結果(ベクトル)を用いて予測画像の位置を決定する必要があるため、モード情報が増加した分だけ符号化効率が低下する場合もある。そこで、本発明の実施例６では、テクスチャマッチング結果(ベクトル)を符号化せず、復号化時にもテクスチャマッチング結果(ベクトル)を用いないで予測画像の位置を決定して平滑化処理することにより、符号化効率を向上する。
テクスチャマッチング処理を用いて画面内符号化を行う際に、テクスチャマッチング結果 (ベクトル)の符号化を不要にする技術として、〔参考文献３〕に記載の技術が提案されている。
　　〔参考文献３〕特開２００８-９２３５２号公報
　図２６は、上記〔参考文献３〕に記載の技術を概念的に示したものである。同図において、既に符号化済みの領域(1503)については、符号化装置と復号化装置で同様の復号化画像を得ることができる。これを利用し、対象画像(1501)の中の対象ブロック(1502)の周辺領域(1701)と最もテクスチャが近い周辺領域(1702)を符号化装置と復号化装置のそれぞれで探索し、そのテクスチャマッチング結果(ベクトル)(1703)を対象ブロック(1502)と予測ブロック(1504)の間のテクスチャマッチング結果(ベクトル)とみなすことにより、テクスチャマッチング結果(ベクトル)を符号化せずに予測ブロックの位置を決定できる。
　図２７は、本実施例における動画像符号化装置の一例を示したものである。同図は、上述した図４に示した動画像符号化装置の構成をベースに、画面内予測における参照画像に対する平滑化処理部を追加したものである。同図において、点線で囲った部分(1801)が追加部分であり、その他は図４に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1801)について説明する。
　同図において、平滑化処理部(1302)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、テクスチャマッチング部(1602)と画面内予測部(1303)に渡す。同様に、平滑化処理部(1802)によって、参照画像メモリ(115)に格納されている復号化済み画像を平滑化して、テクスチャマッチング部(1602)に渡す。ここで、平滑化処理部 (1302)と平滑化処理部(1802)は、それぞれ図２６に示した予測ブロックの周辺領域(1702)と対象ブロックの周辺領域(1701)を平滑化処理するものであり、説明のために2つに分けて示したが、共通化して一つにまとめた構成にしてもよい。テクスチャマッチング部(1602)では、平滑化処理後の対象ブロックの周辺領域(1701)と、平滑化処理後の予測ブロックの周辺領域(1702)を用いて最もテクスチャが近いブロックを探索し、テクスチャマッチング結果(ベクトル)を画面内予測部(1303)に渡す。画面内予測部(1303)では、図２６に示した対象ブロック(1502)と予測ブロック(1504)を用いて画面内予測部(105)と同様の画面内予測処理を実行したのち、モード選択部(107)にて画面内予測部(105)および画面間予測部 (106)の結果も含めて最適な予測方法を選ぶ。このとき、平滑化処理を行ったかどうかを示す情報をモード情報(116)に含めて、モード選択部から可変長符号化部(111)に渡して符号化する。なお、上述したように、テクスチャマッチング結果(ベクトル)は符号化しない。
　図２８は、本実施例における動画像復号化装置の一例を示したものであり、上述した図６に示した動画像復号化装置の構成をベースに、画面内予測における参照画像の平滑化処理部とテクスチャマッチング部を追加したものである。同図において、点線で囲った部分 (1901)が追加部分であり、その他は図６に示した構成と同様のため説明は省略する。以下、点線で囲った部分(1901)について説明する。
　同図において、平滑化処理部(1403)(1902)によって、参照画像メモリ(308)に格納されている復号化済み画像(参照画像)を平滑化して、画面内予測部(1402)に渡す。ここで、平滑化処理部(1403)と平滑化処理部(1902)は、それぞれ図２６に示した予測ブロックの周辺領域(1702)と対象ブロックの周辺領域(1701)を平滑化処理するものであり、説明のために2つに分けて示したが、共通化して一つにまとめた構成にしてもよい。テクスチャマッチング部(1903)では、平滑化処理後の対象ブロックの周辺領域(1701)と、平滑化処理後の予測ブロックの周辺領域(1702)を用いて最もテクスチャが近いブロックを探索し、テクスチャマッチング結果(ベクトル)を画面内予測部(1402)に渡す。画面内予測部(1402)では、可変長復号化部(302)から送られてきた情報を基に平滑化処理後の予測ブロック(1504)を参照して予測処理を実行し、可変長復号化したモード情報(309)に基づいて、画面内予測部(1402)、画面間予測部(305)、画面内予測部(306)の各結果のうち一つを選択し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。
　本実施例における1フレームの符号化処理手順として、図２５に示した本実施例における1フレームの符号化処理手順をそのまま用いることができるため、図示および説明は省略する。ただし、図２５において、テクスチャマッチング処理(2801)に用いる画像として、図２６に示した対象ブロックの周辺領域(1701)と予測ブロックの周辺領域(1702)を用い、そのテクスチャマッチング結果(ベクトル)を対象ブロック(1502)と予測ブロック(1504)のテクスチャマッチング結果(ベクトル)とみなす。
　図２９は、本実施例における1フレームの復号化処理手順について示している。同図に示す手順は、図２２に示した復号化処理手順をベースに、点線で囲んだ画面内予測に関わる処理(2707)の内容を抜き出して変更したものである。その他は図２２に示した各手順と同様のため説明は省略する。以下、変更後の画面間予測に関わる処理(2707)について説明する。
　画面内予測に関わる処理(2707)では、モード情報に応じて(2708)、符号化時に平滑化処理を行っていない場合には一般的な画面内予測処理(2709)を行う。符号化時に平滑化処理を行った場合には、予測画像に対して符号化時と同様の平滑化処理(2710)を行ったのちに、符号化時と同様のテクスチャマッチング処理(2901)を行って予測ブロックを決定する。この予測ブロックと対象ブロックを用いて、画面内予測処理(2711)を行う。このとき、テクスチャマッチング処理(2901)に用いる画像として、図２６に示した対象ブロックの周辺領域(1701)と予測ブロックの周辺領域(1702)を用い、そのテクスチャマッチング結果(ベクトル)を対象ブロック(1502)と予測ブロック(1504)のテクスチャマッチング結果(ベクトル)とみなす。
　以上のように処理することにより、テクスチャマッチング結果(ベクトル)を符号化することなく、符号化時と復号化時で、同様の予測ブロックを決定して利用することができるようになる。
以上説明した実施例６に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法は、実施例５に係る動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法の効果に加え、テクスチャマッチング結果(ベクトル)を符号化する必要がなくなり、符号化効率低下を生じることなく、好適な画面内予測が実現できるという効果を有する。
　１０１～１１５…本発明の一実施例による動画像符号化装置の説明図、２０１～２０６…本発明の一実施例による動画像符号化装置の説明図、３０１～３０９…本発明の一実施例による動画像復号化装置の説明図、４０１～４０５…本発明の一実施例による動画像復号化装置の説明図、５０１～５０５…H.264/AVCによる画面間予測符号化処理の説明図、６０１～６０４…本発明の一実施例による動画像符号化装置の説明図、７０１～７０６…本発明の一実施例による動きベクトルの予測技術に関する説明図、８０１～８０２…本発明の一実施例による動画像復号化装置の説明図、９０１～９０４…本発明の一実施例による動画像符号化装置の説明図、１００１～１００３…本発明の一実施例による動画像復号化装置の説明図、１１０１～１１０２…本発明の一実施例による動画像復号化装置の説明図、１２０１～１２０４…H.264/AVCによる画面内予測符号化処理の説明図、１３０１～１３０３…本発明の一実施例による動画像符号化装置の説明図、１４０１～１４０３…本発明の一実施例による動画像復号化装置の説明図、１５０１～１５０５…従来技術によるテクスチャマッチング処理の説明図、１６０１～１６０２…本発明の一実施例による動画像符号化装置の説明図、１７０１～１７０３…従来技術によるテクスチャマッチング処理の説明図、１８０１～１８０２…本発明の一実施例による動画像符号化装置の説明図、１９０１～１９０３…本発明の一実施例による動画像復号化装置の説明図、２５０１～２５１３…本発明の一実施例による動画像符号化方法および動画像復号化方法の説明図。

Claims (14)

  1. 　入力された動画像を圧縮し、伝送符号化して出力する動画像符号化装置であって、
    　前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算部と、
    　前記予測差分に対して符号化を行う周波数変換量子化処理部と、
    　前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化部と、
    　前記符号化された予測差分を復号する逆量子化逆周波数変換部と、
    　前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納部と、
    　前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成部と、
    　前記格納された参照画像を平滑化する平滑化処理部と、
    　前記平滑化された参照画像を参照し、符号化対象領域と時空間的に近接する平滑化後の既符号化領域との間の動きベクトルに基づいて、前記減算部に与える平滑化後の既符号化領域を求める画面間予測部と
    　を有したことを特徴とする動画像符号化装置。
  2. 　請求項１記載の動画像符号化装置において、前記画面間予測部では符号化対象領域と時空間的に近接する平滑化後の既符号化領域の動きベクトルに基づいて符号化したことを示すモード情報を符号化することを特徴とする動画像符号化装置。
  3. 　請求項１に記載の動画像符号化装置において、前記平滑化処理部は互いに平滑化の特性が異なるＮ個(Ｎは２以上の整数)の平滑化処理部を有し、前記画面間予測部では符号化対象領域と時空間的に近接するＮ個の平滑化後の既符号化領域との間の動きベクトルに基づいて、Ｎ個の予測差分を求め、該Ｎ個の予測差分のうちで符号量が最小となる予測差分を選択して符号化するとともに、選択した予測差分を求めた平滑化処理の特性を示すモード情報を符号化することを特徴とする動画像符号化装置。
  4. 　入力された動画像を圧縮し、伝送符号化して出力する動画像符号化方法であって、
    　前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算ステップと、
    　前記予測差分に対して符号化を行う周波数変換量子化処理ステップと、
    　前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化ステップと、
    　前記符号化された予測差分を復号する逆量子化逆周波数変換ステップと、
    　前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納ステップと、
    　前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成ステップと、
    　前記格納された参照画像を平滑化する平滑化処理ステップと、
    　前記平滑化された参照画像を参照し、符号化対象領域と時空間的に近接する平滑化後の既符号化領域との間の動きベクトルに基づいて、前記減算部に与える平滑化後の既符号化領域を求める画面間予測ステップとを有し、
    　前記平滑化処理により前記予測差分の符号量を低減したことを特徴とする動画像符号化方法。
  5. 　請求項４に記載の動画像符号化方法において、前記画面間予測ステップでは符号化対象領域と時空間的に近接する平滑化後の既符号化領域の動きベクトルに基づいて符号化したことを示すモード情報を符号化することを特徴とする動画像符号化方法。
  6. 　請求項４に記載の動画像符号化方法において、前記平滑化処理ステップは互いに平滑化の特性が異なるＮ個(Ｎは２以上の整数)の平滑化処理ステップを有し、前記画面間予測ステップでは符号化対象領域と時空間的に近接するＮ個の平滑化後の既符号化領域との間の動きベクトルに基づいて、Ｎ個の予測差分を求め、該Ｎ個の予測差分のうちで符号量が最小となる予測差分を選択して符号化するとともに、選択した予測差分を求めた平滑化処理の特性を示すモード情報を符号化することを特徴とする動画像符号化方法。
  7. 　発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化装置であって、
    　前記可変長符号を復号する可変長復号化部と、
    　該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換部と、
    　前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算部と、
    　前記復号化動画像を参照画像として格納する参照画像格納部と、
    　前記格納された参照画像を平滑化する平滑化処理部と、
    　前記平滑化された参照画像を参照し、復号化対象領域と時空間的に近接する平滑化後の既復号化領域との間の動きベクトルに基づいて、前記加算部に与える平滑化後の既復号化領域を求める画面間予測部と
    　を有したことを特徴とする動画像復号化装置。
  8. 　請求項７に記載の動画像復号化装置において、前記平滑化処理部は互いに平滑化の特性が異なるＮ個(Ｎは２以上の整数)の平滑化処理部を有し、前記画面間予測部では復号化対象領域と時空間的に近接するＮ個の平滑化後の既復号化領域との間の動きベクトルに基づいて、Ｎ個の予測差分を求め、該Ｎ個の予測差分のうちで符号量が最小となる予測差分を選択して復号化することを特徴とする動画像復号化装置。
  9. 　発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化方法であって、
    　前記可変長符号を復号する可変長復号化ステップと、
    　該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換ステップと、
    　前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算ステップと、
    　前記復号化動画像を参照画像として格納する参照画像格納ステップと、
    　前記格納された参照画像を平滑化する平滑化処理ステップと、
    　前記平滑化された参照画像を参照し、復号化対象領域と時空間的に近接する平滑化後の既復号化領域との間の動きベクトルに基づいて、前記加算部に与える平滑化後の既復号化領域を求める画面間予測ステップと
    　を有したことを特徴とする動画像復号化方法。
  10. 　請求項９に記載の動画像復号化方法において、前記平滑化処理ステップは互いに平滑化の特性が異なるＮ個(Ｎは２以上の整数)の平滑化処理ステップを有し、前記画面間予測ステップでは復号化対象領域と時空間的に近接するＮ個の平滑化後の既復号化領域との間の動きベクトルに基づいて、Ｎ個の予測差分を求め、該Ｎ個の予測差分のうちで符号量が最小となる予測差分を選択して復号化することを特徴とする動画像復号化方法。
  11. 　入力された動画像を圧縮し、伝送符号化して出力する動画像符号化装置であって、
    　前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算部と、
    　前記予測差分に対して符号化を行う周波数変換量子化処理部と、
    　前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化部と、
    　前記符号化された予測差分を復号する逆量子化逆周波数変換部と、
    　前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納部と、
    　前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成部と、
    　前記格納された参照画像を平滑化する平滑化処理部と、
    　前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行って符号化対象領域と平滑化後の既符号化領域の差分を求め、前記周波数変換量子化処理部に予測差分を与える画面内予測部と
    　を有したことを特徴とする動画像符号化装置。
  12. 　入力された動画像を圧縮し、伝送符号化して出力する動画像符号化方法であって、
    　前記入力された動画像の符号化対象領域と平滑化後の既符号化領域の差分である予測差分を求める減算ステップと、
    　前記予測差分に対して符号化を行う周波数変換量子化処理ステップと、
    　前記符号化された予測差分をその発生確率に応じた伝送符号とする可変長符号化ステップと、
    　前記符号化された予測差分を復号する逆量子化逆周波数変換ステップと、
    　前記入力された動画像を基に生成された前記圧縮に際して参照する既符号化領域の参照画像を格納する参照画像格納ステップと、
    　前記復号化された予測差分と前記平滑化後の既符号化領域を加算して前記既符号化領域の参照画像を生成し前記参照画像格納部に与える参照画像生成ステップと、
    　前記格納された参照画像を平滑化する平滑化処理ステップと、
    　前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行って符号化対象領域と平滑化後の既符号化領域の差分を求め、前記周波数変換量子化処理部に予測差分を与える画面内予測ステップとを有し、
    　前記平滑化処理により前記予測差分の符号量を低減したことを特徴とする動画像符号化方法。
  13. 　発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化装置であって、
    　前記可変長符号を復号する可変長復号化部と、
    　該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換部と、
    　前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算部と、
    　前記復号化動画像を参照画像として格納する参照画像格納部と、
    　前記格納された参照画像を平滑化する平滑化処理部と、
    　前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行い、前記加算部に与える平滑化後の既復号化領域を求める画面内予測部と
    　を有したことを特徴とする動画像復号化装置。
  14. 　発生確率に応じて可変長符号とされた動画像の予測差分が入力され、これを復号して復号化動画像を出力する動画像復号化方法であって、
    　前記可変長符号を復号する可変長復号化ステップと、
    　該可変長復号化部で復号された符号より予測差分を求める逆量子化逆周波数変換ステップと、
    　前記予測差分と平滑化後の既復号化領域の和を求め、前記復号化動画像を出力する加算ステップと、
    　前記復号化動画像を参照画像として格納する参照画像格納ステップと、
    　前記格納された参照画像を平滑化する平滑化処理ステップと、
    　前記平滑化された参照画像を参照し、ブロック単位で画面内予測を行い、前記加算部に与える平滑化後の既復号化領域を求める画面内予測ステップと
    　を有したことを特徴とする動画像復号化方法。
PCT/JP2009/005350 2008-11-26 2009-10-14 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法 WO2010061515A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-300571 2008-11-26
JP2008300571A JP2012054618A (ja) 2008-11-26 2008-11-26 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法

Publications (1)

Publication Number Publication Date
WO2010061515A1 true WO2010061515A1 (ja) 2010-06-03

Family

ID=42225407

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/005350 WO2010061515A1 (ja) 2008-11-26 2009-10-14 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法

Country Status (2)

Country Link
JP (1) JP2012054618A (ja)
WO (1) WO2010061515A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012077719A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像復号装置、および画像符号化装置
CN112929705A (zh) * 2021-02-02 2021-06-08 腾讯科技（深圳）有限公司 纹理压缩和解压方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
JPH06113291A (ja) * 1992-09-25 1994-04-22 Olympus Optical Co Ltd 画像符号化及び復号化装置
WO2003047270A1 (en) * 2001-11-30 2003-06-05 Ntt Docomo, Inc. Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, program, and computer-readable recording medium containing the program
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2005512419A (ja) * 2001-11-30 2005-04-28 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 画像ブロックの指向性予測方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
JPH06113291A (ja) * 1992-09-25 1994-04-22 Olympus Optical Co Ltd 画像符号化及び復号化装置
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
WO2003047270A1 (en) * 2001-11-30 2003-06-05 Ntt Docomo, Inc. Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, program, and computer-readable recording medium containing the program
JP2005512419A (ja) * 2001-11-30 2005-04-28 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 画像ブロックの指向性予測方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012077719A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像復号装置、および画像符号化装置
CN112929705A (zh) * 2021-02-02 2021-06-08 腾讯科技（深圳）有限公司 纹理压缩和解压方法、装置、计算机设备和存储介质
CN112929705B (zh) * 2021-02-02 2022-04-22 腾讯科技（深圳）有限公司 纹理压缩和解压方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP2012054618A (ja) 2012-03-15

Similar Documents

Publication Publication Date Title
US11463726B2 (en) Apparatus and method for motion vector refinement for multi-reference prediction
US10051273B2 (en) Video decoder and video decoding method
JP5669278B2 (ja) 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法
KR20200066737A (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CN110786013B (zh) 用于运动向量细化的搜索区域
KR102021257B1 (ko) 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
US20200404326A1 (en) Method and device for intra-prediction
JP2010016454A (ja) 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
US20110243227A1 (en) Moving picture decoding method and device, and moving picture encoding method and device
JP6607040B2 (ja) 動きベクトル探索装置、動きベクトル探索方法、及び動きベクトル探索プログラムを記憶する記録媒体
US11706449B2 (en) Method and device for intra-prediction
KR101838183B1 (ko) 적응적 예측 블록 필터링을 이용한 영상 부호화/복호화 장치 및 방법
JP2006100871A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
WO2010061515A1 (ja) 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP2013098713A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JPWO2009128208A1 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法
JP2011166357A (ja) 画像符号化装置
JP2012124542A (ja) 動画像符号化方法及び動画像復号化方法
KR20130050534A (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09828765

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09828765

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP