WO2010116708A1 - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 Download PDF

Info

Publication number
WO2010116708A1
WO2010116708A1 PCT/JP2010/002479 JP2010002479W WO2010116708A1 WO 2010116708 A1 WO2010116708 A1 WO 2010116708A1 JP 2010002479 W JP2010002479 W JP 2010002479W WO 2010116708 A1 WO2010116708 A1 WO 2010116708A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
prediction
output
pixel
unit
Prior art date
Application number
PCT/JP2010/002479
Other languages
English (en)
French (fr)
Inventor
杉本和夫
関口俊一
山田悦久
出原優一
守屋芳美
山岸秀一
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2011508238A priority Critical patent/JP5000012B2/ja
Publication of WO2010116708A1 publication Critical patent/WO2010116708A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to a moving image encoding apparatus and moving image encoding method for encoding a moving image with high efficiency, a moving image decoding apparatus and a moving image decoding method for decoding a moving image encoded with high efficiency, and It is about.
  • motion compensation prediction interframe coding is used as one of coding modes.
  • a prediction model of motion compensated prediction interframe coding a model is adopted that has the highest prediction efficiency when the brightness does not change in the time direction.
  • the brightness of the image may change from frame to frame.
  • a large amount of code is required to maintain the image quality. There is a problem.
  • At least one prepared in advance when performing motion compensation prediction encoding using a motion vector From among the plurality of combinations of the reference image number and the prediction parameter, one combination is selected for each encoding target block of the input moving image signal, and the prediction image signal is determined according to the reference image number and the prediction parameter of the selected combination. Is generated. Then, a prediction error signal representing an error of the prediction image signal with respect to the input moving image signal is generated, and the prediction error signal, motion vector information, and index information indicating the selected combination are encoded.
  • the conventional moving image encoding apparatus is configured as described above, it is necessary to encode the same number of index information as the number of encoding target blocks, and a large improvement in encoding efficiency cannot be expected. For this reason, when a natural image in which the subject moves at the same time as the brightness of the image is encoded, there is a problem that a large amount of code is required to maintain the image quality.
  • the present invention has been made to solve the above-described problems. Even when a natural image in which a subject moves is encoded at the same time as the brightness of an image changes, it is highly efficient without causing deterioration in image quality. It is an object of the present invention to obtain a moving picture coding apparatus and a moving picture coding method capable of realizing coding. Another object of the present invention is to obtain a moving image decoding apparatus and a moving image decoding method capable of decoding a moving image encoded with high efficiency.
  • the inter-frame prediction unit generates an enlarged reference image in decimal precision units by interpolating the local decoded image output from the local decoded image output unit, and the enlarged reference image
  • the pixel value in the reference block obtained by sub-sampling in integer precision units starting from the position indicated by the motion vector referred to in motion search, for the pixel having a specific phase with respect to the integer component of the motion vector
  • An adaptive prediction image generation unit that adds and subtracts a predetermined offset value set in advance and outputs an image of the reference block as an adaptive prediction image, and an adaptive prediction image and an image output from the adaptive prediction image generation unit Evaluate the error of the macroblock image output from the segmentation means, and output the motion vector when the evaluation is optimal as inter-frame prediction information Together, in which the provided the luminance change motion detecting section for outputting an adaptive prediction image when the evaluation is optimized as a prediction image.
  • the inter-frame prediction unit generates an enlarged reference image in decimal precision units by interpolating the local decoded image output from the local decoded image output unit, and moves with respect to the enlarged reference image.
  • the pixel value in the reference block obtained by subsampling in integer precision units starting from the position pointed to by the motion vector referenced in the search is set in advance for the pixel having a specific phase with respect to the integer component of the motion vector.
  • An adaptive prediction image generation unit that adds and subtracts a predetermined offset value and outputs the image of the reference block as an adaptive prediction image, an adaptive prediction image output from the adaptive prediction image generation unit, and an output from the image dividing unit
  • the error of the measured macroblock image is evaluated, and the motion vector when the evaluation is optimized is output as inter-frame prediction information and Since it is configured to provide a luminance change motion detection unit that outputs an adaptive predicted image when the evaluation is optimized as a predicted image, when encoding a natural image in which the subject moves at the same time the brightness of the image changes.
  • FIG. 1 is a block diagram showing a moving picture coding apparatus according to Embodiment 1 of the present invention.
  • an image dividing unit 1 divides each frame constituting a moving image into macro blocks of a predetermined size, and images of the macro blocks (hereinafter referred to as “macro blocks”). (Referred to as “block image”).
  • the image dividing unit 1 constitutes an image dividing unit.
  • the subtraction unit 2 obtains a difference between the macroblock image output from the image division unit 1 and the prediction image output from the prediction image changeover switch 9 (from the pixel values of the pixels constituting the macroblock image, the pixels constituting the prediction image) The pixel value of the pixel corresponding to the pixel constituting the macroblock image is subtracted to obtain a difference), and a process of outputting a prediction error signal indicating the difference is performed.
  • the quantization conversion unit 3 performs a conversion process and a quantization process on the prediction error signal output from the subtraction unit 2, and performs a process of outputting a quantization conversion coefficient of the prediction error signal.
  • the conversion processing for example, processing such as orthogonal frequency conversion such as DCT or FFT and orthogonal conversion such as wavelet conversion is applicable, and any conversion is possible as long as the energy distribution of the input signal is easily biased. This process is also applicable.
  • the quantization processing any quantization can be applied as long as the quantization can be expressed with a smaller set for a given signal, such as scalar quantization or vector quantization.
  • the subtraction unit 2 and the quantization conversion unit 3 constitute a quantization conversion unit.
  • the inverse quantization transform unit 4 performs a process of inversely quantizing and inverse transforming the quantized transform coefficient output from the quantization transform unit 3 to obtain a decoded prediction error signal and outputting the decoded prediction error signal.
  • the addition unit 5 adds the decoded prediction error signal output from the inverse quantization conversion unit 4 and the prediction image output from the prediction image change-over switch 9 and outputs a local decoded image as a result of the addition. To do. At this time, the clipping process may be performed so that the pixel value of the locally decoded image obtained as a result of the addition falls within a predetermined range.
  • the inverse quantization transform unit 4 and the addition unit 5 constitute a local decoded image output unit.
  • the frame memory 6 is a memory for storing the locally decoded image output from the adding unit 5.
  • the luminance change motion compensation prediction unit 7 reads out the locally decoded image stored in the frame memory 6 as an inter-frame prediction reference image, and uses the inter-frame prediction reference image and the macroblock image output from the image division unit 1, By performing inter-frame prediction, an inter-frame prediction image is generated and output, and a process of outputting inter-frame prediction information for specifying the inter-frame prediction method is performed. That is, the luminance change motion compensation prediction unit 7 uses the inter-frame prediction reference image, and the block division information, the motion vector, and the reference frame number (a plurality of reference images are determined when the evaluation value of the difference from the macro block image is minimized).
  • inter-frame prediction information Information for specifying an image to be referred to in a certain case
  • an image region specified by the inter-frame prediction information is output as an inter-frame prediction image.
  • the luminance change motion compensation prediction unit 7 constitutes an inter-frame prediction unit.
  • the intra prediction unit 8 reads out the locally decoded image stored in the frame memory 6 as an intra-frame prediction reference image, and uses the intra-frame prediction reference image to calculate the difference from the macroblock image output from the image division unit 1.
  • the prediction mode when the evaluation value is minimized is output as intra-frame prediction information, and the process of outputting the prediction image generated by the intra prediction method specified by the intra-frame prediction information is performed as the intra-frame prediction image .
  • Intra prediction includes H.264. Similar to H.264, prediction in pixel units may be used, and any method can be applied to the present invention as long as the prediction is based on the peripheral information of the encoding target block. Further, even a technique for predicting a quantized transform coefficient itself, such as intra prediction in MPEG-4, can be applied to the present invention.
  • the prediction image changeover switch 9 is an inter-frame prediction image output from the luminance change motion compensation prediction unit 7 or an intra-frame prediction output from the intra prediction unit 8 according to the macroblock prediction mode information output from the encoding control unit 10.
  • a process for selecting one of the images and outputting the selected image as a predicted image is performed.
  • the encoding control unit 10 determines the optimum macroblock prediction mode and quantization parameter based on various conditions, and performs a process of outputting the optimum macroblock prediction mode and quantization parameter as macroblock mode information.
  • the entropy encoding unit 11 outputs the quantized transform coefficient output from the quantizing transform unit 3, the interframe prediction information output from the luminance change motion compensation prediction unit 7, and the intraframe prediction information output from the intra prediction unit 8. Then, the macro block mode information output from the encoding control unit 10 is compressed by a predetermined entropy encoding method, thereby executing processing for outputting encoded data.
  • the entropy coding method any coding method can be applied to the present invention as long as it is a lossless coding method such as Huffman coding, adaptive Huffman coding, arithmetic coding, and adaptive arithmetic coding. is there.
  • the entropy encoding unit 11 constitutes an encoding unit.
  • FIG. 2 is a block diagram showing the luminance change motion compensation prediction unit 7 of the moving picture coding apparatus according to Embodiment 1 of the present invention.
  • the adaptive prediction image generation unit 21 reads out a reference image identified by the reference frame number included in the motion search information from among the locally decoded images stored in the frame memory 6 as an inter-frame prediction reference image. By interpolating the inter-frame prediction reference image, an enlarged reference image in decimal precision unit is generated, and a motion vector (vector to be referred to in motion search) included in the motion search information points to the enlarged reference image.
  • a block having a size specified according to block division information (block shape information obtained by further dividing a macroblock) included in the motion search information output from the luminance change motion detector 22 is an integer. It is obtained as a reference block by sub-sampling in units of accuracy, and the motion vector is indicated By adding or subtracting a predetermined offset value that is set in advance for a pixel having a phase from the integer pixel positions location, and carries out a process of outputting the image of the reference block as adaptive prediction image.
  • the luminance change motion detection unit 22 outputs the motion search information to the adaptive prediction image generation unit 21 while appropriately changing the motion search information in the search range, and the motion search information output from the adaptive prediction image generation unit 21.
  • FIG. 3 is a block diagram showing a moving picture decoding apparatus according to Embodiment 1 of the present invention.
  • an entropy decoding unit 31 entropy-decodes the encoded data output from the moving picture encoding apparatus of FIG. 1 to obtain quantization transform coefficients, interframe prediction information, intraframe prediction information, and macroblock mode information. Perform the output process.
  • the entropy decoding unit 31 constitutes a decoding unit.
  • the inverse quantization transform unit 32 performs the same operation as the inverse quantization transform unit 4 in the moving image coding apparatus in FIG. 1, and performs inverse prediction by quantizing the quantized transform coefficient output from the entropy decoding unit 31. A process of outputting an error signal is performed.
  • the adding unit 33 adds the decoded prediction error signal output from the inverse quantization conversion unit 32 and the predicted image output from the predicted image selection switch 37, and performs a process of outputting a decoded image as a result of the addition. .
  • the inverse quantization conversion unit 32 and the addition unit 33 constitute decoded image output means.
  • the frame memory 34 is a memory that stores the decoded image output from the adding unit 33.
  • the luminance change motion compensation unit 35 reads the decoded image stored in the frame memory 34 as an interframe reference image, and performs interframe prediction according to the interframe prediction information. By performing inter-frame prediction using a reference image, a process of generating and outputting an inter-frame prediction image is performed. That is, the luminance change motion compensation unit 35 performs adaptive prediction according to the interframe prediction information, as in the luminance change motion compensation prediction unit 7 of the video decoding device, and is included in the interframe prediction information.
  • an expanded reference image in decimal precision unit is generated, and the expanded reference image is then generated according to the block division information included in the inter-frame prediction information.
  • the pixel value in the reference block obtained by sub-sampling in integer precision units starting from the position indicated by the motion vector included in the inter-frame prediction information, the pixel having a specific phase with respect to the integer component of the motion vector.
  • a predetermined offset value set in advance is added or subtracted, and the image of the reference block is output as an inter-frame prediction image.
  • the luminance change motion compensation unit 35 constitutes a predicted image generation unit.
  • the intra-predicted image generation unit 36 reads out the decoded image stored in the frame memory 34 as an intra-frame reference image, and refers to the intra-frame according to the intra-frame prediction information. By performing intra-frame prediction using an image, a process of generating and outputting an intra-frame prediction image is performed. If the macroblock mode information output from the entropy decoding unit 31 indicates that the optimal macroblock prediction mode is the intraframe prediction mode, the prediction image selection switch 37 outputs from the intra prediction image generation unit 36. If an intra-frame prediction image is selected and the macroblock mode information indicates that the optimal macroblock prediction mode is the interframe prediction mode, the interframe prediction image output from the luminance change motion compensation unit 35 is selected. A process of selecting and outputting the selected image as a predicted image is performed.
  • FIG. 4 is a flowchart showing the processing contents of the moving picture coding apparatus according to the first embodiment of the present invention
  • FIG. 5 is a flowchart showing the processing contents of the moving picture decoding apparatus according to the first embodiment of the present invention.
  • the processing content of the moving picture coding apparatus will be described.
  • the image dividing unit 1 divides each frame constituting the moving image into macro blocks of a predetermined size, and the macro block which is an image of the macro block An image is output (step ST1).
  • the subtracting unit 2 receives the macroblock image from the image dividing unit 1, the subtracting unit 2 obtains a difference between the macroblock image and a predicted image output from the predicted image switching switch 9 described later, and generates a prediction error signal indicating the difference. Output (step ST2).
  • the quantization conversion unit 3 Upon receiving the prediction error signal from the subtraction unit 2, the quantization conversion unit 3 performs conversion processing and quantization processing on the prediction error signal, and outputs a quantization conversion coefficient of the prediction error signal (step ST3).
  • the transformation processing includes, for example, orthogonal frequency transformation such as DCT or FFT, or orthogonal transformation such as wavelet transformation.
  • the quantization process corresponds to a process such as scalar quantization or vector quantization.
  • the inverse quantization transform unit 4 Upon receiving the quantized transform coefficient from the quantized transform unit 3, the inverse quantization transform unit 4 performs inverse quantization and inverse transform on the quantized transform coefficient to obtain a decoded prediction error signal, and outputs the decoded prediction error signal (Step ST4).
  • the luminance change motion compensation prediction unit 7 When the luminance change motion compensation prediction unit 7 receives the macroblock image from the image dividing unit 1, the luminance change motion compensation prediction unit 7 reads out the local decoded image stored in the frame memory 6 as an interframe prediction reference image, and the interframe prediction reference image and the macroblock.
  • An inter-frame prediction image is generated by performing inter-frame prediction using an image.
  • the processing content of the luminance change motion compensation prediction unit 7 will be specifically described.
  • the adaptive prediction image generation unit 21 of the luminance change motion compensation prediction unit 7 frames a reference image specified by the reference frame number included in the motion search information among the locally decoded images stored in the frame memory 6.
  • an inter prediction reference image an image in units of integer pixels
  • interpolating the inter frame prediction reference image for example, interpolation by interpolation
  • FIG. 6 is an explanatory diagram illustrating an example of generation of an enlarged reference image with a quarter-pixel accuracy.
  • the adaptive predicted image generation unit 21 uses the position indicated by the motion vector (vector referred to in the motion search) included in the motion search information as the motion search information output from the luminance change motion detection unit 22.
  • a block having a specified size is obtained as a reference block by performing sub-sampling in units of integer precision in accordance with the block division information contained therein (block shape information obtained by further dividing a macroblock).
  • FIG. 6 shows an example of a reference image enlarged four times in the horizontal and vertical directions.
  • a black circle pixel is a pixel at a position (integer pixel position) indicated by an integer component of a motion vector (vector referred to in motion search) included in the motion search information.
  • a pixel indicated by a vertical striped circle is a pixel having a specific phase (a phase of a quarter pixel in the lower right direction) with respect to a pixel at an integer pixel position, and a predetermined offset value is added thereto.
  • This is a target pixel (hereinafter referred to as “brightness change addition pixel”).
  • the pixels indicated by the horizontal striped circles are pixels having a specific phase (phase of three quarters of pixels in the lower right direction) with respect to the pixels at the integer pixel positions, and a predetermined offset value is subtracted.
  • the target pixel hereinafter referred to as “luminance change subtraction pixel”).
  • the reference block is obtained by sub-sampling pixels in the integer pixel unit with respect to the pixel at the integer pixel position in FIG. 6 with a phase shifted by the phase indicated by the minority component of the motion vector.
  • the minority components are each 0.25, so the pixels indicated by the vertical stripe pattern in FIG. A block is constructed.
  • the adaptive prediction image generation unit 21 calculates the flatness of the reference block. Since the flatness calculation method is a known technique, a description thereof will be omitted.
  • the texture of the image is flat, the luminance value at the neighboring pixel position does not change much in the motion search. Therefore, the choice of the predicted image in the motion search is expanded by adding a luminance change to the pixels of some phases. As a result, it is assumed that the probability that the motion prediction is hit increases and the coding efficiency is improved.
  • the adaptive prediction image generation unit 21 refers to the reference block when the flatness of the reference block is larger than a preset threshold value and the reference block is a pixel obtained by sub-sampling the luminance change addition pixel. A predetermined offset value is added to each pixel value of the block. Further, when the flatness of the reference block is larger than a preset threshold and the reference block is a pixel obtained by subsampling each luminance change subtraction pixel, a predetermined offset from each pixel value of the reference block Subtract the value. Conversely, if the flatness of the block is not greater than a preset threshold value, the offset value is not added to or subtracted from each pixel value of the reference block. When the adaptive prediction image generation unit 21 completes the offset value addition / subtraction processing, the adaptive prediction image generation unit 21 outputs the image of the block to the luminance change motion detection unit 22 as an adaptive prediction image (step ST5).
  • the luminance change motion detection unit 22 outputs the motion search information to the adaptive prediction image generation unit 21 while appropriately changing the motion search information in the search range, and the adaptive prediction image generation unit 21 converts the motion search information into the motion search information.
  • a corresponding adaptive prediction image is received, an error between the adaptive prediction image and the macroblock image output from the image dividing unit 1 is evaluated (step ST6).
  • the luminance change motion detection unit 22 outputs motion search information when the evaluation is optimal in the search range to the entropy encoding unit 11 as inter-frame prediction information and adaptive prediction when the evaluation is optimal.
  • the image is output to the predicted image changeover switch 9 as an inter-frame predicted image (step ST7).
  • the intra prediction unit 8 When receiving the macroblock image from the image dividing unit 1, the intra prediction unit 8 performs intra-frame prediction, which is intra prediction search, in parallel with the process of the luminance change motion compensation prediction unit 7, thereby obtaining an intra-frame prediction image. Generate (step ST8). That is, the intra prediction unit 8 reads a locally decoded image stored in the frame memory 6 as an intra-frame prediction reference image, and uses the intra-frame prediction reference image to output the macroblock image output from the image division unit 1 and The prediction mode when the evaluation value of the difference between the two is minimized is output to the entropy encoding unit 11 as intra-frame prediction information, and a prediction image generated by the intra prediction method specified by the intra-frame prediction information is output within the frame. The predicted image is output to the predicted image switch 9 as a predicted image.
  • the encoding control unit 10 determines an optimal macroblock prediction mode and a quantization parameter based on the prediction results of the luminance change motion compensation prediction unit 7 and the intra prediction unit 8 (step ST9), and selects the selection target.
  • Macroblock prediction mode information indicating an image (an intra-frame prediction image or an inter-frame prediction image) is output to the prediction image switch 9.
  • the encoding control unit 10 outputs an optimal macroblock prediction mode and quantization parameter to the entropy encoding unit 11 as macroblock mode information. Any method may be used for determining the optimum macroblock prediction mode, and it is sufficient to use a known technique. Therefore, detailed description thereof is omitted here.
  • the prediction image changeover switch 9 When the prediction image changeover switch 9 receives the macroblock prediction mode information from the encoding control unit 10, the prediction image changeover switch 9 outputs the interframe prediction image output from the luminance change motion compensation prediction unit 7 or the intra according to the macroblock prediction mode information. One of the intra-frame prediction images output from the prediction unit 8 is selected, and the selected prediction image is output to the subtraction unit 2 and the addition unit 5.
  • the addition unit 5 When the addition unit 5 receives the decoded prediction error signal from the inverse quantization conversion unit 4 and receives the prediction image from the prediction image change-over switch 9, the addition unit 5 adds the decoded prediction error signal and the prediction image, and a local part that is the result of the addition
  • the decoded image is stored in the frame memory 6 (step ST10).
  • the clipping process may be performed so that the pixel value of the locally decoded image obtained as a result of the addition falls within a predetermined range.
  • the entropy encoding unit 11 includes the quantization transform coefficient output from the quantization transform unit 3, the interframe prediction information output from the luminance change motion compensation prediction unit 7, and the intraframe prediction output from the intra prediction unit 8.
  • the encoded data is output by compressing the information and the macroblock mode information output from the encoding control unit 10 using a predetermined entropy encoding method (step ST11). The processes in steps ST1 to ST11 are repeated until all the macroblocks in the frame are performed, and the process for one frame is completed.
  • the entropy decoding unit 31 entropy decodes the encoded data and outputs the quantized transform coefficient to the inverse quantization transform unit 32.
  • the inter-frame prediction information is output to the luminance change motion compensation unit 35
  • the intra-frame prediction information is output to the intra prediction image generation unit 36
  • the macroblock mode information is output to the prediction image selection switch 37 (step ST21).
  • the inverse quantization transform unit 32 performs inverse quantization on the quantized transform coefficient in the same manner as the inverse quantization transform unit 4 in the moving image coding apparatus in FIG.
  • the decoded prediction error signal is output to the adding unit 33 (step ST22).
  • the quantization parameter used as the unit of the inverse quantization at the time of performing an inverse quantization process is contained in the inter-frame prediction information, it is acquired from the inter-frame prediction information.
  • the intra-predicted image generation unit 36 When the intra-prediction information is output from the entropy decoding unit 31, the intra-predicted image generation unit 36 generates an intra-frame prediction image (step ST23). That is, when receiving the intra-frame prediction information from the entropy decoding unit 31, the intra-predicted image generation unit 36 reads the decoded image stored in the frame memory 34 as an intra-frame reference image, and performs intra-frame prediction according to the intra-frame prediction information. By performing intra-frame prediction using the reference image, an intra-frame prediction image is generated and output to the predicted image selection switch 37.
  • the luminance change motion compensation unit 35 When the interframe prediction information is output from the entropy decoding unit 31, the luminance change motion compensation unit 35 reads the decoded image stored in the frame memory 34 as an interframe reference image, and in accordance with the interframe prediction information, An inter-frame prediction image is generated by performing inter-frame prediction using the inter-reference image (step ST24). That is, when the luminance change motion compensation unit 35 receives the inter-frame prediction information from the entropy decoding unit 31, the luminance change motion compensation unit 35 adapts according to the inter-frame prediction information in the same manner as the luminance change motion compensation prediction unit 7 of the moving image encoding device in FIG. Predictive. Hereinafter, the processing content of the luminance change motion compensation unit 35 will be specifically described.
  • the luminance change motion compensation unit 35 includes the reference frame number included in the interframe prediction information among the decoded images stored in the frame memory 34.
  • the reference image specified by is read as an inter-frame reference image (an image in units of integer pixels), and the inter-frame reference image is interpolated (for example, interpolated by interpolation) to generate an enlarged reference image in decimal precision units.
  • the luminance change motion compensation unit 35 calculates the flatness of the reference block. Similar to the adaptive prediction image generation unit 21 of the video decoding device, the luminance change motion compensation unit 35 has a flatness of the block larger than a preset threshold value, and the reference block subtracts the luminance change addition pixel. When the pixel is obtained by sampling, a predetermined offset value is added to each pixel value of the reference block. Further, when the flatness of the reference block is larger than a preset threshold value and the reference block is a pixel obtained by sub-sampling the luminance change subtraction pixel, a predetermined offset value from each pixel value of the reference block Is subtracted.
  • the luminance change motion compensation unit 35 outputs the image of the block to the predicted image selection switch 37 as an inter-frame predicted image.
  • the predicted image selection switch 37 is output from the intra predicted image generation unit 36. If the intra-frame prediction image is selected and the macroblock mode information indicates that the optimum macroblock prediction mode is the interframe prediction mode, the interframe prediction image output from the luminance change motion compensation unit 35 is selected. Is selected, and the selected image is output to the adding unit 33 as a predicted image.
  • the addition unit 33 When the addition unit 33 receives the decoded prediction error signal from the inverse quantization conversion unit 32 and receives the prediction image from the prediction image selection switch 37, the addition unit 33 adds the decoded prediction error signal and the prediction image, and is the result of the addition.
  • the decoded image is output to the outside, and the decoded image is stored in the frame memory 34 (step ST25).
  • the luminance change motion compensation prediction unit 7 interpolates the inter-frame prediction image, which is a locally decoded image stored in the frame memory 6, so that the decimal precision is improved.
  • An adaptive prediction image generation unit 21 that adds / subtracts a predetermined offset value to / from a pixel value of a pixel having a specific phase with respect to an integer component of a motion vector, and outputs an image of the reference block as an adaptive prediction image;
  • An error between the adaptive prediction image output from the generation unit 21 and the macroblock image output from the image division unit 1 is evaluated, and the motion when the evaluation is optimized Since it is configured to provide the luminance change motion detection unit 22 that outputs the adaptive prediction image when the evaluation is optimized as the prediction image while outputting the vector as the interframe prediction information, the brightness of the image changes.
  • the luminance change motion compensation unit 35 generates an enlarged reference image in decimal precision units by interpolating an inter-frame reference image that is a decoded image stored in the frame memory 34.
  • the above reference block obtained by sub-sampling the enlarged reference image in integer precision units starting from the position indicated by the motion vector included in the inter-frame prediction information output from the entropy decoding unit 31 Since a predetermined offset value set in advance for a pixel having a specific phase with respect to the integer component of the motion vector is added to or subtracted from the pixel value, and the image of the reference block is output as a predicted image. There is an effect that a moving image encoded with high efficiency can be decoded.
  • a pixel having a phase of a quarter pixel in the lower right direction with respect to the integer pixel position is set as the luminance change addition pixel, and the lower right direction with respect to the integer pixel position.
  • a pixel having a phase of 3/4 pixels is used as a luminance change subtraction pixel.
  • the pixel does not necessarily have to have this phase, and has a predetermined phase including overlapping with an integer pixel position.
  • the pixel may be a luminance change addition pixel and a luminance change subtraction pixel.
  • one pixel having a predetermined phase is used as a luminance change addition pixel and one other pixel is used as a luminance change subtraction pixel for one integer pixel position. It may be a luminance change addition pixel or a luminance change subtraction pixel.
  • the adaptive prediction image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 have been described as sharing a preset threshold value.
  • the converting apparatus may transmit the threshold value to the video decoding apparatus.
  • the moving image encoding apparatus can be configured to encode and transmit the threshold value by assigning a variable length code such as a fixed length code or a Golomb code in the sequence header (see FIG. 7). reference).
  • a variable length code such as a fixed length code or a Golomb code in the sequence header (see FIG. 7). reference).
  • the threshold value can be acquired by decoding the encoded data of the threshold value included in the header information.
  • the threshold value the flatness of the entire screen is calculated, and when there are many flat parts, the threshold value for the flatness is set low, thereby increasing the probability that the offset value is added or subtracted, thereby increasing the prediction efficiency. Can do.
  • the presence or absence of intra prediction is not directly related to this invention.
  • the adaptive predicted image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 calculate the flatness of the reference block, and the flatness is preset. If it is larger than the threshold value, the offset value is added to or subtracted from the pixel value of the pixel having a specific phase, and if the flatness is not larger than the preset threshold value, the offset value is not added or subtracted. If the adaptive predicted image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 have a specific phase if the size of the block specified by the block division information is larger than a preset threshold value. Add / subtract the offset value to / from the pixel value of the pixel, and if the block size is not larger than the preset threshold value, add / subtract the offset value. May also be not adversely, the same effects as in the first embodiment.
  • the block size to divide the macroblock is the same size as the macroblock, the image is considered to be relatively stable, so the prediction efficiency is improved by adding and subtracting the offset value to expand the options for the predicted image It is thought that it can be made.
  • the block size is small, the motion and texture are complex, and it is considered that the prediction efficiency can be improved by accurately predicting the motion. Therefore, in the second embodiment, when the block size is larger than a preset threshold value for the luminance change addition pixel and the luminance change subtraction pixel, the offset value is added to or subtracted from the pixel value. When the size is not larger than a preset threshold value, control is performed so that the offset value is not added to or subtracted from the pixel value.
  • the adaptive predicted image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 calculate the flatness of the reference block, and the flatness is preset. If it is larger than the threshold value, the offset value is added to or subtracted from the pixel value of the pixel having a specific phase, and if the flatness is not larger than the preset threshold value, the offset value is not added or subtracted.
  • the adaptive prediction image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 perform the quantization parameter (inverse) when the quantization process is performed by the quantization conversion unit 3.
  • the quantization parameter which is a unit of inverse quantization when the inverse quantization process is performed by the quantization conversion unit 32, is larger than a preset threshold value, the pixel having a specific phase If the offset value is added to or subtracted from the prime value and the quantization parameter is not greater than a preset threshold value, the offset value may not be added or subtracted, and the same effect as in the first embodiment is achieved. .
  • the quantization parameter When the quantization parameter is large, the motion cannot be accurately captured, and it is considered that the prediction efficiency can be improved by adding / subtracting the offset value in order to widen the options of the predicted image. On the other hand, when the quantization parameter is small, the motion can be accurately grasped. Therefore, it is considered that the prediction efficiency can be improved by not performing the addition / subtraction of the offset value. Therefore, in the third embodiment, when the quantization parameter is larger than a preset threshold value for the luminance change addition pixel and the luminance change subtraction pixel, addition and subtraction of the offset value with respect to the pixel value is performed. When the quantization parameter is not larger than a preset threshold value, control is performed so that the offset value is not added to or subtracted from the pixel value.
  • Embodiment 4 FIG.
  • the adaptive predicted image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 calculate the flatness of the reference block, and the flatness is preset. If it is larger than the threshold value, the offset value is added to or subtracted from the pixel value of the pixel having a specific phase, and if the flatness is not larger than the preset threshold value, the offset value is not added or subtracted.
  • the adaptive prediction image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 calculate the vector length of the motion vector, and if the vector length is larger than a preset threshold, a specific phase Addition / subtraction of the offset value to / from the pixel value of the pixel having, and if the vector length is not greater than a preset threshold value, the addition / subtraction of the offset value is not performed Unishi at best, the same effects as in the first embodiment.
  • the prediction efficiency is improved by adding and subtracting the offset value to widen the options of the predicted image It is considered possible.
  • the motion vector is small, the motion is small and the target object is clear and it is easy to accurately capture the motion, so that the prediction efficiency can be improved by not adding or subtracting the offset value. it is conceivable that.
  • Embodiment 5 FIG. In the first embodiment, the case where only one threshold value used by the adaptive prediction image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 is set is shown.
  • the threshold is set, the adaptive prediction image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 set different offset values according to the comparison result with the plurality of thresholds. You may make it add and subtract.
  • a plurality of threshold values used by the adaptive prediction image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 are provided, and the flatness (or block size, quantization parameter, vector length of the motion vector) is provided.
  • a plurality of threshold values, and offset values having different sizes may be added or subtracted depending on the comparison result. For example, when the threshold value Th1> Th2 and the flatness P is P> Th1, “2” is added to or subtracted from the luminance change addition pixel and the luminance change subtraction pixel, and when Th1>P> Th2.
  • Embodiment 6 FIG.
  • the first embodiment the case where only one threshold value used by the adaptive prediction image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 is set is shown.
  • the threshold value is set, the adaptive prediction image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 perform specific addition / subtraction of the offset value according to the comparison result with a plurality of threshold values.
  • the number of pixels having a phase may be changed.
  • a plurality of threshold values used by the adaptive prediction image generation unit 21 and the luminance change motion compensation unit 35 of the luminance change motion compensation prediction unit 7 are provided, and the flatness (or block size, quantization parameter, vector length of the motion vector) is provided.
  • a plurality of threshold values, and the number of luminance change addition pixels and luminance change subtraction pixels may be changed according to the comparison result. For example, when the threshold Th1> Th2, when the flatness P is P> Th1, two luminance change addition pixels and two luminance change subtraction pixels are provided, and when Th1>P> Th2, the luminance is obtained. When Th2> P, one change addition pixel and one luminance change subtraction pixel are controlled so as not to add / subtract the offset value.
  • the block size, the quantization parameter, and the vector length of the motion vector are similarly controlled.
  • the moving image encoding device, the moving image decoding device, and the like according to the present invention provide high-efficiency encoding without degrading image quality even when encoding a natural image in which a subject moves at the same time as the brightness of the image changes. Therefore, it is suitable for use in a moving image encoding device that encodes moving images with high efficiency and a moving image decoding device that decodes moving images encoded with high efficiency. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　フレームメモリ６に格納されているフレーム間予測画像を補間することで、小数精度単位の拡大参照画像を生成して、その拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部２１を設ける。

Description

動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
　この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
　例えば、「ＩＴＵ－ＴＨ．２６４・ＩＳＯ／ＩＥＣ＿ＭＰＥＧ－４ＡＶＣ」などの動画像符号化標準方式では、符号化モードの一つとして動き補償予測フレーム間符号化が用いられる。
　動き補償予測フレーム間符号化の予測モデルとしては、明るさが時間方向に変化しない場合に最も予測効率が高くなるようなモデルが採用されている。
　しかし、自然画像においては、フレーム毎に画像の明るさが変化することがあり、特に画像の明るさが変化すると同時に、被写体が動く場合には、画質を維持するために多くの符号量を必要とする問題点がある。
　上記の問題点を解決するために、以下の特許文献１に開示されている動画像符号化装置では、動きベクトルを用いて、動き補償予測符号化を行う際、予め用意されている少なくとも一つ以上の参照画像番号と予測パラメータにおける複数の組み合わせの中から、入力動画像信号の符号化対象ブロック毎に一つの組み合わせを選択し、その選択した組み合わせの参照画像番号と予測パラメータにしたがって予測画像信号を生成する。
　そして、入力動画像信号に対する予測画像信号の誤差を表す予測誤差信号を生成し、その予測誤差信号と、動きベクトルの情報と、その選択した組み合わせを示すインデックス情報とを符号化している。
特開２００４－７３７７号公報（段落番号［００１４］、図１）
　従来の動画像符号化装置は以上のように構成されているので、符号化対象ブロックの数と同数のインデックス情報を符号化しなければならず、大きな符号化効率の向上を期待することができない。このため、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合、画質を維持するには、多くの符号量を必要とする課題があった。
　この発明は上記のような課題を解決するためになされたもので、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合でも、画質の劣化を招くことなく、高効率の符号化を実現することができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
　また、この発明は、高効率で符号化されている動画像を復号することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
　この発明に係る動画像符号化装置は、フレーム間予測手段が、局部復号画像出力手段から出力された局部復号画像を補間することで、小数精度単位の拡大参照画像を生成し、その拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部と、適応的予測画像生成部から出力された適応的予測画像と画像分割手段から出力されたマクロブロック画像の誤差を評価し、その評価が最適になる際の動きベクトルをフレーム間予測情報として出力するとともに、その評価が最適になる際の適応的予測画像を予測画像として出力する輝度変化動き検出部とを設けるようにしたものである。
　この発明によれば、フレーム間予測手段が、局部復号画像出力手段から出力された局部復号画像を補間することで、小数精度単位の拡大参照画像を生成して、その拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部と、適応的予測画像生成部から出力された適応的予測画像と画像分割手段から出力されたマクロブロック画像の誤差を評価し、その評価が最適になる際の動きベクトルをフレーム間予測情報として出力するとともに、その評価が最適になる際の適応的予測画像を予測画像として出力する輝度変化動き検出部とを設けるように構成したので、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合でも、画質の劣化を招くことなく、高効率の符号化を実現することができる効果がある。
この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の輝度変化動き補償予測部７を示す構成図である。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 ４分の１画素精度の拡大参照画像の生成例を示す説明図である。 輝度変化の有無を決定する閾値を送信するためのビットストリームの一例を示す説明図である。
　以下、この発明をより詳細に説明する為に、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
　図１において、画像分割部１は動画像信号をフレーム単位又はフィールド単位に入力すると、動画像を構成する各フレームを所定サイズのマクロブロックに分割して、そのマクロブロックの画像（以下、「マクロブロック画像」と称する）を出力する処理を実施する。なお、画像分割部１は画像分割手段を構成している。
　減算部２は画像分割部１から出力されたマクロブロック画像と予測画像切替スイッチ９から出力された予測画像の差分を求め（マクロブロック画像を構成する画素の画素値から、予測画像を構成する画素（マクロブロック画像を構成する画素に対応する画素）の画素値を減算して差分を求める）、その差分を示す予測誤差信号を出力する処理を実施する。
　量子化変換部３は減算部２から出力された予測誤差信号に対する変換処理及び量子化処理を実施して、その予測誤差信号の量子化変換係数を出力する処理を実施する。
　ここで、変換処理としては、例えば、ＤＣＴやＦＦＴなどの直交周波数変換や、ウェーブレット変換などの直交変換などの処理が該当し、入力信号のエネルギー分布が偏り易い変換であれば、どのような変換の処理も適用可能である。
　また、量子化処理としては、例えば、スカラ量子化やベクトル量子化など、与えられる信号に対して、より少ない集合で表現できる量子化であれば、どのような量子化でも適用可能である。
　なお、減算部２及び量子化変換部３から量子化変換手段が構成されている。
　逆量子化変換部４は量子化変換部３から出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、その復号予測誤差信号を出力する処理を実施する。
　加算部５は逆量子化変換部４から出力された復号予測誤差信号と予測画像切替スイッチ９から出力された予測画像を加算して、その加算の結果である局部復号画像を出力する処理を実施する。この際、加算の結果得られる局部復号画像の画素値が所定の範囲内に収まるようにクリッピング処理を実施するようにしてもよい。
　なお、逆量子化変換部４及び加算部５から局部復号画像出力手段が構成されている。
　フレームメモリ６は加算部５から出力された局部復号画像を格納するメモリである。
　輝度変化動き補償予測部７はフレームメモリ６に格納されている局部復号画像をフレーム間予測参照画像として読み出し、そのフレーム間予測参照画像と画像分割部１から出力されたマクロブロック画像を用いて、フレーム間予測を実施することで、フレーム間予測画像を生成して出力するとともに、そのフレーム間予測の方法を特定するフレーム間予測情報を出力する処理を実施する。
　即ち、輝度変化動き補償予測部７はフレーム間予測参照画像を用いて、マクロブロック画像との差分の評価値が最小となる場合のブロック分割情報、動きベクトル、参照フレーム番号（複数の参照画像がある場合に参照する画像を特定するための情報）などをフレーム間予測情報として出力するとともに、そのフレーム間予測情報によって特定される画像領域をフレーム間予測画像として出力する処理を実施する。
　なお、輝度変化動き補償予測部７はフレーム間予測手段を構成している。
　イントラ予測部８はフレームメモリ６に格納されている局部復号画像をフレーム内予測参照画像として読み出し、そのフレーム内予測参照画像を用いて、画像分割部１から出力されたマクロブロック画像との差分の評価値が最小となる場合の予測モードをフレーム内予測情報として出力するとともに、そのフレーム内予測情報によって特定されるイントラ予測方法によって生成される予測画像をフレーム内予測画像として出力する処理を実施する。
　イントラ予測としては、Ｈ．２６４と同様の画素単位の予測でもよいし、当該符号化対象ブロックの周辺情報から予測する方法であれば、いかなる手法であっても、本発明に適用可能である。また、ＭＰＥＧ－４におけるイントラ予測のように量子化変換係数自体を予測する手法であっても本発明に適用可能である。
　予測画像切替スイッチ９は符号化制御部１０から出力されるマクロブロック予測モード情報にしたがって、輝度変化動き補償予測部７から出力されるフレーム間予測画像又はイントラ予測部８から出力されるフレーム内予測画像のいずれか一方を選択し、その選択した画像を予測画像として出力する処理を実施する。
　符号化制御部１０は種々の条件に基づいて最適なマクロブロック予測モードや量子化パラメータを決定し、最適なマクロブロック予測モードや量子化パラメータをマクロブロックモード情報として出力する処理を実施する。
　エントロピー符号化部１１は量子化変換部３から出力された量子化変換係数と、輝度変化動き補償予測部７から出力されたフレーム間予測情報と、イントラ予測部８から出力されたフレーム内予測情報と、符号化制御部１０から出力されたマクロブロックモード情報を所定のエントロピー符号化方法によって圧縮処理を実施することで、符号化データを出力する処理を実施する。
　ここで、エントロピー符号化方法としては、ハフマン符号化、適応的ハフマン符号化、算術符号化、適応的算術符号化など、可逆符号化方法であれば、いかなる符号化方法でも本発明に適用可能である。
　なお、エントロピー符号化部１１は符号化手段を構成している。
　図２はこの発明の実施の形態１による動画像符号化装置の輝度変化動き補償予測部７を示す構成図である。
　図２において、適応的予測画像生成部２１はフレームメモリ６に格納されている局部復号画像のうち動き探索情報に含まれている参照フレーム番号が特定する参照画像をフレーム間予測参照画像として読み出し、そのフレーム間予測参照画像を補間することで、小数精度単位の拡大参照画像を生成し、その拡大参照画像に対して動き探索情報に含まれている動きベクトル（動き探索で参照するベクトル）が指し示す位置を起点に輝度変化動き検出部２２から出力される動き探索情報に含まれているブロック分割情報（マクロブロックをさらに細かく分割して得られるブロックの形状情報）に従って指定されたサイズのブロックを整数精度単位でサブサンプリングを行うことによって参照ブロックとして得るとともに、動きベクトルの指し示す位置の整数画素位置からの位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する処理を実施する。
　輝度変化動き検出部２２は探索範囲において動き探索情報を適宜変更しながら、その動き探索情報を適応的予測画像生成部２１に出力し、適応的予測画像生成部２１から出力された当該動き探索情報に対応する適応的予測画像と画像分割部１から出力されたマクロブロック画像の誤差を評価し、探索範囲において、その評価が最適になる際の動き探索情報をフレーム間予測情報として出力するとともに、その評価が最適になる際の適応的予測画像をフレーム間予測画像として出力する処理を実施する。
　図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
　図３において、エントロピー復号部３１は図１の動画像符号化装置から出力された符号化データをエントロピー復号して、量子化変換係数、フレーム間予測情報、フレーム内予測情報及びマクロブロックモード情報を出力する処理を実施する。なお、エントロピー復号部３１は復号手段を構成している。
　逆量子化変換部３２は図１の動画像符号化装置における逆量子化変換部４と同じ動作をするものであり、エントロピー復号部３１から出力された量子化変換係数を逆量子化して復号予測誤差信号を出力する処理を実施する。
　加算部３３は逆量子化変換部３２から出力された復号予測誤差信号と予測画像選択スイッチ３７から出力された予測画像を加算して、その加算の結果である復号画像を出力する処理を実施する。
　なお、逆量子化変換部３２及び加算部３３から復号画像出力手段が構成されている。
　フレームメモリ３４は加算部３３から出力された復号画像を格納するメモリである。
　輝度変化動き補償部３５はエントロピー復号部３１からフレーム間予測情報が出力された場合、フレームメモリ３４に格納されている復号画像をフレーム間参照画像として読み出し、そのフレーム間予測情報にしたがって、フレーム間参照画像を用いてフレーム間予測を実施することで、フレーム間予測画像を生成して出力する処理を実施する。
　即ち、輝度変化動き補償部３５は、動画像復号装置の輝度変化動き補償予測部７と同様に、フレーム間予測情報にしたがって適応的予測を行うものであり、フレーム間予測情報に含まれている参照フレーム番号が特定するフレーム間参照画像を補間することで、小数精度単位の拡大参照画像を生成し、そのフレーム間予測情報に含まれているブロック分割情報にしたがって、その拡大参照画像に対してフレーム間予測情報に含まれている動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像をフレーム間予測画像として出力する。
　なお、輝度変化動き補償部３５は予測画像生成手段を構成している。
　イントラ予測画像生成部３６はエントロピー復号部３１からフレーム内予測情報が出力された場合、フレームメモリ３４に格納されている復号画像をフレーム内参照画像として読み出し、そのフレーム内予測情報にしたがってフレーム内参照画像を用いてフレーム内予測を実施することで、フレーム内予測画像を生成して出力する処理を実施する。
　予測画像選択スイッチ３７はエントロピー復号部３１から出力されたマクロブロックモード情報が、最適なマクロブロック予測モードがフレーム内予測モードである旨を示していれば、イントラ予測画像生成部３６から出力されたフレーム内予測画像を選択し、そのマクロブロックモード情報が、最適なマクロブロック予測モードがフレーム間予測モードである旨を示していれば、輝度変化動き補償部３５から出力されたフレーム間予測画像を選択し、その選択した画像を予測画像として出力する処理を実施する。
　次に動作について説明する。
　図４はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートであり、図５はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
　最初に、動画像符号化装置の処理内容を説明する。
　画像分割部１は、動画像の動画像信号をフレーム単位又はフィールド単位に入力すると、その動画像を構成する各フレームを所定サイズのマクロブロックに分割して、そのマクロブロックの画像であるマクロブロック画像を出力する（ステップＳＴ１）。
　減算部２は、画像分割部１からマクロブロック画像を受けると、そのマクロブロック画像と、後述する予測画像切替スイッチ９から出力される予測画像との差分を求め、その差分を示す予測誤差信号を出力する（ステップＳＴ２）。
　量子化変換部３は、減算部２から予測誤差信号を受けると、その予測誤差信号に対する変換処理及び量子化処理を実施して、その予測誤差信号の量子化変換係数を出力する（ステップＳＴ３）。
　なお、変換処理としては、上述したように、例えば、ＤＣＴやＦＦＴなどの直交周波数変換や、ウェーブレット変換などの直交変換などの処理が該当する。
　また、量子化処理としては、上述したように、例えば、スカラ量子化やベクトル量子化などの処理が該当する。
　逆量子化変換部４は、量子化変換部３から量子化変換係数を受けると、その量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、その復号予測誤差信号を出力する（ステップＳＴ４）。
　輝度変化動き補償予測部７は、画像分割部１からマクロブロック画像を受けると、フレームメモリ６に格納されている局部復号画像をフレーム間予測参照画像として読み出し、そのフレーム間予測参照画像とマクロブロック画像を用いて、フレーム間予測を実施することで、フレーム間予測画像を生成する。
　以下、輝度変化動き補償予測部７の処理内容を具体的に説明する。
　まず、輝度変化動き補償予測部７の適応的予測画像生成部２１は、フレームメモリ６に格納されている局部復号画像のうち動き探索情報に含まれている参照フレーム番号が特定する参照画像をフレーム間予測参照画像（整数画素単位の画像）として読み出し、そのフレーム間予測参照画像を補間することで（例えば、内挿によって補間する）、小数精度単位の拡大参照画像を生成する。
　ここで、図６は４分の１画素精度の拡大参照画像の生成例を示す説明図である。
　次に、適応的予測画像生成部２１は、動き探索情報に含まれている動きベクトル（動き探索で参照するベクトル）が指し示す位置を起点に輝度変化動き検出部２２から出力される動き探索情報に含まれているブロック分割情報（マクロブロックをさらに細かく分割して得られるブロックの形状情報）にしたがって、指定されたサイズのブロックを整数精度単位でサブサンプリングを行うことによって参照ブロックとして得る。
　図６では、水平および垂直方向にそれぞれ４倍に拡大した参照画像の例を示している。
　図６において、黒丸の画素は、動き探索情報に含まれている動きベクトル（動き探索で参照するベクトル）の整数成分が指し示す位置（整数画素位置）にある画素である。
　縦縞模様の円形で示す画素は、整数画素位置にある画素に対して、特定の位相（右下方向に４分の１画素の位相）を有する画素であって、所定のオフセット値が加算される対象の画素（以下、「輝度変化加算画素」と称する）である。
　また、横縞模様の円形で示す画素は、整数画素位置にある画素に対して、特定の位相（右下方向に４分の３画素の位相）を有する画素であって、所定のオフセット値が減算される対象の画素（以下、「輝度変化減算画素」と称する）である。
　すなわち、上記参照ブロックは図６における整数画素位置にある画素に対し、動きベクトルの少数成分で示される位相だけずれた画素を整数画素単位にサブサンプリングすることによって得られる。例えば動きベクトルの水平成分が１．２５であり、垂直成分が３．２５である場合、その少数成分はそれぞれ０．２５となるため図６における縦縞模様の円形で示す画素をサブサンプリングして参照ブロックが構成される。
　次に適応的予測画像生成部２１は、その参照ブロックの平坦度を算出する。平坦度の算出方法は公知の技術であるため説明を省略する。
　画像のテクスチャが平坦な場合には、動き探索において、近傍画素位置における輝度値があまり変化しないため、一部の位相の画素に輝度変化を加えることで、動き探索における予測画像の選択肢が広がる。これにより、動き予測が当たる確率が高まり、符号化効率が改善されることが想定される。
　そこで、適応的予測画像生成部２１は、その参照ブロックの平坦度が予め設定されている閾値より大きく、かつ、参照ブロックが輝度変化加算画素をサブサンプリングして得られる画素である場合には参照ブロックの各画素値に所定のオフセット値を加算する。また、参照ブロックの平坦度が予め設定されている閾値より大きく、かつ、参照ブロックが各輝度変化減算画素をサブサンプリングして得られる画素である場合には参照ブロックの各画素値から所定のオフセット値を減算する。
　逆に、そのブロックの平坦度が予め設定されている閾値より大きくなければ、参照ブロックの各画素値に対するオフセット値の加減算は行わない。
　適応的予測画像生成部２１は、オフセット値の加減算処理を完了すると、当該ブロックの画像を適応的予測画像として輝度変化動き検出部２２に出力する（ステップＳＴ５）。
　輝度変化動き検出部２２は、探索範囲において、動き探索情報を適宜変更しながら、その動き探索情報を適応的予測画像生成部２１に出力し、適応的予測画像生成部２１から当該動き探索情報に対応する適応的予測画像を受けると、その適応的予測画像と画像分割部１から出力されたマクロブロック画像の誤差を評価する（ステップＳＴ６）。
　輝度変化動き検出部２２は、探索範囲において、その評価が最適になる際の動き探索情報をフレーム間予測情報としてエントロピー符号化部１１に出力するとともに、その評価が最適になる際の適応的予測画像をフレーム間予測画像として予測画像切替スイッチ９に出力する（ステップＳＴ７）。
　イントラ予測部８は、画像分割部１からマクロブロック画像を受けると、輝度変化動き補償予測部７の処理と並行して、イントラ予測探索であるフレーム内予測を実施して、フレーム内予測画像を生成する（ステップＳＴ８）。
　即ち、イントラ予測部８は、フレームメモリ６に格納されている局部復号画像をフレーム内予測参照画像として読み出し、そのフレーム内予測参照画像を用いて、画像分割部１から出力されたマクロブロック画像との差分の評価値が最小となる場合の予測モードをフレーム内予測情報としてエントロピー符号化部１１に出力するとともに、そのフレーム内予測情報によって特定されるイントラ予測方法によって生成される予測画像をフレーム内予測画像として予測画像切替スイッチ９に出力する。
　符号化制御部１０は、例えば、輝度変化動き補償予測部７及びイントラ予測部８の予測結果などに基づいて、最適なマクロブロック予測モードや量子化パラメータを決定し（ステップＳＴ９）、選択対象の画像（フレーム内予測画像、または、フレーム間予測画像）を示すマクロブロック予測モード情報を予測画像切替スイッチ９に出力する。
　また、符号化制御部１０は、最適なマクロブロック予測モードや量子化パラメータをマクロブロックモード情報としてエントロピー符号化部１１に出力する。
　最適なマクロブロック予測モードの判定方法は、いかなる方法でもよく、公知の技術を使用すれば足りるので、ここでは詳細な説明を省略する。
　予測画像切替スイッチ９は、符号化制御部１０からマクロブロック予測モード情報を受けると、そのマクロブロック予測モード情報にしたがって、輝度変化動き補償予測部７から出力されたフレーム間予測画像、または、イントラ予測部８から出力されたフレーム内予測画像のいずれか一方の画像を選択し、その選択した予測画像を減算部２及び加算部５に出力する。
　加算部５は、逆量子化変換部４から復号予測誤差信号を受け、予測画像切替スイッチ９から予測画像を受けると、その復号予測誤差信号と予測画像を加算し、その加算の結果である局部復号画像をフレームメモリ６に格納する（ステップＳＴ１０）。この際、加算の結果得られる局部復号画像の画素値が所定の範囲内に収まるようにクリッピング処理を実施するようにしてもよい。
　エントロピー符号化部１１は、量子化変換部３から出力された量子化変換係数と、輝度変化動き補償予測部７から出力されたフレーム間予測情報と、イントラ予測部８から出力されたフレーム内予測情報と、符号化制御部１０から出力されたマクロブロックモード情報とを所定のエントロピー符号化方法によって圧縮処理を実施することで、符号化データを出力する（ステップＳＴ１１）。
　以上のステップＳＴ１～ＳＴ１１の処理が、フレーム内の全てのマクロブロックに対して行われるまで繰り返され、１フレーム分の処理が完了する。
　次に、動画像復号装置の処理内容を説明する。
　エントロピー復号部３１は、図１の動画像符号化装置から出力された符号化データを入力すると、その符号化データをエントロピー復号して、量子化変換係数を逆量子化変換部３２に出力し、フレーム間予測情報を輝度変化動き補償部３５に出力し、フレーム内予測情報をイントラ予測画像生成部３６に出力し、マクロブロックモード情報を予測画像選択スイッチ３７に出力する（ステップＳＴ２１）。
　逆量子化変換部３２は、エントロピー復号部３１から量子化変換係数を受けると、図１の動画像符号化装置における逆量子化変換部４と同様に、その量子化変換係数を逆量子化して復号予測誤差信号を加算部３３に出力する（ステップＳＴ２２）。
　なお、逆量子化処理を実施する際の逆量子化の単位となる量子化パラメータは、フレーム間予測情報に含まれているので、そのフレーム間予測情報から取得する。
　イントラ予測画像生成部３６は、エントロピー復号部３１からフレーム内予測情報が出力された場合、フレーム内予測画像を生成する（ステップＳＴ２３）。
　即ち、イントラ予測画像生成部３６は、エントロピー復号部３１からフレーム内予測情報を受けると、フレームメモリ３４に格納されている復号画像をフレーム内参照画像として読み出し、そのフレーム内予測情報にしたがってフレーム内参照画像を用いてフレーム内予測を実施することで、フレーム内予測画像を生成して予測画像選択スイッチ３７に出力する。
　輝度変化動き補償部３５は、エントロピー復号部３１からフレーム間予測情報が出力された場合、フレームメモリ３４に格納されている復号画像をフレーム間参照画像として読み出し、そのフレーム間予測情報にしたがって、フレーム間参照画像を用いてフレーム間予測を実施することで、フレーム間予測画像を生成する（ステップＳＴ２４）。
　即ち、輝度変化動き補償部３５は、エントロピー復号部３１からフレーム間予測情報を受けると、図１の動画像符号化装置の輝度変化動き補償予測部７と同様に、フレーム間予測情報にしたがって適応的予測を行う。
　以下、輝度変化動き補償部３５の処理内容を具体的に説明する。
　まず、輝度変化動き補償部３５は、動画像復号装置の適応的予測画像生成部２１と同様に、フレームメモリ３４に格納されている復号画像のうちフレーム間予測情報に含まれている参照フレーム番号が特定する参照画像をフレーム間参照画像（整数画素単位の画像）として読み出し、そのフレーム間参照画像を補間することで（例えば、内挿によって補間する）、小数精度単位の拡大参照画像を生成する。
　次に、輝度変化動き補償部３５は、エントロピー復号部３１から出力されたフレーム間予測情報（＝動き探索情報）に含まれているブロック分割情報にしたがって、指定されたサイズのブロックを整数精度単位でサブサンプリングを行うことによって参照ブロックとして得る（図６を参照）。
　次に輝度変化動き補償部３５は、その参照ブロックの平坦度を算出する。
　輝度変化動き補償部３５は、動画像復号装置の適応的予測画像生成部２１と同様に、そのブロックの平坦度が予め設定されている閾値より大きく、かつ、参照ブロックが輝度変化加算画素をサブサンプリングして得られる画素である場合には参照ブロックの各画素値に所定のオフセット値を加算する。また、参照ブロックの平坦度が予め設定されている閾値より大きく、かつ、参照ブロックが輝度変化減算画素をサブサンプリングして得られる画素である場合には参照ブロックの各画素値から所定のオフセット値を減算する。
　逆に、そのブロックの平坦度が予め設定されている閾値より大きくなければ、参照ブロックの各画素値に対するオフセット値の加減算は行わない。
　輝度変化動き補償部３５は、オフセット値の加減算処理を完了すると、当該ブロックの画像をフレーム間予測画像として予測画像選択スイッチ３７に出力する。
　予測画像選択スイッチ３７は、エントロピー復号部３１から出力されたマクロブロックモード情報が、最適なマクロブロック予測モードがフレーム内予測モードである旨を示していれば、イントラ予測画像生成部３６から出力されたフレーム内予測画像を選択し、そのマクロブロックモード情報が、最適なマクロブロック予測モードがフレーム間予測モードである旨を示していれば、輝度変化動き補償部３５から出力されたフレーム間予測画像を選択し、その選択した画像を予測画像として加算部３３に出力する。
　加算部３３は、逆量子化変換部３２から復号予測誤差信号を受け、予測画像選択スイッチ３７から予測画像を受けると、その復号予測誤差信号と予測画像を加算して、その加算の結果である復号画像を外部に出力するとともに、その復号画像をフレームメモリ３４に格納する（ステップＳＴ２５）。
　以上で明らかなように、この実施の形態１によれば、輝度変化動き補償予測部７が、フレームメモリ６に格納されている局部復号画像であるフレーム間予測画像を補間することで、小数精度単位の拡大参照画像を生成して、その拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素の画素値に所定のオフセット値を加減算し、その参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部２１と、適応的予測画像生成部２１から出力された適応的予測画像と画像分割部１から出力されたマクロブロック画像の誤差を評価し、その評価が最適になる際の動きベクトルをフレーム間予測情報として出力するとともに、その評価が最適になる際の適応的予測画像を予測画像として出力する輝度変化動き検出部２２とを設けるように構成したので、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合でも、画質の劣化を招くことなく、高効率の符号化を実現することができる効果を奏する。
　また、この実施の形態１によれば、輝度変化動き補償部３５が、フレームメモリ３４に格納されている復号画像であるフレーム間参照画像を補間することで、小数精度単位の拡大参照画像を生成して、その拡大参照画像に対して、エントロピー復号部３１から出力されたフレーム間予測情報に含まれている動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる上記参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、その参照ブロックの画像を予測画像として出力するように構成したので、高効率で符号化されている動画像を復号することができる効果を奏する。
　なお、この実施の形態１では、小数精度画素のうち、整数画素位置に対して右下方向に４分の１画素の位相を有する画素を輝度変化加算画素、整数画素位置に対して右下方向に４分の３画素の位相を有する画素を輝度変化減算画素としている例を示したが、必ずしもこの位相を有する画素である必要はなく、整数画素位置と重なることも含め、所定の位相を有する画素を輝度変化加算画素及び輝度変化減算画素としてもよい。
　また、１つの整数画素位置に対して、所定の位相を有する１つの画素を輝度変化加算画素として、他の１つの画素を輝度変化減算画素としている例を示したが、２つ以上の画素を輝度変化加算画素や輝度変化減算画素としてもよい。
　この実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、予め設定された閾値を共有しているものとして説明したが、動画像符号化装置が当該閾値を動画像復号装置に送信するようにしてもよい。
　この場合、例えば、動画像符号化装置が、シーケンスヘッダにおいて固定長符号あるいはゴロム符号などの可変長符号を割り当てることで、当該閾値を符号化して送信するように構成することができる（図７を参照）。もちろん、ピクチャヘッダ、スライスヘッダ、ユーザデータあるいは補助情報データなどを用いて送信してもよい。
　動画像復号装置では、これらのヘッダ情報に含まれる閾値の符号化データを復号することによって、当該閾値を取得することができる。
　なお、閾値については、画面全体の平坦度を算出し、平坦な部分が多い場合には平坦度に対する閾値を低く設定することによって、オフセット値が加減算される確率を高めて、予測効率を高めることができる。
　この実施の形態１では、イントラ予測も含めて説明したが、イントラ予測の有無は本発明に直接関係しない。
実施の形態２．
　上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、参照ブロックの平坦度を算出して、その平坦度が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、その平坦度が予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないものについて示したが、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、ブロック分割情報によって特定されるブロックのサイズが予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、そのブロックのサイズが予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないようにしてもよく、上記実施の形態１と同様の効果を奏する。
　マクロブロックを分割するブロックサイズがマクロブロックと同じ大きさであれば、比較的画像が安定していると考えられるので、予測画像の選択肢を広めるためにオフセット値を加減算することによって予測効率を向上させることができると考えられる。
　逆に、ブロックサイズが小さい場合には、動きやテクスチャが複雑であり、動きを正確に予測することによって予測効率を向上させることができると考えられる。
　そこで、この実施の形態２では、輝度変化加算画素及び輝度変化減算画素について、予め設定された閾値よりも、ブロックサイズが大きい場合には、画素値に対するオフセット値の加減算を行い、逆に、ブロックサイズが予め設定された閾値より大きくない場合には、画素値に対するオフセット値の加減算を行わないように制御している。
実施の形態３．
　上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、参照ブロックの平坦度を算出して、その平坦度が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、その平坦度が予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないものについて示したが、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、量子化変換部３により量子化処理が実施される際の量子化の単位となる量子化パラメータ（逆量子化変換部３２により逆量子化処理が実施される際の逆量子化の単位となる量子化パラメータ）が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、その量子化パラメータが予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないようにしてもよく、上記実施の形態１と同様の効果を奏する。
　量子化パラメータが大きい場合には、動きを的確に捉えることができないので、予測画像の選択肢を広めるためにオフセット値を加減算することによって予測効率を向上させることができると考えられる。
　逆に、量子化パラメータが小さい場合には、動きを的確に捉えることができるため、オフセット値の加減算を行わないようにすることによって予測効率を向上させることができると考えられる。
　そこで、この実施の形態３では、輝度変化加算画素及び輝度変化減算画素について、予め設定された閾値よりも、量子化パラメータが大きい場合には、画素値に対するオフセット値の加減算を行い、逆に、量子化パラメータが予め設定された閾値より大きくない場合には、画素値に対するオフセット値の加減算を行わないように制御している。
実施の形態４．
　上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、参照ブロックの平坦度を算出して、その平坦度が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、その平坦度が予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないものについて示したが、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、動きベクトルのベクトル長を算出し、そのベクトル長が予め設定されている閾値より大きければ、特定の位相を有する画素の画素値にオフセット値を加減算し、そのベクトル長が予め設定されている閾値より大きくなければ、そのオフセット値の加減算を行わないようにしてもよく、上記実施の形態１と同様の効果を奏する。
　動きベクトルが大きい場合には、素早い動きであり、対象物体がぼけてしまって動きを的確に捉えることができないので、予測画像の選択肢を広めるためにオフセット値を加減算することによって予測効率を向上させることができると考えられる。
　逆に、動きベクトルが小さい場合には、動きが少なく、対象物体がくっきりしていて動きを的確に捉えやすいので、オフセット値の加減算を行わないようにすることによって予測効率を向上させることができると考えられる。
　そこで、この実施の形態４では、輝度変化加算画素及び輝度変化減算画素について、予め設定された閾値よりも、動きベクトルが大きい場合には、画素値に対するオフセット値の加減算を行い、逆に、動きベクトルが大きくない場合には、画素値に対するオフセット値の加減算を行わないように制御している。
実施の形態５．
　上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５により使用される閾値が１つだけ設定されているものについて示したが、複数の閾値が設定されている場合、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、複数の閾値との比較結果に応じて、異なる大きさのオフセット値を加減算するようにしてもよい。
　即ち、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５により使用される閾値を複数設け、平坦度（あるいは、ブロックサイズ、量子化パラメータ、動きベクトルのベクトル長）と複数の閾値を比較し、その比較結果に応じて、異なる大きさのオフセット値を加減算するようにしてもよい。
　例えば、閾値Ｔｈ１＞Ｔｈ２であるとき、平坦度ＰがＰ＞Ｔｈ１である場合には、輝度変化加算画素及び輝度変化減算画素に“２”を加減算し、Ｔｈ１＞Ｐ＞Ｔｈ２である場合には、輝度変化加算画素及び輝度変化減算画素に“１”を加減算し、Ｔｈ２＞Ｐである場合には、オフセット値の加減算を行わないように制御する。ブロックサイズ、量子化パラメータ、動きベクトルのベクトル長についても同様に制御する。
実施の形態６．
　上記実施の形態１では、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５により使用される閾値が１つだけ設定されているものについて示したが、複数の閾値が設定されている場合、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５が、複数の閾値との比較結果に応じて、オフセット値を加減算する特定の位相を有する画素の数を変えるようにしてもよい。
　即ち、輝度変化動き補償予測部７の適応的予測画像生成部２１及び輝度変化動き補償部３５により使用される閾値を複数設け、平坦度（あるいは、ブロックサイズ、量子化パラメータ、動きベクトルのベクトル長）と複数の閾値を比較し、その比較結果に応じて、輝度変化加算画素及び輝度変化減算画素の数を変化させてもよい。
　例えば、閾値Ｔｈ１＞Ｔｈ２であるとき、平坦度ＰがＰ＞Ｔｈ１である場合には、輝度変化加算画素及び輝度変化減算画素をそれぞれ２つずつ、Ｔｈ１＞Ｐ＞Ｔｈ２である場合には、輝度変化加算画素及び輝度変化減算画素をそれぞれ１つずつ、Ｔｈ２＞Ｐである場合には、オフセット値の加減算を行わないように制御する。ブロックサイズ、量子化パラメータ、動きベクトルのベクトル長についても同様に制御する。
　この発明に係る動画像符号化装置、動画像復号装置等は、画像の明るさが変化すると同時に、被写体が動く自然画像を符号化する場合でも、画質の劣化を招くことなく、高効率の符号化及び複合化を実現できるため、動画像を高効率で符号化を行う動画像符号化装置及び高効率で符号化されている動画像を復号する動画像復号装置等に用いるのに適している。

Claims (16)

  1. 　動画像を構成する各フレームを所定サイズのマクロブロックに分割して、上記マクロブロックの画像を出力する画像分割手段と、上記画像分割手段から出力された画像であるマクロブロック画像と予測画像の差分を求め、その差分を示す予測誤差信号に対する変換処理及び量子化処理を実施して、上記予測誤差信号の量子化変換係数を出力する量子化変換手段と、上記量子化変換手段から出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、上記復号予測誤差信号と上記予測画像を加算して、その加算の結果である局部復号画像を出力する局部復号画像出力手段と、上記画像分割手段から出力されたマクロブロック画像と上記局部復号画像出力手段から出力された局部復号画像を用いて、フレーム間予測を実施することで、上記予測画像を生成するとともに、上記フレーム間予測の方法を特定するフレーム間予測情報を出力するフレーム間予測手段と、上記量子化変換手段から出力された量子化変換係数と上記フレーム間予測手段から出力されたフレーム間予測情報をエントロピー符号化し、その符号化の結果である符号化データを出力する符号化手段とを備えた動画像符号化装置において、上記フレーム間予測手段は、上記局部復号画像出力手段から出力された局部復号画像を補間することで、小数精度単位の拡大参照画像を生成し、上記拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、上記参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成部と、上記適応的予測画像生成部から出力された適応的予測画像と上記画像分割手段から出力されたマクロブロック画像の誤差を評価し、上記評価が最適になる際の動きベクトルを上記フレーム間予測情報として出力するとともに、上記評価が最適になる際の適応的予測画像を上記予測画像として出力する輝度変化動き検出部とを設けたことを特徴とする動画像符号化装置。
  2. 　適応的予測画像生成部は、上記参照ブロックの平坦度を算出して、上記平坦度が予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記平坦度が予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項１記載の動画像符号化装置。
  3. 　適応的予測画像生成部は、上記参照ブロックのサイズが予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記ブロックのサイズが予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項１記載の動画像符号化装置。
  4. 　適応的予測画像生成部は、量子化変換手段により量子化処理が実施される際の量子化の単位となる量子化パラメータが予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記量子化パラメータが予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項１記載の動画像符号化装置。
  5. 　適応的予測画像生成部は、動きベクトルのベクトル長を算出し、上記ベクトル長が予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記ベクトル長が予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項１記載の動画像符号化装置。
  6. 　適応的予測画像生成部は、複数の閾値が設定されている場合、複数の閾値との比較結果に応じて、異なる大きさのオフセット値を加減算することを特徴とする請求項２記載の動画像符号化装置。
  7. 　適応的予測画像生成部は、複数の閾値が設定されている場合、複数の閾値との比較結果に応じて、オフセット値を加減算する動きベクトルの整数成分に対する特定の位相を有する画素の数を変えることを特徴とする請求項２記載の動画像符号化装置。
  8. 　符号化データをエントロピー復号して、量子化変換係数とフレーム間予測情報を出力する復号手段と、上記復号手段から出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、上記復号予測誤差信号と予測画像を加算して、その加算の結果である復号画像を出力する復号画像出力手段と、上記復号手段から出力されたフレーム間予測情報にしたがって上記復号画像出力手段から出力された復号画像を用いてフレーム間予測を実施することで、上記予測画像を生成する予測画像生成手段とを備えた動画像復号装置において、上記予測画像生成手段は、上記復号画像出力手段から出力された復号画像を補間することで、小数精度単位の拡大参照画像を生成して、上記拡大参照画像に対して、上記フレーム間予測情報である動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる上記参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に対して予め設定された所定のオフセット値を加減算し、上記参照ブロックの画像を上記予測画像として出力することを特徴とする動画像復号装置。
  9. 　予測画像生成手段は、上記参照ブロックの平坦度を算出して、上記平坦度が予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記平坦度が予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項８記載の動画像復号装置。
  10. 　予測画像生成手段は、上記参照ブロックのサイズが予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記ブロックのサイズが予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項８記載の動画像復号装置。
  11. 　予測画像生成手段は、復号画像出力手段により逆量子化処理が実施される際の逆量子化の単位となる量子化パラメータが予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記量子化パラメータが予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項８記載の動画像復号装置。
  12. 　予測画像生成手段は、動きベクトルのベクトル長を算出し、上記ベクトル長が予め設定されている閾値より大きければ、動きベクトルの整数成分に対する特定の位相を有する画素の画素値にオフセット値を加減算し、上記ベクトル長が予め設定されている閾値より大きくなければ、上記オフセット値の加減算を行わないことを特徴とする請求項８記載の動画像復号装置。
  13. 　予測画像生成手段は、複数の閾値が設定されている場合、複数の閾値との比較結果に応じて、異なる大きさのオフセット値を加減算することを特徴とする請求項９記載の動画像復号装置。
  14. 　予測画像生成手段は、複数の閾値が設定されている場合、複数の閾値との比較結果に応じて、オフセット値を加減算する動きベクトルの整数成分に対する特定の位相を有する画素の数を変えることを特徴とする請求項９記載の動画像復号装置。
  15. 　画像分割手段が動画像を構成する各フレームを所定サイズのマクロブロックに分割して、上記マクロブロックの画像を出力する画像分割ステップと、量子化変換手段が上記画像分割ステップで出力された画像であるマクロブロック画像と予測画像の差分を求め、その差分を示す予測誤差信号に対する変換処理及び量子化処理を実施して、上記予測誤差信号の量子化変換係数を出力する量子化変換ステップと、局部復号画像出力手段が上記量子化変換ステップで出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、上記復号予測誤差信号と上記予測画像を加算して、その加算の結果である局部復号画像を出力する局部復号画像出力ステップと、フレーム間予測手段が上記画像分割ステップで出力されたマクロブロック画像と上記局部復号画像出力ステップで出力された局部復号画像を用いて、フレーム間予測を実施することで、上記予測画像を生成するとともに、上記フレーム間予測の方法を特定するフレーム間予測情報を出力するフレーム間予測ステップと、符号化手段が上記量子化変換ステップで出力された量子化変換係数と上記フレーム間予測ステップで出力されたフレーム間予測情報をエントロピー符号化し、その符号化の結果である符号化データを出力する符号化ステップとを備えた動画像符号化方法において、上記フレーム間予測手段は、上記局部復号画像出力ステップで出力された局部復号画像を補間することで、小数精度単位の拡大参照画像を生成し、上記拡大参照画像に対して動き探索で参照する動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素に予め設定された所定のオフセット値を加減算し、上記参照ブロックの画像を適応的予測画像として出力する適応的予測画像生成ステップと、上記適応的予測画像生成ステップで出力された適応的予測画像と上記画像分割ステップで出力されたマクロブロック画像の誤差を評価し、上記評価が最適になる際の動きベクトルを上記フレーム間予測情報として出力するとともに、上記評価が最適になる際の適応的予測画像を上記予測画像として出力する輝度変化動き検出ステップとを実施することを特徴とする動画像符号化方法。
  16. 　復号手段が符号化データをエントロピー復号して、量子化変換係数とフレーム間予測情報を出力する復号ステップと、復号画像出力手段が上記復号ステップで出力された量子化変換係数を逆量子化及び逆変換して復号予測誤差信号を求め、上記復号予測誤差信号と予測画像を加算して、その加算の結果である復号画像を出力する復号画像出力ステップと、予測画像生成手段が上記復号ステップで出力されたフレーム間予測情報にしたがって上記復号画像出力ステップで出力された復号画像を用いてフレーム間予測を実施することで、上記予測画像を生成する予測画像生成ステップとを備えた動画像復号方法において、上記予測画像生成手段は、上記復号画像出力ステップで出力された復号画像を補間することで、小数精度単位の拡大参照画像を生成して、上記拡大参照画像に対して、上記フレーム間予測情報である動きベクトルが指し示す位置を起点に整数精度単位でサブサンプリングして得られる上記参照ブロック中の画素値に対して、動きベクトルの整数成分に対する特定の位相を有する画素の画素値に対して予め設定された所定のオフセット値を加減算し、上記参照ブロックの画像を上記予測画像として出力することを特徴とする動画像復号方法。
PCT/JP2010/002479 2009-04-06 2010-04-05 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 WO2010116708A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011508238A JP5000012B2 (ja) 2009-04-06 2010-04-05 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009092096 2009-04-06
JP2009-092096 2009-04-06

Publications (1)

Publication Number Publication Date
WO2010116708A1 true WO2010116708A1 (ja) 2010-10-14

Family

ID=42936004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002479 WO2010116708A1 (ja) 2009-04-06 2010-04-05 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Country Status (2)

Country Link
JP (1) JP5000012B2 (ja)
WO (1) WO2010116708A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561268A (zh) * 2010-12-29 2014-02-05 中国移动通信集团公司 视频监控图像编码方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003047270A1 (en) * 2001-11-30 2003-06-05 Ntt Docomo, Inc. Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, program, and computer-readable recording medium containing the program
JP2004007377A (ja) * 2002-04-18 2004-01-08 Toshiba Corp 動画像符号化／復号化方法及び装置
JP2004297566A (ja) * 2003-03-27 2004-10-21 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003047270A1 (en) * 2001-11-30 2003-06-05 Ntt Docomo, Inc. Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, program, and computer-readable recording medium containing the program
JP2004007377A (ja) * 2002-04-18 2004-01-08 Toshiba Corp 動画像符号化／復号化方法及び装置
JP2004297566A (ja) * 2003-03-27 2004-10-21 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561268A (zh) * 2010-12-29 2014-02-05 中国移动通信集团公司 视频监控图像编码方法及装置

Also Published As

Publication number Publication date
JP5000012B2 (ja) 2012-08-15
JPWO2010116708A1 (ja) 2012-10-18

Similar Documents

Publication Publication Date Title
JP6667609B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
JP6312787B2 (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法、動画像符号化データ及び記録媒体
CN108769682B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN107046644B (zh) 运动图像编码装置以及运动图像解码装置
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
JP5711370B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2011061880A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2004048552A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP4793424B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
JP2011166592A (ja) 画像符号化装置及び画像復号装置
WO2011125314A1 (ja) 動画像符号化装置および動画像復号装置
JP5648709B2 (ja) 画像変換装置と方法及びプログラム
JP5000012B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP4697802B2 (ja) 動画像予測符号化方法および装置
JP5533885B2 (ja) 動画像符号化装置および動画像復号装置
KR20120138426A (ko) 교차 삽입법을 이용한 향상된 움직임 백터 예측 방법 및 장치
JP2012080210A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10761412

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2011508238

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10761412

Country of ref document: EP

Kind code of ref document: A1