WO2011039931A1 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Download PDF

Info

Publication number
WO2011039931A1
WO2011039931A1 PCT/JP2010/005149 JP2010005149W WO2011039931A1 WO 2011039931 A1 WO2011039931 A1 WO 2011039931A1 JP 2010005149 W JP2010005149 W JP 2010005149W WO 2011039931 A1 WO2011039931 A1 WO 2011039931A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
filter
prediction
generated
decoded
Prior art date
Application number
PCT/JP2010/005149
Other languages
English (en)
French (fr)
Inventor
彰 峯澤
関口　俊一
杉本　和夫
裕介 伊谷
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2011534040A priority Critical patent/JPWO2011039931A1/ja
Publication of WO2011039931A1 publication Critical patent/WO2011039931A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding device and an image encoding method for compressing and transmitting an image, and an image decoding device and an image decoding method for decoding an image from encoded data generated by the image encoding device. is there.
  • MPEG and ITU-T H.264 In an international standard video coding scheme such as 26x, an input video frame is divided into units of rectangular blocks called macroblocks, motion compensation prediction is performed, and then a prediction error signal is orthogonally transformed and quantized in units of blocks. Therefore, information compression is performed. Furthermore, many international standard video coding schemes perform motion compensation prediction with non-integer pixel precision such as, for example, motion compensation with 1/4 pixel precision in order to increase the precision of motion compensation prediction ( For example, the MPEG-4 AVC / H.264 encoding method (see Non-Patent Document 1) employs motion compensation prediction with 1/4 pixel accuracy). In general, in video coding, a unit of an image to be encoded is defined by a unit called a picture.
  • one frame is one picture (the frame and picture represent the same), but in the video called interlace video in which the odd field and even field are combined into one frame, the odd field and even field are In some cases, each picture is handled as an independent picture (two pictures in one frame), or one odd picture and even field are combined into one picture in one frame.
  • all progressive video one picture per frame
  • all the parts expressed as “frames” are referred to as “pictures”. Just replace it.
  • FIG. 17 is a block diagram showing an image encoding device disclosed in Non-Patent Document 1.
  • the block dividing unit 101 when the block dividing unit 101 inputs an encoding target image signal, the encoding target image signal is divided into macro block units, and the macro block unit image signal is divided into divided image signals to the prediction unit 102. Output.
  • the prediction unit 102 predicts the image signal of each color component in the macroblock within a frame or between frames, and calculates a prediction error signal.
  • a motion vector is searched for in units of a macroblock itself or a subblock obtained by further dividing a macroblock. Then, using the motion vector, a motion compensated prediction image is generated by performing motion compensation prediction on the reference image signal stored in the memory 107, and a prediction signal indicating the motion compensated prediction image and the block dividing unit 101 are generated.
  • the prediction error signal is calculated by obtaining the difference between the divided image signals output from the.
  • the prediction unit 102 outputs the prediction signal generation parameter determined when obtaining the prediction signal to the variable length coding unit 108.
  • the prediction signal generation parameter includes, for example, information such as a prediction mode indicating how to perform prediction within a frame or between frames and a motion vector indicating a motion amount between frames.
  • the compression unit 103 Upon receiving the prediction error signal from the prediction unit 102, the compression unit 103 performs DCT (Discrete Cosine Transform) processing on the prediction error signal to remove signal correlation, and then quantizes the prediction error signal after DCT processing. To obtain compressed data.
  • DCT Discrete Cosine Transform
  • the local decoding unit 104 receives the compressed data from the compression unit 103, the local decoding unit 104 inverse quantizes the compressed data, and performs inverse DCT processing on the compressed data after the inverse quantization, thereby generating a prediction error signal output from the prediction unit 102. A corresponding prediction error signal is calculated.
  • DCT Discrete Cosine Transform
  • the adder 105 When the adder 105 receives the prediction error signal from the local decoding unit 104, the adder 105 adds the prediction error signal and the prediction signal output from the prediction unit 102 to generate a local decoded image.
  • the loop filter 106 removes block distortion superimposed on the locally decoded image signal indicating the locally decoded image generated by the adder 105, and stores the locally decoded image signal after distortion removal in the memory 107 as a reference image signal. .
  • variable length coding unit 108 When the variable length coding unit 108 receives the compressed data from the compression unit 103, the variable length coding unit 108 performs entropy coding on the compressed data and outputs a bit stream that is a result of the coding. Note that the variable length coding unit 108 multiplexes the prediction signal generation parameter output from the prediction unit 102 into the bit stream and outputs the bit stream.
  • Non-Patent Document 1 a motion vector in motion compensation prediction can be searched with 1/4 pixel accuracy.
  • non-integer pixel accuracy such as 1 ⁇ 4 pixel accuracy
  • Non-Patent Document 1 a reference pixel with non-integer pixel accuracy when performing motion compensation prediction is generated using a predetermined fixed non-integer pixel generation filter.
  • a non-integer pixel generation filter is optimally designed for each non-integer pixel position for each frame.
  • a filter called a Wiener filter is used. That is, a filter that minimizes the sum of square errors between the encoding target image signal and the prediction signal is used.
  • FIG. 18 is an explanatory diagram illustrating the principle of the quality improvement of the prediction signal by the Wiener filter in the image encoding device disclosed in Non-Patent Document 2.
  • a signal s is a signal corresponding to an encoding target image signal input to the block division unit 101 in FIG. 17, and a signal s ′ is before the Wiener filter is applied in the prediction unit 102 in FIG. 17. It is a prediction signal.
  • the prediction signal is generated from the reference image signal stored in the memory 107, and the reference image signal is a signal on which encoding distortion is superimposed, the signal s ′ is added to the signal s. On the other hand, it becomes a signal on which various noises e generated by the encoding process and the prediction process are superimposed.
  • a Wiener filter is defined as a filter that is applied to the signal s ′ so as to minimize the noise e with a square error distortion criterion.
  • the filter coefficient w can be obtained from the following equation (1).
  • the sizes of the matrices R s ′s ′ and R ss ′ correspond to the number of filter taps to be obtained.
  • the signal s hat whose quality has been improved by applying the Wiener filter with the filter coefficient w (in the relation to the electronic application, “ ⁇ ” attached to the alphabetical character is expressed as a hat) is finally used as the prediction unit of FIG. It is obtained as a signal corresponding to the prediction signal output from 102.
  • Non-Patent Document 3 instead of performing filter design, a plurality of fixed non-integer pixel generation filters are prepared, and the quality of the predicted image is improved by switching the plurality of filters for each frame or each non-integer pixel position.
  • An improved example is disclosed.
  • MPEG-4 AVC ISO / IEC 14496-10
  • ITU-T H.264 standard Y.Vatis, B.Edler, D.T.Nguyen, J.Ostermann, “Two-dimensional non-separable Adaptive Wiener Interpolation Filter for H.264 / AVC”
  • VCEG-Z17 ITU-T SG16 / Q.6 meeting, April 2005
  • M.Karczewicz Y.Ye, P.Chen, “Switched Interpolation Filter with Offset”
  • VCEG-AI35 ITU-T SG16 / Q.6 meeting, July 2008
  • Non-Patent Documents 2 and 3 have a problem that a large coding delay occurs when motion compensation prediction is performed. That is, in Non-Patent Document 2, when performing motion compensation prediction, first, a motion vector is detected in the entire frame using a predetermined initial filter, and the motion vector is used to detect a non-integer pixel position.
  • the Wiener filter is designed so that the entire frame error between the predicted image signal and the encoding target image signal when the Wiener filter is applied is minimized.
  • Non-Patent Document 3 in order to select one optimum filter from a plurality of fixed non-integer pixel generation filters for each non-integer pixel position in a frame, In order to obtain a combination of non-integer pixel generation filters, iterative optimization processing is required in units of frames, resulting in a large coding delay.
  • Non-Patent Document 3 since a predetermined fixed non-integer pixel generation filter is used instead of a filter according to the characteristics of the encoding target image signal, an appropriate filter may be used depending on the encoding target image. Does not exist in the selection candidates, and the improvement effect of the prediction performance may not be obtained.
  • the present invention has been made to solve the above-described problems, and provides an image encoding device and an image encoding method capable of suppressing encoding delay and improving image quality improvement accuracy. For the purpose. Another object of the present invention is to obtain an image decoding apparatus and an image decoding method that can improve the accuracy of image quality improvement.
  • the prediction processing means generates a reference image from a locally decoded image stored in a memory, using a fixed filter prepared in advance for each local region of the input image.
  • a reference image is generated from the locally decoded image
  • an optimal reference image is selected from the generated multiple reference images
  • an optimal reference image and input are input.
  • a predicted image is generated from a local region of the image.
  • the prediction processing means generates a reference image from a locally decoded image stored in the memory using a fixed filter prepared in advance for each local region of the input image, and generates a filter.
  • a reference image is generated from the local decoded image using the filter generated by the means, an optimal reference image is selected from the generated plurality of reference images, and the optimal reference image and the local region of the input image are selected. Therefore, it is possible to suppress the coding delay and improve the accuracy of improving the image quality.
  • FIG. 6 is an explanatory diagram illustrating an example of a bitstream generated by a variable-length encoding unit 8.
  • FIG. It is explanatory drawing which shows the example of arrangement
  • FIG. 1 is a configuration diagram illustrating an image encoding device disclosed in Non-Patent Document 1.
  • FIG. 1 In the image coding apparatus disclosed in Non-Patent Document 2, it is an explanatory diagram showing the principle of quality improvement of a predicted signal by a Wiener filter.
  • FIG. 1 is a block diagram showing an image coding apparatus according to Embodiment 1 of the present invention.
  • a block dividing unit 1 divides a signal of an encoding target image, which is an input image, into units of macroblocks (local regions of the input image), and outputs image signals in units of macroblocks (hereinafter referred to as “divided image signals”). ) Is output to the prediction unit 2.
  • the prediction unit 2 receives the divided image signal output from the block division unit 1, the prediction unit 2 predicts the divided image signal within a frame or between frames to generate a prediction signal.
  • a first reference image signal is generated from a locally decoded image signal stored in the memory 7 using a fixed filter prepared in advance, and image quality is improved.
  • a second reference image signal is generated from the locally decoded image signal using the filters (the integer pixel Wiener filter and the non-integer pixel Wiener filter) generated by the filter generation unit 6, and the first and second
  • the optimal reference image signal is selected from the reference image signals for each macro block, and a prediction signal indicating the prediction image is generated using the optimal reference image signal, and the difference between the divided image signal and the prediction signal A process of calculating a prediction error signal is performed.
  • the prediction unit 2 when generating the prediction signal, the prediction unit 2 performs a process of generating a prediction signal generation parameter that is information for specifying the prediction process.
  • This prediction signal generation parameter is a prediction mode (intraframe prediction or interframe (motion compensation) prediction) indicating which prediction method is used within a frame or between frames. (Including information such as the division state of the sub-block for switching motion vectors).
  • the prediction mode indicates motion compensation prediction between frames, a motion vector or a reference frame number for each macroblock or subblock indicating the amount of motion between frames (when motion compensation is performed with reference to a plurality of frames)
  • Reference image generation method identification information indicating the selection result of the reference image signal is also included as a prediction signal generation parameter.
  • the block dividing unit 1 and the prediction unit 2 constitute a prediction processing unit.
  • the compression unit 3 performs DCT (discrete cosine transform) processing on the prediction error signal calculated by the prediction unit 2 to calculate a DCT coefficient, quantizes the DCT coefficient, and compresses the compressed DCT coefficient. A process of outputting data to the local decoding unit 4 and the variable length coding unit 8 is performed.
  • the compression unit 3 constitutes a differential image compression unit.
  • the local decoding unit 4 performs inverse quantization on the compressed data output from the compression unit 3 and performs inverse DCT processing on the compressed data after the inverse quantization, so that a prediction corresponding to the prediction error signal output from the prediction unit 2 is performed. A process for calculating an error signal is performed.
  • the adder 5 adds the prediction error signal calculated by the local decoding unit 4 and the prediction signal generated by the prediction unit 2 to generate a local decoded image signal indicating a local decoded image, and the local decoded image signal is A process of outputting to the image quality improvement filter generation unit 6 and the memory 7 is performed.
  • the local decoding unit 4 and the adder 5 constitute local decoding means.
  • the image quality improvement filter generation unit 6 generates an integer pixel Wiener filter that minimizes an error of an integer pixel precision pixel (originally existing pixel) between the local decoded image signal output from the adder 5 and the encoding target image signal. Design and compensate for coding distortion superimposed on the local decoded image signal using the integer pixel Wiener filter, and upsampled code for the locally decoded image signal after coding distortion compensation A process of designing a Wiener filter for generating a non-integer pixel that minimizes an error of the non-integer pixel precision of the image signal to be processed is performed.
  • the image quality improvement filter generator 6 constitutes a filter generator.
  • the memory 7 stores the locally decoded image signal output from the adder 5 in preparation for encoding of the next frame, and also generates the integer pixel Wiener filter and non-integer pixel generated by the image quality improvement filter generation unit 6.
  • This is a recording medium for storing filter information related to the Wiener filter for use.
  • the filter information is stored in the memory 7 in a one-to-one correspondence with the local decoded image signals of a plurality of frames stored in the memory 7 for each frame.
  • the storage method of data in the memory 7 is not limited as long as it is clear which filter information corresponds to which local decoded image signal of which frame.
  • the prediction unit 2 stores the locally decoded image signal and the filter information in the memory 7 in order to generate the first reference image signal and the second reference image signal.
  • the first reference image signal and the second reference image signal may be generated first, and the image encoding device may be configured to directly store these reference images in the memory 7. Good.
  • the variable length encoding unit 8 entropy-encodes the compressed data output from the compression unit 3, the filter information output from the image quality improvement filter generation unit 6, and the prediction signal generation parameter output from the prediction unit 2. A process of generating a bit stream indicating the encoding result of is performed.
  • the variable length coding unit 8 constitutes variable length coding means.
  • FIG. 1 shows an example in which the locally decoded image signal output from the adder 5 is given to the image quality improvement filter generation unit 6 and the memory 7. However, as shown in FIG. A deblocking filter 9, which is a loop filter for removing block distortion superimposed on the decoded image signal, is provided after the adder 5, and the local decoded image signal from which block distortion has been removed by the deblocking filter 9 is an image quality improvement filter. You may make it give to the production
  • a block division unit 1 a prediction unit 2, a compression unit 3, a local decoding unit 4, an adder 5, an image quality improvement filter generation unit 6, and a variable length coding unit 8 that are components of the image coding apparatus. It is assumed that each is configured with dedicated hardware (for example, a semiconductor integrated circuit or a one-chip microcomputer on which a CPU is mounted). However, when the image encoding device is configured with a computer, block division is performed. A program in which the processing contents of the unit 1, the prediction unit 2, the compression unit 3, the local decoding unit 4, the adder 5, the image quality improvement filter generation unit 6 and the variable length coding unit 8 are described is stored in a computer memory. The CPU of the computer may execute a program stored in the memory.
  • FIG. 3 is a block diagram showing the image quality improvement filter generation unit 6 of the image coding apparatus according to Embodiment 1 of the present invention.
  • the frame memory 11 stores a locally decoded image signal generated by the adder 5 (or a locally decoded image signal from which block distortion has been removed by the deblocking filter 9 of FIG. 2) for one frame. It is.
  • the integer pixel filter design unit 12 is an integer pixel Wiener filter that minimizes the square error sum of pixels of integer pixel accuracy between the local decoded image signal for one frame stored in the frame memory 11 and the encoding target image signal. The process to generate is performed.
  • the filter processing unit 13 uses the integer pixel Wiener filter designed by the integer pixel filter design unit 12 to reduce the coding distortion superimposed on the local decoded image signal for one frame stored in the frame memory 11.
  • the designed integer pixel Wiener filter is a filter that minimizes the total distortion (sum of squared errors) in the region to be filtered, so when viewed for each local region such as a macroblock, the image is processed by filtering. Since it is considered that there is a region where quality is not improved, the filter processing unit 13 may switch whether or not to perform filter processing for compensating for coding distortion for each local region. The switching information at this time may be output to the variable length coding unit 8 as filter information together with information about the designed Wiener filter. By switching whether or not to perform the filtering process for each local area in this way, it is possible to filter only the local area where the image quality is improved, and it is possible to realize a higher quality distortion compensation process. .
  • the up-sampling unit 14 up-samples the encoding target image signal to a predetermined non-integer pixel accuracy (for example, 1/4 pixel accuracy) using a fixed non-integer pixel generation filter prepared in advance.
  • the non-integer pixel generation filter design unit 15 determines the non-integer pixel precision pixels of the encoding target image signal up-sampled by the up-sampling unit 14 for the local decoded image signal after the encoding distortion compensation by the filter processing unit 13. A process for designing a Wiener filter for generating non-integer pixels that minimizes the error is performed.
  • the filter information multiplexing unit 16 includes filter information (filter coefficient, number of filter taps (number of reference pixels), etc.) related to the integer pixel Wiener filter designed by the integer pixel filter design unit 12 and a non-integer pixel generation filter design unit 15.
  • the filter information on the non-integer pixel generation Wiener filter generated by the above is multiplexed and output to the variable length encoding unit 8.
  • FIG. 4 is a block diagram showing a motion compensation prediction unit in the prediction unit 2 of the image coding apparatus according to Embodiment 1 of the present invention.
  • the reference image generation unit 21 generates a first reference image signal from the locally decoded image signal stored in the memory 7 using a fixed filter prepared in advance for each macroblock, Using a filter related to filter information stored in the memory 7 (an integer pixel Wiener filter and a non-integer pixel generation Wiener filter generated by the image quality improvement filter generation unit 6), a second is obtained from the locally decoded image signal.
  • a filter related to filter information stored in the memory 7 an integer pixel Wiener filter and a non-integer pixel generation Wiener filter generated by the image quality improvement filter generation unit 6
  • the reference image generation unit 21 when the motion compensation unit 23 performs the motion compensated prediction with 1 ⁇ 4 pixel accuracy, the reference image generation unit 21 generates at least one fixed reference when the first reference image signal is generated.
  • the locally decoded image signal is expanded to 1/4 pixel accuracy using the non-integer pixel generation filter.
  • the second reference image signal when the second reference image signal is generated, the local decoded image signal is generated using the integer pixel Wiener filter and at least one non-integer pixel generation Wiener filter generated by the image quality improvement filter generation unit 6. Is expanded to 1/4 pixel accuracy.
  • Examples of the fixed non-integer pixel generation filter include a 6-tap 1/2 pixel generation filter and a 2-tap 1/4 pixel generation filter described in Non-Patent Document 1.
  • an example is shown in which an integer pixel Wiener filter and at least one non-integer pixel generation Wiener filter are used when generating the second reference image signal.
  • a Wiener filter is used for the generation filter, and a fixed filter is used for a part of the filters, such as a fixed 1/4 pixel generation filter, as in the first reference image signal, for generation of 1/4 pixels. You may make it use.
  • the image encoding device and an image to be described later are used. It may be determined in advance when configuring the decoding device, or may be encoded as header information in units of frames or in units of slices composed of a plurality of macroblocks for each pixel accuracy. .
  • the changeover switch 22 is a switch that is switched under the instruction of the motion compensation unit 23, and applies the first reference image signal and the second reference image signal generated by the reference image generation unit 21 to the motion compensation unit 23 in order. Perform the process.
  • the motion compensation unit 23 performs motion in units of macroblocks or subblocks obtained by further subdividing macroblocks from the first reference image signal generated by the reference image generation unit 21 and the divided image signal output from the block division unit 1.
  • a vector is detected, a prediction signal and a prediction signal generation parameter are generated from the motion vector and the first reference image signal, and a cost C1 for generating the prediction signal and the like is calculated.
  • a motion vector is detected in units of macroblocks or subblocks obtained by further dividing a macroblock from the second reference image signal generated by the reference image generation unit 21 and the divided image signal output from the block division unit 1.
  • a prediction signal and a prediction signal generation parameter are generated from the motion vector and the second reference image signal, and a process of calculating the cost C2 for generating the prediction signal and the like is performed.
  • the motion compensation unit 23 compares the cost C1 and the cost C2 for each local region such as a macroblock, and if the cost C1 is smaller than the cost C2, selects the first reference image signal as the optimum reference image signal.
  • the prediction signal generated from the first reference image signal and the prediction signal generation parameter are output. If the cost C1 is equal to or higher than the cost C2, the second reference image signal is selected as the optimum reference image signal, The process which outputs the prediction signal produced
  • Examples of the costs C1 and C2 include only the square error sum D (or absolute value error sum D ′) between the predicted image signal and the divided image signal in the local region, or D (D ′). And a value (D + ⁇ R (D ′ + ⁇ R), ⁇ is a constant) that takes into account the code amount R generated when the prediction signal generation parameter is encoded.
  • the subtracter 24 performs a process of calculating a prediction error signal that is a difference between the divided image signal output from the block dividing unit 1 and the prediction signal output from the motion compensation unit 23.
  • FIG. 5 is a flowchart showing the processing contents (image coding method) of the image coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 6 is a flowchart showing the motion compensation prediction process in the prediction unit 2 of the image coding apparatus according to Embodiment 1 of the present invention.
  • the block dividing unit 1 divides the encoding target image signal into units of macroblocks, and outputs a divided image signal that is an image signal in units of macroblocks to the prediction unit 2 (FIG. 5). Step ST1).
  • the prediction unit 2 When the prediction unit 2 receives the divided image signal from the block division unit 1, the specific processing content will be described later, but is stored in the memory 7 using a fixed filter prepared in advance for each macroblock.
  • a first reference image signal is generated from the local decoded image signal (step ST2) and a filter related to filter information stored in the memory 7 (an integer pixel Wiener filter generated by the image quality improvement filter generation unit 6) And a non-integer pixel generation Wiener filter), a second reference image signal is generated from the locally decoded image signal (step ST3).
  • the prediction unit 2 selects an optimal reference image signal from the first reference image signal and the second reference image signal (step ST4).
  • a prediction signal indicating a prediction image is generated using the optimal reference image signal (step ST5).
  • the prediction unit 2 also performs intra-frame prediction, and the most suitable one of the inter-frame prediction and the intra-frame prediction is adopted as the final predicted image.
  • the operation related to intra-frame prediction is omitted.
  • the prediction unit 2 When the prediction unit 2 generates the prediction signal, the prediction unit 2 outputs the prediction signal to the adder 5 and calculates a prediction error signal that is a difference between the prediction signal and the divided image signal output from the block division unit 1.
  • the prediction error signal is output to the compression unit 3 (step ST6).
  • the prediction unit 2 generates a prediction signal by performing a motion compensation prediction process between frames, but information specifying the motion compensation prediction process (for example, what kind of prediction is performed between frames (motion Prediction mode indicating information such as the division state of sub-blocks for switching vectors), motion vector for each macroblock or sub-block indicating the amount of motion between frames, reference frame number (when motion compensation is performed with reference to a plurality of frames) And the like, and a reference signal generation parameter including reference image generation method identification information indicating the selection result of the reference image signal is generated.
  • motion Prediction mode indicating information such as the division state of sub-blocks for switching vectors
  • motion vector for each macroblock or sub-block indicating the amount of motion between frames
  • reference frame number when motion compensation is performed with reference to a plurality of frames
  • the compression unit 3 When receiving the prediction error signal from the prediction unit 2, the compression unit 3 performs DCT (discrete cosine transform) processing on the prediction error signal to calculate a DCT coefficient, and quantizes the DCT coefficient (step ST7). .
  • the compression unit 3 outputs compressed data that is a DCT coefficient after quantization to the local decoding unit 4 and the variable length coding unit 8.
  • the local decoding unit 4 When the local decoding unit 4 receives the compressed data from the compression unit 3, the local decoding unit 4 inversely quantizes the compressed data, and performs the inverse DCT process on the compressed data after the inverse quantization, whereby the prediction error output from the prediction unit 2 A prediction error signal corresponding to the signal is calculated (step ST8).
  • the adder 5 adds the prediction error signal and the prediction signal generated by the prediction unit 2 to generate a local decoded image signal indicating the local decoded image,
  • the local decoded image signal is output to the image quality improvement filter generation unit 6, and the local decoded image signal is stored in the memory 7 (step ST9).
  • the image quality improvement filter generation unit 6 When the adder 5 generates a local decoded image signal, the image quality improvement filter generation unit 6 superimposes the local decoded image signal. At least one filter that compensates for the coding distortion is designed, and filter information related to the filter is output to the variable length coding unit 8 and the filter information is stored in the memory 7 (step ST10).
  • variable length encoding unit 8 entropy-encodes the compressed data output from the compression unit 3, the filter information output from the image quality improvement filter generation unit 6, and the prediction signal generation parameter output from the prediction unit 2, A bit stream indicating the encoding result is generated, and the bit stream is transmitted to the image decoding apparatus in FIG. 10 (step ST11).
  • the variable length coding unit 8 also performs entropy coding on the prediction signal generation parameter, but the prediction signal generation parameter is not entropy encoded but is multiplexed and transmitted in the generated bitstream. It may be.
  • FIG. 7 is an explanatory diagram showing an example of a bitstream generated by the variable length encoding unit 8.
  • a slice is a unit obtained by bundling a plurality of macroblocks, and a picture (frame) is composed of at least one slice.
  • filter information (filter information relating to the integer pixel Wiener filter and the non-integer pixel generation Wiener filter generated by the image quality improvement filter generation unit 6) is encoded in units of slices. Filter information is stored in the slice header.
  • the prediction signal generation parameter generated by the prediction unit 2 is encoded in units of macroblocks, and the encoded prediction signal generation parameter is stored in the macroblock header.
  • the filter design processing in the image quality improvement filter generation unit 6 may be performed in units of slices instead of in units of frames.
  • the filter design process in the image quality improvement filter generation unit 6 is performed in units of slices, the code amount required for the filter information is increased as compared with the case where the design process is performed in units of frames. The quality of the signal and the reference image signal can be improved.
  • the integer pixel filter design unit 12 of the image quality improvement filter generation unit 6 acquires a local decoded image signal for one frame stored in the frame memory 11, and the local decoded image signal and the encoding target image signal are obtained.
  • An integer pixel Wiener filter that minimizes the sum of square errors of pixels with integer pixel accuracy between them (originally existing pixels) is generated.
  • FIG. 8 is an explanatory diagram showing an example of arrangement of filter coefficients in the integer pixel Wiener filter.
  • the filter coefficient (a 0 , a 1 ,..., A N ⁇ 1 ) of the reference pixels of the surrounding N pixels including the filter application pixel position and the offset coefficient a N are configured.
  • the pixel value s hat (x 0 ) after filtering at this time can be expressed by the following equation (2).
  • the weight applied to the reference pixel x l (0 ⁇ l ⁇ N ⁇ 1) is the filter coefficient a l . . N is an arbitrary number of reference pixels.
  • N may be given as a fixed value in advance, or may be a variable value as determined by some predetermined means.
  • the shape of the reference pixel arrangement may be an arrangement prepared in advance as in the case of the number of reference pixels, or the shape may be variable according to a predetermined rule.
  • the filter application target image signal is a locally decoded image signal output from the adder 5 (or the deblocking filter 9), and the integer pixel Wiener filter is designed based on the above-described equation (1). Thus, it is possible to minimize the square error sum of the pixels with integer pixel accuracy between the encoding target image signal and the locally decoded image signal.
  • the filter processing unit 13 uses the integer pixel Wiener filter to generate a local decoded image signal for one frame stored in the frame memory 11.
  • a filter process for compensating the superimposed coding distortion is performed, and the locally decoded image signal after the coding distortion compensation is output to the non-integer pixel generation filter design unit 15.
  • the upsampling unit 14 upsamples the encoding target image signal to 1/4 pixel accuracy using a fixed filter prepared in advance.
  • the fixed filter include a 1 ⁇ 2 pixel generation filter and a 1 ⁇ 4 pixel generation filter described in Non-Patent Document 1.
  • the non-integer pixel generation filter design unit 15 performs an error between the non-integer pixel of the encoding target image signal up-sampled by the up-sampling unit 14 with respect to the locally decoded image signal after the encoding distortion compensation by the filter processing unit 13.
  • a 1 ⁇ 2 pixel generation Wiener filter and a 1 ⁇ 4 pixel generation Wiener filter are respectively designed as non-integer pixel generation Wiener filters will be described.
  • FIG. 9 is an explanatory diagram showing an example of arrangement of filter coefficients in the 1 ⁇ 2 pixel generation Wiener filter.
  • the filter coefficient (b 0 , b 1 ,..., B N′ ⁇ 1 ) of the reference pixels of N ′ pixels around the non-integer pixel generation position y 0 and the offset coefficient b N ′ are included.
  • all the reference pixels are integer pixels.
  • the pixel value s hat (y 0 ) at the 1/2 pixel position (non-integer pixel generation position y 0 ) at this time can be expressed by the following equation (3).
  • N ′ is an arbitrary number of reference pixels.
  • N ′ may be given as a fixed value in advance, or may be a variable value as determined by some predetermined means.
  • the shape of the reference pixel arrangement may be an arrangement prepared in advance as in the case of the number of reference pixels, or the shape may be variable according to a predetermined rule. Then, a 1 ⁇ 2 pixel generation Wiener filter that generates a 1 ⁇ 2 pixel that minimizes an error from the 1 ⁇ 2 pixel of the encoding target image signal is generated based on Expression (1) under the reference pixel. . Further, the Wiener filter for generating half pixels at the non-integer pixel generation positions y 1 and y 2 is also generated by the same method as that at the non-integer pixel generation position y 0 .
  • the 1 / P pixel is generated so that the square error sum between the 1/4 pixel generated by the Wiener filter and the 1/4 pixel of the encoding target image signal is minimized. It is generated by the same method as the method for generating the 2-pixel generation Wiener filter.
  • the integer pixel Wiener filter, the 1/2 pixel Wiener filter, and the 1/4 pixel Wiener filter are designed, but only the integer pixel Wiener filter and the 1/2 pixel Wiener filter are used. It may be designed so that the 1 ⁇ 4 pixel Wiener filter is not designed. Since the Wiener filter designed by the image quality improvement filter generation unit 6 is a filter used when the reference image generation unit 21 of the prediction unit 2 generates the second reference image signal, the pixel accuracy that does not generate the Wiener filter These pixels are generated using a fixed filter prepared in advance. By not generating the Wiener filter in this way, the image quality improvement effect by the filter processing may be reduced, but the code amount required for the filter can be reduced.
  • the second reference image signal generation filter selection information may be determined in advance for each pixel accuracy as frame unit or slice unit header information composed of a plurality of macroblocks. You may make it encode.
  • the generation method of the second reference image signal can be switched, so that the code amount required for the filter and the reference image signal generated by the reference image generation unit 21 of the prediction unit 2 It is possible to adaptively control the quality of the image.
  • the reference image generation unit 21 of the prediction unit 2 generates a first reference image signal from the locally decoded image signal stored in the memory 7 using a fixed filter prepared in advance for each macroblock ( Step ST21 in FIG. 6). Further, the reference image generation unit 21 generates a Wiener filter designed with an already encoded frame for each macroblock, that is, an integer pixel Wiener filter and non-integer pixel generation generated by the image quality improvement filter generation unit 6. A second reference image signal is generated from the locally decoded image signal stored in the memory 7 by using the Wiener filter (step ST22).
  • the motion compensation unit 23 controls the changeover switch 22 to sequentially acquire the first reference image signal and the second reference image signal generated by the reference image generation unit 21.
  • the motion compensation unit 23 calculates a macroblock unit or a macro from the first reference image signal and the divided image signal output from the block division unit 1.
  • a motion vector is detected in units of sub-blocks obtained by further finely dividing the block, and a prediction signal and a prediction signal generation parameter are generated from the motion vector and the first reference image signal (step ST23).
  • the motion compensation unit 23 acquires the second reference image signal generated by the reference image generation unit 21, the motion compensation unit 23 generates a macroblock unit from the second reference image signal and the divided image signal output from the block division unit 1.
  • a motion vector is detected in units of sub-blocks obtained by further finely dividing the macroblock, and a prediction signal and a prediction signal generation parameter are generated from the motion vector and the second reference image signal (step ST24).
  • the motion compensation unit 23 calculates a cost C1 for generating a prediction signal and a prediction signal generation parameter from the first reference image signal (step ST25).
  • the cost C1 is calculated from the following equation (4).
  • C1 D1 + ⁇ ⁇ R1 (4)
  • D1 is the sum of square errors between the encoding target image signal and the first reference image signal in the macroblock
  • ⁇ is a constant
  • R1 is a code amount generated when encoding the prediction signal generation parameter.
  • the cost C1 is calculated by the equation (4), but this is only an example, and for example, only the square error sum D1 may be used as the cost C1.
  • the square error sum D1 other evaluation values such as the sum of absolute values of errors may be used.
  • the motion compensation unit 23 calculates a cost C2 for generating a prediction signal and a prediction signal generation parameter from the second reference image signal (step ST26).
  • the cost C2 is calculated from the following equation (5).
  • C2 D2 + ⁇ ⁇ R2 (5)
  • D2 is the sum of square errors between the encoding target image signal and the second reference image signal in the macroblock
  • ⁇ is a constant
  • R2 is the amount of code generated when encoding the prediction signal generation parameter. .
  • the motion compensation unit 23 After calculating the cost C1 and the cost C2, the motion compensation unit 23 compares the cost C1 and the cost C2 (step ST27). If the cost C1 is smaller than the cost C2, the motion compensation unit 23 selects the first reference image signal as the optimum reference image signal, and outputs the prediction signal generated from the first reference image signal and the prediction signal generation parameter. (Step ST28). On the other hand, if the cost C1 is equal to or higher than the cost C2, the second reference image signal is selected as the optimum reference image signal, and the prediction signal generated from the second reference image signal and the prediction signal generation parameter are output (step) ST29).
  • the motion compensation unit 23 When the first reference image signal is selected as the optimal reference image signal, the motion compensation unit 23 generates a reference image generation method of “0” indicating that the optimal reference image signal is the first reference image signal.
  • the identification information is included in the prediction signal generation parameter and output to the variable length coding unit 8.
  • “1” reference image generation method identification information indicating that the optimum reference image signal is the second reference image signal is generated as a prediction signal. And output to the variable length encoding unit 8.
  • the subtractor 24 Upon receiving the prediction signal from the motion compensation unit 23, the subtractor 24 calculates a prediction error signal that is a difference between the prediction signal and the divided image signal output from the block dividing unit 1, and the prediction error signal is compressed by the compression unit 3. (Step ST30).
  • the prediction unit 2 performs the motion compensation prediction process from step ST21 to ST29 in units of macroblocks, but for example, a unit of blocks for switching motion vectors or a unit of slices composed of a plurality of macroblocks.
  • the processing from step ST21 to ST29 may be performed in units of other local regions that are not in units of macroblocks, such as performing motion compensation prediction processing.
  • the reference image switching unit becomes smaller as the processing unit becomes smaller, the quality of the predicted image is improved, but the reference image generation method identification information for identifying the optimum reference image signal increases.
  • the unit of motion compensation prediction processing is equal to or less than a macroblock, independent encoding is possible for each macroblock (repetitive processing across macroblocks such as a frame unit is unnecessary). Compared to, encoding delay can be greatly suppressed.
  • the prediction unit 2 uses a fixed filter prepared in advance for each macroblock from the locally decoded image signal stored in the memory 7. Using the integer pixel Wiener filter and non-integer pixel generation Wiener filter generated by the image quality improvement filter generation unit 6 to generate the first reference image signal, the second reference image is generated from the locally decoded image signal. Since the signal is generated, the optimum reference image signal is selected from the first and second reference image signals, and the prediction signal is generated from the reference image signal, the coding delay is suppressed. As a result, an encoding process capable of improving the quality of a predicted image by motion compensation prediction is realized, and as a result, the improvement accuracy of the image quality can be improved. That.
  • FIG. 10 is a block diagram showing an image decoding apparatus according to Embodiment 2 of the present invention.
  • the variable length decoding unit 31 receives the bit stream transmitted from the image encoding device of FIG. 1, the variable length decoding unit 31 performs variable length decoding on the compressed data, the filter information, and the prediction signal generation parameter from the bit stream, A process of outputting the compressed data to the prediction error decoding unit 33 is performed.
  • the filter information is stored in the memory 35, and the process of outputting the prediction signal generation parameter to the prediction unit 32 is performed.
  • the variable length decoding unit 31 constitutes a variable length decoding unit.
  • the prediction unit 32 When the prediction mode included in the prediction signal generation parameter variable-length decoded by the variable-length decoding unit 31 indicates that intra-frame prediction is to be performed, the prediction unit 32 performs intra-frame prediction and indicates a predicted image. A process for generating a prediction signal is performed. On the other hand, when the prediction mode indicates that inter-frame prediction is performed, the prediction unit 32 performs motion compensation prediction. First, reference image generation method identification information (optimum reference image signal selection result by the motion compensation unit 23 in FIG. 4) included in the prediction signal generation parameter is prepared in advance by the reference image generation unit 21 in FIG. If the first reference image signal generated using the fixed filter is selected, the reference image signal is referenced from the decoded image signal stored in the memory 35 using the fixed filter.
  • the reference image generation method identification information included in the prediction signal generation parameter is the integer pixel Wiener filter and non-integer pixel generation generated by the image quality improvement filter generation unit 6 of FIG. That the second reference image signal generated using the Wiener filter for use (the filter related to the filter information subjected to variable length decoding by the variable length decoding unit 31) is selected. If indicated, using a filter according to the filter information to generate a reference picture signal from the decoded image signal stored in the memory 35. And the process which produces
  • the prediction unit 32 constitutes a predicted image generation unit.
  • the prediction error decoding unit 33 performs inverse DCT processing on the compressed data subjected to variable length decoding by the variable length decoding unit 31 and performs inverse DCT processing on the compressed data after the inverse quantization, thereby outputting from the local decoding unit 4 in FIG. A process of calculating a prediction error signal corresponding to the predicted error signal is performed.
  • the adder 34 adds the prediction error signal calculated by the prediction error decoding unit 33 and the prediction signal generated by the prediction unit 32, thereby decoding corresponding to the locally decoded image signal output from the adder 5 of FIG. A process of calculating the image signal and outputting the decoded image signal to the memory 35 and the image quality improvement filter processing unit 36 is performed.
  • the prediction error decoding unit 33 and the adder 34 constitute decoded image generation means.
  • the memory 35 is a recording medium for storing the decoded image signal output from the adder 34 and the filter information variable-length decoded by the variable-length decoding unit 31 in preparation for the decoding of the next frame.
  • the filter information is stored in the memory 35 in a one-to-one correspondence for each frame of the decoded image signals of a plurality of frames stored in the memory 35.
  • the storage method of data in the memory 35 is not limited as long as it is clear which filter information corresponds to which frame of the decoded image signal.
  • the decoded image signal and the filter information are stored in the memory 35 in order to generate the reference image signal in the prediction unit 32, but the reference image signal generation process is not required in the prediction unit 32.
  • a reference image signal is generated with reference to the reference image generation method identification information included in the prediction signal generation parameter variable-length decoded by the variable-length decoding unit 31, and the reference image is directly stored in the memory 7.
  • An image decoding apparatus may be configured.
  • the image quality improvement filter processing unit 36 compensates for the coding distortion superimposed on the decoded image signal output from the adder 34 by using a filter related to the filter information that has been variable length decoded by the variable length decoding unit 31, A process of outputting the decoded image signal after compensation for coding distortion to the outside as a reproduced image signal is performed.
  • the image quality improvement filter processing unit 36 constitutes filtering means.
  • FIG. 10 illustrates an example in which the decoded image signal output from the adder 34 is provided to the memory 35 and the image quality improvement filter processing unit 36.
  • the decoded image signal output from the adder 34 is illustrated.
  • a deblocking filter 37 which is a loop filter for removing block distortion superimposed on the signal, is provided at the subsequent stage of the adder 34, and the decoded image signal from which the block distortion has been removed by the deblocking filter 37 is stored in the memory 35 and the image quality improvement filter. You may make it give to the process part 36.
  • each of the variable-length decoding unit 31, the prediction unit 32, the prediction error decoding unit 33, the adder 34, and the image quality improvement filter processing unit 36 which are components of the image decoding device, has dedicated hardware (for example, a CPU
  • a variable length decoding unit 31, a prediction unit 32, and a prediction error decoding are assumed.
  • the program in which the processing contents of the unit 33, the adder 34, and the image quality improvement filter processing unit 36 are described is stored in the memory of the computer, and the CPU of the computer executes the program stored in the memory. Also good.
  • FIG. 12 is a block diagram showing a motion compensation prediction unit in the prediction unit 32 of the image decoding apparatus according to Embodiment 2 of the present invention.
  • the reference image generation unit 41 is the case where the reference image generation method identification information included in the prediction signal generation parameter variable-length decoded by the variable-length decoding unit 31 is “0” (optimal reference image signal Is the first reference image signal), the decoded image signal stored in the memory 35 (decoding of the reference frame number included in the prediction signal generation parameter) using a fixed filter prepared in advance.
  • a process of generating a reference image signal is performed by performing a filtering process on the image signal.
  • the image quality improvement filter generation unit The decoded image signal stored in the memory 35 using the integer pixel Wiener filter and the non-integer pixel generation Wiener filter (filters relating to the filter information variable-length decoded by the variable-length decoding unit 31) generated by 6 A process for generating a reference image signal is performed by performing a filtering process on the (decoded image signal of the reference frame number included in the prediction signal generation parameter).
  • the motion compensation unit 42 specifies information for specifying motion compensation prediction processing included in the prediction signal generation parameter (for example, what kind of prediction is performed between frames (information such as the division state of sub-blocks for switching motion vectors).
  • information for specifying motion compensation prediction processing included in the prediction signal generation parameter for example, what kind of prediction is performed between frames (information such as the division state of sub-blocks for switching motion vectors).
  • FIG. 13 is a block diagram showing the image quality improvement filter processing unit 36 of the image decoding apparatus according to Embodiment 2 of the present invention.
  • a frame memory 51 is a recording medium that stores the decoded image signal output from the adder 34 (or deblocking filter 37) for one frame.
  • the filter processing unit 52 uses the integer pixel Wiener filter among the filters related to the filter information that has been variable-length decoded by the variable-length decoding unit 31, and is a code superimposed on the decoded image signal stored in the frame memory 51.
  • a process of compensating for the encoding distortion is performed, and a process of outputting the decoded image signal after the encoding distortion compensation as a reproduced image signal is performed.
  • the filter processing unit 52 may switch whether or not to perform filter processing for compensating for coding distortion for each local region.
  • the switching information at this time may be received as encoded data from the image encoding device and acquired by decoding the encoded data, or the image decoding device calculates the switching information by a predetermined method. You may do it. By switching whether or not to perform the filtering process for each local area in this way, it is possible to filter only the local area where the image quality is improved, and it is possible to realize a higher quality distortion compensation process. .
  • the filter processing unit 52 selects a non-integer pixel generation Wiener filter among the filters related to the filter information that has been variable length decoded by the variable length decoding unit 31. It can also be used as a resolution enlargement filter (super-resolution filter) of a reproduced image signal. As a result, the resolution enlargement process can be realized without preparing a new special resolution enlargement filter. As shown in FIG. 14, the image quality improvement filter processing unit 36 may be configured such that the filter processing unit 52 sequentially performs filter processing in units of macro blocks without mounting the frame memory 51. .
  • FIG. 15 is a flowchart showing the processing contents (image decoding method) of the image decoding apparatus according to Embodiment 2 of the present invention.
  • FIG. 16 is a flowchart showing motion compensation prediction processing in the prediction unit 32 of the image decoding apparatus according to Embodiment 2 of the present invention.
  • variable length decoding unit 31 receives the bit stream from the image encoding device, the variable length decoding unit 31 performs variable length decoding on the compressed data, the filter information, and the prediction signal generation parameter from the bit stream (step ST51 in FIG. 15).
  • the prediction unit 32 Upon receiving the prediction signal generation parameter from the variable length decoding unit 31, the prediction unit 32 performs intra-frame prediction when the prediction mode included in the prediction signal generation parameter represents the intra-frame prediction mode. A prediction signal indicating a prediction image is generated. On the other hand, when the prediction mode represents the inter-frame prediction mode, the specific processing content will be described later, but the prediction unit 32 performs motion compensation prediction as follows. First, when the reference image generation method identification information included in the prediction signal generation parameter is “0” (when the optimum reference image signal is the first reference image signal), a fixed prepared in advance. Is used to generate a reference image signal from the decoded image signal stored in the memory 35 (step ST52).
  • the variable length decoding unit 31 Stored in the memory 35 using a filter related to the variable length decoded filter information, that is, the integer pixel Wiener filter and the non-integer pixel generation Wiener filter generated by the image quality improvement filter generation unit 6 of the image encoding device.
  • a reference image signal is generated from the decoded image signal that has been processed (step ST52).
  • the prediction unit 32 refers to information specifying the motion compensation prediction process included in the prediction signal generation parameter, and indicates the prediction image from the reference image signal A signal is generated (step ST53).
  • the prediction error decoding unit 33 When the prediction error decoding unit 33 receives the compressed data from the variable length decoding unit 31, the prediction error decoding unit 33 performs inverse DCT processing on the compressed data after inverse quantization, and performs the inverse DCT process on the compressed data after the inverse quantization.
  • a prediction error signal corresponding to the prediction error signal output from 4 is calculated (step ST54).
  • the adder 34 adds the prediction error signal and the prediction signal generated by the prediction unit 32, thereby local decoding output from the adder 5 of FIG. 1.
  • a decoded image signal corresponding to the image signal is calculated, the decoded image signal is stored in the memory 35, and the decoded image signal is output to the image quality improvement filter processing unit 36 (step ST55).
  • the image quality improvement filter processing unit 36 uses the filter related to the filter information, The encoding distortion superimposed on the decoded image signal output from the adder 34 (or deblocking filter 37) is compensated, and the decoded image signal after the encoding distortion compensation is output to the outside as a reproduced image signal (step) ST56).
  • the reference image generation unit 41 of the prediction unit 32 receives the prediction signal generation parameter from the variable length decoding unit 31, the reference image generation method identification information included in the prediction signal generation parameter is “0”. , “1” is discriminated (step ST61 in FIG. 16).
  • the reference image generation method identification information is “0”
  • the reference image generation unit 41 selects the first reference image signal as the optimum reference image signal by the motion compensation unit 23 of FIG.
  • the decoded image signal (included in the prediction signal generation parameter) stored in the memory 35 is used.
  • a reference image signal is generated by performing a filtering process on the decoded image signal of the reference frame number (step ST62).
  • the motion compensation unit 23 in FIG. 4 selects the second reference image signal as the optimum reference image signal. Therefore, the filter relating to the filter information variable length decoded by the variable length decoding unit 31, that is, the integer pixel Wiener filter and the non-integer pixel generation Wiener generated by the image quality improvement filter generation unit 6 of FIG.
  • a reference image signal is generated by performing a filtering process on the decoded image signal (decoded image signal of the reference frame number included in the prediction signal generation parameter) stored in the memory 35 using the filter (step) ST63).
  • Examples of the fixed filter used when the reference image generation method identification information is “0” include a 1/2 pixel generation filter and a 1/4 pixel generation filter described in Non-Patent Document 1.
  • the integer pixel Wiener filter and the non-integer pixel generation Wiener filter generated by the image quality improvement filter generation unit 6 are used. That is, when the pixel accuracy for motion compensation is 1/4 pixel accuracy, the integer pixel Wiener filter, the 1/2 pixel generating Wiener filter, and the 1/4 pixel generating Wiener filter are all included in the variable length decoding unit 31.
  • the integer pixel Wiener filter and the 1 ⁇ 2 pixel generation Wiener filter are filters related to the filter information variable-length decoded by the variable-length decoding unit 31.
  • a fixed filter is used for some filters, such as using a fixed 1/4 pixel generation filter, as in the case where the reference image generation method identification information is “0”. May be used.
  • the reference image generation method identification information is “1”
  • a fixed filter is used for each pixel accuracy, or a filter related to the filter information variable-length decoded by the variable-length decoding unit 31 is used. Whether to do so may be determined in advance when configuring the image encoding device and the image decoding device, and the filter selection information may be frame-wise or multiple for each pixel accuracy from the image encoding device. It is also possible to receive data encoded as header information in units of slices composed of the macroblocks and decode the header information. As described above, by using the header information so that the reference image signal generation method can be switched when the reference image generation method identification information is “1”, the code amount required for the filter, the quality of the reference image, etc. Can be adaptively controlled.
  • the motion compensation unit 42 specifies information for specifying the motion compensation prediction process included in the prediction signal generation parameter (for example, what kind of prediction is performed between frames).
  • Motion compensation prediction for the reference image signal with reference to a prediction mode indicating (information such as a division state of a subblock for switching a motion vector), a motion vector for each macroblock or subblock indicating a motion amount between frames, and the like.
  • the prediction signal indicating the prediction image is generated, and the prediction signal is output to the adder 34 (step ST64).
  • the processing content of the image quality improvement filter process part 36 is demonstrated concretely.
  • the decoded image signal output from the adder 34 (or the deblocking filter 37) is stored for one frame.
  • the filter processing unit 52 is superimposed on the decoded image signal stored in the frame memory 51 using the integer pixel Wiener filter among the filters related to the filter information variable-length decoded by the variable-length decoding unit 31. Filter processing for compensating for the coding distortion is performed, and the decoded image signal after the coding distortion compensation is output as a reproduced image signal.
  • the reference pixel number N may be a predetermined fixed value that is the same as that of the image encoding device, or may be a variable value that is determined by additional information transmitted from a predetermined unit or the image encoding device.
  • the shape of the reference pixel arrangement may be a predetermined arrangement like the number of reference pixels, or may be a variable shape determined by a predetermined law or additional information transmitted from the image encoding device.
  • the reference image generation method identification information included in the prediction signal generation parameter variable-length decoded by the variable-length decoding unit 31 is “0”.
  • the reference image signal is generated from the decoded image signal stored in the memory 35 using a fixed filter prepared in advance, and the reference image generation method identification information included in the prediction signal generation parameter is “ 1 ′′, a reference image generation unit 41 that generates a reference image signal from the decoded image signal stored in the memory 35 using a filter related to the filter information variable-length decoded by the variable-length decoding unit 31;
  • motion compensation for the reference image signal generated by the reference image generation unit 41 is performed.
  • the image encoding device, the image decoding device, the image encoding method, and the image decoding method according to the present invention select an optimal reference image from among a plurality of generated reference images, and an optimal reference image By generating a predicted image from the local area of the input image, it is possible to suppress coding delay and improve the accuracy of image quality, so that it can be used for, for example, a device related to a digital broadcasting system. Is suitable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　画像符号化装置は、マクロブロック毎に、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、その局所復号画像信号から第２の参照画像信号を生成し、第１及び第２の参照画像信号の中から最適な参照画像信号を選択して、その参照画像信号と分割画像信号から予測信号を生成する予測部２を備えた。

Description

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
　この発明は、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法と、画像符号化装置により生成された符号化データから画像を復号する画像復号装置及び画像復号方法とに関するものである。
　従来、ＭＰＥＧやＩＴＵ－Ｔ　Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、マクロブロックと呼ばれる矩形ブロックの単位に分割して、動き補償予測を実施した後、予測誤差信号をブロック単位に直交変換・量子化することによって、情報圧縮を行うようにしている。
　さらに、国際標準映像符号化方式では、動き補償予測の精度を高めるために、例えば、１／４画素精度の動き補償などの非整数画素精度の動き補償予測を実施しているものが多くある（例えば、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、１／４画素精度の動き補償予測を採用している）。
　なお、一般に映像符号化では、符号化される画像の単位をピクチャと呼ばれる単位で定義している。プログレッシブ映像と呼ばれる映像では、１フレーム１ピクチャである（フレームとピクチャが同じものを表す）が、奇数フィールドと偶数フィールドを合わせて１フレームとなるインターレース映像と呼ばれる映像では、奇数フィールドと偶数フィールドをそれぞれ独立のピクチャ（1フレームで２ピクチャ）として扱う場合も、奇数フィールドと偶数フィールドを合わせて１フレームで１ピクチャとする場合もある。以降、説明の便宜上、全てプログレッシブ映像（１フレーム１ピクチャ）を前提として説明するが、符号化する映像がインターレース映像である場合においても、「フレーム」と表現している箇所を全て「ピクチャ」に置き換えるだけでよい。
　ここで、図１７は非特許文献１に開示されている画像符号化装置を示す構成図である。
　この画像符号化装置では、ブロック分割部１０１が符号化対象画像信号を入力すると、その符号化対象画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部１０２に出力する。
　予測部１０２は、ブロック分割部１０１から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測誤差信号を算出する。
　特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、又は、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
　そして、その動きベクトルを用いて、メモリ１０７に格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号とブロック分割部１０１から出力された分割画像信号の差分を求めることで予測誤差信号を算出する。
　また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
　なお、予測信号生成用パラメータには、例えば、フレーム内又はフレーム間での予測をどのように行うかを示す予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
　圧縮部１０３は、予測部１０２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、ＤＣＴ処理後の予測誤差信号を量子化することで圧縮データを得る。
　局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化し、逆量子化後の圧縮データを逆ＤＣＴ処理することで、予測部１０２から出力された予測誤差信号に相当する予測誤差信号を算出する。
　加算器１０５は、局所復号部１０４から予測誤差信号を受けると、その予測誤差信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
　ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。
　可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
　なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。
　ここで、非特許文献１に開示されている方式では、動き補償予測の際の動きベクトルを１／４画素精度で探索可能としている。
　このように、１／４画素精度などの非整数画素精度の動き補償予測を行うことで、整数画素精度に限定された動き補償予測を行う場合よりも、高精度に動きを追従することができるため、予測画像の品質を高めることができる。
　しかし、非特許文献１に開示されている方式では、予め決められている固定の非整数画素生成フィルタを用いて、動き補償予測を行う際の非整数画素精度の参照画素を生成している。
　このように、常に固定の非整数画素生成フィルタを用いる場合、必ずしも適正なフィルタでない場合もある。
　そこで、非特許文献２に開示されている方式では、フレーム毎に非整数画素生成フィルタを非整数画素位置毎に最適設計している。
　具体的には、ウィーナフィルタ（Ｗｉｅｎｅｒ　Ｆｉｌｔｅｒ）と呼ばれるフィルタを用いるようにしている。即ち、符号化対象画像信号と予測信号間の二乗誤差和を最小化するフィルタを用いるようにしている。
　図１８は非特許文献２に開示されている画像符号化装置において、ウィーナフィルタによる予測信号の品質改善の原理を示す説明図である。
　図１８において、信号ｓは、図１７のブロック分割部１０１に入力される符号化対象画像信号に相当する信号であり、信号ｓ’は、図１７の予測部１０２においてウィーナフィルタを適用する前の予測信号である。
　ここで、予測信号は、メモリ１０７に格納されている参照画像信号から生成されており、その参照画像信号は、符号化歪みが重畳されている信号であるため、信号ｓ’は、信号ｓに対して符号化処理や予測処理によって生じる種々の雑音ｅが重畳された信号となる。
　ウィーナフィルタは、雑音ｅを二乗誤差歪みの規範で最小化するように、信号ｓ’に対して施されるフィルタとして定義される。
　一般的には、信号ｓ’の自己相関行列をＲs's'、信号ｓ，ｓ’の相互相関行列をＲss'とすると、下記の式（１）からフィルタ係数ｗを求めることができる。
　ただし、行列Ｒs's'，Ｒss'の大きさは、求められるフィルタタップ数に対応している。
Figure JPOXMLDOC01-appb-I000001
　フィルタ係数ｗのウィーナフィルタを施すことにより、品質改善がなされた信号ｓハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）が、最終的に図１７の予測部１０２から出力される予測信号に相当する信号として得られる。
　また、非特許文献３では、フィルタ設計を行わない代わりに固定の非整数画素生成フィルタを複数用意し、これら複数のフィルタをフレーム毎もしくは非整数画素位置毎に切り換えることで、予測画像の品質を改善している例が開示されている。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 Y.Vatis, B.Edler, D.T.Nguyen, J.Ostermann, "Two-dimensional non-separable Adaptive Wiener Interpolation Filter for H.264/AVC", VCEG-Z17, ITU-T SG16/Q.6 meeting, April 2005 M.Karczewicz, Y.Ye, P.Chen, "Switched Interpolation Filter with Offset", VCEG-AI35, ITU-T SG16/Q.6 meeting, July 2008
　従来の画像符号化装置は以上のように構成されているので、動き補償予測に用いる非整数画素を生成するフィルタをフレーム毎、あるいは、非整数画素位置毎に適応的に切り換えれば、予測精度を高めることができる（非特許文献２，３を参照）。しかし、非特許文献２，３では、動き補償予測を行う際、大きな符号化遅延が生じてしまう課題があった。
　即ち、非特許文献２では、動き補償予測を行う際、最初に、予め決められている初期のフィルタを用いて、フレーム全体で動きベクトルを検出し、その動きベクトルを用いて、非整数画素位置毎にウィーナフィルタを適用した場合の予測画像信号と符号化対象画像信号間のフレーム全体の誤差が最小となるようにウィーナフィルタを設計する。次に、そのウィーナフィルタを用いて、動きベクトルを再探索してフィルタの再設計を実施する。このフィルタの再設計は、ある評価値が所定の閾値に達するまで繰り返し実施するものであるため、フレーム単位での反復最適化処理が発生し、符号化側で、大きな符号化遅延が生じてしまうことになる。
　非特許文献３では、非整数画素位置毎に複数の固定の非整数画素生成フィルタの中から最適なフィルタをフレーム内で１つ選択するため、非特許文献２と同様に、最適な動きベクトルと非整数画素生成フィルタの組み合わせを求めるためにはフレーム単位での反復最適化処理が必要となり、大きな符号化遅延が生じてしまうことになる。
　なお、非特許文献３では、符号化対象画像信号の特性に応じたフィルタではなく、予め決められている固定の非整数画素生成フィルタを用いているため、符号化対象の画像によっては適切なフィルタが選択候補に存在せず、予測性能の改善効果を得られないことがある。
　この発明は上記のような課題を解決するためになされたもので、符号化遅延を抑制することができるとともに、画像品質の改善精度を高めることができる画像符号化装置及び画像符号化方法を得ることを目的とする。
　また、この発明は、画像品質の改善精度を高めることができる画像復号装置及び画像復号方法を得ることを目的とする。
　この発明に係る画像符号化装置は、予測処理手段が、入力画像の局所領域毎に、予め用意されている固定のフィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成するとともに、フィルタ生成手段により生成されたフィルタを用いて、その局所復号画像から参照画像を生成し、その生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像と入力画像の局所領域から予測画像を生成するようにしたものである。
　この発明によれば、予測処理手段が、入力画像の局所領域毎に、予め用意されている固定のフィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成するとともに、フィルタ生成手段により生成されたフィルタを用いて、その局所復号画像から参照画像を生成し、その生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像と入力画像の局所領域から予測画像を生成するように構成したので、符号化遅延を抑制することができるとともに、画像品質の改善精度を高めることができる効果がある。
この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による他の画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の画像品質改善フィルタ生成部６を示す構成図である。 この発明の実施の形態１による画像符号化装置の予測部２における動き補償予測部を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による画像符号化装置の予測部２における動き補償予測処理を示すフローチャートである。 可変長符号化部８により生成されるビットストリームの一例を示す説明図である。 整数画素用ウィーナフィルタにおけるフィルタ係数の配置例を示す説明図である。 １／２画素生成用ウィーナフィルタにおけるフィルタ係数の配置例を示す説明図である。 この発明の実施の形態２による画像復号装置を示す構成図である。 この発明の実施の形態２による他の画像復号装置を示す構成図である。 この発明の実施の形態２による画像復号装置の予測部３２における動き補償予測部を示す構成図である。 この発明の実施の形態２による画像復号装置の画像品質改善フィルタ処理部３６を示す構成図である。 この発明の実施の形態２による画像復号装置の他の画像品質改善フィルタ処理部３６を示す構成図である。 この発明の実施の形態２による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。 この発明の実施の形態２による画像復号装置の予測部３２における動き補償予測処理を示すフローチャートである。 非特許文献１に開示されている画像符号化装置を示す構成図である。 非特許文献２に開示されている画像符号化装置において、ウィーナフィルタによる予測信号の品質改善の原理を示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
　図１において、ブロック分割部１は入力画像である符号化対象画像の信号をマクロブロック（入力画像の局所領域）単位に分割し、マクロブロック単位の画像信号（以下、「分割画像信号」と称する）を予測部２に出力する処理を実施する。
　予測部２はブロック分割部１から出力された分割画像信号を受けると、分割画像信号をフレーム内又はフレーム間で予測して予測信号を生成する。
　特にフレーム間で動き補償予測を実施する場合、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに、画像品質改善フィルタ生成部６により生成されたフィルタ（整数画素用ウィーナフィルタ、非整数画素生成用ウィーナフィルタ）を用いて、その局所復号画像信号から第２の参照画像信号を生成し、第１及び第２の参照画像信号の中から最適な参照画像信号をマクロブロック毎に選択して、その最適な参照画像信号を用いて予測画像を示す予測信号を生成し、その分割画像信号と予測信号の差分である予測誤差信号を算出する処理を実施する。
　ただし、予測部２は予測信号を生成する際、予測処理を特定する情報である予測信号生成用パラメータを生成する処理を実施する。この予測信号生成パラメータとしては、フレーム内又はフレーム間で、どのような予測方式を用いるかを示す予測モード（フレーム内予測かフレーム間（動き補償）予測かを示す情報であり、フレーム間予測の場合は動きベクトルを切り換えるサブブロックの分割状態などの情報を含む）が挙げられる。さらに上記予測モードがフレーム間での動き補償予測を示す場合、フレーム間の動き量を示すマクロブロック又はサブブロック毎の動きベクトルや参照フレーム番号（複数のフレームを参照して動き補償を行う場合）、参照画像信号の選択結果を示す参照画像生成方法識別情報なども予測信号生成パラメータとして含まれる。
　なお、ブロック分割部１及び予測部２から予測処理手段が構成されている。
　圧縮部３は予測部２により算出された予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出するとともに、そのＤＣＴ係数を量子化し、量子化後のＤＣＴ係数である圧縮データを局所復号部４及び可変長符号化部８に出力する処理を実施する。なお、圧縮部３は差分画像圧縮手段を構成している。
　局所復号部４は圧縮部３から出力された圧縮データを逆量子化し、逆量子化後の圧縮データに対する逆ＤＣＴ処理を実施することで、予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する処理を実施する。
　加算器５は局所復号部４により算出された予測誤差信号と予測部２により生成された予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成し、その局所復号画像信号を画像品質改善フィルタ生成部６及びメモリ７に出力する処理を実施する。
　なお、局所復号部４及び加算器５から局所復号手段が構成されている。
　画像品質改善フィルタ生成部６は加算器５から出力された局所復号画像信号と符号化対象画像信号間の整数画素精度の画素（元々存在する画素）の誤差を最小化する整数画素用ウィーナフィルタを設計し、その整数画素用ウィーナフィルタを用いて、その局所復号画像信号に重畳されている符号化歪みを補償するとともに、符号化歪み補償後の局所復号画像信号に対して、アップサンプリングされた符号化対象画像信号の非整数画素精度の画素との誤差を最小化する非整数画素生成用ウィーナフィルタを設計する処理を実施する。なお、画像品質改善フィルタ生成部６はフィルタ生成手段を構成している。
　メモリ７は次のフレームの符号化に備えて、加算器５から出力された局所復号画像信号を格納するとともに、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタに関するフィルタ情報を格納する記録媒体である。
　なお、フィルタ情報は、メモリ７により格納されている複数のフレームの局所復号画像信号に対して、フレーム毎に一対一で対応してメモリ７に格納されている。ただし、どのフィルタ情報が、どのフレームの局所復号画像信号と対応しているかが明らかとなる格納方式であれば、メモリ７へのデータの格納方式は問わない。
　また、今回は予測部２で第１の参照画像信号と第２の参照画像信号を生成するためにメモリ７に局所復号画像信号とフィルタ情報を格納しているが、予測部２で参照画像信号生成処理を行わずに済むように、先に第１の参照画像信号と第２の参照画像信号を生成し、これら参照画像をメモリ７に直接格納するように画像符号化装置を構成してもよい。
　可変長符号化部８は圧縮部３から出力された圧縮データ、画像品質改善フィルタ生成部６から出力されたフィルタ情報及び予測部２から出力された予測信号生成用パラメータをエントロピー符号化して、それらの符号化結果を示すビットストリームを生成する処理を実施する。なお、可変長符号化部８は可変長符号化手段を構成している。
　図１では、加算器５から出力された局所復号画像信号が画像品質改善フィルタ生成部６及びメモリ７に与えられる例を示したが、図２に示すように、加算器５から出力された局所復号画像信号に重畳されているブロック歪みを除去するループフィルタであるデブロッキングフィルタ９を加算器５の後段に設け、デブロッキングフィルタ９によりブロック歪みが除去された局所復号画像信号が画像品質改善フィルタ生成部６及びメモリ７に与えられるようにしてもよい。
　図１では、画像符号化装置の構成要素であるブロック分割部１、予測部２、圧縮部３、局所復号部４、加算器５、画像品質改善フィルタ生成部６及び可変長符号化部８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、ブロック分割部１、予測部２、圧縮部３、局所復号部４、加算器５、画像品質改善フィルタ生成部６及び可変長符号化部８の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図３はこの発明の実施の形態１による画像符号化装置の画像品質改善フィルタ生成部６を示す構成図である。
　図３において、フレームメモリ１１は加算器５により生成された局所復号画像信号（又は、図２のデブロッキングフィルタ９によりブロック歪みが除去された局所復号画像信号）を１フレーム分だけ格納する記録媒体である。
　整数画素用フィルタ設計部１２はフレームメモリ１１により格納されている１フレーム分の局所復号画像信号と符号化対象画像信号間の整数画素精度の画素の二乗誤差和を最小化する整数画素用ウィーナフィルタを生成する処理を実施する。
　フィルタ処理部１３は整数画素用フィルタ設計部１２により設計された整数画素用ウィーナフィルタを用いて、フレームメモリ１１により格納されている１フレーム分の局所復号画像信号に重畳されている符号化歪みを補償する処理を実施する。
　ただし、設計した整数画素用ウィーナフィルタは、フィルタ処理対象となる領域における歪みの総和（二乗誤差和）を最小化するフィルタであるため、マクロブロックなどの局所領域毎に見ると、フィルタ処理によって画像品質が改善しない領域も存在すると考えられるため、フィルタ処理部１３は、符号化歪みを補償するフィルタ処理を行うか否かを局所領域毎に切り換えるようにしてもよい。このときの切り換え情報は、設計したウィーナフィルタに関する情報と共にフィルタ情報として可変長符号化部８に出力するようにしてもよい。
　このようにフィルタ処理を行うか否かを局所領域毎に切り換えることで、画像の品質が改善する局所領域のみをフィルタ処理することが可能となり、より高品質な歪み補償処理を実現することができる。
　アップサンプリング部１４は予め用意されている固定の非整数画素生成フィルタを用いて、符号化対象画像信号を所定の非整数画素精度（例えば、１／４画素精度）までアップサンプリングを行う。
　非整数画素生成フィルタ設計部１５はフィルタ処理部１３による符号化歪み補償後の局所復号画像信号に対して、アップサンプリング部１４によりアップサンプリングされた符号化対象画像信号の非整数画素精度の画素との誤差を最小化する非整数画素を生成する非整数画素生成用ウィーナフィルタを設計する処理を実施する。
　フィルタ情報多重化部１６は整数画素用フィルタ設計部１２により設計された整数画素用ウィーナフィルタに関するフィルタ情報（フィルタ係数、フィルタのタップ数（参照画素数）など）と非整数画素生成フィルタ設計部１５により生成された非整数画素生成用ウィーナフィルタに関するフィルタ情報とを多重化して、可変長符号化部８に出力する処理を実施する。
　図４はこの発明の実施の形態１による画像符号化装置の予測部２における動き補償予測部を示す構成図である。
　図４において、参照画像生成部２１はマクロブロック毎に、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに、メモリ７に格納されているフィルタ情報に係るフィルタ（画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタ）を用いて、その局所復号画像信号から第２の参照画像信号を生成する処理を実施する。
　例えば、動き補償部２３が１／４画素精度の動き補償予測を実施する場合、参照画像生成部２１は、第１の参照画像信号を生成する際、予め用意されている少なくとも１つ以上の固定の非整数画素生成フィルタを用いて、局所復号画像信号を１／４画素精度まで拡大する。また、第２の参照画像信号を生成する際、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び少なくとも１つ以上の非整数画素生成用ウィーナフィルタを用いて、局所復号画像信号を１／４画素精度まで拡大する。
　固定の非整数画素生成フィルタの例としては、非特許文献１に記載されている６タップの１／２画素生成フィルタや２タップの1／４画素生成フィルタが挙げられる。
　ここでは、第２の参照画像信号を生成する際、整数画素用ウィーナフィルタと少なくとも１つ以上の非整数画素生成用ウィーナフィルタを用いる例を示しているが、整数画素用フィルタ及び１／２画素生成フィルタについてはウィーナフィルタを用いて、１／４画素の生成には、第１の参照画像信号と同様に、固定の１／４画素生成フィルタを用いるなど、一部のフィルタで固定のフィルタを用いるようにしてもよい。
　このように、第２の参照画像信号を生成する際、画素精度毎に固定のフィルタを用いることにするか、設計したウィーナフィルタを用いることにするかについては、画像符号化装置及び後述する画像復号装置を構成する際に予め決定しておいてもよいし、画素精度毎に、フレーム単位、又は、複数のマクロブロックから構成されるスライス単位のヘッダ情報として、符号化するようにしてもよい。
　上記のように、ヘッダ情報を用いて、第２の参照画像信号の生成方法を切り換えられるようにすることで、フィルタに要する符号量や参照画像の品質などを適応的に制御することが可能となる。
　また、上記の参照画素の生成処理を１／４画素精度以外の精度（例えば１／８画素精度）で行う場合においても、上述した全ての処理が同様に可能であることは容易に考えられる。
　なお、この実施の形態１の画像品質改善フィルタ生成部６では、第２の参照画像信号の生成に用いるウィーナフィルタだけ設計することとなる。
　切換スイッチ２２は動き補償部２３の指示の下で切り換えられるスイッチであり、参照画像生成部２１により生成された第１の参照画像信号と第２の参照画像信号を順番に動き補償部２３に与える処理を実施する。
　動き補償部２３は参照画像生成部２１により生成された第１の参照画像信号とブロック分割部１より出力された分割画像信号から、マクロブロック単位又はマクロブロックを更に細かく分割したサブブロック単位で動きベクトルを検出し、その動きベクトルと第１の参照画像信号から予測信号及び予測信号生成用パラメータを生成するとともに、その予測信号等を生成する際のコストＣ１を算出する。また、参照画像生成部２１により生成された第２の参照画像信号とブロック分割部１より出力された分割画像信号から、マクロブロック単位又はマクロブロックを更に細かく分割したサブブロック単位で動きベクトルを検出し、その動きベクトルと第２の参照画像信号から予測信号及び予測信号生成用パラメータを生成するとともに、その予測信号等を生成する際のコストＣ２を算出する処理を実施する。
　また、動き補償部２３はマクロブロックなどの局所領域毎に、コストＣ１とコストＣ２を比較し、コストＣ１がコストＣ２より小さければ、第１の参照画像信号を最適な参照画像信号として選択して、第１の参照画像信号から生成した予測信号及び予測信号生成用パラメータを出力し、コストＣ１がコストＣ２以上であれば、第２の参照画像信号を最適な参照画像信号として選択して、第２の参照画像信号から生成した予測信号及び予測信号生成用パラメータを出力する処理を実施する。
　なお、上記コストＣ１、Ｃ２の例としては、上記局所領域内の予測画像信号と分割画像信号との間の二乗誤差和Ｄ（もしくは絶対値誤差和Ｄ’）や、Ｄ（Ｄ’）だけでなく、予測信号生成用パラメータを符号化した際に発生する符号量Ｒも考慮した値（Ｄ＋λＲ（Ｄ’＋λＲ）、λは定数）などが挙げられる。
　減算器２４はブロック分割部１から出力された分割画像信号と動き補償部２３から出力された予測信号の差分である予測誤差信号を算出する処理を実施する。
　図５はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。
　また、図６はこの発明の実施の形態１による画像符号化装置の予測部２における動き補償予測処理を示すフローチャートである。
　次に動作について説明する。
　ブロック分割部１は、符号化対象画像信号を入力すると、その符号化対象画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号である分割画像信号を予測部２に出力する（図５のステップＳＴ１）。
　予測部２は、ブロック分割部１から分割画像信号を受けると、具体的な処理内容については後述するが、マクロブロック毎に予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに（ステップＳＴ２）、メモリ７に格納されているフィルタ情報に係るフィルタ（画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタ）を用いて、その局所復号画像信号から第２の参照画像信号を生成する（ステップＳＴ３）。
　予測部２は、第１の参照画像信号と第２の参照画像信号を生成すると、第１の参照画像信号と第２の参照画像信号の中から最適な参照画像信号を選択し（ステップＳＴ４）、その最適な参照画像信号を用いて予測画像を示す予測信号を生成する（ステップＳＴ５）。
　なお、本発明では、予測部２でフレーム内予測も行い、上記フレーム間予測とフレーム内予測の内、最適な方を最終的な予測画像として採用するが、本発明は、フレーム内予測の具体的な方式に係る発明ではないため、説明の便宜上、本実施の形態ではフレーム内予測に係る詳細な動作の説明は割愛する。
　予測部２は、予測信号を生成すると、その予測信号を加算器５に出力するとともに、その予測信号とブロック分割部１から出力された分割画像信号の差分である予測誤差信号を算出し、その予測誤差信号を圧縮部３に出力する（ステップＳＴ６）。
　なお、予測部２は、フレーム間で動き補償予測処理を実施することで予測信号を生成するが、その動き補償予測処理を特定する情報（例えば、フレーム間でどのような予測を行うのか（動きベクトルを切り換えるサブブロックの分割状態などの情報）を示す予測モード、フレーム間の動き量を示すマクロブロック又はサブブロック毎の動きベクトル、参照フレーム番号（複数のフレームを参照して動き補償を行う場合）など）や、参照画像信号の選択結果を示す参照画像生成方法識別情報などを含む予測信号生成用パラメータを生成する。
　圧縮部３は、予測部２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出し、そのＤＣＴ係数を量子化する（ステップＳＴ７）。
　圧縮部３は、量子化後のＤＣＴ係数である圧縮データを局所復号部４及び可変長符号化部８に出力する。
　局所復号部４は、圧縮部３から圧縮データを受けると、その圧縮データを逆量子化し、逆量子化後の圧縮データに対する逆ＤＣＴ処理を実施することで、予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する（ステップＳＴ８）。
　加算器５は、局所復号部４が予測誤差信号を算出すると、その予測誤差信号と予測部２により生成された予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成し、その局所復号画像信号を画像品質改善フィルタ生成部６に出力するとともに、その局所復号画像信号をメモリ７に格納する（ステップＳＴ９）。
　画像品質改善フィルタ生成部６の具体的な処理内容については後述するが、画像品質改善フィルタ生成部６は、加算器５が局所復号画像信号を生成すると、その局所復号画像信号に重畳されている符号化歪みを補償するフィルタを少なくとも１つ以上設計し、そのフィルタに関するフィルタ情報を可変長符号化部８に出力するとともに、そのフィルタ情報をメモリ７に格納する（ステップＳＴ１０）。
　可変長符号化部８は、圧縮部３から出力された圧縮データ、画像品質改善フィルタ生成部６から出力されたフィルタ情報及び予測部２から出力された予測信号生成用パラメータをエントロピー符号化して、それらの符号化結果を示すビットストリームを生成し、そのビットストリームを図１０の画像復号装置に伝送する（ステップＳＴ１１）。
　この例では、可変長符号化部８が予測信号生成用パラメータについてもエントロピー符号化しているが、予測信号生成用パラメータについてはエントロピー符号化せずに、生成したビットストリームに多重化して伝送するようにしてもよい。
　ここで、図７は可変長符号化部８により生成されるビットストリームの一例を示す説明図である。ここで、スライスとは複数のマクロブロックを束ねた単位であり、少なくとも１つ以上のスライスからピクチャ（フレーム）は構成されている。
　図７の例では、フィルタ情報（画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタに関するフィルタ情報）がスライス単位に符号化されて、符号化後のフィルタ情報がスライスヘッダに格納されている。
　また、予測部２により生成された予測信号生成用パラメータは、マクロブロック単位に符号化されて、符号化後の予測信号生成用パラメータがマクロブロックヘッダに格納されている。
　ただし、上記のように、フィルタ情報をスライス単位に符号化する場合、画像品質改善フィルタ生成部６におけるフィルタの設計処理をフレーム単位ではなく、スライス単位で行うようにしてもよい。
　画像品質改善フィルタ生成部６におけるフィルタの設計処理をスライス単位で行う場合、フレーム単位で設計処理を行う場合と比較して、フィルタ情報に要する符号量が増加するが、フィルタ処理を行う局所復号画像信号及び参照画像信号の品質を高めることができる。
　以下、画像品質改善フィルタ生成部６の処理内容を具体的に説明する。
　ここでは、説明の便宜上、非特許文献１と同様に、１／４画素精度で動き補償予測を行うものとする。
　まず、画像品質改善フィルタ生成部６の整数画素用フィルタ設計部１２は、フレームメモリ１１により格納されている１フレーム分の局所復号画像信号を取得し、その局所復号画像信号と符号化対象画像信号間の整数画素精度の画素（元々存在する画素）の二乗誤差和を最小化する整数画素用ウィーナフィルタを生成する。
　ここで、図８は整数画素用ウィーナフィルタにおけるフィルタ係数の配置例を示す説明図である。
　図８の例では、フィルタ適用画素位置を含む周囲Ｎ画素の参照画素のフィルタ係数（ａ０，ａ１，・・・，ａＮ－１）とオフセット係数ａＮから構成されている。
　このときのフィルタ処理後の画素値ｓハット（ｘ０）は、下記の式（２）で表すことができる。
Figure JPOXMLDOC01-appb-I000002
　ただし、ｘｎ（ｎ＝０，１，・・・，Ｎ－１）は参照画素を表しており、参照画素ｘｌ（０≦ｌ≦Ｎ－１）にかかる重みがフィルタ係数ａｌである。Ｎは任意の参照画素数である。
　Ｎは予め固定値で与えてもよいし、ある所定の手段によって決まるように可変値としてもよい。また、参照画素配置の形状も参照画素数と同様に、予め用意した配置でもよいし、所定の法則に従って形状を可変としてもよい。
　なお、フィルタ適用対象画像信号は、加算器５（又は、デブロッキングフィルタ９）から出力された局所復号画像信号であり、上述した式（１）に基づいて、整数画素用ウィーナフィルタを設計することで、符号化対象画像信号と局所復号画像信号間の整数画素精度の画素の二乗誤差和を最小化することができる。
　フィルタ処理部１３は、整数画素用フィルタ設計部１２が整数画素用ウィーナフィルタを生成すると、その整数画素用ウィーナフィルタを用いて、フレームメモリ１１により格納されている１フレーム分の局所復号画像信号に重畳されている符号化歪みを補償するフィルタ処理を実施し、符号化歪み補償後の局所復号画像信号を非整数画素生成フィルタ設計部１５に出力する。
　アップサンプリング部１４は、予め用意されている固定のフィルタを用いて、符号化対象画像信号を１／４画素精度までアップサンプリングを行う。
　固定のフィルタとしては、例えば、非特許文献１に記載されている１／２画素生成フィルタおよび１／４画素生成フィルタが挙げられる。
　非整数画素生成フィルタ設計部１５は、フィルタ処理部１３による符号化歪み補償後の局所復号画像信号に対して、アップサンプリング部１４によりアップサンプリングされた符号化対象画像信号の非整数画素との誤差を最小化する非整数画素を生成する非整数画素生成用ウィーナフィルタを生成する。
　例として、非整数画素生成用ウィーナフィルタとして１／２画素生成用ウィーナフィルタと１／４画素生成用ウィーナフィルタをそれぞれ設計する場合について説明する。
　ここで、図９は１／２画素生成用ウィーナフィルタにおけるフィルタ係数の配置例を示す説明図である。
　図９の例では、非整数画素生成位置ｙ０の周囲Ｎ’画素の参照画素のフィルタ係数（ｂ０，ｂ１，・・・，ｂＮ’－１）とオフセット係数ｂＮ'から構成されている。今回の例では、参照画素は全て整数画素としている。
　このときの１／２画素位置（非整数画素生成位置ｙ０）の画素値ｓハット（ｙ０）は、下記の式（３）で表すことができる。
Figure JPOXMLDOC01-appb-I000003
　ただし、ｘｎ’（ｎ’＝０，１，・・・，Ｎ’－１）は参照画素を表しており、参照画素ｘｌ’（０≦ｌ’≦Ｎ’－１）にかかる重みがフィルタ係数ａｌ’である。Ｎ’は任意の参照画素数である。
　Ｎ’は予め固定値で与えてもよいし、ある所定の手段によって決まるように可変値としてもよい。また、参照画素配置の形状も参照画素数と同様に、予め用意した配置でもよいし、所定の法則に従って形状を可変としてもよい。
　そして、上記参照画素の下、式（１）に基づいて符号化対象画像信号の１／２画素との誤差を最小化する１／２画素を生成する１／２画素生成用ウィーナフィルタを生成する。
　さらに、非整数画素生成位置ｙ１、ｙ２の１／２画素生成用ウィーナフィルタについても非整数画素生成位置ｙ０と同様の手法によって生成する。
　また、１／４画素生成用ウィーナフィルタについても、ウィーナフィルタにより生成される１／４画素と符号化対象画像信号の１／４画素との二乗誤差和が最小となるように、上記の１／２画素生成用ウィーナフィルタの生成手法と同様の手法によって生成する。
　上記の例では、整数画素用ウィーナフィルタ、１／２画素用ウィーナフィルタ、１／４画素用ウィーナフィルタの全てを設計しているが、整数画素用ウィーナフィルタと１／２画素用ウィーナフィルタのみを設計して、１／４画素用ウィーナフィルタについては設計を行わないものとしてもよい。画像品質改善フィルタ生成部６で設計されるウィーナフィルタは、予測部２の参照画像生成部２１が第２の参照画像信号を生成する際に用いられるフィルタであるため、ウィーナフィルタを生成しない画素精度の画素については、予め用意された固定のフィルタを用いて生成することになる。
　このようにウィーナフィルタの生成を行わないことで、フィルタ処理による画像品質の改善効果が減少する可能性はあるが、フィルタに要する符号量を削減することができる。
　なお、上記のように画素精度毎に固定のフィルタを用いることにするか、設計したウィーナフィルタを用いることにするかについては、上述したように、画像符号化装置及び後述する画像復号装置を構成する際に予め決定しておいてもよいし、画素精度毎に第２の参照画像信号生成用のフィルタの選択情報を、フレーム単位又は複数のマクロブロックから構成されるスライス単位のヘッダ情報として、符号化するようにしてもよい。
　上記のようにヘッダ情報を用いて、第２の参照画像信号の生成手法を切り換えられるようにすることで、フィルタに要する符号量や予測部２の参照画像生成部２１により生成される参照画像信号の品質などを適応的に制御することが可能となる。
　以下、予測部２の動き補償予測処理の内容を具体的に説明する。
　予測部２の参照画像生成部２１は、マクロブロック毎に、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成する（図６のステップＳＴ２１）。
　また、参照画像生成部２１は、マクロブロック毎に、既に符号化済みのフレームで設計されたウィーナフィルタ、即ち、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、メモリ７に格納されている局所復号画像信号から第２の参照画像信号を生成する（ステップＳＴ２２）。
　動き補償部２３は、切換スイッチ２２を制御して、参照画像生成部２１により生成された第１の参照画像信号と第２の参照画像信号を順番に取得する。
　動き補償部２３は、参照画像生成部２１により生成された第１の参照画像信号を取得すると、第１の参照画像信号とブロック分割部１より出力された分割画像信号から、マクロブロック単位又はマクロブロックを更に細かく分割したサブブロック単位で動きベクトルを検出し、その動きベクトルと第１の参照画像信号から予測信号及び予測信号生成用パラメータを生成する（ステップＳＴ２３）。
　また、動き補償部２３は、参照画像生成部２１により生成された第２の参照画像信号を取得すると、第２の参照画像信号とブロック分割部１より出力された分割画像信号から、マクロブロック単位又はマクロブロックを更に細かく分割したサブブロック単位で動きベクトルを検出し、その動きベクトルと第２の参照画像信号から予測信号及び予測信号生成用パラメータを生成する（ステップＳＴ２４）。
　次に、動き補償部２３は、第１の参照画像信号から予測信号及び予測信号生成用パラメータを生成する際のコストＣ１を算出する（ステップＳＴ２５）。
　例えば、コストＣ１は、下記の式（４）から算出する。
　　　Ｃ１＝Ｄ１＋λ・Ｒ１　　　　　　　　　　　　　　　　　　　　　　（４）
　ただし、Ｄ１は当該マクロブロック内の符号化対象画像信号と第１の参照画像信号間の二乗誤差和、λは定数、Ｒ１は予測信号生成用パラメータを符号化する際に発生する符号量である。
　ここでは、コストＣ１を式（４）で算出しているが、これは一例に過ぎず、例えば、二乗誤差和Ｄ１だけをコストＣ１としてもよい。また、二乗誤差和Ｄ１ではなく、誤差の絶対値和などの他の評価値を用いてもよい。
　次に、動き補償部２３は、第２の参照画像信号から予測信号及び予測信号生成用パラメータを生成する際のコストＣ２を算出する（ステップＳＴ２６）。
　例えば、コストＣ２は、下記の式（５）から算出する。
　　　Ｃ２＝Ｄ２＋λ・Ｒ２　　　　　　　　　　　　　　　　　　　　　　（５）
　ただし、Ｄ２は当該マクロブロック内の符号化対象画像信号と第２の参照画像信号間の二乗誤差和、λは定数、Ｒ２は予測信号生成用パラメータを符号化する際に発生する符号量である。
　動き補償部２３は、コストＣ１とコストＣ２を算出すると、そのコストＣ１とコストＣ２を比較する（ステップＳＴ２７）。
　動き補償部２３は、コストＣ１がコストＣ２より小さければ、第１の参照画像信号を最適な参照画像信号として選択し、第１の参照画像信号から生成した予測信号及び予測信号生成用パラメータを出力する（ステップＳＴ２８）。
　一方、コストＣ１がコストＣ２以上であれば、第２の参照画像信号を最適な参照画像信号として選択し、第２の参照画像信号から生成した予測信号及び予測信号生成用パラメータを出力する（ステップＳＴ２９）。
　なお、動き補償部２３は、第１の参照画像信号を最適な参照画像信号として選択した場合、最適な参照画像信号が第１の参照画像信号である旨を示す“０”の参照画像生成方法識別情報を予測信号生成用パラメータに含めて可変長符号化部８に出力する。
　一方、第２の参照画像信号を最適な参照画像信号として選択した場合、最適な参照画像信号が第２の参照画像信号である旨を示す“１”の参照画像生成方法識別情報を予測信号生成用パラメータに含めて可変長符号化部８に出力する。
　減算器２４は、動き補償部２３から予測信号を受けると、その予測信号とブロック分割部１から出力された分割画像信号の差分である予測誤差信号を算出し、その予測誤差信号を圧縮部３に出力する（ステップＳＴ３０）。
　ここでは、予測部２がマクロブロック単位でステップＳＴ２１からＳＴ２９までの動き補償予測処理を行うものについて示したが、例えば、動きベクトルを切り換えるブロックの単位や、複数のマクロブロックから構成されるスライス単位で、動き補償予測処理を行うなど、マクロブロック単位ではない他の局所領域単位で、ステップＳＴ２１からＳＴ２９までの処理を行うようにしてもよい。
　このとき、上記の処理単位が小さいほど参照画像の切り換え単位が小さくなるため、予測画像の品質は向上するが、最適な参照画像信号を識別する参照画像生成方法識別情報が増加する。
　また、動き補償予測処理の単位がマクロブロック以下であれば、マクロブロック毎に独立した符号化が可能（フレーム単位などのマクロブロックを跨った反復処理が不要）であり、非特許文献２，３と比較して符号化遅延を大きく抑えることができる。
　以上で明らかなように、この実施の形態１によれば、予測部２が、マクロブロック毎に、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、その局所復号画像信号から第２の参照画像信号を生成し、第１及び第２の参照画像信号の中から最適な参照画像信号を選択して、その参照画像信号から予測信号を生成するように構成したので、符号化遅延を抑制しながら、動き補償予測による予測画像の品質を改善することが可能な符号化処理が実現されるようになり、その結果、画像品質の改善精度を高めることができる効果を奏する。
実施の形態２．
　図１０はこの発明の実施の形態２による画像復号装置を示す構成図である。
　図１０において、可変長復号部３１は図１の画像符号化装置から伝送されたビットストリームを受信すると、そのビットストリームから圧縮データ、フィルタ情報及び予測信号生成用パラメータを可変長復号して、その圧縮データを予測誤差復号部３３に出力する処理を実施する。また、そのフィルタ情報をメモリ３５に格納するとともに、その予測信号生成用パラメータを予測部３２に出力する処理を実施する。なお、可変長復号部３１は可変長復号手段を構成している。
　予測部３２は可変長復号部３１により可変長復号された予測信号生成用パラメータに含まれている予測モードがフレーム内予測を行う旨を示している場合、フレーム内予測を行って予測画像を示す予測信号を生成する処理を実施する。
　一方、予測モードがフレーム間予測を行う旨を示している場合、予測部３２は動き補償予測を実施する。まず、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報（図４の動き補償部２３による最適な参照画像信号の選択結果）が、図４の参照画像生成部２１により予め用意されている固定のフィルタを用いて生成された第１の参照画像信号を選択している旨を示している場合、上記固定のフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する一方、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が、図１の画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタ（可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタ）を用いて生成された第２の参照画像信号を選択している旨を示している場合、そのフィルタ情報に係るフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する。そして、その予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、その生成した参照画像信号から予測画像を示す予測信号を生成する処理を実施する。
　なお、予測部３２は予測画像生成手段を構成している。
　予測誤差復号部３３は可変長復号部３１により可変長復号された圧縮データを逆量子化し、逆量子化後の圧縮データに対する逆ＤＣＴ処理を実施することで、図１の局所復号部４から出力された予測誤差信号に相当する予測誤差信号を算出する処理を実施する。
　加算器３４は予測誤差復号部３３により算出された予測誤差信号と予測部３２により生成された予測信号を加算することで、図１の加算器５から出力された局所復号画像信号に相当する復号画像信号を算出し、その復号画像信号をメモリ３５及び画像品質改善フィルタ処理部３６に出力する処理を実施する。
　なお、予測誤差復号部３３及び加算器３４から復号画像生成手段が構成されている。
　メモリ３５は次のフレームの復号に備えて、加算器３４から出力された復号画像信号を格納するとともに、可変長復号部３１により可変長復号されたフィルタ情報を格納する記録媒体である。
　なお、フィルタ情報は、メモリ３５により格納されている複数のフレームの復号画像信号に対して、フレーム毎に一対一で対応してメモリ３５に格納されている。ただし、どのフィルタ情報が、どのフレームの復号画像信号と対応しているかが明らかとなる格納方式であれば、メモリ３５へのデータの格納方式は問わない。
　また、今回は、予測部３２で参照画像信号を生成するためにメモリ３５に復号画像信号とフィルタ情報を格納しているが、予測部３２で参照画像信号生成処理を行わずに済むように、可変長復号部３１により可変長復号された予測信号生成用パラメータに含まれている参照画像生成方法識別情報を参照して参照画像信号を生成し、その参照画像をメモリ７に直接格納するように画像復号装置を構成してもよい。
　画像品質改善フィルタ処理部３６は可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタを用いて、加算器３４から出力された復号画像信号に重畳されている符号化歪みを補償し、符号化歪み補償後の復号画像信号を再生画像信号として外部に出力する処理を実施する。なお、画像品質改善フィルタ処理部３６はフィルタリング手段を構成している。
　図１０では、加算器３４から出力された復号画像信号がメモリ３５及び画像品質改善フィルタ処理部３６に与えられる例を示したが、図１１に示すように、加算器３４から出力された復号画像信号に重畳されているブロック歪みを除去するループフィルタであるデブロッキングフィルタ３７を加算器３４の後段に設け、デブロッキングフィルタ３７によりブロック歪みが除去された復号画像信号がメモリ３５及び画像品質改善フィルタ処理部３６に与えられるようにしてもよい。
　図１０では、画像復号装置の構成要素である可変長復号部３１、予測部３２、予測誤差復号部３３、加算器３４及び画像品質改善フィルタ処理部３６のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部３１、予測部３２、予測誤差復号部３３、加算器３４及び画像品質改善フィルタ処理部３６の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図１２はこの発明の実施の形態２による画像復号装置の予測部３２における動き補償予測部を示す構成図である。
　図１２において、参照画像生成部４１は可変長復号部３１により可変長復号された予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“０”である場合（最適な参照画像信号が第１の参照画像信号である場合）、予め用意されている固定のフィルタを用いて、メモリ３５に格納されている復号画像信号（予測信号生成用パラメータに含まれている参照フレーム番号の復号画像信号）に対するフィルタ処理を行うことで、参照画像信号を生成する処理を実施する。一方、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“１”である場合（最適な参照画像信号が第２の参照画像信号である場合）、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタ（可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタ）を用いて、メモリ３５に格納されている復号画像信号（予測信号生成用パラメータに含まれている参照フレーム番号の復号画像信号）に対するフィルタ処理を行うことで、参照画像信号を生成する処理を実施する。
　動き補償部４２は予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報（例えば、フレーム間でどのような予測を行うのか（動きベクトルを切り換えるサブブロックの分割状態などの情報）を示す予測モード、フレーム間の動き量を示すマクロブロック又はサブブロック毎の動きベクトルなど）を参照して、参照画像生成部４１により生成された参照画像信号に対する動き補償予測を実施することで、予測画像を示す予測信号を生成する処理を実施する。
　図１３はこの発明の実施の形態２による画像復号装置の画像品質改善フィルタ処理部３６を示す構成図である。
　図１３において、フレームメモリ５１は加算器３４（又は、デブロッキングフィルタ３７）から出力された復号画像信号を１フレーム分だけ格納する記録媒体である。
　フィルタ処理部５２は可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタのうち、整数画素用ウィーナフィルタを用いて、フレームメモリ５１により格納されている復号画像信号に重畳されている符号化歪みを補償する処理を実施し、符号化歪み補償後の復号画像信号を再生画像信号として出力する処理を実施する。
　ただし、フィルタ処理部５２は、符号化歪みを補償するフィルタ処理を行うか否かを局所領域毎に切り換えるようにしてもよい。
　このときの切り換え情報は、画像符号化装置から符号化データとして受信し、その符号化データを復号することで取得するようにしてもよいし、画像復号装置が所定の手法によって切り換え情報を算出するようにしてもよい。
　このようにフィルタ処理を行うか否かを局所領域毎に切り換えることで、画像の品質が改善する局所領域のみをフィルタ処理することが可能となり、より高品質な歪み補償処理を実現することができる。
　また、再生画像信号の解像度を上げる必要がある場合などには、フィルタ処理部５２が、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタのうち、非整数画素生成用ウィーナフィルタを再生画像信号の解像度拡大用フィルタ（超解像フィルタ）として利用することも可能である。
　これにより、新たに特別な解像度拡大用フィルタを用意せずに、解像度拡大処理を実現することができる。
　なお、画像品質改善フィルタ処理部３６の構成としては、図１４に示すように、フレームメモリ５１を実装せずに、フィルタ処理部５２がマクロブロック単位で、逐次、フィルタ処理を行う構成としてもよい。
　図１５はこの発明の実施の形態２による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。
　また、図１６はこの発明の実施の形態２による画像復号装置の予測部３２における動き補償予測処理を示すフローチャートである。
　次に動作について説明する。
　可変長復号部３１は、画像符号化装置からビットストリームを受信すると、そのビットストリームから圧縮データ、フィルタ情報及び予測信号生成用パラメータを可変長復号する（図１５のステップＳＴ５１）。
　予測部３２は、可変長復号部３１から予測信号生成用パラメータを受けると、その予測信号生成用パラメータに含まれている予測モードがフレーム内予測モードを表している場合、フレーム内予測を行って予測画像を示す予測信号を生成する。一方、予測モードがフレーム間予測モードを表している場合、具体的な処理内容については後述するが、予測部３２は動き補償予測を次のように実施する。
　まず、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“０”である場合（最適な参照画像信号が第１の参照画像信号である場合）、予め用意されている固定のフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する（ステップＳＴ５２）。
　一方、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“１”である場合（最適な参照画像信号が第２の参照画像信号である場合）、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタ、即ち、画像符号化装置の画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する（ステップＳＴ５２）。
　予測部３２は、復号画像信号から参照画像信号を生成すると、その予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、その参照画像信号から予測画像を示す予測信号を生成する（ステップＳＴ５３）。
　予測誤差復号部３３は、可変長復号部３１から圧縮データを受けると、その圧縮データを逆量子化し、逆量子化後の圧縮データに対する逆ＤＣＴ処理を実施することで、図１の局所復号部４から出力された予測誤差信号に相当する予測誤差信号を算出する（ステップＳＴ５４）。
　加算器３４は、予測誤差復号部３３が予測誤差信号を算出すると、その予測誤差信号と予測部３２により生成された予測信号を加算することで、図１の加算器５から出力された局所復号画像信号に相当する復号画像信号を算出し、その復号画像信号をメモリ３５に格納するとともに、その復号画像信号を画像品質改善フィルタ処理部３６に出力する（ステップＳＴ５５）。
　画像品質改善フィルタ処理部３６の具体的な処理内容については後述するが、画像品質改善フィルタ処理部３６は、可変長復号部３１からフィルタ情報を受けると、そのフィルタ情報に係るフィルタを用いて、加算器３４（又は、デブロッキングフィルタ３７）から出力された復号画像信号に重畳されている符号化歪みを補償し、符号化歪み補償後の復号画像信号を再生画像信号として外部に出力する（ステップＳＴ５６）。
　以下、予測部３２の動き補償予測処理の内容を具体的に説明する。
　予測部３２の参照画像生成部４１は、可変長復号部３１から予測信号生成用パラメータを受けると、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“０”であるか、“１”であるかを判別する（図１６のステップＳＴ６１）。
　参照画像生成部４１は、参照画像生成方法識別情報が“０”である場合、図４の動き補償部２３により最適な参照画像信号として、第１の参照画像信号が選択されているので、予め用意されている固定のフィルタ（図４の参照画像生成部２１により用いられた固定のフィルタと同一のフィルタ）を用いて、メモリ３５に格納されている復号画像信号（予測信号生成用パラメータに含まれている参照フレーム番号の復号画像信号）に対するフィルタ処理を行うことで、参照画像信号を生成する（ステップＳＴ６２）。
　一方、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“１”である場合、図４の動き補償部２３により最適な参照画像信号として、第２の参照画像信号が選択されているので、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタ、即ち、図１の画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、メモリ３５に格納されている復号画像信号（予測信号生成用パラメータに含まれている参照フレーム番号の復号画像信号）に対するフィルタ処理を行うことで、参照画像信号を生成する（ステップＳＴ６３）。
　参照画像生成方法識別情報が“０”である場合に用いる固定のフィルタの例としては、非特許文献１に記載されている１／２画素生成フィルタや1／４画素生成フィルタが挙げられる。
　ここでは、参照画像生成方法識別情報が“１”である場合、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いる例を示している。
　即ち、動き補償を行う画素精度が１／４画素精度であるとき、整数画素用ウィーナフィルタ、１／２画素生成用ウィーナフィルタ、１／４画素生成用ウィーナフィルタの全てが、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタとして用いているが、整数画素用ウィーナフィルタ及び１／２画素生成用ウィーナフィルタについては、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタを用いて、１／４画素の生成には、参照画像生成方法識別情報が“０”である場合と同様に、固定の１／４画素生成フィルタを用いるなど、一部のフィルタで固定のフィルタを用いるようにしてもよい。
　このように、参照画像生成方法識別情報が“１”であるとき、画素精度毎に固定のフィルタを用いることにするか、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタを用いることにするかについては、画像符号化装置及び画像復号装置を構成する際に予め決定しておいてもよいし、画像符号化装置から画素精度毎に、フィルタ選択情報がフレーム単位、又は、複数のマクロブロックから構成されるスライス単位のヘッダ情報として符号化されているデータを受信して、そのヘッダ情報を復号するようにしてもよい。
　上記のように、ヘッダ情報を用いて、参照画像生成方法識別情報が“１”である場合の参照画像信号生成方法を切り換えられるようにすることで、フィルタに要する符号量や参照画像の品質などを適応的に制御することが可能となる。
　動き補償部４２は、参照画像生成部４１が参照画像信号を生成すると、予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報（例えば、フレーム間でどのような予測を行うのか（動きベクトルを切り換えるサブブロックの分割状態などの情報）を示す予測モード、フレーム間の動き量を示すマクロブロック又はサブブロック毎の動きベクトルなど）を参照して、その参照画像信号に対する動き補償予測を実施することで、予測画像を示す予測信号を生成し、その予測信号を加算器３４に出力する（ステップＳＴ６４）。
　以下、画像品質改善フィルタ処理部３６の処理内容を具体的に説明する。
　画像品質改善フィルタ処理部３６のフレームメモリ５１には、加算器３４（又は、デブロッキングフィルタ３７）から出力された復号画像信号が１フレーム分だけ格納される。
　フィルタ処理部５２は、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタのうち、整数画素用ウィーナフィルタを用いて、フレームメモリ５１により格納されている復号画像信号に重畳されている符号化歪みを補償するフィルタ処理を実施し、符号化歪み補償後の復号画像信号を再生画像信号として出力する。
　整数画素用ウィーナフィルタを用いるフィルタ処理において、フィルタ処理後の復号画像信号の画素値ｓハット（ｘ０）は、上記実施の形態１の画像符号化装置と同様に、参照画素群ｘｎ（ｎ＝０，１，・・・，Ｎ－１）とフィルタ係数及びオフセット係数（ａ０，ａ１，・・・，ａＮ－１，ａＮ）を用いて、上述した式（２）で表すことができる（図８を参照）。
　ただし、参照画素数Ｎは、画像符号化装置と同一の予め決められた固定値としてもよいし、ある所定の手段又は画像符号化装置から伝送される付加情報によって決まる可変値としてもよい。
　また、参照画素配置の形状も参照画素数と同様に、予め決められた配置でもよいし、所定の法則又は画像符号化装置から伝送される付加情報によって決まる可変の形状としてもよい。
　以上で明らかなように、この実施の形態２によれば、可変長復号部３１により可変長復号された予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“０”である場合、予め用意されている固定のフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成し、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“１”である場合、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する参照画像生成部４１と、その予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、参照画像生成部４１により生成された参照画像信号に対する動き補償予測を実施する動き補償部４２とから予測部３２を構成し、可変長復号部３１により可変長復号されたフィルタ情報を参照して、加算器３４またはデブロッキングフィルタ３７から出力された復号画像信号に重畳されている歪みを補償するフィルタ処理部５２から画像品質改善フィルタ処理部３６を構成するようにしたので、再生画像の品質を改善するだけでなく、動き補償予測による予測画像の品質も改善する処理が実現されるようになり、その結果、画像品質の改善精度を高めることができる効果を奏する。
　以上のように、この発明に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法は、生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像と入力画像の局所領域から予測画像を生成することにより、符号化遅延を抑制することができるとともに、画像品質の改善精度を高めることができるので、例えばデジタル放送システムに係る機器などに用いるのに適している。

Claims (7)

  1. 　フィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成し、上記参照画像と入力画像から予測画像を生成して、上記入力画像と上記予測画像の差分画像を算出する予測処理手段と、上記予測処理手段により算出された差分画像を圧縮する差分画像圧縮手段と、上記差分画像圧縮手段により圧縮された差分画像を復号し、復号後の差分画像と上記予測処理手段により生成された予測画像を加算して局所復号画像を生成し、上記局所復号画像を上記メモリに格納する局所復号手段と、上記局所復号手段により生成された局所復号画像と上記入力画像間の誤差を最小化するフィルタを生成するフィルタ生成手段と、上記差分画像圧縮手段により圧縮された差分画像及び上記フィルタ生成手段により生成されたフィルタに関するフィルタ情報を可変長符号化し、その符号化結果を示すビットストリームを生成する可変長符号化手段とを備えるとともに、上記予測処理手段は、上記入力画像の局所領域毎に、予め用意されている固定のフィルタを用いて、上記メモリに格納されている局所復号画像から参照画像を生成するとともに、上記フィルタ生成手段により生成されたフィルタを用いて、上記局所復号画像から参照画像を生成し、その生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像を用いて予測画像を生成することを特徴とする画像符号化装置。
  2. 　フィルタ生成手段は、局所復号手段により生成された局所復号画像と入力画像間の整数画素精度の画素の誤差を最小化する整数画素用フィルタを生成し、上記整数画素用フィルタを用いて、上記局所復号画像に重畳されている歪みを補償するとともに、歪み補償後の局所復号画像に対して、上記入力画像の非整数画素精度の画素との誤差を最小化する非整数画素を生成する非整数画素生成フィルタを生成する処理を実施し、
    　予測処理手段は、予め用意されている固定のフィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成するとともに、上記フィルタ生成手段により生成された整数画素用フィルタ及び非整数画素生成フィルタを用いて、上記局所復号画像から参照画像を生成することを特徴とする請求項１記載の画像符号化装置。
  3. 　予測処理手段は、固定のフィルタを用いて生成した参照画像を選択して、予測画像を生成する際のコストと、フィルタ生成手段により生成されたフィルタを用いて生成した参照画像を選択して、予測画像を生成する際のコストとを算出し、予測画像を生成する際のコストが小さくなる方の参照画像を最適な参照画像として選択することを特徴とする請求項１記載の画像符号化装置。
  4. 　可変長符号化手段は、予測処理手段による最適な参照画像の選択結果及び上記予測処理手段による動き補償予測処理を特定する情報を含む予測信号生成用パラメータを可変長符号化し、その符号化結果を含むビットストリームを生成することを特徴とする請求項１記載の画像符号化装置。
  5. 　ビットストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタ情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された予測信号生成用パラメータに含まれている最適な参照画像の選択結果が、予め用意されている固定のフィルタを用いて生成した参照画像を選択している旨を示している場合、上記固定のフィルタを用いて、メモリに格納されている復号画像から参照画像を生成する一方、上記予測信号生成用パラメータに含まれている最適な参照画像の選択結果が、上記可変長復号手段により可変長復号されたフィルタ情報に係るフィルタを用いて生成した参照画像を選択している旨を示している場合、上記フィルタ情報に係るフィルタを用いて、上記復号画像から参照画像を生成し、上記予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、その生成した参照画像から予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、復号後の差分画像と上記予測画像生成手段により生成された予測画像を加算して復号画像を生成し、上記復号画像を上記メモリに格納する復号画像生成手段と、上記可変長復号手段により可変長復号されたフィルタ情報に係るフィルタを用いて、上記復号画像生成手段により生成された復号画像に重畳されている歪みを補償するフィルタリング手段とを備えた画像復号装置。
  6. 　予測処理手段がフィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成し、上記参照画像と入力画像から予測画像を生成して、上記入力画像と上記予測画像の差分画像を算出する予測処理ステップと、差分画像圧縮手段が上記予測処理ステップで算出された差分画像を圧縮する差分画像圧縮処理ステップと、局所復号手段が上記差分画像圧縮処理ステップで圧縮された差分画像を復号し、復号後の差分画像と上記予測処理ステップで生成された予測画像を加算して局所復号画像を生成し、上記局所復号画像を上記メモリに格納する局所復号処理ステップと、フィルタ生成手段が上記局所復号処理ステップで生成された局所復号画像と上記入力画像間の誤差を最小化するフィルタを生成するフィルタ生成処理ステップと、可変長符号化手段が上記差分画像圧縮処理ステップで圧縮された差分画像及び上記フィルタ生成処理ステップで生成されたフィルタに関するフィルタ情報を可変長符号化し、その符号化結果を示すビットストリームを生成する可変長符号化処理ステップとを備えるとともに、上記予測処理手段が予測処理ステップを実行する際、上記入力画像の局所領域毎に、予め用意されている固定のフィルタを用いて、上記メモリに格納されている局所復号画像から参照画像を生成するとともに、上記フィルタ生成処理ステップで生成されたフィルタを用いて、上記局所復号画像から参照画像を生成し、その生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像を用いて予測画像を生成することを特徴とする画像符号化方法。
  7. 　可変長復号手段がビットストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタ情報を可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された予測信号生成用パラメータに含まれている最適な参照画像の選択結果が、予め用意されている固定のフィルタを用いて生成した参照画像を選択している旨を示している場合、上記固定のフィルタを用いて、メモリに格納されている復号画像から参照画像を生成する一方、上記予測信号生成用パラメータに含まれている最適な参照画像の選択結果が、上記可変長復号処理ステップで可変長復号されたフィルタ情報に係るフィルタを用いて生成した参照画像を選択している旨を示している場合、上記フィルタ情報に係るフィルタを用いて、上記復号画像から参照画像を生成し、上記予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、その生成した参照画像から予測画像を生成する予測画像生成処理ステップと、復号画像生成手段が上記可変長復号処理ステップで可変長復号された圧縮されている差分画像を復号し、復号後の差分画像と上記予測画像生成処理ステップで生成された予測画像を加算して復号画像を生成し、上記復号画像を上記メモリに格納する復号画像生成処理ステップと、フィルタリング手段が上記可変長復号処理ステップで可変長復号されたフィルタ情報に係るフィルタを用いて、上記復号画像生成処理ステップで生成された復号画像に重畳されている歪みを補償するフィルタリング処理ステップとを備えた画像復号方法。
PCT/JP2010/005149 2009-09-30 2010-08-20 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 WO2011039931A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011534040A JPWO2011039931A1 (ja) 2009-09-30 2010-08-20 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009227350 2009-09-30
JP2009-227350 2009-09-30

Publications (1)

Publication Number Publication Date
WO2011039931A1 true WO2011039931A1 (ja) 2011-04-07

Family

ID=43825786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005149 WO2011039931A1 (ja) 2009-09-30 2010-08-20 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Country Status (2)

Country Link
JP (1) JPWO2011039931A1 (ja)
WO (1) WO2011039931A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012160614A1 (ja) * 2011-05-25 2012-11-29 パナソニック株式会社 動画像復号装置
WO2014078422A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive, characteristics compensated prediction for next generation video
JP2015519829A (ja) * 2012-06-15 2015-07-09 インテル コーポレイション スケーラブルなビデオコーディングのためのアダプティブフィルタリング
JP2015533037A (ja) * 2012-09-24 2015-11-16 インテル・コーポレーション ビデオ符号化及び復号のためのヒストグラム分割ベースのローカル適応フィルタ
WO2016129185A1 (ja) * 2015-02-09 2016-08-18 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2017028714A (ja) * 2016-09-08 2017-02-02 インテル・コーポレーション ビデオ符号化及び復号のためのヒストグラム分割ベースのローカル適応フィルタ
JP2017184262A (ja) * 2017-05-29 2017-10-05 インテル・コーポレーション ビデオ符号化及び復号のためのヒストグラム分割ベースのローカル適応フィルタ
US9787990B2 (en) 2013-01-30 2017-10-10 Intel Corporation Content adaptive parametric transforms for coding for next generation video
US10123011B2 (en) 2012-09-24 2018-11-06 Intel Corporation Histogram segmentation based local adaptive filter for video encoding and decoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007111292A1 (ja) * 2006-03-27 2007-10-04 Matsushita Electric Industrial Co., Ltd. 画像符号化装置および画像復号化装置
WO2008069073A1 (ja) * 2006-11-30 2008-06-12 Ntt Docomo, Inc. 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラム
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
WO2009047917A1 (ja) * 2007-10-11 2009-04-16 Panasonic Corporation 映像符号化方法及び映像復号方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
WO2007111292A1 (ja) * 2006-03-27 2007-10-04 Matsushita Electric Industrial Co., Ltd. 画像符号化装置および画像復号化装置
WO2008069073A1 (ja) * 2006-11-30 2008-06-12 Ntt Docomo, Inc. 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラム
WO2009047917A1 (ja) * 2007-10-11 2009-04-16 Panasonic Corporation 映像符号化方法及び映像復号方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012160614A1 (ja) * 2011-05-25 2012-11-29 パナソニック株式会社 動画像復号装置
JP2015519829A (ja) * 2012-06-15 2015-07-09 インテル コーポレイション スケーラブルなビデオコーディングのためのアダプティブフィルタリング
US10979703B2 (en) 2012-06-15 2021-04-13 Intel Corporation Adaptive filtering for scalable video coding
JP2015533037A (ja) * 2012-09-24 2015-11-16 インテル・コーポレーション ビデオ符号化及び復号のためのヒストグラム分割ベースのローカル適応フィルタ
US10477208B2 (en) 2012-09-24 2019-11-12 Intel Corporation Histogram segmentation based local adaptive filter for video encoding and decoding
US10123011B2 (en) 2012-09-24 2018-11-06 Intel Corporation Histogram segmentation based local adaptive filter for video encoding and decoding
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
WO2014078422A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive, characteristics compensated prediction for next generation video
CN104854866A (zh) * 2012-11-13 2015-08-19 英特尔公司 下一代视频的内容自适应、特性补偿预测
US9762929B2 (en) 2012-11-13 2017-09-12 Intel Corporation Content adaptive, characteristics compensated prediction for next generation video
US9787990B2 (en) 2013-01-30 2017-10-10 Intel Corporation Content adaptive parametric transforms for coding for next generation video
US9794569B2 (en) 2013-01-30 2017-10-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
WO2016129185A1 (ja) * 2015-02-09 2016-08-18 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2017028714A (ja) * 2016-09-08 2017-02-02 インテル・コーポレーション ビデオ符号化及び復号のためのヒストグラム分割ベースのローカル適応フィルタ
JP2017184262A (ja) * 2017-05-29 2017-10-05 インテル・コーポレーション ビデオ符号化及び復号のためのヒストグラム分割ベースのローカル適応フィルタ

Also Published As

Publication number Publication date
JPWO2011039931A1 (ja) 2013-02-21

Similar Documents

Publication Publication Date Title
RU2714100C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
WO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR100772883B1 (ko) 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7925107B2 (en) Adaptive variable block transform system, medium, and method
US7379496B2 (en) Multi-resolution video coding and decoding
JP4999340B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
JP5513740B2 (ja) 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
AU766680B2 (en) Method for converting digital signal and apparatus for converting digital signal
EP2437499A1 (en) Video encoder, video decoder, video encoding method, and video decoding method
WO2009088038A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
KR101253156B1 (ko) 영상 신호의 인코딩/디코딩 방법
WO2010001614A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
US9736500B2 (en) Methods and apparatus for spatially varying residue coding
JP2005506815A (ja) 空間拡張可能圧縮のための方法及び装置
US7903306B2 (en) Sensor image encoding and/or decoding system, medium, and method
JP6055098B2 (ja) 映像復号方法及びそれを利用する装置
US20120263225A1 (en) Apparatus and method for encoding moving picture
JP5361998B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP4762486B2 (ja) マルチ・リゾルーション・ビデオ符号化および復号化
WO2011070698A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2004129304A (ja) 動画像復号装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10820057

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011534040

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10820057

Country of ref document: EP

Kind code of ref document: A1