WO2010137322A1 - 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 Download PDF

Info

Publication number
WO2010137322A1
WO2010137322A1 PCT/JP2010/003551 JP2010003551W WO2010137322A1 WO 2010137322 A1 WO2010137322 A1 WO 2010137322A1 JP 2010003551 W JP2010003551 W JP 2010003551W WO 2010137322 A1 WO2010137322 A1 WO 2010137322A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
prediction
motion
wiener filter
signal
Prior art date
Application number
PCT/JP2010/003551
Other languages
English (en)
French (fr)
Inventor
関口俊一
峯澤彰
杉本和夫
伊谷裕介
山岸秀一
加藤嘉明
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2011515897A priority Critical patent/JP5361998B2/ja
Publication of WO2010137322A1 publication Critical patent/WO2010137322A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Definitions

  • the present invention relates to an image coding apparatus, an image decoding apparatus, an image coding method, and an image decoding method used for image compression coding technology, compressed image data transmission technology and the like.
  • MPEG and ITU-T H.264 In the international standard video coding method such as 26x, an input video frame is divided into macroblock units consisting of 16 ⁇ 16 pixel blocks, motion compensated prediction is performed, and then the generated prediction error signal is orthogonalized in block units. Information compression is performed by converting and quantizing. At this time, if the compression rate is high, there is a problem that the compression efficiency is hindered due to the deterioration of the quality of the prediction reference image used for motion compensation prediction. Therefore, MPEG-4 AVC / H. In the H.264 coding method (see Non-Patent Document 1), processing of an in-loop blocking filter used as a prediction reference image is adopted after removing block distortion generated along with quantization of orthogonal transformation coefficients.
  • FIG. 13 is a block diagram showing a configuration of a coding device according to Non-Patent Document 1. As shown in FIG. In encoding according to Non-Patent Document 1, first, an input video signal 1001 to be encoded is divided into macro block units in a block division unit 1002, and is input to a prediction unit 1004 as a coded video signal 1003.
  • the prediction unit 1004 predicts the image signal of each color component in the macroblock within a frame and between frames to obtain a prediction error signal 1005.
  • the motion vector is searched for in the unit of the macroblock itself or a sub block obtained by further dividing the macroblock, and a motion compensated prediction image is generated based on the motion vector.
  • a prediction error signal 1005 is obtained by taking the difference with the video signal 1003.
  • the compression unit 1006 performs DCT (Discrete Cosine Transform) processing on the prediction error signal 1005 to remove signal correlation, and then quantizes to obtain compressed data 1007.
  • the compressed data 1007 is entropy-coded by the variable-length coding unit 1008 and output as a bit stream 1009, and is also sent to the local decoding unit 1010 to obtain a decoded prediction error signal 1011.
  • DCT Discrete Cosine Transform
  • the decoded prediction error signal 1011 is added to the prediction signal 1012 used to generate the prediction error signal 1005 to form a decoded signal 1013, which is input to the loop filter 1014.
  • the decoded signal 1013 is subjected to processing for removing block distortion by the loop filter 1014, and then stored in the memory 1016 as a reference image signal 1015 for generating a prediction signal 1012 thereafter.
  • the prediction signal generation parameter 1017 determined by the prediction unit 1004 to obtain the prediction signal 1012 is sent to the variable length coding unit 1008, multiplexed with the bit stream 1009, and output.
  • the prediction signal generation parameter 1017 includes, for example, information such as an intra prediction mode indicating how to perform spatial prediction in a frame, and a motion vector indicating a motion amount between frames.
  • the loop filter 1014 of Non-Patent Document 1 determines the smoothing strength based on information such as quantization coarseness, coding mode, variation degree of motion vector, and the like for the peripheral pixels of the block boundary of DCT, and We are trying to reduce the strain generated at the boundary. As a result, as described above, the quality of the reference image signal 1015 can be improved, and the efficiency of motion compensation prediction in the subsequent encoding can be enhanced. On the other hand, in this method, when the block size of the DCT conversion is small, there is a problem that the entire screen is excessively smoothed and the image is blurred when the compression ratio is high.
  • Non-Patent Document 2 a Wiener filter is applied to a loop filter 1014, and a square of an input video signal 1001 which is an original image signal and a reference image signal 1015 corresponding thereto is generated. Techniques have been proposed to configure loop filter 1014 to minimize error distortion.
  • FIG. 14 is a diagram for describing the principle of quality improvement of a reference image signal by a Wiener filter in the coding device according to Non-Patent Document 2.
  • a signal s is a signal corresponding to an input video signal 1001 to the encoding device
  • a signal s ′ is a decoded signal 1013 or a loop filter 1014 according to Non-Patent Document 1 with respect to the decoded signal 1013.
  • It is a signal corresponding to the processed signal. That is, the signal s ′ is a signal in which the coding noise e is superimposed on the signal s.
  • the Wiener filter is defined as a filter applied to the signal s' so as to minimize this coding noise e with a square error distortion criterion, and in general, the autocorrelation matrix R s's' of the signal s' and the signal
  • the filter coefficient w can be obtained from the following equation (1) by the cross correlation matrix R ss 'of s and s'.
  • the magnitudes of the matrices R s's' and R ss' correspond to the number of filter taps to be determined.
  • a signal s hat whose quality has been improved by applying a Wiener filter having a filter coefficient w corresponds to the reference image signal 1015 Obtained as
  • MPEG-4 AVC ISO / IEC 14496-10
  • ITU-T H.264 standard T. Chujoh, G. Yasuda, N. Wada, T. Watanabe, T. Yamakage, "Block-based Adaptive Loop Filter", VCEG-AI 18, ITU-T SG16 / Q. 6 meeting, July 2008
  • the signal s' is further divided into blocks of a plurality of sizes, and whether or not to apply the Wiener filter obtained for each block is selected, and the information of the filter ON / OFF Is transmitted block by block.
  • Non-Patent Document 1 the determination of the filter coefficient w is performed on a frame-by-frame basis, so localization can not be performed to coefficients that should be changed according to the nature of the local signal. For this reason, there is a limit to the quality improvement performance. Also, in order to perform the filter ON / OFF determination and the determination of the block size serving as the determination unit in frame or slice units, distortion calculation is required several times for the entire frame or slice, and the encoding process is complicated and processed. There was a problem that parallelization of
  • the present invention has been made to solve the above-mentioned problems, and has a good implementation load balance, and an image which performs efficient information compression according to the statistical and local characteristics of the video signal to be encoded. It is an object of the present invention to provide an image coding apparatus and its method, and an image decoding apparatus and its method, which realize the coding method and improve the optimality.
  • the image coding apparatus adaptively determines the size of a motion prediction unit block in a macroblock according to a predetermined condition, and divides the motion prediction unit block into a motion vector allocation region to search for a motion vector. And predicting the motion estimation image generated by the motion vector and a prediction error signal obtained by subtracting the motion prediction image from the moving image signal, and quantizing the prediction error signal using a quantization parameter.
  • a local decoding unit that generates a decoded value of the prediction error signal by performing local decoding from the compressed data quantized by the compression unit and the quantization parameter, and a decoded value of the prediction error signal And a motion prediction image are added to obtain a locally decoded image, and are held in advance based on the locally decoded image and the quantization parameter.
  • One Wiener filter set is selected from a plurality of Wiener filter sets, the filter coefficient with the highest coding efficiency is selected from the selected Wiener filter set, and the local decoded image is subjected to Wiener filtering.
  • a variable-length coding unit that codes a motion vector corresponding to the motion vector allocation area, compressed data of a prediction error signal, and a Wiener filter index.
  • An image decoding apparatus includes: a motion prediction mode for specifying the size of a motion prediction unit block in a macroblock and the shape of a motion vector assignment region obtained by dividing the motion prediction unit block from a bitstream; Extracted from the bit stream, and a variable length decoding unit that extracts a motion vector corresponding to the compressed data of the prediction error signal, a quantization parameter used for inverse quantization processing of the prediction error signal, and a Wiener filter index Based on a quantization parameter, a decoding unit that dequantizes compressed data of a prediction error signal extracted from a bitstream to obtain a decoded prediction error signal, a motion prediction mode extracted from a bitstream, and a motion vector , A prediction unit that generates a motion prediction image, and a decoded prediction error signal One Wiener filter set is selected from a plurality of Wiener filter sets held in advance based on an addition unit that adds motion estimation images to generate a decoded image, and the decoded image and quantization parameters, and the
  • the image coding method adaptively determines the size of a motion prediction unit block in a macroblock according to a predetermined condition, and divides the motion prediction unit block into a motion vector allocation region to search for a motion vector. Predicting the motion estimation image generated by the motion vector and a prediction error signal obtained by subtracting the motion prediction image from the moving image signal, and quantizing the prediction error signal using a quantization parameter.
  • a local decoding step for generating a decoded value of the prediction error signal by performing local decoding from the compressed data quantized in the compression step and the quantization parameter, and a decoded value of the prediction error signal Adding the motion prediction image to the motion prediction image to obtain a locally decoded image, the locally decoded image and the quantization parameter And select one Wiener filter set from a plurality of Wiener filter sets held in advance, and select a filter coefficient with the highest coding efficiency from the selected Wiener filter set to select a locally decoded image.
  • a motion prediction mode for specifying the shape of the motion vector assignment area, a motion vector corresponding to the motion vector assignment area, compressed data of a prediction error signal, and a variable length coding step for coding a Wiener filter index It is something which was prepared .
  • a motion prediction mode for specifying the size of a motion prediction unit block in a macroblock and the shape of a motion vector allocation region obtained by dividing the motion prediction unit block from a bit stream, a motion vector allocation region ,
  • a variable length decoding step of extracting a motion vector corresponding to the compressed data of a prediction error signal, a quantization parameter used for inverse quantization processing of the prediction error signal, and a Wiener filter index, and extracted from a bit stream Dequantizing the compressed data of the prediction error signal extracted from the bit stream based on the quantization parameter to obtain a decoded prediction error signal, and based on the motion prediction mode and the motion vector extracted from the bit stream , Generating a motion prediction image, and Based on the addition step of adding the decoded prediction error signal and the motion predicted image to generate a decoded image, and based on the decoded image and the quantization parameter, one Wiener filter set is selected from a plurality of Wiener filter sets held in advance. And
  • the filter coefficient having the highest coding efficiency is selected from the plurality of Wiener filter sets held in advance, and the local decoded image is subjected to the Wiener filter processing, and the information of the filter coefficients is the Wiener filter Since the output is made as an index, a video encoding method is implemented that performs efficient information compression according to the statistical and local characteristics of the video signal to be encoded, with good implementation load balance, 4: It is possible to provide a video encoding apparatus and method that are more optimal for encoding ultra-high definition video signals of 4: 4 format, and a video decoding apparatus and method thereof.
  • FIG. 1 is a block diagram showing a configuration of an image coding apparatus according to Embodiment 1. It is explanatory drawing which shows the reference
  • FIG. 7 is a flowchart showing an operation of design of filter coefficient sets shared by the image coding apparatus and the image decoding apparatus according to the first embodiment. It is a block diagram which shows the internal structure of the loop filter shown in FIG. It is an explanatory view showing data arrangement of a bit stream.
  • FIG. 1 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 1. It is a block diagram which shows the internal structure of the loop filter shown in FIG. It is a block diagram which shows the structure of the encoding apparatus by nonpatent literature 1.
  • FIG. FIG. 17 is a diagram for describing the principle of quality improvement of a reference image signal by a Wiener filter in the coding device according to Non-Patent Document 2.
  • Embodiment 1 In this embodiment, an image encoding apparatus and an image decoding apparatus that perform compression and extension of a digital video signal input in the 4: 4: 4 format perform motion compensation prediction processing in accordance with the state of the signal of each color component. An image coding apparatus and an image decoding apparatus will be described.
  • FIG. 1 shows a 4: 4: 4 format used as an input by the image coding apparatus and the image decoding apparatus according to the first embodiment.
  • the 4: 4: 4 format refers to a format in which the number of pixels of three signal components C0, C1, and C2 constituting a color moving image is the same as shown in FIG. 1A.
  • the color space of the three signal components may be RGB or XYZ, or may be luminance / color difference (YUV, YCbCr, or YPbPr).
  • the color space is YUV, YCbCr, or YPbPr
  • the color difference signal component with respect to the number of pixels of luminance Y (For example, in the case of YCbCr, Cb, Cr) refers to a format in which each of horizontal W and vertical H is half.
  • the image encoding device and the image decoding device described below are, in particular, a method of performing processing in which the color space of the 4: 4: 4 format is YUV, YCbCr, or YPbPr and each color component is regarded as equivalent to a luminance component. It limits to and explains. However, it is needless to say that the operation described below can be directly applied to the luminance signal also in the image encoding device and the image decoding device intended for the video signal in the 4: 2: 0 format.
  • FIG. 2 is a block diagram showing the configuration of the image coding apparatus according to the first embodiment.
  • the image coding apparatus shown in FIG. 2 divides an input video frame of 4: 4: 4 format into blocks of a predetermined size, that is, M max ⁇ M max pixel blocks (hereinafter referred to as “reference blocks”), Motion prediction is performed in units of blocks, and the prediction error signal is compressed and encoded.
  • reference blocks M max ⁇ M max pixel blocks
  • the input video signal 1 to be encoded is divided into units of reference blocks in the block division unit 2 and is input to the prediction unit 4 as the encoded signal 3.
  • generates in FIG. 3 is shown.
  • the reference block is configured as reference block data of a unit in which rectangular blocks of M max ⁇ M max pixels are put together.
  • the reference block size M max is determined and encoded at a higher layer data level such as a frame or a sequence, or a GOP (Group Of Pictures).
  • the reference block size M max may be changed in a frame, in this case, the reference block size M max is specified in units of grouping a plurality of macro blocks such as slices.
  • the reference block data is further divided into “motion prediction unit blocks” of L i ⁇ M i pixel blocks (i: color component identifier), and motion prediction and encoding are performed based on the motion prediction unit blocks.
  • each of the motion prediction unit block sizes L i and M i can be selected for each of the color components C0, C1 and C2, and can be changed in units of sequence, GOP, frame, reference block, etc. It is also good. By adopting such a configuration, it is possible to flexibly determine the motion prediction unit block sizes L i and M i according to the difference in the property of the signal for each color component without changing the reference block size M max. It is possible to implement efficient implementation considering parallelization / pipelining of encoding / decoding processing in units of reference blocks.
  • the prediction unit 4 motion-compensates the image signal of each color component in the reference block to obtain a prediction error signal 5.
  • the operation of the prediction unit 4 is a feature of the image coding apparatus according to the first embodiment and will be described in detail later.
  • the compression unit 6 performs transformation processing such as DCT processing on the prediction error signal 5 to remove signal correlation, and then quantizes it to obtain prediction error compressed data 7. At this time, the compression unit 6 performs orthogonal transformation and quantization such as DCT on the prediction error signal 5, and outputs the prediction error compressed data 7 to the variable length coding unit 8 and the local decoding unit 10.
  • the variable-length coding unit 8 entropy-codes the prediction error compressed data 7 and outputs it as a bit stream 9.
  • the local decoding unit 10 obtains the decoded prediction error signal 11 from the prediction error compressed data 7.
  • the decoded prediction error signal 11 is added to the prediction signal (motion prediction image) 12 used to generate the prediction error signal 5 by the addition unit to form a decoded signal (local decoded image) 13, which is input to the loop filter 14.
  • the prediction signal generation parameter 17 determined in the prediction unit 4 to obtain the prediction signal 12 is sent to the variable length coding unit 8 and output as a bit stream 9.
  • the contents of the prediction signal generation parameter 17 will be described in detail later along with the description of the prediction unit 4.
  • the encoding method of the prediction signal generation parameter 17 in the variable length encoding unit 8 is also one of the features in the first embodiment, and will be described in detail later.
  • the loop filter 14 generates a coded signal 3 which is an original image signal, a prediction signal generation parameter 17 and a quantization parameter with respect to the decoded signal 13 on which block distortion generated as a result of transform coefficient quantization in the compression unit 6 is superimposed.
  • the signal correction is performed to be asymptotically to the coded signal 3 using S.19.
  • the operation of the loop filter 14 is a feature of the image coding apparatus according to the first embodiment, and will be described in detail later.
  • Non-Patent Document 1 when the reference block is a macroblock, a general method is to perform coding while selecting intraframe coding and interframe prediction coding on a macroblock basis. This is because if inter-frame motion prediction is not sufficient, using intra-frame correlation may result in more efficient coding.
  • the description about intraframe coding and the selective use thereof are not described in the text, but unless otherwise stated, the reference block In this configuration, selective use of intraframe coding is possible.
  • the reference block may be defined as a macroblock in the image coding apparatus according to the first embodiment, the term "reference block" is also used hereinafter to describe motion prediction.
  • the detailed operation of the prediction unit 4 which is one of the features of the first embodiment will be described below.
  • the features of the prediction unit 4 of the first embodiment are the following two points. (1) Base block ⁇ Motion prediction unit Interlocking adaptation of block size used for motion prediction and block size (2) Determination of motion prediction mode and motion vector according to the property of each color component
  • the prediction unit 4 first divides the reference block into motion prediction unit blocks of L i ⁇ M i pixels according to the nature of the signal of each color component, and further the motion prediction unit block is l i ⁇ It is divided into a plurality of shapes consisting of a combination of m i pixels. Then, the prediction unit 4 assigns a unique motion vector to each divided region to perform prediction, selects a shape with the highest prediction efficiency as a motion prediction mode, and uses each motion vector obtained as a result to select each divided region. Motion estimation is performed to obtain a prediction error signal 5.
  • the division shape in the motion prediction unit block is a shape configured by a combination of “basic blocks” consisting of l i ⁇ m i pixels.
  • FIG. 4 is an explanatory view showing an example of a shape in which a motion prediction unit block is divided in basic block units by the prediction unit 4.
  • the pattern (division pattern) mc_mode 0 to 7 of the division shape shown in FIG. 4 is common to the three color components.
  • division patterns mc_mode 0 to 7 may be configured to be determined independently for three color components.
  • the divided patterns mc_mode 0 to 7 will be hereinafter referred to as “motion prediction mode”.
  • the shape of the motion prediction application area is limited to a rectangle, and diagonal division other than the rectangle as shown in FIG. 4 can not be used.
  • the shape of the region to which motion prediction is applied as shown in FIG. 4 is diversified to form a rectangular shape in the case where complex motion is included in the reference block, such as the contour portion of the moving object. Motion prediction is possible with a smaller number of motion vectors than division. Also, in “S. Kondo and H.
  • the approach of FIG. 4 in the image coding apparatus is as follows: 1) the value of M max is based on the coding conditions and the resolution and nature of the video signal; 2) possible to divide the pixel block of M max ⁇ M max into the basic block L i ⁇ M i pixel according to the characteristics of each color component C i , and 3) the division condition of the basic block.
  • the value of the size M max of the basic block does not change locally within a frame or slice, and can be changed only at the upper data structure level such as frame level or frame sequence (sequence, GOP).
  • This mechanism enables adaptation to differences in the meaning of image signal patterns contained in the reference block. For example, in a video with a small resolution (Video Graphics Array, VGA, etc.) and a video with a large resolution (HDTV, etc.), the meaning of the signal pattern in the same M max ⁇ M max pixel block is different.
  • the processing unit of motion prediction can be optimized according to the signal characteristics of each color component.
  • the overall efficiency of motion prediction can be reduced while suppressing the amount of code required to represent the split pattern in the motion prediction unit block by giving the limited freedom of the split pattern in the motion prediction unit block as shown in FIG. Can be improved.
  • the process of determining the value of the reference block size M max at the frame level is performed efficiently, the variation of the division pattern to be examined in the reference block thereafter can be reduced as compared with the prior art. The load can be reduced.
  • M max As a method of determining the value of the reference block size M max , there are, for example, the following methods. (1) Determined based on the resolution of the encoding target video. In the case of the same M max value, when the resolution is large, the image signal pattern in the reference block has more meaning as a noise component, and the motion vector has difficulty in capturing the image signal pattern. In such a case, the M max value is increased to enable capture of the image signal pattern. (2) with a small M max value if activity is greater the magnitude of the difference value is regarded as the activity between frames, it is smaller performs motion prediction with a large M max value. Also, size control at this time is determined based on the frame rate of the encoding target video.
  • the M max value can be set not to be too large to predict even fine motions. It is possible to use a method such as (3) Determine by combining the methods of 1) and 2) by weighting.
  • the sizes L i and M i of the motion prediction unit block are determined for each color component.
  • the input video signal 1 is a signal defined in a YUV (or YCbCr or the like) color space
  • the U / V component which is a color signal has a narrower signal band than the luminance signal Y component. Therefore, the intra-block variance is smaller than the luminance.
  • Size L i of the U / V components this as a basis, the size L i of the luminance signal Y component for M i, configured to take a value larger than M i, examples of criteria such is considered (Fig. 3 reference).
  • the values of the block sizes M max, L i and M i obtained as a result of performing these judgments are notified to the block division unit 2, the prediction unit 4 and the variable length coding unit 8 as reference block size information 18.
  • L i with respect to M max by setting the M i to derive the possible values by a simple operation, L i, rather than coding the M i as an independent value, The code amount required for the reference block size information 18 can be suppressed because the identifier of the calculation formula may be encoded.
  • the image coding apparatus includes a reference block size determination unit for determining the values of M max, L i and M i and notifying the respective units, The information 18 may be determined.
  • the prediction unit 4 executes motion detection processing using the division patterns of FIGS. 3 and 4 based on the motion prediction unit block size L i, M i derived from the reference block size information 18.
  • FIG. 5 is a flowchart showing the operation of the prediction unit 4.
  • the prediction unit 4 performs motion prediction of the C i component of the frame in units of motion prediction unit blocks of L i ⁇ M i pixels. Basically, in this process, the optimum motion vector for each divided area is detected in the specified motion search range for each of the division patterns of mc_mode 0 to 7 in FIG. 4, and finally the mc_mode 0 for the motion prediction unit block is It is determined which one of the motion prediction modes of to 7 is the most predictive efficient.
  • the prediction efficiency is determined by the total code amount R of the motion vector in the motion prediction unit block, and between the prediction signal 12 generated from the reference image stored in the memory 16 by applying the motion vector and the input video signal 1 It is defined by the following cost J derived from the prediction error amount D.
  • the prediction unit 4 first calculates the cost J k for each motion prediction mode mc_mode k (step ST1).
  • a method of calculating the cost J will be described with reference to FIG. 6 taking the case of mc_mode 5 as an example.
  • the motion prediction unit block to be predicted in the frame F (t) is composed of two divided areas B 0 and B 1 .
  • two encoded / locally decoded reference images F ′ (t ⁇ 1) and F ′ (t ⁇ 2) are stored in the memory 16, and the divided areas B 0 and B 1 are 2 It is assumed that motion prediction can be performed using a set of reference images F ′ (t ⁇ 1) and F ′ (t ⁇ 2).
  • the divided area B 0 detects the motion vector MV t-2 (B 0 ) using the reference image F '(t-2), and the divided area B 1 uses the reference image F' (t-1) Motion vector MV t-1 (B 1 ).
  • v is a motion vector
  • the prediction error amount D of divided area B is the sum of absolute differences
  • the following equation (3) can be calculated using (Sum of Absolute Difference, SAD).
  • MVD (B 0 ) MV t-2 (B 0 ) -PMV (B 0 ) (4)
  • MVD (B 1 ) MV t-1 (B 1 ) -PMV (B 1 )
  • the prediction unit 4 calculates the cost J for all motion vectors to be examined in the search range, and obtains a solution with the smallest cost J as a division pattern of mc_mode5.
  • An example of calculation of the prediction vector PMV of mc_mode 1 to 4 is shown in FIG.
  • an arrow means a motion vector MV in the periphery used for deriving a prediction vector
  • a median (median) of three motion vectors MV surrounded by ⁇ is a prediction vector PMV of a divided region to which it points become.
  • l i ⁇ m i processing for determining the sub_mc_mode for a pixel block is assumed to conform to the processing flow shown in FIG. 5, L i ⁇ M i cost J 7 of mc_mode7 corresponding to a pixel block unit, l i ⁇ m i pixels This is the total cost obtained using sub_mc_mode determined by the block unit.
  • the prediction unit 4 verifies whether the cost J k in mc_mode k thus obtained is smaller than the cost in mc_mode k verified so far (step ST2), and if it is smaller (step ST2) ST2 "Yes") and mc_mode k are held as the optimal motion prediction mode up to that point, and the motion vector and prediction error signal at that time are held (step ST3).
  • step ST4 "Yes" the prediction unit 4 outputs the motion prediction mode, the motion vector, and the prediction error signal 5 which have been held so far as a final solution (step ST5). ). Otherwise (step ST2 "No” or step ST4 "No"), the variable k is incremented in step ST6, and the process returns to step ST1 to verify the next motion prediction mode.
  • the loop filter 14 generates a coded signal 3 which is an original image signal, a prediction signal generation parameter 17 and a quantization parameter with respect to the decoded signal 13 on which block distortion generated as a result of transform coefficient quantization in the compression unit 6 is superimposed. 19 is used to determine a Wiener filter coefficient to be subjected to signal correction to be as close as possible to the encoded signal 3, and to output the result of the filtering processing as a reference image signal 15, and information for specifying the Wiener filter coefficient
  • the index 20 is output to the variable length coding unit 8.
  • the Wiener filter coefficient is selected from among a plurality of filter sets previously designed in advance, and only its index is selected. Configure to transmit.
  • FIG. 8 is a flowchart showing an operation of filter coefficient set design shared by the image encoding device and the image decoding device according to the first embodiment. Since the Wiener filter is determined by the cross-correlation between the auto-correlation of the current decoded pixel value and the ideal input pixel value to be used as a reference, as described above, the quantization is first performed on the video signal having various properties.
  • the encoding process is performed with the parameter (Qp) 19 (step ST11), and an ideal input pixel value having a certain similar statistical property and a decoded pixel value obtained by encoding the same are set as a set.
  • the learning sequence is sampled based on statistical properties (step ST12). In the first embodiment, sampling is performed on the basis of whether or not an edge region in which the cross correlation greatly fluctuates. As an index for that purpose, for example, the variance with adjacent pixels, whether or not it is a converted block boundary portion, etc. may be mentioned.
  • the filter coefficient w is designed based on the above equation (1) for each of the sampled learning sequences (step ST13).
  • a filter with a plurality of taps may be designed for one learning sequence.
  • the Wiener filter design is completed for all the learning sequences based on all the defined image statistics (step ST14 "Yes")
  • the existence of the quantization parameter 19 which has not been processed is confirmed (step ST15), and the next quantization is performed.
  • the same process is repeated for the parameter Qp (step ST16).
  • the filter set by sampling for each quantization parameter Qp, the optimum filter selection according to the local signal nature for the situation where cross correlation changes due to the level of coding distortion It can be carried out.
  • the information on the statistical property of the decoded signal 13 and the quantization parameter 19 can be uniquely recognized on the image decoding device side, it is not necessary to transmit the additional information to select the Wiener filter set.
  • FIG. 9 is a block diagram showing an internal configuration of the loop filter 14.
  • the Wiener filter set selection unit 30 selects the Wiener filter set 32 to be verified from all the Wiener filter sets 31 based on the index that specifies the property of the signal of the decoded signal 13 and the quantization parameter 19.
  • the Wiener filter selection unit 33 applies each of all the filter coefficients registered in the selected Wiener filter set 32 to the decoded signal 13 to execute the filtering process. Note that this filtering process itself executes a process equivalent to the Wiener filter processing unit 35 in the subsequent stage.
  • the Wiener filter selection unit 33 sets the code length of the index value (corresponding to the Wiener filter index 20) specifying each filter coefficient as the total code amount R, and the coded signal 3 and the decoded signal 13 subjected to the filtering process
  • the cost error J based on the above equation (2) is set as a prediction error amount D, and a Wiener filter coefficient 34 which minimizes this cost J is selected.
  • the Wiener filter index 20 is an identification number of a filter coefficient group constituting the Wiener filter set 32 determined by the quantization parameter 19 and an index specifying the property of the signal of the decoded signal 13.
  • the Wiener filter selection unit 33 The index value corresponding to the selected Wiener filter coefficient 34 is output as the Wiener filter index 20.
  • the Wiener filter index 20 is configured to determine a code length by variable-length coding because occurrence frequency may be biased depending on the nature of an image signal to be processed.
  • the Wiener filter processing unit 35 executes the Wiener filter processing using the Wiener filter coefficient 34 specified by the Wiener filter index 20, and outputs the reference image signal 15 corresponding to the current reference block position. By performing this process for every reference block in one frame, loop filter processing for one frame is completed.
  • the Wiener filter index 20 is transmitted to the variable-length coding unit 8 as information for specifying the Wiener filter coefficient 34, and is multiplexed in the bit stream 9 for each reference block.
  • a flag to turn on / off the transmission may be transmitted separately from the Wiener filter index 20, and the Wiener filter index 20 is configured to include an option “do not perform the Wiener filter processing” as one of the options.
  • You may
  • a flag indicating whether or not to multiplex the Wiener filter index 20 at the level of the reference block, that is, whether or not to process the loop filter 14, is multiplexed in the bitstream 9 at a higher level such as slice, picture, or sequence. It may be configured as follows.
  • a loop filter 1014 and a loop filter 14 may be provided, and after applying a loop filter 1014 for the purpose of removing block distortion, the Wiener filter 14 may be executed.
  • the loop filter 14 By configuring the loop filter 14 in this way, it is possible to uniquely identify on the image decoding device side from the Wiener filter set statistically optimized in advance without performing the Wiener filter design at all in the encoding process. It is possible to select a plurality of Wiener filter candidates based only on the information, and to execute optimal Wiener filter processing based on rate distortion optimum determination. In addition, since the Wiener filter coefficient can be transmitted by using only the index value, efficient coding is performed with the amount of code of additional information suppressed, while suppressing the amount of calculation compared to the technique disclosed in Non-Patent Document 2. be able to.
  • the loop filter processing with this configuration can be easily decomposed into processing on a reference block basis, which can not be realized by the configuration of Non-Patent Document 2 in which Wiener filter design and execution is performed for the entire frame. Therefore, it can be said that the method is suitable for pipeline processing in units of reference blocks and parallel processing.
  • the input video signal 1 is coded by the image coding apparatus shown in FIG. 2 based on the above processing, and a unit (hereinafter referred to as a slice) in which a plurality of reference blocks are bundled is an image as a bit stream 9. It is output from the encoding device.
  • FIG. 10 shows the data arrangement of the bit stream 9.
  • the bitstream 9 is configured as a collection of coded data for the number of reference blocks contained in a frame, and the reference blocks are unitized in slice units.
  • a picture level header is prepared in which reference blocks belonging to the same frame refer as a common parameter, and reference block size information 18 is stored in this picture level header. If the reference block size M max is fixed in sequence units higher than the picture level, the reference block size information 18 may be configured to be multiplexed to the sequence level header.
  • Each slice starts with a slice header, and then coded data of each reference block in the slice is arranged.
  • the example of FIG. 10 shows that the second slice includes K reference blocks.
  • the reference block data is composed of a reference block header and prediction error compressed data, and the reference block header corresponds to the motion prediction mode and motion vector of the motion prediction unit block in the reference block (corresponding to the prediction signal generation parameter 17 And the quantization parameter 19 used to generate the prediction error compressed data 7 are arranged.
  • the types of mc_mode 0 to 7 are encoded, and in the case of mc_mode 0 to 6, motion vector information of a motion vector allocation area designated in the motion prediction mode is encoded.
  • sub_mc_mode coding is performed for each basic block.
  • the Wiener filter ON / OFF flag may be multiplexed in a header at a level higher than the reference block, such as a sequence, picture, slice, etc. (an example of multiplexing in a picture level header is shown in FIG. 10).
  • the Wiener filter index is used to specify the Wiener filter coefficient 34 to be applied to the decoded signal 13 as the processing result of the loop filter 14 described above. 20 is multiplexed to the lower reference block header.
  • the reference block size determination unit is configured so that the sizes L i and M i of the motion prediction unit block used in each reference block can be selected for each reference block.
  • the sizes may be multiplexed in each reference block header.
  • the size of the motion prediction unit block can be changed according to the nature of the local image signal, It is possible to perform more adaptive motion prediction.
  • identification information in upper level headers such as sequences, GOPs, pictures, slices, etc. It may be configured to be multiplexed. As a result, in the case where the motion prediction performance is small even if fixed at the upper level, the overhead of coding the motion prediction unit block sizes L i and M i for each reference block can be reduced to achieve efficient coding. It is possible to do.
  • FIG. 11 is a block diagram showing a configuration of the image decoding device in the first embodiment.
  • the variable length decoding unit 100 receives the bit stream 9 shown in FIG. 10, decodes the sequence level header, and then decodes the picture level header to decode the information of the reference block size.
  • the size M max of the reference block used in the picture and the sizes L i and M i of the motion prediction unit block are recognized, and the reference block size information 18 is notified to the prediction error decoding unit 101 and the prediction unit 102.
  • the size L i of the motion prediction unit block in the case of a bit stream structure that allows multiplexed M i during each reference block header, the variable length decoding unit 100, the size of the motion prediction unit block L i, M i Identifies the size L i , M i of the motion prediction unit block by decoding the identification information indicating whether or not each of the reference block headers is multiplexed, and decoding the reference block headers based on the identification information Configure to
  • the variable-length decoding unit 100 also decodes the Wiener filter ON / OFF flag, if there is a Wiener filter ON / OFF flag, when decoding the upper level header such as a sequence, picture, slice or the like.
  • Decoding of reference block data is first performed from decoding of the reference block header.
  • the variable-length decoding unit 100 decodes the Wiener filter index 20 in this process when the Wiener filter ON / OFF flag indicates “multiplex the Wiener filter index 20 in the reference block header”. Otherwise, the variable-length decoding unit 100 recognizes that “the Wiener filter is not performed on the decoded signal 13”. Next, the variable-length decoding unit 100 decodes a motion prediction mode and a motion vector to be applied per motion prediction unit block to obtain a prediction signal generation parameter 17 and outputs the parameter to the prediction unit 102.
  • the prediction error compressed data 7 and the quantization parameter 19 are input to the prediction error decoding unit 101 and restored to the decoded prediction error signal 11.
  • the prediction error decoding unit 101 performs processing equivalent to that of the local decoding unit 10 in the image coding apparatus shown in FIG.
  • the prediction unit 102 generates a prediction signal (motion prediction image) 12 from the prediction signal generation parameter 17 decoded by the variable-length decoding unit 100 and the reference image signal 15 in the memory 103.
  • the prediction unit 102 performs processing equivalent to that of the prediction unit 4 in the image coding apparatus, it does not include the motion vector detection operation.
  • the motion prediction mode is any one of mc_mode 0 to 7 shown in FIG.
  • the prediction unit 102 generates a prediction signal 12 using a motion vector assigned to each basic block based on the divided shape.
  • the decoded prediction error signal 11 and the prediction signal 12 are added by the addition unit and are input to the loop filter 104 as a decoded signal (decoded image) 13.
  • the decoded signal 13 is subjected to processing for removing coding noise by the Wiener filter in the loop filter 104, and then stored in the memory 103 as a reference image signal 15 for generating a prediction signal 12 thereafter.
  • FIG. 12 is a block diagram showing an internal configuration of the loop filter 104. As shown in FIG. Among the components shown in FIG. 12, components given the same numbers as the internal components of the loop filter 14 shown in FIG. 9 perform the same operations. Further, in all Wiener filter sets 31 shown in FIG. 12, all Wiener filter sets designed by the flow shown in FIG. 8 are registered in advance.
  • the Wiener filter set selection unit 30 selects the Wiener filter set 32 based on the index specifying the property of the decoded signal 13 and the quantization parameter 19. Choose Next, the Wiener filter selection unit 105 outputs the Wiener filter coefficient 34 specified by the Wiener filter index 20 out of all the filter coefficients registered in the selected Wiener filter set 32. That is, the Wiener filter selection unit 105 can be realized by a simple table lookup process. Then, the Wiener filter processing unit 35 performs Wiener filter processing using the Wiener filter coefficient 34, and outputs a reference image signal 15 corresponding to the current reference block position. By performing this process for every reference block in one frame, loop filter processing for one frame is completed.
  • the Wiener filter processing by the loop filters 14 and 104 is performed on the decoded signal 13.
  • the loop filter 14, 104 is added to the addition unit that adds the decoded prediction error signal 11 and the prediction signal 12.
  • Wiener filter processing on the decoded prediction error signal 11 locally decoded by the local decoding unit 10 instead of the decoded signal 13 or the decoded prediction error signal 11 decoded by the prediction error decoding unit 101. It may be configured as follows.
  • the configuration of the Wiener filter set 32 to be prepared by this configuration It is possible to perform efficient Wiener filter processing with less variation.
  • the loop filter 14 is executed by the Wiener filter set 32 in which block distortion is not considered.
  • block distortion removal filtering corresponding to H.264 may be performed.
  • the quality of the decoded signal 13 and the reference image signal 15 based on the Wiener filter can be realized with a small amount of operation and an additional code amount, and efficient video encoding It becomes possible.
  • the size of the motion prediction unit block is adaptively determined according to each color component signal, and the motion prediction unit block is divided into motion vector allocation areas.
  • Motion vector and generates a prediction error signal 5 generated by the motion vector and a prediction error signal 5 obtained by subtracting the prediction signal 12 from the coding signal 3, and quantizing the prediction error signal 5
  • the compression unit 6 performs compression encoding by quantization using the parameter 19, and local decoding is performed from the prediction error compressed data 7 quantized by the compression unit 6 and the quantization parameter 19, and the prediction error compressed data 7
  • a local decoding unit 10 which generates the decoded prediction error signal 11 of the above, an addition unit which adds the decoded prediction error signal 11 and the prediction signal 12 to obtain the decoded signal 13;
  • a Wiener filter set selecting unit 30 for selecting one Wiener filter set 32 from all the Wiener filter sets 31 stored in advance based on the No.
  • a Wiener filter selection unit 33 which selects the Wiener filter coefficient 34 having the highest coding efficiency and outputs information of the Wiener filter coefficient 34 as the Wiener filter index 20, and a Wiener filter processing unit which performs Wiener filter processing on the decoded signal 13.
  • a motion prediction mode for specifying the shape of a motion vector assignment area for use in generating a prediction signal 12 for each block serving as a unit of Wiener filtering, a motion vector corresponding to the motion vector assignment area, and a prediction error
  • the reduced data 7 was configured with a variable length coding unit 8 which encodes a Wiener filter index 20.
  • the filter coefficient can be expressed by the Wiener filter index 20, and the quality of the decoded signal 13 and the reference image signal 15 based on the Wiener filter processing unit 35 in the loop filter 14 can be realized with a small amount of operation and an additional code amount.
  • Efficient video coding is possible.
  • a video encoding method is implemented that performs efficient information compression according to the statistical and local characteristics of the video signal to be encoded, with a good implementation load balance, achieving a 4: 4: 4 format
  • a motion prediction mode for specifying the size of the motion prediction unit block and the shape of the motion vector allocation area obtained by dividing the motion prediction unit block from the input bitstream 9
  • a variable length decoding unit 100 for extracting a motion vector corresponding to a motion vector allocation region, prediction error compressed data 7, a quantization parameter 19 and a Wiener filter index 20, and quantization extracted from a bitstream 9
  • the prediction error decoding unit 101 for inversely quantizing the prediction error compressed data 7 to obtain the decoded prediction error signal 11, and based on the prediction signal generation parameter 17 including the motion prediction mode and the motion vector
  • the prediction unit 102 that generates the signal 12, the decoded prediction error signal 11 and the prediction signal 12 And selecting one Wiener filter set 32 from all the Wiener filter sets 31 held in advance, based on the addition unit for calculating the decoded signal 13 and the decoded signal 13 and the quantization parameter 19 Section 30, the Wiener filter selection section 105 for identifying the Wiener filter coefficient 34 corresponding to the Wiener filter index
  • the encoding / decoding processing in the present invention is based on the conventional luminance / color difference component format
  • the present invention is also applicable to coding / decoding in units of reference blocks such as macroblocks Needless to say.
  • the image encoding device, the image decoding device, and the like according to the present invention have a good implementation load balance and can perform efficient information compression according to the statistical and local characteristics of the video signal to be encoded. It is suitable for use in a moving picture coding apparatus etc. implemented in a mobile phone etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　ループフィルタを、復号信号１３と量子化パラメータ１９とに基づいて、予め保持している全ウィーナフィルタセット３１からひとつのウィーナフィルタセット３２を選択するウィーナフィルタセット選択部３０と、当該選択したウィーナフィルタセット３２のうちから最も符号化効率が高いウィーナフィルタ係数３４を選択するとともにこのウィーナフィルタ係数３４の情報をウィーナフィルタインデックス２０として出力するウィーナフィルタ選択部３３と、復号信号１３にウィーナフィルタ係数３４を用いてウィーナフィルタ処理を施すウィーナフィルタ処理部３５とで構成する。このウィーナフィルタインデックス２０は符号化されてビットストリームとして画像復号装置へ出力される。　

Description

画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
　この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に関する。
　従来、ＭＰＥＧやＩＴＵ－Ｔ　Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を行った後、生成した予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行う。この際、圧縮率が高くなると、動き補償予測のために用いる予測参照画像の品質が低下することに起因して圧縮効率が妨げられるという問題がある。そのため、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４符号化方式（非特許文献１参照）では、直交変換係数の量子化に伴って発生するブロックひずみを除去した後、予測参照画像として利用するループ内ブロッキングフィルタの処理が採用されている。
　図１３は、非特許文献１による符号化装置の構成を示すブロック図である。非特許文献１による符号化では、まず、符号化対象となる入力映像信号１００１を、ブロック分割部１００２においてマクロブロックの単位に分割し、符号化映像信号１００３として予測部１００４へ入力する。
　予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で動き補償予測を行う場合、マクロブロック自体、またはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。
　圧縮部１００６は、予測誤差信号１００５に対して、ＤＣＴ（離散コサイン変換）処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。
　この復号予測誤差信号１０１１を、予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３にして、ループフィルタ１０１４に入力する。復号信号１０１３は、ループフィルタ１０１４でブロックひずみを除去する処理が施された後、以降の予測信号１０１２を生成するための参照画像信号１０１５としてメモリ１０１６に格納される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１７は可変長符号化部１００８へ送られ、ビットストリーム１００９に多重されて出力される。ここで、予測信号生成用パラメータ１０１７には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
　非特許文献１のループフィルタ１０１４は、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて円滑化強度を決定し、ブロック境界に発生するひずみの低減を図っている。これによって、上述したように、参照画像信号１０１５の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。
　一方、この方式では、ＤＣＴ変換のブロックサイズが小さい場合、圧縮率が高くなると画面全体が過度に平滑化され、映像がぼやけてしまうという問題がある。この問題を解決するために、非特許文献２では、ループフィルタ１０１４にウィーナフィルタ（Ｗｉｅｎｅｒ　Ｆｉｌｔｅｒ）を適用して、原画像信号である入力映像信号１００１とこれに対応する参照画像信号１０１５との二乗誤差ひずみを最小化するようにループフィルタ１０１４を構成する技術が提案されている。
　図１４は、非特許文献２による符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を説明するための図である。図１４において、信号ｓは、符号化装置への入力映像信号１００１に相当する信号であり、信号ｓ’は、復号信号１０１３、または復号信号１０１３に対して非特許文献１に係るループフィルタ１０１４の処理を施した信号に相当する信号である。つまり、信号ｓ’は、信号ｓに符号化雑音ｅが重畳された信号である。ウィーナフィルタは、この符号化雑音ｅを二乗誤差ひずみの規範で最小化するように信号ｓ’に対して施されるフィルタとして定義され、一般に、信号ｓ’の自己相関行列Ｒs's'と、信号ｓ，ｓ’の相互相関行列Ｒss'とによって、下式（１）からフィルタ係数ｗを求めることができる。行列Ｒs's'，Ｒss'の大きさは求められるフィルタタップ数に対応する。
Figure JPOXMLDOC01-appb-I000001
　フィルタ係数ｗのウィーナフィルタを施すことにより、品質改善がなされた信号ｓハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）が、参照画像信号１０１５に相当する信号として得られる。
ＭＰＥＧ－４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６－１０）／ＩＴＵ－Ｔ Ｈ.２６４規格 Ｔ.Ｃｈｕｊｏｈ, Ｇ.Ｙａｓｕｄａ, Ｎ.Ｗａｄａ, Ｔ.Ｗａｔａｎａｂｅ, Ｔ.Ｙａｍａｋａｇｅ, "Ｂｌｏｃｋ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ", ＶＣＥＧ－ＡＩ１８, ＩＴＵ－Ｔ ＳＧ１６／Ｑ．６ ｍｅｅｔｉｎｇ, Ｊｕｌｙ ２００８
　上述したようにウィーナフィルタをループフィルタに適用する場合、復号装置側でも符号化装置と等価なループフィルタ処理を実行しなければならないが、復号装置では信号ｓは既知ではないため、求めたフィルタ係数ｗを符号化してビットストリームに多重し、復号装置に伝達しなければならない。
　非特許文献２では、複数種類のタップ数のフィルタ係数ｗを映像フレーム全体で求め、フィルタ係数ｗの符号量とフィルタ処理実施後の雑音（ｅ’＝ｓハット－ｓ）がレートひずみ規範で最適となるタップ数のフィルタを特定した後、さらに信号ｓ’を複数サイズのブロックに分割し、各ブロックごとに求めたウィーナフィルタを適用するか否かの選択を行って、フィルタＯＮ／ＯＦＦの情報をブロックごとに伝送する。これにより、ウィーナフィルタ処理に要する追加の符号量を抑制して予測画像品質を改善することができる。
　一方、非特許文献１の手法では、フィルタ係数ｗの決定がフレーム単位で行われるので、本来局所的な信号の性質に応じて変化すべき係数へのローカライズを行うことができない。このため、品質改善性能に限界がある。また、フィルタＯＮ／ＯＦＦの判定および判定単位となるブロックサイズの決定をすべてフレームないしスライス単位で行うために、フレームないしスライス全体で複数回のひずみ計算を要し、符号化処理が複雑、かつ処理の並列化が困難となる課題があった。
　この発明は、上記のような課題を解決するためになされたもので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて効率的な情報圧縮を行う映像符号化方法を実現して、最適性を高めた画像符号化装置およびその方法、並びに画像復号装置およびその方法を提供することを目的とする。
　この発明に係る画像符号化装置は、マクロブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を動画像信号から差し引いた予測誤差信号とを生成する予測部と、予測誤差信号を量子化パラメータを用いて量子化することによって圧縮符号化する圧縮部と、圧縮部によって量子化された圧縮データと量子化パラメータとから局所復号を行って、予測誤差信号の復号値を生成する局所復号部と、予測誤差信号の復号値と動き予測画像とを加算して局所復号画像を得る加算部と、局所復号画像と量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して当該選択したウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して、局所復号画像にウィーナフィルタ処理を施すと共に、当該ウィーナフィルタ処理に用いたフィルタ係数の情報をウィーナフィルタインデックスとして出力するフィルタ部と、ウィーナフィルタ処理の単位となるブロック毎に、動き予測画像の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、ウィーナフィルタインデックスとを符号化する可変長符号化部とを備えるようにしたものである。
　この発明に係る画像復号装置は、ビットストリームから、マクロブロック内の動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、当該予測誤差信号の逆量子化処理に用いる量子化パラメータと、ウィーナフィルタインデックスとを抽出する可変長復号部と、ビットストリームから抽出された量子化パラメータに基づいて、ビットストリームから抽出された予測誤差信号の圧縮データを逆量子化して復号予測誤差信号を得る復号部と、ビットストリームから抽出された動き予測モードとおよび動きベクトルに基づいて、動き予測画像を生成する予測部と、復号予測誤差信号と動き予測画像を加算して復号画像を生成する加算部と、復号画像と量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該ウィーナフィルタセットの中の、ビットストリームから抽出されたウィーナフィルタインデックスに該当するフィルタ係数を特定して復号画像に対してウィーナフィルタ処理を施すフィルタ部とを備えるようにしたものである。
　この発明に係る画像符号化方法は、マクロブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を動画像信号から差し引いた予測誤差信号とを生成する予測ステップと、予測誤差信号を量子化パラメータを用いて量子化することによって圧縮符号化する圧縮ステップと、圧縮ステップで量子化された圧縮データと量子化パラメータとから局所復号を行って、予測誤差信号の復号値を生成する局所復号ステップと、予測誤差信号の復号値と動き予測画像とを加算して局所復号画像を得る加算ステップと、局所復号画像と量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該選択したウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して局所復号画像にウィーナフィルタ処理を施すと共に、当該ウィーナフィルタ処理に用いたフィルタ係数の情報をウィーナフィルタインデックスとして出力するフィルタ処理ステップと、ウィーナフィルタ処理の単位となるブロック毎に、動き予測画像の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、ウィーナフィルタインデックスとを符号化する可変長符号化ステップとを備えるようにしたものである。
　この発明に係る画像復号方法は、ビットストリームから、マクロブロック内の動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、当該予測誤差信号の逆量子化処理に用いる量子化パラメータと、ウィーナフィルタインデックスとを抽出する可変長復号ステップと、ビットストリームから抽出された量子化パラメータに基づいて、ビットストリームから抽出された予測誤差信号の圧縮データを逆量子化して復号予測誤差信号を得る復号ステップと、ビットストリームから抽出された動き予測モードとおよび動きベクトルに基づいて、動き予測画像を生成する予測ステップと、復号予測誤差信号と動き予測画像を加算して復号画像を生成する加算ステップと、復号画像と量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該ウィーナフィルタセットの中の、ビットストリームから抽出されたウィーナフィルタインデックスに該当するフィルタ係数を特定して復号画像に対してウィーナフィルタ処理を施すフィルタ処理ステップとを備えるようにしたものである。
　この発明によれば、予め保持している複数のウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して局所復号画像にウィーナフィルタ処理を施すと共に、このフィルタ係数の情報をウィーナフィルタインデックスとして出力するようにしたので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて効率的な情報圧縮を行う映像符号化方法を実現して、４：４：４フォーマットの超高精細映像信号の符号化のために最適性を高めた映像符号化装置およびその方法、並びに映像復号装置およびその方法を提供することができる。
この発明の実施の形態１に係る画像符号化装置および画像復号装置が処理対象とする４：４：４フォーマットを示す。 実施の形態１に係る画像符号化装置の構成を示すブロック図である。 図２に示すブロック分割部が生成する基準ブロックを示す説明図である。 図２に示す予測部による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。 図２に示す予測部の動作を示すフローチャートである。 予測部によるコストＪの計算方法を説明するための図である。 予測部による動き予測モードｍｃ＿ｍｏｄｅ１～４の予測ベクトルＰＭＶの算出例を示す図である。 実施の形態１に係る画像符号化装置および画像復号装置で共有するフィルタ係数セット設計の動作を示すフローチャートである。 図２に示すループフィルタの内部構成を示すブロック図である。 ビットストリームのデータ配列を示す説明図である。 実施の形態１に係る画像復号装置の構成を示すブロック図である。 図１１に示すループフィルタの内部構成を示すブロック図である。 非特許文献１による符号化装置の構成を示すブロック図である。 非特許文献２による符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を説明するための図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　本実施の形態では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置および画像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う画像符号化装置および画像復号装置について述べる。
　ここで、図１に、実施の形態１に係る画像符号化装置および画像復号装置が入力として用いる４：４：４フォーマットを示す。４：４：４フォーマットとは、図１（ａ）に示すように、カラー動画像を構成する３つの信号成分Ｃ０，Ｃ１，Ｃ２の画素数がすべて同じであるフォーマットのことを指す。３つの信号成分の色空間はＲＧＢまたはＸＹＺであってもよいし、輝度・色差（ＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒ）であってもよい。４：４：４フォーマットに対して、図１（ｂ）に示す４：２：０フォーマットは、色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、輝度Ｙの画素数に対して色差信号成分（例えばＹＣｂＣｒならＣｂ，Ｃｒ）のそれが水平Ｗ・垂直Ｈそれぞれ２分の１となるフォーマットのことを呼ぶ。
　以下に説明する画像符号化装置および画像復号装置は、特に、４：４：４フォーマットの色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、各色成分を輝度成分相当とみなして処理を行う方式に限定して説明する。ただし、以下に説明する動作は、４：２：０フォーマットの映像信号を対象とする画像符号化装置および画像復号装置においても、その輝度信号に対して直接適用できることは言うまでもない。
１．画像符号化装置
　図２は、実施の形態１に係る画像符号化装置の構成を示すブロック図である。図２に示す画像符号化装置は、４：４：４フォーマットの入力映像フレームを所定サイズのブロック、即ちＭｍａｘ×Ｍｍａｘ画素ブロック（以下、「基準ブロック」と呼ぶ）に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。
　まず、符号化対象となる入力映像信号１は、ブロック分割部２において基準ブロックの単位に分割されて符号化信号３として予測部４へ入力される。図３に、ブロック分割部２が生成する基準ブロックを示す。図３に示すように、基準ブロックは、Ｍｍａｘ×Ｍｍａｘ画素からなる矩形のブロックをまとめた単位の基準ブロックデータとして構成する。詳細は後述するが、基準ブロックサイズＭｍａｘはフレーム若しくはシーケンス、またはＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）等の上位レイヤデータレベルで決定・符号化する。なお、フレーム内で基準ブロックサイズＭｍａｘを変更するように構成してもよいが、その場合は、スライス等の複数マクロブロックをまとめた単位で基準ブロックサイズＭｍａｘを指定するようにする。
　基準ブロックデータは、さらにＬｉ×Ｍｉ画素ブロック（ｉ：色成分識別子）の「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化が行われる。図３（ａ）における動き予測単位ブロックのパターンはＬ０＝Ｍｍａｘ／２、Ｍ０＝Ｍｍａｘ／２、図３（ｂ）における動き予測単位ブロックのパターンはＬ０＝Ｍｍａｘ／２、Ｍ０＝Ｍｍａｘであり、図３（ａ），（ｂ）ともにＬ１＝Ｍ１＝Ｌ２＝Ｍ２＝Ｍｍａｘである。なお、以下の説明においては、４：４：４フォーマットの各色成分の基準ブロックについては、３つの色成分Ｃ０，Ｃ１，Ｃ２で同一とし、基準ブロックサイズＭｍａｘを変更する場合は、３つの色成分全てについて、同一サイズに変更するものとする。また、動き予測単位ブロックのサイズＬｉ,Ｍｉそれぞれについては、色成分Ｃ０，Ｃ１，Ｃ２ごとに選択可能として、シーケンス、ＧＯＰ、フレーム、基準ブロック等の単位で変更可能となるよう構成してもよい。このような構成をとることにより、基準ブロックサイズＭｍａｘは変更することなく、色成分ごとの信号の性質の違いに応じて、動き予測単位ブロックサイズＬｉ，Ｍｉを柔軟に決定することができ、基準ブロックを単位とする符号化・復号処理の並列化・パイプライン化を考慮した効率的な実装が可能である。
　予測部４では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測誤差信号５を得る。予測部４の動作は、本実施の形態１の画像符号化装置の特徴であるため詳しく後述する。圧縮部６は、予測誤差信号５に対してＤＣＴ処理などの変換処理を施して信号相関を除去した後、量子化して予測誤差圧縮データ７を得る。このとき、圧縮部６では予測誤差信号５に対してＤＣＴ等の直交変換・量子化を行い、予測誤差圧縮データ７を可変長符号化部８および局所復号部１０へ出力する。
　可変長符号化部８は、予測誤差圧縮データ７をエントロピー符号化してビットストリーム９として出力する。局所復号部１０は、予測誤差圧縮データ７から復号予測誤差信号１１を得る。この復号予測誤差信号１１が、予測誤差信号５の生成に用いた予測信号（動き予測画像）１２と加算部で加算されて復号信号（局所復号画像）１３となり、ループフィルタ１４へ入力される。なお、予測信号１２を得るために予測部４において決定された予測信号生成用パラメータ１７は可変長符号化部８へ送られ、ビットストリーム９として出力される。予測信号生成用パラメータ１７の内容については、予測部４の説明とともに以降で詳述する。また、可変長符号化部８における予測信号生成用パラメータ１７の符号化方法についても、本実施の形態１における特徴のひとつであるため、後で詳しく述べる。
　ループフィルタ１４は、圧縮部６における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号１３に対し、原画像信号である符号化信号３、予測信号生成用パラメータ１７および量子化パラメータ１９を用いて符号化信号３に漸近するように信号補正を行う。このループフィルタ１４の動作は、本実施の形態１の画像符号化装置の特徴であるため、後で詳しく述べる。
　非特許文献１の映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施の形態１の画像符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用が可能な構成とする。本実施の形態１の画像符号化装置において、基準ブロックをマクロブロックと定義してもよいが、動き予測の説明のために以降も基準ブロックという用語を用いる。
　以下、本実施の形態１の特徴のひとつである予測部４の詳細な動作について説明する。本実施の形態１の予測部４の特徴は以下の２点である。
（１）基準ブロック・動き予測単位ブロックのサイズと動き予測に用いる分割形状の連動適応化
（２）各色成分の性質に応じた動き予測モード、動きベクトルの決定
　上記（１）については、予測部４が、まず基準ブロックを、各色成分の信号の性質に合わせてＬｉ×Ｍｉ画素の動き予測単位ブロックへ分割し、さらに動き予測単位ブロックをｌｉ×ｍｉ画素の組み合わせからなる複数の形状に分割する。そして、予測部４は、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って、予測誤差信号５を得る。動き予測単位ブロック内の分割形状は、ｌｉ×ｍｉ画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施の形態１の画像符号化装置においては、Ｍｉとｍｉ、Ｌｉとｌｉとの間に「ｍｉ＝Ｍｉ／２」、「ｌｉ＝Ｌｉ／２」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図４に示す。図４は、予測部４による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。以下、本実施の形態１の画像符号化装置では、図４に示す分割形状のパターン（分割パターン）ｍｃ＿ｍｏｄｅ０～７は３つの色成分に対して共通であるものとする。ただし、分割パターンｍｃ＿ｍｏｄｅ０～７を３つの色成分に対して独立に定めるように構成してもよい。なお、この分割パターンｍｃ＿ｍｏｄｅ０～７のことを以下では「動き予測モード」と呼ぶこととする。
　非特許文献１の映像符号化方式では、動き予測適用領域の形状は矩形に限定されており、図４のような矩形以外の対角分割を用いることができない。これに対して本実施の形態１では図４のような動き予測を適用する領域の形状を多様化させることにより、動物体の輪郭部分など、基準ブロック内に複雑な動きを含む場合に、矩形分割よりも少ない動きベクトル本数で動き予測可能となる。
　また、「Ｓ.Ｋｏｎｄｏ ａｎｄ Ｈ.Ｓａｓａｉ, "Ａ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｕｓｉｎｇ Ｓｌｉｃｅｄ Ｂｌｏｃｋｓ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｈｙｂｒｉｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ", ＶＣＩＰ ２００５, Ｊｕｌｙ ２００５」では、従来のマクロブロックに対して動き予測適用領域の分割形状の多様化手法が開示されている。この文献では、分割形状を、マクロブロック分割を行う線分とそのブロック境界との交点位置によって表現する。しかしながら、この方法は画素数Ｍを固定したままで基準ブロック内の分割パターンを増加させる方法であり、以下の問題がある。
問題１：
　基準ブロックの分割パターンを記述するための符号量が増加する。Ｍｍａｘ　ｍｏｄ　ｍｉ＝０なる任意のｍｉを許容することによって、基準ブロック内の分割パターンが増加し、そのパターンを指定するための情報をオーバヘッド情報として符号化する必要が生じる。分割パターンが増加するほど、ある特定の分割パターンの発生する確率が分散するため、分割パターンのエントロピー符号化が非効率となり、符号量としてのオーバヘッドとなって符号化トータルとしての性能に限界が生じる。
問題２：
　分割パターンが増加することによって、符号化時に最適な分割を選択するために必要な演算量が増大する。動き予測は符号化処理負荷の大半を占める高負荷処理であり、やみくもに分割パターンが増加するアルゴリズムでは、画像符号化装置はその中から特定の分割パターンのみを検証・利用するように設計せざるを得ない。したがって、画像符号化装置は、アルゴリズムがもつ本来の性能を最大限活かしきることができない場合がある。
　これに対して、本実施の形態１の画像符号化装置における図４のアプローチは、まず、１）Ｍmaxの値を符号化の条件や映像信号の解像度や性質に基づいてフレーム等の上位レベルで変更可能とすること、２）Ｍｍａｘ×Ｍｍａｘの画素ブロックを色成分Ｃｉごとの特性に合わせて基本ブロックＬｉ×Ｍｉ画素へ分割可能とすること、３）基本ブロックの分割条件を「ｍｉ＝Ｍｉ／２」、「ｌｉ＝Ｌｉ／２」なる制約を満たす分割形状に限定した上で分割のバリエーションを確保すること、の３つの工夫により、上記問題を解決する。基本ブロックのサイズＭｍａｘの値はフレームやスライス内で局所的に変更せず、フレームレベルまたはフレーム列（シーケンス、ＧＯＰ）等の上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度（Ｖｉｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ，ＶＧＡ等）の映像と大きな解像度（ＨＤＴＶ等）の映像では、同じＭｍａｘ×Ｍｍａｘ画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像のときと同じブロックサイズを用いても被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一の場合、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。
　そこで、基準ブロックサイズＭｍａｘの値を上位データ構造レベルでのみ変更可能とすることで、基準ブロックサイズＭｍａｘの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図３のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図４のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、基準ブロックサイズＭｍａｘの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。
　基準ブロックサイズＭｍａｘの値を決定する方法には、例えば以下のような方法がある。
（１）　符号化対象映像の解像度に基づいて決定する。同一Ｍｍａｘ値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にＭｍａｘ値を大きくして画像信号パターンを捕捉できるようにする。
（２）　フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいＭｍａｘ値で、小さい場合は大きなＭｍａｘ値で動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもＭｍａｘ値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる。
（３）　１）と２）の方法を重み付けで組み合わせて判断する。
　基準ブロックサイズＭｍａｘの値が決まった後、色成分ごとに動き予測単位ブロックのサイズＬｉ，Ｍｉの決定を行う。例えば入力映像信号１がＹＵＶ（またはＹＣｂＣｒ等）の色空間で定義された信号の場合、色信号であるＵ／Ｖ成分は輝度信号Ｙ成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなる。これを根拠としてＵ／Ｖ成分のサイズＬｉ，Ｍｉについては輝度信号Ｙ成分のサイズＬｉ，Ｍｉよりも大きな値をとるように構成する、といった判断基準の例が考えられる（図３参照）。
　これら判断を行った結果として得られる各ブロックサイズＭｍａｘ,Ｌｉ,Ｍｉの値は、基準ブロックサイズ情報１８としてブロック分割部２、予測部４、可変長符号化部８へ通知される。なお、図３のように、Ｍｍａｘに対してＬｉ,Ｍｉを簡易な演算で導出可能な値に設定しておけば、Ｌｉ，Ｍｉを独立な値として符号化するのでなく、算出式の識別子を符号化すればよいため、基準ブロックサイズ情報１８に要する符号量を抑制できる。
　なお、図２では特に図示していないが、画像符号化装置は、Ｍｍａｘ,Ｌｉ,Ｍｉの値を決定して各部へ通知するための基準ブロックサイズ決定部を備えて、基準ブロックサイズ情報１８を決定する構成であってもよい。
　予測部４は、基準ブロックサイズ情報１８から導出される動き予測単位ブロックサイズＬｉ,Ｍｉに基づいて、図３、図４の分割パターンを用いる動き検出処理を実行する。図５は、予測部４の動作を示すフローチャートである。予測部４は、当該フレームのＣｉ成分をＬｉ×Ｍｉ画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図４のｍｃ＿ｍｏｄｅ０～７までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該動き予測単位ブロックについてｍｃ＿ｍｏｄｅ０～７のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。
　予測効率は、動き予測単位ブロック内の動きベクトルの総符号量Ｒと、該動きベクトルを適用してメモリ１６内に格納される参照画像から生成した予測信号１２と入力映像信号１との間の予測誤差量Ｄとから導出する下記コストＪで定義される。予測部４は、このコストＪが最小となる動き予測モードと動きベクトルとを出力するように構成する。
　　Ｊ＝Ｄ＋λＲ　（λ：定数）　　　　（２）
　そこで、予測部４はまず、各動き予測モードｍｃ＿ｍｏｄｅｋに対して、コストＪｋの計算を行う（ステップＳＴ１）。図６に、ｍｃ＿ｍｏｄｅ５のケースを例にとってコストＪの計算方法を説明する。このとき、フレームＦ（ｔ）内の被予測対象の動き予測単位ブロックは、２つの分割領域Ｂ０，Ｂ１からなる。また、メモリ１６内には２枚の符号化・局所復号済みの参照画像Ｆ’（ｔ－１），Ｆ’（ｔ－２）が格納されていて、分割領域Ｂ０,Ｂ１はこれら２枚の参照画像Ｆ’（ｔ－１），Ｆ’（ｔ－２）を使って動き予測できるものとする。図６では分割領域Ｂ０は参照画像Ｆ’（ｔ－２）を用いて動きベクトルＭＶｔ－２（Ｂ０）を検出し、分割領域Ｂ１は参照画像Ｆ’（ｔ－１）を用いて動きベクトルＭＶｔ－１（Ｂ１）を検出している。Ｂを分割領域、Ｓｎ（ｘ）を第ｎフレームの画面内位置ｘ＝（ｉ，ｊ）における画素値、ｖを動きベクトルとすると、分割領域Ｂの予測誤差量Ｄは、差分絶対値和（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＤ）を用いて、下式（３）として計算できる。
Figure JPOXMLDOC01-appb-I000002
　予測誤差量Ｄは、上式（３）計算の結果、得られる分割領域Ｂ０,Ｂ１に対応する予測誤差量Ｄ０，Ｄ１からＤ＝Ｄ０＋Ｄ１として求める。
　一方、総符号量Ｒは、予測ベクトルＰＭＶ（Ｂ０），ＰＭＶ（Ｂ１）を用いて、下式（４）から動きベクトル予測差分値ＭＶＤ（Ｂ０），ＭＶＤ（Ｂ１）を得て、これらの値を符号量換算して符号量Ｒ０，Ｒ１を得て、総符号量Ｒ＝Ｒ０＋Ｒ１として求める。
　　ＭＶＤ（Ｂ０）＝ＭＶｔ－２（Ｂ０）－ＰＭＶ（Ｂ０）　　　（４）
　　ＭＶＤ（Ｂ１）＝ＭＶｔ－１（Ｂ１）－ＰＭＶ（Ｂ１）
　以上により、コストＪが求まる。予測部４は、探索範囲内の検査対象となるすべての動きベクトルについてコストＪの計算を行い、ｍｃ＿ｍｏｄｅ５の分割パターンとして最もコストＪが小さい解を求める。なお、ｍｃ＿ｍｏｄｅ１～４の予測ベクトルＰＭＶの算出例を図７に示す。図７において、矢印は予測ベクトル導出に利用する周辺の動きベクトルＭＶを意味し、○で囲まれた３本の動きベクトルＭＶのメディアン（中央値）が、それが指し示す分割領域の予測ベクトルＰＭＶとなる。
　なお、Ｌｉ×Ｍｉ画素ブロックに対して、ｋ＝７即ちｍｃ＿ｍｏｄｅ７を選択した場合、さらにｌｉ×ｍｉ画素ブロックに対して、ｍｃ＿ｍｏｄｅ０～７のモードに相当する動き予測モードを選択するように構成する。このときのモードの名称は便宜上、ｓｕｂ＿ｍｃ＿ｍｏｄｅ０～７とする。ｌｉ×ｍｉ画素ブロックに対してｓｕｂ＿ｍｃ＿ｍｏｄｅを決定する処理は図５の処理フローに準ずるものとし、Ｌｉ×Ｍｉ画素ブロック単位に対応するｍｃ＿ｍｏｄｅ７のコストＪ7は、ｌｉ×ｍｉ画素ブロックの単位で定まるｓｕｂ＿ｍｃ＿ｍｏｄｅを用いて得られる総コストとする。
　続いて、予測部４は、このようにして求まるｍｃ＿ｍｏｄｅｋでのコストＪｋが、それまでに検証したｍｃ＿ｍｏｄｅｋでのコストよりも小さいかどうかを検証し（ステップＳＴ２）、小さい場合は（ステップＳＴ２“Ｙｅｓ”）、ｍｃ＿ｍｏｄｅｋをその時点までの最適な動き予測モードとして保持するとともに、その際の動きベクトルおよび予測誤差信号を保持しておく（ステップＳＴ３）。予測部４は、すべての動き予測モードを検証し終えると（ステップＳＴ４“Ｙｅｓ”）、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号５を最終解として出力する（ステップＳＴ５）。さもなければ（ステップＳＴ２“Ｎｏ”またはステップＳＴ４“Ｎｏ”）、ステップＳＴ６で変数ｋをインクリメントして、ステップＳＴ１に戻って次の動き予測モードを検証する。
　以下、本実施の形態１の特徴のひとつであるループフィルタ１４の詳細な動作について説明する。ループフィルタ１４は、圧縮部６における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号１３に対し、原画像信号である符号化信号３、予測信号生成用パラメータ１７、量子化パラメータ１９を用いて符号化信号３に漸近するように信号補正を行うウィーナフィルタ係数を定め、フィルタリング処理を行った結果を参照画像信号１５として出力し、かつ、ウィーナフィルタ係数を特定する情報（ウィーナフィルタインデックス）２０を可変長符号化部８へ出力する。即ち、非特許文献２と異なり、ウィーナフィルタ係数自体を符号化処理と同時に導出・伝送するのでなく、予め事前に設計された複数のフィルタセットの中からウィーナフィルタ係数を選択し、そのインデックスのみを伝送するように構成する。
　それに先立ち、画像符号化装置および画像復号装置の双方で共有するフィルタ係数セットを事前に設計する方法について述べる。図８は、実施の形態１に係る画像符号化装置および画像復号装置で共有するフィルタ係数セット設計の動作を示すフローチャートである。ウィーナフィルタは、前述の通り、現在の復号画素値の自己相関と、リファレンスとすべき理想入力画素値との相互相関によって決定されるため、まず、さまざまな性質を有する映像信号に対して量子化パラメータ（Ｑｐ）１９で符号化処理を行い（ステップＳＴ１１）、一定の類似した統計的性質を有する理想入力画素値と、それを符号化して得られる復号画素値をセットにして、復号画像信号の統計的性質に基づく学習系列のサンプリングを行う（ステップＳＴ１２）。サンプリングは、本実施の形態１では、相互相関が大きく変動するエッジ領域かそうでないかを基準に行う。そのための指標としては、例えば、隣接画素との分散や、変換ブロック境界部か否か、などが挙げられる。続いて、サンプリングされた学習系列ごとに上式（１）に基づいたフィルタ係数ｗの設計を行う（ステップＳＴ１３）。このステップでは、例えば非特許文献２に開示されるように、ひとつの学習系列に対して複数のタップ数のフィルタを設計するように構成してもよい。定義されたすべての画像統計に基づく学習系列についてウィーナフィルタ設計が終了したら（ステップＳＴ１４“Ｙｅｓ”）、処理が終わっていない量子化パラメータ１９の存在を確認して（ステップＳＴ１５）、次の量子化パラメータＱｐに対して同様の処理を繰り返す（ステップＳＴ１６）。量子化パラメータＱｐごとにサンプリングを行ってフィルタセットを設計しておくことにより、符号化ひずみのレベルによって相互相関に変化が生じる状況に対して局所的な信号の性質に応じた最適なフィルタ選択を行うことができる。なお、復号信号１３の統計的性質に関する情報と、量子化パラメータ１９は画像復号装置側で一意に認識できるので、ウィーナフィルタセットの選択のために付加情報を伝送する必要はない。
　図９は、ループフィルタ１４の内部構成を示すブロック図である。全ウィーナフィルタセット３１には、図８に示すフローで設計されたすべてのウィーナフィルタセットが予め登録されている。まず、ウィーナフィルタセット選択部３０が、全ウィーナフィルタセット３１の中から、復号信号１３の信号の性質を特定するインデックスと量子化パラメータ１９に基づいて、検証すべきウィーナフィルタセット３２を選択する。次いで、ウィーナフィルタ選択部３３は、上記選択されたウィーナフィルタセット３２に登録されているすべてのフィルタ係数を、それぞれ復号信号１３に適用して、フィルタリング処理を実行する。なお、このフィルタリング処理自体は、後段のウィーナフィルタ処理部３５と等価な処理を実行する。
　ウィーナフィルタ選択部３３は、この結果、各フィルタ係数を指定するインデックス値（ウィーナフィルタインデックス２０に対応する）の符号長を総符号量Ｒとし、符号化信号３とフィルタリング処理された復号信号１３との間の二乗誤差ひずみを予測誤差量Ｄとして、上式（２）に基づくコストＪを構成し、このコストＪを最小化するウィーナフィルタ係数３４を選択する。ウィーナフィルタインデックス２０は、量子化パラメータ１９と、復号信号１３の信号の性質を特定するインデックスとによって定まるウィーナフィルタセット３２を構成するフィルタ係数群の識別番号であり、ウィーナフィルタ選択部３３は、上記選択されたウィーナフィルタ係数３４に対応するインデックス値をウィーナフィルタインデックス２０として出力する。ウィーナフィルタインデックス２０は、処理される画像信号の性質に応じて発生頻度に偏りが生じうるので、可変長符号化によって符号長を定めるように構成する。
　最後に、ウィーナフィルタ処理部３５が、ウィーナフィルタインデックス２０で指定されるウィーナフィルタ係数３４を用いてウィーナフィルタ処理を実行して、現基準ブロック位置に対応する参照画像信号１５を出力する。この処理を、１フレーム内のすべての基準ブロックごとに実施することにより１フレーム分のループフィルタ処理が完了する。
　なお、ウィーナフィルタインデックス２０は、ウィーナフィルタ係数３４を特定する情報として可変長符号化部８に伝送され、ビットストリーム９に基準ブロックごとに多重される。その伝送をＯＮ／ＯＦＦするフラグをウィーナフィルタインデックス２０とは別に伝送してもよいし、ウィーナフィルタインデックス２０に、選択肢のひとつとして「ウィーナフィルタ処理を実施しない」という選択肢も含めておくように構成してもよい。また、基準ブロックのレベルでウィーナフィルタインデックス２０を多重するか否か、即ちループフィルタ１４の処理を行うか否かを示すフラグを、スライス、ピクチャ、シーケンスなどの上位レベルでビットストリーム９に多重するように構成してもよい。このようにすることで、複数の基準ブロックからなる領域に渡ってウィーナフィルタ処理を行わないほうが符号化効率がよいと判断される場合は、その領域内の基準ブロックについてウィーナフィルタインデックス２０を一切符号化する必要がなく、効率的である。
　また、本実施の形態１のループフィルタ１４では、非特許文献１（図１３）のブロックひずみ除去を目的としたループフィルタ１０１４の代わりにウィーナフィルタ処理を行う例を示したが、画像符号化装置をループフィルタ１０１４とループフィルタ１４とを備えるように構成して、まずブロックひずみ除去を目的としたループフィルタ１０１４を施した後に、上記ウィーナフィルタ１４を実行するようにしてもよい。
　このようにループフィルタ１４を構成することにより、符号化処理過程では一切ウィーナフィルタ設計を行わず、予め統計的に最適設計が行われたウィーナフィルタセットから、画像復号装置側で一意に特定可能な情報のみに基づいて複数のウィーナフィルタ候補を選択して、さらにレートひずみ最適判定に基づく最適なウィーナフィルタ処理を実行することができる。また、かつウィーナフィルタ係数はインデックス値のみで伝送できるので、非特許文献２に開示される技術に比べて演算量を抑制しながらも、付加情報の符号量を抑えた効率的な符号化を行うことができる。さらに、この構成によるループフィルタ処理は、フレーム全体でウィーナフィルタ設計・実行を行う非特許文献２の構成では実現できない、基準ブロック単位の処理への分解が容易に可能である。したがって、基準ブロック単位のパイプライン処理や、並列処理に適した方式であるといえる。
２．符号化ビットストリームの構成
　入力映像信号１は、上記処理に基づいて図２の画像符号化装置で符号化され、複数の基準ブロックを束ねた単位（以下、スライスと呼ぶ）でビットストリーム９として画像符号化装置から出力される。
　図１０に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、フレーム中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一フレームに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、このピクチャレベルヘッダには、基準ブロックサイズ情報１８が格納される。基準ブロックサイズＭmaxが、ピクチャレベルより上位のシーケンス単位で固定化されるのであれば、基準ブロックサイズ情報１８をシーケンスレベルヘッダに多重するように構成してもよい。
　各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される。図１０の例では、第２スライスにＫ個の基準ブロックが含まれることを示す。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードおよび動きベクトル（予測信号生成用パラメータ１７に相当する）、予測誤差圧縮データ７の生成に用いた量子化パラメータ１９などが配列される。
　動き予測モードとしては、まずｍｃ＿ｍｏｄｅ０～７の種別が符号化され、ｍｃ＿ｍｏｄｅ０～６であれば、動き予測モードで指定される動きベクトル割り当て領域の分の動きベクトル情報が符号化される。ｍｃ＿ｍｏｄｅ７であれば、基本ブロックごとにｓｕｂ＿ｍｃ＿ｍｏｄｅの符号化が行われる。
　また、シーケンス、ピクチャ、スライス等、基準ブロックより上位のレベルのヘッダ（図１０ではピクチャレベルヘッダに多重する例を図示）に、ウィーナフィルタＯＮ／ＯＦＦフラグを多重しておいてもよい。同フラグが「基準ブロックヘッダ中にウィーナフィルタインデックス２０を多重する」ことを示す場合は、上述のループフィルタ１４の処理結果として復号信号１３に施すウィーナフィルタ係数３４を指定するために、ウィーナフィルタインデックス２０を下位の基準ブロックヘッダに多重する。
　なお、図示していないが、各基準ブロック内で用いる動き予測単位ブロックのサイズＬｉ，Ｍｉを各基準ブロックごとに選択できるように基準ブロックサイズ決定部を構成しておき、基準ブロック内で用いる動き予測単位ブロックのサイズＬｉ，Ｍｉをシーケンス、またはピクチャレベルヘッダに多重する代わりに、各基準ブロックヘッダに多重するように構成してもよい。これにより、基準ブロックごとに動き予測単位ブロックのサイズＬｉ，Ｍｉを符号化する必要があるが、局所的な画像信号の性質に応じて動き予測単位ブロックのサイズを変化させることができ、より適応性の高い動き予測を行うことが可能となる。各基準ブロックヘッダに多重するか、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルのヘッダに固定的に多重するかを示す情報は、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルヘッダ中に識別情報として多重するように構成しておけばよい。これにより、上位レベルで固定化しても動き予測性能に影響が少ない場合は、基準ブロックごとに動き予測単位ブロックのサイズＬｉ，Ｍｉを符号化するオーバヘッドを削減して効率的な符号化を行うことが可能である。
３．画像復号装置
　図１１は、本実施の形態１における画像復号装置の構成を示すブロック図である。可変長復号部１００は、図１０に示すビットストリーム９を入力とし、シーケンスレベルヘッダを復号した後、ピクチャレベルヘッダを復号して基準ブロックサイズの情報を復号する。これにより当該ピクチャで用いる基準ブロックのサイズＭｍａｘと動き予測単位ブロックのサイズＬｉ，Ｍｉを認識し、この基準ブロックサイズ情報１８を予測誤差復号部１０１および予測部１０２へ通知する。なお、動き予測単位ブロックのサイズＬｉ，Ｍｉを各基準ブロックヘッダ中に多重可能とするビットストリーム構成の場合には、可変長復号部１００は、動き予測単位ブロックのサイズＬｉ，Ｍｉが各基準ブロックヘッダ中に多重されているか否かを示す識別情報を復号し、同識別情報に基づいて、各基準ブロックヘッダを復号することによって動き予測単位ブロックのサイズＬｉ，Ｍｉを認識するように構成する。
　また、可変長復号部１００は、シーケンス、ピクチャ、スライス等、上位レベルヘッダの復号に際して、ウィーナフィルタＯＮ／ＯＦＦフラグがあればそれも復号しておく。
　基準ブロックデータの復号はまず、基準ブロックヘッダの復号から行う。可変長復号部１００は、ウィーナフィルタＯＮ／ＯＦＦフラグが「基準ブロックヘッダ中にウィーナフィルタインデックス２０を多重する」ことを示す場合には、この過程で、ウィーナフィルタインデックス２０を復号する。さもなくば、可変長復号部１００は「復号信号１３に対してウィーナフィルタを実行しない」ものと認識する。次いで、可変長復号部１００は、動き予測単位ブロックあたりに適用する動き予測モード、動きベクトルの復号を行って予測信号生成用パラメータ１７を得て、予測部１０２へ出力する。
　予測誤差圧縮データ７、量子化パラメータ１９は予測誤差復号部１０１に入力され、復号予測誤差信号１１に復元される。この予測誤差復号部１０１は、図２の画像符号化装置における局所復号部１０と等価な処理を行う。
　予測部１０２は、可変長復号部１００によって復号される予測信号生成用パラメータ１７とメモリ１０３内の参照画像信号１５とから予測信号（動き予測画像）１２を生成する。なお、予測部１０２は画像符号化装置における予測部４と等価な処理を行うが、動きベクトル検出動作は含まない。動き予測モードは図４に示すｍｃ＿ｍｏｄｅ０～７のいずれかであり、予測部１０２はその分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて予測信号１２を生成する。
　復号予測誤差信号１１と予測信号１２は加算部により加算され、復号信号（復号画像）１３としてループフィルタ１０４へ入力される。この復号信号１３は、ループフィルタ１０４においてウィーナフィルタによって符号化雑音を除去する処理が施された後、以降の予測信号１２を生成するための参照画像信号１５としてメモリ１０３に格納される。
　図１２は、ループフィルタ１０４の内部構成を示すブロック図である。図１２に示す各部のうち、図９に示すループフィルタ１４の内部構成要素と同一の番号を付与した各部はそれぞれ同じ動作を行うものとする。また、図１２に示す全ウィーナフィルタセット３１には、図８に示すフローで設計されたすべてのウィーナフィルタセットが予め登録されている。
　まず、ウィーナフィルタセット選択部３０が、全ウィーナフィルタセット３１に登録されているウィーナフィルタセットの中から、復号信号１３の性質を特定するインデックスと量子化パラメータ１９とに基づいて、ウィーナフィルタセット３２を選択する。次いで、ウィーナフィルタ選択部１０５は、上記選択されたウィーナフィルタセット３２に登録されたすべてのフィルタ係数の中から、ウィーナフィルタインデックス２０で指定されるウィーナフィルタ係数３４を出力する。即ち、ウィーナフィルタ選択部１０５は単純なテーブルルックアップ処理で実現できる。
　次いで、ウィーナフィルタ処理部３５は、ウィーナフィルタ係数３４を用いてウィーナフィルタ処理を実行して、現基準ブロック位置に対応する参照画像信号１５を出力する。この処理を１フレーム内のすべての基準ブロックごとに実施することにより、１フレーム分のループフィルタ処理が完了する。
　なお、上記説明では、ループフィルタ１４，１０４によるウィーナフィルタ処理を復号信号１３に対して施すように構成した。一方で、符号化ひずみが重畳されるのは実際には予測誤差信号５の量子化によるものであるため、ループフィルタ１４，１０４を、復号予測誤差信号１１と予測信号１２の加算を行う加算部の前段に配置して、復号信号１３の代わりに局所復号部１０に局所復号された復号予測誤差信号１１または予測誤差復号部１０１に復号された復号予測誤差信号１１に対してウィーナフィルタ処理を施すように構成してもよい。
　予測誤差信号５および復号予測誤差信号１１は、符号化信号３または復号信号１３に比べて統計的な偏りが強い信号であるため、このように構成することにより、用意すべきウィーナフィルタセット３２のバリエーションを少なくして、効率的なウィーナフィルタ処理を行うことができる。
　なお、この構成にする場合、ループフィルタ１４はブロックひずみを考慮しないウィーナフィルタセット３２で実行し、これとは別に、復号信号１３に対してＨ．２６４相当のブロックひずみ除去フィルタ処理を施すように構成してもよい。
　以上の構成による画像符号化・復号装置によれば、ウィーナフィルタに基づく復号信号１３および参照画像信号１５の品質を少ない演算量と追加符号量で実現することができ、効率的な映像符号化が可能となる。
　以上より、実施の形態１によれば、画像符号化装置を、動き予測単位ブロックのサイズを各色成分信号に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される予測信号１２と、予測信号１２を符号化信号３から差し引いた予測誤差信号５とを生成する予測部４と、予測誤差信号５を量子化パラメータ１９を用いて量子化することによって圧縮符号化する圧縮部６と、圧縮部６によって量子化された予測誤差圧縮データ７と量子化パラメータ１９とから局所復号を行って、予測誤差圧縮データ７の復号予測誤差信号１１を生成する局所復号部１０と、復号予測誤差信号１１と予測信号１２とを加算して復号信号１３を得る加算部と、復号信号１３と量子化パラメータ１９とに基づいて、予め保持している全ウィーナフィルタセット３１からひとつのウィーナフィルタセット３２を選択するウィーナフィルタセット選択部３０と、当該選択したウィーナフィルタセット３２のうちから最も符号化効率が高いウィーナフィルタ係数３４を選択するとともにこのウィーナフィルタ係数３４の情報をウィーナフィルタインデックス２０として出力するウィーナフィルタ選択部３３と、復号信号１３にウィーナフィルタ処理を施すウィーナフィルタ処理部３５と、ウィーナフィルタ処理の単位となるブロック毎に、予測信号１２の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、予測誤差圧縮データ７と、ウィーナフィルタインデックス２０とを符号化する可変長符号化部８とを備えるように構成した。このため、フィルタ係数をウィーナフィルタインデックス２０で表し、ループフィルタ１４内のウィーナフィルタ処理部３５に基づく復号信号１３および参照画像信号１５の品質を少ない演算量と追加符号量で実現することができ、効率的な映像符号化が可能となる。この結果、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて効率的な情報圧縮を行う映像符号化方法を実現して、４：４：４フォーマットの超高精細映像信号の符号化のために最適性を高めた映像符号化装置およびその方法を提供することができる。
　また、実施の形態１によれば、画像復号装置を、入力されたビットストリーム９から、動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルと、予測誤差圧縮データ７と、量子化パラメータ１９と、ウィーナフィルタインデックス２０とを抽出する可変長復号部１００と、ビットストリーム９から抽出された量子化パラメータ１９に基づいて、予測誤差圧縮データ７を逆量子化して復号予測誤差信号１１を得る予測誤差復号部１０１と、動き予測モードとおよび動きベクトルを含む予測信号生成用パラメータ１７に基づいて、予測信号１２を生成する予測部１０２と、復号予測誤差信号１１と予測信号１２を加算して復号信号１３を生成する加算部と、復号信号１３と量子化パラメータ１９とに基づいて、予め保持している全ウィーナフィルタセット３１からひとつのウィーナフィルタセット３２を選択するウィーナフィルタセット選択部３０と、当該ウィーナフィルタセット３２の中からウィーナフィルタインデックス２０に該当するウィーナフィルタ係数３４を特定するウィーナフィルタ選択部１０５と、復号信号１３に対してウィーナフィルタ係数３４を用いてウィーナフィルタ処理を施すウィーナフィルタ処理部３５とを備えるように構成した。このため、上記画像符号化装置に対応した画像復号装置を提供することができる。
　なお、本実施の形態１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、前述のとおり、本発明における符号化・復号処理は、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０または４：２：２フォーマットを対象とする映像符号化において、マクロブロックなどの基準ブロックの単位で符号化・復号を行う場合にも適用可能であることは言うまでもない。
　この発明に係る画像符号化装置及び画像復号装置等は、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて効率的な情報圧縮を行うことができるため、携帯電話等に実装される動画像符号化装置等に用いるのに適している。

Claims (4)

  1. 　動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを生成する画像符号化装置であって、
    　前記ブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を動画像信号から差し引いた予測誤差信号とを生成する予測部と、
    　前記予測誤差信号を量子化パラメータを用いて量子化することによって圧縮符号化する圧縮部と、
    　前記圧縮部によって量子化された圧縮データと前記量子化パラメータとから局所復号を行って、前記予測誤差信号の復号値を生成する局所復号部と、
    　前記予測誤差信号の復号値と前記動き予測画像とを加算して局所復号画像を得る加算部と、
    　前記局所復号画像と前記量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して当該選択したウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して、前記局所復号画像にウィーナフィルタ処理を施すと共に、当該ウィーナフィルタ処理に用いた前記フィルタ係数の情報をウィーナフィルタインデックスとして出力するフィルタ部と、
    　前記ウィーナフィルタ処理の単位となるブロック毎に、前記動き予測画像の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、前記予測誤差信号の圧縮データと、前記ウィーナフィルタインデックスとを符号化する可変長符号化部とを備えることを特徴とする画像符号化装置。
  2. 　動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを入力として、前記動画像信号を復号する画像復号装置であって、
    　前記ビットストリームから、前記ブロック内の動き予測単位ブロックのサイズと、前記動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、前記動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、当該予測誤差信号の逆量子化処理に用いる量子化パラメータと、ウィーナフィルタインデックスとを抽出する可変長復号部と、
    　前記ビットストリームから抽出された量子化パラメータに基づいて、前記ビットストリームから抽出された予測誤差信号の圧縮データを逆量子化して復号予測誤差信号を得る復号部と、
    　前記ビットストリームから抽出された動き予測モードとおよび動きベクトルに基づいて、動き予測画像を生成する予測部と、
    　前記復号予測誤差信号と前記動き予測画像を加算して復号画像を生成する加算部と、
    　前記復号画像と前記量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該ウィーナフィルタセットの中の、前記ビットストリームから抽出されたウィーナフィルタインデックスに該当するフィルタ係数を特定して前記復号画像に対してウィーナフィルタ処理を施すフィルタ部とを備えることを特徴とする画像復号装置。
  3. 　動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを生成する画像符号化方法であって、
    　前記ブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を動画像信号から差し引いた予測誤差信号とを生成する予測ステップと、
    　前記予測誤差信号を量子化パラメータを用いて量子化することによって圧縮符号化する圧縮ステップと、
    　前記圧縮ステップで量子化された圧縮データと前記量子化パラメータとから局所復号を行って、前記予測誤差信号の復号値を生成する局所復号ステップと、
    　前記予測誤差信号の復号値と前記動き予測画像とを加算して局所復号画像を得る加算ステップと、
    　前記局所復号画像と前記量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該選択したウィーナフィルタセットのうちから最も符号化効率が高いフィルタ係数を選択して前記局所復号画像にウィーナフィルタ処理を施すと共に、当該ウィーナフィルタ処理に用いた前記フィルタ係数の情報をウィーナフィルタインデックスとして出力するフィルタ処理ステップと、
    　前記ウィーナフィルタ処理の単位となるブロック毎に、前記動き予測画像の生成に用いるための動きベクトル割り当て領域の形状を特定する動き予測モードと、当該動きベクトル割り当て領域に対応する動きベクトルと、前記予測誤差信号の圧縮データと、前記ウィーナフィルタインデックスとを符号化する可変長符号化ステップとを備えることを特徴とする画像符号化方法。
  4. 　動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを入力として、前記動画像信号を復号する画像復号方法であって、
    　前記ビットストリームから、前記ブロック内の動き予測単位ブロックのサイズと、前記動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、前記動きベクトル割り当て領域に対応する動きベクトルと、予測誤差信号の圧縮データと、当該予測誤差信号の逆量子化処理に用いる量子化パラメータと、ウィーナフィルタインデックスとを抽出する可変長復号ステップと、
    　前記ビットストリームから抽出された量子化パラメータに基づいて、前記ビットストリームから抽出された予測誤差信号の圧縮データを逆量子化して復号予測誤差信号を得る復号ステップと、
    　前記ビットストリームから抽出された動き予測モードとおよび動きベクトルに基づいて、動き予測画像を生成する予測ステップと、
    　前記復号予測誤差信号と前記動き予測画像を加算して復号画像を生成する加算ステップと、
    　前記復号画像と前記量子化パラメータとに基づいて、予め保持している複数のウィーナフィルタセットからひとつのウィーナフィルタセットを選択して、当該ウィーナフィルタセットの中の、前記ビットストリームから抽出されたウィーナフィルタインデックスに該当するフィルタ係数を特定して前記復号画像に対してウィーナフィルタ処理を施すフィルタ処理ステップとを備えることを特徴とする画像復号方法。
PCT/JP2010/003551 2009-05-29 2010-05-27 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 WO2010137322A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011515897A JP5361998B2 (ja) 2009-05-29 2010-05-27 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009130419 2009-05-29
JP2009-130419 2009-05-29

Publications (1)

Publication Number Publication Date
WO2010137322A1 true WO2010137322A1 (ja) 2010-12-02

Family

ID=43222448

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003551 WO2010137322A1 (ja) 2009-05-29 2010-05-27 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Country Status (2)

Country Link
JP (1) JP5361998B2 (ja)
WO (1) WO2010137322A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062768A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
JP2013062767A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
JP2014506442A (ja) * 2011-01-12 2014-03-13 シーメンス アクチエンゲゼルシヤフト ビデオコーダにおける参照イメージの圧縮及び伸長方法
JP2014187704A (ja) * 2012-01-19 2014-10-02 Mitsubishi Electric Corp 画像復号装置及び画像復号方法
JP2015073196A (ja) * 2013-10-02 2015-04-16 日本放送協会 フィルタ選択装置、フィルタ装置およびこれらのプログラム
JP2017535159A (ja) * 2014-10-01 2017-11-24 エルジー エレクトロニクス インコーポレイティド 向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置
JP2021532622A (ja) * 2018-07-11 2021-11-25 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 複数の領域を有するループ内フィルタ

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131757A (ja) * 1993-10-01 1995-05-19 Texas Instr Inc <Ti> 画像処理装置
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
WO2007111292A1 (ja) * 2006-03-27 2007-10-04 Matsushita Electric Industrial Co., Ltd. 画像符号化装置および画像復号化装置
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4313710B2 (ja) * 2004-03-25 2009-08-12 パナソニック株式会社 画像符号化方法および画像復号化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131757A (ja) * 1993-10-01 1995-05-19 Texas Instr Inc <Ti> 画像処理装置
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
WO2007111292A1 (ja) * 2006-03-27 2007-10-04 Matsushita Electric Industrial Co., Ltd. 画像符号化装置および画像復号化装置
WO2008075247A1 (en) * 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Image compression and decompression

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014506442A (ja) * 2011-01-12 2014-03-13 シーメンス アクチエンゲゼルシヤフト ビデオコーダにおける参照イメージの圧縮及び伸長方法
US9723318B2 (en) 2011-01-12 2017-08-01 Siemens Aktiengesellschaft Compression and decompression of reference images in a video encoder
JP2013062768A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
JP2013062767A (ja) * 2011-09-15 2013-04-04 Nippon Hoso Kyokai <Nhk> 動画像符号化装置及びそのプログラム
JP2014187704A (ja) * 2012-01-19 2014-10-02 Mitsubishi Electric Corp 画像復号装置及び画像復号方法
JP2015228709A (ja) * 2012-01-19 2015-12-17 三菱電機株式会社 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及びビットストリーム
JP2017092980A (ja) * 2012-01-19 2017-05-25 三菱電機株式会社 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データ
JP2015073196A (ja) * 2013-10-02 2015-04-16 日本放送協会 フィルタ選択装置、フィルタ装置およびこれらのプログラム
JP2017535159A (ja) * 2014-10-01 2017-11-24 エルジー エレクトロニクス インコーポレイティド 向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置
US10390025B2 (en) 2014-10-01 2019-08-20 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using improved prediction filter
JP2021532622A (ja) * 2018-07-11 2021-11-25 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 複数の領域を有するループ内フィルタ

Also Published As

Publication number Publication date
JPWO2010137322A1 (ja) 2012-11-12
JP5361998B2 (ja) 2013-12-04

Similar Documents

Publication Publication Date Title
JP6667609B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
EP2437499A1 (en) Video encoder, video decoder, video encoding method, and video decoding method
JP6082073B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及びビットストリーム
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101728285B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
WO2010001917A1 (ja) 画像処理装置および方法
KR101749855B1 (ko) 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법
WO2010137324A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
WO2010137322A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
WO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP5340415B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
CN114830650A (zh) 图像编码方法和图像解码方法
CN114830645A (zh) 图像编码方法和图像解码方法
CN114830643A (zh) 图像编码方法和图像解码方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780282

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011515897

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10780282

Country of ref document: EP

Kind code of ref document: A1