WO2003003749A1 - Image encoder, image decoder, image encoding method, and image decoding method - Google Patents

Image encoder, image decoder, image encoding method, and image decoding method Download PDF

Info

Publication number
WO2003003749A1
WO2003003749A1 PCT/JP2002/006614 JP0206614W WO03003749A1 WO 2003003749 A1 WO2003003749 A1 WO 2003003749A1 JP 0206614 W JP0206614 W JP 0206614W WO 03003749 A1 WO03003749 A1 WO 03003749A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
smoothing
activity
prediction
partial image
Prior art date
Application number
PCT/JP2002/006614
Other languages
English (en)
French (fr)
Inventor
Shunichi Sekiguchi
Sadaatsu Kato
Mitsuru Kobayashi
Minoru Etoh
Original Assignee
Ntt Docomo, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Docomo, Inc. filed Critical Ntt Docomo, Inc.
Priority to EP02738883.4A priority Critical patent/EP1404136B1/en
Priority to JP2003509786A priority patent/JP3964391B2/ja
Priority to US10/480,642 priority patent/US7747094B2/en
Publication of WO2003003749A1 publication Critical patent/WO2003003749A1/ja
Priority to US12/794,304 priority patent/US20100284467A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97—Matching pursuit coding

Definitions

  • the present invention relates to an image encoding device, an image decoding device, an image encoding method, and an image decoding method.
  • the present invention relates to an image encoding device, an image decoding device, an image encoding method, and an image decoding method that are applied to a mopile video transmission system and the like and that transmit and accumulate images with a small encoding amount.
  • the conventional video coding system is configured to divide an image frame into blocks of a fixed size and to perform coding processing in units of the division.
  • a typical example of the conventional video coding method is Le Gall. D: "MPEG: AV video Com- ponding Residential for Multimedia api1 ications", Trans. ACM, 1991, Apri.
  • MPEG Motion Picture Experts Group 1 coding method described in 1.
  • each frame of a video is divided into fixed blocks called macroblocks, and the amount of motion (or motion vector) is detected by referring to the locally decoded frame image that has been coded in this unit, and the amount of motion (or motion vector) is detected.
  • a similar block is specified from among them, and motion-compensated inter-frame prediction (MC) is performed using it as prediction data.
  • MC motion-compensated inter-frame prediction
  • the prediction residual signal is subjected to DCT (DisrceCosineTransform: Discrete Cosine Transform) in units of a block consisting of 8 ⁇ 8 pixels to reduce the redundancy remaining in the spatial direction.
  • DCT DisrceCosineTransform: Discrete Cosine Transform
  • Fig. 20 shows the configuration of a conventional image encoding device based on the MPEG1 image encoding method. It is a block diagram shown.
  • the input video signal 1 to the image encoding device shown in FIG. 20 is a time sequence of a frame image, and hereinafter represents a signal of a frame image unit.
  • FIG. 21 shows an example of a frame image to be encoded.
  • the current frame 6001 is divided into a square rectangular area (called a macroblock) having a fixed size of 16 pixels x 16 lines, and the following processing is performed on a unit basis.
  • the macroblock data of the current frame (current macroblock) based on the input video signal 1 is first output to the motion detection unit 2, where the motion vector 5 is detected.
  • the motion vector 5 is similar to the current macro block by referring to a predetermined search area of a past coded frame image 4 (hereinafter, referred to as a locally decoded image 4) stored in the frame memory 3. This is a pattern (hereinafter, referred to as a predicted image 6) to be found, and the amount of spatial movement between the pattern and the current macroblock is obtained.
  • the locally decoded image 4 is not limited to a past frame, but a future frame may be encoded first and stored in the frame memory 3 for use.
  • future frames may change the encoding order and increase processing delay, it makes it easier to predict changes in video content that has occurred between the past and the future, and can reduce time redundancy more effectively. There are benefits.
  • this is called bidirectional prediction (B-frame prediction), and forward prediction (P-frame prediction) using only the previous frame, and encoding is performed only within a frame without performing inter-frame prediction.
  • B-frame prediction bidirectional prediction
  • P-frame prediction forward prediction
  • I-frame prediction forward prediction
  • FIG. 21 the locally decoded image 4 is described as the previous frame 602 only for the P frame prediction.
  • the motion vector 5 shown in FIG. 20 is represented by a two-dimensional translation amount.
  • the block matching represented in FIGS. 22A to 22D is generally used.
  • a motion search range 603 centered on the spatial phase of the current macroblock is provided, and the sum of the squared differences or the sum of absolute differences is minimized from the image data 604 in the motion search range 603 of the previous frame 602. Is obtained as motion prediction data,
  • the motion vector is defined as the displacement of the current macroblock and the motion prediction data.
  • Motion prediction data obtained for all macroblocks in the current frame and represented as a frame image corresponds to the motion prediction frame 605 in FIG.
  • the difference 606 between the motion prediction frame 605 and the current frame 601 shown in FIG. 21 obtained through the above-described MC processing is obtained (taken by the subtraction unit 21 shown in FIG. 20), and the residual signal , And prediction residual signal 8) are subjected to DCT coding.
  • the motion compensating unit 7 performs the process of extracting the motion prediction data (hereinafter, prediction image 6) for each macroblock.
  • the processing of the motion compensator 7 extracts the predicted image 6 from the locally decoded image 4 stored in the frame memory 3 using the motion vector 5.
  • the prediction residual signal 8 is converted by the DCT unit 9 into DCT coefficient data 10 (hereinafter, also referred to as DCT coefficient 10).
  • DCT coefficient data 10 (hereinafter, also referred to as DCT coefficient 10).
  • the DCT converts the spatial pixel vector denoted by 61 into a set of orthonormal bases that represent fixed frequency components denoted by 611.
  • An 8 ⁇ 8 pixel block (hereinafter, a DCT block) is usually used as a spatial pixel vector. Since DCT itself is a separate conversion process, the DCT block is actually converted for each horizontal, vertical, and eight-dimensional row vector and column vector.
  • DCT uses the correlation between pixels existing in the spatial domain to localize the power concentration in the DCT block.
  • performance comparable to that of the KL conversion, which is the optimal conversion, can be obtained.
  • the quantization coefficient represented by 6 12 is represented by 6 13
  • scanning is performed from the low band to the high band, as indicated by the arrows, to include many zero-runs, thereby improving the overall coding efficiency including the effect of entropy coding.
  • the quantization of the DCT coefficient 10 is performed by the quantization unit 11, and the quantization coefficient obtained here is
  • variable length coding unit 13 is scanned and run-length coded by the variable length coding unit 13 It is multiplexed on the frame 14 and transmitted. Also, the motion vector 5 detected by the motion detection unit 2 is necessary for the image decoding device described later to generate the same predicted image as that of the image encoding device. Multiplied by 14 and transmitted.
  • the quantization coefficient 12 is locally decoded through an inverse quantization unit 15 and an inverse DCT unit 16, and the result is added to a predicted image 6 by an addition unit 22, thereby providing an image decoding device.
  • the decoded image 17 is stored in the frame memory 3 because it is used for prediction of the next frame.
  • the variable-length decoding unit 18 detects a synchronization word indicating the start of each frame, and thereafter, the motion vector 5 and the quantized DCT coefficient 1 2 To restore.
  • the motion vector 5 is output to the motion compensating unit 7d, and the motion compensating unit 7d uses the motion vector from the frame memory 19 (used in the same manner as the frame memory 3) in the same manner as the operation of the image encoding device.
  • the image portion that has moved by the torque 5 is extracted as the predicted image 6.
  • the quantized DCT coefficient 12 is decoded through the inverse quantization unit 15 d and the inverse DCT unit 16 d, and then added by the prediction image 6 and the addition unit 23 to form the final decoded image 17. .
  • the decoded image 17 is output to a display device (not shown) at a predetermined display timing, and the video is reproduced there. Disclosure of the invention
  • the MC is a unit block (hereinafter, referred to as a block).
  • the amount of motion is detected on the assumption that all pixels in the MC block (in the example of MPEG 1 described above, the macro block) have the same motion, in a predicted image formed by spatially arranging the MC block.
  • a signal waveform in which discontinuity is perceived may appear on the MC block boundary.
  • This discontinuous waveform is supplemented by the addition of the residual component when a sufficient code amount is allocated to the residual signal, but when the encoding is performed at a high compression ratio, the residual signal is sufficiently expressed. And discontinuous boundaries are noticeable Sometimes perceived as distortion.
  • OBMC overlap motion compensation
  • prediction data is extracted for each MC block (for example, A to E) from the reference image, using frame F (t-1) as a reference image.
  • the ordinary MC uses these prediction data as they are, but the OBMC determines the predicted image Pc of the block C by the movement of the surrounding blocks A, B, D, and E as shown in Fig. 26B.
  • the prediction data corresponding to the position of the block C is extracted using V (D).
  • V (D) means the process of extracting the prediction data of the position of C using P ⁇ C, MV (A) ⁇ and MV (A).
  • Each of the extracted prediction data is weighted with W1 to W5 and added as in the following equation.
  • the normal weight is set so that the influence of the original prediction data of the block C decreases from the center of the block C toward the block boundary.
  • the motion amount of the surrounding area is overlapped with the motion of itself, and the predicted image is determined. Therefore, the continuity of the waveform is maintained between pixels inside and outside the MC block, and the boundary is conspicuous. There is an advantage that it becomes difficult.
  • OBMC not only the extraction of prediction data from its own motion vector, but also the extraction of prediction data from the motion vectors of surrounding MC blocks, There is a problem that the calculation load is high because it is executed for the MC block.
  • detection is performed based on the assumption that the power of the prediction residual is minimized, rather than the motion corresponding to the natural motion of the subject, so in areas with a large amount of noise, etc. Movements that do not correspond to the actual movements may be detected, and in such places, the OBMC superimposes the influence of the surrounding movement amount, which may cause the MC block to be smoothed more than necessary, There is a problem such as blurring.
  • an in-loop filter applies a smoothing filter to the boundary of the DCT block on the decoded image obtained by adding the prediction residual signal that has undergone encoding and local decoding to the predicted image.
  • This method removes the block distortion from the reference image used for the subsequent frames so that the effect of the DCT quantization is not introduced into the MC. Discontinuities are still unavoidable.
  • residual coding that does not depend on the block structure, such as subband coding or base transformation across blocks, avoid the disadvantage of coding efficiency due to the presence of discontinuous waveforms at block boundaries. There is a problem that can not be done.
  • the present invention has been made in view of the above points, and has been made in consideration of a discontinuous waveform generated between MC blocks for a predicted frame image generated by block-based motion compensation inter-frame prediction (MC).
  • An image coding apparatus which can perform a process of adaptively smoothing the image with relatively simple calculation, thereby improving the coding efficiency at a low bit rate using inter-frame MC. It is an object to provide an image decoding device, an image encoding method, and an image decoding method.
  • an image encoding apparatus includes: a motion compensation prediction unit configured to detect a motion amount of an input image in a predetermined partial image area unit to generate a motion compensation prediction image; A smoothing means for smoothing a pixel located at a boundary between adjacent partial image areas based on a predetermined judgment criterion with respect to a predicted image obtained by the predicting means; and the input image and the smoothed prediction.
  • a prediction residual encoding means for encoding a prediction residual signal obtained from a difference from an image.
  • an image decoding device includes: a motion compensation prediction unit configured to detect a motion amount in a predetermined partial image region unit to generate a motion compensation prediction image; A smoothing means for smoothing the pixels located at the boundary between adjacent partial image regions based on a predetermined judgment criterion, and decoding a prediction residual signal from the encoding side on the prediction image obtained by Prediction residual decoding means, and addition means for adding a decoded prediction residual signal obtained by the prediction residual decoding means and the smoothed predicted image to obtain a decoded image.
  • an image encoding method includes a motion compensation prediction step of detecting a motion amount of an input image in units of a predetermined partial image area to generate a motion compensation prediction image.
  • the image decoding method includes: a motion compensation prediction step of detecting a motion amount in a predetermined partial image area unit to generate a motion compensation prediction image; A smoothing step of smoothing pixels located at the boundary between adjacent partial image regions based on a predetermined criterion for the predicted image obtained by the above, and a prediction for decoding a prediction residual signal from the encoding side Residual decoding step And a step of adding a decoded prediction residual signal obtained in the prediction residual decoding step and the smoothed prediction image to obtain a decoded image.
  • pixels located at the boundary between adjacent partial image regions are smoothed based on a predetermined criterion with respect to the predicted image, so that only a smoothing process for correcting discontinuities in the partial image regions is performed. It is possible to perform correction in an allowable direction, thereby suppressing a discontinuous waveform generated in the prediction residual and improving coding efficiency.
  • the process of adaptively smoothing the discontinuous waveform generated between the MC blocks is performed on the predicted frame image generated by motion-compensated inter-frame prediction (MC) in block units by relatively simple calculation. As a result, the coding efficiency at a low bit rate using the inter-frame MC can be improved.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding device according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of the image decoding device according to the first embodiment.
  • 3A to 3G are diagrams showing MC (motion-compensated inter-frame prediction) block shapes.
  • FIG. 4 is an explanatory diagram of a problem of the block unit MC.
  • FIG. 5 is a block diagram illustrating a configuration of the smoothing filter unit according to the first embodiment.
  • FIG. 6 is a flowchart for explaining the operation of the calculating process in the block activity calculating section of the smoothing filter section.
  • FIG. 7 is a diagram illustrating an example of a unit for determining the block activity.
  • FIG. 8 is a flowchart illustrating an operation of a process for correcting useless filtering processing in the smoothing filtering in the filter processing unit in the smoothing filter unit.
  • FIG. 9 is a diagram showing a state of a pixel to be processed between horizontally adjacent blocks in the smoothing filtering process.
  • FIGS. 10A and 10B are diagrams showing states of pixels to be processed between horizontally adjacent blocks in a smoothing filtering process by another filter.
  • FIG. 11 is a diagram illustrating a function determined in the post-processing unit of the smoothing filter unit.
  • FIG. 12 is a block diagram illustrating a configuration of an image encoding device according to the second embodiment of the present invention.
  • FIG. 13 is a block diagram illustrating a configuration of an image decoding device according to the second embodiment.
  • FIG. 14 is a diagram for explaining that an activity is defined for a block boundary in the smoothing filter unit according to the third embodiment of the present invention.
  • FIGS. 15A and 15B are diagrams for explaining a case in which a 5-tap filter is performed using two pixels on the left and right around a pixel to be filtered in the smoothing filter unit according to the fourth embodiment of the present invention. is there.
  • FIG. 16 is a block diagram illustrating a configuration of an image encoding device according to the fifth embodiment of the present invention.
  • FIG. 17 is a block diagram illustrating a configuration of an image decoding device according to the fifth embodiment.
  • FIG. 18 is a block diagram illustrating a configuration of a smoothing filter unit according to the fifth embodiment.
  • FIG. 19 is a flowchart for explaining the operation of the block activity calculating section in the smoothing filter section of the fifth embodiment.
  • FIG. 20 is a block diagram showing a configuration of a conventional image encoding device based on the MPEG1 image encoding method.
  • FIG. 21 is a conceptual diagram of motion-compensated frame prediction.
  • FIGS. 22A to 22D are conceptual diagrams of motion compensation by block matching.
  • Figure 23 is a conceptual diagram of the discrete cosine transform.
  • FIG. 24 is an explanatory diagram of quantization and run-length encoding.
  • FIG. 25 is a block diagram showing a configuration of a conventional image decoding apparatus based on the MPEG-1 image decoding method.
  • Figures 26A and B are explanatory diagrams of OBMC (overlap motion compensation).
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding device according to a first embodiment of the present invention
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding device.
  • the image coding device shown in Fig. 1 reduces the redundancy existing in the time direction by MC, quantifies the spatial discontinuity between individual MC blocks in the predicted image obtained as a result of MC, and The configuration is such that smoothing filter processing is adaptively performed according to the situation, and efficient video encoding is performed.
  • the procedure of MC is almost the same as the method described in the conventional example.
  • the outline of the procedure is shown in Fig. 21 and the outline of the block matching processing used for motion vector detection is shown in Fig. 2. 2
  • the MC block allows macro blocks to be defined in units that are equally divided into various rectangular areas, and what kind of MC block shape to use Is transmitted as encoding mode information.
  • MC mode 1 since the macro block itself is an MC block, one motion vector is determined in the macro block.
  • MC mode 2 shown in Fig. 3B an area obtained by dividing a macroblock into left and right halves is used as an MC block, and two motion vectors are determined for each macroblock.
  • MC mode 7 shown in FIG. 3G a motion vector force S of 16 motions per macroblock is determined.
  • the conventional procedure for orthogonally transforming the residual signal obtained by the difference between the predicted image that has undergone the smoothing process and the input image, and then quantizing the coefficients and entropy coding is also a conventional example. As described with reference to FIG.
  • the input video signal 101 is a time sequence of a frame image, and hereinafter represents a signal of a frame image unit.
  • the frame image to be encoded is the current frame 61 shown in FIG.
  • the current frame is encoded according to the following procedure.
  • the input video signal 101 is input to the motion detection unit 102 for each macro block, where the motion vector 105 is detected.
  • the motion vector 105 As for the MC block as a unit for adding a motion vector, the one having the highest coding efficiency among the shapes shown in FIGS. 3A to 3G is selected.
  • the motion compensating unit 107 uses the motion vector 105 to refer to the reference image 104 (encoded and locally decoded frame image) stored in the frame memory 103 using the motion vector 105.
  • the predicted image 106a of each macroblock is extracted.
  • the motion detecting unit 102 and the motion compensating unit 107 perform processing for each macroblock.
  • the difference signal (prediction residual signal 108) from the input video signal 101 is a frame unit. Shall be obtained.
  • the motion vector 105 of each macroblock is retained over the entire frame, and the predicted image 106a is configured as a frame-based image.
  • the predicted image 106 b after the smoothing is subtracted from the input video signal 101 by the subtraction unit 131 to obtain a prediction residual signal 108.
  • This prediction residual signal 108 is transformed into orthogonal transformation coefficient data 110 by the orthogonal transformation unit 109.
  • orthogonal transform for example, DCT is used.
  • the orthogonal transform coefficient data 110 passes through a quantization unit 111, is scanned and run-length encoded by a variable length encoding unit 113, is multiplexed to a compression stream 114, and is transmitted.
  • coding mode information 123 that indicates which of intra-frame (intra) coding and inter-frame (inter) coding determined for each macroblock has been performed is also multiplexed.
  • the motion vector 105 is multiplexed to the compression stream 114 for each macroblock and transmitted.
  • the quantized coefficient 1 12 is locally decoded through an inverse quantization unit 1 15 and an inverse orthogonal transform unit 1 16, and the result is added to a predicted image 106 b by an addition unit 13 2.
  • the same decoded image 1 17 as the image decoding device side is generated.
  • the decoded image 1 17 is stored in the frame memory 103 for use as the reference image 104 for prediction of the next frame.
  • the variable-length decoding unit 118 detects a synchronization word indicating the start of each frame, and thereafter, the coding mode information 123 is obtained in macroblock units.
  • the motion vector 105 and the quantized orthogonal transform coefficient 112 are restored.
  • the motion vector information 105 is output to the motion compensation unit 107, and the motion compensation unit 107 is used in the same way as the operation of the image encoding device, and the frame memory 122 (used in the same manner as the frame memory 103) ), An image portion moved by the motion vector 105 is extracted as a predicted image 106a.
  • the predicted image 106a is output as a smoothed predicted image 106b via the smoothing filter unit 124.
  • the quantized orthogonal transform coefficients 1 1 and 2 are decoded through the inverse quantization unit 1 2 0 and the inverse orthogonal transform unit 1 2 1, and are added to the predicted image 1 0 6 b by the adder 1 3 3 to obtain the final result.
  • the typical decoded image is 1 17.
  • the decoded image 1 17 is stored in the frame memory 122 and output to a display device (not shown) at a predetermined display timing, where the video is reproduced.
  • FIG. Figure 4 shows the input image 141, the predicted image 142 in which no discontinuity occurs between MC blocks, the predicted residual image 144 using the predicted image 142, and the discontinuity between the MC blocks.
  • the resulting predicted image 144 and the predicted residual image 144 using the predicted image 144 are shown.
  • Plock pine In motion detection algorithms in general video coding methods such as ching, motion vectors are detected in units of MC blocks.
  • the pixels included in the MC block all have the same amount of motion.
  • a spatial continuity with an adjacent MC block is not considered because a motion vector that reduces the prediction residual is detected for the MC block. Therefore, as shown in FIG. 4, a discontinuous waveform 146 may occur between the MC blocks. Such a discontinuous waveform 144 remains in the residual signal and becomes a signal to be encoded. It should be noted here that since the orthogonal transform itself is performed within the above-described MC block, the encoding in the frame is not affected.
  • the waveform component remains in the locally decoded image, and is contained inside the MC block in the prediction image of the subsequent frames. Will appear. In that case, the coding efficiency of the prediction residual signal is affected.
  • the boundaries of MC blocks should originally be connected smoothly, and the processing by the smoothing filter unit 124 smoothes discontinuous waveforms existing between MC blocks based on this assumption. By doing so, the objective is to obtain a predicted image close to a natural image.
  • the block activity calculator 125 determines the block activity S (X) for each fixed block X of the predicted image 106a.
  • FIG. 6 shows the flow of processing in the block activity calculator 125.
  • the determination of S (X) is based on the relationship with surrounding blocks as shown in FIG.
  • blocks A to E are units for determining block activity, and are not necessarily the same as MC blocks.
  • block A indicates that it is part of a larger sized MC block 147.
  • the block activity targets blocks of a fixed size regardless of the size of the MC block shown in Figs. 3A to 3G.
  • S (X) is set to a predetermined initial value SO (eg, zero) over the entire frame.
  • encode a macroblock including block C When the mode information 123 indicates the intra mode, the block activity S (X) is determined by the following rule 1 (step ST1).
  • the block activity around the block to be intra-coded is set high.
  • the resolution of a predicted image in intra coding is lower than that of a predicted image by inter coding, so that a boundary in a block in a macroblock in an intra mode becomes more conspicuous.
  • the action in step ST1 corresponds to increasing the priority of the smoothing process in such an area.
  • step ST2 the setting rule of S (X) when the coding mode information 123 of the macro block including the block C indicates the inter-coding is described.
  • step ST2 it is determined whether or not the current prediction image has been generated using bidirectional prediction (B-frame prediction described in the conventional example) (step ST2).
  • the direction of prediction can change for each macroblock. If the prediction direction differs between blocks, spatial continuity cannot be assumed at the boundary between the two. That is, in this case, it is determined whether or not the prediction directions of blocks A, B, D, and E adjacent to block C are the same, and the processing is switched (step ST3).
  • block activity is updated according to rule 2 below (step ST4).
  • K 2 (when m V d (D, C) 3)
  • the current S (E) is updated to max ⁇ S (E), K ⁇ , and
  • mv d (X, Y) indicates a larger value among the difference values for each component of the motion vector of the adjacent blocks X and ⁇ .
  • max (a, b) indicates the larger value of a and b.
  • the filter processing unit 127 performs a smoothing process between MC blocks on the predicted image 106a.
  • the post-processing unit 129 corrects useless filtering so that the result of the smoothing filtering once does not result in excessive smoothing. This process is shown in the flowchart of FIG. 8, and the state of the pixel to be processed between blocks adjacent in the horizontal direction is shown in FIG.
  • the pixel! ⁇ ⁇ Are included in the block n, a pixel to 1 3 are included in the block n-1 of the left adjacent.
  • block n and block n-1 have different vectors MV (n) and MV (n-1), and that between ri and is an MC block boundary BD. Pixels to be processed between vertically adjacent blocks are defined in the same manner.
  • the magnitude of the block boundary difference value d ir ⁇ 1 I (where, represents the pixel values of pixels ⁇ and 1 i, respectively) is determined by a threshold a (S) determined according to the block activity S. Is determined (step ST7).
  • the larger value of S (X) of the two blocks to be processed is used as the block activity S.
  • S (B)> S (C) the value of S (B) is used as the block activity S.
  • the difference value d is equal to or smaller than the threshold monument (S), in the region of the pixel ri ⁇ r 3, 1 i ⁇ 1 3 and does not conduct filter processing.
  • the difference value d exceeds the threshold value ⁇ (S)
  • the pixel area to be filtered is switched according to S to perform the filter processing (step ST8).
  • filter processing is skipped assuming that there is no discontinuity at the block boundary.
  • Filtering process for example as shown in FIG. 9, have pixel r to the pixel gamma iota, to use the three points r 2, three points of the pixels 1 have 1 2, ri to the pixel 1 i
  • a low-pass filter F any filter can be used.
  • a 5-tap filter using left and right (up and down) two pixels around pixel ri and 1L may be used.
  • another filter as shown in FIG.
  • pixel r 2, 1 2 also directed to the pixels of the smoothed (step ST 10, step ST 1 1).
  • sharp discontinuities are often formed due to high block activity, and the purpose is to enhance signal continuity by increasing the degree of smoothing.
  • the above processing is performed in the filter processing unit 127.
  • the filtered predicted pixel value 128 is corrected in the post-processing unit 129 so as to be effective for coding efficiency.
  • the processing of the post-processing unit 129 corresponds to steps ST12 and ST13 in FIG.
  • the post-processing unit 129 controls the difference value ⁇ between the pixel value before filtering and the pixel value after filtering by a threshold value Th (S) determined according to the block activity S.
  • a function horizontal axis: ⁇ , vertical axis: ⁇ correction value as shown in Fig. 11 is determined, and the correction value is determined.
  • the threshold value Th (S) is a maximum allowable difference value, and if a ⁇ larger than that value occurs, correction is applied in a direction in which the difference decreases according to the magnitude of the value. If ⁇ is equal to or greater than the threshold Th (S), it is estimated that the difference obtained by filtering is not due to the discontinuity of the MC block, but rather is the result of filtering the edge components originally present in the image. You.
  • the correction measures by the smoothing filter unit 124 correct the MC block in a direction allowing only the filtering for correcting the discontinuity of the MC block. Can be performed.
  • the predicted image 106b is output, whereby the discontinuous waveform generated in the prediction residual can be suppressed, and the coding efficiency can be improved.
  • the block activity in Fig. 7 in the inter mode, is divided according to the range of the value of mV d (X, Y), but the range can be determined arbitrarily. .
  • mv d ( ⁇ , ⁇ ) ⁇ The block activity in the case of the inter mode may be determined only by the criterion of zero or non-zero.
  • the unit to which the motion vector is given As the number of motion vectors per macroblock increases as the size of the macroblock decreases, it can be said that the motion in that macroblock and its vicinity is more intense, so that the MC modes 1 to 7 shown in Figs.
  • the block activity may be set on the basis of which is selected.
  • the present smoothing filter processing can be configured so that ON / OF F can be performed in frame units. Since the processing itself of the smoothing filter unit 124 changes the optimally selected predicted image data in units of MC blocks, the processing may not only have a good effect on the coding efficiency but also have a bad effect on the coding efficiency. is there. For this reason, the image coding apparatus performs video analysis on a frame-by-frame basis, determines in advance whether or not there is any motion that would cause discontinuity between MC blocks, and if discontinuity occurs, Turns on the smoothing filter section 124, otherwise turns it off.
  • An example of video analysis is to evaluate a tentative residual between the input video signal 101 and the predicted image 106a.
  • the filter is turned off for frames with few disadvantages in the residual coding processing, so the filter is turned off, and the filter is turned on for frames with many disadvantages. For example, if the ratio of the residual signal amount at the MC boundary to the total residual signal amount is above a certain threshold, turn on the filter.If it is below the threshold, turn the filter off. Can be considered.
  • ONZOFF is determined after comparing the coding efficiency in units of frames between when the smoothing process is performed and when the smoothing process is not performed.
  • the results of ON and OFF are transmitted as part of the header information at the head of the frame in the compressed stream 114 (bit information indicating whether or not smoothing is performed).
  • FIG. 12 is a block diagram illustrating a configuration of an image encoding device according to a second embodiment of the present invention.
  • FIG. 13 is a block diagram showing the configuration of the image decoding apparatus.
  • the second embodiment relates to an apparatus for introducing the above-described smoothing filter of the present invention into a video encoding / decoding apparatus based on a compression encoding system to which a technique called Matching Pursuits is applied. See RN effet. Al, "Very
  • S i and g ki are s and g of the arbitrary partial region s (partial region in the frame) on ⁇ ⁇ and the arbitrary basis g k included in the basis set G in the i-th step basis search. These are the subregions and bases obtained by selecting the combination that maximizes the inner product value of k . If the base search is performed in this manner, the larger the number m of the base search steps, the smaller the energy possessed by r ra . This means that the larger the number of bases used to represent the prediction residual image signal f, the better the signal can be represented.
  • the information to be encoded is:
  • a set of these parameters is collectively called an atom.
  • the number of atoms to be coded is increased, that is, as the number m of base search total steps is increased, the coding amount is increased and the distortion is reduced.
  • MC is performed independently of MatChingPursuits, and an atom is extracted from the prediction residual signal.
  • the atom may be extracted at a position across the MC block.
  • the discontinuous waveform between the MC blocks as described in the first embodiment remains in the residual signal, and the disadvantage is that a waveform that should not be coded is coded. Suffer.
  • the residual signal can be smoothed without unnecessarily blurring the predicted image.
  • the input video signal 201 is a time sequence of a frame image, and hereinafter, represents a signal of a frame image unit.
  • the frame image to be encoded corresponds to the current frame 601 shown in FIG.
  • the current frame is encoded according to the following procedure.
  • the current frame is output to the motion detection unit 202, and the motion vector 205 is detected in exactly the same procedure as the motion detection unit 102 in the first embodiment.
  • the motion estimation unit 202 separates the intra coding into a DC component and an AC component, uses the DC component as a part of the predicted image, and uses the AC component as a part of the prediction residual. Become This is a process to collectively obtain a predicted image for each frame in order to use Matching Pursuits.
  • the predicted image of the macro block is filled with the encoded and locally decoded intra DC components.
  • the intra DC component is output from the DC encoding unit 225 to the variable length decoding unit 21 through the prediction and quantization from the surrounding image data as encoded data 226, and is multiplexed into the compression stream 214.
  • the motion compensation unit 207 refers to the locally decoded image 204 in the frame memory 203 using the DC component as described above for the macroblock in the intra mode and using the motion vector 205 for the macroblock in the inter mode. Then, a predicted image 206a of the current frame is created.
  • the motion detecting unit 202 and the motion compensating unit 207 perform processing for each macroblock, but a difference signal (prediction residual signal 208) from the input video signal 201 is obtained in units of frames. That is, the motion vector 205 of each macro block is retained over the entire frame, and the predicted image 206 a is configured as a frame-based image.
  • the smoothing filter unit 224 performs a smoothing process between the MC blocks of the predicted image 206a.
  • the operation of the smoothing filter unit 224 is realized by the same processing as in the first embodiment using the encoding mode information 223 and the motion vector 205.
  • the predicted image 206 b after the smoothing is subtracted from the input video signal 201 by the subtraction unit 241 to obtain a prediction residual signal 208.
  • the prediction residual signal 208 is subjected to the atom parameter 2 based on the above-mentioned antagoregorism of Matching Pursuits. 10 is generated.
  • the basis set g k 2 1 1 is stored in the basis codebook 2 10. Due to the nature of the Matching Pursuits algorithm, if it is possible to find a basis that can represent the partial signal waveform as accurately as possible in the initial search step, the partial signal waveform can be represented with fewer atoms, that is, with a smaller code amount. Atoms are extracted over the entire frame.
  • the atom parameters Sort the atom parameters so that they are arranged in order on two-dimensional coordinates with the origin at the upper left corner of the frame, using the fact that the encoding order of the atoms does not affect the decoded image for the encoding of positional information among the atom parameters And the encoding order is configured to count atoms in units of macroblocks. In this way, the configuration is such that the atom parameters 2 1 2 (basis index, position information, basis coefficients) are encoded for each macroblock by the number of atoms contained therein.
  • the atom decoding unit 2 15 restores the local decoding residual signal 2 16 from the atom parameters 2 12, and adds the smoothed predicted image 2 06 b to the addition unit 2 42, thereby obtaining The locally decoded image 2 17 is obtained.
  • the locally decoded image 2 17 is stored in the frame memory 203 because it is used for the MC of the next frame.
  • the variable-length decoding section 2 29 detects a synchronization word indicating the start of each frame, and thereafter, the encoding mode information 2 2 3.
  • the motion vector 205 and the atom parameters 212 are restored.
  • the motion vector 205 is output to the motion compensator 207, and the output 206a is output to the smoothing filter
  • the atom parameter 2 12 is decoded by the atom decoding unit 2 15.
  • the basis is retrieved by giving the basis codepick 210 a basis index.
  • the output 2 16 of the tom decoding unit 2 15 is added to the predicted image 206 b by the addition unit 2 43 to obtain a decoded image 2 17.
  • the decoded image 2 17 is stored in the frame memory 230 because it is used for MC of the subsequent frames.
  • the decoded image 2 17 is displayed at a predetermined display timing (not shown). Output to the device, where the video is played.
  • the video encoding / decoding device according to the compression encoding method to which the technique called Matching Pursuits is applied is also used in the first embodiment. The same effect can be obtained.
  • a third embodiment of the present invention will be described.
  • the third embodiment describes another smoothing filter unit.
  • This smoothing filter section is a modification of the smoothing filter sections 124, 224 described in the first and second embodiments, and can be simply replaced with them.
  • the present invention is applicable to the image encoding device and the image decoding device shown in 12 and 13. Furthermore, the internal configuration is the same as in FIG.
  • the block activity calculation unit 125 defines the activity information not for the block itself but for a block boundary.
  • the filters can be controlled by uniquely assigning the activities without selecting the activities to be used in the situation where the activities are different between the blocks.
  • determining the SL (C) in relation to the left of block B, obtains the activity in relation to the block A of the above in determining the S U (C).
  • the boundary between blocks D and E shall be determined as S L (D) and S U (E).
  • the method of determining the degree of activity is determined by the motion vector difference between the two blocks and the difference in the encoding mode. It can be determined by the same setting rule as the mode.
  • the activity used in the situation where the activity differs between blocks is reduced.
  • the filter can be controlled by uniquely assigning the activity level without making a selection.
  • the MC block is also smoothed in a device for generating and encoding / decoding a predicted image in macroblock units. It is possible to perform encoding / decoding processing while doing so. Therefore, by introducing pipeline processing on a macroblock basis, high-speed and efficient implementation in an image encoding device and an image decoding device becomes possible.
  • a fourth embodiment of the present invention will be described.
  • the fourth embodiment describes another smoothing filter unit.
  • This smoothing filter section is a modification of the smoothing filter sections 124, 224 described in the first and second embodiments, and can be simply replaced with them.
  • the present invention is applicable to the image encoding device and the image decoding device shown in 12 and 13. Furthermore, the internal configuration is the same as in FIG.
  • FIGs 15A and 15B show a case where a 5-tap filter is applied using two pixels on the left and right with the pixel to be filtered as the center.
  • the smoothing filter unit of the fourth embodiment it is possible to control the degree of smoothing according to the degree of activity.
  • a plurality of filter characteristics can be selected according to the degree of activity, and the configuration may be such that characteristic identification information is multiplexed into the compressed stream 114 and transmitted to the image decoding device. Les ,.
  • the configuration may be such that characteristic identification information is multiplexed into the compressed stream 114 and transmitted to the image decoding device. Les ,.
  • Special video analysis Adaptive smoothing filter processing can be realized without performing any processing.
  • the fourth embodiment can be similarly applied to the case where the activity defined for the block boundary as described in the third embodiment is used.
  • the type of the used filter characteristic is transmitted, for example, as a part of the header information at the head of the frame in the compressed stream.
  • FIG. 16 is a block diagram illustrating a configuration of an image encoding device according to a fifth embodiment of the present invention
  • FIG. 17 is a block diagram illustrating a configuration of an image decoding device.
  • parts corresponding to the respective parts of the first embodiment shown in FIG. 1 are denoted by the same reference numerals
  • portions corresponding to the respective portions of the first embodiment in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted.
  • FIG. 16 shows the difference between the image encoding device shown in FIG. 16 and the image decoding device shown in FIG. 17 from that of the first embodiment.
  • FIG. 18 shows the internal configuration of the smoothing filter section 524
  • FIG. 19 is a flowchart illustrating the operation of the block activity calculating section 525 in the smoothing filter section 524.
  • the present smoothing filter section 524 is a modification of the smoothing filter sections 124, 224 described in the above-described first and second embodiments, and is configured to input the reference image 104. Except, they can simply be replaced.
  • a predicted image 106 a before smoothing filter processing and a reference image 104 in a frame memory 103 from which the predicted image 106 a is generated are described. The difference is calculated, and filter control is performed based on the error power.
  • the predicted image 106a is image data extracted from the reference image 104 using the motion vector 105, and is image data approximating the input video signal 101 to the image encoding device. is there. That is, the reference image 104 and the predicted image 106a are When comparing the same part, the error power is large where there is motion, and the error power is small where there is little motion.
  • the magnitude of the motion vector 105 expresses the amount of motion to a certain extent, but factors such as noise that do not depend on the change in the video itself also affect detection, so the size of the motion vector alone is not sufficient. Although the magnitude and the intensity cannot be sufficiently expressed, the above error power can be used as an index of the intensity of the motion, and the adaptability of the finoleta control can be improved. Also, since the same data can be used for the reference image 104 on the encoding side and the decoding side, this control can be implemented without transmitting special identification information to the decoding device when introducing this control.
  • the reference image 104 and the predicted image 106 a are input to the block activity calculating unit 525, and the reference image 104 and the predicted image 104 are inputted for each block.
  • the error power from the measured image 106a is obtained.
  • the evaluation based on the error power is skipped at the position where the activity is determined to be zero and there is no motion. This is because if the motion vector difference mvd (X, Y) is zero, spatial continuity is maintained and smoothing is performed, even though it may be a part with much movement. It is not necessary.
  • the activity is evaluated only using the motion vector, and the obtained error power is used. If the activity is larger than a predetermined threshold, the activity is increased. Then, if it is smaller than a predetermined threshold, the activity is set to zero so that no smoothing is performed (step ST15). At this time, the threshold in the direction of increasing the activity and the threshold in the direction of decreasing the activity are not necessarily the same.
  • an average value in a block for each evaluation block is calculated and buffered in advance before storing the frame memory, and the prediction image 106a is similarly calculated. An average value may be calculated in advance, and the error power evaluation may be performed using only the average value.
  • the error amount between the reference image 104 and the predicted image 106 a is active because the average value is the dominant component and only the average value can be stored in a small buffer. It is possible to reduce the frequency of access to the frame memory when calculating the activity without affecting the determination of the activity.
  • a partial region that straddles the block boundary is defined, and the reference image 104 and the predicted image 106 a have an error in units of the partial region. It can also be configured to evaluate the quantity.
  • the error amount between the reference image 104 and the predicted image 106 a is used for updating the activity itself.
  • It may be used to change the characteristics of the applied filter. For example, if the activity of a block or block boundary is an intermediate value in the defined activity range, it is more adaptive to change the filter characteristics at that time depending on the situation. You. For this purpose, it is also possible to configure so that an error amount between the reference image 104 and the predicted image 106a is switched and evaluated.
  • the adaptability of the filter control can be improved as described above, and the reference image 104 can be obtained on the encoding side and the decoding side. Since exactly the same data can be used, this control can be implemented without transmitting special identification information to the decoding device. Furthermore, the frequency of access to the frame memory at the time of calculating the activity can be reduced without affecting the determination of the activity.
  • the present invention can be used, for example, as an image encoding device and an image decoding device applied to a mopile video transmission system.

Description

明糸田
画像符号化装置、 画像復号装置、 画像符号化方法及び画像復号方法 技術分野
本発明は、 モパイル映像伝送システム等に適用され、 画像を少ない符号化量で 伝送蓄積する画像符号化装置、 画像復号装置、 画像符号化方法、 画像復号方法に 関する。
背景技術
従来の映像符号化方式は、 画像フレームを固定サイズのブロックに分割し、 こ の分割単位で符号化処理を行うように構成されている。 従来の映像符号化方式の 典型例として、 L e G a l l . D： "M P E G： A V i d e o C omp r e s s i o n S t a n d a r d f o r Mu l t i me d i a A p 1 i c a t i o n s", T r a n s . ACM, 1 9 9 1 , A p r i 1に記載の M PEG (Mo v i n g P i c t u r e E x e r t s G r o u ) 1符号 化方式がある。
MPEG 1では、 映像の各フレームをマクロブロックという固定プロック単位 に分割し、 この単位で符号化済みの局所復号フレーム画像を参照して動き量 （又 は動きベク トル） を検出し、 参照画像の中から類似ブロックを特定し、 それを予 測データとして使用する動き補償フレーム間予測 （MC： Mo v i n g C om p e n s a t i o n) を実施する。 この技術によって、 映像中に動きがある場合 でも動きに追随して予測効率を向上することができ、 時間方向に存在する冗長度 を削減することができる。 更に、 予測残差信号に対して 8 X 8画素から成るプロ ックの単位で D CT (D i s c r e t e C o s i n e T r a n s f o rm : 離散コサイン変換） を施し、 空間方向に残る冗長度を削減する。 MPEG 1を始 めとする種々の標準映像符号化方式では、 MCと D C Tを組み合わせることで映 像信号の情報圧縮を行う。
図 20は、 従来の MP EG 1画像符号化方式に基づく画像符号化装置の構成を 示すプロック図である。この図 2 0に示す画像符号化装置への入力映像信号 1は、 フレーム画像の時間系列であり、 以降ではフレーム画像単位の信号を表すものと する。 また符号化対象となるフレーム画像の一例を図 2 1に示す。 現フレーム 6 0 1は、 1 6画素 X 1 6ライン固定の正方矩形領域 （マクロブロックと呼ぶ） に 分割され、 その単位で以下の処理が行われる。
入力映像信号 1による現フレームのマクロブロックデータ（現マクロプロック） は、 まず動き検出部 2へ出力され、 ここで、 動きベク トル 5の検出が行われる。 動きべク トノレ 5は、 フレームメモリ 3に格納されている過去の符号化済みフレー ム画像 4 (以下、 局所復号画像 4と呼ぶ） の所定の検索領域を参照して、 現マク ロブロックと類似するパターン （以下、 予測画像 6という） を見つけ出し、 該パ ターンと現マクロプロックとの間の空間的移動量を求めたものである。
ここで、 局所復号画像 4は、 過去のフレームだけに限定されるものではなく、 未来のフレームを先に符号化しておき、 これをフレームメモリ 3に格納して使用 することもできる。 未来のフレームを使用すると、 符号化順序の入れ替えが生じ て処理遅延が増えるものの、 過去と未来の間に生じた映像内容の変動を予測しや すくなり、 時間冗長度を更に効果的に削減できるメリットがある。
一般に M P E G 1では、 両方向予測 （Bフレーム予測） と呼んでおり、 前フレ ームのみを使用する前方向予測 （Pフレーム予測） と、 フレーム間予測を行わず にフレーム内だけで符号化を行う Iフレームの 3つの符号化タイプを選択的に使 用することができる。 図 2 1では、 Pフレーム予測だけに限り、 局所復号画像 4 を前フレーム 6 0 2と記載している。
図 2 0に示す動きベク トル 5は、 2次元の平行移動量で表現される。 動きべク トル 5の検出方法としては、 一般に図 2 2 A〜Dに表現するブロックマッチング が用いられる。 現マクロプロックの空間位相を中心とした動き探索範囲 6 0 3を 設け、 前フレーム 6 0 2の動き探索範囲 6 0 3内の画像データ 6 0 4から、 差分 二乗和もしくは差分絶対値和を最小とするプロックを動き予測データとして求め、 現マクロプロックと動き予測データの位置変移量を動きべク トル 5とする。
現フレーム内の全マクロブロックに対して動き予測データを求め、 これをフレ ーム画像として表したものが図 21における動き予測フレーム 605に該当する。 以上の MC処理を経て得られた図 2 1に示す動き予測フレーム 605と現フレー ム 601との間の差分 606を取り （図 20に示す減算部 2 1で取る）、 この残差 信号 （以下、 予測残差信号 8と呼ぶ） を DCT符号化の対象とする。 具体的に各 マクロブロック毎の動き予測データ （以下、 予測画像 6) を取り出す処理は動き 補償部 7が行う。 この動き補償部 7の処理は、 動きベク トル 5を用いてフレーム メモリ 3に格納された局所復号画像 4から予測画像 6を取り出すものである。 予測残差信号 8は、 DCT部 9によって DCT係数データ 10 (以降、 DCT 係数 10とも呼ぶ） に変換される。 DCTは図 23に示すように、 6 1 0で示す 空間画素べク トルを、 6 1 1で示す固定の周波数成分を表現する正規直交基底の 組に変換する。 空間画素ベク トルとして、 通常 8 X 8画素のブロック （以下、 D CTブロック） がとられる。 DCTそのものは分離型変換処理であるため、 実際 上は DC Tブロックの水平 .垂直の 8次元行べク トル .列べク トル毎に変換を行 ラ。
DCTは、 空間領域に存在する画素間相関を利用して、 DCTブロック内の電 力集中度を局在化させる。 電力集中度が高いほど変換効率が良く、 自然画像信号 に対しては、 最適変換である KL変換に比べ遜色のない性能が得られる。 特に自 然画像では DC成分を主軸として低域に電力が集中し、 高域では電力が殆ど無く なるため、 図 24に示すように、 6 1 2で示す量子化係数を 6 1 3で示すように DCTブロック内で矢印で示す低域から高域に向けてスキャンし、 ゼロランを多 く含むようにすることで、 ェントロピー符号化の効果も含めて全体の符号化効率 を高めている。
DCT係数 1 0の量子化は量子化部 1 1で行われ、 ここで得られた量子化係数
1 2は、 可変長符号化部 1 3でスキャン、 ランレングス符号化されて圧縮ス トリ ーム 1 4に多重され伝送される。 また、 動き検出部 2で検出された動きベク トル 5は、 後述で説明する画像復号装置において、 画像符号化装置と同じ予測画像を 生成するために必要となるため、 各マクロプロック毎に圧縮ストリーム 1 4に多 重され、 伝送される。
また、 量子化係数 1 2は、 逆量子化部 1 5、 逆 D C T部 1 6を経て局所復号さ れ、 この結果が加算部 2 2で予測画像 6と加算されることによって、 画像復号装 置と同一の復号画像 1 7が生成される。 この復号画像 1 7は、 次フレームの予測 に用いられるため、 フレームメモリ 3に格納される。
次に、 従来の M P E G 1画像復号方式に基づく画像復号装置の構成を図 2 5に 示し、その説明を行う。画像復号装置では、圧縮ストリーム 1 4を受信したのち、 可変長復号部 1 8で各フレームの先頭を示す同期ワードを検出し、 以後、 マクロ ブロック単位に動きべクトノレ 5、 量子化 D C T係数 1 2を復元する。 動きべク ト ル 5は動き補償部 7 dへ出力され、 動き補償部 7 dは上記画像符号化装置の動作 と同様、 フレームメモリ 1 9 (フレームメモリ 3と同じように使用） から動きべ タ トル 5だけ動いた画像部分を予測画像 6として取り出す。 量子化 D C T係数 1 2は、 逆量子化部 1 5 d、 逆 D C T部 1 6 dを経て復号された後、 予測画像 6と 加算部 2 3で加算されて最終的な復号画像 1 7となる。 復号画像 1 7は、 所定の 表示タイミングで図示せぬ表示デバイスへ出力され、 そこで映像が再生される。 発明の開示
しかしながら、従来の装置においては、 M Cはその単位となるブロック （以下、
M Cブロック、 上記 M P E G 1の例ではマクロブロック） 内の全画素が同一の動 きを持つことを前提として動き量の検出が行われるため、 M Cブロックを空間配 置して構成される予測画像では、 M Cブロック境界において、 不連続性が知覚さ れる信号波形が現れる可能性がある。 この不連続波形は、 残差信号に十分な符号 量が割り当てられる場合には残差成分の足し込みで補われるが、 高い圧縮率での 符号化を実施する場合、 十分な残差信号の表現ができず、 不連続境界が目に付く 歪みとして知覚されることがある。
また、 DCTも固定ブロック内で閉じた直交変換であるため、 変換基底の係数 が粗い量子化によって削られる場合、 ブロック間を自然に繋げる信号波形が再構 成できず、 ブロック間で不自然な歪み （ブロック歪み） が発生することが指摘さ れてきた。
前者の MCプロック境界の不連続性を解決する手段として、 オーバーラップ動 き補償 （以下、 OBMCと呼ぶ） が提案されている。 OBMCは、 図 26A， B に示すように、 各 MCブロックにおいて、 自身の動きベク トルで特定した予測デ ータに、 その周辺の MCブロックの持つ動きべクトルで特定した予測データを重 み付きで加算することで最終的な予測データを求める技術である。
図 26 Aにおいて、 フレーム F ( t ) は、 フレーム F ( t - 1 ) を参照画像と して、 参照画像中から各 MCブロック （例えば A〜E) 単位に予測データを取り 出す。通常の MCは、そのままこれらの予測データを使用するが、 OBMCでは、 プロック Cの予測画像 P cを決定するに当たって、 図 26 Bに示すような、 周辺 のブロック A、 B、 D、 Eの動きべク トル MV (A)、 MV (B)、 MV (C)、 M
V (D) を用いてブロック Cの位置に該当する予測データをそれぞれ取り出す。 この取り出しでは、 P {C、 MV (A)} 、 MV (A) を使って Cの位置の予測 データを取り出す処理を意味する。 この取り出された各予測データを次式のよう に W 1〜W 5で重み付けして加算する。
P c =W 1 X P {C、 MV (C) } +W2 X P {C、 MV (A)} +W3 X P {C、
MV (B) } +W4 X P {C、 MV (D)} +W5 X P {C、 MV (E) }
この際、 通常重みはブロック Cの中心からブロック境界に向けて、 ブロック C のもとの予測データの影響が小さくなつていくように設定される。 このような処 理により、 自身の動きに周辺領域の動き量がオーバーラップされて予測画像が決 定されるため、 MCブロックの内外の画素間で波形の連続性が保たれて境界が目 立ちにくくなるという利点がある。 し力、し、 O B M Cでは、 自身の動きベク トルでの予測データの取り出しだけで なく、 周囲の M Cブロックの動きべク トルによる予測データの取り出し処理と、 更にそれらの重み付け加算処理を、 全ての M Cプロックに対して実行するため、 演算負荷が高いという問題がある。
また、 映像符号化における動き量検出では、 被写体の自然な動きに即した動き 量よりも、 予測残差の電力が最小になることを規範として検出を行うため、 ノィ ズを多く含む領域などでは実際の動きに即していない動きが検出されることがあ り、 そういった箇所では O B M Cで周辺の動き量の影響を重ね合わせることで必 要以上に M Cプロックが平滑化されてしまったり、 二線ぼけが発生したりという 問題がある。
一方、 後者の D C Tのブロック歪みを解決する手段としては、 ループ内フィル タが提案されている。 ループ内フィルタは、 符号化 '局所復号を経た予測残差信 号を予測画像と加算して得られる復号画像に対して、 その D C Tプロックの境界 に対して平滑化フィルタを施すものである。 これは、 以降のフレームに使用する 参照画像からブロック歪みを除去することで D C T量子化による歪みの影響を M Cに持ち込まない手法であるが、 M Cをブロック単位で実施する限り、 M Cプロ ック間の不連続は依然として避けられない。 また、 サブバンド符号化やブロック を跨る基底変換など、 ブロック構造に依存しない残差符号化を行う場合は、 プロ ック境界での不連続波形の存在により、 符号化効率上の不利を避けることができ ないという問題がある。
本発明はかかる点に鑑みてなされたものであり、 ブロック単位の動き補償フレ ーム間予測 （M C ) によって生成される予測フレーム画像に対して、 その M Cブ 口ック間に生じる不連続波形を適応的に平滑化する処理を比較的簡易な演算で行 うことができ、 これによつてフレーム間 M Cを用いた低ビットレートの符号化効 率を改善することができる画像符号化装置、 画像復号装置、 画像符号化方法、 画 像復号方法を提供することを目的とする。 上記課題を解決するために、 本発明の画像符号化装置は、 入力画像について所 定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償 予測手段と、 上記動き補償予測手段により得られた予測画像に対して、 所定の判 断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑 化手段と、 上記入力画像と上記平滑化された予測画像との差分によって得られる 予測残差信号を符号化する予測残差符号化手段とを具備することを特徴としてい る。
また、 これに対応する画像復号装置として、 本発明の画像復号装置は、 所定の 部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測 手段と、 上記動き補償予測手段により得られた予測画像に対して、 所定の判断基 準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化手 段と、 符号化側からの予測残差信号を復号する予測残差復号手段と、 上記予測残 差復号手段で得られた復号予測残差信号と上記平滑化された予測画像とを加算し て復号画像を得る加算手段とを具備することを特徴としている。
また、 上記課題を解決するために、 本発明の画像符号化方法は、 入力画像につ いて所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成する動 き補償予測ステップと、 上記動き補償予測ステップにより得られた予測画像に対 して、 所定の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平 滑化を行う平滑化ステップと、 上記入力画像と上記平滑化された予測画像との差 分によって得られる予測残差信号を符号化する予測残差符号化ステップとを具備 することを特徴としている。
また、 これに対応する画像復号方法として、 本発明の画像復号方法は、 所定の 部分画像領域単位で動き量を検出して動き補償予測画像を生成する動き補償予測 ステップと、 上記動き補償予測ステップにより得られた予測画像に対して、 所定 の判断基準に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う 平滑化ステップと、 符号化側からの予測残差信号を復号する予測残差復号ステツ プと、 上記予測残差復号ステップで得られた復号予測残差信号と上記平滑化され た予測画像とを加算して復号画像を得る加算ステップとを具備することを特徴と している。
この構成によれば、 予測画像に対して所定の判断基準に基づき隣り合う部分画 像領域の境界に位置する画素の平滑化を行うので、 部分画像領域の不連続を是正 する平滑化処理だけを許容する方向に修正を行うことが可能となり、 これによつ て予測残差に生じる不連続波形を抑圧して符号化効率を向上させることができる。 その結果、 ブロック単位の動き補償フレーム間予測 （M C ) によって生成される 予測フレーム画像に対して、 その M Cプロック間に生じる不連続波形を適応的に 平滑化する処理を比較的簡易な演算で行うことができ、 これによつてフレーム間 M Cを用いた低ビットレートの符号化効率を改善することができる。
図面の簡単な説明
図 1は、 本発明の第 1実施形態に係る画像符号化装置の構成を示すプロック図 である。
図 2は、 第 1実施形態に係る画像復号装置の構成を示すブロック図である。 図 3 A〜Gは、 M C (動き補償フレーム間予測）プロック形状を示す図である。 図 4は、 ブロック単位 M Cの問題点の説明図である。
図 5は、 第 1実施形態の平滑化フィルタ部の構成を示すプロック図である。 図 6は、 平滑化フィルタ部のプロック活性度算出部における算出処理の動作を 説明するためのフローチャートである。
図 7は、 プロック活性度を決定する単位の一例を示す図である。
図 8は、 平滑化フィルタ部においてフィルタ処理部での平滑化フィルタリング における無駄なフィルタリング処理を修正する処理の動作を説明するフローチヤ ートである。
図 9は、 平滑化フィルタリング処理における横方向に隣接したブロック間での 処理対象画素の様子を示す図である。 図 1 0 A， Bは、 他のフィルタによる平滑化フィルタリング処理における横方 向に隣接したブロック間での処理対象画素の様子を示す図である。
図 1 1は、 平滑化フィルタ部の後処理部において定められる関数を示す図であ る。
図 1 2は、 本発明の第 2実施形態に係る画像符号化装置の構成を示すプロック 図である。
図 1 3は、 第 2実施形態に係る画像復号装置の構成を示すブロック図である。 図 1 4は、 本発明の第 3実施形態に係る平滑化フィルタ部においてブロック境 界に対して活性度を定義することを説明するための図である。
図 1 5 A， Bは、 本発明の第 4実施形態に係る平滑化フィルタ部においてフィ ルタ対象の画素を中心として左右 2画素を使って 5タップのフィルタを施す場合 を説明するための図である。
図 1 6は、 本発明の第 5実施形態に係る画像符号化装置の構成を示すプロック 図である。
図 1 7は、 第 5実施形態に係る画像復号装置の構成を示すブロック図である。 図 1 8は、 第 5実施形態の平滑化フィルタ部の構成を示すブロック図である。 図 1 9は、 第 5実施形態の平滑化フィルタ部におけるブロック活性度算出部の 動作を説明するためのフローチャートである。
図 2 0は、 従来の M P E G 1画像符号化方式に基づく画像符号化装置の構成を 示すブロック図である。
図 2 1は、 動き補償フレーム予測の概念図である。
図 2 2 A〜Dは、 プロックマッチングによる動き補償の概念図である。
図 2 3は、 離散コサイン変換の概念図である。
図 2 4は、 量子化とランレングス符号化の説明図である。
図 2 5は、 従来の M P E G 1画像復号方式に基づく画像復号装置の構成を示す ブロック図である。 図 2 6 A， Bは、 O B M C (オーバーラップ動き補償） の説明図である。
発明を実施するための最良の形態
以下、 本発明の実施の形態について、 図面を参照して詳細に説明する。
(第 1実施形態）
図 1は、本発明の第 1実施形態に係る画像符号化装置の構成を示すプロック図、 図 2は、 画像復号装置の構成を示すブロック図である。 図 1に示す画像符号化装 置は、 M Cにより時間方向に存在する冗長度を削減し、 M Cの結果得られた予測 画像に対し、 個々の M Cブロック間の空間的不連続性を定量化し、 その状況に応 じて適応的に平滑化フィルタ処理を施すよう構成し、 効率的な映像符号化を行う ものである。
この画像符号化装置において、 M Cの手順は従来例に述べた方法とほぼ同一で あり、 その手順の概要は図 2 1に、 動きべク トル検出に用いられるブロックマツ チング処理の概要は図 2 2 A〜Dに示した通りである。 但し、 M Cブロックは、 図 3 A〜Gに M Cモード 1〜 7で示すようにマクロブロックを、 種々の矩形領域 に均等分割した単位で定義できるようにし、 どのような M Cブロック形状を使用 するかを示す識別情報を符号化モード情報として伝送するようにする。
例えば図 3 Aに示す M Cモ一ド 1ではマクロブ口ックそのものを M Cブロック とするため、 マクロブロックにっき 1本の動きベクトルが定まる。 それに対して 図 3 Bに示す M Cモード 2では、 マクロブロックを左右半分に分割した領域を M Cブロックとし、 マクロブロック当たり 2本の動きベク トルが定まる。 同様に、 図 3 Gに示す M Cモード 7では 1マクロブ口ック当たり 1 6本の動きべク トノレ力 S 定まる。
平滑化処理を経た予測画像と入力画像との差分によって得られる残差信号に対 して、 直交変換を行った後、 その係数の量子化、 エントロピー符号化を行う手順 も従来例で図 2 4を参照して説明した通りとする。
以下、 それらの図を参照しながら、 特に本実施形態の特徴である平滑化フィル タ処理を中心として、 図 1および図 2に示す画像符号化装置および画像復号装置 の動作を説明する。
最初に画像符号化装置の動作を説明する。 入力映像信号 1 0 1は、 フレーム画 像の時間系列であり、 以後はフレーム画像単位の信号を表すものとする。 但し、 符号化対象となるフレーム画像は、 図 2 1に示す現フレーム 6 0 1であるものと する。
現フレームは、 以下の手順で符号化される。 入力映像信号 1 0 1は、 マクロブ 口ックごとに動き検出部 1 0 2に入力され、 ここで、 動きべク トル 1 0 5の検出 が行われる。 動きベクトル付与の単位となる M Cブロックについては、 図 3 A〜 Gに示した形状のうち、 最も符号化効率のよいものが選択されるものとする。 動 き補償部 1 0 7は、 動きべク トル 1 0 5を用いてフレームメモリ 1 0 3に格納さ れた参照画像 1 0 4 (符号化 ·局所復号済みのフレーム画像） を参照して、 各マ クロブロックの予測画像 1 0 6 aを取り出す。
動き検出部 1 0 2と動き補償部 1 0 7とは、マクロブロック毎に処理を行う力 入力映像信号 1 0 1との差分信号 （予測残差信号 1 0 8 ) は、 フレームを単位と して得るものとする。 つまり、 個々のマクロブ口ックの動きべク トル 1 0 5は、 フレーム全体に渡って保持され、 予測画像 1 0 6 aはフレーム単位の画像として 構成される。
次いで、 平滑化フィルタ部 1 2 4において、 予測画像 1 0 6 aの M Cブロック 間平滑化処理を行う。 この処理内容は後述で詳細に説明する。 平滑化後の予測画 像 1 0 6 bは、 減算部 1 3 1で入力映像信号 1 0 1から差し引かれ、 これによつ て予測残差信号 1 0 8が得られる。 この予測残差信号 1 0 8は、 直交変換部 1 0 9によって直交変換係数データ 1 1 0に変換される。 この直交変換には例えば D C Tが用いられる。 直交変換係数データ 1 1 0は、 量子化部 1 1 1を経て、 可変 長符号化部 1 1 3でスキャン、 ランレングス符号化されて圧縮ス トリーム 1 1 4 に多重され伝送される。 この際、 マクロブロックごとに決定されるフレーム内 （イントラ） 符号化とフ レーム間 （インター） 符号化との何れの符号化を行つたかをも示す符号化モード 情報 1 2 3も多重され、 インターモードの場合は、 動きべク トル 1 0 5がマクロ ブロック毎に圧縮ス トリーム 1 1 4に多重され伝送される。 また、 量子化係数 1 1 2は、 逆量子化部 1 1 5、 逆直交変換部 1 1 6を経て局所復号され、 この結果 が加算部 1 3 2で予測画像 1 0 6 bと加算されて、 画像復号装置側と同一の復号 画像 1 1 7が生成される。 復号画像 1 1 7は、 次フレームの予測の参照画像 1 0 4として用いるため、 フレームメモリ 1 0 3に格納される。
次に、 図 2を参照して画像復号装置の動作説明する。 この画像復号装置では、 圧縮ス トリーム 1 1 4を受信したのち、 可変長復号部 1 1 8で各フレームの先頭 を示す同期ワードを検出し、 以後、 マクロブロック単位に符号化モード情報 1 2 3、 動きべクトル 1 0 5、 量子化直交変換係数 1 1 2が復元される。 動きべクト ノレ 1 0 5は動き補償部 1 0 7 へ出力され、 動き補償部 1 0 7は画像符号化装置の 動作と同様、 フレームメモリ 1 2 2 (フレームメモリ 1 0 3と同じように使用） から動きべクトル 1 0 5だけ動いた画像部分を予測画像 1 0 6 aとして取り出す。 予測画像 1 0 6 aは、 平滑化フィルタ部 1 2 4を経て、 平滑化された予測画像 1 0 6 bとして出力される。 量子化直交変換係数 1 1 2は、 逆量子化部 1 2 0 、 逆直交変換部 1 2 1を経て復号された後、 加算部 1 3 3で予測画像 1 0 6 bと加 算されて最終的な復号画像 1 1 7となる。 復号画像 1 1 7は、 フレームメモリ 1 2 2に格納されるとともに、 所定の表示タイミングで図示せぬ表示デバイスへ出 力され、 そこで映像が再生される。
次に、 平滑化フィルタ部 1 2 4の動作を説明する。 まず、 平滑化フィルタが必 要となる理由について図 4を参照して説明する。 図 4は、 入力画像 1 4 1 、 M C プロック間の不連続が生じない予測画像 1 4 2および当該予測画像 1 4 2を用い た予測残差画像 1 4 3と、 M Cブロック間の不連続が生じる予測画像 1 4 4およ び当該予測画像 1 4 4を用いた予測残差画像 1 4 5を示している。 プロックマツ チングなど、 一般の映像符号化方式における動き検出アルゴリズムでは、 M Cブ ロックを単位に動きべク トルが検出される。
つまり、 M Cブロック内に含まれる画素は、 すべて同じ動き量を持つ。 一般に ブロック単位 M Cでは、 当該 M Cブロックにとつて最も予測残差を低減させる動 きべクトルを検出するため、隣接 M Cブロックとの空間的連続性は考慮されない。 そのため図 4に示すように、 M Cブロック間に不連続波形 1 4 6が生じることが ある。このような不連続波形 1 4 6は残差信号に残留し、符号化対象信号となる。 ここで注意すべきは、 直交変換自体は、 上記 M Cブロックの中に閉じて実施する ため、 当該フレームにおける符号化には、 影響は与えない。
しかし、 当該フレームの予測残差符号化において、 十分にこのような特異波形 が符号化できない場合は、 その波形成分は局所復号画像に残留し、 以降のフレー ムの予測画像において M Cブロックの内部に現れることになる。 その場合、 予測 残差信号の符号化効率に影響がある。 自然画像においては、 本来 M Cブロックの 境界は、 スムーズに連結されるはずであり、 平滑化フィルタ部 1 2 4による処理 は、 この仮定に基づいて M Cブロック間に存在する不連続波形を平滑化すること により、 自然映像に近い予測画像を得ることを目的とする。
平滑化フィルタ部 1 2 4の構成を図 5に示し、 その説明を行う。 まず、 ブロッ ク活性度算出部 1 2 5において、 予測画像 1 0 6 aの固定ブロック X単位にプロ ック活性度 S ( X ) を決定する。 ブロック活性度算出部 1 2 5における処理の流 れを図 6に示す。 S ( X ) の決定は、 図 7に示すように周囲のブロックとの関係 性に基づく。 ここで、 ブロック A〜Eはブロック活性度を決定する単位であり、 必ずしも M Cブロックと同一ではない。 例えば、 ブロック Aはそれより大きなサ ィズの M Cブロック 1 4 7の一部分であることを示す。 つまり、 ブロック活性度 は、 図 3 A〜Gに示した M Cブロックの大きさに関係なく、 固定のサイズのブロ ックを対象とする。 まず、 フレーム全域に渡って S ( X ) を所定の初期値 S O (例 えばゼロ） に設定する。 次いで、 ブロック Cが含まれるマクロブロックの符号化 モード情報 1 23がイントラモードを示しているとき、 ブロック活性度 S (X) は下記ルール 1によって決定される （ステップ ST 1)。
(ルール 1 )
①現在の S (A) を ma x { S (A)、 S 0+ 1 } に更新
②現在の S (B) を ma x { S (B)、 S 0+ 1 } に更新
③現在の S (C) を ma x { S (C)、 S 0 + 2 } に更新
④現在の S (D) を ma x { S (D)、 S 0 + 1 } に更新
⑤現在の S (E) を ma x { S (E)、 S 0 + 1 } に更新
これにより、 イントラ符号化されるプロックの周辺はプロック活性度が高く設 定される。 一般にイントラ符号化における予測画像の解像度は、 インター符号化 による予測画像よりも低いことから、 イントラモードのマクロブロック内のブロ ックでは、 その境界が目立ちやすくなる。 ステップ ST 1の処置は、 そのような 領域における平滑化処理の優先度を上げることに相当する。
次にブロック Cが含まれるマクロブロックの符号化モード情報 123がィンタ 一符号化を示しているときの S (X) の設定ルールについて述べる。 まず、 現在 の予測画像が、 両方向予測を使用して生成されたもの （従来例に述べた Bフレー ム予測） であるかどうかを判断する （ステップ ST 2)。
両方向予測を使用可能な場合、 各マクロブロックごとに予測の方向が変わり得 る。 予測の方向がブロック間で異なる場合は、 その両者の境界に空間的な連続性 が仮定できない。 すなわち、 この場合はブロック Cと隣り合うブロック A、 B、 D、 Eの予測の方向が同じかどうかに関して判断を行い、 処理を切り替える （ス テツプ ST 3)。
片方向予測のみを使用した場合か、 両方向予測可能なフレームであって且つブ 口ック Cの予測の方向が同じ場合、 下記ルール 2によってプロック活性度を更新 する （ステップ ST4)。
(ノレ一ノレ 2 ) ①もしブロック Aが含まれるマクロプロックがィンターモードであれば、 現在の S (A) を ma x { S (A)、 K} に更新、 かつ
現在の S (C) を ma x { S (C)、 K} に更新
ここで、 K=2 (m V d (A、 C) ≥ 3のとき）
K= 1 (0 <m v d (A、 C) く 3のとき）
K= 0 (m v d (A、 C) =0のとき）
②もしブロック Bが含まれるマクロブロックがインタ一モードであれば、 現在の S (B) を ma x { S (B)、 K} に更新、 かつ
現在の S (C) を ma x { S (C)、 K} に更新
ここで、 K=2 (m V d (B、 C) ≥ 3のとき）
K= 1 (0 <m v d (B、 C) く 3のとき）
K= 0 (m v d (B、 C) =0のとき）
③もしプロック Dが含まれるマクロブロックがィンターモードであれば、 現在の S (D) を ma x { S (D)、 K} に更新、 かつ
現在の S (C) を ma x { S (C)、 K} に更新
ここで、 K=2 (m V d (D、 C) 3のとき）
K= 1 (0 <m ν d (D、 C) く 3のとき）
K=0 (m v d (D、 C) =0のとき）
④もしプロック Eが含まれるマクロブロックがィンターモードであれば、 現在の S (E) を ma x { S (E)、 K} に更新、 かつ
現在の S (C) を ma x { S (C)、 K} に更新
ここで、 K=2 (m V d (E、 C) 3のとき）
K= l (0 <m ν d (E、 C) < 3のとき）
K= 0 (m v d (E、 C) =0のとき）
⑤もしブロック A、 B、 D、 Eがイントラ符号化であれば、
それらのプロックの活性度は変更しない。 上記において、 mv d (X、 Y) とは、 隣り合うブロック X、 Υの動きベク トル の各成分ごとの差分値のうち大きい値を示す。 また、 ma x (a、 b) とは、 a、 bのうち大きい方の値を示す。 以上のブロック活性度の更新によって、 動きべク トルの差が激しいプロック間に高いプロック活性度が与えられる。
mv d (X、 Y) = 0なる場合 （ブロック Xと Yとの間の動きベク トルの差が ない場合） は、 ブロック境界が完全に空間的連続性を保っている場合を示してお り、この場合は平滑化の必要がないため、ブロック活性度は最低値に設定される。 一方、 両方向予測を使用可能なフレームで、 且つブロック Cに対してブロック A、 B、 D、 Eの予測の方向が異なる場合、 又は前方向 ·後方向の予測値を加算 平均して予測画像を合成するモードでは、 動きベク トルの差分とは無関係に予測 画像の空間的連続性が断ち切られているため、現在の S (X)を ma x {S (X)、 1 } (Xは A〜Eの各ブロック） に更新する （ステップ ST 5)。 以上の処理をフ レーム内のすべての固定プロック Xについて終了するまで実施し （ステップ ST 6)、 ブロック活性度 S (X) 1 26の設定を完了する。
ブロック活性度算出部 1 2 5によって設定されたブロック活性度 S (X) 1 2
6を用いて、 フィルタ処理部 1 2 7において、 予測画像 1 06 aに対して MCブ ロック間の平滑化処理を行う。 平滑化処理の過程では、 一旦平滑化フィルタリン グを行った結果 1 28が過剰な平滑化にならないよう、後処理部 1 2 9において、 無駄なフィルタリング処理を修正する。 この処理過程を図 8のフローチヤ一トに 示し、また、横方向に隣接したプロック間での処理対象画素の様子を図 9に示し、 その説明を行う。
但し、 図 9において、 画素！^〜 はブロック nに含まれ、 画素 〜 13はその 左隣のブロック n— 1に含まれる。 以降の説明では、 ブロック nとブロック n— 1とは、 互いに異なるベタ トル MV (n) と MV (n- 1) を持ち、 r iと と の間は MCブロック境界 BDであるものとする。 縦方向に隣接したブロック間で の処理対象画素も同様に定義するものとする。 まず、 ブロック境界差分値 d= i r〖― 1 I (ここで、 はそれぞれ画 素 Γ ι， 1 iの画素値を表す） の大きさが、 ブロック活性度 Sに応じて定まる閾値 a (S) を超えるかどうかを判断する （ステップ ST 7)。 以下のフィルタ処理で は、 2つのブロックの境界に対して処理を行うため、 処理対象である 2つのブロ ックの S (X)のうち、大きい方の値をブロック活性度 Sとして用いる。例えば、 図 7においてブロック Bとブロック Cとの境界に対してフィルタリングを行う場 合、 S (B) >S (C) ならば、 S (B) の値をブロック活性度 Sとして用いる。 差分値 dが閾値ひ （S) 以下の場合は、 画素 r i〜r3、 1 i〜 13の領域にはフィル タ処理を行わないものとする。 一方、 差分値 dが閾値 α (S) を超える場合、 S に応じて、 フィルタをかける画素領域を切り替えてフィルタ処理を実施する （ス テツプ ST 8)。
この結果、 S = 0ならば、 そのブロック境界に不連続はないものとしてフィル タ処理をスキップする。 S= lならば、 画素 と画素 1 iとの 2画素に対してフ ィルタリング処理を実施する （ステップ ST 9)。 フィルタリング処理は、例えば 図 9に示す様に、画素 Γ ιに対して画素 rい 、 r 2の 3点を使用するようにし、 画素 1 iに対して画素 1い 12、 r iの 3点を使用するようにしたローパスフィル タ Fを使用するなどの方法があるが、 これは任意のフィルタを利用可能である。 例えば、 画素 r i、 1 Lを中心として左右 （上下） 2画素を利用する 5タップフィ ルタを用いてもよい。 別のフィルタの例としては、 図 10 Aに示すように、 画素 1 iのフィルタリングの際に、 画素 Γ ιおよび画素 のベク トル MV (η) で取り 出した画素 1 iの位置の予測画素値 1 r iを使用したり、 図 10 Bに示すように、 画素 のフィルタリングの際に、画素 1 iおよび画素 1 iのベタ トル MV (n— 1) で取り出した画素 r！の位置の予測画素値 r 1 ,を使用するなどの構成も考えられ る。 予測画素値 1 ， r はもともと、 フレームメモリ内の参照画像領域では 画素 1 i と空間的に連続であった画素値であり、 これによつてより自然なブ 口ック境界の平滑化が可能となる。 S = 2の場合は、 画素 rい に加え、 画素 r2、 12も平滑化の対象画素とする (ステップ ST 10、 ステップ ST 1 1)。 S = 2のケースでは、 ブロック活性度 が高いため急峻な不連続境界になっていることが多く、 平滑化の度合を強めるこ とで信号の連続性を高めることを目的とする。
以上の処理をフィルタ処理部 1 27において実施する。 フィルタ処理された予 測画素値 1 28は、 後処理部 1 29において、 符号化効率に有効となるよう修正 される。 後処理部 129の処理は図 8のステップ ST 1 2、 1 3に該当する。 後 処理部 1 29では、 フィルタを施す前の画素値とフィルタを施した後の画素値と の差分値 Δを、 ブロック活性度 Sに応じて定まる閾値 T h (S) によって制御す る。
具体的には、 図 1 1に示すような関数 （横軸： Δ、 縦軸： Δ修正値） を定め、 修正値を決定する。 ここで、 閾値 Th (S) は最大限許容する差分値であり、 そ の値以上の Δが発生する場合は、 値の大きさに応じて差分が小さくなる方向に修 正をかける。 Δが閾値 Th (S) 以上になる場合は、 フィルタリングによって得 られる差分が MCプロックの不連続に起因するものでなく、 むしろ元々画像内に 存在するエッジ成分に対するフィルタリングの結果であることが推定される。 このように、 第 1実施形態の画像符号化装置および画像復号装置によれば、 平 滑化フィルタ部 1 24による上記修正措置により、 MCブロックの不連続を是正 するフィルタリングだけを許容する方向に修正を行うことが可能となる。 以上の 処理を通じて予測画像 106 bが出力され、 それによつて予測残差に生じる不連 続波形を抑圧して符号化効率を向上させることができる。
なお、 図 7におけるブロック活性度の設定に際して、 インターモードでは、 m V d (X、 Y) の値の範囲に対応してブロック活性度を分けているが、 範囲の決 め方は任意である。 特に、 mv d (Χ、 Υ) ί ゼロかゼロでないかという基準 だけでインターモードの場合のプロック活性度を決めるようにしてもよレ、。更に、 図 3 A〜G示した種々の MCブロック形状の内、 動きべク トルの付与される単位 が小さくなつてマクロブロック当たりの動きべク トルの本数が増えるほど、 その マクロブロックおよびその近傍での動きが激しいといえるため、 図 3 A〜Gに示 した MCモ一ド 1〜 7のうち、 何れが選択されたかを基準としてプロック活性度 を設定するようにしてもよい。
また、 本平滑化フィルタ処理は、 フレーム単位で ON/OF Fできるように構 成することもできる。 平滑化フィルタ部 1 24の処理自体は、 MCブロック単位 で最適に選ばれた予測画像データを変更する処理になるため、 その処理によって 符号化効率上良い影響だけでなく、 悪い影響を与えることもある。 このため、 画 像符号化装置において、 フレーム単位の映像解析を行い、 MCブロック間の不連 続を生じさせるような動きが存在するかどうかを事前に判断して、 不連続が発生 する場合には、 平滑化フィルタ部 1 24を ONにし、 そうでない場合は OFFに する。
映像解析の例としては、 入力映像信号 1 01と予測画像 106 aとの間の暫定 的な残差を評価する、 などがある。 残差の信号分布見て、 残差符号化処理上、 不 利の少ないフレームでは平滑化フィルタ処理が必要ないため、 フィルタを OFF にし、 不利が多いフレームではフィルタを ONにする。 例えば、 全体の残差信号 量における MC境界での残差信号量の割合が、 ある一定のしきい値以上の場合は フィルタを ONにし、 しきい値以下の場合はフィルタを OF Fにすることが考え られる。 又は平滑化処現を実施する場合と実施しない場合とでフレーム単位での 符号化効率を比較した後、 ONZOFFを決定する、 という方法もある。 ON, OFFの結果は、圧縮ストリーム 1 14中のフレーム先頭のヘッダ情報の一部（平 滑化の有無を示すビット情報） として伝送する。 このような構成をとることによ つて、 非定常な映像信号に対してより適応的に平滑化処理を適用することができ る。
(第 2実施形態）
図 1 2は、 本発明の第 2実施形態に係る画像符号化装置の構成を示すブロック 図、図 1 3は、画像復号装置の構成を示すプロック図である。第 2実施形態では、 Ma t c h i n g P u r s u i t sと呼ばれる技術を応用した圧縮符号化方式 による映像符号化 ·復号装置に、 上記で説明した本発明の平滑化フィルタを導入 する装置に関するものである。 Ma t c h i n g P u r s u i t sを用いた映 像符号化方式については、 R N e f f e t . a l、 "V e r y
L ow B i t— r a t e V i d e o C o d i n g B a s e d o n M a t c h i n g P u r s u i t s .", I EEE T r a n s、 o n C S VT、 v o l . 7、 p p. 1 5 8— 1 7 1、 F e b. 1 9 9 7などで提 案されている。 Ma t c h i n g P u r s u i t sでは、 符号化対象となる予 測残差画像信号 f は、 n種類の基底 gkEG ( 1≤k≤ n) からなる予め用意され る過完備 (o v e r - c omp l e t e) な基底セット Gを用いて、 次式のよう に表現することができる。
Figure imgf000022_0001
ここで、 mは基底探索総ステップ数、 iは基底探索ステップ番号、 は第 i _ 1ステップ目の基底探索まで完了した後の予測残差画像信号であり、 これをその まま第 iステップ目の基底探索の対象となる予測残差画像信号とする。 ただし、 r0 = f とする。 また S iおよび gkiは、 第 i ステップ目の基底探索において Γ ί上 の任意の部分領域 s (フレーム内の部分領域） と基底セット Gに含まれる任意の 基底 gkのうち、 sと gkの内積値を最大とする組み合わせを選択することによつ て得られる部分領域および基底である。 基底探索をこのように行えば、 基底探索 ステップ数 mが大きければ大きいほど rraの持つエネルギーは小さくなる。これは、 予測残差画像信号 f の表現に使用する基底の数が多ければ多いほど信号をよく 表現できることを意味する。 符号化される情報は、 各基底探索ステップにおいて、
① g kiを示すィンデッタス （ g kは符号化側、 復号側で共通にして保持しており、 そのインデックス情報だけを交換することで基底を特定することができる）、
②内積値 < S i, gki> (基底係数に該当する）、
③ S iの中心点の画面内位置情報 Pi= (xi; Yi) である。
これらのパラメータの組をまとめて、 アトムと呼ぶ。 この画像信号表現および符 号化方法によれば、 符号化するアトムの数を増やす、 すなわち基底探索総ステツ プ数 mを増やすほど符号化量が増加し、 歪みが小さくなる。
一方で、 上述の論文における Ma t c h i n g P u r s u i t sによる映像 符号化では、 MCは Ma t c h i n g Pu r s u i t sと独立に実施し、 その 予測残差信号に対してアトムの抽出を行っている。 この場合、 アトムは MCブロ ックをまたがつた位置において抽出される可能性がある。 MCをブロック構造に 依存した方式にしている限り、 上記第 1実施形態に述べたような MCプロック間 の不連続波形が残差信号に残留し、 本来符号化すべきでない波形を符号化する不 利を被る。
従来は、 その解決策として周辺の MCブロックの動きべク トルを配慮したォー バラップ MCなどが利用されているが、 オーバラップ MCでは、 より多くの予測 値を参照して重み付け和による最終予測値の算出を行うため、 演算のコストが大 きく、 かつ MCブロック内の画素値に対して適応的な平滑化を行うことができな いため、 必要以上に予測画像をぼかしてしまう'という問題がある。 第 1実施形態 に述べたような MCプロック境界で適応平滑化フィルタ処理を行うことで、 必要 以上に予測画像をぼかさずに残差信号の平滑化を行うことができる。
図 1 2に示す画像符号化装置において、 入力映像信号 201はフレーム画像の 時間系列であり、 以後はフレーム画像単位の信号を表すものとする。 但し、 符号 化対象となるフレーム画像は、 図 2 1に示した現フレーム 601に該当する。 現 フレームは、 以下の手順で符号化される。 まず、 現フレームは動き検出部 202へ出力され、 上記第 1実施形態における 動き検出部 1 02と全く同一の一手順で、動きべク トル 205の検出が行われる。 ただし、 動き検出部 202では、 イントラ符号化を DC成分と AC成分とに分離 し、 DC成分はその符号化結果を予測画像の一部として使用し、 AC成分は予測 残差の一部として符号化する。 これは Ma t c h i n g P u r s u i t sを利 用するために、 フレーム単位で一括して予測画像を得るための処理である。
従って、 動き検出部 202においてイントラモードと選択されると、 そのマク 口プロックの予測画像は符号化'局所復号されたィントラ D C成分で埋められる。 イントラ DC成分は、 DC符号化部 225において周辺画像データからの予測、 量子化を経て符号化データ 226として可変長復号部 2 1 3へ出力され、 圧縮ス トリーム 2 14に多重される。
動き補償部 207は、 ィントラモードのマクロブロックでは上記のようにその DC成分を使用して、 またインターモードのマクロブロックでは動きべク トル 2 05を用いてフレームメモリ 203中の局所復号画像 204を参照し、 現フレー ムの予測画像 206 aを作り出す。 動き検出部 202と動き補償部 207とは、 マクロブロックごとに処理を行うが、 入力映像信号 201との差分信号 （予測残 差信号 208) はフレームを単位として得るものとする。 つまり、 個々のマクロ ブロックの動きベク トル 205は、 フレーム全体に渡って保持され、 予測画像 2 06 aはフレーム単位の画像として構成される。
次いで、 平滑化フィルタ部 224において、 予測画像 206 aの MCブロック 間平滑化処理を行う。 平滑化フィルタ部 224の動作は、 符号化モード情報 22 3および動きべク トル 205を用いて、第 1実施形態と同様の処理で実現される。 平滑化後の予測画像 206 bは、 減算部 241で入力映像信号 201から差し引 かれ、 予測残差信号 208が得られる。
続いて、 了トム抽出部 209において、 予測残差信号 208に対して上述の M a t c h i n g Pu r s u i t sのァノレゴリズムに基づきァトムパラメータ 2 1 0が生成される。 基底セット g k 2 1 1は、 基底コードブック 2 1 0に格納され る。 M a t c h i n g P u r s u i t sアルゴリズムの性質上、 初期の探索ス テップで部分信号波形をできるだけ正確に表現できる基底を見つけることができ れば、 より少ないァトム、 すなわち少ない符号量で部分信号波形を表現できる。 アトムは、 フレーム全域に渡って抽出される。 アトムパラメ一タのうち位置情報 の符号化のため、ァトムの符号化順序が復号画像に影響を与えないことを用いて、 フレームの左上隅を原点とする 2次元座標上で順番に並ぶようにソートを行い、 かつマクロブロックの単位にァトムをカウントするように符号化順序を構成する。 このようにして、マクロブロック単位に、その内部に含まれるァトムの数分だけ、 アトムパラメータ 2 1 2 (基底インデックス、 位置情報、 基底係数） を符号化す る構成とする。
ァトム復号部 2 1 5では、 それらのァトムパラメータ 2 1 2から局所復号残差 信号 2 1 6を復元し、 平滑化された予測画像 2 0 6 bと加算部 2 4 2で加算する ことによって、 局所復号画像 2 1 7を得る。 局所復号画像 2 1 7は、 次のフレー ムの MCに用いられるため、 フレームメモリ 2 0 3に格納される。
次に、 図 1 3を参照して画像復号装置を説明する。 この画像復号装置では、 圧 縮ストリーム 2 1 4を受信したのち、 可変長復号部 2 2 9で各フレームの先頭を 示す同期ワードを検出し、 以後、 マクロブロック単位に、 符号化モード情報 2 2 3、 動きべク トル 2 0 5、 ァトムパラメータ 2 1 2が復元される。 動きべク トル 2 0 5は動き補償部 2 0 7に出力され、 その出力 2 0 6 aが平滑化フィルタ部 2
2 4に入力され、 ここで予測画像 2 0 6 bが得られる。 アトムパラメータ 2 1 2 は、 ァトム復号部 2 1 5で復号される。 基底は、 基底コードプック 2 1 0に基底 インデックスを与えることで取り出される。 了トム復号部 2 1 5の出力 2 1 6は 加算部 2 4 3で予測画像 2 0 6 bと加算されることにより復号画像 2 1 7となる。 この復号画像 2 1 7は、 以降のフレームの M Cに用いられるため、 フレームメモ リ 2 3 0に格納される。 復号画像 2 1 7は所定の表示タイミングで図示せぬ表示 デバイスへ出力され、 そこで映像が再生される。
このように、 第 2実施形態の画像符号化装置および画像復号装置によれば、 M a t c h i n g P u r s u i t sと呼ばれる技術を応用した圧縮符号化方式に よる映像符号化 ·復号装置においても上記第 1実施形態と同様の効果を得ること ができる。
(第 3実施形態）
本発明の第 3実施形態を説明する。 この第 3実施形態は、 別の平滑化フィルタ 部を説明するものである。 本平滑化フィルタ部は、 上記第 1及び第 2実施形態で 説明した平滑化フィルタ部 1 2 4、 2 2 4の変形であり、 それらと単純に置き換 えられるため、 図 1、 2又は図 1 2、 1 3に示した画像符号化装置、 画像復号装 置に適用可能である。 更に内部構成も図 5と同じである。
第 3実施形態の平滑化フィルタ部では、ブロック活性度算出部 1 2 5において、 活性度情報をプロックそのものに対してでなく、プロック境界に対して定義する。 これにより、 第 1及び第 2実施形態で記載したように、 ブロック間で活性度が異 なる状況において用いる活性度を選択することなく、 一意に活性度を割り当てて フィルタを制御することができる。
ブロック境界に対して活性度を定義するため、 図 1 4に示すように、 1つのブ ロック （ここでは C) に対する左と上の 2つの境界に対して、 それぞれ活性度 SL (C) と SU (C) を定義する。 SL (C) の決定に際しては、 左のブロック Bと の関係で、 SU(C)の決定に際しては上のブロック Aとの関係で活性度を求める。 ブロック D、 Eとの間の境界については、 SL (D) と SU (E) として決定す るものとする。 活性度の決定方法は、 第 1実施形態に示したように、 2つのプロ ック間での動きべクトル差分と、符号化モードの違レ、とによつて決定されるため、 第 1実施形態と同様の設定ルールで決定できる。
このように、 第 3実施形態の平滑化フィルタ部によれば、 第 1及び第 2実施形 態で記載したように、 プロック間で活性度が異なる状況において用いる活性度を 選択することなく、一意に活性度を割り当ててフィルタを制御することができる。 更に第 3実施形態では、活性度が左と上のプロックのみに依存して決まるため、 予測画像をマクロプロックの単位で生成して符号化 ·復号する装置においても、 M Cプロックの平滑化を行いながら符号化 ·復号処理を実施することが可能であ る。 従って、 マクロブロック単位にパイプライン処理を導入することで、 画像符 号化装置および画像復号装置への高速かつ効率的な実装が可能となる。
(第 4実施形態）
本発明の第 4実施形態を説明する。 この第 4実施形態は、 別の平滑化フィルタ 部を説明するものである。 本平滑化フィルタ部は、 上記第 1及び第 2実施形態で 説明した平滑化フィルタ部 1 2 4、 2 2 4の変形であり、 それらと単純に置き換 えられるため、 図 1、 2又は図 1 2、 1 3に示した画像符号化装置、 画像復号装 置に適用可能である。 更に内部構成も図 5と同じである。
第 4実施形態の平滑化フィルタ部では、 フィルタの特性を活性度に応じて切り 替えるようにした。 図 1 5 A , Bは、 フィルタ対象の画素 を中心として左右 2 画素を使って 5タップのフィルタを施す場合を示している。 活性度が高く （S = 2 )、 より平滑化の度合いを高めたいケースでは、 図 1 5 Bに示すように、 フィル タ窓内の近傍画素の影響をより多くするフィルタ、逆に、活性度が低く（S = 1 )、 平滑化による必要以上のディテールのつぶれを抑えたいケースでは、 図1 5 に 示すように、 自身の画素の影響が強いフィルタを適用する。
このように、 第 4実施形態の平滑化フィルタ部によれば、 活性度に応じた平滑 化の度合いを制御することが可能となる。
なお、 フィルタ特性の切り替えは、 活性度に応じて複数選択することができ、 かつ特性の識別情報を圧縮ストリーム 1 1 4へ多重化して画像復号装置に伝送す るように構成されていてもよレ、。 このような構成をとることで、 画像符号化装置 側での映像解析に基づくより詳細な適応判断をフィルタ特性に反映することがで き、 かつ画像復号装置では画像符号化装置側で実施するような特殊な映像解析処 理を行うことなく、 適応的な平滑化フィルタ処理を実現することができる。 この 第 4実施形態は第 3実施形態に述べたようなブロック境界に対して定義された活 性度を用いる場合でも同様に適用可能である。
フィルタ特性が切り替えられた場合、 利用されたフィルタ特性の種別は、 例え ば圧縮ストリーム中のフレーム先頭のヘッダ情報の一部として伝送される。
(第 5実施形態）
図 1 6は、 本発明の第 5実施形態に係る画像符号化装置の構成を示すブロック 図、 図 1 7は、 画像復号装置の構成を示すブロック図である。 但し、 図 1 6に示 す第 5実施形態の画像符号化装置において図 1の第 1実施形態の各部に対応する 部分には同一符号を付し、 図 1 7に示す第 5実施形態の画像復号装置において図 2の第 1実施形態の各部に対応する部分には同一符号を付し、 その説明を省略す る。
図 1 6に示す画像符号化装置および図 1 7に示す画像復号装置が、 第 1実施形 態のものと異なる点は、 平滑化フイノレタ部 1 2 4に代え、 別の平滑化フィルタ部 5 2 4を用いたことにある。 この平滑化フィルタ部 5 2 4の内部構成を図 1 8に 示し、 平滑化フィルタ部 5 2 4におけるブロック活性度算出部 5 2 5の動作説明 フローチャートを図 1 9に示す。
即ち、 本平滑化フィルタ部 5 2 4は、 上記第 1及び第 2実施形態で説明した平 滑化フィルタ部 1 2 4、 2 2 4の変形であり、 参照画像 1 0 4を入力することを 除き、 それらと単純に置き換えることができる。 この第 5実施形態では平滑化フ ィルタ処理前の予測画像 1 0 6 aと、 その予測画像 1 0 6 aを生成するもととな つたフレームメモリ 1 0 3中の参照画像 1 0 4との差分をとり、 その誤差電力に 基づいてフィルタ制御を行う。
予測画像 1 0 6 aは、 参照画像 1 0 4から動きべク トル 1 0 5を用いて取り出 した画像データであり、 画像符号化装置への入力映像信号 1 0 1を近似する画像 データである。 すなわち、 参照画像 1 0 4と予測画像 1 0 6 aとは、 その空間的 に同一個所を比較した際に、 動きがある部分では誤差電力が大きく、 動きが小さ い部分では誤差電力が小さい。 動きべク トル 1 0 5の大きさは、 動き量をある程 度は表現するものの、 ノイズなどの映像の変化そのものには依存しない要因も検 出に影響するため、 その大きさだけでは動きの大小、 激しさを十分に表現できな いが、 上記誤差電力は動きの激しさの指標として利用することができ、 フイノレタ 制御の適応性を向上させることができる。 また、 参照画像 1 0 4は符号化側と復 号側で全く同一のデータを使用できるため、 本制御を導入するにあたって、 復号 装置に特別な識別情報を伝送することなく実現することができる。
具体的には、 図 1 8に示すように、 ブロック活性度算出部 5 2 5 へ、 参照画像 1 0 4と予測画像 1 0 6 aを入力し、 各ブロックについて、 参照画像 1 0 4と予 測画像 1 0 6 aとの誤差電力を求める。 ここでは余分な演算量を削減するため、 図 1 9のステップ S T 1 4に示すように、 活性度がゼロで動きがないと判断され た個所では、 誤差電力による評価はスキップする。 なぜなら、 動きベク トルの差 分 m v d ( X、 Y) がゼロである場合は、 そこが如何に動きの激しい部位である とはいえ、空間的な連続性は保たれており、平滑化を施す必要がないからである。 少なくとも活性度がゼロより大きい場合においては、 動きべク トルだけで活性 度を評価することなく、 求めた誤差電力を用いて、 それが所定の閾値よりも大き い場合には活性度を大きくなる方向へ変化させ、 所定の閾値よりも小さければ活 性度をゼロにして平滑化を行わないようにする （ステップ S T 1 5 )。 このとき、 活性度を上げる方向の閾値と下げる方向の閾値とは必ずしも同じでなくてよい。 また、 この第 5実施形態においては、 参照画像 1 0 4に関して、 フレームメモ リ格納前に評価ブロック単位でのブロック内平均値を予め算出、 バッファリング しておき、 予測画像 1 0 6 aも同様に平均値を求めて、 平均値だけで誤差電力評 価を行うように構成してもよい。
参照画像 1 0 4と予測画像 1 0 6 aとの誤差量は、 その平均値が支配的成分で あり、 且つ平均値のみを小さなバッファに格納しておくことができるので、 活性 度の判定に影響を及ぼすことなく、 活性度算出時のフレームメモリへのアクセス 頻度を少なくすることができる。
また、 上記第 3実施形態のように、 ブロック境界に対して活性度を削り当てる 場合、 ブロック境界を跨る部分領域を定義し、 その単位で参照画像 1 0 4と予測 画像 1 0 6 aと誤差量を評価するように構成することもできる。
更に、 この第 5実施形態では、 参照画像 1 0 4と予測画像 1 0 6 aとの誤差量 を活性度そのものの更新に使用したが、 ある所定の活性度の値を持つ箇所に対し て、 施すフィルタの特性を変更するために使用してもよい。 例えば、 あるブロッ ク又はプロック境界の活性度が、 定義した活性度のレンジの中で中間的な値とな る場合、 そのときのフィルタ特性は状況に応じて変化させる方がより適応性が増 す。 この目的のために、 参照画像 1 0 4と予測画像 1 0 6 aとの誤差量を切り替 え評価とするように構成することもできる。
このように、 第 5実施形態の平滑化フィルタ部によれば、 上記で説明したよう にフィルタ制御の適応性を向上させることができ、 また、 参照画像 1 0 4は符号 化側と復号側で全く同一のデータを使用できるため、 本制御を導入するにあたつ て、復号装置に特別な識別情報を伝送することなく実現することができる。更に、 活性度の判定に影響を及ぼすことなく、 活性度算出時のフレームメモリへのァク セス頻度を少なくすることができる。
産業上の利用可能性
本発明は、 例えばモパイル映像伝送システムに適用される画像符号化装置、 画 像復号装置として利用可能である。

Claims

言青求の範囲
1 . 入力画像について所定の部分画像領域単位で動き量を検出して動き補償予 測画像を生成する動き補償予測手段と、
前記動き補償予測手段により得られた予測画像に対して、 所定の判断基準に基 づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化手段と、 前記入力画像と前記平滑化された予測画像との差分によつて得られる予測残差 信号を符号化する予測残差符号化手段と
を具備することを特徴とする画像符号化装置。
2 . 前記動き補償予測手段は、 符号化済みの局所復号画像データを参照画像と して前記動き量を検出する
ことを特徴とする請求項 1記載の画像符号化装置。
3 . 前記平滑化手段は、 前記隣り合う部分画像領域間の動き量の差分値に応じ て前記平滑化を行う
ことを特徴とする請求項 1記載の画像符号化方法。
4 . 前記平滑化手段は、 前記隣り合う部分画像領域間の符号化方法の違いに応 じて前記平滑化を行う
ことを特徴とする請求項 1記載の画像符号化装置。
5 . 前記平滑化手段は、 前記隣り合う部分画像領域間の画像予測方法の違いに 応じて前記平滑化を行う
ことを特徴とする請求項 1記載の画像符号化装置。
6 . 前記平滑化手段は、 前記平滑化前の予測画像と前記動き補償予測手段によ り得られた予測画像の生成元の参照画像との誤差量に応じて前記平滑化を行う ことを特徴とする請求項 1記載の画像符号化装置。
7 . 前記平滑化手段は、
前記隣り合う部分画像領域間の動き量の差分値と、 前記隣り合う部分画像領域 間の符号化方法の違いと、前記隣り合う部分画像領域間の画像予測方法の違いと、 前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成 元の参照画像との誤差量とのうち少なくとも 1つに基づいて決定される部分画像 領域間の活性度を決定する活性度設定手段と、
前記活性度に基づいて前記平滑化の強度を定め、 前記部分画像領域間の境界に 位置する画素の平滑化を行う適応平滑化手段と、
前記活性度に応じて定まる閾値により前記平滑化を行った結果の抑制処理を行 う後処理手段と
を具備することを特徴とする請求項 1記載の画像符号化装置。
8 . 前記活性度設定手段は、個々の部分画像領域に対して前記活性度を設定し、 平滑化対象の部分画像領域間で比較した活性度のうち大きい方の値を前記適応平 滑化手段への入力とする
ことを特徴とする請求項 7記載の画像符号化装置。
9 . 前記活性度設定手段は、 前記部分画像領域間の境界に対して前記活性度を 設定し、 前記活性度を前記適応平滑化手段への入力とする
ことを特徴とする請求項 7記載の画像符号化装置。
1 0 . 前記適応平滑化手段は、前記活性度設定手段で得られた活性度に応じて、 前記平滑化を施す画素数を変更する
ことを特徴とする請求項 7記載の画像符号化装置。
1 1 . 前記適応平滑化手段は、前記活性度設定手段で得られた活性度に応じて、 前記平滑化を施すフィルタ特性を切り替える
ことを特徴とする請求項 7記載の画像符号化装置。
1 2 . 前記適応平滑化手段は、 前記平滑化を施すフィルタ特性の種別を示すビ ッ 卜を符号化して伝送する
ことを特徴とする請求項 1 1記載の画像符号化装置。
1 3 . 前記平滑化手段での平滑化の有無を示すビットを符号化して伝送する ことを特徴とする請求項 1記載の画像符号化装置。
1 4 . 所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成す る動き補償予測手段と、
前記動き補償予測手段により得られた予測画像に対して、 所定の判断基準に基 づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化手段と、 符号化側からの予測残差信号を復号する予測残差復号手段と、
前記予測残差復号手段で得られた復号予測残差信号と前記平滑化された予測画 像とを加算して復号画像を得る加算手段と
を具備することを特徴とする画像復号装置。
1 5 . 前記動き補償予測手段は、 復号済みの局所復号画像データを参照画像と して前記予測画像を得る
ことを特徴とする請求項 1 4記載の画像復号装置。
1 6 . 前記平滑化手段は、 前記隣り合う部分画像領域間の動き量の差分値に応 じて前記平滑化を行う
ことを特徴とする請求項 1 4記載の画像復号装置。
1 7 . 前記平滑化手段は、 前記隣り合う部分画像領域間の復号方法の違いに応 じて前記平滑化を行う
ことを特徴とする請求項 1 4記載の画像復号装置。
1 8 . 前記平滑化手段は、 前記隣り合う部分画像領域間の画像予測方法の違い に応じて前記平滑化を行う
ことを特徴とする請求項 1 4記載の画像復号装置。
1 9 . 前記平滑化手段は、 前記平滑化前の予測画像と前記動き補償予測手段に より得られた予測画像の生成元の参照画像との誤差量に応じて前記平滑化を行う ことを特徴とする請求項 1 4記載の画像復号装置。
2 0 . 前記平滑化手段は、
前記隣り合う部分画像領域間の動き量の差分値と、 前記隣り合う部分画像領域 間の符号化方法の違いと、前記隣り合う部分画像領域間の画像予測方法の違いと、 前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成 元の参照画像との誤差量とのうち少なくとも 1つに基づいて決定される部分画像 領域間の活性度を決定する活性度設定手段と、
前記活性度に基づいて前記平滑化の強度を定め、 前記部分画像領域間の境界に 位置する画素の平滑化を行う適応平滑化手段と、
前記活性度に応じて定まる閾値により前記平滑化を行った結果の抑制処理を行 う後処理手段と
を具備することを特徴とする請求項 1 4記載の画像復号装置。
2 1 . 前記活性度設定手段は、 個々の部分画像領域に対して前記活性度を設定 し、 平滑化対象の部分画像領域間で比較した活性度のうち大きい方の^ ί直を前記適 応平滑化手段への入力とする
ことを特徴とする請求項 2 0記載の画像復号装置。
2 2 . 前記活性度設定手段は、 前記部分画像領域間の境界に対して前記活性度 を設定し、 前記活性度を前記適応平滑化手段への入力とする
ことを特徴とする請求項 2 0記載の画像復号装置。
2 3 . 前記適応平滑化手段は、前記活性度設定手段で得られた活性度に応じて、 前記平滑化を施す画素数を変更する
ことを特徴とする請求項 2 0記載の画像復号装置。
2 4 . 前記適応平滑化手段は、前記活性度設定手段で得られた活性度に応じて、 前記平滑化を施すフィルタ特性を切り替える
ことを特徴とする請求項 2 0記載の画像復号装置。
2 5 . 前記適応平滑化手段は、 符号化側からの入力圧縮データより復号された 前記平滑化を施すフィルタ特性の種別を示すビットに基づき前記フィルタ特性を 切り替える
ことを特徴とする請求項 2 4記載の画像復号装置。
2 6 . 前記入力圧縮データより復号された前記平滑化の有無を示すビットに基 づき前記平滑化の処理を制御する
ことを特徴とする請求項 1 4記載の画像復号装置。
2 7 . 入力画像について所定の部分画像領域単位で動き量を検出して動き補償 予測画像を生成する動き補償予測ステツプと、
前記動き補償予測ステップにより得られた予測画像に対して、 所定の判断基準 に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化ステ ップと、
前記入力画像と前記平滑化された予測画像との差分によって得られる予測残差 信号を符号化する予測残差符号化ステップと
を具備することを特徴とする画像符号化方法。
2 8 . 前記動き補償予測ステップは、 符号化済みの局所復号画像データを参照 画像として前記動き量を検出する
ことを特徴とする請求項 2 7記載の画像符号化方法。
2 9 . 前記平滑化ステップは、 前記隣り合う部分画像領域間の動き量の差分値 に応じて前記平滑化を行う
ことを特徴とする請求項 2 7記載の画像符号化方法。
3 0 . 前記平滑化ステップは、 前記隣り合う部分画像領域間の符号化方法の違 いに応じて前記平滑化を行う
ことを特徴とする請求項 2 7記載の画像符号化方法。
3 1 . 前記平滑化ステツプは、 前記隣り合う部分画像領域間の画像予測方法の 違いに応じて前記平滑化を行う
ことを特徴とする請求項 2 7記載の画像符号化方法。
3 2 . 前記平滑化ステップは、 前記平滑化前の予測画像と前記動き補償予測ス テップにより得られた予測画像の生成元の参照画像との誤差量に応じて前記平滑 化を行う
ことを特徴とする請求項 2 7記載の画像符号化方法。
3 3 . 前記平滑化ステップは、
前記隣り合う部分画像領域間の動き量の差分値と、 前記隣り合う部分画像領域 間の符号化方法の違いと、前記隣り合う部分画像領域間の画像予測方法の違いと、 前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成 元の参照画像との誤差量とのうち少なくとも 1つに基づいて決定される部分画像 領域間の活性度を決定する活性度設定ステツプと、
前記活性度に基づいて前記平滑化の強度を定め、 前記部分画像領域間の境界に 位置する画素の平滑化を行う適応平滑化ステップと、
前記活性度に応じて定まる閾値により前記平滑化を行った結果の抑制処理を行 う後処理ステップと
を具備することを特徴とする請求項 2 7記載の画像符号化方法。
3 4 . 前記活性度設定ステップは、 個々の部分画像領域に対して前記活性度を 設定し、 平滑化対象の部分画像領域間で比較した活性度のうち大きい方の値を前 記適応平滑化ステツプへの入力とする
ことを特徴とする請求項 3 3記載の画像符号化方法。
3 5 . 前記活性度設定ステップは、 前記部分画像領域間の境界に対して前記活 性度を設定し、 前記活性度を前記適応平滑化ステップへの入力とする
ことを特徴とする請求項 3 3記載の画像符号化方法。
3 6 . 前記適応平滑化ステップは、 前記活性度設定ステップで得られた活性度 に応じて、 前記平滑化を施す画素数を変更する
ことを特徴とする請求項 3 3記載の画像符号化方法。
3 7 . 前記適応平滑化ステップは、 前記活性度設定ステップで得られた活性度 に応じて、 前記平滑化を施すフィルタ特性を切り替える
ことを特徴とする請求項 3 3記載の画像符号化方法。
3 8 . 前記適応平滑化ステップは、 前記平滑化を施すフィルタ特性の種別を示 すビットを符号化して伝送する ことを特徴とする請求項 3 7記載の画像符号化方法。
3 9 . 前記平滑化ステップでの平滑化の有無を示すビットを符号化して伝送す る
ことを特徴とする請求項 2 7記載の画像符号化方法。
4 0 . 所定の部分画像領域単位で動き量を検出して動き補償予測画像を生成す る動き補償予測ステップと、
前記動き補償予測ステップにより得られた予測画像に対して、 所定の判断基準 に基づき隣り合う部分画像領域の境界に位置する画素の平滑化を行う平滑化ステ ップと、
符号化側からの予測残差信号を復号する予測残差復号ステップと、
前記予測残差復号ステップで得られた復号予測残差信号と前記平滑化された予 測画像とを加算して復号画像を得る加算ステップと
を具備することを特徴とする画像復号方法。
4 1 . 前記動き補償予測ステップは、 復号済みの局所復号画像データを参照画 像として前記予測画像を得る
ことを特徴とする請求項 4 0記載の画像復号方法。
4 2 . 前記平滑化ステップは、 前記隣り合う部分画像領域間の動き量の差分値 に応じて前記平滑化を行う
ことを特徴とする請求項 4 0記載の画像復号方法。
4 3 . 前記平滑化ステップは、 前記隣り合う部分画像領域間の復号方法の違い に応じて前記平滑化を行う
ことを特徴とする請求項 4 0記載の画像復号方法。
4 4 . 前記平滑化ステツプは、 前記隣り合う部分画像領域間の画像予測方法の 違いに応じて前記平滑化を行う
ことを特徴とする請求項 4 0記載の画像復号方法。
4 5 . 前記平滑化ステップは、 前記平滑化前の予測画像と前記動き補償予測ス テップにより得られた予測画像の生成元の参照画像との誤差量に応じて前記平滑 化を行う
ことを特徴とする請求項 4 0記載の画像復号方法。
4 6 . 前記平滑化ステップは、
前記隣り合う部分画像領域間の動き量の差分値と、 前記隣り合う部分画像領域 間の符号化方法の違いと、前記隣り合う部分画像領域間の画像予測方法の違いと、 前記平滑化前の予測画像と前記動き補償予測手段により得られた予測画像の生成 元の参照画像との誤差量とのうち少なく とも 1つに基づいて決定される部分画像 領域間の活性度を決定する活性度設定ステツプと、
前記活性度に基づいて前記平滑化の強度を定め、 前記部分画像領域間の境界に 位置する画素の平滑化を行う適応平滑化ステップと、
前記活性度に応じて定まる閾値により前記平滑化を行つた結果の抑制処理を行 う後処理ステップと
を具備することを特徴とする請求項 4 0記載の画像復号方法。
4 7 . 前記活性度設定ステップは、 個々の部分画像領域に対して前記活性度を 設定し、 平滑化対象の部分画像領域間で比較した活性度のうち大きい方の値を前 記適応平滑化ステップへの入力とする
ことを特徴とする請求項 4 6記載の画像復号方法。
4 8 . 前記活性度設定ステップは、 前記部分画像領域間の境界に対して前記活 性度を設定し、 前記活性度を前記適応平滑化ステップへの入力とする
ことを特徴とする請求項 4 6記載の画像復号方法。
4 9 . 前記適応平滑化ステップは、 前記活性度設定ステップで得られた活性度 に応じて、 前記平滑化を施す画素数を変更する
ことを特徴とする請求項 4 6記載の画像復号方法。
5 0 . 前記適応平滑化ステップは、 前記活性度設定ステップで得られた活性度 に応じて、 前記平滑化を施すフィルタ特性を切り替える ことを特徴とする請求項 4 6記載の画像復号方法。
5 1 . 前記適応平滑化ステップは、 符号化側からの入力圧縮データより復号さ れた前記平滑化を施すフィルタ特性の種別を示すビットに基づき前記フィルタ特 性を切り替える
ことを特徴とする請求項 5 0記載の画像復号方法。
5 2 . 前記入力圧縮データより復号された前記平滑化の有無を示すビッ卜に基 づき前記平滑化の処理を制御する
ことを特徴とする請求項 4 0記載の画像復号方法。
PCT/JP2002/006614 2001-06-29 2002-06-28 Image encoder, image decoder, image encoding method, and image decoding method WO2003003749A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP02738883.4A EP1404136B1 (en) 2001-06-29 2002-06-28 Image encoder, image decoder, image encoding method, and image decoding method
JP2003509786A JP3964391B2 (ja) 2001-06-29 2002-06-28 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US10/480,642 US7747094B2 (en) 2001-06-29 2002-06-28 Image encoder, image decoder, image encoding method, and image decoding method
US12/794,304 US20100284467A1 (en) 2001-06-29 2010-06-04 Image coding apparatus, image decoding apparatus, image coding method, and image decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001199685 2001-06-29
JP2001-199685 2001-06-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/794,304 Continuation US20100284467A1 (en) 2001-06-29 2010-06-04 Image coding apparatus, image decoding apparatus, image coding method, and image decoding method

Publications (1)

Publication Number Publication Date
WO2003003749A1 true WO2003003749A1 (en) 2003-01-09

Family

ID=19036948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/006614 WO2003003749A1 (en) 2001-06-29 2002-06-28 Image encoder, image decoder, image encoding method, and image decoding method

Country Status (5)

Country Link
US (2) US7747094B2 (ja)
EP (2) EP1404136B1 (ja)
JP (1) JP3964391B2 (ja)
CN (1) CN1220391C (ja)
WO (1) WO2003003749A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005013201A1 (en) * 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Video encoding and decoding methods and corresponding devices
US6872382B1 (en) * 2001-05-21 2005-03-29 Alcon, Inc. Use of selective PDE IV inhibitors to treat dry eye disorders
JP2007509542A (ja) * 2003-10-17 2007-04-12 レンセラー・ポリテクニック・インスティチュート Ｍｃｔｆスケーラブルビデオコーダでの可変サイズブロックの重複ブロック動き補償
JP2007312072A (ja) * 2006-05-18 2007-11-29 Victor Co Of Japan Ltd 動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラム
JP2008527932A (ja) * 2005-01-13 2008-07-24 株式会社エヌ・ティ・ティ・ドコモ ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ
JP2008547324A (ja) * 2005-06-21 2008-12-25 株式会社エヌ・ティ・ティ・ドコモ ハイブリッド映像圧縮のための非線形予測フィルタ
JP2009509415A (ja) * 2005-09-16 2009-03-05 ソニー エレクトロニクス インク 適応的影響エリアフィルタ
JP2009528798A (ja) 2006-03-01 2009-08-06 クゥアルコム・インコーポレイテッド アーチファクト評価による向上した画像／ビデオ品質
JP2010507335A (ja) * 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
JP2011097659A (ja) * 2004-11-29 2011-05-12 Ntt Docomo Inc データを符号化するための方法、装置、およびコンピュータ読み取り可能な記録媒体
JP2011523326A (ja) * 2008-06-12 2011-08-04 トムソン ライセンシング 動き補償の補間フィルタリング及び参照画像のフィルタリングのための局所的な適応フィルタリングの方法及び装置
WO2011158867A1 (ja) * 2010-06-17 2011-12-22 シャープ株式会社 画像復号装置、及び画像符号化装置
US8090025B2 (en) 2006-04-17 2012-01-03 Victor Company Of Japan, Ltd. Moving-picture coding apparatus, method and program, and moving-picture decoding apparatus, method and program
JPWO2011129100A1 (ja) * 2010-04-13 2013-07-11 パナソニック株式会社 画像符号化方法および画像復号化方法
JP5333449B2 (ja) * 2008-07-25 2013-11-06 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP2014506444A (ja) * 2011-01-10 2014-03-13 クゥアルコム・インコーポレイテッド 遷移ゾーン中のサンプルの識別
JP5513740B2 (ja) * 2006-03-27 2014-06-04 パナソニック株式会社 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
KR101553850B1 (ko) 2008-10-21 2015-09-17 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7319795B2 (en) 2003-09-23 2008-01-15 Broadcom Corporation Application based adaptive encoding
WO2005029737A2 (en) * 2003-09-25 2005-03-31 Amimon Ltd. Wireless transmission of high quality video
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7664184B2 (en) * 2004-07-21 2010-02-16 Amimon Ltd. Interpolation image compression
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
EP1845729A1 (en) * 2006-04-12 2007-10-17 Matsushita Electric Industrial Co., Ltd. Transmission of post-filter hints
JP4649355B2 (ja) * 2006-03-27 2011-03-09 富士通株式会社 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置
RU2008146977A (ru) * 2006-04-28 2010-06-10 НТТ ДоКоМо, Инк. (JP) Устройство прогнозирующего кодирования изображений, способ прогнозирующего кодирования изображений, программа прогнозирующего кодирования изображений, устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений и программа прогнозирующего декодирования изображений
KR101266168B1 (ko) * 2006-08-16 2013-05-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US10194175B2 (en) 2007-02-23 2019-01-29 Xylon Llc Video coding with embedded motion
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
US8619880B2 (en) 2007-10-10 2013-12-31 Qualcomm Incorporated Universal blockiness correction
CN101878650B (zh) 2007-11-30 2013-07-10 杜比实验室特许公司 时间图像预测的方法和系统
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
KR101460608B1 (ko) * 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR101426271B1 (ko) * 2008-03-04 2014-08-06 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090098214A (ko) * 2008-03-13 2009-09-17 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
KR101364195B1 (ko) 2008-06-26 2014-02-21 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
US9445121B2 (en) * 2008-08-04 2016-09-13 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
BRPI0921986A2 (pt) * 2008-11-25 2018-06-05 Thomson Licensing métodos e aparelho para filtralçao por eliminação de artefatos à base de matrizes esparsas para codificação e decodificação de vídeo
US8514015B2 (en) 2008-12-10 2013-08-20 Qualcomm, Incorporated Amplifier with programmable off voltage
JP5564061B2 (ja) * 2009-02-06 2014-07-30 トムソン ライセンシング ビデオ・エンコーダおよびデコーダにおける暗黙的および半暗黙的イントラ・モード信号伝達方法および装置
TWI440363B (zh) * 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
KR20110014000A (ko) * 2009-08-04 2011-02-10 광운대학교 산학협력단 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법
JP5562346B2 (ja) * 2009-10-20 2014-07-30 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JPWO2011048904A1 (ja) * 2009-10-20 2013-03-07 シャープ株式会社 画像符号化装置、画像復号装置、および、符号化データのデータ構造
US9369720B2 (en) * 2009-12-28 2016-06-14 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus and image coding method
KR101420957B1 (ko) * 2010-03-31 2014-07-30 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
JP5507702B2 (ja) * 2010-11-02 2014-05-28 パナソニック株式会社 動画像符号化方法および動画像符号化装置
JP2012104945A (ja) * 2010-11-08 2012-05-31 Sony Corp 画像処理装置と画像処理方法およびプログラム
CN102884794B (zh) * 2011-03-07 2016-08-10 松下知识产权经营株式会社 运动补偿装置、运动图像编码装置、运动图像解码装置、运动补偿方法、以及集成电路
US8340458B2 (en) * 2011-05-06 2012-12-25 Siemens Medical Solutions Usa, Inc. Systems and methods for processing image pixels in a nuclear medicine imaging system
JP6048941B2 (ja) * 2012-01-27 2016-12-27 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
EP3340622A4 (en) * 2015-08-20 2019-03-20 Nippon Hoso Kyokai IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, AND PROGRAMS THEREOF

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63208382A (ja) * 1987-02-25 1988-08-29 Fujitsu Ltd ル−プ内フイルタ処理方式
JPS63219270A (ja) * 1987-03-09 1988-09-12 Mitsubishi Electric Corp 画像符号化復号化伝送装置
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JPH04336787A (ja) * 1991-05-13 1992-11-24 Olympus Optical Co Ltd 動画像符号化装置
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5101208A (en) * 1967-02-24 1992-03-31 Parker Carlyle V IFF authentication system
JPH02305182A (ja) * 1989-05-19 1990-12-18 Fuji Photo Film Co Ltd 画像信号圧縮符号化装置
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
DE69330043T2 (de) * 1992-10-28 2001-07-19 Victor Company Of Japan Kodiervorrichtung und -verfahren mit variablen Übertragungsraten
US5329365A (en) * 1993-07-07 1994-07-12 Rca Thomson Licensing Corporation Method and apparatus for providing compressed non-interlaced scanned video signal
JP2940422B2 (ja) 1994-11-24 1999-08-25 日本ビクター株式会社 変換符号化された画像データの復号化時に生じるブロック歪の低減方法及び変換符号化された画像データの復号化装置
TW293227B (ja) 1994-11-24 1996-12-11 Victor Company Of Japan
US5809173A (en) * 1995-04-18 1998-09-15 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression using previous frame DCT coefficients
US5751861A (en) * 1995-06-30 1998-05-12 Intel Corporation Reducing residual artifacts in video coding schemes with integer motion compensation
US5646867A (en) * 1995-07-24 1997-07-08 Motorola Inc. Method and system for improved motion compensation
US5699121A (en) * 1995-09-21 1997-12-16 Regents Of The University Of California Method and apparatus for compression of low bit rate video signals
US5850294A (en) * 1995-12-18 1998-12-15 Lucent Technologies Inc. Method and apparatus for post-processing images
KR100371130B1 (ko) * 1996-05-28 2003-02-07 마쯔시다덴기산교 가부시키가이샤 화상예측 복호화 장치 및 그 방법과 화상예측 부호화 장치및 그 방법
US6496605B1 (en) * 1996-08-02 2002-12-17 United Module Corporation Block deformation removing filter, image processing apparatus using the same, method of filtering image signal, and storage medium for storing software therefor
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US7003168B1 (en) * 1997-03-11 2006-02-21 Vianet Technologies, Inc. Image compression and decompression based on an integer wavelet transform using a lifting scheme and a correction method
FI106071B (fi) * 1997-03-13 2000-11-15 Nokia Mobile Phones Ltd Mukautuva suodatin
US5973755A (en) * 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
FI103003B1 (fi) * 1997-06-13 1999-03-31 Nokia Mobile Phones Ltd Suodatusmenetelmä, suodatin ja matkaviestinpääte
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
US6317522B1 (en) * 1998-12-03 2001-11-13 Philips Electronics North America Corp. Systems and methods for post-processing decompressed images
EP1159830A1 (en) * 1999-12-28 2001-12-05 Koninklijke Philips Electronics N.V. Video encoding method based on the matching pursuit algorithm
US7003039B2 (en) * 2001-07-18 2006-02-21 Avideh Zakhor Dictionary generation method for video and image compression

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63208382A (ja) * 1987-02-25 1988-08-29 Fujitsu Ltd ル−プ内フイルタ処理方式
JPS63219270A (ja) * 1987-03-09 1988-09-12 Mitsubishi Electric Corp 画像符号化復号化伝送装置
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JPH04336787A (ja) * 1991-05-13 1992-11-24 Olympus Optical Co Ltd 動画像符号化装置
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1404136A4 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6872382B1 (en) * 2001-05-21 2005-03-29 Alcon, Inc. Use of selective PDE IV inhibitors to treat dry eye disorders
JP2007501555A (ja) * 2003-08-05 2007-01-25 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオエンコードおよびデコードの方法および対応する装置
WO2005013201A1 (en) * 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Video encoding and decoding methods and corresponding devices
JP2007509542A (ja) * 2003-10-17 2007-04-12 レンセラー・ポリテクニック・インスティチュート Ｍｃｔｆスケーラブルビデオコーダでの可変サイズブロックの重複ブロック動き補償
JP2011097659A (ja) * 2004-11-29 2011-05-12 Ntt Docomo Inc データを符号化するための方法、装置、およびコンピュータ読み取り可能な記録媒体
JP2013201773A (ja) * 2004-11-29 2013-10-03 Ntt Docomo Inc データを符号化するための方法、装置、およびコンピュータ読み取り可能な記録媒体
JP2008527932A (ja) * 2005-01-13 2008-07-24 株式会社エヌ・ティ・ティ・ドコモ ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ
JP2008547324A (ja) * 2005-06-21 2008-12-25 株式会社エヌ・ティ・ティ・ドコモ ハイブリッド映像圧縮のための非線形予測フィルタ
JP2009509415A (ja) * 2005-09-16 2009-03-05 ソニー エレクトロニクス インク 適応的影響エリアフィルタ
JP2009528798A (ja) 2006-03-01 2009-08-06 クゥアルコム・インコーポレイテッド アーチファクト評価による向上した画像／ビデオ品質
JP5513740B2 (ja) * 2006-03-27 2014-06-04 パナソニック株式会社 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
US8090025B2 (en) 2006-04-17 2012-01-03 Victor Company Of Japan, Ltd. Moving-picture coding apparatus, method and program, and moving-picture decoding apparatus, method and program
JP4561688B2 (ja) * 2006-05-18 2010-10-13 日本ビクター株式会社 動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラム
JP2007312072A (ja) * 2006-05-18 2007-11-29 Victor Co Of Japan Ltd 動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラム
US8542736B2 (en) 2006-10-18 2013-09-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
JP2010507335A (ja) * 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
JP2013258771A (ja) * 2006-10-18 2013-12-26 Thomson Licensing 予測データ精緻化を使用してビデオを符号化する方法及び装置
JP2011523326A (ja) * 2008-06-12 2011-08-04 トムソン ライセンシング 動き補償の補間フィルタリング及び参照画像のフィルタリングのための局所的な適応フィルタリングの方法及び装置
JP5333449B2 (ja) * 2008-07-25 2013-11-06 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP2013243759A (ja) * 2008-07-25 2013-12-05 Sony Corp 画像処理装置および方法、プログラム、並びに、記録媒体
KR101553850B1 (ko) 2008-10-21 2015-09-17 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치
JP2015128311A (ja) * 2010-04-13 2015-07-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化復号化装置
US9445129B2 (en) 2010-04-13 2016-09-13 Sun Patent Trust Image coding method and image decoding method
US10834397B2 (en) 2010-04-13 2020-11-10 Sun Patent Trust Image coding method and image decoding method
JP5705833B2 (ja) * 2010-04-13 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法および画像復号化方法
JPWO2011129100A1 (ja) * 2010-04-13 2013-07-11 パナソニック株式会社 画像符号化方法および画像復号化方法
US10554973B2 (en) 2010-04-13 2020-02-04 Sun Patent Trust Image coding method and image decoding method
JP2016059074A (ja) * 2010-04-13 2016-04-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化復号化装置
US10237553B2 (en) 2010-04-13 2019-03-19 Sun Patent Trust Image coding method and image decoding method
US9906791B2 (en) 2010-04-13 2018-02-27 Sun Patent Trust Image coding method and image decoding method
WO2011158867A1 (ja) * 2010-06-17 2011-12-22 シャープ株式会社 画像復号装置、及び画像符号化装置
US9807424B2 (en) 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
JP2014506443A (ja) * 2011-01-10 2014-03-13 クゥアルコム・インコーポレイテッド 平滑化演算を適応的に実行すること
US10257543B2 (en) 2011-01-10 2019-04-09 Qualcomm Incorporated Identification of samples in a transition zone
JP2014506444A (ja) * 2011-01-10 2014-03-13 クゥアルコム・インコーポレイテッド 遷移ゾーン中のサンプルの識別

Also Published As

Publication number Publication date
US20100284467A1 (en) 2010-11-11
CN1465193A (zh) 2003-12-31
EP2458865A2 (en) 2012-05-30
JP3964391B2 (ja) 2007-08-22
JPWO2003003749A1 (ja) 2004-10-21
US20040184666A1 (en) 2004-09-23
EP2458865A3 (en) 2014-10-01
CN1220391C (zh) 2005-09-21
EP1404136A1 (en) 2004-03-31
EP1404136B1 (en) 2018-04-04
EP1404136A4 (en) 2009-04-22
US7747094B2 (en) 2010-06-29

Similar Documents

Publication Publication Date Title
WO2003003749A1 (en) Image encoder, image decoder, image encoding method, and image decoding method
JP4724351B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR100525785B1 (ko) 이미지 화소 필터링 방법
US9596485B2 (en) Motion picture encoding/decoding apparatus, adaptive deblocking filtering apparatus and filtering method for same, and recording medium
CN100553333C (zh) 使用自适应模式决策的运动估测方法
JP5194119B2 (ja) 画像処理方法及び対応する電子装置
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2000201354A (ja) 動画像符号化装置
JP4824705B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR20100041217A (ko) 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법
JP3982615B2 (ja) 符号化動画像データの方式変換装置
JP5670226B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
KR20110099554A (ko) 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기
JPH07135657A (ja) 符号化方法と符号化装置
KR101543301B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
JP4232733B2 (ja) ノイズ低減方法
KR100687845B1 (ko) 이미지 화소 필터링 방법
KR100721022B1 (ko) 블록 경계 영역 필터링 방법
KR101527150B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 화소 기반 적응중첩 블록 움직임 보상 장치 및 방법
KR100748512B1 (ko) 블록 경계 영역 필터링 방법
KR20050052432A (ko) 이미지 화소 필터링 방법
KR100505319B1 (ko) 필터링 강도 선택 방법
KR100523551B1 (ko) 이미지 화소 필터링 방법
KR20110042602A (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR20050052431A (ko) 이미지 화소 필터링 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

ENP Entry into the national phase

Ref country code: JP

Ref document number: 2003 509786

Kind code of ref document: A

Format of ref document f/p: F

WWE Wipo information: entry into national phase

Ref document number: 2003509786

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 028024974

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2002738883

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10480642

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2002738883

Country of ref document: EP