WO1998042135A1 - Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system - Google Patents

Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system Download PDF

Info

Publication number
WO1998042135A1
WO1998042135A1 PCT/JP1997/003825 JP9703825W WO9842135A1 WO 1998042135 A1 WO1998042135 A1 WO 1998042135A1 JP 9703825 W JP9703825 W JP 9703825W WO 9842135 A1 WO9842135 A1 WO 9842135A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion
unit
pixel
motion compensation
Prior art date
Application number
PCT/JP1997/003825
Other languages
English (en)
French (fr)
Inventor
Shunichi Sekiguchi
Kohtaro Asai
Tokumichi Murakami
Hirofumi Nishikawa
Shinichi Kuroda
Yoshimi Isu
Yuri Hasegawa
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha filed Critical Mitsubishi Denki Kabushiki Kaisha
Priority to US09/180,188 priority Critical patent/US6404815B1/en
Priority to AU47226/97A priority patent/AU704916B2/en
Priority to KR1019980709254A priority patent/KR100319944B1/ko
Priority to EP19970909589 priority patent/EP0905980B1/en
Priority to JP54033398A priority patent/JP3386142B2/ja
Priority to DE69738792T priority patent/DE69738792D1/de
Publication of WO1998042135A1 publication Critical patent/WO1998042135A1/ja
Priority to US10/086,446 priority patent/US7110456B2/en
Priority to US11/352,377 priority patent/US8194742B2/en
Priority to US11/386,685 priority patent/US8170105B2/en
Priority to US12/648,837 priority patent/US8098734B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • Image coding apparatus image decoding apparatus, image coding method, image decoding method, and image coding / decoding system
  • the present invention provides motion-compensated prediction of an image to be encoded or an image to be decoded from an existing image and encodes a prediction error, or encodes a prediction error and reference image data in high-efficiency encoding or decoding of an image.
  • the present invention relates to an apparatus and a system that perform decoding by addition. Background art
  • the conventional motion compensation prediction method there is a motion compensation prediction method using block matching by parallel movement.
  • ISOZOIEC 11 1 17 22 -2 MPEG 1 Video Standard
  • ISOZOIEC 11 1 17 22 -2 MPEG 1 Video Standard
  • motion compensation using an affine transformation For example, in “Study on Motion Compensation Prediction Using Affine Transformation” (IEICE Technical Report IE 94-36), the amount of motion in an arbitrary shape region of an image is modeled using affine motion parameters. Explains how to perform motion compensation prediction by detecting parameters.
  • Figure 42 shows the concept of motion compensated prediction by block matching.
  • f i (x, y, t) is the pixel value at the position (X, y) of the block at screen position i and time t,
  • R is the motion vector search range
  • V is the motion vector (ER)
  • the value of v that minimizes D v is the motion vector.
  • the method of searching for a matching block using only the actual pixels that are the actual sample points in the reference image is an integer pixel precision search
  • the search method that uses the half pixels in the middle of the integer pixels in addition to the integer pixels is a half pixel Called accuracy search.
  • the half-pixel accuracy search has more search points than the integer-pixel accuracy search, and the prediction efficiency increases.
  • FIG. 43 is a diagram illustrating a configuration example of a motion compensation prediction unit (block matching unit) of an image encoding device that uses a motion compensation prediction method adopted in, for example, the MPEG1 video standard.
  • 207 is a horizontal movement amount counter
  • 20 8 is a vertical movement
  • a row movement amount counter 211 is a memory read address generation unit
  • 213 is a pattern matching unit
  • 216 is a minimum prediction error power determination unit.
  • 203 is a horizontal parallel movement amount search range instruction signal
  • 204 is a vertical parallel movement amount search range instruction signal
  • 205 is predicted block data
  • 206 is a position signal in the image of the predicted block
  • 209 is Horizontal parallel movement amount search point data
  • 210 is vertical parallel movement amount search point data
  • 2 12 is read address
  • 2 14 is read image data
  • 2 15 is prediction error power signal
  • 2 1 7 Is the motion vector
  • 218 is the minimum prediction error power signal.
  • Reference numeral 219 denotes a frame memory for storing a reference image.
  • FIG. 44 is an operation flowchart showing the operation of the motion compensation prediction unit having the configuration shown in FIG.
  • range—h—min is the lower limit of the horizontal translation search range
  • range—h—max is the upper limit of the horizontal translation search range
  • range—V—min is the lower limit of the vertical translation search range.
  • Rang e_v_max is the upper limit of the search range for vertical translation
  • D-min is the minimum prediction error power
  • (x, y) are coordinates representing the pixel position in the macroblock
  • D (dX, dy) is the prediction error power at the time of dx, dy search
  • f (x, y) is the value of the pixel (X, y) of the predicted image
  • f r (x, y) is the value of pixel (x, y) in the reference image
  • D (X, y) is the prediction error at (x, y) when searching for d x, d y, MV—h is the motion vector (parallel movement amount) horizontal component,
  • MV V is the motion vector (translation amount) vertical component It is.
  • the minimum prediction error power D—min is set to the maximum value MAXINT (for example, OxFFFFFFFF). This is equivalent to S201 in FIG.
  • the pixel at the position (x + dx, y + dy) in the reference image that is (dx, dy) away from the pixel position (X, y) of the macroblock to be predicted is extracted from the frame memory.
  • the memory read address generator 2 11 in FIG. 4 3 receives the value of dX from the horizontal movement amount counter 2 07 and the value of dy from the vertical parallel movement amount counter 2 08, and Generate an address.
  • the prediction error power D (dx, dy) when the motion vector is (dx, dy) is initialized to zero. This corresponds to S202 in FIG.
  • the measurement error power D (dx, dy) that is, Dv in equation (1) is obtained.
  • This processing is performed by the pattern matching unit 2 13 in FIG. 43.
  • the pattern matching unit 2 13 uses D (d X, dy) as the minimum prediction error power determination unit 2 based on the prediction error power signal 2 15. Hand over to 6. This processing corresponds to the processing of S203 to S209 in FIG.
  • the minimum prediction error power determination unit 216 compares the value of the internal minimum prediction error power D min with the magnitude of D (dX, dy) passed by the prediction error power signal 215. , D (dX, dy) is updated only when D—min is smaller than D (dx, dy). Also, the value of (d x, d y) at that time is stored as a motion vector candidate (MV-h, MV-V). These updating processes correspond to S211 in FIG.
  • Fig. 45 is a diagram showing an outline of the motion compensation prediction method adopted in the MPEG1 video standard.
  • each frame of a moving image is called a picture, and the picture is divided into 16 x 16 pixel blocks (color difference signals are 8 x 8 pixels) called macroblocks.
  • 16 x 16 pixel blocks color difference signals are 8 x 8 pixels
  • macroblocks 16 x 16 pixel blocks
  • Block Perform motion compensation prediction by matching.
  • the resulting motion vector and prediction error signal are encoded.
  • the motion compensation method can be changed for each different picture.
  • the I-picture performs closed coding within the picture without performing motion compensation prediction
  • the P-picture Forward motion compensation prediction which performs prediction from the image displayed earlier
  • forward motion compensation prediction which performs prediction from the image displayed later in time
  • interpolation motion compensation prediction in which prediction is performed by averaging two predicted images obtained from forward motion compensation prediction and backward motion compensation prediction, is allowed.
  • each motion-compensated prediction in the forward-backward interpolation is basically a motion-compensated prediction based on block matching, only in the difference between reference images used for prediction.
  • block matching has been established as the main method for implementing motion-compensated prediction in current video coding methods.
  • the process of block matching is based on the assumption of equal luminance, that is, "areas with the same luminance are the same object", and obtains the amount of translation of the object in units of square blocks such as macroblocks. Equivalent to. Therefore, in principle, it is impossible to detect movement other than movement in the direction of the square block shape, and parallel movement such as rotation, enlargement, reduction, camera zooming, and three-dimensional object movement is sufficient. Prediction accuracy drops in areas where unexplained movements occur
  • Performing compensation prediction is motion compensation prediction using affine transformation.
  • the pixel value (x, y) to be predicted is transformed by the affine transformation shown in the following equation (2).
  • Each parameter of the affine transformation is detected as a motion parameter based on the assumption that the pixel value ( ⁇ ', y') in the reference image is converted.
  • affine motion parameters are detected for prediction image regions of arbitrary shapes, and motion compensation prediction is performed. A method is proposed. cos ⁇ sln ⁇ C x 0 x X
  • FIG. 46 illustrates the concept of motion compensation prediction processing using affine transformation.
  • i is the position in the screen of the area that is the unit of motion compensation prediction
  • f i (x, y, t) is the pixel value at the position (X, y) of the region as the position i in the screen and the time t,
  • Rv is the parallel displacement search range
  • R r o t, s c a 1 e is the rotation Z scale amount search range
  • r ot is a rotation parameter (two rotation angles ⁇ )
  • affine motion parameters consisting of a total of five parameters, a rotation angle ⁇ and a scale (CX, Cy) are detected in addition to the parallel movements and 0 parameters (tX, ty) corresponding to the motion vector.
  • the optimal solution is given by a full search of all parameters, but a very enormous performance
  • a two-step search algorithm is adopted based on the assumption that the amount of parallel movement is dominant.
  • the translation amount (tx, ty) of the region is searched.
  • the procedure of searching for the rotation angle ⁇ and the scale (CX, Cy) near (tX, ty) determined in the first stage, and fine-adjusting the translation amount is also performed.
  • the difference between the prediction region that gives the minimum prediction error power and the current region is calculated, and the prediction error is encoded.
  • the prediction error power of the affine transformation method is expressed by the following equation (3).
  • FIG. 47 is a diagram illustrating a configuration example of a motion compensation prediction unit using affine transformation.
  • reference numeral 220 denotes a parallel movement fine adjustment amount search range instruction signal
  • 2 2 1 Is a rotation amount search range instruction signal
  • 2 2 2 is a scale amount search range instruction signal
  • 2 2 3 is a translation amount search range instruction signal
  • 2 2 4 is a position signal in the predicted area screen
  • 2 2 5 is a predicted Area data
  • 2 26 is a horizontal parallel movement counter
  • 2 27 is a vertical parallel movement counter
  • 2 28 is a parallel movement adder
  • 2 209 is a first-stage minimum prediction error power determiner
  • 2 30 is a memory read address generator
  • 231 is an interpolation calculator
  • 232 is a half-pixel generator
  • 233 is a rotation counter
  • 234 is a scale counter
  • 23.5 is a parallel movement.
  • Rotational no-scaling amount adder 236 is the second-stage minimum prediction error power determiner, 237 is the parallel movement fine adjustment amount counter, 238 is the parallel movement fine adjustment amount adder, and 239 is the final It is a minimum prediction error power determination unit.
  • FIG. 48 is a flowchart of the operation of the conventional device.
  • FIG. 49 is a flowchart showing details of the affine motion parameter detection process indicated by S224 in FIG.
  • MV—h [4] is the horizontal component of the motion vector (4 candidates),
  • MV_v [4] is the vertical component of the motion vector (4 signs),
  • D__min is the minimum prediction error power
  • ⁇ is the amount of rotation [r a d i a n]
  • t x and t y are fine adjustments of the motion vector.
  • D (6 [i], Cx [i], Cy [i], tx [i], ty [i]) is an affinity when MV-h [ ⁇ , MV-v [i] is selected.
  • d C y is the vertical scale amount search point
  • dt X is the horizontal translation fine adjustment amount search point
  • range—radian—min is the lower limit of the rotation amount search range
  • range—radian_max is the upper limit of the rotation amount search range
  • range—seale_min is the lower limit of the scale amount search range
  • range—sea 1 e _max is , Scale value search range upper limit value
  • range—t—h—min are horizontal translation fine adjustment amount search range lower limit value
  • r a n g e— t— h— m a X is the horizontal translation fine adjustment amount search range upper limit
  • r ange e _ t _ v_min is the vertical translation fine adjustment amount search range lower limit
  • r ange e_ t _ v_max is the vertical translation fine-adjustment amount search range upper limit
  • D—min is the minimum prediction error power
  • (x, y) is the pixel position in the region to be predicted
  • f (, y) is the value of the pixel (X, y) of the predicted image
  • fr (x, y) is the value of pixel (x, y ) in the reference image
  • a x is the horizontal affine transformation value
  • a y is the vertical affine transformation value
  • D (a x, a y) is the prediction error power at the time of a x, a y search
  • D (x, y) is the prediction error at (x, y) when searching for ax, ay.
  • a search range is set in the horizontal movement amount counter 226 and the vertical movement amount counter 227 based on the parallel movement amount search range instruction signal 223, and the search point is changed.
  • the parallel movement amount adding section 228 adds the current area position in the predicted image area to this count value, and passes the result to the memory read address generating section 230, where the pixel value of the predicted image candidate is calculated. It is read from the frame memory 219.
  • the read pixel values are passed to the pattern matching section 21 and are subjected to the same error calculation as in the block matching.
  • the matching result is sent to the first-stage minimum prediction error power determination unit 229, and four candidate translation parameters are obtained from the one with the smallest prediction error.
  • the operation of the first-stage minimum prediction error power determination unit 229 is the same as that of the minimum prediction error power determination unit 216. This process corresponds to S221 and S222 in FIG.
  • FIG. 49 shows a detailed processing procedure. The operation will be described in relation to the operation of the device shown in FIG.
  • the rotation amount search range instruction signal 221 First, from the rotation amount search range instruction signal 221, and the scale amount search range instruction signal 222, the rotation amount counter 233 and the scale amount counter 234 are supplied. Set the search range for each. Also, the parallel movement fine adjustment amount search range instruction signal
  • the search range is also set in the parallel movement fine adjustment amount counter 2 37.
  • the second-stage minimum prediction error power determination unit 236 sets the value of the internal minimum prediction error power D-min to MAXINT. This corresponds to S 2 29 in FIG.
  • the above processing is performed by fixing the count values of the scale amount counter 2 34 and the parallel movement fine adjustment amount counter 2 37 in FIG.
  • Ax and ay of equation (4) are calculated by the translation / rotation / "scale amount addition unit 2 3 5 according to the count value of 3 3, and ir (ax, ay) is calculated via the memory read address generation unit 230.
  • the pixels necessary for the calculation are read out from the frame memory 2 19, and then fr (ax, ay) is calculated from these pixels in the interpolation calculation unit 2 31, and the calculated values are sent to the pattern matching unit 2 13. This is performed by the operation of calculating the absolute value of the difference from the predicted pixel value f (x, y). In FIG. 49, it corresponds to S231 to S234.
  • the above processing is performed over the entire rotation amount search range, and the second stage minimum prediction error power determination unit 236 determines the rotation amount ⁇ that gives the minimum prediction error within the rotation amount search range.
  • the count value of the parallel movement fine adjustment amount counter 237 is fixed, and the rotation amount ⁇ determined in 2 2) as the rotation amount is substituted into equation (4) to obtain the scale amount.
  • the values of C x and C y are changed within the search range to obtain the affine transformation values ax and ay of equation (4).
  • the parallel movement fine adjustment amount search point is counted by the parallel movement fine adjustment amount counter 237.
  • a half-pixel value is calculated by the half-pixel generation unit 232 as necessary before being sent to the pattern matching unit 21.
  • the half-pixel value is calculated as shown in the following equation (5) based on the spatial positional relationship with the integer pixels as shown in FIG.
  • both x and y are counted from 0, and the integer pixel position is both EVEN.
  • I (x, y) [ I (xp, yp) + I (x P + 1 'yp) + I (x p, y p + 1 I (xp + 1, yp + 1)] / A; x, y: ODD
  • the affine motion parameter search requires not only a very large number of processing steps, but also a large computational load in the search.
  • FIG. 51 is a diagram showing a method of calculating a non-integer pixel value generated in the process of searching for the rotation amount and the scale amount, that is, a calculation method of fr (ax, ay) in the interpolation calculation unit 231.
  • ⁇ is the actual sample point of the image
  • ⁇ is the pixel value generated by the operation.
  • a motion compensation device disclosed in Japanese Patent Application Laid-Open No. HEI 6-153185 and an encoding device using the same are disclosed. Have been.
  • an image in a frame memory serving as a reference image is provided with a thinning-out circuit or an interpolation circuit to reduce or enlarge the image and then detect a motion vector.
  • a complicated operation such as the affine transformation is not performed, but a fixed block is extracted from the reference image and interpolation or thinning operation is performed.
  • a fixed screen area is cut out, processed in advance, and then compared with the input image, the processing is fixed, making it simple and practical for simple enlargement and reduction. Limited.
  • the motion prediction method of the conventional image encoding device is configured and operates as described above.
  • the predicted image area is formed by translating the cut-out area of the reference screen, so that only a simple translational motion can be predicted, such as rotation, enlargement, reduction, camera zooming, and the like.
  • a simple translational motion such as rotation, enlargement, reduction, camera zooming, and the like.
  • the present invention has been made to solve the above-described problem, and differs from an image area to be predicted using existing pixels on a reference screen or pixels obtained by a simple filtering process.
  • the purpose of the present invention is to obtain a coding apparatus using a motion-compensated prediction method for an image which can cope with various kinds of motions and temporal changes by relatively simple processing by forming a predicted image area of a shape or a different size. I do.
  • An image encoding apparatus is configured to divide an input image into predetermined blocks, and to provide a motion compensation prediction unit based on motion detection between frames of the blocks to compress and encode the input image. Deformation in which only integer pixels, which are actual sample points existing in the corresponding partial area of the reference image for motion detection, are transformed into a predetermined format, specified with coordinates, extracted, and compared with the integer pixels of the above block of the input image.
  • a motion detector that outputs a motion vector that gives the minimum error extracted by specifying the coordinates, including the block matching unit, and a reference image according to the motion parameters obtained from the comparison output including the deformed block matching unit.
  • a motion compensating unit that outputs a predicted partial image including a corresponding point determining unit that determines the corresponding block by specifying coordinates and deforming the block.
  • the modified block matching unit is configured to perform the modification using the integer pixel and the half pixel that is the midpoint of the integer pixel when the partial area of the reference image is modified in a predetermined format.
  • a pre-processing unit that separates the input image into a partial region of the image object as a coding target region is added, and each of the separated image objects is divided into a book to perform motion detection and Added motion compensation.
  • the modified block matching unit and the corresponding point determining unit are configured to specify an integer pixel or a half pixel as coordinates, and to specify and extract an adjacent point or an adjacent point multiplied by a predetermined number, and perform a comparison.
  • a corresponding point determining unit that processes and outputs the reference image is used.
  • modified block matching unit and the corresponding point determination unit are configured to extract and compare integer pixels or half pixels by designating coordinates rotated in a predetermined angle direction, and to process the reference image similarly.
  • the corresponding point determination unit outputs the data.
  • Rotation in a given angle direction is positive or negative 45 degrees, 90 degrees, 135 degrees or 18
  • the deformed block matching unit and the corresponding point determination unit search for the region indicated by the partial region of the reference image after the translation, and enlarge or reduce this search region, or combine rotation in a predetermined angular direction. And a corresponding point determination unit that similarly processes and outputs the reference image.
  • the modified block matching unit includes a modified pattern table for modifying and comparing the partial area of the reference image, and converts the image of the partial area based on the conversion value extracted from the modified pattern table.
  • a modified block matching unit for comparing with an integer pixel or a half pixel of a block of the input image was used, and a corresponding point determining unit was also a corresponding point determining unit for processing and outputting a reference image.
  • the modified block matching unit selectively performs specific filtering on the specific pixels of the reference image extracted for the correspondence evaluation and compares the pixels.
  • the frame for motion detection is the temporally preceding or succeeding frame
  • the reference image is the temporally preceding or succeeding frame stored and compared with the input image
  • An image decoding apparatus has a configuration for expanding and reproducing an image compression code of input information provided with a motion compensating means, and extracting a motion parameter in the input information to indicate a direction and an amount of motion.
  • a reference image stored in correspondence with a frame by using an edge-to-peak decoding unit that obtains a motion vector and deformation pattern information representing the content of a deformation process instruction, and a motion parameter output from the entropy decoding unit.
  • An image encoding method includes a motion compensation prediction unit that stores a reference image for compression encoding of an input digital image, divides the reference image into predetermined blocks, and detects motion between frames.
  • a modified block matching step of transforming the integer pixels of the partial area into a predetermined format and specifying and extracting coordinates, generating a predicted partial image and comparing with the block of the input image; And a corresponding point determining step of determining a corresponding point of the partial area by specifying the coordinates from a motion vector giving the minimum error and obtaining a motion compensation output.
  • the deformed block matching step includes, as a reference criterion, in addition to the integer pixels of the partial area of the reference image and a half pixel at the midpoint thereof, deforming the image into a predetermined format, specifying coordinates and extracting, and generating a predicted partial image The modified block matching step was compared.
  • a deformation pattern table for deforming and adding a partial area of the reference image is provided.
  • an image of the partial area based on the conversion value obtained by reading the corresponding address with reference to the deformation pattern table is input.
  • a modified block matching step to be compared with the image was performed.
  • An image decoding method includes a motion vector representing a direction and an amount of motion by extracting a motion parameter in input information in order to perform motion compensation and expand and reproduce an image compression code of input information;
  • the entropy decoding step for obtaining the deformation pattern information representing the instruction content of the deformation processing, and the motion parameters obtained in the entropy decoding step are used to determine the partial area of the reference image stored corresponding to the frame.
  • a motion compensation step is used to determine the partial area of the reference image stored corresponding to the frame.
  • the coordinate calculation is performed using the coordinate value of the half pixel of the reference image, and the obtained pixel value is transformed into a predetermined format.
  • Motion detection that includes a deformed block matching unit that deforms and specifies coordinates to extract and compares with the integer pixel of the block of the input image, and outputs a motion vector that gives the minimum error extracted and specified by coordinates.
  • An image encoding device including a motion compensating unit for outputting a predicted partial image including the motion compensation; and a motion compensation predicting device for estimating and reproducing an image compression code of input information by including a motion compensation predicting device based on motion detection between frames.
  • an image decoding device configured to add and output.
  • FIG. 1 is a diagram showing a basic configuration of an image encoding device according to the present invention.
  • FIG. 2 is an internal configuration diagram of the motion detection unit 8 in FIG.
  • FIG. 3 is a flowchart showing the operation of the motion detector 8 having the configuration of FIG.
  • FIG. 4 is a diagram illustrating an outline of an operation in the modified block matching unit 21 according to the first embodiment.
  • FIG. 5 is an internal configuration diagram of the modified block matching unit 21.
  • FIG. 6 is a flowchart showing the operation of the modified block matching unit 21.
  • FIG. 7 is an internal configuration diagram of the motion compensation unit 9 in FIG.
  • FIG. 8 is a flowchart illustrating the operation of the motion compensation unit 9.
  • FIG. 9 is a diagram for explaining the operation of separating the image object by the preprocessing unit 2.
  • FIG. 10 is another internal configuration diagram of the motion detection unit 8b according to the second embodiment.
  • FIG. 11 is an internal configuration diagram of the motion detection unit 8 c according to the third embodiment.
  • FIG. 12 is a diagram illustrating an outline of an operation of the modified block matching unit 42.
  • FIG. 13 is an internal configuration diagram of the modified block matching unit 42.
  • FIG. 14 is a flowchart illustrating the operation of the modified block matching unit 42.
  • FIG. 15 is a diagram illustrating an outline of the operation of the modified block matching unit 42b in the fourth embodiment.
  • FIG. 16 is an internal configuration diagram of the modified block matching unit 42b in the fourth embodiment.
  • Figure 1 7 is a Furochiya one preparative diagram representing the operation of a modified block matching section 4 2 b.
  • Figure 1 8 is a diagram for explaining another modification block matching in the fourth embodiment c
  • FIG. 19 is a diagram for explaining another modified block matching according to the fourth embodiment.
  • FIG. 20 is another internal configuration diagram of corresponding point determining section 34 in the fifth embodiment.
  • FIG. 21 is a diagram for explaining modified block matching according to the sixth embodiment.
  • FIG. 22 is a diagram illustrating an example of filtering performed on integer pixels forming a predicted image according to the sixth embodiment.
  • FIG. 23 is a diagram illustrating an outline of the operation of the modified block matching unit 42c.
  • FIG. 24 is an internal configuration diagram of the modified block matching unit 42c.
  • FIG. 25 is a flowchart showing the operation of the modified block matching unit 42c.
  • FIG. 26 is an internal configuration diagram of the motion compensation unit 9 b according to the sixth embodiment.
  • FIG. 27 is a flowchart illustrating the operation of the motion compensation unit 9 b according to the sixth embodiment.
  • FIG. 28 is a diagram illustrating a configuration of an image decoding device according to Embodiment 7.
  • FIG. 29 is an internal configuration diagram of the motion compensation unit 9 according to the seventh embodiment.
  • FIG. 30 is a flowchart showing the operation of the motion compensator 9 in FIG.
  • FIG. 31 is a diagram illustrating the coordinate point moving operation performed by the motion compensating unit 9 in FIG. 29.
  • FIG. 32 is a diagram for explaining an example of the deformation processing performed by the motion compensation unit 9 in FIG.
  • FIG. 33 is a diagram showing an operation for obtaining a half pixel in the coordinate point operation.
  • FIG. 34 is a diagram for explaining the operation in the case where the transformation process is rotation enlargement.
  • FIG. 35 is a diagram illustrating a configuration of an image decoding apparatus according to Embodiment 8.
  • FIG. 36 is an internal configuration diagram of the motion compensation unit 90 according to Embodiment 8.
  • FIG. 37 is a flowchart showing the operation of the motion compensation unit 90 of FIG.
  • FIG. 38 is a view for explaining an example of the deformation processing performed by the motion compensation unit 90 of FIG.
  • FIG. 39 is a diagram illustrating an example of coordinate point calculation performed by the motion compensation unit 90 of FIG.
  • FIG. 40 is a flowchart showing the operation of the corresponding point determining unit 37 c in the motion compensating unit according to the ninth embodiment.
  • FIG. 41 is a diagram illustrating an example of a deformation process performed by the motion compensation unit according to the ninth embodiment.
  • FIG. 42 is a diagram for explaining the concept of motion compensation prediction using block matching in Conventional Example 1.
  • FIG. 43 is a diagram illustrating a configuration of a motion compensation prediction unit (block matching unit) of the image encoding device of Conventional Example 1.
  • FIG. 44 is a flowchart illustrating the operation of the motion compensation prediction unit of the first conventional example.
  • FIG. 45 is a diagram showing an outline of a motion compensation prediction method adopted in the MPEG1 video standard.
  • FIG. 46 is a diagram for explaining the concept of motion compensation prediction using the affine transformation of the second conventional example.
  • Figure 47 shows the configuration of the motion compensation prediction unit using the affine transformation of Conventional Example 2.
  • FIG. 48 is a flowchart showing the operation of the motion compensation prediction unit in Conventional Example 2.
  • FIG. 49 is a flowchart showing details of the affine motion parameter detection step in FIG. 48.
  • FIG. 50 is a diagram for explaining a method of calculating a half-pixel value in the half-pixel generation unit 232.
  • FIG. 51 is a diagram for explaining a method of calculating a non-integer pixel value generated in a rotation Z-scale amount search step in the interpolation calculation unit 231.
  • the encoding device and the decoding device according to the present invention are specifically used for a digital image transmission system, a digital image recording device, a digital image storage database and a search / browsing system, etc., via a satellite, a terrestrial wave, or a priority communication network. used.
  • FIG. 1 is a basic configuration diagram of an image encoding device.
  • 1 is an input digital image signal
  • 2 is a preprocessing unit
  • 3 and 13 are intra (in a frame) Z-inter (interframe) coding selection unit
  • 4 is an orthogonal transformation unit
  • 5 is a quantization unit
  • 6 is an inverse quantization unit
  • 7 is an inverse orthogonal transform unit
  • 8 is a motion detection unit
  • 9 is a motion compensation unit
  • 10 is a frame memory (reference image)
  • 11 is a motion parameter including a motion vector
  • 1 2 is prediction image data
  • 14 is an encoding control unit
  • 15 is a forced mode instruction flag
  • 16 is an intra Z inter encoding instruction flag
  • 17 is a quantization step parameter
  • 18 is an entropy signal.
  • the encoding unit 19 is compressed image data.
  • This apparatus receives an image signal 1 of each frame as a component of a color moving image sequence as an input, and the input image signal 1 is digitized.
  • the preprocessing unit 2 performs preprocessing, format conversion, and cutout into block data.
  • the block data cut out here is composed of a pair of a luminance signal component and a color difference signal component spatially corresponding to the luminance signal component.
  • the luminance component is referred to as a luminance block
  • the color difference component is referred to as a chrominance block. Call.
  • the intra / inter coding selection unit 3 determines whether each block data is to be intra-frame encoded or inter-frame encoded.
  • intra (intra-frame) encoding block data composed of original image data output from the preprocessing unit 2 is input to the orthogonal transform unit 4, and inter (inter-frame) encoding is performed.
  • the prediction error block data composed of the difference between the original image data output from the preprocessing unit 2 and the prediction image data 12 output from the motion compensation unit 9 is sent to the orthogonal transformation unit 4. input.
  • the selection of the intra z-interframe coding may be forcibly performed by the forced mode instruction flag 15 from the coding control unit 14.
  • the selected coding mode is sent to the intra-peak coding unit 18 as an intra Z-inter coding instruction flag 16 and multiplexed into the coding bit stream 19.
  • the orthogonal transform unit 4 for example, a discrete cosine transform (DCT) is used.
  • the orthogonal transform coefficient is quantized by the quantization unit 5 using the quantization step parameter 17 calculated by the coding control unit 14, and the quantized orthogonal transform coefficient is calculated by the entropy encoding unit 18. After redundancy reduction, they are multiplexed into the encoded bitstream 19.
  • inverse quantization is performed by the inverse quantization unit 6, and then inverse orthogonal transformation is performed by the inverse orthogonal transformation unit 7, and the prediction error signal is restored. Will be replaced.
  • the prediction image data 12 output from the motion compensation unit 9 is added to this to generate a locally decoded image.
  • the 0 signal is selected by the coding selection unit 13 and the addition of the prediction error signal is not performed. Since the locally decoded image is used as a reference image for motion compensation prediction for the next and subsequent frames, the content is written to the frame memory 10.
  • a block extracted in the preprocessing unit 2 is a predicted block in the motion compensation prediction.
  • the motion compensation prediction process is performed in the motion detection unit 8 and the motion compensation unit 9.
  • the motion detection unit 8 detects the motion parameter 11 including the motion vector of the predicted block, and the motion compensation unit 9 sets the motion parameter.
  • the predicted image data 12 is extracted from the frame memory 10 using 11.
  • the motion detection process is performed using the luminance block, and the motion compensation prediction of the chrominance block uses the motion detection result of the luminance block. In the following, the description will be limited to the motion compensation prediction operation of the luminance block.
  • the motion detection processing is performed by the motion detection unit 8.
  • the motion detection unit 8 searches for a region that is most similar to the luminance block of the predicted block within a predetermined range in the reference image, and detects a parameter representing a change in the predicted block from the position on the screen. .
  • a block that is most similar to the luminance block of the block to be predicted is searched for, and a translation amount from a position in the screen of the block to be predicted is detected as a motion vector.
  • the motion detection unit 8 of the present embodiment includes both a block matching based on a conventional square block and a block matching using a deformed block described later. And select the one with higher prediction accuracy.
  • FIG. 2 is a detailed configuration diagram of the motion detecting unit 8 in FIG. 1, and FIG. 3 is a flowchart showing an operation thereof.
  • reference numeral 20 denotes a block matching unit
  • 21 denotes a modified block matching unit
  • 22 denotes a motion compensation prediction mode determination unit
  • 23 denotes a motion vector obtained by the modified block matching
  • 24 denotes a motion vector obtained by the modified block matching.
  • the small prediction error value, 25 is the final motion vector
  • 26 is the motion compensation prediction mode signal. It is assumed that the motion parameter 11 is a combination of the final motion vector 25 and the motion compensation prediction mode signal 26.
  • D—B M represents the value of the minimum prediction error power obtained by block matching
  • D—DEF represents the value of the minimum prediction error power obtained by modified block matching.
  • FIG. 4 is a schematic explanatory diagram of the operation in the modified block matching unit 21 which is the most important part of the present invention
  • FIG. 5 is a detailed internal configuration diagram of the modified block matching unit 21, and
  • FIG. 5 is a flowchart showing the operation of the matching unit 21.
  • reference numeral 29 denotes a horizontal parallel movement amount search range instruction signal
  • 30 denotes a vertical parallel movement amount search range instruction signal
  • 31 denotes a horizontal movement amount counter
  • 32 denotes a vertical movement amount counter
  • 33 denotes Is a rotation amount counter which is a new element
  • 34 is a corresponding point determination unit which is also a new element
  • 35 is a memory read address generation unit.
  • the pattern matching section 2 13 and the minimum prediction error power determination section 2 16 perform the same operations as the corresponding elements of the configuration shown in FIG.
  • dx is the horizontal translation amount search point
  • dy is the vertical translation amount search point
  • r ange e_h_min is the lower limit of the horizontal search range
  • r a n g e— V— ma a X is the upper limit of the vertical search range
  • D_min is the minimum prediction error power
  • D (d X, d y) is the prediction error power when searching d x, d y
  • (x, y) is the pixel position in the predicted block
  • D (d x, d y) is the prediction error at (x, y) in d x, d y search
  • f r (x, y) is the value of pixel (x, y) in the reference image
  • MV—h is the horizontal component of the motion vector
  • MV—V is the vertical component of the motion vector
  • the block matching unit 20 obtains a motion vector for the predicted block according to the procedure and operation described in the conventional example. As a result, the motion vector 2 17 and the minimum prediction error power D—BM 2 18 in the block matching unit 20 are obtained. This corresponds to S 1 in FIG.
  • the deformed block matching unit 21 performs a deformed block matching process (S2 in FIG. 3).
  • FIG. 4 shows an outline of the processing in the modified block matching unit 21.
  • the image to be predicted 27 is encoded by motion compensated prediction.
  • a frame (picture) in the pre-processing unit 2 and a reference image 28 are local decoded frame (picture) images that are encoded before the predicted image 27 and stored in the frame memory 10.
  • ⁇ in each image indicates an integer pixel which is a real sampling point of a luminance signal actually existing in the frame
  • X indicates a half pixel which is a middle pixel between the real sampling points.
  • the partial region consisting of 8 is defined as the block to be predicted (the luminance block portion thereof), and the group consisting of the pixels of the mouth of the reference image 28 constitutes the transformed block of the predicted image candidate. That is, a part of the output of the frame memory 10 indicated by () in FIG. 1 and FIG. 2 and a part of the output of the preprocessing unit 2 are cut out and compared by the modified block matching unit 21 in the motion detection unit 8. .
  • the brightness block of the reference image is rotated to the right or left 45 degrees, and the scale of each side is doubled.
  • the size of the reference image is compared with the predicted image (input image).
  • the area that matches the horizontal and vertical sample point distances of the frame's input digital image 1 as a distance of 1 ⁇ 2 is defined as a deformation block, and this area is the integer pixel spacing of the reference image 28
  • the modified block matching in the present embodiment is characterized in that the luminance block of the predicted block composed of 8 ⁇ 8 integer pixels shown in FIG. In the up Also corresponds to the process of finding a similar deformed block area in the reference image 28 in FIG.
  • each constituent point of the luminance block of the predicted block and each constituent point of the deformed block of the predicted image candidate area are associated one-to-one in advance.
  • the predicted image candidate image is a partial image obtained by rotating the deformed block in the reference image 28 by 45 degrees to the right and correcting each side to a half length. Changing this association will change the direction of rotation.
  • each of the other constituent points can be uniquely associated. Since each constituent point of the predicted block and each constituent point of the predicted image candidate are associated one-to-one, motion detection can be performed in the same manner as block matching.
  • the extraction type of the partial area for comparison of the reference image 28 in FIG. 4 is patterned and specified by addressing (coordinates), and in this case, an instruction is made so that an integer pixel is selected.
  • the minimum error power is determined by accumulating the error between the pixel designated by the addressing and the pixel in the original image data corresponding to the predicted image 27. Therefore, high-speed comparisons can be made because there is no operation just by instructing the addressing, and in addition to simple enlargement / reduction by the method of addressing (coordinate designation), rotation as well as rotation and enlargement / reduction can be performed.
  • the horizontal movement amount counter 31 and the vertical movement amount counter 32 are transformed from the horizontal parallel movement amount search range instruction signal 29 and the vertical direction parallel movement amount search range instruction signal 30.
  • the minimum prediction error power determination unit 211 the minimum prediction error power D—min is set to the maximum value MAXINT (for example, OxFFFFFFFF). This corresponds to S4 in FIG.
  • r dx and r dy shown in S6 and S8 in FIG. 6 are used as block deformation parameters.
  • the rotation amount counter 33 sets this parameter. In other words, the relationship of rotating the reference image of FIG. 4 clockwise by 45 degrees is defined.
  • the values of y are given as initial values, and thereafter, every time X is incremented, rd x is incremented and rd y is decremented.
  • the corresponding points rx, ry in the reference image corresponding to the position (x, y) of the predicted block in the luminance block are determined. That is, the correspondence between the first positions in FIG. 4 is performed. This is performed by the corresponding point determination unit 34.
  • rx, ry can be obtained by adding rdx, rdy obtained in 2-3) to offset values ix, iy given in advance.
  • the pixel in the reference image located at a position (rx + dx, ry + dy) away from the reference image is extracted from the frame memory. In FIG.
  • the memory read address generation unit 35 calculates the value of dX from the horizontal movement counter 31, the value of the vertical movement force counter 32, and the value of dy, and the corresponding point determination unit 34 determines rx, ry. And generates an address in the frame memory.
  • the prediction error power D (dX, dy) when the motion vector is (dx, dy) is initialized to zero. This corresponds to S5 in FIG.
  • the difference between the pixel value read in 2-4) and the pixel value at the corresponding position in the luminance block of the predicted block is calculated, and the absolute value is accumulated in D (dX, dy).
  • This processing is performed by the pattern matching unit 213 in FIG. 5, and the pattern matching unit 213 outputs D (dx, dy) to the minimum prediction error power determination unit 216 based on the prediction error power signal 215. Hand over.
  • the above processing corresponds to the processing of S9 to S14 in FIG.
  • the prediction image most similar to the predicted block in the sense of the minimum error power is found.
  • the amount of deviation from the starting point of the selected predicted image is obtained as a motion vector 23 as a result of the modified block matching, and the prediction error power D—DEF 24 at that time is also retained.
  • the minimum prediction error power D—BM2 18 obtained by the block matching unit 20 and the minimum prediction error power D comfortablyDEF 24 obtained by the modified block matching unit 21 are calculated. Then, the smaller of block matching and modified block matching is selected as the final motion compensation mode, which corresponds to S3 in FIG.
  • the motion compensation prediction mode determination unit 22 uses the finally selected motion compensation prediction mode signal 26 and the final motion vector 25 as the motion parameters 11 and performs the motion compensation unit 9 and the event P code. Sent to chemical department 18.
  • the motion compensation processing is performed by the motion compensation unit 9.
  • the motion compensation unit 9 extracts a predicted image from the reference image based on the motion parameters 11 obtained by the motion detection unit 8.
  • the motion compensating unit 9 of the present embodiment performs both the motion compensation processing of the conventional block matching based on a square block and the motion compensation processing of the block matching using a specific deformed block, and calculates the motion in the motion parameter 11.
  • a configuration is adopted in which these processes are switched according to the compensation prediction mode.
  • FIG. 7 is a configuration diagram of the motion compensator 9 in FIG. 1, and FIG. 8 is a flowchart showing the operation thereof.
  • reference numeral 37 denotes a corresponding element determination unit which is a new element
  • reference numeral 38 denotes a memory read address generation unit.
  • the predicted image in the reference image 28 is obtained from the position indication signal 206 of the block to be predicted in the screen and the motion parameter 11 sent from the motion detection unit 8. Is determined.
  • This processing is performed in the corresponding point determination unit 37 in FIG.
  • the motion compensation prediction mode included in the motion parameter 11 indicates block matching
  • the corresponding point is translated by an amount indicated by the motion vector from the position signal 206 of the predicted block in the screen.
  • the sampling points are included in the region.
  • This processing corresponds to the operation of determining the position (x + dx, y + dy) in the reference image 28 when (dx, dy) is the motion vector in S204 in FIG. Hit.
  • the motion compensation prediction mode included in the motion parameter 11 indicates the deformed block matching, as described in 2-4) in the description of the motion detection unit 8
  • the in-screen position signal 2 of the block to be predicted is used.
  • the sample point is moved in parallel by the amount indicated by the motion vector. This processing corresponds to the operation of determining the position (rX + dX, ry + dy) in the reference image 28 when (dx, dy) is the motion vector in S9 in FIG.
  • the memory read address generation unit 38 receives the result of the corresponding point determination unit 34 and stores the reference image 28 stored in the frame memory 10. Generates a memory address that specifies the position of the predicted image in the image, and reads the predicted image.
  • the half-pixel generation unit 232 generates a half-pixel value before being output from the motion compensation unit 9. This is processing corresponding to S23 and S24 in FIG. 8, and whether or not the predicted image includes pixels with half-pixel accuracy is determined by the corresponding point determination unit 37 by the motion vector in the motion parameter 11. Identify based on the torque value and inform selection switch 36.
  • corresponding points of only actual sample points are generated as described in FIG.
  • the configuration in the case where there is a half pixel is a modified block matching section 42 having a half pixel generation section 2 32 of FIG. 13 as described later.
  • final predicted image data 12 is output.
  • the example of the rotation as the modified block matching in the above embodiment is 45 degrees, the rotation is not limited to 90 degrees, 135 degrees, 180 degrees, etc. Rotation can also be realized.
  • an image encoding apparatus using an image frame as a unit The preprocessing unit 2 performs processing to separate the input digital image sequence into image objects (partial regions having the same features such as motion and picture, one subject, etc.), and each image object is processed.
  • the present invention can be applied to a device that encodes an image object as a unit. For example, as shown in Fig. 9, in a scene where a human image exists in front of a stationary background, the human image is used as an image object, and the area inside the circumscribed rectangle surrounding the image is a small block as shown in the figure. There is a case where a block containing an image object is divided and encoded as an effective block. In this case, the same processing is applied to these effective blocks as to the modified book matching and the motion compensation described in the above embodiment. This is the same in the following embodiments.
  • an encoding apparatus based on orthogonal transform encoding has been described.
  • the present invention can be applied to an apparatus that encodes a motion compensation prediction error signal using another encoding method. Needless to say. This is the same in the following embodiments.
  • the rough movement amount of the partial area to be subjected to the deformed block matching process can be grasped.
  • the setting destination of the partial area of the deformed block matching is received from the area information indicated by the motion vector 217 which is the search result of the block matching unit 20, the area is limited to this area, and the area is deformed and compared. Processing time can be reduced. In this embodiment, this configuration will be described. This is the same in other embodiments described below.
  • This embodiment shows another embodiment of the motion detection unit 8.
  • FIG. 10 is an internal configuration diagram of the motion detection unit 8b in the present embodiment. Is a deformed block matching section, 40 is an addition section, and 41 is a search initial position indication signal.
  • the modified block matching section 39 uses only the search initial position indicating signal 41 instead of the input 206, and the other operations are exactly the same as those of the modified block matching section 21 in the first embodiment.
  • FIG. 10 shows a specific circuit of a device for obtaining a rough value.
  • the motion vector obtained as a result of the block matching unit 20 is added to the predicted block data 205 instead of the in-screen position signal 206 of the predicted block in the modified block matching unit 39.
  • the adder 40 adds the torques 2 17, and inputs the result as the search initial position indication signal 41.
  • the search range set from the horizontal direction parallel movement amount search range instruction signal 29 and the vertical direction parallel movement amount search range instruction signal 30 is set smaller than in the first embodiment. Thereby, iterative processing in S17 to S20 in FIG. 6 can be shortened.
  • the deformed block area is constituted by only the pixel points at the integer pixel interval in the reference image 28 has been described.
  • the deformed prog region is configured to include pixel points at half pixel intervals in the reference image 28.
  • the internal configurations of the motion detecting unit 8 and the motion compensating unit 9 in FIG. 1 are different from those of the first embodiment. Further, the operation is different only in the deformed block matching unit in the motion detection unit and the corresponding point determination unit in the motion compensation unit, and the other members and operations are exactly the same as those in the first embodiment. Therefore, only the operation of the deformed block matching unit and the corresponding operation of the motion compensation unit will be described in detail below. As in the first embodiment, the operation will be described separately for the motion detecting unit 8c and the motion compensating unit 9.
  • FIG. 11 is an internal configuration diagram of the motion detection unit 8c according to the present embodiment. Is a schematic explanatory diagram of the operation in the deformed block matching unit 42, which is one of the most important parts of the present invention, FIG. 13 is a detailed internal configuration diagram of the deformed block matching unit 42, and FIG. 6 is a flowchart showing the operation of a modified block matching unit 42.
  • the outline of the processing in the deformed block matching unit 42 is shown in FIG.
  • the predicted image 27 and the reference image 28 are as defined in the first embodiment.
  • ⁇ in each image indicates the actual sample point (integer pixel) of the luminance signal of the frame
  • X indicates the midpoint pixel (half pixel) between the actual sample points.
  • the partial area consisting of 8 X 8 (integer pixels) of the predicted image 27 is set as the predicted block (the luminance block portion), and the group consisting of the pixels of the mouth of the reference image 28 constitutes the transformed block of the predicted image candidate. Shall be.
  • the luminance block is rotated right or left 45 degrees and the scale of each side is multiplied by 1 to 2 times. That is, the size of the reference image is set to a distance of 2 and the horizontal of the input digital image 1 of the frame
  • the area that matches the vertical sample point distance is defined as a deformed block.
  • This region is characterized in that it also includes pixel points of the reference image 28 at half pixel intervals. That is, the modified block matching in the present embodiment is performed for a predicted block consisting of 8 ⁇ 8 samples (hereinafter, samples are meanings of integer pixels or half pixels) shown in FIG. 12 within a given search range. This corresponds to the process of finding, from the reference image 28, the deformed block area in the figure most similar to the luminance block.
  • each component point of the luminance block of the predicted block and each component point of the deformation block of the predicted image candidate area are made to correspond one-to-one in advance.
  • the pixel position of the upper left corner of the predicted block and the left vertex of the deformed block correspond in advance, as indicated by the dotted arrow in FIG.
  • the left vertex on the deformed block side is located at a half pixel position, which shows a case where the motion vector includes a half pixel component.
  • the predicted image candidate image is a partial image obtained by rotating the deformed block in the reference image 28 by 45 degrees to the right and correcting each side to be twice as long.
  • each of the other constituent points can be uniquely addressed. Since each constituent point of the predicted block and each constituent point of the predicted image candidate are associated one-to-one, motion detection can be performed in the same manner as block matching.
  • the operation of setting the search range in the actual device is the same as in the first embodiment, and is set using the necessary elements in FIGS. This operation corresponds to step S26 in FIG.
  • r dX and r dy shown in FIG. 14 are used as block deformation parameters.
  • This parameter is set by the rotation amount counter 45. Given the value of y as their initial value, each time X is incremented by one, the value of 1 ⁇ is incremented by 0.5 and the value of r d y is decremented by 0.5.
  • the predicted block corresponds to the position (x, y) in the luminance block.
  • rx, ry can be obtained by adding rdX, rdy obtained in 3) to offset values iX, iy given in advance.
  • the memory read address generation unit 47 reads the value of dx from the horizontal movement counter 31, the value of dy from the vertical parallel movement counter 32, and reads rx and ry from the corresponding point determination unit 46. Receive and generate the address in the frame memory.
  • the data read in S31 of FIG. 14 is used for generating a half-pixel value in the half-pixel generation unit 232 as necessary.
  • the prediction error power D (dx, dy) when the motion vector is (dx, dy) is initialized to zero. This corresponds to S27 in FIG.
  • the difference between the pixel value read in 4) and the pixel value at the corresponding position of the luminance block of the predicted block is calculated, and the absolute value is accumulated in D (dX, dy).
  • This processing is performed by the pattern matching unit 2 13 in FIG. 13, and the pattern matching unit 2 13 converts D (d X, dy) into the minimum prediction error power determination unit 2 16 using the prediction error power signal 2 15.
  • Hand over to The processing corresponds to the processing of S32 to S37 in FIG.
  • the prediction image most similar to the predicted block in the sense of the minimum error power is found.
  • the shift amount from the starting point of the selected predicted image is obtained as a motion vector 43 as a result of the deformed block matching, and the prediction error power D—DEF 44 at that time is also retained.
  • the motion vector 43 and the prediction error power D-DEF44 are used for the final motion compensation mode determination, and the final motion compensation mode is determined. This determination method is exactly the same as in the first embodiment.
  • the motion compensation processing is performed by the motion compensation unit 9.
  • the operation of the corresponding point determination unit 37 is different from that of the first embodiment, and only that part will be described.
  • the overall flowchart of the motion compensation follows Figure 8.
  • the corresponding point is parallel by the amount indicated by the motion vector from the position signal 206 in the screen of the predicted block. Included in the moved area It is a sampling point. This processing corresponds to the operation of determining the position (x + dx, y + dy) in the reference image 28 when (dx, dy) is the motion vector in S204 in FIG. .
  • the motion compensation prediction mode included in the motion parameter 11 indicates the deformed block matching, as described in 4) in the description of the motion detection unit 8
  • the position signal in the screen of the predicted block is used. After adding the amount of rotation corresponding to each pixel position to 206, it becomes a sample point included in the area translated by the amount specified by the motion vector.
  • This processing corresponds to the operation of determining the position (rx + dx, ry + dy) in the reference image 28 when (dX, dy) is the motion vector in S32 in FIG. .
  • the modified block matching unit 42b is assumed to be a variation of the modified block matching unit 42 in FIG. 13 and the input is exactly the same and the output is the motion vector. It is assumed that this is a variation of 4 3 and prediction error power 4 4.
  • the corresponding point determining section in the motion compensating section 9 is also a variation of the corresponding point determining section 37 in FIG. Therefore, in the following, the number of the modified block matching unit of the present embodiment will be described. Is described as 4 2 b, and the corresponding point determination unit number is 37.
  • FIG. 15 is a schematic explanatory diagram of the operation in the modified block matching unit 42b in the present embodiment
  • FIG. 16 is a detailed internal configuration diagram of the modified block matching unit 42b
  • FIG. 9 is a flowchart showing the operation of the block matching unit 42b.
  • Figure 15 shows an overview of the processing in the modified block matching unit 4 2 b.
  • the predicted image 27 and the reference image 28, and the description of the marks in each image are as described above.
  • a reduced area in which each side of a luminance block is simply multiplied by 1 Z 2 is defined as a deformation block.
  • the deformed block matching in the present embodiment uses the deformed block area of FIG. 15 most similar to the luminance block of the predicted block composed of 8 ⁇ 8 samples shown in FIG. 15 within the given search range. This corresponds to the process of finding from inside.
  • each component point of the luminance block of the predicted block and each component point of the deformation block of the predicted image candidate area are made to correspond one-to-one in advance.
  • the pixel position at the upper left corner of the predicted block and the pixel position at the upper left corner of the deformed block are associated in advance. Since each constituent point of the predicted block and each constituent point of the predicted image candidate are associated with each other on a one-to-one basis, motion detection can be executed in the same manner as block matching.
  • the operation of setting the search range in the actual device is the same as in the first embodiment, and is performed using the necessary elements in FIG. This corresponds to the step S44 in Figure 17. 3) Read predicted image candidate image
  • the offset values iX, 1y of the horizontal and vertical components are the values of xZ2, y / 2.
  • the corresponding points sx and sy of x and y This corresponding point is performed by the corresponding point determining unit 48.
  • the pixel in the reference image located at a position (sx + dx, sy + dy) away from the reference image is extracted from the frame memory.
  • the memory read address generation unit 49 obtains the value of dX from the horizontal movement counter 31 and the value of dy from the vertical parallel movement counter 32, and outputs the value of dy from the corresponding point determination unit 48.
  • the data read in S48 of FIG. 17 is used for generating a half-pixel value in the half-pixel generation unit 232 as necessary.
  • the prediction error power D (dX, dy) when the motion vector is (dx, dy) is initialized to zero. This corresponds to S45 in FIG.
  • the difference between the pixel value read in 3) and the pixel value at the corresponding position of the luminance block of the predicted block is calculated, and the absolute value is accumulated in D (dX, dy) by S50. .
  • This processing is performed by the pattern matching unit 2 13 in FIG. 16, and the pattern matching unit 2 13 converts D (dX, dy) into the minimum prediction error power determination unit 21 by using the prediction error power signal 2 15. Hand over to 6.
  • the processing here corresponds to the processing of S49 to S54 in FIG.
  • Update minimum prediction error power value 4) D (dx, dy) i obtained as a result of the search is used to determine whether the minimum error power is given. The determination is performed by the minimum prediction error power determination unit 216 in FIG. S55 in FIG. 17 corresponds to this determination processing. The determination process is exactly the same as in the first embodiment, and the value of (dx, dy) at that time is stored as a motion vector candidate. This update processing corresponds to S56 in FIG.
  • the prediction image most similar to the predicted block in the sense of the minimum error power is found.
  • the amount of shift from the starting point of the selected predicted image is obtained as a motion vector 43 as a result of the deformed block matching, and the prediction error power D—DEF 44 at that time is also retained.
  • the motion vector 43 and the prediction error power D-DEF44 are used for final motion compensation mode determination, and the final motion compensation mode is determined. This determination method is exactly the same as in the first embodiment.
  • the motion compensation processing is performed by the motion compensation unit 9.
  • the operation of the corresponding point determination unit 37 is different from that of the first embodiment, and only that part will be described.
  • the overall flowchart of the motion compensation follows Figure 8.
  • the corresponding point is the amount indicated by the motion vector from the position signal 206 in the screen of the predicted block. Included in the area translated only It is a sampling point.
  • This processing corresponds to the operation of determining the position (X + dX, y + dy) in the reference image 28 when (dx, dy) is the motion vector in S204 in FIG. Equivalent to.
  • the motion compensation prediction mode included in the motion parameter 11 indicates the deformation block matching
  • the motion This is the sampling point included in the area translated by the amount specified by the vector.
  • This processing corresponds to the operation of determining the position (sx + dx, sy + dy) in the reference image 28 when (dx, dy) is the motion vector in S47 in FIG. .
  • the following readout of predicted image data and generation of a predicted image are according to the first embodiment.
  • the deformed blocks in each of the above embodiments are: 1) one-to-one correspondence between the predicted pixel and each constituent pixel position of the predicted image; 2) the corresponding pixel point on the reference image side is an integer pixel interval.
  • Any shape can be taken if it is based on the two premise that it is composed of For example, shapes as shown in FIGS. 18 and 19 can be considered.
  • not only one side can be reduced to half, but if each side is independently reduced and expanded at an arbitrary ratio, it can be transformed into various shapes to perform block matching. In this way, by defining various shapes in advance, it is possible to configure so as to select a deformed block that gives the best prediction result. In this case, the type of the selected deformed block is included in the motion parameter 11 and sent to the entropy encoder 18.
  • the fixed point prepared in advance is an integer pixel or a half pixel has been described.
  • a pixel at an intermediate point of another ratio such as 1: 3 is used for comparison. You may prepare as.
  • the interpolation processing during the comparison processing operation is unnecessary, and the processing scale can be reduced accordingly, and high-speed processing can be performed.
  • the block transformation parameter is counted for each pixel, or the coordinate transformation processing corresponding thereto is performed.
  • the coordinate transformation value for each pixel is stored in advance in a transformation pattern table such as ROM. It is also possible to adopt a configuration in which a corresponding point is determined based on a conversion value extracted from a table according to each pixel position of a predicted block. In this way, deformation block matching and motion compensation having an arbitrary correspondence that is difficult to express in an arithmetic expression can be effectively performed.
  • Embodiment 1 is taken as an example.
  • FIG. 20 is another internal configuration diagram of the corresponding point determining unit 34 in FIG. 5, and shows a configuration (corresponding point determining unit 34 b) for realizing the present embodiment.
  • the values of rdx and rdy corresponding to x and y are stored as ROM. It can be obtained by extracting the corresponding points rX and ry according to the values of x and y.
  • the rotation amount counter 33 in FIG. 5 becomes unnecessary, and as shown in FIG. 20, a configuration in which a ROM table (deformation pattern table 100) is provided in the corresponding point determination unit 34b. Can be realized.
  • the corresponding point determination unit 34b changes according to each pixel position (x, y) of the predicted block. 7 25
  • the corresponding points are determined by extracting the transformation parameters r d X and r d y from the 48-shaped pattern table 100 and adding them in the adder 110. Then, the data is output to the memory read address generation unit 35.
  • This is the same in the other embodiments described above. In this way, by simply adding a small amount to the ROM memory (deformation pattern table 100), the elements for performing the corresponding point arithmetic processing are deleted, thereby simplifying the circuit and reducing the corresponding point arithmetic processing amount. be able to.
  • an encoding apparatus that makes frequency characteristics in a predicted image cut out as a deformed block uniform by the method described in each of the above embodiments and reduces mismatches when predicting a predicted block is performed. A description is given below.
  • the spatial frequency characteristics are different between the integer pixel and the half pixel.
  • the blocks to be predicted are all composed of pixels in the integer pixel space, it is conceivable that this difference in characteristics may cause a mismatch at the time of prediction. Therefore, in the present embodiment, after performing the same definition as the definition of the deformed block described in each of the above embodiments, filtering is performed on pixels in the integer pixel space.
  • Pixels in the half-pixel space are generated by performing [12, 1/2] filtering on the surrounding integer pixels. That is, a low-pass filter having a characteristic of cos (cot / 2) is applied.
  • the predicted image defined in each of the above embodiments is a mixture of unfiltered integer pixels and half-pixel precision pixels generated by the filtering. And the spatial frequency characteristics in the predicted image vary. If the prediction accuracy drops due to this variation, it is effective to apply a filter with the same characteristics to integer pixels as described below.
  • Figure 22 shows an example of filtering.
  • an example is shown in which an integer pixel is subjected to the mouth-pass filter F of [1Z8, 68, 1/8] shown in equation (7). ing.
  • the present embodiment differs from the previous embodiments in the deformed block matching section and the motion compensation section.
  • the modified block is defined as a simple reduced pattern based on Embodiment 4, and the internal configuration of the modified block matching unit is the variation block and the motion compensation of the modified block matching unit 42 in the motion detection unit 8c. Section is also considered as a variation of the motion compensation section 9. Therefore, in the following explanation, the number of the deformed block matching is 4
  • FIG. 23 is a schematic explanatory diagram of the operation of the modified block matching unit 42 c in the present embodiment
  • FIG. 24 is a detailed internal configuration diagram of the modified block matching unit 42 c
  • FIG. 26 is a flowchart showing the operation of the modified block matching unit 42c in the embodiment.
  • the definition of the deformed block is exactly the same as in the fourth embodiment, but the present embodiment is different from the first embodiment in that filtering is performed on pixels at integer pixel positions. That is, as shown in FIG. 23, a pixel as a pixel to be subjected to the filtering process is defined in the reference image, and the deformed block includes pixels indicated by ⁇ and a mouth.
  • the method of obtaining the corresponding points s x and s y corresponding to the pixels at the positions x and y in the predicted block is exactly the same as in the fourth embodiment.
  • a pixel in the reference image located at a position (sX + dX, sy + dy) away from the reference image is extracted from the frame memory.
  • it is determined whether the pixel position corresponding to sx + dx, sy + dy is on the integer pixel space or the half-pixel space. This can be determined simply by checking whether s x + d x and s y + d y each have a half-pixel component. This determination is performed in the corresponding point determination unit 48 in FIG. In FIG. In FIG.
  • the motion compensation processing is performed by the motion compensation unit 9b.
  • FIG. 26 is an internal configuration diagram of the motion compensation unit 9b in the present embodiment
  • FIG. 27 is a flowchart showing the operation of the motion compensation unit 9b in the present embodiment.
  • the present embodiment is characterized in that a filter unit 50 is added as compared with the motion compensation unit 9 shown in FIG.
  • the corresponding point determination unit 37 operates exactly the same as that described in the fourth embodiment.
  • the motion compensation prediction mode included in the motion parameter 11 indicates block matching
  • the corresponding point is parallel by the amount indicated by the motion vector from the position signal 206 in the screen of the predicted block.
  • the sample point is included in the moved area.
  • This processing corresponds to the operation of determining the position (x + dx, y + dy) in the reference image 28 when (dx, dy) is the motion vector in S204 in FIG. .
  • the following prediction image data The reading of data and the generation of a predicted image are in accordance with the first embodiment.
  • the modified block matching unit 42c in the present embodiment performs a search independently for each of the predicted image when the filter is not applied and the predicted image when the filter F is applied, and performs motion compensation on the results.
  • the data may be sent to the prediction mode determination unit 22 or a search may be performed only when the filter F is not applied, and a good result may be selected by applying the filter F to only the result.
  • the filtering to the integer pixel value is performed. Alone can eliminate the variation in spatial frequency in the predicted image, and the motion vector, which is the amount of translation, cannot minimize the prediction error alone.In other words, even for partial images for which prediction is not successful, Good predictions can be made.
  • FIG. 28 shows the configuration of an image decoding apparatus that expands and reproduces a digital image that has been compression-encoded using the image prediction method according to the present embodiment.
  • an image decoding apparatus that receives compressed and encoded data (hereinafter, a bitstream) 19 generated by the image encoding apparatus according to Embodiment 1 and performs extension reproduction will be described.
  • 51 is an entropy decoding unit
  • 6 is an inverse quantization unit
  • 7 is an inverse orthogonal transform unit
  • 53 is a decoding and adding unit
  • 54 is a frame memory
  • 56 is a display control unit.
  • the decoding device of the present invention is characterized by the configuration and operation of the motion compensation unit 9, and the configuration and operation of each of the above-described elements other than the motion compensation unit 9 are already known, so detailed description will be omitted.
  • the motion compensation unit 9 Indicates that it is the same as Part 9. That is, the internal configuration diagram is the same as the internal configuration diagram shown in FIG. 7, and the operation flowchart is the same as the operation flow chart shown in FIG.
  • bit stream is analyzed in the entropy decoding unit 51.
  • the quantized orthogonal transform coefficient 5 2 is sent to the inverse quantizer 6 and inverse quantized using the inverse quantization step 'parameter 17-the result is inverse orthogonal transformed in the inverse orthogonal transformer 7. , And are sent to the decoding addition section 53.
  • the inverse orthogonal transform unit the same one used in the encoding device, such as DCT, is used.
  • the following three types of information are sent to the motion compensation unit 9 as the motion parameters 11. That is, the motion vector 25 and the deformation pattern information 26a decoded from the bitstream by the entropy decoding unit 51 and the predicted image area (in this embodiment, fixed-size blocks) Information 27a indicating the position in the screen of is input.
  • the motion vector 25 and the position 27 a in the screen of the predicted image area are values unique to each predicted image area, while the deformation pattern information 26 a is Even if the value is specific to the image, it is encoded for each larger image (for example, an image frame or the VOP disclosed in ISOZIECJTC1 / SC29 / WG11) that combines multiple predicted image areas, All the predicted image areas included in the unit may be encoded so as to use the same deformation pattern information.
  • the motion compensator 9 extracts the predicted image data 12 from the reference image in the frame memory 54 according to these three types of information. The process of generating a predicted image will be described later in the description of the operation of the motion compensation unit 9.
  • the motion compensation unit 9 includes the motion parameters decoded by the entropy decoding unit 51.
  • the motion compensator 9 extracts predicted image data 12 from the reference image in the frame memory 54 according to the motion parameters 11.
  • the prediction is performed using the motion parameter 11 as in the conventional motion compensation in block matching.
  • the image area is uniquely determined.
  • the decoding addition unit 53 Based on the value of the intra / inter encoding instruction flag 16, the decoding addition unit 53 outputs the output of the inverse orthogonal transform unit as it is as the decoded image 55 if it is an intra encoded block, and In the case of a coded block, predicted image data 12 is added to the output of the inverse orthogonal transform unit, and the resultant is output as a decoded image 55.
  • the decoded image 55 is sent to the display control unit 56, output to a display device (not shown), and written to the frame memory 54 for use as a reference image in the decoding processing of subsequent frames.
  • the motion prediction method A predicted image is generated by simple address calculation and interpolation based on the position correction based on the displacement and deformation pattern information 26a due to the torque 25.
  • FIG. 29 shows the internal configuration of the motion compensation unit 9.
  • reference numeral 37 denotes a corresponding point determination unit
  • reference numeral 38 denotes a memory read address generation unit
  • FIG. 30 is a flowchart showing the operation.
  • Fig. 31 is a diagram illustrating the movement of a specified amount cut out from the reference image by the motion vector and moving to the coordinate position of the predicted image.
  • Fig. 32 is a diagram illustrating the movement further specified at the movement destination. Perform dressing with deformation pattern It is a figure explaining an operation.
  • ⁇ indicates the position of an integer pixel
  • X indicates the position of a half pixel
  • the corresponding point determination unit 37 calculates the sample position of the predicted image corresponding to each pixel in the increased area based on the input motion vector 25 and the deformed pattern information 26a.
  • FIG. 32 shows an example in which the deformed pattern information 26 a indicates “vertical and horizontal 1/2 reduction”.
  • the execution area of the predicted image is one-fourth of the execution area occupied in the screen of the predicted image area.
  • the predicted image is reduced in size relative to the predicted image area, and this makes it possible to more efficiently predict a motion involving enlargement on the screen.
  • a correction position (i ", J") corresponding to the position (i ', j') in the reference image is obtained. This can be achieved by the following operation (S72 in Fig. 30).
  • the coordinate point (i ", j") obtained as described above is output as the predicted image sample position corresponding to the force (i, j).
  • the memory read address generation unit 38 Based on the predicted image sample position output from the corresponding point determination unit 37, the memory read address generation unit 38 outputs the image data necessary for generating the predicted image in the reference image stored in the frame memory 54. Generates a memory address that identifies the position and reads the data for predictive image generation.
  • the half-pixel generation unit 232 When only coordinate values of integer pixel positions among pixels for generating a predicted image are to be addressd, the data for generating a predicted image is directly used as a predicted image constituent pixel.
  • the half-pixel generation unit 232 performs an interpolation process on the data for predictive image generation to generate a half-pixel value. Specifically, the generation of the half pixel value is shown in FIG.
  • the method of Fig. 33 is simply a binary operation of addition, and FIG. 8 is a flow chart of the half-pixel generation unit 2 32 described in the state 1, and S 24 of FIG. 8 is described again.
  • FIG. 34 The case of FIG. 34 will be described as an example of another deformation pattern.
  • (i ", ⁇ ') after the deformation is obtained as follows.
  • a deformed pattern is prepared in advance, and simple sample position calculation is performed according to the corresponding mode information. It is possible to obtain a reproduced image from a coded bitstream by efficiently predicting complex movements.
  • a coding scheme other than orthogonal transform coding is used. Even in the case of a bit stream obtained by encoding a measurement error signal, the same effect can be obtained by changing elements other than the motion compensation unit 9 for decoding a prediction error signal.
  • a decoding device that uses a unit of an arbitrary shaped image object (eg, Video Object P 1 ane disclosed in ISOZIECJTCIZSC29ZWG11 / N1796). Is also applicable.
  • an arbitrary shaped image object eg, Video Object P 1 ane disclosed in ISOZIECJTCIZSC29ZWG11 / N1796).
  • FIG. 9 described in the first embodiment in a scene where a human image exists in front of a stationary background, the human image is taken as one image object, and the inside of a circumscribed rectangle surrounding it is It is conceivable to divide the region into small blocks and decode the encoded bitstream with the block containing the image object as the effective block. In this case, the same processing may be applied to these valid blocks.
  • the image decoding apparatus performs a predetermined deformation process only by performing addressing (coordinate designation) using only integer pixels or half pixels corresponding to the image decoding apparatuses according to the first to sixth embodiments.
  • a device for motion compensation has been described.
  • an image decoding apparatus that performs operations other than half-pixel generation at the time of addressing and performs more precise motion compensation will be described.
  • FIG. 35 shows the configuration of an image decoding apparatus according to the present embodiment that expands and reproduces a compression-encoded digital image.
  • 90 is a motion compensation unit
  • 25b is 0 to 4 motion vectors
  • 60 is interpolation processing accuracy instruction information.
  • FIG. 36 is a partial configuration diagram of the motion compensation unit 90.
  • 37 b is a motion parameter
  • the motion vector 25 b shown in FIG. 35 the deformation pattern information 26 a
  • the in-screen position 27 a of the predicted image area and the interpolation processing accuracy
  • a corresponding point determination unit that determines a corresponding point by using the instruction information 60 as an input
  • 2332b is an interpolation processing unit that obtains a coordinate position interpolated by calculation.
  • the in-screen position 27a of the predicted image area is a value unique to each predicted image area, but the motion vector 25b and the deformation pattern information 26a are calculated based on the predicted image area.
  • FIG. 37 is a flowchart showing the operation of the motion compensation unit in FIG. 36
  • FIG. 38 is a diagram for explaining the operation of the same.
  • the coordinate position is obtained by a calculation described later in the operation of determining a corresponding point. Further, the determined coordinate position is rounded by the interpolation processing instruction information to determine the coordinate position.
  • the operation of the parts other than the motion compensation unit 90 is the same as that of the device of the seventh embodiment. That is, in the entropy decoding unit 51, the bitstream is analyzed and divided into individual encoded data.
  • the quantized orthogonal transformation coefficient 52 is decoded by the inverse quantization unit 6 and the inverse orthogonal transformation unit 7 using the quantization step 'parameter 17, and sent to the decoding addition unit 53.
  • the decoding addition unit 53 performs the intra-coding based on the value of the intra-inter-coding instruction flag 16.
  • the predicted image data 12 is output as it is or as a decoded image 55 after adding or adding the predicted image data 12.
  • the decoded image 55 is sent to the display control unit 56, output to the display device, and written into the frame memory 54 as a reference image.
  • the predicted image generation processing in the motion compensation unit 90 will be described.
  • a conversion equation necessary for deformation is obtained using the required number of motion vectors 25b, and each pixel in the predicted image area is obtained by the conversion equation.
  • the predicted image is generated by a simple interpolation process according to the pixel system defined by the interpolation process accuracy indication information.
  • the corresponding point determination unit 37b based on the input motion vector 25b and the deformation pattern information 26a, the coordinate position to be sampled of the predicted image corresponding to each pixel in the predicted image area is determined. calculate. As shown in FIG. 38, here, the motion vector 25 b is four motion vectors at each vertex of the circumscribed rectangle of the predicted image area. First, a conversion formula necessary for deformation is obtained corresponding to the deformation pattern information 26a. For example, the following conversion formula is used.
  • the format of the deformation pattern information 26a may be a bit that directly identifies the above-mentioned conversion formulas (9) to (13), and each conversion corresponds to the number of motion vectors. Therefore, it may be a bit that represents the number of motion vectors.
  • the point (i, j) in the predicted image area is associated with (i ', j') in the reference image.
  • the sample position of the predicted image can take a value up to the accuracy determined by the interpolation processing accuracy instruction information 60. For example, if it is rounded to half-pixel accuracy, (i ', j') obtained by the above conversion formula is rounded to a value of half-pixel accuracy. With up to 14 pixel information, (i ', j,) is rounded to a value of 1/4 pixel precision.
  • the information indicating the sample position accuracy is extracted from the bit stream.
  • the corresponding point determination rule is determined directly from the motion vector 25b, and the sample position of the predicted image is determined based on this.
  • the memory read address generation unit 38b Based on the predicted image sample position output from the corresponding point determination unit 37b, the memory read address generation unit 38b generates image data necessary for generating the predicted image in the reference image stored in the frame memory 54. Generates a memory address that specifies the position of, and reads the predicted image generation data.
  • the predicted image generation data becomes the predicted image constituent pixels as they are.
  • the position at which the predicted image is addressed and sampled can take on the predetermined accuracy as described above, for example, a value of half a pixel or 1 ⁇ 4 pixels.
  • an integer pixel value of a predicted image is generated in the internal processing unit 232b based on an instruction of integer precision defined by the interpolation processing instruction information 60.
  • the final sample position is already rounded to the precision specified by the interpolation processing precision indication information 60, but the interpolation processing is performed as shown in FIG.
  • the expression (15) is processed. If the position is at half-pixel accuracy, the processing is exactly the same as that of the half-pixel generation unit 232 described in the first embodiment.
  • a reproduced image can be obtained from the encoded bitstream.
  • the image encoding device according to the first to sixth embodiments and the image decoding device according to the seventh embodiment provide a high-speed and complex image code using motion compensation that is transformed only by integer pixel and half pixel addressing. And decryption.
  • the image decoding apparatus uses the same configuration, but performs the operation of determining the corresponding point more closely between the reference image and the target program of the image to be predicted. It has been strengthened in order to obtain a natural movement. Thereby, a smoother motion can be obtained.
  • the present embodiment even if a bit stream in which a prediction error signal is encoded by another encoding method other than the orthogonal transform encoding, elements for decoding a prediction error signal other than the motion compensation unit 90 are used. By changing the The result is the same as in the seventh embodiment.
  • the present invention is also applicable to a decoding device that uses an arbitrary-shaped image object (such as a Video Object P 1 ane) as a unit.
  • an arbitrary-shaped image object such as a Video Object P 1 ane
  • FIG. 40 is a flowchart showing the operation of the corresponding point determination unit 37c.
  • FIG. 41 is a diagram for explaining the operation of the corresponding point determination unit 37c.
  • the corresponding point determination unit 37c in the present embodiment inputs the motion vector 25b, the deformation pattern information 26a, the inner processing accuracy instruction information 91, and the in-screen position 27a of the predicted image area. Then, the sample position of the predicted image corresponding to each pixel in the predicted image region is calculated and output based on the following equation.
  • the position 27 a in the screen of the predicted image area is a value unique to each predicted image area, but the motion vector 25 b and the deformation pattern information 26 a are different for each predicted image area. Even if it is a unique value, it is encoded for each larger image (for example, image frames and VOPs disclosed in ISO / IECJ TC1 / SC29 / WG11) that combine multiple predicted image regions. Then, encoding may be performed so that the same motion vector and deformation pattern information are used for all the predicted image areas included in the unit. The following describes an example in which a maximum of three motion vectors are used.
  • the format of the deformation pattern information 26a may be a bit string composed of a plurality of bits described to directly identify the above-mentioned conversion formulas (16) to (19). Since each conversion corresponds to the number of motion vectors, it may be a bit representing the number of motion vectors.
  • the point (i, j) in the predicted image area is associated with (i ′, j ′) in the reference image.
  • the sample position of the predicted image should be able to take a value of a predetermined accuracy. For example, if it is rounded to half-pixel accuracy, (i ′, j ′) obtained by the above conversion formula is a value of half-pixel accuracy, and if it is an instruction to round to 1 ⁇ 4 pixel accuracy, i ', j') are values with 1/4 pixel precision.
  • the information indicating the sample position accuracy is extracted from the bitstream.
  • the corresponding point determination rule is determined directly from the motion vector 25b, and the sample position of the predicted image is determined based on this.
  • the image decoding apparatus of the present embodiment when performing the sample position calculation using zero or more motion vectors, all the division operations by W or H are bit-shifted. Since the calculation can be replaced with an operation, the sample position can be determined more quickly, and a reproduced image can be obtained from a coded bit stream by efficiently predicting motions of different complexity. .
  • the present invention is also applicable to a decoding apparatus in units of an arbitrary-shaped image object (such as a Video Object P 1 ane) composed of fixed-size blocks, as in the seventh embodiment. .
  • the image encoding device and the image decoding device of the present invention constitute a set to constitute a characteristic image encoding / decoding system.
  • a motion vector is predicted by using a modified block obtained only by specifying coordinates using integer pixels of a real sample point or half pixels between the pixels.
  • partial images for which prediction is not successful with just the amount of translation, such as torque can be predicted efficiently without complicated operations such as affine transformation.
  • deformations that can be described by mathematical expressions such as rotation and scaling but also those that cannot be easily described by mathematical expressions, that is, deformations that are difficult to realize by calculation, can be dealt with. Even with compatible decryption devices There is an effect that can efficiently reproduce excellent images.
  • the search range of the deformed block matching can be effectively reduced, and the amount of calculation of the entire motion compensation prediction can be reduced.
  • the corresponding point can be determined only by referring to the deformation pattern table, there is an effect that a motion accompanying an arbitrary deformation that cannot be expressed by a simple mathematical expression such as an affine transformation can be predicted well.
  • the spatial frequency characteristics in the deformed block can be flattened by using a filter, and there is an effect that prediction mismatch can be reduced. Since the decoding device corresponding to the modified block matching and the motion prediction of the image coding device is configured, there is an effect that the image data subjected to the high-speed optimal motion prediction can be decoded and reproduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

明 細 書 画像符号化装置及び画像復号装置及び画像符号化方法及び画像復号方法 及び画像符号化復号システム 技術分野
この発明は、 画像の高能率符号化あるいは復号において、 既存の画像 から符号化すべき画像もしくは復号すべき画像の動き補償予測を行い、 予測誤差を符号化する、 もしくは予測誤差と参照画像データとの加算に より復号を行う装置とシステムに関するものである。 背景技術
画像の高能率符号化における動き補償予測方式の従来技術を説明する c
従来の動き補償予測方式の第 1の例として、 平行移動によるブロック マツチングを用いた動き補償予測方式がある。 例えば I S O Z I E C 1 1 1 7 2 - 2 (M P E G 1 ビデオ規格） では、 ブロックマッチングを用 いた前方向ノ後方向/内挿動き補償予測方式について解説している。 ま た、 従来の動き補償予測方式の第 2の例として、 ァフィン変換を用いた 動き補償がある。 例えば、 「ァフィン変換を用いた動き補償予測に関す る検討」 （電子情報通信学会技術報告 I E 9 4— 3 6 ) では、 画像の任 意形状領域の動き量をァフィン動きパラメータでモデル化し、 そのパラ メータを検出することにより動き補償予測を行う方式について解説して いる。
以下、 これらの解説を基にして従来の平行移動による動き補償方式及 びァフィン変換を用いた動き補償方式について説明する。 ブロックマッチングによる動き補償予測の概念を図 4 2に示す。
同図において、
1は、 動き補償予測の単位となるプロックの画面内位置、
f i (x, y， t ) は、 画面内位置 i 、 時間 tにおけるブロックの位 置 （X , y ) における画素値、
Rは、 動きべク トル探索範囲、
Vは、 動きべク トル （ER)
である。 ブロックマッチングは、 同図のように参照画像 20 1の探索範 囲 Rの中で、 被予測画像 20 2中の予測対象のブロック i の画素値 f i (x, y， t ) に最も近いブロック、 即ち式 （ 1 ) に示す誤差電力 D v を最小化するブロック f i+v (x, y， t - 1 ) を見つける処理に相当 する。
Dv=L{ f i +v(x， y , t - 1 )- f j ( x, y， t )} 2
x, y i + v y D- f x y (1)
D vを最小にする vの値が動きベク トルとなる。 図中、 参照画像中の 実標本点である実画素だけを用いて適合するプロックを探索する方法を 整数画素精度探索、 整数画素に加えて整数画素の中間の半画素も用いる 探索方法を半画素精度探索と呼ぶ。 一般に、 同一探索範囲の条件下では 半画素精度探索の方が整数画素精度探索より探索点が多くなり、 予測効 率が高まる。
図 4 3は、 例えば、 MP EG 1 ビデオ規格などで採用されている動き 補償予測方式を用いる画像符号化装置の動き補償予測部 （プロックマツ チング部） の構成例を示す図である。
図において、 20 7は水平方向移動量カウンタ、 20 8は垂直方向平 行移動量カウンタ、 2 1 1はメモリ読み出しア ドレス生成部、 2 1 3は パターンマッチング部、 2 1 6は最小予測誤差電力判定部である。 また 、 203は水平方向平行移動量探索範囲指示信号、 204は垂直方向平 行移動量探索範囲指示信号、 20 5は被予測プロックデータ、 20 6は 被予測ブロックの画像内位置信号、 20 9は水平方向平行移動量探索点 データ、 2 1 0は垂直方向平行移動量探索点データ、 2 1 2は読み出し ア ドレス、 2 1 4は読み出し画像データ、 2 1 5は予測誤差電力信号、 2 1 7は動きべク トル、 2 1 8は最小予測誤差電力信号である。 2 1 9 は参照画像を記憶するフレームメモリである。
一方、 図 4 4は、 上記図 4 3に示す構成の動き補償予測部の動作を表 す動作フロ一チヤ一 トである。
図において、
d xは、 水平方向平行移動量探索点、
d yは、 垂直方向平行移動量探索点、
r a n g e— h— m i nは、 水平方向平行移動量探索範囲下限値、 r a n g e— h— m a xは、 水平方向平行移動量探索範囲上限値、 r a n g e— V— m i nは、 垂直方向平行移動量探索範囲下限値、 r a n g e_v_m a xは、 垂直方向平行移動量探索範囲上限値、 D— m i nは、 最小予測誤差電力、
(x， y) は、 マクロブロック内画素位置を表す座標、
D (d X , d y) は、 d x, d y探索時の予測誤差電力、
f (x, y) は、 被予測画像の画素 （X, y ) の値、
f r (x, y) は、 参照画像の画素 （x， y ) の値、
D ( X , y ) は、 d x， d y探索時の （x， y ) における予測誤差、 MV— hは、 動きべク トル （平行移動量） 水平成分、
MV Vは、 動きべク トル （平行移動量） 垂直成分 である。
以下、 図 4 3、 図 4 4をもとに、 ブロックマッチングの動作について 詳しく説明する。
1 ) 動きべク トル探索範囲の設定
水平方向平行移動量探索範囲指示信号 2 0 3及び垂直方向平行移動量 探索範囲指示信号 2 0 4より、 水平方向移動量力ゥンタ 2 0 7に r a n g e _ h _m i n / r a n g e― h― m a xを、 垂直方向平 移動量力 ゥンタ 2 0 8に r a n g e一 v一 m i n / r a n g e一 v― m a xを設 定する。 また、 カウンタ初期値をそれぞれ d X = r a n g e _h_m i n、 d y = r a n g e— v— m i nにセッ トする。 最小予測誤差電力判 定部 2 1 6において最小予測誤差電力 D— m i nを最大の値 MAX I N T (例えば O x F F F F F F F F) にセッ トする。 これは、 図 4 4の S 2 0 1に相当する。
2) 予測画像候補画像の読み出し
被予測マクロブロックの画素位置 （X , y ) から （d x， d y ) だけ 離れた位置にある参照画像中の位置 （x + d x， y + d y ) の画素を、 フレームメモリカ、ら取り出す。 図 4 3におけるメモリ読み出しァ ドレス 生成部 2 1 1が水平方向移動量カウンタ 2 0 7から d Xの値を、 垂直方 向平行移動量カウンタ 2 0 8から d yの値を受け取り、 フレームメモリ 中のア ドレスを生成する。
3) 予測誤差電力の算出
まず、 動きべク トルが （d x， d y ) の時の予測誤差電力 D ( d x， d y ) をゼロに初期化する。 これは、 図 4 4の S 2 0 2に相当する。 2 ) で読み出された画素値と、 被予測マクロブロック内の位置 （x， y ) の画素値との差をとり、 その絶対値を D ( d X , d y ) に累積していく 。 この処理を X = y = 1 6になるまで繰り返し、 （d x， d v ) 時の予 測誤差電力 D ( d x , d y ) 、 即ち式 （ 1 ) における D vを得る。 この 処理は、 図 4 3におけるパターンマッチング部 2 1 3が行い、 パターン マッチング部 2 1 3は D (d X , d y ) を予測誤差電力信号 2 1 5によ つて、 最小予測誤差電力判定部 2 1 6に受け渡す。 ここでの処理は、 図 44における S 203〜S 20 9の処理に相当する。
4) 最小予測誤差電力値の更新
3) の結果得られた D (d X , d y ) 力、 それまでの探索結果の中で 最小の誤差電力を与えるかどうかを判定する。 判定は、 図 4 3における 最小予測誤差電力判定部 2 1 6が行う。 また、 図 44における S 2 1 0 がこの判定処理に相当する。 最小予測誤差電力判定部 2 1 6は、 内部に 持つ最小予測誤差電力 D— m i nの値と、 予測誤差電力信号 2 1 5によ つて受け渡される D (d X , d y ) の大小を比較し、 D ( d X , d y ) の方が小さいときに限り D— m i nの値を D ( d x , d y ) で更新する 。 また、 そのときの （d x， d y ) の値を動きべク トル候補 （MV— h ， MV— V ) として保持しておく。 これらの更新処理は、 図 44におけ る S 2 1 1に相当する。
5) 動きべク トル値の決定
上記 2) 〜4) を動きべク トル探索範囲 R中のすべての （d x， d y ) について繰り返し （図 44の S 2 1 2〜S 2 1 5) 、 最終的に最小予 測誤差電力判定部 2 1 6内に保持されている計算値 （MV— h， MV— v) を動きべク トル 2 1 7として出力する。
図 4 5は、 MP EG 1 ビデオ規格で採用されている動き補償予測方式 の概要を示した図である。
MP E G 1 ビデオ規格では動画像の 1枚 1枚のフレームをピクチャと 呼び、 ピクチャをマクロブロックという 1 6 X 1 6画素 （色差信号は 8 X 8画素） のブロックに分割して、 各マクロブロックについてブロック マッチングによる動き補償予測を行う。 その結果得られる動きべク トル と予測誤差信号とを符号化する。
M P E G 1 ビデオ規格では異なるピクチャごとに動き補償の方式が変 えられるようになつており、 図中 I ピクチャでは動き補償予測を行わず にピクチャ内で閉じた符号化を行うが、 Pピクチャでは時間的に前に表 示される画像から予測を行う前方向動き補償予測を行い、 Bピクチャで は前方向動き補償予測のほか、 時間的に後に表示される画像から予測を 行う後方向動き補償予測と、 前方向動き補償予測及び後方向動き補償予 測から得られる 2つの予測画像の加算平均によって予測を行う内挿動き 補償予測が許される。 ただし、 前方向 後方向 内挿の各動き補償予測 は、 予測に用いる参照画像の違いだけで、 基本的にすべてブロックマツ チングによる動き補償予測である。
プロックマッチングは上述のごとく、 現在のビデオ符号化方式におけ る動き補償予測の主たる実現手法と して確立されている。 しかしながら 、 ブロックマッチングの処理は 「輝度の同じ領域は同一物体である」 と いう等輝度仮定に立脚して、 マクロブ口ックの様な正方ブロック単位に 物体の平行移動量を求めていることに相当する。 よって、 正方ブロック 形状方向への移動以外の動きを検出することは原理上不可能であり、 回 転や拡大、 縮小、 カメラのズーミング、 3次元的な物体の動きなど、 平 行移動で十分に説明できない動きが発生する領域では予測精度が落ちる
このようなプロックマッチングによる動き検出の問題点を解消し、 よ り正確な動き量を検出することを目指して、 平行移動量だけでなく、 回 転やスケーリングといった動き量を含めて精度の高い動き補償予測を行 おうというのが、 ァフィン変換を甩いた動き補償予測である。 この方式 では、 予測対象の画素値 （x， y ) が以下の式 （2 ) に示すァフィン変 換によって 照画像中の画素値 （χ ' ， y ' ) に変換されるという仮定 に基づき、 ァフィン変換の各パラメータを動きパラメ一タとして検出す る。 「ァフィン変換を用いた動き補償予測に関する検討」 （電子情報通 信学会技術報告 I E 94— 36 ) では、 任意の形状の予測画像領域に対 してァフィン動きパラメータを検出し、 動き補償予測を行う手法を提案 している。 c o s Θ s l n θ C x 0 x X
(2)
Figure imgf000009_0001
- s i n Θ c o s Θ o c +
y y y ここで、 θ、 （C x， C y) 、 ( t x, t y ) の定義は下記に示す。 図 46は、 ァフィン変換を用いた動き補償予測処理の概念を示したも のである。
同図において、
iは、 動き補償予測の単位となる領域の画面内位置、
f i (x, y， t ) は、 画面内位置 i 、 時間 t として領域の位置 （X , y ) における画素値、
Rvは、 平行移動量探索範囲、
R r o t , s c a 1 eは、 回転 Zスケール量探索範囲、
Vは、 平行移動パラメータ （= ( t x， t y ) ) を含む動きべク トル
r o tは、 回転パラメ一タ （二回転角 Θ) 、
s c a 1 eは、 スケールパラメータ （= (C x , C y) )
である。 ァフィン動き補償予測では、 動きべク トルに相当する平行移動 ノ、0ラメータ （ t X， t y) に加え、 回転角 Θ、 スケール （C X， C y ) の計 5パラメータから成るァフィン動きパラメータを検出しなければな らない。 最適解は全パラメータの全探索で与えられるが非常に膨大な演 算量となるため、 ここでは平行移動量が支配的であるとの仮定に基づき 、 2段階の探索アルゴリズムを採用している。 まず、 第 1段階では領域 の平行移動量 （ t x， t y ) を探索する。 第 2段階では、 第 1段階で決 定された （ t X， t y ) の近傍で回転角 Θ、 スケール （C X， C y ) の 探索を行い、 さらに平行移動量の微調整を行うという手順を踏む。 探索 候補中、 最小の予測誤差電力を与える予測領域と現在の領域との差分を とり、 予測誤差を符号化する。 ァフィン変換方式の予測誤差電力は、 以 下の式 （3) で示される。
D
o s c a l e
M M X
o t s e a i + v 1 ) χ， y
f i (x， 2
y o r
Figure imgf000010_0001
- f { (x， y， t) ここで、 (3) c o s Θ s i n e
M
r o — s i n O c o s Θ
M
s c a l e
l 0 C y
図 4 7は、 ァフィン変換を用いた動き補償予測部の構成例を示す図で ある。
同図において、 2 2 0は平行移動微調整量探索範囲指示信号、 2 2 1 は回転量探索範囲指示信号、 2 2 2はスケール量探索範囲指示信号、 2 2 3は平行移動量探索範囲指示信号、 2 2 4は被予測領域画面内位置信 号、 2 2 5は被予測領域データ、 2 2 6は水平方向平行移動量カウンタ 、 2 2 7は垂直方向平行移動量カウンタ、 2 2 8は平行移動量加算部、 2 2 9は第 1段最小予測誤差電力判定部、 2 3 0はメモリ読み出しアド レス生成部、 2 3 1は補間演算部、 2 3 2は半画素生成部、 2 3 3は回 転量カウンタ、 2 3 4はスケール量カウンタ、 2 3 5は平行移動 回転 ノスケ一ル量加算部、 2 3 6は第 2段最小予測誤差電力判定部、 2 3 7 は平行移動微調整量カウンタ、 2 3 8は平行移動微調整量加算部、 2 3 9は最終最小予測誤差電力判定部である。
図 4 8は、 従来の装置のその動作フローチャートである。 また、 図 4 9は、 図 4 8中の S 2 2 4で示されるァフィン動きパラメータ検出行程 の詳細を示すフロ一チヤ一トである。
これらの図において、
MV— h [4] は、 動きべク トル水平成分 （4候補） 、
MV_v [4] は、 動きべク トル垂直成分 （4候捕） 、
D__m i nは、 最小予測誤差電力、
Θは、 回転量 [ r a d i a n] 、
C x， C yは、 スケール量、
t x, t yは、 動きベク トル微調整量で、
更に、 D ( 6 [ i ] ， C x [ i ] ， C y [ i ] ， t x [ i ] , t y [ i ] ) は、 MV— h [ 门 ， MV— v [ i ] 選択時におけるァフィ ン動 きパラメ一タ検出の結果得られる最小予測誤差電力、
d Θは、 回転量探索点、
d C Xは、 水平方向スケール量探索点、
d C yは、 垂直方向スケール量探索点、 d t Xは、 水平方向平行移動微調整量探索点、
d t yは、 垂直方向平行移動微調整量探索点、
r a n g e— r a d i a n— m i nは、 回転量探索範囲下限値、 r a n g e— r a d i a n _m a xは、 回転量探索範囲上限値、 r a n g e— s e a l e _m i nは、 スケール量探索範囲下限値、 r a n g e— s e a 1 e _m a xは、 スケール量探索範囲上限値、 r a n g e— t— h— m i nは、 水平方向平行移動微調整量探索範囲 下限値、
r a n g e— t— h— m a Xは、 水平方向平行移動微調整量探索範囲 上限値、
r a n g e _ t _ v_m i nは、 垂直方向平行移動微調整量探索範囲 下限値、
r a n g e_ t _ v_m a xは、 垂直方向平行移動微調整量探索範囲 上限値、
D— m i nは、 最小予測誤差電力、
(x, y ) は、 被予測領域内画素位置、
f ( , y) は、 被予測画像の画素 （X , y ) の値、
f r (x， y) は、 参照画像の画素 （x， y ) の値、
a xは、 水平方向ァフィン変換値、
a yは、 垂直方向ァフィン変換値、
D (a x, a y) は、 a x， a y探索時の予測誤差電力、
D (x, y ) は、 a x， a y探索時の （x， y) における予測誤差 である。
以下、 図 4 7〜図 4 9をもとに、 ァフィン変換を用いた動き補償予測 処理の動作について詳しく説明する。
これらの図において、 前記の図と同一の符号を付した要素もしくはス テツプについては、 同一の動作もしくは処理を行うものとする。
1 ) 第 1段階
第 1段階として、 従来のものでは、 まず、 前述のブロックマッチング 相当の処理により、 領域ごとに与えられた探索範囲内で平行移動パラメ —タ （=動きべク トル） の検出を行う。
図 4 7において、 平行移動量探索範囲指示信号 2 23より、 水平方向 移動量カウンタ 2 2 6及び垂直方向平行移動量カウンタ 2 27に探索範 囲を設定し、 探索点を変化させていく。 平行移動量加算部 2 28で、 こ のカウント値に被予測画像領域における現在の領域位置を加算し、 その 結果がメモリ読み出しア ドレス生成部 2 3 0に渡され、 予測画像候補の 画素値がフレームメモリ 2 1 9から読み出される。 読み出された画素値 はパターンマッチング部 2 1 3に渡され、 ブロックマッチングと同様の 誤差計算がなされる。 このマッチング結果が第 1段最小予測誤差電力判 定部 22 9に送られ、 予測誤差の小さい方から 4候補の平行移動パラメ —タを得る。 これらを MV— h [4] (水平成分） 及び MV— V [4] (垂直成分） と表記する。 第 1段最小予測誤差電力判定部 22 9の動作 は、 最小予測誤差電力判定部 2 1 6と同様である。 この処理過程は、 図 48の S 22 1、 S 222に相当する。
2) 第 2段階
2— 1) 準備 （探索範囲の設定、 最小予測誤差電力値の初期化）
各 MV— h [ i ] ZMV— v [ i ] (0 ^ i ≤ 3) について、 その近 傍の微小空間において回転量ノスケ一ル量を探索する。 これは、 図 4 8 の S 224に相当し、 図 4 9に詳細な処理過程を示す。 図 4 7の装置の 動作と関連付けながら動作を説明する。
まず、 回転量探索範囲指示信号 2 2 1及びスケール量探索範囲指示信 号 2 22より、 回転量カウンタ 23 3、 スケール量カウンタ 2 34にそ れぞれ探索範囲を設定する。 また、 平行移動微調整量探索範囲指示信号
2 2 0より平行移動微調整量カウンタ 2 3 7にも探索範囲の設定を行う 。 第 2段最小予測誤差電力判定部 2 3 6は、 内部に持つ最小予測誤差電 力 D— m i nの値を MAX I NTに設定する。 これは、 図 4 9の S 2 2 9に相当する。
2 - 2) 回転量の探索
以下、 各 MV— h [ i ] /MV_ v [ i ] ( 0≤ i ≤ 3 ) について同 じ処理を繰り返すため、 MV— h [0] /MV_ V [0] のケースにつ いてのみ説明する。 スケール量 C x， C y及び平行移動微調整量 t x， t yの値を固定し、 回転量 6の値を探索範囲内で変化させ、 以下のァフ ィン変換値 a X , a yを得る。 d C x氺 c o s (d Θ ) * x + d C y *
s i n (d Θ ) * y +MV_h [ i ] + d t x - d C x * s i n (d Θ ) * x + d C y *
Figure imgf000014_0001
c o s (d Θ ) * y+MV— v [ i ] + d t y (4) 参照画像中の （ a x， a y ) における画素値 f r ( a x , a y ) と f (x , y ) との差分絶対値を求め、 これを D ( a x , a y ) に累積して レヽ <。
以上の処理は、 図 4 7において、 スケール量カウンタ 2 3 4及び平行 移動微調整量カウンタ 2 3 7のカウント値を固定し、 回転量カウンタ 2
3 3のカウント値に応じて平行移動 回転/"スケール量加算部 2 3 5で 式 （4) の a x , a yを求め、 メモリ読み出しァドレス生成部 2 3 0を 介して i r ( a x, a y ) を算出するために必要な画素をフレームメモ リ 2 1 9から読み出し、 次いで補間演算部 2 3 1において、 これらの画 素から f r ( a x, a y ) を算出して、 パターンマッチング部 2 1 3に おいて被予測画素値 f (x, y ) との差分絶対値を求める動作によって 実行される。 図 49では、 S 23 1〜S 234に相当する。
以上の処理を回転量探索範囲全域に渡って行い、 第 2段最小予測誤差 電力判定部 23 6において、 回転量探索範囲内での最小予測誤差を与え る回転量 Θが決定される。
2-3) スケール量の探索
回転量の探索と同様、 平行移動微調整量カウンタ 23 7のカウン ト値 を固定し、 回転量として 2 _ 2) で決定された回転量 Θを式 （4) に代 入して、 スケール量 C x， C yの値を探索範囲内で変化させ、 式 （4) のァフィン変換値 a x， a yを得る。
以下、 回転量の探索と同様の処理を行って、 D (a x, a y) を最小 にするスケール量 C x， C yを得る。 スケール量探索点のカウントは、 スケール量力ゥンタ 234が行う。
2-4) 平行移動微調整量の探索
2— 2) 及び 2— 3) で決定された回転量 θ Zスケール量 C X， C y を用いて、 平行移動微調整量 t X , t yの値を探索範囲内で変化させ、 式 （4) のァフィン変換値 a x， a yを得る。
以下、 回転量ノスケ一ル量の探索と同様の処理を行う。 平行移動微調 整量探索点のカウントは、 平行移動微調整量カウンタ 2 3 7が行う。 た だし、 t x， t yは半画素精度で探索されるので、 パターンマッチング 部 2 1 3に送られる前に必要に応じて半画素生成部 23 2において半画 素値が計算される。 半画素値の計算は、 図 50に示すように、 整数画素 との空間的な位置関係に基づいて以下の式 （5) のように計算される。 ただし、 x， yは共に 0から計数し、 整数画素位置は共に EVENとす る。 I (x, y)= [ I (x p， y p )+ I (x P + 1 ' y p )+ I (x p, y p + 1 I (x p + 1 , y p + 1 )] /A ； x, y ： ODD
[ I (x P ， y p )+ I (x p + i， y p )] 2 ; x ： ODD, y ： EVEN
[ I (x p , y p )+ I (x p , y p + l )] /2 ; x ： EVEN, y ： ODD (5) 以上で、 図 4 9の処理フロ一を終了する。
2 - 5 ) 最終ァフィン動きパラメータの決定
すべての MV— h [ i ] /MV___ v [ i ] について、 上記 2— 2 ) か ら 2— 4 ) のパラメ一タ探索を行った結果得られる Θ [ i ] , C X [ i ] ， C y [门 ， t x [ i ] ， t y [ i ] を用いて得られる予測画像と の予測誤差を求め、 最も小さい誤差値を与える領域位置 i と、 そのパラ メータセッ トを最終的な探索結果とする。 これは図 4 8における S 2 2 5〜S 2 2 8に相当する。
以上のように、 ァフィン動きパラメータ探索は非常に多くの処理過程 を要するだけでなく、 探索の際の演算負荷も大きい。
図 5 1は、 回転量及びスケール量を探索する過程で生じる非整数画素 値の算出方法、 即ち補間演算部 2 3 1における f r ( a x , a y ) の算 出方法を示す図である。
図において、 〇は画像の実標本点、 ·は演算によって生成する画素値 である。 f r ( a x , a y ) は、 参照画像上で計算した、 以下の式 （6 ) の I ノヽッ ト （x， y ) (ただし、 x = a x， y = a y ) のィ直で表わさ れる。
Figure imgf000017_0001
即ち、 ァフィン動きパラメータ探索では、 画素間マッチングをとり誤 差電力最小のものを選ぶため、 上記 5パラメ一タを変化させるたびに予 測画像候補となる画像領域を再度、 生成しなければならない。 回転ゃス ケーリングは非整数画素値を発生させるので、 式 （6 ) の演算が探索処 理中何度も繰り返される。 これにより、 ァフィン動きパラメータ探索処 理は非常に負荷が大きく、 時間もかかるものとなる。
単純な拡大または縮小画像に対してマツチングを行って動き補償を得 る方法として、 特開平 6— 1 5 3 1 8 5号公報に示された動き補償装置 及びこれを用いた符号化装置が開示されている。 これは参照画像となる フレームメモリ中の画像を、 間引き回路または補間回路を設けて、 画像 を縮小または拡大した後、 動きべク トルを検出する構成となっている。 この構成では、 ァフィン変換のような複雑な演算はしないが、 参照画像 から固定プロックを取り出して補間または間引き演算をしている。 つま り、 固定の画面領域を切り出し、 予め設定した処理を施して後、 入力画 像と比較するので、 処理の内容が固定的で事実上単純な拡大、 縮小等に 限定される。
従来の画像符号化装置の動き予測方式は、 以上のように構成され動作 する。
従って、 第 1の従来例においては、 予測画像領域の形成は参照画面の 切り出し領域を平行移動して行うので単純な、 平行移動の動きしか予測 できず、 回転や拡大、 縮小、 カメラのズーミングなど、 平行移動以外の 移動の場合には、 性能劣化が激しいという課題がある。
一方、 第 2の例においては、 予測画像の生成をァフィン変換によって 行っているため、 回転など、 予測可能対象の種類は多くなるが、 演算の 処理が複雑になり、 装置規模が大きくなるという課題がある。
以上、 処理を単純化すれば予測しきれない場合が多く、 ァフィン変換 を用いれば予測できる場合が増えるものの、 処理が大変になるというジ レンマがあった。
復号処理については、 従来装置の構成を保ちながら複雑な処理を行う ものの具体的な提案がなかった。 発明の開示
この発明は、 上記のような課題を解消するためになされたもので、 参 照画面上の既存の画素、 もしくは簡易なフィルタ処理によって得られた 画素を用いて、 予測すべき画像領域とは異なる形状もしくは異なる大き さの予測画像領域を形成して、 比較的簡単な処理によって、 様々な種類 の動きや時間変化に対応できる画像の動き補償予測方式を用いた符号化 装置を得ることを目的とする。
また、 比較的簡単な符号化処理に対応する復号を行う復号装置と、 同 様構成で精密でよりスムーズな動きを再現する画像復号装置を得ること を目的とする。 この発明に係る画像符号化装置は、 入力画像を所定のプロックに分割 して、 このプロックのフレーム間の動き検出による動き補償予測手段を 備えて、 入力画像を圧縮符号化する構成であって、 動き検出用の参照画 像の対応する部分領域に存在する実標本点である整数画素のみを所定の 形式に変形化して座標指定して抽出し、 入力画像の上記ブロックの整数 画素と比較する変形ブロックマツチング部を含んで上記座標指定して抽 出した最小誤差を与える動きべク トルを出力する動き検出部と、 この変 形プロックマッチング部を含めた比較出力から得られる動きパラメータ に従って参照画像のブロックを対応し座標指定して変形して決める対応 点決定部を含んで予測部分画像を出力する動き補償部とを備えた。
また更に、 変形ブロックマッチング部は、 参照画像の部分領域の所定 の形式の変形化に際しては、 整数画素と、 整数画素の中点である半画素 とを使用して変形化するようにした。
また更に、 入力画像を符号化の対象領域として画像ォブジェク 卜の部 分領域に分離する前処理部を付加して、 分離したこれら各画像オブジェ ク トをブ口ックに分割して動き検出及び動き補償をするようにした。 また更に、 変形ブロックマッチング部及び対応点決定部は、 整数画素 または半画素を座標指定する際に、 隣接または所定数倍した隣接点を座 標指定して抽出して比較する変形プロックマツチング部と、 同様に参照 画像を処理して出力する対応点決定部とした。
また更に、 変形ブロックマッチング部及び対応点決定部は、 整数画素 または半画素を所定の角度方向に回転した座標指定をして抽出し比較す る変形プロックマッチング部と、 同様に参照画像を処理して出力する対 応点決定部とした。
所定の角度方向の回転は、 正負 4 5度、 9 0度、 1 3 5度または 1 8
0度とした。 また更に、 変形ブロックマッチング部及び対応点決定部は、 平行移動 後の参照画像の部分領域が示す領域を探索して、 この探索領域を拡大ま たは縮小、 または所定の角度方向の回転を組み合わせて動かして比較す る変形ブロックマッチング部と、 同様に参照画像を処理して出力する対 応点決定部とした。
また更に、 変形ブロックマッチング部は、 参照画像の部分領域を変形 加工して比較するための変形パタ一ンテーブルを備え、 この変形パタ一 ンテーブルから引き出された変換値に基づく部分領域の画像を入力画像 のブロックの整数画素または半画素と比較する変形ブロックマツチング 部とし、 対応点決定部も、 同様に参照画像を処理して出力する対応点決 定部とした。
また更に、 変形ブロックマッチング部は、 対応評価のために抽出され た参照画像の特定画素を選択的にブイルタ処理をして比較するようにし た。
動き検出のためのフレームは、 時間的に前のまたは後ろのフレームと し、 参照画像は、 上記時間的に前のまたは後ろのフレームを記憶して入 力画像と比較するようにした。
この発明に係る画像復号装置は、 動き補償手段を備えた入力情報の画 像圧縮符号を伸張再生する構成であって、 入力情報中の動きパラメ一タ を抽出して動きの方向と量を表す動きベク トルと、 変形処理の指示内容 を表す変形パターン情報とを得るェン ト口ピー復号部と、 このェントロ ピ一復号部出力の動きパラメータにより、 フレームに対応して記憶され ている参照画像の部分領域の整数画素の座標値を入力情報中の変形パタ ーン情報に基づいて所定の形式に変形処理して得られた画素値で入力の 被予測画像に加算するための画像を生成する動き補償手段とを備えた。 また更に、 動き補償手段は、 参照画像の半画素の座標値も用いて座標 計算して、 得られた画素値を所定の形式に変形処理するようにした。 この発明に係る画像符号化方法は、 入力のディジタル画像の圧縮符号 化のために参照画像を記憶し所定ブロックに分割してフレーム間の動き 検出をする動き補償予測手段を備えて、 参照画像の部分領域の整数画素 を所定の形式に変形化して座標指定して抽出し、 予測部分画像を生成し て入力画像の上記ブロックと比較する変形ブロックマッチングステップ と、 上記変形プロックマッチングを含んで選ばれた最小誤差を与える動 きべク トルから上記座標指定により上記部分領域を対応点決定して動き 補償出力とする対応点決定ステップとを備えた。
また更に、 変形ブロックマッチングステップは、 参照基準として参照 画像の部分領域の整数画素の他にその中点の半画素も加えて所定の形式 に変形化し座標指定して抽出し、 予測部分画像を生成して比較する変形 ブロックマツチングステツプとした。
また更に、 参照画像の部分領域を変形加ェする変形パターンテーブル を備えて、 変形ブロックマッチングに際して、 この変形パターンテ一ブ ルを参照して対応ァドレスを読み出した変換値に基づく部分領域の画像 を入力画像と比較する変形プロックマッチングステップとした。
この発明に係る画像復号方法は、 動き補償を行い入力情報の画像圧縮 符号を伸張再生するために、 入力情報中の動きパラメータを抽出して動 きの方向と量を表す動きべク トルと、 変形処理の指示内容を表す変形パ ターン情報とを得るェントロピー復号ステップと、 このェントロピ一復 号ステップで得られた動きパラメ一タにより、 フレームに対応して記憶 されている参照画像の部分領域の整数画素の座標値を入力情報中の変形 パタ一ン情報に基づレ、て所定の形式に変形処理して得られた画素値で入 力の被予測画像に加算するための画像を生成する動き補償ステップとを 備えた。 また更に、 動き補償ステップは、 参照画像の半画素の座標値も用いて 座標計算して、 得られた画素値を所定の形式に変形処理するようにした この発明に係る画像符号化復号システムは、 入力画像を所定のブロッ クに分割して、 上記入力画像を圧縮符号化するため、 動き検出用の参照 画像の対応する部分領域に存在する実標本点である整数画素のみを所定 の形式に変形化して座標指定して抽出し、 入力画像の上記プロックの整 数画素と比較する変形プロックマッチング部を含んで、 上記座標指定し て抽出した最小誤差を与える動きべク トルを出力する動き検出部と、 上 記変形ブロックマッチング部を含めた比較出力から得られる動きパラメ ータに従って上記参照画像のブロックを対応して変形し座標指定して決 める対応点決定部を含んで予測部分画像を出力する動き補償部とを備え た画像符号化装置と、 フレーム間の動き検出による動き補償予測手段を 備えて入力情報の画像圧縮符号を伸張再生するため、 動き補償予測手段 には、 入力情報中の動きパラメータに基づいて対応する部分領域の予め 用意された整数画素を所定の形式に座標指定して抽出する機構を備え、 上記所定の形式に処理した部分領域の画像信号を出力加算するようにし た画像復号装置、 とで構成される。 図面の簡単な説明
図 1は、 本発明の画像符号化装置の基本構成図である。
図 2は、 図 1中の動き検出部 8の内部構成図である。
図 3は、 図 2の構成による動き検出部 8の動作を表すフロ一チヤ一ト 図である。
図 4は、 実施の形態 1における変形ブロックマッチング部 2 1におけ る動作の概要を説明する図である。 図 5は、 変形ブロックマッチング部 2 1の内部構成図である。
図 6は、 変形ブロックマッチング部 2 1の動作を表すフローチヤ一ト 図である。
図 7は、 図 1中の動き補償部 9の内部構成図である。
図 8は、 動き補償部 9の動作の様子を表すフローチャート図である。 図 9は、 前処理部 2による画像オブジェク トの分離動作を説明する図 である。
図 1 0は、 実施の形態 2における動き検出部 8 bの別の内部構成図で ある。
図 1 1は、 実施の形態 3における動き検出部 8 cの内部構成図である 図 1 2は、 変形ブロックマッチング部 4 2における動作の概要を説明 する図である。
図 1 3は、 変形ブロックマッチング部 4 2の内部構成図である。
図 1 4は、 変形ブロックマッチング部 4 2の動作を表すフローチヤ一 ト図である。
図 1 5は、 実施の形態 4における変形ブロックマッチング部 4 2 bの 動作の概要を説明する図である。
図 1 6は、 実施の形態 4における変形ブロックマッチング部 4 2 bの 内部構成図である。
図 1 7は、 変形ブロックマッチング部4 2 bの動作を表すフローチヤ 一ト図である。
図 1 8は、 実施の形態 4における他の変形ブロックマッチングを説明 する図である c
図 1 9は、 実施の形態 4における他の変形ブロックマッチングを説明 する図である。 図 2 0は、 実施の形態 5における対応点決定部 3 4の別の内部構成図 である。
図 2 1は、 実施の形態 6における変形プロックマッチングを説明する 図である。
図 2 2は、 実施の形態 6における予測画像を構成する整数画素に対し て施すフィルタリングの例を示した図である。
図 2 3は、 変形ブロックマッチング部 4 2 cの動作の概要を説明する 図である。
図 2 4は、 変形ブロックマッチング部 4 2 cの内部構成図である。 図 2 5は、 変形ブロックマッチング部 4 2 cの動作を表すフローチヤ 一ト図である。
図 2 6は、 実施の形態 6における動き補償部 9 bの内部構成図である 図 2 7は、 実施の形態 6における動き補償部 9 bの動作を表すフロ一 チャート図である。
図 2 8は、 実施の形態 7における画像復号装置の構成を示した図であ る。
図 2 9は、 実施の形態 7における動き補償部 9の内部構成図である。 図 3 0は、 図 2 9の動き補償部 9の動作を表すフローチヤ一ト図であ る。
図 3 1は、 図 2 9の動き補償部 9が行う座標点移動動作を説明する図 である。
図 3 2は、 図 2 9の動き補償部 9が行う変形処理の例を説明する図で める。
図 3 3は、 座標点演算が半画素を求める演算を示す図である。
図 3 4は、 変形処理が回転拡大である場合の動作を説明する図である 図 3 5は、 実施の形態 8における画像復号装置の構成を示す図である 図 3 6は、 実施の形態 8における動き補償部 9 0の内部構成図である o
図 3 7は、 図 3 6の動き補償部 9 0の動作を表すフローチヤ一ト図で ある。
図 3 8は、 図 3 6の動き補償部 9 0が行う変形処理の例を説明する図 である。
図 3 9は、 図 3 6の動き補償部 9 0が行う座標点演算の例を示す図で ある。
図 4 0は、 実施の形態 9における動き補償部中の対応点決定部 3 7 c の動作を表すフローチヤ一ト図である。
図 4 1は、 実施の形態 9における動き補償部が行う変形処理の例を説 明する図である。
図 4 2は、 従来例 1のプロックマッチングによる動き補償予測の概念 を説明する図である。
図 4 3は、 従来例 1の画像符号化装置の動き補償予測部 （ブロックマ ツチング部） の構成を示す図である。
図 4 4は、 従来例 1の動き補償予測部の動作を表すフローチャート図 である。
図 4 5は、 M P E G 1 ビデオ規格で採用されている動き補償予測方式 の概要を示した図である。
図 4 6は、 従来例 2のァフィン変換を用いた動き補償予測の概念を説 明する図である。
図 4 7は、 従来例 2のァフィン変換を用いた動き補償予測部の構成を 示す図である。
図 4 8は、 従来例 2の動き捕償予測部の動作を表すフローチヤ一ト図 である。
図 4 9は、 図 4 8中のァフィン動きパラメ一タ検出ステップの詳細を 示すフローチヤ一ト図である。
図 5 0は、 半画素生成部 2 3 2における半画素値の計算方法を説明す る図である。
図 5 1は、 補間演算部 2 3 1における回転 Zスケール量の探索ステツ プで生じる非整数画素値の算出方法を説明する図である。 発明を実施するための最良の形態
実施の形態 1 .
本発明の符号化装置、 復号装置は、 具体的には衛星や地上波、 優先通 信網を介して行うディジタル画像伝送システム、 ディジタル画像記録装 置、 ディジタル画像蓄積データベースと検索 ·閲覧システムなどに使用 される。
図 1は、 画像符号化装置の基本構成図である。
図において、 1は入力ディジタル画像信号、 2は前処理部、 3及び 1 3はイン トラ （フレーム内） Zインタ一 （フレーム間） 符号化選択部、 4は直交変換部、 5は量子化部、 6は逆量子化部、 7は逆直交変換部、 8は動き検出部、 9は動き補償部、 1 0はフレームメモリ （参照画像） 、 1 1は動きベク トルを含む動きパラメ一タ、 1 2は予測画像データ、 1 4は符号化制御部、 1 5は強制モード指示フラグ、 1 6はイン トラ Z インタ一符号化指示フラグ、 1 7は量子化ステップ ·パラメータ、 1 8 はエントロピ一符号化部、 1 9は圧縮画像データである。 本発明の重要 な要素は動き検出部 8及び動き補償部 9である。 以下、 発明の実施の形態 1における画像符号化装置の動作を説明する 本装置は、 カラー動画像系列の構成要素である各フレームの画像信号 1を入力とし、 入力画像信号 1はディジタル化されて、 前処理部 2にお いて前処理とフォーマッ ト変換、 ブロックデータへの切り出しを行う。 本実施形態では、 ここで切り出されるプロックデータは輝度信号成分及 びそれに空間的に対応する色差信号成分のペアから構成されるものと し 、 以降、 輝度成分を輝度ブロック、 色差成分を色差ブロックと呼ぶ。 次いで、 各プロックデータをフレーム内符号化するかフレーム間符号 化するかをイン トラ インター符号化選択部 3において決定する。 イン トラ （フレーム内） 符号化が選択された場合は、 前処理部 2から出力さ れた原画像データから構成されるプロックデータを直交変換部 4に入力 し、 インター （フレーム間） 符号化が選択された場合は、 前処理部 2か ら出力された原画像データと動き補償部 9から出力される予測画像デー タ 1 2との差分から構成される予測誤差ブロックデータを直交変換部 4 に入力する。 このイン トラ zインター ' フレーム符号化の選択は、 符号 化制御部 1 4からの強制モード指示フラグ 1 5によって強制的に行われ ることもある。 選択された符号化モードは、 イントラ Zインター符号化 指示フラグ 1 6としてェント口ピー符号化部 1 8に送られ、 符号化ビッ トス トリーム 1 9に多重化される。
直交変換部 4には、 例えば、 離散コサイン変換 （D C T ) などが用い られる。 直交変換係数は、 量子化部 5において符号化制御部 1 4で算出 された量子化ステップ ·パラメータ 1 7を用いて量子化され、 量子化後 の直交変換係数はエントロピ一符号化部 1 8で冗長度を削減した後、 符 号化ビッ トス ト リーム 1 9に多重される。 同時に、 逆量子化部 6で逆量 子化され、 さらに逆直交変換部 7で逆直交変換されて予測誤差信号が復 元される。 これに動き補償部 9から出力される予測画像データ 1 2を加 算して、 局所復号画像が生成される。 ただし、 イントラ インター符号 化指示フラグ 1 6がイントラモ一ドの場合は、 符号化選択部 1 3で 0信 号が選択され、 予測誤差信号の加算は行われない。 局所復号画像は、 次 フレーム以降の動き補償予測の参照画像として用いるため、 その内容が フレームメモリ 1 0に書き込まれる。
以下、 本実施の形態の装置の最も重要な要素の 1つである動き補償予 測の動作について説明する。
本実施形態においては、 前処理部 2において切り出されるプロックを 動き補償予測における被予測ブロックとする。 動き補償予測処理は、 動 き検出部 8及び動き補償部 9において行われ、 動き検出部 8において被 予測ブロックの動きベク トルを含む動きパラメータ 1 1が検出され、 動 き補償部 9が動きパラメータ 1 1を用いてフレームメモリ 1 0から予測 画像データ 1 2を取り出す。 動き検出処理は、 輝度ブロックを用いて行 い、 色差ブロックの動き補償予測は輝度ブロックの動き検出結果を利用 する。 以下では、 輝度ブロックの動き補償予測の動作に限定して説明す るし、
まず、 動き検出処理から説明する。
動き検出処理は、 動き検出部 8で行われる。 動き検出部 8は、 参照画 像中の所定の範囲内で被予測プロックの輝度プロックに最も類似する領 域を探索し、 被予測プロックの画面内位置からの変化を表すパラメ一タ を検出する。 従来例で述べたブロックマッチングでは、 被予測ブロック の輝度ブロックに最も類似するブロックを探索し、 被予測ブロックの画 面内位置からの平行移動量を動きべク トルとして検出する。
本実施形態の動き検出部 8は、 従来の正方ブロックに基づくブロック マツチングと、 後述する変形ブロックを用いたブロックマツチングの両 方を実行し、 より予測精度の高い方を選択する構成をとる。
以下、 本実施の形態における動き検出部 8の動作を説明する。
図 2は、 図 1中の動き検出部 8の詳細構成図、 図 3は、 その動作の様 子を示すフローチヤ一トである。
図 2において、 2 0はブロックマッチング部、 2 1は変形ブロックマ ツチング部、 2 2は動き補償予測モード判定部、 2 3は変形ブロックマ ツチングによる動きベク トル、 2 4は変形ブロックマッチングによる最 小予測誤差値、 2 5は最終動きベク トル、 2 6は動き補償予測モード信 号である。 最終動きべク トル 2 5及び動き補償予測モード信号 2 6をひ とまとめで表現したものが動きパラメ一タ 1 1であるとする。
ブロックマツチング部 2 0の内部構成及び動作フローチャー トは、 従 来例で示した図 4 3及び図 4 4と同様である。 また、 図 3において、 D — B Mはブロックマッチングによる最小予測誤差電力の値、 D— D E F は変形ブロックマッチングによる最小予測誤差電力の値を表す。
図 4は、 本発明の最重要部位である変形ブロックマッチング部 2 1に おける動作の概要説明図、 図 5は、 変形ブロックマッチング部 2 1の詳 細な内部構成図、 図 6は、 変形ブロックマッチング部 2 1 の動作を示す フローチヤ一トである。
図 5において、 2 9は水平方向平行移動量探索範囲指示信号、 3 0は 垂直方向平行移動量探索範囲指示信号、 3 1は水平方向移動量カウンタ 、 3 2は垂直方向移動量カウンタ、 3 3は新要素である回転量カウンタ 、 3 4は同じく新要素である対応点決定部、 3 5はメモリ読み出しアド レス生成部である。 パターンマッチング部 2 1 3、 最小予測誤差電力判 定部 2 1 6は、 図 4 7に示す構成の対応要素と同一の動作を行う。
また、 図 6において、
d xは、 水平方向平行移動量探索点、 d yは、 垂直方向平行移動量探索点、
r a n g e_h_m i nは、 水平方向探索範囲下限値、
r a n g e„h— m a Xは、 水平方向探索範囲上限値、
r a n g e— v— m i nは、 垂直方向探索範囲下限値、
r a n g e— V— m a Xは、 垂直方向探索範囲上限値、
D_m i nは、 最小予測誤差電力、
D ( d X , d y) は、 d x， d y探索時の予測誤差電力
(x, y) は、 被予測ブロック内画素位置、
( r X , r y ) は、 （x， y ) に対する参照画像中の対応点、
(r d X， r d y) は、 回転パラメータ、
D (d x, d y) は、 d x， d y探索時の （x， y ) における予測誤 差、
f (x, y) 〖ま、 被予測画像中の画素 （x， y ) の値、
f r (x, y) は、 参照画像中の画素 （x， y ) の値、
MV— hは、 動きべク トル水平成分、
MV— Vは、 動きべク トル垂直成分、
i Xは、 水平方向オフセッ ト値 （定数） 、
i yは、 垂直方向オフセッ ト値 （定数） 、
b l o c k__ s i z eは、 被予測ブロックサイズ
である。
1 ) ブロックマッチングによる動きベク トルの検出
プロックマッチング部 20において、 従来例で示した手順と動作で被 予測ブロックに対する動きべク トルを求める。 この結果、 動きべク トル 2 1 7、 プロックマッチング部 20における最小予測誤差電力 D— BM 2 1 8を得る。 これは、 図 3における S 1に相当する。
2) 変形ブロックマッチングによる動きべク トルの検出 次いで、 変形ブロックマッチング部 2 1において、 変形ブロックマツ チングの処理を行う （図 3の S 2 ) 。
以下、 この動作についてさらに詳しく説明する。 なお、 以下の説明に おいては、 整数画素を単位とする 8 X 8画素プロックを被予測ブロック として説明を進める。
2— 1 ) 処理概要
変形ブロックマッチング部 2 1における処理の概要を図 4に示す。 同図において、 被予測画像 2 7は、 動き補償予測によって符号化され る。 例えば、 前処理部 2中にあるフレーム （ピクチャ） 、 参照画像 2 8 は、 被予測画像 2 7より以前に符号化されてフレームメモリ 1 0に蓄え られている局所復号フレーム （ピクチャ） 画像とする。 各画像内の〇は 、 フレーム内に実際に存在する輝度信号の実標本点である整数画素を、 Xは実標本点間の中点画素である半画素を示す。 被予測画像 2 7の 8 X
8 (整数画素） からなる部分領域を被予測ブロック （の輝度ブロック部 分） とし、 参照画像 2 8の口の画素からなるグループが予測画像候補の 変形ブロックを構成するものとする。 即ち、 図 1、 図 2の （） 表示のフ レームメモリ 1 0出力と前処理部 2出力の一部が切り出されて、 動き検 出部 8内の変形ブロックマツチング部 2 1で比較される。
本実施の形態では、 参照画像の輝度プロックを右もしくは左 4 5度に 回転させ、 各辺のスケールを " 2倍した、 つまり、 参照画像の大きさは 被予測画像 （入力画像） と比較する際は、 1 Ζ 2の距離として、 フレ —ムの入力ディジタル画像 1の水平垂直方向の標本点距離と合致させた 領域を変形プロックとして定義する。 この領域は、 参照画像 2 8の整数 画素間隔の画素点のみから構成されることに特徴がある。 即ち、 本実施 形態における変形ブロックマッチングは、 与えられた探索範囲内で、 図 4に示す 8 X 8整数画素からなる被予測ブロックの輝度ブロックに、 最 も類似した同図の変形ブロック領域を参照画像 2 8中から見つける処理 に相当する。
2 - 2 ) 初期設定 （探索範囲の設定、 初期値の設定）
被予測プロックと予測画像候補領域の形状とが異なるため、 探索に際 しては、 検出される動きべク トルがどこを起点としているかを特定する 必要がある。 即ち、 あらかじめ被予測ブロックの輝度ブロックの各構成 点と予測画像候補領域の変形ブロックの各構成点とを 1対 1に対応させ る。
以下では、 図 4の点線矢印に示すように、 あらかじめ被予測ブロック の左上隅の画素位置と、 変形ブロックの左側頂点とを対応させるものと する。 つまり、 予測画像候補画像は参照画像 2 8中の変形プロックを右 4 5度回転させ、 各辺を 1 / 2倍の長さに修正した部分画像というこ とになる。 この対応付けを変えれば、 回転の方向が変わることになる。 このように取り決めておくことにより、 他の各構成点は一意に対応がと れる。 被予測プロックの各構成点と予測画像候補の各構成点が 1対 1に 対応付けられているので、 動き検出はブロックマッチングと同様に実行 することができる。
即ち、 図 4の参照画像 2 8の比較のための部分領域の取り出し型をパ ターン化してアドレッシング （座標） で指定しておき、 しかもこの場合 には、 整数画素が選ばれるよう指示しておき、 このア ドレッシング指示 された画素と対応する被予測画像 2 7である原画像データ中の画素との 誤差を累積して、 最小誤差電力を判定している。 従って、 アドレツシン グの指示だけで演算を伴わないので高速の比較ができ、 しかもァドレツ シング （座標指定） の仕方で単純な拡大、 縮小だけでなくて回転も、 ま た、 回転と拡大、 縮小の同時処理等、 フレキシブルな抽出指示ができる 具体的には、 水平方向平行移動量探索範囲指示信号 2 9及び垂直方向 平行移動量探索範囲指示信号 3 0より、 水平方向移動量カウンタ 3 1及 び垂直方向移動量カウンタ 3 2に対して変形プロックマッチングの探索 範囲を設定する。 最小予測誤差電力判定部 2 1 6において、 最小予測誤 差電力 D— m i nを最大値の MAX I NT (例えば、 O x F F F F F F F F) にセッ トする。 これは、 図 6の S 4に相当する。
2-3) ブロック変形パラメータの設定
本実施の形態においては、 ブロック変形パラメータとして、 図 6の S 6， S 8に示す r d x， r d yを用いる。 このパラメ一タの設定は、 回 転量カウンタ 3 3が行う。 つまり、 図 4の参照画像を 4 5度右回転させ る関係を定義する。 これらの初期値として yの値を与え、 以下、 Xがィ ンクリメントされるたびに r d xをインク リメント、 r d yをデク リメ ントする。 これらの処理は、 図 6における S 6〜S 8に相当する。 なお 、 この設定は右回転の設定であり、 S 6で r d y =_y、 S 8で r y = i y + ( r d y + + ) と設定すると、 左回転の変形を意味する。 なお、 S 8は、 r x = i x十 （ r d x + l ) 、 r y = i y + ( r d y - l ) と も表現される。
即ち、 S 8では、 参照画像 28から抽出する画素のア ドレッシングを 指示しており、 次の画素である r x， r yのア ドレスが 4 5度右下方向 の次の整数画素を指示している。 これを S 1 2で Xのブロックサイズま で繰り返し、 S 1 4で yのブロックサイズまで繰り返していることであ る。 このように、 S 8のア ドレッシングによる抽出画素を S 9で誤差比 較し、 S 1 0で累積しているので、 図 6の動作フローにおいては、 一切 の演算をしておらず、 高速動作ができる。 なお、 S 1 0も、 D (d X , d y ) =D ( d x, d y ) +D (x， y ) とも表現される。 同様に、 S 1 1， S 1 3 , S 1 7 , S 1 9は、 x = x + l、 y = y + l とも表現さ れる。 これは、 以後のフローチャートでも同様である。
2-4) 予測画像候補画像の読み出し
まず、 被予測ブロックの輝度ブロック内の位置 （x， y ) に対応する 参照画像中の対応点 r x， r yを決定する。 つまり、 図 4の最初の位置 間の対応付けを行う。 これは対応点決定部 34で行われる。 図 6の S 8 に示すように、 r x， r yは、 あらかじめ与えられるオフセッ ト値 i x ， i yに、 2— 3 ) で得られた r d x， r d yを加算することによって 得られる。 次いで、 参照画像から （ r x + d x， r y + d y) だけ離れ た位置にある参照画像中の画素をフレームメモリから取り出す。 図 5に おけるメモリ読み出しァドレス生成部 3 5が水平方向移動量カウンタ 3 1から d Xの値を、 垂直方向移動量力ゥンタ 3 2カゝら d yの値を、 対応 点決定部 34から r x， r yを受け取り、 フレームメモリ中のア ドレス を生成する。
2- 5) 予測誤差電力の算出
まず、 動きベク トルが （d x， d y ) の時の予測誤差電力 D (d X , d y ) をゼロに初期化する。 これは、 図 6の S 5に相当する。 2— 4) で読み出された画素値と、 被予測プロックの輝度プロックの対応する位 置の画素値との差をとり、 その絶対値を D (d X , d y ) に累積してい く。 この処理を x = y = b 1 o c k— s i z e (ここでは、 b l o c k — s i z e = 8) になるまで繰り返し、 （d x， d y) 時の予測誤差電 力 D ( d X , d y) を得る。 この処理は、 図 5におけるパターンマッチ ング部 2 1 3が行い、 パターンマッチング部 2 1 3は、 D (d x， d y ) を予測誤差電力信号 2 1 5によって最小予測誤差電力判定部 2 1 6に 受け渡す。
以上の処理は、 図 6における S 9〜S 1 4の処理に相当する。
2-6) 最小予測誤差電力値の更新 2— 5) の結果得られた D ( d x , d y) 力 、 それまでの探索結果の 中で最小の誤差電力を与えるかどうかを判定する。 判定は、 図 5におけ る最小予測誤差電力判定部 2 1 6が行う。 また、 図 6における S 1 5が この判定処理に相当する。 最小予測誤差電力判定部 2 1 6は、 内部に持 つ最小予測誤差電力 D— m i nの値と、 予測誤差電力信号 2 1 5によつ て受け渡される D ( d X , d y ) の大小を比較し、 D (d x， d y) の 方が小さいときに限り D— m i nの値を D (d x, d y) で更新する。 また、 そのときの （d x， d y) の値を動きべク トル候補 （MV_h， MV— V ) として保持しておく。 これらの更新処理は、 図 6における S 1 6に相当する。
2- 7) 動きべク トル値の決定
上記 2— 2) 〜2— 6) を探索範囲中のすべての （d x， d y) につ いて繰り返し （図 6の S 1 7〜S 20) 、 最終的に最小予測誤差電力判 定部 2 1 6内に保持されている （MV— h， MV— V ) を動きベク トル 23として出力する。
以上のようにして、 被予測プロックに誤差電力最小の意味で最も類似 した予測画像を探し出す。 探索の結果、 選ばれた予測画像の起点からの 偏移量が変形ブロックマッチングの結果としての動きべク トル 23 とし て得られ、 その時の予測誤差電力 D— DE F 24も保持される。
3 ) 最終動き補償予測モードの判定
次に、 動き補償予測モード判定部 22において、 ブロックマッチング 部 20で得られた最小予測誤差電力 D— BM2 1 8と、 変形ブロックマ ツチング部 2 1で得られた最小予測誤差電力 D„D E F 24とを比較し 、 ブロックマツチングか変形ブロックマツチングかいずれか小さいほう を最終的な動き補償モードとして選択する。 これは、 図 3の S 3に相当 する。 動き補償予測モード判定部 2 2は、 最終的に選択した動き補償予測モ 一ド信号 2 6及び最終動きべク トル 2 5を動きパラメ一タ 1 1 として動 き補償部 9及びェント口ピー符号化部 1 8に送る。
次に、 動き補償処理について説明する。
動き補償処理は、 動き補償部 9で行われる。 動き補償部 9は、 動き検 出部 8において得られた動きパラメータ 1 1に基づいて、 参照画像中か ら予測画像を抽出する。 本実施形態の動き補償部 9は、 従来の正方プロ ックに基づくブロックマッチングと、 特定の変形ブロックを用いたブロ ックマッチングのいずれの動き補償処理もサボ一トし、 動きパラメータ 1 1中の動き補償予測モードによってこれらの処理を切り替える構成を とる。
以下、 本実施の形態における動き補償部 9の動作を説明する。
図 7は、 図 1中の動き補償部 9の構成図、 図 8は、 その動作の様子を 示すフローチヤ一トである。
図 7において、 3 7は新要素である対応点決定部、 3 8はメモリ読み 出しァドレス生成部である。
1 ) 対応点の決定
図 8の S 2 1に相当する処理で、 被予測ブロックの画面内位置指示信 号 2 0 6と動き検出部 8から送られてくる動きパラメータ 1 1 とから、 参照画像 2 8中の予測画像に対応する標本点を決定する。 この処理は、 図 7における対応点決定部 3 7において行われる。 動きパラメータ 1 1 に含まれる動き補償予測モードがブ口ックマツチングを示している時は 、 対応点は被予測ブロックの画面内位置信号 2 0 6から動きべク トルで 指示される量だけ平行移動させた領域に含まれる標本点となる。 この処 理は図 4 4における S 2 0 4で、 （d x， d y ) を動きベク トルとした 時の参照画像 2 8中の位置 （x + d x， y + d y ) を決定する動作に相 当する。 動きパラメ一タ 1 1に含まれる動き補償予測モードが変形プロ ックマッチングを示している時は、 動き検出部 8の説明における 2— 4 ) で述べたように、 被予測ブロックの画面内位置信号 2 0 6に各画素位 置に応じた回転量分を加算した後、 動きべク トルで指示される量だけ平 行移動させた標本点となる。 この処理は図 6における S 9で、 （d x， d y ) を動きべク トルとした時の参照画像 2 8中の位置 （ r X + d X， r y + d y ) を決定する動作に相当する。
2 ) 予測画像データの読み出し
図 8の S 2 2〜S 2 5に相当する処理で、 対応点決定部 3 4の結果を 受けて、 メモリ読み出しア ドレス生成部 3 8がフレームメモリ 1 0に蓄 積される参照画像 2 8中の予測画像位置を特定するメモリァドレスを生 成し、 予測画像を読み出す。
この場合に、 予測画像が半画素精度の画素を含んでいると、 動き補償 部 9から出力される前に半画素生成部 2 3 2によって半画素値が生成さ れる。 これは、 図 8の S 2 3、 S 2 4に相当する処理で、 予測画像が半 画素精度の画素を含むか否かは、 対応点決定部 3 7が動きパラメータ 1 1中の動きべク トル値をもとに識別し、 選択スィツチ 3 6に知らせる。 図 5の変形ブロックマツチング部 2 1の構成では、 図 4の説明に対応 するように実標本点のみの対応点を生成した。 しかし、 半画素がある場 合の構成は、 後に説明するように図 1 3の半画素生成部 2 3 2を持つ変 形ブロックマッチング部 4 2となる。
以上の処理過程を経て、 最終的な予測画像データ 1 2が出力される。 なお、 上記実施の形態での変形ブロックマッチングとしての回転は、 4 5度の例を説明したが、 9 0度、 1 3 5度、 1 8 0度などは勿論、 d x と d yのとり方で他の回転も実現できる。
また、 本実施の形態では、 画像フレームを単位とする画像符号化装置 を説明したが、 前処理部 2において入力ディジタル画像系列を画像ォブ ジェク ト （動きや絵柄などの特徴を同じくする部分領域、 一つの被写体 など） に分離する処理を行わせ、 各画像オブジェク トをそれを包含する ブロック群として定義するようにしておけば、 画像オブジェク トを単位 として符号化する装置であってもこの発明を適用することができる。 例えば、 図 9に示すように、 静止した背景の前に人物像が存在するよ うなシーンにおいて、 人物像を画像オブジェク トとして、 図のようにそ れを取り囲む外接四角形内の領域を小プロックに分割し、 画像オブジェ ク トを含むプロックを有効プロックとして符号化するような場合が考え られる。 この場合は、 これら有効ブロックに対し、 上記実施の形態で述 ベた変形ブックマッチングと動き補償に関して同様の処理を適用する。 これは、 以下の実施の形態においても同様である。
本実施形態では、 直交変換符号化による符号化装置を説明したが、 動 き補償予測誤差信号を別の符号化方式を用いて符号化する装置であって もこの発明を適用することができるのは言うまでもない。 これは、 以下 の実施の形態においても同様である。
実施の形態 2 .
平行移動による動きべク トルの値から、 変形ブロックマッチング処理 の対象となる部分領域の大まかな移動量が把握できる。 変形プロックマ ツチングの部分領域の設定先を、 ブロックマッチング部 2 0の探索結果 である動きべク トル 2 1 7が示す領域情報を受け、 この付近に限定して 変形して比較すると、 処理ステップ及び処理時間を短縮することができ る。 本実施の形態では、 この構成について説明する。 なお、 このことは 、 以後の他の実施の形態においても同様である。
本実施の形態は動き検出部 8の別の実施形態を示すものである。
図 1 0は、 本実施形態における動き検出部 8 bの内部構成図で、 3 9 は変形プロックマツチング部、 4 0は加算部、 4 1は探索初期位置指示 信号である。 なお、 変形ブロックマッチング部 3 9は入力 2 0 6の代わ りに探索初期位置指示信号 4 1を用いるだけで、 その他の動作は実施の 形態 1における変形プロックマッチング部 2 1と全く同じである。
大まかな値を得る装置の具体回路を図 1 0に示す。
図 1 0において、 変形ブロックマッチング部 3 9に、 被予測ブロック の画面内位置信号 2 0 6の代わりに、 被予測ブロックデータ 2 0 5にブ 口ックマッチング部 2 0の結果得られた動きべク トル 2 1 7を加算部 4 0によって加算し、 その加算結果を探索初期位置指示信号 4 1 として入 力する。 また、 水平方向平行移動量探索範囲指示信号 2 9及び垂直方向 平行移動量探索範囲指示信号 3 0から設定する探索範囲は実施の形態 1 よりも小さめに設定しておく。 これにより、 図 6における S 1 7〜S 2 0における反復処理を短縮することができる。
実施の形態 3 .
先の実施の形態では、 変形プロック領域が参照画像 2 8中の整数画素 間隔の画素点のみから構成される場合を説明した。 本実施の形態では、 変形プロッグ領域が参照画像 2 8中の半画素間隔の画素点をも含めて構 成される場合を説明する。
本実施形態では、 図 1における動き検出部 8及び動き補償部 9の内部 構成が実施の形態 1 と異なる。 また、 動作が異なるのは、 動き検出部中 の変形プロックマッチング部及び動き補償部中の対応点決定部だけであ り、 その他の部材及び動作は実施の形態 1 と全く同じである。 よって以 下では、 変形プロックマッチング部の動作とそれに対応する動き補償部 の動作についてのみ詳しく説明する。 実施の形態 1 と同様、 動き検出部 8 cと動き補償部 9とに分けて動作を説明する。
図 1 1は、 本実施形態における動き検出部 8 cの内部構成図、 図 1 2 は、 本発明の最重要部位の 1つである変形プロックマッチング部 4 2に おける動作の概要説明図、 図 1 3は、 変形ブロックマッチング部 4 2の 詳細な内部構成図、 図 1 4は、 変形ブロックマッチング部 4 2の動作を 示すフローチヤ一トである。
これらの図において、 前記までの図面と同一の番号を付した要素、 ス テツプは同一の要素、 動作を意味するものとする。
まず、 変形ブロックマッチング部 4 2の動作について説明する。
1 ) 処理概要
変形プロックマッチング部 4 2における処理の概要を図 1 2に示す。 同図において、 被予測画像 2 7及び参照画像 2 8は実施の形態 1で定 義した通りである。 各画像内の〇はフレームの輝度信号の実標本点 （整 数画素） を、 Xは実標本点間の中点画素 （半画素） を示す。 被予測画像 2 7の 8 X 8 (整数画素） からなる部分領域を被予測ブロック （の輝度 ブロック部分） とし、 参照画像 2 8の口の画素からなるグループが予測 画像候補の変形ブロックを構成するものとする。
本実施の形態では、 輝度プロックを右もしくは左 4 5度に回転させ、 各辺のスケールを 1ノ 2倍した、 つまり、 参照画像の大きさは 2の 距離としてフレームの入力ディジタル画像 1の水平垂直方向の標本点距 離と合致させた領域を変形ブロックとして定義する。 この領域は、 参照 画像 2 8の半画素間隔の画素点をも含んで構成されることに特徴がある 。 即ち、 本実施形態における変形ブロックマッチングは、 与えられた探 索範囲内で、 図 1 2に示す 8 X 8サンプル （以下サンプルは、 整数画素 または半画素の意味である） からなる被予測ブロックの輝度ブロックに 最も類似した同図の変形プロック領域を参照画像 2 8中から見つける処 理に相当する。
2 ) 初期設定 （探索範囲の設定、 初期値の設定） 実施の形態 1 と同様の論理で、 あらかじめ被予測ブロックの輝度プロ ックの各構成点と予測画像候補領域の変形プロックの各構成点とを 1対 1に対応させる。 以下では、 図 1 2の点線矢印に示すように、 あらかじ め被予測プロックの左上隅の画素位置と、 変形プロックの左側頂点とを 対応させるものとする。 同図では、 変形ブロック側の左側頂点が半画素 位置にのっているが、 これは動きべク トルが半画素成分を含む場合を示 している。 つまり、 予測画像候補画像は参照画像 2 8中の変形ブロック を右 4 5度回転させ、 各辺を 2倍の長さに修正した部分画像というこ とになる。 この対応付けを変えれば回転の方向が変わることになる。 こ のように取り決めておく ことにより、 他の各構成点は一意に対応がとれ る。 被予測プロックの各構成点と予測画像候補の各構成点が 1対 1に対 応付けられているので、 動き検出はプロックマッチングと同様に実行す ることができる。 実際の装置における探索範囲の設定の動作は、 実施の 形態 1 と同じで、 図 1 3における必要な要素を用いて設定する。 この動 作は、 図 1 4では S 26のステップに相当する。
3) ブロック変形パラメータの設定
本実施形態においては、 実施の形態 1 と同様、 ブロック変形パラメ一 タとして図 1 4に示す r d X， r d yを用いる。 このパラメータの設定 は、 回転量カウンタ 4 5が行う。 これらの初期値として yの値を与え、 以下 Xが 1ずつインクリメントされるたびに、 1 乂を0. 5ずつイン クリメント、 r d yを 0. 5ずつデクリメントする。 これらの処理は、 図 1 4における S 28〜S 3 ◦に相当する。 この設定は右回転の設定と なり、 S 28で r d y =— y、 S 3 0で r y = i y + ( r d y += 0. 5) と設定すると、 左回転の変形を意味する。
4) 予測画像候捕画像の読み出し
まず、 被予測ブロックの輝度ブロック内の位置 （x， y) に対応する 参照画像中の対応点 r x， r yを決定する。 これは、 対応点決定部 4 6 で行われる。 図 1 4の S 30に示すように、 r x， r yはあらかじめ与 えられるオフセッ ト値 i X， i yに 3 ) で得られた r d X， r d yを加 算することによって得られる。
次いで、 参照画像から （ r x + d x， r y + d y) だけ離れた位置に ある参照画像中の画素をフレームメモリから取り出す。 図 1 3における メモリ読み出しァドレス生成部 4 7が水平方向移動量カウンタ 3 1から d xの値を、 垂直方向平行移動量カウンタ 3 2から d yの値を、 対応点 決定部 4 6から r x， r yを受け取り、 フレームメモリ中のア ドレスを 生成する。 また、 図 1 4の S 3 1において読み出されたデータは、 必要 に応じて半画素生成部 2 3 2において半画素値を生成するために使用さ れる。
5) 予測誤差電力の算出
まず、 動きべク トルが （d x， d y ) の時の予測誤差電力 D (d x， d y ) をゼロに初期化する。 これは、 図 1 4の S 2 7に相当する。 4) で読み出された画素値と、 被予測プロックの輝度プロックの対応する位 置の画素値との差をとり、 その絶対値を D (d X , d y ) に累積してい く。 この処理を x = y = b 1 o c k— s i z e (ここでは b 1 o c k— s i z e = 8 ) になるまで繰り返し、 （d x， d y) 時の予測誤差電力 D ( d X , d y ) を得る。 この処理は、 図 1 3におけるパターンマッチ ング部 2 1 3が行い、 パターンマッチング部 2 1 3は D ( d X , d y) を予測誤差電力信号 2 1 5によって最小予測誤差電力判定部 2 1 6に受 け渡す。 ここでの処理は、 図 1 4における S 3 2〜S 3 7の処理に相当 する。
6) 最小予測誤差電力値の更新
5 ) の結果得られた D (d X , d v) 、 それまでの探索結果の中で 最小の誤差電力を与えるかどうかを判定する。 判定は、 図 1 3における 最小予測誤差電力判定部 2 1 6が行う。 また、 図 1 4における S 3 8が この判定処理に相当する。 判定処理は実施の形態 1 と全く同じであり、 そのときの （d x， d y ) の値を動きべク トル候補 （MV_h， MV_ v) として保持しておく。 この更新処理は、 図 1 4における S 3 9に相 当する。
7) 動きべク トル値の決定
上記 2) 〜6) を探索範囲中のすべての （d x， d y ) について繰り 返し （図 1 4の S 4 0〜S 4 3 ) 、 最終的に最小予測誤差電力判定部 2 1 6内に保持されている （MV— h， MV„ V ) を動きベク トル 4 3 と して出力する。
以上のようにして、 被予測プロックに誤差電力最小の意味で最も類似 した予測画像を探し出す。 探索の結果、 選ばれた予測画像の起点からの 偏移量が変形プロックマッチングの結果としての動きべク トル 4 3 とし て得られ、 その時の予測誤差電力 D— DE F 44も保持される。
上記動きべク トル 4 3、 予測誤差電力 D— D E F 44が最終的な動き 補償モー ド判定に用いられ、 最終的な動き補償モードが決定される。 こ の決定方法は、 実施の形態 1 と全く同じである。
次に、 動き捕償処理について説明する。
動き補償処理は、 動き補償部 9で行われる。 本実施の形態では、 対応 点決定部 3 7の動作のみが実施の形態 1 と異なるので、 その部分だけを 説明する。 動き補償の全体的なフローチャートは、 図 8に準ずる。
本実施形態においては、 対応点の決定は以下のように行う。
動きパラメータ 1 1に含まれる動き補償予測モ一ドがブ口ックマッチ ングを示している時は、 対応点は被予測ブロックの画面内位置信号 20 6から動きべク トルで指示される量だけ平行移動させた領域に含まれる 標本点となる。 この処理は、 図 4 4における S 2 0 4で、 （d x， d y ) を動きベク トルとした時の参照画像 2 8中の位置 （x + d x , y + d y ) を決定する動作に相当する。
動きパラメ一タ 1 1に含まれる動き補償予測モ一ドが変形ブロックマ ツチングを示している時は、 動き検出部 8の説明における 4 ) で述べた ように、 被予測プロックの画面内位置信号 2 0 6に各画素位置に応じた 回転量分を加算した後、 動きべク トルで指示される量だけ平行移動させ た領域に含まれる標本点となる。 この処理は、 図 1 4における S 3 2で 、 ( d X , d y ) を動きベク トルとした時の参照画像 2 8中の位置 （ r x + d x , r y + d y ) を決定する動作に相当する。
以下の予測画像データの読み出し、 予測画像の生成については、 実施 の形態 1に準ずる。
実施の形態 4 .
本実施の形態は、 被予測プロックの面積が単純に縮小される変形プロ ックを用いる場合について説明する。 また、 説明は省略するが単純な拡 大も同じである。 こう して、 より単純な変形ブロックマッチングと動き 補償について述べる。
以下では、 上記実施形態と動作の異なる動き検出部中の変形プロック マッチング部 4 2 b及び動き補償部中の対応点決定部の動作についての み、 図 1 6を参照しながら詳しく説明する。 なお、 説明の混乱を避ける ため、 変形ブロックマッチング部 4 2 bは、 図 1 3における変形ブロッ クマッチング部 4 2のバリエーショ ンであるとし、 その入力は全く同じ であり、 出力は動きべク トル 4 3ならびに予測誤差電力 4 4のバリェ一 シヨンであるものとする。 また、 動き補償部 9中の対応点決定部につい ても、 図 7における対応点決定部 3 7のバリエーションであるものとす る。 よって、 以下では、 本実施形態の変形ブロックマッチング部の番号 は 4 2 bとして、 対応点決定部の番号は 3 7として説明を進める。
図 1 5は、 本実施の形態における変形ブロックマッチング部 4 2 bに おける動作の概要説明図、 図 1 6は、 変形ブロックマッチング部 4 2 b の詳細な内部構成図、 図 1 7は、 変形ブロックマッチング部 4 2 bの動 作を示すフローチャートである。
これらの図において、 前記までの図面と同一の番号を付した要素、 ス テツプは同一の要素、 動作を意味するものとする。
まず、 変形ブロックマッチング部 4 2 bの動作について説明する。
1 ) 処理概要
変形ブロックマッチング部 4 2 bにおける処理の概要を図 1 5に示す
。 被予測画像 2 7及び参照画像 2 8、 各画像内の印の説明は前述の通 りである。 本実施の形態では、 輝度ブロックの各辺を単純に 1 Z 2倍し た縮小領域を変形プロックとして定義する。 本実施の形態における変形 ブロックマッチングは、 与えられた探索範囲内で、 図 1 5に示す 8 X 8 サンプルからなる被予測プロックの輝度プロックに最も類似した同図の 変形プロック領域を参照画像 2 8中から見つける処理に相当する。
2 ) 初期設定 （探索範囲の設定、 初期値の設定）
実施の形態 1 と同様の論理で、 あらかじめ被予測ブロックの輝度プロ ックの各構成点と予測画像候補領域の変形プロックの各構成点とを 1対 1に対応させる。 本実施形態では、 図 1 5の点線矢印に示すように、 あ らかじめ被予測プロックの左上隅の画素位置と、 変形プロックの左上隅 の画素位置とを対応させる。 被予測プロックの各構成点と予測画像候補 の各構成点が 1対 1に対応付けられているので、 動き検出はブロックマ ツチングと同様に実行することができる。 実際の装置における探索範囲 の設定の動作は実施の形態 1 と同じで、 図 1 6における必要な要素を用 いて設定する。 この動作は、 図 1 7では、 S 4 4のステップに相当する 3 ) 予測画像候補画像の読み出し
本実施の形態においては、 特定のプロック変形パラメータは用いず、 図 1 7の S 4 7に示すように、 水平垂直各成分のオフセッ ト値 i X， 1 yに、 xZ2, y/ 2の値を加算することによって x， yの対応点 s x ， s yを得る。 この対応点は対応点決定部 4 8で行われる。 次いで、 参 照画像から （ s x + d x， s y + d y ) だけ離れた位置にある参照画像 中の画素をフレームメモリから取り出す。 図 1 6におけるメモリ読み出 しァドレス生成部 4 9が水平方向移動量カウンタ 3 1から d Xの値を、 垂直方向平行移動量カウンタ 3 2から d yの値を、 対応点決定部 4 8か ら s x， s yを受け取り、 フレームメモリ中のア ドレスを生成する。 ま た、 図 1 7の S 4 8で読み出されたデータは必要に応じて半画素生成部 2 3 2において半画素値を生成するために使用される。
4) 予測誤差電力の算出
まず、 動きベク トルが （d x， d y ) の時の予測誤差電力 D ( d X , d y ) をゼロに初期化する。 これは図 1 7の S 4 5に相当する。 3 ) で 読み出された画素値と、 被予測プロックの輝度プロックの対応する位置 の画素値との差をとり、 その絶対値を S 5 0で D ( d X , d y ) に累積 していく。 この処理を x = y = b 1 o c k— s i z e (ここでは、 b 1 o c k— s i z e = 8 ) になるまで S 5 2， S 5 4で繰り返し、 （ d x ， d y ) 時の予測誤差電力 D (d x , d y ) を得る。 この処理は、 図 1 6におけるパターンマッチング部 2 1 3が行い、 パターンマッチング部 2 1 3は、 D ( d X , d y ) を予測誤差電力信号 2 1 5によって最小予 測誤差電力判定部 2 1 6に受け渡す。 ここでの処理は、 図 1 7における S 4 9〜S 5 4の処理に相当する。
5) 最小予測誤差電力値の更新 4 ) の結果得られた D ( d x , d y ) i それまでの探索結果の中で 最小の誤差電力を与えるかどうかを判定する。 判定は、 図 1 6における 最小予測誤差電力判定部 2 1 6が行う。 また、 図 1 7における S 5 5が この判定処理に相当する。 判定処理は、 実施の形態 1 と全く同じであり 、 そのときの （d x， d y ) の値を動きベク トル候補として保持してお く。 この更新処理は、 図 1 7における S 5 6に相当する。
6 ) 動きべク トル値の決定
上記 2 ) 〜 5 ) を図 1 7の S 5 7〜S 6 0で探索範囲中のすべての （ d X , d y ) について繰り返し、 最終的に最小予測誤差電力判定部 2 1 6内に保持されている （d x， d y ) を動きベク トル 4 3 として出力す る。
以上のようにして、 被予測プロックに誤差電力最小の意味で最も類似 した予測画像を探し出す。 探索の結果、 選ばれた予測画像の起点からの 偏移量が変形プロックマッチングの結果としての動きべク トル 4 3とし て得られ、 その時の予測誤差電力 D— D E F 4 4も保持される。
上記動きべク トル 4 3、 予測誤差電力 D— D E F 4 4が最終的な動き 補償モード判定に用いられ、 最終的な動き補償モードが決定される。 こ の決定方法は、 実施の形態 1 と全く同じである。
次に、 動き補償処理について説明する。
動き補償処理は動き補償部 9で行われる。 本実施形態では、 対応点決 定部 3 7の動作のみが実施の形態 1 と異なるので、 その部分だけを説明 する。 動き補償の全体的なフローチャートは、 図 8に準ずる。
本実施形態においては、 対応点の決定は以下のように行う。
動きパラメ一タ 1 1に含まれる動き補償予測モ一ドがブ口ックマッチ ングを示している時は、 対応点は被予測ブロックの画面内位置信号 2 0 6から動きベク トルで指示される量だけ平行移動させた領域に含まれる 標本点となる。 この処理は、 図 4 4における S 2 0 4で、 （d x， d y ) を動きべク トルとした時の参照画像 2 8中の位置 （ X + d X， y + d y ) を決定する動作に相当する。
動きパラメータ 1 1に含まれる動き補償予測モードが変形プロックマ ツチングを示している時は、 被予測ブロックの画面内位置信号 2 0 6に 各画素位置に応じた編移量分を加算した後、 動きべク トルで指示される 量だけ平行移動させた領域に含まれる標本点となる。 この処理は、 図 1 7における S 4 7で、 （d x， d y ) を動きベク トルとした時の参照画 像 2 8中の位置 （ s x + d x， s y + d y ) を決定する動作に相当する 。 以下の予測画像データの読み出し、 予測画像の生成については、 実施 の形態 1に準ずる。
上記各実施の形態における変形ブロックは、 1 ) 被予測ブロックと予 測画像の各構成画素位置の 1対 1の対応付けが行われている、 2 ) 参照 画像側の対応画素点が整数画素間隔で構成されるという 2つの前提のも とであれば、 どのような形状をもとり得る。 例えば、 図 1 8や図 1 9に 示すような形状を考えることもできる。 更に、 片方のみ半分に縮小とい うだけでなく、 それぞれの辺を独立に任意の比率で縮小、 拡大すれば各 種の形状に変形してブロックマッチングができる。 こうして、 あらかじ め様々な形状を定義しておく ことにより、 最も良好な予測結果が得られ る変形ブロックを選択するように構成することができる。 このときは、 選択された変形プロックの種類を動きパラメ一タ 1 1の中に含めてェン トロピー符号化部 1 8に送ればよレ、。
上記各実施の形態によれば、 半画素精度の補間画素値の生成だけで、 ァフィン変換のように複雑な演算による補間画素値を生成することなく 回転及び縮小スケーリングを含む動き補償を行うことができ、 平行移動 量である動きべク トルだけでは予測誤差を最小にできない、 つまり、 予 測がうまく的中しないような部分画像についても、 良好な予測を行うこ とができる。
なお、 上記の各実施の形態では、 予め用意される固定点として、 整数 画素、 または半画素の場合を説明したが、 例えば、 1 ： 3等、 他の割合 の中間点の画素を比較対象用として用意してもよい。 この場合でも、 従 来のァフィン変換の場合と異なり、 比較処理動作中の補間処理が不要で あり、 それだけ処理規模を小さくでき、 高速処理が可能となる。
実施の形態 5 .
上記各実施の形態においては、 画素ごとにプロック変形パラメータの カウント処理、 もしくはそれに相当する座標変換処理を行う構成となつ ていたが、 この画素ごとの座標変換値をあらかじめ R O Mなどの変形パ ターンテーブルとして用意しておき、 被予測プロックの各画素位置に応 じてテーブルから引き出した変換値をもとに対応点を決定する構成をと ることもできる。 こうすることで、 演算式では表現しにくい任意の対応 関係を持つ変形プロックマッチングと動き補償が効果的にできる。
例えば、 実施の形態 1を例にとる。
図 2 0は、 図 5における対応点決定部 3 4の別の内部構成図であり、 本実施の形態を実現する構成 （対応点決定部 3 4 b ) を示している。 実 施の形態 1の具体的な動作を示す図 6における S 8で、 パラメータ r d x， r d yの値をインク リメントあるいはデク リメント演算する代わり に、 x， yに対応する r d x， r d yの値を R O Mとして持っておき、 そこから x， yの値に応じて対応点 r X， r yを引き出すことによって 求めることができる。 この場合、 図 5における回転量カウンタ 3 3は不 要となり、 図 2 0に示すように、 対応点決定部 3 4 b内に R O Mテ一ブ ル （変形パターンテーブル 1 0 0 ) を持たせる構成で実現できる。 対応 点決定部 3 4 bは、 被予測ブロックの各画素位置 （x， y ) によって変 7 25
48 形パターンテ一ブル 1 0 0から変形パラメータ r d X， r d yのィ直を引 き出し、 これを加算部 1 1 0で加算することによって対応点を決定する 。 そして、 メモリ読み出しア ドレス生成部 3 5に向けて出力する。 これ は、 上記の他の実施の形態でも同様である。 こう して、 若干の R O Mメ モリ （変形パターンテーブル 1 0 0 ) への追加だけで、 対応点の演算処 理を行う要素を削除して回路を簡略化し、 かつ対応点演算処理量を削減 することができる。 また、 図 2 1に示すような簡単な数式では表現でき ない変形をサボ一卜することも可能になり、 より豊富な変形パターンラ ィブラリが考えられることになる。
実施の形態 6 .
本実施の形態では、 上記各実施の形態で示したような方法によって変 形プロックとして切り出される予測画像中の周波数特性を均一にし、 被 予測ブロックの予測を行う際のミスマッチを低減する符号化装置につレ、 て説明する。
予測画像が整数画素空間及び半画素空間に存在する画素値から構成さ れる場合、 整数画素と半画素では空間周波数特性が異なる。 一方、 被予 測ブロックはすべて整数画素空間の画素から構成されているので、 この 特性の違いが予測時のミスマツチの要因になることが考えられる。 そこ で本実施の形態では、 上記各実施の形態で述べた変形プロックの定義と 同様の定義を行った後、 整数画素空間上の画素に対してフィルタリング を行う。
半画素空間上の画素は、 周辺の整数画素に対して [ 1 2、 1 / 2 ] のフィルタ リ ングを行うことによって生成される。 即ち、 c o s ( co t / 2 ) の特性を持つローパスフィルタが施されることになる。 上記各実 施の形態で定義した予測画像は、 フィルタの施されていない整数画素と 、 上記フィルタリングによって生成される半画素精度の画素とが混在し ており、 予測画像内の空間周波数特性にばらつきがある。 このばらつき が原因で予測精度が落ちる場合には、 以下に述べるように、 整数画素に 対しても同等の特性を持つフィルタを施せば効果的である。
図 2 2は、 フィルタリ ングの例を示したもので、 ここでは整数画素に ついて式 （7 ) に示す、 [ 1 Z8、 6 8、 1 /8] の口一パスフィル タ Fを施す例を示している。
1 ( X , Υ) =F y [F x [ I (x, y) ] ]
F [ I (n) ] = ( i (n- 1) + 6 * I (n)
+ I (n + 1) ) /8 (7) このフィルタの特性は { c o s (ω t /2) } 2であり、 予測画像内 の空間周波数特性のばらつきが緩和される。 このようなフィルタ処理の 後、 上記各実施の形態と同様、 被予測ブロックの各点と予測画像の各点 との 1対 1対応付け、 探索、 動きベク トルの決定、 モード判定を行う。 具体的な装置構成と動作について説明する。
本実施の形態では、 これまでの実施形態とは、 変形プロックマツチン グ部と動き補償部が異なる。 以下では、 変形ブロックの定義は実施の形 態 4に基づく単純縮小パターンとし、 変形ブロックマッチング部の内部 構成は動き検出部 8 cの中の変形プロックマッチング部 4 2のバリエ一 シヨ ン、 動き補償部も動き補償部 9のバリエーションとして考える。 し たがって、 以下の説明においては、 変形ブロックマッチングの番号は 4
2 cとし、 動き補償部の番号は 9 bとして説明を進める。
図 2 3は、 本実施形態における変形ブロックマッチング部 4 2 cの動 作の概要説明図、 図 2 4は、 変形ブロックマッチング部 4 2 cの詳細な 内部構成図、 図 2 5は、 本実施の形態における変形ブロックマッチング 部 4 2 cの動作を示すフローチヤ一トである。 これらの図において、 前記までの図面と同一の番号を付した要素、 ス テツプは同一要素、 動作を意味するものとする。
まず、 変形ブロックマッチング部 4 2 cの動作について説明する。 実 施の形態 4と同じ動作の記述は省略する。
1 ) 処理概要
変形プロックの定義については実施の形態 4と全く同じであるが、 本 実施の形態では、 整数画素位置の画素に対してフィルタリングを行うこ とが異なる。 即ち、 図 2 3のように、 参照画像中にフィルタ処理対象画 素として の画素が定義されており、 変形ブロックは△及び口で示す画 素から構成される。
2 ) 初期設定 （探索範囲の設定、 初期値の設定）
実施の形態 4と全く同じである。
3 ) 予測画像候補画像の読み出し
被予測ブロック内の位置 x， yの画素に対応する対応点 s x， s yを 得る方法は、 実施の形態 4と全く同じである。 次いで、 参照画像から （ s X + d X , s y + d y ) だけ離れた位置にある参照画像中の画素をフ レームメモリから取り出す。 この際、 s x + d x， s y + d yに対応す る画素位置が整数画素空間上にあるか半画素空間上にあるかを判定する 。 これは、 単に s x + d x， s y + d yがそれぞれ半画素成分を持つか どうかで判定できる。 この判定は、 図 2 4における対応点決定部 4 8に おいて行う。 図 2 5では、 S 6 1のステップに相当する。 ここで、 半画 素空間にあると判定された場合は、 半画素生成部 2 3 2において半画素 値が生成される。 また、 整数画素空間にあると判定された場合は、 フィ ルタ部 5 0において図 2 2に示したフィルタリングを施す。 これは、 図 2 5における S 6 2のステップに相当する。
4 ) 予測誤差電力の算出 5 ) 最小予測誤差電力値の更新
6 ) 動きべク トル値の決定
実施の形態 4と全く同じである。
次に、 動き補償処理について説明する。
動き補償処理は動き補償部 9 bで行われる。
図 2 6は、 本実施形態における動き補償部 9 bの内部構成図、 図 2 7 は、 本実施の形態における動き補償部 9 bの動作を示すフローチヤ一ト である。
本実施の形態では、 図 7に示す動き補償部 9に比べ、 フィルタ部 5 0 が加えられていることに特徴がある。 対応点決定部 3 7は、 実施の形態 4で示したものと全く同じ動作をする。 動きパラメータ 1 1に含まれる 動き補償予測モ一ドがブ口ックマッチングを示している時は、 対応点は 被予測プロックの画面内位置信号 2 0 6から動きべク トルで指示される 量だけ平行移動させた領域に含まれる標本点とする。 この処理は、 図 4 4における S 2 0 4で、 （d x， d y ) を動きベク トルとした時の参照 画像 2 8中の位置 （x + d x， y + d y ) を決定する動作に相当する。 動きパラメ一タ 1 1に含まれる動き補償予測モードが変形プロックマ ツチングを示している時は、 被予測ブロックの画面内位置信号 2 0 6に 各画素位置に応じた編移量分を加算した後、 動きべク トルで指示される 量だけ平行移動させた領域に含まれる標本点となる。 この処理は、 図 1 7における S 4 7で、 （d x , d y ) を動きベク トルとした時の参照画 像 2 8中の位置 （ s x + d x， s y + d y ) を決定する動作に相当する 。 いずれの場合でも、 各画素ごとに半画素空間上にあるか否かを判定し 、 整数画素空間上にある画素については、 上述の変形ブロ ックマツチン グ部の予測画像生成処理と全く同じように、 図 2 2に示すフィルタ リ ン グを施す。 フィルタリングは、 フィルタ部で行う。 以下の予測画像デー タの読み出し、 予測画像の生成については、 実施の形態 1に準ずる。 本実施の形態における変形ブロックマッチング部 4 2 cは、 フィルタ を施さない場合の予測画像、 及びフィルタ Fを施した場合の予測画像の それぞれの場合について独立に探索を行って、 その結果を動き補償予測 モード判定部 2 2に送ってもよいし、 フィルタ Fを施さない場合のみ探 索を行い、 その結果だけに対してフィルタ Fを施して良好な結果を選択 するようにしてもよい。
このように、 フィルタ Fを適応的に O N Z O F Fする機構を設ける場 合は、 動きパラメ一タ 1 1の中にフィルタ O N / O F Fの情報も含める 本実施の形態によれば、 整数画素値へのフィルタリングだけで予測画 像内の空間周波数のばらつきを除く ことができ、 平行移動量である動き べク トルだけでは予測誤差を最小にできない、 つまり、 予測がうまく的 中しないような部分画像についても、 良好な予測を行うことができる。 実施の形態 7 .
図 2 8は、 この実施の形態における画像の予測方式を用いて圧縮符号 化されたディジタル画像を伸長再生する画像復号装置の構成を示したも のである。 ここでは、 実施の形態 1に示す画像符号化装置によって生成 される圧縮符号化データ （以下、 ビッ トス トリーム） 1 9を受信して伸 長再生を行う画像復号装置として説明する。
図 2 8において、 5 1はエン トロピー復号部、 6は逆量子化部、 7は 逆直交変換部、 5 3は復号加算部、 5 4はフレームメモリ、 5 6は表示 制御部である。
本発明の復号装置は、 動き補償部 9の構成と動作に特徴があり、 動き 補償部 9以外の上記の各要素について構成とその動作は既に知られてい るので、 詳細説明は省略する。 動き補償部 9は、 図 1における動き補償 部 9と同一であることを示す。 つまり、 その内部構成図は、 図 7に示し た内部構成図と同一であり、 その動作フローチャートは、 図 8に示した 動作フローチヤ一卜と同一である。
以下、 上記構成の装置の動作を説明する。
まず、 エン トロピ一復号部 5 1においてビッ トス トリ一ムが解析され
、 個々の符号化データに切り分けられる。 量子化直交変換係数 5 2は逆 量子化部 6に送られ、 逆量子化ステップ 'パラメ一タ 1 7を用いて逆量 子化される- この結果が逆直交変換部 7において逆直交変換され、 復号 加算部 5 3に送られる。 逆直交変換部は、 D C T等、 符号化装置で用い るものと同じものを用いる。
動き補償部 9には、 動きパラメータ 1 1 として、 次の 3種の情報が送 られる。 即ち、 ェン トロピー復号部 5 1でビッ トス トリ一ムから復号さ れた動きべク トル 2 5、 変形パターン情報 2 6 aと、 被予測画像領域 （ 本実施の形態では、 固定サイズブロック） の画面内位置を示す情報 2 7 aが入力される。 この際、 動きべク トル 2 5、 被予測画像領域の画面内 位置 2 7 aは、 被予測画像領域毎に固有の値であるが、 変形パターン情 報 2 6 aは、 被予測画像領域毎に固有の値であっても、 被予測画像領域 を複数まとめたより大きな画像 （例えば、 画像フレームや I S O Z I E C J T C 1 / S C 2 9 /W G 1 1に開示される V O Pなど） 毎に符号 化されていて、 その単位に含まれる全ての被予測画像領域について同じ 変形パターン情報を用いるように符号化されていてもよい。 動き補償部 9は、 これらの 3種類の情報に従ってフレームメモリ 5 4中の参照画像 から予測画像データ 1 2を取り出す。 予測画像生成の処理については、 動き補償部 9の動作説明の箇所で述べる。
動き補償部 9には、 エン トロピー復号部 5 1で復号された動きパラメ
—タ 1 1が送られる。 動き補償部 9は、 これらの動きパラメータ 1 1にしたがってフレーム メモリ 5 4中の参照画像から予測画像データ 1 2を取り出す。 この発明 による画像の予測方式は、 被予測プロックを構成する画素と予測画像を 構成する画素が 1対 1に対応しているので、 従来のブロックマッチング における動き補償と同様、 動きパラメータ 1 1によって予測画像領域が 一意に決定される。
復号加算部 5 3は、 イントラ/インター符号化指示フラグ 1 6の値に 基づいて、 イン トラ符号化ブロックならば、 逆直交変換部の出力をその まま復号画像 5 5と して出力し、 インター符号化ブロックなら、 逆直交 変換部の出力に予測画像データ 1 2を加算して復号画像 5 5として出力 する。 復号画像 5 5は表示制御部 5 6に送られ、 図示していない表示デ バイスに出力されるともに、 以降のフレームの復号処理において参照画 像として用いるために、 フレームメモリ 5 4に書き込まれる。
次に、 動き補償部 9における予測画像生成処理について説明する。 本実施の形態では、 画像の予測方式は、 被予測画像領域を構成する画 素と予測画像を構成する画素の位置の対応が予め変形パターン情報 2 6 aによって規定されているので、 動きべク トル 2 5による変位と変形パ ターン情報 2 6 aによる位置補正に基づく簡単なァドレス計算と内挿処 理とによって予測画像が生成される。
動き補償部 9の内部構成を図 2 9に示す。
同図において、 3 7は対応点決定部、 3 8はメモリ読み出しア ドレス 生成部である。
また、 図 3 0は、 その動作を示すフローチャートである。
また、 図 3 1は、 動きベク トルにより参照画像から切り出されて指定 された量だけ、 被予測画像の座標位置に移動する動きを説明する図、 図 3 2は、 移動先で更に指定された変形パターンでァドレッシングを行う 動作を説明する図である。
いずれの図においても、 〇は整数画素、 Xは半画素の位置を示すもの とする。
以下、 図 2 9及び図 3 0をもとに、 本実施の形態における動き補償部 9の動作を説明する。
1 ) 対応点の決定
まず、 対応点決定部 3 7において、 入力される動きベク トル 25、 変 形パターン情報 26 aに基づき、 被予測が増量域内の各画素に対応する 予測画像のサンプル位置を算出する。 まず、 動きベク トル 25に基づき 、 被予測画像の現在位置に対する予測画像の基準位置を決定する。 この 処理は、 図 3 1に示すように、 被予測画像の画面内位置 2 7 aを （ i， j ) 、 動きベク トル 2 5を （d x， d y ) としたとき、 （ i， ， j， ) = ( i + d x, j + d y ) を定めることに相当する （図 3 0の S 7 1 ) 次いで、 変形パターン情報 26 aに基づいて座標点 （ i ' ， j ' ) を 補正し、 最終的な予測画像のサンプル位置を求める。 図 3 2は、 変形パ ターン情報 2 6 aが 「縦横 1 /2縮小」 を示す場合の例を示している。 この変形パターンによれば、 予測画像の実行面積は、 被予測画像領域の 画面中に占める実行面積の 1ノ 4になる。 つまり、 予測画像が被予測画 像領域に対して縮小される形となり、 これにより、 画面中で拡大を伴う 動きなどの予測を効率化できる。 具体的な位置補正の処理としては、 参 照画像中の位置 （ i ' ， j ' ) に対応する補正位置 （ i "， J" ) を求め る。 これは、 次の演算で実現できる （図 30の S 72) 。 P T 97 5
56
f o r (y = 0； y < b 1 o ck一 he i g h t ； y + + ) j" =j ' +y/2
(7) f o r (x = 0； x<b 1 o c k一 w i d t h ; x + + )
i" = i ' +x/2
なお、 図 3 2では、 b 1 o c k— w i d t h = b 1 o c k— h e i g h t = 4の場合、 つまり、 画素数が 4 X 4を 1ブロックとした場合を示 しているが、 これらは任意の正の整数、 つまり、 任意の画素数の高さと 幅のブロックを取り得る。
以上によって求めた座標点 （ i " ， j " ) 力 （ i， j ) に対応する 予測画像サンプル位置として出力される。
2) 予測画像生成用データの読み出し
対応点決定部 3 7から出力される予測画像サンプル位置をもとに、 メ モリ読み出しァドレス生成部 3 8がフレームメモリ 5 4に蓄積されてい る参照画像中の予測画像生成に必要な画像データの位置を特定するメモ リア ドレスを生成し、 予測画像生成用データを読み出す。
3) 予測画像の生成
予測画像を生成する画素の内、 整数画素位置の座標値のみをァドレツ シングする場合は、 予測画像生成用データがそのまま予測画像構成画素 となる。 一方、 半画素精度の位置の座標値がア ドレッシングされた場合 、 半画素生成部 2 3 2によって予測画像生成用データの内挿処理がされ て、 半画素値が生成される。 具体的に、 半画素値の生成は、 図 3 3によ る。 図 3 3の方法は、 単に加算 2分演算であり、 符号化装置の実施の形 態 1で説明した半画素生成部 2 3 2のフロー図である図 8の S 2 4を、 再び説明したものである。
なお、 上記図 3 2による動き補償部 9の動作を説明したが、 変形バタ —ン情報が図 3 2とは異なる内容を含んでいる場合には、 変形処理が異 なってくる。
他の変形パターンの例として、 図 3 4の場合を説明する。 この場合、 変形後の （ i "， Γ' ) は、 以下のようにして求められる。
Figure imgf000059_0001
このように、 変形パターン情報が変形プロックをどのように切り出す かを取り決めておけば、 それに基づいて簡単なァドレッシングで変形処 理した動き補償を行った復号ができる。
以上のように、 本実施の形態の画像復号装置によれば、 予め変形バタ —ンを用意しておき、 対応するモード情報に従って簡単なサンプル位置 の計算を行うだけで、 平行移動では追跡しきれない複雑な動きを効率よ く予測して符号化されたビッ トストリ一ムから再生画像を得ることがで さる。
本実施の形態では、 直交変換符号化以外の別の符号化方式によって予 測誤差信号を符号化したビッ トストリームであっても、 動き補償部 9以 外の予測誤差信号復号処理のための要素を変更することで、 同様の効果 を得ることができる。
また、 本実施の形態では、 固定サイズブロックを単位と して復号処理 を行う例について述べたが、 これは通常のテレビ信号のフレームを単位 とする復号装置に適用できるだけでなく、 固定サイズプロックから構成 される任意形状画像オブジェク ト （例： I SOZ I EC J TC I ZS C 2 9 ZWG 1 1 /N 1 79 6で開示される V i d e o Ob j e c t P 1 a n eなど） を単位とする復号装置にも適用可能である。 例えば 、 実施の形態 1で述べた図 9に示すように、 静止した背景の前に人物像 が存在するようなシーンにおいて、 人物像を 1つの画像オブジェク トと して、 それを取り囲む外接四角形内の領域を小ブロックに分割し、 画像 オブジェク トを含むプロックを有効プロックとして符号化されたビッ ト ス トリームを復号する場合が考えられる。 この場合は、 これら有効プロ ックに対して同様の処理を適用すればよい。
実施の形態 8.
実施の形態 7の画像復号装置は、 実施の形態 1ないし 6の画像復号装 置に対応した整数画素又は半画素のみを用いてァドレッシング （座標指 定） するだけで、 予め決められた変形処理をして動き補償を行う装置を 説明した。 本実施の形態では、 ア ドレッシングの際に、 半画素生成以外 の演算を行って、 より精密な動き補償を行う画像復号装置を説明する。 図 3 5は、 本実施の形態における圧縮符号化されたディジタル画像を 伸長再生する画像復号装置の構成を示したものである。
同図において、 90は動き補償部、 2 5 bは 0〜4本の動きベク トル 、 60は内挿処理精度指示情報である。
また、 図 36は、 動き捕償部 90の內部構成図である。 図において、 3 7 bは動きパラメータとして、 図 3 5に示された動き ベク トル 2 5 b、 変形パターン情報 2 6 a、 被予測画像領域の画面内位 置 2 7 a及ぴ内挿処理精度指示情報 6 0を入力として対応点を決める対 応点決定部であり、 2 3 2 bは演算によって内挿した座標位置を求める 内挿処理部である。 この際、 被予測画像領域の画面内位置 2 7 aは、 被 予測画像領域毎に固有の値であるが、 動きべク トル 2 5 bと変形パター ン情報 2 6 aは、 被予測画像領域毎に固有の値であっても、 被予測画像 領域を複数まとめたより大きな画像 （例えば、 画像フレームや I S O / I E C J T C 1 / S C 2 9 /W G 1 1に開示される V O Pなど） 毎に 符号化されていて、 その単位に含まれる全ての被予測画像領域について 同じ動きべク トルと変形パターン情報を用いるように符号化されていて もよい。
また、 図 3 7は、 図 3 6の動き補償部の動作フロ一チヤ一ト、 図 3 8 は、 同じく動作を説明する図である。
以下、 上記構成の装置の動作を説明する。
本実施の形態においては、 従来の動きべク トルが該当ブロックを代表 する 1本のみであったのに対して、 参照画像のブロックの四角の頂点 4 本までが入力され、 それに対応して、 まず、 座標位置が後に対応点の決 定の動作で説明する演算で求められる。 更に、 その求まった座標位置を 内挿処理指示情報で丸め込んで座標位置を確定する。
動き補償部 9 0以外の部分の動作は、 実施の形態 7の装置と同様であ る。 即ち、 ェン トロピー復号部 5 1 において、 ビッ トス ト リームが解析 され、 個々の符号化データに切り分けられる。 量子化直交変換係数 5 2 は、 量子化ステップ 'パラメータ 1 7を用いて逆量子化部 6、 逆直交変 換部 7で復号処理され、 復号加算部 5 3に送られる。 復号加算部 5 3は 、 イントラ インター符号化指示フラグ 1 6の値に基づいて、 イントラ 符号化プロック、 ィンター符号化プロックの区別に応じて予測画像デ一 タ 1 2をそのまま又は加算して復号画像 5 5として出力する。 復号画像 5 5は、 表示制御部 5 6に送られ、 表示デバイスに出力され、 また、 参 照画像としてフレームメモリ 54に書き込まれる。
以下、 動き補償部 9 0における予測画像生成処理について説明する。 本実施の形態では、 変形パターン情報 2 6 aに従って、 必要な本数の 動きべク トル 2 5 bを用いて変形に必要な変換式を得て、 その変換式に よって被予測画像領域の各画素に対応する予測画像構成画素のサンプル 位置を決定した後、 内挿処理精度指示情報で定められた画素制度に従つ た簡単な内挿処理によつて予測画像が生成される。
以下、 図 3 6ないし図 3 8をもとに、 本実施の形態における動き補償 部 9 0の動作を説明する。
1 ) 対応点の決定
対応点決定部 3 7 bにおいて、 入力される動きべク トル 2 5 b、 変形 パターン情報 2 6 aに基づき、 被予測画像領域内の各画素に対応する予 測画像のサンプルすべき座標位置を算出する。 図 3 8のように、 ここで は動きべク トル 2 5 bは、 被予測画像領域の外接四角形の各頂点の 4つ の動きベク トルとする。 まず、 変形パターン情報 2 6 aに対応して変形 に必要な変換式を得る。 例えば、 以下のような変換式を用いる。
1 - 1 ) 動きがなく、 静止状態 （必要な動きべク トルの本数： 0本）
( i ' , j ' ) = ( i , j ) (9) 1 - 2) 平行移動 （必要な動きべク トルの本数： 1本）
( i ' ， j ' ) = ( i + d x 0 , j + d y O) ( 1 0) 1 - 3) 等方変換 （必要な動きべク トルの本数： 2本） 一- +
(
y o
i = ( (x Γ -x 0' ) /W) * i + ( (y 0 -y Γ ) /W* j
+ (x 0' - (x 0 (x -x 0' ) +y 0 ； y 0' - y 1' ) ) /W)
y o (11) o(
j = ( (y Γ -y 0' ) ， y /W) * i + ( (x 1 一 x 0' ) /W* j
+ (y 0' - (y 0 (x ) 1
/， -x 0' ) +x0 (y O' -y ) ) /W) o i
但し、 ， +
(x O， y 0) ：被予測画像領/ (域 ¾ y の外接四角形の左上隅頂点座標
+ 2
( X 1， y 1) ：被予測画像領域の外接四角形の右上隅頂点座標
o
y(
(x O， ， y 0 ' ) ： 第 1の動きベク ト o yル （d x O， d y O) によつ て （x O， y 0) を変位させた座標
H y
( X 1 ' , y 1 ' ) ： 第 2の動きべク トル （d )ox l， d y 1 ) によつ
， *
て （X 1， y 1 ) を変位させた座標 ノ
H
W： X 1 - 0
1 -4) ァフィン変換 （必要な動きベク トルの本数： 3本）
= ( (χ Γ X 0' ) /W* i :χ2' - χ θ' ) /H* j
+ (χ 0' - X 0 (X 1 ' — X 0: 0 (x 2' -x 0' ) ) /H)
(12)
但し、
( x 0， y 0) ：被予測画像領域の外接四角形の左上隅頂点座標 (x l , y 1) ：被予測画像領域の外接四角形の右上隅頂点座標 (x 2, y 2) ：被予測画像領域の外接四角形の左下隅頂点座標
( X 0 ' , y 0 ' ) ： 第 1の動きべク トル （d x O， d y O) によつ て （x 0， y 0) を変位させた座標
( X 1 ' ， y 1 ' ) ： 第 2の動きべク トル （d x l , d y l ) によつ て （x 1， y 1) を変位させた座標
( X 2 ' ， y 2 ' ) ： 第 3の動きベク トル （d x 2， d y 2 ) によつ て （x 2， y 2) を変位させた座標
W： X 1 - X 0
H ： y 2 - y 0
1 - 5) 透視変換 （必要なべク トルの本数： 4本）
i ' = (A* i + B* j + C) / (P* i +Q* j +Z*W*H)
(13) j ' = (D* i +E* j +F) / (P* i†Q* j +Z*W*H) 但し、
Figure imgf000064_0001
( x 0, y 0) ：被予測画像領域の外接四角形の左上隅頂点座標 ( X 1， y 1 ) ：被予測画像領域の外接四角形の右上隅頂点座標 T/JP97/03825
63
(x 2, y 2) ：被予測画像領域の外接四角形の左下隅頂点座標
(x 3, y 3) ：被予測画像領域の外接四角形の右下隅頂点座標
( X 0 ' , y 0 ' ) ： 第 1の動きべク トノレ （d x O， d y O) によつ て （ X 0， y 0) を変位させた座標
(x l， ， y l， ） ： 第 2の動きべク トル （d x l， d y l ) によつ て （X 1， y 1) を変位させた座標
( X 2 ' , y 2 ' ) ： 第 3の動きべク トル （d x 2， d y 2 ) によつ て （x 2， y 2) を変位させた座標
( X 3 ' , y 3 ' ) ： 第 4の動きベク トル （d x 3， d y 3) によつ て （x 3， y 3) を変位させた座標
W： X 1— X 0
H： y 2— y 0
変形パターン情報 26 aの形式としては、 上記の変換式である式 （9 ) ないし式 （ 1 3) を直接識別するビッ トでもよいし、 各変換が動きべ ク トルの本数に対応していることから、 動きベク トルの本数を表現する ビッ トでもよい。 以上の変換式によって、 被予測画像領域の点 （ i， j ) が参照画像中の （ i ' ， j ' ) に対応付けられる。 また、 対応点位置 計算の際に、 予測画像のサンプル位置は、 内挿処理精度指示情報 60で 定められる精度の値まで取り得るようにする。 例えば、 半画素精度まで に丸め込むとすれば、 上記変換式によって得られた （ i ' ， j ' ) は、 半画素精度の値に丸められる。 1 4画素情報までとすれば、 （ i ' ， j ， ） は、 1 /4画素精度の値に丸め込められる。 このサンプル位置精 度を表す情報は、 ビッ トストリ一ム中から抽出する。
以上のように、 本実施の形態では、 動きベク トル 25 bからダイレク トに対応点決定ルールを定め、 これに基づいて予測画像のサンプル位置 を決定する。 T/JP97/03825
64
2 ) 予測画像生成用データの読み出し
対応点決定部 3 7 bから出力される予測画像サンプル位置をもとに、 メモリ読み出しァドレス生成部 3 8 bがフレームメモリ 5 4に蓄積され ている参照画像中の予測画像生成に必要な画像データの位置を特定する メモリアドレスを生成し、 予測画像生成用データを読み出す。
3 ) 予測画像の生成
予測画像を構成する画素の内、 整数画素位置の座標値のみをァドレツ シングする場合は、 予測画像生成用データがそのまま予測画像構成画素 となる。 本実施の形態では、 予測画像をア ドレッシングしてサンプルす る位置は、 上記のように予め定められた精度、 例えば、 半画素、 1ノ 4 画素の値を取り得る。 実数精度の位置の画素の場合は、 内揷処理部 2 3 2 bにおいて、 内挿処理精度指示情報 6 0で定められる整数精度とする 指示に基づき、 予測画像の整数画素値が生成される。 本実施の形態では 、 対応点決定部において、 既に最終的なサンプル位置を内挿処理精度指 示情報 6 0で指定される精度で丸めるが、 内挿処理は、 図 3 9のように 、 次の式 （ 1 5 ) の処理をする。 なお、 半画素精度の位置であれば、 実 施の形態 1に述べた半画素生成部 2 3 2と全く同じ処理となる。
Figure imgf000067_0001
以上のように、 本実施の形態の画像復号装置によれば、 ゼロ又は複数 本の動きべク トルを用いて簡単なサンプル位置計算を行うことで、 複雑 度の異なる動きを効率よく予測して符号化されたビッ トス トリ一ムから 再生画像を得ることができる。
実施の形態 1ないし実施の形態 6における画像符号化装置及ぴ実施の 形態 7における画像復号装置は、 整数画素及び半画素のァドレッシング のみで変形処理した動き補償を用いて高速で複雑な画像符号化、 復号を 行っている。
これに対して、 本実施の形態における画像復号装置は、 同様の構成を 用いて、 しかし、 対応点決定の演算を参照画像と被予測画像の対象プロ ックがよりマッチングし、 従って、 より適切な動きを得るため強化した ものである。 これにより、 よりスムーズな動きを得ることができる。 本実施の形態では、 直交変換符号化以外の別の符号化方式によって予 測誤差信号を符号化したビッ トストリームであっても、 動き補償部 9 0 以外の予測誤差信号復号処理のための要素を変更することで、 同様の効 果を得ることができるのは、 実施の形態 7と同じである。
また、 本実施の形態では、 固定サイズブロックを単位として復号処理 を行う例について述べたが、 これは通常のテレビ信号のフレームを単位 とする復号装置に適用できるだけでなく、 固定サイズプロックから構成 される任意形状画像オブジェク ト （V i d e o O b j e c t P 1 a n eなど） を単位とする復号装置にも適用可能であるのも、 実施の形態 7と同じである。
実施の形態 9 .
上記各実施の形態では、 動きを検出する被予測画像の 1プロックを構 成する画素数については言及しなかった。 言い換えれば、 任意の高さ （ H ) と幅 （W) の画素を対象と考えてきた。 本実施の形態では、 この H と Wの画素数を 2のべき乗に制限して座標演算を簡略化する場合を説明 する。 こうすることで、 対応点決定部の負荷が減り、 演算を高速化でき る。
本実施の形態では、 図 3 6に示した実施の形態 8における動き補償部
9 0の内、 3 7 c として対応点決定部の動作のみが異なるので、 対応点 決定部の動作についてのみ説明する。
図 4 0は、 対応点決定部 3 7 cの動作の様子を示すフローチヤ一トで ある。
また、 図 4 1は、 対応点決定部 3 7 cの動作を説明する図である。
以下、 図 4 0をもとに、 本実施の形態における対応点決定部 3 7 cの 動作を説明する。
本実施の形態における対応点決定部 3 7 cは、 動きベク トル 2 5 b、 変形パターン情報 2 6 a、 内揷処理精度指示情報 9 1、 被予測画像領域 の画面内位置 2 7 aを入力とし、 被予測画像領域内の各画素に対応する 予測画像のサンプル位置を以下の式に基づいて算出して出力する。 この 際、 被予測画像領域の画面内位置 2 7 aは、 被予測画像領域毎に固有の 値であるが、 動きべク トル 2 5 bと変形パターン情報 2 6 aは、 被予測 画像領域毎に固有の値であっても、 被予測画像領域を複数まとめたより 大きな画像 （例えば、 画像フレームや I S Oノ I E C J TC 1 /S C 29 /WG 1 1に開示される VO Pなど） 毎に符号化されていて、 その 単位に含まれる全ての被予測画像領域について同じ動きベク トルと変形 パターン情報を用いるように符号化されていてもよい。 以下では、 動き べク トルを最大 3本使用する場合の例について説明する。
動きベク トル 25 bは、 （x 0， y 0 ) と、 図 4 1のように、 被予測 画像領域の外接四角形の左上隅及び右下隅の頂点を、 左上隅の頂点から 2のべき乗で表現可能な距離まで延長した点 （x O +W' ， y O) (W ' ≥W， W = 2m ) 及び （x 0， y 0 +H' ) (Η' ≥H， Η' = 2 n ) の動きべク トルであるとする。 これらの動きべク トルに基づいて、 変 形パターン情報 26 aに対応して、 以下の変形に必要な変換式である式 (1 6) ないし式 （1 9) を得る。
1一 1 ) 動きなし （必要なべク トルの本数： 0本）
( i ' , j ' ) = ( i , j ) (1 6) 1 - 2) 平行移動 （必要なべク トルの本数： 1本）
( ! ' , j ' ) = ( i + d x O, j + d y O) (1 7) 1 - 3) 等方変換 （必要なべク トルの本数： 2本） i ' = ( ( x 1" - x 0 '
+ ( (y0， -y l" ；
+ (χθ' - (χθ (x 1
+ y0 (y 0' - y 1" )
(18)
Γ = ( (y l" -y 0' ) ) i
+ ( ( x 1" - x 0 ' ) * j
+ (y 0' - (y 0 (x 1 χθ'
+ x 0 (y 0， 一 y 1" ) o .1. · I • 但し、
( x 0 y 0) ：被予測画像領域の外接四角形の左上隅頂点座標 (x 1 y 1 ) ：被予測画像領域の外接四角形の右上隅頂点座標
( x 0 ， y 0 ' ) ： 第 1の動きべク トル （d x O， d y O) によつ て （x 0 y 0) を変位させた座標
(x 1 , y 1 ' ) ： 第 2の動きべク トル （d x l， d y l ) によつ て （x O+W ， y 0) を変位させた座標
1 -4) ァフィン変換 （必要な動きべク トルの本数： 3本）
二 （ （X 1 " - xO' ) /W' ) * i
+ ( (x 2" - χθ' ) /H' ) * j
+ (χ0' -χ 0 (χ ' -χ 0' )
+ y 0 (x 2" -x 0' ) ) /H' )
二 （ （y Γ — y 0' ) /W' ) * i
+ ( (y 2" -y 0' ) /H' ) * j
+ (y 0' -x 0 (y 1" 一 y 0' )
+ y0 (y 2" -y 0' ) ) /H， )
但し、
(x 0, y 0) ：被予測画像領域の外接四角形の左上隅頂点座標
( X 1， y 1 ) ：被予測画像領域の外接四角形の右上隅頂点座標 T/JP97/03825
69 x 2, y 2) ：被予測画像領域の外接四角形の左下隅頂点座標
X 0 ' , y 0 ' ) ： 第 1の動きベク トル （d x O， d y O) によつ て X 0, y 0) を変位させた座標
x l " , y 1 " ) ： 第 2の動きべク トル （d x l， d y l ) によつ て （x O+W， ， y 0) を変位させた座標
X 2" ， y 2" ) ： 第 3の動きべク トル （d x 2， d y 2) によつ て （x 0， y O +H' ) を変位させた座標
変形パターン情報 26 aの形式としては、 上記の変換式である式 （ 1 6) ないし式 （ 1 9) を直接識別するために表記した複数のビッ トで構 成されたビッ ト列でもよいし、 各変換が動きべク トルの本数に対応して いることから、 動きべク トルの本数を表現するビッ トでもよレ、。
以上の変換式によって、 被予測画像領域の点 （ i， j ) が参照画像中 の （ i ' ， j ' ) に対応付けられる。 また、 対応点位置計算の際に、 予 測画像のサンプル位置は、 ある定められた精度の値まで取り得るように する。 例えば、 半画素精度までに丸め込むとすれば、 上記変換式によつ て得られる （ i ' ， j ' ) は、 半画素精度の値となり、 1ノ 4画素精度 に丸め込む指示とすれば、 （ i ' ， j ' ) は、 1 /4画素精度の値とな る。 このサンプル位置精度を表す情報は、 ビッ トス トリーム中から抽出 する。
以上のように、 本実施の形態では、 動きベク トル 25 bからダイレク トに対応点決定ルールを定め、 これに基づいて予測画像のサンプル位置 を決定する。
2) 予測画像生成用データの読み出し
3) 予測画像の生成
に関しては、 実施の形態 8と全く同じ動作をするので、 詳細記述は省略 する。 25
70 以上のように、 本実施の形態の画像復号装置によれば、 ゼロ又は複数 本の動きべク トルを用いてサンプル位置計算を行う際に、 W， 又は H， による除算演算を全てビッ トシフト演算に置き換えて計算できるので、 より高速にサンプル位置の決定を行うことができるとともに、 複雑度の 異なる動きを効率よく予測して符号化されたビッ トス トリ一ムから再生 画像を得ることができる。
本実施の形態の動き補償を、 他の符号化方式に基づく画像復号装置に 用いる場合も、 対応する要素を変更することで同様の効果を得ることが できる。 また、 固定サイズブロックから構成される任意形状画像ォブジ ェク ト （V i d e o O b j e c t P 1 a n eなど） を単位とする復 号装置にも適用可能であることは、 実施の形態 7と同じである。
なお、 本発明の画像符号化装置と、 画像復号装置は、 組にして特徴の ある画像符号化復号システムを構成する。
また、 各動作フローチャートで表される動作を行うことにより、 即ち 、 変形ブロックマッチングステップと、 対応点決定ステップと動き補償 画像生成ステップと復号加算ステップを備えることにより、 特徴ある画 像符号化方法、 画像復号方法を得ることができる。 産業上の利用可能性
以上のように、 この発明によれば、 実標本点の整数画素またはその中 間の半画素を用いて、 座標指定のみで得られる変形プロックで画像の動 きの予測を行うため、 動きべク トルのような平行移動量だけでは予測が うまくいかない部分画像でも、 ァフィン変換のような複雑な演算なしに 効率よく予測できる効果がある。 また、 回転やスケーリングなどの数式 で記述可能な変形だけでなく、 数式で簡単に記述できない、 即ち、 演算 による実現が困難な変形にも対応できる効果がある。 対応復号装置でも 、 効率よく優れた画像を再現できる効果がある。
また更に、 ァフィン変換のような複雑な画素補間演算を行うことなく 、 対応点の決定による座標指定のみによって回転と縮小または拡大を組 合せた動きをうまく予測できる効果がある。
また更に、 平行移動によるブロックマッチングの動きベク トルを利用 することで、 変形ブロックマッチングの探索範囲を効果的に削減するこ とができ、 動き補償予測全体の演算量を低減できる効果がある。
また更に、 ァフィン変換のような複雑な画素補間演算を行うことなく 、 座標指定のみによって単純縮小または拡大スケ一リングによる動きを 効率良く予測できる効果がある。
また更に、 変形パターンテーブルを参照するだけで対応点が決定でき るので、 ァフィン変換のような簡単な数式では表現できないような任意 の変形に伴う動きをもうまく予測できる効果がある。
また更に、 フィルタを用いて変形プロック内の空間周波数特性をフラ ッ トにすることができ、 予測のミスマッチを低減できる効果がある。 画像符号化装置の変形ブロックマッチングと動き予測に対応した復号 装置を構成したので、 高速で最適な動き予測を行った画像データを復号 再生できる効果がある。
また更に、 画像復号装置のア ドレッシングにおいて、 自由度が高い動 き予測を復号できるので、 動きのスムーズな画像を再生できる効果があ る。

Claims

請求の範囲
1 . 入力画像を所定のブロックに分割して、 上記ブロックのフレーム 間の動き検出による動き補償予測手段を備えて、 入力画像を圧縮符号化 する画像符号化装置において、
動き検出用の参照画像の対応する部分領域に存在する実標本点である 整数画素のみを所定の形式に変形化して座標指定して抽出し、 入力画像 の上記ブロックの整数画素と比較する変形ブロックマッチング部を含ん で上記座標指定して抽出した最小誤差を与える動きべク トルを出力する 動き検出部と、
上記変形ブロックマッチング部を含めた比較出力から得られる動きパ ラメータに従って上記参照画像のプロックを対応して変形し座標指定し て決める対応点決定部を含んで予測部分画像を出力する動き補償部とを 備えた画像符号化装置。
2 . 変形ブロックマッチング部は、 参照画像の部分領域の所定の形式 の変形化に際しては、 整数画素と、 整数画素の中点である半画素とを使 用して変形化するようにしたことを特徴とする請求項 1記載の画像符号 化装置。
3 . 入力画像を符号化の対象領域として画像オブジェク トの部分領域 に分離する前処理部を付加して、 分離した上記各画像オブジェク トをブ 口ックに分割して動き検出、 及び動き補償をすることを特徴とする請求 項 1または請求項 2記載の画像符号化装置。
4 . 変形ブロックマッチング部及び動き補償部は、 整数画素または半 画素を座標指定する際に、 隣接または所定整数倍した隣接点を座標指定 して抽出して比較する変形ブロックマッチング部と、 同様に参照画像を 処理して出力する動き補償部としたことを特徴とする請求項 1または請 求項 2記載の画像符号化装置。
5 . 変形ブロックマッチング部及び動き補償部は、 整数画素または半 画素を所定の角度方向に回転した座標指定をして抽出し比較する変形ブ 口ックマッチング部と、 同様に参照画像を処理して出力する動き補償部 としたことを特徴とする請求項 1または請求項 2記載の画像符号化装置
6 . 所定の角度方向の回転は、 正負 4 5度、 9 0度、 1 3 5度または 1 8 0度であることを特徴とする請求項 5記載の画像符号化装置。
7 . 変形ブロックマッチング部及び動き補償部は、 平行移動後の参照 画像の部分領域が示す領域を探索して、 該探索領域を拡大または縮小、 または所定の角度方向の回転を組み合わせて動かして比較する変形プロ ックマッチング部と、 同様に参照画像を処理して出力する動き補償部と したことを特徴とする請求項 1記載の画像符号化装置。
8 . 変形ブロックマッチング部は、 参照画像の部分領域を変形加工し て比較するための変形パターンテーブルを備え、 上記変形パターンテ一 ブルから引き出した変換値に基づく部分領域の画像を入力画像の上記ブ 口ックの整数画素または半画素と比較する変形プロックマッチング部と し、 動き補償部も、 同様に参照画像を処理して出力する動き補償部とし たことを特徴とする請求項 1または請求項 2記載の画像符号化装置。
9 . 変形ブロックマッチング部は、 対応評価のために抽出された参照 画像の特定画素を選択的にフィルタ処理をして比較することを特徴とす る請求項 1または請求項 2記載の画像符号化装置。
1 0 . 動き検出のためのフレームは、 時間的に前のまたは後ろのフレー ムとし、 参照画像は、 上記時間的に前のまたは後ろのフレームを記憶し て入力画像と比較するようにしたことを特徴とする請求項 1または請求 項 2記載の画像符号化装置。
1 1 . フレーム間の動き検出による動き補償予測手段を備えた入力情報 の画像圧縮符号を伸張再生する画像復号装置において、
上記動き補償予測手段には、 入力情報中の動きパラメータに基づいて 対応する部分領域の予め用意された整数画素を所定の形式座標指定し手 抽出する機構を備え、 上記所定の形式に変形処理した部分領域の画像信 号を出力加算するようにした画像復号装置。
1 2 . 動き補償予測手段には半画素に対しても、 座標指定して抽出する 機構も持たせて、 対応する画像符号化装置が持つ動き検出手段の変形ブ 口ックマッチングの持つ拡大、 縮小または回転に対応する処理をさせる ことを特徴とする請求項 1 1記載の画像復号装置。
1 3 . 入力のディジタル画像の圧縮符号化のために参照画像を記憶し所 定ブロックに分割してフレーム間の動き検出をする動き補償予測手段を 備えて、
上記参照画像の部分領域の整数画素を所定の形式に変形化して座標指 定して抽出し、 予測部分画像を生成して入力画像の上記ブロックと比較 する変形ブロックマッチングステップと、
上記変形プロックマツチングを含んで選ばれた最小誤差を与える動き べク トルから、 上記座標指定により上記部分領域を対応点決定して動き 補償出力とする対応点決定ステップとを備えたことを特徴とする画像符 号化方法。
1 4 . 変形ブロックマッチングステップは、 参照基準として座標指定し て抽出し、 参照画像の部分領域の整数画素の他にその中点の半画素も加 えて所定の形式に変形化して座標指定して抽出し、 予測部分画像を生成 して比較する変形プロックマッチングステップとしたことを特徴とする 請求項 1 3記載の画像符号化方法。
1 5 . 参照画像の部分領域を変形加工する変形パターンテーブルを備え て、 変形ブロックマッチングに際して、 上記変形パターンテーブルを参 照して対応ァドレスを読み出した変換値に基づく部分領域の画像を入力 画像と比較する変形プロックマッチングステップとしたことを特徵とす る請求項 1 3または請求項 1 4記載の画像符号化方法。
1 6 . 入力の画像圧縮符号を伸張再生するために参照画像を記憶し所定 のプロックに分割してフレーム間の動き補償をする動き補償予測手段を 備えて、
上記入力の画像符号の参照パラメータに基づき部分領域に対応する参 照画像の部分領域の予め用意された整数画素を、 送信側の画像符号化方 法に対応して所定の形式に変形化して座標指定して抽出し、 予測部分画 像を生成する動き補償画像生成ステップと、
上記予測部分画像を加算して再生画像を得る復号加算ステップとを備 えたことを特徴とする画像復号方法。
1 7 . 動き補償画像生成ステップは、 予測画像の生成のために参照画像 の部分領域の整数画素の他にその中点の半画素も加えて所定の形式に変 形化して座標指定して抽出し、 予測部分画像を生成するステップとした ことを特徴とする請求項 1 6記載の画像復号方法。
1 8 . 入力画像を所定のブロックに分割して、 上記入力画像を圧縮符号 化するため、
動き検出用の参照画像の対応する部分領域に存在する実標本点である 整数画素のみを所定の形式に変形化して座標指定して抽出し、 入力画像 の上記プロックの整数画素と比較する変形プロックマッチング部を含ん で上記座標指定して抽出した最小誤差を得る動きべク トルを出力する動 き検出部と、 上記変形プロックマッチング部を含めた比較出力から得ら れる動きパラメータに従って上記参照画像のプロックを対応して変形し 座標指定して決める対応点決定部を含んで予測部分画像を出力する動き 補償部とを備えた画像符号化装置と、
フレーム間の動き検出による動き補償予測手段を備えて入力情報の画 像圧縮符号を伸張再生するため、
上記動き補償予測手段には、 入力情報中の動きパラメータに基づいて 対応する部分領域の予め用意された整数画素を所定の形式に座標指定し て抽出する機構を備え、 上記所定の形式に処理した部分領域の画像信号 を出力加算するようにした画像復号装置、 とで構成される画像符号化復 号システム。
PCT/JP1997/003825 1997-03-17 1997-10-23 Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system WO1998042135A1 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
US09/180,188 US6404815B1 (en) 1997-03-17 1997-10-23 Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
AU47226/97A AU704916B2 (en) 1997-03-17 1997-10-23 Video encoder, video decoder, video encoding method, video decoding method and video encoding and decoding system
KR1019980709254A KR100319944B1 (ko) 1997-03-17 1997-10-23 화상부호화장치및화상복호장치
EP19970909589 EP0905980B1 (en) 1997-03-17 1997-10-23 Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
JP54033398A JP3386142B2 (ja) 1997-03-17 1997-10-23 画像復号装置および画像復号方法
DE69738792T DE69738792D1 (de) 1997-03-17 1997-10-23 Vorrichtungen, verfahren und system zur codierung und decodierung von bildern
US10/086,446 US7110456B2 (en) 1997-03-17 2002-03-04 Video encoder, video decoder, video encoding method, video decoding method, and video encoding and decoding system
US11/352,377 US8194742B2 (en) 1997-03-17 2006-02-13 Video decoder
US11/386,685 US8170105B2 (en) 1997-03-17 2006-03-23 Video decoder and video decoding method
US12/648,837 US8098734B2 (en) 1997-03-17 2009-12-29 Video encoder, video decoder, video encoding method, video decoding method, and video encoding and decoding system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP1997/000834 WO1998042134A1 (en) 1997-03-17 1997-03-17 Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
JPPCT/JP97/00834 1997-03-17

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US09180188 A-371-Of-International 1997-10-23
US09/180,188 A-371-Of-International US6404815B1 (en) 1997-03-17 1997-10-23 Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US10/086,446 Division US7110456B2 (en) 1997-03-17 2002-03-04 Video encoder, video decoder, video encoding method, video decoding method, and video encoding and decoding system

Publications (1)

Publication Number Publication Date
WO1998042135A1 true WO1998042135A1 (en) 1998-09-24

Family

ID=14180217

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP1997/000834 WO1998042134A1 (en) 1997-03-17 1997-03-17 Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
PCT/JP1997/003825 WO1998042135A1 (en) 1997-03-17 1997-10-23 Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP1997/000834 WO1998042134A1 (en) 1997-03-17 1997-03-17 Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system

Country Status (7)

Country Link
US (5) US6404815B1 (ja)
EP (8) EP2252066A3 (ja)
JP (1) JP3386142B2 (ja)
KR (1) KR100319944B1 (ja)
AU (2) AU1941797A (ja)
DE (4) DE69740005D1 (ja)
WO (2) WO1998042134A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136237A (ja) * 2008-01-16 2008-06-12 Hitachi Ltd 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
WO2010021153A1 (ja) 2008-08-21 2010-02-25 パナソニック株式会社 動き検出装置
JP2011055556A (ja) * 2010-12-14 2011-03-17 Hitachi Ltd 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
CN101218830B (zh) * 2005-07-22 2011-10-12 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US8917763B2 (en) 2011-03-07 2014-12-23 Panasonic Corporation Motion compensation apparatus, video coding apparatus, video decoding apparatus, motion compensation method, program, and integrated circuit
US10659802B2 (en) 2016-08-15 2020-05-19 Nokia Technologies Oy Video encoding and decoding

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998042134A1 (en) * 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6690731B1 (en) * 1997-12-01 2004-02-10 Neostar, Inc. Method and apparatus for diagonal processing of video data
US8179971B1 (en) 2003-12-08 2012-05-15 G&H Nevada-Tek Method and apparatus for video data compression
FR2795589B1 (fr) * 1999-06-11 2001-10-05 Centre Nat Rech Scient Decodeur video optimal base sur les standards de type mpeg
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
KR100359115B1 (ko) * 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
US20030021347A1 (en) * 2001-07-24 2003-01-30 Koninklijke Philips Electronics N.V. Reduced comlexity video decoding at full resolution using video embedded resizing
US7181070B2 (en) * 2001-10-30 2007-02-20 Altera Corporation Methods and apparatus for multiple stage video decoding
US7403981B2 (en) * 2002-01-04 2008-07-22 Quicksilver Technology, Inc. Apparatus and method for adaptive multimedia reception and transmission in communication environments
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US8549574B2 (en) 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US8366552B2 (en) 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US10201760B2 (en) 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US8526490B2 (en) 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
JP2004241984A (ja) * 2003-02-05 2004-08-26 Toshiba Corp データ伝送装置
US7869516B2 (en) * 2003-03-31 2011-01-11 Hewlett-Packard Development Company, L.P. Motion estimation using bit-wise block comparisons for video compresssion
US7620254B2 (en) * 2003-08-07 2009-11-17 Trident Microsystems (Far East) Ltd. Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
KR100703283B1 (ko) * 2004-03-15 2007-04-03 삼성전자주식회사 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
US8018463B2 (en) * 2004-05-10 2011-09-13 Nvidia Corporation Processor for video data
US8130825B2 (en) * 2004-05-10 2012-03-06 Nvidia Corporation Processor for video data encoding/decoding
US7986733B2 (en) * 2004-07-30 2011-07-26 Broadcom Corporation Tertiary content addressable memory based motion estimator
US20060215036A1 (en) * 2005-03-25 2006-09-28 Multivision Intelligent Surveillance (Hk) Ltd. Method and apparatus for video stabilization
US7660354B2 (en) * 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
CN100474929C (zh) * 2005-09-07 2009-04-01 深圳市海思半导体有限公司 一种运动补偿数据载入装置及方法
WO2007063819A1 (ja) * 2005-11-29 2007-06-07 Pioneer Corporation 記録装置、再生装置、記録方法、記録プログラムおよびコンピュータに読み取り可能な記録媒体
US20080111923A1 (en) * 2006-11-09 2008-05-15 Scheuermann W James Processor for video data
JP4615508B2 (ja) * 2006-12-27 2011-01-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
EP2153660A4 (en) * 2007-04-09 2013-01-23 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING A VIDEO SIGNAL
US8724708B2 (en) * 2007-04-27 2014-05-13 Panasonic Corporation Image decoding device, image decoding system, image decoding method, and integrated circuit
KR100813989B1 (ko) * 2007-06-18 2008-03-14 삼성전자주식회사 복수개의 주사 패턴을 이용한 부호화 방법, 복호화 방법,및 그 장치
FR2917872A1 (fr) * 2007-06-25 2008-12-26 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images representee a l'aide de tubes de mouvement, produits programme d'ordinateur et signal correspondant.
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US8443275B2 (en) * 2008-01-15 2013-05-14 Texas Instruments Incorporated Lossy compression technique for video encoder bandwidth reduction using compression error data
KR101456491B1 (ko) * 2008-05-08 2014-11-03 삼성전자주식회사 복수의 참조 픽처에 기초한 영상 부호화, 복호화 방법 및장치
KR101493325B1 (ko) * 2008-09-03 2015-02-16 삼성전자주식회사 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
BR112012019676A2 (pt) 2010-02-09 2016-05-03 Nippon Telegraph & Telephone método de codificação preditiva de vetor de movimento, método de decodificação preditiva de vetor de movimento, aparelho de codificação de imagem em movimento, aparelho de decodificação de imagem em movimento e programas destes
KR20120112723A (ko) 2010-02-09 2012-10-11 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
US8581974B2 (en) * 2010-05-06 2013-11-12 Aptina Imaging Corporation Systems and methods for presence detection
EP2596636A1 (en) * 2010-07-21 2013-05-29 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
US9357229B2 (en) * 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
EP2421266A1 (en) * 2010-08-19 2012-02-22 Thomson Licensing Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream
US9066102B2 (en) 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
EP4250732B1 (en) 2011-01-07 2024-03-20 Nokia Technologies Oy Motion prediction in video coding
CN106713910B (zh) * 2011-06-14 2019-12-10 三星电子株式会社 对图像进行解码的设备
JP2013102297A (ja) 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
JP5871628B2 (ja) * 2011-11-07 2016-03-01 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9769473B2 (en) 2012-06-08 2017-09-19 Apple Inc. Predictive video coder with low power reference picture transformation
CN103929649B (zh) * 2014-04-28 2017-04-26 广西大学 一种视频压缩感知的重建方法
CN107809642B (zh) * 2015-02-16 2020-06-16 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备
KR102248172B1 (ko) * 2015-03-16 2021-05-04 한양대학교 산학협력단 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치
CN111526361B (zh) 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
ES2692864B1 (es) * 2016-02-25 2019-10-21 Kt Corp Metodo y aparato para procesar senales de video
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10979732B2 (en) * 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN108271028A (zh) * 2016-12-30 2018-07-10 北京优朋普乐科技有限公司 一种子像素全搜索方法及装置
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
EP3794827A4 (en) * 2018-06-28 2021-03-31 Huawei Technologies Co., Ltd. MEMORY ACCESS WINDOW AND PADDING FOR MOTION VECTOR REFINEMENT AND MOTION COMPENSATION
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11025951B2 (en) * 2019-01-13 2021-06-01 Tencent America LLC Method and apparatus for video coding
US11683501B2 (en) 2019-01-17 2023-06-20 Tencent America LLC Method and apparatus for video coding
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
CN115460424B (zh) * 2019-06-05 2024-09-20 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11202078B2 (en) * 2019-09-27 2021-12-14 Apple Inc. Dynamic point cloud compression using inter-prediction
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11625866B2 (en) 2020-01-09 2023-04-11 Apple Inc. Geometry encoding using octrees and predictive trees
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
CN113658035B (zh) * 2021-08-17 2023-08-08 北京百度网讯科技有限公司 脸部变换方法、装置、设备、存储介质以及产品
US20230134017A1 (en) * 2021-11-01 2023-05-04 Tencent America LLC Template-matching based adaptive motion vector resolution (amvr) for bi-prediction and an affine mode

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH048585U (ja) * 1990-05-14 1992-01-27
JPH05219498A (ja) * 1992-02-06 1993-08-27 Fujitsu Ltd 動画像符号化装置
JPH05244585A (ja) * 1992-02-28 1993-09-21 Victor Co Of Japan Ltd 予測符号化装置及び復号化装置
JPH0698314A (ja) * 1992-06-26 1994-04-08 Sony Corp 画像信号符号化、復号化方法及び画像信号記録媒体
JPH06153185A (ja) * 1992-11-06 1994-05-31 Toshiba Corp 動き補償装置及びこれを用いた符号化装置
JPH0750773A (ja) * 1993-03-08 1995-02-21 Sony Electron Inc ビデオ圧縮処理用装置及び方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661849A (en) * 1985-06-03 1987-04-28 Pictel Corporation Method and apparatus for providing motion estimation signals for communicating image sequences
DE3629472A1 (de) * 1986-08-29 1988-03-03 Licentia Gmbh Verfahren zur bewegungskompensierten bild-zu-bild-praediktionscodierung
US4972260A (en) * 1988-08-22 1990-11-20 Matsushita Electric Industrial Co., Ltd. Apparatus for coding a moving-picture signal
US5236682A (en) * 1989-10-25 1993-08-17 Hoechst Aktiengesellschaft Process for producing crystalline sodium silicates having a layered structure
JP2569219B2 (ja) * 1990-01-31 1997-01-08 富士通株式会社 動画像予測方式
JPH048585A (ja) 1990-04-26 1992-01-13 Fuji Photo Film Co Ltd 情報記録媒体の製造方法
SE465394B (sv) * 1990-08-15 1991-09-02 Televerket Metod foer roerelsekompensering och elastisk deformation i bildsekvenser
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5534927A (en) 1991-11-12 1996-07-09 Nippon Hoso Kyokai Method of performing high efficiency coding of image signal and system therefor
JP2549479B2 (ja) * 1991-12-06 1996-10-30 日本電信電話株式会社 動き補償フレーム間帯域分割符号化処理方法
JPH05236466A (ja) * 1992-02-25 1993-09-10 Nec Corp 動き補償フレーム間予測画像符号化装置及び方法
US5475446A (en) * 1992-03-09 1995-12-12 Matsushita Electric Industrial Co., Ltd. Picture signal motion detector employing partial decimation of pixel blocks
JPH05268594A (ja) * 1992-03-18 1993-10-15 Sony Corp 動画像の動き検出装置
US5247355A (en) * 1992-06-11 1993-09-21 Northwest Starscan Limited Partnership Gridlocked method and system for video motion compensation
DE4322343C2 (de) * 1992-07-06 1996-10-02 Mitsubishi Electric Corp Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors
JPH06113287A (ja) * 1992-09-30 1994-04-22 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
US5398079A (en) 1993-01-27 1995-03-14 General Instrument Corporation Half-pixel interpolation for a motion compensated digital video system
KR100219005B1 (ko) * 1993-02-22 1999-09-01 모리시타 요이찌 화상부호화방법 및 화상부호화장치
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
DE69416717T2 (de) * 1993-05-21 1999-10-07 Nippon Telegraph And Telephone Corp., Tokio/Tokyo Bewegtbildkoder und -dekoder
IT1262275B (it) 1993-05-26 1996-06-19 Metodo e dispositivo per la formazione automatica di pacchi di lamierini metallici, tranciati, per la fabbricazione di armature di macchine elettriche, o simili.
FI97008C (fi) 1993-06-02 1996-09-25 Nokia Oy Ab Menetelmä videokuvan ennustamiseksi käsittelyjärjestyksessä edellisen kuvan perusteella
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
US5719630A (en) * 1993-12-10 1998-02-17 Nec Corporation Apparatus for compressive coding in moving picture coding device
JP3266416B2 (ja) * 1994-04-18 2002-03-18 ケイディーディーアイ株式会社 動き補償フレーム間符号化復号装置
JP2897649B2 (ja) * 1994-08-08 1999-05-31 日本ビクター株式会社 動き補償予測符号化装置
US5684538A (en) * 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
EP0708563B1 (en) * 1994-10-19 2004-12-22 Matsushita Electric Industrial Co., Ltd. Image decoding device
TW257924B (en) * 1995-03-18 1995-09-21 Daewoo Electronics Co Ltd Method and apparatus for encoding a video signal using feature point based motion estimation
US5650823A (en) 1995-03-27 1997-07-22 International Business Machines Corporation Half pel motion estimation method for B pictures
US5812791A (en) * 1995-05-10 1998-09-22 Cagent Technologies, Inc. Multiple sequence MPEG decoder
GB2301972B (en) 1995-06-06 1999-10-20 Sony Uk Ltd Video compression
US5774676A (en) * 1995-10-03 1998-06-30 S3, Incorporated Method and apparatus for decompression of MPEG compressed data in a computer system
JPH09102954A (ja) * 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd １つまたは２つの予測ブロックからブロックの画素値を計算する方法
US5761423A (en) * 1995-11-14 1998-06-02 Industrial Technology Research Institute Scalable picture storage access architecture for video decoding
US6968003B1 (en) * 1996-01-29 2005-11-22 International Business Machines Corporation Speed-memory tradeoff for MPEG decoders
US6049362A (en) * 1996-02-14 2000-04-11 International Business Machines Corporation Dual prime motion estimation system and method
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
BR9710780A (pt) * 1996-07-31 1999-08-17 Schionogi & Co Ltd Novos compostos de para-terefenila
JP3426092B2 (ja) * 1996-09-12 2003-07-14 シャープ株式会社 動画像符号化装置における動き補償フレーム間予測方法
JPH1098729A (ja) * 1996-09-20 1998-04-14 Hitachi Ltd フレーム間予測画像の合成方法
WO1998017068A1 (en) * 1996-10-11 1998-04-23 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
WO1998042134A1 (en) * 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6249613B1 (en) * 1997-03-31 2001-06-19 Sharp Laboratories Of America, Inc. Mosaic generation and sprite-based coding with automatic foreground and background separation
US6633611B2 (en) 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
EP2288164B1 (en) * 1997-06-09 2013-09-11 Hitachi, Ltd. Image decoding method and image decoder
JPH1169345A (ja) * 1997-06-11 1999-03-09 Fujitsu Ltd フレーム間予測動画像符号化装置及び復号装置並びにフレーム間予測動画像符号化方法及び復号方法
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
KR100404358B1 (ko) * 1998-01-28 2003-11-03 시오노기세이야쿠가부시키가이샤 신규 삼환식 화합물
US6249618B1 (en) * 1998-12-18 2001-06-19 Syscan, Inc. Circuit architecture and method for switching sensor resolution
US6625211B1 (en) * 1999-02-25 2003-09-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for transforming moving picture coding system
GB9920256D0 (en) * 1999-08-26 1999-10-27 Wave Limited M Motion estimation and compensation in video compression
JP2005503695A (ja) * 2001-05-29 2005-02-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオトランスコード方法及び装置
EP2099228B1 (en) 2001-09-14 2014-11-12 NTT DoCoMo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
JP3824071B2 (ja) * 2001-12-25 2006-09-20 信越化学工業株式会社 室温硬化性オルガノポリシロキサン組成物

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH048585U (ja) * 1990-05-14 1992-01-27
JPH05219498A (ja) * 1992-02-06 1993-08-27 Fujitsu Ltd 動画像符号化装置
JPH05244585A (ja) * 1992-02-28 1993-09-21 Victor Co Of Japan Ltd 予測符号化装置及び復号化装置
JPH0698314A (ja) * 1992-06-26 1994-04-08 Sony Corp 画像信号符号化、復号化方法及び画像信号記録媒体
JPH06153185A (ja) * 1992-11-06 1994-05-31 Toshiba Corp 動き補償装置及びこれを用いた符号化装置
JPH0750773A (ja) * 1993-03-08 1995-02-21 Sony Electron Inc ビデオ圧縮処理用装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOZAWA H: "MOTION COMPENSATED PREDICTION USING AN AFFINE MOTION MODEL", IEICE TECHNICAL REPORT, DENSHI JOUHOU TSUUSHIN GAKKAI, JP, 26 July 1994 (1994-07-26), JP, pages 01 - 08, XP002905207, ISSN: 0913-5685 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101218830B (zh) * 2005-07-22 2011-10-12 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
JP2008136237A (ja) * 2008-01-16 2008-06-12 Hitachi Ltd 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP4683050B2 (ja) * 2008-01-16 2011-05-11 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
WO2010021153A1 (ja) 2008-08-21 2010-02-25 パナソニック株式会社 動き検出装置
JP2011055556A (ja) * 2010-12-14 2011-03-17 Hitachi Ltd 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
US8917763B2 (en) 2011-03-07 2014-12-23 Panasonic Corporation Motion compensation apparatus, video coding apparatus, video decoding apparatus, motion compensation method, program, and integrated circuit
US10659802B2 (en) 2016-08-15 2020-05-19 Nokia Technologies Oy Video encoding and decoding

Also Published As

Publication number Publication date
US7110456B2 (en) 2006-09-19
EP2252068A3 (en) 2011-02-02
EP1725047A2 (en) 2006-11-22
EP0905980A1 (en) 1999-03-31
US20060159180A1 (en) 2006-07-20
EP2252066A3 (en) 2011-02-02
EP1725047B1 (en) 2010-09-22
EP2252067A2 (en) 2010-11-17
DE69740005D1 (de) 2010-11-04
US8098734B2 (en) 2012-01-17
KR20000011096A (ko) 2000-02-25
EP1725045A2 (en) 2006-11-22
DE69740004D1 (de) 2010-11-04
EP1725046A3 (en) 2009-05-13
US8194742B2 (en) 2012-06-05
EP2252065A3 (en) 2011-02-02
JP3386142B2 (ja) 2003-03-17
AU704916B2 (en) 1999-05-06
US8170105B2 (en) 2012-05-01
US20020118758A1 (en) 2002-08-29
DE69739999D1 (de) 2010-10-28
EP2252066A2 (en) 2010-11-17
EP1725045B1 (en) 2010-09-15
EP2252065A2 (en) 2010-11-17
KR100319944B1 (ko) 2002-02-19
EP2252067A3 (en) 2011-02-02
EP2252068A2 (en) 2010-11-17
WO1998042134A1 (en) 1998-09-24
EP1725047A3 (en) 2009-05-13
EP1725046A2 (en) 2006-11-22
US20100172415A1 (en) 2010-07-08
US6404815B1 (en) 2002-06-11
EP1725045A3 (en) 2009-05-13
AU4722697A (en) 1998-10-12
AU1941797A (en) 1998-10-12
US20060133508A1 (en) 2006-06-22
EP0905980B1 (en) 2008-06-25
DE69738792D1 (de) 2008-08-07
EP1725046B1 (en) 2010-09-22
EP0905980A4 (en) 2001-07-18

Similar Documents

Publication Publication Date Title
WO1998042135A1 (en) Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
KR100412622B1 (ko) 화상복호화장치및화상복호화방법
JP2002532026A (ja) 動き推定とブロックマッチング・パターンの改良
JPH08251583A (ja) 画像符号化装置及び画像復号装置
KR100246167B1 (ko) 듀얼프라임 움직임 추정시스템 및 방법
JP2003116053A (ja) 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法
JPH10276439A (ja) 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
EP1819173B1 (en) Motion vector predictive encoding apparatus and decoding apparatus
KR100926752B1 (ko) 동영상 부호화를 위한 미세 움직임 추정 방법 및 장치
JP2004040575A (ja) 動き補償装置
JP3235453B2 (ja) 画像符号化装置
JPH11122619A (ja) 動画像符号化および復号化方法
JP2002010267A (ja) 動きベクトル変換装置及び方法
KR100448700B1 (ko) 프레임속도변환의 크로스 페이드 보간 장치 및 방법
JPH09261661A (ja) ２つの基準ピクチャから双方向コード化ピクチャを形成するための方法
JPH08228351A (ja) 動画像の動き補償予測符号化方法
JP4034180B2 (ja) 動画像圧縮符号化装置、及び動きベクトル検出方法
JPH1023422A (ja) 画像符号化装置及び画像復号化装置及び画像符号化方法及び画像復号化方法及び画像符号化復号化システム
JP2001313948A (ja) 動きベクトル変換装置及び方法
MXPA98007455A (en) Video encoding and decoding
JPH09116908A (ja) 画像符号化装置及び画像復号装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AU JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1997909589

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1019980709254

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 09180188

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1997909589

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019980709254

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019980709254

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1997909589

Country of ref document: EP