WO2011145282A1 - 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム - Google Patents

画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム Download PDF

Info

Publication number
WO2011145282A1
WO2011145282A1 PCT/JP2011/002514 JP2011002514W WO2011145282A1 WO 2011145282 A1 WO2011145282 A1 WO 2011145282A1 JP 2011002514 W JP2011002514 W JP 2011002514W WO 2011145282 A1 WO2011145282 A1 WO 2011145282A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
motion vector
pixel
image
motion
Prior art date
Application number
PCT/JP2011/002514
Other languages
English (en)
French (fr)
Inventor
博哉 中村
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011070981A external-priority patent/JP5686018B2/ja
Priority claimed from JP2011070982A external-priority patent/JP5686019B2/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN201180025300.XA priority Critical patent/CN103039075B/zh
Publication of WO2011145282A1 publication Critical patent/WO2011145282A1/ja
Priority to US13/683,812 priority patent/US9277220B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image encoding device that encodes an image using motion compensated prediction, an image encoding method and an image encoding program, an image decoding device that decodes an image using motion compensated prediction, an image decoding method, and an image.
  • the present invention relates to a decryption program.
  • MPEG series standard motion compensation that divides a frame into a plurality of blocks and predicts motion from other frames is used.
  • H.264 a mechanism for switching and using an optimum one from a plurality of motion compensation block sizes is introduced.
  • the present inventor has found out a method of further compressing the entire code amount by compressing motion vector information by an image encoding method using motion compensated prediction by geometric transformation.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for improving the compression efficiency of a code amount in an image coding method using motion compensation prediction by geometric transformation.
  • An image encoding apparatus is an image encoding apparatus that encodes a moving image, and includes a target block in the target image and a reference in the reference image that is geometrically transformed with the target block.
  • the motion vector and prediction signal between the blocks are calculated for each of the plurality of prediction modes, and in each prediction mode, the pixel located at the vertex constituting the target block, or the pixel located near the vertex, or the vertex Interpolated pixels located in the vicinity are selected as representative pixels corresponding to the vertices, the motion vectors of these representative pixels are calculated, and the motion vectors of pixels other than the representative pixels are interpolated using the motion vectors of the representative pixels.
  • a geometric conversion motion compensation prediction unit for calculating and calculating a prediction signal, and a geometric conversion motion compensation prediction unit for each target block in the target image
  • a prediction method determination unit for selecting one of a plurality of prediction modes, a prediction signal calculated in the prediction mode selected by the prediction method determination unit, and a difference between the image signal of the target block, and prediction
  • the prediction motion vector of the representative pixel calculated in the prediction mode selected by the prediction error signal generation unit for generating the error signal and the prediction method determination unit is calculated using the motion vectors inside and outside the target block.
  • the difference vector generation unit for calculating the difference between the predicted motion vector and the motion vector of the representative pixel calculated in the selected prediction mode and generating the difference motion vector of the representative pixel
  • the prediction method determination unit select Prediction method information for identifying the predicted mode, the difference motion vector generated by the difference vector generation unit, and the prediction error signal generation unit
  • an encoding unit for encoding the prediction error signal generated Ri.
  • Another aspect of the present invention is also an image encoding device.
  • This device is an image encoding device that encodes a moving image, and a motion vector between a target block in the target image and a reference block in a reference image that is geometrically transformed with the target block.
  • the prediction signal is calculated according to the prediction mode, and in the calculation, the pixel located at the vertex constituting the target block, the pixel located near the vertex, or the interpolation pixel located near the vertex is represented as a representative.
  • Geometric transformation motion that selects a pixel, calculates a motion vector of the representative pixel, and calculates a prediction signal by calculating a motion vector of a pixel other than the representative pixel by interpolation using the motion vector of the representative pixel.
  • the difference between the prediction signal calculated by the compensation prediction unit and the geometric conversion motion compensation prediction unit and the image signal of the target block is calculated, and the prediction error signal is calculated.
  • a prediction motion vector of the representative pixel calculated by the prediction error signal generation unit and the geometric transformation motion compensation prediction unit is calculated using the motion vectors inside and outside the target block, and the prediction motion vector and the calculation are calculated.
  • a difference vector generation unit that calculates a difference from the motion vector of the representative pixel generated to generate a difference motion vector of the representative pixel, a difference motion vector generated by the difference vector generation unit, and a prediction error signal generation unit
  • An encoding unit that encodes the predicted error signal.
  • An image decoding apparatus includes: prediction method information for specifying a prediction mode included in an encoded stream encoded by using motion compensated prediction by geometric transformation, according to the prediction mode.
  • the prediction motion vector of the representative pixel is calculated using the motion vectors inside and outside the target block according to the decoding unit that decodes the differential motion vector and the prediction error signal of the representative pixel and the prediction mode specified by the prediction method information.
  • a motion vector generation unit that generates a motion vector of the representative pixel by adding the differential motion vector of the representative pixel to the predicted motion vector, a target block in the target image, and a reference that is geometrically transformed with the target block Calculated by interpolation using the motion vector of the representative pixel between the reference block in the image and the motion vector of the representative pixel
  • Geometric transformation motion compensated prediction unit that generates a prediction signal from a motion vector other than a table pixel and an image signal of a reference block, and an image signal generation that generates an image signal from the prediction signal and a prediction error signal decoded by the decoding unit A section.
  • the representative pixel a pixel located at the vertex constituting the target block, a pixel located near the vertex, or an interpolation pixel located near the vertex is selected.
  • This apparatus includes a decoding unit that decodes a differential motion vector and a prediction error signal of a representative pixel included in an encoded stream that is encoded using motion compensated prediction by geometric transformation, and a prediction of the motion vector of the representative pixel.
  • a motion vector generation unit that calculates a motion vector using motion vectors inside and outside the target block, adds a differential motion vector of the representative pixel to the predicted motion vector, and generates a motion vector of the representative pixel; and a target in the target image A motion vector of a representative pixel between the block and a reference block in the reference image that is geometrically transformed with the target block, a motion vector other than the representative pixel calculated by interpolation using the motion vector of the representative pixel, and A geometric transformation motion compensated prediction unit that generates a prediction signal from an image signal of a reference block, a prediction signal, and a decoding unit And an image signal generating unit for generating an image signal from the issue prediction error signal.
  • the representative pixel a pixel located at the vertex constituting the target block, a pixel located near the vertex, or an interpolation pixel located near the vertex is selected.
  • the compression efficiency of the code amount can be improved by an image coding method using motion compensation prediction by geometric transformation.
  • FIGS. 2A to 2H are diagrams for explaining a macroblock partition and a sub-macroblock partition. It is FIG. (1) for demonstrating the representative pixel corresponding to four vertices of an object block. It is a figure which shows an example of a syntax structure.
  • FIGS. 5A to 5D are diagrams for explaining a motion vector prediction method when motion compensation prediction based on parallel movement is selected for both the target block and adjacent blocks. It is a figure for demonstrating the prediction method of the prediction vector in case the encoding object block is the motion compensation prediction by parallel displacement, and an adjacent block is the motion compensation prediction by geometric transformation.
  • FIG. 7A and 7B are diagrams (No. 1) for describing a prediction vector prediction method when the target block is motion compensated prediction by geometric transformation. It is a flowchart which shows the encoding process procedure of a macroblock in the image coding apparatus which concerns on Embodiment 1 of this invention. It is a block diagram which shows the structure of the image decoding apparatus which concerns on Embodiment 2 of this invention. It is a flowchart which shows the decoding process procedure of a macroblock in the image decoding apparatus which concerns on Embodiment 2 of this invention. It is FIG. (2) for demonstrating the representative pixel corresponding to four vertices of an object block. It is FIG. (2) for demonstrating the prediction method of the prediction vector in case the object block is the motion compensation prediction by geometric transformation.
  • FIG. (3) for demonstrating the representative pixel corresponding to four vertices of an object block.
  • FIG. (4) for demonstrating the representative pixel corresponding to four vertices of an object block. It is a figure for demonstrating an example of the scaling process of a motion vector value.
  • FIG. 1 is a block diagram showing a configuration of an image encoding device 100 according to Embodiment 1 of the present invention.
  • the image encoding device 100 includes an image buffer 101, a translational motion compensation prediction unit 102, a geometric transformation motion compensation prediction unit 103, a prediction method determination unit 104, a prediction error signal generation unit 105, a prediction error signal encoding unit 106, 1 coding bit stream generation part 107, 2nd coding bit stream generation part 108, 3rd coding bit stream generation part 109, prediction error signal decoding part 110, decoded picture signal generation part 111, decoded picture buffer 112, and output switch 113 are included. .
  • the image buffer 101 temporarily stores image signals to be encoded supplied in order of shooting / display time.
  • the image buffer 101 converts the stored image signal to be encoded in predetermined pixel block units (here, macroblock units) into a translational motion compensation prediction unit 102, a geometric transformation motion compensation prediction unit 103, and a prediction error.
  • the signal is supplied to the signal generator 105 in parallel. At this time, the images supplied in the order of shooting / display time are rearranged in the encoding order and output from the image buffer 101.
  • a macro block refers to a luminance signal of 16 ⁇ 16 pixels and two corresponding color difference signal blocks.
  • YUV of the color difference format is 4: 2: 0, the color difference signal has a size of 8 ⁇ 8 pixels.
  • an intra coding method that encodes within a screen without using a reference image, a motion compensation prediction method by translation using a reference image, and a motion compensation prediction method by geometric transformation using a reference image Is used.
  • the reference image is a decoded image obtained by local decoding.
  • the configuration is omitted in FIG.
  • These coding system modes are adaptively switched individually or in combination in units of macroblocks. Note that a method of encoding all macroblocks using a motion compensated prediction method based on geometric transformation using a reference image is also possible.
  • the translational motion compensation prediction unit 102 performs motion compensation prediction by translation between the macroblock signal to be encoded supplied from the image buffer 101 and the reference image signal supplied from the decoded image buffer 112.
  • the translational motion compensation prediction unit 102 generates a motion vector and a prediction signal between the target block in the target image in each mode and the reference block in the reference image that is translated with the target block.
  • the translational motion compensation prediction unit 102 performs motion compensation prediction based on translation similar to the existing motion compensation prediction stipulated in the AVC / H.264 scheme or the like.
  • a forward or backward decoded image is used as a reference image in a display order supplied from a decoded image buffer 112 described later.
  • the translational motion compensation prediction unit 102 performs block matching between the macroblock signal supplied from the image buffer 101 and the reference image signal supplied from the decoded image buffer 112 within a predetermined detection range in the reference image. Do.
  • the translational motion compensation prediction unit 102 specifies a reference block signal in the reference image signal having the smallest error from the macroblock signal by block matching, and a motion vector between the macroblock signal and the reference block signal Is detected.
  • L0 / L1 / bi-prediction perform this block matching in multiple specified modes.
  • the plurality of modes have different reference indexes, motion compensation block sizes, L0 / L1 / bi-prediction, and the like.
  • the reference index is an index indicating a reference picture.
  • L0 / L1 / bi-prediction can be selected only for B slices.
  • L0 prediction and L1 prediction are unidirectional predictions predicted from one direction
  • L0 prediction is prediction using information such as an L0 motion vector
  • L1 prediction is prediction using information such as an L1 motion vector.
  • Bi-prediction is bidirectional prediction predicted from two reference images using information such as the L0 motion vector and information such as the L1 motion vector. A specific example of the block size will be described later.
  • motion compensation can be performed with a pixel accuracy of less than one pixel.
  • motion compensation can be performed up to an accuracy of 1/4 of a luminance signal and 1/8 of an accuracy of a color difference signal.
  • a signal with pixel accuracy of less than one pixel is generated by interpolation from the signals of surrounding integer pixels in the reference image.
  • the translational motion compensation prediction unit 102 performs motion compensation prediction in each mode, and sends a prediction signal (more specifically, a motion compensation prediction block signal) and a motion vector in each mode to the prediction method determination unit 104. Supply.
  • FIGS. 2A to 2H are diagrams for explaining a macroblock partition and a sub-macroblock partition.
  • the macroblock is defined by a square area.
  • AVC / H In the MPEG series including the H.264 system, a block defined by 16 ⁇ 16 pixels (16 horizontal pixels and 16 vertical pixels) is called a macro block.
  • AVC / H In the H.264 system, a block defined by 8 ⁇ 8 pixels is called a sub macroblock.
  • the macroblock partition refers to each small block obtained by further dividing the macroblock for motion compensation prediction.
  • the sub-macroblock partition refers to each small block obtained by further dividing the sub-macroblock for motion compensation prediction.
  • FIG. 2 (a) is a diagram showing that a macroblock is composed of one macroblock partition composed of a luminance signal of 16 ⁇ 16 pixels and two corresponding color difference signals.
  • this configuration is referred to as a 16 ⁇ 16 mode macroblock type.
  • the macroblock is composed of two macroblock partitions each composed of a luminance signal of 16 ⁇ 8 pixels (horizontal 16 pixels, vertical 8 pixels) and two corresponding color difference signals.
  • FIG. 2B the macroblock is composed of two macroblock partitions each composed of a luminance signal of 16 ⁇ 8 pixels (horizontal 16 pixels, vertical 8 pixels) and two corresponding color difference signals.
  • FIG. The two macroblock partitions are arranged vertically.
  • this configuration is called a 16 ⁇ 8 mode macroblock type.
  • the macroblock is composed of two macroblock partitions composed of a luminance signal of 8 ⁇ 16 pixels (horizontal 8 pixels, vertical 16 pixels) and two corresponding color difference signals.
  • FIG. 2 (c) the macroblock is composed of two macroblock partitions composed of a luminance signal of 8 ⁇ 16 pixels (horizontal 8 pixels, vertical 16 pixels) and two corresponding color difference signals.
  • FIG. The two macroblock partitions are arranged side by side.
  • this configuration is referred to as an 8 ⁇ 16 mode macroblock type.
  • FIG. 2D is a diagram showing that a macroblock is composed of four macroblock partitions each composed of a luminance signal of 8 ⁇ 8 pixels and two corresponding color difference signals. These four macroblock partitions are arranged vertically and horizontally. This configuration is referred to as an 8 ⁇ 8 mode macroblock type.
  • FIG. 2 (e) is a diagram showing that the sub-macroblock is composed of one sub-macroblock partition composed of a luminance signal of 8 ⁇ 8 pixels and two corresponding color difference signals.
  • this configuration is referred to as an 8 ⁇ 8 mode sub-macroblock type.
  • the sub-macroblock is composed of two sub-macroblock partitions each composed of a luminance signal of 8 ⁇ 4 pixels (horizontal 8 pixels, vertical 4 pixels) and two corresponding color difference signals.
  • FIG. 2F the sub-macroblock partitions are arranged vertically. This configuration is referred to as an 8 ⁇ 4 mode sub-macroblock type.
  • the sub-macroblock is composed of two macroblock partitions each composed of a luminance signal of 4 ⁇ 8 pixels (horizontal 4 pixels, vertical 8 pixels) and two corresponding color difference signals.
  • FIG. The two macroblock partitions are arranged side by side.
  • this configuration is called a 4 ⁇ 8 mode sub-macroblock type.
  • FIG. 2 (h) is a diagram showing that the sub-macroblock is composed of four sub-macroblock partitions each composed of a luminance signal of 4 ⁇ 4 pixels and two corresponding color difference signals. These four sub-macroblock partitions are arranged two by two vertically and horizontally. Here, this configuration is called a 4 ⁇ 4 mode sub-macroblock type.
  • a mechanism for switching and using an optimum one from the above motion compensation block sizes is adopted.
  • one of macroblock types of 16 ⁇ 16, 16 ⁇ 8, 8 ⁇ 16, and 8 ⁇ 8 modes is selected as the motion compensation block size for each macroblock.
  • the motion compensation block size in units of submacroblocks is among the 8 ⁇ 8, 8 ⁇ 4, 4 ⁇ 8, and 4 ⁇ 4 mode sub macroblock types. Is selected.
  • the luminance signal is motion compensated with the number of pixels of the selected size.
  • the color difference format is 4: 2: 0, the color difference signal is motion-compensated with half the number of pixels both horizontally and vertically.
  • motion compensation block size information is encoded with syntax elements called macroblock types and sub-macroblock types.
  • the syntax is an expression rule of the encoded bit string, and the syntax element is information that is specified to be transmitted in the syntax.
  • One motion vector is detected for each macroblock partition in any of the macroblock types of 16 ⁇ 16, 16 ⁇ 8, 8 ⁇ 16, and 8 ⁇ 8 modes. That is, one motion vector for the 16 ⁇ 16 mode macroblock type, two motion vectors for the 16 ⁇ 8 and 8 ⁇ 16 mode macroblock types, and 4 for the 8 ⁇ 8 mode macroblock type. Each motion vector is detected.
  • Each pixel of the luminance signal and the color difference signal of each macroblock partition is motion compensated according to one motion vector of the macroblock partition. That is, each pixel is motion-compensated using the same motion vector.
  • the geometric transformation motion compensation prediction unit 103 performs parallel movement between the encoding target macroblock signal supplied from the image buffer 101 and the reference image signal supplied from the decoded image buffer 112. In addition, motion compensation prediction is performed by geometric transformation accompanied by deformation including enlargement / reduction / rotation.
  • the geometric transformation motion compensated prediction unit 103 calculates a motion vector and a prediction signal between the target block in the target image in each mode and the reference block in the reference image that is geometrically transformed with the target block. Generated and supplied to the prediction method determination unit 104.
  • the geometric transformation motion compensation prediction unit 103 selects, as representative pixels, pixels that are located at the vertices constituting the target block, pixels that are located near the vertices, or interpolation pixels that are located near the vertices.
  • a pixel motion vector is calculated.
  • the target block is a quadrangular (for example, square, rectangular) region, the number of vertices in the region is four. Therefore, there are four representative pixels.
  • the geometric transformation motion compensation prediction unit 103 calculates a motion vector of a pixel other than the representative pixel by interpolation using the motion vector of the representative pixel.
  • a prediction signal is predicted for each pixel according to the motion vector for each pixel.
  • the geometric transformation motion compensation prediction unit 103 encodes and decodes the first mode for encoding and decoding the motion vectors of the four representative pixels of the target block, and the motion vectors of the two representative pixels in the vertical direction of the target block.
  • the geometric transformation motion compensation prediction unit 103 does not necessarily need to execute a plurality of modes, and may use one mode fixedly according to the processing capability and the frequency of occurrence of each mode. Only one mode may be provided. Further, at least two of the four modes may be executed (may include at least two modes). In these cases, the calculation amount and the code amount of information for identifying each mode can be reduced.
  • the target block is described as a 16 ⁇ 16 pixel macroblock.
  • the size of the target block is not limited to 16 ⁇ 16 pixels, and an 8 ⁇ 8 pixel sub-macro. It may be a block or a block of 32 ⁇ 32 pixels, 48 ⁇ 48 pixels, 64 ⁇ 64 pixels, 128 ⁇ 128 pixels, or the like.
  • the target block is described as a square macroblock.
  • the shape of the target block is not limited to a square, and a macro of 16 ⁇ 8 pixels or 8 ⁇ 16 pixels. It may be a block partition, a block of 8 ⁇ 4 pixels, a 4 ⁇ 8 pixel sub-macroblock partition, 32 ⁇ 16 pixels, 16 ⁇ 32 pixels, or the like.
  • the prediction method determination unit 104 can employ any of the first mode, the second mode, the third mode, and the fourth mode described above as the prediction method by the geometric transformation motion compensation prediction unit 103. Detailed processing of the prediction method determination unit 104 will be described later.
  • the geometric transformation motion compensation prediction unit 103 is an AVC / H. Unlike the existing motion compensation prediction based on the parallel movement defined in the H.264 system or the like, in addition to the parallel movement, the motion compensation prediction is performed by the geometric transformation accompanied by deformation including enlargement / reduction / rotation.
  • each pixel of the luminance signal and chrominance signal of the macroblock, macroblock partition, sub-macroblock is not motion-compensated with the same motion vector, but for each pixel.
  • Different motion vectors are created for motion compensation.
  • the geometric transformation motion compensation prediction unit 103 selects a vertex of each macroblock, a pixel near the vertex, or an interpolation pixel located near the vertex as a representative pixel, and obtains a motion vector thereof.
  • FIG. 3 is a diagram (part 1) for explaining representative pixels corresponding to the four vertices of the target block.
  • the upper left vertex or the vertex vicinity of the target block is the vertex a
  • the upper right vertex or the vertex vicinity is the vertex b
  • the lower left vertex or the vertex vicinity is the vertex c
  • the lower right vertex or the vertex vicinity is the vertex d.
  • the pixels a, b, c, and d located at the upper left, upper right, lower left, and lower right vertices are set as representative pixels a, b, c, and d, respectively.
  • the representative pixel is represented by a black circle
  • the non-representative pixel is represented by a white circle
  • the representative pixel is represented by a pixel a (0, 0) and a pixel b existing at the vertex of the target block (16 ⁇ 16 pixel macroblock in FIG. 3).
  • pixel c (0, H) and pixel d (W, H) are set.
  • W is a distance (unit: pixel) between representative pixels in the horizontal direction (between pixel a and pixel b and between pixel c and pixel d)
  • H is between representative pixels in the vertical direction (pixel a and pixel).
  • the four representative pixels Each motion vector is detected.
  • the motion vectors of the two representative pixels in the vertical direction the first representative pixel a and the third representative pixel c
  • the motion vectors of the two representative pixels are detected.
  • the motion vectors of the two representative pixels in the horizontal direction the first representative pixel a and the second representative pixel b
  • the motion vectors of the two representative pixels are detected.
  • the motion vectors of the three representative pixels (the first representative pixel a, the second representative pixel b, and the third representative pixel c) are encoded and decoded, the motion vectors of the three representative pixels, respectively. Is detected.
  • the geometric transformation motion compensated prediction unit 103 may use a motion vector calculated in units of pixels by an optical flow method or the like as a motion vector of a representative pixel of each macroblock, or may have reliability such as an edge or a corner of an image.
  • a motion vector corrected by interpolation / extrapolation from the motion vector of the feature point determined to be high may be used.
  • the motion vector of the macroblock / partition generated by the translational motion compensation / prediction unit 102 may be corrected and used.
  • the value of the motion vector is applied to the representative pixel, and verification is performed while adjusting the value of the motion vector in the increasing and decreasing directions. Thus, the value of the motion vector is corrected.
  • the geometric conversion motion compensation prediction unit 103 calculates the motion vectors of all the pixels in the macro block from the motion vectors of the representative pixels by using linear interpolation or the like.
  • the geometric transformation motion compensation prediction unit 103 performs the vertical direction 2 It is calculated by interpolating the motion vectors of the pixels on the straight line connecting these two points from the motion vectors of the two representative pixels a and c. Then, the motion vectors of the other pixels and the motion vectors of the pixels subjected to linear interpolation are applied as they are in the horizontal direction.
  • the geometric transformation motion compensation prediction unit 103 performs the horizontal 2 It is calculated by interpolating the motion vectors of the pixels on the straight line connecting these two points from the motion vectors of the two representative pixels a and b. Then, the motion vectors of the other pixels are applied as they are in the vertical direction to the motion vectors of the pixels subjected to linear interpolation.
  • the geometric transformation motion compensation prediction unit 103 interpolates both in the horizontal direction and in the vertical direction, thereby moving the motion of the non-representative pixels. Calculate the vector.
  • Interpolation in both the horizontal direction and the vertical direction may be performed at once by a method described later, or the motion vector of a pixel on a straight line connecting these two points is interpolated from the motion vectors of the two representative pixels in the horizontal direction.
  • the motion vector of the non-representative pixel may be calculated by the above, and the motion vector of the other pixel may be calculated by further interpolating in the vertical direction using the motion vector of each pixel that has already been calculated.
  • the first representative pixel a, the second representative pixel b, and the The motion vector of the fourth representative pixel d can be calculated from the motion vector of the three representative pixels c. Then, similarly to the first mode in which the motion vectors of the four representative pixels corresponding to the four vertices a, b, c, and d are encoded and decoded, the motion vectors of the non-representative pixels can be calculated.
  • the value of the motion vector of the first representative pixel a is set to the second representative value.
  • the motion vector value of the pixel b is set, and the motion vector value of the third representative pixel c is set to the motion vector value of the fourth representative pixel d.
  • the motion vectors of the non-representative pixels are calculated. can do.
  • the value of the motion vector of the first representative pixel a is set to the third value.
  • the value of the motion vector of the representative pixel c is set, and the value of the motion vector of the second representative pixel b is set to the value of the motion vector of the fourth representative pixel d.
  • the motion vectors of the four representative pixels a, b, c, and d corresponding to the four vertices a, b, c, and d are encoded and decoded, the motion vectors of the non-representative pixels are calculated. can do.
  • the geometric transformation motion compensation prediction unit 103 performs motion compensation for each pixel using the calculated motion vector for each pixel.
  • the example of calculating the motion vector of each pixel included in the macroblock has been described.
  • the motion vector of each pixel included in the sub-macroblock can be calculated in the same manner.
  • This pixel-by-pixel motion vector calculation process and motion compensation process for each pixel are performed in a plurality of prescribed modes.
  • the plurality of modes have different reference indexes, motion compensation block sizes, L0 / L1 / bi-prediction, and the like. Note that L0 / L1 / bi-prediction can be selected only for B slices.
  • the geometric transformation motion compensation prediction unit 103 performs motion compensation prediction in each mode, and predicts prediction mode information, motion vectors, and prediction signals (more specifically, motion compensation prediction block signals) in each mode. It supplies to the method determination part 104.
  • the motion vectors of the non-representative pixels are calculated by using the motion vector values of the four representative pixels a, b, c, and d for each component using interpolation such as linear interpolation in both the horizontal direction and the vertical direction.
  • the representative pixels are the pixel a (0, 0), the pixel b (W, 0), the pixel c (0, H), and the pixel d (W, H) located at the vertex of the macroblock. It is set.
  • the coordinate of each pixel is represented by (i, j)
  • the coordinate in the horizontal direction is represented by i in the unit of one pixel
  • the coordinate in the vertical direction is represented by j in the unit of one pixel.
  • the upper left pixel in the macroblock is the origin (0, 0)
  • the right direction and the downward direction are positive increasing directions.
  • the motion vectors of the pixel a, the pixel b, the pixel c, and the pixel d are assigned, and then the motion vectors of the other pixels are calculated by linear interpolation.
  • the pixels a, b, c, and d Motion vectors are assigned.
  • the motion vectors of the two representative pixels a and c corresponding to the two vertices a and c are encoded and decoded
  • the motion vectors of the pixel a and the pixel c are assigned, and the motion vector of the pixel a is a pixel. It is also the motion vector of b, and the motion vector of pixel c is also the motion vector of pixel d.
  • the motion vectors of the two representative pixels a and b corresponding to the two vertices a and b are encoded and decoded
  • the motion vectors of the pixel a and the pixel b are assigned, and the motion vector of the pixel a is a pixel. It is also a motion vector of c, and a motion vector of pixel b is also a motion vector of pixel d.
  • the motion vectors of the three representative pixels a, b, and c corresponding to the three vertices a, b, and c are encoded and decoded, the motion vectors of these pixels a, b, and c are assigned, From these three motion vectors, a motion vector of the fourth representative pixel d corresponding to the vertex d is calculated.
  • the motion vector Va V (0,0) of the pixel a
  • the motion vector Vb V (W, 0) of the pixel b
  • the motion vector Vc V (0, H) of the pixel c
  • Vd Vc + (Vb ⁇ Va) (1)
  • Vd Vb + (Vc ⁇ Va) (2)
  • the motion vectors V (i, j) of the other pixels P (i, j) are linearly interpolated from the four motion vectors Va, Vb, Vc, Vd of the four representative pixels a, b, c, d. Generate.
  • the distance (number of pixels) between the representative pixels in the horizontal direction (between the pixels a and b and between the pixel c and the pixel d) is W
  • the motion vector V (i, j) of the pixel P (i, j) other than these representative pixels a, b, c, d is Calculated by (3).
  • V (i, j) ⁇ (Wi ⁇ (H ⁇ j) Va + i (H ⁇ j) Vb + (W ⁇ i) j ⁇ Vc + i ⁇ j ⁇ Vd ⁇ / (W ⁇ H) (3) )
  • W 15 (pixel)
  • H 15 (pixel).
  • the motion vector of each pixel in the first mode, the second mode, the third mode, and the fourth mode can be calculated.
  • the method of interpolating both in the horizontal direction and the vertical direction at once has been described. From the motion vectors of two representative pixels in the horizontal direction, the motion vectors of the pixels on the straight line connecting these two points are obtained.
  • the motion vector of the non-representative pixel may be calculated by interpolation, and the motion vector of other pixels may be calculated by further interpolating in the vertical direction using the motion vector of each pixel that has already been calculated.
  • motion vector Va V (0,0) for pixel a
  • motion vector Vb V (W, 0) for pixel b
  • motion vector Vc V (0, H) for pixel c
  • motion vector Vd for pixel d
  • V (i, 0) Va + (Vb ⁇ Va) * (i ⁇ 0) / W Equation (4)
  • V (i, H) Vc + (Vd ⁇ Vc) * (i ⁇ 0) / W Equation (5)
  • V (i, j) V (i, 0) + ⁇ V (i, H) ⁇ V (i, 0) ⁇ * (j ⁇ 0) / H (6)
  • the motion vector of each pixel in the first mode, the second mode, the third mode, and the fourth mode can be calculated.
  • the second mode and the third mode it can also be calculated by the following method.
  • the motion vectors of the pixels a and c are assigned, the motion vectors of the pixels on the vertical line passing through the pixels a and c are calculated by linear interpolation, and the same motion vector is assigned to each pixel in the horizontal direction. The value of is assigned.
  • V (0, j) Va + (Vc ⁇ Va) * (j ⁇ 0) / H (7)
  • V (i, j) Va + (Vc ⁇ Va) * (j ⁇ 0) / H (9)
  • motion vectors of the pixel a and the pixel b are allocated, the motion vector of each pixel on the vertical line passing through the pixel a and the pixel b is calculated by linear interpolation, and the same motion vector is applied to each pixel in the horizontal direction. The value of is assigned.
  • V (i, j) Va + (Vb ⁇ Va) * (i ⁇ 0) / W Expression (12)
  • the geometric conversion motion compensation prediction unit 103 performs motion compensation prediction on each pixel according to the calculated motion vector of each pixel. More specifically, motion compensation prediction is performed by generating an interpolation signal from the reference image pixel indicated by the motion vector of each pixel. It should be noted that the accuracy of the motion vector of each pixel, the rounding of numerical values required in the calculation process, and the like need to be defined so that the same value is obtained regardless of which decoding device is used. In addition, when the coordinates of the predicted pixel specified by the motion vector are expressed with a decimal point, the pixel is interpolated from surrounding pixels at the time of motion compensation. As the interpolation method, 4 to 6 tap filtering, linear interpolation, or the like can be used.
  • the first mode it is possible to represent complicated deformations that cannot be expressed in the second mode, the third mode, and the fourth mode, such as enlargement / reduction, rotation, and parallel movement, using four motion vectors.
  • deformation by affine transformation can be represented by three motion vectors.
  • the expressive power of deformation is limited compared to the first mode, the number of motion vectors (more specifically, difference vectors) to be encoded can be reduced.
  • two motion vectors can represent different deformations in the vertical direction in addition to translation.
  • the expressive power of deformation is limited as compared with the first mode and the fourth mode, the number of motion vectors to be encoded can be reduced.
  • two motion vectors can represent different deformations in the horizontal direction in addition to translation.
  • the expressive power of deformation is limited as compared with the first mode and the fourth mode, the number of motion vectors to be encoded can be reduced.
  • the prediction method determination unit 104 employs either the prediction method by the translational motion compensation prediction unit 102 or the prediction method by the geometric transformation motion compensation prediction unit 103 for each target block in the target image. To decide. More specifically, it is determined which mode of which prediction method is adopted. Hereinafter, prediction method selection including mode selection is referred to.
  • the prediction method determining unit 104 selects which reference image is used to encode motion compensation prediction based on parallel movement or motion compensated prediction based on geometric transformation in which pixel block unit. Decide how. When selecting motion compensation prediction by geometric transformation, one of the first mode, the second mode, the third mode, and the fourth mode is selected. At that time, the prediction method is determined by determining which combination of these items is the prediction method capable of realizing the most efficient encoding. As a criterion for determining the prediction method, for example, rate distortion theory considering the relationship between the code amount and distortion can be used.
  • the code amount of the macroblock (that is, the prediction method information, the motion vector, and the total code amount of the prediction signal) is calculated, and the distortion amount is calculated from the difference between the encoding target image and the decoded image.
  • a prediction method is selected that minimizes a code amount and a rate distortion function using the distortion amount as an input variable.
  • the prediction method determination unit 104 supplies the adopted prediction method information to the first encoded bit string generation unit 107 and the difference vector calculation unit 114, and supplies a motion vector corresponding to the adopted prediction method to the difference vector calculation unit 114. At the same time, the prediction method determination unit 104 supplies the prediction signal generated by the employed prediction method to the prediction error signal generation unit 105.
  • the first encoded bit string generation unit 107 encodes the prediction method information supplied from the prediction method determination unit 104 by entropy encoding such as arithmetic encoding, and generates an encoded bit string.
  • the prediction block size and the L0 / L1 / bi-prediction distinction to be included in the prediction method information are combined and encoded as a macroblock type.
  • the first mode, the second mode, the third mode, and the fourth mode can be used for information for identifying which one of the two is used.
  • a syntax element may be separately prepared and described, or the macroblock type may be extended and described by combining with information to be encoded as another macroblock type.
  • a syntax element “geom_type” is prepared for each block unit for switching whether or not to perform motion compensation prediction by geometric transformation, and the value of “geom_type” is “0” for motion compensation prediction by translation,
  • the value of “geom_type” is “1” in the first mode of motion compensated prediction by geometric transformation
  • the value of “geom_type” is “2” in the second mode of motion compensated prediction by geometric transformation
  • the value of “geom_type” is “3” is encoded as a third mode of motion compensated prediction by geometric transformation
  • “geom_type” is “4” as a fourth mode of motion compensated prediction by geometric transformation.
  • FIG. 4 is a diagram illustrating an example of the syntax structure.
  • FIG. 4 shows an example in which one “geom_type” is prepared for each macroblock, and motion compensation prediction is performed in a common mode for both L0 prediction, L1 prediction, and bi-prediction, but prediction is performed from both L0 and L1.
  • the bi-prediction mode motion compensation predictions can be performed separately for each of the L0 prediction and the L1 prediction by preparing two.
  • the motion of the pixel of the adjacent block or the adjacent block is calculated using the correlation with the motion vector of the neighboring adjacent block or the pixel of the adjacent block that has already been encoded or decoded.
  • a prediction vector is calculated by predicting a motion vector from the vector. Then, by calculating a difference vector that is the difference between the prediction vector and the motion vector of the target block or target pixel, the amount of code of the motion vector of the target block or target pixel is reduced.
  • a motion vector of the representative pixel is a target for encoding.
  • the difference vector calculation unit 114 determines the target block or target from the motion vectors of the neighboring neighboring blocks or the pixels of the neighboring blocks that have already been encoded, according to the prediction method information supplied from the prediction method determining unit 104.
  • a prediction vector is calculated by predicting a pixel motion vector. Then, a difference between the prediction vector and the motion vector supplied from the prediction method determination unit 104 is calculated to generate a difference vector, which is supplied to the second encoded bit string generation unit 108.
  • the difference vector calculation unit 114 encodes and decodes the motion vectors of the four representative pixels a, b, c, and d corresponding to the four vertices a, b, c, and d.
  • a prediction vector and a difference vector are calculated.
  • the second mode in order to encode and decode the motion vectors of the two representative pixels a and c corresponding to the two vertices a and c, a prediction vector and a difference vector are calculated, respectively.
  • respective prediction vectors and difference vectors are calculated in order to encode and decode the motion vectors of the two representative pixels a and b corresponding to the two vertices a and b.
  • respective prediction vectors and difference vectors are calculated.
  • respective prediction vectors and difference vectors are calculated.
  • the difference vector calculation unit 114 holds the prediction information and motion vectors of the target block supplied from the prediction method determination unit 104, and uses them for calculation of the prediction vector of the subsequent target block.
  • FIG. 5 is a diagram for explaining a method of predicting a motion vector of a coding target block when motion compensated prediction by parallel movement is selected for both the coding target block and adjacent blocks.
  • FIG. 5A shows an example of predicting a motion vector between macroblocks in which no partition is set.
  • FIG. 5B shows an example in which motion vectors are predicted between macroblocks in which partitions are set.
  • FIG. 5C shows an example of predicting a motion vector in an 8 ⁇ 16 pixel macroblock.
  • FIG. 5D shows an example of predicting a motion vector in a 16 ⁇ 8 pixel macroblock.
  • a motion vector prediction method will be described with reference to FIGS. In this motion vector prediction method, a motion vector of a target block is predicted using a median value of motion vectors of neighboring neighboring blocks.
  • the motion vector of the block painted in gray is the encoding target.
  • the motion vector of the target block is predicted using the three motion vectors of the block A adjacent to the left of the target block, the upper adjacent block B, and the upper right block C as candidates. . More specifically, a median value is taken for each of the horizontal component and the vertical component from these three motion vectors to obtain a prediction vector.
  • the L0 motion vector used for L0 prediction or bi-prediction and the L1 motion vector used for L1 prediction or bi-prediction are handled separately.
  • the L0 prediction vector of the target block is calculated.
  • the prediction vector of the target block L1 is calculated by performing prediction using the three L1 motion vectors of the block A adjacent to the left of the target block, the block B adjacent to the upper right, and the block C adjacent to the upper right.
  • the motion vector of the block A is adopted as the prediction vector. If only one of the reference indexes of the block A on the left, the block B on the upper right, and the block C on the upper right is equal to the reference index of the current block (the reference pictures are equal), that block. Are used for prediction.
  • the motion vector is different for each small block of the macroblock.
  • the motion vector of the uppermost small block A among the small blocks in contact with the target block is adopted as a candidate.
  • the leftmost block B among the small blocks in contact with the target block is adopted as a candidate.
  • the lower left small block C is adopted as a candidate.
  • the prediction vector is calculated in the same manner as in FIG.
  • the left block is not the median value of the motion vectors of the three blocks
  • the left block is the block A on the left
  • the right block is on the upper right side.
  • the motion vector of the adjacent block C is adopted as the prediction vector.
  • the upper block is not the median value of the motion vectors of the three blocks
  • the upper block is the upper adjacent block B
  • the lower block is The motion vector of the block A on the left is adopted as the prediction vector.
  • the motion vector prediction method shown in FIGS. 5A to 5D is an example, and is not limited thereto. As long as the encoding method and the decoding side prescribe the motion vector prediction method identically, other methods can be used. For example, the position and number of adjacent blocks may be different. Further, an average value may be used instead of the median value of a plurality of motion vectors of adjacent blocks. A predetermined condition or priority order may be provided, and a motion vector of a single adjacent block may be used as it is. Moreover, the adjacent block does not necessarily have to contact the target block. In addition, in FIGS. 5A to 5D, an example of predicting a motion vector in units of macroblocks has been described, but the same processing can be performed when a motion vector in units of sub-macroblocks is predicted.
  • FIG. 6 is a diagram for explaining a prediction vector prediction method when the encoding target block is motion compensated prediction by translation and the adjacent block is motion compensated prediction by geometric transformation.
  • the adjacent block is motion compensated prediction by geometric transformation
  • the adjacent block is motion compensated prediction by geometric transformation
  • the motion vector of the pixel A is used as a candidate for calculating the prediction vector.
  • the motion vector of the leftmost pixel B of the leftmost block is adopted as a candidate for calculating a prediction vector.
  • the motion vector of the lower left pixel C of the lower left small block is adopted as a candidate for calculating a prediction vector.
  • the motion vector prediction method shown in FIG. 6 is an example, and is not limited thereto. As long as the encoding method and the decoding side prescribe the motion vector prediction method identically, other methods can be used. For example, an average value of four representative pixels of the block adjacent to the left of the target block may be used as a motion vector candidate adjacent to the left of the target block. Further, an average value of four representative pixels of the block adjacent to the target block may be used as a motion vector candidate above the target block. Alternatively, the average value of the four representative pixels of the block on the upper right side of the target block may be used as a motion vector candidate on the upper right side of the target block. Furthermore, the positions and the number of pixels of adjacent blocks and adjacent blocks may be different.
  • an average value may be used instead of the median value of a plurality of motion vectors of pixels in adjacent blocks. You may use the motion vector of the pixel of a single adjacent block as it is. Further, the adjacent block or the pixel of the adjacent block may not necessarily be in contact with the target block.
  • the same processing can be performed when a motion vector in units of sub-macroblocks is predicted.
  • FIG. 7 is a diagram for explaining a prediction vector prediction method when the encoding target block is motion compensated prediction using geometric transformation. Also in this case, the prediction vector is calculated from the motion vector of the adjacent block in the same manner.
  • the prediction vectors of the first representative pixel a, the second representative pixel b, and the third representative pixel c of the encoding target block are predicted from the motion vectors of the pixels of the adjacent block.
  • the prediction vector of the first representative pixel a of the encoding target block is the motion vector of the representative pixel b of the left adjacent block A, the motion vector of the representative pixel c of the upper adjacent block B, and the left diagonal.
  • the calculation is performed with reference to the motion vector of the representative pixel d of the upper adjacent block D.
  • a predetermined priority is set and adopted in order of priority, or an intermediate value or an average value of these motion vectors is calculated.
  • the prediction vector of the second representative pixel b of the encoding target block is calculated with reference to the motion vector of the representative pixel d of the upper neighboring block B and the motion vector of the representative pixel c of the upper right neighboring block C.
  • the motion vector of the first representative pixel a of the encoding target block is also included in the candidate, and the intermediate value is calculated from these three motion vectors.
  • the motion vector of the representative pixel c of the block A on the left is used as the prediction vector.
  • the motion vector prediction method when the motion compensation prediction based on the geometric transformation shown in FIG. 7 is selected is an example, and the present invention is not limited thereto.
  • the encoding method and the decoding side prescribe the motion vector prediction method identically, other methods can be used.
  • the position and number of representative pixels in adjacent blocks may be different.
  • an average value may be used instead of the median value of a plurality of motion vectors of representative pixels of adjacent blocks. You may use the motion vector of the representative pixel of a single adjacent block as it is.
  • the representative pixel of the adjacent block does not necessarily have to be in contact with the target pixel.
  • the median value of the motion vectors of the first representative pixel a, the second representative pixel b, and the third representative pixel c is used as the prediction vector. It should be noted that other methods can be used as long as the motion vector prediction method is defined identically on the encoding side and the decoding side. For example, instead of the median value, an average value may be used, or a motion vector of a single arbitrary pixel may be used as it is.
  • the above formulas (13) and (14), which are the calculation formulas of the prediction vector of the fourth representative pixel d encoded / decoded in the first mode, are the calculation formulas of the fourth representative pixel d calculated in the fourth mode.
  • Each of the above formulas (1) and (2) is the same formula.
  • the first mode can represent a deformation that cannot be expressed in the second mode, the third mode, and the fourth mode, but is often a transformation close to an affine transformation that can be expressed in the fourth mode.
  • the prediction vector that can be calculated by the above equations (13) and (14) is based on the idea that there is a strong correlation with the motion vector of the fourth representative pixel d that is encoded and decoded in the first mode.
  • the motion vector prediction method is defined identically on the encoding side and the decoding side.
  • the median value of the motion vectors of the first representative pixel a, the second representative pixel b, and the third representative pixel c can be used as the prediction vector.
  • an average value may be used instead of the median value, or a motion vector of a single arbitrary pixel may be used as it is.
  • the prediction vector calculated by Expression (7) the motion vector of the first representative pixel a, the motion vector of the second representative pixel b, the motion vector of the third representative pixel c, the first representative pixel a, and the second representative pixel
  • the median of the motion vectors of b and the third representative pixel c, the average value of the motion vectors of the first representative pixel a, the second representative pixel b, and the third representative pixel c are used as prediction vector candidates, and at least two are adaptive. You may switch to.
  • a flag for specifying a motion vector to be adopted as a prediction vector from a plurality of candidates is prepared in the syntax, and the first encoded bit string generation unit 107 encodes this flag.
  • the second encoded bit string generation unit 108 encodes the difference vector supplied from the difference vector calculation unit 114 by entropy encoding such as arithmetic encoding, and generates an encoded bit string.
  • 2 to 4 difference vectors are encoded according to the first to fourth modes.
  • the difference vectors of the four representative pixels a, b, c, d corresponding to the four vertices a, b, c, d are encoded.
  • the difference vectors of the representative pixels a and c corresponding to the two vertices a and c are encoded.
  • the difference vectors of the representative pixels a and b corresponding to the two vertices a and b are encoded.
  • the fourth mode the difference vectors of the three representative pixels a, b, and c corresponding to the three vertices a, b, and c are encoded.
  • the prediction error signal generation unit 105 calculates a difference between the prediction signal generated by the prediction method adopted by the prediction method determination unit 104 and the image signal of the target block, and generates a prediction error signal. More specifically, the prediction error signal generation unit 105 subtracts the prediction signal supplied from the prediction method determination unit 104 from the image signal to be encoded supplied from the image buffer 101 to obtain a prediction error signal. Generated and supplied to the prediction error signal encoding unit 106.
  • the prediction error signal encoding unit 106 performs compression encoding processing such as orthogonal transform and quantization on the prediction error signal supplied from the prediction error signal generation unit 105 to generate an encoded prediction error signal.
  • the third encoded bit string generator 109 and the prediction error signal decoder 110 are supplied.
  • the third encoded bit sequence generation unit 109 sequentially encodes the encoded prediction error signal supplied from the prediction error signal encoding unit 106 using entropy encoding such as arithmetic encoding to generate an encoded bit sequence To do.
  • the encoded bit strings generated by the first encoded bit string generation unit 107, the second encoded bit string generation unit 108, and the third encoded bit string generation unit 109 are encoded by information other than prediction method information, motion vectors, and prediction error signals.
  • the other encoded bit strings are multiplexed via the output switch 113 to generate an encoded stream.
  • the prediction error signal decoding unit 110 performs decompression decoding processing such as inverse quantization and inverse orthogonal transform on the prediction error signal encoded by the prediction error signal encoding unit 106, and decodes the prediction error signal.
  • the prediction error signal decoding unit 110 supplies the decoded prediction error signal to the decoded image signal generation unit 111.
  • the decoded image signal generation unit 111 superimposes the prediction error signal supplied from the prediction error signal encoding unit 106 and the prediction signal supplied from the prediction method determination unit 104 to generate a decoded image signal.
  • the decoded image signal generation unit 111 sequentially stores the decoded image signal in the decoded image buffer 112 in units of blocks.
  • the decoded image stored in the decoded image buffer 112 is used as a reference image when performing motion compensation prediction on the subsequent image in the encoding order, if necessary.
  • FIG. 8 is a flowchart showing a macroblock encoding processing procedure in image encoding apparatus 100 according to Embodiment 1 of the present invention.
  • the translational motion compensation prediction unit 102 and the geometric transformation motion compensation prediction unit 103 extract a macroblock signal to be encoded from the image buffer 101 (S101).
  • the translational motion compensation prediction unit 102 performs motion compensation prediction by translation between the macroblock signal to be encoded supplied from the image buffer 101 and the reference image signal supplied from the decoded image buffer 112 ( S102). The motion compensation prediction based on the parallel movement is performed for each mode.
  • the geometric transformation motion compensation prediction unit 103 performs motion compensation prediction by geometric transformation between the encoding target macroblock signal supplied from the image buffer 101 and the reference image signal supplied from the decoded image buffer 112. Perform (S103). Motion compensation prediction by this geometric transformation is performed for each mode.
  • the prediction method determination unit 104 determines which of the motion compensation prediction method based on parallel movement and the motion compensation prediction based on geometric transformation is to be adopted (S104). At that time, it is also decided which mode is adopted.
  • the first encoded bit string generation unit 107 encodes the prediction method information supplied from the prediction method determination unit 104 to generate an encoded bit string (S105).
  • the difference vector calculation unit 114 calculates a prediction vector from the peripheral block or the peripheral pixel (S106), and calculates a difference vector between the prediction vector and the motion vector supplied from the prediction method determination unit 104 (S107).
  • the second encoded bit string generation unit 108 encodes the difference vector supplied from the difference vector calculation unit 114 to generate an encoded bit string (S108).
  • the prediction error signal generation unit 105 subtracts the prediction signal supplied from the prediction method determination unit 104 from the target image signal supplied from the image buffer 101 to generate a prediction error signal (S109).
  • the prediction error signal encoding unit 106 encodes the prediction error signal (S110).
  • the third encoded bit string generation unit 109 entropy-encodes the prediction error signal encoded by the prediction error signal encoding unit 106 using arithmetic encoding or the like to generate an encoded bit string (S111).
  • the prediction error signal decoding unit 110 decodes the prediction error signal encoded by the prediction error signal encoding unit 106 (S112).
  • the decoded image signal generation unit 111 generates a decoded image signal by superimposing the prediction error signal decoded by the prediction error signal decoding unit 110 and the prediction signal supplied from the prediction method determination unit 104 (S113).
  • the decoded image signal generation unit 111 accumulates the generated decoded image signal in the decoded image buffer 112 (S114).
  • the compression efficiency of the code amount can be improved by the image coding method using the motion compensation prediction by the geometric transformation. That is, the amount of codes can be reduced by predictively encoding motion vectors that use motion compensated prediction by geometric transformation. Also, if the motion compensation prediction based on the parallel movement and the motion compensation prediction based on the geometric transformation are used in combination, the compression efficiency of the code amount can be further improved. At that time, by sharing a motion vector related to motion compensation prediction based on parallel movement and a motion vector encoding method related to motion compensation prediction based on geometric transformation, even if these two prediction methods are mixed, The motion vector predictive coding method can be used as it is.
  • a prediction vector is predicted from a motion vector of a surrounding block or a surrounding pixel, and a difference vector is calculated, similarly to a motion compensation prediction using parallel movement. Can do.
  • the motion compensation prediction by parallel movement and the motion compensation prediction by geometric transformation are used together, it is possible to suppress an increase in the code amount of the motion vector.
  • the motion vectors of the first representative pixel a, the second representative pixel b, and the third representative pixel c are expressed by the above equation (13) or the above equation (14).
  • the motion vector of the fourth representative pixel d is calculated from the motion vectors of the first representative pixel a, the second representative pixel b, and the third representative pixel c by the above formula (1) or the above formula (2). By calculating, it is possible to further suppress an increase in the code amount of the motion vector.
  • FIG. 9 is a block diagram showing the configuration of the image decoding apparatus 200 according to Embodiment 2 of the present invention.
  • the image decoding apparatus 200 decodes the encoded stream generated by the image encoding apparatus 100 according to Embodiment 1.
  • motion compensated prediction based on parallel movement and motion compensated prediction based on geometric transformation may be used together, or motion compensated prediction based on geometric transformation is used alone. (Intra coding is not considered).
  • the image decoding apparatus 200 includes an input switch 209, a first encoded bit string decoding unit 201, a second encoded bit string decoding unit 202, a third encoded bit string decoding unit 203, a motion vector calculation unit 215, and a translational motion compensation prediction unit 204.
  • Geometric transformation motion compensation prediction unit 205 prediction error signal decoding unit 206, decoded image signal generation unit 207, decoded image buffer 208, switching control unit 214, first prediction unit switch 210, second prediction unit switch 211, third A prediction unit switch 212 and a fourth prediction unit switch 213 are provided.
  • the first encoded bit string decoding unit 201, the second encoded bit string decoding unit 202, and the third encoded bit string decoding unit 203 decode the prediction method information, the difference vector, and the prediction error signal included in the encoded stream.
  • the difference vector is encoded in the encoded stream.
  • the difference vector is a difference between the motion vector of the target block and a prediction vector predicted from the motion vector of the adjacent block or the pixel of the adjacent block.
  • the motion vector calculation unit 215 calculates a prediction vector from the motion vector of the pixel of the adjacent block or the adjacent block, and adds the decoded difference vector to the prediction vector, thereby predicting the motion vector.
  • the motion vector of the encoded target block or its representative pixel is decoded.
  • the translational motion compensation prediction unit 204 obtains a prediction signal from the motion vector between the target block in the target image and the reference block in the reference image that is translated with the target block, and the image signal of the reference block. Generate.
  • the geometric transformation motion compensation prediction unit 205 performs prediction based on the motion vector between the target block in the target image, the reference block in the reference image having a geometric transformation relationship with the target block, and the image signal of the reference block. Generate a signal.
  • the vertex of the target block is selected as a representative pixel, and the encoded stream includes a motion vector of each representative pixel.
  • the geometric transformation motion compensation prediction unit 205 calculates motion vectors of pixels other than the plurality of representative pixels of the target block by interpolation using the motion vectors of the plurality of representative pixels. For example, the motion vectors of pixels other than the representative pixel are calculated by the arithmetic expressions shown in the above expressions (3) to (12).
  • the switching control unit 214 performs the prediction method by the translation motion compensation prediction unit 204, the geometric transformation motion, for each target block in the target image. It is specified which of the prediction methods by the compensation prediction unit 205 is used.
  • the first encoded bit string decoding unit 201, the second encoded bit string decoding unit 202, and the third encoded bit string decoding unit 203 are included in the encoded stream generated by the image encoding device 100 according to Embodiment 1.
  • the encoded bit string to be transmitted is selectively input via the input switch 209.
  • the first encoded bit string decoding unit 201 decodes the encoded bit string supplied via the input switch 209 by entropy decoding such as arithmetic decoding, and acquires prediction method information.
  • the prediction method information includes whether the encoding is performed by translation / geometric transformation, and in the case of translation motion compensation, 16 ⁇ 16/16 ⁇ 8/8 ⁇ 16.
  • the first mode for encoding / decoding the motion vectors of the four representative pixels a, b, c, and d the vertical direction of the target block
  • a third mode for encoding / decoding motion vectors of two representative pixels a and b in the horizontal direction of the target block Information on which mode is encoded in the fourth mode in which the motion vectors of the representative pixels a, b, and c are encoded and decoded is included.
  • the second encoded bit string decoding unit 202 decodes the encoded bit string supplied via the input switch 209 by entropy decoding such as arithmetic decoding, and obtains a difference vector.
  • the difference vector is the difference between the prediction vector calculated from the motion vector of the adjacent block and the motion vector of the decoding target block.
  • the motion vector used in motion compensation prediction by parallel movement and the motion vector used in motion compensation prediction by geometric transformation are mixed and encoded, the difference mixed on the decoding side as well as the encoding side A motion vector is decoded from the vector according to prediction method information.
  • the prediction method information decoded by the first encoded bit stream decoding unit 201 Based on the prediction method information decoded by the first encoded bit stream decoding unit 201, which decoding image is used for which method of intra coding, motion compensation prediction by parallel movement, and motion compensation prediction by geometric transformation, and which reference image is used. You can see what block unit is selected and combined.
  • the switching control unit 214 performs the first prediction unit switch 210, the second prediction unit switch 211, the third prediction unit switch 212, and the fourth prediction unit according to the prediction method information supplied from the first encoded bit string decoding unit 201.
  • Switch 213 is switched.
  • the motion compensation prediction method by translation is selected as the prediction method of the target block
  • switching is performed so that the path of the translation motion compensation prediction unit 204 is selected, and the motion compensation prediction method by geometric transformation is selected. In this case, the path of the geometric transformation motion compensation prediction unit 205 is switched to be selected.
  • the motion vector calculation unit 215 determines the target block from the neighboring adjacent blocks that have already been encoded / decoded or the motion vectors of the pixels of the adjacent blocks.
  • the prediction vector is calculated by predicting the motion vector.
  • a motion vector is calculated by adding the difference vector supplied from the second encoded bit string decoding unit 202 to the prediction vector.
  • the motion vector calculation unit 215 supplies the motion vector to the translational motion compensation prediction unit 204 or the geometric transformation motion compensation prediction unit 205 via the second prediction unit switch 211.
  • the calculation of the prediction vector in the motion vector calculation unit 215 is performed by the same method as the calculation of the prediction vector in the difference vector calculation unit 114 of the image encoding device 100.
  • parallel motion compensation the motion vector of the block can be acquired.
  • the motion vector of the representative pixel of the block is calculated.
  • the translation motion compensated prediction unit 204 includes a decoded image to be a reference image supplied from the decoded image buffer 208 via the fourth prediction unit switch 213, and a second encoded bit string decoding unit 202 to the second prediction unit switch 211. Using the decoded motion vector supplied via, motion compensated prediction by translation is performed.
  • the geometric transformation motion compensated prediction unit 205 receives a decoded image to be a reference image supplied from the decoded image buffer 208 via the fourth prediction unit switch 213 and the motion vector calculation unit 215 via the second prediction unit switch 211.
  • the motion vectors of all the pixels are calculated by interpolation using the decoded motion vectors of the representative pixels.
  • the same processing method as that of the geometric transformation motion compensation prediction unit 103 of the image coding apparatus 100 described with reference to the above equations (1) to (14) can be used.
  • the geometric transformation motion compensation prediction unit 205 performs motion compensation prediction by geometric transformation by performing motion compensation for each pixel according to the motion vector for each pixel.
  • the third encoded bit string decoding unit 203 sequentially decodes the encoded bit string supplied via the input switch 209, and acquires the encoded prediction error signal.
  • the prediction error signal decoding unit 206 performs decompression decoding processing such as inverse quantization and inverse orthogonal transform on the encoded prediction error signal supplied from the third encoded bit string decoding unit 203, and performs the decoded prediction Get the error signal.
  • the decoded image signal generation unit 207 generates an image signal from the prediction signal and the prediction error signal. More specifically, the decoded image signal generation unit 207 switches from the translation motion compensation prediction unit 204 or the geometric transformation motion compensation prediction unit 205 to the third prediction unit switch according to the prediction method specified by the switching control unit 214. The prediction error signal supplied from the prediction error signal decoding unit 206 is superimposed on the prediction signal supplied via 212 to generate a decoded image signal. The decoded image signal generation unit 207 sequentially stores the decoded image signal in the decoded image buffer 208 in units of blocks.
  • FIG. 10 is a flowchart showing a macroblock decoding process procedure in the image decoding apparatus 200 according to Embodiment 2 of the present invention.
  • the first encoded bit string decoding unit 201 decodes the encoded bit string supplied via the input switch 209 and acquires prediction method information (S201).
  • the second encoded bit string decoding unit 202 decodes the encoded bit string supplied via the input switch 209 and obtains a difference vector (S202).
  • the prediction method information indicates motion compensated prediction by geometric transformation
  • 2 to 4 difference vectors are decoded according to the prediction method information.
  • the difference vectors of the four representative pixels a, b, c, d corresponding to the four vertices a, b, c, d are decoded.
  • the difference vectors of the representative pixels a and c corresponding to the two vertices a and c are decoded.
  • the difference vectors of the representative pixels a and b corresponding to the two vertices a and b are decoded.
  • the difference vectors of the three representative pixels a, b, and c corresponding to the three vertices a, b, and c are decoded.
  • the motion vector calculation unit 215 calculates a prediction vector from the peripheral block or the peripheral pixel (S203). This is performed by the same method as the calculation of the prediction vector by the difference vector calculation unit 114 of the image encoding device 100.
  • the motion vector calculation unit 215 adds the difference vector supplied from the second encoded bit string decoding unit 202 to the prediction vector according to the prediction method information supplied from the first encoded bit string decoding unit 201.
  • the motion vector of the target block or target pixel is calculated (S204). However, for representative points for which the difference vector has not been decoded by the second encoded bit string decoding unit 202, the prediction vector is used as the motion vector.
  • the switching control unit 214 identifies the motion compensation prediction method of the target block according to the decoded prediction method information (S205).
  • the prediction method is a motion compensation prediction method by translation (parallel of S205)
  • the translation motion compensation prediction unit 204 uses the decoded image signal to be the reference image signal supplied from the decoded image buffer 208 as the second image signal.
  • motion compensation is performed by translation and a prediction signal is generated (S206).
  • the geometric transformation motion compensation prediction unit 205 uses the reference image signal supplied from the decoded image buffer 208 and The decoded image signal to be subjected to motion compensation by geometric transformation using the motion vector supplied from the second encoded bit string decoding unit 202 generates a prediction signal (S207).
  • the third encoded bit string decoding unit 203 decodes the encoded bit string supplied via the input switch 209 and acquires the encoded prediction error signal (S208).
  • the decoded image signal generation unit 207 decodes the acquired prediction error signal (S209).
  • the decoded image signal generation unit 207 superimposes the prediction error signal decoded by the prediction error signal decoding unit 206 and the prediction signal generated by the translational motion compensation prediction unit 204 or the geometric transformation motion compensation prediction unit 205.
  • a decoded image signal is generated (S210).
  • the decoded image signal generation unit 207 accumulates the generated decoded image signal in the decoded image buffer 208 (S211).
  • the decoded image signal stored in the decoded image buffer 208 is used as a reference image signal in the translational motion compensation prediction unit 204 and the geometric transformation motion compensation prediction unit 205.
  • the encoded stream generated by the image encoding apparatus 100 according to the first embodiment can be efficiently decoded.
  • achieved by the image coding apparatus 100 which concerns on Embodiment 1 mentioned above is supported from the decoding side, and the effect can be ensured. That is, in the image coding method using motion compensation prediction by geometric transformation, the effect of improving the compression efficiency of the code amount can be supported from the decoding side, and the effect can be ensured. Also, in the image coding method using both motion compensation prediction by parallel movement and motion compensation prediction by geometric transformation, the effect of improving the compression efficiency of the code amount can be supported from the decoding side, and the effect can be ensured. it can. Moreover, the harmony and compatibility with the existing image decoding apparatus are high, and the introduction cost can be suppressed.
  • the target pixel that is, the macroblock partition or the sub-macroblock partition
  • the pixel near the vertex is used as the representative pixel and the representative pixel is included in the target block (FIG. 3). reference).
  • the present invention is not limited to this, and the representative pixel may be out of the target block.
  • FIG. 11 is a diagram (part 2) for explaining representative pixels corresponding to the four vertices of the target block.
  • the pixel a located at the upper left vertex, the pixels b, c, and d located near the upper right, lower left, and lower right vertices are set as representative pixels a, b, c, and d, respectively.
  • the representative pixel is represented by a black circle
  • the non-representative pixel is represented by a white circle
  • the representative pixel is a pixel a (0, 0) existing at the vertex of the target block (16 ⁇ 16 pixel macroblock in FIG.
  • W is a distance (unit: pixel) between representative pixels in the horizontal direction (between pixel a and pixel b and between pixel c and pixel d)
  • H is between representative pixels in the vertical direction (pixel a and pixel).
  • the coordinates of each pixel are represented by (i, j), the horizontal coordinates are represented by i in units of pixels, and the vertical coordinates are represented by j in units of pixels.
  • the upper left pixel in the macroblock is the origin (0, 0), and the right direction and the downward direction are positive increasing directions.
  • the upper left first representative pixel a is included in the target block, but the upper right second representative pixel b, the lower left third representative pixel c, and the lower right fourth representative pixel d are not included in the target block.
  • the motion vectors Va, Vb, Vc, Vd of the four representative pixels a, b, c, d to the motion vector V (i, j) of the other pixels P (i, j) are expressed by the above equation (3). ).
  • the representative pixel setting shown in FIG. 11 the same method as the method described with reference to FIG. With reference to the setting of the representative pixel shown in FIG. 11, motion vector prediction when motion compensated prediction by geometric transformation is selected for both the encoding target block and adjacent blocks will be described more specifically with reference to FIG. 12. .
  • the representative pixel b, the representative pixel c, and the representative pixel d each protrude from the target block by one pixel. Therefore, the representative pixel a of the target block is also the representative pixel b of the left adjacent block A, the representative pixel c of the upper adjacent block B, and the representative pixel d of the upper left adjacent block D.
  • the representative pixel b of the target block is also the representative pixel d of the upper adjacent block B, and is also the representative pixel c of the upper right adjacent block C.
  • the representative pixel c of the target block is also the representative pixel d of the block A adjacent to the left.
  • the prediction vectors of the first representative pixel a, the second representative pixel b, and the third representative pixel c are predicted from the motion vectors of adjacent blocks.
  • the prediction vector of the first representative pixel a of the encoding target block is the block A on the left side in the neighboring blocks that refer to the same image as the reference image of the target block among the encoded adjacent blocks. Is calculated with reference to the motion vector of the upper right vertex pixel, the motion vector of the lower left vertex pixel of the upper adjacent block B, and the motion vector of the lower right vertex pixel of the upper left block D.
  • the prediction vector of the second representative pixel b includes the motion vector of the lower right vertex pixel of the upper adjacent block B, the motion vector of the lower left vertex pixel of the upper right block C, and the motion of the first representative pixel a of the target block.
  • a vector is selected according to a predetermined rule.
  • the prediction vector of the third representative pixel c the motion vector of the lower right vertex pixel of the block A adjacent to the left is used as the prediction vector.
  • the prediction vector of the fourth representative pixel d is calculated from the motion vectors Va, Vb, and Vc of the first representative pixel a, the second representative pixel b, and the third representative pixel c, using the above formula (13) or It can be calculated by equation (14).
  • FIG. 13 is a diagram (No. 3) for explaining representative pixels corresponding to the four vertices of the target block.
  • the pixels a, b, and c located near the upper left, upper right, and lower left vertices and the pixel d located at the lower right vertex are set as the representative pixels a, b, c, and d.
  • the representative pixel is represented by a black circle
  • the non-representative pixel is represented by a white circle
  • the representative pixel is a pixel a ( ⁇ 1, ⁇ ) that exists near the vertex of the target block (16 ⁇ 16 pixel macroblock in FIG. 13).
  • W is a distance (unit: pixel) between representative pixels in the horizontal direction (between pixel a and pixel b and between pixel c and pixel d)
  • H is between representative pixels in the vertical direction (pixel a and pixel).
  • the coordinates of each pixel are represented by (i, j), the horizontal coordinates are represented by i in units of pixels, and the vertical coordinates are represented by j in units of pixels.
  • the upper left pixel in the macroblock is the origin (0, 0), and the right direction and the downward direction are positive increasing directions.
  • the lower right fourth representative pixel d is included in the target block, but the upper left, upper right, and lower left three representative pixels a, b, and c are not included in the target block.
  • the vertices of the target block that is, the macroblock partition or the sub-macroblock partition
  • the pixels near the vertices are used as representative pixels.
  • Interpolated pixels located at the coordinates may be used as representative pixels.
  • FIG. 14 is a diagram (part 4) for explaining representative pixels corresponding to the four vertices of the target block.
  • interpolation pixels a, b, c, and d corresponding to the positions of the upper left, upper right, lower left, and lower right vertices are set as representative pixels.
  • a representative pixel may be used, and a motion vector of a pixel that actually exists may be calculated by interpolation from the motion vector of the representative pixel.
  • the motion vector Vabcd of the adjacent block or the pixel of the adjacent block is not used as a prediction vector candidate as it is, but Vabcd is encoded.
  • the motion vector value Vabcd ′ calculated by scaling according to the distance (time) between the conversion target image and the reference image may be used as a prediction vector candidate.
  • the scaled motion vector value Vabcd ′ includes the distance (time) T1 between the encoding target image and the reference image indicated by the motion vector of the encoding target block, and the encoding target image and the pixel of the adjacent block or the adjacent block.
  • the motion vector value is scaled according to the distance (time) T2 from the reference image indicated by the motion vector Vabcd.
  • Vabcd ′ is calculated by scaling the motion vector Vabcd of the adjacent block (pixels of the adjacent block) according to the ratio of the frame intervals T1 and T2 between the encoding target image and the reference image.
  • the reference image referred to in the motion compensated prediction of the encoding target block is different from the reference image referred to in the motion compensated prediction of the adjacent block, and these two reference images are both past or future in the display order as viewed from the encoding target image.
  • the scaling is performed in the same direction. Scale by a positive value to scale in the same direction. By this scaling process, motion vectors having the same direction but different sizes become prediction vector candidates.
  • FIG. 15 is a diagram for explaining an example of the motion vector value scaling process. In FIG.
  • the reference image referenced in the motion compensated prediction of the encoding target block is different from the reference image referenced in the motion compensated prediction of the adjacent block, and these two reference images are past and future in the display order when viewed from the encoding target image.
  • the scaling is performed in the opposite direction. Scale with a negative value to scale in the opposite direction.
  • the L0 motion vector used for L0 prediction or bi-prediction and L1 prediction or bi-prediction are used.
  • Each L1 motion vector is handled separately.
  • the prediction vector candidate of the L0 motion vector is calculated from the L0 motion vector of the adjacent block or the pixel of the adjacent block
  • the prediction vector candidate of the L1 motion vector is the L1 motion vector of the pixel of the adjacent block or the adjacent block. Calculate from When the adjacent block is unidirectional prediction of L0 prediction or L1 prediction, only one of the L0 or L1 motion vectors exists.
  • the L1 motion vector is scaled by the above-described scaling processing. By doing so, it can be set as a candidate of a prediction vector of the motion vector of L0.
  • the L0 motion vector is scaled as described above. By scaling by processing, it can be set as a candidate of a prediction vector of the motion vector of L1.
  • the shape of the target block is a square
  • the shape of the target block may be other shapes such as a triangle, a parallelogram, and a trapezoid.
  • the representative pixel is set at or near the vertex of the shape.
  • DESCRIPTION OF SYMBOLS 100 Image coding apparatus, 101 Image buffer, 102 Translational motion compensation prediction part, 103 Geometric transformation motion compensation prediction part, 104 Prediction method determination part, 114 Difference vector calculation part, 105 Prediction error signal generation part, 106 Prediction error signal Encoding unit, 107, first encoded bit sequence generation unit, 108, second encoded bit sequence generation unit, 109, third encoded bit sequence generation unit, 110 prediction error signal decoding unit, 111 decoded image signal generation unit, 112 decoded image buffer, 113 Output switch, 200 Image decoding device, 201 First encoded bit string decoding unit, 202 Second encoded bit string decoding unit, 203 Third encoded bit string decoding unit, 215 Motion vector calculation unit, 204 Parallel motion compensation prediction unit, 205 Conversion prediction compensation unit, 206 prediction error signal decoding unit, 207 decoded image signal generation unit, 208 decoded image buffer, 209 input switch, 210 first prediction unit switch, 211 second prediction unit switch, 212 third prediction unit switch 213,
  • It can be used in the field of encoding images using motion compensated prediction.

Abstract

　幾何学変換動き補償予測部１０３は、対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、上記動きベクトルおよび予測信号を複数の予測モードごとに算出し、各予測モードにおいては、対象ブロックを構成する頂点に位置する画素、またはその頂点近傍に位置する画素、またはその頂点近傍に位置する補間画素を頂点に相当する代表画素として選定し、それら代表画素の動きベクトルを算出するとともに、当該代表画素以外の画素の動きベクトルを、当該代表画素の動きベクトルを用いた補間により算出して上記予測信号を算出する。

Description

画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム
　本発明は、動き補償予測を用いて画像を符号化する画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに動き補償予測を用いて画像を復号する画像復号装置、画像復号方法および画像復号プログラムに関する。
　動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧシリーズの規格がある。ＭＰＥＧシリーズの規格では、フレームを複数のブロックに分割し、他のフレームからの動きを予測する動き補償が用いられている。ＭＰＥＧ－４やＡＶＣ／Ｈ．２６４では、複数の動き補償ブロックサイズの中から、最適なものを切り替えて用いる仕組みが導入されている。
　ブロック単位の動き補償予測では、対象ブロックと参照ブロックとの間の平行移動を補償する方式が一般的である。これに加えて、ブロックの変形（たとえば、拡大、縮小、回転）を補償する方式も検討されている。たとえば、特許文献１では、フレーム間の予測を用いた画像符号化方式として、平行移動によって予測画像を求めるモードと幾何学変換によって予測画像を求めるモードをブロックごとに適応的に切り替えて、予測効率の向上を図っている。この方式では、平行移動の動きベクトルと、格子点の動きベクトル（すなわち、幾何学変換で用いる動きベクトル）を符号化するとしている。
特開平８－６５６８０号公報
　このような状況下、本発明者は、幾何学変換による動き補償予測を使用する画像符号化方式にて、動きベクトル情報を圧縮することにより、さらに全体の符号量を圧縮する手法を見出した。
　本発明はこうした状況に鑑みなされたものであり、その目的は、幾何学変換による動き補償予測を使用する画像符号化方式にて、符号量の圧縮効率を向上させる技術を提供することにある。
　本発明のある態様の画像符号化装置は、動画像を符号化する画像符号化装置であって、対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を複数の予測モードごとに算出し、各予測モードにおいては、対象ブロックを構成する頂点に位置する画素、またはその頂点近傍に位置する画素、またはその頂点近傍に位置する補間画素を頂点に相当する代表画素として選定し、それら代表画素の動きベクトルを算出するとともに、当該代表画素以外の画素の動きベクトルを、当該代表画素の動きベクトルを用いた補間により算出して予測信号を算出するための幾何学変換動き補償予測部と、対象画像内の対象ブロックごとに、幾何学変換動き補償予測部による複数の予測モードのいずれかを選択するための予測方法決定部と、予測方法決定部により選択された予測モードで算出された予測信号と、対象ブロックの画像信号との差分を算出し、予測誤差信号を生成するための予測誤差信号生成部と、予測方法決定部により選択された予測モードで算出された代表画素の動きベクトルの予測動きベクトルを、対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルと選択された予測モードで算出された代表画素の動きベクトルとの差分を算出して代表画素の差分動きベクトルを生成するための差分ベクトル生成部と、予測方法決定部により選択された予測モードを特定するための予測方法情報、差分ベクトル生成部により生成された差分動きベクトル、および予測誤差信号生成部により生成された予測誤差信号を符号化するための符号化部と、を備える。
　本発明の別の態様もまた、画像符号化装置である。この装置は、動画像を符号化する画像符号化装置であって、対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を予測モードに従って算出し、その算出においては、対象ブロックを構成する頂点に位置する画素、またはその頂点近傍に位置する画素、またはその頂点近傍に位置する補間画素を頂点に相当する代表画素として選定し、それら代表画素の動きベクトルを算出するとともに、当該代表画素以外の画素の動きベクトルを、当該代表画素の動きベクトルを用いた補間により算出して予測信号を算出する幾何学変換動き補償予測部と、幾何学変換動き補償予測部で算出された予測信号と、対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する予測誤差信号生成部と、幾何学変換動き補償予測部で算出された代表画素の動きベクトルの予測動きベクトルを、対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルと算出された代表画素の動きベクトルとの差分を算出して代表画素の差分動きベクトルを生成する差分ベクトル生成部と、差分ベクトル生成部により生成された差分動きベクトル、および予測誤差信号生成部により生成された予測誤差信号を符号化する符号化部と、を備える。
　本発明のある態様の画像復号装置は、幾何学変換による動き補償予測が使用されて符号化された符号化ストリームに含まれる、予測モードを特定するための予測方法情報、前記予測モードに応じた代表画素の差分動きベクトルおよび予測誤差信号を復号する復号部と、予測方法情報により特定される予測モードに従って、代表画素の動きベクトルの予測動きベクトルを、対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルに代表画素の差分動きベクトルを加算して代表画素の動きベクトルを生成する動きベクトル生成部と、対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の代表画素の動きベクトル、代表画素の動きベクトルを用いた補間により算出する代表画素以外の動きベクトル、および参照ブロックの画像信号から予測信号を生成する幾何学変換動き補償予測部と、予測信号、および復号部により復号された予測誤差信号から画像信号を生成する画像信号生成部と、を備える。代表画素には、対象ブロックを構成する頂点に位置する画素、頂点近傍に位置する画素または頂点近傍に位置する補間画素が選定されている。
　本発明の別の態様もまた、画像復号装置である。この装置は、幾何学変換による動き補償予測が使用されて符号化された符号化ストリームに含まれる、代表画素の差分動きベクトルおよび予測誤差信号を復号する復号部と、代表画素の動きベクトルの予測動きベクトルを、対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルに代表画素の差分動きベクトルを加算して代表画素の動きベクトルを生成する動きベクトル生成部と、対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の代表画素の動きベクトル、代表画素の動きベクトルを用いた補間により算出する代表画素以外の動きベクトル、および参照ブロックの画像信号から予測信号を生成する幾何学変換動き補償予測部と、予測信号、および復号部により復号された予測誤差信号から画像信号を生成する画像信号生成部と、を備える。代表画素には、対象ブロックを構成する頂点に位置する画素、頂点近傍に位置する画素または頂点近傍に位置する補間画素が選定されている。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　幾何学変換による動き補償予測を使用する画像符号化方式にて、符号量の圧縮効率を向上させることができる。
本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。 図２（ａ）～（ｈ）は、マクロブロック・パーティションおよびサブマクロブロック・パーティションを説明するための図である。 対象ブロックの４つの頂点に対応する代表画素を説明するための図（その１）である。 シンタックス構造の一例を示す図である。 図５（ａ）～（ｄ）は、対象ブロック、及び隣接ブロック共に平行移動による動き補償予測が選択された場合の動きベクトルの予測方法を説明するための図である。 符号化対象ブロックが平行移動による動き補償予測、隣接ブロックが幾何学変換による動き補償予測の場合の予測ベクトルの予測方法を説明するための図である。 図７（ａ）、（ｂ）は、対象ブロックが幾何学変換による動き補償予測の場合の予測ベクトルの予測方法を説明するための図（その１）である。 本発明の実施の形態１に係る画像符号化装置における、マクロブロックの符号化処理手順を示すフローチャートである。 本発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。 本発明の実施の形態２に係る画像復号装置における、マクロブロックの復号処理手順を示すフローチャートである。 対象ブロックの４つの頂点に対応する代表画素を説明するための図（その２）である。 対象ブロックが幾何学変換による動き補償予測の場合の予測ベクトルの予測方法を説明するための図（その２）である。 対象ブロックの４つの頂点に対応する代表画素を説明するための図（その３）である。 対象ブロックの４つの頂点に対応する代表画素を説明するための図（その４）である。 動きベクトル値のスケーリング処理の一例を説明するための図である。
　以下、図面と共に本発明の実施の形態を説明する。以下の実施の形態では、ＡＶＣ／Ｈ．２６４符号化方式をベースとして符号化／復号する例を説明する。
　図１は、本発明の実施の形態１に係る画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、画像バッファ１０１、平行移動動き補償予測部１０２、幾何学変換動き補償予測部１０３、予測方法決定部１０４、予測誤差信号生成部１０５、予測誤差信号符号化部１０６、第１符号化ビット列生成部１０７、第２符号化ビット列生成部１０８、第３符号化ビット列生成部１０９、予測誤差信号復号部１１０、復号画像信号生成部１１１、復号画像バッファ１１２および出力スイッチ１１３を含む。
　これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
　画像バッファ１０１は、撮影／表示時間順に供給された符号化対象の画像信号を一時格納する。画像バッファ１０１は、格納された符号化対象の画像信号を、所定の画素ブロック単位（ここでは、マクロブロック単位）で、平行移動動き補償予測部１０２、幾何学変換動き補償予測部１０３および予測誤差信号生成部１０５に並列に供給する。その際、撮影／表示時間順に供給された画像は、符号化順序に並び替えられて画像バッファ１０１から出力される。
　ＭＰＥＧシリーズでは、マクロブロックとは１６×１６画素の輝度信号と、それに対応する２つの色差信号のブロックを指す。色差フォーマットのＹＵＶが４：２：０の場合、色差信号は８×８画素のサイズである。
　本実施の形態では、参照画像を用いずに画面内で符号化するイントラ符号化方式、参照画像を用いた平行移動による動き補償予測方式、および参照画像を用いた幾何学変換による動き補償予測方式を用いる。ここで、参照画像は局部復号された復号画像である。なお、本実施の形態ではイントラ符号化方式には注目しないため、図１ではその構成を省略して描いている。これらの符号化方式のモードを、マクロブロック単位で単独あるいは組み合わせて適応的に切り替える。なお、すべてのマクロブロックを、参照画像を用いた幾何学変換による動き補償予測方式を用いて符号化する方式も可能である。
　平行移動動き補償予測部１０２は、画像バッファ１０１から供給される符号化対象のマクロブロック信号と、復号画像バッファ１１２から供給される参照画像信号との間で、平行移動による動き補償予測を行う。平行移動動き補償予測部１０２は、それぞれのモードによる対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成し、予測方法決定部１０４に供給する。本実施の形態では、平行移動動き補償予測部１０２は、ＡＶＣ／Ｈ.２６４方式などに規定されている既存の動き補償予測と同様の、平行移動による動き補償予測を行う。
　動き補償予測は、後述する復号画像バッファ１１２から供給される表示順序で、前方または後方の復号画像を参照画像とする。平行移動動き補償予測部１０２は、参照画像内の所定の検出範囲内で、画像バッファ１０１から供給されるマクロブロック信号と、復号画像バッファ１１２から供給される参照画像信号との間でブロックマッチングを行う。平行移動動き補償予測部１０２は、ブロックマッチングにより、当該マクロブロック信号と最も誤差が小さい、参照画像信号内の参照ブロック信号を特定し、当該マクロブロック信号と当該参照ブロック信号との間の動きベクトルを検出する。
　このブロックマッチングを、規定された複数のモードで行う。複数のモードはそれぞれ、参照インデックス、動き補償ブロックのサイズ、Ｌ０／Ｌ１／双予測などが異なる。参照インデックスとは参照ピクチャを示すインデックスである。なお、Ｌ０／Ｌ１／双予測はＢスライスでのみ選択可能である。ここで、Ｌ０予測とＬ１予測は片方向から予測される片方向予測で、Ｌ０予測はＬ０の動きベクトル等の情報を用いる予測、Ｌ１予測はＬ１の動きベクトル等の情報を用いる予測である。また、双予測はＬ０の動きベクトル等の情報、及びＬ１の動きベクトル等の情報を用いて、２つの参照画像から予測される双方向予測である。ブロックサイズの具体例は後述する。
　また、動き補償予測を行う際、１画素未満の画素精度で動き補償することができる。たとえば、ＡＶＣ／Ｈ.２６４方式などでは、輝度信号は１画素の１／４の精度まで、色差信号は１画素の１／８の精度までの動き補償を行うことができる。１画素未満の画素精度で動き補償する場合、１画素未満の画素精度の信号を参照画像内の周囲の整数画素の信号から補間により生成する。
　平行移動動き補償予測部１０２は、それぞれのモードにて動き補償予測を行い、それぞれのモードにおける予測信号（より具体的には、動き補償予測ブロック信号）および動きベクトルを、予測方法決定部１０４に供給する。
　つぎに、ＡＶＣ／Ｈ．２６４方式における動き補償ブロックサイズについて説明する。
　図２（ａ）～（ｈ）は、マクロブロック・パーティションおよびサブマクロブロック・パーティションを説明するための図である。ここでは説明を簡略化するため、輝度信号の画素ブロックのみ描いている。ＭＰＥＧシリーズでは、マクロブロックは正方形領域で規定される。一般的にＡＶＣ／Ｈ．２６４方式を含むＭＰＥＧシリーズでは、１６×１６画素（水平１６画素、垂直１６画素）で規定されるブロックをマクロブロックという。さらに、ＡＶＣ／Ｈ．２６４方式では、８×８画素で規定されるブロックをサブマクロブロックという。マクロブロック・パーティションとは、マクロブロックを動き補償予測のために、さらに分割したそれぞれの小ブロックをいう。サブマクロブロック・パーティションとは、サブマクロブロックを動き補償予測のために、さらに分割したそれぞれの小ブロックをいう。
　図２（ａ）は、マクロブロックが１６×１６画素の輝度信号とそれに対応する２つの色差信号から構成される１つのマクロブロック・パーティションで構成されていることを示す図である。ここでは、この構成を１６×１６モードのマクロブロック・タイプと呼ぶ。
　図２（ｂ）は、マクロブロックが１６×８画素（水平１６画素、垂直８画素）の輝度信号とそれに対応する２つの色差信号から構成される２つのマクロブロック・パーティションで構成されていることを示す図である。この２つのマクロブロック・パーティションは縦に並べられている。ここでは、この構成を１６×８モードのマクロブロック・タイプと呼ぶ。
　図２（ｃ）は、マクロブロックが８×１６画素（水平８画素、垂直１６画素）の輝度信号とそれに対応する２つの色差信号から構成される２つのマクロブロック・パーティションで構成されていることを示す図である。この２つのマクロブロック・パーティションは横に並べられている。ここでは、この構成を８×１６モードのマクロブロック・タイプと呼ぶ。
　図２（ｄ）は、マクロブロックが８×８画素の輝度信号とそれに対応する２つの色差信号から構成される４つのマクロブロック・パーティションで構成されていることを示す図である。この４つのマクロブロック・パーティションは縦横２つずつ並べられている。この構成を８×８モードのマクロブロック・タイプと呼ぶ。
　図２（ｅ）は、サブマクロブロックが８×８画素の輝度信号とそれに対応する２つの色差信号から構成される１つのサブマクロブロック・パーティションで構成されていることを示す図である。ここでは、この構成を８×８モードのサブマクロブロック・タイプと呼ぶ。
　図２（ｆ）は、サブマクロブロックが８×４画素（水平８画素、垂直４画素）の輝度信号とそれに対応する２つの色差信号から構成される２つのサブマクロブロック・パーティションで構成されていることを示す図である。この２つのサブマクロブロック・パーティションは縦に並べられている。この構成を８×４モードのサブマクロブロック・タイプと呼ぶ。
　図２（ｇ）は、サブマクロブロックが４×８画素（水平４画素、垂直８画素）の輝度信号とそれに対応する２つの色差信号から構成される２つのマクロブロック・パーティションで構成されていることを示す図である。この２つのマクロブロック・パーティションは横に並べられている。ここでは、この構成を４×８モードのサブマクロブロック・タイプと呼ぶ。
　図２（ｈ）は、サブマクロブロックが４×４画素の輝度信号とそれに対応する２つの色差信号から構成される４つのサブマクロブロック・パーティションで構成されていることを示す図である。この４つのサブマクロブロック・パーティションは縦横２つずつ並べられている。ここでは、この構成を４×４モードのサブマクロブロック・タイプと呼ぶ。
　ＡＶＣ／Ｈ．２６４符号化方式では、以上の動き補償ブロックサイズの中から、最適なものを切り替えて用いる仕組みが取り入れられている。まず、マクロブロック単位の動き補償ブロックサイズとして、１６×１６、１６×８、８×１６および８×８モードのマクロブロック・タイプの中からいずれかが選択される。８×８モードのマクロブロック・タイプが選択された場合、サブマクロブロック単位の動き補償ブロックサイズとして、８×８、８×４、４×８、４×４モードのサブマクロブロック・タイプの中からいずれかが選択される。
　輝度信号は、選択されたサイズの画素数で動き補償される。色差信号は、色差フォーマットが４：２：０の場合、水平、垂直ともにその半分の画素数で動き補償される。このように、動き補償ブロックサイズの情報は、マクロブロック・タイプおよびサブマクロブロック・タイプと呼ばれるシンタックス要素で符号化される。シンタックスとは符号化ビット列の表現規則であり、シンタックス要素とは、シンタックスで伝送することが規定されている情報である。
　１６×１６、１６×８、８×１６および８×８モードのいずれのマクロブロック・タイプでも、マクロブロック・パーティションごとに１つの動きベクトルが検出される。すなわち、１６×１６モードのマクロブロック・タイプでは１つの動きベクトルが、１６×８および８×１６モードのマクロブロック・タイプでは２つの動きベクトルが、および８×８モードのマクロブロック・タイプでは４つの動きベクトルが、それぞれ検出される。
　各マクロブロック・パーティションの輝度信号および色差信号の各画素は、そのマクロブロック・パーティションの１つの動きベクトルに応じて、動き補償される。すなわち、当該各画素は、同じ動きベクトルを用いて動き補償される。
　図１に戻り、幾何学変換動き補償予測部１０３は、画像バッファ１０１から供給される符号化対象のマクロブロック信号と、復号画像バッファ１１２から供給される参照画像信号との間で、平行移動に加えて、拡大・縮小／回転などを含む変形を伴う幾何学変換による動き補償予測を行う。幾何学変換動き補償予測部１０３は、それぞれのモードによる対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成し、予測方法決定部１０４に供給する。より具体的には、幾何学変換動き補償予測部１０３は、対象ブロックを構成する頂点に位置する画素、頂点近傍に位置する画素または頂点近傍に位置する補間画素を代表画素として選定し、それら代表画素の動きベクトルを算出する。ここで、当該対象ブロックは四角形（たとえば、正方形、長方形）の領域であるため、その領域の頂点は４つである。したがって、４つの代表画素が存在する。そして、幾何学変換動き補償予測部１０３は、当該代表画素以外の画素の動きベクトルを、当該代表画素の動きベクトルを用いて補間により算出する。それらの画素毎の動きベクトルに応じて、画素毎に予測信号を予測する。
　幾何学変換動き補償予測部１０３は、対象ブロックの４つの代表画素の動きベクトルを符号化・復号する第１モードと、対象ブロックの縦方向における２つの代表画素の動きベクトルを符号化・復号する第２モードと、対象ブロックの横方向における２つの代表画素の動きベクトルを符号化・復号する第３モードと、対象ブロックの３つの代表画素の動きベクトルを符号化・復号する第４モードと、を実行することができる。なお、幾何学変換動き補償予測部１０３は、必ずしも複数のモードを実行する必要はなく、処理能力や各モードの発生頻度に応じて、一つのモードを固定的に使用してもよいし、一つのモードのみを備えるものでもよい。また、４つのモードの内の少なくとも２つのモードを実行してもよい（少なくとも２つのモードを備えるものでもよい）。これらの場合、演算量や各モードを識別する情報の符号量を低減することができる。
　本実施の形態の説明においては、上記対象ブロックを１６×１６画素のマクロブロックとして説明するが、当該対象ブロックのサイズは１６×１６画素に限定されるものではなく、８×８画素のサブマクロブロックであってもよいし、３２×３２画素、４８×４８画素、６４×６４画素、１２８×１２８画素等のブロックであってもよい。また、本実施の形態の説明においては、上記対象ブロックが正方形のマクロブロックとして説明するが、当該対象ブロックの形状は正方形に限定されるものではなく、１６×８画素、８×１６画素のマクロブロック・パーティション、８×４画素、４×８画素のサブマクロブロック・パーティション、３２×１６画素、１６×３２画素等のブロックであってもよい。
　予測方法決定部１０４は、幾何学変換動き補償予測部１０３による予測方法として、上述した第１モード、第２モード、第３モードおよび第４モードのいずれかを採用することができる。予測方法決定部１０４の詳細な処理については後述する。
　以下、幾何学変換動き補償予測部１０３について、より具体的に説明する。幾何学変換動き補償予測部１０３は、ＡＶＣ／Ｈ．２６４方式などに規定された既存の平行移動による動き補償予測と異なり、平行移動に加えて、拡大・縮小／回転などを含む変形を伴う幾何学変換による動き補償予測を行う。
　本実施の形態に係る幾何学変換による動き補償予測では、マクロブロック、マクロブロック・パーティション、サブマクロブロックの輝度信号、色差信号の各画素をそれぞれ同じ動きベクトルで動き補償するのではなく、画素ごとに異なる動きベクトルを作成して動き補償を行う。幾何学変換動き補償予測部１０３は、各マクロブロックの頂点、頂点近傍の画素またはその頂点近傍に位置する補間画素を代表画素に選定し、その動きベクトルを求める。
　図３は、対象ブロックの４つの頂点に対応する代表画素を説明するための図（その１）である。ここで、対象ブロックの左上の頂点または頂点近傍を頂点ａ、右上の頂点または頂点近傍を頂点ｂ、左下の頂点または頂点近傍を頂点ｃおよび右下の頂点または頂点近傍を頂点ｄとする。図３に示す例では、左上、右上、左下および右下の頂点にそれぞれ位置する画素ａ、ｂ、ｃ、ｄをそれぞれ代表画素ａ、ｂ、ｃ、ｄに設定している。図３では、代表画素を黒丸、非代表画素を白丸で表し、代表画素を対象ブロック（図３では、１６×１６画素のマクロブロック）の頂点に存在する画素ａ（０，０）、画素ｂ（Ｗ，０）、画素ｃ（０，Ｈ）および画素ｄ（Ｗ，Ｈ）に設定している。ここで、Ｗは水平方向の代表画素間（画素ａと画素ｂの間、及び画素ｃと画素ｄの間）の距離（単位：画素）、Ｈは垂直方向の代表画素間（画素ａと画素ｃの間、及び画素ｂと画素ｄの間）の距離（単位：画素）であり、図３に示す代表画素の設定では、Ｗ＝１５（画素）、Ｈ＝１５（画素）である。以下、本明細書では各画素の座標を（ｉ，ｊ）で表し、水平方向の座標を１画素単位でｉで表し、垂直方向の座標を１画素単位でｊで表す。また、対象ブロックの左上の画素の座標を原点（０，０）とする。
　４つの代表画素（第１代表画素ａ、第２代表画素ｂ、第３代表画素ｃおよび第４代表画素ｄ）の動きベクトルを符号化・復号する第１モードの場合、当該４つの代表画素のそれぞれの動きベクトルを検出する。また、縦方向の２つの代表画素（第１代表画素ａおよび第３代表画素ｃ）の動きベクトルを符号化・復号する第２モードの場合、当該２つの代表画素のそれぞれの動きベクトルを検出する。また、横方向の２つの代表画素（第１代表画素ａおよび第２代表画素ｂ）の動きベクトルを符号化・復号する第３モードの場合、当該２つの代表画素のそれぞれの動きベクトルを検出する。また、３つの代表画素（第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃ）の動きベクトルを符号化・復号する第４モードの場合、当該３つの代表画素のそれぞれの動きベクトルを検出する。
　幾何学変換動き補償予測部１０３は、各マクロブロックの代表画素の動きベクトルとして、オプティカルフロー法等により画素単位で算出した動きベクトルを用いてもよいし、画像のエッジやコーナー等の信頼性の高いと判断される特徴点の動きベクトルから内挿・外挿演算により補正した動きベクトルを用いてもよい。また、平行移動動き補償予測部１０２により生成された、マクロブロック・パーティションの動きベクトルを補正して用いてもよい。なお、マクロブロックやマクロブロック・パーティションの動きベクトルを補正して用いる場合、その動きベクトルの値を当該代表画素にあてはめて、その動きベクトルの値を増加方向および減少方向に調整しながら検証することにより、動きベクトルの値を補正する。
　つぎに、幾何学変換動き補償予測部１０３は、代表画素の動きベクトルからマクロブロック内の全画素の動きベクトルを、線形補間等を用いて補間することにより算出する。
　縦方向の２つの代表画素（第１代表画素ａおよび第３代表画素ｃ）の動きベクトルを符号化・復号する第２モードの場合、幾何学変換動き補償予測部１０３は、垂直方向の当該２つの代表画素ａ、ｃの動きベクトルから、これら２点を結ぶ直線上の画素の動きベクトルを補間することにより算出する。そして、その他の画素の動きベクトルを、線形補間された各画素の動きベクトルを水平方向にそのまま当てはめる。
　横方向の２つの代表画素（第１代表画素ａおよび第２代表画素ｂ）の動きベクトルを符号化・復号する第３モードの場合、幾何学変換動き補償予測部１０３は、水平方向の当該２つの代表画素ａ、ｂの動きベクトルから、これら２点を結ぶ直線上の画素の動きベクトルを補間することにより算出する。そして、その他の画素の動きベクトルを、線形補間された各画素の動きベクトルを垂直方向にそのまま当てはめる。
　４つの頂点ａ、ｂ、ｃ、ｄに対応する４つの代表画素ａ、ｂ、ｃ、ｄの動きベクトルを符号化・復号する第１モード、または３つの頂点ａ、ｂ、ｃに対応する３つの代表画素ａ、ｂ、ｃの動きベクトルを符号化・復号する第４モードの場合、幾何学変換動き補償予測部１０３は、水平方向および垂直方向の双方に補間することにより非代表画素の動きベクトルを算出する。後述する方法により水平方向および垂直方向の双方に一度に補間してもよいし、水平方向の当該２つの代表画素の動きベクトルから、これら２点を結ぶ直線上の画素の動きベクトルを補間することにより非代表画素の動きベクトルを算出し、その他の画素の動きベクトルを、すでに算出された各画素の動きベクトルを用いて、さらに垂直方向に補間することにより算出してもよい。
　なお、３つの頂点ａ、ｂ、ｃに対応する３つの代表画素ａ、ｂ、ｃの動きベクトルを符号化・復号する第４モードにおいては、第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃの動きベクトルから、第４代表画素ｄの動きベクトルを算出することができる。そして、４つの頂点ａ、ｂ、ｃ、ｄに対応する４つの代表画素の動きベクトルを符号化・復号する第１モードと同様に非代表画素の動きベクトルを算出することができる。
　なお、縦方向の２つの頂点ａ、ｃに対応する２つの代表画素ａ、ｃの動きベクトルを符号化・復号する第２モードにおいては、第１代表画素ａの動きベクトルの値を第２代表画素ｂの動きベクトルの値に設定し、第３代表画素ｃの動きベクトルの値を第４代表画素ｄの動きベクトルの値に設定する。そして、４つの頂点ａ、ｂ、ｃ、ｄに対応する４つの代表画素ａ、ｂ、ｃ、ｄの動きベクトルを符号化・復号する第１モードと同様に、非代表画素の動きベクトルを算出することができる。
　同様に、横方向の２つの頂点ａ、ｂに対応する２つの代表画素ａ、ｂの動きベクトルを符号化・復号する第３モードにおいては、第１代表画素ａの動きベクトルの値を第３代表画素ｃの動きベクトルの値に設定し、第２代表画素ｂの動きベクトルの値を第４代表画素ｄの動きベクトルの値に設定する。そして、４つの頂点ａ、ｂ、ｃ、ｄに対応する４つの代表画素ａ、ｂ、ｃ、ｄの動きベクトルを符号化・復号する第１モードと同様に、非代表画素の動きベクトルを算出することができる。
　幾何学変換動き補償予測部１０３は、算出された画素ごとの動きベクトルを用いて、画素ごとに動き補償を行う。以上の説明では、マクロブロックに含まれる各画素の動きベクトルを算出する例を説明したが、サブマクロブロックに含まれる各画素の動きベクトルも同様に算出することができる。
　この画素単位の動きベクトルの算出処理および各画素の動き補償処理を、規定された複数のモードで行う。複数のモードはそれぞれ、参照インデックス、動き補償ブロックのサイズ、Ｌ０／Ｌ１／双予測などが異なる。なお、Ｌ０／Ｌ１／双予測はＢスライスでのみ選択可能である。
　幾何学変換動き補償予測部１０３は、それぞれのモードにて動き補償予測を行い、それぞれのモードにおける予測モード情報、動きベクトル、および予測信号（より具体的には、動き補償予測ブロック信号）を予測方法決定部１０４に供給する。
　以下、幾何学変換動き補償予測における、代表画素以外の各画素の動きベクトルの算出方法について具体例を挙げながら説明する。
　４つの代表画素ａ、ｂ、ｃ、ｄの動きベクトルの値を各成分毎に水平方向および垂直方向の双方に線形補間等の補間を用いることにより非代表画素の動きベクトルを算出する。上記図３の例では、代表画素を、マクロブロックの頂点に位置する画素ａ（０，０）、画素ｂ（Ｗ，０）、画素ｃ（０，Ｈ）および画素ｄ（Ｗ，Ｈ）に設定している。ここでは、各画素の座標を（ｉ，ｊ）で表し、水平方向の座標を１画素単位でｉで表し、垂直方向の座標を１画素単位でｊで表している。マクロブロック内の最も左上の画素を原点（０，０）とし、右方向および下方向を正の増加方向とする。
　まず、これら画素ａ、画素ｂ、画素ｃおよび画素ｄの動きベクトルが割り当てられ、つぎに、それ以外の画素の動きベクトルが、線形補間により算出される。
　４つの頂点ａ、ｂ、ｃ、ｄに対応する４つの代表画素ａ、ｂ、ｃ、ｄの動きベクトルを符号化・復号する第１モードでは、これら画素ａ、画素ｂ、画素ｃおよび画素ｄの動きベクトルが割り当てられる。２つの頂点ａ、ｃに対応する２つの代表画素ａ、ｃの動きベクトルを符号化・復号する第２モードでは、これら画素ａおよび画素ｃの動きベクトルが割り当てられ、画素ａの動きベクトルは画素ｂの動きベクトルでもあり、画素ｃの動きベクトルは画素ｄの動きベクトルでもある。２つの頂点ａ、ｂに対応する２つの代表画素ａ、ｂの動きベクトルを符号化・復号する第３モードでは、これら画素ａおよび画素ｂの動きベクトルが割り当てられ、画素ａの動きベクトルは画素ｃの動きベクトルでもあり、画素ｂの動きベクトルは画素ｄの動きベクトルでもある。
　３つの頂点ａ、ｂ、ｃに対応する３つの代表画素ａ、ｂ、ｃの動きベクトルを符号化・復号する第４モードでは、これら画素ａ、画素ｂおよび画素ｃの動きベクトルが割り当てられ、これら３点の動きベクトルから、頂点ｄに対応する第４代表画素ｄの動きベクトルが算出される。画素ａの動きベクトルＶａ＝Ｖ（０，０）と、画素ｂの動きベクトルＶｂ＝Ｖ（Ｗ，０）と、画素ｃの動きベクトルＶｃ＝Ｖ（０，Ｈ）と、画素ｄの動きベクトルＶｄ＝Ｖ（Ｗ，Ｈ）との関係から、頂点ｄに対応する代表画素ｄの動きベクトルＶｄは、下記式（１）により算出される。
Ｖｄ＝Ｖｃ＋（Ｖｂ－Ｖａ）　・・・式（１）
　あるいは、下記式（２）により算出される。
Ｖｄ＝Ｖｂ＋（Ｖｃ－Ｖａ）　・・・式（２）
　つぎに、４つの代表画素ａ、ｂ、ｃ、ｄの４つの動きベクトルＶａ、Ｖｂ、Ｖｃ、Ｖｄからそれ以外の画素Ｐ（ｉ，ｊ）の動きベクトルＶ（ｉ，ｊ）を線形補間により生成する。水平方向の代表画素間（画素ａと画素ｂの間、及び画素ｃと画素ｄの間）の距離（画素数）をＷ、垂直方向の代表画素間（画素ａと画素ｃの間、及び画素ｂと画素ｄの間）の距離（画素数）をＨとしたとき、これら代表画素ａ、ｂ、ｃ、ｄ以外の画素Ｐ（ｉ，ｊ）の動きベクトルＶ（ｉ，ｊ）は下記式（３）により算出される。
Ｖ（ｉ，ｊ）＝｛（Ｗ－ｉ）（Ｈ－ｊ）Ｖａ＋ｉ（Ｈ－ｊ）Ｖｂ＋（Ｗ－ｉ）ｊ・Ｖｃ＋ｉ・ｊ・Ｖｄ｝／（Ｗ・Ｈ）　・・・式（３）
　なお、上記図３に示す代表画素の設定では、Ｗ＝１５（画素）、Ｈ＝１５（画素）である。
　以上により、第１モード、第２モード、第３モードおよび第４モードにおける各画素の動きベクトルを算出することができる。水平方向および垂直方向の双方に一度に（すなわち、２次元で）補間する方法について説明したが、水平方向の２つの代表画素の動きベクトルから、これら２点を結ぶ直線上の画素の動きベクトルを補間することにより非代表画素の動きベクトルを算出し、その他の画素の動きベクトルを、すでに算出された各画素の動きベクトルを用いて、さらに垂直方向に補間することにより算出してもよい。
　この場合の算出方法について説明する。画素ａの動きベクトルＶａ＝Ｖ（０，０）、画素ｂの動きベクトルＶｂ＝Ｖ（Ｗ，０）、画素ｃの動きベクトルＶｃ＝Ｖ（０，Ｈ）、および画素ｄの動きベクトルＶｄ＝Ｖ（Ｗ，Ｈ）とすると、画素ａと画素ｂを通るライン上の各画素Ｐ（ｉ，０）の動きベクトルＶ（ｉ，０）は、下記式（４）により算出される。
Ｖ（ｉ，０）＝Ｖａ＋（Ｖｂ－Ｖａ）＊（ｉ－０）／Ｗ　・・・式（４）
　同様に、画素ｃと画素ｄを通るライン上の各画素Ｐ（ｉ，Ｈ）の動きベクトルＶ（ｉ，Ｈ）は、下記式（５）により算出される。
Ｖ（ｉ，Ｈ）＝Ｖｃ＋（Ｖｄ－Ｖｃ）＊（ｉ－０）／Ｗ　・・・式（５）
　さらに、残りの画素Ｐ（ｉ，ｊ）の動きベクトルＶ（ｉ，ｊ）は、下記式（６）により算出される。
Ｖ（ｉ，ｊ）＝Ｖ（ｉ，０）＋｛Ｖ（ｉ，Ｈ）－Ｖ（ｉ，０）｝＊（ｊ－０）／Ｈ　・・・式（６）
　以上により、第１モード、第２モード、第３モードおよび第４モードにおける各画素の動きベクトルを算出することができる。なお、第２モードおよび第３モードでは下記の方法により算出することもできる。
　第２モードでは、画素ａおよび画素ｃの動きベクトルが割り当てられ、画素ａと画素ｃを通る垂直ライン上の各画素の動きベクトルが、線形補間により算出され、水平方向それぞれの画素に同じ動きベクトルの値が代入される。
　画素ａの動きベクトルＶａ＝Ｖ（０，０）および画素ｃの動きベクトルをＶｃ＝Ｖ（０，Ｈ）とすると、画素ａと画素ｃを通るライン上の各画素の動きベクトルＶ（０，ｊ）は、下記式（７）により算出される。
Ｖ（０，ｊ）＝Ｖａ＋（Ｖｃ－Ｖａ）＊（ｊ－０）／Ｈ　・・・式（７）
　つぎに、下記式（８）に示すように、上記式（７）により算出された動きベクトルＶ（０，ｊ）の値を水平方向に拡張して、動きベクトルＶ（０，ｊ）の値を残りの画素の動きベクトルＶ（ｉ，ｊ）に代入する。
Ｖ（ｉ，ｊ）＝Ｖ（０，ｊ）　・・・式（８）
　残りの画素の動きベクトルＶ（ｉ，ｊ）は、下記式（９）により算出されてもよい。
Ｖ（ｉ，ｊ）＝Ｖａ＋（Ｖｃ－Ｖａ）＊（ｊ－０）／Ｈ　・・・式（９）
　第３モードでは、画素ａおよび画素ｂの動きベクトルが割り当てられ、画素ａと画素ｂを通る垂直ライン上の各画素の動きベクトルが、線形補間により算出され、水平方向それぞれの画素に同じ動きベクトルの値が代入される。
　画素ａの動きベクトルＶａ＝Ｖ（０，０）および画素ｂの動きベクトルＶｂ＝Ｖ（Ｗ，０）とすると、画素ａと画素ｂを通るライン上の各画素の動きベクトルＶ（ｉ，０）は、下記式（１０）により算出される。
Ｖ（ｉ，０）＝Ｖａ＋（Ｖｂ－Ｖａ）＊（ｉ－０）／Ｗ　・・・式（１０）
　つぎに、下記式（１１）に示すように、上記式（１０）により算出された動きベクトルＶ（ｉ，０）の値を垂直方向に拡張して、動きベクトルＶ（ｉ，０）の値を残りの画素の動きベクトルＶ（ｉ，ｊ）に代入する。
Ｖ（ｉ，ｊ）＝Ｖ（ｉ，０）　・・・式（１１）
　残りの画素の動きベクトルＶ（ｉ，ｊ）は、下記式（１２）により算出されてもよい。
Ｖ（ｉ，ｊ）＝Ｖａ＋（Ｖｂ－Ｖａ）＊（ｉ－０）／Ｗ　・・・式（１２）
　幾何学変換動き補償予測部１０３は、算出された各画素の動きベクトルに応じて各画素を動き補償予測する。より具体的には、各画素の動きベクトルが指し示す参照画像の画素から補間信号を生成することにより動き補償予測する。なお、各画素の動きベクトルの精度、演算過程で必要となる数値のまるめ方などは、どの復号装置で復号しても同じ値になるように規定する必要がある。また、動きベクトルにより指定される予測画素の座標が小数点以下で表される場合、動き補償の際に周囲の画素から当該画素を補間する。その補間方法には４～６タップのフィルタリングや線形補間などを用いることができる。
　第１モードでは、４つの動きベクトルで拡大・縮小、回転、平行移動など、第２モード、第３モードおよび第４モードでは表現できない複雑な変形を表すことができる。第４モードでは、３つの動きベクトルでアフィン変換による変形を表すことができる。変形の表現力は第１モードに比べて限定されるが、符号化すべき動きベクトル（より具体的には、差分ベクトル）の数を減らすことができる。
　第２モードでは、２つの動きベクトルで平行移動に加えて垂直方向に異なる変形を表すことができる。変形の表現力は第１モードおよび第４モードに比べて限定されるが、符号化すべき動きベクトルの数を減らすことができる。第３モードでは、２つの動きベクトルで平行移動に加えて水平方向に異なる変形を表すことができる。変形の表現力は第１モードおよび第４モードに比べて限定されるが、符号化すべき動きベクトルの数を減らすことができる。
　図１に戻り、予測方法決定部１０４は、対象画像内の対象ブロックごとに、平行移動動き補償予測部１０２による予測方法と、幾何学変換動き補償予測部１０３による予測方法とのいずれを採用するか決定する。より具体的には、いずれの予測方法の、いずれのモードを採用するかを決定する。以下、モードの選択を含めて予測方法の選択という。
　すなわち、予測方法決定部１０４は、平行移動による動き補償予測または幾何学変換による動き補償予測のどちらを、どの参照画像を用いて、どの画素ブロック単位で符号化するかを選択することにより、予測方法を決定する。幾何学変換による動き補償予測を選択する場合は、第１モード、第２モード、第３モードおよび第４モードのいずれかを選択する。その際、それらの項目の、どの組み合わせが、最も効率的な符号化を実現できる予測方法であるかを判定することにより、予測方法を決定する。予測方法を決定する基準として、たとえば、符号量と歪の関係を考慮したレート歪理論を用いることができる。より具体的には、マクロブロックの符号量（すなわち、予測方法情報、動きベクトルおよび予測信号の合計符号量）を算出するとともに、符号化対象画像と復号画像の差から歪量を算出し、当該符号量および当該歪量を入力変数とするレート歪関数を最小化する予測方法を選択する。
　予測方法決定部１０４は、採用した予測方法情報を第１符号化ビット列生成部１０７および差分ベクトル算出部１１４に、採用した予測方法に応じた動きベクトルを差分ベクトル算出部１１４に供給する。それとともに、予測方法決定部１０４は、採用した予測方法により生成された予測信号を予測誤差信号生成部１０５に供給する。
　第１符号化ビット列生成部１０７は、予測方法決定部１０４から供給される予測方法情報を、算術符号化などのエントロピー符号化により符号化し、符号化ビット列を生成する。予測方法情報に含めるべき、予測ブロックサイズ、Ｌ０／Ｌ１／双予測の区別などは組み合わせてマクロブロック・タイプとして符号化する。また、予測方法情報に含めるべき、平行移動による動き補償予測と幾何学変換による動き補償予測のいずれを用いるか、幾何学変換の場合、第１モード、第２モード、第３モードおよび第４モードのいずれを用いるかを識別するための情報に関しては、以下の記述方法を用いることができる。たとえば、シンタックス要素を別途に用意して記述してもよいし、他のマクロブロック・タイプとして符号化する情報と組み合わせることで、マクロブロック・タイプを拡張して記述してもよい。
　たとえば、幾何学変換による動き補償予測を行うか否かを切り替えるブロック単位毎に、“geom_type”というシンタックス要素を用意し、“geom_type”の値が“０”を平行移動による動き補償予測、“geom_type”の値が“１”を幾何学変換による動き補償予測の第１モード、“geom_type”の値が“２”を幾何学変換による動き補償予測の第２モード、“geom_type”の値が“３”を幾何学変換による動き補償予測の第３モード、および“geom_type”の値が“４”を幾何学変換による動き補償予測の第４モードを表すものとして符号化する。
　図４は、シンタックス構造の一例を示す図である。なお、図４では“geom_type”をマクロブロックごとに１つ用意し、Ｌ０予測、Ｌ１予測、双予測共に共通のモードで動き補償予測を行う例を示しているが、Ｌ０、Ｌ１双方から予測する双予測モードの場合、２つ用意することにより、Ｌ０予測、Ｌ１予測それぞれ別の動き補償予測を行うこともできる。
　対象ブロックの動きベクトルを符号化する際、すでに符号化または復号済みの周囲の隣接ブロックまたはその隣接ブロックの画素の動きベクトルとの相関を利用して、当該隣接ブロックまたは当該隣接ブロックの画素の動きベクトルから動きベクトルを予測することにより予測ベクトルを算出する。そして、この予測ベクトルと対象ブロックまたは対象画素の動きベクトルとの差分である差分ベクトルを算出することにより、対象ブロックまたは対象画素の動きベクトルの符号量を削減する。ここで、幾何学変換による動き補償予測が採用された対象ブロックでは、その代表画素の動きベクトルが符号化の対象となる。
　そこで、差分ベクトル算出部１１４は、予測方法決定部１０４から供給される予測方法情報に応じて、すでに符号化されている周囲の隣接ブロックまたはその隣接ブロックの画素の動きベクトルから、対象ブロックまたは対象画素の動きベクトルを予測することにより予測ベクトルを算出する。そして、その予測ベクトルと、予測方法決定部１０４から供給される動きベクトルとの差分を算出して差分ベクトルを生成し、第２符号化ビット列生成部１０８に供給する。
　第１モードでは、差分ベクトル算出部１１４は、４つの頂点ａ、ｂ、ｃ、ｄに対応する４つの代表画素ａ、ｂ、ｃ、ｄの動きベクトルを符号化・復号するために、それぞれの予測ベクトルおよび差分ベクトルを算出する。第２モードでは、２つの頂点ａ、ｃに対応する２つの代表画素ａ、ｃの動きベクトルを符号化・復号するために、それぞれ予測ベクトルおよび差分ベクトルを算出する。第３モードでは、２つの頂点ａ、ｂに対応する２つの代表画素ａ、ｂの動きベクトルを符号化・復号するために、それぞれの予測ベクトルおよび差分ベクトルを算出する。第４モードでは、３つの頂点ａ、ｂ、ｃに対応する３つの代表画素ａ、ｂ、ｃの動きベクトルを符号化・復号するために、それぞれの予測ベクトルおよび差分ベクトルを算出する。
　なお、差分ベクトル算出部１１４は、予測方法決定部１０４から供給される対象ブロックの予測情報および動きベクトルを保持し、後続する対象ブロックの予測ベクトルの算出に利用する。
　ここで、符号化対象ブロック、及び隣接ブロック共に平行移動による動き補償予測が選択された場合の符号化対象ブロックの動きベクトルの予測方法について説明する。図５は、符号化対象ブロック、及び隣接ブロック共に平行移動による動き補償予測が選択された場合の符号化対象ブロックの動きベクトルの予測方法を説明するための図である。図５（ａ）は、パーティションが設定されていないマクロブロック間において、動きベクトルを予測する例を示す。図５（ｂ）は、パーティションが設定されているマクロブロック間において、動きベクトルを予測する例を示す。図５（ｃ）は、８×１６画素のマクロブロックにおいて、動きベクトルを予測する例を示す。図５（ｄ）は、１６×８画素のマクロブロックにおいて、動きベクトルを予測する例を示す。以下、図５（ａ）～（ｄ）を参照して、動きベクトルの予測方法について説明する。この動きベクトルの予測方法は、周囲の隣接ブロックの動きベクトルの中央値を用いて、対象ブロックの動きベクトルを予測する。
　図５（ａ）～（ｄ）にて、グレーで塗られているブロックの動きベクトルが符号化対象である。図５（ａ）にて、対象ブロックの動きベクトルを、その対象ブロックの左隣のブロックＡ、上隣のブロックＢおよび右斜上隣のブロックＣの３つの動きベクトルを候補として用いて予測する。より具体的には、それら３つの動きベクトルから水平成分および垂直成分それぞれについて中央値をとって予測ベクトルとする。なお、Ｂピクチャーにおいては、Ｌ０予測、または双予測に用いるＬ０の動きベクトルとＬ１予測、または双予測に用いるＬ１の動きベクトルをそれぞれ別々に扱う。その対象ブロックの左隣のブロックＡ、上隣のブロックＢおよび右斜上隣のブロックＣの３つのＬ０の動きベクトルを用いて予測することにより、対象ブロックのＬ０の予測ベクトルを算出する。同様に、その対象ブロックの左隣のブロックＡ、上隣のブロックＢおよび右斜上隣のブロックＣの３つのＬ１の動きベクトルを用いて予測することにより、対象ブロックのＬ１の予測ベクトルを算出する。ここで、上隣のブロックＢおよび右斜上隣のブロックＣが共に利用できず、ブロックＡだけが利用できる場合、ブロックＡの動きベクトルを予測ベクトルとして採用する。また、左隣のブロックＡ，上隣のブロックＢ、右斜上隣のブロックＣの参照インデックスのうちひとつだけが符号化対象ブロックの参照インデックスと値が等しい（参照ピクチャが等しい）場合、そのブロックの動きベクトルを予測に用いる。
　図５（ｂ）に示すように、隣接するマクロブロックにパーティションが設定されている場合、マクロブロックの小ブロックごとに動きベクトルが異なる。その場合、対象ブロックの左隣のブロックでは、対象ブロックと接している小ブロックのうち、最も上の小ブロックＡの動きベクトルを候補として採用する。上隣のブロックでは、対象ブロックと接している小ブロックのうち、最も左のブロックＢを候補として採用する。右斜上隣のブロックでは、最も左下の小ブロックＣを候補として採用する。この規則に従って、以下、図５（ａ）と同様に、予測ベクトルを算出する。
　図５（ｃ）に示すように、符号化するブロックが８×１６の場合、３つのブロックの動きベクトルの中央値ではなく、左のブロックは左隣のブロックＡ、右のブロックは右斜上隣のブロックＣの動きベクトルを予測ベクトルとして採用する。また、図５（ｄ）に示すように、符号化するブロックが１６×８の場合も、３つのブロックの動きベクトルの中央値ではなく、上のブロックは上隣のブロックＢ、下のブロックは左隣のブロックＡの動きベクトルを予測ベクトルとして採用する。
　なお、図５（ａ）～（ｄ）に示す動きベクトルの予測方法は一例であり、それに限られるものではない。符号化側と復号側で動きベクトルの予測方法を同一に規定する限りにおいては、他の方法を用いることもできる。たとえば、隣接ブロックの位置および数が異なっていてもよい。また、隣接ブロックの複数の動きベクトルの中央値ではなく、平均値を用いてもよい。規定の条件や優先順位を設けて、単独の隣接ブロックの動きベクトルをそのまま用いてもよい。また、隣接ブロックは対象ブロックと必ずしも接していなくてもよい。また、図５（ａ）～（ｄ）ではマクロブロック単位の動きベクトルを予測する例を説明したが、サブマクロブロック単位の動きベクトルを予測する場合も、同様に処理することができる。
　次に、符号化対象ブロックで平行移動による動き補償予測が選択され、隣接ブロックでは幾何学変換による動き補償予測が選択された場合の符号化対象ブロックの動きベクトルの予測方法について説明する。図６は、符号化対象ブロックが平行移動による動き補償予測、隣接ブロックが幾何学変換による動き補償予測の場合の予測ベクトルの予測方法を説明するための図である。なお、図６に示すように、隣接ブロックが幾何学変換による動き補償予測の場合、対象ブロックの左隣のブロックでは、対象ブロックと接している小ブロックのうち、最も上の小ブロックの最も右上の画素Ａの動きベクトルを予測ベクトルを算出する際の候補として採用する。上隣のブロックでは、対象ブロックと接している小ブロックのうち、最も左のブロックの最も左下の画素Ｂの動きベクトルを予測ベクトルを算出する際の候補として採用する。右斜上隣のブロックでは、最も左下の小ブロックの最も左下の画素Ｃの動きベクトルを予測ベクトルを算出する際の候補として採用する。
　なお、図６に示す動きベクトルの予測方法は一例であり、それに限られるものではない。符号化側と復号側で動きベクトルの予測方法を同一に規定する限りにおいては、他の方法を用いることもできる。たとえば、対象ブロックの左隣のブロックの４つの代表画素の平均値を対象ブロックの左隣の動きベクトルの候補としてもよい。また、対象ブロックの上隣のブロックの４つの代表画素の平均値を対象ブロックの上隣の動きベクトルの候補としてもよい。また、対象ブロックの右上隣のブロックの４つの代表画素の平均値を対象ブロックの右上隣の動きベクトルの候補としてもよい。さらに、隣接ブロックや隣接ブロックの画素の位置および数が異なっていてもよい。また、隣接ブロックの画素の複数の動きベクトルの中央値ではなく、平均値を用いてもよい。単独の隣接ブロックの画素の動きベクトルをそのまま用いてもよい。また、隣接ブロックまたは隣接ブロックの画素は対象ブロックと必ずしも接していなくてもよい。また、図６ではマクロブロック単位の動きベクトルを予測する例を説明したが、サブマクロブロック単位の動きベクトルを予測する場合も、同様に処理することができる。
　次に、符号化対象ブロック、及び隣接ブロック共に幾何学変換による動き補償予測が選択された場合の符号化対象ブロックの動きベクトルの予測方法について説明する。図７は、符号化対象ブロックが幾何学変換による動き補償予測の場合の予測ベクトルの予測方法を説明するための図である。この場合においても、同様に隣接ブロックの動きベクトルから予測ベクトルを算出する。符号化対象ブロックの第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃの予測ベクトルは、隣接ブロックの画素の動きベクトルから予測する。図７（ａ）において、符号化対象ブロックの第１代表画素ａの予測ベクトルは、左隣のブロックＡの代表画素ｂの動きベクトル、上隣のブロックＢの代表画素ｃの動きベクトルおよび左斜上隣のブロックＤの代表画素ｄの動きベクトルを参照して算出する。ここでの算出方法は候補が複数存在する場合に所定の優先順位を設定して優先順位順に採用したり、これらの動きベクトルの中間値、または平均値を算出したりする。符号化対象ブロックの第２代表画素ｂの予測ベクトルは、上隣のブロックＢの代表画素ｄの動きベクトル、右斜上隣のブロックＣの代表画素ｃの動きベクトルを参照して算出する。なお、中間値を予測ベクトルとする場合は、符号化対象ブロックの第１代表画素ａの動きベクトルも候補に入れて、これら３つの動きベクトルから中間値を算出する。符号化対象ブロックの第３代表画素ｃの予測ベクトルは、左隣のブロックＡの代表画素ｃの動きベクトルを予測ベクトルとする。
　次に、符号化対象ブロックで幾何学変換による動き補償予測が選択され、隣接ブロックでは平行移動による動き補償予測が選択された場合の符号化対象ブロックの動きベクトルの予測方法について説明する。図７（ｂ）に示すように隣接ブロックが平行移動による動き補償予測の場合、隣接ブロックの動きベクトルが当該隣接ブロック内のすべての画素で共通である。そこで、符号化対象ブロック、及び隣接ブロック共に幾何学変換による動き補償予測が選択された場合の符号化対象ブロックの動きベクトルの予測方法と同様の方法で算出するが、当該ブロックの動きベクトルを隣接ブロックの代表画素の動きベクトルとして算出する。
　なお、図７に示す幾何学変換による動き補償予測が選択された場合の動きベクトルの予測方法は一例であり、それに限られるものではない。符号化側と復号側で動きベクトルの予測方法を同一に規定する限りにおいては、他の方法を用いることもできる。たとえば、隣接ブロックの代表画素の位置および数が異なっていてもよい。また、隣接ブロックの代表画素の複数の動きベクトルの中央値ではなく、平均値を用いてもよい。単独の隣接ブロックの代表画素の動きベクトルをそのまま用いてもよい。また、隣接ブロックの代表画素は対象画素と必ずしも接していなくてもよい。
　第１モードで符号化・復号する第４代表画素ｄに関しては、第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃの動きベクトルの中央値を予測ベクトルとして用いる。なお、符号化側と復号側で動きベクトルの予測方法を同一に規定する限りにおいては、他の方法を用いることもできる。たとえば、中央値ではなく、平均値を用いてもよいし、単独の任意の画素の動きベクトルをそのまま用いてもよい。
　また、第１モードで符号化・復号する第４代表画素ｄの予測ベクトルＰＶｄは、第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃのそれぞれの動きベクトルＶａ、Ｖｂ、Ｖｃから下記式（１３）により算出する。
ＰＶｄ＝Ｖｃ＋（Ｖｂ－Ｖａ）　・・・式（１３）
　あるいは、下記式（１４）により算出することもできる。
ＰＶｄ＝Ｖｂ＋（Ｖｃ－Ｖａ）　・・・式（１４）
　第１モードで符号化・復号する第４代表画素ｄの予測ベクトルの算出式である上記式（１３）および上記式（１４）は、第４モードで算出する第４代表画素ｄの算出式である上記式（１）および上記式（２）とそれぞれ同じ式である。第１モードは第２モード、第３モードおよび第４モードでは表現できない変形を表すことができるが、第４モードで表現できるアフィン変換に近い変換であることが多い。上記式（１３）および上記式（１４）で算出できる予測ベクトルは、第１モードで符号化・復号する第４代表画素ｄの動きベクトルと強い相関があるという考えに基づいている。
　なお、符号化側と復号側で動きベクトルの予測方法を同一に規定する限りにおいては、他の方法を用いることもできる。たとえば、第４代表画素ｄに関しては、第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃの動きベクトルの中央値を予測ベクトルとして用いることもできる。あるいは、中央値の代わりに、平均値を用いてもよいし、単独の任意の画素の動きベクトルをそのまま用いてもよい。または、式（７）で算出される予測ベクトル、第１代表画素ａの動きベクトル、第２代表画素ｂの動きベクトル、第３代表画素ｃの動きベクトル、第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃの動きベクトルの中央値、第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃの動きベクトルの平均値を予測ベクトルの候補とし、少なくとも２つを適応的に切り替えてもよい。この場合、シンタックスに複数の候補から予測ベクトルとして採用する動きベクトルを特定するためのフラグを用意し、第１符号化ビット列生成部１０７でこのフラグを符号化する。
　図１に戻り、第２符号化ビット列生成部１０８は、差分ベクトル算出部１１４から供給される差分ベクトルを算術符号化などのエントロピー符号化により符号化し、符号化ビット列を生成する。
　なお、幾何学変換による動き補償予測では、第１～４モードに応じて、２～４本の差分ベクトルを符号化する。第１モードでは、４つの頂点ａ、ｂ、ｃ、ｄに対応する４つの代表画素ａ、ｂ、ｃ、ｄのそれぞれの差分ベクトルを符号化する。第２モードでは、２つの頂点ａ、ｃに対応する代表画素ａ、ｃのそれぞれの差分ベクトルを符号化する。第３モードでは、２つの頂点ａ、ｂに対応する代表画素ａ、ｂのそれぞれの差分ベクトルを符号化する。第４モードでは、３つの頂点ａ、ｂ、ｃに対応する３つの代表画素ａ、ｂ、ｃのそれぞれの差分ベクトルを符号化する。
　予測誤差信号生成部１０５は、予測方法決定部１０４により採用された予測方法で生成された予測信号と、対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する。より具体的には、予測誤差信号生成部１０５は、画像バッファ１０１から供給される符号化対象の画像信号から、予測方法決定部１０４から供給される予測信号を減算することにより、予測誤差信号を生成し、予測誤差信号符号化部１０６に供給する。
　予測誤差信号符号化部１０６は、予測誤差信号生成部１０５から供給される予測誤差信号に対して、直交変換、量子化などの圧縮符号化処理を行い、符号化された予測誤差信号を生成し、第３符号化ビット列生成部１０９および予測誤差信号復号部１１０に供給する。
　第３符号化ビット列生成部１０９は、予測誤差信号符号化部１０６から供給される符号化された予測誤差信号を、算術符号化などのエントロピー符号化を用いて順次符号化し、符号化ビット列を生成する。
　第１符号化ビット列生成部１０７、第２符号化ビット列生成部１０８および第３符号化ビット列生成部１０９により生成された符号化ビット列は、予測方法情報、動きベクトル、予測誤差信号以外の情報が符号化されたその他の符号化ビット列とともに、出力スイッチ１１３を介して多重化され、符号化ストリームが生成される。
　予測誤差信号復号部１１０は、予測誤差信号符号化部１０６により符号化された予測誤差信号に対して、逆量子化、逆直交変換などの伸張復号処理を行い、当該予測誤差信号を復号する。予測誤差信号復号部１１０は、復号した予測誤差信号を復号画像信号生成部１１１に供給する。復号画像信号生成部１１１は、予測誤差信号符号化部１０６から供給される予測誤差信号と、予測方法決定部１０４から供給される予測信号を重畳して、復号画像信号を生成する。復号画像信号生成部１１１は、その復号画像信号をブロック単位で復号画像バッファ１１２に順次格納する。この復号画像バッファ１１２に格納される復号画像は、必要に応じて、符号化順序で後続する画像を動き補償予測する際の参照画像として利用される。
　図８は、本発明の実施の形態１に係る画像符号化装置１００における、マクロブロックの符号化処理手順を示すフローチャートである。まず、平行移動動き補償予測部１０２および幾何学変換動き補償予測部１０３は、画像バッファ１０１から符号化対象のマクロブロック信号を取り出す（Ｓ１０１）。
　平行移動動き補償予測部１０２は、画像バッファ１０１から供給される符号化対象のマクロブロック信号と、復号画像バッファ１１２から供給される参照画像信号との間で、平行移動による動き補償予測を行う（Ｓ１０２）。この平行移動による動き補償予測をモードごとに行う。幾何学変換動き補償予測部１０３は、画像バッファ１０１から供給される符号化対象のマクロブロック信号と、復号画像バッファ１１２から供給される参照画像信号との間で、幾何学変換による動き補償予測を行う（Ｓ１０３）。この幾何学変換による動き補償予測をモードごとに行う。
　予測方法決定部１０４は、平行移動による動き補償予測方法と、幾何学変換による動き補償予測とのいずれを採用するか決定する（Ｓ１０４）。その際、どのモードを採用するかも決定する。
　第１符号化ビット列生成部１０７は、予測方法決定部１０４から供給される予測方法情報を符号化し、符号化ビット列を生成する（Ｓ１０５）。差分ベクトル算出部１１４は、周辺ブロックまたは周辺画素からの予測ベクトルを算出し（Ｓ１０６）、当該予測ベクトルと予測方法決定部１０４から供給される動きベクトルとの差分ベクトルを算出する（Ｓ１０７）。
　第２符号化ビット列生成部１０８は、差分ベクトル算出部１１４から供給される差分ベクトルを符号化し、符号化ビット列を生成する（Ｓ１０８）。予測誤差信号生成部１０５は、画像バッファ１０１から供給される対象画像信号から、予測方法決定部１０４から供給される予測信号を減算し、予測誤差信号を生成する（Ｓ１０９）。予測誤差信号符号化部１０６は、当該予測誤差信号を符号化する（Ｓ１１０）。第３符号化ビット列生成部１０９は、予測誤差信号符号化部１０６により符号化された予測誤差信号を、算術符号化等を用いてエントロピー符号化し、符号化ビット列を生成する（Ｓ１１１）。
　予測誤差信号復号部１１０は、予測誤差信号符号化部１０６により符号化された予測誤差信号を復号する（Ｓ１１２）。復号画像信号生成部１１１は、予測誤差信号復号部１１０により復号された予測誤差信号と、予測方法決定部１０４から供給される予測信号とを重畳して、復号画像信号を生成する（Ｓ１１３）。復号画像信号生成部１１１は、生成した復号画像信号を復号画像バッファ１１２に蓄積する（Ｓ１１４）。
　以上説明したように実施の形態１によれば、幾何学変換による動き補償予測を使用する画像符号化方式にて、符号量の圧縮効率を向上させることができる。すなわち、幾何学変換による動き補償予測を使用する動きベクトルを予測符号化することにより、符号量を削減することができる。また、平行移動による動き補償予測と幾何学変換による動き補償予測とを併用すれば、符号量の圧縮効率をさらに向上させることができる。その際、平行移動による動き補償予測に係る動きベクトルと、幾何学変換による動き補償予測に係る動きベクトルの符号化方法を共通化することにより、これら２つの予測方法が混在しても、既存の動きベクトルの予測符号化方法をそのまま転用することができる。
　また、幾何学変換による動き補償予測方法が採用されたブロックでも、平行移動による動き補償予測と同様に、周囲のブロックまたは周囲の画素の動きベクトルから予測ベクトルを予測し、差分ベクトルを算出することができる。これにより、平行移動による動き補償予測と幾何学変換による動き補償予測を併用しても、動きベクトルの符号量の増大を抑制することができる。とくに、幾何学変換による動き補償予測方法の第１モードにおいて、第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃの動きベクトルから上記式（１３）または上記式（１４）により、第４代表画素ｄの予測ベクトルを算出することにより、差分ベクトルの値を小さくし、動きベクトルの符号量の増大を抑制することができる。また、第４モードにおいて、第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃの動きベクトルから上記式（１）または上記式（２）により、第４代表画素ｄの動きベクトルを算出することにより、動きベクトルの符号量の増大をさらに抑制することができる。
　図９は、本発明の実施の形態２に係る画像復号装置２００の構成を示すブロック図である。当該画像復号装置２００は、実施の形態１に係る画像符号化装置１００により生成された符号化ストリームを復号する。当該符号化ストリームにおいて、上述したように、平行移動による動き補償予測と幾何学変換による動き補償予測が併用されている場合もあるし、幾何学変換による動き補償予測が単独で使用されている場合もある（イントラ符号化については考慮せず）。
　画像復号装置２００は、入力スイッチ２０９、第１符号化ビット列復号部２０１、第２符号化ビット列復号部２０２、第３符号化ビット列復号部２０３、動きベクトル算出部２１５、平行移動動き補償予測部２０４、幾何学変換動き補償予測部２０５、予測誤差信号復号部２０６、復号画像信号生成部２０７、復号画像バッファ２０８、切替制御部２１４、第１予測部スイッチ２１０、第２予測部スイッチ２１１、第３予測部スイッチ２１２および第４予測部スイッチ２１３を備える。
　これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
　第１符号化ビット列復号部２０１、第２符号化ビット列復号部２０２、第３符号化ビット列復号部２０３は、符号化ストリームに含まれる、予測方法情報、差分ベクトルおよび予測誤差信号を復号する。上述したように、符号化ストリームには差分ベクトルが符号化されている。差分ベクトルは、対象ブロックの動きベクトルと、その隣接ブロックまたはその隣接ブロックの画素の動きベクトルから予測された予測ベクトルとの差分である。動きベクトル算出部２１５は、動きベクトルを復号する際、当該隣接ブロックまたは当該隣接ブロックの画素の動きベクトルから予測ベクトルを算出し、当該予測ベクトルに、復号された差分ベクトルを加算することにより、予測符号化された対象ブロックまたはその代表画素の動きベクトルを復号する。
　平行移動動き補償予測部２０４は、対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の動きベクトル、および参照ブロックの画像信号から予測信号を生成する。幾何学変換動き補償予測部２０５は、対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の動きベクトル、および参照ブロックの画像信号から予測信号を生成する。
　上述したように、対象ブロックの頂点が代表画素に選定されており、上記符号化ストリームには、それぞれの代表画素の動きベクトルが含まれる。幾何学変換動き補償予測部２０５は、対象ブロックの複数の代表画素以外の画素の動きベクトルを、それら複数の代表画素の動きベクトルを用いた補間により算出する。たとえば、代表画素以外の画素の動きベクトルを、上記式（３）～（１２）に示した演算式により算出する。
　切替制御部２１４は、第１符号化ビット列復号部２０１により復号された予測方法情報に応じて、対象画像内の対象ブロックごとに、平行移動動き補償予測部２０４による予測方法と、幾何学変換動き補償予測部２０５による予測方法とのいずれを用いるか指定する。
　以下、より具体的に説明する。第１符号化ビット列復号部２０１、第２符号化ビット列復号部２０２、および第３符号化ビット列復号部２０３には、実施の形態１に係る画像符号化装置１００により生成された符号化ストリームに含まれる符号化ビット列が、入力スイッチ２０９を介して選択的に入力される。
　第１符号化ビット列復号部２０１は、入力スイッチ２０９を介して供給される符号化ビット列を、算術復号化などのエントロピー復号化により復号し、予測方法情報を取得する。上述したように、この予測方法情報には平行移動／幾何学変換のどちらで符号化されているかが含まれているとともに、平行移動動き補償の場合、１６×１６／１６×８／８×１６／８×８モードのいずれを用いるかという情報が含まれ、幾何学変換の場合、４つの代表画素ａ、ｂ、ｃ、ｄの動きベクトルを符号化・復号する第１モード、対象ブロックの縦方向における２つの代表画素ａ、ｃの動きベクトルを符号化・復号する第２モード、対象ブロックの横方向における２つの代表画素ａ、ｂの動きベクトルを符号化・復号する第３モード、３つの代表画素ａ、ｂ、ｃの動きベクトルを符号化・復号する第４モードのどのモードで符号化されているかの情報等が含まれている。第２符号化ビット列復号部２０２は、入力スイッチ２０９を介して供給される符号化ビット列を、算術復号化などのエントロピー復号化により復号し、差分ベクトルを取得する。前述の通り、差分ベクトルは、隣接ブロックの動きベクトルから算出される予測ベクトルと復号対象ブロックの動きベクトルとの差分である。なお、平行移動による動き補償予測で用いる動きベクトルと、幾何学変換による動き補償予測で用いる動きベクトルとが混在されて符号化されている場合、符号化側と同様に復号側でも混在された差分ベクトルから予測方法情報に応じて動きベクトルを復号する。
　第１符号化ビット列復号部２０１により復号された予測方法情報により、復号対象ブロックがイントラ符号化、平行移動による動き補償予測および幾何学変換による動き補償予測のどの手法を、どの参照画像を用いて、どのようなブロック単位で選択、組み合わせられているかが分かる。
　切替制御部２１４は、第１符号化ビット列復号部２０１から供給される予測方法情報に応じて、第１予測部スイッチ２１０、第２予測部スイッチ２１１、第３予測部スイッチ２１２および第４予測部スイッチ２１３を切り替える。対象ブロックの予測方法として、平行移動による動き補償予測方法が選択されている場合、平行移動動き補償予測部２０４の経路が選択されるよう切り替え、幾何学変換による動き補償予測方法が選択されている場合、幾何学変換動き補償予測部２０５の経路が選択されるよう切り替える。
　動きベクトル算出部２１５は、第１符号化ビット列復号部２０１から供給される予測方法情報に応じて、すでに符号化・復号されている周囲の隣接ブロック、または隣接ブロックの画素の動きベクトルから対象ブロックの動きベクトルを予測することにより予測ベクトルを算出する。そして、当該予測ベクトルに、第２符号化ビット列復号部２０２から供給される差分ベクトルを加算することにより動きベクトルを算出する。動きベクトル算出部２１５は、当該動きベクトルを第２予測部スイッチ２１１を介して、平行移動動き補償予測部２０４または幾何学変換動き補償予測部２０５に供給する。動きベクトル算出部２１５での予測ベクトルの算出は、画像符号化装置１００の差分ベクトル算出部１１４での予測ベクトルの算出と同一の方法で行う。平行移動動き補償予測の場合、当該ブロックの動きベクトルが取得でき、幾何学変換動き補償の場合、当該ブロックの代表画素の動きベクトルが算出される。
　平行移動動き補償予測部２０４は、復号画像バッファ２０８から第４予測部スイッチ２１３を介して供給される参照画像とすべき復号画像、および第２符号化ビット列復号部２０２から第２予測部スイッチ２１１を介して供給される復号された動きベクトルを用いて、平行移動による動き補償予測を行う。
　幾何学変換動き補償予測部２０５は、復号画像バッファ２０８から第４予測部スイッチ２１３を介して供給される参照画像とすべき復号画像、および動きベクトル算出部２１５から第２予測部スイッチ２１１を介して供給される、復号された複数の代表画素の動きベクトルを用いて全画素の動きベクトルを補間により算出する。その際、上記式（１）～（１４）参照して説明した、画像符号化装置１００の幾何学変換動き補償予測部１０３と同一の処理方法を用いることができる。幾何学変換動き補償予測部２０５は、それら画素ごとの動きベクトルに応じて画素ごとに動き補償を行うことにより、幾何学変換による動き補償予測を行う。
　第３符号化ビット列復号部２０３は、入力スイッチ２０９を介して供給される符号化ビット列を順次復号し、符号化された予測誤差信号を取得する。予測誤差信号復号部２０６は、第３符号化ビット列復号部２０３から供給された符号化された予測誤差信号に対して、逆量子化、逆直交変換などの伸張復号処理を行い、復号された予測誤差信号を取得する。
　復号画像信号生成部２０７は、予測信号、および予測誤差信号から画像信号を生成する。より具体的には、復号画像信号生成部２０７は、切替制御部２１４により指定された予測方法に応じて、平行移動動き補償予測部２０４または幾何学変換動き補償予測部２０５から第３予測部スイッチ２１２を介して供給される予測信号に、予測誤差信号復号部２０６から供給される予測誤差信号を重畳して、復号画像信号を生成する。復号画像信号生成部２０７は、その復号画像信号をブロック単位で、復号画像バッファ２０８に順次格納する。
　図１０は、本発明の実施の形態２に係る画像復号装置２００における、マクロブロックの復号処理手順を示すフローチャートである。第１符号化ビット列復号部２０１は、入力スイッチ２０９を介して供給される符号化ビット列を復号して、予測方法情報を取得する（Ｓ２０１）。第２符号化ビット列復号部２０２は、入力スイッチ２０９を介して供給される符号化ビット列を復号して、差分ベクトルを取得する（Ｓ２０２）。なお、予測方法情報が幾何学変換による動き補償予測を示す場合、その予測方法情報に応じて２～４本の差分ベクトルを復号する。第１モードでは、４つの頂点ａ、ｂ、ｃ、ｄに対応する４つの代表画素ａ、ｂ、ｃ、ｄのそれぞれの差分ベクトルを復号する。第２モードでは、２つの頂点ａ、ｃに対応する代表画素ａ、ｃのそれぞれの差分ベクトルを復号する。第３モードでは、２つの頂点ａ、ｂに対応する代表画素ａ、ｂのそれぞれの差分ベクトルを復号する。第４モードでは、３つの頂点ａ、ｂ、ｃに対応する３つの代表画素ａ、ｂ、ｃのそれぞれの差分ベクトルを復号する。動きベクトル算出部２１５は、周辺ブロックまたは周辺画素から予測ベクトルを算出する（Ｓ２０３）。画像符号化装置１００の差分ベクトル算出部１１４での予測ベクトルの算出と同一の方法で行う。さらに、動きベクトル算出部２１５は、第１符号化ビット列復号部２０１から供給される予測方法情報に応じて、その予測ベクトルに第２符号化ビット列復号部２０２から供給される差分ベクトルを加算して、対象ブロックまたは対象画素の動きベクトルを算出する（Ｓ２０４）。ただし、第２符号化ビット列復号部２０２で差分ベクトルが復号されなかった代表点については、予測ベクトルを動きベクトルとする。
　切替制御部２１４は、復号された予測方法情報に応じて、対象ブロックの動き補償予測方法を特定する（Ｓ２０５）。その予測方法が、平行移動による動き補償予測方法の場合（Ｓ２０５の平行）、平行移動動き補償予測部２０４は、復号画像バッファ２０８から供給される参照画像信号とすべき復号画像信号を、第２符号化ビット列復号部２０２から供給される動きベクトルを用いて、平行移動による動き補償をし、予測信号を生成する（Ｓ２０６）。
　切替制御部２１４により特定された予測方法が、幾何学変換による動き補償予測方法の場合（Ｓ２０５の幾何）、幾何学変換動き補償予測部２０５は、復号画像バッファ２０８から供給される参照画像信号とすべき復号画像信号を、第２符号化ビット列復号部２０２から供給される動きベクトルを用いて、幾何学変換による動き補償をし、予測信号を生成する（Ｓ２０７）。
　第３符号化ビット列復号部２０３は、入力スイッチ２０９を介して供給される符号化ビット列を復号して、符号化された予測誤差信号を取得する（Ｓ２０８）。復号画像信号生成部２０７は、取得された予測誤差信号を復号する（Ｓ２０９）。復号画像信号生成部２０７は、予測誤差信号復号部２０６により復号された予測誤差信号と、平行移動動き補償予測部２０４または幾何学変換動き補償予測部２０５により生成された予測信号とを重畳して、復号画像信号を生成する（Ｓ２１０）。復号画像信号生成部２０７は、生成した復号画像信号を、復号画像バッファ２０８に蓄積する（Ｓ２１１）。この復号画像バッファ２０８に蓄積された復号画像信号は、平行移動動き補償予測部２０４および幾何学変換動き補償予測部２０５における参照画像信号として利用される。
　以上説明したように実施の形態２によれば、実施の形態１に係る画像符号化装置１００により生成された符号化ストリームを、効率的に復号することができる。これにより、上述した実施の形態１に係る画像符号化装置１００により実現される効果を、復号側からサポートし、その効果を担保することができる。すなわち、幾何学変換による動き補償予測を使用する画像符号化方式にて、符号量の圧縮効率を向上させる効果を、復号側からサポートし、その効果を担保することができる。また、平行移動による動き補償予測と幾何学変換による動き補償予測を併用する画像符号化方式においても、符号量の圧縮効率を向上させる効果を、復号側からサポートし、その効果を担保することができる。また、既存の画像復号装置との調和性および互換性が高く、導入コストを抑制することができる。
　以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上述した実施の形態では、対象ブロック（すなわち、マクロブロック・パーティションまたはサブマクロブロック・パーティション）の頂点、頂点近傍の画素を代表画素とし、代表画素が対象ブロックに含まれる例を説明した（図３参照）。この点、それに限るものではなく、代表画素が対象ブロックから外れていてもよい。
　図１１は、対象ブロックの４つの頂点に対応する代表画素を説明するための図（その２）である。図１１に示す例では、左上の頂点に位置する画素ａ、右上、左下、右下の頂点近傍にそれぞれ位置する画素ｂ、ｃ、ｄをそれぞれ代表画素ａ、ｂ、ｃ、ｄに設定している。図１１では、代表画素を黒丸、非代表画素を白丸で表し、代表画素を対象ブロック（図１１では、１６×１６画素のマクロブロック）の頂点に存在する画素ａ（０，０）、頂点近傍に存在する画素ｂ（Ｗ，０）、画素ｃ（０，Ｈ）および画素ｄ（Ｗ，Ｈ）に設定している。ここで、Ｗは水平方向の代表画素間（画素ａと画素ｂの間、及び画素ｃと画素ｄの間）の距離（単位：画素）、Ｈは垂直方向の代表画素間（画素ａと画素ｃの間、及び画素ｂと画素ｄの間）の距離（単位：画素）であり、図１１に示す代表画素の設定では、Ｗ＝１６（画素）、Ｈ＝１６（画素）である。ここでは、各画素の座標を（ｉ，ｊ）で表し、水平方向の座標を１画素単位でｉで表し、垂直方向の座標を１画素単位でｊで表している。マクロブロック内の最も左上の画素を原点（０，０）とし、右方向および下方向を正の増加方向とする。左上の第１代表画素ａは対象ブロックに含まれるが、右上の第２代表画素ｂ、左下の第３代表画素ｃおよび右下の第４代表画素ｄは対象ブロックに含まれない。
　その際、４つの代表画素ａ、ｂ、ｃ、ｄの動きベクトルＶａ、Ｖｂ、Ｖｃ、Ｖｄからそれ以外の画素Ｐ（ｉ，ｊ）の動きベクトルＶ（ｉ，ｊ）は、上記式（３）により算出される。
　上記式（３）において、図３に示す代表画素の設定ではＷ・Ｈ＝２２５（１５×１５）で割るが、図１１に示す代表画素の設定ではＷ・Ｈ＝２５６（＝１６×１６）で割る。２のべき乗である２５６で割る場合、８ビット右シフトするビットシフト演算で実現することが可能であるため、処理量を軽減することができ、ハードウェアへの実装が容易となる。代表画素の間隔を２のべき乗の数に設定することにより、除算をビットシフト演算で実現することが可能となる。なお、対象ブロックに含まれない代表画素は、画面から外れていて、実在しない仮想的な画素であってもよい。
　同様に、図１１に示す代表画素の設定の場合、図３に示す代表画素の設定と同様に上記式（１）、（２）、（４）～（１２）を用いて算出することができる。
　上記式（４）、（５）、（１０）、（１２）において、図３に示す代表画素の設定ではＷ＝１５で割るが、図１１に示す代表画素の設定ではＷ＝１６で割る。さらに、上記式（６）、（７）、（９）において、図３に示す代表画素の設定ではＨ＝１５で割るが、図１１に示す代表画素の設定ではＨ＝１６で割る。上述と同様に、２のべき乗である１６で割る場合、４ビット右シフトするビットシフト演算で実現することが可能であるため、処理量を軽減することができ、ハードウェアへの実装が容易となる。代表画素の間隔を２のべき乗にすることにより、この場合も除算をビットシフト演算で置き換えることが可能となる。
　図１１に示す代表画素の設定においても予測ベクトルの算出方法は図７を用いて説明した方法と同様の方法を採用することができる。図１１に示す代表画素の設定を前提に、図１２を用いてより具体的に符号化対象ブロック、及び隣接ブロック共に幾何学変換による動き補償予測が選択された場合の動きベクトルの予測について説明する。図１１、図１２に示すように代表画素間の間隔を１６に設定する場合、代表画素ｂ、代表画素ｃおよび代表画素ｄは、それぞれ対象ブロックから１画素分、外側にはみ出ることになる。したがって、対象ブロックの代表画素ａは左隣のブロックＡの代表画素ｂでもあり、上隣のブロックＢの代表画素ｃでもあり、左斜上隣のブロックＤの代表画素ｄでもある。対象ブロックの代表画素ｂは上隣のブロックＢの代表画素ｄでもあり、右斜上隣のブロックＣの代表画素ｃでもある。対象ブロックの代表画素ｃは左隣のブロックＡの代表画素ｄでもある。第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃの予測ベクトルは、隣接ブロックの動きベクトルから予測する。
　図１２において、符号化対象ブロックの第１代表画素ａの予測ベクトルは、符号化済みの隣接ブロックのうち対象ブロックの参照画像と同じ画像を参照している周辺ブロック中で、左隣のブロックＡの右上頂点画素の動きベクトル、上隣のブロックＢの左下頂点画素の動きベクトルおよび左斜上隣のブロックＤの右下頂点画素の動きベクトルを参照して、算出する。第２代表画素ｂの予測ベクトルは、上隣のブロックＢの右下頂点画素の動きベクトル、右斜上隣のブロックＣの左下頂点画素の動きベクトルおよび当該対象ブロックの第１代表画素ａの動きベクトルから所定のルールにより選択する。第３代表画素ｃの予測ベクトルは、左隣のブロックＡの右下頂点画素の動きベクトルを予測ベクトルとする。第４代表画素ｄの予測ベクトルは、上述したように、第１代表画素ａ、第２代表画素ｂおよび第３代表画素ｃのそれぞれの動きベクトルＶａ、Ｖｂ、Ｖｃから上記式（１３）または上記式（１４）により算出することができる。
　図１３は、対象ブロックの４つの頂点に対応する代表画素を説明するための図（その３）である。図１３に示す例では、左上、右上、左下の頂点近傍に位置する画素ａ、ｂ、ｃ、右下の頂点に位置する画素ｄを代表画素ａ、ｂ、ｃ、ｄに設定している。図１３の例では、代表画素を黒丸、非代表画素を白丸で表し、代表画素を対象ブロック（図１３では、１６×１６画素のマクロブロック）の頂点近傍に存在する画素ａ（－１，－１）、画素ｂ（Ｗ－１，－１）、画素ｃ（－１，Ｈ－１）および頂点に存在する画素ｄ（Ｗ－１，Ｈ－１）に設定している。ここで、Ｗは水平方向の代表画素間（画素ａと画素ｂの間、及び画素ｃと画素ｄの間）の距離（単位：画素）、Ｈは垂直方向の代表画素間（画素ａと画素ｃの間、及び画素ｂと画素ｄの間）の距離（単位：画素）であり、図１１に示す代表画素の設定では、Ｗ＝１６（画素）、Ｈ＝１６（画素）である。ここでは、各画素の座標を（ｉ，ｊ）で表し、水平方向の座標を１画素単位でｉで表し、垂直方向の座標を１画素単位でｊで表している。マクロブロック内の最も左上の画素を原点（０，０）とし、右方向および下方向を正の増加方向とする。右下の第４代表画素ｄは対象ブロックに含まれるが、左上、右上、左下の３つの代表画素ａ、ｂ、ｃは対象ブロックに含まれない。
　その際、４つの代表画素ａ、ｂ、ｃ、ｄの動きベクトルＶａ、Ｖｂ、Ｖｃ、Ｖｄからそれ以外の画素Ｐ（ｉ，ｊ）の動きベクトルＶ（ｉ，ｊ）は、上記式（３）の代わりに下記式（１５）により算出される。
Ｖ（ｉ，ｊ）＝｛（Ｗ－ｉ－１）（Ｈ－ｊ－１）Ｖａ＋（ｉ＋１）（Ｈ－ｊ－１）Ｖｂ＋（Ｗ－ｉ－１）（ｊ＋１）・Ｖｃ＋（ｉ＋１）・（ｊ＋１）・Ｖｄ｝／（Ｗ・Ｈ）　・・・式（１５）
　上記式（１５）でもＷ・Ｈ＝２５６（＝１６×１６）で割っており、２のべき乗である２５６で割る場合、８ビット右シフトするビットシフト演算で実現することが可能であるため、処理量を軽減することができ、ハードウェアへの実装が容易となる。代表画素の間隔を２のべき乗の数にすることにより、除算をシフト演算で実現することが可能となる。なお、対象ブロックに含まれない代表画素は、画面から外れていて、実在しない仮想的な画素であってもよい。
　上述した実施の形態では、対象ブロック（すなわち、マクロブロック・パーティションまたはサブマクロブロック・パーティション）の頂点、頂点近傍の画素を代表画素としたが、それに限るものではなく、頂点、または頂点に相当する座標に位置する補間画素を代表画素としてもよい。
　図１４は、対象ブロックの４つの頂点に対応する代表画素を説明するための図（その４）である。図１４に示す例では、左上、右上、左下および右下の頂点の位置に相当する補間画素ａ、ｂ、ｃ、ｄを代表画素に設定している。これまでの例（図３、図１１、図１３）のように実際に存在する画素を代表画素とするだけではなく、この例（図１４）の様に、補間された位置に存在する画素を代表画素とし、この代表画素の動きベクトルから、実際に存在する画素の動きベクトルを補間により算出してもよい。
　また、上記図５、図６、図７、図１２において説明した動きベクトルの予測方法において、隣接ブロックまたは隣接ブロックの画素の動きベクトルＶａｂｃｄをそのまま予測ベクトルの候補とするのではなく、Ｖａｂｃｄを符号化対象画像と参照画像との間の距離（時間）に応じて、スケーリングすることにより算出した動きベクトル値Ｖａｂｃｄ'を予測ベクトルの候補として用いてもよい。スケーリングした動きベクトル値Ｖａｂｃｄ'は、符号化対象画像と当該符号化対象ブロックの動きベクトルが指し示す参照画像との間の距離（時間）Ｔ１、及び符号化対象画像と隣接ブロックまたは隣接ブロックの画素の動きベクトルＶａｂｃｄが指し示す参照画像との距離（時間）Ｔ２に応じてスケーリングした動きベクトル値である。スケーリングした動きベクトル値Ｖａｂｃｄ'は下記式（１６）により算出される。
Ｖａｂｃｄ'＝Ｖａｂｃｄ＊（Ｔ１／Ｔ２）　・・・式（１６）
　符号化対象ブロックの動き補償予測で参照する参照画像と、隣接ブロックの動き補償予測で参照する参照画像が異なる場合、たとえ同じ動きでも互いの動きベクトルの値に差が生じるため、そのミスマッチを解消するために動きベクトルをスケーリングする。例えば、物体が変形せず、等速運動をしていれば、動きベクトルの大きさはフレーム間隔が長くなるほど大きくなる。符号化対象画像－参照画像間のフレーム間隔Ｔ１、Ｔ２の比率に応じて隣接ブロック（隣接ブロックの画素）の動きベクトルＶａｂｃｄをスケーリングしてＶａｂｃｄ'を算出する。
　符号化対象ブロックの動き補償予測で参照する参照画像と、隣接ブロックの動き補償予測で参照する参照画像が異なり、それら２つの参照画像が符号化対象画像から見て表示順序で共に過去または共に未来に相当する場合、即ち、それら２つの参照画像が符号化対象画像から見て同じ側に位置する場合、同じ方向にスケーリングする。同じ方向にスケーリングするために正の値でスケーリングする。このスケーリング処理により、向きが同じで、大きさが異なる動きベクトルが予測ベクトルの候補となる。図１５は、動きベクトル値のスケーリング処理の一例を説明するための図である。図１５において、符号化対象画像の符号化対象ブロックの参照画像が画像Ｒｅｆ２であり、隣接ブロック（隣接ブロックの画素）の動き補償予測の参照画像が画像Ｒｅｆ３の場合、Ｔ１：Ｔ２＝２：３であるから、画像Ｒｅｆ３を参照している隣接ブロック（隣接ブロックの画素）の動きベクトルＶａｂｃｄを２／３にスケーリングする。これにより、仮に隣接ブロック（隣接ブロックの画素）が画像Ｒｅｆ２を参照して動き補償予測をした場合の動きベクトルの値に近くなり、結果的に画像Ｒｅｆ２を参照する符号化対象ブロックの動きベクトルの値に近くなる。図１５の例では、隣接ブロックの動き補償予測の際の参照画像が画像Ｒｅｆ３でその動きベクトルの値が（２４，－９）の場合、それを２／３にスケーリングした（１６，－６）を予測ベクトルの候補とする。
　なお、符号化対象ブロックの動き補償予測で参照する参照画像と、隣接ブロックの動き補償予測で参照する参照画像が異なり、それら２つの参照画像が符号化対象画像から見て表示順序で過去と未来に相当する場合、即ち、それら２つの参照画像が符号化対象画像を挟んで両側に位置する場合、反対方向にスケーリングする。反対方向にスケーリングするために負の値でスケーリングする。このスケーリング処理により、向きが反対で、大きさが異なる動きベクトルが予測ベクトルの候補となる。図１５において、符号化対象画像の符号化対象ブロックの参照画像が画像Ｒｅｆ２であり、隣接ブロック（隣接ブロックの画素）の動き補償予測の参照画像が画像Ｒｅｆ５の場合、Ｔ１：Ｔ２＝２：－１であるから、画像Ｒｅｆ３を参照している隣接ブロック（隣接ブロックの画素）の動きベクトルＶａｂｃｄを２／（－１）＝－２倍にスケーリングする。これにより、仮に隣接ブロック（隣接ブロックの画素）が画像Ｒｅｆ２を参照して動き補償予測をした場合の動きベクトルの値に近くなり、結果的に画像Ｒｅｆ２を参照する符号化対象ブロックの動きベクトルの値に近くなる。図１５の例では、隣接ブロックの動き補償予測の際の参照画像が画像Ｒｅｆ５でその動きベクトルの値が（－８，３）の場合、それを－２倍にスケーリングした（１６，－６）を予測ベクトルの候補とする。
　なお、上記図５、図６、図７、図１２において説明した動きベクトルの予測方法において、Ｂピクチャーにおいては、Ｌ０予測、または双予測に用いるＬ０の動きベクトルとＬ１予測、または双予測に用いるＬ１の動きベクトルをそれぞれ別々に扱う。つまり、Ｌ０の動きベクトルの予測ベクトルの候補は隣接ブロックまたは隣接ブロックの画素のＬ０の動きベクトルから算出し、Ｌ１の動きベクトルの予測ベクトルの候補は隣接ブロックまたは隣接ブロックの画素のＬ１の動きベクトルから算出する。なお、隣接ブロックがＬ０予測またはＬ１予測の片方向予測の場合、Ｌ０またはＬ１の動きベクトルのいずれか一方しか存在しない。Ｌ０の動きベクトルの予測ベクトルの候補を算出する際に隣接ブロックがＬ１予測で、隣接ブロックまたは隣接ブロックの画素のＬ０の動きベクトルが得られない場合、Ｌ１の動きベクトルを前述のスケーリング処理によりスケーリングすることにより、Ｌ０の動きベクトルの予測ベクトルの候補とすることができる。同様に、Ｌ１の動きベクトルの予測ベクトルの候補を算出する際に隣接ブロックがＬ０予測で、隣接ブロックまたは隣接ブロックの画素のＬ１の動きベクトルが得られない場合、Ｌ０の動きベクトルを前述のスケーリング処理によりスケーリングすることにより、Ｌ１の動きベクトルの予測ベクトルの候補とすることができる。
　上述した実施の形態では、対象ブロックの形状が正方形である例を説明した。この点、対象ブロックの形状は、三角形、平行四辺形、台形など、他の形状でもよい。この場合、上記代表画素は、当該形状の頂点または頂点近傍に設定されることが好ましい。
　１００　画像符号化装置、　１０１　画像バッファ、　１０２　平行移動動き補償予測部、　１０３　幾何学変換動き補償予測部、　１０４　予測方法決定部、　１１４　差分ベクトル算出部、　１０５　予測誤差信号生成部、　１０６　予測誤差信号符号化部、　１０７　第１符号化ビット列生成部、　１０８　第２符号化ビット列生成部、　１０９　第３符号化ビット列生成部、　１１０　予測誤差信号復号部、　１１１　復号画像信号生成部、　１１２　復号画像バッファ、　１１３　出力スイッチ、　２００　画像復号装置、　２０１　第１符号化ビット列復号部、　２０２　第２符号化ビット列復号部、　２０３　第３符号化ビット列復号部、　２１５　動きベクトル算出部、　２０４　平行移動動き補償予測部、　２０５　幾何学変換動き補償予測部、　２０６　予測誤差信号復号部、　２０７　復号画像信号生成部、　２０８　復号画像バッファ、　２０９　入力スイッチ、　２１０　第１予測部スイッチ、　２１１　第２予測部スイッチ、　２１２　第３予測部スイッチ、　２１３　第４予測部スイッチ、　２１４　切替制御部。
　動き補償予測を用いて画像を符号化する分野に利用できる。

Claims (18)

  1. 　動画像を符号化する画像符号化装置であって、
    　対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を複数の予測モードごとに算出し、各予測モードにおいては、前記対象ブロックを構成する頂点に位置する画素、またはその頂点近傍に位置する画素、またはその頂点近傍に位置する補間画素を頂点に相当する代表画素として選定し、それら代表画素の動きベクトルを算出するとともに、当該代表画素以外の画素の動きベクトルを、当該代表画素の動きベクトルを用いた補間により算出して前記予測信号を算出する幾何学変換動き補償予測部と、
    　対象画像内の対象ブロックごとに、前記幾何学変換動き補償予測部による複数の予測モードのいずれかを選択する予測方法決定部と、
    　前記予測方法決定部により選択された予測モードで算出された予測信号と、前記対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する予測誤差信号生成部と、
    　前記予測方法決定部により選択された予測モードで算出された代表画素の動きベクトルの予測動きベクトルを、前記対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルと前記選択された予測モードで算出された代表画素の動きベクトルとの差分を算出して代表画素の差分動きベクトルを生成する差分ベクトル生成部と、
    　前記予測方法決定部により選択された予測モードを特定するための予測方法情報、前記差分ベクトル生成部により生成された差分動きベクトル、および前記予測誤差信号生成部により生成された予測誤差信号を符号化する符号化部と、
    　を備えることを特徴とする画像符号化装置。
  2. 　前記対象ブロックは四角形の領域であり、
    　前記幾何学変換動き補償予測部は、
    　前記対象ブロックの４つの代表画素の符号化される動きベクトルを算出する第１モードと、
    　前記対象ブロックの縦方向における２つの代表画素の符号化される動きベクトルを算出する第２モードと、
    　前記対象ブロックの横方向における２つの代表画素の符号化される動きベクトルを算出する第３モードと、
    　前記対象ブロックの３つの代表画素の符号化される動きベクトルを算出する第４モードとの４つの予測モードの内の少なくとも２つの予測モードを備えることを特徴とする請求項１に記載の画像符号化装置。
  3. 　前記幾何学変換動き補償予測部は、前記第４モードにおいて、四角形の前記対象ブロックにおける左上の頂点に相当する第１代表画素の動きベクトル、右上の頂点に相当する第２代表画素の動きベクトル、および左下の頂点に相当する第３代表画素の動きベクトルを算出することを特徴とする請求項２に記載の画像符号化装置。
  4. 　前記差分ベクトル生成部は、前記予測方法決定部により前記第１モードが選択された場合、四角形の前記対象ブロックにおける右上の頂点に相当する第２代表画素の動きベクトルの値から左上の頂点に相当する第１代表画素の動きベクトルの値を引いた差分を、左下の頂点に相当する第３代表画素の動きベクトルに加算することにより、右下の頂点に相当する第４代表画素の予測動きベクトルを算出することを特徴とする請求項２に記載の画像符号化装置。
  5. 　前記差分ベクトル生成部は、前記予測方法決定部により前記第１モードが選択された場合、四角形の前記対象ブロックにおける左下の頂点に相当する第３代表画素の動きベクトルの値から左上の頂点に相当する第１代表画素の動きベクトルの値を引いた差分を、右上の頂点に相当する第２代表画素の動きベクトルに加算することにより、右下の頂点に相当する第４代表画素の予測動きベクトルを算出することを特徴とする請求項２に記載の画像符号化装置。
  6. 　動画像を符号化する画像符号化装置であって、
    　対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を予測モードに従って算出し、その算出においては、前記対象ブロックを構成する頂点に位置する画素、またはその頂点近傍に位置する画素、またはその頂点近傍に位置する補間画素を頂点に相当する代表画素として選定し、それら代表画素の動きベクトルを算出するとともに、当該代表画素以外の画素の動きベクトルを、当該代表画素の動きベクトルを用いた補間により算出して前記予測信号を算出する幾何学変換動き補償予測部と、
    　前記幾何学変換動き補償予測部で算出された予測信号と、前記対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する予測誤差信号生成部と、
    　前記幾何学変換動き補償予測部で算出された代表画素の動きベクトルの予測動きベクトルを、前記対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルと算出された代表画素の動きベクトルとの差分を算出して代表画素の差分動きベクトルを生成する差分ベクトル生成部と、
    　前記差分ベクトル生成部により生成された差分動きベクトル、および前記予測誤差信号生成部により生成された予測誤差信号を符号化する符号化部と、
    　を備えことを特徴とする画像符号化装置。
  7. 　対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を生成する平行移動動き補償予測部をさらに備え、
    　前記予測方法決定部は、対象画像内の対象ブロックごとに、前記平行移動動き補償予測部による予測方法と、前記幾何学変換動き補償予測部による予測方法とのいずれを採用するか決定すると共に、採用した予測方法における予測モードを選択し、
    　前記差分ベクトル生成部は、前記対象ブロックの動きベクトルの予測動きベクトルを、前記予測モード、及び前記対象ブロックに隣接する隣接ブロックの動き補償予測方法に応じて、当該隣接ブロック、あるいは当該隣接ブロックに含まれる画素の動きベクトルから生成すると共に、前記予測方法決定部により前記平行移動動き補償予測部による予測方法が採用された場合には、前記予測方法決定部により選択された予測モードで算出された前記対象ブロックの動きベクトルと、前記対象ブロックの動きベクトルの予測動きベクトルとの差分を算出して差分動きベクトルを生成する、
    　ことを特徴とする請求項１から５のいずれかに記載の画像符号化装置。
  8. 　動画像を符号化する画像符号化方法であって、
    　対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を複数の予測モードごとに算出し、各予測モードにおいては、前記対象ブロックを構成する頂点に位置する画素、またはその頂点近傍に位置する画素、またはその頂点近傍に位置する補間画素を頂点に相当する代表画素として選定し、それら代表画素の動きベクトルを算出するとともに、当該代表画素以外の画素の動きベクトルを、当該代表画素の動きベクトルを用いた補間により算出して前記予測信号を算出する幾何学変換動き補償予測ステップと、
    　対象画像内の対象ブロックごとに、前記幾何学変換動き補償予測ステップによる複数の予測モードのいずれかを選択する予測方法決定ステップと、
    　前記予測方法決定ステップにより選択された予測モードで算出された予測信号と、前記対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する予測誤差信号生成ステップと、
    　前記予測方法決定ステップにより選択された予測モードで算出された代表画素の動きベクトルの予測動きベクトルを、前記対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルと前記選択された予測モードで算出された代表画素の動きベクトルとの差分を算出して代表画素の差分動きベクトルを生成する差分ベクトル生成ステップと、
    　前記予測方法決定ステップにより選択された予測モードを特定するための予測方法情報、前記差分ベクトル生成ステップにより生成された差分動きベクトル、および前記予測誤差信号生成ステップにより生成された予測誤差信号を符号化する符号化ステップと、
    　を備えることを特徴とする画像符号化方法。
  9. 　動画像を符号化する画像符号化プログラムであって、
    　対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の、動きベクトルおよび予測信号を複数の予測モードごとに算出し、各予測モードにおいては、前記対象ブロックを構成する頂点に位置する画素、またはその頂点近傍に位置する画素、またはその頂点近傍に位置する補間画素を頂点に相当する代表画素として選定し、それら代表画素の動きベクトルを算出するとともに、当該代表画素以外の画素の動きベクトルを、当該代表画素の動きベクトルを用いた補間により算出して前記予測信号を算出する幾何学変換動き補償予測処理と、
    　対象画像内の対象ブロックごとに、前記幾何学変換動き補償予測処理による複数の予測モードのいずれかを選択する予測方法決定処理と、
    　前記予測方法決定処理により選択された予測モードで算出された予測信号と、前記対象ブロックの画像信号との差分を算出し、予測誤差信号を生成する予測誤差信号生成処理と、
    　前記予測方法決定処理により選択された予測モードで算出された代表画素の動きベクトルの予測動きベクトルを、前記対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルと前記選択された予測モードで算出された代表画素の動きベクトルとの差分を算出して代表画素の差分動きベクトルを生成する差分ベクトル生成処理と、
    　前記予測方法決定処理により選択された予測モードを特定するための予測方法情報、前記差分ベクトル生成処理により生成された差分動きベクトル、および前記予測誤差信号生成処理により生成された予測誤差信号を符号化する符号化処理と、
    　をコンピュータに実行させることを特徴とする画像符号化プログラム。
  10. 　幾何学変換による動き補償予測が使用されて符号化された符号化ストリームに含まれる、予測モードを特定するための予測方法情報、前記予測モードに応じた代表画素の差分動きベクトルおよび予測誤差信号を復号する復号部と、
    　前記予測方法情報により特定される予測モードに従って、代表画素の動きベクトルの予測動きベクトルを、対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルに前記代表画素の差分動きベクトルを加算して代表画素の動きベクトルを生成する動きベクトル生成部と、
    　対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の前記代表画素の動きベクトル、前記代表画素の動きベクトルを用いた補間により算出する前記代表画素以外の動きベクトル、および前記参照ブロックの画像信号から予測信号を生成する幾何学変換動き補償予測部と、
    　前記予測信号、および前記復号部により復号された予測誤差信号から画像信号を生成する画像信号生成部と、を備え、
    　前記代表画素には、前記対象ブロックを構成する頂点に位置する画素、頂点近傍に位置する画素または頂点近傍に位置する補間画素が選定されていることを特徴とする画像復号装置。
  11. 　前記復号部により復号された予測方法情報を参照して、対象画像内の対象ブロックごとに、前記幾何学変換動き補償予測部による複数の予測モードのいずれを用いるか指定する制御部をさらに備え、
    　前記対象ブロックは四角形の領域であり、
    　前記複数の予測モードには、
    　前記対象ブロックの４つの代表画素の動きベクトルを用いる第１モードと、
    　前記対象ブロックの縦方向における２つの代表画素の動きベクトルを用いる第２モードと、
    　前記対象ブロックの横方向における２つの代表画素の動きベクトルを用いる第３モードと、
    　前記対象ブロックの３つの前記代表画素の動きベクトルを用いる第４モードとの４つの予測モードの内の少なくとも２つの予測モードが含まれることを特徴とする請求項１０に記載の画像復号装置。
  12. 　前記予測方法情報により特定される予測モードが前記第４モードである場合には、四角形の前記対象ブロックにおける左上の頂点に相当する第１代表画素の差分動きベクトルを、右上の頂点に相当する第２代表画素の差分動きベクトル、および左下の頂点に相当する第３代表画素の差分動きベクトルが代表画素の差分動きベクトルとして符号化ストリームに含まれていることを特徴とする請求項１１に記載の画像復号装置。
  13. 　前記動きベクトル生成部は、前記第１モードでは、四角形の前記対象ブロックにおける右下の頂点に相当する第４代表画素の予測動きベクトルを、右上の頂点に相当する第２代表画素の動きベクトルの値から左上の頂点に相当する第１代表画素の動きベクトルの値を引いた差分を、左下の頂点に相当する第３代表画素の動きベクトルに加算することにより算出することを特徴とする請求項１１に記載の画像復号装置。
  14. 　前記動きベクトル生成部は、前記第１モードでは、四角形の前記対象ブロックにおける右下の頂点に相当する第４代表画素の予測動きベクトルを、左下の頂点に相当する第３代表画素の動きベクトルの値から左上の頂点に相当する第１代表画素の動きベクトルの値を引いた差分を、右上の頂点に相当する第２代表画素の動きベクトルに加算することにより算出することを特徴とする請求項１１に記載の画像復号装置。
  15. 　幾何学変換による動き補償予測が使用されて符号化された符号化ストリームに含まれる、代表画素の差分動きベクトルおよび予測誤差信号を復号する復号部と、
    　前記代表画素の動きベクトルの予測動きベクトルを、対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルに前記代表画素の差分動きベクトルを加算して代表画素の動きベクトルを生成する動きベクトル生成部と、
    　対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の前記代表画素の動きベクトル、前記代表画素の動きベクトルを用いた補間により算出する前記代表画素以外の動きベクトル、および前記参照ブロックの画像信号から予測信号を生成する幾何学変換動き補償予測部と、
    　前記予測信号、および前記復号部により復号された予測誤差信号から画像信号を生成する画像信号生成部と、を備え、
    　前記代表画素には、前記対象ブロックを構成する頂点に位置する画素、頂点近傍に位置する画素または頂点近傍に位置する補間画素が選定されていることを特徴とする画像復号装置。
  16. 　対象画像内の対象ブロックと、その対象ブロックと平行移動した関係にある参照画像内の参照ブロックとの間の動きベクトル、および前記参照ブロックの画像信号から予測信号を生成する平行移動動き補償予測部と、
    　前記復号部により復号された予測方法情報を参照して、対象画像内の対象ブロックごとに、前記平行移動動き補償予測部による予測方法と、前記幾何学変換動き補償予測部による予測方法とのいずれを用いるか指定する制御部と、をさらに備え、
    　前記符号化ストリームに含まれるデータは、前記平行移動による動き補償予測と前記幾何学変換による動き補償予測が併用されて符号化されており、
    　前記動きベクトル生成部は、対象ブロックの予測動きベクトルを、前記予測モード、及び前記対象ブロックに隣接する隣接ブロックの動き補償予測方法に応じて、当該隣接ブロック、あるいは当該隣接ブロックに含まれる画素の動きベクトルから生成することを特徴とする請求項１０または１４に記載の画像復号装置。
  17. 　幾何学変換による動き補償予測が使用されて符号化された符号化ストリームに含まれる、予測モードを特定するための予測方法情報、前記予測モードに応じた代表画素の差分動きベクトルおよび予測誤差信号を復号する復号ステップと、
    　前記予測方法情報により特定される予測モードに従って、代表画素の動きベクトルの予測動きベクトルを、対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルに前記代表画素の差分動きベクトルを加算して代表画素の動きベクトルを生成する動きベクトル生成ステップと、
    　対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の前記代表画素の動きベクトル、前記代表画素の動きベクトルを用いた補間により算出する前記代表画素以外の動きベクトル、および前記参照ブロックの画像信号から予測信号を生成する幾何学変換動き補償予測ステップと、
    　前記予測信号、および前記復号ステップにより復号された予測誤差信号から画像信号を生成する画像信号生成ステップと、を備え、
    　前記代表画素には、前記対象ブロックを構成する頂点に位置する画素、頂点近傍に位置する画素または頂点近傍に位置する補間画素が選定されていることを特徴とする画像復号方法。
  18. 　幾何学変換による動き補償予測が使用されて符号化された符号化ストリームに含まれる、予測モードを特定するための予測方法情報、前記予測モードに応じた代表画素の差分動きベクトルおよび予測誤差信号を復号する復号処理と、
    　前記予測方法情報により特定される予測モードに従って、代表画素の動きベクトルの予測動きベクトルを、対象ブロック内外の動きベクトルを用いて算出し、その予測動きベクトルに前記代表画素の差分動きベクトルを加算して代表画素の動きベクトルを生成する動きベクトル生成処理と、
    　対象画像内の対象ブロックと、その対象ブロックと幾何学変換した関係にある参照画像内の参照ブロックとの間の前記代表画素の動きベクトル、前記代表画素の動きベクトルを用いた補間により算出する前記代表画素以外の動きベクトル、および前記参照ブロックの画像信号から予測信号を生成する幾何学変換動き補償予測処理と、
    　前記予測信号、および前記復号処理により復号された予測誤差信号から画像信号を生成する画像信号生成処理と、をコンピュータに実行させ、
    　前記代表画素には、前記対象ブロックを構成する頂点に位置する画素、頂点近傍に位置する画素または頂点近傍に位置する補間画素が選定されていることを特徴とする画像復号プログラム。
PCT/JP2011/002514 2010-05-21 2011-04-28 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム WO2011145282A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201180025300.XA CN103039075B (zh) 2010-05-21 2011-04-28 图像编码装置、图像编码方法、以及图像解码装置、图像解码方法
US13/683,812 US9277220B2 (en) 2010-05-21 2012-11-21 Image coding apparatus including a geometric-transformation motion compensation prediction unit utilizing at least two prediction modes out of four prediction modes

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2010-117156 2010-05-21
JP2010117156 2010-05-21
JP2010-117157 2010-05-21
JP2010117157 2010-05-21
JP2011-070982 2011-03-28
JP2011-070981 2011-03-28
JP2011070981A JP5686018B2 (ja) 2010-05-21 2011-03-28 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2011070982A JP5686019B2 (ja) 2010-05-21 2011-03-28 画像復号装置、画像復号方法および画像復号プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/683,812 Continuation US9277220B2 (en) 2010-05-21 2012-11-21 Image coding apparatus including a geometric-transformation motion compensation prediction unit utilizing at least two prediction modes out of four prediction modes

Publications (1)

Publication Number Publication Date
WO2011145282A1 true WO2011145282A1 (ja) 2011-11-24

Family

ID=44991405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002514 WO2011145282A1 (ja) 2010-05-21 2011-04-28 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム

Country Status (1)

Country Link
WO (1) WO2011145282A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513571A (ja) * 2016-02-17 2018-05-24 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオピクチャを符号化および復号する方法および装置
CN112088533A (zh) * 2018-03-21 2020-12-15 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879763A (ja) * 1994-09-05 1996-03-22 Sharp Corp 動画像符号化装置及び動画像復号装置
JPH0879759A (ja) * 1994-09-02 1996-03-22 Sharp Corp 画像符号化装置及び画像復号装置
JPH09172644A (ja) * 1995-10-18 1997-06-30 Sharp Corp アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
JPH09200770A (ja) * 1996-01-17 1997-07-31 Nec Corp 適応動きベクトル補間による動き補償フレーム間予測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879759A (ja) * 1994-09-02 1996-03-22 Sharp Corp 画像符号化装置及び画像復号装置
JPH0879763A (ja) * 1994-09-05 1996-03-22 Sharp Corp 動画像符号化装置及び動画像復号装置
JPH09172644A (ja) * 1995-10-18 1997-06-30 Sharp Corp アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置
JPH09200770A (ja) * 1996-01-17 1997-07-31 Nec Corp 適応動きベクトル補間による動き補償フレーム間予測方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513571A (ja) * 2016-02-17 2018-05-24 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオピクチャを符号化および復号する方法および装置
CN112088533A (zh) * 2018-03-21 2020-12-15 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质

Similar Documents

Publication Publication Date Title
US9277220B2 (en) Image coding apparatus including a geometric-transformation motion compensation prediction unit utilizing at least two prediction modes out of four prediction modes
RU2603542C2 (ru) Способ и устройство для кодирования видео и способ и устройство для декодирования видео
KR100962759B1 (ko) 동화상 신호의 부호화 방법 및 복호화 방법
TWI571108B (zh) 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法及動畫像解碼方法
JP2005253088A (ja) グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法
KR20160086420A (ko) 화상 처리 장치 및 방법, 컴퓨터 판독가능 기록 매체
JP5216710B2 (ja) 復号化処理方法
JP5686018B2 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
KR20110083567A (ko) 모션 추정을 위한 기법들
JP2008271371A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法およびプログラム
JP5716437B2 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
JP5716438B2 (ja) 画像復号装置、画像復号方法および画像復号プログラム
JP5843032B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5686019B2 (ja) 画像復号装置、画像復号方法および画像復号プログラム
JPH1188888A (ja) 動きベクトル予測符号化方法および動きベクトル復号方法、予測符号化装置および復号装置、並びに、動きベクトルの予測符号化プログラムおよび復号プログラムを記録した記録媒体
WO2011145282A1 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム
JP2011151775A (ja) 画像復号装置、画像復号方法および画像復号プログラム
WO2011077632A1 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム、ならびに画像復号装置、画像復号方法および画像復号プログラム
JP5880758B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2011151774A (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2021129148A (ja) 予測装置、符号化装置、復号装置、及びプログラム
WO2011099242A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2015035660A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP2013098713A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180025300.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11783221

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11783221

Country of ref document: EP

Kind code of ref document: A1