WO2011070730A1 - 映像符号化装置および映像復号装置 - Google Patents

映像符号化装置および映像復号装置 Download PDF

Info

Publication number
WO2011070730A1
WO2011070730A1 PCT/JP2010/006732 JP2010006732W WO2011070730A1 WO 2011070730 A1 WO2011070730 A1 WO 2011070730A1 JP 2010006732 W JP2010006732 W JP 2010006732W WO 2011070730 A1 WO2011070730 A1 WO 2011070730A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
reference pictures
target image
prediction
video
Prior art date
Application number
PCT/JP2010/006732
Other languages
English (en)
French (fr)
Inventor
蝶野慶一
仙田裕三
田治米純二
青木啓史
先崎健太
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2011070730A1 publication Critical patent/WO2011070730A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Definitions

  • the present invention relates to a video encoding device and a video decoding device to which a video encoding technique for predicting a motion vector is applied.
  • a video encoding device digitizes a moving image signal input from the outside, and then performs encoding processing in accordance with a predetermined video encoding method to generate encoded data, that is, a bit stream.
  • Non-Patent Document 1 There is ISO / IEC 14496-10 Advanced Video Coding (AVC) described in Non-Patent Document 1 as a predetermined video encoding method.
  • a Joint Model method is known as a reference model for an AVC encoder (hereinafter referred to as a general video encoding device).
  • One frame is composed of one frame picture of progressive scanning or two field pictures of interlace scanning.
  • one frame is composed of one frame picture of progressive scanning.
  • a general video encoding apparatus includes an MB buffer 101, a frequency conversion unit 102, a quantization unit 103, an entropy encoding unit 104, an inverse quantization unit 105, an inverse frequency conversion unit 106, a picture buffer. 107, a block distortion removal filter unit 108, a decoded picture buffer 109, an intra prediction unit 110, an inter-frame prediction unit 111, a motion vector prediction unit 112, an encoding control unit 113, and a switch 100.
  • a general video encoding apparatus divides each frame into 16 ⁇ 16 pixel size blocks called MB (Macro Block), and encodes each MB in order from the upper left of the frame.
  • MB Micro Block
  • the MB is further divided into blocks of 4 ⁇ 4 pixel size, and each 4 ⁇ 4 block is encoded.
  • FIG. 12 is an explanatory diagram showing an example of block division when the spatial resolution of the frame is QCIF (Quarter Common Intermediate Format).
  • QCIF Quadrater Common Intermediate Format
  • the MB buffer 101 stores the pixel value of the encoding target MB of the input image frame.
  • the encoding target MB is simply referred to as an input MB.
  • the prediction signal supplied from the intra prediction unit 110 or the inter-frame prediction unit 111 via the switch 100 is subtracted from the input MB supplied from the MB buffer 101.
  • the input MB from which the prediction signal is reduced is referred to as a prediction error image block.
  • the intra prediction unit 110 generates an intra prediction signal using a reconstructed picture image stored in the picture buffer 107 having the same display time as the current picture as a reference image.
  • Intra_4 ⁇ 4 Intra_8 ⁇ 8
  • Intra_16 16
  • Intra_4 ⁇ 4 and Intra_8 ⁇ 8 are intra predictions of 4 ⁇ 4 block size and 8 ⁇ 8 block size, respectively.
  • a circle ( ⁇ ) in the figure indicates a reference pixel for intra prediction, that is, a reconstructed image stored in the picture buffer 107.
  • Intra_4 ⁇ 4 intra prediction the surrounding pixels of the reconstructed image are used as reference pixels as they are, and reference signals are padded (extrapolated) in nine types of directions shown in FIG.
  • Intra_8 ⁇ 8 intra prediction the peripheral pixels of the reconstructed picture are smoothed by the low-pass filters (1/2, 1/4, 1/2) described immediately below the right arrow in FIG. The predicted pixel is formed by extrapolating the reference pixel in nine types of directions shown in FIG.
  • Intra — 16 ⁇ 16 is intra prediction of 16 ⁇ 16 block size.
  • circles ( ⁇ ) in the drawing indicate reference pixels used for intra prediction, that is, reconstructed picture images stored in the picture buffer 107.
  • Intra_16 ⁇ 16 intra prediction surrounding pixels of the reconstructed image are used as reference pixels as they are, and prediction signals are formed by extrapolating reference pixels in the four types of directions shown in FIG.
  • an MB encoded using an intra prediction signal is referred to as an intra MB.
  • the block size of intra prediction is called intra prediction mode.
  • the extrapolation direction is referred to as an intra prediction direction.
  • the inter-frame prediction unit 111 generates an inter-frame prediction signal using, as a reference image, an image of a reference picture stored in the decoded picture buffer 109 that has a display time different from that of the current picture.
  • an MB encoded using an inter-frame prediction signal is referred to as an inter MB.
  • the inter MB block size 16 ⁇ 16, 16 ⁇ 8, 8 ⁇ 16, 8 ⁇ 8, 8 ⁇ 4, 4 ⁇ 8, and 4 ⁇ 4 can be selected.
  • FIG. 15 is an explanatory diagram illustrating an example of inter-frame prediction using a 16 ⁇ 16 block size as an example.
  • the motion vector MV (mv x , mv y ) shown in FIG. 15 is one of prediction parameters for inter-frame prediction that represents the amount of translation of the inter-frame prediction block (inter-frame prediction signal) of the reference picture with respect to the encoding target block.
  • AVC in order to identify the reference picture used for the inter-frame prediction of the encoding target block in addition to the inter-frame prediction direction indicating the direction of the reference picture of the inter-frame prediction signal with respect to the encoding target picture of the encoding target block.
  • the reference picture index is also a prediction parameter for inter-frame prediction. This is because in AVC, a plurality of reference pictures stored in the decoded picture buffer 109 can be used for inter-frame prediction.
  • inter MB an MB encoded using an inter-frame prediction signal
  • inter prediction mode The block size for inter-frame prediction
  • inter prediction direction The direction of inter-frame prediction
  • a picture encoded only with an intra MB is called an I picture.
  • a picture coded including not only an intra MB but also an inter MB is called a P picture.
  • a picture that is encoded including inter MBs that use not only one reference picture but also two reference pictures at the same time for inter-frame prediction is called a B picture.
  • the reference picture direction of the inter-frame prediction signal with respect to the encoding target picture of the encoding target block is the forward prediction with respect to the past inter-frame prediction
  • the inter-frame prediction signal with respect to the encoding target picture of the encoding target block Prediction of the future reference frame is referred to as backward prediction, and interframe prediction including the past and future is referred to as bidirectional prediction.
  • the motion vector predicting unit 112 assumes that an encoding target block is E, an adjacent block on the left is A, an upper adjacent block is B, and an upper right adjacent block is C.
  • the block predicted motion vector PMV (pmv x , pmv y ) is obtained based on the median value of the respective motion vectors of the blocks A, B, and C.
  • SPMV (spmv x , spmv y ).
  • Median (X, Y, Z) are X, Y, a function that returns the median value of Z, mv x _A, mv x _B, mv x _C Block A, B, C motion vectors of the respective horizontal component, mv y _A, mv y _B, mv y _C block a, B, a motion vector of the C respectively of the vertical component.
  • the encoding control unit 113 compares the intra prediction signal and the inter-frame prediction signal with the input MB stored in the MB buffer 101, and selects a prediction signal that reduces the energy of the prediction error image block.
  • the encoding control unit 113 controls the switch 100 so that an image is predicted by the selected prediction signal, and supplies information related to the selected prediction signal to the entropy encoding unit 104.
  • the information related to the selected prediction signal is the intra prediction mode and the intra prediction direction when the intra prediction signal is selected, and when the inter prediction signal is selected, the inter prediction mode, the inter prediction direction, And a differential motion vector (of the motion vector and the spatial axis predicted motion vector).
  • the encoding control unit 113 selects a base block size of integer DCT suitable for frequency conversion of the prediction error image block based on the input MB or the prediction error image block.
  • base block size options there are 16 ⁇ 16, 8 ⁇ 8, and 4 ⁇ 4 block sizes.
  • Information on the base size of the selected integer DCT is supplied to the frequency transform unit 102 and the entropy encoding unit 104.
  • auxiliary information information related to the selected prediction signal and information related to the base size of the selected integer DCT.
  • the encoding control unit 113 monitors the bit number of the bit stream output from the entropy encoding unit 104 in order to encode the picture with the target bit number, and the bit number of the output bit stream is the target bit number. If the number of bits is less than the target number of bits, a quantization parameter that reduces the quantization step size is supplied. Supply. As such, the output bitstream is encoded to approach the target number of bits.
  • the frequency conversion unit 102 converts the prediction error image block by frequency conversion from the spatial domain to the frequency domain with the selected base size of the integer DCT.
  • the prediction error converted to the frequency domain is called a conversion coefficient.
  • orthogonal transformation such as DCT (Discrete Cosine Transform) or Hadamard transformation can be used.
  • the integer DCT means frequency conversion based on a base obtained by approximating a DCT base with an integer value in a general video encoding apparatus.
  • the quantization unit 103 quantizes the transform coefficient with a quantization step size corresponding to the quantization parameter supplied from the encoding control unit 113. Note that the quantization index of the quantized transform coefficient is also called a level.
  • the entropy coding unit 104 entropy codes the auxiliary information and the quantization index, and outputs the bit string, that is, the bit stream.
  • the inverse quantization unit 105 and the inverse transform unit 106 inversely quantize the quantization index supplied from the quantization unit 103 for subsequent encoding, and perform inverse frequency transform to return to the original space region.
  • the prediction error image block returned to the original space area is referred to as a reconstructed prediction error image block.
  • the picture buffer 107 stores a reconstructed image block obtained by adding a prediction signal to a reconstructed prediction error image block until all MBs included in the current picture are encoded.
  • a picture constituted by the reconstructed image block is referred to as a reconstructed picture.
  • the picture buffer 107 also stores auxiliary information related to the reconstructed image block.
  • the block distortion removal filter unit 108 removes block distortion of the reconstructed picture stored in the picture buffer 107.
  • the decoded picture buffer 109 stores the reconstructed picture from which the block distortion supplied from the block distortion removal filter 108 is removed as a reference picture.
  • the decoded picture buffer 109 also stores auxiliary information related to the reconstructed image block from which block distortion has been removed.
  • the video encoding device shown in FIG. 11 generates a bit stream by the processing as described above.
  • time-axis motion vector prediction assuming that the motion vectors between pictures are consistent is used in the coding of temporal direct mode (Temporal DIRECT mode) of a B picture.
  • the motion vector MV base of a block of one future reference picture (Collocated block) in the display order adjacent to the encoding target block (Current block) in the temporal axis. Is used.
  • the motion vector MV col of the collocated block is obtained by calculating the time difference tb between the coding target picture (pic (t)) of the coding target block and the reference picture (pic (t + 1)) of the collocated block and the reference picture (pic (t + 1) of the collocated block. ) And the reference picture (pic (t ⁇ 1)) referenced by the motion vector of the collocated block is interpolated on the basis of the time difference td, and the following formula (3) and formula (4)
  • the backward predicted motion vectors TPMV L0 and TPMV L1 are calculated (see FIG. 18).
  • Non-Patent Document 1 proposes Symmetric Mode that applies temporal-axis motion vector prediction to inter-frame prediction for backward prediction and generates a motion vector for forward prediction from the motion vector for backward prediction.
  • Non-Patent Document 2 and Non-Patent Document 3 when the motion vector of the Collocated block is not available (that is, when the Collocated block is in the intra MB mode), the temporal axis motion vector prediction is prohibited, and instead, the spatial axis motion vector Technologies that use predictions have been proposed.
  • Patent Document 1 when the motion vector of the Collocated block cannot be used (that is, in the intra MB mode), the motion vector of another reference picture adjacent in the time direction is extrapolated to obtain the time-axis predicted motion vector. Techniques for calculating have been proposed.
  • the present invention provides a video encoding apparatus and video that can efficiently compress video without reducing the accuracy of motion vector prediction even in a scene in which there is a change in the motion vector between pictures due to the presence of acceleration or the like.
  • An object is to provide a decoding device.
  • the video encoding apparatus includes a prediction motion vector calculation unit that calculates a prediction motion vector of an encoding target image based on motion vectors of two reference pictures before and after the encoding target image. To do.
  • the video decoding apparatus is characterized in that it includes a predicted motion vector calculation means for calculating a predicted motion vector of a decoding target image based on motion vectors of two reference pictures before and after the decoding target image.
  • a video encoding method is a video encoding method executed by a video encoding device, and predictive motion of an encoding target image based on motion vectors of two reference pictures before and after the encoding target image. It is characterized by calculating a vector.
  • a video decoding method is a video decoding method executed by a video decoding device, and calculates a predicted motion vector of a decoding target image based on motion vectors of two reference pictures before and after the decoding target image. It is characterized by.
  • the video encoding program according to the present invention is characterized by causing a computer to calculate a predicted motion vector of an encoding target image based on motion vectors of two reference pictures before and after the encoding target image.
  • the video decoding program according to the present invention is characterized by causing a computer to calculate a predicted motion vector of a decoding target image based on motion vectors of two reference pictures before and after the decoding target image.
  • the video can be efficiently compressed without reducing the accuracy of motion vector prediction.
  • Intra_16x16 intra prediction It is explanatory drawing for demonstrating Intra_16x16 intra prediction. It is explanatory drawing which shows the example of the inter-frame prediction which made the block size of 16x16 an example. It is explanatory drawing which shows the image block adjacent to a process target image block within a screen. It is explanatory drawing which shows the motion vector MV base in a prior art. It is explanatory drawing which shows the time-axis prediction motion vector TPMV L0 and TPMV L1 in a prior art.
  • Embodiment 1 The video encoding apparatus according to the present embodiment, as a feature of the motion vectors of the two reference pictures before and after the encoding target image, is based on the norm of the motion vectors of the two reference pictures before and after the encoding target image. There is provided means for detecting a change in a motion vector, and further generating a predicted motion vector by compensating for the change in the motion vector based on a weighted sum of motion vectors of two reference pictures before and after.
  • FIG. 1 is a block diagram showing a video encoding apparatus according to the first embodiment of the present invention.
  • the video encoding apparatus includes an MB buffer 101, a frequency conversion unit 102, a quantization unit 103, an entropy encoding unit 104, an inverse quantization unit 105, an inverse frequency conversion unit 106, a picture.
  • a buffer 107, a block distortion removal filter unit 108, a decoded picture buffer 109, an intra prediction unit 110, an inter-frame prediction unit 111, a motion vector prediction unit 112, an encoding control unit 113, and a switch 100 are provided.
  • the video encoding apparatus has a motion vector predicting unit 112 that performs not only a reconstructed picture stored in the picture buffer 107 but also a decoded picture.
  • a feature is that the auxiliary information of the reconstructed picture stored in the buffer 109 can also be accessed.
  • the motion vector prediction unit 112 detects a motion vector change between pictures based on the norms of the motion vectors of the two reference pictures before and after the encoding target image, and further weights the motion vectors of the two reference pictures before and after. Compensate for motion vector changes based on the sum. That is, the motion vector prediction unit 112 corresponds to a unit that generates a predicted motion vector. Therefore, in the following description, the operation of the motion vector predicting unit 112, which is a feature of the video encoding device of the present embodiment, will be described in detail.
  • the MB buffer 101 stores the pixel value of the encoding target MB of the input picture.
  • the prediction signal supplied from the intra prediction unit 110 or the inter-frame prediction unit 111 via the switch 100 is subtracted from the input MB supplied from the MB buffer 101.
  • the intra prediction unit 110 generates an intra prediction signal using a reconstructed picture image stored in the picture buffer 107 having the same display time as the current picture as a reference image.
  • the inter-frame prediction unit 111 generates an inter-frame prediction signal using, as a reference image, an image of a reference picture stored in the decoded picture buffer 109 that has a display time different from that of the current picture.
  • the motion vector prediction unit 112 operates differently from a general video encoding technique for B pictures. Details of the operation of the motion vector prediction unit 112 of the present embodiment for B pictures will be described.
  • the motion vector prediction unit 112 receives blocks (Collocated block L0 and Collocated block L1) of two reference pictures (pic (t-1) and pic (t + 1)) before and after the encoding target picture from the decoded picture buffer 206. Each motion vector (MV baseL0 and MV baseL1 ) is read from (see FIG. 2).
  • the motion vector prediction unit 112 calculates the norm DNMV_norm of the difference between the normalized motion vectors NMV baseL0 and NMV baseL1 normalized by the distance between reference pictures (td L0 and td L1 ) of the motion vectors of the two reference pictures before and after. Is compared with a predetermined threshold th_norm. Normalized motion vectors NMV baseL0 and NMV baseL1 and norm DNMV_norm are expressed by the following equations (5), (6), and (7).
  • NMV baseL0 MV baseL0 / td L0
  • NMV baseL1 MV baseL1 / td L1
  • DNMV_norm ⁇ NMV baseL0 -NMV baseL1 ⁇ ⁇ (7)
  • ⁇ X ⁇ is a function for calculating the L1 norm of the vector X.
  • the L2 norm or the maximum absolute value difference of each component may be used.
  • the motion vector prediction unit 112 does not have an acceleration of a motion vector between the reference picture pic (t ⁇ 1) and the reference picture pic (t + 1) (that is, the reference picture pic (T-1) and the reference picture pic (t + 1) are determined to have a motion vector change due to another factor), and only the MV baseL1 is used, and the following equations (8), (9) , (10), TPMV L0 and TPMV L1 are generated by supplying predicted motion vectors (that is, time-axis predicted motion vectors similar to the time-axis predicted motion vectors based on a general video encoding technique) and supplied to the encoding control unit 113. .
  • MV base MV baseL1 (8)
  • TPMV L0 tb * MV base / td L1 (9)
  • TPMV L1 (tb ⁇ td L1 ) * MV base / td L1 (10)
  • TPMV L0 is a predicted motion vector for the forward prediction motion vector
  • TPMV L1 is a predicted motion vector for the backward prediction motion vector.
  • the motion vector prediction unit 112 determines that there is an acceleration of the motion vector between the reference picture pic (t ⁇ 1) and the reference picture pic (t + 1), and MV baseL0 and MV Using both of baseL1 , the following equations (11), (12), and (13) are used to predict motion vectors (time-axis prediction according to the present invention, which is different from motion vector prediction motion vectors based on general video coding techniques). Motion vectors) TPMV L0 and TPMV L1 are generated and supplied to the encoding control unit 113.
  • MV base td L1 * (MV baseL0 / td L0 + MV baseL1 / td L1 ) / 2 (11)
  • TPMV L0 tb * MV base / td L1 (12)
  • TPMV L1 (tb ⁇ td L1 ) * MV base / td L1 (13)
  • the motion vector in Expression (11) is a motion vector based on the weighted sum of motion vectors of two reference pictures before and after the encoding target image (see FIG. 3). Therefore, the obtained prediction motion vector is a time-axis prediction motion vector based on the weighted sum of the motion vectors of the two reference pictures before and after the encoding target image (see FIG. 4).
  • the temporal axis predicted motion vector in the present embodiment is the same as the temporal axis predicted motion vector by a general video coding technique.
  • the temporal axis predicted motion vector in this embodiment has a change in motion vector due to acceleration. It becomes a compensated prediction motion vector. Therefore, even in a scene in which there is a change in the motion vector between pictures due to the presence of acceleration or the like, the accuracy of motion vector prediction by the motion vector prediction unit 112 does not decrease, so that the video can be efficiently compressed.
  • the encoding control unit 113 compares the intra prediction signal and the inter-frame prediction signal with the input MB of the MB buffer 101, respectively, and selects a prediction signal that reduces the energy of the prediction error image block.
  • the encoding control unit 113 controls the switch 100 so that an image is predicted by the selected prediction signal, and supplies information related to the selected prediction signal to the entropy encoding unit 104.
  • the information related to the selected prediction signal is the intra prediction mode and the intra prediction direction when the intra prediction signal is selected, and when the inter prediction signal is selected, the inter prediction mode, the inter prediction direction, And a differential motion vector (of the motion vector and the spatial axis predicted motion vector).
  • the encoding control unit 113 selects a base block size of integer DCT suitable for frequency conversion of the prediction error image block based on the input MB or the prediction error image block.
  • base block size options there are 16 ⁇ 16, 8 ⁇ 8, and 4 ⁇ 4 block sizes.
  • Information on the base size of the selected integer DCT is supplied to the frequency transform unit 102 and the entropy encoding unit 104.
  • auxiliary information information related to the selected prediction signal and information related to the base size of the selected integer DCT.
  • the encoding control unit 113 monitors the bit number of the bit stream output from the entropy encoding unit 104 in order to encode the picture with the target bit number, and the bit number of the output bit stream is the target bit number. If the number of bits is less than the target number of bits, a quantization parameter that reduces the quantization step size is supplied. Supply. As a result, the output bit stream is encoded so as to approach the target number of bits.
  • the frequency conversion unit 102 converts the prediction error image block by frequency conversion from the spatial domain to the frequency domain with the selected base size of the integer DCT.
  • the prediction error converted to the frequency domain is called a conversion coefficient.
  • orthogonal transform such as DCT or Hadamard transform can be used.
  • the integer DCT means frequency conversion based on a base obtained by approximating a DCT base with an integer value in a general video encoding apparatus.
  • the quantization unit 103 quantizes the transform coefficient with a quantization step size corresponding to the quantization parameter supplied from the encoding control unit 113. Note that the quantization index of the quantized transform coefficient is also called a level.
  • the entropy coding unit 104 entropy codes the auxiliary information and the quantization index, and outputs the bit string, that is, the bit stream.
  • the inverse quantization unit 105 and the inverse transform unit 106 inversely quantize the quantization index supplied from the quantization unit 103 for subsequent encoding, and perform inverse frequency transform to return to the original space region.
  • the prediction error image block returned to the original space area is referred to as a reconstructed prediction error image block.
  • the picture buffer 107 stores a reconstructed image block obtained by adding a prediction signal to a reconstructed prediction error image block until all MBs included in the current picture are encoded.
  • a picture constituted by the reconstructed image block is referred to as a reconstructed picture.
  • the picture buffer 107 also stores auxiliary information related to the reconstructed image block.
  • the block distortion removal filter unit 108 removes block distortion of the reconstructed picture stored in the picture buffer 107.
  • the decoded picture buffer 109 stores the reconstructed picture from which the block distortion supplied from the block distortion removal filter 108 is removed as a reference picture.
  • the decoded picture buffer 109 also stores auxiliary information related to the reconstructed image block from which block distortion has been removed.
  • the video encoding device of this embodiment Based on the above-described operation, the video encoding device of this embodiment generates a bit stream.
  • Embodiment 2 The video decoding apparatus according to the present embodiment detects a change in motion vector between pictures based on the norm as the feature of the motion vector of two reference pictures before and after the decoding target image, and further, Means for generating a motion vector predictor by compensating for a change in motion vector based on a weighted sum of motion vectors.
  • FIG. 5 is a block diagram showing a video decoding apparatus according to the second embodiment of the present invention.
  • the video decoding apparatus according to the present embodiment includes an entropy decoding unit 201, an inverse quantization unit 202, an inverse frequency conversion unit 203, a picture buffer 204, a block distortion removal filter unit 205, a decoded picture buffer 206, an intra A prediction unit 207, an inter-frame prediction unit 208, a motion vector prediction unit 209, a decoding control unit 210, and a switch 200 are provided.
  • the entropy decoding unit 201 performs entropy decoding on the bitstream to obtain information related to the prediction signal of the decoding target MB, the base size of the integer DCT, and the quantization index.
  • the decoding control unit 210 prepares to supply an intra prediction signal or an inter-frame prediction signal as a prediction signal.
  • the motion vector prediction unit 209 calculates a prediction motion vector and sends it to the inter-frame prediction unit 208 in the same manner as the motion vector prediction unit 112 in the first embodiment. Supply.
  • the intra prediction unit 207 performs entropy decoding supplied to the intra MB from the reconstructed image stored in the picture buffer 204 having the same display time as the currently decoded frame, via the decoding control unit 210.
  • An intra prediction signal is generated based on the intra prediction mode and the intra prediction direction.
  • the inter-frame prediction unit 208 performs entropy-decoded inter-picture supplied via the decoding control unit 210 from a reference image stored in the decoded picture buffer 206 that has a display time different from that of the currently decoded frame.
  • An inter-frame prediction signal is generated based on the prediction mode, the inter prediction direction, the difference motion vector, and the prediction motion vector supplied from the motion vector prediction unit 209.
  • the decoding control unit 210 controls the switch 200 based on information (intra MB or inter MB) related to the entropy-decoded prediction signal, and predicts an image by the intra prediction signal or the inter-frame prediction signal.
  • the inverse quantization unit 202 and the inverse transform unit 203 inversely quantize the quantization index supplied from the entropy decoding unit 201, further perform inverse frequency transform, and return the original spatial region (reconstructed prediction error image block).
  • the picture buffer 204 stores a reconstructed image block obtained by adding a prediction signal supplied via the switch 200 to the reconstructed prediction error image block until all MBs included in the current frame are encoded.
  • the block distortion removal filter unit 205 removes block distortion of the reconstructed image picture stored in the picture buffer 204.
  • the decoded picture buffer 206 stores the reconstructed image picture from which block distortion has been removed by the block distortion removal filter unit 205 as a reference picture.
  • the reference image picture is output as an expanded frame at an appropriate display timing.
  • the video decoding apparatus decompresses the bit stream.
  • the motion vectors of the two reference pictures before and after the encoding target picture or the decoding target picture are characterized by the motion vector norm between the pictures based on the norm of the motion vectors of the two reference pictures.
  • a video encoding device including a motion vector prediction unit that detects a change in a motion vector and further generates a predicted motion vector by compensating for the change in the motion vector based on a weighted sum of motion vectors of two reference pictures before and after A video decoding device is shown.
  • a change in a motion vector between pictures is detected based on the norm of motion vectors of two reference pictures before and after the encoding target image or the decoding target image, and further, based on the motion vectors of adjacent images in the screen.
  • An embodiment using a motion vector prediction unit (motion vector prediction unit 112 and motion vector prediction unit 209) that generates a predicted motion vector by compensating for a change in the motion vector is also conceivable.
  • the motion vector prediction unit performs blocks (Collocated block L0 and Collocated block L1) of two reference pictures (pic (t ⁇ 1) and pic (t + 1)) stored in the decoded picture buffer 109 or the decoded picture buffer 206. ) Read each motion vector (MV baseL0 and MV baseL1 ).
  • the motion vector prediction unit determines whether or not the reference picture indicated by the motion vector MV baseL1 of the Collocated block L1 is a reference picture to which the Collocated block L0 belongs.
  • the reference picture pointed to by the motion vector MV baseL1 of the Collocated block L1 is not the reference picture to which the Collocated block L0 belongs, a large change in the motion vector between the reference picture pic (t ⁇ 1) and the reference picture pic (t + 1)
  • the predicted motion vector (spatial axis predicted motion vector) )
  • Generate SPMV (spmv x , spmv y ).
  • the spatial axis predicted motion vector should be used rather than the temporal axis predicted motion vector.
  • the accuracy of motion vector prediction is improved. Specifically, the accuracy of motion vector prediction is improved by generating a predicted motion vector by compensating for a large change in the motion vector between reference pictures based on the motion vector of an image adjacent in the screen.
  • the motion vector prediction unit determines the inter-reference picture distances (td) of the motion vectors of the two preceding and following reference pictures.
  • the norm DNMV_norm of the difference between the normalized motion vectors NMV baseL0 and NMV baseL1 normalized by L0 and td L1 ) is compared with a predetermined threshold th_norm.
  • the normalized motion vectors NMV baseL0 and NMV baseL1 and the norm DNMV_norm are expressed by the following formulas (16), (17), and (18).
  • ⁇ X ⁇ is a function for calculating the L1 norm of the vector X.
  • the L2 norm or the maximum absolute value difference of each component may be used.
  • the motion vector prediction unit does not have an acceleration of a motion vector between the reference picture pic (t ⁇ 1) and the reference picture pic (t + 1) (that is, the reference picture pic ( t-1) and the reference picture pic (t + 1) are determined to have a motion vector change due to another factor), and only the MV baseL1 is used, and the following equations (19), (20), In (21), prediction motion vectors (that is, time-axis prediction motion vectors by a general video encoding technique and time-axis prediction motion vectors similar to the technique) TPMV L0 and TPMV L1 are generated to generate the encoding control unit 113 or decoding It supplies to the control part 210.
  • MV base MV baseL1 (19)
  • TPMV L0 tb * MV base / td L1 (20)
  • TPMV L1 (tb ⁇ td L1 ) * MV base / td L1 (21)
  • Predicted motion vectors time-axis predicted motion vectors according to the present invention, which are different from the time-axis predicted motion vectors according to a general video coding technique) in the following equations (22), (23), and (24) TPMV L0 and TPMV L1 Is supplied to the encoding control unit 113 or the decoding control unit 210.
  • MV base td L1 * (MV baseL0 / td L0 + MV baseL1 / td L1 ) / 2 (22)
  • TPMV L0 tb * MV base / td L1 (23)
  • TPMV L1 (tb ⁇ td L1 ) * MV base / td L1 (24)
  • the motion vector of Expression (22) is a motion vector based on the weighted sum of motion vectors of two reference pictures before and after (see FIG. 3). Therefore, the obtained prediction motion vector is a time-axis prediction motion vector based on the weighted sum of the motion vectors of two reference pictures before and after (see FIG. 4).
  • Embodiment 4 A motion vector prediction device that detects a change in motion vector between pictures using an inner product or outer product instead of a norm as a feature of motion vectors of two reference pictures before and after an encoding target image or a decoding target image ( An embodiment using the motion vector prediction unit 112 and the motion vector prediction unit 209) is also conceivable.
  • the angle ⁇ formed by the motion vectors of the two front and rear reference pictures can be obtained.
  • the angle ⁇ is larger than the predetermined threshold th_theta, there is no motion vector acceleration between the reference picture pic (t ⁇ 1) and the reference picture pic (t + 1) (that is, the reference picture pic (t ⁇ 1) and the reference It can be determined that there is a change in motion vector due to another factor between the picture pic (t + 1)).
  • the outer product it can be determined whether or not the motion vectors of two reference pictures before and after are parallel. If the motion vectors of the two front and rear reference pictures are parallel (that is, the outer product is zero) and each has the same direction, the reference picture pic (t ⁇ 1) and the reference picture pic (t + 1) are between It can be determined that the acceleration of the motion vector exists.
  • the reference picture pic (t ⁇ 1) and the reference picture pic (t + 1) It can be determined that motion vector acceleration exists between them.
  • the inner product is a value larger than 0, and the outer product is zero, the reference picture pic (t ⁇ 1) and the reference picture pic (t + 1) It can be determined that there is an acceleration of the motion vector.
  • the video encoding device and the video decoding device detect and compensate for a change in the motion vector between pictures based on the motion vectors of two reference pictures before and after the encoding target image or the decoding target image.
  • the video encoding device and video decoding device can change a motion vector between pictures based on any one or more of an inner product, an outer product, and a norm of motion vectors of two reference pictures.
  • the present invention and the invention described in Patent Document 1 are similar in that the motion vectors of the two reference pictures before and after are used, but in the present invention, the motion vectors of the two reference pictures before and after, Alternatively, the difference is that a predicted motion vector in which a change in motion vector is compensated is calculated based on a motion vector of an adjacent block in a picture. In the present invention, a prediction motion vector in which a change in motion vector due to acceleration is compensated can be generated by this difference.
  • the inner product, outer product, and norm of the motion vectors of the two reference pictures before and after are not simple criteria such as the presence or absence of motion vectors of reference pictures adjacent in the time direction (whether or not the intra MB mode is used).
  • the point of detecting a change of a motion vector between pictures using any one or more of the above criteria also indicates an inventive step.
  • each of the above embodiments can be configured by hardware, it can also be realized by a computer program.
  • the information processing system shown in FIG. 6 includes a processor 1001, a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bitstream.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • the program memory 1002 stores a program for realizing the function of each block (excluding the buffer block) shown in FIGS.
  • the processor 1001 implements the functions of the video encoding device or the video decoding device shown in FIGS. 1 and 5 by executing processing in accordance with the program stored in the program memory 1002.
  • FIG. 7 is a block diagram showing the main configuration of the video encoding apparatus according to the present invention.
  • the video encoding apparatus according to the present invention is a prediction motion vector calculation means for calculating a prediction motion vector of an encoding target image based on motion vectors of two reference pictures before and after the encoding target image. 11 (implemented by the motion vector prediction unit 112 in the first embodiment).
  • the predicted motion vector calculation unit 11 calculates a time-axis predicted motion vector based on the weighted sum of the motion vectors of the two preceding and following reference pictures when the feature amounts of the motion vectors of the two preceding and following reference pictures satisfy a predetermined value.
  • the spatial axis prediction motion vector based on the motion vector of the image adjacent to the encoding target image in the screen is calculated when the feature amounts of the motion vectors of the two reference pictures before and after the predetermined value do not satisfy the predetermined value.
  • the feature quantities of the motion vectors of the two reference pictures before and after used by the predicted motion vector calculation means 11 include, for example, one or more of an inner product, an outer product, and a norm of the motion vectors of the two reference pictures before and after.
  • FIG. 8 is a block diagram showing the main configuration of the video decoding apparatus according to the present invention.
  • the video decoding apparatus according to the present invention is based on the motion vector predictor 21 (first motion vector calculation means 21) for calculating a motion vector predictor of a decoding target image based on motion vectors of two reference pictures before and after the decoding target image.
  • the motion vector prediction unit 209 it is realized by the motion vector prediction unit 209).
  • the predicted motion vector calculation means 21 calculates, for example, a time-axis predicted motion vector based on a weighted sum of motion vectors of two reference pictures before and after, as a predicted motion vector of a decoding target image.
  • the feature quantities of the motion vectors of the two reference pictures before and after that used by the predicted motion vector calculation means 21 include, for example, one or more of the inner product, outer product, and norm of the motion vectors of the two reference pictures before and after.
  • FIG. 9 is a flowchart showing the main steps of the video encoding method according to the present invention.
  • a predicted motion vector of an encoding target image is calculated based on the motion vectors of two reference pictures before and after the encoding target image (step S11). including.
  • FIG. 10 is a flowchart showing the main steps of the video decoding method according to the present invention.
  • the video decoding method according to the present invention includes a step (step S21) of calculating a predicted motion vector of a decoding target image based on motion vectors of two reference pictures before and after the decoding target image.
  • Prediction motion vector calculation means 20
  • Prediction motion vector calculation means 100
  • Switch 101 MB buffer 102
  • Quantization part 104 Entropy encoding part 105
  • Inverse quantization part 106
  • Inverse frequency conversion part 107
  • Picture buffer 108 Block distortion removal filter part
  • Decoded picture buffer 110
  • Intra prediction unit 111
  • Motion vector prediction unit 113
  • Coding control unit 200
  • Switch 201 Entropy decoding unit 202
  • Inverse quantization unit 203
  • Inverse frequency conversion unit 204
  • Picture buffer 205 Block distortion removal filter unit 206
  • Decoded picture Buffer 207 Intra prediction unit 208
  • Motion vector prediction unit 210
  • Decoding control unit 1001 Processor 1 002
  • Program memory 1003 Storage medium
  • 1004 Storage medium 1004 Storage medium

Abstract

　加速度の存在などに起因してピクチャ間の動きベクトルに変化が存在するシーンにおいても動きベクトル予測の精度を低下させることなく効率的に映像を圧縮できる映像符号化装置および映像復号装置を提供するために、映像符号化装置は、符号化対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、符号化対象画像の予測動きベクトル（時間軸予測動きベクトルまたは空間軸予測動きベクトル）を計算する予測動きベクトル計算手段を備え、映像復号装置は、復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、復号対象画像の予測動きベクトルを計算する予測動きベクトル計算手段を備える。

Description

映像符号化装置および映像復号装置
　本発明は、動きベクトルを予測する映像符号化技術が適用される映像符号化装置および映像復号装置に関する。
　一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。
　所定の映像符号化方式として非特許文献１に記載されたＩＳＯ／ＩＥＣ　14496－10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model方式が知られている（以下、一般的な映像符号化装置という）。
　図１１を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。１枚のフレームは、順次走査のフレームピクチャ１枚または飛び越し走査のフィールドピクチャ２枚によって構成される。以下、説明の簡略化のために、１枚のフレームが順次走査のフレームピクチャ１枚で構成されると仮定する。
　図１１に示すように、一般的な映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、動きベクトル予測部１１２、符号化制御部１１３およびスイッチ１００を備える。
　一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）と呼ばれる１６×１６画素サイズのブロックに分割し、フレームの左上から順に各ＭＢを符号化する。非特許文献１に記載されたＡＶＣでは、ＭＢをさらに４×４画素サイズのブロックにブロック分割し、各４×４ブロックを符号化する。
　図１２は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、説明の簡略化のために、輝度の画素値のみに着目して各装置の動作を説明する。
　ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。以下、符号化対象ＭＢを単に入力ＭＢという。
　ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。以後、予測信号が減じられた入力ＭＢを予測誤差画像ブロックという。
　イントラ予測部１１０は、現在のピクチャと表示時刻が同一である、ピクチャバッファ１０７に格納された再構築ピクチャの画像を参照画像として利用してイントラ予測信号を生成する。
　イントラ予測については、非特許文献１の8.3.1～8.3.3に記載されているように、３種類のブロックサイズのイントラ予測モードIntra_４×４、Intra_８×８、Intra_１６×１６がある。
　図１３（ａ），（ｃ）を参照すると、Intra_４×４とIntra_８×８はそれぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることがわかる。ただし、図中の丸（○）はイントラ予測の参照画素、つまり、ピクチャバッファ１０７に格納された再構築画像を示す。
　　Intra_４×４のイントラ予測では、再構築画像の周辺画素をそのまま参照画素とし、図１３（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_８×８のイントラ予測では、図１３（ｃ）における右矢印の直下に記載されているローパスフィルタ（１／２、１／４、１／２）によって再構築ピクチャの画像の周辺画素が平滑化された画素を参照画素として、図１３（ｂ）に示す９種類の方向に参照画素を外挿して予測信号が形成される。
　図１４（ａ）を参照すると、Intra_１６×１６は１６×１６ブロックサイズのイントラ予測であることがわかる。図１３に示された例と同様に、図１４において、図中の丸（○）はイントラ予測に用いる参照画素、つまり、ピクチャバッファ１０７に格納された再構築ピクチャの画像を示す。Intra_１６×１６のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図１４（ｂ）に示す４種類の方向に参照画素を外挿して予測信号が形成される。
　以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。イントラ予測のブロックサイズをイントラ予測モードという。また、外挿の方向をイントラ予測方向という。
　フレーム間予測部１１１は、現在のピクチャと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照ピクチャの画像を参照画像として利用してフレーム間予測信号を生成する。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。インターＭＢのブロックサイズとして、１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４を選択することができる。
　図１５は、１６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。図１５に示す動きベクトルＭＶ＝（ｍｖｘ，ｍｖｙ）は、符号化対象ブロックに対する参照ピクチャのフレーム間予測ブロック（フレーム間予測信号）の平行移動量を表す、フレーム間予測の予測パラメータの一つである。ＡＶＣにおいては、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向を表すフレーム間予測の方向に加えて、符号化対象ブロックのフレーム間予測に用いる参照ピクチャを同定するための参照ピクチャインデックスもフレーム間予測の予測パラメータである。ＡＶＣにおいて、デコードピクチャバッファ１０９に格納された複数枚の参照ピクチャをフレーム間予測に利用できるからである。
　なお、フレーム間予測のより詳細な説明が、非特許文献１の8.4 Inter prediction processに記載されている。
　以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。フレーム間予測のブロックサイズをインター予測モードという。また、フレーム間予測の方向をインター予測方向という。
　なお、イントラＭＢのみで符号化されたピクチャはＩピクチャと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたピクチャはＰピクチャと呼ばれる。フレーム間予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＭＢを含めて符号化されたピクチャはＢピクチャと呼ばれる。また、Ｂピクチャにおいて、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が過去のフレーム間予測を前方向予測、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が未来のフレーム間予測を後方向予測、過去と未来を含むフレーム間予測を双方向予測という。
　動きベクトル予測部１１２は、図１６に示すように、符号化対象ブロックをＥ、左に隣接するブロックをＡ、上に隣接するブロックをＢ、右上に隣接するブロックをＣとすると、符号化対象ブロックの予測動きベクトルＰＭＶ＝（ｐｍｖｘ，ｐｍｖｙ）をブロックＡ，Ｂ，Ｃの動きベクトルの（それぞれの成分）の中央値に基づいて求める。以下、説明を容易にするため、空間軸に隣接するブロックに基づいて得られた予測動きベクトルを空間軸予測動きベクトルＳＰＭＶ＝（ｓｐｍｖｘ，ｓｐｍｖｙ）という。ＳＰＭＶの各成分は、定式的には以下のように表現できる。
　ｓｐｍｖｘ＝Median（ｍｖｘ＿Ａ，ｍｖｘ＿Ｂ，ｍｖｘ＿Ｃ）　　　　・・・（１）
　ｓｐｍｖｙ＝Median（ｍｖｙ＿Ａ，ｍｖｙ＿Ｂ，ｍｖｙ＿Ｃ）　　　　・・・（２）
　ただし、Median（Ｘ，Ｙ，Ｚ）はＸ，Ｙ，Ｚの中央値を返す関数、ｍｖｘ＿Ａ，ｍｖｘ＿Ｂ，ｍｖｘ＿ＣはブロックＡ，Ｂ，Ｃそれぞれの水平成分の動きベクトル、ｍｖｙ＿Ａ，ｍｖｙ＿Ｂ，ｍｖｙ＿ＣはブロックＡ，Ｂ，Ｃそれぞれの垂直成分の動きベクトルである。
　符号化制御部１１３は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択する。
　さらに、符号化制御部１１３は、選択した予測信号にて画像が予測されるようにスイッチ１００を制御し、また、選択された予測信号に関連する情報をエントロピー符号化部１０４に供給する。選択された予測信号に関連する情報は、イントラ予測信号を選択した場合には、イントラ予測モードとイントラ予測方向であり、フレーム間予測信号を選択した場合には、インター予測モード、インター予測方向、および（動きベクトルと空間軸予測動きベクトルとの）差分動きベクトルである。
　続いて、符号化制御部１１３は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４のブロックサイズがあり、入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、周波数変換部１０２およびエントロピー符号化部１０４に供給される。
　以下、選択された予測信号に関連する情報および選択された整数ＤＣＴの基底サイズに関する情報を補助情報という。
　また、符号化制御部１１３は、目標ビット数でピクチャを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視し、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大とする量子化パラメータを供給し、逆に、出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小とする量子化パラメータを供給する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。
　周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。周波数領域に変換された予測誤差を変換係数という。周波数変換には、ＤＣＴ（Discrete Cosine Transform ）やアダマール変換などの直交変換を利用できる。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。
　量子化部１０３は、符号化制御部１１３から供給される量子化パラメータに対応する量子化ステップサイズで、変換係数を量子化する。なお、量子化された変換係数の量子化インデックスはレベルとも呼ばれる。エントロピー符号化部１０４は、補助情報と量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームを出力する。
　逆量子化部１０５および逆変換部１０６は、以降の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。以下、元の空間領域に戻された予測誤差画像ブロックを再構築予測誤差画像ブロックという。
　ピクチャバッファ１０７は、現在のピクチャに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号を加えた再構築画像ブロックを格納する。以下、再構築画像ブロックによって構成されるピクチャを再構築ピクチャという。また、ピクチャバッファ１０７は、再構築画像ブロックに関連する補助情報も格納する。
　ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築ピクチャのブロック歪みを除去する。
　デコードピクチャバッファ１０９は、ブロック歪み除去フィルタ１０８から供給されるブロック歪みが除去された再構築ピクチャを参照ピクチャとして格納する。また、デコードピクチャバッファ１０９は、ブロック歪みが除去された再構築画像ブロックに関連する補助情報も格納する。
　図１１に示された映像符号化装置は、以上のような処理によって、ビットストリームを生成する。
国際公開第２００７／０７４５４３号
ＩＳＯ／ＩＥＣ　14496-10 Advanced Video Coding X. LI, D. ZHAO, W. GAO, Q. HUANG, S. MA, and Y. LU，"New Bi-Prediction Techniques for B Pictures coding"，IEEE ICME2004 ， pp101-104 ，2004年 6月 B. M. JEON and H. S. PANG ，"Advanced temporal direct mode in B pictures,"，IEEE Electronics Letters，vol.40，No.4，2004年 2月
　一般的な映像符号化技術において、Ｂピクチャの時間ダイレクトモード（Temporal DIRECT mode）の符号化では、ピクチャ間の動きベクトルに一貫性があることを仮定した時間軸動きベクトル予測が採用されている。
　時間軸動きベクトル予測においては、図１７に示すように、符号化対象ブロック（Current block ）に時間軸で隣接する表示順で未来の１枚の参照ピクチャのブロック（Collocated block）の動きベクトルＭＶbaseを用いる。
　Collocated blockの動きベクトルＭＶcol を、符号化対象ブロックの符号化対象ピクチャ（ｐｉｃ（ｔ））とCollocated blockの参照ピクチャ（ｐｉｃ（ｔ＋１））の時間差ｔｂおよびCollocated blockの参照ピクチャ（ｐｉｃ（ｔ＋１））とCollocated blockの動きベクトルが参照する参照ピクチャ（ｐｉｃ（ｔ－１））の時間差ｔｄに基づいて内挿することに基づいて、以下の式（３）と式（４）で、前方向と後方向の予測動きベクトルＴＰＭＶL0およびＴＰＭＶL1をそれぞれ計算する（図１８参照）。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　非特許文献１では、時間軸動きベクトル予測を後方向予測のフレーム間予測に適用し、後方向予測の動きベクトルから前方向予測の動きベクトルを生成するSymmetric Modeが提案されている。非特許文献２および非特許文献３では、Collocated blockの動きベクトルを利用できない場合（つまり、Collocated blockがイントラＭＢモードである場合）、時間軸動きベクトル予測を禁止し、代わりに、空間軸動きベクトル予測を利用する技術が提案されている。特許文献１では、Collocated blockの動きベクトルを利用できない場合（つまり、イントラＭＢモードである場合）、時間方向に隣接する別の１枚の参照ピクチャの動きベクトルを外挿して時間軸予測動きベクトルを計算する技術が提案されている。
　しかし、非特許文献および特許文献に記載された技術は、ピクチャ間の動きベクトルに一貫性があることを仮定する。ゆえに、ピクチャ間の動きベクトルに変化がある場合に、適切な時間軸動きベクトル予測ができない。その結果、例えば、加速度の存在に起因してピクチャ間の動きベクトルに変化がある場合に、非特許文献および特許文献に記載された技術では、動きベクトル予測の精度が低下し、効率的に映像を圧縮できない課題がある。
　そこで、本発明は、加速度の存在などに起因してピクチャ間の動きベクトルに変化が存在するシーンにおいても動きベクトル予測の精度を低下させることなく効率的に映像を圧縮できる映像符号化装置および映像復号装置を提供することを目的とする。
　本発明による映像符号化装置は、符号化対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、符号化対象画像の予測動きベクトルを計算する予測動きベクトル計算手段を備えたことを特徴とする。
　本発明による映像復号装置は、復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、復号対象画像の予測動きベクトルを計算する予測動きベクトル計算手段を備えたことを特徴とする。
　本発明による映像符号化方法は、映像符号化装置で実行される映像符号化方法であって、符号化対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、符号化対象画像の予測動きベクトルを計算することを特徴とする。
　本発明による映像復号方法は、映像復号装置で実行される映像復号方法であって、復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、復号対象画像の予測動きベクトルを計算することを特徴とする。
　本発明による映像符号化プログラムは、コンピュータに、符号化対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、符号化対象画像の予測動きベクトルを計算させることを特徴とする。
　本発明による映像復号プログラムは、コンピュータに、復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、復号対象画像の予測動きベクトルを計算させることを特徴とする。
　本発明によれば、加速度の存在などに起因してピクチャ間の動きベクトルに変化が存在するシーンにおいても、動きベクトル予測の精度を低下させることなく効率的に映像を圧縮できる。
第１の実施形態の映像符号化装置のブロック図である。 動きベクトル予測部による符号化対象画像の前後２枚の参照ピクチャの読み込み動作を示す説明図である。 符号化対象画像の前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた動きベクトルＭＶbaseを示す説明図である。 符号化対象画像の動きベクトルＭＶbaseに基づいた時間軸予測動きベクトルＴＰＭＶL0とＴＰＭＶL1とを示す説明図である。 第２の実施形態の映像復号装置のブロック図である。 本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要構成を示すブロック図である。 本発明による映像復号装置の主要構成を示すブロック図である。 本発明による映像符号化装置の処理を示すフローチャートである。 本発明による映像復号装置の処理を示すフローチャートである。 一般的な映像符号化装置の構成を示すブロック図である。 ブロック分割の例を示す説明図である。 Intra_４×４及びIntra_８×８のイントラ予測を説明するための説明図である。 Intra_１６×１６のイントラ予測を説明するための説明図である。 １６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。 処理対象画像ブロックに画面内で隣接する画像ブロックを示す説明図である。 従来技術における動きベクトルＭＶbaseを示す説明図である。 従来技術における時間軸予測動きベクトルＴＰＭＶL0とＴＰＭＶL1とを示す説明図である。
実施形態１．
　本実施形態の映像符号化装置は、符号化対象画像の前後２枚の参照ピクチャの動きベクトルの特徴として、符号化対象画像の前後２枚の参照ピクチャの動きベクトルのノルムに基づいてピクチャ間における動きベクトルの変化を検出し、さらに、前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいて動きベクトルの変化を補償して、予測動きベクトルを生成する手段を備える。
　図１は、本発明の第１の実施形態の映像符号化装置を示すブロック図である。図１に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、動きベクトル予測部１１２、符号化制御部１１３およびスイッチ１００を備える。
　本実施形態の映像符号化装置は、図１１に示された一般的な映像符号化装置と比較すると、動きベクトル予測部１１２が、ピクチャバッファ１０７に格納された再構築ピクチャだけでなく、デコードピクチャバッファ１０９に格納された再構築ピクチャの補助情報にもアクセスできる点が特徴となっている。動きベクトル予測部１１２が、符号化対象画像の前後２枚の参照ピクチャの動きベクトルのノルムに基づいてピクチャ間における動きベクトルの変化を検出し、さらに、前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいて動きベクトルの変化を補償する。つまり、動きベクトル予測部１１２は、予測動きベクトルを生成する手段に相当する。よって、以下の説明では、特に、本実施形態の映像符号化装置の特徴である動きベクトル予測部１１２の動作について詳細を述べる。
　ＭＢバッファ１０１は、入力ピクチャの符号化対象ＭＢの画素値を格納する。
　ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
　イントラ予測部１１０は、現在のピクチャと表示時刻が同一である、ピクチャバッファ１０７に格納された再構築ピクチャの画像を参照画像として利用してイントラ予測信号を生成する。
　フレーム間予測部１１１は、現在のピクチャと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照ピクチャの画像を参照画像として利用してフレーム間予測信号を生成する。
　動きベクトル予測部１１２は、Ｐピクチャについては、一般的な映像符号化技術と同様に、空間軸予測動きベクトルＳＰＭＶ＝（ｓｐｍｖｘ，ｓｐｍｖｙ）を生成し、符号化制御部１１３に予測動きベクトルとして供給する。
　動きベクトル予測部１１２は、Ｂピクチャについては、一般的な映像符号化技術とは異なる動作をする。Ｂピクチャについての本実施形態の動きベクトル予測部１１２の動作詳細について説明する。
　動きベクトル予測部１１２は、まず、デコードピクチャバッファ２０６から、符号化対象画像の前後２枚の参照ピクチャ（ｐｉｃ（ｔ－１）とｐｉｃ（ｔ＋１））のブロック（Collocated block L0 とCollocated block L1 ）からそれぞれの動きベクトル（ＭＶbaseL0およびＭＶbaseL1）を読み込む（図２参照）。
　続いて、動きベクトル予測部１１２は、前後２枚の参照ピクチャの動きベクトルそれぞれの参照ピクチャ間距離（ｔｄL0およびｔｄL1）で正規化した正規化動きベクトルＮＭＶbaseL0およびＮＭＶbaseL1の差分のノルムＤＮＭＶ_norm を所定閾値ｔｈ_norm と比較する。正規化動きベクトルＮＭＶbaseL0およびＮＭＶbaseL1とノルムＤＮＭＶ_norm は定式的には以下の式（５），（６），（７）で表現される。
　ＮＭＶbaseL0＝ＭＶbaseL0／ｔｄL0　　　　　　　　　　　・・・（５）
　ＮＭＶbaseL1＝ＭＶbaseL1／ｔｄL1　　　　　　　　　　　・・・（６）
　ＤＮＭＶ_norm ＝∥ＮＭＶbaseL0－ＮＭＶbaseL1∥　　　　・・・（７）
　ただし、∥Ｘ∥はベクトルＸのＬ１ノルムを計算する関数であるとする。なお、Ｌ１ノルムの代わりに、Ｌ２ノルム、または各成分の絶対値差分の最大値などを利用してもよい。
　動きベクトル予測部１１２は、ノルムＤＮＭＶ_norm が所定閾値ｔｈ_norm よりも大きい場合、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間で動きベクトルの加速度が存在しない（つまり、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間に別の要因による動きベクトルの変化がある）と判断して、ＭＶbaseL1のみを利用して、以下の式（８），（９），（１０）で予測動きベクトル（つまり、一般的な映像符号化技術による時間軸予測動きベクトルと同様の時間軸予測動きベクトル）ＴＰＭＶL0およびＴＰＭＶL1を生成して符号化制御部１１３に供給する。
　ＭＶbase＝ＭＶbaseL1　　　　　　　　　　　　　　　　・・・（８）
　ＴＰＭＶL0＝ｔｂ＊ＭＶbase／ｔｄL1　　　　　　　　　・・・（９）
　ＴＰＭＶL1＝（ｔｂ－ｔｄL1）＊ＭＶbase／ｔｄL1　　　　・・・（１０）
　ただし、ＴＰＭＶL0は前方向予測の動きベクトルに対する予測動きベクトル、ＴＰＭＶL1は後方向予測の動きベクトルに対する予測動きベクトルである。
　動きベクトル予測部１１２は、ノルムが所定閾値ｔｈ_norm 以下の場合、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間で動きベクトルの加速度が存在すると判断して、ＭＶbaseL0とＭＶbaseL1の両方を利用して、以下の式（１１），（１２），（１３）で、予測動きベクトル（一般的な映像符号化技術による時間軸予測動きベクトルと異なる、本発明による時間軸予測動きベクトル）ＴＰＭＶL0およびＴＰＭＶL1を生成して符号化制御部１１３に供給する。
　ＭＶbase＝ｔｄL1＊（ＭＶbaseL0／ｔｄL0＋ＭＶbaseL1／ｔｄL1）／２　　　・・・（１１）
　ＴＰＭＶL0＝ｔｂ＊ＭＶbase／ｔｄL1　　　　　　　　・・・（１２）
　ＴＰＭＶL1＝（ｔｂ－ｔｄL1）＊ＭＶbase／ｔｄL1　　　・・・（１３）
　ただし、式（１１）の動きベクトルは、符号化対象画像の前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた動きベクトルである（図３参照）。よって、得られた予測動きベクトルは、符号化対象画像の前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルである（図４参照）。
　本実施形態における時間軸予測動きベクトルは、ＭＶbaseL0とＭＶbaseL1が同じ値の動きベクトルであるときは、一般的な映像符号化技術による時間軸予測動きベクトルと同じである。しかし、ＭＶbaseL0とＭＶbaseL1に加速に起因する差分があるとき、式（１１）と図４から明らかなように、本実施形態における時間軸予測動きベクトルは、加速に起因する動きベクトルの変化が補償された予測動きベクトルとなる。従って、加速度の存在などに起因してピクチャ間の動きベクトルに変化が存在するシーンにおいても、動きベクトル予測部１１２による動きベクトル予測の精度が低下しないため、効率的に映像を圧縮できる。
　以上で、Ｂピクチャにおける本実施形態の動きベクトル予測部１１２の動作詳細についての説明を終了する。
　符号化制御部１１３は、イントラ予測信号およびフレーム間予測信号をそれぞれＭＢバッファ１０１の入力ＭＢと比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択する。
　さらに、符号化制御部１１３は、選択した予測信号にて画像が予測されるようにスイッチ１００を制御し、また、選択された予測信号に関連する情報をエントロピー符号化部１０４に供給する。選択された予測信号に関連する情報は、イントラ予測信号を選択した場合には、イントラ予測モードとイントラ予測方向であり、フレーム間予測信号を選択した場合には、インター予測モード、インター予測方向、および（動きベクトルと空間軸予測動きベクトルとの）差分動きベクトルである。
　続いて、符号化制御部１１３は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４のブロックサイズがあり、入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、周波数変換部１０２およびエントロピー符号化部１０４に供給される。
　以下、選択された予測信号に関連する情報および選択された整数ＤＣＴの基底サイズに関する情報を補助情報という。
　また、符号化制御部１１３は、目標ビット数でピクチャを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視し、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大とする量子化パラメータを供給し、逆に、出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小とする量子化パラメータを供給する。これによって出力ビットストリームは目標のビット数に近づくように符号化される。
　周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。周波数領域に変換された予測誤差を変換係数という。周波数変換には、ＤＣＴやアダマール変換などの直交変換を利用できる。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。
　量子化部１０３は、符号化制御部１１３から供給される量子化パラメータに対応する量子化ステップサイズで、変換係数を量子化する。なお、量子化された変換係数の量子化インデックスはレベルとも呼ばれる。
　エントロピー符号化部１０４は、補助情報と量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームを出力する。
　逆量子化部１０５および逆変換部１０６は、以降の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化し、さらに逆周波数変換して元の空間領域に戻す。以下、元の空間領域に戻された予測誤差画像ブロックを再構築予測誤差画像ブロックという。
　ピクチャバッファ１０７は、現在のピクチャに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号を加えた再構築画像ブロックを格納する。以下、再構築画像ブロックによって構成されるピクチャを再構築ピクチャと呼ぶ。また、ピクチャバッファ１０７は、再構築画像ブロックに関連する補助情報も格納する。
　ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築ピクチャのブロック歪みを除去する。
　デコードピクチャバッファ１０９は、ブロック歪み除去フィルタ１０８から供給されるブロック歪みが除去された再構築ピクチャを参照ピクチャとして格納する。また、デコードピクチャバッファ１０９は、ブロック歪みが除去された再構築画像ブロックに関連する補助情報も格納する。
　上述した動作に基づいて、本実施形態の映像符号化装置はビットストリームを生成する。
実施形態２．
　本実施形態の映像復号装置は、復号対象画像の前後２枚の参照ピクチャの動きベクトルの特徴としてのノルムに基づいてピクチャ間における動きベクトルの変化を検出し、さらに、前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいて動きベクトルの変化を補償して、予測動きベクトルを生成する手段を備える。
　図５は、本発明の第２の実施形態の映像復号装置を示すブロック図である。図５に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、動きベクトル予測部２０９、復号制御部２１０およびスイッチ２００を備える。
　エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックスを得る。
　復号制御部２１０は、予測信号として、イントラ予測信号またはフレーム間予測信号を供給する準備をする。
　動きベクトル予測部２０９は、復号制御部２１０がフレーム間予測信号を供給する準備をした場合、実施形態１における動きベクトル予測部１１２と同様に、予測動きベクトルを計算してフレーム間予測部２０８に供給する。
　イントラ予測部２０７は、イントラＭＢに対して、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像から、復号制御部２１０を介して供給されるエントロピー復号したイントラ予測モードとイントラ予測方向に基づいて、イントラ予測信号を生成する。
　フレーム間予測部２０８は、インターＭＢに対して、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像から、復号制御部２１０を介して供給されるエントロピー復号したインター予測モード、インター予測方向、および差分動きベクトル、そして、動きベクトル予測部２０９から供給される予測動きベクトルに基づいて、フレーム間予測信号を生成する。
　復号制御部２１０は、エントロピー復号した予測信号に関連する情報（イントラＭＢまたはインターＭＢ）に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号によって画像を予測させる。
　逆量子化部２０２および逆変換部２０３は、エントロピー復号部２０１から供給される量子化インデックスを逆量子化し、さらに逆周波数変換して元の空間領域（再構築予測誤差画像ブロック）に戻す。
　ピクチャバッファ２０４は、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックにスイッチ２００を介して供給される予測信号を加えた、再構築画像ブロックを格納する。
　ブロック歪み除去フィルタ部２０５は、ピクチャバッファ２０４に格納された再構築画像ピクチャのブロック歪みの除去を行う。
　デコードピクチャバッファ２０６は、ブロック歪み除去フィルタ部２０５でブロック歪みが除去された再構築画像ピクチャを参照ピクチャとして格納する。参照画像ピクチャは、適切な表示タイミングにて伸張フレームとして出力される。
　上述した動作に基づいて、本実施形態の映像復号装置は、ビットストリームを伸張する。
実施形態３．
　上述した実施形態１および実施形態２では、符号化対象画像または復号対象画像の前後２枚の参照ピクチャの動きベクトルの特徴として、前後２枚の参照ピクチャの動きベクトルのノルムに基づいてピクチャ間における動きベクトルの変化を検出し、さらに、前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいて動きベクトルの変化を補償して予測動きベクトルを生成する動きベクトル予測部を備える映像符号化装置と映像復号装置を示した。
　他の実施形態として、画面内で隣接する画像の動きベクトルに基づいた予測動きベクトルを生成する実施形態も考えられる。
　すなわち、符号化対象画像または復号対象画像の前後２枚の参照ピクチャの動きベクトルのノルムに基づいてピクチャ間における動きベクトルの変化を検出し、さらに、画面内で隣接する画像の動きベクトルに基づいて動きベクトルの変化を補償して予測動きベクトルを生成する動きベクトル予測部（動きベクトル予測部１１２および動きベクトル予測部２０９）を利用する実施形態も考えられる。
　そのような実施形態における、Ｂピクチャでの動きベクトル予測部の動作を以下に説明する。
　動きベクトル予測部は、まず、デコードピクチャバッファ１０９またはデコードピクチャバッファ２０６に格納された前後２枚の参照ピクチャ（ｐｉｃ（ｔ－１）とｐｉｃ（ｔ＋１））のブロック（Collocated block L0 とCollocated block L1 ）からそれぞれの動きベクトル（ＭＶbaseL0およびＭＶbaseL1）を読み込む。
　続いて、動きベクトル予測部は、Collocated block L1 の動きベクトルＭＶbaseL1が指す参照ピクチャが、Collocated block L0 が属する参照ピクチャか否かを判断する。Collocated block L1 の動きベクトルＭＶbaseL1が指す参照ピクチャが、Collocated block L0 が属する参照ピクチャでない場合には、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間で動きベクトルの大きな変化があると判断し、以下の式（１４），（１５）で、画面内で隣接する画像ブロックＡ，Ｂ，Ｃ（図１６参照）の動きベクトルに基づいて予測動きベクトル（空間軸予測動きベクトル）ＳＰＭＶ＝（ｓｐｍｖｘ，ｓｐｍｖｙ）を生成する。
　ｓｐｍｖｘ＝Median（ｍｖｘ＿Ａ，ｍｖｘ＿Ｂ，ｍｖｘ＿Ｃ）　　　・・・（１４）
　ｓｐｍｖｙ＝Median（ｍｖｙ＿Ａ，ｍｖｙ＿Ｂ，ｍｖｙ＿Ｃ）　　　・・・（１５）
　参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間で動きベクトルの大きな変化があると判断した場合には、時間軸予測動きベクトルよりも、空間軸予測動きベクトルを利用することで、動きベクトルの予測の精度が改善する。具体的には、画面内で隣接する画像の動きベクトルに基づいて参照ピクチャ間での動きベクトルの大きな変化を補償して予測動きベクトルを生成することにより動きベクトルの予測の精度を改善する。
　Collocated block L1 の動きベクトルＭＶbaseL1が指す参照ピクチャが、Collocated block L0 が属する参照ピクチャである場合、さらに、動きベクトル予測部は、前後２枚の参照ピクチャの動きベクトルそれぞれの参照ピクチャ間距離（ｔｄL0およびｔｄL1）で正規化した正規化動きベクトルＮＭＶbaseL0およびＮＭＶbaseL1の差分のノルムＤＮＭＶ_norm を所定閾値ｔｈ_norm と比較する。正規化動きベクトルＮＭＶbaseL0およびＮＭＶbaseL1と、ノルムＤＮＭＶ_norm は定式的には以下の式（１６），（１７），（１８）で表現される。
　ＮＭＶbaseL0＝ＭＶbaseL0／ｔｄL0　　　・・・（１６）
　ＮＭＶbaseL1＝ＭＶbaseL1／ｔｄL1　　　・・・（１７）
　ＤＮＭＶ_norm ＝||ＮＭＶbaseL0－ＮＭＶbaseL1||　　　・・・（１８）
　ただし、∥Ｘ∥はベクトルＸのＬ１ノルムを計算する関数であるとする。なお、Ｌ１ノルムの代わりに、Ｌ２ノルム、または、各成分の絶対値差分の最大値などを利用してもよい。
　動きベクトル予測部は、ノルムＤＮＭＶ_norm が所定閾値ｔｈ_norm よりも大きい場合、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間で動きベクトルの加速度が存在しない（つまり、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間に別の要因による動きベクトルの変化がある）と判断して、ＭＶbaseL1のみを利用して、以下の式（１９），（２０）,（２１）で予測動きベクトル（つまり、一般的な映像符号化技術による時間軸予測動きベクトルと技術と同様の時間軸予測動きベクトル）ＴＰＭＶL0およびＴＰＭＶL1を生成して符号化制御部１１３または復号制御部２１０に供給する。
　ＭＶbase＝ＭＶbaseL1　　　　　　　　　　　　　　　・・・（１９）
　ＴＰＭＶL0＝ｔｂ＊ＭＶbase／ｔｄL1　　　　　　　　・・・（２０）
　ＴＰＭＶL1＝（ｔｂ－ｔｄL1）＊ＭＶbase／ｔｄL1　　　・・・（２１）
　ノルムが所定閾値以下の場合、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間で動きベクトルの加速度が存在すると判断して、ＭＶbaseL0とＭＶbaseL1の両方を利用して、以下の式（２２），（２３）,（２４）で予測動きベクトル（一般的な映像符号化技術による時間軸予測動きベクトルとは異なる、本発明による時間軸予測動きベクトル）ＴＰＭＶL0およびＴＰＭＶL1を生成して符号化制御部１１３または復号制御部２１０に供給する。
　ＭＶbase＝ｔｄL1＊（ＭＶbaseL0／ｔｄL0＋ＭＶbaseL1／ｔｄL1）／２　　・・・（２２）
　ＴＰＭＶL0＝ｔｂ＊ＭＶbase／ｔｄL1　　　　　　　　・・・（２３）
　ＴＰＭＶL1＝（ｔｂ－ｔｄL1）＊ＭＶbase／ｔｄL1　　　・・・（２４）
　ただし、式（２２）の動きベクトルは前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた動きベクトルである（図３参照）。よって、得られた予測動きベクトルは、前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルである（図４参照）。
実施形態４．
　符号化対象画像または復号対象画像の前後２枚の参照ピクチャの動きベクトルの特徴として、ノルムの代わりに、内積または外積を利用して、ピクチャ間における動きベクトルの変化を検出する動きベクトル予測装置（動きベクトル予測部１１２および動きベクトル予測部２０９）を利用する実施形態も考えられる。
　内積を利用することによって、例えば、前後２枚の参照ピクチャの動きベクトルのなす角度θが得られる。角度θが所定閾値ｔｈ_thetaよりも大きな場合、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間に動きベクトルの加速度が存在しない（つまり、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間に別の要因による動きベクトルの変化がある）と判断できる。
　外積を利用することによって、例えば、前後２枚の参照ピクチャの動きベクトルが平行であるか否かを判定できる。前後２枚の参照ピクチャの動きベクトルが平行（つまり、外積がゼロ）で、かつ、それぞれの向きが同じであれば、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間に動きベクトルの加速度が存在すると判断できる。
　また、ノルムと内積の組み合わせを利用することによって、ピクチャ間における動きベクトルの変化を検出する動きベクトル予測装置を利用する実施形態も考えられる。
　具体的には、前後２枚の参照ピクチャの動きベクトルのノルムが非ゼロ、かつ、それぞれの動きベクトルのなす角度θが所定値ｔｈ_thetaよりも小さい場合、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間に動きベクトルの加速度が存在すると判断できる。
　また、ノルムと外積の組み合わせを利用することによって、ピクチャ間における動きベクトルの変化を検出する動きベクトル予測装置を利用する実施形態も考えられる。
　具体的には、前後２枚の参照ピクチャの動きベクトルのノルムが非ゼロ、かつ、それぞれの動きベクトルの外積がゼロの場合、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間に動きベクトルの加速度が存在すると判断できる。
　さらに、ノルム、内積、および外積の組み合わせを利用することによって、ピクチャ間における動きベクトルの変化を検出する動きベクトル予測装置を利用する実施形態も考えられる。
　具体的には、前後２枚の参照ピクチャの動きベクトルのノルムが非ゼロ、内積が０よりも大きな値、かつ、外積がゼロの場合、参照ピクチャｐｉｃ（ｔ－１）と参照ピクチャｐｉｃ（ｔ＋１）との間に動きベクトルの加速度が存在すると判断できる。
　なお、本実施形態の考え方を、第１の実施形態および第２の実施形態に適用してもよいし、第３の実施形態に適用してもよい。
　上記の各実施形態では、映像符号化装置および映像復号装置は、符号化対象画像または復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいてピクチャ間の動きベクトルの変化を検出および補償する手段を備える。具体的には、一実施形態の映像符号化装置および映像復号装置は、前後２枚の参照ピクチャの動きベクトルの内積、外積、およびノルムのいずれか１つ以上に基づいてピクチャ間における動きベクトルの変化を検出する手段と、前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいて動きベクトルの変化を補償する予測動きベクトルの生成手段を備える。また、別の実施形態の映像符号化装置および映像復号装置は、前後２枚の参照ピクチャの動きベクトルの内積、外積、およびノルムのいずれか１つ以上に基づいてピクチャ間における動きベクトルの変化を検出する手段と、画面内で隣接する画像の動きベクトルに基づいて動きベクトルの変化を補償する予測動きベクトルの生成手段を備える。
　なお、本発明と特許文献１に記載された発明とでは、前後２枚の参照ピクチャの動きベクトルを用いるという点では類似しているが、本発明では、前後２枚の参照ピクチャの動きベクトル、またはピクチャ内隣接ブロックの動きベクトルに基づいて動きベクトルの変化が補償された予測動きベクトルを計算するという点で大きく異なる。本発明では、この違いによって、加速度に起因する動きベクトルの変化が補償された予測動きベクトルを生成できる。
　また、本発明において、時間方向に隣接する参照ピクチャの動きベクトルの有無（イントラＭＢモードであるか否か）といった単純な基準ではなく、前後２枚の参照ピクチャの動きベクトルの内積、外積およびノルムのいずれか１つ以上の基準を利用してピクチャ間における動きベクトルの変化を検出する点も、進歩性を示すものである。
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図６に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図６に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図５のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図５のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
　図７は、本発明による映像符号化装置の主要構成を示すブロック図である。図７に示すように、本発明による映像符号化装置は、符号化対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、符号化対象画像の予測動きベクトルを計算する予測動きベクトル計算手段１１（第１の実施形態では、動きベクトル予測部１１２で実現される）を備える。
　予測動きベクトル計算手段１１は、例えば、前後２枚の参照ピクチャの動きベクトルの特徴量が所定値を満たすときに前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算し、前後２枚の参照ピクチャの動きベクトルの特徴量が所定値を満たさないときに符号化対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算する。
　予測動きベクトル計算手段１１が使用する前後２枚の参照ピクチャの動きベクトルの特徴量は、例えば、前後２枚の参照ピクチャの動きベクトルの内積、外積およびノルムのいずれか一つ以上を含む。
　図８は、本発明による映像復号装置の主要構成を示すブロック図である。図８に示すように、本発明による映像復号装置は、復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、復号対象画像の予測動きベクトルを計算する予測動きベクトル計算手段２１（第２の実施形態では、動きベクトル予測部２０９で実現される）を備える。
　予測動きベクトル計算手段２１は、例えば、復号対象画像の予測動きベクトルとして、前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算する。
　予測動きベクトル計算手段２１が使用する前後２枚の参照ピクチャの動きベクトルの特徴量は、例えば、前後２枚の参照ピクチャの動きベクトルの内積、外積およびノルムのいずれか一つ以上を含む。
　図９は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図９に示すように、本発明による映像符号化方法は、符号化対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、符号化対象画像の予測動きベクトルを計算するステップ（ステップＳ１１）を含む。
　図１０は、本発明による映像復号方法の主要ステップを示すフローチャートである。図１０に示すように、本発明による映像復号方法は、復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、復号対象画像の予測動きベクトルを計算するステップ（ステップＳ２１）を含む。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００９年１２月７日に出願された日本特許出願２００９－２７７９５２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１　　　予測動きベクトル計算手段
　２１　　　予測動きベクトル計算手段
　１００　　スイッチ
　１０１　　ＭＢバッファ
　１０２　　周波数変換部
　１０３　　量子化部
　１０４　　エントロピー符号化部
　１０５　　逆量子化部
　１０６　　逆周波数変換部
　１０７　　ピクチャバッファ
　１０８　　ブロック歪み除去フィルタ部
　１０９　　デコードピクチャバッファ
　１１０　　イントラ予測部
　１１１　　フレーム間予測部
　１１２　　動きベクトル予測部
　１１３　　符号化制御部
　２００　　スイッチ
　２０１　　エントロピー復号部
　２０２　　逆量子化部
　２０３　　逆周波数変換部
　２０４　　ピクチャバッファ
　２０５　　ブロック歪み除去フィルタ部
　２０６　　デコードピクチャバッファ
　２０７　　イントラ予測部
　２０８　　フレーム間予測部
　２０９　　動きベクトル予測部
　２１０　　復号制御部
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　記憶媒体
　１００４　記憶媒体

Claims (30)

  1. 　符号化対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、前記符号化対象画像の予測動きベクトルを計算する予測動きベクトル計算手段を備える映像符号化装置。
  2. 　前記予測動きベクトル計算手段は、前記符号化対象画像の予測動きベクトルとして、前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算する
    　請求項１記載の映像符号化装置。
  3. 　前記予測動きベクトル計算手段は、前記符号化対象画像の予測動きベクトルとして、前記符号化対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算する
    　請求項１記載の映像符号化装置。
  4. 　前記予測動きベクトル計算手段は、前記前後２枚の参照ピクチャの動きベクトルの特徴量が所定値を満たすときに前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算し、前記所定値を満たさないときに前記符号化対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算する
    　請求項１記載の映像符号化装置。
  5. 　前記前後２枚の参照ピクチャの動きベクトルの特徴量は、前記前後２枚の参照ピクチャの動きベクトルの内積、外積およびノルムのいずれか一つ以上を含む
    　請求項４記載の映像符号化装置。
  6. 　復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、前記復号対象画像の予測動きベクトルを計算する予測動きベクトル計算手段を備える映像復号装置。
  7. 　前記予測動きベクトル計算手段は、前記復号対象画像の予測動きベクトルとして、前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算する
    　請求項６記載の映像復号装置。
  8. 　前記予測動きベクトル計算手段は、前記復号対象画像の予測動きベクトルとして、前記復号対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算する
    　請求項６記載の映像復号装置。
  9. 　前記予測動きベクトル計算手段は、前記前後２枚の参照ピクチャの動きベクトルの特徴量が所定値を満たすときに前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算し、前記所定値を満たさないときに前記復号対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算する
    　請求項６記載の映像復号装置。
  10. 　前記前後２枚の参照ピクチャの動きベクトルの特徴量は、前記前後２枚の参照ピクチャの動きベクトルの内積、外積およびノルムのいずれか一つ以上を含む
    　請求項９記載の映像復号装置。
  11. 　映像符号化装置で実行される映像符号化方法であって、
    　符号化対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、前記符号化対象画像の予測動きベクトルを計算する映像符号化方法。
  12. 　前記符号化対象画像の予測動きベクトルとして、前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算する
    　請求項１１記載の映像符号化方法。
  13. 　前記符号化対象画像の予測動きベクトルとして、前記符号化対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算する
    　請求項１１記載の映像符号化方法。
  14. 　前記前後２枚の参照ピクチャの動きベクトルの特徴量が所定値を満たすときに前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算し、前記所定値を満たさないときに前記符号化対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算する
    　請求項１１記載の映像符号化方法。
  15. 　前記前後２枚の参照ピクチャの動きベクトルの特徴量として、前記前後２枚の参照ピクチャの動きベクトルの内積、外積およびノルムのいずれか一つ以上を使用する
    　請求項１４記載の映像符号化方法。
  16. 　映像復号装置で実行される映像復号方法であって、
    　復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、前記復号対象画像の予測動きベクトルを計算する映像復号方法。
  17. 　前記復号対象画像の予測動きベクトルとして、前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算する
    　請求項１６記載の映像復号方法。
  18. 　前記復号対象画像の予測動きベクトルとして、前記復号対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算する
    　請求項１６記載の映像復号方法。
  19. 　前記前後２枚の参照ピクチャの動きベクトルの特徴量が所定値を満たすときに前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算し、前記所定値を満たさないときに前記復号対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算する
    　請求項１６記載の映像復号方法。
  20. 　前記前後２枚の参照ピクチャの動きベクトルの特徴量として、前記前後２枚の参照ピクチャの動きベクトルの内積、外積およびノルムのいずれか一つ以上を使用する
    　請求項１９記載の映像復号方法。
  21. 　コンピュータに、符号化対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、前記符号化対象画像の予測動きベクトルを計算させるための映像符号化プログラム。
  22. 　コンピュータに、前記符号化対象画像の予測動きベクトルとして、前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算させる
    　請求項２１記載の映像符号化プログラム。
  23. 　コンピュータに、前記符号化対象画像の予測動きベクトルとして、前記符号化対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算させる
    　請求項２１記載の映像符号化プログラム。
  24. 　コンピュータに、前記前後２枚の参照ピクチャの動きベクトルの特徴量が所定値を満たすときに前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算させ、前記所定値を満たさないときに前記符号化対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算させる
    　請求項２１記載の映像符号化プログラム。
  25. 　コンピュータに、前記前後２枚の参照ピクチャの動きベクトルの特徴量として、前記前後２枚の参照ピクチャの動きベクトルの内積、外積およびノルムのいずれか一つ以上を使用させる
    　請求項２４記載の映像符号化プログラム。
  26. 　コンピュータに、復号対象画像の前後２枚の参照ピクチャの動きベクトルに基づいて、前記復号対象画像の予測動きベクトルを計算させるための映像復号プログラム。
  27. 　コンピュータに、前記復号対象画像の予測動きベクトルとして、前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算させる
    　請求項２６記載の映像復号プログラム。
  28. 　コンピュータに、前記復号対象画像の予測動きベクトルとして、前記復号対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算させる
    　請求項２６記載の映像復号プログラム。
  29. 　コンピュータに、前記前後２枚の参照ピクチャの動きベクトルの特徴量が所定値を満たすときに前記前後２枚の参照ピクチャの動きベクトルの重み付け和に基づいた時間軸予測動きベクトルを計算させ、前記所定値を満たさない時に前記復号対象画像に画面内で隣接する画像の動きベクトルに基づいた空間軸予測動きベクトルを計算させる
    　請求項２６記載の映像復号プログラム。
  30. 　コンピュータに、前記前後２枚の参照ピクチャの動きベクトルの特徴量として、前記前後２枚の参照ピクチャの動きベクトルの内積、外積およびノルムのいずれか一つ以上を使用させる
    　請求項２９記載の映像復号プログラム。
PCT/JP2010/006732 2009-12-07 2010-11-17 映像符号化装置および映像復号装置 WO2011070730A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009277952 2009-12-07
JP2009-277952 2009-12-07

Publications (1)

Publication Number Publication Date
WO2011070730A1 true WO2011070730A1 (ja) 2011-06-16

Family

ID=44145295

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006732 WO2011070730A1 (ja) 2009-12-07 2010-11-17 映像符号化装置および映像復号装置

Country Status (1)

Country Link
WO (1) WO2011070730A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2500909A (en) * 2012-04-04 2013-10-09 Snell Ltd Selecting motion vectors on the basis of acceleration
JP2015507904A (ja) * 2012-01-18 2015-03-12 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 映像復号化装置
JP2015228693A (ja) * 2015-08-04 2015-12-17 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
JP2018520558A (ja) * 2015-05-15 2018-07-26 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 動画像符号化方法、動画像復号化方法、符号化装置および復号化装置
US10523967B2 (en) 2011-09-09 2019-12-31 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298270A (ja) * 1994-04-26 1995-11-10 Matsushita Electric Ind Co Ltd 動き補償フレーム間予測符号化装置
JPH1093976A (ja) * 1996-09-17 1998-04-10 Sony Corp 動き検出装置
JPH10224800A (ja) * 1997-02-07 1998-08-21 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および復号化方法
JP2004129191A (ja) * 2002-10-04 2004-04-22 Lg Electronics Inc Ｂピクチャのダイレクトモード動きベクトル演算方法
JP2007124614A (ja) * 2005-09-27 2007-05-17 Sanyo Electric Co Ltd 符号化方法
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298270A (ja) * 1994-04-26 1995-11-10 Matsushita Electric Ind Co Ltd 動き補償フレーム間予測符号化装置
JPH1093976A (ja) * 1996-09-17 1998-04-10 Sony Corp 動き検出装置
JPH10224800A (ja) * 1997-02-07 1998-08-21 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および復号化方法
JP2004129191A (ja) * 2002-10-04 2004-04-22 Lg Electronics Inc Ｂピクチャのダイレクトモード動きベクトル演算方法
JP2007124614A (ja) * 2005-09-27 2007-05-17 Sanyo Electric Co Ltd 符号化方法
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"IEEE International Conference on Image Processing, 2005. ICIP 2005.", vol. 2, 11 September 2005, article JIALI ZHENG ET AL.: "Extended Direct Mode for Hierarchical B Picture Coding", XP010851379 *
"ITU- Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) 29th Meeting: Klagenfurt, Austria, 17-18 July, 2006, Document VCEG-AC06, ITU-T", 17 July 2006, article JOEL JUNG ET AL.: "Competition-Based Scheme for Motion Vector Selection and Coding" *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805639B2 (en) 2011-09-09 2020-10-13 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
US10523967B2 (en) 2011-09-09 2019-12-31 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
US11089333B2 (en) 2011-09-09 2021-08-10 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
US9374595B2 (en) 2012-01-18 2016-06-21 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9621913B2 (en) 2012-01-18 2017-04-11 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9621912B2 (en) 2012-01-18 2017-04-11 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9635379B2 (en) 2012-01-18 2017-04-25 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9635380B2 (en) 2012-01-18 2017-04-25 Electronics And Telecommunications Research Institute Method and device for generating a prediction block to encode and decode an image
US9807412B2 (en) 2012-01-18 2017-10-31 Electronics And Telecommunications Research Institute Method and device for encoding and decoding image
US11706438B2 (en) 2012-01-18 2023-07-18 Electronics And Telecommunications Research Institute Method and device for encoding and decoding image
US10397598B2 (en) 2012-01-18 2019-08-27 Electronics And Telecommunications Research Institue Method and device for encoding and decoding image
JP2015507904A (ja) * 2012-01-18 2015-03-12 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 映像復号化装置
GB2500909A (en) * 2012-04-04 2013-10-09 Snell Ltd Selecting motion vectors on the basis of acceleration
US10390036B2 (en) 2015-05-15 2019-08-20 Huawei Technologies Co., Ltd. Adaptive affine motion compensation unit determing in video picture coding method, video picture decoding method, coding device, and decoding device
JP2020174373A (ja) * 2015-05-15 2020-10-22 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 動画像符号化方法、動画像復号化方法、符号化装置および復号化装置
US10887618B2 (en) 2015-05-15 2021-01-05 Huawei Technologies Co., Ltd. Adaptive affine motion compensation unit determining in video picture coding method, video picture decoding method, coding device, and decoding device
JP2018520558A (ja) * 2015-05-15 2018-07-26 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 動画像符号化方法、動画像復号化方法、符号化装置および復号化装置
JP2022010251A (ja) * 2015-05-15 2022-01-14 華為技術有限公司 動画像符号化方法、動画像復号化方法、符号化装置および復号化装置
US11490115B2 (en) 2015-05-15 2022-11-01 Huawei Technologies Co., Ltd. Adaptive affine motion compensation unit determining in video picture coding method, video picture decoding method, coding device, and decoding device
JP7260620B2 (ja) 2015-05-15 2023-04-18 華為技術有限公司 動画像符号化方法、動画像復号化方法、符号化装置および復号化装置
US11949908B2 (en) 2015-05-15 2024-04-02 Huawei Technologies Co., Ltd. Adaptive affine motion compensation unit determining in video picture coding method, video picture decoding method, coding device, and decoding device
JP2015228693A (ja) * 2015-08-04 2015-12-17 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム

Similar Documents

Publication Publication Date Title
JP7225381B2 (ja) インター予測に基づいて、ビデオ信号を処理するための方法及び装置
KR102635983B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
US8306120B2 (en) Method and apparatus for predicting motion vector using global motion vector, encoder, decoder, and decoding method
US8873633B2 (en) Method and apparatus for video encoding and decoding
JP6215344B2 (ja) 非対称空間解像度を有するテクスチャビューコンポーネントおよび深度ビューコンポーネントの中での内部ビュー動き予測
JP4373702B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
JP4752631B2 (ja) 画像符号化装置、及び画像符号化方法
TW202029748A (zh) 用於多重假設之幀內預測
KR102362840B1 (ko) 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치
TW201349876A (zh) 解碼影像的方法
US11917157B2 (en) Image encoding/decoding method and device for performing PROF, and method for transmitting bitstream
US20220182606A1 (en) Video encoding/decoding method and device for deriving weight index for bidirectional prediction of merge candidate, and method for transmitting bitstream
WO2019069602A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、プログラムおよび映像システム
WO2011070730A1 (ja) 映像符号化装置および映像復号装置
WO2014156648A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
US8699576B2 (en) Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method
JPWO2019069601A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
WO2014006959A1 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP4697802B2 (ja) 動画像予測符号化方法および装置
US20130294510A1 (en) Video encoding device, video decoding device, video encoding method, video decoding method, and program
JP2014192701A (ja) 複数の入力画像をエンコーディングする方法、プログラムおよび装置
JP6646125B2 (ja) 動画像予測復号方法及び動画像予測復号装置
KR20240046574A (ko) 모션 벡터 예측자 정밀도를 암시적으로 지시하기 위한 방법 및 장치
JP2022070176A (ja) 符号化装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10835659

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10835659

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP