WO2013069384A1 - 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム - Google Patents

動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム Download PDF

Info

Publication number
WO2013069384A1
WO2013069384A1 PCT/JP2012/074575 JP2012074575W WO2013069384A1 WO 2013069384 A1 WO2013069384 A1 WO 2013069384A1 JP 2012074575 W JP2012074575 W JP 2012074575W WO 2013069384 A1 WO2013069384 A1 WO 2013069384A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
motion
information
signal
additional information
Prior art date
Application number
PCT/JP2012/074575
Other languages
English (en)
French (fr)
Inventor
鈴木　芳典
ブン　チュンセン
Original Assignee
株式会社エヌ・ティ・ティ・ドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020167014483A priority Critical patent/KR101708732B1/ko
Priority to KR1020157015944A priority patent/KR101628800B1/ko
Priority to EP12848431.8A priority patent/EP2779650B1/en
Priority to KR1020187005449A priority patent/KR101923527B1/ko
Priority to CN201280052624.7A priority patent/CN103891288B/zh
Priority to RU2014123204/08A priority patent/RU2566980C1/ru
Priority to MX2014005287A priority patent/MX2014005287A/es
Priority to KR1020187033699A priority patent/KR102036771B1/ko
Priority to SG11201402036UA priority patent/SG11201402036UA/en
Priority to MX2016003940A priority patent/MX351064B/es
Priority to AU2012337138A priority patent/AU2012337138B2/en
Priority to MX2015007435A priority patent/MX337949B/es
Priority to KR1020177006743A priority patent/KR101833933B1/ko
Priority to KR1020167014485A priority patent/KR101717965B1/ko
Application filed by 株式会社エヌ・ティ・ティ・ドコモ filed Critical 株式会社エヌ・ティ・ティ・ドコモ
Priority to IN4100CHN2014 priority patent/IN2014CN04100A/en
Priority to ES12848431.8T priority patent/ES2625514T3/es
Priority to KR1020197030637A priority patent/KR102124961B1/ko
Priority to KR1020147015073A priority patent/KR101553933B1/ko
Priority to CA2854705A priority patent/CA2854705C/en
Priority to KR1020167014487A priority patent/KR101708733B1/ko
Priority to BR112014010751-3A priority patent/BR112014010751B1/pt
Publication of WO2013069384A1 publication Critical patent/WO2013069384A1/ja
Priority to US14/271,423 priority patent/US9615088B2/en
Priority to US15/357,696 priority patent/US9788005B2/en
Priority to US15/473,838 priority patent/US9838708B2/en
Priority to US15/473,791 priority patent/US9973775B2/en
Priority to US15/808,449 priority patent/US10104392B2/en
Priority to US15/938,581 priority patent/US10104393B2/en
Priority to US16/131,574 priority patent/US10484705B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Definitions

  • the present invention relates to a video predictive encoding device, a video predictive encoding method, a video predictive encoding program, a video predictive decoding device, a video predictive decoding method, and a video predictive decoding program.
  • Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive decoding apparatus, moving picture that generates final block predicted signal (bi-predicted signal) by averaging predicted signals The present invention relates to an image predictive decoding method and a moving image predictive decoding program.
  • Compressive coding technology is used to efficiently transmit and store still images and moving image data.
  • MPEG-1 to 4 and ITU (International Telecommunication Union) H.264. 261-H. H.264 is widely used.
  • an image to be encoded is divided into a plurality of blocks and then encoded / decoded.
  • predictive coding within a screen a predicted signal is generated using an adjacent previously reproduced image signal (reconstructed compressed image data) in the same screen as the target block, and then the predicted signal is The differential signal subtracted from the signal of the target block is encoded.
  • the adjacent reproduced image signal in the screen different from the target block is referred to, the motion is corrected, the predicted signal is generated, and the predicted signal is subtracted from the signal of the target block. Encode the difference signal.
  • H. H.264 intra-screen predictive encoding employs a method of generating a prediction signal by extrapolating already reproduced pixel values adjacent to a block to be encoded in a predetermined direction.
  • FIG. 20 shows ITU H.264. 2 is a schematic diagram for explaining an intra-screen prediction method used for H.264.
  • a target block 802 is a block to be encoded
  • a pixel group 801 composed of pixels A to M adjacent to the boundary of the target block 802 is an adjacent region, and has already been obtained in past processing. It is the reproduced image signal.
  • the pixel group 801 that is an adjacent pixel immediately above the target block 802 is extended downward to generate a prediction signal.
  • FIG. 20B the already reproduced pixels (I to L) on the left of the target block 804 are stretched to the right to generate a prediction signal.
  • Patent Document 1 A specific method for generating a prediction signal is described in Patent Document 1, for example.
  • the difference between each of the nine prediction signals generated by the method shown in FIGS. 20A to 20I and the pixel signal of the target block is taken, and the one with the smallest difference value is used as the optimum prediction signal. .
  • a prediction signal can be generated by extrapolating pixels. The above contents are described in Patent Document 1 below.
  • a prediction signal is generated by searching for a signal similar to the pixel signal from a screen that has already been reproduced for a block to be coded. Then, a motion vector, which is a spatial displacement amount between the target block and a region formed by the searched signal, and a residual signal between the pixel signal and the prediction signal of the target block are encoded. Such a method for searching for a motion vector for each block is called block matching.
  • FIG. 19 is a schematic diagram for explaining the block matching process.
  • a procedure for generating a prediction signal will be described using the target block 702 on the encoding target screen 701 as an example.
  • the reference screen 703 has already been reproduced, and the area 704 is an area in the same position as the target block 702.
  • a search range 705 surrounding the region 704 is set, and a region 706 in which the absolute value error sum with the pixel signal of the target block 702 is detected from the pixel signal in the search range 705 is detected.
  • the signal in the area 706 becomes a prediction signal, and the amount of displacement from the area 704 to the area 706 is detected as a motion vector 707.
  • H. H.264 provides a plurality of prediction types having different block sizes for encoding motion vectors in order to cope with changes in local features of an image.
  • H. H.264 prediction types are described in Patent Document 2, for example.
  • the encoding order of each screen may be arbitrary.
  • the first method is uni-prediction in which a prediction signal is generated with reference to one reproduced screen
  • the second method is a method of calculating two prediction signals obtained by referring to one or two reproduced screens. Bi-predicting to average.
  • the uni-prediction includes forward prediction that refers to past reproduced screens in display order and backward prediction that refers to future reproduced screens in display order.
  • the kind of prediction between screens it describes in patent document 3, for example.
  • H.264 as a candidate for the reference screen 703, two reference screen lists including a plurality of reproduced screens are created and the second inter-screen method (bi-prediction) is performed. Block matching is performed for a plurality of reference screens registered in each reference screen list, two regions corresponding to the region 706 are detected, and the two detected prediction signals are averaged.
  • FIG. 5A a screen 505 indicates an encoding target image, and screens 501 to 504 indicate reproduced screens.
  • the screen 510 indicates the encoding target screen, and the screens 507, 508, 509, and 511 indicate the reproduced screens.
  • Each image (screen) is identified by a frame number (frame_num).
  • List0 and List1 in FIG. 6 show two reference screen lists, FIG. 6 (A) is a reference screen list in FIG. 5 (A), and FIGS. 6 (B) and 6 (C) are references in FIG. 5 (B).
  • An example of a screen list is shown. 6 (A) and 6 (C), four reference screens are registered in each reference screen list, and in FIG.
  • each reference screen is identified by a reference screen index (ref_idx).
  • the reproduced images that can be registered in the reference screen list are basically arbitrary. In this case, in order to facilitate understanding of the contents, names such as 0th motion information and 1st motion information are used in accordance with the reference screen lists List0 and List1.
  • motion vectors between adjacent blocks may vary. Since the motion vector is encoded based on the difference from the motion vector of the adjacent block, if the motion vector varies between adjacent blocks, the amount of code increases.
  • the present invention encodes one motion vector that generates a prediction signal similar to the target block, and selectively obtains another motion vector from the encoded motion information.
  • Moving picture predictive coding apparatus, moving picture predictive coding method, moving picture predictive coding program, moving picture predictive signal that efficiently suppresses noise of prediction signal with a small amount of code for bi-prediction encoding two motion vectors An object is to provide an image predictive decoding device, a moving image predictive decoding method, and a moving image predictive decoding program.
  • a video predictive coding apparatus includes: an area dividing unit that divides an input image into a plurality of areas; and a target area that is an encoding target among the areas divided by the area dividing unit.
  • a prediction signal generating means for determining a motion vector for acquiring a signal having a high correlation from the already reproduced image; a motion information recording means for storing the motion vector; a prediction signal for the target area; and a pixel signal for the target area;
  • a residual signal generating means for generating the residual signal, a residual signal compressing means for compressing the residual signal generated by the residual signal generating means, and a reproduction residual obtained by restoring the compressed data of the residual signal
  • a residual signal restoring means for generating a signal, a predicted motion vector similar to the motion vector of the target area selected from the previously reproduced motion vectors stored in the motion information recording means, and the target area
  • a pixel signal of the target area by adding the encoding means for encoding the additional information determined from the motion vector of the image and the compressed
  • And image recording means for storing the restored pixel signal as the already-reproduced image, wherein the motion vector includes a 0th motion vector required for generating a 0th prediction signal, A first motion vector required for generating a prediction signal, and the prediction signal generation means estimates the 0th motion vector for acquiring the 0th prediction signal and the estimated 0th motion vector.
  • a 0th predicted motion vector for identifying the selected predicted motion vector is selected from a plurality of motion vectors stored in the motion information recording means.
  • 0th motion information estimating means for generating 0th additional information including an information index and a differential motion vector determined from the 0th motion vector and the 0th predicted motion vector; and the motion information recording means
  • a first motion vector for selecting a motion vector that generates a first prediction signal having a high correlation with the target region from a plurality of motion vectors stored in the first motion vector and identifying the selected motion vector as a first motion vector predictor.
  • First motion information estimation means for generating first additional information including a predicted motion information index of the first motion information, and setting the first motion vector predictor as a first motion vector, the 0th prediction signal, and the first motion information
  • prediction signal synthesis means for generating a prediction signal of the target region by synthesizing with one prediction signal.
  • the first motion information estimation unit further estimates a second motion vector for obtaining the first prediction signal, and detects a second motion vector. And selecting a second predicted motion vector similar to the estimated second motion vector from the plurality of motion vectors stored in the motion information recording means, and identifying the selected predicted motion vector.
  • the means is the first motion vector based on the first motion vector when the plurality of already-reproduced images stored in the image recording means are all images past the encoding target image in the display order.
  • the first prediction is performed using the second motion vector.
  • a signal is generated, and when the plurality of already-reproduced images stored in the image recording unit are all images that are past the encoding target image in the display order, the encoding unit generates the signal for each screen or slice.
  • instruction information for instructing that one additional information is encoded is encoded, and a plurality of previously reproduced images stored in the image recording means include future images in the display order from the encoding target image.
  • the instruction information indicating that the second additional information is encoded is encoded for each screen or slice, and the first additional information or the second information is encoded based on the zeroth additional information and the instruction information. Any of the additional information And how it may be coded as additional information for each target region.
  • a moving picture predictive decoding apparatus decodes additional information of a decoding target area to be decoded and compressed data of a residual signal from among compressed data divided and encoded into a plurality of areas.
  • a motion compensation unit that generates a prediction signal of the region, a residual signal recovery unit that recovers the reproduction residual signal of the target region from the compressed data of the residual signal, and adds the prediction signal and the reproduction residual signal
  • Image decoding means for restoring the pixel signal of the region to be decoded and storing the restored pixel signal as an already reproduced image, wherein the decoding means includes zeroth additional information and 1 additional information is decoded, and the 0th additional information is a 0th prediction of one selected from a 0th differential motion vector and a plurality of motion vectors stored in the motion information
  • a first predicted motion information index for identifying as a motion vector, and the first additional information is a first selected from a plurality of motion vectors stored in the motion information recording means.
  • the motion information restoration means generates a 0th motion vector predictor based on the 0th motion vector predictor index, and identifies the generated 0th motion vector.
  • a 0th motion information restoring means for restoring a 0th motion vector by adding a predicted motion vector and the 0th differential motion vector, and based on the first predicted motion information index Generating first predicted motion vectors, and restoring the generated first predicted motion vectors as first motion vectors, the motion compensation means comprising:
  • a prediction signal of the target area is generated by combining two signals acquired from the already reproduced image based on a motion vector and a second motion vector.
  • the decoding means further decodes instruction information indicating whether or not the first additional information includes a differential motion vector for each screen or slice, and the instruction information
  • the first additional information indicates that the first additional motion vector is included
  • the first additional information is decoded as the first additional information
  • the first motion information restoring means When the first additional information indicates that it does not include the first differential motion vector, a first predicted motion vector is generated based on the first predicted motion information index, and the generated first prediction
  • a motion vector is restored as a first motion vector and the indication information indicates that the first additional information includes a difference vector, a first prediction is made based on the first prediction motion information index.
  • Generates can vector, the first predicted motion and the difference motion vector decoded vector may be recovered to generate a first motion vector by adding generated.
  • the present invention can also be regarded as an invention related to a video predictive encoding method, an invention related to a video predictive decoding method, an invention related to a video predictive encoding program, an invention related to a video predictive decoding program, and is as follows. Can be described in
  • a video predictive encoding method is a video predictive encoding method executed by a video predictive encoding device, and includes an area dividing step of dividing an input image into a plurality of areas, A prediction signal generating step for determining a motion vector for acquiring a signal having a high correlation with a target region to be encoded from regions already divided among the regions divided by the region dividing step; and the motion vector as motion information.
  • a motion information recording step stored in a recording means; a residual signal generating step for generating a residual signal between the prediction signal of the target region and a pixel signal of the target region; and a residual signal generated by the residual signal generating step.
  • a residual signal compressing step for compressing the difference signal, a residual signal restoring step for generating a reproduction residual signal by restoring the compressed data of the residual signal, and the motion information recording A predicted motion vector similar to the motion vector of the target region selected from the previously played motion vectors stored in the stage, additional information determined from the motion vector of the target region, and compressed data of the residual signal, The pixel signal of the target area is restored by adding the prediction signal and the reproduction residual signal to the image recording means as the already reproduced image.
  • the prediction signal generation step estimates the 0th motion vector for obtaining the 0th prediction signal and is similar to the estimated 0th motion vector.
  • a predicted motion vector is selected from a plurality of motion vectors stored in the motion information recording step, a 0th predicted motion information index for identifying the selected predicted motion vector, the 0th motion vector, and the A zeroth motion information estimating step for generating zeroth additional information including a difference motion vector determined from a predicted motion vector of zero, and a plurality of motion vectors stored in the motion information recording step, First additional information including a first predicted motion information index for selecting a motion vector that generates a first predicted signal having a high correlation with a region and identifying the selected motion vector as a first predicted motion vector And a first motion information estimation step for setting the first motion vector as the first motion vector, and the 0th motion signal. And a prediction signal synthesis step of generating a prediction signal of the target region by synthesizing the signal and the first prediction signal.
  • the moving image predictive encoding device in the first motion information estimating step, further estimates a second motion vector for obtaining the first predicted signal. Detecting a second motion vector, selecting a second predicted motion vector similar to the estimated second motion vector from a plurality of motion vectors stored in the motion information recording step, and selecting the selected Generating second additional information including a second predicted motion information index for identifying a predicted motion vector, and the second motion vector and a differential motion vector determined from the second predicted motion vector.
  • the video predictive encoding device is configured to encode all the plurality of already-reproduced images stored in the image recording unit in the display order.
  • the first prediction signal is generated with the first motion vector, and the plurality of already reproduced images stored in the image recording means are encoded in the display order from the encoding target image.
  • the first prediction signal is generated using the second motion vector, and in the encoding step, the moving image predictive encoding device is stored in the image recording unit.
  • the instruction information for instructing that the first additional information is encoded is encoded for each screen or slice.
  • the second additional information is encoded for each screen or slice. Instructions to instruct It encodes the broadcast, and the 0th additional information, and one of the first additional information or second additional information based on the instruction information may be encoded as additional information for each target region.
  • a moving picture predictive decoding method is a moving picture predictive decoding method executed by a moving picture predictive decoding apparatus, and is a decoding target from among compressed data encoded by being divided into a plurality of regions.
  • a decoding step for decoding the additional information of the decoding target region and the compressed data of the residual signal, a motion information restoring step for restoring a motion vector required for generating a prediction signal of the target region from the additional information, and the motion A motion information recording step for storing a vector in a motion information recording means; a motion compensation step for generating a prediction signal for the target region based on the motion vector; and a reproduction residual for the target region from the compressed data of the residual signal
  • a first motion information recording step wherein the first additional information identifies one selected from a plurality of motion vectors stored in the motion information recording step as a first motion vector predictor.
  • the motion information restoration step includes a motion vector information index, and the motion information restoration step generates a 0th motion vector predictor based on the 0th motion vector predictor index, A 0th motion information restoring step for restoring a 0th motion vector by adding a predicted motion vector and the 0th differential motion vector; and a first predicted motion vector based on the first predicted motion information index And a first motion information restoration step that restores the generated first predicted motion vector as a first motion vector.
  • the moving picture predictive decoding device includes the first motion information restoration step. Based on the motion vector and the second motion vector, two signals acquired from the already-reproduced image are combined to generate a prediction signal of the target region.
  • the moving image predictive decoding device in the decoding step, further instructs instruction information indicating whether or not the first additional information includes a differential motion vector for each screen or slice. And the instruction information indicates that the first additional information includes the first differential motion vector, the video predictive decoding device uses the differential motion vector as the first additional information.
  • the first motion information restoration step when the instruction information indicates that the first additional information does not include the first differential motion vector, the first motion information restoration step performs the first motion information restoration step.
  • a first motion vector predictor is generated based on the predicted motion information index of the first motion vector, the generated first motion vector predictor is restored as the first motion vector, and the instruction information includes the first motion vector.
  • a first predicted motion vector is generated based on the first predicted motion information index, and the generated first predicted motion vector and the decoded difference motion vector are added. Then, the first motion vector may be generated and restored.
  • a moving image predictive encoding program includes a region dividing unit that divides an input image into a plurality of regions, and a target that is an encoding target among regions divided by the region dividing unit.
  • a prediction signal generating means for determining a motion vector for acquiring a signal having a high correlation with the area from the already reproduced image; a motion information recording means for storing the motion vector; a prediction signal for the target area; Residual signal generating means for generating a residual signal with the pixel signal, residual signal compressing means for compressing the residual signal generated by the residual signal generating means, and decompressed compressed data of the residual signal Residual signal restoration means for generating a reproduction residual signal, and a predicted motion similar to the motion vector of the target area selected from the already reproduced motion vectors stored in the motion information recording means By adding the coding means for encoding the spectrum, the additional information determined from the motion vector of the target region, and the compressed data of the residual signal, the prediction signal and the reproduction residual signal A
  • a plurality of motion vectors stored in the motion information recording means, and the 0th predicted motion vector similar to the estimated 0th motion vector is estimated.
  • a motion vector estimating unit that generates additional information and a motion vector that generates a first prediction signal having a high correlation with the target region are selected from a plurality of motion vectors stored in the motion information recording unit.
  • first additional information including a first predicted motion information index for identifying the selected motion vector as a first predicted motion vector, and setting the first predicted motion vector as the first motion vector
  • First motion information estimation means for performing, and prediction signal synthesis means for synthesizing the 0th prediction signal and the first prediction signal to generate a prediction signal of the target region. It is characterized by.
  • the first motion information estimation unit further estimates a second motion vector for obtaining the first prediction signal, and detects a second motion vector. And selecting a second predicted motion vector similar to the estimated second motion vector from the plurality of motion vectors stored in the motion information recording means, and identifying the selected predicted motion vector.
  • a function of generating second additional information including two prediction motion information indexes and the second motion vector and a difference motion vector determined from the second prediction motion vector, and generating the prediction signal In the case where the plurality of already-reproduced images stored in the image recording unit are all images past the encoding target image in the display order, the first motion vector is used as the first motion vector.
  • the first motion vector is used as the first motion vector.
  • the plurality of already-reproduced images stored in the image recording unit are all images past the encoding target image in the display order, for each screen or slice,
  • instruction information for instructing that the first additional information is encoded is encoded
  • a plurality of already reproduced images stored in the image recording means include images of the future from the encoding target image in the display order.
  • the instruction information for instructing that the second additional information is encoded is encoded, and the first additional information or the first additional information based on the zeroth additional information and the instruction information is encoded.
  • Second additional information Re or one and may be encoded as additional information for each target region.
  • a moving picture predictive decoding program provides a computer that divides a computer into a plurality of areas and encodes additional information of a decoding target area and compressed data of a residual signal among compressed data encoded. Based on the motion vector, a motion information restoration unit that restores a motion vector required to generate a prediction signal of the target region from the additional information, a motion information recording unit that saves the motion vector, and Motion compensation means for generating a prediction signal of the target area, residual signal restoration means for recovering a reproduction residual signal of the target area from the compressed data of the residual signal, the prediction signal and the reproduction residual signal To restore the pixel signal in the decoding target area, and to function as an image recording unit that stores the restored pixel signal as a previously reproduced image
  • the decoding unit decodes the 0th additional information and the first additional information, and the 0th additional information is stored in the 0th differential motion vector and the motion information recording unit.
  • a 0th motion vector is generated based on the index, and the 0th motion vector is restored by adding the generated 0th motion vector and the 0th difference motion vector.
  • the decoding means further decodes instruction information indicating whether or not the first additional information includes a differential motion vector for each screen or slice, and the instruction information
  • the first additional information indicates that the first additional motion vector is included
  • the first additional information is decoded as the first additional information
  • the first motion information restoring means When the first additional information indicates that it does not include the first differential motion vector, a first predicted motion vector is generated based on the first predicted motion information index, and the generated first prediction
  • a motion vector is restored as a first motion vector, and the indication information indicates that the first additional information includes a difference vector, the first motion vector is based on the first predicted motion information index.
  • Predicted motion vector to generate a first prediction motion and the difference motion vector decoded vector may be recovered to generate a first motion vector by adding generated.
  • video predictive encoding device video predictive encoding method, video predictive encoding program, video predictive decoding device, video predictive decoding method, and video predictive decoding program of the present invention
  • encoded motion Since one motion vector effective for bi-prediction can be indicated based on information, there is an effect of improving bi-prediction performance with a small amount of code.
  • FIG. It is a block diagram explaining the motion information decompression device shown in FIG. It is a flowchart explaining the 1st motion information restoration process shown in FIG. It is a flowchart explaining the 0th motion information restoration process shown in FIG. It is a flowchart which shows the procedure of the moving image predictive decoding method of the moving image predictive decoding apparatus shown in FIG. It is a block diagram which shows the program which can perform the moving image predictive coding method which concerns on this embodiment. It is a block diagram which shows the program which can perform the moving image predictive decoding method which concerns on this embodiment. It is a figure which shows the hardware constitutions of the computer for performing the program recorded on the recording medium. It is a perspective view of a computer for executing a program stored in a recording medium. It is a schematic diagram for demonstrating the motion estimation process in the prediction between screens. It is a schematic diagram for demonstrating the conventional intra prediction method.
  • FIG. 1 is a block diagram showing a video predictive encoding device 100 according to the present embodiment.
  • This video predictive coding apparatus 100 includes an input terminal 101, a block divider 102, a prediction signal generator 103, a frame memory 104, a subtractor 105, a converter 106, a quantizer 107, an inverse quantizer 108, and an inverse transform. And an adder 110, an encoder 111, an output terminal 112, and a motion information memory 113.
  • the converter 106 and the quantizer 107 function as residual signal compression means, the inverse quantizer 108 and the inverse transformer 109 function as residual signal restoration means, and the motion information memory functions as motion information recording means. .
  • the motion information memory 113 may be included in the prediction signal generator 103.
  • the input terminal 101 is a terminal for inputting a moving image signal composed of a plurality of images.
  • the block divider 102 divides an image to be encoded, which is represented by a signal input from the input terminal 101, into a plurality of areas (target blocks and target areas).
  • the block is divided into 8 ⁇ 8 pixels, but may be divided into other block sizes or shapes. Further, blocks of different sizes may be mixed in the screen.
  • the prediction signal generator 103 detects motion information necessary for generating a prediction signal of each prediction block in the target block and generates a prediction signal. Also, additional information necessary for restoring the motion information is generated by the decoding device.
  • the method for generating the prediction signal is not limited in the present invention, but inter-screen prediction (single prediction, bi-prediction) and intra-screen prediction (not shown for intra-screen prediction) as described in the background art are applicable.
  • a prediction signal is generated by bi-prediction.
  • One motion information of bi-prediction is acquired via L104 so that the absolute value error sum between the original signal of the target block input via L102 and the bi-prediction signal is minimized by the block matching shown in FIG. Detection is performed using the image signal.
  • the other motion information is generated based on the encoded motion information.
  • motion information is composed of 0th motion information and first motion information, and a reference screen index (ref_idx [0] or ref_idx [1]) and a motion vector, respectively.
  • a reference screen index (ref_idx [0] or ref_idx [1])
  • a motion vector respectively.
  • Mv [0] [0/1] or mv [1] [0/1] Candidates for the reference screen for the 0th motion information are indicated by List0 in FIG. 6, and candidates for the reference screen for the first motion information are indicated by List1 in FIG.
  • [0/1] is information for identifying the horizontal component and the vertical component of the vector.
  • the description of [0/1] is omitted (the same is omitted in the drawings).
  • the playback image registered in the reference screen list shown in FIG. 6 may be automatically determined according to a predetermined rule, or may be explicitly encoded in frame units or sequence units. At this time, a frame number can be used to identify each reference screen as shown in FIGS.
  • the motion information generated by the prediction signal generator 103 is output to the motion information memory 113 via the L103b.
  • the motion information memory 113 stores the input motion information.
  • the stored motion information is input to the prediction signal generator via L113, and is used for encoding motion information of the subsequent block.
  • the additional information generated by the prediction signal generator 103 is output to the encoder 111 via the L103c.
  • the prediction signal generated by the prediction signal generator 103 is output to the subtracter 105 and the adder 110 via L103a.
  • the subtractor 105 subtracts the prediction signal for the target block input via the line L103a from the pixel signal of the target block divided and input by the block divider 102 input via the line L102, Generate a residual signal.
  • the subtractor 105 outputs the residual signal obtained by the subtraction to the converter 106 via the line L105.
  • the converter 106 is a part that performs discrete cosine transform on the input residual signal.
  • the quantizer 107 is a part that quantizes the transform coefficient that has been discrete cosine transformed by the transformer 106.
  • the encoder 111 entropy encodes the additional information input from the prediction signal generator and the quantized transform coefficient input from the quantizer 107, and the encoded data is output to the output terminal 112 via L111.
  • the entropy encoding method is not limited, but arithmetic encoding, variable length encoding, and the like can be applied.
  • the output terminal 112 collectively outputs information input from the encoder 111 and outputs it to the outside.
  • the inverse quantizer 108 inversely quantizes the quantized transform coefficient.
  • the inverse transformer 109 restores the residual signal by inverse discrete cosine transform.
  • the adder 110 adds the restored residual signal and the prediction signal input via the L 103 a, reproduces the signal of the encoding target block, and stores it in the frame memory 104.
  • the converter 106 and the inverse converter 109 are used, but other conversion processes in place of these converters may be used. Further, the converter 106 and the inverse converter 109 are not essential. Thus, in order to use it for the prediction signal production
  • prediction signal generator 103 will be described in detail. First, motion information, predicted motion information, and additional information will be described.
  • the motion information in bi-prediction is composed of 0th motion information and 1st motion information, and a reference screen index (ref_idx [0] or ref_idx [1]) and a motion vector (mv [ 0] or mv [1]).
  • Candidates for the reference screen for the 0th motion information are indicated by List0 in FIG. 6, and candidates for the reference screen for the first motion information are indicated by List1 in FIG.
  • the prediction signal generator 103 uses already-encoded motion information as predicted motion information.
  • the encoded motion information includes motion information associated with the encoded adjacent block and encoded motion information of the target region. Note that the motion information associated with the adjacent block refers to the motion information used for generating the prediction signal when the adjacent block is the encoding target, and is stored in the motion information memory 113.
  • the predicted motion information is also composed of 0th predicted motion information and first predicted motion information, and each includes a reference screen index (ref_idx [0] or ref_idx [1]) and a motion vector (mv [0] or mv [1). ])including.
  • Candidates for the reference screen for the 0th predicted motion information are indicated by List0 in FIG. 6, and candidates for the reference screen for the first predicted motion information are indicated by List1 in FIG.
  • a specific method of using the predicted motion information is based on the 0th predicted motion information when the motion vector of the 0th motion information detected by block matching with reference to the reference screen of List0 is differentially encoded. Thus, a predicted motion vector is generated. Also, first motion information using the reference screen of List1 is generated based on the first predicted motion information.
  • a block 400 shown in FIG. 7 is a target block, and motion information accompanying blocks 401 to 404 adjacent thereto is a candidate for predicted motion information.
  • the motion information of the adjacent block includes 0th motion information and 1st motion information, respectively. Both may be candidates for predicted motion information, or may be limited to one (when the Nth motion information is predicted, only the Nth motion vector of an adjacent block is a candidate).
  • the block 410 indicates a block (co-located block) at the same spatial position as the block 400 in the reference screen.
  • Motion information associated with the block 410 and blocks 411 to 415 adjacent to the block 410 is a candidate for predicted motion information.
  • n indicates a number for identifying a candidate for prediction motion information, and the selected candidate is indicated by a prediction motion information index (mvp_idx [0] or mvp_idx [1]).
  • the position and number of the predicted motion information candidates may be determined in advance on the encoding side and the decoding side, and are not limited in the present invention.
  • the number of prediction motion information candidates may be determined in advance on the encoding side and the decoding side, or may be encoded.
  • the predicted motion is based on the frame numbers of the encoding target screen and the two reference screens.
  • the reference screen index (ref_idx [0] or ref_idx [1]) included in the predicted motion information is updated to the reference screen index (ref_idx [0] or ref_idx [1]) of the target block.
  • [0/1] is information for identifying the horizontal component and the vertical component of the vector.
  • the description of [0/1] is omitted (the same is omitted in the drawings).
  • the additional information is composed of 0th additional information and 1st additional information.
  • [0/1] is information for identifying the horizontal component and the vertical component of the vector.
  • [0/1] is omitted (the same is omitted in the drawings).
  • FIG. 2 is a block diagram illustrating a configuration of the prediction signal generator 103 according to the present embodiment.
  • the prediction signal generator 103 includes a first motion information estimator 121, a zeroth motion information estimator 122, and a prediction signal synthesizer 123.
  • the first motion information estimator 121 uses a reference screen of List1 input via L104, and uses a plurality of first prediction motion information candidates input via L113 (according to the reference screen index).
  • the first predicted motion information candidate that generates the first predicted signal most similar to the original signal of the target block input via L102).
  • a reference screen index pair a reference screen index pair.
  • the first prediction signal is output to the prediction signal synthesizer 123 via L121a, and the first motion information generated based on the set of the selected first prediction motion information and the reference screen index is represented by L121b and L103b1.
  • the first additional information is generated and output to the encoder 111 via L103c1.
  • the 0th motion information estimator 122 generates a first prediction signal using the first motion information input from L121b and the List1 reference screen input via L104. Then, the reference screen of List0 input via L104 is searched, the bi-prediction signal generated from the first prediction signal and the searched candidate for the 0th prediction signal, and the object input via L102
  • the 0th motion information that minimizes the sum of absolute value differences from the original signal of the block is detected.
  • the 0th prediction signal generated from the detected 0th motion information is output to the prediction signal synthesizer 123 via L122. Also, the 0th motion information is output to the motion information memory 113 via L103b2. Furthermore, 0th additional information is generated and output to the encoder 111 via the L103c2.
  • the process by the 0th motion information estimator 122 may be executed first to obtain the 0th motion information and the 0th additional information before the 0th prediction signal.
  • the 0th motion information that minimizes the sum of absolute difference between the predicted signal generated by the searched candidate for the 0th predicted signal and the original signal of the target block input via L102 is obtained.
  • the first motion information estimator 121 is executed using the 0th prediction signal.
  • the first prediction signal candidate is generated from the motion vector, and the bi-prediction signal generated by the 0th prediction signal and the first prediction signal candidate is input via L102.
  • a set of the first predicted motion information candidate and the reference screen index is selected so as to be most similar to the first signal. This modification can be performed by inputting the 0th motion information to the first motion information estimator 121.
  • the prediction signal synthesizer 123 averages the first prediction signal and the zeroth prediction signal input via L121a and L122 to generate a prediction signal of the target block, and subtracter 105 and adder via L103a. 110 is output.
  • FIG. 3 shows a flowchart of the first motion information estimator 121.
  • the predicted motion information index mvp_idx [1] included in the first additional information is set to 0,
  • the count n of the number of predicted motion information is initialized to 0.
  • step S303 the motion vector of the predicted motion vector candidate n is acquired from the motion vectors of adjacent blocks, and in step S304, the nth predicted motion vector pmv [1] [m] [n] [0 / 1] is generated (here, [0/1] is information for identifying the horizontal and vertical components of the vector.
  • [0/1] is information for identifying the horizontal and vertical components of the vector.
  • the description of [0/1] is omitted, and is similarly omitted in the drawings).
  • the motion vector of the adjacent block is scaled according to the distance between the target screen and the reference screen (frame number identified by the reference screen index) to obtain a predicted motion vector.
  • step S305 a prediction signal of the target block is generated based on the mth reference screen and the nth scaled predicted motion vector (pmv [1] [m] [n]).
  • the process proceeds to step S308.
  • the process proceeds to step S307, where the predicted motion information index mvp_idx [1] included in the first additional information is updated to n, and the reference screen index is ref_idx [1].
  • the motion vector evaluation value D is updated to the sum of absolute values of the difference signal between the prediction signal calculated in step S306 and the original signal of the target block. Furthermore, the motion vector mv [1] included in the first motion information is set to the predicted motion vector pmv [1] [ref_idx [1]] [mvp_idx [1]], and the reference screen index is set to ref_idx [1]. . Thereafter, the process proceeds to step S308.
  • step S308 it is determined whether or not the value of n is smaller than N. If n is smaller than N, the process proceeds to step S309. If n reaches N, the process proceeds to step S310. In step S309, 1 is added to the value of n, and the process returns to step S303. Thereafter, steps S303 to S307 are repeated until n reaches N. In step S310, it is determined whether the value of m is smaller than M. If m is smaller than M, the process proceeds to step S311, 1 is added to the value of m, and the process returns to step S302. Thereafter, steps S302 to S309 are repeated until m reaches M.
  • the first additional information (ref_idx [1], mvp_idx [1]) is output to the encoder 111 in step S312, and the first motion information (ref_idx [1]) is output.
  • mv [1]) are stored in the motion information memory 113 and output to the 0th motion information estimator 122, and the process ends.
  • FIG. 4 shows a flowchart of the 0th motion information estimator 122.
  • a first prediction signal in bi-prediction is generated based on the first motion information.
  • the reference screen index ref_idx [0] of List0 included in the 0th motion information is set to 0, and the count m of the number of reference screens of List0 is initialized to 0.
  • the motion vector evaluation value D is set to the Max value.
  • a predicted motion information index mvp_idx [0] for identifying a predicted motion vector used when differentially encoding the 0th motion vector from a plurality of candidates is determined.
  • the selection method for example, the method shown in steps S303 to S309 in FIG. 3 can be used.
  • a predicted motion vector candidate pmv [0] [m] [n] is generated.
  • the motion vector of the adjacent block is scaled according to the distance between the target screen and the reference screen (the frame number identified by the reference screen index) to obtain a predicted motion vector. .
  • step S354 the bi-prediction signal obtained by acquiring the reference screen indicated by ref_idx [0] stored in the frame memory 104 and averaging it together with the first prediction signal;
  • the 0th motion vector mv [0] that minimizes the sum of absolute values of the difference signal from the original signal is searched.
  • step S356 the absolute value sum of the difference signal between the generated bi-predicted signal and the original signal of the target block and the code amount evaluation value of the 0th additional information (mvd [0], m, and n)
  • the sum of ⁇ (QP) ⁇ (mvd, m, n code amount), ⁇ is a weight vector determined by a parameter QP that determines quantization accuracy when the transform coefficient obtained by transforming the prediction error signal is quantized is a motion vector. It is determined whether or not the evaluation value D is smaller. If the absolute value sum + code amount evaluation value is greater than or equal to the motion vector evaluation value D, the process proceeds to step S358.
  • step S357 the predicted motion information index mvp_idx [0] included in the 0th additional information is updated to n, and the reference screen index Ref_idx [0] is updated to m, the differential motion vector mvd [0] is updated to (mv [0] ⁇ pmv [0] [ref_idx [1]] [mvp_idx [1]]), and D is updated in step S356.
  • the absolute value sum of the difference signal between the bi-predicted signal calculated in step 1 and the original signal of the target block + the code amount evaluation value is updated. Further, the motion vector mv [0] included in the 0th motion information is updated. Thereafter, the process proceeds to step S358.
  • step S358 it is determined whether or not the value of m is smaller than M. If m is smaller than M, the process proceeds to step S359, 1 is added to the value of m, and the process returns to step S353. Thereafter, steps S353 to S359 are repeated until m reaches M.
  • step S360 the 0th additional information (ref_idx [0], mvd [0], mvp_idx [0]) is output to the encoder 111 and the 0th motion Information (ref_idx [0] and mv [0]) is stored in the motion information memory 113, and the process ends.
  • the 0th motion information estimator 122 may be executed first to obtain the 0th motion information and the 0th additional information before the 0th prediction signal.
  • step S351 in FIG. 4 is omitted, and in step S356, the absolute value sum of the difference signal between the 0th prediction signal and the original signal is obtained instead of the bi-prediction signal.
  • a step of generating a 0th prediction signal in bi-prediction based on the 0th motion information is added, and the generated first prediction signal and the 0th prediction signal are averaged in step S306. This modification can be realized by changing to calculate the sum of absolute values of the difference signal between the bi-prediction signal and the original prediction signal.
  • a first motion vector of bi-prediction is generated based on already encoded motion information, and a reference screen index and prediction are made from a plurality of candidates as shown in FIGS. 6 and 7 instead of the motion vector.
  • a reference screen index and prediction are made from a plurality of candidates as shown in FIGS. 6 and 7 instead of the motion vector.
  • FIG. 9 is a flowchart showing a procedure of a moving picture predictive coding method in the moving picture predictive coding apparatus 100 according to the present embodiment.
  • the input image is divided into 8 ⁇ 8 encoded blocks (other block sizes or shapes by the block divider 102. Also, blocks of different sizes may be mixed in the screen. .).
  • the first motion information estimator 121 that constitutes the prediction signal generator 103 uses the reference screen of List1 obtained from the frame memory 104 and the first prediction motion information candidate obtained from the motion information memory, as a target. A first prediction signal similar to the block is generated, and first motion information and first additional information necessary for generating the first prediction signal are generated (step S100). Details of this step have already been described with reference to FIG.
  • the 0th motion information estimator 122 obtains from the reference screen of List 0 obtained from the frame memory 104 and the 0th motion prediction information candidate obtained from the motion information memory and the first motion information estimator 121. Is used to generate a 0th prediction signal similar to the target block, and to generate 0th motion information and 0th additional information necessary for generating the 0th prediction signal. (Step S150). Details of this step have already been described with reference to FIG.
  • step S101 the 0th additional information and the first additional information are entropy-encoded by the encoder 111, and the 0th motion information and the first motion information are stored in the motion information memory 113 (step S101).
  • step S102 the prediction signal synthesizer 123 constituting the prediction signal generator 103 averages the 0th prediction signal and the first prediction signal to generate a bi-prediction signal of the target block.
  • the residual signal indicating the difference between the pixel signal of the encoding target block and the prediction signal is transform-coded by the transformer 106, the quantizer 107, and the encoder 111 (step S103).
  • the additional information and the encoded data of the quantized transform coefficient are output via the output terminal 112 (step S104).
  • the residual signal encoded after these processes or in parallel with these processes is decoded by the inverse quantizer 108 and the inverse transformer 109. Then, the adder 110 adds the decoded residual signal and the prediction signal, and reproduces the signal of the encoding target block.
  • the reproduction signal is stored as a reference screen in the frame memory 104 (step S105). If all the encoding target blocks have not been processed, the process returns to step S100, and processing for the next encoding target block is performed. If all the encoding target blocks have been processed, the processing ends (step S106).
  • FIG. 10 is a block diagram showing a video predictive decoding device 200 according to this embodiment.
  • the moving picture predictive decoding apparatus 200 includes an input terminal 201, a decoder 202, an inverse quantizer 203, an inverse transformer 204, an adder 205, an output terminal 206, a motion compensator 207, a motion information restoration unit 208, and a frame memory 104.
  • a motion information memory 113 is provided.
  • the inverse quantizer 203 and the inverse transformer 204 function as residual signal restoring means, and the motion information memory 113 functions as motion information recording means.
  • the decoding means by the inverse quantizer 203 and the inverse transformer 204 may be performed using other than these. Further, the inverse converter 204 may not be provided.
  • the input terminal 201 inputs compressed data that has been compression-encoded by the above-described video predictive encoding method.
  • This compressed data includes encoded data of quantized transform coefficient information obtained by transform-quantizing an error signal and entropy-encoding the encoded block divided into a plurality of blocks and a bi-prediction signal for generating a bi-predictive signal of the block.
  • the encoded data of 0 additional information and first additional information is included.
  • the decoder 202 analyzes the compressed data input to the input terminal 201, separates the decoding target block into encoded data of quantized transform coefficients and encoded data of additional information, performs entry-pei decoding, L202a, The data is output to the inverse quantizer 203 and the motion information decompressor 208 via L202b, respectively.
  • the motion information restoring unit 208 sends the 0th additional information (ref_idx [0], mvd [0], mvp_idx [0]) and the first additional information (ref_idx [1], mvp_idx [1]) via L202b. And using the decoded motion information acquired via L113, the 0th motion information (ref_idx [0], mv [0]) and the first motion information (ref_idx [1], mv Restore [1]). The restored zeroth motion information and first motion information are output to the motion compensator 207 and the motion information memory 113 via L208a and L208b, respectively.
  • the motion information memory stores motion information.
  • the motion compensator 207 acquires the already reproduced signal from the frame memory 104 based on the two pieces of motion information, averages the two prediction signals, and generates a bi-prediction signal of the decoding target block.
  • the generated prediction signal is output to the adder 205 via L126.
  • the quantized transform coefficient of the residual signal in the decoding target block decoded by the decoder 202 is output to the inverse quantizer 203 via L203.
  • the inverse quantizer 203 inversely quantizes the quantization coefficient of the residual signal in the decoding target block.
  • the inverse transformer 204 performs an inverse discrete cosine transform on the inversely quantized data to generate a residual signal.
  • the adder 205 adds the bi-prediction signal generated by the motion compensator 207 to the residual signal restored by the inverse quantizer 203 and the inverse transformer 204, and the reproduced pixel signal of the decoding target block is added to the line L205. Via the output terminal 206 and the frame memory 104. The output terminal 206 outputs to the outside (for example, a display).
  • the frame memory 104 stores the playback image output from the adder 205 as a reference screen as a playback image for reference for the next decoding process.
  • FIG. 11 is a block diagram showing a configuration of the motion information restoring unit 208 according to the present embodiment.
  • the motion information restoring unit 208 includes a first motion information restoring unit 211 and a 0th motion information restoring unit 212.
  • the first motion information restoring unit 211 and the 0th motion information restoring unit 212 can operate simultaneously.
  • the 0th motion information reconstructor 212 receives the 0th additional information (ref_idx [0], mvp_idx [0], mvd [0]) as input, and performs 0th prediction from the motion information of adjacent blocks obtained via L113.
  • a motion vector (pmv [0] [ref_idx [0]] [mvp_idx [0]]) is generated, and the predicted motion vector and the difference motion vector (mvd [0]) included in the additional information are added to obtain the 0th
  • the zeroth motion information is restored by generating a motion vector included in the motion information.
  • the reference screen identified by ref_idx and the reference screen identified by ref_idx of the target block are different, they are included in the predicted motion information based on the frame numbers of the encoding target screen and the two reference screens.
  • a motion vector scaling process may be performed.
  • the first motion information decompressor 211 receives the first additional information (ref_idx [1], mvp_idx [1]) as an input, and uses the decoded motion information obtained via L113 as the first predicted motion vector (pmv [ 1] [ref_idx [1]] [mvp_idx [1]]).
  • the predicted motion vector pmv [1] [ref_idx [1]] [mvp_idx [1]
  • the differential motion vector mvd [1] may be set to a zero vector and added to the predicted motion vector to restore the first motion vector.
  • the prediction motion information is based on the frame numbers of the encoding target screen and the two reference screens. May be subjected to scaling processing of motion vectors included in. That is, the motion vector included in the predicted motion information is scaled and converted into a motion vector that indicates the reference screen identified by the target block, and the converted motion vector is used as the predicted motion vector.
  • FIG. 13 shows a flowchart of the 0th motion information restoring unit 212.
  • step S451 decoded data of 0th additional information (ref_idx [0], mvp_idx [0], and mvd [0]) is input.
  • step S452 based on the input ref_idx [0] and mvp_idx [0], from the adjacent block motion information as shown in FIG.
  • the motion information indicated by mvp_idx [0] is input, and a predicted motion vector (pmv [0] [ref_idx [0]] [mvp_idx [0]]) is derived.
  • step S454 the 0th motion information (ref_idx [0] and mv [0]) is output to the motion compensator 207 and the motion information memory 113, and the process is terminated.
  • FIG. 12 shows a flowchart of the first motion information restoring unit 211.
  • decoded data of the first additional information (ref_idx [1] and mvp_idx [1]) is input in step S401, and the vector value of the difference motion vector (mvd [1]) is set to 0 in step S402. .
  • step S403 based on the input ref_idx [1] and mvp_idx [1], as shown in FIG.
  • mvp_idx [1 ] Is input, and a predicted motion vector (pmv [1] [ref_idx [1]] [mvp_idx [1]]) is derived.
  • a predicted motion vector pmv [1] [ref_idx [1]] [mvp_idx [1]]
  • step S405 the first motion information (ref_idx [1] and mv [1]) is output to the motion compensator 207 and the motion information memory 113, and the process ends.
  • compressed data is input via the input terminal 201 (step S201).
  • the decoder 202 analyzes the data of the compressed data, performs entropy decoding, and decodes the 0th additional information and the first additional information and the quantized transform coefficient necessary for generating the bi-predictive signal (step) S202).
  • the 0th motion information restoring unit 212 constituting the motion information restoring unit 208 uses the 0th additional information and the motion information of the adjacent block stored in the motion information memory 113 to generate the 0th
  • the motion information is restored (step S250). Details of this step have already been described with reference to FIG.
  • step S200 the first motion information restoring unit 211 constituting the motion information restoring unit 208.
  • the first additional information and the motion information of the adjacent block stored in the motion information memory 113 are used to The motion information is restored (step S200). Details of this step have already been described with reference to FIG.
  • the motion compensator 207 generates a bi-prediction signal for the decoding target block and stores the motion information in the motion information memory 113 (S207).
  • the quantized transform coefficient decoded by the decoder 202 is inversely quantized by the inverse quantizer 203, inversely transformed by the inverse transformer 204, and a reproduction residual signal is generated (S208). Then, the generated bi-prediction signal and the reproduction residual signal are added to generate a reproduction signal, and this reproduction signal is stored in the frame memory 104 to reproduce the next decoding target block (step S209). ). If there is next compressed data, the processes of S202 to S209 are repeated (S210), and all the data is processed to the end.
  • Bi-prediction type 2 that encodes only one differential motion vector described above is a bi-prediction (referred to as bi-prediction type 1) that encodes two conventional differential motion vectors; It can be used in combination with one-sided prediction adaptively.
  • These prediction methods can be used by switching on a screen unit, a slice unit including a plurality of blocks, or a block unit. For the switching process, a method of encoding the switching information or a method of determining on the decoding side based on the frame number of the reference screen can be used.
  • the first motion information estimator 121 in FIG. 2 subtracts the prediction vector from the searched motion vector and the block matching function to calculate a differential motion vector. This can be realized by adding a function and adding a function of acquiring a differential motion vector from the decoder to the first motion information decompressor of FIG. A specific method will be described below.
  • bi-prediction type switching information When switching between bi-prediction type 1 and bi-prediction type 2 on a screen / slice basis, bi-prediction type switching information (for example, BiPred_type) is included in the screen or slice header and encoded.
  • BiPred_type bi-prediction type switching information
  • the encoding device selects bi-prediction type 1 and displays the screen.
  • bi-prediction type 1 is encoded with the header information of the slice.
  • bi-prediction type 1 When using bi-prediction type 1, search for motion vector mv [1] when coding a block in the screen or slice. As with the 0th additional information (encoding ref_idx [0], mvd [0], and mvp_idx [0]), mvd [1] is included in the first additional information, along with ref_idx [1] and mvp_idx [1] Encode.
  • ref_idx [0], mvd [0], and mvp_idx [0] are encoded as the 0th additional information, and ref_idx [1] and mvp_idx [1] as the 1st additional information Is encoded.
  • BiPred_type 0
  • bi-prediction type 2 may be used when all reference screens are future screens relative to the encoding target screen in the display order.
  • the coding efficiency for example, the evaluation value obtained by converting the square sum of the coding error signal + the number of coding bits
  • a method of selecting the one with higher efficiency can be adopted.
  • instruction information for switching between bi-prediction type 1 and bi-prediction type 2 is displayed for different block sizes on the screen or slice header. You may make it send separately. For example, when the block size is 64 ⁇ 64, 32 ⁇ 32, 16 ⁇ 16, or 8 ⁇ 8, four pieces of instruction information are encoded.
  • a prediction type (uni-prediction or bi-prediction) is selected on the encoding side, and encoding is included in the additional information. Then, the switching process between the bi-prediction type 1 and the bi-prediction type 2 is performed only in the block for which bi-prediction is selected. On the decoding side, the switching process between the bi-prediction type 1 and the bi-prediction type 2 is performed only with a block obtained by decoding information indicating bi-prediction as a prediction type.
  • the reference screen candidates shown in FIGS. 5A and 5B are the same on the encoding side and the decoding side. Therefore, it is possible to determine which of bi-prediction type 1 and bi-prediction type 2 is used based on the frame number of the reference screen candidate and the frame number of the encoding target screen. That is, when all the reference screen candidates are past screens in the display order from the encoding target screen, the bi-prediction type 2 is used, and the future screen is referred to the encoding target screen in the display order. Bi-prediction type 1 is used. In this method, there is no need to send instruction information.
  • bi-prediction type 2 may be used.
  • bi-prediction type switching information (for example, BiPred_block_type) is included in the block additional information and encoded.
  • BiPred_block_type 1
  • the first additional information ref_idx [1], mvd [1] (mvd [1] is included in the first additional information), and mvp_idx [1].
  • BiPred_block_type 0
  • ref_idx [0], mvd [0], and mvp_idx [0] are added as 0th additional information.
  • ref_idx [1] and mvp_idx [1] are decoded as the first additional information, and the horizontal and vertical vector values of mvd [1] are set to 0.
  • bi-prediction type 1 and bi-prediction type 2 on the encoding side does not depend on the method shown here.
  • bi-prediction type 2 may be used.
  • the coding efficiency for example, the evaluation value obtained by converting the square sum of the coding error signal + the number of coding bits
  • a method of selecting the one with higher encoding efficiency can be adopted.
  • a prediction type (uni-prediction or bi-prediction) is selected on the encoding side, and encoding is included in the additional information. Then, the switching process between the bi-prediction type 1 and the bi-prediction type 2 is performed only in the block for which bi-prediction is selected. On the decoding side, the switching process between the bi-prediction type 1 and the bi-prediction type 2 is performed only with a block obtained by decoding information indicating bi-prediction as a prediction type.
  • bi-prediction type 1 or bi-prediction type 2 based on the frame number of the two reference screens used for bi-prediction to be encoded / decoded as additional information of the block and the frame number of the encoding target screen. Can be determined. That is, if the two reference screens used for bi-prediction are both past in the display order from the encoding target screen, the bi-prediction type 2 is used, and one or both of the two reference screens are encoded in the display order. In the case of a future screen with respect to the target screen, bi-prediction type 1 is used. This method does not require sending instruction information. Note that bi-prediction type 2 may be used when both of the two reference screens are future screens relative to the encoding target screen in the display order.
  • bi-prediction type switching information (for example, BiPred_type) is included in the screen or slice header to encode / Decrypt.
  • BiPred_type bi-prediction type switching information
  • instruction information for switching between bi-prediction type 1 and bi-prediction type 2 for different block sizes on the screen or slice header. May be sent individually. For example, when the block size is 64 ⁇ 64, 32 ⁇ 32, 16 ⁇ 16, or 8 ⁇ 8, four pieces of instruction information are encoded.
  • bi-prediction type switching information (for example, BiPred_block_type) is included in the additional information of the block and coded. Convert / decrypt.
  • BiPred_block_type bi-prediction type switching information
  • Convert / decrypt at this time, as shown in FIG. 8, in the encoding method using a plurality of block sizes adaptively, switching between bi-prediction type 1 and bi-prediction type 2 is performed for different block sizes on the screen or slice header.
  • Instruction information for instructing whether or not to perform processing may be individually sent. For example, when the block size is 64 ⁇ 64, 32 ⁇ 32, 16 ⁇ 16, or 8 ⁇ 8, four pieces of instruction information are encoded.
  • instruction information for instructing whether to use only bi-prediction type 1 or only bi-prediction type 2 or to switch between two bi-prediction types for each block in the screen / slice in screen / slice units. May be encoded / decoded.
  • the instruction information may be individually sent for different block sizes.
  • the instruction information indicating whether or not to use bi-prediction type 2 is encoded / decoded on a screen / slice basis. For screens / slices that use bi-prediction type 2, switch between bi-prediction type 1 and bi-prediction type 2 for each block in the screen / slice, or use bi-prediction type 2 for all blocks in the screen / slice. It is also possible to encode / decode instruction information instructing whether or not. At this time, in the encoding method that adaptively uses a plurality of block sizes as shown in FIG. 8, the instruction information may be individually sent for different block sizes on the screen or the slice header.
  • the 0th motion information of the target block 400 is included in the first predicted motion vector candidates shown in FIG.
  • the 0th motion information is used as the first predicted motion information
  • the predicted motion information is used as the first reference screen index included in the 0th motion information and the first reference screen index included in the first motion information.
  • a method of scaling based on this and using it as the first motion information may be separately prepared as bi-prediction type 3. That is, the scaling is performed so that the motion vector included in the 0th motion information becomes the motion vector of the reference screen indicated by the reference screen index of the first motion information.
  • the first prediction motion information index is not encoded / decoded. That is, when the first additional information is encoded / decoded, the first reference screen index (ref_idx [1]) is included, the difference motion vector (mvd [1]) and the first predicted motion information index ( mvp_idx [1]) should not be included.
  • instruction information for switching between bi-prediction type 1, bi-prediction type 2, and bi-prediction type 3 may be encoded / decoded in units of screen / slice or block.
  • instruction information for switching between bi-prediction type 1 and bi-prediction type 3 or bi-prediction type 2 and bi-prediction type 3 may be encoded / decoded in units of screens / slices or blocks.
  • the above method can be used as a substitute for bi-prediction type 1. That is, when a plurality of reference screen candidates include future screens with respect to the encoding target screen in the display order, the bi-prediction type 3 is used, and all the plurality of reference screen candidates are displayed in the display order. On the other hand, in the case of a past screen, bi-prediction type 2 may be used.
  • the bi-prediction type 2 instead of the bi-prediction type 2 3 (the encoding / decoding of the first prediction motion information index is not necessary), while the reference screen indicated by the reference screen index included in the 0th motion information is the reference screen index of the first motion information
  • bi-prediction type 2 may be used (the first prediction motion information index is encoded / decoded).
  • the bi-prediction type switching information is not limited to identification information such as BiPred_type and BiPred_block_type. Any information indicating whether or not to encode / decode a differential motion vector may be used. For example, flag information indicating whether mvd is included in the first additional information or the zeroth additional information, such as mvd_list1_zero_flag and mvd_list0_zero_flag, may be encoded / decoded.
  • mvd_list1_zero_flag and mvd_list0_zero_flag may be encoded / decoded.
  • bi-prediction type 2 and bi-prediction type 3 may be performed based on the reference screen index as described above (the reference screen indicated by the reference screen index included in the 0th motion information is the first screen).
  • the reference screen index of the motion information is the same as the reference screen instructed, bi-prediction type 2 is used), and the selection information may be encoded / decoded.
  • FIG. 15 is a block diagram showing a module of a program that can execute the video predictive coding method.
  • the moving picture predictive encoding program P100 includes a block division module P101, a prediction signal generation module P103, a storage module P104, a subtraction module P105, a conversion module P106, a quantization module P107, and an inverse quantization module.
  • P108, an inverse transformation module P109, an addition module P110, an encoding module P111, and a motion information storage module P113 are provided.
  • the prediction signal generation module P103 includes a first motion information estimation module P121, a zeroth motion information estimation module P122, and a prediction signal synthesis module P123.
  • each module of the moving picture predictive coding program P100 includes a block divider 102, a prediction signal generator 103, a frame memory 104, a subtractor 105, a converter 106, a quantizer 107, an inverse quantizer 108,
  • the functions of the inverse transformer 109, adder 110, encoder 111, motion information memory 113, first motion information estimator 121, zeroth motion information estimator 122, and prediction signal synthesizer 123 are the same.
  • FIG. 16 is a block diagram showing modules of a program that can execute the moving picture predictive decoding method.
  • the video predictive decoding program P200 includes a decoding module P201, a motion information decoding module P202, a motion compensation module P203, a motion information storage module P204, an inverse quantization module P205, an inverse transform module P206, and addition.
  • a module P207 and a storage module P104 are provided.
  • the motion information decoding module P202 includes a first motion information restoration module P211 and a 0th motion information restoration module P212.
  • each module of the video predictive decoding program P200 is as follows: the decoder 202, the motion information restorer 208, the motion compensator 207, the motion information memory 113, the inverse quantizer 203, the inverse transformer 204, and the adder 205.
  • the functions of the frame memory 104, the first motion information restoring unit 211, and the zeroth motion information restoring unit 212 are the same.
  • the moving picture predictive encoding program P100 or the moving picture predictive decoding program P200 configured as described above is stored in the recording medium 10 shown in FIGS. 17 and 18 described later, and is executed by a computer described later.
  • FIG. 17 is a diagram illustrating a hardware configuration of a computer for executing a program recorded in a recording medium
  • FIG. 18 is a perspective view of the computer for executing a program stored in the recording medium.
  • a program that executes a program stored in a recording medium is not limited to a computer, and may be a DVD player, a set-top box, a mobile phone, or the like that includes a CPU and performs processing and control by software.
  • the computer 30 includes a reading device 12 such as a flexible disk drive device, a CD-ROM drive device, a DVD drive device, a working memory (RAM) 14 in which an operating system is resident, and a recording medium 10.
  • the computer 30 can access the moving image predictive encoding / decoding program stored in the recording medium 10 from the reading device 12.
  • the video predictive encoding program and the video decoding program may be provided via a network as a computer data signal 40 superimposed on a carrier wave.
  • the computer 30 can store the video predictive encoding program or video decoding program received by the communication device 24 in the memory 16 and execute the video predictive encoding program or video predictive decoding program. .
  • the 1st additional information includes ref_idx [1] and mvp_idx [1]
  • the 0th additional information includes ref_idx [0] and mvd [ 0] and mvp_idx [0] are included, but this configuration may be reversed. That is, the first additional information includes ref_idx [1], mvd [1], and mvp_idx [1], and the zeroth additional information includes ref_idx [0] and mvp_idx [0].
  • the 0th prediction motion information is generated from the motion information of the adjacent block and the 0th prediction signal is generated. Subsequently, the absolute value sum of the bi-prediction signal and the original signal of the target block + the additional information The first motion information that minimizes the evaluation value is searched.
  • the first additional information may include ref_idx [1] and mvp_idx [1], and the zeroth additional information may include ref_idx [0] and mvp_idx [0]. That is, the difference motion vector is not encoded, and the horizontal and vertical vector values are set to 0 on the decoding side of the two difference motion vectors. Alternatively, the zeroth motion vector and the first motion vector are set to the zeroth motion vector and the first motion vector, respectively.
  • the reference screen index is included in the first additional information for encoding / decoding.
  • the reference screen index is determined based on the reference screen index attached to the motion information of the adjacent block indicated by mvp_idx.
  • the reference screen index of the attached List 1 is used as it is, and for the adjacent blocks 410 to 415, the reference screen index of the target block and the adjacent block indicates.
  • a scaling process is performed on the motion vector included in the adjacent block).
  • a reference screen index for the first motion information may be determined in advance. In these cases, since the decoding side can uniquely restore, it is not necessary to encode the reference screen index ref_idx by including it in the first additional information.
  • the selection of the reference screen and its list are not limited to the examples of FIGS.
  • the reference screen list may be encoded on a screen / slice basis, and the number of reference screens is not four as shown in FIG. 5, and the present invention can be implemented with any other number.
  • Predicted motion information In the above, a plurality of encoded / decoded motion information is used as predicted motion information candidates as shown in FIG. 7, but the number and the position of adjacent blocks to be used are not limited.
  • the 0th motion vector of the adjacent block may be included in the first motion vector predictor candidate, or the first motion vector of the adjacent block may be included in the 0th motion vector predictor candidate. Can be implemented.
  • the 0th motion information previously encoded / decoded may be added to the first predicted motion information candidate.
  • Whether the motion vector scaling processing is performed when the reference screen index included in the encoded / decoded motion information is different from the reference screen index included in the motion information associated with the target block is not limited in the present invention.
  • the method for generating a predicted motion vector is not limited in the present invention.
  • the median value of the odd number of motion vector predictor candidates may be adopted as the motion vector predictor.
  • the motion vector predictor since the motion vector predictor is uniquely determined on the decoding side, it is not necessary to encode the motion information index mvp_idx included in the first additional information.
  • bi-prediction can be implemented if a method for determining prediction motion information candidates is defined.
  • the blocks 421 to 428 adjacent to the target block 400 may be candidates for prediction information, and the numbering method of adjacent blocks is determined in advance and designated in units of screens or slices. You may make it set the motion information of several adjacent blocks to the prediction motion vector candidate.
  • the configurations of the 0th motion information and additional information may be fixed values without encoding the reference screen index and the predicted motion information index, which are not limited in the present invention. However, it may be derived by a predetermined method.
  • frame_num is used to identify the reference screen and the encoding target screen.
  • other information can be used as long as it is information that can identify the reference screen. There is no impact on implementation.
  • the 0th differential motion vector and the first differential motion vector are encoded / decoded with different probability models.
  • two probability models with different probability frequencies of the difference motion vector vector value 0 are prepared for encoding / decoding the difference motion vector.
  • the second probability model in which the frequency of the vector value 0 of the difference motion vector is set higher is used to encode the zeroth difference motion vector.
  • another first probability model is used.
  • a probability model may be separately prepared for the horizontal and vertical vector values of the difference motion vector.
  • the second probability model is used only for the first difference motion vector of the block to which bi-prediction type 2 is applied, and the first probability model is used for encoding / decoding of the other difference motion vectors. It may be.
  • variable length coding When variable length coding is used, the 0th differential motion vector and the first differential motion vector are encoded / decoded using different variable length tables. For example, two variable length tables having different code lengths assigned to the vector value 0 of the differential motion vector are prepared. When encoding / decoding the first differential motion vector, the second variable length table in which the code length assigned to the vector value 0 of the differential motion vector is set shorter is used, and the zeroth differential motion vector is used. Is encoded / decoded, another first variable length table is used. Furthermore, a variable length table may be separately prepared for the horizontal and vertical vector values of the difference motion vector.
  • variable length table is used only for the first differential motion vector of a block to which bi-prediction type 2 is applied, and the first variable length table is used for encoding / decoding of the other differential motion vectors. You may do it.
  • N prediction In the above, the prediction types of inter-screen prediction are uni-prediction and bi-prediction, but the present invention can also be applied to a prediction method that combines three or more prediction signals.
  • the number of additional information not including mvd may be any number as long as it is one or more.
  • the residual signal conversion process may be performed with a fixed block size, or the target area may be subdivided according to the partial area and the conversion process may be performed.
  • Color signal In the above description, the color format is not particularly described, but the prediction signal may be generated separately from the luminance signal for the color signal or the color difference signal. Further, it may be performed in conjunction with the luminance signal processing.
  • DESCRIPTION OF SYMBOLS 100 ... Moving image predictive coding apparatus, 101 ... Input terminal, 102 ... Block divider, 103 ... Prediction signal generator, 104 ... Frame memory, 105 ... Subtractor, 106 ... Converter, 107 ... Quantizer, 108 ... Inverse quantizer 109 ... Inverse transformer 110 ... Adder 111 ... Encoder 112 ... Output terminal 113 ... Memory for motion information 121 ... First motion information estimator 122 ... 0th motion Information estimator, 123 ... Predictive signal synthesizer, 201 ... Input terminal, 202 ... Decoder, 203 ... Inverse quantizer, 204 ... Inverse transformer, 205 ... Adder, 206 ... Output terminal, 207 ... Motion compensator, 208... Motion information restoring unit 211... First motion information restoring unit 212.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

　動画像予測符号化装置内の予測信号生成器(103)は、第０の予測信号を取得するための第０の動きベクトルを推定し、該第０の動きベクトルと類似する第０の予測動きベクトルを選択し、該予測動きベクトルを識別するための第０の予測動き情報インデックスと、第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルとを含む第０の付加情報を生成する手段(122)と、対象領域との相関が高い第１の予測信号を生成する動きベクトルを選択し、該動きベクトルを第１の予測動きベクトルとして識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、第１の予測動きベクトルを第１の動きベクトルに設定する手段(121)と、第０、第１の予測信号を合成し対象領域の予測信号を生成する手段(123)と、を含む。

Description

動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
　本発明は、動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラムに関するもので、とりわけ、２つの予測信号を平均化することにより最終的なブロック予測信号（双予測信号）を生成する動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラムに関するものである。
　静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ－１～４やＩＴＵ（International　Telecommunication　Union）Ｈ．２６１～Ｈ．２６４の方式が広く用いられている。
　これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。
　例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図２０は、ＩＴＵ　Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図２０（Ａ）において、対象ブロック８０２は符号化の対象となるブロックであり、その対象ブロック８０２の境界に隣接する画素Ａ～Ｍからなる画素群８０１は隣接領域であり、過去の処理において既に再生された画像信号である。
　この場合、対象ブロック８０２の真上にある隣接画素である画素群８０１を下方に引き伸ばして予測信号を生成する。また図２０（Ｂ）では、対象ブロック８０４の左にある既再生画素（Ｉ～Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法は、例えば特許文献１に記載されている。このように図２０（Ａ）～（Ｉ）に示す方法で生成された９つの予測信号のそれぞれについて対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。
　通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトル、及び、対象ブロックの画素信号と予測信号との残差信号を符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。
　図１９は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面７０１上の対象ブロック７０２を例に予測信号の生成手順を説明する。参照画面７０３は既に再生済みであり、領域７０４は対象ブロック７０２と空間的に同一位置の領域である。ブロックマッチングでは、領域７０４を囲む探索範囲７０５を設定し、この探索範囲７０５の画素信号から対象ブロック７０２の画素信号との絶対値誤差和が最小となる領域７０６を検出する。この領域７０６の信号が予測信号となり、領域７０４から領域７０６への変位量が動きベクトル７０７として検出される。また、参照画面７０３を複数用意し、対象ブロック毎にブロックマッチングを実施する参照画面を選択し、参照画面選択情報を検出する方法もよく用いられる。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。
　動画像データの圧縮符号化では、各画面（フレーム、フィールド）の符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について２種類の手法がある。第１の手法は、１つの再生済み画面を参照して予測信号を生成する片予測であり、第２の手法は、１つあるいは２つの再生済み画面を参照して得られる２つの予測信号を平均化する双予測である。片予測には、表示順で過去の再生済み画面を参照する前方向予測と、表示順で未来の再生済み画面を参照する後方向予測とがある。画面間予測の種類については、例えば特許文献３に記載されている。
　H．264では、参照画面７０３の候補として、複数の再生済み画面から成る２つの参照画面リストを作成して第２の画面間手法（双予測）を行う。各参照画面リストに登録される複数の参照画面を対象としてブロックマッチングを行い、領域７０６に相当する領域を２つ検出し、検出した２つの予測信号を平均化する。
　図５と図６にて参照画面リストの例を説明する。図５（Ａ）では、画面５０５が符号化対象画像、画面５０１から画面５０４が再生済み画面を示している。図５（Ｂ）では、画面５１０が符号化対象画面、画面５０７、５０８、５０９と５１１が再生済み画面を示している。各画像（画面）の識別はフレーム番号（frame_num）にて行われる。図６のList0とList1が２つの参照画面リストを示しており、図６（Ａ）が図５（Ａ）の参照画面リスト、図６（Ｂ）と（Ｃ）が図５（Ｂ）の参照画面リストの例を示している。図６（Ａ）と（Ｃ）では、各参照画面リストにそれぞれ４個の参照画面が登録されており、図６（Ｂ）では、各参照画面リストにそれぞれ２個の参照画面が登録されている。各参照画面は参照画面インデックス（ref_idx）にて識別される。参照画面リストに登録できる再生済み画像は、基本的に任意である。なお、本件では、内容理解を容易にするために、上記の参照画面リストList0、List1に合せて、例えば、第０の動き情報、第１の動き情報といった呼称を用いている。
米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公報第６２５９７３９号
　双予測では、類似する２つの予測信号の平均化による平滑化効果で予測信号に含まれるノイズを取り除くことが可能となる。ところが、このような平滑化効果の大きいブロックはテクスチャ領域やノイズを含む平坦領域であることが多く、参照画面内に類似信号が複数個存在する。
　これらの領域の信号はランダム性が強いため、これらの領域にて対象ブロックに類似する２つの予測信号を複数の参照画面から探索すると、隣接するブロック間の動きベクトルがばらつくことがある。動きベクトルは、隣接ブロックの動きベクトルとの差で符号化するため、隣接ブロック間で動きベクトルがばらつくとその符号量が大きくなってしまう。
　双予測の符号量を少なくする手法としては、従来例で示したように、隣接ブロックの状況に用いて２つの動きベクトルを復号側で導出する方法があるが、利用できる予測信号の制限が強すぎるため２つの予測信号の類似性を高めることが難しく、十分な平滑化効果が得られない。
　上述の課題を解決するために、本発明では、対象ブロックと類似する予測信号を生成する１つの動きベクトルを符号化し、もう１つの動きベクトルを符号化済みの動き情報から選択的に求めることにより、２つの動きベクトルを符号化する双予測に対して少ない符号量で、効率良く予測信号のノイズを抑制する動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラムを提供することを目的とする。
　本発明の一側面に係る動画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段と、を具備し、前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、推定した第０の動きベクトルと類似する第０の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから、対象領域との相関が高い第１の予測信号を生成する動きベクトルを選択し、選択した動きベクトルを第１の予測動きベクトルとして識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定手段と、前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含むことを特徴とする。
　上記の動画像予測符号化装置では、前記第１の動き情報推定手段が、さらに、前記第１の予測信号を取得するための第２の動きベクトルを推定して、第２の動きベクトルを検出すると共に、推定した第２の動きベクトルと類似する第２の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第２の予測動き情報インデックスと、前記第２の動きベクトル及び前記第２の予測動きベクトルから決定される差分動きベクトルと、を含む第２の付加情報を生成する機能を有し、前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第１の動きベクトルにて前記第１の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第２の動きベクトルにて前記第１の予測信号を生成し、前記符号化手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第１の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第２の付加情報が符号化されることを指示する指示情報を符号化し、前記第０の付加情報と、前記指示情報に基づいて第１の付加情報あるいは第２の付加情報のいずれか一方とを各対象領域の付加情報として符号化してもよい。
　本発明の一側面に係る動画像予測復号装置は、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号を生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段と、を具備し、前記復号手段は、第０の付加情報と第１の付加情報とを復号し、前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第０の予測動き情報インデックスに基づいて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元手段と、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元手段と、を含み、前記動き補償手段は、前記第１の動きベクトルと第２の動きベクトルとに基づいて前記既再生画像から取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする。
　上記の動画像予測復号装置では、前記復号手段は、さらに、画面あるいはスライス毎に、前記第１の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含むことを示す場合には、前記第１の付加情報として差分動きベクトルを復号し、前記第１の動き情報復元手段は、前記指示情報が、第１の付加情報が第１の差分動きベクトルを含まないことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元し、前記指示情報が、第１の付加情報が差分ベクトルを含むことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルと復号した差分動きベクトルとを加算して第１の動きベクトルを生成して復元してもよい。
　本発明は、動画像予測符号化方法に係る発明、動画像予測復号方法に係る発明、動画像予測符号化プログラムに係る発明、動画像予測復号プログラムに係る発明として捉えることもでき、以下のように記述することができる。
　本発明の一側面に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、入力画像を複数の領域に分割する領域分割ステップと、前記領域分割ステップにより分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化ステップと、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として画像記録手段に保存する画像記録ステップと、を具備し、前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、前記予測信号生成ステップが、前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、推定した第０の動きベクトルと類似する第０の予測動きベクトルを前記動き情報記録ステップに保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定ステップと、前記動き情報記録ステップに保存されている複数の動きベクトルから、対象領域との相関が高い第１の予測信号を生成する動きベクトルを選択し、選択した動きベクトルを第１の予測動きベクトルとして識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定ステップと、前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成ステップと、を含むことを特徴とする。
　上記の動画像予測符号化方法では、前記第１の動き情報推定ステップにおいて、前記動画像予測符号化装置は、さらに、前記第１の予測信号を取得するための第２の動きベクトルを推定して、第２の動きベクトルを検出すると共に、推定した第２の動きベクトルと類似する第２の予測動きベクトルを前記動き情報記録ステップに保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第２の予測動き情報インデックスと、前記第２の動きベクトル及び前記第２の予測動きベクトルから決定される差分動きベクトルと、を含む第２の付加情報を生成し、前記予測信号生成ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第１の動きベクトルにて前記第１の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第２の動きベクトルにて前記第１の予測信号を生成し、前記符号化ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第１の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第２の付加情報が符号化されることを指示する指示情報を符号化し、前記第０の付加情報と、前記指示情報に基づいて第１の付加情報あるいは第２の付加情報のいずれか一方とを各対象領域の付加情報として符号化してもよい。
　本発明の一側面に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号ステップと、前記付加情報から前記対象領域の予測信号を生成に要する動きベクトルを復元する動き情報復元ステップと、前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償ステップと、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録ステップと、を具備し、前記復号ステップにおいて、前記動画像予測復号装置は、第０の付加情報と第１の付加情報とを復号し、前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録ステップに格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、前記第１の付加情報は、前記動き情報記録ステップに格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、前記動き情報復元ステップが、前記第０の予測動き情報インデックスに基づいて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元ステップと、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元ステップと、を含み、前記動き補償ステップにおいて、前記動画像予測復号装置は、前記第１の動きベクトルと第２の動きベクトルとに基づいて前記既再生画像から取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする。
　上記の動画像予測復号方法では、前記復号ステップにおいて、前記動画像予測復号装置は、さらに、画面あるいはスライス毎に、前記第１の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含むことを示す場合には、前記動画像予測復号装置は、前記第１の付加情報として差分動きベクトルを復号し、前記第１の動き情報復元ステップにおいて、前記動画像予測復号装置は、前記指示情報が、第１の付加情報が第１の差分動きベクトルを含まないことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元し、前記指示情報が、第１の付加情報が差分ベクトルを含むことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルと復号した差分動きベクトルとを加算して第１の動きベクトルを生成して復元してもよい。
　本発明の一側面に係る動画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割手段と、前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、前記動きベクトルを保存する動き情報記録手段と、前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段、として機能させるための動画像予測符号化プログラムであり、前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、前記予測信号生成手段が、前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、推定した第０の動きベクトルと類似する第０の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定手段と、前記動き情報記録手段に保存されている複数の動きベクトルから、対象領域との相関が高い第１の予測信号を生成する動きベクトルを選択し、選択した動きベクトルを第１の予測動きベクトルとして識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定手段と、前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、を含むことを特徴とする。
　上記の動画像予測符号化プログラムでは、前記第１の動き情報推定手段が、さらに、前記第１の予測信号を取得するための第２の動きベクトルを推定して、第２の動きベクトルを検出すると共に、推定した第２の動きベクトルと類似する第２の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第２の予測動き情報インデックスと、前記第２の動きベクトル及び前記第２の予測動きベクトルから決定される差分動きベクトルと、を含む第２の付加情報を生成する機能を有し、前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第１の動きベクトルにて前記第１の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第２の動きベクトルにて前記第１の予測信号を生成し、前記符号化手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第１の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第２の付加情報が符号化されることを指示する指示情報を符号化し、前記第０の付加情報と、前記指示情報に基づいて第１の付加情報あるいは第２の付加情報のいずれか一方とを各対象領域の付加情報として符号化してもよい。
　本発明の一側面に係る動画像予測復号プログラムは、コンピュータを、複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、前記付加情報から前記対象領域の予測信号を生成に要する動きベクトルを復元する動き情報復元手段と、前記動きベクトルを保存する動き情報記録手段と、前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段、として機能させるための動画像予測復号プログラムであり、前記復号手段は、第０の付加情報と第１の付加情報とを復号し、前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、前記動き情報復元手段が、前記第０の予測動き情報インデックスに基づいて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元手段と、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元手段と、を含み、前記動き補償手段は、前記第１の動きベクトルと第２の動きベクトルとに基づいて前記既再生画像から取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする。
　上記の動画像予測復号プログラムでは、前記復号手段は、さらに、画面あるいはスライス毎に、前記第１の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含むことを示す場合には、前記第１の付加情報として差分動きベクトルを復号し、前記第１の動き情報復元手段は、前記指示情報が、第１の付加情報が第１の差分動きベクトルを含まないことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元し、前記指示情報が、第１の付加情報が差分ベクトルを含むことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルと復号した差分動きベクトルとを加算して第１の動きベクトルを生成して復元してもよい。
　本発明の動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラムによれば、符号化済みの動き情報に基づいて双予測に有効な１つの動きベクトルを指示できるので、少ない符号量で双予測の性能を高める効果がある。
本実施形態に係る動画像予測符号化装置を示すブロック図である。 図１に示す予測信号生成器を説明するブロック図である。 図２に示す第１の動き推定処理を説明するフローチャートである。 図２に示す第０の動き推定処理を説明するフローチャートである。 画面の符号化順の例を説明する模式図である。 参照画面リストの例を説明する図である。 隣接ブロックの例を説明する図である。 隣接ブロックの別例を説明する図である。 図１に示す動画像予測符号化装置の動画像予測符号化方法の手順を示すフローチャートである。 本実施形態に係る動画像予測復号装置を示すブロック図である。 図１０に示す動き情報復元器を説明するブロック図である。 図１１に示す第１の動き情報復元処理を説明するフローチャートである。 図１１に示す第０の動き情報復元処理を説明するフローチャートである。 図１０に示す動画像予測復号装置の動画像予測復号方法の手順を示すフローチャートである。 本実施形態に係る動画像予測符号化方法を実行することができるプログラムを示すブロック図である。 本実施形態に係る動画像予測復号方法を実行することができるプログラムを示すブロック図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 画面間予測における動き推定処理を説明するための模式図である。 従来の画面内予測方法を説明するための模式図である。
　以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。また、動画像を構成する「フレーム」、「画面」、「画像」（図５の５０１から５１１）は本明細書内の説明では同じ意味とする。
　図１は、本実施形態に係る動画像予測符号化装置１００を示すブロック図である。この動画像予測符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、符号化器１１１、出力端子１１２、動き情報用メモリ１１３を備えている。変換器１０６及び量子化器１０７は残差信号圧縮手段として機能し、逆量子化器１０８及び逆変換器１０９は残差信号復元手段として機能し、動き情報用メモリは動き情報記録手段として機能する。また、動き情報用メモリ１１３は、予測信号生成器１０３に含まれてもよい。
　入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。
　ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化の対象なる画像を複数の領域（対象ブロック、対象領域）に分割する。本実施形態では、８×８の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。
　予測信号生成器１０３は、対象ブロック内の各予測ブロックの予測信号を生成するために必要な動き情報を検出すると共に、予測信号を生成する。また、復号装置にて動き情報の復元に必要となる付加情報を生成する。予測信号の生成方法は本発明では限定されないが、背景技術で説明したような画面間予測（片予測、双予測）や画面内予測（画面内予測については図示せず）が適用可能である。
　本実施形態では、双予測にて予測信号を生成する。双予測の１つの動き情報は図１９に示したブロックマッチングにて、Ｌ１０２経由で入力される対象ブロックの元の信号と双予測信号との絶対値誤差和が最小となるようにＬ１０４経由で取得される画像信号を用いて検出する。そして、もう１つの動き情報は、符号化済みの動き情報に基づいて生成する。
　本実施形態では、双予測について説明するため、動き情報は、第０の動き情報と第１の動き情報で構成され、それぞれ、参照画面インデックス（ref_idx[0]またはref_idx[1]）と動きベクトル（mv[0][0/1]またはmv[1][0/1]）を含む。第０の動き情報の参照画面の候補は図６のList0、第１の動き情報の参照画面の候補は図６のList1にて指示される。ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する（図面でも同様に省略）。
　なお、図６に示す参照画面リストに登録される再生画像は、予め定めておいたルールに従って自動的に決まってもよいし、フレーム単位やシーケンス単位で明示的に符号化してもよい。この際、各参照画面の識別には図５と図６に示すようにフレーム番号が利用できる。
　予測信号生成器１０３にて生成された動き情報はＬ１０３ｂを経由して、動き情報用メモリ１１３に出力される。
　動き情報用メモリ１１３は、入力された動き情報を保存する。保存した動き情報は、Ｌ１１３を経由して予測信号生成器に入力され、後続するブロックの動き情報の符号化に利用される。
　予測信号生成器１０３にて生成された付加情報はＬ１０３ｃを経由して、符号化器１１１に出力される。
　予測信号生成器１０３にて生成された予測信号は、Ｌ１０３ａ経由で減算器１０５と加算器１１０に出力される。
　減算器１０５は、ラインＬ１０２を経由して入力されたブロック分割器１０２で分割して入力された対象ブロックの画素信号からラインＬ１０３ａを経由して入力される対象ブロックに対する予測信号を減算して、残差信号を生成する。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。
　変換器１０６は、入力された残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分である。
　符号化器１１１は、予測信号生成器より入力された付加情報と量子化器１０７から入力された量子化変換係数をエントロピー符号化し、符号化データはＬ１１１を経由で出力端子１１２に出力される。エントロピー符号化の方法は限定されないが、算術符号化や可変長符号化などが適用できる。
　出力端子１１２は、符号化器１１１から入力した情報をまとめて外部に出力する。
　逆量子化器１０８は、量子化された変換係数を逆量子化する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する。加算器１１０は、復元された残差信号とＬ１０３ａ経由で入力される予測信号とを加算し、符号化対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の符号化対象ブロックの予測信号生成に用いるため、符号化された符号化対象ブロックの再生信号は、逆処理にて復元されフレームメモリ１０４に記憶される。
　次に、予測信号生成器１０３について詳しく説明する。そこで、まず、動き情報、予測動き情報と付加情報について述べる。
　上記で示したとおり、双予測における動き情報は、第０の動き情報と第１の動き情報で構成され、それぞれ、参照画面インデックス（ref_idx[0]またはref_idx[1]）と動きベクトル（mv[0]またはmv[1]）を含む。第０の動き情報の参照画面の候補は図６のList0、第１の動き情報の参照画面の候補は図６のList1にて指示される。
　本実施形態の双予測では、予測信号生成器１０３にて、既に符号化済みの動き情報を予測動き情報として利用する。符号化済みの動き情報には、符号化済みの隣接ブロックに付随する動き情報や、対象領域の符号化済みの動き情報が含まれる。なお、隣接ブロックに付随する動き情報とは、隣接ブロックが符号化対象であったときに予測信号の生成に用いた動き情報を指しており、動き情報用メモリ１１３に保存されている。
　予測動き情報も、第０の予測動き情報と第１の予測動き情報で構成され、それぞれ、参照画面インデックス（ref_idx[0]またはref_idx[1]）と動きベクトル（mv[0]またはmv[1]）を含む。第０の予測動き情報の参照画面の候補は図６のList0、第１の予測動き情報の参照画面の候補は図６のList1にて指示される。
　予測動き情報の具体的な利用方法としては、List0の参照画面を参照してブロックマッチングにて検出した第０の動き情報の動きベクトルを差分符号化する際に、第０の予測動き情報に基づいて、予測動きベクトルを生成する。また、List1の参照画面を用いる第１の動き情報を第１の予測動き情報に基づいて生成する。
　予測動き情報の例を図７にて説明する。図７に示すブロック４００が対象ブロックであり、それに隣接するブロック４０１から４０４に付随する動き情報が予測動き情報の候補となる。隣接ブロックの動き情報はそれぞれ第０の動き情報と第１の動き情報を含んでいる。両方を予測動き情報の候補としてもよいし、一方に限定してもよい（第Ｎの動き情報を予測する場合には、隣接ブロックの第Ｎの動きベクトルのみを候補とする）。
　また、ブロック４１０が、参照画面内でブロック４００と空間的に同じ位置のブロック（co-located　block）を示す。ブロック４１０とそれに隣接するブロック４１１から４１５に付随する動き情報が予測動き情報の候補となる。nは予測動き情報の候補を識別する番号を示しており、選択された候補は、予測動き情報インデックス（mvp_idx[0]またはmvp_idx[1]）にて指示される。本実施形態では、第０の動き情報を先に符号化するため、第１の予測動き情報としては、ブロック４００に付随する第０の動き情報を利用することも可能である（例ではn=4とする）。
　なお、予測動き情報の候補の位置と番号は、符号化側と復号側で予め定められていればよく、本発明では限定されない。また、予測動き情報の候補の数は、符号化側と復号側で予め定められていてもよいし、符号化してもよい。
　また、予測動き情報のref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。つまり、予測動き情報に含まれる動きベクトルをスケーリングして、対象ブロックにて識別される参照画面を指示する動きベクトルに変換し、変換した動きベクトルを予測動きベクトル（pmv[0][0/1]またはpmv[1][0/1]）として用いる。この際、予測動き情報に含まれる参照画面インデックス（ref_idx[0]またはref_idx[1]）は、対象ブロックの参照画面インデックス（ref_idx[0]またはref_idx[1]）に更新される。ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する（図面でも同様に省略）。
　付加情報は、第０の付加情報と第１の付加情報にて構成される。第０の付加情報は、ref_idx[0]と差分動きベクトル（mvd[0][0/1]＝mv[0][0/1]－pmv[0][0/1]）とmvp_idx[0]を含む。第１の付加情報は、ref_idx[1]とmvp_idx[1]を含む。本実施形態ではmv[1][0/1]＝pmv[1][0/1]とするため、mvd[1][0/1]のベクトル値は常に０となる。mvd[1][0/1]は符号化しなくても復号側で復元できるため、第１の付加情報に含める必要がない。ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する（図面でも同様に省略）。
　図２は、本実施形態に係る予測信号生成器１０３の構成を示すブロック図である。この予測信号生成器１０３は、第１の動き情報推定器１２１、第０の動き情報推定器１２２、予測信号合成器１２３を備えている。
　第１の動き情報推定器１２１では、Ｌ１０４を経由して入力されるList1の参照画面を用いて、Ｌ１１３を経由して入力される複数の第１の予測動き情報の候補（参照画面インデックスに応じて動きベクトルをスケーリングして予測動きベクトルとする）からＬ１０２を経由して入力される対象ブロックの元の信号に最も類似する第１の予測信号を生成する１つの第１の予測動き情報の候補と参照画面インデックスの組を選択する。第１の予測信号をＬ１２１ａ経由で予測信号合成器１２３に出力し、選択された第１の予測動き情報と参照画面インデックスの組に基づいて生成される第１の動き情報を、Ｌ１２１ｂとＬ１０３ｂ１を経由して第０の動き情報推定器１２２と動き情報用メモリ１１３にそれぞれ出力する。さらに、第１の付加情報を生成し、Ｌ１０３ｃ１経由で符号化器１１１に出力する。
　第０の動き情報推定器１２２では、Ｌ１２１ｂから入力される第１の動き情報とＬ１０４を経由して入力されるList1の参照画面を用いて、第１の予測信号を生成する。そして、Ｌ１０４を経由して入力されるList0の参照画面を探索し、第１の予測信号と探索した第０の予測信号の候補により生成される双予測信号とＬ１０２を経由して入力される対象ブロックの元の信号との絶対値差分和が最小となる第０の動き情報を検出する。検出した第０の動き情報により生成される第０の予測信号をＬ１２２経由で予測信号合成器１２３に出力する。また、第０の動き情報を、Ｌ１０３ｂ２を経由して動き情報用メモリ１１３に出力する。さらに、第０の付加情報を生成し、Ｌ１０３ｃ２経由で符号化器１１１に出力する。
　なお、第０の動き情報推定器１２２による処理を先に実行して、第０の動き情報と第０の付加情報を第０の予測信号よりも先に求めても良い。この場合は、探索した第０の予測信号の候補により生成される予測信号とＬ１０２を経由して入力される対象ブロックの元の信号との絶対値差分和が最小となる第０の動き情報を検出する。そして、第０の予測信号を利用して、第１の動き情報推定器１２１を実行する。つまり、Ｌ１０４を経由して入力されるList1の参照画面を用いて、Ｌ１１３を経由して入力される複数の第１の予測動き情報の候補（参照画面インデックスに応じて動きベクトルをスケーリングして予測動きベクトルとする）から第１の予測信号の候補を生成し、第０の予測信号と第１の予測信号の候補により生成される双予測信号がＬ１０２を経由して入力される対象ブロックの元の信号に最も類似するように第１の予測動き情報の候補と参照画面インデックスの組を選択する。この変形は、第０の動き情報を第１の動き情報推定器１２１に入力することにより実施できる。
　予測信号合成器１２３では、Ｌ１２１ａとＬ１２２を経由して入力される第１の予測信号と第０の予測信号を平均化して、対象ブロックの予測信号を生成、Ｌ１０３ａ経由で減算器１０５と加算器１１０に出力される。
　図３に第１の動き情報推定器１２１のフローチャートを示す。最初にステップＳ３０１にて対象ブロックの予測に用いるList1の参照画面の数をM（図６（Ａ）や（Ｃ）ではＭ＝４、図６（Ｂ）ではＭ＝２）に設定するとともに、第１の動き情報に含まれるList1の参照画面インデックスref_idx[1]を0に設定し、List1の参照画面数のカウントmを0に初期化する。さらに、動きベクトル評価値DをMax値に設定する。次に、ステップＳ３０２にて、予測動きベクトルの候補数をＮ（図７ではＮ＝１１、但し、第１の動き情報推定器１２１を第０の動き情報推定器１２２よりも先に実施する場合には、ブロック４００の第０の動き情報は決定していないためn=4はスキップする）に設定し、第１の付加情報に含まれる予測動き情報インデックスmvp_idx[1]を0に設定し、予測動き情報数のカウントnを0に初期化する。
　次に、ステップＳ３０３にて、隣接ブロックの動きベクトルから予測動きベクトル候補nの動きベクトルを取得し、ステップＳ３０４にて、n番目の予測測動きベクトルpmv[1][m][n][0/1]を生成する（ここで[0/1]はベクトルの水平成分と垂直成分を識別する情報である。以降、[0/1]の記述は省略する。図面でも同様に省略する）。この際、隣接ブロックの動きベクトルを対象画面と参照画面の距離（参照画面インデックスにより識別されるフレーム番号）に応じてスケーリングして、予測動きベクトルとする。その後、ステップＳ３０５にて、第m番目の参照画面とn番目のスケーリング後の予測動きベクトル(pmv[1][m][n])に基づいて対象ブロックの予測信号を生成し、ステップＳ３０６にて、生成した予測信号と対象ブロックの元の信号との差分信号の絶対値和が動きベクトル評価値Dより小さいか否かを判定する。絶対値和が動きベクトル評価値D以上の場合には、ステップＳ３０８に進む。絶対値和が動きベクトル評価値Dより小さい場合には、ステップＳ３０７に進み、第１の付加情報に含まれる予測動き情報インデックスmvp_idx[1]をnに更新し、参照画面インデックスをref_idx[1]をmに更新し、動きベクトル評価値DをステップＳ３０６にて算出した予測信号と対象ブロックの元の信号との差分信号の絶対値和に更新する。さらに第１の動き情報に含まれる動きベクトルmv[1]を予測動きベクトルpmv[1][ref_idx[1]][mvp_idx[1]]に設定し、参照画面インデックスをref_idx[1]に設定する。その後、ステップＳ３０８に進む。
　ステップＳ３０８では、nの値がＮより小さいか否かを判定し、nがNより小さい場合には、ステップＳ３０９に進み、nがNに達した場合にはステップＳ３１０に進む。ステップＳ３０９では、nの値に１を加算し、ステップＳ３０３に戻る。その後、nがＮに達するまでステップＳ３０３からステップＳ３０７を繰り返す。ステップＳ３１０では、mの値がMより小さいか否かを判定し、mがMより小さい場合には、ステップＳ３１１に進み、mの値に１を加算し、ステップＳ３０２に戻る。その後、mがMに達するまでステップＳ３０２からステップＳ３０９を繰り返す。mがMに達した場合には、ステップＳ３１２にて第１の付加情報（ref_idx[1]、mvp_idx[1]）を符号化器１１１に出力すると共に、第１の動き情報（ref_idx[1]とmv[1]）を動き情報用メモリ１１３に格納して、第０の動き情報推定器１２２に出力し、処理を終了する。
　図４に第０の動き情報推定器１２２のフローチャートを示す。最初にステップＳ３５１にて、第１の動き情報に基づいて双予測における第１の予測信号を生成する。次に、ステップＳ３５２にて、対象ブロックの予測に用いるList0の参照画面の数をM（図６（Ａ）や（Ｃ）ではＭ＝４、図６（Ｂ）ではＭ＝２））に設定するとともに、第０の動き情報に含まれるList0の参照画面インデックスref_idx[0]を0に設定し、List0の参照画面数のカウントmを0に初期化する。さらに、動きベクトル評価値DをMax値に設定する。次に、ステップＳ３５３にて、複数の候補から第０の動きベクトルを差分符号化する際に用いる予測動きベクトルを識別する予測動き情報インデックスmvp_idx[0]を決定する。選択方法は、例えば、図３のステップＳ３０３からＳ３０９に示す手法が利用できる。そして、予測動きベクトルの候補pmv[0][m][n]を生成する。この際、図３のステップＳ３０４にて説明したように、隣接ブロックの動きベクトルを対象画面と参照画面の距離（参照画面インデックスにより識別されるフレーム番号）に応じてスケーリングして予測動きベクトルとする。
　次に、ステップＳ３５４にて、フレームメモリ１０４に格納されているref_idx[0]にて指示される参照画面を取得し、第１の予測信号とあわせて平均化することによって得られる双予測信号と元の信号との差分信号の絶対値和が最小となる第０の動きベクトルmv[0]を探索する。続いてステップＳ３５５では、第０の差分動きベクトルmvd[0]（＝mv[0]－pmv[0][m][n]）を生成する。続いて、ステップＳ３５６にて、生成した双予測信号と対象ブロックの元の信号との差分信号の絶対値和と第０の付加情報（mvd[0]とmとn）の符号量評価値（λ(QP)×(mvd、m、nの符号量)、λは予測誤差信号を変換した変換係数を量子化する際の量子化精度を決めるパラメータＱＰにてきまる重み値）の和が動きベクトル評価値Dより小さいか否かを判定する。絶対値和＋符号量評価値が動きベクトル評価値D以上の場合には、ステップＳ３５８に進む。絶対値和＋符号量評価値が動きベクトル評価値Dより小さい場合には、ステップＳ３５７に進み、第０の付加情報に含まれる予測動き情報インデックスmvp_idx[0]をnに更新し、参照画面インデックスをref_idx[0]をmに更新し、差分動きベクトルmvd[0]を（mv[0]－pmv[0][ref_idx[1]][mvp_idx[1]]）に更新し、DをステップＳ３５６にて算出した双予測信号と対象ブロックの元の信号との差分信号の絶対値和＋符号量評価値に更新する。さらに第０の動き情報に含まれる動きベクトルmv[0]を更新する。その後、ステップＳ３５８に進む。
　ステップＳ３５８では、mの値がMより小さいか否かを判定し、mがMより小さい場合には、ステップＳ３５９に進み、mの値に１を加算し、ステップＳ３５３に戻る。その後、mがMに達するまでステップＳ３５３からステップＳ３５９を繰り返す。mがMに達した場合には、ステップＳ３６０にて、第０の付加情報（ref_idx[0]、mvd[0]、mvp_idx[0]）を符号化器１１１に出力すると共に、第０の動き情報（ref_idx[0]とmv[0]）を動き情報用メモリ１１３に格納して、処理を終了する。
　なお、第０の動き情報推定器１２２を先に実行して、第０の動き情報と第０の付加情報を第０の予測信号よりも先に求めても良い。この場合、図４のステップＳ３５１は省略され、ステップＳ３５６では、双予測信号ではなく、第０の予測信号と元の信号との差分信号の絶対値和を求める。図３では、図７のn=4で指示される第０の動き情報を予測動き情報の候補として活用することが可能となる。第０の動き情報に基づいて双予測における第０の予測信号を生成するステップを追加し、ステップＳ３０６で、生成した第１の予測信号と第０の予測信号を平均化することにより生成される双予測信号と元の予測信号との差分信号の絶対値和を算出するように変更することにより、この変形は実現できる。
　このように、既に符号化済みの動き情報に基づいて双予測の第１の動きベクトルを生成し、動きベクトルの代わりに、図６と図７に示すような複数の候補から参照画面インデックスと予測動き情報を識別する識別情報を符号化することにより、少ない符号量で、ランダム性の高いテクスチャ領域やノイズを含む平坦領域の対象ブロックの信号に類似する１つの類似信号を生成できる。さらに、参照画面上を探索して、第２の類似信号を生成する第０の動きベクトルを検出して符号化することにより、２つの動きベクトルを共に符号化済みの動き情報から求める場合に比較して、双予測信号の平滑化効果を高める効果が期待できる。
　図９は、本実施形態に係る動画像予測符号化装置１００における動画像予測符号化方法の手順を示すフローチャートである。まず、ブロック分割器１０２にて入力画像を８×８の符号化ブロック（それ以外のブロックの大きさ又は形に分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。）に分割する。
　まず、予測信号生成器１０３を構成する第１の動き情報推定器１２１がフレームメモリ１０４から得られるList１の参照画面と動き情報用メモリから得られる第１の予測動き情報の候補を用いて、対象ブロックに類似する第１の予測信号を生成すると共に、第１の予測信号の生成に必要となる第１の動き情報と第１の付加情報を生成する（ステップＳ１００）。このステップの詳細については、図３にて説明済みである。次に、第０の動き情報推定器１２２がフレームメモリ１０４から得られるList0の参照画面と動き情報用メモリから得られる第０の予測動き情報の候補と、第１の動き情報推定器１２１から得られる第１の動き情報を用いて、対象ブロックに類似する第０の予測信号を生成すると共に、第０の予測信号の生成に必要となる第０の動き情報と第０の付加情報を生成する（ステップＳ１５０）。このステップの詳細については、図４にて説明済みである。
　次に、第０の付加情報と第１の付加情報を符号化器１１１でエントロピー符号化すると共に、第０の動き情報と第１の動き情報を動き情報用メモリ１１３に格納する（ステップＳ１０１）。続いて、ステップＳ１０２では、予測信号生成器１０３を構成する予測信号合成器１２３にて、第０の予測信号と第１の予測信号を平均化して、対象ブロックの双予測信号を生成する。符号化対象ブロックの画素信号と予測信号との差分を示す残差信号は、変換器１０６、量子化器１０７及び符号化器１１１により変換符号化される（ステップＳ１０３）。付加情報と量子化変換係数の符号化データは出力端子１１２を介して出力される（ステップＳ１０４）。後続の符号化対象ブロックを予測符号化するため、これら処理の後に又はこれらの処理と並行して符号化された残差信号が逆量子化器１０８及び逆変換器１０９により復号される。そして、加算器１１０にて、復号された残差信号と予測信号とが加算され、符号化対象ブロックの信号が再生される。再生信号はフレームメモリ１０４に参照画面として記憶される（ステップＳ１０５）。そして、すべての符号化対象ブロックの処理が完了していない場合にはステップＳ１００に戻り、次の符号化対象ブロックに対する処理が行われる。すべての符号化対象ブロックの処理が完了している場合には、処理を終了する（ステップＳ１０６）。
　次に、本実施形態に係る動画像予測復号方法について説明する。図１０は、本実施形態に係る動画像予測復号装置２００を示すブロック図である。この動画像予測復号装置２００は、入力端子２０１、復号器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、動き補償器２０７、動き情報復元器２０８、フレームメモリ１０４、動き情報用メモリ１１３を備えている。逆量子化器２０３、逆変換器２０４は、残差信号復元手段として機能し、動き情報用メモリ１１３は動き情報記録手段として機能する。逆量子化器２０３及び逆変換器２０４による復号手段は、これらのもの以外を用いて行ってもよい。また、逆変換器２０４はなくてもよい。
　入力端子２０１は、上述した動画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、複数に分割された符号化ブロックについて、誤差信号を変換量子化してエントロピー符号化した量子化変換係数の情報の符号化データと、ブロックの双予測信号を生成するための第０の付加情報と第１の付加情報の符号化データが含まれている。
　復号器２０２は、入力端子２０１に入力された圧縮データを解析し、復号対象ブロックに関して、量子化変換係数の符号化データ、付加情報の符号化データに分離して、エントリピー復号し、Ｌ２０２ａ、Ｌ２０２ｂ経由で、それぞれ、逆量子化器２０３、動き情報復元器２０８に出力する。
　動き情報復元器２０８は、第０の付加情報（ref_idx[0]、mvd[0]、mvp_idx[0]）と第１の付加情報（ref_idx[1]、mvp_idx[1]）を、Ｌ２０２ｂを経由して入力し、Ｌ１１３経由で取得される復号済みの動き情報を利用して、第０の動き情報（ref_idx[0]、mv[0]）と第１の動き情報（ref_idx[1]、mv[1]）を復元する。復元された第０の動き情報と第１の動き情報はＬ２０８ａとＬ２０８ｂ経由で動き補償器２０７と動き情報用メモリ１１３にそれぞれ出力される。動き情報用メモリは動き情報を保存する。
　動き補償器２０７は、２つの動き情報に基づいてフレームメモリ１０４から既再生信号を取得し、２つの予測信号を平均化して、復号対象ブロックの双予測信号を生成する。生成された予測信号はＬ１２６経由で加算器２０５に出力される。
　復号器２０２にて復号された復号対象ブロックにおける残差信号の量子化変換係数は、Ｌ２０３経由で逆量子化器２０３に出力される。逆量子化器２０３は、復号対象ブロックにおける残差信号の量子化係数を逆量子化する。逆変換器２０４は、逆量子化したデータを逆離散コサイン変換して残差信号を生成する。
　加算器２０５は、動き補償器２０７で生成された双予測信号を、逆量子化器２０３および逆変換器２０４により復元された残差信号に加算して、復号対象ブロックの再生画素信号をラインＬ２０５経由で出力端子２０６およびフレームメモリ１０４に出力する。出力端子２０６は、外部に（例えばディスプレイ）出力する。
　フレームメモリ１０４は、つぎの復号処理のための参照用の再生画像として、加算器２０５から出力された再生画像を参照画面として記憶する。
　図１１は、本実施形態に係る動き情報復元器２０８の構成を示すブロック図である。この動き情報復元器２０８は、第１の動き情報復元器２１１、第０の動き情報復元器２１２を備えている。
　これらの第１の動き情報復元器２１１と第０の動き情報復元器２１２は同時に動作することが可能である。
　第０の動き情報復元器２１２は、第０の付加情報（ref_idx[0]、mvp_idx[0]、mvd[0]）を入力として、Ｌ１１３経由で得られる隣接ブロックの動き情報から第０の予測動きベクトル（pmv[0][ref_idx[0]][mvp_idx[0]]）を生成し、予測動きベクトルと付加情報に含まれる差分動きベクトル（mvd[0]）を加算することにより、第０の動き情報に含まれる動きベクトルを生成することにより、第０の動き情報を復元する。同様に、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。
　第１の動き情報復元器２１１は、第１の付加情報（ref_idx[1]、mvp_idx[1]）を入力として、Ｌ１１３経由で得られる復号済みの動き情報から第１の予測動きベクトル（pmv[1][ref_idx[1]][mvp_idx[1]]）を生成する。この予測動きベクトルを第１の動き情報に含まれる動きベクトル（mv[1]＝pmv[1][ref_idx[1]][mvp_idx[1]）とすることにより、第１の動き情報を復元する。このとき、差分動きベクトルmvd[1]をゼロベクトルに設定し、これを予測動きベクトルと加算して、第１の動きベクトルを復元するようにしてもよい。なお、この際、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。つまり、予測動き情報に含まれる動きベクトルをスケーリングして、対象ブロックにて識別される参照画面を指示する動きベクトルに変換し、変換した動きベクトルを予測動きベクトルとして用いる。
　図１３に第０の動き情報復元器２１２のフローチャートを示す。最初にステップＳ４５１にて第０の付加情報（ref_idx[0]とmvp_idx[0]とmvd[0]）の復号データを入力する。次に、ステップＳ４５２にて、入力されたref_idx[0]とmvp_idx[0]に基づいて、図７に示すような隣接ブロックの動き情報（ブロック４００の動き情報は未定のため含めない）から、mvp_idx[0]にて指示される動き情報を入力し、予測動きベクトル（pmv[0][ref_idx[0]][mvp_idx[0]]）を導出する。このとき、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。その後、ステップＳ４５３にて、生成した予測動きベクトルと差分動きベクトルを加算して、第０の動きベクトルを復元する（mv[0]＝pmv[0][ref_idx[0]][mvp_idx[0]]＋mvd[0]）。最後にステップＳ４５４にて第０の動き情報（ref_idx[0]とmv[0]）を動き補償器２０７と動き情報用メモリ１１３に出力して、処理を終了する。
　図１２に第１の動き情報復元器２１１のフローチャートを示す。最初にステップＳ４０１にて第１の付加情報（ref_idx[1]とmvp_idx[1]）の復号データを入力し、ステップＳ４０２にて差分動きベクトル（mvd[1]）のベクトル値を０に設定する。次に、ステップＳ４０３にて、入力されたref_idx[1]とmvp_idx[1]に基づいて、図７に示すように復号済みの動き情報（n=4を含めることが可能）から、mvp_idx[1]にて指示される動き情報を入力し、予測動きベクトル（pmv[1][ref_idx[1]][mvp_idx[1]]）を導出する。このとき、ref_idxにて識別される参照画面と対象ブロックのref_idxにて識別される参照画面が異なる場合には、符号化対象画面と２つの参照画面のフレーム番号に基づいて、予測動き情報に含まれる動きベクトルのスケーリング処理を行ってもよい。その後、ステップＳ４０４にて、生成した予測動きベクトルと差分動きベクトルを加算して、第１の動きベクトルを復元する（mv[1]＝pmv[1][ref_idx[1]][mvp_idx[1]]＋mvd[1]）。最後にステップＳ４０５にて第１の動き情報（ref_idx[1]とmv[1]）を動き補償器２０７と動き情報用メモリ１１３に出力して、処理を終了する。なお、mvd[1]のベクトル値は常に０となるため、ステップＳ４０２を省略し、ステップＳ４０４にて予測動きベクトルを動きベクトルに設定してもよい（mv[1]＝pmv[1][ref_idx[1]][mvp_idx[1]]）。
　次に、図１４を用いて、図１０に示す動画像予測復号装置２００における動画像予測復号方法を説明する。まず、入力端子２０１を介して、圧縮データが入力される（ステップＳ２０１）。そして、復号器２０２にて圧縮データのデータ解析し、エントロピー復号を行い、双予測信号の生成に必要となる第０の付加情報と第１の付加情報、ならびに量子化変換係数を復号する（ステップＳ２０２）。
　次に、動き情報復元器２０８を構成する第０の動き情報復元器２１２にて、第０の付加情報と動き情報用メモリ１１３に保存されている隣接ブロックの動き情報を用いて、第０の動き情報を復元する（ステップＳ２５０）。このステップの詳細については、図１３にて説明済みである。
　続いて、動き情報復元器２０８を構成する第１の動き情報復元器２１１にて、第１の付加情報と動き情報用メモリ１１３に保存されている隣接ブロックの動き情報を用いて、第１の動き情報を復元する（ステップＳ２００）。このステップの詳細については、図１２にて説明済みである。
　次に、復元された動き情報に基づいて、動き補償器２０７が復号対象ブロックの双予測信号を生成する共に、動き情報を動き情報用メモリ１１３に保存する（Ｓ２０７）。
　復号器２０２にて復号された量子化変換係数は、逆量子化器２０３において逆量子化され、逆変換器２０４において逆変換が行われ、再生残差信号が生成される（Ｓ２０８）。そして、生成された双予測信号と再生残差信号とが加算されることで再生信号が生成され、この再生信号が次の復号対象ブロックを再生するためにフレームメモリ１０４に格納される（ステップＳ２０９）。次の圧縮データがある場合には、Ｓ２０２～Ｓ２０９のプロセスを繰り返し（Ｓ２１０）、全てデータが最後まで処理される。
　次に、本発明を含む複数の双予測方法を選択的に利用する手法について説明する。上記で説明した１本の差分動きベクトルのみを符号化する双予測（双予測タイプ２と呼ぶ）は、従来の２本の差分動きベクトルを符号化する双予測（双予測タイプ１と呼ぶ）ならびに片予測と適応的に組み合わせて利用できる。これらの予測方式は、画面単位、複数のブロックをまとめたスライス単位、あるいはブロック単位で切り替えて利用することが可能である。切り替え処理には、切り替え情報を符号化する方法や、参照画面のフレーム番号に基づいて復号側にて決定する方法が利用できる。
　なお、双予測タイプ１と双予測タイプ２を切り替える処理は、図２の第１の動き情報推定器１２１に、ブロックマッチング機能と探索した動きベクトルから予測ベクトルを減算して差分動きベクトルを算出する機能を追加し、図１１の第１の動き情報復元器に差分動きベクトルを復号器から取得する機能を追加することにより実現できる。下記に具体的な方法を説明する。
　（画面/スライス単位切り替え、双予測タイプの切り替え情報符号化）
　画面/スライス単位で双予測タイプ１と双予測タイプ２を切り替える場合には、双予測タイプの切り替え情報（例えば、BiPred_type）を、画面あるいはスライスのヘッダに含めて符号化する。
　図５（Ａ）のようにすべての参照画面の候補が、符号化対象画面より表示順で過去の画面の場合には、双予測タイプ２が有効となるため、符号化側で、双予測タイプ２の利用を選択する。そして、符号化装置は、画面あるいはスライスのヘッダ情報にて、双予測タイプ２を示す指示情報（例えば、BiPred_type=1）を符号化する。一方、図５（Ｂ）のように、表示順で符号化対象画面に対して未来の画面が参照画面の候補に含まれる場合には、符号化装置は、双予測タイプ１を選択し、画面あるいはスライスのヘッダ情報にて、双予測タイプ１を示す指示情報（例えば、BiPred_type=0）を符号化する。
　双予測タイプ１を利用する場合には、画面内あるいはスライス内のブロックを符号化する際に、動きベクトルmv[1]を探索し。第０の付加情報（ref_idx[0]とmvd[0]とmvp_idx[0]を符号化）と同じく、第１の付加情報にmvd[1]を含め、ref_idx[1]とmvp_idx[1]と共に符号化する。双予測タイプ２を利用する場合には、第０の付加情報としてref_idx[0]とmvd[0]とmvp_idx[0]を符号化し、第１の付加情報としてref_idx[1]とmvp_idx[1]を符号化する。
　復号側では、画面あるいはスライスのヘッダ情報にて復号した指示情報に基づいて、画面内あるいはスライス内の各ブロックを復号する際に、mvd[1]の復元方法を切り替える。つまり、双予測タイプ１を示す指示情報（例えば、BiPred_type=0）を復号した場合には、画面内あるいはスライス内の各ブロックを復号する際に、第１の付加情報にmvd[1]を含め、ref_idx[1]とmvp_idx[1]と共に復号する。双予測タイプ２を示す指示情報（例えば、BiPred_type=1）を復号した場合には、画面内あるいはスライス内の各ブロックを復号する際に、第１の付加情報としてref_idx[1]とmvp_idx[1]を復号し、mvd[1]の水平・垂直ベクトル値を0に設定する。第０の付加情報としては、指示情報の値に関わらず、ref_idx[0]とmvd[0]とmvp_idx[0]を復号する。
　なお、符号化側における双予測タイプ１と双予測タイプ２の切り替え方法は、ここで示した方法に依存しない。例えば、すべての参照画面が表示順で符号化対象画面に対して未来の画面の場合に、双予測タイプ２を利用するようにしてもよい。また、実際に双予測タイプ１と双予測タイプ２を適用した場合の符号化効率（例えば、符号化誤差信号の２乗和＋符号化ビット数を変換した評価値）を調査して、符号化効率が高いほうを選択する方法が採用できる。
　さらに、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、双予測タイプ１と双予測タイプ２を切り替える指示情報を個別に送るようにしてもよい。例えば、ブロックサイズが６４×６４、３２×３２、１６×１６、８×８の場合には、４個の指示情報を符号化する。
　なお、ブロックの予測方法で片予測と双予測の両方を用いる場合には、予測タイプ（片予測または双予測）を符号化側にて選択し、付加情報に含めて符号化する。そして、双予測を選択したブロックのみで、双予測タイプ１と双予測タイプ２の切り替え処理を実施する。復号側では、予測タイプとして双予測を示す情報を復号したブロックのみで双予測タイプ１と双予測タイプ２の切り替え処理を実施する。
　（画面/スライス単位切り替え、参照画面のフレーム番号に基づく決定）
　図５（Ａ）や図５（Ｂ）に示す参照画面の候補は、符号化側と復号側で同一である。そのため、参照画面の候補のフレーム番号と符号化対象画面のフレーム番号に基づいて、双予測タイプ１と双予測タイプ２のいずれを用いるかを決定できる。つまり、すべての参照画面の候補が、符号化対象画面より表示順で過去の画面の場合には、双予測タイプ２を利用し、表示順で符号化対象画面に対して未来の画面が参照画面の候補に含まれる場合には、双予測タイプ１を利用する。この方法では、指示情報を送る必要はない。
　なお、すべての参照画面の候補が、符号化対象画面に対して表示順で未来の画面の場合には、双予測タイプ２を利用するようにしてもよい。
　（ブロック単位切り替え、切り替え情報符号化）
　ブロック単位で双予測タイプ１と双予測タイプ２を切り替える場合には、双予測タイプの切り替え情報（例えば、BiPred_block_type）を、ブロックの付加情報に含めて符号化する。
　双予測の２つの参照画面が符号化対象画面より表示順で過去の画面の場合には双予測タイプ２が有効となるため、符号化側で、双予測タイプ２の利用を選択する。そして、符号化装置は、ブロックの付加情報に双予測タイプ２を示す指示情報（例えば、BiPred_block_type=1）を含め、第０の付加情報であるref_idx[0]、mvd[0]、mvp_idx[0]と、第１の付加情報であるref_idx[1]、mvp_idx[1]と共に符号化する。一方、双予測の２つの参照画面に表示順で符号化対象画面に対して未来の画面が含まれる場合には、双予測タイプ１を選択する。そして、符号化装置は、ブロックの付加情報に双予測タイプ１を示す指示情報（例えば、BiPred_block_type=0）を含め、第０の付加情報であるref_idx[0]、mvd[0]、mvp_idx[0]と、第１の付加情報であるref_idx[1]、mvd[1]（第１の付加情報にmvd[1]を含める）、mvp_idx[1]と共に符号化する。
　復号側では、ブロックの付加情報に双予測タイプの切り替え情報（例えば、BiPred_block_type）を含めて復号し、復号値に基づいてmvd[1]の復元方法を切り替える。つまり、ブロックの付加情報として、双予測タイプ１を示す指示情報（例えば、BiPred_block_type=0）を復号した場合には、第０の付加情報として、ref_idx[0]とmvd[0]とmvp_idx[0]を復号し、第１の付加情報として、ref_idx[1]とmvd[1]とmvp_idx[1]を復号する。一方、ブロックの付加情報として、双予測タイプ２を示す指示情報（例えば、BiPred_block_type=1）を復号した場合には、第０の付加情報としてref_idx[0]とmvd[0]とmvp_idx[0]を復号し、第１の付加情報としてref_idx[1]とmvp_idx[1]を復号し、mvd[1]の水平・垂直ベクトル値を0に設定する。
　なお、符号化側における双予測タイプ１と双予測タイプ２の切り替え方法は、ここで示した方法に依存しない。例えば、２つの参照画面の両方が表示順で符号化対象画面に対して未来の画面の場合には、双予測タイプ２を利用するようにしてもよい。また、実際に双予測タイプ１と双予測タイプ２を適用した場合の符号化効率（例えば、符号化誤差信号の２乗和＋符号化ビット数を変換した評価値）をブロック毎に調査して、符号化効率が高いほうを選択する方法が採用できる。
　また、ブロックの予測方法で片予測と双予測の両方を用いる場合には、符号化側にて予測タイプ（片予測または双予測）を選択し、付加情報に含めて符号化する。そして、双予測を選択したブロックのみで、双予測タイプ１と双予測タイプ２の切り替え処理を実施する。復号側では、予測タイプとして双予測を示す情報を復号したブロックのみで双予測タイプ１と双予測タイプ２の切り替え処理を実施する。
　（ブロック単位切り替え、参照画面のフレーム番号に基づく決定）
　図５（Ａ）や図５（Ｂ）に示す参照画面の候補は、符号化側と復号側で同一である。そのため、ブロックの付加情報として符号化/復号する双予測に用いる２つの参照画面のフレーム番号と符号化対象画面のフレーム番号に基づいて、双予測タイプ１と双予測タイプ２のいずれを用いるかを決定できる。つまり、双予測に用いる２つの参照画面が、いずれも符号化対象画面より表示順で過去の画面の場合には双予測タイプ２を利用し、２つの参照画面の一方か両方が表示順で符号化対象画面に対して未来の画面の場合には、双予測タイプ１を利用する。この方法では指示情報を送る必要はない。なお、２つの参照画面の両方が表示順で符号化対象画面に対して未来の画面の場合に、双予測タイプ２を利用するようにしてもよい。
　（画面/スライス単位切り替えとブロック単位切り替えの組み合わせ）
　画面/スライス単位で、双予測タイプの切り替えを画面/スライス単位で行うかブロック単位で行うかを示す指示情報を符号化/復号する。
　双予測タイプの切り替えを画面/スライス単位で行う場合には、加えて、上記で説明したように、双予測タイプの切り替え情報（例えば、BiPred_type）を、画面あるいはスライスのヘッダに含めて符号化/復号する。この際、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、双予測タイプ１と双予測タイプ２を切り替える指示情報を個別に送るようにしてもよい。例えば、ブロックサイズが６４×６４、３２×３２、１６×１６、８×８の場合には、４個の指示情報を符号化する。
　双予測タイプの切り替えをブロック画面単位で行う場合には、加えて、上記で説明したように、ブロック単位で、双予測タイプの切り替え情報（例えば、BiPred_block_type）を、ブロックの付加情報に含めて符号化/復号する。この際、　さらに、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、双予測タイプ１と双予測タイプ２の切り替え処理を行うか否かを指示する指示情報を個別に送るようにしてもよい。例えば、ブロックサイズが６４×６４、３２×３２、１６×１６、８×８の場合には、４個の指示情報を符号化する。
　また、画面/スライス単位で、双予測タイプ１のみを利用するか、双予測タイプ２のみを利用するか、２つの双予測タイプを画面/スライス内の各ブロックで切り替えるか、を指示する指示情報を符号化/復号するようにしてもよい。この際、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、異なるブロックサイズに対して個別に指示情報を送るようにしてもよい。
　あるいは、画面/スライス単位で、双予測タイプ２を利用するか否かを示す指示情報を符号化/復号する。双予測タイプ２を利用する画面/スライスでは、さらに、画面/スライス内の各ブロックで双予測タイプ１と双予測タイプ２を切り替えるか、画面/スライス内のすべてのブロックで双予測タイプ２を利用するか、を指示する指示情報を符号化/復号するようにしてもよい。この際、図８に示すように複数のブロックサイズを適応的に用いる符号化方法では、画面あるいはスライスヘッダにて、異なるブロックサイズに対して、これら指示情報を個別に送るようにしてもよい。
　上記では、図７に示す第１の予測動きベクトルの候補に、対象ブロック４００の第０の動き情報を含めていた。しかしながら、第０の動き情報を第１の予測動き情報とし、予測動き情報を第０の動き情報に含まれる第１の参照画面インデックスと第１の動き情報に含まれる第１の参照画面インデックスに基づいてスケーリングして第１の動き情報として利用する方法を双予測タイプ３として別に用意してもよい。つまり、第０の動き情報に含まれる動きベクトルが第１の動き情報の参照画面インデックスが指し示す参照画面の動きベクトルとなるようにスケーリングする。この場合には、双予測タイプ２における第１の予測動き情報の候補には、対象ブロックの第０の動き情報を含めなくても良い（図７のn=4を候補から除外する）。そして、双予測タイプ３を利用する場合には、第１の予測動き情報インデックスの符号化/復号は行わない。つまり、第１の付加情報を符号化/復号する際には、第１の参照画面インデックス（ref_idx[1]）を含み、差分動きベクトル（mvd[1]）と第１の予測動き情報インデックス（mvp_idx[1]）を含まないようにする。
　双予測タイプ３の利用方法としては、画面/スライス単位あるいはブロック単位で、双予測タイプ１と双予測タイプ２と双予測タイプ３を切り替える指示情報を符号化/復号するようにしてもよい。また、画面/スライス単位あるいはブロック単位で、双予測タイプ１と双予測タイプ３、あるいは、双予測タイプ２と双予測タイプ３を切り替える指示情報を符号化/復号するようにしてもよい。
　また、上記にて双予測タイプ１の代用として使う方法も考えられる。つまり、複数の参照画面候補に表示順で符号化対象画面に対して未来の画面が含まれる場合には、双予測タイプ３を利用し、複数の参照画面候補が表示順ですべて符号化対象画面に対して過去の画面の場合には、双予測タイプ２を利用するようにしてもよい。
　あるいは、第０の動き情報に含まれる参照画面インデックスが指示する参照画面が、第１の動き情報の参照画面インデックスが指示する参照画面と異なる場合には、双予測タイプ２の代わりに双予測タイプ３を利用し（第１の予測動き情報インデックスの符号化/復号は不要）、一方、第０の動き情報に含まれる参照画面インデックスが指示する参照画面が、第１の動き情報の参照画面インデックスが指示する参照画面と同じ場合には、双予測タイプ２を利用する（第１の予測動き情報インデックスを符号化/復号）ようにしてもよい。
　なお、双予測タイプの切り替え情報は、BiPred_typeやBiPred_block_typeのような識別情報には限定されない。差分動きベクトルの符号化/復号を行うか否かを示す情報であればよい。例えば、mvd_list1_zero_flagやmvd_list0_zero_flagのように第１の付加情報や第０の付加情報にmvdが含まれるか否かを指示するフラグ情報を符号化/復号するようにしてもよい。双予測タイプ１、双予測タイプ２ならびに双予測タイプ３を画面/スライス単位あるいはブロック単位で切り替える場合には、双予測タイプ２か双予測タイプ３のいずれかを利用する場合に、付加情報にmvdを含まないことを指示するフラグを送る。双予測タイプ２と双予測タイプ３の切り替えは、上記のように参照画面インデックスに基づいて行ってもよいし（第０の動き情報に含まれる参照画面インデックスが指示する参照画面が、第１の動き情報の参照画面インデックスが指示する参照画面と同じ場合には、双予測タイプ２を利用する）、更に選択情報を符号化/復号してもよい。
　図１５は、動画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。図１５（Ａ）に示すように動画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、符号化モジュールＰ１１１及び動き情報記憶モジュールＰ１１３を備えている。さらに、図１５（Ｂ）に示すように予測信号生成モジュールＰ１０３は、第１の動き情報推定モジュールＰ１２１、第０の動き情報推定モジュールＰ１２２及び予測信号合成モジュールＰ１２３を備えている。上記各モジュールが実行されることにより実現される機能は、上述した動画像予測符号化装置１００の機能と同じである。すなわち、動画像予測符号化プログラムＰ１００の各モジュールの機能は、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、符号化器１１１、動き情報用メモリ１１３、第１の動き情報推定器１２１、第０の動き情報推定器１２２及び予測信号合成器１２３の機能と同様である。
　また、図１６は、動画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。図１６（Ａ）に示すように動画像予測復号プログラムＰ２００は、復号モジュールＰ２０１、動き情報復号モジュールＰ２０２、動き補償モジュールＰ２０３、動き情報記憶モジュールＰ２０４、逆量子化モジュールＰ２０５、逆変換モジュールＰ２０６、加算モジュールＰ２０７及び記憶モジュールＰ１０４を備えている。さらに、図１６（Ｂ）に示すように動き情報復号モジュールＰ２０２は、第１の動き情報復元モジュールＰ２１１及び第０の動き情報復元モジュールＰ２１２を備えている。
　上記各モジュールが実行されることにより実現される機能は、上述した動画像予測復号装置２００の各構成要素と同じである。すなわち、動画像予測復号プログラムＰ２００の各モジュールの機能は、復号器２０２、動き情報復元器２０８、動き補償器２０７、動き情報用メモリ１１３、逆量子化器２０３、逆変換器２０４、加算器２０５、フレームメモリ１０４、第１の動き情報復元器２１１及び第０の動き情報復元器２１２の機能と同様である。
　このように構成された動画像予測符号化プログラムＰ１００または動画像予測復号プログラムＰ２００は、後述の図１７及び図１８に示す記録媒体１０に記憶され、後述するコンピュータで実行される。
　図１７は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１８は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。
　図１７に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ－ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された動画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化・復号プログラムによって、本実施形態に係る動画像符号化装置または動画像復号装置として動作することが可能になる。
　図１８に示すように、動画像予測符号化プログラム及び動画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像予測符号化プログラムもしくは動画像復号プログラをメモリ１６に格納し、当該動画像予測符号化プログラムもしくは動画像予測復号プログラムを実行することができる。
　本発明では、さらに下記の変形が可能である。
　（１）第０の付加情報と第１の付加情報の関係
　上記では、第１の付加情報がref_idx[1]とmvp_idx[1]を含み、第０の付加情報がref_idx[0]とmvd[0]とmvp_idx[0]を含んでいるが、この構成は逆であってもよい。つまり、第１の付加情報が、ref_idx[1]とmvd[1]とmvp_idx[1]を含み、第０の付加情報がref_idx[0]とmvp_idx[0]を含む。この場合、第０の予測動き情報を隣接ブロックの動き情報から生成すると共に第０の予測信号を生成し、続いて、双予測信号と対象ブロックの元の信号との絶対値和＋付加情報の評価値が最小となる第１の動き情報を探索する。
　また、第１の付加情報がref_idx[1]とmvp_idx[1]を含み、第０の付加情報がref_idx[0]とmvp_idx[0]を含むようにしてもよい。つまり、差分の動きベクトルは符号化されず、２つの差分動きベクトルの復号側で水平・垂直ベクトル値を0に設定する。または、第０の予測動きベクトルと第１の予測動きベクトルをそれぞれ第０の動きベクトルと第１の動きベクトルに設定する。
　（２）参照画面
　上記では、参照画面インデックスを第１の付加情報に含めて符号化/復号しているが、mvp_idxにて示される隣接ブロックの動き情報に付随する参照画面インデックスに基づいて決まるようにしてもよい（例えば、図７の隣接ブロック４０１から４０４については、付随するList1の参照画面インデックスをそのまま利用し、隣接ブロック４１０から４１５については、対象ブロックと隣接ブロックの参照画面インデックスが指示する参照画面の違いに基づいて、隣接ブロックに含まれる動きベクトルにスケーリング処理を施すようにする）。また、第１の動き情報の参照画面インデックスを予め決めておいても良い。これらの場合は、復号側にて一意に復元できるため、参照画面インデックスref_idxを第１の付加情報に含めて符号化する必要がない。
　参照画面の選択とそのリストは図５と図６の例に限定されない。参照画面リストは画面/スライス単位で符号化しても良いし、参照画面の数は、図５のように４枚なく、他の任意の数であっても本発明は実施できる。
　（３）予測動き情報
　上記では、図７に示すように複数の符号化/復号済みの動き情報を予測動き情報の候補としているが、その数と利用する隣接ブロックの位置は限定されない。
　第１の予測動きベクトルの候補に隣接ブロックの第０の動きベクトルを含めてもよいし、第０の予測動きベクトルの候補に隣接ブロックの第１の動きベクトルを含めても本発明の双予測は実施できる。第１の予測動き情報の候補に、先に符号化/復号されている第０の動き情報を加えても良い。
　符号化/復号済みの動き情報に含まれる参照画面インデックスと対象ブロックに付随する動き情報に含まれる参照画面インデックスが異なる場合に、動きベクトルのスケーリング処理を行うか否かも本発明では限定されない。
　なお、予測動きベクトルの候補が１つの場合には、予測動き情報インデックスmvp_idxを第１の付加情報に含めて符号化する必要がない。
　予測動きベクトルの生成方法も本発明では限定されない。例えば、奇数個の予測動きベクトルの候補の中央値を、予測動きベクトルとして採用するようにしてもよい。この場合も、予測動きベクトルは復号側で一意に決まるため、予測動き情報インデックスmvp_idxを第１の付加情報に含めて符号化する必要がない。
　図８に示すように、複数のブロックサイズを用いる符号化/復号方式の場合であっても、予測動き情報の候補を決定する方法が規定されていれば、本発明の双予測は実施できる。例えば、図８の例では、対象ブロック４００に隣接するブロック４２１からブロック４２８を予測情報の候補としても良いし、隣接ブロックの番号付け方法を予め定めておき、画面単位やスライス単位で指示される数の隣接ブロックの動き情報を予測動きベクトルの候補に設定するにようにしてもよい。
　（４）第０の動き情報と付加情報
　なお、第０の動き情報と付加情報の構成については、本発明では限定されない参照画面インデックスや予測動き情報インデックスを符号化せずに固定値としてもよいし、予め定めた方法で導出するようにしてもよい。
　また、第０の動き情報や付加情報についても、第１の動き情報や付加情報と同じように、mvd[0]を符号化せず、復号側にてmv[0]=pmv[0]（あるいはmvd[0]=0）と設定するようにしてもよい。
　（５）フレーム番号
　上記では、参照画面や符号化対象画面の識別にフレーム番号(frame_num)を用いているが、参照画面を識別できる情報であれば、別の情報であっても、本発明の実施に影響はない。
　（６）第１の差分動きベクトルmvd[1]の復元
　上記で説明した本発明の双予測では、第１の差分動きベクトルmvd[1]のベクトル値は０となる。そのため、mvd[1]は符号化せず、復号側で、mvd[1]のベクトル値を０に設定するか、あるいは動きベクトルmv[1]をpmv[1]に設定している。別の実施形態として、mvd[1]=0を第１の付加情報に含め、0値を効率良くエントロピー符号化する方法も有効と言える。
　エントロピー符号化に算術符号化を用いる場合には、例えば、第０の差分動きベクトルと第１の差分動きベクトルを異なる確率モデルで符号化/復号する。例えば、差分動きベクトルのベクトル値０の確率頻度が異なる２つの確率モデルを差分動きベクトルの符号化/復号用に用意する。そして、第１の差分動きベクトルを符号化/復号する場合には、差分動きベクトルのベクトル値０の頻度をより高く設定した第２の確率モデルを使用し、第０の差分動きベクトルを符号化/復号する場合には、別の第１の確率モデルを使用する。さらに、差分動きベクトルの水平と垂直方向ベクトル値用に個別に確率モデルを用意してもよい。
　なお、双予測タイプ２を適用するブロックの第１の差分動きベクトルのみで第２の確率モデルを使用し、それ以外の差分動きベクトルの符号化/復号では、第１の確率モデルを使用するようにしてもよい。
　可変長符号化を用いる場合には、第０の差分動きベクトルと第１の差分動きベクトルを異なる可変長テーブルを用いて符号化/復号する。例えば、差分動きベクトルのベクトル値０に割り当てる符号長が異なる２つの可変長テーブルを用意する。そして、第１の差分動きベクトルを符号化/復号する場合には、差分動きベクトルのベクトル値０に割り当てる符号長をより短く設定した第２の可変長テーブルを使用し、第０の差分動きベクトルを符号化/復号する場合には、別の第１の可変長テーブルを使用する。さらに、差分動きベクトルの水平と垂直方向ベクトル値用に個別に可変長テーブルを用意してもよい。
　なお、双予測タイプ２を適用するブロックの第１の差分動きベクトルのみで第２の可変長テーブルを使用し、それ以外の差分動きベクトルの符号化/復号では、第１の可変長テーブル使用するようにしてもよい。
　（７）Ｎ予測
　上記では画面間予測の予測タイプを片予測と双予測としているが、３個以上の予測信号を合成する予測方法に対しても本発明は適用できる。３個以上の予測信号を合成して予測信号を生成する場合には、mvdを含まない付加情報の数は１つ以上であれば、いくつでもよい。
　（８）変換器、逆変換器
　残差信号の変換処理は、固定のブロックサイズで行っても良いし、部分領域にあわせて対象領域を再分割して変換処理を行っても良い。
　（９）色信号
　上記では、色フォーマットについては特に述べていないが、色信号あるいは色差信号についても、輝度信号と個別に予測信号の生成処理を行っても良い。また、輝度信号の処理と連動して行っても良い。
　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明はさらに上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
　１００…動画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…符号化器、１１２…出力端子、１１３…動き情報用メモリ、１２１…第１の動き情報推定器、１２２…第０の動き情報推定器、１２３…予測信号合成器、２０１…入力端子、２０２…復号器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…動き補償器、２０８…動き情報復元器、２１１…第１の動き情報復元器、２１２…第０の動き予測情報復元器。

Claims (12)

  1. 　入力画像を複数の領域に分割する領域分割手段と、
    　前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、
    　前記動きベクトルを保存する動き情報記録手段と、
    　前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、
    　前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、
    　前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、
    　前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、
    　前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段と、
    　を具備し、
    　前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、
    　前記予測信号生成手段が、
    　前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、推定した第０の動きベクトルと類似する第０の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定手段と、
    　前記動き情報記録手段に保存されている複数の動きベクトルから、対象領域との相関が高い第１の予測信号を生成する動きベクトルを選択し、選択した動きベクトルを第１の予測動きベクトルとして識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定手段と、
    　前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、
    　を含むことを特徴とする動画像予測符号化装置。
  2. 　前記第１の動き情報推定手段が、さらに、前記第１の予測信号を取得するための第２の動きベクトルを推定して、第２の動きベクトルを検出すると共に、推定した第２の動きベクトルと類似する第２の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第２の予測動き情報インデックスと、前記第２の動きベクトル及び前記第２の予測動きベクトルから決定される差分動きベクトルと、を含む第２の付加情報を生成する機能を有し、
    　前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第１の動きベクトルにて前記第１の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第２の動きベクトルにて前記第１の予測信号を生成し、
    　前記符号化手段は、
    　前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第１の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第２の付加情報が符号化されることを指示する指示情報を符号化し、
    　前記第０の付加情報と、前記指示情報に基づいて第１の付加情報あるいは第２の付加情報のいずれか一方とを各対象領域の付加情報として符号化する、
    　ことを特徴とする請求項１に記載の動画像予測符号化装置。
  3. 　複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、
    　前記付加情報から前記対象領域の予測信号を生成に要する動きベクトルを復元する動き情報復元手段と、
    　前記動きベクトルを保存する動き情報記録手段と、
    　前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、
    　前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、
    　前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段と、
    　を具備し、
    　前記復号手段は、第０の付加情報と第１の付加情報とを復号し、
    　前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、
    　前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、
    　前記動き情報復元手段が、
    　前記第０の予測動き情報インデックスに基づいて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元手段と、
    　前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元手段と、を含み、
    　前記動き補償手段は、前記第１の動きベクトルと第２の動きベクトルとに基づいて前記既再生画像から取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする動画像予測復号装置。
  4. 　前記復号手段は、さらに、画面あるいはスライス毎に、前記第１の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、
    　前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含むことを示す場合には、前記第１の付加情報として差分動きベクトルを復号し、
    　前記第１の動き情報復元手段は、
    　前記指示情報が、第１の付加情報が第１の差分動きベクトルを含まないことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元し、
    　前記指示情報が、第１の付加情報が差分ベクトルを含むことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルと復号した差分動きベクトルとを加算して第１の動きベクトルを生成して復元することを特徴とする請求項３に記載の動画像予測復号装置。
  5. 　動画像予測符号化装置により実行される動画像予測符号化方法であって、
    　入力画像を複数の領域に分割する領域分割ステップと、
    　前記領域分割ステップにより分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成ステップと、
    　前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、
    　前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成ステップと、
    　前記残差信号生成ステップにより生成された残差信号を圧縮する残差信号圧縮ステップと、
    　前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元ステップと、
    　前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化ステップと、
    　前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として画像記録手段に保存する画像記録ステップと、
    　を具備し、
    　前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、
    　前記予測信号生成ステップが、
    　前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、推定した第０の動きベクトルと類似する第０の予測動きベクトルを前記動き情報記録ステップに保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定ステップと、
    　前記動き情報記録ステップに保存されている複数の動きベクトルから、対象領域との相関が高い第１の予測信号を生成する動きベクトルを選択し、選択した動きベクトルを第１の予測動きベクトルとして識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定ステップと、
    　前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成ステップと、
    　を含むことを特徴とする動画像予測符号化方法。
  6. 　前記第１の動き情報推定ステップにおいて、前記動画像予測符号化装置は、さらに、前記第１の予測信号を取得するための第２の動きベクトルを推定して、第２の動きベクトルを検出すると共に、推定した第２の動きベクトルと類似する第２の予測動きベクトルを前記動き情報記録ステップに保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第２の予測動き情報インデックスと、前記第２の動きベクトル及び前記第２の予測動きベクトルから決定される差分動きベクトルと、を含む第２の付加情報を生成し、
    　前記予測信号生成ステップにおいて、前記動画像予測符号化装置は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第１の動きベクトルにて前記第１の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第２の動きベクトルにて前記第１の予測信号を生成し、
    　前記符号化ステップにおいて、前記動画像予測符号化装置は、
    　前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第１の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第２の付加情報が符号化されることを指示する指示情報を符号化し、
    　前記第０の付加情報と、前記指示情報に基づいて第１の付加情報あるいは第２の付加情報のいずれか一方とを各対象領域の付加情報として符号化する、
    　ことを特徴とする請求項５に記載の動画像予測符号化方法。
  7. 　動画像予測復号装置により実行される動画像予測復号方法であって、
    　複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号ステップと、
    　前記付加情報から前記対象領域の予測信号を生成に要する動きベクトルを復元する動き情報復元ステップと、
    　前記動きベクトルを動き情報記録手段に保存する動き情報記録ステップと、
    　前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償ステップと、
    　前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元ステップと、
    　前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録ステップと、
    　を具備し、
    　前記復号ステップにおいて、前記動画像予測復号装置は、第０の付加情報と第１の付加情報とを復号し、
    　前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録ステップに格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、
    　前記第１の付加情報は、前記動き情報記録ステップに格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、
    　前記動き情報復元ステップが、
    　前記第０の予測動き情報インデックスに基づいて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元ステップと、
    　前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元ステップと、を含み、
    　前記動き補償ステップにおいて、前記動画像予測復号装置は、前記第１の動きベクトルと第２の動きベクトルとに基づいて前記既再生画像から取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする動画像予測復号方法。
  8. 　前記復号ステップにおいて、前記動画像予測復号装置は、さらに、画面あるいはスライス毎に、前記第１の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、
    　前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含むことを示す場合には、前記動画像予測復号装置は、前記第１の付加情報として差分動きベクトルを復号し、
    　前記第１の動き情報復元ステップにおいて、前記動画像予測復号装置は、
    　前記指示情報が、第１の付加情報が第１の差分動きベクトルを含まないことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元し、
    　前記指示情報が、第１の付加情報が差分ベクトルを含むことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルと復号した差分動きベクトルとを加算して第１の動きベクトルを生成して復元することを特徴とする請求項７に記載の動画像予測復号方法。
  9. 　コンピュータを、
    　入力画像を複数の領域に分割する領域分割手段と、
    　前記領域分割手段により分割された領域のうち、符号化対象である対象領域との相関が高い信号を既再生画像から取得するための動きベクトルを決定する予測信号生成手段と、
    　前記動きベクトルを保存する動き情報記録手段と、
    　前記対象領域の予測信号と前記対象領域の画素信号との残差信号を生成する残差信号生成手段と、
    　前記残差信号生成手段により生成された残差信号を圧縮する残差信号圧縮手段と、
    　前記残差信号の圧縮データを復元した再生残差信号を生成する残差信号復元手段と、
    　前記動き情報記録手段に保存された既再生の動きベクトルから選択された前記対象領域の動きベクトルに類似する予測動きベクトルと、前記対象領域の動きベクトルから決定される付加情報と、前記残差信号の圧縮データと、を符号化する符号化手段と、
    　前記予測信号と前記再生残差信号とを加算することによって前記対象領域の画素信号を復元し、復元された画素信号を前記既再生画像として保存する画像記録手段、
    　として機能させるための動画像予測符号化プログラムであり、
    　前記動きベクトルは、第０の予測信号の生成に要する第０の動きベクトルと、第１の予測信号の生成に要する第１の動きベクトルと、を含んでおり、
    　前記予測信号生成手段が、
    　前記第０の予測信号を取得するための第０の動きベクトルを推定すると共に、推定した第０の動きベクトルと類似する第０の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第０の予測動き情報インデックスと、前記第０の動きベクトル及び第０の予測動きベクトルから決定される差分動きベクトルと、を含む第０の付加情報を生成する第０の動き情報推定手段と、
    　前記動き情報記録手段に保存されている複数の動きベクトルから、対象領域との相関が高い第１の予測信号を生成する動きベクトルを選択し、選択した動きベクトルを第１の予測動きベクトルとして識別するための第１の予測動き情報インデックスを含む第１の付加情報を生成し、前記第１の予測動きベクトルを第１の動きベクトルに設定する第１の動き情報推定手段と、
    　前記第０の予測信号と前記第１の予測信号とを合成して対象領域の予測信号を生成する予測信号合成手段と、
    　を含むことを特徴とする動画像予測符号化プログラム。
  10. 　前記第１の動き情報推定手段が、さらに、前記第１の予測信号を取得するための第２の動きベクトルを推定して、第２の動きベクトルを検出すると共に、推定した第２の動きベクトルと類似する第２の予測動きベクトルを前記動き情報記録手段に保存されている複数の動きベクトルから選択し、選択した前記予測動きベクトルを識別するための第２の予測動き情報インデックスと、前記第２の動きベクトル及び前記第２の予測動きベクトルから決定される差分動きベクトルと、を含む第２の付加情報を生成する機能を有し、
    　前記予測信号生成手段は、前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、前記第１の動きベクトルにて前記第１の予測信号を生成し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、前記第２の動きベクトルにて前記第１の予測信号を生成し、
    　前記符号化手段は、
    　前記画像記録手段に保存された複数の既再生画像が表示順ですべて符号化対象画像より過去の画像の場合には、画面あるいはスライス毎に、前記第１の付加情報が符号化されることを指示する指示情報を符号化し、前記画像記録手段に保存された複数の既再生画像に表示順で符号化対象画像より未来の画像が含まれる場合には、画面あるいはスライス毎に、前記第２の付加情報が符号化されることを指示する指示情報を符号化し、
    　前記第０の付加情報と、前記指示情報に基づいて第１の付加情報あるいは第２の付加情報のいずれか一方とを各対象領域の付加情報として符号化する、
    　ことを特徴とする請求項９に記載の動画像予測符号化プログラム。
  11. 　コンピュータを、
    　複数の領域に分割して符号化された圧縮データの中から復号対象となる復号対象領域の付加情報と残差信号の圧縮データとを復号する復号手段と、
    　前記付加情報から前記対象領域の予測信号を生成に要する動きベクトルを復元する動き情報復元手段と、
    　前記動きベクトルを保存する動き情報記録手段と、
    　前記動きベクトルに基づいて前記対象領域の予測信号を生成する動き補償手段と、
    　前記残差信号の圧縮データから前記対象領域の再生残差信号を復元する残差信号復元手段と、
    　前記予測信号と前記再生残差信号とを加算することによって前記復号対象領域の画素信号を復元し、復元された画素信号を既再生画像として保存する画像記録手段、
    　として機能させるための動画像予測復号プログラムであり、
    　前記復号手段は、第０の付加情報と第１の付加情報とを復号し、
    　前記第０の付加情報は、第０の差分動きベクトルと、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第０の予測動きベクトルとして識別するための第０の予測動き情報インデックスと、を含み、
    　前記第１の付加情報は、前記動き情報記録手段に格納されている複数の動きベクトルから選択された１つを第１の予測動きベクトルとして識別する第１の予測動き情報インデックスを含み、
    　前記動き情報復元手段が、
    　前記第０の予測動き情報インデックスに基づいて第０の予測動きベクトルを生成し、生成した第０の予測動きベクトルと前記第０の差分動きベクトルとを加算して第０の動きベクトルを復元する第０の動き情報復元手段と、
    　前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元する第１の動き情報復元手段と、を含み、
    　前記動き補償手段は、前記第１の動きベクトルと第２の動きベクトルとに基づいて前記既再生画像から取得される２つの信号を合成して前記対象領域の予測信号を生成することを特徴とする動画像予測復号プログラム。
  12. 　前記復号手段は、さらに、画面あるいはスライス毎に、前記第１の付加情報が差分動きベクトルを含むか否かを指示する指示情報を復号し、
    　前記指示情報が、前記第１の付加情報が第１の差分動きベクトルを含むことを示す場合には、前記第１の付加情報として差分動きベクトルを復号し、
    　前記第１の動き情報復元手段は、
    　前記指示情報が、第１の付加情報が第１の差分動きベクトルを含まないことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルを第１の動きベクトルとして復元し、
    　前記指示情報が、第１の付加情報が差分ベクトルを含むことを示すときは、前記第１の予測動き情報インデックスに基づいて第１の予測動きベクトルを生成し、生成した第１の予測動きベクトルと復号した差分動きベクトルとを加算して第１の動きベクトルを生成して復元することを特徴とする請求項１１に記載の動画像予測復号プログラム。
PCT/JP2012/074575 2011-11-07 2012-09-25 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム WO2013069384A1 (ja)

Priority Applications (28)

Application Number Priority Date Filing Date Title
IN4100CHN2014 IN2014CN04100A (ja) 2011-11-07 2012-09-25
KR1020157015944A KR101628800B1 (ko) 2011-11-07 2012-09-25 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
KR1020187005449A KR101923527B1 (ko) 2011-11-07 2012-09-25 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
CN201280052624.7A CN103891288B (zh) 2011-11-07 2012-09-25 动态图像预测解码装置及方法
RU2014123204/08A RU2566980C1 (ru) 2011-11-07 2012-09-25 Устройство кодирования видео с предсказанием, способ кодирования видео с предсказанием, программа кодирования видео с предсказанием, устройство декодирования видео с предсказанием, способ декодирования видео с предсказанием, и программа декодирования видео с предсказанием
MX2014005287A MX2014005287A (es) 2011-11-07 2012-09-25 Dispositivo de codificacion predictiva de video, metodo de codificacion predictiva de video, programa de codificacion predictiva de video, dispositivo de decodificacion predictiva de video, metodo de decofidicacion predictiva de video, y programa de decodificacion predictiva de video.
KR1020187033699A KR102036771B1 (ko) 2011-11-07 2012-09-25 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
SG11201402036UA SG11201402036UA (en) 2011-11-07 2012-09-25 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
MX2016003940A MX351064B (es) 2011-11-07 2012-09-25 Dispositivo de codificación predictiva de video, método de codificación predictiva de video, dispositivo de decodificación predictiva de video, y método de decodificación predictiva de video.
AU2012337138A AU2012337138B2 (en) 2011-11-07 2012-09-25 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
MX2015007435A MX337949B (es) 2011-11-07 2012-09-25 Dispositivo de codificacion predictiva de video, metodo de codificacion predictiva de video, dispositivo de decodificacion predictiva de video, y metodo de decodificacion predictiva de video.
KR1020177006743A KR101833933B1 (ko) 2011-11-07 2012-09-25 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
KR1020167014485A KR101717965B1 (ko) 2011-11-07 2012-09-25 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
KR1020167014483A KR101708732B1 (ko) 2011-11-07 2012-09-25 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
EP12848431.8A EP2779650B1 (en) 2011-11-07 2012-09-25 Predictive video encoding device and system
ES12848431.8T ES2625514T3 (es) 2011-11-07 2012-09-25 Dispositivo y sistema de codificación predictiva de vídeo
KR1020197030637A KR102124961B1 (ko) 2011-11-07 2012-09-25 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
KR1020147015073A KR101553933B1 (ko) 2011-11-07 2012-09-25 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
CA2854705A CA2854705C (en) 2011-11-07 2012-09-25 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
KR1020167014487A KR101708733B1 (ko) 2011-11-07 2012-09-25 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
BR112014010751-3A BR112014010751B1 (pt) 2011-11-07 2012-09-25 Dispositivo e método de codificação preditiva de vídeo e dispositivo e método de decodificação preditiva de vídeo
US14/271,423 US9615088B2 (en) 2011-11-07 2014-05-06 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
US15/357,696 US9788005B2 (en) 2011-11-07 2016-11-21 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
US15/473,838 US9838708B2 (en) 2011-11-07 2017-03-30 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
US15/473,791 US9973775B2 (en) 2011-11-07 2017-03-30 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
US15/808,449 US10104392B2 (en) 2011-11-07 2017-11-09 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
US15/938,581 US10104393B2 (en) 2011-11-07 2018-03-28 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
US16/131,574 US10484705B2 (en) 2011-11-07 2018-09-14 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-243490 2011-11-07
JP2011243490A JP5485969B2 (ja) 2011-11-07 2011-11-07 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/271,423 Continuation US9615088B2 (en) 2011-11-07 2014-05-06 Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program

Publications (1)

Publication Number Publication Date
WO2013069384A1 true WO2013069384A1 (ja) 2013-05-16

Family

ID=48289769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/074575 WO2013069384A1 (ja) 2011-11-07 2012-09-25 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム

Country Status (20)

Country Link
US (7) US9615088B2 (ja)
EP (3) EP2779650B1 (ja)
JP (1) JP5485969B2 (ja)
KR (9) KR101628800B1 (ja)
CN (6) CN107071466B (ja)
AU (9) AU2012337138B2 (ja)
BR (1) BR112014010751B1 (ja)
CA (6) CA3082150C (ja)
ES (2) ES2662879T3 (ja)
IN (1) IN2014CN04100A (ja)
MX (3) MX351064B (ja)
MY (1) MY166926A (ja)
NO (1) NO3054684T3 (ja)
PL (2) PL2779650T3 (ja)
PT (2) PT3054684T (ja)
RU (9) RU2615676C1 (ja)
SG (1) SG11201402036UA (ja)
TR (1) TR201802964T4 (ja)
TW (9) TWI739483B (ja)
WO (1) WO2013069384A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115460410A (zh) * 2016-01-27 2022-12-09 韩国电子通信研究院 通过使用预测对视频进行编码和解码的方法和装置
CN115209158A (zh) * 2016-02-01 2022-10-18 Oppo广东移动通信有限公司 预测图像生成装置、运动图像解码装置、以及运动图像编码装置
US10271062B2 (en) * 2016-03-18 2019-04-23 Google Llc Motion vector prediction through scaling
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
CN109076234A (zh) * 2016-05-24 2018-12-21 华为技术有限公司 图像预测方法和相关设备
KR102601732B1 (ko) 2016-05-31 2023-11-14 삼성디스플레이 주식회사 영상 부호화 방법 및 영상 복호화 방법
KR102343668B1 (ko) 2016-09-30 2021-12-24 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 인코딩 방법, 비디오 디코딩 방법, 및 단말
WO2019183906A1 (zh) * 2018-03-29 2019-10-03 华为技术有限公司 帧间预测的方法和装置
CN111919439B (zh) * 2018-04-02 2022-01-14 华为技术有限公司 一种运动矢量的获取方法和装置、一种运动矢量集合的构建方法和装置及计算机可读存储介质
CN108537820B (zh) * 2018-04-18 2021-02-09 图灵人工智能研究院（南京）有限公司 动态预测方法、系统及所适用的设备
EP3783888A4 (en) * 2018-05-16 2021-08-04 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
MX2021002488A (es) * 2018-09-04 2021-07-16 Huawei Tech Co Ltd Método de obtención de trama de referencia y aparato aplicado a la interpredicción bidireccional.
CN112640466A (zh) * 2018-09-07 2021-04-09 松下电器（美国）知识产权公司 用于视频编码的系统和方法
EP3764725A1 (en) * 2019-07-12 2021-01-13 Panasonic Intellectual Property Corporation of America User equipment and base station
KR20220070355A (ko) 2020-11-22 2022-05-31 고현지 피부 타입을 피지량을 통해 간접적으로 측정하기 위한 목적을 갖는 한지마스크와 제조방법
JP7036893B2 (ja) * 2020-12-14 2022-03-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 映像符号化方法、映像復号方法、および端末

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259739B1 (en) 1996-11-26 2001-07-10 Matsushita Electric Industrial Co., Ltd. Moving picture variable bit rate coding apparatus, moving picture variable bit rate coding method, and recording medium for moving picture variable bit rate coding program
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP2009525683A (ja) * 2006-02-02 2009-07-09 トムソン ライセンシング 組合せ参照双方向予測を用いて動き推定を行う方法および装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US268967A (en) * 1882-12-12 Geoege willett
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
JP3351705B2 (ja) * 1997-04-25 2002-12-03 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び記録媒体への記録方法
JP3860323B2 (ja) * 1997-10-27 2006-12-20 三菱電機株式会社 画像復号化装置、画像復号化方法
US7184482B2 (en) * 1999-04-17 2007-02-27 Altera Corporation Encoding system using motion vectors to represent frame-to-frame changes, wherein a decoder uses predictions of motion vectors in decoding
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
CN1277419C (zh) * 2002-04-19 2006-09-27 松下电器产业株式会社 运动矢量的计算方法
EP1422946A4 (en) 2002-07-26 2008-04-02 Matsushita Electric Ind Co Ltd MOVING IMAGE PROCEDURE, MOVABLE IMAGE DECODING METHOD AND RECORD MEDIUM
AU2003268563A1 (en) * 2002-10-01 2004-04-23 Thomson Licensing S.A. Implicit weighting of reference pictures in a video decoder
US7646815B2 (en) * 2003-07-15 2010-01-12 Lsi Corporation Intra estimation chroma mode 0 sub-block dependent prediction
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
CN1225127C (zh) * 2003-09-12 2005-10-26 中国科学院计算技术研究所 一种用于视频编码的编码端/解码端双向预测方法
TWI274508B (en) * 2004-10-19 2007-02-21 Ali Corp Device and method for computing reference address of motion compensation in image processing
JP4247995B2 (ja) 2005-02-03 2009-04-02 富士通マイクロエレクトロニクス株式会社 固体撮像素子のデータ読出回路、撮像装置および固体撮像素子のデータ読出方法
KR100723403B1 (ko) * 2005-02-28 2007-05-30 삼성전자주식회사 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
CN1870748A (zh) * 2005-04-27 2006-11-29 王云川 因特网协议电视
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
JP4662171B2 (ja) * 2005-10-20 2011-03-30 ソニー株式会社 符号化装置および方法、復号化装置および方法、プログラム、並びに記録媒体
EP1971154A4 (en) * 2006-01-05 2010-10-27 Nippon Telegraph & Telephone VIDEO CODING METHOD AND DECODING METHOD, DEVICE THEREFOR, DEVICE THEREFOR AND STORAGE MEDIUM WITH THE PROGRAM
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
RU2395174C1 (ru) * 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
EP2453657A1 (en) * 2006-04-28 2012-05-16 NTT DoCoMo, Inc. Image predictive decoding device
JP2007336281A (ja) 2006-06-15 2007-12-27 Sony Corp 画像記録装置、画像再生装置、画像記録方法及び画像再生方法
BRPI0721077A2 (pt) * 2006-12-28 2014-07-01 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meio de armazenamento o qual armazena os programas
WO2008084423A1 (en) * 2007-01-08 2008-07-17 Nokia Corporation Improved inter-layer prediction for extended spatial scalability in video coding
MX2009010921A (es) * 2007-04-12 2009-11-19 Nokia Corp Codificacion por transformacion mejorada espacialmente.
TWI338869B (en) * 2007-08-03 2011-03-11 Via Tech Inc Method and apparatus for block-based digital encoded picture
KR102313863B1 (ko) * 2007-10-16 2021-10-15 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101505195B1 (ko) * 2008-02-20 2015-03-24 삼성전자주식회사 직접 모드 부호화 및 복호화 방법
CN102067601B (zh) * 2008-04-11 2014-03-12 汤姆森特许公司 视频编码和解码中模板匹配预测(tmp)的方法和装置
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Ｎｔｔドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
CN101779467B (zh) * 2008-06-27 2012-06-27 索尼公司 图像处理装置和图像处理方法
JP5401071B2 (ja) * 2008-10-09 2014-01-29 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
JP5686499B2 (ja) * 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
DK3567852T3 (da) * 2009-03-23 2023-01-16 Ntt Docomo Inc Billedforudsigelsesafkodningsindretning og billedforudsigelsesafkodningsfremgangsmåde
US20120230405A1 (en) * 2009-10-28 2012-09-13 Media Tek Singapore Pte. Ltd. Video coding methods and video encoders and decoders with localized weighted prediction
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
KR101441905B1 (ko) 2009-11-18 2014-09-24 에스케이텔레콤 주식회사 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
BR112012023319A2 (pt) * 2010-03-16 2016-05-24 Thomson Licensing métodos e aparelhos para seleção do previsor do vetor de movimento adaptável implícito para codificação e decodificação de vídeo
WO2011146451A1 (en) 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
CA2837537C (en) * 2011-06-30 2019-04-02 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259739B1 (en) 1996-11-26 2001-07-10 Matsushita Electric Industrial Co., Ltd. Moving picture variable bit rate coding apparatus, moving picture variable bit rate coding method, and recording medium for moving picture variable bit rate coding program
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP2009525683A (ja) * 2006-02-02 2009-07-09 トムソン ライセンシング 組合せ参照双方向予測を用いて動き推定を行う方法および装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIDEAKI KIMATA ET AL.: "Spatial Temporal Adaptive Direct Mode Coding on Bi-directional Motion Compensation Prediction", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. J86-D-II, no. 11, 1 November 2003 (2003-11-01), pages 1597 - 1605, XP001211994 *
See also references of EP2779650A4
YOSHINORI SUZUKI ET AL.: "International Standardization of Next Generation Video Coding Scheme Realizing High-quality", HIGH-EFFICIENCY VIDEO TRANSMISSION AND OUTLINE OF TECHNOLOGIES PROPOSED BY NTT DOCOMO, NTT DOCOMO TECHNICAL JOURNAL, NTT DOCOMO, vol. 12, no. 4, 9 March 2011 (2011-03-09), pages 38 - 45, XP055151678 *

Also Published As

Publication number Publication date
KR101628800B1 (ko) 2016-06-21
AU2017258876B2 (en) 2019-08-08
EP3054684B1 (en) 2018-02-07
US20170208339A1 (en) 2017-07-20
US20170070746A1 (en) 2017-03-09
US9973775B2 (en) 2018-05-15
KR101923527B1 (ko) 2018-11-29
KR20180126635A (ko) 2018-11-27
AU2015200951A1 (en) 2015-03-12
MY166926A (en) 2018-07-24
AU2017258876A1 (en) 2017-11-30
TWI699997B (zh) 2020-07-21
CN103891288B (zh) 2016-12-21
AU2019210546B2 (en) 2021-01-28
US10104392B2 (en) 2018-10-16
IN2014CN04100A (ja) 2015-07-10
AU2012337138B2 (en) 2015-03-19
TR201802964T4 (tr) 2018-03-21
KR20180023055A (ko) 2018-03-06
RU2703957C1 (ru) 2019-10-22
MX337949B (es) 2016-03-29
RU2607261C1 (ru) 2017-01-10
CN107071466B (zh) 2018-09-14
CN107071466A (zh) 2017-08-18
CN107071465B (zh) 2019-01-29
JP5485969B2 (ja) 2014-05-07
RU2677577C1 (ru) 2019-01-17
CA3131475C (en) 2023-05-09
KR20160075772A (ko) 2016-06-29
US20190020892A1 (en) 2019-01-17
RU2677588C1 (ru) 2019-01-17
AU2015200951B2 (en) 2015-11-26
TWI739483B (zh) 2021-09-11
NO3054684T3 (ja) 2018-07-07
CA3131475A1 (en) 2013-05-16
KR102124961B1 (ko) 2020-06-19
TW202042558A (zh) 2020-11-16
KR20160075774A (ko) 2016-06-29
AU2019210545A1 (en) 2019-08-15
CN107105283B (zh) 2019-07-30
TW201639371A (zh) 2016-11-01
CA2854705A1 (en) 2013-05-16
KR101553933B1 (ko) 2015-09-17
RU2678489C1 (ru) 2019-01-29
CA2854705C (en) 2016-04-26
RU2615676C1 (ru) 2017-04-06
RU2566980C1 (ru) 2015-10-27
CN103891288A (zh) 2014-06-25
US20180220150A1 (en) 2018-08-02
PT3054684T (pt) 2018-03-09
EP3301927A1 (en) 2018-04-04
KR101717965B1 (ko) 2017-03-20
US9838708B2 (en) 2017-12-05
US20180070101A1 (en) 2018-03-08
CN106851305A (zh) 2017-06-13
US10484705B2 (en) 2019-11-19
CA2977280C (en) 2020-07-21
US9615088B2 (en) 2017-04-04
CA2895631A1 (en) 2013-05-16
AU2016201031A1 (en) 2016-03-10
AU2020294321B2 (en) 2022-03-10
AU2017204898A1 (en) 2017-08-03
CA2977280A1 (en) 2013-05-16
KR20140092872A (ko) 2014-07-24
TWI650011B (zh) 2019-02-01
KR20170031262A (ko) 2017-03-20
CA3082150C (en) 2021-11-09
AU2017204898B2 (en) 2019-07-11
AU2019210546A1 (en) 2019-08-15
TWI616092B (zh) 2018-02-21
PT2779650T (pt) 2017-05-24
AU2019210544B2 (en) 2020-12-17
JP2013102266A (ja) 2013-05-23
CA3082150A1 (en) 2013-05-16
CN106658025A (zh) 2017-05-10
MX351064B (es) 2017-09-29
TW201531095A (zh) 2015-08-01
KR20160075773A (ko) 2016-06-29
KR101708733B1 (ko) 2017-02-21
TWI739509B (zh) 2021-09-11
EP2779650A1 (en) 2014-09-17
KR101708732B1 (ko) 2017-02-21
BR112014010751B1 (pt) 2018-07-31
PL3054684T3 (pl) 2018-05-30
TWI513280B (zh) 2015-12-11
KR101833933B1 (ko) 2018-03-02
US10104393B2 (en) 2018-10-16
PL2779650T3 (pl) 2017-07-31
TW202041029A (zh) 2020-11-01
CN107071465A (zh) 2017-08-18
KR102036771B1 (ko) 2019-10-25
TWI701943B (zh) 2020-08-11
ES2662879T3 (es) 2018-04-10
AU2020294321A1 (en) 2021-02-18
AU2019210545B2 (en) 2021-01-28
CN106851305B (zh) 2019-05-21
TW201909639A (zh) 2019-03-01
CA2895631C (en) 2017-10-10
RU2652500C1 (ru) 2018-04-26
BR112014010751A2 (pt) 2017-04-25
CN107105283A (zh) 2017-08-29
AU2012337138A1 (en) 2014-07-10
BR112014010751A8 (pt) 2017-12-12
EP2779650B1 (en) 2017-04-26
CA3193531A1 (en) 2013-05-16
AU2019210544A1 (en) 2019-08-15
EP3054684A1 (en) 2016-08-10
AU2016201031B2 (en) 2017-08-17
TW201735644A (zh) 2017-10-01
US9788005B2 (en) 2017-10-10
KR20190120453A (ko) 2019-10-23
MX2014005287A (es) 2014-05-30
TW201813397A (zh) 2018-04-01
SG11201402036UA (en) 2014-06-27
US20140241432A1 (en) 2014-08-28
TW201322776A (zh) 2013-06-01
US20170208340A1 (en) 2017-07-20
EP2779650A4 (en) 2015-06-24
RU2715011C1 (ru) 2020-02-21
TWI597974B (zh) 2017-09-01
KR20150079989A (ko) 2015-07-08
TW201921949A (zh) 2019-06-01
TWI551123B (zh) 2016-09-21
CN106658025B (zh) 2019-07-23
ES2625514T3 (es) 2017-07-19

Similar Documents

Publication Publication Date Title
JP5485969B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP5922281B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
JP6134418B2 (ja) 動画像予測復号装置及び動画像予測復号方法
JP5736083B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP5668169B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP5642305B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12848431

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/005287

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 12014501009

Country of ref document: PH

ENP Entry into the national phase

Ref document number: 2854705

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20147015073

Country of ref document: KR

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012848431

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012848431

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014123204

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2012337138

Country of ref document: AU

Date of ref document: 20120925

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014010751

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014010751

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140505