WO2009052697A1 - A dual prediction video encoding and decoding method and a device - Google Patents

A dual prediction video encoding and decoding method and a device Download PDF

Info

Publication number
WO2009052697A1
WO2009052697A1 PCT/CN2008/001728 CN2008001728W WO2009052697A1 WO 2009052697 A1 WO2009052697 A1 WO 2009052697A1 CN 2008001728 W CN2008001728 W CN 2008001728W WO 2009052697 A1 WO2009052697 A1 WO 2009052697A1
Authority
WO
WIPO (PCT)
Prior art keywords
residual
prediction
heavy
reconstructed
mode
Prior art date
Application number
PCT/CN2008/001728
Other languages
English (en)
French (fr)
Inventor
Lu Yu
Sijia Chen
Jianpeng Wang
Original Assignee
Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University filed Critical Zhejiang University
Priority to EP08841973.4A priority Critical patent/EP2214415B1/en
Priority to US12/738,205 priority patent/US8582904B2/en
Publication of WO2009052697A1 publication Critical patent/WO2009052697A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to the field of digital data processing technologies, and in particular, to a dual prediction video encoding and decoding method and apparatus. Background technique
  • An important purpose of video coding is to compress the video signal and reduce the amount of data of the video signal, thereby saving the storage space and transmission bandwidth of the video signal.
  • the original uncompressed video signal the amount of data is very large.
  • brightness chrominance is represented by 8 bits
  • this frame image has 1216512 bits, in video playback, per second
  • the rate of 25 frames, the code rate is as high as 30.4 Mbps.
  • this code rate is dozens of times higher. Such a high code rate is difficult to implement in both transmission and storage, so efficient video compression technology is a necessary means to ensure video communication and storage.
  • the traditional hybrid coding framework is a coding framework that comprehensively considers predictive coding, transform coding, and entropy coding methods, and focuses on reducing redundant information between video signal pixels.
  • Traditional video hybrid coding The framework has the following main features:
  • the predictive coding in the conventional video hybrid coding framework includes intra prediction coding and inter prediction coding, see H.264/AVC standard and AVS standard.
  • intra prediction coding includes pixel domain prediction and transform domain prediction, and pixel domain prediction and transform domain prediction are collectively referred to as spatial domain prediction.
  • a video frame compressed using intra-prediction coding techniques is called an intra-coded frame (I-frame).
  • the encoding method of the intra-coded frame is as follows: First, the coded frame is divided into coding blocks (a form of coding unit); intra-prediction coding (space-domain prediction) is performed on the coded block, and the residual of intra-prediction coding (space prediction) is obtained.
  • Inter-frame coding includes forward, backward, and bidirectional prediction (P-frame, B-frame), supporting different block sizes.
  • the coding method of the inter-coded frame is as follows: First, the coded frame is divided into coded blocks; the motion estimation technique using motion search and motion prediction is used to obtain the motion vector and the reference block (a form of reference unit); then motion compensation is adopted.
  • the residual data after inter prediction is obtained.
  • time domain prediction there is a combination of temporal and spatial prediction codes, see Kenneth Andersson, "Combined Intra Inter-prediction Coding Mode", VCEG-AD11, 18 October 2006.
  • the residual data is subjected to two-dimensional transform coding after predictive coding; then the transform coefficients are quantized in the transform domain; then the two-dimensional signal is converted into a one-dimensional signal by scanning; and finally entropy coding is performed.
  • the residual data i.e., the residual signal, is reduced relative to the original video signal, both spatial redundancy information and temporal redundancy information.
  • the spatial correlation and temporal correlation of the residual signal are smaller than the original video information. Then, the residual signal is subjected to two-dimensional transform coding to further reduce spatial correlation. Finally, the transform coefficients are quantized and entropy encoded to reduce data redundancy information. It can be seen that to continue to improve the compression efficiency of video coding, more accurate predictive coding techniques are needed to further reduce the spatial correlation and temporal correlation of the residual signal after prediction; and more efficient transform coding techniques are needed to further reduce spatial correlation; At the same time, after predictive coding and transform coding, adaptive scanning techniques, quantization techniques and entropy coding techniques are designed.
  • a dual prediction video decoding method the reconstruction process of decoding a reconstructed image includes a double prediction compensation process and a second re-prediction storage, wherein the double prediction compensation process package The first re-prediction compensation process and the second re-prediction compensation process are included, wherein the input of the second re-prediction compensation process includes the reconstructed first heavy residual and the reconstructed second heavy residual.
  • a dual prediction video coding method characterized in that the method comprises a double prediction process and a second re-prediction process, wherein the double prediction process comprises a first re-prediction process and a second re-prediction process, wherein the second re-prediction
  • the input to the process includes a first weight residual and a first weight residual prediction value; this encoding method produces a corresponding code stream.
  • a second re-predictor receives the reconstructed second residual residual decoded in the code stream, accepts the reconstructed first heavy residual output of the second re-prediction memory, and sends the reconstructed first heavy residual;
  • a second re-prediction memory receiving the reconstructed first heavy residual generated by the second re-predictor, and sending the reconstructed first heavy residual
  • a first re-predictor receives the reconstructed first weight residual generated by the second re-predator, accepts the first weight mode decoded in the code stream, and sends the reconstructed image.
  • a first re-predator accepting the original image, sending the first heavy residual and the first weight mode, accepting the reconstructed image
  • a second re-predictor accepting the first heavy residual sent by the first re-predictor, accepting the first Double-predicting the reconstructed first heavy residual of the memory output, sending a second heavy residual
  • a second re-prediction memory accepts the reconstructed first residual residual and sends the reconstructed first heavy residual.
  • the beneficial effects of the present invention are: In view of the deficiencies of the prior art, the double prediction encoding and decoding method and apparatus are used to remove redundancy, and the coding performance is improved. DRAWINGS
  • FIG. 1 is a schematic diagram of a dual prediction video decoding apparatus of the present invention
  • FIG. 2 is a schematic diagram of a double prediction video coding apparatus according to the present invention.
  • FIG. 3 is a schematic diagram of a dual prediction video encoding and decoding apparatus of the present invention.
  • Figure 4 is a schematic diagram of the original data of the /VX coded block
  • Figure 5 is a schematic diagram of data of a 7VX reference image block
  • FIG. 6 is a schematic view of Embodiment 8 of the present invention.
  • FIG. 7 is a schematic view of Embodiment 9 of the present invention. detailed description
  • a coding unit is a set of video pixels, and pixels belonging to the same coding unit need to be coded together.
  • the coding unit was a single pixel; in the current video coding standard, the coding unit is a rectangular block, including blocks; and in some recent literatures on coding new technologies, the coding unit may be Triangle, trapezoidal.
  • the coding unit has many forms, and in addition to the above, it can also be composed of pixels from non-adjacent points.
  • An encoding block is an example of a coding unit, which is a rectangular block composed of pixels. The size of the rectangular block is /7, which means that the coding block has a height of /? pixels and a width of pixels.
  • a specific embodiment will be exemplified by a coding block, so that unless otherwise specified, a coding block will be used instead of the coding unit.
  • Decoding unit and coding unit are different sayings that the same thing is in different positions of the system.
  • the coding unit is a concept in a double prediction coding system, and when the data of the coding unit is transmitted to the double prediction decoding system, it is called a decoding unit. Therefore, the examples and descriptions of the coding units mentioned in A-1 and ⁇ -2 are also suitable for the example and description of the decoding unit.
  • the above codec units can be referred to as pending units.
  • the raw data of the unit to be processed refers to the original pixel value of the unit to be processed that needs to be processed.
  • FIG. 4 is a ⁇ ⁇ ⁇ block to be processed ⁇ represents the value of the position pixel, which is the original data of the pixel.
  • the original data of the 7 77 pending block is used as the input data of the original video processing system.
  • the to-be-processed unit When the to-be-processed unit performs spatial domain prediction or time domain prediction, it needs to find the reference unit closest to the to-be-processed unit in the reference image, which may be referred to as a matching unit. The closest is to make a certain measured value (such as SAD value) optimal.
  • the matching unit may be an integer pixel unit in the reference image, or may be a sub-pixel unit obtained by interpolation.
  • the reference image data refers to a matching unit of a unit to be processed, but when the sub-pixel matching unit is not available, the reference image data may also be an integer pixel unit closest to the unit to be processed, that is, an integer pixel matching unit.
  • FIG. 5 is a reference image data exemplified by a block to be processed, which is an integer pixel matching block, and has a block size of W - M. Represents the value of the pixel at the ⁇ position.
  • the reference unit data of the data of the integer matching unit of N ' ⁇ and the original data of the above unit are generated as the first heavy residual.
  • the first re-prediction mode information and/or motion information, quantization parameter information, and other similar related information are included.
  • the first re-predicted value of the above coding unit can be obtained by performing the second re-prediction using the reconstructed first residual residual previously stored.
  • the difference between the first residual of the ⁇ - ⁇ unit and the predicted value of the first residual residual is the second residual.
  • the second re-prediction mode information and/or the motion information are included to determine information of the second-heavy mode that is not subordinate to the above-mentioned various types of signals, and other similar related information.
  • the second mode is generated only by the information of the current unit to be processed:
  • the second mode is generated only by the information of the available units around the current unit to be processed:
  • D-2-2 Generated only by the reconstructed image pixel values of the available units around the current unit to be processed; D-2-3. Generated only by the predicted values of the image pixels of the available units around the current unit to be processed; D-2-4. Generated only by the reconstructed first heavy residual of the available units around the current unit to be processed;
  • the second mode is generated only by the information in the available reference image of the image of the current unit to be processed.
  • D-3-2. is generated only by the reconstructed image pixel value of the relevant unit in the available reference image of the image of the current to-be-processed unit;
  • D-3-3 is generated only by the predicted value of the image pixel of the relevant unit in the available reference image of the image of the current unit to be processed;
  • the second mode is generated by a combination of multiple or multiple of D-l, D-2, D-3:
  • D-4-1 The second mode is generated by D-1 and D-3:
  • the predicted value of the image pixel (D-3-2) is compared with a parameter (in this case, the direction function) to generate the second mode.
  • the code stream can be read and written with or without the second.
  • Heavy mode syntax element Not limited to here For example.
  • the second mode can be analogized by multiple generations of Dl, D-2, and D-3.
  • the second mode can be added or not added in the stream read and write. element.
  • D-4-3 The second mode is generated by the combination of D-1 and D-3.
  • the second mode syntax element may or may not be added in the stream read and write. Not limited to the examples here.
  • the second mode can be analogized by the combination of multiples of D1, D-2, and D-3, and the second weight can be added or not added in the code stream reading and writing.
  • Pattern syntax element The technical solution adopted by the present invention is as follows:
  • the double prediction video decoding method specifically includes the following steps:
  • the information read includes one of the following two types of coding information:
  • the second mode is determined by the following locations:
  • the first residual residual prediction value is generated by using the first weight residual after reconstruction to generate a first residual residual prediction value according to the second heavy mode, where the prediction method is spatial domain prediction or time domain prediction or space-time domain. Combined predictions. Above, the generation of the first residual residual prediction value is referred to as a second re-prediction generation process.
  • the first re-prediction compensation process is implemented: the first residual residual is input, and the reconstructed image is reconstructed as the decoded image output.
  • the second re-prediction storage stores the reconstructed first heavy residual including all or part of the available units around the current to-be-processed unit.
  • the second re-prediction storage stores the reconstructed first heavy residual including the image available reference image of the current to-be-processed unit.
  • the second re-prediction storage stores the reconstructed first heavy residual including all or part of the available units around the current to-be-processed unit. Poor, and the reconstructed first heavy residual of the reference image available for the image.
  • the double prediction video coding method specifically includes the following steps:
  • the first re-prediction process is implemented: the first heavy residual is sent to the second re-predictor, and the first heavy mode is sent to the encoding process.
  • the first residual residual prediction value is generated by using the first prediction method to generate a first heavy residual prediction value according to the second weight mode according to the second weight mode, where the prediction method is spatial domain prediction or time domain prediction or space time. Domain combined prediction.
  • the generation of the first residual residual prediction value is referred to as a second re-prediction generation process.
  • a second mode (D) is obtained, and a first heavy residual prediction value (C) is generated according to the second weight mode; b. a first heavy residual prediction value (C) is generated, and a second heavy residual is obtained, according to The second heavy residual and other related information generate a second weight pattern (D).
  • the second mode is determined by the following locations:
  • One, multiple or multiple combinations are produced.
  • the encoder obtains the coded stream by encoding, for example, transform, quantization, and entropy coding in the background art, that is, the coded stream includes the second heavy residual coded information, and the coded information It may be generated by lossy coding or lossless coding; the coded code stream obtains the reconstructed second residual by the inverse process of the above coding process, such as entropy decoding, inverse quantization and inverse transformation; and generates the reconstructed second heavy residual
  • the difference method is not limited to the above-mentioned methods, including a similar process; the code stream encoded by the encoder includes one of the following two types of coding information:
  • the second residual is obtained by the double prediction decoding device to obtain the first residual residual after reconstruction, and is sent back to the second re-prediction memory.
  • the second re-prediction memory In the second re-prediction memory:
  • the second re-prediction storage stores the reconstructed first heavy residual including all or part of the available units around the current to-be-processed unit.
  • the second re-prediction storage stores the reconstructed first heavy residual including the image available reference image of the current to-be-processed unit.
  • the second re-prediction storage stores the reconstructed first heavy residual including all or part of the available units around the current to-be-processed unit. Poor, and the reconstructed first heavy residual of the reference image available for the image.
  • a double prediction video decoding apparatus for a double prediction video decoding method comprising: a second re-prediction 1, accepting a reconstructed second residual residual decoded in a code stream, and accepting a second re-prediction memory 803 Output The reconstructed first residual residual, the first residual residual after the reconstruction is sent; the second re-prediction memory 803 receives the reconstructed first heavy residual generated by the second re-predictor 801, and sends the reconstructed first And a first residual predictor 802, accepting the reconstructed first heavy residual generated by the second re-predictor 801, accepting the first heavy mode decoded in the code stream; and sending the reconstructed image.
  • a double prediction video coding apparatus for a double prediction video coding method comprising: a first re-predictor 802, accepting an original image, sending a first heavy residual and a first heavy mode, accepting a reconstructed image;
  • the re-predictor 801 receives the first heavy residual sent by the first re-predictor 802, accepts the reconstructed first residual residual output by the second re-prediction memory 803, and sends the second heavy residual; and the second re-prediction
  • the memory 803 receives the reconstructed first residual residual and sends the reconstructed first heavy residual.
  • a double prediction video coding and decoding apparatus for a double prediction video coding and decoding method characterized in that it comprises: a double prediction video decoding apparatus for a double prediction video decoding method and one for two Dual prediction video coding apparatus for re-predictive video coding method, see FIG.
  • Embodiment 1 A dual prediction video decoding method, which specifically includes the following steps:
  • the second mode in this example includes horizontal prediction, vertical prediction, DC prediction, upper left diagonal prediction, upper right diagonal prediction, and other angular directions in spatial prediction (C-1). Prediction and similar processes; other block size predictions and similar processes may also be included, and the second mode is not limited to the proposed mode;
  • the method for generating the first residual residual prediction value is spatial domain prediction (C-1), in which case the reconstructed first pixel position and the left adjacent pixel position of the current to-be-processed unit of the current frame are used. a heavy residual, the first residual residual prediction value is obtained according to the second weight mode;
  • the method of implementing spatial domain prediction (C-1) is not limited to the method described, and may include other spatial domain prediction (c-i) methods and the like described in the background art.
  • the first re-prediction compensation process is implemented according to the method described in the background art, and the reconstructed image is output after decoding. - '
  • the method of generating the first residual residual prediction value is spatial domain prediction (C-1), at this time the second re-prediction memory Stored is the reconstructed first heavy residual of the adjacent adjacent row pixel locations and the left adjacent column pixel locations.
  • Embodiment 2 The double prediction video coding method specifically includes the following steps:
  • the first re-predictor the first re-prediction process is implemented according to the method described in the background art, the original image is accepted, the first heavy residual is output, and the second re-predator is sent to the second re-predictor; To the encoder.
  • the second re-prediction generator performs time domain prediction on the first residual residual of the current to-be-processed unit (C-2);
  • the second mode in this example includes forward, backward and bidirectional prediction of macroblock size in time domain prediction (C-2), and may also include prediction of other block sizes and similar processes; The second mode is not limited to the mode in question;
  • the method for generating the first residual residual prediction value is time domain prediction (C-2), in which case the reconstructed first heavy residual in the available reference image of the image of the current unit to be processed is used.
  • the motion search obtains the first residual residual prediction value;
  • Mode selection of the second residual residual to obtain the second mode (D-1-6): Calculate the coding cost in each available second mode to select the second mode with the lowest coding cost, and calculate The method of mode coding cost can refer to the background art, and is not limited to the examples;
  • the encoder encodes the second mode into the code stream
  • the encoder obtains the coded stream by transforming, quantization and entropy coding for the second residual, that is, the coded stream includes the coding information of the first mode, the second mode and the second weight. Encoding information of the first heavy residual is not included, and the encoded information is generated by lossy coding; the encoded code stream obtains the reconstructed second residual by the inverse process of the above encoding process; the method for generating the encoded code stream is not limited to the foregoing Method, including a similar process;
  • time domain prediction (C-2) is not limited to the method described, and may include other time domain prediction (C-2) methods and the like described in the background art;
  • the reconstructed second residual is generated by the double prediction decoding process to generate the reconstructed first heavy residual; the reconstructed first residual is sent back to the second re-prediction memory.
  • the method of generating the first residual residual prediction value is time domain prediction (C-2), at which time the second re-prediction memory stores the reconstructed first weight in the available reference image of the image of the current to-be-processed unit.
  • the first residual after the residual reconstruction is time domain prediction (C-2), at which time the second re-prediction memory stores the reconstructed first weight in the available reference image of the image of the current to-be-processed unit.
  • the first residual after the residual reconstruction.
  • Embodiment 3 The double prediction video coding method specifically includes the following steps:
  • the first re-predictor is implemented according to the method described in the background art, the original image is accepted, the first heavy residual is output, and the second re-predictor is sent to the second re-predictor; To the encoder.
  • the second re-prediction generator performs time domain prediction (C-2) on the first residual residual of the current unit to be processed;
  • the second mode in this example includes forward, backward and bidirectional prediction of macroblock size in time domain prediction (C-2), and may also include prediction of other block sizes and similar processes; The second mode is not limited to the mode in question;
  • the method for generating the first residual residual prediction value is time domain prediction (C-2), in which case the reconstructed first heavy residual in the available reference image of the image of the current unit to be processed is used.
  • the motion search obtains the first residual residual prediction value;
  • the encoder obtains the coded stream by transforming, quantization and entropy coding for the second residual, that is, the coded stream includes the coding information of the first weight mode and the second weight residual, excluding the first Encoding information of the residual residual, the encoded information is generated by lossless coding; the encoded code stream obtains the reconstructed second residual by the inverse process of the above encoding process; the method for generating the encoded code stream is not limited to the above method, including a similar process ;
  • time domain prediction (C-2) is not limited to the method described, and may include other time domain prediction (C-2) methods and the like described in the background art;
  • the reconstructed second residual is generated by the double prediction decoding process to generate the reconstructed first residual residual; the reconstructed first residual is sent back to the second re-prediction memory.
  • the method of generating the first residual residual prediction value is time domain prediction (C-2), and the second re-prediction memory stores the reconstructed first weight in the available reference image of the image of the current to-be-processed unit.
  • the first residual after the residual reconstruction is time domain prediction (C-2), and the second re-prediction memory stores the reconstructed first weight in the available reference image of the image of the current to-be-processed unit.
  • the first residual after the residual reconstruction.
  • Embodiment 4 The double prediction video decoding method specifically includes the following steps:
  • the second heavy residual and the first heavy mode coding information are read in the code stream, and the reconstructed second heavy residual and the first heavy mode are obtained through a decoding process such as entropy decoding, inverse quantization, and inverse transform.
  • the second mode in this example includes horizontal prediction in the spatial prediction (C-1), vertical prediction, DC prediction, upper left diagonal prediction, upper right diagonal prediction, other angular orientation prediction, and Similar processes; other block size predictions and similar processes may also be included, and the second mode is not limited to the proposed mode;
  • the second mode is generated by multiple kinds of information in the current unit to be processed: the direction function of the predicted value (D-1-2) of the image pixel of the current unit to be processed is calculated by the sobel operator, and the predefined value ( D-1-1) comparison, determining the second mode; the method of generating the second mode by using multiple information in the current unit to be processed is not limited to the example
  • the method for generating the first residual residual prediction value is spatial domain prediction (Cl), in which case the reconstructed first heavy residual of the current adjacent pixel position of the current frame and the left adjacent pixel position of the current frame are used. Obtaining a first residual residual prediction value according to the second weight mode;
  • the reconstructed second residual residual and the first residual residual prediction value are added to obtain the reconstructed first heavy residual; the reconstructed first heavy residual is sent back to the second re-prediction memory;
  • the method of implementing spatial domain prediction (C-1) is not limited to the method described, and may include other spatial domain prediction (C-1) methods and the like described in the background art.
  • the first re-prediction compensation process is implemented according to the method described in the background art, and the reconstructed image is output after decoding. '
  • Embodiment 5 A dual prediction video decoding method, specifically comprising the following steps:
  • the second heavy residual and the first heavy mode coding information are read in the code stream, and the reconstructed second heavy residual and the first heavy mode are obtained through a decoding process such as entropy decoding, inverse quantization, and inverse transform.
  • the second mode in this example includes horizontal prediction in the spatial prediction (C-1), vertical Direction prediction, DC prediction, upper left diagonal direction prediction, upper right diagonal direction prediction, other angular direction prediction, and the like; may also include other block size predictions and the like, and the second mode is not limited to the illustrated mode;
  • the second mode is generated by multiples of D-1, D-2, and D-3: Calculate the predicted value (D-1-2) of the image pixel of the current unit to be processed by the sobel operator. The direction function is compared with the calculated direction function of the predicted value (D-3-2) of the image pixel of the relevant unit in the available reference image of the image of the current to-be-processed unit, determining the second mode; by D1, D - 2.
  • a plurality of methods in the D-3 for generating the second mode are not limited to the examples.
  • the method for generating the first residual residual prediction value is spatial domain prediction (Cl ), in which case the reconstructed first weight of the upper adjacent pixel position and the left adjacent pixel position of the current to-be-processed unit of the current frame is used. Residual, obtaining a first residual residual prediction value according to the second weight mode;
  • the method of realizing spatial domain prediction (C-1) is not limited to the proposed method, and may include other spatial domain prediction (C-1) methods and the like as described in the background art.
  • the first re-prediction compensation process is implemented according to the method described in the background art, and the reconstructed image is output after decoding.
  • the method of generating the first residual residual prediction value is spatial domain prediction (C-1).
  • the second re-prediction memory stores the reconstructed first pixel position of the upper adjacent row pixel position and the left adjacent column pixel position. Residual.
  • Embodiment 6 The double prediction video decoding method specifically includes the following steps:
  • the second mode in this example includes horizontal direction prediction, vertical direction prediction, DC prediction, upper left diagonal direction prediction, upper right diagonal direction prediction, and other angular directions in spatial prediction (C-1). Prediction and similar processes; other block size predictions and similar processes may also be included, and the second mode is not limited to the proposed mode;
  • the second mode is generated by a combination of multiples of D-1, D-2, D-3: Calculate the predicted value of the image pixel of the current unit to be processed by using the sobel operator (D- 1- 2) the direction function, with the predefined value of the current unit to be processed (D-1-1), the function is calculated, in this case
  • the predefined value (D1-1) of the current unit to be processed is coefficient multiplication as a weighting value, and the predicted value of the image pixel of the relevant unit in the available reference image of the image of the current to-be-processed unit calculated by the sobel operator (D-
  • the direction function comparison of 3-2) determines the second mode; the method of generating the second mode by the combination of the plurality of D-1, D-2, D-3 is not limited to the example.
  • the method for generating the first residual residual prediction value is spatial domain prediction (Cl), in which case the reconstructed first heavy residual of the current adjacent pixel position of the current frame and the left adjacent pixel position of the current frame are used. Obtaining a first residual residual prediction value according to the second weight mode;
  • the reconstructed second residual residual and the first residual residual prediction value are added to obtain the reconstructed first heavy residual; the reconstructed first heavy residual is sent back to the second re-prediction memory;
  • the first re-prediction compensation process is implemented according to the method described in the background art, and the reconstructed image is output after decoding.
  • Embodiment 7 A double prediction video codec system, specifically comprising the following steps:
  • Double prediction video coding method which specifically includes the following steps:
  • the first re-predictor In the first re-predictor, the first re-prediction process is implemented according to the method described in the background art, the original image is accepted, the first heavy residual is output, and sent to the second re-predictor; the first heavy mode is directly sent out. To the encoder.
  • the second re-prediction generator performs spatial prediction on the first residual residual of the current unit to be processed (C-1);
  • the second mode in this example includes horizontal prediction in the spatial prediction (C-1), vertical prediction, DC prediction, upper left diagonal prediction, upper right diagonal prediction, other angular orientation prediction, and Similar processes; other block size predictions and similar processes may also be included, and the second mode is not limited to the proposed mode;
  • the method for generating the first residual residual prediction value is spatial domain prediction (C-1), in which case the reconstructed first weight of the upper adjacent pixel position and the left adjacent pixel position of the current to-be-processed unit of the current frame is used. Residual, obtaining a first residual residual prediction value according to the second weight mode; 1. 2. 4 The first heavy residual and the first residual residual prediction value are subtracted to obtain the second heavy residual; 1. 2. 5 The second heavy residual is mode selected to obtain the second heavy mode (D) -1- 6): calculating a coding cost in each available second mode to select a second mode with a minimum coding cost, and a method for calculating a mode coding cost may refer to the background art, and is not limited to the example;
  • the encoder encodes the second mode into the code stream
  • the encoder obtains the coded stream by transforming, quantizing and entropy encoding the second residual, that is, the coded stream includes the codes of the first mode, the second mode and the second residual.
  • the information does not include the coding information of the first weight residual, and the coded information is generated by lossy coding; the coded code stream obtains the reconstructed second residual by the inverse process of the above coding process; the method for generating the coded stream is not limited to the above The method, including a similar process;
  • the method of implementing spatial domain prediction (C-1) is not limited to the method described, and may include other spatial domain prediction (C-1) methods and the like described in the background art.
  • the reconstructed second residual is generated by the double prediction decoding process to generate the reconstructed first residual; the reconstructed first residual is sent back to the second re-prediction memory.
  • the method of generating the first residual residual prediction value is spatial domain prediction (C-1), at which time the second re-prediction memory stores the reconstructed first heavy residual of the upper adjacent row pixel position and the left adjacent column pixel location.
  • the predictive video decoding method specifically includes the following steps:
  • a process such as entropy decoding, inverse quantization, and inverse transform Double mode (D- 1- 7) and first mode.
  • the second re-prediction compensation process is implemented:
  • the second re-prediction generator performs spatial prediction (C-1) on the first residual residual of the current unit to be processed
  • the second mode in this example includes horizontal direction prediction, vertical direction prediction, DC prediction, upper left diagonal direction prediction, upper right diagonal direction prediction, and other angular directions in spatial prediction (C-1). Prediction and similar processes; may also include other predictions and similar processes of block size, the second mode is not limited to the mode in question;
  • the method for generating the first residual residual prediction value is the spatial domain prediction (Cl ), in which the reconstructed first weight of the upper adjacent pixel position and the left adjacent pixel position of the current to-be-processed unit of the current frame is used. Residual, obtaining a first residual residual prediction value according to the second weight mode; 7. 2. 2. 4 The reconstructed second residual and the first residual residual are added to obtain the reconstructed first residual; the reconstructed first residual is sent back to the second prediction Memory; 7. 2. 2. 5
  • the method of implementing spatial domain prediction (C-1) is not limited to the method described, and may include other spatial domain prediction (C-1) methods and the like described in the background art.
  • the first re-prediction compensation process is implemented according to the method described in the background art, and the reconstructed image is output after decoding.
  • the method for generating the first residual residual prediction value is spatial domain prediction (Cl ).
  • the second re-prediction memory stores the reconstructed first pixel position of the upper adjacent row pixel position and the left adjacent column pixel position. Residual.
  • Embodiment 8 An apparatus for a double prediction video decoding method, specifically comprising the following part (Fig. 6):
  • 8. 1 code stream decoding device reading the code information of the second weight residual, the second weight mode and the first weight mode in the code stream, and obtaining the reconstructed process through a decoding process such as entropy decoding, inverse quantization and inverse transform The second heavy residual, the second heavy mode (D-1- 7 ) and the first heavy mode.
  • Second Re-predator Implement the second re-predictive compensation process:
  • the second mode in this example includes horizontal direction prediction, vertical direction prediction, DC prediction, upper left diagonal direction prediction, upper right diagonal direction prediction, and other angular directions in spatial prediction (C-1). Prediction and similar processes; other block size predictions and similar processes may also be included, and the second mode is not limited to the proposed mode;
  • the method for generating the first residual residual prediction value is spatial domain prediction (Cl ), in which case the reconstructed first weight of the upper adjacent pixel position and the left adjacent pixel position of the current to-be-processed unit of the current frame is used. Residual, obtaining a first residual residual prediction value according to the second weight mode;
  • the method of realizing spatial domain prediction (C-1) is not limited to the proposed method, and may include other spatial domain prediction (C-1) methods and the like as described in the background art.
  • the first re-predictor the first re-prediction compensation process is implemented according to the method described in the background art, and the reconstructed image is output after decoding.
  • the method for generating the first residual residual prediction value is spatial domain prediction (Cl ), which stores the reconstructed first heavy residual of the pixel position of the adjacent adjacent row and the pixel position of the adjacent column of the left side.
  • Embodiment 9 The apparatus for the double prediction video coding method specifically includes the following parts (FIG. 7):
  • first re-predator according to the method described in the background, the first re-prediction process is implemented, the original image is accepted, the first heavy residual is output, and sent to the second re-predictor; the first heavy mode is directly sent to Encoder.
  • the second mode in this example includes horizontal direction prediction, vertical direction prediction, DC prediction, upper left diagonal direction prediction, upper right diagonal direction prediction, and other angular directions in spatial prediction (C-1). Prediction and similar processes; other block size predictions and similar processes may also be included, and the second mode is not limited to the proposed mode;
  • the method for generating the first residual residual prediction value is spatial domain prediction (Cl ), in which case the reconstructed first weight of the upper adjacent pixel position and the left adjacent pixel position of the current to-be-processed unit of the current frame is used. Residual, obtaining a first residual residual prediction value according to the second weight mode;
  • Mode selection of the second residual residual to obtain the second mode (D-1- 6): Calculate the coding cost in each available second mode to select the second mode with the lowest coding cost, and calculate The method of mode coding cost can refer to the background art, and is not limited to the examples;
  • the encoder encodes the second mode into the code stream
  • the encoder obtains the encoded code stream by transforming, quantizing and entropy encoding the second residual, that is, the coded stream includes the coding information of the first weight mode, the second weight mode and the second weight residual. Encoding information of the first heavy residual is not included, and the encoded information is generated by lossy coding; the encoded code stream obtains the reconstructed second residual by the inverse process of the above encoding process; the method for generating the encoded code stream is not limited to the foregoing Method, including a similar process;
  • the method of realizing spatial domain prediction (C-1) is not limited to the method mentioned, and may include background technology.
  • the reconstructed second residual is generated by the double prediction decoding process to generate the reconstructed first heavy residual; the reconstructed first residual is sent back to the second re-prediction memory.
  • the method of generating the first residual residual prediction value is spatial domain prediction (C-l), where the stored first residual residual of the pixel position of the adjacent adjacent row and the pixel position of the adjacent column of the left side are stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

二重预测视频编解码方法和装置 技术领域
本发明涉及数字数据处理技术领域，特别地，涉及一种二重预测视频编解码方法 和装置。 背景技术
数字图像、视频信号处理和编码技术的研究开始于 20世纪 50年代， 最初采用的 编码方法是空间域上差分脉冲编码调制 （简称 DPCM)。 到 20世纪 70年代， 变换编码 技术和运动补偿预测技术开始出现。 在 1974年， Ahmed等引入基于块的二维离散余 弦变换 （简称 DCT)， 成为现代先进视频编码框架中的一项核心技术。 这些技术逐渐 成熟， 在 20世纪 80年代发展为实用的编码技术， 确立了基于块的混合编码框架， 集 预测编码、 变换编码和熵编码于一体的传统混合编码框架， 即 Hybrid Coding框架。 基于这个框架， 在后面 20多年中， 出现了一系列的国际视频编码标准， 如 ITU制定 的 H. 261， H. 263， H. 26L标准和 ISO的 PEG组织制定的 MPEG- 1， MPEG- 2， MPEG- 4 等。 到了 21世纪， 随着技术的发展， 人们对多媒体通信的进一步需求要求视频编码 能够提供更高效的压缩技术和异质网络的适应技术， 新一代视频编码标准 H. 264/MPEG-AVC (简称 H. 264) 就是在这样的背景下开始制定， 并在 2003年颁布的。 与此同时，中国自主知识产权的视频编码标准 AVS第二部分也于 2003年底制定完成， 并于 2006年 2月获颁为正式的国家标准 （GB/T 20090. 2 )。 AVS、 H. 264的压缩效率 大约是 MPEG-2的两倍， 同时复杂度也提高不少。 同样， AVS和 H. 264都是基于传统 混合编码框架的视频编码标准。
视频编码的一个重要目的就是对视频信号进行压缩， 减少视频信号的数据量， 从 而节约视频信号的存储空间和传输带宽。原始的未压缩的视频信号， 数据量是非常巨 大的。 举个例子， 一帧 CIF的 YUV图像， 大小为 352 X 288， 格式为 4 : 2 : 0， 亮度色度 用 8比特表示， 这一帧图像就有 1216512比特， 在视频播放时， 按每秒 25帧的速率， 码率就高达 30. 4Mbps。 对于标清、 高清的视频序列， 这个码率还要高几十倍。 如此 高的码率在传输和存储中都是很难实现的， 因此高效的视频压缩技术是保证视频通 信、 存储的必要手段。 幸运的是， 视频信号巨大的数据量中存在着大量的冗余信息， 这些冗余信息可以分成空间冗余信息、时间冗余信息、数据冗余信息和视觉冗余信息。 其中前面三种冗余信息仅仅只是考虑像素间的冗余信息， 统称像素间统计冗余信息， 视觉冗余信息更加侧重考虑人眼视觉系统的特性。视频编码的一个重要目的就是要降 低冗余信息， 压缩视频数据量。传统混合编码框架是综合考虑预测编码、 变换编码以 及熵编码方法的编码框架，着力降低视频信号像素间的冗余信息， 传统视频混合编码 框架有以下主要特点：
1 ) 利用预测编码降低时间冗余信息和空间冗余信息；
2) 利用变换编码进一步降低空间冗余信息；
3) 利用熵编码降低数据冗余信息；
传统视频混合编码框架中的预测编码包括帧内预测编码和帧间预测编码， 见 H. 264/AVC标准和 AVS标准。 其中帧内预测编码包括像素域预测和变换域预测， 像素 域预测和变换域预测合称空域预测。使用帧内预测编码技术压缩的视频帧，称为帧内 编码帧 （I 帧）。 帧内编码帧的编码方法如下： 首先， 将编码帧分成编码块 （编码单 元的一种形式）； 对编码块进行帧内预测编码（空域预测）， 得到帧内预测编码（空域 预测）的残差数据， 帧内预测支持不同块大小及不同方向预测模式； 然后对残差数据 - 进行二维变换编码； 然后在变换域中对变换系数进行量化； 然后经过扫描将二维信号 转换成一维信号；最后进行熵编码。用帧间预测（时域预测）编码技术压缩的视频帧， 称为帧间编码帧， 帧间编码包括前向、 后向和双向的预测 （P帧、 B帧）， 支持不同块 大小。 帧间编码帧的编码方法如下： 首先， 将编码帧分成编码块； 对编码块采用运动 搜索和运动预测的运动估计技术得到运动矢量和参考块 （参考单元的一种形式）； 然 后采用运动补偿技术， 得到帧间预测 （时域预测）后的残差数据。 此外， 还有时空域 结合的预测编码， 见 Kenneth Andersson, "Combined Intra Inter-prediction Coding Mode" , VCEG- AD11, 18 October 2006。 预测编码之后对残差数据进行二维 变换编码； 然后在变换域中对变换系数进行量化； 然后经过扫描将二维信号转换成一 维信号； 最后进行熵编码。 残差数据， 也就是残差信号， 相对于原始视频信号， 空间 冗余信息和时间冗余信息都减小了。如果这种空间冗余信息和时间冗余信息用数学上 相关性来表示， 则残差信号的空间相关性和时间相关性都比原始视频信息小。然后对 残差信号进行二维变换编码，进一步降低空间相关性， 最后对变换系数进行量化和熵 编码降低数据冗余信息。可见要继续提高视频编码的压缩效率， 需要更精确的预测编 码技术，进一步降低预测后残差信号的空间相关性和时间相关性； 同时也需要更有效 的变换编码技术， 进一步降低空间相关性； 同时在预测编码和变换编码后， 设计相适 应的扫描技术、 量化技术和熵编码技术。
着眼于传统混合视频编解码框架的瓶颈，空域预测或时域预测后所获得的残差块 仍然存在冗余， 进一步去除这些冗余能够实现更有效地编码， 得到编码性能的提高。 发明内容
本发明的目的在于针对现有技术的不足， 提供一种二重预测视频编解码方法。 该发明目的通过以下技术方案来实现： 一种二重预测视频解码方法， 解码重建 图像的重建过程包含二重预测补偿过程和第二重预测存储，其中二重预测补偿过程包 括第一重预测补偿过程和第二重预测补偿过程，其中第二重预测补偿过程的输入包括 重建后的第一重残差和重建后的第二重残差。一种二重预测视频编码方法，其特征在 于， 该方法包括二重预测过程和第二重预测存储， 其中二重预测过程包括第一重预测 过程和第二重预测过程，其中第二重预测过程的输入包括和第一重残差和第一重残差 预测值； 此编码方法产生相应码流。
本发明的目的还在于， 提供一种二重预测视频编解码装置。
该发明该发明目的通过以下技术方案来实现：一种用于权利要求 1所述二重预测 视频解码方法的二重预测视频解码装置， 它包括：
一第二重预测器， 接受码流中解码出的重建后的第二重残差， 接受第二重预测存 储器输出的重建后的第一重残差， 送出重建后的第一重残差；
一第二重预测存储器， 接受第二重预测器生成的重建后的第一重残差， 送出重建 后的第一重残差； 和
一第一重预测器， 接受第二重预测器生成的重建后的第一重残差， 接受码流中 解码出的第一重模式； 送出重建图像。
一种用于权利要求 6所述二重预测视频编码方法的二重预测视频编码装置，它包 括：
一第一重预测器，接受原始图像，送出第一重残差和第一重模式，接受重建图像； 一第二重预测器， 接受第一重预测器送出的第一重残差， 接受第二重预测存储器 输出的重建后的第一重残差， 送出第二重残差； 和
一第二重预测存储器接受重建后的第一重残差， 送出重建后的第一重残差。 本发明的有益效果是： 针对现有背景技术的不足， 使用二重预测编解码方法和 装置去除冗余， 得到编码性能的提高。 附图说明
图 1是本发明二重预测视频解码装置示意图；
图 2是本发明二重预测视频编码装置示意图；
图 3是本发明二重预测视频编解码装置示意图；
图 4是 /VX 编码块原始数据示意图；
图 5是 7VX 参考图像块的数据示意图；
图 6是本发明实施例 8的示意图；
图 7是本发明实施例 9的示意图。 具体实施方式
下面根据附图和实施例详细说明本发明， 本发明的目的和效果将变得更加明显。 下面对本发明中涉及的名词和方法进行举例说明。
A. 待处理单元举例
A-1.编码单元是由视频像素点组成的集合， 属于同一个编码单元中的像素点 需要放在一起编码。在早期的差分脉冲调制编码系统中， 编码单元为一个一个 单独的像素点； 在现在视频编码标准中编码单元是矩形块， 包括方块； 而最新 有些关于编码新技术的文献中， 编码单元可以是三角形、 梯形的。
A-2.编码单元的形式很多， 除了上面提到的， 它还可以由来自不相邻的像素 点组成的。编码块是编码单元一种实例， 它是由像素点组成的矩形块， 矩形块 大小为 /7 代表该编码块高度为 /?个像素点，宽度为 个像素点。比如 16 X16 的编码块， 16 X8的编码块， 8 X16的编码块， 8 8的编码块， 8 4的编码块， 4 Χ 的编码块， 4 X4的编码块。 本发明中， 将以编码块为例来列举具体实施 实例， 所以下面没有特别说明， 将使用编码块代替编码单元。
Α-3.解码单元和编码单元是同一事物在系统不同位置的不同说法。 编码单元 是二重预测编码系统中的概念， 当编码单元的数据传输到二重预测解码系统 时， 它就被称为解码单元。所以 A-1和 Α- 2中提到编码单元的举例和说明也适 合对解码单元的举例和说明。
Α-4.以上编解码单元均可称为待处理单元。
Β. 信号实例
B-1.原始图像数据
待处理单元的原始数据指的是需要处理的待处理单元原始像素值。需要处理的待 处理单元为待处理块时， 图 4是一个 ν · Μ的待处理块^ 代表第 ； 位置像素 点的值， 是该像素点的原始数据。 将这个 7 77的待处理块的原始数据作为原有的视 频待处理系统的输入数据。
Β-2.参考单元数据
待处理单元在做空域预测或时域预测时，需要在参考图像中找到与此待处理单元 最相近的参考单元， 可以称作匹配单元。 最相近是指使某个衡量的值 （比如 SAD值） 最优。 当空域预测或时域预测的运动补偿精确到亚像素时， 匹配单元可能是参考图像 中的整像素单元， 也可能是插值获得的亚像素单元。这里， 参考图像数据指的是待处 理单元的匹配单元，但是当亚像素匹配单元不可用时， 参考图像数据也可以是与待处 理单元最相近的整像素单元， 也就是整像素匹配单元。图 5是以待处理块为例的参考 图像数据， 它是整像素匹配块 ?， 块大小为 W - M。 代表第 ^位置像素点的值。 B-3.第一重残差
将这个 N ' Μ的整像素匹配单元的数据的参考单元数据与上述单元的原始数据 所生成的即为第一重残差。
Β-4.第一重模式
包括第一重预测模式信息和 /或运动信息、量化参数信息， 及其他类似相关信息。
Β-5.第一重残差预测值
使用之前存储的重建后的第一重残差进行第二重预测可以得到上述编码单元的 第一重残差预测值。
Β-6.第二重残差
Ν - Μ单元的第一重残差与第一重残差预测值的差值即为第二重残差。
Β-7.第二重模式
包括第二重预测模式信息和 /或运动信息， 用以判断第二重模式的不从属于上述 各类信号的信息， 及其他类似相关信息。
C. 二重预测视频编解码方法中生成第一重残差预测值方法举例-
C-1.空域预测；
C-2.时域预测；
C-3.时空域结合的预测；
C-4.以上预测方法具体可参考背景技术中的预测方法，不仅限于此处所举例。
D. 二重预测视频编解码方法中生成第二重模式举例
D-1.第二重模式仅通过当前待处理单元的信息生成：
D-1-1. 仅通过当前待处理单元的预定义值生成；
D-1-2. 仅通过当前待处理单元的图像像素的预测值生成；
D-1-3. 仅通过当前待处理单元的第一重模式生成；
D-1-4. 仅通过当前待处理单元的第一重残差预测值生成；
D-1-5. 仅通过当前待处理单元的重建后的第二重残差生成；
D-1-6. 在编码端， 仅通过当前待处理单元的第二重残差生成；
D-1-7. 在解码端，仅通过解码码流中的当前待处理单元的第二重模式语法元 素得到；
D-1-8. 通过当前待处理单元的上述信息中多种或多种的组合生成。
D-2.第二重模式仅通过当前待处理单元周围可用单元的信息生成：
D-2-1. 仅通过当前待处理单元周围可用单元的预定义值生成；
D-2-2. 仅通过当前待处理单元周围可用单元的重建图像像素值生成； D-2-3. 仅通过当前待处理单元周围可用单元的图像像素的预测值生成； D-2-4. 仅通过当前待处理单元周围可用单元的重建后的第一重残差生成；
D-2-5. 仅通过当前待处理单元周围可用单元的第一重残差预测值生成；
D-2-6. 仅通过当前待处理单元周围可用单元的第一重模式生成；
D-2-7. 仅通过当前待处理单元周围可用单元的重建后的第二重残差生成；
D-2-8. 仅通过当前待处理单元周围可用单元的第二重模式生成；
D-2-9. 通过当前待处理单元周围可用单元的上述信息中多种或多种的组合 生成。
D- 3.第二重模式仅通过当前待处理单元所在图像的可用参考图像中的信息生 成
D-3-1. 仅通过当前待处理单元所在图像的可用参考图像中的相关单元的预 定义值生成；
D-3-2. 仅通过当前待处理单元所在图像的可用参考图像中的相关单元的重 建图像像素值生成；
D-3-3. 仅通过当前待处理单元所在图像的可用参考图像中的相关单元的图 像像素的预测值生成；
D-3-4. 仅通过当前待处理单元所在图像的可用参考图像中的相关单元的重 建后的第一重残差生成；
D-3-5. 仅通过当前待处理单元所在图像的可用参考图像中的相关单元的第 一重残差预测值生成；
D-3-6. 仅通过当前待处理单元所在图像的可用参考图像中的相关单元的第 一重模式生成；
D-3-7. 仅通过当前待处理单元所在图像的可用参考图像中的相关单元的重 建后的第二重残差生成；
D-3-8. 仅通过当前待处理单元所在图像的可用参考图像中的相关单元的第 二重模式生成；
D-3-9. 通过当前待处理单元所在图像的可用参考图像中的相关单元的上述 . 信息中多种或多种的组合生成。
D-4.第二重模式通过 D-l、 D-2、 D- 3中多种或多种的组合生成：
D-4-1. 第二重模式通过 D-1和 D- 3生成：
通过计算当前待处理单元的图像像素的预测值 （D-1- 2 ) 的某项参数 （本例中是 方向函数）， 与计算得到的当前待处理单元所在图像的可用参考图像中的相关单元的 图像像素的预测值 （D-3-2 ) 的某项参数 （本例中是方向函数） 比较， 来生成第二重 模式， 在码流读取和写入中可以添加或不添加第二重模式语法元素。不仅限于此处所 举例。
D-4-2. 第二重模式通过 D-l、 D-2、 D-3中的多种生成时可以依上类推， 在码 流读取和写入中可以添加或不添加第二重模式语法元素。
D-4-3. 第二重模式通过 D- 1和 D- 3的组合生成
通过计算当前待处理单元的图像像素的预测值 （D-1- 2 ) 的某项参数 （本例中是 方向函数）， 与计算得到的当前待处理单元所在图像的可用参考图像中的相关单元的 图像像素的预测值 （D-3-2 ) 的某项参数 （本例中是方向函数） 进行函数运算， 再与 当前待处理单元的预定义值 （D- 1-1 ) 比较， 来生成第二重模式， 在码流读取和写入 中可以添加或不添加第二重模式语法元素。 不仅限于此处所举例。
D-4-4. 第二重模式通过 D-l、D-2、D-3中的多种的组合生成时可以依上类推， 在码流读取和写入中可以添加或不添加第二重模式语法元素。 本发明采用的技术方案如下：
1. 二重预测视频解码方法， 具体包括以下步骤：
1) 在码流中读取信息供解码用。 读取的信息包括以下两种的编码信息之一:
(1)第一重模式和第二重残差， 不包括第一重残差；
(2)第一重模式、 第二重模式和第二重残差， 不包括第一重残差。
2) 第二重预测器中， 实现第二重预测补偿过程：
(1)获得第二重模式 （D):
所述第二重模式由以下位置：
a. 当前待处理单元，
b. 当前待处理单元周围可用单元，
c 当前待处理单元所在图像的可用参考图像，
的以下信息；
a. 预定义值，
b. 重建图像像素值，
c. 图像像素的预测值，
d. 重建后的第一重残差，
e. 第一重残差预测值，
f. 第一重模式，
g- 重建后的第二重残差，
h. 第二重模式，
i. 码流中的第二重模式语法元素，
的-一种、 多种或多种的组合产生。 (2)生成第一重残差预测值 （C ):
第一重残差预测值的生成是由重建后的第一重残差根据第二重模式 使用预测方法生成第一重残差预测值，所述预测方法为空域预测或时域预 测或时空域结合的预测。以上，第一重残差预测值的生成称为第二重预测 生成过程。
(3)由重建后的第二重残差和第一重残差预测值共同恢复出重建后的第一重残 差；
(4)重建后的第一重残差回送到第二重预测存储器；
3) 第一重预测器中， 实现第一重预测补偿过程： 输入第一重残差， 重建出重建 图像， 作为解码后图像输出。
4) 第二重预测存储器：
(1)生成第一重残差预测值使用的预测方法为空域预测时， 第二重预测存储中 存储包括当前待处理单元周围可用单元的全部或部分的重建后的第一重残 差。
(2)生成第一重残差预测值使用的预测方法为时域预测时，.第二重预测存储中 存储包括当前待处理单元所在图像可用参考图像的重建后的第一重残差。
(3)生成第一重残差预测值使用的预测方法为时空域结合的预测时， 第二重预 测存储中存储包括当前待处理单元周围可用单元的全部或部分的重建后的 第一重残差， 和所在图像可用参考图像的重建后的第一重残差。
2. 二重预测视频编码方法， 具体包括以下步骤：
1) 第一重预测器中， 实现第一重预测过程： 送出第一重残差到第二重预测器， 送出第一重模式到编码处理。
2) 第二重预测器中， 实现第二重预测过程：
(1)生成第一重残差预测值 （C ) :
第一重残差预测值的生成是由重建后的第一重残差根据第二重模 式使用 '预测 方法生成第一重残差预测值，所述预测方法为空域预测或时域预测或时空域结合的预 测。 以上， 第一重残差预测值的生成称为第二重预测生成过程。
(2)使用第一重残差和第一重残差预测值得到第二重残差， 至少包括下列两种 情况的一种；
a. 获得第二重模式 （D)， 根据第二重模式生成第一重残差预测值 （C); b. 生成第一重残差预测值（C)， 得到第二重残差， 根据第二重残差和其 他相关信息生成第二重模式 （D)。
所述第二重模式由以下位置：
a) 当前待处理单元， b) 当前待处理单元周围可用单元，
c) 当前待处理单元所在图像的可用参考图像，
的以下信息；
a) 预定义值，
b) 重建图像像素值，
c) 图像像素的预测值，
d) 重建后的第一重残差，
e) 第一重残差预测值，
f) 第一重模式，
g) 重建后的第二重残差，
h) 第二重模式，
i) 码流中的第二重模式语法元素，
的一种、 多种或多种的组合产生。
(3)重建后的第一重残差回送到第二重预测存储器；
(4)编码器对第二重残差通过编码如背景技术中的变换、 量化和熵编码等过程 获得编码码流， 即编码码流中包括了第二重残差的编码信息， 此编码信息 可以是通过有损编码或无损编码生成的； 编码码流通过上述编码过程的逆 过程如熵解码、 反量化和反变换等过程获得重建后第二重残差； 生成重建 后的第二重残差的方法不仅限于上述所举方法， 包括类似过程； 编码器编 码出的码流， 包括以下两种的编码信息之一：
a. 第一重模式和第二重残差， 不包括第一重残差；
b. 第一重模式、 第二重模式和第二重残差， 不包括第一重残差。
c 重建后第二重残差通过二重预测解码装置获得重建后第一重残差，回 送到第二重预测存储器。 第二重预测存储器中：
(5)生成第一重残差预测值使用的预测方法为空域预测时， 第二重预测存储中 存储包括当前待处理单元周围可用单元的全部或部分的重建后的第一重残 差。
(6)生成第一重残差预测值使用的预测方法为时域预测时， 第二重预测存储中 存储包括当前待处理单元所在图像可用参考图像的重建后的第一重残差。
(7)生成第一重残差预测值使用的预测方法为时空域结合的预测时， 第二重预 测存储中存储包括当前待处理单元周围可用单元的全部或部分的重建后的 第一重残差， 和所在图像可用参考图像的重建后的第一重残差。
一种用于二重预测视频解码方法的二重预测视频解码装置， 它包括： 第二重预测 1， 接受码流中解码出的重建后的第二重残差， 接受第二重预测存储器 803输出 的重建后的第一重残差， 送出重建后的第一重残差； 第二重预测存储器 803, 接受第 二重预测器 801生成的重建后的第一重残差，送出重建后的第一重残差； 和第一重预 测器 802， 接受第二重预测器 801生成的重建后的第一重残差， 接受码流中解码出的 第一重模式； 送出重建图像。
一种用于二重预测视频编码方法的二重预测视频编码装置， 它包括： 第一重预测 器 802， 接受原始图像， 送出第一重残差和第一重模式， 接受重建图像； 第二重预测 器 801， 接受第一重预测器 802送出的第一重残差， 接受第二重预测存储器 803输出 的重建后的第一重残差， 送出第二重残差； 和第二重预测存储器 803， 接受重建后的 第一重残差， 送出重建后的第一重残差。
一种用于二重预测视频编解码方法的二重预测视频编解码装置， 其特征在于， 它 包括：一种用于二重预测视频解码方法的二重预测视频解码装置和一种用于二重预测 视频编码方法的二重预测视频编码装置， 见图 3
1 实施例 1 : 二重预测视频解码方法， 具体包括以下步骤：
1. 1 在码流中读取第二重残差、 第二重模式和第一重模式的编码信息， 经过解 码过程如熵解码、 反量化和反变换等过程获得重建后的第二重残差、 第二 重模式 （D- 1-7 ) 和第一重模式。
1. 2 第二重预测器中， 实现第二重预测补偿过程：
1. 2. 1 在第二重预测生成器对当前待处理单元的第一重残差进行空域预 测 (C-1 );
1. 2. 2 本例中的第二重模式包括空域预测 （C-1 ) 中的水平方向预测、 竖直 方向预测、 直流预测、 左上对角方向预测、 右上对角方向预测、 其他角 度方向预测和类似过程； 也可以包括其他分块大小的预测和类似过程， 第二重模式不仅限于所举模式；
1. 2. 3 生成第一重残差预测值的方法是空域预测（C- 1 )， 此时使用当前帧的 当前待处理单元的上方相邻像素位置和左方相邻像素位置的重建后的 第一重残差， 根据第二重模式得到第一重残差预测值；
1. 2. 4 重建后的第二重残差和第一重残差预测值相加的得到重建后的第一 重残差； 重建后的第一重残差回送到第二重预测存储器；
1. 2. 5 实现空域预测 （C- 1 ) 的方法不仅限于所举方法， 可包含背景技术中 所述的其他空域预测 （c-i ) 方法及类似过程。
1. 3 第一重预测器中， 按背景技术中所述方法， 实现第一重预测补偿过程， 解 码后输出重建图像。 - '
1. 4 生成第一重残差预测值的方法是空域预测 （C- 1 )， 此时第二重预测存储器 存储的是上方相邻行像素位置与左方相邻列像素位置的重建后第一重残 差。 实施例 2: 二重预测视频编码方法， 具体包括以下步骤：
2. 1 第一重预测器中， 按背景技术中所述方法， 实现第一重预测过程， 接受原 始图像， 输出第一重残差， 送到第二重预测器； 第一重模式直接送出到编 码器。
2. 2 第二重预测器中， 实现第二重预测过程：
2. 2. 1 在第二重预测生成器对当前待处理单元的第一重残差进行时域预测 (C-2 );
2. 2. 2 本例中的第二重模式包括时域预测 （C-2 ) 中的宏块大小的前向、 后 向和双向预测， 也可以包括其他分块大小的预测和类似过程； 第二重模 式不仅限于所举模式；
2. 2. 3 生成第一重残差预测值的方法是时域预测（C-2)， 此时使用当前待处 理单元所在图像的可用参考图像中的重建后的第一重残差，进行运动搜 索得到第一重残差预测值；
2. 2. 4 第一重残差和第一重残差预测值相减得到第二重残差；
2. 2. 5 对第二重残差进行模式选择得到第二重模式（D-1-6 ): 计算各个可用 第二重模式下的编码代价来选择编码代价最小的第二重模式，计算模式 编码代价的方法可参考背景技术， 不仅限于所举例；
2. 2. 6 在本例中编码器将第二重模式编码入码流中；
2. 2. 7 编码器对第二重残差通过变换、量化和熵编码获得编码码流， 即编码 码流中包括了第一重模式、第二重模式和第二重残差的编码信息， 不包 括第一重残差的编码信息， 此编码信息通过有损编码生成； 编码码流通 过上述编码过程的逆过程获得重建后第二重残差；生成编码码流的方法 不仅限于上述所举方法， 包括类似过程；
2. 2. 8 实现时域预测 （C-2 ) 的方法不仅限于所举方法， 可包含背景技术中 所述的其他时域预测 （C- 2 ) 方法及类似过程；
2. 2. 9 重建后的第二重残差通过二重预测解码过程生成重建后的第一重残 差； 重建后的第一重残差回送到第二重预测存储器。
. 3 生成第一重残差预测值的方法是时域预测 （C-2 )， 此时第二重预测存储器 存储的是当前待处理单元所在图像的可用参考图像中的重建后的第一重残 差重建后第一重残差。 实施例 3: 二重预测视频编码方法， 具体包括以下步骤：
3. 1 第一重预测器中， 按背景技术中所述方法， 实现第一重预测过程， 接受原 始图像， 输出第一重残差， 送到第二重预测器； 第一重模式直接送出到编 码器。
3. 2 第二重预测器中， 实现第二重预测过程：
3. 2. 1 在第二重预测生成器对当前待处理单元的第一重残差进行时域预测 (C-2 ) ;
3. 2. 2 本例中的第二重模式包括时域预测 （C- 2 ) 中的宏块大小的前向、 后 向和双向预测， 也可以包括其他分块大小的预测和类似过程； 第二重模 式不仅限于所举模式；
3. 2. 3 生成第一重残差预测值的方法是时域预测（C-2)， 此时使用当前待处 理单元所在图像的可用参考图像中的重建后的第一重残差，进行运动搜 索得到第一重残差预测值；
3. 2. 4 第一重残差和第一重残差预测值相减得到第二重残差；
3. 2. 5 使用当前待处理单元周围可用单元的第二重模式得到当前待处理单 元的第二重模式（D- 2- 8 ): 计数当前待处理单元周围可用单元的第二重 模式， 使用出现最多的第二重模式作为当前待处理单元的第二重模式； 使用当前待处理单元周围可用单元的第二重模式得到当前待处理单元 的第二重模式 （D-2-8 ) 不^ ί限于所举例；
3. 2. 6 在本例中编码器不将第二重模式编码入码流中；
3. 2. 7 编码器对第二重残差通过变换、量化和熵编码获得编码码流， 即编码 码流中包括了第一重模式和第二重残差的编码信息，不包括第一重残差 的编码信息， 此编码信息通过无损编码生成； 编码码流通过上述编码过 程的逆过程获得重建后第二重残差；生成编码码流的方法不仅限于上述 所举方法， 包括类似过程；
3. 2. 8 实现时域预测 （C- 2 ) 的方法不仅限于所举方法， 可包含背景技术中 所述的其他时域预测 （C-2 ) 方法及类似过程；
3. 2. 9 重建后的第二重残差通过二重预测解码过程生成重建后的第一重残 差； 重建后的第一重残差回送到第二重预测存储器。
. 3 生成第一重残差预测值的方法是时域预测 （C- 2 )， 此时第二重预测存储器 存储的是当前待处理单元所在图像的可用参考图像中的重建后的第一重残 差重建后第一重残差。 实施例 4: 二重预测视频解码方法， 具体包括以下步骤：
4.1 在码流中读取第二重残差和第一重模式的编码信息， 经过解码过程如熵解 码、 反量化和反变换等过程获得重建后的第二重残差和第一重模式。
4.2 第二重预测器中， 实现第二重预测补偿过程：
4.2.1 在第二重预测生成器对当前待处理单元的第一重残差进行空域预测 (C-1);
4.2.2 本例中的第二重模式包括空域预测 （C-1) 中的水平方向预测、 竖直 方向预测、 直流预测、 左上对角方向预测、 右上对角方向预测、 其他角 度方向预测和类似过程； 也可以包括其他分块大小的预测和类似过程， 第二重模式不仅限于所举模式；
4.2.3 第二重模式通过当前待处理单元中信息的多种生成：用 sobel算子计 算当前待处理单元的图像像素的预测值 （D-1-2) 的方向函数， 和预定 义值 （D-1-1) 比较， 确定第二重模式； 通过当前待处理单元中信息的 多种生成第二重模式的方法不仅限于所举例
4.2.4 生成第一重残差预测值的方法是空域预测（C-l)， 此时使用当前帧的 当前待处理单元的上方相邻像素位置和左方相邻像素位置的重建后的 第一重残差， 根据第二重模式得到第一重残差预测值；
4.2.5 重建后的第二重残差和第一重残差预测值相加的得到重建后的第一 重残差； 重建后的第一重残差回送到第二重预测存储器；
4.2.6 实现空域预测 （C- 1) 的方法不仅限于所举方法， 可包含背景技术中 所述的其他空域预测 （C-1) 方法及类似过程。
4.3 第一重预测器中， '按背景技术中所述方法， 实现第一重预测补偿过程， 解 码后输出重建图像。 '
4.4 生成第一重残差预测值的方法是空域预测 （C-l)， 此时第二重预测存储器 存储的是上方相邻行像素位置与左方相邻列像素位置的重建后第一重残 差。 实施例 5: 二重预测视频解码方法， 具体包括以下步骤：
5.1 在码流中读取第二重残差和第一重模式的编码信息， 经过解码过程如熵解 码、 反量化和反变换等过程获得重建后的第二重残差和第一重模式。
5.2 第二重预测器中， 实现第二重预测补偿过程：
5.2.1 在第二重预测生成器对当前待处理单元的第一重残差进行空域预测
(C-1);
5.2.2 本例中的第二重模式包括空域预测 （C- 1) 中的水平方向预测、 竖直 方向预测、 直流预测、 左上对角方向预测、 右上对角方向预测、 其他角 度方向预测和类似过程； 也可以包括其他分块大小的预测和类似过程， 第二重模式不仅限于所举模式；
5. 2. 3 第二重模式通过 D- 1、 D-2、 D-3中的多种生成： 用 sobel算子计算当 前待处理单元的图像像素的预测值 （D-1-2 ) 的方向函数， 与计算得到 的当前待处理单元所在图像的可用参考图像中的相关单元的图像像素 的预测值（D- 3-2) 的方向函数比较， 确定第二重模式； 通过 D-l、 D - 2、 D-3中的多种生成第二重模式的方法不仅限于所举例。
5. 2. 4 生成第一重残差预测值的方法是空域预测（C-l )， 此时使用当前帧的 当前待处理单元的上方相邻像素位置和左方相邻像素位置的重建后的 第一重残差， 根据第二重模式得到第一重残差预测值；
5. 2. 5 重建后的第二重残差和第一重残差预测值相加的得到重建后的第一 重残差； 重建后的第一重残差回送到第二重预测存储器；
5. 2. 6 实现空域预测 （C-1 ) 的方法不仅限于所举方法， 可包含背景技术中 所述的其他空域预测 （C- 1 ) 方法及类似过程。
5. 3 第一重预测器中， 按背景技术中所述方法， 实现第一重预测补偿过程， 解 码后输出重建图像。
5. 4 生成第一重残差预测值的方法是空域预测 （C- 1 )， 此时第二重预测存储器 存储的是上方相邻行像素位置与左方相邻列像素位置的重建后第一重残 差。 实施例 6: 二重预测视频解码方法， 具体包括以下步骤：
6. 1 在码流中读取第二重残差和第一重模式的编码信息， 经过解码过程如熵解 码、 反量化和反变换等过程获得重建后的第二重残差和第一重模式。
6. 2 第二重预测器中， 实现第二重预测补偿过程：
6. 2. 1 在第二重预测生成器对当前待处理单元的第一重残差进行空域预测
(C-1 );
6. 2. 2 本例中的第二重模式包括空域预测 （C-1 ) 中的水平方向预测、 竖直 方向预测、 直流预测、 左上对角方向预测、 右上对角方向预测、 其他角 度方向预测和类似过程； 也可以包括其他分块大小的预测和类似过程， 第二重模式不仅限于所举模式；
6. 2. 3 第二重模式通过 D- 1、 D- 2、 D-3中的多种的组合生成： 通过用 sobel 算子计算当前待处理单元的图像像素的预测值 （D- 1-2 ) 的方向函数， 与当前待处理单元的预定义值 （D- 1-1 ) 进行函数计算， 在本例中是将 当前待处理单元的预定义值 （D-l- 1) 作为加权值进行系数乘法， 与用 sobel算子计算的当前待处理单元所在图像的可用参考图像中的相关单 元的图像像素的预测值（D-3- 2)的方向函数比较， 来确定第二重模式； 通过 D- 1、 D-2、 D-3中的多种的组合生成第二重模式的方法不仅限于所 举例。
6.2.4 生成第一重残差预测值的方法是空域预测（C-l)， 此时使用当前帧的 当前待处理单元的上方相邻像素位置和左方相邻像素位置的重建后的 第一重残差， 根据第二重模式得到第一重残差预测值；
6.2.5 重建后的第二重残差和第一重残差预测值相加的得到重建后的第一 重残差； 重建后的第一重残差回送到第二重预测存储器；
6.2.6 实现空域预测 (C-Ι)·的方法不仅限于所举方法， 可包含背景技术中 所述的其他空域预测 （C-1) 方法及类似过程。
6.3 第一重预测器中， 按背景技术中所述方法， 实现第一重预测补偿过程， 解 码后输出重建图像。
6.4 生成第一重残差预测值的方法是空域预测 （C- 1)， 此时第二重预测存储器 存储的是上方相邻行像素位置与左方相邻列像素位置的重建后第一重残 差。 实施例 7: 二重预测视频编解码系统， 具体包括以下步骤：
7.1 二重预测视频编码方法， 具体包括以下步骤：
7.1.1 第一重预测器中， 按背景技术中所述方法， 实现第一重预测过程， 接 受原始图像， 输出第一重残差， 送到第二重预测器； 第一重模式直接送 出到编码器。
7.1.2 第二重预测器中， 实现第二重预测过程：
7.1.2.1 在第二重预测生成器对当前待处理单元的第一重残差进行空 域预测 （C- 1);
7.1.2.2 本例中的第二重模式包括空域预测（C-1)中的水平方向预测、 竖直方向预测、 直流预测、 左上对角方向预测、 右上对角方向预 测、 其他角度方向预测和类似过程； 也可以包括其他分块大小的 预测和类似过程， 第二重模式不仅限于所举模式；
7.1.2.3 生成第一重残差预测值的方法是空域预测 （C- 1)， 此时使用 当前帧的当前待处理单元的上方相邻像素位置和左方相邻像素位 置的重建后的第一重残差， 根据第二重模式得到第一重残差预测 值； . 1. 2. 4 第一重残差和第一重残差预测值相减得到第二重残差；. 1. 2. 5 对第二重残差进行模式选择得到第二重模式 （D-1- 6 ): 计算 各个可用第二重模式下的编码代价来选择编码代价最小的第二重 模式， 计算模式编码代价的方法可参考背景技术， 不仅限于所举 例；
. 1. 2. 6 在本例中编码器将第二重模式编码入码流中；
. 1. 2. 7 编码器对第二重残差通过变换、量化和熵编码获得编码码流， 即编码码流中包括了第一重模式、 第二重模式和第二重残差的编 码信息， 不包括第一重残差的编码信息， 此编码信息通过有损编 码生成； 编码码流通过上述编码过程的逆过程获得重建后第二重 残差； 生成编码码流的方法不仅限于上述所举方法， 包括类似过 程；
. 1. 2. 8 实现空域预测（C-1 )的方法不仅限于所举方法， 可包含背景 技术中所述的其他空域预测 （C-1 ) 方法及类似过程。
. 1. 2. 9 重建后的第二重残差通过二重预测解码过程生成重建后的第 一重残差； 重建后的第一重残差回送到第二重预测存储器。
生成第一重残差预测值的方法是空域预测（C- 1 )， 此时第二重预测存 储器存储的是上方相邻行像素位置与左方相邻列像素位置的重建后第 一重残差。
预测视频解码方法， 具体包括以下步骤：
在码流中读取第二重残差、第二重模式和第一重模式的编码信息， 经 过解码过程如熵解码、 反量化和反变换等过程获得重建后的第二重残 差、 第二重模式 （D- 1- 7 ) 和第一重模式。
第二重预测器中， 实现第二重预测补偿过程：
. 2. 2. 1 在第二重预测生成器对当前待处理单元的第一重残差进行空 域预测 (C-1 );
2. 2. 2 本例中的第二重模式包括空域预测（C-1 )中的水平方向预测、 竖直方向预测、 直流预测、 左上对角方向预测、 右上对角方向预 测、 其他角度方向预测和类似过程； 也可以包括其他分块大小的' 预测和类似过程， 第二重模式不仅限于所举模式；
2. 2. 3 生成第一重残差预测值的方法是空域预测 （C-l )， 此时使用 当前帧的当前待处理单元的上方相邻像素位置和左方相邻像素位 置的重建后的第一重残差， 根据第二重模式得到第一重残差预测 值； 7. 2. 2. 4 重建后的第二重残差和第一重残差预测值相加的得到重建后 的第一重残差； 重建后的第一重残差回送到第二重预测存储器； 7. 2. 2. 5 实现空域预测（C-1 )的方法不仅限于所举方法， 可包含背景 技术中所述的其他空域预测 （C-1 ) 方法及类似过程。
7. 2. 3 第一重预测器中，按背景技术中所述方法，实现第一重预测补偿过程， 解码后输出重建图像。
7. 2. 4 生成第一重残差预测值的方法是空域预测（C-l )， 此时第二重预测存 储器存储的是上方相邻行像素位置与左方相邻列像素位置的重建后第 一重残差。 实施例 8: 二重预测视频解码方法的装置， 具体包括以下部分 （图 6) ：
8. 1 码流解码装置： 在码流中读取第二重残差、 第二重模式和第一重模式的编 码信息， 经过解码过程如熵解码、 反量化和反变换等过程获得重建后的第 二重残差、 第二重模式 （D-1- 7 ) 和第一重模式。
8. 2 第二重预测器： 实现第二重预测补偿过程：
8. 2. 1 在第二重预测生成器对当前待处理单元的第一重残差进行空域预测 (C-1 );
8. 2. 2 本例中的第二重模式包括空域预测 （C-1 ) 中的水平方向预测、 竖直 方向预测、 直流预测、 左上对角方向预测、 右上对角方向预测、 其他角 度方向预测和类似过程； 也可以包括其他分块大小的预测和类似过程， 第二重模式不仅限于所举模式；
8. 2. 3 生成第一重残差预测值的方法是空域预测（C-l )， 此时使用当前帧的 当前待处理单元的上方相邻像素位置和左方相邻像素位置的重建后的 第一重残差， 根据第二重模式得到第一重残差预测值；
8. 2. 4 重建后的第二重残差和第一重残差预测值相加的得到重建后的第一 重残差； 重建后的第一重残差回送到第二重预测存储器；
8. 2. 5 实现空域预测 （C- 1 ) 的方法不仅限于所举方法， 可包含背景技术中 所述的其他空域预测 （C-1 ) 方法及类似过程。
. 3 第一重预测器中： 按背景技术中所述方法， 实现第一重预测补偿过程， 解 码后输出重建图像。
. 4 第二重预测存储器： 生成第一重残差预测值的方法是空域预测 （C-l )， 此 时存储的是上方相邻行像素位置与左方相邻列像素位置的重建后第一重残 差。 9 实施例 9: 二重预测视频编码方法的装置， 具体包括以下部分 （图 7 ) ：
9. 1 第一重预测器： 按背景技术中所述方法， 实现第一重预测过程， 接受原始 图像， 输出第一重残差， 送到第二重预测器； 第一重模式直接送出到编码 器。
9. 2
9. 3 第二重预测器： 实现第二重预测过程：
9. 3. 1 在第二重预测生成器对当前待处理单元的第一重残差进行空域预测 (C-1 );
9. 3. 2 本例中的第二重模式包括空域预测 （C- 1 ) 中的水平方向预测、 竖直 方向预测、 直流预测、 左上对角方向预测、 右上对角方向预测、 其他角 度方向预测和类似过程； 也可以包括其他分块大小的预测和类似过程， 第二重模式不仅限于所举模式；
9. 3. 3 生成第一重残差预测值的方法是空域预测（C-l )， 此时使用当前帧的 当前待处理单元的上方相邻像素位置和左方相邻像素位置的重建后的 第一重残差， 根据第二重模式得到第一重残差预测值；
9. 3. 4 第一重残差和第一重残差预测值相减得到第二重残差；
9. 3. 5 对第二重残差进行模式选择得到第二重模式（D-1- 6 ): 计算各个可用 第二重模式下的编码代价来选择编码代价最小的第二重模式，计算模式 编码代价的方法可参考背景技术， 不仅限于所举例；
9. 3. 6 在本例中编码器将第二重模式编码入码流中；
9. 3. 7 编码器对第二重残差通过变换、量化和熵编码获得编码码流， 即编码 码流中包括了第一重模式、第二重模式和第二重残差的编码信息， 不包 括第一重残差的编码信息， 此编码信息通过有损编码生成； 编码码流通 过上述编码过程的逆过程获得重建后第二重残差；生成编码码流的方法 不仅限于上述所举方法， 包括类似过程；
9. 3. 8 实现空域预测 （C-1 ) 的方法不仅限于所举方法， 可包含背景技术中
. 所述的其他空域预测 （C- 1 ) 方法及类似过程。
9. 3. 9 重建后的第二重残差通过二重预测解码过程生成重建后的第一重残 差； 重建后的第一重残差回送到第二重预测存储器。
第二重预测存储器： 生成第一重残差预测值的方法是空域预测（C-l )， 此时存储 的是上方相邻行像素位置与左方相邻列像素位置的重建后第一重残差。
上述实施例用来解释说明本发明， 而不是对本发明进行限制， 在本发明的精神和权利 要求的保护范围内， 对本发明作出的任何修改和改变， 都落入本发明的保护范围。

Claims

权 利 要 求 书
1. 二重预测视频解码方法， 其特征在于， 解码重建图像的重建过程包含二重 预 «补偿过程和第二重预测存储，其中二重预测补偿过程包括第 重预测补偿过程和 第二重预测补偿过程，其中第二重预测补偿过程的输入包括重建后的第一重残差和重 建后的第二重残差。
2. 根据权利要求 1所述的二重预测视频解码方法， 其特征在于， 所述第二重 预测补偿过程由重建后的第二重残差和第一重残差预测值共同恢复出重建后的第一 重残差。
3. 根据权利要求 2所述的二重预测视频解码方法， 其特征在于， 所述第一重 残差预测值的生成是由重建后的第一重残差根据第二重模式使用预测方法生成第一 重残差预测值， 所述预测方法为空域预测或时域预测或时空域结合的预测。 以上， 第 一重残差预测值的生成称为第二重预测生成过程。
4. 根据权利要求 3所述的二重预测视频解码方法， 其特征在于， 所述第二重 模式由以下位置：
(1) 当前待处理单元，
(2) 当前待处理单元周围可用单元，
(3) 当前待处理单元所在图像的可用参考图像，
的以下信息；
(1)预定义值，
(2)重建图像像素值，
(3)图像像素的预测值，
(4)重建后的第一重残差，
(5)第一重残差预测值，
(6)第一重模式，
(7)重建后的第二重残差
(8)第二重模式，
(9)码流中的第二重模式语法元素，
的一种、 多种或多种的组合产生。
5. 根据权利要求 1所述的二重预测视频解码方法， 其特征在于， 所述第二重 预测存储至少具有下述特征之一：
(1)生成第一重残差预测值使用的预测方法为空域预测时， 第二重预测存储 中存储包括当前待处理单元周围可用单元的全部或部分的重建后的第一 重残差；
(2)生成第一重残差预测值使用的预测方法为时域预测时， 第二重预测存储 中存储包括当前待处理单元所在图像可用参考图像的重建后的第一重残 差；
(3)生成第一重残差预测值使用的预测方法为时空域结合的预测时， 第二重 预测存储中存储包括当前待处理单元周围可用单元的全部或部分的重建 后的第一重残差， 和所在图像可用参考图像的重建后的第一重残差。
6. 二重预测视频编码方法， 其特征在于， 该方法包括二重预测过程和第二重 预测存储， 其中二重预测过程包括第一重预测过程和第二重预测过程，其中第二重预 测过程的输入包括和第一重残差和第一重残差预测值； 此编码方法产生相应码流。
7. 根据权利要求 6所述的二重预测视频编码方法， 其特征在于， 所述第二重 预测过程由第一重残差和第一重残差预测值生成第二重残差。
8. 根据权利要求 7所述的二重预测视频编码方法， 其特征在于， 所述第一重 残差预测值的生成是由重建后的第一重残差， 根据第二重模式， 使用预测方法生成第 一重残差预测值，其中的预测方法为空域预测或时域预测或时空域结合的预测；以上， 第一重残差预测值的生成称为第二重预测生成过程。
9. 根据权利要求 8所述的二重预测视频编码方法， 其特征在于， 所述第二重 模式由以下位置：
(1) 当前待处理单元，
(2) 当前待处理单元周围可用单元，
(3) 当前待处理单元所在图像的可用参考图像，
的以下信息；
(1)预定义值，
(2)重建图像像素值，
(3)图像像素的预测值，
(4)重建后的第一重残差，
(5)第一重残差预测值，
(6)第一重模式，
(7)重建后的第二重残差
(8)第二重模式，
(9)码流中的第二重模式语法元素，
的一种、 多种或多种的组合产生。
10. 根据权利要求 6所述的二重预测视频编码方法， 其特征在于， 所述第二重 预测存储至少具有下述特征之一：
(1)生成第一重残差预测值使用的预测方法为空域预测时， 第二重预测存储 中存储包括当前待处理单元周围可用单元的全部或部分的重建后的第一 重残差。
(2)生成第一重残差预测值使用的预测方法为时域预测时， 第二重预测存储 中存储包括当前待处理单元所在图像可用参考图像的重建后的第一重残 差。
(3)生成第一重残差预测值使用的预测方法为时空域结合的预测时， 第二重 预测存储中存储包括当前待处理单元周围可用单元的全部或部分的重建 后的第一重残差， 和所在图像可用参考图像的重建后的第一重残差。
11. 根据权利要求 6中所述的二重预测视频编码方法， 其特征在于， 编码方法 产生的相应码流， 包括以下两种的编码信息之一：
(1)第一重模式和第二重残差， 不包括第一重残差；
(2)第一重模式、 第二重模式和第二重残差， 不包括第一重残差。
12. —种用于权利要求 1 所述二重预测视频解码方法的二重预测视频解码装 置， 其特征在于， 它包括：
一第二重预测器（801 )， 接受码流中解码出的重建后的第二重残差， 接受第二重 预测存储器 （803 ) 输出的重建后的第一重残差， 送出重建后的第一重残差；
一第二重预测存储器 （803 )， 接受第二重预测器 （801 ) 生成的重建后的第一重 残差， 送出重建后的第一重残差； 和
一第一重预测器（802 )， 接受第二重预测器（801 )生成的重建后的第一重残差， 接受码流中解码出的第一重模式; 送出重建图像。
13. 一种用于权利要求 6 所述二重预测视频编码方法的二重预测视频编码装 置， 其特征在于， 它包括：
一第一重预测器（802)， 接受原始图像， 送出第一重残差和第一重模式， 接受重 建图像；
一第二重预测器 （801 )， 接受第一重预测器 （802 ) 送出的第一重残差， 接 受第二重预测存储器 （803 ) 输出的重建后的第一重残差， 送出第二重残差； 和
一第二重预测存储器（803 )接受重建后的第一重残差， 送出重建后的第一重残
PCT/CN2008/001728 2007-10-15 2008-10-14 A dual prediction video encoding and decoding method and a device WO2009052697A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP08841973.4A EP2214415B1 (en) 2007-10-15 2008-10-14 A dual prediction video encoding and decoding method and a device
US12/738,205 US8582904B2 (en) 2007-10-15 2008-10-14 Method of second order prediction and video encoder and decoder using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200710181975.9 2007-10-15
CN200710181975.9A CN101159875B (zh) 2007-10-15 2007-10-15 二重预测视频编解码方法和装置

Publications (1)

Publication Number Publication Date
WO2009052697A1 true WO2009052697A1 (en) 2009-04-30

Family

ID=39307773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2008/001728 WO2009052697A1 (en) 2007-10-15 2008-10-14 A dual prediction video encoding and decoding method and a device

Country Status (4)

Country Link
US (1) US8582904B2 (zh)
EP (1) EP2214415B1 (zh)
CN (1) CN101159875B (zh)
WO (1) WO2009052697A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011061089A1 (en) * 2009-11-19 2011-05-26 Thomson Licensing Method for coding and method for reconstruction of a block of an image
WO2011054879A3 (en) * 2009-11-06 2011-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video coding
US20120219056A1 (en) * 2009-09-03 2012-08-30 Sk Telecom Co., Ltd. Method, apparatus, and recording medium for encoding motion pictures through second prediction based on reference images

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519484A (ja) * 2004-11-04 2008-06-05 トムソン ライセンシング ビデオ・エンコーダにおける高速イントラ・モード予測
CN101262607B (zh) * 2008-04-11 2011-06-15 浙江大学 二重预测视频编解码方法和装置
WO2010069113A1 (en) * 2008-12-19 2010-06-24 Mediatek Singapore Pte. Ltd. Video processing method and apparatus with residue prediction
CN101790096B (zh) * 2009-01-24 2013-03-13 华为技术有限公司 基于二重预测的编解码方法及装置
JP2010258741A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
US8665964B2 (en) 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
FR2948845A1 (fr) 2009-07-30 2011-02-04 Thomson Licensing Procede de decodage d'un flux representatif d'une sequence d'images et procede de codage d'une sequence d'images
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
CN102098519B (zh) * 2009-12-09 2013-04-17 浙江大学 视频编码方法、解码方法、编码及解码装置
FR2959376A1 (fr) * 2010-04-22 2011-10-28 France Telecom Procede de traitement d'une information de mouvement, procedes de codage et de decodage, dispositifs, signal et programme d'ordinateur correspondants
KR20110124161A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 계층 부호화 영상의 송수신 방법 및 장치
US10045041B2 (en) 2013-04-05 2018-08-07 Intel Corporation Techniques for inter-layer residual prediction
US10142647B2 (en) 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding
WO2016129980A1 (ko) * 2015-02-13 2016-08-18 엘지전자(주) 변환 도메인 예측을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
CN115190301A (zh) * 2017-01-05 2022-10-14 弗劳恩霍夫应用研究促进协会 图像的基于块的预测编码和解码
WO2019216325A1 (en) * 2018-05-09 2019-11-14 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
FR3088511B1 (fr) * 2018-11-09 2021-05-28 Fond B Com Procede de decodage d’au moins une image, procede de codage, dispositifs, signal et programmes d’ordinateur correspondants.
US11838531B2 (en) * 2019-12-06 2023-12-05 Dolby Laboratories Licensing Corporation Cascade prediction
CN114205584A (zh) * 2020-09-17 2022-03-18 华为技术有限公司 一种图像处理方法、装置、设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240944A (ja) * 1994-02-25 1995-09-12 Sanyo Electric Co Ltd ステレオ画像符号化装置
JPH0998427A (ja) * 1995-09-29 1997-04-08 Toshiba Corp 動画像符号化装置
WO2006125713A2 (en) * 2005-05-27 2006-11-30 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
CA2615647A1 (en) * 2005-07-21 2007-01-25 Lg Electronics Inc. Method of encoding and decoding video signals
US20070047644A1 (en) * 2005-08-24 2007-03-01 Samsung Electronics Co., Ltd. Method for enhancing performance of residual prediction and video encoder and decoder using the same
CN1954613A (zh) * 2004-05-14 2007-04-25 皇家飞利浦电子股份有限公司 用于从隔行编码帧产生逐行帧的设备
CN101137065A (zh) * 2006-09-01 2008-03-05 华为技术有限公司 图像编码方法、解码方法、编码器、解码器、编解码方法及编解码器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888962B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240944A (ja) * 1994-02-25 1995-09-12 Sanyo Electric Co Ltd ステレオ画像符号化装置
JPH0998427A (ja) * 1995-09-29 1997-04-08 Toshiba Corp 動画像符号化装置
CN1954613A (zh) * 2004-05-14 2007-04-25 皇家飞利浦电子股份有限公司 用于从隔行编码帧产生逐行帧的设备
WO2006125713A2 (en) * 2005-05-27 2006-11-30 Thomson Licensing Method and apparatus for encoding video data, and method and apparatus for decoding video data
CA2615647A1 (en) * 2005-07-21 2007-01-25 Lg Electronics Inc. Method of encoding and decoding video signals
US20070047644A1 (en) * 2005-08-24 2007-03-01 Samsung Electronics Co., Ltd. Method for enhancing performance of residual prediction and video encoder and decoder using the same
CN101137065A (zh) * 2006-09-01 2008-03-05 华为技术有限公司 图像编码方法、解码方法、编码器、解码器、编解码方法及编解码器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KENNETH ANDERSSON: "Combined Intra Inter-prediction Coding Mode", VCEG-AD11, 18 October 2006 (2006-10-18)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120219056A1 (en) * 2009-09-03 2012-08-30 Sk Telecom Co., Ltd. Method, apparatus, and recording medium for encoding motion pictures through second prediction based on reference images
WO2011054879A3 (en) * 2009-11-06 2011-07-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video coding
EP2497271B1 (en) * 2009-11-06 2020-08-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hybrid video coding
US11070839B2 (en) 2009-11-06 2021-07-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Hybrid video coding
WO2011061089A1 (en) * 2009-11-19 2011-05-26 Thomson Licensing Method for coding and method for reconstruction of a block of an image
US20120269263A1 (en) * 2009-11-19 2012-10-25 Thomson Licensing Method for coding and method for reconstruction of a block of an image

Also Published As

Publication number Publication date
US8582904B2 (en) 2013-11-12
EP2214415A1 (en) 2010-08-04
EP2214415B1 (en) 2018-06-27
EP2214415A4 (en) 2012-11-28
CN101159875B (zh) 2011-10-05
US20100310184A1 (en) 2010-12-09
CN101159875A (zh) 2008-04-09

Similar Documents

Publication Publication Date Title
WO2009052697A1 (en) A dual prediction video encoding and decoding method and a device
TWI626842B (zh) Motion picture coding device and its operation method
CN101252686B (zh) 基于交织预测的视频帧内无损编解码方法及系统
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
EP2858365B1 (en) Video encoder and method of operating the same
CN101247525B (zh) 一种提高图像帧内编码速率的方法
WO2005120077A1 (ja) 画像処理装置、そのプログラムおよびその方法
CN104994396A (zh) 视频解码设备
WO2015010319A1 (zh) 一种基于p帧的多假设运动补偿编码方法
JP2013048482A (ja) イントラ予測映像符号化のための方法及び装置
CN102238391A (zh) 一种预测编码方法、装置
WO2011110088A1 (zh) 一种视频预测编码方法和装置
JP4346868B2 (ja) 動画符号化装置、及び動画記録再生装置、及び動画再生装置、及び動画符号化方法ならびに動画記録再生方法
CN106961610B (zh) 一种结合超分辨率重建的超高清视频新型压缩框架
WO2021120614A1 (zh) 二次编码优化方法
JP2006217560A (ja) 参考フレームバッファメモリのサイズとアクセス量を減らす方法
CN1938728A (zh) 使用包括多个宏块的预测和非预测画面对画面序列编码的方法和装置
CN104519367A (zh) 视频解码处理装置及其操作方法
CN115002482B (zh) 使用结构性保持运动估计的端到端视频压缩方法及系统
CN101262607B (zh) 二重预测视频编解码方法和装置
JP2006121273A (ja) 符号化変換方法及び符号化変換装置
CN109495745B (zh) 一种基于逆量化/逆变换的无损压缩解码方法
CN102196258B (zh) 一种i帧编码方法及装置
TWI394460B (zh) 視訊處理裝置以及視訊處理方法
KR20170077621A (ko) 영상 압축에서의 플리커링 현상 제거 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08841973

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2008841973

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12738205

Country of ref document: US