WO2022237168A1 - 一种顺序执行的帧间帧内联合预测编解码的方法及装置 - Google Patents

一种顺序执行的帧间帧内联合预测编解码的方法及装置 Download PDF

Info

Publication number
WO2022237168A1
WO2022237168A1 PCT/CN2021/139065 CN2021139065W WO2022237168A1 WO 2022237168 A1 WO2022237168 A1 WO 2022237168A1 CN 2021139065 W CN2021139065 W CN 2021139065W WO 2022237168 A1 WO2022237168 A1 WO 2022237168A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
frame
intra
motion vector
inter
Prior art date
Application number
PCT/CN2021/139065
Other languages
English (en)
French (fr)
Inventor
滕波
洪一帆
向国庆
葛强
杨光芒
周东东
吴亮
王琪
Original Assignee
浙江智慧视频安防创新中心有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浙江智慧视频安防创新中心有限公司 filed Critical 浙江智慧视频安防创新中心有限公司
Publication of WO2022237168A1 publication Critical patent/WO2022237168A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Definitions

  • the present invention relates to the technical field of video coding, in particular to a sequentially executed method and device for inter-frame and intra-frame joint prediction coding and decoding.
  • Intra-frame prediction and inter-frame prediction technologies are commonly used in most current video coding and decoding technologies. Among them, inter-frame prediction uses the correlation between the current frame and its reference frame to reduce temporal redundancy, while intra-frame prediction uses the similarity between spatially adjacent pixels to eliminate spatial redundancy.
  • a coded block (or macroblock) can only choose one of intra-frame prediction or inter-frame prediction.
  • the H266/VCC standard has improved this by introducing CIIP, the intra-frame joint technology, so that the same coding block (or macroblock) can no longer only choose one of intra-frame prediction or inter-frame prediction.
  • the intra prediction value of the current prediction block is firstly calculated, that is, the pixel value of the current block is predicted using the traditional intra prediction mode.
  • the inter-frame prediction method is used to predict the inter-frame prediction value of the current block, and finally the intra-frame and inter-frame prediction values are weighted and summed to obtain the final prediction value of the current prediction block.
  • CIIP technology is implemented in both luma blocks and chrominance blocks.
  • inter prediction and intra prediction are weighted and summed, if the weight of intra prediction is higher, the weight of inter prediction is lower, and vice versa, so it does not reduce the temporal correlation and Airspace dependencies.
  • the purpose of the present invention is to provide a method and device for inter-frame and intra-frame joint predictive coding and decoding performed sequentially, which is used to solve the technical problem that the time domain correlation and the spatial domain correlation are not fully reduced at the same time.
  • a method for inter-frame and intra-frame joint predictive coding performed in sequence comprising the following steps:
  • the degree information determines the degree of distortion of the prediction residual value according to the rate-distortion function, and determines the prediction difference value according to the degree of distortion of the prediction residual value and the motion vector of the current prediction unit;
  • the index information of the reference prediction parameter is coded and/or transmitted.
  • performing the second prediction based on the residual value formed after the first prediction includes:
  • the motion compensation in the inter-frame prediction includes:
  • Multiple sets of predicted values are obtained to generate multiple sets of motion residuals.
  • the distortion degree calculation includes: SAD absolute error sum, SATD hadamard transformation and then absolute value summation, SSD difference square sum, MAD average absolute difference value, MSD average squared error.
  • determining the distortion degree of the prediction residual value includes determining an inter-frame prediction mode, a reference block for inter-frame prediction, and a set of optimal values among the reference frame and the intra-frame prediction mode.
  • the optimal prediction value minimizes the distortion D under the condition that the bit rate R does not exceed the maximum bit rate Rmax.
  • a method for sequentially performing inter-frame and intra-frame joint predictive decoding At the decoding end, the joint prediction flag in the code stream is read for each coding unit, and decoding is performed according to the flag, including:
  • the decoding end receives the indication information, obtains at least one set of candidate prediction parameters including motion vector information, or obtains at least one candidate prediction mode and distortion information corresponding to the candidate prediction mode;
  • the calculation of the motion vector difference value of the current prediction unit according to the prediction difference value and the reference prediction parameter includes:
  • inter-frame prediction data is determined.
  • the above-mentioned method for sequentially performing inter-frame and intra-frame joint predictive decoding also includes:
  • the first reconstructed image data and the intra prediction data are added to obtain the final reconstructed image data.
  • the determination of the first reconstructed image data and intra-frame prediction data from the video code stream includes:
  • a device for sequentially performing inter-frame and intra-frame joint predictive coding comprising:
  • a candidate prediction module configured to obtain at least one candidate prediction parameter including motion vector information, or at least one candidate prediction mode and distortion information corresponding to the candidate prediction mode;
  • a sequential predictive encoding module configured to select a candidate prediction parameter as a reference prediction parameter, determine a motion vector difference based on the motion vector information and the motion vector of the current prediction unit, and determine a motion vector difference based on the motion vector difference and the distortion degree of the current prediction unit information to determine the prediction difference, or select a candidate prediction mode as the reference candidate prediction mode, and determine the distortion degree of the prediction residual value based on the rate-distortion function based on the distortion degree information corresponding to the reference candidate prediction mode and the distortion degree information of the current prediction unit , determining a prediction difference value according to the distortion degree of the prediction residual value and the motion vector of the current prediction unit; encoding and/or transmitting the prediction difference value.
  • the sequential predictive coding module includes a joint predictive index coding module, configured to code and/or transmit the index information of the reference prediction parameters.
  • a device for sequentially performing inter-intra-frame joint predictive decoding comprising:
  • a candidate building module configured to decode the coded and compressed video stream, and obtain at least one candidate prediction parameter including motion vector information or at least one candidate prediction mode and distortion information corresponding to the candidate prediction mode;
  • a decoding module configured to determine a reference prediction parameter from at least one candidate prediction parameter based on the index information of the reference prediction parameter, calculate a motion vector difference value of the current prediction unit according to the prediction difference value and the reference prediction parameter, and calculate a motion vector difference value of the current prediction unit according to the motion vector difference value and the obtained Calculate the distortion degree information of the current prediction unit based on the reference prediction parameters; or determine the reference candidate prediction mode from at least one candidate prediction mode based on the index information of the reference candidate prediction mode, and calculate the current prediction unit according to the prediction difference and the reference candidate prediction mode Distortion difference, calculating the motion vector information of the current prediction unit according to the distortion difference and the reference candidate prediction mode.
  • An electronic device comprising:
  • the memory is connected in communication with the one or more processors, the memory stores instructions executable by the one or more processors, and the instructions are executed by the one or more processors When, the electronic device is used to implement the method described in any one of the above.
  • a computer-readable storage medium on which computer-executable instructions are stored, and when the computer-executable instructions are executed by a computing device, it can be used to implement any of the methods described above
  • inter-frame and intra-frame joint predictive coding is performed sequentially to perform inter-frame prediction and intra-frame prediction, and then jointly select the optimal inter-frame/intra-frame reference block, which can remove the distortion of the intra-frame prediction block and the inter-frame prediction block to a certain extent. If the area is too large, better prediction results can be obtained, the problem of prediction block distortion can be solved, the prediction accuracy can be increased, and the coding efficiency of the prediction block can be improved, which has excellent practicability and robustness.
  • Fig. 1 is a flow chart of a method for inter-frame and intra-frame joint predictive coding performed sequentially in the present invention
  • FIG. 2 is a flow chart of a sequentially executed inter-intra joint predictive decoding method according to the present invention.
  • first and second are used for descriptive purposes only, and cannot be understood as indicating or implying relative importance or implicitly specifying the quantity of indicated technical features. Thus, the features defined as “first” and “second” may explicitly or implicitly include at least one of these features.
  • the present invention is different from the existing motion prediction algorithm, but its position in the codec processing chain is similar, it is a parallel algorithm, and it is the standard of the new generation video coding.
  • a sequentially executed inter-frame intra-frame joint predictive coding method includes the following steps:
  • the degree information determines the degree of distortion of the prediction residual value according to the rate-distortion function, and determines the prediction difference value according to the degree of distortion of the prediction residual value and the motion vector of the current prediction unit;
  • the coding and/or transmission of the prediction difference value and the coding and/or transmission of the index information of the reference prediction parameter may follow the transformation, quantization, and entropy coding processes in the existing coding and decoding process.
  • an indication is encoded into the video code stream by adopting a scheme of successively adopting inter-frame prediction and intra-frame prediction.
  • inter-frame prediction includes:
  • the intra prediction includes:
  • performing the second prediction based on the residual value formed after the first prediction includes:
  • the motion compensation in the inter-frame prediction includes:
  • Multiple sets of predicted values are obtained to generate multiple sets of motion residuals.
  • the distortion degree calculation includes: SAD absolute error sum, SATD hadamard transformation and then absolute value summation, SSD difference value The sum of squares, MAD mean absolute difference, MSD mean squared error.
  • determining the distortion degree of the prediction residual value includes determining an inter-frame prediction mode, an inter-frame prediction reference block, and A set of optimal prediction values in the reference frame and intra-frame prediction mode, under the condition that the bit rate R does not exceed the maximum bit rate Rmax, the distortion degree D is minimized.
  • the main idea of the present invention is to perform the first prediction and the second prediction in sequence, wherein the second prediction is performed based on the residual data formed after the first prediction. It is also possible to perform the second prediction first, and then perform the first prediction, wherein the first prediction is performed based on the residual data formed after the second prediction.
  • the second prediction includes: using the multiple residual value blocks formed by the inter-frame prediction as a reference, traversing an intra-frame prediction mode to calculate the predicted value; calculating the residual value of the current block The degree of distortion D relative to the predicted residual value and the predicted difference d;
  • the second prediction includes: determining a plurality of matching blocks based on the plurality of residual value blocks formed by the intra-frame prediction and determining a plurality of candidate motion vectors; and determining a plurality of candidate motion vectors based on the candidate motion Vector and inter prediction methods to obtain an estimate for the current frame.
  • inter-frame prediction includes determining multiple candidate reference frames/reference blocks:
  • the purpose of the motion estimation algorithm is to find the best reference image block position in the reference image, that is, to obtain the motion vector.
  • a block matching algorithm can be adopted to compare the cost function of the residual and the motion vector at each reference position to search
  • the minimum cost function point is used as the result of motion estimation. Its search algorithm includes two types of full search and fast search.
  • the full search searches all points in the search range in order, compares the cost function point by point, and selects the point with the smallest cost function as The best point, in order to reduce the complexity and calculation time of motion estimation, a fast search algorithm is proposed, which reduces the number of positions to be searched;
  • Calculate the predicted value based on multiple motion vectors to perform motion compensation obtain the estimated value of the current frame according to the candidate motion vector and the inter-frame prediction method, and describe the current image to explain how each block of pixels in the current image is determined by its
  • the pixel block of the reference image is obtained, and the steps of motion compensation after obtaining the motion vector are as follows;
  • the inter-frame motion prediction reference block has multiple (multiple candidate motion vectors);
  • the intra prediction includes:
  • the adjacent residual pixel value is the residual value formed by the prediction of the previous link.
  • Existing intra-frame prediction modes are still applicable.
  • VVC/H266 defines 67 kinds of intra-frame prediction modes, which are also applicable in the present invention.
  • intra-frame prediction is based on the prediction formed in the previous link. The residual value is carried out;
  • the calculation of the distortion degree D can be: SAD absolute error sum, SATD hadamard transformation and then absolute value summation, SSD difference square sum, MAD Mean absolute difference, MSD mean squared error.
  • intra prediction is performed based on multiple residual data blocks formed by inter prediction. Otherwise, intra prediction is performed on the coding unit (Coding unit, CU) or other types of block units based on the original image data.
  • coding unit Coding unit, CU
  • an optimal set of prediction parameters (at least one of inter-frame prediction mode, inter-frame prediction reference block and reference frame, and intra-frame prediction mode) is determined through RDO decision.
  • the main idea of the rate distortion optimized (Rate Distortion Optimized) strategy is that when calculating the cost function, the constraints of two factors, the bit rate and the degree of distortion, are considered at the same time, so as to ensure low bit rate while ensuring low distortion, which is more conducive to video streaming. transmission. That is: under the condition that the bit rate R does not exceed the maximum bit rate Rmax, the distortion degree D is minimized, that is, the min ⁇ D ⁇ constraint: R ⁇ Rmax.
  • An apparatus for performing encoding sequentially comprising:
  • a candidate prediction module configured to obtain at least one candidate prediction parameter including motion vector information or at least one candidate prediction mode including distortion information
  • a sequential predictive encoding module configured to select at least one candidate motion vector as a reference motion vector, determine a motion vector difference value according to the reference motion vector and the motion vector of the current prediction unit, and encode and/or transmit the motion vector difference value , determine the prediction difference value according to the motion vector difference value and the distortion degree information of the current prediction unit, or select at least one candidate prediction parameter as a reference prediction parameter, and determine the prediction residual value according to the distortion degree information and the distortion degree information of the current prediction unit For the degree of distortion of the difference value, the prediction difference value is determined according to the degree of distortion of the prediction residual value and the motion vector of the current prediction unit, and the prediction difference value is encoded and/or transmitted.
  • the sequential predictive encoding module includes a joint predictive index encoding module, configured to encode and/or transmit the index information of the reference prediction parameters .
  • a method for sequentially performing inter-frame and intra-frame joint prediction decoding reads the joint prediction flag in the code stream for each coding unit at the decoding end, and decodes according to the flag, including:
  • the decoding end receives the indication information, and obtains at least one set of candidate prediction parameters including motion vector information, or at least one candidate prediction mode including distortion degree information;
  • the calculating the motion vector difference value of the current prediction unit according to the prediction difference value and the prediction parameters includes:
  • inter-frame prediction data is determined.
  • the first reconstructed image data and the intra prediction data are added to obtain the final reconstructed image data.
  • the determining the first reconstructed image data and intra-frame prediction data from the video code stream includes:
  • the decoding end receives the indication information, and judges whether the first prediction of the coding unit is inter-frame prediction;
  • the first reconstructed image data and the intra prediction data are added to obtain the final reconstructed image data.
  • inter-frame prediction data is determined.
  • intra-frame prediction parameters from the code stream, including prediction modes, determine reference pixel values, and obtain intra-frame prediction data.
  • An apparatus for sequentially performing decoding comprising:
  • the candidate building block is used to decode the encoded and compressed video stream to obtain at least one candidate prediction parameter including motion vector information or at least one candidate prediction mode including distortion information;
  • the decoding module is used to refer to the index information of the prediction parameter to determine the reference prediction parameter from at least one candidate prediction parameter, calculate the motion vector difference value of the current prediction unit according to the prediction difference value and the prediction parameter, and calculate the motion vector difference value of the current prediction unit according to the motion vector difference value and the prediction Calculate the distortion degree information of the current prediction unit according to the parameters; or calculate the distortion degree difference value of the current prediction unit according to the prediction difference value and the prediction parameter, and calculate the motion vector information of the current prediction unit according to the distortion degree difference value and the prediction parameter.
  • An embodiment of the present application also provides an electronic device, including:
  • the memory is connected in communication with the one or more processors, the memory stores instructions executable by the one or more processors, and the instructions are executed by the one or more processors , so that the one or more processors execute the methods in the foregoing embodiments of the present application.
  • the processor and the memory may be connected through a bus or in other ways, taking connection through a bus as an example.
  • the processor may be a central processing unit (Central Processing Unit, CPU).
  • the processor can also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application-specific integrated circuits (Application Specific Integrated Circuit, ASIC), field-programmable gate array (Field-Programmable Gate Array, FPGA) or other Chips such as programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, or combinations of the above-mentioned types of chips.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • FPGA Field-Programmable Gate Array
  • the memory can be used to store non-transitory software programs, non-transitory computer-executable programs and modules, such as the cascaded progressive network in the embodiment of the present application.
  • the processor executes various functional applications and data processing of the processor by running non-transitory software programs/instructions and functional modules stored in the memory.
  • the memory may include a program storage area and a data storage area, wherein the program storage area may store an operating system and an application program required by at least one function; the data storage area may store data created by the processor, and the like.
  • the memory may include high-speed random access memory, and may also include non-transitory memory, such as at least one magnetic disk storage device, flash memory device, or other non-transitory solid-state storage devices.
  • the memory may optionally include memory located remotely from the processor, such remote memory may be connected to the processor via a network (eg, via a communication interface). Examples of the aforementioned networks include, but are not limited to, the Internet, intranets, local area networks, mobile communication networks, and combinations thereof.
  • An embodiment of the present application further provides a computer-readable storage medium, where computer-executable instructions are stored, and the computer-executable instructions are executed to perform the methods in the foregoing embodiments of the present application.
  • Computer-readable storage media include physically volatile and non-volatile, removable and non-removable media implemented in any manner or technology for storing information such as computer-readable instructions, data structures, program modules, or other data. medium.
  • Computer-readable storage media specifically include, but are not limited to, U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), erasable programmable read-only Memory (EPROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Flash or other solid-state memory technology, CD-ROM, Digital Versatile Disk (DVD), HD-DVD, Blue-Ray or other optical storage device, tape, disk storage or other magnetic storage device, or any other medium that can be used to store the desired information and that can be accessed by a computer.
  • ROM read-only memory
  • RAM random access memory
  • EPROM erasable programmable read-only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • Flash Flash or other
  • program modules include routines, programs, components, data structures, and other types of structures that perform particular tasks or implement particular abstract data types.
  • program modules may be located in both local and remote memory storage devices.
  • the functions described above are realized in the form of software function units and sold or used as independent products, they can be stored in a computer-readable storage medium.
  • the technical solution of the present application can be embodied in the form of a software product in essence or the part that contributes to the prior art or the technical solution, and the computer software product is stored in a storage medium, including Several instructions are used to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the methods described in the various embodiments of the present application.
  • inter-frame and intra-frame joint predictive coding is performed sequentially to perform inter-frame prediction and intra-frame prediction, and then jointly select the optimal inter-frame/intra-frame reference block, which can remove the distortion of the intra-frame prediction block and the inter-frame prediction block to a certain extent. If the area is too large, better prediction results can be obtained, the problem of prediction block distortion can be solved, the prediction accuracy can be increased, and the coding efficiency of the prediction block can be improved, which has excellent practicability and robustness.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种顺序执行的帧间帧内联合预测编解码的方法及装置，对一个编码单元或分块单元进行第一预测，获得至少一组候选预测参数包括运动矢量信息，或至少一组候选预测模式和对应的失真度信息；基于第一预测后形成的残差值进行第二预测，选择一个候选预测参数作为参考预测参数，根据运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于参考候选预测模式对应的失真度信息和当前预测单元的失真度信息确定预测残差值的失真度，根据预测残差值的失真度和当前预测单元的运动矢量确定预测差值；将预测差值进行编码和/或传输。

Description

一种顺序执行的帧间帧内联合预测编解码的方法及装置 技术领域
本发明涉及视频编码的技术领域，尤其涉及到一种顺序执行的帧间帧内联合预测编解码的方法及装置。
背景技术
在目前大部分视频编解码技术中均普遍采用了帧内预测和帧间预测技术。其中，帧间预测利用当前帧与其参考帧之间的相关性减小时域冗余，而帧内预测利用空间相邻像素点之间的相似性消除空域冗余。
然而在H266/VCC标准之前的所有视频编解码标准中，一个编码块(或宏块)只能选择帧内预测或帧间预测的其中一种。H266/VCC标准对此作了改进，引入了CIIP即帧内帧间联合技术，使得同一编码块(或宏块)不再只能选择帧内预测或帧间预测的其中一种。在CIIP技术中，首先计算当前预测块的帧内预测值，即用传统的帧内预测模式去预测当前块的像素值。然后利用帧间的预测方式去预测当前块的帧间预测值，最后将帧内和帧间的预测值进行加权求和，得到当前预测块的最终预测值。CIIP技术在亮度块的和色度块都要实现。
具体的加权公式如下：PCIIP＝((4-wIntra)*Pinter+wIntra*Pintra+2)>>2；权值wIntra是由当前CU的上方和左侧相邻块的编码模式决定的，其中帧间预测值的权重大小的为4-wIntra。权重按这种方式确定：如果上方的相邻块可用，且使用的是帧内预测模式则isIntraTop＝1，否则isIntraTop＝0；如果左侧的相邻块可用，且使用的是帧内预测模式则isIntraLeft＝1，否则isIntraLeft＝0。
由此可以确定：
a、如果isIntraTop+isIntraLeft＝2，则wIntra＝3；
b、如果isIntraTop+isIntraLeft＝1，则wIntra＝2；
c、否则wIntra＝1
对帧间预测和帧内预测加权求和的方式，如果帧内预测的权重较高，那么帧间预测的权重就较低，反之亦然，因此并没有最充分地同时减少时域相关性和空域相关性。
现有专利CN107995489A公开了一种用于P帧或B帧的帧内帧间组合预测方法，通过率失真优化RDO决策自适应地选择是否使用所述帧内帧间组合预测；帧内帧间组合预测使用帧内预测块和帧间预测块加权的方法得到最终预测块；帧内预测块和帧间预测块的加权 系数根据预测方法的预测失真统计得到；由此能够增加预测精度，提升预测块的编码和解码效率。但是该发明本质上还是一种对帧间预测和帧内预测加权求和的方法。
发明内容
本发明的目的在于提供一种顺序执行的帧间帧内联合预测编解码的方法及装置，用于解决没有最充分地同时减少时域相关性和空域相关性的技术问题。
一种顺序执行的帧间帧内联合预测编码的方法，其特征在于，包括以下步骤：
对一个编码单元或分块单元进行第一预测，获得至少一组候选预测参数包括运动矢量信息，或至少一组候选预测模式和对应的失真度信息；
基于所述第一预测后形成的残差值进行第二预测，选择一个候选预测参数作为参考预测参数，基于所述参考预测参数的运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；
将所述预测差值进行编码和/或传输。
上述的顺序执行的帧间帧内联合预测编码的方法，将所述参考预测参数的索引信息进行编码和/或传输。
上述的顺序执行的帧间帧内联合预测编码的方法，基于所述第一预测后形成的残差值进行第二预测包括：
以帧间预测形成的多个残差值块作为参考，对帧内预测模式进行遍历，计算预测值，计算当前块残差值相对于预测残差值的失真度及预测差值；
或基于帧内预测形成的多个残差值块确定多个匹配块并确定多个候选运动矢量，并根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值。
上述的顺序执行的帧间帧内联合预测编码的方法，所述帧间预测中的运动补偿包括：
根据运动向量获得参考帧的值；
获得多组预测值，产生多组运动残差。
上述的顺序执行的帧间帧内联合预测编码的方法，失真度计算包括：SAD绝对误差和、SATD hadamard变换后再绝对值求和、SSD差值的平方和、MAD平均绝对差值、MSD平均平方误差。
上述的顺序执行的帧间帧内联合预测编码的方法，确定所述预测残差值的失真度包括确定帧间预测模式、帧间预测参考块及参考帧和帧内预测模式中的一组最优预测值，在保证比特率R不超过最大比特率Rmax的条件下，使失真度D达到最小。
一种顺序执行帧间帧内联合预测解码的方法，在解码端对每一个编码单元读取码流中的联合预测标记，根据标记进行解码，包括：
解码端接收指示信息，获得至少一组候选预测参数包括运动矢量信息，或获得至少一个候选预测模式和所述候选预测模式对应的失真度信息；
基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述参考预测参数计算当前预测单元的失真度信息；
或基于参考候选预测模式的索引信息从至少一个候选预测模式确定参考预测模式，根据预测差值和所述参考候选预测模式计算当前预测单元的失真度差值，根据失真度差值和所述参考候选预测模式计算当前预测单元的运动矢量信息。
上述的顺序执行帧间帧内联合预测解码的方法，所述根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值包括：
从视频码流中获得帧内预测残差数据和帧内预测参数；
确定参考像素值，得到帧内预测数据，加上预测残差值得到第一重构数据；
从视频码流中确定帧间预测残差值、运动矢量信息、参考帧信息；
经过帧间预测，确定帧间预测数据。
上述的顺序执行帧间帧内联合预测解码的方法，还包括：
从视频码流中确定第一重构图像数据和帧内预测数据；
将第一重构图像数据和帧内预测数据相加得到最终重构图像数据。
上述的顺序执行帧间帧内联合预测解码的方法，所述从视频码流中确定第一重构图像数据和帧内预测数据包括：
从视频码流中确定预测残差数据、运动矢量信息、参考帧信息，经过帧间预测，确定帧间预测像素值；
通过帧内预测编码之后形成第一重构图像数据；
从码流中获得帧内预测参数，确定参考像素值，得到帧内预测数据。
一种顺序执行帧间帧内联合预测编码的装置，包括：
候选预测模块，用于获得至少一个候选预测参数包括运动矢量信息，或至少一个候选预测模 式和所述候选预测模式对应的失真度信息；
顺序预测编码模块，用于选择一个候选预测参数作为参考预测参数，基于所述运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；将所述预测差值进行编码和/或传输。
上述的顺序执行帧间帧内联合预测编码的装置，所述顺序预测编码模块包括联合预测索引编码模块，用于将所述参考预测参数的索引信息进行编码和/或传输。
一种顺序执行帧间帧内联合预测解码的装置，包括：
候选构建模块，用于对编码压缩后的视频码流解码，得到至少一个候选预测参数包括运动矢量信息或至少一个候选预测模式和所述候选预测模式对应的失真度信息；
解码模块，用于基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述参考预测参数计算当前预测单元的失真度信息；或基于参考候选预测模式的索引信息从至少一个候选预测模式确定参考候选预测模式，根据预测差值和所述参考候选预测模式计算当前预测单元的失真度差值，根据失真度差值和所述参考候选预测模式计算当前预测单元的运动矢量信息。
一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现以上任一项所述的方法。
一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现以上任一项所述的方法
上述技术方案具有如下优点或有益效果：
本发明中顺序执行帧间帧内联合预测编码依次进行帧间预测和帧内预测，然后联合选择最优帧间/帧内参考块，可以一定程度上去除帧内预测块和帧间预测块失真过大的区域，获得更好的预测效果，能够解决预测块失真问题，并能够增加预测精度，提升预测块的编码效率，实用性和鲁棒性俱佳。
附图说明
图1是本发明一种顺序执行的帧间帧内联合预测编码的方法的流程图；
图2是本发明一种顺序执行的帧间帧内联合预测解码的方法的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
本发明不同于现有运动预测算法，但其在编解码处理链中位置是类似的，是一种并行算法，作为新一代视频编码的标准。
结合图1所示，一种顺序执行的帧间帧内联合预测编码的方法，包括以下步骤：
对一个编码单元或分块单元进行第一预测，获得至少一组候选预测参数包括运动矢量信息，或至少一组候选预测模式和对应的失真度信息；
基于所述第一预测后形成的残差值进行第二预测，选择一个候选预测参数作为参考预测参数，基于所述参考预测参数的运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；
将所述预测差值进行编码和/或传输，将所述参考预测参数的索引信息进行编码和/或传输，可以沿用现有编解码过程中的变换、量化、熵编码过程。在一种实施例中，将一指示采取先后采取帧间预测和帧内预测的方案进行编码到视频码流中。
其中所述帧间预测包括：
通过运动估计算法，确定多个匹配块并确定多个候选运动矢量；
进行运动补偿，根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值；
所述帧内预测包括：
以图像值作为参考，遍历一种帧内预测模式，计算预测值；
计算当前块图像据相对于预测图像值的失真度及预测差值。
进一步地，本发明一种顺序执行的帧间帧内联合预测编码的方法的较佳的实施例中，基于所述第一预测后形成的残差值进行第二预测包括：
以帧间预测形成的多个残差值块作为参考，遍历一种帧内预测模式，计算预测值，计算当前块残差值相对于预测残差值的失真度及预测差值；
或基于帧内预测形成的多个残差值块确定多个匹配块并确定多个候选运动矢量，并根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值。
进一步地，本发明一种顺序执行的帧间帧内联合预测编码的方法的较佳的实施例中，所述帧间预测中的运动补偿包括：
根据运动向量获得参考帧的值；
获得多组预测值，产生多组运动残差。
进一步地，本发明一种顺序执行的帧间帧内联合预测编码的方法的较佳的实施例中，失真度计算包括：SAD绝对误差和、SATD hadamard变换后再绝对值求和、SSD差值的平方和、MAD平均绝对差值、MSD平均平方误差。
进一步地，本发明一种顺序执行的帧间帧内联合预测编码的方法的较佳的实施例中，确定所述预测残差值的失真度包括确定帧间预测模式、帧间预测参考块及参考帧和帧内预测模式中的一组最优预测值，在保证比特率R不超过最大比特率Rmax的条件下，使失真度D达到最小。
本发明的主要思路是：依次进行第一预测和第二预测，其中第二预测基于第一预测后形成的残差数据进行。也可以先进行第二预测，然后进行第一预测，其中第一预测基于第二预测后形成的残差数据进行。
当第一预测为帧间预测时，第二预测包括：以所述帧间预测形成的多个残差值块作为参考，遍历一种帧内预测模式，计算预测值；计算当前块残差值相对于预测残差值的失真度D及预测差值d；
当第一预测为帧内预测时，所述第二预测包括：基于所述帧内预测形成的多个残差值块确定多个匹配块并确定多个候选运动矢量；并根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值。
其中所述帧间预测包括确定多个候选参考帧/参考块：
通过运动估计算法，确定多个匹配块并确定多个候选运动矢量，寻找当前编码的块在已编码的图像(参考帧)中的最佳对应块，并且计算出对应块的偏移(运动矢量)，运动估计算法的目的就是在参考图像中找到最佳的参考图像块位置，即得到运动矢量，一般可以采取块匹配算法，比较各个参考位置上关于残差和运动矢量的代价函数，以搜索的最小代价函数点作为运动估计的结果，其搜索算法包括全搜索和快速搜索两类，全搜索对搜索范围内的所有点按照顺序进行搜索，逐点比较代价函数，选择代价函数最小的点作为最优点，为了减少运动估计的复杂度和计算时间，提出了快速搜索算法，减少了待搜索的位置数；
基于多个运动矢量计算预测值进行运动补偿，根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值，对当前图像的描述，旨在说明当前图像的每一块像素如何由其参考图像的像素块得到，得到运动向量之后进行运动补偿的步骤如下；
根据运动向量获得参考帧的值，在本发明中，存在一组候选最佳匹配块，包括多个候选最佳匹配块，因此可以确定多个参考帧/参考块的数据；
获得多组预测值，产生多组运动残差，基于确定多个参考块，根据预测滤波器，获得多组预测值，产生多组运动残差，比如基于1/16、1/8、1/4、1/2或整像素插值滤波器，可以得到预测像素值，原始像素值与预测像素值的差形成残差值，残差值同样可以按编码块进行划分，形成残差数据块，在本发明中，帧间运动预测参考块具有多个(多个候选运动矢量)；
所述帧内预测包括：
以同一帧图像的临近残差像素值作为参考，遍历一种帧内预测模式，计算预测值p，临近残差像素值是已经完成上一环节的预测形成的残差值。现有帧内预测模式仍然可以适用，例如，VVC/H266定义了67种帧内预测模式，在本发明中同样可以适用，与现有技术相比，帧内预测基于上一环节的预测形成的残差值进行；
计算当前块图像据相对于预测图像值的失真度D及预测差值d，失真度D计算可以是：SAD绝对误差和、SATD hadamard变换后再绝对值求和、SSD差值的平方和、MAD平均绝对差值、MSD平均平方误差。
根据本发明的实施例，如果先做帧间预测后做帧内预测，那么帧内预测基于帧间预测形成的多个残差数据块进行。否则，则基于原图像数据进行对该编码单元(Coding unit，CU)或其它类型的分块单元进行帧内预测。
在本发明中，存在多种候选帧间预测模式、帧间预测参考块及参考帧、帧内预测模式，并计算得到了预测残差值的失真度及差值d。现在通过RDO决策确定其中最优的一组预测参数(帧间预测模式、帧间预测参考块及参考帧、帧内预测模式之中至少一个)。率失 真优化(Rate Distortion Optimized)策略主要思想是，在计算代价函数时，同时考虑码率和失真度两方面因素的制约，在保证低失真度的同时保证低码率，这样更加有利于视频流的传输。即：在保证比特率R不超过最大比特率Rmax的条件下，使失真度D达到最小，即min{D}限制条件:R≤Rmax。
一种顺序执行编码的装置，包括：
候选预测模块，用于获得至少一个候选预测参数包括运动矢量信息或至少一个候选预测模式包括失真度信息；
顺序预测编码模块，用于选择至少一个候选运动矢量作为参考运动矢量，根据所述参考运动矢量和当前预测单元的运动矢量确定运动矢量差值，将所述运动矢量差值进行编码和/或传输，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择至少一个候选预测参数作为参考预测参数，根据所述失真度信息和当前预测单元的失真度信息确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值，将所述预测差值进行编码和/或传输。
进一步地，本发明一种顺序执行编码的装置的较佳的实施例中，所述顺序预测编码模块包括联合预测索引编码模块，用于将所述参考预测参数的索引信息进行编码和/或传输。
结合图2所示，一种顺序执行帧间帧内联合预测解码的方法，在解码端对每一个编码单元读取码流中的联合预测标记，根据标记进行解码，包括：
解码端接收指示信息，获得至少一组候选预测参数包括运动矢量信息，或至少一个候选预测模式包括失真度信息；
基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述预测参数计算当前预测单元的失真度信息；
或基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述预测参数计算当前预测单元的失真度差值，根据失真度差值和所述预测参数计算当前预测单元的运动矢量信息。
进一步地，本发明一种顺序执行帧间帧内联合预测解码的方法的较佳的实施例中，所述根据预测差值和所述预测参数计算当前预测单元的运动矢量差值包括：
从视频码流中获得帧内预测残差数据和帧内预测参数；
确定参考像素值，得到帧内预测数据，加上预测残差值得到第一重图像构据；
从视频码流中确定帧间预测残差值、运动矢量信息、参考帧信息；
经过帧间预测，确定帧间预测数据。
进一步地，本发明一种顺序执行帧间帧内联合预测解码的方法的较佳的实施例中，还包括：
从视频码流中确定第一重构图像数据和帧内预测数据；
将第一重构图像数据和帧内预测数据相加得到最终重构图像数据。
进一步地，本发明一种顺序执行帧间帧内联合预测解码的方法的较佳的实施例中，所述从视频码流中确定第一重构图像数据和帧内预测数据包括：
从视频码流中确定预测残差数据、运动矢量信息、参考帧信息，经过帧间预测，确定帧间预测像素值；
通过帧内预测编码之后形成第一重构图像数据；
从码流中获得帧内预测参数，确定参考像素值，得到帧内预测数据。
解码端接收指示信息，并判断编码单元的第一预测是否为帧间预测；
如果是，则从视频码流中获得第一重构图像数据和帧间预测数据；
将第一重构图像数据和帧间预测值相加得到最终重构图像数据；
如果否，则从视频码流中确定第一重构图像数据和帧内预测数据；
将第一重构图像数据和帧内预测数据相加得到最终重构图像数据。
如果是先进行帧间预测后进行帧内预测：
从视频码流中获得帧内预测残差数据和帧内预测参数，包括预测模式；
确定参考像素值，得到帧内预测数据，加上预测残差值得到第一重图像构据；
从视频码流中确定帧间预测残差值、运动矢量信息、参考帧信息；
经过帧间预测，确定帧间预测数据。
如果是先进行帧内预测后进行帧间预测：
从视频码流中确定预测残差数据、运动矢量信息、参考帧信息，经过帧间预测，确定帧间预测像素值；
通过帧内预测编码之后形成第一重构图像数据，帧间预测像素值+残差像素值＝第一重构图像数据；
从码流中获得帧内预测参数，包括预测模式，确定参考像素值，得到帧内预测数据。
一种顺序执行解码的装置，包括：
候选构建模块，用于对编码压缩后的视频码流解码，得到至少一个候选预测参数包括运动矢 量信息或至少一个候选预测模式包括失真度信息；
解码模块，用于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述预测参数计算当前预测单元的失真度信息；或根据预测差值和所述预测参数计算当前预测单元的失真度差值，根据失真度差值和所述预测参数计算当前预测单元的运动矢量信息。
本申请一个实施例还提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器执行本申请前述实施例中的方法。
具体地，处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的级联渐进网络等。处理器通过运行存储在存储器中的非暂态软件程序/指令以及功能模块，从而执行处理器的各种功能应用以及数据处理。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口)连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本申请前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块 或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到，结合本文中所本申请的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
本发明中顺序执行帧间帧内联合预测编码依次进行帧间预测和帧内预测，然后联合选择最优帧间/帧内参考块，可以一定程度上去除帧内预测块和帧间预测块失真过大的区域，获得更好的预测效果，能够解决预测块失真问题，并能够增加预测精度，提升预测块的编码效率，实用性和鲁棒性俱佳。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于 本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (13)

  1. 一种顺序执行的帧间帧内联合预测编码的方法，其特征在于，包括以下步骤：
    对一个编码单元或分块单元进行第一预测，获得至少一组候选预测参数包括运动矢量信息，或至少一组候选预测模式和对应的失真度信息；
    基于所述第一预测后形成的残差值进行第二预测，选择一个候选预测参数作为参考预测参数，基于所述参考预测参数的运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；
    将所述预测差值进行编码和/或传输。
  2. 如权利要求1所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，将所述参考预测参数的索引信息进行编码和/或传输。
  3. 如权利要求1所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，基于所述第一预测后形成的残差值进行第二预测包括：
    以帧间预测形成的多个残差值块作为参考，对帧内预测模式进行遍历，计算预测值，计算当前块残差值相对于预测残差值的失真度及预测差值；
    或基于帧内预测形成的多个残差值块确定多个匹配块并确定多个候选运动矢量，并根据所述候选运动矢量和帧间预测方法，求得当前帧的估计值。
  4. 如权利要求3所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，所述帧间预测中的运动补偿包括：
    根据运动向量获得参考帧的值；
    获得多组预测值，产生多组运动残差。
  5. 如权利要求1所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，失真度计算包括：SAD绝对误差和、SATD hadamard变换后再绝对值求和、SSD差值的平方和、MAD平均绝对差值、MSD平均平方误差。
  6. 如权利要求1所述的顺序执行的帧间帧内联合预测编码的方法，其特征在于，确定所述预测残差值的失真度包括确定帧间预测模式、帧间预测参考块及参考帧和帧内预测模式中的一组最优预测值，在保证比特率R不超过最大比特率Rmax的条件下，使失真度D达到最小。
  7. 一种顺序执行帧间帧内联合预测解码的方法，在解码端对每一个编码单元读取码流中的 联合预测标记，根据标记进行解码，其特征在于，包括：
    解码端接收指示信息，获得至少一组候选预测参数包括运动矢量信息，或至少一个候选预测模式和所述候选预测模式对应的失真度信息；
    基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述参考预测参数计算当前预测单元的失真度信息；
    或基于参考候选预测模式的索引信息从至少一个候选预测模式确定参考候选预测模式，根据预测差值和所述参考候选预测模式计算当前预测单元的失真度差值，根据失真度差值和所述参考候选预测模式计算当前预测单元的运动矢量信息。
  8. 如权利要求7所述的顺序执行帧间帧内联合预测解码的方法，其特征在于，所述根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值包括：
    从视频码流中获得帧内预测残差数据和帧内预测参数；
    确定参考像素值，得到帧内预测数据，加上预测残差值得到第一重构数据；
    从视频码流中确定帧间预测残差值、运动矢量信息、参考帧信息；
    经过帧间预测，确定帧间预测数据。
  9. 如权利要求7所述的顺序执行帧间帧内联合预测解码的方法，其特征在于，还包括：
    从视频码流中确定第一重构图像数据和帧内预测数据；
    将第一重构图像数据和帧内预测数据相加得到最终重构图像数据。
  10. 如权利要求9所述的顺序执行帧间帧内联合预测解码的方法，其特征在于，所述从视频码流中确定第一重构图像数据和帧内预测数据包括：
    从视频码流中确定预测残差数据、运动矢量信息、参考帧信息，经过帧间预测，确定帧间预测像素值；
    通过帧内预测编码之后形成第一重构图像数据；
    从码流中获得帧内预测参数，确定参考像素值，得到帧内预测数据。
  11. 一种顺序执行帧间帧内联合预测编码的装置，其特征在于，包括：
    候选预测模块，用于获得至少一个候选预测参数包括运动矢量信息，或至少一个候选预测模式和所述候选预测模式对应的失真度信息；
    顺序预测编码模块，用于选择一个候选预测参数作为参考预测参数，基于所述运动矢量信息和当前预测单元的运动矢量确定运动矢量差值，根据所述运动矢量差值和当前预测单元的失真度信息确定预测差值，或选择一个候选预测模式作为参考候选预测模式，基于所述参考候 选预测模式对应的失真度信息和当前预测单元的失真度信息根据率失真函数确定预测残差值的失真度，根据所述预测残差值的失真度和当前预测单元的运动矢量确定预测差值；将所述预测差值进行编码和/或传输。
  12. 如权利要求11所述的顺序执行帧间帧内联合预测编码的装置，其特征在于，所述顺序预测编码模块包括联合预测索引编码模块，用于将所述参考预测参数的索引信息进行编码和/或传输。
  13. 一种顺序执行帧间帧内联合预测解码的装置，其特征在于，包括：
    候选构建模块，用于对编码压缩后的视频码流解码，得到至少一个候选预测参数包括运动矢量信息，或至少一个候选预测模式和所述候选预测模式对应的失真度信息；
    解码模块，用于基于参考预测参数的索引信息从至少一个候选预测参数确定参考预测参数，根据预测差值和所述参考预测参数计算当前预测单元的运动矢量差值，根据运动矢量差值和所述参考预测参数计算当前预测单元的失真度信息；或基于参考候选预测模式的索引信息从至少一个候选预测模式确定参考候选预测模式，根据预测差值和所述参考候选预测模式计算当前预测单元的失真度差值，根据失真度差值和所述参考候选预测模式计算当前预测单元的运动矢量信息。
PCT/CN2021/139065 2021-05-10 2021-12-17 一种顺序执行的帧间帧内联合预测编解码的方法及装置 WO2022237168A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110502985.8 2021-05-10
CN202110502985.8A CN112995670B (zh) 2021-05-10 2021-05-10 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Publications (1)

Publication Number Publication Date
WO2022237168A1 true WO2022237168A1 (zh) 2022-11-17

Family

ID=76337345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/139065 WO2022237168A1 (zh) 2021-05-10 2021-12-17 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Country Status (2)

Country Link
CN (1) CN112995670B (zh)
WO (1) WO2022237168A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117156133A (zh) * 2023-10-27 2023-12-01 淘宝（中国）软件有限公司 一种视频编码的帧间预测模式选择方法及装置
CN117376551A (zh) * 2023-12-04 2024-01-09 淘宝（中国）软件有限公司 视频编码加速方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995670B (zh) * 2021-05-10 2021-10-08 浙江智慧视频安防创新中心有限公司 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101653006A (zh) * 2007-02-05 2010-02-17 三星电子株式会社 基于帧间预测进行编码和解码的方法和设备
CN108259913A (zh) * 2016-12-29 2018-07-06 北京大学深圳研究生院 一种用于帧间预测帧中的帧内预测方法
CN110519600A (zh) * 2019-08-21 2019-11-29 浙江大华技术股份有限公司 帧内帧间联合预测方法、装置、编解码器及存储装置
US20200413071A1 (en) * 2019-06-26 2020-12-31 Qualcomm Incorporated Combined inter and intra prediction mode for video coding
CN112995670A (zh) * 2021-05-10 2021-06-18 浙江智慧视频安防创新中心有限公司 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
WO2017082670A1 (ko) * 2015-11-12 2017-05-18 엘지전자 주식회사 영상 코딩 시스템에서 계수 유도 인트라 예측 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101653006A (zh) * 2007-02-05 2010-02-17 三星电子株式会社 基于帧间预测进行编码和解码的方法和设备
CN108259913A (zh) * 2016-12-29 2018-07-06 北京大学深圳研究生院 一种用于帧间预测帧中的帧内预测方法
US20200413071A1 (en) * 2019-06-26 2020-12-31 Qualcomm Incorporated Combined inter and intra prediction mode for video coding
CN110519600A (zh) * 2019-08-21 2019-11-29 浙江大华技术股份有限公司 帧内帧间联合预测方法、装置、编解码器及存储装置
CN112995670A (zh) * 2021-05-10 2021-06-18 浙江智慧视频安防创新中心有限公司 一种顺序执行的帧间帧内联合预测编解码的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117156133A (zh) * 2023-10-27 2023-12-01 淘宝（中国）软件有限公司 一种视频编码的帧间预测模式选择方法及装置
CN117156133B (zh) * 2023-10-27 2024-02-09 淘宝（中国）软件有限公司 一种视频编码的帧间预测模式选择方法及装置
CN117376551A (zh) * 2023-12-04 2024-01-09 淘宝（中国）软件有限公司 视频编码加速方法及电子设备
CN117376551B (zh) * 2023-12-04 2024-02-23 淘宝（中国）软件有限公司 视频编码加速方法及电子设备

Also Published As

Publication number Publication date
CN112995670A (zh) 2021-06-18
CN112995670B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
WO2022237168A1 (zh) 一种顺序执行的帧间帧内联合预测编解码的方法及装置
US9621917B2 (en) Continuous block tracking for temporal prediction in video encoding
US10091526B2 (en) Method and apparatus for motion vector encoding/decoding using spatial division, and method and apparatus for image encoding/decoding using same
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
US9854274B2 (en) Video coding
US7881386B2 (en) Methods and apparatus for performing fast mode decisions in video codecs
US20120294372A1 (en) Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
WO2010064396A1 (ja) 動画像復号化方法および動画像符号化方法
US9584832B2 (en) High quality seamless playback for video decoder clients
JP2014014169A (ja) 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法
WO2015010319A1 (zh) 一种基于p帧的多假设运动补偿编码方法
US9571851B2 (en) Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
WO2015010317A1 (zh) 一种基于p帧的多假设运动补偿方法
JP2014528200A (ja) 誤り伝搬追跡および受信機からの誤りフィードバックを用いるビデオリフレッシュ
US20170366807A1 (en) Coding of intra modes
US20090016443A1 (en) Inter mode determination method for video encoding
WO2022227622A1 (zh) 一种权值可配置的帧间帧内联合预测编解码的方法及装置
CN113596475A (zh) 图像/视频编码方法、装置、系统及计算机可读存储介质
CN110365975A (zh) 一种avs2视频编解码标准优化方案
US11997284B2 (en) Method for deriving motion vector, and electronic device of current block in coding unit
WO2022021422A1 (zh) 视频编码方法、编码器、系统以及计算机存储介质
TW201328362A (zh) 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式
Wang et al. Adaptive motion vector resolution scheme for enhanced video coding
Wang et al. Adaptive motion vector resolution prediction in block-based video coding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941730

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941730

Country of ref document: EP

Kind code of ref document: A1