WO2024192563A1 - 编解码方法、码流、编码器、解码器以及存储介质 - Google Patents

编解码方法、码流、编码器、解码器以及存储介质 Download PDF

Info

Publication number
WO2024192563A1
WO2024192563A1 PCT/CN2023/082173 CN2023082173W WO2024192563A1 WO 2024192563 A1 WO2024192563 A1 WO 2024192563A1 CN 2023082173 W CN2023082173 W CN 2023082173W WO 2024192563 A1 WO2024192563 A1 WO 2024192563A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
image
module
features
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2023/082173
Other languages
English (en)
French (fr)
Inventor
李帅
高艳博
元辉
李明
邹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202380095829.1A priority Critical patent/CN121359455A/zh
Priority to PCT/CN2023/082173 priority patent/WO2024192563A1/zh
Publication of WO2024192563A1 publication Critical patent/WO2024192563A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Definitions

  • the embodiments of the present application relate to the field of video coding and decoding technology, and in particular, to a coding and decoding method, a bit stream, an encoder, a decoder, and a storage medium.
  • FVC feature-space Video Coding network
  • DCVC deep contextual video compression
  • deformable convolution can be used to generate a motion vector representation - offset.
  • the compression of the offset is a lossy process, the reconstructed motion vector representation (offset) is distorted; and the motion estimation based on a single reference image cannot predict the current image well, thereby reducing the efficiency of video encoding and decoding.
  • the embodiments of the present application provide a coding and decoding method, a bit stream, an encoder, a decoder and a storage medium, which can improve the quality of predicted images, thereby improving the coding and decoding efficiency.
  • an embodiment of the present application provides a decoding method, which is applied to a decoder, and the method includes:
  • the initial predicted image features are enhanced according to at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the reconstructed image of the current image.
  • an embodiment of the present application provides an encoding method, which is applied to an encoder, and the method includes:
  • the initial predicted image features are enhanced according to at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the residual image features of the current image.
  • an embodiment of the present application provides a code stream, which is generated by bit encoding according to information to be encoded; wherein the information to be encoded includes at least one of the following:
  • an embodiment of the present application provides an encoder, the encoder comprising a first determining unit and a first enhancing unit; wherein,
  • a first determining unit is configured to determine a reconstructed motion parameter of the current image; and determine an initial predicted image feature of the current image according to the reconstructed motion parameter;
  • the first enhancement unit is configured to enhance the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the residual image features of the current image.
  • an encoder comprising a first memory and a first processor; wherein:
  • a first memory for storing a computer program that can be run on the first processor
  • the first processor is used to execute the method described in the second aspect when running a computer program.
  • an embodiment of the present application provides a decoder, the decoder comprising a decoding unit, a second determining unit, and a second enhancing unit; wherein:
  • a decoding unit configured to decode the bit stream and determine a reconstructed motion parameter of a current image
  • a second determination unit is configured to determine an initial predicted image feature of the current image according to the reconstructed motion parameter
  • the second enhancement unit is configured to enhance the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the reconstructed image of the current image.
  • an embodiment of the present application provides a decoder, the decoder comprising a second memory and a second processor; wherein:
  • a second memory for storing a computer program that can be run on a second processor
  • the second processor is used to execute the method described in the first aspect when running a computer program.
  • an embodiment of the present application provides a computer-readable storage medium, which stores a computer program.
  • the computer program When executed, it implements the method described in the first aspect, or implements the method described in the second aspect.
  • the embodiment of the present application provides a coding and decoding method, a code stream, an encoder, a decoder and a storage medium. No matter it is an encoding end or a decoding end, after determining the reconstructed motion parameters of the current image, the initial predicted image features of the current image are determined according to the reconstructed motion parameters; then the initial predicted image features are enhanced according to at least one reference image to determine the target predicted image features of the current image; wherein, at the encoding end, the target predicted image features are used to determine the residual image features of the current image; then, the target predicted image features are transmitted to the decoding end through the code stream, so that the decoding end can determine the reconstructed image of the current image according to the residual image features and the target predicted image features.
  • the initial predicted image features of the current image are determined according to the reconstructed motion parameters, the initial predicted image features can be enhanced using the reconstructed reference image, thereby improving the quality of the predicted image and reducing the distortion of the predicted image; in addition, due to reasons such as the occlusion area caused by the motion, a single reference image cannot generate a predicted image well.
  • the initial predicted image features are enhanced using at least one reconstructed reference image, which can further improve the quality of the predicted image, and further improve the quality of the reconstructed image of the current image, and improve the coding and decoding efficiency.
  • FIG1 is a schematic diagram of the composition structure of an FVC coding framework
  • FIG. 2 is a schematic diagram of the composition structure of an FVC decoding framework
  • FIG3 is a schematic diagram of a flow chart of a decoding method provided in an embodiment of the present application.
  • FIG4 is a schematic diagram of the composition structure of a prediction enhancement module provided in an embodiment of the present application.
  • FIG5 is a schematic diagram of a specific structure of a prediction enhancement module provided in an embodiment of the present application.
  • FIG6 is a schematic diagram of the composition structure of a feature extraction module provided in an embodiment of the present application.
  • FIG7 is a schematic diagram of a composition structure of a residual module provided in an embodiment of the present application.
  • FIG8 is a schematic diagram of the composition structure of a prediction feature generation module provided in an embodiment of the present application.
  • FIG9 is a schematic diagram of the detailed structure of a prediction feature generation module provided in an embodiment of the present application.
  • FIG10 is a schematic diagram of a flow chart of another decoding method provided in an embodiment of the present application.
  • FIG11 is a schematic diagram of the composition structure of a reconstruction enhancement module provided in an embodiment of the present application.
  • FIG12 is a schematic diagram of a flow chart of an encoding method provided in an embodiment of the present application.
  • FIG13 is a schematic diagram of the composition structure of a motion parameter generation module provided in an embodiment of the present application.
  • FIG14 is a detailed structural diagram of a motion parameter generation module provided in an embodiment of the present application.
  • FIG15 is a schematic diagram of the composition structure of an encoding module of an autoencoder provided in an embodiment of the present application.
  • FIG16 is a schematic diagram of the composition structure of a decoding module of an autoencoder provided in an embodiment of the present application.
  • FIG17 is a schematic diagram of a network architecture of a video codec provided in an embodiment of the present application.
  • FIG18 is a detailed schematic diagram of a framework of an encoder provided in an embodiment of the present application.
  • FIG19 is a schematic diagram of the specific structure of another prediction enhancement module provided in an embodiment of the present application.
  • FIG20 is a detailed schematic diagram of a decoder provided in an embodiment of the present application.
  • FIG21 is a schematic diagram of the composition structure of an encoder provided in an embodiment of the present application.
  • FIG22 is a schematic diagram of a specific hardware structure of an encoder provided in an embodiment of the present application.
  • FIG23 is a schematic diagram of the composition structure of a decoder provided in an embodiment of the present application.
  • FIG24 is a schematic diagram of a specific hardware structure of a decoder provided in an embodiment of the present application.
  • FIG. 25 is a schematic diagram of the composition structure of a coding and decoding system provided in an embodiment of the present application.
  • the motion estimation method of the FVC solution is different from that of the DCVC solution.
  • the former is a motion estimation method based on deformable convolution
  • the latter is a motion estimation method based on optical flow.
  • their overall encoding methods are basically the same.
  • a coding and decoding method based on the FVC solution is mainly provided.
  • FIG1 is a schematic diagram of the composition structure of an FVC coding framework.
  • the FVC coding framework mainly includes: a feature extraction module 101, a motion estimation module 102, a motion compression module 103, a motion compensation module 104, a residual compression module 105, an entropy coding module 106, a feature enhancement and reconstruction module 107, a subtractor 108 and an adder 109.
  • the feature extraction module 101 extracts features from the current image (the image to be encoded) and the reconstructed image (the encoded image, used as a reference) to obtain F t and Then both enter the motion estimation module 102 to obtain the motion parameter ⁇ t ; in the motion compression module 103, the motion parameter ⁇ t is encoded using the encoding module of the autoencoder and the entropy encoding module 106 to generate a bit stream M t and send it to the decoding end, and the decoding module of the autoencoder decodes M t to reconstruct and obtain Used in motion compensation module 104.
  • the motion compensation process is to use motion parameters
  • the reconstructed image (reference image) features are deformed to generate predicted image features; then the current image features and the predicted image features are subtracted by the subtractor 108 to obtain the residual image features R t ; in the residual compression module 105, the residual image features R t are further passed through the encoding module of the autoencoder and the entropy encoding module 106 to generate a bit stream Y t and sent to the decoding end, and Y t is decoded and reconstructed by the decoding module of the autoencoder to obtain the reconstructed residual The reconstructed residual and the predicted image feature are then added together by adder 109 to generate The final reconstructed image is generated by the feature enhancement and reconstruction module 107 Among them, the reconstructed image It can be stored in the decoded image buffer for subsequent image reference.
  • deformable convolution can be used to generate a motion vector representation - an offset, and then the offset is encoded based on the encoding module and the entropy encoding module of the autoencoder to generate a bit stream (also called a "bit stream").
  • the bit stream is entropy decoded and the decoding module of the autoencoder generates a reconstructed offset.
  • the reconstructed offset uses deformable convolution and reference image features to generate predicted image features (i.e., motion compensation), which are then subtracted from the current image features to generate residual image features, and then the next step of quantization and encoding is performed.
  • FIG2 is a schematic diagram of the composition structure of an FVC decoding framework.
  • the FVC coding framework mainly includes: a feature extraction module 201, a motion compression module 202, a motion compensation module 203, a residual compression module 204, an entropy decoding module 205, a feature enhancement and reconstruction module 206 and an adder 207.
  • the feature extraction module 201 extracts features from the reconstructed image (decoded image, used as a reference) to obtain And in the motion compression module 202, the entropy decoding module 205 and the decoding module of the autoencoder decode and reconstruct M t to obtain the motion parameter
  • the motion parameters It can be used in the motion compensation module 203.
  • the motion compensation process is to use The reconstructed image (reference image) features are deformed to generate predicted image features; in the residual compression module 204, Yt is decoded and reconstructed by the entropy decoding module 205 and the decoding module of the autoencoder to obtain the reconstructed residual Finally, the reconstructed residual and the predicted image feature are added together to generate The final reconstructed image is generated by the feature enhancement and reconstruction module 206 Among them, the reconstructed image It can be stored in the decoded image buffer for subsequent image reference.
  • the compression of the motion vector representation (offset) is a lossy process, so the reconstructed motion vector representation (offset) is distorted;
  • motion estimation based on a single reference image cannot generate high-quality reference images, that is, compared with multi-reference image prediction, only one reference image cannot effectively predict the current image; thereby reducing the video encoding and decoding efficiency.
  • an embodiment of the present application provides an encoding method, which first determines the reconstructed motion parameters of the current image; then determines the initial predicted image features of the current image based on the reconstructed motion parameters; then enhances the initial predicted image features based on at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the residual image features of the current image.
  • An embodiment of the present application also provides a decoding method, which first decodes the code stream to determine the reconstructed motion parameters of the current image; then determines the initial predicted image features of the current image based on the reconstructed motion parameters; then enhances the initial predicted image features based on at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the reconstructed image of the current image.
  • the initial predicted image features can be enhanced using the reconstructed reference image, thereby improving the predicted image quality and reducing the predicted image distortion; in addition, due to reasons such as the occlusion area caused by motion, a single reference image cannot generate a predicted image well.
  • using at least one reconstructed reference image to enhance the initial predicted image features can further improve the predicted image quality, and then improve the reconstructed image quality of the current image, and improve the encoding and decoding efficiency.
  • FIG3 a schematic flow chart of a decoding method provided by an embodiment of the present application is shown. As shown in FIG3 , the method may include:
  • S301 Decode the code stream and determine the reconstructed motion parameters of the current image.
  • the decoding method of the embodiment of the present application is applied to a decoder.
  • the decoding method may specifically refer to a method for generating a predicted image based on multi-image enhancement, and the method is embedded in a loop of video coding, and both the encoding end and the decoding end can enhance the predicted image features generated by the traditional motion compensation method in combination with multiple reconstructed reference images, thereby improving the quality of the predicted image.
  • the reconstructed motion parameters of the current image can be used Represents. Due to the reconstruction of motion parameters The code stream has been written; then at the decoding end, the reconstructed motion parameters of the current image can be obtained by decoding the code stream
  • decoder includes at least an entropy decoder and a decoding module of an autoencoder.
  • decoding the bitstream and determining the reconstructed motion parameters of the current image may include:
  • the first decoding feature is decoded by a decoding module of the autoencoder to determine the reconstructed motion parameter of the current image.
  • the first decoding feature can be represented by M t .
  • the motion reference bit stream is entropy decoded to obtain its corresponding first decoding feature M t ; then, the reconstructed motion parameter M t can be obtained through the decoding part of the autoencoder.
  • the decoding process is as follows:
  • f decoder (*) represents a decoding module of the motion parameter autoencoder to implement decoding processing of the first decoding feature M t .
  • S303 Enhance the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine a reconstructed image of the current image.
  • the reconstructed motion parameters after the reconstructed motion parameters are obtained, they can be used to determine the initial predicted image features of the current image; then the initial predicted image features are enhanced based on at least one reference image, so that a high-quality reconstructed image can be obtained.
  • enhancing the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image may include:
  • the initial predicted image feature is enhanced according to at least one reference image feature to determine the target predicted image feature.
  • At least one reference image is a reconstructed image
  • these reference images can be reconstructed images of the current image at the previous m moments, where m is an integer greater than or equal to 1.
  • each reference image can extract a reference image feature, and then use these reference image features to enhance the initial predicted image features.
  • the enhancement process can be implemented by a prediction enhancement module.
  • the initial predicted image features are enhanced according to at least one reference image feature to determine the target predicted image features, which may include: enhancing at least one reference image feature and the initial predicted image feature through a prediction enhancement module to determine the target predicted image features.
  • the prediction enhancement module can be a network structure for generating target prediction image features for multi-reference image enhancement.
  • the prediction enhancement module includes a first convolution module, a first splicing module, a second convolution module, and a first addition module. Accordingly, in some embodiments, the prediction enhancement module performs an enhancement operation on at least one reference image feature and an initial prediction image feature to determine the target prediction image feature, which may include:
  • the convolution fusion processing is performed on the spliced features through the second convolution module to obtain the fused correction features
  • the fused correction feature and the initial predicted image feature are added by the first addition module to obtain the target predicted image feature.
  • the first convolution module may include at least one convolution sub-module, and the number of the convolution sub-modules corresponds to the number of reference images in at least one reference image.
  • each convolution sub-module can perform a convolution operation on the reference image features and the initial predicted image features to obtain corresponding correction features; then the first splicing module splices these correction features with the initial predicted image features, and then the second convolution module convolutionally fuses the spliced features to obtain fused correction features; finally, the first addition module sums the fused correction features and the initial predicted image features to obtain the target predicted image features.
  • Fig. 4 is a schematic diagram of the composition structure of a prediction enhancement module provided in an embodiment of the present application.
  • the prediction enhancement module may include a first convolution module 401, a first concatenation module 402, a second convolution module 403 and a first addition module 404.
  • the first convolution module 401 includes a convolution submodule 1, a convolution submodule 2, ..., a convolution submodule n, where n is an integer greater than or equal to 1.
  • the initial prediction image feature can be represented by Pt
  • the first reference image feature can be represented by Indicates that the second reference image features
  • Levy can be used
  • the nth reference image feature can be used
  • the convolution submodule 1 is used to Convolution operation is performed on Pt to generate the first correction feature, represented by Pt -1
  • convolution submodule 2 is used to Convolution operation is performed with Pt to generate the second correction feature, represented by Pt -2
  • the convolution submodule n is used to and Pt to generate the nth correction feature, denoted by Ptn
  • the first concatenation module 402 concatenates Pt , Pt -1 , Pt -2 , ..., Ptn
  • the second convolution module 403 performs convolution fusion to generate a fused correction feature, denoted by
  • the residual structure is used, and the first addition module 404 adds P t and By adding the result, we can get the final target prediction image features
  • the convolution submodule may include a first convolution layer and a first deformable convolution layer; the first splicing module may include a first splicing layer; and the second convolution module may include a second convolution layer.
  • FIG5 is a schematic diagram of the specific structure of a prediction enhancement module provided in an embodiment of the present application.
  • each convolution submodule is composed of a first convolution layer and a first deformable convolution layer
  • the first splicing module 402 can be composed of a first splicing layer
  • the second convolution module 403 is composed of a second convolution layer.
  • the first deformable convolution layer can be represented by Deformable Conv
  • the first splicing layer can be represented by Cat
  • the convolution parameters of the first convolution layer and the second convolution layer can be the same or different.
  • the number of channels of the first convolution layer is set to 64, the convolution kernel size is 3 ⁇ 3, and the step size is set to 1, that is, the first convolution layer can be represented by Conv(64,3,1); the number of channels of the second convolution layer is set to 64, the convolution kernel size is 1 ⁇ 1, and the step size is set to 1, that is, the second convolution layer can be represented by Conv(64,1,1).
  • the initial predicted image features and the reference image features may be concatenated, and then the offset between the reference image features and the initial predicted image features may be generated through the first convolution layer and the corresponding activation function.
  • the specific process is as follows:
  • a deformable convolution operation can be performed through the first deformable convolution layer to generate corresponding correction features for the reconstructed image at the past moment.
  • the specific process is as follows:
  • the at least one generated correction feature is concatenated with the initial predicted image feature, and convolution fusion is performed through the second convolution layer, and finally a fused correction feature can be generated.
  • the specific process is as follows:
  • the residual structure is used to add the fused correction features to the initial predicted image features to generate the final target predicted image features.
  • the specific process is as follows:
  • the convolution submodule may include a first convolution layer; the first splicing module may include a first splicing layer; and the second convolution module may include a second convolution layer.
  • the process of correcting the reference image features to the current predicted image using the deformable convolution layer can be directly generated by convolution, that is, the first deformable convolution layer can be omitted here.
  • the initial predicted image features and the reference image features at the past moment are directly fused, and then the final target predicted image features are generated by convolution.
  • the number of the first convolution layer can be at least one
  • the number of the second convolution layer can also be at least one
  • the convolution parameters of these convolution layers can be the same or different; no limitation is made here.
  • the target prediction image features may be generated without using a residual structure, and the final target prediction image features may be directly generated.
  • the initial prediction image features and the fused correction features enhanced by at least one reference image may be added in the form of a residual structure; however, the addition operation may not be used here, and the two may be directly spliced together to generate the final target prediction image features.
  • the first addition module may not be required here, and there is no limitation on this.
  • performing feature extraction on at least one reference image respectively and determining at least one reference image feature may include: performing feature extraction on at least one reference image respectively through a feature extraction module and determining at least one reference image feature.
  • feature extraction may be implemented by a feature extraction module.
  • the at least one reference image may use the same feature extraction module.
  • three reference images are taken as an example, such as a first reference image, a second reference image, and a third reference image.
  • feature extraction is performed on at least one reference image by a feature extraction module, and determining at least one reference image feature may include:
  • a first reference image feature, a second reference image feature, and a third reference image feature are determined as at least one reference image feature.
  • the first reference image features, the second reference image features and the third reference image features may be used to enhance the initial predicted image features to generate target predicted image features.
  • the first reference image is a reconstructed image of the current image at a previous moment
  • the second reference image is a reconstructed image of the current image at two previous moments
  • the third reference image is a reconstructed image of the current image at three previous moments.
  • the first reference image can be used Indicates that the first reference image feature can be used
  • the second reference image can be represented by Indicates that the second reference image feature can be used
  • Indicates that the third reference image can be used Indicates that the third reference image feature can be used
  • the feature extraction process is as follows:
  • f feat (*) represents a feature extraction module, which is used to extract features from at least one reference image.
  • the number of reference image features can be 1, 2, 3, or even more; here, three reference images are used to extract corresponding reference image features as an example, but there is no limitation on the specific number of reference images and reference image features.
  • the feature extraction module is a network structure for realizing image feature extraction, which can also be called a "feature extraction network".
  • the feature extraction module includes a third convolution module, at least one residual module and a second addition module.
  • the feature extraction of the first reference image may include:
  • the first intermediate feature and the second intermediate feature are added by the second adding module to obtain a first reference image feature.
  • the third convolution module may include a third convolution layer.
  • the number of residual modules may be three, but may also be other numbers.
  • the specific number of residual modules There is no limitation on the specific number of residual modules.
  • FIG6 is a schematic diagram of the composition structure of a feature extraction module provided in an embodiment of the present application.
  • the feature extraction module may include a third convolution module 601, three residual modules 602, and a second addition module 603.
  • the third convolution module 601 may include a third convolution layer, represented by Conv(64,5,2); the residual module may be represented by Resblock(64,3).
  • the first reference image is first input into the third convolution module 601 to obtain the first intermediate feature; then the three residual modules 602 are used to extract the features of the first intermediate feature in turn to obtain the second intermediate feature; and then the second addition module 603 performs addition operation on the first intermediate feature and the second intermediate feature to obtain the first reference image feature.
  • the residual module can be a convolution block based on the residual structure, which belongs to the basic component module.
  • the residual module can be composed of at least one residual convolution layer and at least one activation layer.
  • the activation layer can be a nonlinear activation function.
  • the activation function is used to add nonlinear factors to solve problems that cannot be solved by linear models. This is very important for artificial neural network models to learn and understand very complex and nonlinear functions.
  • the activation function can be a Sigmoid function, a Tanh function, and a rectified linear unit (The Rectified Linear Unit, ReLU) function, etc.
  • the ReLU function can be used as an activation layer, but there is no limitation.
  • the residual module may include only one residual convolution layer, or may include two or more residual convolution layers.
  • FIG7 is a schematic diagram of the composition structure of a residual module provided in an embodiment of the present application.
  • the residual module may include a first residual convolution layer 701, a first activation layer 702, and a second residual convolution layer 703.
  • the first residual convolution layer and the second residual convolution layer can both be represented by Conv(N,K,1)
  • the first activation layer can be represented by ReLU.
  • the convolution parameters (such as convolution kernel size, number of channels, etc.) of the first residual convolution layer 701 and the second residual convolution layer 703 may be the same or different.
  • the number of channels may be set to N
  • the convolution kernel size may be K ⁇ K, where both N and K are positive integers.
  • the convolution kernel size and number of channels of the first residual convolution layer and the second residual convolution layer are not fixed designs, but can be adjusted, and the specific values are not limited.
  • determining the initial predicted image features of the current image according to the reconstructed motion parameter may include:
  • Motion compensation is performed according to the first reference image feature and the reconstructed motion parameter to determine the initial predicted image feature.
  • the first reference image may be adjacent to the current image, and the first reference image is a reconstructed image of the current image at a previous moment. That is, if the current image is X t , then the first reference image may be t is a positive integer.
  • feature extraction of the first reference image may be implemented through a feature extraction module.
  • feature extraction of the first reference image and determination of the first reference image feature may include: feature extraction of the first reference image through a feature extraction module and determination of the first reference image feature.
  • the feature extraction module may include a third convolution module, at least one residual module and a second addition module, and the specific composition structure may be shown in FIG6 .
  • performing motion compensation based on the first reference image features and the reconstructed motion parameters to determine the initial predicted image features may include: performing motion compensation on the first reference image features and the reconstructed motion parameters through a predicted feature generation module to determine the initial predicted image features.
  • the prediction feature generation module is a network structure for realizing the generation of initial prediction image features, which can also be called a "prediction image feature generation network".
  • the prediction feature generation module includes a fourth convolution module, a second splicing module, a fifth convolution module and a third addition module. Accordingly, in some embodiments, the prediction feature generation module performs motion compensation on the first reference image features and the reconstructed motion parameters to determine the initial prediction image features, which may include:
  • the third intermediate feature and the fifth intermediate feature are added by the third adding module to obtain an initial predicted image feature.
  • the fourth convolution module may include a second deformable convolution layer; the second splicing module may include a second splicing layer; and the fifth convolution module may include a fifth convolution layer.
  • the number of the second deformable convolution layer can be at least one
  • the number of the fifth convolution layer can also be at least one
  • the convolution parameters of these convolution layers can be the same or different; no limitation is made here.
  • FIG8 is a schematic diagram of the composition structure of a prediction feature generation module provided in an embodiment of the present application.
  • the prediction feature generation module may include a fourth convolution module 801, a second splicing module 802, a fifth convolution module 803 and a third addition module 804.
  • the image is input to the fourth convolution module 801 for deformable convolution operation to obtain the third intermediate feature; then the second splicing module 802 performs a splicing operation on the third intermediate feature and the first reference image feature, and then continues to pass through the fifth convolution module 803 for convolution operation to obtain the fifth intermediate feature; finally, the third addition module 804 performs addition operation on the third intermediate feature and the fifth intermediate feature to obtain the initial predicted image feature P t of the current image.
  • FIG9 is a detailed structural diagram of a prediction feature generation module provided in an embodiment of the present application.
  • the fourth convolution module 801 may be composed of a second deformable convolution layer
  • the second splicing module 802 may be composed of a second splicing layer
  • the fifth convolution module 803 may be composed of two fifth convolution layers.
  • the second deformable convolution layer can be represented by Deformable Conv
  • the second splicing layer can be represented by Cat
  • the fifth convolution layer can be represented by Conv(64,3,1), specifically: the number of channels is set to 64, the convolution kernel size can be 3 ⁇ 3, and the step size is set to 1.
  • the convolution parameters of the fifth convolution layer (such as the convolution kernel size, the number of channels, etc.) are not fixed designs, they can be adjusted here, and the specific values are not limited.
  • the second deformable convolutional layer is used to reconstruct the motion parameters With the first reference image feature
  • the initial predicted image feature Pt i.e. motion compensation
  • Dconv(*) is the second deformable convolution layer of the fourth convolution module 801
  • the two-layer convolution network of the fifth convolution module 803 enhances the features, and can eventually generate the initial predicted image features P t .
  • At least one reference image feature is extracted according to the correspondence of at least one reference image
  • the initial predicted image feature generated by motion compensation is spliced with the at least one reference image feature and an offset of a deformable convolution is generated, and then the reference image feature is processed by deformable convolution to generate a correction feature (also referred to as a "compensation feature") corresponding to the reference image feature.
  • a correction feature also referred to as a "compensation feature”
  • a fused correction feature can be obtained; the obtained fused correction feature is added to the initial predicted image feature to generate the final target predicted image feature. That is, the current initial predicted image features are corrected using the compensation features.
  • a reconstructed image of the current image may be determined according to the target prediction image features.
  • the method may include:
  • S1001 Decode the code stream and determine the reconstructed residual features of the current image.
  • the decoder includes at least an entropy decoder and a decoding module of an autoencoder. Accordingly, in some embodiments, decoding the bitstream and determining the reconstructed residual features of the current image may include:
  • the second decoding feature is decoded by a decoding module of the autoencoder to determine a reconstructed residual feature of the current image.
  • the second decoding feature can be represented by Y t .
  • the residual reference bit stream is entropy decoded to obtain its corresponding second decoding feature Y t ; then, the reconstructed residual feature can be obtained through the decoding part of the autoencoder.
  • the decoding process is as follows:
  • f decoder_R (*) represents the decoding module of the residual autoencoder to realize the decoding processing of the second decoding feature Y t .
  • S1002 Determine reconstructed image features according to reconstructed residual features and target predicted image features.
  • S1003 Perform feature enhancement and reconstruction processing on the reconstructed image features to determine a reconstructed image of the current image.
  • the reconstructed image feature can be determined based on the obtained reconstructed residual feature and the target predicted image feature.
  • the determination of the reconstructed image feature may include: adding the reconstructed residual feature and the target predicted image feature to obtain the reconstructed image feature.
  • determining the reconstructed image feature according to the reconstructed residual feature and the target predicted image feature may include: performing an addition operation on the reconstructed residual feature and the target predicted image feature through a fourth addition module to obtain the reconstructed image feature.
  • the reconstructed image feature is generated by adding the reconstructed residual feature and the target predicted image feature through the fourth addition module.
  • the fourth addition module of the embodiment of the present application may be the adder 207 in FIG. 2.
  • the reconstructed image of the current image can be reconstructed according to the reconstructed image features.
  • the reconstructed image features are enhanced and reconstructed to determine the reconstructed image of the current image, which may include: the reconstructed image features are enhanced and reconstructed by a reconstruction enhancement module to determine the reconstructed image of the current image.
  • the reconstruction enhancement module is a network structure for realizing feature enhancement and reconstruction, which may also be referred to as an "enhanced reconstruction network".
  • the reconstruction enhancement module includes at least one residual module, a fifth addition module, and a deconvolution module. Accordingly, in some embodiments, the reconstruction enhancement module performs feature enhancement and reconstruction processing on the reconstructed image features to determine the reconstructed image of the current image, which may include:
  • the seventh intermediate feature is deconvolved by the deconvolution module to obtain a reconstructed image of the current image.
  • the deconvolution module may include a deconvolution layer.
  • the number of residual modules may be three, but may also be other numbers.
  • the specific number of residual modules There is no limitation on the specific number of residual modules.
  • FIG11 is a schematic diagram of the composition structure of a reconstruction enhancement module provided in an embodiment of the present application.
  • the reconstruction enhancement module may include three residual modules 1101, a fifth addition module 1102 and a deconvolution module 1103.
  • the deconvolution module 1103 may include a deconvolution layer, represented by DeConv(3,5,2); the residual module can be represented by Resblock(64,3).
  • the three residual modules 1101 are used to extract features of the reconstructed image in sequence to obtain the sixth intermediate feature; then the fifth addition module 1102 adds the sixth intermediate feature to the reconstructed image feature to obtain the seventh intermediate feature; finally, the deconvolution module 1103 performs a deconvolution operation on the seventh intermediate feature to obtain a reconstructed image of the current image.
  • the internal structure of the residual module can be seen in FIG7.
  • the number of channels can be set to 3
  • the convolution kernel size can be 5 ⁇ 5
  • the step size can be set to 2.
  • its convolution parameters (such as convolution kernel size, number of channels, etc.) are not fixed designs, but can be adjusted here, and the specific values are not limited in any way.
  • a bit (specifically the first identification information) may be encoded in the bitstream to indicate whether the current image uses the predicted image feature enhancement mode. Therefore, in some embodiments, the method may further include:
  • a step of enhancing the initial predicted image features according to at least one reference image to determine a target predicted image feature of the current image is performed.
  • the first identification information may be a predefined one-bit indicator written into the bitstream to indicate whether the current image uses the predicted image feature enhancement mode.
  • the decoding end can obtain the value of the first identification information through decoding, so that the decoding end can quickly determine whether to use the predicted image feature enhancement mode.
  • the enhancement processing steps shown in FIG. 3 are executed, that is, the initial predicted image features are enhanced according to at least one reference image to determine the target predicted image features of the current image; if the first identification information indicates that the current image does not use a predicted image feature enhancement mode, then the enhancement processing steps shown in FIG. 3 are no longer executed, and the obtained initial predicted image features are directly used as the target predicted image features of the current image.
  • the method may further include:
  • the value of the first identification information is the first value, determining that the first identification information indicates that the current image uses a predicted image feature enhancement mode
  • the value of the first identification information is the second value, it is determined that the first identification information indicates that the current image does not use the predicted image feature enhancement mode.
  • the first value is different from the second value, and the first value and the second value can be in parameter form or in digital form.
  • the first identification information can be a parameter written in the profile or a value of a flag, which is not specifically limited here.
  • the first value can be set to 1 and the second value can be set to 0; or, the first value can be set to 0 and the second value can be set to 1; or, the first value can be set to true and the second value can be set to false; or, the first value can be set to false and the second value can be set to true; but this is not specifically limited here.
  • the first identification information as a flag written into the bitstream as an example, if the first value is set to 1 and the second value is set to 0, then when the value of the first identification information is 1, it can be determined that the current image uses the predicted image feature enhancement mode. At this time, it is necessary to enhance the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image; when the value of the first identification information is 0, it can be determined that the current image does not use the predicted image feature enhancement mode. At this time, the obtained initial predicted image features are directly used as the target predicted image features of the current image.
  • the training of the preset network model may be performed by using the same training method as in the related art, that is, end-to-end training of all modules of the entire video compression network. Therefore, in some embodiments, the method may further include:
  • the preset network model includes an initial network model and a prediction enhancement module
  • the initial network model at least includes: a feature extraction module, a motion parameter generation module, an autoencoder, a prediction feature generation module and a reconstruction enhancement module.
  • the embodiment of the present application can embed the prediction enhancement module into the existing initial network model, and further enhance the predicted image features after the motion compensation generates the initial predicted image, so as to generate the enhanced target predicted image features.
  • the embodiment of the present application can be trained end-to-end together with the initial network model without changing the training method of the initial network model, thereby greatly simplifying the training process of the video compression network.
  • the autoencoder here can include a motion parameter autoencoder and a residual autoencoder.
  • the motion vector representation (offset) of motion estimation is needed, and the motion vector representation (offset) needs to be compressed and transmitted to the decoding end.
  • This process is a lossy process, so the reconstructed motion vector representation (offset) is distorted, and the corresponding generated predicted image features are distorted.
  • the embodiments of the present application can enhance the predicted image features by using the reconstructed image at the past moment, so as to improve the quality of the predicted image and reduce the distortion.
  • a single reference image cannot generate a predicted image of the current image well, such as an occluded area caused by motion, but the occluded area may be included in the past image, so the embodiments of the present application propose to enhance the predicted image using the reconstructed image at the past moment.
  • the embodiments of the present application can effectively improve the quality of the predicted image features.
  • the prediction enhancement technology of the embodiment of the present application can effectively improve the encoding and decoding efficiency after being embedded in the FVC scheme.
  • the test results are shown in Table 1.
  • Table 1 shows the improvement effect of the prediction enhancement technology of the embodiment of the present application relative to the FVC scheme, which is specifically improved in bit rate saving ( Delta Bit Rate, BDBR).
  • the average bit rate saving (BDBR) of the embodiment of the present application is about 3.73%.
  • the prediction enhancement technology here can be applied not only to the FVC scheme, but also to the DCVC scheme, and even to other video coding network schemes, and no limitation is made here.
  • This embodiment provides a decoding method, first decoding the bitstream to determine the reconstructed motion parameters of the current image; then determining the initial predicted image features of the current image based on the reconstructed motion parameters; then enhancing the initial predicted image features based on at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the reconstructed image of the current image.
  • the predicted image at the current moment is enhanced using the reconstructed image at the past moment to improve the quality of the predicted image; the process includes correcting the reconstructed images at the past moment to the predicted images at the current moment respectively, and then fusing the predicted images of the multi-image correction with the predicted images at the current moment to generate a higher quality predicted image; thus, based on the high-quality predicted image, not only the quality of the reconstructed image of the current image can be improved, but also the encoding and decoding efficiency can be improved, and the video encoding and decoding performance can also be improved.
  • FIG12 a schematic diagram of a flow chart of an encoding method provided in an embodiment of the present application is shown. As shown in FIG12, the method may include:
  • the encoding method of the embodiment of the present application is applied to an encoder.
  • the encoding method may specifically refer to a method for generating a predicted image based on multi-image enhancement, and the method is embedded in a loop of video encoding, and both the encoding end and the decoding end can enhance the predicted image features generated by the traditional motion compensation method in combination with multiple reconstructed reference images, thereby improving the quality of the predicted image.
  • the reconstructed motion parameters of the current image can be used Indicates.
  • the first motion parameter of the current image needs to be determined, and then the reconstructed motion parameter of the current image can be obtained by encoding and decoding the first motion parameter.
  • determining the reconstructed motion parameter of the current image may include:
  • the first motion parameter is encoded and decoded to determine the reconstructed motion parameter of the current image.
  • the encoding end first needs to determine the first motion parameter, and then write the first motion parameter into the bitstream, and the subsequent decoding end can directly obtain the reconstructed motion parameter of the current image by decoding the bitstream.
  • the first motion parameter can also be called “motion vector representation-offset", which can be represented by ⁇ t here.
  • the first reference image may be adjacent to the current image, and the first reference image is a reconstructed image of the current image at the previous moment. That is, if the current image is X t , then the first reference image may be t is a positive integer.
  • determining the first motion parameter based on the first reference image and the current image may include: extracting features from the current image and the first reference image respectively to determine the current image features and the first reference image features; and performing motion estimation based on the first reference image features and the current image features to determine the first motion parameter.
  • the feature extraction of the first reference image and the current layer can be implemented by a feature extraction module.
  • feature extraction is performed on the current image and the first reference image respectively to determine the features of the current image and the features of the first reference image, which may include:
  • the feature extraction module extracts features from the first reference image to obtain features of the first reference image.
  • f feat (*) is a feature extraction module, and the feature extraction module can be shared by both the current image and the reference image reconstructed in the past.
  • the feature extraction module can include a third convolution module, at least one residual module and a second addition module, and the specific composition structure can be seen in FIG6 .
  • extracting features from the current image through a feature extraction module to obtain features of the current image may include: extracting features from the current image through a third convolution module to obtain a first intermediate feature; extracting features from the first intermediate feature through at least one residual module to obtain a second intermediate feature; and adding the first intermediate feature and the second intermediate feature through a second addition module to obtain features of the current image.
  • performing feature extraction on the first reference image through a feature extraction module to obtain a first reference image feature may include: performing feature extraction on the first reference image through a third convolution module to obtain a first intermediate feature; performing feature extraction on the first intermediate feature through at least one residual module to obtain a second intermediate feature; and performing addition operation on the first intermediate feature and the second intermediate feature through a second addition module to obtain the first reference image feature.
  • the third convolution module may include a third convolution layer.
  • the number of residual modules may be three, but may also be other numbers.
  • the specific number of residual modules There is no limitation on the specific number of residual modules.
  • the residual module can be a residual-based convolution block, which belongs to a basic component module.
  • the residual module can be composed of at least one residual convolution layer and at least one activation layer.
  • the activation layer can be a nonlinear activation function, and the activation function is used to add nonlinear factors to solve problems that cannot be solved by linear models. This is very important for artificial neural network models to learn and understand very complex and nonlinear functions.
  • the activation function can be a Sigmoid function, a Tanh function, and a rectified linear unit (The Rectified Linear Unit, ReLU) function, etc.
  • the ReLU function can be used as an activation layer, but it is not limited to any.
  • the residual module can include only one residual convolution layer, or it can include two or more residual convolution layers, and there is no limitation on this here.
  • the feature extraction module shown in FIG. 6 and the residual module shown in FIG. 7 are only exemplary. However, those skilled in the art will appreciate that the network structures of the feature extraction module and the residual module are not limited thereto.
  • performing motion estimation based on the first reference image features and the current image features to determine the first motion parameter may include: performing motion estimation on the first reference image features and the current image features through a motion parameter generation module to determine the first motion parameter.
  • the motion parameter generation module is a network structure for generating a motion vector representation mode ---- offset (offset), which can also be called a "motion vector representation generation network”.
  • the motion parameter generation module includes a third splicing module and a sixth convolution module. Accordingly, in some embodiments, the motion parameter generation module performs motion estimation on the first reference image feature and the current image feature to obtain the first motion parameter, which may include:
  • the eighth intermediate feature is convolved through the sixth convolution module to obtain the first motion parameter.
  • the third splicing module may include a third splicing layer; and the sixth convolution module may include a sixth convolution layer.
  • the number of the sixth convolution layer can be 1, 2, or even more; and the convolution parameters of these convolution layers (such as convolution kernel size, number of channels, etc.) can be the same or different; no limitation is made here.
  • FIG13 is a schematic diagram of the composition structure of a motion parameter generation module provided in an embodiment of the present application.
  • the motion parameter generation module may include a third splicing module 1301 and a sixth convolution module 1302.
  • the current image feature Ft and the first reference image feature Ft are combined.
  • the eighth intermediate feature is input to the third splicing module 1301, and then the sixth convolution module 1302 performs a convolution operation on the eighth intermediate feature obtained after splicing, so as to obtain the first motion parameter ⁇ t of the current image.
  • FIG14 is a detailed structural diagram of a motion parameter generation module provided in an embodiment of the present application.
  • the third splicing module 1301 may be composed of a third splicing layer
  • the sixth convolution module 1302 may be composed of two sixth convolution layers.
  • the third splicing layer can be represented by Cat
  • the sixth convolution layer can be represented by Conv(64,3,1), specifically: the number of channels is set to 64, the convolution kernel size can be 3 ⁇ 3, and the step size is set to 1.
  • the convolution parameters of the sixth convolution layer are not fixed designs, they can be adjusted here, and the specific values are not limited.
  • cat(*) is the splicing operation of the third splicing module 1301
  • f offset (*) is the offset generation network, which is the two-layer convolution network of the sixth convolution module 1302 here.
  • encoding and decoding the first motion parameter to determine the reconstructed motion parameter of the current image may include: encoding and decoding the first motion parameter through the autoencoder to determine the reconstructed motion parameter of the current image.
  • the autoencoder may include an encoding module and a decoding module. Accordingly, in some embodiments, encoding and decoding the first motion parameter by the autoencoder to determine the reconstructed motion parameter of the current image may include: encoding the first motion parameter by the encoding module of the autoencoder, and writing the obtained encoding bits into the bitstream; decoding the bitstream by the decoding module of the autoencoder to obtain the reconstructed motion parameter of the current image.
  • the composition structure of the encoding module is similar to that of the decoding module, and the decoding module is the inverse process of the encoding module.
  • the encoding process based on the autoencoder not only the encoding module of the autoencoder is required, but also the encoding of the entropy encoding module is required to generate a bit stream; then the bit stream needs to be decoded by the entropy decoding module and the decoding module of the autoencoder to generate the reconstructed motion parameters.
  • the specific process is as follows:
  • f encoder (*), f decoder (*) are the encoding module and decoding module of the motion parameter autoencoder, as shown in Figure 15 and Figure 16 respectively;
  • Q (*) is the quantization process.
  • FIG15 is a schematic diagram of the composition structure of the encoding module of an autoencoder provided in an embodiment of the present application.
  • the encoding module of the autoencoder may include a seventh convolution module 1501, at least one residual module 1502, and a sixth addition module 1503.
  • the seventh convolution module 1501 may be composed of a seventh convolution layer
  • at least one residual module 1502 may be composed of three residual modules.
  • the residual module can be represented by Resblock(128,3)
  • the seventh convolution layer can be represented by Conv(128,5,2), specifically: the number of channels is set to 128, the convolution kernel size can be 5 ⁇ 5, and the step size is set to 2.
  • the convolution parameters of the seventh convolution layer (such as the convolution kernel size, the number of channels, etc.) are not fixed designs, they can be adjusted here, and the specific values are not limited.
  • FIG16 is a schematic diagram of the composition structure of a decoding module of an autoencoder provided in an embodiment of the present application.
  • the decoding module of the autoencoder may include at least one residual module 1601, a seventh addition module 1602 and The eighth convolution module 1603.
  • at least one residual module 1601 can be composed of three residual modules
  • the eighth convolution module 1603 can be composed of an eighth convolution layer
  • the eighth convolution layer is a transposed convolution layer of the seventh convolution layer (or called a "deconvolution layer").
  • the residual module can be represented by Resblock(128,3); the eighth convolution layer can be represented by DeConv(128,5,2), specifically: the number of channels is set to 128, the convolution kernel size can be 5 ⁇ 5, and the step size is set to 2.
  • the convolution parameters of the eighth convolution layer (such as the convolution kernel size, the number of channels, etc.) are not fixed designs, and can also be adjusted here, and the specific values are not limited.
  • the encoding module shown in Figure 15 and the decoding module shown in Figure 16 are both exemplary network structures.
  • the network structures of the encoding module and the decoding module of the autoencoder are not limited thereto.
  • S1202 Determine initial predicted image features of the current image based on the reconstructed motion parameters.
  • determining the initial predicted image features of the current image may be further determined.
  • determining the initial predicted image features of the current image based on the reconstructed motion parameters may include:
  • Motion compensation is performed according to the first reference image feature and the reconstructed motion parameter to determine the initial predicted image feature.
  • the first reference image may be adjacent to the current image, and the first reference image is a reconstructed image of the current image at a previous moment. That is, if the current image is X t , then the first reference image may be t is a positive integer.
  • feature extraction of the first reference image may be implemented through a feature extraction module.
  • feature extraction of the first reference image and determination of the first reference image feature may include: feature extraction of the first reference image through a feature extraction module and determination of the first reference image feature.
  • the feature extraction module may include a third convolution module, at least one residual module and a second addition module, and the specific composition structure may be shown in FIG6 .
  • performing motion compensation based on the first reference image features and the reconstructed motion parameters to determine the initial predicted image features may include: performing motion compensation on the first reference image features and the reconstructed motion parameters through a predicted feature generation module to determine the initial predicted image features.
  • the prediction feature generation module is a network structure for realizing the generation of initial prediction image features, which can also be called a "prediction image feature generation network".
  • the prediction feature generation module includes a fourth convolution module, a second splicing module, a fifth convolution module and a third addition module. Accordingly, in some embodiments, the prediction feature generation module performs motion compensation on the first reference image features and the reconstructed motion parameters to determine the initial prediction image features, which may include:
  • the third intermediate feature and the fifth intermediate feature are added by the third adding module to obtain an initial predicted image feature.
  • the fourth convolution module may include a second deformable convolution layer; the second splicing module may include a second splicing layer; and the fifth convolution module may include a fifth convolution layer.
  • the number of the second deformable convolution layer can be at least one
  • the number of the fifth convolution layer can also be at least one
  • the convolution parameters of these convolution layers can be the same or different; no limitation is made here.
  • FIG8 and FIG9 show a structural example of a prediction feature generation module provided in an embodiment of the present application, but no limitation is imposed on this.
  • the second deformable convolution layer can be represented by Deformable Conv;
  • the second splicing layer can be represented by Cat;
  • the fifth convolution layer can be represented by Conv(64,3,1), specifically: the number of channels is set to 64, the convolution kernel size can be 3 ⁇ 3, and the step size is set to 1.
  • the convolution parameters of the fifth convolution layer (such as the convolution kernel size, the number of channels, etc.) are not fixed designs, but can be adjusted here, and the specific values are not limited.
  • the second deformable convolutional layer is used to reconstruct the motion parameters With the first reference image feature
  • the initial predicted image feature Pt i.e., motion compensation
  • Dconv(*) is the second deformable convolution layer of the fourth convolution module 801
  • the two-layer convolution network of the fifth convolution module 803 enhances the features, and can eventually generate the initial predicted image features P t .
  • S1203 Enhance the initial predicted image features according to at least one reference image to determine target predicted image features of the current image; wherein the target predicted image features are used to determine residual image features of the current image.
  • the reconstructed motion parameters after the reconstructed motion parameters are obtained, they can be used to determine the initial predicted image features of the current image; then the initial predicted image features are enhanced based on at least one reference image, so that a high-quality reconstructed image can be obtained.
  • enhancing the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image may include:
  • the initial predicted image feature is enhanced according to at least one reference image feature to determine the target predicted image feature.
  • At least one reference image is a reconstructed image
  • these reference images can be reconstructed images of the current image at the previous m moments, where m is an integer greater than or equal to 1.
  • each reference image can extract a reference image feature, and then use these reference image features to enhance the initial predicted image features.
  • the enhancement process can be implemented by a prediction enhancement module.
  • the initial predicted image features are enhanced according to at least one reference image feature to determine the target predicted image features, which may include: enhancing at least one reference image feature and the initial predicted image feature through a prediction enhancement module to determine the target predicted image features.
  • the prediction enhancement module can be a network structure for generating target prediction image features for multi-reference image enhancement.
  • the prediction enhancement module includes a first convolution module, a first splicing module, a second convolution module, and a first addition module. Accordingly, in some embodiments, the prediction enhancement module performs an enhancement operation on at least one reference image feature and an initial prediction image feature to determine the target prediction image feature, which may include:
  • the convolution fusion processing is performed on the spliced features through the second convolution module to obtain the fused correction features
  • the fused correction feature and the initial predicted image feature are added by the first addition module to obtain the target predicted image feature.
  • the first convolution module may include at least one convolution sub-module, and the number of the convolution sub-modules corresponds to the number of reference images in at least one reference image.
  • each convolution sub-module can perform a convolution operation on the reference image features and the initial predicted image features to obtain corresponding correction features; then the first splicing module splices these correction features with the initial predicted image features, and then the second convolution module convolutionally fuses the spliced features to obtain fused correction features; finally, the first addition module sums the fused correction features and the initial predicted image features to obtain the target predicted image features.
  • FIG4 shows a structural example of a prediction enhancement module provided in an embodiment of the present application, but is not limited to this.
  • the initial prediction image feature can be represented by Pt
  • the first reference image feature can be represented by Indicates that the second reference image feature can be used
  • the nth reference image feature can be used
  • the convolution submodule 1 is used to Convolution operation is performed on Pt to generate the first correction feature, represented by Pt -1
  • convolution submodule 2 is used to Convolution operation is performed with Pt to generate the second correction feature, represented by Pt -2
  • the convolution submodule n is used to and Pt to generate the nth correction feature, denoted by Ptn
  • the first concatenation module 402 concatenates Pt , Pt -1 , Pt -2 , ..., Ptn
  • the second convolution module 403 performs convolution fusion to generate a fused correction feature, denoted by
  • the residual structure is used, and
  • the convolution submodule may include a first convolution layer and a first deformable convolution layer; the first splicing module may include a first splicing layer; and the second convolution module may include a second convolution layer, as shown in FIG5 .
  • the first deformable convolution layer may be represented by Deformable Conv; the first splicing layer may be represented by Cat; and the convolution parameters of the first convolution layer and the second convolution layer may be the same or different.
  • the number of channels of the first convolution layer is set to 64, the convolution kernel size is 3 ⁇ 3, and the step size is set to 1, that is, the first convolution layer may be represented by Conv(64,3,1); the number of channels of the second convolution layer is set to 64, the convolution kernel size is 1 ⁇ 1, and the step size is set to 1, that is, the second convolution layer may be represented by Conv(64,1,1).
  • the convolution parameters of the first convolution layer and the second convolution layer are not fixed designs, but can be adjusted here, and there is no limitation on the specific values.
  • the initial predicted image features and the reference image features may be concatenated, and then the offset between the reference image features and the initial predicted image features may be generated through the first convolution layer and the corresponding activation function.
  • the specific process is as follows:
  • a deformable convolution operation can be performed through the first deformable convolution layer to generate corresponding correction features for the reconstructed image at the past moment.
  • the specific process is as follows:
  • the at least one generated correction feature is concatenated with the initial predicted image feature, and convolution fusion is performed through the second convolution layer, and finally a fused correction feature can be generated.
  • the specific process is as follows:
  • the residual structure is used to add the fused correction features to the initial predicted image features to generate the final target prediction Measure image features.
  • the specific process is as follows:
  • the convolution submodule may include a first convolution layer; the first splicing module may include a first splicing layer; and the second convolution module may include a second convolution layer.
  • the process of correcting the reference image features to the current predicted image using the deformable convolution layer can be directly generated by convolution, that is, the first deformable convolution layer can be omitted here.
  • the initial predicted image features and the reference image features at the past moment are directly fused, and then the final target predicted image features are generated by convolution.
  • the number of the first convolution layer can be at least one
  • the number of the second convolution layer can also be at least one
  • the convolution parameters of these convolution layers can be the same or different; no limitation is made here.
  • the target prediction image features may be generated without using a residual structure, and the final target prediction image features may be directly generated.
  • the initial prediction image features and the fused correction features enhanced by at least one reference image may be added in the form of a residual structure; however, the addition operation may not be used here, and the two may be directly spliced together to generate the final target prediction image features.
  • the first addition module may not be required here, and there is no limitation on this.
  • the enhancement processing is performed here according to at least one reference image feature, so it is necessary to first extract the reference image feature corresponding to each reference image.
  • feature extraction is performed on at least one reference image respectively to determine at least one reference image feature, which may include: feature extraction is performed on at least one reference image respectively by a feature extraction module to determine at least one reference image feature.
  • feature extraction may be implemented by a feature extraction module.
  • the at least one reference image may use the same feature extraction module.
  • three reference images are taken as an example, such as a first reference image, a second reference image, and a third reference image.
  • feature extraction is performed on at least one reference image by a feature extraction module to determine at least one reference image feature, which may include:
  • a first reference image feature, a second reference image feature, and a third reference image feature are determined as at least one reference image feature.
  • the first reference image features, the second reference image features and the third reference image features may be used to enhance the initial predicted image features to generate target predicted image features.
  • the first reference image is a reconstructed image of the current image at a previous moment
  • the second reference image is a reconstructed image of the current image at two previous moments
  • the third reference image is a reconstructed image of the current image at three previous moments.
  • the first reference image can be used Indicates that the first reference image feature can be used
  • the second reference image can be represented by Indicates that the second reference image feature can be used
  • Indicates that the third reference image can be used Indicates that the third reference image feature can be used
  • the feature extraction process is as follows:
  • f feat (*) represents a feature extraction module, which is used to extract features from at least one reference image.
  • the number of reference image features can be 1, 2, 3, or even more; here, three reference images are used to extract corresponding reference image features as an example, but there is no limitation on the specific number of reference images and reference image features.
  • the at least one reference image and the current image use the same feature extraction module, that is, a shared feature extraction module.
  • the feature extraction module may include a third convolution module, at least one residual module and a second addition module.
  • the specific composition structure can be seen in FIG6 .
  • the first reference image Taking the feature extraction of as an example, extracting features from the first reference image through the feature extraction module to obtain the first reference image feature may include: extracting features from the first reference image through the third convolution module to obtain a first intermediate feature; extracting features from the first intermediate feature through at least one residual module to obtain a second intermediate feature; and adding the first intermediate feature and the second intermediate feature through the second addition module to obtain the first reference image feature.
  • extracting features from the second reference image through the feature extraction module to obtain the second reference image features may include: extracting features from the second reference image through a third convolution module to obtain a first intermediate feature; extracting features from the first intermediate feature through at least one residual module to obtain a second intermediate feature; and adding the first intermediate feature and the second intermediate feature through a second addition module to obtain a second reference image feature.
  • extracting features from the third reference image through the feature extraction module to obtain the third reference image feature may include: extracting features from the third reference image through a third convolution module to obtain a first intermediate feature; extracting features from the first intermediate feature through at least one residual module to obtain a second intermediate feature; and adding the first intermediate feature and the second intermediate feature through a second addition module to obtain the third reference image feature.
  • At least one reference image feature eg, The initial predicted image features generated by motion compensation are spliced with the at least one reference image feature to generate an offset for the deformable convolution, and then the reference image features are processed using the deformable convolution to generate correction features (also called "compensation features") corresponding to the reference image features.
  • correction features also called "compensation features”
  • fused correction features can be obtained; the obtained fused correction features are added to the initial predicted image features to generate the final target predicted image features. That is, the current initial predicted image features are corrected using the compensation features.
  • the method may further include:
  • the reconstructed image features are enhanced and reconstructed to determine the reconstructed image of the current image.
  • determining the reconstructed residual features of the current image may include: determining current image features corresponding to the current image; determining residual image features based on the current image features and target predicted image features; encoding and decoding the residual image features to determine the reconstructed residual features of the current image.
  • determining the residual image feature according to the current image feature and the target predicted image feature may include: performing a subtraction operation on the current image feature and the target predicted image feature through a first subtraction module to obtain the residual image feature.
  • the residual image feature can be represented by R t
  • the reconstructed residual feature can be represented by
  • the first subtraction module is used to generate the residual image feature by subtracting the current image feature and the target predicted image feature, that is, For the encoding end, the first subtraction module in the embodiment of the present application may be the subtractor 108 in FIG. 1 .
  • encoding and decoding the residual image feature to determine the reconstructed residual feature of the current image may include: encoding and decoding the residual image feature through the autoencoder to determine the reconstructed residual feature of the current image.
  • the autoencoder may include an encoding module and a decoding module. Accordingly, in some embodiments, encoding and decoding the residual image features by the autoencoder to determine the reconstructed residual features of the current image may include: encoding the residual image features by the encoding module of the autoencoder, and writing the obtained encoding bits into the bitstream; decoding the bitstream by the decoding module of the autoencoder to obtain the reconstructed residual features of the current image.
  • the composition structure of the encoding module is similar to that of the decoding module, and the decoding module is the inverse process of the encoding module.
  • the encoding process based on the residual autoencoder not only the encoding module of the residual autoencoder is required, but also the encoding of the entropy encoding module is required to generate a bit stream; then the bit stream needs to be decoded by the entropy decoding module and the decoding module of the residual autoencoder to generate a reconstructed residual feature.
  • the specific process is as follows:
  • f encoder_R (*), f decoder_R (*) are the encoding module and decoding module of the residual autoencoder
  • Q(*) is the quantization process.
  • the structure of the residual autoencoder is consistent with the structure of the motion parameter autoencoder, so the composition structures of f encoder_R (*), f decoder_R (*) are also shown in Figures 15 and 16 respectively.
  • the network structure of the encoding module and decoding module of the residual autoencoder is not limited to this.
  • determining the reconstructed image feature according to the reconstructed residual feature and the target predicted image feature may include: performing an addition operation on the reconstructed residual feature and the target predicted image feature to obtain the reconstructed image feature.
  • determining the reconstructed image feature according to the reconstructed residual feature and the target predicted image feature may include: performing an addition operation on the reconstructed residual feature and the target predicted image feature through a fourth addition module to obtain the reconstructed image feature.
  • the reconstructed image feature is generated by adding the reconstructed residual feature and the target predicted image feature through the fourth addition module.
  • the fourth addition module of the embodiment of the present application may be the adder 109 in FIG. 1.
  • the reconstructed image of the current image can be reconstructed according to the reconstructed image features.
  • the reconstructed image features are enhanced and reconstructed to determine the reconstructed image of the current image, which may include: the reconstructed image features are enhanced and reconstructed by a reconstruction enhancement module to determine the reconstructed image of the current image.
  • the reconstruction enhancement module is a network structure for realizing feature enhancement and reconstruction, which may also be referred to as an "enhanced reconstruction network".
  • the reconstruction enhancement module includes at least one residual module, a fifth addition module, and a deconvolution module. Accordingly, in some embodiments, the reconstruction enhancement module performs feature enhancement and reconstruction processing on the reconstructed image features to determine the reconstructed image of the current image, which may include:
  • the seventh intermediate feature is deconvolved by the deconvolution module to obtain a reconstructed image of the current image.
  • the deconvolution module may include a deconvolution layer.
  • the number of residual modules may be three, but may also be other numbers.
  • the specific number of residual modules There is no limitation on the specific number of residual modules.
  • FIG11 shows a structural example of a reconstruction enhancement module provided in an embodiment of the present application, but no limitation is imposed on this.
  • the three residual modules extract the features of the reconstructed image in sequence to obtain the sixth intermediate feature; then the fifth addition module adds the sixth intermediate feature to the reconstructed image feature to obtain the seventh intermediate feature; finally, the deconvolution module performs a deconvolution operation on the seventh intermediate feature to obtain a reconstructed image of the current image.
  • the number of channels can be set to 3
  • the convolution kernel size can be 5 ⁇ 5
  • the step size can be set to 2.
  • the convolution parameters of the deconvolution layer are not fixed designs, but can be adjusted here, and the specific values are not limited.
  • a bit (specifically the first identification information) may be encoded in the bitstream to indicate whether the current image uses the predicted image feature enhancement mode. Therefore, in some embodiments, the method may further include:
  • the value of the first identification information is encoded by the encoding module of the autoencoder, and the obtained encoding bits are written into the bit stream.
  • the first identification information can be a predefined one-bit indicator written into the bitstream, which is used to indicate whether the current image uses the predicted image feature enhancement mode.
  • the encoding end can write the value of the first identification information into the bitstream; the subsequent decoding end can obtain the value of the first identification information through decoding, so that the decoding end can quickly determine whether to use the predicted image feature enhancement mode.
  • the method may further include: if the first identification information indicates that the current image uses a predicted image feature enhancement mode, performing a step of enhancing the initial predicted image features according to at least one reference image to determine a target predicted image feature of the current image.
  • the enhancement processing steps shown in FIG. 12 are executed, that is, the initial predicted image features are enhanced according to at least one reference image to determine the target predicted image features of the current image; if the first identification information indicates that the current image does not use a predicted image feature enhancement mode, then the enhancement processing steps shown in FIG. 12 are no longer executed, and the obtained initial predicted image features are directly used as the target predicted image features of the current image.
  • determining the value of the first identification information may include:
  • the first identification information indicates that the current image uses the predicted image feature enhancement mode, determining that the value of the first identification information is a first value
  • the value of the first identification information is determined to be the second value.
  • the first value is different from the second value, and the first value and the second value can be in parameter form or in digital form.
  • the first identification information can be a parameter written in the profile or a value of a flag, which is not specifically limited here.
  • the first value can be set to 1 and the second value can be set to 0; or, the first value can be set to 0 and the second value can be set to 1; or, the first value can be set to true and the second value can be set to false; or, the first value can be set to false and the second value can be set to true; but this is not specifically limited here.
  • the first identification information as a flag written into the bitstream as an example, if the first value is set to 1 and the second value is set to 0, then when the value of the first identification information is 1, it can be determined that the current image uses the predicted image feature enhancement mode. At this time, it is necessary to enhance the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image; when the value of the first identification information is 0, it can be determined that the current image does not use the predicted image feature enhancement mode. At this time, the obtained initial predicted image features are directly used as the target predicted image features of the current image.
  • the training of the preset network model may be performed by using the same training method as in the related art, that is, end-to-end training of all modules of the entire video compression network. Therefore, in some embodiments, the method may further include:
  • the preset network model includes an initial network model and a prediction enhancement module
  • the initial network model at least includes: a feature extraction module, a motion parameter generation module, an autoencoder, a prediction feature generation module and a reconstruction enhancement module.
  • the embodiment of the present application can embed the prediction enhancement module into the existing initial network model, and further enhance the predicted image features after the motion compensation generates the initial predicted image, so as to generate the enhanced target predicted image features.
  • the embodiment of the present application provides a video encoding method based on end-to-end deep learning, that is, it can be trained end-to-end together with the initial network model without changing the original network model.
  • the training method of the initial network model can be changed, thereby greatly simplifying the training process of the video compression network.
  • the autoencoder here can include a motion parameter autoencoder and a residual autoencoder.
  • the motion vector representation (offset) of motion estimation is needed, and the motion vector representation (offset) needs to be compressed and transmitted to the decoding end.
  • This process is a lossy process, so the reconstructed motion vector representation (offset) is distorted, and the corresponding generated predicted image features are distorted.
  • the embodiments of the present application can enhance the predicted image features by using the reconstructed image at the past moment, so as to improve the quality of the predicted image and reduce the distortion.
  • a single reference image cannot generate a predicted image of the current image well, such as an occluded area caused by motion, but the occluded area may be included in the past image, so the embodiments of the present application propose to enhance the predicted image using the reconstructed image at the past moment.
  • the embodiments of the present application can effectively improve the quality of the predicted image features.
  • the prediction enhancement technology of the embodiment of the present application can effectively improve the encoding and decoding efficiency after being embedded in the FVC scheme, and the test results are shown in the aforementioned Table 1.
  • Table 1 compared with the FVC scheme, the average bit rate saving (BDBR) of the embodiment of the present application is about 3.73%.
  • the prediction enhancement technology here can be applied not only to the FVC scheme, but also to the DCVC scheme, and even to other video coding network schemes, and no limitation is made here.
  • an embodiment of the present application also provides a code stream, which is generated by bit encoding based on information to be encoded; wherein the information to be encoded includes at least one of the following: a first motion parameter of a current image, a residual image feature, and a value of first identification information; wherein the first identification information is used to indicate whether the current image uses a predicted image feature enhancement mode.
  • a predicted image feature enhancement mode can also be added to the FVC scheme or other coding and decoding network scheme, that is, a bit is encoded to indicate whether the predicted image feature enhancement mode is used.
  • the encoding/decoding method of the embodiment of the present application can be used.
  • the encoding end transmits these to-be-encoded information to the decoding end through the bitstream; so that at the decoding end, by decoding the bitstream, it is possible to determine whether the current image uses the predicted image feature enhancement mode, and to determine the first motion parameter and residual image feature of the current image by decoding the bitstream, so as to restore the reconstructed image of the current image.
  • This embodiment provides a coding method, first determining the reconstructed motion parameters of the current image; then determining the initial predicted image features of the current image based on the reconstructed motion parameters; then enhancing the initial predicted image features based on at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the residual image features of the current image.
  • the predicted image at the current moment can also be enhanced using the reconstructed image at the past moment to improve the quality of the predicted image; the process includes correcting the reconstructed images at the past moment to the predicted image at the current moment respectively, and then fusing the predicted image corrected by the multi-image and the predicted image at the current moment to generate a higher quality predicted image; thereby, based on the high-quality predicted image, not only the reconstructed image quality of the current image can be improved, but also the encoding and decoding efficiency can be improved, and the video encoding and decoding performance can also be improved.
  • the embodiment of the present application provides a network architecture of a video codec system including a decoding method and an encoding method
  • FIG. 17 is a schematic diagram of a network architecture of a video codec provided by the embodiment of the present application.
  • the network architecture includes one or more electronic devices 13 to 1N and a communication network 01, wherein the electronic devices 13 to 1N can perform video interaction through the communication network 01.
  • the electronic device can be various types of devices with video codec functions, for example, the electronic device can include a mobile phone, a tablet computer, a personal computer, a personal digital assistant, a navigator, a digital phone, a video phone, a television, a sensor device, a server, etc., which is not limited by the embodiment of the present application.
  • the decoder or encoder in the embodiment of the present application can be the above-mentioned electronic device.
  • the electronic device in the embodiment of the present application has a video encoding and decoding function, generally including a video encoder (ie, encoder) and a video decoder (ie, decoder).
  • a video encoder ie, encoder
  • a video decoder ie, decoder
  • the embodiment of the present application proposes a method for generating predicted image features based on multi-image enhancement.
  • the method is embedded in the loop of video encoding, and both the encoding end and the decoding end are involved in the method.
  • the predicted image generated by the traditional motion compensation method is enhanced by combining the reconstructed images of multiple past moments to improve the quality of the predicted image, thereby improving the coding efficiency.
  • FIG18 is a detailed schematic diagram of the framework of an encoder provided by an embodiment of the present application.
  • the framework mainly includes: a feature extraction module 1801, a motion estimation module 1802, a motion compression module 1803, a motion compensation module 1804, a prediction enhancement module 1805, a residual compression module 1806, an entropy coding module 1807, a feature enhancement and reconstruction module 1808, a subtractor 1809 and an adder 1810.
  • the prediction enhancement module 1805 here can be based on the reference image features of the three frames of reference images.
  • the initial predicted image features output by the motion compensation module 1804 are enhanced.
  • the reference image features are used to perform multi-image enhancement on the initial predicted image features to improve their quality.
  • the enhancement effect is manifested in the following aspects: on the one hand, due to the lossy compression of the motion vector representation, the generated predicted image features are The predicted image contains distortion, and its quality can be enhanced by using the reconstructed image.
  • a single reference image cannot generate a good predicted image of the current image, such as the occluded area caused by motion, etc. However, the occluded area may be included in the past image, and after motion compensation, the predicted image contains information of the current image. Therefore, the reconstructed reference image can be used to enhance the predicted image features and improve its quality.
  • Feature extraction module feature extraction of the current image and the reconstructed reference image (taking three frames of reference images as an example, the reference image features are The current image feature is F t ); the extraction process is as follows:
  • ffeat (*) is a feature extraction module, and the current image and the reconstructed reference image are the same module, that is, a shared feature extraction module.
  • the feature extraction module can be composed of a convolution layer and 3 convolution blocks based on residual structure, and the specific structure is shown in Figure 6.
  • Motion estimation module and motion compensation module generate initial predicted image features.
  • cat(*) is the concatenation operation
  • f offset (*) is the offset generation network, which is a two-layer convolutional network. The specific structure is shown in Figure 14.
  • the first motion parameter ⁇ t is encoded based on the encoding part of the autoencoder and entropy encoding to generate a bit stream; then the bit stream is entropy decoded and the decoding part of the autoencoder is used to generate the reconstructed motion parameter As shown below:
  • f encoder (*), f decoder (*) are the encoding part and decoding part of the motion parameter autoencoder, and the specific structures are shown in Figure 15 and Figure 16 respectively, and Q(*) is the quantization process.
  • Dconv(*) is a deformable convolution
  • the features are enhanced for the two-layer convolutional network, and finally the predicted image features are generated.
  • the specific structure is shown in Figure 9.
  • Prediction enhancement module The method for generating features of the prediction image based on multiple reconstructed reference images is the key part of the embodiment of the present application. Taking three frames of reference images as an example, the specific process is shown in FIG. 19. The features of the previously reconstructed reference images (taking three images as an example, respectively ), the initial predicted image features Pt and the reference image features generated by motion compensation are concatenated to generate the offset of deformable convolution, and the reference image features are processed by deformable convolution to generate compensation features. Then, the compensation features are convolutionally fused and added to the initial predicted image features Pt to generate the final target predicted image features. That is, the compensation features can be used to correct the current predicted image features.
  • the reference image features can be extracted, which are
  • the initial predicted image features (generated by motion compensation, i.e., the predicted image features generated by the FVC scheme) and the three reference image features are concatenated separately. Then, through two layers of convolutional layers and corresponding activation functions, the offset between the reconstructed image and the predicted image is generated, which is similar to the motion vector in traditional video encoding and decoding.
  • the number of channels is set to 64
  • the convolution kernel size is 3 ⁇ 3
  • the step size is 1, but it is not limited to this.
  • the specific process is as follows:
  • deformable convolution is used to generate correction features (i.e. compensation features) from the previously reconstructed reference image features.
  • correction features i.e. compensation features
  • Feature enhancement and reconstruction module First, the current image features and the target prediction image features are subtracted to obtain the residual image features. The residual image features are further sent to the decoder to generate a bit stream through the autoencoder, and the reconstructed residual features are output. Then add it to the target predicted image features to generate Finally, the final reconstructed image is generated after feature enhancement and reconstruction.
  • f encoder_R (*), f decoder_R (*) are the encoding part and decoding part of the residual autoencoder, and the structure is consistent with the motion parameter autoencoder, which can be specifically shown in Figures 15 and 16; Q(*) is the quantization process.
  • f enh_x (*) is an enhanced reconstruction network, which uses a multi-layer convolution block based on a residual structure.
  • the specific structure can be shown in Figure 11.
  • FIG20 is a detailed schematic diagram of a decoder provided by an embodiment of the present application.
  • the framework mainly includes: a feature extraction module 2001, a motion compression module 2002, a motion compensation module 2003, a prediction enhancement module 2004, a residual compression module 2005, an entropy decoding module 2006, a feature enhancement and reconstruction module 2007 and an adder 2008.
  • the prediction enhancement module 2004 here can also be used to implement the function of the aforementioned prediction enhancement module, according to the reference image features of the three frames of reference images.
  • the initial predicted image features output by the motion compensation module 2003 are enhanced.
  • entropy decoding can be performed to obtain their corresponding decoding features, namely M t and Y t , and then the reconstructed motion parameters can be obtained through the decoding part of the autoencoder. and reconstruct the residual features Then, the reconstructed motion parameters and the reference image (decoded image) are used to generate the initial predicted image feature Pt ; and the multi-reference image features are used for enhancement processing to generate the target predicted image feature Finally, it is combined and the residual features are reconstructed Feature enhancement and reconstruction after addition can generate a reconstructed image
  • bit stream of motion parameters and the bit stream of residual image features are entropy decoded to obtain their corresponding decoded features, namely M t and Y t .
  • the entropy encoding and decoding can be any entropy codec, and the process is lossless.
  • f decoder (*) is the decoding part of the motion parameter autoencoder, and is the same network as the decoding part of the motion parameter autoencoder in the encoding end.
  • Dconv(*) is a deformable convolution
  • the features are enhanced by a two-layer convolutional network, and the initial predicted image features are finally generated.
  • the same network is used as the encoding end.
  • the specific structure is shown in Figure 9.
  • f decoder_R (*) is the decoding part of the residual autoencoder, which is the same network as the decoding part of the residual autoencoder in the encoding end.
  • f enh_x (*) is an enhanced reconstruction network, which uses a multi-layer convolutional block based on a residual structure and uses the same network as the encoding end.
  • the specific structure is shown in Figure 11.
  • the encoder will generate a reconstructed image; therefore, the entire decoding process will exist on the encoder, so the network on the decoder has a corresponding network on the encoder, and they are the same.
  • the embodiment of the present application can embed the prediction enhancement module into the full-network video encoding method in the related technology, and further enhance the predicted image features after the predicted image is generated by motion compensation, so as to generate enhanced target predicted image features; therefore, the method of the embodiment of the present application can be end-to-end trained together with the related technology without changing the training method of the related technology.
  • the generation of target prediction image features may not adopt a residual structure, and the final target prediction image features may be directly generated.
  • the process of correcting a reference image to a current predicted image using deformable convolution can be directly generated using convolution, that is, directly fusing the predicted image with features of a reference image reconstructed in the past, and using convolution to generate features of the final target predicted image.
  • the enhancement part here can also be described as adding a predicted image feature enhancement mode in the FVC scheme or other coding and decoding network scheme, that is, encoding a bit to represent the predicted image feature enhancement mode.
  • the encoding/decoding method of the embodiment of the present application can be used.
  • the embodiment of the present application proposes a prediction image generation method based on multi-image enhancement, which uses the reconstructed images of the past moments to enhance the prediction image of the current moment to improve the quality of the prediction image; the process includes correcting the reconstructed images of the past moments to the prediction images of the current moment, and then fusing the prediction images of the multi-image correction and the prediction images of the current moment to generate a higher quality prediction image.
  • the prediction enhancement technology of the embodiment of the present application can effectively improve the encoding and decoding efficiency after being embedded in the FVC scheme.
  • Table 1 shows the improvement effect of the prediction enhancement technology of the embodiment of the present application relative to the FVC scheme, which is specifically improved in bit rate saving ( Delta Bit Rate, BDBR).
  • BDBR Delta Bit Rate
  • the prediction enhancement technology here can be applied not only to the FVC scheme, but also to the DCVC scheme, and even to other video coding network schemes, and no limitation is made here.
  • the specific implementation of the aforementioned embodiment is elaborated in detail through the above embodiment. It can be seen that according to the technical solution of the aforementioned embodiment, the following technical problems are mainly solved here: on the one hand, in the process of generating traditional predicted image features, the motion vector representation (offset) of motion estimation is needed, and the motion vector representation (offset) needs to be compressed and transmitted to the decoding end. This process is a lossy process, so the reconstructed motion vector representation (offset) is distorted, and the corresponding generated predicted image features are distorted.
  • the embodiment of the present application can enhance the predicted image features by using the reconstructed image at the past moment, so as to improve the predicted image quality and reduce the distortion.
  • a single reference image cannot generate a predicted image of the current image well, such as an occlusion area caused by motion, but the occlusion area may be included in the past image, so the embodiment of the present application proposes that the use of the reconstructed image at the past moment can effectively improve the predicted image quality.
  • the high-quality predicted image not only the reconstructed image quality of the current image can be improved, but also the encoding and decoding efficiency can be improved, and the video encoding and decoding performance is also improved.
  • the encoder 210 may include: a first determination unit 2101 and a first enhancement unit 2102; wherein,
  • the first determining unit 2101 is configured to determine a reconstructed motion parameter of the current image; and determine an initial predicted image feature of the current image according to the reconstructed motion parameter;
  • the first enhancement unit 2102 is configured to enhance the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the residual image features of the current image.
  • the first determination unit 2101 is further configured to determine a first reference image; determine a first motion parameter based on the first reference image and the current image; and encode and decode the first motion parameter to determine a reconstructed motion parameter of the current image.
  • the encoder 210 may further include a first extraction unit 2103 and a motion estimation unit 2104; wherein:
  • the first extraction unit 2103 is configured to perform feature extraction on the current image and the first reference image respectively, and determine the current image feature and the first reference image feature;
  • the motion estimation unit 2104 is configured to perform motion estimation according to the first reference image feature and the current image feature to determine a first motion parameter.
  • the first extraction unit 2103 is further configured to perform feature extraction on the current image through a feature extraction module to obtain current image features; and perform feature extraction on the first reference image through a feature extraction module to obtain first reference image features.
  • the motion estimation unit 2104 is further configured to perform motion estimation on the first reference image feature and the current image feature through a motion parameter generation module to determine a first motion parameter.
  • the motion parameter generation module includes a third splicing module and a sixth convolution module; accordingly, the motion estimation unit 2104 is also configured to perform a splicing operation on the first reference image feature and the current image feature through the third splicing module to obtain an eighth intermediate feature; and perform a convolution operation on the eighth intermediate feature through the sixth convolution module to obtain the first motion parameter.
  • the encoder 210 may further include an encoding unit 2105 configured to encode and decode the first motion parameter through an autoencoder to determine a reconstructed motion parameter of the current image.
  • the autoencoder includes an encoding module and a decoding module; accordingly, the encoding unit 2105 is also configured to encode the first motion parameter through the encoding module of the autoencoder and write the obtained encoding bits into the bit stream; and decode the bit stream through the decoding module of the autoencoder to obtain the reconstructed motion parameter of the current image.
  • the encoder 210 may further include a first compensation unit 2106 ; wherein:
  • the first determining unit 2101 is further configured to determine a first reference image
  • the first extraction unit 2103 is further configured to perform feature extraction on the first reference image to determine features of the first reference image
  • the first compensation unit 2106 is configured to perform motion compensation according to the first reference image feature and the reconstructed motion parameter to determine the initial predicted image feature.
  • the first reference image is adjacent to the current image, and the first reference image is a previously recorded image of the current image. Create an image.
  • the first compensation unit 2106 is further configured to perform motion compensation on the first reference image features and the reconstructed motion parameters through a prediction feature generation module to determine an initial prediction image feature.
  • the prediction feature generation module includes a fourth convolution module, a second splicing module, a fifth convolution module and a third addition module; accordingly, the first compensation unit 2106 is also configured to perform a deformable convolution operation on the reconstructed motion parameter and the first reference image feature through the fourth convolution module to obtain a third intermediate feature; perform a splicing operation on the third intermediate feature and the first reference image feature through the second splicing module to obtain a fourth intermediate feature; perform a convolution operation on the fourth intermediate feature through the fifth convolution module to obtain a fifth intermediate feature; and perform an addition operation on the third intermediate feature and the fifth intermediate feature through the third addition module to obtain an initial predicted image feature.
  • the fourth convolution module includes a second deformable convolution layer; the second splicing module includes a second splicing layer; and the fifth convolution module includes a fifth convolution layer.
  • the first extraction unit 2103 is further configured to perform feature extraction on at least one reference image respectively to determine at least one reference image feature;
  • the first enhancement unit 2102 is further configured to enhance the initial predicted image feature according to at least one reference image feature to determine the target predicted image feature.
  • the first extraction unit 2103 is further configured to perform feature extraction on at least one reference image through a feature extraction module to determine at least one reference image feature.
  • At least one reference image includes a first reference image, a second reference image and a third reference image; accordingly, the first extraction unit 2103 is further configured to perform feature extraction on the first reference image through a feature extraction module to obtain first reference image features; perform feature extraction on the second reference image through a feature extraction module to obtain second reference image features; perform feature extraction on the third reference image through a feature extraction module to obtain third reference image features; and determine the first reference image features, the second reference image features and the third reference image features as at least one reference image feature.
  • the first reference image is a reconstructed image of the current image at a previous moment
  • the second reference image is a reconstructed image of the current image at two previous moments
  • the third reference image is a reconstructed image of the current image at three previous moments.
  • the first enhancement unit 2102 is further configured to perform an enhancement operation on at least one reference image feature and an initial predicted image feature through a prediction enhancement module to determine a target predicted image feature.
  • the prediction enhancement module includes a first convolution module, a first splicing module, a second convolution module and a first addition module; accordingly, the first enhancement unit 2102 is also configured to perform convolution operations on at least one reference image feature and an initial prediction image feature respectively through the first convolution module to obtain at least one correction feature; perform splicing operations on at least one correction feature and an initial prediction image feature through the first splicing module to obtain a spliced feature; perform convolution fusion processing on the spliced feature through the second convolution module to obtain a fused correction feature; and perform addition operations on the fused correction feature and the initial prediction image feature through the first addition module to obtain a target prediction image feature.
  • the first convolution module includes at least one convolution sub-module, and the number of the convolution sub-modules corresponds to the number of reference images in the at least one reference image.
  • the convolution submodule includes a first convolution layer and a first deformable convolution layer; the first splicing module includes a first splicing layer; and the second convolution module includes a second convolution layer.
  • the convolution submodule includes a first convolution layer; the first splicing module includes a first splicing layer; and the second convolution module includes a second convolution layer.
  • the feature extraction module includes a third convolution module, at least one residual module and a second addition module; accordingly, the first extraction unit 2103 is also configured to perform feature extraction on the first reference image through the third convolution module to obtain a first intermediate feature; perform feature extraction on the first intermediate feature through at least one residual module to obtain a second intermediate feature; and perform addition operation on the first intermediate feature and the second intermediate feature through the second addition module to obtain a first reference image feature.
  • the encoder 210 may further include a first reconstruction unit 2107; wherein:
  • the first determining unit 2101 is further configured to determine a reconstruction residual feature of the current image; and determine a reconstructed image feature according to the reconstruction residual feature and the target predicted image feature;
  • the first reconstruction unit 2107 is configured to perform feature enhancement and reconstruction processing on the reconstructed image features to determine a reconstructed image of the current image.
  • the first determining unit 2101 is further configured to determine a current image feature corresponding to the current image; and determine a residual image feature according to the current image feature and the target predicted image feature;
  • the encoding unit 2105 is further configured to encode and decode the residual image features to determine the reconstructed residual features of the current image.
  • the first determination unit 2101 is further configured to perform a subtraction operation on the current image feature and the target predicted image feature through a first subtraction module to obtain a residual image feature.
  • the encoding unit 2105 is further configured to encode the residual image features through the encoding module of the self-encoder, write the obtained encoding bits into the bit stream; and decode the bit stream through the decoding module of the self-encoder to obtain the current image. The reconstructed residual features.
  • the first determining unit 2101 is further configured to perform an addition operation on the reconstructed residual feature and the target predicted image feature through a fourth adding module to obtain the reconstructed image feature.
  • the first reconstruction unit 2107 is further configured to perform feature enhancement and reconstruction processing on the reconstructed image features through a reconstruction enhancement module to determine a reconstructed image of the current image.
  • the reconstruction enhancement module includes at least one residual module, a fifth addition module and a deconvolution module; accordingly, the first reconstruction unit 2107 is also configured to perform feature extraction on the reconstructed image features through at least one residual module to obtain a sixth intermediate feature; perform addition operation on the sixth intermediate feature and the reconstructed image feature through the fifth addition module to obtain a seventh intermediate feature; and perform deconvolution operation on the seventh intermediate feature through the deconvolution module to obtain a reconstructed image of the current image.
  • the first determining unit 2101 is further configured to determine a value of the first identification information
  • the encoding unit 2105 is further configured to encode the value of the first identification information through the encoding module of the autoencoder and write the obtained encoding bits into the bitstream; wherein the first identification information is used to indicate whether the current image uses the predicted image feature enhancement mode.
  • the first determination unit 2101 is further configured to determine that the value of the first identification information is a first value if the first identification information indicates that the current image uses a predicted image feature enhancement mode; if the first identification information indicates that the current image does not use a predicted image feature enhancement mode, determine that the value of the first identification information is a second value.
  • the first determination unit 2101 is further configured to perform a step of enhancing the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image if the first identification information indicates that the current image uses a predicted image feature enhancement mode.
  • the first determination unit 2101 is also configured to determine a preset network model; and perform end-to-end training on the preset network model to determine a target network model, and the target network model is used to encode and decode and reconstruct the current image; wherein the preset network model includes an initial network model and a prediction enhancement module, and the initial network model includes at least: a feature extraction module, a motion parameter generation module, an autoencoder, a prediction feature generation module and a reconstruction enhancement module.
  • a "unit” may be a part of a circuit, a part of a processor, a part of a program or software, etc., and of course, it may be a module, or it may be non-modular.
  • the components in the present embodiment may be integrated into a processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware or in the form of a software functional module.
  • the integrated unit is implemented in the form of a software function module and is not sold or used as an independent product, it can be stored in a computer-readable storage medium.
  • the technical solution of this embodiment is essentially or the part that contributes to the prior art or the whole or part of the technical solution can be embodied in the form of a software product.
  • the computer software product is stored in a storage medium, including several instructions for a computer device (which can be a personal computer, server, or network device, etc.) or a processor to perform all or part of the steps of the method described in this embodiment.
  • the aforementioned storage medium includes: U disk, mobile hard disk, read-only memory (ROM), random access memory (RAM), disk or optical disk, etc., which can store program code.
  • an embodiment of the present application provides a computer-readable storage medium, which is applied to the encoder 210.
  • the computer-readable storage medium stores a computer program, and when the computer program is executed by the first processor, the method described in any one of the aforementioned embodiments is implemented.
  • the encoder 210 may include: a first communication interface 2201, a first memory 2202 and a first processor 2203; each component is coupled together through a first bus system 2204. It can be understood that the first bus system 2204 is used to achieve connection and communication between these components.
  • the first bus system 2204 also includes a power bus, a control bus and a status signal bus. However, for the sake of clarity, various buses are marked as the first bus system 2204 in Figure 22. Among them,
  • the first communication interface 2201 is used for receiving and sending signals during the process of sending and receiving information with other external network elements;
  • a first memory 2202 used to store a computer program that can be run on the first processor 2203;
  • the first processor 2203 is configured to, when running the computer program, execute:
  • the initial predicted image features are enhanced according to at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the residual image features of the current image.
  • the first memory 2202 in the embodiment of the present application can be a volatile memory or a non-volatile memory, or can include both volatile and non-volatile memories.
  • the non-volatile memory can be a read-only memory (ROM), a programmable read-only memory (PROM), an erasable programmable read-only memory (EPROM), an electrically erasable programmable read-only memory (EEPROM), or a flash memory.
  • the volatile memory can be a random access memory (RAM), which is used as an external cache.
  • RAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous dynamic random access memory
  • DDRSDRAM double data rate synchronous dynamic random access memory
  • ESDRAM enhanced synchronous dynamic random access memory
  • SLDRAM synchronous link dynamic random access memory
  • DRRAM direct RAM bus random access memory
  • the first processor 2203 may be an integrated circuit chip with signal processing capabilities. In the implementation process, each step of the above method can be completed by the hardware integrated logic circuit or software instructions in the first processor 2203.
  • the above-mentioned first processor 2203 can be a general-purpose processor, a digital signal processor (Digital Signal Processor, DSP), an application-specific integrated circuit (Application Specific Integrated Circuit, ASIC), a field programmable gate array (Field Programmable Gate Array, FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the methods, steps and logic block diagrams disclosed in the embodiments of the present application can be implemented or executed.
  • the general-purpose processor can be a microprocessor or the processor can also be any conventional processor, etc.
  • the steps of the method disclosed in the embodiments of the present application can be directly embodied as a hardware decoding processor to execute, or the hardware and software modules in the decoding processor can be executed.
  • the software module can be located in a mature storage medium in the field such as a random access memory, a flash memory, a read-only memory, a programmable read-only memory or an electrically erasable programmable memory, a register, etc.
  • the storage medium is located in the first memory 2202, and the first processor 2203 reads the information in the first memory 2202 and completes the steps of the above method in combination with its hardware.
  • the processing unit can be implemented in one or more application specific integrated circuits (Application Specific Integrated Circuits, ASIC), digital signal processors (Digital Signal Processing, DSP), digital signal processing devices (DSP Device, DSPD), programmable logic devices (Programmable Logic Device, PLD), field programmable gate arrays (Field-Programmable Gate Array, FPGA), general processors, controllers, microcontrollers, microprocessors, other electronic units for performing the functions described in this application or a combination thereof.
  • ASIC Application Specific Integrated Circuits
  • DSP Digital Signal Processing
  • DSP Device digital signal processing devices
  • PLD programmable logic devices
  • FPGA field programmable gate array
  • general processors controllers, microcontrollers, microprocessors, other electronic units for performing the functions described in this application or a combination thereof.
  • the technology described in this application can be implemented by a module (such as a process, function, etc.) that performs the functions described in this application.
  • the software code can be stored in a memory and executed by a processor.
  • the memory can be implemented in the processor or outside the processor.
  • the first processor 2203 is further configured to execute the method described in any one of the aforementioned embodiments when running the computer program.
  • the present embodiment provides an encoder.
  • the encoder after determining the initial predicted image features of the current image based on the reconstructed motion parameters, the initial predicted image features can be enhanced using the reconstructed reference image, thereby improving the predicted image quality and reducing the predicted image distortion.
  • a single reference image cannot generate a predicted image well.
  • using at least one reconstructed reference image to enhance the initial predicted image features can further improve the predicted image quality, thereby improving the reconstructed image quality of the current image, and improving the encoding and decoding efficiency.
  • the decoder 230 may include: a decoding unit 2301, a second determining unit 2302, and a second enhancing unit 2303; wherein,
  • the decoding unit 2301 is configured to decode the bit stream and determine the reconstructed motion parameters of the current image
  • the second determining unit 2302 is configured to determine the initial predicted image features of the current image according to the reconstructed motion parameter
  • the second enhancement unit 2303 is configured to enhance the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the reconstructed image of the current image.
  • the decoder 230 may further include a second extraction unit 2304 configured to perform feature extraction on at least one reference image respectively to determine at least one reference image feature;
  • the second enhancement unit 2303 is further configured to enhance the initial predicted image feature according to at least one reference image feature to determine the target predicted image feature.
  • the second extraction unit 2304 is further configured to perform feature extraction on at least one reference image through a feature extraction module to determine at least one reference image feature.
  • At least one reference image includes a first reference image, a second reference image and a third reference image; accordingly, the second extraction unit 2304 is further configured to perform feature extraction on the first reference image through a feature extraction module to obtain first reference image features; perform feature extraction on the second reference image through a feature extraction module to obtain second reference image features; perform feature extraction on the third reference image through a feature extraction module to obtain third reference image features; and determine the first reference image features, the second reference image features and the third reference image features as at least one reference image feature.
  • the first reference image is a reconstructed image of the current image at a previous moment
  • the second reference image is a reconstructed image of the current image at two previous moments
  • the third reference image is a reconstructed image of the current image at three previous moments.
  • the second enhancement unit 2303 is further configured to enhance the at least one reference image feature and the initial image feature by using the prediction enhancement module.
  • the initial predicted image features are enhanced to determine the target predicted image features.
  • the prediction enhancement module includes a first convolution module, a first splicing module, a second convolution module and a first addition module; accordingly, the second enhancement unit 2303 is also configured to perform convolution operations on at least one reference image feature and an initial prediction image feature respectively through the first convolution module to obtain at least one correction feature; perform splicing operations on at least one correction feature and an initial prediction image feature through the first splicing module to obtain a spliced feature; perform convolution fusion processing on the spliced feature through the second convolution module to obtain a fused correction feature; and perform addition operations on the fused correction feature and the initial prediction image feature through the first addition module to obtain a target prediction image feature.
  • the first convolution module includes at least one convolution sub-module, and the number of the convolution sub-modules corresponds to the number of reference images in the at least one reference image.
  • the convolution submodule includes a first convolution layer and a first deformable convolution layer; the first splicing module includes a first splicing layer; and the second convolution module includes a second convolution layer.
  • the convolution submodule includes a first convolution layer; the first splicing module includes a first splicing layer; and the second convolution module includes a second convolution layer.
  • the feature extraction module includes a third convolution module, at least one residual module and a second addition module; accordingly, the second extraction unit 2304 is also configured to perform feature extraction on the first reference image through the third convolution module to obtain a first intermediate feature; perform feature extraction on the first intermediate feature through at least one residual module to obtain a second intermediate feature; and perform addition operation on the first intermediate feature and the second intermediate feature through the second addition module to obtain a first reference image feature.
  • the decoder may further include a second compensation unit 2305 ; wherein:
  • the second determining unit 2302 is further configured to determine a first reference image
  • the second extraction unit 2304 is further configured to perform feature extraction on the first reference image to determine features of the first reference image
  • the second compensation unit 2305 is configured to perform motion compensation according to the first reference image feature and the reconstructed motion parameter to determine the initial predicted image feature.
  • the first reference image is adjacent to the current image, and the first reference image is a reconstructed image of the current image at a previous moment.
  • the second compensation unit 2305 is further configured to perform motion compensation on the first reference image features and the reconstructed motion parameters through a prediction feature generation module to determine an initial prediction image feature.
  • the prediction feature generation module includes a fourth convolution module, a second splicing module, a fifth convolution module and a third addition module; accordingly, the second compensation unit 2305 is also configured to perform a deformable convolution operation on the reconstructed motion parameter and the first reference image feature through the fourth convolution module to obtain a third intermediate feature; perform a splicing operation on the third intermediate feature and the first reference image feature through the second splicing module to obtain a fourth intermediate feature; perform a convolution operation on the fourth intermediate feature through the fifth convolution module to obtain a fifth intermediate feature; and perform an addition operation on the third intermediate feature and the fifth intermediate feature through the third addition module to obtain an initial predicted image feature.
  • the fourth convolution module includes a second deformable convolution layer; the second splicing module includes a second splicing layer; and the fifth convolution module includes a fifth convolution layer.
  • the decoder may further include a second reconstruction unit 2306; wherein:
  • the decoding unit 2301 is further configured to decode the bitstream and determine the reconstructed residual features of the current image
  • the second determining unit 2302 is further configured to determine the reconstructed image feature according to the reconstructed residual feature and the target predicted image feature;
  • the second reconstruction unit 2306 is configured to perform feature enhancement and reconstruction processing on the reconstructed image features to determine a reconstructed image of the current image.
  • the second determining unit 2302 is further configured to perform an addition operation on the reconstructed residual feature and the target predicted image feature through a fourth adding module to obtain the reconstructed image feature.
  • the second reconstruction unit 2306 is further configured to perform feature enhancement and reconstruction processing on the reconstructed image features through a reconstruction enhancement module to determine a reconstructed image of the current image.
  • the reconstruction enhancement module includes at least one residual module, a fifth addition module and a deconvolution module; accordingly, the second reconstruction unit 2306 is also configured to perform feature extraction on the reconstructed image features through at least one residual module to obtain a sixth intermediate feature; perform addition operation on the sixth intermediate feature and the reconstructed image feature through the fifth addition module to obtain a seventh intermediate feature; and perform deconvolution operation on the seventh intermediate feature through the deconvolution module to obtain a reconstructed image of the current image.
  • the decoding unit 2301 is configured to decode the code stream and determine the value of the first identification information
  • the second determination unit 2302 is further configured to perform a step of enhancing the initial predicted image features according to at least one reference image to determine the target predicted image features of the current image if the first identification information indicates that the current image uses a predicted image feature enhancement mode.
  • the second determination unit 2302 is further configured to, if the value of the first identification information is a first value, determine that the first identification information indicates that the current image uses a predicted image feature enhancement mode; if the value of the first identification information is a second value, determine that the first identification information indicates that the current image does not use a predicted image feature enhancement mode.
  • the second determining unit 2302 is further configured to determine a preset network model; and End-to-end training is performed to determine the target network model, which is used to encode and decode the current image for reconstruction operations; wherein the preset network model includes an initial network model and a prediction enhancement module, and the initial network model includes at least: a feature extraction module, a motion parameter generation module, an autoencoder, a prediction feature generation module and a reconstruction enhancement module.
  • a "unit" can be a part of a circuit, a part of a processor, a part of a program or software, etc., and of course it can also be a module, or it can be non-modular.
  • the components in this embodiment can be integrated into a processing unit, or each unit can exist physically separately, or two or more units can be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or in the form of a software functional module.
  • the integrated unit is implemented in the form of a software function module and is not sold or used as an independent product, it can be stored in a computer-readable storage medium.
  • this embodiment provides a computer-readable storage medium, which is applied to the decoder 230, and the computer-readable storage medium stores a computer program. When the computer program is executed by the second processor, the method described in any one of the above embodiments is implemented.
  • the decoder 230 may include: a second communication interface 2401, a second memory 2402 and a second processor 2403; each component is coupled together through a second bus system 2404. It can be understood that the second bus system 2404 is used to achieve connection and communication between these components.
  • the second bus system 2404 also includes a power bus, a control bus and a status signal bus. However, for the sake of clarity, various buses are marked as the second bus system 2404 in Figure 24. Among them,
  • the second communication interface 2401 is used for receiving and sending signals during the process of sending and receiving information with other external network elements;
  • the second memory 2402 is used to store a computer program that can be run on the second processor 2403;
  • the second processor 2403 is configured to, when running the computer program, execute:
  • the initial predicted image features are enhanced according to at least one reference image to determine the target predicted image features of the current image; wherein the target predicted image features are used to determine the reconstructed image of the current image.
  • the second processor 2403 is further configured to execute any one of the methods described in the foregoing embodiments when running the computer program.
  • the present embodiment provides a decoder.
  • the initial predicted image features can be enhanced using the reconstructed reference image, thereby improving the predicted image quality and reducing the predicted image distortion.
  • a single reference image cannot generate a predicted image well.
  • using at least one reconstructed reference image to enhance the initial predicted image features can further improve the predicted image quality, thereby improving the reconstructed image quality of the current image, and improving the encoding and decoding efficiency.
  • Figure 25 shows a schematic diagram of the composition structure of a coding and decoding system provided in an embodiment of the present application.
  • the coding and decoding system 250 may include an encoder 2501 and a decoder 2502.
  • the encoder 2501 may be the encoder described in any one of the aforementioned embodiments
  • the decoder 2502 may be the decoder described in any one of the aforementioned embodiments.
  • the initial predicted image features of the current image are determined according to the reconstructed motion parameters; then the initial predicted image features are enhanced according to at least one reference image to determine the target predicted image features of the current image; wherein, at the encoding end, the target predicted image features are used to determine the residual image features of the current image; and then transmitted to the decoding end through the code stream, so that the decoding end can determine the reconstructed image of the current image according to the residual image features and the target predicted image features.
  • the initial predicted image features can be enhanced using the reconstructed reference image, thereby improving the quality of the predicted image and reducing the distortion of the predicted image; in addition, due to reasons such as the occlusion area caused by the motion, a single reference image cannot generate a predicted image well.
  • the initial predicted image features are enhanced using at least one reconstructed reference image, which can further improve the quality of the predicted image, and further improve the quality of the reconstructed image of the current image, and improve the coding and decoding efficiency.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种编解码方法、码流、编码器、解码器以及存储介质，应用于解码器，该方法包括：解码码流，确定当前图像的重建运动参量；根据重建运动参量，确定当前图像的初始预测图像特征；根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的重建图像。这样，根据目标预测图像特征可以提升预测图像质量，进而能够提升编解码效率。

Description

编解码方法、码流、编码器、解码器以及存储介质 技术领域
本申请实施例涉及视频编解码技术领域，尤其涉及一种编解码方法、码流、编码器、解码器以及存储介质。
背景技术
在基于深度学习的视频编码中，目前主要存在两种技术方案，分别为基于特征空间的视频编码网络(Feature-space Video Coding network，FVC)方案和基于上下文的视频编码压缩(Deep Contextual Video Compression，DCVC)方案。
以FVC方案为例，在运动估计的过程中，可以利用可变形卷积生成运动矢量表示----偏移量。但是，由于针对偏移量的压缩为有损过程，导致重建的运动矢量表示(偏移量)存在失真；而且基于单个参考图像的运动估计并不能较好地预测当前图像，从而降低了视频编解码效率。
发明内容
本申请实施例提供一种编解码方法、码流、编码器、解码器以及存储介质，可以提升预测图像质量，从而能够提升编解码效率。
本申请实施例的技术方案可以如下实现：
第一方面，本申请实施例提供了一种解码方法，应用于解码器，该方法包括：
解码码流，确定当前图像的重建运动参量；
根据重建运动参量，确定当前图像的初始预测图像特征；
根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的重建图像。
第二方面，本申请实施例提供了一种编码方法，应用于编码器，该方法包括：
确定当前图像的重建运动参量；
根据重建运动参量，确定当前图像的初始预测图像特征；
根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的残差图像特征。
第三方面，本申请实施例提供了一种码流，该码流是根据待编码信息进行比特编码生成的；其中，待编码信息包括下述至少一项：
当前图像的第一运动参量、残差图像特征和第一标识信息的取值；其中，第一标识信息用于指示当前图像是否使用预测图像特征增强模式。
第四方面，本申请实施例提供了一种编码器，该编码器包括第一确定单元和第一增强单元；其中，
第一确定单元，配置为确定当前图像的重建运动参量；以及根据重建运动参量，确定当前图像的初始预测图像特征；
第一增强单元，配置为根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的残差图像特征。
第五方面，本申请实施例提供了一种编码器，该编码器包括第一存储器和第一处理器；其中，
第一存储器，用于存储能够在第一处理器上运行的计算机程序；
第一处理器，用于在运行计算机程序时，执行如第二方面所述的方法。
第六方面，本申请实施例提供了一种解码器，该解码器包括解码单元、第二确定单元和第二增强单元；其中，
解码单元，配置为解码码流，确定当前图像的重建运动参量；
第二确定单元，配置为根据重建运动参量，确定当前图像的初始预测图像特征；
第二增强单元，配置为根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的重建图像。
第七方面，本申请实施例提供了一种解码器，该解码器包括第二存储器和第二处理器；其中，
第二存储器，用于存储能够在第二处理器上运行的计算机程序；
第二处理器，用于在运行计算机程序时，执行如第一方面所述的方法。
第八方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现如第一方面所述的方法、或者实现如第二方面所述的方法。
本申请实施例提供了一种编解码方法、码流、编码器、解码器以及存储介质，无论是编码端还是解码端，在确定当前图像的重建运动参量之后，根据重建运动参量，确定当前图像的初始预测图像特征；然后再根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，在编码端，目标预测图像特征用于确定当前图像的残差图像特征；然后通过码流传输到解码端，以使得解码端根据残差图像特征和目标预测图像特征能够确定出当前图像的重建图像。这样，根据重建运动参量确定出当前图像的初始预测图像特征之后，可以利用已经重建的参考图像对初始预测图像特征进行增强处理，从而能够提升预测图像质量，减少预测图像失真；另外，由于运动产生的遮挡区域等原因，单一的参考图像并不能较好地生成预测图像，这时候利用已经重建的至少一个参考图像对初始预测图像特征进行增强处理，能够进一步提升预测图像质量，进而还能够提升当前图像的重建图像质量，并且提升了编解码效率。
附图说明
图1为一种FVC编码框架的组成结构示意图；
图2为一种FVC解码框架的组成结构示意图；
图3为本申请实施例提供的一种解码方法的流程示意图；
图4为本申请实施例提供的一种预测增强模块的组成结构示意图；
图5为本申请实施例提供的一种预测增强模块的具体结构示意图；
图6为本申请实施例提供的一种特征提取模块的组成结构示意图；
图7为本申请实施例提供的一种残差模块的组成结构示意图；
图8为本申请实施例提供的一种预测特征生成模块的组成结构示意图；
图9为本申请实施例提供的一种预测特征生成模块的详细结构示意图；
图10为本申请实施例提供的另一种解码方法的流程示意图；
图11为本申请实施例提供的一种重建增强模块的组成结构示意图；
图12为本申请实施例提供的一种编码方法的流程示意图；
图13为本申请实施例提供的一种运动参量生成模块的组成结构示意图；
图14为本申请实施例提供的一种运动参量生成模块的详细结构示意图；
图15为本申请实施例提供的一种自编码器的编码模块的组成结构示意图；
图16为本申请实施例提供的一种自编码器的解码模块的组成结构示意图；
图17为本申请实施例提供的一种视频编解码的网络架构示意图；
图18为本申请实施例提供的一种编码器的详细框架示意图；
图19为本申请实施例提供的另一种预测增强模块的具体结构示意图；
图20为本申请实施例提供的一种解码器的详细框架示意图；
图21为本申请实施例提供的一种编码器的组成结构示意图；
图22为本申请实施例提供的一种编码器的具体硬件结构示意图；
图23为本申请实施例提供的一种解码器的组成结构示意图；
图24为本申请实施例提供的一种解码器的具体硬件结构示意图；
图25为本申请实施例提供的一种编解码系统的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象，不代表针对对象的特 定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
在基于深度学习的视频编码中，目前主要存在两种技术方案，分别为基于特征空间的视频编码网络(Feature-space Video Coding network，FVC)方案和基于上下文的视频编码压缩(Deep Contextual Video Compression，DCVC)方案。其中，FVC方案与DCVC方案的运动估计方式不同，前者是一种基于可变形卷积的运动估计方式，后者是一种基于光流的运动估计方式。但是它们整体的编码方式基本一致。在本申请实施例中，这里主要提供一种基于FVC方案的编解码方法。
图1为一种FVC编码框架的组成结构示意图。如图1所示，FVC编码框架主要包括：特征提取模块101、运动估计模块102、运动压缩模块103、运动补偿模块104、残差压缩模块105、熵编码模块106、特征增强及重建模块107、减法器108和加法器109。首先，通过特征提取模块101对当前图像(待编码图像)和重建图像(已编码图像，用于作参考)进行特征提取，获得Ft和然后两者进入运动估计模块102获得运动参量θt；在运动压缩模块103中，使用自编码器的编码模块和熵编码模块106对运动参量θt进行编码，产生比特流Mt送往解码端，并通过自编码器的解码模块对Mt进行解码重建获得用于运动补偿模块104。这里，运动补偿过程即为利用运动参量对重建图像(参考图像)特征进行变形，生成预测图像特征；然后通过减法器108对当前图像特征和预测图像特征进行减法运算获得残差图像特征Rt；在残差压缩模块105中，残差图像特征Rt进一步经过自编码器的编码模块和熵编码模块106产生比特流Yt送往解码端，并通过自编码器的解码模块对Yt进行解码重建获得重建残差再通过加法器109对重建残差与预测图像特征进行加和生成并经过特征增强及重建模块107生成最终的重建图像其中，重建图像可以存储在解码图像缓冲区中便于后续图像参考使用。
具体地，对于图1所示FVC方案的运动估计模块，可以利用可变形卷积生成运动矢量表示方式----偏移量(offset)，然后对偏移量进行基于自编码器的编码模块和熵编码模块的编码，生成码流(也可称为“比特流”)，码流进行熵解码和自编码器的解码模块生成重建偏移量，该重建偏移量利用可变形卷积和参考图像特征生成预测图像特征(即运动补偿)，然后与当前图像特征进行减法运算，生成残差图像特征，再进行下一步的量化和编码。
图2为一种FVC解码框架的组成结构示意图。如图2所示，FVC编码框架主要包括：特征提取模块201、运动压缩模块202、运动补偿模块203、残差压缩模块204、熵解码模块205、特征增强及重建模块206和加法器207。首先，通过特征提取模块201对重建图像(已解码图像，用于作参考)进行特征提取，获得以及在运动压缩模块202中，通过熵解码模块205和自编码器的解码模块对Mt进行解码重建获得运动参量这里，运动参量可以用于运动补偿模块203，该运动补偿过程即为利用对重建图像(参考图像)特征进行变形，生成预测图像特征；在残差压缩模块204中，通过熵解码模块205和自编码器的解码模块对Yt进行解码重建获得重建残差最后通过加法器207对重建残差与预测图像特征进行加和生成并经过特征增强及重建模块206生成最终的重建图像其中，重建图像可以存储在解码图像缓冲区中便于后续图像参考使用。
简单来说，在上述运动估计和运动补偿生成参考图像过程中，运动矢量表示(偏移量)的压缩为有损过程，因此重建的运动矢量表示(偏移量)存在有失真；其次，基于单参考图像的运动估计不能生成高质量的参考图像，即相比于多参考图像预测，只有一个参考图像不能有效地预测当前图像；从而降低了视频编解码效率。
基于此，本申请实施例提供了一种编码方法，首先确定当前图像的重建运动参量；然后根据重建运动参量，确定当前图像的初始预测图像特征；再根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的残差图像特征。
本申请实施例还提供了一种解码方法，首先解码码流，确定当前图像的重建运动参量；然后根据重建运动参量，确定当前图像的初始预测图像特征；再根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的重建图像。
这样，根据重建运动参量确定出当前图像的初始预测图像特征后，可以利用已经重建的参考图像对初始预测图像特征进行增强处理，从而能够提升预测图像质量，减少预测图像失真；另外，由于运动产生的遮挡区域等原因，单一的参考图像并不能较好地生成预测图像，这时候利用已经重建的至少一个参考图像对初始预测图像特征进行增强处理，能够进一步提升预测图像质量，进而还能够提升当前图像的重建图像质量，并且提升了编解码效率。
下面将结合附图对本申请各实施例进行详细说明。
在本申请的一实施例中，参见图3，其示出了本申请实施例提供的一种解码方法的流程示意图。如图3所示，该方法可以包括：
S301：解码码流，确定当前图像的重建运动参量。
需要说明的是，本申请实施例的解码方法应用于解码器。另外，该解码方法具体可以是指一种基于多图像增强的预测图像生成方法，而且该方法嵌入在视频编码的环路内，无论是编码端还是解码端都可以将传统运动补偿方式生成的预测图像特征结合多个已经重建的参考图像进行增强，从而能够提升预测图像质量。
还需要说明的是，在本申请实施例中，当前图像的重建运动参量可以用表示。由于重建运动参量已经写入码流；那么在解码端，可以通过解码码流来获得当前图像的重建运动参量
可以理解，解码器至少包括熵解码器和自编码器的解码模块。在一些实施例中，解码码流，确定当前图像的重建运动参量，可以包括：
通过熵解码器解码码流，确定第一解码特征；
通过自编码器的解码模块对第一解码特征进行解码处理，确定当前图像的重建运动参量。
在本申请实施例中，第一解码特征可以用Mt表示。首先对运动参考比特流进行熵解码，获取其对应的第一解码特征Mt；然后经过自编码器的解码部分就可以获取到重建运动参量示例性地，解码过程如下所示：
其中，fdecoder(*)表示运动参量自编码器的解码模块，以实现对第一解码特征Mt的解码处理。
S302：根据重建运动参量，确定当前图像的初始预测图像特征。
S303：根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的重建图像。
需要说明的是，在本申请实施例中，在得到重建运动参量之后，可以用于确定当前图像的初始预测图像特征；然后根据至少一个参考图像对初始预测图像特征进行增强处理，从而能够获得高质量的重建图像。
在一些实施例中，根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征，可以包括：
对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征；
根据至少一个参考图像特征对初始预测图像特征进行增强处理，确定目标预测图像特征。
还需要说明的是，在本申请实施例中，至少一个参考图像均为已重建图像，而且这些参考图像可以为当前图像在前m个时刻的已重建图像，m为大于或等于1的整数。
还需要说明的是，在本申请实施例中，每一个参考图像可以对应提取一个参考图像特征，然后利用这些参考图像特征对初始预测图像特征进行增强处理。其中，增强处理可以是由预测增强模块来实现。在一些实施例中，根据至少一个参考图像特征对初始预测图像特征进行增强处理，确定目标预测图像特征，可以包括：通过预测增强模块对至少一个参考图像特征和初始预测图像特征进行增强操作，确定目标预测图像特征。
可以理解地，在本申请实施例中，预测增强模块可以为多参考图像增强的目标预测图像特征生成的网络结构。其中，预测增强模块包括第一卷积模块、第一拼接模块、第二卷积模块和第一加法模块。相应地，在一些实施例中，通过预测增强模块对至少一个参考图像特征和初始预测图像特征进行增强操作，确定目标预测图像特征，可以包括：
通过第一卷积模块对至少一个参考图像特征和初始预测图像特征分别进行卷积操作，得到至少一个校正特征；
通过第一拼接模块对至少一个校正特征与初始预测图像特征进行拼接操作，得到拼接特征；
通第二卷积模块对拼接特征进行卷积融合处理，得到融合校正特征；
通过第一加法模块对融合校正特征与初始预测图像特征进行加法运算，得到目标预测图像特征。
需要说明的是，在本申请实施例中，第一卷积模块可以包括至少一个卷积子模块，卷积子模块的数量与至少一个参考图像中的参考图像数量具有对应关系。
也就是说，在本申请实施例中，每一个卷积子模块可以对参考图像特征和初始预测图像特征进行卷积操作，得到对应的校正特征；然后再由第一拼接模块将这些校正特征与初始预测图像特征进行拼接操作，再由第二卷积模块对拼接特征进行卷积融合，得到融合校正特征；最后再由第一加法模块对融合校正特征与初始预测图像特征进行求和计算，得到目标预测图像特征。
示例性地，图4为本申请实施例提供的一种预测增强模块的组成结构示意图。如图4所示，预测增强模块可以包括第一卷积模块401、第一拼接模块402、第二卷积模块403和第一加法模块404。其中，第一卷积模块401包括卷积子模块1、卷积子模块2、…、卷积子模块n，n为大于或等于1的整数。
在图4中，初始预测图像特征可以用Pt表示，第一参考图像特征可以用表示，第二参考图像特 征可以用表示，第n参考图像特征可以用表示。具体地，卷积子模块1用于对和Pt进行卷积操作，生成第一校正特征，用Pt-1表示；卷积子模块2用于对和Pt进行卷积操作，生成第二校正特征，用Pt-2表示；卷积子模块n用于对和Pt进行卷积操作，生成第n校正特征，用Pt-n表示；然后由第一拼接模块402对Pt、Pt-1、Pt-2、…、Pt-n进行拼接操作，再由第二卷积模块403进行卷积融合，可以生成融合校正特征，用表示；最后使用残差结构，由第一加法模块404对Pt和进行加法运算，可以得到最终的目标预测图像特征，用表示。
在一种具体的实现方式中，卷积子模块可以包括第一卷积层和第一可变形卷积层；第一拼接模块可以包括第一拼接层；第二卷积模块可以包括第二卷积层。
示例性地，图5为本申请实施例提供的一种预测增强模块的具体结构示意图。如图5所示，在第一卷积模块401中，每一个卷积子模块均是由第一卷积层与第一可变形卷积层组成；第一拼接模块402可以是由第一拼接层组成，第二卷积模块403是由第二卷积层组成。其中，第一可变形卷积层可以用Deformable Conv表示；第一拼接层可以用Cat表示；第一卷积层与第二卷积层的卷积参数可以相同，也可以不同。例如，第一卷积层的通道数设置为64，卷积核大小为3×3，步长设置为1，即第一卷积层可以用Conv(64,3,1)表示；第二卷积层的通道数设置为64，卷积核大小为1×1，步长设置为1，即第二卷积层可以用Conv(64,1,1)表示。
在本申请实施例中，对于卷积子模块而言，可以是将初始预测图像特征与参考图像特征进行拼接操作，再通过第一卷积层以及相应的激活函数，可以生成参考图像特征与初始预测图像特征之间的偏移量，具体过程如下所示：
在获取到偏移量之后，可以通过第一可变形卷积层进行可变形卷积操作，将过去时刻的已重建图像生成对应的校正特征，具体过程如下所示：
将生成的至少一个校正特征与初始预测图像特征进行拼接操作，并经过第二卷积层进行卷积融合处理，最终可以生成融合校正特征，具体过程如下所示：
最后，采用残差结构，将融合校正特征与初始预测图像特征进行加法运算，可以生成最终的目标预测图像特征，具体过程如下所示：
在另一种具体的实现方式中，卷积子模块可以包括第一卷积层；第一拼接模块可以包括第一拼接层；第二卷积模块可以包括第二卷积层。
也就是说，在本申请实施例中，对于每一个卷积子模块，利用可变形卷积层将参考图像特征校正到当前预测图像的过程可以直接用卷积生成，即这里可以省去第一可变形卷积层。这时候，直接将初始预测图像特征和过去时刻的参考图像特征进行融合，然后利用卷积生成最终的目标预测图像特征。
需要说明的是，在本申请实施例中，无论是第一卷积模块、第一拼接模块还是第二卷积模块，对其具体的内部结构并不作限定。例如，第一卷积层的数量可以是至少一个，第二卷积层的数量也可以是至少一个，而且这些卷积层的卷积参数(例如卷积核大小、通道数等)可以相同，也可以不同；这里对此均不作任何限定。
还需要说明的是，在本申请实施例中，目标预测图像特征的生成也可以不采用残差结构，直接生成最终的目标预测图像特征。具体地，在生成目标预测图像特征时，可以使用残差结构的形式，将初始预测图像特征和利用至少一个参考图像增强后的融合校正特征进行加法运算；但是这里也可以不使用加法运算，直接将两者拼接在一起生成最终的目标预测图像特征。也就是说，这里可以不需要第一加法模块，对此并不作任何限定。
还可以理解地，在本申请实施例中，这里是根据至少一个参考图像特征进行增强处理的，那么首先需要提取每一个参考图像对应的参考图像特征。在一些实施例中，对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征，可以包括：通过特征提取模块对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征。
也就是说，对于特征提取可以是由特征提取模块来实现。这至少一个参考图像可以使用相同的特征提取模块。示例性地，以三个参考图像为例，例如第一参考图像、第二参考图像和第三参考图像。在一些实施例中，通过特征提取模块对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征，可以包括：
通过特征提取模块对第一参考图像进行特征提取，得到第一参考图像特征；
通过特征提取模块对第二参考图像进行特征提取，得到第二参考图像特征；
通过特征提取模块对第三参考图像进行特征提取，得到第三参考图像特征；
将第一参考图像特征、第二参考图像特征和第三参考图像特征确定为至少一个参考图像特征。
需要说明的是，在本申请实施例中，如果使用三个参考图像对初始预测图像特征进行增强处理，那么具体可以是使用第一参考图像特征、第二参考图像特征和第三参考图像特征对初始预测图像特征进行增强处理，以生成目标预测图像特征。
在一种具体的实施例中，第一参考图像为当前图像在前一个时刻的已重建图像；第二参考图像为当前图像在前两个时刻的已重建图像；第三参考图像为当前图像在前三个时刻的已重建图像。
在本申请实施例中，第一参考图像可以用表示，第一参考图像特征可以用表示；第二参考图像可以用表示，第二参考图像特征可以用表示；第三参考图像可以用表示，第三参考图像特征可以用表示。具体地，特征提取过程如下所示：
其中，ffeat(*)表示特征提取模块，用于对至少一个参考图像分别进行特征提取。
还需要说明的是，在本申请实施例中，参考图像特征的数量可以是1个、2个、3个，甚至是更多个；这里仅是用三个参考图像来提取对应的参考图像特征作为一种示例，但是关于参考图像以及参考图像特征的具体数量并不作任何限定。
可以理解地，在本申请实施例中，特征提取模块为用于实现图像特征提取的网络结构，也可以称为“特征提取网络”。其中，特征提取模块包括第三卷积模块、至少一个残差模块和第二加法模块。以第一参考图像的特征提取为例，相应地，在一些实施例中，通过特征提取模块对第一参考图像进行特征提取，得到第一参考图像特征，可以包括：
通过第三卷积模块对第一参考图像进行特征提取，得到第一中间特征；
通过至少一个残差模块对第一中间特征进行特征提取，得到第二中间特征；
通过第二加法模块对第一中间特征和第二中间特征进行加法运算，得到第一参考图像特征。
需要说明的是，在本申请实施例中，第三卷积模块可以包括第三卷积层。其中，关于第三卷积模块的内部结构以及第三卷积层的具体数量，这里不作任何限定。另外，对于特征提取模块而言，残差模块的数量可以为三个，但是也可以为其他数量。其中，关于残差模块的具体数量，这里也不作任何限定。
示例性地，图6为本申请实施例提供的一种特征提取模块的组成结构示意图。如图6所示，特征提取模块可以包括第三卷积模块601、三个残差模块602和第二加法模块603。其中，第三卷积模块601可以包括第三卷积层，用Conv(64,5,2)表示；残差模块可以用Resblock(64,3)表示。这样，以第一参考图像为例，首先将第一参考图像输入到第三卷积模块601中，可以得到第一中间特征；然后利用三个残差模块602对第一中间特征依次进行特征提取，可以得到第二中间特征；再由第二加法模块603对第一中间特征和第二中间特征进行加法运算，就可以得到第一参考图像特征。
进一步地，残差模块可以是基于残差结构的卷积块，属于基础组成模块。在一些实施例中，残差模块可以是由至少一个残差卷积层和至少一个激活层组成。其中，激活层可以是非线性的激活函数，激活函数是用来加入非线性因素，解决线性模型所不能解决的问题，如此对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。示例性地，激活函数可以是Sigmoid函数、Tanh函数和修正线性单元(The Rectified Linear Unit，ReLU)函数等，在本申请实施例中，可以使用ReLU函数作为激活层，但是并不作任何限定。
另外，残差模块中可以仅包括一个残差卷积层，也可以包括两个或更多个残差卷积层。示例性地，图7为本申请实施例提供的一种残差模块的组成结构示意图。如图7所示，残差模块可以包括第一残差卷积层701、第一激活层702和第二残差卷积层703。其中，第一残差卷积层和第二残差卷积层均可以用Conv(N,K,1)表示，第一激活层可以用ReLU表示。
在这里，第一残差卷积层701和第二残差卷积层703的卷积参数(例如卷积核大小、通道数等)可以相同，也可以不同。具体地，对于第一残差卷积层701和第二残差卷积层703来说，通道数可以设置为N，卷积核大小可以为K×K，N和K均为正整数。但需要注意的是，对于第一残差卷积层和第二残差卷积层的卷积核大小和通道数并非是固定设计，这里是可以调整的，具体数值并不作任何限定。
还可以理解，对于当前图像的初始预测图像特征而言，在一些实施例中，根据重建运动参量，确定当前图像的初始预测图像特征，可以包括：
确定第一参考图像；
对第一参考图像进行特征提取，确定第一参考图像特征；
根据第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征。
在本申请实施例中，第一参考图像可以与当前图像相邻，而且第一参考图像为当前图像在前一个时刻的已重建图像。也就是说，如果当前图像为Xt，那么第一参考图像可以为t为正整数。
在本申请实施例中，关于第一参考图像的特征提取，可以是通过特征提取模块来实现。在一些实施例中，对第一参考图像进行特征提取，确定第一参考图像特征，可以包括：通过特征提取模块对第一参考图像进行特征提取，确定第一参考图像特征。其中，特征提取模块可以包括第三卷积模块、至少一个残差模块和第二加法模块，具体的组成结构可以参见图6。
在一些实施例中，在提取得到第一参考图像特征之后，根据第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征，可以包括：通过预测特征生成模块对第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征。
可以理解地，在本申请实施例中，预测特征生成模块为用于实现初始预测图像特征生成的网络结构，也可以称为“预测图像特征生成网络”。其中，预测特征生成模块包括第四卷积模块、第二拼接模块、第五卷积模块和第三加法模块。相应地，在一些实施例中，通过预测特征生成模块对第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征，可以包括：
通过第四卷积模块对重建运动参量与第一参考图像特征进行可变形卷积操作，得到第三中间特征；
通过第二拼接模块对第三中间特征与第一参考图像特征进行拼接操作，得到第四中间特征；
通过第五卷积模块对第四中间特征进行卷积操作，得到第五中间特征；
通过第三加法模块对第三中间特征和第五中间特征进行加法运算，得到初始预测图像特征。
需要说明的是，在本申请实施例中，第四卷积模块可以包括第二可变形卷积层；第二拼接模块可以包括第二拼接层；第五卷积模块可以包括第五卷积层。
还需要说明的是，在本申请实施例中，无论是第四卷积模块、第二拼接模块还是第五卷积模块，对其具体的内部结构并不作限定。例如，第二可变形卷积层的数量可以是至少一个，第五卷积层的数量也可以是至少一个，而且这些卷积层的卷积参数(例如卷积核大小、通道数等)可以相同，也可以不同；这里对此均不作任何限定。
示例性地，图8为本申请实施例提供的一种预测特征生成模块的组成结构示意图。如图8所示，预测特征生成模块可以包括第四卷积模块801、第二拼接模块802、第五卷积模块803和第三加法模块804。其中，首先将重建运动参量与第一参考图像特征输入到第四卷积模块801进行可变形卷积操作，得到第三中间特征；然后由第二拼接模块802对第三中间特征与第一参考图像特征进行拼接操作，再继续经过第五卷积模块803进行卷积操作，可以得到第五中间特征；最后由第三加法模块804对第三中间特征和第五中间特征进行加法运算，得到当前图像的初始预测图像特征Pt。
示例性地，图9为本申请实施例提供的一种预测特征生成模块的详细结构示意图。如图9所示，第四卷积模块801可以是由第二可变形卷积层组成，第二拼接模块802可以是由第二拼接层组成，第五卷积模块803可以是由两个第五卷积层组成。其中，第二可变形卷积层可以用Deformable Conv表示；第二拼接层可以用Cat表示；第五卷积层可以用Conv(64,3,1)表示，具体为：通道数设置为64，卷积核大小可以为3×3，步长设置为1。但需要注意的是，对于第五卷积层的卷积参数(例如卷积核大小、通道数等)并非是固定设计，这里是可以调整的，具体数值并不作任何限定。
在这里，利用第二可变形卷积层对重建运动参量与第一参考图像特征进行卷积操作，最终可以生成初始预测图像特征Pt(即运动补偿)，体过程如下所示：
其中，Dconv(*)为第四卷积模块801的第二可变形卷积层，为第五卷积模块803的两层卷积网络增强特征，最终能够生成初始预测图像特征Pt。
需要说明的是，在本申请实施例中，无论是特征提取模块，还是预测增强模块或者预测特征生成模块等等，这里给出的组成结构仅是一种示例；本领域技术人员可知，对于这些模块的内部结构，并不局限于此。
这样，在本申请实施例中，根据至少一个参考图像对应提取到至少一个参考图像特征，将运动补偿生成的初始预测图像特征与这至少一个参考图像特征分别拼接并生成可变形卷积的偏移量，然后利用可变形卷积处理参考图像特征，生成该参考图像特征对应的校正特征(也可称为“补偿特征”)。这些补偿特征与初始预测图像特征进行拼接以及卷积融合处理后，可以得到融合校正特征；将所得到的融合校正特征与初始预测图像特征进行加法运算，能够生成最终的目标预测图像特征即利用补偿特征校正当前的初始预测图像特征。
进一步地，在得到目标预测图像特征之后，根据目标预测图像特征可以确定出当前图像的重建图像。在一些实施例中，参见图10，该方法可以包括：
S1001：解码码流，确定当前图像的重建残差特征。
需要说明的是，在本申请实施例中，解码器至少包括熵解码器和自编码器的解码模块。相应地，在一些实施例中，解码码流，确定当前图像的重建残差特征，可以包括：
通过熵解码器解码码流，确定第二解码特征；
通过自编码器的解码模块对第二解码特征进行解码处理，确定当前图像的重建残差特征。
在本申请实施例中，第二解码特征可以用Yt表示。首先对残差参考比特流进行熵解码，获取其对应的第二解码特征Yt；然后经过自编码器的解码部分就可以获取到重建残差特征示例性地，解码过程如下所示：
其中，fdecoder_R(*)表示残差自编码器的解码模块，以实现对第二解码特征Yt的解码处理。
S1002：根据重建残差特征和目标预测图像特征，确定重建图像特征。
S1003：对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像。
需要说明的是，在本申请实施例中，根据所得到的重建残差特征和目标预测图像特征，能够确定出重建图像特征。在一些实施例中，对于重建图像特征的确定，可以包括：对重建残差特征和目标预测图像特征进行加法运算，得到重建图像特征。
在一种具体的实施例中，根据重建残差特征和目标预测图像特征，确定重建图像特征，可以包括：通过第四加法模块对重建残差特征和目标预测图像特征进行加法运算，得到重建图像特征。在这里，通过第四加法模块对重建残差特征和目标预测图像特征进行加和生成重建图像特征。对于解码端而言，本申请实施例的第四加法模块可以是图2中的加法器207。
进一步地，根据重建图像特征可以重构当前图像的重建图像。在一些实施例中，对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像，可以包括：通过重建增强模块对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像。
还需要说明的是，在本申请实施例中，重建增强模块为用于实现特征增强和重建的网络结构，也可以称为“增强重建网络”。其中，重建增强模块包括至少一个残差模块、第五加法模块和反卷积模块。相应地，在一些实施例中，通过重建增强模块对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像，可以包括：
通过至少一个残差模块对重建图像特征进行特征提取，得到第六中间特征；
通过第五加法模块对第六中间特征与重建图像特征进行加法运算，得到第七中间特征；
通过反卷积模块对第七中间特征进行反卷积操作，得到当前图像的重建图像。
还需要说明的是，在本申请实施例中，反卷积模块可以包括反卷积层。其中，关于反卷积模块的内部结构以及反卷积层的具体数量，这里不作任何限定。另外，对于重建增强模块而言，残差模块的数量可以为三个，但是也可以为其他数量。其中，关于残差模块的具体数量，这里也不作任何限定。
示例性地，图11为本申请实施例提供的一种重建增强模块的组成结构示意图。如图11所示，重建增强模块可以包括三个残差模块1101、第五加法模块1102和反卷积模块1103。其中，反卷积模块1103可以包括反卷积层，用DeConv(3,5,2)表示；残差模块可以用Resblock(64,3)表示。这样，首先通过三个残差模块1101对重建图像特征依次进行特征提取，得到第六中间特征；然后由第五加法模块1102对第六中间特征与重建图像特征进行加法运算，得到第七中间特征；最后再由反卷积模块1103对第七中间特征进行反卷积操作，可以得到当前图像的重建图像。
需要说明的是，在本申请实施例中，残差模块的内部结构可以参见图7。另外，对于反卷积层来说，通道数可以设置为3，卷积核大小可以为5×5，步长可以设置为2。但需要注意的是，对于反卷积模块1103中的反卷积层而言，其卷积参数(例如卷积核大小、通道数等)并非是固定设计，这里是可以调整的，具体数值并不作任何限定。
进一步地，在本申请实施例中，还可以在码流中编码一个比特位(具体为第一标识信息)来表示当前图像是否使用预测图像特征增强模式。因此，在一些实施例中，该方法还可以包括：
解码码流，确定第一标识信息的取值；
若第一标识信息指示当前图像使用预测图像特征增强模式，则执行根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征的步骤。
需要说明的是，在本申请实施例中，第一标识信息可以是预定义的一位指示位写入码流，用于指示当前图像是否使用预测图像特征增强模式。这样，解码端可以通过解码获得第一标识信息的取值，以便解码端能够快速确定是否使用预测图像特征增强模式。
还需要说明的是，在本申请实施例中，如果第一标识信息指示当前图像使用预测图像特征增强模式，那么执行图3所示的增强处理步骤，即根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；如果第一标识信息指示当前图像不使用预测图像特征增强模式，那么不再执行图3所示的增强处理步骤，此时将所得到的初始预测图像特征直接作为当前图像的目标预测图像特征。
在一些实施例中，对于第一标识信息的取值，该方法还可以包括：
若第一标识信息的取值为第一值，则确定第一标识信息指示当前图像使用预测图像特征增强模式；
若第一标识信息的取值为第二值，则确定第一标识信息指示当前图像不使用预测图像特征增强模式。
在本申请实施例中，第一值与第二值不同，而且第一值和第二值可以是参数形式，也可以是数字形式。具体地，第一标识信息可以是写入在概述(profile)中的参数，也可以是一个标志(flag)的取值，这里对此不作具体限定。
示例性地，对于第一值和第二值而言，第一值可以设置为1，第二值可以设置为0；或者，第一值可以设置为0，第二值可以设置为1；或者，第一值可以设置为true，第二值可以设置为false；或者，第一值可以设置为false，第二值可以设置为true；但是这里并不作具体限定。
在本申请实施例中，以第一标识信息为一个写入码流中的flag为例，如果第一值设置为1，第二值设置为0，那么在第一标识信息的取值为1时，可以确定当前图像使用预测图像特征增强模式，此时需要根据至少一个参考图像对初始预测图像特征进行增强处理，以确定出当前图像的目标预测图像特征；在第一标识信息的取值为0时，可以确定当前图像不使用预测图像特征增强模式，此时将所得到的初始预测图像特征直接作为当前图像的目标预测图像特征。
进一步地，在本申请实施例中，对于预设网络模型的训练，可以是采用与相关技术相同的训练方法，即对整个视频压缩网络的所有模块进行端到端的训练。因此，在一些实施例中，该方法还可以包括：
确定预设网络模型；
对预设网络模型进行端到端训练，确定目标网络模型，目标网络模型用于对当前图像进行编码以及解码重建操作；
其中，预设网络模型包括初始网络模型和预测增强模块，且初始网络模型至少包括：特征提取模块、运动参量生成模块、自编码器、预测特征生成模块和重建增强模块。
也就是说，本申请实施例可以将预测增强模块嵌入到已有的初始网络模型中，用于运动补偿生成初始预测图像后进一步增强预测图像特征，以生成增强后的目标预测图像特征。具体地，本申请实施例可以和初始网络模型一起进行端到端的训练，无需改变初始网络模型的训练方法，从而能够大大简化视频压缩网络的训练过程。这里的自编码器可以包括运动参量自编码器和残差自编码器。
综上可知，在本申请实施例中，这里主要解决了如下技术问题：一方面，在传统预测图像特征的生成过程中，需要用到运动估计的运动矢量表示(偏移量)，而运动矢量表示(偏移量)需要压缩传输至解码端，该过程为有损过程，因此重建的运动矢量表示(偏移量)存在有失真，相应地生成的预测图像特征有失真。本申请实施例可以通过利用过去时刻的重建图像对预测图像特征进行增强，从而能够提升预测图像质量，减少该失真。另一方面，单一的参考图像并不能较好地生成当前图像的预测图像，比如由于运动产生的遮挡区域等，然而该遮挡区域可能包含在过去图像中，因此本申请实施例提出利用过去时刻的重建图像来增强预测图像。综合，本申请实施例可以有效提升预测图像特征的质量。
示例性地，本申请实施例的预测增强技术在嵌入到FVC方案之后，可以有效提升编解码效率，测试结果如表1所示。其中，表1示出了本申请实施例的预测增强技术相对于FVC方案的提升效果，具体提升为码率节省(Delta Bit Rate，BDBR)。
表1
根据表1可知，相比于FVC方案，本申请实施例的平均码率节省(BDBR)约为3.73％。
还需要说明的是，在本申请实施例中，这里的预测增强技术不仅可以应用于FVC方案，也可以应用于DCVC方案，甚至还可以应用于其他视频编码网络方案，这里对此不作任何限定。
本实施例提供了一种解码方法，首先解码码流，确定当前图像的重建运动参量；然后根据重建运动参量，确定当前图像的初始预测图像特征；再根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的重建图像。这样，利用过去时刻的重建图像对当前时刻的预测图像进行增强，提升预测图像质量；该过程包括将过去时刻的重建图像分别校正到当前时刻的预测图像，然后将多图像校正的预测图像和当前时刻的预测图像融合生成更高质量的预测图像；从而根据高质量的预测图像，不仅能够提升当前图像的重建图像质量，还能够提升编解码效率，同时还提升了视频编解码性能。
在本申请的另一实施例中，参见图12，其示出了本申请实施例提供的一种编码方法的流程示意图。如图12所示，该方法可以包括：
S1201：确定当前图像的重建运动参量。
需要说明的是，本申请实施例的编码方法应用于编码器。另外，该编码方法具体可以是指一种基于多图像增强的预测图像生成方法，而且该方法嵌入在视频编码的环路内，无论是编码端还是解码端都可以将传统运动补偿方式生成的预测图像特征结合多个已经重建的参考图像进行增强，从而能够提升预测图像质量。
还需要说明的是，在本申请实施例中，当前图像的重建运动参量可以用表示。在编码端，首先需要确定当前图像的第一运动参量，然后通过对第一运动参量进行编码以及解码处理，可以得到当前图像的重建运动参量。在一些实施例中，确定当前图像的重建运动参量，可以包括：
确定第一参考图像；
根据第一参考图像和当前图像，确定第一运动参量；
对第一运动参量进行编码以及解码处理，确定当前图像的重建运动参量。
也就是说，在本申请实施例中，编码端首先需要确定第一运动参量，然后将第一运动参量写入码流，后续解码端能够通过解码码流直接获得当前图像的重建运动参量。其中，第一运动参量也可以称为“运动矢量表示-偏移量”，这里可以用θt表示。
还需要说明的是，在本申请实施例中，第一参考图像可以与当前图像相邻，而且第一参考图像为当前图像在前一个时刻的已重建图像。也就是说，如果当前图像为Xt，那么第一参考图像可以为t为正整数。
在一些实施例中，根据第一参考图像和当前图像，确定第一运动参量，可以包括：对当前图像和第一参考图像分别进行特征提取，确定当前图像特征和第一参考图像特征；根据第一参考图像特征和当前图像特征进行运动估计，确定第一运动参量。
进一步地，关于第一参考图像和当前图层的特征提取，均可以是通过特征提取模块来实现。在一些实施例中，对当前图像和第一参考图像分别进行特征提取，确定当前图像特征和第一参考图像特征，可以包括：
通过特征提取模块对当前图像进行特征提取，得到当前图像特征；
通过特征提取模块对第一参考图像进行特征提取，得到第一参考图像特征。
也就是说，在本申请实施例中，针对第一参考图像和当前图像Xt，两者使用相同的特征提取模块，即共享特征提取模块。提取过程如下：
其中，ffeat(*)为特征提取模块，且对于当前图像和过去重建的参考图像均可以共享特征提取模块。其中，特征提取模块可以包括第三卷积模块、至少一个残差模块和第二加法模块，具体的组成结构可以参见图6。
在一种具体的实现方式中，通过特征提取模块对当前图像进行特征提取，得到当前图像特征，可以包括：通过第三卷积模块对当前图像进行特征提取，得到第一中间特征；通过至少一个残差模块对第一中间特征进行特征提取，得到第二中间特征；通过第二加法模块对第一中间特征和第二中间特征进行加法运算，得到当前图像特征。
在另一种具体的实现方式中，通过特征提取模块对第一参考图像进行特征提取，得到第一参考图像特征，可以包括：通过第三卷积模块对第一参考图像进行特征提取，得到第一中间特征；通过至少一个残差模块对第一中间特征进行特征提取，得到第二中间特征；通过第二加法模块对第一中间特征和第二中间特征进行加法运算，得到第一参考图像特征。
需要说明的是，在本申请实施例中，第三卷积模块可以包括第三卷积层。其中，关于第三卷积模块的内部结构以及第三卷积层的具体数量，这里不作任何限定。另外，对于特征提取模块而言，残差模块的数量可以为三个，但是也可以为其他数量。其中，关于残差模块的具体数量，这里也不作任何限定。
还需要说明的是，在本申请实施例中，残差模块可以是基于残差的卷积块，属于基础组成模块。在一些实施例中，残差模块可以是由至少一个残差卷积层和至少一个激活层组成。其中，激活层可以是非线性的激活函数，激活函数是用来加入非线性因素，解决线性模型所不能解决的问题，如此对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。示例性地，激活函数可以是Sigmoid函数、Tanh函数和修正线性单元(The Rectified Linear Unit，ReLU)函数等，在本申请实施例中，可以使用ReLU函数作为激活层，但是并不作任何限定。另外，残差模块中可以仅包括一个残差卷积层，也可以包括两个或更多个残差卷积层，这里对此也不作任何限定。
还需要说明的是，在本申请实施例中，图6所示的特征提取模块和图7所示的残差模块仅为一种示 例的网络结构。但是本领域技术人员可知，对于特征提取模块和残差模块的网络结构，并不局限于此。
在一些实施例中，在提取得到第一参考图像特征和当前图像特征之后，根据第一参考图像特征和当前图像特征进行运动估计，确定第一运动参量，可以包括：通过运动参量生成模块对第一参考图像特征和当前图像特征进行运动估计，确定第一运动参量。
可以理解地，在本申请实施例中，运动参量生成模块为用于生成运动矢量表示方式----偏移量(offset)的网络结构，也可以称为“运动矢量表示生成网络”。其中，运动参量生成模块包括第三拼接模块和第六卷积模块。相应地，在一些实施例中，通过运动参量生成模块对第一参考图像特征和当前图像特征进行运动估计，得到第一运动参量，可以包括：
通过第三拼接模块对第一参考图像特征和当前图像特征进行拼接操作，得到第八中间特征；
通过第六卷积模块对第八中间特征进行卷积操作，得到第一运动参量。
需要说明的是，在本申请实施例中，第三拼接模块可以包括第三拼接层；第六卷积模块可以包括第六卷积层。
还需要说明的是，在本申请实施例中，无论是第三拼接模块还是第六卷积模块，对其具体的内部结构并不作限定。例如，第六卷积层的数量可以是1个、2个，甚至是更多个；而且这些卷积层的卷积参数(例如卷积核大小、通道数等)可以相同，也可以不同；这里对此均不作任何限定。
示例性地，图13为本申请实施例提供的一种运动参量生成模块的组成结构示意图。如图13所示，运动参量生成模块可以包括第三拼接模块1301和第六卷积模块1302。其中，首先将当前图像特征Ft和第一参考图像特征输入到第三拼接模块1301，然后由第六卷积模块1302对拼接后得到的第八中间特征进行卷积操作，可以得到当前图像的第一运动参量θt。
示例性地，图14为本申请实施例提供的一种运动参量生成模块的详细结构示意图。如图14所示，第三拼接模块1301可以是由第三拼接层组成，第六卷积模块1302可以是由两个第六卷积层组成。其中，第三拼接层可以用Cat表示；第六卷积层可以用Conv(64,3,1)表示，具体为：通道数设置为64，卷积核大小可以为3×3，步长设置为1。但需要注意的是，对于第六卷积层的卷积参数(例如卷积核大小、通道数等)并非是固定设计，这里是可以调整的，具体数值并不作任何限定。
在这里，通过对当前图像特征Ft和第一参考图像特征拼接后的特征进行卷积操作，生成运动矢量表示方式-偏移量(即第一运动参量θt)，具体过程如下所示：
其中，cat(*)为第三拼接模块1301的拼接操作，foffset(*)为偏移量生成网络，这里为第六卷积模块1302的两层卷积网络。
进一步地，本申请实施例需要对第一运动参量θt进行基于自编码器的编码以及解码处理，生成重建运动参量。在一些实施例中，对第一运动参量进行编码以及解码处理，确定当前图像的重建运动参量，可以包括：通过自编码器对第一运动参量进行编码以及解码处理，确定当前图像的重建运动参量。
还可以理解地，在本申请实施例中，自编码器可以包括编码模块和解码模块。相应地，在一些实施例中，通过自编码器对第一运动参量进行编码以及解码处理，确定当前图像的重建运动参量，可以包括：通过自编码器的编码模块对第一运动参量进行编码处理，将所得到的编码比特写入码流；通过自编码器的解码模块对码流进行解码处理，得到当前图像的重建运动参量。
需要说明的是，在本申请实施例中，编码模块与解码模块的组成结构类似，而且解码模块是编码模块的逆过程。另外，在基于自编码器的编码过程中，不仅需要自编码器的编码模块，同时还需要熵编码模块的编码，生成码流；然后码流需要进行熵解码模块的解码和自编码器的解码模块，生成重建运动参量具体过程如下所示：
其中，fencoder(*),fdecoder(*)为运动参量自编码器的编码模块和解码模块，分别如图15和图16所示；Q(*)为量化过程。
示例性地，对于自编码器而言，图15为本申请实施例提供的一种自编码器的编码模块的组成结构示意图。如图15所示，自编码器的编码模块可以包括第七卷积模块1501、至少一个残差模块1502和第六加法模块1503。其中，第七卷积模块1501可以是由第七卷积层组成，至少一个残差模块1502可以是由三个残差模块组成。示例性地，残差模块可以用Resblock(128,3)表示；第七卷积层可以用Conv(128,5,2)表示，具体为：通道数设置为128，卷积核大小可以为5×5，步长设置为2。但需要注意的是，对于第七卷积层的卷积参数(例如卷积核大小、通道数等)并非是固定设计，这里是可以调整的，具体数值并不作任何限定。
示例性地，对于自编码器而言，图16为本申请实施例提供的一种自编码器的解码模块的组成结构示意图。如图16所示，自编码器的解码模块可以包括至少一个残差模块1601、第七加法模块1602和 第八卷积模块1603。其中，至少一个残差模块1601可以是由三个残差模块组成，第八卷积模块1603可以是由第八卷积层组成，且第八卷积层为第七卷积层的转置卷积层(或称为“反卷积层”)。示例性地，残差模块可以用Resblock(128,3)表示；第八卷积层可以用DeConv(128,5,2)表示，具体为：通道数设置为128，卷积核大小可以为5×5，步长设置为2。但需要注意的是，对于第八卷积层的卷积参数(例如卷积核大小、通道数等)并非是固定设计，这里也是可以调整的，具体数值并不作任何限定。
在本申请实施例中，对于自编码器而言，图15所示的编码模块和图16所示的解码模块均是一种示例的网络结构。但是本领域技术人员可知，对于自编码器的编码模块和解码模块的网络结构，并不局限于此。
S1202：根据重建运动参量，确定当前图像的初始预测图像特征。
需要说明的是，在确定出重建运动参量之后，可以进一步确定当前图像的初始预测图像特征。在一些实施例中，根据重建运动参量，确定当前图像的初始预测图像特征，可以包括：
确定第一参考图像；
对第一参考图像进行特征提取，确定第一参考图像特征；
根据第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征。
在本申请实施例中，第一参考图像可以与当前图像相邻，而且第一参考图像为当前图像在前一个时刻的已重建图像。也就是说，如果当前图像为Xt，那么第一参考图像可以为t为正整数。
在本申请实施例中，关于第一参考图像的特征提取，可以是通过特征提取模块来实现。在一些实施例中，对第一参考图像进行特征提取，确定第一参考图像特征，可以包括：通过特征提取模块对第一参考图像进行特征提取，确定第一参考图像特征。其中，特征提取模块可以包括第三卷积模块、至少一个残差模块和第二加法模块，具体的组成结构可以参见图6。
在一些实施例中，在提取得到第一参考图像特征之后，根据第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征，可以包括：通过预测特征生成模块对第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征。
可以理解地，在本申请实施例中，预测特征生成模块为用于实现初始预测图像特征生成的网络结构，也可以称为“预测图像特征生成网络”。其中，预测特征生成模块包括第四卷积模块、第二拼接模块、第五卷积模块和第三加法模块。相应地，在一些实施例中，通过预测特征生成模块对第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征，可以包括：
通过第四卷积模块对重建运动参量与第一参考图像特征进行可变形卷积操作，得到第三中间特征；
通过第二拼接模块对第三中间特征与第一参考图像特征进行拼接操作，得到第四中间特征；
通过第五卷积模块对第四中间特征进行卷积操作，得到第五中间特征；
通过第三加法模块对第三中间特征和第五中间特征进行加法运算，得到初始预测图像特征。
需要说明的是，在本申请实施例中，第四卷积模块可以包括第二可变形卷积层；第二拼接模块可以包括第二拼接层；第五卷积模块可以包括第五卷积层。
还需要说明的是，在本申请实施例中，无论是第四卷积模块、第二拼接模块还是第五卷积模块，对其具体的内部结构并不作限定。例如，第二可变形卷积层的数量可以是至少一个，第五卷积层的数量也可以是至少一个，而且这些卷积层的卷积参数(例如卷积核大小、通道数等)可以相同，也可以不同；这里对此均不作任何限定。
示例性地，图8和图9示出了本申请实施例提供的关于预测特征生成模块的结构示例，但是对此并不作任何限定。其中，第二可变形卷积层可以用Deformable Conv表示；第二拼接层可以用Cat表示；第五卷积层可以用Conv(64,3,1)表示，具体为：通道数设置为64，卷积核大小可以为3×3，步长设置为1。但需要注意的是，对于第五卷积层的卷积参数(例如卷积核大小、通道数等)并非是固定设计，这里是可以调整的，具体数值也不作任何限定。
在这里，利用第二可变形卷积层对重建运动参量与第一参考图像特征进行卷积操作，最终可以生成初始预测图像特征Pt(即运动补偿)，具体过程如下所示：
其中，Dconv(*)为第四卷积模块801的第二可变形卷积层，为第五卷积模块803的两层卷积网络增强特征，最终能够生成初始预测图像特征Pt。
S1203：根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的残差图像特征。
需要说明的是，在本申请实施例中，在得到重建运动参量之后，可以用于确定当前图像的初始预测图像特征；然后根据至少一个参考图像对初始预测图像特征进行增强处理，从而能够获得高质量的重建图像。
在一些实施例中，根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征，可以包括：
对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征；
根据至少一个参考图像特征对初始预测图像特征进行增强处理，确定目标预测图像特征。
还需要说明的是，在本申请实施例中，至少一个参考图像均为已重建图像，而且这些参考图像可以为当前图像在前m个时刻的已重建图像，m为大于或等于1的整数。
还需要说明的是，在本申请实施例中，每一个参考图像可以对应提取一个参考图像特征，然后利用这些参考图像特征对初始预测图像特征进行增强处理。其中，增强处理可以是由预测增强模块来实现。在一些实施例中，根据至少一个参考图像特征对初始预测图像特征进行增强处理，确定目标预测图像特征，可以包括：通过预测增强模块对至少一个参考图像特征和初始预测图像特征进行增强操作，确定目标预测图像特征。
可以理解地，在本申请实施例中，预测增强模块可以为多参考图像增强的目标预测图像特征生成的网络结构。其中，预测增强模块包括第一卷积模块、第一拼接模块、第二卷积模块和第一加法模块。相应地，在一些实施例中，通过预测增强模块对至少一个参考图像特征和初始预测图像特征进行增强操作，确定目标预测图像特征，可以包括：
通过第一卷积模块对至少一个参考图像特征和初始预测图像特征分别进行卷积操作，得到至少一个校正特征；
通过第一拼接模块对至少一个校正特征与初始预测图像特征进行拼接操作，得到拼接特征；
通第二卷积模块对拼接特征进行卷积融合处理，得到融合校正特征；
通过第一加法模块对融合校正特征与初始预测图像特征进行加法运算，得到目标预测图像特征。
需要说明的是，在本申请实施例中，第一卷积模块可以包括至少一个卷积子模块，卷积子模块的数量与至少一个参考图像中的参考图像数量具有对应关系。
也就是说，在本申请实施例中，每一个卷积子模块可以对参考图像特征和初始预测图像特征进行卷积操作，得到对应的校正特征；然后再由第一拼接模块将这些校正特征与初始预测图像特征进行拼接操作，再由第二卷积模块对拼接特征进行卷积融合，得到融合校正特征；最后再由第一加法模块对融合校正特征与初始预测图像特征进行求和计算，得到目标预测图像特征。
示例性地，图4示出了本申请实施例提供的一种预测增强模块的结构示例，但是对此并不作任何限定。其中，初始预测图像特征可以用Pt表示，第一参考图像特征可以用表示，第二参考图像特征可以用表示，第n参考图像特征可以用表示。具体地，卷积子模块1用于对和Pt进行卷积操作，生成第一校正特征，用Pt-1表示；卷积子模块2用于对和Pt进行卷积操作，生成第二校正特征，用Pt-2表示；卷积子模块n用于对和Pt进行卷积操作，生成第n校正特征，用Pt-n表示；然后由第一拼接模块402对Pt、Pt-1、Pt-2、…、Pt-n进行拼接操作，再由第二卷积模块403进行卷积融合，可以生成融合校正特征，用表示；最后使用残差结构，由第一加法模块404对Pt和进行加法运算，可以得到最终的目标预测图像特征，用表示。
在一种具体的实现方式中，卷积子模块可以包括第一卷积层和第一可变形卷积层；第一拼接模块可以包括第一拼接层；第二卷积模块可以包括第二卷积层，具体参见图5。其中，第一可变形卷积层可以用Deformable Conv表示；第一拼接层可以用Cat表示；第一卷积层与第二卷积层的卷积参数可以相同，也可以不同。例如，第一卷积层的通道数设置为64，卷积核大小为3×3，步长设置为1，即第一卷积层可以用Conv(64,3,1)表示；第二卷积层的通道数设置为64，卷积核大小为1×1，步长设置为1，即第二卷积层可以用Conv(64,1,1)表示。但需要注意的是，对于第一卷积层和第二卷积层的卷积参数(例如卷积核大小、通道数等)并非是固定设计，这里是可以调整的，具体数值也不作任何限定。
在本申请实施例中，对于卷积子模块而言，可以是将初始预测图像特征与参考图像特征进行拼接操作，再通过第一卷积层以及相应的激活函数，可以生成参考图像特征与初始预测图像特征之间的偏移量，具体过程如下所示：
在获取到偏移量之后，可以通过第一可变形卷积层进行可变形卷积操作，将过去时刻的已重建图像生成对应的校正特征，具体过程如下所示：
将生成的至少一个校正特征与初始预测图像特征进行拼接操作，并经过第二卷积层进行卷积融合处理，最终可以生成融合校正特征，具体过程如下所示：
最后，采用残差结构，将融合校正特征与初始预测图像特征进行加法运算，可以生成最终的目标预 测图像特征，具体过程如下所示：
在另一种具体的实现方式中，卷积子模块可以包括第一卷积层；第一拼接模块可以包括第一拼接层；第二卷积模块可以包括第二卷积层。
也就是说，在本申请实施例中，对于每一个卷积子模块，利用可变形卷积层将参考图像特征校正到当前预测图像的过程可以直接用卷积生成，即这里可以省去第一可变形卷积层。这时候，直接将初始预测图像特征和过去时刻的参考图像特征进行融合，然后利用卷积生成最终的目标预测图像特征。
需要说明的是，在本申请实施例中，无论是第一卷积模块、第一拼接模块还是第二卷积模块，对其具体的内部结构并不作限定。例如，第一卷积层的数量可以是至少一个，第二卷积层的数量也可以是至少一个，而且这些卷积层的卷积参数(例如卷积核大小、通道数等)可以相同，也可以不同；这里对此均不作任何限定。
还需要说明的是，在本申请实施例中，目标预测图像特征的生成也可以不采用残差结构，直接生成最终的目标预测图像特征。具体地，在生成目标预测图像特征时，可以使用残差结构的形式，将初始预测图像特征和利用至少一个参考图像增强后的融合校正特征进行加法运算；但是这里也可以不使用加法运算，直接将两者拼接在一起生成最终的目标预测图像特征。也就是说，这里可以不需要第一加法模块，对此并不作任何限定。
还可以理解地，在本申请实施例中，这里是根据至少一个参考图像特征进行增强处理的，那么首先需要提取每一个参考图像对应的参考图像特征。在一些实施例中，对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征，可以包括：通过特征提取模块对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征。
也就是说，对于特征提取可以是由特征提取模块来实现。这至少一个参考图像可以使用相同的特征提取模块。示例性地，以三个参考图像为例，例如第一参考图像、第二参考图像和第三参考图像。在一些实施例中，通过特征提取模块对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征，可以包括：
通过特征提取模块对第一参考图像进行特征提取，得到第一参考图像特征；
通过特征提取模块对第二参考图像进行特征提取，得到第二参考图像特征；
通过特征提取模块对第三参考图像进行特征提取，得到第三参考图像特征；
将第一参考图像特征、第二参考图像特征和第三参考图像特征确定为至少一个参考图像特征。
需要说明的是，在本申请实施例中，如果使用三个参考图像对初始预测图像特征进行增强处理，那么具体可以是使用第一参考图像特征、第二参考图像特征和第三参考图像特征对初始预测图像特征进行增强处理，以生成目标预测图像特征。
在一种具体的实施例中，第一参考图像为当前图像在前一个时刻的已重建图像；第二参考图像为当前图像在前两个时刻的已重建图像；第三参考图像为当前图像在前三个时刻的已重建图像。
在本申请实施例中，第一参考图像可以用表示，第一参考图像特征可以用表示；第二参考图像可以用表示，第二参考图像特征可以用表示；第三参考图像可以用表示，第三参考图像特征可以用表示。具体地，特征提取过程如下所示：
其中，ffeat(*)表示特征提取模块，用于对至少一个参考图像分别进行特征提取。
需要说明的是，在本申请实施例中，参考图像特征的数量可以是1个、2个、3个，甚至是更多个；这里仅是用三个参考图像来提取对应的参考图像特征作为一种示例，但是关于参考图像以及参考图像特征的具体数量并不作任何限定。
还需要说明的是，在本申请实施例中，这至少一个参考图像和当前图像使用同一个特征提取模块，即共享特征提取模块。其中，特征提取模块可以包括第三卷积模块、至少一个残差模块和第二加法模块，具体的组成结构可以参见图6。
在一种具体的实现方式中，以第一参考图像的特征提取为例，通过特征提取模块对第一参考图像进行特征提取，得到第一参考图像特征，可以包括：通过第三卷积模块对第一参考图像进行特征提取，得到第一中间特征；通过至少一个残差模块对第一中间特征进行特征提取，得到第二中间特征；通过第二加法模块对第一中间特征和第二中间特征进行加法运算，得到第一参考图像特征
在另一种具体的实现方式中，以第二参考图像的特征提取为例，通过特征提取模块对第二参考图像进行特征提取，得到第二参考图像特征，可以包括：通过第三卷积模块对第二参考图像进行特征提取，得到第一中间特征；通过至少一个残差模块对第一中间特征进行特征提取，得到第二中间特征；通过第二加法模块对第一中间特征和第二中间特征进行加法运算，得到第二参考图像特征
在又一种具体的实现方式中，以第三参考图像的特征提取为例，通过特征提取模块对第三参考图像进行特征提取，得到第三参考图像特征，可以包括：通过第三卷积模块对第三参考图像进行特征提取，得到第一中间特征；通过至少一个残差模块对第一中间特征进行特征提取，得到第二中间特征；通过第二加法模块对第一中间特征和第二中间特征进行加法运算，得到第三参考图像特征
这样，在本申请实施例中，根据至少一个参考图像对应提取到至少一个参考图像特征(例如 等)，将运动补偿生成的初始预测图像特征与这至少一个参考图像特征分别拼接并生成可变形卷积的偏移量，然后利用可变形卷积处理参考图像特征，生成该参考图像特征对应的校正特征(也可称为“补偿特征”)。这些补偿特征与初始预测图像特征进行拼接以及卷积融合处理后，可以得到融合校正特征；将所得到的融合校正特征与初始预测图像特征进行加法运算，能够生成最终的目标预测图像特征即利用补偿特征校正当前的初始预测图像特征。
进一步地，在得到目标预测图像特征之后，根据目标预测图像特征可以确定出当前图像的重建图像。在一些实施例中，该方法还可以包括：
确定当前图像的重建残差特征；
根据重建残差特征和目标预测图像特征，确定重建图像特征；
对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像。
需要说明的是，在本申请实施例中，确定当前图像的重建残差特征，可以包括：确定当前图像对应的当前图像特征；根据当前图像特征和目标预测图像特征，确定残差图像特征；对残差图像特征进行编码以及解码处理，确定当前图像的重建残差特征。
在一些实施例中，根据当前图像特征和目标预测图像特征，确定残差图像特征，可以包括：通过第一减法模块对当前图像特征和目标预测图像特征进行减法运算，得到残差图像特征。
还需要说明的是，在本申请实施例中，残差图像特征可以用Rt表示，重建残差特征用表示。在这里，通过第一减法模块对当前图像特征和目标预测图像特征进行作差生成残差图像特征，即对于编码端而言，本申请实施例的第一减法模块可以是图1中的减法器108。
进一步地，本申请实施例还需要对残差图像特征Rt进行基于自编码器的编码以及解码处理。在一些实施例中，对残差图像特征进行编码以及解码处理，确定当前图像的重建残差特征，可以包括：通过自编码器对残差图像特征进行编码以及解码处理，确定当前图像的重建残差特征。
还可以理解地，在本申请实施例中，自编码器可以包括编码模块和解码模块。相应地，在一些实施例中，通过自编码器对残差图像特征进行编码以及解码处理，确定当前图像的重建残差特征，可以包括：通过自编码器的编码模块对残差图像特征进行编码处理，将所得到的编码比特写入码流；通过自编码器的解码模块对码流进行解码处理，得到当前图像的重建残差特征。
需要说明的是，在本申请实施例中，对于残差自编码器而言，编码模块与解码模块的组成结构类似，而且解码模块是编码模块的逆过程。另外，在基于残差自编码器的编码过程中，不仅需要残差自编码器的编码模块，同时也需要熵编码模块的编码，生成码流；然后码流需要进行熵解码模块的解码和残差自编码器的解码模块，生成重建残差特征具体过程如下所示：
其中，fencoder_R(*),fdecoder_R(*)为残差自编码器的编码模块和解码模块，Q(*)为量化过程。需要注意的是，残差自编码器的结构与运动参量自编码器的结构一致，故fencoder_R(*),fdecoder_R(*)的组成结构也分别如图15和图16所示。但是本领域技术人员可知，对于残差自编码器的编码模块和解码模块的网络结构，并不局限于此。
进一步地，在得到重建残差特征之后，在一些实施例中，根据重建残差特征和目标预测图像特征，确定重建图像特征，可以包括：对重建残差特征和目标预测图像特征进行加法运算，得到重建图像特征。
在一种具体的实施例中，根据重建残差特征和目标预测图像特征，确定重建图像特征，可以包括：通过第四加法模块对重建残差特征和目标预测图像特征进行加法运算，得到重建图像特征。在这里，通过第四加法模块对重建残差特征和目标预测图像特征进行加和生成重建图像特征。对于编码端而言，本申请实施例的第四加法模块可以是图1中的加法器109。
进一步地，根据重建图像特征可以重构当前图像的重建图像。在一些实施例中，对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像，可以包括：通过重建增强模块对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像。
还需要说明的是，在本申请实施例中，重建增强模块为用于实现特征增强和重建的网络结构，也可以称为“增强重建网络”。其中，重建增强模块包括至少一个残差模块、第五加法模块和反卷积模块。相应地，在一些实施例中，通过重建增强模块对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像，可以包括：
通过至少一个残差模块对重建图像特征进行特征提取，得到第六中间特征；
通过第五加法模块对第六中间特征与重建图像特征进行加法运算，得到第七中间特征；
通过反卷积模块对第七中间特征进行反卷积操作，得到当前图像的重建图像。
还需要说明的是，在本申请实施例中，反卷积模块可以包括反卷积层。其中，关于反卷积模块的内部结构以及反卷积层的具体数量，这里不作任何限定。另外，对于重建增强模块而言，残差模块的数量可以为三个，但是也可以为其他数量。其中，关于残差模块的具体数量，这里也不作任何限定。
示例性地，图11示出了本申请实施例提供的一种重建增强模块的结构示例，但是对此并不作任何限定。在这里，首先通过三个残差模块对重建图像特征依次进行特征提取，得到第六中间特征；然后由第五加法模块对第六中间特征与重建图像特征进行加法运算，得到第七中间特征；最后再由反卷积模块对第七中间特征进行反卷积操作，可以得到当前图像的重建图像。
另外，在本申请实施例中，对于反卷积模块中的反卷积层来说，通道数可以设置为3，卷积核大小可以为5×5，步长可以设置为2。但需要注意的是，对于反卷积层的卷积参数(例如卷积核大小、通道数等)并非是固定设计，这里是可以调整的，具体数值并不作任何限定。
进一步地，在本申请实施例中，还可以在码流中编码一个比特位(具体为第一标识信息)来表示当前图像是否使用预测图像特征增强模式。因此，在一些实施例中，该方法还可以包括：
确定第一标识信息的取值；
通过自编码器的编码模块对第一标识信息的取值进行编码，将所得到的编码比特写入码流。
需要说明的是，在本申请实施例中，第一标识信息可以是预定义的一位指示位写入码流，用于指示当前图像是否使用预测图像特征增强模式。这样，编码端可以将第一标识信息的取值写入码流；后续解码端通过解码即可获得第一标识信息的取值，以便解码端能够快速确定是否使用预测图像特征增强模式。
在一些实施例中，该方法还可以包括：若第一标识信息指示当前图像使用预测图像特征增强模式，则执行根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征的步骤。
还需要说明的是，在本申请实施例中，如果第一标识信息指示当前图像使用预测图像特征增强模式，那么执行图12所示的增强处理步骤，即根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；如果第一标识信息指示当前图像不使用预测图像特征增强模式，那么不再执行图12所示的增强处理步骤，此时将所得到的初始预测图像特征直接作为当前图像的目标预测图像特征。
在一些实施例中，确定第一标识信息的取值，可以包括：
若第一标识信息指示当前图像使用预测图像特征增强模式，则确定第一标识信息的取值为第一值；
若第一标识信息指示当前图像不使用预测图像特征增强模式，则确定第一标识信息的取值为第二值。
在本申请实施例中，第一值与第二值不同，而且第一值和第二值可以是参数形式，也可以是数字形式。具体地，第一标识信息可以是写入在概述(profile)中的参数，也可以是一个标志(flag)的取值，这里对此不作具体限定。
示例性地，对于第一值和第二值而言，第一值可以设置为1，第二值可以设置为0；或者，第一值可以设置为0，第二值可以设置为1；或者，第一值可以设置为true，第二值可以设置为false；或者，第一值可以设置为false，第二值可以设置为true；但是这里并不作具体限定。
在本申请实施例中，以第一标识信息为一个写入码流中的flag为例，如果第一值设置为1，第二值设置为0，那么在第一标识信息的取值为1时，可以确定当前图像使用预测图像特征增强模式，此时需要根据至少一个参考图像对初始预测图像特征进行增强处理，以确定出当前图像的目标预测图像特征；在第一标识信息的取值为0时，可以确定当前图像不使用预测图像特征增强模式，此时将所得到的初始预测图像特征直接作为当前图像的目标预测图像特征。
进一步地，在本申请实施例中，对于预设网络模型的训练，可以是采用与相关技术相同的训练方法，即对整个视频压缩网络的所有模块进行端到端的训练。因此，在一些实施例中，该方法还可以包括：
确定预设网络模型；
对预设网络模型进行端到端训练，确定目标网络模型，目标网络模型用于对当前图像进行编码以及解码重建操作；
其中，预设网络模型包括初始网络模型和预测增强模块，且初始网络模型至少包括：特征提取模块、运动参量生成模块、自编码器、预测特征生成模块和重建增强模块。
也就是说，本申请实施例可以将预测增强模块嵌入到已有的初始网络模型中，用于运动补偿生成初始预测图像后进一步增强预测图像特征，以生成增强后的目标预测图像特征。具体地，本申请实施例提供了一种基于端到端深度学习的视频编码方法，即可以和初始网络模型一起进行端到端的训练，无需改 变初始网络模型的训练方法，从而能够大大简化视频压缩网络的训练过程。另外，这里的自编码器可以包括运动参量自编码器和残差自编码器。
综上可知，在本申请实施例中，这里主要解决了如下技术问题：一方面，在传统预测图像特征的生成过程中，需要用到运动估计的运动矢量表示(偏移量)，而运动矢量表示(偏移量)需要压缩传输至解码端，该过程为有损过程，因此重建的运动矢量表示(偏移量)存在有失真，相应地生成的预测图像特征有失真。本申请实施例可以通过利用过去时刻的重建图像对预测图像特征进行增强，从而能够提升预测图像质量，减少该失真。另一方面，单一的参考图像并不能较好地生成当前图像的预测图像，比如由于运动产生的遮挡区域等，然而该遮挡区域可能包含在过去图像中，因此本申请实施例提出利用过去时刻的重建图像来增强预测图像。综合，本申请实施例可以有效提升预测图像特征的质量。
示例性地，本申请实施例的预测增强技术在嵌入到FVC方案之后，可以有效提升编解码效率，测试结果如前述的表1所示。其中，根据表1可知，相比于FVC方案，本申请实施例的平均码率节省(BDBR)约为3.73％。
还需要说明的是，在本申请实施例中，这里的预测增强技术不仅可以应用于FVC方案，也可以应用于DCVC方案，甚至还可以应用于其他视频编码网络方案，这里对此不作任何限定。
进一步地，本申请实施例还提供了一种码流，该码流是根据待编码信息进行比特编码生成的；其中，待编码信息包括下述至少一项：当前图像的第一运动参量、残差图像特征和第一标识信息的取值；其中，第一标识信息用于指示当前图像是否使用预测图像特征增强模式。
在本申请实施例中，对于第一标识信息来说，这里也可以为FVC方案或其他编解码网络方案中增加一个预测图像特征增强模式，即编码一个比特位表示是否使用预测图像特征增强模式。当使用该模式时，即可以使用本申请实施例的编码/解码方法。
这样，编码端将这些待编码信息写入码流之后，通过码流将这些待编码信息传输到解码端；以使得在解码端，通过解码码流即可确定当前图像是否使用预测图像特征增强模式，以及通过解码码流来确定当前图像的第一运动参量和残差图像特征，从而能够恢复当前图像的重建图像。
本实施例提供了一种编码方法，首先确定当前图像的重建运动参量；然后根据重建运动参量，确定当前图像的初始预测图像特征；再根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的残差图像特征。这样，在编码端，也可以利用过去时刻的重建图像对当前时刻的预测图像进行增强，提升预测图像质量；该过程包括将过去时刻的重建图像分别校正到当前时刻的预测图像，然后将多图像校正的预测图像和当前时刻的预测图像融合生成更高质量的预测图像；从而根据高质量的预测图像，不仅能够提升当前图像的重建图像质量，还能够提升编解码效率，同时还提升了视频编解码性能。
在本申请的又一实施例中，基于前述实施例所述的解码方法和编码方法，本申请实施例提供了一种包含解码方法和编码方法的视频编解码系统的网络架构，图17为本申请实施例提供的一种视频编解码的网络架构示意图。如图17所示，该网络架构包括一个或多个电子设备13至1N和通信网络01，其中，电子设备13至1N可以通过通信网络01进行视频交互。电子设备在实施的过程中可以为各种类型的具有视频编解码功能的设备，例如，所述电子设备可以包括手机、平板电脑、个人计算机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备、服务器等，本申请实施例不作限制。其中，本申请实施例中的解码器或编码器就可以为上述电子设备。
其中，本申请实施例中的电子设备具有视频编解码功能，一般包括视频编码器(即编码器)和视频解码器(即解码器)。
可以理解地，基于前述实施例所述的解码方法和编码方法，本申请实施例提出了一种基于多图像增强的预测图像特征生成方法。该方法嵌入在视频编码的环路内，无论是编码端还是解码端都涉及到该方法，具体是将传统运动补偿方式生成的预测图像结合多个过去时刻的重建图像进行增强，提升预测图像质量，进而提升编码效率。
在一种具体的实施例中，在编码端，图18为本申请实施例提供的一种编码器的详细框架示意图。如图18所示，该框架主要包括：特征提取模块1801、运动估计模块1802、运动压缩模块1803、运动补偿模块1804、预测增强模块1805、残差压缩模块1806、熵编码模块1807、特征增强及重建模块1808、减法器1809和加法器1810。其中，以三帧参考图像为例，这里的预测增强模块1805可以是根据三帧参考图像各自的参考图像特征对运动补偿模块1804输出的初始预测图像特征进行增强处理。
在图18中，在传统运动补偿生成初始预测图像特征后，利用参考图像特征对初始预测图像特征进行多图像增强，提升其质量。其增强作用表现在：一方面，由于运动矢量表示的有损压缩，其生成的预 测图像含有失真，利用重建图像可以增强其质量；另一方面，单一的参考图像并不能较好地生成当前图像的预测图像，比如由于运动产生的遮挡区域等，然而该遮挡区域可能包含在过去图像中，同时在经过运动补偿后，预测图像中包含当前图像的信息；因此可以利用已重建的参考图像对预测图像特征进行增强，提升其质量。
在本申请实施例中，针对上述的各个模块进行详细说明：
(1)特征提取模块：当前图像和已重建的参考图像的特征提取(以三帧参考图像为例，参考图像特征分别为当前图像特征为Ft)；提取过程具体如下：
其中，ffeat(*)为特征提取模块，且对于当前图像和已重建的参考图像均为同一模块，即共享特征提取模块。特征提取模块可以由一层卷积层和3层基于残差结构的卷积块组成，具体结构如图6所示。
(2)运动估计模块和运动补偿模块：生成初始预测图像特征。
a)利用可变形卷积对当前图像特征Ft和参考图像特征拼接后的特征生成运动矢量表示方式-偏移量(即第一运动参量)θt，生成过程具体如下：
其中，cat(*)为拼接操作，foffset(*)为偏移量生成网络，其为两层卷积网络，具体结构如图14所示。
b)然后对第一运动参量θt进行基于自编码器的编码部分和熵编码的编码，生成码流；再对码流进行熵解码和自编码器的解码部分生成重建运动参量如下所示：
其中fencoder(*),fdecoder(*)为运动参量自编码器的编码部分和解码部分，具体结构分别如图15和图16所示，Q(*)为量化过程。
c)再利用可变形卷积和参考图像特征生成初始预测图像特征Pt(即运动补偿)，如下所示：
其中，Dconv(*)为可变形卷积，为两层卷积网络增强特征，最终生成预测图像特征，具体结构如图9所示。
(3)预测增强模块：基于多个已重建的参考图像增强预测图像特征生成方法，是本申请实施例的重点部分，以三帧参考图像为例，具体流程如图19所示。将过去重建的参考图像提取特征(以三图像为例，分别为)，将运动补偿生成的初始预测图像特征Pt和参考图像特征分别拼接并生成可变形卷积的偏移量，并利用可变形卷积处理参考图像特征，分别生成补偿特征。然后，补偿特征经过卷积融合后，与初始预测图像特征Pt相加，生成最终的目标预测图像特征即可以利用补偿特征校正当前的预测图像特征。
具体步骤如下(以三图像为例，但这里可扩充至多图像)：
a)将过去重建的参考图像利用特征提取模块，可以提取为参考图像特征，分别为
b)将初始预测图像特征(由运动补偿生成，即使用FVC方案的预测图像特征生成方法)和三个参考图像特征分别进行拼接操作。再通过两层卷积层和相应激活函数，生成重建图像和预测图像之间的偏移量，类似于传统视频编解码中的运动矢量。示例性地，通道数设置均为64，卷积核大小为3×3，步长均为1，但是并不局限于此。具体过程如下所示：
c)获得偏移量后通过可变形卷积，将过去已重建的参考图像特征分别生成校正特征(即补偿特征)，具体过程如下所示：
d)将生成的多个校正特征与初始预测图像特征进行拼接，并经过一个卷积层进行融合，最终生成当前预测图像的融合校正特征具体过程如下所示：
e)采用残差结构，将融合校正特征和预测图像特征进行相加生成最终的目标预测图像特征具体过程如下所示：
(4)特征增强及重建模块：首先进行当前图像特征和目标预测图像特征的减法获得残差图像特征残差图像特征进一步经过自编码器产生比特流送往解码端，并输出重建残差特征然后与目标预测图像特征进行加和生成最后经过特征增强及重建生成最终的重建图像
具体步骤如下：
a)残差图像特征经过自编码器之后，具体过程如下所示：
其中，fencoder_R(*),fdecoder_R(*)为残差自编码器的编码部分和解码部分，结构和运动参量自编码器一致，具体可以如图15和图16所示；Q(*)为量化过程。
b)特征增强及重建生成最终的重建图像，具体过程如下所示：
其中，fenh_x(*)为增强重建网络，使用多层基于残差结构的卷积块，具体结构可以如图11所示。
在另一种具体的实施例中，在解码端，图20为本申请实施例提供的一种解码器的详细框架示意图。如图20所示，该框架主要包括：特征提取模块2001、运动压缩模块2002、运动补偿模块2003、预测增强模块2004、残差压缩模块2005、熵解码模块2006、特征增强及重建模块2007和加法器2008。其中，仍以三帧参考图像为例，这里的预测增强模块2004也可以用于实现前述预测增强模块的功能，根据三帧参考图像各自的参考图像特征对运动补偿模块2003输出的初始预测图像特征进行增强处理。
在图20中，对于解码端，获得运动参量的比特流和残差图像特征的比特流之后，可以分别进行熵解码获得其对应的解码特征即Mt和Yt，再经过自编码器的解码部分分别获得重建运动参量和重建残差特征然后利用重建运动参量和参考图像(已解码图像)生成初始预测图像特征Pt；再利用多参考图像特征进行增强处理，生成目标预测图像特征最后将其和重建残差特征相加后进行特征增强和重建能够生成重建图像
在本申请实施例中，针对上述的各个模块进行详细说明：
(1)运动参量的比特流和残差图像特征的比特流进行熵解码，获得其对应的解码特征即Mt和Yt。其中，熵编码和解码可以为任意的熵编解码器，该过程为无损的。
(2)经过运动参量自编码器的解码部分获得重建运动参量具体过程如下所示：
其中，fdecoder(*)为运动参量自编码器的解码部分，和编码端中运动参量自编码器的解码部分为同一个网络。
(3)利用重建运动参量和参考图像特征成初始预测图像特征Pt，具体过程如下所示：
其中，Dconv(*)为可变形卷积，为两层卷积网络增强特征，最终生成初始预测图像特征，和编码端使用同一个网络，具体结构如图9所示。
(4)利用与编码端相同的方法进行增强处理，生成最终的目标预测图像特征
(5)经过残差自编码器的解码部分将Yt转换为重建残差特征具体过程如下所示：
其中fdecoder_R(*)为残差自编码器的解码部分，和编码端中残差自编码器的解码部分为同一个网络。
(6)目标预测图像特征和重建残差特征相加，再进行特征增强和重建能够生成重建图像具体过程如下所示：
其中，fenh_x(*)为增强重建网络，使用多层基于残差结构的卷积块，和编码端使用同一个网络，具体结构如图11所示。
需要注意的是，由于编码端与解码端的一致性需求，编码端会生成重建图像；因此整个解码过程都会存在于编码端，所以解码端的网络均在编码端具有相应的网络，且均为同一个。
进一步地，在本申请实施例中，对于训练过程，本申请实施例可以将预测增强模块嵌入到相关技术中的全网络视频编码方法中，用于运动补偿生成预测图像后进一步增强预测图像特征，生成增强后的目标预测图像特征；因此，本申请实施例的方法可以和相关技术一起进行端到端的训练，不改变相关技术的训练方法。
进一步地，在本申请实施例中，目标预测图像特征的生成可以不采用残差结构，直接生成最终的目标预测图像特征。
进一步地，在本申请实施例中，利用可变形卷积将参考图像校正到当前预测图像的过程可以直接用卷积生成，即直接将预测图像和过去重建的参考图像特征融合，利用卷积生成最终的目标预测图像特征。
进一步地，在本申请实施例中，这里的增强部分也可以描述为FVC方案或其他编解码网络方案中增加了一个预测图像特征增强模式，即编码一个比特位表示预测图像特征增强模式。当使用该模式时，可以使用本申请实施例的编码/解码方法。
简单来说，本申请实施例提出一种基于多图像增强的预测图像生成方法，利用过去时刻的重建图像对当前时刻的预测图像进行增强，提升预测图像质量；该过程包括将过去时刻的重建图像分别校正到当前时刻的预测图像，然后将多图像校正的预测图像和当前时刻的预测图像融合生成更高质量的预测图像。
示例性地，本申请实施例的预测增强技术在嵌入到FVC方案之后，可以有效提升编解码效率。其中，表1示出了本申请实施例的预测增强技术相对于FVC方案的提升效果，具体提升为码率节省(Delta Bit Rate，BDBR)。根据表1的测试结果可知，相比于FVC方案，本申请实施例的平均码率节省(BDBR)约为3.73％。
还需要说明的是，在本申请实施例中，这里的预测增强技术不仅可以应用于FVC方案，也可以应用于DCVC方案，甚至还可以应用于其他视频编码网络方案，这里对此不作任何限定。
在本申请实施例中，通过上述实施例对前述实施例的具体实现进行详细阐述，从中可以看出，根据前述实施例的技术方案，这里主要解决如下技术问题：一方面，在传统预测图像特征的生成过程中，需要用到运动估计的运动矢量表示(偏移量)，而运动矢量表示(偏移量)需要压缩传输至解码端，该过程为有损过程，因此重建的运动矢量表示(偏移量)存在有失真，相应地生成的预测图像特征有失真。本申请实施例可以通过利用过去时刻的重建图像对预测图像特征进行增强，从而能够提升预测图像质量，减少该失真。另一方面，单一的参考图像并不能较好地生成当前图像的预测图像，比如由于运动产生的遮挡区域等，然而该遮挡区域可能包含在过去图像中，因此本申请实施例提出利用过去时刻的重建图像可以有效提升预测图像质量。这样，根据高质量的预测图像，不仅能够提升当前图像的重建图像质量，还能够提升编解码效率，同时还提升了视频编解码性能。
在本申请的再一实施例中，基于前述实施例相同的发明构思，参见图21，其示出了本申请实施例提供的一种编码器的组成结构示意图。如图21所示，编码器210可以包括：第一确定单元2101和第一增强单元2102；其中，
第一确定单元2101，配置为确定当前图像的重建运动参量；以及根据重建运动参量，确定当前图像的初始预测图像特征；
第一增强单元2102，配置为根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的残差图像特征。
在一些实施例中，第一确定单元2101，还配置为确定第一参考图像；根据第一参考图像和当前图像，确定第一运动参量；以及对第一运动参量进行编码以及解码处理，确定当前图像的重建运动参量。
在一些实施例中，参见图21，编码器210还可以包括第一提取单元2103和运动估计单元2104；其中：
第一提取单元2103，配置为对当前图像和第一参考图像分别进行特征提取，确定当前图像特征和第一参考图像特征；
运动估计单元2104，配置为根据第一参考图像特征和当前图像特征进行运动估计，确定第一运动参量。
在一些实施例中，第一提取单元2103，还配置为通过特征提取模块对当前图像进行特征提取，得到当前图像特征；以及通过特征提取模块对第一参考图像进行特征提取，得到第一参考图像特征。
在一些实施例中，运动估计单元2104，还配置为通过运动参量生成模块对第一参考图像特征和当前图像特征进行运动估计，确定第一运动参量。
在一些实施例中，运动参量生成模块包括第三拼接模块和第六卷积模块；相应地，运动估计单元2104，还配置为通过第三拼接模块对第一参考图像特征和当前图像特征进行拼接操作，得到第八中间特征；以及通过第六卷积模块对第八中间特征进行卷积操作，得到第一运动参量。
在一些实施例中，参见图21，编码器210还可以包括编码单元2105，配置为通过自编码器对第一运动参量进行编码以及解码处理，确定当前图像的重建运动参量。
在一些实施例中，自编码器包括编码模块和解码模块；相应地，编码单元2105，还配置为通过自编码器的编码模块对第一运动参量进行编码处理，将所得到的编码比特写入码流；以及通过自编码器的解码模块对码流进行解码处理，得到当前图像的重建运动参量。
在一些实施例中，参见图21，编码器210还可以包括第一补偿单元2106；其中：
第一确定单元2101，还配置为确定第一参考图像；
第一提取单元2103，还配置为对第一参考图像进行特征提取，确定第一参考图像特征；
第一补偿单元2106，配置为根据第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征。
在一些实施例中，第一参考图像与当前图像相邻，且第一参考图像为当前图像在前一个时刻的已重 建图像。
在一些实施例中，第一补偿单元2106，还配置为通过预测特征生成模块对第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征。
在一些实施例中，预测特征生成模块包括第四卷积模块、第二拼接模块、第五卷积模块和第三加法模块；相应地，第一补偿单元2106，还配置为通过第四卷积模块对重建运动参量与第一参考图像特征进行可变形卷积操作，得到第三中间特征；通过第二拼接模块对第三中间特征与第一参考图像特征进行拼接操作，得到第四中间特征；通过第五卷积模块对第四中间特征进行卷积操作，得到第五中间特征；以及通过第三加法模块对第三中间特征和第五中间特征进行加法运算，得到初始预测图像特征。
在一些实施例中，第四卷积模块包括第二可变形卷积层；第二拼接模块包括第二拼接层；第五卷积模块包括第五卷积层。
在一些实施例中，第一提取单元2103，还配置为对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征；
第一增强单元2102，还配置为根据至少一个参考图像特征对初始预测图像特征进行增强处理，确定目标预测图像特征。
在一些实施例中，第一提取单元2103，还配置为通过特征提取模块对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征。
在一些实施例中，至少一个参考图像包括第一参考图像、第二参考图像和第三参考图像；相应地，第一提取单元2103，还配置为通过特征提取模块对第一参考图像进行特征提取，得到第一参考图像特征；通过特征提取模块对第二参考图像进行特征提取，得到第二参考图像特征；通过特征提取模块对第三参考图像进行特征提取，得到第三参考图像特征；以及将第一参考图像特征、第二参考图像特征和第三参考图像特征确定为至少一个参考图像特征。
在一些实施例中，第一参考图像为当前图像在前一个时刻的已重建图像；第二参考图像为当前图像在前两个时刻的已重建图像；第三参考图像为当前图像在前三个时刻的已重建图像。
在一些实施例中，第一增强单元2102，还配置为通过预测增强模块对至少一个参考图像特征和初始预测图像特征进行增强操作，确定目标预测图像特征。
在一些实施例中，预测增强模块包括第一卷积模块、第一拼接模块、第二卷积模块和第一加法模块；相应地，第一增强单元2102，还配置为通过第一卷积模块对至少一个参考图像特征和初始预测图像特征分别进行卷积操作，得到至少一个校正特征；通过第一拼接模块对至少一个校正特征与初始预测图像特征进行拼接操作，得到拼接特征；通第二卷积模块对拼接特征进行卷积融合处理，得到融合校正特征；以及通过第一加法模块对融合校正特征与初始预测图像特征进行加法运算，得到目标预测图像特征。
在一些实施例中，第一卷积模块包括至少一个卷积子模块，所示卷积子模块的数量与至少一个参考图像中的参考图像数量具有对应关系。
在一些实施例中，卷积子模块包括第一卷积层和第一可变形卷积层；第一拼接模块包括第一拼接层；第二卷积模块包括第二卷积层。
在一些实施例中，卷积子模块包括第一卷积层；第一拼接模块包括第一拼接层；第二卷积模块包括第二卷积层。
在一些实施例中，特征提取模块包括第三卷积模块、至少一个残差模块和第二加法模块；相应地，第一提取单元2103，还配置为通过第三卷积模块对第一参考图像进行特征提取，得到第一中间特征；通过至少一个残差模块对第一中间特征进行特征提取，得到第二中间特征；以及通过第二加法模块对第一中间特征和第二中间特征进行加法运算，得到第一参考图像特征。
在一些实施例中，参见图21，编码器210还可以包括第一重建单元2107；其中：
第一确定单元2101，还配置为确定当前图像的重建残差特征；以及根据重建残差特征和目标预测图像特征，确定重建图像特征；
第一重建单元2107，配置为对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像。
在一些实施例中，第一确定单元2101，还配置为确定当前图像对应的当前图像特征；以及根据当前图像特征和目标预测图像特征，确定残差图像特征；
编码单元2105，还配置为对残差图像特征进行编码以及解码处理，确定当前图像的重建残差特征。
在一些实施例中，第一确定单元2101，还配置为通过第一减法模块对当前图像特征和目标预测图像特征进行减法运算，得到残差图像特征。
在一些实施例中，编码单元2105，还配置为通过自编码器的编码模块对残差图像特征进行编码处理，将所得到的编码比特写入码流；以及通过自编码器的解码模块对码流进行解码处理，得到当前图像 的重建残差特征。
在一些实施例中，第一确定单元2101，还配置为通过第四加法模块对重建残差特征和目标预测图像特征进行加法运算，得到重建图像特征。
在一些实施例中，第一重建单元2107，还配置为通过重建增强模块对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像。
在一些实施例中，重建增强模块包括至少一个残差模块、第五加法模块和反卷积模块；相应地，第一重建单元2107，还配置为通过至少一个残差模块对重建图像特征进行特征提取，得到第六中间特征；通过第五加法模块对第六中间特征与重建图像特征进行加法运算，得到第七中间特征；以及通过反卷积模块对第七中间特征进行反卷积操作，得到当前图像的重建图像。
在一些实施例中，第一确定单元2101，还配置为确定第一标识信息的取值；
编码单元2105，还配置为通过自编码器的编码模块对第一标识信息的取值进行编码，将所得到的编码比特写入码流；其中，第一标识信息用于指示当前图像是否使用预测图像特征增强模式。
在一些实施例中，第一确定单元2101，还配置为若第一标识信息指示当前图像使用预测图像特征增强模式，则确定第一标识信息的取值为第一值；若第一标识信息指示当前图像不使用预测图像特征增强模式，则确定第一标识信息的取值为第二值。
在一些实施例中，第一确定单元2101，还配置为若第一标识信息指示当前图像使用预测图像特征增强模式，则执行根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征的步骤。
在一些实施例中，第一确定单元2101，还配置为确定预设网络模型；以及对预设网络模型进行端到端训练，确定目标网络模型，目标网络模型用于对当前图像进行编码以及解码重建操作；其中，预设网络模型包括初始网络模型和预测增强模块，且初始网络模型至少包括：特征提取模块、运动参量生成模块、自编码器、预测特征生成模块和重建增强模块。
可以理解地，在本申请实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本申请实施例提供了一种计算机可读存储介质，应用于编码器210，该计算机可读存储介质存储有计算机程序，所述计算机程序被第一处理器执行时实现前述实施例中任一项所述的方法。
基于编码器210的组成以及计算机可读存储介质，参见图22，其示出了本申请实施例提供的编码器210的具体硬件结构示意图。如图22所示，编码器210可以包括：第一通信接口2201、第一存储器2202和第一处理器2203；各个组件通过第一总线系统2204耦合在一起。可理解，第一总线系统2204用于实现这些组件之间的连接通信。第一总线系统2204除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图22中将各种总线都标为第一总线系统2204。其中，
第一通信接口2201，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
第一存储器2202，用于存储能够在第一处理器2203上运行的计算机程序；
第一处理器2203，用于在运行所述计算机程序时，执行：
确定当前图像的重建运动参量；
根据重建运动参量，确定当前图像的初始预测图像特征；
根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的残差图像特征。
可以理解，本申请实施例中的第一存储器2202可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多 形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请描述的系统和方法的第一存储器2202旨在包括但不限于这些和任意其它适合类型的存储器。
而第一处理器2203可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过第一处理器2203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第一处理器2203可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于第一存储器2202，第一处理器2203读取第一存储器2202中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable Logic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。对于软件实现，可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，第一处理器2203还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法。
本实施例提供了一种编码器，对于该编码器而言，根据重建运动参量确定出当前图像的初始预测图像特征之后，可以利用已经重建的参考图像对初始预测图像特征进行增强处理，从而能够提升预测图像质量，减少预测图像失真；另外，由于运动产生的遮挡区域等原因，单一的参考图像并不能较好地生成预测图像，这时候利用已经重建的至少一个参考图像对初始预测图像特征进行增强处理，能够进一步提升预测图像质量，进而还能够提升当前图像的重建图像质量，并且提升了编解码效率。
在本申请的再一实施例中，基于前述实施例相同的发明构思，参见图23，其示出了本申请实施例提供的一种解码器的组成结构示意图。如图23所示，解码器230可以包括：解码单元2301、第二确定单元2302和第二增强单元2303；其中，
解码单元2301，配置为解码码流，确定当前图像的重建运动参量；
第二确定单元2302，配置为根据重建运动参量，确定当前图像的初始预测图像特征；
第二增强单元2303，配置为根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的重建图像。
在一些实施例中，参见图23，解码器230还可以包括第二提取单元2304，配置为对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征；
第二增强单元2303，还配置为根据至少一个参考图像特征对初始预测图像特征进行增强处理，确定目标预测图像特征。
在一些实施例中，第二提取单元2304，还配置为通过特征提取模块对至少一个参考图像分别进行特征提取，确定至少一个参考图像特征。
在一些实施例中，至少一个参考图像包括第一参考图像、第二参考图像和第三参考图像；相应地，第二提取单元2304，还配置为通过特征提取模块对第一参考图像进行特征提取，得到第一参考图像特征；通过特征提取模块对第二参考图像进行特征提取，得到第二参考图像特征；通过特征提取模块对第三参考图像进行特征提取，得到第三参考图像特征；以及将第一参考图像特征、第二参考图像特征和第三参考图像特征确定为至少一个参考图像特征。
在一些实施例中，第一参考图像为当前图像在前一个时刻的已重建图像；第二参考图像为当前图像在前两个时刻的已重建图像；第三参考图像为当前图像在前三个时刻的已重建图像。
在一些实施例中，第二增强单元2303，还配置为通过预测增强模块对至少一个参考图像特征和初 始预测图像特征进行增强操作，确定目标预测图像特征。
在一些实施例中，预测增强模块包括第一卷积模块、第一拼接模块、第二卷积模块和第一加法模块；相应地，第二增强单元2303，还配置为通过第一卷积模块对至少一个参考图像特征和初始预测图像特征分别进行卷积操作，得到至少一个校正特征；通过第一拼接模块对至少一个校正特征与初始预测图像特征进行拼接操作，得到拼接特征；通第二卷积模块对拼接特征进行卷积融合处理，得到融合校正特征；以及通过第一加法模块对融合校正特征与初始预测图像特征进行加法运算，得到目标预测图像特征。
在一些实施例中，第一卷积模块包括至少一个卷积子模块，所示卷积子模块的数量与至少一个参考图像中的参考图像数量具有对应关系。
在一些实施例中，卷积子模块包括第一卷积层和第一可变形卷积层；第一拼接模块包括第一拼接层；第二卷积模块包括第二卷积层。
在一些实施例中，卷积子模块包括第一卷积层；第一拼接模块包括第一拼接层；第二卷积模块包括第二卷积层。
在一些实施例中，特征提取模块包括第三卷积模块、至少一个残差模块和第二加法模块；相应地，第二提取单元2304，还配置为通过第三卷积模块对第一参考图像进行特征提取，得到第一中间特征；通过至少一个残差模块对第一中间特征进行特征提取，得到第二中间特征；以及通过第二加法模块对第一中间特征和第二中间特征进行加法运算，得到第一参考图像特征。
在一些实施例中，参见图23，解码器还可以包括第二补偿单元2305；其中：
第二确定单元2302，还配置为确定第一参考图像；
第二提取单元2304，还配置为对第一参考图像进行特征提取，确定第一参考图像特征；
第二补偿单元2305，配置为根据第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征。
在一些实施例中，第一参考图像与当前图像相邻，且第一参考图像为当前图像在前一个时刻的已重建图像。
在一些实施例中，第二补偿单元2305，还配置为通过预测特征生成模块对第一参考图像特征和重建运动参量进行运动补偿，确定初始预测图像特征。
在一些实施例中，预测特征生成模块包括第四卷积模块、第二拼接模块、第五卷积模块和第三加法模块；相应地，第二补偿单元2305，还配置为通过第四卷积模块对重建运动参量与第一参考图像特征进行可变形卷积操作，得到第三中间特征；通过第二拼接模块对第三中间特征与第一参考图像特征进行拼接操作，得到第四中间特征；通过第五卷积模块对第四中间特征进行卷积操作，得到第五中间特征；以及通过第三加法模块对第三中间特征和第五中间特征进行加法运算，得到初始预测图像特征。
在一些实施例中，第四卷积模块包括第二可变形卷积层；第二拼接模块包括第二拼接层；第五卷积模块包括第五卷积层。
在一些实施例中，参见图23，解码器还可以包括第二重建单元2306；其中：
解码单元2301，还配置为解码码流，确定当前图像的重建残差特征；
第二确定单元2302，还配置为根据重建残差特征和目标预测图像特征，确定重建图像特征；
第二重建单元2306，配置为对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像。
在一些实施例中，第二确定单元2302，还配置为通过第四加法模块对重建残差特征和目标预测图像特征进行加法运算，得到重建图像特征。
在一些实施例中，第二重建单元2306，还配置为通过重建增强模块对重建图像特征进行特征增强以及重建处理，确定当前图像的重建图像。
在一些实施例中，重建增强模块包括至少一个残差模块、第五加法模块和反卷积模块；相应地，第二重建单元2306，还配置为通过至少一个残差模块对重建图像特征进行特征提取，得到第六中间特征；通过第五加法模块对第六中间特征与重建图像特征进行加法运算，得到第七中间特征；以及通过反卷积模块对第七中间特征进行反卷积操作，得到当前图像的重建图像。
在一些实施例中，解码单元2301，配置为解码码流，确定第一标识信息的取值；
第二确定单元2302，还配置为若第一标识信息指示当前图像使用预测图像特征增强模式，则执行根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征的步骤。
在一些实施例中，第二确定单元2302，还配置为若第一标识信息的取值为第一值，则确定第一标识信息指示当前图像使用预测图像特征增强模式；若第一标识信息的取值为第二值，则确定第一标识信息指示当前图像不使用预测图像特征增强模式。
在一些实施例中，第二确定单元2302，还配置为确定预设网络模型；以及对预设网络模型进行端 到端训练，确定目标网络模型，目标网络模型用于对当前图像进行编码以及解码重建操作；其中，预设网络模型包括初始网络模型和预测增强模块，且初始网络模型至少包括：特征提取模块、运动参量生成模块、自编码器、预测特征生成模块和重建增强模块。
可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例提供了一种计算机可读存储介质，应用于解码器230，该计算机可读存储介质存储有计算机程序，所述计算机程序被第二处理器执行时实现前述实施例中任一项所述的方法。
基于解码器230的组成以及计算机可读存储介质，参见图24，其示出了本申请实施例提供的解码器230的具体硬件结构示意图。如图24所示，解码器230可以包括：第二通信接口2401、第二存储器2402和第二处理器2403；各个组件通过第二总线系统2404耦合在一起。可理解，第二总线系统2404用于实现这些组件之间的连接通信。第二总线系统2404除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图24中将各种总线都标为第二总线系统2404。其中，
第二通信接口2401，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
第二存储器2402，用于存储能够在第二处理器2403上运行的计算机程序；
第二处理器2403，用于在运行所述计算机程序时，执行：
解码码流，确定当前图像的重建运动参量；
根据重建运动参量，确定当前图像的初始预测图像特征；
根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，目标预测图像特征用于确定当前图像的重建图像。
可选地，作为另一个实施例，第二处理器2403还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法。
可以理解，第二存储器2402与第一存储器2202的硬件功能类似，第二处理器2403与第一处理器2203的硬件功能类似；这里不再详述。
本实施例提供了一种解码器，对于该解码器而言，根据重建运动参量确定出当前图像的初始预测图像特征之后，可以利用已经重建的参考图像对初始预测图像特征进行增强处理，从而能够提升预测图像质量，减少预测图像失真；另外，由于运动产生的遮挡区域等原因，单一的参考图像并不能较好地生成预测图像，这时候利用已经重建的至少一个参考图像对初始预测图像特征进行增强处理，能够进一步提升预测图像质量，进而还能够提升当前图像的重建图像质量，并且提升了编解码效率。
在本申请的再一实施例中，参见图25，其示出了本申请实施例提供的一种编解码系统的组成结构示意图。如图25所示，编解码系统250可以包括编码器2501和解码器2502。其中，编码器2501可以为前述实施例中任一项所述的编码器，解码器2502可以为前述实施例中任一项所述的解码器。
需要说明的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
工业实用性
本申请实施例中，无论是编码端还是解码端，在确定当前图像的重建运动参量之后，根据重建运动参量，确定当前图像的初始预测图像特征；然后再根据至少一个参考图像对初始预测图像特征进行增强处理，确定当前图像的目标预测图像特征；其中，在编码端，目标预测图像特征用于确定当前图像的残差图像特征；然后通过码流传输到解码端，以使得解码端根据残差图像特征和目标预测图像特征能够确定出当前图像的重建图像。这样，根据重建运动参量确定出当前图像的初始预测图像特征之后，可以利用已经重建的参考图像对初始预测图像特征进行增强处理，从而能够提升预测图像质量，减少预测图像失真；另外，由于运动产生的遮挡区域等原因，单一的参考图像并不能较好地生成预测图像，这时候利用已经重建的至少一个参考图像对初始预测图像特征进行增强处理，能够进一步提升预测图像质量，进而还能够提升当前图像的重建图像质量，并且提升了编解码效率。

Claims (63)

  1. 一种解码方法，应用于解码器，所述方法包括：
    解码码流，确定当前图像的重建运动参量；
    根据所述重建运动参量，确定所述当前图像的初始预测图像特征；
    根据至少一个参考图像对所述初始预测图像特征进行增强处理，确定所述当前图像的目标预测图像特征；其中，所述目标预测图像特征用于确定所述当前图像的重建图像。
  2. 根据权利要求1所述的方法，其中，所述根据至少一个参考图像对所述初始预测图像特征进行增强处理，确定所述当前图像的目标预测图像特征，包括：
    对所述至少一个参考图像分别进行特征提取，确定至少一个参考图像特征；
    根据所述至少一个参考图像特征对所述初始预测图像特征进行增强处理，确定所述目标预测图像特征。
  3. 根据权利要求2所述的方法，其中，所述对所述至少一个参考图像分别进行特征提取，确定至少一个参考图像特征，包括：
    通过特征提取模块对所述至少一个参考图像分别进行特征提取，确定所述至少一个参考图像特征。
  4. 根据权利要求3所述的方法，其中，所述至少一个参考图像包括第一参考图像、第二参考图像和第三参考图像；
    所述通过特征提取模块对所述至少一个参考图像分别进行特征提取，确定所述至少一个参考图像特征，包括：
    通过所述特征提取模块对所述第一参考图像进行特征提取，得到第一参考图像特征；
    通过所述特征提取模块对所述第二参考图像进行特征提取，得到第二参考图像特征；
    通过所述特征提取模块对所述第三参考图像进行特征提取，得到第三参考图像特征；
    将所述第一参考图像特征、所述第二参考图像特征和所述第三参考图像特征确定为所述至少一个参考图像特征。
  5. 根据权利要求4所述的方法，其中，
    所述第一参考图像为所述当前图像在前一个时刻的已重建图像；
    所述第二参考图像为所述当前图像在前两个时刻的已重建图像；
    所述第三参考图像为所述当前图像在前三个时刻的已重建图像。
  6. 根据权利要求2所述的方法，其中，所述根据所述至少一个参考图像特征对所述初始预测图像特征进行增强处理，确定所述目标预测图像特征，包括：
    通过预测增强模块对所述至少一个参考图像特征和所述初始预测图像特征进行增强操作，确定所述目标预测图像特征。
  7. 根据权利要求6所述的方法，其中，所述预测增强模块包括第一卷积模块、第一拼接模块、第二卷积模块和第一加法模块；
    所述通过预测增强模块对所述至少一个参考图像特征和所述初始预测图像特征进行增强操作，确定所述目标预测图像特征，包括：
    通过所述第一卷积模块对所述至少一个参考图像特征和所述初始预测图像特征分别进行卷积操作，得到至少一个校正特征；
    通过所述第一拼接模块对所述至少一个校正特征与所述初始预测图像特征进行拼接操作，得到拼接特征；
    通所述第二卷积模块对所述拼接特征进行卷积融合处理，得到融合校正特征；
    通过所述第一加法模块对所述融合校正特征与所述初始预测图像特征进行加法运算，得到所述目标预测图像特征。
  8. 根据权利要求7所述的方法，其中，所述第一卷积模块包括至少一个卷积子模块，所示卷积子模块的数量与所述至少一个参考图像中的参考图像数量具有对应关系。
  9. 根据权利要求8所述的方法，其中，
    所述卷积子模块包括第一卷积层和第一可变形卷积层；
    所述第一拼接模块包括第一拼接层；
    所述第二卷积模块包括第二卷积层。
  10. 根据权利要求8所述的方法，其中，
    所述卷积子模块包括第一卷积层；
    所述第一拼接模块包括第一拼接层；
    所述第二卷积模块包括第二卷积层。
  11. 根据权利要求4所述的方法，其中，所述特征提取模块包括第三卷积模块、至少一个残差模块和第二加法模块；
    所述通过所述特征提取模块对所述第一参考图像进行特征提取，得到第一参考图像特征，包括：
    通过所述第三卷积模块对所述第一参考图像进行特征提取，得到第一中间特征；
    通过所述至少一个残差模块对所述第一中间特征进行特征提取，得到第二中间特征；
    通过所述第二加法模块对所述第一中间特征和所述第二中间特征进行加法运算，得到所述第一参考图像特征。
  12. 根据权利要求1所述的方法，其中，所述根据所述重建运动参量，确定所述当前图像的初始预测图像特征，包括：
    确定第一参考图像；
    对所述第一参考图像进行特征提取，确定第一参考图像特征；
    根据所述第一参考图像特征和所述重建运动参量进行运动补偿，确定所述初始预测图像特征。
  13. 根据权利要求12所述的方法，其中，所述第一参考图像与所述当前图像相邻，且所述第一参考图像为所述当前图像在前一个时刻的已重建图像。
  14. 根据权利要求12所述的方法，其中，所述根据所述第一参考图像特征和所述重建运动参量进行运动补偿，确定所述初始预测图像特征，包括：
    通过预测特征生成模块对所述第一参考图像特征和所述重建运动参量进行运动补偿，确定所述初始预测图像特征。
  15. 根据权利要求14所述的方法，其中，所述预测特征生成模块包括第四卷积模块、第二拼接模块、第五卷积模块和第三加法模块；
    所述通过预测特征生成模块对所述第一参考图像特征和所述重建运动参量进行运动补偿，确定所述初始预测图像特征，包括：
    通过所述第四卷积模块对所述重建运动参量与所述第一参考图像特征进行可变形卷积操作，得到第三中间特征；
    通过所述第二拼接模块对所述第三中间特征与所述第一参考图像特征进行拼接操作，得到第四中间特征；
    通过所述第五卷积模块对所述第四中间特征进行卷积操作，得到第五中间特征；
    通过所述第三加法模块对所述第三中间特征和所述第五中间特征进行加法运算，得到所述初始预测图像特征。
  16. 根据权利要求15所述的方法，其中，
    所述第四卷积模块包括第二可变形卷积层；
    所述第二拼接模块包括第二拼接层；
    所述第五卷积模块包括第五卷积层。
  17. 根据权利要求1至16中任一项所述的方法，其中，所述方法还包括：
    解码码流，确定所述当前图像的重建残差特征；
    根据所述重建残差特征和所述目标预测图像特征，确定重建图像特征；
    对所述重建图像特征进行特征增强以及重建处理，确定所述当前图像的重建图像。
  18. 根据权利要求17所述的方法，其中，所述根据所述重建残差特征和所述目标预测图像特征，确定重建图像特征，包括：
    通过第四加法模块对所述重建残差特征和所述目标预测图像特征进行加法运算，得到所述重建图像特征。
  19. 根据权利要求17所述的方法，其中，所述对所述重建图像特征进行特征增强以及重建处理，确定所述当前图像的重建图像，包括：
    通过重建增强模块对所述重建图像特征进行特征增强以及重建处理，确定所述当前图像的重建图像。
  20. 根据权利要求19所述的方法，其中，所述重建增强模块包括至少一个残差模块、第五加法模块和反卷积模块；
    所述通过重建增强模块对所述重建图像特征进行特征增强以及重建处理，确定所述当前图像的重建图像，包括：
    通过所述至少一个残差模块对所述重建图像特征进行特征提取，得到第六中间特征；
    通过所述第五加法模块对所述第六中间特征与所述重建图像特征进行加法运算，得到第七中间特征；
    通过所述反卷积模块对所述第七中间特征进行反卷积操作，得到所述当前图像的重建图像。
  21. 根据权利要求1至20中任一项所述的方法，其中，所述方法还包括：
    解码码流，确定第一标识信息的取值；
    若所述第一标识信息指示所述当前图像使用预测图像特征增强模式，则执行所述根据至少一个参考图像对所述初始预测图像特征进行增强处理，确定所述当前图像的目标预测图像特征的步骤。
  22. 根据权利要求21所述的方法，其中，所述解码码流，确定第一标识信息的取值，包括：
    若所述第一标识信息的取值为第一值，则确定所述第一标识信息指示所述当前图像使用预测图像特征增强模式；
    若所述第一标识信息的取值为第二值，则确定所述第一标识信息指示所述当前图像不使用预测图像特征增强模式。
  23. 根据权利要求1至22中任一项所述的方法，其中，所述方法还包括：
    确定预设网络模型；
    对所述预设网络模型进行端到端训练，确定目标网络模型，所述目标网络模型用于对所述当前图像进行编码以及解码重建操作；
    其中，所述预设网络模型包括初始网络模型和预测增强模块，且所述初始网络模型至少包括：特征提取模块、运动参量生成模块、自编码器、预测特征生成模块和重建增强模块。
  24. 一种编码方法，应用于编码器，所述方法包括：
    确定当前图像的重建运动参量；
    根据所述重建运动参量，确定所述当前图像的初始预测图像特征；
    根据至少一个参考图像对所述初始预测图像特征进行增强处理，确定所述当前图像的目标预测图像特征；其中，所述目标预测图像特征用于确定所述当前图像的残差图像特征。
  25. 根据权利要求24所述的方法，其中，所述确定当前图像的重建运动参量，包括：
    确定第一参考图像；
    根据所述第一参考图像和所述当前图像，确定第一运动参量；
    对所述第一运动参量进行编码以及解码处理，确定所述当前图像的重建运动参量。
  26. 根据权利要求25所述的方法，其中，所述根据所述第一参考图像和所述当前图像，确定第一运动参量，包括：
    对所述当前图像和所述第一参考图像分别进行特征提取，确定当前图像特征和第一参考图像特征；
    根据所述第一参考图像特征和所述当前图像特征进行运动估计，确定所述第一运动参量。
  27. 根据权利要求26所述的方法，其中，所述对所述当前图像和所述第一参考图像分别进行特征提取，确定当前图像特征和第一参考图像特征，包括：
    通过特征提取模块对所述当前图像进行特征提取，得到所述当前图像特征；
    通过所述特征提取模块对所述第一参考图像进行特征提取，得到所述第一参考图像特征。
  28. 根据权利要求26所述的方法，其中，所述根据所述第一参考图像特征和所述当前图像特征进行运动估计，确定所述第一运动参量，包括：
    通过运动参量生成模块对所述第一参考图像特征和所述当前图像特征进行运动估计，确定所述第一运动参量。
  29. 根据权利要求28所述的方法，其中，所述运动参量生成模块包括第三拼接模块和第六卷积模块；
    所述通过运动参量生成模块对所述第一参考图像特征和所述当前图像特征进行运动估计，得到所述第一运动参量，包括：
    通过所述第三拼接模块对所述第一参考图像特征和所述当前图像特征进行拼接操作，得到第八中间特征；
    通过所述第六卷积模块对所述第八中间特征进行卷积操作，得到所述第一运动参量。
  30. 根据权利要求25所述的方法，其中，所述对所述第一运动参量进行编码以及解码处理，确定所述当前图像的重建运动参量，包括：
    通过自编码器对所述第一运动参量进行编码以及解码处理，确定所述当前图像的重建运动参量。
  31. 根据权利要求30所述的方法，其中，所述自编码器包括编码模块和解码模块；
    所述通过自编码器对所述第一运动参量进行编码以及解码处理，确定所述当前图像的重建运动参量，包括：
    通过所述自编码器的编码模块对所述第一运动参量进行编码处理，将所得到的编码比特写入码流；
    通过所述自编码器的解码模块对所述码流进行解码处理，得到所述当前图像的重建运动参量。
  32. 根据权利要求24所述的方法，其中，所述根据所述重建运动参量，确定所述当前图像的初始预测图像特征，包括：
    确定第一参考图像；
    对所述第一参考图像进行特征提取，确定第一参考图像特征；
    根据所述第一参考图像特征和所述重建运动参量进行运动补偿，确定所述初始预测图像特征。
  33. 根据权利要求25或32所述的方法，其中，所述第一参考图像与所述当前图像相邻，且所述第一参考图像为所述当前图像在前一个时刻的已重建图像。
  34. 根据权利要求32所述的方法，其中，所述根据所述第一参考图像特征和所述重建运动参量进行运动补偿，确定所述初始预测图像特征，包括：
    通过预测特征生成模块对所述第一参考图像特征和所述重建运动参量进行运动补偿，确定所述初始预测图像特征。
  35. 根据权利要求34所述的方法，其中，所述预测特征生成模块包括第四卷积模块、第二拼接模块、第五卷积模块和第三加法模块；
    所述通过预测特征生成模块对所述第一参考图像特征和所述重建运动参量进行运动补偿，确定所述初始预测图像特征，包括：
    通过所述第四卷积模块对所述重建运动参量与所述第一参考图像特征进行可变形卷积操作，得到第三中间特征；
    通过所述第二拼接模块对所述第三中间特征与所述第一参考图像特征进行拼接操作，得到第四中间特征；
    通过所述第五卷积模块对所述第四中间特征进行卷积操作，得到第五中间特征；
    通过所述第三加法模块对所述第三中间特征和所述第五中间特征进行加法运算，得到所述初始预测图像特征。
  36. 根据权利要求35所述的方法，其中，
    所述第四卷积模块包括第二可变形卷积层；
    所述第二拼接模块包括第二拼接层；
    所述第五卷积模块包括第五卷积层。
  37. 根据权利要求24所述的方法，其中，所述根据至少一个参考图像对所述初始预测图像特征进行增强处理，确定所述当前图像的目标预测图像特征，包括：
    对所述至少一个参考图像分别进行特征提取，确定至少一个参考图像特征；
    根据所述至少一个参考图像特征对所述初始预测图像特征进行增强处理，确定所述目标预测图像特征。
  38. 根据权利要求37所述的方法，其中，所述对所述至少一个参考图像分别进行特征提取，确定至少一个参考图像特征，包括：
    通过特征提取模块对所述至少一个参考图像分别进行特征提取，确定所述至少一个参考图像特征。
  39. 根据权利要求38所述的方法，其中，所述至少一个参考图像包括第一参考图像、第二参考图像和第三参考图像；
    所述通过特征提取模块对所述至少一个参考图像分别进行特征提取，确定所述至少一个参考图像特征，包括：
    通过所述特征提取模块对所述第一参考图像进行特征提取，得到第一参考图像特征；
    通过所述特征提取模块对所述第二参考图像进行特征提取，得到第二参考图像特征；
    通过所述特征提取模块对所述第三参考图像进行特征提取，得到第三参考图像特征；
    将所述第一参考图像特征、所述第二参考图像特征和所述第三参考图像特征确定为所述至少一个参考图像特征。
  40. 根据权利要求39所述的方法，其中，
    所述第一参考图像为所述当前图像在前一个时刻的已重建图像；
    所述第二参考图像为所述当前图像在前两个时刻的已重建图像；
    所述第三参考图像为所述当前图像在前三个时刻的已重建图像。
  41. 根据权利要求37所述的方法，其中，所述根据所述至少一个参考图像特征对所述初始预测图像特征进行增强处理，确定所述目标预测图像特征，包括：
    通过预测增强模块对所述至少一个参考图像特征和所述初始预测图像特征进行增强操作，确定所述目标预测图像特征。
  42. 根据权利要求41所述的方法，其中，所述预测增强模块包括第一卷积模块、第一拼接模块、 第二卷积模块和第一加法模块；
    所述通过预测增强模块对所述至少一个参考图像特征和所述初始预测图像特征进行增强操作，确定所述目标预测图像特征，包括：
    通过所述第一卷积模块对所述至少一个参考图像特征和所述初始预测图像特征分别进行卷积操作，得到至少一个校正特征；
    通过所述第一拼接模块对所述至少一个校正特征与所述初始预测图像特征进行拼接操作，得到拼接特征；
    通所述第二卷积模块对所述拼接特征进行卷积融合处理，得到融合校正特征；
    通过所述第一加法模块对所述融合校正特征与所述初始预测图像特征进行加法运算，得到所述目标预测图像特征。
  43. 根据权利要求42所述的方法，其中，所述第一卷积模块包括至少一个卷积子模块，所示卷积子模块的数量与所述至少一个参考图像中的参考图像数量具有对应关系。
  44. 根据权利要求43所述的方法，其中，
    所述卷积子模块包括第一卷积层和第一可变形卷积层；
    所述第一拼接模块包括第一拼接层；
    所述第二卷积模块包括第二卷积层。
  45. 根据权利要求43所述的方法，其中，
    所述卷积子模块包括第一卷积层；
    所述第一拼接模块包括第一拼接层；
    所述第二卷积模块包括第二卷积层。
  46. 根据权利要求39所述的方法，其中，所述特征提取模块包括第三卷积模块、至少一个残差模块和第二加法模块；
    所述通过所述特征提取模块对所述第一参考图像进行特征提取，得到第一参考图像特征，包括：
    通过所述第三卷积模块对所述第一参考图像进行特征提取，得到第一中间特征；
    通过所述至少一个残差模块对所述第一中间特征进行特征提取，得到第二中间特征；
    通过所述第二加法模块对所述第一中间特征和所述第二中间特征进行加法运算，得到所述第一参考图像特征。
  47. 根据权利要求24至46中任一项所述的方法，其中，所述方法还包括：
    确定所述当前图像的重建残差特征；
    根据所述重建残差特征和所述目标预测图像特征，确定重建图像特征；
    对所述重建图像特征进行特征增强以及重建处理，确定所述当前图像的重建图像。
  48. 根据权利要求47所述的方法，其中，所述确定所述当前图像的重建残差特征，包括：
    确定所述当前图像对应的当前图像特征；
    根据所述当前图像特征和所述目标预测图像特征，确定残差图像特征；
    对所述残差图像特征进行编码以及解码处理，确定所述当前图像的重建残差特征。
  49. 根据权利要求48所述的方法，其中，所述根据所述当前图像特征和所述目标预测图像特征，确定残差图像特征，包括：
    通过第一减法模块对所述当前图像特征和所述目标预测图像特征进行减法运算，得到所述残差图像特征。
  50. 根据权利要求48所述的方法，其中，所述对所述残差图像特征进行编码以及解码处理，确定所述当前图像的重建残差特征，包括：
    通过自编码器的编码模块对所述残差图像特征进行编码处理，将所得到的编码比特写入码流；
    通过自编码器的解码模块对所述码流进行解码处理，得到所述当前图像的重建残差特征。
  51. 根据权利要求47所述的方法，其中，所述根据所述重建残差特征和所述目标预测图像特征，确定重建图像特征，包括：
    通过第四加法模块对所述重建残差特征和所述目标预测图像特征进行加法运算，得到所述重建图像特征。
  52. 根据权利要求47所述的方法，其中，所述对所述重建图像特征进行特征增强以及重建处理，确定所述当前图像的重建图像，包括：
    通过重建增强模块对所述重建图像特征进行特征增强以及重建处理，确定所述当前图像的重建图像。
  53. 根据权利要求52所述的方法，其中，所述重建增强模块包括至少一个残差模块、第五加法模块和反卷积模块；
    所述通过重建增强模块对所述重建图像特征进行特征增强以及重建处理，确定所述当前图像的重建图像，包括：
    通过所述至少一个残差模块对所述重建图像特征进行特征提取，得到第六中间特征；
    通过所述第五加法模块对所述第六中间特征与所述重建图像特征进行加法运算，得到第七中间特征；
    通过所述反卷积模块对所述第七中间特征进行反卷积操作，得到所述当前图像的重建图像。
  54. 根据权利要求24至53中任一项所述的方法，其中，所述方法还包括：
    确定第一标识信息的取值；
    通过自编码器的编码模块对所述第一标识信息的取值进行编码，将所得到的编码比特写入码流；其中，所述第一标识信息用于指示所述当前图像是否使用预测图像特征增强模式。
  55. 根据权利要求54所述的方法，其中，所述确定第一标识信息的取值，包括：
    若所述第一标识信息指示所述当前图像使用预测图像特征增强模式，则确定所述第一标识信息的取值为第一值；
    若所述第一标识信息指示所述当前图像不使用预测图像特征增强模式，则确定所述第一标识信息的取值为第二值。
  56. 根据权利要求54所述的方法，其中，所述方法还包括：
    若所述第一标识信息指示所述当前图像使用预测图像特征增强模式，则执行所述根据至少一个参考图像对所述初始预测图像特征进行增强处理，确定所述当前图像的目标预测图像特征的步骤。
  57. 根据权利要求24至56中任一项所述的方法，其中，所述方法还包括：
    确定预设网络模型；
    对所述预设网络模型进行端到端训练，确定目标网络模型，所述目标网络模型用于对所述当前图像进行编码以及解码重建操作；
    其中，所述预设网络模型包括初始网络模型和预测增强模块，且所述初始网络模型至少包括：特征提取模块、运动参量生成模块、自编码器、预测特征生成模块和重建增强模块。
  58. 一种码流，其中，所述码流是根据待编码信息进行比特编码生成的；其中，待编码信息包括下述至少一项：
    当前图像的第一运动参量、残差图像特征和第一标识信息的取值；其中，所述第一标识信息用于指示所述当前图像是否使用预测图像特征增强模式。
  59. 一种编码器，所述编码器包括第一确定单元和第一增强单元；其中，
    所述第一确定单元，配置为确定当前图像的重建运动参量；以及根据所述重建运动参量，确定所述当前图像的初始预测图像特征；
    所述第一增强单元，配置为根据至少一个参考图像对所述初始预测图像特征进行增强处理，确定所述当前图像的目标预测图像特征；其中，所述目标预测图像特征用于确定所述当前图像的残差图像特征。
  60. 一种编码器，所述编码器包括第一存储器和第一处理器；其中，
    所述第一存储器，用于存储能够在所述第一处理器上运行的计算机程序；
    所述第一处理器，用于在运行所述计算机程序时，执行如权利要求24至57中任一项所述的方法。
  61. 一种解码器，所述解码器包括解码单元、第二确定单元和第二增强单元；其中，
    所述解码单元，配置为解码码流，确定当前图像的重建运动参量；
    所述第二确定单元，配置为根据所述重建运动参量，确定所述当前图像的初始预测图像特征；
    所述第二增强单元，配置为根据至少一个参考图像对所述初始预测图像特征进行增强处理，确定所述当前图像的目标预测图像特征；其中，所述目标预测图像特征用于确定所述当前图像的重建图像。
  62. 一种解码器，所述解码器包括第二存储器和第二处理器；其中，
    所述第二存储器，用于存储能够在所述第二处理器上运行的计算机程序；
    所述第二处理器，用于在运行所述计算机程序时，执行如权利要求1至23中任一项所述的方法。
  63. 一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1至23中任一项所述的方法、或者实现如权利要求24至57中任一项所述的方法。
PCT/CN2023/082173 2023-03-17 2023-03-17 编解码方法、码流、编码器、解码器以及存储介质 Ceased WO2024192563A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202380095829.1A CN121359455A (zh) 2023-03-17 2023-03-17 编解码方法、码流、编码器、解码器以及存储介质
PCT/CN2023/082173 WO2024192563A1 (zh) 2023-03-17 2023-03-17 编解码方法、码流、编码器、解码器以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/082173 WO2024192563A1 (zh) 2023-03-17 2023-03-17 编解码方法、码流、编码器、解码器以及存储介质

Publications (1)

Publication Number Publication Date
WO2024192563A1 true WO2024192563A1 (zh) 2024-09-26

Family

ID=92840667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/082173 Ceased WO2024192563A1 (zh) 2023-03-17 2023-03-17 编解码方法、码流、编码器、解码器以及存储介质

Country Status (2)

Country Link
CN (1) CN121359455A (zh)
WO (1) WO2024192563A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119835440A (zh) * 2024-12-26 2025-04-15 西安电子科技大学 基于嵌入式平台的视频压缩系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714321A (zh) * 2020-12-18 2021-04-27 深圳大学 压缩视频处理方法、装置、设备及计算机可读存储介质
CN113949883A (zh) * 2020-07-16 2022-01-18 武汉Tcl集团工业研究院有限公司 一种双向预测帧的编码方法、解码方法以及编解码系统
WO2022037146A1 (zh) * 2020-08-21 2022-02-24 Oppo广东移动通信有限公司 图像处理方法、装置、设备、计算机存储介质和系统
CN114339260A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 图像处理方法及装置
CN115511756A (zh) * 2021-06-23 2022-12-23 中兴通讯股份有限公司 视频增强处理方法、装置、电子设备和存储介质
CN115526773A (zh) * 2021-06-24 2022-12-27 中移(苏州)软件技术有限公司 图像重建方法及装置、设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949883A (zh) * 2020-07-16 2022-01-18 武汉Tcl集团工业研究院有限公司 一种双向预测帧的编码方法、解码方法以及编解码系统
WO2022037146A1 (zh) * 2020-08-21 2022-02-24 Oppo广东移动通信有限公司 图像处理方法、装置、设备、计算机存储介质和系统
CN114339260A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 图像处理方法及装置
CN112714321A (zh) * 2020-12-18 2021-04-27 深圳大学 压缩视频处理方法、装置、设备及计算机可读存储介质
CN115511756A (zh) * 2021-06-23 2022-12-23 中兴通讯股份有限公司 视频增强处理方法、装置、电子设备和存储介质
CN115526773A (zh) * 2021-06-24 2022-12-27 中移(苏州)软件技术有限公司 图像重建方法及装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HU ZHIHAO; LU GUO; XU DONG: "FVC: A New Framework towards Deep Video Compression in Feature Space", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 20 June 2021 (2021-06-20), pages 1502 - 1511, XP034010475, DOI: 10.1109/CVPR46437.2021.00155 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119835440A (zh) * 2024-12-26 2025-04-15 西安电子科技大学 基于嵌入式平台的视频压缩系统与方法

Also Published As

Publication number Publication date
CN121359455A (zh) 2026-01-16

Similar Documents

Publication Publication Date Title
US12206904B2 (en) Filtering method and device, encoder and computer storage medium
JP6993988B2 (ja) ルマ成分と２つのクロマ成分とを含む入力ビデオを符号化する方法であって、前記方法は、再形成関数に基づく前記入力ビデオの再形成を含む、方法
WO2020192034A1 (zh) 滤波方法及装置、计算机存储介质
TWI887420B (zh) 幀間預測方法、編碼器、解碼器以及電腦儲存媒介
CN113261285B (zh) 编码方法、解码方法、编码器、解码器以及存储介质
WO2020181554A1 (zh) 预测值的确定方法、解码器以及计算机存储介质
CN116235496A (zh) 编码方法、解码方法、编码器、解码器以及编码系统
WO2016197334A1 (zh) 图像编解码方法和设备
CN113196765A (zh) 图像预测方法、编码器、解码器以及存储介质
CN117596415A (zh) 视频压缩方法、装置、电子设备及计算机可读存储介质
WO2024192563A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
WO2021012942A1 (zh) 残差编码、解码方法及装置、存储介质及电子装置
WO2022246809A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
CN116016954A (zh) 图像编码方法、图像解码方法、装置以及计算机存储介质
CN112702607B (zh) 一种基于光流决策的智能视频压缩方法及装置
WO2025129410A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
CN110191341B (zh) 一种深度数据的编码方法和解码方法
CN116530079A (zh) 编码方法、解码方法和编码装置、解码装置
WO2024221361A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
WO2024174209A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
WO2024221201A1 (zh) 编解码方法及装置、编解码器、几何码流、设备、存储介质
WO2024060161A1 (zh) 编解码方法、编码器、解码器以及存储介质
CN119450076A (zh) 图像解码方法、图像编码方法、解码器以及编码器
CN113556567B (zh) 帧间预测的方法和装置
WO2023206420A1 (zh) 视频编解码方法、装置、设备、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23927882

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23927882

Country of ref document: EP

Kind code of ref document: A1