WO2014106487A1

WO2014106487A1 - 基于双向预测的编码方法、解码方法和装置

Info

Publication number: WO2014106487A1
Application number: PCT/CN2014/070172
Authority: WO
Inventors: 杨海涛; 张金雷; 李斌; 李厚强
Original assignee: Huawei Technologies Co Ltd; University of Science and Technology of China USTC
Current assignee: Huawei Technologies Co Ltd; University of Science and Technology of China USTC
Priority date: 2013-01-06
Filing date: 2014-01-06
Publication date: 2014-07-10
Anticipated expiration: 2015-07-06
Also published as: CN103916673A; CN103916673B

Abstract

本发明提供了一种基于双向预测的编码方法、解码方法和装置。该解码方法包括：根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码。本发明无需为每个图像块设置是否使用差分模式的标记，实现代价较低。

Description

基于双向预测的编码方法、解码方法和装置本申请要求于 2013 年 1 月 6 日提交中国专利局、申请号为 201310003666.8、发明名称为"基于双向预测的编码方法、解码方法和装置" 的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于双向预测的编码方法、解码方法和装置。背景技术

目前，可伸缩编码（Scalable Video Coding, SVC )技术已经被联合视频组（Joint Video Team, JVT )纳入到 H.264/AVC标准。可伸缩编码技术使用多个层次的码流表示不同质量的视频图像，因此又称作分层编码。在 SVC 技术中，能提供的最低质量层被称作基本层，能增强空间分辨率、时间分辨率或者信噪比强度的层被称作增强层。空间可伸缩编码利用不同空间分层间的运动信息、纹理信息和残差信息；时间可伸缩编码采用分级双向预测图像 (Hierarchical B)编码技术；信噪比可伸缩编码可以使用粗粒度质量可伸缩 ( Coarse Grain Scalability, CGS )方法和中等粒度质量可伸缩（ Median Grain Scalability, MGS )方法。

在空间可伸缩编码的情况下，增强层图像的内容与对应的基本层图像的内容相同，但 ^^本层图像的空间分辨率较低。因此，尽管增强层图像中的低频信号可以从基本层图像准确预测，但是增强层图像中的部分高频信号可能无法从基本层图像获得。另一方面，当前编码的增强层图像（以下筒称增强层当前图像）在时间域上的增强层参考图像与该增强层当前图像的分辨率相同，可能包含增强层当前图像中的高频信号。为得到更准确的预测，可以结合从基本层获取的低频信号和从增强层获取的高频信号来确定增强层当前图像的预测信号。例如，可以使用增强层当前图像块的已经编码的增强层参考图像块与其对应的基本层重建图像块的上采样图像块的差值作为高频信号，使用当前处理的增强层图像块对应的基本层重建图像块的上采样图像块作为低频信号，并且将高频信号的强度值与低频信号的强度值叠加来获得增强层当前图像块的预测信号。这种处理方法可用于编、解码端，称为差分模式。

然而，为了实现上述技术方案，现有技术需要为每一个图像块添加一个标记，用于指示该图像块是否采用差分模式进行编解码处理，实现代价较高。发明内容

本发明的实施例提供了一种基于双向预测的编码方法、解码方法和装置，能够以较低的代价实现差分模式。

第一方面，提供了一种基于双向预测的编码方法，包括：根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

在第一种可能的实现方式中，上述基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，具体包括：基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。

结合第一种可能的实现方式，在第二种可能的实现方式中，上述基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息，具体包括：对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；其中上述根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号，具体包括：若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值信，该加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，该加权预测参数被预先设置在编码端。

结合第二种可能的实现方式，在第三种可能的实现方式中，该加权预测参数包括：第一预测信号的权重 M¾ , 第二预测信号的权重 _Wl , 第一预测信号的偏移。。，第二预测信号的偏移。 ₁ 精度控制因子 shift, 其中上述基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号，具体包括：基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：

predSamples = (P₀ x w₀ + P_l w_l + ((。₀ + + 1) « (shift - 1)》》 shift , 其中, predSampleS 为图像块的预测信号，该《表示向左移位，该》表示向右移位， p。为第一预测信号，该为第二预测信号。

结合第四种可能的实现方式，在第五种可能的实现方式中，第一预测信号为经过偏移后转换成的无符号数, w₀ = _Wl = (1 « shift) , ο₀ = ο_{ι =} -2 χ offset ,该 offset 为第一预测信号被转换成无符号数时偏移量。结合第一方面或者上述任何一种可能的实现方式，在第五种可能的实现方式中，第一方面的编码方法还包括：在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。结合第一方面或者上述任何一种可能的实现方式，在第六种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

结合第一方面或者上述任何一种可能的实现方式，在第七种可能的实现方式中，第一方面的编码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识，以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。

结合第七种可能的实现方式，在第八种可能的实现方式中，第一方面的编码方法还包括：根据预设的准则确定该图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；若根据预设的准则确定该图像緩存区中与上述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续编码的图像的参考图像，从该图像緩存区中删除该增强层参考图像和 /或相应的残差图像。

结合第八种可能的实现方式，在第九种可能的实现方式中，第一方面的编码方法还包括：生成解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；将解码图像管理信息添加到编码后形成的码流中。

结合第一方面或者上述任何一种可能的实现方式，在第十种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中上述根据该增强层当前图像对应的基本层图像生成第二参考图像，包括：对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

结合第一方面或者第一方面的第一种至第九种可能的实现方式中的任何一种，在第十一种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中上述根据该增强层当前图像对应的基本层图像生成第二参考图像，具体包括：将该增强层当前图像对应的基本层图像作为第二参考图像。

结合第一方面或者第一种至第十一种可能的实现方式中的任何一种，在第十二种可能的实现方式中，第一方面的编码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

结合第十二种可能的实现方式，在第十三种可能的实现方式中，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预测设置在编码端或者被添加在编码后形成的码流中。

结合第一方面或者第一方面的第一种至第十一种可能的实现方式中的任何一种，在第十四种可能的实现方式中，第一方面的编码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。

结合第十四种可能的实现方式，在第十五种可能的实现方式中，根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定上述至少一个残差图像，包括：根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。

第二方面，提供了一种基于双向预测的解码方法，包括：根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

在第一种可能的实现方式中，上述基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，包括：从编码后形成的码流中获取该增强层当前图像的图像块的运动信息和图像块的预测差值信号的编码信息，并对该编码信息解码得到该图像块的运动信息和预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。

结合第一种可能的实现方式，在第二种可能的实现方式中，上述运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中上述基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和预测差值信号，对该增强层当前图像的图像块进行运动补偿解码，包括：若该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建信号，其中该加权预测参数从码流中得到，或者该加权预测参数被预先设置在解码端。

结合第二种可能的实现方式，在第三种可能的实现方式中，该加权预测参数包括：第一预测信号的权重 κ¾ , 第二预测信号的权重 _Wl , 第一预测信号的偏移。。，第二预测信号的偏移。 ₁ 精度控制因子 shift, 其中上述基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号，包括：基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：

predSamples = (P₀ x w₀ + P_l x w_l + ((。。 + o_t + 1) « (shift - 1)》 » shift , 其中, pred ampleS 为图像块的预测信号，该《表示向左移位，该》表示向右移位， P。为第一预测信号，该为第二预测信号。

结合第三种可能的实现方式，在第四种可能的实现方式中，第一预测信号为经过偏移后转换成的无符号数， w₀ = w₁ = (1 « shift) , ο₀ = o_{ = -2 x offset , 上述 offset为第一预测信号被转换成无符号数时偏移量。结合第二方面或第二方面的上述任何一种可能的实现方式，在第五种可能的实现方式中，第二方面的解码方法还包括：从该码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。

结合第二方面的上述任何一种可能的实现方式，在第六种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

结合第二方面或第二方面的上述任何一种可能的实现方式，在第七种可能的实现方式中，第二方面的解码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致，并且为添加第一附加标识，以便编码端在管理图像緩存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。

结合第二方面的第七种可能的实现方式，在第八种可能的实现方式中，第二方面的解码方法还包括：根据预设的准则确定该图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续解码的图像的参考图像；若根据预设的准则确定图像緩存区中与一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像，从该图像緩存区中删除该增强层参考图像和 /或相应的残差图像。

结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，第二方面的解码方法还包括：从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；若根据解码图像管理信息确定图像緩存区中与一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像,从图像緩存区中删除增强层参考图像和 /或相应的残差图像。

结合第二方面或第二方面的上述任何一种可能的实现方式，在第十种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中上述根据该增强层当前图像对应的基本层图像生成第二参考图像，包括：对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

结合第二方面或第二方面的第一种至第九种可能的实现方式中的任何一种，在第十一种可能的实现方式中，上述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中上述根据该增强层当前图像对应的基本层图像生成第二参考图像，包括：将该增强层当前图像对应的基本层图像作为第二参考图像。

结合第二方面或第二方面的第一种至第十一种可能的实现方式中的任一种，在第十二种可能的实现方式中，第二方面的解码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

结合第二方面的第十二种可能的实现方式，在第十三种可能的实现方式中，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预测设置在编码端或者从码流中获取。

结合第二方面或第二方面的第一种至第十一种可能的实现方式中的任何一种，在第十四种可能的实现方式中，第二方面的解码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。

结合第二方面的第十四种可能的实现方式，在第十五种可能的实现方式中，上述根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定上述至少一个残差图像，包括：根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。

第三方面，提供了一种基于双向预测的编码装置，包括：生成模块，用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；用于根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；编码模块，用于基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

在第一种可能的实现方式中，该编码模块基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。

结合第一种可能的实现方式，在第二种可能的实现方式中，该编码模块对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值信号其中，该加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，该加权预测参数被预先设置在编码端。

结合第二种可能的实现方式，在第三种可能的实现方式中，该加权预测参数包括：第一预测信号的权重 _w。，第二预测信号的权重 _Wl , 第一预测信号的偏移。。，第二预测信号的偏移。精度控制因子 shift, 其中该编码模块基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：

predSamples = (P₀ x w₀ + P_l x w_l + ((。。 + o_t + 1) « (shift - 1)》 » shift , 其中, pred ampleS 为图像块的预测信号，该《表示向左移位，该》表示向右移位， P。为第一预测信号，该为第二预测信号。结合第三种可能的实现方式，在第四种可能的实现方式中，第一预测信号为经过偏移后转换成的无符号数, w₀ = _Wl = (1 « shift) , ο₀ = o_{l =} -2 χ offset ,该 offset 为第一预测信号被转换成无符号数时偏移量。

结合第三方面或第三方面的上述任何一种可能的实现方式，在第五种可能的实现方式中，第三方面的编码装置还包括：第一添加模块，用于在编码后形成的码流中添加用于指示是否允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。

结合第三方面或第三方面的上述任何一种可能的实现方式，在第六种可能的实现方式中，该生成模块根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

结合第三方面或第三方面的上述任何一种可能的实现方式，在第七种可能的实现方式中，第三方面的编码装置还包括：存储模块，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。

结合第三方面的第七种可能的实现方式，在第八种可能的实现方式中，第三方面的编码装置还包括：第一确定模块，用于根据预设的准则确定该图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；删除模块，用于在根据预设的准则确定该图像緩存区中与上述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从该图像緩存区中删除该增强层参考图像和 /或相应的残差图像。

结合第三方面的第八种可能的实现方式，在第九种可能的实现方式中，生成模块还用于生成解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像，编码装置还包括：第二添加模块，用于将解码图像管理信息添加到编码后形成的码流中。

结合第三方面或第三方面的上述任何一种可能的实现方式，在第十种可能的实现方式中，该生成模块对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像；对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

结合第三方面或第三方面的第一种至第九种可能的实现方式中的任何一种，在第十一种可能的实现方式中，该生成模块将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像；将该增强层当前图像对应的基本层图像作为第二参考图像。

结合第三方面或第三方面的第一种至第十一种可能的实现方式中的任何一种，在第十二种可能的实现方式中，第三方面的编码装置还包括：第二确定模块，用于根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

结合第三方面的第十二种可能的实现方式，在第十三种可能的实现方式中，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号的差值信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。

结合第三方面或第三方面的第一种至第十一种可能的实现方式中的任何一种，在第十四种可能的实现方式中，第三方面的编码装置还包括：第二确定模块，用于根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。

结合第十四种可能的实现方式，在第十五种可能的实现方式中，上述根据上述增强层当前图像与上述至少一个增强层参考图像的时间相关性确定上述至少一个残差图像，包括：根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。

第四方面，提供了一种基于双向预测的解码装置，包括：生成模块，用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；解码模块，用于基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

在第一种可能的实现方式中，该解码模块从编码后形成的码流中获取该增强层当前图像的编码信息，并对该编码信息解码得到该图像块的运动信息和该图像块的预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。

结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，该运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，该解码模块在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建信号，其中该加权预测参数从该码流中得到，或者该加权预测参数被预先设置在解码端。

结合第四方面的第二种可能的实现方式，在第三种可能的实现方式中，该加权预测参数包括：第一预测信号的权重 κ¾ , 第二预测信号的权重 _Wl , 第一预测信号的偏移。。，第二预测信号的偏移。 ₁ 精度控制因子 Shift , 其中该解码模块基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：

结合第二种可能的实现方式，在第四种可能的实现方式中，第一预测信号为经过偏移后转换成的无符号数, w₀ = _Wl = (1 « shift) , ο₀ = o_{l =} -2 χ offset ,该 offset 为第一预测信号被转换成无符号数时偏移量。结合第四方面或者上述任何一种可能的实现方式，在第五种可能的实现方式中，第四方面的解码装置还包括：第一获取模块，用于从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。

结合第四方面或者上述任何一种可能的实现方式，在第六种可能的实现方式中，该生成模块根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

结合第四方面或者上述任何一种可能的实现方式，在第七种可能的实现方式中，第四方面的解码方式还包括：存储模块，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识，以便编码端在管理图像緩存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致。

结合第四方面或者上述任何一种可能的实现方式，在第八种可能的实现方式中，第四方面的解码方式还包括：第一确定模块，用于根据预设的准则确定图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续解码的图像的参考图像；删除模块，用于在根据预设的准则确定该图像緩存区中与上述一个图像顺序编号对应的增强层图像和 / 或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像緩存区中删除该增强层参考图像和 /或相应的残差图像。

结合第四方面或者第八种可能的实现方式，在第九种可能的实现方式中。第四方面的编码装置还包括：第一获取模块，用于从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；删除模块，用于在根据解码图像管理信息确定图像緩存区中与一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从图像緩存区中删除增强层参考图像和 / 或相应的残差图像。

结合第四方面或者上述任何一种可能的实现方式，在第十种可能的实现方式中，该生成模块对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，并且对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

结合第四方面或者第一方面的第一种至第九种可能的实现方式中的任何一种，在第十一种可能的实现方式中，该生成模块将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，并且将该增强层当前图像对应的基本层图像作为第二参考图像。

结合第四方面或者第一种至第十一种可能的实现方式中的任何一种，在第十二种可能的实现方式中，第四方面的解码装置还包括：第二确定模块，用于根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

结合第四方面的第十二种可能的实现方式，在第十三种可能的实现方式中，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，第二标识信息被预先设置在解码端，或者从码流中获取。

结合第四方面或者第四方面的上述第一种至第十一种可能的实现方式中的任何一种，在第十四种可能的实现方式中，第四方面的解码装置还包括：第二确定模块，用于根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。

结合第十四种可能的实现方式，在第十五种可能的实现方式中，第二确定模块根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。

本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需对编解码器的核心模块进行改动，因此，实现代价较低。附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作筒单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图 1是本发明一个实施例的基于双向预测的编码方法的示意性流程图。图 2是本发明一个实施例的基于双向预测的解码方法的示意性流程图。图 3A是根据本发明一个实施例的构造参考图像列表的示意图。

图 3B 是本发明一个实施例的基于双向预测的编码过程的示意性流程图。

图 4是根据本发明一个实施例的基于双向预测的解码过程的示意性流程图。

图 5是本发明一个实施例的基于双向预测的编码装置的示意性结构图。图 6是本发明另一实施例的基于双向预测的编码装置的示意性结构图。图 7是本发明一个实施例的基于双向预测的解码装置的示意性结构图。图 8是本发明另一实施例的基于双向预测的解码装置的示意性结构图。图 9是本发明又一实施例的基于双向预测的编码装置的示意性结构图。图 10是本发明又一实施例的基于双向预测的解码装置的示意性结构图。具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图 1是本发明一个实施例的基于双向预测的编码方法的示意性流程图。图 1的方法由编码器执行，包括如下内容。

110, 根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中。

根据本发明的实施例，在加入上述至少一个残差图像之前，增强层当前图像的第一参考图像列表（例如，前向或后向参考图像列表）可以包括增强层当前图像的增强层参考图像（例如，前向或后向增强层参考图像）。每个增强层参考图像为增强层当前图像在时域上的参考图像，是编码器在处理增强层当前图像之前已经处理完成的增强层图像，其中的图像信号为编码器处理得到的重建信号。

本发明的实施例的增强层参考图像的残差图像可以是该增强层参考图像和该增强层参考图像对应的基本层图像的差值图像，即通过将该增强层参考图像减去与该增强层参考图像相对应的基本层图像获得的图像，例如，在增强层的分辨率高于基本层的分辨率的情况下，可以首先根据每个增强层参考图像对应的基本层图像生成上采样图像，然后将该增强层参考图像与该上采样图像相减得到残差图像。本发明的实施例并不限于此，例如，在增强层的分辨率与基本层的分辨率相同的情况下，也可以直接将上述增强层参考图像与增强层参考图像对应的基本层图像相减得到残差图像。这里所说的两个图像相减指的是分辨率相同的两个图像的对应位置的图像信号（即采样点信号）的信号值相减。这里所说的基本层图像的图像信号是经编码处理后重建得到。假设图像信号采用 8个比特表示，则信号取值范围为 0~255 , 那么残差图像信号的取值范围为 -255~255。因为残差图像信号的取值一般较小，可以将残差图像信号钳位到范围 -128~127之间，以便用 8比特表示，从而减小实现代价。在某些实现中，在不便存储和处理带符号数的情况下，可将残差图像信号值加 128, 使得其取之范围在 0~255之间。

120, 根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。

例如，在加入上述第二参考图像之前，增强层当前图像的第二参考图像列表（例如，后向或前向参考图像列表）可以包括增强层当前图像的增强层参考图像（例如，后向或前向增强层参考图像）。在增强层的分辨率高于基本层的分辨率的情况下，第二参考图像可以是根据该增强层当前图像对应的基本层图像生成的上采样图像。本发明的实施例并不限于此，例如，在增强层的分辨率与基本层的分辨率相同的情况下，也可以直接将该增强层当前图像对应的基本层图像作为第二参考图像，或者将该增强层当前图像对应的基本层图像经平滑滤波等滤波处理后作为第二参考图像。

130, 根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

双向预测方法是指利用前向参考图像和后向参考图像对增强层当前图像的图像块进行预测的方法。本发明的实施例借助于主流视频压缩方案中的双向预测机制，能够将上述残差图像的采样点信号与第二参考图像的采样点信号进行叠加，以实现差分模式编码。

在本发明的实施例的第一参考图像列表为前向参考图像列表的情况下，第二参考图像列表为后向参考图像列表，或者，在第一参考图像列表为后向参考图像列表的情况下，第二参考图像列表为前向参考图像列表。应理解，本发明的实施例也可以适用于第一参考图像列表和第二参考图像列表均为前向或后向参考图像列表的情况。

本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。

在 130中，可以基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。例如，本发明的实施例通过双向预测，在第一参考图像列表和第二参考列表中搜索（即运动估计）该图像块的最优匹配块，最优匹配块所在的参考图像为最优参考图像。图像块的运动信息可以包括运动矢量，用于指示该图像块在时域参考图像中的匹配块与该图像块的相对位移。运动信息还可以包括预测方向，例如，单向预测或者双向预测。另外，在多帧参考图像情况下，运动信息还可以包括用于指示该图像块的最优参考图像的信息。

根据本发明的实施例，在 130中，可以对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值信号。

例如，本发明的实施例可以分别对第一参考图像列表中除残差图像之外的参考图像和第二参考图像列表中除第二参考图像之外的参考图像进行单向搜索，可以对第一参考图像列表中除残差图像之外的参考图像和第二参考图像列表中除第二参考图像之外的参考图像进行双向搜索，并且可以对第一参考图像列表中的至少一个残差图像和第二参考图像列表中的第二参考图像进行双向搜索，以获得最优参考图像，例如，确定使得图像块与匹配块的绝对差之和（ Sum of Absolute Difference, SAD )最小的参考图像作为最优参考图像，其中该最优参考图像包含该匹配块。

可选地，本发明的实施例还可以先对第一参考图像列表和第二参考图像列表进行单向搜索，以确定第一参考图像列表中的最优参考图像和第二参考图像列表中的最优参考图像，在这种情况下，还可以比较单向搜索得到的最优参考图像和双向搜索得到的最优参考图像，以得到最终的预测方向和最优参考图像，例如，如果单向搜索时获得的图像块与匹配块的绝对差之和（ Sum of Absolute Difference, SAD )大于双向搜索时获得的图像块与匹配块的绝对差之和（Sum of Absolute Difference, SAD ), 则选择双向预测为最终的预测方式，选择双向搜索时获得的最优参考图像作为最终的最优参考图像，反之亦然。与常规双向预测方法相比，本发明的实施例在第一参考图像列表和第二参考图像列表中分别增加了上述至少一个残差图像和第二参考图像，使得在上述至少一个残差图像之一和第二参考图像被确定为最优参考图像的情况下，可以将残差图像与第二参考图像进行叠加，从而实现差分模式。

可选地，本发明的实施例还可以先对第二参考图像列表进行单向搜索，并且在确定第二参考图像为最优参考图像的情况下，才使用第一参考图像列表中的至少一个残差图像和第二参考图像列表中的第二参考图像进行双向搜索，确定最优参考图像，并且比较这两种情况下的图像块与匹配块的绝对差之和，以确定最终的预测方向和最优参考图像。

根据本发明的实施例，在加权预测运算时，可以基于预设的规则，或者加权预测得到的最终预测信号与原信号的相似程度分别为第一预测信号和第二预测信号设置相应的权重，即加权预测参数。例如，一般情况下，图像块的最终预测信号为第一预测信号与第二预测信号的平均值，此时第一预测信号的加权预测参数和第二预测信号的加权预测参数分别设置为 0.5。再例如，在具有淡入、淡出效果的场景切换情况下，可根据当前处理图像的内容与第一预测信号所在图像内容的相似度以及当前处理图像的内容与第二预测信号所在图像内容的相似度确定第一预测信号与第二预测信号的加权预测参数，目的是使得最终预测信号与原信号最为相似。根据本发明的实施例，为了实现差分模块，在最优参考图像为残差图像和第二参考图像的情况下，可以设置合适的加权预测参数，使得图像块的最终预测信号为第一预测信号与第二预测信号的叠加。例如，在理想情况下，例如，第一预测信号的加权预测参数和第二预测信号的加权预测参数均被设置为 1 , 以使得对第一预测信号和第二预测信号进行加权预测运算得到第一预测信号和第二预测信号相叠加的效果。

根据本发明的实施例，上述加权预测参数由编码端确定并且添加在编码后形成的码流中。

可选地，作为另一实施例，该加权预测参数被预先设置在编码端。

根据本发明的实施例，该加权预测参数包括：第一预测信号的权重 κ¾ , 第二预测信号的权重 _Wi , 第一预测信号的偏移。。，第二预测信号的偏移。精度控制因子 shift, 其中在 130中，可以基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：

根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数， w₀ = _Wl = (1 « shift) , o₀ + _Ol = -2 x offset , 该 offset 为第一预测信号被转换成无符号数时偏移量。

例如，在该公式中， ^。与 _Wl均应设置为（l«shift), 以达到实际权重为 1 的效果。在残差图像信号的实际取值范围为 -128~127而整体偏移 128转换为无符号数进行存储与处理的情况下，需要将。。与。 _t的和设置为 -256, 才可以补偿前述偏移量 128以实现 p。与相叠加的效果，此时可以将。。与。 ₁分别设置为 -128。概括的说，为补偿残差图像信号的偏移 offset, 需要设置。。与。 _t使得两者之和的幅度为两倍的 offset并且符号与 offset相反，即 _{Oo + 0l =}—i x ₀ff_set。在残差图像信号的实际取值范围为 -128~127 而可按照带符号数进行存储与处理的情况下，无需进行补偿，只要保证。。与。 _t的和为 0即可实现^。与相叠加的效果，此时可将。。与。 _t分别设置为 0。应理解，可以根据实际情况对加权预测参数进行调整，只要使得图像块的最终预测信号为第一预测信号和第二预测信号的叠加即可。本发明的实施例可以通过设置加权参数实现差分模式，从而实现从残差图像得到的第一预测信号与从第二参考图像得到的第二预测信号相叠加得到图像块的最终预测信号，由于设置加权参数并不需要对常规编解码器中的块级别核心模块进行改动，只需进行图像级别的操作，就可以实现与块级别的差分模式相同的功能，因此在得到差分模式编码增益的同时，降低了实现代价。

可选地，作为另一实施例，图 1的编码方法还包括：在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。

例如，可在码流中加入标识位以表示当前图像序列中的图像是否采用差分模式。具体而言，可以在序列参数集（Sequence Parameter Set, SPS )或图像参数集（Picture Parameter Set, PPS ) 中加入该标识位，例如，标识位 1 表示采用差分模式，标识位 0表示不采用差分模式。在这种情况下，编码端或解码端可以根据该标识位判断当前图像序列中的图像是否采用差分模式，根据本发明的实施例并不限于此，也可通过其它方式告知解码端是否采用差分模式，例如，编码端和解码端预先约定使用差分模式等。

根据本发明的实施例，在 110中，可以根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

例如，可以根据前向增强层参考图像以及该前向增强层参考图像对应的基本层图像生成至少一个残差图像。本发明的实施例并不限于此，例如，也可以根据前向增强层参考图像和该前向增强层参考图像对应的基本层图像生成一部分残差图像，根据后向增强层参考图像和该后向增强层参考图像对应的基本层图像生成另一部分残差图像，并且将这两部分残差图像均放置在第一参考图像列表中，以便为差分模式提供更多的选择，从而提高预测的精度。

可选地，作为另一实施例，图 1的编码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号（Picture order count, POC )—致，并且为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分。

例如，上述图像緩存区可以为解码图像緩存区（Decoded Picture Buffer, DPB )。较佳地增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号（Picture order count, POC ) 可以相同，本发明的实施例并不限于此，例如，还可以通过映射的方式来实现增强层参考图像和残差图像之间的对应。

本发明的实施例的增强层参考图像为已经完成编码的增强层图像，即增强层重建图像，例如，在完成对增强层图像的编码之后，可以将增强层重建图像存储到解码图像緩存区中，并且将该增强层重建图像减去根据该增强层重建图像对应的基本层图像生成的图像，得到残差图像，并将该残差图像存储到同一解码图像緩存区中。上述 POC可以标识图像在视频序列中的位置，因此，在后续的处理中，可以依据该 POC索引 DPB中的增强层重建图像和残差图像。由于增强层重建图像和相应的残差图像使用了相同的 POC, 因此可以使用现有的 DPB管理机制，基于 POC对增强层重建图像以及对应的残差图像进行索引、移除等操作。

可选地，作为另一实施例，图 1的编码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的解码图像緩存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。

由于增强层重建图像与相对应的残差图像使用独立的 DPB进行管理，例如，使用增强层重建图像 DPB管理增强层重建图像，使用残差图像 DPB 管理残差图像，此时，在一个 DPB中仅有一帧图像与一个 POC数值对应，因此无需添加额外的标识区分增强层重建图像与相对应的残差图像。尽管增强层重建图像与相对应的残差图像存储在不同的 DPB 中，仍然可以为一帧增强层重建图像与其对应的残差图像设置相同的 POC数值，以方便对增强层重建图像和相应的残差图像的管理。

可选地，作为另一实施例，图 1的编码方法还包括：根据预设的准则确定该解码图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；若根据预设的准则确定该解码图像緩存区中与上述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续编码的图像的参考图像，从该解码图像緩存区中删除该增强层参考图像和 /或相应的残差图像。

例如，可以使用滑窗准则确定 DPB中图像的移除。具体说，可按照 POC 由大到小对 DPB中所有图像排序，可按照给定的滑窗大小（例如 4 ), 将排在第 4位以后的所有图像移除。编码器和解码器可以约定所使用的准则。或者，编码器将上述解码图像管理信息添加到码流中，告知解码端编码端所使用的解码图像管理方法。

可选地，作为另一实施例，图 1的方法还包括：生成解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像，并且将解码图像管理信息添加到编码后形成的码流中。

根据本发明的实施例，在 110中，可以对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中在 120中，可以对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

根据本发明的实施例，在 110中，可以将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中在 120中，可以将该增强层当前图像对应的基本层图像作为第二参考图像。

可选地，作为另一实施例，图 1的编码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

例如，在编码端，可以将用于构造第一参考图像列表的残差图像的信息写入视频压缩码流。在解码端，可以基于视频压缩码流中的残差图像的信息按照与编码端相同的方法构造参考图像列表。

根据本发明的实施例第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。

例如，可以将表示加入第一参考图像列表中的残差图像的数量（例如， M )的信息写入码流，而编解码端将第一参考图像列表中参考图像索引编号前 M个增强层参考图像对应的残差图像加入参考图像列表，例如，可以将根据参考图像索引编号为 0, 1 , 2, ...M-1的参考图像得到的残差图像加入到参考图像列表中。注意，编解码端也可以约定残差图像的数量，例如约定仅使用一个残差图像，此时则无需将残差图像数量信息添加到码流中。

例如，可以在编码端和解码端预先约定将哪些增强层参考图像对应的残差图像加入参考图像列表，例如，将第一参考图像列表中的增强层参考图像对应的残差图像加入参考图像列表，或者同时将第一参考图像列表中与第二参考图像列表中的增强层参考图像对应的残差图像均加入到第一参考图像列表中。

又如，可以将与编码端指定的残差图像对应的增强层参考图像信息写入码流以告知解码端。具体而言，在将参考图像列表信息写入码流的情况下，可以为每一个增强层参考图像额外添加一个标识，指示是否将其对应的残差图像加入参考图像列表。

再如，可以将与编码端指定的残差图像对应的增强层参考图像的 POC 添加到码流中。或者，可以使用 POC差值信息而不是原始 POC值，以节约比特开销。例如，可以在码流中携带增强层当前图像的 POC以及与需要加入第一参考图像列表的残差图像对应的增强层参考图像的 POC的差值信息，以便在解码端可以通过该 POC的差值信息和增强层当前图像的 POC确定该增强层参考图像的 POC,再根据该增强层参考图像的 POC从 DPB中获取该增强层参考图像对应的残差图像。

可选地，作为另一实施例，图 1的编码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像，此时则无需将残差图像对应的增强层参考图像信息写入码流，也无需将残差图像对应的增强层参考图像的图像顺序编号信息写入码流。

一般而言，与距离增强层当前图像较远的参考图像相比，距离增强层当前图像较近的参考图像与增强层当前图像的相关性更强。因此，根据本发明的实施例，在构造第一参考图像列表时，可优先选择与增强层当前图像的时间相关性较强的参考图像所对应的残差图像加入第一参考图像列表，这样使得预测信号更加准确。

根据本发明的实施例，在根据增强层当前图像与至少一个增强层参考图像的时间相关性确定上述至少一个残差图像时，可以根据至少一个增强层参考图像中图像顺序编码号与增强层当前图像的图像顺序编号之差的绝对值 'J、于预设的阈值的增强层参考图像确定至少一个残差图像。

例如，图像的图像顺序编号可以反映图像在时间上的距离远近，图像顺序编号越接近的两个图像的时间距离越近。因此，可优先选择具有与增强层当前图像的图像顺序编号接近的图像顺序编号的增强层参考图像用于确定上述至少一个残差图像。举例来说，在该预测的阈值为 2的情况下，选择其图像顺序编号与增强层当前图像的图像顺序编号之差的绝对值为 1的增强层参考图像用于确定上述至少一个残差图像，例如，在增强层当前图像的图像顺序编号为 5的情况下，选择图像顺序编号为 4和 6的增强层参考图像作为其残差图像。

图 2是本发明一个实施例的基于双向预测的解码方法的示意性流程图。图 2的方法由解码器执行，与图 1的方法相对应，在此适当省略详细的描述。图 2的方法包括如下内容。

210, 根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中。

220, 根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。

230, 基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行解码，实现差分解码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。

在 230中，可以从编码后形成的码流中获取该增强层当前图像的图像块的编码信息，并对该编码信息解码得到该图像块的运动信息和预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该图像块的预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。

该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中在 230中，可以在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建图像。

根据本发明的实施例，该加权预测参数从码流中得到，或者该加权预测参数被预先设置在解码端。

根据本发明的实施例，该加权预测参数包括：第一预测信号的权重 κ¾ , 第二预测信号的权重 _W1 , 第一预测信号的偏移。。，第二预测信号的偏移。精度控制因子 shift, 其中在 230中，可以基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：

predSamples = (P₀ x w₀ + P_l x w_l + ((。。 + + 1) « (shift - 1)》 » shift , 其中, pred ampleS 为图像块的预测信号，该《表示向左移位，该》表示向右移位， P。为第一预测信号，该为第二预测信号。

根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数， w₀ = _Wl = (1 « shift) , o₀ + _Ol = -2 x offset , 该 offset 为第一预测信号被转换成无符号数时偏移量。可选地，作为另一实施例，图 2的方法还包括：从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表中的上述至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。

在 210中，可以根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

可选地，作为另一实施例，图 2的解码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识，以便编码端在管理图像緩存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分。

可选地，作为另一实施例，图 2的解码方法还包括：将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致。

可选地，作为另一实施例，图 2的解码方法还包括：根据预设的准则确定该图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续解码的图像的参考图像；若根据预设的准则确定图像緩存区中与一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像緩存区中删除该增强层参考图像和 /或相应的残差图像。

可选地，作为另一实施例，图 2的方法还包括：从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；若根据解码图像管理信息确定图像緩存区中与一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像，从图像緩存区中删除增强层参考图像和 /或相应的残差图像。

在 210中，可以对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，其中在 220中，可以对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

在 210中，可以将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，其中在 120中，可以将该增强层当前图像对应的基本层图像作为第二参考图像。可选地，作为另一实施例，图 2的解码方法还包括：根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在解码端或者从码流中获取。注意，若编解码端约定残差图像的数量，则无需将残差图像数量信息添加到码流中。

可选地，作为另一实施例，图 2的解码方法还包括：根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。

根据本发明的实施例，在根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定上述至少一个残差图像时，可以根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。

此时则无需从码流中获取残差图像对应的增强层参考图像的标识信息，也无需从码流中获取残差图像对应的增强层参考图像的图像顺序编号信息。

下面详细描述本发明的实施例的参考图像列表的构造过程。本发明的实施例可以在编码端与解码端构造参考图像列表。因此，下面构造参考图像列表的方法既可应用于编码端，也可以应用于解码端。应理解，本发明的实施例中描述的处理指编码操作或解码操作。本实施例中，当增强层重建图像作为其它图像的参考图像时，称为增强层参考图像。

在编码端或解码端处理（例如，编码或解码）完一帧基本层图像后，在处理与该基本层图像相对应的增强层图像（即增强层当前图像）前，可以基于该基本层图像的重建图像（以下筒称基本层图像）获取上采样图像，将该上采样图像存储到 DPB中，并将该上采样图像的图像顺序编号（ Picture Order Count, POC )设置成与相对应的增强层当前图像的 POC相同。然后对相对应的增强层当前图像进行处理，处理完成后，将得到的增强层重建图像存储到该 DPB 中。基于该增强层重建图像与该上采样图像生成残差图像，将该残差图像存储到该 DPB中，并将该上采样图像从该 DPB中移除。本发明的实施例还可以设置该增强层重建图像与该残差图像的 POC为相同的数值。因为增强层当前图像的重建图像与相对应的残差图像的 POC值相同，所以需要为该 DPB中的残差图像加入一个附加标识进行区分。

应理解，由于只有在增强层当前图像处理完成后才能得到相对应的重建图像与残差图像，因此在 DPB中按增强层当前图像的 POC数值索引只会找到与该增强层当前图像相对应的基本层图像的上采样图像，因此可以不对该上采样图像添加标识进行区分。应理解的是，上采样图像仅在处理增强层当前图像时使用，而不会在处理后续图像时使用，因此，也可以不存储到 DPB 中。

除了可以按照约定将每帧残差图像存储 DPB 中之外，还可以根据码流中的指示信息确定是否将某一帧残差图像存储到 DPB 中。例如，该指示信息可在 PPS或片头 ( slice header ) 中携带。

另外，编码端或解码端可以根据给定准则确定 DPB中与某个 POC对应的所有图像（例如，增强层重建图像与相对应的残差图像），是否会被用作后续处理图像的参考图像。该给定准则可以在编解码端预先约定，或者由编码端确定后通知解码端。如果一帧图像不再被用作参考图像，则可以从 DPB 中移除。

上面描述了增强层重建图像及残差图像放在同一个 DPB 中进行管理的方法。可选地，作为另一实施例，还可以分别将增强层重建图像和残差图像存储到独立的 DPB进行管理。换句话说，使用增强层重建图像 DPB管理增强层重建图像，使用残差图像 DPB管理残差图像。在这种情况下，在一个 DPB中仅有一帧图像与每个 POC相对应，因此无需添加额外的标识区分增强层重建图像与残差图像。应理解，在不同的 DPB 中，可以为一帧增强层重建图像和相对应的残差图像设置相同的 POC。

图 3 A是根据本发明一个实施例的构造参考图像列表的示意图。

本实施例以上述第一参考图像列表为前向参考图像列表、上述第二参考图像列表为后向参考图像列表为例进行说明。在本实施例中，假设增强层图像与基本层图像的分辨率不一样，例如，基本层图像的分辨率低于增强层图像的分辨率，因此，需要将基本层图像的上采样图像加入到后向参考图像列表中。

具体而言，参考图像列表可以包括：前向参考图像列表 listO与后向参考图像列表 listl ,可以将上述残差图像放入 listO,将上述上采样图像放入 listl , 在这里，将图像放入参考图像列表是指将图像的索引或标识设置在参考图像列表中。在进行双向预测时，增强层当前图像中的一个图像块的预测信号由两个预测信号组合产生，这两个预测信号包括：从 listO中的参考图像获得的前向预测信号和从 listl中的参考图像获得的后向预测信号，使得能够利用双向预测机制将残差图像中的信号与上采样图像中的信号进行叠加 , 达到与常规块级别的差分模式相同的效果。

参见图 3A, 第一行图像为增强层（Enhancement Layer, EL ) 图像，其中， Curr图像表示增强层当前图像，即正在进行处理（例如，正在进行编码或解码）的图像。 RefO, Refl , Refn表示增强层当前图像的参考图像，这些参考图像是增强层重建图像，即增强层中已经完成编码或解码操作而产生的图像，例如， Curr图像左侧的图像为 listO 中的参考图像，即前向参考图像， Curr图像右侧的图像为 listl 中的参考图像，即后向参考图像。第二行图像表示第三行的基本层重建图像（筒称基本层图像）上采样后所得的基本层上采样 (Base Layer Upsmaple, BL Upsample)图像, 例口, BLUpCurr 表示增强层当前图像对应的基本层图像的上采样图像。第三行图像表示基本层 (Base Layer, BL ) 图像，例如， BLCurr图像为 Curr图像对应的基本层图像。

在图 3A中，同一列对应位置的图像表示同一时刻的基本层重建图像、基本层图像的上采样图像和增强层图像。例如，与 listO中的参考图像 RefO, Refl , Refn对应的基本层图像分别为 BLL00 BLL01 , BLLOn, 上采样图像分别为 BLUpLOO BLUpLOl , BLUpLOn; 与 listl中的参考图像 RefO, Refl , Refn对应的基本层图像分别为 BLL10 BLL11 , BLLln, 上采样图像分另) J为 BLUpUO B JpUl , B JpUn。

另外，本发明的实施例在 listO中添加了残差图像 DifO , Difl , ... , Difn , 在 listl中添加了上采样图像 BLUpCurr。为了清楚起见，图 3A中只图示说明了在 listO中添加 listO的参考图像的残差图像作为新的参考图像。应理解的是，在本发明的实施中，也可以将 listl 中的 RefO, Refl , Refn对应的残差图像也加入到 listO中，在这种情况下， listl中的 BLUpCurr不用于生成残差图像。

根据本发明的实施例，残差图像可以放置在参考图像列表中的任意位置。例如，图 3A给出一种可能的放置方法，其中 DiffO置于 listO中的 RefO 之后， Diffl置于 Refl之后，依此类推。应理解的是，残差图像与上采样图像应该放置在不同的参考图像列表中，以便通过双向预测将残差信号与基本层上采样信号叠加来实现差分模式。

下面参照图 3A描述基于双向预测实现差分模式的编码过程。图 3B是本发明一个实施例的基于双向预测的编码过程的示意性流程图。图 3的实施例是图 1的实施例的例子。

本实施例详细描述了在采用双向预测实现差分模式的情况下，增强层中一帧双向预测图像的编码流程。

310, 构造增强层当前图像的参考图像列表。

例如，可以按照图 3A描述的方法构造参考图像列表，将残差图像放置在 listO中，在上采样图像放置在 listl中，在此不再赘述。

320, 确定加权预测参考图像，并为加权预测参考图像设置相应的加权预测参数。

例如，将 listO中的残差图像和 listl 中的上采样图像标记为加权预测参考图像。在所有参考图像均为加权预测参考图像的情况下，也可以不进行标记。按照下面的方法为加权预测参考图像设置加权预测参数，即为加权预测参考图像绑定加权预测参数。

下面以一种常规加权预测方法为例，说明加权预测参数的设置方法。例如，在加权预测方法中， w。表示 listO中的参考图像的权重， _Wl表示 listl 中的参考图像的权重，。。表示 listO中的参考图像的偏移， _0l表示 listl中的参考图像的偏移， shift表示精度控制因子。例如，可以按照公式（1 )所示方法确定这些参数。

w₀ = (1 « luma _ log 2 _ weight _ denom) + delta _ luma _ weight _ 10

w₁ = (1 « luma _ log 2 _ weight _ denom) + delta _ luma _ weight _ 11

o₀ = luma _ offset _ 10

ο_γ = luma _ offset _ 11

shift = luma _ log 2 _ weight _ denom

其中， luma _ log 2 _ weight _ denom可以按照默认的方法设置，即当参考图像数目小于 3时设置为 6, 否则设置为 7。 delta _ luma _ weight _ 10 口 delta _ luma _ weight _ 11 可以设置为 0 , I ffset _ IQ和 I ffset _ ll可以 m为 Λ2 编码端可以将 luma _ log 2 _ weight _ denom delta _ luma _ weight _ /0 delta _ luma _ weight _ /1 luma _ offset _ 10 和/ #M _ /1等五个参数告知解码端，以便解码端能够根据这五个参数生成相同的加权预测参数 M¾、 _Wl . 。。、 ₀₁和 shift

330, 对增强层当前图像的图像块进行运动估计，确定其运动信息。例如，首先可以对参考图像列表进行单向搜索，即遍历 ListO中除残差图像外的所有图像进行运动搜索以确定最优前向参考图像，遍历 listl 中除 BLUpCurr外的所有图像进行运动搜索以确定最优后向参考图像。然后，可以再进行双向搜索确定最优双向参考图像。在使用上采样图像和残差图像进行双向预测搜索时，使用步骤 320中确定的加权预测参数进行加权预测。

如果从 Listl中选出的最优参考图像是 BLUpCurr, 则对 ListO中的残差图像进行搜索。如果 listl中的最优参考图像不是 BLUpCurr, 则只对 listO中除残差图像之外的参考图像进行搜索得到最优双向预测参考图像，而不对残差图像进行搜索。由于本发明的实施例添加残差图像只是为了实现差分模式预测，因此，在编码端进行双向预测的运动估计操作时，仅在 listl中的最优参考图像为 BLUpCurr的情况下，才需要使用 listO中的各个残差图像作为前向参考图像进行运动搜索。

此外，编码端进行单向预测的运动估计操作时，也无需使用 listO中的残差图像作为参考图像进行运动搜索。

经过上述运动估计过程，可以为增强层当前图像的每个图像块确定运动信息，例如，为每个图像块确定最优前向参考图像和最优后向参考图像的标识和运动矢量。

340 , 根据确定的运动信息，对当前增强层图像的图像块进行运动补偿预测，得到增强层重建图像。

如果 330中确定的运动信息指示该图像块的前向预测信号 p。来自于残差图像，其中前向预测信号的取值范围为 0~255 (为存储与处理方便，已添加 128偏移后转换为无符号数），后向预测信号来自于上采样图像，其中信号的取值范围为 0~255 , 则可按照下面的公式（2 )计算该图像块的预测信号 predSamples

predSamples = (P₀ x w₀ + P_l w_l + ((o₀ + o_t + 1) « (shift - 1)》 » shift = ( ₀ - 128) + /^ ( 2 ) 另外，可以对预测信号 predSamples进行钳位操作，以将数值约束在 [0, 255]之间。从公式（2 ) 可以看到，按照步骤 320中的加权预测参数的设置，可以实现原始残差信号 (P₀ - 128)与上采样信号的叠加，从而达到与常规块级别的差分模式编码相同的效果。

在获取该图像块的预测信号 predSamples后，可以进一步基于已经获取的预测信号对图像块进行预测编码，即计算预测差值信号，并将该预测差值信号写入视频压缩码流。基于已经获取的预测信号对图像块进行预测编码是常规技术，在此不再赘述。

350, 基于增强层重建图像生成相对应的残差图像，并将该残差图像放入 DPB中。

例如，在完成对增强层当前图像的编码得到增强层重建图像（即编码后的图像）之后，可以基于该增强层重建图像生成相对应的残差图像，并将该残差图像放入 DPB中，以便在后续的编码过程中使用。

本发明的实施例可以在完成每帧增强层图像的编码之后，计算得到的增强层重建图像信号与相对应的基本层上采样图像的差值图像，并且将该差值图像作为该增强层重建图像的残差图像。例如，可以按照下列公式 (3)的方法构造残差图像 DifO:

Dif0(x, y) = Ref0(x, y) - BLUpL00(x, y) + 128 (3) 其中 (X , y)表示图像中采样点的坐标，其余残差图像也可使用相同的方法构造，在此不再赘述。由于一些常规编解码方案中规定参考图像中的像素值不能为负值，为了使得本发明的实施例能够应用于这些编解码方案，可以将残差图像中所有信号均加上 128, 并进行钳位操作以将信号值约束在区间 [0, 255]之内，目的是将带符号数转换为无符号数进行存储与处理。

下面参照图 3A描述基于双向预测实现差分模式的解码过程。

图 4是本发明一个实施例的基于双向预测的解码过程的示意性流程图。图 4的实施例是图 2的实施例的例子。

本实施例详细描述了在采用双向预测实现差分模式的情况下，增强层中一帧双向预测图像的解码流程。

410, 构造增强层当前图像的参考图像列表。

420, 从码流中获取增强层当前图像中的图像块的运动信息，并根据该运动信息对该图像块进行运动补偿解码操作，得到该图像块的重建图像。如果 330中确定的运动信息指示该图像块的前向预测信号 p。来自于前向参考列表中的残差图像，后向预测信号来自于后向参考列表中的上采样图像，则可按照上面的公式（2 )计算该图像块的预测信号 predSamples。另夕卜，可以对预测信号 predSamples进行钳位操作，以将数值约束在 [0, 255]之间。在获取图像块的预测信号 predSamples后，可以进行叠加解码得到的差值信号，并进一步进行环路滤波等解码操作从而获取最终的重建信号。基于已经获取的预测信号对图像块进行解码操作以获取最终重建信号是常规技术，在此不再赘述。

430, 基于增强层重建图像生成相对应的残差图像，并将该残差图像放入 DPB中。

例如，在完成对增强层当前图像的解码得到增强层重建图像之后，可以按照图 3A中描述的方法基于该增强层重建图像生成相对应的残差图像，并将该残差图像放入 DPB中，以便在后续的解码过程中使用。

可选地，作为图 3B和图 4的实施例的替代方案，残差图像和上采样图像可以不存储在 DPB 中，在这种情况下，在对增强层当前图像进行编码或解码时，可以先根据参考图像的 POC从 DPB中获取增强层当前图像的参考图像，如图 3A中的参考图像 RefO, Refl , Refn。然后根据上述公式（ 3 ) 计算得到与这些参考图像相对应的残差图像，并将残差图像加入到参考图像列表中，同时将增强层当前图像对应的基本层图像的上采样图像加入到 listl 的参考图像列表中。本实施例并未将残差图像和上采样图像存储到 DPB 中进行统一管理，而是在需要进行编码或解码时才计算残差图像和上采样图像。这样做的优点在于，生成残差图像仅在处理增强层当前图像时有效，在增强层当前图像的处理结束后可以立即销毁。与图 3B和图 4的实施例的方法相比，该方法对残差图像与上采样图像的管理筒单。然而，图 3B和图 4 的实施例的优点在于能够避免同时使用多个残差图像的情况下可能导致的重复计算。因此，本实施例的方法适用于残差图像较少的情况，例如，在增强层当前图像的参考图像列表中加入一个残差图像的情况下，结合常规的采用滑窗方式设置参考图像列表的方法，则不会出现重复计算残差图像的情况。

可选地，作另一实施例，在构造参考图像列表时，通常会将时间相关性强的参考图像放置在列表的前端。例如，图 3所示 listO和 listl中的首个增强层参考图像 RefO与当前处理图像的时间相关性分别强于 listO和 listl中增强层参考图像 Refl与当前处理图像的时间相关性，依此类推。而 listO和 listl 中同位置的参考图像可认为其与当前处理图像的时间相关性没有明显差别。在这种情况下，可按时间照相关性从强到弱的顺序，从参考图像列表中选择参考图像并将其对应的残差图像加入一个参考图像列表，例如 list0。若两个参考图像的时间相关性没有差别，则可以按照预置的次序依次添加其对应的残差图像到 listO 中。残差图像可放置在 listO 中的任意位置。需注意， listO 与 listl中的参考图像可能有重复，因此，对应的残差图像也可能有重复。在检测到当前处理的增强层参考图像与已处理完成的增强层参考图像有重复时，则无需生成对应的残差图像。

上述实施例以基本层图像与增强层图像分辨率不同的情况下进行了说明，然而本技术领域人员应理解的是，上述实施例也可应用于基本层图像与增强层图像分辨率相同的情况，在这种情况下，除了无需对基本层图像进行上采样操作之外，其余处理流程与上述实施例相同。

图 5是本发明一个实施例的基于双向预测的编码装置 500的示意性结构图。编码装置 500包括：生成模块 510和编码模块 520。

生成模块 510根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；用于根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。编码模块 520基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行编码，实现了差分编码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。图 6是本发明另一实施例的基于双向预测的编码装置 600的示意性结构图。编码装置 600包括：生成模块 610和编码模块 620。生成模块 610和编码模块 620与图 5的生成模块 510和编码模块 520类似，在此不再赘述。

根据本发明的实施例，编码模块 620根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。

根据本发明的实施例，编码模块 620对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值。

根据本发明的实施例，该加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，该加权预测参数被预先设置在编码端。

根据本发明的实施例，该加权预测参数包括：第一预测信号的权重 M¾ , 第二预测信号的权重 _Wi , 第一预测信号的偏移。。，第二预测信号的偏移。精度控制因子 shift,其中编码模块 620基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号： predSamples = ((P₀ + ) x w₀ + P_l x w_l + ((o₀ + o_t + 1) « (shift - 1))) » shift , 其中 , prei^a /?/^为图像块的预测信号，该《表示向左移位，该》表示向右移位， p。为第一预测信号，该为第二预测信号。根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数， w₀ = _Wl = (1 « shift) , o₀ = _Ol =— 2 x offset , 该 offset 为第一预测信号被转换成无符号数时偏移量。

可选地，作为另一实施例，编码装置 600还包括：第一添加模块 630。第一添加模块 630在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。

根据本发明的实施例，生成模块 610根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

可选地，作为另一实施例，编码装置 600还包括：存储模块 640。存储模块 640将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，用于将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。

可选地，作为另一实施例，编码装置 600还包括：第一确定模块 650和删除模块 660。第一确定模块 650根据预设的准则确定该图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像。删除模块 660在根据预设的准则确定该图像緩存区中与上述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从该图像緩存区中删除该增强层参考图像和 /或相应的残差图像。

可选地，作为另一实施例，生成模块 610还用于生成解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像，编码装置还包括：第二添加模块 680, 用于将解码图像管理信息添加到编码后形成的码流中。

根据本发明的实施例，生成模块 610对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像；对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

根据本发明的实施例，生成模块 610将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像；将该增强层当前图像对应的基本层图像作为第二参考图像。

可选地，作为另一实施例，编码装置 600还包括：第二确定模块 670。第二确定模块 670用于根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息，或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。

根据本发明的实施例，图 6的编码装置 600还包括：第二确定模块 670。第二确定模块 670根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。

根据本发明的实施例，第二确定模块 670根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。

图 7是本发明一个实施例的基于双向预测的解码装置 700的示意性结构图。解码装置 700包括：生成模块 710和解码模块 720。

生成模块 710根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中。解码模块 720用于基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

本发明的实施例可以将根据增强层当前图像的参考图像以及对应的基本层图像得到的残差图像加入到一个参考图像列表，将根据增强层当前图像对应的基本层图像得到图像加入到另一参考图像列表，并且根据这两个参考图像列表，利用双向预测方法对该增强层当前图像的图像块进行解码，实现了差分解码模式。由于本发明的实施例借助于双向预测方法来实现差分模式，无需为每个图像块设置是否使用差分模式的标记，因此，实现代价较低。

图 8是本发明另一实施例的基于双向预测的解码装置 800的示意性结构图。解码装置 800包括：生成模块 810和解码模块 820, 与图 7的生成模块 710和解码模块 720类似，在此不再赘述。

根据本发明的实施例，解码模块 820从编码后形成的码流中获取该增强层当前图像的图像块的编码信息，并对该编码信息解码得到该图像块的运动信息和图像块的预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。

根据本发明的实施例，该运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，解码模块 820在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预测信号得到该图像块的重建图像。

根据本发明的实施例，该加权预测参数包括：第一预测信号的权重 M¾ , 第二预测信号的权重 _Wi , 第一预测信号的偏移。。，第二预测信号的偏移。精度控制因子 shift,其中该解码模块 820基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：

preitt ipto +

, 其中 , pre^a p/i^为图像块的预测信号，该《表示向左移位，该》表示向右移位， p。为第一预测信号，该为第二预测信号。根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数， w_{0 = Wl} = (1 « shift) , o₀ = _Ol =— 2 x offset , 该 Offset 为第一预测信号被转换成无符号数时偏移量。可选地，作为另一实施例，图 8的解码装置 800还包括：第一获取模块 830。第一获取模块 830从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。

根据本发明的实施例，生成模块 810根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

可选地，作为另一实施例，图 8的解码装置 800还包括：存储模块 840。存储模块 840将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，并且为相对应的残差图像添加第一附加标识，以便编码端在管理图像緩存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致。

可选地，作为另一实施例，图 8的解码装置 800还包括：第一确定模块 850和删除模块 860。第一确定模块 850根据预设的准则或从码流中获取的解码图像管理信息确定该图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续解码的图像的参考图像，并且将解码图像管理信息添加到码流中，其中该解码图像管理信息用于指示该图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像。删除模块 860在根据预设的准则确定该图像緩存区中与上述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像緩存区中删除该增强层参考图像和 /或相应的残差图像。

可选地，作为另一实施例，图 8的解码装置还包括：第二获取模块 870, 用于从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；删除模块 860, 用于在根据解码图像管理信息确定图像緩存区中与一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从图像緩存区中删除增强层参考图像和 /或相应的残差图像。

根据本发明的实施例，生成模块 810对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，并且对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

根据本发明的实施例，生成模块 810将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，并且将该增强层当前图像对应的基本层图像作为第二参考图像。

可选地，作为另一实施例，图 8的解码装置 800还包括：第二确定模块

880。第二确定模块 880根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

根据本发明的实施例，第二标识信息包括：第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中，第二标识信息被预先设置在解码端，或者从码流中获取。

可选地，作为另一实施例，图 8的解码装置 800还包括：第二确定模块 880。第二确定模块 880根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。

根据本发明的实施例，第二确定模块 880根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。

图 9是本发明又一实施例的基于双向预测的编码装置 900的示意性结构图。编码装置 900包括：处理器 910和存储器 920。

处理器 910调用存储器 920中存储的代码，以用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；用于根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行编码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

根据本发明的实施例，处理器 910根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行运动估计，以确定该图像块的运动信息；根据该图像块的运动信息，对该增强层当前图像的图像块进行运动补偿预测得到图像块的预测差值信号；对该运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。根据本发明的实施例，处理器 910对第一参考图像列表和第二参考图像列表进行双向搜索，为该图像块确定第一参考图像列表中的最优参考图像和第一运动矢量以及第二参考图像列表中的最优参考图像和第二运动矢量，其中运动信息包括第一参考图像列表中的最优参考图像的索引和第一运动矢量以及第二参考图像列表中的最优参考图像的索引和第二运动矢量；若该运动信息指示该图像块在第一参考列表中的最优参考图像为上述至少一个残差图像之一且该图像块在第二参考图像列表中的最优参考图像为第二参考图像，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以便将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测信号计算该图像块的预测差值。

根据本发明的实施例，该加权预测参数包括：第一预测信号的权重 _w。，第二预测信号的权重 _Wi , 第一预测信号的偏移。。，第二预测信号的偏移。精度控制因子 shift,其中处理器 910基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号： predSamples = ((P₀ +m) x w₀ + P_l x w_l + ((o₀ + o_t + 1) « (shift - 1))) » shift , 其中 , prei^a /?/^为图像块的预测信号，该《表示向左移位，该》表示向右移位， p。为第一预测信号，该为第二预测信号。根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数， w₀ = _Wl = (1 « shift) , o₀ = _Ol =— 2 x offset , 该 offset 为第一预测信号被转换成无符号数时偏移量。

可选地，作为另一实施例，处理器 910在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据第一标识信息确定允许基于第一参考图像列表中至少一个残差图像之一和第二参考图像列表中的第二参考图像，采用双向预测方法对该增强层当前图像的图像块进行解码。

根据本发明的实施例，处理器 910根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

可选地，作为另一实施例，处理器 910将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中该图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识以便编码端在管理残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，用于将该上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。

可选地，作为另一实施例，处理器 910根据预设的准则确定该图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；在根据预设的准则确定该图像緩存区中与一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从该图像緩存区中删除该增强层参考图像和 /或相应的残差图像。

可选地，作为另一实施例，处理器 910还用于生成解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像，并且将解码图像管理信息添加到编码后形成的码流中。

根据本发明的实施例，处理器 910对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像；对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

根据本发明的实施例，处理器 910将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像；将该增强层当前图像对应的基本层图像作为第二参考图像。

可选地，作为另一实施例，处理器 910根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。

根据本发明的实施例，处理器 910根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。

根据本发明的实施例，处理器 910根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。

图 10是本发明又一实施例的基于双向预测的解码装置 1000的示意性结构图。解码装置 1000包括：处理器 1010和存储器 1020。

处理器 1010调用存储器 1020中存储的代码，用于根据增强层当前图像的至少一个增强层参考图像以及至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将上述至少一个残差图像作为至少一个第一参考图像加入到该增强层当前图像的第一参考图像列表中；根据该增强层当前图像对应的基本层图像生成第二参考图像，并将第二参考图像加入到该增强层当前图像的第二参考图像列表中；基于第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码，其中第一参考图像列表是增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，第二参考图像列表是前向参考图像列表和后向参考图像列表中的另一个。

根据本发明的实施例，处理器 1010从编码后形成的码流中获取该增强层当前图像的图像块的编码信息，并对该编码信息解码得到该图像块的运动信息和图像块的预测差值信号；基于第一参考图像列表和第二参考图像列表，根据该图像块的运动信息和该预测差值信号，对该增强层当前图像的图像块进行运动补偿解码。

根据本发明的实施例，该运动信息包括：该运动信息包括第一参考图像列表中的选用参考图像的索引和第一运动矢量以及第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中处理器 1010在该运动信息指示该图像块在第一参考图像列表中的选用参考图像为上述至少一个残差图像之一并且该图像块在第二参考图像列表中的选用参考图像为第二参考图像的情况下，根据第一运动矢量从上述至少一个残差图像之一获取第一预测信号，根据第二运动矢量从第二参考图像获取第二预测信号；基于加权预测参数对第一预测信号和第二预测信号进行加权预测运算，以将第一预测信号与第二预测信号进行叠加得到该图像块的预测信号；根据该预测差值信号和该图像块的预 'J信号得 'J该图像块的重建图像。

根据本发明的实施例，该加权预测参数包括：第一预测信号的权重 M¾ , 第二预测信号的权重 _Wi , 第一预测信号的偏移。。，第二预测信号的偏移。精度控制因子 shift, 其中处理器 1010基于该加权预测参数采用如下公式对第一预测信号和第二预测信号进行加权预测运算得到该图像块的预测信号：

— 1))) » ; "f , 其中 , pre^a p/i^为图像块的预测信号，该《表示向左移位，该》表示向右移位， p。为第一预测信号，该为第二预测信号。根据本发明的实施例，第一预测信号为经过偏移后转换成的无符号数， w_{0 = Wl} = (1 « shift) , o₀ = _Ol =— 2 x offset , 该 Offset 为第一预测信号被转换成无符号数时偏移量。可选地，作为另一实施例，处理器 1010从码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据第一标识信息确定允许基于解码端根据第一参考图像列表和第二参考图像列表，采用双向预测方法对该增强层当前图像的图像块进行解码。根据本发明的实施例，处理器 1010根据该增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成上述至少一个残差图像，其中前向增强层参考图像为前向参考图像列表中的一个，后向增强层参考图像为后向参考图像列表中的一个。

可选地，作为另一实施例，处理器 1010将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中该增强层参考图像的图像顺序编号和相对应的残差图像的图像顺序编号一致，为相对应的残差图像添加第一附加标识，以便编码端在管理图像緩存区中的残差图像和增强层参考图像时根据第一附加标识将增强层参考图像与相对应的残差图像相区分；或者，将上述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中该增强层参考图像的图像顺序编号和上述相对应的残差图像的图像顺序编号一致。

可选地，作为另一实施例，处理器 1010根据预设的准则或从码流中获取的解码图像管理信息确定该图像緩存区中与一个图像顺序编号对应的图像和 /或相应的残差图像是否作为后续解码的图像的参考图像，并且将解码图像管理信息添加到码流中，其中该解码图像管理信息用于指示该图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；在根据预设的准则确定该图像緩存区中与上述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从该图像緩存区中删除该图像和 /或相应的残差图像。

可选地，作为另一实施例，图 10的解码装置还包括：接收器 1030, 用于从码流中获取的解码图像管理信息，其中解码图像管理信息用于指示图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像，其中处理器 1010在根据解码图像管理信息确定图像緩存区中与一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从图像緩存区中删除增强层参考图像和 /或相应的残差图像。

根据本发明的实施例，处理器 1010对该增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将上述至少一个上采样图像分别与其对应的增强层参考图像相减，得到上述至少一个残差图像，并且对该增强层当前图像对应的基本层图像进行上采样，以生成第二参考图像。

根据本发明的实施例，处理器 1010将上述至少一个增强层参考图像与其对应的基本层图像相减，得到上述至少一个残差图像，并且将该增强层当前图像对应的基本层图像作为第二参考图像。

可选地，作为另一实施例，处理器 1010根据第二标识信息确定用于生成上述至少一个残差图像的增强层参考图像，其中第二标识信息用于指示上述至少一个残差图像的信息。

根据本发明的实施例，第二标识信息包括：上述至少一个残差图像的数目、上述至少一个残差图像对应的增强层参考图像的标识信息或者上述至少一个残差图像对应的增强层参考图像的图像顺序编号的差值信息。

可选地，作为另一实施例，处理器 1010根据该增强层当前图像与上述至少一个增强层参考图像的时间相关性确定用于生成上述至少一个残差图像的增强层参考图像。

根据本发明的实施例，处理器 1010根据上述至少一个增强层参考图像中图像顺序编码号与该增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定上述至少一个残差图像。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和筒洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括： U盘、移动硬盘、只读存储器（ ROM, Read-Only Memory )、随机存取存储器（RAM, Random Access Memory ), 磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

权利要求

1、一种基于双向预测的编码方法，其特征在于，包括：

根据增强层当前图像的至少一个增强层参考图像以及所述至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将所述至少一个残差图像作为至少一个第一参考图像加入到所述增强层当前图像的第一参考图像列表中；

根据所述增强层当前图像对应的基本层图像生成第二参考图像，并将所述第二参考图像加入到所述增强层当前图像的第二参考图像列表中；

基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行编码，其中所述第一参考图像列表是所述增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，所述第二参考图像列表是所述前向参考图像列表和所述后向参考图像列表中的另一个。

2、根据权利要求 1所述的编码方法，其特征在于，所述基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行编码，具体包括：

基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行运动估计，以确定所述图像块的运动信息；

根据所述图像块的运动信息，对所述增强层当前图像的图像块进行运动补偿预测得到所述图像块的预测差值信号；

对所述运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。

3、根据权利要求 2所述的编码方法，其特征在于，所述基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行运动估计，以确定所述图像块的运动信息，具体包括：对所述第一参考图像列表和所述第二参考图像列表进行双向搜索，为所述图像块确定所述第一参考图像列表中的最优参考图像和第一运动矢量以及所述第二参考图像列表中的最优参考图像和第二运动矢量，其中所述运动信息包括所述第一参考图像列表中的最优参考图像的索引和第一运动矢量以及所述第二参考图像列表中的最优参考图像的索引和第二运动矢量；其中所述根据所述图像块的运动信息，对所述增强层当前图像的图像块进行运动补偿预测得到所述图像块的预测差值信号，具体包括：

若所述运动信息指示所述图像块在所述第一参考列表中的最优参考图像为所述至少一个残差图像之一且所述图像块在所述第二参考图像列表中的最优参考图像为所述第二参考图像，根据所述第一运动矢量从所述至少一个残差图像之一获取第一预测信号，根据所述第二运动矢量从所述第二参考图像获取第二预测信号；

基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以便将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号；

根据所述预测信号计算所述图像块的预测差值其中所述加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，所述加权预测参数被预先设置在编码端。

4、根据权利要求 3所述的编码方法，其特征在于，所述加权预测参数包括：所述第一预测信号的权重 _w。，所述第二预测信号的权重 _Wl , 所述第一预测信号的偏移。。，所述第二预测信号的偏移。精度控制因子 shift,

其中所述基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号，具体包括：

基于所述加权预测参数采用如下公式对所述第一预测信号和所述第二预测信号进行加权预测运算得到所述图像块的预测信号：

preitt ipto x Wo + x +

1)》》 : "f , 其中 , 所述 predSamples 为所述图像块的预测信号，所述《表示向左移位，所述》表示向右移位， P。为所述第一预测信号，所述为所述第二预测信号。

5、根据权利要求 4所述的编码方法，其特征在于，所述第一预测信号为经过偏移后转换成的无符号数， w₀ = w_l = (1 « shift) , ο₀ + ο_{ = -2 χ offset ,所述 offset 为第一预测信号被转换成无符号数时偏移量。

6、根据权利要求 1至 5中的任一项所述的编码方法，所述方法还包括：在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据所述第一标识信息确定允许基于所述第一参考图像列表中的所述至少一个残差图像之一和所述第二参考图像列表中的所述第二参考图像，采用双向预测方法对所述增强层当前图像的图像块进行解码。

7、根据权利要求 1至 6中的任一项所述的编码方法，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：

根据所述增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成所述至少一个残差图像，其中所述前向增强层参考图像为所述前向参考图像列表中的一个，所述后向增强层参考图像为所述后向参考图像列表中的一个。

8、根据权利要求 1至 7中的任一项所述的编码方法，其特征在于，所述方法还包括：

将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致，并且为所述相对应的残差图像添加第一附加标识以便编码端在管理所述残差图像和所述增强层参考图像时根据所述第一附加标识将所述增强层参考图像与所述相对应的残差图像相区分；

或者，

将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致。

9、根据权利要求 8所述的编码方法，其特征在于，所述方法还包括：根据预设的准则确定所述图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；若根据所述预设的准则确定所述图像緩存区中与所述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续编码的图像的参考图像，从所述图像緩存区中删除所述增强层参考图像和 /或相应的残差图像。

10、根据权利要求 9所述的编码方法，其特征在于，所述方法还包括：生成解码图像管理信息，其中所述解码图像管理信息用于指示所述图像緩存区中与所述一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；

将所述解码图像管理信息添加到编码后形成的码流中。

11、根据权利要求 1至 10中的任一项所述的编码方法，其特征在于，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：

对所述增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将所述至少一个上采样图像分别与其对应的增强层参考图像相减，得到所述至少一个残差图像，

其中所述根据所述增强层当前图像对应的基本层图像生成第二参考图像，具体包括：

对所述增强层当前图像对应的基本层图像进行上采样，以生成所述第二参考图像。

12、根据权利要求 1至 10中的任一项所述的编码方法，其特征在于，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，具体包括：

将所述至少一个增强层参考图像与其对应的基本层图像相减，得到所述至少一个残差图像，

将所述增强层当前图像对应的基本层图像作为所述第二参考图像。

13、根据权利要求 1至 12中的任一项所述的编码方法，其特征在于，所述方法还包括：

根据第二标识信息确定用于生成所述至少一个残差图像的增强层参考图像，其中所述第二标识信息用于指示所述至少一个残差图像的信息。

14、根据权利要求 13所述的编码方法，其特征在于，所述第二标识信息包括：所述至少一个残差图像的数目、所述至少一个残差图像对应的增强层参考图像的标识信息，或者所述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中所述第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。

15、根据权利要求 1至 12中的任一项所述的编码方法，其特征在于，还包括：

根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定用于生成所述至少一个残差图像的增强层参考图像。

16、根据权利要求 15所述的编码方法，其特征在于，所述根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定所述至少一个残差图像，具体包括：

根据所述至少一个增强层参考图像中图像顺序编码号与所述增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定所述至少一个残差图像。

17、一种基于双向预测的解码方法，其特征在于，包括：

基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行解码，其中所述第一参考图像列表是所述增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，所述第二参考图像列表是所述前向参考图像列表和所述后向参考图像列表中的另一个。

18、根据权利要求 17所述的解码方法，其特征在于，所述基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行解码，具体包括：

从编码后形成的码流中获取所述增强层当前图像的图像块的编码信息，并对该编码信息解码得到所述图像块的运动信息和所述图像块的预测差值信号；

基于所述第一参考图像列表和所述第二参考图像列表，根据所述图像块的运动信息和所述预测差值信号，对所述增强层当前图像的图像块进行运动补偿解码。

19、根据权利要求 18所述的解码方法，其特征在于，所述运动信息包括所述第一参考图像列表中的选用参考图像的索引和第一运动矢量以及所述第二参考图像列表中的选用参考图像的索引和第二运动矢量，其中所述基于所述第一参考图像列表和所述第二参考图像列表，根据所述图像块的运动信息和所述预测差值信号，对所述增强层当前图像的图像块进行运动补偿解码，包括：

若所述运动信息指示所述图像块在所述第一参考图像列表中的选用参考图像为所述至少一个残差图像之一并且所述图像块在所述第二参考图像列表中的选用参考图像为所述第二参考图像，根据所述第一运动矢量从所述至少一个残差图像之一获取第一预测信号，根据所述第二运动矢量从所述第二参考图像获取第二预测信号；

基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号；

根据所述预测差值信号和所述图像块的预测信号得到所述图像块的重建信号，其中所述加权预测参数从所述码流中得到，或者所述加权预测参数被预先设置在解码端。

20、根据权利要求 19所述的解码方法，其特征在于，所述加权预测参数包括：所述第一预测信号的权重 M¾ , 所述第二预测信号的权重 _Wl , 所述第一预测信号的偏移。。，所述第二预测信号的偏移 _Cl , 精度控制因子 shift, 其中所述基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号，包括：

preitt ipto x Wo + x w +

1))) » : "f , 其中 , 所述 predSamples 为所述图像块的预测信号，所述《表示向左移位，所述》表示向右移位， P。为所述第一预测信号，所述为所述第二预测信号。

21、根据权利要求 20所述的解码方法，其特征在于，所述第一预测信号为经过偏移后转换成的无符号数， w₀ = w_l = (1 « shift) , + ^ = -2 χ offset , 所述 offset为第一预测信号被转换成无符号数时偏移量。

22、根据权利要求 17至 21中的任一项所述的解码方法，所述方法还包括：

从所述码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据所述第一标识信息确定允许基于所述第一参考图像列表中的所述至少一个残差图像之一和所述第二参考图像列表中的所述第二参考图像，采用双向预测方法对所述增强层当前图像的图像块进行解码。

23、根据权利要求 17至 22中的任一项所述的解码方法，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：

24、根据权利要求 17至 23中的任一项所述的解码方法，其特征在于，所述方法还包括：

将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致，并且为所述相对应的残差图像添加第一附加标识，以便编码端在管理所述图像緩存区中的所述残差图像和所述增强层参考图像时根据所述第一附加标识将所述增强层参考图像与所述相对应的残差图像相区分；

或者，

25、根据权利要求 24所述的解码方法，其特征在于，所述方法还包括：根据预设的准则确定所述图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续解码的图像的参考图像；若根据所述预设的准则确定所述图像緩存区中与所述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像，从所述图像緩存区中删除所述增强层参考图像和 /或相应的残差图像。

26、根据权利要求 24所述的解码方法，其特征在于，所述方法还包括：从所述码流中获取的解码图像管理信息，其中所述解码图像管理信息用于指示所述图像緩存区中与所述一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；

若根据所述解码图像管理信息确定所述图像緩存区中与所述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像，从所述图像緩存区中删除所述增强层参考图像和 /或相应的残差图像。

27、根据权利要求 17至 26中的任一项所述的解码方法，其特征在于，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：

其中所述根据所述增强层当前图像对应的基本层图像生成第二参考图像，包括：

28、根据权利要求 17至 26中的任一项所述的解码方法，其特征在于，所述根据增强层当前图像的至少一个增强层参考图像以及对应的基本层图像生成至少一个残差图像，包括：

29、根据权利要求 17至 28中的任一项所述的解码方法，其特征在于，所述方法还包括：

30、根据权利要求 29所述的解码方法，其特征在于，所述第二标识信息包括：所述至少一个残差图像的数目、所述至少一个残差图像对应的增强层参考图像的标识信息，或者所述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中所述第二标识信息被预先设置在解码端或者从所述码流中获取。

31、根据权利要求 17至 28中的任一项所述的解码方法，其特征在于，所述方法还包括：

32、根据权利要求 31所述的解码方法，其特征在于，所述根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定所述至少一个残差图像，包括：

33、一种基于双向预测的编码装置，其特征在于，包括：

生成模块，用于根据增强层当前图像的至少一个增强层参考图像以及所述至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将所述至少一个残差图像作为至少一个第一参考图像加入到所述增强层当前图像的第一参考图像列表中；用于根据所述增强层当前图像对应的基本层图像生成第二参考图像，并将所述第二参考图像加入到所述增强层当前图像的第二参考图像列表中；

编码模块，用于基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行编码，其中所述第一参考图像列表是所述增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，所述第二参考图像列表是所述前向参考图像列表和所述后向参考图像列表中的另一个。

34、根据权利要求 33所述的编码装置，其特征在于，所述编码模块基于所述第一参考图像列表中和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行运动估计，以确定所述图像块的运动信息；根据所述图像块的运动信息，对所述增强层当前图像的图像块进行运动补偿预测得到所述图像块的预测差值信号；对所述运动信息和预测差值信号进行编码并将得到的编码信息添加在编码后形成的码流中发送给解码端。

35、根据权利要求 34所述的编码装置，其特征在于，所述编码模块对所述第一参考图像列表和所述第二参考图像列表进行双向搜索，为所述图像块确定所述第一参考图像列表中的最优参考图像和第一运动矢量以及所述第二参考图像列表中的最优参考图像和第二运动矢量，其中所述运动信息包括所述第一参考图像列表中的最优参考图像的索引和第一运动矢量以及所述第二参考图像列表中的最优参考图像的索引和第二运动矢量；若所述运动信息指示所述图像块在所述第一参考列表中的最优参考图像为所述至少一个残差图像之一且所述图像块在所述第二参考图像列表中的最优参考图像为所述第二参考图像，根据所述第一运动矢量从所述至少一个残差图像之一获取第一预测信号，根据所述第二运动矢量从所述第二参考图像获取第二预测信号；基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以便将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号；根据所述预测信号计算所述图像块的预测差值，其中所述加权预测参数由编码端确定并且添加在编码后形成的码流中，或者，所述加权预测参数被预先设置在编码端。

36、根据权利要求 35所述的编码装置，其特征在于，所述加权预测参数包括：所述第一预测信号的权重 M¾ , 所述第二预测信号的权重 _Wl , 所述第一预测信号的偏移。。，所述第二预测信号的偏移。精度控制因子 shift, 其中编码模块基于所述加权预测参数采用如下公式对所述第一预测信号和所述第二预测信号进行加权预测运算得到所述图像块的预测信号：

preitt ipto x Wo + x +

37、根据权利要求 36所述的编码装置，其特征在于，所述第一预测信号为经过偏移后转换成的无符号数， w₀ = w_l = (1 « shift) , ο₀ = o_{ = -2 x offset , 所述 offset为第一预测信号被转换成无符号数时偏移量。

38、根据权利要求 33至 37中的任一项所述的编码装置，还包括：第一添加模块，用于在编码后形成的码流中添加用于指示允许采用差分模式进行编码的第一标识信息，以便解码端根据所述第一标识信息确定允许基于所述第一参考图像列表中至少一个残差图像之一和所述第二参考图像列表中的第二参考图像，采用双向预测方法对所述增强层当前图像的图像块进行解码。

39、根据权利要求 33至 38中的任一项所述的编码装置，所述生成模块根据所述增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成所述至少一个残差图像，其中所述前向增强层参考图像为所述前向参考图像列表中的一个，所述后向增强层参考图像为所述后向参考图像列表中的一个。

40、根据权利要求 33至 39中的任一项所述的编码装置，其特征在于，还包括：

存储模块，用于将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致，并且为所述相对应的残差图像添加第一附加标识以便编码端在管理所述残差图像和所述增强层参考图像时根据所述第一附加标识将所述增强层参考图像与所述相对应的残差图像相区分；或者，用于将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致。

41、根据权利要求 40所述的编码装置，其特征在于，还包括：第一确定模块，用于根据预设的准则确定所述图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；

删除模块，用于在根据所述预设的准则确定所述图像緩存区中与所述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续编码的图像的参考图像的情况下，从所述图像緩存区中删除所述增强层参考图像和 /或相应的残差图像。

42、根据权利要求 41所述的编码装置，其特征在于，所述生成模块还用于生成解码图像管理信息，其中所述解码图像管理信息用于指示所述图像緩存区中与所述一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像，所述编码装置还包括：第二添加模块，用于将所述解码图像管理信息添加到编码后形成的码流中。

43、根据权利要求 33至 42中的任一项所述的编码装置，其特征在于，所述生成模块对所述增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将所述至少一个上采样图像分别与其对应的增强层参考图像相减，得到所述至少一个残差图像；对所述增强层当前图像对应的基本层图像进行上采样，以生成所述第二参考图像。

44、根据权利要求 33至 42中的任一项所述的编码装置，其特征在于，所述生成模块将所述至少一个增强层参考图像与其对应的基本层图像相减 , 得到所述至少一个残差图像；将所述增强层当前图像对应的基本层图像作为所述第二参考图像。

45、根据权利要求 33至 44中的任一项所述的编码装置，其特征在于，还包括：

第二确定模块，用于根据第二标识信息确定用于生成所述至少一个残差图像的增强层参考图像，其中所述第二标识信息用于指示所述至少一个残差图像的信息。

46、根据权利要求 45所述的编码装置，其特征在于，所述第二标识信息包括：所述至少一个残差图像的数目、所述至少一个残差图像对应的增强层参考图像的标识信息，或者所述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，其中所述第二标识信息被预先设置在编码端或者被添加在编码后形成的码流中。

47、根据权利要求 33至 44中的任一项所述的编码装置，其特征在于，还包括：

第二确定模块，用于根据所述增强层当前图像与所述至少一个增强层参考图像的时间相关性确定用于生成所述至少一个残差图像的增强层参考图像。

48、根据权利要求 47所述的编码装置，其特征在于，所述第二确定模块根据所述至少一个增强层参考图像中图像顺序编码号与所述增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定所述至少一个残差图像。

49、一种基于双向预测的解码装置，其特征在于，包括：生成模块，用于根据增强层当前图像的至少一个增强层参考图像以及所述至少一个增强层参考图像对应的基本层图像生成至少一个残差图像，并将所述至少一个残差图像作为至少一个第一参考图像加入到所述增强层当前图像的第一参考图像列表中；根据所述增强层当前图像对应的基本层图像生成第二参考图像，并将所述第二参考图像加入到所述增强层当前图像的第二参考图像列表中；

解码模块，用于基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行解码，其中所述第一参考图像列表是所述增强层当前图像的前向参考图像列表和后向参考图像列表中的一个，所述第二参考图像列表是所述前向参考图像列表和所述后向参考图像列表中的另一个。

50、根据权利要求 49所述的解码装置，其特征在于，所述解码模块从编码后形成的码流中获取所述增强层当前图像的图像块的编码信息，并对该编码信息解码得到所述图像块的运动信息和所述图像块的预测差值信号；基于所述第一参考图像列表和所述第二参考图像列表，根据所述图像块的运动信息和所述预测差值信号，对所述增强层当前图像的图像块进行运动补偿解码。

51、根据权利要求 50所述的解码装置，其特征在于，所述运动信息包括所述第一参考图像列表中的选用参考图像的索引和第一运动矢量以及所述第二参考图像列表中的选用参考图像的索引和第二运动矢量，所述解码模块在所述运动信息指示所述图像块在所述第一参考图像列表中的选用参考图像为所述至少一个残差图像之一并且所述图像块在所述第二参考图像列表中的选用参考图像为所述第二参考图像的情况下，根据所述第一运动矢量从所述至少一个残差图像之一获取第一预测信号，根据所述第二运动矢量从所述第二参考图像获取第二预测信号；基于加权预测参数对所述第一预测信号和所述第二预测信号进行加权预测运算，以将所述第一预测信号与所述第二预测信号进行叠加得到所述图像块的预测信号；根据所述预测差值信号和所述图像块的预测信号得到所述图像块的重建信号，其中所述加权预测参数从所述码流中得到，或者所述加权预测参数被预先设置在解码端。

52、根据权利要求 51所述的解码装置，其特征在于，所述加权预测参数包括：所述第一预测信号的权重 Μ¾ , 所述第二预测信号的权重 _Wl , 所述第一预测信号的偏移。。，所述第二预测信号的偏移。精度控制因子 Shift , 其中所述解码模块基于所述加权预测参数采用如下公式对所述第一预测信号和所述第二预测信号进行加权预测运算得到所述图像块的预测信号：

preitt ipto x Wo + x +

1)》》 : "f , 其中 , 所述 predSamples 为所述图像块的预测信号，所述 <<表示向左移位，所述》表示向右移位， P。为所述第一预测信号，所述为所述第二预测信号。

53、根据权利要求 52所述的解码装置，其特征在于，所述第一预测信号为经过偏移后转换成的无符号数， w₀ = w_l = (1 « shift) , ο₀ = o_{ = -2 x offset , 所述 offset为第一预测信号被转换成无符号数时偏移量。

54、根据权利要求 49至 53中的任一项所述的解码装置，还包括：第一获取模块，用于从所述码流中获取用于指示允许采用差分模式进行解码的第一标识信息，以使解码端根据所述第一标识信息确定允许基于所述第一参考图像列表和所述第二参考图像列表，采用双向预测方法对所述增强层当前图像的图像块进行解码。

55、根据权利要求 49至 54中的任一项所述的解码装置，所述生成模块根据所述增强层当前图像的前向增强层参考图像和 /或后向增强层参考图像以及对应的基本层图像生成所述至少一个残差图像，其中所述前向增强层参考图像为所述前向参考图像列表中的一个，所述后向增强层参考图像为所述后向参考图像列表中的一个。

56、根据权利要求 49至 55中的任一项所述的解码装置，其特征在于，还包括：

存储模块，用于将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到同一图像緩存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致，并且为所述相对应的残差图像添加第一附加标识，以便编码端在管理所述图像緩存区中的所述残差图像和所述增强层参考图像时根据所述第一附加标识将所述增强层参考图像与所述相对应的残差图像相区分；或者，将所述至少一个增强层参考图像中的增强层参考图像和相对应的残差图像存储到不同的图像緩存区中，其中所述增强层参考图像的图像顺序编号和所述相对应的残差图像的图像顺序编号一致。

57、根据权利要求 56所述的解码装置，其特征在于，还包括：第一确定模块，用于根据预设的准则确定所述图像緩存区中与一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续解码的图像的参考图像；

删除模块，用于在根据所述预设的准则确定所述图像緩存区中与所述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从所述图像緩存区中删除所述增强层参考图像和 /或相应的残差图像。

58、根据权利要求 56所述的解码装置，其特征在于，还包括：第二获取模块，用于从所述码流中获取的解码图像管理信息，其中所述解码图像管理信息用于指示所述图像緩存区中与所述一个图像顺序编号对应的增强层参考图像和 /或相应的残差图像是否作为后续编码的图像的参考图像；

删除模块，用于在根据所述解码图像管理信息确定所述图像緩存区中与所述一个图像顺序编号对应的增强层图像和 /或相应的残差图像不再作为后续解码的图像的参考图像的情况下，从所述图像緩存区中删除所述增强层参考图像和 /或相应的残差图像。

59、根据权利要求 49至 58中的任一项所述的解码装置，所述生成模块对所述增强层当前图像的至少一个增强层参考图像对应的基本层图像进行上采样，生成至少一个上采样图像，并将所述至少一个上采样图像分别与其对应的增强层参考图像相减，得到所述至少一个残差图像，并且对所述增强层当前图像对应的基本层图像进行上采样 , 以生成所述第二参考图像。

60、根据权利要求 49至 58中的任一项所述的解码装置，其特征在于，所述生成模块将所述至少一个增强层参考图像与其对应的基本层图像相减，得到所述至少一个残差图像，并且将所述增强层当前图像对应的基本层图像作为所述第二参考图像。

61、根据权利要求 49至 60中的任一项所述的解码装置，其特征在于，还包括：

62、根据权利要求 61所述的解码装置，其特征在于，所述第二标识信息包括：所述至少一个残差图像的数目、所述至少一个残差图像对应的增强层参考图像的标识信息，或者所述至少一个残差图像对应的增强层参考图像的图像顺序编号信息，所述第二标识信息被预先设置在解码端，或者从所述码流中获取。

63、根据权利要求 49至 60中的任一项所述的解码装置，其特征在于，还包括：

64、根据权利要求 63所述的解码装置，其特征在于，所述第二确定模块根据所述至少一个增强层参考图像中图像顺序编码号与所述增强层当前图像的图像顺序编号之差的绝对值小于预设的阈值的增强层参考图像确定所述至少一个残差图像。