WO2010133158A1

WO2010133158A1 - 确定调度包优先级的方法和装置

Info

Publication number: WO2010133158A1
Application number: PCT/CN2010/072852
Authority: WO
Inventors: 孙俊; 李睿珩; 邸佩云; 胡昌启
Original assignee: 华为技术有限公司; 北京大学
Priority date: 2009-05-20
Filing date: 2010-05-17
Publication date: 2010-11-25
Also published as: CN101895461B; CN101895461A

Description

确定调度包优先级的方法和装置本申请要求了 2009年 5月 20日提交的，申请号为 200910203202. 5，发明名称为 "确定调度包优先级的方法和装置" 的中国专利申请的优先权，其全部内容通过引用结合在本申请中。技术领域

本发明涉及通信技术领域，具体涉及确定调度包优先级的方法和装置。背景技术

随着网络技术发展和普遍应用，传输视频信息已经成为网络传输的重要业务之一。在互联网或移动网络上进行视频传输时，一方面要考虑网络拥塞和信道噪声等可能导致的传输带宽不稳定；另一方面要考虑终端设备解码播放能力以及应用需求的差异，因此，在视频信息传输过程中，要求视频信息的编码和传输具有可伸缩的特性。

可伸缩视频编码（SVC， Scalable Video Coding )是由高压缩效率视频标准 H.264/AVC发展而来的视频编码方案， SVC不仅可以提供视频空域（分辨率）、质量和时域（帧率）的可伸缩性，还可以提供精确到包的码流截取，具有很高的可伸缩视频编码效率，接近于传统非可伸缩视频编码方案的压缩率。

SVC 的质量可伸缩编码主要通过对变换系数的重复量化（分层编码）、变换系数的分组编码和位平面编码，实现质量（SNR ) 的可伸缩性。具体可以通过粗糙粒度可伸缩性（CGS )和中等粒度可伸缩性（MGS )等技术实现视频质量的可伸缩。其基本思想为：将视频的每一帧都分为一个可以单独解码的基本层（BL )码流以及一个或多个增强层（EL )码流，每个增强层包括 1 个或多个调度包。基本层采用混合编码的方法，通常码率比较低，只能保证最基本的质量要求，确保解码端有足够的能力接收并解码基本层的码流，增强层有 CGS和 MGS两种编码方式，基本层和增强层的视频图像分辨率通常相同。

CGS编码方式中，每一个编码层必须完全获得才能得到较好的增强层质量。 MGS编码方式中，通过关键帧技术， 1个图像组（ GOP, Group Of Pictures ) 的每帧的多个调度包可以被任意截取，大大提高了质量可伸缩编码的灵活性，同时通过对每个 MGS增强层的变换系数进行分组编码，可以实现每层 MGS 码流多个 MGS调度包的截断，大大提高了质量可伸缩编码的精细粒度。

MGS主要采用多层次编码和提取 MGS调度包的机制，通过保留和丢弃不同的 MGS调度包，可以实现各种码率约束。 SVC每个 GOP中采用层次化 B 帧的结构，不同层次的帧与帧之间的预测具有很强的相关性，丢弃不同 MGS调度包后的编码效率的差别很大，因此，需要先为每个 MGS调度包设定优先级，并根据每个 MGS调度包的优先级来进行不等保护和调度。

请参见图 1，图 1所示的图像组包括 9帧，图像组的每帧包括 1个基本层和 2个增强层，每个增强层又包括两个 MGS调度包。上述图像组的各帧之间的参考关联关系可以是：第 0帧和第 8帧为关键帧；第 4帧参考第 0帧和第 8帧；第 2帧参考第 4帧和第 0帧；第 6帧参考第 4帧和第 8帧；第 1 帧参考第 2帧和第 0帧；第 3帧参考第 2帧和第 4帧；第 5帧参考第 4帧和第 6帧；第 7帧参考第 6帧和第 8帧。

在图像组中，被其它帧参考的帧可以称为参考帧，参考其它帧的帧可以称为预测帧，参考帧和预测帧呈现相对关系。按照图 1所示的参考关系，第 0帧和第 8帧可以称为第 4帧的参考帧，第 4帧可以称为第 0帧和第 8帧的预测帧；第 2帧和第 4帧可以称为第 3帧的参考帧，第 3帧的可以称为第 2 帧和第 4帧的预测帧，以此类推。

现有技术中，一般是通过多次解码，获得图像组在不同丢包方式下的失真，然后通过比较不同丢包方式下的图像组失真，来确定图像组的每帧的每个调度包的优先级的。以图 1所示的图像组为例，该图像组包括 9帧，每帧包括 4个调度包，图像组共包括 9*4=36个调度包，现有技术一般需要解码 36次，以获得图像组在分别丢弃每个调度包时的图像组失真，通过比较分别丢弃每个调度包时的图像组失真，确定图像组的每帧的每个调度包的优先级。

在实现本发明的过程中，发明人发现，现有技术确定图像组的每帧的每个调度包的优先级的方式中，通过遍历解码不同丢包方式来获得各个调度包的重要性，需要经过很多次解码才能最终确定出图像组的每帧的每个调度包的优先级，确定调度包优先级的处理过程相对复杂。发明内容

本发明实施例所要解决的技术问题是，提供一种确定调度包优先级的方法和装置，能够相对降低确定图像组的每个调度包的优先级过程的处理复杂度。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种确定调度包优先级的方法，包括：

分别获取由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真；按照第一截取方式和第二截取方式截取第一图像组码流，第一截取方式所截取的第一图像组的任意一帧的调度包的总个数大于或小于第二截取方式所截取的该帧的调度包的总个数；解码按照第一截取方式所截取的第一图像组码流，获得第一截取方式下第一图像组每帧图像的第一总失真，解码按照第二截取方式所截取的第一图像组码流，获得第二截取方式下第一图像组每帧图像的第二总失真；利用第一图像组每帧图像的第一总失真、第二总失真和第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，分别获取第一图像组的每个调度包对第一图像组的影响权重；基于第一图像组的每个调度包对第一图像组的影响权重，确定第一图像组的每个调度包的优先级。

一种确定调度包优先级的装置，包括：

本帧失真获取模块，用于分别获取由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真；码流截取模块，用于按照第一截取方式和第二截取方式截取第一图像组码流，第一截取方式所截取的第一图像组的任意一帧的调度包的总个数大于或小于第二截取方式所截取的该帧的调度包的总个数；总失真获取模块，用于解码所述码流截取模块按照第一截取方式所截取的第一图像组码流，获得第一截取方式下第一图像组每帧图像的第一总失真，解码所述码流截取模块按照第二截取方式所截取的第一图像组码流，获得第二截取方式下第一图像组每帧图像的第二总失真；权重获取模块，用于利用所述总失真获取模块获取的第一图像组每帧图像的第一总失真、第二总失真和所述本帧失真获取模块获取的第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，分别获取第一图像组的每个调度包对第一图像组的影响权重；优先级确定模块，用于基于所述权重获取模块获取的第一图像组的每个调度包对第一图像组的影响权重，确定第一图像组的每个调度包的优先级。

由上述技术方案可以看出，本发明实施例中采用的技术方案优点如下：采用两种不同截取方式截取图像组码流，通过两次解码可以获得图像组每帧在两种不同截取方式下总失真，利用图像组每帧在两种不同截取方式下总失真和图像组每帧图像的本帧失真来获取图像组每帧的每个调度包对图像组的影响权重，解码次数相对较少，可以较大的降低确定调度包优先级过程的复杂度。附图说明

为了更清楚地说明本发明实施例和现有技术中的技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图 1是现有技术提供的一种图像组各帧关联结构示意图；

图 2是本发明实施例一提供的一种确定调度包优先级的方法流程图；图 3是本发明实施例二提供的一种确定调度包优先级的方法流程图；图 4是本发明实施例三提供的一种确定调度包优先级的装置示意图；图 5是本发明实施例三提供的一种帧间权重获取子模块结构示意图。具体实施方式

本发明实施例提供一种确定调度包优先级的方法和装置，能够相对降低确定图像组的每个调度包的优先级过程的处理复杂度。

以下通过具体实施例，分别进行详细说明。请参见图 2、本发明实施例一种确定调度包优先级的方法第一实施例具体可以包括：

210、分别获取由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

所谓某帧图像的本帧失真，是指在没有漂移误差的情况下，由于该帧自身数据丢失而引起的该帧图像的失真。

可以采用多种方式来获取由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。举例来说，可以在第一图像组编码的过程中，分别解码在编码第一图像组的每帧的每个增强层之前的第一图像组码流，分别获得由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真；也可以在第一图像组编码完成后，解码分别丢弃了每帧的每个增强层后的第一图像组码流，分别获得由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

220、按照第一截取方式和第二截取方式截取第一图像组码流，第一截取方式所截取的第一图像组的任意一帧的调度包的总个数大于或小于第二截取方式所截取的该帧的调度包的总个数。

230、解码按照第一截取方式所截取的第一图像组码流，获得第一截取方式下第一图像组每帧图像的第一总失真，解码按照第二截取方式所截取的第一图像组码流，获得第二截取方式下第一图像组每帧图像的第二总失真。

240、利用第一图像组每帧图像的第一总失真、第二总失真和第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，分别获取第一图像组的每个调度包对第一图像组的影响权重。

在一种应用场景下，可以利用第一图像组每帧图像的第一总失真、第二总失真和第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，获取第一图像组的各帧之间的影响权重；利用第一图像组的各帧之间的影响权重，分别获取第一图像组的每帧对第一图像组的影响权重；利用第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真和第一图像组每帧的每个增强层的码流大小，分别估算第一图像组的每个调度包的率失真；利用第一图像组的每帧对第一图像组的影响权重和第一图像组的每个调度包的率失真，分别获取第一图像组的每个调度包对第一图像组的影响权重。

250、基于第一图像组的每个调度包对第一图像组的影响权重，确定第一图像组的每个调度包的优先级。

在一种应用场景下，可以比较获取的第一图像组的每个调度包对第一图像组的影响权重的大小，并根据比较结果设置上述图像组的每帧的每个调度包的优先级。

优先级的等级数可以根据实际需要具体确定，对第一图像组的影响权重不同的调度包可以被设置成不同的优先级，当然，对图像组的影响权重接近或相同的调度包可以被设置成相同的优先级。调度包的优先级设定得越高，表示该调度包对图像组的影响权重越大。

在确定出图像组的每帧的各个调度包的优先级后，可以根据各个调度包的优先级对各个调度包进行不等保护和调度等处理。

由上述技术方案可以看出，本实施例中采用两种不同截取方式截取图像组码流，通过两次解码可以获得图像组每帧在两种不同截取方式下总失真，利用图像组每帧在两种不同截取方式下总失真和图像组每帧图像的本帧失真来获取图像组每帧的每个调度包对图像组的影响权重，解码次数相对较少，可以较大的降低确定调度包优先级过程的复杂度。

具体来说，以图 1所示的图像组为例，该图像组包括 9帧，每帧包括 2个增强层，每个增强层包括 2个调度包，图像组共包括 9 * 4 = 36个调度包，现有技术确定图像组每帧的每个调度包对图像组的影响权重需要解码 36次，而本发明实施例的技术方案，获取每帧的每个增强层的缺失而引起的该帧图像的本帧失真需要 9 * 2 = 18次解码，获取第一总失真和第二总失真需要 2次解码，本发明实施例的技术方案总共只需要 18+2=20次解码即可确定图像组每帧的每个调度包对图像组的影响权重，并且，如果是在编码图像组的过程中获取每帧的每个增强层的缺失而引起的该帧图像的本帧失真，则可以利用编码过程中已有的解码步骤直接获取到每帧的每个增强层的缺失而引起的该帧图像的本帧失真，不需要新增获取每帧的每个增强层的缺失而引起的该帧图像的本帧失真而进行解码的步骤（不必额外再进行 9 * 2 = 18次解码，也就是只需要额外进行 2次解码即可），因此，本发明实施例的技术方案的解码次数远远小于现有技术。为便于理解，下面通过更为具体的实施例进一步进行说明，请参见图 3、本发明实施例一种确定调度包优先级的方法第二实施例具体可以包括：

301、分别获取由于图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

需要说明的是，所谓第 i帧的第 j个增强层的缺失，可以是在没有漂移误差的情况下，第 i帧仅缺失了第 j个增强层，也可以是第 i帧缺失了第 j个增强层以及第 j个增强层之上的部分或全部增强层，以此类推，也就是说，图像组每帧的每个增强层的缺失，可以是在缺失每个增强层时，一并丢弃该增强层之上的部分或全部增强层。

可以在第 i帧的参考数据 (包括：直接参考的数据和间接参考的数据）完整时，分别求取第 i帧由于每个增强层的缺失而引起的第 i帧图像的本帧失真；而在第 i帧每个增强层缺失时，第 i帧不参考的数据（例如第 m帧的数据）可以部分或全部的缺失（由于第 i帧不参考的数据缺失不会造成第 i帧的漂移误差，因此在求取第 i帧图像的本帧失真时，图像组中第 i帧不参考的数据可以部分或全部缺失），以同时获取（即 i帧不参考的数据）由于第 m帧的每个增强层的缺失而引起的第 m帧图像的本帧失真。

在一种应用场景下，可以在编码图像组的码流的过程中，分别解码在编码图像组的每帧的每个增强层之前的图像组码流，分别获得由于图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

举例来说，在编码图像组第 i帧的过程中，在编码第 i帧的第 j层时，需要先将编码到第 i帧的第 j-1层（基本层或增强层）的码流进行解码，以第 i帧编码到第 j-1层时的解码图像为参考，来编码第 i帧的第 j层的码流。由于在编码第 i 帧的第 j层的码流时，解码了编码到第 i帧的第 j-1层的码流，因此，可以获取到编码到第 i帧的第 j-1层时第 i帧的本帧失真，以及编码到第 i帧的第 j-1层时第 i帧的码流大小，而编码到第 i帧的第 j-1层时第 i帧的本帧失真等于图像组单独缺失第 i帧的第 j层时第 i帧图像的本帧失真，以此类推，在编码图像组的每帧的过程中，可以分别获取到单独缺失图像组每帧的每个增强层而引起的该帧的本帧失真，以及图像组的每帧的每层的码流大小。

可以看出，由于在编码过程中有解码步骤，因此利用编码过程中的解码步骤可以直接获取每帧的每个增强层的本帧失真，不需要增加额外的处理开销，实现相对简单。

在另一种应用场景下，可以在图像组编码完成后，通过解码分别丢弃了每帧的每个增强层后的图像组码流，分别获得由于图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

举例来说，可以通过解码截取的码流，获取单独缺失图像组第 i帧的第 j 层而引起的第 i帧的本帧失真的方式可以是：截取图像组第 i帧的第 j- 1层码流以及图像组其它帧的所有层码流，通过解码上述截取的码流，可以获得单独缺失图像组第 i帧的第 j层而引起的第 i帧图像的本帧失真，同时可以获得第 i帧的基本层至第 j-1层的码流大小，以此类推，分别获取到单独缺失图像组每帧的每个增强层而引起的该帧的本帧失真，以及图像组的每帧的每层的码流大小，以及图像组的每帧的每层的码流大小。

需要说明的是，所谓截取第 i帧的第 j-1层，指的是截取的码流为第 i帧的基本层至第 j-1层的全部码流，以此类推，所谓截取第 i帧的第 j层的第 k个调度包，指的是截取的码流为第 i帧的基本层至第 j层的第 k个调度包的全部码流。

可以理解的是，图像组第 i帧的本帧失真，可以表征在没有漂移误差的情况下，由于第 i帧自身数据丢失而引起的第 i帧的失真。

可以理解的是，若图像组的某些帧之间不存在直接参考或间接参考的关系，则可以解码同时缺失的不存在参考关系的帧的 1个增强层，同时获得在该缺失情况下，上述不存在参考关系的各帧的本帧失真。

下面，为便于表述理解，将截取的图像组的第 i帧的第 j层以及图像组其它帧的全部码流进行解码而获得的第 i帧图像的本帧失真标记为；将第 i帧的基本层至第 j层的全部码流的大小标记为。

在一种应用场景下，可以认为，在第 i帧的同一个编码层中，在没有漂移误差（Drift ) 的情况下，失真 MSE的下降和比特率的上升呈线形关系。

第 i帧的不同编码层的调度包的缺失（丢弃）对第 i帧图像质量的影响可以如公式（1 )所示的分段线性关系：

≤ ≤ ；

< ≤ ;

其中，表示当前截取的图像组的第 i帧的截取后的码流大小， MSE R 可以表示在没有漂移误差的情况下，截取到的第 i帧的码流大小为所对应第 i 帧的本帧失真。

可以看出，利用公式（1 )，可以简单的获取到在没有漂移误差的情况下，每帧在任何截取方式（即：可以按照需要调整取值，且不限于正好截取一个完整的增强层或完整的调度包，也可以是截取了一个增强层或调度包的一部分）下的本帧失真，例如，参考公式（1 )，当的取值在 ≤ ≤ ?;时，则應(^ ) = M -(M - O -R,⁰)/^¹ - ) ]。

举例来说，若用表示截取到的第 i帧码流大小为基本层至第 j层的第 k 个调度包的全部码流大小，当 = 时，利用公式 1，可以计算出 Μ /' ( MSEi^ ) )来， M '^k表示在没有漂移误差的情况下，解码截取到的第 i帧的第 j层的第 k个调度包对应的第 i帧的本帧失真。这样就可以利用分别获取的缺失图像组每帧的每个增强层而引起的该帧图像的本帧失真，来确定出缺失图像组每帧的每个增强层的各个调度包而引起的该帧图像的本帧失真 M /，。此外，（M|*

可以表示没有漂移误差下，第 i帧的第 1层增强层的失真码率比值，可以标记为^ <¾。以此类推，（M - ' -^^/(！^ -！^- 可以表示没有漂移误差情况下，第 i帧的第 j个增强层的失真码率比值（简称为：率失真），可以标记为動； (Μ/'" - Mi'^k、l、Ri'^k - 可以表示没有漂移误差情况下，第 i帧的第 j层的第 k个 MGS调度包的率失真，可以标记为 /? ) 0/' 。 R D O /'^k体现出第 i帧的第 j层的第 k个调度包码率失真关系（ R-D , Rate-Distortion function )，可以表征出第 i帧的第 j层的第 k个调度包的每个比特的重要性。

302、按照第一截取方式和第二截取方式截取图像组码流，分别解码上述两种截取方式所截取的图像组码流，分别获得在第一截取方式和第二截取方式下图像组每帧图像的总失真。

在一种应用场景下，要求上述的第一截取方式和第二截取方式所截取的图像组每帧的层数和 /或调度包的个数均不相同，也就是说第一截取方式所截取的图像组任意一帧的调度包的总个数大于或小于第二截取方式所截取的图像组的该帧的调度包的总个数。

举例来说，第一截取方式是截取图像组第 i帧的第 jl层的第 kl个调度包（若 kl=0, 则表示只截取图像组第 i帧的第 jl-1层，以此类推）；第二截取方式是截取图像组第 i帧的第 j2层的第 k2个调度包，其中， jl、 j2 、 kl、 k2的取值需要满足下述条件中的至少一个： jl大于或小于 j2、 kl大于或小于 k2。图像组其它帧的截取以此类推，以保证两种截取方式所截取的图像组每帧的调度包总个数均不相同。

通过分别解码两种截取方式下所截取的图像组码流，能够分别获得每种截取方式下图像组每帧图像的总失真，同时还可以分别获得两种截取方式所截取的图像组的每帧的码流大小。

可以理解的是，图像组第 i帧的总失真，可以表征在由于第 i帧自身数据丢失以及第 i帧的参考帧的数据丢失而引起的第 i帧的失真，在一定程度上体现出图像组各帧之间的参考关系。

下面，为便于表述理解，将解码按照第一截取方式截取图像组每帧的码流而获得的第 i帧图像的总失真标记为，将按照第一截取方式截取的图像组第 i帧的码流大小标记为，将解码按照第二截取方式截取图像组每帧的码流而获得的第 i帧图像总失真标记为，将按照第二截取方式截取的图像组第 i帧的码流大小标记为。

303、利用第一截取方式和第二截取方式下图像组每帧图像的总失真以及图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，获取图像组每帧的每个调度包对图像组的影响权重。

在一种应用场景下，可以先获取图像组各帧之间的影响权重，再利用图像组各帧之间的影响权重各帧之间的影响权重来获得图像组每帧对图像组的影响权重。

可以利用公式（2 )，获取图像组中第 i帧（预测帧）的参考帧（第 m帧）对第 i帧的影响权重：

μ （2 ) 在公式（2 )中，）表示在两种不同截取方式下第 i帧的总失真的 , AE «. )

表示在没有漂移误差的情况下，两种不同截取方式所截取的第 i帧的码流大小对应的第 i帧的本帧失真的差； S表示第 i帧的所有参考帧的集合，公式（2) 中的分母表示第 i帧的所有参考帧的总失真差的总和； _ζ·则表示第 i帧的参考帧对第 i 帧的影响权重。其中，可以通过解码截取码流获得 z/¹'"和 z/²' ²，可以在编码图像组码流的过程中或通过截取编码后的图像组码流来（参考公式（ 1 ) ) 获得 M 和 M /"² 。

举例来说，在图 1所示的图像组中，第 4帧参考第 0帧和第 8帧，可以认为，第 0帧和第 8帧对第 4帧的漂移误差影响是线性的，第 0帧和第 8帧对第 4帧的漂移误差权值相同。可以利用公式（ 2 )，获取第 0帧或第 8帧对第 4帧的影响权重 4 :

ΑΕ(ε₄ ²)-ΑΕ(ε_Η ² ₄)

θ->4 一 s->4 ~ 4 ~

ΑΕ(ε₀ ²) + ΑΕ(ε ) 其中， AE( ）、 AE( ）和 AE( ）分别表示两种不同截取方式下第 0帧、第 4帧和第 8帧的总失真的差， AE(^₄)表示第 4帧的本帧失真差。 4则可以表示第 4帧的参考帧（第 0帧或第 8帧）对第 4帧的影响权重。

可以看出，利用公式（2)，能够简单的获得图像组中各个参考帧对预测帧的影响权重。在利用公式（2)获得图像组中各个参考帧对预测帧的影响权重后，可以利用图像组中各个参考帧对预测帧的影响权重，获得图像组的每帧对其它帧的影响权重，即可以获得各个帧之间的影响权重。在一种应用场景下，图像组中的各帧之间可能存在逐级参考的关系，举例来说，图像组中的逐级参考关系可以如下：第 nl 帧参考第 n2帧，第 nl 帧参考第 n3帧，第 n3帧参考第 n4帧。

存在逐级参考关系的图像组中，直接参考帧对预测帧的影响权重是上一级参考帧（即上述直接参考帧的参考帧）对上述直接参考帧的影响权重总和与上述直接参考帧对预测帧的影响权重的乘积。例如，第 nl 帧直接参考第 n2帧和第 n3帧，第 n3帧参考第 n4帧时，对第 nl帧而言，以第 nl帧作为预测帧，第 n2帧和第 n3帧为第 nl帧（预测帧）的直接参考帧，第 n4帧为第 n3帧（直接参考帧）的上一级参考帧。

举例来说，若用 F/¹表示第 i帧对第 _n帧的影响权重，用 μ _η表示第 η 帧的参考帧对第 η帧的影响权重，第 i帧对第 n帧的影响权重 ."的获得方式可以如公式（3 ) 所示：

¹ " ½ ¹ ( 3 ) 在公式（3 )中， N表示第 n帧的所有直接参考帧的集合，

^Fi 表示第 i帧对第 n帧的所有直接参考帧（即第 j帧）的影响权重的总和。其中，如果第 k帧为关键帧，即第 k帧没有参考其他帧，则 F =l ; 如果第 i帧是第 n帧的上级帧，且第 i帧不是第 n帧的直接参考帧或间接的逐级参考帧，即第 i帧和第 n帧之间没有直接的或间接的参考关系，则 F =0。特别的，图像组中的预测帧和参考帧之间也可以是部分参考关系，即：预测帧可以只参考参考帧的部分像素。

举例来说，第 m2帧和第 m3帧参考第 i帧，第 ml帧参考第 m2帧和第 m3帧，且第 ml帧在参考第 m2帧和第 m3帧时，只参考第 m2帧和第 m2 帧的部分像素（块，宏块），那么，第 i 帧对第 ml 帧的影响权重 F

其中，为第 ml巾贞参考第 m2巾贞的像素比例，为第 ml帧参考第 m3帧的像素比例，和^ 3的取值可以大于等于 0且小于等于 1。

利用公式（2 )可以获取参考帧对预测帧的影响权重，以图 1所示的图像组为例，若用 F₀"表示第 0帧对第 _n帧的影响权重，则图 1中的第 0帧对各帧的影响权重可以如下：

1、第 0帧对第 0帧的影响权重： Fo^{Q =}l ;

2、第 0帧对第 4帧的影响权重：

第 4帧的参考帧

3、第 0帧对第 2帧的影响权重：

4、第 0帧对第 6帧的影响权重：

F₀ ⁶ = /₆0^⁴ + ） = _{6 χ} ( μ_{4 +}ο) - β χ ₄

5、第 0帧对第 1帧的影响权重：

6、第 0帧对第 3帧的影响权重：

= ₃^F₀ ²+F₀ ⁴)^ ₃ X ( ₂ X ( 1 _{+ 4} ) + A )

7、第 0帧对第 5帧的影响权重：

8、第 0帧对第 7帧的影响权重：

9、第 0帧对第 8帧的影响权重 ^()⁸=0。

以此类推，按照上述方式，依次获得第 1、 2、 3、 4、 5、 6、 7、 8 帧对 GOP中其它帧的影响权重，这样就可以获得各个帧之间的影响权重。

特别的，若第 3帧只参考第 4帧和第 2帧的部分像素，则第 0帧对第 3 帧的影响权重 F₀ = ( P2 X ( 1 + ) X〃2 + P4 X ) X 3。其中， P2 为第 3帧参考的第 2帧的像素比例， P4为第 3帧参考的第 4帧的像素比例。若其它帧也存在部分参考的问题，可以此类推。

进一步的，可以生成图像组每帧的影响权重数组，影响权重数组记录每帧对图像组中各帧的影响权重，例如第 i帧的影响权重数组中的各个元素可以为第 i帧对图像组中各帧的影响权重值。

在一种应用场景下，共包括 f帧的图像组的第 i帧的影响权重数组可以如下面的数组所示，但不局限于此：

举例来说，如图 1所示图像组的第 0帧的影响权重数组可以如下： FWeight₀[9] = [1,^(1 + μ₂{\ + μ₄)),μ₂(1 + μ₄),

/₃( /₂(1 + μ₄) + μ₄),μ₄,μ₅(μ₄ + μ₆μ₄), μ₆μ₄, μ₇μ₆μ₄,0] 可以看出，生成如数组所示的第 i帧的影响权重数组，可以清楚的记录第 i帧对图像组中各帧的影响权重，可便于后续计算。在利用公式（ 3 )获得图像组每帧对其它帧的影响权重后，可以利用图像组每帧对其它帧的影响权重，获得图像组每帧对图像组的影响权重。

在一种应用场景下，若用 F 表示第 i帧对图像组的影响权重，可以公式 (4)获得第 i帧对图像组的影响权重，但不局限于此。

在公式（4) 中， F表示图像组的所有帧的集合。举例来说，图 1所示图像组中，若用。表示第 0帧对整个图像组影响权重，可以利用公式（4)求和第 0帧的影响权重数组 i^¾g [9]的所有元素，获得 FW₀。

可以看出，利用公式（4)，能够获得图像组的每帧对图像组影响权重。在利用公式（4)获得图像组的每帧对图像组的影响权重后，可以进一步获得图像组的每帧的每个调度包对图像组的影响权重。在一种应用场景下，若用 MW'^k表示第 i帧的第 j层的第 k个调度包对图像组的影响权重，则和的关系可以如公式（5)所示，但不局限于此：

在公式（5) 中， w )O/，表示没有漂移误差情况下，第 i帧的第 j层的第 k 个 MGS 调度包的失真码率比值（即率失真）， RDOi'^k = (Μ/'" -Μ/' ) 可以参考步骤 301中的相关内容。若同一个增强层的各个调度包的重要性相同，则 RDO

。进一步的，为使得表征调度包对图像组的影响权重更为直观，若仍用 Μ 表示第 i帧的第 j层的第 k个调度包对图像组的影响权重，和之间的关系也可以如公式（6)所示，但不局限于此：

MW/'^k = D ,^k * FW_{ * RDOj ^k ( 6 ) 在公式（6) 中，表示第 i帧的第 j层的第 k个调度包的码流大小。在另一种应用场景下，也可以利用图像组每帧的权重数组，获得图像组每帧的每个调度包的权重数组。

举例来说，若图像组共包括 f帧，用 M _eg/zt/' [/]表示第 i帧第 j层第 k 个调度包的权重数组，则第 i帧的权重数组与

关系可以如公式（7)所示，但不局限于此：

MWeight^Jk [f] = FWeight_t [f] * RDO{^k ( ₇ ) 其中， MW ghdf]的每个元素可以表征第 i帧第 j层第 k个调度包对图像组各帧的影响权重。

进一步的，为使得调度包的影响权重数组的各个元素更为直观的表征该调度包对图像组各帧的影响权重，若图像组共包括 f帧，则第 i帧的影响权重数组与第 i 帧第 j 层第 k 个调度包的影响权重数组 M Weigh t( [ / ]的关系也可以如公式（ 8 )所示，但不局限于此：

MWeigh [f] = Ώ{ * FWeight_t [f] * RDO{^k ( ₈ ) 通过求和 M _e g/zt/' [/]的各个元素，可以获得第 i帧的第 j层的第 k 个调度包对图像组的影响权重。

可以看出，利用上述各个公式，能够获得图像组的每帧的每个调度包对图像组的影响权重。

304、确定图像组的每帧的每个调度包的优先级。

可以根据图像组的每帧的每个调度包对图像组的影响权重，确定图像组的每帧的每个调度包的优先级。

在一种应用场景下，可以按照大小顺序，对图像组的每帧的每个调度包对图像组的影响权重进行排序，并可以根据排序结果设置每个调度包的优先级。

优先级的等级个数可以根据实际需要具体确定，对图像组的影响权重不同的调度包可以被设置成不同的优先级，当然，对图像组的影响权重接近或相同的调度包可以被设置成相同的优先级。调度包的优先级设定得越高，表示该调度包对图像组的影响权重越大。

305、按照图像组的每个调度包的优先级，对图像组的每个调度包进行不等保护和 /或调度。

在确定出图像组的每帧的各个调度包的优先级后，可以根据各个调度包的优先级进一步对各个调度包进行不等保护和 /或调度等处理。

举例来说，当链路当前允许速率较小时，可以丢弃优先级较低的调度包，保留优先级较高的调度包。在信道质量不稳定时，可以选择信道质量较好的链路上传输优先级较高的调度包，选择信道质量较差的链路上传输优先级较低的调度包。在对数据进行不同的数据冗余度的保护，可以对优先级较高的调度包进行高冗余度的前向纠错 ( FEC， Forward Error Correction )编码，可以对优先级较低的调度包进行低冗余度的 FEC编码；在进行重传的不等保护时，可以对优先级较高的调度包进行重传或者多次重传，以对优先级较低的调度包不进行重传，或者少重传。

由上述技术方案可以看出，本实施例中，采用两种不同截取方式截取图像组码流，通过两次解码获得图像组每帧在两种不同截取方式下总失真，利用图像组每帧在两种不同截取方式下总失真和图像组每帧图像的本帧失真来获取图像组每帧的每个调度包对图像组的影响权重，解码次数相对较少，可以较大的降低确定调度包优先级过程的复杂度。

进一步的，利用帧的影响权重数组记录该帧对图像组中各帧的影响权重，利用调度包的影响权重数组记录该调度包对图像组中各帧的影响权重，可以进一步简化运算过程。实施例三、

为更好地实施上述方法，本发明实施例中还提供一种确定调度包优先级的装置，请参见图 4，本发明实施例三的一种确定调度包优先级的装置具体可以包括：本帧失真获取模块 410、码流截取模块 420、总失真获取模块 430、权重获取模块 440和优先级确定模块 450。

本帧失真获取模块 410，用于分别获取由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

码流截取模块 420，用于按照第一截取方式和第二截取方式截取第一图像组码流，第一截取方式所截取的第一图像组的任意一帧的调度包的总个数大于或小于第二截取方式所截取的该帧的调度包的总个数。

总失真获取模块 430，用于解码码流截取模块 420按照第一截取方式所截取的第一图像组码流，获得第一截取方式下第一图像组每帧图像的第一总失真，解码码流截取模块 420按照第二截取方式所截取的第一图像组码流，获得第二截取方式下第一图像组每帧图像的第二总失真。

权重获取模块 440，用于利用总失真获取模块 430获取的第一图像组每帧图像的第一总失真、第二总失真和本帧失真获取模块 410获取的第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，分别获取第一图像组的每个调度包对第一图像组的影响权重。

优先级确定模块 450，用于基于权重获取模块 440获取的第一图像组的每个调度包对第一图像组的影响权重，确定第一图像组的每个调度包的优先级。

在一种应用场景下，本帧失真获取模块 410可以包括：

第一本帧失真获取子模块 411，用于在第一图像组编码的过程中，分别解码在编码第一图像组的每帧的每个增强层之前的第一图像组码流，分别获得由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

在一种应用场景下，本帧失真获取模块 410也还可以包括：

第二本帧失真获取子模块 412，用于在第一图像组编码完成后，解码分别丢弃了每帧的每个增强层后的第一图像组码流，分别获得由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

在一种应用场景下，权重获取模块 440可以包括：

帧间权重获取子模块 441，用于利用总失真获取模块 430获取的第一图像组每帧图像的第一总失真、第二总失真以及第一截取方式和第二截取方式所截取的第一图像组每帧的码流大小对应的每帧图像的本帧失真，获取第一图像组的各帧之间的影响权重，获取第一图像组的各帧之间的影响权重。

帧权重获取子模块 442，用于利用帧间权重获取子模块 441获取的第一图像组的各帧之间的影响权重，分别获取第一图像组的每帧对第一图像组的影响权重。

率失真获取模块 443，用于利用第一图像组每帧的每个增强层的码流大小和本帧失真获取模块 410获取的第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，分别估算第一图像组的每个调度包的率失真。

包权重获取子模块 444，用于利用帧权重获取子模块 442获取的第一图像组的每帧对第一图像组的影响权重和率失真获取模块 443获取的第一图像组的每个调度包的率失真，分别获取第一图像组的每个调度包对第一图像组的影响权重；或者，利用帧权重获取子模块 442获取的第一图像组的每帧对第一图像组的影响权重、率失真获取模块 443获取的第一图像组的每个调度包的率失真和码流大小，分别获取第一图像组的每个调度包对第一图像组的影响权重。

请参见图 5，在一种应用场景下，帧间权重获取子模块 441可以包括：第一获取子模块 4411，用于利用本帧失真获取模块 410获取的第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真和码流截取模块 420 按照第一截取方式所截取的第一图像组每帧的码流大小，获得第一图像组每帧图像在该码流大小时对应的第一本帧失真。

第二获取子模块 4412，用于利用本帧失真获取模块 410获取的第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真和码流截取模块 420 按照第二截取方式所截取的第一图像组每帧的码流大小，获得第一图像组每帧图像在该码流大小时对应的第二本帧失真。

第三获取子模块 4413，用于分别获取第一图像组每帧图像的第一总失真和第二总失真的总失真差，以及第一图像组每帧图像的第一本帧失真和第二本帧失真的本帧失真差；

第四获取子模块 4414, 用于利用第三获取子模块 4413获取的第一图像组每帧图像的总失真差和本帧失真差，获得第一图像组各帧之间的影响权重。

在一种应用场景下，上述装置还可以包括：包处理模块 460，用于按照优先级确定模块 440确定的第一图像组的每个调度包的优先级，对第一图像组的每个调度包进行不等保护和 /或调度。

在一种应用场景下，当链路当前允许速率较小时，包处理模块 460可以丢弃优先级较低的调度包，保留优先级较高的调度包。在信道质量不稳定时，包处理模块 460可以选择信道质量较好的链路上传输优先级较高的调度包，选择信道质量较差的链路上传输优先级较低的调度包。

包处理模块 460在对数据进行不同的数据冗余度的保护时，可以对优先级较高的调度包进行高冗余度的 FEC编码，可以对优先级较低的调度包进行低冗余度的 FEC编码；在进行重传的不等保护时，可以对优先级较高的调度包进行重传或者多次重传，以对优先级较低的调度包不进行重传，或者少重传。

由上述技术方案可以看出，本实施例中采用两种不同截取方式截取图像组码流，通过两次解码获得图像组每帧在两种不同截取方式下总失真，利用图像组每帧在两种不同截取方式下总失真和图像组每帧图像的本帧失真来获取图像组每帧的每个调度包对图像组的影响权重，解码次数相对较少，可以较大的 P争低确定调度包优先级过程的复杂度。

可以理解的是，本实施中确定调度包优先级的装置各个功能模块的功能可以根据实施例二中的方法具体实现，其具体实现过程可以参考实施例二中的相关描述，此处不再赘述。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

综上所述，本发明实施例中，采用两种不同截取方式截取图像组码流，通过两次解码获得图像组每帧在两种不同截取方式下总失真，利用图像组每帧在两种不同截取方式下总失真和图像组每帧图像的本帧失真来获取图像组每帧的每个调度包对图像组的影响权重，解码次数相对较少，可以较大的降低确定调度包优先级过程的复杂度。

进一步的，利用帧的影响权重数组记录该帧对图像组中各帧的影响权重，利用调度包的影响权重数组记录该调度包对图像组中各帧的影响权重，可以进一步简化运算过程。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上对本发明实施例所提供的一种确定调度包优先级的方法和装置进行以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

权利要求书

1、一种确定调度包优先级的方法，其特征在于，包括：

分别获取由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真；

按照第一截取方式和第二截取方式截取第一图像组码流，第一截取方式所截取的第一图像组的任意一帧的调度包的总个数大于或小于第二截取方式所截取的该帧的调度包的总个数；

解码按照第一截取方式所截取的第一图像组码流，获得第一截取方式下第一图像组每帧图像的第一总失真，解码按照第二截取方式所截取的第一图像组码流，获得第二截取方式下第一图像组每帧图像的第二总失真；

利用第一图像组每帧图像的第一总失真、第二总失真和第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，分别获取第一图像组的每个调度包对第一图像组的影响权重；

基于第一图像组的每个调度包对第一图像组的影响权重，确定第一图像组的每个调度包的优先级。

2、根据权利要求 1所述的方法，其特征在于，所述分别获取由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，包括：

在第一图像组编码的过程中，分别解码在编码第一图像组的每帧的每个增强层之前的第一图像组码流，分别获得由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

3、根据权利要求 1所述的方法，其特征在于，所述分别获取由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，包括：

在第一图像组编码完成后，解码分别丢弃了每帧的每个增强层后的第一图像组码流，分别获得由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

4、根据权利要求 1至 3任一项所述的方法，其特征在于，所述利用第一图像组每帧图像的第一总失真、第二总失真和第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，分别获取第一图像组的每个调度包对第一图像组的影响权重，包括：利用第一图像组每帧图像的第一总失真、第二总失真以及第一截取方式和第二截取方式所截取的第一图像组每帧的码流大小对应的每帧图像的本帧失真，获取第一图像组的各帧之间的影响权重；

利用第一图像组的各帧之间的影响权重，分别获取第一图像组的每帧对第一图像组的影响权重；

利用第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真和第一图像组每帧的每个增强层的码流大小，分别估算第一图像组的每个调度包的率失真；

利用第一图像组的每帧对第一图像组的影响权重和第一图像组的每个调度包的率失真，分别获取第一图像组的每个调度包对第一图像组的影响权重；或者，利用第一图像组的每帧对第一图像组的影响权重、第一图像组的每个调度包的率失真和码流大小，分别获取第一图像组的每个调度包对第一图像组的影响权重。

5、根据权利要求 4所述的方法，其特征在于，所述利用第一图像组每帧图像的第一总失真、第二总失真以及第一截取方式和第二截取方式所截取的第一图像组每帧的码流大小对应的每帧图像的本帧失真，获取第一图像组的各帧之间的影响权重，包括：

利用第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真和第一截取方式所截取的第一图像组每帧的码流大小，获得第一图像组每帧图像在该码流大小时对应的第一本帧失真；

利用第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真和第二截取方式所截取的第一图像组每帧的码流大小，获得第一图像组每帧图像在该码流大小时对应的第二本帧失真；

分别获取第一图像组每帧图像的第一总失真和第二总失真的总失真差，以及第一图像组每帧图像的第一本帧失真和第二本帧失真的本帧失真差；利用获取的第一图像组每帧图像的总失真差和本帧失真差，获得第一图像组各帧之间的影响权重。

6、根据权利要求 1至 3任一项所述的方法，其特征在于，所述方法还包括：按照第一图像组的每个调度包的优先级，对第一图像组的每个调度包进行不等保护和 /或调度。

7、一种确定调度包优先级的装置，其特征在于，包括：

本帧失真获取模块，用于分别获取由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真；

码流截取模块，用于按照第一截取方式和第二截取方式截取第一图像组码流，第一截取方式所截取的第一图像组的任意一帧的调度包的总个数大于或小于第二截取方式所截取的该帧的调度包的总个数；

总失真获取模块，用于解码所述码流截取模块按照第一截取方式所截取的第一图像组码流，获得第一截取方式下第一图像组每帧图像的第一总失真，解码所述码流截取模块按照第二截取方式所截取的第一图像组码流，获得第二截取方式下第一图像组每帧图像的第二总失真；

权重获耳莫块，用于利用所述总失真获取模块获取的第一图像组每帧图像的第一总失真、第二总失真和所述本帧失真获取模块获取的第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，分别获取第一图像组的每个调度包对第一图像组的影响权重；

优先级确定模块，用于基于所述权重获取模块获取的第一图像组的每个调度包对第一图像组的影响权重，确定第一图像组的每个调度包的优先级。

8、根据权利要求 7所述的装置，其特征在于，所述本帧失真获取模块包括：

第一本帧失真获取子模块，用于在第一图像组编码的过程中，分别解码在编码第一图像组的每帧的每个增强层之前的第一图像组码流，分别获得由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真；和 / 或

第二本帧失真获取子模块，用于在第一图像组编码完成后，解码分别丢弃了每帧的每个增强层后的第一图像组码流，分别获得由于第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真。

9、根据权利要求 7或 8述的装置，其特征在于，所述权重获取模块包括：帧间权重获取子模块，用于利用所述总失真获取模块获取的第一图像组每帧图像的第一总失真、第二总失真以及第一截取方式和第二截取方式所截取的第一图像组每帧的码流大小对应的每帧图像的本帧失真，获取第一图像组的各帧之间的影响权重；

帧权重获取子模块，用于利用所述帧间权重获取子模块获取的第一图像组的各帧之间的影响权重，分别获取第一图像组的每帧对第一图像组的影响权重；

率失真获取模块，用于利用第一图像组每帧的每个增强层的码流大小和所述本帧失真获取模块获取的第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真，分别估算第一图像组的每个调度包的率失真；

包权重获取子模块，用于利用所述帧权重获取子模块获取的第一图像组的每帧对第一图像组的影响权重和所述率失真获莫块获取的第一图像组的每个调度包的率失真，分别获取第一图像组的每个调度包对第一图像组的影响权重；或者，利用所述帧权重获取子模块获取的第一图像组的每帧对第一图像组的影响权重、所述率失真获耳莫块获取的第一图像组的每个调度包的率失真和码流大小，分别获取第一图像组的每个调度包对第一图像组的影响权重。

10、根据权利要求 9所述的装置，其特征在于，所述帧间权重获取子模块包括：

第一获取子模块，用于利用所述本帧失真获取模块获取的第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真和所述码流截取模块按照第一截取方式所截取的第一图像组每帧的码流大小，获得第一图像组每帧图像在该码流大小时对应的第一本帧失真；

第二获取子模块，用于利用所述本帧失真获取模块获取的第一图像组每帧的每个增强层的缺失而引起的该帧图像的本帧失真和所述码流截取模块按照第二截取方式所截取的第一图像组每帧的码流大小，获得第一图像组每帧图像在该码流大小时对应的第二本帧失真；

第三获取子模块，用于分别获取第一图像组每帧图像的第一总失真和第二总失真的总失真差，以及第一图像组每帧图像的第一本帧失真和第二本帧失真的本帧失真差；

第四获取子模块，用于利用所述第三获取子模块获取的第一图像组每帧图像的总失真差和本帧失真差，获得第一图像组各帧之间的影响权重。

11、根据权利要求 7或 8所述的装置，其特征在于，所述装置还包括：包处理模块，用于按照所述优先级确定模块确定的第一图像组的每个调度包的优先级，对第一图像组的每个调度包进行不等保护和 /或调度。