WO2011038694A1

WO2011038694A1 - 视频数据传输处理、发送处理方法、装置和网络系统

Info

Publication number: WO2011038694A1
Application number: PCT/CN2010/077526
Authority: WO
Inventors: 张冬; 郭宜; 李厚强; 沈秋; 胡昌启; 谢清鹏
Original assignee: 华为技术有限公司
Priority date: 2009-09-30
Filing date: 2010-09-30
Publication date: 2011-04-07
Also published as: EP2472873B1; CN102036061B; US20120192031A1; EP2472873B8; US9215498B2; EP2472873A1; EP2472873A4; CN102036061A

Description

视频数据传输处理、发送处理方法、装置和网络系统本申请要求于 2009年 9月 30日提交中国专利局，申请号为 200910179726.5 , 发明名称为"视频数据传输处理、发送处理方法、装置和网络系统"的中国专利 5 申请的优先权，其全部内容通过引用结合在本申请中。技术领域

本发明实施例涉及视频数据传输技术领域，尤其涉及一种视频数据传输处理、发送处理方法、装置和网络系统。

L0 背景技术

现有的视频传输应用环境中存在多种不同的网络，包括有线网络和无线网络，它们具有不同的数据出错概率即信号传输的可靠性不同。例如，一视频传输网络中，视频服务器提供的视频码流经过媒体网关（ Media Gateway )中转，

L5 媒体网关抽取并发送其他网络所需要的视频子码流。对于视频流应用，网络传输的延迟和丟包都会造成视频数据包的不可用，从而使得解码视频质量的严重下降。一般而言，有线网络的丟包率较小，传输速率较高，而无线网络（例如 WLAN、通过基站的 3G、 GPRS等网络）则与之相反。有线网络的数据丟包率较低，其丟包主要是由网络中路由器的拥塞造成；而在无线网络中，有限的带

>0 宽、高延迟、高比特出错率导致了高丟包率。由于无线环境下的出错概率远大于有线环境，为了使视频用户在访问视频数据时能够在这些不同网络间进行无缝切换，视频服务器应该提供具有差错控制功能。现有的差错控制技术包括容错转码，其是在视频服务器提供适合有线网络的码流，然后在网络边界点加入转码器，给视频码流提供适合目标网络的冗余。以视频代理器作为转码器对原始码流解码再编码，增加了转码器的复杂度，也增加了系统延时。现有的差错控制技术还包括冗余帧编码，其目的是利用冗余信息保护一系列压缩后的图像，使其具有错误复原能力或者减小通信错误对其的影响。但是该方法是在分别给定丟包率的情况下产生冗余帧，可能造

5 成网络资源的浪费。如在视频服务器到第一数据转发节点的有线信道以及第一数据转发节点到第二数据转发节点的无线信道中，前一段信道的出错概率低于后一段信道，然而为了使第二数据转发节点之后的用户能获得较好的视频解码质量，视频服务器要在码流中添加较多的冗余，从而导致了在视频服务器到第一数据转发节点的信道中的带宽浪费。

L0 在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有技术中在丟包率不同的至少两个传输网络中，固定使用一个丟包率生成码流，要么根据较高丟包率生成码流，则由于冗余过度，导致带宽资源利用率低；要么根据较低丟包率生成码流，则在网络条件变差时导致视频质量下降。 ί5 发明内容

本发明实施例提供一种视频数据传输处理、发送处理方法、装置和网络系统，以提高不同的网络丟包率环境下码流的容错能力。

本发明实施例提供一种视频数据传输处理方法，包括：

接收来自源传输网络发往目标传输网络的源码流；

>0 根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；向所述目标传输网络发送获取到的所述容错码流。本发明实施例提供一种视频数据发送处理方法，包括：

在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取与所述源码流对应的容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的 5 码流进行容错编码处理、以获取容错码流提供参考；

向所述数据转发节点发送所述容错辅助信息。

本发明实施例提供一种数据转发节点设备，包括：

第一接收模块，用于接收来自源传输网络发往目标传输网络的源码流；编码处理模块，用于根据所述源传输网络和所述目标传输网络各自的丟包 L0 率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；

第一发送模块，用于向所述目标传输网络发送获取到的所述容错码流。本发明实施例提供一种网络设备，包括：

第一获取模块，用于在向数据传输网络系统发送源码流之前，根据所述数 L5 据传输网络系统中至少两个传输网络所对应的丟包率，获取与所述源码流对应的容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考；

第二发送模块，用于向所述数据转发节点发送所述容错辅助信息。

本发明实施例提供一种网络系统，包括：

>0 数据转发节点设备，用于接收来自源传输网络发往目标传输网络的源码流，根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理获取容错码流后，向所述目标传输网络发送获取到的所述容错码流；

网络设备，用于在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取与所述源码流对应的容错辅助信息，向所述数据转发节点设备发送所述容错辅助信息；所述容错辅 5 助信息用于为所述数据传输网络系统中的数据转发节点设备对接收到的码流进行容错编码处理、以获取容错码流提供参考。

本发明实施例提供的视频数据传输处理、发送处理方法、装置和网络系统，数据服务器能够根据数据传输网络系统中至少两个传输网络所对应的丟包率，获取与要发送的码流对应的容错辅助信息，使得数据转发节点能够根据不同传 L0 输网络丟包率，利用该容错辅助信息快速地生成符合后续传输网络丟包特性的容错码流，能够提高不同的网络丟包率环境下码流的容错能力。附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中 L5 所需要使用的附图作筒单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图 1为本发明实施例中容错辅助信息的提取及使用方法示意图；图 2为本发明数据发送处理方法实施例流程图；

>0 图 3为本发明数据传输处理方法实施例流程图；

图 4为本发明实施例视频传输过程中丟包率增高的应用场景示意图；图 5为本发明实施例视频传输过程中丟包率降低的应用场景示意图；图 6为本发明方法实施例在 3%丢包率下冗余添力口生能示意图；图 7为本发明方法实施例在 5%丢包率下冗余添力口生能示意图；

图 8为本发明方法实施例在 10%丢包率下冗余添力口生能示意图；图 9为本发明方法实施例在 20%丢包率下冗余添力口生能示意图；图 10为本发明方法实施例前向纠错描述信息用于 FEC冗余分配示意图； 5 图 11为本发明数据转发节点设备实施例结构示意图；

图 12为本发明网络设备实施例一结构示意图；

图 13为本发明网络设备实施例二结构示意图；

图 14为本发明网络系统实施例组成示意图。

L0 具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其

L5 他实施例，都属于本发明保护的范围。

随着网络技术的不断发展，各种类型的网络例如有线网络和无线网络可以进行网络融合，通过形成综合的网络体系来满足用户的不同需求。但是由于各种类型的网络具有不同的丟包率，网络传输的丟包会造成例如视频数据包的不可用，从而使得解码视频质量的严重下降。为了满足不同网络的丟包率，考虑

>0 若能够充分合理地利用网络资源，并提供较好的视频质量，每次经历变化都可以快速地做出反应，根据实际的条件改变码流的容错能力，例如：改变码流冗余率和改变前向纠错 ( Forward Error Correct ion; 以下筒称： FEC )保护力度等等，便可以提高不同的网络丟包率环境下码流的容错能力。综上所述，本发明各实施例针对数据码流在网络传输中面临不同丟包率的情况，提出一种错误弹性可伸缩的编码与传输方案，图 1为本发明实施例中容错辅助信息的提取及使用方法示意图，如图 1所示，首先，在编码端进行分析和计算，根据网络环境和视频特征，生成详细的描述信息用于辅助后期容错码

5 流的生成，该信息定义为容错辅助信息；该容错辅助信息可以嵌入在码流中或是通过其他途径传递给各数据转发节点；然后，考虑传输过程中网络的变化，数据转发节点根据后续网络的丟包率，利用该容错辅助信息快速地生成符合后续网络丟包特性的容错码流。本发明实施例通过引入容错辅助信息，数据转发节点就可以根据辅助信息以及相应的丟包率进行快速转码，这样不仅可以充分

L0 利用系统带宽资源，并且延迟少，操作复杂度低有利于实时应用。图 1中，数据转发节点可以是流服务器、媒体网关、路由器等设备；容错辅助信息可以用于码流的冗余帧添加、和 FEC等等。

图 2为本发明数据发送处理方法实施例流程图，如图 2所示，该方法包括：步骤 100, 数据服务器在向数据传输网络系统发送源码流之前，根据所述

L5 数据传输网络系统中至少两个传输网络所对应的丟包率，获取与所述源码流对应的容错辅助信息；

本实施例中所述的数据传输网络系统包括用于提供数据源的数据服务器，还包括多个用于对发送的数据进行中转的数据转发节点以及用户设备终端，数据服务器、数据转发节点和终端设备之间通过各种传输网络连接，传输网络为

>0 数据传输提供通道。基于网络融合技术，数据传输网络系统中的至少两个传输网络具有不同的丟包率，数据服务器例如视频服务器为了使得发送出去的视频码流能够适应不同传输网络的网络丟包特性，保证数据传输可靠性，视频服务器在向数据传输网络系统中的某一数据转发节点发送视频码流前 ,要获取到所发送的源码流对应的容错辅助信息，所述容错辅助信息包括与数据传输网络系统中至少两个传输网络例如源传输网络和目标传输网络各自的丟包率分别对应的容错数据集合的描述信息，容错数据集合用于标识源码流中需要调整的容 5 错数据，且描述信息表示的各个容错数据集合满足以下条件：低丟包率对应的容错数据集合为高丟包率对应的容错数据集合的子集。该容错辅助信息用于为数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取符合后续的传输网络对应丟包率的容错码流提供参考，也就是说数据转发节点能够根据容错辅助信息，针对该数据转发节点后续的传输网络的丟包率进行

L0 快速转码，利用该容错辅助信息快速地生成符合后续网络丟包特性的容错码流。

视频服务器是要根据数据传输网络系统中至少两个传输网络所对应的丟包率，生成容错辅助信息，也就是说，容错辅助信息所描述的信息可以适应于不同丟包率的传输网络，数据转发节点在接收到上一个传输网络发送的码流 L5 后，能够在容错辅助信息的辅助下，从中找出对应于上下传输网络两种丟包率所要进行的容错操作规则，并根据指示进行容错转码形成容错码流。当然，不同的特性的数据码流应对应有不同的容错辅助信息，以满足需求。在本发明实施例中，数据服务器可以是视频服务器、点播服务器等设备。

步骤 101 , 所述数据服务器向所述数据转发节点发送所述容错辅助信息。 >0 数据服务器在获取到所要发送的视频码流对应的容错辅助信息后，将该容错辅助信息发送给数据传输网络系统中各数据转发节点，供数据转发节点容错编码用。数据服务器在将视频数据发送给与其连接的数据转发节点前，为了适应该数据转发节点之间的传输网络的丟包率，应该对源码流进行容错编码，当然是要结合之前获取到的容错辅助信息来生成。数据服务器在根据与数据转发节点之间的传输网络对应的丟包率以及容错辅助信息，生成与源码流对应的容错码

5 流后，可以将该容错码流和容错辅助信息一同发送给数据转发节点。当然，容错码流和容错辅助信息也可以分别独立发送。

本发明实施例提供的数据发送处理方法，数据服务器根据数据传输网络系统中至少两个传输网络所对应的丟包率，获取与要发送的码流对应的容错辅助信息，并将容错辅助信息发送给数据转发节点，使得数据转发节点能够根据不

L0 同传输网络丟包率，利用该容错辅助信息快速地生成符合后续传输网络丟包特性的容错码流，不仅能够提高不同的网络丟包率环境下码流的容错能力，而且延迟少，操作复杂度低有利于实时应用。

图 3为本发明数据传输处理方法实施例流程图，如图 3所示，该方法包括：步骤 200 , 接收来自源传输网络发往目标传输网络的源码流；

L5 在数据服务器根据数据传输网络系统中至少两个传输网络，例如，数据转发节点的源传输网络和目标传输网络所对应的丟包率，获取到与源码流对应的容错辅助信息，并将容错辅助信息发送给数据转发节点后，数据转发节点接收到该容错辅助信息。本实施例中涉及的源传输网络和目标传输网络是指从数据的流向而言，数据转发节点两端的传输网络。数据转发节点接收到的源码流可

>0 以是数据服务器发送的，也可以是其他数据转发节点发送的。例如数据服务器一同将源码流经由数据转发节点发送给终端设备，本实施例中可以将所述的数据服务器与数据转发节点之间的传输网络称之为源传输网络，数据转发节点与终端设备之间的传输网络称之为目标传输网络，也就是说数据服务器发送的源码流是要通过源传输网络发往目标传输网络的。

步骤 201 , 根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容 5 错码流；

由于网络组建时该数据转发节点已经获知源传输网络和目标传输网络各自的丟包率，因此数据转发节点接收到数据服务器发送的源码流后，可以根据源传输网络和目标传输网络各自的丟包率，并结合容错辅助信息，对该源码流进行快速转码，利用该容错辅助信息快速地生成符合后续网络丟包特性的容错

L0 码流，针对丟包率变化快速地做出反应，根据实际的条件改变码流的容错能力，例如码流冗余率和 FEC保护力度等等。所述的容错编码过程应该有别于视频编码过程，容错编码是复杂度较低的容错能力改变的操作，可以是直接的码流拷贝，或者是添加部分编码过程等。

步骤 202, 向所述目标传输网络发送获取到的所述容错码流。

L5 数据转发节点获取到适合后续传输网络的容错码流后，将该容错码流通过目标传输网络发送给终端设备或其他的数据转发节点。另外，该数据转发节还可以将容错辅助信息与容错码流一起或单独转发给其他的数据转发节。

本实施例提供的数据传输处理方法，数据转发节点能够根据数据服务器发送的对应于数据码流的容错辅助信息，对需要进行转发的码流进行容错编码获

>0 得容错码流，以适应后续传输网络丟包率的网络特性。能够充分合理地利用网络资源，每次经历变化都可以快速地做出反应，根据实际的条件改变码流的容错能力。上述各实施例中涉及的容错辅助信息可以适用于多种应用环境，以下分别给出应用容错辅助信息进行自适应冗余帧调整和 FEC保护的应用实例。

对于自适应冗余帧调整的实施例，数据服务器根据数据传输网络系统中至少两个传输网络所对应的丟包率，获取供数据转发节点对接收到的码流进行自

5 适应冗余帧调整、以获取符合后续的传输网络对应丟包率的容错码流用的容错辅助信息，所述的容错辅助信息包括与数据传输网络系统中至少两个传输网络各自的丟包率分别对应的冗余帧集合的描述信息，所述的冗余帧集合用于标识所述码流中的多个数据帧中需要生成冗余帧的数据帧，且描述信息表示的各个冗余帧集合满足以下条件：低丟包率对应的冗余帧集合为高丟包率对应的冗余

L0 帧集合的子集。由此可知，所述的冗余帧集合为上述实施例中所述容错数据集合的一个实例。对应于数据转发节点而言，数据转发节点可以根据源传输网络和目标传输网络各自的丟包率，以及与源码流对应的容错辅助信息，对接收到的源码流中包括的多个数据帧进行自适应冗余帧调整，获取符合目标传输网络对应丟包率的容错码流。

L5 在本实施例中，可将容错辅助信息应用于码流的自适应冗余帧添加，具体实施步骤如下：首先，在数据服务器的编码过程中估计信源信道的总体失真，提取不同丟包率前提下每帧的冗余描述信息；其次，将这些极少数的信息附加在码流中进行传输或者单独传递给数据转发节点；然后，数据转发节点就可以根据冗余描述信息指对不同丟包率进行自适应冗余添加或删除。

>0 上述的冗余描述信息即为容错辅助信息的一个实例，其提取过程包括：首先，针对至少两个传输网络的丟包率，分别在不生成冗余帧以及生成冗余帧的两种情况下，对码流中各数据帧对应的两组信源信道失真信息进行计算；然后，应用率失真模型，对计算获得的两组信源信道失真信息所对应的数据帧在对应的丟包率条件下是否需要生成冗余帧进行判断，获得判断结果，即利用率失真

Ε

模型为不同的丟 d包率分别选取性能最好的冗余帧产生方式；最后，根据判断结

=

果，获得采用合理的方、式组织并描述与各丟包率分别对应的冗余帧集合的描述信息。以下进行详细介绍。

/—

其中，信源信道的失真采用改进的递归优化像素级估计 (Rrcursive Optimal Per-pixel Estimate; 以下筒称： ROPE)算法来进行估计。假设一个视频帧的码流在传输的过程中被封装在一个数据包中，因此在当前的丟包率为 p的情况下，对每个视频帧而言，其丟失的概率也是 p。若原始视频序列第 n帧中第 i个像素的值为其编码端重建值为 , 解码端重建值为则信源信道总体失真可表述为和的均方差。由于在编码端得不到码流经过差错信道传输后解码端的精确重建值，可将看做一个差错信道下的随机信号，信源信道总体失真变成：

_ 1

、 / I

ΐ!)² + Ε[( Ϊ! - Ϊ!)²} + Ε<

+ Ε^( f„ 2ί_η ^]ϋΕ f ，、

(2)

Ε

其中， ⁿ 表 ^示信信淤源失决直真，， ' )表示信道失真，公式（1 ) 中的第三项是信源失真和信道失真的相关。此外，公式（2)给出了信源信道总体失真的另外一种表示方式，可以看到，估计信源信道总体失真就是要估计

¾的一阶矩和二阶矩。本发明实施例提供一种基于像素估计该一阶矩和二阶矩的方法—— ROPE。假设解码端采用的错误隐藏方法是 FC, 则可以采用递推的方式按照像素编码模式计算一阶矩和二阶矩：

帧内预测（ Intra prediction ；以下筒称： Intra)编码块中的像素：

帧间预测（ Inter prediction ；以下筒称： Inter)编码块中的像素：

E{f;}{P}=(l-p)(e; + E{f_ni₁})+pE{ ₁} ₍₅₎

E j( ξί )²J{P} =(l-p)E j(¾ + E { d})²卜 PE j(

= (ΐ-ρ)((¾)² + 2¾Ε{ί } + Ε{(¾ {ⁿ'^lJi (6) 其中 Inter编码中当前帧的第 i个像素是参考上一帧（参考帧）中根据运动补偿得到的对应位置〗的像素，预测误差量化后变成。

在本实施例计算当前帧像素的信源信道总体失真过程中，必须考虑当前帧有冗余帧的情况，与 ROPE方法不同的是，此时冗余帧中的像素的模式与当前帧同一位置的像素的模式可能不同，即使同一个 Inter模式，其运动矢量也可能不同，因此本实施例在计算像素的一阶矩和二阶矩时，考虑到这些模式的组合提出了如下的递推公式：

1 ) 冗余帧和当前帧的像素都在 Intra块中：

+ (ΐ- )¾ + ²Ε{¾ _{( 7 )}

) 冗余帧和当前帧的像素都在 Inter块中：

Ε{ί;}{ΡΡ} = (ΐ- )(¾ + Ε{ί })

+ p(l-p)E((e; +Ε{¾})²)+ ²

Ε (¾) {ΡΡ} = (l-p)E (¾ + Ε| f_n!

= (ΐ-ρ)ί(έ )² ₊2έ:Ε{ί } + Εί(ί )

+ Ρ(1-Ρ) ¾ +2¾Ε ίΛ +Ε ίΛ +Ρ f ) 冗余帧中的像素在 Intra块中，当前帧的像素在 Inter块中

Ε{ }{ΙΡ} ₌ (1- _Ρ)( +Ε{ })_+Ρ(1- _P) _{+ P}¾{¾—

(11)

(f;) }{lP} =

(丄- ρ)( )^{2 +} ρ^2Εί( (12) ) 冗余帧中的像素在 Inter块中，当前帧的像素在 Intra块中

£{¾}{?1}=(1-_?)¾

+ ρ(ΐ-ρ)Εί(¾+Ε{¾})²)+Ρ^2Εί(¾-

(13)

在当前帧中， Inter块的像素 i参考前一帧（参考帧）中像素 j , 预测误差量化为^ 在冗余帧中， Inter块的像素 i参考前一帧（参考帧）中像素 ^jr , 预测误差 ^e;。量化为。

下面考虑整帧的总的信源信道失真（M是每帧中的像素个数）：

M

D =∑E{d:}

利用公式（15 ) 以及公式（3 ) -公式（14) , 可以分别计算出当前帧在生成冗余帧和不生成冗余帧的两种情况下的信源信道总体失真，进一步，将不编冗余帧和编一个冗余帧看成两种模式，分别为 model和 mode2, 利用率失真准则进行模式选择：

RDcost(model) = Dj +21^ ( 16 )

RDcost(mode2) = D₂ ( 17 )

^Dl是利用公式（3 ) -公式（6)以及公式（15 )计算出来的没有冗余帧时的该帧信源信道总体失真； ^D2是利用公式（7) -公式（14) 以及公式（15 ) 计算出来的有一个冗余帧时的该帧信源信道总体失真。是当前帧的码率，是含有冗余帧时的总码率。式中是有错情况下的拉格朗日参数，具体计算方法请参看下面实施例。当 model的代价函数值大于 mode2的代价函数值时，可以为当前帧分配一个冗余帧。

根据以上所述方法，对不同的丟包率生成不同的冗余帧集合：

¾x%={P_r_x l X = 3,5,10,20} ( ₁₈) 下条件：

U ₅ £ ¾ I ( ₁₉ ) 在实际操作过程中，编码生成冗余信息时，首先生成 20%丟包率下的冗余帧集合 ²。％, 然后，依次对 10%, 5%, 3%丟包率下的每一帧加如下约束：如 5 果比当前丟包率高的情况下下该帧生成了冗余帧，则该帧在当前丟包率下才可能生成冗余帧；否则该帧必然不产生冗余帧。实验表明，加了这个约束之后与各个丟包率独立生成冗余帧相比，性能没有明显下降。然后通过一定的方式，对某一帧在哪些丟包率下需要生成冗余帧的信息进行描述并传输，使得数据转发节点可以利用这些信息快速为码流添加或删除冗余帧，来适应不同的丟包 L0 率。

数据转发节点根据源传输网络和所述目标传输网络各自的丟包率，以及与源码流对应的容错辅助信息，对源码流中包括的多个数据帧进行自适应冗余帧调整具体可以包括以下三种情况：

若源传输网络对应的第一丟包率小于目标传输网络对应的第二丟包率，则

L5 根据描述信息表示的、与第一丟包率对应的第一冗余帧集合和与第二丟包率对应的第二冗余帧集合，在携带有与第一丟包率对应的冗余帧的源码流中，添加第二冗余帧集合比第一冗余帧集合多出的冗余帧。图 4为本发明实施例视频传输过程中丟包率增高的应用场景示意图，如图 4所示，视频服务器端生成的是符合当前丟包率的低冗余码流（3% ) 以及冗余描述信息，而在数据转发节点

>0 处针对后端较高的丟包率（例如 5%、 20% ) , 根据冗余描述信息的指示，确定当前丟包率（5%、 20% ) 下需要添加冗余但却没有冗余的帧，再通过帧拷贝或者生成不同质量副本等操作为其添加冗余帧。此操作复杂度低，可以保证整个系统的效率达到最优，并且能够提高传输视频的质量。

若源传输网络对应的第一丟包率大于目标传输网络对应的第二丟包率，则根据描述信息表示的、与第一丟包率对应的第一冗余帧集合和与第二丟包率对应的第二冗余帧集合，在携带有与第一丟包率对应的冗余帧的源码流中，丟弃 5 第一冗余帧集合比所述第二冗余帧集合多出的冗余帧。图 5为本发明实施例视频传输过程中丟包率降低的应用场景示意图，如图 5所示，视频服务器端生成的是最高丟包率（20% )情况下对应的码流以及冗余描述信息。在切换到某一较低丟包率的信道时，可以根据丟包率从码流中丟弃相应的冗余帧。例如第一转码器（即数据转发节点）将高冗余码流转为适合有线局域网（丟包率 3% ) L0 中传输的码流，第二转码器将高冗余码流直接传输或者变为次高冗余的码流 (丟包率 10% )再传输给基站，第三转码器将高冗余码流转为较低冗余的码流 (丟包率 5% )传输给无线节点。在这种方案下，虽然保存在视频服务器中的是最大冗余率的码流，但是由于不需要重新编码生成冗余帧，可以提供灵活的错误弹性，对整个系统的效率而言益处明显。

L5 若源传输网络对应的第一丟包率等于目标传输网络对应的第二丟包率，则可以不做任何调整直接进行数据转发。

本发明实施例采用基于像素的失真估计算法，能精确地完成自适应冗余帧分配，再加入可伸缩性的约束，能够产生一个具有错误弹性可伸缩的冗余。更进一步，对每帧使用极少数比特（例如 3比特）来记录这些冗余描述信息，具 >0 体地，冗余描述信息可以在附加在每一帧的数据中，也可以对一个图像组 ( Group Of Pictures; 以下筒称： GOP )或一个视频统一进行描述，将该描述信息附加在 GOP的头端或视频的头端，使得面向不同丟包率的应用时，整个传输系统的带宽效率达到最高。

以下本实施针对上述实施例中丟包率增高的应用进行了实验，实验环境如下：验平台： H.264/AVC参考软件 JM 10.2; 序列： Foreman; 视频尺寸 QCIF; 帧率 15Hz; 量化参数 QP=20、 24、 28、 32、 36、 40; Intra周期为 40; GOP结构 5 为 IPPP... ; 编码 4000帧；丟包率： 3%、 5%、 10%、 20% , 本发明实施例采用的丟包工具中一帧为一个包；多次解码：在不同的丟包率下，对丟包文件进行随机偏移，解码三次取其峰值信噪比（Peak Signal-to-Noise Ratio ；以下筒称： PSNR )平均值。

通过以上的不同量化参数 QP产生的码流经过一定的丟包率可以得到一条 L0 率失真（Rate-Distortion ；以下筒称： RD ) 曲线，利用前四个 QP点，采用本发明实施例提供的方法可以算出两条曲线之间的平均 PSNR差值。

首先，在不含冗余的码流中按照上述实施例的算法添加与丟包率相对应的冗余帧。表 1展示该码流相对不添加冗余帧的码流在该丟包率下的性能提升， 0%vsX%行展示的是 X%丟包率下产生的含有冗余帧的码流与无冗余帧的码流 L5 在 X%丟包率下的性能提升。例如，在信道丟包率 3%下，如果按照冗余帧辅助信息中 3%丟包率下对应的添加冗余帧方式添加冗余，其性能比不添加冗余帧好 0.84dB。由此可知，采用本算法生成的含冗余帧码流在不同丟包率下性能均有提升，并且，随着丟包率的增大，性能提升越显著。对于较低的丟包率（3% ) , 可以获得接近 ldB的客观质量提升；对于高的丟包率（20% ) , 可以获得接近 >0 8dB的客观质量提升。

表 1不同丟包率下冗余帧性能的比较

△PSNR(dB) ABitRate(%) 0%vs3% 0.84 -16.82

0%vs5% 2.42 -45.75

0%vsl0% 5.59 -99.97

0%vs20% 7.62 <-100.00

其次，为了体现上述实施例中不同丟包率下冗余帧可伸缩的性能，在应用时只存储冗余较少的码流，再根据实际传输信道的丟包率，按照上述实施例的方法自适应的添加冗余。表 2中 Y%vsX%行展示的是信道丟包率为 X%时，直接传输丫％丟包率下产生的冗余码流与传输自适应的添加冗余生成符合 X%丟包率的冗余码流的性能比较。例如， 5%vsl0%行展示了在信道丟包率 10%下，如果利用冗余描述信息添加冗余生成符合 10%丟包率的码流，其性能比直接传输在丟包率为 5%时生成的码流要提高 1.05dB。并且，信道丟包率越高，性能提升越明显，对于中等丟包率（10% ) , 可以获得接近 ldB的客观质量提升；对于高的丟包率（20% ) , 可以获得接近 0.7dB的客观质量提升。该实验结果表明，采用本算法生成的不同丟包率下的冗余帧集合具有可伸缩性，即根据相应的丟包率可以快速自适应添加冗余帧以提高解码质量。

表 2 不同丟包率下冗余帧可伸缩性能的比较

再次，表 3展示了利用冗余描述信息进行容错保护与自适应帧内刷新方式进行容错保护的性能比较。其中，各行表示利用这两种方式进行容错保护的码流在各种丟包率下的解码性能比较。在低丟包率下，本实施例算法性能略有下降，但是在高丟包率下，本实施例算法性能有提高。综合考虑其算法的编码复杂度，由于帧内刷新转码是在转码器中执行级联的解码与编码操作，复杂度高，而本发明实施例只需要在转码器中执行拷贝帧的操作，复杂度极低。值得注意的是：自适应帧内刷新编码模式选择算法用在转码中时，理论上其性能会比本文中实现的自适应帧内刷新方法性能下降，原因是转码过程的输入是已经压缩过码流的重建，利用该重建经过再次编码，性能会比直接在原始序列编码时采用帧内刷新模式选择算法性能下降。因此，本发明实施例利用冗余描述信息进行容错保护的算法如果与转码过程中使用帧内刷新相比，性能会有进一步提升。

表 3 自适应冗余帧添加与自适应帧内刷新性能比较

图 6为本发明方法实施例在 3%丟包率下冗余添加性能示意图，图 7为本发明方法实施例在 5%丟包率下冗余添加性能示意图，图 8为本发明方法实施例在 10%丟包率下冗余添加性能示意图，图 9为本发明方法实施例在 20%丟包率下冗余添加性能示意图，图 6至图 9展示的是不同丟包率、针对名为 "Foreman" 的测试序列，测试视频的分辨率为 176x144的情况下，根据冗余描述信息自适应的添加冗余对解码性能的影响以及与自适应帧内刷新方式进行容错保护的性能比较。 rdtYlostX表示根据丫％丟包率的冗余描述信息生成的码流在 X%丟包率下解码的 RD曲线， air_X%表示以 X%作为目标丟包率在编码端进行自适应帧内刷新编码模式选择，并且在 X%丟包率下解码的 RD曲线。

从上图中可以更直观的看到本发明实施例带来的有益效果包括：丟包率越高对不加冗余的码流影响越大，而在低丟包率下，丟包本来就少，即使加入冗

5 余帧性能提升也有限，因此在高丟包率下，本发明实施例带来的客观质量的提升比低丟包率大。低码率下增加冗余帧带来的客观质量提升不及高码率。由于视频在低码率下质量不高，前后帧之间细微差别被大的量化消除了，此时用差错隐藏的方法对丟失帧进行掩盖效果不会太差，因此加入冗余帧并不能使客观质量提升较大。而高码率下，利用错误隐藏方法掩盖丟失帧的效果不好，此时

L0 加入冗余帧会使视频质量提升较大。不同的丟包率需要加入不同数量的冗余帧。如在 10%丟包率下，如果采用与 5%丟包率相对应的冗余帧添加策略，其性能仍有提升空间，此时一个更好的策略就是采用与 10%丟包率相对应的冗余帧添加策略。本发明实施例算法与自适应帧内刷新编码模式选择算法相比，编码性能没有明显下降。在低丟包率下，本发明实施例性能略有损失，但是在高

L5 丟包率下，本发明实施例性算法性能有优势。但是本发明实施例算法复杂度远远低于帧内刷新。

对于 FEC保护的实施例，数据服务器根据数据传输网络系统中至少两个传输网络所对应的丟包率，获取供数据转发节点对接收到的码流中各个数据源块 ( Source Block, 指统一进行 FEC保护的数据单元，是一个或多个数据包的组 >0 合 )进行前向纠错冗余调整、以获取符合后续的传输网络对应丟包率的容错码流用的容错辅助信息，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丟包率分别对应的前向纠错集合的前向纠错描述信息，所述前向纠错集合包括分别对应于所述各个数据源块在不同丟包率下应分配的前向纠错冗余，且所述前向纠错描述信息表示的各个前向纠错集合满足以下条件：低丟包率对应的前向纠错集合为高丟包率对应的前向纠错集合的子集。由此可知，所述的前向纠错集合为上述实施例中容错数据集合的一个实例。。本实施

5 例提出的 FEC描述信息可以用来为 FEC提供协助，具体实施步骤如下：首先，在数据服务器例如视频服务器端生成视频码流时同时生成 FEC描述信息，指示不同丟包率下各个数据源块应实际分配的 FEC冗余；并且，为了使 FEC描述信息可以支持可伸缩的 FEC调整操作，在生成该描述是增加一定的约束，即丟包率增加时各个数据源块的 FEC冗余不可减少；然后，将这些 FEC描述信息附加

L0 在码流中进行传输或者单独传递给数据转发节点。

对于数据转发节点而言，数据转发节点可以根据源传输网络和目标传输网络各自的丟包率，以及与源码流对应的 FEC描述信息，对源码流中各个数据源块进行前向纠错冗余调整，获取符合目标传输网络对应丟包率的容错码流。具体地包括，若源传输网络对应的第一丟包率小于目标传输网络对应的第二丟包

L5 率，则根据 FEC描述信息，在源码流中各个数据源块所携带的前向纠错冗余的基础上，增加对应的前向纠错冗余；若源传输网络对应的第一丟包率大于目标传输网络对应的第二丟包率，则根据 FEC描述信息，在源码流中各个数据源块所携带的前向纠错冗余的基础上，丟弃对应的前向纠错冗余。若源传输网络对应的第一丟包率等于目标传输网络对应的第二丟包率 ,则可以不做任何处理直

>0 接进行数据转发。

图 10为本发明方法实施例前向纠错描述信息用于 FEC冗余分配示意图，如图 10展示了 FEC描述信息在视频传输系统中的一个应用实例：视频服务器生成视频码流并携带 FEC描述信息，来表征每个视频数据源块在给定丟包率前提下应添加的 FEC冗余。数据转发节点根据后续传输网络的丟包率为各个视频数据源块安排不同冗余率以实现的 FEC不等保护。如图所示的例子中，将一个 GOP 的视频数据包分为三个数据源块（如图中白色部分），分别为不同的数据源块

5 添加不同的冗余（如图灰色部分），这样通过数据转发节点传输出去的码流都可以在当前丟包率下达到最优的性能，且操作复杂度相对较低。

本实施例提供的方法中，数据服务器可以在发送的码流中或单独发送用于描述数据 FEC分配情况的容错辅助信息，使得相关数据节点能够根据容错辅助信息对不同重要性等级的数据源块进行不同的 FEC保护，既保证数据的传输的

L0 可靠性，而且能够提高带宽资源的利用率。

图 11为本发明数据转发节点设备实施例结构示意图，如图 11所示，该数据转发节点设备是连接不同网络的节点，具有一定的存储和计算能力，可以是流服务器、媒体网关、路由器等设备等，其包括第一接收模块 11、编码处理模块 12和第一发送模块 13 ,其中第一接收模块 11用于接收来自源传输网络发往目标

L5 传输网络的源码流；编码处理模块 12用于才艮据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；第一发送模块 13用于向所述目标传输网络发送获取到的所述容错码流。

具体地，在数据服务器根据数据传输网络系统中至少两个传输网络所对应

>0 的丟包率，获取到与源码流对应的容错辅助信息，并将容错辅助信息发送给数据转发节点后，数据转发节点通过第一接收模块 11接收到该容错辅助信息。由于网络组建时该数据转发节点已经获知源传输网络和目标传输网络各自的丟包率，因此第一接收模块 11接收到数据服务器发送的源码流后，可以通过编码处理模块 12根据源传输网络和目标传输网络各自的丟包率，并结合容错辅助信息，对该源码流进行快速转码，利用该容错辅助信息快速地生成符合后续网络丟包特性的容错码流，针对丟包率变化快速地做出反应，根据实际的条件改变

5 码流的容错能力，例如调整码流冗余率和 FEC保护力度等等。编码处理模块 12 获取容错码流后，应用第一发送模块 13将容错码流通过目标传输网络发送给终端设备或其他数据转发节点。

进一步地，编码处理模块 12可以根据容错辅助信息调整码流冗余率和 FEC 保护力度等，具体可以通过编码处理模块 12所包括的至少一个的子模块完成，

L0 包括：

第一处理子模块 121用于根据源传输网络和目标传输网络各自的丟包率，以及与源码流对应的容错辅助信息，对源码流中包括的多个数据帧进行自适应冗余帧调整，获取容错码流，容错辅助信息包括与源传输网络和目标传输网络各自的丟包率分别对应的冗余帧集合的描述信息，冗余帧集合用于标识源码流

L5 中的多个数据帧中需要生成冗余帧的数据帧，且描述信息表示的各个冗余帧集合满足以下条件：低丟包率对应的冗余帧集合为高丟包率对应的冗余帧集合的子集。本实施例不需要对码流进行高复杂度的转码，在数据转发节点存储每个丟包率下的容错辅助信息，再利用该信息实现可伸缩的冗余分配。可以在有线网络中传输编码效率最高的码流，在数据转发节点根据容错辅助信息，快速的

>0 添加或删除冗余帧

第二处理子模块 122用于根据源传输网络和目标传输网络各自的丟包率，以及与源码流对应的容错辅助信息，对源码流中各个数据源块进行前向纠错冗余调整，获取容错码流，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丟包率分别对应的前向纠错集合的前向纠错描述信息，所述前向纠错集合包括分别对应于所述各个数据源块在不同丟包率下应分配的前向纠错冗余，且所述前向纠错描述信息表示的各个前向纠错集合满足以下条件：

5 低丟包率对应的前向纠错集合为高丟包率对应的前向纠错集合的子集。本发明实施例的数据转发节点可以是流服务器、媒体网关、路由器等设备

本实施例提供的数据转发节点设备能够根据数据服务器发送的对应于数据码流的容错辅助信息，对需要进行转发的码流进行容错编码获得容错码流，以适应后续传输网络丟包率的网络特性。能够充分合理地利用网络资源，每次

L0 经历变化都可以快速地做出反应，根据实际的条件改变码流的容错能力。

图 12为本发明网络设备实施例一结构示意图，如图 12所示，该网络设备包括第一获取模块 21和第二发送模块 22, 其中，第一获取模块 21用于在向数据传输网络系统发送源码流之前，根据数据传输网络系统中至少两个传输网络所对应的丟包率，获取与源码流对应的容错辅助信息，容错辅助信息用于为数据传

L5 输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考；第二发送模块 22用于向数据转发节点发送容错辅助信息。

具体地，网络设备在向数据传输网络系统中的某一数据转发节点发送视频码流前，要通过第一获取模块 21获取到所发送的源码流对应的容错辅助信息，该容错辅助信息用于为数据传输网络系统中的数据转发节点对接收到的码流

>0 进行容错编码处理、以获取符合后续的传输网络对应丟包率的容错码流提供参考，也就是说数据转发节点能够根据容错辅助信息，针对该数据转发节点后续的传输网络的丟包率进行快速转码，利用该容错辅助信息快速地生成满足后续网络丟包特性的容错码流。第一获取模块 21获取到容错码流后，通过第二发送模块 22将容错辅助信息发送给数据传输网络系统中各数据转发节点，供数据转发节点容错编码用。该容错辅助信息可以是与附件在码流中携带或者单独发送。根据数据传输网络系统中至少两个传输网络所对应的丟包率，获取与要发送的码流对应的容错辅助信息，并将容错辅助信息发送给数据转发节点，使得数据转发节点能够根据不同传输网络丟包率，利用该容错辅助信息快速地生成符合后续传输网络丟包特性的容错码流，提高不同的网络丟包率环境下码流的容错 ίθ 能力。

图 13为本发明网络设备实施例二结构示意图，如图 13所示，该网络设备包括第一获取模块 21和第二发送模块 22,其中第一获取模块 21至少包括以下一个子模块，所述的子模块包括：

第一获取子模块 211用于根据数据传输网络系统中至少两个传输网络所对 L5 应的丟包率，获取供数据转发节点对接收到的码流进行自适应冗余帧调整、以获取容错码流用的容错辅助信息，容错辅助信息包括与数据传输网络系统中至少两个传输网络各自的丟包率分别对应的冗余帧集合的描述信息，冗余帧集合用于标识码流中的多个数据帧中需要生成冗余帧的数据帧，且描述信息表示的各个冗余帧集合满足以下条件：低丟包率对应的冗余帧集合为高丟包率对应的 >0 冗余帧集合的子集。

第二获取子模块 212用于根据数据传输网络系统中至少两个传输网络所对应的丟包率，获取供数据转发节点对接收到的码流中各个数据源块进行前向纠错冗余调整、以获取容错码流用的容错辅助信息，所述容错辅助信息包括与数据传输网络系统中至少两个传输网络各自的丟包率分别对应的前向纠错集合的前向糾错描述信息，所述前向糾错集合包括分别对应于所述各个数据源块在不同丟包率下应分配的前向纠错冗余，且所述前向纠错描述信息表示的各个前 5 向纠错集合满足以下条件：低丟包率对应的前向纠错集合为高丟包率对应的前向纠错集合的子集。

另夕卜，本实施例提供的网络设备中的第二发送模块 22还用于在根据与数据转发节点之间的传输网络对应的丟包率以及容错辅助信息，生成与源码流对应的容错码流后，将容错码流和容错辅助信息一同发送给数据转发节点。其根据数据传输网络系统中至少两个传输网络所对应的丟包率，获取与要发送的码流对应的容错辅助信息，使得数据转发节点能够根据不同传输网络丟包不仅能够提高不同的网络丟包率环境下码流的容错能力，而且延迟少，操作复 ί5 杂度低有利于实时应用。

图 14为本发明网络系统实施例组成示意图，如图 14所示，该网络系统包括网络设备 1、数据转发节点设备 2和终端设备 3 , 其中，数据转发节点设备 2用于接收来自源传输网络发往目标传输网络的源码流，并根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所

>0 述源码流进行容错编码处理获取容错码流后，再向所述目标传输网络发送获取到的所述容错码流；网络设备 1 用于在向数据传输网络系统发送源码流之前，才艮据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取与所述源码流对应的容错辅助信息，并向所述数据转发节点发送所述容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考。

网络设备 1提供数据源，数据转发节点设备 2用于对发往终端设备 3的数据

5 进行转发，每次经历变化都可以快速地做出反应，根据实际的条件改变码流的容错能力，利用该容错辅助信息快速地生成符合后续网络丟包特性的容错码流。网络系统还包括多个传输网络 4, 分别设置在网络设备 1、数据转发节点设备 2和终端设备 3之间，用于为网络设备 1和数据转发节点设备 2, 以及数据转发节点设备 2之间提供数据传输通道。本实施例提供的网络系统中涉及的数据转

L0 发节点设备和网络设备，可以分别采用上述各实施例提供的数据转发节点设备和网络设备，其结构和功能请详见上述实施例描述，此处不再赘述。本发明实施例的数据转发节点可以是流服务器、媒体网关、路由器等设备，网络设备可以为上述各实施例中涉及的数据服务器。

本实施例提供的网络系统中，网络设备能够根据数据传输网络系统中至少

L5 两个传输网络所对应的丟包率，获取与要发送的码流对应的容错辅助信息，使得数据转发节点能够根据不同传输网络丟包率，利用该容错辅助信息快速地生成符合后续传输网络丟包特性的容错码流，不仅能够提高不同的网络丟包率环境下码流的容错能力，而且延迟少，操作复杂度低有利于实时应用。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可

>0 以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

权利要求

1、一种视频数据传输处理方法，其特征在于，包括：

接收来自源传输网络发往目标传输网络的源码流；

5 根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；向所述目标传输网络发送获取到的所述容错码流。

2、根据权利要求 1所述的视频数据传输处理方法，其特征在于，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丟包率分别对应

L0 的容错数据集合的描述信息，所述容错数据集合用于标识所述源码流中需要调整的容错数据。

3、根据权利要求 2所述的视频数据传输处理方法，其特征在于，所述描述信息表示的各个容错数据集合满足以下条件：低丟包率对应的容错数据集合为高丟包率对应的容错数据集合的子集。

L5 4、根据权利要求 2或 3所述的视频数据传输处理方法，其特征在于，所述根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流包括：根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流中包括的多个数据帧进行自适应冗余帧 >0 调整，获得容错码流；所述容错数据集合为用于标识所述源码流中的多个数据帧中需要生成冗余帧的数据帧的冗余帧集合。

5、根据权利要求 4所述的视频数据传输处理方法，其特征在于，所述根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流中包括的多个数据帧进行自适应冗余帧调整包括：

若所述源传输网络对应的第一丟包率小于所述目标传输网络对应的第二 5 丟包率，则根据所述描述信息表示的、与所述第一丟包率对应的第一冗余帧集合和与所述第二丟包率对应的第二冗余帧集合，在携带有与所述第一丟包率对应的冗余帧的所述源码流中，添加所述第二冗余帧集合比所述第一冗余帧集合多出的冗余帧；或

若所述源传输网络对应的第一丟包率大于所述目标传输网络对应的第二 L0 丟包率，则根据所述描述信息表示的、与所述第一丟包率对应的第一冗余帧集合和与所述第二丟包率对应的第二冗余帧集合，在携带有与所述第一丟包率对应的冗余帧的所述源码流中，丟弃所述第一冗余帧集合比所述第二冗余帧集合多出的冗余帧。

6、根据权利要求 2或 3所述的视频数据传输处理方法，其特征在于，所述 L5 根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流包括：根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流中各个数据源块进行前向糾错冗余调整，获取容错码流；所述容错数据集合为前向纠错集合，所述前向纠错集合包 >0 括分别对应于所述各个数据源块在不同丟包率下应分配的前向纠错描述信息。

7、根据权利要求 6所述的视频数据传输处理方法，其特征在于，所述根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流中各个数据源块进行前向纠错冗余调整包括：若所述源传输网络对应的第一丟包率小于所述目标传输网络对应的第二丟包率，则根据所述前向纠错描述信息，在所述源码流中各个数据源块所携带的前向纠错冗余的基础上，增加对应的前向纠错冗余；或

5 若所述源传输网络对应的第一丟包率大于所述目标传输网络对应的第二丟包率，则根据所述前向纠错描述信息，在所述源码流中各个数据源块所携带的前向纠错冗余的基础上，丟弃对应的前向纠错冗余。

8、根据权利要求 1或 2或 3所述的视频数据传输处理方法，其特征在于，所述方法还包括：

L0 与所述容错码流一起或单独转发所述容错辅助信息。

9、一种视频数据发送处理方法，其特征在于，包括：

在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取与所述源码流对应的容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的 L5 码流进行容错编码处理、以获取容错码流提供参考；

向所述数据转发节点发送所述容错辅助信息。

10、根据权利要求 9所述的视频数据发送处理方法，其特征在于，所述向所述数据转发节点发送所述容错辅助信息包括：

在根据与所述数据转发节点之间的传输网络对应的丟包率以及所述容错

>0 辅助信息，生成与所述源码流对应的容错码流后，将所述容错码流和所述容错辅助信息发送给所述数据转发节点。

11、根据权利要求 9所述的视频数据发送处理方法，其特征在于，所述容错辅助信息包括与所述数据传输网络系统中至少两个传输网络各自的丟包率分别对应的容错数据集合的描述信息，所述容错数据集合用于标识所述源码流中需要调整的容错数据。

12、根据权利要求 11所述的视频数据发送处理方法，其特征在于，所述描 5 述信息表示的各个容错数据集合满足以下条件：低丟包率对应的容错数据集合为高丟包率对应的容错数据集合的子集。

13、根据权利要求 11或 12所述的视频数据发送处理方法，其特征在于，所述根据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取与所述源码流对应的容错辅助信息包括：

L0 才艮据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取供所述数据转发节点对接收到的码流进行自适应冗余帧调整、以获取容错码流用的容错辅助信息，所述容错数据集合为用于标识所述源码流中的多个数据帧中需要生成冗余帧的数据帧的冗余帧集合；或

根据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取供

L5 所述数据转发节点对接收到的码流中各个数据源块进行前向纠错冗余调整、以获取容错码流用的容错辅助信息，所述容错数据集合为前向纠错集合，所述前向纠错集合包括分别对应于所述各个数据源块在不同丟包率下应分配的前向纠错描述信息。

14、根据权利要求 13所述的视频数据发送处理方法，其特征在于，所述根 >0 据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取供所述数据转发节点对接收到的码流进行自适应冗余帧调整、以获取容错码流用的容错辅助信息包括：针对所述至少两个丟包率，分别在不生成冗余帧以及生成冗余帧的两种情况下，对所述码流中各数据帧对应的两组信源信道失真信息进行计算；

应用率失真模型，对计算获得的两组信源信道失真信息所对应的数据帧在对应的丟包率条件下是否需要生成冗余帧进行判断，获得判断结果；

5 根据所述判断结果，获得所述与所述至少两个丟包率分别对应的冗余帧集合的描述信息。

15、一种数据转发节点设备，其特征在于，包括：

第一发送模块，用于向所述目标传输网络发送获取到的所述容错码流。

16、根据权利要求 15所述的数据转发节点设备，其特征在于，所述编码处理模块包括：

L5 第一处理子模块，用于根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流中包括的多个数据帧进行自适应冗余帧调整，获取容错码流，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丟包率分别对应的冗余帧集合的描述信息，所述冗余帧集合用于标识所述源码流中的多个数据帧中需要生成冗余帧的

>0 数据帧；或

第二处理子模块，用于根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流中各个数据源块进行前向糾错冗余调整，获取容错码流，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丟包率分别对应的前向纠错集合的前向纠错描述信息，所述前向纠错集合包括分别对应于所述各个数据源块在不同丟包率下应分配的前向纠错冗余。

5 17、根据权利要求 16所述的数据转发节点设备，其特征在于，所述描述信息表示的各个冗余帧集合满足以下条件：低丟包率对应的冗余帧集合为高丟包率对应的冗余帧集合的子集；或者

所述前向纠错描述信息表示的各个前向纠错集合满足以下条件：低丟包率对应的前向纠错集合为高丟包率对应的前向纠错集合的子集。

L0

18、一种网络设备，其特征在于，包括：

第一获取模块，用于在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取与所述源码流对应的容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考；

L5 第二发送模块，用于向所述数据转发节点发送所述容错辅助信息。

19、根据权利要求 18所述的网络设备，其特征在于，所述第一获取模块包括：

第一获取子模块，用于根据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取供所述数据转发节点对接收到的码流进行自适应冗余帧调 >0 整、以获取容错码流用的容错辅助信息，所述容错辅助信息包括与所述数据传输网络系统中至少两个传输网络各自的丟包率分别对应的冗余帧集合的描述信息，所述冗余帧集合用于标识所述码流中的多个数据帧中需要生成冗余帧的数据帧；或

第二获取子模块，用于根据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取供所述数据转发节点对接收到的码流中各个数据源块进行前向纠错冗余调整、以获取容错码流用的容错辅助信息，所述容错辅助信息包 5 括与所述数据传输网络系统中至少两个传输网络各自的丟包率分别对应的前向纠错集合的前向纠错描述信息，所述前向纠错集合包括分别对应于所述各个数据源块在不同丟包率下应分配的前向纠错冗余。

20、根据权利要求 19所述的网络设备，其特征在于，所述描述信息表示的各个冗余帧集合满足以下条件：低丟包率对应的冗余帧集合为高丟包率对应的

L0 冗余帧集合的子集；或者

21、一种网络系统，其特征在于，包括：

数据转发节点设备，用于接收来自源传输网络发往目标传输网络的源码 L5 流，根据所述源传输网络和所述目标传输网络各自的丟包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理获取容错码流后，向所述目标传输网络发送获取到的所述容错码流；

网络设备，用于在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丟包率，获取与所述源码流对应的 >0 容错辅助信息，向所述数据转发节点设备发送所述容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点设备对接收到的码流进行容错编码处理、以获取容错码流提供参考。