WO2012094915A1

WO2012094915A1 - 流媒体前向纠错实现方法及系统

Info

Publication number: WO2012094915A1
Application number: PCT/CN2011/081236
Authority: WO
Inventors: 王芳; 陈光亮; 李竹平; 赵宇; 刘继年
Original assignee: 中兴通讯股份有限公司
Priority date: 2011-01-11
Filing date: 2011-10-25
Publication date: 2012-07-19
Also published as: CN102595252A; CN102595252B

Abstract

本发明涉及一种流媒体前向纠错实现方法及系统，该方法包括：发送端采用与媒体码流相同的传输方式发送前向纠错（FEC）相关信息，所述FEC相关信息包括FEC编码方案标识；接收端接收并配置所述FEC相关信息；以及所述接收端按照配置后的FEC相关信息接收FEC码流并解析出FEC数据，当检测到媒体码流丢包时，利用所述FEC数据进行FEC解码修复。本发明流媒体前向纠错实现方法及系统可以便于实现流媒体前向纠错。

Description

流媒体前向纠错实现方法及系统

技术领域

本发明涉及流媒体技术领域，更具体地，涉及一种流媒体前向糾错实现方法及系统。

背景技术

随着宽带网的普及和多媒体技术的发展，流媒体技术的应用也越来越广泛。目前的流媒体服务，多是将码流数据按一定规则打包后，通过基于分组的通信网络进行数据的分发。例如 IPTV (交互式网络电视）应用中，多使用 TS over RTP ( Transport Stream over Real-time Transport Protocol, 传输流承载在实时传输协议上）或者 TS over UDP ( Transport Stream over User Datagram Protocol, 传输流承载在用户数据报协议上）方式，通过 IP 网络进行分发。由于 IP网络尽力转发的特性，将不可避免的存在分组丟失的情况。为解决这种情况，现有技术多釆用 FEC ( Forward Error Correction, 前向纠错）方式对码流进行保护，尤其是直播的时候。即对传输的媒体数据包进行 FEC编码，得到 FEC冗余数据包，并同样通过 IP网络进行分发。这样终端只要收到足够数量的媒体数据包及 FEC冗余包，就可以通过一定的算法，恢复出丟失的媒体数据包。

为了确保能正确的接收并识别出 FEC码流，并正确的进行 FEC解码恢复的工作，终端必须获得 FEC的相关信息，例如 FEC码流的传送方式、接收端口、 FEC编码方案、冗余度、组大小、以及 FEC包格式等。 IETF (互联网工程任务组）和 3GPP的相关规范中定义了通过 SDP (会话描述协议）传递相关 FEC信息的方法。

但是在某些情况下，终端可能缺少这种通过 SDP等带外方式获取 FEC信息的手段。例如目前很多 IPTV应用中，对于直播频道，终端通常只能获取到对应于频道码流的一个组播地址和端口。没有 RTSP(实时流传输协议）链接，没有 SDP, 则上述的 FEC信息，终端都无从获取。此时，终端通常只能根据约定的规则来做。例如某个局点的 IPTV系统，事先约定对于某个频道的码流，其相应的 FEC码流使用与频道码流同样的组播地址，但是端口号釆用码流端口号加 2的方式。这样，终端就可以在获取码流的同时，在约定的端口上，接收相应的 FEC码流。

这种方式是非常不方便的。规则一旦确定就不能轻易发生变动，如果发生变动就需要修改所有终端的配置信息，工作量十分巨大，且非常麻烦。另夕卜，属于一个局点的终端，拿到其他局点后，由于约定的规则可能不一样，该终端可能将无法在新的局点使用。此外， FEC信息中的相关参数也不能动态更新，若进行动态更新则也会给终端带来问题。发明内容

本发明的目的是提供一种流媒体前向纠错实现方法及系统，以便于实现流媒体前向纠错。

为解决以上技术问题，本发明提供了一种流媒体前向纠错实现方法，该方法包括：

发送端釆用与媒体码流相同的传输方式发送前向纠错（FEC )相关信息，所述 FEC相关信息包括 FEC编码方案标识和 FEC数据封装格式标识；

接收端接收并配置所述 FEC相关信息；以及

所述接收端按照配置后的 FEC相关信息接收 FEC码流并解析出 FEC数据，当检测到媒体码流丟包时，利用所述 FEC数据进行 FEC解码修复。

所述 FEC相关信息还包括组大小、通道信息、 FEC码流标识、 FEC运算单元的大小和 /或媒体码流与 FEC码流的对应关系。

发送 FEC相关信息的步骤包括：发送端周期性发送所述 FEC相关信息。该方法还包括：所述 FEC相关信息有修改时，所述发送端发送修改后的 FEC相关信息，所述接收端接收所述修改后的 FEC相关信息后更新本地配置的 FEC相关信息。

发送 FEC相关信息的步骤中，所述 FEC相关信息基于扩展的运动图像专家组（MPEG )协议或扩展的实时传输协议（RTP )发送。

该方法还包括：发送端将所述媒体码流和 FEC码流分别打包传输。为解决以上技术问题，本发明还提供了一种流媒体前向纠错实现系统，包括发送端和接收端，其中：

所述发送端设置成：釆用与媒体码流相同的传输方式发送前向纠错

( FEC )相关信息，所述 FEC相关信息包括 FEC编码方案标识和 FEC数据封装格式标识；

所述接收端包括：

接收配置模块，其设置成接收并配置所述 FEC相关信息；以及

FEC码流处理模块，其设置成：按照配置后的 FEC相关信息接收 FEC 码流并解析出 FEC数据，当检测到媒体码流丟包时，利用所述 FEC数据进行 FEC解码修复。

本发明流媒体前向纠错实现方法和系统通过带内方式传递 FEC编码和传输的相关信息，这样只要终端能够收到媒体码流，就可以获取到相应的 FEC 信息，并可以方便的实现 FEC信息的动态更新。附图概述

图 1 是本发明流媒体前向纠错实现方法的示意图；

图 2是在 TS流内传输 FEC相关信息和 FEC包的示意图；

图 3是利用 RTP通道传输 FEC信息的码流示意图；

图 4是用于传递 FEC信息的 RTP扩展头结构；

图 5是用于在 RTP包中传递 FEC信息参数的数据结构；

图 6是本发明流媒体前向纠错实现系统的示意图。本发明的较佳实施方式

本发明流媒体前向纠错实现方法和系统的基本思想是：通过带内方式传递 FEC相关信息，这样只要终端能够收到媒体码流，就可以获取到相应的 FEC 信息，并可以方便的实现 FEC信息的动态更新。

下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图 1所示，本发明流媒体前向纠错实现方法，该方法包括：

步骤 101：发送端釆用与媒体码流相同的传输方式发送前向纠错（ FEC ) 相关信息，所述 FEC相关信息包括 FEC编码方案标识和 FEC数据封装格式标识；

其中 FEC编码方案标识表明了所釆用的 FEC纠错码算法， FEC数据封装格式标识则表明了所釆用的 FEC数据打包格式，不同的 FEC编码方案标识对应不同的 FEC算法。不同的 FEC数据封装格式标识对应不同的 FEC数据封装格式。这两个参数是必须的，以便终端识别 FEC数据的封装格式和所釆用的 FEC编码算法等；

除 FEC编码方案标识和 FEC数据封装格式标识外，优选地，所述 FEC 相关信息还包括 FEC编码方案相关的参数和 FEC数据传输相关的参数。例如组大小、通道信息、 FEC码流标识、 FEC运算单元的大小和 /或媒体码流与 FEC 码流的对应关系。具体地，各参数含义如下：

组大小一一对于某些 FEC编码方案，组大小可能是固定的，或者终端可以从 FEC数据包中解析到相应的参数，所以该参数对某些 FEC编码方案和 FEC封装格式是可选项；

通道信息——例如 FEC码流所用的传输通道端口号、通道是单通道还是双通道等，该参数是可选项。当 FEC信息中不包含该参数时，终端默认是单通道方式，即 FEC码流是复用了媒体码流的传输通道；

相应的 FEC流的标识——如果缺少了该参数，终端可以通过排除所有可以识别的码流，来识别出 FEC流，但是存在干扰码流的时候，可能会导致误判。所以推荐在 FEC信息中始终包含该参数，以便终端能够明确识别出 FEC 流;

FEC运算单元（symbol ) 的大小——对于某些 FEC编码方案，该参数是可选项。例如当 FEC编码是针对 TS over RTP的数据包时，一般默认所釆用的 symbol大小就是 1336字节，即 7个 TS包的长度，再加上 RTP头的长度；

媒体码流与 FEC码流的对应关系——推荐在 FEC信息中始终包含该参数，以便终端明确 FEC流所保护的媒体码流。当只有一路媒体码流，或者一路 FEC流保护所有的媒体码流时，也可以省略该参数。

发送端根据所釆用的媒体传输协议，将上述的 FEC相关信息进行封装，然后釆用与媒体码流相同的传输方式发送。 FEC相关信息可以通过在媒体数据包中增加相关字段携带，也可以通过定义新的数据包格式，然后复用媒体码流的传输通道的方式，随媒体码流发送。本方案对此不作限制。

对于直播码流的情况，该 FEC相关信息可以周期性的发送，以保证新接入的接收端（如终端）可以及时获取到相关信息。

当该 FEC相关信息有修改更新时，则按照新的参数构造相关信息，然后按上述方式发送更新后的信息。

步骤 102: 接收端接收并配置所述 FEC相关信息；

接收端接收媒体码流的同时，也会接收到与媒体码流釆用相同方式传送的 FEC相关信息，接收端解析相关的 FEC信息，并据此进行配置，具体指终端在本地记录这些信息，可以保存在内存中，例如直接修改程序中相关对象实例的参数，也可以是记录在存储设备上，例如文件中。具体配置方式由接收端的具体实现决定。只要保证接收端后续能按照这里获取到的信息处理 FEC码流即可。

所述 FEC相关信息有修改时，所述发送端发送的 FEC相关信息是修改后的 FEC相关信息，所述接收端接收所述修改后的 FEC相关信息后更新本地保存的信息。

步骤 103: 所述接收端按照配置后的 FEC相关信息接收 FEC码流并解析出 FEC数据，当检测到媒体码流丟包时，利用 FEC数据进行 FEC解码修复，恢复丟失的媒体数据包。

所述 FEC相关信息可以基于扩展的运动图像专家组（MPEG )协议或扩展的实时传输协议（RTP )发送。以下就这两种协议的扩展分别给出具体实施例：

实施例 1

本实施例在 MPEG-2 TS基础上，实现带内方式传递 FEC相关信息。即当码流直接通过 MPEG-2 TS流传输时，可以将相关的 FEC信息封装在 TS流的 PMT ( Program Map Table, 节目映射表）中。 FEC冗余数据可以作为一路 ES ( Elementary Stream, 基本码流）流，复用在 TS码流中进行传输。传输示意如图 2所示：

发送端将视频 PES (Packetized Elementary Stream , 打包的基本码流)、音频 PES、其他 ES及 FEC ES流、 FEC相关信息复用后发送，接收端接收并解复用后，得到视频、音频、 FEC及 FEC相关信息，若检测到丟包，则利用 FEC 相关信息和 FEC数据进行前向纠错。

对 MPEG-2 TS进行如下扩展：

在 PMT中增力。一个节目级别的 fee— signal— descriptor, 定义如下:

注：表中的 uimsbf表示无符号整数 ( Unsigned integer, most significant bit first, 具体参见 ISO/IEC13818-1标准中的相关定义），表中的 bslbf表示比特串 ( Bit string, left bit first, 具体参见 ISO/IEC13818-1标准中的相关定义），以下同。

1、 descriptor— tag: 127 , 表明该 descriptor为 fee— signal— descriptor。其他各字段的含义如下： descriptor— length 表明该 arq_signal— descriptor 的长度, 参见

ISO/IEC13818-1标准中的相关定义；

encoding— id —— 表明所釆用的 FEC编码方案，不同的取值代表了不同的 FEC纠错码算法；

packaging— id 表明所釆用的 FEC数据封装格式，不同的取值代表了不同的 FEC数据打包格式；

group— count— flag 该字段的值为 1时,表明后面有 group— count字段 , 为零则没有 group— count字段；

symbol— size— flag 该字段的值为 1时，表明后面有 symbol— size字段，为零则没有 symbol— size字段；

reserved —— 保留字段，应全置为 0;

group— count —— 表示组大小，没有的时候，终端需要根据 FEC编码方案等参数自行适配；

symbol— size —— 表示 FEC运算时的 symbol大小，没有的时候，终端需要根据 FEC编码方案等参数自行适配；

2、增力口一个 stream— type类型，用于标识 FEC流，例 ¾口 stream— type值为 OxFF时，表示相应的 PID ( Packet Identifier ) 流为 FEC流；

3、在 PMT中增加 ES级别的 fee— label— descriptor, 用于给 ES流添加一个 FEC标签。标签值相同的媒体流对应于同一个 FEC流。这样可以标识媒体码流与 FEC码流的对应关系。定义如下：

其中 descriptor— tag=128, 表明该 descriptor为 fee— label— descriptor。其他各字段的含义如下：

label —— 标签值，具有同样标签值的非 FEC流，被具有同样标签值的 FEC流保护。

对于支持上述 MPEG-2 TS扩展的流媒体系统来说，其发送端和接收端的处理流程如下：

发送端：

( 1 )根据上述对 MPEG-2 TS的扩展，在 PMT中增加 FEC相关信息；按

FEC相关信息中指定的 FEC编码方案，完成 FEC数据的生成，并封装成相应格式的 FEC流，复用到 TS流中；

( 2 )发送添加了 FEC相关信息和数据的 TS码流；

PMT发送的相关规定，例如发送频率、更新等，可以遵循 MPEG-2 TS 的相关规定。由于 FEC信息会随着 PMT—起周期发送，从而可以保证新接入终端可以及时获取 FEC信息。同样也可以保证 FEC信息发生变化时的更新；接收端

( 1 )接收 TS码流，解析其中的 PMT, 从中获取媒体码流的相关信息，和 FEC的相关信息；

( 2 )根据 PMT中得到的信息，对 TS流进行解复用，得到其中的媒体码流和 FEC流；

( 3 ) 当检测到媒体码流发生丟包时，则利用已收到的媒体包和 FEC包，进行 FEC修复。

不能识别相关 FEC信息和 FEC流的终端，可以根据 PID, 丟弃相应的 FEC流。

实施例 2

本实施例通过 RTP/RTCP ( RTP Control Protocol )传递 FEC相关信令，实现 FEC相关信息的带内传递。

当码流通过 RTP流传输时（例如 TS over RTP ) ，可以将相关的 FEC信息封装在 RTP/RTCP包中，通过 RTP/RTCP通道进行传输。图 3给出了利用 RTP通道传送 FEC信息的示意。 FEC冗余数据可以作为一路 RTP流，复用媒体码流的 RTP通道，或者使用新的 RTP通道进行传输。

对 RTP进行如下扩展：

1、分配一个专门的 PT ( Payload Type, RTP包头中的 PT字段，用于标识负载类型）值，例如 125 ,用于标识相应的 RTP流是用于传递 FEC信息的。这样用于传递 FEC信息的 RTP包，就可以有自己独立的序号空间，避免对正常的 RTP码流造成干扰；

2、定义一个 RTP扩展头，用于标识传递 FEC信息的 RTP包格式遵循哪个规范。仅在 PT值等于 125时有效。扩展头定义如图 4所示，遵循 RFC3550 的相关定义。可以设定 defined by profile字段为一个特殊值，例如 ASCII字符 "FE" ,以标明相应的 RTP负载，是用于传递 FEC信息的。扩展头中的 Identifier 字段的不同取值，表明相应的规范，不同的规范可能对应不同的 RTP包格式定义。例如 Identifier取值为 ASCII字符 "ZFEC" 时，则表明后面跟的 RTP 负载中，所携带的 FEC信息参数的格式遵循本实施例中的相关规定；

3、定义 FEC信息相关参数在 RTP包中的格式。由于 FEC信息中的部分参数属于可选项，为便于构造消息，可以对信令中的参数釆用

Type-Length-Value ( TLV ) 的结构。即基本结构如图 5所示。首先通过 Type 字段标明不同的参数类型，然后通过 Length字段标明该参数值的长度，然后在 Value字段携带具体的参数值。如果有多个参数，则 RTP负载中就是相应的多个 TLV结构。需要支持的 FEC参数如下所示：

类型（ Type ) 取值（Value )

FEC编码方案，不同的取值代表了不同的 FEC纠错

0x01

码算法。

FEC封装格式，不同的取值代表了不同的 FEC数据

0x02

包格式。

0x03 组大小

0x04 FEC运算时的 symbol大小。

0x05 与该 RTP流对应的 FEC流的 PT值。

0x06 与该 RTP流对应的 FEC流的 SSRC值。

相应的 FEC流的端口号（相对于 RTP流端口号的偏

0x07 移），没有或者取值为零的时候，则认为 FEC流与

媒体流使用同样的端口。

0x08 FEC流的接收地址，没有该参数时，则默认与媒体流的接收地址一样。

对于支持上述 RTP扩展的流媒体系统来说，其发送端和接收端的处理流程如下：

发送端

( 1 )根据上述对 RTP的扩展，将 FEC相关信息封装到 RTP包中； ( 2 )使用媒体包的 RTP通道，发送携带了 FEC相关信息的 RTP包；这种携带了 FEC相关信息的 RTP包可以周期发送，当 FEC相关信息发生变化时，则根据变化后的 FEC相关信息，构造 RTP格式的消息包，然后按上述规则发送。

接收端

( 1 )接收 RTP包，解复用出其中携带 FEC相关信息的 RTP包；

( 2 )根据所获取的 FEC相关信息，接收 FEC数据包；

( 3 ) 当检测到媒体 RTP流发生丟包时，利用 FEC相关信息和 FEC包，对媒体包进行 FEC修复。

对应于以上方法，本发明还提供了一种流媒体前向纠错实现系统，如图

6所示，该系统包括发送端和接收端，其中，

发送端设置成：釆用与媒体码流相同的传输方式发送前向纠错（FEC ) 相关信息，所述 FEC相关信息包括 FEC编码方案标识和 FEC数据封装格式标识；

进一步地，所述 FEC相关信息还包括组大小、通道信息、 FEC码流标识、

FEC运算单元的大小和 /或媒体码流与 FEC码流的对应关系。

接收端包括：

接收配置模块，其设置成接收并配置所述 FEC相关信息；以及

FEC码流处理模块，其设置成：按照配置后的 FEC相关信息接收 FEC 码流并解析出 FEC数据，当检测到媒体码流丟包时，利用所述 FEC数据进行 FEC解码修复。进一步地，所述发送端是设置成周期性发送所述 FEC相关信息。

进一步地，所述 FEC相关信息有修改时，所述发送端发送修改后的 FEC 相关信息，所述接收端的接收配置模块接收所述修改后的 FEC相关信息后更新本地保存的 FEC相关信息。

进一步地，所述 FEC相关信息基于扩展的运动图像专家组（MPEG )协议或扩展的实时传输协议（RTP )发送。

可理解的，以上系统中所提及的功能模块是本发明区别于现有技术的相关内容，本技术方案中，发送端和接收端并不排除有新的或现有的功能模块。釆用本发明的技术方案，可以使用户在接收媒体码流的同时，方便地获取到相关的 FEC相关信息，从而顺利地实现 FEC码流的接收和修复。同时，当 FEC相关信息有所更改时，也可以及时地通知用户，作出相应的调整。

本发明中，媒体码流和 FEC码流可以分别打包，分别传输，也可以将 FEC 数据和媒体码流合并在一起打包传输。通过带内方式传递 FEC编码和传输的相关信息，这样只要终端能够收到媒体码流，就可以获取到相应的 FEC信息，并可以方便的实现 FEC信息的动态更新。当媒体码流和 FEC码流分别打包传输时，终端可以根据自己的资源情况，确定是否需要接收 FEC码流。需要时，就可以根据所获取的 FEC传输相关信息接收 FEC码流，并根据所获取的 FEC 数据封装信息从中解析出 FEC数据，然后按照所获取的 FEC编码相关信息，作 FEC解码运算，修复码流。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块可以釆用硬件的形式实现，也可以釆用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

工业实用性与现有技术相比，本发明流媒体前向纠错实现方法和系统通过带内方式传递 FEC编码和传输的相关信息，使得终端只要能够收到媒体码流，就可以获取到相应的 FEC信息，并可以方便的实现 FEC信息的动态更新。

Claims

权利要求书

1、一种流媒体前向纠错实现方法，包括：

接收端接收并配置所述 FEC相关信息；以及

2、如权利要求 1所述的方法，其中，所述 FEC相关信息还包括组大小、通道信息、 FEC码流标识、 FEC运算单元的大小、和 /或媒体码流与 FEC码流的对应关系。

3、如权利要求 1所述的方法，其中，发送 FEC相关信息的步骤包括：所述发送端周期性发送所述 FEC相关信息。

4、如权利要求 1所述的方法，还包括：所述 FEC相关信息有修改时，所述发送端发送修改后的 FEC相关信息，所述接收端接收所述修改后的 FEC 相关信息后更新本地配置的 FEC相关信息。

5、如权利要求 1所述的方法，其中，发送 FEC相关信息的步骤中，所述 FEC相关信息基于扩展的运动图像专家组（MPEG )协议或扩展的实时传输协议（RTP )发送。

6、如权利要求 1 所述的方法，还包括：所述发送端将所述媒体码流和 FEC码流分别打包传输。

7、一种流媒体前向纠错实现系统，包括发送端和接收端，其中：所述发送端设置成：釆用与媒体码流相同的传输方式发送前向纠错 ( FEC )相关信息，所述 FEC相关信息包括 FEC编码方案标识和 FEC数据封装格式标识；

所述接收端包括：接收配置模块，其设置成接收并配置所述 FEC相关信息；以及

8、如权利要求 7所述的系统，其中，所述 FEC相关信息还包括组大小、通道信息、 FEC码流标识、 FEC运算单元的大小和 /或媒体码流与 FEC码流的对应关系。

9、如权利要求 7所述的系统，其中，所述发送端是设置成周期性发送所述 FEC相关信息。

10、如权利要求 7所述的系统，其中，所述发送端还设置成：在所述 FEC 相关信息有修改时，发送修改后的 FEC相关信息；所述接收端的接收配置模块还设置成：接收所述修改后的 FEC相关信息后更新本地配置的 FEC相关信息。

11、如权利要求 7所述的系统，其中，所述发送端是设置成基于扩展的运动图像专家组（ MPEG )协议或扩展的实时传输协议（ RTP )发送所述 FEC 相关信息。