WO2013113281A1

WO2013113281A1 - 传输多媒体数据的方法、装置及系统

Info

Publication number: WO2013113281A1
Application number: PCT/CN2013/071190
Authority: WO
Inventors: 张轲; 陈家君
Original assignee: 腾讯科技（深圳）有限公司
Priority date: 2012-02-02
Filing date: 2013-01-31
Publication date: 2013-08-08
Also published as: US9578179B2; KR20140128400A; AP2014007863A0; US20140341086A1; CN103248882A

Abstract

本发明公开了一种多媒体数据传输的方法、多媒体数据传输装置及系统。该多媒体数据传输的方法包括：将待传输的多媒体数据进行编码，向多点控制单元传输编码后的多媒体数据；接收所述多点控制单元发送的多媒体数据包，所述多媒体数据包由所述多点控制单元将接收到的位于同一多媒体会议室的客户端发送的多媒体数据进行封装得到；解码所述多媒体数据包，将解码得到的多媒体数据进行合成并展示合成后的多媒体数据。

Description

传输多媒体数据的方法、装置及系统技术领域

本发明涉及因特网视频技术，特别涉及一种传输多媒体数据的方法、装置及系统。发明背景

在多媒体数据传输系统中，两个或两个以上不同地方的用户或群体，通过传输线路及多媒体设备，将声音、影像及文件资料等多媒体数据互传，实现即时且互动的沟通，以实现会议目的。

图 1为现有的多媒体数据传输系统结构示意图。参见图 1 , 该系统包括：多点控制单元（MCU, Multi-point control unit ) 以及用户终端 ( Client ), 其中， MCU与用户终端采用专用网络（专网）通信， MCU 包括多点控制器和多点媒体处理器，多点控制器可以是多媒体会议服务器。多媒体会议服务器可以提供为用户提供多个虚拟的多媒体会议室，用户可以通过用户终端选择或者创建一个多媒体会议室，接入该多媒体会议室后，用户可以与接入该多媒体会议室的其他用户进行多媒体数据的交互。

在多媒体数据传输系统中主要涉及信令传输、服务器系统间信令控制以及多媒体数据传输。信令传输应用于多点控制器与用户终端之间的交互，服务器系统间信令控制应用于多点控制器与多媒体处理器之间的交互，多媒体数据传输应用于多点媒体处理器与用户终端之间的交互。在用户需要加入多媒体数据传输系统时，通过 Client与多点控制器的信令交互，多点控制器通过多点控制器与多点媒体处理器之间的信令控制与多点媒体处理器交互，根据与多点媒体处理器的交互结果，将用户接入多媒体数据传输系统中的多媒体会议室，进行多媒体数据的共享。图 2为现有基于图 1传输多媒体数据的方法流程示意图。参见图 2, 该流程包括以下步骤。

步骤 201 , 客户端向多点控制器发送多媒体呼叫信令，建立呼叫连接。

本步骤中，客户端可以通过登录的方式或申请注册的方式接入多媒体数据传输系统，如果采用了登录的方式，多媒体呼叫信令中包含用户号码、用户密码以及多媒体会议室标识等信息，如果采用了申请注册的方式，多媒体呼叫信令中可以不包含任何信息。

多媒体会议室包括：音频会议室、视频会议室以及数据会议室。客户端与多点控制器通过多媒体呼叫信令，可以进行呼叫建立、呼叫处理、呼叫告警、呼叫连接以及呼叫释放等流程。

步骤 202, 多点控制器与多点媒体处理器通过服务器系统间信令控制，建立用户与该多媒体会议室之间的接入通道；

本步骤中，如果采用了登录的方式，多点控制器对用户进行认证，在认证通过后，多点控制器通过服务器系统间信令控制与多点媒体处理器交互，为用户分配传输带宽，配置输入通道、输出通道，从多点媒体处理器获取多媒体会议室标识对应的多媒体会议室，建立用户与该多媒体会议室之间的接入通道；如果采用了申请注册的方式，多点控制器从多点媒体处理器获取多媒体会议室，向客户端展示获取的多媒体会议室，以便用户选择所需的多媒体会议室或创建新多媒体会议室并进行注册，在用户注册成功后，多点控制器为用户分配传输带宽，配置输入通道、输出通道，建立用户与该多媒体会议室之间的接入通道。在创建新多媒体会议室时，多点控制器为用户创建混合器，例如，多画面混合器、混音混合器；添加输入通道、添加输出通道等。步骤 203 , 多点控制器向客户端返回多媒体呼叫信令响应。步骤 204, 客户端接入该多媒体会议室，将多媒体数据进行编码，并将编码后的多媒体数据发送给多点媒体处理器。

本步骤中，用户确定将自己的多媒体数据与多媒体会议室内其他成员进行分享，例如，该多媒体数据可以是视频数据，则用户通过客户端采集视频图像信息，对视频图像信息进行编码、压缩等处理后，发送处理后的视频图像信息至多点媒体处理器。

多点媒体处理器与客户端之间可以使用实时传送协议（ RTP , Real-time Transport Protocol )和实时传输控制协议 ( RTCP, Real-time

步骤 205 , 多点媒体处理器接收每个客户端发送的多媒体数据，对该多媒体数据进行解码，将解码的每个多媒体数据进行合成。

本步骤中，在多媒体会议室中，例如，在视频会议室中，每个成员需要实时了解其他成员的视频信息，则多点媒体处理器对每个客户端发送的多媒体数据进行解码，并将解码的每个多媒体数据进行合成，以在合成的多媒体数据中包含每个客户端的多媒体数据。

步骤 206, 多点媒体处理器对合成的多媒体数据进行编码后发送至每个客户端进行展示。

本步骤中，多点媒体处理器对合成的多媒体数据进行编码后，采用广播的方式，将编码后的多媒体数据向多媒体会议室内的每个客户端发送，客户端接收编码后的多媒体数据，进行解压缩、解码操作后，展示该多媒体数据。这样，用户可以实时获知其他用户的多媒体数据，从而实现多用户之间的多媒体数据的共享。

进一步地，多点媒体处理器可以采用丟包重传的策略来降低网络丟包，以保证多媒体数据传输的可靠性。由上述可见，在现有的多媒体数据传输系统中，多点媒体处理器需要对接收的音视频码流等多媒体数据进行解压、解码、压缩、编码等处理。由于多点媒体处理器接入的客户端数量多，因而，对多点媒体处理器的数据处理性能要求非常高，而提高多点媒体处理器数据处理性能所需的成本高，从而增加了多媒体数据传输系统的使用成本。发明内容

有鉴于此，本发明实施例提出一种传输多媒体数据的方法，装置和系统，从而降低多媒体数据传输系统的使用成本。

本发明实施例提供了一种传输多媒体数据的方法，该方法包括：客户端在接入多媒体会议室后，将待传输的多媒体数据进行编码，向多点控制单元传输编码后的多媒体数据；

接收所述多点控制单元发送的多媒体数据包，所述多媒体数据包由所述多点控制单元将接收到的位于所述多媒体会议室的客户端发送的多媒体数据进行封装得到；

解码所述多媒体数据包，将解码得到的多媒体数据进行合成并展示合成后的多媒体数据。

本发明实施例提供了一种传输多媒体数据的装置，该装置包括：接入认证模块，用于与多点控制单元进行交互，将客户端接入多媒体会议室；

编码模块，用于将待传输的多媒体数据进行编码，输出编码后的多媒体数据；

多媒体数据发送模块，用于发送所述编码后的多媒体数据；多媒体数据包接收模块，用于接收所述多点控制单元发送的多媒体数据包，所述多媒体数据包由所述多点控制单元将接收到的位于所述多媒体会议室的客户端发送的多媒体数据进行封装得到；输出所述多媒体数据包；

解码模块，用于将所述接收的多媒体数据包进行解码，输出解码得到的多媒体数据；

合成模块，用于将所述解码得到的多媒体数据进行合成并展示合成后的多媒体数据。

本发明实施例提供了一种传输多媒体数据的装置，该装置包括：多媒体数据接收模块，用于接收位于同一多媒体会议室的客户端发送的多媒体数据，输出所述多媒体数据；

多媒体数据包封装模块，用于将所述多媒体数据接收模块输出的所述多媒体数据封装为一个多媒体数据包，输出所述多媒体数据包；多媒体数据包发送模块，用于将所述多媒体数据包封装模块输出多媒体数据包向所述客户端发送。

本发明实施例提供了一种传输多媒体数据的系统，该系统包括：客户端以及多点控制单元，其中，

所述客户端，用于通过与所述多点控制单元交互，接入多媒体会议室，将待传输的多媒体数据进行编码，向所述多点控制单元发送编码后的多媒体数据；接收所述多点控制单元发送的多媒体数据包，对所述多媒体数据包进行解码，将解码得到的多媒体数据进行合成并展示合成后的多媒体数据；

多点控制单元，用于与所述客户端交互，将所述客户端接入所述多媒体会议室，将接收的位于所述多媒体会议室的客户端发送的多媒体数据封装为一个多媒体数据包，向位于所述多媒体会议室的所述客户端发送所述多媒体数据包。

由上述的技术方案可见，根据本发明实施例提供的传输多媒体数据的方法、装置及系统，将待传输的多媒体数据进行编码，向多点控制单元发送；接收多点控制单元发送的多媒体数据包，所述多媒体数据包为多点控制单元接收各客户端发送的多媒体数据进行封装而成；解码多媒体数据包，将解码得到的多媒体数据进行合成并展示。这样，多点控制单元只是筒单地将接收的各客户端发送的多媒体数据封装为一个多媒体数据包并转发，不需要大运算量，对数据处理性能要求较低，成本低廉，从而降低了多媒体数据传输系统的使用成本；进一步地，多媒体数据传输系统从发送多媒体数据至接收、合成并展示多媒体数据的整个流程中，只需进行一次编码、压缩、解压、解码处理，也降低了对系统数据处理性能的要求，节约了系统资源。附图简要说明

图 1为现有的多媒体数据传输系统结构示意图。

图 2为现有基于图 1实现多媒体数据传输的方法流程示意图。

图 3为本发明实施例中传输多媒体数据的系统结构示意图。

图 4为本发明实施例的客户端结构示意图。

图 5为本发明实施例的多点媒体处理器结构示意图。

图 6为本发明实施例中传输多媒体数据的方法的流程示意图。

图 7为本发明实施例中传输多媒体数据的方法具体流程示意图。实施本发明的方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。

图 3为本发明实施例中传输多媒体数据的系统结构示意图。参见图 3 , 该系统包括：至少一个客户端以及多点控制单元，其中，客户端，用于在通过与多点控制单元的交互后，加入多媒体数据传输系统，将多媒体数据进行编码后向多点控制单元发送；接收多点控制单元发送的多媒体数据包，进行解码，将解码的多媒体数据进行合成并展示合成的多媒体数据。

本发明实施例中，客户端通过与多点控制单元的交互认证，接入多媒体数据传输系统的详细流程属于现有技术，具体可参见相关技术文献，在此不再赘述。如果用户确定需要将自己的多媒体数据与接入的多媒体数据传输系统中多媒体会议室内各成员进行分享，例如，将视频进行分享，则通过客户端采集视频图像信息，进行编码、压缩等处理后，发送至多点控制单元，这一流程具体也可参见相关技术文献。

客户端接收多点控制单元发送的多媒体数据包，进行解码，获取多媒体会议室中客户端发送的多路多媒体数据，将获取的多路多媒体数据进行合成后，向用户展示合成的多媒体数据。

在本发明实施例中，该客户端接收的多路多媒体数据中可以包括该多媒体会议室中所有客户端发送的多媒体数据，此时，该客户端直接将获取的多路多媒体数据进行合成，并向用户展示合成的多媒体数据。

另外，该客户端接收的多路多媒体数据中也可以只包括该多媒体会议室中除了该客户端之外其他客户端发送的多媒体数据，即该客户端不接收自身发送的多媒体数据。此时，该客户端首先从本地获取多媒体数据，将从本地获取的多媒体数据和接收的多媒体数据合成，并向用户展示合成的多媒体数据。这样一来，多点控制单元无需向该客户端发送该客户端对应的多媒体数据，从而避免了带宽的浪费，提高了多媒体数据传输的效率。

可见，应用本发明实施例提供的上述客户端，避免了在多媒体数据传输过程中客户端只是对自身发送的多媒体数据进行编码处理，从而充分利用客户端的数据处理能力。并且，在客户端发送自身的多媒体数据至该客户端展示与多个客户端对应的多媒体数据，只需执行一次编解码处理，也降低了对多媒体数据传输系统的数据处理能力的要求。

多点控制单元，用于与每个客户端交互，将每个客户端加入多媒体数据传输系统，将接收的同一多媒体会议室中客户端发送的多媒体数据封装为一个多媒体数据包，向每个客户端发送。

在本发明实施例中，多点控制单元可以直接将同一多媒体会议室中每个客户端发送的多媒体数据封装为一个多媒体数据包，向每个客户端发送。另外，多点控制单元还可以根据多媒体数据包的目的客户端，将同一多媒体会议室中除了该目的客户端之外的其他客户端发送的多媒体数据封装为一个多媒体数据，并发送给该目的客户端，从而减少传输的多媒体数据的数量，避免带宽的浪费，提高多媒体数据传输的效率。

本发明实施例中，多点控制单元在接收到多媒体数据后，将接收的多媒体数据封装为多媒体数据包，与现有的多点控制单元相比，无需执行解压缩、解码、编码以及压缩处理，从而大大降低了对多点控制单元的数据处理能力要求，无需增加成本提高多点控制单元性能，降低了多媒体数据传输系统的使用成本。

另外，在对多媒体数据传输系统进行大规模组网时，应用本发明实施例，多点控制单元仅对接收的多媒体数据进行中转处理，对多点控制单元的性能要求较低，因而，一台多点控制单元可以实现多个客户端组网接入。而现有技术中，由于受限于单台多点控制单元性能限制，通常采用多点控制单元级联的方式才能实现多个客户端的组网接入，但输入、输出通道受限于技术复杂，做到全通道级联非常困难。可见，应用本发明实施例，无需采用级联的方式就可以达到将多个客户端组网接入的目的，有效降低了多媒体数据传输系统组网的成本，减少了多媒体数据传输系统的使用成本。

在本发明实施例中 , 多点控制单元包括多点控制器以及多点媒体处理器。

其中，多点控制器用于与客户端交互，将客户端接入多媒体数据传输系统。本发明实施例中，多点控制器的结构、功能以及与客户端的交互流程与图 1相同，在此不再赘述。

多点媒体处理器用于将接收的各客户端发送的多媒体数据封装为一个多媒体数据包，向各客户端发送。本发明实施例中，多点媒体处理器与客户端之间可以使用 RTP或 RTCP传输多媒体数据。

随着视频等多媒体数据会议技术的发展以及应用的推广，现有的多媒体数据传输系统，正逐步从高端专用市场向中低端市场转移，也就是由专家视频会议向大众消费转移。本发明实施例中，由于客户端只需发送自身的多媒体数据，对上行带宽要求较低，而需要接收各客户端发送的多媒体数据，对下行带宽要求较高，这一特点，与因特网的网络特性相适应，因而，可以采用因特网进行多媒体数据传输，这样，基于因特网传输的系统结构体系的复杂度低，应用造价较小，有利于大规模普及应用。

图 4为本发明实施例的客户端结构示意图。参见图 4, 该客户端包括：接入认证模块、编码模块、多媒体数据发送模块、多媒体数据包接收模块、解码模块以及合成模块。

其中，接入认证模块用于与多点控制单元进行交互，将客户端接入多媒体数据传输系统。

编码模块用于将用户待发送的多媒体数据进行编码后，输出至多媒体数据发送模块。本发明实施例中，编码模块采用分层视频编解码（ SVC, Scaled Video Coding )编码技术，编码帧序列分为内部画面（ Intra picture ) 帧，即 I 帧、差别帧，即 P 帧以及切换预测帧（ SP , Switching Predictive-frame )等¹1¹贞类型。

多媒体数据发送模块用于发送编码后的多媒体数据。

多媒体数据包接收模块用于接收多点控制单元发送的多媒体数据包，将该多媒体数据包输出至解码模块。

解码模块用于将接收的多媒体数据包进行解码，输出至合成模块。合成模块用于将解码的多媒体数据进行合成并展示合成的多媒体数据；或者用于将解码的多媒体数据和从本地获取的多媒体数据进行合成并展示合成的多媒体数据。

现有的多媒体数据传输系统采用丟包重传的策略来解决网络丟包，也间接增加了多媒体数据传输系统的传输延时，降低了用户的业务体验。尤其在因特网（Internet )这种高丟包、高网络突发的场景下，采用丟包重传的策略无法有效保证网络视频质量。

本发明实施例中，为保证视频流等多媒体数据传输效果，在客户端采用灵活的前向错误纠正（FEC, Forward Error Correction )策略封装待传输的多媒体数据，以解决视频传输丟包的技术问题。具体来说，采用数据 FEC方法中的包丟失恢复（ LPR, Lost Packet Recovery )机制，由客户端为发出的多媒体数据添加冗余数据，使接收方可以侦测并纠正错误，从而无须再请求客户端重新传送丟失的信息，这种无须等待网络重新传送就能够进行纠错的能力，使得 FEC非常适合于实时通信。因此，本发明实施例提供的客户端进一步包括：

前向错误纠正处理模块，用于根据包丟失恢复机制，为编码模块编码的多媒体数据添加冗余数据，将添加冗余数据的多媒体数据封装后输出至多媒体数据发送模块。

本发明实施例中，在实际传输过程中，前向错误纠正处理模块可以根据帧类型不同的重要性，采用不同的 FEC控制方法。举例来说， I帧是三种类型帧中最重要的，针对 I帧，可以采用较强的 FEC控制方法，以保证在丟包 40%的情况下，接收端仍可以恢复出该帧； P帧在三种类型帧中是最不重要的，针对 P帧，可以不采用 FEC控制方法，如果接收端确定发生丟包，可直接丟弃该帧，这样，也不会影响其他帧的序列。这样，通过差异化的采用 FEC控制方法，可以在丟包率、带宽以及算法复杂中获取平衡。

进一步地，本发明实施例提供的客户端还进一步包括：

多媒体数据包丟包率统计模块，统计多媒体数据包接收模块接收的多媒体数据包的丟包率，并将统计得到的丟包率信息输出至多点控制单元。

图 5为本发明实施例的多点媒体处理器结构示意图。参见图 5, 该多点媒体处理器包括：多媒体数据接收模块、多媒体数据包封装模块以及多媒体数据包发送模块。

其中，多媒体数据接收模块用于接收同一多媒体会议室中每个客户端发送的多媒体数据，输出至多媒体数据包封装模块。

多媒体数据包封装模块用于将接收的客户端发送的多媒体数据封装为一个多媒体数据包，并将该多媒体数据包输出至多媒体数据包发送模块。

多媒体数据包发送模块用于将接收的多媒体数据包向每个客户端发送。

其中，多媒体数据包封装模块可以直接将每个客户端发送的多媒体数据封装为一个多媒体数据包，相应地，多媒体数据包发送模块向每个客户端发送相同的多媒体数据包；或者，多媒体数据包封装模块可以根据多媒体数据包的目的客户端，将同一多媒体会议室中除了该目的客户端之外的其他客户端发送的多媒体数据封装为一个多媒体数据包 , 并发送给多媒体数据包发送模块，相应地，多媒体数据包发送模块将该多媒体数据包发送给该目的客户端。

较佳地，多点媒体处理器还可以根据各用户的个性化需求，采用将多媒体数据流分割为多个分辨率、质量和帧速率层的技术。此时，多点媒体处理器进一步包括：客户端能力信息存储模块以及多媒体数据过滤模块。

其中，客户端能力信息存储模块用于存储每个客户端的能力信息。本发明实施例中，能力不同的客户端对传输的要求也有所不同，客户端的能力信息包括：帧速率信息、传输质量信息、协议适配信息以及接收多媒体数据的客户端标识信息等中的一种或其任意组合。

多媒体数据过滤模块用于按照客户端能力信息存储模块存储的每个客户端的能力信息，将多媒体数据接收模块输出的多媒体数据进行处理后，输出至多媒体数据包封装模块。

本发明实施例中，举例来说，如果客户端能力信息包括接收多媒体数据的客户端标识信息，则多媒体数据过滤模块根据该客户端设置的客户端标识信息，将不属于客户端标识信息对应的客户端发送的多媒体数据进行过滤，然后向多媒体数据包封装模块发送过滤后的多媒体数据，并携带客户端能力信息对应的客户端标识，以便于多媒体数据包封装模块进行封装后，按照携带的客户端标识向相应的客户端发送，从而可以满足用户的个性化需求。

较佳地，多点媒体处理器还可以对多媒体数据传输可靠性进行控制，此时，多点媒体处理器进一步包括传输可靠性处理模块，用于统计多媒体数据接收模块接收的各客户端发送的多媒体数据，分别计算各客户端的丟包率信息，根据客户端的丟包率信息确定该客户端的传输参数，并本发明实施例中，传输可靠性处理模块根据计算得到的丟包率，控制上传多媒体数据的该客户端改变编码参数。例如，如果该客户端的丟包率超过预先设置的该客户端的丟包率阈值，可通知该客户端采用更小的分辨率以及更小的编码码率。

进一步地，传输可靠性处理模块还可以接收客户端上报的多媒体数据包丟包率，如果多媒体数据包丟包率超过预先设置的多媒体数据包丟包率阈值，将 VP8 SVC编码序列中的 P帧丟弃。

本发明实施例中，可以将 P帧丟弃，是因为采用了 SVC技术，编码序列为 I、 P、 SP、 P、 SP、 P、 SP, P帧依赖之前的 I帧或 SP帧，重要性相对较低； SP帧只依赖前面的 I帧，并可被 P帧依赖，重要性居中； I 帧最重要。这样，如果下行丟包率太高，则在转发过程中通过丟弃 P 帧来降低下行带宽，而丟弃 P帧虽然会造成帧率减半，但不会导致图像质量的明显降低，从而降低其他帧的丟包率。

实际应用中，传输可靠性处理模块也可以根据计算得到的客户端的丟包率信息以及客户端上报的多媒体数据包丟包率，对丟包率进行综合决策。

由上述可见，本发明实施例的多媒体数据传输系统中，多点控制单元在接收到每个客户端发送的编码的多媒体数据后，只是筒单地将接收的每个客户端发送的多媒体数据封装为一个多媒体数据包。每个客户端接收多点控制单元发送的多媒体数据包，进行解码，将解码的多媒体数据进行合成并展示解码后的多媒体数据。这样，多点控制单元执行转发流程，对数据处理性能要求较低，不需要大运算量，成本低廉，从而降低了多媒体数据传输系统的使用成本。进一步地，从发送多媒体数据至接收、合成并展示多媒体数据的整个流程中，只需进行一次编码、压缩、解压、解码处理，也降低了对系统数据处理性能的要求，节约了系统资源。而且，客户端采用 SVC编码技术结合 FEC策略，对待传输多媒体数据采用差别化传输策略，不仅保证了关键帧的传输质量，也避免了重新传送丟失的多媒体数据的流程，有效节约了带宽传输资源。同时，通过客户端和多点控制单元分别进行丟包率统计，可以实时根据网络状况调整传输策略，增加了视频、音频数据流等多媒体数据的传输健壮性，提高了传输的可靠性。此外，对于客户端来说，由于只传输自身的多媒体数据，上行带宽要求相对较低，通常在 320x240分辨率下，占用上行带宽 80kps ~ 300kbps, 而在下行上，需要接收多路多媒体数据，例如， 10路下行需占用带宽 800kbps ~ 2000kps, 这种网络带宽需求特性，能够充分使用目前家庭用的普通 ADSL接入，不用申请专线就可以运行会议业务，实现筒单，能更有效利用网络带宽。

图 6为本发明实施例中传输多媒体数据的方法流程示意图。参见图

6, 该流程包括以下步骤。

步骤 601 , 客户端在接入多媒体会议室后，将待传输的多媒体数据进行编码，向多点控制单元发送。

本步骤中，客户端采用 SVC进行编码，编码得到的编码帧序列包括：

I帧、 P帧以及 SP帧。

较佳地，在进行编码后，向多点控制单元发送前，进一步包括：根据包丟失恢复机制，在编码的多媒体数据中添加冗余数据，将添加了冗余数据的多媒体数据进行封装。

步骤 602, 接收多点控制单元发送的多媒体数据包。多点控制单元通过将接收的至少一个客户端发送的多媒体数据进行封装得到该多媒体数据包。

本步骤中，多点控制单元接收至少一个客户端发送的多媒体数据后，进行封装前，进一步按照预先存储的各客户端能力信息，将接收的多媒体数据进行相应处理。

本步骤中，客户端能力信息包括：帧速率信息、传输质量信息、协议适配信息、最大传输单元 ( MTU Maximum Transmission Unit )、初始码率以及接收多媒体数据的客户端标识信息等中的一种或其任意组合。举例来说，如果客户端能力信息包括接收多媒体数据的客户端标识信息，则根据该客户端设置的客户端标识信息，将不属于客户端标识信息对应的客户端发送的多媒体数据进行过滤。

步骤 603 , 客户端解码该多媒体数据包，将解码得到的多媒体数据进行合成并展示合成的多媒体数据。

在本发明实施例中，该方法进一步包括：

步骤 604, 统计接收的多媒体数据包的丟包率，向多点控制单元输出该丟包率，以使多点控制单元调节传输策略。

本步骤中，多点控制单元根据客户端上报的多媒体数据包丟包率调整传输策略。例如，如果多媒体数据包丟包率超过预先设置的多媒体数据包丟包率阈值，调节传输策略为将 VP8 SVC编码序列中的 P帧丟弃。

较佳地，该方法还可以进一步包括：

接收多点控制单元输出的传输参数调整信息，调整传输多媒体数据的传输参数。该传输参数调整信息为多点控制单元统计接收的各客户端发送的多媒体数据，分别计算各客户端的丟包率信息，根据客户端的丟包率信息确定的。

图 7为本发明实施例中传输多媒体数据的方法具体流程示意图。主要涉及客户端以及多点媒体处理器，下面结合前面的描述，对客户端以及多点媒体处理器执行的功能进行筒要概括描述。在本实施例中，多媒体会议室为支持视频数据的房间。本发明实施例中，客户端主要功能概括如下：

1、多媒体数据采集、编码、 RTP打包发送，接收 RTP包，进行解码显示等；

2、接收多点媒体处理器下发的控制命令，并进行反馈，控制编码； 3、进行多路多媒体数据的处理，例如，显示视频，将多个画面合成为一个画面。客户端接收到的多媒体数据包（音视频码流）是多点媒体处理器转发下来的，并将下发的多媒体数据包进行快速组帧，通过不同呈现窗口显示，从而达到合成多画面的效果。

客户端的形态可有多种，例如， PC多用户视频客户端软件、移动电话多用户视频客户端软件、电视多用户视频客户端软件等。

多点控制单元主要功能概括如下：

1、客户端注册管理、连接心跳管理；

2、房间管理、创建以及销毁，客户端进入、退出管理等；

3、接收来自客户端的多媒体数据，并向同一房间内其他客户端转发，不执行任何音频视频数据的转换，也就是说，多点媒体处理器维护各客媒体处理器接收到多个客户端发送的多媒体数据，根据该多媒体数据转发的目的房间列表，进行相应的转发，并不对多媒体数据进行任何处理。因而，可以节省多点媒体处理器的大量 CPU, 从而直接增加了单台多点媒体处理器的处理能力。

4、在转发过程中进行丟包率统计、丟帧处理，或通知相应客户端改变编码速率、分辨率、帧率等。

参见图 7 , 传输多媒体数据的方法流程包括如下步骤。

步骤 701 , 客户端通过多点控制器登录多点媒体处理器；

步骤 702, 多点媒体处理器向客户端返回登录应答；步骤 703 , 多点媒体处理器查询获得房间列表；

步骤 704, 多点媒体处理器向客户端返回房间列表应答；

步骤 705 , 客户端根据房间列表，选择一房间号进入；

步骤 706, 多点媒体处理器向客户端返回进入房间应答；

步骤 707, 多点媒体处理器查询获取该房间内成员列表；

步骤 708, 多点媒体处理器向客户端返回房间内成员列表应答；步骤 709, 客户端选择观看；

本步骤中，客户端向多点媒体处理器发送观看请求信令，多点媒体处理器接收观看请求信令，返回观看应答；

步骤 710, 客户端选择观看应答；

步骤 711 , 客户端向多点媒体处理器发送编码的多媒体数据；步骤 712, 多点媒体处理器按照观看请求开始封装多媒体数据包并转发；

步骤 713 , 客户端解码封装的多媒体数据包，获取多路多媒体数据，合成后进行展示；

步骤 714, 多点媒体处理器统计客户端丟包率信息；

步骤 715 , 多点媒体处理器控制客户端的编码操作，使客户端根据预定的编码信息进行编码；

步骤 716, 客户端反馈接收丟包率信息；

步骤 717, 多点媒体处理器选择性丟弃多媒体数据帧中的 P帧；步骤 718, 客户端退出房间；

步骤 719, 多点媒体处理器响应退出房间应答。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1、一种传输多媒体数据的方法，其特征在于，该方法包括：客户端在接入多媒体会议室后，将待传输的多媒体数据进行编码，向多点控制单元传输编码后的多媒体数据；

2、如权利要求 1所述的方法，其特征在于，进一步包括：接收所述多点控制单元输出的传输参数调整信息，调整传输所述多媒体数据的传输参数；所述传输参数调整信息由所述多点控制单元统计接收到的位于所述多媒体会议室的客户端发送的多媒体数据，分别计算各客户端的丟包率信息，根据所述客户端的丟包率信息确定的。

3、如权利要求 1或 2所述的方法，其特征在于，进一步包括：所述多点控制单元按照预先存储的各客户端能力信息，将接收到的所述多媒体数据进行相应处理。

4、如权利要求 3所述的方法，其特征在于，所述客户端能力信息包括：帧速率信息、传输质量信息、协议适配信息、最大传输单元、初始码率以及接收多媒体数据的客户端标识信息中的一种或其任意组合。

5、如权利要求 1所述的方法，其特征在于，所述在将待传输的多媒体数据进行编码后，向多点控制单元传输编码后的多媒体数据之前，进一步包括：

根据包丟失恢复机制，为所述编码后的多媒体数据添加冗余数据，将添加了冗余数据的编码后的多媒体数据进行封装；所述向多点控制单元传输编码后的多媒体数据包括：向多点控制单元传输所述封装后的多媒体数据。

6、如权利要求 1所述的方法，其特征在于，进一步包括：统计接收的所述多媒体数据包的丟包率，向所述多点控制单元输出所述丟包率，以使所述多点控制单元调节传输策略。

7、一种传输多媒体数据的装置，其特征在于，该装置包括：接入认证模块，用于与多点控制单元进行交互，将客户端接入多媒体会议室；

8、如权利要求 7所述的装置，其特征在于，进一步包括：前向错误纠正处理模块，用于根据包丟失恢复机制，为编码模块输出的编码后的多媒体数据添加冗余数据，将添加了冗余数据的编码后的多媒体数据封装，将所述封装后的多媒体数据输出至所述多媒体数据发送模块。

9、如权利要求 7或 8所述的装置，其特征在于，进一步包括：多媒体数据包丟包率统计模块，用于统计多媒体数据包接收模块接收的多媒体数据包的丟包率信息，并将所述丟包率信息输出至所述多点控制单元。

10、一种传输多媒体数据的装置，其特征在于，该装置包括：多媒体数据接收模块，用于接收位于同一多媒体会议室的客户端发送的多媒体数据，输出所述多媒体数据；

11、如权利要求 10所述的装置，其特征在于，进一步包括：客户端能力信息存储模块，用于存储所述客户端的能力信息；多媒体数据过滤模块，用于按照所述客户端能力信息存储模块存储的所述客户端的能力信息，处理所述多媒体数据接收模块输出的所述多媒体数据，将处理后的多媒体数据输出至所述多媒体数据包封装模块。

12、如权利要求 10或 11所述的装置，其特征在于，进一步包括：传输可靠性处理模块，用于根据所述多媒体数据接收模块接收的所述多媒体数据，分别计算所述客户端的丟包率信息，根据所述丟包率信息确定所述客户端的传输参数，并向所述客户端反馈所述传输参数。

13、如权利要求 12所述的装置，其特征在于，所述传输可靠性处理模块进一步用于接收所述客户端上报的多媒体数据包的丟包率，调节传输策略。

14、一种传输多媒体数据系统，其特征在于，该系统包括：客户端以及多点控制单元，其中，

15、如权利要求 14所述的系统，其特征在于，所述多点控制单元包括：多点控制器以及多点媒体处理器，其中，

多点控制器，用于与所述客户端交互，将所述客户端接入所述多媒体会议室；

多点媒体处理器，用于将所述接收的位于所述多媒体会议室的客户端发送的多媒体数据封装为一个多媒体数据包，向位于所述多媒体会议室的所述客户端发送所述多媒体数据包。

16、如权利要求 15所述的系统，其特征在于，所述多点媒体处理器包括：

多媒体数据接收模块，用于接收位于所述多媒体会议室的客户端发送的多媒体数据，输出所述多媒体数据；

多媒体数据包封装模块，用于将所述多媒体数据接收模块输出的所述多媒体数据封装为一个多媒体数据包，输出所述多媒体数据包；多媒体数据包发送模块，用于将所述多媒体数据包封装模块输出的多媒体数据包向所述客户端发送。

17、如权利要求 16所述的系统，其特征在于，所述多点媒体处理器进一步包括：客户端能力信息存储模块 , 用于存储所述客户端的能力信息；多媒体数据过滤模块，用于按照所述客户端能力信息存储模块存储的所述客户端的能力信息，处理所述多媒体数据接收模块输出的所述多媒体数据，将处理后的多媒体数据输出至所述多媒体数据包封装模块。

18、如权利要求 16或 17所述的系统，其特征在于，所述多点媒体处理器进一步包括：

传输可靠性处理模块，用于根据所述多媒体数据接收模块接收的所述多媒体数据，分别计算所述客户端的丟包率信息，根据所述客户端的丟包率信息确定所述客户端的传输参数，并向所述客户端反馈所述传输参数。

19、如权利要求 14所述的系统，其特征在于，所述客户端包括：接入认证模块，用于与所述多点控制单元进行交互，将所述客户端接入所述多媒体会议室；

多媒体数据发送模块，用于发送所述编码后的多媒体数据；多媒体数据包接收模块，用于接收所述多点控制单元发送的多媒体数据包，输出所述多媒体数据包；

20、如权利要求 19所述的系统，其特征在于，所述客户端进一步包括：

前向错误纠正处理模块，用于根据包丟失恢复机制，为编码模块输出的编码后的多媒体数据添加冗余数据，将添加了冗余数据的编码后的多媒体数据封装，将所述封装后的多媒体数据输出至所述多媒体数据发送模块。

21、如权利要求 19或 20所述的系统，其特征在于，所述客户端进一步包括：

多媒体数据包丟包率统计模块，用于统计多媒体数据包接收模块接收的多媒体数据包的丟包率信息，并将所述丟包率信息输出至所述多点控制单元。