WO2010045857A1 - 会议终端、会议服务器、会议系统及数据处理方法 - Google Patents

Description

会议终端、 会议服务器、 会议系统及数据处理方法 木中 i¾¾求 Γ 2008年 10月 20 R提交中国专利 、 中 W 3'为 200810224372. 7、 发明名称为 "会 议终端、 会议服务器、 会议系统及数据处理方法" 和 2009年 5 ) 20 口提交中国专利 ^、 中诺号为 200910202849. 6 , 发明名称为 "会议终端、 会议服务器、 会议系统及数据处理方法" 的中国专利中 ffi的优先权， 其全部内容通过引 W结合在木中诺中。

技术领域

本发明涉及视频会议系统， 特别是指 ·种会议终端、 会议服务器、 会议系统及数据处理方法。 发明背景

在最早的视频会议中， 人们只能通过图像和卢音进行交互， T来 H. 261协议允许视频会议的参 者通过活动视频通道传递 4CIF人小的静 |卜.图文， 以便参与者之间分享胶片， 但是这种分享是通过 抢； ¹ ,活动视频通道来实现的， 一方而胶片分辨率不高， 另一方面传输胶片时会弓 I起活动视频出现停 顿。

后来， H. 239 标准协议的出现， 参与者可以创建一个辅流通道单独传输胶片， 而用主流通道来 传输活动视频， 使得活动视频和胶片传送互不影响。 一种典型的应用场景如图 1所示， 会议终端 12 同时接收到摄像机 11摄入的会议图像和计算机 10的文件（如 PPT或 Word文档）， 并对摄像机 11摄 入的会议图像和计算机 10的文件经过视频编码（通常采用 H. 263或者 H. 264 编码标准）后， 通过 H. 239协议标准提供的通道将两路视频流同时发送给 MCU (多点控制单元） 13， MCU 13再转发给其 他的 会终端 14， 终端 14在接收到两路视频流后， 进行解码， 即可得出两路不同的视频图像， 并 在投影仪 16或者电视机 15上进行显示。 通过这种方式， 任意一个与会者都可以向所有人共享自己 的文档， 实现了一个简单的数据交— 。 然而， 11. 239 的这种胶片共享的方式最人缺点是： 参与者不 能交 1L , 土讲者在对胶片进行阐述时， 其它的参与者只能看胶片， 不能在胶片上作标记， 因此降低 了讨论效率， 讨论者参与感不强。

针对这种现象， 在现有技术中， 出现丫一种利用在电子 A板上做标记， 以达到视频会议的参 者相互交互的 0的， 如图 2所示， 在会议服务器侧放置一台电子 A板服务器 20， 每一个视频会议终 端放 S—台屯子 111板客户端， 如客户端 21， 客户端 22， 客户端 23， 客户端 24和客户端 25 ^， 这 些客户端通常为一台 PC, 有的客户端还可以是会议子系统中的会议服务器或者会议客户机等， 所有 的客户端都通过网络连接在到该电子 A板服务器 20上， 该电子白板服务器 20启动一个电子白板， 该电子 A板可以是空白背景， 也可以以 i冬 I片或者胶片作为背景； 电子 A板服务器 20将电子 A板上的 内容以图片的方式发送给所冇客户端， 闪此， 每个客户端都可以看到相同的内容； 与会者通过客户 端在电子 A板上做一些标记： 如画线、 画圆、 输入文字等操作， 这些操作都被传到电子白板服务器 20上： 屯 f A板服务器 20接收客户端的操作后， 更新屯子 fl板的内容， 再把更新后的屯子 A板内 容发送给所有客户端， E此实现了所有的参 者共享 A板进行讨论的 B的。 但这种方式在使用范围 上受到限制， 如用户不能在胶片上进行做标记， 即该系统无法实现共享作标记的胶片， 另外， 该系 统需耍再建一套屯于 A板系统， 每个会场至少配备一台计算机， 增加了系统复杂度和建设成本。

现有技术中， 与上述在电子 A板上做标记的方式相似的还有一种远程协作的方法， 如图 3所不， 该系统巾包括一个远程协作服务器 30， ^ - '个视频会场配各一台计算机， 如计算机 31， 计算机 32， 计算机 : ， 计党机 34 这 计 机通过网络' 远程协作服务器 30连接， 需耍共 : 0 d桌面的会 场开 一个远程协作服务， 将 tJ d的计算机桌面 I冬 I像 (如 PPT, Word文档 ；) 共享给所冇 会者； 其他会场的 会者可通过本地计算机迕接到远 协作服务器 30后， 就可看到远程 I办作服务器 30共 享的计算机桌 ώΐ , 并 li通过本地的[¾标、 键盘等操作也会传给远程协作服务器 30， 闪此所有的 会 者可以共同操作同一个应 W程序， 如 PPT、 Word等。 但这种系统同样需耍 建一套远程协作的系统， 每个会场至少配各一台计算机， 增加系统的复杂度和成木； 更 耍的 ， 需耍为每个会场的每台计 锌机中配 ffl特殊的远程协作参数， 且使川者需耍操作两套系统， 如一个共享的远程系统， 一个本地 的系统， 并且耍共享 PPT、 Word 文档需耍亊先拷贝到会场的计算机中， 不能实现笔记本屯脑这样 的计算机即插即 的特性， 操作不方便。

通过上述对现有技术的介绍中发现， 现有技术至少存在如卜问题：

在视频会议系统中， 与会者进行数据交互时， 现 的视频会议系统为与会者提供的交互数据受 到限制， 如在屯于白板的系统中， 为胶片做标记就不能实现， H.电子白板等视频会议系统复杂， 成 本高。 发明内容

本发明要解决的技术 M题是提供一种会议终端、 会议服务器、 会议系统及数据处理方法， 在不 增加会议系统 度的情况卜'， 允许任意会议终端之间进行数据交互， 提高会议用户的讨论效率。

为解决上述技术问题， 本发明的实施例提供技术方案如— F:

一方面， 提供 种会议终端， 包括：

标记获取模块， 用丁 ·获取标记数据信号；

图像获取模块， 用丁_获取图像数据信号；

¾加模块， 用 τ·将所述图像数据信号和所述标记数据信号进行叠加， 生成混合图像数据信 ς； 输出模块， 用于输出所述混合图像数据信号。

另一方面， 提供一种会议服务器， 包括：

图像数据接收模块， 用于接收会议终端发送的图像数据信号；

标记接收模块， 用于接收会议终端发送的标记数据信号；

*加投块， 用于对所述图像数据信号和所述标记数据信号进行叠加， 生成混合图像数据； 发送模块， 用 τ·发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。

再一方面， 提供一种会议系统， 包括： 第一会议终端， 会议服务器和至少一个第二会议终端； 其中，

所述第一会议终端包括：

图像获取模块， 用于获取所述会议服务器发送图像数据信号；

标记发送模块， 用丁 ·获取标记数据信号， 并向所述会议服务器发送标记数据信号； 所述会议服务器包括： 图像数据接收投块， 川 Γ-接收所述图像数据信 ；

标记接收投块， 川 Γ接收所述标记数据信号；

¾加投块， HJ Γ·对所述图像数据信 和所述标记数据信号进行 ^加， 生成 合图像数据； 发送模块， 川丁 · |pj所述第一会议终端和所述伞:少- ·个第—会议终端发送所述混合图像数据。 所述至少一个第_ ：会议终端， 用于接收并显示所述混合图像数据。

还提供一种 议系统， 包括： 第一会议终端， 会议服务器和至少一个第-：会议终端； 其中， 所 述第一会议终端包括：

图像获取投块， 获取所述会议服务器发送图像数据信 f} _;

标记发送模块， 川 Τ·获取标 数据信号， 并向所述会议服务器发送所述标记数据信号； 所述会议服务器用十接收所述图像数据信号和所述标记数据信号， 并转发；

所述至少一个笫二会议终端包括：

第一定时器， 用于产生第一时间间隔值：

图像获取模块， W丁获取所述会议服务器转发的图像数据信号；

第一外部标记获取模块， ffl 获取所述会议服务器转发的标记数据信号， 并按照所述第一时间 间隔值输山所述标记数据信号， 产生第一标记数据信号；

第一¾加模块， ffl于将所述图像数据信 S和所述第 ·标记数据信号进行叠加， 生成第一混合图 像数据信号；

显 模块， 用丁 ·显示所述第一混合图像数据信号。

还提供一种会议系统， 包括： 第一会议终端， 会议服务^和至少一个第二会议终端； 其中， 所 述第一会议终端包括：

第一定时器， 用于产生第一时间间隔值；

第二定时器， 用丁 ^¾上第二时间间隔值；

第一内部标记获取模块， 用 Τ·获取本地会议终端发送的标记数据信 ¾■， 并按照所述第一时间间 隔值输出所述标记数据信号， 产生第一标记数据信号；

第二内部标记获取模块， 用于获取本地会议终端发送的标记数据信号， 并按照所述第二时间间 隔值输出所述标记数据信 3·， 产生第二标记数据信号；

第二叠加模块， 用于将所述图像数据信 和所述第一标记数据信号进行叠加， 生成第—混合图 像数据；

第二发送模块， 用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据， 或者通过 辅流通道向所述会议服务器发送所述第二混合图像数据；

所述会议服务器， 用于接收所述第二混合图像数据， 并转发；

所述第二会议终端， 用 接收所述第二混合图像数据并显示。

本发明的实施例还提供 -种数据处理方法， 包括：

获取图像数据信号；

获取标记数据信号； 将所述图像数据信号禾 11所述标记数据信 ¾进行 ¾加， 生成混合 1*1像数据信号；

输出所述混合图像数据信^。

本发明的实施例还提供一种数据处理方法， 包括：

接收会议终端发送的图像数据信 ¾·和标记数据信号；

对所述图像数据信号和所述标记数据信号进行 S加， 生成混合阁像数据；

向会议终端发送所述混合阁像数据成者所述图像数据信 ^成者所述标记数据信号。

本发明的实施例 Λ.冇以卜有益效果：

上述技术方案中， 会议终端将其获取的图像数据信号和标记数据信号进行叠加， 生成混合图像 数据信号， 如该混合^像数据信号为添加了标记的胶片， 在不增加会议系统 度的情况下， 该会 议终端允许 会者在观看胶片的时候， 同时在胶片上画上自己的标 fi， 提高视频会议用户的参与感， 提高讨论效率。 附图简要说明

为了更清楚地说明本发明实施例成现有技术中的技术方案，下面将对实施例或现有技术描述中 所需要使用的附阁作 简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些实施例， 对于本领域 通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些附图获得其他的 附图。

图 1为现有技术屮会议系统的应用场景结构示意图；

M 2为现有技术中会议系统中， 利川电子 A板进行交互的应用场景结构不意图；

图 3为现冇技术中的会议系统， 利用远程协作服务器进行交互的应用场景结构示意^ ;

图 4为本发明的实施例会议终端的整体结构示意图；

图 5为图 4所示的会议终端的一具体结构示意图；

图 6为图 5所示的会议终端接收本地标记数据信号， 并在本地叠加， 形成混合图像数据的一具 体结构示意图；

图 7为图 5所示的会议终端在发送本地的标记数据信号时， 第一令牌控制模块从 H. 239的辅流 通道中先中请令牌， 得到令牌后再开始记录和发送标记数据信号的结构示意图；

图 8为图 5所示的会议终端接收外部标记数据信号， 并在本地叠加， 形成混合图像数据的一具 体结构示意图；

图 9为图 8中的第一外部标记获取模块的具体结构示意图；

图 10为图 5所示的会议终端在进行本地叠加时，第二令牌控制模块从 H. 239的辅流通道中先中 请令牌， 得到令牌后再进行叠加， 形成混合图像数据的结构示意图；

图 11为图 1所示会议终端的另一具体结构示意图；

图 12为会议终端的一具体结构示意图；

M 13为会议终端的一具体应用场景示意图；

图 14为会议终端的另一具体应用场景示意图； 阁 is为会议终端的乂一 π·体应用场 ¾示意阁；

m 16为本发明的实施例会议服务器的结构示意图；

图 17为图 16所不会议服务器的一 A体实施例结构示意 ；

m is为本发明的实施例的一种会议系统结构示意图；

图 19为图 18所示会议系统的多 MCU级联的应川场景示意图；

20为本发明的实施例的另 种会议系统结构示意阁；

21 ym 20所示会议系统的多 MCU级联的应用场景示意图；

22为本发明的实施例的又一种会议系统结构示意图；

图 23为图 22所示会议系统的多 MCU级联的应用场景示意图；

M 2 为本发明的实施例的数据处理方法的流程示意图；

m 25为本发明的实施例的另一数据处理方法流程示意图。 实施本发明的方式

为使本发明的实施例要解决的技术问题、 技术方案和优点更加清楚， 下面将结合附图及具体实 施例进行详细描述。

本发明的实施例针对现有技术中不能将 H. 239标准的双流功能和类似电子白板任意添加标记的 功能结合起来， 使用户的参 感不强的问题， 提供一种会议终端， 会议服务器， 会议系统及会议系 统中数据处理的方法。

会议终端的实施例一：

如图 4所示， 为会议终端的实施例结构示意图， 本发明的实施例会议终端 40包括： 标记获取模块 41 , 用于获取标记数据信号；

图像获取模块 42， 用于获取图像数据信号；

叠加投块 43，用于将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号； 输出模块 44， 用于输出所述混合图像数据信号， 该混合图像数据信号既可以输山到本地会议终 端的显示屏上进行显示， 也可以输出到会议服务器， 如 MCU, 再由 MCU转发给其他的会议终端。

这里的会议终端 40可以为视频会议中的某一会场的终端， 具体来讲， 可以为一个会议终端服务 器， 负责对会场中多个输入设备的信号进行管理， 该输入设备可以是一个音频输入设备、 视频输入 设备、 电子 ft板或者书写屏等， 当然该会场中， 还可以包括： 用于视频信号输出的图像显示设备（如 普通显示器）、 用 Τ·音频信号输出的音箱等； 图像数据信号可以为胶片或者类似胶片的文件 ， 标记 数据信号为圆圈， 批注等， 该会议终端 40将其接收的图像数据信号和标记数据信号进行叠加， 生成 混合图像数据信号， 如该混合图像数据信号为添加了标记的胶片， 在不增加会议系统复杂度的情况 下， 该会议终端允许与会者在观 Φ胶片的时候， 同时在胶片上画上自己的标记， 提高视频会议用户 的参与感， 提高讨论效率。

会议终端实施例二：

如图 5所示， 在会议终端实施例一的基础上， 该会议终端 40还可以包括： 第一定时器 45， 用 丁-产生第一时间间隔值； 第—定时器 46， 川丁产生第 ：时间间隔值； 这两个定时器在 体实现时， 也^以为同一定时器， 该定时器可以输出两个时间间隔值；

相应的， 上述标记获取投块 41包括: 第一标记获取模块 41 1， 川丁-接收所述标 ill数据信号， 并 按照该笫一时间问隔值输出 t述标记数据信兮， 产生第一标记数据信号； 该第 '时间间隔伍是用来 控制标记数据信^在本地会议终端的显示屏幕上显示的， 保证了木地显示屏的实时显示效果， 该第 -时间间隔值一般设得比较短， 如果该会议终端 40的显示屏幕为一电视机， 则该第一时间间隔值的 最住间隔足 该电视机的帧间隔相同。

第二标记获取模块 412， 川丁 ·获取上述标记数据信 ， 并按照该第—时问间隔值输出上述标记 数据信号， 产土第二标记数据信号； 由于该标记数据信号发送到远端的会议终端时， 需耍在 H. 239 辅流通道中进行传输， 闪此该第一时间间隔位不宜设定的太短， 为了降低传输的数据量， 可以将该 第二时间间隔值设定的大一些， 如 1秒一次。

会议终端实施例三：

如图 6所示， 上述会议终端实施例—中的第一标记接收投块 411可以具体为： 第一内部标记获 取模块 4110， 用 Τ·获取本地会议终端发送的标记数据信号， 并按照该第一时间间隔值输出所述标记 数据信号， 产生第一标记数据信号； 如用户通过本地会议终端的触摸屏幕在图像获取模块 42所接收 的图像数据信号 （如胶片， 该胶片可以是本地的胶片， 也可以是接收到远端会议终端发送的胶片） 上， 添加了圆圈标记， 该第一内部标记获取模块 4110就会按照第一时间间隔值输出该圆圈标记， 产 生第一标记数据信号。

另外， 上述第—标记获取模块 412也可以具体为： 第—内部标记获取模块 4120， 用丁 -接收本地 会议终端发送的标记数据信号， 并按照上述第二时间间隔值输出该标记数据信号， 产生第二标记数 据信号。

该会议终端还包括一标记编码模块 47和标记发送模块 48，其中上述第二内部标记获取模块 4110 所产生的第二标记数据信号传输至该标记编码模块 47， 该标记编码模块 47将该第二标记数据信号 进行编码， 产生第三标记数据信号； 该第三标记数据信号传输至该标记发送模块 48， 该标记发送模 块 48通过 Η. 239协议的辅流通道向会议系统中的会议服务器发送该第三标记数据信号，再由该会议 服务器转发给其他的会议终端。

会议终端的实施例四：

如图 7所示， 在上述会议终端的实施例中， 会议终端在与会议服务器和其他会议终端进行传输 数据的过程中， 采用 Η. 239协议的辅流通道或者 Θ定义通道进行传输， 而 Η. 239的主流用于传输活 动视频， 这样， 使静态图像数据的传输和活动视频的传输不冲突。 而采用 Η. 239的辅流通道进行传 输上述本地会议终端产生的标记数据信号或者混合图像数据吋， 为了保证会议系统中各个会议终端 之间的传输不混乱， 采 W令牌互斥的方式进行， 先判断该 Η. 239的辅流通道是否支持标记辅流， 如 果支持， 则该会议终端 40还可包括：

第一令牌控制模块 49， 用丁在所述 Η. 239协议的辅流通道中申请会场令牌， 申请成功并得到一 会场令牌后， 产生第一控制信号； 上述标记发送投块 48根据该第 -控制信号通过 H. 239协议的一个辅流通逍向会议服务器发送该 第二标 W数据信号。

也就是说， 当前会议终端 T1在发送 ri d的标记数据信号 Ι'ήί, 先巾诘一令牌后， ΰ己的标 ΰ数据 信 4才允许 /十:本地显示和发送到远端会议服务器， 再由会议服务器转发给其他的会议终端； 而系统 中的其它会议终端 Τ2耍想发送 0己的标记数据信号， 也必须先中请令牌后， 才可以发送自己的标记 数据信 ， 当前的令牌拥有者由会议终端 T1变成了会议终端 Ί'2 , 这样可以保证多个会议终端发送 标记数据信号不被打乱。

会议终端的实施例五：

如图 8所示， 上述所有会议终端的实施例中， 该会议终端还应当 J 有接收功能， Λ体來讲， 上 述第一标 β获取模块 411具体为：

第一外部标记获取投块 4111， 用于接收会议服务器发送的除本地会议终端外的至少一个其他会 议终端的标记数据信号， 并按照上述第一定时器 45产生的第一时间间隔值输出该标 ΰ数据信号， 产 生第一标记数据信号。

该¾加模块 43具体为： 第一叠加模块 430， 用于将所述图像数据信号和所述第一标记数据信号 进行叠加， 生成第一¾合图像数据信号；

上述输出模块 44 体为： 第一发送模块 440， 用丁 -向本地会议终端的显示屏幕上发送该第一混 合图像数据， 并显示。

会议终端实施例六：

如图 9所示， 在一个讨论过程中， 可能会有多个会场的会议终端需耍同时作标记， 为了保证不 同会场的标记数据信号的顺序不被打乱， 需耍进行互斥处理， 在上述会议终端实施例五的基础上， 当该第一标记获取模块 411接收到多个会议终端发送的标记数据信号时， 该第一外部标记获取模块 4111包括：

第一外部标记获取子模块 41110， 用于接收会议服务器发送的除本地会议终端外的至少一个其 他会议终端的标记数据信号；

至少一个解码器， 如解码器 1， 解码器 2 , 解码器 3等， 这里的每一个解码器对应一个会场， 也 就是说， 一个会场 （即一个其他会议终端） 发送来的标记数据信号均进入一个解码器进行解码， 各 个解码器对接收到的标记数据信号解码后， 生成一标记数据信号队列；

标记输出模块 41111， 用亍按照上述第一时间间隔值和该标记数据信号队列的顺序输出所述标 记数据信号， 牛成至少一个第一标记数据信号。 之后再将这^第一标记数据信号顺序送入第一 *加 模块 430中进行 ¾加， 为了保证在叠加时， 能够区分出是那个会议终端发送的标记数据信号， 每个 会议终端在发送 S己的标记数据信号时， 耍包括自己的会议号， 终端号和相应的标 i己数据信号的内 容， 这 *标记数据信号的内容可以用矢量图、 二值位图、 YUV或者 RGB等彩色位图； 在使用矢量图 或二位位图的时候， 可以由会议服务器 MCU随机给每个会议终端分配一种填充颜色， 会议终端的叠 加模块在叠加不同会场轨迹的时候使用会议服务器分配的颜色进行填充； 在使用 YUV、 RGB等彩色位 图表示轨迹的时候， 系统中必须统 指定一种透明颜色， 以便接收端能正确识别出轨迹的位置与胶 片¾加， 这样可以保证标记数据信号和阁像数据信 加 /ή， 每一个会场的混合图像数据的完整性。 |;一会议终端接收到— Κ·他的会议终端发送的标记数据信号时， 同时该会议终端乂收到了一个图 像数据信兮， 此时该会议终端就会将其接收到的 I冬 I像数据信号和标记数据信号进行 ¾加 , 形成完整 的¾合图像数据， 这样该会议终端也就知逍对方对当前的图像数据作/那些标 。

会议终端的实施例七：

如图 10所示，当会议系统不支持标记辅流时，此时会议终端只能向其他终端发送混合图像数据， 而该混合阁像数据足在木地会议终端 h叠加生成的，为了保证各个终端发送的混合图像数据的顺序， 上述会议终端 40还可包括：

第—：令牌控制模块 50 , 用于在 H. 239协议的另一个辅流通道中中请会场令牌， 申请成功并得到 一会场令牌后， 产生第—控制信号， ¾加模块 43在得到该第—控制信号时， 就可以开始记录标记数 据信号和图像数据信号， 并对图像数据信号和标记数据信号进行叠加， 生成混合图像数据信 4。

也就是说， 会议终端 T1在其接收到的胶片上添加标记之前， 先申请 H. 239辅流通道控制令牌， 在得到令牌后， 开始记录川户添加的标记数据信号， 并将该标记数据信号叠加到胶片 形成一混 合图像数据， 将编码后的混合图像数据通过辅流通道发送给会议服务器， 再由会议服务器转发给其 他的会议终端。 其他会议中的会议终端如果想添加自己的标记数据信号， 也进行同样的动作， 这样 通过不断的切换 H. 239辅流通道发送令牌， 各个会场的会议终端都可以将自己的标记添加到该胶片 上。

相应的， 上述叠加模块 43具体为： 第―叠加模块 431， 用丁根据上述第—令牌控制模块 50产 生的第二控制信号， 将上述图像数据信号和该第一标记数据信号进行叠加， 生成第二混合图像数据， 如添加丫标记的胶片；

上述输出模块 44具体为： 第二发送模块 441， 用于向该本地会议终端的显示屏幕上发送该第二 混合图像数据， 或者通过 H. 239协议的辅流通道向会议服务器发送所述第二混合图像数据。 这样， 该笫二混合阁像数据可以本地会议终端上显示， 用户在触摸屏上添加标记之后， 就会及时地看到白 己绘制的标记轨迹，也同样可以通过 H. 239协议的辅流通道向会议服务器发送该第二混合阁像数据， 再由该会议服务器转发给其他的会议终端， 这样其他的会议终端就能看到当前该用户添加标记后的 胶片了。

会议终端的实施例八：

如图 1 1所示， 上述各图中所示实施例的会议终端 40中， 还可包括：

图像数据保存模块 51 , 用于在本地会议终端上保存所述混合图像数据。 在会议进行过程中， 每 一个添加过标记的胶片都可以在本地会议终端上保存， 以便记录会议的过程。

标记擦除模块 52， 用于将所述混合图像中的标记数据信号进行擦除； 用户在添加标记数据信号 的过程中， 可以将其已经添加的标记数据信号擦除， 在令牌控制模式下， 令牌所有者可以发一条指 令让 S加模块 43擦除已经添加的标记；

图像发送模块 53， 川于将内部图像获取模块 420所接收的本地会议终端的图像数据信号向会议 服务器发送， 再由会议服务器转发给其他的会议终端， 这样其他的会议终端均可以观看到本地会议 终端的图像数据。

另外， 上述图像获取模块 42包括： 内部图像获取模块 420， 用丁'获取本地会议终端发送的图像 数据信 ； 外部图像获取模块 421， m Τ·获取会议服务器发送的其他会议终端的图像数据信号； 在上述的所有实施例中， 图像获取模块 42所接收的图像数据信 除/可以为胶片， 还可以为 - Α色背景， 该白色背景由会议终端的输入设 ¾产生， 如通过触投屏绘制标记后系统 ΰ动生成一白色 背景， 所 W广标 数据信号都会叠加在该 Α色背景 k, 这样用户使用起来更加方便和随意。

会议终端的实施例九：

如图 12所示， 在 h述所有实施例中， 会议终端 40所在会场中， 可包括多个输入设备， 这些输 入设备 W以为： 音频输入设备、 视频输入设备、 电子 A板成者书写屏等， 这些输入设备可以直接与 该会议终端迕接， 也可以间接 该会议终端连接： 为了使该会议终端 40所在会场中的多个输入设备 之间相互切换， 则该会议终端 40可以通过令牌互斥方式控制该会场中的多个输入设备， 因此， 该会 议终端还可包括：

令牌管理模块 54， ffl于接收本地会议终端所在会场中的一输入设备的子令牌中请， 确认所述子 令牌申请成功后， 分配一子令牌给所述输入设备；

则上述第一内部标记获取模块 4110， 根据所述子令牌， 获取所述本地会议终端所在会场中的所 述输入设备的标记数据信号， 并按照所述第一时间间隔值输出所述标记数据信号， 产生第一标记数 据信兮；

上述第二内部标记获取模块 4112， 根据所述子令牌， 获取所述本地会议终端所在会场中的所述 输入设备的标记数据信号， 并按照所述第二时间间隔值输出所述标记数据信号， 产生第—标记数据 信号。

也就是说， 会场中， 与该会议终端 40连接的多个输入设备， 谁得到了令牌， 该会议终端就接收 谁的标记数据信号； 当然，对于视 /音频信号，该会议终端也可以采用该令牌互斥控制方式进行控制。

另外， 该会议终端 40所在会场中的一个输入设备需要与一目标输入设备进行私密会话时， 该会 议终端 40还可包括：

一私密令牌控制模块 55， 用丁接收本地会议终端所在会场中的一个输入设备发起的与一 H标输 入设备进行私密会议的私密令牌申请， 确认所述私密令牌申请成功后， 启用一辅流通道或者自定义 通道， 分配一私密令牌给该输入设备。 这样， 该输入设备就可以通过该辅流通道或者自定义通道与 目标输入设备进行私密会话。

这里的目标输入设备即可以是除该会议终端 40所在会场外的其它会场中的一输入设备，也可以 是该会议终端 40所在会场中的一个输入设备。

另外， 上述会议终端 40中的标记获取模块 41可以其体¾一实时标记获取模块， 可以实时获取 标记数据信号； 也可以具体为一手动标记获取模块， 可以提供手动接收选项， 所述手动接收选项被 选择时， 获取标记数据信号；

上述会议终端 40中的图像获取模块 42 W以具体为一实时图像获取模块， 可以实时获取图像数 据信号； 也可以具体为一手动图像获取模块， 可以提供手动接收选项， 所述手动接收选项被选择时， 获取图像数据信号。

会议终端实施例十：

卜而结合阁 13说明， 该会议终端 40所在会场的一 Λ体应 W场景， 如 1冬 1所不： 会议终端 40 多 点控制^元（MCU ) 130连接， 该会议终端经网络向多点控制单元 130传送本会场中的视音频信号和 数据信号（包括传统数据信号和互动 丫Α板产生的互动数据信号）； 并接收多点控制单元 130发送 过来的其它会场的视音频信 4和数据信号， 以传送给本会场输山设备进行显示。

本会场中， 还包括： 至少一个输入设备， 这些输入设备包括：

对丁 ·视音频信号：

音频输入设备 131， 通常为麦克风， 捕捉本会场中的卢音信号并传送给会议终端 40;

视频输入设备 132， 通常为一个成者多个摄像头， 捕捉本会场中的视频信号并传送给会议终端

40；

会议终端 40将接收到的视音频信号进行编码后通过网络发送给多点控制单元（MCU ) 130, 再由 多点控制单元 130将会场中的编码后信号发送给其它会场进行显不。

对于数据信号：

在会场中布 S—数据服务器 135与会议终端 40相连； 作为发送端， 会场中的用户在电子白板

133和 屏 134上的操作数据， 如添加标记数据信号 ， 通过一数据服务器 135， 发送到会议终端 40; 再由会议终端 40发送给多点控制单元 130的同时， 并由多点控制单元 130同时分发给其它会场 中的会议终端 40。

作为接收端， 会议终端 40将从多点控制单元 （MCU ) 130接收到的数据信号传送给会场中的数 据服务器 135, 数据服务器 135再把数据信号传递给会场中的电子白板 133和会场中的一个或者多 个书写屏 134;

该会场中， 还包括一些信号输出设备， 对于视音频信号， 作为接收端， 其中音频输出设备 136 通常为立体声扬声器，将会议终端设备 40传送出来的声音信号呈现给会场中的与会者； 而视频输出 设备 （图中未示出）， 通常为一个或者多个显示屏或投影仪， 将会议终端 40传送过来的视频信号呈 现给会场中的与会者。

在需要协作的会议中， 需要与会者不断的变化角色， 有可能从演讲者转变为非演讲者， 也可能 从非演讲者转变为演讲者。 考虑现实中的真实的会议场景， 演讲人通常是一个人操作完毕后， 才能 切换为另一个人。 因此， 作为优选的方案， 本发明给出了如何使用控制令牌进行角色切换的操作方 法：

a )整个会议系统设置一个控制总令牌， 该会议系统包括至少两个会场， 每个会场中设置有会议 终端 40 , 各个会场的会议终端 40通过 MCU130连接， 并传输信号， 该控制总令牌相当于上述会场令 牌， 一个会场中的演讲者中请得到了该会场令牌， 意味着该会场目前是可以发表演讲的会场， 如下 述应用场景：

当前会场 1中的第一演讲人已经获得了会场令牌， 并在演讲当中； 此时会场 2中的第—演讲人 请求获得会场令牌， 其获得会场令牌后， 第二演讲人切换为主演讲人， 其所演讲的内容发送到本会 场的其它终端禾 11其它会场中的会议终端。

对应此怙况， 毎 ·个人机交互设备 （电于白板成者 15 屏） 都可以发出控制令牌屮诘。 除主动 中请令牌外， 也可主动将控制令牌转移给本会场和其它 场的交互会议终端。

b) 设 a分级控制令牌， 一个 w于会议系统级的总控制令牌 （相当丁 · h述的会场令牌）， 每一个 会场内的¹ 会者对应一个子令牌， 此方法考虑到存有如卜'的应用场

首先十:本地会场产 4·:一个力 -案， 获得会场内 -致同意后， 再将最终形成的方案分发给其它会场， 此时分两种怙况：

第一种情况， 笫一演讲人和第二演讲人在同一个会场中， 第一演讲人止在演讲， 在此情况下， 第二演讲人中 ¾到本会场的子令牌后， 即可切换为主演讲人； 第一演讲人也 "ί主动将子令牌转交给 本地会场中的第二演讲人。

第二种情况， 第一演讲人和第二演讲人不在同一个会场当中， 第一演讲人止在演讲， 在此情况 卜'， 第二演讲人发出令牌申请后， 先申请该第-：演讲人所在会场的会场令牌， 申谙成功后； 再屮请 会场内的子令牌， 获得子令牌后， 开始切换为主演讲人； 第一演讲人也可主动将会场令牌转给第二 演讲人所在的会场， 第—演讲人所在的会场再把本地于令牌分发给第二演讲者。

特殊的， 对于如卜的应用场景： 首先在本地会场产生一个方案， 获得会场内一致同意后， 再将 最终形成的方案分发给其它会场， 在没有在本会场取得一致意见， 并启动传送功能以前， 本会场中 的数据服务器 135并不把未完成的标记信息发送给会议终端 40， 而是仅仅发送给本会场中的其它与 会者。 在启动传送功能后， 会议终端 40就将获得的标记信号传递给多点控制单元 130， 再由多点控 制单元 130传递给其它会场。

该实施例中， 会议终端 40与多点控制单元 130之间传输数据时， 需耍采用 Η. 239协议， Η. 239 协议给出了控制信道、 主流通道和辅流通道， 其中， 主流通道川来传送会场之间的视频信号， 而辅 流通道则可以用于传送 PPT、 Word或者标记等数据信号， 在传送这些数据信号时， 其传输方法如上 述会议终端 40的实施例一至十中所述的方法， 在此不再赘述， 如：

a)将 PPT和标注信息叠加后一起编码， 在同一个信道中进行传送。

b)将 PPT数据和标注信息分别编码， 并在不同的信道中传送。 但也可以给编码后的 PPT数据和 标注信息加上不同的标志， 在同 -个信道中进行传送。

c)演讲者为了更准确的描述展示思想， 往往需耍多种工其， 例如不同的颜色， 不同的在电子白 板上的操作会实时的反映到其它会场中的显示设备上。

每一个会场中的会议终端 40， 接收 MCU130传送来的视音频信号或者数据信号时， 实吋或者手 动接收的应用场景如下：

1 ) 作为发送端的会场， 对应书写屏 134， 实时或者手动操作传送批注等数据信号： 使用书写屏 134的人作为演讲人， 讲解 PPT的同时， 并在上面进行标 iC， 例如画了一条直线， 每隔固定间隔的 时间就将该演讲人动作所产生的图像发送给数据服务器 135或者由演讲人手动启动传输功能， 数据 服务器 135再将此图像发送给本地会场中的电子 A板 133和其它的书写屏， 以及会议终端 40， 会议 终端 40再发送给多点控制单元 130, 再由多点控制单元 130转发给其它会场中的会议终端 40; 作为接收端的会场，该其它会场的该会议终端 40可以实时^者手动接收该多点控制单元 130转 发來的数据信号。

2 ) 对应使 W屯于白板， 并实时或者手动传送批注： 使 W 于 A板 133 的人作为演讲人， 讲解 PPT 的同时， 并在上面进行标记， 例如画了一条直线， 每隔 I古 I定间隔的时间就将该演讲人动作所产 生的图像发送给数据服务器 135成者由演讲人手动启动传输功能， 数据服务器 135冉将此图像发送 给木地会场中的书 屏 134， 以及会议终端 40 , 会议终端 40再发送给多点控制单元 130， 再由多点 控制单元 130转发给其它会场中的会议终端 40;

作为接收端的会场，该其它会场的该会议终端 40可以实时或者手动接收该多点控制单元 130转 发来的数据信号。

3 )在上述场景中， 非演讲人所使用的屯子 A板、 书写屏所对应的其它与会者可能需要对讲演做 批注， 其它 会者在接收到的屏幕上进行自己的批注。

考虑演讲人演讲和本会场和其它与会者进行批注的速度不可能时刻保持一致， 此时有可能发生 如下两种情况：

其它与会者在批注的第一页面和演讲者正在讲演的第二页面 β同一页面。

其它 会者在批注的第一页面和演讲者正在讲演的第二页面不是同一页面。

作为一解决方案， 此时需耍给其它与会者的接收终端提供模态切换开关， 如果仅是希望被动的 接受， 则可以将运行模态切换到即时更新模式， 在即时更新模式 F， 接收终端所显示的内容随演讲 者的变化而变化， 此时其它与会者不能进行批注操作； 如果希望进行批注， 则将模式切换到批注保 持模式， 此时该终端的内容不随演讲者的内容进行更新， 其它与会者可以进行批注。待批注完成后， 将状态切换到更新校式即可。

4 ) 在场景 1〜2中， 批注者可能希望随时将自己的批注或者传送过来的页面进行保存， 已备会 议后进行总结或者冋顾。 简单的方法， 批注者所操作的电子白板或者书写屏在启用保存功能后， 将 当前的批注保存到本地会场中的数据服务器 1-35中。

5 )考虑到出于保密或私下交谈的需耍， 可能会议当中的某两个与会者需耍进行私密的交流， 在 此应用场景下， 需要给需要进行私密交流的与会者之间启动 路辅流， 在该辅流屮建立一个私密令 牌， 两个私密交流者获得该私密令牌后， 首先私密交流者 1发送批注给私密交流者 2 ; 私密交流者 2 收到私密交流者 1发送过来的批注后， 再发送自己的批注信息给私密交流者 1， 以进行私密的交流。

如图 14， 作为对图 13的一种变形， 电子白板 133和书写屏 134直接和会场中的会议终端 40相 连， 数据服务器 135仅用来存储要演讲的 PPT等传统数据或者批注信息。

如图 15， 作为对图 13的另一种变形， 以会议终端 40为中心， 电子白板 133和书写屏 134仅和 会场中的会议终端 40相连， 数据服务器 135和会议终端 40相连， 数据服务器 135仅作为 子白板 133中演示的数据或者演讲的 PPT等传统数据或者批注信息等的存储设备。

然该会议终端 40也可以具有一存储模块， 代替该数据服务器 135， 对数据信号进行保存； 特 别的， 电子白板 133这样的输入设备也可以具有存储功能， 存储 β己产生的数据信号或者其接收的 会议终端转发来的其它与会者的数据信号。 上述的各个会议终端的实施例， 无需增加其他的设备， 在现 '的 H. 239双流的 ¾础上实现 会 者之间的数据协作， 实现会场中多个输入源， 如 子 A板、 书 屏， 其它会场中的输入源之间的 动态交 U.， 提 户的参 感， 捉卨讨论效率。

会议服务器的实施例一：

如阁 16所示， 本发明的实施例还提供一种会议服务器 60， 该会议服务器通常为一 MCU (多点控 制单元）， 川在视频会议中， 为视频会议中的各个会议终端提供数据的转发和服务。 该会议服务器 60包括：

图像数据接收投块 61， 用十接收会议终端发送的图像数据信号；

标记接收模块 62， ffl于接收会议终端发送的标记数据信号；

¾加模块 63， 川于对所述图像数据信号和所述标记数据信号进行 §加， 生成混合图像数据； 发送模块 64， 用于向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据 信号。

会议服务器的实施例二：

如图 17所示， 上述叠加模块 63在对图像数据信号和标记数据信号进行叠加时， 可能会收到多 个会议终端发送的标记数据信号， 该叠加模块 63 需要对每个会议终端发送的标记数据信号进行区 分， 该 S加投块 63具体包括：

填充模块 631， 用丁 '为所述标记数据信号分配填充颜色或者透明颜色， 并利用所述填充颜色或 者透明颜色对所述标记数据信号进行处理， 产生颜色标记数据信号； 标记数据信号的内容可以用矢 量图、 二值位阁、 YUV或者 RGB等彩色位图表示； 在使用矢量图或二值位图的时候， 可以随机给每 个会议终端的标记数据信号分配一种填充颜色，叠加模块 63在叠加不同会场轨迹的时候使用上述填 充颜色进行填充； 在使用 YUV、 RGB等彩色位图表示标记数据信号的时候， MCU须指定一种透明颜色， 以便接收会议终端能正确识别出轨迹的位置， 这样可以保证标记数据信号和图像数据信号叠加后， 每一个会场的混合图像数据的完整性。

处理模块 632， 用于将所述图像数据信号和所述颜色标记数据信号进行叠加， 生成混合图像数 据。

该会议服务器 60在向会议终端发送混合图像数据或者标记数据信号时， 还可包括： 发送控制模 块 65 , 用亍选择 H. 239协议的一辅流通道， 控制所述发送模块 64通过所述辅流通道向会议终端发 送所述混合图像数据或者所述标记数据信号；

具体实现时， 该会议服务器 60还可包括： 一令牌管理模块 66， 用于接收会议终端发送的会场 令牌申请， 确认所述会场令牌申请成功后， 向该会议终端返冋一会场令牌； 该发送控制模块 65根据 该会场令牌， 选择 H. 239协议的一辅流通道， 控制所述发送模块 64通过所述辅流通道向会议终端发 送所述混合图像数据或者所述标记数据信号；

当系统中有多个会议服务器的情况下， 该会议服务器还可将其叠加的混合图像数据或者会议终 端发送过来的标记数据信号或者会议终端发送过来的图像数据信号转发给其他的会议服务器， 再由 其他的会议服务器发送给与该其他的会议服务器连接的会议终端。 该会议服务器 60在会议终端不 冇¾加功能时，将各个会议终端发送的图像数据信号（如胶片） 和标记数据信^进行 ¾加， 然后 转发给其他的会议终端， 使会议系统屮的各个会议终端都能够 S 到其他会议终端添加的标记， 实现 会者之间的协作， 提高用户的参 感， 提高川户的讨论效率。

会议系统的实施例：

卜'而对上述的会议终端和会议服务器组成的会议系统进行介绍：

上述的会议终端和会议服务器主耍可以组成以卜 种应川场景：

一， 会议终端 1将共享的图像数据信号发送给会议服务器， 会议终端 2将本地的标记数据信 3 也发送给会议服务器， 由会议服务器对图像数据信号和标记数据信兮叠加后， 形成一混合图像数据， 再发送给所有的会议终端， 会议终端接收到会议服务器发送的混合 ffl像数据时， 对该混合图像数据 进行解码并显示；

一， 会议终端 1将共享的图像数据信号发送给会议服务器， 会议终端 2将本地的标记数据信号 发送给会议服务器， 再由会议服务器转发给所有的会议终端， 会议终端在接收到图像数据信号和标 记数据信号时， 对图像数据信号和标记数据信号进行叠加， 并显示；

二， 会议终端 1将共享的图像数据信号 （该图像数据信号可为本地的图像数据， 也可为接收到 的远端的图像数据） 和本地的标记数据信号在本地叠加后， 生成一混合阁像数据， 再将混合图像数 据通过 H. 239辅流通道发送给会议服务器， 再由会议服务器转发给其他的会议终端 2 , 其他的会议 终端 2接收到混合阁像数据时， 对该混合图像数据进行解码并显示。

上述各种应用场景中， 各会议终端都是对等的， 会议终端 1具有在本地叠加的能力， 会议终端 也 有在本地叠加的能力， 会议终端 1具有发送本地图像数据和标记数据信号的能力， 会议终端 2 也具有发送本地图像数据和标记数据信号的能力。

会议系统的实施例一：

如图 18所示， 为上述第一种应用场景的会议系统结构示意图， 该会议系统包括： 会议终端 71， 与该会议终端 71连接的一笔记本电脑 72 ; 会议服务器 73 ; 会议终端 74， 与会议终端 74连接的带 触摸屏的显示器 75 ; 会议终端 76， 与会议终端 76连接的普通显示器 77， 该会议终端的个数不作限 制， 这里的每一个会议终端都代表一个会场； 其中， 上述会议终端 71包括：

图像发送模块 53， 用 T向会议服务器 73发送图像数据信号；

上述会议终端 74包括：

标记发送模块 48， 用于向会议服务器 73发送标记数据信号；

会议服务器 73如上述会议服务器 60， 包括：

图像数据接收模块 61 , W于接收图像发送模块 53发送的图像数据信号；

标记接收模块 62 , ^于接收所述标记发送模块 48发送的标记数据信号；

叠加模块 63， 用 T对所述图像数据信号和所述标记数据信号进行叠加， 生成混合图像数据； 发送模块 64， W于向会议终端 71， 会议终端 74， 会议终端 76发送所述混合图像数据。

会议终端 71和会议终端 76， 用于接收并显示所述混合图像数据。

具体来讲， 该应用场景主要包括以下流程： 1 ) 会议终端 71是^耍和其他 会者共享胶片的会场， 使川者只需耍将笔记本屯脑通过 通的 VGA屯缆连接到会议终端 71 , 再通过 H. 239辅流通 ffi将 fj己的胶片发送给会议服务器 73 , 再由会议 服务器 73将该胶片发送给会议终端 74和会议终端 7(3 ;

2 )会议终端 74是一个接有带触摸屏显示器 75的会场， 该会场用户在观 胶片的过程中发现有 一个地方冇疑问需耍 其他人讨论， W此， 他十:显示器 75上需耍讨论的地方 Ί了一个圆圈， 该圆圈 被显小 ·器上的触摸屏记录下来， 并且通过会议终端 74传递给会议服务器 73_; 然， 在会议服务器 73没有该会议终端 74的川户所观 ^的胶片时， 该会议终端 74还需耍将该胶片也发送给会议服务器 73。

3 )会议服务器 73接收到会议终端 74发送过来的圆阇标记后， 先将胶片视频流进行解码， 得到 胶片图像； 再将会议终端 72发送的圆形标记 §加到胶片图像上； 将叠加圆形标记的混合图像进行编 码； 把编码后的混合图像码流通过 Η. 239辅流通道发送给所有会场；

4 ) 会议终端 76是 个普通会场， 该会议终端 76连接一普通的显不器 77， 该会场通过 Η. 239 辅流通道接收到会议服务器 73发送的混合图像视频码流， 进行解码后即可看到叠加了会议终端 74 会场发送的圆形标记的胶片图像。

同样， 会议终端 71和其他所有会场也会接收到和会议终端 76—样的胶片图像。 如果有其他会 场 备会议终端 74—样的标 ID输入设备， 其他会场也可以发送自己的标记并且被所有的会场看到。

会议系统的实施例二：

如图 19所示， 在上述会议系统的实施例一的基础上， 描述会议系统中多会议服务器级联的应用 场景， 该图中的双箭头表示混合图像数据流的传输：

当系统中的会议服务器为多个时， 这多个会议服务器之间采用级联的方式连接， 每一个会议服 务器下都可连接一个或者多个会议终端， 其中一个会议服务器为主会议服务器， 而其他的会议服务 器为从会议服务器， 会议终端发送的共亨图像数据信号和添加的标记数据信号的叠加由主会议服务 器进行；

该实施例屮， 以两个 MCU (会议服务器） 级联的实例进行说明， 其中包括： MCU1 , MCU2 , 会议 终端 T1 , 会议终端 T2 , 会议终端 T3; MCU1为主 MCU, MCU2为从 MCU, 多于 2个 MCU级联的情况， 也是如此， 其中一个 MCU为主 MCU , 其他 MCU为从 MCU;

会议中， 会议终端 T1将共享图像数据信号发送给与其相连的 MCU2 , 会议终端 T2也将它的标记 数据信号发送给与其相连的 MCU2上， 从 MCU2将 T1的共享图像数据信号和 T2的标记数据信号， 转 发给会议系统中的主 MCU, 即 MCU1 , 由会议系统中主 MCU ( MCU1 ) 完成对图像数据信号和标记数据 信号的叠加， 压缩形成混合图像数据， 然后再转发给会议系统中的各个会议终端， 对于连接在从 MCU (MCU1 ) 上的会议终端， 混合图像数据由主 MCU先发送给会议中的各个从 MCU, 然后由从 MCU进行 转发。 会议系统中的各个终端收到混合图像数据时， 对其进行解码并显不。

对于更多级的 MCU级联， 与上而类似， 会议中图像数据信号和标记数据信号的叠加 Ί :作， 是由 级联会议系统中的主 MCU完成。

上述描述的是系统中多 MCU级联时一个可以为主 MCU, 其他的均为从 MCU的情况， 当然， 系统 中的多个 MCLJ也可均为卞 MCU。 即每个 MCU均可以进行 ;¾加和转发的 I：作， 为了使多个 MCU能够协 调的 I：作， 系统中还可以包括： 控制单元， 用丁 '获取所述标记数据信号的发送时间， 按照所述标记 数据信号的发送时间的先后顺序， 产生一控制信号；

所述至少两个卞会议服务器中的所述 S加校块， 根据所述控制信号对所述 I冬 I像数据信号和所述 标记数据信号进行 加， 生成所述 ¾合1_冬 I像数据， 并将混合图像数据信号发送给系统中的各会议终 端。 上述的控制单元可以通过系统中的 GATEKEEPER (网守， 是一种采用软交换方式的交换服务器， 负责 VoT P 路上的讯号交换及控制功能） 来实现， 当然采用其他类似功能的控制模块也可以实现。

当然， 除了上述 GATEKEEPER来控制各个会议服务器之间进行协调 I：作外， 还 W以采 令牌控制 的方式， 系统中， 将各个会议终端发送标记数据信号的时间通知各个主会议服务器， 主会议服务器 根据该标记信号的发送时间主动获取一控制令牌， 当该主会议服务器完成叠加工作之后， 按照各个 会议终端发送的标记数据信号的时间先后顺序， 卜一个主会议服务器获取该控制令牌， 继续进行叠 加 Ί :作， 直到最后一个主会议服务器完成叠加， 将最终的混合图像数据信号发送给系统中的各个会 议终端； 上述控制令牌是各个主会议服务器主动获取的， 然也可以由 GATEKEEPER主动将控制令牌 分配给各个主会议服务器使用。

会议系统的实施例三：

如图 20所示， ¾上述第二种应用场景的会议系统结构示意图， 该会议系统包括： 会议终端 81， 该会议终端 81连接的一笔记本屯脑 82和 ·普通显示器 83; 会议服务器 84; 会议终端 85， 与会 议终端 85连接的带触摸屏的显示器 86; 会议终端 87， 与会议终端 87连接的普通显示器 88; 这里 的每一个会议终端都代表一个会场； 该会议终端的个数不作限制， 其中， 上述会议终端 81包括： 图像发送模块 53 , W于向会议服务器 83发送图像数据信号；

会议终端 85包括：

标记发送模块 48 , 用于向会议服务器 83发送标记数据信号；

会议服务器 83将接收图像数据信号和标记数据信号转发会议终端 87和会议终端 81 ;

会议终端 87和会议终端 81均包括：

第一定时器 45， 用于产生第一时间间隔值；

图像获取模块 42， W于接收所述会议服务器转发的图像数据信号；

第一外部标记获取模块 4111， 用于接收所述会议服务器 83转发的标记数据信号， 并按照所述 第一时间间隔值输出所述标记数据信号， 产生第一标记数据信号；

第二叠加模块 431， 用于将所述图像数据信号和所述第一标记数据信号进行叠加， 生成第—混 合图像数据信号；

显示模块， 如显示器 88, 用丁 ·显示所述第—混合图像数据信号。

会议终端 87在接收到多个会议终端的标记数据信号时， 为了保证接收方在叠加时， 能够区分出 是哪个会议终端发送的标记数据信号， 每个会议终端在发送自己的标记数据信号时， 要包括自己的 会议号， 终端号和相应的标记数据信号的内容， 这些标记数据信号的内容可以用矢量图、 二值位图、 YUV或者 RGB等彩色位图； 在使用欠量图或―值位图的时候， 可以由会议服务器随机给每个会议终 端分 fid—种颜色， 会议终端的 ¾加模块在 加不冋会场轨迹的时候使 W会议服务器分配的颜色进行 填充； 在使 HJ YUV、 RGB 彩色位图表示轨迹的时候， 系统中必须统一指定一种透明颜色, 以便接收 端能 1卜:确识别出标记轨迹的位 S 胶片 ^加。 A体讲上述第一外部标记获取模块 41 1 1包拈：

第一外部标记获取于模块 41 110， 川于接收所述会议服务器发送的除本地会议终端外的至少一 个其他会议终端的标记数据信 ， 根据上述标 I己数据信号屮会议号， 终端号等信息找到相应的解码 器， 并发送属于该解码器的标记数据信号；

至少一个解码器， W丁-对所述 ¥少一个其他会议终端的标记数据信号分别进行解码， 生成一标 记数据信号队列；

标记输出模块 41 U 1， m丁按照所述第一时间间隔值和所述标记数据信号队列的顺序输出所述 标记数据信号， 生成至少一个第一标记数据信号。

该应用场景主耍包括以卜'流程：

1 ) 会议终端 81是需要跟其他与会者共享胶片的会场， 使用者只需将笔记本电脑 （目前一般是 通过 VGA线缆） 连接到第 会议终端 81， 再通过 Π. 239辅流通道将白己的胶片发送给所有与会者；

2 )会议终端 85是一个接有带触摸屏显示器 86的会场， 该会场的用户在观看胶片的过程中发现 有 -个地方有疑问需要与其他人讨论， fel此他在显示器上需耍讨论的地方画了一个圆圈， 该圆阍被 显示器上的触摸屏记录下来， 并且通过会议终端 85传递给会议服务器 84;

3 ) 会议服务器 84将会议终端 85发送的圆形标记发送给会议终端 87和会议终端 81。

4 ) 会议终端 87是一个普通会场， 该会场同时收到会议终端 81发送的胶片码流和会议终端 85 发送的圆形标 i己， 会议终端 87对胶片码流进行解码后得到胶片图像， 再将圆形标记叠加到该胶片图 像上即可看到叠加了圆形标 C的胶片图像。

如果有其他会场具备会议终端 85—样的标记输入设备，其他会场也可以发送 S己的标记并且被 所有的会场看到。

会议系统实施例四：

如图 21所示， 在上述会议系统的实施例二的基础上， 描述会议系统中多会议服务器级联的应用 场景， 该图中的双箭头表示混合图像数据流的传输：

假设， 系统中有两个 MCU进行级联， 其中 MCU1为主 MCU， MCU2为从 MCU, 多丁 · 2个 MCU级联的 情况， 与此类似， 其中一个 MCU为主 MCU, 其他 MCU为从 MCU;

会议系统中， 会议终端 T1将共享的图像数据信号发送给会议系统中与其相连的 MCU2， 会议终 端 T2将本地的标记数据信号发送给与其相连的 MOJ2 , 从 MCU2将 T1的共享图像数据信号和 T2的标 记数据信号， 转发给会议系统中的主 MCU， 即 MCU1 , 由会议系统中主 MCU直接将接收到的共享图像 数据信号和标记数据信号转发给会议系统中的各个会议终端， 对于连接在从 MCU上的会议终端， 共 享图像数据信号和标记数据信号由主 MCU先发送给会议系统中的各个从 MCU, 然后由从 MCU进行转 发。 会议系统中的各个会议终端收到共享图像数据信号和标记数据信号后， 对其进行叠加， 然后显 示。

对于更多级的 MCU级联， 操作与上面类似， 发送给会议系统中各个会议终端的共享图像数据信 号和标记数据信号， 是由级联会议中的主 MCU来统一收集、 转发来 成的。

该实施例中， 若多个 MCIJ均为主 MCU时， 同样 MCL'会按照标记数据信号的添加时间先后顺序， 产生一控制信 4， 各主 MCU根据该控制信号将其接收到的标记数据信 3顺序转发给接收端的会议终 端， 由接收端的会议终端进行 ¾加， 并显示。 当然也可以按照各标记数据信号的添加时间先后顺序 获取 -控制令牌， 该控制令牌即可以是主 MCU上动获取， 也可以是系统的屮的控制单元进行下发， 各主 MCU根据该控制令牌对其接收到的标记数据信号进行转发， 由各个接收端会议终端接收并进行 叠加。

会议系统的实施例五：

如图 22所示， 为上述第二种应川场景的会议系统结构示意阁， 该会议系统包括： 会议终端 91， 该会议终端 91连接的一笔记木屯脑 92 ; 会议服务器 93； 会议终端 94， 会议终端 94连接的带 触摸屏的显示器 95 ; 会议终端 96， 与会议终端％连接的普通显示器 97; 这 M的每一个会议终端都 代表一个会场， 该会议终端的个数不作限制， 其中， 上述会议终端 91包括：

第二定时器 46， 于产生第二时间间隔值；

第一内部标记接收模块 4] 10， 用于接收本地会议终端发送的标记数据信号， 并按照所述第一时 间间隔值输出所述标记数据信号， 产生第一标记数据信号；

第二内部标记接收模块 4120， 用于接收本地会议终端发送的标记数据信号， 并按照所述第 时 间间隔值输出所述标记数据信兮， 产生第二标记数据信号。

第一叠加模块 430， 用于将所述图像数据信号和所述第一标记数据信号进行叠加， 生成第一混 合图像数据；

第一发送模块 440 , 用丁 · |ί>」所述本地会议终端的显示屏幕上发送所述第一混合图像数据， 或者 通过 Η. 239协议的辅流通道向所述会议服务器发送所述第一混合图像数据；

所述会议服务器 93， 用丁 ·接收所述至少一个会议终端 94发送的所述第一混合图像数据， 并转 发；

所述会议终端 96和会议终端 91， 用 Τ·接收所述第一混合图像数据， 对所述第一混合图像数据 进行解码， 并显示。

具体来讲， 该应用场景主耍包括以下流程：

1 ) 在初始状态下， 会议终端 91连接笔记本电脑， 并且申请到 Η. 239辅流令牌， 通过辅流通道 向其他会场共享胶片 （相当丁-把共享胶片通过辅流通道发送其他终端）， 冈此会议终端 94和会议终 端 96都看到会议终端 91的胶片。

2 ) 当观看到某个胶片时， 会议终端 94的用户想在胶片上做一个标记， 为了能将自己的标记传 给其他人， 会议终端 94的操作过程如下：

2. 1 ) 申请 Η. 239辅流通道控制令牌；

2. 2 ) 判断会议控制者 （当前令牌拥有者） 是否同意申请， 若是， 得到令牌， 开始记录会议终端 94的触摸屏 95的标记数据信号， 并将该标记数据信号叠加到该会议终端 94所观看的胶片图像上； 2. 3 ) 将叠加标记数据信号后的胶片进行编码； 2. 4 ) 将编码后的胶片码流通过 H. 239辅流通道发送会议服务器 93。

此时会议终端 94为 II. 239辅流的发送者， 其他会场如果想添加 CJ己的标记， 也做问样操作， 这 样通过不断切换 Η. 239辅流发送令牌， 各个会场都可以将 C]己的标记添加到该胶片上。

然， 在该种系统中， 会议终端 94也可以采用令牌控制的方式单独发送通过触摸屏 95所添加 的标记， 将标 作为 Η. 239的第二路辅流（胶片传输为第一路辅流）， 在会议召幵时能力交换需要增 加两个参数： 1.是否支持第—路辅流； 2.第二路辅流是否是标记信息；

如果第二路辅流是标记信息， 则默认使川令牌的方式进行控制。 也就是说， 发送标记时， 也采 W屮请令牌的方式进行， 本方案中所说 "第—路"仅表明一个序号， 区别胶片辅流， 实际上可以是 任意一个辅流。

采 令牌控制力式发送标记的流程如下：

3. 1 ) 申诘标记辅流控制令牌；

3. 2 ) 中 iff成功， 则得到一令牌， 开始记录通过触摸屏 95所添加的标记数据信号；

3. 3 ) 将 户的标记数据信号 （标记轨迹） 作为单独辅流发送给会议服务器 93， 再由会议服务 器 93转发给其他的会议终端。

当然在实际的使用过程中， 可以将上述令牌控制标记数据信号发送的方式和令牌控制混合胶片 的方式结合起来。

会议系统的实施例六：

如图 23所示， 在上述会议系统的实施例五的基础上， 描述会议系统屮多会议服务器级联的应用 场景， 该图中的双箭头表示混合图像数据流的传输：

假设， 系统有两个 MCU进行级联， 其中 MCU1为主 MCU， MCU2为从 MCL) , 多丁 · 2个 MCU级联的情 况， 此类似， 其中一个 MCU必定为主 MCU, 其他 MCU为从 MCU;

会议终端 T1 将共享的图像数据信号和本地的标记数据信号在本地叠加之后生成一混合图像数 据， 在将混合图像数据通过 Η. 239辅流通道发送给 MCU2， MCU2将其转发给会议中的主 MCU (MCU1 ) , 会议中主 MCU ( MCU1 )将收到的混合图像数据发送给会议系统中的各个从 MCU , 连接在会议系统中从 MCU上的会议终端， 通过从 MCU接收该从 MCU转发的混合阁像数据。

对于更多的 MCU级联， 操作与上面类似， 发送给会议系统中各个会议终端的混合图像数据， 是 由级联会议中的主 MCU来统一转发来完成的， 当然系统中的各个 MCU也都可以为主 MCU, 为了保证 系统中网络不被拥塞， 各个 MCU之间需要以一定的顺序进行转发， 并选择其中一个 MCU将混合图像 数据进行最后的转发。

在上述会议系统的所有实施例中， 会议终端与会议服务器之间进行数据传输时， 当网络出现拥 塞或者是丢包的时候， 可以采用如下方法解决网络拥塞或者丢包的问题， 使会议系统中的用户有更 好的参与体验：

1 )采用可靠的传输， 如： 图像数据信号、 混合图像数据信号等数据量较大的数据采用 UDP协议 进行传输， 不致出现网络的拥塞；

2 ) 采用抗丢包技术， 使用一些丢包恢复技术， 进行冗余数据传输， 当出现小丟包时， 如标记数 据信 ， W为其数据 较小， 接收端通过冗余数据及收到的数据一同恢复出被丢火的数据， 可以使 wj.靠的传输协议 TCP协议来进行传输， 以确保标记数据信号能够安全地在各个设备间传输； 当然， 标记数据信号， 也可以使川可靠的传输， 如使川 UDP协议进行传输。

所有的现冇系统卜.的抗丢包技术， 都可以应 到本交互应 卜.来， 以改善丢包成是网络拥塞情 况下的应川体验。

在标记数据信号由会议终端发送给会议服务器， 再由会议服务器转发给其他的会议终端时， 可 以通过如 h述 IP网的 TCP协议、 UDP协议， 当然也可以采 W如 H. 320系统的 IMLP协议进行传输， 为了保证实时性， 在 IP网络中通常使 W UDP协议进行传输。

当然， 在 MCU侧或者接收侧的会议终端侧， 也可以通过记录接收到数据的时间， 并按照接收时 间的先后顺序对接收到的图像数据信号和标记数据信号进行叠加， 以保证各个会议终端添加的标记 数据信号能够被 1卜:确的叠加， 提高用户的体验； 或者会议终端在发送图像数据信号、 标记数据信号 时， 添加一时间戳， 记录发送的时间， MCU 接收到该图像数据信号或者标记数据信号时， 可以获取 该时间戳， 尤其是对于标记数据信号， 按照标记数据信号的发送时间对图像数据进行叠加， 使各个 会议终端的标记数据信号与图像数据信兮能够被正确的叠加， 提高用户的体验和参与感。

在上述的儿种会议系统， 在实现用户相互协作交互的过程中， 无需另外构造数据会议系统和设 备， 在现有的 H. 239双流的基础上实现与会者之间的数据协作， 提高用户的参与感和讨论效率。

方法的实施例：

如图 24， 本发明的实施例还提供一种数据处理方法， 包括：

步骤 S160, 获取图像数据信号；

步骤 S161, 获取标记数据信号；

步骤 S162， 将所述图像数据信号和所述标记数据信号进行《加， 生成混合图像数据信号； 步骤 S163, 输出所述混合图像数据信号， 该混合图像数据即可以输出到本地会议终端上进行显 示， 也可以输出到会议服务器， 再由会议服务器转发给其他的会议终端。

该方法通过将获取的阁像数据信号和标记数据信号进行叠加， 生成混合图像数据信号， 如该混 合图像数据信号为添加了标记的胶片， 该允许与会者在观看胶片的时候， 同时在胶片上画上自己的 标记， 提高视频会议用户的参与感， 提高讨论效率。

下面为上述图 24所示的方法的一具体实现过程：

步骤 S170, 获取图像数据信号；

步骤 S171 , 获取本地会议终端输入的标记数据信号；

步骤 S172, 产生第一时间间隔值；

步骤 S173, 产生第二时间间隔值；

步骤 S174, 按照所述第一时间间隔值输出所述标记数据信号， 产生第一标记数据信号； 步骤 S175, 按照所述第—时间间隔位输出所述标记数据信号， 产生第二标记数据信号， 并对该 第二标记数据信号进行编码， 生成第三标记数据信号；

步骤 S176, 判断是否支持标记辅流， 若支持， 执行步骤 S177, 若不支持执行步骤 S178成者通 过 ΰ定义通道发送所述第二标记数据信 ;

步骤 S 177 , 在 Η. 239协议的辅流通道中中诘会场令牌， Ψ诘成功并得到一会场令牌后， 产生第 控制 ί言号， 根据所述第一控制信号通过 Η. 239协议的一个辅流通道向会议服务器发送所述第二标 记数据信^;

步骤 S 178 , 在 Η. 239协议的另一个辅流通道屮中 W会场令牌， 申谙成功并得到一会场令牌 ， 产生第二控制信 4，根据所述第二控制信号将所述图像数据信号和所述第一标记数据信 进行 加， 生成第一混合图像数据；

步骤 S 179, 向所述本地会议终端的显示屏幕上发送所述第一混合图像数据， 或者通过 Η. 239协 议的辅流通道向会议服务器发送所述第一混合图像数据， 再由会议服务器转发给其他的会议终端。

该实现过程中， 步骤 S 171之前还可包括： 接收本地会议终端所在会场中的一输入设备的子令牌 申请， 确认所述子令牌中请成功后， 分配一子令牌给该输入设备； 则步骤 S 171可具体为： 根据该子 令牌， 获取本地会议终端所在会场中的所述输入设备的标记数据信号。

另外， 若接收的标记数据信号为其他终端发送的标记数据信号时， 上述图 24所示的方法的另一 Λ体实现过程：

步骤 S 180 , 获取图像数据信号；

步骤 S 181 ,获取会议服务器发送的除本地会议终端外的至少一个其他会议终端的标记数据信号； 具体来讲， 可以实时或者手动接收， 会议服务器发送的除本地会议终端外的至少一个其他会议终端 的标记数据信号；

步骤 S 182 , 产生第一时间间隔值；

步骤 S183 , 对所述至少一个其他会议终端的标记数据信号分别进行解码， 生成一标记数据信号 队列；

步骤 S184, 按照所述第一时间间隔值， 根据所述标记数据信号队列的顺序输出所述标记数据信 号， 生成至少一个第一标记数据信号；

步骤 S185 , 将所述图像数据信号和所述第一标记数据信号进行叠加， 生成第二混合图像数据信 号；

步骤 S186, 向本地会议终端的显示屏幕上发送所述第二混合图像数据。

其中上述标记数据信号包括： 会议标号， 会议终端标号和标记数据信号内容； 其中， 会议标号， 会议终端标号主要为了保证接收方在叠加时， 能够区分山是那个会议终端发送的标记数据信号； 而 标记数据信号内容用矢量图、 —值位图、 YUV色彩位图或者 RGB色彩位图来表示， 在使用矢量图或 二值位图的时候， 可以由会议服务器随机给每个会议终端分配一种颜色， 会议终端的叠加模块在叠 加不同会场轨迹的时候使用会议服务器分配的颜色进行填充； 在使用 YUV、 RGB等彩色位图表示轨迹 的时候， 系统中必须统一指定一种透明颜色， 以便接收端能正确识别出标记数据信号的位置与胶片 叠加。

另一方法的实施例：

如图 25所示， 本发明的实施例还提供一种数据处理方法， 包括： ^骤 S190， 接收会议终端发送的图像数据信号和标记数据信号；

歩骤 S191 , 对所述 I冬 I像数据信号和所述标记数据信号进行眘加， 牛成混合图像数据； 步骤 S192, 向会议终端发送所述混合图像数据或者所述图像数据信 成者所述 fe记数据信号。 歩骤 S191包括： 为所述标记数据信号分配填充颜色成者透明颜色， 并利川所述填充颜色成者透 明颜色对所述标记数据信号进行处理， 产生颜色标记数据信号； 标记数据信号的内容可以用矢 it图、 二值位图、 YUV成者 RGB 彩色位图表示；

将所述图像数据信号和所述颜色标记数据信号进行叠加， 生成混合图像数据。 在使川矢量图或 二佰位图的时候， 可以随机给每个会议终端的标记数据信 ^分配一种填充颜色， 在叠加不同会场轨 迹的时候使川上述填充颜色进行填充； 在使用 YUV、 RGB等彩色位图表示标记数据信号的时候， MCL' 须指定一种透明颜色， 以便接收会议终端能正确识别出轨迹的位置， 这样可以保证标记数据信号和 图像数据信号叠加后， 每一个会场的混合图像数据的完整性。

步骤 S192之前还可包括： 接收会议终端发起的会场令牌申请， 确认所述会场令牌中请成功后， 向该会议终端返冋 ·会场令牌； 则步骤 S192中， 根据该会场令牌， 向会议终端发送所述混合图像数 据或者所述标记数据信号时， 该会议服务器可选择 H. 239协议的一辅流通道， 通过所述辅流通道向 会议终端发送所述混合图像数据或者所述标记数据信号。 支持 H. 239协议， 系统结构简单， 且使会 议系统中的各个会议终端都能够看到其他会议终端添加的标记， 实现与会者之间的协作， 提高用户 的参与感， 提卨用户的讨论效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令 相关的硬件来完成， 所述的程序可以存储于一可渎取存储介质中， 该程序在执行时， 包括如上述方 法实施例的步骤。

以上所述是本发明的优选实施方式， 应当指出， 对于本技术领域的普通技术人员来说， 在不脱 离本发明所述原理的前提卜'， 还可以做出若干改进和润饰， 这些改进和润饰也应视为本发明的保护 范围。

Claims

权利要求

1. 一种会议终端， 其特祉在丁 ·， 包括：

标记获取模块， 川 Γ获取标 ΰ数据信号；

图像获取投块， Ι¾ Τ·获取图像数据信

¾加模块， MJ丁将所述图像数据信号和所述标记数据信号进行 ¾加， 生成混合 像数据信 4; 输山模块， 用于输出所述混合图像数据信号。

2. 根据权利耍求 1所述的会议终端， 其特征在于， 还包括：

第一定时器， .HJ丁-产生第一时间间隔值；

笫二定时器， 川丁 -产生第二时间间隔值；

所述标记获取模块 Λ体包括：

第一标记获取投块， 用干获取所述标记数据信号， 并按照所述笫一时间间隔值输出所述标记数 据信号， 产生第一标记数据信号；

第二标记获取模块， 于获取所述标记数据信号， 并按照所述第—时间间隔值输出所述标记数 据信号， 产生第二标记数据信号。

3. 根据权利耍求 2所述的会议终端， 其特征在 Τ，

所述第一标记获取模块具体为：

第一内部标记获取模块， 用于获取本地会议终端发送的标记数据信号， 并按照所述第一时间间 隔值输出所述标记数据信号， 产生第一标记数据信号；

所述第二标记获取模块具体为：

第二内部标记获取模块， 用于获取本地会议终端发送的标记数据信号， 并按照所述第二时间间 隔值输出所述标记数据信号， 产生第二标记数据信号。

4. 根据权利耍求 3所述的会议终端， 其特征在丁， 还包括：

标记编码模块， ffl于将所述第二标记数据信号进行编码， 产生第三标记数据信号； 标记发送模块， 用于通过辅流通道或者自定义通道向会议服务器发送所述第三标记数据信号。

5. 根据权利要求 4所述的会议终端， 其特征在于， 还包括：

第一令牌控制模块， 用丁在所述辅流通道中中请会场令牌， 中请成功并得到一会场令牌后， 产 生第一控制信号；

所述标记发送模块根据所述第一控制信号通过所述辅流通道向所述会议服务器发送所述第三标 记数据信号。

6. 根据权利要求 2所述的会议终端， 其特征在于，

所述第一标记获取模块具体为 - 第一外部标记获取模块， 用于获取会议服务器发送的除本地会议终端外的至少一个其他会议终 端的标记数据信号， it按照所述第一时间间隔值输出所述标记数据信号， 产生第一标记数据信号。

7. 根据权利耍求 6所述的会议终端， 其特征在于，

所述第一外部标记获取模块包括： 第一外部标记获取子 块， 川于获取所述会议服务器发送的至少一个所述其他会议终端的标 ΰ 数据信兮；

至少一个解码器， w r对所述至少一个所述其他会议终端的标记数据信 分别进行解码， 成 一标记数据信号队列；

标 Λ输岀模块， 用 安照所述标 Λ数据信号队列的顺序输出所述标 ΰ数据信号， 生成至少一个 第一标记数据信号。

8. 根据权利耍求 7 ί述的会议终端， 其特征在于，

所述 ¾加模块 II体为：

第一 ¾加模块， 用十 所述图像数据信号和所述第一标记数据信号进行叠加， 生成第一混合图 像数据信号；

所述输出模块具体为：

第一发送模块， 川丁 本地会议终端的显 屏幕上发送所述第一混合图像数据。

9. 根据权利要求 3戶 述的会议终端， 其特征在丁 ·， 还包括：

第二令牌控制模块， 川丁王辅流通道中中请会场令牌， 中请成功并得到一会场令牌后， 产生第 二控制信号。

10. 根据权利要求 9 述的会议终端， 其特征在丁-，

所述叠加模块具体为：

第二叠加模块， W于^据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行 叠加， 生成第二混合图像 ^据；

所述输出模块具体为：

第—发送模块， 用于 | ¾所述本地会议终端的显示屏幕上发送所述第一混合阁像数据， 或者通过 所述辅流通道向会议服务 ί 发送所述第二混合图像数据。

11. 根据权利要求 3 述的会议终端， 其特征在丁 ·， 还包括：

令牌管理模块， 用于^收本地会议终端所在会场中的一输入设备的子令牌申请， 确认所述子令 牌申请成功后， 分配一于今牌给所述输入设备；

所述第一内部标记获] 模块根据所述子令牌， 获取所述本地会议终端所在会场中的所述输入设 备的标记数据信号， 并按} ¾所述第一时间间隔值输出所述标记数据信号， 产生第一标记数据信号； 所述第—内部标记获 ] 模块根据所述子令牌， 获取所述本地会议终端所在会场中的所述输入设 备的标记数据信号， 并按 } 所述第二时间间隔值输出所述标记数据信号， 产生第二标记数据信号。

12. 根据权利要求 1 述的会议终端， 其特征 /士：于，

所述标记获取模块具休为：

实时标记获取模块， } 于实时获取标记数据信号；

所述图像获取模块具休为：

实时图像获取模块， 1 ^于实时获取图像数据信号。

13. 根据权利耍求 U »f述的会议终端， 其特征在于， 所述标记获取模块 Jl体为：

手动标 β获取投块， Γ提供手动接收选项， 所述手动接收选项被选择时， 获取标记数据信 ; 所述图像获取投块 Λ体为：

手动图像获取模块， ） ]丁_提供手动接收选项， 所述手动接收选项被选择时， 获取图像数据信号。

14. 根据权利耍求 1 - - 13任一项所述的会议终端， 其特征在十， 还包括：

私密令牌控制模块， Η 接收本地会议终端所在会场中的一输入设备发起的与一 Η标输入设备 进行私密会议的私密令牌 请， 确认所述私密令牌中请成功后， 启川一辅流通道成者 G定义通近， 并分配一私密令牌给所述^入设各。

15. 一种会议服务器， 其特征在丁 ·， 包括：

图像数据接收模块， 川于接收会议终端发送的图像数据信号；

标记接收模块， 用丁 · 收会议终端发送的标记数据信号；

¾加模块， 用丁 ·对所 图像数据信号和所述标记数据信号进行叠加， 生成混合图像数据； 发送模块， 用于发送 I ^;斤述混合图像数据或者所述图像数据信号或者所述标记数据信号。

16. 根据权利要求 15所述的会议服务器， 其特征在于， 所述叠加模块包括：

填充模块， 用丁 ·为所: £标记数据信号分配填充颜色或者透明颜色， 并利用所述填充颜色或者透 明颜色对所述标记数据信 ·ΐ进行处理， 产生颜色标记数据信号；

处理模块， 用于将所: £图像数据信号和所述颜色标记数据信号进行叠加， 生成混合图像数据。

17. 根据权利要求 15或 16所述的会议服务器， 其特征在于， 还包括：

发送控制模块， 用丁 · 择辅流通道， 控制所述发送模块通过所述辅流通道向会议终端或者其他 会议服务器发送所述混合 |¾像数据或者所述图像数据信号或者所述标记数据信号。

18. 根据权利要求 17所述的会议服务器， 其特征在于， 还包括：

令牌管理模块， 用 Τ··妾收会议终端发起的会场令牌申请， 确认所述会场令牌申请成功后， 向所 述会议终端返回一会场令)卑；

所述发送控制模块根 ·居所述会场令牌， 选择辅流通道， 控制所述发送模块通过所述辅流通道向 其它会议终端或者其他会义服务器发送所述混合图像数据或者所述图像数据信号或者所述标记数据 信号。

19. 一种会议系统， ； Ϊ特征在于， 包括： 第一会议终端， 会议服务器和至少一个第二会议终端； 其中，

所述第一会议终端包：舌：

图像获取模块， 用于^取所述会议服务器转发的图像数据信号；

标记发送模块， 用丁^取标记数据信号， 并向所述会议服务器发送标记数据信号；

所述会议服务器包括

图像数据接收模块， . II于接收系统中任一会议终端发送的图像数据信号；

标记接收模块， 用于：妾收所述标记数据信号；

叠加模块， 用 Γ·对所: ί图像数据信号和所述标记数据信号进行叠加， 生成混合图像数据； 发送投块， w r向所^第一会议终端和所述至少一个第一会议终端发送所述混合图像数据； 所述 ¾少一个第二会 U终端， 用于接收: j'i:显示所述混合图像数据。

20. 根据权利耍求 19听述的会议系统， 其特征在丁 ·， 所述会议服务器为至少两个级联的会议服 务器。

21. 根据权利耍求 20听述的会议系统， 其特征在丁， 所述至少两个会议服务器包括： 一主会议 服务器和至少一个从会议^务器；

所述主会议服务器， M所述至少一个从会议服务器和 所述土会议服务器连接的会议终端发送 所述混合图像数据；

所述从会议服务器， ^其接收到的所述混合图像数据向 所述从会议服务器连接的会议终端发 送。

22. 根据权利耍求 20听述的会议系统， 其特征在丁， 所述至少两个会议服务器均为主会议服务 器， 所述系统还包括：

控制单元， W于获取斤述标记数据信号的发送时间， 按照所述标记数据信号的发送时间的先后 顺序， 产生一控制信号；

所述至少两个主会议 j g务器中的所述叠加模块， 根据所述控制信号对所述图像数据信号和所述 标 数据信号进行叠加， 生成所述混合图像数据。

23. 根据权利要求 22所述的会议系统， 其特征在于， 所述至少两个主会议服务器根据所述控制 信号， 获取一控制令牌， 斤述叠加模块根据所述控制令牌对所述图像数据信号和所述标记数据信号 进行叠加， 生成所述混合 I像数据。

24. 一种会议系统， 其特征在于， 包括： 第一会议终端， 会议服务器和至少一个第二会议终端； 其中，

所述第一会议终端包括：

图像获取模块， 用于^取所述会议服务器发送图像数据信号；

标记发送模块， 用丁 ^取标记数据信号， 并向所述会议服务器发送所述标记数据信号； 所述会议服务器 丁- 收所述图像数据信号和所述标记数据信号， 并转发；

所述至少一个第二会议终端包括：

第一定时器， 用 Τ·产生第一时间间隔值；

图像获取模块， 用丁 · 取所述会议服务器转发的图像数据信号；

第一外部标记获取模块， 用于获取所述会议服务器转发的标记数据信号， 并按照所述第一时间 间隔值输出所述标记数据 号， 产生第一标记数据信号；

第一叠加投块， 用 所述图像数据信号和所述第一标记数据信号进行叠加， 生成第一混合图 像数据信号；

显示模块， 于显示斤述第一混合图像数据信号。

25. 根据权利要求 24所述的会议系统， 其特征在于， 所述第一外部标记获取模块包括： 第一外部标记获取子 ^块， 用丁 ·获取所述会议服务器转发的至少一个其他会议终端的标记数据 信号；

:少一个解码器， W P对所述至少一个 K.他会议终端的标记数据信号分别进行解码， 生成一 、 记数据信 S队列；

标记输出模块， 用 τ·按照所述第一时间间隔值禾 11所述标记数据信号队列的顺序输出所述标记数 据信号， 生成至少一个第一标记数据信号。

26. 根据权利耍求 24或 25所述的会议系统， 其特征在于， 所述会议服务器为至少两个级联的 会议服务器。

27. 根据权利耍求 26所述的会议系统， 其特征在于， 所述至少两个会议服务器包括： 一主会议 服务器和至少一个从会议服务器；

所述主会议服务¾， 向所述至少一个从会议服务器和与所述主会议服务器连接的会议终端发送 所述图像数据信号和所述标记数据信号；

所述从会议服务器， 将其接收到的所述图像数据信号成所述标记数据信号向 所述从会议服务 器连接的会议终端发送。

28. 根据权利要求 26所述的会议系统， 其特征在于， 所述至少两个会议服务器均为主会议服务 器， 所述系统还包括：

控制单元， W于获取所述标记数据信号的发送时间， 按照所述标记数据信号的发送时间的先后 顺序， 产生一控制信号；

所述至少两个主会议服务器根据所述控制信号转发所述图像数据信号和所述标记数据信号。

29. 根据权利要求 28所述的会议系统， 其特征在于， 所述至少两个主会议服务器根据所述控制 信号， 获取一控制令牌， 并根据所述控制令牌对所述图像数据信号和所述标记数据信号进行转发。

30. 一种会议系统， 其特征在丁 ·， 包括： 第一会议终端， 会议服务器和至少一个第二会议终端； 其中，

所述第一会议终端包括：

第一定吋器， 用丁-产生第一时间间隔值；

第―定时器， 川于产生第二时间间隔值；

第一内部标记获取模：央， 用于获取本地会议终端发送的标记数据信号， 并按照所述第一时间间 隔值输出所述标记数据信号， 产生第一标记数据信号；

第—内部标记获取投块， 用 Τ·获取本地会议终端发送的标记数据信号， 并按照所述第二时间间 隔值输出所述标记数据信号， 产生第一标记数据信号；

第二叠加模块， ^于将所述图像数据信号和所述第一标记数据信号进行 ft加， 生成第二混合图 像数据；

第—发送模块， 用于向所述本地会议终端的显示屏幕上发送所述第一混合图像数据， 或者通过 辅流通道向所述会议服务器发送所述第二混合图像数据；

所述会议服务器， 川于接收所述第二混合图像数据， 并转发；

所述至少一个第二会议终端， 用于接收所述第二混合图像数据并显示。

31 . 根据权利耍求 30所述的会议系统， 其特征在丁-， 所述第一会议终端还包括：

第 ：令牌控制模块， 川丁在另一个辅流通道中中 ¾会场令牌， 中诘成功并得到一会场令牌后， 产生第二控制信

所述笫二¾加模块根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行- ¾ 力 ， 生成第二混合图像数据。

32. 根据权利耍求 30成 31所述的会议系统， 其特征在 T， 所述会议服务器为至少两个级联的 会议服务器。

33. 根据权利耍求 32所述的会议系统， 其特征在丁， 所述至少两个会议服务器包括： 一主会议 服务器和至少一个从会议报务器；

所述主会议服务器， 向所述至少一个从会议服务器和与所述主会议服务器连接的会议终端发送 所述第二混合图像数据；

所述从会议服务器， 将其接收到的所述第二混合图像数据向 所述从会议服务器连接的会议终 端发送。

34. 一种数据处理方法， 其特征在于， 包括：

获取图像数据信号；

获取标记数据信号；

将所述图像数据信号和所述标记数据信号进行叠加， 生成混合图像数据信号；

输出所述混合图像数据信号。

35. 根据权利要求 34所述的数据处理方法， 其特征在于， 所述获取标记数据信号的步骤之后还 包括：

产生第一时间间隔值；

产生第二时间间隔值；

按照所述第一时间间隔值输出所述标记数据信号， 产生第一标记数据信号；

按照所述第二时间间隔值输出所述标记数据信号， 产生第二标记数据信号。

36.根据权利要求 35所述的数据处理方法，其特征在丁-，所述获取标记数据信号的步骤具体为： 获取本地会议终端发送的标记数据信号。

37. 根据权利要求 36所述的数据处理方法， 其特征在丁， 所述按照所述第—时间间隔值输出所 述标记数据信号， 产生第二标记数据信号的步骤之后还包括：

将所述第二标记数据信号进行编码， 产生第三标记数据信号；

通过辅流通道向会议服务器发送所述第三标记数据信号。

38. 根据权利要求 37所述的数据处理方法， 其特征在于， 所述通过辅流通道向会议服务器发送 所述第三标记数据信号的步骤具体为：

在所述辅流通道中申请令牌， 申请成功并得到一令牌后， 产生第一控制信号；

根据所述第一控制信号通过所述辅流通道向所述会议服务器发送所述第二标记数据信号。

39.根据权利要求 35所述的数据处理方法，其特征在于，所述获取标记数据信号的步骤具体为： 获取会议服务器发送的除本地会议终端之外的至少一个其他会议终端的标记数据信号。

40. 根据权利耍求 39所述的数据处理方法， 其特征在丁 ·， 所述获取会议服务器发送的除本地会 议终端之外的至少一个其他会议终端的标 il数据信号的步骤之后还包括：

对所述至少一个其他会议终端的标记数据信号分别进行解码， 生成一标记数据信号队列； 按照所述第一时间间隔值， 根据所述标记数据信 ^队列的顺序输出所述标记数据信兮， 生成至 少一个第 记数据信^。

41. 根据权利耍求 40所述的数据处理方法， 其特征在于， 所述将所述阁像数据信号和所述标记 数据信 进行 ¾加， Φ:成混合图像数据信号的步骤具体为：

将所述图像数据信号和所述至少一个第一标记数据信号进行 ft加，生成第一混合图像数据信号； 所述输出所述混合图像数据信号的 Ϊ 骤具体为：

向本地会议终端的显不屏幕上发送所述第一混合图像数据。

42. 根据权利要求 36所述的数据处理方法， 其特征在丁， 按照所述第一时间间隔值输出所述标 记数据信号， 产生笫一标记数据信号的步骤后还包括：

在辅流通道中中请令牌， 中请成功并得到一令牌后， 产生第二控制信号；

所述将所述图像数据信号和所述标记数据信号进行叠加，生成混合图像数据信号的步骤具体为： 根据所述第二控制信号将所述图像数据信号和所述第一标记数据信号进行叠加， 生成第二混合 图像数据；

所述输出所述混合图像数据信号的步骤具体为：

向所述本地会议终端的显示屏幕上发送所述第二混合图像数据， 或者通过辅流通道向会议服务 器发送所述第二混合图像数据。

43. 根据权利要求 36所述的数据处理方法， 其特征在于， 所述获取本地会议终端发送的标记数 据信号之前还包括：

接收本地会议终端所在会场中的一输入设备的子令牌申请， 确认所述子令牌中请成功后， 分配 一子令牌给所述输入设备；

所述获取本地会议终端发送的标记数据信号的步骤具体为：

根据所述子令牌， 获取所述本地会议终端所在会场中的所述输入设备的标记数据信号。

44. 根据权利要求 39所述的数据处理方法， 其特征在于， 所述获取会议服务器发送的除本地会 议终端之外的至少 ^个其他会议终端的标记数据信号的步骤具体为：

实时或者手动接收所述会议服务器发送来的， 除所述本地会议终端之外的至少一个其他会议终 端的标记数据信号。

45. 一种数据处理方法， 其特征在于， 包括：

接收会议终端发送的图像数据信号和标记数据信号；

对所述图像数据信兮和所述标记数据信号进行叠加， 生成混合图像数据；

向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号。

46. 根据权利要求 45所述的数据处理方法， 其特征在于， 所述对所述图像数据信号和所述标记 数据信号进行 ¾加， 生成混合^像数据的步骤包括：

为所述标记数据信号分配填充颜色或者透明颜色， 并利用所述填充颜色或者透明颜色对所述标 记数据信号进行处理， 产生颜色标记数据信号；

将所述图像数据信号和所述颜色标记数据信号进行 rft加， 牛成混合图像数据。

47. 根据权利耍求 45或 46所述的数据处理方法， 其特征在于， 所述向会议终端发送所述混合 图像数据或者所述阁像数据信^或者所述标记数据信号的步骤具体为：

选择一辅流通道，通过所述辅流通道向会议终端发送所述混合图像数据成者所述标记数据信号。

48. 根据权利耍求 47所述的数据处理方法， 其特征在丁 ·， 所述向会议终端发送所述混合图像数 据成者所述 I冬 I像数据信号成者所述标记数据信号的歩骤之前还包括：

接收所述会议终端发起的会场令牌申 iff， 确认所述会场令牌申请成功后， 向所述会议终端返回 一会场令牌；

所述向会议终端发送所述混合图像数据或者所述图像数据信号或者所述标记数据信号的步骤 A 体为：

根据所述会场令牌， 将所述混合图像数据或者所述图像数据信号或者所述标记数据信号发送给 其它会场的会议终端。