WO2012171459A1

WO2012171459A1 - 一种mcu多画面优化配置的方法及装置

Info

Publication number: WO2012171459A1
Application number: PCT/CN2012/076842
Authority: WO
Inventors: 张峰
Original assignee: 华为技术有限公司
Priority date: 2011-06-13
Filing date: 2012-06-13
Publication date: 2012-12-20
Also published as: EP2677744A4; CN102833518A; EP2677744A1; US8736656B2; US20130342634A1; CN102833518B; CA2823559C; CA2823559A1; AU2012269508B2

Abstract

本发明公开了一种MCU多画面优化配置的方法及装置，涉及通信技术领域，可以消除子画面黑屏的现象并且使在会议终端输出的电视上呈现的画面清晰。本发明实施例提供的方案通过根据接收到的N个会议终端发送的视频图像的分辨率、带宽、帧率、重要程度和音量大小，计算所述各个视频图像占MCU显示屏幕呈现的画面中的面积，根据所述各个视频图像占MCU显示屏幕呈现的所述画面中的面积将所述画面分割成N个区域，并将所述N个会议终端发送的视频图像填充在所述画面的相应的区域中。本发明实施例提供的方案适合在进行多画面优化配置时使用。

Description

一种 MCU多画面优化配置的方法^ *置本申请要求于 2011 年 06 月 13 日提交中国专利局、申请号为 201110157719.2、发明名称为"一种 MCU多画面优化配置的方法及装置"的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及通信网络技术领域，尤其涉及一种 MCU 多画面优化配置的方法及装置。

背景技术

目前的视频会议支持多画面的会议，可以将参加会议的各个会议终端的情况真实的呈现在会议终端输出的电视上。开会后在各个会议终端呈现的多画面模式都是预先设定的，参加会议的各个会议终端入会后， MCU( Mul t ipoint Control Uni t , 多点控制单元）将接收到的各个会议终端的图像进行解码和滤波，然后根据会议终端个数选用最合适的多画面模式，例如现在预先设定的多画面模式包含 2画面、 4画面等，当有 3个会议终端入会，那么系统会选择 4画面模式进行显示并将图像的格式根据子画面大小进行相应缩放处理后，填入相应子画面中，最后将 MCU调整好的多画面图像进行编码后发送给参加会议的各个会议终端。

然而，采用现有技术进行多画面优化配置时，由于多画面模式是预先设定的，会出现子画面黑屏的现象。发明内容

本发明的实施例提供一种 MCU 多画面优化配置的方法及装置，可以消除子画面黑屏的现象。

为达到上述目的，本发明的实施例采用如下技术方案：

一种 MCU多画面优化配置的方法，包括：

根据接收到的 N个会议终端发送的视频图像的分辨率、带宽、帧率、重要程度和音量大小，计算所述各个视频图像占 MCU显示屏幕呈现的画面中的面积 N为大于或等于 1的自然数；

根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成 N个区域，并将所述 N个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中。

一种 MCU多画面优化配置的装置，包括：

计算单元，用于根据接收到的 N个会议终端发送的视频图像的分辨率、带宽、帧率、重要程度和音量大小，计算所述各个视频图像占 MCU显示屏幕呈现的画面中的面积， N为大于或等于 2的自然数；

填充单元，用于根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成 N个区域，并将所述 N个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中。

本发明实施例提供的一种 MCU多画面优化配置的方法及装置，通过计算 N 个会议终端发送的视频图像占 MCU显示屏幕呈现的画面中的面积，并根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积将所述 MCU显示屏幕呈现的画面分割成 N个区域，并将所述 N个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中。与现有技术在进行 MCU多画面优化配置时，由于多画面模式是预先设定的，可能会出现子画面黑屏的现象相比，本发明实施例提供的方案通过根据会议终端数量采用动态生成多画面的方式，可以消除子画面黑屏的现象。附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作筒单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图 1为本发明实施例 1提供的一种 MCU多画面优化配置的方法的流程图；图 2为本发明实施例 1提供的一种 MCU多画面优化配置的装置的框图；图 3为本发明实施例 2提供的一种 MCU多画面优化配置的方法的流程图；图 4为本发明实施例 2提供的一种填充多画面的方法的流程图；图 5为本发明实施例 2提供的另一种填充多画面的方法的流程图；图 6为本发明实施例 2提供的一种 MCU多画面优化配置的装置的框图；图 7为本发明实施例 2提供的确定模块的装置的框图；

图 8为本发明实施例 2提供的填充模块的装置的框图。具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例 1

本发明实施例提供的一种 MCU多画面优化配置的方法，如图 1所示，该方法包括：

步骤 101 , 根据接收到的 N个会议终端发送的视频图像的分辨率、带宽、帧率、重要程度和音量大小，计算所述各个视频图像占 MCU显示屏幕呈现的画面中的面积， N为大于或等于 2的自然数；

这里，发送的视频图像的会议终端可以为会议终端的摄像头、会议终端的具有发送功能的软件。

步骤 102 ,根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成 N个区域，并将所述 N个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中。

这里，在 MCU显示屏幕呈现的画面的相应的区域中填充视频图像后的画面为多画面。根据参加会议的会议终端的个数动态的分割 MCU显示屏幕呈现的画面，可以消除黑屏的现象。

本发明实施例提供的一种 MCU多画面优化配置的方法，通过计算 N个会议终端发送的视频图像占 MCU显示屏幕呈现的画面中的面积，并将所述 N个会议终端填充在所述 MCU显示屏幕呈现的画面的相应的区域中。与现有技术在进行 MCU 多画面优化配置时，由于多画面模式是预先设定的，可能会出现子画面黑屏的现象相比，本发明实施例提供的方案根据会议终端数量，通过采用动态生成多画面的方式，可以消除子画面黑屏的现象。

本发明实施例提供一种 MCU多画面优化配置的装置，所述装置可以为 MCU, 也可以为集成了 MCU多画面优化配置处理单元的会议终端，如图 1所示，该装置包括：计算单元 201 , 填充单元 202。

计算单元 201 ,用于根据接收到的 N个会议终端发送的视频图像的分辨率、带宽、帧率、重要程度和音量大小，计算所述各个视频图像占 MCU显示屏幕呈现的画面中的面积， N为大于或等于 2的自然数；

填充单元 202 ,用于根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成 N个区域，并将所述 N 个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中。

本发明实施例提供的一种 MCU 多画面优化配置的装置，通过计算单元计算 N个会议终端发送的视频图像占 MCU显示屏幕呈现的画面中的面积，填充单元并将所述 N个会议终端填充在所述 MCU显示屏幕呈现的画面的相应的区域中。与现有技术在进行 MCU 多画面优化配置时，由于多画面模式是预先设定的，可能会出现子画面黑屏的现象相比，本发明实施例提供的方案根据会议终端数量，通过采用动态生成多画面的方式，可以消除子画面黑屏的现象。

实施例 2

本发明实施例提供一种 MCU多画面优化配置的方法，如图 3所示，该方法包括：

步骤 301 ,接收 N个会议终端发送的视频图像，获得所述各个视频图像的分辨率、带宽、帧率、重要程度和音量大小， N为大于或等于 2的自然数；接收 N个会议终端发送的视频码流，这里，发送视频图像的会议终端可以为会议终端的摄像头、会议终端的具有发送功能的软件。然后 MCU对所述视频码流进行解码，获取所述视频图像，并由 MCU获取所述各个视频图像的分辨率、带宽、帧率、重要程度和音量大小。这里，重要程度是根据实际情况由参加会议的人员决定的，可以用 p表示视频码流的重要程度，例如： p=3oy。，表示视频码流的重要程度不高， Ρ=85%, 表示此视频码流很重要；发送视频码流时，在压缩协议中携带视频码流的重要程度 Ρ标识和 Ρ的具体值。

步骤 302, 根据所述各个视频图像的分辨率、带宽、帧率、重要程度和音量大小，获取各个视频图像占 MCU显示屏幕呈现的画面中的面积；

初始时， MCU显示屏幕呈现的画面为一个完整的画面，当根据本发明实施例提供的方法，将 Ν个会议终端发送的视频图像填充到 MCU显示屏幕呈现的画面中后，即为一个由两个或者两个以上子画面构成的多画面。

具体地，各个视频图像占 MCU显示屏幕呈现的画面中的面积，

才艮据 S_t =[ ÷(R₁+R₂+R₃+... + R_N)xI^+B_I ÷ ( B_x + B₂ + B₃ + ... + B_N ) χ + F_t ÷ ( F_x + F₂ +F₃ + ...+ F_N)xL₃ + PI ÷ (P₁ + P₂ +P₃ +...+ P_N)xL₄ +V_: ÷ +V₂ +V₃ + ... + V_N) x L₅ x S多计算各个视频图像占所述画面中的面积；

其中， S_:表示第 I个会议终端发送的视频图像占所述 MCU显示屏幕呈现的画面中的面积，表示第 I个会议终端发送的视频图像的分辨率， B_:表示第 I个会议终端发送的视频图像的带宽，表示第 I个会议终端发送的视频图像的帧率，表示第 I 个会议终端发送的视频图像的重要程度， ¼表示第 I 个会议终端发送的视频图像的音量大小，所述 I取值为 1至 N，N为发送视频图像的会议终端的个数； S 表示 MCU显示屏幕呈现的画面的面积； L_: 为系数， L!+ L₂+ L₃+ L₄+ L₅=l, l^ ^O, l^ ^O, l^ ^O, l^ ^O, l^ ^O, 所述

L₂、 L₃、 L₄、 L₅的值根据实际情况由参加会议的人员决定的，携带在视频图像中发送给 MCU。

步骤 303,根据所述 N个会议终端发送的所述视频图像和所述 MCU显示屏幕呈现的画面确定所述 MCU显示屏幕呈现的画面的分割方向；

所述 MCU显示屏幕呈现的画面的分割方向具体有：按所述 MCU显示屏幕呈现的画面的水平方向分割和按所述 MCU显示屏幕呈现的画面的垂直方向分割两种方式。

例如：则按 MCU显示屏幕呈现的画面的水平方向将画面平均分割成 5个区域为：

例如：则按 MCU显示屏幕呈现的画面的垂直方向将画面平均分割成 5个区域为：

区域 1

区域 2

区域 3

区域 4

区域 5

根据所述 N个会议终端发送的所述视频图像和所述 MCU显示屏幕呈现的画面确定所述 MCU显示屏幕呈现的画面的分割方向，具体为，首先，根据步骤 302计算得出的各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，确定发送的视频图像占所述 MCU显示屏幕呈现的画面中面积最大的会议终端为第一会议终端；

具体地，所述确定所述 MCU显示屏幕呈现的画面的分割方向为，

If (A/C<E/D)

K=l

El se i f (A/C=E/D)

I f (A<E)

K=l

E l se

K=0 El se

K=0,

其中，其中所述 MCU显示屏幕呈现的画面的分辨率为 Ax E,所述第一会议终端发送的所述视频图像的分辨率为 Cx D;

即，计算 A/C的第一比值，计算 E/D的第二比值，其中所述画面的分辨率为 Ax E, 所述第一会议终端发送的所述视频图像的分辨率为 Cx D;

判断所述第一比值是否比所述第二比值小；

当所述第一比值小于所述第二比值时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的水平方向分割；

当所述第一比值等于所述第二比值并且 A大于 E时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的垂直方向分割；当所述第一比值等于所述第二比值并且 A小于 E时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的水平方向分割；

当所述第一比值大于所述第二比值时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的垂直方向分割。

步骤 304 ,根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，按照所述 MCU显示屏幕呈现的画面的分割方向将所述 MCU显示屏幕呈现的画面分割成 N个区域，并将所述 N个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中；

这里，分割指采用算法将 MCU 的显示屏幕呈现的画面进行虚拟的划分，使在一个画面中呈现出两个或者多个子画面的技术。

根据步骤 302计算的所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，本发明可以采用以下任一种方式，动态地分割所述 MCU显示屏幕呈现的画面，并将所述 N个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中。

方式一：如图 4所示，包括：步骤 401 , 分别计算与8₂、 S₃...S 比值，并确定所述比值中小于或等于预设值的会议终端个数 M, 所述 M为自然数；

这里， Si为所述第一会议终端发送的视频图像占 MCU显示屏幕呈现的画面中的面积， S₂、 S₃...S_N为除第一会议终端之外的会议终端发送的视频图像占 MCU 显示屏幕呈现的画面中的面积，所述预设值是根据工作人员的实际经验确定的，例如所述预设值可以为 1. 25。

步骤 402 , 判断所述 M的值是否为等于（N-1 ), N为发送视频图像的会议终端的个数；

步骤 403 , 当所述 M不等于（N-1 ) 时，根据所述 MCU显示屏幕呈现的画面的分割方向，按照所述^与所述 M 个会议终端发送的所述视频图像占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成 ( M+2 )个子画面;

例如，参加会议的共有 A会议终端、 B会议终端、 C会议终端、 D会议终端、 E会议终端 5个会议终端，其中， A会议终端发送的视频图像占 MCU显示屏幕呈现的画面的面积最大，则 A会议终端为所述第一会议终端，通过计算后，确定 S_A/S_B小于预设值，则 M为 1 , 除所述第一会议终端之外的一个会议终端为 B会议终端。

例如，根据所述 MCU显示屏幕呈现的画面的分割方向为按所述画面的水平方向分割， M=l , 除所述第一会议终端之外的一个会议终端为 B会议终端，则按照所述第一会议终端发送的所述视频图像中占所述 MCU显示屏幕呈现的画面中的面积，与所述 M个会议终端发送的所述视频图像中占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成 3个子画面，则所述画面的水平方向上从左到右依次是为所述第一会议终端分割的子画面，为 B会议终端分割的子画面，如下示意图所示： 1 2 3

为第一会议终端为 B会议终端分

分割的子画面割的子画面步骤 404 ,将所述第一会议终端发送的视频图像和所述 M个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面中的相应的子画面中。

具体地，按照上述示意图，将所述第一会议终端发送的视频图像填充在为所述第一会议终端分割的子画面中，将 B会议终端发送的视频图像填充在为为 B会议终端分割的子画面。

需要说明的是，当对所述第一会议终端和所述 M个会议终端填充完成后，将剩余的 [N_ ( M+1 ) ]个会议终端发送的视频图像按照所述（M+1 ) 个会议终端的 MCU多画面优化配置的方法填充剩余的所述 MCU显示屏幕呈现的画面中，具体地，确定未填充的 MCU显示屏幕呈现的新画面的面积，确定除所述第一会议终端和所述 M个会议终端之外的其他会议终端发送的视频图像，占所述 MCU显示屏幕呈现的新画面中的面积，并确定所述各个视频图像占 MCU显示屏幕呈现的新画面中的面积最大的会议终端，再计算所述 MCU显示屏幕呈现的新画面的分割方向，按照所述 MCU显示屏幕呈现的新画面的分割方向分割所述新画面，并进行填充。

步骤 405 , 当所述 M等于（N-1 ) 时，根据所述述 MCU显示屏幕呈现的画面的分割方向，按照所述 Si与所述 M个会议终端发送的所述视频图像中占所述述 MCU显示屏幕呈现的画面中的面积，将所述述 MCU显示屏幕呈现的画面分割成（M+1 ) 个子画面；

例如，参加会议的共有 A会议终端、 B会议终端、 C会议终端、 D会议终端、 E会议终端 5个会议终端，其中， A会议终端发送的视频图像占 MCU显示屏幕呈现的画面的面积最大，则 A会议终端为所述第一会议终端，通过计算后，确定 S_A与 S_B的比值小于预设值， S_A与 S_e的比值小于预设值， S_A与 S_D的比值小于预设值， S_A与 S_E的比值小于预设值，则 M为 4 , 除所述第一会议终端之外的四个会议终端为 B会议终端、 C会议终端、 D会议终端、 E会议终端，然后根据各个会议终端发送的视频图像占 MCU显示屏幕呈现的画面中面积的大小在所述画面的分割方向上，将所述 MCU显示屏幕呈现的画面分割成（M+1 ) 个子画面。

步骤 406 ,将所述第一会议终端发送的视频图像和所述 M个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面中的相应的子画面中。

具体地，按照 N个会议终端发送的视频图像占 MCU显示屏幕呈现的画面的面积，将 N个会议终端相应的填充在画面中。

方式二，如图 5所示，包括：

步骤 501 ,根据所述 N个会议终端发送的视频图像占所述 MCU显示屏幕呈现的画面中的面积，按照所述 MCU显示屏幕呈现的画面的分割方向将所述 MCU 显示屏幕呈现的画面平均分割成 N个区域；

例如：假设 A、 B两个会议终端发送的视频图像需要在所述 MCU显示屏幕呈现的画面中显示，则按所述 MCU显示屏幕呈现的画面的分割方向将所述 MCU 显示屏幕呈现的画面平均分割成 2个子画面。

步骤 502 , 将所述 N个会议终端发送的视频图像填充在所述 N个区域中。由于步骤 501分割成的 N个区域的大小相同，所以每个会议终端发送的视频图像占 MCU显示屏幕呈现的画面中的任一个区域都可以，将所述 N个会议终端都填充在所述 MCU显示屏幕呈现的画面中后，这时 MCU的显示屏幕上呈现的画面为多画面， MCU将所述填充好的多画面发送给所述各个会议终端，在所述各个会议终端输出的电视上不会出现黑屏的现象。

需要说明的是，本发明实施例提供的方案，根据会议终端的数量自动调整多画面模式，当会议终端由于状态变化而导致需要在所述多画面中显示的所述视频图像的数量减少或者增加时，所述多画面中子画面个数随之调整，给用户呈现更好更优的显示效果。

另外，本发明实施例提供的方案，根据入会会议终端的情况自动适配出多画面的填充模式，会议终端情况包括但不仅限于会议终端的：数量、分辨率、带宽、帧率、重要程度、音量大小等。在对所述多画面进行填充时，也可以根据各个会议终端的情况中的某一种情况为主，自动适配出多画面的填充模式。

例如，可以以帧率为主自动适配出多画面模式，会议终端发送的视频图像帧率大的子画面就大，帧率小的子画面就小。假设当前4、 B会议终端入会， A会议终端发送的视频图像的帧率为每秒 60帧， B会议终端发送的视频图像的帧率为每秒 20帧，则根据 60/20*R=3/l *R ( R>0 ), 计算得出需要将 MCU显示屏幕呈现的的画面分割成 W个区域，所述 W为表示所述比值的分数的分母与分子的和，所述 R为调节系数，一般，所述 R为 1。这时，将所述画面分割成 4个区域，其中 A会议终端发送的视频图像占 3个区域， B会议终端发送的视频图像占 1个区域。

本发明实施例提供的一种 MCU 多画面优化配置的方法，可以根据各个会议终端发送的视频图像，自动分割 MCU显示屏幕呈现的画面，自动调整多画面的填充模式，与现有技术在进行 MCU 多画面优化配置时，由于多画面模式是预先设定的，可能会出现子画面黑屏的现象，多画面中的子画面布局是固定的，导致在会议终端输出的电视上呈现的画面不清晰相比，本发明实施例提供的方案通过采用动态生成多画面的方式，可以消除子画面黑屏的现象并且使在会议终端输出的电视上呈现的画面清晰。

本发明实施例提供一种 MCU多画面优化配置的装置，所述装置可以为 MCU, 也可以为集成了 MCU多画面优化配置处理单元的会议终端，如图 6所示，该装置包括：计算单元 601 , 填充单元 602 , 确定模块 603 , 填充模块 604。

计算单元 601 ,用于根据接收到的 N个会议终端发送的视频图像的分辨率、带宽、帧率、重要程度和音量大小，计算所述各个视频图像占 MCU显示屏幕呈现的画面中的面积；

具体地，所述计算单元 601首先根据接收 N个会议终端发送的视频图像，获得所述各个视频图像的分辨率、带宽、帧率、重要程度和音量大小；然后根据获得的所述各个视频图像分辨率、带宽、帧率、重要程度和音量大小，计算各个视频图像占所述 MCU显示屏幕呈现的画面中的面积。

才艮据 S_t =[ ÷(R₁+R₂+R₃+... + R_N)xI^+B_I ÷ ( B_x + B₂ + B₃ + ... + B_N ) χ + F_t ÷ ( F_x + F₂ +F₃ + ...+ F_N)xL₃ +PI ÷( +P₂ +P₃ +...+ P_N)xL₄ +V_: ÷ +V₂ +V₃ + ... + V_N) x L₅ x S多计算各个视频图像占所述画面中的面积；

其中， S_:表示第 I个会议终端发送的视频图像占所述 MCU显示屏幕呈现的画面中的面积，表示第 I个会议终端发送的视频图像的分辨率， B_:表示第 I个会议终端发送的视频图像的带宽，表示第 I个会议终端发送的视频图像的帧率，表示第 I 个会议终端发送的视频图像的重要程度， Vi表示第 I 个会议终端发送的视频图像的音量大小，所述 I取值为 1至 N，N为发送视频图像的会议终端的个数； S多表示多画面的面积；为系数， L₂+ L₃+ L₄+ L₅=l, l^L^O,

1^L₂^0, 1^L₃^0, 1^L₄^0, l^L₅^0_o 所述 L₁ L₂、 L₃、 L₄、 L₅的值根据实际情况由参加会议的人员决定。

填充单元 602,用于根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成 N个区域，并将所述 N 个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中；

具体地，所述填充单元 602中的确定模块 603, 用于根据所述 N个会议终端发送的所述视频图像和所述 MCU显示屏幕呈现的画面确定所述 MCU显示屏幕呈现的画面的分割方向；

当确定所述 MCU显示屏幕呈现的画面的分割方向时，如图 7所示，所述确定模块 603包括：第一确定子模块 701, 计算子模块 702, 判断子模块 703, 第二确定子模块 704。

第一确定子模块 701 ,用于确定发送的视频图像占所述 MCU显示屏幕呈现的画面中面积最大的会议终端为第一会议终端；

计算子模块 702, 用于计算 A/C的第一比值，计算 E/D的第二比值，其中所述画面的分辨率为 A X E ,所述第一会议终端发送的所述视频图像的分辨率为 Cx D;

然后判断子模块 703判断所述第一比值是否比所述第二比值小；当所述第一比值小于所述第二比值时，第二确定子模块 704 , 确定所述

MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的水平方向分割；

当所述第一比值等于所述第二比值并且 A大于 E时，所述第二确定子模块 704 , 还用于，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU 显示屏幕呈现的画面的垂直方向分割；当所述第一比值等于所述第二比值并且 A小于 E时，所述第二确定子模块 704还用于，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的水平方向分割；当所述第一比值大于所述第二比值时，所述第二确定子模块 704还用于，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的垂直方向分割。

填充模块 604 ,用于根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，按照所述 MCU显示屏幕呈现的画面的分割方向分割所述 MCU显示屏幕呈现的画面，并将所述 N个会议终端发送的视频图像填充在所述 MCU 显示屏幕呈现的画面的相应的区域中。

具体地，在填充所述多画面时，包括以下任一种方式：

方式一，如图 8所示，所述填充模块 604包括：计算确定子模块 801 , 第一分割子模块 802 , 第一填充子模块 803 , 第二分割子模块 804 , 第二填充子模块 805。

确定所述画面的分割方向后，计算确定子模块 801 , 用于分别计算 8₁与 S₂、 S₃...S 比值，并确定所述比值中小于或等于预设值的会议终端个数 M, M 为自然数；

所述预设值是根据工作人员的实际经验确定的，例如所述预设值可以为 1. 25。

第一分割子模块 802 , 用于当所述 M不等于（N-1 ) 时，根据所述 MCU显示屏幕呈现的画面的分割方向，按照所述与所述 M个会议终端发送的所述视频图像中占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成（M+2 ) 个子画面；

第一填充子模块 803 , 用于将所述第一会议终端发送的视频图像和所述 M 个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面中的相应的子画面中；

需要说明的是，当对所述第一会议终端和所述 M个会议终端填充完成后，将剩余的 [N_ ( M+1 ) ]个会议终端发送的视频图像，按照所述（M+1 ) 个会议终端的 MCU多画面优化配置的方法填充剩余的所述 MCU显示屏幕呈现的画面中。

当所述 M等于（N-1 ) 时，所述第一分割子模块 802还用于根据所述 MCU 显示屏幕呈现的画面的分割方向，按照所述^与所述 M个会议终端发送的所述视频图像中占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成（M+1 ) 个子画面；

所述第一填充子模块 803还用于将所述第一会议终端和所述 M个会议终端填充在所述 MCU显示屏幕呈现的画面中的相应的子画面中.

方式二，所述填充模块 604包括：

第二分割子模块 804 , 用于根据所述 N个会议终端发送的视频图像占 MCU 显示屏幕呈现的画面中的面积，按照所述 MCU显示屏幕呈现的画面的分割方向将所述 MCU显示屏幕呈现的画面平均分割成 N个区域；

第二填充子模块 805 ,用于将所述 N个会议终端发送的视频图像填充在所述 N个区域中。

将所述 N个会议终端都填充在所述 MCU显示屏幕呈现的画面中后， MCU将所述填充好的多画面发送给所述各个会议终端，在所述各个会议终端输出的电视上即可呈现出没有黑屏的多画面。

本发明实施例提供的一种 MCU 多画面优化配置的装置，通过根据获取 N 个会议终端发送的视频图像，分析计算后，分割 MCU显示屏幕呈现的画面并将所述视频图像填充所述 MCU显示屏幕呈现的画面。与现有技术在进行多画面优化配置时，由于多画面模式是预先设定的，可能会出现子画面黑屏的现象，多画面中的子画面布局是固定的，导致在会议终端输出的电视上呈现的画面不清晰，本发明实施例提供的方案通过采用动态生成多画面的方式，可以消除子画面黑屏的现象并且使在会议终端输出的电视上呈现的画面清晰。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

权利要求书

1、一种多点控制单元 MCU多画面优化配置的方法，其特征在于，包括：根据接收到的 N个会议终端发送的视频图像的分辨率、带宽、帧率、重要程度和音量大小，计算所述各个视频图像占 MCU显示屏幕呈现的画面中的面积， N为大于或等于 1的自然数；

2、根据权利要求 1所述的一种 MCU多画面优化配置的方法，其特征在于，所述计算所述各个视频图像占 MCU显示屏幕呈现的画面中的面积包括：

才艮据 S_t =[ ÷(R₁ +R₂ +R₃ +... + R_N)xI^ +B_I ÷ ( B_x + B₂ + B₃ + ... + B_N ) χ + F_t ÷ ( F_x + F₂ +F₃ + ...+ F_N)xL₃ + PI ÷ (P₁ + P₂ +P₃ +...+ P_N)xL₄ +V_: ÷ +V₂ +V₃ + ... + V_N) x L₅] x S多计算各个视频图像占所述 MCU显示屏幕呈现的画面中的面积；

其中， S_:表示第 I个会议终端发送的视频图像占所述 MCU显示屏幕呈现的画面中的面积，表示第 I 个会议终端发送的视频图像的分辨率， B_:表示第 I 个会议终端发送的视频图像的带宽，表示第 I个会议终端发送的视频图像的帧率，表示第 I个会议终端发送的视频图像的重要程度， ¼表示第 I个会议终端发送的视频图像的音量大小，所述 I取值为 1至 N; S多表示 MCU显示屏幕呈现的画面的面积； L_: 为系数， + + + + =1, 1^ ^ , 1^L₂^0, 1^L₃^0, 1^L₄^0, l^L₅^0_o

3、根据权利要求 1-2中任一项所述的一种 MCU多画面优化配置的方法，其特征在于，所述根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积将所述 MCU显示屏幕呈现的画面分割成 N个区域，包括：

根据所述 N个会议终端发送的所述视频图像和所述 MCU显示屏幕呈现的画面确定所述 MCU显示屏幕呈现的画面的分割方向；

根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，按照所述 MCU显示屏幕呈现的画面的分割方向分割所述画面。

4、根据权利要求 1-3中任一项所述的一种 MCU多画面优化配置的方法，其特征在于，所述根据所述 N个会议终端发送的所述视频图像和所述 MCU显示屏幕呈现的画面确定所述 MCU显示屏幕呈现的画面的分割方向包括：

确定发送的视频图像占所述 MCU显示屏幕呈现的画面中的面积最大的会议

计算 A/C的第一比值，计算 E/D的第二比值，其中所述 MCU显示屏幕呈现的画面的分辨率为 Ax E , 所述第一会议终端发送的所述视频图像的分辨率为 Cx D;

判断所述第一比值是否比所述第二比值小；

当所述第一比值等于所述第二比值、并且 A大于 B时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的垂直方向分割；当所述第一比值等于所述第二比值、并且 A小于 B时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的水平方向分割；当所述第一比值大于所述第二比值时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的垂直方向分割。

5、根据权利要求 1-4中任一项所述的一种 MCU多画面优化配置的方法，其特征在于，所述根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成 N个区域，并将所述 N个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中包括：分别计算与8₂、 S₃...S 比值，并确定所述比值中小于或等于预设值的会议终端个数 M, M为自然数；

当所述 M不等于（N-1 )时，根据所述 MCU显示屏幕呈现的画面的分割方向，按照所述8₁与所述 M个会议终端发送的所述视频图像占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成（M+2 )个子画面；将所述第一会议终端发送的视频图像和所述 M个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面中的相应的子画面中；将剩余的 [N_ ( M+1 ) ]个会议终端发送的视频图像，按照所述（M+1 )个会议终端的 MCU多画面优化配置的方法填充剩余的所述 MCU显示屏幕呈现的画面中；

当所述 M等于（N-1 ) 时，根据所述 MCU显示屏幕呈现的画面的分割方向，按照所述8₁与所述 M个会议终端发送的所述视频图像中占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成（M+1 )个子画面；将所述第一会议终端发送的视频图像和所述 M个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面中的相应的子画面中。

6、根据权利要求 1-4中任一项所述的一种 MCU多画面优化配置的方法，其特征在于，所述根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成 N个区域，并将所述 N个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中包括：根据所述 N个会议终端发送的视频图像占所述 MCU显示屏幕呈现的画面中的面积，按照所述 MCU显示屏幕呈现的画面的分割方向将所述 MCU显示屏幕呈现的画面平均分割成 N个区域；

将所述 N个会议终端发送的视频图像填充在所述 N个区域中。

7、一种多点控制单元 MCU多画面优化配置的装置，其特征在于，包括：计算单元，用于根据接收到的 N个会议终端发送的视频图像的分辨率、带宽、帧率、重要程度和音量大小，计算所述各个视频图像占 MCU显示屏幕呈现的画面中的面积， N为大于或等于 2的自然数；

8、根据权利要求 7所述的一种 MCU多画面优化配置的装置，其特征在于，所述填充单元包括：

确定模块，用于根据所述 N个会议终端发送的所述视频图像和所述 MCU显示屏幕呈现的画面确定所述 MCU显示屏幕呈现的画面的分割方向；填充模块，用于根据所述各个视频图像占所述 MCU显示屏幕呈现的画面中的面积，按照所述 MCU显示屏幕呈现的画面的分割方向分割所述画面，并将所述 N个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面的相应的区域中。

9、根据权利要求 7或 8所述的一种 MCU多画面优化配置的装置，其特征在于，所述确定模块包括：

第一确定子模块，用于确定发送的视频图像占所述 MCU显示屏幕呈现的画面中的面积最大的会议终端为第一会议终端；

计算子模块，用于计算 A/C的第一比值，计算 B/D的第二比值，其中所述 MCU显示屏幕呈现的画面的分辨率为 Ax B,所述第一会议终端发送的所述视频图像的分辨率为 Cx D;

判断子模块，用于判断所述第一比值是否比所述第二比值小；

第二确定子模块，用于当所述第一比值小于所述第二比值时，确定所述 MCU 显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的水平方向分割；

所述第二确定子模块还用于，当所述第一比值等于所述第二比值并且 A 大于 B时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的垂直方向分割；当所述第一比值等于所述第二比值并且 A 小于 B 时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的水平方向分割；

所述第二确定子模块还用于，当所述第一比值大于所述第二比值时，确定所述 MCU显示屏幕呈现的画面的分割方向为按所述 MCU显示屏幕呈现的画面的垂直方向分割。

10、根据权利要求 7-9 中任一项所述的一种 MCU多画面优化配置的装置，其特征在于，所述填充模块包括：

计算确定子模块，用于分别计算 8₁与8₂、 S₃...S 比值，并确定所述比值中小于或等于预设值的会议终端个数 M , M为自然数；第一分割子模块，用于当所述 M不等于（N-1 ) 时，根据所述 MCU显示屏幕呈现的画面的分割方向，按照所述 Si与所述 M个会议终端发送的所述视频图像中占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成（M+2 )个子画面；第一填充子模块，用于将所述第一会议终端发送的视频图像和所述 M个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面中的相应的子画面中；

所述第一分割子模块还用于当所述 M等于（N-1 ) 时，根据所述 MCU显示屏幕呈现的画面的分割方向，按照所述与所述 M个会议终端发送的所述视频图像中占所述 MCU显示屏幕呈现的画面中的面积，将所述 MCU显示屏幕呈现的画面分割成（M+1 )个子画面；所述第一填充子模块还用于将所述第一会议终端发送的视频图像和所述 M个会议终端发送的视频图像填充在所述 MCU显示屏幕呈现的画面中的相应的子画面中。

11、根据权利要求 7-9 中任一项所述的一种 MCU多画面优化配置的装置，其特征在于，所述填充模块包括：

第二分割子模块，用于根据所述 N个会议终端发送的视频图像占所述 MCU 显示屏幕呈现的画面中的面积，按照所述 MCU显示屏幕呈现的画面的分割方向将所述 MCU显示屏幕呈现的画面平均分割成 N个区域；

第二填充子模块，用于将所述 N个会议终端发送的视频图像填充在所述 N 个区域中。