WO2011116611A1

WO2011116611A1 - 用于电视会议的视频播放方法

Info

Publication number: WO2011116611A1
Application number: PCT/CN2010/079190
Authority: WO
Inventors: 郑双明; 杨伯辉
Original assignee: 中兴通讯股份有限公司
Priority date: 2010-03-22
Filing date: 2010-11-26
Publication date: 2011-09-29
Also published as: CN101820524A

Abstract

本发明公开了一种用于电视会议的视频播放方法，包括：电视会议系统接收第一视频流和第二视频流；解析第一视频流得到第一视频数据，解析第二视频流得到第二视频数据；将第一视频数据与第二视频数据合并编码得到第三视频流；发送第三视频流给会议终端。采用本发明提供的技术方案，可以不改变原有会议终端显示方式和布局，实现在同一层多画面视窗显示两路高清视频图像，满足了用户对高清主视频和高清辅视频同时显示的需求。

Description

用于电见会汉的视频番放方法技术领域本发明属于电视会议通讯领域，具体而言，涉及用于电视会议的视频播放方法。背景技术目前，会议电视系统实现了多个会场的画面以一种多画面类似电视墙的形式在各个会场的显示设备上显示，随着会议电视技术的发展，会议电视除了可以处理包括多个会场画面的主视频外，还可以处理某个会议终端发送的与当前会议相关的第二路视频（辅视频），并将处理后的主视频显示数据和辅视频显示数据分别发送给各个会议终端显示。各个会议终端在显示两路视频时，通常釆用以下两种方法：一、单独再配置一套显示设备进行辅视频的显示。釆用这种方法，需要参加会议的各方额外配置显示设备，不仅增加了电视会议的成本，也不方便会议参加者观看。二、主视频和辅视频以不同的视窗叠加显示。如图 1所示，一种叠加显示方式为：主视频（第一路视频）作为底层视窗以电视墙的形式显示各个会议现场视频，辅视频（第二路视频）作为上层小视窗叠加在主视频之上显示。釆用这种显示方式，主视频的一个子画面必然被遮挡。如图 2所示，另一种叠加显示方式为：底层视窗为辅视频，上层小视窗为主视频。釆用这种显示方式，辅视频的部分画面被主视频遮挡，而且，主视频的多个子画面显示的更小，影响会议参加者观看，只能通过扩大显示设备的屏幕来解决。由上述分析可知，无论釆取上述哪种现有技术显示两路视频，都存在设备成本高、用户体验度差的问题。发明内容本发明的主要目的在于提供一种用于电视会议的视频播放方法，以至少解决现有的电视会议系统显示两路视频存在设备成本高、用户体验度差的问题。根据本发明的一个方面，提供了一种用于电视会议的视频播放方法，包括：电视会议系统接收第一视频流和第二视频流；解析第一视频流得到第一视频数据，解析第二视频流得到第二视频数据；将第一视频数据与第二视频数据合并编码得到第三视频流；发送第三视频流给会议终端。进一步地，在第一视频流的带宽与第二视频流的带宽的总和不超过电视会议系统支持的总带宽的前提下，第一视频流的带宽为小于总带宽的任意值；第二视频流的带宽为小于总带宽的任意值。进一步地，将第一视频数据与第二视频数据合并编码得到第三视频流包括：分别确定第一视频数据的显示区域以及第二视频数据的显示区域；通过将第一视频数据的显示区域和第二视频数据的显示区域合并到一个显示区域，对第一视频数据和第二视频数据合并编码得到第三视频流。进一步地，在接收第一视频流和第二视频流之前，方法包括：电视会议系统分配第一视频流存储空间和第二视频流存储空间。进一步地，在解析第一视频流得到第一视频数据，解析第二视频流得到第二视频数据之前，方法包括：从第一视频流存储空间获取第一视频流，从第二视频流存储空间获取第二视频流。进一步地，第一视频流包括各个会议现场的视频流。进一步地，第一视频流存储空间包括：多个子存储空间，分别存储各个会议现场的视频流。进一步地，解析第一视频流得到第一视频数据包括：解析会议现场的视频流得到第一视频数据；确定第一视频数据的显示区域包括：确定会议现场的显示区域。进一步地，解析会议现场的视频流得到第一视频数据包括：解析一个或多个会议现场的视频流得到第一视频数据。进一步地，第二视频流包括会议终端发送的其他视频流。进一步地，第二视频流存储空间包括：多个子存储空间，分别存储来自各个会议现场的其他视频流。进一步地，解析第二视频流得到第二视频数据包括：解析会议终端发送的其他视频流得到第二视频数据；确定第二视频数据的显示区域包括：确定其他视频流的显示区域。进一步地，解析会议终端发送的其他视频流得到第二视频数据包括：解析一个或多个会议终端发送的其他视频流得到第二视频数据。通过本发明，电视会议系统分别对两路视频流解析与合并编码，输出一路视频流给会议终端，解决了现有的电视会议系统输出两路视频流给会议终端显示，导致的会议终端成本高，用户体验度差的问题，从而有效利用了电视会议系统的剩余资源，无需更换或增加会议终端的显示设备，而且在不改变原有会议终端显示方式和布局的前提下，在同一层多画面视窗显示两路高清视频图像，满足了用户对高清主视频和高清辅视频同时显示的需求。附图说明此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图 1是根据现有技术的电视会议终端的两路视频显示效果图；图 2是才艮据现有技术的另一种电视会议终端的两路视频显示效果图；图 3是根据本发明实施例的电视会议组网示意图；图 4是根据本发明实施例的电视会议的视频播放方法的流程图；图 5是根据本发明实施例一的电视会议调度和 WEB处理流程图；图 6是才艮据本发明实施例一的多点控制单元分配资源的流程图；图 7是根据本发明实施例一的图像处理流程图；图 8是才艮据本发明实施例二的电视会议终端的两路视频显示效果图；图 9是才艮据本发明实施例三的电视会议终端的两路视频显示效果图；图 10是根据本发明实施例四的会场一终端的两路视频显示效果图；图 11是根据本发明实施例四的会场二终端的两路视频显示效果图；图 12是根据本发明实施例四的会场三终端的两路视频显示效果图；图 13是根据本发明实施例四的会场四终端的两路视频显示效果图。具体实施方式下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。图 3是适用本发明实施例提供的电视会议的视频播放方法的电视会议组网示意图。如图 3所示，电视会议系统分别连接多个会议终端，其中一个会议终端作为会议发起者，通过会议系统召开电视会议，在会议召开成功后，任何一个会议终端可以向电视会议系统提供第一路视频（主视频），任何一个会议终端也可以向电视会议系统提供第二路视频（辅视频）。电视会议系统经过对主视频和辅视频的处理后，将再编码后形成的新视频流（包括主视频画面和辅视频画面）发送给各会议终端显示。根据本发明实施例，提供了一种用于电视会议的视频播放方法，如图 4 所示，该方法包括：步 4聚 S402、电视会议系统接收第一视频流和第二视频流；步一骤 S404、解析第一视频流得到第一视频数据，解析第二视频流得到第二视频数据；步骤 S406、将第一视频数据与第二视频数据合并编码得到第三视频流；步骤 S408、发送第三视频流给会议终端。现有电视会议技术，针对两路视频图像，会议终端之所以会分为两层视窗分别显示主视频和辅视频，是由于电视会议系统向会议终端发送了两路视频流，而会议终端不具备对两路视频流合并编码的功能，因此，只能分层显示。本发明实施例提供的上述方法，在电视会议系统中对两路视频流（第一视频流和第二视频流）进行解码，并通过将两个视频画面作为子画面合并入一个显示画面进行再编码操作，从而形成唯一的视频流（第三视频流）发送给会议终端。因此，会议终端只接收了一路视频流就可以在一层视窗中以子画面的形式同时显示两路视频。在上述步 4聚 S402 中，电视会议系统的多点控制单元控制接入单元接收第一视频流和第二视频流。可以将第一视频流视为主视频流，将第二频流视为库 i视频流。其中，主视频流与视频流以所基于的视频十办议标准区分，例如主视频流釆用 H323标准协议编码，辅视频流釆用 H239标准协议编码。在具体的实施过程中，接入单元对第一视频流和第二视频流进行统一拆包处理，将第一视频流和第二视频流的 IP、 UDP等包头去除，得到标准的视频码流（例如 H264 视频码流；)。这些视频码流统称基本码流（Elementary Stream, 简称 ES ), 例如是经过 H264技术压缩过的一帧一帧的码流。在上述步骤 S404 中，电视会议系统的多点控制单元控制图像处理单元分别对第一视频流和第二视频流解码，由于第一视频流和第二视频流釆用不同的协议标准编码，因此，在解码时，要才艮据不同的协议标准对第一视频流和第二视频流分别解码，解码后形成两类基本的显示数据，包括第一视频数据及第二视频数据。在具体的实施过程中，某一 ES流通过图像处理单元的 McBsp串口发送到图像处理单元的某一芯片，该芯片就承担了该 ES流的解码任务。每个芯片拆除 ES流的 H264包头信息解压获得一帧码流，然后送给解码器解析出 YUV数据，对于解出的 YUV数据，解码芯片将其划分成以 16* 16 像素大小为单位的小区域，然后根据最终显示的画面个数 N, 将解出的 YUV 数据缩放成原大小的 1/N, 例如最后合成的是四画面，则每个子画面大小是整体的 1/4, 缩小后的 YUV数据通过 SRIO线路传送给编码芯片进行编码。需要说明的是，上述解码方法为一种优选的解码方法，在具体的实施过程中，不限于釆用上述方法对 ES 流进行解析，也可以釆用其他现有的视频流解析方法。在上述步骤 S406 中，在电视会议系统的多点控制单元的控制下，图像处理单元将解码后形成第一视频数据及第二视频数据合并编码，形成显示于在同一层次视窗的第三视频流。在具体的实施过程中，合并编码基本是解码过程的反过程，编码芯片在收齐到所有缩放后的 YUV数据后，将其合成为一路完整的 YUV数据，然后由编码器编码成一帧数据，编码芯片将该数据打上 H264 包头进行压缩，然后通过 McBsp串口发送到指定的存储空间中去。需要说明的是，上述合并编码方法为一种优选的编码方法，在具体的实施过程中，不限于釆用上述编码方法进行视频数据合并编码，也可以釆用其他现有的视频流编码方法。在上述步 4聚 S408 中，电视会议系统通过其接入单元将第三视频流发送给各个会议终端。会议终端接收到第三视频流后直接在显示设备上播放第三视频流，其显示形式为电视墙形式，即只有一层视窗，视窗画面分为多个子画面，其中一个子画面播放辅视频图像，其余子画面播放主视频图像。通过上述电视会议的视频播放方法，将两路不同协议编码的视频流进行解析和再编码，形成新的视频流，使得会议终端将两路视频画面显示以电视墙的形式显示在同一层次视窗中，与现有的电视会议的视频播放方式相比，上述方法有效利用了现有电视会议系统中的多点控制单元、图像处理单元以及接入单元对两路视频进行合并处理，形成一路视频输出至会议终端，使得会议终端的无需增加或扩大显示设备。而且该方法在继了原有会议终端的电视墙显示方式和布局的前提下，在同一层视窗显示两路高清视频图像，满足了用户对高清主视频和高清辅视频同时显示的需求。优选地，在具体实施过程中，在保证第一视频流与第二视频流的带宽之和不超过电视会议系统能够支持的总带宽的前提下，可以根据用户的会议订制要求，任意设置带宽比。例如，如果用户对主视频显示质量的要求高，则增加主视频流的带宽，相应减小辅视频流的带宽，如果用户要求提高辅视频的显示质量，则可以为辅视频流增加带宽，相应减少主视频流的带宽。通过对两路视频的带宽设置进行灵活处理，满足了用户对于某一路视频显示质量的要求。优选地，将第一视频数据与第二视频数据合并编码得到第三视频流包括：分别确定第一视频数据的显示区域以及第二视频数据的显示区域；通过将第一视频数据的显示区域和第二视频数据的显示区域合并到一个显示区域，对第一视频数据和第二视频数据合并编码得到第三视频流。由于对主视频数据和辅视频数据进行合并编码的目的是合并编码形成的数据流在播放时，可以在同一层视窗的不同显示区域内分别显示两路视频，因此，在编码前要分别确定主视频数据的显示区域和辅视频数据的显示区域，并分别将主视频数据和辅视频数据编入相应的显示区域中。釆用上述的优选合并编码方法，会议组织者可以灵活的选择两路视频的显示方式，例如显示视窗的任意子画面中播放主视频或辅视频，可以调整主视频或 #视频播放画面的大小。优选地，在接收第一视频流和第二视频流之前，上述方法还可以包括：电视会议系统分配第一视频流存储空间和第二视频流存储空间。在具体的实施过程中，经过电视会议系统的接入单元进行去 IP包和 UDP 包处理之后，分别得到第一视频流的 ES流和第二视频流的 ES流，电视会议系统的多点控制单元控制这些 ES流放置在相应的存储空间。在具体的实施过程中，当有用户作为会议发起者进行两路视频电视会议预约时，电视会议系统的多点控制单元为主视频和辅视频预先分配相应的存储空间，这样接收到的分属不同协议的主视频流和辅视频流就存储在各自的存储空间，使得图像处理模块无需区分存储区中的图像数据是主视频流还是辅视频流。优选地，上述方法还可以将现有的两路视频播放方式作为补充手段，集合入本发明实施例提供的电视会议的视频播放方法中。在具体的实施过程中，电视会议系统的多点控制单元增加显示方式判断功能，在启动视频播放功能之前，首先判断用户是否选择在一层多画面电视墙中显示辅视频，如果是，图像处理单元在多点控制单元的控制下，分别获取主视频流和辅视频流进行后续处理；如果否，则图像处理单元只获取主视频流进行后续处理，辅视频流无需图像处理单元处理，直接作为第二路视频流经接入单元发送至各个会议终端。在这种处理方式下，各个会议终端显示的图像画面分为两层，一层为主视频图像，另一层为辅视频图像。优选地，在解析第一视频流得到第一视频数据，解析第二视频流得到第二视频数据之前，方法包括：从第一视频流存储空间获取第一视频流，从第二视频流存储空间获取第二视频流。在具体的实施过程中，电视会议系统的多点控制单元控制图像处理单元从不同的存储空间获取相应的 ES码流，为图像处理单元进行 ES流解析做好准备。在多点控制单元判断出用户指示在一层多画面电视墙中显示辅视频的情况下，当会议预约通过并召开成功后，多点控制单元通知图像处理单元主视频流的存储位置以及辅视频流的存储位置，图像处理单元从主视频流的存储位置获取主视频流进行解析 ,从辅视频流的存储位置获取辅视频流进行解析。通过上述优选方法获取主视频流和辅视频流，电视会议系统可以根据用户选择的播放方式决定具体对哪一路视频流进行解析工作，无需每次对所有的视频流进行解析处理，有效地节省了系统的资源。优选地，第一视频流可以包括各个会议现场的视频流。结合图 3所示的组网图，主视频可以包括各个会议现场视频图像的视频流，这些视频流以同一视频协议编码，例如都釆用 H323协议编码，这样就可以将各个会议现场的视频合并入同一层视窗的多画面电视墙中显示。将各个会议现场的视频流统一作为主视频流的处理方法，使得主视频图像不局限于一个视频画面，只要多个视频流釆用同一种视频协议编码，即可将多个视频流整体视为主视频流，使得会议终端的显示方式更加多样化，更具友好性。优选地，第一视频流存储空间可以包括：多个子存储空间，分别存储各个会议现场的视频流。在具体的实施过程中，如果主视频流包括了多个釆用相同协议编码的视频流，例如，釆用相同协议编码的多个会议现场的视频流则上述主视频流的存储空间（即第一视频流存储空间）还可以细分为多个子存储空间，分别存储各个会议现场的视频流。釆用该优选的方式将主视频流的存储空间划分为多个子存储空间，可以向用户提供更加灵活的显示方式，例如，用户可选择某个会议现场的视频画面无需显示，则图像处理单元无需到与该会议现场对应的视频流的子存储空间中获取视频流，只需到需要显示的会议现场的视频流的子存储空间获取相应的视频流进行解析，从而进一步地节省了系统的资源。优选地，解析第一视频流得到第一视频数据可以包括：解析会议现场的视频流得到第一视频数据；确定第一视频数据的显示区域包括：确定会议现场的显示区 i或。以三会场四画面的会议为例，第一视频¾¾包括三个会场的视频 ¾ϊ和一个第二视频流，经过电视会议系统的接入单元进行去 IP包和 UDP包处理后，共生成四路 ES 流，分别由电视会议系统的图像处理单元的四个芯片进行解码。每个芯片拆除 ES流的 H264包头信息解压获得一帧码流，然后送给解码器解析出 YUV数据，对于解出的 YUV数据，解码芯片将其划分成以 16* 16 像素大小为单位的小区域，然后缩放成原大小的 1/4 (因最后合成的是四画面，每个子画面大小是整体的 1/4 ), 通过 SRIO线路传送给编码芯片进行编码，四个解码芯片的处理过程相同。编码芯片在收齐到所有缩放后的 YUV数据后，确定不同会议现场视频的 YUV数据的显示区域以及辅视频的 YUV数据的显示区域，之后根据确定好的显示区域将其各个会议现场视频的 YUV合成为一路完整的 YUV数据，然后由编码器编码成一帧数据，编码芯片将该数据打上 H264包头进行压缩，然后通过 McBsp串口发送到指定的存储空间中去。需要说明的是，上述解码和解码的方法为优选方法，在具体的实施过程中，不限于釆用上述解码及编码方法，也可以釆用其他现有的视频流解码和编码方法。优选地，在具体实施过程中，如果用户选择在多画面电视墙中显示所有会议现场的视频画面，则图像处理单元获取所有会议现场的视频流进行解析，形成的第一视频数据包括了所有会议现场的视频显示数据。并且在与辅视频显示数据合并编码的过程中，需要确定每个会议现场视频图像的显示区域，从而满足用户对具体显示布局的订制。优选地，在具体实施过程中，如果用户选择在多画面电视墙中只显示某一个会议现场的视频画面或某几个特定的会议现场，则图像处理单元只获取用户选定的会议现场的视频流进行解析，形成的第一视频数据包括了用户选定的会议现场的视频显示数据。并且在与辅视频显示数据合并编码的过程中，需要确定选定的会议现场视频图像的显示区域，从而满足用户对具体显示布局的订制。通过上述优选的对主视频流的解析方法和优选的合并编码方法，可以使电视会议系统对主视频流中的各个会议现场的视频流灵活处理，从而满足了用户订制显示布局的多样性。优选地，第二视频流包括一个或多个会议终端发送的其他视频流。结合图 3所示的组网图，辅视频（第二视频流）可以包括一个或多个会议终端发送的其他视频，例如与会议主体相关的一个或多个影像资料。这些其他视频的视频流以同一视频协议编码，例如都釆用 H239协议编码，这样就可以将一个或多个其他视频图像合并入同一层多画面电视墙显示。将一个或多个釆用同一视频协议编码的其他视频流统一作为辅视频流的处理方法，使得辅视频图像不局限于一个视频画面，并且可以经过电视会议系统处理，与主视频图像合并入一层视窗显示。只要多个其他视频流釆用同一种视频协议编码，即可将多个其他视频流整体视为辅视频流，使得会议终端的显示方式更加多样化，更具友好性。优选地，第二视频流存储空间也可以包括：多个子存储空间，分别来自多个会议终端的其他视频流。在具体的实施过程中，如果辅视频流（第二视频流）包括了多个釆用相同协议编码的视频流，例如，釆用相同协议编码的多个会议终端发送的视频流，则上述辅视频流的存储空间（即第二视频流存储空间）还可以细分为多个子存储空间，分别存储来至多个会议终端的其他视频流。釆用该优选的方式将辅视频流的存储空间划分为多个子存储空间，可以向用户提供更加灵活的显示方式，例如，用户可选择显示所有其他视频，则图像处理单元从辅视频存储空间的相应子存储空间中获取所有其他视频进行解析处理，如果用户选择只显示其中的某些其他视频，则图像处理单元只需到需要显示的其他视频的子存储空间获取相应的视频流进行解析，从而进一步地节省了系统的资源。优选地，解析第二视频流得到第二视频数据包括：解析其他视频流得到第二视频数据；确定第二视频数据的显示区域包括：确定其他视频流的显示区域。优选地，在具体实施过程中，如果用户选择在多画面电视墙中显示所有其他视频画面，则图像处理单元获取所有其他视频的视频流进行解析，形成的第二视频数据包括了所有会其他视频显示数据。并且在与主视频显示数据合并编码的过程中，需要确定每个其他频图像的显示区域，从而满足用户对具体显示布局的订制。优选地，在具体实施过程中，如果用户选择在多画面电视墙中只显示某些特定的其他视频，则图像处理单元只获取用户选定的其他视频的视频流进行解析，形成的第二视频数据包括了用户选定的其他视频的显示数据。并且在与主视频显示数据合并编码的过程中，需要确定选定的其他视频的显示区域，从而满足用户对具体显示布局的订制。通过上述优选的对辅视频的解析方法和优选的合并编码方法，可以使电视会议系统对 i视频流中多个其他视频流灵活处理，从而满足了用户订制显示布局的多样性。以下结合具体实施例介绍在会议电视系统中实现一层多画面视窗中显示两路视频的具体实施方式。实施例一在本实施例中，详细介绍了电视会议系统处理流程，具体如下：步骤 S I. WEB 页面根据会议能力判断是否需要在多画面内容选择中加入辅视频的选项；如图 5所示，图中所描述的是如果用户在会议模板中配置主视频和辅视频的格式均为高清 720P格式，辅视频为 H239标准双流协议，且辅视频速率小于主视频速率（即辅视频带宽小于会议总带宽），那么在召开会议的时候，多点控制单元发送多画面内容消息给 WEB , WEB在多画面的子画面内容选项中加入 "辅视频，，，这样与会某一会场若发送辅视频，用户就可以选择 "辅视频" 进行观看。步骤 S2. 多点控制单元为双流多画面的会议分配相应的资源，并且在会议中进行资源调度。如图 6所示，当符合双流多画面的会议预约时以及会议召开成功后，多点控制单元分配资源的情况。当有用户进行双流多画面会议预约时，与其他双流会议一样，多点控制单元分别为主视频和辅视频预先分配相应存储资源；当会议预约通过并召开成功后，多点处理层下发图像数据来源消息给图像处理单元（这里使用 HDPU板），告知其主视频所在的存储位置，由其进行主视频的解码处理；若用户选择视频加入多画面中，多点处理单元则下发消息给图像板，告知其辅视频的存储位置，由其进行辅视频的解码处理。步骤 S3、在选择多画面的内容包括辅视频时，各个单板的处理流程。如图 7所示，与普通多画面会议一样，辅视频占用一定的系统资源，当用户选择辅视频加入多画面时，多点处理单元告之图像板待解码图像数据的存储资源总线范围（包括主视频和辅视频的所在的存储位置），图像处理单元则不必区分图像数据是否为主视频或辅视频，只须从相应的位置取图像数据进行解码即可，然后图像处理单元经过内部处理，将主视频和辅视频一起编码合成多画面图像，放入多点处理单元的图像输出总线上，由接入单元传送视频码流给各会场终端，在各会场的显示设备上显示出双流多画面的实际效果。（若用户将所有多画面的内容都选择为辅视频，则会议中多画面的图像均显示辅视频的图像，多个画面可以显示为同一内容的辅视频，也可以显示为不同内容的辅视频）。此夕卜，双路视频多画面会议支持的画面数可达到 16, 同时也支持不同速率的匹配，各种专线和 IP接入的混网，满足不同视频带宽、不同接入方式、不同画面数的需求，处理方式与上述类似。实施例二在本实施例中，以四画面电视会议为例， 4笛述两路视频（主视频和 i视频）经过电视会议系统合并处理后，在会议终端上的一种显示效果。在本实施例中，会议发起者发起四方会议，并订制显示画面，具体的显示方式为，在一层电视墙视窗中显示会场一、会场二以及会场三的现场视频 (主视频），以及显示由会场一发送的与会议主题相关的视频资料（辅视频）。在会议进行的过程中，会议发起者可以居会议进行的具体情况，更新四画面的显示内容，例如在视频播放结束后，重新显示会场四的现场视频。具体显示效果如图 8所示。为达到上述显示效果，电视会议系统的多点控制单元判断用户订制的播放方式是将辅视频加入到主视频的同层视窗中的子画面显示，多点控制单元控制图像处理单元从主视频存储空间的相应子存储空间中获取用户选择显示的会场视频的视频流 (多个会场视频流作为主视频流 ) ,从视频存储空间的相应子存储空间中获取辅视频流，对主视频流和辅视频流分别解码后再合并编码，生成显示为多画面的一层视窗的视频流输出给各个会议终端。实施例三在本实施例中，以四画面电视会议为例， 4笛述两路视频（主视频和 i视频）经过电视会议系统合并处理后，在会议终端上的一种显示效果。在本实施例中，会议发起者发起四方会议，参加会议的只有三方，则订制显示画面，具体的显示方式为，在一层电视墙视窗中显示会场一、会场二以及会场三的现场视频（主视频），以及显示由会场一发送的与会议主题相关的视频资料（辅视频）。在会议进行的过程中，会议发起者可以才艮据会议进行的具体情况，更新四画面的显示内容，例如切换主视频或视频的子画面显示位置或某个子画面的显示大小。具体显示效果如图 9所示。为达到上述显示效果，电视会议系统的多点控制单元判断用户订制的播放方式是将辅视频加入到主视频的同层视窗中的子画面显示，多点控制单元控制图像处理单元从主视频存储空间的相应子存储空间中获取所有会场视频的视频流 (所有会场视频流作为主视频流 ),从辅视频存储空间的相应子存储空间中获取辅视频流，对主视频流和辅视频流分别解码后再合并编码，生成显示为多画面的一层视窗的视频流输出给各个会议终端。实施例四在本实施例中，以四画面电视会议为例， 4笛述两路视频（主视频和 i视频）经过电视会议系统合并处理后，在会议终端上的一种显示效果。在本实施例中，会议发起者发起四方会议，针对每个会场提供不同的显示画面，具体的显示方式为，提供给会场一的显示画面，显示会场二、会场三以及会场四的现场视频（主视频），以及显示由会场一发送的与会议主题相关的视频资料（辅视频）；提供给会场二的显示画面为会场一、会场三以及会场四的现场视频（主视频），以及显示由会场一发送的与会议主题相关的视频资料（辅视频）；提供给会场三的显示画面为会场一、会场二以及会场四的现场视频（主视频），以及显示由会场一发送的与会议主题相关的视频资料（辅视频）。在会议进行的过程中，会议发起者可以根据会议进行的具体情况，分别更新各个显示画面的显示内容，例如切换某个或所有显示画面的主视频或辅视频的子画面显示位置或某个子画面的显示大小。四个会议现场的具体显示效果如图 10 -图 13所示。为达到上述显示效果，电视会议系统的多点控制单元判断用户订制的播放方式是将辅视频加入到主视频的同层视窗中的子画面显示。针对每一个会议终端，多点控制单元控制图像处理单元从主视频存储空间的相应子存储空间中获取除该会议现场之外的其余会场视频的视频流（其余会场视频流统称主视频流），从辅视频存储空间的相应子存储空间中获取辅视频流，对主视频流和辅视频流分别解码后再合并编码，分别生成针对各个视频终端的视频流，并将分别生成的视频流输出给相应的会议终端。从以上的描述中，可以看出，本发明实施例提供的电视会议系统分别对两路视频流解析与合并编码，输出一路视频流给会议终端，解决了现有的电视会议系统输出两路视频流给会议终端显示，导致的会议终端成本高，用户体验度差的问题，从而有效利用了电视会议系统的剩余资源，无需更换或增加会议终端的显示设备，而且在不改变原有会议终端显示方式和布局的前提下，在同一层视窗显示两路高清视频图像，满足了用户对高清主视频和高清辅视频同时显示的需求。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的 ^"神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书一种用于电视会议的视频播放方法，其特征在于，包括：

电视会议系统接收第一视频流和第二视频流；

解析所述第一视频流得到第一视频数据，解析所述第二视频流得到第二视频数据；

将所述第一视频数据与所述第二视频数据合并编码得到第三视频流;

发送所述第三视频流给会议终端。根据权利要求 1所述的方法，其特征在于，在所述第一视频流的带宽与所述第二视频流的带宽的总和不超过所述电视会议系统支持的总带宽的前提下，

所述第一视频流的带宽为小于所述总带宽的任意值；

所述第二视频流的带宽为小于所述总带宽的任意值。才艮据权利要求 1所述的方法，其特征在于，将所述第一视频数据与所述第二视频数据合并编码得到第三视频流的步骤包括：

分别确定所述第一视频数据的显示区域以及第二视频数据的显示区域；

通过将所述第一视频数据的显示区域和第二视频数据的显示区域合并到一个显示区域，对所述第一视频数据和第二视频数据合并编码得到所述第三视频流。才艮据权利要求 3所述的方法，其特征在于，在接收所述第一视频流和所述第二视频流之前，所述方法还包括：所述电视会议系统分配第一视频流存储空间和第二视频流存储空间。才艮据权利要求 4所述的方法，其特征在于，在解析所述第一视频流得到第一视频数据，解析所述第二视频流得到第二视频数据之前，所述方法还包括：从所述第一视频流存储空间获取所述第一视频流，从所述第二视频流存储空间获取所述第二视频流。

6. 根据权利要求 1至 5中任一项所述的方法，其特征在于，所述第一视频流包括各个会议现场的视频流。

7. 根据权利要求 6所述的方法，其特征在于，所述第一视频流存储空间包括：多个子存储空间，分别存储各个会议现场的视频流。

8. 根据权利要求 6所述的方法，其特征在于，

解析所述第一视频流得到第一视频数据包括：解析会议现场的视频流得到所述第一视频数据；

确定所述第一视频数据的显示区域包括：确定所述会议现场的显示区域。

9. 根据权利要求 8所述的方法，其特征在于，解析会议现场的视频流得到所述第一视频数据包括：解析一个或多个会议现场的视频流得到所述第一视频数据。

10. 根据权利要求 1至 5中任一项所述的方法，其特征在于，所述第二视频流包括一个或多个会议终端发送的其他视频流。

11. 根据权利要求 10所述的方法，其特征在于，所述第二视频流存储空间包括：多个子存储空间，分别存储来自各个会议现场的所述其他视频流。

12. 根据权利要求 10所述的方法，其特征在于，

解析所述第二视频流得到第二视频数据包括：解析会议终端发送的其他视频流得到所述第二视频数据；

确定所述第二视频数据的显示区域包括：确定所述其他视频流的显示区域。

13. 居权利要求 12所述的方法，其特征在于，解析会议终端发送的其他视频流得到所述第二视频数据包括：解析一个或多个会议终端发送的其他视频流得到所述第二视频数据。