WO2011029402A1

WO2011029402A1 - 视频图像数据处理方法、装置及视频会议系统及终端

Info

Publication number: WO2011029402A1
Application number: PCT/CN2010/076763
Authority: WO
Inventors: 魏小霞; 赵嵩; 王静; 刘源; 李凯
Original assignee: 华为终端有限公司
Priority date: 2009-09-10
Filing date: 2010-09-09
Publication date: 2011-03-17
Also published as: EP2469853B1; EP2469853A1; US20120169829A1; CN101668160A; CN101668160B; EP2469853A4

Description

视频图像数据处理方法、装置及视频会议系统及终端本申请要求于 2009 年 09 月 10 日提交中国专利局、申请号为 200910161963.9、发明名称为"视频图像数据处理方法、装置及视频会议系统及终端 "的中国专利申请的优先权，其全部内容通过引用结合在本申请中。技术领域

本发明涉及通信领域，特别涉及一种视频图像数据处理方法、装置及视频会议系统及终端。发明背景

随着编码和信息压缩技术的发展以及数字网络的高速发展，视频会议系统出现并步入市场，从上世纪 90年代初期第一套关于视频会议系统的国际标准（H.320 )获得通过并实施以来，视频会议系统得到了越来越广泛的应用，同时，其所提供的语音体验、视频体验的需求也越来越受到关注。对于语音体验需求方面，将向着高保真语音重现方面演进，而视频体验需求方面将向着高分辨率、宽视角方面演进。

现有的视频会议电视系统中，由发送端的视频会议终端釆用单个高清摄像头进行图像的捕获，捕获的高清视频分辨率一般为 720p30f、 720p60f、 1080i30f、 1080i 60f、 1080p30f、 1080p60f等，然后，将捕获的视频进行压缩编码，生成视频码流；接着，通过数据传输网络，将视频码流传送到接收端的视频会议终端；接收端的视频会议终端对接收到的视频码流进行解码，得到发送端的高清视频图像，并显示。

上述视频会议终端能够提供比标清视频会议终端更高的视频分辨率，能够给用户带来更好的视觉体验。但是，提供的视频图像视角比较有限。

思科公司的"网真"系统一定程度上解决了上述问题，该系统的结构如图 1 所示，包括多台视频终端、各视频终端配备一台高清摄像头，多台摄像头釆用严格物理位置摆放，以使得在釆集到的多路视频图像在位于同一水平面上的多台显示设备上进行显示时，给观看者的感觉是连续的。

然而，发明人发现，上述方案至少存在以下问题：

该方案对会议室的装修布局要求比较严格，尤其是对摄像机组的位置摆放、使用者距离摄像机组间距离的大小都有及其严格的要求，否则，显示设备上显示的图像将出现重叠的现象，这种严格要求使得系统的安装过程比较复杂。发明内容

有鉴于此，本发明实施例提供一种视频图像数据处理方法、装置及视频会议系统及终端，以解决现有技术存在的系统安装过程复杂的问题。

本发明实施例是这样实现的：

一种视频图像数据处理方法，包括：

获取多路相互关联的视频图像数据及关联信息；

利用所述关联信息将所述多路相互关联的视频图像数据组合成单路宽景视频图像数据；

将所述宽景视频图像数据重组成适应显示需求的多路视频图像数据后，发送给显示设备显示。

一种视频图像数据处理装置，包括：

数据输入接口，用于获取多路相互关联的视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据组合成单路宽景视频图像数据；

数据重组单元，用于将所述宽景视频图像数据重组成适应显示需求的多路视频图像数据；

多个数据输出接口，与外部显示设备相连，用于将所述数据重组单元处理得到的视频图像数据传输给所述显示设备。

一种视频图像数据处理装置，包括：数据输入接口，用于获取多台摄像机釆集的多路相互关联的视频图像数据及关联信息；

数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据组合成单路宽景视频图像数据；

数据发送单元，用于将所述数据重组单元处理得到的多路视频图像数据通过通信网络发送给远端的视频会议设备，以使该视频会议设备通过相应的显示设备显示。

一种视频图像数据处理装置，包括：

数据输入接口，用于获取编码后的多路视频图像数据；

多个数据解码器，同时对编码后的多路视频图像数据进行解码，解码后的多路视频图像数据包含所述宽景视频图像分割成的多个子图像及与其相对应的同步信息和重建信息；

数据同步单元，将所述解码后的子图像根据与其对应的同步信息进行归类；

数据重建单元，根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列；

多个数据输出接口，与外部多个显示设备相连，用于将所述数据重建单元处理得到的各路视频图像数据分别传输给相应的显示设备。

一种视频会议系统，包括：

数据输入接口，用于获取多路相互关联的视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据处理成单路宽景视频图像数据；

数据发送单元，用于将所述宽景视频图像数据通过通信网络发送；数据接收单元，用于接收承载于通信网络的宽景视频图像数据；数据重组单元，用于将所述数据接收单元接收的所述宽景视频图像数据重组成适应显示需求的多路视频图像数据；

多个数据输出接口，与外部多个显示设备相连，用于将所述数据重组单元处理得到的各路视频图像数据分别传输给相应的显示设备。

一种视频会议系统，包括：

数据输入接口，用于获取多路相互关联的视频图像数据及关联信息；数据发送单元，用于将所述多路相互关联的视频图像数据及关联信息通过通信网络发送；

数据接收单元，用于接收承载于通信网络的所述多路相互关联的视频图像数据及关联信息；

数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据处理成单路宽景视频图像数据；

一种视频会议系统，包括：

数据发送单元，用于将所述数据重组单元处理得到的多路视频图像数据通过通信网络发送；

数据接收单元，用于接收承载于通信网络的所述多路视频图像数据；多个数据输出接口，与外部多个显示设备相连，用于将所述数据接收单元接收到的各路视频图像数据分别传输给相应的显示设备。

一种视频会议终端，包括：

数据收发单元，用于将所述宽景视频图像数据通过通信网络发送给远端的视频会议设备，以及，接收所述视频会议设备通过所述通信网络发送的单路宽景视频图像数据；

数据重组单元，用于将所述数据收发单元接收到的宽景视频图像数据重组成适应显示需求的多路视频图像数据；

一种视频会议终端，包括：

数据输入接口，用于获取多路相互关联的视频图像数据及关联信息；数据收发单元，用于将所述多路视频图像数据及关联信息通过通信网络发送给远端的视频会议设备，以及，接收所述视频会议设备通过所述通信网络发送的多路视频图像数据及关联信息；

数据重组单元，用于将所述数据组合单元处理得到的宽景视频图像数据重组成适应显示需求的多路视频图像数据；

一种视频会议终端，包括：

数据收发单元，用于将所述数据重组单元处理得到的多路视频图像数据通过通信网络发送给远端的视频会议设备，以及，接收所述视频会议设备通过所述通信网络发送的经过重组得到的多路视频图像数据；

多个数据输出接口，与外部多个显示设备相连，用于将所述数据收发单元接收到的各路视频图像数据分别传输给相应的显示设备。

从上述的技术方案可以看出，与现有技术相比，本发明实施例在获取多个摄像机釆集的多路视频图像数据之后，将多路视频图像数据处理成单路宽景视频图像数据，并根据显示需要重组成若干路视频图像数据进行显示。此过程中，将多路视频图像数据处理成单路宽景视频图像数据的操作可以消除各视频图像数据之间存在的重叠的情况，因此，能够允许摄像机釆集的各路视频图像数据之间存在重叠，降低了对摄像机摆放位置及使用者与摄像机组之间的距离的要求，简化了系统的安装复杂度。附图简要说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图 1为现有技术提供的视频会议系统的结构示意图；

图 2为本发明实施例中关联视频图像示意图；

图 3为本发明实施例中对关联视频图像进行组合的示意图；

图 4为本发明实施例提供的一种视频图像数据处理方法的流程图；图 5a-图 5b为本发明实施例提供的一种视频图像数据处理方法中进行视频图像数据重组的示意图；图 6 为本发明实施例提供的一种视频图像数据处理方法中视频图像数据发送过程示意图；

图 7 为本发明实施例提供的一种视频图像数据处理方法中视频图像数据接收过程示意图；

图 8 为本发明实施例提供的一种视频图像数据处理装置的一种结构示意图；

图 9 为本发明实施例提供的一种视频图像数据处理装置的另一种结构示意图；

图 10为本发明实施例提供的一种视频图像数据处理装置的另一种结构示意图；

图 11为本发明实施例提供的一种视频图像数据处理装置的另一种结构示意图；

图 12为本发明实施例提供的一种视频会议系统的一种结构示意图；图 13为本发明实施例提供的一种视频会议系统的另一种结构示意图；图 14为本发明实施例提供的一种视频会议系统的另一种结构示意图；图 15为本发明实施例提供的一种视频会议终端的一种结构示意图；图 16为本发明实施例提供的一种视频会议终端的另一种结构示意图；图 17为本发明实施例提供的一种视频会议终端的另一种结构示意图；图 18为本发明实施例提供的一种视频会议终端的另一种结构示意图。实施本发明的方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

为了引用和清楚起见，本文中使用的技术名词、简写或缩写总结如下： H.320 , ITU-T Recommendation H.320 , Narrow-band visual telephone systems and terminal equipment, 国际电信联盟电信标准部指定的一种标准，此标准规定了基于窄带交换系统上的多媒体通信系统；

H.323 , ITU-T Recommendation H.323 , Packet-based Multimedia Communications Systems, 国际电信联盟电信标准部指定的一种标准，此标准规定了基于包交换系统下的多媒体通信系统架构；

IP, Internet Protocol, 即：网络协议；

ISDN, Integrated Services Digital Network, 即：综合服务数字网；

ITU-T , International Telecommunication Union Telecommunication Standardization Sector , 即：国际电信联盟电信标准部；

RTP, Real-time Transport Protocol, 实时传输协议；

MCU, Multipoint Control Unit, 多点控制单元；

UDP, User Datagram Protocol, 用户数据报协议；

YPbPr, 亮度 0 与色差 (Pb/Pr);

DVI, Digital Visual Interface, 数字视频接口；

HDMI , High Definition Multimedia Interface , 高清晰多媒体接口；

VGA, Video Graphic Array, 显示绘图阵列；

MPEG, Moving Pictures Experts Group, 即动态图像专家组， MPEG1、 MPEG2和 MPEG4都是 MPEG标准。

相互关联的视频图像（为了方便描述，下文统称为关联视频图像）：指的是多个摄像机在同一场景中获取的视频图像，一般来说，由于摄像机摆设位置相对随意，因此这些图像之间存在重叠区域，如图 2所示，阴影部分为图像 21和图像 22的重叠区域，图像 21和图像 22属于关联图像。

图像组合，将多幅来自同一场景的小尺寸（小视角）图像合成一幅大尺寸（广视角）的图像；针对上述互相关联的图像，拼装时将重叠区域进行处理。例如，对 2所示的图像 21和图像 22进行处理后，得到图像 23 , 如图 3 所示。图像重组，将一幅大尺寸的视频图像进行分割、滤波处理，形成多幅小尺寸视频图像。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例 , 都属于本发明保护的范围。

本发明实施例公开了一种视频图像数据处理方法，通过将获取的多路相互关联的视频图像数据组合成单路宽景视频图像数据，然后根据显示需要，将所述宽景视频图像数据重组成一路或多路（与显示设备数量相等）视频图像数据，由显示设备进行显示。

所述显示设备数量可以为多台，在将组合成的宽景视频图像数据重组成多路视频图像数据后，可以分别发送给各台显示设备。显示设备按照各路视频图像数据在所述宽景视频图像数据中的位置排列进行显示，即可为用户提供宽视角的视觉体验。具体过程如图 4所示，包括以下步骤：

步骤 S41、获取多路相互关联的视频图像数据及各视频图像数据之间的关联信息。

所述多路相互关联的视频图像数据来自设置在同一场景中的多台摄像机，这些摄像机架设于该场景中的不同位置。

所述关联信息包括：用于指示所述视频图像数据的物理位置信息，及所述视频图像数据被捕获的时间戳信息。

步骤 S42、依据所述关联信息将所述多路视频图像数据组合成单路宽景视频图像数据。

具体地，依据各路视频图像数据的物理位置及被捕获的时间戳信息，将各路视频图像数据进行组合，形成单路宽景视频图像数据。

步骤 S43、将所述宽景视频图像数据重组成适应显示需求的多路视频图像数据。针对显示设备的数量、支持画面的大小及支持的视频图像数据格式，将宽景视频图像数据重组、滤波成相应路数的视频图像数据。

步骤 S44、将重组得到的各路视频图像数据分别发送给各显示设备显示。如果显示设备的数量为 4个，如图 5a所示，分别为 51a、 52a、 53a和 54a, 将宽景视频图像数据按照显示位置重组成 4路，然后分别传输给对应的显示设备显示，于是，各显示设备依照图像在所述宽景视频图像数据中的位置排列即可将显示的图像组成一幅广视角的视频图像；如果显示设备的数量为 3 个，如图 5b所示，分别为 51b、 52b和 53b , 将宽景视频图像数据按照图像显示位置重组成 3路，然后分别传输给对应的显示设备显示。另外，显示设备所支持的显示画面大小有可能不同，于是，在进行宽景视频图像数据重组时，需要根据显示设备所支持的显示画面大小将宽景视频图像数据重组成相应尺寸的视频图像数据，例如显示设备支持 HDMI视频输入接口，同时支持 1080ρ视频格式，而宽景图像的分辨率为 4000*1080, 则在进行宽景视频图像数据重组时，将宽景视频图像数据重组成滤波成两路分辨率大小为 1920*1080 的 1080ρ的视频图像数据进行显示较为合适。

需要说明的是，上述步骤 S41 中，获取视频图像的视频接口类型可以为 YPbPr接口、 DVI接口、 HDMI接口或 VGA接口中的任意一种或几种 , 也就是说，各摄像机提供的视频输入接口可以相同，也可以不同。上述步骤 S43 中，重组而成的视频图像数据格式与显示设备支持的视频图像格式相一致，根据显示设备所支持视频图像格式而定。

另外需要说明的是，上述步骤 S41 中视频输入接口类型与步骤 S44输出的视频输出接口类型可以相同（如视频输入接口类型为 YPbPr接口，输出视频接口类型也为 YPbPr接口）或不同（如视频输入接口类型为 YPbPr接口，输出视频接口类型可为 HDMI接口）。当各显示设备所支持的视频接口类型、视频图像数据格式不同时，在将单路宽景视频图像数据重组成多路视频图像数据之后，还需要根据对应显示设备所支持的视频接口类型、所支持的视频图像格式，将所述各路视频图像数据分别进行格式转换后，再发送给相应显示设备。

本发明实施例在获取多个摄像机釆集的多路视频图像数据之后，将多路视频图像数据组合成单路宽景视频图像数据，根据显示需要重组成若干路视频图像数据，然后发送给显示设备显示。只需要将显示设备按照视频图像在所述宽景视频图像数据中的位置排列即可将显示的视频图像组合成广视角视频图像，为用户提供较好的视觉体验。并且，本发明实施例将多路视频图像数据组合成单路宽景视频图像数据，由于在组合过程中可以消除各视频图像数据之间存在的重叠情况，因此，可以允许各摄像机获取的图像存在重叠现象，这意味着对摄像机摆放位置及使用者与摄像机组之间的距离没有特别严格的要求，降低了安装摄像机的复杂度。

所述显示设备也可以为具备适应宽景视频图像数据的显示设备，此时，其数量可以为一台，在将组合成的宽景视频图像数据重组成多路视频图像数据后，将所述多路视频图像数据按照其在宽景视频图像数据中的位置分路发送给所述显示设备，由该显示设备将各路视频图像组合成宽景视频图像数据后进行显示。本发明实施例可以应用于远程宽景视频会议过程，参加会议各方都可以将本方视频图像数据发送给对方（即：视频图像数据发送过程），并接收对方发送的视频图像数据并显示（即：视频图像数据接收过程）。

所述视频图像数据发送过程可以如图 6所示，包括以下步骤：

步骤 S61、获取架设在本方会场的多台摄像机釆集的视频图像数据及各视频图像数据间的关联信息。

其中，各台摄像机架设位置不同，但获取的视频图像数据相互关联，所述关联信息包括各视频图像数据的物理位置及获取时间戳。

步骤 S62、依据各视频图像数据的物理位置及获取时间戳，将多路视频图像数据组合成单路宽景视频图像数据。

步骤 S63、将所述宽景视频图像数据通过通信网络发送。本技术领域人员可以理解，在上述步骤 S61 中多台摄像机釆集的视频图像数据及各视频图像数据间的关联信息的获取过程是同时进行的，毋庸置疑，为了让多个显示器前的用户能够看到摄像机前同一时间的画面，必须保证多个摄像机同步釆集场景图像。另外，为了保证所传输的视频图像的完整性，必须保证相邻的摄像机拍摄的场景不能有脱离的现象，最好有重叠区域，在图像组合过程中可以消除所述重叠区域。

本实施例中，所述通信网络的网络接口可以是：基于电路交换的 ISDN、 El接口、 V35接口、基于包交换的以太网接口或基于无线连接的无线端口等。

与上述视频图像发送过程相对应，所述视频图像数据接收过程可以如图 7 所示，包括以下步骤：

步骤 S71、从通信网络获取发自对方会场的宽景视频图像数据。

步骤 S72、将所述宽景视频图像数据重组成适应显示需求的多路视频图像数据。

步骤 S73、将各路视频图像发送给相应显示设备显示。

在其他实施例中，所述视频图像数据发送过程也可以是：在获取多路视频图像数据及各视频图像数据间的关联信息后，直接通过通信网络发送。相应地，所述视频图像数据接收过程为：接收所述多路视频图像数据及关联信息后，依据所述关联信息将多路视频图像数据组合成单路宽景视频图像数据，根据显示设备的数量，将所述宽景视频图像数据重组成多路视频图像数据后发送给相应显示设备显示。需要说明的是，这些实施例中，所述多路视频图像数据间的关联信息可以嵌入视频图像数据 (或者经过压缩的视频图像数据）中进行传输，例如，当所述通信网络为以太网时，所述关联信息可以被嵌入在视频 RTP包中进行传输，此方式有利于关联信息与视频图像数据同步。当然，所述关联信息也可以单独传输，例如通过独立数据通道传输。

在其他实施例中，所述视频图像数据发送过程还可以是：获取多路视频图像数据及各视频图像数据间的关联信息后，依据所述关联信息将多路视频图像数据组合成单路宽景视频图像数据，根据显示设备（对方会场的显示设备）的数量，将所述宽景视频图像数据重组成多路视频图像数据后，通过通信网络发送。相应地，所述视频图像数据接收过程为：通过接收所述重组得到的多路视频图像数据，直接发送给本方会场的显示设备显示。

此外，上述实施例中，发送端发送的宽景视频图像数据的方式可以是直接发送，也可以是通过编码后发送。所述编码方式可以是： H.261、 H.263、 H.264、 MPEG1、 MPEG2或 MPEG4。相应的，接收端接收的宽景视频图像数据可以是没有经过编码的原始数据，也可以是经过编码的数据。需要说明的是，组合后的图像的尺寸一般情况下是原始图像的尺寸的几倍，这种情况下，即便釆用编码器进行编码，其传输的数据量仍然是比较大的，这对编码器的能力提出了苛刻的要求。基于此，本发明另外实施例釆用多个编码器并列处理的方式，另外，由于图像数据的随机性，经过编码之后的数据顺序已经不能保证同步性了，为了保证在显示端多个显示器显示的图像为同一时间拍摄的，需要对编码之后的数据进行同步处理。

具体的，上述将宽景视频图像数据重组的过程实际上是图像分割过程，包括步骤：

a、将所述宽景视频图像分割为多个子图像，同时得到生成所述多个子图像的多个同步信息，每个子图像对应一个同步信息。

所述同步信息具体为：接收到的所述宽景视频图像数据的时间戳，也可以为自定义的序号，所述序号的定义方式要保证属于同一宽景视频图像数据分割后的多个子图像的序号符合预先设定的规律，例如可以是相同或者相连续。

b、为每个子图像的分割方式分配重建信息，所述重建信息用来记录每个子图像的分割方式。

c、将各子图像及其对应的同步信息和重建信息发送给其他设备。

于是，上述一种视频图像数据处理方法进一步包括同步过程和重建过程，下面分别进行介绍：

所述同步过程如下：

首先，接收所述其他设备发送的各子图像及其对应的同步信息和重建信息，然后，根据所述同步信息对所述子图像进行归类，找出属于同一宽景视频图像数据分割后的多个子图像，即在同一时间得到的图像信息。

执行上述方法的设备具有接收緩存、重建緩存和发送緩存，接收緩存接收进行分割后的子图像，属于同一幅宽景图像的子图像的同步信息符合预先设定的规律，例如相同或相连续，重建緩存中存储待重建的子图像，发送緩存存储重建的图像。

所述重建信息可以是分割方式，所述重建过程为：根据所述分割对所述归类后的子图像进行重建，得到多路视频图像数据，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。

所述同步和重建的具体过程可以包括：

步骤 a、初始化操作，即确定最小同步信息 MinSyinfo;

该步骤所述的 "最小同步信息" 有可能不是最小的，其可以是任意选出来的，是假定的 "最小同步信息"。

步骤 b、从接收緩存中取出未被选取子图像，获取其同步信息 CurrSyinfo。步骤 c、判断 MinSyinfo是否大于 CurrSyinfo, 如果是，进入步骤 d; 否则，进入步骤 e;

步骤 d、将 CurrSyinfo确定为 MinSyinfo, 返回步骤 b;

步骤 e、进行 CDT(Check Delay Time, 检测处理延时)处理，如果所述处理延时大于规定延时，则进入步骤 f; 否则，进入步骤 g;

步骤 f、将发送緩存中存储的图像直接输出，并返回步骤 a;

步骤 g、判断 MinSyinfo是否小于 CurrSyinfo, 如果是，返回步骤 b; 否则，进入步骤 h;

步骤 h、进行 CDT处理，如果所述处理延时大于规定延时，则进入步骤 f; 否则，进入步骤 i;

步骤 i、将该子图像存储至重建緩存；

步骤 j、判断所述接收緩存中是否还存在未被选取的子图像，若是，返回步骤 b, 若否，进入步骤 k;

步骤 k、将重建緩存中存储的子图像根据重建信息进行重建，将重建后的图像存储至发送緩存，并进入步骤 f。

可以理解的是，步骤 f中发送緩存发送数据后，并不立即释放该緩存，因此当从步骤 e或步骤 f进入步骤 f时，所述发送緩存中存储的图像是成功重建的前一帧图像；所述发送緩存中存储的图像由步骤 k更新，所述更新可以是数据覆盖的方式，也可以是先释放所述发送緩存，再存入数据的方式，或者其他数据更新方式。

在其他实施例中，在重组过程中，在将所述多个子图像及其对应的同步信息和重建信息发送之前，将所述多个子图像及其对应的同步信息和重建信息进行编码，编码方式可以是符合现在主流的各种标准的压缩标准码流格式，如 h261、 h263、 h263++、 mpegl、 mpeg2或 mpeg4等多种方式。

相应的，在所述同步过程中，接收所述子图像及其对应的同步信息和重建信息后，先进行解码，对应上述重组过程的多个编码器，相应的解码器也可以设置有多个。然后，根据所述同步信息对所述解码后的子图像进行归类，找出属于同一宽景视频图像数据分割后的多个子图像，即在同一时间得到的图像信息。

本发明实施例同时还公开了一种视频图像数据处理装置，可实现上述实施例公开的方法。

所述视频图像数据处理装置的一种结构形式如图 8 所示，包括：数据组合单元 81、数据重组单元 82、数据输入接口 83和数据输出单元 84。

其中：

数据输入接口 83的数量为多个，分别与多台摄像机相连，用于获取多路视频图像数据及各路视频图像数据间的关联信息，所述关联信息包括：用于指示所述视频图像数据的物理位置信息，及所述视频图像数据被捕获的时间戳信息。

数据组合单元 81 , 用于依据所述关联信息，将所述多路视频图像组合成单路宽景视频图像数据。具体的，依据各路视频图像数据的物理位置及获取时间，将所述多路视频图像组合成单路宽景视频图像数据。

数据重组单元 82,针对显示设备的数量和大小及所支持的视频图像格式，将所述单路宽景视频图像数据重组成适应多个显示设备播放的多路视频图像数据。

数据输出单元 84,用于将数据重组单元 82处理得到的多路视频图像数据于是，所述处于远端的视频会议设备即可将多路视频图像数据按照视频图像在宽景视频图像中的位置排列后，传输给所述多个显示设备。所有显示设备显示的视频图像即可组合成一幅广视角的视频图像，为用户带来宽景的视觉体验。

数据输入接口 83的类型可以是 YPbPr接口、 DVI接口、 HDMI接口或 VGA接口等。

需要说明的是，为了减少发送的数据量并保证发送的安全性，所述视频图像数据处理装置的另一种结构还可以包括用于进行压缩编码的功能单元，如图 9所示，包括数据组合单元 91、数据重组单元 92、数据输入接口 93、数据输出单元 94和数据编码器 95。

其中：

数据组合单元 91、数据重组单元 92、数据输入接口 93和数据输出单元 94的功能，分别与数据组合单元 81、数据重组单元 82、数据输入接口 83和数据输出单元 84的功能基本相同。

数据编码器 95，用于获取数据重组单元 92重组得到的多路视频图像数据，进行编码后提供给数据输出单元 94。其编码方式可以是： H.261、H.263、H.264、 MPEG1、 MPEG2或 MPEG4。

为了使数据处理的速度更快，以保证数据传输的实时性，在另外实施例中可釆用多个数据编码器同时对数据重组单元 92重组得到的多路视频图像数据进行编码处理。这种情况下，数据重组单元 92处理得到的各路视频图像数据均包括：所述宽景视频图像重组后的每个子图像及与其对应的同步信息和重组信息。在数据输出单元 94将多个编码器编码处理的多路视频图像数据输出后，接收所述多路视频图像数据的设备即可依据所述同步信息和重建信息进行同步过程和重建过程，所述同步过程和重建过程的具体内容可参照前文方法部分的描述，在此不在赘述。

所述接收多路视频图像数据的设备即是所述视频图像数据处理装置的另一种结构形式，包括：多个数据输入接口和多个数据输出接口，另外，还包括数据解码器、数据同步单元和数据重建单元，其中：

所述数据输入接口用于获取编码后的多路视频图像数据；

所述数据解码器数量为多个，用于同时对编码后的多路视频图像数据进行解码，解码后的多路视频图像数据包含所述宽景视频图像分割成的多个子图像及与其相对应的同步信息和重建信息；

所述数据同步单元用于：将所述解码后的子图像根据与其对应的同步信息进行归类，具体过程可参照前文方法实施例部分的描述。

所述数据重建单元用于：根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，并提供给数据输出接口，各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。

所述视频图像数据处理装置的另一种结构形式如图 10所示，包括：数据组合单元 101、数据重组单元 102及数据输入接口 103和多个数据输出接口 104。

其中：数据组合单元 101和数据重组单元 102的功能，分别与数据组合单元 81 和数据重组单元 82的功能基本相同。

本结构与图 8所示结构的区别在于：数据输入接口 103获取的多路视频图像数据和各路视频图像之间的关联信息，是由其他设备从通信网络发送过来的。多个数据输出接口 104分别与多个显示设备相连接，用于将数据重组单元 102处理得到的多路视频图像数据按照视频图像在宽景视频图像中的位置排列发送给各显示设备，所有显示设备显示的视频图像即可组合成一幅广视角的视频图像。

具体的，数据输入接口 103 可以由网络接口和数据接收单元组成，所述网络接口用于与通信网络建立连接，所述数据接收单元通过所述网络接口接收其他设备从通信网络传送过来的视频图像数据。

所述网络接口可以是基于电路交换的 ISDN、 El接口、 V35接口、基于包交换的以太网接口或基于无线连接的无线端口。

另外，如果数据输入接口 103接收到的多路视频图像数据和各路视频图像之间的关联信息是经过编码的，则所述视频图像数据处理装置的另一种结构中需要包括用于解码的功能单元，如图 11所示，包括：数据组合单元 111、数据重组单元 112、多个数据输入接口 113和数据输出接口 114, 还包括数据解码器 115 , 其中：

数据组合单元 111、数据重组单元 112、数据输入接口 113和数据输出接口 114的功能，分别与数据组合单元 101、数据重组单元 102、数据输入接口 103和数据输出接口 104的功能基本相同。

数据编码器 115 ,用于对数据输入接口 113获取的多路视频图像数据和各路视频图像之间的关联信息进行解码，然后提供给数据组合单元 111。

此外，本发明实施例还提供了一种视频会议系统，该系统的一种具体结构如图 12所示，包括：数据组合单元 121、数据发送单元 122、数据接收单元 123、数据重组单元 124及多个数据输入接口 125和数据输出接口 126。其中：

数据组合单元 121、数据发送单元 122和数据输入接口 125位于视频会议的一方会场。多个数据输入接口 125获取多路视频图像数据及各路视频图像数据间的关联信息，并由数据组合单元 121依据所述关联信息，将所述多路视频图像组合成单路宽景视频图像数据，然后，由数据发送单元 122将该单路宽景视频图像数据通过通信网络发送给位于远端的另一方会场。

数据接收单元 123、数据重组单元 124及数据输出接口 126位于所述位于远端的另一方会场。数据接收单元 123 将接收承载于通信网络的单路宽景视频图像数据，然后提供给数据重组单元 124,数据重组单元 124依据显示设备的数量、支持的画面大小及视频图像格式，将所述单路宽景视频图像数据重组成适应多个显示设备播放的多路视频图像数据，由数据输出接口 126提供给与其对应的显示设备。

所述显示设备按照所述视频图像在宽景视频图像中的位置摆放，所有显示设备显示的视频图像即可组合成一幅广视角的视频图像，为用户带来宽景的视觉体验。

需要说明的是，数据输入接口 125 和数据输出接口 126 的类型可以是 YPbPr接口、 DVI接口、 HDMI接口或 VGA接口。另夕卜，数据输入接口 125 和数据输出接口 126的类型可以不一样，数据输入接口 125获取的视频图像数据可以由数据重组单元 123在重组时，针对数据输出接口 126的类型进行格式转换。例如：数据输入接口 125为 DVI接口，其获取的视频图像数据为 DVI格式，而数据输出接口 126是 HDMI接口，因此，数据重组单元 123在进行视频图像数据重组时，需要将 D VI格式视频图像数据转换为 HDMI格式视频图像数据。

各方会场需要同时担当发送方和接收方的工作，也即：通过数据输入接口 125、数据组合单元 121和数据发送单元 122发送本方会场的视频图像数据，通过数据接收单元 123、数据重组单元 124及数据输出接口 126接收、处理对方会场的视频图像数据。

需要说明的是，在其他结构形式的系统中，发送方的工作仅需通过数据输入接口 125获取多路视频图像数据及各路视频图像数据之间的关联信息，然后通过通信网络发送对方会场。接收方从通信网络获取所述多路视频图像数据及各路视频图像数据之间的关联信息后，进行组合、重组等操作。请参考图 13 , 为本发明实施例提供的一种视频会议系统的另一种结构示意图，包括：数据组合单元 131、数据发送单元 132、数据接收单元 133、数据重组单元 134及多个数据输入接口 135和数据输出接口 136。

其中：

数据发送单元 132和多个数据输入接口 135位于一方会场，数据接收单元 133、数据组合单元 131、数据重组单元 134及多个数据输出接口 136位于另一方会场。

多个数据输入接口 135获取多路视频图像数据及各路视频图像数据间的关联信息，数据发送单元 132将所述多路视频图像数据及各路视频图像数据间的关联信息通过通信网络发送给另一方会场；处于另一方会场的数据接收单元 133接收到所述多路视频图像数据及各路视频图像数据间的关联信息后，提供给数据组合单元 131 ,数据重组单元 131依据所述关联信息将所述多路视频图像数据组合成单路宽景视频图像数据后，提供给数据重组单元 134, 数据重组单元 134依据显示设备的数量、支持的画面大小及视频图像格式，将所述单路宽景视频图像数据重组成适应多个显示设备播放的多路视频图像数据，由数据输出接口 136提供给与其对应的显示设备。

需要说明的是，由于上述数据发送单元（数据发送单元 122和 132 )将视频图像数据通过通信网络发送的，因此，为了减少发送的数据量并保证数据的安全性，所述数据发送单元发送的数据可以经过编码。相应的，所述数据接收单元（数据接收单元 123和 133 )在接收到通信网络发送的数据后进行解码。需要说明的是，在其他结构形式的系统中，发送方在接收到多路视频图像数据及关联信息后，依据所述关联信息将所述多路视频图像数据组合成单路宽景视频图像数据，然后重组成若干路视频图像数据并发送；接收方接收所述若干路视频图像数据后提供给本方会场的显示设备显示。具体结构形式如图 14所示，包括：数据组合单元 141、数据发送单元 142、数据接收单元 143、数据重组单元 144及多个数据输入接口 145和数据输出接口 146。

其中：

各单元的功能与图 12、图 13中的各单元的功能基本相同，所不同的是：数据输入接口 145、数据组合单元 141、数据重组单元 144和数据发送单元 142 处于一方会场，数据接收单元 143和数据输出接口 146处于另一方会场。这意味着，处于一方会场的数据重组单元 144需要根据另一方会场的显示设备的数量、支持的画面大小及视频图像格式进行视频图像数据重组。

此外，在另外的结构中，还可以进一步包括数据编码器、数据解码器、数据同步单元和数据重建单元，其中：

所述数据编码器数量为多个，设置于数据重组单元 144所在会场，用于同时对数据重组单元 144 重组得到的多路视频图像数据进行处理，所述数据重组单元 144重组得到的各路视频图像数据包括：所述宽景视频图像分割后的每个子图像及与其对应的同步信息和重组信息；

所述数据解码器数量与所述数据编码器的数量相同，设置于数据接收单元 143所在会场，用于同时对数据接收单元 143接收的经过编码的多路视频图像数据进行解码；

所述数据同步单元用于：将经过所述各个数据解码器解码后的子图像根据与其对应的同步信息进行归类，具体过程可参照前文方法实施例部分的描述。

所述数据重建单元用于：根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，并提供给数据输出接口，各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。量、支持的画面大小及视频图像格式相同）的情况。

针对上述视频图像数据处理方法、装置及会议系统，本发明实施例同时还公开了一种视频会议终端，考虑到视频会议的各方的角色都是相互的（同时作为发送方和接收方），所述视频会议终端的一种具体结构如图 15 所示，包括：数据组合单元 151、数据收发单元 152、网络接口 153、数据重组单元 154及多个数据输入接口 155和数据输出接口 156。

其中：

网络接口 153用于与外部通信网络建立连接，数据收发单元 152用于获取通信网络发送的数据，及向所述通信网络发送数据。

其他的功能单元，如数据组合单元 151、数据重组单元 154、数据输入接口 155和数据输出接口 156的功能，可参照前文视频图像数据处理装置及视频会议系统部分的内容。

作为发送方，所述视频会议终端需要获取本方会场的多路视频图像数据及各路视频图像数据之间的关联信息，组合成单路宽景视频图像数据后通过通信网络发送给对方会场；同时作为接收方，所述视频会议终端需要接收对方会场通过通信网络发送过来的宽景视频图像数据，重组处理成多路视频数据图像后传输给本方会场的显示设备。

图 16示出了所述视频会议终端的另一结构，包括数据组合单元 161、数据收发单元 162、网络接口 163、数据重组单元 164及多个数据输入接口 165 和数据输出接口 166 , 还包括数据编码器 167和数据解码器 168。

其中：

数据组合单元 161、数据收发单元 162、网络接口 163、数据重组单元 164、数据输入接口 165和数据输出接口 166的功能，分别与数据组合单元 151、数据收发单元 152、网络接口 153、数据重组单元 154、数据输入接口 155和数据输出接口 156的功能基本相同。

数据编码器 167在数据收发单元 162发送数据之前，对数据进行编码，数据解码器 168在数据收发单元 162接收数据之后，对数据进行解码。

所述视频会议终端的另一结构如图 17所示，包括：数据组合单元 171、数据收发单元 172、网络接口 173、数据重组单元 174及多个数据输入接口 175 和数据输出接口 176。

其中：

各单元的功能分别与图 15中各单元的功能基本相同。

所不同的是，所述视频会议终端作为发送方时，获取本方会场的多路视频图像数据及各路视频图像数据之间的关联信息后，直接通过通信网络发送给对方会场。同时，作为接收方时，接收对方会场通过通信网络发送过来的多路视频图像数据及各路视频图像数据之间的关联信息，组合成单路宽景视频图像数据后，再重组处理成多路视频数据图像后传输给本方会场的显示设备。

图 18示出了所述视频会议终端的另一结构，包括数据组合单元 181、数据收发单元 182、网络接口 183、数据重组单元 184及多个数据输入接口 185 和数据输出接口 186 , 还包括数据编码器 187和数据解码器 188, 其中：

各单元的功能与图 16所示的各单元的功能基本相同，所不同的是：所述视频会议终端作为发送方时，获取本方会场的多路视频图像数据及各路视频图像数据之间的关联信息，并进行编码后直接通过通信网络发送给对方会场。同时，作为接收方时，接收对方会场通过通信网络发送过来的多路视频图像数据及各路视频图像数据之间的关联信息，解码后组合成单路宽景视频图像数据，然后重组处理成多路视频数据图像后传输给本方会场的显示设备。

在另外的实施例中，视频会议终端作为发送方时，获取本方会场的多路视频图像数据及各路视频图像数据之间的关联信息，组合成单路宽景视频图像数据，并依据对方会场的显示设备的数量、支持的画面大小及视频图像格式，将所述单路宽景视频图像数据重组成适应多个显示设备播放的多路视频图像数据，然后通过通信网络（或者进行编码后通过通信网络）发送往对方会场。同时，作为接收方时，接收对方通过通信网络发送的多路视频数据图像后，提供给本方会场的显示设备显示（或者进行解码后提供给本方会场的显示设备显示）。需要说明的是，在这种情况下，在进行编码时可通过多个编码器同时对重组得到的多路视频图像数据进行编码，在进行解码时，通过多个解码器同时对经过编码的多路视频图像数据进行解码，并且，进行同步过程和重建过程，即：将经过所述数据解码器解码后的子图像根据与其对应的同步信息进行归类，根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。

本说明书中各个实施例釆用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域技术人员可以理解，可以使用许多不同的工艺和技术中的任意一种来表示信息、消息和信号。例如，上述说明中提到过的消息、信息都可以表示为电压、电流、电磁波、磁场或磁性粒子、光场或以上任意组合。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关硬件完成的，该程序可以存储于一计算机可读存储介质中，存储介质可以包括： ROM、 RAM, 磁盘或光盘等。以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求

1、一种视频图像数据处理方法，其特征在于，包括：

获取多路相互关联的视频图像数据及关联信息；

2、如权利要求 1所述的方法，其特征在于，所述关联信息包括：各路视频图像的物理位置关系信息和时间戳信息。

3、如权利要求 1所述的方法，其特征在于，所述获取多路相互关联的视频图像数据及关联信息具体为：获取承载于通信网络上的多路相互关联的视频图像数据及关联信息。

4、如权利要求 1所述的方法，其特征在于，所述获取多路相互关联的视频图像数据及关联信息具体为：获取架设视频会议一方现场的多台摄像机釆集的多路相互关联的视频图像数据及关联信息。

5、如权利要求 1所述的方法，其特征在于，所述将宽景视频图像数据重组的过程包括：分割过程，所述分割过程包括：

将所述宽景视频图像分割为多个子图像，同时生成各子图像的同步信息；按照分割方式为每个子图像分配重建信息；

发送所述多个子图像及其对应的同步信息和重建信息；

所述方法还包括，同步过程和重建过程，其中：

所述同步过程包括：

接收所述子图像、同步信息和重建信息；

根据所述同步信息对所述子图像进行归类，属于同一幅宽景视频图像的子图像属于同一类；

所述重建过程包括：根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。

6、如权利要求 5所述的方法，其特征在于，所述同步信息为序号或时间戳。

7、如权利要求 5所述的方法，其特征在于，发送所述多个子图像及其对应的同步信息和重建信息之前先对所述多个子图像及其对应的同步信息和重建信息进行编码，所述编码具体为：利用多个编码器同时对所述分割后的多路子图像及其对应的同步信息和重建信息进行编码；

所述同步过程中接收所述子图像、同步信息和重建信息具体为：利用多个解码器同时对接收到的所述编码后的信息进行解码。

8、如权利要求 5所述的方法，其特征在于，所述生成多个子图像的多个同步信息具体为：生成所述宽景视频图像数据时的时间戳，或者，生成自定义的序号，属于同一宽景视频图像数据分割后的多个子图像的序号相同。

9、一种视频图像数据处理装置，其特征在于，包括：

10、如权利要求 9 所述的装置，其特征在于，所述多路相互关联的视频图像数据及关联信息来自外部通信网络，所述视频图像数据输入接口为 ISDN, El、 V35、基于包交换的以太网接口或基于无线连接的无线端口。

11、如权利要求 9所述的装置，其特征在于，还包括：

数据解码器，当所述数据输入接口接收到的视频图像数据为经过编码后的视频图像数据时，对视频图像数据进行解码，并提供给所述数据组合单元。

12、如权利要求 9 所述的装置，其特征在于，所述关联信息包括：各路视频图像的物理位置关系信息和时间戳信息。

13、一种视频图像数据处理装置，其特征在于，包括：

数据输入接口，用于获取多台摄像机釆集的多路相互关联的视频图像数据及关联信息；

14、如权利要求 13所述的装置，其特征在于，所述数据重组单元生成的所述多路视频图像数据包括：所述宽景视频图像重组后的各个子图像及与各子图像对应的同步信息和重组信息。

15、如权利要求 13所述的装置，其特征在于，还包括：

数据编码器，用于将所述数据重组单元处理得到的多路视频图像数据进行编码后，提供给所述数据发送单元。

16、如权利要求 15所述的装置，其特征在于，所述数据编码器的个数为多个，多个数据编码器同时对多路视频图像数据进行编码。

17、一种视频图像数据处理装置，其特征在于，包括：

数据输入接口，用于获取编码后的多路视频图像数据；

多个数据解码器，同时对编码后的多路视频图像数据进行解码，解码后的多路视频图像数据包含所述宽景视频图像分割成的多个子图像及与其相对应的同步信息和重建信息；数据同步单元，将所述解码后的子图像根据与其对应的同步信息进行归类；

18、一种视频会议系统，其特征在于，包括：

19、如权利要求 18所述的系统，其特征在于，还包括：

数据编码器，用于将所述数据组合单元处理得到的宽景视频图像数据进行编码后，提供给所述数据发送单元；

数据解码器，用于将所述数据接收单元接收的宽景视频图像数据进行解码后，提供给所述数据重组单元。

20、一种视频会议系统，其特征在于，包括：

数据输入接口，用于获取多路相互关联的视频图像数据及关联信息；数据发送单元，用于将所述多路相互关联的视频图像数据及关联信息通过通信网络发送；数据接收单元，用于接收承载于通信网络的所述多路相互关联的视频图像数据及关联信息；

21、如权利要求 20所述的系统，其特征在于，还包括：

数据编码器，用于将所述数据输入接口获取的多路相互关联的视频图像数据及关联信息进行编码后，提供给所述数据发送单元；

数据解码器，用于将所述数据接收单元接收的多路相互关联的视频图像数据及关联信息进行解码后，提供给所述数据组合单元。

22、一种视频会议系统，其特征在于，包括：

23、如权利要求 22所述的系统，其特征在于，还包括：

数据编码器，用于将所述数据重组单元重组得到的多路视频图像数据进行编码后，提供给所述数据发送单元；

数据解码器，用于将所述数据接收单元接收的多路视频图像数据进行解码后，提供给所述数据输出接口。

24、如权利要求 23所述的系统，其特征在于，所述数据重组单元重组得到的各路视频图像数据包括：所述宽景视频图像重组后的每个子图像及与其对应的同步信息和重组信息；

所述数据编码器和数据解码器的个数均为多个，多个数据编码器同时对多路视频图像数据进行编码，多个数据解码器同时对多路视频图像数据进行解码；

所述系统还包括：

数据重建单元，根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，提供给多个数据输出接口，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。

25、一种视频会议终端，其特征在于，包括：

26、一种视频会议终端，其特征在于，包括：

27、一种视频会议终端，其特征在于，包括：

28、如权利要求 27所述的终端，其特征在于，还包括：

多个数据编码器，用于将所述数据重组单元重组得到的包含的多路视频图像数据进行编码后，提供给所述数据收发单元，其中，各路视频图像数据包括所述宽景视频图像分割后的每个子图像及与其对应的同步信息和重组信息的；

数据解码器，用于将所述数据收发单元接收的所述多路视频图像数据进行解码后，提供给数据同步单元；

数据同步单元，用于将经过所述数据解码器解码后的子图像根据与其对应的同步信息进行归类；

数据重建单元，用于根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，提供给所述多个数据输出接口，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。