WO2011091604A1

WO2011091604A1 - 视频通信的方法、装置和系统

Info

Publication number: WO2011091604A1
Application number: PCT/CN2010/070427
Authority: WO
Inventors: 刘源; 赵光耀; 王静
Original assignee: 华为终端有限公司
Priority date: 2010-01-29
Filing date: 2010-01-29
Publication date: 2011-08-04
Also published as: EP2525574A1; US20120287222A1; US8890922B2; EP2525574A4

Description

视频通信的方法、装置和系统技术领域

本发明涉及通信领域，尤其涉及一种视频通信的方法、装置和系统。背景技术

现有技术中的远程呈现会议系统的大致布局如图 1 所示。该系统包含三个大屏幕显示器 1、 2、 3 , 三个高清摄像机 4、 5、 6, 用来拍摄会议桌 8前面坐着的参会者 14至 19。每个显示器显示一部分参会者，例如每个显示器显示两个参会者， 3个显示器显示的内容构成一个完整的会议场景。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：由于多个摄像机之间和多个显示设备之间存在差异，使得每幅图像之间会存在亮度和颜色差异；并且每两幅图像在交接处会存在图像过渡差异，例如，在图 1 中，摄像机 4和 5由于安放位置的限制，造成相邻两个摄像机的拍摄区域产生缺失或重叠，例如摄像机 4会拍摄到 16的一部分图像，或者 5会拍摄到 15的一部分图像，或者摄像机 4和 5都没有拍摄到 15和 16中间部分的区域，因而导致最终图像显示效果不理想，不能给予用户一个无缝式的全景体验。发明内容

本发明的实施例提供一种视频通信的方法、装置和系统，能够生成大范围、高分辨率的全景视频图像并进行无缝呈现，给用户提供一个较好的沉浸式全景体验。

为达到上述目的，本发明的实施例釆用如下技术方案：

一种视频通信站点，包括：

至少两个本地摄像机，用于指向至少两个本地用户部分，拍摄至少两路本地用户部分的本地视频图像；本地摄像拼接融合器，用于根据第一视频处理参数中的融合参数，对所述拍摄得到的至少两路本地用户部分的本地视频图像进行融合，生成全景视频图像；并将所述全景视频图像编码成视频码流，将所述视频码流发送给远端的视频通信站点；

本地显示融合器，用于从远端接收到的视频码流中分别解码得到至少两路视频数据；根据第二视频处理参数中的融合参数，对所述解码得到的至少两路视频数据进行融合；将融合后的至少两路视频数据输出给本地显示设备；至少两个本地显示设备，用于显示经过所述本地显示融合器融合后的至少两路视频数据。

提供一种视频通信的方法，包括：

获取至少两路本地视频图像；

根据第一视频处理参数中的融合参数，对所述至少两路本地视频图像进行融合，生成全景视频图像；

将所述全景视频图像发送给视频编码器，通过所述视频编码器将所述全景视频图像编码成视频码流，并将所述视频码流发送出去。

还提供一种视频通信的方法，包括：

获取视频解码器从视频码流中解码出的至少两路视频数据，所述视频码流由所述视频解码器从远端的视频通信站点接收得到；

根据第二视频处理参数中的融合参数，对所述至少两路视频数据进行融合；

将所述融合后的至少两路视频数据输出给显示设备，由所述显示设备显示所述融合后的至少两路视频数据。

还提供一种视频通信的装置，包括：

第一获取单元，用于获取至少两路本地视频图像；

第一融合单元，用于根据第一视频处理参数中的融合参数，对由所述第一获取单元获取的至少两路本地视频图像进行融合，生成全景视频图像；第一发送单元，用于将由所述第一融合单元获得的全景视频图像发送给视频编码器，通过所述视频编码器将所述全景视频图像编码成视频码流，并将所述视频码流发送出去。

还提供一种视频通信的装置，包括：

第二获取单元，用于获取视频解码器从视频码流中解码出的至少两路视频数据，所述视频码流由所述视频解码器从远端的视频通信站点接收得到；第二融合单元，用于根据第二视频处理参数中的融合参数，对由所述第二获取单元获取的至少两路视频数据进行融合；

输出单元，用于将由所述第二融合单元融合后的至少两路视频数据输出给显示设备，由所述显示设备显示所述融合后的至少两路视频数据。

一种视频通信的系统，包括至少两个视频通信站点。所述至少两个视频通信站点的其中一个站点，用于拍摄至少两路本地用户部分的本地视频图像；根据第一视频处理参数中的融合参数，对所述拍摄得到的至少两路本地用户部分的本地视频图像进行融合，生成全景视频图像；并将所述全景视频图像编码成视频码流，将所述视频码流通过网络发送出去；所述至少两个视频通信站点的至少一个站点，作为接收站点，用于从接收到的视频码流中分别解码得到至少两路视频数据；根据第二视频处理参数中的融合参数，对所述解码得到的至少两路视频数据进行融合；将融合后的至少两路视频数据输出显示。

本发明实施例提供的视频通信的方法、装置和系统，在视频通信的发送端将所获取的至少两路视频图像融合为全景视频图像，融合得到的全景视频图像能够更真实地表现相邻视频图像之间交接区域位置关系，使得最后显示出的图像给用户更真实的全景式体验，解决了摄像机拍摄的相邻视频图像在交接处存在重叠或缺失区域、并且亮度和颜色不一致的问题；本发明实施例中的视频通信发送端将融合后的全景视频图像编码成视频码流发送给视频通信接收端后，视频通信接收端对其进行进一步地融合处理，再将融合处理后的视频图像输出到显示设备进行显示，视频通信接收端进行的融合处理能够使得多个投影图像在弧形幕上无缝呈现，并且各个投影区域在颜色和亮度方面差异较小，提高了全景视频图像的视觉连续性，能够给用户更好的沉浸式全景体验。附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图 1为现有技术中视频通信的系统布局示意图；

图 2为本发明实施例提供的视频通信系统布局的俯视图一；

图 3为本发明实施例提供的视频通信系统布局的俯视图二；

图 4为本发明实施例提供的视频通信系统布局的侧视图；

图 5为本发明实施例提供的视频通信系统布局的俯视图三；

图 6为本发明实施例提供的视频通信系统的设备连接图；

图 7为本发明实施例提供的视频通信的方法流程图；

图 8为本发明另一实施例提供的视频通信的方法流程图；

图 9为本发明又一实施例提供的视频通信发送端方法流程图；

图 10为本发明又一实施例提供的视频通信接收端方法流程图；图 11为本发明实施例提供的共光心摄像机原理图一；

图 12为本发明实施例提供的共光心摄像机原理图二；

图 13为本发明实施例提供的共光心摄像机结构示意图；

图 14为本发明实施例提供的共光心摄像机和弧面幕的安装结构图；图 15为本发明实施例提供的视频通信的方法中发送端的第一视频处理参数的配置流程图；图 17为本发明实施例提供的视频通信的方法中接收端的第二视频处理参数的配置流程图；

图 18为本发明实施例提供的接收端投影仪之间的亮度和颜色差异曲线；图 19为本发明实施例提供的发送端视频通信的装置结构示意图一；图 20为本发明实施例提供的发送端视频通信的装置结构示意图二；图 21为本发明实施例提供的发送端视频通信的装置结构示意图三；图 22为本发明实施例提供的发送端视频通信的装置结构示意图四；图 23为本发明实施例提供的接收端视频通信的装置结构示意图一；图 24为本发明实施例提供的接收端视频通信的装置结构示意图二；图 25为本发明实施例提供的接收端视频通信的装置结构示意图三；图 26为本发明实施例提供的接收端视频通信的装置结构示意图四。具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面的实施例均以本方法应用于视频会议场景为例进行说明。

一种视频通信站点，包括：

至少两个本地摄像机，用于指向至少两个本地用户部分，拍摄至少两路本地用户部分的本地视频图像。本发明实施例中，所述至少两个本地摄像机为一个具有三个机芯的共光心摄像机，由同一个同步时钟来实现每个机芯之间拍摄时间的同步。

本地摄像拼接融合器，用于根据第一视频处理参数中的融合参数，对所述拍摄得到的至少两路本地用户部分的本地视频图像进行融合，生成全景视频图像；并将所述全景视频图像编码成视频码流，将所述视频码流发送给远端的视频通信站点。在本发明实施例中，所述第一视频处理参数由所述本地摄像拼接融合器计算获得，或者由 PC机计算后，发送给所述本地摄像拼接融合器获得。所述 PC机与所述本地摄像拼接融合器相连。所述第一视频处理参数包括：融合参数、 GAMMA校正参数、坏点补偿参数、变换参数、剪裁区域参数。

本地显示融合器，用于从远端接收到的视频码流中分别解码得到至少两路视频数据；根据第二视频处理参数中的融合参数，对所述解码得到的至少两路视频数据进行融合；将融合后的至少两路视频数据输出给本地显示设备。在本发明实施例中，所述第二视频处理参数由所述本地显示融合器计算获得，或者由 PC机计算后，发送给所述本地显示融合器获得。所述 PC机与所述本地显示融合器相连。所述第二视频处理参数包括：融合参数、 GAMMA校正参数、投影校正参数、变换参数、剪裁区域参数。

至少两个本地显示设备，用于显示经过所述本地显示融合器融合后的至少两路视频数据。在本发明实施例中，所述至少两个本地显示设备可以是投影机和屏幕，或者显示器；其中，所述屏幕可以为弧面幕，也可以为椭圓幕，或抛物幕，或折面幕，或直幕，所述显示器一般为高清平板显示器，以获得高清的视频图像。

本发明实施例提供的视频通信站点，通过至少两个本地摄像机获取至少两路本地视频图像，将所获取的至少两路本地视频图像融合为全景视频图像，融合得到的全景视频图像能够更真实地表现相邻视频图像之间交接区域位置关系，使得最后显示出的图像给用户更真实的全景式体验，解决了摄像机拍摄的相邻视频图像在交接处存在重叠或缺失区域、并且亮度和颜色不一致的问题。并且，由本地显示融合器接收远端的视频码流，对其进行进一步地融合处理，再将融合处理后的视频数据输出到显示设备进行显示，所述融合处理能够使得多个投影图像在屏幕上无缝呈现，并且各个投影区域在颜色和亮度方面差异较小，提高了全景视频图像的视觉连续性，能够给用户更好的沉浸式全景体验。

图 2显示了本发明所述的视频会议系统整体布局的俯视图，包括：一个共光心摄像机 9, 用于釆集会议场景的图像数据，获得三个视频图像，其中，所述共光心摄像机的每个机芯的拍摄时间是同步的，由同一个同步时钟来实现这种同步；一个弧形会议桌 7和多个用户座椅 1 ~ 6 , 其中，用户表示出席视频会议的一个或多个个人或者个人的群组，在视频会议期间，用户作为讲话者来参与会话或者作为非讲话者参与；一个弧面幕 8 , 三个投影仪 10, 11 , 12, 用于显示由显示融合器处理过的三路视频图像和共享数据信息；摄像机的拍摄区域是所述的三个本地摄像机的拍摄区域的并集，摄像机的视角范围与摄像机的个数和每个摄像机的拍摄视角有关。由于本发明实施例中有 3个摄像机，每个摄像机的视角在 30度〜 45度之间，因此所述视角范围为 90度〜 135度之间，优选地，摄像机的视角选择 35度，那么摄像机的视角范围为一个 105度的圓弧；投影屏幕以会议桌边缘中点为圓心，半径在 2500毫米到 7500毫米之间取值，优选地，投影屏幕的半径取为 2700毫米；投影屏幕的弧长根据所述摄像机的视角范围和投影屏幕的半径确定，投影屏幕的高度与投影屏幕的弧长和视频图像的比例有关，优选地，投影屏幕的弧长的取值大约为 4950毫米，高的取值大约为 900毫米。上述参数的设计保证了真人大小的视觉效果，图中桌面边沿 101处在显示屏上获得约 1 : 1的图像；因为距离摄像机较近， 100处可获得约 1.1 :1的投影图像，反之 102处获得约 0.9:1的投影图像。摄像机 9的虚拟光心和投影屏幕 8的上表面中心位于同一垂直线上，并且所述垂直线的距离约为 100毫米； 13为背投箱体，容纳了 3个投影仪 10 , 11 , 12。其中投影仪釆用背投的方式将图像投射在弧面幕 8上，该背投箱体可以设计为暗室，使得弧面幕 8上的图像尽可能的少受外界光线的影响，以获得更好的投影效果；当然，除了背投方式外，还可以釆用前投的方式来实现图像的显示。标号为 14, 15 , 16为三个麦克风，用于釆集本地音频信号；标号为 20, 21 , 22为三个扬声器，用于输出通过网络传输过来的远端会场音频信号。图 3显示了本发明所述的视频会议系统整体布局的另一个俯视图。与图 2 的不同之处在于，该会议室布局方案釆用了多排用户座位设置（图 3中显示为两排用户座位）。在图 2原有的一排会议桌 7的前后，还可以增加一排或多排会议桌和相应的座位。例如，图 3中增加了一排会议桌 104 , 并增加了座椅 101 ~ 103。由于后排会议桌 7的座椅距离显示屏较远，而且有前面一排参会者的遮挡，因而体验会变差。为了解决这个问题，可以将后排的会议桌和座椅整体提升一个高度，形成阶梯状的会议室布局，并且在设计座位时尽量使后排的参会者位于前排两个参会者的中间。这样后排的参会者就不会被前排遮挡，可以改善用户体验。

图 4显示了本发明所述的视频会议系统整体布局的侧面图（以一个用户的侧面为例）。摄像机光心 0位于屏幕后方 100毫米处，并距离有效屏幕上边缘的下方 100毫米。摄像机的拍摄垂直视角约为 20度。由于摄像机无法放置在用户的水平视线位置上，因此摄像机光轴需要向下倾斜一个预定角度，在本发明实施例中此角度为 8.5度。为了看到桌面，在设计时使桌边 300毫米的弧带在弧面幕上显示 100毫米的高度，这样人像可呈现的高度范围约为 800毫米。人眼在中间位置，可以计算出垂直眼对眼偏差角度约为 6.2度，接近眼神接触角度偏差可觉察门限 5度，因此可以获得较好的眼对眼的效果。

可选的，在本实施例中，弧面幕不仅可以显示视频数据，也可以显示共享数据信息，并可以根据用户的观看位置进行灵活的配置。例如：可以通过在某一个弧面幕的显示区域划出一个空间，用来显示该共享数据信息。共享数据信息可以包括：分享的文字、图片以及视频信息。所述的共享数据信息源可以预先存储在本端，也可以通过网络传输的方式由远端进行分享。当然，该共享数据信息还可以通过在另设的至少一个显示装置显示，该至少一个显示装置可以布置在会议室的一端，也可以布置在所述至少一个用来显示远端会场的显示装置的延伸处。如图 5 所示，可以对弧面幕进行扩展，增加另一显示设备来显示共享数据信息。例如可以增加 2个投影显示区域 4, 5。原来的投影区域 1、 2、 3 也可以配置成显示共享数据信息。当用户坐在位置 102 看投影区域 2时，投影区域 2可以显示远端会场图像，也可以显示共享数据信息。当用户坐在位置 102看投影区域 2和 4时， 2可以配置成显示远端会场图像， 4可以配置成显示共享数据信息。当用户坐在位置 102看投影区域 2、 4和 5时， 4和 5可以配置成显示远端会场图像， 2可以配置成显示的共享数据信息。这样参会双方都能获得共同看共享数据信息的体验。

图 6显示了本发明实施例提供的两个视频通信站点设备连接图。发送端的共光心摄像机 1釆集会场视频图像，输出三路视频图像（一般釆用 1920x 1080 的高清视频图像）给发送端的摄像拼接融合器。由于共光心摄像机 1釆集的原始的三个视频图像无法简单地组合成一个理想的会场全景图像，因此摄像拼接融合器需要对这三路视频图像进行处理，根据第一视频处理参数中的融合参数，对所述三路视频图像进行融合，生成大约为 48: 9的高分辨率的会场全景视频图像。全景视频图像可以通过三路方式输出到发送端的三台视频通信终端，视频通信终端分别对每路视频图像进行编码，并将编码后得到的视频码流封装成网络数据包，通过网络发送给远端的视频通信站点。

其中，在本发明的实施例中，所釆用的网络具体体现于网络中的设备，包括硬件和任何适当的控制逻辑，用于互联与网络相耦合的各个元件并辅助如本实施例所示的各个站点之间的通信。网络可以包括局域网（LAN )、城域网（MAN )、广域网（WAN )、任何其他公共或私有网络、局部、区域或全球通信网络、企业内部互联网络、其他合适的有线或无线通信链路、或者前面各项的任意组合。网络可以包括网关、路由器、集线器、交换机、接入点、基站、和任何其他硬件、软件，或者可以实现任何合适的协议或通信的前面各项的组合。

接收端接收网络中数据包，并使用三台视频通信终端中的视频解码单元对三路视频码流进行解码，获得三路视频数据，然后输出给显示融合器。显示融合器根据第二视频处理参数中的融合参数，对所述三路视频数据进行融合，最后输出给三台投影仪 2 , 投影到弧面幕上形成一个约为 48: 9的高分辨率的全景无缝视频图像。其中， 3和 4为两个 PC工作站，作为调校工具，分别用于和摄像拼接融合器、显示融合器一起完成图像显示前的融合处理。

需要说明的是，所述视频编码器可以集成在所述摄像拼接融合器中；或者当所述系统包括发送端视频通信终端时，所述视频编码器也可以集成在所述发送端视频通信终端中。所述视频解码器可以集成在所述显示融合器中；或者当所述系统还包括接收端视频通信终端时，所述视频解码器也可以集成在所述接收端视频通信终端中。

本实施例中将摄像拼接融合器置于发送端，将显示融合器置于接收端。事实上，所述显示融合器也可以置于发送端，与所述摄像拼接融合器相连，并置于摄像拼接融合器之后，显示融合器处理视频图像时所需的参数可从接收端获取；所述摄像拼接融合器也可以置于接收端，与所述显示融合器相连，并置于显示融合器之前，摄像拼接融合器处理视频图像时所需的参数可从发送端获取。

本发明实施例提供的视频通信的系统，在视频通信的发送端将所获取的至少两路视频图像融合为全景视频图像，融合得到的全景视频图像能够更真实地表现相邻视频图像之间交接区域位置关系，使得最后显示出的图像给用户更真实的全景式体验，解决了摄像机拍摄的相邻视频图像在交接处存在重叠或缺失区域、并且亮度和颜色不一致的问题。本发明实施例中的视频通信发送端将全景视频图像编码成视频码流发送给视频通信接收端后，视频通信接收端对其进行进一步地融合处理，再将融合处理后的视频图像输出到显示设备进行显示，视频通信接收端进行的融合处理能够使得多个投影图像在屏幕上无缝呈现，并且各个投影区域在颜色和亮度方面差异较小，提高了全景视频图像的视觉连续性，能够给用户更好的沉浸式全景体验。

由于不同设备之间的工作状态会存在差异，即使在同一工作环境下，也会由于其器件的性质不同，导致输出的结果不同。为了解决现有技术中存在的利用多个摄像机拍摄多幅图像，造成了每幅图像之间存在亮度和颜色差异、并且在图像交接区域处的图像显示效果不理想的问题，本发明实施例提供一种视频通信的方法和装置。

如图 7所示，本发明实施例提供的视频通信的方法，包括：

步骤 101 , 获取至少两路本地视频图像；

本实施例中，所述获取到的至少两路本地视频图像由共光心摄像机拍摄得到。具体地，用户首先通过一台 PC机登录到摄像拼接融合器上，并通过 PC机向摄像拼接融合器发出图像釆集命令；摄像拼接融合器接到釆集图像的命令后，从共光心摄像机中获取由所述摄像机拍摄到的至少两路视频图像，并将其保存在摄像拼接融合器的緩存中。当然，拍摄得到至少两路视频图像的设备不局限于共光心摄像机，此处不再——列举。

步骤 102,根据第一视频处理参数中的融合参数，对所述至少两路本地视频图像进行融合，生成全景视频图像；

在本实施例中，融合参数是第一视频处理参数中的一部分参数，第一视频处理参数是根据所获取到的视频图像。具体地，将在步骤 101 中获取的至少两路视频图像传输给所述 PC机，由 PC机根据所述视频图像来计算所需要的融合参数。 PC机将计算出的融合参数传输给摄像拼接融合器，由摄像拼接融合器将接收到的融合参数配置为工作状态所要使用的参数，并根据所配置的融合参数将所述至少两路视频图像拼接为一路全景视频图像。可以理解的是，除了上述实现方法外，也可以在摄像拼接融合器中计算融合参数，直接由摄像拼接融合器完成计算、配置、融合等全部的过程，而不需要与 PC机进行交互，这样就需要摄像拼接融合器能够获取到各个本地摄像机的相应参数，进而确定融合参数以及进行 GAMMA校正、传感器坏点补偿、图像处理的相关变换以及剪裁、缩放、分割的相关参数；或者，也可以单独由一台或多台 PC机完成计算、配置、融合的过程，而不需要与摄像拼接融合器进行交互。实际的产品实现方式可由用户的具体需求确定，此处不再赘述。步骤 103 , 将所述全景视频图像发送给视频编码器，通过所述视频编码器将所述全景视频图像编码成视频码流，并将视频码流发送出去。

所述视频编码器可以集成在发送端的视频通信终端中，也可以集成在所述摄像拼接融合器中。在本实施例中，由发送端的视频通信终端对融合后的全景视频图像进行编码，并将编码后的视频码流发送到网络。视频通信接收端从网络中接收所述视频码流。

在点对点（ Point To Point )的视频通信结构中，编码后的视频码流通过网络发送到接收端，而对于点对多点（ Point To Multi-Point ) 的视频通信的结构中，编码后的视频码流可能会发送给相应的多点通信的服务器，由多点通信服务器进行多点融合处理后，在发给相应的接收端。

本发明实施例提供的视频通信的方法，将所获取的至少两路视频图像融合为一路全景视频图像，融合得到的全景视频图像能够更真实地表现相邻视频图像之间交接区域位置关系，使得最后显示出的图像给用户更真实的全景式体验，解决了摄像机拍摄的相邻视频图像在交接处存在重叠和缺失区域、并且亮度和颜色不一致的问题。

如图 8所示，本发明另一个实施例还提供一种视频通信的方法，包括：步骤 201 , 获取视频解码器从视频码流中解码出的至少两路视频数据，所述视频码流由所述视频解码器从远端的视频通信站点接收得到；

在本实施例中，发送端将视频码流分割为至少两路视频码流发送，可以提高处理速度，减小出错率。在接收端，由视频解码器从网络中接收所述至少两路视频码流，并分别对所述视频码流进行解码，获得至少两路视频数据。其中，所述视频解码器可以集成在接收端的视频通信终端中，也可以集成在显示融合器中。

步骤 202,根据第二视频处理参数中的融合参数，对所述至少两路视频数据进行融合。

在本实施例中，由于显示设备之间的差异，使得所述至少两路视频数据之间存在颜色和亮度的差异，对其进行融合，以消除此差异。与发送端的图像融合操作类似，首先由 PC机计算出融合参数，将其发送给显示融合器；显示融合器将接收到的融合参数配置为工作状态使用的融合参数，并根据配置的融合参数对所述至少两路视频数据进行融合。可以理解的是，本发明实施例中的计算第二视频处理参数的过程也可以在显示融合器中完成，即直接由显示融合器完成计算、配置、融合的全部过程，而不需要与 PC机进行交互，这就需要摄像拼接融合器能够获取到各个本地摄像机的相应参数，进而确定融合参数以及进行 GAMMA校正、传感器坏点补偿、图像处理的相关变换以及剪裁、缩放、分割的相关参数；或者，也可以单独由一台或多台 PC机完成计算、配置、融合的过程，而不需要与显示融合器进行交互。实际实现方式可视用户的具体需求确定，此处不再赘述。

步骤 203 , 将所述融合后的至少两路视频数据输出给显示设备，由所述显示设备显示所述融合后的至少两路视频数据。

在本发明的实施例中，所述显示设备包括投影仪和屏幕，或者显示器；其中，所述屏幕不限于弧面幕，还可以为椭圓幕，或抛物幕，或折面幕，或直幕，所述显示器一般为高清平板显示器，以获得高清的视频图像。并且，当显示设备为投影仪和弧面幕，或者投影仪和椭圓幕，或者投影仪和抛物幕时，在对所述至少两路视频数据进行融合之前，还要根据投影校正参数，对所述至少两路视频数据进行投影校正，以消除屏幕形状的变换对于图像显示效果的影响。

本发明实施例提供的视频通信的方法，将融合后的全景视频图像编码成视频码流发送给视频通信接收端后，视频通信接收端对其进行进一步地融合处理，再将融合处理后的视频图像输出到显示设备进行显示，视频通信接收端进行的融合处理能够使得多个投影图像在弧形幕上无缝呈现，并且各个投影区域在颜色和亮度方面差异较小，提高了全景视频图像的视觉连续性，能够给用户更好的沉浸式全景体验。为了使本领域技术人员能够更清楚地理解本发明实施例提供的技术方说明。

如图 9和图 10所示，本发明又一实施例提供的视频通信的方法。

下面具体描述视频通信发送端的方法流程，如图 9所示，包括以下步骤：步骤 301 , 发送端获取至少两路本地视频图像；

在本实施例中，所述获取到的至少两路本地视频图像由共光心摄像机拍摄得到。发送端的视频图像釆集是由 PC机登录到摄像拼接融合器后，向摄像拼接融合器发出图像釆集的命令，摄像拼接融合器通过共光心摄像机拍摄至少两路视频图像而获得的，在本实施例中，共光心摄像机机芯有三个，釆集三路视频会议场景，每路视频图像的分辨率为 16: 9或者 4: 3。如图 2的实施例所示，每路视频图像由共光心摄像机的一个拍摄得到，在图 2 中，共光心摄像机包括三个摄像机，分别为：左摄像机、中摄像机以及右摄像机，其中，左摄像机拍摄到用户座椅编号为 1、 2的与会者，中摄像机拍摄到用户座椅编号为 3、 4的与会者，右摄像机拍摄到用户座椅编号为 5、 6的与会者，所述的共光心摄像机能够拍摄到所有参会人员，并且，以上三个摄像机的拍摄时间是同步的。

步骤 302, 发送端根据第一视频处理参数中的 GAMMA校正参数，对所述至少两路本地视频图像进行 GAMMA校正；

在本实施例中，摄像拼接融合器在对所获取的图像进行处理之前，需要检查处理图像所需要的视频处理参数是否已经配置。所述的视频处理参数在本实施例之中，指代的是第一视频处理参数。如果所述参数没有配置，对所接收到的视频图像进行透传，即不对所述视频图像进行处理，直接输出；如果所述参数已经配置，进行图像处理。在参数已经配置的情况下，还需要具体判断配置了哪些参数，例如，如果只配置了 GAMMA参数，而没有配置传感器坏点补偿参数，则只进行 GAMMA校正操作。由于摄像拼接融合器可以接收共光心摄像机机芯处理后的视频图像，也可以接收共光心摄像机传感器，如电荷耦合器件（Charge Coupled Device, CCD )或互补金属氧化物半导体 ( Complementary Metal Oxide Semiconductor, CMOS )传感器送出的没有经过处理的视频图像，当摄像拼接融合器接收的是没有经过处理的视频图像时，需要对所述视频图像进行 GAMMA校正和传感器坏点补偿处理。

步骤 303 ,发送端根据第一视频处理参数中的坏点补偿参数，对所述至少两路本地视频图像进行传感器坏点补偿；

在本实施例中，如果输出视频图像的传感器存在坏点，导致所述视频图像上也存在坏点，坏点补偿处理可以根据视频图像上坏点的邻近像素值差值得到坏点处的像素值，由于具体的像素插值属于图像处理中的现有技术，可以包括许多方式，在此不再赘述。

步骤 304,发送端根据第一视频处理参数中的变换参数，对所述至少两路本地视频图像进行变换；

在本实施例中，所述变换包括：视频图像的平移、视频图像的旋转、视频图像的单应性变换和视频图像的柱面变换中的任意一种及其组合。

在本实施例中，首先根据射影几何原理，将空间中的三维点投影到共光心摄像机的成像平面上，所述三维点与平面点之间的坐标变换关系为：

= K[R I t]X 式子 ( 1 )

K 式子 ( 2 )

0 0 1

其中为平面坐标的齐次表示， X 为世界坐标系的齐次表示， Λ和/ ^为水平和垂直方向上的等效焦距， s为图像的畸变系数， M_Q , I¾为图像主点坐标; R 为摄像机的旋转矩阵， t为摄像机平移向量。其中 ,Κ称为摄像机的内参，包括水平和垂直方向上的等效焦距、图像的畸变系数、图像主点坐标； R和 t称为摄像机的外参。将三维点转换为平面点之后，可以有下述三种方法进行视频图像的变换: 方法一，对于共光心摄像机中的三个摄像机机芯拍摄的具有重叠区域的三个视频图像，空间中某个平面上的点在其中两个视频图像上的成像关系为： κ

χ' = Hx = κ 〃 h22 式子（3)

h 其中 Η为一个 3χ3的矩阵，自由度为 8, 其代表了两个成像平面之间的变换关系，称之为单应性矩阵。 X为变换前图像坐标的齐次表示， χ'为变换后图像坐标的齐次表示。

对于共光心摄像机，不考虑参数 t,因此 Η可以表示为：

H-K^ K ¹ 式子（4)

假设已知变换前和变换后图像上的一个点对坐标（X, y)和（ x、 y' ), 可以得到两个方程： χ₌ h_ux + h_n + ^h ₌ ^{x + h}22 + ^h23 式子（₅)

h_3lx + h₃₂y + h₃₃ h_3lx + h₃₂y + h₃₃ 由于 H的自由度为 8, 因此最少只要通过 4对点对建立 8个方程就可以求出单应性矩阵 H。求出单应性矩阵 H后，可以通过一个坐标变换将两个图像拼接到一起，将重叠区域的像素对齐。 H的计算方法有多种，一种是手动的方法，由用户至少选择变换前图像上的 4个点的坐标，以及该 4个点在变换后图像上的坐标。根据这 4个点对的坐标我们可以利用式子（5)建立包括至少 8个方程的方程组，求解出单应性矩阵 H。另一种方法是自动的方法，该方法要求两个图像之间具有较大的重叠区域。可以通过特征点提取算法，例如尺度不变性变换算法（ Scale-invariant feature transform, SIFT ), 在重叠区域进行特征点提取，找到多个特征点，建立特征点之间的匹配关系，再利用式子（5) 建立包括至少 8个方程的方程组，通过迭代优化算法求出两个图像之间的单应性矩阵11。

方法二，由于方法一中求单应性矩阵 H比较复杂，对于图像变化较小的情况，也可以利用仿射变换来模拟单应性变换。可以釆用下面的变换公式:

χ' = S[R I T]x 式子（6 ) s =

其中 S为一个图像缩放矩阵， R为二维旋转矩阵， T为平移向量。 X为变换前图像坐标的齐次表示， x'为变换后图像坐标的齐次表示。

方法三，利用柱面坐标变换将平面坐标转换为柱面坐标，在柱面坐标下通过对图像的平移来进行图像拼接。柱面坐标的变换和反变换为：

X = 5 tan"¹― γ' = s . ^ = 式子 ( 7 ) x = f tan— y = /^-sec— 式子 ( 8 )

s s s

需要说明的是，步骤 302、 303以及 304是现有的实现步骤，更换上述三个步骤的顺序也不影响本发明的达到的效果。

步骤 305 ,发送端根据第一视频处理参数中的融合参数，对所述至少两路本地视频图像进行融合，生成全景视频图像；

在本实施例中，经过步骤 304 图像变换后，一般还是无法得到比较理想的无缝图像，还必须考虑共光心摄像机机芯拍摄的视频图像由于曝光或者视频图像之间的颜色差异导致的视频图像在亮度或色度上的差异，所述差异在两个视频图像的接缝处尤其明显，因此需要对多个图像进行融合，以消除不同图像间亮度或色度等的差异。在本实施例中，可以在所述视频图像接缝处的重叠区域进行 Alpha融合，该 Alpha融合的公式为：

/(X, y) = , (x, y)I ( , y) + ₂ ( , y)I₂ (x, y) 式子（ 9 ) 其中 c¾ (x, y)为视频图像 1像素（X, y)的 Alpha值， (x, y)为视频图像 1像素（x, _y)的颜色值；和 /₂ (x, _y)为视频图像 2像素（x, _y)的 Alpha值和颜色值。对于简单的线性 Alpha融合， ^， + ^^，二：!。所述 Alpha融合一般只能对视频图像接缝处的亮度或色度差异进行融合，如果视频图像之间本身的亮度或色度差异较大，使用所述 Alpha 融合不能获得良好的效果，这时可以在整个视频图像上进行拉普拉斯金字塔融合，或者梯度阔值融合，或者泊松融合，此处不再对其具体的融合原理进行赘述。

步骤 306,发送端根据第一视频处理参数中的剪裁区域参数，将所述全景视频图像的比例剪裁为第一目标比例；

本实施例中，对于图像进行剪裁的目的是消除图像中不需要显示的部分。所述第一目标比例根据实际情况人为确定。

在步骤 302〜步骤 306中需要用到第一视频处理参数，在对视频图像进行处理之前，需要先配置第一视频处理参数，根据所配置的参数对视频图像进行处理。下面对于所述第一视频处理参数的配置方法进行详细描述：

本实施例中可以将摄像拼接融合器与 PC机进行结合，所述 PC机也称为第一处理机，由所述 PC机计算第一视频处理参数，由摄像拼接融合器配置第一视频处理参数，并根据所述参数处理图像；除了上述实现方法外，也可以由摄像拼接融合器釆集至少两幅图像，由摄像拼接融合器根据所釆集到的图像计算视频处理参数，即直接由摄像拼接融合器完成计算、配置、处理图像的过程，而不需要与 PC机进行交互，例如，用户可以通过遥控器、鼠标等方法手工控制摄像拼接融合器生成所需要的视频处理参数，也可以釆用自动算法由摄像拼接融合器自动生成所需要的视频处理参数；或者，也可以单独由一台或多台 PC机完成计算、配置、处理图像的过程，而不需要与摄像拼接融合器进行交互，例如，用户通过所述 PC机上的调校软件自动生成所需要的视频处理参数，再根据所述参数直接在 PC机上进行图像处理，其中，计算参数部分由中央处理器（ Central Processing Unit, CPU ) 完成，处理图像部分可由 CPU或图形处理器 (Graphic Processing Unit, GPU)完成。如果单台 PC机无法完成所述图像处理，可以釆用多台 PC机进行联网分布式计算，所述多台 PC 机之间通过高速以太网进行互联。上述多种方法的实际实现方式可视用户的具体需求确定，此处不再赘述。需要说明的是，上述实施例所说明的 PC机只是具体的一种实现方式，事实上，釆用具有音视频输入输出设备的具有处理器的装置就能够完成上述的图像处理。随着云计算技术的发展，针对本实施例还可以通过在远程呈现管理服务器设置处理器阵列，统一由服务器侧完成对釆集的图像进行相应的图像处理。

当釆用摄像拼接融合器和 PC机（也称第一处理机 )共同完成视频处理参数的计算和配置时，具体的配置方法可以通过如图 15中所示的步骤来实现：步骤 401 , 启动 PC机上的调校软件；

本实施例中，所述调校软件具有 GUI界面。如图 16所示，所述 GUI界面包括菜单栏，工具栏， Tab栏，显示区，状态栏和对话框。其中，菜单栏用于用户选择相关的命令，支持鼠标和键盘快捷键操作；工具栏用于用户快速选择常用的命令； Tab栏用于列出打开的图像，用户可以在打开的图像之间进行切换和关闭打开的图像；显示区用于显示用户操作的当前图像，支持滚动条，无法在当前窗口显示的图像内容用户可以拖动滚动条进行查看。用户可以利用鼠标和键盘在显示区域对需要拼接的图像进行交互式操作，如对图像调整变换和融合参数，实时查看效果等；状态栏用于显示一些当前重要的信息，如图像大小，当前鼠标坐标等；对话框由菜单栏或工具栏激发，用于完成需要用户键盘输入等的复杂的工作任务等。用户得到了满意的图像拼接融合效果后，可以通过一个简单的命令生成摄像拼接融合器和显示融合器所需的图像变换参数、 Alpha融合和 GAMMA校正等参数，并传输给摄像拼接融合器和显示融合器。

步骤 402, PC机通过所述调校软件登录到摄像拼接融合器上；

所述调校软件可以作为第三方软件本地化安装在所述的 PC机上，也可以通过内置于所述的 PC机中的 WEB页面来访问服务器运行。

步骤 403 , PC机向摄像拼接融合器发送图像釆集命令；

步骤 404, 摄像拼接融合器从共光心摄像机中获取釆集到的至少两幅图像；

在本实施例中，摄像拼接融合器接到视频图像釆集命令后，从共光心摄像机中获取釆集到的 3个视频图像，并保存在摄像拼接融合器的緩存中。

步骤 405，摄像拼接融合器将所釆集到的至少两幅图像发送给所述 PC机；在本实施例中，摄像拼接融合器通过数据传输协议将緩存中的 3 个视频图像发送给 PC机。

步骤 406, PC机根据所釆集到的图像计算第一视频处理参数；

在本实施例中， PC机计算出的参数包括摄像机 GAMMA校正参数、摄像机传感器坏点的补偿参数、图像变换参数、图像 Alpha融合参数表和图像剪裁区域参数的一种或多种。

步骤 407， PC机将计算出的第一视频处理参数发送给摄像拼接融合器；在本实施例中， PC机和摄像拼接融合器之间的数据传输接口可以釆用以太网、 USB 等接口方式，传输协议可以釆用文件传输协议（File Transfer Protocol, FTP ), 超文本传输协议（ Hypertext Transfer Protocol, HTTP )、或使用传输控制协议 (Transmission Control Protocol, TCP), 用户数据 4艮协议 ( User Datagram Protocol , UDP ) 自定义高层传输协议进行传输。当计算得到的参数数据量较大时，通过数据传输协议传输给摄像拼接融合器。

在本实施例中， PC机的功能还包括向摄像拼接融合器发送配置命令。配置命令可以通过多种方式进行传输，例如通过串行端口、并行端口或网络接口等进行传输。如果通过网络接口传输，可以釆用远程登录协议（Telnet, Teletype network ), 或者是使用 TCP协议、 UDP协议自定义高层传输协议进行传输。

步骤 408,摄像拼接融合器将接收到的第一视频处理参数配置为工作状态使用的第一视频处理参数。

步骤 307 , 发送端将所述全景视频图像的大小缩放至第一目标大小；本实施例中，步骤 306对视频图像进行剪裁后，视频图像的大小可能会变小，对视频图像进行缩放，使其尺寸达到用户所需要的大小。所述第一目标大小根据实际情况人为确定。

步骤 308, 发送端将所述全景视频图像分割为至少两路视频数据；本实施例中，将全景视频图像分割为三路视频数据输出给三个视频通信终端，能够提高数据处理速度，降低出错率。当然，也可以不分割全景视频图像，直接对其编码发送，但此种方法的视频图像显示效果较差。

步骤 309,发送端通过至少两个视频编码器将所述至少两路视频数据分别编码成对应的视频码流，并将所述至少两路视频数据对应的视频码流分别发送出去；

本实施例中，由三个视频通信终端中的视频编码器对所述三路视频数据分别编码，获得三路视频码流，并将这三路视频码流发送到网络中，由接收端从网络中接收。其中，所述视频编码器可以集成在视频通信终端中，也可以集成在摄像拼接融合器中。为了保证端到端的同步，发送端和接收端需要进行同步的编码和解码。为了防止网络抖动等因素带来的编解码不同步，还需要在视频码流中进行标记，例如，在视频码流的数据包上打上时间戳，以保证接收端的视频解码器能够按照正确的顺序解码。

本实施例中，也可以釆用一台视频通信终端对三路视频数据进行编码和发送，这种方法的优点是三路视频数据的同步比较容易实现，整个视频通信系统的结构也可以得到优化，但是，这种方法要求视频通信终端具有更高的编码处理能力。

在步骤 301 中用到共光心摄像机拍摄视频图像，下面对于共光心摄像机的原理及结构进行详细描述：

如图 11所示， 1001为一个棱台结构，具有 3个表面 1002 , 1003 , 1004 , 这些表面为平面镜面，镜面的下方放置 3个摄像机 C01 , C02和 C03。以其中的一个摄像机 C02为例说明虚拟共光心原理。如图 12所示， L02为入射光线， R02 为反射光线，垂直于反射面 1003的法线为 1006 , 法线 1006和水平线 1010的夹角为 (9 = 45° , 反射点到摄像机 C02的实际光心 02的垂直距离为 d。根据光线反射原理，摄像机会拍摄到一个虚像，该虚像有一个虚拟光心 V02。通过设计镜面的角度和摄像机的摆放位置，可以使摄像机 C01 , C02和 C03的虚拟光心位于同一点，从而得到虚拟共光心摄像机拍摄得到的 3个图像，对这 3个图像进行拼接融合处理，可以得到在任意深度上都是无缝拼接的图像。

图 13显示了本发明实施例所用共光心摄像机的结构图。 C01 , C02和 C03 为 3台高清摄像机机芯，支持 1920x 1080的高清视频输出。为了获得更好的垂直眼对眼效果，把反射镜置于下方，把摄像机机芯置于上方进行拍摄。表面 1002, 1003和 1004为反射镜面， 3个摄像机机芯可以独立进行调解，用于补偿结构加工误差和摄像机机芯本身的误差，机芯的调节自由度包括以摄像机机芯为坐标原点的 XYZ轴 3个方向上的平移和旋转。在拍摄时，需要将摄像机的焦距调成相同的值，以保证每个摄像机拍摄的视角范围一致。

图 14显示了本发明实施例所述共光心摄像机 9安装在弧面幕 8支架 81上的效果图。为了拍摄到一定范围的桌面，摄像机光轴必须有一个拍摄的下倾角度，该角度通过摄像机安装在投影幕支架上的装置 91可以进行调整，在本实施例中取 8.5度。

下面具体描述视频通信接收端的方法流程，如图 10所示，包括以下步骤：步骤 310,接收端从网络获取视频通信发送端发送的所述至少两路视频码流，并通过所述接收端的视频解码器从至少两路视频码流中分别解码出至少两路视频数据；

本实施例中，接收端的三个视频通信终端从网络中获取三路编码后的视频码流，由视频通信终端中的视频解码器分别对其进行解码，获得三路已进行处理的视频数据。其中，所述视频解码器可以集成在所述接收端的视频通信终端中，也可以集成在显示融合器中。

可以理解，也可以通过接收端的单一的视频通信终端完成从网络侧接收的三路视频码流进行解码，可以通过在该单一视频通信终端设置多个解码器完成对该三路视频码流的解码处理。

本实施例中，也可以釆用一台视频通信终端对三路视频码流进行接收和解码，这种方法的优点是多路视频数据的同步比较容易实现，整个视频通信系统的结构也可以得到优化，但是，这种方法要求视频通信终端具有更高的解码处理能力。

步骤 311 , 接收端根据第二视频处理参数中的 GAMMA校正参数，对所述至少两路视频数据进行 GAMMA校正；

与发送端类似，显示融合器在对所获得的视频数据进行处理之前，还要检查处理视频数据所需要的视频显示参数是否已经配置。如果所述参数没有配置，对所获得的三路视频数据进行透传，即不对所述视频数据进行处理，直接输出到显示设备显示；如果所述参数已经配置，进行视频数据处理。

在本实施例中，显示融合器将输出的三路视频数据送入三个投影仪中显示，由于投影仪的内部差异以及投影仪之间的差异会导致所述三路视频数据之间存在亮度和颜色差异，因此，在显示所述视频数据之前，需要在显示融合器中对其进行投影仪的 GAMMA校正。

对于投影仪之间的亮度和颜色差异，可以通过拍摄反馈的方法进行校正。投影 RGB三个颜色分量的 0— 255级的模板图像，与所述三路全景图像的 RGB 颜色分量相比较，可以建立三个投影仪之间的亮度和颜色差异曲线。下面详细地描述如何进行投影仪之间的 GAMMA校正：假设 P1和 P2为两台不同的投影仪，如图 18所示，横坐标为模板图像 R分量的颜色级别，范围是 0— 255; 纵坐标为所述视频数据的其中两路数据的颜色 R分量，可以认为是所述模板图像 R分量的函数 f(R)。这样每台投影仪都可以建立一条颜色 R分量的曲线，对于 0-255的每个级别，都可以计算得到两台投影仪的 R分量的差值 Δ/，该变量也可以看作是所述模板图像 R分量的函数。这样就可以以一个投影仪颜色 R分量的色度曲线为基准，通过调整另一个投影仪颜色 R分量的色度曲线，使两台投影仪的所要显示的所述两路全景图像的颜色 R分量一致。另外两个颜色分量 G 和 B的处理方法相同，在此不再赘述。

对于投影仪内部的亮度和颜色差异，也可以通过与上述方法类似的方法校正。以一台投影仪投影所述三路视频数据中的一路视频数据为例，首先将所述一路视频数据进行分块，然后对每个分块数据建立亮度和颜色差异曲线，具体的实现方法参见投影仪之间的亮度和颜色差异曲线建立方法，此处不再赘述。

除了校正投影仪之间和投影仪内部的亮度和颜色差异外，要获得更好的投影效果，还必须进行投影仪的漏光补偿。由于投影仪在投影纯黑图像时会有光线泄露，导致投影得到的图像并不是纯黑的，而是有一定的亮度，所以所述三路视频数据在重叠区域的亮度和非重叠区域的亮度会不一致。通过计算得到所述重叠区域和所述非重叠区域之间的亮度差异，给所述非重叠区域加上计算出来的亮度值，使所述重叠区域和所述非重叠区域的亮度一致。

步骤 312,接收端根据第二视频处理参数中的投影校正参数，对所述至少两路视频数据进行投影校正；

在本实施例中，由于显示设备可以为投影仪和屏幕，当屏幕是弧面幕，或者是椭圓幕，或者是抛物幕时，要考虑屏幕的形状对于显示图像的影响。即所述视频数据投影到上述形状的屏幕上时会产生变形，因此要进行投影校正。

步骤 313 ,接收端根据第二视频处理参数中的变换参数，对所述至少两路视频数据进行变换；

本实施例中，所述变换包括：视频数据的平移、视频数据的旋转和视频数据的单应性变换中的至少一种变换。此步骤中的视频数据变换可以用于补偿由于投影仪安放位置不准确造成的图像变形和不对齐。具体的变换方法可以参见发送端对于图像进行变换的方法，具体的原理此处不再赘述。

步骤 314,接收端根据第二视频处理参数中的融合参数，对所述至少两路视频数据进行融合；在本实施例中，图像融合的目的是使两个视频数据在接缝处不会有明显的亮度差异。具体方法是，首先在两个视频数据的接缝处制造重叠区域，然后在所述重叠区域进行 Alpha融合，优选地，釆用非线性 Alpha融合的方法，例如，非线性 Alpha融合所釆用的公式为：

1 1 丄 1 1 丄

Alpha(x) = (- + - cos θχ)^γ Alpha(x) = (- - - cos θχ)^γ 式子（ 10 ) 其中 (9为角度值， y为 GAMMA值，通过调整 >和 y可以获得最佳的融合效果。

步骤 315,接收端根据第二视频处理参数中的剪裁区域参数，将所述融合后的至少两路视频数据的比例剪裁为第二目标比例；

在本实施例中，为了兼容目前视频会议系统的显示方式，显示融合器除了接投影仪外，还可以接三台高清平板显示器，而所述平板显示器具有边框厚度，无法做到无缝显示，因此需要将图像位于边框厚度的部分剪裁掉。所述第二目标比例根据所述显示器的边框厚度来确定。由用户定义显示器边框宽度， PC机上的调校软件根据所述平板显示器的大小和分辨率，将以毫米为单位的平板显示器边框宽度换算为以像素单位的宽度。显示融合器根据计算得到的显示器边框宽度对每路视频数据进行剪裁，生成剪裁后的图像。

步骤 316,接收端将所述融合后的至少两路视频数据的大小缩放至第二目标大小；

本实施例中，对视频数据进行剪裁后，视频数据的大小可能会变小，对视频数据进行缩放，使其尺寸达到显示时所需要的大小。

步骤 317,接收端将所述融合后的至少两路视频数据输出给显示设备，由显示设备显示所述融合后的至少两路视频数据。

在本实施例中，所述显示设备包括投影仪和屏幕，所述屏幕可以釆用弧面幕，或者椭圓幕，或者抛物幕，或者折面幕，或者直幕。所述显示设备至少为两个，在本实施例中，设置三个投影仪来分别投影显示三路视频数据。当然，视频数据也可以为一路，即在发送端，不分割全景视频图像，此时，可以只釆用一个投影仪或者一个显示器显示所得到的一路视频数据，但显示效果较差。

优选地，在本实施例中釆用弧面幕作为投影幕。其中，所述椭圓幕和抛物幕与所述弧面幕类似，不同之处在于，由于投影幕的几何形状发生了变化，需要对步骤 304 中所述的算法进行相应的修改；当使用折面幕或者直幕作为屏幕时，由于视频数据在平面投影上没有畸变，不用进行视频数据的几何校正处理，进一步地，所述折面幕之间可以釆用钝角进行过渡，也可以釆用圓角进行过渡，釆用圓角过渡比釆用钝角过渡更自然。圓角半径越大，过渡的效果越好，但过渡的圓角部分需要对视频数据进行几何校正处理；当使用直幕作为屏幕时，对图像的变换处理最简单。进一步地，根据屏幕的几何形状，可以对会议桌的形状进行相应的修改以获得更好的呈现效果，例如在釆用折面幕或者直幕时，可以将会议桌改为折面桌的形式。

在步骤 309和步骤 310中用到了视频通信终端，下面对视频通信终端的结构进行详细描述：

当所述视频编、解码器集成在视频通信终端中时，所述视频通信终端的各组成模块包括：音频编解码器，用于对所接收到的音频信号进行编码或者解码，编解码标准可以釆用 G.711,或 G.722, 或 G.723,或 G.728,或 G.729; 视频编解码器，用于对所接收到的视频信号进行编码或解码，编码标准可以釆用 H.261,或 H.263; 系统控制单元，用于对视频通信终端的正确操作提供信令，所述信令包括呼叫控制，能力交换，命令和指示的信令以及消息；格式化单元，用于对待发送的音频、视频、数据和控制流进行格式化，形成消息输出到网络接口，或者从网络接口接收到的消息中提取音频、视频、数据和控制流。另外，该单元还对每一种媒体类型，完成逻辑成帧、顺序编号、差错检测和差错纠正。

在步骤 311〜步骤 315中需要用到第二视频处理参数，在对视频数据进行处理之前，需要先配置第二视频处理参数，根据所配置的参数对视频数据进行处理。下面对于所述第二视频处理参数的配置方法进行详细描述：

本实施例中可以将显示融合器与 PC机进行结合，所述 PC机也称为第二处理机，由所述 PC机计算第二视频处理参数，由显示融合器配置第二视频处理参数，并根据所述参数处理视频数据；也可以由显示融合器直接计算第二视频处理参数，即直接由显示融合器完成计算、配置、处理视频数据的过程，而不需要与 PC机进行交互；或者，也可以单独由一台或多台 PC机完成计算、配置、处理视频数据的过程，而不需要与显示融合器进行交互。

当釆用显示融合器和 PC机（也称第二处理机 )共同完成视频显示参数的计算和配置时，具体的配置方法可以通过如图 17中所示的步骤来实现：

步骤 501 , 启动 PC机上的调校软件；

所述调校软件与发送端调校软件相同，此处不再进行赘述。

步骤 502, PC机通过所述调校软件登录到显示融合器上；

步骤 503 , PC机计算出第二视频处理参数；

在本实施例中， PC机计算出的参数包括投影仪 GAMMA校正参数、视频图像投影校正参数、视频图像变换参数表、视频图像 Alpha融合参数表和图像剪裁区域参数。

步骤 504, PC机将计算出的第二视频处理参数发送给显示融合器；在本实施例中， PC机和显示融合器之间的数据传输接口可以釆用以太网、 USB等接口方式，传输协议可以釆用 FTP协议、 HTTP协议、自定义的 TCP协议或 UDP协议进行传输。当计算得到的参数数据量较大时，通过数据传输协议传输给显示拼接融合器。

在本实施例中， PC机的功能还包括向显示融合器发送配置命令。与 PC 机向摄像拼接融合器发送配置命令类似，所述配置命令可以通过多种方式进行传输，例如通过串行端口、并行端口或网络接口等进行传输。如果通过网络接口传输，可以釆用 Telnet协议，或者是 TCP协议、 UDP协议进行传输。步骤 505 ,显示融合器将接收到的第二视频处理参数配置为工作状态使用的第二视频处理参数。

本实施例中，对第二视频处理参数进行配置后，就可以对所述三路视频数据进行步骤 311 315 的处理了，并显示处理后的视频数据，即如步骤 317 所述。到此，视频通信接收端的方法步骤完成。

本发明实施例提供的视频通信的方法，在视频通信的发送端将所获取的至少两路视频图像融合为全景视频图像，融合得到的全景视频图像能够更真实地表现相邻视频图像之间交接区域位置关系，使得最后显示出的图像给用户更真实的全景式体验，解决了摄像机拍摄的相邻视频图像在交接处存在重叠或缺失区域、并且亮度和颜色不一致的问题。本发明实施例中的视频通信发送端将全景视频图像编码成视频码流发送给视频通信接收端后，视频通信接收端对其进行进一步地融合处理，再将融合处理后的视频图像输出到显示设备进行显示，视频通信接收端进行的融合处理能够使得多个投影图像在弧形幕上无缝呈现，并且各个投影区域在颜色和亮度方面差异较小，提高了全景视频图像的视觉连续性，能够给用户更好的沉浸式全景体验。

如图 19所示，本发明实施例还提供一种视频通信的装置，所述视频通信装置应用于视频通信系统的发送端，包括：

第一获取单元 601 , 用于获取至少两路本地视频图像；

第一融合单元 602, 用于根据第一视频处理参数中的融合参数，对由所述第一获取单元 601 获取的至少两路本地视频图像进行融合，生成全景视频图像；

第一发送单元 603 ,用于将由所述第一融合单元 602获得的全景视频图像发送给视频编码器，通过所述视频编码器将所述全景视频图像编码成视频码流，并将所述视频码流发送给远端的视频通信站点。

本发明实施例提供的视频通信的装置，由第一融合单元将由第一获取单元所获取的至少两路视频图像融合为全景视频图像，融合得到的全景视频图像能够更真实地表现相邻视频图像之间交接区域位置关系，使得最后显示出的视频图像给用户更真实的全景式体验，解决了摄像机拍摄的相邻视频图像在交接处存在重叠或缺失区域、并且亮度和颜色不一致的问题。

进一步地，如图 20所示，所述视频通信的装置还包括：

同步单元 604, 用于提供同步时钟，使得第一获取单元 601在同步时钟的校准下，进行至少两路本地视频图像的获取。

第一 GAMMA校正单元 605 , 用于在对由所述第一获取单元 601获取的至少两路本地视频图像进行融合之前，根据所述第一视频处理参数中的 GAMMA校正参数，对由所述第一获取单元 601获取的至少两路本地视频图像进行 GAMMA校正；

本实施例中，由于摄像拼接融合器可以接收共光心摄像机机芯处理后的视频图像，也可以接收共光心摄像机传感器，如 CCD或 CMOS传感器送出的没有经过处理的视频图像，当摄像拼接融合器接收的是没有经过处理的视频图像时，需要对所述视频图像进行 GAMMA校正和传感器坏点补偿处理，以提高视频图像的显示质量。

坏点补偿单元 606,用于在对由所述第一获取单元 601获取的至少两路本地视频图像进行融合之前，根据所述第一视频处理参数中的坏点补偿参数，对由所述第一获取单元 601 获取的至少两路本地视频图像进行传感器坏点补偿；

在本实施例中，如果输出视频图像的传感器存在坏点，导致所述视频图像上也存在坏点，坏点补偿处理可以根据视频图像上坏点的邻近像素值差值得到坏点处的像素值，消除视频图像上的坏点，提高视频图像显示质量。

第一变换单元 607 ,用于在对由所述第一获取单元 601获取的至少两路本地视频图像进行融合之前，根据所述第一视频处理参数中的变换参数，对所述至少两路本地视频图像进行变换；所述变换包括：视频图像的平移、视频图像的旋转、视频图像的单应性变换和视频图像的柱面变换中的至少一种变换。

第一剪裁单元 608 ,用于在对由所述第一获取单元 601获取的至少两路本地视频图像进行融合之后，根据所述第一视频处理参数中的剪裁区域参数，将由所述第一融合单元 602获得的全景视频图像的比例剪裁为第一目标比例；本实施例中，对于图像进行剪裁的目的是消除图像中不需要显示的部分。所述第一目标比例根据实际情况人为确定。

第一缩放单元 609 ,用于在对由所述第一获取单元 601获取的至少两路本地视频图像进行融合之后，将由所述第一融合单元 602获得的全景视频图像的大小缩放至第一目标大小；

本实施例中，对视频图像进行剪裁后，视频图像的大小可能会变小，对视频图像进行缩放，使其尺寸达到用户所需要的大小。所述第一目标大小根据实际情况人为确定。

分割单元 610 ,用于在对由所述第一获取单元 601获取的至少两路本地视频图像进行融合之后，将由所述第一融合单元 602获得的全景视频图像分割为至少两路视频数据。

本实施例中，将融合后的全景视频图像分割为三路视频数据输出给三个视频通信终端，能够提高数据处理速度，降低出错率。

进一步地，如图 21所示，当所述通信装置不需要与 PC机交互时，所述通信装置还包括：

第一釆集单元 611 , 用于釆集至少两幅图像；

第一计算单元 612 ,用于根据由所述第一釆集单元 611釆集的至少两幅图像计算出第一视频处理参数；

第一配置单元 613 ,用于将由所述第一计算单元 612计算出的第一视频处理参数配置为工作状态使用的第一视频处理参数。

进一步地，如图 22所示，当所述通信装置需要与 PC机交互时，所述通信装置还包括：接收命令单元 614, 用于接收第一处理机发送的图像釆集命令；

第二釆集单元 615 , 用于釆集至少两幅图像；

第二发送单元 616 ,用于将由所述第二釆集单元 615釆集到的至少两幅图像发送给所述第一处理机；

第一接收参数单元 617 ,用于接收由所述第一处理机根据由所述第二釆集单元 615釆集的至少两幅图像计算出的第一视频处理参数；

第二配置单元 618 ,用于将由所述第一接收参数单元 617接收到的第一视频处理参数配置为工作状态使用的第一视频处理参数。

本发明实施例提供的视频通信的装置具体实现方法可以参见本发明实施例提供的视频通信的方法所述，此处不再赘述。

如图 23所示，本发明实施例还提供一种视频通信的装置，所述视频通信装置应用于视频通信系统的接收端，包括：

第二获取单元 701 ,用于获取视频解码器从视频码流中解码出的至少两路视频数据，所述视频码流由所述视频解码器从远端的视频通信站点接收得到；第二融合单元 702, 用于根据第二视频处理参数中的融合参数，对由所述第二获取单元 701获取的至少两路视频数据进行融合；

输出单元 703 ,用于将由所述第二融合单元 702融合后的至少两路视频数据输出给显示设备，由所述显示设备显示所述融合后的至少两路视频数据。

本发明实施例提供的视频通信的装置，将由视频通信发送端发送的视频码流进行接收解码，由第二融合单元对解码后获得的视频数据进行进一步地融合处理，再由输出单元将融合处理后的视频图像输出到显示设备进行显示，视频通信接收端进行的融合处理能够多个投影图像在弧形幕上无缝呈现，并且各个投影区域在颜色和亮度方面差异较小，提高了全景视频图像的视觉连续性，能够给用户更好的沉浸式全景体验。

进一步地，如图 24所示，所述视频通信装置还包括：

第二 GAMMA校正单元 704, 用于在对由所述第二获取单元 701获取的至少两路视频数据进行融合之前，根据所述第二视频处理参数中的 GAMMA 校正；

本实施例中，由于投影仪之间和投影仪内部的亮度和颜色差异，可以通过拍摄反馈的方法进行 GAMMA校正,以消除投影仪对于视频图像显示效果的影响。

投影校正单元 707 ,用于在对由所述第二获取单元 701获取的至少两路视频数据进行融合之前，根据所述第二视频处理参数中的投影校正参数，对由所述第二获取单元 701获取的至少两路视频数据进行投影校正；

第二变换单元 708 ,用于在对由所述第二获取单元 701获取的至少两路视频数据进行融合之前，根据所述第二视频处理参数中的变换参数，对所述至少两路视频数据进行变换；所述变换包括：视频数据的平移、视频数据的旋转和视频数据的单应性变换中的至少一种变换。

此步骤中的图像变换可以用于补偿由于投影仪安放位置不准确造成的图像变形和未对齐。

第二剪裁单元 705 ,用于在对由所述第二获取单元 701获取的至少两路视频数据进行融合之后，根据所述第二视频处理参数中的剪裁区域参数，将由所述第二融合单元 702 融合后的至少两路视频数据的比例剪裁为第二目标比例；

在本实施例中，为了兼容目前视频会议系统的显示方式，显示融合器除了接投影仪外，还可以接三台高清平板显示器，而所述平板显示器具有边框厚度，无法做到无缝显示，因此需要将图像位于边框厚度的部分剪裁掉。所述第二目标比例根据所述显示器的边框厚度来确定。

第二缩放单元 706 ,用于在对由所述第二获取单元 701获取的至少两路视频数据进行融合之后，将由所述第二融合单元 702 融合后的至少两路视频数据的大小缩放至第二目标大小；本实施例中，对视频数据进行剪裁后，视频数据的大小可能会变小，对视频数据进行缩放，使其尺寸达到显示时所需要的大小。

进一步地，如图 25所示，当所述通信装置不需要与 PC机交互时，所述通信装置还包括：

第二计算单元 709, 用于计算出第二视频处理参数；

所述第二视频处理参数包括投影仪 GAMMA校正参数、视频图像投影校正参数、视频图像变换参数表、视频图像 Alpha融合参数表和图像剪裁区域参数。

第三配置单元 710,用于将由所述第二计算单元 709计算出的第二视频处理参数配置为工作状态使用的第二视频处理参数。

进一步地，如图 26所示，当所述通信装置需要与 PC机交互时，所述通信装置还包括：

第二接收参数单元 711 , 用于接收由第二处理机计算出的第二视频处理参数；在本实施例中，第二处理机计算出的参数包括投影仪 GAMMA校正参数、视频图像投影校正参数、视频图像变换参数表、视频图像 Alpha融合参数表和图像剪裁区域参数。

第四配置单元 712,用于将由所述第二接收参数单元 711接收到的第二视频处理参数配置为工作状态使用的第二视频处理参数。

本发明实施例提供的技术方案可应用在视频会议等视频通信的技术领域中。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于计算机可读存储介质中，如 ROM/RAM、磁碟或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

权利要求书

1、一种视频通信站点，其特征在于，包括：

至少两个本地摄像机，用于指向至少两个本地用户部分，拍摄至少两路本地用户部分的本地视频图像；

本地摄像拼接融合器，用于根据第一视频处理参数中的融合参数，对所述拍摄得到的至少两路本地用户部分的本地视频图像进行融合，生成全景视频图像；并将所述全景视频图像编码成视频码流，将所述视频码流发送给远端的视频通信站点；

本地显示融合器，用于从远端接收到的视频码流中分别解码得到至少两路视频数据；根据第二视频处理参数中的融合参数，对所述解码得到的至少两路视频数据进行融合；将融合后的至少两路视频数据输出给本地显示设备；

至少两个本地显示设备，用于显示经过所述本地显示融合器融合后的至少两路视频数据。

2、根据权利要求 1所述的视频通信站点，其特征在于，所述本地摄像拼接融合器还用于：对所述至少两路本地用户部分的本地视频图像执行至少一种如下操作： GAMMA校正、传感器坏点补偿、图像处理的相关变换；

所述本地摄像拼接融合器还用于：对所述全景视频图像执行至少一种如下操作：剪裁、缩放、分割。

3、根据权利要求 1所述的视频通信站点，其特征在于，所述本地显示融合器还用于对所述解码得到的至少两路视频数据执行至少一种如下操作：

GAMMA校正、投影校正、变换；

所述本地显示融合器还用于对所述融合后的至少两路视频数据执行至少一种如下操作：剪裁、缩放。

4、根据权利要求 1所述的视频通信站点，其特征在于，所述至少两个本地摄像机的拍摄区域为所述至少两个本地摄像机的拍摄范围的并集，所述至少两个本地摄像机的拍摄区域覆盖所述至少两个本地用户部分。

5、根据权利要求 4所述的视频通信站点，其特征在于，

所述至少两个本地摄像机为共光心摄像机；

所述至少两个本地显示设备包括：投影仪和投影屏幕，或者显示器。

6、根据权利要求 5所述的视频通信站点，其特征在于，当所述至少两个本地显示设备为投影仪和投影屏幕时，所述投影屏幕的位置以所述会议桌的边缘的中线位置的点为圓心布局；所述共光心摄像机位于所述投影屏幕弧长的中线位置。

7、根据权利要求 1所述的视频通信站点，其特征在于，所述至少两个本地显示设备中包括至少一个用于显示共享数据信息的显示设备；或者，

所述系统还包括另一本地显示设备，用于显示共享数据信息。

8、一种视频通信的方法，其特征在于，包括：

获取至少两路本地视频图像；

9、根据权利要求 8所述的视频通信的方法，其特征在于，所述获取至少两路本地视频图像包括：通过至少两个本地摄像机根据同步时钟获取至少两路本地视频图像。

10、根据权利要求 8所述的视频通信的方法，其特征在于，所述方法还包括：

在对所述至少两路本地视频图像进行融合之前，根据所述第一视频处理参数中的 GAMMA校正参数，对所述至少两路本地视频图像进行 GAMMA校正；和 /或

在对所述至少两路本地视频图像进行融合之前，根据所述第一视频处理参数中的坏点补偿参数，对所述至少两路本地视频图像进行传感器坏点补偿。

11、根据权利要求 8所述的视频通信的方法，其特征在于，所述方法还包括：

在对所述至少两路本地视频图像进行融合之前，根据所述第一视频处理参数中的变换参数，对所述至少两路本地视频图像进行图像处理的相关变换；所述图像处理的相关变换包括：视频图像的平移、视频图像的旋转、视频图像的单应性变换和视频图像的柱面变换中的至少一种变换。

12、根据权利要求 8所述的视频通信的方法，其特征在于，所述方法还包括：

在对所述至少两路本地视频图像进行融合之后，根据所述第一视频处理参数中的剪裁区域参数，将所述全景视频图像的比例剪裁为第一目标比例；和 /或在对所述至少两路本地视频图像进行融合之后，将所述全景视频图像的大小缩放至第一目标大小。

13、根据权利要求 8所述的视频通信的方法，其特征在于，所述方法还包括：

在对所述至少两路本地视频图像进行融合之后，将所述全景视频图像分割为至少两路视频数据；

所述通过视频编码器将所述全景视频图像编码成视频码流，并将所述视频码流发送出去为：通过至少两个视频编码器将所述至少两路视频数据分别编码成对应的视频码流，并将所述至少两路视频数据对应的视频码流分别发送出去。

14、根据权利要求 8至 12中任意一项所述的视频通信的方法，其特征在于, 还包括：配置第一视频处理参数；

所述配置第一视频处理参数包括：

釆集至少两幅图像；

根据所述至少两幅图像计算出第一视频处理参数；

将计算出的第一视频处理参数配置为工作状态使用的第一视频处理参数。

15、根据权利要求 8至 12中任意一项所述的视频通信的方法，其特征在于，所述配置第一视频处理参数的步骤包括：

接收第一处理机发送的图像釆集命令；

釆集至少两幅图像；

将所釆集到的至少两幅图像发送给所述第一处理机；

接收由所述第一处理机根据所述至少两幅图像计算出的第一视频处理参数；

将接收到的第一视频处理参数配置为工作状态使用的第一视频处理参数。

16、一种视频通信的方法，其特征在于，包括：

根据第二视频处理参数中的融合参数，对所述至少两路视频数据进行融合；将所述融合后的至少两路视频数据输出给显示设备，由所述显示设备显示所述融合后的至少两路视频数据。

17、根据权利要求 16所述的视频通信的方法，其特征在于，所述方法还包括：

在对所述至少两路视频数据进行融合之前，根据所述第二视频处理参数中的 GAMMA校正参数，对所述至少两路视频数据进行 GAMMA校正。

18、根据权利要求 16所述的视频通信的方法，其特征在于，所述方法还包括：

在对所述至少两路视频数据进行融合之前，根据所述第二视频处理参数中的投影校正参数，对所述至少两路视频数据进行投影校正。

19、根据权利要求 16所述的视频通信的方法，其特征在于，所述方法还包括：

在对所述至少两路视频数据进行融合之前，根据所述第二视频处理参数中的变换参数，对所述至少两路视频数据进行变换；所述变换包括：视频数据的平移、视频数据的旋转、视频数据的单应性变换和视频图像的柱面变换中的中的至少一种变换。

20、根据权利要求 16所述的视频通信的方法，其特征在于，所述方法还包括：

在对所述至少两路视频数据进行融合之后，根据所述第二视频处理参数中的剪裁区域参数，将所述融合后的至少两路视频数据的比例剪裁为第二目标比例；和 /或

在对所述至少两路视频数据进行融合之后，将所述融合后的至少两路视频数据的大小缩放至第二目标大小。

21、根据权利要求 16至 20中任意一项所述的视频通信的方法，其特征在于，还包括：配置第二视频处理参数；

所述配置第二视频处理参数包括：

计算出第二视频处理参数，或接收由第二处理机计算出的第二视频处理参数；

将接收到的第二视频处理参数配置为工作状态使用的第二视频处理参数。

22、一种视频通信的装置，其特征在于，包括：

第一获取单元，用于获取至少两路本地视频图像；

第一融合单元，用于根据第一视频处理参数中的融合参数，对由所述第一获取单元获取的至少两路本地视频图像进行融合，生成全景视频图像；

第一发送单元，用于将由所述第一融合单元获得的全景视频图像发送给视频编码器，通过所述视频编码器将所述全景视频图像编码成视频码流，并将所述视频码流发送出去。

23、根据权利要求 22所述的视频通信装置，其特征在于，所述装置还包括：同步单元，用于提供同步时钟，使得第一获取单元在同步时钟的校准下，进行至少两路本地视频图像的获取。

24、根据权利要求 22所述的视频通信的装置，其特征在于，所述装置还包括：

第一 GAMMA校正单元，用于在对由所述第一获取单元获取的至少两路本地视频图像进行融合之前，根据所述第一视频处理参数中的 GAMMA校正参数，对由所述第一获取单元获取的至少两路本地视频图像进行 GAMMA校正；和 / 或

坏点补偿单元，用于在对由所述第一获取单元获取的至少两路本地视频图像进行融合之前，根据所述第一视频处理参数中的坏点补偿参数，对由所述第一获取单元获取的至少两路本地视频图像进行传感器坏点补偿。

25、根据权利要求 22所述的视频通信的装置，其特征在于，所述装置还包括：

第一变换单元，用于在对由所述第一获取单元获取的至少两路本地视频图像进行融合之前，根据所述第一视频处理参数中的变换参数，对所述至少两路本地视频图像进行图像处理的相关变换；所述图像处理的相关变换包括：视频图像的平移、视频图像的旋转、视频图像的单应性变换和视频图像的柱面变换中的至少一种变换。

26、根据权利要求 22所述的视频通信的装置，其特征在于，所述装置还包括：

第一剪裁单元，用于在对由所述第一获取单元获取的至少两路本地视频图像进行融合之后，根据所述第一视频处理参数中的剪裁区域参数，将由所述第一融合单元获得的全景视频图像的比例剪裁为第一目标比例；和 /或

第一缩放单元，用于在对由所述第一获取单元获取的至少两路本地视频图像进行融合之后，将由所述第一融合单元获得的全景视频图像的大小缩放至第一目标大小。

27、根据权利要求 22所述的视频通信的装置，其特征在于，所述装置还包括：

分割单元，用于在对由所述第一获取单元获取的至少两路本地视频图像进行融合之后，将由所述第一融合单元获得的全景视频图像分割为至少两路视频数据。

28、根据权利要求 22至 26中任意一项所述的视频通信的装置，其特征在于，所述装置还包括：

第一釆集单元，用于釆集至少两幅图像；

第一计算单元，用于根据由所述第一釆集单元釆集的至少两幅图像计算出第一视频处理参数；

第一配置单元，用于将由所述第一计算单元计算出的第一视频处理参数配置为工作状态使用的第一视频处理参数。

29、根据权利要求 22至 26中任意一项所述的视频通信的装置，其特征在于，所述装置还包括：

接收命令单元，用于接收第一处理机发送的图像釆集命令；

第二釆集单元，用于釆集至少两幅图像；

第二发送单元，用于将由所述第二釆集单元釆集到的至少两幅图像发送给所述第一处理机；

第一接收参数单元，用于接收由所述第一处理机根据由所述第二釆集单元釆集的至少两幅图像计算出的第一视频处理参数；

第二配置单元，用于将由所述第一接收参数单元接收到的第一视频处理参数配置为工作状态使用的第一视频处理参数。

30、一种视频通信的装置，其特征在于，包括：

第二获取单元，用于获取视频解码器从视频码流中解码出的至少两路视频数据，所述视频码流由所述视频解码器从远端的视频通信站点接收得到；

第二融合单元，用于根据第二视频处理参数中的融合参数，对由所述第二获取单元获取的至少两路视频数据进行融合；

31、根据权利要求 30所述的视频通信的装置，其特征在于，所述装置还包括：

第二 GAMMA校正单元，用于在对由所述第二获取单元获取的至少两路视频数据进行融合之前，根据所述第二视频处理参数中的 GAMMA校正参数，对

32、根据权利要求 30所述的视频通信的装置，其特征在于，所述装置还包括：

投影校正单元，用于在对由所述第二获取单元获取的至少两路视频数据进行融合之前，根据所述第二视频处理参数中的投影校正参数，对由所述第二获取单元获取的至少两路视频数据进行投影校正。

33、根据权利要求 30所述的视频通信的装置，其特征在于，所述装置还包括：

第二变换单元，用于在对由所述第二获取单元获取的至少两路视频数据进行融合之前，根据所述第二视频处理参数中的变换参数，对所述至少两路视频数据进行变换；所述变换包括：视频数据的平移、视频数据的旋转、视频数据的单应性变换和视频图像的柱面变换中的中的至少一种变换。

34、根据权利要求 30所述的视频通信的装置，其特征在于，所述装置还包括：

第二剪裁单元，用于在对由所述第二获取单元获取的至少两路视频数据进行融合之后，根据所述第二视频处理参数中的剪裁区域参数，将由所述第二融合单元融合后的至少两路视频数据的比例剪裁为第二目标比例；和 /或

第二缩放单元，用于在对由所述第二获取单元获取的至少两路视频数据进行融合之后，将由所述第二融合单元融合后的至少两路视频数据的大小缩放至第二目标大小。

35、根据权利要求 30至 34中任意一项所述的视频通信的装置，其特征在于，所述装置还包括：第二计算单元，用于计算出第二视频处理参数；

第三配置单元，用于将由所述第二计算单元计算出的第二视频处理参数配置为工作状态使用的第二视频处理参数。

36、根据权利要求 30至 34中任意一项所述的视频通信的装置，其特征在于，所述装置还包括：

第二接收参数单元，用于接收由第二处理机计算出的第二视频处理参数；第四配置单元，用于将由所述第二接收参数单元接收到的第二视频处理参数配置为工作状态使用的第二视频处理参数。

37、一种视频通信的系统，其特征在于，包括至少两个如权利要求 1至 7 中任意一项所述的视频通信站点；

所述至少两个视频通信站点的一个站点，用于拍摄至少两路本地用户部分的本地视频图像；根据第一视频处理参数中的融合参数，对所述拍摄得到的至少两路本地用户部分的本地视频图像进行融合，生成全景视频图像；并将所述全景视频图像编码成视频码流，将所述视频码流通过网络发送出去；

所述至少两个视频通信站点的至少一个站点，作为接收站点，用于从接收到的视频码流中分别解码得到至少两路视频数据；根据第二视频处理参数中的融合参数，对所述解码得到的至少两路视频数据进行融合；将融合后的至少两路视频数据输出显示。