WO2012100410A1

WO2012100410A1 - 实现多方视频通话的方法、视频终端及系统

Info

Publication number: WO2012100410A1
Application number: PCT/CN2011/070616
Authority: WO
Inventors: 张明远
Original assignee: 青岛海信信芯科技有限公司
Priority date: 2011-01-26
Filing date: 2011-01-26
Publication date: 2012-08-02

Abstract

一种实现多方视频通话的方法、视频终端及系统，所述方法包括：本地视频终端在图像层创建对应至少一个其他视频终端的图像显示窗口；通过网络接收所述其他视频终端发送的图片数据，所述图片数据是所述其他视频终端从自己的视频流中按预定频率抽取数据帧生成的；解码所述图片数据，并将解码后的图片在所述图像层中与所述其他视频终端对应的图像显示窗口显示；实时获取本地视频流；解码所述本地视频流，并将解码后的视频在本地视频终端的视频层显示。利用本发明，可以实现多个视频通话，并且在不增加带宽的情况下，提高视频通话质量。

Description

实现多方视频通话的方法、视频终端及系统

技术领域本发明涉及视频处理技术领域，具体涉及一种实现多方视频通话的方法、视频终端及系统。背景技术

目前，视频会议正成为企业提升工作效率、降低差旅成本的重要通信手段，特别在全球金融危机的影响下，为了减少差旅费用，视频会议就成为企业最重要的协同工作手段，越来越多的企业开始建设视频会议等多方通信系统。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在现有的视频通话中，由于视频解码器只能同时解一个或两个视频流，因此，通常都是双方即两个客户端之间的通话，如 3C视通等视频通话功能。发明内容

本发明实施例针对上述现有技术存在的问题，提供一种实现多方视频通话的方法、视频终端及系统，实现多个视频通话。

为此，本发明实施例第一方面提供了一种实现多方视频通话的方法，包括：本地视频终端在图像层创建对应至少一个其他视频终端的图像显示窗口；通过网络接收所述其他视频终端发送的图片数据，所述图片数据是所述其他视频终端从自己的视频流中按预定频率抽取数据帧生成的；

解码所述图片数据，并将解码后的图片在所述图像层中与所述其他视频终端对应的图像显示窗口显示；

实时获取本地视频流;

解码所述本地视频流，并将解码后的视频在本地视频终端的视频层显示。优选地，所述方法还包括：

本地视频终端从所述本地视频流中按预定频率抽取数据帧生成图片数据；将所述图片数据通过网络发送给所述其他视频终端。

优选地，所述本地视频终端从所述本地视频流中按预定频率抽取数据帧生成图片数据包括：

本地视频终端从所述本地视频流中按预定频率抽取数据帧，得到图像数据；

对所述图像数据进行压缩；

从压缩后的图像数据每隔预定行抽取一行，生成所述图片数据。

优选地，所述方法还包括：

所述本地视频终端需要与所述其他视频终端通话时，根据所述其他视频终端的 IP地址发起通话请求；

接收所述 IP地址对应的视频终端发送的音频数据，实现与所述 IP地址对应的视频终端的通话。

优选地，所述本地视频终端在图像层创建对应至少一个其他视频终端的图像显示窗口包括：

所述本地视频终端如果需要与多个其他视频终端进行通话，则根据各其他视频终端的 IP地址在图像层分别创建对应各其他视频终端的图像显示窗口。

第二方面，本发明实施例提供了一种视频终端，包括：

显示窗口创建单元，用于在图像层创建对应至少一个其他视频终端的图像显示窗口；

接收单元，用于通过网络接收所述其他视频终端发送的图片数据，所述图片数据是所述其他视频终端从自己的视频流中按预定频率抽取数据帧生成的；图片解码单元，用于解码所述图片数据；

图像显示单元，用于将所述图片解码单元解码后的图片在所述图像层中与所述其他视频终端对应的图像显示窗口显示；

视频流获取单元，用于实时获取本地视频流；视频流解码单元，用于解码所述本地视频流；

视频显示单元，用于将所述视频流解码单元解码后的视频在本地视频终端的视频层显示。

优选地 , 所述视频终端还包括：

图片数据生成单元，用于从所述本地视频流中按预定频率抽取数据帧生成图片数据；

发送单元，用于将所述图片数据通过网络发送给所述其他视频终端。优选地，所述图片数据生成单元包括：

第一抽取子单元，用于从所述本地视频流中按预定频率抽取数据帧，得到图像数据；

压缩子单元，用于对所述图像数据进行压缩；

第二抽取子单元，用于从所述压缩子单元压缩后的图像数据每隔预定行抽取一行，生成所述图片数据。

优选地 , 所述视频终端还包括：

通话请求单元，用于需要与所述其他视频终端通话时，根据所述其他视频终端的 IP地址发起通话请求；

通话单元，用于接收所述 IP地址对应的视频终端发送的音频数据，实现与所述 IP地址对应的视频终端的通话。

优选地，所述显示窗口创建单元，具体用于在需要与多个其他视频终端进行通话时，根据各其他视频终端的 IP地址在图像层分别创建对应各其他视频终端的图像显示窗口。

第三方面，本发明实施例提供了一种视频系统，包括：通过网络相连的多个视频终端，所述视频终端包括：显示窗口创建单元，用于在图像层创建对应至少一个其他视频终端的图像显示窗口；接收单元，用于通过网络接收所述其他视频终端发送的图片数据，所述图片数据是所述其他视频终端从自己的视频流中按预定频率抽取数据帧生成的；图片解码单元，用于解码所述图片数据；图像显示单元，用于将所述图片解码单元解码后的图片在所述图像层中与所述其他视频终端对应的图像显示窗口显示；视频流获取单元，用于实时获取本地视频流；视频流解码单元，用于解码所述本地视频流；视频显示单元，用于将所述视频流解码单元解码后的视频在本地视频终端的视频层显示。

优选地 , 所述视频终端还包括：

压缩子单元，用于对所述图像数据进行压缩；

优选地 , 所述视频终端还包括：

优选地，所述显示窗口创建单元，具体用于在需要与多个其他视频终端进行通话时，根据各其他视频终端的 IP地址在图像层分别创建对应各其他视频终端的图像显示窗口。本发明实施例提供的实现多方视频通话的方法、视频终端及系统，对于本地视频流，通过实时解码并在本地视频终端的视频层显示；对于其他视频终端的视频流，不是像现有技术那样通过网络直接传送所述视频流，而是由其他视频终端将自己的视频流按预定频率抽取数据帧，生成图片数据，也就是说，本地视频终端接收到的其他视频终端传送的不是视频流，而是根据所述视频流生成的图片数据，不仅可以实现多方视频通话，而且进一步地大大减少了多方视频通话中网络传输的数据量，避免了由于网络传输带宽的限制对视频接收及显示的影响，提高了视频通话质量。附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作筒单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图 1是本发明实施例中视频终端的视频窗口示意图；

图 2是本发明实施例实现多方视频通话的方法的流程图；

图 3是本发明实施例视频终端的一种结构示意图；

图 4是本发明实施例视频终端的另一种结构示意图；

图 5是本发明实施例视频终端对本地数据流的处理流程图；图 6是本发明实施例视频终端对接收的其他视频终端的图片数据的处理流程图。具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

本发明实施例实现多方视频通话的方法、视频终端及系统，基于人眼视觉特性：人眼对图像的识别在每秒超过 12帧图像就会感觉是流畅的，对于本地视频流，通过实时解码并在本地视频终端的视频层显示；而对于其他视频终端的视频流，由其他视频终端将自己的视频流按预定频率抽取数据帧，生成图片数据，也就是说，本地视频终端接收到的其他视频终端传送的不是视频流，而是根据所述视频流生成的图片数据，不仅可以实现多方视频通话，而且由于传输的是根据视频流生成的图片数据，因而大大减少了多方视频通话中网络传输的数据量。而且本地视频终端解码所述图片数据，并将解码后的图片在所述图像层中相应的图像显示窗口显示，由于所述图片数据是按一定频率从所述其他视频终端的视频流中抽取生成的，因此在本地解码后的图片也会按照一定频率不断刷新，得到流畅的通话对方视频。

本发明实施例实现多方视频通话的方法中，本地视频终端支持多层次显示模式，设置有图像层和视频层，所述图像层用来于图片、文字的处理，所述视频层用于音视频数据的处理，即对于不同的处理，分配相应的内存。不同层次的数据显示时，需要叠加混合处理，具体处理方式本发明实施例不做限定。

在本发明实施例中，在图像层显示其他视频终端的视频图像，在视频层显示本地视频图像。与本地视频终端通话的其他视频终端可以有一个或多个，在有多个其他视频终端时，本地视频终端可以在显示层不同的显示窗口分别显示其他视频终端的视频图像，如图 1所示，语音采用与一方交流的方式。

如图 2所示，是本发明实施例实现多方视频通话的方法的流程图，包括以下步骤：

步骤 201 , 本地视频终端在图像层创建对应至少一个其他视频终端的图像显示窗口。

所述本地视频终端如果需要与多个其他视频终端进行通话，则可以根据各其他视频终端的 IP地址在图像层分别创建对应各其他视频终端的图像显示窗口。

步骤 202, 通过网络接收所述其他视频终端发送的图片数据，所述图片数据是所述其他视频终端从自己的视频流中按预定频率抽取数据帧生成的。所述网络可以是因特网，也可以是专用网络等。

步骤 203 , 解码所述图片数据，并将解码后的图片在所述图像层中与所述其他视频终端对应的图像显示窗口显示。

在具体应用时，本地视频终端可以利用本机图像层显示机制（比如打点显示方式，或者将一块内存中的图片数据直接在图像层显示等等），通过定时器不断刷新解码后的图片，当每秒大于 15幅以上的图片在变化时，人眼看到的将是连续的图像。

步骤 204, 实时获取本地视频流。

具体地，可以直接从本地摄像头获取本地视频流。

步骤 205 , 解码所述本地视频流，并将解码后的视频在本地视频终端的视频层显示。

由于视频流的编解码与图片的编解码方式不同，而且视频流的编解码比图片的编解码算法复杂，运算量大。因此，本发明实施例实现多方视频通话的方法对本地视频流采用视频解码，而对与其通话的其他视频终端的视频流，采用图片解码的方式获得并显示相应的视频图像，大大减少了传输数据量及解码的运算量。具体的，对所述本地视频流的解码处理、以及对所述图片数据的解码处理可以采用现有的一些解码方式，对此，本发明实施例不做限定。

另外，对于电视的视频通话，由于没有服务器的支持，只能通过客户机自己来完成视频画面的处理。而且，由于带宽的限制，使得现有技术中双方的通话视频很多时候也不够流畅，质量不能满足需求。而本发明实施例实现多方视频通话的方法，采用图片数据代替视频流数据，大大减少了传输数据量及解码的运算量。在与现有技术同等带宽条件下，也能够得到得到流畅的通话视频，保证视频画面质量。

需要说明的是，本发明实施例实现多方视频通话的方法中，本地视频终端对本地视频流的处理与对接收到的其他视频终端的图片数据的处理是同步进行的，也就是说，上述步骤 101至 103与步骤 104至 105没有时间上的先后顺序。

另外，在本发明实施例中，所述本地视频终端还可以主动发起与任何一个其他视频终端的语音交互，具体过程如下：

当然，所述本地视频终端在接收到其他视频终端发起的通话请求后，如果接受该请求，则向该求方视频终端发送音频数据，实现语音交互。

另外，为了使其他视频终端用户能够看到所述本地视频终端的视频图像，在本发明实施例中，还可进一步包括以下步骤：

本地视频终端从所述本地视频流中按预定频率抽取数据帧生成图片数据，并将所述图片数据通过网络发送给所述其他视频终端。

具体地，为了进一步减少传输图片数据所需带宽，在生成图片数据时，可以按以下处理过程进行：

( 1 )本地视频终端从所述本地视频流中按预定频率抽取数据帧，得到图像数据；

( 2 )对所述图像数据进行压缩；

具体地，可以按照预先约定的图像显示窗口的大小，对图像数据进行压缩，即将图像压缩成图像显示窗口大小的图片，以更大地减少图片数据的数据量； ( 3 )按照抽丝算法将压缩后的图片抽丝，即从压缩后的图像数据每隔预定行抽取一行，生成所述图片数据。

这样，可以有效地减少图片的数据量。相应地，在显示时，可以按照所述抽丝算法的逆过程将图片还原。

按照本发明实施例实现多方视频通话的方法，如果有 n个终端视频，每个终端都采用 720p分辨率的摄像头录制视频，假设各视频的图像显示窗口大小为 300*240, 抽丝比例为 1/100, 即每 100行图像数据中抽取一行，得到图片数据。

假设网络传输带宽为 10MKb/s , 每秒可以发送的视频流为 10M/((1280*720)/8) (其中， 10M为网络带宽， (1280*720)/8 为 720p分辨率一帧图像的数据大小；)，则按照本发明实施例的方法，可以传输 10M/(((300*240)/8)*(99/100)) (其中， 10M为网络带宽，（300*240)/8表示宽度 300*240、高度为 300*240的图片数据大小，（((300*240)/8)*(99/100)表示抽丝后的数据）的图片数据，减少了 15倍的数据量。

对于同样一对一视频流畅的带宽，按照本发明实施例的方法，则可以支持 1对 15的视频。

需要说明的是，在实际应用中，本地视频终端与其他视频终端的通话可以根据与其对应的图像显示窗口中视频对象的标识，读取该视频终端的音频数据来实现。具体地，每个视频终端，都会发送自己的视频图片数据和音频数据，音频数据通过 TCP ( Transmission Control Protocol,传输控制协议） /IP ( Internet Protocol, 因特网协议）进行传输，和图片数据一样，传输的音频数据也具有每个视频对象的唯一标识。

在每个视频终端上，可以通过点击任意一个视频对象的窗口，来确定是否接受和解析对方的音频数据。比如针对图 1所示的视频窗口，点击 IP1视频窗口时，开始接收并解析该视频对象对应的音频数据，接收到该视频对象对应的音频数据后，在本地进行音频解码，发出声音。点击 IP2视频窗口时，停止接收和解析 IP1视频窗口的音频数据，选择开始接收并解析 IP2窗口对应的音频数据。因为网络中音频数据和图片数据一直都是同时传输的并且由视频终端分别进行接收和解码，因此选择接收某个视频窗口对应的音频时，对视频图片的接收和解析不会受到影响，从而保证流畅的音、视频通话。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理品的形式体现出来，该计算机软件产品可以存储在存储介质中，如 ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

相应地，本发明实施例还提供一种视频终端，如图 3所示，是该视频终端的一种结构示意图。

在该实施例中，所述视频终端 300包括：

显示窗口创建单元 301 , 用于在图像层创建对应至少一个其他视频终端的图像显示窗口；

接收单元 302, 用于通过网络接收所述其他视频终端发送的图片数据，所述图片数据是所述其他视频终端从自己的视频流中按预定频率抽取数据帧生成的；

图片解码单元 303 , 用于解码所述图片数据；

图像显示单元 304, 用于将所述图片解码单元 303解码后的图片在所述图像层中与所述其他视频终端对应的图像显示窗口显示；

视频流获取单元 305 , 用于实时获取本地视频流；

视频流解码单元 306, 用于解码所述本地视频流；

视频显示单元 307, 用于将所述视频流解码单元 306解码后的视频在本地视频终端的视频层显示。

需要说明的是，在所述视频终端 300 需要与多个其他视频终端进行通话时，显示窗口创建单元 301可以根据各其他视频终端的 IP地址在图像层分别创建对应各其他视频终端的图像显示窗口。

本发明实施例的视频终端，对本地视频流采用视频解码，而对与其通话的其他视频终端的视频流，采用图片解码的方式获得并显示相应的视频图像，大大减少了传输数据量及解码的运算量。具体的，对所述本地视频流的解码处理、以及对所述图片数据的解码处理可以采用现有的一些解码方式，对此，本发明实施例不做限定。

如图 4所示，是该视频终端的另一种结构示意图。

与图 3所示实施例不同的是，在该实施例中，视频终端 400还进一步包括：图片数据生成单元 401 , 用于从所述本地视频流中按预定频率抽取数据帧生成图片数据；

发送单元 402, 用于将所述图片数据通过网络发送给所述其他视频终端。在本发明实施例中，所述图片数据生成单元 401可以包括：

压缩子单元，用于对所述图像数据进行压缩；

当然，在实际应用中，所述图片数据生成单元 401并不仅限于上述实现方式，还可以有其他实现方式，比如，可以直接将压缩后的图像数据作为发送给其他视频终端的图片数据。这样，需要的传输带宽相对要较大些。

利用本发明实施例的视频终端，不仅对本地视频流采用视频解码，对与其通话的其他视频终端的视频流，采用图片解码的方式获得并显示相应的视频图像，而且，本视频终端还根据本地视频流生成图片数据并发送给其他视频终端，从而实现多方视频通话，并大大减少了传输数据量及解码的运算量，保证了视频传输及显示质量。

需要说明的是，本发明实施例的视频终端，还可以主动发起与任何一个其他视频终端的语音交互。相应地，在图 3和图 4所示实施例中，所述视频终端还可进一步包括：通话请求单元和通话单元（未图示），其中：

所述通话请求单元，用于需要与所述其他视频终端通话时，根据所述其他视频终端的 IP地址发起通话请求；

所述通话单元，用于接收所述 IP地址对应的视频终端发送的音频数据，实现与所述 IP地址对应的视频终端的通话。

当然，所述视频终端在接收到其他视频终端发起的通话请求后，如果接受该请求，则由所述通话单元向该求方视频终端发送音频数据，实现语音交互。

以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

下面进一步结合图 4说明本发明实施例视频终端对本地数据流及其他视频终端的图片数据的处理过程。

如图 5所示，是本发明实施例视频终端对本地数据流的处理流程图，包括以下步骤：

步骤 501 , 视频流获取单元获取本地视频流；

步骤 502, 视频流解码单元对本地视频流进行解码，并在视频层显示；步骤 503, 第一抽取子单元进行视频流抽取，即从所述本地视频流中按预定频率抽取数据帧，得到图像数据；

步骤 504, 压缩子单元进行图像压缩，即按照预先设定的图像显示窗口大小对所述图像数据进行压缩；步骤 505 , 第二抽取子单元进行图像抽丝，即对压缩后的图像数据每隔预定行抽取一行，将抽丝得到的数据形成图片数据；

步骤 506, 发送单元将所述图片数据按照网络传输协议进行封装后发送。重复上述步骤 503到 506, 可以将根据本地视频流形成的图片数据连续发送到其他视频终端，从而使其他视频终端可以实时显示所述本地视频终端的视频图像。

需要说明的是，上述步骤 503到 506与步骤 502是同步进行的。

如图 6所示，是本发明实施例视频终端对接收的其他视频终端的图片数据的处理流程图，包括以下步骤：

步骤 601 , 设置定时器，比如定时时间设置为 50ms;

步骤 602, 接收单元通过网络接收网络数据，如果接收的网络数据是视频数据，则从中提取图片数据；

步骤 603 , 图片解码单元解码所述图片数据；

步骤 604, 判断定时器是否超时；如果是，则执行步骤 605; 否则，执行步骤 601 ;

步骤 605 , 图像显示单元在图像层对应的显示窗口显示解码后的图片。重复上述步骤 604至 605 , 可以使解码后的图片按照定时器设置的时间进行刷新，即按照一定的频率进行刷新，从而得到连续的图像，也就是说，在本地视频终端还原出其他视频终端的视频图像。

相应地，本发明实施例还提供一种视频系统，所述视频系统包括：通过网络相连的多个视频终端，各视频终端的具体结构可参照前面各实施例。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较筒单，相关之处参见方法及设备实施例的部分说明即可。以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限

Claims

权利要求

1、一种实现多方视频通话的方法，其特征在于，包括：

本地视频终端在图像层创建对应至少一个其他视频终端的图像显示窗口；通过网络接收所述其他视频终端发送的图片数据，所述图片数据是所述其他视频终端从自己的视频流中按预定频率抽取数据帧生成的；

实时获取本地视频流;

解码所述本地视频流，并将解码后的视频在本地视频终端的视频层显示。

2、根据权利要求 1所述的方法，其特征在于，所述方法还包括：本地视频终端从所述本地视频流中按预定频率抽取数据帧生成图片数据；将所述图片数据通过网络发送给所述其他视频终端。

3、根据权利要求 2所述的方法，其特征在于，所述本地视频终端从所述本地视频流中按预定频率抽取数据帧生成图片数据包括：

对所述图像数据进行压缩；

4、根据权利要求 1或 2或 3所述的方法，其特征在于，所述方法还包括：所述本地视频终端需要与所述其他视频终端通话时，根据所述其他视频终端的 IP地址发起通话请求；

5、根据权利要求 1所述的方法，其特征在于，所述本地视频终端在图像层创建对应至少一个其他视频终端的图像显示窗口包括：所述本地视频终端如果需要与多个其他视频终端进行通话，则根据各其他视频终端的 IP地址在图像层分别创建对应各其他视频终端的图像显示窗口。

6、一种视频终端，其特征在于，包括：

视频流获取单元，用于实时获取本地视频流；

视频流解码单元，用于解码所述本地视频流；

7、根据权利要求 6所述的视频终端，其特征在于，所述视频终端还包括：图片数据生成单元，用于从所述本地视频流中按预定频率抽取数据帧生成图片数据；

发送单元，用于将所述图片数据通过网络发送给所述其他视频终端。

8、根据权利要求 7所述的视频终端，其特征在于，所述图片数据生成单元包括：

压缩子单元，用于对所述图像数据进行压缩；

9、根据权利要求 6或 7或 8所述的视频终端，其特征在于，所述视频终端还包括：

10、根据权利要求 6所述的视频终端，其特征在于，

所述显示窗口创建单元，具体用于在需要与多个其他视频终端进行通话时，根据各其他视频终端的 IP地址在图像层分别创建对应各其他视频终端的图像显示窗口。

11、一种视频系统，其特征在于，包括：通过网络相连的多个视频终端，各视频终端为如权利要求 6至 10任一项所述的视频终端。