WO2015062238A1

WO2015062238A1 - 视频图像处理的方法和装置

Info

Publication number: WO2015062238A1
Application number: PCT/CN2014/077345
Authority: WO
Inventors: 杨晋
Original assignee: 华为技术有限公司
Priority date: 2013-10-31
Filing date: 2014-05-13
Publication date: 2015-05-07
Also published as: CN104601875A

Abstract

本发明实施例公开了一种视频图像处理的方法和装置，所述方法包括：接收对端设备发送的对端视频图像；对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；获取本端被摄对象与本端屏幕之间的第一距离；根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像；将所述第一有效本端视频图像发送给所述对端设备。

Description

视频图像处理的方法和装置本申请要求于 2013 年 10 月 31 日提交中国专利局、申请号为 201310530762.8, 发明名称为"视频图像处理的方法和装置 "的中国专利申请的优先权，在先申请文件的内容通过引用结合在本申请中。

技术领域

本发明涉及通信技术领域，尤其涉及一种视频图像处理的方法和装置。背景技术

随着网络技术的发展，视频通信技术的应用也越来越普及，视频会议，视频聊天等已经成为人们日常工作生活中不可缺少的沟通联络方式。用户对于视频通信的质量要求越来越高，单纯的清晰、流畅，已经不能满足用户的要求。

在人与人实际面对面对话的场景中，对话一方想要离近另一方，只要向另一方的方向移动身体即可；当一个人对其面前的物体想要仔细观察，也只要凑近观看即可。

然而在现有的视频通信技术中，无论一方用户怎样移动自己的位置，显示器显示出对方的画面都是不会改变的，需要视频中的另一方做相应的移动才可以实现上述效果。发明内容

本发明实施例提供了一种视频图像处理和装置，能够使对方用户产生直接观看本端被摄物体或直接与本端用户面对面交流的体验。

第一方面，本发明实施例提供了一种视频图像处理的方法，所述方法包括：接收对端设备发送的对端视频图像；

对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；

获取本端被摄对象与本端屏幕之间的第一距离；

根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；

根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像；将所述第一有效本端视频图像发送给所述对端设备。

在第一种可能的实现方式中，所述根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围具体为：

X=2h x tg (a/2) +X₀

其中， X为第一有效摄像范围的宽度、 h为第一距离、 a为对端被摄对象的视角夹角、 X。为瞳孔区域的宽度；所述瞳孔区域在对端视频图像中的第一位置满足瞳孔区域边缘至对端屏幕边缘的距离不小于 h X tg (a/ 2)。

在第二种可能的实现方式中，所述根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像具体为：

通过全部摄像单元釆集所述本端的被摄对象的平行光信号，以获得第一数量个摄像单元图像；其中，每个所述摄像单元图像为本端被摄对象的一部分影像；所述第一数量为所述全部摄像单元的数量；

由所述第一数量个摄像单元图像合成得到本端视频图像；

根据所述第一有效摄像范围对所述本端视频图像进行处理，得到所述本端视频图像在第一有效摄像范围内的第一有效本端视频图像。

在第三种可能的实现方式中，所述根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像具体为：通过本端全部摄像单元在第一有效摄像范围内的多个摄像单元釆集本端被摄对象的平行光信号，以获得第二数量个摄像单元图像；其中，所述第二数量为第一有效摄像范围内的摄像单元的数量；

由所述第二数量个摄像单元图像合成得到第一有效本端视频图像。

结合第一方面或第一方面的第二种、第三种可能的实现方式，在第四种可能的实现方式中，所述第一距离的获取方法具体为：

发射第一光信号；

通过各所述摄像单元接收所述第一光信号经过所述本端被摄对象反射后的第二光信号；

根据所述第一光信号的发射时间和所述各摄像单元对第二光信号的接收时间得到所述各摄像单元图像的深度信息；

根据所述各摄像单元图像的深度信息进行加权处理，得到所述第一距离。在第五种可能的实现方式中，在接收对端设备发送的对端视频图像之后，所述方法还包括：

将对端视频图像转化为显示驱动信号；

根据显示驱动信号对所述对端视频图像进行显示。

在第六种可能的实现方式中，对所述对端视频图像进行处理具体为：每间隔第一时间，对所述对端视频图像进行处理；其中所述第一时间为釆样间隔时间。

第二方面，本发明实施例提供了一种视频图像处理的装置，包括：接收单元，用于接收对端设备发送的对端视频图像；

图像识别单元，用于对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；距离获取单元，用于获取本端被摄对象与本端屏幕之间的第一距离；摄像区域决策单元，用于根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；

有效图像获取单元，根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像；

发送单元，用于将所述第一有效本端视频图像发送给所述对端设备。在第一种可能的实现方式中，所述有效图像获取单元具体包括多个摄像单元、合成单元和处理单元；

每个所述摄像单元用于，釆集所述本端的被摄对象的平行光信号，以获得一个摄像单元图像；其中，所述一个摄像单元图像为本端被摄对象的一部分影像；

所述合成单元用于，由全部摄像单元获取的第一数量个摄像单元图像合成得到本端视频图像；其中，所述第一数量为所述全部摄像单元的数量；所述处理单元用于，根据所述第一有效摄像范围对所述本端视频图像进行处理，得到所述本端视频图像在第一有效摄像范围内的第一有效本端视频图像。

在第二种可能的实现方式中，所述有效图像获取单元具体包括多个摄像单元、摄像控制单元和合成单元：

所述摄像控制单元用于，控制在第一有效摄像范围内的多个摄像单元对本端被摄对象的平行光信号进行釆集，得到第二数量个摄像单元图像；其中，所述第二数量为第一有效摄像范围内的摄像单元的数量；所述合成单元用于，由所述第二数量个摄像单元图像合成得到第一有效本端视频图像。

结合第二方面或第二方面的第一、第二种可能的实现方式，在第三种可能的实现方式中，所述装置还包括：光信号发生器；

所述光信号发生器用于发射第一光信号；

所述摄像单元接收所述第一光信号经过所述本端的拍摄对象反射后的第二光信号；

所述距离获取单元具体用于，根据所述第一光信号的发射时间和第二光信号的接收时间得到所述各摄像单元图像的深度信息，并根据所述各摄像单元图像的深度信息进行加权处理，得到所述第一距离。

在第四种可能的实现方式中，所述装置还包括：

显示驱动单元，用于将对端视频图像解码信息转化为显示驱动信号；显示单元，用于根据显示驱动信号对所述对端视频图像信息进行显示。在第五种可能的实现方式中，所述图像识别单元具体包括处理周期设定单元，用于将对所述对端视频图像信息进行处理的时间间隔设定为第一时间，所述第一时间为釆样间隔时间。

本发明实施例的视频图像处理的方法和装置，通过釆集图像分析并确定对端用户的可视区域，而模拟出与可视区域相同的第一摄像范围，从而将本端釆集图像在第一摄像范围内的图像显示给对方用户，使对方用户能够产生直接观看本端被摄物体或直接与本端用户面对面的感觉，提高用户体验。附图说明

图 1为本发明实施例一提供的一种视频图像处理的方法流程图；图 2为本发明实施例一提供的第一有效摄像范围获取方法的示意图之一；图 3为本发明实施例一提供的第一有效摄像范围获取方法的示意图之二；图 4为本发明实施例二提供的一种视频图像处理的方法流程图；图 5为本发明实施例三提供的一种视频图像处理的装置示意图；图 6为本发明实施例四提供的一种视频图像处理的装置示意图；图 7为本发明实施例五提供的一种视频图像处理的装置示意图；图 8为本发明实施例六提供的一种视频图像处理的实体装置示意图。下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。具体实施方式

本发明实施例提供的视频图像处理的方法和装置，可以应用在各种视频通信场景中，如视频会议，视频聊天，通过视频传输资料，甚至网络拍卖会等等。

图 1 为本发明实施例一提供的视频图像处理的方法流程图。在本实施例中，本端的视频图像处理装置中应用了本发明的视频图像处理的方法，其中，对端为用户端，对端用户通过对端的视频图像处理装置（即对端设备）来查看本端视频图像处理装置釆集的图像，本端被摄对象可以是人，也可以是物。

如图 1所示，本实施例视频图像处理的方法包括如下步骤：

步骤 110，接收对端设备发送的对端视频图像；

具体的，本端视频图像处理装置接收对端设备发送的对端视频图像，其中，对端视频图像中包括对端用户的图像。

步骤 120，对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；具体的，对接收到的对端用户的图像进行识别，优选的，接收到的对端用户的图像为经过编码压缩的图像，因此在接收图像后需要对图像进行解码。通过人脸识别和人眼瞳孔识别技术识别出对端视频图像瞳孔区域的大小，以及瞳孔区域在对端视频图像中的第一位置；

其中，人脸识别具体可以釆用如 OpenCV人脸识别算法等，通过人脸识别确定出对端视频图像中的人脸区域，记为 doma in_face。

当某些情况下，人脸识别算法无法决策出 doma in_face 区域的情况，则可以根据用户设定或使用默认区域来指定一个 doma in_face区域。

人眼瞳孔识别是在人脸识别检测的区域 doma in_face之内，根据眼睛相对于人脸的位置、眼睛的形状、以及眼睛的颜色与周围肤色的对比确定人眼的区域，由此可以确定人眼的瞳孔区域。具体可以釆用如 OpenCV人眼瞳孔定位算法等，确定出一个人眼的瞳孔区域，记为 doma in_eyes。

同样，当某些情况下，根据识别算法无法决策出 doma in_eyes 区域的情况，则可以根据用户设定或使用默认区域来指定一个 doma in_eyes区域。

第一位置，是指 doma in_eyes居于图像中的位置。

其中，对对端视频图像解码信息进行处理的处理时间设定为每间隔第一时间处理一次，第一时间为本端视频图像处理装置的釆样间隔时间。

步骤 130，获取本端被摄对象与本端屏幕之间的第一距离；

在本端视频图像处理装置上具有一个用于测距的光信号发生器，第一距离的获取具体可以通过如下步骤 131至步骤 134的方法实现。

步骤 131, 发射第一光信号；

第一光信号由本端视频图像处理装置射向本端的被摄对象。

步骤 132，通过各所述摄像单元接收所述第一光信号经过所述本端被摄对象反射后的第二光信号；

被摄对象对第一光信号进行反射，反射回本端视频图像处理装置的第二光信号被本端视频图像处理装置所接收。优选的，本端视频图像处理装置的屏幕上分布有 ΝχΜ个摄像单元阵列，接收平行光信号。每隔第二时间，阵列中的 ΝχΜ 个摄像单元都会釆集一次视频数据，因此本端视频图像信息中的图像是 ΝχΜ个摄像单元釆集到的多个摄像单元图像合成得到的。第二时间为本端视频图像处理装置的釆样时间。

步骤 1 33，根据所述第一光信号的发射时间和所述各摄像单元对第二光信号的接收时间得到所述各摄像单元图像的深度信息；

根据第一光信号的发射时间与第二光信号的接收时间的时间差值，以及光的传播速度，可以获知每一个摄像单元所对应的部分拍摄对象与本端视频图像处理装置之间的距离值，该距离值为摄像单元图像的深度信息。

步骤 1 34，对所述各摄像单元图像的深度信息进行加权处理，得到所述第一距离。

将全部摄像单元图像的深度信息进行加权平均，即可得到本端被摄对象与本端屏幕之间的第一距离。

步骤 140，根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；

根据前述步骤 120 中获得的瞳孔区域的大小、第一位置以及步骤 1 30中获得的第一距离，以及预设的对端被摄对象的视角夹角进行计算，可以得到一个模拟用户眼睛可视区域的第一有效摄像范围。其中预设的视角夹角可以釆用人单眼的舒适视域 60。，也可以是用户根据需要自行设定的一个值。

在一个具体的例子中，图像中两个瞳孔的大小近似为两个点，如图 2 所示，全部有效摄像范围的宽度为 _Xl。在一个釆样周期中，得到对端被摄对象在对端视频图像中瞳孔区域，其宽度为 X。，以及所述瞳孔区域在对端视频图像中的第一位置。第一距离 h为屏幕至本端被摄对象之间的距离。对端被摄对象的视角夹角为 a。因此可以得到如图中所示的第一有效摄像范围的宽度 x₂。

当所述瞳孔区域在对端视频图像中的第一位置满足瞳孔区域边缘至对端屏幕边缘的距离不小于 h x t g (a/2)时， x₂=2h χ tg (a/ 2) +X„;

在一种具体的实现方式中，瞳孔区域中，左眼瞳孔图像对应的可视区域为一圓形区域，右眼瞳孔图像对应的可视区域为一圓形区域，第一有效摄像范围是上述两个圓形区域的集合。

当所述瞳孔区域在对端视频图像中的第一位置满足瞳孔区域边缘至对端屏幕边缘的距离小于 h x tg (a/2)时，第一有效摄像范围中还需要去除瞳孔区域在对端视频图像中的瞳孔区域边缘至对端屏幕边缘的这段距离所对应的范围。

当对端被摄对象的用户与对端设备之间的距离发生变化时，在本端视频图像处理装置上显示的瞳孔区域大小也会发生相应的变化。

以对端用户靠近了对端设备的情况为例，在又一个釆样周期中，对端用户靠近了对端设备，如图 3所示，在屏幕上显示出的瞳孔区域比图 2中的大，其宽度由 X。变为 X。'，图像中的瞳孔不能再近似为点了。在第一位置和第一距离都不发生变化的情况下，当所述瞳孔区域在对端视频图像中的第一位置满足瞳孔区域边缘距离对端屏幕边缘的距离不小于 h x tg (a/2)时，第一有效摄像范围的宽度 x₃=2h x t g (a/2) +X。'；否则，第一有效摄像范围中还需要去除瞳孔区域在对端视频图像中的瞳孔区域边缘至对端屏幕边缘的这段距离所对应的范围。

因此可以看到，随着对端被摄对象的用户与对端设备之间的距离发生变化时，第一有效摄像范围也发生了改变，其宽度由 x₂变为 x₃，第一有效摄像范围比图 2中变得更大了。也就是说，当用户靠近对端设备的时候，第一有效摄像范围会随之变大，反之，当用户远离对端设备的时候，第一有效摄像范围会随之变小。

步骤 150，根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像；

具体的，第一有效本端视频图像的获取可以如下述步骤 151-153 所示的方法来实现。

步骤 151，通过全部摄像单元釆集所述本端的被摄对象的平行光信号，以获得第一数量个摄像单元图像；其中，每个所述摄像单元图像为本端被摄对象的一部分影像；所述第一数量为所述全部摄像单元的数量

本端视频图像处理装置对本端的拍摄对象进行图像釆集，优选的，釆用 ΝχΜ个摄像单元阵列，每隔第一时间，对本端的拍摄对象进行拍摄，因此得到 ΝχΜ个摄像单元图像。

步骤 152，由所述第一数量个摄像单元图像合成得到本端视频图像；将釆集到的 ΝχΜ个摄像单元图像合成得到本端视频图像。

步骤 153，根据所述第一有效摄像范围对所述本端视频图像进行处理，得到所述本端视频图像信息在第一有效摄像范围内的第一有效本端视频图像；利用步骤 140 中得到的第一有效摄像范围对本端视频图像进行处理，将 ΝχΜ 个摄像单元釆集到的多个摄像单元图像中处于第一有效摄像范围内的图像合成为第一有效本端视频图像。

或者，第一有效本端视频图像的获取可以如下述步骤 154-155 所示的方法来实现。

步骤 154，通过本端全部摄像单元在第一有效摄像范围内的多个摄像单元釆集本端被摄对象的平行光信号，以获得第二数量个摄像单元图像；其中，所述第二数量为第一有效摄像范围内的摄像单元的数量；

利用步骤 140中得到的第一有效摄像范围选取 ΝχΜ个摄像单元阵列中的一部分，每隔第一时间，对本端的拍摄对象进行拍摄，因此得到第一有效摄像范围内的多个摄像单元拍摄到的第二数量个摄像单元图像。

步骤 155，由所述第二数量个摄像单元图像合成得到第一有效本端视频图像。

步骤 160，所述第一有效本端视频图像发送给所述对端设备。

优选的，在发送之前对所述第一有效本端视频图像进行压缩；

对端设备对于接收到的压缩后的第一有效本端视频图像进行显示，对端的用户通过对端设备观看到的本端视频图像就是在第一有效摄像范围内的图像，而不是本端视频图像处理装置釆集的原始图像了。并且，当对端用户与对端设备屏幕之间的距离或者位置发生变化的时候，他所观看到的第一有效本端视频图像也会随着他的距离或位置移动而发生变化，就好像是与对端设备所显示的本端拍摄对象面对面一样的效果。

在一个具体的例子中，本端拍摄对象是一份资料，通过视频通信分享给对端用户看，如果对端用户想对资料的内容看得更清楚，只需要将自己的身体靠近屏幕，就能使屏幕上相应的显示出被放大的资料内容的影像，而无需对拍摄的资料进行移动。这样就好像用户直接面对这份资料在查看一样。

本发明实施例一提供的视频图像处理的方法，通过釆集图像分析并确定对端用户的可视区域，从而模拟出与可视区域相同的第一摄像范围，将本端釆集图像在第一摄像范围内的图像显示给对方用户，使对方用户能够产生直接观看本端被摄物体或直接与本端用户面对面的感觉，为用户提供了一种真实、便捷的视频互动环境，提高用户体验。

图 4 为本发明实施例二提供的视频图像处理的方法流程图。在本实施例中，本端和对端的视频图像处理装置中均应用了本发明的视频图像处理的方法，在本实施例中，本端与对端的被拍摄对象为本端和对端的用户，即实施例二的应用场景为视频通话的场景。

如图 4所示，本实施例视频图像处理的方法包括如下步骤：

步骤 401，接收对端设备发送的对端视频图像；

步骤 402，对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；步骤 403，获取本端被摄对象与本端屏幕之间的第一距离；

步骤 404，根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；

步骤 405，根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像；

步骤 406，将所述第一有效本端视频图像发送给所述对端设备；上述各步骤与本发明实施例一中的步骤 110至步骤 160完全相同，此处不再赘述。

在步骤 402之后，还包括

步骤 407，将对端视频图像转化为显示驱动信号；

步骤 410，根据显示驱动信号进行显示；

具体的，根据显示驱动信号进行电光转换，产生相应的光信号对对端视频图像进行显示。

上述步骤提供的方法，是将对端视频图像在本端视频图像处理装置上进行显示的过程。当对端设备也釆用本发明的视频图像处理的方法时，本端用户发生与本端视频图像处理装置之间的距离和位置变化时，相应的也会看到在本端视频图像处理装置上显示的对端视频图像的大小和位置发生相应的变化。

优选的，在步骤 405之后还包括：

步骤 408，将第一有效本端视频图像与对端视频图像进行合成，得到合成图像；

步骤 409，将合成图像转化为显示驱动信号；

再执行步骤 410，根据显示驱动信号进行显示；

其中显示的对象为合成图像信息。

上述步骤所提供的方法，可以同时为本端用户显示对方的视频图像和自己传送给对方的视频图像，以便于用户随时检查自己的姿态，位置，能够更好的满足用户之间沟通交流的需要。

相应的，本发明实施例三还提供了一种视频图像处理装置，如图 5所示，包括：

接收单元 501，用于接收对端设备发送的对端视频图像；

图像识别单元 502，用于对所述对端视频图像信息进行处理，得到对端被摄对象在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；

距离获取单元 503，用于获取本端被摄对象与本端屏幕之间的第一距离；摄像区域决策单元 504，用于根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；

有效图像获取单元 505，根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像；

发送单元 509，用于将所述第一有效本端视频图像发送给所述对端设备。具体的，接收单元 501 对对端设备发送的对端视频图像信息进行接收，并传送给图像识别单元 502; 图像识别单元 502，对接收到的对端视频图像进行处理，得到对端被摄对象中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置，并发送给摄像区域决策单元 504 ; 距离获取单元 503将获取到的本端被摄对象与本端屏幕之间的第一距离也发送给摄像区域决策单元 504。

摄像区域决策单元 504 根据接收到的瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围并发送给有效图像获取单元 505。有效图像获取单元 505根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像，并发送给发送单元 509，通过发送单元 509 发送给对端设备。

本发明实施例三提供的视频图像处理的装置，通过釆集图像并根据图像识别得到对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置，从而确定对端用户的可视区域，在摄像区域决策单元中模拟出与对端用户可视区域相同的第一有效摄像范围，从而将本端釆集图像在第一有效摄像范围内的图像显示给对方用户，使对方用户能够产生直接观看本端被摄物体或直接与本端用户面对面的感觉，提高用户体验。

相应的，本发明实施例四还提供了另一种视频图像处理装置，如图 6所示，包括：如上述实施例所述的接收单元 601、图像识别单元 602、距离获取单元 603、摄像区域决策单元 604、有效图像获取单元 605和发送单元 609。

在一个具体的例子中，有效图像获取单元 605具体包括多个摄像单元 606 (图中仅示出一个）、合成单元 607和处理单元 608。

每个摄像单元 606用于，釆集所述本端的被摄对象的平行光信号，以获得一个摄像单元图像；其中，所述一个摄像单元图像为本端被摄对象的一部分影像；

合成单元 607用于，由全部摄像单元获取的第一数量个摄像单元图像合成得到本端视频图像；其中，所述第一数量为所述全部摄像单元的数量；

处理单元 608用于，根据所述第一有效摄像范围对所述本端视频图像进行处理，得到所述本端视频图像在第一有效摄像范围内的第一有效本端视频图像。

除此之外，各单元具体如上述实施例所述，此处不再赘述。

此外，本实施例的视频图像处理装置还包括：光信号发生器 610光信号发生器 610发射第一光信号；摄像单元 606接收光信号发生器 610发射的第一光信号经过本端被摄对象反射后的第二光信号；距离获取单元 603根据光信号发生器 610传送的第一光信号的发射时间和摄像单元 606传送的第二光信号的接收时间得到所述各摄像单元图像的深度信息，并根据各摄像单元图像的深度信息进行加权处理，得到第一距离。

此夕卜，本实施例的视频图像处理装置还包括：解码单元 61 1、适配单元 612、显示驱动单元 61 3和显示单元 614 ;

解码单元 611与接收单元 601相连接，对接收单元 601接收到的对端视频图像进行解码处理；适配单元 612与解码单元 611相连接，对解码后的对端视频图像解码进行适配处理，使对端视频图像转化为适合本端视频图像处理装置显示的信息；显示驱动单元 61 3将经过适配单元 612适配处理后的对端视频图像转化为显示驱动信号；显示单元 614根据显示驱动单元 61 3发送的显示驱动信号对对端视频图像进行显示。

相应的，本装置还可以包括压缩单元 615，在将所述第一有效本端视频图像发送给所述对端设备之前，对图像进行编码压缩。

本发明实施例四通过釆集图像分析并确定对端用户的可视区域，从而模拟出与可视区域相同的第一摄像范围，将本端釆集图像在第一摄像范围内的图像显示给对方用户，使对方用户能够产生直接观看本端被摄物体或直接与本端用户面对面的感觉，为用户提供了一种真实、便捷的视频互动环境，提高用户体验。同时，当对端设备也釆用本发明的视频图像处理的装置时，本端用户发生与本端视频图像处理装置之间的距离和位置变化时，相应的也会看到在本端视频图像处理装置上显示的对端视频图像的大小和位置发生相应的变化。此外，本发明实施例提供的视频图像处理的装置还能为同时本端用户显示对方的视频图像和自己传送给对方的视频图像，以便于用户随时检查自己的姿态和位置，能够更好的满足用户之间沟通交流的需要。

相应的，本发明实施例五还提供了另一种视频图像处理装置，如图 7所示，包括：如上述实施例所述的接收单元 701、图像识别单元 702、距离获取单元 703、摄像区域决策单元 704、有效图像获取单元 705和发送单元 709。

在一个具体的例子中，有效图像获取单元 705具体包括多个摄像单元 706、摄像控制单元 716和合成单元 707。

每个摄像单元 706用于，釆集所述本端的被摄对象的平行光信号，以获得一个摄像单元图像；其中，所述一个摄像单元图像为本端被摄对象的一部分影像；

所述摄像控制单元 716用于，控制在第一有效摄像范围内的多个摄像单元对本端被摄对象的平行光信号进行釆集，得到第二数量个摄像单元图像；其中，所述第二数量为第一有效摄像范围内的摄像单元的数量；

合成单元 707用于，由所述第二数量个摄像单元图像合成得到第一有效本端视频图像。

除此之外，各单元具体如上述实施例所述，此处不再赘述。

本发明实施例五通过釆集图像分析并确定对端用户的可视区域，从而模拟出与可视区域相同的第一摄像范围，将本端釆集图像在第一摄像范围内的图像显示给对方用户，使对方用户能够产生直接观看本端被摄物体或直接与本端用户面对面的感觉，为用户提供了一种真实、便捷的视频互动环境，提高用户体验。同时，当对端设备也釆用本发明的视频图像处理的装置时，本端用户发生与本端视频图像处理装置之间的距离和位置变化时，相应的也会看到在本端视频图像处理装置上显示的对端视频图像的大小和位置发生相应的变化。此外，本发明实施例提供的视频图像处理的装置还能为同时本端用户显示对方的视频图像和自己传送给对方的视频图像，以便于用户随时检查自己的姿态和位置，能够更好的满足用户之间沟通交流的需要。

图 8 为本发明实施例提供的一种视频图像处理的实体装置示意图，如图所示，本实施例包括网络接口 81、处理器 82、存储器 83、显示器 85和图像釆集器 86。系统总线 84用于连接网络接口 81、处理器 82和存储器 83。

网络接口 81用于与物联网终端、物联网接入网关、承载网、物联网服务网关和应用^ I良务器通信。

存储器 83 可以是永久存储器，例如硬盘驱动器和闪存，；设备驱动程序可以是网络和接口驱动程序。

图像釆集器 86可以是摄像头，优选为内嵌到显示器 85的感光器件。存储器 83用于存储应用程序，所述应用程序包括可用于使处理器 82访问并执行如下指令：

接收对端设备发送的对端视频图像；

获取本端被摄对象与本端屏幕之间的第一距离；

本实施例的视频图像处理的装置，通过釆集图像分析并确定对端用户的可视区域，而模拟出与对端用户可视区域相同的第一有效摄像范围，从而将釆集到的本端图像在第一有效摄像范围内的图像显示给对方用户，使对方用户能够产生直接观看本端被摄物体或直接与本端用户面对面的感觉，提高用户体验。

进一步的，所述存储器 83存储的应用程序可用于使所述处理器 82执行根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围的过程的指令具体为执行以下过程的指令：

X=2h x tg (a/2) +X₀

其中， X为第一有效摄像范围的宽度、 h为第一距离、 a为对端被摄对象的视角夹角、 X。为瞳孔区域的宽度；所述瞳孔区域在对端视频图像中的第一位置满足瞳孔区域边缘至对端屏幕边缘的距离不小于 h X tg (a/2)。

进一步的，所述存储器 83存储的应用程序可用于使所述处理器 82执行根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像的过程的指令具体为执行以下过程的指令：

由所述第一数量个摄像单元图像合成得到本端视频图像；

进一步的，所述存储器 83存储的应用程序使所述处理器 82执行根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像的过程的指令具体为：

通过本端全部摄像单元在第一有效摄像范围内的多个摄像单元釆集本端被摄对象的平行光信号，以获得第二数量个摄像单元图像；其中，所述第二数量为第一有效摄像范围内的摄像单元的数量；

进一步的，所述存储器 83存储的应用程序使所述处理器 82执行第一距离的获取过程的指令具体为：

发射第一光信号；

对所述各摄像单元图像的深度信息进行加权处理，得到所述第一距离。进一步的，所述存储器 83存储的应用程序可用于使所述处理器 82执行以下过程的指令：

将对端视频图像转化为显示驱动信号；

根据显示驱动信号对所述对端视频图像进行显示。

进一步的，所述存储器 83存储的应用程序使所述处理器 82执行对所述对端视频图像进行处理过程的指令具体为：

每间隔第一时间，对所述对端视频图像进行处理；其中所述第一时间为釆样间隔时间。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器 ( RAM )、内存、只读存储器（ROM )、电可编程 R0M、电可擦除可编程 R0M、寄存器、硬盘、可移动磁盘、 CD-ROM, 或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

权利要求

1、一种视频图像处理的方法，其特征在于，所述方法包括：

接收对端设备发送的对端视频图像；

获取本端被摄对象与本端屏幕之间的第一距离；

2、根据权利要求 1所述的方法，其特征在于，所述根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围具体为：

X=2h x tg (a/2) +X₀

3、根据权利要求 1所述的方法，其特征在于，所述根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像具体为：

由所述第一数量个摄像单元图像合成得到本端视频图像；

4、根据权利要求 1所述的方法，其特征在于，所述根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像具体为：

5、根据权利要求 3或 4所述的方法，其特征在于，所述第一距离的获取方法具体为：

发射第一光信号；

对所述各摄像单元图像的深度信息进行加权处理，得到所述第一距离。

6、根据权利要求 1所述的方法，其特征在于，在接收对端设备发送的对端视频图像之后，所述方法还包括：

将对端视频图像转化为显示驱动信号；

根据显示驱动信号对所述对端视频图像进行显示。

7、根据权利要求 1所述的方法，其特征在于，对所述对端视频图像进行处理具体为：

8、一种视频图像处理的装置，其特征在于，所述装置包括：接收单元，用于接收对端设备发送的对端视频图像；

图像识别单元，用于对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；

距离获取单元，用于获取本端被摄对象与本端屏幕之间的第一距离；摄像区域决策单元，用于根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；

发送单元，用于将所述第一有效本端视频图像发送给所述对端设备。

9、根据权利要求 8所述的装置，其特征在于，所述有效图像获取单元具体包括多个摄像单元、合成单元和处理单元；

所述合成单元用于，由全部摄像单元获取的第一数量个摄像单元图像合成得到本端视频图像；其中，所述第一数量为所述全部摄像单元的数量；

所述处理单元用于，根据所述第一有效摄像范围对所述本端视频图像进行处理，得到所述本端视频图像在第一有效摄像范围内的第一有效本端视频图像。

10、根据权利要求 8所述的装置，其特征在于，所述有效图像获取单元具体包括多个摄像单元、摄像控制单元和合成单元：

所述摄像控制单元用于，控制在第一有效摄像范围内的多个摄像单元对本端被摄对象的平行光信号进行釆集，得到第二数量个摄像单元图像；其中，所述第二数量为第一有效摄像范围内的摄像单元的数量；

所述合成单元用于，由所述第二数量个摄像单元图像合成得到第一有效本端视频图像。

11、根据权利要求 9或 10所述的装置，其特征在于，所述装置还包括：光信号发生器；

所述光信号发生器用于发射第一光信号；

所述摄像单元接收所述第一光信号经过所述本端被摄对象反射后的第二光信号；

所述距离获取单元具体用于，根据所述第一光信号的发射时间和第二光信号的接收时间得到所述各摄像单元图像的深度信息，并对所述各摄像单元图像的深度信息进行加权处理，得到所述第一距离。

12、根据权利要求 8所述的方法，其特征在于，所述装置还包括：显示驱动单元，用于将对端视频图像解码信息转化为显示驱动信号；显示单元，用于根据显示驱动信号对所述对端视频图像信息进行显示。

1 3、根据权利要求 8所述的装置，其特征在于，所述图像识别单元具体包括处理周期设定单元，用于将对所述对端视频图像信息进行处理的时间间隔设定为第一时间，所述第一时间为釆样间隔时间。