WO2012019517A1 - 用于视频通信的视频处理方法、装置及系统 - Google Patents

Abstract

本发明实施例提供一种用于视频通信的视频处理方法、装置及系统，该方法包括：获取用于对目标对象突出显示的触发消息；根据所述触发消息，获取所述目标对象的视频数据；发送所述目标对象的视频数据，以在视频通信的对端显示所述视频数据对应的视频图像。本发明实施例，根据用于对目标对象突出显示的触发消息获取目标对象的视频数据，并将获取到的目标对象的视频数据发送到视频通信的对端进行图像显示，从而可以实现在视频通信过程中，能够对目标对象进行突出显示，提高视频通信质量。

Description

用于视频通信的视频处理方法、 装置及系统

本申请要求于 2010 年 08 月 10 日提交中国专利局、 申请号为 201010252272.2、 名称为 "用于视频通信的视频处理方法、 装置及系 统" 的中国专利申请的优先权， 其全部内容通过引用结合在本申请中。 技术领域

本发明涉及移动通信领域，特别涉及一种用于视频通信的视频处理方 法、 装置及系统。 发明背景 ：

随着电信事业的发展， 从传统的电话、 电报、 传真等方式到目前的因 特网， 人们之间的交流越来越方便。 但是普通的因特网交流方式还是无法 满足用户面对面交流的要求。 为了高效的满足用户面对面交流的需求， 越 来越多地采用视讯系统来进行视频通信。

在现有的采用视讯系统进行视频通信的过程中， 往往有对视频中的目 标对象要呈现突出显示的需求。 例如： 在采用视讯系统进行的视频会议中， 当本端的会场有多排时， 距离本端摄像机较远的与会者 （尤其是后排的与 会者） 的图像传送到远端的会场后， 会呈现出较小的图像； 由此， 当本端 后排的与会者为远端用户的目标对象时 （例如后排与会者在讲话时） ， 为 了与目标对象实现面对面的交流， 远端用户希望目标对象能够突出显示。 而现有的视频通信过程中， 视频显示的内容是对端摄像机直接拍摄到的图 像， 而无法对目标对象进行突出显示。

发明内容

本发明实施例提供一种用于视频通信的视频处理方法、 装置及系统， 用以在视频通信过程中， 可以对目标对象进行突出显示， 提高视频通信质 量。

本发明实施例提供一种用于视频通信的视频处理方法， 包括： 获取用于对目标对象突出显示的触发消息；

根据所述触发消息， 获取所述目标对象的视频数据；

发送所述目标对象的视频数据， 以在视频通信的对端显示所述视频数 据对应的视频图像。

本发明实施例提供一种用于视频通信的视频处理装置， 包括： 第一获取模块， 用于获取用于对目标对象突出显示的触发消息； 第二获取模块， 用于根据所述第一获取模块获取的所述触发消息， 获 取所述目标对象的视频数据；

发送模块， 用于发送所述第二获取模块获取的所述目标对象的视频数 据， 以在视频通信的对端显示所述视频数据对应的视频图像。

本发明实施例还提供一种用于视频通信的视频处理系统， 包括： 用于 获取视频数据的第一视频摄入源和 /或与目标对象对应的用于获取视频数据 的第二视频摄入源， 以及本发明实施例提供的任一所述的用于视频通信的 视频处理装置。

本发明实施例的用于视频通信的视频处理方法、 装置及系统， 视频处 理装置获取用于对目标对象突出显示的触发消息， 然后根据该触发消息获 取目标对象的视频数据， 并将获取到的目标对象的视频数据发送到视频通 信的对端进行图像显示， 从而可以实现在视频通信过程中， 能够对目标对 象进行突出显示， 提高视频通信质量。 附图简要说明

此处所说明的附图用来提供对本发明的进一步理解， 构成本申请的一 部分， 并不构成对本发明的限定。 在附图中： 图 1为本发明用于视频通信的视频处理方法实施例一的流程图； 图 2为本发明用于视频通信的视频处理方法实施例二的流程图； 图 3为本发明用于视频通信的视频处理方法实施例二的示意图； 图 4为本发明用于视频通信的视频处理方法实施例三的流程图； 图 5为本发明用于视频通信的视频处理方法实施例四的流程图； 图 6为本发明用于视频通信的视频处理方法实施例四的示意图； 图 7为本发明用于视频通信的视频处理装置实施例一；

图 8为本发明用于视频通信的视频处理装置实施例二。 实施本发明的方式

为使本发明的目的、 技术方案和优点更加清楚明白， 下面结合实施方 式和附图， 对本发明做进一步详细说明。 在此， 本发明的示意性实施方式 及其说明用于解释本发明， 但并不作为对本发明的限定。

图 1为本发明用于视频通信的视频处理方法实施例一的流程图， 如图 1 所述， 该方法包括：

步骤 101、 获取用于对目标对象突出显示的触发消息。

在用户双方通过视频通信系统进行视频通信的过程中， 本端用户可以 看到远端用户的视频图像， 本端用户的视频图像也可以被远端用户看到。 在通过视频通信进行交流的过程中， 在某段时间内， 一端的某个用户可能 是对端用户关注的对象； 例如： 正在讲话的本端用户或者要展示的产品、 手势、 文件等都可以是远端用户关注的对象， 该对象即为本发明各实施例 中所述的目标对象。 而在未使用本发明实施例的方法对视频图像进行处理 时， 在对端看到的视频图像中该目标对象可能很小或者很不清楚， 以致对 端无法很好的看到该目标对象， 也无法很好的与该目标对象进行交流； 经 过本发明实施例的方法对视频图像进行处理后， 就能使目标对象突出显示， 实现对端用户与目标对象之间的交流。 视频通信系统中包括有视频处理装置和视频摄入源， 视频摄入源摄入 本端用户的视频数据， 然后将该视频数据发送给视频处理装置进行处理， 视频处理装置将处理后的视频数据发送到远端进行图像显示， 实现视频通 信。 其中， 视频摄入源可以是摄像设备， 如摄像机。

视频通信通常是在相对固定的场地中进行的， 例如在会议室中进行的 视频会议。 在进行视频通信， 例如进行视频会议， 可以在视频会议开始之 前， 在视频处理装置上预先设置每个对象（例如： 每个本端用户和要展示 的事物） 的标识信息， 该标识信息可以是对象的身份标识， 也可以是对象 在视频会议的图像中的坐标信息； 也可以是在视频会议进行的过程中， 实 时的获取目标对象的标识信息， 实时获取的标识信息可以为对象在图像中 的坐标信息。

视频处理装置需要通过一定的处理方式来获取目标对象的视频数据。 其中， 该处理方式可以有一种或多种； 当该处理方式只有一种时， 视频处 理装置在获取到目标对象的标识信息后， 根据预置的处理方式获取该目标 对象的视频数据； 当该处理方式有多种时， 视频处理装置在获取到目标对 象的标识信息后， 根据获取到的该标识信息对应的处理方式来获取该目标 对象的视频数据， 其中， 该标识信息对应的处理方式可以预先设置在视频 视频处理装置。

上述的触发消息可以包括标识信息， 也可以包括标识信息和处理方式 对应的方式信息。

当出现目标对象时， 视频处理装置首先获取到用于对该目标对象突出 显示的触发消息。 获取该触发消息的方式可以为： 目标对象的当前状态与 其他对象的当前状态不同， 通过对各个对象当前的状态进行检测， 获取到 目标对象对应的触发消息， 其中， 对象的当前状态可以为对象是否在发言、 对象所处区域的光线是否最强、 对象是否被用户选中等。 步骤 102、 根据触发消息， 获取目标对象的视频数据。

在获取目标对象的视频数据时， 可以使用原有的视频摄入源摄入目标 对象， 也可以使用新增的视频摄入源摄入目标对象； 其中， 本实施例中原 有的视频摄入源称为第一视频摄入源， 新增的视频摄入源称为第二视频摄 入源。 具体的， 可以通过至少以下三种方式获取目标对象的视频数据： 第一种方式， 根据触发消息中的目标对象的标识信息， 调整第一视频 摄入源的摄入参数； 通过调整后的第一视频摄入源获取目标对象的视频数 据。 该方式中不引入新的视频摄入源， 而是对每个目标对象都设置与该目 标对象对应第一视频摄入源的一摄入参数， 在需要获取目标对象的视频数 据时， 根据目标对象的标识信息， 获取到对应的摄入参数， 然后对当前第 一视频摄入源的摄入参数进行调整， 调整后的第一视频摄入源就可以很好 的获取目标对象的视频数据。 其中， 该目标对象对应的第一视频摄入源的 摄入参数， 是该视频摄入源能够清晰的获取到该目标对象时的摄入参数。

第二种方式， 根据触发消息中的目标对象的标识信息， 从第一视频摄 入源摄入的源视频数据中， 获取目标对象的视频数据。 该方式中可以利用 目标提取技术从第一视频摄入源摄入的源视频数据中将目标对象提取出 来， 例如： 通过目标的边缘检测算法， 实现对目标图像的提取， 常用的目 标边缘提取算法可以包括梯度提取方法、 基于统计的边缘提取方法、 基于 紋理的边缘提取方法等。

第三种方式， 根据触发消息中的目标对象的标识信息， 获取与目标对 象对应的第二视频摄入源； 并通过第二视频摄入源获取目标对象的视频数 据。 其中， 第二视频摄入源可以为预先设置的与该目标对象对应的视频摄 入源， 用于摄入该目标对象的视频数据。 该方式引入至少一个新的视频摄 入源， 每个目标对象都对应有新的视频摄入源， 其中可以多个目标对象对 应同一个新的视频摄入源。

例如： 在多排会场的视频会议中， 为了对位于后排的与会者突出显示， 可以对后排的与会者增加摄像头， 也可以通过摄像头聚焦到后排的与会者， 还可以将后排的与会者的座位进行区域划分， 以从当前的视频图像中获取 到指定区域的图像， 最终使得后排的与会者可以得到突出显示， 从而提高 了用户的交流体验。

当触发消息中包括目标对象的标识信息， 但不包括方式信息时， 通过 预置的方式获取目标对象的视频数据。 当触发消息中包括目标对象的标识 信息和用于获取目标对象的视频数据的方式信息时， 通过该方式信息， 从 上述三种方式中选择与该方式信息对应的一种处理方式来获取目标对象的 视频数据。

步骤 103、 发送目标对象的视频数据， 以在视频通信的对端显示视频数 据对应的视频图像。

视频处理装置将获取到的目标对象的视频数据发送到视频通信的对 端， 以在对端进行显示， 从而可以实现在对端对目标对象的突出显示。 本 实施例说明的是对视频通信的本端进行的处理过程， 将本端的目标对象在 对端突出显示， 同样的， 也可以对视频通信的对端进行相应的处理， 从而 实现对端的目标对象在本端的突出显示。

本发明实施例可以应用在多种场景下。 该场景例如可以为： 用户双方 进行视频会议时， 本端用户可以看到突出显示的对端正在发言的用户； 或 者， 用户通过视频观看远端的事物时， 可以看到突出显示的目标对象， 其 中该目标对象可以是根据兴趣点或关注度选择出的。

本发明实施例， 视频处理装置获取用于对目标对象突出显示的触发消 息， 然后根据触发消息中的标识信息， 或者根据标识信息和处理方式获取 目标对象的视频数据， 并将获取到的目标对象的视频数据发送到视频通信 的对端进行图像显示， 从而可以实现在视频通信过程中， 能够对目标对象 突出显示， 提高视频通信质量。

图 2为本发明用于视频通信的视频处理方法实施例二的流程图， 图 3为 本发明用于视频通信的视频处理方法实施例二的示意图， 在方法实施例一 的基础上， 如图 2和图 3所述， 该方法包括：

步骤 201、 根据目标对象的标识信息， 获取与目标对象的标识信息对应 的目标摄入参数。

当视频处理装置获取到目标对象对应的触发消息后， 可以根据触发消 息中的标识信息， 在视频处理装置中选取预先设置的、 与该标识信息对应 的处理方式； 也可以根据触发消息中携带的方式信息， 在视频处理装置中 选取与该方式信息对应的处理方式。 本实施例以采取方法实施例一中所述 的第一种方式获取目标对象的视频数据为例进行说明。 并且， 本实施例以 用户双方进行多人视频会议为例进行说明， 其中正在发言的用户为目标对 象。 其中， 本实施例中的第一视频摄入源， 即为本实施例中使用的视频摄 入源， 本实施例中可以只有一个视频摄入源。

当用户 2发言时， 用户 2即为对端用户的目标对象（如图 3所示） 。 当用 户 2发言时， 视频处理装置获取到用户 2的标识信息， 并通过该标识信息开 始获取用户 2的视频数据。

其中， 视频处理装置获取包含目标对象的标识信息的触发消息的方式 可以如下：

方式一、 视频处理装置通过对视频会议中各个参会者的麦克风进行检 测， 获取用于对作为目标对象的当前发言的参会者突出显示的触发消息。 例如： 通过获取各个麦克风的音量大小， 视频处理装置获取到包括最大音 量麦克风的标识信息的触发消息， 该麦克风的标识即当前发言的用户 （目 标对象） 的标识信息。

方式二、 视频处理装置获取包含目标对象的坐标信息的触发消息， 该 坐标信息为目标对象在视频会议的视频图像中的坐标信息。例如： 用户（例 如会议主席）通过手动选定视频区域或通过触摸屏选择的方式在视频图像 中选择目标对象的区域， 视频处理装置就通过获取触发消息获取到该目标 对象的坐标信息。 获取用于对作为目标对象的当前光线强度最大的区域突出显示的触发消 息。 例如： 可以对目标对象所在区域增加光线强度， 使得目标对象所处的 区域的光线强度大于其他对象的， 此时通过检测各个区域的光线强度， 获 取到包含光线强度最高区域的标识信息的触发消息， 该区域的标识信息即 为目标对象的标识信息。

方式四、 视频处理装置接收视频会议的对端对视频图像中的目标对象 进行选择后发送的用于对目标对象突出显示的触发消息。 例如： 对端用户 在通过视频显示的本端用户的视频图像上， 通过手动选择出目标对象， 然 后对端将该目标对象对应的标识信息 （例如可以为该目标对象所在的图像 坐标）发送给本端的视频处理装置， 以使本端的视频处理装置在接收到该 标识信息后， 对目标对象的视频数据进行处理。

在视频处理装置中， 可以预先设置与各个用户对应的第一视频摄入源 入参数。 每个用户对应有第一视频摄入源的一摄入参数， 当第一视频摄入 源调整到该摄入参数时， 可以很好的摄入与该摄入参数对应的用户的视频 图像。 其中， 该摄入参数可以为摄入源的摄入角度、 焦距等参数。 在预先 设置的情况下， 预先设置各个用户的标识信息与第一视频摄入源的摄入参 数之间的对应关系表， 当视频处理装置接收到与目标对象对应的触发消息 时， 根据该目标对象的标识信息， 从对应关系表中查找到与该目标对象对 应的第一视频摄入源的摄入参数（即本实施例中的目标摄入参数 ) 。

步骤 202、 向第一视频摄入源发送目标摄入参数， 或者根据目标摄入参 数和第一视频摄入源当前的摄入参数向第一视频摄入源发送调整信息， 以 使第一视频摄入源将当前的摄入参数调整到目标摄入参数并根据目标摄入 参数摄入目标对象的视频数据。 视频处理装置将目标对象对应的目标摄入参数发送给第一视频摄入 源， 使得第一视频摄入源将其当前的摄入参数调整为该目标摄入参数。 或 者， 视频处理装置获取第一视频摄入源当前的摄入参数， 然后根据该目标 摄入参数和该当前的摄入参数， 得到用于调整第一视频摄入源的摄入参数 的调整信息， 并将得到的调整信息发送给第一视频摄入源， 以使第一视频 摄入源将其当前的摄入参数调整为该目标摄入参数。

第一视频摄入源将当前的摄入参数调整到与该目标对象对应的目标摄 入参数； 调整后的第一视频摄入源就能够清晰的摄入目标对象的视频图像。

步骤 203、 接收调整后的第一视频摄入源发送的目标对象的视频数据。 调整后的第一视频摄入源将获取到的目标对象的视频数据发送给视频 处理装置。

如图 3所示， 在第一视频摄入源未调整摄入参数时， 其可以正常的摄入 全部对象 1-对象 4， 其中目标对象（用户 2 )在视频数据中没有被清晰突出的 显示。 在根据本实施例调整第一视频摄入源的摄入参数后， 第一视频摄入 源可以清晰突出的摄入目标对象（用户 2 )的视频， 以使目标对象能够突出 的显示。

步骤 204、 对目标对象的视频数据对应的视频图像进行图像处理。

视频处理装置可以直接将步骤 203中接收到的目标对象的视频数据发 送到视频通信的对端进行显示， 以使对端用户看到清晰显示的目标对象的 视频数据。 然而， 为了对目标对象进行更突出的显示， 可以由视频处理装 置对目标对象的视频数据对应的视频图像进行图像处理。

对视频图像进行图像处理的方式可以包括以下任一项或其任意组合： 对视频图像进行渲染处理、 对视频图像插入效果像素、 对视频图像进行拉 伸处理。 此外， 现有的其它图像处理方式都可以应用到本发明实施例中， 以实现图像的突出显示。

其中， 可以通过对图像中的像素进行复制和插值， 对视频图像进行拉 伸处理， 使得图像被拉伸放大； 可以通过插值或修改像素的方式， 实现对 视频图像插入效果像素。 对图像进行渲染处理可以包括： 对图像进行增亮、 反色、 锐化或黑白等。

此外， 在对图像清晰度要求较高的场景中， 可以对进行过图像处理的 视频数据进行视频编码， 然后再解码成所需格式， 以提高图像的清晰度。

步骤 205、 发送进行图像处理后的目标对象的视频数据。

视频处理装置将进行过图像处理的目标对象的视频数据发送给对端， 以使对端用户能够在视频通信中看到突出显示的目标对象的视频图像。

需要说明的是， 当视频会议的两端都使用本发明实施例提供的视频处 理装置时， 在本发明各实施例中还可以包括以下步骤： 视频处理装置根据 在本端显示的对端的视频图像， 获取对端的目标对象的标识信息， 然后将 获取到的对端的目标对象的标识信息发送给对端， 以接收对端发送的对端 的目标对象的视频数据。 具体可以为： 本端的用户在视频会议的图像中， 选择出希望突出显示的目标对象， 然后本端的视频处理装置将该目标对象 的标识信息 （可以为身份标识， 也可以为坐标信息）发送给对端的视频处 理装置， 然后对端的视频处理装置就可获取该目标对象的视频数据并返回 到本端突出显示。 具体对端的视频处理装置的处理过程与本端获取目标对 象的视频数据的过程相同， 参见本发明各实施例中的描述， 在此不再赘述。

本发明实施例， 视频处理装置根据获取到的触发消息中的目标对象的 标识信息获取到与该目标对象对应的目标摄入参数， 并根据该目标摄入参 数调整摄入源的摄入参数， 然后获取调整后的摄入源摄入的目标对象的视 频数据， 还可以进一步对获取到的目标对象的视频进行图像处理， 然后发 送给对端进行显示， 从而可以实现在视频通信过程中， 能够对目标对象突 出显示， 提高视频通信质量。

图 4为本发明用于视频通信的视频处理方法实施例三的流程图， 在方法 实施例一的基础上， 如图 4所述， 该方法包括： 步骤 401、 视频处理装置接收第一视频摄入源发送的第一视频摄入源摄 入的源视频数据。

步骤 402、 根据目标对象的标识信息， 获取与目标对象对应的位于与源 视频数据对应的视频图像中的位置信息。

当视频处理装置获取到目标对象对应的触发消息后， 可以根据触发消 息中的标识信息， 在视频处理装置中选取预先设置的、 与该标识信息对应 的处理方式； 也可以根据触发消息中携带的方式信息， 在视频处理装置中 选取与该方式信息对应的处理方式。 本实施例以方法实施例一中所述的第 二种方式获取目标对象的视频数据为例进行说明。 并且， 本实施例以用户 双方进行多人视频会议为例进行说明， 其中正在发言的用户为目标对象。 其中， 本实施例中的第一视频摄入源， 即为本实施例中使用的视频摄入源， 本实施例中可以只有一个视频摄入源。

当用户 A发言时， 用户 A即为对端用户的目标对象。 当用户 A发言时， 视频处理装置获取到用户 A的标识信息， 并通过该标识信息开始获取用户 A 的视频数据。 其中获取目标对象对应的触发消息的方式参见方法实施例二 中的描述， 在此不再赘述。

视频会议所要达到的效果通常就是所有的会场 （本端和一个或多个对 端）要如同一个会场， 所以用户的位置是固定的。 由此， 可以利用图像处 理算法， 预先对第一视频摄入源摄入的源视频数据对应的视频图像进行区 域划分， 使得每个用户对应有一个区域， 并存储用户的标识信息与各个区 域的位置信息之间的对应关系表； 也可以实时的人工输入目标对象的位置 信息或者手动选择目标对象的位置信息。 其中各个区域的位置信息可以为 各个区域的坐标信息， 例如： 一区域的左上角坐标、 长和宽。

在预先存储有对应关系表的情况下， 视频处理装置根据目标对象的标 识信息， 查询该对应关系表可以得到与目标对象对应的区域在源视频数据 对应的视频图像中的位置信息。 需要说明的是， 由于用户在参加会议的过程中会有相应的动作， 上述 对与用户图像的区域划分可以通过实时的， 或者周期性的提取来更新提取 的区域。

步骤 403、 根据位置信息， 从源视频数据中获取目标对象的视频数据。 视频处理装置根据步骤 402中获取的目标对象对应的位置信息， 从源视 频数据中获取目标对象的视频数据。 例如： 可以通过目标边缘提取算法， 实现对目标对象的视频数据的提取； 常用的目标边缘提取算法有： 梯度提 取方法、 基于统计的边缘提取方法、 基于紋理的边缘提取方法等。

步骤 404、 对目标对象的视频数据对应的视频图像进行图像处理。 具体对目标对象的视频数据对应的视频图像进行图像处理的过程参见 方法实施例二中步骤 204中的描述， 在此不再赘述。

其中， 本实施例中的图像处理还可以包括： 将目标对象的视频图像与 未经本方法处理的原视频图像进行图层叠加。 图层叠加后的视频图像再被 发送给对端。

步骤 405、 发送进行图像处理后的目标对象的视频数据。

视频处理装置将进行过图像处理的目标对象的视频数据发送给对端， 以使对端用户能够在视频通信中看到突出显示的目标对象的视频图像。

本发明实施例， 视频处理装置根据获取到的触发消息中的目标对象的 标识信息获取到与该目标对象对应的区域在源视频数据对应的视频图像中 的位置信息， 并通过该位置信息从源视频数据中获取该目标对象的视频数 据， 还可以进一步对获取到的目标对象的视频数据对应的视频图像进行图 像处理， 然后发送给对端进行显示， 从而可以实现在视频通信过程中， 能 够对目标对象进行突出显示， 提高视频通信质量。

图 5为本发明用于视频通信的视频处理方法实施例四的流程图， 图 6为 本发明用于视频通信的视频处理方法实施例四的示意图， 在方法实施例一 的基础上， 如图 5和图 6所示， 该方法包括： 步骤 501、 根据目标对象的标识信息， 获取与目标对象对应的用于摄入 目标对象的视频数据的第二视频摄入源。

当视频处理装置获取到目标对象对应的触发消息后， 可以根据触发消 息中的标识信息， 在视频处理装置中选取预先设置的、 与该标识信息对应 的处理方式； 也可以根据触发消息中携带的方式信息， 在视频处理装置中 选取与该方式信息对应的处理方式。 本实施例以方法实施例一中所述的第 三种方式获取目标对象的视频数据为例进行说明。 并且， 本实施例以用户 双方进行多人视频会议为例进行说明， 其中正在发言的用户为目标对象。

当用户 2发言时， 用户 2即为对端用户的目标对象（如图 6所示） 。 当用 户 2发言时， 视频处理装置获取到用户 2的标识信息， 并通过该标识信息开 始获取用户 2的视频数据。 其中获取目标对象对应的触发消息的方式参见方 法实施例二中的描述， 在此不再赘述。

在视频处理装置中， 可以预先设置有与各个用户对应的视频摄入源的 信息， 即预先设置有各个用户的标识信息与各个视频摄入源之间的对应关 系表； 也可以由用户实时的输入与目标对象对应的视频摄入源的信息。 当 视频处理装置接收到目标对象对应的触发消息时， 根据该目标对象的标识 信息， 从对应关系表中查找到与该目标对象对应的第二视频摄入源， 或者 根据用户的输入获取到第二视频摄入源。

其中， 该第二视频摄入源为新增的摄入源。 即在该视频通信系统中， 包括多个视频摄入源， 可以将其中一个设为主视频摄入源 （即前述的第一 视频摄入源） ， 在无需对目标对象进行突出显示时， 使用主视频摄入源获 取整个视频会议会场的视频数据。 而其他的视频摄入源 （第二视频摄入源） 分别对应一个或几个目标对象。 与第一视频摄入源相比， 第二视频摄入源 可以清晰地摄入与其对应的目标对象的图像， 通常第二视频摄入源距离目 标对象更近或者位于更利于拍摄目标对象的方位。

步骤 502、 向第二视频摄入源发送用于指示该第二视频摄入源获取并发 送目标对象的视频数据的指示消息。

视频处理装置查询到与目标对象对应的第二视频摄入源后， 向第二视 频摄入源发送指示消息， 以使该第二视频摄入源接收到该指示消息后， 将 其摄入的目标对象的视频数据发送给视频处理装置。

其中， 在接收到该指示消息之前， 该第二视频摄入源可以处于工作状 态 （即处于摄入目标对象的视频数据的工作状态， 或处于摄入其他对象的 视频数据的工作状态） ， 也可以没有处于工作状态； 当该第二视频摄入源 处于摄入目标对象的视频数据的工作状态时， 在接收到指示消息之后， 该 第二视频摄入源就将当前获取到的目标对象的视频数据发送给视频处理装 置； 当该第二视频摄入源处于摄入其他对象的视频数据的工作状态或者没 有处于工作状态时， 在接收到指示消息之后， 该第二视频摄入源就开始摄 入目标对象的视频数据， 并将摄入的目标对象的视频数据发送给视频处理 装置。

步骤 503、 接收第二视频摄入源根据指示消息发送的目标对象的视频数 据。

视频处理装置接收第二视频摄入源发送的目标对象的视频数据。 其中， 视频处理装置可以只接收第二视频摄入源发送的视频数据， 也可以同时接 收第一视频摄入源和第二视频摄入源发送的视频数据， 并使得这些视频数 据同时显示为视频图像。

步骤 504、 对目标对象的视频数据对应的视频图像进行图像处理。

具体对目标对象的视频图像进行图像处理的过程参见方法实施例二中 步骤 204中的描述， 在此不再赘述。

其中， 本实施例中的图像处理还可以包括： 将第二视频摄入源获取的 目标对象的视频图像与第一视频摄入源获取的源视频图像进行图层叠加。 图层叠加后的视频图像再被发送给对端。

步骤 505、 发送进行图像处理后的目标对象的视频数据。 视频处理装置将进行过图像处理的目标对象的视频数据发送给对端， 以使对端用户能够在视频通信中看到突出显示的目标对象的视频图像。

本发明实施例， 视频处理装置根据获取到的触发消息中的目标对象的 标识信息获取到与该目标对象对应的摄入源， 并获取该摄入源摄入的目标 对象的视频数据， 还可以进一步对获取到的目标对象的视频数据对应的视 频图像进行图像处理， 然后发送给对端进行显示， 从而可以实现在视频通 信过程中， 能够对目标对象进行突出显示， 提高视频通信质量。

本领域普通技术人员可以理解： 实现上述方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成， 前述的程序可以存储于一计算机 可读取存储介质中， 该程序在执行时， 执行包括上述方法实施例的步骤； 前述的存储介质包括： ROM、 RAM, 磁碟或者光盘等各种可以存储程序代 码的介质。

图 7为本发明用于视频通信的视频处理装置实施例一， 如图 7所示， 该 装置包括： 第一获取模块 71、 第二获取模块 73和发送模块 75。

第一获取模块 71用于获取用于对目标对象突出显示的触发消息。

第二获取模块 73用于根据第一获取模块 71获取的触发消息， 获取目标 对象的视频数据。

发送模块 75用于发送第二获取模块 73获取的目标对象的视频数据， 以 在视频通信的对端显示视频数据对应的视频图像。

本实施例中各个模块的工作流程和工作原理参见上述各方法实施例中 的描述， 在此不再赘述。

本发明实施例， 第一获取模块获取用于对目标对象突出显示的触发消 息， 然后第二获取模块根据第一获取模块获取的触发消息中的标识信息获 取目标对象的视频数据， 并由发送模块将获取到的目标对象的视频数据发 送到视频通信的对端进行图像显示， 从而可以实现在视频通信过程中， 能 够对目标对象突出显示， 提高视频通信质量。 图 8为本发明用于视频通信的视频处理装置实施例二， 如图 8所示， 在 图 7所述实施例的基础上：

第一获取模块 71具体可以包括以下任一单元或其组合： 第一消息获取 单元 711、 第二消息获取单元 713、 第三消息获取单元 715和第四消息获取单 元 717。

第一消息获取单元 711用于通过对视频会议中各个参会者的麦克风进 行检测， 获取用于对作为目标对象的当前发言的参会者突出显示的触发消 息。 第二消息获取单元 713用于获取包含目标对象的坐标信息的触发消息， 坐标信息为目标对象在视频会议的视频图像中的坐标信息。 第三消息获取 获取用于对作为目标对象的当前光线强度最大的区域突出显示的触发消 息。 第四消息获取单元 717用于接收视频会议的对端对视频图像中的目标对 象进行选择后发送的用于对目标对象突出显示的触发消息。

当触发消息包括目标对象的标识信息时， 第二获取模块 73可以包括： 第一获取单元 731、 第二获取单元 733或第三获取单元 735。

第一获取单元 731用于根据第一获取模块 71获取的触发消息中的目标 对象的标识信息， 调整当前使用的第一视频摄入源的摄入参数， 并通过调 整后的第一视频摄入源获取目标对象的视频数据。 第二获取单元 733用于根 据第一获取模块 71获取的触发消息中的目标对象的标识信息， 从第一视频 摄入源摄入的源视频数据中，获取目标对象的视频数据。第三获取单元 735， 用于根据第一获取模块 71获取的触发消息中的目标对象的标识信息， 获取 与目标对象对应的第二视频摄入源， 并通过第二视频摄入源获取目标对象 的视频数据。

当触发消息还包括用于获取目标对象的视频数据的方式信息时， 第二 获取模块至少包括第一获取单元 731、 第二获取单元 733和第三获取单元 735 中的任意两个， 并且第二获取模块 73还包括： 选择单元 737。 选择单元 737用于根据第一获取模块 71获取的触发消息中的方式信息 从第二获取模块 73包括的至少两个获取单元中选择与方式信息对应的单 元， 以获取目标对象的视频数据。

具体的， 第一获取单元 731可以包括： 第一获取子单元 731 1、 第一发送 子单元 7313和第一接收子单元 7315。

第一获取子单元 731 1用于根据目标对象的标识信息， 获取与目标对象 的标识信息对应的目标摄入参数。 第一发送子单元 7313用于向第一视频摄 入源发送第一获取子单元获取的目标摄入参数或者根据目标摄入参数和第 一视频摄入源当前的摄入参数向第一视频摄入源发送调整信息， 以使第一 视频摄入源将当前的摄入参数调整到目标摄入参数并根据目标摄入参数摄 入目标对象的视频数据。 第一接收子单元 7315用于接收调整后的第一视频 摄入源发送的目标对象的视频数据。

第二获取单元 733可以包括： 第二接收子单元 7331、 第二获取子单元 7333和第三获取子单元 7335。

第二接收子单元 7331用于接收第一视频摄入源发送的第一视频摄入源 摄入的源视频数据。 第二获取子单元 7333用于根据目标对象的标识信息， 获取与目标对象的标识信息对应的位于与源视频数据对应的视频图像中的 位置信息。 第三获取子单元 7335用于根据位置信息， 从源视频数据中获取 目标对象的视频数据。

第三获取单元 735可以包括： 第四获取子单元 7351、 第三发送子单元 7353和第三接收子单元 7355。

第四获取子单元 7351用于根据目标对象的标识信息， 获取与目标对象 对应的用于摄入目标对象的视频数据的第二视频摄入源。 第三发送子单元 7353用于向第二视频摄入源发送用于指示第二视频摄入源获取并发送目标 对象的视频数据的指示消息。 第三接收子单元 7355用于接收第二视频摄入 源根据指示消息发送的目标对象的视频数据。 发送模块 75包括： 处理单元 751和发送单元 753。

处理单元 751用于对目标对象的视频数据对应的视频图像进行图像处 理。 发送单元 753用于发送处理单元 751进行图像处理后的目标对象的视频 数据。

处理单元 751可以包括以下任一单元或其组合： 渲染子单元 751 1、 插入 子单元 7513和拉伸子单元 7515。

渲染子单元 751 1用于对视频图像进行渲染处理。 插入子单元 7513用于 对视频图像插入效果像素。 拉伸子单元 7515用于对视频图像进行拉伸处理。

该用于视频通信的视频处理装置还可以包括： 对端对象获取模块和对 端对象发送模块（图中未示出） ， 对端对象获取模块和对端对象发送模块 相连。

对端对象获取模块用于根据在本端显示的对端的视频图像， 获取对端 的目标对象的标识信息。 对端对象发送模块用于将对端对象获取模块获取 到的对端的目标对象的标识信息发送给对端， 以接收对端发送的对端的目 标对象的视频数据。

本实施例中各个模块和单元的工作流程和工作原理参见上述各方法实 施例中的描述， 在此不再赘述。

本发明实施例， 第一获取模块获取用于对目标对象突出显示的触发消 息， 然后第二获取模块根据第一获取模块获取的触发消息中的标识信息获 取目标对象的视频数据， 并由发送模块将获取到的目标对象的视频数据发 送到视频通信的对端进行图像显示， 从而可以实现在视频通信过程中， 能 够对目标对象突出显示， 提高视频通信质量。

本发明实施例还提供一种用于视频通信的视频处理系统， 该系统包括： 用于获取视频数据的第一视频摄入源和 /或与目标对象对应的用于获取视频 数据的第二视频摄入源， 以及本发明实施例提供的任一所述的用于视频通 信的视频处理装置。 该系统可以相当于上述的视频通信系统。 本实施例中各个模块和单元 的工作流程和工作原理参见上述各方法实施例中的描述， 在此不再赘述。

本发明实施例， 视频处理装置获取用于对目标对象突出显示的触发消 息， 然后根据第一获取模块获取的触发消息中的标识信息获取目标对象的 视频数据， 并将获取到的目标对象的视频数据发送到视频通信的对端进行 图像显示， 从而可以实现在视频通信过程中， 能够对目标对象突出显示， 提高视频通信质量。

以上所述的具体实施方式， 对本发明的目的、 技术方案和有益效果进 行了进一步详细说明， 所应理解的是， 以上所述仅为本发明的具体实施方 式而已， 并不用于限定本发明的保护范围， 凡在本发明的精神和原则之内， 所做的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权利要求

1、 一种用于视频通信的视频处理方法， 其特征在于， 包括：

获取用于对目标对象突出显示的触发消息；

根据所述触发消息， 获取所述目标对象的视频数据；

发送所述目标对象的视频数据， 以在视频通信的对端显示所述视频数 据对应的视频图像。

2、 根据权利要求 1所述的用于视频通信的视频处理方法， 其特征在于， 所述触发消息包括所述目标对象的标识信息， 所述根据所述触发消息， 获 取所述目标对象的视频数据包括：

根据所述触发消息中的所述目标对象的标识信息， 调整当前使用的第 一视频摄入源的摄入参数； 通过调整后的所述第一视频摄入源获取所述目 标对象的视频数据； 或者

根据所述触发消息中的所述目标对象的标识信息， 从所述第一视频摄 入源摄入的源视频数据中， 获取所述目标对象的视频数据； 或者

根据所述触发消息中的所述目标对象的标识信息， 获取与所述目标对 象对应的第二视频摄入源； 并通过所述第二视频摄入源获取所述目标对象 的视频数据。

3、 根据权利要求 1所述的用于视频通信的视频处理方法， 其特征在于， 所述触发消息包括所述目标对象的标识信息和用于获取所述目标对象的视 频数据的方式信息， 所述根据所述触发消息， 获取所述目标对象的视频数 据包括：

根据所述触发消息中的所述目标对象的标识信息， 通过与所述方式信 息对应的处理方式， 获取所述目标对象的视频数据；

所述处理方式包括： 调整当前使用的第一视频摄入源的摄入参数， 通 过调整后的所述第一视频摄入源获取所述目标对象的视频数据； 或者， 从 所述第一视频摄入源摄入的源视频数据中， 获取所述目标对象的视频数据； 或者， 获取与所述目标对象对应的第二视频摄入源， 并通过所述第二视频 摄入源获取所述目标对象的视频数据。

4、 根据权利要求 2或 3所述的用于视频通信的视频处理方法， 其特征在 于， 所述调整所述第一视频摄入源的摄入参数， 通过调整后的所述第一视 频摄入源获取所述目标对象的视频数据包括：

获取与所述目标对象的标识信息对应的目标摄入参数；

向所述第一视频摄入源发送所述目标摄入参数或者根据所述目标摄入 参数和所述第一视频摄入源当前的摄入参数向所述第一视频摄入源发送调 整信息， 以使所述第一视频摄入源将所述当前的摄入参数调整到所述目标 摄入参数并根据所述目标摄入参数摄入所述目标对象的视频数据；

接收调整后的所述第一视频摄入源发送的所述目标对象的视频数据。

5、 根据权利要求 2或 3所述的用于视频通信的视频处理方法， 其特征在 于， 所述从所述第一视频摄入源摄入的源视频数据中， 获取所述目标对象 的视频数据包括：

接收所述第一视频摄入源发送的所述第一视频摄入源摄入的所述源视 频数据；

获取与所述目标对象的标识信息对应的位于与所述源视频数据对应的 视频图像中的位置信息；

根据所述位置信息， 从所述源视频数据中获取所述目标对象的视频数 据。

6、 根据权利要求 2或 3所述的用于视频通信的视频处理方法， 其特征在 于， 所述获取与所述目标对象对应的第二视频摄入源， 并通过所述第二视 频摄入源获取所述目标对象的视频数据包括：

获取与所述目标对象的标识信息对应的用于摄入所述目标对象的视频 数据的所述第二视频摄入源；

向所述第二视频摄入源发送用于指示所述第二视频摄入源获取并发送 接收所述第二视频摄入源根据所述指示消息发送的所述目标对象的视 频数据。

7、根据权利要求 1-3任一所述的用于视频通信的视频处理方法，其特征 在于， 所述获取用于对目标对象突出显示的触发消息包括：

通过对视频会议中各个参会者的麦克风进行检测， 获取用于对作为目 标对象的当前发言的参会者突出显示的触发消息； 或者

获取包含所述目标对象的坐标信息的所述触发消息， 所述坐标信息为 所述目标对象在视频会议的视频图像中的坐标信息； 或者 于对作为目标对象的当前光线强度最大的区域突出显示的触发消息； 或者 接收视频会议的对端对视频图像中的目标对象进行选择后发送的用于 对所述目标对象突出显示的触发消息。

8、根据权利要求 1-3任一所述的用于视频通信的视频处理方法，其特征 在于， 还包括：

根据在本端显示的对端的视频图像， 获取所述对端的目标对象的标识 信息；

将获取到的所述对端的目标对象的标识信息发送给所述对端， 以接收 所述对端发送的所述对端的目标对象的视频数据。

9、根据权利要求 1-3任一所述的用于视频通信的视频处理方法，其特征 在于， 所述发送所述目标对象的视频数据包括：

对所述目标对象的视频数据对应的视频图像进行图像处理， 发送进行 图像处理后的所述目标对象的视频数据。

10、根据权利要求 9所述的用于视频通信的视频处理方法，其特征在于， 所述对所述目标对象的视频数据对应的视频图像进行图像处理包括：

对所述视频图像进行渲染处理； 或者 对所述视频图像插入效果像素； 或者

对所述视频图像进行拉伸处理。

11、 一种用于视频通信的视频处理装置， 其特征在于， 包括： 第一获取模块， 用于获取用于对目标对象突出显示的触发消息； 第二获取模块， 用于根据所述第一获取模块获取的所述触发消息， 获 取所述目标对象的视频数据；

发送模块， 用于发送所述第二获取模块获取的所述目标对象的视频数 据， 以在视频通信的对端显示所述视频数据对应的视频图像。

12、 根据权利要求 11所述的用于视频通信的视频处理装置， 其特征在 于， 所述触发消息包括所述目标对象的标识信息， 所述第二获取模块包括： 第一获取单元， 用于根据所述第一获取模块获取的所述触发消息中的 所述目标对象的标识信息， 调整当前使用的第一视频摄入源的摄入参数， 并通过调整后的所述第一视频摄入源获取所述目标对象的视频数据； 或者 第二获取单元， 用于根据所述第一获取模块获取的所述触发消息中的 所述目标对象的标识信息， 从所述第一视频摄入源摄入的源视频数据中， 获取所述目标对象的视频数据； 或者

第三获取单元， 用于根据所述第一获取模块获取的所述触发消息中的 所述目标对象的标识信息， 获取与所述目标对象对应的第二视频摄入源， 并通过所述第二视频摄入源获取所述目标对象的视频数据。

13、 根据权利要求 12所述的用于视频通信的视频处理装置， 其特征在 于， 所述触发消息还包括用于获取所述目标对象的视频数据的方式信息， 所述第二获取模块至少包括所述第一获取单元、 所述第二获取单元和所述 第三获取单元中的任意两个， 所述第二获取模块还包括：

选择单元， 用于根据所述第一获取模块获取的所述触发消息中的所述 方式信息从所述第二获取模块包括的至少两个获取单元中选择与所述方式 信息对应的单元， 以获取所述目标对象的视频数据。

14、 根据权利要求 12或 13所述的用于视频通信的视频处理装置， 其特 征在于， 所述第一获取单元包括：

第一获取子单元， 用于根据所述目标对象的标识信息， 获取与所述目 标对象的标识信息对应的目标摄入参数；

第一发送子单元， 用于向所述第一视频摄入源发送所述第一获取子单 元获取的所述目标摄入参数或者根据所述目标摄入参数和所述第一视频摄 入源当前的摄入参数向所述第一视频摄入源发送调整信息， 以使所述第一 视频摄入源将所述当前的摄入参数调整到所述目标摄入参数并根据所述目 标摄入参数摄入所述目标对象的视频数据；

第一接收子单元， 用于接收调整后的所述第一视频摄入源发送的所述 目标对象的视频数据。

15、 根据权利要求 12或 13所述的用于视频通信的视频处理装置， 其特 征在于， 所述第二获取单元包括：

第二接收子单元， 用于接收所述第一视频摄入源发送的所述第一视频 摄入源摄入的所述源视频数据；

第二获取子单元， 用于根据所述目标对象的标识信息， 获取与所述目 标对象的标识信息对应的位于与所述源视频数据对应的视频图像中的位置 信息；

第三获取子单元， 用于根据所述位置信息， 从所述源视频数据中获取 所述目标对象的视频数据。

16、 根据权利要求 12或 13所述的用于视频通信的视频处理装置， 其特 征在于， 所述第三获取单元包括：

第四获取子单元， 用于根据所述目标对象的标识信息， 获取与所述目 标对象对应的用于摄入所述目标对象的视频数据的所述第二视频摄入源； 第三发送子单元， 用于向所述第二视频摄入源发送用于指示所述第二 视频摄入源获取并发送目标对象的视频数据的指示消息； 第三接收子单元， 用于接收所述第二视频摄入源根据所述指示消息发 送的所述目标对象的视频数据。

17、 根据权利要求 11所述的用于视频通信的视频处理装置， 其特征在 于， 所述第一获取模块包括以下任一单元或其组合：

第一消息获取单元， 用于通过对视频会议中各个参会者的麦克风进行 检测， 获取用于对作为目标对象的当前发言的参会者突出显示的触发消息； 第二消息获取单元， 用于获取包含所述目标对象的坐标信息的所述触 发消息， 所述坐标信息为所述目标对象在视频会议的视频图像中的坐标信 息； 线强度进行检测， 获取用于对作为目标对象的当前光线强度最大的区域突 出显示的触发消息；

第四消息获取单元， 用于接收视频会议的对端对视频图像中的目标对 象进行选择后发送的用于对所述目标对象突出显示的触发消息。

18、 根据权利要求 11-13任一所述的用于视频通信的视频处理装置， 其 特征在于， 还包括：

对端对象获取模块， 用于根据在本端显示的对端的视频图像， 获取所 述对端的目标对象的标识信息；

对端对象发送模块， 用于将所述对端对象获取模块获取到的所述对端 的目标对象的标识信息发送给所述对端， 以接收所述对端发送的所述对端 的目标对象的视频数据。

19、 根据权利要求 11-13任一所述的用于视频通信的视频处理装置， 其 特征在于， 所述发送模块包括：

处理单元， 用于对所述目标对象的视频数据对应的视频图像进行图像 处理；

发送单元， 用于发送所述处理单元进行图像处理后的所述目标对象的 视频数据。

20、 根据权利要求 19所述的用于视频通信的视频处理装置， 其特征在 于， 所述处理单元包括以下任一单元或其组合：

渲染子单元， 用于对所述视频图像进行渲染处理；

插入子单元， 用于对所述视频图像插入效果像素；

拉伸子单元， 用于对所述视频图像进行拉伸处理。

21、 一种用于视频通信的视频处理系统， 包括： 用于获取视频数据的 第一视频摄入源和 /或与目标对象对应的用于获取视频数据的第二视频摄入 源， 以及如权利要求 11-20任一所述的用于视频通信的视频处理装置。