WO2016165615A1 - 一种即时视频中的表情特效动画加载方法和电子设备 - Google Patents

Abstract

本发明公开一种即时视频中的表情特效动画加载方法和电子设备，属于视频领域。所述方法包括：识别即时视频帧中的人脸表情，生成识别结果；根据识别结果，获取所要加载的表情特效动画；确定表情特效动画在即时视频帧中的加载位置；发送表情特效动画和加载位置至其他电子设备。满足了用户对即时视频通话的个性化需求，增加了视频互动形式，提高了用户体验。

Description

一种即时视频中的表情特效动画加载方法和电子设备 技术领域

本发明涉及视频领域，特别涉及一种即时视频中的表情特效动画加载方法和电子设备。

背景技术

现在用户可以通过电子设备的视频功能进行视频对话，但是在视频通话过程中，用户双方只能通过视频框看到对方及视频的背景。使得视频通话过程中，视频表现形式单一，用户难以在视频通话中用简单的方式添加表情互动特效动画，所以现在需要提供一种能够给视频中人脸添加表情特效的简单有效的方法。

由于现有技术未提供一种能够给视频中人脸添加表情特效的简单有效的方法，使得无法在即时视频中实时添加表情特效动画，因而不能满足用户在视频通话过程中进行互动的需求，用户体验效果低。

发明内容

为了满足用户对即时视频多样化的需求，提高用户体验效果，本发明实施例提供了一种即时视频中的表情特效动画加载方法和电子设备。所述技术方案如下：

第一方面，提供了一种即时视频中的表情特效动画加载方法，所述方法包括：

识别即时视频帧中的人脸表情，生成识别结果；

根据所述识别结果，获取所要加载的表情特效动画；

确定所述表情特效动画在即时视频帧中的加载位置；

发送所述表情特效动画和所述加载位置至其他电子设备。

结合第一方面，在第一种可能的实现方式中，所述识别即时视频帧中的人 脸表情包括：

获取即时视频帧中的人脸细节特征点参数；

根据所述人脸细节特征点参数，获取当前即时视频帧中的人脸表情。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述根据所述识别结果，获取所要加载的表情特效动画包括：

根据所述人脸表情，获取与所述人脸表情对应的表情特效动画。

结合第一方面的第一种或第二种可能的实现方式，在第三种可能的实现方式中，所述确定所述表情特效动画在即时视频帧中的加载位置包括：

根据所述即时视频帧中的人脸细节特征点参数，获取所述表情特效动画在即时视频帧中的加载位置。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：

根据所述加载位置，加载所述表情特效动画，并显示加载表情特效动画后的即时视频帧。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述方法还包括：

获取用户输入的消除指令；

删除所述消除指令所指示的特效动画；

向所述其他电子设备发送所述消除指令。

第二方面，提供了一种电子设备，所述电子设备包括：

识别模块，用于识别即时视频帧中的人脸表情，生成识别结果；

获取模块，用于根据所述识别结果，获取所要加载的表情特效动画；

确定模块，用于确定所述表情特效动画在即时视频帧中的加载位置；

发送模块，用于发送所述表情特效动画和所述加载位置至其他电子设备。

加载模块，用于根据所述加载位置，加载所述表情特效动画；

显示模块，用于显示所述加载表情特效动画后的即时视频帧。

结合第二方面，在第一种可能的实现方式中，所述识别模块具体用于：

获取即时视频帧中的人脸细节特征点参数；

根据所述人脸细节特征点参数，获取当前即时视频帧中的人脸表情。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述获取模块具体用于：

根据所述人脸表情，获取与所述人脸表情对应的表情特效动画。

结合第二方面的第一种或第二种可能的实现方式，在第三种可能的实现方式中，所述获取模块还具体用于：

根据所述即时视频帧中的人脸细节特征点参数，获取所述表情特效动画在即时视频帧中的加载位置。

结合第二方面，在第四种可能的实现方式中，

所述设备还包括接收模块，用于获取用户输入的消除指令；

所述设备还包括删除模块，用于删除所述消除指令所指示的特效动画；

所述发送模块还用于向所述其他电子设备发送所述消除指令。

第三方面，提供了一种电子设备，包括视频输入模块、视频输出模块、发送模块、接收模块、存储器以及与所述视频输入模块、所述视频输出模块、所述发送模块、所述接收模块和所述存储器连接的处理器，其中，所述存储器存储一组程序代码，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

识别即时视频中的人脸表情，生成识别结果；

根据所述识别结果，获取所要加载的表情特效动画；

确定所述表情特效动画在即时视频帧中的加载位置；

控制发送模块发送所述表情特效动画和所述加载位置至其他电子设备；

其中，所述处理器调用所述存储器中存储的程序代码还用于控制视频输入模块接收即时视频帧。

结合第三方面，在第一种可能的实现方式中，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

获取即时视频中的人脸细节特征点参数；

根据所述人脸细节特征点参数，获取当前即时视频帧中的人脸表情。

结合第三方面的第一种可能的实现方式，在第二种可能的实现方式，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

根据所述人脸表情，获取与所述人脸表情对应的表情特效动画。

结合第三方面的第一种或第二种可能的实现方式，在第三种可能的实现方式，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

根据所述即时视频帧中的人脸细节特征点参数，获取所述表情特效动画在即时视频帧中的加载位置。

结合第三方面的第三种可能的实现方式，在第四种可能的实现方式，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

根据所述加载位置，加载所述表情特效动画，并控制视频输出模块显示加载表情特效动画后的即时视频帧。

结合第三方面的第四种可能的实现方式，在第五种可能的实现方式，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

控制接收模块获取用户输入的消除指令；

删除所述消除指令所指示的特效动画；

控制发送模块向所述其他电子设备发送所述消除指令。

第四方面，提供了一种即时视频中的表情特效显示方法，所述方法包括：

获取表情特效动画和加载位置；

将所述表情特效动画加载至所述加载位置，并显示所述加载表情特效动画后的即时视频帧；

其中，所述加载位置是在当前视频帧中确定的，所述表情特效动画是通过对即时视频帧中的人脸表情进行识别获取的。

结合第四方面，在第一种可能的实现方式中，所述方法还包括：

接收其他电子设备发送的消除指令；

删除所述消除指令所指示的特效动画。

第五方面，提供了一种电子设备，所述电子设备包括：

接收模块，用于接收其他电子设备发送的表情特效动画和加载位置；

加载模块，用于将所述表情特效动画加载至所述加载位置；

显示模块，用于显示所述加载表情特效动画后的即时视频帧；

其中，所述加载位置是在当前视频帧中确定的，所述表情特效动画是通过对即时视频帧中的人脸表情进行识别获取的。

结合第五方面，在第一种可能的实现方式中，

所述接收模块还用于接收所述其他电子设备发送的消除指令；

所述加载模块还用于删除所述消除指令所指示的特效动画。

第六方面，提供了一种电子设备，包括视频输出模块、发送/接收模块、存储器以及与所述视频输出模块、所述发送/接收模块和所述存储器连接的处理器，其中，所述存储器存储一组程序代码，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

接收其他电子设备发送的表情特效动画和加载位置；

将所述表情特效动画加载至所述加载位置，并控制视频输出模块显示所述加载表情特效动画后的即时视频帧；

其中，所述加载位置是在当前视频帧中确定的，所述表情特效动画是通过对即时视频帧中的人脸表情进行识别获取的。

结合第六方面，在第一种可能的实现方式中，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：

接收所述其他电子设备发送的消除指令；

删除所述消除指令所指示的特效动画。

本发明实施例提供了一种即时视频中的表情特效动画加载方法和电子设备。包括：识别即时视频帧中的人脸表情，生成识别结果；根据识别结果，获取所要加载的表情特效动画；确定表情特效动画在即时视频帧中的加载位置；发送表情特效动画和加载位置至其他电子设备。根据本发明实施例所提供的方法，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果，将获取的表情特效动画加载至即时视频中的加载位置，实现了在即时视频中进行表 情特效加载，满足了用户在视频通话中通过加载表情特效动画进行互动的需求，增加了视频互动形式，提高了用户体验；另一方面，通过在当前视频帧中确定与表情特效动画对应的加载位置后，将表情特效动画加载至即时视频中的加载位置，从而使得表情特效动画在视频中加载更加准确，提高了用户体验；同时，使得加载表情特效动画可以跟随人物头像的移动而不断的识别该位置，使得表情特效动画可以跟随人物的变化而相应的变化，提高了用户体验；另外，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果获取所要加载的表情特效动画，进行自动加载表情特效动画，与手动加载的方式相比，简化了操作步骤，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种即时视频中的表情特效加载方法流程图；

图2是本发明实施例提供的一种即时视频中的表情特效加载方法流程图；

图3是本发明实施例提供的一种即时视频界面变化示意图；

图4是本发明实施例提供的一种即时视频界面变化示意图；

图5是本发明实施例提供的一种即时视频中的表情特效加载方法流程图；

图6是本发明实施例提供的一种电子设备结构示意图；

图7是本发明实施例提供的一种电子设备结构示意图；

图8是本发明实施例提供的一种电子设备结构示意图；

图9是本发明实施例提供的一种电子设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提了一种即时视频中的表情特效动画加载方法，该方法应用于一种交互系统中，该交互系统至少包括两个电子设备，该两个电子设备之间可以通过运行程序进行即时视频通讯，其中，该电子设备可以是智能手机(Smart Phone)，可以是平板电脑(Tablet Computer)，还可以是其他电子设备，本发明实施例对具体的电子设备不加以限定。电子设备至少包括视频输入模块和视频显示模块，视频输入模块可以包括摄像头，视频显示模块可以包括显示屏。

该至少两个电子设备之间可以直接进行即时视频交互，可以通过蓝牙，WiFi等无线连接方式进行连接，也可以通过连接设备进行连接，该连接设备包括路由器等；该至少两个电子设备还可以通过服务器进行即时视频交互，该服务器可以是应用程序的服务器。

除此之外，本发明实施例提供的方法还可以应用于一种只包括电子设备和用户的交互系统中，其中，电子设备至少包括视频输入模块和视频显示模块，视频输入模块可以包括摄像头，视频显示模块可以包括显示屏，且电子设备中至少可以运行即时视频程序。本发明是实施例还可以包括其他应用场景，本发明实施例对具体的应用场景不加以限定。值得注意的是，在本发明实施例中，表情特效动画是通过对即时视频中的人物表情进行识别获取的。

实施例一

本发明实施例提供了一种即时视频中的表情特效动画加载方法，参见图1所示，方法流程包括：

101、识别即时视频帧中的人脸表情，生成识别结果。

具体的，获取即时视频帧中的人脸细节特征点参数；

根据人脸细节特征点参数，获取当前即时视频帧中的人脸表情。

102、根据识别结果，获取所要加载的表情特效动画。

具体的，根据人脸表情，获取与人脸表情对应的表情特效动画。

103、确定表情特效动画在即时视频帧中的加载位置。

具体的，根据即时视频帧中的人脸细节特征点参数，获取表情特效动画在即时视频帧中的加载位置。

104、发送表情特效动画和加载位置至其他电子设备。

可选的，方法还包括：

根据加载位置，加载表情特效动画，并显示加载表情特效动画后的即时视频帧。

可选的，方法还包括：

获取用户输入的消除指令；

删除消除指令所指示的特效动画；

向其他电子设备发送消除指令。

本发明实施例提供了一种即时视频中的表情特效加载方法，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果，将获取的表情特效动画加载至即时视频中的加载位置，实现了在即时视频中进行表情特效加载，满足了用户在视频通话中通过加载表情特效动画进行互动的需求，增加了视频互动形式，提高了用户体验；另一方面，通过在当前视频帧中确定与表情特效动画对应的加载位置后，将表情特效动画加载至即时视频中的加载位置，从而使得表情特效动画在视频中加载更加准确，提高了用户体验；同时，使得加载表情特效动画可以跟随人物头像的移动而不断的识别该位置，使得表情特效动画可以跟随人物的变化而相应的变化，提高了用户体验；另外，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果获取所要加载的表情特效动画，进行自动加载表情特效动画，与手动加载的方式相比，简化了操作步骤，提高了用户体验。

实施例二

本发明实施例提供了一种即时视频中的表情特效动画加载方法，参见图2 所示，方法流程包括：

201、获取即时视频帧中的人脸细节特征点参数。

具体的，由于人脸的表情是通过人脸细节来确定的，所以，该人脸细节特征点参数用于描述人脸细节的轮廓，人脸细节至少包括眼部、嘴部、眉毛和鼻子，除此之外，还可以包括其他的人脸细节，本发明实施例对具体的人脸细节不加以限定。

其中，该人脸特征点参数是通过该人脸细节特征点坐标和与该人脸细节特征点对应的纹理特征点坐标确定的。

从而通过人脸细节特征点坐标和与该人脸细节特征点对应的纹理特征点坐标确定人脸细节特征点参数。

除此之外，该人脸细节特征参数还可以包括该特征点在至少包括人脸面部中所指示的向量的尺度和方向，还可以包括其他，本发明实施例对具体的人脸细节特征参数不加以限定。

可选的，在每个特征点附近获取纹理特征点，纹理特征点用于唯一确定特征点，并且纹理特征点不随光线、角度等的变化而变化。

本发明实施例通过确定纹理特征来人脸细节特征点，因为纹理特征点描述了特征点所在区域，所以纹理特征点可以用于唯一确定特征点，使得根据特征点和纹理特征点确定用于描述人脸表情的人脸细节特征参数，从而可以保证即时视频中的特征点与实际特征点在同一个位置，确保了图像细节的识别质量，从而提高了获取人脸细节特征点参数的可靠性。

值得注意的是，可以通过预设的提取模型或者提取算法，从人脸中提取出特征点和纹理特征点，除此之外，还可以通过其他方式，从人脸中提取出特征点和纹理特征点，本发明实施例对具体的提取模型、提取算法以及提取方式不加以限定。

202、根据人脸细节特征点参数，获取当前即时视频帧中的人脸表情。

具体的，根据人脸细节特征点参数，获取与人脸细节特征点参数对应的特征向量，根据该特征向量，获取即时视频帧中的人脸表情，该过程可以为：

a、根据至少一个人脸细节特征点参数，获取用于描述该至少一个人脸细节特征点参数的至少一个特征点坐标和至少一个纹理特征点坐标；

b、根据该人脸的至少一个特征点坐标和至少一个纹理特征点坐标，获取即时视频帧中人脸的至少一个特征点和至少一个纹理特征点对应的当前姿态矩阵；

c、将当前姿态矩阵旋转为标准姿态矩阵，得到标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标；

d、根据标准姿态矩阵下的至少一个特征点坐标和至少一个纹理特征点坐标，生成与至少一个人脸细节特征点参数对应的特征点向量。

e、将该特征点向量输入预设算法中，获取计算结果显示的人脸表情；

该计算结果显示的人脸表情是生成的识别结果。

除此之外，还通过其他方式获取当前即时视频帧中的人脸表情，本发明实施例对具体的方式不加以限定。

需要说明的是，步骤201至步骤202是实现识别即时视频帧中的人脸表情，生成识别结果的过程，除了上述过程的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的识别即时视频帧中的人脸表情，生成识别结果的过程不加以限定。

本发明实施例通过在标准姿态矩阵中获取至少一个特征点和至少一个纹理特征点，从而排除了光照、角度等外界因素对即时视频人脸的影响，使得获取的特征点和纹理特征点更加有可比性，使得在即时视频中通过识别的表情获取表情特效动画更加准确。

203、根据人脸表情，获取与人脸表情对应的表情特效动画。

具体的，根据人脸表情，获取预先存储与该人脸表情对应的表情特效动画。

示例性的，若人脸表情为“微笑”，则获取预先存储的与“微笑”对应的表情特效动画；若人脸表情为“哈哈大笑”，则获取预先存储的与“哈哈大笑”对应的表情特效动画，除此之外，还可以包括与其他人脸表情对应的表情特效动画，此处不再一一列举。

需要说明的是，步骤203是根据识别结果，获取所要加载的表情特效动画的过程，除此之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

可选的，还可以通过获取该人脸表情与预先存储的人脸表情特效动画的相似度获取表情特效动画。

具体的，若该人脸表情与预先存储的人脸表情特效动画的相似度大于等于预设阈值，则确定该预先存储的人脸表情特效动画与该人脸表情对应；若小于预设阈值，则确定没有与该人脸表情对应的预先存储的人脸表情特效动画，则结束。

本发明实施例可以通过获取人脸表情与预先存储的人脸表情特效动画的相似度来确定该人脸表情对应的表情特效动画，从而提高了表情特效动画的获取的效率，避免了由于没有和某些人脸表情完全符合的表情特效动画而无法获取的情况，提高了用户体验效果。

可选的，还可以包括向用户显示提示信息，该提示信息可以为以文字的形式向用户显示加载表情特效动画失败，或通过其他方式向用户显示，本发明实施例对具体的方式不加以限定。

204、确定表情特效动画在即时视频帧中的加载位置。

具体的，由于人脸细节特征点参数是由该特征点坐标和对该特征点对应的纹理特征点坐标确定，所以，通过人脸细节特征参数，确定人脸细节特征点的在即时视频帧中的坐标，从而根据该人脸细节特征点在即时视频帧中的坐标，获取表情特效动画在即时视频帧中的加载位置。

其中，人脸细节特征点坐标的获取过程与步骤201所述的过程相同，此处再不加以赘述，

通过获取用于描述该人脸表情的人脸细节时，通过获取人脸细节特征点参数获取人脸细节，而获取人脸细节特征点参数通过人脸细节特征点坐标和纹理特征点坐标来确定，所以在确定人脸细节特征点参数的同时确定了人脸细节特征点的坐标，从而使得获取加载位置的方式更加准确简洁，不需要再次获取确 定，该坐标可以用来确定表情特效动画的加载位置，提高了用户体验，减少了操作步骤。

205、发送表情特效动画和加载位置至其他电子设备。

具体的，将表情特效动画和加载位置发送至与该电子设备进行即时视频交互的其他电子设备，可以将该消息加载至该电子设备与其他电子设备之间的透传消息中，通过该透传消息实现将表情特效动画和加载位置数据发送至与该电子设备进行即时视频交互的其他电子设备的过程，该表情特效动画和加载位置数据可以为表情特效动画和加载位置的特征参数，还可以是表情特效动画的指令和加载位置特征参数的指令。

可选的，还可以将该表情特效动画的加载指令与加载位置发送至与该电子设备进行即时视频交互的其他电子设备，或将该表情特效动画的加载指令和加载位置经服务器转发至其他电子设备。

其中，表情特效动画的加载指令数据与表情特效动画唯一对应。

通过发送表情特效动画指令和加载位置特征参数指令，相较于发送表情特效动画本身，特效指令所占内存较小，且传输速度更快，所以，可以通过将该表情特效动画的加载指令与加载位置发送至与该电子设备进行即时视频交互的其他电子设备或服务器，提高表情特效加载的同步性和效率，提高用户体验。

可选的，方法还包括

206、根据加载位置，加载表情特效动画，并显示加载表情特效动画后的即时视频帧。

具体的，电子设备根据用户触发的表情特效表情加载指令后，电子设备将识别获取的表情特效动画加载至加载位置。

电子设备根据用户触发的加载指令，在自身的加载模块进行将表情特效动画加载至加载位置，同时，可以通过透传消息将加载的表情特效动画和加载位置的特征参数发送至与该电子设备进行即时视频交互的其他电子设备。

可选的，服务器根据加载指令和加载位置的特征参数，将表情特效动画加载至加载位置，再将该加载的表情特效动画的视频发送至进行视频交互的电子 设备，并使得在电子设备的显示屏上显示该表情特效动画。

由于可以通过服务器执行特效加载的步骤，相比于电子设备执行加载特效的步骤，该方式可以节省电子设备的系统资源和处理资源。

同时，通过服务器加载表情特效动画，由于服务器可以存储所有的特效数据，所以用过服务器进行特效数据的加载，相比通过电子设备进行特效数据的加载，在电子设备未存储部分特效数据的场景下，节省了电子设备的存储资源和网络资源。

可选的，方法还包括：

207、获取用户输入的消除指令。

具体的，电子设备通过自身的接收模块获取用户输入的消除指令，还可以通过其他方式获取用户输入的消除指令，本发明实施例对具体的获取用户输入的消除指令的方式不加以限定。

其中，消除指令用于指示用户所要消除的表情特效动画。

用户可以通过点击视频界面上的消除图标，点击所要消除的特效动画进行消除。

除此之外，用户还可以通过点击具有返回功能的功能键触发消除指令，本发明实施例对具体的图标和图标所在位置不加以限定。

208、删除消除指令所指示的特效动画。

具体的，删除该消除指令所示的表情特效动画所对应的特效数据。

通过根据消除指令的指示，消除特效动画，从而使得用户可以对已经加载的表情特效动画进行消除或者撤销，进一步满足了用户的个性化需求，提高了用户交互体验。

209、向其他电子设备发送消除指令。

具体的，电子设备通过自身的发送模块向其他电子设备发送消除指令，还可以通过其他方式向其他电子设备发送消除指令，本发明实施例对具体的方式不加以限定。

为了使本领域技术人员更进一步了解本发明所提供的方法，下面将结合附 图对本发明实施例提供的一种即时视频中的表情特效动画加载方法进行进一步说明，参照图3所示，假设当前用户的表情为生气，在识别为当前用户的表情为生气之后，在图3中的第1帧所示的即时视频界面中加载生气多对应的表情特效动画，以该表情特效动画持续的帧数为5帧进行说明，在图3中，在第1帧和第1帧之前的即时视频帧中识别当前用户的表情为生气之后，对第1帧之后的五个即时视频帧所加载的表情动画特效，并在第6帧之后，返回如第1帧所示的不加载表情特效动画的即时视频界面。

可选的，还可以参照图4所示，假设与当前用户进行即时视频交互的用户的表情为害羞，在识别为该用户的表情为害羞之后，在图4中的第1帧所示的即时视频界面中加载害羞对应的表情特效动画，以该表情特效动画持续的帧数为4帧进行说明，在图4中，在第1帧和第1帧之前的即时视频帧中识别当前用户的表情为害羞之后，对第1帧之后的五个即时视频帧所加载的表情动画特效，并在第5帧之后，返回如第1帧所示的不加载表情特效动画的即时视频界面。

值得注意的是，在即时视频交互过程中，假设处理即时视频交互的用户分别为第一用户和第二用户，若识别第一用户的表情为生气，则第二用户的电子设备所显示的即时视频界面可以如图3所示，第一用户通过点击图3中的第1帧所示的即时视频界面右上角的小视频窗口，实现即时视频界面中的用户切换后，第一用户的电子设备所显示的即时视频界面也可以如图3所示；在部分场景下，若识别第一用户的表情为生气，识别第二用户的表情为害羞，则第二用户的电子设备所显示的即时视频界面可以如图3所示，第一用户的电子设备所显示的即时视频界面可以如图4所示。

本发明提供了一种即时视频中的表情特效加载方法，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果，将获取的表情特效动画加载至即时视频中的加载位置，实现了在即时视频中进行表情特效加载，满足了用户在视频通话中通过加载表情特效动画进行互动的需求，增加了视频互动形式，提高了用户体验；另一方面，通过在当前视频帧中确定与表情特效动画对应的 加载位置后，将表情特效动画加载至即时视频中的加载位置，从而使得表情特效动画在视频中加载更加准确，提高了用户体验；同时，使得加载表情特效动画可以跟随人物头像的移动而不断的识别该位置，使得表情特效动画可以跟随人物的变化而相应的变化，提高了用户体验；另外，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果获取所要加载的表情特效动画，进行自动加载表情特效动画，与手动加载的方式相比，简化了操作步骤，提高了用户体验。另外，本发明实施例通过确定纹理特征来人脸细节特征点，因为纹理特征点描述了特征点所在区域，所以纹理特征点可以用于唯一确定特征点，使得根据特征点和纹理特征点确定用于描述人脸表情的人脸细节特征参数，从而可以保证即时视频中的特征点与实际特征点在同一个位置，确保了图像细节的识别质量，从而提高了获取人脸细节特征点参数的可靠性。同时，本发明实施例通过在标准姿态矩阵中获取至少一个特征点和至少一个纹理特征点，从而排除了光照、角度等外界因素对即时视频人脸的影响，使得获取的特征点和纹理特征点更加有可比性，使得在即时视频中通过识别的表情获取表情特效动画更加准确。另外，本发明实施例可以通过获取人脸表情与预先存储的人脸表情特效动画的相似度来确定该人脸表情对应的表情特效动画，从而提高了表情特效动画的获取的效率，避免了由于没有和某些人脸表情完全符合的表情特效动画而无法获取的情况，提高了用户体验效果。同时，本发明实施例通过获取用于描述该人脸表情的人脸细节时，通过获取人脸细节特征点参数获取人脸细节，而获取人脸细节特征点参数通过人脸细节特征点坐标和纹理特征点坐标来确定，所以，所以在确定人脸细节特征点参数的同时确定了人脸细节特征点的坐标，从而使得获取加载位置的方式更加准确简洁，不需要再次获取确定，该坐标可以用来确定表情特效动画的加载位置，提高了用户体验，减少了操作步骤。同时，本发明实施例通过发送表情特效动画指令和加载位置特征参数指令，相较于发送表情特效动画本身，特效指令所占内存较小，且传输速度更快，所以，可以通过将该表情特效动画的加载指令与加载位置发送至与该电子设备进行即时视频交互的其他电子设备或服务器，提高表情特效加载的同步性和效率，提 高用户体验。同时，通过服务器加载表情特效动画，由于服务器可以存储所有的特效数据，所以用过服务器进行特效数据的加载，相比通过电子设备进行特效数据的加载，在电子设备未存储部分特效数据的场景下，节省了电子设备的存储资源和网络资源。另外，本发明实施例通过根据消除指令的指示，消除特效动画，从而使得用户可以对已经加载的表情特效动画进行消除或者撤销，进一步满足了用户的个性化需求，提高了用户交互体验。

实施例三

本发明实施例提供了一种即时视频中的表情特效显示方法，参见图5所示，方法流程包括：

501、接收其他电子设备发送的表情特效动画和加载位置。

具体的，电子设备可以接收其他电子设备发送的表情特效动画和加载位置，也可以在本电子设备根据即时视频帧中的人脸表情获取表情特效动画和加载位置后，再获取该表情特效动画和加载位置。

502、将表情特效动画加载至加载位置，并显示加载表情特效动画后的即时视频。

其中，加载位置是其他电子设备根据当前视频帧中确定后，再发送至本电子设备的，表情特效动画是其他电子设备通过对即时视频帧中的人脸表情进行识别获取后，再发送至本电子设备的。

可选的，若电子设备发送表情特效动画加载指令与加载位置，，则还可以包括：

601、接收电子设备发送的表情特效动画指令与加载位置。

具体的，该步骤与步骤301相同，此处再不加以赘述。

602、根据该表情特效动画指令，判断本电子设备是否存储该表情特效动画指令所指示的特效动画，若存储该表情特效动画指令所指示的特效动画，则执行步骤603；若未存储，则执行步骤604。

具体的，可以通过将该表情特效动画指令与本电子设备预先存储的多个表 情特效动画指令进行对比，来判断本电子设备是否存储该表情特效动画指令所指示的特效，本发明实施例对具体的判断方式不加以限定。

603、将该表情特效动画指令所指示的表情特效动画加载至确定的加载位置。

具体的，该步骤与步骤302相同，此处再不加以赘述。

604、从服务器下载该表情特效动画指令所指示的特效动画，并在步骤604之后，执行步骤603。

具体的，本发明实施例对具体的下载过程不加以限定。

由于表情特效动画可以从服务器下载，从而减少了电子设备和服务器由于需要存储大量的特效动画而耗费大量的存储空间，从而提高了用户体验，加快了传输速度。

本发明实施例提供了一种即时视频中的表情特效显示方法，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果，将获取的表情特效动画加载至即时视频中的加载位置，实现了在即时视频中进行表情特效加载，满足了用户在视频通话中通过加载表情特效动画进行互动的需求，增加了视频互动形式，提高了用户体验；另一方面，通过在当前视频帧中确定与表情特效动画对应的加载位置后，将表情特效动画加载至即时视频中的加载位置，从而使得表情特效动画在视频中加载更加准确，提高了用户体验；同时，使得加载表情特效动画可以跟随人物头像的移动而不断的识别该位置，使得表情特效动画可以跟随人物的变化而相应的变化，提高了用户体验；另外，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果获取所要加载的表情特效动画，进行自动加载表情特效动画，与手动加载的方式相比，简化了操作步骤，提高了用户体验。

实施例四

本发明实施例提供了一种电子设备6，参见图6所示，电子设备6包括：

识别模块61，用于识别即时视频帧中的人脸表情，生成识别结果；

获取模块62，用于根据识别结果，获取所要加载的表情特效动画；

确定模块63，用于确定表情特效动画在即时视频帧中的加载位置；

发送模块64，用于发送表情特效动画和加载位置至其他电子设备。

加载模块65，用于根据加载位置，加载表情特效动画；

显示模块66，用于显示加载表情特效动画后的即时视频。

可选的，识别模块61具体用于：

获取即时视频帧中的人脸细节特征点参数；

根据人脸细节特征点参数，获取当前即时视频帧中的人脸表情。

可选的，获取模块62具体用于：

根据人脸表情，获取与人脸表情对应的表情特效动画。

可选的，获取模块63还具体用于：

根据即时视频帧中的人脸细节特征点参数，获取表情特效动画在即时视频帧中的加载位置。

可选的，

设备还包括获取模块，用于获取用户输入的消除指令；

设备还包括删除模块，用于删除消除指令所指示的特效动画；

发送模块64还用于向其他电子设备发送消除指令。

本发明实施例提供了一种电子设备，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果，将获取的表情特效动画加载至即时视频中的加载位置，实现了在即时视频中进行表情特效加载，满足了用户在视频通话中通过加载表情特效动画进行互动的需求，增加了视频互动形式，提高了用户体验；另一方面，通过在当前视频帧中确定与表情特效动画对应的加载位置后，将表情特效动画加载至即时视频中的加载位置，从而使得表情特效动画在视频中加载更加准确，提高了用户体验；同时，使得加载表情特效动画可以跟随人物头像的移动而不断的识别该位置，使得表情特效动画可以跟随人物的变化而相应的变化，提高了用户体验；另外，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果获取所要加载的表情特效动画，进行自动加载表情特效 动画，与手动加载的方式相比，简化了操作步骤，提高了用户体验。

实施例五

本发明实施例提供了一种电子设备7，参见图7所示，包括：视频输入模块71、视频输出模块72、发送模块73、接收模块74、存储器75以及与视频输入模块71、视频输出模块72、发送模块73、接收模块74和存储器75连接的处理器76，其中，存储器75存储一组程序代码，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

识别即时视频帧中的人脸表情，生成识别结果；

根据识别结果，获取所要加载的表情特效动画；

确定表情特效动画在即时视频帧中的加载位置；

控制发送模块73发送表情特效动画和加载位置至其他电子设备；

其中，处理器76调用存储器75中存储的程序代码还用于控制视频输入模块71接收即时视频帧。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

获取即时视频帧中的人脸细节特征点参数；

根据人脸细节特征点参数，获取当前即时视频帧中的人脸表情。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

根据人脸表情，获取与人脸表情对应的表情特效动画。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

根据即时视频帧中的人脸细节特征点参数，获取表情特效动画在即时视频帧中的加载位置。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

根据加载位置，加载表情特效动画，并控制视频输出模块72显示加载表情特效动画后的即时视频帧。

可选的，处理器76用于调用存储器75中存储的程序代码，执行以下操作：

控制接收模块74获取用户输入的消除指令；

删除消除指令所指示的特效动画；

控制发送模块73向其他电子设备发送消除指令。

本发明实施例提供了一种电子设备，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果，将获取的表情特效动画加载至即时视频中的加载位置，实现了在即时视频中进行表情特效加载，满足了用户在视频通话中通过加载表情特效动画进行互动的需求，增加了视频互动形式，提高了用户体验；另一方面，通过在当前视频帧中确定与表情特效动画对应的加载位置后，将表情特效动画加载至即时视频中的加载位置，从而使得表情特效动画在视频中加载更加准确，提高了用户体验；同时，使得加载表情特效动画可以跟随人物头像的移动而不断的识别该位置，使得表情特效动画可以跟随人物的变化而相应的变化，提高了用户体验；另外，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果获取所要加载的表情特效动画，进行自动加载表情特效动画，与手动加载的方式相比，简化了操作步骤，提高了用户体验。

实施例六

本发明实施例提供了一种电子设备8，参见图8所示，电子设备6包括：

接收模块81，用于接收其他电子设备发送的表情特效动画和加载位置；

加载模块82，用于将表情特效动画加载至加载位置；

显示模块83，用于显示加载表情特效动画后的即时视频帧；

其中，加载位置是其他电子设备根据当前视频帧中确定后，再发送至本电子设备的，表情特效动画是其他电子设备通过对即时视频帧中的人脸表情进行识别获取后，再发送至本电子设备的。

可选的，电子设备8还包括：

所述接收模块还用于接收其他电子设备发送的消除指令；

所述加载模块还用于删除所述消除指令所指示的特效动画。

本发明实施例提供了一种电子设备，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果，将获取的表情特效动画加载至即时视频中的加 载位置，实现了在即时视频中进行表情特效加载，满足了用户在视频通话中通过加载表情特效动画进行互动的需求，增加了视频互动形式，提高了用户体验；另一方面，通过在当前视频帧中确定与表情特效动画对应的加载位置后，将表情特效动画加载至即时视频中的加载位置，从而使得表情特效动画在视频中加载更加准确，提高了用户体验；同时，使得加载表情特效动画可以跟随人物头像的移动而不断的识别该位置，使得表情特效动画可以跟随人物的变化而相应的变化，提高了用户体验；另外，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果获取所要加载的表情特效动画，进行自动加载表情特效动画，与手动加载的方式相比，简化了操作步骤，提高了用户体验。

实施例七

本发明实施例提供了一种电子设备，参见图9所示，包括视频输出模块91、发送/接收模块92、存储器93以及与视频输出模块91、发送/接收模块92和存储器93连接的处理器94，其中，存储器93存储一组程序代码，处理器94用于调用存储器93中存储的程序代码，执行以下操作：

接收其他电子设备发送的表情特效动画和加载位置；

将表情特效动画加载至加载位置，并控制视频输出模块91显示加载表情特效动画后的即时视频帧；

其中，加载位置是其他电子设备根据当前视频帧中确定后，再发送至本电子设备的，表情特效动画是其他电子设备通过对即时视频帧中的人脸表情进行识别获取后，再发送至本电子设备的。

可选的，处理器94用于调用存储器93中存储的程序代码，执行以下操作：

接收其他电子设备发送的消除指令；

删除所述消除指令所指示的特效动画。

本发明实施例提供了一种即时视频中的特效加载方法，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果，将获取的表情特效动画加载至即时视频中的加载位置，实现了在即时视频中进行表情特效加载，满足了用 户在视频通话中通过加载表情特效动画进行互动的需求，增加了视频互动形式，提高了用户体验；另一方面，通过在当前视频帧中确定与表情特效动画对应的加载位置后，将表情特效动画加载至即时视频中的加载位置，从而使得表情特效动画在视频中加载更加准确，提高了用户体验；同时，使得加载表情特效动画可以跟随人物头像的移动而不断的识别该位置，使得表情特效动画可以跟随人物的变化而相应的变化，提高了用户体验；另外，通过识别即时视频帧中的人脸表情，生成识别结果，根据识别结果获取所要加载的表情特效动画，进行自动加载表情特效动画，与手动加载的方式相比，简化了操作步骤，提高了用户体验。

需要说明的是：上述实施例提供的电子设备在触发即时视频中的表情特效加载方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将电子设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备与即时视频中的表情特效动画加载方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1. 一种即时视频中的表情特效动画加载方法，其特征在于，所述方法包括：

   识别即时视频帧中的人脸表情，生成识别结果；

   根据所述识别结果，获取所要加载的表情特效动画；

   确定所述表情特效动画在即时视频帧中的加载位置；

   发送所述表情特效动画和所述加载位置至其他电子设备。
2. 根据权利要求1所述的方法，其特征在于，所述识别即时视频帧中的人脸表情包括：

   获取即时视频帧中的人脸细节特征点参数；

   根据所述人脸细节特征点参数，获取当前即时视频帧中的人脸表情。
3. 根据权利要求2所述的方法，其特征在于，所述根据所述识别结果，获取所要加载的表情特效动画包括：

   根据所述人脸表情，获取与所述人脸表情对应的表情特效动画。
4. 根据权利要求2或3所述的方法，其特征在于，所述确定所述表情特效动画在即时视频帧中的加载位置包括：

   根据所述即时视频帧中的人脸细节特征点参数，获取所述表情特效动画在即时视频帧中的加载位置。
5. 根据权利要求4所述的方法，其特征在于，所述方法还包括：

   根据所述加载位置，加载所述表情特效动画，并显示加载表情特效动画后的即时视频帧。
6. 根据权利要求5所述的方法，其特征在于，所述方法还包括：

   获取用户输入的消除指令；

   删除所述消除指令所指示的特效动画；

   向所述其他电子设备发送所述消除指令。
7. 一种电子设备，其特征在于，所述电子设备包括：

   识别模块，用于识别即时视频帧中的人脸表情，生成识别结果；

   获取模块，用于根据所述识别结果，获取所要加载的表情特效动画；

   确定模块，用于确定所述表情特效动画在即时视频帧中的加载位置；

   发送模块，用于发送所述表情特效动画和所述加载位置至其他电子设备；

   加载模块，用于根据所述加载位置，加载所述表情特效动画；

   显示模块，用于显示所述加载表情特效动画后的即时视频帧。
8. 一种即时视频中的表情特效显示方法，其特征在于，所述方法包括：

   接收其他电子设备发送的表情特效动画和加载位置；

   将所述表情特效动画加载至所述加载位置，并显示所述加载表情特效动画后的即时视频帧；

   其中，所述加载位置是在当前视频帧中确定的，所述表情特效动画是通过对即时视频帧中的人脸表情进行识别获取的。
9. 根据权利要求8所述的方法，其特征在于，所述方法还包括：

   接收所述其他电子设备发送的消除指令；

   删除所述消除指令所指示的特效动画。
10. 一种电子设备，其特征在于，所述电子设备包括：

    接收模块，用于接收其他电子设备发送的表情特效动画和加载位置；

    加载模块，用于将所述表情特效动画加载至所述加载位置；

    显示模块，用于显示所述加载表情特效动画后的即时视频帧；

    其中，所述加载位置是在当前视频帧中确定的，所述表情特效动画是通过对即时视频帧中的人脸表情进行识别获取的。

Images