WO2019233216A1

WO2019233216A1 - 一种手势动作的识别方法、装置以及设备

Info

Publication number: WO2019233216A1
Application number: PCT/CN2019/084630
Authority: WO
Inventors: 赵世杰; 李峰; 左小祥; 程君
Original assignee: 腾讯科技（深圳）有限公司
Priority date: 2018-06-07
Filing date: 2019-04-26
Publication date: 2019-12-12
Also published as: EP3805982B1; EP3805982A4; US20200393911A1; CN110163045A; US11366528B2; EP3805982A1

Abstract

本申请公开了一种手势动作的识别方法，该方法通过识别第一手势图片和第二手势图片得到表征手指关节的角度的第一向量和第二向量，然后利用数学模型方法，根据第一向量和第二向量计算得到第一角度变化总量，该第一角度变化总量是第一指定手指中第一指定关节对应的角度变化总量；根据第一角度变化总量和第一预设阈值，获得手势动作的识别结果。由于用户在实施指定手势动作时，必然存在特定手指的特定关节发生角度变化，因此，该方法根据该特定手指的特定关节在两张手势图片中的角度变化情况，就能够识别动态的手势动作。本申请提供的手势动作的识别方法在人工智能领域中具有更为广泛的应用前景。本申请还公开了一种手势动作的识别装置。

Description

一种手势动作的识别方法、装置以及设备

本申请要求于2018年06月07日提交中国专利局、申请号为201810582795X、发明名称“一种手势动作的识别方法、装置以及设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种手势动作的识别方法、装置、设备以及计算机可读存储介质。

背景技术

人体手势骨架识别是目前人机交互领域广泛研究的研究任务，目前较为成熟的人体手势骨架识别方法是，基于卷积神经网络对手势图片进行识别，将手势图片输入卷积神经网络，网络输出手上各个关节点在图中的位置坐标。

现有的人体手势骨架识别方法仅仅能够识别单张手势图片，因此，其仅能够对静态的手势进行识别，但在人机交互领域的实际场景中手势往往是动态的，现有的手势识别技术还不能识别动态有序的手势动作。

发明内容

本申请实施例提供了一种手势动作的识别方法、装置、设备以及相关产品，使得能够对动态的手势动作进行识别，并且具有较高的准确率，因而具有广泛的应用前景。

有鉴于此，本申请第一方面提供了一种手势动作的识别方法，所述方法包括：

服务器获取第一手势图片和第二手势图片；

所述服务器识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；

所述服务器根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；

所述服务器根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。

可选的，所述方法还包括：

所述服务器根据所述第一向量和所述第二向量，计算第二指定手指中第二指定关节的第二角度变化总量，所述第二指定手指是指实施指定手势动作时关节的角度不需要发生变化的手指，所述第二指定关节是指所述第二指定手指中的手指关节；

则所述服务器所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：

所述服务器根据所述第一角度变化总量和第一预设阈值，以及所述第二角度变化总量和第二预设阈值，获得手势动作的识别结果。

可选的，所述方法还包括：

所述服务器根据所述第一向量计算所述第一指定手指对应的第一线性回归决定系数，以及根据所述第二向量计算所述第一指定手指对应的第二线性回归决定系数；

所述服务器根据所述第一线性回归决定系数和所述第二线性回归决定系数，计算所述第一指定手指对应的第一决定系数变化量；

所述服务器根据所述第一角度变化总量和第一预设阈值，以及所述第一决定系数变化量和第三预设阈值，获得手势动作的识别结果。

可选的，所述方法还包括：

所述服务器根据所述第一向量计算所述第二指定手指对应的第三线性回归决定系数，以及根据所述第二向量计算所述第二指定手指对应的第四线性回归决定系数；

所述服务器根据所述第三线性回归决定系数和所述第四线性回归决定系数，计算所述第二指定手指对应的第二决定系数变化量；

所述服务器根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果。

可选的，若所述第二指定手指中包括第三指定手指，所述第三指定手指是指实施所述指定手势动作时手指关节点呈线性关系的手指；

则所述服务器所述根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果，包括：

所述服务器根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，所述第二决定系数变化量和第四预设阈值，以及所述第三指定手指对应的第三线性回归决定系数和第五预设阈值，获得手势动作的识别结果。

可选的，所述服务器通过以下方式计算指定手指中指定关节对应的角度变化总量：

根据所述第一向量和所述第二向量，计算得到差向量；

从所述差向量中获取指定手指中指定关节各自对应的角度变化量，计算角度变化量的和值得到指定手指中指定关节对应的角度变化总量。

可选的，所述指定手势动作为弹指动作，所述第一指定手指是中指；第一指定关节包括中指上的三个手指关节。

可选的，所述指定手指动作为弹指动作，所述第一指定手指是中指；第一指定关节包括中指上的三个手指关节；所述第二指定手指包括大拇指、食指、无名指和小指。

可选的，在所述服务器所述确定用户实施所述指定手势动作之后，所述方法还包括：

所述服务器在界面上显示与所述指定手势动作对应的动画效果。

可选的，所述服务器通过以下方式识别手势图片得到对应的向量：

根据手势图片和卷积神经网络模型识别得到坐标集，所述坐标集中包括被识别的手势图片中手部各个关节点的位置坐标；

根据所述坐标集中各个关节点的位置坐标，计算手指关节对应的角度；

根据所述角度生成与被识别的手势图片对应的向量，所述向量用于表征被识别的手势图片中手指关节的角度。

可选的，所述服务器所述根据所述坐标集中各个关节点的位置坐标，计算手指关节对应的角度，包括：

所述服务器根据所述坐标集中各个关节点的位置坐标，计算得到手指关节所连接的两节指节对应的两个向量；

所述服务器利用反余弦函数和所述两个向量，计算手指关节对应的角度。

本申请第二方面提供一种手势动作的识别装置，所述装置包括：

获取模块，被设置为获取第一手势图片和第二手势图片；

识别模块，被设置为识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；

计算模块，被设置为根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；

确定模块，被设置为根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。

可选的，计算模块还被设置为：

根据所述第一向量和所述第二向量，计算第二指定手指中第二指定关节的第二角度变化总量，所述第二指定手指是指实施指定手势动作时关节的角度不需要发生变化的手指，所述第二指定关节是指所述第二指定手指中的手指关节；

则确定模块可以被设置为：

根据所述第一角度变化总量和第一预设阈值，以及所述第二角度变化总量和第二预设阈值，获得手势动作的识别结果。

可选的，计算模块还被设置为：

根据所述第一向量计算所述第一指定手指对应的第一线性回归决定系数，以及根据所述第二向量计算所述第一指定手指对应的第二线性回归决定系数；

根据所述第一线性回归决定系数和所述第二线性回归决定系数，计算所述第一指定手指对应的第一决定系数变化量；

则确定模块可以被设置为：

根据所述第一角度变化总量和第一预设阈值，以及所述第一决定系数变化量和第三预设阈值，获得手势动作的识别结果。

可选的，计算模块还被设置为：

根据所述第一向量计算所述第二指定手指对应的第三线性回归决定系数，以及根据所述第二向量计算所述第二指定手指对应的第四线性回归决定系数；

根据所述第三线性回归决定系数和所述第四线性回归决定系数，计算所述第二指定手指对应的第二决定系数变化量；

则确定模块可以被设置为：

根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果。

可选的，确定模块还被设置为：

若所述第二指定手指中包括第三指定手指，所述第三指定手指是指实施所述指定手势动作时手指关节点呈线性关系的手指；根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，所述第二决定系数变化量和第四预设阈值，以及所述第三指定手指对应的第三线性回归决定系数和第五预设阈值，获得手势动作的识别结果。

可选的，计算模块可以被设置为：

根据所述第一向量和所述第二向量，计算得到差向量；

可选的，所述指定手指动作为弹指动作，所述第一指定手指是中指；第一指定关节包括中指上的三个手指关节；

所述第二指定手指包括大拇指、食指、无名指和小指。

可选的，所述装置还包括显示模块，被设置为：

在所述确定用户实施所述指定手势动作之后，在界面上显示与所述指定手势动作对应的动画效果。

可选的，识别模块可以被设置为：

根据所述坐标集中各个关节点的位置坐标，计算得到手指关节所连接的两节指节对应的两个向量；

利用反余弦函数和所述两个向量，计算手指关节对应的角度。

本申请第三方面提供一种手势动作的识别设备，所述设备包括处理器以及存储器：

所述存储器被设置为存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器被设置为根据所述程序代码中的指令，执行如上述第一方面所述的手势动作的识别方法的步骤。

本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质被设置为存储程序代码，所述程序代码被设置为执行上述第一方面所述的手势动作的识别方法。

本申请第五方面提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行上述第一方面所述的手势动作的识别方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，提供了一种手势动作的识别方法，该方法通过识别第一手势图片和第二手势图片得到表征手指关节的角度的第一向量和第二向量，然后利用数学模型方法，根据第一向量和第二向量计算得到第一角度变化总量，该第一角度变化总量是第一指定手指中第一指定关节对应的角度变化总量；其中，第一指定手指为实施指定手势动作时关节的角度需要发生变化的手指，第一指定关节为实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；根据第一角度变化总量和第一预设阈值，可以确定用户是否实施指定手势动作，进而获得手势动作的识别结果。由于用户在实施指定手势动作时，必然存在特定手指的特定关节发生角度变化，因此，该方法根据该特定手指的特定关节在两张手势图片中的角度变化情况，就能够识别动态的手势动作。本申请提供的手势动作的识别方法在人工智能领域中具有更为广泛的应用前景。

附图说明

图1为本申请实施例中手势动作的识别方法的场景示意图；

图2为本申请实施例中手势动作的识别方法的一个流程图；

图3为本申请实施例中识别手势图片中关节点的示意图；

图4为本申请实施例中计算手指关节的角度的原理图；

图5为本申请实施例中手势动作的识别方法的一个流程图；

图6为本申请请实施例中手势动作的识别方法应用于直播场景的示意图；

图7为本申请实施例中手势动作的识别装置的一个结构示意图；

图8为本申请实施例中手势动作的识别装置的一个结构示意图；

图9为本申请实施例中终端设备的一个结构示意图；

图10为本申请实施例中服务器的一个结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

针对现有手势识别方法仅能对静态的手势动作进行识别，而不能对动态有序的手势进行识别的问题，本申请实施例基于用户在实施指定手势动作时，必然存在特定手指的特定关节发生角度变化这一运动学原理，提出了一种根据手指关节的角度变化识别手势动作的方法，从而实现对动态有序的手势进行识别。该方法通过识别第一手势图片和第二手势图片得到表征手指关节角度的第一向量和第二向量，然后利用数学模型方法，根据第一向量和第二向量计算第一指定手指中第一指定关节的第一角度变化总量，其中，第一指定手指为实施指定手势动作时关节的角度需要发生变化的手指，第一指定关节为实施指定手势动作时第一指定手指中角度需要发生变化的手指关节，根据第一角度变化总量和第一预设阈值之间的关系，可以确定用户是否实施指定手势动作，从而获得手势动作的识别结果。

由于用户在实施指定手势动作时，必然存在特定手指的特定关节发生角度变化，因此，该方法根据该特定手指的特定关节在两张手势图片中的角度变化情况，就能够识别出动态的手势动作。本申请提供的手势动作的识别方法在人工智能领域中具有更为广泛的应用前景。

应理解，本申请实施例提供的上述手势动作的识别方法可以应用于具有图像处理能力的处理设备。该处理设备可以是智能手机、平板电脑、个人计算机(PC，Personal Computer)、小型机或者大型机等终端设备，也可以是具有图形处理能力的服务器。处理设备可以是独立的处理设备，也可以是多个处理设备形成的集群。例如，当需要处理的数据量较大时，可以通过多服务器构成的集群执行上述手势动作的识别方法。在实际应用中，本申请实施例提供的上述手势动作的识别方法可以由终端和服务器共同完成，例如，可以由终端采集手势图片，服务器从终端获取手势图片，并对手势图片进行识别，从而确定用户实施的手势动作。

为了便于理解本申请的技术方案，接下来将结合具体应用场景对本申请实施例提供的手势动作的识别方法进行介绍。

图1为本申请实施例提供的手势动作的识别方法的场景示意图。如图1所示，该应用场景中包括终端110、服务器120、终端130，其中，服务器120为终端提供网络数据传输服务，如图1所示，服务器120分别与用户A的终端110、用户B的终端130建立网络连接，从而为用户A和用户B提供视频通信服务。在该应用场景中，终端设备是以笔记本电脑作为示例进行说明的，并不构成对本申请技术方案的限定。在用户A和B实时视频通信的过程中，用户B可以使用手语代替语音与用户A通信，其中，手语是通过动态的手势动作来交流思想的一种语言方式。当用户B实施了动态的手势动作，例如，“OK”手势动作，用户B的终端130可以实时采集到对应的手势图片，可以为第一手势图片和第二手势图片，服务器120可以从终端130获取该第一手势图片和第二手势图片，实时识别第一手势图片得到第一向量，识别第二手势图片得到第二向量，其中，第一向量表征第一手势图片中手指关节的角度，第二向量表征第二手势图片中手指关节的角度，服务器120根据第一向量和第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，根据第一角度变化总量与第一预设阈值，可以实时获得手势动作的识别结果。例如，第一角度变化总量大于第一预设阈值，则确定用户实施指定手势动作，该指定手势动作即为手势动作的识别结果。

在该应用场景中，服务器120确定用户B实施“OK”手势动作，为了方便用户A了解用户B实施的手势动作的含义，服务器120将识别的手势动作对应的含义作为识别结果发送给用户A的终端110，在终端110的显示界面上显示该识别结果，以便用户A实时查看。

在上述应用场景中，通过对第一手势图片和第二手势图片进行实时识别，得到表征第一手势图片中手指关节的角度的第一向量和表征第二手势图片中手指关节的角度的第二向量。根据第一向量和第二向量，可以确定第一指定手指中第一指定关节的第一角度变化总量，根据角度变化情况可以判断第一指定手指中的运动趋势，从而可以确定用户是否实施指定手势动作，如此，实现了对手势动作的实时识别，相较于传统的手势识别方法，本申请提供的手势动作识别方法具有广泛的应用前景，特别是应用于对实时性要求较高的场景中，如实时视频通信和直播场景。

需要说明的是，上述应用场景仅为本申请的手势动作的识别方法的一个可选示例，本申请实施例提供的手势动作的识别方法还可以应用在其他应用场景中，上述示例并不构成对本申请技术方案的限定。

接下来，结合附图对本申请实施例提供的手势动作的识别方法进行详细的介绍。

图2为本申请实施例提供的一种手势动作的识别方法的流程图，参见图2，该方法包括：

S201:服务器获取第一手势图片和第二手势图片。

手势图片是指包含手势的图片。通过对手势图片中手部的姿势进行识别，可以实现手势识别。当需要对动态的手势也即手势动作进行识别时，需获取至少两张具有时序关系的手势图片，包括第一手势图片和第二手势图片。

在一些可能的实现方式中，可以从视频中获取具有时序关系的两帧包含手势的图片作为第一手势图片和第二手势图片。例如，可以对视频逐帧识别，标记包含手部的图像，从标记的图像帧中选择连续的两帧图像作为第一手势图片和第二手势图片。其中，第一手势图片和第二手势图片也可以是不连续的，例如，可以从标记的图像帧中选择间隔一帧的两张帧图像作为第一手势图片和第二手势图片。需要说明的是，实施手势动作需要一定的时间，为了更准确、更快速地识别出手势动作，可以选取间隔一定时间的两张手势图片分别作为第一手势图片和第二手势图片。例如，实施手势动作需要1s的时间，则可以按照预设时间为1s的时间间隔从视频中提取时序相关的两张手势图片分别作为第一手势图片和第二手势图片。

在另一些可能的实现方式中，可以将手部作为拍摄对象，在不同时刻对手部分别拍照，将不同时刻包含手部的照片作为第一手势图片和第二手势图片。例如，可以采用连拍功能，在同一方向、方位和拍摄角度对手部进行拍摄，生成多张图片，从多张图片中选择两张作为第一手势图片和第二手势图片。类似的，为了更准确、更快速地识别出手势动作，可以按照预设时间间隔选取在一个时间段拍摄的两张手势图片作为第一手势图片和第二手势图片。

S202：服务器识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度。

基于上文所述的运动原理，用户在实施指定手势动作时，必然存在手指关节的角度变化，根据特定手指的特定关节在两张手势图片中的角度变化情况就能识别动态的手势动作。基于此，处理设备可以先对手势图片中关节角度进行识别，以便根据两张手势图片中手指关节的角度确定手指关节的角度变化情况。可选地，可以对第一手势图片进行识别，得到表征第一手势图片中手指关节的角度的第一向量，对第二手势图片进行识别，得到表征第二手势图片中手指关节的角度的第二向量。

其中，对手指关节的角度的识别，可以通过深度学习识别关节点，然后根据各关节点的位置坐标进行计算实现。在一些可能的实现方式中，根据手势图片和卷积神经网络模型识别得到坐标集，坐标集中包括被识别的手势图片中手部各个关节点的位置坐标；根据坐标集中各个关节点的位置坐标，计算手指关节对应的角度。如此，将第一手势图片输入到卷积神经网络模型，可以获得第一手势图片中各关节点的位置坐标。图3为根据卷积神经网络模型确定的各关节点的示意图，如图3所示，大拇指为3个关节点，食指、中指、无名指、小指各具有4个关节点，手掌心也具有一个关节点，分别与各手指连接。在确定出各个手指的关节点后，可以根据第一手势图片中各关节点的位置坐标，计算手指关节对应的角度，将各手指关节对应的角度以向量形式表示即为第一向量。对第二手势图片识别得到第二向量的过程与第一手势图片类似，在此不再赘述。

本实施例中的卷积神经网络模型是以手势图片为输入，关节点的位置坐标为输出的神经网络模型，该神经网络模型可以通过深度学习的方式训练得到。作为一种可能的实现方式，可以获取大量手势图片，对手势图片中关节点的位置坐标进行标注，得到训练样本，利用训练样本对初始卷积神经网络模型训练，得到识别手势图片的卷积神经网络模型。

在通过卷积神经网络模型识别得到包含各个关键点的位置坐标的坐标集后，可以根据坐标集中各个关节点的位置坐标，计算得到手指关节所连接的两节指节对应的两个向量，接着利用反余弦函数和两个向量，计算手指关节对应的角度。图4为计算手指关节的角度的原理图，参见图4，手部的每根手指均具有关节点，针对任意一个关节点，若该关节点连接有两节手指指节，则可以计算两个指节对应的向量的夹角，将向量夹角作为手指关节的角度。

为了方便理解，可以将关节点连接的两节指节对应的向量分别用v ₁和v ₂表示，则手指关节的角度θ可以通过如下公式计算：

其中，v ₁·v ₂表示向量的内积，|v ₁|和|v ₂|分别表示向量v ₁和v ₂的模值，acos为反余弦函数。

需要说明的是，在本步骤中，第一手势图片和第二手势图片的识别顺序可以是任意的，可以同时识别第一手势图片和第二手势图片，也可以按照设定的先后顺序对第一手势图片和第二手势图片进行识别。

S203：服务器根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量。

第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指。第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节。即，用户若想要实施指定手势动作则其必须运动第一指定手指，使得第一指定手指中的第一指定关节发生一定的变化。

在本实施例中，基于用户行为习惯的差异，在实施同一手势动作时，不同的用户可以有多种不同的实现方式，为了提高手势动作的识别率，针对同一手势动作的不同实施方式，设置有对应的用于判别是否实施手势动作的第一指定手指。

为了便于理解本申请的技术方案，结合可选示例对第一指定手指以及第一指定关节进行说明。

以实施“赞赏”手势动作为例进行说明。针对“赞赏”手势动作的识别，针对不同的手势动作实现方式，可以设置不同的第一指定手指以及第一指定关节。

一种实现方式为，在实施“赞赏”手势时，若用户的行为习惯为由握拳状态开始实施“赞赏”手势，则在实施该手势动作时，大拇指由弯曲状态变为伸直状态，可见，大拇指为实施“赞赏”手势时关节角度需要发生变化的手指，因而，将大拇指确定为第一指定手指。进一步地，大拇指上的两个关节的角度均需发生变化，故将大拇指的两个关节确定为第一指定关节。

另一种实现方式为，若用户的行为习惯为由伸手状态开始实施“赞赏”手势，则在实施该手势动作时，大拇指不需要发生变化，而食指、中指、无名指以及小指由伸直状态变为弯曲状态，可见，食指、中指、无名指以及小指为实施“赞赏”手势时关节角度需要发生变化的手指，可以将食指、中指、无名指以及小指确定为第一指定手指。对应地，可以将食指、中指、无名指以及小指中在实施“赞赏”手势时，需要发生变化的关节确定为第一指定关节。

以实施“Yeah”手势动作为例进行说明。针对“Yeah”手势动作的识别，针对不同的手势动作实现方式，可以设置不同的第一指定手指以及第一指定关节。

一种实现方式为，在实施“Yeah”手势时，食指和中指由伸直状态变为弯曲状态，可见，食指和中指为实施“Yeah”手势时，关节角度需要发生变化的手指，因而将食指和中指确定为第一指定手指。进一步地，食指的三个关节与中指的三个关节的角度均需发生变化，故将食指的三个关节确定为与食指对应的第一指定关节，中指的三个关节确定为与中指对应的第一指定关节。

另一种实现方式为，当用户由伸手状态开始实施“Yeah”手势，则食指和中指不必发生变化，而大拇指、无名指和小指由伸直状态变化为弯曲状态，可以将大拇指、无名指和小指确定为第一指定手指。对应地，可以将大拇指、无名指和小指中需要发生变化的关节确定为对应的第一指定关节。

还有一种实现方式为，用户还可以由伸出食指的状态开始实施“Yeah”手势，则“中指”为实施“Yeah”手势时，关节角度需要发生变化的手指，可以将中指确定第一指定手指，中指的三个关节确定为第一指定关节。由于第一向量中包括各个手指对应的各个关节的角度，第二向量中包括同一手部各个手指对应的各个关节的角度，因此，可以根据第一向量和第二向量计算第一指定手指中第一指定关节的第一角度变化总量。在本实施例一些可能的实现方式中，可以根据第一向量和第二向量，计算得到差向量，然后从差向量中获取第一指定手指中第一指定关节的各自对应的角度变化量，计算角度变化量的和值得到第一指定手指中第一指定关节对应的第一角度变化总量。

需要说明的是，第一指定手指的数量可以为一个，也可以为多个。当第一指定手指数量为一个时，计算该手指中第一指定关节的第一角度变化总量即可。当第一指定手指数量为多个时，则对每一个指定手指，分别计算该第一指定手指中第一指定关节的第一角度变化总量。

可以理解，实施指定手势动作时，除了第一指定手指的关节的角度会发生变化外，还可能有其他手指的关节的角度也会发生变化，上述变化给指定手势动作的识别带来一定干扰。例如，一种手势动作A的第一指定手指为食指、中指，另一种手势动作B的第一指定手指为中指，若指定手势动作为A，则在对A进行识别的时候，对食指的关节的角度变化总量也进行计算，可以避免将手势动作B误识别为手势动作A，提高手势动作识别准确率。

基于此，可以将实施指定手势动作时关节的角度不需要发生变化的手指记为第二指定手指，第二指定手指中的手指关节记为第二指定关节。

根据第一向量和第二向量，计算第二指定手指中第二指定关节的第二角度变化总量。与第一指定手指类似，第二指定手指的数量可以是一个，也可以是多个。当第二指定手指的数量为多个时，需要对每个第二指定手指，分别计算该第二指定手指对应的第二指定关节的第二角度变化总量。

第二角度变化总量的计算方式与第一角度变化总量计算方式类似。根据第一向量和第二向量，计算得到差向量，然后从差向量中获取指定手指中指定关节的各自对应的角度变化量，计算角度变化量的和值得到指定手指中指定关节对应的角度变化总量。若获取的为第一指定手指中第一指定关节的角度变化量，则计算得到的角度变化总量为第一角度变化总量，若获取的为第二指定手指中第二指定关节的角度变化量，则计算得到的角度变化总量为第二角度变化总量。

S204：服务器根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。

第一预设阈值是用于衡量第一指定手指中第一指定关节的第一角度变化总量大小的标准值。若第一角度变化总量大于该标准值，则表明第一角度变化总量较大，第一指定手指中的第一指定关节发生的变化达到了实施指定手势动作时第一指定手指中的第一指定关节需要发生变化的程度，基于此，可以确定用户实施了指定手势动作，该指定手势动作可以作为手势动作的识别结果。

在上述实现方式中，若第一角度变化总量大于第一预设阈值，则确定用户实施指定手势动作，否则，确定用户未实施指定手势动作。

在本申请其他可能的实现方式中，也可以是当第一角度变化总量小于预设阈值时，确定用户实施指定手势动作，否则，确定用户未实施指定手势动作。在实现时，可以根据实际业务情况设置确定是否实施指定手势动作的判断条件。

进一步地，为了提高手势动作识别准确率，可以根据所述第一角度变化总量和第一预设阈值，以及所述第二角度变化总量和第二预设阈值，获得手势动作的识别结果。可选地，可以在对第一角度变化总量判断的基础上，对第二角度变化总量进行判断，以确定用户是否实施了指定手势动作。在本实施例一些可能的实现方式中，若第一角度变化总量大于第一预设阈值，且第二角度变化总量小于第二预设阈值，则确定用户实施指定手势动作。

其中，第二角度变化总量是用于衡量第二指定手指中第二指定关节的第二角度变化总量大小的标准值。若第二角度变化总量小于该标准值，则表明第二角度变化总量较小，第二指定手指中的第二指定关节可以视为未运动。由于第一指定手指中的第一指定关节的变化趋势与实施指定手势动作时的变化趋势吻合，而第二指定手指中的第二指定关节的变化较小，可以视为未发生变化，基于此，可以确定用户实施指定手势动作。

在有些情况下，确定用户实施指定手势动作之后，还可以在界面上显示与指定手势动作对应的动画效果，从而增强互动体验。例如，用户实施“打电话”手势动作后，可以在界面上显示与“打电话”对应的电话机动画效果。或者，也可以为指定手势动作配置对应的音效效果。

由上可知，本申请实施例提供了一种手势动作的识别方法，该方法通过识别第一手势图片和第二手势图片得到表征手指关节的角度的第一向量和第二向量，然后利用数学模型方法，根据第一向量和第二向量计算得到第一角度变化总量，该第一角度变化总量是第一指定手指中第一指定关节对应的角度变化总量；其中，第一指定手指为实施指定手势动作时关节的角度需要发生变化的手指，第一指定关节为实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；根据第一角度变化总量和第一预设阈值，可以获得手势动作的识别结果。由于用户在实施指定手势动作时，必然存在特定手指的特定关节发生角度变化，因此，该方法根据该特定手指的特定关节在两张手势图片中的角度变化情况，就能够识别动态的手势动作。本申请提供的手势动作的识别方法在人工智能领域中具有更为广泛的应用前景。

上述实施例是通过指定手指中指定关节的角度变化实现指定手势动作的识别。用户在实施手势动作时，不仅存在手指关节角度的变化，还存在手指线性关系的变化，例如，手指由伸直变为弯曲状态时，该手指的线性关系发生了较大的变化。为了进一步提高手势动作的识别准确率，还可以在对关节角度的变化情况识别的基础上，根据指定手指的线性关系的变化情况，对用户实施的手势动作进行识别。其中，指定手指的线性关系可以通过对指定手指上指定关节点进行线性回归得到的决定系数表征，通过计算指定手指对应的决定系数变化量，可以进一步确定用户是否实施指定手势动作。接下来，将结合附图，对本申请实施例提供的手势动作的识别方法的另一种实现方式进行介绍，该方法是在图2所示实施例的基础上实现的，本实施例仅就与图2所示实施例的不同之处进行介绍，其他相同内容可以参见图2所示实施例，在此不再赘述。

图5为本实施例提供的一种手势动作的识别方法的流程图，参见图5，该方法包括：

S501：服务器获取第一手势图片和第二手势图片。

S502：服务器识别第一手势图片得到第一向量，以及识别第二手势图片得到第二向量。

S503：服务器根据第一向量和第二向量，计算第一指定手指中第一指定关节的第一角度变化总量。

S501至S503可以参见S201至S203相关内容描述。

S504：服务器根据第一向量计算第一指定手指对应的第一线性回归决定系数，以及根据第二向量计算第一指定手指对应的第二线性回归决定系数。

在确定出手势图片中关节点的位置坐标后，可以对每根手指的关节点进行回归，得到对应的回归方程。当手指的线性关系发生变化时，该手指对应的回归方程的拟合优度也将发生较大的变化。在统计学中，可以采用决定系数判断回归方程的拟合优度。在有些情况下，也可以采用残差平方和反应拟合优度，其中，残差平方和与观测值的绝对大小有关，针对绝对值相差较大的两组数据难以准确地反应拟合优度，而决定系数在残差平方和的基础上进行了相对化处理，受绝对值大小的影响较小，因而能够较为准确地反映出拟合优度。

下面对拟合优度的计算过程进行详细介绍。

若将手势图片中每个关节点的y方向的坐标用y _i表示，每个关节点通过线性回归得到的预测点坐标用f _i表示，则可以根据y _i以及f _i计算残差平方和SS _res，可以参见如下公式：

在获得y方向的坐标y _i后，还可以计算y方向坐标的平均值

根据y方向的坐标y _i以及平均值

可以计算得到总体平方和SS _tot，可选计算过程可以参见式(3)及式(4)：

其中，n为该该手指所包含的关节点的个数。

在计算出总体平方和SS _tot和残差平方和SS _res后，可以根据总体平方和以及残差平方和计算出决定系数R ²，可以参见如下公式：

本实施例，根据第一向量，可以确定第一指定手指中各关节点在y方向的坐标，根据该坐标以及回归得到的预测点坐标可以计算出一个决定系数，该决定系数即为第一线性回归决定系数。与第一线性回归决定系数类似，可以根据第二向量，确定第一指定手指中各关节点在y方向的坐标，根据该坐标以及回归得到的预测点坐标可以计算出一个决定系数，该决定系数即为第二线性回归决定系数。需要说明，计算第一线性回归决定系数和第二回归线性决定系数的先后顺序并不影响本申请实施例的实现，可以根据需求设定相应的顺序。

S505：服务器根据所述第一线性回归决定系数和所述第二线性回归决定系数，计算所述第一指定手指对应的第一决定系数变化量。

第一线性回归决定系数和第二线性回归决定系数可以视为第一指定手指中的关节点在不同时刻的决定系数，根据第一线性回归决定系数和第二线性回归决定系数，可以计算第一指定手指对应的第一决定系数变化量。作为一种可能的实现方式，可以将第一线性回归决定系数和第二线性回归决定系数作差，根据差值得到第一决定系数变化量，例如可以将差值的绝对值作为第一决定系数变化量。在本实施例其他可能的实现方式中，也可以采用其他方式，例如求商等方式，计算第一决定系数变化量。

还需要说明的是，S505在S504之后执行，而S503的执行顺序可以是任意的，在一些可能的实现方式中，可以同时执行将S503与S504、S505分为两条路径同时执行，在另一些可能的实现方式中，也可以按照设定的顺序先后执行，如先执行S504、S505，再执行S503。

S506：服务器根据第一角度变化总量和第一预设阈值，以及第一决定系数变化量和第三预设阈值，获得手势动作的识别结果。

第一预设阈值可以参见S204相关内容描述，在此不再赘述。

第三预设阈值是用于衡量第一决定系数变化量大小的标准值。根据第一角度变化总量与第一预设阈值之间的关系，第一决定系数变化总量与第三预设阈值之间的关系，可以获得手势动作的识别结果。

在本实施例一些可能的实现方式中，若第一决定系数变化量大于第三预设阈值，则表明第一决定系数变化量较大，第一指定手指中关节点的位置分布发生了明显的变化。基于关节角度和关节点位置分布的双重判断，可以为，第一角度变化总量大于第一预设阈值，且第一决定系数变化量大于第三预设阈值时，可以确定用户实施指定手势动作，该指定手势动作可以作为手势动作的识别结果。

进一步地，为了提高识别准确率，还可以计算第二指定手指中的回归系数，确定第二指定手指中关节点的位置分布，根据第二指定手指中关节点的位置分布的变化情况确定是否实施指定手势动作，即根据第一角度变化总量和第一预设阈值，第二角度变化总量和第二预设阈值，第一决定系数变化总量与第三预设阈值，以及第二决定系数变化量和第四预设阈值，获得手势动作的识别结果。

可选地，在S504中，还可以根据根据第一向量计算第二指定手指对应的第三线性回归决定系数，以及根据第二向量计算第二指定手指对应的第四线性回归决定系数。对应地，在S505中，还需要根据第三线性回归决定系数和第四线性回归决定系数，计算第二指定手指对应的第二决定系数变化量。对应地，在S506中需要对第一角度变化总量、第二角度变化总量、第一决定系数变化量和第二决定系数变化量均进行判断。可选地，若第一角度变化总量大于第一预设阈值，第二角度变化总量小于第二预设阈值，第一决定系数变化量大于第三阈值且第二决定系数变化量小于第四预设阈值，则确定用户实施所述指定手势动作。

其中，第四预设阈值是用于衡量第二决定系数变化量大小的标准值。若第二决定系数变化量小于第四预设阈值，则表明该第二指定手指对应的第二决定系数变化量较小，该第二指定手指的关节点的位置分布变化较小，也即该手指并未产生较大的动作。

需要说明的是，当第二指定手指的数量为多个时，若各个第二指定手指的第二决定系数变化量均小于第四预设阈值，则判断第一指定手指外的其余手指并无较大动作，而第一角度变化量大于第一预设阈值表征第一指定手指具有较大动作，基于此，可以确定用户实施指定手势动作。其中，对各个第二指定手指的第二决定系数变化量的判断可以通过多种方式实现，一种实现方式为，将各个第二指定手指的第二决定系数变化量分别与第四预设阈值进行判断；另一种实现方式为，将第二指定手指的第二决定系数变化量进行比较，确定出第二指定手指的第二决定系数变化量的最大值，将最大值与第四预设阈值进行比较，以确定第二决定系数变化量是否小于第四预设阈值。

在有些情况下，还可以对指定手势动作中具有特定特征的手指，如始终呈线性关系的手指，进行判断，以确定是否实施指定手势动作。如此，可以进一步提高对特定手势动作识别的准确率。接下来对其可选的识别过程进行详细的说明。

在本实施例一些可能的实现方式中，若第二指定手指中包括第三指定手指，其中，第三指定手指是指实施指定手势动作时手指关节点呈线性关系的手指。由于第三指定手指的关节点呈线性关系，在对第三指定手指的关节点进行回归，得到对应的回归方程时，回归方程应当具有较好的拟合优度。而拟合优度可以通过决定系数表征，因此，在对角度变化总量、决定系数变化量进行判断的基础上，还可以对第三指定手指对应的第三线性回归决定系数自身进行判断，以确定是否实施指定手势动作。在一些可能的实现方式中，根据第一角度变化总量和第一预设阈值，第二角度变化总量和第二预设阈值，第一决定系数变化量和第三预设阈值，第二决定系数变化量和第四预设阈值，第三指定手指对应的第三线性回归决定系数和第五预设阈值，获得手势动作的识别结果。

可选地，若第一角度变化总量大于第一预设阈值，第二角度变化总量小于第二预设阈值，第一决定系数变化量大于第三预设阈值，第二决定系数变化量小于第四预设阈值，且第三指定手指对应的第三线性回归决定系数大于第五预设阈值，则确定用户实施指定手势动作，该指定手势动作可以作为手势动作的识别结果。

其中，第五预设阈值是用于衡量第三指定手指对应的第三线性回归系数大小的标准值。若第三指定手指对应的第三线性回归决定系数大于第五预设阈值，表明第三指定手指对应的第三线性回归决定系数较大，拟合优度较好，该第三指定手指有较大的可能呈线性关系。

在本实施例一些可能的实现方式中，第三指定手指的数量可以为一个，也可以为多个。当第三指定手指的数量为多个时，也可以对第三指定手指对应的第三线性回归决定系数的均值进行判断。可选地，在第一角度变化总量大于第一预设阈值，第二角度变化总量小于第二预设阈值，第一决定系数变化量大于第三预设阈值，第二决定系数变化量小于第四预设阈值的前提下，若第三指定手指对应的第三线性回归决定系数的均值大于第五预设阈值，则确定用户实施指定手势动作。

在上述实施例中，第一预设阈值、第二预设阈值、第三预设阈值、第四预设阈值以及第五预设阈值可以根据经验值进行设置，针对不同的手势动作，上述预设阈值可以是不同的，本实施例对此不作限定。在本实施例中，根据第一角度变化总量和第一预设阈值，可以获得手势动作的识别结果，在此基础上，结合第二角度总量和第二预设阈值，第一决定系数变化量与第三预设阈值，第二决定系数变化量与第四预设阈值，第三线性回归决定系数与第五预设阈值中的任一组合进行判断，可以获得更准确的手势动作的识别结果。

由上可知，本申请实施例提供了一种手势动作的识别方法，通过在对指定手指的指定关节的角度变化进行判定的基础上，增加对指定手指对应的决定系数的变化量的判定，根据指定手指对应的决定系数的变化量可以确定指定手指的关节点的位置分布的变化情况，基于位置分布的变化情况可以进一步确定用户是否实施指定手势动作，从而提高了手势动作识别的准确率。

为了使本申请的技术方案更容易理解，下面将结合可选应用场景对本申请实施例提供的手势动作的识别方法进行介绍。

图6为本申请实施例提供的手势动作的识别方法的应用场景示意图。如图6所示，该应用场景为实时视频直播场景，该应用场景中包括终端110、服务器120、终端130。其中，终端110为主播对应的终端，终端130为观众对应的终端，服务器120为直播服务器，直播服务器120分别与主播对应的终端110和观众对应的终端120建立网络连接，从而提供相应的直播服务。主播A可以申请开通一个直播间，在该场景中，若主播A开通直播间100，当主播A通过终端110进行直播时，则访问该直播间的终端都能够接收到直播内容，如图6中所示，观众可以通过终端130进入主播A的直播间观看直播内容，需要说明的是，观众的终端的数量可以为一个，也可为多个。观众的终端可以位于不同区域，观众的终端也可以接入不同的局域网中，图6所示的直播间100内的观众的终端部署仅为本申请的一个可选示例，并不表示终端的实际位置关系。

其中，主播可以在直播过程中实施各种各样的手势动作，通过对主播实施的手势动作进行识别，并根据识别的手势动作显示对应的动画效果，以提高互动性。识别手势动作的过程可以由终端110独立完成，可选地，主播对应的终端110采集手势图片，包括第一手势图片和第二手势图片，然后通过手势图片中关节角度的变化等信息，识别出主播所实施的手势动作，当识别到指定手势动作时，可以在界面上显示对应的动画效果。

在实际应用中，手势动作的识别也可以是由服务器完成的，如图6所示，主播实施弹指动作，主播对应的终端110实时采集手势图片，包括第一手势图片和第二手势图片，服务器120从主播对应的终端获取第一手势图片和第二手势图片，并对其进行实时识别，得到第一向量和第二向量，根据第一向量和第二向量，可以计算第一指定手指的第一指定关节的第一角度变化总量，第二指定手指的第二指定关节的第二角度变化总量，第一指定手指对应第一决定系数变化量，第二指定手指对应的第二决定系数变化量等，根据上述角度变化总量、决定系数变化量确实主播实施弹指动作。当服务器120确定用户实施弹指动作时，可以向主播对应的终端110和观众对应的终端130返回对应的动画效果，主播对应的终端110和观众对应的终端130在界面上显示该动画效果，以便用户观看，增强互动性。

为了便于理解手势动作的识别过程，下面将结合弹指动作对手势动作的识别进行详细说明。

针对弹指动作这一指定手势动作，第一指定手指为中指，第一指定关节包括中指上的三个手指关节。而第二指定手指为大拇指、食指、无名指和小指。第二指定关节分别为大拇指的两个手指关节、食指的三个手指关节、无名指的三个手指关节和小指的三个手指关节。

首先，可以根据手势图片对手指关节角度进行计算。可以从视频中获取包括手部的两张连续的帧图像作为第一手势图像和第二手势图像，通过预先训练的卷积神经网络模型，可以对手势图像中的关节点进行识别，可选地，对第一手势图像进行识别，计算关节角度，得到第一向量，其中，根据各手指关节，可以计算出14个关节角度，故表征第一手势图像中手指关节角度的第一向量为14维向量。类似的，对第二手势图像进行识别，计算关节角度，得到第二向量，表征第二手势图像中手指关节角度的第二向量为14维向量。需要说明的是，关节角度可以根据式(1)计算，根据人体关节的实际情况，可以控制acos函数的输出结果在0到π之间。

在该应用场景中，可以对第一指定手指也即中指，和第二指定手指也即大拇指、食指、无名指和小指的关节的角度变化总量分别进行判断。为了方便表述，将第一向量用alpha(t)表示，第二向量用alpha(t+1)表示，第一向量中第一指定手指对应的分量用beta(t)表示，第一向量中第二指定手指对应的分量用gamma(t)表示，而第二向量中第一指定手指对应的分量用beta(t+1)表示，第二向量中第二指定手指对应的分量用gamma(t+1)表示。

根据第一向量和第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，可以为根据第一向量alpha(t)中第一指定手指对应的分量beta(t)与第二向量alpha(t+1)中第一指定手指对应的分量beta(t+1)，计算出第一指定手指中第一指定关节的角度变化总量，也即中指的三个关节的角度变化总量。该角度变化总量可以通过beta(t+1)-beta(t)所有分量的和表示。接着，将该角度变化总量与第一预设阈值进行比较，其中，第一预设阈值为130，若beta(t+1)-beta(t)所有分量的和大于130，则判断中指有弹指动作。

对于第二指定手指也即gamma分量的判断，主要是为了避免误识别的情况发生。根据第一向量和第二向量，计算第一指定手指中第二指定关节的第二角度变化总量，可以为，根据第一向量alpha(t)中第二指定手指对应的分量gamma(t)与第二向量alpha(t+1)中第二指定手指对应的分量gamma(t+1)，计算出第二指定手指中第二指定关节的第二角度变化总量，也即大拇指的两个个关节的角度变化总量、食指的三个关节的角度变化总量、无名指的三个关节的角度变化总量以及小指的三个关节的角度变化总量。

作为一种可能的实现方式，可以将gamma(t+1)-gamma(t)按照大拇指、食指、无名指和小指对应的分量分为四部分，对这四部分分别进行求和，得到大拇指、食指、无名指和小指各自对应的第二角度变化总量。接着将第二角度变化总量与第二预设阈值比较，其中，第二预设阈值为30，若大拇指、食指、无名指和小指各自对应的第二角度变化总量均小于30，则确定大拇指、食指、无名指和小指相对稳定，无较大动作。在有些情况下，也可以对gamma(t+1)-gamma(t)计算范数norm(gamma(t+1)-gamma(t))，若范数norm(gamma(t+1)-gamma(t))小于30，则表明大拇指、食指、无名指和小指相对稳定，无较大动作。

其次，还可以计算手指关节点位置的决定系数，判断是否实施指定手势动作。与手指关节的角度变化判断类似，对决定系数的判断也可以分为两部分，第一部分为对第一指定手指，也即中指的决定系数变化量进行判断，第二部分为对第二指定手指，也即大拇指、食指、无名指和小指的决定系数变化量进行判断。

对决定系数的计算可以参照式(2)至式(5)，为了方便表述，将t时间第i根手指的决定系数记为R ²(i，t)，则针对弹指动作，第一指定手指为中指，第一指定手指对应的第一线性回归决定系数即为R ²(3，t)，第一指定手指对应的第二线性回归决定系数为R ²(3，t+1)，根据第一线性回归决定系数和第二线性回归决定系数可以计算出第一决定系数变化量，第一决定系数变化量可以用R ²(3，t+1)-R ²(3，t)表示。将第一决定系数变化量与第三预设阈值比较，其中，第三预设阈值为0.4，若R ²(3，t+1)-R ²(3，t)大于0.4，则可以确定中指的关节点由弯曲的状态转向伸直的状态。

针对弹指动作，第二指定手指为大拇指、食指、无名指和小指，大拇指对应的第三线性回归决定系数为R ²(1，t)，大拇指对应的第四线性回归决定系数为R ²(1，t+1)，食指对应的第三线性回归决定系数为R ²(2，t)，食指对应的第四线性回归决定系数为R ²(2，t+1)，无名指对应的第三线性回归决定系数为R ²(4，t)，无名指对应的第四线性回归决定系数为R ²(4，t+1)，小指对应的第三线性回归决定系数为R ²(4，t)，小指对应的第四线性回归决定系数为R ²(4，t+1)。根据上述决定系数，可以计算得到第二决定系数变化量，第二决定系数变化量可以用R ²(i,t+1)-R ²(i,t)表示，其中i对1，2，4，5均成立。

将第四线性回归系数与第四预设阈值进行比较，其中，第四线性回归系数为0.2，针对i＝1，2，4，5，若max(R ²(i,t+1)-R ²(i,t))<0.2，则第二指定手指对应的第二决定系数变化量较小，判断大拇指、食指、无名指和小指无较大的动作。

若以上条件均成立，也即beta(t+1)-beta(t)＞130，norm(gamma(t+1)-gamma(t))＜30，R ²(3，t+1)-R ²(3，t)＞0.4，且max(R ²(i,t+1)-R ²(i,t))<0.2，则可以确定用户实施弹指动作。

进一步地，由于弹指动作的第二指定手指中还包括第三指定手指，即食指、无名指以及小指。可以分别对食指、无名指以及小指的第三线性回归决定系数R ²(i,t)进行判断，其中，i为2，4，5。

若R ²(i,t)大于第五预设阈值，其中，第五预设阈值为0.9，针对i＝2，4，5，R ²(i,t)＞0.9均成立，则表明食指、无名指以及小指的关节点均呈线性关系，在beta(t+1)-beta(t)＞130，norm(gamma(t+1)-gamma(t))＜30，R ²(3，t+1)-R ²(3，t)＞0.4，且max(R ²(i,t+1)-R ²(i,t))<0.2的前提下，若R ²(i,t)＞0.9针对i＝2，4，5均成立，可以确定识别到弹指动作。

在有些情况下，也可以不对R ²(i,t)分别进行判断，可以直接对i＝2，4，5时的均值average(R(i,t))进行判断，在beta(t+1)-beta(t)＞130，norm(gamma(t+1)-gamma(t))＜30，R ²(3，t+1)-R ²(3，t)＞0.4，且max(R ²(i,t+1)-R ²(i,t))<0.2的前提下，若针对i＝2，4，5，average(R(i,t))＞0.9成立，可以确定识别到弹指动作。

该弹指动作的识别可以配合一些其他的挂件设计，应用在直播场景中。当主播作出弹指动作时，屏幕可以实时展示与弹指动作对应的动画效果。

需要说明的是，上述应用场景是以弹指动作作为示例对本申请提供的手势动作的识别方法进行示例性说明，在本实施例其他可能的实现方式中，也可以对其他手势动作，如“OK”、“剪刀手”等进行识别。当对其他手势动作进行识别时，上述实施例中的第一指定手指、第二指定手指、第三指定手指以及第一预设阈值、第二预设阈值、第三预设阈值、第四预设阈值和第五预设阈值可以进行适应性调整。

以上为本申请实施例提供的手势动作的识别方法的一些可选实现方式，基于上述实现方式，本申请还提供了一种手势动作的识别装置。

接下来，结合附图，从功能模块化的角度对本申请实施例提供的手势动作的识别装置进行介绍。

图7为本申请实施例提供的一种手势动作的识别装置的结构示意图，参见图7，该装置包括：

获取模块710，被设置为获取第一手势图片和第二手势图片；

识别模块720，被设置为识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；

计算模块730，被设置为根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；

确定模块740，被设置为根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。

可选的，计算模块730还被设置为：

则确定模块740可以被设置为：

可选的，计算模块730还被设置为：

则确定模块740可以被设置为：

可选的，计算模块730还被设置为：

则确定模块740可以被设置为：

可选的，确定模块740还被设置为：

可选的，计算模块730可以被设置为：

根据所述第一向量和所述第二向量，计算得到差向量；

所述第二指定手指包括大拇指、食指、无名指和小指。

可选的，参见图8，图8为本实施例提供的手势动作的识别装置的一个结构示意图，所述装置还包括显示模块750，被设置为：

可选的，识别模块720可以被设置为：

由上可知，本申请实施例提供了一种手势动作的识别装置，包括获取第一手势图片和第二手势图片，利用深度学习对手势图片中的关节点进行识别，得到表征手指关节角度的第一向量和第二向量，利用数学模型方法对第一向量和第二向量进行处理，确定手势图片中第一指定手指的第一指定关节的第一角度变化总量，其中，第一指定手指为实施指定手势动作时关节的角度需要发生变化的手指，第一指定关节为实施指定手势动作时第一指定手指中角度需要发生变化的手指关节，如此，当第一角度变化总量大于第一预设阈值时，可以确定用户实施指定手势动作。

本申请在通过深度学习能够准确地识别手指关节点的基础上，计算指定手指中的指定关节的角度变化总量，将该变化总量与表征实施指定手势动作时角度需要发生变化的手指中需要发生变化的关节的角度变化总量的第一预设阈值进行比较，可以实现对手势动作的识别。与相关技术仅能对静态手势进行识别，本申请提供的手势动作识别方法具有更为广泛的应用前景。

上述实施例是通过模块功能化的角度，对本申请实施例提供的手势动作的识别装置进行介绍，接下来将从硬件实体化的角度对本申请实施例提供的手势动作的识别装置进行介绍。

图9为本申请实施例提供的一种手势动作的识别设备，该设备可以为终端设备。如图9所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(英文全称：Personal Digital Assistant，英文缩写：PDA)、销售终端(英文全称：Point of Sales，英文缩写：POS)、车载电脑等任意终端设备，以终端为手机为例：

图9示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图9，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(英文全称：wireless fidelity，英文缩写：WiFi)模块970、处理器980、以及电源990等部件。本领域技术人员可以理解，图9中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图9对手机的各个构成部件进行介绍：

RF电路910可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器980处理；另外，将设计上行的数据发送给基站。通常，RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：Low Noise Amplifier，英文缩写：LNA)、双工器等。此外，RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System of Mobile communication，英文缩写：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，GPRS)、码分多址(英文全称：Code Division Multiple Access，英文缩写：CDMA)、宽带码分多址(英文全称：Wideband Code Division Multiple Access,英文缩写：WCDMA)、长期演进(英文全称：Long Term Evolution，英文缩写：LTE)、电子邮件、短消息服务(英文全称：Short Messaging Service，SMS)等。

存储器920可被设置为存储软件程序以及模块，处理器990通过运行存储在存储器920的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储实施系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元930可被设置为接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。可选地，输入单元930可包括触控面板931以及其他输入设备932。触控面板931，也称为触摸屏，可收集用户在其上或附近的触摸实施(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上或在触控面板931附近的实施)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸实施带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931，输入单元930还可以包括其他输入设备932。可选地，其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、实施杆等中的一种或多种。

显示单元940可被设置为显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示面板941，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文缩写：LCD)、有机发光二极管(英文全称：Organic Light-Emitting Diode，英文缩写：OLED)等形式来配置显示面板941。进一步的，触控面板931可覆盖显示面板941，当触控面板931检测到在其上或附近的触摸实施后，传送给处理器980以确定触摸事件的类型，随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图9中，触控面板931与显示面板941是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板931与显示面板941集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。可选地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板941的亮度，接近传感器可在手机移动到耳边时，关闭显示面板941和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路960、扬声器961，传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出处理器980处理后，经RF电路910以发送给比如另一手机，或者将音频数据输出至存储器920以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块970，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器980是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器980可包括一个或多个处理单元；优选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理实施系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。

手机还包括给各个部件供电的电源990(比如电池)，优选的，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该终端所包括的处理器980还具有以下功能：

获取第一手势图片和第二手势图片；

识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；

根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；

根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。

在一些可能的实现方式中，处理器980还可以执行上述手势动作的识别方法中的任意一种实现方式的操作步骤。

本申请实施例提供的上述方法还可以由另一种手势动作的识别设备实现，该设备可以为服务器，接下来，将结合附图，对本实施例提供的服务器的结构进行详细说明。

图10为本申请实施例提供的服务器的一个结构示意图。如图10所示，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1022(例如，一个或一个以上处理器)和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1030通信，在服务器1000上执行存储介质1030中的一系列指令操作。

服务器1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058，和/或，一个或一个以上操作系统1041，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图10所示的服务器结构。

其中，CPU 1022被设置为执行如下步骤：

获取第一手势图片和第二手势图片；

在本实施例一些可能的实现方式中，CPU1022还可以被设置为执行上述手势动作的识别方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质，被设置为存储程序代码，该程序代码被设置为执行前述各个实施例所述的一种手势动作的识别方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种手势动作的识别方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的可选工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-Only Memory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

一种手势动作的识别方法，包括：

服务器获取第一手势图片和第二手势图片；

所述服务器识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；

所述服务器根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；

所述服务器根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。
根据权利要求1所述的方法，其中，所述方法还包括：

所述服务器根据所述第一向量和所述第二向量，计算第二指定手指中第二指定关节的第二角度变化总量，所述第二指定手指是指实施指定手势动作时关节的角度不需要发生变化的手指，所述第二指定关节是指所述第二指定手指中的手指关节；

则所述服务器所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：

所述服务器根据所述第一角度变化总量和第一预设阈值，以及所述第二角度变化总量和第二预设阈值，获得手势动作的识别结果。
根据权利要求1所述的方法，其中，所述方法还包括：

所述服务器根据所述第一向量计算所述第一指定手指对应的第一线性回归决定系数，以及根据所述第二向量计算所述第一指定手指对应的第二线性回归决定系数；

所述服务器根据所述第一线性回归决定系数和所述第二线性回归决定系数，计算所述第一指定手指对应的第一决定系数变化量；

则所述服务器所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：

所述服务器根据所述第一角度变化总量和第一预设阈值，以及所述第一决定系数变化量和第三预设阈值，获得手势动作的识别结果。
根据权利要求2所述的方法，其中，所述方法还包括：

所述服务器根据所述第一向量计算所述第二指定手指对应的第三线性回归决定系数，以及根据所述第二向量计算所述第二指定手指对应的第四线性回归决定系数；

所述服务器根据所述第三线性回归决定系数和所述第四线性回归决定系数，计算所述第二指定手指对应的第二决定系数变化量；

则所述服务器所述根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果，包括：

所述服务器根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果。
根据权利要求4所述的方法，其中，若所述第二指定手指中包括第三指定手指，所述第三指定手指是指实施所述指定手势动作时手指关节点呈线性关系的手指；

则所述服务器所述根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，以及所述第二决定系数变化量和第四预设阈值，获得手势动作的识别结果，包括：

所述服务器根据所述第一角度变化总量和第一预设阈值，所述第二角度变化总量和第二预设阈值，所述第二决定系数变化量和第四预设阈值，以及所述第三指定手指对应的第三线性回归决定系数和第五预设阈值，获得手势动作的识别结果。
根据权利要求1或者2所述的方法，其中，所述服务器通过以下方式计算指定手指中指定关节对应的角度变化总量：

根据所述第一向量和所述第二向量，计算得到差向量；

从所述差向量中获取指定手指中指定关节各自对应的角度变化量，计算角度变化量的和值得到指定手指中指定关节对应的角度变化总量。
根据权利要求1所述的方法，其中，所述指定手势动作为弹指动作，所述第一指定手指是中指；第一指定关节包括中指上的三个手指关节。
根据权利要求2所述的方法，其中，所述指定手指动作为弹指动作，所述第一指定手指是中指；第一指定关节包括中指上的三个手指关节；所述第二指定手指包括大拇指、食指、无名指和小指。
根据权利要求1所述的方法，其中，在所述服务器所述确定用户实施所述指定手势动作之后，所述方法还包括：

所述服务器在界面上显示与所述指定手势动作对应的动画效果。
根据权利要求1所述的方法，其中，所述服务器通过以下方式识别手势图片得到对应的向量：

根据手势图片和卷积神经网络模型识别得到坐标集，所述坐标集中包括被识别的手势图片中手部各个关节点的位置坐标；

根据所述坐标集中各个关节点的位置坐标，计算手指关节对应的角度；

根据所述角度生成与被识别的手势图片对应的向量，所述向量用于表征被识别的手势图片中手指关节的角度。
根据权利要求10所述的方法，其中，所述服务器所述根据所述坐标集中各个关节点的位置坐标，计算手指关节对应的角度，包括：

所述服务器根据所述坐标集中各个关节点的位置坐标，计算得到手指关节所连接的两节指节对应的两个向量；

所述服务器利用反余弦函数和所述两个向量，计算手指关节对应的角度。
一种手势动作的识别装置，包括一个或多个处理器，以及一个或多个存储程序单元的存储器，其中，所述程序单元由所述处理器执行，所述程序单元包括：

获取模块，被设置为获取第一手势图片和第二手势图片；

识别模块，被设置为识别所述第一手势图片得到第一向量，所述第一向量用于表征所述第一手势图片中手指关节的角度，以及识别所述第二手势图片得到第二向量，所述第二向量用于表征所述第二手势图片中手指关节的角度；

计算模块，被设置为根据所述第一向量和所述第二向量，计算第一指定手指中第一指定关节的第一角度变化总量，所述第一指定手指是指实施指定手势动作时关节的角度需要发生变化的手指，所述第一指定关节是指实施指定手势动作时第一指定手指中角度需要发生变化的手指关节；

确定模块，被设置为根据所述第一角度变化总量和第一预设阈值，获得手势动作的识别结果。
一种终端设备，所述设备包括处理器以及存储器：

所述存储器被设置为存储可执行计算机指令，并将所述可执行计算机指令传输给所述处理器；

所述处理器被设置为根据所述可执行计算机指令中的指令执行权利要求1至11中任一项所述的手势动作的识别方法。
一种计算机可读存储介质，所述计算机可读存储介质被设置为存储可执行计算机指令，当其在计算机上运行时，使得所述计算机执行权利要求1至11中任一项所述的手势动作的识别方法。
一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行权利要求1至11中任一项所述的手势动作的识别方法。