WO2020211701A1

WO2020211701A1 - 模型训练方法、情绪识别方法及相关装置和设备

Info

Publication number: WO2020211701A1
Application number: PCT/CN2020/084216
Authority: WO
Inventors: 李向东; 田艳; 王剑平; 张艳存
Original assignee: 华为技术有限公司
Priority date: 2019-04-17
Filing date: 2020-04-10
Publication date: 2020-10-22
Also published as: CN110134316B; CN110134316A

Abstract

本申请实施例公开了一种模型训练方法以及情绪识别方法，本申请基于用户操控终端设备时的触控方式以及触控方式对应的情绪状态，采用机器学习技术对分类模型进行训练，得到情绪识别模型；进而，在实际应用中，可以利用该情绪识别模型根据用户操控该终端设备时的触控方式，相应地确定用户当前的情绪状态。如此，利用用户操控某个终端设备时的触控方式及其对应的情绪状态，对分类模型进行训练，得到适用于该终端设备的情绪识别模型；相应地，该终端设备应用该情绪识别模型识别用户的情绪状态时，该情绪识别模型能够有针对性地根据用户操控该终端设备时的触控方式，准确地识别用户的情绪状态。

Description

模型训练方法、情绪识别方法及相关装置和设备

本申请要求在2019年4月17日提交中国国家知识产权局、申请号为201910309245.5、发明名称为“模型训练方法、情绪识别方法及相关装置和设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及计算机技术领域，具体涉及模型训练方法、情绪识别方法及相关装置和设备。

背景技术

如今，终端设备如智能手机、平板电脑等在人们的日常生活中扮演的角色越来越重要，终端设备带来的用户体验成为使用者衡量终端设备的一个关键因素，如何为用户提供个性化服务、提高用户体验，已成为各终端设备厂商关注的研发重点。

目前，已研发出一些终端设备能够从识别用户情绪状态的角度出发，根据识别出的用户情绪状态相应地为用户提供个性化服务；而能否为用户提供合理的个性化服务，主要取决于用户情绪状态识别的准确度。目前较为常见的基于面部表情识别情绪的方法，随着环境光线、用户面部与终端设备之间的相对位置等因素的改变，面部表情识别的准确度也会发生改变，即该方法无法保证准确识别用户的面部表情，进而将导致基于面部表情识别出情绪状态并不准确。

此外，现有技术中还存在一种基于人体生理信号确定用户情绪状态的方法，该方法借助额外的测量设备测量用户的人体生理信号，如心率、体温、血压等，进而通过对这些人体生理信号进行分析处理，确定用户的情绪状态；这种方法在实现的过程中需要借助额外的外接设备，而外接设备的使用对于用户来说比较累赘，总体来看，该方法并未真正达到提高用户体验的目的。

发明内容

本申请实施例提供了一种模型训练方法、情绪识别方法及相关装置和设备，能够基于训练出的情绪识别模型准确地识别用户的情绪状态，从而便于终端设备根据所识别出的情绪状态，为用户提供更合理的个性化服务。

有鉴于此，本申请第一方面提供了一种模型训练方法，该方法可以应用于终端设备和服务器，在该方法中，获取用户操控终端设备时的触控方式，并标记触控方式对应的情绪状态，将该触控方式以及触控方式对应的情绪状态作为训练样本；进而，采用机器学习技术(machine learning technology，MLT)，利用上述训练样本对预置的分类模型进行训练，得到适用于该终端设备的情绪识别模型，该情绪识别模型能够根据用户操控该终端设备时的触控方式，相应地确定该触控方式对应的情绪状态。

上述模型训练方法可以针对不同的终端设备，相应地基于该终端设备的使用者操控该终端设备时的触控方式以及触控方式对应的情绪状态，采用机器学习算法训练出有针对性地适用于该终端设备的情绪识别模型；如此，在终端设备上应用针对其训练得到的情绪识别模型，可以保证该情绪识别模型能够准确地根据该终端设备的使用者操控该终端设备时的触控方式，确定使用者的情绪状态。

在本申请实施例第一方面的第一种实现方式中，针对某触控方式确定其对应的情绪状态时，可以先根据该触控方式对应的触发时间，确定参考时间区间，然后，获取该参考时间区间内用户操作终端设备所生成的操作数据内容，如用户输入终端设备的文字内容、语音内容等，进而，通过分析在参考时间区间内获取的操作数据内容，确定该操作数据内容对应的情绪状态，作为该触控方式对应的情绪状态。

如此，利用用户操控终端设备时产生的操作数据内容，确定触控方式对应的情绪状态，能够保证所确定的情绪状态合理准确，进而保证所确定的触控方式与情绪状态之间的对应关系合理准确。

在本申请实施例第一方面的第二种实现方式中，针对某触控方式确定其对应的情绪状态时，可以调用预置的情绪状态映射关系表，该情绪状态映射关系表中记录有触控方式与情绪状态之间的对应关系；进而，在该情绪状态映射关系表中查找触控方式对应的情绪状态。

目前已有相关实验针对用户触控终端设备时的触控方式与用户的情绪状态之间的对应关系进行了研究调研，并生成了一些能够反映这种对应关系的调研结果，根据这些调研结果相应地生成情绪状态映射表，并基于该情绪状态映射表确定触控方式对应的情绪状态，能够有效地保证针对触控方式确定的情绪状态客观合理。

在本申请实施例第一方面的第三种实现方式中，获取训练样本时，可以先在预设时间段内采集用户操控终端设备生成的触控数据，然后对这些触控数据做聚类处理生成触控数据集合，并确定触控数据集合所对应的触控方式，接着，将包括触控数据最多的触控数据集合作为目标触控数据集合，将该目标触控数据集合对应的触控方式作为目标触控方式，进而标记该目标触控方式对应的情绪状态，将目标触控方式以及其对应的情绪状态作为训练样本。

通常情况下，用户在一段时间内会采用多种不同的触控方式操控终端设备，而在该段时间内，用户的情绪状态可能不会发生太大的变化，为此，需要通过该种实现方式从用户在该段时间内采用的多种触控方式中，选择出最能够表征用户当前的情绪状态触控方式即上述目标触控方式，进而，利用该目标触控方式以及用户当前的情绪状态作为训练样本，如此能够有效地保证触控方式与情绪状态之间的对应关系准确合理。

在本申请实施例第一方面的第四种实现方式中，上述第三种实现方式中所提及的触控数据包括：屏幕电容值变化数据以及坐标值变化数据。由于目前多数触屏设备所采用的触摸屏为电容屏，因此，将屏幕电容值变化数据以及坐标值变化数据作为触控数据，可以保证本申请实施例提供的方法在日常工作生活中可以被广泛地应用。

在本申请实施例第一方面的第五种实现方式中，在训练得到情绪识别模型后，还可以进一步获取用户后续操控该终端设备时的触控方式，作为优化触控方式，并标记该优化触控方式对应的情绪状态，将优化触控方式以及其对应的情绪状态作为优化训练样本；以便后续利用该优化训练样本对情绪识别模型进行优化训练。

随着使用时间的增加，用户触控终端设备时采用的触控方式也可能会发生变化，为了保证情绪识别模型始终能够准确地根据用户的触控方式识别用户的情绪状态，在训练得到情绪识别模型后，还可以不断地采集用户操控终端设备时的触控方式及其对应的情绪状态，作为优化训练样本，进而，在情绪识别模型无法准确识别用户的情绪状态时，可以利用该优化训练样本对情绪识别模型做进一步优化训练，以保证其始终具备较好的模型性能。

在本申请实施例第一方面的第六种实现方式中，可以获取用户针对情绪识别模型的反馈信息，并在该反馈信息表征情绪识别模型的性能不满足用户需求时，利用在第五种实现方式中获取的优化训练样本对情绪识别模型进行优化训练。

由于本申请中的情绪识别模型所面向的对象为终端设备的用户，因此，用户的使用体验可以作为衡量该情绪识别模型性能最为重要的标准之一，在用户反馈该情绪识别模型的性能已无法满足自身需求时，即在用户认为该情绪识别模型所识别出的情绪状态不够准确时，即可利用在第五种实现方式中获取的优化训练样本对该情绪识别模型进行优化训练，以使其满足用户的使用需求，提高用户使用体验。

在本申请实施例第一方面的第七种实现方式中，终端设备可以在满足处于充电状态、剩余电量高于预设电量以及处于空闲状态的时长超过预设时长这三项条件中任意一项或多项的情况下，采用在上述第五种实现方式中获取的优化训练样本对情绪识别模型进行优化训练。

由于对情绪识别模型进行优化训练时通常需要耗费大量电量，并且可能会对终端设备的其他功能造成一定的影响，为了保证不影响用户正常使用终端设备，终端设备可以在满足上述三项条件中任意一项或多项条件时，对情绪识别模型进行优化训练，保障用户使用体验。

本申请第二方面提供了一种情绪识别方法，该方法通常应用于终端设备，在该方法中，终端设备获取用户操控自身时的触控方式，并利用自身运行的情绪识别模型确定该触控方式对应的情绪状态，作为用户当前的情绪状态，该情绪识别模型是采用上述第一方面提供的模型训练方法，针对该终端设备训练得到的。

该情绪识别方法利用情绪识别模型，有针对性地根据用户操控终端设备时的触控方式确定用户的情绪状态，能够保证所确定的情绪状态的准确性；并且，该方法在确定用户情绪状态的过程中，无需任何额外的外接设备，真正意义上实现了提高用户体验的目的。

在本申请实施例第二方面的第一种实现方式中，终端设备可以在其自身显示桌面界面的情况下，根据情绪识别模型所识别出的用户当前的情绪状态，切换桌面界面的显示样式。如此，终端设备通过改变其桌面界面的显示样式，直接地改变用户的视觉体验，从视觉观感上调节或配合用户的情绪状态，从而提高用户的使用体验。

在本申请实施例第二方面的第二种实现方式中，终端设备可以在其自身开启应用程序的情况下，根据情绪识别模型所识别出的用户当前的情绪状态，通过应用程序推荐相关内容，例如，推荐相关音乐内容、视频内容、文字内容等等。如此，结合用户的情绪状态，通过相应的应用程序为用户推荐相关内容，从多个角度对用户情绪状态进行实时地调节，提高用户使用体验。

本申请第三方面提供了一种模型训练装置，所述装置包括：

训练样本获取模块，用于获取用户操控终端设备时的触控方式，标记所述触控方式对应的情绪状态；将所述触控方式以及所述触控方式对应的情绪状态，作为训练样本；

模型训练模块，用于采用机器学习算法，利用所述训练样本对分类模型进行训练，得到情绪识别模型；所述情绪识别模型以用户操控所述终端设备时的触控方式为输入，以该触控方式对应的情绪状态为输出。

在本申请实施例第三方面的第一种实现方式中，所述训练样本获取模块具体用于：

根据所述触控方式对应的触发时间，确定参考时间区间；

获取所述参考时间区间内用户操作所述终端设备生成的操作数据内容；

根据所述操作数据内容确定用户的情绪状态，作为所述触控方式对应的情绪状态。

在本申请实施例第三方面的第二种实现方式中，所述训练样本获取模块具体用于：

调用预置的情绪状态映射关系表；所述情绪状态映射关系表中记录有触控方式与情绪状态之间的对应关系；

查找所述情绪状态映射关系表，确定所述触控方式对应的情绪状态。

在本申请实施例第三方面的第三种实现方式中，所述训练样本获取模块具体用于：

在预设时间段内，采集用户操控所述终端设备产生的触控数据；

对所述触控数据做聚类处理生成触控数据集合，确定所述触控数据集合对应的触控方式；

将包括触控数据最多的触控数据集合作为目标触控数据集合，将所述目标触控数据集合对应的触控方式作为目标触控方式；标记所述目标触控方式对应的情绪状态；

将所述目标触控方式以及所述目标触控方式对应的情绪状态，作为训练样本。

在本申请实施例第三方面的第四种实现方式中，所述触控数据包括：屏幕电容值变化数据及坐标值变化数据。

在本申请实施例第三方面的第五种实现方式中，所述装置还包括：

优化训练样本获取模块，用于获取用户操控所述终端设备时的触控方式，作为优化触控方式；标记所述优化触控方式对应的情绪状态；将所述优化触控方式和所述优化触控方式对应的情绪状态，作为优化训练样本；所述优化训练样本用于对所述情绪识别模型进行优化训练。

在本申请实施例第三方面的第六种实现方式中，所述装置还包括：

反馈信息获取模块，用于获取用户针对所述情绪识别模型的反馈信息；所述反馈信息用于表征所述情绪识别模型的性能是否满足用户需求；

第一优化训练模块，用于在所述反馈信息表征所述情绪识别模型的性能不满足用户需求时，利用所述优化训练样本对所述情绪识别模型进行优化训练。

在本申请实施例第三方面的第七种实现方式中，所述装置还包括：

第二优化训练模块，用于在所述终端设备处于充电状态时，和/或，在所述终端设备的剩余电量高于预设电量时，和/或，在所述终端设备处于空闲状态的时长超过预设时长时，利用所述优化训练样本对所述情绪识别模型进行优化训练。

本申请第四方面提供了一种情绪识别装置，所述装置包括：

触控方式获取模块，用于获取用户操控终端设备时的触控方式；

情绪状态识别模块，用于利用情绪识别模型确定所述触控方式对应的情绪状态，作为用户当前的情绪状态；所述情绪识别模型是执行第一方面所述的模型训练方法训练得到的。

在本申请实施例第四方面的第一种实现方式中，所述装置还包括：

显示样式切换模块，用于在所述终端设备显示桌面界面的情况下，根据所述用户当前的情绪状态，切换桌面界面的显示样式。

在本申请实施例第四方面的第二种实现方式中，所述装置还包括：

内容推荐模块，用于在所述终端设备开启应用程序的情况下，根据所述用户当前的情绪状态，通过所述应用程序推荐相关内容。

本申请第五方面提供了一种服务器，所述服务器包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述第一方面所述的模型训练方法。

本申请第六方面提供了一种终端设备，所述终端设备包括处理器以及存储器：

所述处理器用于根据所述程序代码中的指令执行第一方面所述的模型训练方法，和/或，执行第二方面所述的情绪识别方法。

本申请第七方面提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行第一方面所述的模型训练方法，和/或执行第二方面所述的情绪识别方法。

附图说明

图1为本申请实施例提供的模型训练方法和情绪识别方法的应用场景示意图；

图2为本申请实施例提供的一种模型训练方法的流程示意图；

图3为本申请实施例提供的一种情绪识别方法的流程示意图；

图4为本申请实施例提供的一种模型训练装置的结构示意图；

图5为本申请实施例提供的一种情绪识别装置的结构示意图；

图6为本申请实施例提供的一种服务器的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图；

图8为本申请实施例提供的一种电子设备的软件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四” 等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了进一步提高终端设备为使用者带来的用户体验，为用户提供更贴心、更个性化的服务，目前已有一些终端设备厂商从识别用户情绪状态的角度出发，开发终端设备识别用户情绪状态的功能，目前较为常见的应用于终端设备识别情绪状态的方法包括以下三种：

面部表情识别法，利用终端设备上的摄像装置采集用户的面部表情，进而通过对用户的面部表情进行分析处理，确定用户的情绪状态；由于在不同的场景下光线不同，以及用户面部与终端设备之间的相对位置不稳定，该方法无法保证在各种情况下均准确识别用户面部表情，相应地，在用户面部表情识别准确度较低的情况下，也无法保证所识别的用户情绪状态的准确度。

语音识别法，利用终端设备采集用户输入的语音内容，通过对语音内容进行分析处理，确定用户的情绪状态；这种方法需要用户主动向终端设备语音输入表达情绪状态的语音内容，进而终端设备才能够相应地确定用户的情绪状态；而在多数情况下，用户并不会主动告知终端设备自身的情绪状态，可见，这种方法在实际应用中的应用价值较低。

人体生理信号识别法，终端设备通过额外的测量装置或传感器采集人体生理信号，如心率、体温、血压等，进而，终端设备对所采集的人体生理信号进行分析处理，确定用户的情绪状态；这种方法在实现的过程中需要借助额外的外接设备，而外接设备的使用对于用户来说通常较为累赘，即会从另一个方面为用户带来不好的用户体验，并未真正达到提高用户体验的目的。

为了使终端设备能够准确地识别用户的情绪状态，保证从真正意义上提高终端设备所带来的用户体验，本申请另辟蹊径，基于当前终端设备的屏占比越来越高，且用户频繁地通过触摸屏(touch pad，TP)与终端设备进行交互这一现象，利用用户在相同情绪状态下操控终端设备的触控方式具有相似的规律这一特点，训练出一种能够基于用户操控终端设备时的触控方式，确定用户当前情绪状态的模型，进而使得终端设备利用该模型识别用户的情绪状态，为用户提供合理的个性化服务。

具体的，在本申请实施例提供的模型训练方法中，终端设备获取用户操控终端设备时的触控方式，并标记触控方式对应的情绪状态，将触控方式及其对应的情绪状态作为训练样本；进而采用机器学习算法，利用上述训练样本对分类模型进行训练得到情绪识别模型。相应地，在本申请实施例提供的情绪识别方法中，终端设备获取用户操控该终端设备时的触控方式，进而利用通过上述模型训练方法训练得到的情绪识别模型，确定所获取的触控方式对应的情绪状态，将该情绪状态作为用户当前的情绪状态。

需要说明的是，本申请实施例提供的模型训练方法会针对不同的终端设备，相应地基于该终端设备的使用者操控该终端设备时的触控方式以及触控方式对应的情绪状态，采用机器学习算法训练出有针对性地适用于该终端设备的情绪识别模型；如此，在终端设备上应用针对其训练得到的情绪识别模型，可以保证该情绪识别模型能够准确地根据该终端设备的使用者操控该终端设备时的触控方式，确定使用者的情绪状态。

相比现有技术中常用的几种情绪识别方法，本申请实施例提供的方法能够利用情绪识别模型，有针对性地根据用户操控终端设备时的触控方式，确定用户的情绪状态，保证所确定的情绪状态的准确性；并且，本申请实施例提供的方法在确定用户情绪状态的过程中，无需任何额外的外接设备，真正意义上实现了提高用户体验的目的。

应理解，本申请实施例提供的模型训练方法以及情绪识别方法可以应用于配置有触摸屏的终端设备(也可以称为电子设备)以及服务器；其中，终端设备具体可以为智能手机、平板电脑、计算机、个人数字助理(Personal Digital Assitant，PDA)等；服务器具体可以为应用服务器，也可以为Web服务器。

为了便于理解本申请实施例提供的技术方案，下面以终端设备作为执行主体为例，对本申请实施例提供的模型训练方法及情绪识别方法的应用场景进行介绍。

参见图1，图1为本申请实施例提供的模型训练方法和情绪识别方法的应用场景示意图。如图1所示，该应用场景中包括终端设备101，该终端设备101既用于执行本申请实施例提供的模型训练方法训练情绪识别模型，又用于执行本申请实施例提供的情绪识别方法对用户的情绪状态进行识别。

在模型训练阶段，终端设备101获取用户操控自身时的触控方式，该触控方式具体可以包括：不同力度和/或不同频率的点击操作、滑动操作等；标记所获取的触控方式对应的情绪状态；进而，将所获取的触控方式以及其对应的情绪状态作为训练样本。终端设备101获取到训练样本后，采用机器学习算法，利用所获取的训练样本对终端设备101内预先构建的分类模型进行训练，从而得到情绪识别模型。

在模型应用阶段，终端设备101执行本申请实施例提供的情绪识别方法，利用在模型训练阶段训练得到的情绪识别模型，识别用户的情绪状态；具体的，终端设备101获取用户操控自身时的触控方式，利用情绪识别模型确定所获取的触控方式对应的情绪状态，作为用户当前的情绪状态。

需要说明的是，在模型训练阶段，终端设备101是基于自身的使用者操控自身时的触控方式以及其对应的情绪状态，训练得到的情绪识别模型，该情绪识别模型是针对性适用于终端设备101的；相应地，在模型应用阶段，终端设备101利用在模型训练阶段训练得到的情绪识别模型，根据用户操控自身时的触控方式确定用户当前的情绪状态，能够有效地保证所确定出的情绪状态的准确性。

应理解，上述图1所示的应用场景仅为一种示例，在实际应用中，本申请实施例提供的模型训练方法和情绪识别方法还可以应用于其他应用场景，在此不对本申请实施例提供的模型训练方法和情绪识别方法的应用场景做具体限定。

下面先通过实施例对本申请提供的模型训练方法进行介绍。

参见图2，图2为本申请实施例提供的一种模型训练方法的流程示意图。如图2所示，该模型训练方法包括以下步骤：

步骤201：获取用户操控终端设备时的触控方式，标记所述触控方式对应的情绪状态；将所述触控方式以及所述触控方式对应的情绪状态，作为训练样本。

终端设备在用户操控自身时，获取用户触控触摸屏时的触控方式，该触控方式也可以理解为触控操作，触控操作具体可以为用户针对触摸屏发起的单步触控操作，如不同力度下的点击操作、不同力度下的滑动操作等，也可以为用户针对触摸屏发起的连续触控操作，如不同频率的连续点击操作、不同频率的连续滑动操作等，当然，用户触控触摸屏时所采用的其他触控操作也可视为本申请中的触控方式，在此不对本申请中的触控方式做具体限定。

进而，终端设备标记所获取的触控方式对应的情绪状态，该情绪状态即为用户发起该触控方式时的情绪状态；将该触控方式和触控方式对应的情绪状态作为训练样本。

应理解，为了保证基于训练样本训练得到的情绪识别模型具备较好的模型性能，通常需要获取大量的训练样本；当然，为了减少终端设备的数据处理量，也可以根据实际需求减少所获取的训练样本的数量，在此不对所获取的训练样本的数量做具体限定。

需要说明的是，触控方式通常需要基于用户触控触摸屏时产生的触控数据来确定；对于电容屏来说，触控数据通常包括屏幕电容值变化数据和屏幕坐标值变化数据，其中，屏幕电容值变化数据能够表征用户点击或滑动触摸屏时的力度，以及用户点击或滑动触摸屏时与触摸屏之间的接触面积，用户点击或滑动触摸屏的力度越大，屏幕电容值的变化幅度越大，用户点击或滑动触摸屏时与触摸屏的接触面积越大，发生变化的屏幕电容值越多；屏幕坐标值变化数据实际上也是根据屏幕电容值变化数据确定的，屏幕坐标值变化数据能够表征用户点击触摸屏时的点击位置，以及用户滑动触摸屏时的滑动方向和滑动距离；在用户触控终端设备的触摸屏时，终端设备的底层驱动会通过输入(input)子系统向终端设备的处理器上报屏幕电容值变化数据及其对应的位置坐标，通过记录连续变化的位置坐标即可确定滑动方向和滑动距离。

应理解，对于其他类型的触摸屏来说，用户触控触摸屏将相应地产生其他触控数据，例如，对于电阻屏来说，用户触控电阻屏会相应地产生屏幕电阻值变化数据和屏幕坐标值变化数据，这些数据均能相应地反映用户当前的触控方式，在此不对触控数据的具体类型做任何限定。

具体基于触控数据确定触控方式、构建训练样本时，终端设备可以在预设时间段内采集用户操控终端设备产生的触控数据；对所采集的触控数据做聚类处理生成触控数据集合，并确定触控数据集合对应的触控方式；将包括触控数据最多的触控数据集合作为目标触控数据集合，将该目标触控数据集合对应的触控方式作为目标触控方式，进而标记该目标触控方式对应的情绪状态；最终，将目标触控方式以及目标触控方式对应的情绪状态作为训练样本。

具体的，在预设时间段内用户通常会多次操控终端设备，相应地，终端设备可以采集到多个触控数据；将具有相似特征的触控数据聚类起来，例如，可以将变化幅度相似的屏幕电容值变化数据聚类到一起，将对应的点击位置相似的屏幕电容值变化数据聚类到一起，将所表征的滑动轨迹相似的屏幕坐标值变化数据聚类到一起，等等，由此得到若干个触控数据集合；进而，根据各个触控集合中触控数据的类型，相应地标记每个触控集合对应的触控方式，例如，对于由变化幅度均超过预设幅度阈值的触控数据组成的触控数据集合，可以标记其对应的触控方式为重度点击，对于由变化频率均超过预设频率阈值的触控数据组成的触控数据集合，可以标记其对应的触控方式为频繁点击，对于由变化频率均超过预设频率阈值的屏幕坐标值变化数据组成的触控数据集合，可以标记其对应的触控方式为频繁滑动，等等。

进而，确定包括有最多的触控数据的触控数据集合为目标触控数据集合，并相应地将该目标触控数据集合对应的触控方式作为目标触控方式；根据预设时间段内终端设备采集的能够表征用户的情绪状态的操作数据内容，和/或，根据情绪状态映射表中记录的触控方式与情绪状态之间的对应关系，确定目标触控方式对应的情绪状态；最终，将目标触控方式及其对应的情绪状态，作为训练样本。

应理解，在采集训练样本的过程中，通常可以通过上述方式采集到很多的目标触控方式以及对应的情绪状态，相应地，在训练情绪识别模型时，可以基于所采集的目标触控方式的类别确定情绪识别模型所能识别的触控方式，基于各目标触控方式对应的情绪状态确定情绪识别模型所能确定的情绪状态。

针对标记触控方式对应的情绪状态的实现方法，本申请提供了以下两种实现方法：

第一种方法，终端设备根据触控方式对应的触发时间，确定参考时间区间；获取该参考时间区间内用户操作终端设备生成的操作数据内容；进而，根据该操作数据内容确定用户的情绪状态，作为该触控方式对应的情绪状态。

具体的，终端设备可以确定触控方式对应的触发时间，将该触发时间作为中心点，按照预设的参考时间区间长度确定参考时间区间；此外，终端设备也可以将触控方式对应的触发时间作为起始点或终止点，按照预设的参考时间区间长度确定参考时间区间，当然，终端设备还可以采用其他方式，根据触控方式对应的触发时间确定参考时间区间，在此不对确定参考时间区间的方式做任何限定。

应理解，上述参考时间区间长度可以根据实际需求设定，在此不对该参考时间区间长度做具体限定。

确定出参考时间区间后，终端设备获取用户在该参考时间区间内操控终端设备产生的操作数据内容，该操作数据内容是用户操控该终端设备产生的相关数据内容，该操作数据内容具体可以为用户在参考时间区间内输入该终端设备的文字内容，也可以为用户在参考时间区间内输入该终端设备的语音内容，还可以为用户通过终端设备上的应用程序产生的其他操作数据内容，在此不对该操作数据内容的类型做任何限定。

获取到操作数据内容后，终端设备可以相应地通过对该操作数据内容进行分析处理，确定该操作数据内容对应的情绪状态；例如，当操作数据内容为用户输入的文字内容时，终端设备可以通过对该文字内容进行语义分析确定其的情绪状态；当操作数据内容为用户输入的语音内容时，终端设备可以通过对该语音内容进行语音识别分析确定其对应的情绪状态；当操作数据内容为其他形式的数据内容时，终端设备也可以相应地采用其他方式确定其对应的情绪状态，在此也不对确定操作数据内容对应的情绪状态的方式做任何限定。最终，将操作数据内容对应的情绪状态作为触控方式对应的情绪状态。。

应理解，当通过对预设时间段内的触控数据进行聚类处理确定目标触控方式时，可以直接将该预设时间段作为参考时间区间，进而根据该预设时间段内用户操控终端设备产生的操作数据内容，确定操作数据内容对应的情绪状态，作为目标触控方式对应的情绪状态。

需要说明的是，终端设备在获取操作数据内容之前，需要获得用户的许可权限，只有在用户允许终端设备获取操作数据内容的情况下，终端设备才可获取用户操控终端设备产生的操作数据内容，并基于所获取的操作数据内容为触控方式标记对应的情绪状态；并且，终端设备在获取到操作数据内容后，还需要加密存储所获取的操作数据内容，以保障用户的数据隐私安全。

第二种方法，终端设备调用预置的情绪状态映射关系表；该情绪状态映射关系表中记录有触控方式与情绪状态之间的对应关系；进而，在该情绪状态映射关系表中查找触控方式对应的情绪状态。

目前已有相关研究调研发现，用户触控终端设备时的触控方式与用户的情绪状态之间存在一定的映射关系，并且已经生成了一些能够反映这种映射关系的调研结果，通过整理这些已有的调研结果相应地生成情绪状态映射关系表，利用该情绪状态映射关系表记录各种触控方式与情绪状态之间的对应关系。

在获取到用户操控终端设备时的触控方式后，终端设备可以调用自身预置的该情绪状态映射关系表，进而，在该情绪状态映射关系表中查找所获取的触控方式对应的情绪状态。

应理解，当通过对预设时间段内的触控数据进行聚类处理确定目标触控方式时，可以在该情绪状态映射关系表中查找目标触控方式对应的情绪状态。

需要说明的是，采用上述第一种方法，根据用户操作终端设备产生的操作数据内容，为触控方式标记出其对应的情绪状态后，还可以进一步利用如此确定的触控方式与情绪状态之间的对应关系，对上述情绪状态映射表进行优化更新处理，以不断地丰富情绪状态映射表中记录的映射关系。

需要说明的是，在实际应用中，可以单独采用上述第一种方法或第二种方法标记触控方式对应的情绪状态，也可以将上述第一种方法与第二种方法结合起来标记触控方式对应的情绪状态，即，可以在采用第一种方法无法准确地确定触控方式对应的情绪状态时，采用第二种方法确定触控方式对应的情绪状态，也可以在采用第二种方法无法准确地确定触控方式对应的情绪状态时，采用第一种方法确定触控方式对应的情绪状态，还可以根据采用这两种方法分别确定出的情绪状态，确定触控方式对应的情绪状态。

应理解，在实际应用中，除了可以采用上述两种方法为触控方式标记情绪状态的方式外，还可以根据实际需求，选择其他的方法确定触控方式所对应的情绪状态，在此不对标记情绪状态的方法做任何限定。

需要说明的是，对于同一个用户来说，其经常表现的情绪状态基本上是特定的，在特定的情绪状态下触控终端设备所采用的触控方式也是特定的；基于上述方法采集训练样本，可以保证所采集到的训练样本中包括的触控方式大多数为用户经常采用的触控方式，触控方式对应的情绪状态也多数属于用户经常表现的情绪状态，相应地，可以保证基于这些训练样本训练得到的情绪识别模型，能更敏感地根据用户触控终端设备时经常采用的触控方式，确定用户经常表现的情绪状态。

步骤202：采用机器学习算法，利用所述训练样本对分类模型进行训练，得到情绪识别模型；所述情绪识别模型以用户操控所述终端设备时的触控方式为输入，以该触控方式对应的情绪状态为输出。

获取到用于训练情绪识别模型的训练样本后，终端设备可以采用机器学习算法，利用所获取的训练样本对预置在终端设备内的分类模型进行训练，以对该分类模型的模型参数进行不断地优化，待该分类模型满足训练结束条件后，根据该分类模型的模型结构和模型参数生成情绪识别模型。

具体训练情绪识别模型时，终端设备可以将训练样本中的触控方式输入分类模型，该分类模型通过对该触控方式进行分析处理，输出该触控方式对应的情绪状态，根据该分类模型输出的情绪状态和训练样本中触控方式对应的情绪状态构建损失函数，进而，根据该损失函数对分类模型中的模型参数进行调整，从而实现对分类模型的优化，当分类模型满足训练结束条件时，可以根据当前分类模型的模型结构和模型参数生成情绪识别模型。

具体判断分类模型是否满足训练结束条件时，可以利用测试样本对第一模型进行验证，测试样本与训练样本相类似，其中包括触控方式以及触控方式对应的情绪状态，该第一模型是利用多个训练样本对分类模型进行第一轮训练优化得到的模型；具体的，终端设备将测试样本中的触控方式输入该第一模型，利用该第一模型对触控方式进行相应地处理，得到该触控方式对应的情绪状态；进而，根据测试样本中触控方式对应的情绪状态和该第一模型输出的情绪状态计算预测准确率，当该预测准确率大于预设阈值时，即可认为第一模型的模型性能已能够满足需求，则可以根据该第一模型的模型参数以及模型结构，生成情绪识别模型。

应理解，上述预设阈值可以根据实际情况进行设定，在此不对该预设阈值做具体限定。

此外，判断分类模型是否满足训练结束条件时，还可以根据经多轮训练得到的多个模型，确定是否继续对分类模型进行训练，以获得模型性能最优的情绪识别模型。具体的，可以利用测试样本分别对经多轮训练得到的多个分类模型进行验证，若判断经各轮训练得到的模型的预测准确率之间的差距较小，则认为分类模型的性能已经没有提升空间，可以选取预测准确率最高的分类模型，根据该分类模型的模型参数和模型结构确定情绪识别模型；若经各轮训练得到的分类模型的预测准确率之间具有较大的差距，则认为该分类模型的性能还有提升的空间，可继续对该分类模型进行训练，直到获得模型性能最稳定且最优的情绪识别模型。

此外，终端设备还可以根据用户的反馈信息，确定分类模型是否满足训练结束条件。具体的，终端设备可以提示用户对正在训练的分类模型进行测试使用，并相应地反馈针对该分类模型的反馈信息，若用户针对该分类模型的反馈信息表征该分类模型目前的性能仍无法满足用户当前需求，则终端设备需要利用训练样本，对该分类模型继续进行优化训练；反之，若用户针对该分类模型的反馈信息表征该分类模型目前的性能已较好，基本满足用户当前需求，则终端设备可以根据该分类模型的模型结构和模型参数，生成情绪识别模型。

需要说明的是，用户触控终端设备的触控方式随着使用时间的增加，可能会发生改变，因此，在训练得到情绪识别模型后，终端设备还可以继续采集优化训练样本，并利用所采集的优化训练样本对情绪识别模型做进一步优化训练，以优化情绪识别模型的模型性能，使其能够更准确地根据用户的触控方式确定用户的情绪状态。

具体的，在得到情绪识别模型之后，终端设备可以继续获取用户操控终端设备时的触控方式，将其作为优化触控方式；并标记优化触控方式对应的情绪状态，具体标记情绪状态的方法可以参见步骤101中的相关描述，将优化触控方式以及优化触控方式对应的情绪状态作为优化训练样本，该优化训练样本用于对情绪识别模型做优化训练。

在一种可能的实现方式中，终端设备可以响应于用户的反馈信息，发起对情绪识别模型的优化训练。即，终端设备可以获取用户针对该情绪识别模型的反馈信息，该反馈信息用于表征该情绪识别模型的性能是否满足用户需求；在所获取的反馈信息表征情绪识别模型的性能不满足用户需求时，利用优化训练样本对该情绪识别模型进行优化训练。

具体的，终端设备可以定期发起反馈信息获取操作，例如，终端设备可以定期显示情绪识别模型反馈信息获取界面，以通过该界面获取用户针对情绪识别模型的反馈信息；当然，终端设备也可以通过其他方式获取反馈信息，在此不对反馈信息的获取方式做任何限定。

终端设备获取到反馈信息后，若确定反馈信息表征情绪识别模型当前的性能不满足用户的需求，则相应地获取优化训练样本，对该情绪识别模型做进一步优化训练；反之，若确定反馈信息表征情绪识别模型当前的性能已满足用户的需求，则暂时不对该情绪识别模型做进一步优化训练。

在另一种可能的实现方式中，终端设备可以直接在其自身处于充电状态时，和/或，在且其自身的剩余电量高于预设电量时，和/或，在其自身处于空闲状态的时长超过预设时长时，利用优化训练样本对情绪识别模型进行优化训练。

对情绪识别模型进行优化训练时需要耗费终端设备的电量，并且优化训练的过程可能会对终端设备的其他功能造成一定的影响，例如，影响终端设备上应用程序的运行速度；为了保证在不影响用户使用终端设备的情况下，对情绪识别模型及时地进行优化训练，终端设备可以在自身处于充电状态，利用优化训练样本对该情绪识别模型进行优化训练；或者，终端设备可以在其剩余电量高于预设电量时，利用优化训练样本对该情绪识别模型进行优化训练；或者，终端设备可以在其处于空闲状态的时长超过预设时长的情况下，利用优化训练样本对情绪识别模型进行优化训练，此处的空闲状态具体是指用户不使用终端设备时终端设备所处的状态；再或者，终端设备可以在满足自身处于充电状态、剩余电量高于预设电量以及空闲状态时长超过预设时长中任意两个条件或三个条件时，利用优化训练样本对情绪识别模型进行优化训练。

应理解，预设电量可以根据实际需求进行设定，在此不对预设电量的数值做具体限定；预设时长也可以根据实际需求进行设定，在此也不对预设时长的数值做具体限定。

应理解，在实际应用中，除了可以采用上述两种实现方式确定优化训练情绪识别模型的时机外，还可以根据其他条件确定优化训练情绪识别模型的时机，例如，在优化训练样本达到预设数量时即可对情绪识别模型进行优化训练，又例如，可以设置优化训练周期，按照该优化训练周期对情绪识别模型进行优化训练，在此不对确定优化训练情绪识别模型的时机的方式做任何限定。

上述本申请实施例提供的模型训练方法会针对不同的终端设备，相应地基于该终端设备的使用者操控该终端设备时的触控方式以及触控方式对应的情绪状态，采用机器学习算法训练出有针对性地适用于该终端设备的情绪识别模型；如此，在终端设备上应用针对其训练得到的情绪识别模型，可以保证该情绪识别模型能够准确地根据该终端设备的使用者操控该终端设备时的触控方式，确定使用者的情绪状态。

基于上述实施例提供的模型训练方法，可以训练得到具备较好的模型性能的情绪识别模型，基于该情绪识别模型，本申请进一步提供了一种情绪识别方法，以便更清楚地了解上述情绪识别模型在实际应用中所起的作用。下面通过实施例对本申请提供的情绪识别方法做具体介绍。

参见图3，图3为本申请实施例提供的情绪识别方法的流程示意图。如图3所示，该情绪识别方法包括以下步骤：

步骤301：获取用户操控终端设备时的触控方式。

用户操控终端设备时，终端设备会相应地获取用户的触控方式，该触控方式也可以理解为触控操作，触控操作具体可以为用户针对触摸屏发起的单步触控操作，如不同力度下的点击操作、不同力度下的滑动操作等，也可以为用户针对触摸屏发起的连续触控操作，如不同频率的连续点击操作、不同频率的连续滑动操作等，当然，用户触控触摸屏时所采用的其他触控操作也可视为本申请中的触控方式，在此不对本申请中的触控方式做具体限定。

需要说明的是，通常情况下，上述触控方式是基于终端设备所获取的触控数据确定的，即在用户操控终端设备时，终端设备会获取到用户触控触摸屏产生的触控数据，进而，基于所获取的触控数据确定触控方式。

对于电容屏来说，触控数据通常包括屏幕电容值变化数据和屏幕坐标值变化数据，其中，屏幕电容值变化数据能够表征用户点击或滑动触摸屏时的力度，以及用户点击或滑动触摸屏时与触摸屏之间的接触面积；屏幕坐标值变化数据实际上也是根据屏幕电容值变化数据确定的，屏幕坐标值变化数据能够表征用户点击触摸屏时的点击位置，以及用户滑动触摸屏时的滑动方向和滑动距离。

相应地，终端设备获取到屏幕电容值变化数据和屏幕坐标值变化数据后，即可根据其确定用户当前触控终端设备的触控方式；例如，根据屏幕电容值变化数据的变化幅度，可以确定用户当前的触控方式为重度点击或是轻度点击，根据屏幕电容值变化数据的变化频率，可以确定用户当前的触控方式是否为频繁点击，根据屏幕坐标值变化数据所表征的滑动轨迹，可以确定用户当前的触控方式为大范围滑动或是小范围滑动，根据屏幕坐标值变化数据的变化频率，可以确定用户当前的触控方式是否为频繁滑动。当然，终端设备还可以根据触控数据相应地确定出其他触控方式，上述触控方式仅为示例，在此不对触控方式做具体限定。

应理解，对于其他类型的触摸屏来说，用户触控触摸屏将相应地产生其他触控数据，例如，对于电阻屏来说，用户触控电阻屏会相应地产生屏幕电阻值变化数据和屏幕坐标值变化数据，根据这些数据均可相应地确定用户当前的触控方式，在此也不对触控数据的具体类型做任何限定。

步骤302：利用情绪识别模型确定所述触控方式对应的情绪状态，作为用户当前的情绪状态；所述情绪识别模型是执行图2所示的模型训练方法训练得到的。

终端设备获取到触控方式后，将所获取的触控方式输入至终端设备中运行的情绪识别模型，利用该情绪识别模型对所获取的触控方式进行分析处理，进而输出该触控方式对应的情绪状态，作为用户当前的情绪状态。

需要说明的是，上述情绪识别模型即为经图2所示的模型训练方法训练得到的模型，该模型在训练过程中，基于用户操控该终端设备时的触控数据和触控数据对应的情绪状态，训练得到有针对性地适用于该终端设备的情绪识别模型，该情绪识别模型能够准确地根据用户操控终端设备时的触控方式，确定用户的情绪状态。

应理解，情绪识别模型所能识别的情绪状态，取决于训练该情绪识别模型时所采用的训练样本；而训练样本中所包括的触控方式是用户操控该终端设备时的触控方式，训练样本中所包括的情绪状态是用户使用该终端设备时的情绪状态，即该训练样本完全是基于该终端设备的用户的触控方式和其表现出的情绪状态生成的。相应地，利用该训练样本训练得到的情绪识别模型，能够准确地根据该用户操控终端设备时的触控方式，确定用户当前的情绪状态，即利用该训练样本训练得到的情绪识别模型，能够敏感地根据该用户惯用的触控方式，识别出其所对应的情绪状态。

利用情绪识别模型识别出用户当前的情绪状态后，终端设备即可相应地根据所识别出的用户当前的情绪状态，为用户进一步提供个性化服务，以提高终端设备为用户带来的用户体验。

在一种可能的实现方式中，终端设备可以在其自身显示桌面界面的情况下，切换桌面界面的显示样式；例如，切换桌面界面的显示主题、显示壁纸、显示字体等。

例如，当终端设备获取到用户的触控方式为频繁地滑动触摸屏，将该触控方式输入情绪识别模型，情绪识别模型可能确定该触控方式对应的情绪状态为烦躁；此时，若终端设备显示的界面为桌面界面，终端设备则可以相应地将桌面的壁纸切换为较为明亮、令人愉悦的图片，或者，终端设备也可以更换显示主题和/或显示字体，以为用户带来愉悦的观感体验。

当然，终端设备也可以根据用户当前的情绪状态，对桌面界面上其他的显示样式进行更改，在此不对所能更改的显示样式做任何限定。

在另一种可能的实现方式中，终端设备可以在自身开启应用程序的情况下，通过该应用程序为用户推荐相关内容。

例如，假设终端设备当前开启的应用程序为音乐播放程序，相应地，若情绪识别模型根据用户的触控方式，确定用户当前的情绪状态为低落，则该音乐播放程序可以为用户推荐一些欢快的音乐，以缓解用户当前低落的情绪；或者，假设终端设备当前开启的应用程序为视频播放程序，相应地，若情绪识别模型根据用户的触控方式，确定用户当前的情绪状态为难过，则该视频播放程序可以为用户推荐一些搞笑的视频，以调节用户当前难过的情绪。当然，终端设备还可以通过其他应用程序，根据用户当前的情绪状态，相应地为用户推荐相关文字内容，例如，为用户推荐相关文章、笑话等。

在此不对能够根据用户情绪状态推荐相关内容的应用程序做任何限定，也不对应用程序所推荐的相关内容做具体限定。

应理解，除了上述两种可能的实现方式外，终端设备还可以根据实际情况，相应地采取其他方式，根据用户当前的情绪状态为其提供合理的个性化服务，例如，推荐用户进行相关可以缓解情绪的操作等等，在此不对终端设备所能提供的个性化服务做具体限定。

在本申请实施例提供的情绪识别方法中，终端设备利用针对自身训练得到的情绪识别模型，根据用户操控自身时的触控方式，确定用户当前的情绪状态。相比现有技术中常用的情绪识别方法，该方法能够利用情绪识别模型，有针对性地根据用户操控终端设备时的触控方式确定用户的情绪状态，保证所确定的情绪状态的准确性；并且，该方法在确定用户情绪状态的过程中，无需任何额外的外接设备，真正意义上实现了提高用户体验的目的。

针对上文描述的模型训练方法，本申请还提供了对应的模型训练装置，以使上述模型训练方法在实际中的应用以及实现。

参见图4，图4为本申请实施例提供的一种模型训练装置的结构示意图；如图4所示，该模型训练装置包括：

训练样本获取模块401，用于获取用户操控终端设备时的触控方式，标记所述触控方式对应的情绪状态；将所述触控方式以及所述触控方式对应的情绪状态，作为训练样本；

模型训练模块402，用于采用机器学习算法，利用所述训练样本对分类模型进行训练，得到情绪识别模型；所述情绪识别模型以用户操控所述终端设备时的触控方式为输入，以该触控方式对应的情绪状态为输出。

具体实现时，训练样本获取模块401具体可以用于执行步骤201中的方法，具体请参考图2所示的方法实施例中对步骤201部分的描述；模型训练模块402具体可以用于执行步骤202中的方法，具体请参考图2所示的方法实施例中对步骤202部分的描述，此处不再赘述。

可选的，所述训练样本获取模块401具体用于：

根据所述触控方式对应的触发时间，确定参考时间区间；

具体实现时，训练样本获取模块401可以参考图2所示的实施例中关于确定触控方式对应的情绪状态的相关内容的描述。

可选的，所述训练样本获取模块401具体用于：

可选的，所述触控数据包括：屏幕电容值变化数据及坐标值变化数据。

可选的，所述装置还包括：

具体实现时，优化训练样本获取模块可以参考图2所示的实施例中关于获取优化训练样本的相关内容的描述。

可选的，所述装置还包括：

具体实现时，反馈信息获取模块以及第一优化训练模块具体可以参考图2所示的实施例中关于对情绪识别模型进行优化训练的相关内容的描述。

可选的，所述装置还包括：

上述本申请实施例提供的模型训练装置会针对不同的终端设备，相应地基于该终端设备的使用者操控该终端设备时的触控方式以及触控方式对应的情绪状态，采用机器学习算法训练出有针对性地适用于该终端设备的情绪识别模型；如此，在终端设备上应用针对其训练得到的情绪识别模型，可以保证该情绪识别模型能够准确地根据该终端设备的使用者操控该终端设备时的触控方式，确定使用者的情绪状态。

针对上文描述的情绪识别方法，本申请还提供了对应的情绪识别装置，以使上述情绪识别方法在实际中的应用以及实现。

参见图5，图5为本申请实施例提供的一种情绪识别装置的结构示意图；如图5所示，该情绪识别装置包括：

触控方式获取模块501，用于获取用户操控终端设备时的触控方式；

情绪状态识别模块502，用于利用情绪识别模型确定所述触控方式对应的情绪状态，作为用户当前的情绪状态；所述情绪识别模型是执行图2所述的模型训练方法训练得到的。

具体实现时，触控方式获取模块501具体可以用于执行步骤301中的方法，具体请参考图3所示的方法实施例中对步骤301部分的描述；情绪状态识别模块502具体可以用于执行步骤302中的方法，具体请参考图3所示的方法实施例中对步骤302部分的描述，此处不再赘述。

可选的，所述装置还包括：

具体实现时，显示样式切换模块具体可以参考图3所示的实施例中关于切换桌面界面显示样式的相关内容的描述。

可选的，所述装置还包括：

具体实现时，内容推荐模块具体可以参考图3所示的实施例中关于通过应用程序推荐相关内容的描述。

在本申请实施例提供的情绪识别装置中，终端设备利用针对自身训练得到的情绪识别模型，根据用户操控自身时的触控方式，确定用户当前的情绪状态。该装置能够利用情绪识别模型，有针对性地根据用户操控终端设备时的触控方式确定用户的情绪状态，保证所确定的情绪状态的准确性；并且，该装置在确定用户情绪状态的过程中，无需任何额外的外接设备，真正意义上实现了提高用户体验的目的。

本申请还提供了一种用于训练模型的服务器；参见图6，图6是本申请实施例提供的一种用于训练模型的服务器结构示意图，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在服务器600上执行存储介质630中的一系列指令操作。

服务器600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图6所示的服务器结构。

其中，CPU 622用于执行如下步骤：

获取用户操控终端设备时的触控方式，标记所述触控方式对应的情绪状态；将所述触控方式以及所述触控方式对应的情绪状态，作为训练样本；

采用机器学习算法，利用所述训练样本对分类模型进行训练，得到情绪识别模型；所述情绪识别模型以用户操控所述终端设备时的触控方式为输入，以该触控方式对应的情绪状态为输出。

可选的，CPU622还可以执行本申请实施例中模型训练方法任一具体实现方式的方法步骤。

需要说明的是，采用图6所示的服务器训练情绪识别模型时，服务器需要与终端设备进行通讯，以从终端设备处获取训练样本，应理解，来自不同的终端设备的训练样本应该相应地配置其对应的终端设备的标识，以便服务器的CPU622可以利用来自同一终端设备的训练样本，采用本申请实施例提供的模型训练方法训练适用于该终端设备的情绪识别模型。

本申请实施例还提供了另一种用于训练模型以及识别情绪的电子设备(该电子设备可以为上文所述的终端设备)，用于执行本申请实施例提供的模型训练方法，训练适用于自身的情绪识别模型；和/或，执行本申请实施例提供的情绪识别方法，利用所训练的情绪识别模型，根据用户操控自身的触控方式，相应地识别用户当前的情绪状态。

图7示出了上述电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system ，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触控操作。触摸传感器可以将检测到的触控操作传递给应用处理器，以确定触控方式。可以通过显示屏194提供与触控操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备 100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图8是本发明实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图8所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图8所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。

当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。

本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的模型训练方法中的任意一种实施方式，和/或情绪识别方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的模型训练方法中的任意一种实施方式，和/或情绪识别方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-Only Memory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

一种模型训练方法，其特征在于，所述方法包括：

获取用户操控终端设备时的触控方式，标记所述触控方式对应的情绪状态；将所述触控方式以及所述触控方式对应的情绪状态，作为训练样本；

采用机器学习算法，利用所述训练样本对分类模型进行训练，得到情绪识别模型；所述情绪识别模型以用户操控所述终端设备时的触控方式为输入，以该触控方式对应的情绪状态为输出。
根据权利要求1所述的方法，其特征在于，所述标记所述触控方式对应的情绪状态，包括：

根据所述触控方式对应的触发时间，确定参考时间区间；

获取所述参考时间区间内用户操作所述终端设备生成的操作数据内容；

根据所述操作数据内容确定用户的情绪状态，作为所述触控方式对应的情绪状态。
根据权利要求1所述的方法，其特征在于，所述标记所述触控方式对应的情绪状态，包括：

调用预置的情绪状态映射关系表；所述情绪状态映射关系表中记录有触控方式与情绪状态之间的对应关系；

查找所述情绪状态映射关系表，确定所述触控方式对应的情绪状态。
根据权利要求1至3任一项所述的方法，其特征在于，所述获取用户操控终端设备时的触控方式，标记所述触控方式对应的情绪状态；将所述触控方式以及所述触控方式对应的情绪状态，作为训练样本，包括：

在预设时间段内，采集用户操控所述终端设备产生的触控数据；

对所述触控数据做聚类处理生成触控数据集合，确定所述触控数据集合对应的触控方式；

将包括触控数据最多的触控数据集合作为目标触控数据集合，将所述目标触控数据集合对应的触控方式作为目标触控方式；标记所述目标触控方式对应的情绪状态；

将所述目标触控方式以及所述目标触控方式对应的情绪状态，作为训练样本。
根据权利要求4所述的方法，其特征在于，所述触控数据包括：屏幕电容值变化数据及坐标值变化数据。
根据权利要求1所述的方法，其特征在于，在得到所述得到情绪识别模型之后，所述方法还包括：

获取用户操控所述终端设备时的触控方式，作为优化触控方式；标记所述优化触控方式对应的情绪状态；将所述优化触控方式和所述优化触控方式对应的情绪状态，作为优化训练样本；所述优化训练样本用于对所述情绪识别模型进行优化训练。
根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取用户针对所述情绪识别模型的反馈信息；所述反馈信息用于表征所述情绪识别模型的性能是否满足用户需求；

在所述反馈信息表征所述情绪识别模型的性能不满足用户需求时，利用所述优化训练样本对所述情绪识别模型进行优化训练。
根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述终端设备处于充电状态时，和/或，在所述终端设备的剩余电量高于预设电量时，和/或，在所述终端设备处于空闲状态的时长超过预设时长时，利用所述优化训练样本对所述情绪识别模型进行优化训练。
一种情绪识别方法，其特征在于，所述方法包括：

获取用户操控终端设备时的触控方式；

利用情绪识别模型确定所述触控方式对应的情绪状态，作为用户当前的情绪状态；所述情绪识别模型是执行权利要求1至8任一项所述的模型训练方法训练得到的。
根据权利要求9所述的方法，其特征在于，所述方法还包括：

在所述终端设备显示桌面界面的情况下，根据所述用户当前的情绪状态，切换所述桌面界面的显示样式。
根据权利要求9所述的方法，其特征在于，所述方法还包括：

在所述终端设备开启应用程序的情况下，根据所述用户当前的情绪状态，通过所述应用程序推荐相关内容。
一种模型训练装置，其特征在于，所述装置包括：

训练样本获取模块，用于获取用户操控终端设备时的触控方式，标记所述触控方式对应的情绪状态；将所述触控方式以及所述触控方式对应的情绪状态，作为训练样本；

模型训练模块，用于采用机器学习算法，利用所述训练样本对分类模型进行训练，得到情绪识别模型；所述情绪识别模型以用户操控所述终端设备时的触控方式为输入，以该触控方式对应的情绪状态为输出。
根据权利要求12所述的装置，其特征在于，所述训练样本获取模块具体用于：

根据所述触控方式对应的触发时间，确定参考时间区间；

获取所述参考时间区间内用户操作所述终端设备生成的操作数据内容；

根据所述操作数据内容确定用户的情绪状态，作为所述触控方式对应的情绪状态。
根据权利要求12所述的装置，其特征在于，所述训练样本获取模块具体用于：

调用预置的情绪状态映射关系表；所述情绪状态映射关系表中记录有触控方式与情绪状态之间的对应关系；

查找所述情绪状态映射关系表，确定所述触控方式对应的情绪状态。
根据权利要求12至14任一项所述的装置，其特征在于，所述训练样本获取模块具体用于：

在预设时间段内，采集用户操控所述终端设备产生的触控数据；

对所述触控数据做聚类处理生成触控数据集合，确定所述触控数据集合对应的触控方式；

将包括触控数据最多的触控数据集合作为目标触控数据集合，将所述目标触控数据集合对应的触控方式作为目标触控方式；标记所述目标触控方式对应的情绪状态；

将所述目标触控方式以及所述目标触控方式对应的情绪状态，作为训练样本。
根据权利要求15所述的装置，其特征在于，所述触控数据包括：屏幕电容值变化数据及坐标值变化数据。
根据权利要求12所述的装置，其特征在于，所述装置还包括：

优化训练样本获取模块，用于获取用户操控所述终端设备时的触控方式，作为优化触控方式；标记所述优化触控方式对应的情绪状态；将所述优化触控方式和所述优化触控方式对应的情绪状态，作为优化训练样本；所述优化训练样本用于对所述情绪识别模型进行优化训练。
根据权利要求17所述的装置，其特征在于，所述装置还包括：

反馈信息获取模块，用于获取用户针对所述情绪识别模型的反馈信息；所述反馈信息用于表征所述情绪识别模型的性能是否满足用户需求；

第一优化训练模块，用于在所述反馈信息表征所述情绪识别模型的性能不满足用户需求时，利用所述优化训练样本对所述情绪识别模型进行优化训练。
根据权利要求17所述的装置，其特征在于，所述装置还包括：

第二优化训练模块，用于在所述终端设备处于充电状态时，和/或，在所述终端设备的剩余电量高于预设电量时，和/或，在所述终端设备处于空闲状态的时长超过预设时长时，利用所述优化训练样本对所述情绪识别模型进行优化训练。
一种情绪识别装置，其特征在于，所述装置包括：

触控方式获取模块，用于获取用户操控终端设备时的触控方式；

情绪状态识别模块，用于利用情绪识别模型确定所述触控方式对应的情绪状态，作为用户当前的情绪状态；所述情绪识别模型是执行权利要求1至8任一项所述的模型训练方法训练得到的。
根据权利要求20所述的装置，其特征在于，所述装置还包括：

显示样式切换模块，用于在所述终端设备显示桌面界面的情况下，根据所述用户当前的情绪状态，切换桌面界面的显示样式。
根据权利要求20所述的装置，其特征在于，所述装置还包括：

内容推荐模块，用于在所述终端设备开启应用程序的情况下，根据所述用户当前的情绪状态，通过所述应用程序推荐相关内容。
一种电子设备，其特征在于，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1至8任一项所述的模型训练方法，和/或，执行权利要求9至11任一项所述的情绪识别方法。
一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至8任一项所述的模型训练方法，和/或，执行权利要求9至11任一项所述的情绪识别方法。