WO2019205642A1 - 基于情绪识别的安抚方法、装置、系统、计算机设备以及计算机可读存储介质 - Google Patents

Abstract

一种基于情绪识别的安抚方法包括：获取用户的语音和图像中的至少一个；根据所述用户的语音和图像中的至少一个判断所述用户是否情绪异常；响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，对所述用户进行情绪安抚。还提供了一种装置、设备以及存储介质。

Description

基于情绪识别的安抚方法、装置、系统、计算机设备以及计算机可读存储介质 技术领域

本公开实施例涉及一种基于情绪识别的安抚方法、装置、系统、计算机设备以及计算机可读存储介质。

背景技术

在一些不宜出现情绪波动的场景中，例如驾驶汽车等场景，由于各种情况的出现，司机和其它乘坐人员还是难以避免的会出现情绪波动。

当车内的司机及其他乘坐人员，在行车过程中往往会出现各种情绪变化时，如生气、厌恶、恐惧、悲伤等情绪，如果情绪控制不好，就很可能因情绪产生一些不恰当的举动，容易给行车带来安全隐患。

发明内容

根据本公开至少一个实施例，提供了一种基于情绪识别的安抚方法，包括：获取用户的语音和图像中的至少一个；根据所述用户的语音和图像中的至少一个判断所述用户是否情绪异常；响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，对所述用户进行情绪安抚。

例如，所述获取用户的语音和图像中的至少一个包括：采集所述用户的语音和图像中的至少一个，并确定所采集的用户在交通工具上的乘坐位置；所述响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚包括：根据所述用户的情绪和乘坐位置确定安抚方式，对所述用户进行情绪安抚。

例如，所述根据所述用户的情绪和乘坐位置确定安抚方式，对所述用户进行情绪安抚，包括：根据所述采集的所述用户的图像获取用户的性别和年龄；根据所述用户的情绪、性别、年龄和乘坐的位置， 选择至少一种安抚方式对所述用户进行情绪安抚。

例如，所述响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，对所述用户进行情绪安抚包括：根据用户设置的安抚方式喜好，向用户提供与该用户当前设置的安抚方式喜好匹配的安抚方式。

例如，所述响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，对所述用户进行情绪安抚包括：响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，向用户展示与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。

例如，方法还包括：将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至服务器。

例如，根据用户登录交通工具的用户标识，获取所述用户设置的所述安抚方式喜好和/或音视频娱乐资源喜好。

例如，所述根据用户的情绪、性别、年龄和/或用户乘坐位置，选择至少一种安抚方式对该用户进行情绪安抚，包括：将用户的情绪、性别、年龄、用户乘坐的位置发送至服务器；接收服务器根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，推送的安抚方式；从所述服务器推送的安抚方式中，选择至少一种安抚方式对该用户进行情绪安抚。

例如，获取用户的语音和图像中的至少一个包括：通过位于交通工具上的定向麦克风进行语音特征采集，根据所述用户的语音和图像中的至少一个判断所述用户是否情绪异常包括：通过深度学习训练出的语言特征模型、语言字典库或图像模型进行情感识别，以确定所述用户是否情绪异常。

例如，所述乘坐位置包括驾驶位置和非驾驶位置，所述根据所述用户的情绪和/或乘坐位置确定安抚方式，对所述用户进行情绪安抚包括：对于在驾驶位置上的用户，通过音频和语音交互方法进行安抚；对于非驾驶位置上的用户，通过视频、音频及语音交互方法进行安抚。

例如，对于所述驾驶位置，在交通工具后视镜上设置定向麦克风、摄像头和/或声音输出单元，所述定向麦克风、摄像头和/或声音输出单 元分别向交通工具两侧车门方向部署，以供所述驾驶位置用户进行定向语音采集、图像采集及定向声音输出；对于所述非驾驶位置，在非驾驶位置座位上方、并且相对于所述非驾驶位置第一角度部署定向麦克风、摄像头及声音输出单元，以供所述非驾驶位置用户进行定向语音采集、图像采集及定向语音输出。

根据本公开至少一个实施例，提供了一种基于情绪识别的安抚装置，其中，包括：获取设备，被配置为获取用户的语音和图像中的至少一个；判断设备，被配置为根据所述用户的语音和图像中的至少一个判断所述用户是否情绪异常；安抚设备，被配置为响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚。

根据本公开至少一个实施例，提供了一种基于情绪识别的安抚系统，包括：中心控制器和至少一个终端设备，其中，终端设备，被配置为采集用户的语音和图像中的至少一个，将用户当前的情绪发送给所述中心控制器，根据中心控制器发送的安抚方式对用户进行情绪安抚；中心控制器，被配置为接收所述终端设备发送的用户当前的情绪，根据用户的情绪确定安抚方式，并将安抚方式发送给所述终端设备。

例如，所述中心控制器进一步被配置为：根据用户的情绪、发送用户当前的情绪的终端设备的位置确定安抚方式，并将安抚方式发送给所述终端设备。

例如，所述终端设备还被配置为：根据所述采集的用户的图像判断用户的性别和年龄，并发送给中心控制器；所述中心控制器被配置为：根据用户的情绪、性别、年龄、发送用户当前的情绪的终端设备的位置，选择至少一种安抚方式并发送给所述终端设备。

例如，所述终端设备还被配置为：接收用户设置的安抚方式喜好，并发送给中心控制器；所述中心控制器根据用户的情绪确定安抚方式，包括：根据用户设置的安抚方式喜好，确定与该用户当前设置的安抚方式喜好匹配的安抚方式。

例如，所述终端设备还被配置为：接收用户设置的音视频娱乐资源喜好，并发送给中心控制器；所述中心控制器根据用户的情绪确定 安抚方式，包括：响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，确定与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。

例如，所述中心控制器根据用户标识以及对应该用户标识的历史记录确定所述音视频娱乐资源。

根据本公开至少一个实施例，提供了一种设备，包括处理器和存储器；其中：所述存储器包含可由所述处理器执行的指令以使得所述处理器执行前述方法。

根据本公开至少一个实施例，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述方法。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本公开实施例提供的基于情绪识别的安抚方法流程图；

图2为本公开实施例提供的基于情绪识别的安抚系统结构示意图；

图3为本公开实施例提供的具有云服务器的基于情绪识别的安抚系统结构示意图；

图4为本公开实施例提供的喜好定义的数据结构示意图；

图5为本公开实施例提供的基于情绪识别的安抚装置结构示意图；

图6为本公开实施例提供的基于情绪识别的安抚设备结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与 发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，本公开实施例提供的基于情绪识别的安抚方法，包括：

步骤S101、获取用户的语音和/或图像；

步骤S102、根据用户的语音和/或图像判断用户是否情绪异常；

步骤S103、响应于用户情绪异常，根据用户的情绪确定安抚方式，并对该用户进行情绪安抚。

由于通过该方法，可以及时识别出用户的情绪，并及时对用户进行安抚，从而实现在用户出现情绪异常时，及时获得安抚，避免用户在情绪异常时，给行车或其它操作带来安全隐患。

步骤S101中，可以直接通过摄像头拍摄图像、直接从麦克风采集语音，也可以通过有线或无线的通信连接，接收其它设备发送的语音和/或图像。

进一步，该方法应用在汽车中时，可以参考用户的乘坐位置来确定安抚方式，此时，步骤S101，获取用户的语音和/或图像，例如包括：

采集所述用户的语音和/或图像，并确定所采集的用户的乘坐位置；

步骤S103，响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚，例如包括：

根据用户的情绪、乘坐的位置确定安抚方式，对用户进行情绪安抚。

参考用户的乘坐位置来确定安抚方式，可以将驾驶位和非驾驶位的安抚方式区别开，从而向用户提供更有效的安抚，例如，对于驾驶位的用户，就不宜采用播放视频的方式进行安抚。

还可以进一步参考用户的性别、年龄，选择更适合用户当前性别和年龄的安抚方式对用户进行安抚，从而提高用户的体验，此时，根据用户的情绪、用户乘坐的位置确定安抚方式，对情绪异常的用户进 行情绪安抚，例如包括：

获取用户的图像；

根据用户的图像获取用户的性别和年龄；

根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚。

在本公开实施例中，用户的情绪例如包括如下之一或组合：

愤怒、疲劳、晕车感、厌恶、恐惧、悲伤；

安抚方式包括如下之一或组合：

语音交互、音视频娱乐、播放行车建议。

为更有针对性的对用户进行有效安抚，可以进一步根据用户的喜好来选择安抚方式和/或安抚资源，此时，该方法还包括：

根据用户设置的安抚方式喜好，向用户提供与该用户当前设置的安抚方式喜好匹配的安抚方式。和/或

响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，向用户展示与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。

用户在乘坐时，可以手动登录，也可以通过人脸识别进行登录，根据登录的用户标识，即可获取用户曾经设置的安抚方式喜好和/或音视频娱乐资源喜好，进而为用户提供更精准的服务。

更进一步，还可以在接收到用户设置的安抚方式喜好和/或音视频娱乐资源喜好后，将用户标识以及用户的设置的安抚方式喜好和/或音视频娱乐资源喜好发送至云服务器，由云服务器进行存储和统计，当有未进行喜好设置的用户需要进行安抚时，云服务器可以根据统计数据和用户的性别、年龄等资料，推送适合该用户的安抚内容。

此时，根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚，例如包括：

将用户的情绪、性别、年龄、用户乘坐的位置发送至云服务器；

接收云服务器根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，推送的安抚方式；

从云服务器推送的安抚方式中，选择至少一种安抚方式对该用户进行情绪安抚。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

对于应用在汽车内的场景，或者应用在其它具有多个用户的场景中时，可以设置至少一个终端设备和一个中心控制器，从而节省硬件成本，终端设备设置在对应用户的位置上，用来进行音频视频采集和实施安抚，中心控制器则用来确定安抚方式和安抚资源。中心控制器例如是服务器。

例如，如图2所示，本公开实施例还提供一种基于情绪识别的安抚系统，包括：中心控制器201和至少一个终端设备202，例如，

终端设备202，用于采集用户的语音和/或图像，根据用户的语音和/或图像确定用户当前的情绪异常，并将用户当前的情绪发送给中心控制器，根据中心控制器发送的安抚方式对用户进行情绪安抚；

中心控制器201，用于接收终端设备发送的用户当前的情绪，根据用户的情绪确定安抚方式，并将安抚方式发送给终端设备。

进一步，中心控制器201例如用于：

根据用户的情绪、发送用户当前的情绪的终端设备202的位置确定安抚方式，并将安抚方式发送给终端设备202。

更进一步，终端设备202还用于：

采集用户的图像；

根据用户的图像判断用户的性别和年龄，并发送给中心控制器201。

中心控制器201例如用于：

根据用户的情绪、性别、年龄、发送用户当前的情绪的终端设备202的位置，选择至少一种安抚方式并发送给终端设备202。

通常，用户的情绪例如包括如下之一或组合：

愤怒、疲劳、晕车感、厌恶、恐惧、悲伤。

安抚方式包括如下之一或组合：

语音交互、音视频娱乐、播放行车建议。

进一步，终端设备202还用于：

接收用户设置的安抚方式喜好和/或音视频娱乐资源喜好，并发送给中心控制器201；

中心控制器201根据用户的情绪确定安抚方式，例如包括：

根据用户设置的安抚方式喜好，确定与该用户当前设置的安抚方式喜好匹配的安抚方式。和/或

响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，准备与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。

进一步，如图3所示，该系统中还包括云服务器203，

中心控制器201还用于：

将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至云服务器203。

更进一步，中心控制器201根据用户的情绪确定安抚方式，例如包括：

将用户的情绪、性别、年龄、用户乘坐的位置发送至云服务器203；

接收云服务器203推送的安抚方式，并从云服务器203推送的安抚方式中，选择至少一种安抚方式；

云服务器203用于，接收中心控制器201发送的用户的情绪、性别、年龄、用户乘坐的位置，根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，确定至少一种安抚方式，并推送给中心控制器201。

例如，在本公开一个例如的应用在汽车内的实施例中，可以将进行音频视频采集、进行安抚的终端设备设置在车辆中对应座位的位置，各个终端设备通过有线或者无线方式连接中心控制器，中心控制器负 责确定安抚方式、安抚资源以及与云服务器的交互，中心控制器也可以负责根据语音和/或图像进行情感识别。也可以是在车辆中对应座位的位置都设置一个能够完全实现基于情绪识别的安抚方法的设备，每个设备独立完成对应座位的用户的情绪判断和安抚。

当采用终端设备和中心控制器的方式时，通过部署在各乘车位置上的终端设备，进行定向语音特征提取。例如，可以避免背景语音对相应位置语音特征的影响，对应的语音特征通过经过深度学习和迁移学习训练的语言模型进行情感识别，识别出生气、厌恶、恐惧、悲伤情感变化；例如，可以通过部署在各位置上的定向麦克进行语音特征采集，并通过深度学习及迁移学习训练出的语言特征模型及语言字典库进行情感识别，识别出相应位置的乘车人的生气、厌恶、恐惧、悲伤情感的变化，并将识别结果传输到中心控制器；

通过终端设备中的视觉识别，也可以经过深度学习和迁移学习训练的图像模型进行情感识别，识别出生气、厌恶、恐惧、悲伤情感变化；

通过终端设备中的视觉识别，还可以识别出对应位置乘车人的年龄段及性别，例如，根据部署在各乘车位置的摄像头，提取乘车人员的脸部特征，基于人脸识别模型进行年龄段和性别的识别，并把对应的识别结果传输到中心控制器；

中心控制器根据情感识别结果和视觉识别结果确定安抚方法，并将本地端及云服务端的安抚资源推送到对应的终端设备，由该终端设备呈现给用户进行安抚。例如，根据乘车位置ID、情感类型、乘车人的年龄段和性别，进行安抚方式准备，并将本地端和云服务端的安抚资源推送至乘车位置端的情绪安抚模块；

中心控制器在确定安抚方式时，可以针对用户在车内的位置进行情感管理，确定是否使用该情绪变化对应的安抚方式，在管理过程中对驾驶位置及非驾驶位置的情感管理侧重点不同，在驾驶位置对疲劳产生恐惧感，及路怒症产生的愤怒情感比较侧重，对非驾驶位置乘车人的晕车产生的厌恶感及乘车前产生的生气情感及会影响驾驶员的驾驶安全的愤怒感比较侧重；

各终端设备的安抚方法通过自定义或爱好收集方式产生，安抚方法可以通过音视频播放或语音建议方式对安抚方法进行实施。

终端设备还为该位置乘车人提供喜好定义接口，喜好定义可以根据生气、厌恶、恐惧、悲伤四类进行资源选择，资源可以根据云服务端的情感安抚资源管理列表及资源自定方式进行喜好定义，喜好定义的数据结构如图4所示。

在进行情绪安抚时，由部署在乘车位置上终端设备对推送来的情绪安抚方法进行实施，如在驾驶位置上可以根据驾驶位置的用户的喜好数据进行情绪安抚，该位置上只有音频和语音交互的安抚方法，例如，语音交互除了人机语言交互还可以进行远程人员的语音交互；非驾驶位置则可以提供视频、音频及语音交互方法。

中心控制器可以进一步将各终端设备收集的用户喜好发送至云服务器；中心控制器也可以根据行车过程中驾驶位置及非驾驶位置的人员的年龄段及性别的情绪变化进行权重统计，并进行安抚方法及安抚方法中喜好资源的本地部署，从而在有用户进行安抚时，有针对性的对用户实现安抚。

云服务器主要进行数据分析及数据管理，数据管理根据车内驾驶位置及非驾驶位置来创建该车辆的情感类型与安抚方式、安抚资源对应关系的数据库，根据乘车人员的喜好交互数据进行数据分析，分析过程中根据乘车次数及乘车位置产生的情感类型及性别及年龄段为维度，进行安抚方法及安抚方法的资源的分析，以供安抚方法的自动选择。

对于终端设备中，定向麦克风、摄像头、声音输出单元、视频输出单元的布置，可以采用如下方式：

对于主驾驶及副驾驶，可以在后视镜上设置定向麦克风、摄像头、声音输出单元，后视镜上的两套定向麦克风、摄像头、声音输出单元分别向两侧车门方向部署，以便供定向语音采集、图像采集及定向声音输出。

在后排位置的座位，可以在座位正上方设置以对应位置为中心的30度角部署定向麦克风、摄像头及声音输出单元，以供后排位置乘车 人员的定向语音采集、图像采集及定向语音输出。

针对后排位置，在对应的前排座椅后背部署视频输出单元。

麦克风、摄像头、声音输出单元、视频输出单元通过独立的硬件处理模块完成相应功能，麦克风、摄像头、声音输出单元、视频输出单元可以通过串口向中心控制器发送数据，声音输出单元、视频输出单元可以通过网口接收中心控制器传输的安抚方式中的音视频数据。中心控制器可以与车载系统的中控系统合并设置，实现终端设备的管理、安抚方式管理及资源的喜好管理，并建立各终端设备与云服务端的数据路由。

各终端设备通过各位置的定向语音采集模块进行语言特征提取，并通过部署在各终端设备中语音情感识别模型进行情感识别；各终端设备根据视觉识别模块进行乘车人员的脸部识别，识别出各位置的乘车人员的年龄段及性别，终端设备将语音情感识别及视觉识别结果传输到中心控制器。

各乘车人可以在对应的终端设备上设置安抚方式喜好，终端设备将设置的安抚方式喜好发送至中心控制器，中心控制器进行云服务端的资源申请及云服务端的资源同步；中心控制器根据语音情感识别及视觉识别结果及用户的喜好，确定安抚方式和安抚资源，并发送给终端设备。

本公开实施例还提供一种基于情绪识别的安抚装置，安抚装置与前述安抚方法对应，具体实施例参见前述安抚方法的实施例。如图5所示，包括：

获取设备501，用于获取用户的语音和/或图像。

判断设备502，用于根据用户的语音和/或图像判断所述用户是否情绪异常。

安抚设备503，用于响应于用户情绪异常，根据用户的情绪确定安抚方式，并对用户进行情绪安抚。

上述单元可以通过软件的方式实现，也可以通过硬件的方式来实现。例如，本公开实施例中的单元或模块可以通过通用处理器或专用处理器来实现，例如，中央处理器，可编程逻辑电路。

进一步，获取设备501例如用于：

采集所述用户的语音和/或图像，并确定所采集的用户的乘坐位置。

安抚设备503例如用于：

根据用户的情绪、用户乘坐的位置确定安抚方式，对用户进行情绪安抚。

安抚设备503根据用户的情绪、用户乘坐的位置确定安抚方式，对情绪异常的用户进行情绪安抚，例如包括：

获取所述用户的图像。

根据用户的图像判断用户的性别和年龄。

根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚。

通常，用户的情绪例如包括如下之一或组合：

愤怒、疲劳、晕车感、厌恶、恐惧、悲伤。

安抚方式包括如下之一或组合：

语音交互、音视频娱乐、播放行车建议。

进一步，安抚设备503还用于：

根据用户设置的安抚方式喜好，向用户提供与该用户当前设置的安抚方式喜好匹配的安抚方式。和/或

响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，向用户展示与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。

更进一步，安抚设备503还用于：

将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至云服务器。

更进一步，安抚设备503根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚，例如包括：

将用户的情绪、性别、年龄、用户乘坐的位置发送至云服务器。

接收云服务器根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年 龄、用户乘坐的位置，推送的安抚方式。

从云服务器推送的安抚方式中，选择至少一种安抚方式对该用户进行情绪安抚。

应当理解，该装置中记载的诸单元或模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于该装置及例如包含的单元，在此不再赘述。该装置可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。该装置中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

下面参考图6，其示出了适于用来实现本申请实施例的基于情绪识别的安抚设备的计算机系统的结构示意图，该设备可以例如为终端设备或中心控制器，也可以例如为终端设备和中心控制器合并设置的设备。

如图6所示，计算机系统包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

例如，为减少硬件成本，中心控制器也可以不包括输入部分606和输出部分607。

特别地，根据本公开的实施例，上文参考图1描述的过程可以被 实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括XX单元、YY单元以及ZZ单元。例如，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，XX单元还可以被描述为“用于XX的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限 于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

本申请要求于2018年4月24日递交的中国专利申请第201810371545.1号的优先权，在此全文引用上述中国专利申请公开的内容以作为本申请的一部分。

Claims (20)

1. 一种基于情绪识别的安抚方法，包括：

   获取用户的语音和图像中的至少一个；

   根据所述用户的语音和图像中的至少一个判断所述用户是否情绪异常；

   响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，对所述用户进行情绪安抚。
2. 如权利要求1所述的方法，其中，所述获取用户的语音和图像中的至少一个包括：

   采集所述用户的语音和图像中的至少一个，并确定所采集的用户在交通工具上的乘坐位置；

   所述响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚包括：

   根据所述用户的情绪和乘坐位置确定安抚方式，对所述用户进行情绪安抚。
3. 如权利要求2所述的方法，其中，所述根据所述用户的情绪和乘坐位置确定安抚方式，对所述用户进行情绪安抚，包括：

   根据所述采集的所述用户的图像获取用户的性别和年龄；

   根据所述用户的情绪、性别、年龄和乘坐的位置，选择至少一种安抚方式对所述用户进行情绪安抚。
4. 如权利要求1-3任一所述的方法，其中，所述响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，对所述用户进行情绪安抚包括：

   根据用户设置的安抚方式喜好，向用户提供与该用户当前设置的安抚方式喜好匹配的安抚方式。
5. 如权利要求1-4任一所述的方法，其中，所述响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，对所述用户进行情绪安抚包括：

   响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，向用户展示与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
6. 如权利要求4或5所述的方法，其中，还包括：

   将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至服务器。
7. 根据权利要求4-6任一所述的方法，其中，根据用户登录交通工具的用户标识，获取所述用户设置的所述安抚方式喜好和/或音视频娱乐资源喜好。
8. 如权利要求3-7任一所述的方法，其中，所述根据用户的情绪、性别、年龄和/或用户乘坐位置，选择至少一种安抚方式对该用户进行情绪安抚，包括：

   将用户的情绪、性别、年龄、用户乘坐的位置发送至服务器；

   接收服务器根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，推送的安抚方式；

   从所述服务器推送的安抚方式中，选择至少一种安抚方式对该用户进行情绪安抚。
9. 根据权利要求1-8任一所述的方法，其中，

   获取用户的语音和图像中的至少一个包括：

   通过位于交通工具上的定向麦克风进行语音特征采集，

   根据所述用户的语音和图像中的至少一个判断所述用户是否情绪异常包括：

   通过深度学习训练出的语言特征模型、语言字典库或图像模型进行情感识别，以确定所述用户是否情绪异常。
10. 根据权利要求2-9任一所述的方法，其中，所述乘坐位置包括驾驶位置和非驾驶位置，

    所述根据所述用户的情绪和/或乘坐位置确定安抚方式，对所述用户进行情绪安抚包括：

    对于在驾驶位置上的用户，通过音频和语音交互方法进行安抚；

    对于非驾驶位置上的用户，通过视频、音频及语音交互方法进行安抚。
11. 根据权利要求10所述的方法，其中，

    对于所述驾驶位置，在交通工具后视镜上设置定向麦克风、摄像头和/或声音输出单元，所述定向麦克风、摄像头和/或声音输出单元分别向交通工具两侧车门方向部署，以供所述驾驶位置用户进行定向语音采集、图像采集及定向声音输出；

    对于所述非驾驶位置，在非驾驶位置座位上方、并且相对于所述非驾驶位置第一角度部署定向麦克风、摄像头及声音输出单元，以供所述非驾驶位置用户进行定向语音采集、图像采集及定向语音输出。
12. 一种基于情绪识别的安抚装置，其中，包括：

    获取设备，被配置为获取用户的语音和图像中的至少一个；

    判断设备，被配置为根据所述用户的语音和图像中的至少一个判断所述用户是否情绪异常；

    安抚设备，被配置为响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚。
13. 一种基于情绪识别的安抚系统，包括：中心控制器和至少一个终端设备，其中，

    终端设备，被配置为采集用户的语音和图像中的至少一个，将用户当前的情绪发送给所述中心控制器，根据中心控制器发送的安抚方式对用户进行情绪安抚；

    中心控制器，被配置为接收所述终端设备发送的用户当前的情绪，根据用户的情绪确定安抚方式，并将安抚方式发送给所述终端设备。
14. 如权利要求13所述的系统，其中，所述中心控制器进一步被配置为：

    根据用户的情绪、发送用户当前的情绪的终端设备的位置确定安抚方式，并将安抚方式发送给所述终端设备。
15. 如权利要求13或14所述的系统，其中，所述终端设备还被配置为：

    根据所述采集的用户的图像判断用户的性别和年龄，并发送给中 心控制器；

    所述中心控制器被配置为：

    根据用户的情绪、性别、年龄、发送用户当前的情绪的终端设备的位置，选择至少一种安抚方式并发送给所述终端设备。
16. 如权利要求13-15任一所述的系统，其中，所述终端设备还被配置为：

    接收用户设置的安抚方式喜好，并发送给中心控制器；

    所述中心控制器根据用户的情绪确定安抚方式，包括：

    根据用户设置的安抚方式喜好，确定与该用户当前设置的安抚方式喜好匹配的安抚方式。
17. 如权利要求13-16任一所述的系统，其中，所述终端设备还被配置为：

    接收用户设置的音视频娱乐资源喜好，并发送给中心控制器；

    所述中心控制器根据用户的情绪确定安抚方式，包括：

    响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，确定与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
18. 如权利要求17任一所述的系统，其中，所述中心控制器根据用户标识以及对应该用户标识的历史记录确定所述音视频娱乐资源。
19. 一种计算机设备，包括处理器和存储器；其中：

    所述存储器包含可由所述处理器执行的指令以使得所述处理器执行如权利要求1-11任一所述的方法。
20. 一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-11任一所述的方法。

Images