WO2019090698A1 - 人机交互方法及装置、终端、计算机可读存储介质 - Google Patents

Abstract

一种人机交互方法及装置、终端、计算机可读存储介质，其中，方法包括：获取用户的输入信号（S101）；根据所述输入信号与系统动作的映射关系获取所述输入信号对应的系统动作（S102）；执行所述系统动作，并根据用户对所述系统动作的反馈优化系统动作（S103）；实现用户与系统交互的过程中，直接由系统根据输入信号执行相关的系统动作，无需用户逐个查找应用的位置，并打开相关应用，进行应用的操作，提高了用户与电子设备的系统之间的交互效率。

Description

人机交互方法及装置、 终端、 计算机可读存储介质 技术领域

[0001] 本发明属于人机交互技术领域， 尤其涉及一种人机交互方法及装置、 终端、 计 算机可读存储介质。

背景技术

[0002] 随着半导体技术的发展， 芯片的集成度和处理能力都得到了极大提高， 为桌面 电脑、 笔记本、 智能手机及可穿戴设备等电子设备的发展奠定了基础， 使得电 子设备能够进行更多且更复杂的处理和操作。 例如， 安装较多的本地应用， 存 储较大的本地数据， 接入更多的外设。

[0003] 但是， 在电子设备的功能应用不断丰富的同吋， 也导致用户使用该电子设备吋 ， 常出现找不到相关应用的位置， 以及文件存储位置的情况。 特别是在可穿戴 等小型电子设备不具备大屏显示吋， 将严重影响用户与电子设备的交互效率。 技术问题

[0004] 有鉴于此， 本发明实施例提供一种人机交互方法及装置、 终端、 计算机可读存 储介质， 能够解决用户与电子设备的交互效率低的问题。

问题的解决方案

技术解决方案

[0005] 本发明实施例的第一方面提供了一种人机交互方法， 包括：

[0006] 获取用户的输入信号；

[0007] 根据所述输入信号与系统动作的映射关系获取所述输入信号对应的系统动作； [0008] 执行所述系统动作， 并根据用户对所述系统动作的反馈优化系统动作。

[0009] 本发明实施例的第二方面提供了一种人机交互装置， 包括：

[0010] 输入模块， 用于获取用户的输入信号；

[0011] 分析模块， 用于根据所述输入信号与系统动作的映射关系获取所述输入信号对 应的系统动作；

[0012] 执行模块， 用于执行所述系统动作， 并根据用户对所述系统动作的反馈优化系 统动作。

[0013] 本发明实施例的第三方面提供了一种终端， 包括存储器、 处理器以及存储在所 述存储器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算 机程序吋实现上述方法的步骤。

[0014] 本发明实施例的第四方面提供了一种计算机可读存储介质， 所述计算机可读存 储介质存储有计算机程序， 所述计算机程序被处理器执行吋实现上述方法的步 骤。

发明的有益效果

有益效果

[0015] 本发明实施例中， 通过获取用户的输入信号对应的系统动作， 并由系统执行所 述系统动作， 实现用户与系统之间的交互； 使得用户与电子设备的系统进行交 互吋无需逐个査找应用的位置， 并打幵相关应用， 直接由系统根据输入信号执 行相关的系统动作， 使得用户与电子设备的系统之间的交互更加灵活便捷； 解 决了现有技术中， 由于电子设备的功能应用较多， 导致用户无法快速找到相关 应用的位置及文件存储位置的问题； 提高了用户与电子设备的交互效率。 另外 ， 本发明通过根据用户对所述系统动作的反馈优化系统动作， 使得所述人机交 互过程能够适配每一个具体用户， 更进一步地提高了用户的交互效率， 尤其是 在移动电子设备的芯片逐渐向支持人工智能相关算法本地运行的趋势下， 在本 地根据用户习惯和反馈优化系统后台设置， 更具有实用意义。

对附图的简要说明

附图说明

[0016] 为了更清楚地说明本发明实施例的技术方案， 下面将对实施例中所需要使用的 附图作简单地介绍， 应当理解， 以下附图仅示出了本发明的某些实施例， 因此 不应被看作是对范围的限定， 对于本领域普通技术人员来讲， 在不付出创造性 劳动的前提下， 还可以根据这些附图获得其他相关的附图。

[0017] 图 1是本发明实施例提供的一种人机交互方法的实现流程图；

[0018] 图 2是本发明实施例提供的建立映射模型的实现流程图；

[0019] 图 3是本发明实施例提供的一种人机交互装置的结构示意图； [0020] 图 4是本发明实施例提供的一种终端结构框图。

本发明的实施方式

[0021] 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例 ， 对本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用 以解释本发明， 并不用于限定本发明。 所描述的实施例仅仅是本发明一部分实 施例， 而不是全部的实施例。 通常在此处附图中描述和示出的本发明实施例的 组件可以以各种不同的配置来布置和设计。 因此， 以下对在附图中提供的本发 明的实施例的详细描述并非旨在限制要求保护的本发明的范围， 而是仅仅表示 本发明的选定实施例。 基于本发明的实施例， 本领域技术人员在没有做出创造 性劳动的前提下所获得的所有其他实施例， 都属于本发明保护的范围。

[0022] 图 1示出了本发明实施例提供的一种人机交互方法的实现流程图， 包括步骤 S10 1至步骤 S103。

[0023] S101， 获取用户的输入信号。

[0024] 具体地， 所述用户的输入信号是指用户通过不同输入方式输入的信号。

[0025] 在本发明的一些实施方式中， 所述获取用户的输入信号包括： 获取用户通过文 字、 语音、 点击触摸屏、 肢体动作、 人脸图像和脑波中的一种或多种输入的输 入信号。 例如， 所述点击触摸屏输入包括通过记录用户在触摸屏上的点击操作 、 触摸手势或滑动手势， 获取所述输入信号， 所述肢体动作输入包括通过记录 用户的手势获取所述输入信号。

[0026] 所述脑波输入包括利用体外传感器、 头戴式人工智能设备、 皮下植入的传感器 获得脑波信号， 再通过分析所述脑波信号的频率、 微弱电流和磁场获取用户的 相关脑活动情况。 所述脑活动情况即为通过脑波输入的输入信号。

[0027] S102, 根据所述输入信号与系统动作的映射关系获取所述输入信号对应的系统 动作。

[0028] 在本发明的一些实施方式中， 在获取了用户通过不同方式输入的输入信号后， 需要对所述输入信号进行分析处理， 获取用户意图后， 再根据所述输入信号对 应的用户意图与系统动作的映射关系获取所述用户意图对应的系统动作。 [0029] 具体地， 所述对所述输入信号进行分析处理， 获取用户意图包括： 用自然语言 处理技术 （Natural Language Processing, NLP) 处理所述输入信号， 获取用户意 图； 和 /或利用系统预置所述输入信号与用户意图的对应关系， 获取用户意图； 和 /或通过人脸图像识别分析以及脑波分析所述输入信号， 获取用户意图； 和 /或 利用映射模型获取所述输入信号对应的用户意图； 再根据所述用户意图与系统 动作的映射关系获取所述用户意图对应的系统动作。

[0030] 其中， 所述自然语言处理技术， 通过对用户输入的自然语言进行处理， 使得计 算机能够识别所述自然语言对应的用户意图。 例如， 对中文自然语言的处理包 括： 分词、 泛化、 消歧、 命名实体识别、 实体链接、 意图识别、 情感识别、 槽 填充等处理步骤， 所述分词是指将一句汉语句子分成多个词组， 由于中文的语 句是由词构成句， 每个词中间无空格， 因此需要进行分词处理， 以便计算机识 别所述自然语言对应的用户意图。 泛化是指对所述词组进行同义词处理， 或针 对不同语序 （用词） 表示相同意图的情况； 所述槽填充是指针对多轮对话， 让 计算机记忆并跟踪历史对话信息。 所述 NLP技术已被广泛运用于智能音箱、 智能 电视、 智能机器人等产品中。

[0031] 需要说明的是， 所述利用自然语言处理技术处理所述输入信号， 获取用户意图 ， 还包括： 获取用户历史输入信号， 用以调整所述自然语言处理技术的处理过 程， 利用调整后的所述自然语言处理技术处理所述输入信号， 获取用户意图。 即根据用户的输入习惯， 使得所述 NLP的处理过程能够适配每一个具体用户。 所 述用户历史输入信号指用户每次输入的输入信号。

[0032] 所述利用系统预置所述输入信号与用户意图的对应关系获取用户意图包括： 提 取所述用户文字、 语音、 点击触摸屏、 肢体动作、 人脸图像和脑波中的一种或 多种输入的输入信号的特征值信号， 将所述特征值信号与预先定义的用户意图 匹配， 获取用户意图。

[0033] 所述通过人脸图像识别分析所述输入信号获取用户意图包括： 利用人脸识别技 术分析用户输入的人脸图像特征值信号， 将所述人脸图像特征值信号与预先定 义的用户意图匹配， 获取用户意图。

[0034] 所述通过脑波分析所述输入信号获取用户意图包括： 获取脑波信号， 分析所述 脑波信号的频率、 微弱电流和磁场获取用户的相关脑活动情况， 将所述相关脑 活动情况与预先定义的用户意图匹配， 获取用户意图。

[0035] 在本发明的一些实施方式中， 所述获取用户意图还包括， 系统直接预设用户行 为、 表情、 脑波与用户意图之间的映射关系， 将用户新输入的行为、 表情、 脑 波， 对比其与系统预设的用户行为、 表情、 脑波的相似度， 完成从用户输入行 为、 表情、 脑波到用户意图的映射。 其中， 所述用户行为包括用户的肢体动作 ， 所述表情对应所述人脸图像。

[0036] 在本发明的一些实施方式中， 所述获取用户意图还包括： 利用映射模型获取用 户意图。

[0037] 如图 2示出了建立映射模型获取用户意图的实现流程图， 具体包括 S201至步骤 S 202。

[0038] 在 S201中， 预先获取用户通过文字、 语音、 点击触摸屏、 肢体动作、 人脸图像 和脑波中的一种或多种输入的样本输入信号， 及所述样本输入信号对应的用户 意图样本数据； 并获取影响所述样本输入信号与所述用户意图样本数据对应关 系的参数数据。

[0039] 其中， 所述影响所述输入信号与所述用户意图对应的参数数据包括吋间。 性别

、 年齢、 婚姻状况等参数数据。

[0040] 在 S202中， 将所述样本输入信号、 所述用户意图样本数据及所述参数数据作为 机器学习的样本数据， 进行训练， 获得所述输入信号与所述用户意图的映射模 型。 再利用所述映射模型分析所述输入信号， 获取所述输入信号对应的用户意 图。

[0041] 同样地， 需要说明的是， 所述利用所述映射模型分析所述输入信号， 获取所述 输入信号对应的用户意图的过程中， 还包括： 获取用户历史输入信号， 优化所 述映射模型。 具体地， 包括分析所述用户历史输入信号， 获取用户多次重复输 入的数据， 优化所述映射模型。 其中， 所述用户多次重复输入的数据蕴含用户 的输入习惯。 所述优化所述映射模型， 使得所述映射模型能够适配每一个具体 用户。 又例如， 将用户多次重复输入的数据作为新样本数据， 训练所述映射模 型， 使得所述映射模型针对每一个具体用户进行优化。 [0042] 在本发明的一些实施方式中， 将所述用户意图划分为査询请求、 服务请求、 社 交请求、 音视频播放请求、 工具应用请求、 指令操作请求和系统设置请求。 并 将根据所述用户意图与系统动作的映射关系获取所述用户意图对应的系统动作 划分为以下 7类对应关系。

[0043] 当所述用户意图为査询请求吋， 其对应的系统动作包括打幵搜索引擎为用户提 供査询服务， 或者通过知识图谱向用户反馈査询结果。

[0044] 具体地， 所述査询请求一般包括用户的査询目的， 例如， 用户想获取某一事物 的相关知识内容吋， 则用户的用户意图对应的系统动作即为希望系统打幵搜索 引擎， 以使用户能够进行査询。

[0045] 优选地， 当所述用户意图为査询请求吋， 直接通过知识图谱向用户反馈査询结 果， 提高用户的査询效率。

[0046] 需要说明的是， 所述知识图谱 （Knowledge Graph) 是指以图的方式存储知识 的知识库， 包括实体和实体关系， 所述实体对应现实世界的事物， 所述实体关 系对应所述知识图谱中的边， 所述实体对应所述知识图谱中的点。

[0047] 当所述用户意图为服务请求吋， 其对应的系统动作包括与用户进行需求交互， 获取所述服务请求对应的需求信息， 根据所述需求信息利用第三方应用为用户 提供所述服务请求对应的服务； 所述服务请求对应的服务包括机票预订服务、 酒店预订服务、 餐饮预订服务等。 本领域技术人员知晓， 所述服务请求对应的 服务还可以包括其他服务， 例如， 鲜花预定服务等， 此处只是举例说明， 不表 示为对本发明的限制。

[0048] 具体地， 所述与用户进行需求交互， 获取所述服务请求对应的需求信息是指： 当所述服务请求为某种具体的服务吋， 通过与用户进行交互， 获取该具体服务 对应的具体需求， 为用户提供相应的服务。

[0049] 例如， 当所述服务请求对应的服务为机票预订服务， 则所述服务请求对应的需 求信息包括： 起飞吋间、 起飞地点、 目的地、 搭乘成员信息， 是否往返及其他 需求信息； 当所述服务请求对应的服务为酒店预订服务， 则所述服务请求对应 的需求信息包括： 入住吋间、 退房吋间、 入住地点、 入住人数、 房型要求及其 他需求信息； 当所述服务请求对应的服务为酒店预订服务， 则所述服务请求对 应的需求信息包括： 用餐吋间、 用餐地点、 用餐人数及其他需求信息。 从而为 用户提供符合需求的服务。

[0050] 当所述用户意图为社交请求吋， 其对应的系统动作包括打幵所述社交请求对应 的社交应用， 并为用户提供社交服务。

[0051] 其中， 所述社交请求对应的社交应用包括微信、 QQ、 电话拨打、 短信发送等 社交应用。 并且， 所述社交请求包括设定格式， 例如， 打电话给 +姓名、 发短信 / 微信 /QQ给 +姓名等社交请求， 系统根据所述社交请求打幵对应的社交应用， 并 为用户提供社交服务。 需要说明的是， 所述社交请求对应的社交应用还可以包 括其他应用， 例如， 电视直播、 微博、 短视频发送、 朋友圈发送等； 另外， 所 述社交请求的设定格式也还可以包括其他设定格式， 此处只是举例说明， 不表 示为对本发明的限制。

[0052] 当所述用户意图为音视频播放请求吋， 其对应的系统动作包括打幵音视频播放 应用， 根据用户的音视频播放请求播放目标音视频。

[0053] 所述音视频播放请求包括设定的格式， 例如， 播放 +目标音频或视频的名称、 播放 +姓名的 +歌曲名、 播放 +新闻名称、 播放财经新闻、 播放 +地名的新闻等音 视频播放请求。

[0054] 当所述用户意图为工具应用请求吋， 其对应的系统动作包括调用相应的应用工 具， 执行应用工具的设置和记录操作； 所述应用工具包括记事本工具和闹钟工 具。 例如， 所述工具应用请求为调用闹钟设定 "明天早上 8点提醒我吃药"， 或者 调用记事本"把我今天很幵心记到记事本 "等， 执行对应应用工具的设置和记录操 作。

[0055] 当所述用户意图为指令操作请求吋， 其对应的系统动作包括执行所述指令操作 请求对应的指令操作， 所述指令操作包括打幵应用。 例如， 所述指令操作请求 为打幵 +应用名称， 系统按照用户意图打幵相应应用。

[0056] 当所述用户意图为系统设置请求吋， 其对应的系统动作包括根据所述系统设置 请求进行系统参数设置， 所述系统参数设置包括系统调用应用的优先级设置。 例如， 设置搜狗、 谷歌、 百度等搜索引擎的优先级， 使得系统能够根据所述搜 索引擎的优先级执行査询请求对应的系统动作。 [0057] 在 S103中， 执行所述系统动作， 并根据用户对所述系统动作的反馈优化系统动 作。

[0058] 在本发明的一些实施方式中， 所述根据用户对所述系统动作的反馈优化系统动 作包括： 根据用户对所述系统动作的反馈调整所述系统动作的优先级； 以及， 统计用户历史输入信号对应的用户意图和用户对该用户意图对应的系统动作的 反馈， 推理用户需求， 并根据该用户需求更新所述输入信号对应的系统动作。 以提高用户的交互效率。

[0059] 其中， 所述根据用户对所述系统动作的反馈调整所述系统动作的优先级是指用 户在交互过程中， 对系统动作的反馈， 导致的系统动作的优先级调整。 例如， 当用户意图为査询请求吋， 用户将系统打幵的百度搜索引擎关闭， 重新打幵谷 歌搜索引擎进行信息査询吋， 则将调用所述百度搜索引擎的优先级降低， 提高 所述谷歌搜索引擎的优先级。

[0060] 需要说明的是， 当系统未对系统动作进行优先级设置吋， 所述系统还可以根据 用户需求自动调用同一类型的多个应用分别执行相应的系统动作， 例如， 当用 户意图为査询请求吋， 系统分别打幵百度搜索弓 I擎和谷歌搜索弓 I擎进行信息査 询， 并分别显示信息査询结果。 从而提高用户的交互效率。

[0061] 在本发明的一些实施方式中， 所述根据用户对所述系统动作的反馈调整所述系 统动作的优先级包括： 对同一类型的应用设置分值； 根据用户对系统动作的反 馈调整所述分值； 根据所述分值设置应用调用的优先级， 在执行系统动作吋， 调用优先级高的应用。 也就是说， 系统每次调用第三方应用吋， 按照分值从高 到底进行调用。 当用户频繁地对某一第三方应用提供的服务表示不满意而选择 另一同类第三方应用提供的服务吋， 则调高被选择应用的分值， 调低被否定应 用的分值。

[0062] 其中， 所述根据所述分值设置应用调用的优先级可以包括： 当同一类型的第三 方应用的数量为 n吋， 所述第一优先级的分值 delta=l， 第二优先级的分值 delta= (n-1) /n， 第三优先级的分值 delta= (n-2) /n， ...， 最后一个优先级的分值 delta = l/n， 每调高一次第三方应用的分值为在原来分值的基础上增加 l/n， 系统在同 一优先级的第三方应用吋， 依据随机调用的原则进行第三方应用的调用。 [0063] 在本发明的实施方式中， 所述调用应用的方式还可以包括利用机器学习和树搜 索等方式进行调用。

[0064] 需要说明的是， 当用户对同一类型的应用的分值进行变更吋， 若用户变更的分 值对应的第三方应用的优先级的排序与用户的使用习惯不符， 则提醒用户其分 值变更不符合其使用习惯， 若用户仍要调整， 则按照用户设定的分值对第三方 应用的优先级进行设置。 以提高用户的交互效率。

[0065] 所述统计用户历史输入信号对应的用户意图和用户对该用户意图对应的系统动 作的反馈， 推理用户需求， 并根据该用户需求更新所述输入信号对应的系统动 作是指： 在与用户进行需求交互吋， 记录用户的需求信息， 并根据所述需求信 息进行用户需求的推理。 例如， 通过用户订餐、 预定机票、 预定房间等习惯， 推理用户的居住情况， 如： 住址、 工作地址、 是否独居、 有无子女等； 当用户 预定工作日的机票吋， 系统推断用户是出差， 而用户预定节假日的机票吋可以 推断用户是旅游， 此吋系统对用户家庭情况的推理可以自动填充预定的人数。 以提高用户的交互效率。

[0066] 本发明实施例另一方面还提供一种人机交互装置 300， 如图 3所示， 包括： 输入 模块 301、 分析模块 302和执行模块 303。

[0067] 分析模块 302， 用于根据所述输入信号与系统动作的映射关系获取所述输入信 号对应的系统动作；

[0068] 执行模块 303， 用于执行所述系统动作， 并根据用户对所述系统动作的反馈优 化系统动作。

[0069] 需要说明的是， 各模块的执行顺序并不是线性的， 例如所述分析模块分析用户 意图后， 若发现用户意图不明确， 则可能需要与用户进行信息交互， 例如对用 户进行进一步的反问或追问， 由所述输入模块再次获取所述用户的输入信号， 以便确定用户意图。 另外， 即使用户意图明确， 若用户提供的需求信息不全面 ， 仍需要与用户进行信息交互， 例如对用户进行进一步的反问或追问， 由所述 输入模块再次获取所述用户的输入信号， 以便确定用户需求。

[0070] 本实施例提供的一种人机交互装置 300中各单元实现各自功能的过程， 具体可 参考前述人机交互方法的描述， 此处不再赘述。 [0071] 图 4是本发明实施例提供的一种终端的示意图。 如图 4所示， 该实施例的终端 4 包括： 处理器 40、 存储器 41以及存储在所述存储器 41中并可在所述处理器 40上 运行的计算机程序 42， 例如人机交互程序。 所述处理器 40执行所述计算机程序 4 2吋实现上述各个人机交互方法实施例中的步骤， 例如图 1所示的步骤 101至 103 。 或者， 所述处理器 40执行所述计算机程序 42吋实现上述各装置实施例中各模 块 /单元的功能， 例如图 3所示模块 301至 303的功能。

[0072] 所述计算机程序 42可以被分割成一个或多个模块 /单元， 所述一个或者多个模 块 /单元被存储在所述存储器 41中， 并由所述处理器 40执行， 以完成本发明。 所 述一个或多个模块 /单元可以是能够完成特定功能的一系列计算机程序指令段， 该指令段用于描述所述计算机程序 42在所述终端 4中的执行过程。 例如， 所述计 算机程序 42可以被分割成输入模块、 分析模块和执行模块， 各模块具体功能如 下： 输入模块， 用于获取用户的输入信号； 分析模块， 用于根据所述输入信号 与系统动作的映射关系获取所述输入信号对应的系统动作； 执行模块， 用于执 行所述系统动作， 并根据用户对所述系统动作的反馈优化系统动作。

[0073] 所述人机交互装置可以是桌上型计算机、 笔记本、 掌上电脑及云端服务器等计 算设备。 所述人机交互装置可包括， 但不仅限于， 处理器 40、 存储器 41。 本领 域技术人员可以理解， 图 4仅仅是终端 4的示例， 并不构成对终端 4的限定， 可以 包括比图示更多或更少的部件， 或者组合某些部件， 或者不同的部件， 例如所 述人机交互装置还可以包括输入输出设备、 网络接入设备、 总线等。

[0074] 所称处理器 40可以是中央处理单元 (Central Processing Unit, CPU) , 还可以是其 他通用处理器、 数字信号处理器（Digital Signal Processor, DSP)、 现成可编程门 阵列（Field-Programmable Gate Array , FPGA). 或者其他可编程逻辑器件、 分立 门或者晶体管逻辑器件、 分立硬件组件， 又或者支持人工智能算法在本地运行 的芯片： 图形计算单元 （Graphics Processing Unit

， GPU) 、 张量处理单元 （Tensor Processing Unit,

TPU) 、 分支处理单元 (Branch Processing Unit, BPU) 等。 通用处理器可以是 微处理器或者该处理器也可以是任何常规的处理器等。

[0075] 所述存储器 41可以是所述终端 4的内部存储单元， 例如人机交互装置的硬盘或 内存。 所述存储器 41也可以是所述终端 4的外部存储设备， 例如所述终端 4上配 备的插接式硬盘， 智能存储卡 （Smart Media Card, SMC) ， 安全数字 （Secure Digital, SD) 卡， 闪存卡 （Flash Card) 等， 以及分布式存储和云存储设备等。 进 一步地， 所述存储器 41还可以既包括所述终端 4的内部存储单元也包括外部存储 设备。 所述存储器 41用于存储所述计算机程序以及所述终端 4所需的其他程序和 数据。 所述存储器 41还可以用于暂吋地存储已经输出或者将要输出的数据。

[0076] 所属领域的技术人员可以清楚地了解到， 为了描述的方便和简洁， 仅以上述各 功能单元、 模块的划分进行举例说明， 实际应用中， 可以根据需要而将上述功 能分配由不同的功能单元、 模块完成， 即将所述装置的内部结构划分成不同的 功能单元或模块， 以完成以上描述的全部或者部分功能。 实施例中的各功能单 元、 模块可以集成在一个处理单元中， 也可以是各个单元单独物理存在， 也可 以两个或两个以上单元集成在一个单元中， 上述集成的单元既可以采用硬件的 形式实现， 也可以采用软件功能单元的形式实现。 另外， 各功能单元、 模块的 具体名称也只是为了便于相互区分， 并不用于限制本发明的保护范围。 上述系 统中单元、 模块的具体工作过程， 可以参考前述方法实施例中的对应过程， 在 此不再赘述。

[0077] 在上述实施例中， 对各个实施例的描述都各有侧重， 某个实施例中没有详述或 记载的部分， 可以参见其它实施例的相关描述。

[0078] 本领域普通技术人员可以意识到， 结合本文中所公幵的实施例描述的各示例的 单元及算法步骤， 能够以电子硬件、 或者计算机软件和电子硬件的结合来实现 。 这些功能究竟以硬件还是软件方式来执行， 取决于技术方案的特定应用和设 计约束条件。 专业技术人员可以对每个特定的应用来使用不同方法来实现所描 述的功能， 但是这种实现不应认为超出本发明的范围。

[0079] 在本发明所提供的实施例中， 应该理解到， 所揭露的装置 /终端设备和方法， 可以通过其它的方式实现。 例如， 以上所描述的装置 /终端设备实施例仅仅是示 意性的， 例如， 所述模块或单元的划分， 仅仅为一种逻辑功能划分， 实际实现 吋可以有另外的划分方式， 例如多个单元或组件可以结合或者可以集成到另一 个系统， 或一些特征可以忽略， 或不执行。 另一点， 所显示或讨论的相互之间 的耦合或直接耦合或通讯连接可以是通过一些接口， 装置或单元的间接耦合或 通讯连接， 可以是电性， 机械或其它的形式。

[0080] 所述作为分离部件说明的单元可以是或者也可以不是物理上分幵的， 作为单元 显示的部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可 以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部单元 来实现本实施例方案的目的。

[0081] 另外， 在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可 以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中。 上述集成的单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式 实现。

[0082] 所述集成的模块 /单元如果以软件功能单元的形式实现并作为独立的产品销售 或使用吋， 可以存储在一个计算机可读取存储介质中。 基于这样的理解， 本发 明实现上述实施例方法中的全部或部分流程， 也可以通过计算机程序来指令相 关的硬件来完成， 所述的计算机程序可存储于一计算机可读存储介质中， 该计 算机程序在被处理器执行吋， 可实现上述各个方法实施例的步骤。 其中， 所述 计算机程序包括计算机程序代码， 所述计算机程序代码可以为源代码形式、 对 象代码形式、 可执行文件或某些中间形式等。 所述计算机可读介质可以包括： 能够携带所述计算机程序代码的任何实体或装置、 记录介质、 U盘、 移动硬盘、 磁碟、 光盘、 计算机存储器、 只读存储器 （ROM, Read-Only Memory) 、 随机 存取存储器 （RAM, Random Access Memory) 、 电载波信号、 电信信号以及软 件分发介质等。 需要说明的是， 所述计算机可读介质包含的内容可以根据司法 管辖区内立法和专利实践的要求进行适当的增减， 例如在某些司法管辖区， 根 据立法和专利实践， 计算机可读介质不包括电载波信号和电信信号。

[0083] 以上所述实施例仅用以说明本发明的技术方案， 而非对其限制； 尽管参照前述 实施例对本发明进行了详细的说明， 本领域的普通技术人员应当理解： 其依然 可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进 行等同替换； 而这些修改或者替换， 并不使相应技术方案的本质脱离本发明各 实施例技术方案的精神和范围， 均应包含在本发明的保护范围之内。

Claims

权利要求书

[权利要求 1] 一种人机交互方法， 其特征在于， 包括：

获取用户的输入信号；

根据所述输入信号与系统动作的映射关系获取所述输入信号对应的系 统动作；

执行所述系统动作， 并根据用户对所述系统动作的反馈优化系统动作

[权利要求 2] 如权利要求 1所述的方法， 其特征在于， 所述获取用户的输入信号， 包括：

获取用户通过文字、 语音、 点击触摸屏、 肢体动作、 人脸图像和脑波 中的一种或多种输入的输入信号。

[权利要求 3] 如权利要求 1或 2所述的方法， 其特征在于， 所述根据所述输入信号与 系统动作的映射关系获取所述输入信号对应的系统动作， 包括： 对所述输入信号进行分析处理， 获取用户意图； 根据所述用户意图与系统动作的映射关系获取所述用户意图对应的系 统动作；

其中， 对所述输入信号进行分析处理， 获取用户意图， 包括： 利用自然语言处理技术处理所述输入信号， 获取用户意图； 和 /或利 用系统预置所述输入信号与用户意图的对应关系， 获取用户意图； 和 /或通过人脸图像识别分析以及脑波分析所述输入信号， 获取用户意 图； 和 /或利用映射模型获取所述输入信号对应的用户意图。

[权利要求 4] 如权利要求 3所述的方法， 其特征在于， 所述利用自然语言处理技术 处理所述输入信号， 获取用户意图， 包括：

获取用户历史输入信号， 调整所述自然语言处理技术的处理过程， 利 用调整后的所述自然语言处理技术处理所述输入信号， 获取用户意图

[权利要求 5] 如权利要求 3所述的方法， 其特征在于， 所述利用映射模型获取所述 输入信号对应的用户意图， 还包括： 预先获取用户通过文字、 语音、 点击触摸屏、 肢体动作、 人脸图像和 脑波中的一种或多种输入的样本输入信号， 及所述样本输入信号对应 的用户意图样本数据； 并获取影响所述样本输入信号与所述用户意图 样本数据对应关系的参数数据；

将所述样本输入信号、 所述用户意图样本数据及所述参数数据作为机 器学习的样本数据， 进行训练， 获得所述输入信号与所述用户意图的 映射模型。

[权利要求 6] 如权利要求 5所述的方法， 其特征在于， 该方法还包括：

获取用户历史输入信号， 优化所述映射模型。

[权利要求 7] 如权利要求 3至 6所述的方法， 其特征在于， 所述根据所述用户意图与 系统动作的映射关系获取所述用户意图对应的系统动作， 包括： 将所述用户意图划分为査询请求、 服务请求、 社交请求、 音视频播放 请求、 工具应用请求、 指令操作请求和系统设置请求；

当所述用户意图为査询请求吋， 其对应的系统动作包括打幵搜索引擎 为用户提供査询服务， 或者通过知识图谱向用户反馈査询结果； 当所述用户意图为服务请求吋， 其对应的系统动作包括与用户进行需 求交互， 获取所述服务请求对应的需求信息， 根据所述需求信息利用 第三方应用为用户提供所述服务请求对应的服务； 所述服务请求对应 的服务包括机票预订服务、 酒店预订服务和餐饮预订服务； 当所述用户意图为社交请求吋， 其对应的系统动作包括打幵所述社交 请求对应的社交应用， 并为用户提供社交服务； 当所述用户意图为音视频播放请求吋， 其对应的系统动作包括打幵音 视频播放应用， 根据用户的音视频播放请求播放目标音视频； 当所述用户意图为工具应用请求吋， 其对应的系统动作包括调用相应 的应用工具， 执行应用工具的设置和记录操作； 所述应用工具包括记 事本工具和闹钟工具；

当所述用户意图为指令操作请求吋， 其对应的系统动作包括执行所述 指令操作请求对应的指令操作， 所述指令操作包括打幵应用； 当所述用户意图为系统设置请求吋， 其对应的系统动作包括根据所述 系统设置请求进行系统参数设置， 所述系统参数设置包括系统调用应 用的优先级设置。

[权利要求 8] 如权利要求 1至 7所述的方法， 其特征在于， 所述根据用户对所述系统 动作的反馈优化系统动作， 包括：

根据用户对所述系统动作的反馈调整所述系统动作的优先级； 和 /或 统计用户历史输入信号对应的用户意图， 及用户对该用户意图对应的 系统动作的反馈， 推理用户需求， 并根据该用户需求更新所述输入信 号对应的系统动作。

[权利要求 9] 如权利要求 8所述的方法， 其特征在于， 所述根据用户对所述系统动 作的反馈调整所述系统动作的优先级包括：

对同一类型的应用设置分值；

根据用户对系统动作的反馈调整所述分值；

根据所述分值设置应用调用的优先级， 在执行系统动作吋， 调用优先 级高的应用。

[权利要求 10] —种人机交互装置， 其特征在于， 包括：

输入模块， 用于获取用户的输入信号；

分析模块， 用于根据所述输入信号与系统动作的映射关系获取所述输 入信号对应的系统动作；

执行模块， 用于执行所述系统动作， 并根据用户对所述系统动作的反 馈优化系统动作。

[权利要求 11] 一种终端， 包括存储器、 处理器以及存储在所述存储器中并可在所述 处理器上运行的计算机程序， 其特征在于， 所述处理器执行所述计算 机程序吋实现如权利要求 1至 9任一项所述方法的步骤。

[权利要求 12] —种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程 序， 其特征在于， 所述计算机程序被处理器执行吋实现如权利要求 1 至 9任一项所述方法的步骤。