WO2018032126A1 - 人机交互辅助方法及装置 - Google Patents
人机交互辅助方法及装置 Download PDFInfo
- Publication number
- WO2018032126A1 WO2018032126A1 PCT/CN2016/000512 CN2016000512W WO2018032126A1 WO 2018032126 A1 WO2018032126 A1 WO 2018032126A1 CN 2016000512 W CN2016000512 W CN 2016000512W WO 2018032126 A1 WO2018032126 A1 WO 2018032126A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- control instruction
- human
- execution device
- execution
- parsing
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000009471 action Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Definitions
- the step of generating a corresponding second control instruction according to the first control instruction includes:
- FIG. 8 is a third schematic flowchart of a human-computer interaction assisting method according to an embodiment of the present invention.
- Human-computer interaction aid 100 Human-computer interaction aid 110 First control instruction acquisition module 111 Parsing module 112 Second control instruction generation module 113 Second control command sending module 114 Memory 120 processor 130 Communication unit 140 Execution equipment 200 The internet 300
- FIG. 2 is a block schematic diagram of the human-machine interaction assisting device 100 shown in FIG. 1.
- Place The human-machine interaction assisting device 100 includes a human-machine interaction assisting device 110, a memory 120, a processor 130, and a communication unit 140.
- the human-machine interaction assisting device 100 parses the first control instruction by using a voice recognition model and/or a semantic analysis model.
- the speech recognition model includes, but is not limited to, a hidden Markov (HMM) model and an artificial neural network model;
- the semantic analysis model includes, but is not limited to, a lexical dependency (WD) model, a concept dependent (CD) model, and Core Save (KD) model.
- the method may further include step S130.
- Sub-step S215 the human-machine interaction assistance device 100 acquires interaction information between different users, or between the user and the execution device 200, or between the execution devices 200;
- the embodiment further provides a human-machine interaction auxiliary device 110, which is applied to the human-machine interaction auxiliary device 100 connected to the at least one execution device 200, and the device includes:
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种人机交互辅助方法及装置,应用于与执行设备连接的人机交互辅助设备,所述方法包括:获取第一控制指令,其中,所述第一控制指令包括语音控制指令和/或文本控制指令(S110);解析所述第一控制指令(S120);根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设能被至少一所述执行设备解析的控制指令(S140);根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备,向所述第一控制指令对应的目标执行设备发送所述第二控制指令(S150)。如此,在不投入额外成本改进所述执行设备的信息接收接口或智能化水平的前提下,达到了辅助所述执行设备解析用户下达的指令的效果。
Description
本发明涉及信息技术和物联网领域,具体而言,涉及一种人机交互辅助方法及装置。
随着移动互联网、物联网及人工智能技术的飞速发展,越来越多智能化的执行设备具备了接收数字化的控制信息的功能,通过接收用户发送的语音或发送文字等信息,解析出用户的指令来完成相应的动作。
目前执行设备的只能理解一些标准形式的控制指令,在用户下达的控制指令是非标准形式指令(如“有点热,空调开到26度吧”)或非标准发音的语音指令(如用方言下达的语音指令)时,执行设备无法解析用户下达的指令,不能及时执行用户需要的动作。
现有解决方案中,或依靠用户下达标准形式的指令,以便执行设备解析,如此,用户需要记住不同指令的形式使用标准发音,使用十分不便,降低了用户体验;或依靠设备厂家提高执行设备的智能化水平,提高执行设备对非标准形式控制指令的理解能力,如此需增加大量的资本投入对执行设备进行改进。
所以,如何提供一种经济且有效的方法来辅助执行设备解析用户下达的控制指令,成为本领域技术人员亟待解决的问题。
发明内容
为了克服现有技术中的上述不足,本发明所要解决的技术问题是提供一种独立于执行设备且能辅助执行设备解析用户发出的控制指令的人机交
互辅助方法和装置。
就方法而言,本发明提供了一种人机交互辅助方法,应用于与执行设备连接的人机交互辅助设备,所述方法包括:
获取第一控制指令,其中,所述第一控制指令包括语音控制指令和/或文本控制指令。
解析所述第一控制指令。
根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设的能被至少一所述执行设备解析的控制指令。
根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备,向所述第一控制指令对应的目标执行设备发送所述第二控制指令。
进一步地,在上述人机交互辅助方法中,所述获取第一控制指令的步骤包括:
接收所述执行设备在解析所述第一控制指令失败时发送的协助解析请求。
获取所述执行设备发送的解析失败的所述第一控制指令。
进一步地,在上述人机交互辅助方法中,所述方法还包括:
在所述人机交互辅助设备解析所述第一控制指令失败时,发送解释失败通知。
进一步地,在上述人机交互辅助方法中,所述获取第一控制指令的步骤包括:
获取不同用户间,或用户与所述执行设备之间,或不同所述执行设备间的交互信息。
解析并提取所述交互信息中包含的所述第一控制指令。
进一步地,在上述人机交互辅助方法中,所述根据所述第一控制指令生成相应的第二控制指令的步骤包括:
获取所述第一控制指令中的关键字段,所述关键字段包括目标执行设
备、执行动作、执行参数。
根据所述关键字段生成所述第二控制指令。
本发明还提供一种人机交互辅助方法,应用于相互连接的执行设备和人机交互辅助设备,所述方法包括:
所述人机交互辅助设备获取第一控制指令,其中,所述第一控制指令包括语言形式的语音控制指令或文本控制指令。
解析所述第一控制指令。
根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设能被至少一所述执行设备解析的控制指令。
根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备,向所述第一控制指令对应的目标执行设备发送所述第二控制指令。
所述执行设备响应所述第二控制指令,并执行与所述第二控制指令相应的动作。
进一步地,在上述人机交互辅助方法中,所述人机交互辅助设备获取第一控制指令的步骤包括:
所述执行设备获得用户发送的所述第一控制指令。
当解析所述第一控制指令不成功时向所述人机交互辅助设备发送协助解析请求。
接收所述执行设备在解析所述第一控制指令失败时发送的协助解析请求。
获取所述执行设备发送的解析失败的所述第一控制指令。
进一步地,在上述人机交互辅助方法中,所述方法还包括:
在所述人机交互辅助设备解析所述第一控制指令失败时,向用户及所述执行设备发送解释失败通知。
进一步地,在上述人机交互辅助方法中,所述人机交互辅助设备获取第一控制指令的步骤包括:
所述人机交互辅助设备获取不同用户间,或用户与所述执行设备之间,或不同所述执行设备间的交互信息。
解析并提取所述交互信息中包含的所述第一控制指令。
就装置而言,本发明提供一种人机交互辅助装置,应用于与执行设备连接的人机交互辅助设备,所述装置包括:
第一控制指令获取模块,用于获取第一控制指令,其中,所述第一控制指令包括语音控制指令和/或文本控制指令。
解析模块,用于解析所述第一控制指令。
第二控制指令生成模块,用于根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设能被至少一所述执行设备解析的控制指令。
第二控制指令发送模块,用于根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备,向所述第一控制指令对应的目标执行设备发送所述第二控制指令。
相对于现有技术而言,本发明具有以下有益效果:
本发明提供的一种人机交互辅助方法和装置,通过设置独立于所述执行设备的人机交互辅助设备,由所述人机交互辅助设备解析所述执行设备不能理解的所述第一控制指令,并生成可以被所述执行设备理解的第二控制指令发送给所述执行设备。如此,在不投入额外成本改进所述执行设备的信息接收接口或智能化水平的前提下,达到了辅助所述执行设备解析用户下达的指令的效果。本发明提供的方法简单易行,有效节约了成本,且提高了用户体验。
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些
实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的应用环境示意图;
图2为本发明实施例提供的人机交互辅助设备结构框图;
图3为本发明实施例提供的人机交互辅助方法流程示意图之一;
图4为本发明步骤S110的子步骤流程示意图之一;
图5为本发明步骤S110的子步骤流程示意图之二;
图6为本发明实施例提供的人机交互辅助方法流程示意图之二;
图7为本发明步骤S140的子步骤流程示意图;
图8为本发明实施例提供的人机交互辅助方法流程示意图之三;
图9为本发明步骤S210的子步骤流程示意图之一;
图10为本发明步骤S210的子步骤流程示意图之二;
图11为本发明实施例提供的人机交互辅助方法流程示意图之四;
图12为本发明实施例提供的人机交互辅助装置结构框图。
上述附图中,各附图标记对应的名称为:
人机交互辅助设备 | 100 |
人机交互辅助装置 | 110 |
第一控制指令获取模块 | 111 |
解析模块 | 112 |
第二控制指令生成模块 | 113 |
第二控制指令发送模块 | 114 |
存储器 | 120 |
处理器 | 130 |
通信单元 | 140 |
执行设备 | 200 |
网络 | 300 |
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如图1所示,是本发明较佳实施例提供的人机交互辅助设备100与至少一执行设备200通信的交互示意图。所述人机交互辅助设备100可通过网络300与所述执行设备200进行通信,以实现人机交互辅助设备100与执行设备200之间的数据通信或交互。所述网络300可以是,但不限于,有线网络或无线网络。所述网络300可以是,但不限于,局域网或互联网。
如图2所示,是图1所示的人机交互辅助设备100的方框示意图。所
述人机交互辅助设备100包括人机交互辅助装置110、存储器120、处理器130、通信单元140。
所述存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人机交互辅助装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述人机交互辅助设备100的操作系统(operating system,OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块,例如所述人机交互辅助装置110所包括的软件功能模块及计算机程序等。
其中,所述存储器120可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器120用于存储程序,所述处理器130在接收到执行指令后,执行所述程序。所述通信单元140用于通过所述网络300建立所述人机交互辅助设备100与执行设备200之间的通信连接,并用于通过所述网络300收发数据。
如图3所示,是应用于图1所示的人机交互辅助设备100的一种人机交互辅助方法的流程示意图,所述方法包括以下步骤。
步骤S110,所述人机交互辅助设备100获取第一控制指令,其中,所述第一控制指令包括语音控制指令和/或文本控制指令。
具体地,请参照图4,在本实施例的第一实施方式中,步骤S110,可以包括以下子步骤:
子步骤S111,接收所述执行设备200在解析所述第一控制指令失败时
发送的协助解析请求。
在本实施方式中,所述执行设备200接收用户发送的所述第一控制指令,其中,用户发送所述第一控制指令方式为可以为直接向所述执行设备200发送语音指令,也可以为通过用户终端向所述执行设备200发送语音或文字指令。当所述执行设备200解析该第一控制失败时,向所述人机交互辅助设备100发送协助解析请求。
子步骤S112,获取所述执行设备200发送的解析失败的所述第一控制指令。
所述人机交互辅助设备100接收到所述协助解析请求后,从所述执行设备200处获取其解析失败的第一控制指令。
具体地,请参照图5,在本实施例的第二实施方式中,步骤S110可以包括以下子步骤:
子步骤S113,获取不同用户间,或用户与所述执行设备之间,或不同所述执行设备间的交互信息。
在本实施方式中,不同用户间,和/或用户与所述执行设备之间,和/或不同所述执行设备间通过网络300组成一即时通信组群,所述人机交互辅助设备100获取该组群中的交互信息。其中,所述交互信息可以为,但不仅限于语音信息或文字信息。
子步骤S114,解析并提取所述交互信息中包含的所述第一控制指令。
所述人机交互辅助设备100在所述交互信息中筛选提取出其中包含的所述第一控制指令。
步骤S120,解析所述第一控制指令。
具体地,在本实施例中,所述人机交互辅助设备100通过语音识别模型和/或语义分析模型解析所述第一控制指令。其中,所述语音识别模型包括,但不限于隐马尔科夫(HMM)模型和人工神经网络模型;所述语义分析模型包括,但不限于词法依存(WD)模型、概念依存(CD)模型与核心依
存(KD)模型。
在本实施例的第一实施方式中,请参照图6,所述方法还可以包括步骤S130。
步骤S130,在所述人机交互辅助设备100解析所述第一控制指令失败时,发送解析失败通知。
当所述人机交互辅助设备100解析所述第一控制指令失败时,向用户或用户终端发送解析失败的通知,提示用户重新下达指令。
步骤S140,根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设的能被至少一所述执行设备200解析的控制指令。
具体地,请参照图7,步骤S140可以包括以下子步骤。
子步骤S141,获取所述第一控制指令中的关键字段,所述关键字段可以包括,但不仅限于目标执行设备、执行动作、执行参数。
在本实施例中,所述人机交互辅助设备100可以针对与之连接的不同的执行设备的类型(如智能家电类、智能穿戴设备类以及远程监控摄像类等),设定不同的关键字段提取的种类。
子步骤S142,根据所述关键字段生成所述第二控制指令。
所述人机交互辅助设备100根据所述关键字段中指定的目标执行设备类型,采用对应的指令格式,生成与所述关键字段中信息匹配的所述第二控制指令。
步骤S150,根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备200,向所述第一控制指令对应的目标执行设备200发送所述第二控制指令。
所述人机交互辅助设备100根据所述第一控制指令中执行设备200,将解析后的所述第二控制指令发送给该执行设备200。
请参照图8,本实施例还提供一种人机交互辅助方法,所述方法包括以下步骤。
步骤S210,所述人机交互辅助设备100获取第一控制指令,其中,所述第一控制指令包括语言形式的语音控制指令或文本控制指令。
请参照图9,在本实施例的第三实施方式中,步骤S210可以包括以下子步骤。
子步骤S211,所述执行设备200获得用户发送的所述第一控制指令。
子步骤S212,当解析所述第一控制指令不成功时向所述人机交互辅助设备100发送协助解析请求。
子步骤S213,接收所述执行设备200在解析所述第一控制指令失败时发送的协助解析请求。
子步骤S214,获取所述执行设备200发送的解析失败的所述第一控制指令。
请参照图10,在本实施例的第四实施方式中,步骤S210可以包括以下子步骤。
子步骤S215,所述人机交互辅助设备100获取不同用户间,或用户与所述执行设备200之间,或不同所述执行设备200间的交互信息;
子步骤S216,解析并提取所述交互信息中包含的所述第一控制指令。
步骤S220,解析所述第一控制指令。
请参照图11,在本实施例的第三实施方式中,所述方法还包括步骤S230。
步骤S230,在所述人机交互辅助设备100解析所述第一控制指令失败时,向用户及所述执行设备200发送解释失败通知。
步骤S240,根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设的能被至少一所述执行设备200解析的控制指令。
步骤S250,根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备200,向所述第一控制指令对应的目标执行设备200发送所述第二控制指令。
步骤S260,所述执行设备200响应所述第二控制指令,并执行与所述第二控制指令相应的动作。
请参照图12,本实施例还提供一种人机交互辅助装置110,应用于与至少一执行设备200连接的人机交互辅助设备100,所述装置包括:
第一控制指令获取模块111,用于获取第一控制指令,其中,所述第一控制指令包括语音控制指令和/或文本控制指令。
解析模块112,用于解析所述第一控制指令。
第二控制指令生成模块113,用于根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设能被至少一所述执行设备200解析的控制指令。
第二控制指令发送模块114,用于根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备200,向所述第一控制指令对应的目标执行设备200发送所述第二控制指令。
综上所述,本发明提供的一种人机交互辅助方法和装置,通过设置独立于所述执行设备200的所述人机交互辅助设备100,由所述人机交互辅助设备100解析所述执行设备200不能理解的所述第一控制指令,并生成可以被所述执行设备200理解的第二控制指令发送给所述执行设备200。如此,在不投入额外成本改进所述执行设备200的信息接收接口或智能化水平的前提下,达到了辅助所述执行设备200解析用户下达的指令的效果。本发明提供的方法简单易行,有效节约了成本,且提高了用户体验。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
- 一种人机交互辅助方法,应用于与执行设备连接的人机交互辅助设备,其特征在于,所述方法包括:获取第一控制指令,其中,所述第一控制指令包括语音控制指令和/或文本控制指令;解析所述第一控制指令;根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设的能被至少一所述执行设备解析的控制指令;根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备,向所述第一控制指令对应的目标执行设备发送所述第二控制指令。
- 根据权利要求1所述的人机交互辅助方法,其特征在于,所述获取第一控制指令的步骤包括:接收所述执行设备在解析所述第一控制指令失败时发送的协助解析请求;获取所述执行设备发送的解析失败的所述第一控制指令。
- 根据权利要求2所述的人机交互辅助方法,其特征在于,所述方法还包括:在所述人机交互辅助设备解析所述第一控制指令失败时,发送解释失败通知。
- 根据权利要求1所述的人机交互辅助方法,其特征在于,所述获取第一控制指令的步骤包括:获取不同用户间,或用户与所述执行设备之间,或不同所述执行设备间的交互信息;解析并提取所述交互信息中包含的所述第一控制指令。
- 根据权利要求1所述人机交互辅助方法,其特征在于,所述根据所述第一控制指令生成相应的第二控制指令的步骤包括:获取所述第一控制指令中的关键字段,所述关键字段包括目标执行设备、执行动作及执行参数;根据所述关键字段生成所述第二控制指令。
- 一种人机交互辅助方法,应用于相互连接的执行设备和人机交互辅助设备,其特征在于,所述方法包括:所述人机交互辅助设备获取第一控制指令,其中,所述第一控制指令包括语言形式的语音控制指令或文本控制指令;解析所述第一控制指令;根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设的能被至少一所述执行设备解析的控制指令;根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备,向所述第一控制指令对应的目标执行设备发送所述第二控制指令;所述执行设备响应所述第二控制指令,并执行与所述第二控制指令相应的动作。
- 根据权利要求6所述的人机交互辅助方法,其特征在于,所述人机交互辅助设备获取第一控制指令的步骤包括:所述执行设备获得用户发送的所述第一控制指令;当解析所述第一控制指令不成功时向所述人机交互辅助设备发送协助解析请求;接收所述执行设备在解析所述第一控制指令失败时发送的协助解析请求;获取所述执行设备发送的解析失败的所述第一控制指令。
- 根据权利要求7所述的人机交互辅助方法,其特征在于,所述方法还包括:在所述人机交互辅助设备解析所述第一控制指令失败时,向用户及所述执行设备发送解释失败通知。
- 根据权利要求6所述的人机交互辅助方法,其特征在于,所述人机交互辅助设备获取第一控制指令的步骤包括:所述人机交互辅助设备获取不同用户间,或用户与所述执行设备之间,或不同所述执行设备间的交互信息;解析并提取所述交互信息中包含的所述第一控制指令。
- 一种人机交互辅助装置,应用于与执行设备连接的人机交互辅助设备,其特征在于,所述装置包括:第一控制指令获取模块,用于获取第一控制指令,其中,所述第一控制指令包括语音控制指令和/或文本控制指令;解析模块,用于解析所述第一控制指令;第二控制指令生成模块,用于根据所述第一控制指令生成相应的第二控制指令,其中,所述第二控制指令为预设能被至少一所述执行设备解析的控制指令;第二控制指令发送模块,用于根据所述第一控制指令查找与所述第一控制指令对应的目标执行设备,向所述第一控制指令对应的目标执行设备发送所述第二控制指令。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16912890.7A EP3502807B1 (en) | 2016-08-18 | 2016-09-07 | Method and apparatus for assisting human-computer interaction |
US16/243,303 US20190147877A1 (en) | 2016-08-18 | 2019-01-09 | Method for assisting human-computer interaction and computer-readable medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610682959.7A CN107765838A (zh) | 2016-08-18 | 2016-08-18 | 人机交互辅助方法及装置 |
CN201610682959.7 | 2016-08-18 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/243,303 Continuation-In-Part US20190147877A1 (en) | 2016-08-18 | 2019-01-09 | Method for assisting human-computer interaction and computer-readable medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018032126A1 true WO2018032126A1 (zh) | 2018-02-22 |
Family
ID=61195911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2016/000512 WO2018032126A1 (zh) | 2016-08-18 | 2016-09-07 | 人机交互辅助方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190147877A1 (zh) |
EP (1) | EP3502807B1 (zh) |
CN (1) | CN107765838A (zh) |
WO (1) | WO2018032126A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111724785A (zh) * | 2020-06-29 | 2020-09-29 | 百度在线网络技术(北京)有限公司 | 小程序的语音控制方法、设备及存储介质 |
US11984120B2 (en) | 2020-06-29 | 2024-05-14 | Beijing Baidu Netcom Science Technology Co., Ltd. | Voice control method for applet and device, and storage medium |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10102855B1 (en) * | 2017-03-30 | 2018-10-16 | Amazon Technologies, Inc. | Embedded instructions for voice user interface |
JP6928842B2 (ja) * | 2018-02-14 | 2021-09-01 | パナソニックIpマネジメント株式会社 | 制御情報取得システム、及び、制御情報取得方法 |
CN110837227A (zh) * | 2018-08-15 | 2020-02-25 | 格力电器(武汉)有限公司 | 电器控制方法及装置 |
CN111049905A (zh) * | 2019-12-12 | 2020-04-21 | 广州大彩光电科技有限公司 | 基于串口屏的设备远程管控方法及装置 |
CN113299285A (zh) * | 2020-02-22 | 2021-08-24 | 北京声智科技有限公司 | 设备控制方法、装置、电子设备及计算机可读存储介质 |
CN114578720B (zh) * | 2020-12-01 | 2023-11-07 | 合肥欣奕华智能机器股份有限公司 | 控制方法及控制系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103197571A (zh) * | 2013-03-15 | 2013-07-10 | 张春鹏 | 一种控制方法及装置、系统 |
CN103578472A (zh) * | 2012-08-10 | 2014-02-12 | 海尔集团公司 | 电器设备的控制方法和控制装置 |
US20150228281A1 (en) * | 2014-02-07 | 2015-08-13 | First Principles,Inc. | Device, system, and method for active listening |
CN105202706A (zh) * | 2015-10-19 | 2015-12-30 | 广东美的制冷设备有限公司 | 空调器控制装置、控制系统及其控制方法 |
CN105511287A (zh) * | 2016-01-27 | 2016-04-20 | 珠海格力电器股份有限公司 | 智能家电控制方法和装置及系统 |
CN105632494A (zh) * | 2015-12-29 | 2016-06-01 | 青岛海尔智能家电科技有限公司 | 智能家电设备的控制方法及装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6513006B2 (en) * | 1999-08-26 | 2003-01-28 | Matsushita Electronic Industrial Co., Ltd. | Automatic control of household activity using speech recognition and natural language |
US10333731B2 (en) * | 2005-06-09 | 2019-06-25 | Whirlpool Corporation | Methods and apparatus for communicatively coupling internal components within appliances, and appliances with external components and accessories |
US9712486B2 (en) * | 2006-09-25 | 2017-07-18 | Weaved, Inc. | Techniques for the deployment and management of network connected devices |
US20160112262A1 (en) * | 2014-10-18 | 2016-04-21 | Weaved, Inc. | Installation and configuration of connected devices |
US8527278B2 (en) * | 2009-06-29 | 2013-09-03 | Abraham Ben David | Intelligent home automation |
US8793136B2 (en) * | 2012-02-17 | 2014-07-29 | Lg Electronics Inc. | Method and apparatus for smart voice recognition |
US10145579B2 (en) * | 2013-05-01 | 2018-12-04 | Honeywell International Inc. | Devices and methods for interacting with a control system that is connected to a network |
US9462663B2 (en) * | 2013-05-28 | 2016-10-04 | Abl Ip Holding Llc | Interactive user interface functionality for lighting devices or system |
JP6360484B2 (ja) * | 2013-09-03 | 2018-07-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 音声対話制御方法 |
KR102188090B1 (ko) * | 2013-12-11 | 2020-12-04 | 엘지전자 주식회사 | 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 |
US9900177B2 (en) * | 2013-12-11 | 2018-02-20 | Echostar Technologies International Corporation | Maintaining up-to-date home automation models |
RU2014111971A (ru) * | 2014-03-28 | 2015-10-10 | Юрий Михайлович Буров | Способ и система голосового интерфейса |
US9910505B2 (en) * | 2014-06-17 | 2018-03-06 | Amazon Technologies, Inc. | Motion control for managing content |
JP6482911B2 (ja) * | 2014-07-01 | 2019-03-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 機器制御方法および電気機器 |
US9680646B2 (en) * | 2015-02-05 | 2017-06-13 | Apple Inc. | Relay service for communication between controllers and accessories |
US10274911B2 (en) * | 2015-06-25 | 2019-04-30 | Intel Corporation | Conversational interface for matching text of spoken input based on context model |
US10365620B1 (en) * | 2015-06-30 | 2019-07-30 | Amazon Technologies, Inc. | Interoperability of secondary-device hubs |
CN105872691A (zh) * | 2015-12-14 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 浏览器控制方法及装置 |
US10091545B1 (en) * | 2016-06-27 | 2018-10-02 | Amazon Technologies, Inc. | Methods and systems for detecting audio output of associated device |
-
2016
- 2016-08-18 CN CN201610682959.7A patent/CN107765838A/zh active Pending
- 2016-09-07 EP EP16912890.7A patent/EP3502807B1/en active Active
- 2016-09-07 WO PCT/CN2016/000512 patent/WO2018032126A1/zh unknown
-
2019
- 2019-01-09 US US16/243,303 patent/US20190147877A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103578472A (zh) * | 2012-08-10 | 2014-02-12 | 海尔集团公司 | 电器设备的控制方法和控制装置 |
CN103197571A (zh) * | 2013-03-15 | 2013-07-10 | 张春鹏 | 一种控制方法及装置、系统 |
US20150228281A1 (en) * | 2014-02-07 | 2015-08-13 | First Principles,Inc. | Device, system, and method for active listening |
CN105202706A (zh) * | 2015-10-19 | 2015-12-30 | 广东美的制冷设备有限公司 | 空调器控制装置、控制系统及其控制方法 |
CN105632494A (zh) * | 2015-12-29 | 2016-06-01 | 青岛海尔智能家电科技有限公司 | 智能家电设备的控制方法及装置 |
CN105511287A (zh) * | 2016-01-27 | 2016-04-20 | 珠海格力电器股份有限公司 | 智能家电控制方法和装置及系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111724785A (zh) * | 2020-06-29 | 2020-09-29 | 百度在线网络技术(北京)有限公司 | 小程序的语音控制方法、设备及存储介质 |
CN111724785B (zh) * | 2020-06-29 | 2023-07-04 | 百度在线网络技术(北京)有限公司 | 小程序的语音控制方法、设备及存储介质 |
US11984120B2 (en) | 2020-06-29 | 2024-05-14 | Beijing Baidu Netcom Science Technology Co., Ltd. | Voice control method for applet and device, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
US20190147877A1 (en) | 2019-05-16 |
EP3502807B1 (en) | 2021-12-01 |
EP3502807A1 (en) | 2019-06-26 |
CN107765838A (zh) | 2018-03-06 |
EP3502807A4 (en) | 2019-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018032126A1 (zh) | 人机交互辅助方法及装置 | |
US11848008B2 (en) | Artificial intelligence-based wakeup word detection method and apparatus, device, and medium | |
CN107578776B (zh) | 一种语音交互的唤醒方法、装置及计算机可读存储介质 | |
CN109618202B (zh) | 控制外设的方法、电视及可读存储介质 | |
CN107909998B (zh) | 语音指令处理方法、装置、计算机设备和存储介质 | |
CN107220532B (zh) | 用于通过声音识别用户身份的方法及设备 | |
CN110047481B (zh) | 用于语音识别的方法和装置 | |
CN107122807B (zh) | 一种家庭监控方法、服务端及计算机可读存储介质 | |
CN107544272B (zh) | 终端控制方法、装置及存储介质 | |
JP2017107078A (ja) | 音声対話方法、音声対話装置及び音声対話プログラム | |
US11830482B2 (en) | Method and apparatus for speech interaction, and computer storage medium | |
WO2015014122A1 (zh) | 语音交互的方法、系统以及交互终端 | |
US9349370B2 (en) | Speech recognition terminal device, speech recognition system, and speech recognition method | |
US20130304451A1 (en) | Building multi-language processes from existing single-language processes | |
CN110992955A (zh) | 一种智能设备的语音操作方法、装置、设备及存储介质 | |
KR102140391B1 (ko) | 검색 방법 및 이 방법을 적용하는 전자 장치 | |
CN113495489A (zh) | 自动化配置方法、装置、电子设备及存储介质 | |
WO2014173325A1 (zh) | 喉音识别方法及装置 | |
CN111933149A (zh) | 语音交互方法、穿戴式设备、终端及语音交互系统 | |
CN110956958A (zh) | 搜索方法、装置、终端设备及存储介质 | |
CN111128127A (zh) | 一种语音识别处理方法及装置 | |
JP2009294269A (ja) | 音声認識システム | |
CN113962213A (zh) | 一种多轮对话生成方法、终端及计算机可读存储介质 | |
WO2014161301A1 (zh) | 一种终端控制方法、装置和终端 | |
WO2021253779A1 (zh) | 一种语音识别方法以及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16912890 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2016912890 Country of ref document: EP Effective date: 20190318 |