WO2019051645A1 - 一种机器人动态学习方法、系统、机器人以及云端服务器 - Google Patents

一种机器人动态学习方法、系统、机器人以及云端服务器 Download PDF

Info

Publication number
WO2019051645A1
WO2019051645A1 PCT/CN2017/101414 CN2017101414W WO2019051645A1 WO 2019051645 A1 WO2019051645 A1 WO 2019051645A1 CN 2017101414 W CN2017101414 W CN 2017101414W WO 2019051645 A1 WO2019051645 A1 WO 2019051645A1
Authority
WO
WIPO (PCT)
Prior art keywords
rule
module
annotation
robot
new
Prior art date
Application number
PCT/CN2017/101414
Other languages
English (en)
French (fr)
Inventor
张站朝
Original Assignee
深圳前海达闼云端智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳前海达闼云端智能科技有限公司 filed Critical 深圳前海达闼云端智能科技有限公司
Priority to PCT/CN2017/101414 priority Critical patent/WO2019051645A1/zh
Priority to JP2020515011A priority patent/JP7085788B2/ja
Priority to EP17925262.2A priority patent/EP3683730A4/en
Priority to CN201780003334.6A priority patent/CN108235697B/zh
Publication of WO2019051645A1 publication Critical patent/WO2019051645A1/zh
Priority to US16/815,840 priority patent/US11580454B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39299—Learn forward dynamics

Definitions

  • FIG. 1 is a system schematic diagram of a robot dynamic learning system provided by an embodiment of the present application.
  • robot behavior rules the robot user is responsible for performing the action or task, and the robot acts only as the performer of the person's behavior or action.
  • Each rule of the robot rule base further includes an element, that is, there is a priority distinction, wherein the default or implicit rule priority is generally greater than the behavior rule learned by the robot, for example, the default scene rule priority is greater than the learning rule.
  • the robot rule learning process is:
  • Step 204 When it is confirmed that the newly created annotation has no conflict with the annotation in the annotation library, update the new annotation to the annotation library.
  • the interrogation interaction process includes:
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (RAM).

Abstract

一种机器人动态学习方法，包括训练学习模式，该训练学习模式包括以下步骤：对三维环境中物体和人的归属使用关系进行动态标注，形成标注库；获取规则库，基于该规则库与标注库通过交互示范行为建立新规则以及新标注；确认建立的新规则与该规则库中的规则无冲突时，更新该新规则至该规则库以及更新该新标注至该标注库。

Description

一种机器人动态学习方法、系统、机器人以及云端服务器 技术领域
本申请涉及机器人交互领域，具体涉及一种机器人动态学习方法、系统、机器人以及云端服务器。
背景技术
随着网络传输和大数据科技的发展以及硬件处理能力的提升，越来越多的机器人走进了人们的家庭生活。
现有的机器人在功能上聚焦在人工智能上，比如人脸识别、物体检测、智能语音对答、文字识别等。如百度、Google、Sound Hound等研发机构的语音识别准确率在2015年已超过90％。在2016第四届国际多通道语音分离和识别大赛中，大部分参赛团队在六麦克风条件下识别错误率已低于7％，国内龙头科大讯飞甚至已降至2.24％，准确率正在接近99％的人际交互质变阈值。另外，在计算机视觉方面：以ImageNet图像识别赛作为观测窗口，其冠军团队的识别错误率自2015年下降至人类平均水平以下后，于2016年进一步降至2.99％。
虽然，机器人在音频识别和图像识别上已日臻成熟。但在机器人使用体验上，当前的人机交互方式基本是人问机器答，尽管回答方式多种多样，且越来越智能，但大多是机器人被动接收用户的提问信息。机器人与用户之间没有建立深度的人工智能。
因此，现有的机器人还无法完整的执行人类指定的较为复杂的任务，或完成一次相对复杂的交互。比如用户对机器人说：“Hi XXX，去隔壁房间用我的杯子接杯水然后拿给我，我要吃药”。这个里面就涉及到，机器人需要理解这句话，并得出以下信息：隔壁房间在哪里？隔壁房间有杯子吗？哪个是属于用户的唯一杯子，接水的地方在哪里，用户要吃的药放在哪里？然后还需要知道借助系列的规则，比如，杯子口朝上才能接到水；需要找到这位用户所有的药给他等等。才能进行任务规划、路径规划、定位，并移动和执行一系列动作完成规划的任务。这些都是现有的机器人还无法完成的。
中国专利申请号201610970633.4公开了一种机器人人机交互方法及系统，所述机器人人机交互系统包括：第一获取模块，用于获取激光信号；第二获取模块，用于获取语音信号；第一执行模块，用于根据所述激光信号对应的不同激光接收器，激发不同的预设动作；第二执行模块，用于根据所述语音信号，执行对应的预设动作和/或对应的预设语音。
以上专利披露的机器人虽然可以实现机器人动作和语音的协调一致但是不能对人和环境的进行动态学习，无法建立深度人工智能。
因此，现有技术的机器人还有待于改进。
发明内容
本申请主要解决的技术问题是提供一种机器人动态学习方法、系统、机器人以及云端服务器，设置训练学习模式，通过交互示范行为对机器人进行训练学习，使机器人可以理清人物和环境特征和归属关系，并不断更新人物和环境的变化，并分类形成标注库和规则库，基于该标注库和规则库完成与用户下达的较为复杂的任务或者完成与用户之间较为复杂的交互，提升用户体验。
第一方面，本申请实施例提供了一种机器人动态学习方法，包括训练学习模式，该训练学习模式包括以下步骤：
对三维环境中物体和人的归属使用关系进行动态标注，形成标注库；
获取规则库，基于该规则库与标注库通过交互示范行为建立新规则以及新标注；
确认建立的新规则与该规则库中的规则无冲突时，更新该新规则至该规则库以及更新该新标注至该标注库。
第二方面，本申请实施例还提供了一种机器人动态学习系统，包括训练学习模块，该训练学习模块用于执行以下步骤：
对三维环境中物体和人的归属使用关系进行动态标注，形成标注库；
获取规则库，基于该规则库与标注库通过交互示范行为建立新规则以及新标注；
确认建立的新规则与该规则库中的规则无冲突时，更新该新规则至该规则库。
第三方面，本申请实施例还提供了一种动态学习机器人，包括训练学习模块，该训练学习模块包括动态标注模块、获取模块、规则更新模块以及任务执行模块，
该动态标注模块用于对三维环境中物体和人的归属使用关系进行动态标注，并存储至标注库；
获取模块用于获取规则库；
该规则更新模块用于基于该规则库与标注库通过交互示范行为建立新规则，并存储至规则库；
该动态标注模块还用于基于该规则库与标注库通过交互示范行为建立新标注，并存储至标注库；
任务执行模块用于基于该标注库以及规则库，完成用户指定的任务和交互。
第四方面，本申请实施例还提供了一种云端服务器，包括存储模块、接收模块以及确认模块，
该存储模块用于存储来自机器人的对三维环境中物体和人的归属使用关系进行动态标注的标注，形成标注库；
该存储模块还用于存储机器人的规则库；
该接收模块用于接收机器人基于该规则库与标注库通过交互示范行为建立的新规则；
该接收模块用于接收机器人基于该规则库与标注库通过交互示范行为建立的新标注；
该确认模块用于确认该新规则与该规则库中的规则以及新标注与该标注库中标注有无冲突，无冲突时将该新规则更新至该规则库以及将新标注更新至该标注库。
第五方面，本申请实施例还提供了一种电子设备，包括：
至少一个处理器；以及，
与该至少一个处理器通信连接的存储器，通信组件、音频数据采集器以及视频数据采集器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行时调用音频数据采集器与视频数据采集器的数据，通过通信组件与云端服务器建立连接，以使该至少一个处理器能够执行如上所述的方法。
第六方面，本申请实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的方法。
本申请的有益效果在于，本申请实施例提供的机器人动态学习方法、系统以及动态学习机器人和云端服务器，设置训练学习模式，通过交互示范行为对机器人进行训练学习，基于图像视觉和机器人语义理解，建立和不断更新标注库以及规则库，使机器人可以理清人物和环境特征和归属关系，并不断更新人物和环境的变化，从而实现基于标注库和规则库完成与用户下达的较为复杂的任务或者完成与用户之间较为复杂的交互，提升用户体验。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请实施例提供的机器人动态学习系统的系统原理图；
图2是本申请实施例提供的机器人动态学习系统的系统工作关系图；
图3是本申请实施例提供的机器人动态学习系统的系统模块图；
图4是本申请实施例提供的机器人动态学习方法的训练学习模式下的主要流程图；
图5是本申请实施例提供的机器人动态学习方法的标注更新流程图；
图6是本申请实施例提供的机器人动态学习方法的工作模式下的流程图；以及；
图7是本申请实施例提供的机器人动态学习方法的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的机器人动态学习方法、系统、机器人以及云端服务器，将机器人设置为工作模式和训练学习模式。在训练学习模式中，通过交互示范行为对机器人进行训练学习，使机器人可以理清人物和环境特征和归属关系，并不断更新人物和环境的变化，并分类形成标注库和规则库，基于该标注库和规则库完成与用户下达的较为复杂的任务或者完成与用户之间较为复杂的交互，提升用户体验。
请参考图1所示原理图，在训练学习模式中，通过机器人获取图像信息，识别三维环境的变化，或者使用者与机器人进行交互示范，使得机器人对三维环境中人物或者物体进行动态的归属关系的标注和规则学习。机器人将从三维环境中或者交互示范中动态标注的人物或者物体的归属关系的语义以及通过交互示范学习到的规则更新到云端服务器对应的数据库中。
在机器人处于工作模式时，机器人基于智能视觉和自然语义理解等智能技术，结合云端服务器中的3D语义地图对机器人所处环境的空间、物体描述等特征信息，实现对人物或者物体特征进行动态标注以及学习新的行为规则，使得机器人能更加智能地执行较为复杂的任务或完成与人类相对复杂的交互。
其中，机器人的规则库包括默认场景规则和学习规则。默认场景规则是指在某种场景下，针对此类型机器人默认的或隐含的可以或不可以执行的任务，对应于人类生活中的常识性规则。学习规则是机器人处于训练学习模式下，用户通过交互示范行为使机器人学习得来的。
为了使标注库以及规则库对机器人来说更具有可执行性。该规则库的每一规则以及交互示范行为包括至少四个要素：主体、客体、执行的动作以及是否被允许。主体即人，客体即环境物体对象。
机器人行为和执行任务所遵循的规则和人类的规则类似，在机器人行为规则中，机器人使用者是执行动作或任务后的责任承担着，而机器人只作为人的行为或动作的执行者。该机器人规则库的每一规则还包括一个要素，就是有优先级区分，其中，默认或隐含规则优先级一般大于机器人学习到的行为规则，比如默认场景规则优先级大于学习规则。
实施例1
请参考图2，本实施例涉及动态学习机器人，本实施例中，该规则库和标注库设置在机器人终端。该动态学习机器人该包括训练学习模块20、工作模块30、任务执行模块40、发送模块14以及获取模块12。
该训练学习模块20包括动态标注模块22、规则更新模块26以及标注更新模块24。
其中，该动态标注模块22对三维环境中物体和人的归属使用关系进行动态标注，并存储至标注库。
该动态标注模块22通过机器视觉的方式，对3D环境进行点云特征的提取，通过对点云和视觉图像进行识别，获得物体的外观属性(包括但不限于颜色，材质)、几何模型(物体形状)、空间位置属性(相对前后左右上下等关系)，将识别出来的上述属性进行自动标识。再基于默认场景规则学习或者用户交互式示范学习获得三维环境下物体与用户的归属或使用关系，并进行动态标注。
该获取模块12获取从机器人规则库获取执行任务相应的规则。该规则更新模块26用于基于该规则库与标注库通过交互示范行为建立新规则，并存储至规则库。
该动态标注模块22还基于该规则库与标注库通过交互示范行为建立新标注，并存储至标注库。
该训练学习模块用于基于所述规则库与标注库通过交互示范行为建立新规则以及新标注。该训练学习模块还用于确认建立的新规则与所述规则库中的规则无冲突时，更新所述新规则至所述规则库；以及用于确认建立的新标注与所述标注库中的标注无冲突时，更新所述新标注至所述标注库。
该任务执行模块40基于该标注库以及规则库，完成用户指定的任务和交互。
首先，通过机器人动态标注模块22实现对三维环境的物体和人物的归属关系或使用关系进行动态标注。
请参考图2，在机器人3D语义地图基础上，基于场景默认规则对物体或者人物的归属关系进行标注。比如，使用者使用了一个杯子喝了水，机器人10-n根据3D语义地图提供的家庭室内生活的场景，在识别出红色水杯后，自动标注出红色的、陶瓷的杯子是属于使用者的。同时，所标注的归属关系信息和当前环境3D语义地图中的物体信息进行融合，形成了红色的、圆的、陶瓷的、放在桌子最前面的那个杯子C是使用者的标注。
对环境物体，比如杯子C或人物,比如人物A1、A2的动态标注也可以基于用户的交互示范行为进行识别和更新。交互示范行为的标注就是让机器人处于训练学习模式学习规则的同时也同步进行标注。比如，指着一个杯子，对机器人说：“这个是我的杯子”。机器人对杯子识别后自动和已获得的3D语义地图中的红色的、圆的、陶瓷的杯子自动匹配并动态标注。
完整动态标注过程为：机器人用户通过语音或接触式按钮触发进入训练学习模式，基于机器视觉已经获得的3D语义地图包括的物体外观属性、几何模型属性、空间位置属性等特征信息，再基于默认场景规则学习的或者用户交互示范学习获得的物体与用户的归属关系或者使用关系，亦即基于规则库和标注库，进行动态标注。
该标注更新模块24的工作流程如下：基于机器视觉和自然语言理解，获取机器人三维环境语义地图；获取当前场景的语义地图或者该交互示范行为，识别当前场景的语义地图或者交互示范行为中是否有新的归属使用关系，解析和标注该新的归属使用关系，并存储至该标注库。
其次，介绍机器人规则的动态学习过程。该规则库包括默认场景规则和学 习规则。比如机器人是否可以移动实体，是否可以在当前场景下使用实体的功能，机器人可以使用环境中哪些空间位置，哪些任务只执行机器人拥有者而非普通用户的，哪些任务其他家人都可以执行，哪些任务只对陌生人的等等；
机器人规则学习过程为：
用户发现机器人需要在特定场景下的遵从某些规则，此时用户可获得机器人默认的行为规则，亦即该机器人内置的规则库；
用户触发机器人进入训练学习模式，并通过交互示范行为，使机器人可通过机器视觉获取交互示范行为的特征。该交互示范行为必须包括行为规则的四个要素，其中必须给出行为是否被允许或被接受等。
比如，该机器人发现示范行为缺失对应的主体归属时，提示用户进行主体标注学习。如上述行为规则四要素均满足，且没有与机器人默认规则冲突，则提示用户新的规则建立成功。
当机器人判断新的规则与认规则冲突时，则提示用户重新以交互示范行为方式形成不冲突的规则或让更高权限用户对默认规则进行修改。
请进一步参考图3，该工作模块包括识别模块35、任务建立模块34、冲突判断模块33以及询问交互模块32。
该识别模块35接收用户语音指令，识别该语音指令。该任务建立模块34根据识别的语音指令以及该规则库进行任务规划。该冲突判断模块33判断该任务规划是否存在冲突规则。该询问交互模块32在存在冲突规则时，建立与用户的询问交互。
机器人工作时，接收用户的语音指令，进行分析理解，无法进行任务规划时，机器人可反复与用户进行问答对话，直到机器人获取并正确理解任务指令信息，或者已知信息达到可明确进行任务规划。
机器人可对局部任务以及全局任务根据机器人的规则库进行判断和二次优化，出现规则冲突时，由机器人提示用户，并通过自然语言对场景和情况进行描述，针对数据库的操作可提出以下建议：建议1，继续执行，接受后果；建议2，取消执行本次任务；建议3，进入训练学习模式，修订更新规则。如果出现 与严格禁止规则冲突时，则执行取消任务，并告知用户。
根据用户的交互反馈，如选择建议1，机器人继续执行任务，忽略与之冲突的行为规则；如果选择建议2，则取消本次任务，机器人继续处于工作模式待命状态；如果选择建议3，则机器人进入上述训练学习模式。
机器人在执行人类指令任务时，遵循行为规则的优先级模型。
实施例2
请参考图3，本实施例还涉及云端服务器。本实施例中，该规则库和标注库设置在云端服务器，以减轻机器人端的数据处理量，以及建立统一的人工智能处理框架。
该云端服务器包括接收模块102、发送模块104、存储模块120、规则库122、标注库124、确认模块140以及优化模块130。
该存储模块120存储来自机器人的对三维环境中物体和人的归属使用关系进行动态标注的标注，形成标注库124。该存储模块还存储机器人的规则库122。
该接收模块102接收机器人基于该规则库与标注库通过交互示范行为建立的新规则。该接收模块102还接收机器人基于该规则库与标注库通过交互示范行为建立的新标注。该确认模块140确认该新规则与该规则库中的规则以及新标注与该标注库中的标注有无冲突，无冲突时将该新规则更新至该规则库以及将新标注更新至该标注库。
该发送模块104根据机器人请求发送对应标注和规则；该优化模块130接收机器人任务规划，并基于该标注库和规则库优化该任务规划。
请一并参考图2，本实施例中，该机器人通过机器视觉和和自然语言理解实现和用户的面对面交互以及完成用户下达的任务。该数据库的形成、更新和分析则设置在云端服务器。
同时，云端服务器对机器人局部任务以及全局任务根据规则库和标注库进行判断和二次优化，出现规则冲突时，通过机器人提示用户，并通过自然语言对场景和情况进行描述，并提出可能的建议。比如，建议1，继续执行，接受后 果；建议2，取消执行本次任务；建议3，进入训练学习模式，修订更新规则。如果出现与严格禁止规则冲突时，则执行取消任务，并告知用户。
实施例3
请参考图2，本实施例涉及机器人动态学习系统，该动态学习系统可单独设置在机器人端，具体内容请参考实施例1。该动态学习系统也可以在机器人10和云端服务器100之间分工。在由云端服务器100完成标注库和规则库建立和更新工作时，具体技术内容请参考实施例2。
总的来说，该机器人动态学习系统主要包括训练学习模块、工作模块、任务执行模块以及询问交互模块。
该训练学习模块用于执行以下步骤：对三维环境中物体和人的归属使用关系进行动态标注，形成标注库；获取规则库，基于该规则库与标注库通过交互示范行为建立新规则以及新标注；确认建立的新规则与该规则库中的规则以及新标注与该标注库中的标注无冲突时，更新该新规则至该规则库以及更新该新标注至该标注库。
对三维环境中物体和人的归属使用关系进行动态标注的实施例为：通过机器视觉的方式，对3D环境进行点云特征的提取，通过对点云和视觉图像进行识别，获得物体的外观属性(包括但不限于颜色，材质)、几何模型(物体形状)、空间位置属性(相对前后左右上下等关系)，将识别出来的上述属性进行自动标识。再基于默认场景规则学习或者用户交互式示范学习获得三维环境下物体与用户的归属或使用关系，并进行动态标注。
该任务执行模块基于该标注库以及规则库，完成用户指定的任务和交互。
该训练学习模块还包括标注更新模块，该标注更新模块用于：
基于机器视觉和自然语言理解，调用机器人三维环境语义地图；
获取当前场景的语义地图或者该交互示范行为，识别当前场景的语义地图或者交互示范行为中是否有新的归属使用关系，解析和标注该新的归属使用关系，并存储至该标注库。
还包括工作模块，该工作模块用于执行以下步骤：接收用户语音指令，识别该语音指令；根据识别的语音指令以及该规则库进行任务规划；判断该任务规划是否存在冲突规则，存在冲突规则时，建立与用户的询问交互。
该询问交互模块包括以下询问交互内容：继续执行的询问交互，用户选择继续执行时忽略该冲突规则；取消的询问交互，用户选择取消时切换至工作模块；以及进入训练学习模块的询问交互。
该机器人在执行用户指令任务时，遵循行为规则的分级模型。
实施例4
本实施例涉及机器人动态学习方法，包括训练学习模式、工作模式。
请参考图4，该训练学习模式包括以下步骤：
步骤101：对三维环境中物体和人的归属使用关系进行动态标注，形成标注库；
步骤102：获取规则库，
步骤103：基于该规则库与标注库通过交互示范行为建立新规则以及新标注；
步骤104：确认建立的新规则与该规则库中的规则无冲突时，更新该新规则至该规则库。
该训练学习模式还包括新标注的确认：
确认建立的新标注与该标注库中的标注无冲突时，更新该新标注至该标注库。
在工作模式下，机器人基于该标注库以及规则库，完成用户指定的任务和交互。
请参考图5，该对三维环境中物体和人的归属使用关系进行动态标注的步骤是基于机器视觉和自然语言理解以及调用的机器人3D语义地图(又称三维环境语义地图)完成的。
该标注更新确认流程包括：
步骤201：获取当前场景的语义地图或者该交互示范行为；
步骤202：识别当前场景的语义地图或者交互示范行为中是否有新的归属使用关系，
步骤203：解析和标注该新的归属使用关系，并存储至该标注库；
步骤204：确认建立的新标注与该标注库中的标注无冲突时，更新该新标注至该标注库。
请参考图6，所示为机器人在工作模式下的流程图，该工作模式包括以下步骤：
步骤301：接收用户语音指令，识别该语音指令；
步骤302：根据识别的语音指令以及该规则库进行任务规划；
步骤303：判断该任务规划是否存在冲突规则；
步骤305：该任务规划不存在冲突规则时，执行该任务规划；
步骤306：存在冲突规则时，建立与用户的询问交互；
该询问交互过程包括：
步骤307：是否继续执行的询问，该机器人提出继续执行的询问交互，用户选择继续执行时忽略该冲突规则；
步骤308：是否取消的询问，该机器人提出取消的询问交互，用户选择取消时切换至工作模式；以及
步骤309：是否训练学习的询问，该机器人提出训练学习和工作模式切换的询问交互，用户选择进入训练学习模式时，切换至训练学习模式。
本申请提供的机器人动态学习方法、系统以及动态学习机器人和云端服务器，设置训练学习模式，通过交互示范行为对机器人进行训练学习，基于图像视觉和机器人语义理解，建立和不断更新标注库以及规则库，使机器人可以理清人物和环境特征和归属关系，并不断更新人物和环境的变化，从而实现基于 标注库和规则库完成与用户下达的较为复杂的任务或者完成与用户之间较为复杂的交互，提升用户体验。
实施例5
图7是本申请实施例提供的机器人动态学习方法的电子设备600的硬件结构示意图，如图7所示，该电子设备600包括：
一个或多个处理器610、存储器620、音频数据采集器630、视频数据采集器640、通信组件650以及显示单元660，图7中以一个处理器610为例。该音频数据采集器的输出为音频识别模块的输入，该视频数据采集器的输出视频识别模块的输入。该存储器620存储有可被该至少一个处理器610执行的指令，该指令被该至少一个处理器执行时调用音频数据采集器与视频数据采集器的数据，通过通信组件650与云端服务器建立连接，以使该至少一个处理器能够执行该机器人动态学习方法。
处理器610、存储器620、显示单元660以及人机交互单元630可以通过总线或者其他方式连接，图7中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的机器人动态学习方法对应的程序指令/模块(例如，附图3所示的训练学习模块20、工作模块30、动态标注模块22、标注更新模块24、规则更新模块26、询问交互模块32、确认模块140以及优化模块130)。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的机器人动态学习方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据机器人的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至机器人交互电子设备。 上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述任意方法实施例中的机器人动态学习方法，例如，执行以上描述的图2中的方法步骤101至步骤104，图4中的方法步骤201至步骤204，图5中的方法步骤301至步骤309。实现图3所示的训练学习模块20、工作模块30、动态标注模块22、标注更新模块24、规则更新模块26、询问交互模块32、确认模块140以及优化模块130等的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图2中的方法步骤101至步骤104，图4中的方法步骤201至步骤204，图5中的方法步骤301至步骤309。实现图3所示的训练学习模块20、工作模块30、动态标注模块22、标注更新模块24、规则更新模块26、询问交互模块32、确认模块140以及优化模块130等的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (20)

  1. 一种机器人动态学习方法，其特征在于，包括训练学习模式，所述训练学习模式包括以下步骤：
    对三维环境中物体和人的归属使用关系进行动态标注，形成标注库；
    获取规则库，基于所述规则库与标注库通过交互示范行为建立新规则以及新标注；
    确认建立的新规则所述规则库中的规则无冲突时，更新所述新规则至所述规则库。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    确认建立的新标注与所述标注库中的标注无冲突时，更新所述新标注至所述标注库；以及
    基于所述标注库以及规则库，完成用户指定的任务和交互。
  3. 根据权利要求1或2所述的方法，其特征在于，所述对三维环境中物体和人的归属使用关系进行动态标注的步骤还包括：
    基于机器视觉和自然语言理解，调用机器人三维环境语义地图；
    获取当前场景的语义地图或者所述交互示范行为，识别当前场景的语义地图或者交互示范行为中是否有新的归属使用关系，解析和标注所述新的归属使用关系，并存储至所述标注库。
  4. 根据权利要求3所述的方法，其特征在于，所述规则库的每一规则以及交互示范行为包括四要素：主体、客体、执行的动作以及是否被允许，所述规则库包括默认场景规则和学习规则。
  5. 根据权利要求4所述的方法，其特征在于，还包括工作模式，所述工作模式包括以下步骤：
    接收用户语音指令，识别所述语音指令；
    根据识别的语音指令以及所述规则库进行任务规划，
    判断所述任务规划是否存在冲突规则，存在冲突规则时，建立与用户的询问交互。
  6. 根据权利要求5所述的方法，其特征在于，所述询问交互包括：
    继续执行的询问交互，用户选择继续执行时忽略所述冲突规则；
    取消的询问交互，用户选择取消时切换至工作模式；以及
    进入训练学习模式的询问交互。
  7. 一种机器人动态学习系统，其特征在于，包括训练学习模块，所述训练学习模块用于执行以下步骤：
    对三维环境中物体和人的归属使用关系进行动态标注，形成标注库；
    获取规则库，基于所述规则库与标注库通过交互示范行为建立新规则以及新标注；
    确认建立的新规则与所述规则库中的规则无冲突时，更新所述新规则至所述规则库。
  8. 根据权利要求7所述的系统，其特征在于，还包括任务执行模块，
    所述训练学习模块还用于确认建立的新标注与所述标注库中的标注无冲突时，更新所述新标注至所述标注库；
    所述任务执行模块用于基于所述标注库以及规则库，完成用户指定的任务和交互。
  9. 根据权利要求7或8所述的系统，其特征在于，所述训练学习模块还包括标注更新模块，所述标注更新模块用于：
    基于机器视觉和自然语言理解，调用机器人三维环境语义地图；
    获取当前场景的语义地图或者所述交互示范行为，识别当前场景的语义地图或者交互示范行为中是否有新的归属使用关系，解析和标注所述新的归属使用关系，并存储至所述标注库。
  10. 根据权利要求9所述的系统，其特征在于，所述规则库的每一规则以及 交互示范行为包括四要素：主体、客体、执行的动作以及是否被允许；所述规则库包括默认场景规则和学习规则。
  11. 根据权利要求10所述的系统，其特征在于，还包括工作模块，所述工作模块用于执行以下步骤：
    接收用户语音指令，识别所述语音指令；
    根据识别的语音指令以及所述规则库进行任务规划，
    判断所述任务规划是否存在冲突规则，存在冲突规则时，建立与用户的询问交互。
  12. 根据权利要求11所述的系统，其特征在于，还包括询问交互模块，所述询问交互模块包括以下询问交互内容：
    继续执行的询问交互，用户选择继续执行时忽略所述冲突规则；
    取消的询问交互，用户选择取消时切换至工作模块；以及
    进入训练学习模块的询问交互。
  13. 一种动态学习机器人，其特征在于，包括训练学习模块，所述训练学习模块包括动态标注模块、获取模块、规则更新模块以及任务执行模块，
    所述动态标注模块用于对三维环境中物体和人的归属使用关系进行动态标注，并存储至标注库；
    获取模块用于获取规则库；
    所述规则更新模块用于基于所述规则库与标注库通过交互示范行为建立新规则，并存储至规则库；
    所述动态标注模块还用于基于所述规则库与标注库通过交互示范行为建立新标注，并存储至标注库；
    任务执行模块用于基于所述标注库以及规则库，完成用户指定的任务和交互。
  14. 根据权利要求1所述的动态学习机器人，其特征在于，还包括标注更新 模块，所述标注更新模块用于：
    基于机器视觉和自然语言理解，获取机器人三维环境语义地图；
    获取当前场景的语义地图或者所述交互示范行为，识别当前场景的语义地图或者交互示范行为中是否有新的归属使用关系，解析和标注所述新的归属使用关系，并存储至所述标注库。
  15. 根据权利要求3所述的动态学习机器人，其特征在于，所述规则库的每一规则以及交互示范行为包括四要素：主体、客体、执行的动作以及是否被允许；所述规则库包括默认场景规则和学习规则。
  16. 根据权利要求4所述的动态学习机器人，其特征在于，还包括工作模块，所述工作模块包括识别模块、任务建立模块、冲突判断模块以及询问交互模块：
    所述识别模块用于接收用户语音指令，识别所述语音指令；
    所述任务建立模块用于根据识别的语音指令以及所述规则库进行任务规划，
    所述冲突判断模块用于判断所述任务规划是否存在冲突规则；
    所述询问交互模块用于在存在冲突规则时，建立与用户的询问交互。
  17. 一种云端服务器，其特征在于，包括存储模块、接收模块以及确认模块，
    所述存储模块用于存储来自机器人的对三维环境中物体和人的归属使用关系进行动态标注的标注，形成标注库；
    所述存储模块还用于存储机器人的规则库；
    所述接收模块用于接收机器人基于所述规则库与标注库通过交互示范行为建立的新规则；
    所述接收模块还用于接收机器人基于所述规则库与标注库通过交互示范行为建立的新标注；
    所述确认模块用于确认所述新规则与所述规则库中的规则以及新标注与所述标注库中标注有无冲突，无冲突时将所述新规则更新至所述规则库以及将新标注更新至所述标注库。
  18. 根据权利要求17所述的云端服务器，其特征在于，还包括优化模块和发送模块，所述发送模块用于根据机器人请求发送对应标注和规则；所述优化模块用于接收机器人任务规划，并基于所述标注库和规则库优化所述任务规划。
  19. 一种电子设备，其中，包括：
    至少一个处理器；以及，
    与所述至少一个处理器通信连接的存储器，通信组件、音频数据采集器以及视频数据采集器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时调用音频数据采集器与视频数据采集器的数据，通过通信组件与云端服务器建立连接，以使所述至少一个处理器能够执行权利要求1-6任一项所述的方法。
  20. 一种非易失性计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-6任一项所述的方法。
PCT/CN2017/101414 2017-09-12 2017-09-12 一种机器人动态学习方法、系统、机器人以及云端服务器 WO2019051645A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/CN2017/101414 WO2019051645A1 (zh) 2017-09-12 2017-09-12 一种机器人动态学习方法、系统、机器人以及云端服务器
JP2020515011A JP7085788B2 (ja) 2017-09-12 2017-09-12 ロボットの動的学習方法、システム、ロボット及びクラウドサーバ
EP17925262.2A EP3683730A4 (en) 2017-09-12 2017-09-12 DYNAMIC ROBOT, ROBOT AND CLOUD SERVER LEARNING PROCESS AND SYSTEM
CN201780003334.6A CN108235697B (zh) 2017-09-12 2017-09-12 一种机器人动态学习方法、系统、机器人以及云端服务器
US16/815,840 US11580454B2 (en) 2017-09-12 2020-03-11 Dynamic learning method and system for robot, robot and cloud server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/101414 WO2019051645A1 (zh) 2017-09-12 2017-09-12 一种机器人动态学习方法、系统、机器人以及云端服务器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/815,840 Continuation US11580454B2 (en) 2017-09-12 2020-03-11 Dynamic learning method and system for robot, robot and cloud server

Publications (1)

Publication Number Publication Date
WO2019051645A1 true WO2019051645A1 (zh) 2019-03-21

Family

ID=62643307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/101414 WO2019051645A1 (zh) 2017-09-12 2017-09-12 一种机器人动态学习方法、系统、机器人以及云端服务器

Country Status (5)

Country Link
US (1) US11580454B2 (zh)
EP (1) EP3683730A4 (zh)
JP (1) JP7085788B2 (zh)
CN (1) CN108235697B (zh)
WO (1) WO2019051645A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200168094A1 (en) * 2017-07-18 2020-05-28 Pioneer Corporation Control device, control method, and program
CN111696209A (zh) * 2020-06-15 2020-09-22 广东红海湾发电有限公司 基于逆向工程的火电机组三维检修培训架构、方法及系统
CN113780560A (zh) * 2021-08-31 2021-12-10 同济大学 一种基于虚拟演示的机器人任务知识自生成系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738304A (zh) * 2018-07-18 2020-01-31 科沃斯机器人股份有限公司 机器模型更新方法、设备及存储介质
CN109693244B (zh) * 2018-12-24 2020-06-12 零犀(北京)科技有限公司 优化对话机器人的方法及装置
CN111376248B (zh) * 2018-12-28 2022-04-15 深圳市优必选科技有限公司 机器人、机器人的决策方法及终端设备
CN110341047B (zh) * 2019-07-10 2021-03-19 广州市建筑集团混凝土有限公司 自动配料系统
JP6900058B2 (ja) * 2019-07-30 2021-07-07 株式会社リビングロボット パーソナルアシスタント制御システム
CN113591888A (zh) * 2020-04-30 2021-11-02 上海禾赛科技有限公司 用于激光雷达的点云数据标注网络系统及标注方法
US11679497B2 (en) * 2020-05-21 2023-06-20 Intrinsic Innovation Llc Distributed robotic demonstration learning
CN112668687B (zh) * 2020-12-01 2022-08-26 达闼机器人股份有限公司 云端机器人系统、云服务器、机器人控制模块和机器人
CN112884129B (zh) * 2021-03-10 2023-07-18 中国人民解放军军事科学院国防科技创新研究院 一种基于示教数据的多步规则提取方法、设备及存储介质
TWI825468B (zh) * 2021-08-25 2023-12-11 財團法人資訊工業策進會 導航裝置及方法
CN115193643B (zh) * 2022-03-30 2023-06-23 臻越智能装备(佛山)有限公司 一种基于机器视觉的汽车内饰喷胶设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060155436A1 (en) * 2004-12-14 2006-07-13 Honda Motor Co., Ltd. Route generating system for an autonomous mobile robot
JP2008299135A (ja) * 2007-05-31 2008-12-11 Nec Corp 音声合成装置、音声合成方法、および音声合成用プログラム
CN101354587A (zh) * 2008-09-04 2009-01-28 湖南大学 一种未知环境下移动机器人多行为融合自动导航方法
CN106101621A (zh) * 2016-06-23 2016-11-09 深圳先进技术研究院 一种基于导航机器人的室内街景绘制系统及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3682533B2 (ja) 2002-05-30 2005-08-10 独立行政法人情報通信研究機構 画像識別方法及び画像認識モデル
US7299110B2 (en) 2004-01-06 2007-11-20 Honda Motor Co., Ltd. Systems and methods for using statistical techniques to reason with noisy data
JP4635486B2 (ja) 2004-06-29 2011-02-23 ソニー株式会社 概念獲得装置及びその方法、並びにロボット装置及びその行動制御方法
US8868410B2 (en) * 2007-08-31 2014-10-21 National Institute Of Information And Communications Technology Non-dialogue-based and dialogue-based learning apparatus by substituting for uttered words undefined in a dictionary with word-graphs comprising of words defined in the dictionary
KR20090024423A (ko) * 2007-09-04 2009-03-09 한국전자통신연구원 지능형 시스템의 학습 장치 및 방법
JP2009140348A (ja) 2007-12-07 2009-06-25 Toyota Motor Corp 行動決定装置、行動学習装置、及びロボット装置
CN101833333B (zh) * 2009-12-23 2011-09-14 湖南大学 水下清洗作业机器人未知环境路径规划方法
US8380349B1 (en) * 2011-05-06 2013-02-19 Google Inc. Methods and systems for providing instructions to a robotic device
US20130343640A1 (en) * 2012-06-21 2013-12-26 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US9463571B2 (en) * 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
JP6328580B2 (ja) 2014-06-05 2018-05-23 Ｃｏｃｏｒｏ Ｓｂ株式会社 行動制御システム及びプログラム
US9465796B2 (en) * 2014-12-01 2016-10-11 Symbol Technologies, Llc Apparatus and method for dynamically updating landmarks in a space during execution of natural language instructions
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
US9792531B2 (en) * 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
JP2017130171A (ja) 2016-01-20 2017-07-27 洋彰 宮崎 ブラックボックスでない人工知能装置
US11301775B2 (en) * 2016-08-29 2022-04-12 Cloudminds Robotics Co., Ltd. Data annotation method and apparatus for enhanced machine learning
CN106547884A (zh) * 2016-11-03 2017-03-29 深圳量旌科技有限公司 一种替身机器人的行为模式学习系统
CN106313079A (zh) 2016-11-05 2017-01-11 杭州畅动智能科技有限公司 机器人人机交互方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060155436A1 (en) * 2004-12-14 2006-07-13 Honda Motor Co., Ltd. Route generating system for an autonomous mobile robot
JP2008299135A (ja) * 2007-05-31 2008-12-11 Nec Corp 音声合成装置、音声合成方法、および音声合成用プログラム
CN101354587A (zh) * 2008-09-04 2009-01-28 湖南大学 一种未知环境下移动机器人多行为融合自动导航方法
CN106101621A (zh) * 2016-06-23 2016-11-09 深圳先进技术研究院 一种基于导航机器人的室内街景绘制系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3683730A4
YU , JINSHAN ET AL.: "Semantic Database Design and Semantic Map Construction of Robots Based on the Cloud", ROBOT, vol. 38, no. 4, 1 July 2016 (2016-07-01), pages 410 - 419, XP055678998, DOI: 10.13973/j.cnki.robot.2016.0410 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200168094A1 (en) * 2017-07-18 2020-05-28 Pioneer Corporation Control device, control method, and program
CN111696209A (zh) * 2020-06-15 2020-09-22 广东红海湾发电有限公司 基于逆向工程的火电机组三维检修培训架构、方法及系统
CN111696209B (zh) * 2020-06-15 2023-05-26 广东红海湾发电有限公司 基于逆向工程的火电机组三维检修培训架构、方法及系统
CN113780560A (zh) * 2021-08-31 2021-12-10 同济大学 一种基于虚拟演示的机器人任务知识自生成系统
CN113780560B (zh) * 2021-08-31 2024-02-27 同济大学 一种基于虚拟演示的机器人任务知识自生成系统

Also Published As

Publication number Publication date
US20200210901A1 (en) 2020-07-02
JP7085788B2 (ja) 2022-06-17
CN108235697A (zh) 2018-06-29
US11580454B2 (en) 2023-02-14
CN108235697B (zh) 2020-03-31
EP3683730A1 (en) 2020-07-22
EP3683730A4 (en) 2020-09-23
JP2020533708A (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
WO2019051645A1 (zh) 一种机器人动态学习方法、系统、机器人以及云端服务器
US11151992B2 (en) Context aware interactive robot
CN112668687B (zh) 云端机器人系统、云服务器、机器人控制模块和机器人
US11210836B2 (en) Applying artificial intelligence to generate motion information
US20240111938A1 (en) Systems and Methods Enabling Online One-Shot Learning and Generalization by Intelligent Systems of Task-Relevant Features and Transfer to a Cohort of Intelligent Systems
US10963493B1 (en) Interactive game with robot system
US8996429B1 (en) Methods and systems for robot personality development
US9542930B2 (en) System and method for enhancing locative response abilities of autonomous and semi-autonomous agents
CN106845624A (zh) 与智能机器人的应用程序有关的多模态交互方法及系统
US20210334474A1 (en) Natural Language System and Methods
CN111858861B (zh) 一种基于绘本的问答交互方法及电子设备
CN105354180A (zh) 一种实现开放式语义交互服务的方法及系统
CN112507139A (zh) 基于知识图谱的问答方法、系统、设备及存储介质
US20210174151A1 (en) Response based on hierarchical models
CN107431836A (zh) 一种用于与专家协同工作的设备的系统和方法
Ferreira et al. Users’ belief awareness in reinforcement learning-based situated human–robot dialogue management
US20230119860A1 (en) Matching system, matching method, and matching program
Meo et al. Aesop: A visual storytelling platform for conversational ai and common sense grounding
US20210232949A1 (en) Information processing device, information processing method, and program
KR20210019818A (ko) 양방향 교감 맞춤형 학습 컨텐츠 제공 시스템 및 방법
CN110442694A (zh) 一种智能交互平台训练方法、装置、设备
CN109766795B (zh) 基于循环神经网络的虚拟现实场景下人机交互方法及系统
TWI639997B (zh) 基於機率規則之對話理解方法
US20220331953A1 (en) Robot control method, storage medium and electronic device
CN108172226A (zh) 一种可学习应答语音和动作的语音控制机器人

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17925262

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020515011

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017925262

Country of ref document: EP

Effective date: 20200414