KR20200134060A - System and method for generating automatically Robot planning Based on Behavior - Google Patents
System and method for generating automatically Robot planning Based on Behavior Download PDFInfo
- Publication number
- KR20200134060A KR20200134060A KR1020190059606A KR20190059606A KR20200134060A KR 20200134060 A KR20200134060 A KR 20200134060A KR 1020190059606 A KR1020190059606 A KR 1020190059606A KR 20190059606 A KR20190059606 A KR 20190059606A KR 20200134060 A KR20200134060 A KR 20200134060A
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- planning model
- extracting
- action
- planning
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Abstract
Description
본 발명은 서술형 행동수행 단계 기반 로봇계획 자동생성시스템 및 자동생성방법에 관한 것이다.The present invention relates to an automatic generation system and a method for automatically generating a robot plan based on a narrative action execution step.
행동 수행 조건, 수행할 행동, 수행 후 환경 변화로 구성된 계획모델을 이용한 로봇 작업 수행 및 자연어 명령을 이해하고 해당되는 작업을 수행하는 기술은 보편적인 기술이며, 많은 부분에서 진행을 하고 있다. The technology to perform robot tasks and understand natural language commands and perform the corresponding tasks using a planning model consisting of the conditions for performing actions, actions to be performed, and changes in the environment after execution is a common technique and is being carried out in many areas.
하지만 전문 지식이 없는 일반 사용자의 자연어 기반 작업 수행 단계 교시가 아닌, 전문가에 의한 계획 모델 생성 및 최적 행동 선택 기술의 성능 개선에 집중하고 있다. 또한 자연어로 서술된 작업 수행 단계를 자동으로 계획모델로 변경하는 시스템 구현은 적용예가 찾기 힘들다.However, instead of teaching the natural language-based task execution stage of general users without specialized knowledge, the focus is on the performance improvement of the planning model creation and optimal behavior selection techniques by experts. In addition, it is difficult to find an application example to implement a system that automatically changes the task execution step described in natural language into a planning model.
사용자의 의로를 이해하고 설계된 계획모델 기반의 로봇 행동 생성은 인간 로봇 상호작용의 성능 향상을 위해 노력하고 있으며, 관련된 기술들은 보편화된 기술이라 할 수 있다. 하지만 로봇 계획모델 선택의 성능이 향상된다고 해서 전문지식이 없는 사용자가 로봇을 활용에 있어 효율성을 확보한다고 할 수 없다. 이에 계획모델을 설계를 위한 교육 및 계획모델 저작도구의 개발을 통해 그 효율성을 확보해야 하는데, 물론 이 과정이 필수적이긴 하지만, 그 교육시간과 개발비용이 많이 소모된다. 또한 전문 인력 양성하는 것도 쉽지 않다.Robot behavior generation based on a planning model designed to understand the intentions of users is striving to improve the performance of human robot interaction, and related technologies can be said to be generalized technologies. However, the improved performance of robot planning model selection does not mean that users without specialized knowledge can secure efficiency in using the robot. Therefore, it is necessary to secure the efficiency through education for designing the planning model and the development of a planning model authoring tool. Of course, this process is essential, but it consumes a lot of training time and development cost. Also, it is not easy to cultivate professional manpower.
재난 대응 로봇, 제조 로봇, 가정용 서비스 로봇 등은 사용 환경을 고려한 단계적인 행동 수행을 통한 작업 목표를 달성하여 사용자의 일을 대신하거나 보조할 수 있다. 하지만 인간이 행동 수행 단계를 자연어로 교시하는 것과 다르게, 로봇은 행동수행 환경조건, 수행할 행동, 수행 후 환경변화로 설계된 계획모델(Plan model)이 필요하다. 따라서 전문지식이 없는 사용자가 행동의 수행 단계를 자연어로 교시하여 서비스를 수정하거나 신규로 생성하기 어려우며, 계획모델의 수정 및 개선을 위해 전문가의 노력을 소모하는 문제가 발생한다.Disaster response robots, manufacturing robots, home service robots, etc. can take over or assist users' work by achieving work goals through step-by-step actions taking into account the use environment. However, unlike humans teaching the steps to perform actions in natural language, robots need a plan model designed with environmental conditions for performing actions, actions to be performed, and environmental changes after performance. Therefore, it is difficult for a user without specialized knowledge to modify or create a new service by teaching the execution step of an action in natural language, and there is a problem that the effort of an expert is consumed to modify and improve the planning model.
이를 해결하기 위해 자연어로 교시된 작업 단계 문장의 형태소 분석을 기반으로, 행동 수행의 조건 및 수행할 행동을 도출하여 자동으로 로봇 계획모델을 생성하는 시스템의 개발이 요구되었다. In order to solve this problem, it was required to develop a system that automatically generates a robot planning model by deriving the condition of action execution and the action to be performed based on the morpheme analysis of the sentence of the work step taught in natural language.
따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 실시예에 따르면, 자연어로 교시된 작업 단계 문장의 형태소 분석을 기반으로, 행동 수행의 조건 및 수행할 행동을 도출하여 자동으로 로봇 계획모델을 생성하는 시스템으로서, 이를 통해서 자연어기반 작업 수행 단계를 전문가의 도움 없이 로봇이 이해하는 계획모델로 변경할 수 있으며, 기존 작업 수행 단계의 변경 및 신규 서비스 수행을 전문지식 없는 사용자가 로봇에 교시할 수 있는 서술형 행동수행 단계 기반 로봇계획 자동생성시스템 및 자동생성방법을 제공하는데 그 목적이 있다. Accordingly, the present invention was conceived to solve the conventional problems as described above, and according to an embodiment of the present invention, based on the morpheme analysis of the sentence of the working step taught in natural language, the condition of performing the action and the action to be performed are derived. This is a system that automatically generates a robot planning model. Through this, the natural language-based task execution step can be changed to a planning model that the robot understands without the help of an expert, and users without expertise in changing existing task execution steps and performing new services. Its purpose is to provide a robot plan automatic generation system and automatic generation method based on the narrative action performance stage that can be taught to the robot.
본 발명의 실시예에 따르면, 자연어로 서술된 작업 수행 단계에 대해 자동으로 로봇이 활용 가능한 계획 모델로 변경하며, 별도의 교육 및 저작도구 없이 로봇의 서비스를 개선 및 개발할 수 있는 서술형 행동수행 단계 기반 로봇계획 자동생성시스템 및 자동생성방법을 제공하는데 그 목적이 있다. According to an embodiment of the present invention, a robot-enabled planning model is automatically changed to a task execution step described in natural language, and a narrative action step-based that can improve and develop the robot's service without separate education and authoring tools. Its purpose is to provide a robot plan automatic generation system and automatic generation method.
그리고 본 발명의 실시예에 따르면, 로봇작업 수행을 위한 계획모델 생성을 자동화할 수 있고, 자연어기반 행동수행 단계 서술문에 의한 로봇 작업 수행을 자동화할 수 있으며, 자동화를 통한 계획모델 설계 인력의 작업량을 감소시킬 수 있고, 전문지식이 없는 사용자의 로봇 사용의 효율성을 증가시킬 수 있는 서술형 행동수행 단계 기반 로봇계획 자동생성시스템 및 자동생성방법을 제공하는데 그 목적이 있다. In addition, according to an embodiment of the present invention, it is possible to automate the creation of a planning model for performing a robot task, to automate the execution of a robot task based on a natural language-based action execution step statement, and reduce the workload of the planning model design personnel through automation. Its purpose is to provide a robot plan automatic generation system and automatic generation method based on a narrative action performance stage that can reduce and increase the efficiency of robot use by users without specialized knowledge.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Meanwhile, the technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned are clearly to those of ordinary skill in the technical field to which the present invention belongs from the following description. It will be understandable.
본 발명의 제1목적은, 로봇계획 자동생성시스템에 있어서, 사용자에 의해 자연어로 서술된 로봇작업행동을 입력받는 수행단계입력부; 상기 자연어로 서술된 로봇작업행동 문장 내의 형태소를 추출하는 형태소 추출부; 상기 형태소를 추출한 후, 계획모델 요소를 추출하는 계획요소추출부; 및 상기 계획모델 요소추출 후, 계획모델을 생성하는 계획모델생성부;를 포함하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성시스템으로서 달성될 수 있다. A first object of the present invention is a system for automatically generating a robot plan, comprising: a performing step input unit for receiving a robot operation behavior described in natural language by a user; A morpheme extracting unit for extracting morphemes in the sentence of robot work behavior described in the natural language; A planning element extracting unit for extracting a planning model element after extracting the morpheme; And a planning model generation unit that generates a planning model after extracting the planning model elements. It may be achieved as a robot plan automatic generation system based on the narrative action performance step.
그리고 상기 형태소 추출부는, 문장 내의 주어, 목적어, 서술어를 구별 판단하고, 반복어 존재를 판단하여 종료조건을 생성하는 것을 특징으로 할 수 있다. In addition, the morpheme extracting unit may distinguish between a subject, an object, and a predicate in a sentence, determine the existence of a repetitive word, and generate an end condition.
또한, 상기 계획모델 요소추출부는, 행동수행환경조건과, 행동명, 행동후 환경변화를 생성하는 것을 특징으로 할 수 있다. In addition, the planning model element extraction unit may be characterized by generating an action performance environment condition, an action name, and an environment change after the action.
본 발명의 제2목적은 로봇계획 자동생성방법에 있어서, 사용자가 수행단계입력부를 통해 자연어로 서술된 로봇작업행동을 입력하는 제1단계; 형태소 추출부가 상기 자연어로 서술된 로봇작업행동 문장 내의 형태소를 추출하는 제2단계; 상기 형태소를 추출한 후, 계획요소추출부가 계획모델 요소를 추출하는 제3단계; 및 상기 계획모델 요소추출 후, 계획모델생성부가 계획모델을 생성하는 제4단계를 포함하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성방법으로서 달성될 수 있다. A second object of the present invention is a method for automatically generating a robot plan, comprising: a first step of a user inputting a robot work action described in natural language through an execution step input unit; A second step of extracting, by a morpheme extraction unit, a morpheme in the sentence of the robot work action described in the natural language; A third step of extracting, by a planning element extraction unit, a planning model element after extracting the morpheme; And a fourth step of generating the planning model by the planning model generation unit after the planning model element is extracted. It may be achieved as a method of automatically generating a robot plan based on a narrative action performance step.
그리고 상기 제2단계에서, 상기 형태소 추출부가, 문장 내의 주어, 목적어, 서술어를 구별 판단하고, 반복어 존재를 판단하여 종료조건을 생성하는 것을 특징으로 할 수 있다. In the second step, the morpheme extraction unit may distinguish between a subject, an object, and a predicate in a sentence, and determine the existence of a repetitive word to generate an end condition.
또한, 상기 제3단계에서, 상기 계획요소추출부가 수행 행동어를 생성하는 단계; 이전단계 수행후 환경변화를 파악하여 수행환경조건을 생성하는 단계; 및 행동별 환경변화 추론모델을 선택하고 환경변화를 추론하여 행동후 환경변화를 생성하는 단계;를 포함하는 것을 특징으로 할 수 있다. In addition, in the third step, the planning element extraction unit generating an execution action word; Identifying environmental changes after performing the previous step to create an execution environmental condition; And generating an environment change after the action by selecting an environment change inference model for each behavior and inferring the environment change.
그리고 마지막 교시문장까지 상기 제2, 제3단계를 반복하는 것을 특징으로 할 수 있다. In addition, it may be characterized in that the second and third steps are repeated until the last instruction sentence.
또한, 상기 제4단계는 마지막 교시문장에 대하여 계획요소를 생성하면 계획모델을 생성하고 관리하는 것을 특징으로 할 수 있다. In addition, the fourth step may be characterized in that a planning model is created and managed when a planning element is generated for the last teaching sentence.
본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성시스템 및 자동생성방법에 따르면, 자연어로 교시된 작업 단계 문장의 형태소 분석을 기반으로, 행동 수행의 조건 및 수행할 행동을 도출하여 자동으로 로봇 계획모델을 생성하는 시스템으로서, 이를 통해서 자연어기반 작업 수행 단계를 전문가의 도움 없이 로봇이 이해하는 계획모델로 변경할 수 있으며, 기존 작업 수행 단계의 변경 및 신규 서비스 수행을 전문지식 없는 사용자가 로봇에 교시할 수 있는 효과를 갖는다. According to the robot plan automatic generation system and automatic generation method based on the narrative action performance step according to an embodiment of the present invention, based on the morpheme analysis of the work step sentence taught in natural language, the condition of action performance and the action to be performed are derived and automatically It is a system that creates a robot planning model through this, and through this, the natural language-based task execution step can be changed to a planning model that the robot understands without the help of experts, and users without expertise can change the existing task execution step and perform new services. It has an effect that can be taught to.
그리고 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성시스템 및 자동생성방법에 따르면, 자연어로 서술된 작업 수행 단계에 대해 자동으로 로봇이 활용 가능한 계획 모델로 변경하며, 별도의 교육 및 저작도구 없이 로봇의 서비스를 개선 및 개발할 수 있는 장점이 있다. In addition, according to the automatic generation system and automatic generation method of a robot plan based on a narrative action execution step according to an embodiment of the present invention, the robot can automatically change the task execution step described in natural language to a planning model that can be used, and separate training and It has the advantage of improving and developing robot services without authoring tools.
그리고 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성시스템 및 자동생성방법에 따르면, 로봇작업 수행을 위한 계획모델 생성을 자동화할 수 있고, 자연어기반 행동수행 단계 서술문에 의한 로봇 작업 수행을 자동화할 수 있으며, 자동화를 통한 계획모델 설계 인력의 작업량을 감소시킬 수 있고, 전문지식이 없는 사용자의 로봇 사용의 효율성을 증가시킬 수 있는 장점이 있다.And according to the robot plan automatic generation system and the automatic generation method based on the narrative action performance step according to the embodiment of the present invention, it is possible to automate the generation of the planning model for performing the robot task, and the robot task is performed by the natural language-based action performance step statement. It has the advantage of being able to automate, reducing the workload of planning model design personnel through automation, and increasing the efficiency of robot use by users without expertise.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.On the other hand, the effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description. I will be able to.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성시스템의 구성도,
도 2는 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성시스템의 흐름을 나타낸 블록도,
도 3은 도 2의 서술형 행동수행 단계 기반 로봇계획 자동생법에 대한 일예를 나타낸 흐름도,
도 4는 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성방법의 흐름도,
도 5는 도 4의 서술형 행동수행 단계 기반 로봇계획 자동생성방법의 각단계를 보다 상세하게 나타낸 흐름도를 도시한 것이다. The following drawings attached to the present specification illustrate a preferred embodiment of the present invention, and serve to further understand the technical idea of the present invention together with the detailed description of the present invention, so the present invention is limited to the matters described in such drawings. It is limited and should not be interpreted.
1 is a configuration diagram of a robot plan automatic generation system based on a narrative action execution step according to an embodiment of the present invention;
2 is a block diagram showing the flow of a robot plan automatic generation system based on a narrative action execution step according to an embodiment of the present invention;
FIG. 3 is a flow chart showing an example of the robot plan automatic generation method based on the narrative action performance step of FIG. 2;
4 is a flowchart of a method for automatically generating a robot plan based on a narrative action performance step according to an embodiment of the present invention;
5 is a flowchart illustrating in more detail each step of the method for automatically generating a robot plan based on the narrative action execution step of FIG. 4.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 통상의 기술자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features, and advantages of the present invention will be easily understood through the following preferred embodiments related to the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed content may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.In the present specification, when a component is referred to as being on another component, it means that it may be formed directly on the other component or that a third component may be interposed between them. In addition, in the drawings, the thickness of the components is exaggerated for effective description of the technical content.
본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 예를 들면, 직각으로 도시된 영역은 라운드지거나 소정 곡률을 가지는 형태일 수 있다. 따라서 도면에서 예시된 영역들은 속성을 가지며, 도면에서 예시된 영역들의 모양은 소자의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다. 본 명세서의 다양한 실시예들에서 제1, 제2 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.Embodiments described herein will be described with reference to cross-sectional views and/or plan views, which are ideal exemplary views of the present invention. In the drawings, the thicknesses of films and regions are exaggerated for effective description of technical content. Therefore, the shape of the exemplary diagram may be modified by manufacturing technology and/or tolerance. Accordingly, embodiments of the present invention are not limited to the specific form shown, but also include a change in form generated according to the manufacturing process. For example, an area shown at a right angle may be rounded or may have a shape having a predetermined curvature. Accordingly, the regions illustrated in the drawings have properties, and the shapes of the regions illustrated in the drawings are intended to illustrate a specific shape of a device region and are not intended to limit the scope of the invention. In various embodiments of the present specification, terms such as first and second are used to describe various elements, but these elements should not be limited by these terms. These terms are only used to distinguish one component from another component. The embodiments described and illustrated herein also include complementary embodiments thereof.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements.
아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.In describing the specific embodiments below, a number of specific contents have been prepared to explain the invention in more detail and to aid understanding. However, readers who have knowledge in this field to the extent that they can understand the present invention can recognize that it can be used without these various specific contents. In some cases, it is mentioned in advance that parts that are commonly known in describing the invention and are not largely related to the invention are not described in order to prevent confusion without any reason in describing the invention.
이하에서는 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성시스템(10)의 구성 및 로봇계획 자동생성방법에 대해 설명하도록 한다. Hereinafter, the configuration of the robot plan
도 1은 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성시스템(10)의 구성도를 도시한 것이다. 도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성시스템(10)은 전체적으로 수행단계입력부(1)와, 계획모델자동생생부를 포함하여 구성되며, 계획모델자동생성부(100)는 형태소 추출부(110)와, 계획요소추출부(120)와, 계획모델생성부(130)를 포함하여 구성됨을 알 수 있다. 1 is a block diagram of a robot plan
수행단계입력부(1)는 사용자에 의해 자연어로 서술된 로봇작업행동을 입력받도록 구성된다. 그리고 형태소 추출부(110)는 자연어로 서술된 로봇작업행동 문장 내의 형태소를 추출한다. 형태소 추출부(110)는, 문장 내의 주어, 목적어, 서술어를 구별 판단하고, 반복어 존재를 판단하여 교시문장인 종료조건을 생성한다. The execution
또한, 계획요소추출부(120)는 형태소를 추출한 후, 계획모델 요소를 추출하도록 구성된다. 이러한 계획요소추출부(120)는, 행동명과, 행동수행 환경조건과, 행동후 환경변화를 생성하도록 구성된다. In addition, the planning
그리고 계획모델생성부(130)는 계획모델 요소추출 후, 계획모델을 생성하고 관리하도록 구성된다. And the planning
도 2는 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성시스템(10)의 흐름을 나타낸 블록도를 도시한 것이다. 그리고 도 3은 도 2의 서술형 행동수행 단계 기반 로봇계획 자동생법에 대한 일예를 나타낸 흐름도를 도시한 것이다. 2 is a block diagram showing the flow of a robot plan
도 2 및 도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 로봇 계획모델 자동 생성 시스템(10)은, 수행단계입력부(1)를 통해 사용자에 의한 자연어로 서술된 로봇 작업 단계 교시를 입력받고, 형태소 추출부(110)를 통해 서술된 로복작업단계 교시에 대해 형태소를 분석하게 된다. As shown in Figs. 2 and 3, the robot planning model
반복 수행 여부는 사용자 교시 문장 내 반복수행을 위한 조사(예: “~까지”)로 파악하며, 이때 반복 수행될 행동과 반복 수행을 종료할 환경 조건을 파악한다. 입력된 서술형 작업수행단계 교시문에서 전제조건 및 행동을 결정하기 위해 형태소 분석을 수행하며, 수행된 행동의 효과는 추론에 의해 파악하고 계획모델의 요소로 생성한다.Whether or not to perform repetition is identified as a survey for repetition in the user's instructional sentence (eg, “to”), and at this time, the behavior to be repeated and the environmental conditions at which the repetition will be terminated are identified. Morphological analysis is performed to determine prerequisites and actions in the input narrative work performance stage text, and the effect of the actions performed is grasped by reasoning and created as an element of the planning model.
도 4는 본 발명의 실시예에 따른 서술형 행동수행 단계 기반 로봇계획 자동생성방법의 흐름도를 도시한 것이다. 그리고 도 5는 도 4의 서술형 행동수행 단계 기반 로봇계획 자동생성방법의 각단계를 보다 상세하게 나타낸 흐름도를 도시한 것이다. 4 is a flowchart illustrating a method for automatically generating a robot plan based on a narrative action execution step according to an embodiment of the present invention. And FIG. 5 is a flowchart showing in more detail each step of the method for automatically generating a robot plan based on the narrative action execution step of FIG. 4.
서술형 작업수행단계 교시문에 의한 자동 로봇 계획모델 생성방식은 도 4 및 도 5에 도시된 바와 같이, 사용자의 음성 또는 문자 통해 서술형 로봇 작업 수행 단계를 입력받는다.The automatic robot planning model generation method based on the narrative task execution step instruction text receives the narrative robot task execution step through the user's voice or text, as shown in FIGS. 4 and 5.
교시문장 내 반복여부 판단부(S10)에서 교시문장의 형태소 분석을 수행한 후(S11), 주어 서술어 목적어 판단(S12) 및 반복어 존재 여부(S13)를 판단한다. After performing the morpheme analysis of the teaching sentence in the repetition determination unit S10 in the teaching sentence (S11), the subject predicate object determination (S12) and the existence of the repeated word (S13) are determined.
반복어가 존재하는 경우 반복 종료 조건을 생성하며(S14), 반복어가 존재하지 않는 경우 행동수행 환경조건 및 행동어 생성을 수행한다(S20). When there is a repetitive word, a repetition end condition is generated (S14), and when there is no repetitive word, an environment condition for performing an action and an action word are generated (S20).
먼저, 수행행동을 생성(행동어 생성)(S21)하고, 이전단계 수행후 환경변화를 파악(S22)하여 수행 환경조건을 생성하게 된다(S23). 로봇 행동은 서술어와 매칭되며, 전제조건은 이전 단계의 행동 효과와 매칭된다. First, an execution behavior is generated (action word generation) (S21), and environmental changes are identified after the previous step is performed (S22) to generate an execution environmental condition (S23). Robot behavior is matched with predicates, and preconditions are matched with behavioral effects from the previous step.
그리고 행동 수행 후 환경변화를 추론하게 된다(S30). 즉 교시문장에 대한 로봇 행동에 대하여 행동별 효과를 정의된 추론 모델을 이용하여 행동 수행후 환경변화를 결정한다(S30). And after the action is performed, the environmental change is inferred (S30). That is, environmental changes are determined after the action is performed using an inference model that defines the effect of each action on the robot action on the teaching sentence (S30).
행동별 환경변화 추론 모델을 선택한 후(S31), 환경변화를 추론하여(S32), 행동별 환경변화를 생성하게 된다(S33). After selecting an environmental change inference model for each behavior (S31), the environmental change is inferred (S32), and an environmental change for each behavior is generated (S33).
행동어, 행동수행 환경조건, 행동 후 환경변화를 계획 요소로 생성하며(S41), 마지막 교시문장까지 반복한다(S42). 마지막 교시문장에 대하여 계획 요소를 생성하면 계획 모델을 생성하고 관리한다(S43).Behavioral words, environmental conditions for performing actions, and environmental changes after actions are generated as planning elements (S41), and repeats until the last instruction sentence (S42). When a planning element is created for the last teaching sentence, a planning model is created and managed (S43).
또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.In addition, the above-described apparatus and method are not limitedly applicable to the configuration and method of the above-described embodiments, but all or part of each of the embodiments may be selectively combined so that various modifications can be made. It can also be configured.
1:수행단계입력부
10:서술형 행동수행 단계 기반 로봇계획 자동생성시스템
100:계획모델자동생성부
110:형태소 추출부
120:계획요소추출부
130:계획모델생성부1: execution step input section
10: Automatic creation system of robot plan based on the descriptive action execution stage
100: Plan model automatic generation unit
110: morpheme extraction unit
120: plan element extraction unit
130: planning model generation unit
Claims (8)
사용자에 의해 자연어로 서술된 로봇작업행동을 입력받는 수행단계입력부;
상기 자연어로 서술된 로봇작업행동 문장 내의 형태소를 추출하는 형태소 추출부;
상기 형태소를 추출한 후, 계획모델 요소를 추출하는 계획요소추출부; 및
상기 계획모델 요소추출 후, 계획모델을 생성하는 계획모델생성부;를 포함하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성시스템.
In the robot plan automatic generation system,
A performing step input unit for receiving a robot operation behavior described in natural language by a user;
A morpheme extracting unit for extracting morphemes in the sentence of robot work behavior described in the natural language;
A planning element extracting unit for extracting a planning model element after extracting the morpheme; And
And a planning model generation unit configured to generate a planning model after extracting the planning model elements.
상기 형태소 추출부는, 문장 내의 주어, 목적어, 서술어를 구별 판단하고, 반복어 존재를 판단하여 종료조건을 생성하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성시스템.
The method of claim 1,
The morpheme extraction unit distinguishes between a subject, an object, and a predicate in a sentence, and determines the existence of a repetitive word to generate an end condition.
상기 계획모델 요소추출부는, 행동수행환경조건과, 행동명, 행동후 환경변화를 생성하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성시스템.
The method of claim 2,
The planning model element extracting unit generates an action performance environment condition, action name, and post-action environment change.
사용자가 수행단계입력부를 통해 자연어로 서술된 로봇작업행동을 입력하는 제1단계;
형태소 추출부가 상기 자연어로 서술된 로봇작업행동 문장 내의 형태소를 추출하는 제2단계;
상기 형태소를 추출한 후, 계획요소추출부가 계획모델 요소를 추출하는 제3단계; 및
상기 계획모델 요소추출 후, 계획모델생성부가 계획모델을 생성하는 제4단계를 포함하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성방법.
In the robot plan automatic generation method,
A first step in which a user inputs a robot operation behavior described in natural language through an execution step input unit;
A second step of extracting, by a morpheme extraction unit, a morpheme in the sentence of the robot work action described in the natural language;
A third step of extracting, by a planning element extraction unit, a planning model element after extracting the morpheme; And
And a fourth step of generating a planning model by the planning model generation unit after the planning model element is extracted.
상기 제2단계에서,
상기 형태소 추출부가, 문장 내의 주어, 목적어, 서술어를 구별 판단하고, 반복어 존재를 판단하여 종료조건을 생성하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성방법.
The method of claim 4,
In the second step,
The morpheme extraction unit discriminates between a subject, an object, and a predicate in a sentence, and determines the existence of a repetitive word to generate an end condition.
상기 제3단계에서,
상기 계획요소추출부가 수행 행동어를 생성하는 단계;
이전단계 수행후 환경변화를 파악하여 수행환경조건을 생성하는 단계; 및
행동별 환경변화 추론모델을 선택하고 환경변화를 추론하여 행동후 환경변화를 생성하는 단계;를 포함하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성방법.
The method of claim 5,
In the third step,
Generating an execution action word by the planning element extraction unit;
Identifying environmental changes after performing the previous step to create an execution environmental condition; And
Generating an environment change after the action by selecting an environment change inference model for each action and inferring an environment change.
마지막 교시문장까지 상기 제2, 제3단계를 반복하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성방법.
The method of claim 6,
A method for automatically generating a robot plan based on a narrative action performance step, characterized in that repeating the second and third steps until the last instruction sentence.
상기 제4단계는 상기 마지막 교시문장에 대하여 계획요소를 생성하면 계획모델을 생성하고 관리하는 것을 특징으로 하는 서술형 행동수행 단계 기반 로봇계획 자동생성방법.The method of claim 7,
The fourth step is a method for automatically generating a robot plan based on a narrative action performance step, characterized in that when a planning element is generated for the last instruction sentence, a planning model is generated and managed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190059606A KR20200134060A (en) | 2019-05-21 | 2019-05-21 | System and method for generating automatically Robot planning Based on Behavior |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190059606A KR20200134060A (en) | 2019-05-21 | 2019-05-21 | System and method for generating automatically Robot planning Based on Behavior |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200134060A true KR20200134060A (en) | 2020-12-01 |
Family
ID=73790829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190059606A KR20200134060A (en) | 2019-05-21 | 2019-05-21 | System and method for generating automatically Robot planning Based on Behavior |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200134060A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112917516A (en) * | 2021-02-01 | 2021-06-08 | 北京航空航天大学 | Knowledge learning and reasoning execution system for autonomous assembly robot |
| CN113535144A (en) * | 2021-06-15 | 2021-10-22 | 北京彩彻区明科技有限公司 | Natural language programming method, device, equipment and storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120077052A (en) | 2010-12-30 | 2012-07-10 | 한양대학교 산학협력단 | Action selection method based on temporal prediction for intelligent robot |
| KR101553521B1 (en) | 2008-12-11 | 2015-09-16 | 삼성전자 주식회사 | Intelligent robot and control method thereof |
-
2019
- 2019-05-21 KR KR1020190059606A patent/KR20200134060A/en not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101553521B1 (en) | 2008-12-11 | 2015-09-16 | 삼성전자 주식회사 | Intelligent robot and control method thereof |
| KR20120077052A (en) | 2010-12-30 | 2012-07-10 | 한양대학교 산학협력단 | Action selection method based on temporal prediction for intelligent robot |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112917516A (en) * | 2021-02-01 | 2021-06-08 | 北京航空航天大学 | Knowledge learning and reasoning execution system for autonomous assembly robot |
| CN113535144A (en) * | 2021-06-15 | 2021-10-22 | 北京彩彻区明科技有限公司 | Natural language programming method, device, equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Developing high-level cognitive functions for service robots. | |
| Schade et al. | Formalizing battle management language: a grammar for specifying orders | |
| JP6526470B2 (en) | Pre-construction method of vocabulary semantic patterns for text analysis and response system | |
| Cruz et al. | From business process models to use case models: A systematic approach | |
| KR20200134060A (en) | System and method for generating automatically Robot planning Based on Behavior | |
| Perez-Soler et al. | Towards automating the synthesis of chatbots for conversational model query | |
| Gervits et al. | A classification-based approach to automating human-robot dialogue | |
| Freedman et al. | ITS tools for natural language dialogue: A domain-independent parser and planner | |
| Arulmohan et al. | Extracting domain models from textual requirements in the era of large language models | |
| Lee et al. | A model of fsm-based planner and dialogue supporting system for emergency call services | |
| Owda et al. | Information extraction for SQL query generation in the conversation-based interfaces to relational databases (C-BIRD) | |
| Foster et al. | Separating representation, reasoning, and implementation for interaction management: Lessons from automated planning | |
| Winkler et al. | SPAM–A process model for developing smart personal assistants | |
| Weigelt et al. | Integrating a dialog component into a framework for spoken language understanding | |
| Koliadis et al. | Analyst-mediated contextualization of regulatory policies | |
| Lindgren | Ironies of Public Service Automation–Bainbridge Revisited | |
| Schmidt et al. | Towards a catalog of prompt patterns to enhance the discipline of prompt engineering | |
| Burke et al. | Dialogue complexity with portability? Research directions for the Information State approach | |
| Wang | Embodiment: Does a laptop have a body? | |
| Leite et al. | Definition of a computing independent model and rules for transformation focused on the model-view-controller architecture | |
| Durrheim et al. | Code pathfinder: a stepwise programming e-tutor using plan mirroring | |
| Mitsikas et al. | From Natural Language to Argumentation and Cognitive Systems. | |
| Yordanova et al. | Knowledge extraction from task narratives | |
| Schalkwijk et al. | Development of an Interactive Navigation System based on Household Ontology and Commonsense reasoning | |
| Tran et al. | AI Planning from Natural-Language Instructions for Trustworthy Human-Robot Communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |