KR20120061014A

KR20120061014A - System for robot task planning based on description logic knowledgebase

Info

Publication number: KR20120061014A
Application number: KR1020100108764A
Authority: KR
Inventors: 조준면; 김현; 손주찬
Original assignee: 한국전자통신연구원
Priority date: 2010-11-03
Filing date: 2010-11-03
Publication date: 2012-06-12

Abstract

PURPOSE: A robot task plan generating system based on technology logic knowledge is provided to systematically implement a plurality of behaviors without implementing a behavior effect to a world description. CONSTITUTION: A knowledgebase(10) stores world description. A user application module(20) obtains a task goal which a robot performs. A task module(30) generates a task plan with reference to the world description. An action module(40) performs action of a robot with reference to the world description. An equipment module(50) obtains change of the world which the robot recognizes.

Description

Robotic work plan generation system based on technical logic knowledge base {SYSTEM FOR ROBOT TASK PLANNING BASED ON DESCRIPTION LOGIC KNOWLEDGEBASE}

본 발명은 로봇 작업계획생성 시스템에 관한 것으로, 더욱 상세하게는 로봇의 작업계획을 생성하기 위한 아키텍쳐를 정의하고, 이를 기반으로 서비스 로봇의 행위를 표현하고 조작하는데 기본이 되는 개념구조를 정의하는 기술논리 지식베이스 기반의 로봇 작업계획생성 시스템에 관한 것이다.The present invention relates to a robot work plan generation system, and more particularly, a technology for defining an architecture for generating a work plan of a robot, and defining a conceptual structure based on this to express and manipulate the behavior of a service robot. A robot task plan generation system based on a logic knowledge base.

서비스로봇이 사람의 조정이나 개입 없이 자율적으로 어떤 작업을 수행하기 위해서는, 작업목표를 달성하기 위해 필요한 행위들의 순서조합을 찾을 수 있어야 한다. 즉 주어진 목표를 달성하기 위해서 작업계획을 통해 스스로 일련의 연관된 행위들을 찾아내어 실행할 수 있어야 한다.In order for a service robot to autonomously perform a task without human intervention or intervention, it must be able to find a sequence of actions necessary to achieve the task goal. In other words, in order to achieve a given goal, a work plan should be able to identify and execute a series of related actions on its own.

작업계획은 문제영역의 실세계를 추상화하여 표현한 세계묘사(world description)의 현상태 또는 초기상태를 목표하는 상태로 변화시키는 행위에 대한 일련의 집합을 찾아내는 과정이고, 각 행위는 사전조건과 조건 성취에 따른 효과로 정의되는 두 상태 간의 전이에 해당한다. A work plan is a process of finding a set of actions that transform the actual state or initial state of a world description into a target state by abstracting the real world of the problem domain. Corresponds to the transition between two states defined by effects.

연역적 추론을 전제하는 기존의 논리 기반 작업계획 기법은 작업의 목표, 세계, 행위의 사전조건/효과 표현에 논리식을 사용한다. STRIPS 시스템이 이러한 초기 자동 작업계획 시스템 중 대표적인 시스템이다. 이 시스템에서는 작업목표, 세계 및 행위의 사전조건/효과를 비 함수적 그라운드 리터럴 (function-free ground literal)을 이용하여 표현한다. 최근에는 기술논리(Description logics)에 기반한 작업계획 기법에 관한 연구가 수행되고 있는데, 이 기법은 명제논리에 기반한 작업계획 기법보다 더 풍부한 표현력을 제공하면서도 결정가능한 추론을 보장한다. 또한 이론적으로는 명제논리 또는 제한된 1차 논리에 기반한 작업계획 알고리즘보다 계산시간이 작은 것으로 알려져 있다.Conventional logic-based work planning techniques that presuppose deductive reasoning use logical expressions to express the preconditions / effects of a task's goal, world, and action. The STRIPS system is a representative of these early automated work planning systems. In this system, the preconditions / effects of work objectives, worlds, and behaviors are expressed using function-free ground literals. Recently, researches on work planning techniques based on description logics have been conducted, which provide more expressive power and guarantee determinable reasoning than propositional logic based work planning techniques. Theoretically, it is known that the computation time is shorter than the task planning algorithm based on propositional logic or limited primary logic.

세계, 행위, 목표 등을 표현하기 위하여 어떤 표현방법을 사용하는 지에 상관없이 작업계획을 자동으로 생성하는 시스템은 모두 내부 세계묘사를 사용한 시뮬레이션을 통해 작업계획을 생성하게 된다. Regardless of which representation method is used to represent the world, actions, and goals, all systems that automatically generate a work plan generate a work plan through simulation using an internal world description.

즉, 현재 어떤 행위가 실행 가능한지, 실행 후에 세계가 어떻게 변하게 되는지 및 변경된 세계에 다시 어떤 행위를 연속하여 실행할 수 있는지 등을 순차적으로 계산할 때, 행위를 실행하기에 앞서 내부에서 관리하고 있는 세계묘사에 대하여 각 행위의 사전조건과 효과를 적용하여 시뮬레이션을 한 후에, 시뮬레이션 결과를 바탕으로 그 다음 단계를 진행한다.In other words, when sequentially calculating what actions are feasible, how the world will change after execution, and which actions can be executed continuously in the changed world, the world description that is managed internally before the action is executed. After applying the preconditions and effects of each action to the simulation, proceed to the next step based on the simulation results.

그러나 로봇의 행위에 대한 모델이 규정되어 있지 않다면 행위와 연결되는 객체의 종류나 수가 달라지고, 행위의 효과 명세에 포함되는 변수의 종류나 수가 행위마다 달라진다. 또한 각각의 변수에 어떤 객체를 대입시켜야 하는지를 작업 계획 생성모듈에 알려주기가 어려워, 작업계획생성의 자동화는 사실상 불가능해 진다.However, if the model of the robot's behavior is not specified, the type or number of objects connected to the behavior will vary, and the type or number of variables included in the effect specification of the behavior will vary for each behavior. In addition, it is difficult to tell the work plan generation module which objects should be assigned to each variable, making automation of work plan creation virtually impossible.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 로봇의 행위의 효과를 각 행위별로 구현하지 않고 다수 행위에 걸쳐서 일관되고 체계적으로 구현할 수 있는 로봇행위 표현방법을 사용하는 기술논리 지식베이스 기반의 로봇 작업계획생성 시스템을 제공하는 것이다.An object of the present invention for solving the above problems, based on the technical logic knowledge base using a robot behavior expression method that can be implemented consistently and systematically over a number of behaviors without implementing the effects of the behavior of each robot It is to provide a robot work plan generation system.

상기 목적을 달성하기 위한 본 발명은, 세계묘사(World Description)가 저장되는 지식베이스, 사용자로부터 로봇이 수행해야할 작업목표를 획득하는 사용자 어플리케이션 모듈, 상기 지식베이스에 저장된 세계묘사를 참조하여 사용자로부터 주어진 작업목표에 대하여 자동화된 작업계획(Task Planning)을 생성하는 태스크 모듈, 상기 지식베이스에 저장된 세계묘사를 참조하여 상기 태스크 모듈에서 생성한 작업계획에 포함된 로봇의 구체적인 행위가 수행되는 행위 모듈 및 상기 로봇의 구체적인 행위에 대한 실질적인 동작이 발생하고, 로봇이 인지한 세계의 변화를 획득하는 설비모듈을 포함하고, 상기 지식베이스는 로봇행위 지식을 포함하며, 상기 로봇행위 지식은 동사 및 목적어만을 포함하는 제1 구조 또는 동사, 목적어 및 부사적 보충어만을 포함하는 제2 구조로 구성되고, 상기의 제 1 구조 또는 제 2 구조만으로 모든 로봇의 행위가 표현될 수 있으며, 상기 행위의 주체는 항상 로봇이고, 상기 동사는 로봇의 실제 행위 즉 움직임 또는 작용을 표현하고, 상기 목적어는 상기 행위의 대상이고, 상기 부사적 보충어는 상기 행위를 보충하여 표현하기 위한 것임을 특징으로 하는 로봇 작업계획 생성 시스템을 제공한다.In order to achieve the above object, the present invention provides a knowledge base in which a world description is stored, a user application module for obtaining a work target to be performed by a robot from a user, and a user's description of a world description stored in the knowledge base. A task module for generating an automated task planning for a task goal, an action module for performing a concrete action of a robot included in a task plan generated by the task module with reference to a world description stored in the knowledge base, and the Substantial operation of the specific behavior of the robot occurs, and includes a facility module for acquiring a change in the world recognized by the robot, the knowledge base includes the robot behavior knowledge, the robot behavior knowledge includes only verbs and object words Containing only the first structure or verb, object, and adverb supplement It is composed of two structures, the behavior of all the robot can be represented only by the first structure or the second structure, the subject of the behavior is always a robot, the verb represents the actual behavior of the robot, that is, the movement or action, The object is a target of the action, and the adverb supplementary word provides a robot work plan generation system, characterized in that for supplementing the expression.

상기와 같은 본 발명에 따른 기술 논리 지식베이스 기반의 로봇 작업계획 시스템을 이용하는 경우에는, 서비스 로봇 행위의 의미적 구조와 이를 이용한 구체적인 표현방법을 제시함으로써, 서비스로봇을 위한 자동 작업계획 생성모듈을 구현할 때, 행위의 효과를 내부 세계묘사에 반영하는 단계를 각 행위별로 별도 구현하지 않고 다수 행위에 걸쳐서 일관되고 체계적으로 구현할 수 있다.When using a robotic work planning system based on the technology logic knowledge base according to the present invention as described above, an automatic work plan generation module for a service robot can be implemented by presenting a semantic structure of a service robot behavior and a concrete expression method using the same. At this time, the steps of reflecting the effects of the actions in the internal world description can be implemented consistently and systematically over many actions without separately implementing each action.

도 1은 본 발명에 따른 로봇 작업계획생성 시스템의 개념적 아키텍쳐를 보여주는 블록도이다.
도 2는 로봇의 작업계획 생성에 따른 행위들의 순서집합의 예를 보여주는 개념도이다.
도 3은 본 발명에 따른 로봇행위를 표현하기 위한 구조를 보여주는 개념도이다.
도 4는 행위들의 순서집합에 대한 자연어 표현을 본 발명에 따른 구 구조기반의 로봇행위의 표현과 매칭한 개념도이다.
도 5는 본 발명에 따른 로봇의 행위를 표현하는 구조를 클래스로 구현한 개념도이다.
도 6은 본 발명에 따른 로봇행위 구조의 클래스 구현에 따른 효과표현을 보여주는 개념도이다.1 is a block diagram showing the conceptual architecture of a robot task plan generation system according to the present invention.
2 is a conceptual diagram illustrating an example of a sequence of actions according to the generation of a work plan of a robot.
3 is a conceptual diagram showing a structure for expressing the robot behavior according to the present invention.
4 is a conceptual diagram of matching a natural language representation of a sequence of actions to a representation of a robot behavior based on a sphere structure according to the present invention.
5 is a conceptual diagram of a class representing a structure representing the behavior of the robot according to the present invention.
6 is a conceptual diagram showing the effect expression according to the class implementation of the robot behavior structure according to the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 본발명에 따른 바람직한 실시예를 첨부한 도면들을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In describing the present invention, in order to facilitate the overall understanding, the same reference numerals are used for the same elements in the drawings, and redundant description of the same elements is omitted.

본 발명에서 정의하는 서비스로봇은 가정용, 의료용, 국방, 농업용 등과 같이 전 산업 분야의 로봇을 포괄하는 것일 수 있다. 또한 본 발명의 서비스 로봇은 로봇 스스로 현재 자신의 상태와 환경 상태를 알아차리고 명령에 따라서 자율적으로 행동하는 자율형 로봇을 의미한다.The service robot defined in the present invention may include robots in all industries, such as home, medical, defense, and agricultural. In addition, the service robot of the present invention refers to an autonomous robot that knows its own state and environmental state and acts autonomously according to a command.

본 발명에서는 로봇의 행위의 효과를 각 행위별로 구현하지 않고 다수 행위에 걸쳐서 일관되고 체계적으로 구현할 수 있는 로봇행위 표현방법을 사용하는 기술논리 지식베이스(description logic knowledgebase)를 제공하며, 상기 기술논리 지식베이스기반의 작업계획 생성시스템을 위한 개념적 아키텍쳐를 제공한다.The present invention provides a description logic knowledgebase using a robot behavior expression method that can be implemented consistently and systematically over a plurality of behaviors without implementing the effects of the behavior of each robot. It provides a conceptual architecture for a base-based work plan generation system.

이하 본 발명에 따른 기술논리 지식베이스 기반의 작업계획 생성시스템의 개념적 아키텍처와 작업계획을 생성하는 과정에 대해서 설명하고, 기술논리 지식베이스를 구성하는 본 발명에 따른 기술논리모델에 대하여 설명하기로 한다.
Hereinafter, a conceptual architecture and a process of generating a work plan of the work plan generation system based on the technology logic knowledge base according to the present invention will be described, and the technology logic model according to the present invention constituting the technology logic knowledge base will be described. .

작업계획 생성시스템의 개념적 아키텍처Conceptual architecture of work plan generation system

도 1은 본 발명에 따른 로봇 작업계획생성 시스템의 개념적 아키텍쳐를 보여주는 블록도이다.1 is a block diagram showing the conceptual architecture of a robot task plan generation system according to the present invention.

도 1을 참조하면 본 발명에 따른 로봇 작업계획생성 시스템은 지식베이스(10), 사용자 어플리케이션 모듈(20), 태스크 모듈(30), 행위 모듈(40), 설비모듈(50)을 포함하여 구성된다. Referring to FIG. 1, the robot work plan generation system according to the present invention includes a knowledge base 10, a user application module 20, a task module 30, an action module 40, and a facility module 50. .

상기 지식베이스(10)는 세계묘사(World Description)와 사전조건, 사후조건 등을 포함하는 행위관련 지식이 저장되는 부분이다. 본 발명에 따른 지식베이스내의 지식 즉 세계표현은 기술논리를 기반으로 하며, 구조는 '동사-목적어-부사적 보충어' 또는 '동사-목적어'로 구성된다. 기술논리에 대해서는 후술하기로 한다.The knowledge base 10 is a part in which knowledge related to an action including a world description, a precondition, a postcondition, and the like is stored. Knowledge in the knowledge base according to the present invention, that is, the world representation is based on technical logic, and the structure is composed of 'verb-object-adverb supplementary term' or 'verb-object'. The technical logic will be described later.

상기 사용자 어플리케이션 모듈(20)은 사용자로부터 입력받은 작업목표 (Task Goal)를 기반으로 태스크 모듈(30)과 행위 모듈(40)의 기능을 이용하여 실제 서비스를 사용자에게 제공하는 부분이다. The user application module 20 is a part that provides an actual service to a user using the functions of the task module 30 and the action module 40 based on a task goal input from the user.

상기 태스크 모듈(30)은 지식베이스에 저장된 세계묘사를 참조하여 사용자로부터 주어진 태스크(즉, 작업목표)를 성취할 수 있는 작업계획(Task Planning)을 자동 생성하는 부분이다.The task module 30 is a part for automatically generating a task plan capable of accomplishing a given task (ie, a task goal) from a user by referring to a world description stored in a knowledge base.

상기 행위 모듈(40)은 지식베이스에 저장된 세계묘사를 참조하여 상기 태스크 모듈에서 생성한 작업계획의 각 단위행위를 해석하여, 설비모듈(50)에게 상기 행위, 즉 로봇의 구체적인 동작의 수행을 요청하는 부분이다.The action module 40 interprets each unit action of the work plan generated by the task module with reference to the world description stored in the knowledge base, and requests the facility module 50 to perform the action, that is, the specific operation of the robot. That's the part.

상기 설비 모듈(50)은 작동기, 센서 등을 포함하여 구성되는데, 작동기를 통하여 로봇이 실제적으로 구동되고, 센서 등을 통해 외부세계의 변화를 감지하는 부분이다. 즉 로봇의 움직임이 일어나는 부분이다. 또한 실세계정보가 상기 행위모듈(40)을 통하여 상기 지식베이스(10)에 반영될 수 있도록 전달하는 부분이기도 하다.
The facility module 50 includes an actuator, a sensor, and the like, and the robot is actually driven through the actuator, and is a part for detecting a change in the external world through the sensor. That is, the movement of the robot occurs. It is also a part for transmitting the real world information to be reflected in the knowledge base 10 through the action module 40.

이하 로봇에게 어떤 작업목표가 주어졌을 때, 로봇이 이 작업목표를 수행하기 위한 작업계획을 생성하고 실행하는 과정을 살펴보기로 한다.In the following, when a robot is given a work goal, the process of generating and executing a work plan for performing the work goal will be described.

세계, 행위, 작업목표 등을 표현하기 위하여 어떤 표현방법을 사용하는 지에 상관없이 작업계획을 자동으로 생성하는 시스템은 모두 내부 세계묘사를 사용한 시뮬레이션을 통해 작업계획을 생성하게 된다. Regardless of which representation method is used to represent the world, behavior, work goals, etc., a system that automatically generates a work plan generates a work plan through simulation using an internal world description.

즉, 현재 어떤 행위가 실행 가능한지, 실행 후에 세계가 어떻게 변하게 되는지 및 변경된 세계에 다시 어떤 행위를 연속하여 실행할 수 있는지, 지금까지 선택된 행위들을 모두 수행했을 때 최종적으로 작업목표가 성취되었는지 등을 순차적으로 계산할 때, 행위를 실행하기에 앞서 내부에서 관리하고 있는 세계묘사에 대하여 각 행위의 사전조건과 효과를 적용하여 시뮬레이션을 한 후에, 시뮬레이션 결과를 바탕으로 그 다음 단계를 진행한다.
In other words, it is possible to sequentially calculate what actions are currently feasible, how the world changes after execution, which actions can be executed continuously in the changed world, and whether the work goal is finally achieved when all the selected actions have been performed so far. Before performing an action, perform simulation by applying preconditions and effects of each action to the world description managed internally, and then proceed to the next step based on the simulation result.

본 발명에 따른 로봇 작업계획생성 시스템의 동작 과정을 살펴보면 다음과 같다.Looking at the operation process of the robot work plan generation system according to the present invention.

도 2는 로봇의 작업계획 생성에 따른 행위들의 순서집합의 예를 보여주는 개념도이다.2 is a conceptual diagram illustrating an example of a sequence of actions according to the generation of a work plan of a robot.

사용자 어플리케이션 모듈(20)에서는 우선 사용자(60)가 그래픽 인터페이스 등을 통해 작업목표를 입력한다. 이때 작업목표는 사용자가 원하는 세계의 최종 상태에 대한 명세에 해당된다.In the user application module 20, the user 60 first inputs a work target through a graphic interface. The work objective then corresponds to a specification of the final state of the world that the user desires.

예를 들어 우유병을 가져오는 태스크(100)의 경우 작업목표를 기술할 때 우유병의 위치가 '나' 즉 로봇의 위치가 되는 상태로 기술할 수 있다. 사용자의 작업목표 입력은 사용자 애플리케이션 모듈(20)에 입력되고, 사용자 애플리케이션 모듈(20)은 태스크 모듈(30)에 작업계획 생성을 요청한다. For example, in the case of the task 100 for bringing a milk bottle, when describing a work target, the position of the milk bottle may be described as 'me', that is, the position of the robot. The work goal input of the user is input to the user application module 20, and the user application module 20 requests the task module 30 to generate a work plan.

태스크 모듈(30)은 내부 시뮬레이션을 통해 작업 계획을 생성한다. 위에서 설명한 것처럼 작업계획 생성의 과정은, 기본적으로 지식 베이스(10)에 기술된 세계묘사를 기준으로 후보 행위 (즉, 로봇이 실행할 수 있는 모든 행위)들의 사전조건이 만족 되는지를 판단하여 현재 실행 가능한 행위(복수 개)를 선택한다.The task module 30 generates a work plan through internal simulation. As described above, the process of generating a work plan is basically feasible based on the world description described in the knowledge base 10 to determine whether the preconditions of candidate actions (ie, all actions that the robot can execute) are satisfied. Select an action (plural).

도 2를 참조하면, 상기 우유병을 가져오는 태스크(100)가 주어졌을 때, 자율로봇은 수행 가능한 여러 개의 행위들로부터 '부엌으로 이동'(110), '냉장고 문 앞으로 이동'(120), '냉장고 문 열기'(130), '우유병 찾기'(140), '우유병 집기'(150), '냉장고 문 닫기'(160), '사용자에게 이동'(170)과 같은 행위들의 순서집합을 찾아내는 것을 보여준다.Referring to FIG. 2, when the task 100 for bringing the milk bottle is given, the autonomous robot moves from the various actions that can be performed to 'move to the kitchen' 110, 'move to the refrigerator door' 120, Sequence of actions such as 'open refrigerator door' (130), 'find bottle' (140), 'cold bottle picker' (150), 'close refrigerator door' (160), 'move to user' (170) Shows finding

다음으로 상기 선택된 행위의 사후조건(또는 효과)을 지식 베이스(10)의 세계묘사에 반영한 후 작업목표가 성취되었는지를 판단한다. 작업목표가 성취된 경우 이때까지 선택된 행위들의 순서집합(104)인 작업계획을 상기 사용자 애플리케이션 모듈(20)에 반환하고 종료한다. 한편 작업목표가 성취되지 못한 경우 상기의 과정을 실행가능한 행위에 대해 작업목표가 성취될 때까지 반복한다.Next, the post condition (or effect) of the selected action is reflected in the world description of the knowledge base 10, and then it is determined whether the work goal is achieved. If the work goal is achieved, the work plan, which is the order set 104 of the selected actions, is returned to the user application module 20 until this time and ends. On the other hand, if the work goal is not achieved, the above process is repeated until the work goal is achieved for the action that can be performed.

작업목표의 성취 여부 판단은 상기 지식 베이스(10)에 기술된 세계묘사와 특정 행위의 사후조건을 반영하여 변경된 세계묘사가 작업목표 상태를 포함하는지에 대한 추론을 통한 계산으로 이루어진다. Determination of the achievement of the work goal is performed by inferring whether the changed world description includes the work goal state by reflecting the world description described in the knowledge base 10 and the post condition of the specific action.

작업계획이 생성되어 상기 사용자 애플리케이션 모듈(20)에 전달되면 상기 사용자 애플리케이션 모듈(20)은 상기 행위 모듈(40)에 작업계획에 포함된 행위를 실행할 것을 요청하게 된다. 즉 사용자 애플리케이션 모듈(20)은 행위모듈(30)을 통해 '부엌으로 이동'(110), '냉장고 문 앞으로 이동'(120), '냉장고 문 열기'(130), '우유병 찾기'(140), '우유병 집기'(150), '냉장고 문 닫기'(160), '사용자에게 이동'(170)의 구체적인 로봇행위를 순서대로 실행시키게 된다.When a work plan is generated and delivered to the user application module 20, the user application module 20 requests the action module 40 to execute an action included in the work plan. That is, the user application module 20 is 'move to the kitchen' 110, 'move to the refrigerator door' 120, 'open the refrigerator door' (130), 'milk bottle' through the behavior module 30 (140) ), 'Milk bottle collector' (150), 'close the refrigerator door' (160), 'move to the user' (170) in order to execute the specific robot behavior.

구체적인 로봇 행위는 미리 로봇에 함수(API) 형태로 구현되어 있다.Concrete robot behavior is implemented in advance in the form of a function (API) in the robot.

행위 모듈(40)은 특정 로봇행위 예를 들면 냉장고 문 열기(130)의 실행을 사용자 애플리케이션 모듈(20)로부터 요청받으면 설비 모듈(50)을 통해 작동기를 동작시켜 행위를 실행한다. 예를 들어, 로봇 이동 행위의 경우 로봇의 바퀴 장치와 로봇의 위치 센서 장치를 제어하여 실제 로봇이 움직이도록 한다. The action module 40 executes an action by operating an actuator through the facility module 50 when receiving a request from the user application module 20 for executing a specific robot action, for example, the refrigerator door opening 130. For example, in the case of the robot movement action, the actual robot moves by controlling the wheel device of the robot and the position sensor device of the robot.

행위 모듈(40)과 설비 모듈(50)을 통해 로봇 행위 또는 로봇 장치가 구동되면 결과나 중간과정에서 감지된 정보, 즉 실세계 정보는 다시 지식 베이스 모듈(10)에 전달되어 세계묘사를 갱신하게 된다. 이때의 갱신은 작업계획 생성 단계에서의 시뮬레이션을 위한 가상적인 갱신과 달리, 실 세계의 상태를 반영하기 위한 갱신이다. When the robot action or the robot device is driven through the action module 40 and the facility module 50, the result or information detected in the interim process, that is, real world information, is transmitted to the knowledge base module 10 again to update the world description. . At this time, the update is an update to reflect the state of the real world, unlike a virtual update for simulation in the work plan generation step.

작업계획 생성 과정 중의 시뮬레이션을 위한 갱신, 즉 태스크모듈(30)에서 작업계획 생성이 완료되면 일괄 취소되는 반면, 설비모듈(50)을 통한 실제 행위 실행 중의 갱신은 영구 저장된다. While the update for the simulation during the work plan generation process, that is, when the work plan generation is completed in the task module 30 is canceled collectively, the update during the actual action execution through the facility module 50 is permanently stored.

상기와 같이 작업계획을 실행시킴으로써, 사용자에게 구체적인 서비스를 제공하게 되며, 실세계의 상태를 초기 상태에서 작업으로 표현되는 최종 상태로 변화시키게 되고, 이로써 주어진 태스크를 완료하게 된다.
By executing the work plan as described above, a specific service is provided to the user, and the state of the real world is changed from the initial state to the final state represented by the work, thereby completing the given task.

로봇의 행위를 표현하기 위한 기술논리(Technical Logic for Expressing Robot Behavior descriptiondescription logiclogic ) 모델) Model

상기와 같이 로봇이 스스로 작업계획을 생성하는, 작업계획 생성의 자동화를 위해서는 작업계획 생성 모듈이 '효과'를 동적으로 해석하여 세계묘사에 반영할 수 있어야 하는데, 이를 위해서는 행위의 개념적 구조인 모델을 정의할 필요가 있다. 즉, 로봇은 여러 개의 행위를 할 수 있는데, '행위란 무엇인가?', '행위에는 어떤 정보가 입력으로 주어져야 하는가?', '입력의 개수는 몇 개까지 가질 수 있는가?' 및 '각 입력의 의미는 무엇인가?' 등을 규정할 필요가 있다.In order to automate the work plan generation, which the robot generates the work plan as above, the work plan generation module should be able to dynamically interpret the 'effect' and reflect it in the world description. You need to define it. In other words, a robot can perform several actions, such as 'What is an action?', 'What information should be given as input?', 'How many inputs can I have?' And 'What does each input mean?' And the like.

따라서 본 발명에서는 서비스로봇 행위의 의미적인 구조에 관한 모델과 이를 이용한 구체적인 표현방법을 제공한다. 특히 본 발명은 자연어의 동사구 구조에 기반하여 로봇행위의 의미적 구조를 정의한다.Accordingly, the present invention provides a model of the semantic structure of service robot behavior and a concrete expression method using the same. In particular, the present invention defines the semantic structure of robot behavior based on the verb phrase structure of natural language.

이하 본 발명에 따른 로봇의 행위들에 대한 표현방법에 대해서 살펴보기로 한다.Hereinafter, the expression method for the actions of the robot according to the present invention will be described.

도 3은 본 발명에 따른 로봇행위를 표현하기 위한 구조를 보여주는 개념도이다.3 is a conceptual diagram showing a structure for expressing the robot behavior according to the present invention.

도 3을 참조하면, 본 발명에 따른 동사구 구조에 기반한 로봇의 일련의 행위들은 '동사-목적어-부사적 보충어'(201) 또는 '동사-목적어'(202) 구조로 표현될 수 있다. Referring to FIG. 3, a series of actions of a robot based on a verb phrase structure according to the present invention may be represented by a 'verb-object-adverb supplementary word' 201 or 'verb-object' 202 structure.

상기 동사(210)는, 로봇의 행위 자체 즉 상태를 변화시키는 어떤 움직임이나 작용을 의미한다. 예를 들어 '우유병을 집는다'는 행위가 있다면 '집기'가 실제적 행위, 즉 동사가 될 것이다. The verb 210 refers to any movement or action that changes the behavior of the robot itself, that is, the state. For example, if there is an act of 'picking up a milk bottle', then 'picking up' will become a real action, a verb.

상기 목적어(220)는, 행위의 대상을 나타낸다. 상기 '우유병을 집는다'에서 '집기' 행위의 대상은 '우유병'이 되는 것이다.The object 220 indicates the object of the action. The object of the 'picking up' in the 'picking up the milk bottle' is 'milk bottle'.

상기 부사적 보충어(230)는, 작용의 장소, 양태, 때, 기간 등에 해당되는 상기 행위를 보충하여 표현하기 위한 표현방법이다. 예를 들어 '주방으로 컵을 운반하다'라는 행위가 있고, 동사로서 '운반', 목적어로서 '컵'이 된다면, 부사적 보충어는 '주방'이 될 것이다. 즉 '운반'이라는 행위에 대하여 어떤 위치로 운반하는 건지를 보충해주는 표현이 되는 것이다.The adverb supplemental word 230 is a representation method for supplementing and expressing the action corresponding to a place, an aspect, a time, a duration of an action, and the like. For example, if there is an act of 'carrying a cup to the kitchen', and a verb is 'carrying' and the object is 'cup', the adverb supplementary word will be 'kitchen'. In other words, it is an expression that supplements the position of transporting the 'carrying' action.

유의할 것은 본 발명에 따른 로봇행위 표현을 위한 구 구조에서 주어는 항상 로봇이라는 것이다.Note that the subject is always a robot in the sphere structure for robot behavior representation according to the present invention.

상기와 같은 본 발명에 따른 로봇의 행위를 표현하기 위한 구 구조(200)는 앞서 설명한 것처럼 '동사-목적어-부사적 보충어'(210) 또는 '동사-목적어'(220)의 조합만으로 로봇의 모든 행위를 반영할 수 있다. 이는 사람이 자연어로 어떤 행위를 표현하고 타인에게 전달한다고 가정하면 보통 '동사-목적어-부사적 보충어' 또는 '동사-목적어'구조의 문장을 사용하는 것과 같은 맥락이다.As described above, the sphere structure 200 for expressing the behavior of the robot according to the present invention includes all of the robots using only a combination of 'verb-object-adverb supplementary' 210 or 'verb-object' 220 as described above. Can reflect behavior. This is usually the same as using sentences with verb-object-object-adverb supplementary or verb-object-object structures, assuming that a person expresses an act in natural language and conveys it to others.

예를 들어 우유병을 가져오는 태스크를 위한 일련의 행위 조합을 어린아이에게 자연어 말로 설명한다면, '너를 냉장고 앞으로 이동시켜라', '냉장고 문을 열어라', '우유병을 찾아라', '우유병을 집어라', '냉장고 문을 닫아라', '너를 내가 있는 곳으로 이동시켜라'로 구성될 수 있을 것이다.For example, if you describe a set of behaviors in a natural language to a child for the task of bringing a milk bottle, 'move you to the front of the refrigerator', 'open the fridge door', 'find the milk bottle', 'milk bottle' Pick it up ',' close the refrigerator door 'and' move you to where I am '.

이때 각 행위를 표현한 문장은 모두 '동사-목적어-부사적 보충어' 또는 '동사-목적어' 구조임을 알 수 있다. 또한 목적어에 해당되는 정보는 반드시 1개 있어야 하고, 보충어에 해당되는 정보는 행위에 따라 있을 수도 있고 없을 수도 있다는 점도 자연스럽게 결정된다.
At this time, it can be seen that the sentences expressing each action have a structure of 'verb-object-adverb supplementary' or 'verb-object'. In addition, it is naturally determined that information corresponding to a target word must be one, and information corresponding to a supplementary word may or may not exist depending on an action.

도 4는 행위들의 순서집합에 대한 자연어 표현을 본 발명에 따른 구 구조기반의 로봇행위의 표현과 매칭한 개념도이다.4 is a conceptual diagram of matching a natural language representation of a sequence of actions to a representation of a robot behavior based on a sphere structure according to the present invention.

도 4를 참조하면, 앞서 설명한 우유병을 가져오는 태스크에 대한 일련의 행위들이 본 발명에 따른 구 구조기반의 로봇행위 표현방법에 의해서 아래와 같이 표현될 수 있음을 알 수 있다.Referring to Figure 4, it can be seen that the series of actions for the task to bring the milk bottle described above can be expressed as follows by the sphere structure-based robot behavior expression method according to the present invention.

'너를 냉장고 앞으로 이동시켜라'(311)는 자연어 표현은 본 발명의 '동사-목적어-부사적 보충어' 구조인 '이동-로봇-냉장고 앞'(321)으로 표현될 수 있다. The natural language expression 'move you to the refrigerator' 311 may be expressed as 'moving-robot-refrigerator' 321 which is a 'verb-object-adverb supplementary word' structure of the present invention.

또한 '냉장고 문을 열어라'(312)는 동사-목적어의 구조인 '열기-냉장고 문'(322)으로 표현될 것이다. In addition, 'open the refrigerator door' (312) will be expressed as 'open-freezer door' (322), the structure of the verb-object.

상기 '우유병을 찾아라'(313)는 동사-목적어의 구조인 '찾기-우유병'(323)으로 표현될 것이다.The 'find the milk bottle' (313) will be expressed as a 'finger-milk bottle' (323), which is a verb-object structure.

상기 '우유병을 집어라'(314)는 동사-목적어의 구조인 '집기-우유병'(324)으로 표현될 것이다.The 'pick up the bottle' (314) will be expressed as 'pump-milk bottle' (324), the structure of the verb-object.

상기 '냉장고 문을 닫아라'(315)는 동사-목적어의 구조인 '닫기-냉장고 문'(325)으로 표현될 것이다.The 'close the refrigerator door' (315) will be represented by the 'close-refrigerator door' (325) of the structure of the verb-object.

'너를 내가 있는 곳으로 이동시켜라'(316)는 동사-목적어-부사적 보충어의 구조인'이동-로봇-내가 있는 곳'(326)으로 표현될 수 있다.'Move you to where I am' (316) can be expressed as 'move-robot-where I am' (326), which is a structure of verb-object-adverb supplementary words.

일반적으로, 행위 관련 정보, 특히 행위의 효과 관련 정보는 결국 구체적인 표현 언어를 이용하여 명세하게 되고, 자동 작업계획 생성 모듈이 특정 행위의 실행 후 세계의 상태를 평가할 때 즉, 효과를 세계묘사에 반영할 때 이 효과 명세를 해석하게 된다. In general, behavior-related information, in particular, information on the effect of an action, is eventually specified using a specific expression language, and when the automatic work plan generation module evaluates the state of the world after execution of a specific action, that is, reflects the effect on the world description. When we interpret this effect specification.

그런데, 행위 객체가 동적으로 생성/삭제되기 때문에 행위 효과는 행위 클래스 레벨에 표현된다. 즉, '거실이동', '침실이동', '냉장고 앞 이동' 등 개별 행위에 일일이 효과를 명세 하는 것이 아니라 행위 종류(클래스)에 변수를 포함한 형태로 명세된다. 따라서 효과를 반영할 때 참조하는 개별 행위는 특정 시점에 특정 객체를 해당 변수에 대입함으로써 얻어진다.
However, because the behavior object is dynamically created / deleted, the behavior effect is expressed at the behavior class level. In other words, rather than specifying the effects on individual behaviors such as 'moving living room', 'moving bedroom' and 'moving the front of the refrigerator', they are specified in the form of including variables in the behavior type (class). Thus, the individual actions that are referenced when reflecting the effect are obtained by assigning a specific object to that variable at a particular point in time.

이하 본 발명에서 제안하는 구 구조기반의 로봇 행위 표현방법에 따라 실제 행위와 행위 효과를 표현하는 방법에 대해 예를 들어 설명하고자 한다. 다만, 본 발명에 따른 로봇행위 표현방법을 적용하기 위한 언어는 한정되지 않는다.
Hereinafter, a method of expressing an actual action and an action effect according to a sphere structure-based robot action expression method proposed by the present invention will be described. However, the language for applying the robot behavior expression method according to the present invention is not limited.

도 5는 본 발명에 따른 로봇의 행위를 표현하는 구조를 클래스로 구현한 개념도이다.5 is a conceptual diagram of a class representing a structure representing the behavior of the robot according to the present invention.

도 5를 참조하면, 로봇의 행위를 표현하기 위한 클래스 구조에서, 행위 클래스(NavigateBehavior)는 하나의 목적어 객체(behavior_object)와 0개 또는 한 개의 부사적 보충어 객체(behavior_parameter)를 갖는 것을 알 수 있다.Referring to FIG. 5, in the class structure for representing the behavior of the robot, the behavior class NavigateBehavior may have one object object (behavior_object) and zero or one adverb supplementary object object (behavior_parameter).

도 5의 예처럼 행위 클래스는 목적어에 해당되는 객체, 보충어에 해당되는 객체를 속성으로 갖는 구조로 명세된다. 이러한 구조는 행위에 따라 달라지는 것이 아니라 모든 행위에 걸쳐 동일하게 적용된다. As in the example of FIG. 5, the behavior class is specified in a structure having an object corresponding to an object and an object corresponding to a supplementary word as attributes. This structure does not depend on actions, but applies equally to all actions.

행위의 효과를 세계묘사에 반영하는 단계에서 행위의 효과 해석 작업이 필요하다. 즉, 변수에 대입할 객체를 찾는 과정이 필요하다. 세계 묘사는 객체들의 집합이고, 이들 객체 중에서 대상 행위의 변수에 해당하는 목표 객체를 찾는 과정이 효과 해석작업이다. At the stage of reflecting the effects of the actions in the world description, it is necessary to interpret the effects of the actions. In other words, you need to find the object to assign to the variable. The world description is a collection of objects, and the process of finding the target object corresponding to the variables of the target behavior is the effect analysis task.

어떤 시점에 세계묘사에 반영할 구체적인 행위 효과(논리식)는 클래스 레벨 효과 명세에 포함된 변수에 구체적인 객체(값)를 바인딩시켜 얻는다. 본 발명의 효과는 모든 행위에 걸쳐 동일한 방식으로 바인딩 알고리즘을 적용할 수 있게 한다는 것이다.At some point, the specific behavioral effect (logical) to reflect in the world description is obtained by binding the concrete object (value) to a variable in the class-level effect specification. The effect of the present invention is to be able to apply the binding algorithm in the same way across all actions.

예를 들어, 모든 행위 효과 명세에서 ?o로 표시되는 행위의 대상이 되는 객체를 나타내는 변수에는 행위 객체의 목적어 객체를 찾아 바인딩하면 되고, ?p로 표시되는 행위의 부사적 속성을 나타내는 변수에는 행위 객체의 보충어 객체를 찾아 바인딩하면 된다. 또한 ?_로 표시되는 임의의 객체는 행위의 목적어 객체나 보충어 객체를 출발점으로 관계 즉, 속성(property)을 따라 탐색하여 찾을 수 있다.
For example, in all behavioral effect specifications, the variable representing the object that is the target of the behavior indicated by? O may be found and bound to the object object of the behavior object. Find and bind the object's supplement object. In addition, any object denoted by? _ Can be found by searching the object or supplementary object of the action along a relationship, that is, a property, as a starting point.

도 6은 본 발명에 따른 로봇행위 구조의 클래스 구현에 따른 효과표현을 보여주는 개념도이다.6 is a conceptual diagram showing the effect expression according to the class implementation of the robot behavior structure according to the present invention.

도 6을 참조하면, 로봇행위의 클래스 구현에 따른 효과 표현으로, UngripBehavior라는 행위 클래스에 대해 kbBehaviorEffectReflectionInstruction이라는 이름의 주석으로 행위효과가 표현된다. Referring to FIG. 6, an action effect is expressed by an annotation named kbBehaviorEffectReflectionInstruction for an action class named UngripBehavior as an effect expression according to a class implementation of a robot action.

'+' 또는 '-'는 뒷부분의 논리식을 지식묘사(즉, 지식베이스)에 추가 또는 삭제해야 함을 의미한다. '?_'는 미지객체를 의미하며, '?o'는 행위의 목적어 객체를 의미한다. 또한, '?p'는 행위의 보충어 객체를 의미하고, ':'는 미지객체가 없는 경우의 디폴트 객체를 의미한다.'+' Or '-' means that later logic should be added to or deleted from the description of the knowledge (ie knowledge base). '? _' Means unknown object and '? O' means object object of action. In addition, '? P' means supplementary object of action, and ':' means default object when there is no unknown object.

작업계획을 자동으로 생성하는 시스템은 행위를 실행하기에 앞서서, 내부에서 관리하고 있는 세계묘사에 대하여 각 행위의 사전조건과 효과를 적용하여 시뮬레이션을 한 후에, 시뮬레이션 결과를 바탕으로 그 다음 단계를 진행한다. 이때 행위의 효과를 세계묘사에 반영하는 단계에서 행위 효과의 해석작업이 필요하다. 즉 변수에 대입할 객체를 찾는 과정이 필요하다. 이때, 세계묘사는 객체들의 집합이고, 이들 객체 중에서 대상행위의 변수에 해당하는 목표객체를 찾는 과정이 필요한 것이다.The system that automatically generates the work plan performs simulation on the world description managed internally by applying the preconditions and effects of each action and then proceeds to the next step based on the simulation result. do. At this time, it is necessary to interpret the effect of the action in the stage of reflecting the effect of the action in the world description. In other words, you need to find the object to assign to the variable. At this time, the world description is a set of objects, and the process of finding the target object corresponding to the variable of the target behavior is necessary.

본 발명에서 제안하는 행위의 의미적 구조를 따르면 어떠한 변수라도 목적어에 해당되는 객체 또는 보충어에 해당되는 객체에서 출발하여 목표 객체를 반드시 찾을 수 있다. 즉 목적어 객체 또는 보충어 객체에서 출발하여 목표 객체까지 도달하는 경로를 명세할 수 있다. (대상 행위가 결정되는 순간 목적어에 해당되는 객체와 보충어에 해당되는 객체는 결정된다.)
According to the semantic structure of the action proposed by the present invention, the target object can be found by starting from the object corresponding to the object or the object corresponding to the supplementary word. That is, the path from the object object or the supplementary object to the target object can be specified. (At the time the target behavior is determined, the object corresponding to the object and the object corresponding to the supplementary term are determined.)

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

Claims

In the robot work plan generation system,
A knowledge base in which a world description is stored;
A user application module for obtaining a work target to be performed by a robot from a user;
A task module for generating an automated task planning for a given task goal from a user with reference to a world description stored in the knowledge base;
An action module for performing a concrete action of a robot included in a work plan generated by the task module with reference to a world description stored in the knowledge base; And
It includes a facility module for generating a change in the world recognized by the robot, the actual operation of the specific behavior of the robot,
The knowledge base includes robot behavior knowledge, and the robot behavior knowledge is composed of a first structure including only a verb and an object or a second structure including only a verb, an object and an adverb supplementary word. Only the structure of two can express the behavior of all robots,
The subject of this action is always a robot,
The verb expresses the actual behavior of the robot, ie movement or action,
The object is the object of the act,
The adverb supplementary word is a robot work plan generation system, characterized in that for supplementing and expressing the action.