KR101058471B1 - 행동 유발성 모델에 기반한 중간 목표 생성 방법과 이를기반으로 한 임무 학습 방법 및 그 시스템 - Google Patents

Abstract

본 발명은 행동 유발성 모델에 기반한 중간 목표 생성 방법과 이를 기반으로 한 임무 학습 방법 및 그 시스템에 관한 것이다. 본 발명에 따른 행동 유발성 모델에 기반한 임무학습 모델은 물체(object) 또는 비물체(non-object, <예>사람, 다른 로봇, 감정, 자극, 장소 등)가 주어졌을 때 행할 수 있는 행동을 찾아 물체-행동 또는 비물체-행동의 연결 관계를 생성하여 저장하는 센서-모터 맵(sensor-motor map), 로봇이 물체 또는 비물체가 행동을 유발할 수 있는 상태로 변화할 수 있도록 상태 전이를 일으킬 수 있는 행동을 유발하게 하는 상태 전이 모델(appetitive state transition model), 물체가 행동할 수 있는 상황이 되면 계산 없이 바로 행동을 수행할 수 있는 물체 기반 행동 유발 모델(object-based affordance model)을 포함한다.

행동 유발성 모델, 로봇

Description

행동 유발성 모델에 기반한 중간 목표 생성 방법과 이를 기반으로 한 임무 학습 방법 및 그 시스템{AFFORDANCE MODEL-BASED DISCOVERY OF SUBGOALS AND TASK LEARNING, AND SYSTEM THEREOF}

본 발명은 로봇의 중간 목표 생성 방법과 이를 기반으로 한 임무 학습 방법 및 시스템에 관한 것으로, 보다 구체적으로는 행동 유발성 모델에 기반한 중간 목표 생성 방법과 이를 기반으로 한 임무 학습 방법 및 그 시스템에 관한 것이다.

현재 로봇기술은 가정용 청소 로봇, 교육용 로봇, 엔터테인먼트 로봇, 공공 서비스 로봇과 같이 다양한 분야에서 실제 사용 및 적용되고 있으며, 앞으로 통신, 서비스 등 광범위한 분야에서 그 수요가 폭발적으로 증가할 것으로 예상된다.

한편, 로봇이 어떠한 임무를 수행하기 위해서는 임무를 학습하는 과정을 거치게 된다.

이러한 임무 학습에 관한 정보처리체계의 분야에서는, 사람의 행동을 따라 학습하는 모방 학습, 여러 로봇이 협동하여 학습한 내용을 공유하여 학습하는 방 법, 행동 유발성 모델을 이용한 학습 방법 등 다양한 방법이 시도되고 있다.

특히, 행동 유발성 모델의 경우, 인터넷 웹 브라우저에서 사용자가 해당 항목을 선택하도록 하는 분야에서 주로 연구가 이루어져 왔다. 이러한 행동 유발성 모델이 로봇의 학습 분야에 적용되어, 물체-행동-결과의 연관관계를 생성하고, 물체가 보이면 로봇이 바로 행동을 수행하도록 하는 방법이 제안되고 있다.

그런데, 종래 제안되는 행동 유발성 모델은 로봇이 항상 이 모델을 기반으로 행동을 수행할 수 있는 상태라고 가정하고 있다. 하지만, 동적으로 변화하는 환경인 실제의 환경에서는 로봇이 물체에 대해 바로 행동할 수 있는 상태가 있지 않은 것이 대부분이다.

또한, 로봇이 임무를 수행하기 위해서는 로봇이 상태를 변화하면서 일련의 순서를 가진 행동의 결합에 의해 임무를 완수하는 것이 대부분이다. 그러나, 종래의 임무 학습 방법은 고정된 위치에서 행동 유발 모델을 생성하고 이를 기반으로 행동을 하기 때문에 하나의 임무를 수행하기 위한 순차성이 존재하지 않았다.

더 나아가, 종래 기술들은 로봇의 임무 수행이 물체만을 대상으로 하는 행동 유발성 모델에 기반하기 때문에, 임의의 영역이 제한되는 결과를 초래하였다.

따라서, 본 발명의 목적은 로봇이 물체 또는 비물체에 대해 행동할 수 있는 상태로 전이시켜 임무를 학습하는 행동 유발성 모델에 기반한 중간 목표 생성 방법 과 이를 기반으로 한 임무 학습 방법 및 그 시스템을 제공하는 것이다. 또한, 로봇이 상태를 변화하면서 일련의 순서를 가진 행동을 결합하여 임무를 수행할 수 있는 행동 유발성 모델에 기반한 중간 목표 생성 방법과 이를 기반으로 한 임무 학습 방법 및 그 시스템을 제공하는 것이다. 그리고, 물체에 기반한 행동 유발성 모델뿐 아니라 물체가 아닌 비물체에 기반한 행동 유발성 모델을 포함하는 행동 유발성 모델에 기반한 중간 목표 생성 방법과 이를 기반으로 한 임무 학습 방법 및 그 시스템을 제공하는 것이다.

동적인 환경에서 로봇이 임무를 학습하기 위해서는 순차적 상태 변화와 행동이 일어나야 한다. 이를 해결하기 위해 본 발명은 다수의 모델을 제안하여 이를 해결하고자 한다. 물체(object) 또는 비물체(non-object, <예>사람, 다른 로봇, 감정, 자극, 장소 등)가 주어졌을 때 행할 수 있는 행동을 찾아 물체-행동 또는 비물체-행동의 연결 관계를 생성하여 저장하는 센서-모터 맵(sensor-motor map), 로봇이 물체 또는 비물체가 행동을 유발할 수 있는 상태로 변화할 수 있도록 상태 전이를 일으킬 수 있는 행동을 유발하게 하는 상태 전이 모델(appetitive state transition model), 물체가 행동할 수 있는 상황이 되면 계산 없이 바로 행동을 수행할 수 있는 물체 기반 행동 유발 모델(object-based affordance model)을 포함한다. 그리고, 비물체가 행동할 수 있는 상황이 되면 바로 행동을 수행할 수 있는 비물체 기반 행동 유발 모델(Non-object based affordance model), 그리고, 임무를 수행하는데 있어 물체 하나 또는 비물체 하나만을 고려하지 않는 경우가 대다수 이다. 때문에 행동 유발 모델 간의 관계 및 순서를 생성할 수 있는 행동 유발 모델 지향적 전이 모델(affordance-oriented transition model)을 더 포함할 수 있다. 그 중 로봇이 행동을 유발할 수 있는 상태로 변화할 수 있도록 상태 전이를 일으킬 수 있는 행동을 유발하게 하는 상태 전이 모델은 로봇이 처한 환경에 따라 다양하게 변화할 수 있다. 때문에 이들은 각 상태들의 특징을 추출하여 빈번하게 일어나는 상태들을 중간목표로 생성하여 행동을 유발할 수 있는 상태로 가기 위한 중간목표로 사용한다. 이와 같이 생성된 중간목표는 로봇이 복잡한 임무를 수행하는 과정에서 랜드마크로 사용될 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면, 로봇이 물체 또는 비물체에 대해 행동할 수 있는 상태로 전이시켜주는 정보를 획득하여 이를 중간 목표로 생성하기 때문에 학습 속도가 빠르게 각각을 재사용하는데 용이한 행동 유발성 모델에 기반한 중간 목표 생성 방법과 이를 기반으로 한 임무 학습 방법 및 그 시스템을 제공한다. 또한, 상태를 표현하기 위한 관심 영역을 물체 또는 비물체로 축소시킬 수 있는 행동 유발성 모델에 기반한 중간 목표 생성 방법과 이를 기반으로 한 임무 학습 방법 및 그 시스템을 제공한다.

이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 행동 유발성 모델에 기반한 중간 목표 생성과 이를 기반으로 한 임무 학습을 위한 시스템의 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 중간 목표 생성 및 이를 기반으로 한 임무 학습을 위한 시스템은 시각변환기(10), 임무학습 모델 생성부(20), 메타-룰러(30), 및 데이터베이스(40)를 포함한다.

시각변환기(10)(view point transformer)는 교시(teaching) 및 시뮬레이션(simulation)을 통한 학습 데이터를 로봇 플랫폼과 임무에 관련 있는 데이터의 상태로 변화시킨다. 시각변환기(10)는 예컨대, 입력되는 이미지를 처리하여 특징 벡터의 형태로 추출한다.

시각변환기를 통해 생성된 특징 벡터들은 임무학습 모델 생성부(20)로 입력되어, 임무학습 모델생성부(20)를 통해 임무학습의 정보가 생성된다.

이렇게 임무학습 모델생성부(20)를 통해 생성된 결과 즉, 인스턴스 혹은 사례들은 메타-룰러(30)를 통해 일반화 및 변수화 과정을 거치게 된다. 메타-룰러(30)는 General-to-Specific, 귀납적(inductive) 로직 프로그래밍 등에 의해 구현될 수 있다.

이렇게 일반화 및 변수화 과정을 거친 데이터는 임무를 수행하기 위한 중간 목표가 될 수 있으며, 원인-행동-결과의 형태를 이룬다. 이러한 중간 목표들은 임무별로 데이터베이스(40)에 있는 BOS(Bag of Skill)에 저장된다. 이렇게 데이터베 이스(40)에 저장된 BOS는 행동 선택 메커니즘에 의해 행동을 수행할 수 있는 튜플(tuple)을 제공하게 된다.

복잡한 임무를 수행하기 위해서, 생성된 BOS는 성공 사례를 저장하고 있는 부분과 실패 사례를 저장하고 있는 부분으로 구분되어 저장될 수 있다. 로봇은 이렇게 구분된 정보 중 실패 사례를 통해 성공하기 위한 물체-행동-효과의 관계를 학습하게 된다.

도 1의 임무학습 모델 생성부(20)를 도 2a 내지 도e를 참조하여 구체적으로 설명하면 다음과 같다. 도 2a 내지 도e는 각 모델 생성부에서 생성되는 인스턴스들의 형태를 도식화한 것이다.

센서-모터맵(sensor-motor map) 생성부(21)는 시각변환기(10)로부터 출력되는 데이터를 기반으로 물체-행동 또는 비물체-행동의 연관관계의 정보를 생성하기 위한 것으로, 물체(object) 또는 비물체(non-object, 예컨대, 사람, 다른 로봇, 감정, 자극, 장소 등)가 주어졌을 때 행할 수 있는 행동을 찾아 물체-행동 또는 비물체-행동의 연결 관계에 관한 정보를 생성한다. 도 2a에 도시된 바와 같이, 센서-모터맵은 센서-상태에 기반하여 즉, 입력되는 비전 특징에 기초하여 행동(A(Action))과 물체(또는 비물체) 간에 관계에 대한 맵을 의미한다.

물체 기반 행동 유발 모델(object-based affordance model) 생성부(23)는 물체-행동-결과의 연관관계를 생성하여 물체가 행동할 수 있는 상황이 되면 계산 없이 바로 행동을 수행할 수 있는 모델을 생성한다. 도 2b에 도시된 바와 같이, 물체 기반 행동 유발 모델은 물체를 인식하자마자 행동을 하게 되는 형태이다.

상태 전이 모델(appetitive state transition model) 생성부(25)는 로봇이 물체 또는 비물체가 행동을 유발할 수 있는 상태로 변화할 수 있도록 상태 전이를 일으킬 수 있는 행동을 유발하는 모델을 생성한다. 도 2c에 도시된 바와 같이, 상태 전이 모델은 행동을 유발할 수 있는 상태로 전이하는 형태로서, 물체-기반 또는 비물체-기반한 상태 전이 모델을 포함한다.

본 발명은 이러한 세 가지 모델 이외에도 비물체 기반 행동 유발 모델 생성부 및 행동 유발 모델 지향적 전이 모델 생성부를 더 포함할 수 있다.

비물체 기반 행동 유발 모델(Non-object based affordance model) 생성부(27)는 비물체가 행동할 수 있는 상황이 되면 바로 행동을 수행할 수 있는 모델을 생성한다. 도 2d에 도시된 바와 같이, 비물체 기반 행동 유발 모델은 비물체를 인식하자마자 행동을 수행하는 형태를 의미한다.

행동 유발 모델 지향적 전이 모델(affordance-oriented transition model) 생성부(29)는 행동 유발 모델 간의 관계 및 순서를 생성하는 모델로서, 대부분의 임무 수행의 경우, 물체 하나 또는 비물체 하나만을 고려하지 않는 경우가 대다수이므로, 본 발명에서는 이러한 행동 유발 모델 지향적 전이 모델을 고려한다. 도 2e에 도시된 바와 같이, 행동 유발 모델 지향적 전이 모델은 임무를 수행하기 위해 행동을 유발할 수 있는 모델 간에 순서 또는 관계를 생성하는 형태를 의미한다.

동적인 환경에서 로봇이 임무를 학습하기 위해서는 순차적 상태 변화와 행동이 일어나야 한다. 본 발명에서는 상태 전이 모델을 통해 로봇이 행동을 유발할 수 있는 상태로 변화할 수 있도록 상태 전이를 일으켜서, 로봇이 처한 환경에 따라 다 양하게 변화할 수 있게 한다.

따라서, 본 발명은 각 상태들의 특징을 추출하여 빈번하게 일어나는 상태들을 중간목표로 생성하여 행동을 유발할 수 있는 상태로 가기 위한 중간목표로 사용한다. 이와 같이 생성된 중간목표는 로봇이 복잡한 임무를 수행하는 과정에서 랜드마크로 사용될 수 있다.

일반적으로, 임무 학습 과정에서 중간 목표를 생성하는 방법은 사람이 깊게 개입하거나 중간 목표 생성을 위한 사전 지식에 많이 의존하는 TCL(Tightly Coupled Learner) 방법과, 사람이 거의 개입하지 않거나 중간목표를 생성하기 위한 사전지식에 거의 의존하지 않고 로봇 스스로 학습하고 이렇게 학습된 결과를 중간목표로 나누어 저장하게 되는 LCL(Loosely Coupled Learner) 방법이 있다.

도 3a 및 도 3b는 각각 TCL 방법과 LCL 방법을 개략적으로 도시한 것이다.

본 발명에서는 인지-행동의 쌍에 대한 사전 정보를 이미 가지고 있는 경우, TCL 방법을 통해 주어진 임무를 분해하고 이렇게 분해된 하나하나의 중간목표를 학습하여 임무를 완수하게 되며(이하에서는 탑-다운(Top-down) 접근방법이라 함), 인지-행동의 쌍에 대한 사전 정보가 없는 경우, 인지-행동의 쌍을 로봇이 스스로 학습하고 이를 이용하여 LCL 방법을 통해 더 큰 임무를 수행하는 방법을 학습하게 된다(이하에서는 바텀-업(Bottom-up) 접근방법이라 함).

본 발명은 탑-다운 접근방법과 바텀-업 접근 방법 둘 다를 사용하여 전술한 임무 학습 모델들을 이용하여 학습된 임무를 저장하게 된다. 이렇게 저장된 정보는 이후 행동을 생성 및 선택하는데 사용될 수 있다.

도 4는 현재의 상태와 다음의 상태-행동의 연관관계를 도식화한 것이다. 도 4에 도시된 바와 같이, 로봇이 임무를 완성하기 위해서는, 임무를 완수하기 위한 상태(현재의 상태, 다음의 상태)-행동의 의미론적 시퀀스를 생성하도록, 성공적 임무 사례들로부터 상태-행동 쌍들을 추출할 필요가 있다. 그 후 추출한 상태-행동 쌍들을 임무를 위한 행동 시퀀스로서 순서화한다.

구체적으로, 우선 임무 설명 공간(Task Dessctiption Space, TDS)을 생성하고 성공 사례를 수집한다. 임무 설명 공간은 주어진 임무를 이해하기 위한 임무를 설명하기 위한 공간으로서, 물리적 공간과 상태 공간(Configuration Space)으로 구성된다. 물리적 공간은 실제 환경에서의 로봇과 물체 또는 비물체의 관계를 나타내는 공간이고, 상태 공간은 로봇의 관점에서 물체 또는 비물체의 관계를 나타내는 공간이다.

이러한 성공 사례 수집을 위한 물리적 공간 및 상태 공간은 도 5a 및 도 5b에 도시된 바와 같이 표현될 수 있다. 도 5b를 통해 알 수 있듯이, 본 발명에 따른 상태 공간은 예컨대, 6차원으로 표현될 수 있다.

이러한 상태 공간의 각 요소들은 각각 비독립적임을 유의해야 한다. 이와 같은 임무 설명 공간 내에서 성공적으로 임무를 수행한 사례들을 수집하게 된다. 본 발명에서는 도 1에서 5가지 모델 생성부에 의해 다양한 사례들이 수집된다.

그 후, 수집된 성공 사례들의 임무 설명 공간 데이터 중에서 발생 빈도가 높은 데이터를 수집한다.

이렇게 수집된 데이터들은 그 수가 아직 많은 상태이다. 따라서, 같은 효과 를 가지는 데이터들을 하나의 클러스터링 하는 과정을 수행하게 된다. 이를 위해 행동을 했을 때 나타나는 효과가 동일한지, 예컨대, 목표와 가까와지는 행동을 하였는가 등을 비교하기 위해 특징 벡터(feature vector)를 생성한다. 이렇게 생성된 특징 벡터들이 동일한 사례들을 하나의 클러스터에 넣게 된다.

이렇게 하여 동일한 특징을 갖는 사례들끼리 묶인 클러스터들이 생성된다. 이러한 클러스터들이 행동 선택에 사용되기 위해서는 대표하는 정보가 필요하다.

따라서, 이후에는 도 1의 메타-룰러(30)에 의해 각 클러스터들의 데이터들을 일반화하는 과정을 거치게 된다.

이러한 단계들을 거치게 되면 비로소 임무 수행을 위한 중간 목표들이 생성되게 된다. 이렇게 생성된 중간 목표들은 데이터베이스(40)에 저장되며, 이후 임무 학습에 활용된다.

도 6은 전술한 과정을 거쳐 일반화되는 과정을 도시한 것이다. A 단계에서 하나의 클러스터에 포함된 다수의 상태-행동 쌍들과, B 단계에서 일반화 과정을 거쳐, C 단계에서 일반화된다.

이에 따라, 본 발명에 따르면 로봇이 물체 또는 비물체의 행동을 유발할 수 있는 상태로 로봇의 상태를 전이시켜주는 정보를 획득하고 이를 중간 목표로 생성하기 때문에 학습 속도가 빠르게 각각을 재사용하는데 용이하다. 또한, 로봇이 임무를 수행하기 위해 자신의 관점으로 상태를 표현하는 과정에는 프레임 문제가 항상 존재하는데, 본 발명에 따른 임무 학습 방법은 상태를 표현하기 위한 관심 영역을 물체 또는 비물체로 축소시키는 역할을 해준다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

도 1은 본 발명의 일 실시예에 따른 행동 유발성 모델에 기반한 중간 목표 생성과 이를 기반으로 한 임무 학습을 위한 시스템의 구성도이다.

도 2a 내지 도e는 각 모델 생성부에서 생성되는 인스턴스들의 형태를 도식화한 것이다.

도 3a 및 도 3b는 각각 TCL 방법과 LCL 방법을 개략적으로 도시한 것이다.

도 4는 현재의 상태와 다음의 상태-행동의 연관관계를 도식화한 것이다.

도 5a 및 도 5b는 성공 사례 수집을 위한 물리적 공간 및 상태 공간을 도시한 것이다.

도 6은 본 발명의 중간 목표 생성 과정에서 사례들의 일반화 과정을 도시한 것이다.

Claims (8)

1. 행동 유발 모델에 기반한 중간 목표 생성방법에 있어서,

   교시 또는 시뮬레이션을 통한 학습 데이터에서 로봇의 임무에 관련된 특징 벡터를 추출하는 단계;

   상기 특징 벡터에 기초하여, 물체 또는 비물체가 행동을 유발할 수 있는 상태로 변화할 수 있도록 상태 전이를 일으킬 수 있는 행동을 유발하게 하는 상태전이모델을 통해 임무 학습 결과들을 생성하는 단계; 및

   상기 임무 학습 결과들을 일반화 및 변수화하여 중간목표들을 생성하는 단계를 포함하고;

   상기 임무 학습 결과들을 생성하는 단계는 물체-행동, 비물체-행동 간의 연결관계를 생성하는 센서-모터 맵, 및 물체-행동-결과의 연관관계를 생성하는 물체기반 행동유발 모델을 통해 상기 임무 학습 결과들을 생성하는 단계를 포함하는 것을 특징으로 하는 행동 유발 모델에 기반한 중간 목표 생성방법.
2. 삭제
3. 제1항에 있어서,

   상기 임무 학습 결과들을 생성하는 단계는, 비물체-행동-결과의 연관관계를 생성하는 비물체기반 행동유발 모델, 및 행동유발 모델들 간의 관계 및 순서를 생성하는 행동 유발 모델 지향적 전이 모델을 통해 상기 임무 학습 결과들을 생성하는 단계를 포함하는 것을 특징으로 하는 행동 유발 모델에 기반한 중간 목표 생성방법.
4. 제1항에 있어서,

   상기 중간목표들을 임무별로 분류하여 데이터베이스로 구축하는 단계를 포함하는 것을 특징으로 하는 행동 유발 모델에 기반한 중간 목표 생성방법.
5. 제1항, 제3항 및 제4항 중 어느 하나의 항에 따라 중간목표를 생성하여, 상기 생성된 중간 목표에 기반하여 임무를 학습하는 방법.
6. 행동 유발 모델에 기반한 임무 학습 시스템에 있어서,

   교시 또는 시뮬레이션을 통한 학습 데이터에서 로봇의 임무에 관련된 특징 벡터를 추출하는 시각변환기;

   상기 특징 벡터에 기초하여, 물체 또는 비물체가 행동을 유발할 수 있는 상태로 변화할 수 있도록 상태 전이를 일으킬 수 있는 행동을 유발하게 하는 상태전이모델을 통해 임무 학습 결과들을 생성하는 상태전이모델 생성부;

   상기 특징 벡터에 기초하여 물체-행동, 비물체-행동 간의 연결관계를 생성하는 센서-모터 맵을 통해 임무 학습 결과들을 생성하는 센서-모터 맵 생성부;

   상기 특징 벡터에 기초하여 물체-행동-결과의 연관관계를 생성하는 물체기반 행동유발 모델을 통해 임무 학습 결과들을 생성하는 물체기반 행동유발 모델 생성부;

   상기 임무 학습 결과들을 일반화 및 변수화하는 메타-룰러; 및

   상기 일반화 및 변수화된 임무 학습 결과들을 임무별로 분류하여 저장하는 데이터베이스를 포함하는 것을 특징으로 하는 행동 유발 모델에 기반한 임무 학습 시스템.
7. 삭제
8. 제6항에 있어서,

   상기 특징 벡터에 기초하여 비물체-행동-결과의 연관관계를 생성하는 비물체기반 행동유발 모델을 통해 임무 학습 결과들을 생성하는 비물체기반 행동유발 모델 생성부; 및

   상기 특징 벡터에 기초하여 행동유발 모델들 간의 관계 및 순서를 생성하는 행동 유발 모델 지향적 전이 모델을 통해 임무 학습 결과들을 생성하는 행동 유발 모델 지향적 전이 모델 생성부를 더 포함하는 것을 특징으로 하는 행동 유발 모델에 기반한 임무 학습 시스템.

Images