KR101577711B1 - 시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법 - Google Patents

시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법 Download PDF

Info

Publication number
KR101577711B1
KR101577711B1 KR1020140062249A KR20140062249A KR101577711B1 KR 101577711 B1 KR101577711 B1 KR 101577711B1 KR 1020140062249 A KR1020140062249 A KR 1020140062249A KR 20140062249 A KR20140062249 A KR 20140062249A KR 101577711 B1 KR101577711 B1 KR 101577711B1
Authority
KR
South Korea
Prior art keywords
action path
learning
remodeling
area
gaussian
Prior art date
Application number
KR1020140062249A
Other languages
English (en)
Other versions
KR20150134872A (ko
Inventor
서일홍
이상형
조남준
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020140062249A priority Critical patent/KR101577711B1/ko
Publication of KR20150134872A publication Critical patent/KR20150134872A/ko
Application granted granted Critical
Publication of KR101577711B1 publication Critical patent/KR101577711B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/005—Manipulators for mechanical processing tasks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법에 관한 것으로, 작업 솜씨를 학습하는 방법은, 학습 엔진이 주어진 임무에 대한 학습 데이터를 입력받아 제 1 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 전체 행동 경로를 복수 개의 가우시안으로 모델링하고, 행동 경로와 임무의 대상 객체 간의 상관 관계를 산출하고, 산출된 상관 관계에 기초하여 수행 시간에 대한 행동 경로와 객체 간의 거리 변화량이 임계치 이하인 부분을 리모델링 영역으로 추출하며, 추출된 리모델링 영역에 대한 행동 경로를 전체 행동 경로부터 분할하여 제 2 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 모델링한다.

Description

시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법{Method for learning task skill using temporal and spatial relation}
본 발명은 작업 솜씨를 학습하는 기술에 관한 것으로, 특히 인간이 행동하는 작업 솜씨를 지능형 로봇과 같은 인공물을 통해 획득함으로써 주어진 환경 내에서 해당 작업을 인공물이 단독으로 수행할 수 있도록 작업 솜씨를 학습하는 방법 및 그 방법을 채택한 로봇에 관한 것이다.
인공 지능(artificial intelligence, AI)이라 함은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로서, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 기술을 말한다. 이러한 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히, 현대에는 정보 기술의 여러 분야에서 인공지능적 요소를 도입하여 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
이상과 같이 인간의 행동을 모방하려는 시도는 학습 로봇이라는 기술 분야의 발전을 가져왔다. 종래의 로봇 공학에서 산업용 로봇 등이 단지 잘 설계된 일련의 명령어 집합을 입력받아 이에 해당하는 명령만을 기계적으로 수행하였던 것에 반해, 현대의 학습 로봇은 주위 환경으로부터 다양한 환경 요소들을 로봇 스스로가 감지하고, 이로부터 인간에게 유용한 다양한 작업 솜씨(task skill)를 학습할 수 있는 수준을 지향하고 있다. 이러한 학습 로봇(비록 로봇이라고 표현하였으나, 하드웨어 로봇 이외에 가상 공간에서 활용될 수 있는 소프트웨어로 구현된 가상 생명체 내지 인공물을 포함할 수 있다.)에 있어서, 학습(learning)의 목표는 경험을 통한 일반화에 의해 인공지능 추론 시스템의 잠재적 성능을 향상시키는 것에 있다. 즉, 학습 알고리즘에 입력되는 것은 실험(experiment)이 될 것이고, 그 결과에 따라 지식 베이스(knowledge base)에 대한 수정들이 그 학습 알고리즘에서 출력될 것이다.
이러한 지식 베이스에 저장되는 지식 표현(knowledge representation)은 지식의 추출 및 저장을 표현하는 역할을 한다. 이 개념은 지식, 특징 추출 및 열거(enumeration), 객체 상태의 구성 및 정의들을 일반화하는 기술을 제공하기도 한다. 그 자체를 구현하기 위해서는 일반적으로 그래프, 벡터 및 테이블 등의 공지된 데이터 구조를 활용할 수 있다.
지능 로봇(또는 에이전트)은 사람과의 상호작용을 통해 임무 수행을 위한 학습 데이터를 획득한다. 로봇이 획득한 학습 데이터를 이용하여 단일 모델을 생성하거나, 사람 또는 사전 지식을 기반으로 사전에 분리된 데이터를 이용하여 분리된 모델들을 생성한다. 생성된 모델은 로봇의 임무 수행을 위한 재생성에 사용된다. 로봇의 임무 수행을 위한 모델은 지속적이고 점진적으로 추가 및 수정될 수 있어야 하고, 이를 기반으로 임무를 재생성할 수 있어야 한다.
작업 솜씨를 학습하는 기술에 관하여 가우시안 혼합 모델을 비롯하여 다양한 확률적/동역학적 접근 방법들을 이용하여 로봇의 작업 솜씨를 학습하는 방법이 알려져 있다. Calinon, Hersch, Kruger, Kulic, Lee 등 다양한 연구자들이 가우시안 혼합 모델, 은닉 마르코프 모델 등 확률 모델을 사용하여 솜씨를 학습하였고, Pastor, Ude, Kormushev 등은 동역학적 방법들을 이용하여 로봇의 솜씨를 학습하는 방법을 제안하였다. 이하에서 인용되는 비특허문헌 1은 확률 모델을 이용한 솜씨 학습 방법을 제시하고 있으며, 비특허문헌 2는 동역학적 방법을 이용한 솜씨 학습 방법을 제시하고 있다.
S. Calinon, F. Guenter, and A. Billard, "On learning, representing, and generalizing a task in a humanoid robot," Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, vol. 37, no. 2, pp. 286-298, 2007. P. Pastor, H. Hoffmann, T. Asfour, and S. Schaal, "Learning and generalization of motor skills by learning from demonstration," in Intl. Conf. on Robotics and Automation (ICRA), pp. 763-768, 2009.
본 발명이 해결하고자 하는 기술적 과제는 종래의 행동 경로로부터 특징을 갖는 부분에 관한 파리미터를 이용한 정교한 모델링 방법이 존재하지 않았던 한계를 극복하고, 다양한 행동 경로에 대하여 단 1회에 걸쳐 가우시안의 수를 추정함에 따라서 공간적 변화가 적은 부분의 모델링 성능이 저하되는 문제점을 해소하고자 한다.
본 발명의 일 실시예에 따른 적어도 하나의 프로세서(processor)를 구비한 학습 엔진(learning engine)이 작업 솜씨를 학습하는 방법은, 상기 학습 엔진이 주어진 임무에 대한 학습 데이터를 입력받아 제 1 파라미터 수에 따른 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 상기 임무를 수행하기 위한 전체 행동 경로를 복수 개의 가우시안으로 모델링하는 단계; 상기 학습 엔진이 상기 행동 경로와 상기 임무의 대상 객체(object) 간의 상관 관계를 산출하는 단계; 상기 행동 경로에 대한 수행 시간과 상기 상관 관계에 기초하여, 상기 학습 엔진이 상기 수행 시간에 대해 상기 행동 경로와 상기 객체 간의 거리 변화량이 임계치 이하인 부분을 리모델링(remodeling) 영역으로 추출하는 단계; 및 상기 학습 엔진이 상기 추출된 리모델링 영역에 대한 행동 경로를 전체 행동 경로부터 분할하여 제 2 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 모델링하는 단계;를 포함한다.
일 실시예에 따른 상기 작업 솜씨를 학습하는 방법은, 상기 학습 엔진이 상기 전체 행동 경로 중 추출된 상기 리모델링 영역을 제외한 행동 경로에 대한 가우시안 모델링 결과와 상기 리모델링 영역의 행동 경로에 대한 가우시안 모델링 결과로부터 전체 행동 경로에 대한 작업 솜씨를 생성하는 단계;를 더 포함한다.
일 실시예에 따른 상기 작업 솜씨를 학습하는 방법에서, 상기 리모델링 영역은, 주어진 임무를 수행함에 있어서 나머지 영역에 비해 상대적으로 수행 시간이 오래 소요되면서 작업 공간의 변화가 적은 영역이다.
일 실시예에 따른 상기 작업 솜씨를 학습하는 방법에서, 상기 제 2 파라미터 수는 상기 제 1 파라미터 수보다 큰 값으로 설정됨으로써, 상기 리모델링 영역에 대해 나머지 영역에 비해 상대적으로 더 정교하게 모델링한다.
일 실시예에 따른 상기 작업 솜씨를 학습하는 방법에서, 상기 상관 관계는, 정준상관분석(Canonical Correlation Analysis, CCA)을 이용하여 상기 행동 경로와 상기 대상 객체 간의 위치 관계(correlation) 및 공간 변화량(spatial variation)에 기초한 가중치로서 표현하되, 상기 행동 경로와 상기 대상 객체 간의 거리의 변화가 시간에 대해 작을수록 상기 거리의 변화가 시간에 대해 큰 경우에 비해 상대적으로 더 큰 가중치를 갖는다. 또한, 추출된 상기 리모델링 영역에 대하여 상기 가중치를 반영하여 군집화를 수행함으로써, 상기 전체 행동 경로 중 상기 리모델링 영역을 제외한 나머지 영역에 비해 상기 리모델링 영역이 상대적으로 더 많은 수의 군집을 형성할 수 있다. 나아가, 상기 가중치를 반영한 군집화를 수행함으로써 상기 제 2 파라미터의 초기값을 설정하고, 상기 설정된 초기값에 따른 가우시안 혼합 모델을 이용하여 모델링을 수행하며, 베이즈 정보 기준(Bayesian Information Criterion, BIC)을 이용하여 군집과 가우시안의 최종 개수를 결정할 수 있다.
본 발명의 다른 실시예에 따른 작업 솜씨를 학습하는 로봇(robot)은, 물리적인 운동을 수행하여 주어진 임무를 달성할 수 있는 구동부; 및 상기 주어진 임무에 대한 학습 데이터를 상기 구동부로부터 입력받고, 가우시안 혼합 모델을 이용하여 전체 행동 경로를 모델링함으로써 작업 솜씨를 생성하는 학습 엔진;을 포함하되, 상기 학습 엔진은, 제 1 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 상기 임무를 수행하기 위한 전체 행동 경로를 복수 개의 가우시안으로 모델링하고, 상기 행동 경로와 상기 임무의 대상 객체 간의 상관 관계를 산출하고, 상기 행동 경로에 대한 수행 시간과 상기 상관 관계에 기초하여 상기 수행 시간에 대해 상기 행동 경로와 상기 객체 간의 거리 변화량이 임계치 이하인 부분을 리모델링 영역으로 추출하며, 상기 추출된 리모델링 영역에 대한 행동 경로를 전체 행동 경로부터 분할하여 제 2 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 모델링한다.
다른 실시예에 따른 상기 로봇에서, 상기 학습 엔진은, 상기 전체 행동 경로 중 리모델링 영역을 제외한 행동 경로에 대한 가우시안 모델링 결과와 상기 리모델링 영역의 행동 경로에 대한 가우시안 모델링 결과로부터 전체 행동 경로에 대한 작업 솜씨를 생성한다.
다른 실시예에 따른 상기 로봇에서, 상기 리모델링 영역은, 주어진 임무를 수행함에 있어서 나머지 영역에 비해 상대적으로 수행 시간이 오래 소요되면서 작업 공간의 변화가 적은 영역이다.
다른 실시예에 따른 상기 로봇에서, 상기 제 2 파라미터 수는 상기 제 1 파라미터 수보다 큰 값으로 설정됨으로써, 상기 리모델링 영역에 대해 나머지 영역에 비해 상대적으로 더 정교하게 모델링한다.
다른 실시예에 따른 상기 로봇에서, 상기 상관 관계는, 정준상관분석을 이용하여 상기 행동 경로와 상기 대상 객체 간의 위치 관계 및 공간 변화량에 기초한 가중치로서 표현하되, 상기 행동 경로와 상기 대상 객체 간의 거리의 변화가 시간에 대해 작을수록 상기 거리의 변화가 시간에 대해 큰 경우에 비해 상대적으로 더 큰 가중치를 갖는다. 또한, 상기 학습 엔진은, 추출된 상기 리모델링 영역에 대하여 상기 가중치를 반영하여 군집화를 수행함으로써, 상기 전체 행동 경로 중 상기 리모델링 영역을 제외한 나머지 영역에 비해 상기 리모델링 영역이 상대적으로 더 많은 수의 군집을 형성할 수 있다. 나아가, 상기 학습 엔진은, 상기 가중치를 반영한 군집화를 수행함으로써 상기 제 2 파라미터의 초기값을 설정하고, 상기 설정된 초기값에 따른 가우시안 혼합 모델을 이용하여 모델링을 수행하며, 베이즈 정보 기준을 이용하여 군집과 가우시안의 최종 개수를 결정할 수 있다.
본 발명의 실시예들은 인간의 행동을 모델링하고 학습함에 있어서, 오랜 시간이 소요됨과 동시에 공간적 변화가 적은 영역을 전체 행동 경로로부터 분할하여 별도로 정교하게 모델링하고, 여타의 영역에 대해서는 상대적으로 적은 수의 파라미터를 활용하여 모델링함으로써, 단일의 파라미터를 이용하거나 오버 피팅한 모델보다 추정 성능이 좋으면서 정교한 행동 경로를 생성할 수 있는 작업 솜씨 모델이 가능하다.
도 1a 내지 도 1c는 로봇이 붓을 이용하여 쿠키에 장식을 하는 임무를 수행하는 과정에서 나타나는 행동 경로와 가우시안 모델을 예시한 도면이다.
도 1d는 도 1c에서 발견된 문제점을 보완하기 위해 보다 많은 파라미터를 사용하여 모델링한 결과를 예시한 도면이다.
도 2는 본 발명의 실시예들에 따른 솜씨 학습 방법에서 시간과 공간에 상관 관계에 따라 보다 많은 파라미터로 모델링하여야 하는 부분을 결정하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 시간 및 공간적 관계를 이용하여 작업 솜씨를 학습하는 방법을 도시한 흐름도이다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 도 3의 작업 솜씨 학습 방법에서 리모델링 영역을 찾아내어 가중치를 부여하는 과정을 설명하기 위한 도면이다.
도 5 내지 도 7은 각각 본 발명의 일 실시예에 따른 도 4c의 가중치를 포함한 군집화 결과, 가우시안 혼합 모델 및 가우시안 혼합 회기를 예시한 도면이다.
도 8 및 도 9는 각각 본 발명의 일 실시예에 따른 도 4c의 가중치에 따라 재생성된 행동 경로와 임무 수행의 결과를 예시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 시간 및 공간적 관계를 이용하여 작업 솜씨 학습을 위한 데이터의 흐름을 제시한 블록도이다.
도 11은 본 발명의 다른 실시예에 따른 시간 및 공간적 관계를 이용하여 작업 솜씨를 학습하는 로봇을 도시한 블록도이다.
본 발명의 실시예들을 설명하기에 앞서 본 발명의 실시예들이 구현되는 환경에 대해 간략히 소개하고, 실시예들이 구현되는 환경에서 발생하고 있는 구현상의 문제점을 제시하고자 한다.
로봇의 조작 작업에서 솜씨들은 대개 로봇의 작업 공간에서 획득한 연속적인 행동 경로들을 사용하여 모델링하게 된다. 사람의 복합 시연으로부터 획득한 연속적인 행동 경로들은 그 시연들에서 소요된 시간과 공간적 변화에 따라 크게 네 가지 유형(시간이 길게 또는 짧게 걸리는 부분과 공간적 변화가 크고 작은 부분에 의한 조합)으로 구분될 수 있다. 이러한 네 가지 부분들에서 시간이 오래 소요되고 공간적 변화가 작은 부분(예를 들어, 바늘귀에 실을 통과시키는 행동이 될 수 있다.)들은 대개 그런 부분이 작업을 성취하는데 있어서 중요한 움직임임에도 불구하고 적은 수의 파라미터로 모델링된다는 특징이 발견되었다. 왜냐하면, 그런 부분들이 다른 부분과 비교하였을 때 작업 공간 내에서 공간적인 변화가 굉장히 작기 때문이다. 사실, 작업을 성취하기 위해서 이런 부분들은 정교하게 수행되어야 하기 때문에 작업 솜씨 모델링의 성능을 향상시키기 위해서는 이런 부분들이 더 많은 파라미터로 모델링되어야 할 필요성이 있다.
특히, 가우시안 혼합 모델을 베이즈 정보 기준(Bayesian Information Criterion, BIC) 방법과 같이 자율적 파라미터 추정 방법을 통해 파라미터 수를 잘 조절하여 솜씨를 학습하는 방법들을 활용할 경우, 시간이 오래 소요되면서 움직임이 적은 정교한 행동 경로를 생성하는 것이 불가능하다. 앞서 지적한 바와 같이, 이런 부분들은 가우시안 혼합 모델의 특성상 적은 수의 파라미터로 표현되기 때문이다. 이런 미세한 부분을 정교하게 생성하기 위해서는 더 많은 파라미터를 이용하여 더 자세히 모델링할 수 있어야 하지만, 종래의 기술들은 이러한 부분을 고려하지 않고 있다. 즉, 행동 경로로부터 이러한 특징(시간이 오래 소요되면서 동시에 움직임이 적은 행동 경로)을 갖는 부분만을 찾아내어 더 많은 파라미터를 이용하여 정교하게 모델링하는 방법은 아직까지 제시된 바가 없다. 무엇보다도 행동 경로를 학습하는 경우 로봇과 대상 객체(Object)의 상관 관계를 분석하고 이를 기반으로 하여 특정 부분에 더 많은 파라미터를 이용한 모델링이 필요하지만, 종래의 기술들은 이러한 부분을 고려하지 않았다.
종래의 가우시한 혼합 모델이나 베이즈 정보 기준을 기반으로 한 작업 솜씨의 학습 방법은 공간적 변화가 적은 부분을 잘 모델링 할 수가 없었다. 본 발명의 실시예들은 시간이 오래 걸리면서 공간적인 변화가 적고 로봇과 객체의 거리의 변화가 작은 부분을 행동 경로의 다른 부분과 분리하여 고려해야 가우시안 혼합 모델을 통해 적절하게 모델링될 수 있다는 발견에 기초하여 안출되었다.
이하에서 제시되는 본 발명의 실시예들은 가우시안 혼합 모델에 의해 계산되는 시간 및 공간적 상관 관계를 기반으로 이런 솜씨들을 파라미터 수를 적절하게 조절하는 방법을 제안하고자 한다. 제안하는 기술에서는 행동 경로를 가우시안 혼합 모델을 이용하여 모델링하고 정준상관분석(Canonical Correlation Analysis, CCA)을 통해 로봇의 행동 경로와 객체의 위치에 상관관계를 활용하고자 한다. 여기서, 로봇과 객체에 대한 거리의 변화가 시간에 대해 적을수록 상관 관계에 대한 산출값이 커지고, 거리의 변화가 시간에 대해 클수록 상관 관계에 대한 산출값이 작아지게 된다.
본 발명의 실시예들을 통해 보다 다수의 파라미터를 사용하여 오버피팅(overfitting)된 모델보다 추정 성능이 더 좋으면서 잘 추정된 모델보다 더 정교한 행동 경로를 생성하는 것이 가능하다는 사실이 발견되었으며, 이는 이후 도면을 참조하여 로봇의 '쿠키 장식하기' 임무에 대한 실험을 통해 검증 결과를 제시하도록 한다.
이를 위해 본 발명의 일 실시예에 따른 작업 솜씨를 학습하는 방법은, 시간이 오래 걸리면서 로봇(행동 경로)과 대상 객체와의 공간적 변화가 적은 부분들을 발견하고, 발견된 부분을 행동 경로의 다른 부분들로부터 분리하여 고려함으로써 가우시안 혼합 모델을 통해 적절하게 모델링하게 된다.
일 실시예에 따라 작업 솜씨를 학습하는 방법에서는 가우시안 혼합 모델을 이용하여 행동 경로를 여러 개의 가우시안으로 모델링한 후에 각각의 가우시안으로부터 시간과 공간에 대한 상관 관계를 구한다. 본 발명의 실시예들은 특히 이 두 개의 요소(소요 시간 및 공간/위치에 대한 변화량)을 이용하여 시간이 오래 걸리면서 작업 공간에서 변화가 적은 부분을 찾아내게 되는데, 이런 부분들은 작업에서 중요함에도 불구하고 가우시안 혼합 모델로 적절하게 표현되지 않기 때문이다. 이를 위해 일 실시예에 따라 작업 솜씨를 학습하는 방법은 각각의 시간 및 공간에 대한 상관 관계를 이용하여 더 많은 파라미터로 표현되어야 하는 부분을 찾아내고, 그런 부분을 전체 행동 경로로부터 분할하여 별도의 가우시안 혼합 모델로 모델링하게 된다. 또한, 일 실시예에 따라 작업 솜씨를 학습하는 방법은 이러한 과정을 지속적으로 반복하여 일정 기준(본 발명의 실시예들에서 베이즈 정보 기준을 활용하여 예시하였다.)에 만족하게 되면 모델링 과정을 멈추게 된다.
도 1a 내지 도 1c는 로봇이 붓을 이용하여 쿠키에 장식을 하는 임무를 수행하는 과정에서 나타나는 행동 경로와 가우시안 모델을 예시한 도면으로서, 이하에서는 본 실험예를 중심으로 작업 솜씨를 학습하는 방법을 설명할 것이나 이는 예시에 불과하며, 본 발명의 실시예들이 채택하고 있는 기술적 사상을 활용하여 로봇이 제한된 공간을 충돌 없이 통과하는 행동 경로를 학습하는 등의 다양한 학습 방법에 활용될 수 있음은 물론이다.
도 1a는 로봇이 붓을 이용하여 쿠키의 장식을 하는 행동 경로를 보여주고 있는데, x, y, z의 3차원 좌표축에서의 행동 경로를 예시하였으며, 도 1b는 이러한 x, y, z축에 대한 행동 경로를 시간축으로 보여주고 있다. 여기서, 점선으로 표시된 영역 (1)은 실제 쿠키에 붓을 이용하여 장식을 하기 위한 경로를 생성하는 부분을 나타낸다.
도 1a 및 도 1b를 참조하면, 로봇이 대상 객체에 대한 작업 솜씨 기술을 잘 학습하기 위해서는 로봇과 객체와의 거리 변화량이 적고 시간이 오래 걸리는 영역 (1)에 집중적인 모델링이 필요하지만, 일반적인 가우시안 혼합 모델로는 적절히 모델링이 되지 않는 특징을 보이고 있음을 확인할 수 있다. 즉, 쿠키에 장식을 하는 정교한 행동 경로가 시간의 경과에 따라 매우 미묘한 정도로만 변화하는 것을 알 수 있다.
도 1c는 로봇이 붓을 이용하여 쿠키에 장식을 수행하는 행동 경로에 대하여 가우시안 모델을 모델링한 결과를 예시하였다. 앞서 도 1b를 통해 설명한 영역 (1)에 대한 모델링이 성글게 형성되어 있음을 확인할 수 있다. 이렇게 모델을 이용하여 가우시안 혼합 회귀 모델을 통해 연속적인 행동 경로를 추측함으로써 작업 솜씨를 학습하게 되는데, 여전히 영역 (1)에 대해서는 정밀하고 섬세한 학습이 이루어질 수 없음을 실험을 통해 확인할 수 있었다. 즉, 종래의 가우시안 혼합 모델을 이용하여 시간이 많이 소요되는 미세한 행동 경로를 모델링하려 할 경우, 단 한번의 파라미터 선정에 따른 모델링으로 인하여 정확한 모델링이 이루어지지 않음을 재차 확인할 수 있다.
이하에서는 상기된 도 1c에서 나타난 문제점을 인식하여 종래의 모델링 방법보다 상대적으로 더 많은 수의 파라미터를 사용하여 모델링의 정확성을 높이는 시도를 하여 보았다.
도 1d는 도 1c에서 발견된 문제점을 보완하기 위해 보다 많은 파라미터를 사용하여 모델링한 결과를 예시한 도면으로서, 도 1c에 비해 상대적으로 더 많은 구간이 형성된 것을 볼 수 있다. 그러나, 도 1d을 참조하면, 모델을 오버피팅(overfitting)하는 경우 사용자가 원하는 쿠키를 장식하는 부분만 더 많은 파라미터로 모델링 되는 것이 아니라 모든 부분들에서(특히, 칠하기 동작을 위해 붓을 쿠키 쪽으로 이동하고, 칠하기 동작 후 쿠키로부터 붓이 이동시키는 부분)에서 더 많은 파라미터로 표현되어 오히려 행동 경로 생성이 더 부정확하게 이루어지는 현상이 나타나는 것을 확인할 수 있었다.
즉, 이상과 같이, 도 1c의 적은 수의 파라미터를 이용한 모델링 방법과 도 1d의 상대적으로 더 많은 수의 파라미터를 이용한 모델링 방법 모두에서 정확한 모델링이 이루어지지 못함을 확인하였으며, 양자는 모두 전체 행동 경로를 단일한 하나의 파라미터만으로 추정하고자 하는 시도에서 오류를 야기하고 있음을 발견하였다.
이런 현상을 방지하기 위해서 리모델링이 필요한 부분을 전체 행동 경로로부터 분할하여 그러한 부분만 더 많은 파라미터로 모델링해야 할 필요가 있음을 알 수 있다. 따라서, 분할되어야 하는 특정 부분을 찾기 위해 본 발명의 실시예들은 가우시안 혼합 모델의 각각의 가우시안으로부터 시간과 공간에 대한 상관 관계를 계산하였고, 각각의 계산 결과로부터 더 많은 파라미터로 모델링해야 하는 부분들을 발견하였다.
도 2는 로봇이 작업 솜씨를 학습하기 위해 사용하는 행동 경로를 개괄적으로 분류하여 도시한 도면으로서, 본 발명의 실시예들에 따른 솜씨 학습 방법에서 시간과 공간에 상관 관계에 따라 보다 많은 파라미터로 모델링하여야 하는 부분을 결정하는 방법을 설명하기 위한 도면이다. 도 2를 참조하면, 각각 시간 변화를 나타내는 축과 공간 변화를 나타내는 축을 기준으로 네 가지 영역으로 구분될 수 있다. 앞서 설명한 바와 같이, 도 2에 도시된 네 가지 부분들 중에서 시간이 오래 걸리면서 공간적인 움직임이 작은 부분들이 중요한 부분들임에도 불구하고 적절히 모델링 되지 않는 특징을 나타남을 확인할 수 있다. 이하에서는 전체 작업 경로로부터 이러한 영역(점선으로 표시된 부분)을 발견하고, 이를 리모델링하는 처리 방법에 대해 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 학습 엔진(learning engine)이 시간 및 공간적 관계를 이용하여 작업 솜씨를 학습하는 방법을 도시한 흐름도로서, 다음과 같은 단계들을 포함한다.
S310 단계에서, 적어도 하나의 프로세서(processor)를 구비한 학습 엔진(learning engine)은, 주어진 임무에 대한 학습 데이터를 입력받아 제 1 파라미터 수에 따른 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 상기 임무를 수행하기 위한 전체 행동 경로를 복수 개의 가우시안으로 모델링한다.
이러한 학습 엔진은 운동학 교시를 통해 주어진 임무에 대한 학습 데이터를 입력받을 수 있는데, 운동학 교시(kinesthetic teaching)란, 최초의 학습 엔진을 학습시키기 위해 기계적인 구동 수단을 통해 해당 임무를 어떻게 수행하여야 하는지를 알려주는 과정을 의미한다. 예를 들어, 교시자(teacher)는 지능 로봇의 구동부(로봇 암이 될 수 있다.)를 직접 움직여 로봇 암으로 하여금 글씨를 쓰도록 시연(demonstration)할 수 있고, 이러한 교시자의 움직임을 입력값으로 받아들임으로써 학습 엔진은 해당 입력값(로봇 암의 움직임 궤적이 될 수 있다.)이 글씨를 쓰기 위한 작업 솜씨로써 인식할 수 있다. 즉, 학습 엔진은 구동 수단에 구비된 관절에 부여된 자유도(degree of freedom, DOF)를 이용하여 각 조인트 각도를 측정함으로써 학습 데이터를 입력받을 수 있다.
여러 번의 시연을 통해 획득한 전체 행동 경로는, 서로 속도와 길이 등이 다르기 때문에 가우시안 혼합 모델을 학습하기 전에 동적 시간 와핑(dynamic time warping, DTW)을 통해 시간적으로 데이터를 정렬하였다. 이와 같이 정렬된 데이터는 이후 주성분분석(principal component analysis, PCA)를 통해 차원을 축소하게 된다.
S320 단계에서, 상기 학습 엔진은 상기 행동 경로와 상기 임무의 대상 객체(object) 간의 상관 관계를 산출한다. 즉, 작업에 관련된 대상 객체의 위치와 시간적으로 정렬된 움직임 궤적(motion trajectory)을 입력받아 움직임의 상관 관계와 다수의 시연 간의 변화량을 산출한다.
S330 단계에서, 상기 행동 경로에 대한 수행 시간과 상기 S320 단계를 통해 산출된 상관 관계에 기초하여, 상기 학습 엔진은 상기 수행 시간에 대해 상기 행동 경로와 상기 객체 간의 거리 변화량이 임계치 이하인 부분을 리모델링(remodeling) 영역으로 추출한다. 이때, 상기 리모델링 영역은, 주어진 임무를 수행함에 있어서 나머지 영역에 비해 상대적으로 수행 시간이 오래 소요되면서 작업 공간의 변화가 적은 영역을 의미한다. 이러한 리모델링 영역은 부분적으로 행동 경로를 리모델(remodel)하기 위해 검출되어야 하는 영역으로서, 전체 움직임 궤적으로부터 분리되어야만 하는 부분에 해당한다. S330 단계에서는 앞서 산출된 로봇의 행동 경로와 객체의 위치 간의 상관 관계를 이용하여 획득된 가중치를 통해 자율적으로 리모델링이 필요한 부분을 발견하게 된다.
구현의 관점에서, 이러한 상관 관계는, 정준상관분석(Canonical Correlation Analysis, CCA)을 이용하여 상기 행동 경로와 상기 대상 객체 간의 위치 관계(correlation) 및 공간 변화량(spatial variation)에 기초한 가중치로서 표현하되, 상기 행동 경로와 상기 대상 객체 간의 거리의 변화가 시간에 대해 작을수록 상기 거리의 변화가 시간에 대해 큰 경우에 비해 상대적으로 더 큰 가중치를 갖는 것이 바람직하다.
S340 단계에서, 상기 학습 엔진은 상기 S330 단계를 통해 추출된 리모델링 영역에 대한 행동 경로를 전체 행동 경로부터 분할하여 제 2 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 모델링한다. 여기서, 상기 제 2 파라미터 수는 상기 제 1 파라미터 수보다 큰 값으로 설정됨으로써, 상기 리모델링 영역에 대해 나머지 영역에 비해 상대적으로 더 정교하게 모델링하도록 유도한다. 즉, S330 단계를 통해 추출된 상기 리모델링 영역에 대하여 상기 가중치를 반영하여 군집화를 수행함으로써, 상기 전체 행동 경로 중 상기 리모델링 영역을 제외한 나머지 영역에 비해 상기 리모델링 영역이 상대적으로 더 많은 수의 군집을 형성하도록 유도하게 된다.
또한, 상기 가중치를 반영한 군집화를 수행함에 있어서, 상기 제 2 파라미터의 초기값을 설정하고, 상기 설정된 초기값에 따른 가우시안 혼합 모델을 이용하여 모델링을 수행하며, 베이즈 정보 기준(Bayesian Information Criterion, BIC)을 이용하여 군집과 가우시안의 최종 개수를 결정할 수 있다.
나아가, S350 단계에서, 상기 학습 엔진은, 상기 전체 행동 경로 중 리모델링 영역을 제외한 행동 경로에 대한 가우시안 모델링 결과와 상기 리모델링 영역의 행동 경로에 대한 가우시안 모델링 결과로부터 전체 행동 경로에 대한 작업 솜씨를 생성할 수 있다.
도 4a 내지 도 4c는 본 발명의 일 실시예에 따른 도 3의 작업 솜씨 학습 방법에서 리모델링 영역을 찾아내어 가중치를 부여하는 과정을 설명하기 위한 도면이다.
움직임의 섬세함은 복잡도(기저 벡터 사이의 일차 결합)와 반복성(복합 시연 사이에 공간의 변화)을 기반으로 한다. 일상 생활을 대상으로 하는 작업에서, 로봇의 움직임은 일반적으로 작업에 관련된 물체와 연관이 되어 있다. 그러므로 복잡도와 반복성은 로봇과 작업에 관련된 물체 사이의 공간과 시간의 관계를 포함하는 자료 집합으로부터 습득될 수 있다. 복잡도를 측정하기 위해서, 정준상관분석에 의해 각각의 자료로부터 기저 벡터 사이의 일차결합을 최대화하는 상관 관계를 취득하고, 반복성을 측정하기 위하여 복합 시연에 의해 획득한 자료 집합 사이의 공분산으로부터 변화량(고유치 값의 합을 통한 표준점수 Z-Score)을 취득할 수 있다. 작업 경로의 크고 섬세한 정도는 이러한 상관 관계와 변화량의 결합에 의해 산출된 가중치를 통해 부여될 수 있다.
도 4a는 로봇과 객체의 거리에 대한 상관 관계를 예시한 것으로서, 가로축은 시간축이고, 세로축은 상관 관계(correlation)(ρ)를 나타낸다. 이러한 상관 관계는 하나의 학습 데이터 내에서 정준상관분석에 의해 획득된 시간적 상관 관계를 포함한다.
도 4b는 정준상관분석의 결과 입력된 윈도우 크기(window size) 및 공간적/시간적 상관 관계로부터 산출된 공간적 움직임/변화량을 예시한 것으로서, 가로축은 시간축이고, 세로축은 공간 변화량(spatial variation)을 나타내는 지표로서 활용된 표준점수(Z-Score)(δ)를 표시하였다. 이러한 상관 관계는 다수의 학습 데이터에서 표준점수에 의해 획득된 공간적 상관 관계를 포함한다.
도 4c는 도 4a 및 도 4b를 결합하여 생성된 가중치를 예시한 것으로서, 가로축은 시간축이고, 세로축은 산출된 가중치(ω)를 나타낸다. 도 4c의 가중치는 다음과 같은 수학식을 활용하여 도출되었다.
Figure 112014048746143-pat00001
여기서, i는 시간 인덱스(time index)를 의미한다.
수학식 1과 도 4c를 참조하면, 로봇과 객체의 거리에 대한 상관 관계와 공간 변화량을 결합함으로써 객체와의 거리의 변화량이 작고, 시간이 오래 걸리는 부분이 높은 값을 갖게 되는 가중치를 얻을 수 있었다. 이러한 가중치는 이후 리모델링 영역에 대한 파라미터 값을 변화시키는(보다 정확하게는 리모델링 영역 이외의 영역에 비해 상대적으로 더 큰 값을 가진다.) 수단으로서 활용된다.
이제, 작업 솜씨를 학습하기 위해서 주성분분석(Principal Component Analysis, PCA), K평균 군집화(K-means clustering), 베이즈 정보기준(Bayesian Information Criterion, BIC) 및 기대치 최대화(Expectation Maximization) 알고리즘을 이용하여 가우시안 혼합 모델을 추정할 수 있다. 최초에 크고 섬세함 움직임에 대한 가중치를 이용하여 k평균 군집화(Weighting k-means clustering) 알고리즘에 의해 가우시안 혼합 모델의 초기 파라미터를 추정하고, 주성분분석, 베이즈 정보 기준, 기대치 최대화 알고리즘에 근거하여 초기 파라미터와 로봇 움직임을 이용하여 가우시안 혼합 모델을 추정할 수 있다.
도 5 내지 도 7은 각각 본 발명의 일 실시예에 따른 도 4c의 가중치를 포함한 군집화 결과, 가우시안 혼합 모델 및 가우시안 혼합 회기를 예시한 도면이다.
도 5는 가중치를 포함한 K평균 군집화를 예시한 것으로서, 가중치로 인해 기존의 K평균 군집화와는 다르게 자율적으로 세밀한 부분에 보다 많은 군집화가 일어나는 것을 볼 수 있다.
가우시안 혼합 모델의 결과는 초기 파라미터에 기반을 두는 특성이 있는데, 그로 인해 본 발명의 실시예들에서는 통상적인 K평균 군집화에 정준상관분석을 통한 가중치를 부여하여 세밀한 부분에 보다 많은 군집화가 일어나게 유도하였다. 이러한 결과값은 가우시안 혼합 모델의 초기 파라미터로 설정되면서 기존의 모델과는 다르게 움직임이 세밀한 부분(가중치가 높은 부분)에는 많은 파라미터가 적용되고, 움직임이 큰 부분(가중치가 낮은 부분)에는 적은 파라미터가 적용되어 모델링됨으로써 행동 경로를 성공적으로 수행할 수 있는 가우시안 혼합 모델을 생성하게 된다. 기존의 모델이나 오버 피팅된 모델과 비교하였을 때 실제 실험 환경에서 붓을 이용하여 쿠키를 장식하는 작업이나, 제한된 공간을 충돌 없이 통과하는 작업에서 세밀하게 모델링된 결과를 얻을 수 있었다.
도 6은 가중치를 포함한 가우시안 혼합 모델을 예시한 것이고, 도 7은 가중치를 포함한 가우시안 혼합 회기를 예시한 것이다. 도 6 및 도 7을 참조하면, 리모델링 영역은 전체 행동 경로로부터 보다 정교하게 처리되어야 하는 영역으로서, 여타의 영역에 비해 보다 많은 수의 파라미터에 기초하여 가우시안 혼합 모델이 적용되었음을 확인할 수 있다.
도 8 및 도 9는 각각 본 발명의 일 실시예에 따른 도 4c의 가중치에 따라 재생성된 행동 경로와 임무 수행의 결과를 예시한 도면이다. 도 8은 가중치를 포함한 행동 경로 재생성을 예시한 것이고, 도 9는 가중치를 포함한 모델에 결과를 예시한 것으로서, 쿠키 표면에 정밀한 장식을 성공적으로 수행할 수 있음을 실험적으로 확인할 수 있었다.
도 10은 본 발명의 일 실시예에 따른 시간 및 공간적 관계를 이용하여 작업 솜씨 학습을 위한 데이터의 흐름을 제시한 블록도이다. 도 10을 참조하면, 작업 솜씨 학습을 위한 학습 엔진은, 동적 시간 와핑(Dynamic Time Warping, DTW) 모듈(31), 공간 및 시간 관계(spatial and temporal relation) 산출 모듈(32), 주성분분석(Principal Component Analysis, PCA) 모듈(33), 정준상관분석(Canonical Correlation Analysis, CCA) 모듈(34), 공간 변화량(spatial variations) 산출 모듈(35), 가중치를 이용한 K 군집화 모듈(weighted k-means)(36), 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 모듈(37), 베이즈 정보 기준(Bayesian Information Criterion, BIC) 모듈(38)을 포함한다.
먼저 동적 시간 와핑 모듈(31)은 다수의 교시나 시연을 통해 획득된 연속적인 경로 정보의 집합(set)을 입력받아, 시간적으로 정렬된 궤적의 집합을 생성한다. 공간 및 시간 관계 산출 모듈(32)은 로봇과 작업에 관련된 대상 객체 간에 시간-공간적 관계를 산출한다. 주성분분석 모듈(33)은 차원이 감소된 공간에서의 궤적의 집합을 생성한다. 정준상관분석 모듈(34)은 공간 및 시간 관계 산출 모듈(32)로부터 입력된 데이터에 기초하여 움직임의 상관 관계를 산출하고, 공간 변화량 산출 모듈(35)은 다수의 시연 사이의 변화량을 산출하며, 각각 산출된 상관 값과 공간 변화량을 K 군집화 모듈(36)로 출력한다. 그러면, K 군집화 모듈(36)은 행동 경로의 크고 섬세함에 대한 가중치를 이용하여 K 군집화를 수행한다. 이제, 가우시안 혼합 모델 모듈(37)은 가중치를 이용하여 K 군집화로부터 얻은 초기 파라미터를 사용하여 가우시안 혼합 모델을 수행하고, 우도(likelihood) 값을 베이즈 정보 기준 모듈(38)로 출력한다. 그러면 베이즈 정보 기준 모듈(38)은 베이즈 정보 기준을 통해 군집과 가우시안의 개수를 결정하여 K 군집화 모듈(36)로 피드백한다.
이상의 과정을 통해 작업 솜씨 학습을 위한 학습 엔진은, 리모델링되어야만 하는 부분과 리모델링이 불필요한 신호를 차별적으로 분리하고, 분할된 움직임 궤적을 재차 가우시안 혼합 모델 모듈(37)에 입력하여 일부 영역(리모델링 영역, 즉 시간이 많이 소요되면서 움직임이 적은 영역)에 대한 리모델링을 유도한다. 이러한 일련의 리모델링 과정을 필요한 수만큼 반복할 수 있으며, 최종적으로, 리모델링된 부분과 리모델링되지 않은 부분에 대한 작업 솜씨를 취합하여 전체 행동 경로에 대한 작업 솜씨를 생성하게 된다.
도 11은 본 발명의 다른 실시예에 따른 시간 및 공간적 관계를 이용하여 작업 솜씨를 학습하는 로봇을 도시한 블록도로서, 앞서 소개한 도 3의 일련의 과정과 그 수행 동작이 대응된다. 따라서, 여기서는 설명의 중복을 피하기 위해 하드웨어 구성에 따른 특징을 중심으로 그 동작을 약술하도록 한다.
구동부(20)는 물리적인 운동을 수행하여 주어진 임무를 달성한다. 이러한 구동부(20)는 자유도(degree of freedom, DOF)를 갖는 기계적인 구조물을 의미한다.
학습 엔진(30)은 상기 주어진 임무에 대한 학습 데이터(10)를 상기 구동부(20)로부터 입력받고, 가우시안 혼합 모델을 이용하여 전체 행동 경로를 모델링함으로써 작업 솜씨를 생성한다. 보다 구체적으로, 이러한 학습 엔진은, 제 1 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 상기 임무를 수행하기 위한 전체 행동 경로를 복수 개의 가우시안으로 모델링하고, 상기 행동 경로와 상기 임무의 대상 객체 간의 상관 관계를 산출하고, 상기 행동 경로에 대한 수행 시간과 상기 상관 관계에 기초하여 상기 수행 시간에 대해 상기 행동 경로와 상기 객체 간의 거리 변화량이 임계치 이하인 부분을 리모델링 영역으로 추출하며, 상기 추출된 리모델링 영역에 대한 행동 경로를 전체 행동 경로부터 분할하여 제 2 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 모델링한다. 또한, 상기 학습 엔진은, 상기 전체 행동 경로 중 리모델링 영역을 제외한 행동 경로에 대한 가우시안 모델링 결과와 상기 리모델링 영역의 행동 경로에 대한 가우시안 모델링 결과로부터 전체 행동 경로에 대한 작업 솜씨(40)를 생성할 수 있다.
특히, 학습 엔진(30)이 추출하는 리모델링 영역은, 주어진 임무를 수행함에 있어서 나머지 영역에 비해 상대적으로 수행 시간이 오래 소요되면서 작업 공간의 변화가 적은 영역인 것으로서, 상기 제 2 파라미터 수는 상기 제 1 파라미터 수보다 큰 값으로 설정됨으로써, 상기 리모델링 영역에 대해 나머지 영역에 비해 상대적으로 더 정교하게 모델링하는 것이 바람직하다.
현재까지 학습을 통해 로봇의 작업 솜씨 학습하는 기술이 제안되고 있으나, 실제 이런 기술을 적용한 로봇이 시중에 판매되고 있지 않다. 그 가장 큰 이유 중 하나가 그런 방법으로 작업 솜씨를 학습한 로봇들이 실제 작업을 수행할 만큼 정교함이 떨어지기 때문이다.
상기된 본 발명의 실시예들에 따르면, 인간의 행동을 모델링하고 학습함에 있어서, 객체와의 상호 관계를 고려하여 오랜 시간이 소요됨과 동시에 공간적 변화가 적은 영역을 전체 행동 경로로부터 분할하여 별도로 정교하게 모델링하고, 여타의 영역에 대해서는 상대적으로 적은 수의 파라미터를 활용하여 모델링함으로써, 단일의 파라미터를 이용하거나 오버 피팅한 모델보다 추정 성능이 좋으면서 정교한 행동 경로를 생성할 수 있는 작업 솜씨 모델이 가능할 뿐만 아니라, 실제 환경에서 작업이 가능한 로봇 생산이 가능하다.
한편, 본 발명의 실시예들(특히, 본 실시예들이 제안하고 있는 학습 엔진을 의미한다.)은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 작업 솜씨를 학습하는 로봇(robot)
10 : 학습 데이터 20 : 구동부
30 : 학습 엔진 40 : 작업 솜씨
31 : 동적 시간 와핑(Dynamic Time Warping, DTW) 모듈
32 : 공간 및 시간 관계(spatial and temporal relation) 산출 모듈
33 : 주성분분석(Principal Component Analysis, PCA) 모듈
34 : 정준상관분석(Canonical Correlation Analysis, CCA) 모듈
35 : 공간 변화량(spatial variations) 산출 모듈
36 : 가중치를 이용한 K 군집화 모듈(weighted k-means)
37 : 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 모듈
38 : 베이즈 정보 기준(Bayesian Information Criterion, BIC) 모듈

Claims (14)

  1. 적어도 하나의 프로세서(processor)를 구비한 학습 엔진(learning engine)이 작업 솜씨를 학습하는 방법에 있어서,
    상기 학습 엔진이 주어진 임무에 대한 학습 데이터를 입력받아 제 1 파라미터 수에 따른 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 상기 임무를 수행하기 위한 전체 행동 경로를 복수 개의 가우시안으로 모델링하는 단계;
    상기 학습 엔진이 상기 행동 경로와 상기 임무의 대상 객체(object) 간의 상관 관계를 산출하는 단계;
    상기 행동 경로에 대한 수행 시간과 상기 상관 관계에 기초하여, 상기 학습 엔진이 상기 수행 시간에 대해 상기 행동 경로와 상기 객체 간의 거리 변화량이 임계치 이하인 부분을 리모델링(remodeling) 영역으로 추출하는 단계; 및
    상기 학습 엔진이 상기 추출된 리모델링 영역에 대한 행동 경로를 전체 행동 경로부터 분할하여 제 2 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 모델링하는 단계;를 포함하는 학습 방법.
  2. 제 1 항에 있어서,
    상기 학습 엔진이 상기 전체 행동 경로 중 추출된 상기 리모델링 영역을 제외한 행동 경로에 대한 가우시안 모델링 결과와 상기 리모델링 영역의 행동 경로에 대한 가우시안 모델링 결과로부터 전체 행동 경로에 대한 작업 솜씨를 생성하는 단계;를 더 포함하는 학습 방법.
  3. 제 1 항에 있어서,
    상기 리모델링 영역은,
    주어진 임무를 수행함에 있어서 나머지 영역에 비해 상대적으로 수행 시간이 오래 소요되면서 작업 공간의 변화가 적은 영역인 것을 특징으로 하는 학습 방법.
  4. 제 1 항에 있어서,
    상기 제 2 파라미터 수는 상기 제 1 파라미터 수보다 큰 값으로 설정됨으로써, 상기 리모델링 영역에 대해 나머지 영역에 비해 상대적으로 더 많은 수의 군집을 형성하도록 모델링하는 것을 특징으로 하는 학습 방법.
  5. 제 1 항에 있어서,
    상기 상관 관계는,
    정준상관분석(Canonical Correlation Analysis, CCA)을 이용하여 상기 행동 경로와 상기 대상 객체 간의 위치 관계(correlation) 및 공간 변화량(spatial variation)에 기초한 가중치로서 표현하되,
    상기 행동 경로와 상기 대상 객체 간의 거리의 변화가 시간에 대해 작을수록 상기 거리의 변화가 시간에 대해 큰 경우에 비해 상대적으로 더 큰 가중치를 갖는 것을 특징으로 하는 학습 방법.
  6. 제 5 항에 있어서,
    추출된 상기 리모델링 영역에 대하여 상기 가중치를 반영하여 군집화를 수행함으로써, 상기 전체 행동 경로 중 상기 리모델링 영역을 제외한 나머지 영역에 비해 상기 리모델링 영역이 상대적으로 더 많은 수의 군집을 형성하는 것을 특징으로 하는 학습 방법.
  7. 제 5 항에 있어서,
    상기 가중치를 반영한 군집화를 수행함으로써 상기 제 2 파라미터의 초기값을 설정하고,
    상기 설정된 초기값에 따른 가우시안 혼합 모델을 이용하여 모델링을 수행하며,
    베이즈 정보 기준(Bayesian Information Criterion, BIC)을 이용하여 군집과 가우시안의 최종 개수를 결정하는 것을 특징으로 하는 학습 방법.
  8. 작업 솜씨를 학습하는 로봇(robot)에 있어서,
    물리적인 운동을 수행하여 주어진 임무를 달성할 수 있는 구동부; 및
    상기 주어진 임무에 대한 학습 데이터를 상기 구동부로부터 입력받고, 가우시안 혼합 모델을 이용하여 전체 행동 경로를 모델링함으로써 작업 솜씨를 생성하는 학습 엔진;을 포함하되,
    상기 학습 엔진은,
    제 1 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 상기 임무를 수행하기 위한 전체 행동 경로를 복수 개의 가우시안으로 모델링하고, 상기 행동 경로와 상기 임무의 대상 객체 간의 상관 관계를 산출하고, 상기 행동 경로에 대한 수행 시간과 상기 상관 관계에 기초하여 상기 수행 시간에 대해 상기 행동 경로와 상기 객체 간의 거리 변화량이 임계치 이하인 부분을 리모델링 영역으로 추출하며, 상기 추출된 리모델링 영역에 대한 행동 경로를 전체 행동 경로부터 분할하여 제 2 파라미터 수에 따른 가우시안 혼합 모델을 이용하여 모델링하는 것을 특징으로 하는 로봇.
  9. 제 8 항에 있어서,
    상기 학습 엔진은, 상기 전체 행동 경로 중 리모델링 영역을 제외한 행동 경로에 대한 가우시안 모델링 결과와 상기 리모델링 영역의 행동 경로에 대한 가우시안 모델링 결과로부터 전체 행동 경로에 대한 작업 솜씨를 생성하는 것을 특징으로 하는 로봇.
  10. 제 8 항에 있어서,
    상기 리모델링 영역은,
    주어진 임무를 수행함에 있어서 나머지 영역에 비해 상대적으로 수행 시간이 오래 소요되면서 작업 공간의 변화가 적은 영역인 것을 특징으로 하는 로봇.
  11. 제 8 항에 있어서,
    상기 제 2 파라미터 수는 상기 제 1 파라미터 수보다 큰 값으로 설정됨으로써, 상기 리모델링 영역에 대해 나머지 영역에 비해 상대적으로 더 많은 수의 군집을 형성하도록 모델링하는 것을 특징으로 하는 로봇.
  12. 제 8 항에 있어서,
    상기 상관 관계는,
    정준상관분석을 이용하여 상기 행동 경로와 상기 대상 객체 간의 위치 관계 및 공간 변화량에 기초한 가중치로서 표현하되,
    상기 행동 경로와 상기 대상 객체 간의 거리의 변화가 시간에 대해 작을수록 상기 거리의 변화가 시간에 대해 큰 경우에 비해 상대적으로 더 큰 가중치를 갖는 것을 특징으로 하는 로봇.
  13. 제 12 항에 있어서,
    상기 학습 엔진은, 추출된 상기 리모델링 영역에 대하여 상기 가중치를 반영하여 군집화를 수행함으로써, 상기 전체 행동 경로 중 상기 리모델링 영역을 제외한 나머지 영역에 비해 상기 리모델링 영역이 상대적으로 더 많은 수의 군집을 형성하는 것을 특징으로 하는 로봇.
  14. 제 12 항에 있어서,
    상기 학습 엔진은,
    상기 가중치를 반영한 군집화를 수행함으로써 상기 제 2 파라미터의 초기값을 설정하고,
    상기 설정된 초기값에 따른 가우시안 혼합 모델을 이용하여 모델링을 수행하며,
    베이즈 정보 기준을 이용하여 군집과 가우시안의 최종 개수를 결정하는 것을 특징으로 하는 로봇.
KR1020140062249A 2014-05-23 2014-05-23 시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법 KR101577711B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140062249A KR101577711B1 (ko) 2014-05-23 2014-05-23 시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140062249A KR101577711B1 (ko) 2014-05-23 2014-05-23 시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법

Publications (2)

Publication Number Publication Date
KR20150134872A KR20150134872A (ko) 2015-12-02
KR101577711B1 true KR101577711B1 (ko) 2015-12-15

Family

ID=54883250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140062249A KR101577711B1 (ko) 2014-05-23 2014-05-23 시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법

Country Status (1)

Country Link
KR (1) KR101577711B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109483507A (zh) * 2018-12-04 2019-03-19 北京壹氢科技有限公司 一种多个轮式机器人行走的室内视觉定位方法
KR101977274B1 (ko) 2017-12-29 2019-08-28 한국생산기술연구원 자율 로봇을 위한 프레임 워크 설정 방법 및 이를 수행하는 디지털 제어 장치
KR20190107376A (ko) 2018-03-12 2019-09-20 현대로템 주식회사 자동무인 운전 열차의 스마트 자동 제어 시스템 및 열차 운행 방법
KR20200072592A (ko) 2018-12-03 2020-06-23 한국생산기술연구원 로봇용 학습 프레임워크 설정방법 및 이를 수행하는 디지털 제어 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101954930B1 (ko) * 2016-04-15 2019-03-07 서울대학교산학협력단 와이파이 신호세기를 이용한 실내 지도 학습 방법 및 시스템
KR101956504B1 (ko) * 2018-06-14 2019-03-08 강의혁 로봇 시뮬레이터를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN112712175B (zh) * 2020-12-30 2024-02-23 广州富港生活智能科技有限公司 机器人学习方法及相关装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977274B1 (ko) 2017-12-29 2019-08-28 한국생산기술연구원 자율 로봇을 위한 프레임 워크 설정 방법 및 이를 수행하는 디지털 제어 장치
KR20190107376A (ko) 2018-03-12 2019-09-20 현대로템 주식회사 자동무인 운전 열차의 스마트 자동 제어 시스템 및 열차 운행 방법
KR20200072592A (ko) 2018-12-03 2020-06-23 한국생산기술연구원 로봇용 학습 프레임워크 설정방법 및 이를 수행하는 디지털 제어 장치
CN109483507A (zh) * 2018-12-04 2019-03-19 北京壹氢科技有限公司 一种多个轮式机器人行走的室内视觉定位方法
CN109483507B (zh) * 2018-12-04 2021-06-29 北京壹氢科技有限公司 一种多个轮式机器人行走的室内视觉定位方法

Also Published As

Publication number Publication date
KR20150134872A (ko) 2015-12-02

Similar Documents

Publication Publication Date Title
KR101577711B1 (ko) 시간 및 공간적 관계를 이용한 작업 솜씨 학습 방법
Baranes et al. R-iac: Robust intrinsically motivated exploration and active learning
Billard et al. Discriminative and adaptive imitation in uni-manual and bi-manual tasks
Xie et al. Robot learning from demonstration for path planning: A review
Soh et al. Spatio-temporal learning with the online finite and infinite echo-state Gaussian processes
Akgun et al. Simultaneously learning actions and goals from demonstration
Lemme et al. Open-source benchmarking for learned reaching motion generation in robotics
KR101912918B1 (ko) 학습 로봇, 그리고 이를 이용한 작업 솜씨 학습 방법
Song et al. Robot complex motion learning based on unsupervised trajectory segmentation and movement primitives
Wu et al. A morphable template framework for robot learning by demonstration: Integrating one-shot and incremental learning approaches
Ewerton et al. Learning motor skills from partially observed movements executed at different speeds
Arsenic Developmental learning on a humanoid robot
Gutzeit et al. The besman learning platform for automated robot skill learning
Tosello et al. A learning from demonstration framework for manipulation tasks
Yin et al. An ensemble inverse optimal control approach for robotic task learning and adaptation
Joukov et al. Gaussian process based model predictive controller for imitation learning
KR101329640B1 (ko) 작업 솜씨를 학습하는 방법 및 이를 이용한 로봇
KR20140133417A (ko) 시간 및 공간적 엔트로피를 이용한 작업 솜씨 학습 방법
KR101676541B1 (ko) 작업 솜씨를 학습하는 방법 및 이를 이용하는 로봇
Queißer et al. Skill memories for parameterized dynamic action primitives on the pneumatically driven humanoid robot child affetto
Yang et al. A hybrid control framework teaching robot to write chinese characters: From image to handwriting
Pehlivan et al. Dynamic movement primitives for human movement recognition
Zhu Robot Learning Assembly Tasks from Human Demonstrations
Österberg Skill Imitation Learning on Dual-arm Robotic Systems
Kulić et al. Incremental learning of full body motion primitives

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140523

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150611

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20151130

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20151209

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20151210

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20181105

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20181105

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190905

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190905

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20201026

Start annual number: 6

End annual number: 6

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20220920