KR20130067345A

KR20130067345A - 작업 솜씨를 학습하는 방법 및 이를 이용한 로봇

Info

Publication number: KR20130067345A
Application number: KR1020110133798A
Authority: KR
Inventors: 서일홍; 이상형; 황재평
Original assignee: 한양대학교 산학협력단
Priority date: 2011-12-13
Filing date: 2011-12-13
Publication date: 2013-06-24
Also published as: KR101329640B1

Abstract

본 발명은 작업 솜씨를 학습하는 방법 및 이를 이용한 로봇에 관한 것으로, 본 발명의 일 실시예에 따른 작업 솜씨를 학습하는 방법은, 적어도 하나 이상의 프로세서를 구비한 학습 엔진에 의해 운동학 교시를 통해 주어진 임무에 대한 학습 데이터를 입력받고, 가우시안 혼합 모델을 이용하여 학습 데이터를 인코딩함으로써 학습 데이터를 기하학적으로 해석한 확률 정보로 모델링하며, 모델링된 확률 정보를 변환 행렬과 결합하여 주어진 임무에 대해 변형된 작업 솜씨를 생성한다.

Description

작업 솜씨를 학습하는 방법 및 이를 이용한 로봇{Method for learning task skill and robot using thereof}

본 발명은 작업 솜씨의 학습 기술에 관한 것으로, 특히 인간이 행동하는 작업 솜씨를 지능형 로봇과 같은 인공물에게 교시하고 이를 확장함으로써 주어진 환경 내에서 해당 작업을 인공물이 단독으로 수행할 수 있도록 작업 솜씨를 학습하는 방법, 그 방법을 기록한 기록매체 및 그 방법을 이용한 로봇에 관한 것이다.

인공 지능(artificial intelligence, AI)이라 함은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로서, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 기술을 말한다. 이러한 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히, 현대에는 정보 기술의 여러 분야에서 인공지능적 요소를 도입하여 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.

이상과 같이 인간의 행동을 모방하려는 시도는 학습 로봇이라는 기술 분야의 발전을 가져왔다. 종래의 로봇 공학에서 산업용 로봇 등이 단지 잘 설계된 일련의 명령어 집합을 입력받아 이에 해당하는 명령만을 기계적으로 수행하였던 것에 반해, 현대의 학습 로봇은 주위 환경으로부터 다양한 환경 요소들을 로봇 스스로가 감지하고, 이로부터 인간에게 유용한 다양한 작업 기술(task skill)을 학습할 수 있는 수준을 지향하고 있다. 이러한 학습 로봇(비록 로봇이라고 표현하였으나, 하드웨어 로봇 이외에 가상 공간에서 활용될 수 있는 소프트웨어로 구현된 가상 생명체 내지 인공물을 포함할 수 있다.)에 있어서, 학습(learning)의 목표는 경험을 통한 일반화에 의해 인공지능 추론 시스템의 잠재적 성능을 향상시키는 것에 있다. 즉, 학습 알고리즘에 입력되는 것은 실험(experiment)이 될 것이고, 그 결과에 따라 지식 베이스(knowledge base)에 대한 수정들이 그 학습 알고리즘에서 출력될 것이다.

이러한 지식 베이스에 저장되는 지식 표현(knowledge representation)은 지식의 추출 및 저장을 표현하는 역할을 한다. 이 개념은 지식, 특징 추출 및 열거(enumeration), 객체 상태의 구성 및 정의들을 일반화하는 기술을 제공하기도 한다. 그 자체를 구현하기 위해서는 일반적으로 그래프, 벡터 및 테이블 등의 공지된 데이터 구조를 활용할 수 있다.

지능 로봇(또는 에이전트)은 사람과의 상호작용을 통해 임무 수행을 위한 학습 데이터를 획득한다. 로봇이 획득한 학습 데이터를 이용하여 단일 모델을 생성하거나, 사람 또는 사전 지식을 기반으로 사전에 분리된 데이터를 이용하여 분리된 모델들을 생성한다. 생성된 모델은 로봇의 임무 수행을 위한 재생성에 사용된다. 로봇의 임무 수행을 위한 모델은 지속적이고 점진적으로 추가 및 수정될 수 있어야 하고, 이를 기반으로 임무를 재생성할 수 있어야 한다. 로봇의 솜씨를 주성분 분석법과 같은 확률적 모델을 이용하여 인식하고 생성하는 방법에 대해서는 이하에서 인용되는 비특허문헌을 통해 제시된 바 있다.

그러나, 이러한 지능 로봇이 학습한 모델을 기반으로 주어진 임무를 수행하는 환경은 학습 모델과 완전히 일치하는 환경이 아닐 가능성이 매우 크다. 특히, 지능 로봇이 활용되는 일상적인 작업 환경 및 분야에서 학습된 모델이 정의하고 있는 것과 100% 동일한 환경이 지능 로봇에게 주어질 확률은 매우 낮다. 일반적으로 인간 및 동물과 같은 지적 생명체의 경우, 이러한 다소 변형된 환경에서도 이미 학습한 지식에 기초하여 유연하게 주어진 임무를 수행할 수 있는 응용 능력이 있는데, 기술 및 도구의 활용 측면에서 지능 로봇에게도 동일한 응용 내지 변형 능력이 요구된다. 즉, 지능 로봇 역시 불확실성이 존재하는 환경에서 주어진 임무를 수행하기 위한 모델을 생성하고, 이를 적절히 변형하여 해당 임무를 달성할 수 있어야 한다. 특히, 주어진 임무가 실시간으로 변하는 상황하에서도 학습된 모델에 기초하여 정보를 수정하면서 해당 임무를 적응적으로 해결할 수 있어야만 할 것이다.

S. Calinon, F. Guenter, and A. Billard, "On learning, representing, and generalizing a task in a humanoid robot," Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on, vol. 37, no. 2, pp. 286?298, 2007.

본 발명이 해결하고자 하는 기술적 과제는 지능 로봇이 솜씨를 학습함에 있어서 종래의 기술들이 단지 주어진 임무와 일치하는 솜씨만을 모델로써 표현하고 재생성할 수 있는 한계를 가지고, 이러한 한계로 인해 작업 환경이나 조건이 다소 변경되는 경우에도 임무를 정확하게 달성할 수 없는 불편함을 해소하고, 나아가 실시간으로 임무가 변화하는 환경에서 작업 솜씨에 대한 경로가 정적으로 고정됨으로 인해 변화하는 임무에 적절히 대처할 수 없는 문제점을 해결하고자 한다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 작업 솜씨를 학습하는 방법은, 적어도 하나 이상의 프로세서(processor)를 구비한 학습 엔진(learning engine)에 의해 운동학 교시를 통해 소정 임무에 대한 학습 데이터를 입력받는 단계; 상기 학습 엔진이 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 상기 입력된 학습 데이터를 인코딩함으로써 상기 학습 데이터를 기하학적으로 해석한 확률 정보로 모델링하는 단계; 및 상기 학습 엔진이 상기 모델링된 확률 정보를 변환 행렬과 결합하여 상기 소정 임무에 대해 변형된 작업 솜씨를 생성하는 단계;를 포함한다.

일 실시예에 따라 상기 변형된 작업 솜씨를 생성하는 단계는, 상기 소정 임무에 대해 크기, 회전, 이동 중 적어도 하나를 변화시키기 위한 변환 행렬을 설정하는 단계; 및 상기 설정된 변환 행렬을 이용하여 상기 모델링된 확률 정보의 기하학적 정보인 혼합 요소의 평균과 분산을 변환함으로써 변형된 작업 솜씨를 생성하는 단계를 포함한다.

일 실시예에서 상기된 작업 솜씨를 학습하는 방법은, 상기 학습 엔진이 가우시안 혼합 회귀를 이용하여 상기 변형된 작업 솜씨를 일반화함으로써 상기 소정 임무에 대한 경로를 생성하는 단계;를 더 포함한다. 또한, 상기된 작업 솜씨를 학습하는 방법은, 상기 소정 임무에 대해 실시간으로 변화가 발생한 경우, 변화된 목표 위치와 강성(stiffness)을 고려하여, 상기 학습 엔진이 상기 가우시안 혼합 회귀를 통해 생성된 경로로부터 적응적으로 상기 작업 솜씨의 경로를 재생성하는 단계;를 더 포함할 수 있다.

나아가, 이하에서는 상기 기재된 작업 기술을 학습하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 작업 솜씨를 학습하는 로봇(robot)은, 물리적인 운동을 수행하여 소정 임무를 달성할 수 있는 구동부; 및 운동학 교시를 통해 상기 소정 임무에 대한 학습 데이터를 상기 구동부로부터 입력받고, 가우시안 혼합 모델을 이용하여 상기 입력된 학습 데이터를 인코딩함으로써 상기 학습 데이터를 기하학적으로 해석한 확률 정보로 모델링하며, 상기 모델링된 확률 정보를 변환 행렬과 결합하여 상기 소정 임무에 대해 변형된 작업 솜씨를 생성하는 학습 엔진;을 포함한다.

일 실시예에서 상기 학습 엔진은, 가우시안 혼합 회귀를 이용하여 상기 변형된 작업 솜씨를 일반화함으로써 상기 소정 임무에 대한 경로를 생성한다. 또한, 상기된 작업 솜씨를 학습하는 로봇에서 상기 소정 임무에 대해 실시간으로 변화가 발생한 경우, 상기 학습 엔진은 변화된 목표 위치와 강성을 고려하여, 상기 가우시안 혼합 회귀를 통해 생성된 경로로부터 적응적으로 상기 작업 솜씨의 경로를 재생성하고, 상기 구동부는 상기 재생성된 경로에 기초하여 물리적인 운동을 수행함으로써 변화된 임무를 달성할 수 있다.

본 발명의 실시예들은 주어진 임무를 해결하기 위해 모델링한 확률 정보를 변환 행렬과 결합함으로써 단지 주어진 임무와 일치하는 솜씨뿐만 아니라, 변형된 형태의 작업 솜씨를 학습할 수 있고, 이로 인해 작업 환경이나 조건이 다소 변경되는 경우에도 변형된 작업 솜씨를 통해 해당 임무를 달성할 수 있으며, 나아가 실시간으로 임무가 변화하는 환경에서도 가우시안 혼합 회귀를 통해 적응적으로 변형된 작업 솜씨에 대한 경로를 재성성함으로써 변화하는 임무에 적절히 대처할 수 있다.

도 1은 본 발명의 실시예들이 구현되는 환경에서 활용될 수 있는 로봇을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 학습 엔진(learning engine)이 작업 솜씨를 학습하는 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 도 2의 방법에서 주어진 상황에 따라 적응적으로 작업 솜씨를 학습하는 방법을 도시한 흐름도이다.
도 4는 '사각형 그리기' 임무에 대하여 변형된 가우시안 혼합 모델을 예시한 도면이다.
도 5는 도 4의 가우시안 혼합 모델로부터 가우시안 혼합 회귀를 수행한 결과를 예시한 도면이다.
도 6은 도 4의 가우시안 혼합 모델 및 도 5의 가우시안 혼합 회귀로부터 재성성된 경로를 예시한 도면이다.
도 7은 '삼각형 그리기' 임무에 대하여 작업 솜씨를 학습한 결과를 예시한 도면이다.
도 8은 도 7의 '삼각형 그리기' 임무를 변형하여 재생성된 경로를 예시한 도면이다.
도 9는 '지휘하기' 임무에 대하여 작업 솜씨를 학습한 결과를 예시한 도면이다.
도 10은 도 9의 '지휘하기' 임무를 변형하여 재생성된 경로를 예시한 도면이다.
도 11은 '컵 전달하기' 임무에 대하여 실시간으로 변화가 발생한 경우 적응적으로 작업 솜씨를 학습함으로써 재생성된 경로를 예시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 작업 솜씨를 학습하는 로봇(robot)을 도시한 블록도이다.

본 발명의 실시예들을 설명하기에 앞서 본 발명의 실시예들이 구현되는 환경에 대해 간략히 소개하고, 실시예들이 구현되는 환경에서 발생하고 있는 구현상의 문제점을 제시하고자 한다.

도 1은 본 발명의 실시예들이 구현되는 환경에서 활용될 수 있는 로봇을 예시한 도면이다. 도 1에는 적어도 하나의 마이크로프로세서(microprocessor)를 통해 제어되는 하나의 로봇 암(arm)만을 예시하고 있으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 이러한 로봇이 다양한 기계적인 구동 수단과 결합되어 활용될 수 있음을 알 수 있다.

도 1을 포함하여 이하에서 기술될 본 발명의 실시예들은 하나의 로봇 암을 통해 글씨를 쓰거나 그림(궤적)을 그리거나 또는 물건을 집어 한 장소(출발 지점)에서 다른 장소(목표 지점)로 옮기는 등의 임무를 수행한다. 각각의 실시예들에서는 주어진 임무를 소개할 것이며, 그에 따른 로봇의 솜씨 학습 과정에 대해 구체적으로 기술하도록 한다. 앞서 간략히 소개한 바와 같이 이러한 실시예들은 단순히 주어진 임무에 대한 작업 솜씨를 그대로 학습하여 학습된 대로 수행하는데 그치지 않고, 학습된 모델에 기초하되, 해당 모델을 변형함으로써 다양한 수행 경로를 생성하고 수행할 수 있도록 한다.

종래의 기술에서는 지능 로봇을 위한 작업 솜씨를 표현하고 재생성하는 방법에 대해서는 일부 기술적 수단을 제공할 수 있었으나, 해당 작업 솜씨의 크기(구동 수단의 기계적 움직임 내지 퀘적의 크기를 의미한다.)를 크게 하거나, 다른 좌표계로의 자유로운 이동(예를 들어, 바닥에 글씨를 쓰는 작업 솜씨를 학습하였다고 할 지라도 벽에 동일한 글씨를 쓸 수는 없었다.)을 고려하지 않았다. 또한, 경로의 패턴을 중요시한 솜씨의 표현 및 재생성의 경우는 경로의 목표 지점이 지속적으로 변화할 수 있는 상황에 대해 전혀 고려하지 않았으며, 목표 지점을 고려한 솜씨의 표현 및 재생성의 경우에는 경로 패턴의 세밀한 수정을 고려하지 않았다.

따라서, 이하에서 기술될 본 발명의 실시예들은 지능 로봇의 솜씨 학습에서 솜씨의 크기와 위치 변화(scale and position variations) 및 외부 방해(external perturbations)에 적응할 수 있도록 솜씨를 표현하고, 재생성하는 기술을 새롭게 제안한다. 예를 들어, 지능 로봇이 스케치북에 사각형을 그리는 임무를 수행한다고 가정하자. 우선 지능 로봇이 사각형 그리는 방법을 습득한다면, 그것을 크게 또는 작게 그릴 수 있어야 하며, 스케치북의 위치가 옮겨지더라도(바닥에 놓인 스케치북이 벽에 거치될 수 있을 것이다.) 옮겨진 스케치북의 위치에 맞게 사각형을 그릴 수 있어야 한다. 또한 변형된 사각형, 즉 사다리꼴이나 평행사변형과 같은 그림도 그릴 수 있어야 한다. 이를 위해, 임무를 성취하기 위한 학습 데이터를 가우시안 혼합 모델(Gaussian Mixture Model)을 통해 모델링한다. 그런 다음, 모델링된 가우시안 혼합 모델을 기하학적으로 해석함으로써, 해석된 혼합 요소들(mixture components)을 사전확률, 평균 그리고, 분산의 고유값과 고유벡터로 표현한다.

이러한 과정은 본 발명의 실시예들을 임무를 수행하는 환경 및 조건이 변화하거나 외부 방해가 존재하는 경우에 활용하기 위해 안출된 것이다. 즉, 모델링된 가우시안 혼합 모델은 이러한 방해 및 환경 변화들에 따라 기하학적으로 변환되어야 할 필요성이 있다. 이상의 과정을 통해 하나의 솜씨는 혼합 요소들과 변환 행렬(transformation matrices)들로 표현된다. 이 때, 변환 행렬이란, 주어진 임무에 대응하여 모델링된 작업 솜씨를 구성하는 개별 요소들을 기하학적으로 변형할 수 있는 변환 인자(parameter 또는 factor)를 의미한다. 따라서, 이러한 변환 행렬을 통해 본 발명의 실시예들에 따른 지능 로봇은 변형되고 확장된 형태의 작업 솜씨를 학습하고 이를 수행할 수 있게 된다.

또한, 지능 로봇은 실시간 가우시안 혼합 회귀(Gaussian Mixture Regression)를 적용한 동적 시스템(dynamical system)을 기초로 하여 솜씨를 재생성할 수 있다. 이 때, 가우시안 혼합 회귀는 매 시간 또는 주기마다 동적 시스템에게 평균 및 분산의 궤적을 제공한다. 이 궤적은 제안한 동적 시스템을 통해 외부 방해가 있는 상황 하에서도 신뢰할 수 있는 경로를 재생성할 수 있게 된다. 예를 들어, 목표 위치가 변화하는 환경하에서도 본 발명의 실시예들에 따른 지능 로봇은 변화되는 목표 위치를 적응적으로 추적할 수 있으므로, 해당 목표 위치에 대한 주어진 임무를 달성할 수 있게 된다.

도 2는 본 발명의 일 실시예에 따른 학습 엔진(learning engine)이 작업 솜씨를 학습하는 방법을 도시한 흐름도로서, 위치 및 크기 변화뿐만 아니라 외부 방해에 적응할 수 있도록 하는 작업 솜씨를 기하학적으로 해석하고, 변환 행렬과 가우시안 혼합 모델의 혼합 요소들로 솜씨를 표현하는 방법들을 포함한다.

또한, 이하에서 기술될 일련의 과정들은 적어도 하나 이상의 프로세서(processor)를 구비한 학습 엔진(learning engine)에 의해 수행될 수 있다. 본 발명의 실시예들에서 작업 솜씨를 학습하는 과정은 산술적인 연산 및 소프트웨어로 구현된 프로그램을 이용하여 수행될 수 있으나, 이러한 일련의 과정을 처리하기 위해서는 물리적인 연산기 내지 이들 작업을 처리하기 위해 필요한 데이터들을 적재하고 가공하기 위한 메모리가 필요하다. 따라서, 이하의 과정들은 적어도 하나 이상의 하드웨어 프로세서를 구비한 학습 엔진에 의해 소프트웨어적인 처리 절차를 통해 수행될 수 있다.

210 단계에서, 상기 학습 엔진은 운동학 교시를 통해 주어진 임무에 대한 학습 데이터를 입력받는다. 이 때, 운동학 교시(kinesthetic teaching)란, 최초의 학습 엔진을 학습시키기 위해 기계적인 구동 수단을 통해 해당 임무를 어떻게 수행하여야 하는지를 알려주는 과정을 의미한다. 예를 들어, 교시자(teacher)는 지능 로봇의 구동부(로봇 암이 될 수 있다.)를 직접 움직여 로봇 암으로 하여금 글씨를 쓰도록 시연(demonstration)할 수 있고, 이러한 교시자의 움직임을 입력값으로 받아들임으로써 학습 엔진은 해당 입력값(로봇 암의 움직임 궤적이 될 수 있다.)이 글씨를 쓰기 위한 작업 솜씨로써 인식할 수 있다. 즉, 학습 엔진은 구동 수단에 구비된 관절에 부여된 자유도(degree of freedom, DOF)를 이용하여 각 조인트 각도를 측정함으로써 학습 데이터를 입력받을 수 있다.

220 단계에서, 상기 학습 엔진은 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 상기 입력된 학습 데이터를 인코딩함으로써 상기 학습 데이터를 기하학적으로 해석한 확률 정보로 모델링한다.

운동학 교시(kinesthetic teaching)를 통해 주어진 임무로부터 학습 데이터

를 획득하면, 다음의 수학식 1과 같이 정의되는 가우시안 혼합 모델을 이용하여 모델링하게 된다. 여기서, (D+1)은 D-차원 공간 변수이고, N은 학습 데이터의 크기를 의미한다.

여기서

,

는 각각 가우시안 혼합 모델의 i번째 혼합 요소로 사전확률, 평균, 분산을 의미한다. 또한,

는 평균이

이고, 분산이

인 가우시안 분포를 나타낸다. 이와 같이 혼합 요소는 사전확률, 평균, 그리고 분산으로 이루어져 있으며, 이 때의 분산은 고유분해(eigendecomposition)를 통해서 그 고유값과 고유벡터로 분해될 수 있다. 이렇게 분해된 식은 다음의 수학식 2와 같이 표현될 수 있다.

여기서,

,

는 각각 i번째 혼합 요소에서의 분산과 그 분산의 고유벡터와 고유값이고, T는 전치행렬을 의미한다. 이렇게 얻은 혼합 요소들은 다음의 수학식 3과 같이 다시 표현될 수 있다.

즉, 수학식 3에서 나타내고 있는 가우시안 혼합 모델의 i번째 혼합 요소는, 사전확률, 평균, 분산의 고유벡터, 분산의 고유값으로 표현된다. 앞서 소개한 바와 같이 이러한 혼합 요소는 이미 학습된 작업 솜씨를 변형하기 위해 해당 작업 솜씨를 구성하는 개별 요소를 기하학적으로 해석하는 과정에서 안출된 것이다.

230 단계에서, 상기 학습 엔진은 상기 모델링된 확률 정보를 변환 행렬과 결합하여 상기 주어진 임무에 대해 변형된 작업 솜씨를 생성한다. 특히, 상기 변형된 작업 솜씨를 생성하는 과정은, 상기 주어진 임무에 대해 크기, 회전, 이동 중 적어도 하나를 변화시키기 위한 변환 행렬을 설정하고, 상기 설정된 변환 행렬을 이용하여 상기 모델링된 확률 정보의 기하학적 정보인 혼합 요소의 평균과 분산을 변환함으로써 변형된 작업 솜씨를 생성함으로써 달성된다. 이 때, 상기 변환 행렬은, 상기 모델링된 확률 정보의 좌표의 크기를 변화시키는 크기 행렬(scaling matrix)이 될 수도 있고, 상기 모델링된 확률 정보의 좌표를 회전시키는 회전 행렬(rotation matrix)이 될 수도 있다. 이러한 변환 행렬은 본 발명의 실시예들이 구현되는 환경에 따라 적절하게 수정되어 반영될 수 있을 것이다.

이제, 220 단계를 통해 표현된 혼합 요소들을 사용하여, 하나의 작업 솜씨는 가우시안 혼합 모델의 혼합 요소와 변환 행렬의 조합으로 다음의 수학식 4와 같이 표현될 수 있다.

여기서,

와

는 각각 변환 행렬과 혼합 요소들을 나타낸다. 이러한 변환 행렬들은 다른 다양한 행렬들로 대체되어 사용함으로써 가우시안 혼합 모델의 기하학적 정보(혼합 요소의 평균과 분산을 의미한다.)를 변환할 수 있게 되고, 이를 통해 해당 작업 솜씨에 크기, 회전 또는 이동을 더할 수 있게 된다. 각 혼합 요소는 다음의 수학식 5 및 수학식 6과 같이 변환될 수 있다.

각각의 기호의 의미에 대해서는 이상의 수학식들을 통해 이미 설명한 바와 같다.

또한, 이러한 변환 행렬들은 다양한 다른 행렬들로 대체되어 사용될 수 있다고 언급하였는데, 이하에서는 그 예로서 작업 솜씨의 경로에 대해 그 크기를 크게 또는 작게 하는 크기 행렬(scaling matrix)과 모양을 회전하는 회전 행렬(rotation matrix)을 소개하도록 한다.

가우시안 혼합 모델의 기하학적 해석을 통해 얻은 요소들은 앞서 언급한 것과 같이 크기 행렬과 결합함으로써 작업 솜씨에 대한 경로의 크기를 크게 또는 작게 할 수 있는데, 이러한 4차원 크기 행렬

은 다음의 수학식 7과 같이 표현될 수 있다.

여기서,

,

는 각각 직교 좌표계에서의 크기를 조절하는 파라미터 값을 의미하고, 이들 파라미터 값을 조정함으로써 원하는 좌표축으로의 크기를 조정할 수 있게 된다. 나아가, 수학식 7에서 변환 행렬의 1×1번째 원소는 1이 된다. 그 이유는, 가우시안 혼합 모델의 성분에서 시간에 대한 크기를 조절할 필요가 없기 때문이다.

한편, 이상에서 소개한 크기 행렬과 마찬가지로 작업 솜씨를 회전시키기 위해서는 앞의 변환 행렬을 회전 행렬로 대치해 줌으로써 가능하게 되는데, 이러한 회전 행렬은 다음의 수학식 8과 같이 표현될 수 있다.

여기서, x, y, z와

,

는 각각 직교 좌표계에서의 x, y, z축으로부터의 회전 및 회전 각도를 의미하며, c와 s는 코사인(cosine)과 사인(sine)을 나타낸다. 이러한

,

를 조정해 줌으로써, 사용자가 원하는 만큼 작업 솜씨를 회전시킬 수 있다. 이와 같이 새롭게 생성된 가우시안 혼합 모델의 혼합 요소에서의 평균과 분산은 시간에 관련된 변수들과 공간과 관련된 변수들로 나눌 수 있게 되고, 이것은 다음의 수학식 9와 수학식 10과 같이 나타낼 수 있다.

여기서, i는 i번째의 가우시안 혼합 모델을 가리키고, t는 시간과 관련된 변수이며, x는 공간과 관련된 D차원의 변수를 나타낸다. 여기서의 공간과 관련된 변수들은 실시간 가우시안 혼합 회귀를 통해 시간에 따른 질문에 따른 일반화된 평균과 분산의 궤적을 생성할 수 있다.

다음의 수학식 11과 수학식 12는 일반화된 평균과 분산의 시간에 따른 궤적을 생성한다.

여기서,

는 다음의 수학식 13과 같이 정의된다.

이와 같이 실시간으로 생성된 평균과 분산의 궤적은 동적 시스템의 목표 위치와 강성(stiffness)으로 사용될 수 있다. 따라서, 2차 미분 방정식을 사용하여 만든 동적 시스템은 다음의 수학식 14와 같이 정의될 수 있다.

여기서,

,

는 각각 강성(stiffness), 제동 인자, 목표 위치, 현재 위치, 현재 속도, 추정된 가속도를 의미한다. 앞서 구한 시간에 따른 평균과 분산 궤적을 이상의 수학식 14에 따른 동적 시스템에 적용하면 다음의 수학식 15와 같이 다시 정의할 수 있다.

여기서,

와

는 앞서 언급한 평균과 분산 궤적의 t+1 스텝을 의미하고,

는 설정된 파라미터 값으로 상수에 해당한다.

결과적으로 실시간으로 계산된 가우시안 회귀를 통해 생성한 궤적은 2차 미분 방정식에 기초한 동적 시스템에 의해 재생성되어 외부 방해에도 신뢰도 있는 경로를 생성하게 된다.

이제, 도 3을 참조하여 이상의 동적 시스템에 대한 모식도를 간략하게 살펴보자.

도 3은 본 발명의 일 실시예에 따른 도 2의 방법에서 주어진 상황에 따라 적응적으로 작업 솜씨를 학습하는 방법을 도시한 흐름도로서, 주어진 임무를 성취하기 위해 실시간으로 발생하는 외부 방해에 적응하여 솜씨를 재생성할 수 있는 실시간 가우시안 혼합 회귀 기반의 동적 시스템(online GMR-based dynamical system)의 동작 방식을 설명하고 있다. 도 3에서는 이미 도 2의 210 단계 내지 230 단계를 수행하여 변형된 작업 솜씨를 생성하였다고 가정하자.

240 단계에서, 상기 학습 엔진은 가우시안 혼합 회귀를 이용하여 상기 변형된 작업 솜씨를 일반화함으로써 상기 주어진 임무에 대한 경로를 생성한다. 즉, 실시간 가우시안 혼합 회귀를 이용하여 평균과 분산 궤적을 생성하게 된다. 그런 다음, 245 단계의 검사를 통해 주어진 임무에 대해 실시간 변화가 발생하였다면, 250 단계로 진행하게 된다.

250 단계에서, 주어진 임무에 대해 실시간으로 변화가 발생한 경우, 변화된 목표 위치와 강성(stiffness)을 고려하여, 상기 학습 엔진이 상기 가우시안 혼합 회귀를 통해 생성된 경로로부터 적응적으로 상기 작업 솜씨의 경로를 재생성하게 된다. 즉, 이상의 240 단계를 통해 생성된 평균과 분산 궤적을 이용하여 실시간으로 동적 시스템의 목표를 생성하고, 분산 궤적을 이용하여 실시간으로 동적 시스템의 강성(stiffness)을 생성하여 솜씨를 재생성한다.

이제, 본 발명의 실시예들이 이상에서 기술된 기술적 수단을 이용하여 다양하게 주어지는 임무들을 수행하는 과정을 소개하도록 한다. 앞서 제안한 기술적 수단에 대한 실시예를 보이기 위해 3가지 임무를 가정하였다. 주어진 임무로는 (1) '도형 그리기', (2) '지휘하기', 그리고 (3) '컵 전달하기'를 예시하였다.

첫 번째 임무인 '도형 그리기'에 관한 도 4는 '사각형 그리기' 임무에 대하여 변형된 가우시안 혼합 모델을 예시하였으며, 각 도형의 크기, 위치, 모양을 변화한 것에 대한 결과 그래프를 도시하였다.

사각형 그리기 임무를 수행하기 위해서 먼저 운동학 교시를 통하여서 임무에 맞는 학습 데이터를 획득하게 된다. 이렇게 획득한 데이터는 가우시안 혼합 모델을 통해 모델링되고, 이 때의 가우시안 혼합 모델의 수는 사용자가 결정하게 된다. '사각형 그리기'에서의 모델의 수는 4개를 예시하였다. 이렇게 모델링된 솜씨는 변환 행렬과 결합되어 다시금 변형되게 된다.

도 4는 '사각형 그리기' 임무에서 가우시안 혼합 모델들을 변환 행렬을 이용하여 변형된 모델들의 모습을 나타내었다. 도 4에서 (a)는 '사각형 그리기' 임무의 학습 데이터를 통해 모델링한 가우시안 혼합 모델이고, (b)는 x축으로 -60mm, y축으로 -250mm만큼 이동시킨 가우시안 혼합 모델이며, (c)는 2배로 크게 만든 가우시안 혼합 모델이다. 또한, (d)는 z축으로 30도 회전시킨 가우시안 혼합 모델이고, (e)는 각 혼합 요소를 회전하고 크게 하여 생성한 사다리꼴 모양의 가우시안 혼합 모델이다. 이렇게 변형된 가우시안 혼합 모델은 각 임무에 맞는 경로를 생성하기 위해서 가우시안 혼합 회귀를 통해 일반화된다.

다음의 도 5는 도 4의 가우시안 혼합 모델로부터 가우시안 혼합 회귀를 수행한 결과를 예시한 도면이다.

도 5에서, (a)는 도 4의 (a)를 통해 얻은 가우시안 혼합 회귀이고, 도 5의 (b)는 도 4의 (b)를 통해 얻은 가우시안 혼합 회귀이며, 도 5의 (c)는 도 4의 (c)를 통해 얻은 가우시안 혼합 회귀이다. 또한, 도 5의 (d)는 도 4의 (d)를 통해 얻은 가우시안 혼합 회귀이고, 도 5의 (e)는 도 4의 (e)를 통해 얻은 가우시안 혼합 회귀의 결과 그림이 되겠다. 이제 가우시안 혼합 회귀를 통해 얻은 평균과 분산에 대한 궤적은 동적 시스템의 목표 위치와 강성에 적용되어 작업 솜씨에 대한 경로를 재생성하게 된다.

도 6은 도 4의 가우시안 혼합 모델 및 도 5의 가우시안 혼합 회귀로부터 재성성된 경로를 예시한 도면이다. 도 6에서, 붉은 선은 재생성 경로를 나타내며, 실시간으로 생성된 가우시안 혼합 회귀의 평균과 분산에 따라 생성되는 것을 볼 수 있다.

첫 번째 임무인 '도형 그리기'에 관해 또 다른 예를 살펴보자. '사각형 그리기'와 마찬가지로 삼각형을 그리는 임무 역시 동일한 과정을 거쳐 수행할 수 있게 되는데, 도 7은 이상에서와 같은 과정을 간략하게 보여주며, 도 8은 변환 행렬을 사용하여 변형된 삼각형을 그리는 임무로부터의 결과를 보여준다.

도 7은 '삼각형 그리기' 임무에 대하여 작업 솜씨를 학습한 결과를 예시한 도면으로서, 도 7에서, (a)는 '삼각형 그리기' 임무를 위해 추출된 학습 데이터이고, (b)는 학습 데이터로부터 얻은 가우시안 혼합 모델이며, (c)는 혼합 모델로부터 획득한 실시간 가우시안 혼합 회귀와 그 시간에 따른 평균과 분산을 동적 시스템에 적용하여 재생성한 경로를 보여준다.

또한, 도 8은 다양한 변환 행렬을 이용하여 도 7의 '삼각형 그리기' 임무를 변형하여 재생성된 경로를 예시한 도면이다.

도 8에서, (a)는 크기 행렬로 변환 행렬을 치환하여 2배로 크기를 크게 재생성한 그림이며, (b)는 0.5배 하여 재생성한 그림이다. (c)는 z 축으로 30도 회전시킨 그림이고, (d)는 각 혼합 요소를 회전과 크기 변화를 주어 생성한 이등변 삼각형이다.

이제, 두 번째 임무인 '지휘하기'에 관해 살펴보도록 하자. '지휘하기'는 앞서 언급한 '도형 그리기'와 모든 과정이 동일하나, 복잡한 경로를 성공적으로 재생성하기 위해서 이전보다 더 많은 가우시안 혼합 모델들이 필요하다. 따라서, '지휘하기' 임무에서는 10개의 모델을 사용하였다.

도 9는 '지휘하기' 임무에 대하여 작업 솜씨를 학습한 결과를 예시한 도면으로서, 2박자, 3박자 및 4박자로 지휘하는 임무에 대한 각각의 학습 데이터와 그로부터 얻은 가우시안 혼합 모델을 보여준다. 또한, 그 결과로부터 얻어지는 가우시안 혼합 회기를 고려한 동적 시스템을 통해 재생성된 경로를 보여준다.

도 9에서, (a), (b), (c)는 각각 2박자, 3박자 및 4박자 지휘하기 임무를 위해 운동학 교시를 통해 얻은 학습 데이터이고, (d), (e), (f)는 각각 (a), (b), (c)에 도시된 학습 데이터를 가우시안 혼합 모델로 모델링한 모습을 나타낸다. 또한, (g), (h), (i)는 각각 (d), (e), (f)에서의 가우시안 혼합 모델에 대한 실시간 가우시안 혼합 회귀와 동적 시스템을 통해 재생성된 경로를 보여준다.

도 9에 도시된 바와 같이, 본 발명의 실시예들에 따른 작업 솜씨를 학습하는 방법은 복잡한 경로에 대해서도 성공적으로 임무를 수행하는 것을 볼 수 있다. 실제 오케스트라를 지휘하는 지휘자의 모습을 보면, 지휘하는 음악의 강약을 조절하기 위하여 지휘를 크게 또는 작게 하는 모습을 볼 수 있는데, 본 발명의 실시예들을 통해 구현된 지능 로봇은 이러한 실제 지휘자의 모습과 유사하게 동작할 수 있다.

다음으로, 도 10은 도 9의 '지휘하기' 임무 중, 4박자 지휘하기의 크기를 2배, 0.5배로 변형하여 재생성된 경로를 예시한 도면이다.

도 10에서, (a)는 학습 데이터로부터 얻은 가우시안 혼합 모델을 나타낸 것이고, (b)는 (a)의 모델을 2배로 크기를 조정한 가우시안 혼합 모델이며, (c)는 (a)의 모델을 1/2배로 축소시킨 모습이다. 또한, (d), (e), (f)는 각각 (a), (b), (c)를 통한 실시간 가우시안 혼합 회귀를 보여주며, 붉은 선은 그 실시간으로 생성된 가우시안 혼합 회귀의 평균과 분산 궤적에 따라 재생성된 경로를 나타낸다.

마지막으로, 세 번째 임무인 '컵 전달하기'에 대해 살펴보도록 하자.

도 11은 '컵 전달하기' 임무에 대하여 실시간으로 변화가 발생한 경우 적응적으로 작업 솜씨를 학습함으로써 재생성된 경로를 예시한 도면으로서, 해당 임무에 대해 획득한 학습 데이터, 가우시안 혼합 모델과 실시간 가우시안 혼합 회귀를 통한 일반화, 그리고 동적 시스템을 통한 경로 재생성을 통해 최초에 학습한 경로와는 다른 목표 지점으로 경로가 변경되어 생성되는 과정을 도시하고 있다. 이러한 세 번째 임무는 최종 목표 지점이 실시간으로 변경될지라도 그 변경된 목표 지점을 잘 추정하는 모습을 보여주기 위한 것이다.

도 11에서, (a)는 '컵 전달하기' 임무에 대한 학습데이터를 직교 좌표계에서 나타낸 것이고, (b)는 그 학습 데이터를 가우시안 혼합 모델로 모델링하고 실시간으로 가우시안 혼합 회귀로 일반화하여 목표 위치와 강성(stiffness) 값을 얻어 동적 시스템으로 경로를 재생성(붉은 선으로 표시된 경로를 의미한다.)하는 모습을 예시하였다. (c)는 앞에서 언급한 동일한 과정을 거쳐 경로를 생성하게 되는데, 실시간으로 목표 지점을 변경하고 그로 인해 변화된 경로를 재생성하는 모습을 보여준다.

도 12는 본 발명의 일 실시예에 따른 작업 솜씨를 학습하는 로봇(robot)(100)을 도시한 블록도로서, 앞서 소개한 도 2 및 도 3의 일련의 과정과 그 수행 동작이 대응된다. 따라서, 여기서는 설명의 중복을 피하기 위해 하드웨어 구성에 따른 특징을 중심으로 그 동작을 약숙하도록 한다.

구동부(20)는 물리적인 운동을 수행하여 주어진 임무를 달성한다. 이러한 구동부(20)는 자유도(degree of freedom, DOF)를 갖는 기계적인 구조물을 의미한다.

학습 엔진(30)은 운동학 교시를 통해 상기 주어진 임무에 대한 학습 데이터(10)를 상기 구동부(20)로부터 입력받고, 가우시안 혼합 모델을 이용하여 상기 입력된 학습 데이터를 인코딩함으로써 상기 학습 데이터를 기하학적으로 해석한 확률 정보로 모델링하며, 상기 모델링된 확률 정보를 변환 행렬과 결합하여 상기 주어진 임무에 대해 변형된 작업 솜씨를 생성한다. 이 때, 생성된 작업 솜씨 내지 변경된 작업 솜씨는 특정 저장 수단(35)에 저장되어 필요시 독출되어 활용되는 것이 바람직하다.

일 실시예에 따라, 상기 변환 행렬은, 상기 모델링된 확률 정보의 좌표의 크기를 변화시키는 크기 행렬(scaling matrix) 또는 상기 모델링된 확률 정보의 좌표를 회전시키는 회전 행렬(rotation matrix) 중 어느 하나가 될 수 있다.

또한, 상기 학습 엔진(30)은, 가우시안 혼합 회귀를 이용하여 상기 변형된 작업 솜씨를 일반화함으로써 상기 주어진 임무에 대한 경로를 생성할 수 있다. 나아가, 상기 주어진 임무에 대해 실시간으로 변화가 발생한 경우, 상기 학습 엔진(30)은, 변화된 목표 위치와 강성을 고려하여, 상기 가우시안 혼합 회귀를 통해 생성된 경로로부터 적응적으로 상기 작업 솜씨의 경로를 재생성하고, 상기 구동부(20)로 하여금 상기 재생성된 경로에 기초하여 물리적인 운동을 수행함으로써 변화된 임무를 달성하게 된다.

상기된 본 발명의 실시예들에 따르면, 주어진 임무를 해결하기 위해 모델링한 확률 정보를 변환 행렬과 결합함으로써 단지 주어진 임무와 일치하는 솜씨뿐만 아니라, 변형된 형태의 작업 솜씨를 학습할 수 있고, 이로 인해 작업 환경이나 조건이 다소 변경되는 경우에도 변형된 작업 솜씨를 통해 해당 임무를 달성할 수 있으며, 나아가 실시간으로 임무가 변화하는 환경에서도 가우시안 혼합 회귀를 통해 적응적으로 변형된 작업 솜씨에 대한 경로를 재성성함으로써 주어진 임무에 변화가 발생하거나 외부 방해가 있을지라도 해당 임무에 적절히 대처할 수 있다.

한편, 본 발명의 실시예들(특히, 본 실시예들이 제안하고 있는 학습 엔진을 의미한다.)은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 이 때, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 : 작업 솜씨를 학습하는 로봇(robot)
10 : 학습 데이터 20 : 구동부
30 : 학습 엔진 35 : 작업 솜씨

Claims

적어도 하나 이상의 프로세서(processor)를 구비한 학습 엔진(learning engine)이 작업 솜씨를 학습하는 방법에 있어서,
상기 학습 엔진이 운동학 교시를 통해 소정 임무에 대한 학습 데이터를 입력받는 단계;
상기 학습 엔진이 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 이용하여 상기 입력된 학습 데이터를 인코딩함으로써 상기 학습 데이터를 기하학적으로 해석한 확률 정보로 모델링하는 단계; 및
상기 학습 엔진이 상기 모델링된 확률 정보를 변환 행렬과 결합하여 상기 소정 임무에 대해 변형된 작업 솜씨를 생성하는 단계;를 포함하는 방법.
제 1 항에 있어서,
상기 변형된 작업 솜씨를 생성하는 단계는,
상기 소정 임무에 대해 크기, 회전, 이동 중 적어도 하나를 변화시키기 위한 변환 행렬을 설정하는 단계; 및
상기 설정된 변환 행렬을 이용하여 상기 모델링된 확률 정보의 기하학적 정보인 혼합 요소의 평균과 분산을 변환함으로써 변형된 작업 솜씨를 생성하는 단계를 포함하는 방법.
제 1 항에 있어서,
상기 변환 행렬은, 상기 모델링된 확률 정보의 좌표의 크기를 변화시키는 크기 행렬(scaling matrix)인 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 변환 행렬은, 상기 모델링된 확률 정보의 좌표를 회전시키는 회전 행렬(rotation matrix)인 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 학습 엔진이 가우시안 혼합 회귀를 이용하여 상기 변형된 작업 솜씨를 일반화함으로써 상기 소정 임무에 대한 경로를 생성하는 단계;를 더 포함하는 방법.
제 5 항에 있어서,
상기 소정 임무에 대해 실시간으로 변화가 발생한 경우, 변화된 목표 위치와 강성(stiffness)을 고려하여, 상기 학습 엔진이 상기 가우시안 혼합 회귀를 통해 생성된 경로로부터 적응적으로 상기 작업 솜씨의 경로를 재생성하는 단계;를 더 포함하는 방법.
작업 솜씨를 학습하는 로봇(robot)에 있어서,
물리적인 운동을 수행하여 소정 임무를 달성할 수 있는 구동부; 및
운동학 교시를 통해 상기 소정 임무에 대한 학습 데이터를 상기 구동부로부터 입력받고, 가우시안 혼합 모델을 이용하여 상기 입력된 학습 데이터를 인코딩함으로써 상기 학습 데이터를 기하학적으로 해석한 확률 정보로 모델링하며, 상기 모델링된 확률 정보를 변환 행렬과 결합하여 상기 소정 임무에 대해 변형된 작업 솜씨를 생성하는 학습 엔진;을 포함하는 로봇.
제 7 항에 있어서,
상기 변환 행렬은, 상기 모델링된 확률 정보의 좌표의 크기를 변화시키는 크기 행렬(scaling matrix) 또는 상기 모델링된 확률 정보의 좌표를 회전시키는 회전 행렬(rotation matrix) 중 어느 하나인 것을 특징으로 하는 로봇.
제 7 항에 있어서,
상기 학습 엔진은, 가우시안 혼합 회귀를 이용하여 상기 변형된 작업 솜씨를 일반화함으로써 상기 소정 임무에 대한 경로를 생성하는 것을 특징으로 하는 로봇.
제 9 항에 있어서,
상기 소정 임무에 대해 실시간으로 변화가 발생한 경우, 상기 학습 엔진은, 변화된 목표 위치와 강성을 고려하여, 상기 가우시안 혼합 회귀를 통해 생성된 경로로부터 적응적으로 상기 작업 솜씨의 경로를 재생성하고,
상기 구동부는, 상기 재생성된 경로에 기초하여 물리적인 운동을 수행함으로써 변화된 임무를 달성하는 것을 특징으로 하는 로봇.