KR20170108526A

KR20170108526A - 모사학습 및 행동 조합에 기반한 로봇의 작업 행동궤적 생성 방법 및 그 장치

Info

Publication number: KR20170108526A
Application number: KR1020160032597A
Authority: KR
Inventors: 조성호; 조수민
Original assignee: 한국과학기술원
Priority date: 2016-03-18
Filing date: 2016-03-18
Publication date: 2017-09-27
Also published as: KR101819323B1

Abstract

모사학습 및 행동 조합에 기반한 로봇의 작업 행동궤적 생성 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 방법은 인간의 작업행동에 대한 시연 궤적을 획득하여 복수의 단위 행동들로 분할하는 단계; 상기 분할된 단위 행동들을 공통되는 단위 행동의 그룹들로 분류하는 단계; 단위 행동들 각각에 대해 학습된 확률 모델을 저장하는 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색하는 단계; 상기 검색된 확률 모델을 이용하여 상기 분류된 그룹들 각각의 단위 행동에 대한 대표 궤적을 생성하는 단계; 및 상기 생성된 대표 궤적에 기초하여 상기 시연 궤적을 재현하는 단계를 포함한다.

Description

모사학습 및 행동 조합에 기반한 로봇의 작업 행동궤적 생성 방법 및 그 장치 {Method for Generating Robot Task Motion Based on Imitation Learning and Motion Composition and Apparatus Therefor}

본 발명은 로봇이 인간의 행동을 모사하여 학습하는 모사학습에 기반한 로봇의 작업 행동궤적 생성 기술에 관한 것으로서, 보다 상세하게는 모사학습 및 행동 조합에 기반하여 사람이 작업을 수행할 때 발생하는 일련의 연속적인 동작들을 로봇이 능동적으로 분할 및 분석함으로써, 연속적인 행동으로 재현할 수 있는 로봇의 작업 행동궤적 생성 방법 및 그 장치에 관한 것이다.

초기의 로봇은 생산 현장에서 작업의 자동화 및 무인화를 등을 목적으로 반복적인 작업을 인간 대신 수행하는 역할로 한정되어 있었다. 하지만 최근에는 로봇의 활동 영역이 확장되어, 사람과 복잡한 상호작용이 필요한 안내 로봇, 교육용 로봇 등의 서비스 로봇들이 개발되고 있으며, 제품의 다양화로 인해 공장용 로봇 역시 새로운 작업에 적용 가능한 확장성이 요구되고 있다.

또한 가까운 미래에는 가정에서 사람의 작업을 대체하거나 보조할 홈 서비스 로봇 역시 고려되어, 이에 대한 연구 개발이 활발하게 진행되고 있다.

이러한 환경에서, 로봇의 확장성을 보장하기 위한 방법으로 모사학습이 연구되고 있다. 이는 로봇이 새로운 환경에서 새로운 작업의 수행을 요구 받을 때, 이를 사람의 행동을 모사하여 수행하는 것으로, 학습에 기반하는 방식으로써 수행 가능한 행동 범위를 넓힐 수 있는 확장성을 보장하며, 각 작업마다 제각각인 목표와 조건들을 고려하는 것이 아니라 이들이 이미 반영된 사람의 시연을 고려함으로써 다양한 작업에 대해 일반화된 방법을 제시할 수 있다. 또한, 사람이 행동을 학습하는 방법과 같이 시연을 모사하는 방식으로, 직관적이며 사용자 친화적인 방식이다.

이러한 모사학습에 대한 연구로써 주로 단위 행동의 동적 특성을 모델링 하는 기법과 기본 동작으로부터 적응적 궤적을 생성하는 방법이 연구되고 있다. 단위 행동 모델링은 여러 번의 시연으로부터 노이즈를 포함하지 않는 동작의 본질적인 특징을 학습하는 방법이며, 적응적 궤적 생성은 동작이 목표점의 변경 등 외부조건에 따라 기본 궤적을 변형하는 방법이다. 이러한 방법들은 하나의 동작을 학습하여 로봇이 직면한 다양한 환경에서 이를 적용하는데 효과적이다.

하지만, 사람이 실제로 작업을 수행할 때 일련의 작업동작들을 연속적으로 수행하므로 자연스러운 시연 궤적은 여러 개의 동작을 포함하게 된다. 이에 반해 기존의 알고리즘들은 하나의 단위행동에 한정하여 접근하므로 이를 통해서 로봇이 작업행동을 학습하기 위해서는 사람이 한 동작 한 동작을 구분하여 로봇에게 시연을 보여야 하며 로봇 역시 연속적인 동작을 재현하는 데에 한계가 있다.

본 발명의 실시예들은, 모사학습 및 행동 조합에 기반하여 사람이 작업을 수행할 때 발생하는 일련의 연속적인 동작들을 로봇이 능동적으로 분할 및 분석함으로써, 연속적인 행동으로 재현할 수 있는 로봇의 작업 행동궤적 생성 방법 및 그 장치를 제공한다.

구체적으로 본 발명의 실시예들은, 단위 행동의 동적 특성을 확률 모델을 통해 모델링하여 학습하고, 인간의 시연 궤적을 학습된 확률 모델을 이용하여 연속적인 행동으로 재현할 수 있는 로봇의 작업 행동궤적 생성 방법 및 그 장치를 제공한다.

본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 방법은 인간의 작업행동에 대한 시연 궤적을 획득하여 복수의 단위 행동들로 분할하는 단계; 상기 분할된 단위 행동들을 공통되는 단위 행동의 그룹들로 분류하는 단계; 단위 행동들 각각에 대해 학습된 확률 모델을 저장하는 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색하는 단계; 상기 검색된 확률 모델을 이용하여 상기 분류된 그룹들 각각의 단위 행동에 대한 대표 궤적을 생성하는 단계; 및 상기 생성된 대표 궤적에 기초하여 상기 시연 궤적을 재현하는 단계를 포함한다.

상기 단위 행동들로 분할하는 단계는 상기 시연 궤적으로부터 동작을 수행하는 동작 구간과 상기 동작 구간 사이의 정지 구간을 구분하고, 상기 구분된 동작 구간과 정지 구간에 기초하여 상기 시연 궤적을 상기 단위 행동들로 분할할 수 있다.

상기 단위 행동들로 분할하는 단계는 상기 시연 궤적에 대한 에너지 값을 계산하고, 상기 계산된 에너지 값이 미리 설정된 임계 값 이상인 구간을 상기 동작 구간으로 구분할 수 있다.

나아가, 본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 방법은 상기 검색된 확률 모델 각각의 심볼을 획득하는 단계; 및 상기 분할된 단위 행동들을 상기 획득된 심볼의 시퀀스로 표현하는 단계를 더 포함하고, 상기 시연 궤적을 재현하는 단계는 상기 심볼의 시퀀스의 순서에 따라 상기 생성된 대표 궤적을 배치하여 연결함으로써, 상기 시연 궤적을 재현할 수 있다.

상기 시연 궤적을 재현하는 단계는 미리 설정된 목표 위치에 따라 상기 생성된 대표 궤적을 변형하여 연결함으로써, 상기 시연 궤적을 재현할 수 있다.

상기 확률 모델을 검색하는 단계는 상기 분류된 그룹들 각각의 단위 행동과 상기 데이터베이스에 저장된 확률 모델들 간의 유사도에 기초하여 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색할 수 있다.

상기 확률 모델을 검색하는 단계는 상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색하고, 상기 검색된 확률 모델을 상기 분류된 그룹들 각각의 단위 행동을 이용하여 학습하며, 상기 대표 궤적을 생성하는 단계는 상기 학습된 확률 모델을 이용하여 상기 분할된 단위 행동들 각각에 대한 대표 궤적을 생성할 수 있다.

더 나아가, 본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 방법은 상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동 중 적어도 하나의 단위 행동에 대응하는 확률 모델이 검색되지 않는 경우 상기 적어도 하나의 단위 행동의 동적 특성에 대한 확률 모델을 생성하는 단계; 및 상기 생성된 확률 모델을 상기 데이터베이스에 저장하여 학습하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 장치는 인간의 작업행동에 대한 시연 궤적을 획득하여 복수의 단위 행동들로 분할하는 분할부; 상기 분할된 단위 행동들을 공통되는 단위 행동의 그룹들로 분류하는 분류부; 단위 행동들 각각에 대해 학습된 확률 모델을 저장하는 데이터베이스; 상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색하는 검색부; 상기 검색된 확률 모델을 이용하여 상기 분류된 그룹들 각각의 단위 행동에 대한 대표 궤적을 생성하는 생성부; 및 상기 생성된 대표 궤적에 기초하여 상기 시연 궤적을 재현하는 재현부를 포함한다.

상기 분할부는 상기 시연 궤적으로부터 동작을 수행하는 동작 구간과 상기 동작 구간 사이의 정지 구간을 구분하고, 상기 구분된 동작 구간과 정지 구간에 기초하여 상기 시연 궤적을 상기 단위 행동들로 분할할 수 있다.

상기 분할부는 상기 시연 궤적에 대한 에너지 값을 계산하고, 상기 계산된 에너지 값이 미리 설정된 임계 값 이상인 구간을 상기 동작 구간으로 구분할 수 있다.

나아가, 본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 장치는 상기 검색된 확률 모델 각각의 심볼을 획득하는 획득부; 및 상기 분할된 단위 행동들을 상기 획득된 심볼의 시퀀스로 표현하는 표현부를 더 포함하고, 상기 재현부는 상기 심볼의 시퀀스의 순서에 따라 상기 생성된 대표 궤적을 배치하여 연결함으로써, 상기 시연 궤적을 재현할 수 있다.

상기 재현부는 미리 설정된 목표 위치에 따라 상기 생성된 대표 궤적을 변형하여 연결함으로써, 상기 시연 궤적을 재현할 수 있다.

상기 검색부는 상기 분류된 그룹들 각각의 단위 행동과 상기 데이터베이스에 저장된 확률 모델들 간의 유사도에 기초하여 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색할 수 있다.

더 나아가, 본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 장치는 상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델이 검색되면 상기 검색된 확률 모델을 상기 분류된 그룹들 각각의 단위 행동을 이용하여 학습하는 학습부를 더 포함할 수 있다.

더 나아가, 본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 장치는 상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동 중 적어도 하나의 단위 행동에 대응하는 확률 모델이 검색되지 않는 경우 상기 적어도 하나의 단위 행동의 동적 특성에 대한 확률 모델을 생성하고, 상기 생성된 확률 모델을 상기 데이터베이스에 저장하는 모델 생성부를 더 포함할 수 있다.

본 발명의 실시예들에 따르면, 모사학습 및 행동 조합에 기반하여 사람이 작업을 수행할 때 발생하는 일련의 연속적인 동작들을 로봇이 능동적으로 분할 및 분석함으로써, 연속적인 행동으로 재현할 수 있다.

따라서, 본 발명의 실시예들에 따르면, 사람이 일일이 개별 행동을 구분하여 지시할 필요 없이 전체 작업 과정을 보여주는 것만으로 로봇이 학습을 수행하며, 작업 과정에서 동작의 단계별로 목표점을 지시하여 좀 더 유연한 행동 궤적 생성을 가능하게 할 수 있다.

본 발명의 실시예들에 따르면, 로봇이 작업을 위한 새로운 행동을 학습함에 있어서 사용자의 개입을 최소화함으로써, 편의성을 높이고, 사용자의 숙련도가 낮더라도 로봇이 능동적으로 필요한 정보를 취하도록 하여 오류 없이 효과적으로 학습을 수행할 수 있다.

본 발명의 실시예들에 따르면, 기존에 학습된 단위 행동들을 재구성한 유사한 작업 행동을 학습할 때 기존의 분석 내용을 바탕으로 빠르게 학습할 수 있으며, 학습된 단위 행동을 조합하여 다양한 응용을 가능하게 할 수 있다.

또한, 본 발명의 실시예들에 따르면, 다음과 같은 효과가 있다.

첫째, 인간이 행동을 학습하는 방식을 모방하여 로봇에게 적용함으로써 직관적이고 간편하게 로봇의 기능을 확장할 수 있으며, 이는 사용자 시나리오 측면에서 기존의 학습 알고리즘보다 간편하게 적용될 수 있다.

둘째, 사용자가 로봇에 정확한 시연정보를 선별하여 제공하는 것이 아니라, 로봇이 시연정보로부터 필요한 정보를 분석하여 취득하므로 시연자의 숙련도가 떨어지더라도 효과적으로 학습할 수 있다.

셋째, 인간의 작업 행동을 세부적으로 나누어 분석하여 저장하므로 이를 조합하는 것 만으로도 응용 및 확장 가능성이 크다.

도 1은 본 발명에서 단위 행동에 대한 확률 모델을 학습하는 과정에 대한 일 실시예의 동작 흐름도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 운동에너지에 기반한 정지 구간과 동작 구간의 구분을 통한 시연 궤적을 분할하는 예시도를 나타낸 것이다.
도 4는 본 발명에 따른 방법에 의해 생성된 단위 행동 모델의 대표 궤적을 연결한 결과에 대한 예시도를 나타낸 것이다.
도 5는 본 발명의 실시예에 따른 로봇의 작업 행동궤적 생성 장치에 대한 구성을 나타낸 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 발명에 따른 실시예들은, 모사학습 및 행동 조합에 기반하여 사람이 작업을 수행할 때 발생하는 일련의 연속적인 동작들을 로봇이 능동적으로 분할 및 분석함으로써, 연속적인 행동으로 재현할 수 있는 방법 및 장치를 제공하는 것을 그 요지로 한다.

이 때, 본 발명의 실시예들은, 사용자 또는 인간의 시연 궤적을 복수의 단위 행동들로 분할하고, 단위 행동들은 공통적인 단위 행동의 그룹들로 분류한 후 그룹들 각각의 단위 행동의 동적 특성에 대한 확률 모델을 생성함으로써, 생성된 확률 모델을 학습할 수 있으며, 이렇게 학습된 단위 행동들 각각에 대한 확률 모델을 이용하여 인간의 시연 궤적을 로봇으로 재현할 수 있다.

본 발명에서 분류된 단위 행동들 각각은 GMM(Gaussian Mixture Model)에 기반한 확률 모델을 기반으로 동작의 본질적인 동적 특성을 학습할 수 있다.

도 1은 본 발명에서 단위 행동에 대한 확률 모델을 학습하는 과정에 대한 일 실시예의 동작 흐름도를 나타낸 것이다.

도 1을 참조하면, 확률 모델을 생성하여 학습하는 과정은 인간의 시연 궤적을 획득하고, 획득된 시연 궤적을 복수의 단위 행동들로 분할한다(S110, S120).

여기서, 단계 S110에서 획득되는 시연 궤적은 사람이 로봇이 학습할 작업의 시범을 보인 것을 캡쳐(capture)하여 획득한 데이터로, 다양한 모션캡쳐 기법을 통해 획득될 수 있다. 일 예로, 사람의 팔의 각 관절에 관성 측정 장치(IMU; inertial measurement unit)를 장착하여 이들의 방향을 획득하고, 이를 인체 모델에 적용하여 각 관절부위에서 IMU의 방향 값과 일치하도록 관절 값을 계산할 수 있다.

이러한 인체 모델 모션을 바로 로봇에 적용하기에는 사람과 로봇의 링크 길이와 관절 특성 등이 차이가 나는 문제가 있지만, 사람과 비교적 유사한 휴머노이드 로봇의 경우라면 팔의 관절 형태가 유사한 점을 바탕으로 이를 역기구학(inverse kinematics)를 통해 변환할 수 있다. 동작의 특성은 주로 손의 3차원 위치와 방향으로 표현되는 위치 궤적을 통해 나타나므로, 로봇 손의 궤적을 획득된 시연 궤적상에서의 사람 손의 궤적과 일치시킴으로써, 유사한 동작을 획득할 수 있다. 하지만 실제로 사람이 동작을 수행할 때 손의 위치 및 방향이 일치하더라도 팔꿈치의 위치에 따라 변형이 가능하므로, 팔꿈치의 위치 또한 고려되어야 할 필요가 있다.

역기구학을 사용한다고 하더라도 사람과 로봇의 링크의 길이가 다르므로 그에 따른 작업공간에 차이가 발생한다. 따라서 인체 모델과 함께 이와 링크의 길이를 맞춘 로봇 모델을 준비하여, 이들의 손과 팔꿈치 위치로 표현되는 동작의 특성 요소를 역기구학을 통해 매칭시켜 사람의 시연동작을 로봇의 관절 궤적으로 변환한다.

단계 S120은 이렇게 획득된 시연 궤적을 복수의 단위 행동들로 분할하는 단계로, 획득된 시연 궤적 또는 획득된 로봇 관절 궤적은 운동에너지를 이용하여 단위 행동들로 분할될 수 있다. 예컨대, 사람이 어떠한 일련의 동작들을 수행할 때, 일반적으로 각 단계가 종료됨에 따라 일시적인 정지상태가 발생한다. 따라서, 단계 S120은 동작을 수행하는 동작 구간과 그 사이에 정지 상태에 있는 정지 구간을 구분하고, 이에 기초하여 각 행동 단계에서 이루어지는 단위 행동을 획득함으로써, 시연 궤적을 복수의 단위 행동들로 분할할 수 있다.

상술한 바와 같이, 동작의 특성은 주로 손의 3차원 위치 및 방향을 통해 표현된다. 필요한 정보는 동작이 동적 상태에 있는지 정적 상태에 있는지에 관한 정보이며, 또한 팔 전체에 적용되는 실제 운동에너지를 고려하는 것은 계산이 복잡할 뿐만 아니라 본질적으로 로봇의 특성과도 일치하지 않으므로, 본 발명에서는 간략화된 식을 적용할 수 있다. 예컨대, 본 발명은 로봇의 팔의 무게를 무시하고 손 끝에 무게가 몰려있다고 가정한 후 이에 대한 운동 에너지를 고려하면 운동에너지는 질량과 속도의 제곱의 곱으로 나타난다. 하지만 질량은 불변이며 여기서 필요한 건 에너지의 상대 값 이므로 질량은 무시할 수 있다. 다만 방향 또한 고려되기에 각속도가 존재하므로, 이 역시 회전관성을 고정 값으로 고려하면 아래의 <수학식 1>을 획득할 수 있다.

[수학식 1]

여기서, w₁과 w₂는 질량과 회전관성에 따라 발생하는 위치변화 및 회전에 따른 운동에너지간의 비율적인 차이에 따라 정해진 가중치를 의미하는 것으로, 실제 데이터가 분할되는 결과에 의하여 적절한 값이 선택될 수 있다.

또한, 수학식 1의 에너지 값은 속도의 제곱에 비례하며 일반적으로 미분 값은 노이즈에 취약하므로 저역 통과 필터(LPF; low-pass filter)를 통해 노이즈를 제거하는 것이 중요하다.

따라서, 단계 S120은 상기 수학식 1을 통해 구한 에너지 값을 바탕으로 시연 궤적의 정지 구간과 동작 구간을 구분할 수 있으며, 미리 설정된 일정 임계 값을 적용하여 에너지 값이 임계값을 초과하는 구간을 동작 구간으로 구분하고 이런 동작 구간들 사이의 구간을 정지 구간으로 구분할 수 있다.

예를 들어, 시연 궤적상에서의 손의 위치 및 그에 따른 에너지 값을 보여주는 도 3에 도시된 바와 같이, 에너지 값에 따라 작업을 위한 동작 구간과 동작 사이의 정지 구간이 명확하게 구분되는 것을 알 수 있다. 도 3에 도시된 상단 그래프는 시연 궤적에서 손의 3차원 위치 좌표 궤적으로서, 손의 x, y, z 좌표를 각각 빨강, 초록, 파랑 선으로 표현한 것이며, 중단 그래프는 이러한 시연 궤적으로부터 구해진 운동에너지 그래프로, 운동에너지 그래프에서 동작 구간(A, B, C, D)와 정지 구간의 경계는 빨간 선으로 표현한 것이고, 하단 이미지는 각 분할된 동작의 시점을 보여주는 시뮬레이션 결과이다.

단계 S120에 의해 단위 행동들로 분할되면, 분할된 단위 행동들을 공통되는 단위 행동의 그룹들로 분류한다(S130).

이 때, 단계 S130은 분할된 단위 행동들 각각의 궤적의 유사성에 기초하여 같은 의미를 가지는 단위 행동끼리 동일 그룹으로 분류함으로써, 단위 행동들을 복수의 그룹들로 분류할 수 있다.

단계 S130에 의해 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델이 데이터베이스에 존재하는지 판단하고, 데이터베이스에 해당 확률 모델이 존재하면 해당 확률 모델을 해당 단위 행동을 이용하여 학습한다(S140, S170).

본 발명에서의 데이터베이스(DB)는 새로운 시연을 받아들여 점진적으로 학습되며, 학습된 행동은 행동 모델 또는 확률 모델로 저장되고 시연 데이터 자체로는 저장하지 않는다. 따라서, 분류를 위한 유사도의 판별은 새로 들어온 시연 궤적과 기존에 학습된 모델간의 유사도로 정의되어야 한다.

여기서, 단계 S140은 시연 데이터가 어떤 행동 모델에 연관되는지 파악하기 위해서 데이터와 모델 간 유사도를 이용하여 해당 그룹의 확률 모델이 데이터베이스에 존재하는지 판단할 수 있으며, 데이터와 모델간 유사도는 다음과 같이 정의될 수 있다. 학습된 모델로부터 회귀분석을 통해 각 타임스텝(time step)의 분포를 추출하고, 이에 기반한 마할라노비스 거리(Mahalanobis distance)의 비유사도를 정의한다. 입력된 궤적 샘플이

이고 GMR(Gaussian Mixture Regression)을 통해 계산된 각 타임스텝에서의 분포가

이라고 하면, 마할라노비스 거리의 비유사도는 아래 <수학식 2>와 같을 수 있다.

[수학식 2]

이 때, 시연 궤적이 시간적으로 왜곡되어 있을 수 있으므로, DTW(Dynamic Time Warping)을 이용한 시간 정렬을 적용할 수 있다. DTW는 각 샘플간의 거리를 최소화하도록 매칭되는 짝을 찾아내어 시간을 맞춘다. 이를 바탕으로 시연궤적을 모델에 맞췄을 때 비유사도를 최소화하는 기준으로 비교를 수행한다.

전체 시스템에서는, 시연 데이터가 들어왔을 때 상기 비유사도가 최소가 되는 모델을 검색하여 점진적 학습을 수행하며, 비유사도가 일정 기준치를 초과할 경우 유사한 모델이 없다고 판단하여 새로운 모델을 생성하도록 한다.

즉, 단계 S140 판단 결과, 데이터베이스에 특정 그룹의 단위 행동에 대응하는 확률 모델이 존재하지 않는 경우에는 확률 모델이 존재하지 않는 그룹들 각각의 단위 행동의 동적 특성에 대한 확률 모델을 생성하고, 생성된 확률 모델 각각에 심볼을 할당하여 데이터베이스에 저장한다(S150, S160).

이 때, 단계 S150은 새로운 확률 모델이 생성될 때마다 번호를 붙여 이를 해당 동작을 표현하는 심볼로 사용할 수 있으며, 작업이 이루어지는 과정을 시연 궤적상에 나타난 단위 행동의 종류에 따라 심볼의 시퀀스로 표현할 수도 있다.

GMM(Gaussian Mixture Model)은 비선형적으로 분포한 데이터 샘플을 모델링 하기 위한 확률 모델로, 다양한 패턴이 나올 수 있는 비선형적인 특성을 가지는 행동 궤적을 모델링 하는데 적합하다. 또한, 확률 모델의 특성에 따라 노이즈 및 다소의 공간적 왜곡에도 강인하다는 장점이 있다. 또한 본 발명에서 제시하는 시스템 또는 장치에 적합한, 점진적 학습도 가능하다. 이러한 GMM 모델을 궤적의 시간적 왜곡을 극복하기 위한 DTW(Dynamic Time Warping)와 차원을 감소시켜 압축시키기 위한 PCA(Principal Component Analysis)를 조합한 점진적 학습 모델 또한 존재한다.

단계 S150과 S160에 의해 생성되어 데이터베이스에 저장된 확률 모델은 이후 인간의 시연 궤적에 의해 분할된 단위 행동에 의해 학습된다(S170).

즉, 분류된 시연 데이터는 생성되어 데이터베이스에 저장된 확률 모델을 통해 효과적으로 학습될 수 있다.

도 2는 본 발명의 일 실시예에 따른 로봇의 작업 행동궤적 생성 방법에 대한 동작 흐름도를 나타낸 것으로, 도 1을 통해 데이터베이스에 모든 확률 모델이 학습된 것으로 가정하여 설명한다.

도 2를 참조하면, 본 발명의 실시예에 따른 방법은 재현하고자 하는 인간의 시연 궤적을 획득하고, 획득된 시연 궤적을 복수의 단위 행동들로 분할한다(S210, S220).

여기서, 단계 S210과 S220은 도 1의 단계 S110 및 S120과 동일하기에 그 설명은 생략한다.

단계 S220에 의해 단위 행동들로 분할되면, 분할된 단위 행동들을 공통되는 단위 행동의 그룹들로 분류한다(S230).

이 때, 단계 S130은 도 1의 단계 S130과 동일하기에 그 설명은 생략한다.

단계 S130에 의해 그룹들로 분류되면 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 데이터베이스로부터 검색하고, 검색된 확률 모델의 심볼을 획득한다(S240, S250).

이 때, 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델은 분류된 그룹들 각각의 단위 행동에 의해 학습될 수 있다.

물론, 데이터베이스에 그룹들 중에서 관련된 확률 모델이 존재하지 않는 경우에는 도 1의 S150 내지 S170 과정을 수행할 수 있으며, 도 2에서는 모든 그룹들에 대한 확률 모델이 검색되는 것으로 가정하고 설명하기에 이에 대한 설명은 생략한다.

단계 S250에서 검색된 확률 모델의 심볼들이 획득되면, 재현하고자 하는 시연 궤적에 대한 단위 행동들을 심볼 시퀀스로 표현하고, 검색된 확률 모델 각각의 대표 궤적을 생성한다(S260, S270).

단계 S270에 의해 확률 모델 각각의 대표 궤적이 생성되면, 단계 S260에 의해 표현된 심볼 시퀀스의 순서에 따라 대표 궤적을 배치하여 연결함으로써, 시연 궤적을 재현한다(S280).

여기서, 단계 S280은 미리 설정된 목표 위치에 따라 생성된 대표 궤적을 변형하여 연결함으로써, 시연 궤적을 재현할 수 있다.

구체적으로 설명하면, 로봇이 작업 궤적을 생성하기 위해서는 시연 궤적의 분석을 통해 얻었던, 작업 단계를 표현하는 심볼 시퀀스와 상호작용 물체 등으로 결정되는 동작의 목표 위치를 입력으로 받는다. 적응적 궤적 생성 및 연결 단계에서는 심볼 시퀀스에서 나타나는 단위행동의 목록에 따라 각 행동 모델로부터 대표궤적을 생성하여 이를 연결시키며, 또한 작업 목표에 맞춰 변형시킨다.

MTM(Motion Trajectory Morphing) 알고리즘은 단일 행동 궤적에 대해 본래 궤적과 유사하면서 안정적으로 목표점에 도달하는 궤적을 생성하는 알고리즘으로, MTM 알고리즘은 안정적으로 유사한 궤적을 생성하면서 효과적으로 목표 위치에 도달하는 궤적을 생성한다. 이 알고리즘은 다차원 궤적에 일반적으로 적용 가능하다.

행동의 본질적 특성이 주로 끝점 궤적에서 나타나지만 끝점 궤적만으로는 행동의 모든 특성을 포괄할 수는 없다. 따라서, 행동 모델 또는 확률 모델을 학습할 때 관절 궤적을 바탕으로 모델링 하는 것이 타당하다. 한편 목표점은 3차원 위치로 주어지기 때문에 모델로부터 생성된 대표 궤적과 목표점 사이에는 괴리가 존재한다. 이를 해결하기 위해서는 본래의 행동 궤적에서의 관절 상태를 초기값으로 역기구학을 통해 점근적으로 주어진 목표점에 맞는 관절 값을 찾아 이를 관절 공간상에서의 목표 값으로 취하여 이러한 차이를 극복할 수 있다.

각 작업 단계에서 행동 모델에서 얻어진 궤적들을 연결할 때 MTM 알고리즘을 통해 효과적으로 이를 수행할 수 있다. 각 작업 단계 중 별도로 목표점이 주어지는 부분의 경우는 해당 동작의 끝점과 다음 동작의 시점을 목표점에 맞춰 변형할 수 있으며, 이외에는 도 4에 도시된 바와 같이 시점을 이전 행동의 끝점에 맞춰 변형하면 부드럽게 연결된 연속된 궤적을 획득할 수 있다.

여기서, 도 4에 도시된 그래프 상에서 파란 선은 대표 궤적을 단순 연결한 것으로 연결 지점에 불연속적인 지점이 발견되는 것을 알 수 있으며, 빨간 선은 각 단계의 궤적의 시점과 끝점을 MTM 알고리즘을 통해 연결한 궤적으로 불연속점이 사라진 것을 알 수 있다.

이와 같이, 본 발명의 실시예에 따른 방법은 모사학습 및 행동 조합에 기반하여 사람이 작업을 수행할 때 발생하는 일련의 연속적인 동작들을 로봇이 능동적으로 분할 및 분석함으로써, 연속적인 행동으로 재현할 수 있고, 사람이 일일이 개별 행동을 구분하여 지시할 필요 없이 전체 작업 과정을 보여주는 것만으로 로봇이 학습을 수행하며, 작업 과정에서 동작의 단계별로 목표점을 지시하여 좀 더 유연한 행동 궤적 생성을 가능하게 할 수 있다.

또한, 본 발명의 실시예들에 따른 방법은 로봇이 작업을 위한 새로운 행동을 학습함에 있어서 사용자의 개입을 최소화함으로써, 편의성을 높이고, 사용자의 숙련도가 낮더라도 로봇이 능동적으로 필요한 정보를 취하도록 하여 오류 없이 효과적으로 학습을 수행할 수 있다.

또한, 본 발명의 실시예들에 따른 방법은 기존에 학습된 단위 행동들을 재구성한 유사한 작업 행동을 학습할 때 기존의 분석 내용을 바탕으로 빠르게 학습할 수 있으며, 학습된 단위 행동을 조합하여 다양한 응용을 가능하게 할 수 있다.

도 5는 본 발명의 실시예에 따른 로봇의 작업 행동궤적 생성 장치에 대한 구성을 나타낸 것으로, 도 1 내지 도 4에서 설명한 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.

도 5를 참조하면, 본 발명의 실시예에 따른 장치(500)는 분할부(510), 분류부(520), 검색부(530), 모델 생성부(540), 학습부(550), 획득부(560), 표현부(570), 생성부(580), 재현부(590) 및 데이터베이스(DB)를 포함한다.

데이터베이스(DB)는 단위 행동들 각각에 대한 확률 모델을 심볼과 함께 저장하는 수단이다.

여기서, 데이터베이스는 새로운 시연을 받아들여 확률 모델 각각이 점진적으로 학습되며, 학습된 행동은 행동 모델 또는 확률 모델로 저장되고 시연 데이터 자체로는 저장하지 않을 수 있다.

분할부(510)는 인간의 작업행동에 대한 시연 궤적을 획득하여 복수의 단위 행동들로 분할한다.

이 때, 분할부(510)는 시연 궤적으로부터 동작을 수행하는 동작 구간과 동작 구간 사이의 정지 구간을 구분하고, 구분된 동작 구간과 정지 구간에 기초하여 상기 시연 궤적을 단위 행동들로 분할할 수 있다. 예컨대, 분할부(510)는 시연 궤적에 대한 에너지 값을 계산하고, 계산된 에너지 값이 미리 설정된 임계 값 이상인 구간을 동작 구간으로 구분하고, 동작 구간들 사이를 정지 구간으로 구분하며, 구분된 동작 구간과 정지 구간에 기초하여 각 행동 단계에서 이루어지는 단위 행동을 획득함으로써, 시연 궤적을 복수의 단위 행동들로 분할할 수 있다.

분류부(520)는 분할부(510)에 의해 분할된 단위 행동들을 공통되는 단위 행동의 그룹들로 분류한다.

이 때, 분류부(520)는 분할된 단위 행동들 각각의 궤적의 유사성에 기초하여 같은 의미를 가지는 단위 행동끼리 동일 그룹으로 분류함으로써, 단위 행동들을 복수의 그룹들로 분류할 수 있다.

검색부(530)는 데이터베이스로부터 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색한다.

이 때, 검색부(530)는 시연 데이터가 어떤 행동 모델에 연관되는지 파악하기 위해서 데이터와 모델 간 유사도를 이용하여 해당 그룹의 확률 모델을 데이터베이스로부터 검색할 수 있으며, 해당 단위 행동과의 유사도가 가장 높은 확률 모델을 해당 단위 행동의 확률 모델로 검색할 수 있다.

모델 생성부(540)는 데이터베이스로부터 분류된 그룹들 각각의 단위 행동 중 적어도 하나의 단위 행동에 대응하는 확률 모델이 검색되지 않는 경우 적어도 하나의 단위 행동의 동적 특성에 대한 확률 모델을 생성하고, 생성된 확률 모델을 데이터베이스에 저장한다.

이 때, 모델 생성부(540)는 GMM에 기반하여 단위 행동의 동적 특성에 대한 확률 모델을 생성할 수 있으며, 생성된 확률 모델에 대해 특정 심볼을 할당할 수 있다.

학습부(550)는 데이터베이스로부터 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델이 검색되면 검색된 확률 모델을 분류된 그룹들 각각의 단위 행동을 이용하여 학습한다.

획득부(560)는 시연 궤적을 재현하기 위하여, 시연 궤적의 단위 행동들에 대해 검색된 확률 모델 각각의 심볼을 획득한다.

여기서, 심볼은 해당 확률 모델을 생성할 때 할당된 것일 수 있다.

표현부(570)는 시연 궤적의 분할된 단위 행동들에 대해 획득된 심볼들을 이용하여 심볼의 시퀀스로 표현한다.

생성부(580)는 검색된 확률 모델을 이용하여 분류된 그룹들 각각의 단위 행동에 대한 대표 궤적을 생성한다.

재현부(590)는 생성된 대표 궤적에 기초하여 시연 궤적을 재현한다.

이 때, 재현부(590)는 표현부(570)에 의해 표현된 심볼의 시퀀스의 순서에 따라 대표 궤적을 배치하여 연결함으로써, 시연 궤적을 재현할 수 있다.

나아가, 재현부(590)는 미리 설정된 목표 위치에 따라 생성된 대표 궤적을 변형하여 연결함으로써, 시연 궤적을 재현할 수 있다.

비록, 도 5에서 설명하지 않았더라도, 도 5의 장치는 상술한 도 1 내지 도 4의 동작을 모두 수행할 수 있으며, 도 1 내지 도 4의 내용을 모두 포함할 수 있다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

인간의 작업행동에 대한 시연 궤적을 획득하여 복수의 단위 행동들로 분할하는 단계;
상기 분할된 단위 행동들을 공통되는 단위 행동의 그룹들로 분류하는 단계;
단위 행동들 각각에 대해 학습된 확률 모델을 저장하는 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색하는 단계;
상기 검색된 확률 모델을 이용하여 상기 분류된 그룹들 각각의 단위 행동에 대한 대표 궤적을 생성하는 단계; 및
상기 생성된 대표 궤적에 기초하여 상기 시연 궤적을 재현하는 단계
를 포함하는 로봇의 작업 행동궤적 생성 방법.
제1항에 있어서,
상기 단위 행동들로 분할하는 단계는
상기 시연 궤적으로부터 동작을 수행하는 동작 구간과 상기 동작 구간 사이의 정지 구간을 구분하고, 상기 구분된 동작 구간과 정지 구간에 기초하여 상기 시연 궤적을 상기 단위 행동들로 분할하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 방법.
제2항에 있어서,
상기 단위 행동들로 분할하는 단계는
상기 시연 궤적에 대한 에너지 값을 계산하고, 상기 계산된 에너지 값이 미리 설정된 임계 값 이상인 구간을 상기 동작 구간으로 구분하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 방법.
제1항에 있어서,
상기 검색된 확률 모델 각각의 심볼을 획득하는 단계; 및
상기 분할된 단위 행동들을 상기 획득된 심볼의 시퀀스로 표현하는 단계
를 더 포함하고,
상기 시연 궤적을 재현하는 단계는
상기 심볼의 시퀀스의 순서에 따라 상기 생성된 대표 궤적을 배치하여 연결함으로써, 상기 시연 궤적을 재현하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 방법.
제4항에 있어서,
상기 시연 궤적을 재현하는 단계는
미리 설정된 목표 위치에 따라 상기 생성된 대표 궤적을 변형하여 연결함으로써, 상기 시연 궤적을 재현하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 방법.
제1항에 있어서,
상기 확률 모델을 검색하는 단계는
상기 분류된 그룹들 각각의 단위 행동과 상기 데이터베이스에 저장된 확률 모델들 간의 유사도에 기초하여 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 방법.
제1항에 있어서,
상기 확률 모델을 검색하는 단계는
상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색하고, 상기 검색된 확률 모델을 상기 분류된 그룹들 각각의 단위 행동을 이용하여 학습하며,
상기 대표 궤적을 생성하는 단계는
상기 학습된 확률 모델을 이용하여 상기 분할된 단위 행동들 각각에 대한 대표 궤적을 생성하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 방법.
제1항에 있어서,
상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동 중 적어도 하나의 단위 행동에 대응하는 확률 모델이 검색되지 않는 경우 상기 적어도 하나의 단위 행동의 동적 특성에 대한 확률 모델을 생성하는 단계; 및
상기 생성된 확률 모델을 상기 데이터베이스에 저장하여 학습하는 단계
를 더 포함하는 것을 특징으로 로봇의 작업 행동궤적 생성 방법.
인간의 작업행동에 대한 시연 궤적을 획득하여 복수의 단위 행동들로 분할하는 분할부;
상기 분할된 단위 행동들을 공통되는 단위 행동의 그룹들로 분류하는 분류부;
단위 행동들 각각에 대해 학습된 확률 모델을 저장하는 데이터베이스;
상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색하는 검색부;
상기 검색된 확률 모델을 이용하여 상기 분류된 그룹들 각각의 단위 행동에 대한 대표 궤적을 생성하는 생성부; 및
상기 생성된 대표 궤적에 기초하여 상기 시연 궤적을 재현하는 재현부
를 포함하는 로봇의 작업 행동궤적 생성 장치.
제9항에 있어서,
상기 분할부는
상기 시연 궤적으로부터 동작을 수행하는 동작 구간과 상기 동작 구간 사이의 정지 구간을 구분하고, 상기 구분된 동작 구간과 정지 구간에 기초하여 상기 시연 궤적을 상기 단위 행동들로 분할하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 장치.
제10항에 있어서,
상기 분할부는
상기 시연 궤적에 대한 에너지 값을 계산하고, 상기 계산된 에너지 값이 미리 설정된 임계 값 이상인 구간을 상기 동작 구간으로 구분하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 장치.
제9항에 있어서,
상기 검색된 확률 모델 각각의 심볼을 획득하는 획득부; 및
상기 분할된 단위 행동들을 상기 획득된 심볼의 시퀀스로 표현하는 표현부
를 더 포함하고,
상기 재현부는
상기 심볼의 시퀀스의 순서에 따라 상기 생성된 대표 궤적을 배치하여 연결함으로써, 상기 시연 궤적을 재현하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 장치.
제12항에 있어서,
상기 재현부는
미리 설정된 목표 위치에 따라 상기 생성된 대표 궤적을 변형하여 연결함으로써, 상기 시연 궤적을 재현하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 장치.
제9항에 있어서,
상기 검색부는
상기 분류된 그룹들 각각의 단위 행동과 상기 데이터베이스에 저장된 확률 모델들 간의 유사도에 기초하여 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델을 검색하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 장치.
제9항에 있어서,
상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동에 대응하는 확률 모델이 검색되면 상기 검색된 확률 모델을 상기 분류된 그룹들 각각의 단위 행동을 이용하여 학습하는 학습부
를 더 포함하는 것을 특징으로 하는 로봇의 작업 행동궤적 생성 장치.
제9항에 있어서,
상기 데이터베이스로부터 상기 분류된 그룹들 각각의 단위 행동 중 적어도 하나의 단위 행동에 대응하는 확률 모델이 검색되지 않는 경우 상기 적어도 하나의 단위 행동의 동적 특성에 대한 확률 모델을 생성하고, 상기 생성된 확률 모델을 상기 데이터베이스에 저장하는 모델 생성부
를 더 포함하는 것을 특징으로 로봇의 작업 행동궤적 생성 장치.