KR102131097B1 - 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법 - Google Patents

Abstract

본 발명은 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법에 관한 것으로서, 상기 로봇 제어 시스템은 조종자의 동작에 대해 상기 조종자가 기대하는 움직임을 상기 로봇이 수행하기 위해 요구되는 상기 로봇의 제어신호가 포함된 학습 데이터를 이용하여 상기 조종자의 동작에 대응되는 상기 로봇의 제어신호를 제공하기 위한 신경망 모델을 구축하는 신경망 모델 모듈과, 상기 조종자의 동작을 감지하는 감지센서부와, 상기 감지센서부에서 제공되는 상기 조종자의 동작에 대한 정보를 상기 신경망 모델에 적용하여 상기 조종자가 기대하는 움직임을 상기 로봇이 수행하기 위한 상기 로봇의 제어신호를 산출하는 신호 산출부와, 상기 신호 산출부로부터 산출된 상기 제어신호를 상기 로봇에 전송하여 상기 로봇을 제어하는 제어모듈을 구비한다.
본 발명에 따른 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법은 조종자의 동작을 감지하여 로봇을 제어하되, 기계학습을 통해 구축된 신경망 모델을 이용하여 여유 자유도를 갖는 로봇을 제어하므로 미숙련자라도 보다 용이하게 로봇을 제어할 수 있다는 장점이 있다.

Description

로봇 제어 시스템 및 이를 이용한 로봇 제어 방법{Robot control system and robot control method using the same}

본 발명은 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법에 관한 것으로서, 기계학습을 통해 구축된 신경망 모델을 이용하여 여유 자유도를 갖는 로봇을 제어할 수 있는 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법에 관한 것이다.

일반적으로 전기적 또는 자기적인 작용을 이용하여 인간의 동작과 닮은 운동을 행하는 기계 장치를 "로봇"이라 고 한다. 로봇의 어원은 슬라브어의 ROBOTA(노예 기계)에서 유래한다고 전해지고 있다. 종래에 보급되는 로봇의 대부분은 공장에 있어서의 생산 작업의 자동화, 무인화 등을 목적으로 한 매니퓰레이터나 반송 로봇 등의 산업용 로봇(industrial robot)이었다.

최근에는 인간이나 원숭이 등의 2족 직립 보행을 행하는 동물의 신체 메카니즘과 동작을 모방한 보행 로봇에 관한 연구 개발이 진전되어 실용화로의 기대도 높아져 오고 있다. 2족 직립에 의한 보행은 크롤러식이나, 4족 또는 6족식 등에 비해 불안정하고 자세 제어나 보행 제어가 어려워지지만, 고르지 못한 지면이나 장해물 등 작업 경로상에 요철이 있는 보행면이나, 계단과 사다리의 승강 등 불연속적인 보행면에 대응할 수 있는 면이나, 전시시설에서의 전시 등, 유연한 움직임을 실현할 수 있다는 점에서 우수하다.

그러나, 종래의 로봇 제어 시스템의 경우, 조종자가 콘트롤러나 컴퓨터를 통해 로봇의 제어신호를 직접 입력해야 하므로 보다 신속한 조정에 어려움이 있고, 여유 자유도를 갖는 로봇의 경우, 로봇의 제어가 복잡하여 숙련되게 로봇을 제어하기 위해 많은 훈련이 요구되는 단점이 있다.

본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 조종자의 동작을 감지하여 로봇을 제어하되, 기계학습을 통해 구축된 신경망 모델을 이용하여 여유 자유도를 갖는 로봇을 제어할 수 있는 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 로봇 제어 시스템은 여유 자유도를 갖는 로봇을 제어하는 로봇 제어 시스템에 관한 것으로서, 조종자의 동작에 대해 상기 조종자가 기대하는 움직임을 상기 로봇이 수행하기 위해 요구되는 상기 로봇의 제어신호가 포함된 학습 데이터를 이용하여 상기 조종자의 동작에 대응되는 상기 로봇의 제어신호를 제공하기 위한 신경망 모델을 구축하는 신경망 모델 모듈과, 상기 조종자의 동작을 감지하는 감지센서부와, 상기 감지센서부에서 제공되는 상기 조종자의 동작에 대한 정보를 상기 신경망 모델에 적용하여 상기 조종자가 기대하는 움직임을 상기 로봇이 수행하기 위한 상기 로봇의 제어신호를 산출하는 신호 산출부와, 상기 신호 산출부로부터 산출된 상기 제어신호를 상기 로봇에 전송하여 상기 로봇을 제어하는 제어모듈을 구비한다.

상기 학습 데이터는 상기 조종자의 동작 변화에 따른 상기 조종자의 관절의 위치, 각 관절의 각도 변화 또는 각속도 변화에 대해 상기 조종자가 기대하는 움직임을 수행하기 위한 상기 로봇의 제어신호가 포함된다.

상기 신경망 모델 모듈은 상기 학습 데이터를 토대로 상기 조종자의 신체 부위 별로 각각 상기 신경망 모델을 구축한다.

상기 감지센서부는 상기 조종자에 대한 깊이영상을 촬영하는 뎁스 카메라와, 상기 뎁스 카메라로부터 제공받은 깊이영상을 토대로 상기 조종자의 동작에 대한 정보를 산출하고, 산출된 상기 조종자의 동작에 대한 정보를 상기 신호 산출부에 제공하는 정보획득 모듈을 구비한다.

상기 정보획득 모듈은 상기 조종자의 동작에 대한 정보로서, 상기 깊이영상을 토대로 상기 조종자의 각 관절의 위치 변화, 상기 조종자의 각 관절의 각도 변화 또는 각속도를 산출하는 것이 바람직하다.

상기 정보획득 모듈은 산출된 상기 조종자의 동작에 대한 정보들 중 상기 조종자의 움직임이 기설정된 기준 움직임 값 이상인 정보만 상기 신호 산출부로 전송할 수 있다.

상기 정보획득 모듈은 상기 깊이영상에 포함된 사람이 다수일 경우, 상기 깊이영상에 포함된 사람들 중 상기 뎁스 카메라에 가장 인접된 사람을 상기 조종자로 판별할 수도 있다.

상기 제어모듈은 상기 로봇의 초기 기동시, 상기 로봇이 상기 조종자의 자세와 유사한 자세로 세팅될 수 있도록 상기 감지센서부를 통해 제공되는 상기 조종자의 초기 자세에 대한 정보를 토대로 상기 로봇의 중심에 대한 상기 로봇의 각 부분의 단부 위치와, 상기 조종자의 중심에 대해 상기 로봇의 각 부분에 대응되는 상기 조종자의 신체 부위의 단부 위치가 상호 대응되도록 상기 로봇을 제어할 수도 있다.

상기 정보획득 모듈은 상기 뎁스 카메라에서 제공되는 깊이영상에 포함된 방해물을 판별하고, 상기 조종자가 상기 방해물에 충돌시 해당 충돌에 의한 상기 조종자의 충돌동작에 따라 상기 로봇이 제어되는 것을 방지할 수 있도록 상기 조종자의 충돌동작에 대한 정보를 상기 신호 산출부로 미전송할 수도 있다.

상기 정보획득 모듈은 상기 방해물에 상기 조종자가 접촉된 시점으로부터 기설정된 단위시간이 경과한 시점까지의 상기 조종자의 동작을 상기 조종자의 충돌동작으로 판별할 수도 있다.

한편, 본 발명에 따른 로봇 제어 방법은 여유 자유도를 갖는 로봇을 제어하는 로봇 제어 방법에 관한 것으로서, 조종자가 입력하는 동작들에 대해 상기 조종자가 기대하는 움직임을 상기 로봇이 수행하기 위해 요구되는 상기 로봇의 제어신호가 포함된 학습데이터를 수집하는 수집단계와, 상기 수집단계를 통해 수집된 학습 데이터를 토대로 상기 조종자의 동작에 대응되는 상기 로봇의 제어신호를 제공하기 위한 신경망 모델을 구축하는 모델 구축 단계와, 감지센서부를 통해 상기 조종자의 동작에 대한 정보를 획득하는 동작 입력 단계와, 상기 동작 입력 단계에서 입력된 상기 조종자의 동작에 대한 정보를 상기 신경망 모델에 적용하여 상기 조종자가 기대하는 움직임을 상기 로봇이 수행하기 위한 상기 로봇의 제어신호를 산출하는 신호 산출단계와, 상기 신호 산출단계에서 산출된 상기 제어신호를 상기 로봇에 전송하여 상기 로봇을 제어하는 로봇 제어단계를 포함한다.

상기 모델 구축 단계에서는, 상기 학습 데이터를 토대로 상기 조종자의 신체 부위 별로 각각 상기 신경망 모델을 구축하는 것이 바람직하다.

상기 동작 입력 단계는 상기 감지센서부의 뎁스 카메라를 이용하여 상기 조종자에 대한 깊이영상을 촬영하는 촬영단계와, 상기 조종자에 대한 깊이영상을 토대로 상기 조종자의 동작에 대한 정보를 산출하는 움직임 산출 단계를 포함한다.

상기 움직임 산출 단계에서는, 산출된 상기 조종자의 동작에 대한 정보들 중 상기 조종자의 움직임이 기설정된 기준 움직임 값 이상인 정보만 상기 신호 산출부로 전송할 수 있다.

상기 움직임 산출단계에서, 상기 깊이영상에 포함된 사람이 다수일 경우, 상기 깊이영상에 포함된 사람들 중 상기 뎁스 카메라에 가장 인접된 사람을 상기 조종자로 판별할 수 있다.

상기 움직임 산출단계에서, 상기 뎁스 카메라에서 제공되는 깊이영상에 포함된 방해물을 판별하고, 상기 조종자가 상기 방해물에 충돌시 해당 충돌에 의한 상기 조종자의 충돌동작에 따라 상기 로봇이 제어되는 것을 방지할 수 있도록 상기 조종자의 충돌동작에 대한 정보를 상기 신호 산출부로 미전송할 수도 있다.

상기 움지임 산출단계에서, 상기 방해물에 상기 조종자가 접촉된 시점으로부터 기설정된 단위시간이 경과한 시점까지의 상기 조종자의 동작을 상기 조종자의 충돌동작으로 판별하는 것이 바람직하다.

본 발명에 따른 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법은 조종자의 동작을 감지하여 로봇을 제어하되, 기계학습을 통해 구축된 신경망 모델을 이용하여 여유 자유도를 갖는 로봇을 제어하므로 미숙련자라도 보다 용이하게 로봇을 제어할 수 있다는 장점이 있다.

도 1은 본 발명에 따른 로봇 제어 시스템에 대한 사시도이고,
도 2는 도 1의 로봇 제어 시스템에 대한 블럭도이고,
도 3은 본 발명에 따른 로봇 제어 방법에 대한 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1 및 도 2에는 본 발명에 따른 로봇 제어 시스템(100)이 도시되어 있다.

도면을 참조하면, 상기 로봇 제어 시스템(100)은 여유 자유도를 갖는 로봇(12)을 제어하는 로봇 제어 시스템(100)에 관한 것이다. 여기서, 자유도(Degree of Freedom, DOF)란 기구학(Kinematics) 또는 역기구학(Inverse Kinematics)에서의 자유도를 말한다. 기구의 자유도란 기구의 독립적인 운동의 수 또는 각 링크 간의 상대 위치의 독립된 운동을 결정하는 변수의 수를 말한다. 예를 들어, x축, y축, z축으로 이루어진 3차원 공간상의 물체는 물체의 공간적인 위치(position)를 결정하기 위한 3자유도(각 축에서의 위치)와, 물체의 공간적인 자세(orientation)를 결정하기 위한 3자유도(각 축에 대한 회전 각도) 중에서 하나 이상의 자유도를 가진다. 만약 물체가 각각의 축을 따라 이동 가능하고, 각각의 축을 기준으로 회전 가능하다고 한다면, 이 물체는 6자유도를 갖는 것으로 이해할 수 있다. 여유 자유도는 주어진 작업 공간 자유도 이상의 관절 공간 자유도를 보유한 경우를 의미한다. 한편, 도면에 도시된 예에서, 상기 로봇(12)은 공룡 형상의 로봇으로 도시되어 있으나, 로봇(12)은 이에 한정하는 것이 아니라 다양한 형상의 전시용 로봇이나 산업용, 의료용 로봇이 적용될 수 있다.

본 발명에 따른 로봇 제어 시스템(100)은 학습 데이터를 이용하여 조종자(11)의 동작에 대응되는 상기 로봇(12)의 제어신호를 제공하기 위한 신경망 모델을 구축하는 신경망 모델 모듈(110)과, 상기 조종자(11)의 동작을 감지하는 감지센서부(120)와, 상기 감지센서부(120)에서 제공되는 상기 조종자(11)의 동작에 대한 정보를 상기 신경망 모델에 적용하여 상기 조종자(11)가 기대하는 움직임을 상기 로봇(12)이 수행하기 위한 상기 로봇(12)의 제어신호를 산출하는 신호 산출부(130)와, 상기 신호 산출부(130)로부터 산출된 상기 제어신호를 상기 로봇(12)에 전송하여 상기 로봇(12)을 제어하는 제어모듈(140)을 구비한다.

신경망 모델 모듈(110)은 로봇(12)의 제어하기 위한 신경망 모델을 구축하는데, 상기 신경망 모델은 합성곱 신경망(CNN:Convolutional Neural Network) 모델이 적용된다. 상기 CNN 모델은 복수의 연산 레이어(Convolutional Layer, pooling Layer)를 번갈아 수행하여 최종적으로 입력 데이터의 특징을 추출하는데 사용되는 계층 모델이다.

상기 신경망 모델 모듈(110)은 조정자 또는 제작자로부터 기입력된 학습데이터를 지도학습(Supervised Learning)기법에 따라 처리하여 신경망 모델을 구축한다. 이때, 학습 데이터에는 조종자(11)의 동작에 대해 상기 조종자(11)가 기대하는 움직임을 상기 로봇(12)이 수행하기 위해 요구되는 상기 로봇(12)의 제어신호가 포함되어 있다. 즉, 학습 데이터는 조종자(11)의 동작들에 대한 데이터 및 해당 조종자(11)의 동작들에 대해 조종자(11)가 기대하는 움직임을 로봇(12)이 나타내기 위해 필요한 로봇(12)의 제어신호 데이터가 포함된다. 이때, 학습 데이터에 포함된 조종자(11)의 동작에 대한 데이터는 조종자(11)의 깊이 영상으로부터 산출된 데이터로서, 조종자(11)의 동작 변화에 따른 상기 조종자(11)의 관절의 위치, 각 관절의 각도 변화 또는 각속도 변화에 대한 데이터가 포함된다.

또한, 신경망 모델 모듈(110)은 상기 학습 데이터를 토대로 상기 조종자(11)의 신체 부위 별로 각각 독립적으로 상기 신경망 모델을 구축하는 것이 바람직하다. 일예로, 신경망 모델 모듈(110)은 학습 데이터 중 조종자(11)의 왼팔 동작에 대한 데이터를 분류하고, 분류된 학습 데이터를 토대로 조종자(11)의 왼팔에 대한 신경망 모델을 구축한다. 또한, 신경망 모델 모듈(110)은 학습 데이터 중 조종자(11)의 오른팔 동작에 대한 데이터를 분류하고, 분류된 학습 데이터를 토대로 조종자(11)의 오른팔에 대한 신경망 모델을 구축한다. 이처럼, 신경망 모델 모듈(110)은 학습 데이터를 조종자(11)의 각 신체 부위 별로 데이터를 분류하고, 분류된 학습 데이터를 토대로 조종자(11)의 각 신체 부위 별로 신경망 모델들을 구축하는 것이 바람직하다.

감지센서부(120)는 조종자(11)의 동작을 감지하기 위한 것으로서, 뎁스 카메라(121) 및 뎁스 카메라(121)로부터 제공받은 영상을 토대로 조종자(11)의 움직임에 대한 정보를 제공하는 정보획득 모듈(122)을 구비한다.

뎁스 카메라(121)는 조종자(11)에 대한 깊이 영상을 촬영할 수 있도록 조종자(11)의 정면에 대해 전방으로 소정거리 이격된 위치에 설치되어 있다. 상기 뎁스 카메라(121)는 컬러영상 및 깊이 영상을 획득할 수 있는 카메라 및 깊이 센서가 포함된 키넥트(Kinect)와 같은 기기인 것이 바람직하다.

정보획득 모듈(122)은 상기 뎁스 카메라(121)로부터 제공받은 깊이영상을 토대로 상기 조종자(11)의 동작에 대한 정보를 산출하고, 산출된 상기 조종자(11)의 동작에 대한 정보를 상기 신호 산출부(130)에 제공한다. 이때, 정보획득 모듈(122)은 조종자(11)의 동작에 대한 정보로서, 상기 깊이영상을 토대로 상기 조종자(11)의 각 관절의 위치 변화, 상기 조종자(11)의 각 관절의 각도 변화 또는 각속도를 산출한다.

한편, 정보획득 모듈(122)은 산출된 상기 조종자(11)의 동작에 대한 정보들 중 상기 조종자(11)의 움직임이 기설정된 기준 움직임 값 이상인 정보만 상기 신호 산출부(130)로 전송하는 것이 바람직하다. 이때, 기준 움직임 값은 조종자(11)에 의해 기입력되는 것으로서, 기설정된 기준시간동안 관절 위치의 최소 변화값, 관절 각도의 최소 변화값 또는 최소 각속도 값 등이 포함된다. 상기 정보획득 모듈(122)은 기준 움직임 값 미만의 움직임을 무시하고, 기준 움직임 값 이상의 움직임에 대한 조종자(11)의 동작 정보만을 신호 산출부(130)에 전송한다. 즉, 정보획득 모듈(122)은 조종자(11)의 불필요한 미세한 동작을 무시하므로 로봇(12)의 오작동을 방지할 수 있고, 신호 산출부(130)가 불필요하게 연산하는 것을 방지하여 처리속도를 향상시킬 수 있다.

또한, 정보획득 모듈(122)은 뎁스 카메라(121)의 깊이영상에 포함된 사람이 다수일 경우, 깊이영상에 포함된 사람들 중 상기 뎁스 카메라(121)에 가장 인접한 사람을 조종자(11)로 판별한다. 즉, 조종자(11) 주위에 보행자가 지나갈 경우, 뎁스 카메라(121)에 다수의 사람이 촬영되는데, 이때, 정보획득 모듈(122)은 뎁스 카메라(121)에 인접한 사람을 조종자(11)로 판별하여, 판별된 조종자(11)의 동작에 대한 정보를 산출하여 신호 산출부(130)에 전송한다.

일반적으로 조종자(11)가 로봇(12)의 조종을 하는 경우, 보행자는 조종자(11)의 후방으로 지나게 되는데, 정보획득 모듈(122)은 뎁스 카메라(121)에 인접한 사람을 조종자(11)로 판별하므로 보다 정확하게 조종자(11)를 판별하여 신호 산출부(130)로 정보를 전송할 수 있다.

그리고, 뎁스 카메라(121)를 통해 조종자(11)와 함께 방해물이 촬영된 경우, 정보획득 모듈(122)은 깊이영상에 포함된 오브젝트 중 조종자(11)를 제외한 오브젝트를 방해물을 판별한다. 또한, 정보획득 모듈(122)은 조종자(11)가 방해물에 충돌시 해당 충돌에 의한 조종자(11)의 충돌동작에 따라 로봇(12)이 제어되는 것을 방지하기 위해 조종자(11)의 충돌동작에 대한 정보를 신호 산출부(130)로 미전송한다.

일반적으로 사람은 방해물에 충돌시 고통때문에 무의식적으로 일정시간동안 습관적인 특정행동 패턴을 보이는데, 상기 정보획득 모듈(122)은 방해물에 상기 조종자(11)가 접촉된 시점으로부터 기설정된 단위시간이 경과한 시점까지의 상기 조종자(11)의 동작을 상기 조종자(11)의 충돌동작으로 판별하여 해당 조종자(11)의 충돌동작에 대한 정보를 신호 산출부(130)로 미전송한다. 따라서, 조종자(11)가 방해물에 충돌시 습관적으로 나타내는 특정행동 패턴을 따라 로봇(12)이 불필요하게 조종되는 것을 차단할 수 있다.

신호 산출부(130)는 상기 감지센서부(120)에서 제공되는 상기 조종자(11)의 동작에 대한 정보를 상기 신경망 모델에 적용하여 상기 조종자(11)가 기대하는 움직임을 상기 로봇(12)이 수행하기 위한 상기 로봇(12)의 제어신호를 산출한다. 이때, 신호 산출부(130)는 감지센서부(120)로부터 제공받은 조종자(11)의 동작에 대한 정보를 조종자(11)의 신체 부위별로 분류하고, 분류된 정보를 각각 해당 신체부위에 대응되는 신경망 모델들에 적용하여 로봇(12) 제어신호를 산출한다. 상술된 바와 같이 신경망 모델 모듈(110)은 조종자(11)의 신체 부위별로 각각 신경망 모델들을 구축하고, 신호 산출부(130)는 조종자(11)의 동작에 대한 정보를 신체 부위별로 분류하여 각 신체 부위에 대응되는 신경망 모델에 적용하여 제어신호를 산출하므로 신경망 모델을 구축하는데 소요되는 시간을 절약할 수 있으므로 제어신호를 보다 신속하고 정확하게 산출할 수 있는 장점이 있다.

제어모듈(140)은 신호 산출부(130)로부터 산출된 제어신호를 로봇(12)에 전송하여 로봇(12)을 제어한다. 제어모듈(140)은 유선 또는 무선 통신망을 이용하여 로봇(12)과 통신하여 상기 제어신호를 로봇(12)으로 전송한다.

한편, 제어모듈(140)은 상기 로봇(12)의 초기 기동시, 상기 로봇(12)이 상기 조종자(11)의 자세와 유사한 자세로 세팅될 수 있도록 상기 감지센서부(120)를 통해 제공되는 상기 조종자(11)의 초기 자세에 대한 정보를 토대로 상기 로봇(12)의 중심에 대한 상기 로봇(12)의 각 부분의 단부 위치와, 상기 조종자(11)의 중심에 대해 상기 로봇(12)의 각 부분에 대응되는 상기 조종자(11)의 신체 부위의 단부 위치가 상호 대응되도록 상기 로봇(12)을 제어한다. 일예로, 조종 초기에, 조종자(11)가 오른손이 몸 중심으로부터 오른쪽으로 이격된 위치의 자세일 경우, 제어모듈(140)은 조종자(11)의 오른 팔에 대응되는 로봇(12)의 부분의 단부가 로봇(12)의 중심으로부터 오른쪽으로 이격되게 위치하도록 로봇(12)을 제어한다. 상술된 바와 같이 제어모듈(140)은 로봇(12)의 초기 기동시 로봇(12)이 상기 조종자(11)의 자세와 유사한 자세로 세팅시키므로 로봇(12)이 조종자(11)와 보다 유사한 동작으로 움직일 수 있다.

한편, 도 3에는 본 발명의 로봇 제어 시스템(100)을 이용한 로봇 제어 방법에 대한 순서도가 도시되어 있다.

도면을 참조하면, 상기 로봇 제어 방법은 수집단계(S110), 모델 구축 단계(S120), 동작 입력 단계(S130), 신호 산출단계(S140) 및 로봇 제어단계(S150)를 포함한다.

수집단계(S110)는 조종자(11)가 입력하는 동작들에 대해 조종자(11)가 기대하는 움직임을 로봇(12)이 수행하기 위해 요구되는 로봇(12)의 제어신호가 포함된 학습데이터를 수집하는 단계이다. 상기 학습데이터는 로봇 제어 시스템(100)의 제작자 또는 조종자(11)가 기입력하는 데이터로서, 조종자(11)의 동작들에 대한 데이터 및 해당 조종자(11)의 동작들에 대해 조종자(11)가 기대하는 움직임을 로봇(12)이 나타내기 위해 필요한 로봇(12)의 제어신호 데이터가 포함된다. 이때, 학습 데이터에 포함된 조종자(11)의 동작에 대한 데이터는 조종자(11)의 깊이 영상으로부터 산출된 데이터로서, 조종자(11)의 동작 변화에 따른 상기 조종자(11)의 관절의 위치, 각 관절의 각도 변화 또는 각속도 변화에 대한 데이터가 포함된다.

모델 구축 단계(S120)는 수집단계(S110)를 통해 수집된 학습 데이터를 토대로 조종자(11)의 동작에 대응되는 로봇(12)의 제어신호를 제공하기 위한 신경망 모델을 구축하는 단계이다. 신경망 모델 모듈(110)은 입력된 학습데이터를 토대로 신경망 모델을 구축한다. 이때, 신경망 모델 모듈(110)은 상기 학습 데이터를 토대로 상기 조종자(11)의 신체 부위 별로 각각 독립적으로 상기 신경망 모델을 구축할 수 있다.

동작 입력 단계(S130)는 감지센서부(120)를 통해 조종자(11)의 동작에 대한 정보를 획득하는 단계로서, 촬영단계(S131) 및 움직임 산출 단계(S132)를 포함한다.

촬영단계(S131)는 감지센서부(120)의 뎁스 카메라(121)를 이용하여 조종자(11)에 대한 깊이영상을 촬영하는 단계이다. 뎁스 카메라(121)를 통해 촬영된 깊이영상은 정보획득 모듈(122)로 전송된다.

움직임 산출 단계(S132)는 조종자(11)에 대한 깊이영상을 토대로 조종자(11)의 동작에 대한 정보를 산출하는 단계이다. 정보획득 모듈(122)은 뎁스 카메라(121)로부터 제공받은 깊이영상을 이용하여 조종자(11)의 동작에 대한 정보를 산출하고, 산출된 정보를 신호 산출부(130)로 전송한다.

한편, 움직임 산출단계에서, 정보획득 모듈(122)은 산출된 상기 조종자(11)의 동작에 대한 정보들 중 상기 조종자(11)의 움직임이 기설정된 기준 움직임 값 이상인 정보만 상기 신호 산출부(130)로 전송한다. 상술된 바와 같이 정보획득 모듈(122)은 기준 움직임 값 미만의 움직임을 무시하고, 기준 움직임 값 이상의 움직임에 대한 조종자(11)의 동작 정보만을 신호 산출부(130)에 전송한다.

또한, 움직임 산출단계에서, 정보획득 모듈(122)은 깊이영상에 포함된 사람이 다수일 경우, 상기 깊이영상에 포함된 사람들 중 상기 뎁스 카메라(121)에 가장 인접된 사람을 상기 조종자(11)로 판별한다. 정보획득 모듈(122)은 판별된 조종자(11)의 동작에 대한 정보만 신호 산출부(130)로 전달한다.

그리고, 움직임 산출단계에서, 정보획득 모듈(122)은 뎁스 카메라(121)에서 제공되는 깊이영상에 포함된 방해물을 판별하고, 상기 조종자(11)가 상기 방해물에 충돌시 해당 충돌에 의한 상기 조종자(11)의 충돌동작에 따라 상기 로봇(12)이 제어되는 것을 방지할 수 있도록 상기 조종자(11)의 충돌동작에 대한 정보를 상기 신호 산출부(130)로 미전송한다. 이때, 상기 정보획득 모듈(122)은 상기 방해물에 상기 조종자(11)가 접촉된 시점으로부터 기설정된 단위시간이 경과한 시점까지의 상기 조종자(11)의 동작을 상기 조종자(11)의 충돌동작으로 판별한다.

상기 정보획득 모듈(122)은 조종자(11)가 방해물에 충돌시 습관적으로 나타내는 특정행동 패턴을 따라 로봇(12)이 불필요하게 조종되는 것을 차단할 수 있다.

신호 산출단계(S140)는 동작 입력 단계(S130)에서 입력된 조종자(11)의 동작에 대한 정보를 신경망 모델에 적용하여 조종자(11)가 기대하는 움직임을 로봇(12)이 수행하기 위한 로봇(12)의 제어신호를 산출하는 단계이다. 신호 산출부(130)는 정보획득 모듈(122)로부터 제공되는 조종자(11)의 동작에 대한 정보를 신경망 모델에 적용하여 로봇(12)의 제어신호를 산출하여 제어모듈(140)에 전달한다. 이때, 신호 산출부(130)는 감지센서부(120)로부터 제공받은 조종자(11)의 동작에 대한 정보를 조종자(11)의 신체 부위별로 분류하고, 분류된 정보를 각각 해당 신체부위에 대응되는 신경망 모델들에 적용하여 로봇(12) 제어신호를 산출한다.

로봇 제어단계(S150)는 신호 산출단계(S140)에서 산출된 제어신호를 로봇(12)에 전송하여 로봇(12)을 제어하는 단계이다. 제어모듈(140)은 신호 산출부(130)로부터 제공되는 제어신호를 유선 또는 무선통신망을 이용하여 로봇(12)에 전송하고, 로봇(12)은 수신된 제어신호에 따라 작동된다.

상술된 바와 같이 본 발명에 따른 로봇 제어 시스템(100) 및 이를 이용한 로봇 제어 방법은 조종자(11)의 동작을 감지하여 로봇(12)을 제어하되, 기계학습을 통해 구축된 신경망 모델을 이용하여 여유 자유도를 갖는 로봇(12)을 제어하므로 미숙련자라도 보다 용이하게 로봇(12)을 제어할 수 있다는 장점이 있다.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

100: 로봇 제어 시스템
110: 신경망 모델 모듈
120: 감지센서부
121: 뎁스 카메라
122: 정보획득 모듈
130: 신호 산출부
140: 제어모듈　
S110: 수집단계
S120: 모델 구축 단계
S130: 동작 입력 단계
S131: 촬영단계
S132: 움직임 산출 단계
S140: 신호 산출단계
S150: 로봇 제어단계

Claims (17)

1. 여유 자유도를 갖는 로봇을 제어하는 로봇 제어 시스템에 관한 것으로서,
   조종자의 동작에 대해 상기 조종자가 기대하는 움직임을 상기 로봇이 수행하기 위해 요구되는 상기 로봇의 제어신호가 포함된 학습 데이터를 이용하여 상기 조종자의 동작에 대응되는 상기 로봇의 제어신호를 제공하기 위한 신경망 모델을 구축하는 신경망 모델 모듈;
   상기 조종자의 동작을 감지하는 감지센서부;
   상기 감지센서부에서 제공되는 상기 조종자의 동작에 대한 정보를 상기 신경망 모델에 적용하여 상기 조종자가 기대하는 움직임을 상기 로봇이 수행하기 위한 상기 로봇의 제어신호를 산출하는 신호 산출부; 및
   상기 신호 산출부로부터 산출된 상기 제어신호를 상기 로봇에 전송하여 상기 로봇을 제어하는 제어모듈;을 구비하고,
   상기 감지센서부는
   상기 조종자에 대한 깊이영상을 촬영하는 뎁스 카메라; 및
   상기 뎁스 카메라로부터 제공받은 깊이영상을 토대로 상기 조종자의 동작에 대한 정보를 산출하고, 산출된 상기 조종자의 동작에 대한 정보를 상기 신호 산출부에 제공하는 정보획득 모듈;을 구비하고,
   상기 정보획득 모듈은 상기 뎁스 카메라에서 제공되는 깊이영상에 포함된 방해물을 판별하고, 상기 조종자가 상기 방해물에 충돌시 해당 충돌에 의한 상기 조종자의 충돌동작에 따라 상기 로봇이 제어되는 것을 방지할 수 있도록 상기 조종자의 충돌동작에 대한 정보를 상기 신호 산출부로 미전송하는,
   로봇 제어 시스템.
   
2. 제1항에 있어서,
   상기 학습 데이터는 상기 조종자의 동작 변화에 따른 상기 조종자의 관절의 위치, 각 관절의 각도 변화 또는 각속도 변화에 대해 상기 조종자가 기대하는 움직임을 수행하기 위한 상기 로봇의 제어신호가 포함되는,
   로봇 제어 시스템.
   
3. 제1항 또는 제2항에 있어서,
   상기 신경망 모델 모듈은 상기 학습 데이터를 토대로 상기 조종자의 신체 부위 별로 각각 상기 신경망 모델을 구축하는,
   로봇 제어 시스템.
   
4. 삭제
5. 제1항에 있어서,
   상기 정보획득 모듈은 상기 조종자의 동작에 대한 정보로서, 상기 깊이영상을 토대로 상기 조종자의 각 관절의 위치 변화, 상기 조종자의 각 관절의 각도 변화 또는 각속도를 산출하는,
   로봇 제어 시스템.
   
6. 제1항에 있어서,
   상기 정보획득 모듈은 산출된 상기 조종자의 동작에 대한 정보들 중 상기 조종자의 움직임이 기설정된 기준 움직임 값 이상인 정보만 상기 신호 산출부로 전송하는,
   로봇 제어 시스템.
   
7. 제1항에 있어서,
   상기 정보획득 모듈은 상기 깊이영상에 포함된 사람이 다수일 경우, 상기 깊이영상에 포함된 사람들 중 상기 뎁스 카메라에 가장 인접된 사람을 상기 조종자로 판별하는,
   로봇 제어 시스템.
   
8. 제1항에 있어서,
   상기 제어모듈은 상기 로봇의 초기 기동시, 상기 로봇이 상기 조종자의 자세와 유사한 자세로 세팅될 수 있도록 상기 감지센서부를 통해 제공되는 상기 조종자의 초기 자세에 대한 정보를 토대로 상기 로봇의 중심에 대한 상기 로봇의 각 부분의 단부 위치와, 상기 조종자의 중심에 대해 상기 로봇의 각 부분에 대응되는 상기 조종자의 신체 부위의 단부 위치가 상호 대응되도록 상기 로봇을 제어하는,
   로봇 제어 시스템.
   
9. 삭제
10. 제1항에 있어서,
    상기 정보획득 모듈은 상기 방해물에 상기 조종자가 접촉된 시점으로부터 기설정된 단위시간이 경과한 시점까지의 상기 조종자의 동작을 상기 조종자의 충돌동작으로 판별하는,
    로봇 제어 시스템.
    
    
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제

Images