KR101865691B1

KR101865691B1 - 인간 로봇 상호작용 기반의 작업 수행 로봇 및 방법

Info

Publication number: KR101865691B1
Application number: KR1020160041858A
Authority: KR
Inventors: 김종환; 이승제; 박진만
Original assignee: 한국과학기술원
Priority date: 2016-04-05
Filing date: 2016-04-05
Publication date: 2018-06-11
Also published as: KR20170114614A

Abstract

인간 로봇 상호작용 기반의 작업 수행 로봇은 기 학습된 제1 작업을 수행하는 과정에서 적어도 하나의 검출 수단을 통해 주변 상황을 검출하는 주변 상황 검출부, 상기 적어도 하나의 검출 수단을 통해 인간의 제2 작업 수행이 검출되면 상기 제2 작업의 수행 패턴을 기 학습된 작업 수행 패턴과 비교하는 계층적 시간 메모리부 및 사용자와의 질의응답을 통해 상기 제1 작업의 계속 수행 여부 및 상기 제2 작업의 우선 수행 여부를 결정하고, 상기 제2 작업의 우선 수행이 결정되면 상기 비교 결과를 기초로 상기 제2 작업 수행 패턴을 학습할지 여부를 결정하는 작업 수행 결정부를 포함한다. 따라서, 인간 로봇 상호작용 기반의 작업 수행 로봇은 기 학습된 작업 수행 중 적어도 하나의 검출 수단을 통해 새로운 작업을 검출하여 사용자와의 질의응답을 통해 검출된 작업의 우선 순위를 결정할 수 있다.

Description

인간 로봇 상호작용 기반의 작업 수행 로봇 및 방법{TASK PERFORMING ROBOT AND METHOD BASED ON HUMAN ROBOT INTERACTION}

본 발명은 인간 로봇 상호작용 기반의 작업 수행 기술에 관한 것으로, 보다 상세하게는 인간과의 상호작용을 통해 사용자가 원하는 복수의 시나리오들을 수행할 수 있고, 새로운 시나리오를 학습할 수 있는 인간 로봇 상호작용 기반의 작업 수행 로봇에 관한 것이다.

오늘날 인간을 대신하여 작업을 수행할 수 있는 로봇의 연구 개발이 활발하게 이루어지고 있다. 로봇은 작업을 수행하기 위해서 해당 작업의 처리 과정에 대한 데이터를 가지고 있어야 하고, 데이터에 존재하지 않는 작업은 수행할 수 없는 문제점이 있다. 또한, 종래 기술에 따른 로봇은 처리가 필요한 복수의 작업들이 존재하는 경우 복수의 작업들 각각에 대한 작업 수행 가능성을 스스로 판단할 수 없으며, 예측하지 못한 돌발 상황이 발생하는 경우 이에 대한 효과적인 대처를 할 수 없는 문제점을 가지고 있다.

한국등록특허 제10-0786351호는 AR을 이용한 작업로봇 티칭 시스템 및 방법에 관한 것으로, 작업로봇 티칭을 위한 AR시스템으로서 본 발명에 따르면, 실제 작업 환경에 관한 영상정보인 실영상정보를 생성하는 입력영상부; 실영상정보와 실제 작업환경에 설치되는 좌표생성의 기준이 되는 마커로부터 가상 작업대상이 상기 작업환경에 위치하는 공간좌표 데이터를 생성하는 연산부; 공간좌표 데이터를 기초로 상기 실영상정보에 가상 작업대상에 관한 영상이 삽입된 AR영상을 생성하는 AR영상생성부; 생성된 AR영상을 소정의 화면표시수단으로 출력하는 출력부; 및 상기 출력된 AR영상을 기초로 작업대상에 해당하는 작업로봇의 작업 위치에 대한 교정정보를 산출하는 교정부를 포함하여 작업로봇을 티칭함에 있어서 작업공정의 중단없이도 효과적으로 작업로봇을 티칭할 수 있는 작업로봇 티칭 기술에 대하여 개시한다.

한국등록특허 제10-0786351호 (2007.12.14 등록)

본 발명의 일 실시예는 기 학습된 작업 수행 중 적어도 하나의 검출 수단을 통해 새로운 작업을 검출하여 사용자와의 질의응답을 통해 검출된 작업의 우선 순위를 결정할 수 있는 인간 로봇 상호작용 기반의 작업 수행 로봇을 제공하고자 한다.

본 발명의 일 실시예는 기 학습된 작업 수행 중 새로운 작업이 검출되면 수행중인 작업의 수행 패턴과 검출된 작업의 수행 패턴을 비교하여 검출된 작업 수행 패턴이 이미 학습되었는지 여부를 판단하는 인간 로봇 상호작용 기반의 작업 수행 로봇을 제공하고자 한다.

본 발명의 일 실시예는 기 학습된 작업 수행 중 새로운 작업이 검출되고 검출된 작업의 수행 패턴이 기 학습된 작업 수행 패턴에 해당하면 검출된 작업의 시뮬레이션을 통해 수행 가능 여부를 판단하는 인간 로봇 상호작용 기반의 작업 수행 로봇을 제공하고자 한다.

본 발명의 일 실시예는 기 학습된 작업 수행 중 새로운 작업이 검출되고 검출된 작업의 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않으면 검출된 작업 수행 패턴의 학습을 결정하는 인간 로봇 상호작용 기반의 작업 수행 로봇을 제공하고자 한다.

실시예들 중에서, 인간 로봇 상호작용 기반의 작업 수행 로봇은 기 학습된 제1 작업을 수행하는 과정에서 적어도 하나의 검출 수단을 통해 주변 상황을 검출하는 주변 상황 검출부, 상기 적어도 하나의 검출 수단을 통해 인간의 제2 작업 수행이 검출되면 상기 제2 작업의 수행 패턴을 기 학습된 작업 수행 패턴과 비교하는 계층적 시간 메모리부 및 사용자와의 질의응답을 통해 상기 제1 작업의 계속 수행 여부 및 상기 제2 작업의 우선 수행 여부를 결정하고, 상기 제2 작업의 우선 수행이 결정되면 상기 비교 결과를 기초로 상기 제2 작업 수행 패턴을 학습할지 여부를 결정하는 작업 수행 결정부를 포함한다.

상기 인간 로봇 상호작용 기반의 작업 수행 로봇은 상기 제2 작업 수행 패턴의 학습이 결정되면 상기 제2 작업의 수행 패턴을 관찰하여 상기 기 학습된 작업 수행 패턴에 추가하는 행동 제어부를 더 포함할 수 있다.

상기 작업 수행 결정부는 상기 인간의 제2 작업 수행이 검출되면 상기 사용자에게 상기 제1 작업을 계속 수행할지 또는 상기 제2 작업을 우선 수행할지 질의할 수 있다. 일 실시예에서, 상기 작업 수행 결정부는 상기 사용자로부터 상기 제1 작업에 대한 계속 수행 응답을 수신하면 상기 제1 작업의 계속 수행을 결정할 수 있다.

상기 작업 수행 결정부는 상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업에 대한 시뮬레이션을 통해 상기 제2 작업 수행 가능 여부를 판단할 수 있다. 상기 작업 수행 결정부는 상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업 수행 패턴의 학습을 결정할 수 있다.

일 실시예에서, 상기 작업 수행 결정부는 상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업 수행 패턴을 상기 제1 작업 수행 패턴과 병합하여 학습할 수 있다. 다른 일 실시예에서, 상기 작업 수행 결정부는 상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업 수행 패턴을 상기 제1 작업 수행 패턴과 독립적으로 학습할 수 있다.

상기 계층적 시간 메모리부는 상기 비교를 통해 상기 제2 작업의 수행 패턴이 기 학습된 작업 수행 패턴에 포함되는지 여부를 판단할 수 있다. 상기 작업 수행 결정부는 복수의 수행 가능한 작업들이 존재하는 경우에는 우선 수행할 작업을 결정할 수 있다.

상기 주변 상황 검출부는 깊이 정보를 기초로 평면을 검출하고, 상기 평면 상에 존재하는 물체를 인식하는 RGB-Depth 카메라 및 상기 인간으로부터 방출되는 열을 검출하여 상기 인간의 움직임을 인식하는 열화상 카메라를 포함할 수 있다.

실시예들 중에서, 인간 로봇 상호작용 기반의 작업 수행 방법은 (a) 기 학습된 제1 작업을 수행하는 과정에서 적어도 하나의 검출 수단을 통해 주변 상황을 검출하는 단계, (b) 상기 적어도 하나의 검출 수단을 통해 인간의 제2 작업 수행이 검출되면 상기 제2 작업의 수행 패턴을 기 학습된 작업 수행 패턴과 비교하는 단계 및 (c) 사용자와의 질의응답을 통해 상기 제1 작업의 계속 수행 여부 및 상기 제2 작업의 우선 수행 여부를 결정하고, 상기 제2 작업의 우선 수행이 결정되면 상기 비교 결과를 기초로 상기 제2 작업 수행 패턴을 학습할지 여부를 결정하는 단계를 포함한다.

상기 인간 로봇 상호작용 기반의 작업 수행 방법은 (d) 상기 제2 작업 수행 패턴의 학습이 결정되면 상기 제2 작업의 수행 패턴을 관찰하여 상기 기 학습된 작업 수행 패턴에 추가하는 단계를 더 포함할 수 있다. 상기 (c) 단계는 상기 인간의 제2 작업 수행이 검출되면 상기 사용자에게 상기 제1 작업을 계속 수행할지 또는 상기 제2 작업을 우선 수행할지 질의하는 단계를 포함할 수 있다.

상기 (c) 단계는 상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업에 대한 시뮬레이션을 통해 상기 제2 작업 수행 가능 여부를 판단하는 단계를 포함할 수 있다. 상기 (c) 단계는 상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업 수행 패턴의 학습을 결정할 수 있다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

본 발명의 일 실시예에 따른 인간 로봇 상호작용 기반의 작업 수행 로봇은 기 학습된 작업 수행 중 적어도 하나의 검출 수단을 통해 새로운 작업을 검출하여 사용자와의 질의응답을 통해 검출된 작업의 우선 순위를 결정할 수 있다.

본 발명의 일 실시예에 따른 인간 로봇 상호작용 기반의 작업 수행 로봇은 기 학습된 작업 수행 중 새로운 작업이 검출되면 수행중인 작업의 수행 패턴과 검출된 작업의 수행 패턴을 비교하여 검출된 작업 수행 패턴이 이미 학습되었는지 여부를 판단할 수 있다.

본 발명의 일 실시예에 따른 인간 로봇 상호작용 기반의 작업 수행 로봇은 기 학습된 작업 수행 중 새로운 작업이 검출되고 검출된 작업의 수행 패턴이 기 학습된 작업 수행 패턴에 해당하면 검출된 작업의 시뮬레이션을 통해 수행 가능 여부를 판단할 수 있다.

본 발명의 일 실시예에 따른 인간 로봇 상호작용 기반의 작업 수행 로봇은 기 학습된 작업 수행 중 새로운 작업이 검출되고 검출된 작업의 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않으면 검출된 작업 수행 패턴의 학습을 결정할 수 있다.

도 1은 본 발명의 일 실시예에 따른 인간 로봇 상호작용 기반의 작업 수행 로봇을 나타내는 도면이다.
도 2는 도 1에 있는 주변 상황 검출부의 주변 상황 검출 과정을 나타내는 블록도이다.
도 3은 도 1에 있는 작업 수행 로봇에 의하여 수행되는 작업 수행 과정을 설명하는 순서도이다.
도 4는 도 1에 있는 작업 수행 로봇의 다른 일 실시예에 의하여 수행되는 작업 수행 과정을 설명하는 순서도이다.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

도 1은 본 발명의 일 실시예에 따른 인간 로봇 상호작용 기반의 작업 수행 로봇을 나타내는 도면이다.

도 1을 참조하면, 인간 로봇 상호작용 기반의 작업 수행 로봇(100)는 주변 상황 검출부(110), 계층적 시간 메모리부(120), 작업 수행 결정부(130) 및 행동 제어부(140)를 포함한다.

인간 로봇 상호작용 기반의 작업 수행 로봇(이하, 작업 수행 로봇)(100)은 작업을 수행하기 전에 미리 적어도 하나의 작업 수행 패턴을 학습할 수 있고, 사용자의 결정에 따라 학습된 작업을 수행할 수 있다. 일 실시예에서, 작업 수행 로봇(100)은 사용자의 제어에 의하여 복수의 작업들(또는 복수의 시나리오들)을 수행할 수 있고, 작업 수행 중 남은 작업들에 대한 작업 순서를 변경할 수 있다.

주변 상황 검출부(110)는 기 학습된 제1 작업을 수행하는 과정에서 적어도 하나의 검출 수단(예를 들어, 카메라)을 통해 주변 상황을 검출할 수 있다. 여기에서, 제1 작업은 작업 수행 로봇(100)이 이미 학습한 작업 중 사용자에 의하여 결정된 작업에 해당할 수 있고, 주변 상황은 작업 수행 로봇(100) 주위에 존재하는 물체 또는 지형과 예측하지 못한 이상 징후(예를 들어, 인간에 의하여 수행되는 새로운 작업)를 포함할 수 있다. 즉, 주변 상황 검출부(110)는 기 학습된 제1 작업을 수행하는 과정에서 이상 징후를 검출(Detecting anomaly)할 수 있고, 검출된 이상 징후를 인간에 의하여 수행되는 제2 작업으로 식별할 수 있다. 여기에서, 제2 작업은 제1 작업과 독립된 새로운 작업에 해당할 수 있다.

주변 상황 검출부(110)는 RGB-Depth 카메라(111) 및 열화상 카메라(112)를 포함할 수 있다. RGB-Depth 카메라(111)는 깊이 정보를 기초로 평면을 검출하고, 평면 상에 존재하는 물체를 인식할 수 있다. 열화상 카메라(112)는 인간으로부터 방출되는 열을 검출하여 인간의 움직임을 인식할 수 있다. 주변 상황 검출부(110)가 RGB-Depth 카메라(111) 및 열화상 카메라(112)를 통하여 주변 상황을 검출하는 과정은 도 2에서 상세히 설명한다.

계층적 시간 메모리부(120)는 작업 수행 로봇(100)이 작업을 수행하기 전에 미리 적어도 하나의 작업 수행 패턴을 학습하여 저장할 수 있다. 계층적 시간 메모리부(120)는 적어도 하나의 검출 수단을 통해 인간의 제2 작업 수행이 검출되면 제2 작업의 수행 패턴을 기 학습된 작업 수행 패턴과 비교할 수 있다. 계층적 시간 메모리부(120)는 제2 작업 수행 패턴과 기 학습된 작업 수행 패턴의 비교를 통해 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 포함되는지 여부를 판단할 수 있다. 또한, 계층적 시간 메모리부(120)는 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴들 중 어느 하나와 유사한지 판단할 수 있다. 계층적 시간 메모리부(120)는 미리 적어도 하나의 작업 수행 패턴을 저장할 수 있고, 작업 수행 결정부(130)에 의하여 학습이 결정된 작업을 추가로 저장할 수 있다.

일 실시예에서, 계층적 시간 메모리부(120)는 Hierarchical Temporal Memory(HTM) 알고리즘을 통해 구현될 수 있다. 예를 들어, 계층적 시간 메모리부(120)는 인간의 신피질의 작동방식을 모델링한 알고리즘을 통해 구현될 수 있고, 시공간적 작업 수행 패턴을 학습할 수 있으며, 사용자에 의하여 결정된 작업 수행 순서를 학습할 수 있다.

작업 수행 결정부(130)는 사용자와의 질의응답을 통해 제1 작업의 계속 수행 여부 및 제2 작업의 우선 수행 여부를 결정할 수 있다. 보다 구체적으로, 작업 수행 결정부(130)는 제1 작업의 수행 중 인간의 제2 작업 수행이 검출되면 사용자에게 제1 작업을 계속 수행할지 또는 제2 작업을 우선 수행할지 질의할 수 있다. 예를 들어, 작업 수행 결정부(130)는 반드시 이에 한정되는 것은 아니나, 작업 수행 로봇(100)의 디스플레이 화면 또는 음성을 통해 사용자에게 우선 수행할 작업을 질의할 수 있고, 사용자는 디스플레이 화면을 터치하거나 또는 별도의 입력 기기를 통해 작업 수행 로봇(100)의 질의에 대하여 응답할 수 있다.

작업 수행 결정부(130)는 사용자로부터 제1 작업에 대한 계속 수행 응답을 수신하거나 또는 제2 작업에 대한 우선 수행 응답을 수신할 수 있다. 작업 수행 결정부(130)는 사용자로부터 제1 작업에 대한 계속 수행 응답을 수신하면 제1 작업의 계속 수행을 결정할 수 있고, 제2 작업에 대한 우선 수행 응답을 수신하면 제2 작업의 우선 수행을 결정할 수 있다.

작업 수행 결정부(130)는 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하고 사용자로부터 제2 작업에 대한 우선 수행 응답을 수신하면 제2 작업에 대한 시뮬레이션을 통해 제2 작업 수행 가능 여부를 판단할 수 있다. 보다 구체적으로, 작업 수행 결정부(130)는 기 학습된 작업 수행 패턴들을 기초로 제2 작업에 대한 시뮬레이션을 수행할 수 있다. 예를 들어, 작업 수행 결정부(130)는 아래 표와 같이 [장난감 정리하기]에 대한 작업 수행 가능 여부를 판단할 수 있다.

Scenario available	Essential primitive task	Primitive task	Procedures
1	1	1	Red square grasp
			Move box B
			Release
		1	Red cylinder grasp
			Move box B
			Release
		0	Red arch grasp
			Move box B
			Release
		0	Red triangle grasp
			Move box B
			Release
		1	Green square grasp
			Move box A
			Release
		0	Green cylinder grasp
			Move box A
			Release

여기에서, Essential primitive task는 시나리오를 수행하기 위해 필수적인 작업 그룹에 해당하고, Primitive task는 작업을 수행할 수 있는 최소 작업 그룹에 해당할 수 있다. 작업 수행 결정부(130)는 Essential primitive task들이 모두 활성화되면(또는 모두 1에 해당하면) 해당 작업이 수행 가능(또는 Scenario available)하다고 판단할 수 있다. 예를 들어, 작업 수행 로봇(100)은 [장난감 정리하기]에 대한 작업을 수행하기 위하여 주변 상황 검출부(110)를 통해 적색 상자, 적색 원통, 적색 아치, 적색 삼각형, 녹색 상자, 녹색 원통, 박스 A, 박스 B를 검출할 수 있다. 작업 수행 로봇(100)은 적색 상자, 적색 원통, 적색 아치, 적색 삼각형, 녹색 상자, 녹색 원통의 파지 및 박스 A, 박스 B의 이동을 각각 조합한 시퀀스들을 통해 [장난감 정리하기] 작업을 수행 가능한 것으로 판단할 수 있다.

다른 예를 들어, 작업 수행 결정부(130)는 아래 표와 같이 [시리얼 만들기]에 대한 작업 수행 가능 여부를 판단할 수 있다.

Scenario available	Essential primitive task	Primitive task	Procedures
0	1	1	Milkpot grasp
			Move bowl
			Pour bowl
			Release table
	0	0	Cereal grasp
			Move bowl
			Pour bowl
			Release table

여기에서, 작업 수행 로봇(100)은 [시리얼 만들기]에 대한 작업을 수행하기 위하여 주변 상황 검출부(110)를 통해 밀크포트, 시리얼, 그릇을 검출할 수 있다. 작업 수행 로봇(100)은 밀크포트, 시리얼의 파지 및 그릇의 이동을 각각 조합한 시퀀스들을 통해 [시리얼 만들기] 작업을 수행 불가능한 것으로 판단할 수 있다.

작업 수행 결정부(130)는 기 학습된 작업 수행 패턴에 해당하지 않고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업 수행 패턴의 학습을 결정(Cooperative task performing)할 수 있다. 일 실시예에서, 작업 수행 결정부(130)는 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 사용자로부터 제2 작업에 대한 우선 수행 응답을 수신하면 제2 작업 수행 패턴을 제1 작업 수행 패턴과 병합하여 학습할 수 있다. 다른 일 실시예에서, 작업 수행 결정부(130)는 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 사용자로부터 제2 작업에 대한 우선 수행 응답을 수신하면 제2 작업 수행 패턴을 제1 작업 수행 패턴과 독립적으로 학습할 수 있다.

작업 수행 결정부(130)는 제2 작업의 우선 수행이 결정되면 검출된 제2 작업의 수행 패턴과 기 학습된 작업 수행 패턴의 비교 결과를 기초로 제2 작업 수행 패턴을 학습할지 여부를 결정할 수 있다. 보다 구체적으로, 작업 수행 결정부(130)는 검출된 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 포함되지 않은 경우 제2 작업 수행 패턴의 학습을 결정할 수 있고, 검출된 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 포함된 경우 제2 작업의 우선 수행 결정 여부를 행동 제어부(140)에 제공할 수 있다.

일 실시예에서, 작업 수행 결정부(130)는 복수의 수행 가능한 작업들이 존재하는 경우에는 우선 수행할 작업을 결정할 수 있다. 작업 수행 결정부(130)는 기 설정된 기준에 따라 우선 수행할 작업을 결정할 수 있다. 예를 들어, 작업 수행 결정부(130)는 작업의 수행 시간, 수행 난이도 또는 복수의 작업들의 연관 관계를 기초로 우선 수행할 작업을 결정할 수 있다.

행동 제어부(140)는 작업 수행 결정부(130)의 결정에 따라 제1 작업을 계속 수행하거나, 제2 작업을 우선 수행하거나 또는 제2 작업의 수행 패턴을 학습할 수 있다. 보다 구체적으로, 행동 제어부(140)는 사용자의 제1 작업에 대한 계속 수행 응답 또는 제2 작업에 대한 우선 수행 응답을 수신하면 제1 또는 제2 작업 수행을 위한 매니퓰레이터 또는 로봇 팔의 행동(Arm behavior)을 제어할 수 있고, 제1 또는 제2 작업 수행을 위한 작업 수행 로봇(100)의 시선을 제어(Gaze control with robot behavior)할 수 있다. 예를 들어, 행동 제어부(140)는 제1 또는 제2 작업 수행을 위하여 RGB-Depth 카메라(111) 및 열화상 카메라(112)의 위치 및 방향을 조절할 수 있다. 행동 제어부(140)는 제1 또는 제2 작업 수행에 의하여 변경되는 작업 상황(Task status)을 저장 및 갱신할 수 있다.

일 실시예에서, 행동 제어부(140)는 제2 작업 수행 패턴의 학습이 결정되면 제2 작업의 수행 패턴을 관찰하여 기 학습된 작업 수행 패턴에 추가할 수 있다. 보다 구체적으로, 행동 제어부(140)는 제2 작업 수행 패턴의 학습이 결정되면 제2 작업 수행 패턴을 관찰하기 위하여 작업 수행 로봇의 행동(Ostensive behavior)을 제어할 수 있고, 제2 작업 수행 패턴을 관찰하기 위한 작업 수행 로봇(100)의 시선을 제어(Gaze control with human behavior)할 수 있다. 즉, 행동 제어부(140)는 RGB-Depth 카메라(111) 및 열화상 카메라(112)의 위치 및 방향을 제어하여 인간의 제2 작업 수행 패턴을 관찰하여 학습할 수 있고, 계층적 시간 메모리부(120)는 학습된 작업 수행 패턴을 저장할 수 있다.

도 2는 도 1에 있는 주변 상황 검출부의 주변 상황 검출 과정을 나타내는 블록도이다.

도 2를 참조하면, 주변 상황 검출부(110)는 기 학습된 제1 작업을 수행하는 과정에서 RGB-Depth 카메라(111) 및 열화상 카메라(112)를 통해 주변 상황을 검출할 수 있다. 보다 구체적으로, 주변 상황 검출부(110)는 RGB-Depth 카메라(111)의 깊이 정보(Depth image)를 기초로 평면을 검출(Detecting plane)하고 옥토맵(Octomap)을 생성할 수 있다. 주변 상황 검출부(110)는 뉴럴 네트워크(Neural network)를 통해 옥토맵 상의 물체를 검출할 수 있다.

주변 상황 검출부(110)는 열화상 카메라(112)로부터 열화상 이미지(Thermal image)를 수신하여 인간의 개입을 인식할 수 있다. 주변 상황 검출부(110)는 인간의 행동을 인식하여 인간의 작업 수행 패턴을 검출할 수 있다.

도 3은 도 1에 있는 작업 수행 로봇에 의하여 수행되는 작업 수행 과정을 설명하는 순서도이다.

도 3을 참조하면, 주변 상황 검출부(110)는 작업 수행 로봇(100)이 기 학습된 제1 작업을 수행하는 과정에서(단계 S310), 이상 징후(또는 제2 작업 수행)를 검출할 수 있다(단계 S320).

작업 수행 결정부(130)는 제1 작업의 수행 중 인간의 제2 작업 수행이 검출되면 사용자에게 제1 작업을 계속 수행할지 또는 제2 작업을 우선 수행할지 질의할 수 있다(단계 S330). 작업 수행 결정부(130)는 사용자의 결정에 의하여 제1 작업에 대한 계속 수행 응답을 수신하거나 또는 제2 작업에 대한 우선 수행 응답을 수신할 수 있다(단계 S340).

일 실시예에서, 작업 수행 결정부(130)는 사용자로부터 제1 작업에 대한 계속 수행 응답을 수신하면 제1 작업의 계속 수행을 결정할 수 있고, 행동 제어부(140)는 제1 작업 수행을 위한 매니퓰레이터 또는 로봇 팔의 행동(Arm behavior)을 제어할 수 있다(단계 S350).

다른 일 실시예에서, 계층적 시간 메모리부(120)는 제2 작업의 우선 수행이 결정되면 검출된 제2 작업의 수행 패턴과 기 학습된 작업 수행 패턴을 비교할 수 있고(단계 S360), 작업 수행 결정부(130)는 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 포함되는지 여부를 기초로 제2 작업 수행 패턴을 학습할지 여부를 결정할 수 있다(단계 S370).

예를 들어, 작업 수행 결정부(130)는 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 포함되지 않은 경우 제2 작업 수행 패턴의 학습을 결정할 수 있고, 행동 제어부(140)는 제2 작업 수행 패턴을 관찰하기 위한 작업 수행 로봇(100)의 시선을 제어(Gaze control with human behavior)할 수 있다(단계 S380). 한편, 작업 수행 결정부(130)는 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 포함된 경우 제2 작업의 우선 수행을 결정할 수 있고, 행동 제어부(140)는 제2 작업 수행을 위한 매니퓰레이터 또는 로봇 팔의 행동(Arm behavior)을 제어할 수 있다(단계 S390).

도 4는 도 1에 있는 작업 수행 로봇의 다른 일 실시예에 의하여 수행되는 작업 수행 과정을 설명하는 순서도이다.

도 4를 참조하면, 주변 상황 검출부(110)는 작업 수행 로봇(100)이 기 학습된 제1 작업을 수행하는 과정에서(단계 S410), 이상 징후(또는 제2 작업 수행)를 검출할 수 있다(단계 S420).

계층적 시간 메모리부(120)는 검출된 제2 작업의 수행 패턴과 기 학습된 작업 수행 패턴을 비교할 수 있고, 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 포함되지 않으면(단계 S430), 작업 수행 결정부(130)는 제2 작업 수행 패턴의 학습을 결정할 수 있다(단계 S440).

작업 수행 결정부(130)는 제2 작업 수행 패턴의 학습 방법을 결정할 수 있다(단계 S450). 일 실시예에서, 작업 수행 결정부(130)는 제2 작업 수행 패턴을 제1 작업 수행 패턴과 병합하여 학습할 수 있고, 행동 제어부(140)는 제1 작업과 제2 작업을 함께 수행하기 위한 매니퓰레이터 또는 로봇 팔의 행동(Arm behavior)을 제어할 수 있다(단계 S460).

다른 일 실시예에서, 작업 수행 결정부(130)는 제2 작업 수행 패턴을 제1 작업 수행 패턴과 독립적으로 학습할 수 있고, 사용자로부터 제1 작업에 대한 계속 수행 응답을 수신하거나 또는 제2 작업에 대한 우선 수행 응답을 수신할 수 있다(단계 S470). 작업 수행 결정부(130)는 사용자로부터 제1 작업에 대한 계속 수행 응답을 수신하면 제1 작업의 계속 수행을 결정할 수 있고(단계 S480), 제2 작업에 대한 우선 수행 응답을 수신하면 제2 작업의 우선 수행을 결정할 수 있다(단계 S490).

따라서, 작업 수행 로봇(100)는 기 학습된 작업 수행 중 적어도 하나의 검출 수단을 통해 새로운 작업을 검출하여 사용자와의 질의응답을 통해 검출된 작업의 우선 순위를 결정할 수 있고, 수행중인 작업의 수행 패턴과 검출된 작업의 수행 패턴을 비교하여 검출된 작업 수행 패턴이 이미 학습되었는지 여부를 판단할 수 있다. 또한, 작업 수행 로봇(100)은 기 학습된 작업 수행 중 새로운 작업이 검출되고 검출된 작업의 수행 패턴이 기 학습된 작업 수행 패턴에 해당하면 검출된 작업의 시뮬레이션을 통해 수행 가능 여부를 판단할 수 있고, 검출된 작업의 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않으면 검출된 작업 수행 패턴의 학습을 결정할 수 있다.

상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 통상의 기술자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 인간 로봇 상호작용 기반의 작업 수행 로봇
110: 주변 상황 검출부 111: RGB-Depth 카메라
112: 열화상 카메라 120: 계층적 시간 메모리부
130: 작업 수행 결정부 140: 행동 제어부

Claims

기 학습된 제1 작업을 수행하는 과정에서 적어도 하나의 검출 수단을 통해 주변 상황을 검출하는 주변 상황 검출부;
상기 적어도 하나의 검출 수단을 통해 로봇에게 새로운 작업을 학습시키는 인간의 제2 작업 수행이 검출되면 상기 제2 작업의 수행 패턴을 기 학습된 작업 수행 패턴과 비교하는 계층적 시간 메모리부; 및
사용자와의 질의응답을 통해 상기 제1 작업의 계속 수행 여부 및 상기 제2 작업의 우선 수행 여부를 결정하고, 상기 제2 작업의 우선 수행이 결정되면 상기 비교 결과를 기초로 상기 제2 작업 수행 패턴을 학습할지 여부를 결정하는 작업 수행 결정부를 포함하되,
상기 작업 수행 결정부는 상기 인간의 제2 작업 수행이 검출되면 상기 사용자에게 상기 제1 작업을 계속 수행할지 또는 상기 제2 작업을 우선 수행할지 질의하고,
상기 작업 수행 결정부는 상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 기 학습된 작업 수행 패턴을 기초로 상기 제2 작업을 수행하기 위해 필수적인 작업 그룹에 속한 모든 작업들이 활성화 되었는지를 검사함으로써 상기 제2 작업 수행 가능 여부를 판단하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 로봇.
제1항에 있어서,
상기 제2 작업 수행 패턴의 학습이 결정되면 상기 제2 작업의 수행 패턴을 관찰하여 상기 기 학습된 작업 수행 패턴에 추가하는 행동 제어부를 더 포함하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 로봇.
삭제
제1항에 있어서, 상기 작업 수행 결정부는
상기 사용자로부터 상기 제1 작업에 대한 계속 수행 응답을 수신하면 상기 제1 작업의 계속 수행을 결정하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 로봇.
삭제
제1항에 있어서, 상기 작업 수행 결정부는
상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업 수행 패턴의 학습을 결정하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 로봇.
제6항에 있어서, 상기 작업 수행 결정부는
상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업 수행 패턴을 상기 제1 작업 수행 패턴과 병합하여 학습하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 로봇.
제6항에 있어서, 상기 작업 수행 결정부는
상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업 수행 패턴을 상기 제1 작업 수행 패턴과 독립적으로 학습하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 로봇.
제1항에 있어서, 상기 계층적 시간 메모리부는
상기 비교를 통해 상기 제2 작업의 수행 패턴이 기 학습된 작업 수행 패턴에 포함되는지 여부를 판단하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 로봇.
제1항에 있어서, 상기 작업 수행 결정부는
복수의 수행 가능한 작업들이 존재하는 경우에는 우선 수행할 작업을 결정하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 로봇.
제1항에 있어서, 상기 주변 상황 검출부는
깊이 정보를 기초로 평면을 검출하고, 상기 평면 상에 존재하는 물체를 인식하는 RGB-Depth 카메라; 및
상기 인간으로부터 방출되는 열을 검출하여 상기 인간의 움직임을 인식하는 열화상 카메라를 포함하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 로봇.
(a) 기 학습된 제1 작업을 수행하는 과정에서 적어도 하나의 검출 수단을 통해 주변 상황을 검출하는 단계;
(b) 상기 적어도 하나의 검출 수단을 통해 로봇에게 새로운 작업을 학습시키는 인간의 제2 작업 수행이 검출되면 상기 제2 작업의 수행 패턴을 기 학습된 작업 수행 패턴과 비교하는 단계; 및
(c) 사용자와의 질의응답을 통해 상기 제1 작업의 계속 수행 여부 및 상기 제2 작업의 우선 수행 여부를 결정하고, 상기 제2 작업의 우선 수행이 결정되면 상기 비교 결과를 기초로 상기 제2 작업 수행 패턴을 학습할지 여부를 결정하는 단계를 포함하되,
상기 (c) 단계는 상기 인간의 제2 작업 수행이 검출되면 상기 사용자에게 상기 제1 작업을 계속 수행할지 또는 상기 제2 작업을 우선 수행할지 질의하는 단계를 포함하고,
상기 (c) 단계는 상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 기 학습된 작업 수행 패턴을 기초로 상기 제2 작업을 수행하기 위해 필수적인 작업 그룹에 속한 모든 작업들이 활성화 되었는지를 검사함으로써 상기 제2 작업 수행 가능 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 방법.
제12항에 있어서,
(d) 상기 제2 작업 수행 패턴의 학습이 결정되면 상기 제2 작업의 수행 패턴을 관찰하여 상기 기 학습된 작업 수행 패턴에 추가하는 단계를 더 포함하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 방법.
삭제
삭제
제12항에 있어서, 상기 (c) 단계는
상기 제2 작업 수행 패턴이 기 학습된 작업 수행 패턴에 해당하지 않고 상기 사용자로부터 상기 제2 작업에 대한 우선 수행 응답을 수신하면 상기 제2 작업 수행 패턴의 학습을 결정하는 것을 특징으로 하는 인간 로봇 상호작용 기반의 작업 수행 방법.