KR20120047577A - 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치 및 방법 - Google Patents

Abstract

본 발명은 사용자와 상호작용할 수 있는 대화형 행동모델을 적용한 인터랙션 서비스 제공 로봇 단말 장치 및 방법에 관한 것이다.
본 발명에 따르면, 사용자와 상호작용할 수 있는 대화형 행동모델을 이용한 인터랙션 서비스를 제공하는 로봇 장치로서, 외부로부터의 관측신호를 입력받아 미리 구축된 행동모델과 정책모델을 근거로 대화형 행동신호를 판단하여 출력하는 행동모델 엔진이 구비된 제어 처리 모듈; 사용자에게 제공할 로봇 어플리케이션 서비스를 실행하며, 상기 제어 처리 모듈의 행동신호 출력을 서비스 실행에 적용하는 로봇 어플리케이션 모듈; 다수의 센서를 구비하여 외부 상태를 관측하고, 기능 구동수단을 구비하여 로봇의 행동 및 기능 실행을 구현하는 로봇 기능 구동 모듈; 및 상기 로봇 기능 구동 모듈 및 상기 로봇 어플리케이션 모듈로부터 외부상태 관측정보와 서비스 이력정보를 추출하여 상기 제어 처리 모듈에 관측신호로 입력처리하고, 상기 제어 처리 모듈로부터 출력되는 행동신호를 해석하여 로봇의 모션동작신호 및 기능동작신호를 생성하고 상기 로봇 기능 구동 모듈로 제공하는 미들웨어 모듈;을 포함하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치가 개시된다.

Description

대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치 및 방법{Apparatus and method for providing robot interaction services using interactive behavior model}

본 발명은 로봇을 이용한 인터랙션 서비스 제공 기술에 관한 것으로서, 보다 상세하게는 사용자와 상호작용할 수 있는 대화형 행동모델을 적용한 인터랙션 서비스 제공 로봇 단말 장치 및 방법에 관한 것이다.

일반적으로 서비스 로봇이라 함은 사용자와 로봇이 상호작용을 하면서 사용자가 지시하는 작업을 수행하는 로봇을 의미한다. 이러한 서비스 로봇은 네트워크에 연결되어 음성이나 영상을 이용한 멀티미디어 서비스를 제공하거나 이동 및 동작을 통해 주어진 작업을 수행하게 된다. 또한, 서비스 로봇은 용도에 따라서 제조업용, 전문 서비스용, 개인 서비스용 등으로 분류된다.

기존에는 서비스 로봇 분야에서 사용자가 직접 로봇을 조작하거나 미리 입력된 시나리오에 따라 예정된 행동을 수행하도록 하는데 집중하였으나, 점차 사용자와 로봇 간의 상호작용성(HRI, Human Robot Interaction)에 보다 더 중점을 기울이고 있는 추세이다. 이처럼 최근에는 시나리오 스크립트를 이용한 HRI 방법이 연구되고 있으며, 이 방법은 사용자가 로봇에 살아있는 애완동물 같은 친근감을 갖게 하도록 하기 위해 서로 대화하듯이 커뮤니케이션 할 수 있도록 하는 것이 중요한 핵심이다.

이와 같은, 기존의 HRI 표현 방법은 사전에 정의된 특정한 입력신호가 로봇으로 들어오면 입력신호와 일 대 일로 매핑된 로봇 행동을 표현하는 단순한 방법이 주를 이루었다. 이에 최근에는 사용자와 로봇의 사용 시나리오를 기초로 한 스크립트 방법이 발표되어, 사용자의 입력을 로봇이 직접 인식할 수 있도록 스크립트화하여 로봇의 행동표현을 쉽고 간단하게 수행하도록 하고 있다. 또한, 특정한 입력신호에 따라 정해진 출력만을 단순히 표현하는 것이 아닌, 특정 입력에 대해서 여러 개의 유사 출력을 발생시키기 위해 랜덤방식을 활용한 출력 방법이나, 확률을 이용한 출력방법이 활발히 연구되고 있다.

이러한 방식은 로봇 장치에서 입출력 데이터를 사전에 매핑하여 룰베이스로 데이터베이스화한 형태로써, 어떻게 하면 특정된 출력을 보다 쉽고, 정확하게 구현할 것인가에 연구의 초점이 맞추어져 있다.

사용자와 로봇이 서로 대화하는 것처럼 커뮤니케이션 하기 위한 HRI 연구는 우선 사용자와 로봇의 상황인지가 전제조건이며, 상황에 맞는 다양한 로봇 행동을 표현하도록 하는 것이 중요한 점이라 할 수 있다. 로봇의 상황인지는 대부분 센서를 이용한 방식이 사용된다. 그러나 센서는 계측 오차가 존재하고, 그 오차에 의해 사용자나 환경이 바뀌는 상황에 맞지 않게 엉뚱한 로봇 행동이 유발될 수 있는 문제가 있다.

이와 같은, 기존의 로봇 기술은 사용자와 로봇 간의 상호작용적 인터랙션을 추구한다고 하지만, 실상은 사용자의 특정 입력에 로봇의 출력을 사전에 정의하기 때문에, 로봇의 행동이 단순 반복적으로 되풀이될 뿐이어서, 사용자와 커뮤니케이션 하는 것이 아니라 지시한 바를 출력하는 단순 작업이 이루어지는 것에 불과하다.

아울러, 로봇으로 입력되는 정보에 센서 오류나 동작 오류, 상황인식 오류 등이 발생할 경우에 전혀 대처하지 못하고, 사용자의 입력을 오판하여 전혀 기대하지 않는 행동을 출력함으로써 사용자와 로봇 간의 커뮤니케이션을 저해하는 문제가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창안한 것으로서, 사용자의 입력 및 주변 상황에 따라 다양한 로봇의 행동을 출력할 수 있는 통계학적 추론 학습 방법이 적용된 로봇 인터랙션 서비스 제공 장치 및 방법을 제공하는 데 그 목적이 있다.

또한, 로봇 입력 데이터의 오류를 반영한 통계모델을 구축하여 입력 오류 및 상황인지 오류에 대해서도 적응적으로 대처하여 상황에 맞는 유연한 로봇 행동을 출력할 수 있도록 하는 데 다른 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 첨부된 특허 청구 범위에 나타낸 수단 및 조합에 의해 실현될 수 있다.

상기와 같은 목적을 달성하기 위하여, 본 발명에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치는, 사용자와 상호작용할 수 있는 대화형 행동모델을 이용한 인터랙션 서비스를 제공하는 로봇 장치로서, 외부로부터의 관측신호를 입력받아 미리 구축된 행동모델과 정책모델을 근거로 대화형 행동신호를 판단하여 출력하는 행동모델 엔진이 구비된 제어 처리 모듈; 사용자에게 제공할 로봇 어플리케이션 서비스를 실행하며, 상기 제어 처리 모듈의 행동신호 출력을 서비스 실행에 적용하는 로봇 어플리케이션 모듈; 다수의 센서를 구비하여 외부 상태를 관측하고, 기능 구동수단을 구비하여 로봇의 행동 및 기능 실행을 구현하는 로봇 기능 구동 모듈; 및 상기 로봇 기능 구동 모듈 및 상기 로봇 어플리케이션 모듈로부터 외부상태 관측정보와 서비스 이력정보를 추출하여 상기 제어 처리 모듈에 관측신호로 입력처리하고, 상기 제어 처리 모듈로부터 출력되는 행동신호를 해석하여 로봇의 모션동작신호 및 기능동작신호를 생성하고 상기 로봇 기능 구동 모듈로 제공하는 미들웨어 모듈;을 포함한다.

본 발명의 다른 측면에 따르면, 사용자와 상호작용할 수 있는 대화형 행동모델을 이용한 로봇 단말에서 인터랙션 서비스를 제공하는 방법으로서, (a) 로봇 단말에 탑재된 어플리케이션을 실행하여 사용자에게 로봇 어플리케이션 서비스를 제공하는 단계; (b) 상기 어플리케이션을 통해 제공되는 서비스의 서비스 이력정보와 다수의 센서에서 관측되는 외부 상태 관측정보를 미들웨어를 통해 추출하여 대화형 행동모델 엔진으로 입력하는 단계; (c) 상기 대화형 행동모델 엔진에서는 미리 구축된 행동모델과 정책모델을 근거로 상기 입력된 정보에 따른 대화형 행동신호를 판단하여 출력하는 단계; (d) 상기 출력되는 행동신호를 미들웨어를 통해 해석하여 로봇의 모션동작신호 및 기능동작신호를 생성하는 단계; 및 (e) 상기 생성된 모션동작신호 및 기능동작신호에 따라 로봇 기능 구동수단을 통해 로봇의 행동 및 기능 실행을 구현하는 단계;를 포함하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 방법이 제공된다.

본 발명에 따르면, 통계학적 학습방법을 이용한 대화형 행동모델 학습기를 통해 행동모델과 정책모델을 구축하고, 이를 통해 사용자 및 주변 상황에 따른 다양한 인터랙션 행동을 출력하도록 하여, 사전에 정의하지 못한 예외 입력 상황이나 입력 오류 상황에도 유연한 로봇 행동의 표현이 가능하고, 모든 상황에 대한 행동을 규정하지 않고도 다양한 인터랙션 행동을 출력할 수 있는 효과를 제공한다.

아울러, 로봇 행동신호를 판단하는 제어 처리 모듈의 행동모델 엔진에 대한 입/출력 신호를 해석하고 변환하는 중간 처리를 수행하는 미들웨어 모듈을 구비하여 다양한 로봇의 센서와 서비스 이력정보를 감지 및 입력받아 이용할 수 있고, 로봇행동이나 로봇 기능의 출력을 다양하게 표현할 수 있는 효과를 제공한다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술할 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 미들웨어 모듈의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 외형과 센서 및 기능구동부를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치에서 제어처리 모듈에 입력되는 관측신호의 관측변수의 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치에서 제어 처리 모듈에 출력되는 행동신호의 행동변수의 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치에서 대화형 행동모델 학습기의 구성을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 행동모델 학습기에 구비된 내부변수의 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 행동모델 학습기에 구비된 보상정책의 예를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치에서 제어 처리 모듈의 행동모델 엔진 처리 상태를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 방법의 절차를 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 구성을 나타낸 도면이다.

본 발명에 따른 로봇 인터랙션 서비스 제공 장치는 센서 인식오류를 반영한 통계학적 추론방법의 학습기를 통한 학습으로 행동모델과 정책모델을 구축하여 사용자의 반응과 주어진 상황에 가장 유사한 행동을 표현하고, 사전에 정의하지 못한 예외 상황에서도 보다 유연한 로봇행동의 표현을 수행할 수 있도록 하는 서비스를 제공한다.

도 1을 참조하면, 본 발명에 따른 로봇 인터랙션 서비스 제공 장치(100)는 사용자에게 제공할 로봇 어플리케이션을 실행하는 로봇 어플리케이션 모듈(110), 외부로부터의 신호를 입력받아 행동모델 엔진에 따라 로봇의 행동신호를 출력하는 제어처리 모듈(120), 센서와 기능구동 수단을 통해 상태 관측 및 로봇 행동을 구현하는 기능 구동 모듈(140), 상기 제어 처리 모듈(120)과 상기 기능 구동 모듈(140) 사이에서 입,출력 신호와 동작신호를 변환 또는 생성 처리하는 미들웨어 모듈(130), 상기 제어처리 모듈(120)에서의 로봇 행동 판단에 근거가 되는 행동모델을 구축하기 위한 대화형 행동모델 학습기(200) 등으로 구성된다.

로봇 어플리케이션 모듈(110)은 로봇 어플리케이션이 탑재되고, 실행되어 사용자에게 로봇 어플리케이션 서비스를 제공하는 역할을 수행한다. 상기 로봇 어플리케이션 모듈(110)은 사용자의 선택 입력에 따라 탑재된 로봇 어플리케이션이 실행되거나, 후술할 제어 처리 모듈(120)에서의 로봇 행동신호 출력에 따라 어플리케이션이 실행될 수 있다. 아울러, 상기 로봇 어플리케이션 모듈(110)은 후술할 제어 처리 모듈(120)에서의 출력 신호를 로봇 어플리케이션 서비스 실행에 적용하도록 한다. 이로 인해, 보다 인터랙티브한 로봇 어플리케이션 서비스를 제공할 수 있다.

나아가, 상기 로봇 어플리케이션 모듈(110)은 실행되어 제공되는 어플리케이션 서비스의 사용정보와 사용 이력 정보 등을 후술할 미들웨어 모듈(130)로 제공하여, 제어 처리 모듈(120)에서의 로봇 행동 판단에 이용하도록 한다. 상기 로봇 어플리케이션 모듈(110)에서 제공하는 어플리케이션 서비스의 예로는, 구연동화 서비스, 낱말게임 서비스 등을 들 수 있다.

제어 처리 모듈(120)은 외부에서 관측되는 신호를 입력받아 미리 구축된 행동모델과 정책모델을 근거로 하여 대화형 로봇 행동신호를 판단하여 출력하는 역할을 수행한다. 상기 제어 처리 모듈(120)은 행동모델 엔진(122), 관측신호 입력부(124), 행동신호 출력부(124), 행동/정책 모델 데이터베이스(128) 등으로 이루어진다.

상기 행동모델 엔진(122)은 대화형 상호작용을 위한 로봇의 행동신호를 판단하는 역할을 수행하며, 입력되는 신호를 관측변수로 하고 미리 구축된 상기 행동모델 및 정책모델 DB(128)을 근거로 하여 행동변수 출력값을 생성한다.

상기 관측신호 입력부(124)는 후술할 미들웨어 모듈(130)을 통해 외부에서 관측되는 상태정보와 상기 로봇 어플리케이션 모듈(110)에서 제공된 서비스 이력정보 등을 입력신호로 제공받아 상기 행동모델 엔진(122)에 관측변수로 입력시키는 역할을 수행한다.

상기 행동신호 출력부(126)는 상기 행동모델 엔진(122)에서 생성된 로봇의 행동변수를 로봇 행동신호 정보로 출력하는 역할을 수행한다. 상기 로봇 행동신호로 출력되는 정보는 후술할 미들웨어 모듈(130)로 전달된다.

상기 행동모델, 정책모델 데이터베이스(128)는 통계적 추론학습 방법에 따라 학습을 통해 구축된 정보 데이터베이스이다. 상기 행동모델, 정책모델 DB(128)는 상기 행동모델 엔진(122)에서 대화형 상호작용 로봇 행동을 판단하는데 근거로 사용된다. 아울러, 상기 행동모델, 정책모델 데이터베이스(128)는 후술할 대화형 행동모델 학습기(200)를 이용한 학습과정을 거쳐 구축된다.

기능구동 모듈(140)은 다수의 센서를 통해 외부의 상태 및 상황을 관측하고, 구동수단을 통해 로봇의 기계적 행동 및 기능 실행을 구현하는 역할을 수행한다. 상기 기능구동 모듈(140)은 센서(142)와 기능구동 수단(144) 등으로 이루어진다. 상기 센서(142)는 로봇 주변의 상태 및 상황을 감지하는 감지 수단으로 열 감지, 소리 감지, 터치 감지, 기울임 감지, 움직임 감지, 배터리 충전상태 감지 등을 수행하는 센서들이 구비된다.

상기 기능구동 수단(144)은 로봇의 행동, 동작 및 기능을 구동시키는 수단으로 후술할 미들웨어 모듈(130)로부터 동작신호 또는 동작 제어신호에 따라 로봇의 모션동작이나 기능동작을 구현하는 역할을 수행한다. 상기 기능구동 수단(144)은 로봇에 구비된 기계적 장치를 구동하여 로봇의 이동이나 특수 행동을 구현하도록 하고, 또한, 로봇에 구비된 기능수단의 기능들을 구현하도록 한다. 상기 기능수단의 기능들로는 스피커를 통한 효과음 출력, 디스플레이 수단을 통한 이미지 출력, LED를 통한 조명 출력 등을 예로 들 수 있다.

미들웨어 모듈(130)은 상기 제어처리 모듈(120)과 상기 기능구동 모듈(140) 사이에서 신호의 변환 및 생성 등의 중간 처리 역할을 수행한다. 즉, 상기 로봇 기능구동 모듈(140) 및 상기 로봇 어플리케이션 모듈(110)로부터 생성 또는 제공되는 외부상태 관측정보와 서비스 이력정보를 추출하여, 상기 제어 처리 모듈(120)의 관측신호 입력부(124)에 입력할 수 있도록 관측변수로 변환하는 처리를 수행한다. 또한, 상기 제어처리 모듈(120)에서 출력되는 행동신호 및 행동변수를 해석하여 상기 기능 구동 모듈(140)에서 제어 및 구동 처리 가능한 형태의 모션동작신호 및 기능동작신호로 변환하거나 생성 처리하는 역할을 수행한다.

아울러, 상기 미들웨어 모듈(130)은 모션 생성기(132)가 구비되는데, 상기 모션 생성기(132)는 상기 제어 처리 모듈(120)에서 행동신호 출력에 따른 로봇의 행동 기능 구현이 동작모션신호 및 기능동작신호로 정의되어 있다. 이를 통해, 행동신호에 따른 다양하고 부드러운 로봇의 모션동작 및 기능동작을 구현할 수 있고, 상기 모션 생성기(132)만을 수정하는 것으로 로봇의 행동 및 기능 표현을 쉽게 변경할 수 있다.

이하에서 추가 도면을 통해 상기 미들웨어 모듈(130)에 대한 보다 상세한 구성을 설명하기로 한다. 도 2는 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 미들웨어 모듈의 구성을 나타낸 도면이다.

도 2를 참조하면, 본 발명에 따른 미들웨어 모듈(130)은 입력부 미들웨어(134)와 출력부 미들웨어(136)로 구분된다. 상기 입력부 미들웨어(134)는 상기 로봇 어플리케이션 모듈(110)과 상기 기능 구동 모듈(140)로부터 다양한 정보를 추출 또는 제공받아, 상기 제어 처리 모듈(120)에서의 관측신호 입력에 상응하는 관측변수를 생성하여 입력시키는 역할을 수행한다.

상기 입력부 미들웨어(134)는 상기 로봇 어플리케이션 모듈(110)로부터 서비스 사용정보와 서비스 이력정보를 제공받거나 추출하고, 상기 기능구동 모듈(140)을 통해서는 다양한 감지 정보 즉, 열감지, 터치감지, 바닥감지, 소리감지, 충전상태감지, 배터리용량감지, 시간간격감지 정보들을 추출하여 활용한다.

상기 출력부 미들웨어(146)는 상기 제어처리 모듈(120)에서 출력되는 로봇 행동신호인 행동변수값을 상기 모션 생성기(132)를 통해 다양한 로봇의 모션동작신호와 기능동작신호로 변환하여, 상기 기능구동 모듈(140)로 각각 전달하는 역할을 수행한다. 상기 출력부 미들웨어(146)에서 상기 기능 구동 모듈(140)로 생성 및 변환하여 전달하는 모션동작 및 기능동작 신호는 이동, 머리모션, 꼬리모션, 효과음, LCD 이미지 신호 등을 예로 들 수 있다.

다시 도 1에 도시된 대화형 행동모델 학습기(200)는 통계학적 추론방법을 이용한 학습과정을 통해 상기 제어처리 모듈(120)의 행동모델, 정책모델 데이터베이스(128)를 구축하는 역할을 수행한다. 상기 통계학적 추론방법을 이용한 학습과정은 부분관측 마르코프 의사결정 과정(POMDP: Partially Observable Markov Decision Process)을 이용하여 실생활에서 많이 경험하는 불확실성(uncertainty)에 대한 대처 능력을 향상시키도록 한다.

이와 같은 상기 대화형 행동모델 학습기(200)에 대한 보다 상세한 설명은 이후에 다른 도면을 통해 후술하기로 한다.

도 3은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 외형과 센서 및 기능구동부를 나타낸 도면이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 로봇 인터랙션 서비스 제공 장치의 외형과 각 부위에 위치한 기능구동 수단과 센서 수단을 확인할 수 있다. 먼저, 기능구동 수단으로는 도면에 도시된 바와 같이, 머리구동부(300), 꼬리구동부(310), 바퀴구동부(320), 머리LED(330), 볼LED(340), 카메라(350), 사운드(360), LCD화면(370) 등의 로봇 외형의 각 부위에 구비되어 있다. 또한, 센서 수단으로는 등터치감지센서(301), 조도감지센서(302), 기울기감지센서(303), 얼굴터치감지센서(304), 소음감지센서(305), 인체감지센서(306), 거리감지센서(307),낙하방지센서(308) 등이 로봇의 각 부위에 구비된다. 이와 같은 구성을 통해서, 다양한 외부 관측정보를 감지할 수 있고, 다양한 로봇의 행동 및 기능을 구현할 수 있도록 한다.

도 4는 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치에서 제어처리 모듈에 입력되는 관측신호의 관측변수의 예를 나타낸 도면이다.

도 4에서와 같이, 상기 제어처리 모듈로 입력되는 관측신호는 관측변수의 형태로 정의되는데, 센서에서 감지 가능한 다양한 정보를 변수와 그에 따른 변수값들로 나타내었다. 이와 같이, 도면에서의 관측변수를 통해 상황에 따른 관측변수 입력값에 대한 예를 들어보면, 서비스 이력(구연동화)이 높고, 배터리 용량이 높은 상태에서 열감지센서로부터 사람이 감지된 상황이라 할 경우에, '1 2 2 2 1 2 2 2 2' 의 관측변수 입력값을 갖게 된다. 여기서, 각 변수에 대한 값에 첫번째는 1 이라 하고 두번째는 2 라고 표현하는 것으로 가정하였다. 즉, 도면의 각 변수값에 'on, null, low' 는 1의 값으로 'off, yes, high' 는 2의 값으로 표현한다.

도 5는 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치에서 제어 처리 모듈에 출력되는 행동신호의 행동변수의 예를 나타낸 도면이다.

도 5에 도시된 바와 같이, 상기 제어 처리 모듈에서 출력되는 행동신호에 따른 행동변수는 로봇의 감정변수나 행동행위에 대한 것을 변수명으로 기술한 것이다. 예를 들면, 도면에서와 같이 간지러워하기(patted), 기뻐하기(pleased), 서비스 추천하기(recomm), 호응하기(agree), 슬퍼하기(sad) 등을 포함한다. 이와 같은 출력변수는 상술한 바와 같이, 상기 미들웨어 모듈(130)의 모션 생성기(132)에서 실제 로봇의 단위 행동과 같이 매핑하여 상기 기능 구동 모듈(140)을 통해 모션 및 기능을 구현하도록 제어된다.

도 6은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치에서 대화형 행동모델 학습기의 구성을 나타낸 도면이다.

도 6을 참조하여, 본 발명에 따른 대화형 행동모델 학습기(200)의 구성을 설명하면, 먼저 제어처리 모듈(120)에 관측신호 입력부(124)의 관측변수에 정의된 바에 따라, 관측변수(230)를 결정하고, 관측변수(230)는 센서 오류값을 고려한 확률값인 관측변수 확률분포(240)를 매핑시킨다. 여기에, 상황에 따른 다양한 로봇 행동을 유발하기 위한 행동모델 내부변수(210)를 정의한다. 상기 내부변수(210)에는 사용자 행동변수, 로봇 성격상태 변수, 서비스 사용 변수, 배터리 용량 변수, 사용자 입력 시간간격 변수 등이 포함되고, 내부 확률 분포(220) 초기값을 부여한다.

이와 같은 구성의 행동모델 학습기(200)를 이용한 학습방법은 상황에 따른 관측변수(230)로부터 최적의 로봇 행동변수를 추출하기 위해서 통계학적 학습방법(POMDP)를 이용한다. 학습과정에서 로봇의 출력 행동변수에 가장 적합한 사용자 행동변수와 로봇 성격 상태변수 등에 대한 긍정적 혹은 부정적 보상정책(250)을 부여하여 내부변수(210)의 확률분포(220) 값을 최적화시킨다. 상기 행동모델 학습기(200)를 통한 학습의 결과로 행동모델 DB(128)와 정책모델 DB(128)를 생성하게 된다. 이와 같이 구축되는 상기 행동모델 DB(128)는 상황에 따른 사용자 입력에 대해서 최적의 로봇 출력을 생성하기 위해서 사용자 입력, 내부변수, 출력 행동변수, 각종 센서들의 오류를 반영한 확률분포 등을 규정한 모델이다. 또한, 정책모델 DB(128)는 사용자와 로봇의 사용 시나리오를 반영하여 관측변수(230)에 대해서 최적의 로봇 행동을 유도하기 위한 보상정책(250)을 저장하고 있다.

상기 행동모델 학습기(200)에서 이용되는 상기 통계학적 학습방법인 부분관측 마르코프 의사결정 과정(POMDP)은, 최적화 알고리즘으로 Symblic HSVI(Heuristic Search Value Iteration) 방식을 기반으로 한다. 상기 Symblic HSVI 방식은 변수 함수를 계산해 가면서 그 오차를 줄이는데, 가장 큰 도움이 되는 신뢰점(Belief Point)을 우선적으로 탐색해 가는 방식이며, 여기에 트리 구조를 적용하여 ADD(Algebraic Decision Diagram)를 활용한 대수적 방식을 적용한다.

이러한 알고리즘을 이용한 상기 행동모델 학습기(200)를 통한 학습 절차는 구체적으로, 관측변수가 입력되면 사용자 행위와 로봇의 친숙도에 따른 성격상태와 서비스 사용이력 등을 내부변수로 정의하고, 내부변수의 변이 확률의 초기값을 세팅한다. 최적의 행동모델과 정책모델을 찾는 과정에서 신뢰 점을 우선적으로 탐색해 가면서 신뢰 상태를 찾고, 그때의 정책을 추출한다. 또 정책은 기대보상을 예측하고 강화학습법을 이용하여 정책을 최적화하는 과정을 거치게 된다. 이와 같은 일련의 과정은 반복되는 학습과정을 거쳐서 최적화를 이루도록 한다.

도 7은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 행동모델 학습기에 구비된 내부변수의 예를 나타낸 도면이다.

도면에서와 같이 행동모델 학습기의 내부변수에서 사용자(user)의 행위에 대한 변수는 사람이 가까이 없음(Noexit), 가까이 있음(close), 로봇을 들어 올림(up), 흔듬(shake), 소리지름(shout), 서비스 수락(accept), 서비스 거절(reject), 인터랙션 없음(nointer), 충전(charge) 등이 있고, 로봇(mong) 변수는 친숙한 성격 상태에 따라서 강한 소심성격(P11) -> 약한 소심성격(P22) -> 약한 애교성격(P33) -> 강한 애교성격(P44)으로 나누어진다. 서비스 이력 변수(hist), 배터리 잔량변수(battery)와 사용자 입력시간 간격 변수(time)는 'Low, High' 로 표시된다.

도 8은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치의 행동모델 학습기에 구비된 보상정책의 예를 나타낸 도면이다.

도면에 나타낸 바와 같이, 행동모델 학습기에서의 보상정책은 사용자의 입력이나 서비스 사용 이력에 따라 다양하고 상황에 맞는 로봇 행동을 유도하기 위해서 로봇의 성격상태를 변화시키는 것에 주안점을 둔다. 성격상태는 사용자 입력에 따라서 긍정적인 보상(close, pat, up, accept)과 부정적 보상(shake, reject, nointer, charge)이 적용되며, 긍정적 보상일 수록 강한 소심성격(P11) -> 약한 소심성격(P22) -> 약한 애교성격(P33) -> 강한 애교성격(P44)으로 변화한다. 반면에, 부정적 보상일 수록 반대의 성격으로 변화하게 된다.

도 9는 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치에서 제어 처리 모듈의 행동모델 엔진 처리 상태를 나타내는 도면이다.

도 9를 참조하면, 관측신호 입력부(124)에서 관측변수 입력을 전달받아 행동모델 학습기(200)를 통한 학습 결과로 구축된 행동모델 DB와 정책모델 DB(128)의 정보를 이용하여, 상술한 통계학적 추론방법을 통한 행동모델 엔진(122)을 이용하여 내부변수(210) 내에 사용자 변수를 추정하고, 로봇의 성격상태변수의 성격상태 천이를 수행하고, 서비스 사용과 배터리 잔량 이력, 사용자 입력시간 간격 이력 등을 조사하여 관측변수의 입력에 최적화된 로봇 행동을 행동변수로 도출하여 상기 행동신호 출력부(126)를 통해 행동신호로 출력한다.

도 10은 본 발명의 일 실시예에 따른 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 방법의 절차를 나타낸 도면이다.

도 10을 참조하여, 본 발명에 따른 로봇 인터랙션 서비스 제공 방법의 절차를 로봇 장치의 각 모듈별로 설명하기로 한다.

먼저, 로봇 어플리케이션 모듈에서는 탑재된 로봇 어플리케이션을 실행하여 로봇 어플리케이션 서비스를 제공하는 절차가 이루어진다. 이때에는, 사용자로부터 선택된 어플리케이션이 실행되고, 또한, 사용자가 서비스 제공을 요청한 경우에 실행되어 제공되도록 한다. 아울러, 제어 처리 모듈에서의 로봇 행동 신호에 따라 인터랙티브하게 어플리케이션 모듈에서의 서비스 제공이 이루어질 수도 있다.(S10)

기능구동 모듈에서는 로봇에 구비된 다수의 센서들을 구동하여 주변 상황 및 상태를 감지하는 절차가 계속적으로 이루어진다.(S15)

미들웨어 모듈에서는 로봇 어플리케이션 모듈로부터 서비스 제공에 따른 서비스 사용 정보와 서비스 이력 정보 등을 추출하고, 기능 구동 모듈에서 감지하고 측정한 주변 상황 및 상태에 따른 관측정보를 추출하는 절차가 진행된다.(S20)

다음, 미들웨어 모듈에서는 추출한 관측정보와 서비스 이력정보를 제어 처리모듈의 행동모델 엔진에 입력할 수 있도록 정보를 변환 처리하여 입력시키는 절차를 진행한다. 이때, 관측정보와 서비스 이력정보는 관측변수로 변환처리한다.(S30)

제어 처리모듈에서는 행동모델 엔진에 입력된 관측변수에 따라 행동모델 DB와 정책모델 DB를 근거로 하여, 대화형 행동신호를 판단하는 절차가 이루어진다. 행동모델 엔진에서 로봇의 행동신호를 판단하는 원리는 상술한 바 있으므로 생략하도록 한다.(S40)

제어 처리모듈에서는 행동모델 엔진을 통해 이렇게 판단된 행동신호를 행동변수로 출력하는 절차를 수행한다.(S50)

로봇 어플리케이션 모듈에서는 제어 처리 모듈에서 출력된 행동신호를 서비스 실행에 적용하여, 보다 인터랙티브한 로봇 어플리케이션 서비스를 제공하도록 하는 절차를 진행한다.(S55)

아울러, 미들웨어 모듈에서는 제어 처리모듈에서 출력된 행동신호를 해석하는 처리가 이루어진다.(S60)

미들웨어 모듈에서는 행동신호 해석 결과로 기능구동 모듈을 제어할 수 있는 모션동작 신호와 기능동작 신호를 생성하는 절차를 진행한다.(S70)

기능구동 모듈에서는 미들웨어 모듈에서 생성된 모션 및 기능동작 신호를 근거로 하여 로봇의 행동과 기능을 구현하도록 하는 처리가 이루어진다.(S80)

이와 같은 절차를 통해서, 사용자에게 로봇 어플리케이션 서비스를 제공하면서, 사용자와 주변 상황을 감지하여 이를 로봇 행동 및 어플리케이션 서비스에도 피드백으로 반영하여 사용자와 상호작용할 수 있는 로봇 인터랙션 서비스를 제공할 수 있게 된다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

110 : 로봇 어플리케이션 모듈 120 : 제어처리 모듈
130 : 미들웨어 모듈 140 : 기능구동 모듈
200 : 대화형 행동모델 학습기

Claims (12)

1. 사용자와 상호작용할 수 있는 대화형 행동모델을 이용한 인터랙션 서비스를 제공하는 로봇 장치로서,
   외부로부터의 관측신호를 입력받아 미리 구축된 행동모델과 정책모델을 근거로 대화형 행동신호를 판단하여 출력하는 행동모델 엔진이 구비된 제어 처리 모듈;
   사용자에게 제공할 로봇 어플리케이션 서비스를 실행하며, 상기 제어 처리 모듈의 행동신호 출력을 서비스 실행에 적용하는 로봇 어플리케이션 모듈;
   다수의 센서를 구비하여 외부 상태를 관측하고, 기능 구동수단을 구비하여 로봇의 행동 및 기능 실행을 구현하는 로봇 기능 구동 모듈; 및
   상기 로봇 기능 구동 모듈 및 상기 로봇 어플리케이션 모듈로부터 외부상태 관측정보와 서비스 이력정보를 추출하여 상기 제어 처리 모듈에 관측신호로 입력처리하고, 상기 제어 처리 모듈로부터 출력되는 행동신호를 해석하여 로봇의 모션동작신호 및 기능동작신호를 생성하고 상기 로봇 기능 구동 모듈로 제공하는 미들웨어 모듈;을 포함하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치.
2. 제 1 항에 있어서,
   상기 제어 처리 모듈은,
   통계학적 학습방법을 이용한 대화형 행동모델 학습기를 통해 행동모델과 정책모델을 구축한 행동모델 DB와 정책모델 DB를 구비하는 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치.
3. 제 2 항에 있어서,
   상기 통계학적 학습방법은,
   부분관측 마르코프 의사결정 과정(POMDP: Partially Observable Markov Decision Process)을 이용하는 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치.
4. 제 3 항에 있어서,
   상기 대화형 행동모델 학습기에는,
   입력되는 관측신호 및 서비스 이력정보에 따른 관측변수와 상황에 따른 내부변수를 정의하고, 상기 관측변수 및 상기 내부변수는 확률분포값이 적용되는 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치.
5. 제 4 항에 있어서,
   상기 대화형 행동모델 학습기를 통한 학습시에는 긍정 또는 부정적인 보상정책을 부여하여 상기 내부변수의 확률분포값을 적용하는 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치.
6. 제 2 항에 있어서,
   상기 행동모델 DB는,
   상황에 따른 사용자 입력에 대한 로봇행동신호의 출력을 생성하기 위해서, 사용자 입력, 내부변수, 출력변수, 복수의 센서들의 오류를 반영한 확률분포를 규정한 모델이 데이터베이스화되어 저장된 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치.
7. 제 2 항에 있어서,
   상기 정책모델 DB는,
   사용자와 로봇의 사용시나리오를 반영하여 관측되는 변수에 대한 로봇의 행동을 유도하기 위한 보상정책이 데이터베이스화되어 저장된 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치.
8. 제 1 항에 있어서,
   상기 미들웨어 모듈은,
   상기 제어 처리 모듈에서의 행동신호 출력에 따른 로봇의 행동 기능 구현을 동작모션신호 및 기능동작신호로 정의한 모션 생성기를 더 포함하는 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치.
9. 사용자와 상호작용할 수 있는 대화형 행동모델을 이용한 로봇 단말에서 인터랙션 서비스를 제공하는 방법으로서,
   (a) 로봇 단말에 탑재된 어플리케이션을 실행하여 사용자에게 로봇 어플리케이션 서비스를 제공하는 단계;
   (b) 상기 어플리케이션을 통해 제공되는 서비스의 서비스 이력정보와 다수의 센서에서 관측되는 외부 상태 관측정보를 미들웨어를 통해 추출하여 대화형 행동모델 엔진으로 입력하는 단계;
   (c) 상기 대화형 행동모델 엔진에서는 미리 구축된 행동모델과 정책모델을 근거로 상기 입력된 정보에 따른 대화형 행동신호를 판단하여 출력하는 단계;
   (d) 상기 출력되는 행동신호를 미들웨어를 통해 해석하여 로봇의 모션동작신호 및 기능동작신호를 생성하는 단계; 및
   (e) 상기 생성된 모션동작신호 및 기능동작신호에 따라 로봇 기능 구동수단을 통해 로봇의 행동 및 기능 실행을 구현하는 단계;를 포함하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 방법.
10. 제 9 항에 있어서,
    상기 단계 (c) 이후에,
    상기 출력되는 행동신호를 로봇 단말에 탑재된 어플리케이션에 제공하여 서비스 실행에 적용하도록 하는 단계;를 더 포함하는 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 방법.
11. 제 9 항 또는 제 10 항에 있어서,
    상기 단계 (a) 이전에,
    통계학적 학습방법을 이용한 대화형 행동모델 학습기를 통해 행동모델과 정책모델을 구축하는 단계;를 더 포함하는 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 방법.
12. 제 11 항에 있어서,
    상기 통계학적 학습방법은,
    부분관측 마르코프 의사결정 과정(POMDP: Partially Observable Markov Decision Process)을 이용하는 것을 특징으로 하는 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 방법.

Images