KR20160072621A - 학습과 추론이 가능한 로봇 서비스 시스템 - Google Patents

Abstract

본 발명은 학습과 추론이 가능한 로봇 서비스 시스템에 관한 것이다. 일 측면에 따른 학습과 추론이 가능한 로봇 서비스 시스템은, 사용자에 의해 입력되는 명령을 감지하는 센서 모듈; 상기 센서 모듈을 통해 입력된 정보에 기초하여, 상기 사용자의 입력이 학습되는 학습 모듈; 상기 학습 모듈을 통해 학습된 정보가 저장되는 데이터베이스; 상기 데이터베이스에 저장된 정보에 기초하여, 상기 센서 모듈을 통해 입력된 사용자의 행동 및 언어를 추론하는 추론 모듈; 및 상기 추론 모듈의 추론 결과에 따라 구동 모듈을 통해 설정된 동작 또는 소리를 구동시키는 제어 모듈을 포함한다.

Description

학습과 추론이 가능한 로봇 서비스 시스템{Artificial intelligence robot service system}

본 발명은 학습과 추론이 가능한 로봇 서비스 시스템에 관한 것이다.

오늘날, 시각이나 청각, 촉각 센서와 같은 다양한 센서 정보를 이용하여 감정이나 행동을 생성하거나 선택하여 표현하는 시스템은 애완용 로봇이나 지능형 로봇 형태로 개발되어 있고, 동물을 모사하거나 의인화된 감정을 기반으로 더욱 자연스러운 행동을 표현하기 위해 감정 엔진이나 이와 관련된 시스템에 관한 기능 개선 연구가 꾸준히 진행되고 있다.

또한, 인간과 로봇의 자연스러운 상호작용을 위해 사용자에 의한 입력과 상태 변화를 감지하기 위한 센서 장치의 기능 개선과 함께 이러한 센서를 이용하여 사용자의 의도를 파악하기 위한 기술 개발이 시도되고 있으며, 로봇 구동 장치에 있어서도 자연스러운 행동을 표현하기 위해 구동기 기술에 대한 다양한 연구가 이루어지고 있다.

이러한 로봇 환경하에서의 종래 로봇의 경우에는 얼굴, 음성 등을 센서로 인식하여 사용자의 얼굴이나 말 등을 인식했다. 그리고, 상기 인식된 정보를 기초로 사용자의 얼굴이나 말등에 대응되는 대화 또는 동작을 수행하였다.

그러나, 종래 로봇에 따르면 입력 받은 말이나 동작에 대한 출력이 데이터베이스에 데이터로 정형화되어 있어, 사용자의 감정에 대응되는 로봇의 감정 표현이 기계적인 단점이 있다. 또한, 사용자에 의해 새로 입력받은 데이터는 단순히 이에 대응되는 데이터를 출력시키는데 이용되므로, 만약 데이터베이스에 저장된 데이터와 상이한 데이터가 입력되는 경우 이를 처리하는데 취약한 문제가 있다. 즉, 사용자의 다양한 감정과 언어에 대해 학습함으로써 사용자의 성격이나 성향을 파악할 수 있는 수단이 부재하여, 사용자의 성향에 따라 원치않는 감정이 나타나는 경우 로봇과 공감하지 못하게 되고, 로봇에 대한 흥미가 반감되는 문제점이 발생하였다.

본 발명은 상기와 같은 문제점을 개선하기 위하여 제안된 것으로서, 학습을 통하여 사용자가 원하는 방식으로 감정을 생성할 수 있는 학습과 추론이 가능한 로봇 서비스 시스템을 제공하는 것에 있다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 사용자에 의해 입력되는 명령을 감지하는 센서 모듈; 상기 센서 모듈을 통해 입력된 정보에 기초하여, 상기 사용자의 입력이 학습되는 학습 모듈; 상기 학습 모듈을 통해 학습된 정보가 저장되는 데이터베이스; 상기 데이터베이스에 저장된 정보에 기초하여, 상기 센서 모듈을 통해 입력된 사용자의 행동 및 언어를 추론하는 추론 모듈; 및 상기 추론 모듈의 추론 결과에 따라 구동 모듈을 통해 설정된 동작 또는 소리를 구동시키는 제어 모듈을 포함하는 학습과 추론이 가능한 로봇 서비스 시스템이 제공된다.

본 발명에 따른 학습과 추론이 가능한 로봇 서비스 시스템에 의하면 다음과 같은 효과가 있다.

첫째, 사용자에 의해 입력된 명령을 학습 모듈을 통해 데이터베이스에 저장하고, 상기 저장한 정보를 추론 모듈의 추론 시 이용하므로 사용자에게 적합한 교감 서비스를 제공할 수 있다.

둘째, 학습 모듈을 통한 학습이 지속될수록 데이터베이스에 사용자에 대한 학습 정보가 저장되므로, 같은 입력에 대해 항상 같은 출력이 아닌 사용자의 상황에 맞는 서비스의 제공이 가능한 장점이 있다.

도 1은 본 발명의 일 실시 예에 따른 학습과 추론이 가능한 로봇 서비스 시스템의 구성을 개략적으로 보여주는 도면.
도 2는 본 발명의 일 실시 예에 따른 추론 모듈에서 추론 과정을 설명하기 위한 도면.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 일 실시 예에 따른 학습과 추론이 가능한 로봇 서비스 시스템의 구성을 개략적으로 보여주는 도면이다. 본 발명에 따른 학습과 추론이 가능한 로봇 서비스 시스템은 일반적으로 몸체를 포함하는 로봇 등에 구체적으로 적용되며, 로봇 몸체에는 주위를 촬영하기 위한 영상센서와, 터치에 의한 입력이 출력이 동시에 이루어지는 디스플레이부가 구비된다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 학습과 추론이 가능한 로봇 서비스 시스템은, 제어 모듈(10), 센서 모듈(20), 추론 모듈(30), 학습 모듈(40), 데이터베이스(50), 구동 모듈(60)을 포함한다.

상기 제어 모듈(10)은, 상기 로봇 서비스 시스템의 전반적인 동작을 제어한다. 상기 제어 모듈(10)는 상기 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 구동함으로써, 상기 로봇 서비스 시스템의 구동을 위한 적절한 정보 또는 기능을 제공 또는 처리할 수 있다. 상기 제어 모듈(10)은 주변 시스템인 센서 모듈(20), 추론 모듈(30), 학습 모듈(40), 데이터베이스(50), 구동 모듈(60)과 함께 구성되며, 사용자와 그 주변 환경을 센싱하여 학습과 추론을 통해 구동하거나 데이터를 저장할 수 있도록 제어하는 역할을 수행한다.

상기 센서 모듈(20)은 보통 로봇 몸체의 외부에 설치되며, 사용자와의 거리나 동작을 포함하는 명령을 감지하는 감지센서, 이미지를 포함하는 영상을 감지하는 영상센서 및 음성을 감지하는 음성센서를 포함한다. 본 실시 예에서는, 상기 센서 모듈(20)은 몸체에 구비된 카메라(22)를 통해 음성, 동작, 영상을 감지하는 센서를 포괄하는 것으로 정의한다. 즉, 상기 센서 모듈(20)은 상기 카메라(22)를 통해 촬영된 영상을 통해 물체를 감지하고, 영상 및 음성 정보를 통해 특징점 및 패턴을 계산하여 상기 제어 모듈(10)로 전송한다.

상기 추론 모듈(30)은, 상기 데이터베이스(50)에 저장된 사람인지, 표정감지, 나이추정, 감정추론에 필요한 데이터를 상기 제어 모듈로(10)부터 수신하여, 상기 기능을 수행한다. 상기 추론 모듈(30)의 추론 과정에 대해서는 후술하기로 한다.

상기 학습 모듈(40)은 상기 제어 모듈(10)로부터 정보를 입력 받으며, 상기 제어 모듈(10)로부터 받는 정보는 상기 센서 모듈(20)에서 추출된 정보를 포함한다. 그리고, 상기 제어 모듈(10)로부터 받는 정보를 통해 상기 학습 모듈(40)은 사용자의 표정, 나이, 성별 등의 정보를 학습함으로써 상기 데이터베이스(50)에 저장한다. 그리고, 상기 저장된 정보는 일정 패턴을 지니는 특징점으로 상기 데이터베이스(50) 상에 존재하며, 상기 데이터베이스(50)는 상기 추론 모듈(30)에서 필요한 데이터를 상기 제어 모듈(10)을 통해 제공한다.

상기 학습 모듈(40)의 학습은, 사용자의 일정한 비언어적 표현 또는 언어적 표현에 따른 로봇의 행동이 정해지는 것에 의해 이루어진다. 여기서, 상기 비언어적 표현이라 함은 손짓, 발짓 등의 동작을 예로 들수 있고, 언어적 표현이라 함은 사용자의 입에서 나오는 명령을 포함한다. 그리고, 사용자의 특정 지시에 따른 로봇의 행동이 사용자에 의해 정의되고, 사용자의 지시에 따라 특정 행동으로 구동되도록 학습된다. 즉, 상기 데이터베이스(50)에는 상기 로봇이 수행할 수 있는 특정 행동들이 기 저장되므로, 사용자가 특정 명령을 동해 각각의 행동을 대응시킬 수 있다. 학습대상은 주인 분류, 표정 감지, 나이 추정, 감정 추론을 포함한 사항이고, 상기 각각의 항목별로 특정 행동이 구체화 된다. 일 예로, 최초에 사용자의 목소리를 통해 주인임을 입력함으로써, 상기 학습 모듈(40)은 주인임을 인식하고 상기 데이터베이스(50)에 주인의 목소리를 저장함으로써 후에 사용자의 목소리 입력으로도 주인임을 감지할 수 있다.

상기 구동 모듈(60)은 상기 주변 모듈(20, 30, 40)로부터 판단한 상기 제어 모듈(10)의 명령에 의해서 수행되며, 구동으로 사람을 따라가거나 시선을 변경하는 사람 추종, 주인이나 사람을 신규 발견 시에 구동하는 반김 기능 등의 역할을 수행한다. 예를 들면, 음악이나 효과음 등의 소리나, 또는 사람 얼굴 또는 일정 캐릭터 형상의 표시, 또는 가시적으로 볼 수 있는 광의 표시를 하도록 하는 한다. 이를 위해 본 시스템이 적용되는 로봇 본체에는 소리 표현을 위한 스피커, 사람 얼굴 또는 일정 캐릭터 형상의 표현을 위한 디스플레이부, 광 표시를 위한 LED와 같은 다양한 램프 등이 설치되며, 또한, 상기 디스플레이부에는 터치 입력부가 같이 구비되어 감성 표현부(153)는 사용자 안내를 위한 UI 화면을 제공하거나, 전술한 바와 같이 사람 또는 일정 캐릭터 형상을 표시하도록 하여, 사용자와의 대화 또는 표현을 수행할 때 적합한 감정 표현을 할 수 있도록 할 수 있다.

또는, 제어 모듈(10)로부터 처리신호를 받아 데이터베이스(50)에 저장되어 있는 행위 정보 즉, 로봇 몸체가 특정 동작이나 몸짓(로봇 얼굴을 기웃거린다거나 팔을 흔들거나, 몸체를 흔들거나 춤을 추는 동작 등로봇 본체의 광범위한 움직임을 포함)을 표현하거나 또는 주행을 하도록 하게 한다. 로봇의 동작 표현 및 주행을 위해 로봇 몸체에는 바퀴 등을 포함하는 구동부와 기타 다양한 구성요소가 구비될 수 있다.

또는, 상기 주변 모듈(20, 30, 40)로부터 제공된 상황 및 감정 정보와 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 이용하여, 제어 모듈(10)로부터 처리신호를 받아 데이터베이스(50)에 저장되어 있는 대화 정보를 이용하여 사용자와의 맞춤형 대화를 수행할 수 있도록 대화를 통합적으로 관리한다.

상기 데이터베이스(50)에는, 상기 학습 모듈(40)을 통해 학습된 사용자의 표정 감지에 관한 정보, 나이 추정에 관한 정보, 성별 추정에 관한 정보, 사용자 정보, 사용자의 음성에 관한 정보등이 저장된다. 따라서, 상기 추론 모듈(30)은 상기 센서 모듈(20)로부터 획득한 영상 및 음성 정보에서 상기 데이터베이스(50)에 저장된 정보를 통해 사용자인지, 표정감지, 나이추정, 감정추론을 수행한다.

이하에서는, 상기 시스템을 통한 동작 과정에 대해 설명하기로 한다.

먼저, 상기 센서 모듈(20)은 사용자의 얼굴과 전신을 촬영하고 있는 상기 카메라(22)로부터 획득한 영상을 통해 특징점 및 패턴을 추출하여 상기 제어 모듈(10)로 획득 정보를 송신한다. 그리고, 상기 송신된 정보는 상기 제어 모듈(10)에서 크게 학습과 구동으로 나뉘는데, 학습을 위해 상기 학습 모듈(40)로 보내어 상기 데이터베이스(50)에 학습 데이터를 저장하게 된다. 그리고, 상기 로봇의 구동을 위해 상기 제어 모듈(10)은 입력 받은 특징점 및 패턴을 계산, 판단, 저장 과정을 거쳐 상기 구동 모듈(60)로 전달하여 상기 구동 모듈(60)을 구동 시킨다. 이때, 상기 제어 모듈(10)의 계산, 판단을 위해서 상기 추론 모듈(30)을 이용하며, 사람인지, 표정감지, 나이추정, 감정을 추론한다. 상기 추론에 필요한 데이터는 상기 데이터베이스(50)에 저장된 정보를 이용한다.

이하에서는, 상기 데이터베이스(50)를 통해 수신된 정보로 추론이 이루어지는 과정에 대해 설명하기로 한다.

도 2는 본 발명의 일 실시 예에 따른 추론 모듈에서 추론 과정을 설명하기 위한 도면이다.

도 2를 참조하면, 먼저 추론 모듈(30)은 분류 대상에 따라 사람 분류기(31), 표정 분류기(32), 나이 분류기(33), 감정 분류기(34)를 포함한다. 그리고, 상기 데이터베이스(50)에는 상기 추론 모듈(30)의 각각에 분류기에 대응되도록 사람DB(51), 표정DB(52), 나이DB(53), 감정DB(54)가 포함된다.

이하에서, 설명되는 용어 중 시계열 분류기라 함은 상기 카메라(22)를 통해 촬영되는 영상 중 연속된 순간을 보여주는 움직이는 영상을 통해 추론이 가능한 분류기를 칭하고, 이산형 분류기라 함은 상기 카메라(22)를 통해 촬영되는 영상 중 특정 순간을 캡쳐한 사진을 통해 추론이 가능한 분류기를 칭한다.

상기 사람 분류기(31)는 주인인 사용자를 찾기 위해 존재하며 시계열 분류기이다. 주인으로 여러 명의 사용자 등록이 가능하며 최초에는 사람여부를 추론하는 학습데이터가 상기 데이터베이스(50)에 존재한다. 따라서, 상기 사람여부를 추론하는 학습데이터를 통해 사람임을 감지하고, 상기 사람 중 사용자에 의해 자신이 주인이라는 것이 학습된다. 여러 명의 주인 등록을 위해 상기 학습 모듈(40)의 학습과정이 필요하다. 주인 등록을 위해 입력되는 영상데이터는 시계열 데이터로 존재하며 주인 레이블링을 포함하여 사람DB(51)에 저장된다. 즉, 상기 학습 모듈(40)에 학습과정을 거쳐 주인으로 인식된 결과 데이터가 상기 사람DB(51)에 저장되는 것이다. 여러 명의 레이블링된 주인에 대한 사람DB(51)에 저장하면서 각 주인의 가중치 및 친밀도를 사용 횟수를 고려하여 함께 저장되여 분류기 결과값의 가중치로 사용된다. 주인 추론에는 시계열 분류기 모델이 사용되고 추론의 과정을 거칠 때 마다 사람DB(51)에 데이터를 저장하고 학습한다. 저장시에는 영상에서 입력되는 모든 사람에 대한 특징점 및 각 분류기의 추론 결과를 저장한다.

예를 들면, 평소에 안경을 쓰지 않는 사용자가 안경을 착용하고 로봇에게 주인임을 인증하기 위해서 얼굴만을 데이터로 추론하는 것이 아니라 사전에 학습된 일종의 모션이나 얼굴의 다른 부분의 특징으로 주인임을 추론할 수 있다.

상기 표정 분류기(32)는 이산형 분류기로, 사용자의 표정감지를 위해서 존재한다. 최초에는 사전에 수집된 상기 표정DB(52)의 데이터를 활용한다. 상기 표정 분류기(32)의 데이터는 상기 표정DB(52)로부터 학습을 하게 되며 표정DB(52)상의 데이터는 기쁨, 슬픔 등 감정을 표현하는 여러 레이블링이 존재하며 이산값으로 저장되어 존재한다.

상기 나이 분류기(33)는 나이추정을 위해 존재하며 이산형 분류기이다. 사전에 수집된 성별 및 나이 분류기에 대한 학습데이터를 보유하고 있으며, 나이DB에 반드시 일정시간 단위나 특정 상황에 맞추어 학습하지는 않는다. 나이를 추정하는데 사용하는 영상데이터의 특징 값에 대한 종류는 이산 값 형태로 저장된다. 상기 추론 모듈(30)은 새로운 사용자가 입력으로 영상으로 받을 때 마다 나이 추론을 하며 나이에 대한 특징에 따른 레이블링과 함께 상기 나이DB(53)에 함께 저장한다.

예를 들면, 주인과 함께 있는 다른 사람의 나이를 저장하는데 있어 나이 분류기를 이용해 특징점을 뽑고 추론된 나이를 사람DB(53)에 함께 저장함으로서 이후에 다시 만나게 됐을 경우 일련의 표현(반김 기능 등)을 할 수 있도록 하는 기반이 된다.

상기 감정 분류기(34)는 감정추론을 위해서 존재하며 시계열 분류기 모델을 사용한다. 최초에는 사전에 수집된 기쁨, 슬픔, 두려움 등의 정보가 DB에 존재한다. 감정 추론에 사용되는 데이터의 형태는 시계열 데이터로 구성되어 있고, 각 감정에 대한 레이블링이 되어있다. 사용자가 느끼는 감정은 추론시에 새로 학습되며 데이트베이스(50)에 추가 저장하는 형태로 이루어진다.

본 발명은 다양한 서비스 로봇에 적용될 수 있다. 예를 들어 전시회나 대형마트 또는 백화점 등에서 목적에 맞는 서비스 대화를 하거나 안내 등 고객 맞춤형 대화를 할 수 있는 안내 로봇, 대화형 학습 콘텐츠를 제공하거나 또는 자율형 학습 및 학습에 대한 진도 평가를 할 수 있는 교육 로봇, 양로원이나 요양원 또는 노인 병원 등에서 노약자의 말벗 상대가 되어 노약자의 외로움을 해소하고 친밀감을 느껴 정서적 안정감을 제공하도록 하는 실버 로봇, 유아원이나 유치원 또는 고아원 등에서 영유아와 같이 대화와 놀이를 할 수 있도록 하는 키즈 로봇,가정 또는 회사에서 개인화/최적화된 서비스를 제공하는 가정/오피스 로봇 등에 적용될 수 있다.

Claims (10)

1. 사용자에 의해 입력되는 명령을 감지하는 센서 모듈;
   상기 센서 모듈을 통해 입력된 정보에 기초하여, 상기 사용자의 입력이 학습되는 학습 모듈;
   상기 학습 모듈을 통해 학습된 정보가 저장되는 데이터베이스;
   상기 데이터베이스에 저장된 정보에 기초하여, 상기 센서 모듈을 통해 입력된 사용자의 행동 및 언어를 추론하는 추론 모듈; 및
   상기 추론 모듈의 추론 결과에 따라 구동 모듈을 통해 설정된 동작 또는 소리를 구동시키는 제어 모듈을 포함하는 학습과 추론이 가능한 로봇 서비스 시스템.
   
2. 제 1 항에 있어서,
   상기 센서 모듈은,
   카메라를 통해 사용자의 음성, 동작, 영상을 감지하는 것을 특징으로 하는 로봇 서비스 시스템.
   
3. 제 2 항에 있어서,
   상기 학습 모듈은,
   상기 센서 모듈을 통해 입력되는 사용자의 음성, 동작, 영상을 통해 주인 인지, 표정 감지, 나이 정보, 감정 정보를 식별하여 상기 데이터베이스에 저장하는 것을 특징으로 하는 학습과 추론이 가능한 로봇 서비스 시스템.
   
4. 제 3 항에 있어서,
   상기 데이터베이스에는,
   사용자 정보, 사람 인지, 주인 정보에 대한 데이터가 저장되는 사람DB;
   사람의 표정에 대한 정보가 저장되는 표정DB;
   사용자에 성별 및 나이에 관련된 정보가 저장되는 나이DB; 및
   사용자의 감정에 대한 정보가 저장되는 감정DB를 포함하는 학습과 추론이 가능한 로봇 서비스 시스템.
   
5. 제 4 항에 있어서,
   상기 추론 모듈은,
   상기 사람DB로부터 학습데이터를 수신하여 사용자의 특징 및 주인임을 추론하는 사람 분류기;
   상기 표정DB로부터 학습데이터를 수신하여 사용자의 표정을 감지하기 위한 표정 분류기;
   상기 나이DB로부터 학습데이터를 수신하여 사용자의 나이 추정을 위한 나이 분류기; 및
   상기 감정DB로부터 학습데이터를 수신하여 사용자의 감정을 추정하기 위한 감정 분류기를 포함하는 학습과 추론이 가능한 로봇 서비스 시스템.
   
6. 제 5 항에 있어서,
   상기 사람 분류기와 상기 감정 분류기는,
   상기 센서 모듈을 통해 촬영된 움직이는 영상을 통해 사용자의 행동 및 언어를 추론하는 것을 특징으로 하는 학습과 추론이 가능한 로봇 서비스 시스템.
   
7. 제 5 항에 있어서,
   상기 표정 분류기와 상기 나이 분류기는,
   상기 센서 모듈을 통해 촬영된 특정 순간의 사진을 통해 사용자의 행동 및 언어를 추론하는 것을 특징으로 하는 학습과 추론이 가능한 로봇 서비스 시스템.
   
8. 제 5 항에 있어서,
   상기 사람 분류기는,
   상기 사람DB에 저장된 사용자의 사용횟수를 고려하여 각 사용자의 가중치 및 친밀도를 정하는 것을 특징으로 하는 학습과 추론이 가능한 로봇 서비스 시스템.
   
9. 제 1 항에 있어서,
   상기 구동 모듈은,
   음악이나 효과음의 소리, 특정 동작이나 몸짓을 표현하거나 주행을 하는 행위, 언어를 표현함으로써 구동되는 것을 특징으로 하는 학습과 추론이 가능한 로봇 서비스 시스템.
   
10. 제 1 항에 있어서,
    상기 학습 모듈의 학습은,
    사용자의 비언어적 표현 또는 언어적 표현에 따른 로봇의 행동이 정해지는 것에 의해 수행되는 학습과 추론이 가능한 로봇 서비스 시스템.
    
    

Images