KR20200143764A - 감성 교감 서비스 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 감성 교감 로봇 서비스 시스템 및 그 방법에 관한 것이다. 본 발명의 감성 교감 로봇 서비스 시스템 및 그 방법은, 감지센서, 영상센서 및 음성센서로부터 수신된 감지 정보, 영상 정보, 음성 정보를 이용하여 사용자를 적극적으로 유도하고, 사용자의 영상 정보 및 음성 정보를 획득함에 있어서, 로봇 시스템 측에서 사용자에 대해 원하는 필요한 인식 정보를 얻을 때까지, 미리 설정된 형태의 표현을 사용자에게 계속 준다. 이렇게 획득된 사용자의 영상 정보 및 음성 정보를 이용하여, 사용자의 상황 및 감정 상태를 파악하여, 로봇 시스템은 사용자와의 맞춤형 대화를 수행하고 사용자가 원하는 서비스를 제공할 수 있게 된다. 이와 같은 본 발명에 의하면, 로봇이 원하는 정보를 얻을 때까지 로봇이 사용자(인간)에게 표현(피드백)을 해줌으로써, 최종적으로는 사용자(인간)와 로봇 간에 상황에 맞는 대화를 나눌 수 있거나 또는 사용자가 원하는 서비스를 제공할 수 있는 장점이 있으며, 이로 인해 어떠한 상황이나 장소, 시간 등에 적합한 맞춤형 감성 교감 서비스를 제공할 수 있는 효과가 있다.

Description

감성 교감 서비스 시스템 및 그 방법{Emotional Sympathy Service System and Method of the Same}

본 발명은 로봇 서비스 시스템에 관한 것으로서, 더 상세하게는 로봇이 원하는 인식 정보를 얻을 때까지 로봇이 사용자(인간)에게 표현(피드백)을 해줌으로써, 궁극적으로 사용자(인간)와 로봇 간에 원만한 대화가 이루어지거나 또는 사용자에게 필요한 서비스를 제공할 수 있도록 하는 감성 교감 로봇 서비스 시스템 및 그 방법에 관한 것이다.

오늘날, 시각이나 청각, 촉각 센서와 같은 다양한 센서 정보를 이용하여 감정이나 행동을 생성하거나 선택하여 표현하는 시스템은 애완용 로봇이나 지능형 로봇 형태로 개발되어 있고, 동물을 모사하거나 의인화된 감정을 기반으로 더욱 자연스러운 행동을 표현하기 위해 감정 엔진이나 이와 관련된 시스템에 관한 기능 개선 연구가 꾸준히 진행되고 있다.

또한, 인간과 로봇의 자연스러운 상호작용을 위해 사용자에 의한 입력과 상태 변화를 감지하기 위한 센서 장치의 기능 개선과 함께 이러한 센서를 이용하여 사용자의 의도를 파악하기 위한 기술 개발이 시도되고 있으며, 로봇 구동 장치에 있어서도 자연스러운 행동을 표현하기 위해 구동기 기술에 대한 다양한 연구가 이루어지고 있다.

이러한 로봇 환경하에서의 종래 로봇의 경우에는 얼굴, 음성 등을 센서로 인식하여 사용자의 얼굴이나 말 등을 인식했다. 이러한 인식 방식은 협조적인 상황, 예를 들면 실험실이나 개발자의 연구실, 고요한 실내 등과 같은 상황에서는 인식률이 비교적 높았으나, 비협조적인 상황, 예를 들면 실제의 주변 상황이나, 조명, 소음, 일반인, 다수 등과 같은 상황에서는 인식률이 현저히 떨어졌다. 따라서, 협조적 상황 중심으로 개발되었던 기존의 서비스 로봇의 경우 실제 현장에서 인간(사용자)과 능동적 상호작용을 하지 못해 원격제어 등에 의해 서비스가 이루어지는 문제점이 발생하게 된다. 실환경에서 로봇의 영상 또는 음성의 인지기술을 높이기 위한 연구개발이 진행되고 있으나, 이를 위해서는 막대한 투자비와 연구기간이 소요되고 또는 투자만큼의 결과물이 도출되지 않아 산업현장에서 기업의 시장 진출 및 수익 창출에 어려움이 발생하게 된다.

한편, 최근의 음성인식 스마트 기기(스마트 폰, 스마트 탭, 태블릿 PC 등)나 로봇 등의 경우, 아주 가까운 거리에서 말해야 인식률이 높아지나, 조금이라도 떨어져 있는 경우 인식률이 현저히 떨어져 관련성이 없는 결과물들을 도출시키는 문제가 있다. 결과적으로, 종래 로봇의 경우에는 비협조적인 상황에서는 바로 상황이 종료되거나 의도하지 않는 결과물을 도출시키는 문제점이 있다.

본 발명은 상기와 같은 사항을 감안하여 창출된 것으로서, 로봇이 원하는 정보를 얻을 때까지 로봇이 사용자(인간)에게 유도 표현을 줌으로써 의도적 협조상황을 만들어, 최종적으로는 사용자와 로봇 간에 상황에 맞는 대화를 나누거나 사용자에게 필요한 서비스를 제공할 수 있도록 하는 감성 교감 로봇 서비스 시스템 및 그 방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 감성 교감 로봇 서비스 시스템은, 감지센서와 영상센서 및 음성센서를 포함하는 센서 모듈; 상기 감지센서로부터 수신된 정보를 이용하여 행동 정보를 추출하는 감지 인식부와, 상기 영상센서로부터 수신된 정보를 이용하여 얼굴 정보를 추출하는 영상 인식부 및 상기 음성센서로부터 수신된 정보를 이용하여 음성 언어 정보를 추출하는 음성 인식부를 포함하는 상황인식 모듈; 상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 수신하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하여, 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 정보를 얻기 위해 사용자의 유도를 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 사용자에게 감정 및 상황에 맞는 서비스를 제공하는 서비스 처리 모듈; 및, 상기 서비스 처리 모듈의 처리 신호에 따라 외부에 미리 설정된 표현을 하는 표현 모듈을 포함한다.

한편, 상기 서비스 처리 모듈은 상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 이용하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 인식 정보 판단부; 상기 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 정보를 얻기 위해 상기 표현 모듈을 통해 사용자의 유도를 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 상기 표현 모듈을 통해 사용자에게 상황 및 감정에 맞는 서비스를 제공하도록 판단하는 로봇 서비스 판단부; 및, 상기 로봇 서비스 판단부를 통해 상황 및 감정에 맞는 서비스를 로봇 표현에 적합하도록 필요한 데이터로 정보 처리하는 로봇 표현 처리부를 포함한다.

한편, 상기 표현 모듈은 음악이나 효과음의 소리나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현, 또는 가시적으로 볼 수 있는 광의 표시를 하는 감성 표현부; 특정 동작이나 몸짓을 표현하거나 또는 주행을 하도록 하는 행위 표현부; 언어로 표현하는 발화 표현부; 및, 상기 서비스 처리 모듈로부터 수신된 처리 신호를 상기 감성 표현부, 행위 표현부, 발화 표현부로 표현 데이터를 할당하도록 하는 로봇 표현부를 포함한다.

또한, 상기 표현 모듈은 상기 서비스 처리 모듈로부터 제공된 상황 및 감정 정보와 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 이용하여, 사용자와의 맞춤형 대화를 수행할 수 있도록 대화를 통합적으로 관리하여 상기 발화 표현부를 통해 표현하도록 하는 대화 관리부를 더 포함한다.

또한, 상기 대화 관리부는 통합 대화 관리 체계로서 목적형 대화처리부, 잡담형 대화처리부, 및 질의 응답부를 포함한다.

한편, 상기 목적을 달성하기 위한 본 발명에 따른 감성 교감 로봇 서비스 방법은, 감지센서와 영상센서 및 음성센서를 포함하는 센서 모듈, 상황인식 모듈, 서비스 처리 모듈, 표현 모듈을 포함하는 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법으로서, a) 상기 감지센서, 영상센서, 음성센서로부터 수신된 정보를 이용하여 상황인식 모듈이 행동 정보, 얼굴 정보, 음성 언어 정보를 추출하는 단계; b) 상기 추출된 인식 정보를 이용하여 서비스 처리 모듈이 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 단계; c) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 상기 서비스 처리 모듈이 사용자의 유도를 위한 표현을 하도록 처리하는 단계; d) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한 경우 상기 서비스 처리 모듈이 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하는 단계; 및, e) 상기 사용자의 상황 및 감정을 분석한 결과 및 상기 사용자의 유도를 위한 표현 처리 정보를 수신하여, 상기 표현 모듈이 외부에 미리 설정된 표현을 하는 단계를 포함한다.

한편, 상기 단계 d) 단계는 사용자의 영상 정보 및 음성 정보를 이용하여, 사용자의 언어와 표정을 같이 분석하여 사용자의 연령대, 성별, 표정에 따라 상황 및 감정을 분석하는 동시에, 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 제공하는 것을 포함한다.

또한, 상기 단계 e) 단계에서 사용자의 유도를 위한 미리 설정된 형태의 표현은, 미리 설정된 언어를 표현하거나, 가시적으로 볼 수 있는 광을 표시하거나, 미리 설정된 음악이나 효과음의 사운드를 출력하거나, 특정 동작(제스처) 또는 주행을 하거나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현을 하는 것 중의 적어도 하나를 포함한다.

이와 같은 본 발명에 의하면, 로봇이 원하는 정보를 얻을 때까지 로봇이 사용자(인간)에게 유도 표현을 해줌으로써, 능동적으로 사용자 참여를 유도하고 의도적 협조상황을 만들게 하여, 최종적으로는 로봇과 사용자 간에 상황에 맞는 대화를 나누거나 사용자가 필요로 하는 적절한 서비스를 제공할 수 있게 된다. 이로 인해, 본 발명이 적용되는 다양한 목적의 서비스 로봇 예를 들면 안내 로봇, 교육 로봇, 노약자를 위한 말벗 로봇, 가정/오피스 로봇 등이 어떠한 상황이나 장소, 시간 등에서 사용자에게 적합한 맞춤형 감성 교감 서비스를 제공할 수 있어 결국 사용자 만족도를 높이는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 시스템의 개략적인 구성도.
도 2는 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 방법의 실행 과정을 보여주는 흐름도.

본 발명을 설명함에 있어서, 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의를 위해 과장되거나 단순화되어 나타날 수 있다. 또한 본 발명의 구성 및 작용을 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 이러한 용어들은 본 명세서 전반에 걸친 내용을 토대로 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 시스템의 구성을 개략적으로 보여주는 도면이다. 본 발명에 따른 감성 교감 로봇 서비스 시스템은 일반적으로 몸체를 포함하는 로봇 등에 구체적으로 적용되며, 로봇 몸체에는 터치 에 의한 입력과 출력이 동시에 이루어지는 디스플레이부가 구비된다.

도 1을 참조하면, 본 발명에 따른 감성 교감 로봇 서비스 시스템은 센서 모듈(110), 상황 인식 모듈(120), 서비스 처리 모듈(130), 표현 모듈(150), 데이터베이스부(140,160)를 포함한다.

센서 모듈(110)은 보통 로봇 몸체의 외부에 설치되며, 사용자와의 거리나 동작을 감지하는 감지센서(112)와, 이미지를 포함하는 영상을 감지하는 영상센서(114) 및 음성을 감지하는 음성센서(116)를 포함한다. 감지센서(112)는 예를 들어 물체를 감지하고 거리를 파악하는 초음파 센서나 적외선 센서 또는 레이저 센서 등의 거리센서와, 동작 또는 제스처를 감지하는 모션감지센서 등을 포함한다. 한편, 영상센서(114) 및 음성센서(116)는 영상 및 음성 정보를 수집하기 위해 필요한 장치 예를 들어 카메라, 마이크 등을 포함하는 개념으로 해석될 수 있다.

상황 인식 모듈(120)은 상기 센서 모듈(110)의 각종 센서들로부터 수신된 정보를 이용하여 거리 정보, 영상 정보, 음성 정보 중 필요한 정보를 추출하여 후속 장치요소로 전달하며, 구체적으로 감지 인식부(122)와 영상 인식부(124) 및 음성 인식부(126)를 포함한다.

감지 인식부(122)는 감지센서(112)로부터 입력된 감지정보로부터 사용자와의 거리 및 위치, 동작, 자세 또는 제스처 등에 대한 행동 정보를 추출하게 된다. 영상 인식부(124)는 영상센서(114)로부터 입력된 정보를 영상 처리하여 그 중 사용자의 얼굴 정보를 추출하게 된다. 그리고 음성 인식부(126)는 음성센서(116)로부터 입력된 정보에서 언어 정보를 추출하게 된다.

서비스 처리 모듈(130)은 상기 상황 인식 모듈(120)의 감지 인식부(122), 영상 인식부(124), 음성 인식부(126)로부터 추출된 각종 인식 정보를 이용하여 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하여, 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 인식 정보를 얻기 위해 사용자 유도를 위한 표현을 하도록 처리한다. 그리고, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 종합적으로 분석하여 사용자에게 상황 및 감정에 맞는 서비스를 제공하게 된다. 구체적으로, 서비스 처리 모듈(130)은 인식 정보 판단부(132)와, 로봇 서비스 판단부(134) 및 로봇 표현 처리부(136)를 포함한다.

인식 정보 판단부(132)는 감지 인식부(122), 영상 인식부(124), 음성 인식부(126)로부터 추출된 각종 인식 정보를 이용하여 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단한다. 예를 들어, 감지 인식부(122)를 통해 수신된 사용자 행동 정보를 이용하여, 사용자와의 거리가 설정된 거리를 벗어나는 경우, 또는 사용자가 뛰거나 달리는 등으로 인해 미리 설정된 속도를 벗어나는 경우 등 감지 DB(141)에 저장되어 있는 행동 정보와 비교하기 곤란하거나 비교할 수 없어 미리 설정된 행동 정보를 벗어나는 경우 원하는 인식 정보에 해당하지 않는 것으로 판단하게 된다. 또한, 영상 인식부(124)를 통해 수신된 얼굴 인식 정보가 부족하거나 또는 식별할 수 없어 영상 DB(142)에 저장되어 있는 얼굴 정보와 비교하기 곤란하거나 비교할 수 없는 경우 원하는 인식 정보에 해당하지 않는 것으로 판단하게 된다. 그리고, 음성 인식부(126)를 통해 수신된 음성 언어 정보가 부족하거나 또는 식별할 수 없어 음성 DB(143)에 저장되어 있는 언어 정보와 비교하기 곤란하거나 비교할 수 없는 경우 원하는 인식 정보에 해당하지 않는 것으로 판단하게 된다.

로봇 서비스 판단부(134)는 인식 정보 판단부(132)에 의해 판단된 결과를 이용하여, 사용자 유도 표현을 하도록 하거나 또는 사용자에게 각각의 상황에 맞는 서비스를 제공하도록 처리한다.

먼저 인식 정보 판단부(132)에서 원하는 인식 정보에 적합하지 않다고 판단하는 경우, 로봇 서비스 판단부(134)는 원하는 정보를 얻기 위해 표현 모듈(150)을 통해 사용자 유도를 위한 표현(피드백)을 하도록 처리한다. 예를 들어 감지된 사용자의 행동이 미리 설정된 행동 정보를 벗어나서 원하는 인식 정보에 해당하지 않는 것으로 판단되면, 로봇 서비스 판단부(134)는 상기 표현 모듈(150)을 통해 설정된 형태의 행동으로 표현을 하도록 처리한다. 또한, 얼굴 정보가 원하는 인식 정보에 해당하지 않는 것으로 판단되면, 로봇 서비스 판단부(134)는 상기 표현 모듈(150)을 통해 얼굴 인식이 잘되는 위치 또는 자세로 사용자를 유도하도록 처리한다. 그리고, 음성 언어 정보가 원하는 인식 정보에 해당하지 않는 것으로 판단되면, 로봇 서비스 판단부(134)는 상기 표현 모듈(150)을 통해 음성 인식이 잘되도록 다시 말하게 하거나 또는 음성 인식이 잘되는 위치로 사용자를 유도하는 표현을 하도록 처리한다.

한편, 인식 정보 판단부(132)에서 원하는 인식 정보에 적합하다고 판단하는 경우, 로봇 서비스 판단부(134)는 상기 각각의 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 판단하고, 상기 표현 모듈(150)을 통해 각각의 상황 및 감정에 대응하는 서비스를 제공하도록 한다. 또한, 로봇 서비스 판단부(134)는 사용자의 언어(언어 인식 정보) 및 얼굴 표정(얼굴 인식 정보)을 분석하여 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 제공한다. 사용자의 언어 만으로는 정확한 의도나 감정, 상태 등을 알기 어렵다. 따라서, 사용자의 얼굴 표정을 분석하여 사용자의 정확한 의도나 감정, 상태 등을 더욱 자세하게 파악하는데 도움이 된다. 예를 들어, 웃거나 미소짓거나 찡그리거나 화난 표정을 인식하여 기분상태를 알 수 있고, 입모양을 인식하여 음성의 인식율을 높일 수 있고, 얼굴을 인식하여 사용자의 성별 및 나이 등을 파악할 수 있게 된다. 따라서, 로봇 서비스 판단부(134)는 음성 및 영상 정보를 이용하여 연령대, 나이대, 성별 등의 요소를 모두 고려하여 사용자의 대화 의도, 감정, 기분, 상황 등을 파악할 수 있게 된다.

로봇 표현 처리부(136)는 로봇 서비스 판단부(134)를 통해 사용자 유도를 위한 표현과, 상황 및 감정에 맞는 서비스를 로봇 표현에 적합하도록 필요한 데이터로 처리하여 표현 모듈(150)에 송신한다.

표현 모듈(150)은 서비스 처리 모듈(130)의 서비스 처리 신호에 따라 외부에 미리 설정된 표현을 하며, 구체적으로 로봇 표현부(152), 감성 표현부(153), 행위 표현부(154), 발화 표현부(156), 대화 관리부(155)를 포함한다.

감성 표현부(153)는 로봇 표현부(152)로부터 처리신호를 받아 감성 DB(161)에 저장되어 있는 감성 표현 정보 즉, 음악이나 효과음 등의 소리나, 또는 사람 얼굴 또는 일정 캐릭터 형상의 표시, 또는 가시적으로 볼 수 있는 광의 표시를 하도록 하는 한다. 이를 위해 본 시스템이 적용되는 로봇 본체에는 소리 표현을 위한 스피커, 사람 얼굴 또는 일정 캐릭터 형상의 표현을 위한 디스플레이부, 광 표시를 위한 LED와 같은 다양한 램프 등이 설치되며, 또한, 상기 디스플레이부에는 터치 입력부가 같이 구비되어 감성 표현부(153)는 사용자 안내를 위한 UI 화면을 제공하거나, 전술한 바와 같이 사람 또는 일정 캐릭터 형상을 표시하도록 하여, 사용자와의 대화 또는 표현을 수행할 때 적합한 감정 표현을 할 수 있도록 할 수 있다.

행위 표현부(154)는 로봇 표현부(152)로부터 처리신호를 받아 행위 DB(162)에 저장되어 있는 행위 정보 즉, 로봇 몸체가 특정 동작이나 몸짓(로봇 얼굴을 기웃거린다거나 팔을 흔들거나, 몸체를 흔들거나 춤을 추는 동작 등 로봇 본체의 광범위한 움직임을 포함)을 표현하거나 또는 주행을 하도록 하게 한다. 로봇의 동작 표현 및 주행을 위해 로봇 몸체에는 바퀴 등을 포함하는 구동부와 기타 다양한 구성요소가 구비될 수 있다.

대화 관리부(155)는 발화를 하기 위해 필요한 말들을 만드는 역할을 수행하게 된다. 또한 대화 관리부(155)는 상기 서비스 처리 모듈(130)로부터 제공된 상황 및 감정 정보와 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 이용하여, 로봇 표현부(152)로부터 처리신호를 받아 대화 DB(163)에 저장되어 있는 대화 정보를 이용하여 사용자와의 맞춤형 대화를 수행할 수 있도록 대화를 통합적으로 관리한다. 이와 같은 대화 관리부(155)는 하나의 통합 대화 관리 체계로서 어떤 주제에 관해 사용자와 대화를 하게 하는 목적형 대화처리부, 사용자와 일상 생활 용어의 대화를 하도록 하는 잡담형 대화처리부), 사용자의 질문에 대해 답을 할 수 있도록 하는 질의 응답부(153)를 포함할 수 있다.

발화 표현부(156)는 대화 관리부(155)에서 만들어진 말들을 스피커를 통해 발화할 수 있도록 하며, 텍스트(문자)를 음성으로 합성하여 말(언어)로 표현하는 TTS(text-to-speech)가 구비될 수 있다.

로봇 표현부(152)는 서비스 처리 모듈(130)로부터 수신된 처리 신호를 상기 감성 표현부(153), 행위 표현부(154), 대화 관리부(155) 및 발화 표현부(156)로 표현 데이터를 할당하도록 하여 상기 각 구성요소들이 기능에 맞는 적합한 표현을 하도록 한다.

데이터베이스부(140,160)는 각종 감지 정보가 저장되어 있는 감지 DB(141), 영상 특히 얼굴 정보가 저장되어 있는 영상 DB(142), 음성 특히 언어 정보가 저장되어 있는 음성 DB(143)를 구비하는 제1데이터베이스부(140)와, 감성 정보가 저장되어 있는 감성 DB(161), 행위 정보가 저장되어 있는 행위 DB(62), 대화 정보가 저장되어 있는 대화 DB(163)을 구비하는 제2데이터베이스부(160)를 포함한다. 상기 데이터베이스부(140,160)는 본 시스템이 적용되는 로봇 몸체에 설치되거나, 또는 외부에 설치된 서버 등에 설치되어 로봇 본체와 통신을 수행하여 정보를 주고받을 수 있도록 할 수 있다.

이하, 상기와 같은 구성을 가지는 본 발명에 따른 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법에 대하여 설명해 보기로 한다.

도 2는 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 방법의 실행 과정을 보여주는 흐름도이다.

도 2를 참조하면, 본 발명에 따른 감성 교감 로봇 서비스 방법은, 전술한 바와 같은 센서 모듈(110), 상황 인식 모듈(120), 서비스 처리 모듈(130), 표현 모듈(150)을 포함하는 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법으로서, 먼저 상황 인식 모듈(120)은 센서 모듈(110)의 각각의 센서로부터 수집된 정보를 이용하여 정보를 추출하게 된다.

감지센서(112)로부터 감지 정보를 수신하게 되면(S211), 감지 인식부(122)는 이러한 감지 정보를 이용하여 행동 정보를 추출하게 된다(S212). 추출된 인식 정보(거리 정보)를 이용하여 서비스 처리 모듈(130)은 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하게 된다(S213).

원하는 인식 정보에 적합하지 않은 경우, 서비스 처리 모듈(130)은 사용자의 행동을 유도하는 표현을 하도록 필요한 정보를 처리하게 되고, 표현 모듈(150)은 서비스 처리 모듈(130)의 지시에 따라 미리 설정된 형태의 표현을 하도록 한다(S214).

즉, 사용자를 감지하였으나 미리 설정된 거리, 위치, 자세, 속도 등을 벗어나는 상태에 있는 경우, 서비스 처리 모듈(130)의 처리 신호에 따라 표현 모듈(150)은 미리 설정된 형태의 표현(피드백)을 사용자에게 준다. 예를 들면, 발화 표현부(156)를 통해 "가까이 오세요, 멀리 계시네요", "조금만 더 다가와 주세요", "뛰지 말고 천천히 다가와 주세요", "서서 걸어오세요" 라고 말로 표현하거나, 또는 감성 표현부(153)를 통해 램프로 깜빡깜빡 시각적으로 표시하거나 디스플레이부 상에 대기 화면에서 서비스 화면으로 화면 전환을 하거나, 또는 행위 표현부(154)를 통해 춤을 추거나 또는 구동부를 동작하여 사용자에게 다가가는 행위 등의 표현을 하도록 한다.

또한, 영상센서(114)로부터 영상 정보를 수신하게 되면(S221), 영상 인식부(124)는 이러한 영상 정보를 이용하여 그 중 얼굴 정보를 추출하게 된다(S222). 추출된 인식 정보(얼굴 정보)를 이용하여 서비스 처리 모듈(130)은 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하게 된다(S223).

원하는 인식 정보에 적합하지 않은 경우, 서비스 처리 모듈(130)은 사용자의 얼굴을 정확하게 인식하도록 위치 이동 또는 접근을 유도하는 표현을 하도록 필요한 정보를 처리하게 되고, 표현 모듈(150)은 서비스 처리 모듈(130)의 지시에 따라 미리 설정된 형태의 표현을 하도록 한다(S224).

즉, 사용자의 영상 정보를 획득한 후, 이 중에서 필요한 사람의 얼굴 정보를 추출하는데, 추출된 얼굴 정보가 식별이 정확히 안되거나 불명료하여 원하는 인식 정보가 아니라고 판단된 경우, 서비스 처리 모듈(130)의 처리 신호에 따라 표현 모듈(150)은 미리 설정된 형태의 표현(피드백)을 사용자에게 준다. 예를 들어, 발화 표현부(156)를 통해 "똑바로 봐주세요, 제(로봇) 얼굴을 정확히 봐주세요"라는 말로 표현하거나, 감성 표현부(153)를 통해 미리 저장된 음악을 재생하거나 또는/동시에 디스플레이부 상에 사람 얼굴 또는 캐릭터의 유혹하는 표정 또는 놀라는 표정 등의 화면을 제공하도록 하여 사용자의 얼굴을 인식하도록 유도하는 표현을 한다.

한편, 음성센서(116)로부터 음성 정보를 수신하게 되면(S231), 음성 인식부(126)는 이러한 음성 정보를 이용하여 그 중 언어 정보를 추출하게 된다(S232). 추출된 인식 정보(언어 정보)를 이용하여 서비스 처리 모듈(130)은 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하게 된다(S233).

원하는 인식 정보에 적합하지 않은 경우, 서비스 처리 모듈(130)은 사용자의 언어를 정확하게 인식하도록 유도하는 표현을 하기 위해 필요한 정보를 처리하게 되고, 표현 모듈(150)은 서비스 처리 모듈(130)의 지시에 따라 미리 설정된 형태의 표현을 하도록 한다(S224).

즉, 사용자의 음성 정보를 획득한 후, 이 중에서 필요한 사람의 언어 정보를 추출하는데, 추출된 언어 정보가 인식이 정확히 안되거나 언어 정보를 획득할 수 없는 경우, 서비스 처리 모듈(130)의 처리 신호에 따라 표현 모듈(150)은 미리 설정된 형태의 표현(피드백)을 사용자에게 준다. 예를 들어, 발화 표현부(156)를 통해 "무슨 말씀인지 잘 모르겠어요."라든가, "정확하게(분명하게) 말씀해 주세요." 또는 "∼라는 말이 맞습니까?" 라고 표현하여 사용자 언어 인식을 유도하도록 한다.

획득한 거리 정보, 얼굴 정보, 언어 정보가 원하는 인식 정보에 적합하다고 판단된 경우, 그 획득된 사용자의 얼굴 정보 및 언어 정보를 이용하여 서비스 처리 모듈(130)은 사용자의 상황 및 감정을 분석하고 사용자에게 상황 및 감정에 맞는 서비스를 제공하도록 처리하게 된다(S240). 즉, 서비스 처리 모듈(130)은 인식된 영상 정보 예를 들면, 표정(기분상태 알고자 함), 입모양(음성인식율 높이고자 함), 성별, 나이(존대말 유무) 등을 이용하여 사용자의 연령대, 성별, 기분 등을 파악한다. 그리고, 서비스 처리 모듈(130)은 인식된 얼굴 정보(감정, 기분, 연령대, 성별, 키) 및 언어 정보를 종합적으로 고려하여 감정, 상황, 개별적 지식 등에 맞는 목적형 대화, 잡담형 대화, 질의 응답, 검색, 일상대화, 평소 언어 등을 사용자와 대화하도록 처리하거나, 이러한 대화가 수행될 때 또는 별개로 상황에 적합한 표정이나 제스처를 표출하거나 터치 입력을 수행하도록 처리한다.

그런 후, 서비스 처리 모듈(130)의 처리 신호에 의해 표현 모듈(150)은 사용자와의 맞춤형 대화를 수행하거나(S260), 또는 디스플레이부에 사용자 터치 입력을 유도하는 발화 또는 UI 제공 또는 표정이나 캐릭터 형상을 표시하게 된다(S250).

이상의 설명에서와 같이, 본 발명에 의하면 로봇이 원하는 필요한 정보를 얻을 때까지 로봇이 사용자(인간)에게 유도를 위한 표현(피드백)을 줌으로써, 능동적으로 사용자 참여를 유도하고 의도적 협조상황을 만들게 하여, 최종적으로는 로봇과 사용자 간에 상황에 맞는 대화 또는 사용에게 필요한 서비스를 제공할 수 있게 된다. 이로 인해, 어떠한 상황이나 장소, 시간 등에서 사용자에게 적합한 맞춤형 감성 교감 서비스를 제공할 수 있어 사용자 만족도가 높아지는 효과가 있다.

본 발명은 다양한 서비스 로봇에 적용될 수 있다. 예를 들어 전시회나 대형마트 또는 백화점 등에서 목적에 맞는 서비스 대화를 하거나 안내 등 고객 맞춤형 대화를 할 수 있는 안내 로봇, 대화형 학습 콘텐츠를 제공하거나 또는 자율형 학습 및 학습에 대한 진도 평가를 할 수 있는 교육 로봇, 양로원이나 요양원 또는 노인 병원 등에서 노약자의 말벗 상대가 되어 노약자의 외로움을 해소하고 친밀감을 느껴 정서적 안정감을 제공하도록 하는 실버 로봇, 유아원이나 유치원 또는 고아원 등에서 영유아와 같이 대화와 놀이를 할 수 있도록 하는 키즈 로봇, 가정 또는 회사에서 개인화/최적화된 서비스를 제공하는 가정/오피스 로봇 등에 적용될 수 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당업자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

110: 센서 모듈 120: 상황 인식 모듈
122. 감지 인식부 124. 영상 인식부
126. 음성 인식부 130. 서비스 처리 모듈
132. 인식 정보 판단부 134. 로봇 서비스 판단부
136. 로봇 표현 처리부 150. 표현 모듈
152. 로봇 표현부 153. 감성 표현부
154. 행위 표현부 155. 대화 관리부
156. 발화 표현부

Claims (2)

1. 감지센서와 영상센서 및 음성센서를 포함하는 센서 모듈;
   상기 감지센서로부터 수신된 정보를 이용하여 행동 정보를 추출하는 감지 인식부와, 상기 영상센서로부터 수신된 정보를 이용하여 얼굴 정보를 추출하는 영상 인식부 및 상기 음성센서로부터 수신된 정보를 이용하여 음성 언어 정보를 추출하는 음성 인식부를 포함하는 상황인식 모듈;
   상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 수신하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하여, 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 인식 정보를 얻기 위해 사용자의 행위를 유도하기 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 사용자에게 상황 및 감정에 맞는 서비스를 제공하는 서비스 처리 모듈; 및,
   상기 서비스 처리 모듈의 처리 신호에 따라 외부에 미리 설정된 표현을 하는 표현 모듈을 포함하며,
   상기 서비스 처리 모듈은, 상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 이용하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 인식 정보 판단부; 상기 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 인식 정보를 얻기 위해 상기 표현 모듈을 통해 사용자의 행위를 유도하기 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 상기 표현 모듈을 통해 사용자에게 상황 및 감정에 맞는 서비스를 제공하도록 판단하는 로봇 서비스 판단부; 및, 상기 로봇 서비스 판단부를 통해 상황 및 감정에 맞는 서비스를 로봇 표현에 적합하도록 필요한 데이터로 정보 처리하는 로봇 표현 처리부를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
   
2. 제 1 항에 있어서,
   상기 표현 모듈은 음악이나 효과음의 소리나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현, 또는 램프로 광(光)의 표시를 하는 감성 표현부;
   특정 동작이나 몸짓을 표현하거나 또는 주행을 하도록 하는 행위 표현부;
   언어로 표현하는 발화 표현부; 및,
   상기 서비스 처리 모듈로부터 수신된 처리 신호를 상기 감성 표현부, 행위 표현부, 발화 표현부로 표현 데이터를 할당하도록 하는 로봇 표현부를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
   

Images