KR20160033502A - 감성 의자로봇 및 이의 제어방법 - Google Patents

Abstract

본 발명은 감성 의자로봇 및 이의 제어방법에 관한 것으로서, 보다 바람직하게는 사용자가 착석할 수 있는 착석부; 상기 착석부 및 상기 착석부의 전후방을 촬영하여 상기 착석부의 전후방에 존재하는 사용자의 얼굴 및 움직임, 상기 착석부 내 사용자의 착석여부를 나타내는 적어도 하나의 영상을 생성하는 카메라부; 상기 사용자의 음성신호를 입력받는 음성인식부; 상기 카메라부로부터 생성된 영상과 상기 음성인식부로부터 음성신호를 입력받고, 상기 영상 및 음성신호에 기초하여 상기 사용자의 얼굴인식, 움직임여부, 감정상태 및 착석여부를 판단하고, 판단결과에 대응하는 구동을 위한 적어도 하나의 제어신호를 생성하는 제어부; 상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 전후 좌우 방향으로 이동하는 이동부; 및 상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 효과음을 외부로 출력하는 스피커부;를 포함한다.
이러한 구성에 의해, 본 발명의 감성 의자로봇 및 이의 제어방법은 도서관과 같이 학습을 위한 특정 공간에 유아가 방문하는 경우, 방문한 유아의 얼굴을 인식하여 이전 방문한 적이 있으면 환영음을 출력하거나 또는 애완견과 같은 특정 행동을 수행하도록 함으로써, 유아의 지적 호기심을 향상시킬 뿐만 아니라, 지루함을 느끼지 못하도록 하여, 사용자 만족도를 향상시킬 수 있는 효과가 있다.

Description

감성 의자로봇 및 이의 제어방법{Emotional chair robot and control method thereof}

본 발명은 감성 의자로봇 및 이의 제어방법에 관한 것으로, 특히 유아들의 정서발달을 증진시키고, 학습 분위기를 유도할 수 있는 감성 의자로봇 및 이의 제어방법에 관한 것이다.

일반적으로 사용되는 로봇은 대부분 대량생산을 위한 공장자동화와 군무기용으로 주로 한정되었으며, 이밖에도 인간이 직접 작업하기 힘든 어려운 환경에서만 국한적으로 활용되었다.

이러한 로봇의 활용이 최근에 들어서는 개인생활 또는 엔터테인먼트 등의 분야로 확대되어, 더 이상 인간을 위해 위험하거나 힘든 일을 대신해 주는 의미로만 존재하는 것이 아닌, 인간과 함께 생활하며, 청소와 같은 작은 노동을 대신하거나, 교육, 오락 등의 서비스를 제공하는 서비스 로봇으로 인간의 생활에 보다 더 밀접하게 파고들고 있다.

특히, 이러한 서비스 로봇에 감성적인 부분을 부가하여 인간과 로봇 사이에 감성적 인터페이싱이 이루어지는 기술 또한 많은 주목을 받고 있다. 이러한 감성적 인터페이싱이란 로봇이 인간의 의도에 따라 효율적으로 작동하는 것을 나타낸다.

즉, 로봇이 인간과의 접촉을 통해 감정신호와 패턴을 센싱하여 접촉자의 감성상태와 심박동이나 피부반응 등의 생체 측정 정보를 통해 감성 인식율을 높일 수 있는 감정측정기술과 표정의 변화에 따른 감정변화를 추정하기 위해 영상정보를 분석하여 심리상태를 연결하여 해석하는 등의 인식된 감성에 대한 추론을 통해 감성 상태를 예측하고 표현하는 추론 인지 기술이 연구가 지속적으로 이루어지고 있다.

하지만 이처럼 감성적인 부분이 추가된 서비스 로봇은 사용자에 따라 달리 적용되는 서비스 응대의 정확성이 떨어질 수 있다. 예를 들어, 부모가 자녀의 지적 호기심을 조성하기 위하여, 유아인 자녀들을 데리고 도서관을 방문한다고 가정한다. 하지만 유아들은 성인들에 비하여 집중력 지속시간이 현저하게 떨어지게 되므로, 도서관을 방문하더라도 금세 호기심을 잃고 지루함을 느끼게 되어, 도서관과 같은 학습을 위한 특정 공간을 방문하더라도 학습에 대한 지적 호기심이 크게 떨어지는 등의 문제점이 발생했다.

KR 10-1083703호 (이동로봇과 학생간의 상호작용이 가능한 교육시스템, 주식회사 유진로봇) 2011.11.09.

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 유아가 도서관과 같이 학습을 위한 특정 공간을 방문 시, 유아의 얼굴, 움직임 등을 인식하여 방문에 따른 환영음 또는 특정 행동을 유아에게 제공함으로써, 유아로 하여금 학습을 위한 특정 공간에 대한 흥미를 지속적으로 유지시킬 뿐만 아니라, 유아의 감정상태를 공유할 수 있는 감성 의자로봇 및 이의 제어방법을 제공하고자 한다.

위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 감성 의자로봇은 사용자가 착석할 수 있는 착석부; 상기 착석부 및 상기 착석부의 전후방을 촬영하여 상기 착석부의 전후방에 존재하는 사용자의 얼굴 및 움직임, 상기 착석부 내 사용자의 착석여부를 나타내는 적어도 하나의 영상을 생성하는 카메라부; 상기 사용자의 음성신호를 입력받는 음성인식부; 상기 카메라부로부터 생성된 영상과 상기 음성인식부로부터 음성신호를 입력받고, 상기 영상 및 음성신호에 기초하여 상기 사용자의 얼굴인식, 움직임여부, 감정상태 및 착석여부를 판단하고, 판단결과에 대응하는 구동을 위한 적어도 하나의 제어신호를 생성하는 제어부; 상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 전후 좌우 방향으로 이동하는 이동부; 및 상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 효과음을 외부로 출력하는 스피커부; 를 포함한다.

보다 바람직하게는 상기 착석부의 일측에 구비되어, 상기 사용자와의 이격된 거리를 연산하기 위해 사용되며, 초음파 센서 및 적외선 감지 센서 중 적어도 하나를 포함하는 센서부;를 더 포함할 수 있다.

특히, 촬영하는 대상의 스켈리톤(skeleton) 데이터 및 깊이 정보를 나타내는 키넥트 카메라를 포함하는 카메라부를 포함할 수 있다.

보다 바람직하게는 상기 카메라부로부터 입력받은 영상으로부터 사용자의 눈, 코, 입을 포함하는 얼굴 구성요소를 추출하고, 추출한 얼굴 구성요소 중 눈, 코, 입의 위치정보에 기초하여 상기 얼굴 구성요소를 기설정된 크기로 변환하거나, 상기 얼굴 구성요소로부터 노이즈 정보를 제거하며, 상기 얼굴 구성요소의 픽셀정보를 2차원 행렬로 판단한 후, 상기 2차원 행렬을 이루는 기저행렬과 계수값 중 상기 계수값을 기저장된 사용자의 계수값과 비교하여 입력받은 영상 내 얼굴이 기저장된 얼굴인지 여부를 판단하고, 상기 영상 내 얼굴이 기저장된 얼굴로 판단하는 경우, 상기 사용자를 둘러싸며 회전하는 제어신호를 생성하는 사용자인식모듈;을 포함하는 제어부를 포함할 수 있다.

특히, 상기 카메라부로부터 입력받은 영상으로부터 기설정된 시간동안 사용자의 위치 이동이 발생하였거나, 정지하였는지 판단하고, 상기 사용자의 위치 이동이 발생하였다고 판단한 경우, 상기 사용자의 위치 이동에 따라 상기 사용자를 추적하여 이동하기 위한 제어신호를 생성하거나, 상기 사용자가 움직임이 없이 정지하였다고 판단한 경우, 효과음을 출력하기 위한 제어신호를 생성하는 것을 더 포함하는 사용자인식모듈을 포함할 수 있다.

보다 바람직하게는 상기 음성인식부로부터 상기 사용자의 음성신호를 입력받고, 입력받은 음성신호의 특징을 분석하여 상기 사용자의 감정상태를 판단하고, 판단한 감정상태와 부합하는 제어신호를 생성하여 출력하는 감정상태판단모듈;을 더 포함할 수 있다.

특히, 상기 사용자의 음성신호를 입력받아, 상기 음성신호로부터 인식 대상 구간을 검색하고, 검색한 인식 대상 구간 내 음성신호에 대하여 노이즈 성분을 제거한 후, 음성신호의 특징을 검출하는 감정상태판단모듈을 포함할 수 있다.

보다 바람직하게는 상기 카메라부로부터 입력받은 영상으로부터 상기 사용자의 착석부 내 착석여부를 판단하고, 상기 사용자의 착석부 내 사용자의 착석 또는 기립 시 효과음을 외부로 출력하기 위한 제어신호를 생성하는 착석판단모듈;을 더 포함하는 제어부를 포함할 수 있다.

보다 바람직하게는 상기 사용자인식모듈로부터 생성된 제어신호를 수신하고, 수신한 제어신호에 응답하여 상기 사용자의 얼굴이 기저장된 얼굴인 경우 상기 사용자를 둘러싸며 회전하거나, 상기 사용자의 위치 이동이 발생한 경우 상기 사용자를 추적하여 이동하는 이동부를 포함할 수 있다.

위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 감성 의자로봇의 제어방법은 카메라부가 사용자가 착석할 수 있는 착석부 및 상기 착석부의 전후방을 촬영하여 상기 착석부의 전후방에 존재하는 사용자의 얼굴 및 움직임, 상기 착석부 내 착석여부를 포함하는 적어도 하나의 영상을 생성하는 단계; 음성인식부가 상기 사용자의 음성신호를 입력받는 단계; 제어부가 상기 영상과 음성신호를 입력받고, 상기 영상 및 음성신호에 기초하여 상기 사용자의 얼굴, 움직임 여부, 감정상태 및 상기 착석부 내 착석여부를 판단하여 구동을 위한 적어도 하나의 제어신호를 생성하는 단계; 및 이동부가 상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 전후 좌우 방향으로 이동하는 단계; 스피커부가 상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 효과음을 외부로 출력하는 단계;를 포함한다.

본 발명의 감성 의자로봇 및 이의 제어방법은 도서관과 같이 학습을 위한 특정 공간에 유아가 방문하는 경우, 방문한 유아의 얼굴을 인식하여 이전 방문한 적이 있으면 환영음을 출력하거나 또는 애완견과 같은 특정 행동을 수행하도록 함으로써, 유아의 지적 호기심을 향상시킬 뿐만 아니라, 지루함을 느끼지 못하도록 하여, 사용자 만족도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명의 감성 의자로봇 및 이의 제어방법은 사용자의 착석을 위한 의자로 사용될 뿐만 아니라, 사용자의 음성신호를 통해 사용자의 감정상태를 판단하여 이와 유사한 효과음을 출력함으로써, 사용자로 하여금 감성이 공유되는 느낌을 전달받도록 하여 사용자의 감성을 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 감성 의자로봇의 개략도이다.
도 2는 제어부의 세부 구성을 나타낸 블록도이다.
도 3은 사용자의 음성신호를 분석과정을 나타낸 블록도이다.
도 4는 본 발명의 다른 실시 예에 따른 감성 의자로봇의 제어방법을 나타낸 순서도이다.
도 5는 본 발명의 감성 의자로봇의 제어방법의 일 예를 구체적으로 나타낸 순서도이다.

이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.

이하, 도 1을 참조하여 본 발명에 따른 감성 의자로봇에 대하여 자세히 살펴보도록 한다.

도 1은 본 발명의 일 실시 예에 따른 감성 의자로봇의 개략도이다.

도 1에 도시된 바와 같이, 본 발명의 감성 의자로봇(100)은 착석부(110), 카메라부(120), 음성인식부(130), 제어부(140), 이동부(150), 스피커부(160) 및 센서부(170)를 포함한다.

착석부(110)는 사용자가 착석할 수 있도록 원형 또는 사각형태의 받침대로 형성된다.

카메라부(120)는 상기 착석부(110) 및 상기 착석부(110)의 전후방을 촬영하여 상기 착석부(110)의 전후방에 존재하는 사용자의 얼굴 및 움직임, 상기 착석부(110) 내 사용자의 착석여부를 나타내는 적어도 하나의 영상을 생성한다. 이러한 카메라부(120)는 촬영하는 대상의 스켈리톤(skeleton) 정보와 깊이 정보를 나타내는 키넥트 카메라를 포함할 수 있다.

음성인식부(130)는 상기 사용자의 음성신호를 입력받는다.

제어부(140)는 상기 카메라부()120로부터 생성된 영상과 상기 음성인식부(130)로부터 음성신호를 입력받고, 상기 영상 및 음성신호에 기초하여 상기 사용자의 얼굴인식, 움직임여부, 감정상태 및 착석여부를 판단하고, 판단결과에 대응하도록 기설정된 구동을 위한 적어도 하나의 제어신호를 생성한다.

도 2는 제어부의 세부 구성을 나타낸 블록도이다.

도 2에 도시된 바와 같이, 제어부(140)는 사용자인식모듈(142), 감정상태판단모듈(144) 및 착석판단모듈(146)을 포함한다.

사용자인식모듈(142)은 상기 카메라부(120)로부터 입력받은 영상으로부터 사용자의 눈, 코, 입을 포함하는 얼굴 구성요소를 추출하고, 추출한 얼굴 구성요소 중 눈, 코, 입의 위치정보에 기초하여 상기 얼굴 구성요소를 기설정된 크기로 변환하거나, 상기 얼굴 구성요소로부터 노이즈 정보를 제거하며, 상기 얼굴 구성요소의 픽셀정보를 2차원 행렬로 판단한 후, 상기 2차원 행렬을 이루는 기저행렬과 계수값 중 상기 계수값을 기저장된 사용자의 계수값과 비교하여 입력받은 영상 내 얼굴이 기저장된 얼굴인지 여부를 판단하고, 상기 영상 내 얼굴이 기저장된 얼굴로 판단하는 경우, 상기 사용자를 둘러싸며 회전하는 제어신호를 생성한다.

뿐만 아니라, 상기 사용자인식모듈(142)은 상기 카메라부(120)로부터 획득한 영상을 통해 사용자의 스켈리톤 정보를 파악 후, 파악한 스켈리톤 정보로부터 얼굴을 검출해 인식을 시도한다. 이때, 얼굴이 인식되지 않은 사용자의 경우 데이터베이스에 저장한다. 하지만 이처럼 사용자의 얼굴이 인식되지 않는 경우에는 전적으로 상기 카메라부(120)가 스켈리톤 정보를 인식하느냐에 따라 성능이 좌우되기 때문에 필요 시 틸트 모터를 이용해 각도 변경을 수행한 후 다시 스켈리톤 정보의 인식을 시도할 수 있다.

또한, 상기 사용자인식모듈(142)은 상기 카메라부(120)로부터 입력받은 영상으로부터 기설정된 시간동안 사용자의 위치 이동이 발생하였거나, 정지하였는지 판단하고, 상기 사용자의 위치 이동이 발생하였다고 판단한 경우, 상기 사용자의 위치 이동에 따라 상기 사용자를 추적하여 이동하기 위한 제어신호를 생성하거나, 상기 사용자가 움직임이 없이 정지하였다고 판단한 경우, 효과음을 출력하기 위한 제어신호를 생성할 수 있다.

감정상태판단모듈(144)은 상기 음성인식부(130)로부터 상기 사용자의 음성신호를 입력받고, 입력받은 음성신호의 특징을 분석하여 상기 사용자의 감정상태를 판단하고, 판단한 감정상태와 부합하는 제어신호를 생성하여 출력한다. 이러한 감정상태판단모듈(144)은 도 3에 도시된 바와 같이, 상기 사용자의 음성신호를 입력받아, 상기 음성신호로부터 인식 대상 구간을 추출하고, 추출한 인식 대상 구간 내 음성신호에 대하여 노이즈 성분을 제거한 후, 음성신호의 특징을 검출할 수 있다.

착석판단모듈(146)은 상기 카메라부(120)로부터 입력받은 영상으로부터 상기 사용자의 착석부(110) 내 착석여부를 판단하고, 상기 사용자가 착석부(110)에 착석 또는 기립하는 경우 효과음을 외부로 출력하기 위한 제어신호를 생성한다.

이동부(150)는 상기 제어부(140)로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 전후 좌우 방향으로 이동한다. 이러한 이동부(150)는 상기 사용자인식모듈(142)로부터 생성된 제어신호를 수신하고, 수신한 제어신호에 응답하여 인식한 사용자의 얼굴이 데이터베이스에 기저장된 얼굴인 경우 상기 사용자를 둘러싸며 360도 회전하거나, 상기 사용자의 위치 이동이 발생한 경우 상기 사용자를 추적하여 이동할 수 있다.

스피커부(160)는 상기 제어부(140)로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 효과음을 외부로 출력한다.

센서부(170)는 상기 착석부(110)의 일측에 구비되어, 상기 사용자와의 이격된 거리를 연산하기 위해 사용되며, 초음파 센서 및 적외선 감지 센서 중 적어도 하나를 포함한다.

도 4는 본 발명의 다른 실시 예에 따른 감성 의자로봇의 제어방법을 나타낸 순서도이다.

도 4에 도시된 바와 같이, 본 발명의 감성 의자로봇의 제어방법은 먼저 카메라부(120)가 사용자가 착석할 수 있는 착석부(110) 및 상기 착석부(110)의 전후방을 촬영하여 상기 착석부(110)의 전후방에 존재하는 사용자의 얼굴 및 움직임, 상기 착석부(110) 내 착석여부를 포함하는 적어도 하나의 영상을 생성한다(S210).

음성인식부(130)가 상기 사용자의 음성신호를 입력받는다(S220).

제어부(140)가 상기 영상과 음성신호를 입력받고, 상기 영상 및 음성신호에 기초하여 상기 사용자의 얼굴, 움직임 여부, 현재 감정상태 및 상기 착석부(110) 내 착석여부를 판단하여 구동을 위한 적어도 하나의 제어신호를 생성한다(S230).

이러한 제어부(140)의 세부 처리과정에 대하여 자세히 살펴보도록 한다.

상기 카메라부(120)로부터 입력받은 영상으로부터 눈, 코, 입을 포함하는 얼굴 구성요소를 추출한다.

추출한 얼굴 구성요소 중 눈, 코, 입의 위치정보에 기초하여 상기 얼굴구성요소를 기설정된 크기로 변환하거나, 상기 얼굴 구성요소로부터 조명, 표정, 포즈 성분 등과 같은 노이즈 정보를 제거한다.

상기 얼굴 구성요소의 픽셀정보를 2차원 행렬로 판단한 후, 상기 2차원 행렬을 이루는 기저행렬과 계수값 중 상기 계수값을 기저장된 사용자의 계수값과 비교하여 입력받은 영상 내 얼굴이 기저장된 얼굴인지 여부를 판단한다.

상기 영상 내 얼굴이 기저장된 얼굴로 판단하는 경우, 상기 사용자를 둘러싸며 회전하는 제어신호를 생성한다.

예를 들어, 얼굴에서 눈, 코, 입의 경우에는 주변보다 어두운 픽셀 값으로 이루어져 있고, 뺨, 이마의 경우 주변 픽셀과 비슷한 값으로 이루어져 있다는 얼굴의 영역별 특성을 이용할 수 있다.

이후, 추출한 얼굴 구성요소에 대한 특징을 추출하기 위해서는 눈, 코, 입과 같은 얼굴을 구성하는 요소들의 특징점을 찾아서 각 점들 사이의 위치 또는 모양 등을 측정함으로써 얼굴 영상들 사이의 유사도를 비교하거나, 얼굴을 픽셀 값으로 구성된 2차원의 행렬로 보고 인식을 수행하며, 정규화 된 얼굴은 다양한 얼굴을 표현할 수 있는 기저 행렬과 계수(α1, α2, α3,…, αn)의 곱으로 표현될 수 있다. 이렇게 추출된 계수 값이 각각의 얼굴을 대표하는 특징정보로서 사용되며, 입력 영상의 계수 값과 사전에 등록된 얼굴들의 계수 값 사이의 특징 공간상에서의 거리를 비교하여 가장 가까운 거리에 있는 것을 해당 사람으로 인식하게 된다.

또한, 종래의 카메라에 이용자의 사진만 보여주면 보안이 뚫리는 한계점을 극복하기 위해서, 카메라부(120)는 스켈리톤 정보(Skeleton Data)와 깊이정보(Depth Data)를 제공해주는 키넥트 카메라를 포함할 수 있다. 단순히 보여지는 사진 속 얼굴이 아닌, 직접 다가간 사용자의 스켈리톤 정보의 머리(얼굴)에 해당하는 부분을 인지해, 그 화면을 인자로 넘기도록 구현한다.

앞서 검출된 얼굴을 미리 저장된 데이터베이스 내 얼굴 정보들과 매칭시켜, 기준 신뢰도 이상의 매칭률을 넘길 시 데이터베이스 내 기저장된 얼굴과 검출된 얼굴이 동일 인물이라고 인식한다. 이를 통해 사용자가 로봇을 처음 사용하는지 여부를 알아내어, 이동부(150)가 상기 사용자의 주변을 둘러싸며 360도 회전하거나, 스피커부(160)가 밝은 분위기의 환영음을 출력하도록 하는 제어신호를 생성한다.

상기 카메라부(120)로부터 입력받은 영상으로부터 기설정된 시간동안 사용자의 위치 이동이 발생하였거나, 정지하였는지 판단한다.

상기 사용자의 위치 이동이 발생하였다고 판단한 경우, 상기 사용자의 위치 이동에 따라 상기 사용자를 추적하여 이동하기 위한 제어신호를 생성하거나, 상기 사용자가 움직임이 없이 정지하였다고 판단한 경우, 효과음을 출력하기 위한 제어신호를 생성한다.

상기 음성인식부(130)로부터 상기 사용자의 음성신호를 입력받아, 상기 음성신호의 특징을 분석한다.

상기 음성신호의 특징에 따라 상기 사용자의 감정상태를 판단한다. 즉, 상기 사용자의 음성신호를 입력받아, 상기 음성신호로부터 인식 대상 구간을 추출하고, 추출한 인식 대상 구간 내 음성신호에 대하여 노이즈 성분을 제거한 후, 음성신호의 특징을 검출할 수 있다. 이후, 입력된 음성신호에 대하여 음성 데이터베이스에 기저장된 음성신호와의 비교를 통해 가장 가능성 있는 단어를 인식결과로 출력하게 되며, 단순 명령어가 아닌 문장을 인식할 때는 언어 모델을 이용해 비교 단어를 제한하여 인식 성능을 높일 수 있다.

이러한 언어 모델을 보다 자세히 살펴보면, 음성신호 내 발성의 형태를 통해 높은 인식률을 위한 고립단어를 파악하고, 핵심어를 인식할 수 있다.

또한 인식 대상 화자를 인식하여 별도의 음성 인식기 훈련시키는 과정이 필요 없는 화자독립 인식할 수 있다.

더불어, 인식 대상 단어를 분석하여 음소에 대한 정보를 갖고 있는 가변 단어를 인식할 수 있다.

Step 1. Voice Activiation

Step 2. Speech Recognition & Transcription

Step 3. Intent & meaning

Step 4. Data Search & Query

Step 5. Speech Response

이와 같이 판단한 상기 사용자의 감정상태에 대응하는 제어신호를 생성하여 출력한다.

특히, 유아들은 로봇과의 상호작용을 통해 로봇에 대한 이미지를 형성해 나가는데, 이러한 이미지는 독립적인 기능에 영향을 받는 것이 아니라 언어, 비언어적인 형태의 인터랙션이 복합적으로 나타날 때 만들어지는 것으로 나타났다. 먼저, 비언어적 측면을 살펴보면, 몸짓, 행동, 소리와 시각효과를 기반으로 한 비언어적 인터랙션은 관심, 호감, 애정 측면에서의 정서적 친밀성과 상관관계를 형성하고 있으며, 자율성을 포함하는 인지적 친밀성 역시 협동 측면에서의 사회적 친밀성과 강한 상관관계를 이루고 있었다.

또한 언어적 측면에서는 로봇에 내장되어 있는 마이크를 통해 사용자의 말을 인식하고, 이에 따른 반응이 스피커를 통해 출력된다. 이렇게 언어적인 측면, 즉 소리에 기반을 둔 인터랙션의 만족도는 로봇에 대한 흥미에 따라 비례적으로 커지고, 이는 로봇의 오락적 친밀성과 정서적 친밀성에도 긍정적인 영향을 주는 것으로 나타났다.

이처럼, 상기 제어부(140)가 상기 음성인식부(130)를 통해 입력받은 사용자의 음성신호를 통해 상기 사용자의 감정상태를 판단할 뿐만 아니라, 상기 사용자의 음성신호를 통해 동작을 제어할 수 있다.

예를 들어, 음성인식부(130)가“안녕!”와 같은 음성신호를 인식한 경우, 상기 제어부는 동작을 처음 시작하라는 제어신호를 생성할 수 있다. 뿐만 아니라, 상기 음성인식부가 "따라와", "여기로 와"와 같은 음성신호를 인식하면 위치 이동을 위한 제어신호를 생성하고, “잠깐만”, “멈춰”와 같은 음성신호를 인식하면 이동을 중지하고, 현재 위치에서 정지하는 제어신호를 생성할 수 있다. 또한, 상기 음성인식부(130)가 “잘있어”와 같은 음성신호를 인식하면 현재 수행 중인 모든 구동을 중지하고, 다음 사용자를 위한 대기모드로 변환되는 제어신호를 생성할 수 있다.

또한, 상기 음성인식부(130)가 "안녕"과 같은 음성신호를 인식하면 키넥트 카메라를 포함하는 카메라부(120)로부터 획득한 영상을 통해 사용자의 스켈리톤 정보를 파악 후, 그 중 얼굴을 검출해 바로 인식을 시도한다. 인식되지 않은 사용자의 얼굴 경우에는 데이터베이스에 저장한다. 하지만 이는 전적으로 키넥트 카메라가 스켈리톤 정보를 인식하느냐에 따라 성능이 좌우되기 때문에 필요 시 틸트 모터를 이용해 각도 변경을 수행하여 다시 스켈리톤 정보의 인식을 시도한다.

또한, 상기 음성인식부(130)가 "따라와"와 같은 음성신호를 인식하면 상기 사용자의 위치로 이동하게 되는데, 키넥트 카메라에 감지된 스켈리톤 정보의 X(좌우 움직임), Z(이격거리)가 “-0.5<X<0.5 그리고 1.0<Z<1.5”라는 범위를 벗어나지 않도록 움직인다. 만약 화면 내에 스켈리톤 정보가 인식되지 않는다면 회전을 하여 스켈리톤을 찾아낸다. 더 나아가 키넥트 내에 2명 이상의 스켈리톤이 들어와 기존 사용자와 헷갈리는 현상이 발생하지 않게끔, 주도권을 부여해 포커스를 고정할 수 있다.

또한, 상기 제어부(140)가 상기 카메라부(120)로부터 입력받은 영상을 소셜 네트워크 서비스를 제공하는 서버에 업로드함으로써, 다른 사용자가 자신의 단말을 통해 상기 소셜 네트워크 서버에 접속하여, 상기 소셜 네트워크 서버에 업로드된 영상을 수신하여 확인할 수 있다.

상기 카메라부(120)로부터 입력받은 상기 영상으로부터 상기 사용자의 상기 착석부(110) 내 착석여부를 판단한다.

상기 사용자가 착석부(110) 내 착석 또는 기립하는 효과음을 외부로 출력하기 위한 제어신호를 생성한다.

이동부가 상기 제어부(120)로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 전후 좌우 방향으로 이동한다(S240).

즉, 앞서 검출된 얼굴을 복수 명의 사용자에 대한 미리 저장된 데이터베이스 내 얼굴 정보들과 매칭시켜, 기준 신뢰도 이상의 매칭률을 넘길 시 데이터베이스 내 기저장된 얼굴과 검출된 얼굴이 동일 인물이라고 인지한다. 이를 통해 사용자가 로봇을 처음 이용하는지 여부를 알아내, 이동부(150)가 상기 사용자의 주변을 둘러싸며 360도 회전하거나, 상기 사용자의 위치 이동이 발생하였다고 판단한 경우, 상기 사용자의 위치 이동에 따라 상기 사용자를 추적하여 이동할 수 있다. 즉, 상기 이동부(150)가 상기 제어부(120)로부터 생성된 제어신호를 수신하고, 수신한 제어신호에 응답하여 상기 사용자의 얼굴이 기저장된 얼굴인 경우 상기 사용자를 둘러싸며 회전하거나, 상기 사용자의 위치 이동이 발생한 경우 상기 사용자를 추적하여 이동한다.

스피커부(160)가 상기 제어부(120)로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 효과음을 외부로 출력한다(S250). 이때, 상기 스피커부(160)가 출력하는 효과음은 상기 사용자의 음성신호를 통해 감정상태를 판단하고, 판단한 감정상태와 부합하는 효과음이거나, 상기 사용자가 착석부(110)에 착석하거나, 기립하였다는 정보를 알려주는 효과음이 될 수 있다. 특히, 상기 스피커부(160)가 상기 사용자의 감정상태에 부합하는 효과음을 출력함으로써, 본 발명인 감정 의자로봇이 상기 사용자와 감정을 공유하고 있다는 것을 사용자가 느끼도록 하여 상기 사용자에게 심리적 안정감을 줄 수 있는 효과가 있다.

또한 상술한 본 발명의 감성 의자로봇의 제어방법의 구체적인 실시 예는 도 5를 통해서도 자세히 확인할 수 있다.

사용자의 감정을 파악하는 본 발명는 사용자 맞춤형 서비스 모델링에 활용될 수 있으며, 사용자 친화적인 인터랙션의 기반 시나리오로 활용이 가능하다. 이러한 감정 인식, 표현을 통해 로봇에 대한 사용자의 친밀도를 높여줌으로써 교육, 서비스, 엔터테인먼트 로봇 시장에서 시장성을 확보할 수 있다. 또한 다양한 장소에서 활용가능하다는 점과 인간친화적인 디자인, 친근한 인터페이스는 유아를 비롯한 미숙련 사용자에 대한 로봇과의 상호작용을 용이하게 해주며, 이는 각종 기술, 연구와의 접근성 또한 높여줄 것 기대된다. 본 발명을 활용한 서비스 모델은 감성형 로봇의 새로운 시나리오를 제시하여 인간-로봇 상호작용 구현을 위한 제품, 서비스 시장 활성화에 기여할 것이다.

산업계에서도 이러한 감성형 휴먼로봇 시장이 매년 급격히 성장하고 있고, 이 중에서도 공공서비스용 로봇과 같은 서비스 로봇이 국내 지능형 로봇 시장의 중심이 될 전망이다. 소비자도 미처 인지하지 못하고 있는 잠재적 요구(needs)를 찾아내어 수요를 발생시키는 서비스용 로봇 산업의 특성에 따라 시장 선점과 서비스모델 구축이라는 점에서도 본 발명의 시장성을 확보할 수 있다.

감성 로봇은 지능형 로봇으로서, 일상생활에서 사람과 함께 공존하며 즐거움과 새로운 경험을 만들어준다. 기존의 산업형 로봇과는 달리 본 발명은 실제 사람의 행동 패턴이나 몸짓, 표정과 음성 등을 인지할 수 있으며, 이를 기반으로 마치 애완견과 같이 사용자와의 감정 교류와 의사소통을 할 수 있다. 이를 통해 사용자는 새로운 인공 생명체로서의 로봇과 친밀감을 형성할 수 있고, 심리적 안정감 또한 얻을 수 있을 것으로 기대된다.

또한 본 발명의 감성 의자로봇은 기존의 서비스 로봇과는 조금 다른 특성을 갖는데, 산업 환경에서 프로그램된 일을 하며, 인간과의 교류가 없이 일반적인 지시에 따르는 산업용 로봇과는 달리 특정한 공간에서 개개인을 위해 보다 능동적인 일을 한다. 현장에서 인간과의 상호작용과 이를 ‘학습’한다는 점에서 공공장소 속 개인용 로봇이라는 특징을 갖는다.

뿐만 아니라, 엔터테인먼트 로봇은 대부분 장난감에 치중되어왔다. 하지만 현재에는 완구, 애완용, 공연용 로봇을 넘어서 전시용, 안내용 로봇과 같이 그 의미가 넓어지고 있다. 본 발명 역시 기존의 도서관과 같은 학습을 위한 공간에서 받을 수 없었던 새로운 경험을 관람객들에게 제공하며 즐거움을 줄 수 있다. 이와 동시에 아동 정서 발달과 교육적인 측면에서도 긍정적인 효과를 만들어내 에듀테인먼트 로봇으로서 발전할 수 있다.

또한 본 발명의 감성 의자로봇은 도서관에 오는 아이들에게 친구가 되어준다. 현재 개발된 기술로는 간단한 명령어에 반응하고, 사용자를 따라다니며 교감하고, 이에 더하여 읽고 싶은 책의 위치를 안내해 주거나, 사용자마다 관심 있는 분야의 책을 추천해주는 등 다양한 시나리오가 가능할 것으로 예상된다. 뿐만 아니라, 안내기능과 위치 시스템을 추가해 전시회에서 큐레이터가 되어줄 수도 있고, 슈퍼마켓에서 쇼핑카트 로봇으로도 발전이 가능하다. 뿐만 아니라 유치원과 같은 교육기관에서 유아 교육용 로봇으로도 활용이 가능하고, 노인을 위한 감성적인 의자로봇이 되어줄 수도 있다.

또한, 이러한 감성 의자로봇의 제어방법은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

본 발명의 감성 의자로봇 및 이의 제어방법은 도서관과 같이 학습을 위한 특정 공간에 유아가 방문하는 경우, 방문한 유아의 얼굴을 인식하여 이전 방문한 적이 있으면 환영음을 출력하거나 또는 애완견과 같은 특정 행동을 수행하도록 함으로써, 유아의 지적 호기심을 향상시킬 뿐만 아니라, 지루함을 느끼지 못하도록 하여, 사용자 만족도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명의 감성 의자로봇 및 이의 제어방법은 사용자의 착석을 위한 의자로 사용될 뿐만 아니라, 사용자의 음성신호를 통해 사용자의 감정상태를 판단하여 이와 유사한 효과음을 출력함으로써, 사용자로 하여금 감성이 공유되는 느낌을 전달받도록 하여 사용자의 감성을 향상시킬 수 있는 효과가 있다. 상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.

110: 착석부 120: 카메라부
130: 음성인식부 140: 제어부
150: 이동부 160: 스피커부
170: 센서부

Claims (10)

1. 사용자가 착석할 수 있는 착석부;
   상기 착석부 및 상기 착석부의 전후방을 촬영하여 상기 착석부의 전후방에 존재하는 사용자의 얼굴 및 움직임, 상기 착석부 내 사용자의 착석여부를 나타내는 적어도 하나의 영상을 생성하는 카메라부;
   상기 사용자의 음성신호를 입력받는 음성인식부;
   상기 카메라부로부터 생성된 영상과 상기 음성인식부로부터 음성신호를 입력받고, 상기 영상 및 음성신호에 기초하여 상기 사용자의 얼굴인식, 움직임여부, 감정상태 및 착석여부를 판단하고, 판단결과에 대응하는 구동을 위한 적어도 하나의 제어신호를 생성하는 제어부;
   상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 전후 좌우 방향으로 이동하는 이동부; 및
   상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 효과음을 외부로 출력하는 스피커부;
   를 포함하는 감성 의자로봇.
   
2. 제1항에 있어서,
   상기 착석부의 일측에 구비되어, 상기 사용자와의 이격된 거리를 연산하기 위해 사용되며, 초음파 센서 및 적외선 감지 센서 중 적어도 하나를 포함하는 센서부;
   를 더 포함하는 것을 특징으로 하는 감성 의자로봇.
   
3. 제1항에 있어서,
   상기 카메라부는
   촬영하는 대상의 스켈리톤(skeleton) 정보 및 깊이 정보를 나타내는 키넥트 카메라를 포함하는 것을 특징으로 하는 감성 의자로봇.
   
4. 제1항에 있어서,
   상기 제어부는
   상기 카메라부로부터 입력받은 영상으로부터 사용자의 눈, 코, 입을 포함하는 얼굴 구성요소를 추출하고, 추출한 얼굴 구성요소 중 눈, 코, 입의 위치정보에 기초하여 상기 얼굴 구성요소를 기설정된 크기로 변환하거나, 상기 얼굴 구성요소로부터 노이즈 정보를 제거하며, 상기 얼굴 구성요소의 픽셀정보를 2차원 행렬로 판단한 후, 상기 2차원 행렬을 이루는 기저행렬과 계수값 중 상기 계수값을 기저장된 사용자의 계수값과 비교하여 입력받은 영상 내 얼굴이 기저장된 얼굴인지 여부를 판단하고, 상기 영상 내 얼굴이 기저장된 얼굴로 판단하는 경우, 상기 사용자를 둘러싸며 회전하는 제어신호를 생성하는 사용자인식모듈;
   을 포함하는 것을 특징으로 하는 감성 의자로봇.
   
5. 제4항에 있어서,
   상기 사용자인식모듈은
   상기 카메라부로부터 입력받은 영상으로부터 기설정된 시간동안 사용자의 위치 이동이 발생하였거나, 정지하였는지 판단하고, 상기 사용자의 위치 이동이 발생하였다고 판단한 경우, 상기 사용자의 위치 이동에 따라 상기 사용자를 추적하여 이동하기 위한 제어신호를 생성하거나, 상기 사용자가 움직임이 없이 정지하였다고 판단한 경우, 효과음을 출력하기 위한 제어신호를 생성하는 것을 더 포함하는 것을 특징으로 하는 감성 의자로봇.
   
6. 제1항에 있어서,
   상기 제어부는
   상기 음성인식부로부터 상기 사용자의 음성신호를 입력받고, 입력받은 음성신호의 특징을 분석하여 상기 사용자의 감정상태를 판단하고, 판단한 감정상태와 부합하는 제어신호를 생성하여 출력하는 감정상태판단모듈;
   을 더 포함하는 것을 특징으로 하는 감성 의자로봇.
   
7. 제6항에 있어서,
   상기 감정상태판단모듈은
   상기 사용자의 음성신호를 입력받아, 상기 음성신호로부터 인식 대상 구간을 추출하고, 추출한 인식 대상 구간 내 음성신호에 대하여 노이즈 성분을 제거한 후, 음성신호의 특징을 검출하는 것을 특징으로 하는 감성 의자로봇.
   
8. 제1항에 있어서,
   상기 제어부는
   상기 카메라부로부터 입력받은 영상으로부터 상기 사용자의 착석부 내 착석여부를 판단하고, 상기 사용자의 착석부에 착석 또는 기립 시 효과음을 외부로 출력하기 위한 제어신호를 생성하는 착석판단모듈;
   을 더 포함하는 것을 특징으로 하는 감성 의자로봇.
   
9. 제5항에 있어서,
   상기 이동부는
   상기 사용자인식모듈로부터 생성된 제어신호를 수신하고, 수신한 제어신호에 응답하여 상기 사용자의 얼굴이 기저장된 얼굴인 경우 상기 사용자를 둘러싸며 회전하거나, 상기 사용자의 위치 이동이 발생한 경우 상기 사용자를 추적하여 이동하는 것을 특징으로 하는 감성 의자로봇.
   
10. 카메라부가 사용자가 착석할 수 있는 착석부 및 상기 착석부의 전후방을 촬영하여 상기 착석부의 전후방에 존재하는 사용자의 얼굴 및 움직임, 상기 착석부 내 착석여부를 포함하는 적어도 하나의 영상을 생성하는 단계;
    음성인식부가 상기 사용자의 음성신호를 입력받는 단계;
    제어부가 상기 영상과 음성신호를 입력받고, 상기 영상 및 음성신호에 기초하여 상기 사용자의 얼굴, 움직임 여부, 감정상태 및 상기 착석부 내 착석여부를 판단하여 구동을 위한 적어도 하나의 제어신호를 생성하는 단계;
    이동부가 상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 전후 좌우 방향으로 이동하는 단계; 및
    스피커부가 상기 제어부로부터 생성된 제어신호를 입력받고, 상기 제어신호에 응답하여 효과음을 외부로 출력하는 단계;
    를 포함하는 감성 의자로봇의 제어방법.
    

Images