KR20230077097A - 비언어적 인식에 기초하여 소셜 로봇과 사용자 간의 인터랙션을 위한 방법 및 시스템 - Google Patents

Abstract

소셜 로봇과 사용자 간의 인터랙션을 위한 방법 및 시스템이 제공된다. 상기의 소셜 로봇은 적어도 하나 이상의 사용자들의 생체 정보를 학습하고, 인터랙션을 요청하는 사용자로부터 수집된 생체 정보와 학습된 생체 정보가 일치할 경우 친밀도 값을 부여하고, 부여된 친밀도 값에 따라 다수 사용자들의 친밀도 클래스를 분류하고, 분류된 친밀도 클래스 레벨에 따라 사용자 별 인터랙션의 우선순위를 정하거나, 또는 분류된 친밀도 클래스 레벨에 따라 수행 가능한 인터랙션의 종류를 정하도록 구성된다.

Description

비언어적 인식에 기초하여 소셜 로봇과 사용자 간의 인터랙션을 위한 방법 및 시스템{METHOD AND SYSTEM FOR INTERACTION BETWEEN SOCIAL ROBOT AND USER BASED ON NON-VERBAL RECOGNITION}

본 발명은 소셜 로봇과 사용자 간의 인터랙션을 위한 방법 및 시스템에 관한 것이다.

최근 인공지능(artificial intelligence, AI) 기술의 발전에 따라 인간과 인터랙션(interaction)이 가능한 소셜 서비스 로봇의 연구가 활발히 이루어지고 있다. 특히 가정 내 소셜 로봇은 사용자에게 맞춤형 서비스를 기대할 것으로 기대된다.

예를 들어 소셜 로봇은 인공지능 스피커, 가정용 로봇 청소기 등에 접목되거나, 사물 인터넷(IoT) 기술과 함께 IoT 허브로서 활용되는 방안이 대두되고 있다. 불특정 다수를 대상으로 하는 서비스형 로봇과 달리, 가정, 사무실 등의 공간에서 사용되는 소셜 로봇은 대체적으로 특정된 몇몇의 사용자에게 맞춤형 서비스를 제공한다는 점에서 특징적이다.

한편 영상 인식 기술 및 데이터 처리 기술의 발달에 힘입어 영상 데이터에 기초해 사용자를 인식하거나, 분류하는 기술이 점차 상용화되고 있다. 예를 들어, 특허문헌 1은 카메라 등의 영상 획득 장치를 이용해 사용자를 인식하는 기술을 개시한다.

미국등록특허공보 제7,930,555호, Image recognition, 2011.04.19

종래의 소셜 로봇은 사용자의 음성 인식에 기초한 것이었다. 즉, 사용자의 음성 정보를 수집하여 음성 정보에 담긴 지시의 의미에 따라 동작을 수행하는 것에 그치는 실정이었다. 이러한 음성 인식 기반 소셜 로봇의 예로는 인공지능 스피커 또는 스마트폰이나 차량에 탑재된 음성 인식 소프트웨어 등을 들 수 있다.

그러나 사용자들의 서비스형 로봇에 대한 기대치 상승과 함께 종래에 비해 사용자 맞춤형 서비스에 대한 요구가 높아지고 있다. 뿐만 아니라, 소셜 로봇과 사용자 간의 정서적 교감까지도 요구된다. 그러나 사용자의 음성 인식에 기초한 소셜 로봇이 제공 가능한 기능에는 한계가 있다.

이에 본 발명은 비언어적 인식 내지는 비언어적 지시에 기초한 소셜 로봇을 제공하고자 한다. 앞서 설명한 것과 같이 다양한 종류의 소셜 로봇 중에서도, 가정이나 사무실 등에서 사용되는 소셜 로봇은 몇몇의 사용자들이 주로 이용한다는 점에서, 키오스크 서비스 등과 같이 불특정 다수를 대상으로 서비스를 제공하는 소셜 로봇과 차별화된다. 이러한 가정/사무실용 소셜 로봇은 소수의 사용자를 대상으로 한다는 점에서 특징적인 기술의 적용이 가능할 것으로 보인다.

즉, 본 발명이 해결하고자 하는 과제는 사용자 편의가 향상되고 사용자 맞춤형 서비스를 제공할 수 있는 비언어적 동작 기반 소셜 로봇을 제공하는 것이다.

또 본 발명이 해결하고자 하는 다른 과제는 사용자 편의가 향상되고 사용자 맞춤형 서비스를 제공할 수 있는 소셜 로봇의 제어 방법 내지는 동작 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 과제는 이러한 소셜 로봇을 포함하여 사람과 로봇 간의 비언어적 인터랙션을 위한 인터랙션 시스템을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 소셜 로봇은 적어도 하나 이상의 사용자들의 생체 정보를 학습하고, 인터랙션을 요청하는 사용자로부터 수집된 생체 정보와 학습된 생체 정보가 일치할 경우 친밀도 값을 부여하고, 부여된 친밀도 값에 따라 다수 사용자들의 친밀도 클래스를 분류하고, 분류된 친밀도 클래스 레벨에 따라 사용자 별 인터랙션의 우선순위를 정하거나, 또는 분류된 친밀도 클래스 레벨에 따라 수행 가능한 인터랙션의 종류를 정하도록 구성된다.

상기 소셜 로봇은 수집된 생체 정보에 따라 다수 사용자들의 연령 클래스를 더 분류하되, 상기 연령 클래스는 제1 레벨 연령 클래스 및 상기 제1 레벨 연령 클래스 보다 높은 권한을 갖는 제2 레벨 연령 클래스를 포함하고, 어느 인터랙션은, 기준 레벨 이상의 친밀도 클래스의 사용자 중, 제2 레벨 연령 클래스에 속하는 사용자에 의해서만 수행되도록 구성된다.

상기 소셜 로봇은 수집된 생체 정보에 따라 다수 사용자들의 성별 클래스를 더 분류하되, 상기 성별 클래스는 제1 성별 클래스 및 제2 성별 클래스를 포함하고, 어느 인터랙션은, 기준 레벨 이상의 친밀도 클래스의 사용자 중, 제2 성별 클래스에 속하는 사용자에 의해서만 수행되도록 구성된다.

또, 상기 소셜 로봇은 제1 레벨 친밀도 클래스의 제1 사용자로부터 제1 인터랙션 요청을 수신하고, 소정의 인터벌 내에 제1 레벨 친밀도 클래스 보다 높은 제2 레벨 친밀도 클래스의 제2 사용자로부터 상기 제1 인터랙션과 상이한 제2 인터랙션 요청을 수신하는 경우, 제2 인터랙션을 우선 수행하도록 구성될 수 있다.

상기 소셜 로봇은 제1 인터랙션 요청과 제2 인터랙션 요청이 상반되는 종류의 것일 때, 제1 인터랙션을 수행하지 않도록 구성될 수 있다.

상기 인터랙션은 제한된 종류의 제한 인터랙션 및 그렇지 않은 범용 인터랙션을 포함할 수 있다.

이 때 상기 소셜 로봇은 제1 레벨 친밀도 클래스의 제1 사용자로부터 제한 인터랙션 요청을 수신하는 경우 수행하지 않고, 제1 레벨 친밀도 클래스 보다 높은 제2 레벨 친밀도 클래스의 제2 사용자로부터 상기 제한 인터랙션 요청을 수신하는 경우 수행하도록 구성될 수 있다.

상기 인터랙션은 사용자의 음성 인식에 따라 수행 가능한 음성 인터랙션, 사용자의 비언어적 동작에 따라 수행 가능한 비언어적 인터랙션, 및 사용자의 음석 인식과 함께 비언어적 동작이 요구되는 복합 인터랙션을 포함할 수 있다.

이 때 상기 소셜 로봇은 사용자로부터 복합 인터랙션 요청이 수신되는 경우, 음성 지시 및 비언어적 동작을 순차적으로 판별하여 복합 인터랙션을 수행하도록 구성될 수 있다.

상기 생체 정보는 사용자의 눈동자 위치, 고개 방향, 팔의 위치, 손의 위치, 눈 깜빡임의 빈도, 목소리 파형, 홍채 정보, 안면 색상, 눈꼬리 위치, 눈썹 위치 및 입꼬리 위치를 포함하여 수집될 수 있다.

또, 상기 눈동자 위치, 고개 방향, 팔의 위치 및 손의 위치는 적어도 지시 생체 정보로 정의되고, 상기 눈 깜빡임의 빈도, 목소리 파형, 홍채 정보 및 안면 색상은 적어도 사용자 식별 생체 정보로 정의되고, 상기 눈꼬리 위치, 눈썹 위치 및 입꼬리 위치는 적어도 사용자 상태 생체 정보로 정의될 수 있다.

상기 소셜 로봇은 상기 상태 생체 정보에 기초하여, 로봇 선제적 인터랙션의 빈도를 결정하도록 구성될 수 있다.

상기 눈 깜빡임의 빈도는 사용자 상태 생체 정보로 더 정의되고, 눈 깜빡임의 빈도에 기초하여 로봇 선제적 인터랙션의 빈도를 더 결정하도록 구성될 수 있다.

상기 인터랙션은, 적어도 사용자의 비언어적 동작에 기초한 비언어적 또는 복합 인터랙션을 포함하고, 상기 지시 생체 정보는 비언어적 또는 복합 인터랙션의 수행 여부를 결정함에 사용되도록 구성될 수 있다.

상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 소셜 로봇의 제어 방법은 사용자로부터 인터랙션이 없는 상태에서 사용자의 생체 정보를 스캔하여 사용자 정보를 학습하는 단계; 사용자로부터 인터랙션 요청이 있는 경우, 요청한 사용자의 생체 정보를 스캔하여 학습된 생체 정보와 비교하는 단계; 스캔한 생체 정보와 학습된 생체 정보가 일치할 경우 친밀도 값을 부여하는 단계; 및 등록된 다수의 사용자들의 친밀도 값에 따라 다수 사용자들의 친밀도 클래스를 분류하는 단계를 포함한다.

몇몇 실시예에서, 상기 방법은 인터랙션의 종류를 분류하는 단계; 및 어느 사용자로부터 요청 받은 인터랙션의 종류와 상기 사용자의 친밀도 클래스를 비교하는 단계를 더 포함할 수 있다.

또 상기 방법은 상기 친밀도 클래스 레벨에 기초하여 사용자 별 인터랙션의 우선순위를 결정하는 단계를 더 포함할 수 있다.

몇몇 실시예에서, 상기 방법은 사용자의 생체 정보에 기초하여 연령 클래스를 분류하는 단계; 사용자의 생체 정보에 기초하여 성별 클래스를 분류하는 단계; 및 분류된 연령 클래스의 레벨 또는 성별 클래스의 레벨에 따라 인터랙션 요청의 수행 여부를 결정하는 단계를 더 포함할 수 있다.

사용자로부터 요청받은 인터랙션은, 사용자의 음성 인식에 따라 수행 가능한 음성 인터랙션, 사용자의 비언어적 동작에 따라 수행 가능한 비언어적 인터랙션, 및 사용자의 음성과 함께 비언어적 동작이 요구되는 복합 인터랙션을 포함하여 분류될 수 있다.

사용자로부터 음성에 기초한 인터랙션 요청이 수신되는 경우, 상기 방법은 음성 인터랙션으로 분류된 요청인지 또는 복합 인터랙션으로 분류된 요청인지 판단하는 단계; 및 복합 인터랙션으로 분류된 요청일 경우 소정의 인터벌 동안 사용자의 비언어적 동작 여부를 스캔하는 단계를 더 포함할 수 있다.

상기 비언어적 동작은 눈동자 위치, 고개 방향, 팔의 위치 및 손의 위치 중 적어도 하나를 포함할 수 있다.

사용자로부터 인터랙션이 없는 상태에서 사용자의 생체 정보를 스캔하는 단계는, 사용자의 눈 깜빡임의 빈도를 수집하는 것을 포함할 수 있다.

이 때 상기 방법은 사용자의 눈 깜빡임의 빈도에 기초해 로봇 선제적 인터랙션의 빈도를 결정하는 단계를 더 포함할 수 있다.

상기 또 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 사용자-로봇 인터랙션 시스템은, 전술한 소셜 로봇; 및 하나 이상의 사물 인터넷 기기를 포함한다.

소셜 로봇이 수집하는 생체 정보는 눈동자 위치, 고개 방향, 팔의 위치 및 손의 위치를 포함하는 지시 생체 정보를 포함할 수 있다.

또, 사용자로부터 상기 사물 인터넷 기기와 관련한 지시 생체 정보가 수신되는 경우, 상기 사물 인터넷 기기를 동작시키는 것을 포함할 수 있다.

상기 또 다른 과제를 해결하기 위한 본 발명의 일 실시예에 따른 장치는 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 인스트럭션을 실행하여 전술한 소셜 로봇의 제어 방법을 수행하는 프로세서를 포함한다.

기타 실시예의 구체적인 사항들은 상세한 설명에 포함되어 있다.

본 발명의 실시예들에 따르면, 사용자의 생체 정보, 예컨대 신체적 특징에 기초하여 인터랙션을 반복할수록 소셜 로봇과 사용자 간의 친밀도 값을 산출할 수 있다. 이를 통해 소셜 로봇과 사용자 간의 친밀도 클래스를 분류하고, 이에 기초해 인터랙션 작업의 우선순위를 결정하거나, 또는 인터랙션 작업의 수행 가능 여부를 결정할 수 있다.

따라서 소셜 로봇과의 협업 과정에서 자연스레 친밀도 값과 친밀도 클래스가 향상될 수 있고, 사용자로서는 소셜 로봇을 단순히 전자 기기가 아니라 일상 생활을 같이 하는 개체로 느끼고 정서적 교감을 달성할 수 있다.

특히 몇몇의 소수 사용자가 주로 소셜 로봇을 이용하는 경우, 친밀도가 충분히 누적되지 않은 타인, 예컨대 방문자 등이 소셜 로봇과 인터랙션하는 것을 막을 수 있다. 또는 몇몇의 소수 사용자 중에서도, 사용자 별로 분류된 클래스에 따라 인터랙션 가능한 작업과 그렇지 않은 작업을 분류하여 적합하지 않은 작업을 분류할 수 있고, 이에 따라 소셜 로봇이 일상 생활 속에 더욱 녹아 들도록 할 수 있다.

본 발명의 실시예들에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 사용자-로봇 인터랙션 시스템의 구성도이다.
도 2는 도 1의 인터랙션 시스템의 소셜 로봇의 구성도이다.
도 3 내지 도 20은 본 발명의 일 실시예에 따른 소셜 로봇의 동작을 설명하기 위한 도면들이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 즉, 본 발명이 제시하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 명세서에서, '및/또는'은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다. 또, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 본 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. '내지'를 사용하여 나타낸 수치 범위는 그 앞과 뒤에 기재된 값을 각각 하한과 상한으로서 포함하는 수치 범위를 나타낸다. '약' 또는 '대략'은 그 뒤에 기재된 값 또는 수치 범위의 20% 이내의 값 또는 수치 범위를 의미한다.

이하 첨부된 도면을 참조하여 본 발명에 대하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 사용자-로봇 인터랙션 시스템의 구성도이다.

도 1을 참조하면, 본 실시예에 따른 인터랙션 시스템(1)은 사용자들(20) 및 사용자들(20)과 언어적 및/또는 비언어적 동작이나 인식에 기초하여 인터랙션하는 소셜 로봇(10)을 포함하고, 소셜 로봇(10)에 의해 직간접적으로 제어되는 사물 인터넷 기기들(30)을 더 포함할 수 있다. 몇몇 실시예에서, 인터랙션 시스템(1)은 소셜 로봇(10)의 제어 내지는 설정을 위한 사용자 단말(40)을 더 포함할 수도 있다.

사용자들(20)은 소셜 로봇(10)에 의해 등록된 등록 사용자를 의미할 수 있다. 사용자들(20)은 적어도 하나를 포함하여 복수의 사용자들로 구성될 수 있다. 몇몇 실시예에서, 인터랙션 시스템(1)은 미등록 사용자를 더 포함할 수 있다. 이에 대해서는 후술한다.

소셜 로봇(10)은 등록된 사용자들(20)과 인터랙션(interaction) 내지는 상호 작용하여 서비스를 제공하는 구성요소를 의미할 수 있다. 도 1 등은 소셜 로봇(10)이 디스플레이 장치에 의해 구현되는 안면 및 동작 가능한 암(arm) 등을 포함하여 대략 사람의 형상을 모사한 형태의 소셜 로봇을 예시하고 있으나, 본 발명이 이에 제한되는 것은 아니다. 다른 실시예에서 소셜 로봇(10)은 셋탑 박스, 스피커 등 이동하지 않는 전자 기기의 형태로 구현되거나, 로봇 청소기와 같이 이동하는 전자 기기의 형태로 구현되거나, 또는 TV, 냉장고 등 가전 제품 전자 기기가 소셜 로봇으로서의 기능을 겸할 수도 있다. 소셜 로봇(10)의 동작에 대해서는 상세하게 후술한다.

몇몇 실시예에서, 소셜 로봇(10)은 사물 인터넷 기기(30)들과 통신하며 사물 인터넷 허브로서 기능할 수 있다. 사물 인터넷 기기(30)는 가정 또는 사무실에 구비된 다양한 전자 기기를 포함할 수 있다. 예를 들어, 사물 인터넷 기기(30)는 TV, 모니터, 냉장고, 세탁기, 출입문 도어락, 보안 시스템, 출입 시스템, 전력 시스템, 가스 시스템, 인덕션, 조명, 에어컨, 난방 설비, 공기 정화 시스템, 공기 청정기, 스프링쿨러, 또는 승강기 등을 포함할 수 있다.

소셜 로봇(10)은 근거리 무선 통신을 이용해 사물 인터넷 기기(30)와 통신할 수 있다. 상기 근거리 무선 통신의 예로는 와이파이(Wireless-Fidelity, WiFi), WiFi-Direct, 와이브로(Wibro), 와이맥스(Wimax), Zigbee, Zigbee-mesh, 블루투스(Bluetooth), NFC, UWB 등을 들 수 있으나 본 발명이 이에 제한되지 않음은 물론이다.

또 소셜 로봇(10)은 사용자 단말(40)과 통신할 수 있다. 사용자 단말(40)은 복수의 사용자들(20) 중 하나, 또는 일부, 또는 전부가 사용하는 사용자 단말(40)일 수 있다. 사용자 단말(40)은 스마트폰, 태블릿 PC, PC, 스마트 워치 등의 전자 기기를 포함할 수 있다. 본 발명에 따른 소셜 로봇(10)은 사용자의 직접적인 조작 없이 사용자와 상호 인터랙션을 수행하나, 소셜 로봇(10)의 직접적인 조작, 설정, 제어 등을 위해 사용자 단말(40)이 제공될 수 있다.

본 실시예에 따른 인터랙션 시스템(1)에 따르면 사용자들(20)과 소셜 로봇(10)은 언어적 및/또는 비언어적 요청, 지시, 동작에 의해 인터랙션이 가능할 수 있다. 따라서 사용자로서는 종래에 비해 사용자 편의성이 개선되고, 소셜 로봇(10)과 정서적 교감을 달성할 수 있다. 또, 소셜 로봇(10)이 가정 등의 공간에서 사용되는 경우 가정 내 다양한 사물 인터넷 기기(30)의 IoT 허브로서의 기능을 제공할 수 있다.

이하, 본 실시예에 따른 소셜 로봇(10)의 구성에 대해 보다 상세하게 설명한다.

도 2는 도 1의 인터랙션 시스템의 소셜 로봇의 구성도이다.

도 2를 더 참조하면, 본 실시예에 따른 소셜 로봇(10)은 프로세서(100), 메모리(200), 스토리지(300), 통신부(400), 입력부(500) 및 출력부(600)를 포함하고, 센서부(700)를 더 포함할 수 있다. 다만, 이와 같은 구성요소들은 소셜 로봇(10)에 포함된 다양한 구성요소들을 기능적으로 분리하여 예시한 것에 불과하므로, 실제 물리적 환경에서는 이하에서 설명되는 구성요소들이 서로 통합되어 구현될 수 있다. 또, 본 명세서에서 사용되는 용어 '~부'는 프로세서 또는 회로와 같은 하드웨어적 구성 및/또는 하드웨어적 구성에 의해 실행되는 소프트웨어적 구성을 포함하는 의미로 사용될 수 있다.

프로세서(100)는 메모리(200)에 상주된 본 발명에 따른 방법이 구현된 소프트웨어(200s)에 따른 명령어를 기초로 본 발명에 따른 방법과 관련된 동작 및/또는 기능을 구현할 수 있다. 프로세서는 공지의 것을 이용할 수 있으나, 예를 들어 ASIC(Application-Specific Integrated Circuit), 또는 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 통해 구현될 수 있다. 또 프로세서(100) 중 적어도 일부는 인공지능을 위한 전용 하드웨어 칩 형태로 제작될 수도 있다.

메모리(200)에는 본 발명에 따른 방법이 구현된 소프트웨어(200s)가 상주(loading)될 수 있다. 메모리는 공지의 것을 이용할 수 있으나, 예를 들어 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 통해 구현될 수 있다. 메모리(200)는 프로세서(100)의 내부 또는 외부에 있을 수 있고, 공지된 수단으로 프로세서(100)와 연결될 수 있다.

스토리지(300)는 본 발명에 따른 방법이 구현된 소프트웨어(300s)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(API), 라이브러리(library), 리소스 파일(resource file) 등을 저장할 수 있다. 또, 스토리지(300)는 본 발명에 따른 방법이 구현된 소프트웨어(300s)를 저장할 수 있다. 또한 스토리지(300)는 본 발명에 따른 방법을 수행하기 위한 데이터 베이스(310)를 저장할 수 있다.

여기서 데이터 베이스(310)는 사용자 등록 정보, 등록된 사용자의 생체 정보, 분류된 연령 클래스, 분류된 성별 클래스, 친밀도 값 정보, 분류된 친밀도 클래스, 인터랙션의 종류 등을 포함할 수 있으나, 본 발명이 이에 제한되는 것은 아니다.

다만 본 실시예에 따른 데이터 베이스(310)가 위에 나열된 것에 제한되는 것은 아니며, 소셜 로봇(10)의 동작을 설명하기 위해 후술하는 것으로부터 더욱 상세한 데이터 베이스(310)의 내용이 이해될 수 있을 것이다.

메모리(200)에 상주되거나 스토리지(300)에 저장된 소프트웨어(300s)는 사용자로부터 인터랙션이 없는 상태에서 사용자의 생체 정보를 스캔하여 사용자 정보를 학습하는 단계, 사용자로부터 인터랙션 요청이 있는 경우, 요청한 사용자의 생체 정보를 스캔하여 학습된 생체 정보와 비교하는 단계, 스캔한 생체 정보와 학습된 생체 정보가 일치할 경우 친밀도 값을 부여하는 단계, 및 등록된 다수의 사용자들의 친밀도 값에 따라 다수 사용자들의 친밀도 클래스를 분류하는 단계를 포함하는 본 발명에 따른 방법을 실행시키기 위해 기록 매체에 기록된 컴퓨터 프로그램이 될 수 있다.

몇몇 실시예에서, 상기 방법은 인터랙션의 종류를 분류하는 단계, 어느 사용자로부터 요청 받은 인터랙션의 종류와 상기 사용자의 친밀도 클래스를 비교하는 단계, 상기 친밀도 클래스 레벨에 기초하여 사용자 별 인터랙션의 우선순위를 결정하는 단계, 사용자의 생체 정보에 기초하여 연령 클래스를 분류하는 단계, 사용자의 생체 정보에 기초하여 성별 클래스를 분류하는 단계, 분류된 연령 클래스의 레벨 또는 성별 클래스의 레벨에 따라 인터랙션 요청의 수행 여부를 결정하는 단계, 사용자로부터 음성에 기초한 인터랙션 요청이 수신되는 경우, 음성 인터랙션으로 분류된 요청인지 또는 복합 인터랙션으로 분류된 요청인지 판단하는 단계, 복합 인터랙션으로 분류된 요청일 경우 소정의 인터벌 동안 사용자의 비언어적 동작 여부를 스캔하는 단계, 및 사용자의 눈 깜빡임의 빈도에 기초해 로봇 선제적 인터랙션의 빈도를 결정하는 단계 등을 더 포함할 수 있다.

다만 본 실시예에 따른 방법이 위에 나열된 것에 제한되는 것은 아니며, 소셜 로봇(10)의 동작을 설명하기 위해 후술하는 것으로부터 더욱 상세한 방법의 내용이 이해될 수 있을 것이다.

본 발명에 따른 방법은 하드웨어(hardware), 펌웨어(firmware), 소프트웨어(software) 또는 그것들의 결합에 의해 구현될 수 있다. 예를 들어 하드웨어로 구현되는 경우 프로세서(100)에 의해 구현되는 것으로 이해될 수 있다. 다른 예를 들어 소프트웨어로 구현되는 경우, 전술한 방법은 후술할 기능들을 수행하는 모듈, 예컨대 과정 또는 기능 등으로 구현될 수 있다. 상기 모듈은 메모리(200)에 상주되고 프로세서(100)에 의해 실행될 수 있다. 즉, 하드웨어 장치는 본 발명에 따른 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있고, 그 역도 마찬가지로 이해될 수 있다.

또한 펌웨어나 소프트웨어에 의한 구현의 경우 본 발명에 따른 방법은 후술할 기능 또는 동작들을 수행하는 모듈, 절차, 또는 함수 등의 형태로 구현되어 다양한 컴퓨터 수단을 통해 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나, 컴퓨터 소프트웨어 기술분야에 속하는 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐 아니라 인터프리터 등을 사용해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

한편, 통신부(400)는 소셜 로봇(10)이 다른 장치, 예컨대 사물 인터넷 기기(30), 사용자 단말(40) 및/또는 서버(미도시)와 데이터를 송수신할 수 있다. 통신부(400)는 근거리 통신 유닛(410) 및/또는 이동 통신 유닛(430)을 포함할 수 있다.

전술한 것과 같이 근거리 통신 유닛(410)은 사물 인터넷 기기(30) 등과 통신하기 위해 제공될 수 있다. 근거리 통신 유닛(410)의 통신 방법에 대해서는 전술한 바 있으므로 중복되는 설명은 생략한다.

이동 통신 유닛(430)은 이동 통신망 또는 공용 유선 통신망 중 하나 이상이 조합된 통신망을 이용하여 기지국, 외부 단말 또는 외부 서버 중 적어도 하나와 데이터를 송수신할 수 있다. 이동 통신망의 예로는 코드 분할 다중 접속(CDMA), 와이드 밴드 코드 분할 다중 접속(WCDMA), 고속 패킷 접속(HSPA), 롱텀 에볼루션(LTE) 등을 들 수 있다. 또, 공용 유선 통신망의 예로는 이더넷(Ethernet), 디지털가입자선(xDSL), 광동축 혼합망(HFC), 광가입자망(FTTH) 등을 들 수 있다. 이동 통신망을 이용해 사용자 단말(40)과 통신하거나, 또는 현재 시간, 날씨 정보 등의 데이터를 수집할 수 있다.

입력부(500)는 소셜 로봇(10)이 외부 환경을 인식하거나, 또는 사용자(20)로부터 조작 트리거에 관한 신호를 입력받을 수 있다. 입력부(500)는 카메라(510), 마이크로폰(530) 및/또는 터치 패널(550) 등을 포함할 수 있다.

카메라(510)는 영상 인식 유닛을 총칭한다. 소셜 로봇(10)은 카메라(510)를 이용해 사용자의 얼굴, 표정, 체형, 홍채 정보 등 생체 정보 및 주변 환경에 관한 데이터를 수집할 수 있다. 구체적으로, 카메라(510)는 이미지 센서를 이용해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 카메라(510)는 소셜 로봇(10)의 안면 부위에 배치된 디스플레이 패널(610)에 인접해 위치할 수 있다.

마이크로폰(530)은 음성 인식 유닛을 총칭한다. 소셜 로봇(10)은 마이크로폰(530)을 이용해 사용자의 음성 정보를 수집할 수 있다. 수집된 음성 정보는 전기적인 음성 데이터로 처리될 수 있다. 여기서 사용자의 음성 정보는 사용자의 지시 인터랙션이 포함된 정보 및 사용자의 식별을 위한 목소리의 파형 정보를 포함할 수 있다. 이에 대해서는 후술한다.

터치 패널(550)은 사용자(20)의 터치 조작에 의해 입력 정보를 수신하는 유닛을 총칭한다. 터치 패널(550)은 후술할 디스플레이 패널(610)과 결합되거나, 내장되어 구현될 수 있다.

도면으로 표현하지 않았으나, 입력부(500)는 전술한 유닛들 외에도 마우스, 키보드 등과 연결되기 위한 USB 단자 등을 더 포함할 수도 있다.

출력부(600)는 소셜 로봇(10)이 출력하는 데이터 또는 소셜 로봇(10)의 현재 상태, 또는 알람 등을 사람이 인식할 수 있는 형태로 구현할 수 있다. 출력부(600)는 디스플레이 패널(610), 스피커(630) 및/또는 진동 유닛(650) 등을 포함할 수 있다.

디스플레이 패널(610)은 영상 출력 유닛을 총칭한다. 디스플레이 패널(610)은 소셜 로봇(10)이 사용자에게 전달하고자 하는 정보를 시각적인 형태로 표시할 수 있다. 몇몇 실시예에서, 디스플레이 패널(610)은 소셜 로봇(10)의 안면 부위에 배치될 수 있고, 디스플레이 패널(610)을 활용해 소셜 로봇(10)의 가상의 눈(eye) 등과 같이 표정을 디스플레이하여 사용자(20)와 소셜 로봇(10) 간의 정서적 교감을 증진시킬 수 있다.

스피커(630)는 음성 출력 유닛을 총칭한다. 스피커(630)는 소셜 로봇(10)이 사용자에게 전달하고자 하는 정보를 청각적인 형태로 표현할 수 있다.

진동 유닛(650)은 진동 모터 등을 포함하여 구현될 수 있다. 진동 유닛(650)은 소셜 로봇(10)이 사용자에게 알람을 제공하는 등의 경우 청각적 및 촉각적인 정보를 제공할 수 있다.

센서부(700)는 소셜 로봇(10)이 주변의 다양한 환경 자극을 수집할 수 있다. 센서부(700)는 전술한 어느 구성요소, 예컨대 카메라(510), 터치 패널(550) 등과 통합되어 구현될 수도 있으나 본 발명이 이에 제한되는 것은 아니다. 센서부(700)는 온도 센서, 습도 센서, 가스 센서, 생체 센서, 근접 센서, 조도 센서, 자이로 센서 및/또는 제스쳐 센서를 포함할 수 있다. 전술한 센서들은 공지의 것을 이용할 수 있으며, 그 명칭으로부터 센서들의 기능을 직관적으로 추론할 수 있으므로 구체적인 설명은 생략한다.

예시적인 실시예에서, 생체 센서는 사용자의 생체 정보를 수집하여 처리할 수 있다. 예를 들어, 생체 센서는 카메라(510) 등을 통해 수집된 사용자의 홍채 정보를 처리할 수 있다. 또, 제스쳐 센서는 카메라(510) 등을 통해 수집된 사용자의 동작의 유무 또는 동작의 형태를 처리할 수 있다.

데이터 버스(800)는 프로세서(100), 메모리(200), 스토리지(300), 통신부(400), 입력부(500), 출력부(600), 센서부(700) 및/또는 기타의 구성요소들과 연결되어 각 구성요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.

본 실시예에 따른 소셜 로봇(10)은 본 발명에 따른 방법을 구현하기 위한 논리적 구성부를 포함할 수 있다. 상기 논리적 구성부의 예로는 사용자 등록부, 사용자 인식부, 친밀도 값 산술부, 친밀도 클래스 판별부, 성별 클래스 판별부, 연령 클래스 판별부, 통신부(400), 입력부(500), 출력부(600), 센서부(700) 등이 될 수 있으나, 본 발명이 이에 제한되지 않음은 물론이다.

이하에서 본 발명의 일 실시예에 따른 소셜 로봇(10)의 동작 방법 내지는 제어 방법과 관련된 특징들, 이것을 이용한 소셜 로봇(10)과 사용자 간의 인터랙션, 그리고 이로 인한 사용자 편의적 상승 효과에 대해 구체적으로 설명한다.

도 3 내지 도 20은 본 발명의 일 실시예에 따른 소셜 로봇의 동작을 설명하기 위한 도면들이다.

우선 도 3 및 도 4를 참조하면, 소셜 로봇(10)은 주기적 또는 비주기적으로, 지속적으로 사용자들의 생체 정보를 스캔하며(S110) 각 사용자별 생체 정보를 데이터 베이스에 저장하고 누적하여 학습할 수 있다(S210). 본 발명이 이에 제한되는 것은 아니나, 소셜 로봇(10)은 주로 사용자들로부터 요청 사항이나 지시 사항이 없는 경우, 즉 사용자 선제적 인터랙션이 없는 상태에서 사용자들의 생체 정보를 학습할 수 있다.

여기서 소셜 로봇(10)이 학습하는 사용자의 생체 정보는 사용자의 눈동자 위치, 고개 방향, 팔의 위치, 손의 위치, 눈 깜빡임의 빈도, 목소리 파형, 홍채 정보, 눈꼬리 위치, 눈썹 위치 및 입꼬리 위치를 포함할 수 있다.

더 구체적으로, 소셜 로봇(10)이 학습하는 사용자의 생체 정보는 눈 깜빡임의 빈도, 목소리 파형 및 홍채 정보, 상기 눈꼬리 위치, 눈썹 위치 및 입꼬리 위치를 포함할 수 있다. 이와 같은 정보들은 적어도 사용자를 식별하거나, 또는 사용자의 상태를 파악하기 위해 사용될 수 있다.

즉, 소셜 로봇(10)에 의해 수집되는 눈동자 위치, 고개 방향, 팔의 위치, 손의 위치, 눈 깜빡임의 빈도, 목소리 파형, 홍채 정보, 눈꼬리 위치, 눈썹 위치 및 입꼬리 위치 등의 생체 정보는 지시 생체 정보, 식별 생체 정보 및 상태 생체 정보 중 적어도 하나로 분류되어 정의될 수 있다.

구체적으로, 상기 눈동자 위치, 고개 방향, 팔의 위치 및 손의 위치는 지시 생체 정보로 정의될 수 있다. 다만 본 발명이 이에 제한되는 것은 아니다. 지시 생체 정보에 대해서는 도 15 등과 함께 후술한다.

또, 상기 눈 깜빡임의 빈도, 목소리 파형, 홍채 정보 및 안면 색상은 적어도 사용자 식별 생체 정보로 정의될 수 있다. 사용자 식별 생체 정보는 사용자를 등록하거나, 후술할 친밀도 값을 부여하고, 분류된 클래스에 일치하는지 여부 등을 판단하기 위해 사용되는 정보일 수 있다.

또한 상기 눈꼬리 위치, 눈썹 위치 및 입꼬리 위치는 적어도 사용자 상태 생체 정보로 정의될 수 있다. 사용자 상태 생체 정보는 사용자의 현재 상태를 추론하기 위해 사용되는 정보일 수 있다. 전술한 눈 깜빡임의 빈도는 사용자 상태 식별 정보로도 이용될 수 있다.

사람 별로 목소리의 파형과 홍채 정보, 안면 색상, 나아가 눈코입의 위치를 이용한 안면 형상이 상이하여 이들이 사람 별 식별 표지로 이용할 수 있음은 이미 알려져 있다. 또, 이러한 사람별 목소리의 차이, 홍채의 차이, 안면 색상 또는 안면 형상의 차이를 이용해 사용자를 식별하는 기술이 개발된 바 있다. 본 발명은 이에 더하여, 눈 깜빡임의 빈도를 이용해 사용자를 식별하는 것을 제안한다.

사용자 식별 기술이 주로 적용되는 스마트폰 등은 사용자가 스마트폰을 대면하는 시간이 그리 길지 않다. 따라서 눈 깜빡임의 빈도를 기초로 사용자를 식별하고자 하는 필요성이 제안된 바 없거나, 적어도 눈 깜빡임의 빈도를 이용해 사용자를 식별하는 것이 곤란하였다. 그러나 본 발명과 같은 가정/사무실에서 사용되는 소셜 로봇(10)은 동일 공간 내에서 사용자의 위치를 추적하며 지속적으로 사용자의 눈 깜빡임을 관찰할 수 있다. 또한 사람 별로 눈을 깜빡이는 빈도수에는 차이가 있기 때문에 이를 이용해 사용자를 식별하거나, 적어도 다른 생체 정보, 예컨대 목소리나 안면 형상에 더해 보조적으로 사용되어 사용자를 식별할 수 있다.

사용자를 스캔(S110)한 후 데이터 베이스에 일치하는 사용자가 없을 경우, 예컨대 소셜 로봇(10)의 초기 상태, 또는 가족 구성원 외 방문자가 방문하는 등의 경우 수집된 생체 정보를 기초로 신규 사용자로 등록한다(S220). 즉, 소셜 로봇(10)은 어느 사용자를 특정하기에 충분한 정도로 생체 정보가 수집되어 사용자로서 인식된 사용자를 사용자로 등록하고, 등록된 사용자의 수를 파악할 수 있다.

또 소셜 로봇(10)은 기 사용자로 등록된 사용자, 즉 데이터 베이스 내 생체 정보가 존재하는 사용자에 대한 스캔(S110)이 누적됨에 따라 학습 결과에 누적 반영할 수 있다(S210).

한편, 소셜 로봇(10)은 수집된 생체 정보들의 데이터 베이스에 기초하여 사용자 별 친밀도 클래스, 성별 클래스 및/또는 연령 클래스를 분류할 수 있다(S300).

예컨대 소셜 로봇(S10)은 수집된 생체 정보들의 데이터 베이스에 기초하여 사용자들의 연령 클래스를 분류할 수 있다. 여기서 연령 클래스는 연령의 많고 적음에 따른 분류일 수 있다. 예를 들어, 영유아는 제1 레벨 연령 클래스, 아동이나 어린이는 제2 레벨 클래스, 청년 등의 성인 이상의 연령은 제3 레벨 클래스로 분류할 수 있다.

연령 클래스의 분류는 사용자의 목소리, 외형, 기타 신체적 특징 등에 따라 소셜 로봇(10)이 학습할 수 있으나, 다른 실시예에서 연령 클래스는 사용자 단말(40) 등을 이용해 사용자가 직접 입력하거나 수정할 수도 있다.

또, 소셜 로봇(10)은 수집된 생체 정보들의 데이터 베이스에 기초하여 사용자들의 성별 클래스를 분류할 수 있다. 여기서 성별 클래스는 남자, 또는 여자, 또는 그 이외의 성별로 분류될 수 있다. 마찬가지로 성별 클래스의 분류는 사용자의 목소리, 외형, 기타 신체적 특징 등에 따라 소셜 로봇(10)이 학습할 수 있으나, 다른 실시예에서 성별 클래스는 사용자 단말(40) 등을 이용해 사용자가 직접 입력하거나 수정할 수도 있다.

친밀도 클래스에 대해서는 도 5와 함께 설명한다.

사용자들로부터 사용자 인터랙션이 없거나, 충분히 인터랙션 요청이 축적되지 않은 경우, 소셜 로봇(10)이 저장한 사용자 별 클래스는 존재하지 않을 수 있다.

여기서 학습은 신경망(neural network)을 기반으로 하는 인공지능 학습 모델에 의해 이루어질 수 있다. 예컨대 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등의 모델이 데이터 인식 모델로 사용될 수 있으나, 본 발명이 이에 제한되는 것은 아니다. 상기 인공지능 학습 모델이 전술하거나 후술할 사용자별 특징을 기초로 학습을 수행하는 것임은 자명하다.

이어서 도 5 및 도 6을 더 참조하면, 사용자로부터 인터랙션 내지는 인터랙션 요청이 있는 경우(S120) 소셜 로봇(10)은 요청한 사용자를 식별하고(S130), 요청한 사용자의 생체 정보를 또 한번 스캔하한 후 스캔된 사용자의 생체 정보와 저장 내지는 학습된 사용자의 생체 정보를 비교한다(S205).

사용자가 소셜 로봇(10)에게 인터랙션을 시도한 것인지(S120) 파악하기 위해, 사용자는 인터랙션을 위한 트리거를 이용할 수 있다. 예를 들어 소셜 로봇(10)의 이름, 예컨대 단어 '콩콩'을 트리거로 이용할 수 있다.

사용자의 인터랙션은 다른 사물 인터넷 기기(30)의 동작 요청, 또는 지시, 또는 날짜나 날씨를 확인하는 것과 같은 단순한 정보의 질의 뿐 아니라 일상적인 대화나 농담을 포함할 수 있다.

소셜 로봇(10)은 인터랙션을 요청한 사용자의 생체 정보를 스캔한 결과와, 해당 사용자의 생체 정보로 학습된 정보를 비교하여 일치 여부를 판단한다(S205). 만일 스캔 결과와 학습된 결과가 일치할 경우 해당 사용자에 대한 친밀도 클래스 분류를 수행할 수 있다(S310).

구체적으로, 우선 소셜 로봇(10)은 스캔 결과와 학습 결과가 일치할 경우 해당 사용자에 대한 친밀도 값을 부여할 수 있다(S311). 반면, 스캔 결과와 학습된 결과가 일치하지 않을 경우, 등록된 다른 사용자들, 예컨대 사용자 1 내지 사용자 5 중에 일치하는 사용자가 있는지 검색하거나(예컨대, 도 4의 S200), 또는 신규 사용자로 등록하고 학습을 진행할 수 있다(S225).

또, 소셜 로봇(10)은 각 사용자 별로 부여된 친밀도 값을 누적하여 친밀도 클래스를 분류하거나 업데이트할 수 있다(S312). 예를 들어, 친밀도 값이 0일 경우 친밀도 클래스가 존재하지 않고, 친밀도 값이 1 내지 10일 경우 제1 레벨 친밀도 클래스로 분류하고, 친밀도 값이 10 내지 50일 경우 제2 레벨 친밀도 클래스로 분류하는 등일 수 있다.

복수의 사용자들이 위와 같은 과정을 반복함에 따라 소셜 로봇(10)과의 친밀도 값이 누적되고 친밀도 클래스가 점차 상승할 수 있다. 그리고 소정 기준 이상의 친밀도 클래스로 분류된 사용자들을 가족으로 인식할 수 있다.

도 3 내지 도 6과 함께 설명한 것과 같이, 본 실시예에 따른 소셜 로봇(10)은 사용자 인터랙션의 유무에 따라 단순히 생체 정보의 학습을 반복하거나(도 4의 S200, S210), 또는 친밀도의 부여(도 6의 S205, S311)를 수행할 수 있다. 다시 말해서, 사용자의 선제적인 인터랙션이 없는 상태에서 수행되는 도 4의 사용자 스캔(S110)과 사용자의 인터랙션에 응답하여 수행되는 도 6의 인식된 생체 정보와 학습 결과를 매칭하기 위한 탐색 내지는 스캔(S205)는 서로 구별될 수 있다.

이어서 도 7 및 도 8을 더 참조하면, 기존에 인식되지 않은 새로운 사용자, 예컨대 사용자 6 및 사용자 7이 방문한 경우 소셜 로봇(10)은 사용자들의 생체 정보가 충분히 학습되지 않은 상태이기 때문에 방문자들을 등록된 사용자로 인지하지 못할 수 있다. 다만 소정의 시간 동안 생체 정보를 학습하여 신규 사용자로 등록하고 연령 클래스 및/또는 성별 클래스의 분류를 우선하여 수행할 수는 있다.

초기 상태에서 사용자 6 및 사용자 7은 친밀도 클래스가 존재하지 않을 수 있다. 또, 만일 사용자 6으로부터 사용자 선제적 인터랙션이 있는 경우에도, 소셜 로봇(10)은 사용자 6에 대해 누적된 생체 정보가 존재하지 않기 때문에 친밀도 값이 부여되지 않을 수 있다. 반면 사용자 6이 수차례 방문하는 등 시간의 흐름에 따라 생체 정보가 누적될 경우 실제적인 가족 구성원이 아님에도 친밀도 값이 부여될 수도 있다.

한편, 사용자의 지시 사항, 즉 사용자 선제적 인터랙션은 그 성격에 따라 몇가지로 분류될 수 있다. 예를 들어, 친밀도 클래스의 레벨에 따라 수행 가능한 인터랙션과 그렇지 않은 인터랙션으로 분류될 수 있다. 가정 내 사물 인터넷 기기(30), 예컨대 TV를 조작하는 동작은 소정 기준 이상의 친밀도 클래스 레벨을 요구할 수 있다.

따라서 친밀도 클래스가 존재하지 않거나, 충분치 않은 사용자 6의 요청(S120, S130)에도 불구하고 소셜 로봇(10)은 인터랙션에 반응하지 않거나 요청한 사항을 수행할 수 없다는 피드백을 제공할 수 있다. 반면 친밀도 클래스가 레벨 6에 해당하는 사용자 2가 동일한 인터랙션을 요청할 경우 소셜 로봇(10)은 그 인터랙션에 반응할 수 있다.

본 발명이 이에 제한되는 것은 아니나, 특정한 작업의 지시 외의 단순한 날씨 질의, 날짜 질의 등의 인터랙션에 대해서는 사용자별 친밀도 클래스와 무관하게 인터랙션을 수행할 수도 있다.

전술한 것과 같이 소정 기준 이상의 친밀도 클래스 레벨을 요구하는 인터랙션 작업을 제한 인터랙션으로 정의하고, 친밀도 클래스 레벨을 요구하지 않는 인터랙션 작업을 범용 인터랙션으로 정의할 수 있다. 또한 제한 인터랙션에 있어서도, 더 높은 친밀도 클래스 레벨을 요구하거나 상대적으로 낮은 친밀도 클래스 레벨만으로도 가능한 등, 제한 인터랙션의 종류는 더욱 세분화될 수 있다. 또한 상세하게 후술할 바와 같이, 제한 인터랙션은 성별 클래스나 연령 클래스 정보를 추가로 요구할 수도 있다. 이에 대해서는 후술한다.

이처럼 본 발명에 따른 소셜 로봇(10)은 사용자들의 언어적 또는 비언어적 특징을 인식하여 친밀도 클래스를 분류하고, 친밀도 클래스에 따라 수행 가능한 인터랙션과 그렇지 않은 인터랙션을 구별할 수 있다(S400). 다시 말해서, 친밀도 클래스에 따라 서로 다른 피드백을 제공할 수 있다. 이를 위해 소셜 로봇(10)은 인터랙션 요청이 범용 인터랙션인지 또는 제한 인터랙션인지를 우선하여 판단하고(S400), 제한 인터랙션으로 정의된 성격의 것에 대해서는 사용자의 친밀도 클래스 레벨(S410)을 판단할 수 있다. 따라서 사용자로서는 소셜 로봇(10)을 가족의 구성원으로 인식할 수 있다. 또한 가족 외의 방문자 내지는 외부인의 인터랙션을 선별해낼 수 있고, 사물 인터넷 기기(30) 등의 조작을 방지할 수 있다.

이어서 도 9 및 도 10을 더 참조하면, 소셜 로봇(10)은 사용자 별 친밀도 클래스 레벨에 따라 인터랙션의 우선 순위를 정할 수 있다.

예를 들어, 사용자 1이 TV 볼륨의 감소를 요청하고(S120a, S130a), 동시에 사용자 2가 TV 볼륨의 증가를 요청할 경우(S120b, S130b), 소셜 로봇(10)은 충분한 친밀도 클래스 레벨을 보유한 사용자들로부터 서로 상충되거나, 모순되거나, 상반되는 지시를 받는 상황에 직면한다. 도면으로 표현하지 않았으나, 소셜 로봇(10)은 두개의 지시가 상충되는 것인지 또는 동시에 수행 가능한 것인지 등을 판단할 수도 있다.

이 때 소셜 로봇(10)은, 도면으로 표현하지 않았으나, 도 8에 도시된 것과 같이 각 사용자의 요청이 범용 인터랙션인지 또는 제한 인터랙션인지 판단하고, 제한 인터랙션에 속하는 지시의 경우 사용자 1 및 사용자 2의 각 인터랙션이 친밀도 클래스 제한 조건에 부합하는지 판단한다(S500). 만일 사용자 1의 지시 사항과 사용자 1의 친밀도 클래스 레벨을 비교할 때 적합하지 않을 경우 사용자 1의 인터랙션에 응답하지 않을 수 있다. 마찬가지로 사용자 2의 지시 사항과 사용자 2의 친밀도 클래스 레벨을 비교할 때 적합하지 않을 경우 사용자 2의 인터랙션에 응답하지 않을 수 있다.

또, 사용자 1과 사용자 2가 모두 친밀도 클래스 레벨 조건에 부합할 경우, 사용자 1과 사용자 2의 친밀도 레벨 클래스를 비교할 수 있다(S510). 그리고 보다 친밀도 클래스 레벨이 높은 사용자 1의 인터랙션을 우선해서 수행할 수 있다(S520).

또는, 사용자들의 지시가 동시에 수신된 것이 아니라, 사용자 2가 TV 볼륨의 증가를 요청한 후, 소정의 인터벌 내에 사용자 1이 TV 볼륨의 감소를 요청하는 경우에도 소셜 로봇(10)은 사용자 1의 인터랙션을 우선해서 수행할 수 있다.

다른 예를 들어, 사용자 4와 사용자 5가 각각 서로 상충되지는 않으나 다른 종류의 인터랙션을 동시에 요청하는 경우, 특히 어느 사용자의 요청이 소정의 시간을 필요로 하는 경우, 소셜 로봇(10)은 사용자 4와 사용자 5의 친밀도 클래스 레벨을 비교할 수 있다(S510). 그리고 보다 친밀도 클래스 레벨이 높은 사용자 4의 인터랙션을 우선해서 수행할 수 있다(S520).

또는, 사용자 5가 요청한 후, 소정의 인터벌 내에 사용자 4가 요청하는 경우에도 소셜 로봇(10)은 사용자 4의 인터랙션을 우선해서 수행할 수 있다.

위와 같은 동작을 수행하기 위해, 소셜 로봇(10)은 서로 동일한 친밀도 클래스 레벨 내에서도, 각 사용자별 우선 순위를 결정할 수 있다. 상기 우선 순위는 연령 클래스 정보를 부가적으로 이용하거나, 또는 소정의 친밀도 클래스 레벨에 먼저 도달한 사용자를 우선 순위에 놓을 수 있다. 예를 들어, 친밀도 클래스 레벨이 모두 6인 사용자 2와 사용자 3이 서로 상충되는 요청을 하는 경우에도, 소셜 로봇(10)은 사용자 2와 사용자 3 중 누구의 인터랙션을 먼저 처리할 것인지 저장된 데이터를 기초로 결정할 수 있다.

이어서 도 11 및 도 12를 더 참조하면, 소셜 로봇(10)은 사용자 별 친밀도 클래스 뿐 아니라 연령 클래스에 따라 사용자 인터랙션의 수행 여부를 정할 수 있다. 여기서 연령 클래스에 의해 제한되는 인터랙션은 제한 인터랙션의 일종으로 이해될 수 있다.

예를 들어, 현관문 도어락의 개방은 보안에 관련된 것으로 단순히 친밀도 클래스 레벨이 높다고 하여 요청을 수행하는 것은 적당치 않을 수 있다. 따라서 현관문 도어락의 개방 등 특정한 종류로 분류된 인터랙션 요청은, 소정 기준 이상의 친밀도 클래스 뿐 아니라 기준 연령 클래스 이상의 사용자의 요청에 의해서만 수행될 수 있다.

즉, 연령 클래스가 레벨 3(성인)에 해당하는 사용자 2가 현관문 도어락의 개방을 요청할 경우 소셜 로봇(10)은 이에 따를 수 있다. 반면 연령 클래스가 레벨 1(영유아)에 해당하는 사용자 4가 현관문 도어락의 개방을 요청하더라도, 심지어 사용자 2에 비해 사용자 4의 친밀도 클래스가 더 높은 경우에도 소셜 로봇(10)은 상기 요청에 따르지 않을 수 있다.

상기와 같은 도어락 개방 요청에 관한 인터랙션은, 예컨대 방문자와 같이 연령 클래스가 높다고 하더라도 충분한 친밀도 클래스를 갖지 못하는 사용자 7에 의해 수행되지 않음은 물론이다.

이를 위해 소셜 로봇(10)은 사용자의 인터랙션 요청을 확인하고 사용자를 식별한 후(S120, S130) 인터랙션의 종류가 범용 인터랙션인지 또는 제한 인터랙션인지를 판단한다(S400). 만일 제한 인터랙션, 그 중에서도 연령 제한된 인터랙션으로 판단될 경우, 전술한 바와 같이 친밀도 클래스 레벨의 판단(S410)과 연령 클래스 레벨의 판단(S430)을 순차적으로 수행한다.

이어서 도 13 및 도 14를 더 참조하면, 소셜 로봇(10)은 사용자 별 친밀도 클래스 뿐 아니라 성별 클래스 및/또는 연령 클래스에 따라 사용자 인터랙션의 수행 여부를 정할 수 있다. 여기서 성별 클래스 및/또는 연령 클래스에 의해 제한되는 인터랙션은 제한 인터랙션의 일종으로 이해될 수 있다.

예를 들어, 마트에서 식자재를 주문하고 결제하는 것은 가정 내 지정된 특정한 사람이 수행하는 것이 적당할 수 있다. 만일 가족 간의 오해로 인해 식자재의 주문이 중복하여 이루어질 수도 있기 때문이다. 따라서 식자재 주문 등 특정한 종류로 분류된 인터랙션 요청은, 소정 기준 이상의 친밀도 클래스 뿐 아니라, 지정된 성별 클래스 및/또는 기준 연령 클래스 이상의 사용자 요청에 의해서만 수행될 수 있다.

즉, 성별 클래스가 여성이고, 높은 연령 클래스 레벨을 보유한 사용자 1이 식자재의 주문을 요청할 경우 소셜 로봇(10)은 이에 따를 수 있다. 반면 충분한 친밀도 클래스와 연령 클래스를 보유한다 하더라도 성별 클래스가 남성인 사용자 2가 식자재의 주문을 요청하더라도 소셜 로봇(10)은 상기 요청에 따르지 않거나, 사용자 1에 의해 주문 예정인 상태임을 피드백할 수 있다. 또, 충분한 친밀도 클래스와 적합한 성별 클래스에 해당한다 하더라도 연령 클래스가 낮은 사용자 5가 식자재의 주문을 요청하더라도 소셜 로봇(10)은 상기 요청에 따르지 않거나, 사용자 1에 의해 주문 예정인 상태임을 피드백할 수 있다.

상기와 같은 식자재 주문에 관한 인터랙션은, 예컨대 방문자와 같이 연령 클래스가 높고 성별 클래스가 일치하더라도 충분한 친밀도 클래스를 갖지 못하는 사용자 7에 의해 수행되지 않음은 물론이다.

이를 위해 소셜 로봇(10)은 사용자의 인터랙션 요청을 확인하고 사용자를 식별한 후(S120, S130), 인터랙션의 종류가 범용 인터랙션인지 또는 제한 인터랙션인지를 판단한다(S400). 만일 제한 인터랙션, 그 중에서도 성별 제한 또는 성별/연령 제한된 인터랙션으로 판단될 경우, 전술한 바와 같이 우선하여 친밀도 클래스 레벨를 판단(S410)하고, 추가적으로 성별 클래스 레벨의 판단(S420)과 연령 클래스 레벨의 판단(S430)을 수행한다.

한편, 주문하고자 하는 식자재의 종류 및 마트, 결제 방법 등은 사용자 단말(40)을 통해 미리 지정된 상태일 수 있으나 본 발명이 이에 제한되는 것은 아니다.

이어서 도 15 및 도 16을 더 참조하면, 소셜 로봇(10)은 사용자에 의한 음성 기반 지시 뿐 아니라 비언어적 특징, 예컨대 동작 등에 따라 사용자 인터랙션의 수행 여부를 정할 수 있다. 여기서 상기 비언어적 특징은 전술한 지시 생체 정보를 의미할 수 있다.

또, 전술한 음성 기반 지시에 관한 인터랙션은, 제한 인터랙션 중에서도 사용자의 음성 인식 만으로 수행 가능한 음성 인터랙션으로 분류되고, 비언어적 특징 만으로 수행 가능한 인터랙션은, 제한 인터랙션 중에서도 사용자의 동작 만으로 수행 가능한 비언어적 인터랙션으로 분류되는 것으로 이해될 수 있다.

예를 들어, 사용자 3이 허기를 느낄 경우 소셜 로봇(10)을 대상으로 하는 동작이 아닌 다른 동작을 수행할 수 있다. 만일 사용자 3이 허기를 느끼고서 냉장고를 소정의 시간 이상 응시하거나, 또는 냉장고와 부엌 찬장을 번갈아 응시할 수 있다.

이 경우 사용자 3이 소셜 로봇(10)에게 지시 인터랙션을 수행하지 않았으나, 소셜 로봇(10)은 사용자 3을 스캔(S110)하여 지시 생체 정보의 일종을 포착하고, 이를 토대로 로봇 선제적 인터랙션을 수행할 수 있다.

구체적으로, 사용자 3으로부터 스캔(S110)된 비언어적 동작이 기 등록된 사용자의 것으로 판단(S200)되면, 사용자 3의 동작 중에 지시 생체 정보로 분류되는 것이 존재하는지 판단하고, 지시 생체 정보가 존재할 경우 그에 상응하는 로봇 선제적 인터랙션이 존재하는지 판단한다(S610). 판단 결과 대응되는 것이 없을 경우 사용자의 스캔(S110)을 지속하고, 대응되는 것이 있을 경우 로봇 선제적인 인터랙션을 제시한다.

이와 같이 본 발명에 따른 소셜 로봇(10) 및 인터랙션 시스템(1)에 따르면 사용자가 음성 인식에 기초하여 소셜 로봇(10)에게 직접적인 명령을 하지 않더라도 소셜 로봇(10)과 사람 간의 비언어적 인터랙션에 기초해 소셜 로봇(10)이 선제적 인터랙션을 수행할 수도 있다. 이를 통해 사람과 소셜 로봇(10) 간의 정서적 교감을 더욱 강화할 수 있다.

이어서 도 17 및 도 18을 더 참조하면, 소셜 로봇(10)은 사용자에 의한 음성 기반 지시와 함께 비언어적 특징, 예컨대 동작 등에 따라 사용자 인터랙션의 수행 여부를 정할 수 있다. 여기서 상기 비언어적 특징은 전술한 지시 생체 정보를 의미할 수 있다.

또, 음성 지시와 함께 비언어적 특징이 요구되는 인터랙션은, 제한 인터랙션 중에서도 복합 인터랙션으로 이해될 수 있다.

예를 들어, 의도하지 않았으나 일상 생활 속에서 사람과 사람이 주고 받는 말 속에 포함된 단어, 즉 소셜 로봇(10)과의 인터랙션을 위한 음성적 명령이 아님에도 불구하고 소셜 로봇(10)이 이를 명령 인터랙션으로 인지할 경우 문제가 발생할 수 있다. 전술한 바와 같이 '콩콩'과 같은 단어를 트리거로 이용할 수 있으나 이것 만으로는 충분치 않아 보조적 제한이 필요할 수 있다.

즉, 사용자들이 TV를 켜고 싶은 경우에도, 단순히 TV를 켜달라는 명령만으로는 반응하지 않고, 음성 명령을 하는 사용자가 TV를 응시한 상태에서만 소셜 로봇(10)이 이에 응답할 수 있다.

또는 다른 예를 들어, TV를 이용해 유튜브에 접속하는 등의 경우 사용자 4로서는 타인이 자기의 계정에 접속하는 것을 원하지 않을 수 있다. 그러나 이러한 분류는 전술한 친밀도 클래스, 연령 클래스, 성별 클래스 만으로는 충분히 가려내기 어려울 수 있다. 이와 같은 경우 비언어적 동작에 기초한 지시를 마치 단순한 형태의 암호와 같이 활용할 수 있다.

즉, 사용자 2가 음성으로 사용자 4의 계정으로 유튜브에 접속해줄 것을 요청하더라도 미리 정해진 지시 생체 정보가 수집되지 않을 경우 인터랙션을 수행하지 않을 수 있다. 반면 사용자 4가 음성으로 유튜브 접속을 요청함과 동시에 미리 정해진 지시 생체 정보, 예컨대 손으로 V를 그리는 동작을 할 경우 소셜 로봇(10)은 인터랙션 요청/지시를 수행할 수 있다.

이를 위해 소셜 로봇(10)은 음성을 포함하는 사용자 인터랙션이 식별되면(S121, S130), 인터랙션의 종류가 음성 인터랙션에 속하는 것인지, 또는 비언어적 인터랙션이나 복합 인터랙션에 속하는 것인지 판단한다(S600).

여기서 인터랙션의 종류를 판단(S600)하는 것은 인터랙션이 음성 인터랙션인지, 비언어적 인터랙션인지, 또는 복합 인터랙션인지를 판단하는 것인 바, 전술한 도 8 등의 제한 인터랙션인지 범용 인터랙션인지에 관한 인터랙션의 종류를 판단(S400)하는 것과 구별될 수 있다.

그리고 사용자를 스캔하여 지시 생체 정보가 획득되는지 여부, 지시 생체 정보가 미리 지정된 것과 일치하는지 여부 등을 판단할 수 있다(S620). 즉, 음성 지시(S121)를 먼저 획득한 후 비언어적 동작의 일치 여부를 판단하는 단계(S620)가 수행될 수 있다.

이어서 도 19 및 도 20을 더 참조하면, 소셜 로봇(10)은 사용자로부터 수집되는 상태 생체 정보(S110, S700)에 기초하여 로봇 선제적 인터랙션의 빈도 내지는 수행 여부를 결정할 수 있다(S710).

어느 사용자, 예컨대 사용자 4가 TV를 시청하고 있는 상태에서 소셜 로봇(10)은 로봇 선제적 인터랙션의 수행 빈도 내지는 수행 여부를 결정할 수 있다. 로봇 선제적 인터랙션의 종류는 특별히 제한되지 않으나, 현재 시간을 알려주거나, 사용자에게 필요한 것이 없는지 물어보는 등이 될 수 있다.

이 때 소셜 로봇(10)은 사용자 4를 스캔하고(S110), 사용자 4로부터 생체 정보, 특히 상태 생체 정보를 수집할 수 있다. 여기서 스캔(S110)은 사용자 선제적 인터랙션이 없을 때 수집되는 것일 수 있다. 만일 사용자 4의 평균 눈 깜빡임의 빈도가 60초에 8~11번으로 저장되어 있는데, 현재 수집되는 사용자 4의 평균 눈 깜빡임의 빈도가 위 평균 보다 낮은 경우 소셜 로봇(10)은 사용자 4가 TV 시청에 집중하고 있는 상태인 것으로 판단(S700)하여 로봇 선제적 인터랙션의 빈도를 줄이거나, 또는 로봇 선제적인 인터랙션을 제공하지 않을 수 있다(S710).

앞서 설명한 것과 같이 본 발명에 따른 소셜 로봇(10) 및 이를 이용한 인터랙션 시스템(1)은 종래와 같이 단순히 사용자와 로봇 간의 음성적 인터랙션에 그치지 않고, 비언어적 인터랙션을 이용할 수 있다.

따라서 사용자들로서는 보다 직관적이면서도, 사용자 편의적으로 맞춤형 서비스를 제공받을 수 있으며, 나아가 소셜 로봇(10)과의 정서적 교감을 증진시킬 수 있다.

첨부된 도면의 구성도 또는 블록도 상의 각 구성요소는 소프트웨어나 FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등의 하드웨어로 구현될 수 있다. 다만, 구성도 또는 블록도 상의 각 구성요소들은 소프트웨어 및 하드웨어 뿐만 아니라 어드레싱 가능한 저장 매체에서 구현될 수 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될수 있다.

구성도 또는 블록도 상의 각 구성요소는 특정된 논리 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 의미할 수 있다. 따라서 구성도 또는 블록도 상의 구성요소가 제공하는 기능은 더 세분화된 복수의 구성요소에 의해 구현되거나, 또는 구성도 또는 블록도 상의 복수의 구성요소들은 일체화된 하나의 구성요소에 의하여 구현될 수도 있음은 물론이다.

즉, 본 발명의 목적 범위 내에서 각 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수 있다. 또, 모든 구성요소들이 각각 하나의 독립된 하드웨어로 구현될 수 있고, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술분야에 속하는 통상의 기술자에게 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 기록 매체 내지는 저장 매체에 저장되어 컴퓨터에 의해 읽히고 실행됨으로써 본 발명의 실시예를 구현할 수 있다. 상기 기록 매체의 예로는 자기 기록 매체, 광 기록 매체 등을 들 수 있다.

이상에서 본 발명의 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다.

따라서 본 발명의 범위는 이상에서 예시된 기술 사상의 변경물, 균등물 내지는 대체물을 포함하는 것으로 이해되어야 한다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성요소는 변형하여 실시할 수 있다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

1: 사람-로봇 인터랙션 시스템
10: 소셜 로봇
20: 사용자
30: 사물 인터넷 기기
40: 사용자 단말

Claims (22)

1. 적어도 하나 이상의 사용자들의 생체 정보를 학습하고, 인터랙션을 요청하는 사용자로부터 수집된 생체 정보와 학습된 생체 정보가 일치할 경우 친밀도 값을 부여하고,
   부여된 친밀도 값에 따라 다수 사용자들의 친밀도 클래스를 분류하고, 분류된 친밀도 클래스 레벨에 따라 사용자 별 인터랙션의 우선순위를 정하거나, 또는 분류된 친밀도 클래스 레벨에 따라 수행 가능한 인터랙션의 종류를 정하도록 구성된, 소셜 로봇.
2. 제1항에 있어서,
   수집된 생체 정보에 따라 다수 사용자들의 연령 클래스를 더 분류하되, 상기 연령 클래스는 제1 레벨 연령 클래스 및 상기 제1 레벨 연령 클래스 보다 높은 권한을 갖는 제2 레벨 연령 클래스를 포함하고,
   어느 인터랙션은, 기준 레벨 이상의 친밀도 클래스의 사용자 중, 제2 레벨 연령 클래스에 속하는 사용자에 의해서만 수행되도록 구성된 소셜 로봇.
3. 제1항에 있어서,
   수집된 생체 정보에 따라 다수 사용자들의 성별 클래스를 더 분류하되, 상기 성별 클래스는 제1 성별 클래스 및 제2 성별 클래스를 포함하고,
   어느 인터랙션은, 기준 레벨 이상의 친밀도 클래스의 사용자 중, 제2 성별 클래스에 속하는 사용자에 의해서만 수행되도록 구성된 소셜 로봇.
4. 제1항에 있어서,
   제1 레벨 친밀도 클래스의 제1 사용자로부터 제1 인터랙션 요청을 수신하고,
   소정의 인터벌 내에 제1 레벨 친밀도 클래스 보다 높은 제2 레벨 친밀도 클래스의 제2 사용자로부터 상기 제1 인터랙션과 상이한 제2 인터랙션 요청을 수신하는 경우, 제2 인터랙션을 우선 수행하도록 구성된 소셜 로봇.
5. 제4항에 있어서,
   상기 제1 인터랙션 요청과 제2 인터랙션 요청이 상반되는 종류의 것일 때, 제1 인터랙션을 수행하지 않도록 구성된 소셜 로봇.
6. 제1항에 있어서,
   상기 인터랙션은 제한된 종류의 제한 인터랙션 및 그렇지 않은 범용 인터랙션을 포함하고,
   제1 레벨 친밀도 클래스의 제1 사용자로부터 제한 인터랙션 요청을 수신하는 경우 수행하지 않고, 제1 레벨 친밀도 클래스 보다 높은 제2 레벨 친밀도 클래스의 제2 사용자로부터 상기 제한 인터랙션 요청을 수신하는 경우 수행하도록 구성된 소셜 로봇.
7. 제1항에 있어서,
   상기 인터랙션은 사용자의 음성 인식에 따라 수행 가능한 음성 인터랙션, 사용자의 비언어적 동작에 따라 수행 가능한 비언어적 인터랙션, 및 사용자의 음석 인식과 함께 비언어적 동작이 요구되는 복합 인터랙션을 포함하고,
   사용자로부터 복합 인터랙션 요청이 수신되는 경우, 음성 지시 및 비언어적 동작을 순차적으로 판별하여 복합 인터랙션을 수행하도록 구성된 소셜 로봇.
8. 제1항에 있어서,
   상기 생체 정보는 사용자의 눈동자 위치, 고개 방향, 팔의 위치, 손의 위치, 눈 깜빡임의 빈도, 목소리 파형, 홍채 정보, 안면 색상, 눈꼬리 위치, 눈썹 위치 및 입꼬리 위치를 포함하여 수집되는 소셜 로봇.
9. 제8항에 있어서,
   상기 눈동자 위치, 고개 방향, 팔의 위치 및 손의 위치는 적어도 지시 생체 정보로 정의되고,
   상기 눈 깜빡임의 빈도, 목소리 파형, 홍채 정보 및 안면 색상은 적어도 사용자 식별 생체 정보로 정의되고,
   상기 눈꼬리 위치, 눈썹 위치 및 입꼬리 위치는 적어도 사용자 상태 생체 정보로 정의되는 소셜 로봇.
10. 제9항에 있어서,
    상기 상태 생체 정보에 기초하여, 로봇 선제적 인터랙션의 빈도를 결정하도록 구성된 소셜 로봇.
11. 제10항에 있어서,
    상기 눈 깜빡임의 빈도는 사용자 상태 생체 정보로 더 정의되고, 눈 깜빡임의 빈도에 기초하여 로봇 선제적 인터랙션의 빈도를 더 결정하도록 구성된 소셜 로봇.
12. 제9항에 있어서,
    상기 인터랙션은, 적어도 사용자의 비언어적 동작에 기초한 비언어적 또는 복합 인터랙션을 포함하고,
    상기 지시 생체 정보는 비언어적 또는 복합 인터랙션의 수행 여부를 결정함에 사용되도록 구성된 소셜 로봇.
13. 사용자로부터 인터랙션이 없는 상태에서 사용자의 생체 정보를 스캔하여 사용자 정보를 학습하는 단계;
    사용자로부터 인터랙션 요청이 있는 경우, 요청한 사용자의 생체 정보를 스캔하여 학습된 생체 정보와 비교하는 단계;
    스캔한 생체 정보와 학습된 생체 정보가 일치할 경우 친밀도 값을 부여하는 단계; 및
    등록된 다수의 사용자들의 친밀도 값에 따라 다수 사용자들의 친밀도 클래스를 분류하는 단계를 포함하는 소셜 로봇의 제어 방법.
14. 제13항에 있어서,
    인터랙션의 종류를 분류하는 단계; 및
    어느 사용자로부터 요청 받은 인터랙션의 종류와 상기 사용자의 친밀도 클래스를 비교하는 단계를 더 포함하는 소셜 로봇의 제어 방법.
15. 제14항에 있어서,
    상기 친밀도 클래스 레벨에 기초하여 사용자 별 인터랙션의 우선순위를 결정하는 단계를 더 포함하는 소셜 로봇의 제어 방법.
16. 제13항에 있어서,
    사용자의 생체 정보에 기초하여 연령 클래스를 분류하는 단계;
    사용자의 생체 정보에 기초하여 성별 클래스를 분류하는 단계; 및
    분류된 연령 클래스의 레벨 또는 성별 클래스의 레벨에 따라 인터랙션 요청의 수행 여부를 결정하는 단계를 더 포함하는 소셜 로봇의 제어 방법.
17. 제13항에 있어서,
    사용자로부터 요청받은 인터랙션은, 사용자의 음성 인식에 따라 수행 가능한 음성 인터랙션, 사용자의 비언어적 동작에 따라 수행 가능한 비언어적 인터랙션, 및 사용자의 음성과 함께 비언어적 동작이 요구되는 복합 인터랙션을 포함하여 분류되고,
    사용자로부터 음성에 기초한 인터랙션 요청이 수신되는 경우,
    음성 인터랙션으로 분류된 요청인지 또는 복합 인터랙션으로 분류된 요청인지 판단하는 단계; 및
    복합 인터랙션으로 분류된 요청일 경우 소정의 인터벌 동안 사용자의 비언어적 동작 여부를 스캔하는 단계를 더 포함하는 소셜 로봇의 제어 방법.
18. 제17항에 있어서,
    상기 비언어적 동작은 눈동자 위치, 고개 방향, 팔의 위치 및 손의 위치 중 적어도 하나를 포함하는 소셜 로봇의 제어 방법.
19. 제13항에 있어서,
    사용자로부터 인터랙션이 없는 상태에서 사용자의 생체 정보를 스캔하는 단계는, 사용자의 눈 깜빡임의 빈도를 수집하는 것을 포함하고,
    사용자의 눈 깜빡임의 빈도에 기초해 로봇 선제적 인터랙션의 빈도를 결정하는 단계를 더 포함하는 소셜 로봇의 제어 방법.
20. 제1항에 따른 소셜 로봇; 및
    하나 이상의 사물 인터넷 기기를 포함하는 사용자-로봇 인터랙션 시스템.
21. 제20항에 있어서,
    소셜 로봇이 수집하는 생체 정보는 눈동자 위치, 고개 방향, 팔의 위치 및 손의 위치를 포함하는 지시 생체 정보를 포함하고,
    사용자로부터 상기 사물 인터넷 기기와 관련한 지시 생체 정보가 수신되는 경우, 상기 사물 인터넷 기기를 동작시키는 것을 포함하는 사용자-로봇 인터랙션 시스템.
22. 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 인스트럭션을 실행하여 제17항의 방법을 수행하는 프로세서를 포함하는 장치.

Images