KR101295003B1 - 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법 - Google Patents

Abstract

지능 로봇은, 사용자 정보 및 상호작용 내력 정보를 저장하는 데이터베이스; 하나 이상의 사용자에 관련된 다중 센서 정보를 수신하며, 상기 다중 센서 정보를 상기 사용자 정보와 비교하여 상기 하나 이상의 사용자를 특정하고, 상기 다중 센서 정보를 이용하여 상기 하나 이상의 사용자 각각의 위치 정보 및 표현 정보를 산출하는 센싱부; 상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여, 상기 하나 이상의 사용자 중 관심 대상 사용자를 결정하는 판단부; 상기 관심 대상 사용자와 상호작용을 수행하기 위한 제어 데이터를 생성하는 제어 데이터 처리부; 및 상기 제어 데이터를 이용하여 구동되는 구동부를 포함할 수 있다.

Description

지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법{INTELLIGENT ROBOT, SYSTEM FOR INTERACTION BETWEEN INTELLIGENT ROBOT AND USER, AND METHOD FOR INTERACTION BETWEEN INTELLIGENT ROBOT AND USER}

실시예들은 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법에 관한 것이다.

최근 로봇에 관련된 기술 분야에서 많은 기술적인 발전이 이루어지고 있다. 그 중에서도 지능 로봇의 발전은 하루가 다르게 새로운 기술들을 양산해내고 있으며, 특히 사용자와의 상호작용 분야에서의 발전이 두드러진다. 사용자와의 원활한 상호작용이 이루어지기 위해서는 지능 로봇이 사용자를 찾고 추적하는 기능이 기본적으로 전제되어야 한다. 따라서, 이동 로봇이 사용자를 추적하는 기술에 대해 많은 연구가 이루어져 왔다.

예를 들어, "실시간으로 전방향 사람 검출 및 추적방법 및 이를 이용한 로봇"의 제목을 갖는 대한민국 공개특허공보 제10-2007-0008271호에는, 카메라가 부착된 모바일 로봇이 실시간으로 패턴 인식 기술을 이용하여 사람을 검출하고 추적하는 기술이 개시되어 있다. 한편, "로봇의 소리 인식 장치 및 그 제어 방법"의 제목을 갖는 대한민국 공개특허공보 제10-2010-0081587호에는, 로봇이 감지된 소리와 미리 설정된 기준 조건을 비교하여 사용자의 대화 의도를 판단하고, 이에 따라 로봇을 제어하는 기술이 개시되어 있다.

그러나, 상기 기술들을 비롯한 종래의 로봇 관련 기술에서는 로봇이 특정 사용자의 영상 또는 소리를 검출하여 해당 사용자와 상호작용하는 기술이 개시되어 있을 뿐, 여러 명의 사용자와 로봇이 상호작용 가능한 환경에서 로봇에 의한 서비스를 효율적으로 제공할 수 있는 방법에 대한 고려는 전무한 실정이다.

대한민국 공개특허공보 제10-2007-0008271호 대한민국 공개특허공보 제10-2010-0081587호

본 발명의 일 측면에 따르면, 다중 센서(multi-modal sensor) 신호의 융합(fusion) 및 데이터 연관(data association) 기법을 이용하여, 여러 명의 사용자와 상호작용 가능한 환경에서 효율적으로 서비스를 제공할 수 있도록 구성된 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법을 제공할 수 있다.

일 실시예에 따른 지능 로봇은, 사용자 정보 및 상호작용 내력 정보를 저장하는 데이터베이스; 하나 이상의 사용자에 관련된 다중 센서(multi modal sensor) 정보를 수신하며, 상기 다중 센서 정보를 상기 사용자 정보와 비교하여 상기 하나 이상의 사용자를 특정하고, 상기 다중 센서 정보를 이용하여 상기 하나 이상의 사용자 각각의 위치 정보 및 표현 정보를 산출하는 센싱부; 상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여, 상기 하나 이상의 사용자 중 관심 대상 사용자를 결정하는 판단부; 상기 관심 대상 사용자와 상호작용을 수행하기 위한 제어 데이터를 생성하는 제어 데이터 처리부; 및 상기 제어 데이터를 이용하여 구동되는 구동부를 포함할 수 있다.

일 실시예에 따른 지능 로봇과 사용자의 상호작용을 위한 시스템은, 사용자 정보 및 상호작용 내력 정보를 저장하고, 하나 이상의 사용자에 관련된 다중 센서 정보를 수신하며, 상기 사용자 정보 및 상기 다중 센서 정보를 이용하여 상기 하나 이상의 사용자를 특정하고, 상기 다중 센서 정보를 이용하여 상기 하나 이상의 사용자의 위치 정보 및 표현 정보를 산출하며, 상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여 상기 하나 이상의 사용자 중 관심 대상 사용자를 결정하는 지능 로봇; 및 상기 하나 이상의 사용자 각각에 대응되는 하나 이상의 사용자 장치를 포함할 수 있다. 상기 관심 대상 사용자가 결정되면 상기 관심 대상 사용자에 대응되는 상기 사용자 장치와 상기 지능 로봇 사이에 데이터를 송수신할 수 있다.

일 실시예에 따른 지능 로봇과 사용자의 상호작용을 위한 방법은, 사용자 정보 및 상호작용 내력 정보를 포함하는 상기 지능 로봇에서, 하나 이상의 사용자에 관련된 다중 센서 정보를 수신하는 단계; 상기 다중 센서 정보를 상기 사용자 정보와 비교하여 상기 하나 이상의 사용자를 특정하는 단계; 상기 다중 센서 정보를 이용하여 상기 하나 이상의 사용자의 위치 정보 및 표현 정보를 산출하는 단계; 상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여, 상기 하나 이상의 사용자 중 관심 대상 사용자를 결정하는 단계; 및 상기 관심 대상 사용자와 상호작용하도록 상기 지능 로봇을 구동하는 단계를 포함할 수 있다.

본 발명의 일 측면에 따른 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법을 이용하면, 다중 센서(multi-modal sensor) 신호의 융합(fusion) 및 데이터 연관(data association) 기법을 구현하고, 사용자에 대한 위치 추적 및 행동 패턴 분석을 수행하며, 여러 명의 사용자 중 지능 로봇이 상호작용을 수행할 관심 대상 사용자를 결정함으로써 지능 로봇을 이용하여 여러 사람에게 효율적으로 서비스를 제공할 수 있다. 나아가, 사용자가 스마트 장치(smart device) 등 자신의 사용자 장치를 이용하여 지능 로봇과 상호작용을 수행하도록 할 수도 있다.

도 1은 일 실시예에 따른 지능 로봇과 사용자의 상호작용을 위한 시스템의 개략적인 블록도이다.
도 2는 일 실시예에 따른 지능 로봇과 사용자의 상호작용을 위한 방법의 개략적인 순서도이다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은 일 실시예에 따른 지능 로봇과 사용자의 상호작용을 위한 시스템의 개략적인 블록도이다. 본 명세서에 기재된 실시예의 설명에 있어서, 발명의 요지를 명확하게 하기 위하여 본 발명이 속하는 기술분야에서 통상의 기술자가 용이하게 이해할 수 있는 부분에 대해서는 자세한 설명을 생략한다.

본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", "로봇" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 모듈, 장치, 로봇 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.

또한, 본 명세서에서 지능 로봇이란, 사용자와의 상호작용이 가능하도록 프로그래밍(programming)된 임의의 플랫폼을 지칭하는 것으로서 특정 형상 또는 목적을 갖는 로봇에 한정되는 것은 아니다. 또한, 지능 로봇은 자율 및/또는 수동으로 주행이 가능한 형태의 이동 로봇일 수 있다. 예컨대, 지능 로봇은 인간 형상의 자율 주행형 로봇일 수도 있으나 이에 한정되지 않는다. 지능 로봇과 사용자와의 상호작용이 가능하도록 하기 위해, 지능 로봇은 사용자의 표현을 검지하기 위한 센싱 수단 및/또는 지능 로봇의 표현을 출력하기 위한 출력 수단을 포함할 수 있다.

도 1에서 지능 로봇(1)은 하나 이상의 사용자에게 효율적으로 서비스를 제공하기 위하여 다양한 센서 장치를 이용하여 각 사용자의 위치를 추적하며, 사용자의 발화 내용, 사용자의 표정으로부터 검출되는 감정 상태 및 사용자의 몸짓이나 터치와 같은 제스쳐 등 행동 패턴을 분석할 수 있다. 또한, 지능 로봇(1)은 분석한 결과를 이용하여 미리 결정된 규칙에 기반하여 여러 명의 사용자 중 지능 로봇(1)이 상호작용을 수행할 사용자를 결정할 수 있다.

즉, 본 실시예에서는 지능 로봇(1)과 상호작용이 가능한 환경에 있는 여러 명의 사용자 중 지능 로봇(1)이 서비스를 가장 효율적으로 제공할 수 있는 특정 사용자와 상호작용을 수행하도록 지능 로봇(1)을 구동시킬 수 있다. 본 명세서에서는 상기 특정 사용자를 관심 대상 사용자라고 지칭한다. 관심 대상 사용자가 결정되면, 지능 로봇(1)은 사용자의 위치를 추적하여 사용자를 주시하거나, 사용자의 발화 내용, 감정 상태 또는 제스쳐 등에 대응되는 지능 로봇의 표현을 출력하거나, 사용자에게 소정의 컨텐츠를 제공하는 등의 형태로 구동되어 사용자와 상호작용을 수행할 수 있다.

한편, 사용자는 소정의 사용자 장치(2)를 이용하여 지능 로봇(1)과 데이터를 송수신함으로써 지능 로봇(1)과 상호작용할 수도 있다. 예컨대, 사용자 장치(2)를 통해 사용자의 표정, 발화 및/또는 제스쳐 등의 사용자의 표현 정보를 검지하여 지능 로봇(1)으로 전송하거나, 또는/또한 지능 로봇(1)으로부터 생성된 지능 로봇의 표현 정보가 사용자 장치(2)로 전송되어 사용자 장치(2)를 통해 출력될 수 있다. 본 명세서에서 사용자 장치(2)는 지능 로봇(1)과 데이터를 주고 받을 수 있는 임의의 컴퓨팅 장치(computing device)를 지칭하는 것으로서, 데스크탑(desktop) 컴퓨터, 랩탑(lap top) 컴퓨터, 태블릿(tablet) 장치, PDA 또는 이동 전화 등일 수 있다. 사용자 장치(2)는 스마트폰(smartphone) 또는 스마트 패드(smart pad)와 같은 스마트 장치일 수 있으나 이에 한정되는 것은 아니다.

도 1에 도시된 사용자 장치(2)의 개수는 단지 예시적인 것으로서, 지능 로봇(1)은 지능 로봇(1)과 상호작용 가능한 환경에 여러 명의 사용자가 있는 조건하에서 상호작용할 사용자를 결정하도록 구동될 수 있으며, 각각의 사용자들은 자신의 사용자 장치(2)를 이용하여 지능 로봇(1)과 상호작용할 수 있다. 따라서, 지능 로봇(1)과 통신을 수행할 수 있는 사용자 장치(2)의 개수는 사용자의 수에 따라 상이하며, 본 명세서에 첨부된 도면에 도시된 개수에 한정되지 않는다. 또한, 사용자는 반드시 사용자 장치(2)를 이용하여 지능 로봇(1)과 상호작용하여야 하는 것은 아니다. 즉, 별도의 장치를 경유하지 않고 지능 로봇(1)이 직접 센서 등을 이용하여 사용자의 표현을 검지하고, 이에 대응되는 표현을 지능 로봇(1)의 구동의 형태로서 사용자가 보거나 듣도록 할 수 있다.

도 1을 참조하면, 일 실시예에 따른 지능 로봇(1)은 센싱부(10), 데이터베이스(11), 판단부(12), 제어 데이터 처리부(13) 및 구동부(14)를 포함할 수 있다. 또한, 지능 로봇(1)은 사용자 장치 특정부(15)를 더 포함할 수도 있다.

센싱부(10)에서는, 지능 로봇(1)과 상호작용이 가능한 환경에 있는 하나 이상의 사용자에 관련된 다중 센서(multi-modal sensor) 정보를 수신할 수 있다. 다중 센서 정보란, 사용자의 표정, 발화 및/또는 제스쳐 등을 검출하기 위하여 하나 이상의 종류의 센서를 이용하여 수신되는 정보를 지칭한다. 다중 센서 정보란 반드시 여러 종류의 정보가 단일 데이터의 형태로 결합된 것을 지칭하는 것은 아니며, 독립적으로 검출 및 전송 가능한 복수 개의 센서 정보를 집합적으로 지칭하는 것일 수 있다. 다중 센서 정보를 수신하기 위하여, 센싱부(10)는 지능 로봇(1)의 내부 및/또는 외부에 장착된 하나 이상의 센서를 포함할 수 있다.

데이터베이스(11)에는 하나 이상의 사용자에 대한 사용자 정보 및 상호작용 내력 정보가 미리 저장될 수 있다. 센싱부(10)는 수신된 다중 센서 정보를 이용하여 검출된 사용자의 특징을 데이터베이스(11)에 저장된 사용자 정보와 비교함으로써 사용자를 특정할 수 있다. 또한, 센싱부(10)에서는 다중 센서 정보를 이용하여 사용자의 위치 정보 및 표현 정보를 산출할 수 있다. 판단부(12)는 센싱부(10)에 수신된 다중 센서 정보, 이로부터 산출된 위치 정보와 표현 정보, 및 데이터베이스(11)에 저장된 사용자의 상호작용 내력 정보를 종합적으로 고려하여 상호작용 가능한 여러 명의 사용자 중 지능 로봇이 상호작용을 수행할 관심 대상 사용자를 결정할 수 있다.

센싱부(10)에서 산출되는 표현 정보는, 사용자의 발화 내용, 감정 상태 및 제스쳐의 종류 등을 포함할 수 있다. 또한, 데이터베이스(11)에 저장된 상호작용 내력 정보는, 지능 로봇에 의한 사용자의 특정 빈도, 사용자의 발화 내용 및 빈도, 사용자의 감정 상태 및 빈도, 사용자의 제스쳐의 종류 및 빈도, 및 사용자와 지능 로봇 사이의 거리 등을 포함할 수 있다. 판단부(12)는 이상의 정보를 이용하여 데이터 연관(data association) 및 규칙(rule) 기반 방법으로 관심 대상 사용자를 결정할 수 있다. 이는 판단부(13)와 관련하여 상세히 후술한다.

일 실시예에서, 센싱부(10)는 사용자의 영상 정보를 수신하기 위한 영상 입력부(101)를 포함할 수 있다. 예컨대, 영상 입력부(101)는 RGB 카메라 및/또는 3차원 깊이 인식(3D depth) 카메라를 포함하여 구성되는 비젼 센서(vision sensor)일 수 있으나, 이에 한정되는 것은 아니다. 영상 입력부(101)는 수신된 영상 정보에서 3차원 깊이 인식 정보 및 RGB 정보를 입력 데이터로 저장할 수 있다. 또한, 영상 입력부는 깊이 인식 정보 및 RGB 정보를 캘리브레이션(calibration)하여 이미지 매핑(mapping)을 수행할 수도 있다.

사용자 이미지 검출부(104)에서는, 수신된 영상 정보에서 사용자가 위치하는 영역을 검출할 수 있다. 영상 입력부(101)에 수신된 영상 정보는 거리 단차가 발생하는 동적 물체에 대한 정보들을 포함하는 3차원 데이터이므로, 사용자 이미지 검출부(104)에서는 영상 정보 내의 각 객체를 인지하고 공간상에서 각 객체의 위치를 추정할 수 있다. 예컨대, 사용자 이미지 검출부(104)는 블랍 레이블링(blob labeling) 기법을 이용하여 각 객체 위치를 추정할 수 있으나, 이는 단지 예시적인 것으로서 사용자 이미지의 검출 기법은 이에 한정되는 것은 아니다. 또한, 사용자 이미지 검출부(104)는 수신된 3차원 영상 정보에서 RGB 정보 추출을 통하여 사용자의 얼굴 부분만을 사용자 이미지로 검출할 수 있다.

사용자 인식 검색부(105)는, 사용자 이미지 검출부(104)에서 검출된 사용자 이미지를 데이터베이스(11)에 저장되어 있는 사용자 정보와 비교함으로써 지능 로봇(1)과 상호작용 가능한 환경에 있는 하나 이상의 사용자를 특정할 수 있다. 이를 위하여, 지능 로봇(1)과의 상호작용이 예상되는 사용자들의 신체적인 특징, 예컨대, 각 사용자의 안면에서 눈, 코, 입, 눈썹 등 주요 특징점의 위치에 관련된 정보 또는 사용자가 착용한 의상의 색상에 대한 정보 등의 외관상의 특징에 대한 정보를 사전에 획득하여 사용자 정보로서 데이터베이스(11)에 저장해둘 수 있다. 사용자 인식 검색부(105)는 사용자 이미지로부터 검출된 특징이 데이터베이스(11)에 저장된 사용자 정보에 대응되는 것을 확인함으로써 해당 사용자가 상호작용 대상 사용자임을 판별할 수 있다.

한편, 사용자 이미지를 데이터베이스(11)에 저장된 사용자 정보와 비교한 결과, 모든 비교 결과에서 오차가 일정 문턱값 이상일 경우 해당 사용자는 데이터베이스(11)에 등록되지 않은 사용자로 판단할 수 있다. 사용자 등록부(106)는, 등록되지 않은 사용자가 있을 경우 해당 사용자의 정보를 데이터베이스(11)에 등록하는 과정을 수행할 수 있다. 예컨대, 사용자 등록부(106)는 해당 사용자의 이미지에서 눈, 코, 입, 눈썹 등 주요 특징점의 위치에 관련된 정보 또는 사용자가 착용한 의상의 색상에 대한 정보 등의 특징 정보를 추출하여 데이터베이스(11)에 저장할 수 있다. 또한, 사용자 등록부(106)는 음성 인식 등의 입력 방식에 의하여 사용자의 이름 등 해당 사용자를 식별하기 위한 지표를 수신하여 특징 정보와 함께 데이터베이스(11)에 저장할 수 있다.

센싱부(10)는 음성 입력부(102)를 포함할 수 있다. 음성 입력부(102)는 사용자의 음성 정보를 수신하기 위한 부분이다. 예컨대, 음성 입력부(102)는 어레이(array) 형태로 배열된 복수 개의 마이크를 이용하여 소리 신호를 수집할 수 있으나, 이에 한정되는 것은 아니다. 음성 입력부(102)에서 수신된 음성 정보는 음원 검지부(107) 및 음성 인식부(108)로 전달될 수 있다.

음원 검지부(107)는, 음성 정보를 이용하여 공간상에서의 음원 정보를 산출할 수 있다. 공간상에서의 음원 정보에는 음원(즉, 사용자)의 방향 및/또는 위치 정보가 포함될 수 있다. 예컨대, 음원 검지부(107)는 음원의 방향 및/또는 위치를 산출하여 수직 방향 및 수평 방향으로 구분하여 나타낼 수 있다. 또한, 음원 검지부(107)는 음성 정보를 잡음성 음원과 구분하기 위한 필터링(filtering)을 수행할 수도 있으며, 음성 정보에서 잡음을 제외하고 미리 규약된 예약어만을 이용하여 전술한 음원 정보를 산출할 수도 있다.

음성 인식부(108)는, 음성 정보를 이용하여 사용자의 발화 내용을 인식할 수 있다. 예컨대, 음성 인식부(108)는 음성 정보에서 사전에 규약된 예약어들을 인식함으로써 사용자의 발화 내용을 특정할 수 있다. 사전에 규약된 예약어에는, 지능 로봇(1)의 이름 또는 인사 문구 등과 같이 사용자와 지능 로봇(1)의 상호작용을 위하여 사전에 지정해 둔 하나 이상의 단어 또는 문구가 포함될 수 있다. 예약어는 사전에 데이터베이스(11)에 저장될 수 있으며, 음성 인식부(108)는 수신된 음성 정보를 데이터베이스(11)에 저장된 예약어와 비교함으로써 사용자의 발화 내용을 인식할 수 있다.

센싱부(102)는 터치 입력부(103)를 포함할 수도 있다. 터치 입력부(103)에는 사용자가 지능 로봇(1)에 접근하여 지능 로봇(1)의 표면을 만지거나 누르는 등의 터치 입력을 사용자 입력으로 수신할 수 있다. 터치 입력을 수신 가능한 부분은 지능 로봇(1)의 전체 표면일 수도 있으며, 또는 지능 로봇(1)의 외부에 장착된 터치스크린(touchscreen) 등 사전에 결정된 특정 영역일 수도 있다.

이상에 기재한 실시예에서, 센싱부(10)는 영상 입력부(101), 음성 입력부(102) 및 터치 입력부(103)에 의하여 영상, 음성 및 터치 입력을 사용자 입력으로 수신하도록 구성되었다. 그러나 이는 예시적인 것으로서, 센싱부(10)에서 수신할 수 있는 다중 센서 입력의 종류는 영상, 음성 및 터치 입력에 한정되는 것은 아니며, 본 명세서에 기재되지 않은 다른 상이한 형태의 사용자 입력을 수신하기 위하여 센싱부(10)가 본 명세서에 기재되지 않은 다른 상이한 센서 장치를 포함할 수도 있다.

또한, 이상에 기재한 실시예에서는 사용자 입력을 수신하기 위한 영상 입력부(101), 음성 입력부(102) 및 터치 입력부(103)가 지능 로봇(1)의 센싱부(10)에 포함되었으나, 이는 예시적인 것으로서, 영상 입력부(101), 음성 입력부(102) 및 터치 입력부(103)를 대체하거나 또는 이에 추가적으로 센싱부(10)는 사용자 장치(2)로부터 하나 이상의 센서 정보를 수신할 수도 있다. 예컨대, 사용자 장치(2)에 구비된 센싱부(20)에서 다중 센서 정보를 입력받아 지능 로봇(1)의 센싱부(10)에 전송할 수도 있다. 사용자 장치(2)의 센싱부(20)는, 영상, 음성, 터치 입력, 사용자 장치(2)의 기울임 등을 검지하기 위한 하나 이상의 센서를 포함할 수 있다.

센싱부(10)는 감정 및 제스쳐 인식부(110)를 포함할 수 있다. 감정 및 제스쳐 인식부(110)는 영상 입력부(101)에 수신된 영상 정보를 이용하여 사용자의 감정 상태 정보 및/또는 사용자의 신체 일부 또는 전체의 변화에 대응되는 제스쳐 정보를 생성할 수 있다. 예컨대, 감정 및 제스쳐 인식부(110)는 사용자 이미지에서 눈, 코, 입, 눈썹 등 얼굴의 주요 특징점의 추출 및 추적을 통하여 일반, 웃음, 놀람, 화남, 슬픔, 미안함, 후회, 비난 등 사용자의 감정 상태를 인식할 수 있다.

또한, 감정 및 제스쳐 인식부(110)는 머리를 위아래로 끄덕이거나, 머리를 좌우로 끄덕이거나, 머리를 갸우뚱하게 기울이는 등의 머리 제스쳐를 제스쳐 정보로 인식할 수도 있다. 또한, 감정 및 제스쳐 인식부(110)는 사용자의 팔다리 또는 몸통의 움직임에 의하여 다가옴, 멀어짐, 지나감, 손들기, 손흔들기, 손내밀기, 앉기, 일어서기, 돌아서기, 인사하기 등의 행동을 제스쳐 정보로 인식할 수도 있다. 또한, 감정 및 제스쳐 인식부(110)는 터치 입력부(103)에 입력된 터치 입력에 의하여 쓰다듬기, 두드리기 등의 행동을 제스쳐 정보로 인식할 수도 있다.

감정 및 제스쳐 검색부(111)는, 감정 및 제스쳐 인식부(110)에서 생성된 감정 상태 및 제스쳐 정보를 데이터베이스(11)에 저장된 정보와 비교하여, 정보 사이의 유사도 계산을 통하여 가장 유사도가 높은 감정 상태 및 제스쳐를 검색할 수 있다. 이때, 데이터베이스(11)에 저장된 감정 상태 및 제스쳐는 각각의 사용자별로 특정되어 저장되어 있을 수도 있다. 감정 및 제스쳐 검색부(111)는 수신된 감정 상태 및 제스쳐 정보에 해당하는 사용자에 대해 특정된 정보를 검색하여 비교함으로써 높은 정확도로 사용자의 감정 상태 및 제스쳐를 인식할 수 있다.

센싱부(10)는 또한 위치 추정부(109)를 포함할 수 있다. 위치 추정부(109)는 영상 입력부(101)에서 3차원 깊이 인식 카메라 등을 이용하여 수신된 영상 정보를 이용하여 지능 로봇(1)이 주시하고 있는 공간에 대한 깊이 맵(depth map)을 구성하며, 깊이 맵에서 지능 로봇(1) 및 사용자의 위치를 추정하여 위치 정보를 생성할 수 있다. 따라서, 지능 로봇(1)과 사용자 사이의 거리 정보를 산출할 수 있다. 또한, 영상 정보를 이용한 위치 추정을 대체하여 또는 이에 추가적으로, 위치 추정부(109)는 음원 검지부(107)에서 생성된 음원(즉, 사용자)의 방향 및/또는 위치 정보를 이용하여 지능 로봇(1)과 사용자 사이의 거리 정보를 산출할 수도 있다.

센싱부(10)는 또한 정보 저장부(112)를 포함할 수 있다. 정보 저장부(112)는 각각의 사용자에 특성화된 정보를 데이터베이스(11)에 저장함으로써 추후 사용자 특정 및 사용자에 의한 발화 및 제스쳐의 인식을 용이하게 하기 위한 부분이다. 정보 저장부(112)에 의하여 저장되는 정보에는 각 사용자의 키, 어깨 넓이, 팔다리 길이 등과 같은 특징 정보, 각 사용자가 지능 로봇에 의해 특정된 회수, 각 사용자의 발화의 종류 및 빈도, 각 사용자의 감정 상태 및 빈도, 각 사용자의 제스쳐의 종류 및 빈도, 각 사용자와 지능 로봇 사이의 근접 정도 및 각 사용자의 나이, 성별 등과 같은 지표 등 다양한 정보가 포함될 수 있으며, 특정 종류의 정보에 한정되는 것은 아니다.

예컨대, 정보 저장부(112)는 음원 검지부(107) 및 음성 인식부(108)를 통하여 사용자에 의한 지능 로봇(1)의 호출 및 특정 예약어 발화에 대한 인식 빈도수를 수집하여 데이터베이스(11)에 저장할 수 있다. 또한, 정보 저장부(112)는 사용자 인식 검색부(105)를 통한 사용자 이미지의 인식 빈도수를 데이터베이스(11)에 저장할 수 있으며, 사용자 등록부(106)의 제어에 따라 사용자의 특징 정보를 데이터베이스(11)에 저장하는 등록 과정을 수행할 수도 있다. 또한, 정보 저장부(112)는 지능 로봇(1)과 각 사용자 사이의 근접 정도 및 각 사용자의 제스쳐 종류 및 수행 빈도수 등을 데이터베이스(11)에 저장할 수도 있다.

일 실시예에서, 지능 로봇(1)은 사용자 장치 특정부(15)를 포함할 수도 있다. 지능 로봇(1)과 상호작용 가능한 환경에 있는 사용자의 위치 정보 및 제스쳐 정보가 센싱부(10)에 의하여 산출된 상태에서, 사용자 장치 특정부(15)는 지능 로봇(1)과 상호작용 가능한 환경에 있는 하나 이상의 사용자 장치(2)에 인식 정보를 전송한다. 인식 정보는 지능 로봇(1)이 사전에 보유하고 있는 사용자들의 이름, 사진 및/또는 동영상 등과 같은 사용자 정보 리스트일 수 있으며, 전송된 사용자 정보 리스트는 각각의 사용자 장치(2)에 표시될 수 있다. 각 사용자는 자신의 사용자 장치(2)에 표시된 사용자 정보 리스트 중 자신의 사용자 정보를 선택할 수 있으며, 선택 결과는 인식 정보에 대한 응답으로서 지능 로봇(1)에 전송될 수 있다. 지능 로봇(1)은 각각의 사용자 장치(2)로부터의 응답을 수신함으로써 각 사용자 장치(2)에 대응되는 사용자가 누구인지 특정할 수 있다.

판단부(12)는, 센싱부(10)에 입력된 다중 센서 정보 및 이를 이용하여 산출된 위치 정보 및 제스쳐 정보와, 데이터베이스(11)에 저장된 상호작용 내력 정보를 이용하여, 지능 로봇(1)과 상호작용 가능한 환경에 있는 하나 이상의 사용자 중 지능 로봇(1)이 상호작용을 수행할 관심 대상 사용자를 결정할 수 있다. 일 실시예에서, 판단부(12)는 다중 센서 정보의 각 센서 정보에 대해 미리 설정된 규칙을 적용함으로써 사용자간의 우선 순위를 결정할 수 있다. 예컨대, 판단부(12)는 사용자와 지능 로봇 사이의 거리, 사용자의 발화 내용, 사용자의 감정 상태 및 사용자의 제스쳐의 종류 중 하나 이상에 기초하여 각 사용자의 우선순위를 점수로 산출하고, 점수가 가장 높은 사용자를 관심 대상 사용자로 결정할 수 있다.

판단부(12)에서 관심 대상 사용자를 결정하기 위한 규칙의 일 예는 다음과 같다. 판단부(12)에서는 사용자의 음원 검지 및 핵심어 인식을 최우선으로 하여 관심 대상 사용자를 결정할 수 있다. 예컨대, 사용자가 지능 로봇(1)의 이름을 말하는 경우 해당 사용자를 관심 대상 사용자로 결정할 수 있다. 음원 검지 및 핵심어 인식에 의하여 관심 대상 사용자가 결정되지 않거나 여러 명의 관심 대상 사용자가 경합하는 경우, 판단부(12)는 지능 로봇(1)과 가장 가까이 위치한 사용자를 우선적으로 관심 대상 사용자로 결정할 수 있다. 또한, 일정 범위의 거리 이내에서 지능 로봇(1)을 향하여 다가오고 있는 사용자를 우선적으로 관심 대상 사용자로 결정할 수도 있다. 이상의 방법들에 의해서도 관심 대상 사용자가 결정되지 않을 경우에는, 사용자의 표정으로부터 검출되는 감정 상태 또는 사용자의 몸짓 등 제스쳐 정보에 따라 관심 대상 사용자를 결정할 수도 있다. 예컨대, 표정의 경우 웃음 > 놀람 > 일반 > 화남 등의 순서로 사용자간의 우선 순위를 결정할 수 있고, 몸짓의 경우 손흔들기 > 손들기 > 일어서기 등의 순서로 사용자 사이의 우선 순위를 결정할 수 있다.

판단부(12)에서 관심 대상 사용자를 결정하기 위한 규칙의 또 다른 예로서, 각각의 사용자에 대하여 공간시각(visuospatial), 기억(memory), 대화(conversation) 및 관심(attention)의 4개의 카테고리별로 우선순위 점수를 산정하고, 산정된 점수가 가장 높은 사용자를 관심 대상 사용자로 결정할 수도 있다. 각각의 카테고리별 점수는 센싱부(10)에 수신된 다중 센서 정보와, 센싱부(10)에서 산출된 위치 정보 및 제스쳐 정보와, 데이터베이스(11)에 저장되어 있는 상호작용 내력 정보를 이용하여 다음과 같은 방식으로 산출될 수 있다.

관심 카테고리는 지능 로봇(1)의 현재 주시 상태를 반영하는 항목이다. 예컨대, 현재 지능 로봇(1)이 주시하고 있는 사용자에 대하여 주시 상태의 지속 시간 등을 점수화하여 관심 점수로 산정할 수 있다. 또한, 지능 로봇(1)이 주시하고 있는 사용자 외에도 해당 사용자의 주변에 위치한 사용자들에 대해 사용자 인식 빈도 및 사용자의 제스쳐 등을 점수화하여 관심 점수로 산정할 수도 있다.

공간시각 카테고리는 사용자와 지능 로봇(1) 사이의 거리를 반영하는 항목이다. 예컨대, 지능 로봇(1)으로부터 사용자까지의 거리를 공간시각 점수로 산정하되, 지능 로봇(1)과 사용자 사이의 거리가 가까울수록 높은 점수를 부여할 수 있다. 이때, 지능 로봇(1)과 사용자 사이의 거리를 일정한 기준에 의하여 단계별로 구분하여 공간시각 점수를 산정할 수도 있다. 예컨대, 지능 로봇(1)으로부터의 거리가 증가함에 따라 지능 로봇(1) 주변의 공간을 상호작용 영역, 관심 영역 및 관찰 영역으로 구분하고, 세 영역 중 각 사용자가 위치하는 영역에 따라 각 사용자의 공간시각 점수를 산정할 수 있다.

또한, 공간시각 점수에는 사용자의 감정 상태 또는 사용자의 제스쳐와 같은 행동 패턴을 점수화한 항목이 포함될 수도 있다. 예컨대, 웃음, 놀람, 일반, 화남, 슬픔, 미안함, 후회, 비난 등과 같은 표정으로부터 검출되는 사용자의 감정 상태, 멀어짐, 지나감, 제자리 서있음 등과 같은 이동 형태, 머리를 위아래로 끄덕이거나 좌우로 도리질하거나 갸우뚱하게 기울이는 등의 머리 제스쳐, 또는 손들기, 인사하기, 손흔들기, 손내밀기, 앉기, 돌아서기, 일어나기 등의 몸짓 제스쳐를 점수화하여 공간시각 점수에 반영할 수 있다.

대화 카테고리는 사용자의 발화 내용을 반영하는 항목이다. 예컨대, 각 사용자별로 지능 로봇(1)의 이름에 대한 발화 빈도 또는 각 사용자의 음석 인식을 통한 지능 로봇(1)과의 대화 지속여부를 점수화하여 반영할 수 있다.

기억 카테고리는 데이터베이스(11)에 저장되어 있는 상호작용 내력 정보로부터 각 사용자의 인식 빈도수, 발화 내용 및 빈도수, 감정 상태 및 빈도수, 및 제스쳐의 종류 및 빈도수 등을 반영하는 항목이다. 예컨대, 과거에 지능 로봇(1)의 호출 빈도수나 지능 로봇(1)에 대한 터치 빈도수가 상대적으로 많은 사용자에 대하여 상대적으로 높은 점수를 부여할 수 있다.

판단부(13)에서는 4개의 카테고리별 점수를 일정한 가중치를 부여하여 정규화(normalize)한 후, 정규화된 점수가 가장 높은 사용자를 관심 대상 사용자로 결정함으로써 지능 로봇(1)이 해당 사용자와 상호작용하도록 할 수 있다. 가중치는 관심 대상 사용자의 선정 기준을 고려하여 적절히 결정될 수 있으며, 고정된 값 또는 가변적인 값일 수 있다. 예컨대, 판단부(13)에서는 연속된 시간 정보를 포함하는 인식 결과에서 각 카테고리를 통하여 사전에 얻어진 값을 기반으로, 이후에 가변적으로 가중치를 변동 적용할 수 있다.

그러나, 이상에 기재한 관심 대상 사용자의 결정 방식은 단지 예시적인 것으로서, 다른 실시예에서는 위에 기재한 카테고리와 상이한 카테고리를 적용하여 각 사용자별 우선순위를 결정할 수도 있으며, 점수에 기초하지 않은 다른 상이한 규칙에 의거하여 관심 대상 사용자를 결정할 수도 있다.

제어 데이터 처리부(13)는, 판단부(12)로부터 관심 대상 사용자가 결정되면 관심 대상 사용자와 상호작용하도록 지능 로봇(1)을 구동시키기 위한 제어 데이터를 생성할 수 있다. 제어 데이터 처리부(13)는 지능 로봇(1)의 안면, 목, 팔다리 또는 몸통 등 몸체 부분이나, 로봇의 영상 출력부, 음성 출력부 또는 주행부 등 기능 모듈을 제어함으로서 지능 로봇(1)이 다양한 제스쳐, 음성 및 얼굴 표정 등을 표현할 수 있도록 제어 데이터를 생성할 수 있다. 예컨대, 제어 데이터는 지능 로봇(1)이 관심 대상 사용자를 추적하거나, 관심 대상 사용자와 눈맞춤을 하거나, 관심 대상 사용자에게 인사 제스쳐를 취하거나 관심 대상 사용자의 질문에 대답하도록 지능 로봇(1)을 구동하는 구동 명령을 포함할 수 있다. 또한, 관심 대상 사용자에게 특정 컨텐츠를 제공하고, 이에 대한 관심 대상 사용자의 피드백을 수신하여 지능 로봇(1)의 반응을 나타내도록 지능 로봇(1)을 구동할 수도 있다.

한편, 제어 데이터 처리부(13)는 관심 대상 사용자가 지정되지 않은 경우에는 지능 로봇(1)에 내장되어 있는 기본 표현 및 표정 셋(set)을 통하여 지능 로봇(1)을 구동할 수도 있다. 예컨대, 지능 로봇(1)이 능동적으로 웃거나 발화하고 움직이는 동작을 수행하도록 함으로써, 현재 관심 대상이 아닌 사용자들의 관심을 유도할 수 있다.

구동부(14)는 제어 데이터 처리부(13)에서 생성된 제어 데이터에 따라 실제 구동이 이루어지는 부분이다. 예컨대, 구동부(14)는 지능 로봇(1)의 지능 로봇(1)의 안면, 목, 팔다리 또는 몸통 등 몸체 부분을 구동할 수 있다. 이를 위하여, 구동부(14)는 지능 로봇(1)의 각 관절 부분에 장착된 하나 이상의 모터(motor)를 포함할 수도 있다. 또한, 구동부(14)는 지능 로봇(1)의 영상 출력부, 음성 출력부 또는 주행부 등 하나 이상의 기능 모듈을 포함할 수도 있다. 그 외에, 구동부(14)는 지능 로봇이 자율 주행을 수행하기 위한 거리 센서, 초음파 센서 및 바닥 감시 센서 등을 더 포함할 수도 있다.

일 실시예에서는, 구동부(14)는 통신 모듈이며, 지능 로봇(1)에 의하여 직접 제스쳐 또는 표정이 표현되는 대신 구동부(14)에서 이에 대응되는 표현 정보를 사용자 장치(2)에 전송하도록 구성될 수 있다. 이 경우, 사용자 장치(2)에서는 지능 로봇(1)으로부터 표현 정보를 수신하여 출력하기 위한 구동부(21)를 포함할 수 있다. 사용자는 자신의 사용자 장치(2)를 통하여 지능 로봇(1)의 표현을 관찰하는 방식으로 지능 로봇(1)과 상호작용할 수 있다. 예컨대, 사용자 장치(2)의 화면을 통한 영상, 스피커를 통한 소리 또는 진동 등의 형태로 사용자 장치(2)에 표현을 출력할 수도 있다.

도 2는 일 실시예에 따른 지능 로봇과 사용자의 상호작용을 위한 방법을 나타내는 개략적인 순서도이다.

도 2를 참조하면, 먼저 지능 로봇에서 하나 이상의 사용자에 관련된 다중 센서 정보를 수신할 수 있다(S1). 다중 센서 정보는 지능 로봇의 내부 및/또는 외부에 장착된 하나 이상의 센서 장치를 이용하여 수신될 수 있다. 또는, 다중 센서 정보는 각 사용자의 사용자 장치에 입력되어 지능 로봇으로 전송될 수도 있다. 다중 센서 정보에는, 각 사용자의 영상, 음성, 터치 입력, 사용자 장치의 기울임 및 다른 적당한 정보 중 하나 이상이 포함될 수 있다.

다음으로, 수신된 다중 센서 정보를 이용하여 각 사용자를 특정할 수 있다(S2). 이를 위하여, 데이터베이스에는 미리 각 사용자의 특징을 포함하는 사용자 정보가 저장되어 있을 수 있다. 수신된 다중 센서 정보로부터 사용자 이미지를 검출하고, 사용자 이미지에서 사용자의 신체 또는 의상 등에 관련된 특징 정보를 추출하며, 추출된 특징 정보를 데이터베이스에 저장된 사용자 정보와 비교함으로써 각 사용자를 특정할 수 있다. 비교 결과 데이터베이스에 정보가 저장되어 있지 않은 사용자일 경우에는, 해당 사용자의 정보를 데이터베이스에 등록하는 과정을 더 수행할 수도 있다(S3).

다음으로, 다중 센서 정보를 이용하여 각 사용자의 위치 정보 및 표현 정보를 산출할 수 있다(S4). 위치 정보는 3차원 깊이 인식 카메라 등을 이용하여 영상 정보를 수신하고, 수신된 영상 정보를 이용하여 구성된 깊이 맵에서 사용자의 위치를 검출함으로써 산출할 수 있다. 또한, 사용자의 음성 정보로부터 음원 위치 및/또는 방향을 산출함으로써 위치 정보를 산출할 수도 있다. 위치 정보를 이용하여 지능 로봇과 사용자 사이의 거리를 알 수 있다. 표현 정보는 사용자에 의한 발화 내용, 사용자의 감정 상태 및 사용자의 제스쳐 정보 등을 포함할 수 있다. 발화 내용은 사용자의 음성 정보로부터 얻을 수 있다. 또한, 사용자의 감정 상태는 사용자 이미지에서 안면 부분을 분석함으로써 산출할 수 있다. 제스쳐 정보는 사용자의 신체의 일부 또는 전체의 몸짓 등을 포함할 수 있으며, 사용자 이미지를 분석함으로써 산출할 수 있다. 또한 제스쳐 정보는 사용자에 의한 지능 로봇에 대한 터치 입력을 포함할 수도 있다.

일 실시예에서는, 각 사용자의 특징 정보, 지능 로봇에 의한 각 사용자의 특정 회수, 각 사용자에 의한 발화의 종류 및 빈도, 각 사용자의 감정 상태 및 빈도, 각 사용자에 의한 제스쳐의 종류 및 빈도, 및 각 사용자와 지능 로봇 사이의 거리 중 하나 이상의 정보를 상호작용 내력 정보로서 데이터베이스에 저장하는 과정을 수행할 수도 있다(S5). 데이터베이스에 저장된 상호작용 내력 정보는 추후 지능 로봇과 사용자 사이의 상호작용에 대한 평가 및 관심 대상 사용자의 결정 과정에 활용될 수 있다. 또한, 지능 로봇이 각 사용자별로 상이한 상호작용을 수행하도록 데이터베이스에 저장된 정보를 활용하는 것도 가능하다.

다음으로, 다중 센서 정보, 위치 정보 및 표현 정보와, 미리 저장되어 있는 상호작용 내력 정보에 기초하여 지능 로봇과 상호작용 가능한 환경에 있는 하나 이상의 사용자 중 지능 로봇이 상호작용을 수행할 관심 대상 사용자를 결정할 수 있다(S6). 관심 대상 사용자는, 각 사용자의 다중 센서 정보, 위치 정보, 표현 정보 및 상호작용 내력 정보에 미리 설정된 규칙을 적용하여 결정될 수 있다. 예컨대, 사용자와 지능 로봇 사이의 거리, 사용자의 인식 빈도, 사용자의 발화 내용 및 빈도, 사용자의 감정 상태 및 빈도, 사용자의 제스쳐의 종류 및 빈도 등을 미리 설정된 규칙에 따라 점수화하여 각 사용자의 우선순위 점수를 결정하며, 전체 사용자 중 점수가 가장 높은 사용자를 상기 관심 대상 사용자로 결정할 수 있다.

다음으로, 관심 대상 사용자와 상호작용하도록 지능 로봇을 구동할 수 있다(S7). 관심 대상 사용자와 지능 로봇 사이의 상호작용에는, 지능 로봇이 관심 대상 사용자를 추적하거나, 관심 대상 사용자와 눈맞춤을 하거나, 관심 대상 사용자에게 표정, 발화 또는 몸짓을 통하여 표현을 전달하거나, 특정 컨텐츠를 제공하는 등의 구동 방식을 포함할 수 있다. 일 실시예에서는, 지능 로봇이 직접 표현을 출력하는 대신 지능 로봇의 표현 정보를 관심 대상 사용자의 사용자 장치(예컨대, 스마트 장치 등)에 전송할 수도 있다. 이때, 관심 대상 사용자는 자신의 사용자 장치를 통하여 출력되는 영상, 소리 및/또는 진동 등을 통하여 지능 로봇의 표현을 전달받게 된다.

본 명세서에서, 실시예들에 따른 지능 로봇과 사용자의 상호작용을 위한 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 지능 로봇과 사용자의 상호작용을 위한 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (24)

1. 사용자 정보 및 상호작용 내력 정보를 저장하는 데이터베이스;
   하나 이상의 사용자에 관련된 다중 센서 정보를 수신하며, 상기 다중 센서 정보를 상기 사용자 정보와 비교하여 상기 하나 이상의 사용자를 특정하고, 상기 다중 센서 정보를 이용하여 상기 하나 이상의 사용자 각각의 위치 정보 및 표현 정보를 산출하는 센싱부;
   상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여, 상기 하나 이상의 사용자 중 관심 대상 사용자를 결정하는 판단부;
   상기 관심 대상 사용자와 상호작용을 수행하기 위한 제어 데이터를 생성하는 제어 데이터 처리부; 및
   상기 제어 데이터를 이용하여 구동되는 구동부를 포함하고,
   상기 판단부는, 미리 결정된 복수 개의 카테고리별로 상기 하나 이상의 사용자 각각의 점수를 결정하며, 상기 복수 개의 카테고리의 점수에 각각 미리 설정된 가중치를 적용하여 합산함으로써 상기 관심 대상 사용자를 결정하되,
   상기 복수 개의 카테고리는,
   지능 로봇의 지향 방향 및 사용자의 위치 정보를 반영하는 제1 카테고리;
   상기 지능 로봇과 사용자 사이의 거리, 사용자의 감정 상태 및 사용자의 제스쳐의 종류를 반영하는 제2 카테고리;
   사용자의 발화 내용을 반영하는 제3 카테고리; 및
   사용자의 상호작용 내력을 반영하는 제4 카테고리를 포함하고,
   상기 상호작용 내력 정보는, 상기 지능 로봇에 의한 사용자의 특정 빈도, 사용자의 발화 내용 및 빈도, 사용자의 감정 상태 및 빈도, 사용자의 제스쳐의 종류 및 빈도, 및 사용자와 상기 지능 로봇 사이의 거리 중 하나 이상의 정보를 포함하며,
   상기 판단부는, 상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여 상기 제1 카테고리 내지 상기 제4 카테고리 각각의 점수를 결정하되, 상기 상호작용 내력 정보를 이용하여 상기 지능 로봇과 각 사용자 사이의 상호작용을 평가하고, 평가 결과에 기초하여 상기 제4 카테고리의 점수를 결정하는 것을 특징으로 하는 지능 로봇.
   
2. 제 1항에 있어서,
   상기 다중 센서 정보는, 상기 하나 이상의 사용자 각각에 대응되는 영상 정보, 음성 정보 및 터치 입력 정보 중 하나 이상을 포함하는 것을 특징으로 하는 지능 로봇.
   
3. 제 1항에 있어서,
   상기 표현 정보는, 발화 내용, 감정 상태 및 제스쳐의 종류 중 하나 이상의 정보를 포함하는 것을 특징으로 하는 지능 로봇.
   
4. 삭제
5. 삭제
6. 삭제
7. 제 1항에 있어서,
   상기 하나 이상의 사용자가 특정되면 하나 이상의 사용자 장치에 인식 정보를 전송하며, 상기 하나 이상의 사용자 장치로부터 상기 인식 정보에 대한 응답을 수신하여 상기 하나 이상의 사용자 각각의 사용자 장치를 특정하는 사용자 장치 특정부를 더 포함하는 것을 특징으로 하는 지능 로봇.
   
8. 제 1항에 있어서,
   상기 센싱부는, 상기 하나 이상의 사용자에 대응되는 하나 이상의 사용자 장치로부터 상기 다중 센서 입력을 수신하는 것을 특징으로 하는 지능 로봇.
   
9. 제 1항에 있어서,
   상기 구동부는, 상기 관심 대상 사용자에 대응되는 사용자 장치에, 상기 제어 데이터를 이용하여 생성된 상기 지능 로봇의 표현 정보를 전송하는 것을 특징으로 하는 지능 로봇.
   
10. 제 1항에 있어서,
    상기 센싱부는, 특정된 사용자 각각에 관련된 외관상의 특징, 발화 내용, 감정 상태, 제스쳐의 종류 및 사용자와 상기 지능 로봇 사이의 거리 중 하나 이상의 정보를 상기 다중 센서 정보로부터 산출하여 상기 데이터베이스에 저장하는 정보 저장부를 더 포함하는 것을 특징으로 하는 지능 로봇.
    
11. 지능 로봇과 사용자의 상호작용을 위한 시스템으로서,
    사용자 정보 및 상호작용 내력 정보를 저장하고, 하나 이상의 사용자에 관련된 다중 센서 정보를 수신하며, 상기 사용자 정보 및 상기 다중 센서 정보를 이용하여 상기 하나 이상의 사용자를 특정하고, 상기 다중 센서 정보를 이용하여 상기 하나 이상의 사용자의 위치 정보 및 표현 정보를 산출하며, 상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여 상기 하나 이상의 사용자 중 관심 대상 사용자를 결정하는 지능 로봇; 및
    상기 하나 이상의 사용자 각각에 대응되는 하나 이상의 사용자 장치를 포함하되,
    상기 관심 대상 사용자가 결정되면 상기 관심 대상 사용자에 대응되는 상기 사용자 장치와 상기 지능 로봇 사이에 데이터를 송수신하도록 구성되고,
    상기 지능 로봇은, 미리 결정된 복수 개의 카테고리별로 상기 하나 이상의 사용자 각각의 점수를 결정하며, 상기 복수 개의 카테고리의 점수에 각각 미리 설정된 가중치를 적용하여 합산함으로써 상기 관심 대상 사용자를 결정하되,
    상기 복수 개의 카테고리는,
    지능 로봇의 지향 방향 및 사용자의 위치 정보를 반영하는 제1 카테고리;
    상기 지능 로봇과 사용자 사이의 거리, 사용자의 감정 상태 및 사용자의 제스쳐의 종류를 반영하는 제2 카테고리;
    사용자의 발화 내용을 반영하는 제3 카테고리; 및
    사용자의 상호작용 내력을 반영하는 제4 카테고리를 포함하고,
    상기 상호작용 내력 정보는, 상기 지능 로봇에 의한 사용자의 특정 빈도, 사용자의 발화 내용 및 빈도, 사용자의 감정 상태 및 빈도, 사용자의 제스쳐의 종류 및 빈도, 및 사용자와 상기 지능 로봇 사이의 거리 중 하나 이상의 정보를 포함하며,
    상기 지능 로봇은, 상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여 상기 제1 카테고리 내지 상기 제4 카테고리 각각의 점수를 결정하되, 상기 상호작용 내력 정보를 이용하여 상기 지능 로봇과 각 사용자 사이의 상호작용을 평가하고, 평가 결과에 기초하여 상기 제4 카테고리의 점수를 결정하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 시스템.
    
12. 제 11항에 있어서,
    상기 하나 이상의 사용자 장치 각각은 상기 다중 센서 정보가 입력되는 센싱부를 포함하며,
    상기 지능 로봇은 상기 하나 이상의 사용자 장치로부터 상기 다중 센서 정보를 수신하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 시스템.
    
13. 제 11항에 있어서,
    상기 지능 로봇은 상기 하나 이상의 사용자 장치에 인식 정보를 전송하며,
    상기 하나 이상의 사용자 장치 각각은 상기 인식 정보에 대응되는 응답을 상기 지능 로봇에 전송하고,
    상기 지능 로봇은 수신된 응답을 이용하여 상기 하나 이상의 사용자 각각에 대응되는 사용자 장치를 특정하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 시스템.
    
14. 제 11항에 있어서,
    상기 각 사용자 장치는 상기 지능 로봇으로부터 수신된 표현 정보를 출력하는 구동부를 포함하며,
    상기 지능 로봇은 상기 관심 대상 사용자에 대응되는 상기 사용자 장치에 상기 지능 로봇의 표현 정보를 전송하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 시스템.
    
15. 제 11항에 있어서,
    상기 다중 센서 정보는, 상기 하나 이상의 사용자 각각에 대응되는 영상 정보, 음성 정보 및 터치 입력 정보 중 하나 이상을 포함하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 시스템.
    
16. 제 11항에 있어서,
    상기 표현 정보는, 발화 내용, 감정 상태 및 제스쳐의 종류 중 하나 이상의 정보를 포함하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 시스템.
    
17. 삭제
18. 지능 로봇과 사용자의 상호작용을 위한 방법으로서,
    사용자 정보 및 상호작용 내력 정보를 포함하는 상기 지능 로봇에서, 하나 이상의 사용자에 관련된 다중 센서 정보를 수신하는 단계;
    상기 다중 센서 정보를 상기 사용자 정보와 비교하여 상기 하나 이상의 사용자를 특정하는 단계;
    상기 다중 센서 정보를 이용하여 상기 하나 이상의 사용자의 위치 정보 및 표현 정보를 산출하는 단계;
    상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여, 상기 하나 이상의 사용자 중 관심 대상 사용자를 결정하는 단계; 및
    상기 관심 대상 사용자와 상호작용하도록 상기 지능 로봇을 구동하는 단계를 포함하되,
    상기 관심 대상 사용자를 결정하는 단계는,
    미리 결정된 복수 개의 카테고리별로 상기 하나 이상의 사용자 각각의 점수를 결정하는 단계; 및
    상기 복수 개의 카테고리의 점수에 각각 미리 설정된 가중치를 적용하여 합산함으로써 상기 관심 대상 사용자를 결정하는 단계를 포함하고,
    상기 복수 개의 카테고리는,
    지능 로봇의 지향 방향 및 사용자의 위치 정보를 반영하는 제1 카테고리;
    상기 지능 로봇과 사용자 사이의 거리, 사용자의 감정 상태 및 사용자의 제스쳐의 종류를 반영하는 제2 카테고리;
    사용자의 발화 내용을 반영하는 제3 카테고리; 및
    사용자의 상호작용 내력을 반영하는 제4 카테고리를 포함하며,
    상기 상호작용 내력 정보는, 상기 지능 로봇에 의한 사용자의 특정 빈도, 사용자의 발화 내용 및 빈도, 사용자의 감정 상태 및 빈도, 사용자의 제스쳐의 종류 및 빈도, 및 사용자와 상기 지능 로봇 사이의 거리 중 하나 이상의 정보를 포함하고,
    상기 하나 이상의 사용자 각각의 점수를 결정하는 단계는, 상기 상호작용 내력 정보, 상기 다중 센서 정보, 상기 위치 정보 및 상기 표현 정보에 기초하여 상기 제1 카테고리 내지 상기 제4 카테고리 각각의 점수를 결정하되, 상기 상호작용 내력 정보를 이용하여 상기 지능 로봇과 각 사용자 사이의 상호작용을 평가하고, 평가 결과에 기초하여 상기 제4 카테고리의 점수를 결정하는 단계를 포함하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 방법.
    
19. 제 18항에 있어서,
    상기 하나 이상의 사용자의 사용자 장치에서 상기 다중 센서 정보를 상기 지능 로봇에 전송하는 단계를 더 포함하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 방법.
    
20. 제 18항에 있어서,
    상기 지능 로봇을 구동하는 단계는, 상기 지능 로봇에서 상기 관심 대상 사용자에 대응되는 상기 사용자 장치에 상기 지능 로봇의 표현 정보를 전송하는 단계를 포함하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 방법.
    
21. 제 20항에 있어서,
    상기 관심 대상 사용자에 대응되는 상기 사용자 장치에서 상기 지능 로봇의 표현 정보를 출력하는 단계를 더 포함하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 방법.
    
22. 제 18항에 있어서,
    상기 다중 센서 정보는, 상기 하나 이상의 사용자 각각에 대응되는 영상 정보, 음성 정보 및 터치 입력 정보 중 하나 이상을 포함하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 방법.
    
23. 제 18항에 있어서,
    상기 표현 정보는, 발화 내용, 감정 상태 및 제스쳐의 종류 중 하나 이상의 정보를 포함하는 것을 특징으로 하는 지능 로봇과 사용자의 상호작용을 위한 방법.
    
24. 삭제

Images