KR20210060802A - 사용자 인터랙션 반응 로봇 - Google Patents

사용자 인터랙션 반응 로봇 Download PDF

Info

Publication number
KR20210060802A
KR20210060802A KR1020190148253A KR20190148253A KR20210060802A KR 20210060802 A KR20210060802 A KR 20210060802A KR 1020190148253 A KR1020190148253 A KR 1020190148253A KR 20190148253 A KR20190148253 A KR 20190148253A KR 20210060802 A KR20210060802 A KR 20210060802A
Authority
KR
South Korea
Prior art keywords
user
reaction
robot
processing unit
interaction
Prior art date
Application number
KR1020190148253A
Other languages
English (en)
Other versions
KR102348308B1 (ko
Inventor
윤영섭
김병수
미야오 젤리
오재원
이재영
김태균
박지운
벨리즈 케빈
Original Assignee
주식회사 와이닷츠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이닷츠 filed Critical 주식회사 와이닷츠
Priority to KR1020190148253A priority Critical patent/KR102348308B1/ko
Publication of KR20210060802A publication Critical patent/KR20210060802A/ko
Application granted granted Critical
Publication of KR102348308B1 publication Critical patent/KR102348308B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

본 발명은 사용자 인터랙션 반응 로봇 기술에 관한 것으로, 사용자 인터랙션 반응 로봇은 사용자 인터랙션을 수신하는 사용자 인터랙션 처리부, 적어도 하나의 센서를 통해 외부 환경을 검출하는 외부 환경 처리부, 상기 사용자 인터랙션 및 상기 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신하고, 상기 생애주기 기반의 사용자 반응 모델은 단계적으로 성장 또는 쇠퇴하는 사용자 반응 모델 처리부 및 상기 사용자 인터랙션에 반응하여 상기 사용자 반응 모델에 따라 차별되게 사용자 반응 컨텐츠를 제공하는 사용자 반응 컨텐츠 처리부를 포함한다.

Description

사용자 인터랙션 반응 로봇{USER INTERACTION REACTION ROBOT}
본 발명은 사용자 인터랙션 반응 로봇 기술에 관한 것으로, 더욱 상세하게는 사용자의 인터랙션에 따라 성장하고 성장 주기 별로 인터랙션 컨텐츠를 제공할 수 있는 사용자 인터랙션 반응 로봇에 관한 것이다.
컴퓨터에 의해 제어되는 로봇이 등장한 이래, 단순한 작업만 할 수 있었던 초기의 산업용 로봇에서부터 사람과 감정을 교류하고 걸어 다니는 최근의 로봇에 이르기까지, 로봇의 기술은 컴퓨터의 발달과 함께 고도화되어 왔다. 따라서, 인간(사람)과 같이 지능적으로 행동하는 다양한 로봇이 개발되고 있기에 로봇과 사람이 대면하는 기회는 많아질 것으로 예상되고 있다.
이와 함께, 일상생활에서 사람과 함께 생활할 수 있는 로봇에 대한 관심 역시 높아지고 있다. 최근 이러한 추세에 맞게, 다양한 감정이나 행동을 표현하는 애완용 로봇이 개발되었고, 환자를 보살피기 위한 기능의 의료용 로봇이 개발되고 있다.
하지만, 기존의 애완용 로봇은, 특정한 타겟 없이 보편적인 모든 사람을 대상으로 하는 로봇 기술이기 때문에, 동물을 모사하거나 사람의 감정을 흉내내는 정도로 매우 단순한 수준이므로, 실제로 사람이 로봇이 아닌 사람과 교감하는 듯한 느낌을 받을 수 없다.
한국공개특허 제10-2012-0061688(2012.06.13)호는 노인 복지 지원 로봇 및 그의 제어방법에 관한 것으로, 저출산과 의료의 발달로 인해 고령화 사회가 되어가는 사회 상황에서 노인 복지를 지원할 수 있는 로봇을 제공할 수 있는 기술을 개시하고 있다.
한국공개특허 제10-2012-0061688(2012.06.13)호
본 발명의 일 실시예는 사용자의 인터랙션에 따라 성장하고 성장 주기 별로 인터랙션 컨텐츠를 제공할 수 있는 사용자 인터랙션 반응 로봇을 제공하고자 한다.
본 발명의 일 실시예는 로봇의 생애주기와 사용자 인터랙션 그리고 외부 환경을 기초로 동적으로 갱신되는 사용자 반응 모델을 이용하여 사용자와 인터랙션을 수행할 수 있는 사용자 인터랙션 반응 로봇을 제공하고자 한다.
본 발명의 일 실시예는 로봇의 생애주기는 사용자와의 인터랙션을 통해 성장과 퇴행이 실시간 진행되고 로봇의 퇴행이 지속되면 사용자에게 사용자 반응 모델의 성장을 유도할 수 있는 사용자 인터랙션 반응 로봇을 제공하고자 한다.
실시예들 중에서, 사용자 인터랙션 반응 로봇은 사용자 인터랙션을 수신하는 사용자 인터랙션 처리부, 적어도 하나의 센서를 통해 외부 환경을 검출하는 외부 환경 처리부, 상기 사용자 인터랙션 및 상기 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신하고, 상기 생애주기 기반의 사용자 반응 모델은 단계적으로 성장 또는 쇠퇴하는 사용자 반응 모델 처리부 및 상기 사용자 인터랙션에 반응하여 상기 사용자 반응 모델에 따라 차별되게 사용자 반응 컨텐츠를 제공하는 사용자 반응 컨텐츠 처리부를 포함한다.
상기 사용자 인터랙션 처리부는 상기 사용자 인터랙션 반응 로봇의 특정 위치에 결합된, 터치 패널을 통해 사용자의 스트로크(stroke)를 수신하거나 또는 마이크를 통해 사용자의 대화를 수신하여 상기 사용자 반응 모델 처리부에 송신할 수 있다.
상기 사용자 반응 모델 처리부는 상기 사용자 인터랙션의 수신 이전에 사용자 인증을 통해 사용자에 의해 이전에 형성된 이전 사용자 반응 모델로 복원할 수 있다.
상기 외부 환경 처리부는 상기 적어도 하나의 센서를 통해 온도, 습도 및 조도 중 적어도 하나를 수신하여 상기 사용자 반응 모델 처리부에 제공할 수 있다.
상기 외부 환경 처리부는 카메라를 통해 상기 사용자의 모습을 획득하여 상기 사용자 반응 컨텐츠에 따라 예상되는 사용자 예상 피드백의 발생 여부를 검출하고, 상기 사용자 예상 피드백이 검출된 경우에는 상기 사용자 반응 모델 처리부에 제공할 수 있다.
상기 사용자 반응 모델 처리부는 상기 사용자 인터랙션을 통해 해당 생애주기에 성취될 미션의 수행 또는 반복된 실패 여부를 기초로 상기 사용자 반응 모델을 구성하는 생애주기를 성장 또는 퇴행시킬 수 있다.
상기 사용자 반응 모델 처리부는 상기 생애주기가 퇴행되는 경우에는 상기 사용자와 연관된 사용자 단말에 상기 사용자 인터랙션 반응 로봇의 사용자 반응 모델을 제공하여, 상기 사용자가 상기 사용자 단말을 통해 상기 사용자 반응 모델을 다룰 수 있게 할 수 있다.
상기 사용자 반응 모델 처리부는 상기 사용자 인터랙션을 통해 상기 사용자 반응 모델을 구성하는 친밀도를 가감시킬 수 있다.
상기 사용자 반응 컨텐츠 처리부는 상기 사용자 반응 모델에 있는 생애주기와 친밀도를 기초로 대화내용, 어휘, 어투 및 동작 중 적어도 하나를 결정할 수 있다.
상기 사용자 반응 컨텐츠 처리부는 상기 사용자 반응 컨텐츠가 상기 사용자 예상 피드백을 요구하는 경우에는 상기 외부 환경 처리부가 미리 결정된 적어도 하나의 피드백 중에서 상기 사용자 예상 피드백을 검출하도록 할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 사용자 인터랙션 반응 로봇은 로봇의 생애주기와 사용자 인터랙션 그리고 외부 환경을 기초로 동적으로 갱신되는 사용자 반응 모델을 이용하여 사용자와 인터랙션을 수행할 수 있다.
본 발명의 일 실시예에 따른 사용자 인터랙션 반응 로봇은 로봇의 생애주기는 사용자와의 인터랙션을 통해 성장과 퇴행이 실시간 진행되고 로봇의 퇴행이 지속되면 사용자에게 사용자 반응 모델의 성장을 유도할 수 있다.
도 1은 본 발명에 따른 사용자 인터랙션 반응 로봇 시스템을 설명하는 도면이다.
도 2는 도 1의 사용자 인터랙션 반응 로봇의 물리적 구성을 설명하는 블록도이다.
도 3은 도 1의 사용자 인터랙션 반응 로봇의 기능적 구성을 설명하는 블록도이다.
도 4는 도 1의 사용자 인터랙션 반응 로봇에서 수행되는 사용자 인터랙션 반응 과정을 설명하는 순서도이다.
도 5는 본 발명에 따른 생애주기 모델을 설명하는 도면이다.
도 6은 본 발명에 따른 사용자 반응 모델을 설명하는 도면이다.
도 7은 본 발명에 따른 사용자 반응 모델의 일 실시예를 설명하는 예시도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 사용자 인터랙션 반응 로봇 시스템을 설명하는 도면이다.
도 1을 참조하면, 사용자 인터랙션 반응 로봇 시스템(100)은 로봇 서버(110), 사용자 인터랙션 반응 로봇(130), 데이터베이스(150) 및 사용자 단말(170)를 포함할 수 있다.
로봇 서버(110)는 사용자 인터랙션 반응 로봇(130)의 정보를 저장하고 관리할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 로봇 서버(110)는 사용자 인터랙션 반응 로봇(130) 및 사용자 단말(170)과 블루투스, WiFi, 통신망 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 사용자 인터랙션 반응 로봇(130) 및 사용자 단말(170)과 데이터를 주고 받을 수 있다.
사용자 인터랙션 반응 로봇(130)은 사용자 인터랙션에 따라 성장하고 생애주기 별로 구분되는 인터랙션 컨텐츠를 제공할 수 있는 로봇에 해당할 수 있다. 여기에서, 인터랙션 컨텐츠는 사용자의 인터랙션에 따른 로봇의 반응으로서 로봇의 동작, 음성 및 영상 재생 등을 포함할 수 있다. 로봇의 동작은 특정 행동을 위한 움직임 또는 특정 감정을 표출하는 움직임에 해당할 수 있고, 로봇의 음성은 감정 표현이나 의사 표현뿐만 아니라 정보의 제공을 위한 음성에 해당할 수 있다. 또한, 로봇에 디스플레이 모듈이 포함된 경우 해당 모듈을 통해 영상이 재생될 수 있다.
사용자 인터랙션 반응 로봇(130)은 로봇 서버(110) 또는 사용자 단말(170) 과 블루투스, WiFi, 통신망 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 로봇 서버(110) 또는 사용자 단말(170)과 데이터를 주고 받을 수 있다.
일 실시예에서, 사용자 인터랙션 반응 로봇(130)은 데이터베이스(150)와 연동하여 인터랙션 컨텐츠 제공에 필요한 데이터를 저장할 수 있다. 한편, 사용자 인터랙션 반응 로봇(130)은 도 1과 달리, 데이터베이스(150)를 내부에 포함하여 구현될 수 있다. 또한, 사용자 인터랙션 반응 로봇(130)은 프로세서, 메모리, 사용자 입출력부 및 네트워크 입출력부를 포함하여 구현될 수 있으며, 이에 대해서는 도 2에서 보다 자세히 설명한다.
데이터베이스(150)는 사용자 인터랙션에 따른 인터랙션 컨텐츠 제공 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(150)는 생애주기 별로 형성되는 사용자 반응 모델에 관한 정보를 저장할 수 있고, 사용자에게 제공되는 인터랙션 컨텐츠에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 사용자 인터랙션 반응 로봇(130)이 사용자 인터랙션 반응 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
사용자 단말(170)은 사용자 인터랙션 반응 로봇(130)에 관한 온라인 교육을 통해 로봇 기능의 튜닝을 수행할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(170)은 로봇 서버(110)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(117)들은 로봇 서버(110)와 동시에 연결될 수 있다.
일 실시예에서, 사용자 단말(170)은 로봇 서버(110)로부터 생애주기 별로 교육 프로그램을 수신하여 사용자 인터랙션 반응 로봇(130)에 관한 교육을 수행할 수 있다. 사용자 단말(170)을 통해 수행된 교육 내용은 로봇 서버(110)로 전송되어 로봇 서버(110)를 통해 사용자 인터랙션 반응 로봇(130)에 적용될 수 있다. 즉, 사용자 인터랙션 반응 로봇(130)은 교육 내용의 반영 결과를 기초로 실제 사용자와의 인터랙션을 수행할 수 있다.
도 2는 도 1의 사용자 인터랙션 반응 로봇의 물리적 구성을 설명하는 블록도이다.
도 2를 참조하면, 사용자 인터랙션 반응 로봇(130)은 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.
프로세서(210)는 사용자 인터랙션 반응 로봇(130)이 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 사용자 인터랙션 반응 로봇(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 사용자 인터랙션 반응 로봇(130)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 사용자 인터랙션 반응 로봇(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 사용자 인터랙션 반응 로봇(130)은 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.
도 3은 도 1의 사용자 인터랙션 반응 로봇의 기능적 구성을 설명하는 블록도이다.
도 3을 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 인터랙션 처리부(310), 외부 환경 처리부(330), 사용자 반응 모델 처리부(350), 사용자 반응 컨텐츠 처리부(370) 및 제어부(390)를 포함할 수 있다.
사용자 인터랙션 처리부(310)는 사용자 인터랙션을 수신할 수 있다. 여기에서, 사용자 인터랙션은 사용자가 사용자 인터랙션 반응 로봇(130)을 대상으로 수행하는 다양한 행동에 해당할 수 있다. 예를 들어, 사용자 인터랙션은 로봇에 대한 물리적 접촉, 로봇과의 대화 등을 포함할 수 있으나, 반드시 이에 한정되지 않고, 터치, 영상, 음성 및 텍스트 등 로봇이 제공하는 인터페이스를 통해 로봇에게 전달되는 다양한 형태의 입력들을 포함할 수 있다. 한편, 사용자 인터랙션 처리부(310)는 다양한 형태의 사용자 인터랙션을 수신하기 위하여 마이크, 카메라 및 터치 패널 등을 포함하여 구현될 수 있다.
일 실시예에서, 사용자 인터랙션 처리부(310)는 사용자 인터랙션 반응 로봇(130)의 특정 위치에 결합된, 터치 패널을 통해 사용자의 스트로크(stroke)를 수신하거나 또는 마이크를 통해 사용자의 대화를 수신하여 사용자 반응 모델 처리부(350)에 송신할 수 있다. 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션을 학습할 수 있고, 이를 통해 사용자에 대한 응답으로서 사용자 반응 컨텐츠를 동적으로 결정할 수 있다. 사용자 인터랙션 처리부(310)는 터치 패널을 통해 사용자의 터치를 수신할 수 있고, 연속된 터치들을 하나의 스트로크(stroke)로 인식하는 제스처(gesture) 인식을 수행할 수 있다.
또한, 사용자 인터랙션 처리부(310)는 사용자의 대화를 녹음하여 이를 디지털 신호로 변환하거나 또는 텍스트로 변환할 수 있고, 그 결과를 사용자 반응 모델 처리부(350)에 전달할 수 있다. 한편, 사용자 인터랙션 처리부(310)는 사용자로부터 수신되는 사용자 인터랙션을 유형 별로 분류할 수 있고, 유형 별로 정의된 특정 형태로 정규화할 수 있다.
외부 환경 처리부(330)는 적어도 하나의 센서를 통해 외부 환경을 검출할 수 있다. 사용자 인터랙션 반응 로봇(130)은 적어도 하나의 센서를 포함하여 구현될 수 있으며, 외부 환경 처리부(330)는 로봇 내부에 부착된 적어도 하나의 센서를 통해 외부 환경 정보를 획득할 수 있다. 예를 들어, 사용자 인터랙션 반응 로봇(130)은 외부 환경으로서 날씨, 온도, 습도, 미세 먼지 등에 관한 센싱 정보를 획득할 수 있다. 또한, 외부 환경 처리부(330)는 획득된 센싱 정보들 중에서 필터링(filtering)을 통해 비정상적인 입력을 제거할 수 있으며, 각 센싱 정보들 별로 정규화 과정을 수행할 수 있다.
한편, 외부 환경 처리부(330)에 의해 검출된 외부 환경에 관한 정보는 사용자 인터랙션 반응 로봇(130)의 동작 기준으로서 활용되는 사용자 반응 모델의 구축 및 갱신에 사용될 수 있다.
일 실시예에서, 외부 환경 처리부(330)는 적어도 하나의 센서를 통해 온도, 습도 및 조도 중 적어도 하나를 수신하여 사용자 반응 모델 처리부(350)에 제공할 수 있다. 외부 환경 처리부(330)에 의해 제공된 온도, 습도 및 조도에 관한 정보는 사용자 반응 모델 처리부(350)에 의해 사용자 반응 모델의 구축 및 갱신에 사용될 수 있다. 이를 위하여, 사용자 인터랙션 처리부(310)는 적어도 하나의 센서로서 온도 센서, 습도 센서 및 조도 센서를 포함하여 구현될 수 있다.
일 실시예에서, 외부 환경 처리부(330)는 카메라를 통해 사용자의 모습을 획득하여 사용자 반응 컨텐츠에 따라 예상되는 사용자 예상 피드백의 발생 여부를 검출하고, 사용자 예상 피드백이 검출된 경우에는 사용자 반응 모델 처리부(350)에 제공할 수 있다. 즉, 외부 환경 처리부(330)는 사용자 반응 컨텐츠의 유형에 따라 사용자 예상 피드백을 결정할 수 있고, 카메라를 통해 획득한 사용자 영상을 이미지 분석하여 사용자 예상 피드백의 발생 여부를 검출할 수 있다.
여기에서, 사용자 예상 피드백은 사용자의 반응 컨텐츠에 따라 예측 가능한 사용자의 반응으로서 사용자 인터랙션 반응 로봇(130)에 대한 응답에 해당할 수 있다. 예를 들어, 사용자와 사용자 인터랙션 반응 로봇(130) 간의 대화 도중에 사용자 인터랙션 반응 로봇(130)의 터치 요청에 관한 음성이나 텍스트가 사용자 반응 컨텐츠로서 사용자에게 제공된 경우 외부 환경 처리부(330)는 사용자 예상 피드백으로서 사용자의 터치 패널에 대한 터치 동작을 예측할 수 있고, 최종적으로 해당 동작의 발생 여부를 검출하여 사용자 반응 모델 처리부(350)에 전달할 수 있다.
또한, 사용자와 사용자 인터랙션 반응 로봇(130) 간의 인터랙션 도중에 사용자 인터랙션 반응 로봇(130)의 한 손 들기 요청이 사용자 반응 컨텐츠로서 사용자에게 전달된 경우 외부 환경 처리부(330)는 카메라를 통해 사용자 예상 피드백으로서 사용자의 한 손 들기 행위를 검출할 수 있다. 즉, 외부 환경 처리부(330)는 사용자의 모습을 카메라로 촬영할 수 있고, 이미지 분석을 통해 사용자의 동작이 한 손 들기 행위에 관한 것인지를 검출할 수 있다.
또한, 사용자와 사용자 인터랙션 반응 로봇(130) 간의 인터랙션 도중에 사용자 인터랙션 반응 로봇(130)의 복약 요청이 사용자 반응 컨텐츠로서 사용자에게 전달된 경우 외부 환경 처리부(330)는 카메라를 통해 사용자 예상 피드백으로서 사용자의 복약 행위를 검출할 수 있다. 즉, 외부 환경 처리부(330)는 사용자 인터랙션 반응 로봇(130)의 복약 요청이 발생한 경우 사용자의 모습을 카메라로 촬영할 수 있고, 이미지 분석을 통해 사용자의 동작이 복약 행위에 관한 것인지를 검출할 수 있다.
특히, 외부 환경 처리부(330)는 사용자 예상 피드백으로서 사용자의 복약 행위를 검출하기 위하여, 이미지 분석을 통해 연속적으로 획득하는 사용자의 동작들에 관한 행동 패턴을 사전에 구축할 수 있다. 예를 들어, 외부 환경 처리부(330)는 카메라를 통해 획득하는 사용자의 모습으로부터 한 손을 위로 올리는 동작, 입을 벌리는 동작 및 위로 올라간 손의 손바닥이 입 근처로 이동하는 동작이 연속하여 검출되는 경우 사용자의 복약 행위가 발생한 것으로 결정할 수 있다.
사용자 반응 모델 처리부(350)는 사용자 인터랙션 및 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신할 수 있다. 여기에서, 사용자 반응 모델은 사용자 인터랙션 반응 로봇(130)의 행동 기준을 제공하는 학습 모델에 해당할 수 있고, 사용자와 사용자 인터랙션 반응 로봇(130) 간의 인터랙션 과정에서 수집된 정보를 기초로 학습을 통해 구축될 수 있다. 한편, 사용자 반응 모델은 사용자 단말(170)로부터 원격으로 수신되는 교육 내용을 기초로 갱신될 수 있고, 이 경우 교육 프로그램이 사용자 단말(170)에서 수행된 결과가 로봇 서버(110)를 거쳐 사용자 인터랙션 반응 로봇(130)에게 전달될 수 있다.
또한, 사용자 반응 모델은 기본적으로 로봇의 생애주기를 하나의 특징 정보로서 포함하여 구현될 수 있으나, 필요에 따라 생애주기 별로 독립적인 모델로서 구축될 수도 있다. 이 때, 로봇의 생애주기는 로봇이 제공하는 인터랙션 컨텐츠(또는 사용자 반응 컨텐츠)에 영향을 줄 수 있으며, 인간의 성장 주기에 대응되어 정의될 수 있다. 로봇의 생애주기에 대해서는 도 5에서 보다 자세히 설명한다.
한편, 사용자 반응 모델 처리부(350)는 사용자 인터랙션 및 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신할 수 있으며, 보다 구체적으로, 사용자 반응 모델 처리부(350)는 특정 시점과 연관되어 수집된 사용자 인터랙션 및 외부 환경을 기초로 사용자 인터랙션 반응 로봇(130)의 현재 생애주기에 따른 사용자 반응 모델을 갱신할 수 있다.
일 실시예에서, 사용자 반응 모델 처리부(350)는 로봇의 생애주기 별로 독립적인 복수의 사용자 반응 모델들이 구축되어 있는 경우 사용자 인터랙션 및 외부 환경을 현재 생애주기의 사용자 반응 모델과 나머지 생애주기의 사용자 반응 모델들에 각각 적용할 수 있다. 이 경우, 사용자 반응 모델 처리부(350)는 현재 생애주기와 나머지 생애주기들에 대해 서로 다른 가중치를 각각 부여하여 사용자 반응 모델을 갱신할 수 있다.
일 실시예에서, 사용자 반응 모델 처리부(350)는 사용자 인터랙션의 수신 이전에 사용자 인증을 통해 사용자에 의해 이전에 형성된 이전 사용자 반응 모델로 복원할 수 있다. 즉, 사용자 반응 모델은 특정 시점을 기준으로 데이터베이스(150)에 저장될 수 있으며, 사용자 반응 모델 처리부(350)는 사용자 인증에 성공한 사용자의 요청에 따라 특정 시점의 사용자 반응 모델을 현재 사용자 인터랙션 반응 로봇(130)의 행동 기준으로서 적용할 수 있다. 사용자 반응 모델 처리부(350)는 기본적으로 사용자 인증 시점을 기준으로 가장 최신의 사용자 반응 모델을 사용자 인터랙션 반응 로봇(130)에 적용할 수 있고, 만약 사용자에 의해 별도의 요청이 있는 경우 해당 요청과 함께 시점 정보를 추가로 수신하여 해당 시점 정보와 연관된 사용자 반응 모델을 현재의 사용자 인터랙션 반응 로봇(130)에 적용할 수 있다.
일 실시예에서, 사용자 반응 모델 처리부(350)는 사용자 인터랙션을 통해 해당 생애주기에 성취될 미션의 수행 또는 반복된 실패 여부를 기초로 사용자 반응 모델을 구성하는 생애주기를 성장 또는 퇴행시킬 수 있다. 사용자 반응 모델 처리부(350)는 미션의 수행에 성공할 때마다 생애주기를 성장시킬 수 있고, 미션의 수행에 실패할 때마다 생애주기를 퇴행시킬 수 있다. 즉, 생애주기 기반의 사용자 반응 모델은 사용자와의 인터랙션에 따라 단계적으로 성장 또는 쇠퇴(또는 퇴행)의 과정을 거칠 수 있다.
또한, 사용자 반응 모델 처리부(350)는 미션의 수행 또는 실패가 연속하여 발생하는 경우 성장 또는 퇴행의 속도를 증가시킬 수 있다. 한편, 생애주기의 성장 또는 퇴행은 수치로서 정의될 수 있고, 성장 또는 퇴행에 따라 특정 점수에 도달하는 경우 생애주기의 변경이 발생할 수 있다. 예를 들어, 생애주기의 성장에 따라 100점에 도달하는 경우 생애주기가 다음 단계로 변경될 수 있고, 생애주기의 퇴행에 따라 0점에 도달하는 경우 생애주기가 이전 단계로 변경될 수 있다.
일 실시예에서, 사용자 반응 모델 처리부(350)는 생애주기가 퇴행되는 경우에는 사용자와 연관된 사용자 단말(170)에 사용자 인터랙션 반응 로봇(130)의 사용자 반응 모델을 제공하여, 사용자가 사용자 단말(170)을 통해 사용자 반응 모델을 다룰 수 있게 할 수 있다. 이 때, 사용자 반응 모델의 사용자 단말(170)로의 전달은 로봇 서버(110)의 중계를 통해 이루어질 수 있으며, 구현 환경에 따라 사용자 인터랙션 반응 로봇(130)으로부터 사용자 단말(170)로의 직접적인 전송을 통해 이루어질 수 있다. 또한, 사용자 반응 모델 처리부(350)는 사용자 반응 모델과 함께 사용자 반응 모델의 교육을 위한 교육 프로그램을 제공할 수 있다.
보다 구체적으로, 사용자 반응 모델 처리부(350)는 현재 단계에서 생애주기가 퇴행하여 특정 임계 점수 이하로 떨어지는 경우 사용자 단말(170)에게 사용자 반응 모델을 제공하여 사용자에 의한 사용자 반응 모델의 성장을 간접적으로 유도할 수 있다. 사용자 반응 모델 처리부(350)는 생애주기의 퇴행이 계속하여 발생함으로써 점수 하락의 범위가 특정 기준 이상으로 증가하는 경우에도 사용자 단말(170)에게 사용자 반응 모델을 제공할 수 있다.
일 실시예에서, 사용자 반응 모델 처리부(350)는 사용자 인터랙션을 통해 사용자 반응 모델을 구성하는 친밀도를 가감시킬 수 있다. 사용자 반응 모델은 복수의 특징들 각각을 독립된 차원에 대응시켜 형성되는 다차원 모델에 해당할 수 있고, 특정 차원에 대응되는 특징 중 하나로서 친밀도를 포함할 수 있다. 사용자 반응 모델 처리부(350)는 사용자 인터랙션 결과를 반영하여 친밀도를 가감시킬 수 있다.
예를 들어, 사용자 반응 모델 처리부(350)는 사용자의 인터랙션이 사용자 인터랙션 반응 로봇(130)에 대한 부정적 반응으로 분류되는 경우 친밀도를 감소시킬 수 있고, 긍정적 반응으로 분류되는 경우 친밀도를 증가시킬 수 있다. 또한, 사용자 반응 모델 처리부(350)는 부정적 또는 긍정적 반응이 연속되는 경우 연속된 횟수에 따른 가중치를 부여하여 친밀도를 각각 감소 또는 증가시킬 수 있다.
사용자 반응 컨텐츠 처리부(370)는 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있다. 즉, 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션을 수행할 수 있으며, 사용자의 인터랙션에 반응하는 사용자에 대한 응답 유형은 사용자 반응 컨텐츠 처리부(370)에 의해 결정될 수 있다.
보다 구체적으로, 사용자 반응 컨텐츠 처리부(370)는 사용자 인터랙션을 사용자 반응 모델에 입력하여 사용자 반응 컨텐츠를 결과로서 획득할 수 있다. 사용자 반응 모델은 사용자 인터랙션의 유형에 따라 동일한 유형에 속하는 사용자 반응 컨텐츠를 결과로서 출력할 수 있으나, 반드시 이에 한정되지 않는다. 만약 사용자 반응 모델이 생애주기 별로 독립적으로 구축된 경우라면 사용자 반응 컨텐츠 처리부(370)는 사용자 인터랙션 반응 로봇(130)의 현재 생애주기에 따라 사용자 반응 모델을 결정할 수 있고, 사용자 인터랙션을 사용자 반응 모델의 입력으로 제공하여 그 출력으로서 사용자 반응 컨텐츠를 획득할 수 있다.
일 실시예에서, 사용자 반응 컨텐츠 처리부(370)는 사용자 반응 모델에 있는 생애주기와 친밀도를 기초로 대화내용, 어휘, 어투 및 동작 중 적어도 하나를 결정할 수 있다. 즉, 사용자 반응 컨텐츠 처리부(370)는 사용자 반응 컨텐츠로서 텍스트를 출력하거나 텍스트에 대응하는 음성 및 동작을 출력할 수 있다. 이때, 사용자 반응 컨텐츠 처리부(370)는 텍스트로서 대화내용을 결정할 수 있고, 텍스트에 대응되는 음성을 형성하는 어휘 및 어투를 각각 결정할 수 있으며, 텍스트에 대응되는 동작을 결정할 수 있다. 대화내용은 복수의 문장들의 집합에서 선택될 수 있고, 각 집합은 어휘 및 어투에 따라 독립적으로 구성될 수 있다. 어휘, 어투 및 동작은 어휘 집합, 어투 집합 및 동작 집합에서 각각 결정될 수 있다.
일 실시예에서, 사용자 반응 컨텐츠 처리부(370)는 사용자 반응 컨텐츠가 사용자 예상 피드백을 요구하는 경우에는 외부 환경 처리부(330)가 미리 결정된 적어도 하나의 피드백 중에서 사용자 예상 피드백을 검출하도록 할 수 있다. 예를 들어, 사용자 반응 컨텐츠가 사용자의 특정 행위를 요구하는 요청에 해당하는 경우 사용자 예상 피드백은 특정 행위와 관련하여 미리 결정된 사용자의 동작들 중 어느 하나에 해당할 수 있고, 사용자 반응 컨텐츠 처리부(370)는 외부 환경 처리부(330)를 통해 해당 사용자의 동작에 관한 검출 결과를 수신할 수 있다. 즉, 사용자 반응 컨텐츠 처리부(370)는 외부 환경 처리부(330)와의 연동을 통해 사용자 예상 피드백의 검출을 처리할 수 있다.
제어부(390)는 사용자 인터랙션 반응 로봇(130)의 전체적인 동작을 제어하고, 사용자 인터랙션 처리부(310), 외부 환경 처리부(330), 사용자 반응 모델 처리부(350) 및 사용자 반응 컨텐츠 처리부(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 도 1의 사용자 인터랙션 반응 로봇에서 수행되는 사용자 인터랙션 반응 과정을 설명하는 순서도이다.
도 4를 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 인터랙션 처리부(310)를 통해 사용자 인터랙션을 수신할 수 있다(단계 S410). 사용자 인터랙션 반응 로봇(130)은 외부 환경 처리부(330)를 통해 적어도 하나의 센서를 통해 외부 환경을 검출할 수 있다(단계 S430).
또한, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 모델 처리부(350)를 통해 사용자 인터랙션 및 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신할 수 있다(단계 S450).
일 실시예에서, 사용자 반응 모델 처리부(350)는 생애주기의 퇴행이 계속되는 시간(T)이 생애주기 단계별 기준시간(Ts), 현재 생애주기의 지속시간(Tc), 전체 생애주기 경과시간(Tt) 및 전체 퇴행 횟수(nt)에 대한 현재 생애주기의 퇴행 횟수(nc)의 비율(nc/nt)을 기초로 산출되는 임계 시간(Tthreshold)을 초과하는 경우 사용자와 연관된 사용자 단말(170)에 사용자 인터랙션 반응 로봇(130)의 사용자 반응 모델을 제공할 수 있다.
일 실시예에서, 사용자 반응 모델 처리부(350)는 생애주기의 퇴행이 계속되는 시간(T)이 다음의 수학식을 통해 산출되는 임계 시간(Tthreshold)을 초과하는 경우 사용자와 연관된 사용자 단말(170)에 사용자 인터랙션 반응 로봇(130)의 사용자 반응 모델을 제공할 수 있다.
[수학식]
Figure pat00001
(여기에서, T: 생애주기의 퇴행이 계속되는 시간, Ts: 생애주기 단계별 기준시간, Tc: 현재 생애주기의 지속시간, Tt: 전체 생애주기 경과시간, nt: 전체 퇴행 횟수, nc: 현재 생애주기의 퇴행 횟수, Tthreshold: 임계 시간)
또한, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 컨텐츠 처리부(370)를 통해 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있다(단계 S470).
도 5는 본 발명에 따른 생애주기 모델을 설명하는 도면이다.
도 5를 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 모델 처리부(350)를 통해 사용자 인터랙션 및 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신할 수 있고, 사용자 반응 컨텐츠 처리부(370)를 통해 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있다.
도 5에서, 사용자 인터랙션 반응 로봇(130)은 생애주기 별로 형성된 프로그램에 따라 사용자와 인터랙션을 수행할 수 있다. 일 실시예에서, 사용자 인터랙션 반응 로봇(130)은 현재의 생애주기 단계가 특징 정보로서 반영된 사용자 반응 모델을 통해 사용자 인터랙션을 제공할 수 있다. 즉, 사용자 반응 모델은 로봇의 현재 생애주기가 특징 정보로서 하나의 차원에 대응하여 형성될 수 있다.
한편, 사용자 인터랙션 반응 로봇(130)의 생애주기는 신생아기(4주 이내), 영·유아기(0 ~ 6세), 학령기(7 ~ 18세), 청·장년기(19 ~ 64세) 및 노년기(66세 이상)에 대응하는 단계들로 정의될 수 있다. 생애주기는 각 단계에서의 특징이 사용자 인터랙션 반응 로봇(130)이 제공하는 사용자 반응 컨텐츠에 영향을 줄 수 있다. 즉, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 모델에 따라 사용자 반응 컨텐츠를 결정할 수 있으며, 사용자 반응 모델은 로봇의 현재 생애주기를 하나의 특징 정보로서 포함하여 구축될 수 있다. 따라서, 사용자 인터랙션 반응 로봇(130)은 동일한 사용자 반응에도 불구하고 현재의 생애주기 단계에 따라 전혀 다른 사용자 반응 컨텐츠를 제공할 수 있다.
한편, 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션을 통해 성장 또는 퇴행의 과정을 진행할 수 있다. 즉, 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션을 통해 성장이 계속되는 경우 생애주기가 다음 단계로 변경될 수 있다. 반대로, 사용자 인터랙션 반응 로봇(130)은 사용자와의 인터랙션이 일정 기간 발생하지 않는 경우 퇴행이 진행될 수 있고 계속된 퇴행에 따라 생애주기가 이전 단계로 변경될 수 있다. 사용자 인터랙션 반응 로봇(130)은 생애주기 단계의 변경에 따라 갱신된 사용자 반응 모델을 통해 사용자와의 인터랙션을 수행할 수 있다.
도 6은 본 발명에 따른 사용자 반응 모델을 설명하는 도면이다.
도 6을 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 반응 컨텐츠 처리부(370)를 통해 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있다. 이 때, 사용자 반응 모델은 다양한 특징 정보를 포함하여 정의될 수 있으며, 특히 각 특징 정보는 하나의 차원에 대응하는 다차원 모델로서 표현될 수 있다.
일 실시예에서, 사용자 반응 모델은 각 특징 정보를 성분으로 하는 특징 벡터에 관한 학습 모델로서 구현될 수 있다. 즉, 사용자 반응 모델은 특징 벡터를 학습하여 그에 대응되는 사용자 반응 컨텐츠를 출력으로 제공할 수 있다. 이 때, 사용자 반응 모델의 출력은 미리 정의된 복수의 사용자 반응 컨텐츠에 관한 확률 정보에 해당할 수 있다.
도 6에서, 사용자 반응 모델은 사용자 인터랙션, 외부 환경, 생애주기 및 친밀도를 특징 정보로서 차원화하여 정의될 수 있다. 사용자 인터랙션은 사용자 인터랙션 반응 로봇(130)의 구현에 따라 정의될 수 있으며, 예를 들어, 사용자 인터랙션 반응 로봇(130)이 사용자의 터치를 수신할 수 있는 터치 패널을 포함하는 경우 터치 입력을 사용자 인터랙션으로 수신할 수 있고, 사용자 반응 모델은 터치에 관한 사용자 인터랙션을 포함하여 구축될 수 있다. 또한, 사용자 인터랙션 로봇(123)이 사용자와의 대화를 위한 마이크 및 스피커를 포함하는 경우 대화 입력을 사용자 인터랙션으로 수신할 수 있고, 사용자 반응 모델은 대화에 관한 사용자 인터랙션을 포함하여 구축될 수 있다.
일 실시예에서, 사용자 인터랙션 반응 로봇(130)은 외부 환경 처리부(330)를 통해 적어도 하나의 센서로부터 온도, 습도 및 조도 중 적어도 하나를 수신할 수 있고, 외부 환경 중 온습도, 조도 및 시간을 각각 차원화하여 사용자 반응 모델을 구축할 수 있다.
한편, 사용자 반응 모델은 고유 특징 정보로서 사용자 인터랙션 반응 로봇(130)의 현재 생애주기와 사용자와의 친밀도를 각각 차원화 하여 구축될 수 있다. 결과적으로, 사용자 반응 모델은 사용자 인터랙션 반응 로봇(130)의 행동을 결정하는데 영향을 주는 다양한 특징 정보들을 반영하여 형성될 수 있다. 따라서, 사용자 인터랙션 반응 로봇(130)은 다양한 특징 정보들에 따라 갱신되는 사용자 반응 모델에 따라 사용자와의 인터랙션을 제공할 수 있다.
도 7은 본 발명에 따른 사용자 반응 모델의 일 실시예를 설명하는 예시도이다.
도 7을 참조하면, 사용자 인터랙션 반응 로봇(130)은 사용자 인터랙션에 반응하여 사용자 반응 모델에 따른 사용자 반응 컨텐츠를 제공할 수 있고, 사용자 반응 컨텐츠는 사용자 반응 모델에 의해 결정될 수 있다.
사용자 반응 모델은 다양한 특징 정보들을 반영하여 구축될 수 있으며, 사용자 인터랙션 반응 로봇(130)의 행동을 결정하는 행동 기준의 역할을 담당할 수 있다. 그림 (a) 및 (b)는 각각의 성장 환경에 따라 서로 다르게 형성된 사용자 반응 모델의 실시예를 나타내고 있다. 그림 (a)의 사용자 반응 모델은 그림 (b)보다 생애주기가 더 높기 때문에 사용자 인터랙션 반응 로봇(130)이 제공하는 사용자 반응 컨텐츠도 더 높은 연령의 사용자에게 보다 적합할 수 있다.
또한, 그림 (a)의 사용자 반응 모델은 그림 (b)보다 친밀도가 더 낮기 때문에 사용자 인터랙션 반응 로봇(130)이 제공하는 사용자 반응 컨텐츠는 더 부정적인 성격을 가질 수 있다. 그림 (b)의 사용자 반응 모델은 외부 환경, 즉 온습도, 조도 및 시간 항목이 그림 (a)보다 더 높은 점에서 사용자 인터랙션 반응 로봇(130)은 외부 환경의 변화에 따라 더 다양한 사용자 반응 컨텐츠를 제공할 수 있다.
사용자 인터랙션 반응 로봇(130)은 사용자 반응 모델에 따라 사용자와 인터랙션을 제공할 수 있고, 사용자 반응 모델은 로봇의 현재 생애주기 단계, 사용자 인터랙션 및 외부 환경을 기초로 갱신되어 사용자와의 효과적인 인터랙션에 기여할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 사용자 인터랙션 반응 로봇 시스템
110: 로봇 서버 130: 사용자 인터랙션 반응 로봇
150: 데이터베이스 170: 사용자 단말
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 사용자 인터랙션 처리부 330: 외부 환경 처리부
350: 사용자 반응 모델 처리부 370: 사용자 반응 컨텐츠 처리부
390: 제어부

Claims (10)

  1. 사용자 인터랙션을 수신하는 사용자 인터랙션 처리부;
    적어도 하나의 센서를 통해 외부 환경을 검출하는 외부 환경 처리부;
    상기 사용자 인터랙션 및 상기 외부 환경을 기초로 생애주기 기반의 사용자 반응 모델을 갱신하고, 상기 생애주기 기반의 사용자 반응 모델은 단계적으로 성장 또는 쇠퇴하는 사용자 반응 모델 처리부; 및
    상기 사용자 인터랙션에 반응하여 상기 사용자 반응 모델에 따라 차별되게 사용자 반응 컨텐츠를 제공하는 사용자 반응 컨텐츠 처리부를 포함하는 사용자 인터랙션 반응 로봇.
  2. 제1항에 있어서, 상기 사용자 인터랙션 처리부는
    상기 사용자 인터랙션 반응 로봇의 특정 위치에 결합된, 터치 패널을 통해 사용자의 스트로크(stroke)를 수신하거나 또는 마이크를 통해 사용자의 대화를 수신하여 상기 사용자 반응 모델 처리부에 송신하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
  3. 제2항에 있어서, 상기 사용자 반응 모델 처리부는
    상기 사용자 인터랙션의 수신 이전에 사용자 인증을 통해 사용자에 의해 이전에 형성된 이전 사용자 반응 모델로 복원하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
  4. 제2항에 있어서, 상기 외부 환경 처리부는
    상기 적어도 하나의 센서를 통해 온도, 습도 및 조도 중 적어도 하나를 수신하여 상기 사용자 반응 모델 처리부에 제공하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
  5. 제4항에 있어서, 상기 외부 환경 처리부는
    카메라를 통해 상기 사용자의 모습을 획득하여 상기 사용자 반응 컨텐츠에 따라 예상되는 사용자 예상 피드백의 발생 여부를 검출하고, 상기 사용자 예상 피드백이 검출된 경우에는 상기 사용자 반응 모델 처리부에 제공하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
  6. 제5항에 있어서, 상기 사용자 반응 모델 처리부는
    상기 사용자 인터랙션을 통해 해당 생애주기에 성취될 미션의 수행 또는 반복된 실패 여부를 기초로 상기 사용자 반응 모델을 구성하는 생애주기를 성장 또는 퇴행시키는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
  7. 제6항에 있어서, 상기 사용자 반응 모델 처리부는
    상기 생애주기가 퇴행되는 경우에는 상기 사용자와 연관된 사용자 단말에 상기 사용자 인터랙션 반응 로봇의 사용자 반응 모델을 제공하여, 상기 사용자가 상기 사용자 단말을 통해 상기 사용자 반응 모델을 다룰 수 있게 하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
  8. 제6항에 있어서, 상기 사용자 반응 모델 처리부는
    상기 사용자 인터랙션을 통해 상기 사용자 반응 모델을 구성하는 친밀도를 가감시키는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
  9. 제8항에 있어서, 상기 사용자 반응 컨텐츠 처리부는
    상기 사용자 반응 모델에 있는 생애주기와 친밀도를 기초로 대화내용, 어휘, 어투 및 동작 중 적어도 하나를 결정하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
  10. 제9항에 있어서, 상기 사용자 반응 컨텐츠 처리부는
    상기 사용자 반응 컨텐츠가 상기 사용자 예상 피드백을 요구하는 경우에는 상기 외부 환경 처리부가 미리 결정된 적어도 하나의 피드백 중에서 상기 사용자 예상 피드백을 검출하도록 하는 것을 특징으로 하는 사용자 인터랙션 반응 로봇.
KR1020190148253A 2019-11-19 2019-11-19 사용자 인터랙션 반응 로봇 KR102348308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190148253A KR102348308B1 (ko) 2019-11-19 2019-11-19 사용자 인터랙션 반응 로봇

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190148253A KR102348308B1 (ko) 2019-11-19 2019-11-19 사용자 인터랙션 반응 로봇

Publications (2)

Publication Number Publication Date
KR20210060802A true KR20210060802A (ko) 2021-05-27
KR102348308B1 KR102348308B1 (ko) 2022-01-11

Family

ID=76135536

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190148253A KR102348308B1 (ko) 2019-11-19 2019-11-19 사용자 인터랙션 반응 로봇

Country Status (1)

Country Link
KR (1) KR102348308B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000067961A1 (fr) * 1999-05-10 2000-11-16 Sony Corporation Robot et commande de ce robot
JP2002018146A (ja) * 2000-07-04 2002-01-22 Tomy Co Ltd 対話型玩具、反応行動パターン生成装置および反応行動パターン生成方法
KR20020037618A (ko) * 2000-11-15 2002-05-22 윤종용 디지털 컴패니언 로봇 및 시스템
KR20090079655A (ko) * 2008-01-18 2009-07-22 주식회사 케이티 사용자 자극행동에 따른 로봇 반응행동 수행 방법 및 그로봇
KR20120061688A (ko) 2010-12-03 2012-06-13 한국기술교육대학교 산학협력단 노인 복지 지원 로봇 및 그의 제어방법
KR20190098781A (ko) * 2018-01-29 2019-08-23 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000067961A1 (fr) * 1999-05-10 2000-11-16 Sony Corporation Robot et commande de ce robot
KR20010053481A (ko) * 1999-05-10 2001-06-25 이데이 노부유끼 로봇 장치 및 그 제어 방법
JP2002018146A (ja) * 2000-07-04 2002-01-22 Tomy Co Ltd 対話型玩具、反応行動パターン生成装置および反応行動パターン生成方法
KR20020037618A (ko) * 2000-11-15 2002-05-22 윤종용 디지털 컴패니언 로봇 및 시스템
KR20090079655A (ko) * 2008-01-18 2009-07-22 주식회사 케이티 사용자 자극행동에 따른 로봇 반응행동 수행 방법 및 그로봇
KR20120061688A (ko) 2010-12-03 2012-06-13 한국기술교육대학교 산학협력단 노인 복지 지원 로봇 및 그의 제어방법
KR20190098781A (ko) * 2018-01-29 2019-08-23 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법

Also Published As

Publication number Publication date
KR102348308B1 (ko) 2022-01-11

Similar Documents

Publication Publication Date Title
KR102643027B1 (ko) 전자 장치, 그의 제어 방법
US20210170585A1 (en) Robot reacting on basis of user behavior and control method therefor
US9824606B2 (en) Adaptive system for real-time behavioral coaching and command intermediation
US20160004299A1 (en) Systems and methods for assessing, verifying and adjusting the affective state of a user
US11270565B2 (en) Electronic device and control method therefor
WO2021136131A1 (zh) 一种信息推荐方法以及相关设备
Newman et al. HARMONIC: A multimodal dataset of assistive human–robot collaboration
EP3523709B1 (en) Electronic device and controlling method thereof
US20240095143A1 (en) Electronic device and method for controlling same
WO2000015396A1 (fr) Appareil robotique, procede de commande de l'appareil robotique, procede d'affichage et support
US20210349433A1 (en) System and method for modifying an initial policy of an input/output device
US20200118340A1 (en) Real-time motion feedback for extended reality
KR102469712B1 (ko) 전자 장치 및 이의 자연어 생성 방법
US11468270B2 (en) Electronic device and feedback information acquisition method therefor
KR102348308B1 (ko) 사용자 인터랙션 반응 로봇
US20190392003A1 (en) System and method for adjustment of a device personality profile
US11817097B2 (en) Electronic apparatus and assistant service providing method thereof
US20190317514A1 (en) Information processing apparatus and information processing method
JP6972526B2 (ja) コンテンツ提供装置、コンテンツ提供方法、及びプログラム
Mruthyunjaya et al. Human-Augmented robotic intelligence (HARI) for human-robot interaction
KR102300873B1 (ko) 피지컬 실체화 가능한 사이버 로봇
US11538491B2 (en) Interaction system, non-transitory computer readable storage medium, and method for controlling interaction system
JP2018051648A (ja) ロボット制御装置、ロボット、ロボット制御方法、及びプログラム
KR20090013968A (ko) 지능형 에이전트 시스템 및 지능형 에이전트의 감정 생성방법
JP6824146B2 (ja) 評価装置、方法およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant