KR102598435B1 - Apparatus and method for determning emotional state of robot reflecting emotional change pattern of human - Google Patents

Apparatus and method for determning emotional state of robot reflecting emotional change pattern of human Download PDF

Info

Publication number
KR102598435B1
KR102598435B1 KR1020210167032A KR20210167032A KR102598435B1 KR 102598435 B1 KR102598435 B1 KR 102598435B1 KR 1020210167032 A KR1020210167032 A KR 1020210167032A KR 20210167032 A KR20210167032 A KR 20210167032A KR 102598435 B1 KR102598435 B1 KR 102598435B1
Authority
KR
South Korea
Prior art keywords
vector
emotional
emotional state
robot
determining
Prior art date
Application number
KR1020210167032A
Other languages
Korean (ko)
Other versions
KR20230079859A (en
Inventor
채유정
김창환
김동환
임윤섭
박성기
전태희
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020210167032A priority Critical patent/KR102598435B1/en
Publication of KR20230079859A publication Critical patent/KR20230079859A/en
Application granted granted Critical
Publication of KR102598435B1 publication Critical patent/KR102598435B1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

로봇의 감정 상태 결정 장치 및 방법이 개시된다. 일 실시예에 따른 로봇의 감정 상태 결정 장치는, 로봇의 성격에 대응하는 벡터를 복수의 감정 영역으로 분할된 감정 공간 평면 상의 제1 벡터로 수신하고, 상기 로봇의 현재 감정 상태에 대응하는 감정 공간 평면 상의 제2 벡터를 수신하는 수신부; 기 학습된 모델을 이용하여 입력 문장의 감정 상태를 상기 감정 공간 평면 상의 제3 벡터로 변환하는 변환부; 상기 현재 감정 상태에서 상기 입력 문장에 의해 변화되는 상기 로봇의 최대 감정 상태에 대응하는 상기 감정 공간 평면 상의 제4 벡터를 상기 제1 벡터, 상기 제2 벡터 및 상기 제3 벡터 간의 연산 결과에 기초하여 산출하는 산출부; 상기 제2 벡터와 상기 제4 벡터를 지나는 연결 경로를 결정하는 연결 경로 결정부; 상기 연결 경로에 기초하여 상기 현재 감정 상태에 대한 후속 감정 상태를 결정하는 감정 결정부를 포함한다.An apparatus and method for determining the emotional state of a robot are disclosed. An apparatus for determining the emotional state of a robot according to an embodiment receives a vector corresponding to the personality of the robot as a first vector on an emotional space plane divided into a plurality of emotional regions, and receives an emotional space corresponding to the current emotional state of the robot. a receiving unit that receives a second vector on a plane; a conversion unit that converts the emotional state of the input sentence into a third vector on the emotional space plane using a previously learned model; A fourth vector on the emotional space plane corresponding to the maximum emotional state of the robot changed by the input sentence in the current emotional state is calculated based on the result of the operation between the first vector, the second vector, and the third vector. A calculation unit that calculates; a connection path determination unit that determines a connection path passing through the second vector and the fourth vector; and an emotion determination unit that determines a subsequent emotional state for the current emotional state based on the connection path.

Description

사람의 감정 변화 패턴을 반영한 로봇의 감정 상태 결정 장치 및 방법{APPARATUS AND METHOD FOR DETERMNING EMOTIONAL STATE OF ROBOT REFLECTING EMOTIONAL CHANGE PATTERN OF HUMAN}Apparatus and method for determining the emotional state of a robot that reflects human emotional change patterns {APPARATUS AND METHOD FOR DETERMNING EMOTIONAL STATE OF ROBOT REFLECTING EMOTIONAL CHANGE PATTERN OF HUMAN}

개시되는 실시예들은 로봇의 감정 상태를 결정하기 위한 기술과 관련된다.The disclosed embodiments relate to techniques for determining the emotional state of a robot.

[국가지원 연구개발에 대한 설명][Explanation on state-supported research and development]

본 연구는 과학기술정보통신부, 국가과학기술연구회연구운영비지원(R&D), [고령세대 치매 조기예측, 치료제 및 환자케어 기술 개발(치매환자 지원 라이프케어 로봇 개발), 세부과제번호: CRC-15-04-KIST]의 지원에 의하여 이루어진 것이다.This research was supported by the Ministry of Science and ICT, the National Research Council of Science and Technology, research operating expenses (R&D), [Early prediction of dementia in the elderly generation, development of treatment and patient care technology (development of life care robots to support dementia patients), detailed project number: CRC-15- This was achieved with the support of [04-KIST].

오늘날 로봇 시스템은 사용자와 대화를 기반으로 챗봇 서비스를 제공하는 도우미/개인비서 로봇, 책/기사를 읽어주는 리딩 서비스 로봇 등 다양한 분야에서 활용 영역을 넓히고 있다. 특히, 사람과의 상호작용이 요구되는 로봇 서비스는 보다 자연스러운 서비스 제공을 위해 상황에 적합한 반응(표정 및 제스처)을 제공해야 할 필요가 있다.Today, robot systems are expanding their application areas in various fields, such as assistant/personal assistant robots that provide chatbot services based on conversations with users, and reading service robots that read books/articles. In particular, robot services that require interaction with people need to provide responses (facial expressions and gestures) appropriate to the situation to provide more natural services.

이와 관련하여, 최근에는 사용자 얼굴이 표시된 영상 정보와 사용자 음성이 담긴 소리 정보를 감지하여 맥락에 적절한 로봇의 감정을 생성하는 기술이 활발히 연구되고 있다. In this regard, technology that generates robot emotions appropriate to the context by detecting image information showing the user's face and sound information containing the user's voice has been actively researched.

그러나, 기존 기술에서 로봇의 감정을 생성하기 위해서는 사용자 정보가 필요하다는 한계가 존재한다. 즉, 생성된 로봇의 감정은 사용자 정보라는 입력에 대한 출력에 불과하다. 이로 인해, 기존 기술은 사용자 정보가 존재하지 않는 경우, 사용자 정보에 대응하는 로봇의 감정을 생성하기 어려운 문제가 존재한다. However, there is a limitation in existing technology that user information is needed to generate robot emotions. In other words, the generated robot's emotions are merely the output of the input of user information. Because of this, existing technology has a problem in that it is difficult to generate robot emotions corresponding to user information when user information does not exist.

또한, 외부 자극으로 인한 사람의 감정 변화는 사람의 성격에 따라 다양하며, 시간의 흐름에 따라 줄어들기 마련이다. 그러나, 기존 기술에서 생성하는 로봇의 감정은 사용자 정보가 입력되지 않는 한, 변화 없이 고정된다. 더욱이, 기존 기술에서 로봇의 감정은 출력 횟수가 늘어날수록 부자연스럽게 변화한다는 한계가 존재한다. 사람의 경우, 외부 요인에 의해 감정이 변화하더라도, 현재 감정과 유사한 감정으로 수렴하며 변화한다. 반면, 로봇의 경우, 예를 들어, 현재 감정이 '행복'일 때, '슬픈' 감정을 포함하는 사용자의 정보가 로봇에게 반복적으로 입력되면, 로봇의 감정은 '행복'에서 '슬픔' 그리고 '슬픔'의 패턴으로 급진적으로 변화한다. 이러한 차이는 사용자에게 이질감을 유발한다. Additionally, changes in a person's emotions due to external stimuli vary depending on the person's personality and tend to decrease over time. However, the emotions of robots generated by existing technology are fixed without change unless user information is input. Moreover, there is a limitation in existing technology that the robot's emotions change unnaturally as the number of outputs increases. In the case of people, even if emotions change due to external factors, they converge and change to emotions similar to the current emotion. On the other hand, in the case of a robot, for example, when the current emotion is 'happy' and the user's information including the 'sad' emotion is repeatedly input to the robot, the robot's emotions change from 'happy' to 'sad' and ' There is a radical change in the pattern of ‘sadness’. These differences cause a sense of heterogeneity in users.

이와 같이, 로봇의 감정을 생성하는 기술 분야에서 사용자 정보에 대응하여 로봇의 감정을 생성하는 기술만이 활발히 연구되고 있을 뿐, 사람의 감정 변화 패턴과 유사한 패턴으로 로봇의 감정을 생성하는 기술은 그 연구가 미흡한 실정이다. As such, in the field of technology for generating robot emotions, only the technology for generating robot emotions in response to user information is being actively researched, and the technology for generating robot emotions in patterns similar to human emotional change patterns is that. Research is insufficient.

따라서, 보다 자연스러운 상호작용을 위해 로봇의 감정은 로봇의 발화 문장을 고려하여 사람의 감정과 같이 점진적이고 회복 가능하도록 변화될 필요가 있다.Therefore, for more natural interactions, the robot's emotions need to be changed gradually and recoverably like human emotions, taking into account the robot's uttered sentences.

한국등록특허 제10-2278162호 (2021.07.12 등록)Korean Patent No. 10-2278162 (registered on July 12, 2021)

개시되는 실시예들은 로봇의 감정 상태를 결정하기 위한 장치 및 방법을 제공하기 위한 것이다.The disclosed embodiments are intended to provide an apparatus and method for determining the emotional state of a robot.

일 실시예에 따른 로봇의 감정 상태 결정 방법은, 로봇의 성격에 대응하는 벡터를 복수의 감정 영역으로 분할된 감정 공간 평면 상의 제1 벡터로 수신하는 단계; 상기 로봇의 현재 감정 상태에 대응하는 벡터를 감정 공간 평면 상의 제2 벡터로 수신하는 단계; 기 학습된 모델을 이용하여 입력 문장의 감정 상태를 상기 감정 공간 평면 상의 제3 벡터로 변환하는 단계; 상기 현재 감정 상태로부터 상기 입력 문장에 의해 변화되는 상기 로봇의 최대 감정 상태에 대응하는 상기 감정 공간 평면 상의 제4 벡터를 상기 제1 벡터, 상기 제2 벡터 및 상기 제3 벡터 간의 연산 결과에 기초하여 산출하는 단계; 상기 제2 벡터와 상기 제4 벡터를 지나는 연결 경로를 결정하는 단계; 상기 연결 경로에 기초하여 상기 현재 감정 상태에 대한 후속 감정 상태를 결정하는 단계를 포함한다.A method for determining the emotional state of a robot according to an embodiment includes receiving a vector corresponding to the personality of the robot as a first vector on an emotional space plane divided into a plurality of emotional regions; Receiving a vector corresponding to the current emotional state of the robot as a second vector on the emotional space plane; Converting the emotional state of the input sentence into a third vector on the emotional space plane using a previously learned model; A fourth vector on the emotional space plane corresponding to the maximum emotional state of the robot changed by the input sentence from the current emotional state is calculated based on the result of the operation between the first vector, the second vector, and the third vector. calculating step; determining a connection path passing through the second vector and the fourth vector; and determining a subsequent emotional state for the current emotional state based on the connection path.

상기 감정 공간 평면은, 정서(Pleasure) 축 및 각성도(Arousal) 축을 포함할 수 있다.The emotional space plane may include a pleasure axis and an arousal axis.

상기 산출하는 단계는, 하기 수학식 1을 이용하여 상기 제4 벡터를 산출할 수 있다.In the calculating step, the fourth vector can be calculated using Equation 1 below.

[수학식 1][Equation 1]

(이때, 는 상기 제4 벡터, 는 상기 제2 벡터, 은 상기 제3 벡터, 는 상기 제1 벡터, 는 0 이상 1 이하의 임의의 실수 값을 갖는 가중치 변수)(At this time, is the fourth vector, is the second vector, is the third vector, is the first vector, and is a weight variable with a random real value between 0 and 1)

상기 연결 경로를 결정하는 단계는, 기 정의된 노드 그래프 규칙에 기초하여 상기 제2 벡터 및 상기 제3 벡터 각각에 매핑되는 감정 영역에 대한 제1 출력 감정 영역을 결정하는 단계; 및 상기 제2 벡터, 상기 제4 벡터 및 상기 제1 출력 감정 영역을 지나는 복수의 예비 연결 경로 중 경로의 길이가 가장 짧은 예비 연결 경로를 상기 연결 경로를 결정하는 단계를 포함할 수 있다.Determining the connection path may include determining a first output emotional region for the emotional region mapped to each of the second vector and the third vector based on a predefined node graph rule; and determining the connection path as a preliminary connection path with the shortest path length among a plurality of preliminary connection paths passing through the second vector, the fourth vector, and the first output emotion area.

상기 후속 감정 상태를 결정하는 단계는, 상기 연결 경로 상의 복수의 벡터 중 임의의 하나를 결정하는 단계; 및 상기 복수의 감정 영역 중 상기 임의의 하나에 매핑되는 감정 영역에 기초하여 상기 후속 감정 상태를 결정하는 단계를 포함할 수 있다.Determining the subsequent emotional state may include determining any one of a plurality of vectors on the connection path; and determining the subsequent emotional state based on an emotional region mapped to the arbitrary one of the plurality of emotional regions.

상기 후속 감정 상태를 결정하는 단계는, 상기 연결 경로를 따라 상기 제2 벡터로부터 사전 설정된 간격만큼 떨어진 벡터에 매핑되는 감정 영역을 상기 후속 감정 상태로 결정할 수 있다.The step of determining the subsequent emotional state may determine, as the subsequent emotional state, an emotional region mapped to a vector spaced apart from the second vector by a preset interval along the connection path.

일 실시예에 따른 로봇의 감정 상태 결정 방법은, 기 설정된 임계 시간 간격 내, 상기 입력 문장이 입력되지 않은 경우, 상기 제1 벡터 및 상기 제2 벡터를 지나는 회귀 경로를 결정하는 단계; 및 상기 회귀 경로에 기초하여 상기 후속 감정 상태를 결정하는 단계를 더 포함할 수 있다.A method for determining an emotional state of a robot according to an embodiment includes: determining a regression path passing through the first vector and the second vector when the input sentence is not input within a preset threshold time interval; and determining the subsequent emotional state based on the regression path.

상기 회귀 경로를 결정하는 단계는, 기 정의된 노드 그래프 규칙에 기초하여 상기 제1 벡터 및 상기 제2 벡터 각각에 매핑되는 감정 영역에 대한 제2 출력 감정 영역을 결정하는 단계; 및 상기 제1 벡터, 상기 제2 벡터 및 상기 제2 출력 감정 영역을 지나는 복수의 예비 회귀 경로 중 경로의 길이가 가장 짧은 예비 회귀 경로를 상기 회귀 경로로 결정하는 단계를 포함할 수 있다.Determining the regression path may include determining a second output emotional region for the emotional region mapped to each of the first vector and the second vector based on a predefined node graph rule; and determining, as the regression path, a preliminary regression path with the shortest path length among a plurality of preliminary regression paths passing through the first vector, the second vector, and the second output emotion area.

상기 후속 감정 상태를 결정하는 단계는, 상기 회귀 경로를 따라 상기 제2 벡터로부터 사전 설정된 간격만큼 떨어진 벡터에 매핑되는 감정 영역을 상기 후속 감정 상태로 결정할 수 있다.The step of determining the subsequent emotional state may determine, as the subsequent emotional state, an emotional region mapped to a vector spaced apart from the second vector by a preset interval along the regression path.

일 실시예에 따른 로봇의 감정 상태 결정 장치는, 로봇의 성격에 대응하는 벡터를 복수의 감정 영역으로 분할된 감정 공간 평면 상의 제1 벡터로 수신하고, 상기 로봇의 현재 감정 상태에 대응하는 감정 공간 평면 상의 제2 벡터를 수신하는 수신부; 기 학습된 모델을 이용하여 입력 문장의 감정 상태를 상기 감정 공간 평면 상의 제3 벡터로 변환하는 변환부; 상기 현재 감정 상태로부터 상기 입력 문장에 의해 변화되는 상기 로봇의 최대 감정 상태에 대응하는 상기 감정 공간 평면 상의 제4 벡터를 상기 제1 벡터, 상기 제2 벡터 및 상기 제3 벡터 간의 연산 결과에 기초하여 산출하는 산출부; 상기 제2 벡터와 상기 제4 벡터를 지나는 연결 경로를 결정하는 연결 경로 결정부; 상기 연결 경로에 기초하여 상기 현재 감정 상태에 대한 후속 감정 상태를 결정하는 감정 결정부를 포함한다.An apparatus for determining the emotional state of a robot according to an embodiment receives a vector corresponding to the personality of the robot as a first vector on an emotional space plane divided into a plurality of emotional regions, and receives an emotional space corresponding to the current emotional state of the robot. a receiving unit that receives a second vector on a plane; a conversion unit that converts the emotional state of the input sentence into a third vector on the emotional space plane using a previously learned model; A fourth vector on the emotional space plane corresponding to the maximum emotional state of the robot changed by the input sentence from the current emotional state is calculated based on the result of the operation between the first vector, the second vector, and the third vector. A calculation unit that calculates; a connection path determination unit that determines a connection path passing through the second vector and the fourth vector; and an emotion determination unit that determines a subsequent emotional state for the current emotional state based on the connection path.

상기 감정 공간 평면은, 정서(Pleasure) 축 및 각성도(Arousal) 축을 포함할 수 있다.The emotional space plane may include a pleasure axis and an arousal axis.

상기 산출부는, 하기 수학식 1을 이용하여 상기 제4 벡터를 산출할 수 있다.The calculation unit may calculate the fourth vector using Equation 1 below.

[수학식 1][Equation 1]

(이때, 는 상기 제4 벡터, 는 상기 제2 벡터, 은 상기 제3 벡터, 는 상기 제1 벡터, 는 0 이상 1 이하의 임의의 실수 값을 갖는 가중치 변수)(At this time, is the fourth vector, is the second vector, is the third vector, is the first vector, and is a weight variable with a random real value between 0 and 1)

상기 연결 경로 결정부는, 기 정의된 노드 그래프 규칙에 기초하여 상기 제2 벡터 및 상기 제3 벡터 각각에 매핑되는 감정 영역에 대한 제1 출력 감정 영역을 결정하고, 상기 제2 벡터, 상기 제4 벡터 및 상기 제1 출력 감정 영역을 지나는 복수의 예비 연결 경로 중 경로의 길이가 가장 짧은 예비 연결 경로를 상기 연결 경로로 결정할 수 있다.The connection path determination unit determines a first output emotion region for the emotion region mapped to each of the second vector and the third vector based on a predefined node graph rule, and the second vector and the fourth vector. And among the plurality of preliminary connection paths passing through the first output emotion area, a preliminary connection path with the shortest path length may be determined as the connection path.

상기 감정 결정부는, 상기 연결 경로 상의 복수의 벡터 중 임의의 하나를 결정하고, 상기 복수의 감정 영역 중 상기 임의의 하나에 매핑되는 감정 영역에 기초하여 상기 후속 감정 상태를 결정할 수 있다.The emotion determination unit may determine an arbitrary one of a plurality of vectors on the connection path and determine the subsequent emotional state based on an emotional region mapped to the arbitrary one of the plurality of emotional regions.

상기 감정 결정부는, 상기 연결 경로를 따라 상기 제2 벡터로부터 사전 설정된 간격만큼 떨어진 벡터에 매핑되는 감정 영역을 상기 후속 감정 상태로 결정할 수 있다.The emotion determination unit may determine, as the subsequent emotional state, an emotional region mapped to a vector separated by a preset interval from the second vector along the connection path.

일 실시예에 따른 로봇의 감정 상태 결정 장치는, 기 설정된 임계 시간 간격 내, 상기 입력 문장이 입력되지 않은 경우, 상기 제1 벡터 및 상기 제2 벡터를 지나는 회귀 경로를 결정하는 회귀 경로 결정부를 더 포함할 수 있다.The apparatus for determining the emotional state of a robot according to an embodiment further includes a regression path determination unit that determines a regression path passing through the first vector and the second vector when the input sentence is not input within a preset threshold time interval. It can be included.

상기 회귀 경로 결정부는, 기 정의된 노드 그래프 규칙에 기초하여 상기 제1 벡터 및 상기 제2 벡터 각각에 매핑되는 감정 영역에 대한 제2 출력 감정 영역을 결정하고, 상기 제1 벡터, 상기 제2 벡터 및 상기 제2 출력 감정 영역을 지나는 복수의 예비 회귀 경로 중 경로의 길이가 가장 짧은 예비 회귀 경로를 상기 회귀 경로로 결정할 수 있다.The regression path determination unit determines a second output emotional region for the emotional region mapped to each of the first vector and the second vector based on a predefined node graph rule, and determines a second output emotional region for the emotional region mapped to each of the first and second vectors. And among the plurality of preliminary regression paths passing through the second output emotion area, a preliminary regression path with the shortest path length may be determined as the regression path.

상기 감정 결정부는, 상기 회귀 경로를 따라 상기 제2 벡터로부터 사전 설정된 간격만큼 떨어진 벡터에 매핑되는 감정 영역을 상기 후속 감정 상태로 결정할 수 있다.The emotion determination unit may determine, as the subsequent emotional state, an emotional area mapped to a vector separated by a preset interval from the second vector along the regression path.

개시되는 실시예들은, 로봇의 발화 문장을 입력 문장으로 사용함으로써, 사용자 정보 없이도 로봇의 감정 상태를 결정할 수 있다.In the disclosed embodiments, the emotional state of the robot can be determined without user information by using the robot's spoken sentence as an input sentence.

개시되는 실시예들은, 연결 경로를 통해 후속 감정 상태의 카테고리를 제한함으로써, 사람의 감정 변화 패턴과 유사한 후속 감정 상태를 제공할 수 있다.Disclosed embodiments may provide subsequent emotional states that are similar to a person's emotional change pattern by limiting categories of subsequent emotional states through connection paths.

개시되는 실시예들은, 기 설정된 시간 내 입력 문장이 존재하지 않는 경우, 감정 상태가 회복된 후속 감정 상태를 결정할 수 있다. In the disclosed embodiments, when there is no input sentence within a preset time, a subsequent emotional state in which the emotional state is recovered may be determined.

도 1은 일 실시예에 따른 로봇의 감정 상태 결정 장치를 설명하기 위한 블록도
도 2는 일 실시예에 따른 감정 공간 평면을 나타내는 그래프
도 3은 도 1의 연결 경로 결정부가 이용하는 노드 그래프 규칙을 도시한 그래프
도 4는 일 실시예에 따른 감정 공간 평면 상에 결정된 후속 감정 상태를 나타낸 예시도
도 5는 추가적인 실시예에 따른 로봇의 감정 상태 결정 장치를 설명하기 위한 블록도
도 6은 일 실시예에 따른 성격별 회복되는 로봇의 후속 감정 상태를 나타내는 예시도
도 7은 일 실시예에 따른 로봇의 감정 상태 결정 방법을 설명하기 위한 순서도
도 8은 추가적인 실시예에 따른 로봇의 감정 상태 결정 방법을 설명하기 위한 순서도
1 is a block diagram illustrating an apparatus for determining an emotional state of a robot according to an embodiment.
2 is a graph showing an emotional space plane according to one embodiment.
Figure 3 is a graph showing the node graph rules used by the connection path determination unit of Figure 1
Figure 4 is an example diagram showing a subsequent emotional state determined on the emotional space plane according to one embodiment.
Figure 5 is a block diagram illustrating an apparatus for determining an emotional state of a robot according to an additional embodiment.
Figure 6 is an example diagram showing the subsequent emotional state of a robot recovered by personality according to an embodiment.
7 is a flowchart illustrating a method for determining the emotional state of a robot according to an embodiment.
8 is a flowchart illustrating a method for determining the emotional state of a robot according to an additional embodiment.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.The terminology used in this specification is a general term that is currently widely used as much as possible while considering function, but this may vary depending on the intention or practice of a technician working in the art or the emergence of new technology. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in the explanation part of the relevant specification. Therefore, we would like to clarify that the terms used in this specification should be interpreted based on the actual meaning of the term and the overall content of this specification, not just the name of the term.

또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치(device)", "서버(server)" 또는 "시스템(system)" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 모듈, 장치, 서버 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.Additionally, the embodiments described herein may have aspects that are entirely hardware, partly hardware and partly software, or entirely software. In this specification, “unit,” “module,” “device,” “server,” or “system” refers to hardware, a combination of hardware and software, or software, etc. Refers to a computer-related entity. For example, a unit, module, device, server, or system may refer to hardware constituting part or all of a platform and/or software such as an application for running the hardware.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시예들에 의해 제한되거나 한정되지 아니한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the claimed scope is not limited or limited by the embodiments.

도 1은 일 실시예에 따른 로봇의 감정 상태 결정 장치(100)를 설명하기 위한 블록도이다.Figure 1 is a block diagram for explaining an apparatus 100 for determining the emotional state of a robot according to an embodiment.

일 실시예에 따르면, 로봇의 감정 상태 결정 장치(100)는 사람의 감정 변화 패턴과 유사하도록 입력 문장에 의해 변화되는 로봇의 후속 감정 상태를 결정할 수 있다. According to one embodiment, the apparatus 100 for determining the emotional state of a robot may determine the subsequent emotional state of the robot that is changed by the input sentence to be similar to the emotional change pattern of a person.

일 실시예에 따르면, 로봇의 감정 상태 결정 장치(100)는 도 2의 제1 벡터(201), 제2 벡터(202), 제3 벡터(203), 제4 벡터(204), 제1 출력 감정 영역(205)에 기초하여 결정된 후속 감정 상태에 대응하는 벡터(206)를 감정 공간 평면(200)의 감정 영역에 매핑하여 후속 감정 상태를 결정할 수 있다. According to one embodiment, the apparatus 100 for determining the emotional state of a robot includes the first vector 201, the second vector 202, the third vector 203, the fourth vector 204, and the first output of FIG. The vector 206 corresponding to the subsequent emotional state determined based on the emotional region 205 may be mapped to the emotional region of the emotional space plane 200 to determine the subsequent emotional state.

도 2에 도시된 바와 같이, 감정 공간 평면(200)은 두 개의 독립적인 파라미터인 긍부정도(pleasure)축과 각성도(arousal)축으로 구성된 2차원 평면일 수 있다.As shown in FIG. 2, the emotional space plane 200 may be a two-dimensional plane composed of two independent parameters, a pleasure axis and an arousal axis.

즉, 감정 공간 평면 상의 제1 벡터(201), 제2 벡터(202), 제3 벡터(203), 제4 벡터(204), 제1 출력 감정 영역(205), 후속 감정 상태에 대응하는 벡터(206)를 포함하는 감정 공간 평면 상의 벡터는 긍부정도와 각성도로 구성된 2차원의 벡터일 수 있다.That is, the first vector 201, the second vector 202, the third vector 203, the fourth vector 204, the first output emotion region 205, and the vector corresponding to the subsequent emotional state on the emotion space plane. The vector on the emotional space plane including (206) may be a two-dimensional vector composed of positivity and arousal.

이때, 로봇의 감정 상태 결정 장치(100)는 기 정의된 분류기(예를 들어, 서포트 벡터 머신(Support Vector Machine; SVM), 확률적 경사 하강법(Stochastic Gradient Descent; SGD), K-최근접 이웃(K-Nearest Neighbor; KNN) 알고리즘, 랜덤 포레스트(Random forest; RF) 알고리즘)를 이용하여 감정 공간 평면(200)을 복수의 감정 영역으로 분할할 수 있다. At this time, the emotional state determination device 100 of the robot uses a predefined classifier (e.g., Support Vector Machine (SVM), Stochastic Gradient Descent (SGD), K-nearest neighbor). The emotional space plane 200 can be divided into a plurality of emotional regions using (K-Nearest Neighbor; KNN) algorithm and Random forest (RF) algorithm).

도 2에 도시된 바와 같이 로봇의 감정 상태 결정 장치(100)는 감정 공간 평면(200) 상의 각 벡터들을 기 정의된 분류기를 통해 행복(happy) 영역, 중립(neutral) 영역, 놀람(surprise) 영역, 분노(angry) 영역, 슬픔(sad) 영역으로 분류함으로써, 감정 공간 평면(200)을 복수의 감정 영역으로 분할할 수 있다. As shown in FIG. 2, the emotional state determination device 100 of the robot divides each vector on the emotional space plane 200 into a happy region, neutral region, and surprise region through a predefined classifier. , the emotional space plane 200 can be divided into a plurality of emotional areas by classifying them into an angry area and a sad area.

한편, 상술한 예에서 감정 공간 평면(200)에 포함된 감정 영역의 종류와 개수는 예시적인 것에 불과하고 로봇의 감정 상태 결정 장치(100)는 감정 영역의 종류와 개수에 한정 없이 감정 공간 평면(200)을 다양한 감정 영역으로 분할할 수 있다. Meanwhile, in the above-described example, the type and number of emotional areas included in the emotional space plane 200 are merely exemplary, and the emotional state determination device 100 of the robot is not limited to the type and number of emotional areas, and the emotional space plane ( 200) can be divided into various emotional areas.

한편, 상술한 예에서 기 정의된 분류기는 서포트 벡터 머신, 확률적 경사 하강법, K-최근접 이웃 알고리즘, 랜덤 포레스트 알고리즘인 것으로 예시하였으나, 반드시 이에 한정되는 것은 아니고, 실시예에 따라 다양한 분류 방법을 더 포함할 수 있다. Meanwhile, in the above-mentioned example, the predefined classifiers are exemplified as support vector machines, stochastic gradient descent, K-nearest neighbor algorithm, and random forest algorithms, but are not necessarily limited thereto, and various classification methods may be used depending on the embodiment. It may further include.

도 1을 참조하면, 로봇의 감정 상태 결정 장치(100)는 수신부(110), 변환부(120), 산출부(130), 연결 경로 결정부(140) 및 감정 결정부(150)를 포함한다.Referring to FIG. 1, the apparatus 100 for determining the emotional state of a robot includes a reception unit 110, a conversion unit 120, a calculation unit 130, a connection path determination unit 140, and an emotion determination unit 150. .

일 실시예에 따르면, 수신부(110), 변환부(120), 산출부(130), 연결 경로 결정부(140) 및 감정 결정부(150)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.According to one embodiment, the reception unit 110, the conversion unit 120, the calculation unit 130, the connection path determination unit 140, and the emotion determination unit 150 are implemented using one or more physically separate devices. , It may be implemented by one or more processors or a combination of one or more processors and software, and, unlike the example shown, specific operations may not be clearly distinguished.

수신부(110)는 로봇의 성격에 대응하는 벡터를 복수의 감정 영역으로 분할된 감정 공간 평면(200) 상의 제1 벡터(201)로 수신하고, 로봇의 현재 감정 상태에 대응하는 감정 공간 평면(200) 상의 제2 벡터(202)를 수신한다.The receiving unit 110 receives a vector corresponding to the robot's personality as the first vector 201 on the emotional space plane 200 divided into a plurality of emotional regions, and receives the vector corresponding to the robot's current emotional state as the first vector 201 on the emotional space plane 200 corresponding to the robot's current emotional state. ) receives the second vector 202 on the

이때, 로봇의 성격은 빅 파이브 성격 요소(big five personality trait) 중 개방성(openness), 외향성(extraversion), 호감도(agreeableness), 신경증(neuroticism)을 파라미터로 포함하는 벡터 형식으로 표현될 수 있다. At this time, the robot's personality can be expressed in a vector format including openness, extraversion, agreeableness, and neuroticism among the Big Five personality traits as parameters.

다시 말해, 로봇의 성격은 벡터 P(O, E, A, N)으로 표현될 수 있다. 이때, O는 개방적인 정도, E는 외향적인 정도, A는 호감적인 정도, N은 신경증적인 정도를 나타낸다. (단, O, E, A, N은 -1 이상 1 이하의 임의의 실수)In other words, the robot's personality can be expressed as a vector P(O, E, A, N). At this time, O represents the degree of openness, E represents the degree of extroversion, A represents the degree of likability, and N represents the degree of neuroticism. (However, O, E, A, N are random real numbers between -1 and 1)

로봇의 성격에 대응하는 제1 벡터(201)는 하기 [수학식 1]을 이용하여 변환될 수 있다.The first vector 201 corresponding to the robot's personality can be converted using Equation 1 below.

[수학식 1][Equation 1]

이때, 각 파라미터 값은 사용자 입력에 의해 기 설정된 값일 수 있다. 예를 들어, 도 2에서와 같이 벡터 P가 (1, 0.5, 1, 0.1)로 기 설정된 경우, 제1 벡터(201)는 감정 공간 평면(200) 상의 (0.676, 0.507)로 기 설정될 수 있다. At this time, each parameter value may be a value preset by user input. For example, if the vector P is preset to (1, 0.5, 1, 0.1) as shown in FIG. 2, the first vector 201 may be preset to (0.676, 0.507) on the emotional space plane 200. there is.

변환부(120)는 기 학습된 모델을 이용하여 입력 문장의 감정 상태를 감정 공간 평면(200) 상의 제3 벡터(203)로 변환한다.The conversion unit 120 converts the emotional state of the input sentence into the third vector 203 on the emotional space plane 200 using a previously learned model.

입력 문장이란, 로봇의 출력 정보에 기초하여 생성된 문장을 포함할 수 있다. 예를 들어, 입력 문장은 로봇이 임의로 출력한 텍스트 정보, 음성 정보, 영상 정보 등과 같은 출력 정보에 기초하여 생성된 문장을 포함할 수 있다.The input sentence may include a sentence generated based on the output information of the robot. For example, the input sentence may include a sentence generated based on output information such as text information, voice information, video information, etc. randomly output by the robot.

한편, 상술한 예에서 입력 문장은 로봇이 임의로 출력한 텍스트 정보, 음성 정보, 영상 정보에 기초하여 생성된 것으로 예시하였으나, 반드시 이에 한정되는 것은 아니고, 실시예에 따라 로봇의 다양한 출력 정보를 통해 생성될 수 있다.Meanwhile, in the above example, the input sentence is exemplified as being generated based on text information, voice information, and video information arbitrarily output by the robot, but it is not necessarily limited thereto, and is generated through various output information of the robot depending on the embodiment. It can be.

산출부(130)는 현재 감정 상태로부터 입력 문장에 의해 변화되는 로봇의 최대 감정 상태에 대응하는 감정 공간 평면(200) 상의 제4 벡터(204)를 제1 벡터(201), 제2 벡터(202) 및 제3 벡터(203) 간의 연산 결과에 기초하여 산출한다.The calculation unit 130 divides the fourth vector 204 on the emotional space plane 200 corresponding to the maximum emotional state of the robot changed by the input sentence from the current emotional state into the first vector 201 and the second vector 202. ) and the third vector 203.

이때, 로봇의 최대 감정 상태는 감정 공간 평면(200) 상에서 입력 문장에 의해 현재 감정 상태로부터 최대로 멀리 떨어질 수 있는 감정 상태를 의미할 수 있다. At this time, the maximum emotional state of the robot may mean the emotional state that can be maximally removed from the current emotional state by the input sentence on the emotional space plane 200.

일 실시예에 따르면, 산출부(130)는 하기 수학식 2를 이용하여 제4 벡터(204)를 산출할 수 있다.According to one embodiment, the calculation unit 130 may calculate the fourth vector 204 using Equation 2 below.

[수학식 2][Equation 2]

이때, 는 제4 벡터(204), 는 제2 벡터(202), 은 제3 벡터(203), 는 제1 벡터(201), 는 0 이상 1 이하의 임의의 실수 값을 갖는 가중치 변수를 나타낸다.At this time, is the fourth vector 204, is the second vector 202, is the third vector (203), is the first vector 201, and represents a weight variable having a random real number value between 0 and 1.

즉, 일 실시예에 따르면, 산출부(130)는 제1 벡터(201)와 제3 벡터(203)에 의해 유발되는 가중치 벡터를 합하여 제4 벡터(204)를 산출할 수 있다. That is, according to one embodiment, the calculation unit 130 may calculate the fourth vector 204 by adding the weight vectors caused by the first vector 201 and the third vector 203.

일 실시예에 따르면, 산출부(130)는 제1 벡터(201)를 고려하지 않고, 제4 벡터(204)를 산출할 수 있다. 다시 말해, 사용자 입력에 의해 가 0으로 설정된 경우, 산출부(130)는 로봇의 성격을 고려하지 않고, 최대 감정 상태에 대응하는 제4 벡터(204)를 산출할 수 있다. According to one embodiment, the calculation unit 130 may calculate the fourth vector 204 without considering the first vector 201. In other words, by user input When is set to 0, the calculation unit 130 may calculate the fourth vector 204 corresponding to the maximum emotional state without considering the robot's personality.

일 실시예에 따르면, 산출부(130)는 제3 벡터(203)를 고려하지 않고, 제4 벡터(204)를 산출할 수 있다. 다시 말해, 사용자 입력에 의해 이 사용자 입력에 의해 0으로 설정된 경우, 산출부(130)는 입력 문장을 고려하지 않고, 최대 감정 상태에 대응하는 제4 벡터(204)를 산출할 수 있다. According to one embodiment, the calculation unit 130 may calculate the fourth vector 204 without considering the third vector 203. In other words, by user input When set to 0 by this user input, the calculation unit 130 can calculate the fourth vector 204 corresponding to the maximum emotional state without considering the input sentence.

연결 경로 결정부(140)는 제2 벡터(202)와 제4 벡터(204)를 지나는 연결 경로를 결정할 수 있다.The connection path determination unit 140 may determine a connection path passing through the second vector 202 and the fourth vector 204.

이때, 연결 경로란 후속 감정 상태로 결정하는데 이용되는 감정 공간 평면(200) 내의 제한된 영역을 의미할 수 있다. At this time, the connection path may mean a limited area within the emotional space plane 200 used to determine the subsequent emotional state.

구체적으로, 연결 경로 결정부(140)는, 기 정의된 노드 그래프 규칙에 기초하여 제2 벡터(202) 및 제3 벡터(203) 각각에 매핑되는 감정 영역에 대한 제1 출력 감정 영역(205)을 결정하고, 제2 벡터(202), 제4 벡터(204) 및 제1 출력 감정 영역(205)을 지나는 복수의 예비 연결 경로 중 경로의 길이가 가장 짧은 예비 연결 경로를 연결 경로로 결정할 수 있다.Specifically, the connection path determination unit 140 outputs a first output emotion area 205 for the emotion area mapped to each of the second vector 202 and the third vector 203 based on a predefined node graph rule. , and the preliminary connection path with the shortest path length among the plurality of preliminary connection paths passing through the second vector 202, the fourth vector 204, and the first output emotion area 205 may be determined as the connection path. .

이때, 노드 그래프 규칙은 임의의 이벤트에 대하여 현재 상태에서 후속 상태로 전이하는 동작을 그래프로 표시한 것으로, 예를 들어, 유한 상태 기계(Finite State Machine, FSM)를 포함할 수 있다.At this time, the node graph rule is a graph representing the operation of transitioning from the current state to the subsequent state for an arbitrary event, and may include, for example, a finite state machine (FSM).

이로써, 일 실시예에 따르면, 연결 경로 결정부(140)는 제2 벡터(202)에 매핑되는 감정 영역 상태가 현재 노드이고, 제3 벡터(203)에 매핑되는 감정 영역이 임의의 이벤트로 발생할 경우, 기 정의된 노드 그래프 규칙에 기초하여 제2 출력 감정 영역(205)을 전이되는 후속 노드로 결정할 수 있다.Accordingly, according to one embodiment, the connection path determination unit 140 determines that the state of the emotional region mapped to the second vector 202 is the current node, and the emotional region mapped to the third vector 203 may occur as a random event. In this case, the second output emotion area 205 may be determined as the next node to be transferred based on predefined node graph rules.

한편, 경로의 길이가 가장 짧은 예비 연결 경로는 기 정의된 최단 경로 알고리즘에 기초하여 결정될 수 있다. 기 정의된 최단 경로 알고리즘은 예를 들어, A* 알고리즘(A* algorithm) 등 기 결정된 지점을 회피 또는 경유하는 경로를 결정할 수 있는 알고리즘을 포함할 수 있다.Meanwhile, the preliminary connection path with the shortest path length may be determined based on a predefined shortest path algorithm. The predefined shortest path algorithm may include, for example, an algorithm that can determine a path that avoids or passes through a predetermined point, such as the A* algorithm.

감정 결정부(150)는 연결 경로에 기초하여 현재 감정 상태에 대한 후속 감정 상태를 결정한다.The emotion determination unit 150 determines a subsequent emotional state for the current emotional state based on the connection path.

일 실시예에 따르면, 감정 결정부(150)는 연결 경로 상의 복수의 벡터 중 임의의 하나를 결정하고, 복수의 감정 영역 중 임의의 하나에 매핑되는 감정 영역에 기초하여 후속 감정 상태를 결정할 수 있다.According to one embodiment, the emotion determination unit 150 may determine any one of a plurality of vectors on the connection path and determine a subsequent emotional state based on the emotional region mapped to any one of the plurality of emotional regions. .

구체적인 예로, 감정 결정부(150)는 연결 경로를 따라 제2 벡터(202)로부터 사전 설정된 간격만큼 떨어진 벡터에 매핑되는 감정 영역을 후속 감정 상태로 결정할 수 있다. 이때, 사전 설정된 간격은 기 정의된 선형 수식의 결과로부터 결정될 수 있다. As a specific example, the emotion determination unit 150 may determine an emotion region mapped to a vector separated by a preset interval from the second vector 202 along the connection path as the subsequent emotional state. At this time, the preset interval can be determined from the results of a predefined linear equation.

도 3은 도 1의 연결 경로부가 이용하는 기 정의된 노드 규칙을 도시한 그래프이다. FIG. 3 is a graph showing predefined node rules used by the connection path unit of FIG. 1.

도 3을 참조하면, 그래프는 화살표가 나오는 노드, 화살표가 들어오는 노드 및 엣지를 포함한다. 이때, 그래프는 제1 출력 감정 영역(205)을 결정하기 위한 규칙 모델을 의미할 수 있다.Referring to Figure 3, the graph includes nodes where arrows come out, nodes where arrows come in, and edges. At this time, the graph may mean a rule model for determining the first output emotional region 205.

다시 말해, 그래프는 임의의 감정 영역에 존재하는 제2 벡터(202)에서 제4 벡터(204)까지의 연결 경로를 결정하는 감정 영역을 결정하기 위한 규칙 모델을 의미할 수 있다.In other words, the graph may mean a rule model for determining an emotional region that determines a connection path from the second vector 202 to the fourth vector 204 that exists in an arbitrary emotional region.

각 노드들은 감정 공간 평면(200) 상의 각 벡터가 매핑될 수 있는 감정 영역을 의미한다. 화살표가 나오는 노드는 제2 벡터(202)에 매핑되는 감정 영역을 의미한다. 반면, 화살표가 들어오는 노드는 제1 출력 감정 영역(205)을 의미한다. 엣지는 제3 벡터(203)에 매핑되는 감정 영역을 의미한다.Each node represents an emotional area to which each vector on the emotional space plane 200 can be mapped. The node where the arrow appears means the emotional area mapped to the second vector 202. On the other hand, the node where the arrow enters means the first output emotion area 205. Edge refers to the emotional area mapped to the third vector 203.

즉, 그래프는 제1 출력 감정 영역(205)이 엣지의 화살표 방향에 따라 상술한 노드 사이에서 이동될 수 있음을 의미한다.In other words, the graph means that the first output emotion area 205 can be moved between the nodes described above according to the direction of the edge arrow.

구체적인 예를 위해, 로봇의 현재 감정을 나타내는 제2 벡터(202)가 행복 영역에 매핑되어 있고, 로봇이 가질 수 있는 최대 감정 변화 폭을 고려한 제4 벡터(204)가 슬픔 영역에 매핑된 것으로 가정한다.For a specific example, assume that the second vector 202 representing the robot's current emotion is mapped to the happiness area, and the fourth vector 204, which takes into account the maximum emotional change range that the robot can have, is mapped to the sadness area. do.

이때, 연결 경로 결정부(140)는 도 3에 도시된 바와 같이 제2 벡터(202)와 제4 벡터(204) 간의 연결 경로를 결정하기 위해, 로봇의 감정을 행복, 중립, 슬픔 영역으로 순차적으로 결정한다.At this time, in order to determine the connection path between the second vector 202 and the fourth vector 204 as shown in FIG. 3, the connection path determination unit 140 sequentially changes the robot's emotions into happy, neutral, and sad regions. decide.

이때, 연결 경로 결정부(140)는 로봇의 순차적인 감정 변화 패턴을 만족시키는 제1 출력 감정 영역(205)을 결정하고, 제1 출력 영역(205) 감정 영역을 결정한다.At this time, the connection path determination unit 140 determines the first output emotional area 205 that satisfies the sequential emotional change pattern of the robot, and determines the emotional area of the first output area 205.

이와 같이, 일 실시예에 따르면, 로봇의 감정 상태 결정 장치(100)는 그래프 기반 모델을 적용함으로써 사람의 감정 변화 패턴 또는 사용자가 기 정의한 패턴으로 로봇의 감정 변화 패턴을 생성할 수 있다.As such, according to one embodiment, the apparatus 100 for determining the emotional state of a robot may generate the emotional change pattern of the robot using a human emotional change pattern or a pattern predefined by the user by applying a graph-based model.

한편, 제2 벡터(202)와 제3 벡터(203) 간의 연산 결과는 5개의 노드와 14개의 엣지로 구성된 그래프로 예시하여 설명되었으나, 반드시 이에 한정되는 것은 아니고, 실시예에 따라 다양한 감정 변화 패턴을 포함할 수 있다. Meanwhile, the results of the calculation between the second vector 202 and the third vector 203 are explained by illustrating a graph consisting of 5 nodes and 14 edges, but are not necessarily limited thereto, and may vary in emotional change patterns depending on the embodiment. may include.

도 4는 일 실시예에 따른 로봇의 감정 상태 결정 장치(100)가 결정한 후속 감정 상태를 감정 공간 평면(200) 상에 나타낸 예시도이다.FIG. 4 is an exemplary diagram showing a subsequent emotional state determined by the emotional state determining device 100 of a robot according to an embodiment of the present invention on the emotional space plane 200.

한편, 로봇의 성격은 (0.5, 0.9, 0.5, 0.2), 은 0.7, 는 0.8, 사전 설정된 간격(Q)은 0.2으로 기 설정된 것으로 가정한다. Meanwhile, the robot's personality is (0.5, 0.9, 0.5, 0.2), is 0.7, is assumed to be 0.8, and the preset interval (Q) is preset to 0.2.

도 4에 도시된 바와 같이, 로봇의 감정 상태 결정 장치(100)는 슬픈 감정을 포함한 임의 문장 10개에 대하여 제3 벡터(203)로 변환하였고, 이후 로봇의 감정 상태 결정 장치(100)는 제1 벡터(201)를 시작으로 10개의 후속 감정 상태를 결정한다. 이때, 10개의 후속 감정 상태는 #1부터 #10까지 순차적으로 결정된다.As shown in FIG. 4, the emotional state determining device 100 of the robot converted 10 random sentences including sad emotions into the third vector 203, and then the emotional state determining device 100 of the robot converted the third vector 203 into the third vector 203. Starting with vector 201, 10 subsequent emotional states are determined. At this time, the 10 subsequent emotional states are determined sequentially from #1 to #10.

즉, 일 실시예에 따른 로봇의 감정 상태 결정 장치(100)는 동일한 감정 영역에 매핑되는 제3 벡터(203)를 반복적으로 입력 받는다 하더라도, 도 4에 도시된 바와 같이 후속 감정 상태에 대응하는 벡터(206)를 발산시키지 않는다.That is, even if the apparatus 100 for determining the emotional state of a robot according to one embodiment repeatedly receives the third vector 203 mapped to the same emotional region, the vector corresponding to the subsequent emotional state as shown in FIG. 4 It does not emit (206).

이때, 도 4에 도시된 결과는, 로봇의 현재 감정 상태에 대응하는 제2 벡터(202)에 로봇의 성격에 대응하는 제1 벡터(201)와 입력 문장의 감정 상태에 대응하는 제3 벡터(203) 방향의 힘이 작용된 결과라 할 수 있다.At this time, the result shown in FIG. 4 is a second vector 202 corresponding to the robot's current emotional state, a first vector 201 corresponding to the robot's personality, and a third vector corresponding to the emotional state of the input sentence ( 203) It can be said to be the result of the directional force acting.

도 5는 추가적인 실시예에 따른 로봇의 감정 상태 결정 장치(100)를 도시한 블록도이다.FIG. 5 is a block diagram illustrating an apparatus 100 for determining the emotional state of a robot according to an additional embodiment.

도 5를 참조하면, 추가적인 실시예에 따른 로봇의 감정 상태 결정 장치(100)는 회귀 경로 결정부(510)를 더 포함한다.Referring to FIG. 5 , the apparatus 100 for determining the emotional state of a robot according to an additional embodiment further includes a regression path determination unit 510.

일 실시예에 따르면, 회귀 경로 결정부(510)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다According to one embodiment, the regression path determination unit 510 may be implemented using one or more physically separate devices, one or more processors, or a combination of one or more processors and software, and, unlike the example shown, Specific actions may not be clearly distinguished.

도 5에 도시된 예에서, 수신부(110), 변환부(120), 산출부(130), 연결 경로 결정부(140), 감정 결정부(150)는 도 1에 도시된 구성과 동일한 구성이므로, 이에 대한 중복적인 설명은 생략하도록 한다.In the example shown in FIG. 5, the receiving unit 110, converting unit 120, calculating unit 130, connection path determining unit 140, and emotion determining unit 150 have the same configuration as shown in FIG. 1. , redundant explanation for this will be omitted.

회귀 경로 결정부(510)는 기 설정된 임계 시간 간격 내, 입력 문장이 입력되지 않은 경우, 제1 벡터(201) 및 제2 벡터(202)에 기초하여 회귀 경로를 결정한다.When an input sentence is not input within a preset critical time interval, the regression path determination unit 510 determines a regression path based on the first vector 201 and the second vector 202.

구체적으로, 회귀 경로 결정부(510)는 기 설정된 임계 시간 간격 내, 입력 문장이 입력되지 않은 경우, 기 정의된 노드 그래프 규칙에 기초하여 제1 벡터(201) 및 제2 벡터(202) 각각에 매핑되는 감정 영역에 대한 제2 출력 감정 영역(미도시)을 결정하고, 제2 출력 감정 영역(미도시)을 지나도록 회귀 경로를 결정한다.Specifically, when the input sentence is not input within a preset critical time interval, the regression path determination unit 510 applies each of the first vector 201 and the second vector 202 based on a predefined node graph rule. A second output emotion area (not shown) is determined for the mapped emotion area, and a regression path is determined to pass through the second output emotion area (not shown).

이때, 기 설정된 임계 시간 간격은 사용자의 입력에 기 설정된 값일 수 있으나, 기 설정된 임계 시간 간격은 입력 문장이 입력된 이후 변경 가능할 수도 있다. At this time, the preset critical time interval may be a preset value based on the user's input, but the preset critical time interval may be changeable after the input sentence is entered.

일 실시예에 따르면, 회귀 경로 결정부(510)는 제1 벡터(201), 제2 벡터(202), 제2 출력 감정 영역(미도시)을 지나는 복수의 예비 회귀 경로 중 경로의 길이가 가장 짧은 예비 회귀 경로를 회귀 경로로 결정할 수 있다.According to one embodiment, the regression path determination unit 510 determines that the path length is the longest among a plurality of preliminary regression paths passing through the first vector 201, the second vector 202, and the second output emotion area (not shown). A short preliminary regression path can be determined as the regression path.

이때, 회귀 경로 결정부(510)는 기 정의된 최단 경로 알고리즘에 기초하여 경로의 길이가 가장 짧은 예비 연결 경로를 결정할 수 있다. 회귀 경로 결정부(510)는 예를 들어, A* 알고리즘(A* algorithm) 등 기 결정된 지점을 회피 또는 경유하는 경로를 결정할 수 있는 알고리즘에 기초하여 경로의 길이가 가장 짧은 예비 연결 경로를 결정할 수 있다.At this time, the return path determination unit 510 may determine a preliminary connection path with the shortest path length based on a predefined shortest path algorithm. For example, the return path determination unit 510 may determine a preliminary connection path with the shortest path length based on an algorithm that can determine a path that avoids or passes through a predetermined point, such as the A* algorithm. there is.

도 6은 일 실시예에 따른 성격별 회복되는 로봇의 후속 감정 상태를 나타내는 예시도이다.Figure 6 is an exemplary diagram showing the subsequent emotional state of a robot recovered by personality according to an embodiment.

이때, 로봇 A는 행복 영역에 대응되는 긍정적인 성격을 가진 로봇이고, 로봇 B는 분노 영역에 대응되는 부정적인 성격을 가진 로봇이다.At this time, robot A is a robot with a positive personality corresponding to the happiness domain, and robot B is a robot with a negative personality corresponding to the anger domain.

도 6에 도시된 로봇 A의 #A-5 벡터는 로봇 A의 제1 벡터(201)를 의미한다.The #A-5 vector of robot A shown in FIG. 6 means the first vector 201 of robot A.

로봇 B의 #B-5 벡터는 로봇 B의 제1 벡터(201)를 의미한다. #A-2 내지 #A-5 벡터는 로봇 A에 대해 기 설정된 임계 시간 간격 내 입력 문장이 입력되지 않았을 경우, 임계 시간 간격 당 로봇 A에 대해 순차적으로 결정되는 제6 벡터를 의미한다.The #B-5 vector of robot B means the first vector (201) of robot B. #A-2 to #A-5 vectors refer to the sixth vector sequentially determined for robot A per critical time interval when an input sentence is not input within a preset threshold time interval for robot A.

마찬가지로, 도시된 #B-2 내지 #B-5 벡터는 로봇 B에 대해 기 설정된 임계 시간 간격 내 입력 문장이 입력되지 않았을 경우, 임계 시간 간격 당 로봇 B에 대해 순차적으로 결정되는 제6 벡터를 의미한다. Likewise, the illustrated vectors #B-2 to #B-5 refer to the sixth vector sequentially determined for robot B per threshold time interval when no input sentence is input within the preset threshold time interval for robot B. do.

도시된 바와 같이, 기 설정된 임계 시간 간격 내 입력 문장이 입력되지 않았을 경우, 로봇 A의 감정이 #A-1에서 #A-5까지 이동한 것을 나타낸 것으로, 분노, 슬픔, 중립, 행복 영역을 지나게 된다. As shown, when no input sentence is entered within the preset critical time interval, Robot A's emotion moves from #A-1 to #A-5, passing through the areas of anger, sadness, neutrality, and happiness. do.

마찬가지로, 로봇 B의 감정이 #B-1에서 #B-5까지 이동한 것을 나타낸 것으로, 중립, 슬픔, 분노 영역을 거친다.Likewise, it shows that robot B's emotions have moved from #B-1 to #B-5, going through the neutral, sad, and angry areas.

즉, 기 설정된 임계 시간 간격 내 입력 문장이 입력되지 않았을 경우, 로봇 A 및 로봇 B의 감정은 시간의 흐름에 따라 점차 자신의 성격에 대응하는 감정으로 회귀한다.That is, if no input sentence is input within the preset critical time interval, the emotions of robot A and robot B gradually revert to emotions corresponding to their personalities over time.

도 7 는 일 실시예에 따른 로봇의 감정 상태 결정 방법을 설명하기 위한 순서도이다.FIG. 7 is a flowchart illustrating a method for determining the emotional state of a robot according to an embodiment.

도 7에 도시된 방법은 예를 들어, 도 1에 도시된 로봇의 감정 상태 결정 장치(100)에 의해 수행될 수 있다.The method shown in FIG. 7 may be performed, for example, by the emotional state determination device 100 of the robot shown in FIG. 1 .

도 7을 참조하면, 로봇의 감정 상태 결정 장치(100)는 로봇의 성격에 대응하는 벡터를 복수의 감정 영역으로 분할된 감정 공간 평면(200) 상의 제1 벡터(201)로 수신한다(710).Referring to FIG. 7, the robot's emotional state determination device 100 receives a vector corresponding to the robot's personality as a first vector 201 on the emotional space plane 200 divided into a plurality of emotional regions (710). .

이후, 로봇의 감정 상태 결정 장치(100)는 로봇의 현재 감정 상태에 대응하는 벡터를 감정 공간 평면(200) 상의 제2 벡터(202)로 수신한다(720).Afterwards, the robot's emotional state determination device 100 receives a vector corresponding to the robot's current emotional state as the second vector 202 on the emotional space plane 200 (720).

이후, 로봇의 감정 상태 결정 장치(100)는 기 학습된 모델을 이용하여 입력 문장의 감정 상태를 감정 공간 평면(200) 상의 제3 벡터(203)로 변환한다(730).Afterwards, the emotional state determination device 100 of the robot converts the emotional state of the input sentence into the third vector 203 on the emotional space plane 200 using a previously learned model (730).

이후, 로봇의 감정 상태 결정 장치(100)는 입력 문장에 의한 로봇의 최대 감정 상태에 대응하는 감정 공간 평면(200) 상의 제4 벡터(204)를 제1 벡터(201), 제2 벡터(202) 및 제3 벡터(203) 간의 연산 결과에 기초하여 산출한다(740).Thereafter, the robot's emotional state determination device 100 divides the fourth vector 204 on the emotional space plane 200 corresponding to the maximum emotional state of the robot by the input sentence into the first vector 201 and the second vector 202. ) and the third vector 203 (740).

이후, 로봇의 감정 상태 결정 장치(100)는 제2 벡터(202) 및 제3 벡터(203) 간의 연산 결과에 기초하여 제2 벡터(202)와 제4 벡터(204)를 지나는 연결 경로를 결정한다(750).Thereafter, the emotional state determination device 100 of the robot determines a connection path passing through the second vector 202 and the fourth vector 204 based on the result of the operation between the second vector 202 and the third vector 203. Do (750).

이후, 로봇의 감정 상태 결정 장치(100)는 연결 경로에 기초하여 현재 감정 상태에 대한 후속 감정 상태를 결정한다(760).Thereafter, the robot emotional state determination device 100 determines the subsequent emotional state for the current emotional state based on the connection path (760).

도 8은 추가적인 실시예에 따른 로봇의 감정 상태 결정 방법을 설명하기 위한 순서도이다.Figure 8 is a flowchart for explaining a method for determining the emotional state of a robot according to an additional embodiment.

도 8에 도시된 방법은 예를 들어, 도 5에 도시된 로봇의 감정 상태 결정 장치(100)에 의해 수행될 수 있다.The method shown in FIG. 8 may be performed, for example, by the emotional state determination device 100 of the robot shown in FIG. 5 .

도 8을 참조하면, 로봇의 감정 상태 결정 장치(100)는 로봇의 성격에 대응하는 벡터를 복수의 감정 영역으로 분할된 감정 공간 평면(200) 상의 제1 벡터(201)로 수신한다(810).Referring to FIG. 8, the robot's emotional state determination device 100 receives a vector corresponding to the robot's personality as a first vector 201 on the emotional space plane 200 divided into a plurality of emotional regions (810). .

이후, 로봇의 감정 상태 결정 장치(100)는 로봇의 현재 감정 상태에 대응하는 벡터를 감정 공간 평면(200) 상의 제2 벡터(202)로 수신한다(820).Thereafter, the robot's emotional state determination device 100 receives a vector corresponding to the robot's current emotional state as the second vector 202 on the emotional space plane 200 (820).

이후, 로봇의 감정 상태 결정 장치(100)는 기 설정된 임계 시간 간격 내 입력 문장의 수신 여부를 판단한다(830).Afterwards, the emotional state determination device 100 of the robot determines whether the input sentence is received within a preset threshold time interval (830).

이후, 로봇의 감정 상태 결정 장치(100)가 기 설정된 임계 시간 간격 내 입력 문장이 입력되었다고 판단한 경우, 로봇의 감정 상태 결정 장치(100)는 기 학습된 모델을 이용하여 입력 문장의 감정 상태를 감정 공간 평면(200) 상의 제3 벡터(203)로 변환한다(840).Afterwards, when the emotional state determining device 100 of the robot determines that the input sentence has been entered within a preset critical time interval, the emotional state determining device 100 of the robot evaluates the emotional state of the input sentence using the previously learned model. It is converted into a third vector 203 on the spatial plane 200 (840).

이후, 로봇의 감정 상태 결정 장치(100)는 현재 감정 상태로부터 입력 문장에 의해 변경되는 로봇의 최대 감정 상태에 대응하는 감정 공간 평면(200) 상의 제4 벡터(204)를 제1 벡터(201), 제2 벡터(202) 및 제3 벡터(203) 간의 연산 결과에 기초하여 산출한다(850).Thereafter, the robot's emotional state determination device 100 converts the fourth vector 204 on the emotional space plane 200 corresponding to the maximum emotional state of the robot changed by the input sentence from the current emotional state into the first vector 201. , is calculated based on the result of the operation between the second vector 202 and the third vector 203 (850).

이후, 로봇의 감정 상태 결정 장치(100)는 제2 벡터(202)와 제4 벡터(204)를 지나는 연결 경로를 결정한다(860).Afterwards, the emotional state determination device 100 of the robot determines a connection path passing through the second vector 202 and the fourth vector 204 (860).

이후, 로봇의 감정 상태 결정 장치(100)는 연결 경로에 기초하여 현재 감정 상태에 대한 후속 감정 상태를 결정한다(870).Thereafter, the robot emotional state determination device 100 determines the subsequent emotional state for the current emotional state based on the connection path (870).

한편, 로봇의 감정 상태 결정 장치(100)가 기 설정된 임계 시간 간격 내 입력 문장이 입력되지 않았다고 판단한 경우, 로봇의 감정 상태 결정 장치(100)는 로봇의 감정 상태 결정 장치(100)는 제1 벡터(201) 및 제2 벡터(202)를 지나는 회귀 경로를 결정한다(880).Meanwhile, when the emotional state determining device 100 of the robot determines that the input sentence has not been input within the preset threshold time interval, the emotional state determining device 100 of the robot uses the first vector A return path passing through (201) and the second vector (202) is determined (880).

이후, 로봇의 감정 상태 결정 장치(100)는 회귀 경로에 기초하여 후속 감정 상태를 결정한다(890).Thereafter, the robot emotional state determination device 100 determines the subsequent emotional state based on the regression path (890).

상기 도시된 도 7 및 8에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.In FIGS. 7 and 8, the method is divided into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, omitted, or divided into detailed steps. Alternatively, one or more steps not shown may be added and performed.

상기 도시된 도 7 및 도 8에서는 상기 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 설명을 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. In FIGS. 7 and 8, the method is explained with reference to the flow chart shown in the drawings. For purposes of illustration, the method is shown and described as a series of blocks; however, the invention is not limited to the order of the blocks, and some blocks may occur simultaneously or in a different order than shown and described herein with other blocks. and various other branches, flow paths, and sequences of blocks may be implemented that achieve the same or similar results. Additionally, not all blocks shown may be required for implementation of the methods described herein.

나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다. 컴퓨터로 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Furthermore, the method according to an embodiment of the present invention may be implemented in the form of a computer program for performing a series of processes, and the computer program may be recorded on a computer-readable recording medium. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. optical media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments, those skilled in the art can make various modifications and changes to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand.

100: 로봇의 감정 상태 결정 장치
110: 수신부
120: 변환부
130: 산출부
140: 연결 경로 결정부
150: 감정 결정부
200: 감정 공간 평면
201: 제1 벡터
202: 제2 벡터
203: 제3 벡터
204: 제4 벡터
205: 제1 출력 감정 영역
206: 후속 감정 상태에 대응하는 벡터
510: 회귀 경로 결정부
100: Robot emotional state determination device
110: receiving unit
120: conversion unit
130: Calculation unit
140: Connection path decision unit
150: Emotion decision unit
200: emotional space plane
201: first vector
202: Second vector
203: Third vector
204: Fourth vector
205: first output emotion area
206: Vectors corresponding to subsequent emotional states
510: Return path decision unit

Claims (18)

로봇의 성격에 대응하는 벡터를 복수의 감정 영역으로 분할된 감정 공간 평면 상의 제1 벡터로 수신하는 단계;
상기 로봇의 현재 감정 상태에 대응하는 벡터를 감정 공간 평면 상의 제2 벡터로 수신하는 단계;
기 학습된 모델을 이용하여 입력 문장의 감정 상태를 상기 감정 공간 평면 상의 제3 벡터로 변환하는 단계;
상기 현재 감정 상태에서 상기 입력 문장에 의해 변화되는 상기 로봇의 최대 감정 상태에 대응하는 상기 감정 공간 평면 상의 제4 벡터를 상기 제1 벡터, 상기 제2 벡터 및 상기 제3 벡터 간의 연산 결과에 기초하여 산출하는 단계;
상기 제2 벡터와 상기 제4 벡터를 지나는 연결 경로를 결정하는 단계;
상기 연결 경로에 기초하여 상기 현재 감정 상태에 대한 후속 감정 상태를 결정하는 단계를 포함하는, 로봇의 감정 상태 결정 방법.
Receiving a vector corresponding to the personality of the robot as a first vector on an emotional space plane divided into a plurality of emotional regions;
Receiving a vector corresponding to the current emotional state of the robot as a second vector on the emotional space plane;
Converting the emotional state of the input sentence into a third vector on the emotional space plane using a previously learned model;
A fourth vector on the emotional space plane corresponding to the maximum emotional state of the robot changed by the input sentence in the current emotional state is calculated based on the result of the operation between the first vector, the second vector, and the third vector. calculating step;
determining a connection path passing through the second vector and the fourth vector;
Determining a subsequent emotional state to the current emotional state based on the connection path.
청구항 1에 있어서,
상기 감정 공간 평면은, 정서(Pleasure) 축 및 각성도(Arousal) 축을 포함하는, 로봇의 감정 상태 결정 방법.
In claim 1,
The emotional space plane includes a pleasure axis and an arousal axis.
청구항 1에 있어서,
상기 산출하는 단계는, 하기 수학식 1을 이용하여 상기 제4 벡터를 산출하는, 로봇의 감정 상태 결정 방법.
[수학식 1]

(이때, 는 상기 제4 벡터, 는 상기 제2 벡터, 은 상기 제3 벡터, 는 상기 제1 벡터, 는 임의의 실수 값을 갖는 가중치 변수)
In claim 1,
In the calculating step, the fourth vector is calculated using Equation 1 below.
[Equation 1]

(At this time, is the fourth vector, is the second vector, is the third vector, is the first vector, and is a weight variable with random real values)
청구항 1항에 있어서,
상기 연결 경로를 결정하는 단계는, 기 정의된 노드 그래프 규칙에 기초하여 상기 제2 벡터 및 상기 제3 벡터 각각에 매핑되는 감정 영역에 대한 제1 출력 감정 영역을 결정하는 단계; 및
상기 제2 벡터, 상기 제4 벡터 및 상기 제1 출력 감정 영역을 지나는 복수의 예비 연결 경로 중 경로의 길이가 가장 짧은 예비 연결 경로를 상기 연결 경로로 결정하는 단계를 포함하는, 로봇의 감정 상태 결정 방법.
In claim 1,
Determining the connection path may include determining a first output emotional region for the emotional region mapped to each of the second vector and the third vector based on a predefined node graph rule; and
Determining the emotional state of the robot, comprising determining a preliminary connection path with the shortest path length among a plurality of preliminary connection paths passing through the second vector, the fourth vector, and the first output emotion area as the connection path. method.
청구항 1에 있어서,
상기 후속 감정 상태를 결정하는 단계는,
상기 연결 경로 상의 복수의 벡터 중 임의의 하나를 결정하는 단계; 및
상기 복수의 감정 영역 중 상기 임의의 하나에 매핑되는 감정 영역에 기초하여 상기 후속 감정 상태를 결정하는 단계를 포함하는, 로봇의 감정 상태 결정 방법.
In claim 1,
The step of determining the subsequent emotional state is:
determining any one of a plurality of vectors on the connection path; and
A method for determining an emotional state of a robot, comprising determining the subsequent emotional state based on an emotional region mapped to the arbitrary one of the plurality of emotional regions.
청구항 1에 있어서,
상기 후속 감정 상태를 결정하는 단계는,
상기 연결 경로를 따라 상기 제2 벡터로부터 사전 설정된 간격만큼 떨어진 벡터에 매핑되는 감정 영역을 상기 후속 감정 상태로 결정하는, 로봇의 감정 상태 결정 방법.
In claim 1,
The step of determining the subsequent emotional state is:
A method for determining an emotional state of a robot, wherein an emotional region mapped to a vector separated by a preset interval from the second vector along the connection path is determined as the subsequent emotional state.
청구항 1에 있어서,
기 설정된 임계 시간 간격 내, 상기 입력 문장이 입력되지 않은 경우, 상기 제1 벡터 및 상기 제2 벡터에 기초하여 회귀 경로를 결정하는 단계; 및
상기 회귀 경로에 기초하여 상기 후속 감정 상태를 결정하는 단계를 더 포함하는, 로봇의 감정 상태 결정 방법.
In claim 1,
If the input sentence is not input within a preset threshold time interval, determining a regression path based on the first vector and the second vector; and
The method of determining the emotional state of a robot further comprising determining the subsequent emotional state based on the regression path.
청구항 7에 있어서,
상기 회귀 경로를 결정하는 단계는,
기 정의된 노드 그래프 규칙에 기초하여 상기 제1 벡터 및 상기 제2 벡터 각각에 매핑되는 감정 영역에 대한 제2 출력 감정 영역을 결정하는 단계; 및
상기 제1 벡터, 상기 제2 벡터 및 상기 제2 출력 감정 영역을 지나는 복수의 예비 회귀 경로 중 경로의 길이가 가장 짧은 예비 회귀 경로를 상기 회귀 경로로 결정하는 단계를 포함하는, 로봇의 감정 상태 결정 방법.
In claim 7,
The step of determining the regression path is,
determining a second output emotional region for the emotional region mapped to each of the first vector and the second vector based on a predefined node graph rule; and
Determining the emotional state of the robot, comprising determining a preliminary regression path with the shortest path length among a plurality of preliminary regression paths passing through the first vector, the second vector, and the second output emotional area as the regression path. method.
청구항 7항에 있어서,
상기 후속 감정 상태를 결정하는 단계는,
상기 회귀 경로를 따라 상기 제2 벡터로부터 사전 설정된 간격만큼 떨어진 벡터에 매핑되는 감정 영역을 상기 후속 감정 상태로 결정하는, 로봇의 감정 상태 결정 방법.
In claim 7,
The step of determining the subsequent emotional state is:
A method for determining an emotional state of a robot, wherein an emotional region mapped to a vector separated by a preset interval from the second vector along the regression path is determined as the subsequent emotional state.
로봇의 성격에 대응하는 벡터를 복수의 감정 영역으로 분할된 감정 공간 평면 상의 제1 벡터로 수신하고, 상기 로봇의 현재 감정 상태에 대응하는 감정 공간 평면 상의 제2 벡터를 수신하는 수신부;
기 학습된 모델을 이용하여 입력 문장의 감정 상태를 상기 감정 공간 평면 상의 제3 벡터로 변환하는 변환부;
상기 현재 감정 상태로부터 상기 입력 문장에 의해 변경되는 상기 로봇의 최대 감정 상태에 대응하는 상기 감정 공간 평면 상의 제4 벡터를 상기 제1 벡터, 상기 제2 벡터 및 상기 제3 벡터 간의 연산 결과에 기초하여 산출하는 산출부;
상기 제2 벡터와 상기 제4 벡터를 지나는 연결 경로를 결정하는 연결 경로 결정부;
상기 연결 경로에 기초하여 상기 현재 감정 상태에 대한 후속 감정 상태를 결정하는 감정 결정부를 포함하는, 로봇의 감정 상태 결정 장치.
a receiving unit that receives a vector corresponding to the robot's personality as a first vector on an emotional space plane divided into a plurality of emotional regions, and receives a second vector on an emotional space plane corresponding to a current emotional state of the robot;
a conversion unit that converts the emotional state of the input sentence into a third vector on the emotional space plane using a previously learned model;
A fourth vector on the emotional space plane corresponding to the maximum emotional state of the robot changed by the input sentence from the current emotional state is calculated based on the result of the operation between the first vector, the second vector, and the third vector. A calculation unit that calculates;
a connection path determination unit that determines a connection path passing through the second vector and the fourth vector;
An emotional state determination device for a robot, comprising an emotion determination unit that determines a subsequent emotional state for the current emotional state based on the connection path.
청구항 10에 있어서,
상기 감정 공간 평면은, 정서(Pleasure) 축 및 각성도(Arousal) 축을 포함하는, 로봇의 감정 상태 결정 장치.
In claim 10,
The emotional space plane includes a pleasure axis and an arousal axis.
청구항 10에 있어서,
상기 산출부는, 하기 수학식 1을 이용하여 상기 제4 벡터를 산출하는, 로봇의 감정 상태 결정 장치.
[수학식 1]

(이때, 는 상기 제4 벡터, 는 상기 제2 벡터, 은 상기 제3 벡터, 는 상기 제1 벡터, 는 임의의 실수 값을 갖는 가중치 변수)
In claim 10,
The emotional state determination device of a robot, wherein the calculation unit calculates the fourth vector using Equation 1 below.
[Equation 1]

(At this time, is the fourth vector, is the second vector, is the third vector, is the first vector, and is a weight variable with random real values)
청구항 10항에 있어서,
상기 연결 경로 결정부는, 기 정의된 노드 그래프 규칙에 기초하여 상기 제2 벡터 및 상기 제3 벡터 각각에 매핑되는 감정 영역에 대한 제1 출력 감정 영역을 결정하고, 상기 제2 벡터, 상기 제4 벡터 및 상기 제1 출력 감정 영역을 지나는 복수의 예비 연결 경로 중 경로의 길이가 가장 짧은 예비 연결 경로를 상기 연결 경로를 결정하는, 로봇의 감정 상태 결정 장치.
In claim 10,
The connection path determination unit determines a first output emotion region for the emotion region mapped to each of the second vector and the third vector based on a predefined node graph rule, and the second vector and the fourth vector. and determining the connection path as the preliminary connection path with the shortest path length among the plurality of preliminary connection paths passing through the first output emotion area.
청구항 10에 있어서,
상기 감정 결정부는,
상기 연결 경로 상의 복수의 벡터 중 임의의 하나를 결정하고, 상기 복수의 감정 영역 중 상기 임의의 하나에 매핑되는 감정 영역에 기초하여 상기 후속 감정 상태를 결정하는, 로봇의 감정 상태 결정 장치.
In claim 10,
The appraisal decision unit,
Determining an arbitrary one of the plurality of vectors on the connection path, and determining the subsequent emotional state based on an emotional region mapped to the arbitrary one of the plurality of emotional regions.
청구항 10에 있어서,
상기 감정 결정부는,
상기 연결 경로를 따라 상기 제2 벡터로부터 사전 설정된 간격만큼 떨어진 벡터에 매핑되는 감정 영역을 상기 후속 감정 상태로 결정하는, 로봇의 감정 상태 결정 장치.
In claim 10,
The appraisal decision unit,
An emotional state determination device for a robot, which determines as the subsequent emotional state an emotional region mapped to a vector separated by a preset interval from the second vector along the connection path.
청구항 10에 있어서,
기 설정된 임계 시간 간격 내, 상기 입력 문장이 입력되지 않은 경우, 상기 제1 벡터 및 상기 제2 벡터에 기초하여 회귀 경로를 결정하는 회귀 경로 결정부를 더 포함하는, 로봇의 감정 상태 결정 장치.
In claim 10,
If the input sentence is not input within a preset threshold time interval, the device further includes a regression path determination unit that determines a regression path based on the first vector and the second vector.
청구항 16에 있어서,
상기 회귀 경로 결정부는,
기 정의된 노드 그래프 규칙에 기초하여 상기 제1 벡터 및 상기 제2 벡터 각각에 매핑되는 감정 영역에 대한 제2 출력 감정 영역을 결정하고, 상기 제1 벡터, 상기 제2 벡터 및 상기 제2 출력 감정 영역을 지나는 복수의 예비 회귀 경로 중 경로의 길이가 가장 짧은 예비 회귀 경로를 상기 회귀 경로로 결정하는, 로봇의 감정 상태 결정 장치.
In claim 16,
The return path determination unit,
Based on a predefined node graph rule, a second output emotion area is determined for the emotion area mapped to each of the first vector and the second vector, and the first vector, the second vector, and the second output emotion are determined. An emotional state determination device for a robot, wherein a preliminary regression path with the shortest path length among a plurality of preliminary regression paths passing through an area is determined as the regression path.
청구항 16에 있어서,
상기 감정 결정부는,
상기 회귀 경로를 따라 상기 제2 벡터로부터 사전 설정된 간격만큼 떨어진 벡터에 매핑되는 감정 영역을 상기 후속 감정 상태로 결정하는, 로봇의 감정 상태 결정 장치.
In claim 16,
The appraisal decision unit,
An emotional state determination device for a robot that determines, as the subsequent emotional state, an emotional region mapped to a vector separated by a preset interval from the second vector along the regression path.
KR1020210167032A 2021-11-29 2021-11-29 Apparatus and method for determning emotional state of robot reflecting emotional change pattern of human KR102598435B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210167032A KR102598435B1 (en) 2021-11-29 2021-11-29 Apparatus and method for determning emotional state of robot reflecting emotional change pattern of human

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210167032A KR102598435B1 (en) 2021-11-29 2021-11-29 Apparatus and method for determning emotional state of robot reflecting emotional change pattern of human

Publications (2)

Publication Number Publication Date
KR20230079859A KR20230079859A (en) 2023-06-07
KR102598435B1 true KR102598435B1 (en) 2023-11-07

Family

ID=86762055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210167032A KR102598435B1 (en) 2021-11-29 2021-11-29 Apparatus and method for determning emotional state of robot reflecting emotional change pattern of human

Country Status (1)

Country Link
KR (1) KR102598435B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012000694A (en) 2010-06-14 2012-01-05 Fujitsu Ltd Method and program for controlling robot, and robot
JP2020037155A (en) 2018-09-05 2020-03-12 日本放送協会 Gesture control device and gesture control program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070773A (en) * 2008-12-18 2010-06-28 주식회사 케이티 Personality transition apparatus and method, and behavior diversification apparatus and method using that, and its robot system
KR20180115551A (en) * 2017-04-13 2018-10-23 젤릭스 주식회사 A Robot capable of emotional expression and operation method thereof
JP6841167B2 (en) * 2017-06-14 2021-03-10 トヨタ自動車株式会社 Communication devices, communication robots and communication control programs
KR102278162B1 (en) 2020-02-19 2021-07-19 한동대학교 산학협력단 Method for operating speech assistant robot with user interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012000694A (en) 2010-06-14 2012-01-05 Fujitsu Ltd Method and program for controlling robot, and robot
JP2020037155A (en) 2018-09-05 2020-03-12 日本放送協会 Gesture control device and gesture control program

Also Published As

Publication number Publication date
KR20230079859A (en) 2023-06-07

Similar Documents

Publication Publication Date Title
Hazarika et al. Icon: Interactive conversational memory network for multimodal emotion detection
Metallinou et al. Context-sensitive learning for enhanced audiovisual emotion classification
Ntalampiras et al. Modeling the temporal evolution of acoustic parameters for speech emotion recognition
KR102154676B1 (en) Method for training top-down selective attention in artificial neural networks
JP6732703B2 (en) Emotion interaction model learning device, emotion recognition device, emotion interaction model learning method, emotion recognition method, and program
JP2018097875A (en) Training device to be used in training image processing apparatus, and training method
Salmam et al. Emotion recognition from facial expression based on fiducial points detection and using neural network
JP2018055548A (en) Interactive device, learning device, interactive method, learning method, and program
Khan et al. Emotion recognition using prosodie and spectral features of speech and Naïve Bayes Classifier
Garg et al. Prediction of emotions from the audio speech signals using MFCC, MEL and Chroma
Baskar et al. Facial expression classification using machine learning approach: a review
Pei et al. Multimodal dimensional affect recognition using deep bidirectional long short-term memory recurrent neural networks
Krishna et al. Speech emotion recognition using machine learning
KR102598435B1 (en) Apparatus and method for determning emotional state of robot reflecting emotional change pattern of human
Anzalone et al. Towards partners profiling in human robot interaction contexts
KR20180115551A (en) A Robot capable of emotional expression and operation method thereof
Lian et al. Domain adversarial learning for emotion recognition
Sidorov et al. Feature and decision level audio-visual data fusion in emotion recognition problem
Basu et al. Affect detection from speech using deep convolutional neural network architecture
Supriya et al. Affective music player for multiple emotion recognition using facial expressions with SVM
KR101539112B1 (en) Emotional classification apparatus and method for speech recognition
Ajitha et al. Emotion Recognition in Speech Using MFCC and Classifiers
van Eijndhoven et al. Predicting social dynamics in child-robot interactions with facial action units
Nayal et al. Emotion recognition in songs via Bayesian deep learning
Anis et al. Exploring interactive teaching of a multi-modal emotional expression of a humanoid robot

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant