KR20210028375A

KR20210028375A - User adaptive behavior recognition method for robot and apparatus using the same

Info

Publication number: KR20210028375A
Application number: KR1020190109364A
Authority: KR
Inventors: 장진혁; 김도형; 김재홍; 신성웅; 이재연; 장민수
Original assignee: 한국전자통신연구원
Priority date: 2019-09-04
Filing date: 2019-09-04
Publication date: 2021-03-12

Abstract

Disclosed are a user adaptive behavior recognition method of a robot and a device therefor. According to one embodiment of the present invention, the user adaptive behavior recognition method analyzes visual-based observation data obtained from a target user living with the robot, extracts individual characteristics and behavioral statistical information on the target user, transforms learning data of computational functions based on the visual-based observation data, individual characteristics and behavioral statistical information, updates the computational functions based on the transformed learning data, and recognizes the behavior of the target user based on the updated computational function.

Description

User adaptive behavior recognition method of robot and device therefor {USER ADAPTIVE BEHAVIOR RECOGNITION METHOD FOR ROBOT AND APPARATUS USING THE SAME}

본 발명은 로봇의 행동 인식 기술에 관한 것으로, 특히 로봇이 사람과 같은 공간에서 함께 생활하면서 사람의 행동에 대한 인식률을 점진적으로 높일 수 있는 사용자 적응형 행동 인식 기술에 관한 것이다.The present invention relates to a technology for recognizing a behavior of a robot, and more particularly, to a technology for user adaptive behavior recognition capable of gradually increasing a recognition rate for a person's behavior while the robot lives together in the same space as a person.

인구의 고령화 혹은 결혼에 대한 가치관의 변화와 같은 시대적 흐름에 따라 독거 가정의 수는 계속해서 증가하고 있다. 또한, 앞으로도 지속적으로 늘어날 것으로 예상된다. 이는 하나의 사회 문제로서 대두되고 있으며, 독거인들의 생활을 보조 및 지원을 하기 위한 하나의 해결 방안으로 함께 생활하는 로봇이 제시되었다. 독거인과 함께 생활하며 물리적 혹은 정서적 지원과 같은 서비스를 제공하는 로봇을 만들기 위해서는 높은 신뢰도를 갖는 인지 기능이 반드시 필요하다. The number of families living alone continues to increase according to the trend of the times, such as an aging population or a change in the values of marriage. In addition, it is expected to continue to increase in the future. This is emerging as a social problem, and a robot living together as a solution to assist and support the lives of people living alone has been proposed. In order to create a robot that lives with a person living alone and provides services such as physical or emotional support, cognitive functions with high reliability are essential.

이러한 인지 기능을 바탕으로 로봇은 사람에게 사용자, 환경, 상황을 고려하여 가장 적합한 서비스를 제때에 제공하게 된다. 그 중, 행동 인식 기술은 사람의 현재 의도적, 무의식적 행동 및 상태를 인지하는 기술에 관한 것으로, 사람의 상태 및 의도를 파악하는 데에 단서로 사용될 수 있는 정보를 추출한다. 이를 기반으로 사용자의 의도나 상황에 맞는 적절한 서비스를 로봇이 제공할 수 있다.Based on this cognitive function, the robot provides the most suitable service to the person in time considering the user, environment, and situation. Among them, behavior recognition technology relates to a technology that recognizes a person's current intentional and unconscious behavior and state, and extracts information that can be used as a clue to grasp a person's state and intention. Based on this, the robot can provide a service appropriate to the user's intention or situation.

이 때, 가정 내의 로봇이 사람에게 적절한 휴먼케어 서비스를 제공하기 위해서는 일반적인 대상에 대해서 높은 성능(범용성)도 요구되기는 하지만, 그보다는 주 사용자, 그리고 주 환경에 특화된 인식 능력이 요구된다. 이를 로봇의 적응력이라고 한다. 사람의 행동은 일반적인 경향성과 개인 고유의 특성을 모두 포함하고 있다. 이 중, 개인 고유의 특성은 직접 그 사람을 분석해야만 알 수 있다. 현장에서 직접 획득한 사용자의 고유 특성을 인식기술에 반영해야, 개개인의 행위 의도를 보다 정확하게 파악할 수 있다. 또한, 사용자 개인에 적합한 대응, 혹은 지원을 제공하는 것이 가능해진다.At this time, in order for robots in the home to provide human care services appropriate to humans, high performance (universality) is also required for general targets, but rather, recognition ability specialized for the main user and the main environment is required. This is called the adaptability of the robot. Human behavior includes both general tendencies and individual characteristics. Among them, the unique characteristics of an individual can only be known by analyzing the person. When the unique characteristics of users acquired directly in the field are reflected in the recognition technology, the intention of individual actions can be more accurately grasped. In addition, it becomes possible to provide a response or support suitable for individual users.

로봇 시스템의 행동 인식 기술에서 사용할 수 있는 데이터 중에서 가장 신뢰할 수 있는 데이터는 시각 기반 데이터이다. 행동 인식용 시각 기반 데이터는 크게 세 가지가 있다. 데이터 자체의 복잡성 순서로 나열해보면, RGB 데이터, 깊이 영상, Skeleton 데이터이다. RGB 데이터는 사람의 시야와 가장 비슷하고, 색을 기반으로 한 많은 정보를 포함하고 있다. 깊이 영상은 센서로부터 물체까지의 거리를 시각화한 데이터로, 물체의 경계를 구별할 때에 큰 역할을 하는 경우가 많다. 또한, Skeleton 데이터는 사람의 형체들 중 정해진 관절 지점들만을 찾아 연결한 형태의 데이터로 가장 단순하지만, 사람의 모션에 대한 정보로 자주 사용된다. Among the data that can be used in the robot system's behavior recognition technology, the most reliable data is visual-based data. There are three types of visual-based data for behavior recognition. In order of complexity of the data itself, it is RGB data, depth image, and Skeleton data. RGB data is most similar to a person's field of view, and contains a lot of information based on color. Depth images are data visualizing the distance from a sensor to an object, and play a large role in distinguishing the boundaries of objects in many cases. In addition, Skeleton data is the simplest data in the form of finding and connecting only fixed joint points among human shapes, but is often used as information on human motion.

종래에는 이런 데이터들을 대량으로 수집한 후, 사람이 직접 분석해 행동을 구별해내는 특징을 찾아내는 방식, 혹은 시스템이 대량의 데이터로부터 자동으로 특징을 찾아 구별하는 기계학습 방식을 사용한다. 그러나 행동을 구별하는데 사용되는 특징은 기 수집된 데이터에 크게 의존한다. 이 때, 데이터는 주로 일반적인 사람을 대상으로 대량으로 수집되므로 일반적인 특징은 추출해낼 수 있지만, 사용자 개인의 특징은 전혀 반영될 수 없다는 단점이 있다. 예를 들어, 다리를 절거나, 허리가 굽은 사람이 사용할 경우, 일반적인 특징과는 거리가 멀어 인식 성능이 크게 떨어질 여지가 있다. 이와 같은 사용자 개인의 특징은 개개인에 따라서 크게 다르며, 또한 사용자 개인의 데이터를 대량으로 수집하는 것 역시 매우 어렵다.Conventionally, after collecting a large amount of such data, a human directly analyzes it to find a feature that distinguishes the behavior, or a machine learning method in which the system automatically finds and distinguishes the feature from a large amount of data. However, the features used to differentiate behavior are highly dependent on previously collected data. At this time, since the data is mainly collected for general people in large quantities, general features can be extracted, but there is a disadvantage that individual features of the user cannot be reflected at all. For example, when used by a person with a limp or a bent waist, there is a possibility that the recognition performance is greatly degraded because it is far from a general feature. Such individual characteristics of users vary greatly from individual to individual, and it is also very difficult to collect personal data in large quantities.

즉, 데이터에 의존하는 방식의 인식기는 가정 내에서 로봇이 필요한 사람, 고령자 혹은 몸이 불편한 사람 등에게 오히려 더 낮은 인식 성능을 보이게 되며, 이에 따라 적절한 서비스를 제공하기에 큰 어려움을 준다. That is, the data-dependent type recognizer shows a lower recognition performance to a person who needs a robot, an elderly person, or a person with discomfort in the home, and accordingly, it is very difficult to provide an appropriate service.

따라서, 데이터에 기반하지만, 개개인의 특징에 맞게 적응할 수 있는 로봇 시스템의 고안이 요구된다.Therefore, there is a need to devise a robot system that is based on data but can adapt to individual characteristics.

한국 공개 특허 제10-2019-0054702호, 2019년 5월 22일 공개(명칭: 영상에서 객체의 행동을 인식하는 방법 및 그 장치)Korean Patent Laid-Open Patent No. 10-2019-0054702, published on May 22, 2019 (Name: Method and device for recognizing the behavior of an object in an image)

본 발명의 목적은 특정 사용자에게 적응해나가며 행동 인식율을 향상시킬 수 있는 로봇의 행동 인식 기술을 제공하는 것이다.An object of the present invention is to provide a robot's behavior recognition technology capable of improving a behavior recognition rate while adapting to a specific user.

또한, 본 발명의 목적은 개개인에게 맞는 서비스를 제공할 수 있는 로봇 관련 행동 인식 기술을 제공하는 것이다.In addition, an object of the present invention is to provide a robot-related behavior recognition technology capable of providing a service tailored to each individual.

또한, 본 발명의 목적은 로봇의 역할이나 환경에 따라 개인 적응형 또는 범용형으로 사용할 수 있는 로봇 기술을 제공하는 것이다.In addition, it is an object of the present invention to provide a robot technology that can be used as a personal adaptation or general purpose according to the role or environment of the robot.

상기한 목적을 달성하기 위한 본 발명에 따른 로봇의 사용자 적응형 행동 인식 방법은 사용자 적응형 행동 인식 장치가, 로봇과 함께 생활하는 타겟 사용자로부터 획득된 시각 기반 관찰 데이터를 분석하여 상기 타겟 사용자에 대한 개인 고유 특성 및 행동 통계 정보를 추출하는 단계; 상기 사용자 적응형 행동 인식 장치가, 상기 시각 기반 관찰 데이터, 상기 개인 고유 특성 및 상기 행동 통계 정보를 기반으로 상기 로봇이 행동 인식 결과를 도출하기 위한 연산 함수의 학습 데이터를 변형하는 단계; 상기 사용자 적응형 행동 인식 장치가, 변형된 학습 데이터를 기반으로 상기 연산 함수를 업데이트하는 단계; 및 상기 로봇이, 업데이트된 연산 함수를 기반으로 상기 타겟 사용자의 행동을 인식하는 단계를 포함한다.In order to achieve the above object, the user adaptive behavior recognition method of the robot according to the present invention includes a user adaptive behavior recognition apparatus analyzing the visual-based observation data obtained from a target user living with the robot, Extracting personal characteristic and behavioral statistics information; Transforming, by the user adaptive behavior recognition apparatus, learning data of an operation function for deriving a behavior recognition result by the robot based on the visual-based observation data, the individual characteristics, and the behavior statistics information; Updating, by the user adaptive behavior recognition apparatus, the operation function based on transformed learning data; And recognizing, by the robot, the behavior of the target user based on the updated calculation function.

이 때, 학습 데이터는 RGB 데이터와 깊이 데이터를 기반으로 분리된 사람 학습 데이터와 환경 학습 데이터를 포함할 수 있다.In this case, the learning data may include human learning data and environment learning data separated based on RGB data and depth data.

이 때, 사람 학습 데이터는 스켈레톤(SKELETON) 데이터 형태일 수 있다.In this case, the human learning data may be in the form of a skeleton (SKELETON) data.

이 때, 개인 고유 특성은 체형, 자세, 버릇, 행동 패턴 및 모션 패턴을 포함할 수 있다.In this case, personal characteristics may include body shape, posture, habit, behavior pattern, and motion pattern.

이 때, 시각 기반 관찰 데이터는 기설정된 기준 획득량 및 기설정된 기준 획득기간 중 적어도 하나에 상응하게 획득될 수 있다.In this case, the time-based observation data may be acquired corresponding to at least one of a preset reference acquisition amount and a preset reference acquisition period.

이 때, 타겟 사용자로부터 인식 행동에 대한 응답을 수집하는 단계; 및 상기 응답을 기반으로 상기 인식 행동에 대한 인식 정확도를 산출하고, 상기 인식 정확도를 기반으로 상기 학습 데이터를 상기 타겟 사용자에 상응하게 보정하는 단계를 더 포함할 수 있다.In this case, collecting a response to the recognition behavior from the target user; And calculating recognition accuracy for the recognition behavior based on the response, and correcting the learning data corresponding to the target user based on the recognition accuracy.

또한, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 장치는, 로봇과 함께 생활하는 타겟 사용자로부터 획득된 시각 기반 관찰 데이터를 분석하여 상기 타겟 사용자에 대한 개인 고유 특성 및 행동 통계 정보를 추출하고, 상기 시각 기반 관찰 데이터, 상기 개인 고유 특성 및 상기 행동 통계 정보를 기반으로 상기 로봇이 행동 인식 결과를 도출하기 위한 연산 함수의 학습 데이터를 변형하고, 변형된 학습 데이터를 기반으로 상기 연산 함수를 업데이트하는 프로세서; 및 상기 연산 함수를 저장하는 메모리를 포함하고, 상기 로봇은 업데이트된 연산 함수를 기반으로 상기 타겟 사용자의 행동을 인식할 수 있다.In addition, the apparatus for user adaptive behavior recognition of a robot according to an embodiment of the present invention analyzes the time-based observation data obtained from a target user living with the robot to obtain personal characteristics and behavior statistics information for the target user. Extracts and transforms the learning data of an operation function for the robot to derive a behavior recognition result based on the visual-based observation data, the individual characteristics, and the behavior statistics information, and the calculation function based on the transformed learning data A processor for updating; And a memory for storing the calculation function, and the robot may recognize the behavior of the target user based on the updated calculation function.

이 때, 프로세서는 타겟 사용자로부터 인식 행동에 대한 응답을 수집하고, 상기 응답을 기반으로 상기 인식 행동에 대한 인식 정확도를 산출하고, 상기 인식 정확도를 기반으로 상기 학습 데이터를 상기 타겟 사용자에 상응하게 보정할 수 있다.At this time, the processor collects a response to the recognition behavior from the target user, calculates recognition accuracy for the recognition behavior based on the response, and corrects the learning data to correspond to the target user based on the recognition accuracy. can do.

본 발명에 따르면, 특정 사용자에게 적응해나가며 행동 인식율을 향상시킬 수 있는 로봇의 행동 인식 기술을 제공할 수 있다.According to the present invention, it is possible to provide a robot's behavior recognition technology capable of improving a behavior recognition rate while adapting to a specific user.

또한, 본 발명은 개개인에게 맞는 서비스를 제공할 수 있는 로봇 관련 행동 인식 기술을 제공할 수 있다.In addition, the present invention can provide a robot-related behavior recognition technology capable of providing a service tailored to each individual.

또한, 본 발명은 로봇의 역할이나 환경에 따라 개인 적응형 또는 범용형으로 사용할 수 있는 로봇 기술을 제공할 수 있다.In addition, the present invention can provide a robot technology that can be used as a personal adaptation type or a general purpose type according to the role or environment of the robot.

도 1은 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명에 따라 학습 데이터를 변형하는 과정의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 사람 학습 데이터의 일 예를 나타낸 도면이다.
도 5 및 도 6은 본 발명에 따른 연산 함수의 업데이트 과정의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 학습 데이터 보정 과정의 일 예를 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 장치를 나타낸 블록도이다.1 is a diagram showing a user adaptive behavior recognition system of a robot according to an embodiment of the present invention.
2 is a flowchart illustrating a method of recognizing a user adaptive behavior of a robot according to an embodiment of the present invention.
3 is a diagram showing an example of a process of transforming learning data according to the present invention.
4 is a diagram showing an example of human learning data according to the present invention.
5 and 6 are diagrams showing an example of a process of updating an arithmetic function according to the present invention.
7 is a diagram illustrating an example of a process of correcting learning data according to the present invention.
8 is a block diagram illustrating an apparatus for user adaptive behavior recognition of a robot according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings as follows. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those with average knowledge in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer explanation.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 시스템을 나타낸 도면이다.1 is a diagram showing a user adaptive behavior recognition system of a robot according to an embodiment of the present invention.

종래의 일반적인 로봇의 행동 인식 방법들은, 사전에 대량으로 수집해 두었던 데이터를 기반으로 학습된 연산 함수를 로봇에 입력해두고, 새로 들어온 데이터를 이 연산 함수에 입력하여 출력을 받아내는 것이었다. 혹은, 소량의 데이터를 기반으로 사람이 직접 지정해준 연산 과정을 기반으로 행동을 인식하기도 하였다. Conventional general robot behavior recognition methods have been to input an operation function learned based on data previously collected in a large amount into the robot, and input new data into the operation function to receive an output. Or, based on a small amount of data, the behavior was recognized based on a computational process that was directly designated by a person.

그러나, 이러한 방법들은 일반적인 사람들을 대상으로 수집된 데이터를 기반으로 하기 때문에 실제로 로봇과 생활하게 되는 사용자 개인의 특징적인 행동을 정확하게 인식하는데 도움을 주기 어렵다. However, since these methods are based on data collected for general people, it is difficult to help accurately recognize the characteristic behaviors of a user who actually lives with a robot.

따라서, 본 발명에서는 기존의 방법들과 비교하였을 때, 사용자 별 적용성과 친화성 측면에서 큰 개선점을 가지며, 인식 성능 면에서도 보다 실용적인 효과를 제공할 수 있는 로봇의 사용자 적응형 행동 인식 기술을 제공하고자 한다. Therefore, in the present invention, compared with the existing methods, it is intended to provide a user-adaptive behavior recognition technology of a robot that has a large improvement in applicability and affinity for each user, and can provide a more practical effect in terms of recognition performance do.

도 1을 참조하면, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 시스템은 사용자 적응형 행동 인식 장치(100), 로봇(110) 및 타겟 사용자(120)를 포함한다. Referring to FIG. 1, a user adaptive behavior recognition system of a robot according to an embodiment of the present invention includes a user adaptive behavior recognition apparatus 100, a robot 110, and a target user 120.

이 때, 도 1에서는 사용자 적응형 행동 인식 장치(100)를 로봇(110)과 독립적으로 도시하였으나, 사용자 적응형 행동 인식 장치(100)는 로봇(110)의 일부 구성으로 장착될 수도 있다. In this case, although FIG. 1 shows the user adaptive behavior recognition apparatus 100 independently from the robot 110, the user adaptive behavior recognition apparatus 100 may be mounted as a part of the robot 110.

이 때, 타겟 사용자(120)는 로봇(110)과 생활하는 사용자에 상응할 수 있다. In this case, the target user 120 may correspond to a user living with the robot 110.

이 때, 도 1에서는 타겟 사용자(120)를 하나만 도시하였으나 환경에 따라 여러 명의 타겟 사용자(120)가 존재할 수 있으며, 로봇(110)은 여러 명의 타겟 사용자(120)들 각각을 개별적으로 인식할 수 있다.In this case, although only one target user 120 is shown in FIG. 1, there may be several target users 120 depending on the environment, and the robot 110 may individually recognize each of the plurality of target users 120. have.

사용자 적응형 행동 인식 장치(100)는 로봇(110)과 함께 생활하는 타겟 사용자(120)로부터 획득된 시각 기반 관찰 데이터를 분석하여 타겟 사용자(120)에 대한 개인 고유 특성 및 행동 통계 정보를 추출한다. The user adaptive behavior recognition device 100 analyzes the visual-based observation data acquired from the target user 120 living with the robot 110 to extract personal characteristics and behavior statistics information for the target user 120 .

이 때, 시각 기반 관찰 데이터는 기설정된 기준 획득량 및 기설정된 기준 획득시간 중 적어도 하나에 상응하게 획득될 수 있다.In this case, the time-based observation data may be acquired corresponding to at least one of a preset reference acquisition amount and a preset reference acquisition time.

또한, 사용자 적응형 행동 인식 장치(100)는 시각 기반 관찰 데이터, 개인 고유 특성 및 행동 통계 정보를 기반으로 로봇(110)이 행동 인식 결과를 도출하기 위한 연산 함수의 학습 데이터를 변형한다.In addition, the user adaptive behavior recognition apparatus 100 transforms learning data of an operation function for the robot 110 to derive a behavior recognition result based on visual-based observation data, individual characteristics, and behavior statistics information.

이 때, 학습 데이터는 RGB 데이터와 깊이 데이터를 기반으로 분리된 사람 학습 데이터와 환경 학습 데이터를 포함할 수 있다. In this case, the learning data may include human learning data and environment learning data separated based on RGB data and depth data.

이 때, 사람 학습 데이터는 스켈레톤(skeleton) 데이터 형태일 수 있다.In this case, the human learning data may be in the form of skeleton data.

또한, 사용자 적응형 행동 인식 장치(100)는 변형된 학습 데이터를 기반으로 연산 함수를 업데이트한다. In addition, the user adaptive behavior recognition apparatus 100 updates an operation function based on the transformed learning data.

이 후, 로봇(110)은 업데이트된 연산 함수를 기반으로 타겟 사용자(120)의 행동을 인식한다. After that, the robot 110 recognizes the behavior of the target user 120 based on the updated calculation function.

또한, 사용자 적응형 행동 인식 장치(100)는 타겟 사용자로부터 인식 행동에 대한 응답을 수집하고, 응답을 기반으로 인식 행동에 대한 인식 정확도를 산출하고, 인식 정확도를 기반으로 학습 데이터를 타겟 사용자에 상응하게 보정한다.In addition, the user adaptive behavior recognition device 100 collects a response to the recognition behavior from the target user, calculates the recognition accuracy for the recognition behavior based on the response, and matches the learning data to the target user based on the recognition accuracy. Correct it.

이와 같이 본 발명에 따른 사용자 적응형 행동 인식 장치(100)는, 종래의 사용자 인식 방식 자체를 초기 인식기나 분석기로만 활용함으로써 타겟 사용자(120)에 상응하게 데이터를 변형시키고, 새로운 데이터를 지속적으로 추가하여 점진적으로 타겟 사용자(120)에게 적응해나가는 적응력을 가진 행동 인식 시스템으로 동작할 수 있다.As described above, the user adaptive behavior recognition apparatus 100 according to the present invention transforms data corresponding to the target user 120 by using only the conventional user recognition method itself as an initial recognizer or analyzer, and continuously adds new data. Thus, it can operate as a behavior recognition system having an adaptability that gradually adapts to the target user 120.

또한, 이와 같은 행동 인식의 개선을 타겟 사용자의 가정 내에서 꾸준히 수행함으로써 로봇이 점차 타겟 사용자의 가정 환경에 적합한 행동 인식을 수행하도록 할 수 있다. 이를 통해 범용적으로는 로봇의 행동 인식에 대한 신뢰도가 낮아질 수 있지만, 로봇을 직접적으로 사용하는 타겟 사용자에게는 훨씬 신뢰도 높은 서비스를 제공할 수 있다. In addition, by continuously performing such improvement of behavior recognition in the home of the target user, the robot may gradually perform behavior recognition suitable for the home environment of the target user. Through this, the reliability of the robot's behavior recognition may be reduced in general, but a much more reliable service can be provided to target users who directly use the robot.

만약, 로봇이 여러 장소에서 여러 사용자들을 상대하는 역할을 수행하게 된다면, 학습을 위해 추출되는 데이터는 오히려 일반성을 띄게 될 것이고, 그렇다면 로봇의 행동 인식 방법 또한 계속해서 일반성을 갖는 방향으로 변형될 수 있다. 따라서, 본 발명의 일실시예에 따른 행동 인식 시스템은 타겟 사용자가 바뀌거나 타겟 사용자가 여러 명 존재하는 환경에서도 무리없이 적용할 수 있으며, 범용성을 잃지 않고 환경에 적용하여 사용될 수 있다. If the robot plays the role of dealing with multiple users in multiple places, the data extracted for learning will be rather general, and if so, the robot's behavior recognition method can also be transformed into a direction that has generality. . Accordingly, the behavior recognition system according to an embodiment of the present invention can be applied without unreasonableness in an environment in which a target user is changed or multiple target users exist, and can be applied to an environment without losing versatility.

도 2는 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법을 나타낸 동작 흐름도이다.2 is a flowchart illustrating a method of recognizing a user adaptive behavior of a robot according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법은 사용자 적응형 행동 인식 장치가, 로봇과 함께 생활하는 타겟 사용자로부터 획득된 시각 기반 관찰 데이터를 분석하여 타겟 사용자에 대한 개인 고유 특성 및 행동 통계 정보를 추출한다(S210).Referring to FIG. 2, in a method for recognizing a user adaptive behavior of a robot according to an embodiment of the present invention, a user adaptive behavior recognition apparatus analyzes visually-based observation data obtained from a target user living with the robot, Personal characteristic and behavioral statistics information is extracted (S210).

이 때, 로봇은 시각 기반 관찰 데이터를 획득하기 위한 카메라 또는 영상 촬영 장치를 구비할 수 있다. 예를 들어, 로봇의 머리 또는 몸체 부분에 카메라가 구비됨으로써 함께 생활하는 타겟 사용자를 촬영하고, 이를 시각 기반 관찰 데이터로써 저장할 수 있다.In this case, the robot may include a camera or an image capturing device for acquiring vision-based observation data. For example, a camera may be provided on the head or body of the robot, so that a target user living together may be photographed and stored as visual observation data.

이 때, 시각 기반 관찰 데이터는 기설정된 기준 획득량 및 기설정된 기준 획득기간 중 적어도 하나에 상응하게 획득될 수 있다. 즉, 시각 기반 관찰 데이터는 기설정된 기준 획득량이나 기설정된 기준 획득기간에 맞추어 개인 고유 특성이나 행동 통계 정보를 추출가능한만큼 충분하게 획득될 수 있다. In this case, the time-based observation data may be acquired corresponding to at least one of a preset reference acquisition amount and a preset reference acquisition period. That is, the time-based observation data may be sufficiently obtained as long as it is possible to extract personal characteristic or behavioral statistics information according to a preset reference acquisition amount or a preset reference acquisition period.

따라서, 기설정된 기준 획득량 및 기설정된 기준 획득기간은 개인 고유 특성이나 행동 통계 정보를 추출가능한지 여부를 고려하여 설정될 수 있다.Accordingly, the preset reference acquisition amount and the preset reference acquisition period may be set in consideration of whether individual characteristics or behavioral statistics information can be extracted.

이 때, 개인 고유 특성은 체형, 자세, 버릇, 행동 패턴 및 모션 패턴을 포함할 수 있다. In this case, personal characteristics may include body shape, posture, habit, behavior pattern, and motion pattern.

대부분의 타겟 사용자는 일반적인 체격이나 체형 혹은 신체적인 특징을 가질 수도 있지만, 그렇지 않을 수도 있다. 특히, 집안에서 로봇을 필요로 하는 사용자라면 일반적이지 않은 신체적 특징을 가지고 있을 확률이 높다. 이러한 신체적 특징은 키나 체형과 같이 단순한 특징일 수도 있지만, 허리의 굽음이나 안짱다리와 같은 특징일 수도 있다.Most target users may have a general physique, body shape, or physical characteristics, but they may not. In particular, a user who needs a robot at home is likely to have unusual physical characteristics. These physical characteristics may be simple characteristics such as height or body shape, but may also be characteristics such as bending of the waist or inner legs.

그러나, 로봇이 사용자의 행동을 인식할 수 있도록 학습에 사용되는 학습용 데이터는 대부분 사용자들의 평균적인 키나 체형을 중심으로 생성될 수 있다. 즉, 학습용 데이터에는 굽은 허리나 안짱다리와 같은 체형의 데이터는 거의 존재하지 않고, 일반적인 데이터만 존재하게 된다.However, in order for the robot to recognize the user's behavior, the learning data used for learning may be generated mainly based on the average height or body shape of the users. That is, in the training data, there is hardly any data of body shape such as a bent waist or an inner leg, and only general data exist.

따라서, 본 발명에서는 로봇을 통해 여러 방향과 여러 각도에서 타겟 사용자를 관찰하면서 획득한 시각 기반 관찰 데이터를 분석하여 실제로 로봇과 생활할 타겟 사용자에 대한 체형, 자세, 버릇, 행동 패턴 및 모션 패턴을 포함하는 개인 고유 특성을 추출하여 로봇의 행동 인식을 위해 사용하도록 할 수 있다. Therefore, in the present invention, the body shape, posture, habit, behavior pattern, and motion pattern of the target user who will actually live with the robot are analyzed by analyzing the visually-based observation data acquired while observing the target user from various directions and angles through the robot. It is possible to extract the unique characteristics of the individual and use it to recognize the behavior of the robot.

예를 들어, 체형은 타겟 사용자의 신체 사이즈에 상응하는 것으로, 키, 팔 길이, 다리 길이, 몸통 둘레 등의 정보를 포함할 수 있다. For example, the body shape corresponds to the body size of the target user and may include information such as height, arm length, leg length, and body circumference.

또한, 자세는 서 있는 자세, 앉아 있는 자세, 걷는 자세와 같이 타겟 사용자가 생활할 때 주로 하는 행동에 대한 기본 자세에 대한 정보일 수 있다. In addition, the posture may be information on a basic posture for an action that the target user mainly performs when living, such as a standing posture, a sitting posture, and a walking posture.

또한, 버릇은 로봇에 입력된 일반적인 학습 데이터와는 다르게 타겟 사용자에게서만 나타나는 행동이나 자세에 대한 정보를 위주로 생성될 수 있다. 즉, 다리를 떨거나 손가락을 까딱이는 행위는 일반적인 학습 데이터에는 포함되어 있지 않을 가능성이 높기 때문에 이러한 버릇을 추후 학습 데이터에 반영할 수 있도록 추출할 수 있다. In addition, the habit may be generated based on information on behavior or posture that appears only in the target user, unlike general learning data input to the robot. That is, since it is highly likely that the act of shaking a leg or clapping a finger is not included in general learning data, this habit can be extracted so that it can be reflected in the learning data later.

또한, 행동 패턴이나 모션 패턴은 타겟 사용자가 움직일 경우에 움직이는 방향이나 각도 또는 속도와 같은 정보를 패턴화하여 생성된 정보일 수 있다. 즉, 걸어다닐 때 다리를 저는 행동이나 팔을 올릴 때 어느 각도 이상 올라가지 않는 등의 요소가 이에 해당할 수 있다. 이러한 정보 또한 일반적인 학습 데이터에는 포함되어 있지 않기 때문에 타겟 사용자에 대한 정확한 행동 인식을 위해 추후 학습 데이터에 이러한 정보를 반영하도록 할 수 있다.In addition, the behavior pattern or motion pattern may be information generated by patterning information such as a moving direction, angle, or speed when the target user moves. In other words, factors such as lifting the legs while walking or not raising more than a certain angle when raising the arms may correspond to this. Since this information is also not included in the general learning data, it is possible to reflect this information in the learning data later in order to accurately recognize the behavior of the target user.

이 때, 타겟 사용자의 행동 패턴이나 모션 패턴은 누적된 시각 기반 관찰 데이터를 짧은 시간 단위로 분석하여 추출할 수 있다. 즉, 시간을 기준으로 시각 기반 관찰 데이터를 구간별로 분할하고, 구간별 시각 기반 관찰 데이터로부터 주성분 분석을 수행함으로써 행동 패턴이나 모션 패턴을 추출할 수 있다.In this case, the behavior pattern or motion pattern of the target user may be extracted by analyzing the accumulated visual observation data in a short time unit. That is, a behavior pattern or a motion pattern can be extracted by dividing the time-based observation data for each section and performing principal component analysis from the time-based observation data for each section.

이 때, 타겟 사용자에 대한 개인 고유 특성은 추후에 사람 학습 데이터를 변형하는데 사용될 수 있도록 타겟 사용자의 체형과 자세에 상응하는 스켈레톤(skeleton) 데이터의 형태를 기반으로 추출될 수 있다.In this case, the personal characteristics of the target user may be extracted based on the shape of the skeleton data corresponding to the body shape and posture of the target user so that it can be used to transform human learning data later.

예를 들어, 행동 패턴이나 모션 패턴을 나타낼 경우, 타겟 사용자의 스켈레톤 데이터에 의해 행동 패턴이나 모션 패턴을 나타낼 수 있도록 할 수 있다.For example, when a behavior pattern or a motion pattern is indicated, the behavior pattern or a motion pattern may be indicated by the skeleton data of the target user.

또한, 행동 통계 정보는, 사전에 로봇에 설정되어 있는 행동 종류들 안에서 타겟 사용자의 행동을 인식하여 통계 낸 정보에 상응할 수 있다. 이 때, 로봇에 설정되어 있는 행동들 중 타겟 사용자가 자주 하는 행동과 전혀 하지 않는 행동이 존재할 수 있다. 예를 들어, 비흡연자인 타겟 사용자에게서는 (담배 피우기)라는 행동을 인식하게 될 확률이 매우 낮을 수 있다. 또한, 로봇이 활동하는 집안에 컴퓨터가 없다면 타겟 사용자에게서 (컴퓨터 자판 치기)라는 행동은 나타나지 않을 수 있다. In addition, the behavioral statistics information may correspond to the statistical information obtained by recognizing the behavior of the target user within the behavior types set in the robot in advance. At this time, among the actions set in the robot, there may be actions that the target user frequently performs and actions that the target user does not do at all. For example, a target user who is a non-smoker may have a very low probability of recognizing the behavior of (smoking). In addition, if there is no computer in the house where the robot is active, the behavior of (computer keyboard typing) may not appear from the target user.

이와 같이 타겟 사용자의 누적된 행동 정보를 활용하여 타겟 사용자의 행동을 통계 낸다면, 이러한 행동 통계 정보를 확률적으로 생성할 수 있다. If the behavior of the target user is statistically calculated using the accumulated behavioral information of the target user, such behavioral statistical information can be generated probabilistically.

또한, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법은 사용자 적응형 행동 인식 장치가 시각 기반 관찰 데이터, 개인 고유 특성 및 행동 통계 정보를 기반으로 로봇이 행동 인식 결과를 도출하기 위한 연산 함수의 학습 데이터를 변형한다(S220).In addition, the user adaptive behavior recognition method of a robot according to an embodiment of the present invention is for the user adaptive behavior recognition device to derive a behavior recognition result based on visual observation data, individual characteristics, and behavior statistics information. The learning data of the arithmetic function is transformed (S220).

이 때, 연산 함수란 로봇이 타겟 사용자에 대한 행동 인식 결과를 도출하기 위해 사용하는 실질적인 인식 알고리즘에 상응할 수 있다. 예를 들어, 로봇이 타겟 사용자의 행동을 관찰한 데이터를 연산 함수로 입력하면, 연산 함수에서 출력된 인식 결과에 상응하게 로봇이 타겟 사용자의 행동을 인식할 수 있다. In this case, the arithmetic function may correspond to a practical recognition algorithm used by the robot to derive a result of behavior recognition for a target user. For example, if the robot inputs data observing the behavior of the target user as an operation function, the robot may recognize the behavior of the target user in accordance with the recognition result output from the operation function.

즉, 도 5 내지 도 6을 참조하면, 본 발명에 따른 초기 연산 함수는 사전에 수집된 일반적인 학습 데이터를 통해 학습된 초기 인식 알고리즘 상태에 상응할 수 있다. 따라서, 본 발명에서는 초기 연산 함수를 타겟 사용자에 상응하는 형태로 업데이트시키기 위해 변형된 학습 데이터를 획득할 수 있다. That is, referring to FIGS. 5 to 6, the initial operation function according to the present invention may correspond to the state of the initial recognition algorithm learned through general learning data collected in advance. Accordingly, in the present invention, modified training data may be obtained in order to update the initial operation function in a form corresponding to the target user.

예를 들어, 도 3을 참조하면, 로봇이 타겟 사용자와의 상호작용에 의해 획득한 다양한 분석 데이터를 이용하여 학습 데이터를 변형하고, 이러한 데이터를 이용하여 연산 함수를 학습시킬 수 있다. 이 때, 변형된 학습 데이터를 통해 학습된 연산 함수를 기반으로 로봇이 타겟 사용자의 행동을 인식함으로써 타겟 사용자에 대한 로봇의 행동 인식률을 향상시킬 수 있다.For example, referring to FIG. 3, a robot may transform learning data using various analysis data acquired by an interaction with a target user, and learn an arithmetic function using this data. In this case, the robot recognizes the behavior of the target user based on the operation function learned through the transformed learning data, thereby improving the behavior recognition rate of the robot with respect to the target user.

따라서, 학습 데이터를 변형하는 단계는 사람 학습 데이터를 변형하는 단계와 환경 학습 데이터를 변형하는 단계로 구분될 수 있다. Accordingly, the step of transforming the learning data may be divided into a step of transforming the human learning data and a step of transforming the environmental learning data.

이 때, 사람 학습 데이터를 변형하는 단계는 사전에 로봇에 입력되어 있는 일반적이거나 평균적인 체형의 사람 학습 데이터를 타겟 사용자의 체형에 맞게 변형하는 과정을 의미할 수 있다.In this case, the step of transforming the human learning data may mean a process of transforming the general or average human learning data input into the robot in advance to fit the body shape of the target user.

예를 들어, 도 4를 참조하면, 로봇(410)은 타겟 사용자(420)를 관찰하여 시각 기반 관찰 데이터를 획득할 수 있다. 이 후, 사용자 적응형 행동 인식 장치는 로봇으로부터 시각 기반 관찰 데이터를 획득하여 타겟 사용자에 대한 개인 고유 특성 및 행동 통계 정보를 추출할 수 있다. 이 후, 사용자 적응형 행동 인식 장치는 추출된 정보를 기반으로 타겟 사용자에 상응하게 변형된 사람 학습 데이터(430)를 생성할 수 있다. For example, referring to FIG. 4, the robot 410 may observe the target user 420 to obtain vision-based observation data. Thereafter, the user adaptive behavior recognition apparatus may obtain visual-based observation data from the robot and extract personal characteristics and behavior statistics information for the target user. Thereafter, the user adaptive behavior recognition apparatus may generate the human learning data 430 modified to correspond to the target user based on the extracted information.

이 때, 사람 학습 데이터를 변형하는 단계에서는 물리적 제한 요소를 둠으로써 불가능한 자세가 나오지 않도록 사람 학습 데이터를 변형할 수 있다. 또한, 타겟 사용자의 개인 고유 특성을 중심으로 사람 학습 데이터가 분포하도록 변형시킬 수도 있다. At this time, in the step of transforming the human learning data, it is possible to transform the human learning data so that an impossible posture does not appear by placing a physical limiting factor. In addition, it is possible to transform the human learning data to be distributed around the individual characteristics of the target user.

이 때, 환경 학습 데이터를 변형하는 단계는 타겟 사용자의 집안 또는 가정 내 환경을 환경 학습 데이터에 포함시키는 과정을 의미할 수 있다. 즉, 모든 가정은 각각 다른 환경을 갖고 있으므로, 로봇이 타겟 사용자의 집에서 데이터를 수집하지 않은 이상, 사전에 로봇이 타겟 사용자의 집안 환경에 대한 데이터를 가지고 있을 수는 없다. In this case, transforming the environmental learning data may refer to a process of including the target user's home or home environment in the environmental learning data. That is, since every home has a different environment, the robot cannot have data on the target user's home environment in advance unless the robot collects data from the target user's home.

따라서, 본 발명에서는 이동성을 갖는 로봇의 구조를 이용하여 타겟 사용자의 가정 환경에서 시각 기반 관찰 데이터를 수집하고, 수집된 시각 기반 관찰 데이터에서 환경 정보만을 추출할 수 있다. Accordingly, in the present invention, visual-based observation data may be collected in the home environment of a target user by using the structure of a robot having mobility, and only environmental information may be extracted from the collected visual-based observation data.

이 때, RGB 데이터와 깊이 데이터를 기반으로 시각 기반 관찰 데이터와 환경 학습 데이터를 각각 사람 데이터와 환경 데이터로 분리할 수 있다. 이 후, 시각 기반 관찰 데이터에서 분리된 환경 데이터를 환경 학습 데이터에서 분리된 사람 데이터와 결합하여 변형된 환경 학습 데이터를 생성할 수 있다. 이와 같은 과정을 통해 마치 타겟 사용자의 집안에서 수집된 것과 같은 환경 학습 데이터를 생성할 수 있다.In this case, based on RGB data and depth data, visual-based observation data and environmental learning data may be separated into human data and environment data, respectively. Thereafter, environmental data separated from the visual-based observation data may be combined with human data separated from the environmental learning data to generate transformed environmental learning data. Through such a process, environmental learning data as if collected in the target user's house may be generated.

예를 들어, 시각 기반 관찰 데이터는 사람 데이터인 A1과 환경 데이터인 A2를 결합한 (A1, A2)의 형태에 상응하고, 변형되기 전의 환경 학습 데이터는 사람 데이터인 B1과 환경 데이터인 B2를 결합한 (B1, B2)의 형태에 상응한다고 가정할 수 있다. 이 때, 변형된 환경 학습 데이터는 시각 기반 관찰 데이터의 환경 데이터 A2와 환경 학습 데이터의 사람 데이터 B1을 결합한 (B1, A2)의 형태에 상응하도록 생성될 수 있다.For example, the visual-based observation data corresponds to the form of (A1, A2) that combines human data A1 and environmental data A2, and the environmental learning data before transformation is a combination of human data B1 and environmental data B2 ( It can be assumed that it corresponds to the shape of B1, B2). In this case, the modified environmental learning data may be generated to correspond to a form (B1, A2) in which the environmental data A2 of the visual-based observation data and the human data B1 of the environmental learning data are combined.

이 때, 시각 기반 관찰 데이터를 통해 획득되는 환경 데이터에는 타겟 사용자의 집안 내 넓이나 로봇이 돌아다니면서 관찰할 수 있는 거리 정보 등이 포함될 수 있다. In this case, the environmental data acquired through the vision-based observation data may include the area within the house of the target user or distance information that can be observed while the robot moves around.

따라서, 환경 학습 데이터는 타겟 사용자의 집안 환경에 적합한 사이즈를 적용하여 변형될 수 있다. 이와 같이 변형된 환경 학습 데이터를 이용하여 학습을 수행함으로써 로봇이 타겟 사용자의 집안 환경보다 멀리 관찰하거나 크기 이동하는 등의 불필요한 행동을 하지 않도록 할 수 있다. 반대로, 타겟 사용자의 집안 환경에 비해 가까운 거리만 관찰하거나 일부 공간만을 이동하지 않도록 학습시킬 수도 있다.Accordingly, the environmental learning data may be transformed by applying a size suitable for the home environment of the target user. By performing learning using the transformed environmental learning data, it is possible to prevent the robot from performing unnecessary actions such as observing or moving in size farther than the home environment of the target user. Conversely, compared to the home environment of the target user, it is possible to learn to observe only a close distance or not to move only a part of the space.

이 때, 사람 학습 데이터나 환경 학습 데이터의 변형은 타겟 기설정된 주기마다 수행될 수 있다. 즉, 지속적으로 타겟 사용자의 체형과 같은 개인 고유 특성이나 타겟 사용자의 집안 환경 정보를 업데이트할 수 있고, 업데이트된 정보를 기반으로 학습 데이터 또한 계속하여 업데이트함으로써 로봇의 인식 능력을 타겟 사용자와 타겟 사용자의 환경 변화에 맞추어 발전시킬 수 있다.In this case, the transformation of the human learning data or the environmental learning data may be performed at each target predetermined cycle. In other words, it is possible to continuously update personal characteristics such as the target user's body shape or the home environment information of the target user, and by continuously updating the learning data based on the updated information, the recognition ability of the robot can be improved between the target user and the target user. It can be developed according to environmental changes.

또한, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법은 사용자 적응형 행동 인식 장치가 변형된 학습 데이터를 기반으로 연산 함수를 업데이트한다(S230).In addition, in the method of recognizing a user adaptive behavior of a robot according to an embodiment of the present invention, the user adaptive behavior recognition apparatus updates an operation function based on the modified learning data (S230).

즉, 본 발명에서는 변형된 학습 데이터를 이용하여 연산 함수를 학습시키는 과정을 통해 초기 연산 함수를 타겟 사용자에 적합하게 업데이트할 수 있다. That is, in the present invention, the initial calculation function can be updated appropriately for the target user through the process of learning the calculation function using the modified learning data.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법은 타겟 사용자가 자주하는 행동을 보다 잘 구별해낼 수 있도록 행동 가중치를 설정할 수 있다. In addition, although not shown in FIG. 2, the method for recognizing a user adaptive behavior of a robot according to an exemplary embodiment of the present invention may set a behavior weight to better distinguish a behavior frequently performed by a target user.

이 때, 행동 통계 정보를 기반으로 타겟 사용자가 자주하거나 규칙적으로 하는 행동을 추출할 수 있다. At this time, based on the behavioral statistics information, the behavior that the target user frequently or regularly performs may be extracted.

예를 들어, 타겟 사용자가 환자일 경우, 자주하는 행동으로 약 먹기라는 행동이 추출될 수 있다. 이러한 경우, 약 먹기행동에 대한 행동 가중치를 높게 설정함으로써 로봇이 해당 행동을 보다 빠르고 정확하게 인식할 수 있도록 할 수 있다.For example, when the target user is a patient, an action of taking medicine may be extracted as a frequent action. In this case, by setting the action weight for the drug-eating action to be high, the robot can recognize the action more quickly and accurately.

또한, 행동의 종류에 따라 중요하다고 판단되는 행동을 보다 잘 인식할 수 있도록 행동 가중치를 설정할 수도 있다. In addition, action weights can be set to better recognize actions that are considered important according to the type of action.

예를 들어, 쓰러지기와 같이 건강 및 안전과 관련된 행동에 대한 행동 가중치를 높게 설정함으로써 빈도수와 관계없이 중요하다고 판단되는 행동을 빠르고 정확하게 인식할 수 있도록 할 수도 있다.For example, by setting the action weight for health and safety-related actions such as falling, it is possible to quickly and accurately recognize actions that are considered important regardless of the frequency.

또한, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법은 로봇이 업데이트된 연산 함수를 기반으로 타겟 사용자의 행동을 인식한다(S240).In addition, in the method of recognizing a user adaptive behavior of a robot according to an embodiment of the present invention, the robot recognizes the behavior of a target user based on an updated calculation function (S240).

예를 들어, 도 5 내지 도 6을 참조하면, 초기에 로봇에 입력되어 있던 초기 연산 함수를 타겟 사용자 개인과 타겟 사용자의 환경에 맞추어 업데이트 함으로써 로봇의 인식 성능을 타겟 사용자와 타겟 사용자의 환경에 맞추어 향상시킬 수 있다. For example, referring to Figs. 5 to 6, the recognition performance of the robot is tailored to the environment of the target user and the target user by updating the initial calculation function that was initially input to the robot according to the environment of the target user and the target user. Can be improved.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법은 타겟 사용자로부터 인식 행동에 대한 응답을 수집할 수 있다. In addition, although not shown in FIG. 2, the method of recognizing a user adaptive behavior of a robot according to an exemplary embodiment of the present invention may collect a response to a recognized behavior from a target user.

이 때, 로봇이 타겟 사용자와 상호작용함으로써 인식 행동에 대한 응답을 수집할 수 있다. At this time, the robot interacts with the target user to collect responses to the cognitive behavior.

예를 들어, 로봇이 타겟 사용자에게 행동을 보여주거나 말을 하는 방식으로 인식 행동에 대한 응답을 요구할 수 있다. For example, a robot may request a response to a cognitive behavior by showing or speaking an action to a target user.

이 때, 타겟 사용자로부터 수집되는 인식 행동에 대한 응답은, 음성 인식 및 행동 인식, 제스처 인식을 통해 수집될 수 있다.At this time, the response to the recognition behavior collected from the target user may be collected through voice recognition, behavior recognition, and gesture recognition.

예를 들어, 도 7에 도시된 것처럼 로봇과 타겟 사용자 간의 음성을 통한 대화를 통해 타겟 사용자로부터 인식 행동에 대한 응답을 수집할 수 있다. For example, as shown in FIG. 7, a response to a recognition behavior may be collected from a target user through a voice conversation between the robot and the target user.

다른 예를 들어, 사용자가 음성을 통한 응답없이 행동이나 제스처를 취하는 경우, 해당 행동이나 제스처를 통해 타겟 사용자로부터 인식 행동에 대한 응답을 수집할 수도 있다.For another example, when a user performs an action or gesture without a response through a voice, a response to the recognition action may be collected from the target user through the corresponding action or gesture.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법은 타겟 사용자로부터 수집한 응답을 기반으로 인식 행동에 대한 인식 정확도를 산출하고, 인식 정확도를 기반으로 학습 데이터를 타겟 사용자에 상응하게 보정할 수 있다. In addition, although not shown in FIG. 2, the method for recognizing a user adaptive behavior of a robot according to an embodiment of the present invention calculates the recognition accuracy for the recognition behavior based on the response collected from the target user, and calculates the recognition accuracy based on the recognition accuracy. As a result, the learning data can be corrected according to the target user.

즉, 타겟 사용자로부터 수집한 응답을 기반으로 현재 로봇이 인식한 결과의 정답 여부를 확인할 수 있기 때문에 인식 행동에 대한 인식 정확도를 산출할 수 있다.That is, based on the response collected from the target user, it is possible to check whether the result recognized by the current robot is the correct answer, so that the recognition accuracy for the recognition behavior can be calculated.

이 때, 인식 정확도가 기설정된 수준 이하로 낮아지는 경우, 타겟 사용자로부터 수집한 응답을 기반으로 학습 데이터를 보정하고, 보정된 학습 데이터를 이용하여 연산 함수를 다시 학습시킴으로써 인식 정확도를 향상시킬 수 있다.In this case, when the recognition accuracy is lowered below a preset level, the recognition accuracy can be improved by correcting the learning data based on the response collected from the target user, and re-learning the arithmetic function using the corrected learning data. .

이 때, 로봇의 행동 인식 성능이 타겟 사용자에게 적합한 방향으로 향상될 수 있도록 주기적으로 인식 정확도를 체크하여 학습 데이터를 보정할 수도 있다.In this case, the learning data may be corrected by periodically checking the recognition accuracy so that the behavior recognition performance of the robot can be improved in a direction suitable for the target user.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법은 네트워크와 같은 통신망을 통해 사용자 적응형 행동 인식을 위해 필요한 정보를 송수신한다. In addition, although not shown in FIG. 2, the method for recognizing user adaptive behavior of a robot according to an embodiment of the present invention transmits and receives information necessary for user adaptive behavior recognition through a communication network such as a network.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 사용자 적응형 행동 인식 과정에서 발생되는 다양한 정보를 별도의 저장 모듈에 저장한다.In addition, although not shown in FIG. 2, the method for recognizing user adaptive behavior of a robot according to an embodiment of the present invention includes various pieces of information generated in the process of recognizing user adaptive behavior according to an embodiment of the present invention as described above. Is stored in a separate storage module.

이와 같은 로봇의 사용자 적응형 행동 인식 방법을 이용함으로써 특정 사용자에게 적응해나가며 로봇의 행동 인식율을 향상시킬 수 있다.By using the robot's user-adaptive behavior recognition method, it is possible to improve the robot's behavior recognition rate by adapting to a specific user.

또한, 개개인에게 맞는 서비스를 제공할 수 있는 로봇 관련 행동 인식 기술을 제공할 수 있다.In addition, it is possible to provide a robot-related behavior recognition technology that can provide a service tailored to each individual.

또한, 로봇의 역할이나 환경에 따라 개인 적응형 또는 범용형으로 사용할 수 있는 로봇 기술을 제공할 수도 있다.In addition, it is also possible to provide a robot technology that can be used individually or as a general purpose according to the role or environment of the robot.

도 8은 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 장치를 나타낸 블록도이다.8 is a block diagram illustrating an apparatus for user adaptive behavior recognition of a robot according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 장치는 통신부(810), 프로세서(820) 및 메모리(830)를 포함한다.Referring to FIG. 8, an apparatus for recognizing a user adaptive behavior of a robot according to an embodiment of the present invention includes a communication unit 810, a processor 820, and a memory 830.

통신부(810)는 네트워크와 같은 통신망을 통해 로봇의 사용자 적응형 행동 인식을 위해 필요한 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(810)는 로봇으로부터 시각 기반 관찰 데이터를 수신하고, 이를 기반으로 생성된 변형된 학습 데이터를 로봇에게 송신하는데 이용될 수 있다.The communication unit 810 serves to transmit and receive information necessary for user adaptive behavior recognition of the robot through a communication network such as a network. In particular, the communication unit 810 according to an embodiment of the present invention may be used to receive visual-based observation data from a robot and transmit transformed learning data generated based on this to the robot.

프로세서(820)는 로봇과 함께 생활하는 타겟 사용자로부터 획득된 시각 기반 관찰 데이터를 분석하여 타겟 사용자에 대한 개인 고유 특성 및 행동 통계 정보를 추출한다.The processor 820 analyzes the visual-based observation data acquired from the target user living with the robot and extracts personal characteristic and behavioral statistics information for the target user.

또한, 프로세서(820)는 시각 기반 관찰 데이터, 개인 고유 특성 및 행동 통계 정보를 기반으로 로봇이 행동 인식 결과를 도출하기 위한 연산 함수의 학습 데이터를 변형한다.In addition, the processor 820 transforms learning data of an operation function for the robot to derive a behavior recognition result based on visual observation data, individual characteristics, and behavior statistics information.

또한, 프로세서(820)는 변형된 학습 데이터를 기반으로 연산 함수를 업데이트한다.Also, the processor 820 updates the arithmetic function based on the transformed training data.

또한, 프로세서(820)는 타겟 사용자가 자주하는 행동을 보다 잘 구별해낼 수 있도록 행동 가중치를 설정할 수 있다.In addition, the processor 820 may set an action weight to better distinguish an action that the target user frequently performs.

이 때, 로봇은 업데이트된 연산 함수를 기반으로 타겟 사용자의 행동을 인식할 수 있다.In this case, the robot may recognize the behavior of the target user based on the updated calculation function.

또한, 프로세서(820)는 타겟 사용자로부터 인식 행동에 대한 응답을 수집할 수 있다. In addition, the processor 820 may collect a response to the recognition behavior from the target user.

또한, 프로세서(820)는 타겟 사용자로부터 수집한 응답을 기반으로 인식 행동에 대한 인식 정확도를 산출하고, 인식 정확도를 기반으로 학습 데이터를 타겟 사용자에 상응하게 보정할 수 있다. In addition, the processor 820 may calculate the recognition accuracy for the recognition behavior based on the response collected from the target user, and correct the learning data according to the target user based on the recognition accuracy.

메모리(830)는 연산함수를 저장한다.The memory 830 stores operation functions.

또한, 메모리(830)는 상술한 바와 같이 본 발명의 일실시예에 따른 로봇의 사용자 적응형 행동 인식 과정에서 발생되는 다양한 정보를 저장한다.In addition, as described above, the memory 830 stores various pieces of information generated in the process of recognizing the user adaptive behavior of the robot according to an embodiment of the present invention.

실시예에 따라, 메모리(830)는 로봇의 사용자 적응형 행동 인식 장치와 독립적으로 구성되어 로봇의 사용자 적응형 행동 인식을 위한 기능을 지원할 수 있다. 이 때, 메모리(830)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.According to an embodiment, the memory 830 may be configured independently of the robot's user adaptive behavior recognition device to support a function for the robot's user adaptive behavior recognition. In this case, the memory 830 may operate as a separate mass storage, and may include a control function for performing the operation.

한편, 로봇의 사용자 적응형 행동 인식 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.Meanwhile, the robot's user-adaptive behavior recognition device is equipped with a memory to store information in the device. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in another implementation, the memory may be a non-volatile memory unit. In one implementation, the storage device is a computer-readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

이와 같은 로봇의 사용자 적응형 행동 인식 장치를 통해 특정 사용자에게 적응해나가며 로봇의 행동 인식율을 향상시킬 수 있다.The robot's behavior recognition rate can be improved by adapting to a specific user through the robot's user-adaptive behavior recognition device.

이상에서와 같이 본 발명에 따른 로봇의 사용자 적응형 행동 인식 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the method and apparatus for recognizing user adaptive behavior of a robot according to the present invention are not limited to the configuration and method of the embodiments described above, but various modifications may be made to the above embodiments. All or part of each of the embodiments may be selectively combined to be configured.

100: 사용자 적응형 행동 인식 장치
110, 410: 로봇
120, 420: 사용자
430: 사람 학습 데이터
810: 통신부
820: 프로세서
830: 메모리100: user adaptive behavior recognition device
110, 410: robot
120, 420: user
430: human learning data
810: communication department
820: processor
830: memory

Claims

Analyzing, by a user adaptive behavior recognition apparatus, visual-based observation data acquired from a target user living with the robot, and extracting personal characteristics and behavior statistics information for the target user;
Transforming, by the user adaptive behavior recognition apparatus, learning data of an operation function for deriving a behavior recognition result by the robot based on the visual-based observation data, the individual characteristics, and the behavior statistics information;
Updating, by the user adaptive behavior recognition apparatus, the operation function based on transformed learning data; And
Recognizing, by the robot, the behavior of the target user based on an updated calculation function
User adaptive behavior recognition method of a robot comprising a.