KR20230053490A

KR20230053490A - Method, system and non-transitory computer-readable recording medium for augmenting learning data on movement of object

Info

Publication number: KR20230053490A
Application number: KR1020220040826A
Authority: KR
Inventors: 신민용; 유흥종; 최윤철
Original assignee: 주식회사 바딧
Priority date: 2021-10-14
Filing date: 2022-03-31
Publication date: 2023-04-21

Abstract

According to one aspect of the present invention, provided is a method for augmenting learning data on the movement of an object. The method includes the steps of: acquiring reference movement data on an arbitrary movement determined by a user with respect to the object; and augmenting learning data on arbitrary movement of the object by grouping the reference movement data into two or more groups and generating augmented data associated with the grouped reference movement data for at least one group of the two or more groups to belong to the same group as the grouped reference movement data.

Description

Method, system and non-transitory computer readable recording medium for augmenting learning data about object behavior

본 발명은 객체의 행동에 관한 학습 데이터를 증강하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.The present invention relates to a method, system and non-transitory computer readable recording medium for augmenting learning data about the behavior of an object.

근래에 들어, 머신 러닝 기술에 관한 연구가 활발히 이루어지면서, 머신 러닝 기반의 행동 인식 모델을 이용하여 특정 객체(예를 들면, 송아지와 같은 가축, 사람 등)의 신체 상태나 운동 능력을 평가하기 위한 기술들이 소개된 바 있다.In recent years, as research on machine learning technology has been actively conducted, using a machine learning-based action recognition model to evaluate the physical condition or exercise ability of a specific object (eg, livestock such as calves, people, etc.) techniques have been introduced.

이에 관한 종래 기술의 일 예로서, 한국공개특허공보 제10-2020-0059445호에 개시된 기술을 예로 들 수 있는데, 이에 따르면, 센서로부터 데이터를 수집하는 데이터 수집 단계, 상기 수집된 데이터를 분석하여 특징점을 생성하는 특징점 생성 단계 및 상기 특징점을 모델링된 분류기에 통과시켜 행동 패턴을 검출하는 패턴 분석 단계를 포함하는 것을 특징으로 한다.As an example of the prior art related to this, there may be mentioned a technique disclosed in Korean Patent Laid-Open Publication No. 10-2020-0059445. According to this, a data collection step of collecting data from a sensor, analyzing the collected data, and and a pattern analysis step of detecting a behavior pattern by passing the feature points through a modeled classifier.

하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 객체의 신체 상태나 운동 능력을 평가하기 위하여 사용되는 행동 평가 모델은 이미 학습한 행동, 즉 미리 정의된 정형화된 행동에 기초하여서는 객체의 신체 상태나 운동 능력을 평가할 수 있었지만, 사용자가 임의로 정하는 행동에 관하여는 위의 행동 평가 모델을 학습시키기 위한 학습 데이터를 충분히 확보할 수 없었기 때문에(예를 들면, 수천 명의 사람들 모두에게 그 임의의 행동(예를 들면, 스쿼트 10회)을 수천수만 번씩 시키기가 어려울 수 있고, 송아지와 같은 가축의 경우에는 그 임의의 행동을 강제로 시키는 것 자체가 불가능하기 때문에 그 임의의 행동에 관한 학습 데이터를 충분히 확보하기가 매우 어려울 수 있음), 그 임의의 행동에 기초하여서는 해당 객체의 신체 상태나 운동 능력을 평가할 수 없다는 문제점이 있었다.However, according to the technologies introduced so far, including the prior art as described above, the behavioral evaluation model used to evaluate the physical condition or motor ability of an object is based on an already learned behavior, that is, a predefined stereotyped behavior. Although it was possible to evaluate the physical condition or motor ability, it was not possible to secure enough learning data to train the above behavioral evaluation model with respect to the user's arbitrarily determined behavior (e.g., all of the thousands of people who did the random behavior (For example, 10 squats) may be difficult to do thousands of times, and in the case of livestock such as calves, it is impossible to force the arbitrary behavior itself, It can be very difficult to secure), and based on the arbitrary behavior, there was a problem that the physical condition or motor ability of the object could not be evaluated.

이에 본 발명자(들)는, 사용자가 임의로 정한 동작에 기초하여서도 객체의 신체 상태나 운동 능력을 평가할 수 있도록 하기 위하여, 위의 행동 평가 모델의 학습 데이터를 증강하는 기술을 제안하는 바이다.Accordingly, the present inventor(s) proposes a technique of augmenting the learning data of the above behavioral evaluation model in order to evaluate the physical condition or motor ability of an object based on a motion arbitrarily determined by a user.

공개특허공보 제10-2020-0059445호 (2020. 5. 29)Publication No. 10-2020-0059445 (May 29, 2020)

본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.The object of the present invention is to solve all the problems of the prior art described above.

또한, 본 발명은, 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하고, 그 기준 행동 데이터를 둘 이상의 그룹으로 그룹화하고 그 둘 이상의 그룹 중 적어도 하나의 그룹에 대하여 그 그룹화된 기준 행동 데이터와 연관되는 증강 데이터를 그 그룹화된 기준 행동 데이터와 같은 그룹에 속하도록 생성함으로써, 위의 객체의 임의의 행동에 관한 학습 데이터를 증강하는 것을 다른 목적으로 한다.In addition, the present invention obtains reference behavioral data for an arbitrary behavior determined by a user with respect to an object, groups the reference behavioral data into two or more groups, and groups the grouping in at least one of the two or more groups. Another object is to augment learning data related to an arbitrary action of the above object by generating augmented data associated with the grouped reference action data to belong to the same group as the grouped reference action data.

또한, 본 발명은, 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하고, 위의 임의의 행동과 연관되는 소정의 종류의 비정상 패턴에 관한 정보에 기초하여 위의 기준 행동 데이터를 변형한 증강 데이터를 생성함으로써, 위의 객체의 임의의 행동에 관한 학습 데이터를 증강하는 것을 또 다른 목적으로 한다.In addition, the present invention obtains reference behavioral data about an arbitrary behavior determined by a user with respect to an object, and based on information about a predetermined type of abnormal pattern associated with the arbitrary behavior, the above reference behavior Another object is to augment learning data related to an arbitrary behavior of the above object by generating augmented data by transforming the data.

또한, 본 발명은, 사용자가 임의로 정한 동작에 기초하여서도 객체의 신체 상태나 운동 능력을 평가할 수 있도록 지원하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to support evaluation of a physical state or exercise capacity of an object based on a motion arbitrarily determined by a user.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.Representative configurations of the present invention for achieving the above object are as follows.

본 발명의 일 태양에 따르면, 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하는 단계, 및 상기 기준 행동 데이터를 둘 이상의 그룹으로 그룹화하고 상기 둘 이상의 그룹 중 적어도 하나의 그룹에 대하여 상기 그룹화된 기준 행동 데이터와 연관되는 증강 데이터를 상기 그룹화된 기준 행동 데이터와 같은 그룹에 속하도록 생성함으로써, 상기 객체의 임의의 행동에 관한 학습 데이터를 증강하는 단계를 포함하는 방법이 제공된다.According to one aspect of the present invention, obtaining reference behavioral data regarding an arbitrary behavior determined by a user with respect to an object, and grouping the reference behavioral data into two or more groups and selecting at least one group of the two or more groups. A method comprising the step of augmenting learning data related to an arbitrary action of the object by generating augmented data associated with the grouped reference action data to belong to the same group as the grouped reference action data. .

본 발명의 다른 태양에 따르면, 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하는 단계, 및 상기 임의의 행동과 연관되는 소정의 종류의 비정상 패턴에 관한 정보에 기초하여 상기 기준 행동 데이터를 변형한 증강 데이터를 생성함으로써, 상기 객체의 임의의 행동에 관한 학습 데이터를 증강하는 단계를 포함하는 방법이 제공된다.According to another aspect of the present invention, the step of obtaining reference behavioral data for an arbitrary behavior determined by a user with respect to an object, and based on information about a predetermined type of abnormal pattern associated with the arbitrary behavior, There is provided a method comprising the step of augmenting learning data about an arbitrary action of the object by generating augmented data obtained by modifying the reference action data.

본 발명의 또 다른 태양에 따르면, 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하는 기준 행동 데이터 획득부, 및 상기 기준 행동 데이터를 둘 이상의 그룹으로 그룹화하고 상기 둘 이상의 그룹 중 적어도 하나의 그룹에 대하여 상기 그룹화된 기준 행동 데이터와 연관되는 증강 데이터를 상기 그룹화된 기준 행동 데이터와 같은 그룹에 속하도록 생성함으로써, 상기 객체의 임의의 행동에 관한 학습 데이터를 증강하는 학습 데이터 증강부를 포함하는 시스템이 제공된다.According to another aspect of the present invention, a reference behavioral data obtaining unit for obtaining reference behavioral data on an arbitrary behavior determined by a user with respect to an object, and grouping the reference behavioral data into two or more groups, and grouping the reference behavioral data into two or more groups. For at least one group, augmentation data associated with the grouped reference behavioral data is generated to belong to the same group as the grouped reference behavioral data, thereby augmenting learning data regarding an arbitrary behavior of the object. A system comprising a wealth is provided.

본 발명의 또 다른 태양에 따르면, 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하는 기준 행동 데이터 획득부, 및 상기 임의의 행동과 연관되는 소정의 종류의 비정상 패턴에 관한 정보에 기초하여 상기 기준 행동 데이터를 변형한 증강 데이터를 생성함으로써, 상기 객체의 임의의 행동에 관한 학습 데이터를 증강하는 학습 데이터 증강부를 포함하는 시스템이 제공된다.According to another aspect of the present invention, a reference behavioral data obtaining unit for acquiring reference behavioral data regarding an arbitrary behavior determined by a user with respect to an object, and a predetermined type of abnormal pattern associated with the arbitrary behavior. A system including a learning data augmenting unit configured to augment learning data related to an arbitrary behavior of the object by generating augmented data obtained by modifying the reference behavioral data based on information.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition to this, another method for implementing the present invention, another system, and a non-transitory computer readable recording medium recording a computer program for executing the method are further provided.

본 발명에 의하면, 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하고, 그 기준 행동 데이터를 둘 이상의 그룹으로 그룹화하고 그 둘 이상의 그룹 중 적어도 하나의 그룹에 대하여 그 그룹화된 기준 행동 데이터와 연관되는 증강 데이터를 그 그룹화된 기준 행동 데이터와 같은 그룹에 속하도록 생성함으로써, 위의 객체의 임의의 행동에 관한 학습 데이터를 증강할 수 있게 된다.According to the present invention, reference behavioral data regarding an arbitrary behavior determined by a user with respect to an object is obtained, the reference behavioral data is grouped into two or more groups, and the grouping is performed for at least one group of the two or more groups. By generating the augmented data associated with the reference behavioral data to belong to the same group as the grouped reference behavioral data, it is possible to augment the learning data regarding an arbitrary behavior of the above object.

또한, 본 발명에 의하면, 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하고, 위의 임의의 행동과 연관되는 소정의 종류의 비정상 패턴에 관한 정보에 기초하여 위의 기준 행동 데이터를 변형한 증강 데이터를 생성함으로써, 위의 객체의 임의의 행동에 관한 학습 데이터를 증강할 수 있게 된다.In addition, according to the present invention, reference behavioral data regarding an arbitrary behavior determined by a user with respect to an object is acquired, and based on information about a predetermined type of abnormal pattern associated with the above arbitrary behavior, the above criterion By generating augmented data obtained by transforming the behavioral data, it is possible to augment the learning data regarding arbitrary behaviors of the above objects.

또한, 본 발명에 의하면, 사용자가 임의로 정한 동작에 기초하여서도 객체의 신체 상태나 운동 능력을 평가할 수 있도록 지원할 수 있게 된다.In addition, according to the present invention, it is possible to support the evaluation of the physical state or exercise capacity of an object based on a motion arbitrarily determined by a user.

도 1은 본 발명의 일 실시예에 따라 객체의 행동에 관한 학습 데이터를 증강하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 학습 데이터 증강 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3 내지 도 8은 본 발명의 일 실시예에 따라 객체의 행동에 관한 학습 데이터를 증강하는 과정을 예시적으로 나타내는 도면이다.1 is a diagram showing a schematic configuration of an entire system for augmenting learning data about an object's behavior according to an embodiment of the present invention.
2 is a diagram showing in detail the internal configuration of a learning data augmentation system according to an embodiment of the present invention.
3 to 8 exemplarily illustrate a process of augmenting learning data about an object's behavior according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable any person skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented from one embodiment to another without departing from the spirit and scope of the present invention. It should also be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Therefore, the detailed description to be described later is not performed in a limiting sense, and the scope of the present invention should be taken as encompassing the scope claimed by the claims and all scopes equivalent thereto. Like reference numbers in the drawings indicate the same or similar elements throughout the various aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those skilled in the art to easily practice the present invention.

본 명세서에서 행동이란, 반드시 객체의 움직임이 있는 동작만을 의미하는 것은 아니고, 객체가 자세의 변화 없이(또는 움직임이 거의 없는 상태로) 소정 시간 동안 특정 자세를 유지하는 상태를 의미할 수도 있는 것으로 이해되어야 한다.Behavior in this specification does not necessarily mean only an action with movement of an object, but can also mean a state in which an object maintains a specific posture for a predetermined time without a change in posture (or in a state with little movement). It should be.

전체 시스템의 구성Composition of the whole system

도 1은 본 발명의 일 실시예에 따라 객체의 행동에 관한 학습 데이터를 증강하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a diagram showing a schematic configuration of an entire system for augmenting learning data about an object's behavior according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 학습 데이터 증강 시스템(200), 센서(300) 및 디바이스(400)를 포함할 수 있다. 다만, 본 발명의 일 실시예에 따른 전체 시스템에 센서(300)가 반드시 포함되는 것은 아니다. 예를 들어, 본 발명의 일 실시예에 따르면, 후술할 바와 같이 기준 행동 데이터가 객체의 행동에 관한 시뮬레이션이 가능하도록 구현된 물리 엔진으로부터 획득되고 이를 바탕으로 해당 객체의 임의의 행동에 관한 학습 데이터를 증강하는 경우에는 전체 시스템에 센서(300)가 포함되지 않을 수도 있다.As shown in FIG. 1 , the entire system according to an embodiment of the present invention may include a communication network 100 , a learning data augmentation system 200 , a sensor 300 and a device 400 . However, the sensor 300 is not necessarily included in the entire system according to an embodiment of the present invention. For example, according to one embodiment of the present invention, as will be described later, reference behavioral data is obtained from a physics engine implemented to enable simulation of an object's behavior, and based on this, learning data about an arbitrary behavior of the corresponding object. In the case of augmenting , the sensor 300 may not be included in the entire system.

먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드 와이드 웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.First, the communication network 100 according to an embodiment of the present invention may be configured regardless of communication aspects such as wired communication or wireless communication, and may include a local area network (LAN) and a metropolitan area network (MAN). ), a wide area network (WAN), and the like. Preferably, the communication network 100 referred to in this specification may be the well-known Internet or the World Wide Web (WWW). However, the communication network 100 may include, at least in part, a known wired/wireless data communication network, a known telephone network, or a known wire/wireless television communication network without being limited thereto.

예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 5G 통신, 블루투스 통신(저전력 블루투스(BLE; Bluetooth Low Energy) 통신 포함), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신망(100)은 광 통신망으로서, 라이파이(LiFi; Light Fidelity) 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.For example, the communication network 100 is a wireless data communication network, WiFi communication, WiFi-Direct communication, Long Term Evolution (LTE) communication, 5G communication, Bluetooth communication (low power Bluetooth (BLE) ; Bluetooth Low Energy) communication), infrared communication, ultrasonic communication, and the like may be implemented in at least a part thereof. For another example, the communication network 100 is an optical communication network, and may implement a conventional communication method such as LiFi (Light Fidelity) in at least a part thereof.

한편, 본 발명의 일 실시예에 따른 통신망(100)은 둘 이상의 종류의 통신망으로 구성될 수 있다. 예를 들면, 학습 데이터 증강 시스템(200)과 디바이스(400) 사이의 통신망은 LTE 통신, 5G 통신 등의 고속 무선 통신망 또는 유선 통신망일 수 있고, 학습 데이터 증강 시스템(200)과 센서(300) 사이의 통신망은 로라완(LoRaWAN) 시그폭스(SIGFOX), 엘티이-엠티시(LTE-MTC), 협대역 사물 인터넷(NB-IoT) 등의 LPWAN(Low Power Wide Area Network)일 수 있다.Meanwhile, the communication network 100 according to an embodiment of the present invention may be composed of two or more types of communication networks. For example, the communication network between the learning data augmentation system 200 and the device 400 may be a high-speed wireless communication network or wired communication network such as LTE communication or 5G communication, and the communication network between the learning data augmentation system 200 and the sensor 300 The communication network of may be a Low Power Wide Area Network (LPWAN) such as LoRaWAN, SIGFOX, LTE-MTC, and NB-IoT.

다만, 본 발명의 일 실시예에 따른 통신망(100)의 구성은 위에서 설명된 것에 한정되지 않으며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.However, the configuration of the communication network 100 according to an embodiment of the present invention is not limited to that described above, and may be variously changed within a range capable of achieving the object of the present invention.

다음으로, 본 발명의 일 실시예에 따른 학습 데이터 증강 시스템(200)은 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하고, 그 기준 행동 데이터를 둘 이상의 그룹으로 그룹화하고 그 둘 이상의 그룹 중 적어도 하나의 그룹에 대하여 그 그룹화된 기준 행동 데이터와 연관되는 증강 데이터를 그 그룹화된 기준 행동 데이터와 같은 그룹에 속하도록 생성함으로써, 위의 객체의 임의의 행동에 관한 학습 데이터를 증강하는 기능을 수행할 수 있다.Next, the learning data augmentation system 200 according to an embodiment of the present invention obtains reference behavioral data about an arbitrary behavior determined by a user with respect to an object, groups the reference behavioral data into two or more groups, For at least one of the two or more groups, augmentation data associated with the grouped reference behavioral data is generated to belong to the same group as the grouped reference behavioral data, thereby learning data about an arbitrary behavior of the above object. augmentation function can be performed.

또한, 본 발명의 일 실시예에 따른 학습 데이터 증강 시스템(200)은 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하고, 위의 임의의 행동과 연관되는 소정의 종류의 비정상 패턴에 관한 정보에 기초하여 위의 기준 행동 데이터를 변형한 증강 데이터를 생성함으로써, 위의 객체의 임의의 행동에 관한 학습 데이터를 증강하는 기능을 수행할 수 있다.In addition, the learning data augmentation system 200 according to an embodiment of the present invention obtains reference behavioral data about an arbitrary behavior determined by a user with respect to an object, and obtains a predetermined type of behavior associated with the above arbitrary behavior. A function of augmenting learning data related to an arbitrary behavior of the object may be performed by generating augmented data obtained by modifying the reference behavioral data based on information on the abnormal pattern.

본 발명에 따른 학습 데이터 증강 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다.The configuration and function of the learning data augmentation system 200 according to the present invention will be described in detail through the following detailed description.

다음으로, 본 발명의 일 실시예에 따른 센서(300)는 학습 데이터 증강 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 공지의 6축 각속도/가속도 센서를 포함할 수 있다. 따라서, 센서(300)에 의하여 X축, Y축 및 Z축의 가속도와 각속도(즉, 어떤 방향으로 기울어지는 속도)를 측정할 수 있다. 나아가, 각가속도가 각속도와 함께 또는 각속도를 대신하여 측정될 수도 있다. 이러한 센서(300)는 객체(예를 들면, 사람, 송아지 등)의 신체의 일부에 착용되거나 삽입될 수 있다. 다만, 본 발명의 일 실시예에 따른 센서(300)의 종류 및 센서(300)가 착용되거나 삽입되는 위치에 특별한 제한이 있는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다. 예를 들면, 본 발명의 일 실시예에 따른 센서(300)에는 각속도 및 가속도 센서가 아닌 다른 종류의 센서가 포함될 수 있고, 객체의 신체 내부에 삽입될 수도 있다.Next, the sensor 300 according to an embodiment of the present invention is a digital device having a function to communicate after accessing the learning data augmentation system 200, and may include a known 6-axis angular velocity/acceleration sensor. can Accordingly, the X, Y, and Z-axis accelerations and angular velocities (ie, tilting speeds in certain directions) can be measured by the sensor 300 . Furthermore, angular acceleration may be measured together with or instead of angular velocity. Such a sensor 300 may be worn or inserted into a part of the body of an object (eg, a person, a calf, etc.). However, there is no particular limitation on the type of sensor 300 and the position where the sensor 300 is worn or inserted according to an embodiment of the present invention, and various changes are made within the scope of achieving the object of the present invention. It can be. For example, the sensor 300 according to an embodiment of the present invention may include other types of sensors other than angular velocity and acceleration sensors, and may be inserted into the body of an object.

특히, 본 발명의 일 실시예에 따른 센서(300)는, 사용자가 학습 데이터 증강 시스템(200)으로부터 본 발명에 따른 기능을 제공받을 수 있도록 지원하는 애플리케이션(미도시됨)을 포함할 수 있다. 이와 같은 애플리케이션은 학습 데이터 증강 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 한편, 이러한 애플리케이션의 성격은 후술할 바와 같은 학습 데이터 증강 시스템(200)의 기준 행동 데이터 획득부(210), 학습 데이터 증강부(220), 타겟 모델 결정부(230), 통신부(240) 및 제어부(250)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.In particular, the sensor 300 according to an embodiment of the present invention may include an application (not shown) that supports the user to receive the function according to the present invention from the learning data augmentation system 200 . Such an application may be downloaded from the learning data augmentation system 200 or an external application distribution server (not shown). On the other hand, the characteristics of these applications are the reference behavioral data acquisition unit 210, the learning data augmentation unit 220, the target model determination unit 230, the communication unit 240, and the control unit of the learning data augmentation system 200, which will be described later. It may be generally similar to (250). Here, at least a part of the application may be replaced with a hardware device or a firmware device capable of performing substantially the same or equivalent functions as necessary.

다음으로, 본 발명의 일 실시예에 따른 디바이스(400)는 학습 데이터 증강 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿, 스마트 워치, 스마트 밴드, 스마트 글래스, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(400)로서 채택될 수 있다.Next, the device 400 according to an embodiment of the present invention is a digital device having a function to communicate after accessing the learning data augmentation system 200, such as a smartphone, tablet, smart watch, smart band, As the device 400 according to the present invention, any digital device equipped with a memory unit and equipped with a microprocessor, such as a smart glass, desktop computer, notebook computer, workstation, PDA, web pad, mobile phone, etc. It can be.

특히, 디바이스(400)는, 사용자가 학습 데이터 증강 시스템(200)으로부터 본 발명에 따른 기능을 제공받을 수 있도록 지원하는 애플리케이션(미도시됨)을 포함할 수 있다. 이와 같은 애플리케이션은 학습 데이터 증강 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 한편, 이러한 애플리케이션의 성격은 후술할 바와 같은 학습 데이터 증강 시스템(200)의 기준 행동 데이터 획득부(210), 학습 데이터 증강부(220), 타겟 모델 결정부(230), 통신부(240) 및 제어부(250)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.In particular, the device 400 may include an application (not shown) that supports the user to receive functions according to the present invention from the learning data augmentation system 200 . Such an application may be downloaded from the learning data augmentation system 200 or an external application distribution server (not shown). On the other hand, the characteristics of these applications are the reference behavioral data acquisition unit 210, the learning data augmentation unit 220, the target model determination unit 230, the communication unit 240, and the control unit of the learning data augmentation system 200, which will be described later. It may be generally similar to (250). Here, at least a part of the application may be replaced with a hardware device or a firmware device capable of performing substantially the same or equivalent functions as necessary.

학습 데이터 증강 시스템의 구성Configuration of learning data augmentation system

이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 학습 데이터 증강 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the learning data augmentation system 200 that performs important functions for the implementation of the present invention and the functions of each component will be reviewed.

도 2는 본 발명의 일 실시예에 따른 학습 데이터 증강 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram showing in detail the internal configuration of the learning data augmentation system 200 according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 학습 데이터 증강 시스템(200)은, 기준 행동 데이터 획득부(210), 학습 데이터 증강부(220), 타겟 모델 결정부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 기준 행동 데이터 획득부(210), 학습 데이터 증강부(220), 타겟 모델 결정부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 학습 데이터 증강 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 학습 데이터 증강 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.As shown in FIG. 2 , the learning data augmentation system 200 according to an embodiment of the present invention includes a reference behavior data acquisition unit 210, a learning data augmentation unit 220, a target model determination unit 230, It may be configured to include a communication unit 240 and a control unit 250. According to an embodiment of the present invention, at least some of the reference behavior data acquisition unit 210, the learning data augmentation unit 220, the target model determination unit 230, the communication unit 240, and the control unit 250 are external. It may be a program module that communicates with a system (not shown) of. These program modules may be included in the learning data augmentation system 200 in the form of an operating system, application program module, or other program module, and may be physically stored in various known storage devices. Also, these program modules may be stored in a remote storage device capable of communicating with the learning data augmentation system 200 . Meanwhile, these program modules include routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention, but are not limited thereto.

한편, 학습 데이터 증강 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 학습 데이터 증강 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 센서(300), 디바이스(400) 또는 서버(미도시됨) 내에서 실현되거나 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.Meanwhile, although the learning data augmentation system 200 has been described as above, this description is exemplary, and at least some of the components or functions of the learning data augmentation system 200 include the sensor 300 and the device 400 as needed. ) or a server (not shown), or may be included in an external system (not shown).

먼저, 본 발명의 일 실시예에 따른 기준 행동 데이터 획득부(210)는, 객체에 대하여 사용자에 의하여 정해지는 임의의 행동에 관한 기준 행동 데이터를 획득하는 기능을 수행할 수 있다.First, the reference behavioral data acquisition unit 210 according to an embodiment of the present invention may perform a function of obtaining reference behavioral data regarding an arbitrary behavior determined by a user with respect to an object.

구체적으로, 본 발명의 일 실시예에 따르면, 후술할 행동 평가 모델(또는 타겟 모델)을 이용하여 객체의 신체 상태나 운동 능력을 평가함에 있어서 그 평가의 기초가 되는 해당 객체의 임의의 행동은 사용자에 의하여 정해질 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 객체는 송아지와 같은 가축이나 다른 동물, 사람 등을 의미할 수 있고, 사용자는 피트니스(fitness) 코치, 운동 치료사 등을 의미할 수 있다.Specifically, according to one embodiment of the present invention, in evaluating the physical state or motor ability of an object using a behavioral evaluation model (or target model) to be described later, any action of the corresponding object that is the basis of the evaluation is determined by the user. can be determined by Here, according to an embodiment of the present invention, the object may mean livestock such as a calf, other animals, or people, and the user may mean a fitness coach or exercise therapist.

그리고, 본 발명의 일 실시예에 따르면, 객체의 임의의 행동이란 사용자가 정한 특정 운동 동작(예를 들면, 스쿼트, 한쪽(또는 양쪽) 팔을 30도 들어올리기(또는 들어올렸다가 내리기) 등)을 사용자가 정한 횟수만큼 및/또는 사용자가 정한 시간동안 수행하는 객체의 행동을 의미할 수 있다.And, according to one embodiment of the present invention, an arbitrary action of an object is a specific exercise action defined by a user (eg, squat, lifting one (or both) arms 30 degrees (or lifting and then lowering), etc.) It may mean an action of an object that performs as many times as the user determines and/or for a time determined by the user.

다만, 본 발명의 일 실시예에 따른 객체, 사용자 및 임의의 행동이 위에서 설명된 내용에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.However, objects, users, and arbitrary actions according to an embodiment of the present invention are not limited to the above description, and may be variously changed within the scope of achieving the object of the present invention.

계속하여, 본 발명의 일 실시예에 따르면, 기준 행동 데이터는 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)가 증강 데이터를 생성함에 있어서 그 바탕이 되는 행동 데이터를 의미할 수 있다. 본 발명의 일 실시예에 따르면, 기준 행동 데이터에는 객체의 임의의 행동에 관한 해당 객체의 정상 기준 행동 데이터 및 그 임의의 행동에 관한 해당 객체의 비정상 기준 행동 데이터가 포함될 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 객체의 임의의 행동에 관한 정상 기준 행동 데이터는 (가상의) 객체가 사용자에 의하여 정해진 임의의 행동을 올바르게 수행했을 때에 본 발명의 일 실시예에 따른 기준 행동 데이터 획득부(210)에 의하여 획득되는 기준 행동 데이터를 의미할 수 있다. 그리고, 본 발명의 일 실시예에 따르면, 비정상 기준 행동 데이터는 (가상의) 해당 객체가 그 임의의 행동을 잘못 수행했을 때에 본 발명의 일 실시예에 따른 기준 행동 데이터 획득부(210)에 의하여 획득되는 기준 행동 데이터를 의미할 수 있다. 예를 들어, 본 발명의 일 실시시예에 따르면, 비정상 기준 행동 데이터는, 객체가 사용자에 의하여 정해진 임의의 행동을 수행할 때에 자세가 소정 수준 이상 흔들리거나, 목표치(예를 들면, 소정의 횟수, 강도, 각도, 유지 시간 등)에 미달되거나, 소정의 시간보다 더 느리거나 더 빠르게 수행하거나, 중심을 유지하지 못해서 자세의 축이 잘못된 상태에서 수행되는 등의 경우에 획득되는 기준 행동 데이터를 의미할 수 있다.Continuing, according to an embodiment of the present invention, the reference behavioral data may refer to behavioral data that is a basis of the learning data augmentation unit 220 according to an embodiment of the present invention when generating augmented data. According to an embodiment of the present invention, the reference behavior data may include normal reference behavior data of a corresponding object regarding an arbitrary behavior of the object and abnormal reference behavior data of a corresponding object regarding the arbitrary behavior. Here, according to an embodiment of the present invention, the normal reference behavioral data regarding an arbitrary behavior of an object is a criterion according to an embodiment of the present invention when a (virtual) object correctly performs an arbitrary behavior determined by a user. It may refer to reference behavioral data acquired by the behavioral data acquisition unit 210 . In addition, according to an embodiment of the present invention, the abnormal reference behavior data is obtained by the reference behavior data acquisition unit 210 according to an embodiment of the present invention when the corresponding (virtual) object incorrectly performs its arbitrary behavior. It may refer to acquired reference behavioral data. For example, according to an embodiment of the present invention, the abnormal reference behavior data may be when the object performs a certain behavior determined by the user, the posture is shaken at a predetermined level or more, or a target value (eg, a predetermined number of times) , intensity, angle, holding time, etc.), performing slower or faster than a predetermined time, or performing in a state where the axis of posture is wrong due to failure to maintain the center of gravity. can do.

다만, 본 발명의 일 실시예에 따른 기준 행동 데이터에 관한 내용이 위에서 설명된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다. 예를 들어, 본 발명의 일 실시예에 따르면, 기준 행동 데이터는 정상 기준 행동 데이터 및 비정상 기준 행동 데이터로 구분되지 않고, 세 종류 이상의 행동 데이터(예를 들면, 제1 기준 행동 데이터, 제2 기준 행동 데이터, 제3 기준 행동 데이터 등)로 구분될 수 있고, 비정상 기준 행동 데이터가 위에서 예시한 경우가 아닌 다른 유사한 경우에 획득되는 기준 행동 데이터를 의미할 수도 있다.However, the contents of the reference behavioral data according to an embodiment of the present invention are not limited to those described above, and may be variously changed within a range capable of achieving the object of the present invention. For example, according to one embodiment of the present invention, the standard behavior data is not divided into normal standard behavior data and abnormal standard behavior data, but three or more types of behavior data (eg, first standard behavior data, second standard behavior data). behavioral data, third reference behavioral data, etc.), and abnormal reference behavioral data may refer to reference behavioral data obtained in other similar cases other than the cases exemplified above.

한편, 본 발명의 일 실시예에 따른 기준 행동 데이터 획득부(210)는, 객체의 행동에 관한 시뮬레이션이 가능하도록 구현된 물리 엔진 및 해당 객체에 대한 센서 중 적어도 하나로부터 해당 객체의 임의의 행동에 관한 기준 행동 데이터를 획득할 수 있다.On the other hand, the reference behavioral data acquisition unit 210 according to an embodiment of the present invention determines an arbitrary behavior of a corresponding object from at least one of a physics engine implemented to simulate the behavior of an object and a sensor for the corresponding object. It is possible to obtain reference behavioral data regarding

구체적으로, 본 발명의 일 실시예에 따른 기준 행동 데이터 획득부(210)는, 위와 같이 구현된 물리 엔진을 이용하여 사용자에 의하여 정해지는 임의의 행동이 가상의 객체에 의하여 수행되도록 시뮬레이션을 할 수 있다. 그리고, 본 발명의 일 실시예에 따른 기준 행동 데이터 획득부(210)는, 이렇게 시뮬레이션됨에 따라 생성되는 데이터를 그 임의의 행동에 관한 기준 행동 데이터로서 획득할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 이렇게 획득되는 기준 행동 데이터는 객체가 센서를 신체의 일부에 착용한 상태에서 위의 임의의 행동을 수행한다고 가정할 때에 획득될 수 있는 기준 행동 데이터를 의미할 수 있다.Specifically, the reference behavioral data acquisition unit 210 according to an embodiment of the present invention may simulate an arbitrary behavior determined by a user to be performed by a virtual object using the physics engine implemented as above. there is. In addition, the reference behavioral data acquisition unit 210 according to an embodiment of the present invention may obtain data generated as a result of the simulation as reference behavioral data for an arbitrary behavior. Here, according to an embodiment of the present invention, the reference behavioral data obtained in this way means reference behavioral data that can be obtained when it is assumed that the object performs any of the above actions while wearing the sensor on a part of the body. can do.

또한, 본 발명의 일 실시예에 따른 기준 행동 데이터 획득부(210)는, 객체가 센서(300; 즉 객체에 대한 센서)를 신체의 일부에 착용한 상태에서 사용자에 의하여 정해지는 임의의 행동을 실제로 수행하는 경우에 그 센서(300)에 의하여 실제로 측정되는 데이터를 그 임의의 행동에 관한 기준 행동 데이터로서 획득할 수 있다.In addition, the reference behavioral data acquisition unit 210 according to an embodiment of the present invention performs an arbitrary behavior determined by a user in a state in which an object wears a sensor 300 (that is, a sensor for an object) on a part of the body. In the case of actually performing, data actually measured by the sensor 300 may be obtained as reference behavioral data for the arbitrary behavior.

한편, 이상 및 이하에서 설명되는 기준 행동 데이터가 반드시 객체의 행동에 관한 시뮬레이션이 가능하도록 구현된 물리 엔진이나 객체에 대한 센서(300)로부터 획득(또는 측정)되는 로(raw) 데이터를 의미하는 것은 아니다. 즉, 본 발명의 일 실시예에 따르면, 기준 행동 데이터는 위의 로 데이터에서 노이즈를 제거하거나 위의 로 데이터(또는 위의 로 데이터에서 노이즈가 제거된 데이터)로부터 특정 데이터(예를 들면, 가속도 데이터에 포함되는 각 축의 가속도 값의 제곱을 더한 값의 제곱근, 즉, 중력 놈(norm) 데이터)를 도출하는 등의 전처리를 한 데이터를 의미할 수도 있다. 다만, 본 발명의 일 실시예에 따라 위의 로 데이터를 전처리하는 방식이나 기준 행동 데이터를 획득하는 방식이 위에서 설명된 열거된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.On the other hand, the reference behavioral data described above and below do not necessarily mean raw data obtained (or measured) from a physics engine implemented to simulate the behavior of an object or the sensor 300 for an object. no. That is, according to an embodiment of the present invention, the reference behavioral data is noise removed from the above raw data or specific data (eg, acceleration) from the above raw data (or data from which noise is removed from the above raw data). It may mean data that has been preprocessed, such as deriving the square root of the sum of the squares of the acceleration values of each axis included in the data, that is, gravity norm data. However, the method of preprocessing the raw data or the method of acquiring the reference behavioral data according to an embodiment of the present invention is not limited to the above-described methods, and within the scope of achieving the object of the present invention It can be changed in various ways.

다음으로, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 객체의 임의의 행동에 관한 기준 행동 데이터를 둘 이상의 그룹으로 그룹화하고, 그 둘 이상의 그룹 중 적어도 하나의 그룹에 대하여, 그 그룹화된 기준 행동 데이터와 연관되는 증강 데이터를 그 그룹화된 기준 행동 데이터와 같은 그룹에 속하도록 생성함으로써, 해당 객체의 임의의 행동에 관한 학습 데이터를 증강하는 기능을 수행할 수 있다.Next, the learning data augmentation unit 220 according to an embodiment of the present invention groups the reference behavioral data regarding the arbitrary behavior of the object into two or more groups, and for at least one group of the two or more groups, By generating the augmented data associated with the grouped reference behavioral data to belong to the same group as the grouped reference behavioral data, it is possible to perform a function of augmenting learning data related to an arbitrary behavior of the corresponding object.

구체적으로, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 소정의 기준, 규칙, 알고리즘 등에 기초하여 객체의 임의의 행동에 관한 기준 행동 데이터를 둘 이상의 그룹으로 그룹화할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 그룹화란 비지도 학습에서의 군집화(clustering)나 지도 학습에서의 분류(classification)를 의미할 수 있으며, 예를 들면, 이러한 그룹화는 K-평균 군집화(K-Means Clustering), 평균 이동 군집화(Mean-Shift Clustering), DBSCAN (Density-Based Spatial Clustering of Applications with Noise) 등의 군집화 알고리즘이나 KNN (K-Nearest Neighbor), Decision Tree, Random Forest, SVM (Support Vector Machine) 등의 분류 알고리즘에 기초하여 수행될 수 있다.Specifically, the learning data augmentation unit 220 according to an embodiment of the present invention may group reference behavioral data regarding an arbitrary behavior of an object into two or more groups based on a predetermined criterion, rule, or algorithm. Here, according to an embodiment of the present invention, grouping may mean clustering in unsupervised learning or classification in supervised learning. For example, such grouping is K-means clustering (K Clustering algorithms such as Means Clustering), Mean-Shift Clustering, DBSCAN (Density-Based Spatial Clustering of Applications with Noise), KNN (K-Nearest Neighbor), Decision Tree, Random Forest, SVM (Support Vector) Machine) and the like can be performed based on a classification algorithm.

보다 구체적으로, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 객체의 임의의 행동에 관한 기준 행동 데이터에 관한 적어도 하나의 특징(feature)에 기초하여 그 기준 행동 데이터를 둘 이상으로 그룹화 할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 특징에는 기준 행동 데이터와 연관되는 물리적 특징이나 통계적 특징들, 예를 들면, 왜도, 첨도, RMS(Root Mean Square) 등이 포함될 수 있다.More specifically, the learning data augmentation unit 220 according to an embodiment of the present invention, based on at least one feature of the reference behavioral data for an arbitrary behavior of an object, converts two or more reference behavioral data. can be grouped into According to an embodiment of the present invention, these characteristics may include physical characteristics or statistical characteristics associated with the reference behavioral data, for example, skewness, kurtosis, root mean square (RMS), and the like.

다만, 본 발명의 일 실시예에 따른 그룹화를 수행하는 방식이 위에서 설명된 내용에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.However, the method of performing grouping according to an embodiment of the present invention is not limited to the above-described content, and may be variously changed within a range capable of achieving the object of the present invention.

계속하면, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 위와 같이 그룹화된 기준 행동 데이터와 연관되는 증강 데이터가 그 그룹화된 기준 행동 데이터와 같은 그룹에 속하도록 그 증강 데이터를 생성할 수 있다. 즉, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 특정 그룹에 대하여, 그 특정 그룹으로 그룹화된 기준 행동 데이터에 기초하여 그 기준 행동 데이터와 연관되는 증강 데이터를 생성할 수 있고, 이때 해당 증강 데이터는 그 기준 행동 데이터와 같은 그룹에 속하도록 생성될 수 있다.Continuing, the learning data augmentation unit 220 according to an embodiment of the present invention generates the augmented data so that the augmented data associated with the grouped reference behavioral data belongs to the same group as the grouped reference behavioral data. can do. That is, the learning data augmentation unit 220 according to an embodiment of the present invention may generate augmented data associated with the reference behavioral data for a specific group based on the reference behavioral data grouped into the specific group, , In this case, the corresponding augmented data may be generated to belong to the same group as the reference behavioral data.

도 3 및 도 4는 본 발명의 일 실시예에 따라 그룹화된 기준 행동 데이터와 연관되는 증강 데이터를 생성하는 과정을 예시적으로 나타내는 도면이다.3 and 4 exemplarily illustrate a process of generating augmented data associated with grouped reference behavioral data according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 특징 1과 특징 2에 기초하여 객체의 임의의 행동에 관한 기준 행동 데이터를 두 개의 그룹, 즉 정상 기준 행동 데이터 그룹과 비정상 기준 행동 데이터로 그룹화할 수 있다.Referring to FIG. 3 , the learning data augmentation unit 220 according to an embodiment of the present invention divides reference behavior data for an arbitrary behavior of an object into two groups based on characteristics 1 and 2, that is, normal standard behavior. It can be grouped into data groups and abnormal reference behavioral data.

계속하여, 도 4를 참조하면, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 정상 기준 행동 데이터 그룹(410)에 대하여, 정상 기준 행동 데이터(도 3 및 도 4에서 백색의 큰 점으로 표시됨)와 연관되는 증강 데이터(도 4에서 백색의 작은 점으로 표시됨)가 정상 기준 행동 데이터와 같은 그룹(410)에 속하도록 해당 증강 데이터를 생성할 수 있다. 마찬가지로, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 비정상 기준 행동 데이터 그룹(420)에 대하여, 비정상 기준 행동 데이터(도 3 및 도 4에서 흑색의 큰 점으로 표시됨)와 연관되는 증강 데이터(도 4에서 흑색의 작은 점으로 표시됨)가 비정상 기준 행동 데이터와 같은 그룹(420)에 속하도록 해당 증강 데이터를 생성할 수 있다.Continuing to refer to FIG. 4 , the learning data augmentation unit 220 according to an embodiment of the present invention, with respect to the normal reference behavior data group 410, normal reference behavior data (white in FIGS. 3 and 4) Corresponding augmented data (indicated by a large dot) and related augmented data (indicated by a small white dot in FIG. 4 ) may belong to the same group 410 as normal reference behavioral data. Similarly, the learning data augmentation unit 220 according to an embodiment of the present invention associates abnormal reference behavioral data (indicated by large black dots in FIGS. 3 and 4 ) with respect to the abnormal reference behavioral data group 420. Corresponding augmented data may be generated so that augmented data (indicated by a small black dot in FIG. 4 ) belongs to the same group 420 as the abnormal reference behavioral data.

한편, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 객체의 임의의 행동과 연관되는 소정의 종류의 비정상 패턴에 관한 정보에 기초하여 해당 그 임의의 행동에 관한 기준 행동 데이터를 변형한 증강 데이터를 생성함으로써, 해당 객체의 임의의 행동에 관한 학습 데이터를 증강하는 기능을 수행할 수 있다.On the other hand, the learning data augmentation unit 220 according to an embodiment of the present invention, based on the information on the abnormal pattern of a predetermined type associated with the arbitrary behavior of the object, based on the reference behavior data about the arbitrary behavior By generating modified augmented data, it is possible to perform a function of augmenting learning data related to an arbitrary behavior of the corresponding object.

구체적으로, 본 발명의 일 실시예에 따르면, 위의 비정상 패턴에 관한 정보에는 객체가 사용자에 의하여 정해진 임의의 행동을 수행할 때에 자세가 흔들리는 경우에 발생될 수 있는 패턴(즉, 흔들림 패턴), 목표치(예를 들면, 소정의 횟수, 강도, 각도, 유지 시간 등)에 미달된 경우에 발생될 수 있는 패턴(즉, 목표 미달성 패턴), 소정의 시간보다 더 느리거나 더 빠르게 수행된 경우에 발생될 수 있는 패턴(즉, 느린 행동 패턴 또는 빠른 행동 패턴), 중심을 유지하지 못해서 자세의 축이 잘못된 상태에서 수행되는 경우에 발생될 수 있는 패턴(즉, 축 유지 실패 패턴) 등에 관한 정보가 포함될 수 있다. 다만, 본 발명의 일 실시예에 따른 비정상 패턴에 관한 정보는 위의 열거된 것에 한정되지 않으며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있다.Specifically, according to an embodiment of the present invention, the information on the abnormal pattern includes a pattern that may occur when the object shakes when performing an action determined by a user (ie, a shaking pattern), A pattern that can occur when a target value (eg, a predetermined number of times, intensity, angle, holding time, etc.) is not reached (ie, a target failure pattern), when performed more slowly or faster than a predetermined time information about possible patterns (i.e. slow action patterns or fast action patterns), patterns that may occur when performing in the wrong axis of posture (i.e. failure to maintain axis), etc. can be included However, the information on the abnormal pattern according to an embodiment of the present invention is not limited to the above list, and may be variously changed within the scope of achieving the object of the present invention.

한편, 본 발명의 일 실시예에 따르면, 이러한 비정상 패턴은 사용자에 의하여 정해진 임의의 행동에 따라 정해질 수 있다. 즉, 본 발명의 일 실시예에 따르면, 사용자에 의하여 정해진 임의의 행동이 무엇인지에 따라 발생될 수 있는 비정상 패턴의 종류가 달라질 수 있다.Meanwhile, according to an embodiment of the present invention, such an abnormal pattern may be determined according to an arbitrary action determined by a user. That is, according to an embodiment of the present invention, the type of abnormal pattern that may occur may vary depending on an arbitrary action determined by the user.

도 5 내지 도 8은 본 발명의 일 실시예에 따라 객체의 임의의 행동과 연관되는 소정의 종류의 비정상 패턴에 관한 정보에 기초하여 그 임의의 행동에 관한 기준 행동 데이터를 변형한 증강 데이터를 생성하는 과정을 예시적으로 나타내는 도면이다.5 to 8 generate augmented data by modifying reference behavioral data for an arbitrary behavior based on information about a predetermined type of abnormal pattern associated with an arbitrary behavior of an object according to an embodiment of the present invention. It is a diagram showing the process by way of example.

예를 들면, 도 5를 참조하면, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 객체의 임의의 행동과 연관되는 비정상 패턴 중에서 흔들림 패턴에 관한 정보에 기초하여 그 임의의 행동에 관한 기준 행동 데이터(510)를 변형함으로써 증강 데이터(520)를 생성할 수 있다.For example, referring to FIG. 5 , the learning data augmentation unit 220 according to an embodiment of the present invention performs an arbitrary action based on information about a shaking pattern among abnormal patterns associated with an arbitrary action of an object. Augmented data 520 may be generated by modifying the reference behavioral data 510 related to .

다른 예를 들면, 도 6을 참조하면, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 객체의 임의의 행동과 연관되는 비정상 패턴 중에서 목표 미달성 패턴에 관한 정보에 기초하여 그 임의의 행동에 관한 기준 행동 데이터(610)를 변형함으로써 증강 데이터(620)를 생성할 수 있다.For another example, referring to FIG. 6 , the learning data augmentation unit 220 according to an embodiment of the present invention, based on information about a target non-attainment pattern among abnormal patterns associated with an arbitrary behavior of an object, The augmented data 620 may be generated by modifying the reference behavioral data 610 related to an arbitrary behavior.

또 다른 예를 들면, 도 7을 참조하면, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 객체의 임의의 행동과 연관되는 비정상 패턴 중에서 느린 행동 패턴 또는 빠른 행동 패턴에 관한 정보에 기초하여 그 임의의 행동에 관한 기준 행동 데이터(710)를 변형함으로써 증강 데이터(720 또는 730)를 생성할 수 있다.For another example, referring to FIG. 7 , the learning data augmentation unit 220 according to an embodiment of the present invention provides information about a slow behavior pattern or a fast behavior pattern among abnormal patterns associated with a random behavior of an object. Augmented data 720 or 730 may be generated by modifying the reference behavioral data 710 related to the arbitrary behavior based on .

또 다른 예를 들면, 도 8을 참조하면, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)는, 객체의 임의의 행동과 연관되는 비정상 패턴 중에서 축 유지 실패 패턴에 관한 정보에 기초하여 그 임의의 행동에 관한 기준 행동 데이터(810)를 변형함으로써 증강 데이터(820)를 생성할 수 있다.For another example, referring to FIG. 8 , the learning data augmentation unit 220 according to an embodiment of the present invention, based on information about an axis maintenance failure pattern among abnormal patterns associated with an arbitrary behavior of an object, Augmented data 820 may be generated by modifying the reference behavioral data 810 related to the arbitrary behavior.

다음으로, 본 발명의 일 실시예에 따른 타겟 모델 결정부(230)는, 본 발명의 일 실시예에 따른 학습 데이터 증강부(220)에 의하여 생성되는 증강 데이터 및 본 발명의 일 실시예에 따른 기준 행동 데이터 획득부(210)에 의하여 획득되는 기준 행동 데이터를 이용하여 객체의 임의의 행동에 대한 둘 이상의 행동 평가 모델을 학습시키고, 그 학습에 이용된 증강 데이터 및 기준 데이터 사이의 비율에 기초하여 위의 둘 이상의 행동 평가 모델 중 타겟 모델을 결정하는 기능을 수행할 수 있다.Next, the target model determination unit 230 according to an embodiment of the present invention, the augmented data generated by the learning data augmentation unit 220 according to an embodiment of the present invention and Using the reference behavioral data acquired by the reference behavioral data acquisition unit 210, two or more behavioral evaluation models for an arbitrary behavior of the object are learned, and based on the ratio between the augmented data and the reference data used for learning, It may perform a function of determining a target model among the above two or more behavior evaluation models.

구체적으로, 본 발명의 일 실시예에 따른 타겟 모델 결정부(230)는, 객체의 임의의 행동에 관한 기준 행동 데이터 및 그 기준 행동 데이터에 관한 증강 데이터(즉, 그 기준 행동 데이터와 같은 그룹에 속하는 증강 데이터 및/또는 그 기준 행동 데이터를 변형한 증강 데이터)를 이용하여 그 임의의 행동을 바탕으로 해당 객체의 신체 상태나 운동 능력을 평가할 수 있는 둘 이상의 행동 평가 모델을 학습시킬 수 있다. 본 발명의 일 실시예에 따른 타겟 모델 결정부(230)는, 둘 이상의 행동 평가 모델을 학습시킴에 있어서, 각 모델별로 위와 같이 학습에 이용되는 증강 데이터와 기준 행동 데이터 사이의 비율을 다르게 결정함으로써, 각 모델별로 학습 상태가 달라지도록 할 수 있다. 그리고, 본 발명의 일 실시예에 따른 타겟 모델 결정부(230)는, 각 모델별로 K-Fold Validation 등의 기법으로 위와 같이 학습된 둘 이상의 행동 평가 모델을 평가하고, 그 중에서 최적의 행동 평가 모델을 위의 임의의 행동을 바탕으로 해당 객체의 신체 상태나 운동 능력을 평가하는 데에 사용할 타겟 모델로서 결정할 수 있다.Specifically, the target model determining unit 230 according to an embodiment of the present invention includes reference behavioral data for an arbitrary behavior of an object and augmented data for the reference behavioral data (ie, the same group as the reference behavioral data). Two or more behavioral evaluation models capable of evaluating the physical state or motor ability of the corresponding object may be trained based on the arbitrary behavior using the augmented data belonging thereto and/or the augmented data obtained by modifying the reference behavioral data. In learning two or more behavioral evaluation models, the target model determiner 230 according to an embodiment of the present invention determines a ratio between the augmented data used for learning and the reference behavioral data differently for each model as described above. , the learning state can be changed for each model. In addition, the target model determination unit 230 according to an embodiment of the present invention evaluates two or more behavioral evaluation models learned as described above by a technique such as K-Fold Validation for each model, and selects an optimal behavioral evaluation model among them. may be determined as a target model to be used to evaluate the physical condition or athletic ability of the object based on the above arbitrary actions.

다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 기준 행동 데이터 획득부(210), 학습 데이터 증강부(220) 및 타겟 모델 결정부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.Next, the communication unit 240 according to an embodiment of the present invention enables data transmission and reception from/to the reference behavior data acquisition unit 210, the learning data augmentation unit 220, and the target model determination unit 230. function can be performed.

마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 기준 행동 데이터 획득부(210), 학습 데이터 증강부(220), 타겟 모델 결정부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명의 일 실시예에 따른 제어부(250)는 학습 데이터 증강 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 학습 데이터 증강 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 기준 행동 데이터 획득부(210), 학습 데이터 증강부(220), 타겟 모델 결정부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the control unit 250 according to an embodiment of the present invention controls the flow of data between the reference behavior data acquisition unit 210, the learning data augmentation unit 220, the target model determination unit 230, and the communication unit 240. It can perform control functions. That is, the control unit 250 according to an embodiment of the present invention controls the data flow from/to the outside of the learning data augmentation system 200 or the data flow between each component of the learning data augmentation system 200, The behavior data acquisition unit 210, the learning data augmentation unit 220, the target model determination unit 230, and the communication unit 240 may each be controlled to perform unique functions.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes generated by a compiler. A hardware device may be modified with one or more software modules to perform processing according to the present invention and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.Although the present invention has been described above with specific details such as specific components and limited embodiments and drawings, these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments, and the present invention Those with ordinary knowledge in the technical field to which the invention belongs may seek various modifications and changes from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments and should not be determined, and all scopes equivalent to or equivalently changed from the claims as well as the claims described below are within the scope of the spirit of the present invention. will be said to belong to

100: 통신망
200: 학습 데이터 증강 시스템
210: 기준 행동 데이터 획득부
220: 학습 데이터 증강부
230: 타겟 모델 결정부
240: 통신부
250: 제어부
300: 센서
400: 디바이스100: communication network
200: learning data augmentation system
210: reference behavioral data acquisition unit
220: learning data augmentation unit
230: target model determination unit
240: communication department
250: control unit
300: sensor
400: device

Claims

As a method for augmenting learning data about the behavior of an object,
Obtaining reference behavioral data regarding an arbitrary behavior determined by a user with respect to an object, and
By grouping the reference behavioral data into two or more groups and generating augmented data associated with the grouped reference behavioral data for at least one of the two or more groups to belong to the same group as the grouped reference behavioral data, Augmenting learning data about an arbitrary behavior of an object.
method.

According to claim 1,
The reference behavior data includes normal reference behavior data of the object regarding the arbitrary behavior and abnormal reference behavior data of the object regarding the arbitrary behavior,
In the augmenting step, the reference behavioral data is grouped into the normal reference behavioral data and the abnormal reference behavioral data.
method.

According to claim 1,
In the augmenting step, grouping the reference behavioral data into two or more groups based on at least one characteristic of the reference behavioral data.
method.

According to claim 1,
In the obtaining step, the reference behavior data is obtained from at least one of a sensor for the object and a physics engine implemented to enable simulation of the behavior of the object.
method.

According to claim 1,
At least two behavioral evaluation models for the arbitrary behavior of the object are trained using the augmented data and the reference behavioral data, and based on a ratio between the augmented data and the reference behavioral data used for learning, the two or more behavioral evaluation models are trained. Further comprising determining a target model among the above behavioral evaluation models
method.

As a method for augmenting learning data about the behavior of an object,
Obtaining reference behavioral data regarding an arbitrary behavior determined by a user with respect to an object, and
Augmenting learning data related to the arbitrary behavior of the object by generating augmented data obtained by modifying the reference behavioral data based on information about a predetermined type of abnormal pattern associated with the arbitrary behavior.
method.

According to claim 6,
In the obtaining step, the reference behavior data is obtained from at least one of a sensor for the object and a physics engine implemented to enable simulation of the behavior of the object.
method.

According to claim 6,
At least two behavioral evaluation models for the arbitrary behavior of the object are trained using the augmented data and the reference behavioral data, and based on a ratio between the augmented data and the reference behavioral data used for learning, the two or more behavioral evaluation models are trained. Further comprising determining a target model among the above behavioral evaluation models
method.

A non-temporary computer readable recording medium storing a computer program for executing the method according to claim 1.

A non-temporary computer readable recording medium storing a computer program for executing the method according to claim 6.

A system for augmenting learning data about the behavior of an object, comprising:
A reference behavioral data obtaining unit for obtaining reference behavioral data regarding an arbitrary behavior determined by a user with respect to an object; and
By grouping the reference behavioral data into two or more groups and generating augmented data associated with the grouped reference behavioral data for at least one of the two or more groups to belong to the same group as the grouped reference behavioral data, Including a learning data augmentation unit for augmenting learning data about an arbitrary behavior of an object
system.

According to claim 11,
The reference behavior data includes normal reference behavior data of the object regarding the arbitrary behavior and abnormal reference behavior data of the object regarding the arbitrary behavior,
The learning data augmentation unit groups the reference behavior data into the normal reference behavior data and the abnormal reference behavior data.
system.

According to claim 11,
The learning data augmentation unit groups the reference behavioral data into two or more groups based on at least one characteristic of the reference behavioral data.
system.

According to claim 11,
The reference behavioral data acquisition unit obtains the reference behavioral data from at least one of a physics engine implemented to simulate the behavior of the object and a sensor for the object.
system.

According to claim 11,
At least two behavioral evaluation models for the arbitrary behavior of the object are trained using the augmented data and the reference behavioral data, and based on a ratio between the augmented data and the reference behavioral data used for learning, the two or more behavioral evaluation models are trained. Further comprising a target model determination unit for determining a target model among the above behavioral evaluation models
system.

A system for augmenting learning data about the behavior of an object, comprising:
A reference behavioral data obtaining unit for obtaining reference behavioral data regarding an arbitrary behavior determined by a user with respect to an object; and
and a learning data augmentation unit configured to augment learning data related to an arbitrary behavior of the object by generating augmented data obtained by modifying the reference behavioral data based on information about a predetermined type of abnormal pattern associated with the arbitrary behavior. doing
system.

According to claim 16,
The reference behavioral data acquisition unit obtains the reference behavioral data from at least one of a physics engine implemented to simulate the behavior of the object and a sensor for the object.
system.

According to claim 16,
At least two behavioral evaluation models for the arbitrary behavior of the object are trained using the augmented data and the reference behavioral data, and based on a ratio between the augmented data and the reference behavioral data used for learning, the two or more behavioral evaluation models are trained. Further comprising a target model determination unit for determining a target model among the above behavioral evaluation models
system.