KR102125349B1 - Apparatus and method for inferring behavior pattern - Google Patents

Apparatus and method for inferring behavior pattern Download PDF

Info

Publication number
KR102125349B1
KR102125349B1 KR1020180151558A KR20180151558A KR102125349B1 KR 102125349 B1 KR102125349 B1 KR 102125349B1 KR 1020180151558 A KR1020180151558 A KR 1020180151558A KR 20180151558 A KR20180151558 A KR 20180151558A KR 102125349 B1 KR102125349 B1 KR 102125349B1
Authority
KR
South Korea
Prior art keywords
series data
time series
unit
time
state parameter
Prior art date
Application number
KR1020180151558A
Other languages
Korean (ko)
Inventor
최윤식
전승우
윤종수
홍민수
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180151558A priority Critical patent/KR102125349B1/en
Application granted granted Critical
Publication of KR102125349B1 publication Critical patent/KR102125349B1/en

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

According to an embodiment of the present invention, a device for inferring a behavior pattern can comprise: a location information acquisition unit which acquires location information on the location of an object to infer a behavior pattern; a learning unit receiving the location information by time-series data, which is time-series information and updating the time-series data according to a time-series state parameter in order to classify the behavior pattern of the object; and a behavior pattern inference unit for inferring the behavior pattern for the object based on the calculated classification result. Therefore, an objective of the present invention is to recognize behavior patterns by learning with high learning speeds and high accuracy even with a deep circulatory neural network.

Description

행동 패턴 추론 장치 및 방법 {Apparatus and method for inferring behavior pattern}Apparatus and method for inferring behavior pattern}

본 발명은 행동 패턴 추론 장치 및 방법에 관한 것이다. 보다 자세하게는, 본 발명의 인공 신경망을 이용하여 행동 패턴을 추론하는 행동 패턴 추론 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for inferring behavioral patterns. More specifically, the present invention relates to a behavior pattern inference device and method for inferring a behavior pattern using the artificial neural network of the present invention.

사람의 핵심위치 등으로 구성된 신호를 이용하여 사람의 행동패턴을 인식하는 알고리즘의 필요성이 날로 증가하고 있다. 대표적인 사례로, CCTV와 같은 영상에서 발생하는 범죄/응급상황 등 사람의 비이상적인 행동패턴을 인식하기 위해 매 프레임마다 추출된 사람의 핵심위치를 입력하여 영상 내 사람의 행동 패턴을 인식하고자 하는 방안이 있다.The necessity of an algorithm for recognizing a person's behavior pattern using a signal composed of a person's core position is increasing day by day. As a typical example, in order to recognize a person's non-ideal behavior pattern such as crime/emergency situation occurring in a video such as CCTV, a method to recognize a person's behavior pattern in a video by inputting the core position of the extracted person every frame have.

이외에도 사람의 웨어러블 기기(wearable device) 등으로 구성된 센서 신호가 매 시간마다 입력되어 이를 통해 사람의 행동 패턴을 인식함으로써 다양한 응용분야에 적용되고 있다.In addition, a sensor signal composed of a wearable device of a person is input every hour and is applied to various applications by recognizing a person's behavioral pattern.

최근에는 행동 패턴을 인식하기 위한 방법 중 하나로, 도1에 도시된 바와 같이 구성된 깊은 순환신경망 기술을 사용하고 있다 이와 같은, 깊은 순환신경망만을 이용하여 행동 패턴을 인식하기 위한 학습을 진행하는 경우, 학습속도가 느려질 수 있다는 한계가 있다. Recently, as one of methods for recognizing behavior patterns, a deep circulatory neural network technology configured as shown in FIG. 1 is used. In the case of learning to recognize behavior patterns using only deep circulatory neural networks, learning is performed. There is a limit that it can slow down.

한국 등록 특허 제10-1872811호 (등록)Korean Registered Patent No. 10-1872811 (Registration)

상기 전술한 종래의 문제점을 해결하기 위한 본 발명의 실시예에 따른 행동 패턴 추론 장치 및 방법은, 깊은 순환신경망을 이용하고도 빠른 학습속도와 높은 정확도로 학습하여 행동 패턴을 인식할 수 있도록 하는 것을 목적으로 한다.The behavior pattern inference apparatus and method according to an embodiment of the present invention for solving the above-described conventional problems are to enable the recognition of behavior patterns by learning at a high learning speed and with high accuracy even using a deep circulatory neural network. The purpose.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 행동 패턴 추론 장치는, 행동 패턴을 추론하고자 하는 객체의 위치에 대한 위치 정보를 획득하는 위치 정보 획득부, 상기 위치 정보를 시계열적인 정보인 시계열 데이터(time-series data)로 입력 받고, 상기 객체의 행동 패턴을 분류하기 위하여, 상기 시계열 데이터를 시계열적인 상태 파라미터에 따라 업데이트하는 학습부 및 상기 산출된 분류 결과를 기반으로, 상기 객체에 대한 행동 패턴을 추론하는 행동 패턴 추론부를 포함할 수 있다.The behavior pattern inference device according to an embodiment of the present invention for achieving the above object is a location information acquisition unit that acquires location information about a location of an object to infer the behavior pattern, time-series data that is time-series information of the location information In response to input as (time-series data) and classifying the behavior pattern of the object, based on the learning unit updating the time series data according to time-series state parameters and the calculated classification result, the behavior pattern for the object It may include a behavior pattern inference unit for inferring.

또한, 상기 학습부는, 상기 시계열 데이터를 입력 받는 입력부, 복수 개의 논리 게이트(gate)들을 포함하며, 상기 논리 게이트들에 적용되는 제1차 상태 파라미터를 상기 시계열 데이터에 적용함에 따라 상기 시계열 데이터를 업데이트하는 제1차 시계열 데이터 메모리부, 기 설정된 시간 구간 동안 상기 제1차 시계열 데이터 메모리부에서 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제2차 상태 파라미터를 적용하여 업데이트하는 제1차 순방향 분류부 및 상기 제1차 시계열 데이터 메모리부에서 업데이트된 시계열 데이터에 제3차 상태 파라미터를 적용하여 제1 보조 분류 특징값을 생성하는 제1차 보조 분류부를 더 포함할 수 있다.In addition, the learning unit includes an input unit that receives the time series data, a plurality of logic gates, and updates the time series data as the first state parameter applied to the logic gates is applied to the time series data. A first time series data memory unit, a first forward classifier for updating a time series data updated in the first time series data memory unit for a predetermined time period by applying a second state parameter to nonlinearly classify the data; The first time-series data memory unit may further include a first auxiliary classifying unit that generates a first auxiliary classification feature value by applying a third state parameter to the updated time-series data.

또한, 상기 학습부는, 상기 제1차 순방향 분류부와 연결되어, 상기 제1차 순방향 분류부에서 업데이트된 시계열 데이터에 제4차 상태 파라미터를 적용함에 따라 업데이트하는 제2차 시계열 데이터 메모리부를 더 포함할 수 있다.In addition, the learning unit further includes a second time series data memory unit connected to the first forward classification unit and updated by applying a fourth state parameter to time series data updated by the first forward classification unit. can do.

또한, 상기 학습부는, 상기 제2차 시계열 데이터 메모리부와 연결되며, 상기 제2차 시계열 데이터 메모리부로부터 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제5차 상태 파라미터를 적용하여 업데이트하는 제2차 순방향 분류부를 더 포함할 수 있다.In addition, the learning unit is connected to the second time-series data memory unit, and the second forward direction is updated by applying a fifth-order state parameter to non-linearly classify the updated time-series data from the second time-series data memory unit. It may further include a classification.

또한, 상기 학습부는, 상기 제2차 시계열 데이터 메모리부와 연결되며, 상기 제2차 시계열 데이터 메모리부로부터 업데이트된 시계열 데이터에 제6차 상태 파라미터를 적용하여 제2 보조 분류 특징값을 생성하는 제2차 보조 분류부를 더 포함할 수 있다.In addition, the learning unit is connected to the second time series data memory unit, and generates a second auxiliary classification feature by applying a sixth state parameter to the updated time series data from the second time series data memory unit. The secondary auxiliary classification unit may be further included.

또한, 상기 학습부는, 상기 제1차 시계열 데이터 메모리부 및 상기 제1차 순방향 분류부를 통해 순차적으로 업데이트된 시계열 데이터에 최후 상태 파라미터를 적용하여 최후 분류 특징값을 생성하는 최후 분류부를 더 포함하고, 상기 최후 분류 특징값은 미리 설정된 행동 패턴별 확률 값으로 정의될 수 있다.In addition, the learning unit further includes a last classifying unit generating a last classifying feature value by applying a last state parameter to time series data sequentially updated through the first time series data memory section and the first forward classifying section, The final classification feature value may be defined as a preset probability value for each behavior pattern.

또한, 상기 제1차 시계열 데이터 메모리부는, 양방향 LSTM으로 구현되어 양방향 BN LSTM으로 구현될 수 있다..In addition, the first time series data memory unit may be implemented by bidirectional LSTM and bidirectional BN LSTM.

또한, 상기 제1차 시계열 데이터 메모리부는, 역전파(back propagation) 알고리즘에 따라 상기 보조 분류 특징값을 업데이트할 수 있다.Also, the first time series data memory unit may update the auxiliary classification feature value according to a back propagation algorithm.

또한, 상기 제1차 시계열 데이터 메모리부는, 상기 제1차 시계열 데이터 메모리부의 적어도 하나의 각 노드로 입력되는 상기 시계열 데이터를 상기 각 노드별 미리 정해진 활성화 함수의 활성화 값을 정규화하고, 상기 정규화된 활성화 값에 상기 제1차 상태 파라미터를 적용함에 따라 업데이트하는, 배치 정규화(BN, Batch normalized) LSTM(Long-short term memory)일 수 있다.In addition, the first time series data memory unit normalizes the activation value of a predetermined activation function for each node, and normalizes the time series data input to at least one node of the first time series data memory unit. It may be a batch normalized (BN) long-short term memory (LSTM) that is updated by applying the first state parameter to a value.

또한, 상기 객체는 동적 객체이고, 상기 위치 정보는 상기 동적 객체가 갖는 복수의 관절들의 위치 좌표를 포함하거나, 상기 객체는 제품 조립 공정에서 조립 해야 하는 부품이고, 상기 위치 정보는 상기 부품의 현재 위치 또는 상기 부품이 조립되어야 할 위치에 대한 위치 정보를 포함할 수 있다.In addition, the object is a dynamic object, the location information includes the position coordinates of a plurality of joints of the dynamic object, or the object is a component to be assembled in a product assembly process, and the location information is the current location of the component Or, it may include location information on a location where the component should be assembled.

상술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 행동 패턴을 추론하기 위한 장치는, 행동 패턴을 추론하고자 하는 객체의 위치에 대한 시계열적인 정보인 시계열 데이터(time-series data)를 입력 받는 입력부, 복수 개의 논리 게이트(gate)들을 포함하며, 상기 논리 게이트들에 적용되는 제1차 상태 파라미터를 상기 시계열 데이터에 적용함에 따라 상기 시계열 데이터를 업데이트하는 제1차 시계열 데이터 메모리부, 기 설정된 시간 구간 동안 상기 제1차 시계열 데이터 메모리부에서 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제2차 상태 파라미터를 적용하여 업데이트하는 제1차 순방향 분류부, 상기 제1차 시계열 데이터 메모리부에서 업데이트된 시계열 데이터에 제3차 상태 파라미터를 적용하여 제1 보조 분류 특징값을 생성하는 제1차 보조 분류부 및 상기 제1차 시계열 데이터 메모리부 및 상기 제1차 순방향 분류부를 통해 순차적으로 업데이트된 시계열 데이터에 최후 상태 파라미터를 적용하여 최후 분류 특징값을 생성하는 최후 분류부를 포함할 수 있다.An apparatus for inferring a behavior pattern according to another embodiment of the present invention for achieving the above object receives time-series data, which is time-series information about the location of an object to infer the behavior pattern An input unit, a first time series data memory unit including a plurality of logic gates, and updating the time series data by applying a first state parameter applied to the logic gates to the time series data, a preset time A first forward sorting unit that updates by applying a second state parameter to non-linearly classify the time series data updated in the first time series data memory unit during the interval, and the time series data updated in the first time series data memory unit The first auxiliary classification unit to generate a first auxiliary classification feature value by applying a third state parameter to the first time series data memory unit and the first forward classification unit to sequentially update time series data. A last classification unit generating a last classification characteristic value by applying state parameters may be included.

또한, 상기 제1차 순방향 분류부와 연결되어, 상기 제1차 순방향 분류부에서 업데이트된 시계열 데이터에 제4차 상태 파라미터를 적용함에 따라 업데이트하는 제2차 시계열 데이터 메모리부, 상기 제2차 시계열 데이터 메모리부와 연결되며, 상기 제2차 시계열 데이터 메모리부로부터 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제5차 상태 파라미터를 적용하여 업데이트하는 제2차 순방향 분류부 및 상기 제2차 시계열 데이터 메모리부와 연결되며, 상기 제2차 시계열 데이터 메모리부로부터 업데이트된 시계열 데이터에 제6차 상태 파라미터를 적용하여 제2 보조 분류 특징값을 생성하는 제2차 보조 분류부를 더 포함할 수 있다.In addition, a second time series data memory unit connected to the first forward classifier and updating by applying a fourth state parameter to time series data updated by the first forward classifier, the second time series A second forward sorting unit and the second time series data memory unit connected to a data memory unit and updating by applying a fifth state parameter to non-linearly classify the updated time series data from the second time series data memory unit And a second auxiliary classification unit generating a second auxiliary classification characteristic value by applying a sixth state parameter to updated time series data from the second time series data memory unit.

또한, 상기 제1차 시계열 데이터 메모리부는, 상기 제1차 보조 분류부에서 생성된 상기 제1 보조 분류 특징값을 고려하여 상기 제1차 상태 파라미터에 따른 가중치값들을 변경할 수 있다.Further, the first time series data memory unit may change weight values according to the first state parameter in consideration of the first auxiliary classification feature value generated by the first auxiliary classification unit.

상술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 행동 패턴 추론 방법은, 행동 패턴을 추론하고자 하는 객체의 위치에 대한 위치 정보를 획득하는 단계, 상기 위치 정보를 시계열적인 정보인 시계열 데이터(time-series data)로 입력 받아, 상기 입력된 시계열 데이터를 기 설정된 알고리즘에 따라 분류하여, 상기 시계열 데이터에 대한 정적 또는 동적 특징을 모델링하기 위한 분류 결과를 산출하는 단계, 상기 산출된 분류 결과를 기반으로, 상기 객체에 대한 행동 패턴을 추론하는 단계를 포함할 수 있다.The behavior pattern inference method according to another embodiment of the present invention for achieving the above object is a step of obtaining location information about a location of an object to infer the behavior pattern, time-series data that is time-series information of the location information Input as (time-series data), classifying the input time-series data according to a preset algorithm, and calculating classification results for modeling static or dynamic characteristics of the time-series data, and calculating the calculated classification results. Based on this, it may include the step of inferring the behavior pattern for the object.

또한, 상기 시계열 데이터를 입력 받는 단계, 복수 개의 논리 게이트(gate)들을 포함하며, 상기 논리 게이트들에 적용되는 제1차 상태 파라미터를 상기 시계열 데이터에 적용함에 따라 상기 시계열 데이터를 업데이트하는 단계, 기 설정된 시간 구간 동안 상기 제1차 상태 파라미터가 적용되어 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제2차 상태 파라미터를 적용하여 업데이트하는 단계 및 상기 제1차 상태 파라미터가 적용되어 업데이트된 시계열 데이터에 제3차 상태 파라미터를 적용하여 제1 보조 분류 특징값을 생성하는 단계를 포함할 수 있다.In addition, receiving the time series data, including a plurality of logic gates (gates), updating the time series data by applying the first state parameter applied to the logic gates to the time series data, Updating by applying a second state parameter in order to non-linearly classify the updated time series data by applying the first state parameter during a set time period, and third by applying the first state parameter to the updated time series data And generating a first auxiliary classification feature value by applying the difference state parameter.

본 발명의 실시예에 따른 행동 패턴 추론 장치 및 방법은, 기존의 순환신경망만으로 구성된 구조보다 빠르게 행동패턴을 학습하고, 높은 정확도로 행동패턴을 분류해 낼 수 있는 효과가 있다.The behavior pattern inference apparatus and method according to an embodiment of the present invention has an effect of learning behavior patterns faster than a structure composed of only existing circulatory neural networks and classifying behavior patterns with high accuracy.

도1은 종래에 이용되어 왔던 행동패턴 인식 알고리즘을 개략적으로 도시한 도면이다.
도2는 본 발명의 일 실시예에 따른 행동 패턴 추론 장치의 구성을 개략적으로 도시한 블록도이다.
도3은 본 발명의 일 실시예에 따른 학습부의 구체적인 구성을 도시한 블록도이다.
도4는 본 발명의 또 다른 일 실시예에 따라 객체의 위치 정보가 입력된 시점부터 행동 패턴별 확률값을 도출해내는 시점까지의 동작과정을 설명하기 위해 도시한 학습부의 구조를 도시한 도면이다.
도5는 본 발명의 일 실시예에 따른 시계열 데이터 메모리부의 세부 구성 및 구조를 도시한 도면이다.
도6은 본 발명의 일 실시예에 따른 행동 패턴 추론 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이다.
도7은 본 발명의 실시예에 따른 학습부에서 수행되는 학습단계를 시간에 흐름에 따라 보다 구체적으로 도시한 흐름도이다.1 is a diagram schematically showing a behavior pattern recognition algorithm that has been used in the related art.
Figure 2 is a block diagram schematically showing the configuration of the behavior pattern inference device according to an embodiment of the present invention.
3 is a block diagram showing a specific configuration of a learning unit according to an embodiment of the present invention.
4 is a diagram illustrating a structure of a learning unit illustrated to explain an operation process from a point in time when an object's location information is input to a point in time for deriving a probability value for each behavior pattern according to another embodiment of the present invention.
5 is a diagram illustrating a detailed configuration and structure of a time series data memory unit according to an embodiment of the present invention.
6 is a flowchart schematically showing a behavior pattern inference method according to an embodiment of the present invention over time.
7 is a flowchart more specifically showing a learning step performed in a learning unit according to an embodiment of the present invention over time.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the contents described in the accompanying drawings, which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록"등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로구현될 수 있다.Throughout the specification, when a part “includes” a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise specified. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware or software or hardware. And a combination of software.

이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In addition, in describing the present invention, when it is determined that detailed descriptions of related well-known structures or functions may obscure the subject matter of the present invention, detailed descriptions thereof may be omitted.

이하에서는 본 발명의 실시예에 따른 행동 패턴 추론 장치(10)의 구성을 관련된 도면을 참조하여 상세히 설명한다. 도2는 본 발명의 일 실시예에 따른 행동 패턴 추론 장치(10)의 구성을 개략적으로 도시한 블록도이다. 도2를 참조하면, 본 발명의 실시예에 따른 행동 패턴 추론 장치(10)는 위치 정보 획득부(100), 학습부(200) 및 행동 패턴 추론부(300)를 포함하여 구성될 수 있다.Hereinafter, a configuration of the behavior pattern inference device 10 according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. 2 is a block diagram schematically showing the configuration of the behavior pattern inference device 10 according to an embodiment of the present invention. Referring to Figure 2, the behavior pattern inference device 10 according to an embodiment of the present invention may be configured to include a location information acquisition unit 100, the learning unit 200 and the behavior pattern inference unit 300.

먼저, 본 발명의 실시예에 따른 위치 정보 획득부(100)는 행동 패턴을 추론하고자 하는 객체의 위치에 대한 복수개의 위치 정보들을 획득할 수 있다. 여기서, 객체는 동적 개체(예를 들어, 사람 또는 동물) 또는 스마트 공정에서 조립해야 하는 부품을 의미할 수 있고, 객체의 위치 정보는 동적 객체가 갖는 복수의 관절들의 위치 좌표를 포함하거나, 상기 스마트 공정에서 조립해야 하는 부품의 현재 위치 또는 상기 부품이 조립되어야 할 위치에 대한 위치 정보를 포함할 수 있다. First, the location information acquisition unit 100 according to an embodiment of the present invention may acquire a plurality of location information about the location of an object to infer an action pattern. Here, the object may mean a dynamic object (for example, a person or an animal) or a part to be assembled in a smart process, and the position information of the object includes position coordinates of a plurality of joints of the dynamic object, or the smart In the process, it may include location information on a current location of a component to be assembled or a location where the component should be assembled.

이하에서는 이해의 편의롤 돕기 위하여, 일 실시예에 따른 동적 개체인 사람의 관절의 위치에 대한 정보를 이용하여 사람의 행동 패턴을 추론하는 행동 패턴 추론 방법으로 예시하여 설명하도록 한다.Hereinafter, for convenience of understanding, an example of a behavior pattern inference method for inferring a person's behavior pattern using information about a position of a joint of a person who is a dynamic entity according to an embodiment will be described.

예컨대, 사람의 몸에 착용 가능한 안경, 휴대폰, 전자 시계 등과 같은 웨어러블 기기(Wearable device)들에 의해 센싱되는 사람의 관절과 같은 특징부위에 대한 위치 정보로서, 위치 좌표들을 획득할 수 있다. 또한, 본 발명의 일 실시예에 따른 위치 정보 획득부(100)는 기 설정된 시간 간격으로 상기 사람의 각 특징부위에서 센싱한 위치 좌표들을 지속적으로 획득할 수 있다. For example, position coordinates may be obtained as position information on a feature portion such as a joint of a person sensed by wearable devices such as glasses, a mobile phone, and an electronic watch wearable on a human body. In addition, the location information acquisition unit 100 according to an embodiment of the present invention may continuously acquire location coordinates sensed at each feature portion of the person at predetermined time intervals.

상기와 같이 위치 정보 획득부(100)로 획득된 객체의 위치 정보를 학습부(200)로 전달할 수 있다. 본 발명의 실시예에 따른 학습부(200)는 위치 정보 획득부(100)로부터 획득되는 객체의 위치 정보들을 입력 받아, 상기 입력된 위치 정보들을 토대로 인공신경망(Artificial neutral network)을 이용하여 학습함에 따라 미리 설정된 행동 패턴별 확률값을 생성할 수 있다. 여기서, 행동 패턴별 확률값은 미리 정의된 특징 벡터값별 확률값으로 구현될 수 있다.As described above, the location information of the object acquired by the location information acquisition unit 100 may be transmitted to the learning unit 200. The learning unit 200 according to an embodiment of the present invention receives location information of an object obtained from the location information acquisition unit 100 and learns using an artificial neutral network based on the input location information. Accordingly, it is possible to generate a probability value for each preset behavior pattern. Here, the probability value for each behavior pattern may be implemented as a probability value for each predefined feature vector value.

그리고, 본 발명의 실시예에 따른 행동 패턴 추론부(300)는 상기 학습부(200)에 의해 학습된 결과, 즉, 미리 설정된 행동 패턴별 확률값을 토대로 상기 추론하고자 하는 객체에 대한 행동 패턴을 추론할 수 있다. Then, the behavior pattern inference unit 300 according to an embodiment of the present invention infers a behavior pattern for an object to be inferred based on a result learned by the learning unit 200, that is, a probability value according to a preset behavior pattern. can do.

본 발명의 일 실시예에 따른 미리 설정된 행동 패턴은 예를 들어 뛰기(running), 걷기(walking), 차기(kicking), 흔들기(swing) 및 던지기(throwing) 등이 있을 수 있다.The preset behavior pattern according to an embodiment of the present invention may include, for example, running, walking, kicking, swinging and throwing.

이하, 도3 내지 도5를 참고하여 본 발명의 학습부의 동작 구성을 상세하게 설명함에 따라 본 발명의 행동 패턴 추론 장치(10)가 객체의 행동 패턴을 추론하는 방법에 대하여 상세하게 설명하도록 한다.Hereinafter, a method of inferring the behavior pattern of the object by the behavior pattern inference apparatus 10 of the present invention will be described in detail with reference to FIGS.

도3은 본 발명의 일 실시예에 따른 학습부(200)의 구체적인 구성을 도시한 블록도이다. 도3을 참조하면, 본 발명의 일 실시예에 따른 학습부(200)는 입력부(210), 시계열 데이터 메모리부(220), 순방향 분류부(230), 보조 분류부(240) 및 최후 분류부(250)를 포함하여 구성될 수 있다.3 is a block diagram showing a specific configuration of the learning unit 200 according to an embodiment of the present invention. 3, the learning unit 200 according to an embodiment of the present invention includes an input unit 210, a time series data memory unit 220, a forward classification unit 230, an auxiliary classification unit 240, and a final classification unit. It may be configured to include 250.

먼저, 본 발명의 실시예에 따른 입력부(210)는 위치 정보 획득부(100)로부터 획득된 객체의 위치에 대한 시계열적인 정보인 시계열 데이터(time-series data)를 입력 받는다. First, the input unit 210 according to an embodiment of the present invention receives time-series data, which is time-series information about the location of an object obtained from the location information acquisition unit 100.

또한, 본 발명의 실시예에 따른 시계열 데이터 메모리부(220)는 도3에 도시된 바와 같이, 제1차 시계열 데이터 메모리부(221), 제2차 시계열 데이터 메모리부(222) 및 제3차 시계열 데이터 메모리부(223)을 포함하여 구성될 수 있다.In addition, the time series data memory unit 220 according to an embodiment of the present invention, as shown in Figure 3, the first time series data memory unit 221, the second time series data memory unit 222 and the third It may be configured to include a time series data memory unit 223.

그리고, 본 발명의 실시예에 따른 순방향 분류부(230)는, 제1차 순방향 분류부(231) 및 제2차 순방향 분류부(232)를 포함하여 구성될 수 있다.In addition, the forward sorting unit 230 according to an embodiment of the present invention may include a first forward sorting unit 231 and a second forward sorting unit 232.

그리고, 본 발명의 실시예에 따른 보조 분류부(240)는 제1차 보조 분류부(241) 및 제2차 보조 분류부(242)를 포함하여 구성될 수 있다.In addition, the auxiliary classification unit 240 according to an embodiment of the present invention may include a primary auxiliary classification unit 241 and a secondary auxiliary classification unit 242.

마지막으로, 본 발명의 실시예에 따른 최후 분류부(250)는 상기, 시계열 데이터 메모리부(220), 순방향 분류부(230) 및 보조 분류부(240)를 통해 입력부(210)에 입력된 시계열 데이터가 분류 및 업데이트되어 최종 추론하고자 하는 행동패턴별 확률값을 생성 및 도출해낼 수 있다.Finally, the last classification unit 250 according to an embodiment of the present invention is the time series input to the input unit 210 through the time series data memory unit 220, the forward classification unit 230 and the auxiliary classification unit 240. Data can be classified and updated to generate and derive probability values for each behavior pattern to be deduced.

상기와 같은, 본 발명의 실시예에 따른 학습부(200)의 각 시계열 데이터 메모리부(221, 222, 223), 순방향 분류부(231, 232) 및 보조 분류부(241, 242)의 개수는 특별히 제한하지 않고, 각각 하나씩으로 구성되어 학습될 수도 있고, 일 실시예에 따른 도3보다 더 깊은 신경망 구조로 구현되어 학습될 수도 있다. 본 명세서에서는 도3과 같이, 시계열 데이터 메모리부는 3개, 순방향 분류부 및 보조 분류부는 각각 2개씩 마련되어 동작되는 것으로 예시하여 설명하도록 한다.As described above, the number of each of the time series data memory units 221, 222, and 223 of the learning unit 200 according to an embodiment of the present invention, the forward classification units 231 and 232, and the auxiliary classification units 241 and 242 is It is not particularly limited, and may be learned by being composed of one by one, or implemented as a deeper neural network structure than FIG. 3 according to an embodiment. In this specification, as shown in FIG. 3, three time-series data memory units, two forward classification units, and two auxiliary classification units are provided, and will be exemplarily described.

도4는 본 발명의 또 다른 일 실시예에 따라 객체의 위치 정보가 입력된 시점부터 행동 패턴별 확률값을 도출해내는 시점까지의 동작과정을 설명하기 위해 도시한 학습부(200)의 구조를 도시한 도면이다.4 is a diagram illustrating the structure of the learning unit 200 illustrated to describe an operation process from a point in time when an object's location information is input to a point in time for deriving a probability value for each behavior pattern according to another embodiment of the present invention. It is a drawing.

도4를 참조하면, 입력부(210) 시계열 데이터 메모리부(221 내지 223), 순방향 분류부(231, 232), 보조 분류부(241, 242) 및 최후 분류부(250)는 복수개의 노드(node)들로 구성될 수 있다. 본 발명의 일 실시예에 따른 시계열 데이터 메모리부(220)는 순환신경망(RNN, Recurrent neural network)의 일 모델인 LSTM(Long-short term memory)일 수 있고, 특히, 양방향(forward pass and backward pass) LSTM으로 구현될 수 있다.Referring to FIG. 4, the input unit 210 time series data memory units 221 to 223, the forward classification units 231 and 232, the auxiliary classification units 241 and 242, and the last classification unit 250 include a plurality of nodes. ). The time series data memory unit 220 according to an embodiment of the present invention may be a long-term term memory (LSTM), which is a model of a recurrent neural network (RNN), and in particular, a forward pass and a backward pass. ) It can be implemented with LSTM.

즉, 본 발명의 시계열 데이터 메모리부(221 내지 223)는 도4에 도시된 바와 같이, 양방향 LSTM으로 구현되어 양방향 BN LSTM으로 구현될 수 있다.That is, as shown in FIG. 4, the time series data memory units 221 to 223 of the present invention may be implemented as bidirectional LSTM and bidirectional BN LSTM.

이때, 본 발명의 실시예에 따른 시계열 데이터 메모리부(221 내지 223)는 내부에 구성된 각 노드로 입력되는 시계열 데이터를, 상기 각 노드별 미리 정해진 활성화 함수의 활성화 값을 정규화하는 동작을 추가로 수행할 수 있다. 즉, 본 발명의 시계열 데이터 메모리부(221 내지 223)는 도1에 도시한 바와 같은 종래의 방식을 이용함으로써 오랜 시간에 걸쳐 학습하게 되는 행동 패턴을 보다 빠르게 학습하고 정확하게 판별하기 위한 양방향 배치 정규화(Batch-normalized) LSTM(BN-LSTM)으로 구현될 수 있다. At this time, the time series data memory unit 221 to 223 according to an embodiment of the present invention further performs an operation of normalizing the time series data input to each node configured therein, and the activation value of a predetermined activation function for each node. can do. That is, the time-series data memory units 221 to 223 of the present invention use a conventional method as shown in FIG. 1 to interactively normalize bidirectional batches for faster learning and accurate discrimination of behavior patterns learned over a long period of time ( Batch-normalized) LSTM (BN-LSTM) may be implemented.

다시, 도4의 입력부(210)가 시계열 데이터(time-series data)를 입력 받는 시점으로 돌아가, 본 발명의 학습부(200)의 동작 구성에 대하여 상세하게 살펴보도록 한다. Again, the input unit 210 of FIG. 4 returns to the time point of receiving time-series data, and the operation configuration of the learning unit 200 of the present invention will be described in detail.

먼저, 본 발명의 실시예에 따른 입력부(210)는 행동 패턴을 추론하고자 하는 객체의 위치에 대한 시계열적인 정보인 시계열 데이터를 입력 받게 된다. 이때, 입력부(210)는 예컨대, 사람의 행동 패턴을 추론하기 위해 사람의 몸에 부착된 웨어러블 기기의 개수 즉, 사람의 특징 위치(예, 관절 위치) 좌표를 획득하는 센서들의 개수에 상응하는 노드의 개수(n개 (단, n은 자연수))로 구성될 수 있고, 입력부(210)는 시계열적인 객체의 위치 정보, 즉, 시계열 정보(Xt, Xt+1)들을 입력 받게 된다. 입력 Xt는 t 시점에 시계열 데이터 메모리부(220)로 입력되는 데이터를 나타낼 수 있다.First, the input unit 210 according to an embodiment of the present invention receives time-series data, which is time-series information about the position of an object to infer an action pattern. At this time, the input unit 210, for example, a node corresponding to the number of wearable devices attached to the body of the person to infer the behavior pattern of the person, that is, the number of sensors to obtain the coordinates of a person's characteristic position (eg, joint position) It can be composed of the number (n (however, n is a natural number)), and the input unit 210 receives time-series object position information, that is, time-series information (X t , X t+1 ). The input X t may represent data input to the time series data memory unit 220 at the time t.

이에 따라, 제1차 시계열 데이터 메모리부(221a, 221b)의 복수 개의 논리 게이트(gate)들을 포함하는 각 노드(BN-LSTM)들은, 상기 각 논리 게이트들에 적용되는 제1차 상태 파라미터를 상기 입력부(210)로부터 입력되는 시계열 데이터에 적용함에 따라 시계열 데이터를 업데이트 할 수 있다. Accordingly, each node (BN-LSTM) including a plurality of logic gates of the first time-series data memory units 221a and 221b is a primary state parameter applied to the respective logic gates. Time series data may be updated as it is applied to time series data input from the input unit 210.

여기서, 제1차 상태 파라미터란 제1차 시계열 데이터 메모리부(221a, 221b)의 각 노드와 연관된 값을 지시하는 파라미터(가중치)이다. 예를 들어, 상태 파라미터는 각 노드의 출력 값 및 각 노드의 셀 상태 값 등으로 포함하고 있을 수 있다. 즉, 상태 파라미터는 노드 파라미터들을 포함할 수 있다. Here, the first state parameter is a parameter (weight) indicating a value associated with each node of the first time series data memory units 221a and 221b. For example, the status parameter may include output values of each node and cell status values of each node. That is, the status parameter may include node parameters.

이때, 본 발명의 시계열 데이터 메모리부(220)의 노드에 대한 세부 구성 및 구조는 도5와 같다. 도5에 따른 본 발명의 시계열 데이터 메모리부(220)는 배치 정규화 LSTM의 세부 구성 및 구조를 나타낸 것이다. At this time, the detailed configuration and structure of the node of the time series data memory unit 220 of the present invention is shown in FIG. 5. The time series data memory unit 220 of the present invention according to FIG. 5 shows the detailed configuration and structure of the batch normalization LSTM.

도5와 같은 본 발명의 시계열 데이터 메모리부(220)의 노드는 입력 게이트(input gate, 출력 게이트(output gate) 그리고 폴겟 게이트(forget gate)를 포함하는 3개의 게이트들로 구성되어, 시계열적으로 입력되는 시계열 데이터를 상태 파라미터를 적용한 활성화 함수를 이용하여 업데이트할 수 있다. 이때, 각 노드의 셀 상태 값 및 출력 값 등은 노드의 게이트에 기초하여 제어될 수 있다. 도5는 배치 정규화된 LSTM의 일반적인 구조 및 구성을 나타낸 것으로서, 공지 기술에 해당하는 LSTM의 동작 알고리즘 및 LSTM에 대한 구체적인 설명은 이하 생략하도록 한다.The node of the time-series data memory unit 220 of the present invention as shown in FIG. 5 is composed of three gates including an input gate, an output gate, and a forget gate. The input time series data can be updated using an activation function applied with a state parameter, wherein the cell state value and output value of each node can be controlled based on the gate of the node. As showing the general structure and configuration of, a detailed description of the LSTM operation algorithm and LSTM corresponding to the known technology will be omitted below.

다음으로 본 발명의 실시예에 따른 제1차 순방향 분류부(231)는, 기 설정된 특정 시간 구간에서의 제1차 시계열 데이터 메모리부(221a, 221b)에서 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제2차 상태 파라미터를 적용하여 업데이트할 수 있다. 여기서, 본 발명의 일 실시예에 따른 순방향 분류부(230)는 순방향 학습 알고리즘에 따른 FFNN(Feed-forward neural network)로 구현될 수 있다.Next, the first forward sorting unit 231 according to an embodiment of the present invention is configured to non-linearly classify the updated time series data in the first time series data memory units 221a and 221b in a predetermined specific time interval. Secondary status parameters can be applied to update. Here, the forward classification unit 230 according to an embodiment of the present invention may be implemented as a fed-forward neural network (FFNN) according to a forward learning algorithm.

이와 동시에, 본 발명의 실시예에 따른 제1차 보조 분류부(241)는, 제1차 시계열 데이터 메모리부(221a, 221b)에서 업데이트된 시계열 데이터에 제3차 상태 파라미터를 적용함에 따라 제1 보조 분류 특징값을 생성할 수 있다. 여기서, 본 발명의 일 실시예에 따른 보조 분류부(240)는 객체의 행동 패턴을 추론 가능한 보조 분류 동작을 수행할 수 있으며, 보조 분류 특징 값이란 미리 설정된 행동 패턴별 확률 값일 수 있다.At the same time, the first auxiliary sorting unit 241 according to an embodiment of the present invention applies the first state parameter to the time series data updated by the first time series data memory units 221a and 221b. Auxiliary classification feature values can be generated. Here, the auxiliary classification unit 240 according to an embodiment of the present invention may perform an auxiliary classification operation capable of inferring an object's behavior pattern, and the auxiliary classification feature value may be a preset probability value for each behavior pattern.

상술한 보조 분류부(240)에 대하여 보다 구체적으로 설명하기 위해 도5를 다시 참고한다. 도5와 같은 배치 정규화가 적용된 BN-LSTM은 배치 정규화가 적용되지 않은 LSTM보다 행동패턴을 빠르게 학습할 수 있다. 하지만, 배치 정규화된 BN-LSTM으로 깊은 순환신경망을 구성하게 될 때, 되려 학습속도가 느려지게 되고, 인식률이 저하하는 부정적인 효과가 발생된다. 이는, 배치 정규화 BN-LSTM이 기존의 LSTM에 비해 많은 파라미터와 통계 변수로 구성되어 있는데, 이것이 깊이 구성될 경우 입력에 가까운 층(layer)(예를 들어, 도4의 제1차 시계열 데이터 메모리부(221))이 충분한 loss gradient를 공급받지 못해, 제3차 시계열 데이터 메모리부(223)보다 비교적 분류 성능이 떨어지고, 그에 따라 학습속도가 느려지게 된다. 즉, BN-LSTM을 아주 깊게 구성하게 되는 경우, 별도의 조치가 없을 경우 전혀 학습이 이루어지지 못하게 되는 심각한 문제를 야기하기도 한다.5 will be referred to again to describe the auxiliary classification unit 240 described above in more detail. BN-LSTM to which batch normalization is applied as shown in FIG. 5 can learn behavior patterns faster than LSTM to which batch normalization is not applied. However, when constructing a deep circulatory neural network with the batch normalized BN-LSTM, the learning speed is slowed down, and a negative effect of decreasing the recognition rate occurs. This, the batch normalization BN-LSTM is composed of many parameters and statistical variables compared to the existing LSTM, a layer close to the input (for example, the first time series data memory unit of FIG. 4) when it is constructed in depth. Since (221)) is not supplied with a sufficient loss gradient, the classification performance is relatively lower than that of the third time series data memory unit 223, and thus the learning speed is slowed down. That is, if the BN-LSTM is configured very deeply, it may cause a serious problem that learning cannot be performed at all without any other action.

보조 분류부(240)는 상술한 바와 같은 종래의 문제점을 해결하기 위해 본 발명의 행동 패턴 추론 장치(10)에 구성된 구성으로서, 양방향으로 순환하는 제1차 및 제2차 시계열 데이터 메모리부(221, 222)와 연결되며, 각 시계열 데이터 메모리부(221, 222, 223)의 층 사이에 배치됨에 따라, 각 제1차 및 제2차 시계열 데이터 메모리부(221, 222)가 학습되기 위한 충분한 크기의 loss gradient를 공급할 수 있도록 한다. The auxiliary classification unit 240 is a configuration configured in the behavior pattern inference device 10 of the present invention to solve the conventional problems as described above, and the primary and secondary time series data memory units 221 circulating in both directions , 222), and as it is disposed between the layers of each time series data memory unit 221, 222, 223, each primary and secondary time series data memory unit 221, 222 is large enough to be learned. It is possible to supply loss gradient of.

보다 구체적으로 설명하면, 제1차 보조 분류부(241)는 이전 층에 배치된 제1차 시계열 데이터 메모리부(221)에서 업데이트된 시계열 데이터에 제3차 상태 파라미터를 적용함에 따라 제1 보조 분류 특징값을 생성하고, 이렇게 생성된 제1 보조 분류 특징값을 토대로, 제1차 보조 분류부(241)는 제1차 상태 파라미터의 가중치 값들을 변경할 수 있다.In more detail, the first auxiliary classification unit 241 applies the first auxiliary classification to the time series data updated in the first time series data memory unit 221 disposed on the previous layer by applying the third state parameter. The feature value is generated, and based on the generated first auxiliary classification feature value, the primary auxiliary classification unit 241 may change weight values of the primary state parameter.

이때, 본 발명에 따른 제1차 내지 제n차 상태 파라미터는 각 층의 복수개의 노드들 각각에 설정되는 임의의 가중치들을 모두 일컫는 용어이다. 예를 들어, 제1차 시계열 데이터 메모리부(221a, 221b)의 노드가 총 6개라고 할 때, 제1차 상태 파라미터는 서로 다르거나 일부 동일할 수 있는 임의의 가중치 값들을 포함하는 용어로서 해석할 수 있다.In this case, the first to nth state parameters according to the present invention are terms that refer to all arbitrary weights set in each of a plurality of nodes in each layer. For example, when there are a total of six nodes in the primary time series data memory units 221a and 221b, the primary state parameter is interpreted as a term including arbitrary weight values that may be different or partially identical. can do.

본 발명의 제1차 시계열 데이터 메모리부(221)는 상술한 바와 같이, 제1차 보조 분류부(241)로부터 생성된 제1 보조 분류 특징값을 토대로 제1차 상태 파라미터의 가중치 값들을 변경하는 동작을 수행할 수 있으므로, 제1차 시계열 데이터 메모리부(221)의 제1차 파라미터에 따른 가중치 값들을 빠르게 수렴시킬 수 있다. 즉, 이에 따른 본 발명의 행동 패턴 추론 장치(10)는 빠른 학습을 수행할 수 있어, 사람의 행동패턴을 빠르게 추론할 수 있게 된다. 즉, 제1차 보조 분류부(241)는 각 시계열 데이터 메모리부(221, 222)에서 나오는 중간 결과를 발생시켜 행동 패턴을 분류하는데, 이는 오직 행동 패턴의 학습 과정에서만 작동함으로써 행동 패턴의 학습을 가속화시킨다.As described above, the first time series data memory unit 221 of the present invention changes weight values of the primary state parameter based on the first auxiliary classification feature value generated from the first auxiliary classification unit 241. Since the operation can be performed, it is possible to quickly converge the weight values according to the first parameter of the first time series data memory unit 221. That is, the behavior pattern inference device 10 according to the present invention can perform quick learning, thereby quickly inferring a person's behavior pattern. That is, the first auxiliary classification unit 241 classifies behavior patterns by generating intermediate results from each of the time series data memory units 221 and 222, which operates only in the learning process of the behavior patterns, thereby learning behavior patterns. Accelerate.

그리고, 제1차 순방향 분류부(231)는 이렇게, 초기 가중치값들에 따른 제1차 상태 파라미터를 기반으로 업데이트된 시계열 데이터들, 또는 제1 보조 분류 특징값을 고려하여 변경된 가중치값들에 따른 제1차 상태 파라미터를 기반으로 업데이트된 시계열 데이터들을 종합하여, 객체의 핵심 위치, 즉, 복수의 관절들 각각의 위치 정보들에 대한 상호 관계를 종합할 수 있다.In addition, the first forward classifying unit 231 may update the time series data based on the first state parameter according to the initial weight values, or the weight values changed in consideration of the first auxiliary classification feature value. Based on the first state parameter, updated time series data may be synthesized, and a core position of an object, that is, a correlation between position information of each of a plurality of joints may be synthesized.

다음으로, 제2차 시계열 데이터 메모리부(222a, 222b)는 제1차 순방향 분류부(231)와 연결되어, 상기 제1차 순방향 분류부(231)에서 종합되어 업데이트된 시계열 데이터에 제4차 상태 파라미터를 적용하여 업데이트할 수 있다. 본 발명의 제2차 시계열 데이터 메모리부(222a, 222b) 역시 제1차 시계열 데이터 메모리부(221)와 마찬가지로 순방향 노드들로 구성된 제2차 시계열 데이터 메모리부(222a) 및 역방향 노드들로 구성된 제2차 시계열 데이터 메모리부(222b)를 포함할 수 있다. Next, the second time-series data memory units 222a and 222b are connected to the first forward sorting unit 231, and the fourth time is aggregated and updated by the first forward sorting unit 231. Status parameters can be applied to update. Like the first time series data memory unit 221, the second time series data memory unit 222a of the present invention also includes a second time series data memory unit 222a composed of forward nodes and reverse nodes. A second time series data memory unit 222b may be included.

그리고, 제2차 순방향 분류부(232)는 제2차 시계열 데이터 메모리부(222a, 222b)와 연결되어, 제2차 시계열 데이터 메모리부(222a, 222b)에서 업데이트된 시계열 비선형 분류하기 위해서 제5차 상태 파라미터를 적용함에 따라 시계열 데이터를 종합하여 업데이트할 수 있다. In addition, the second forward sorting unit 232 is connected to the second time series data memory units 222a, 222b, and the fifth time series nonlinear classification is updated by the second time series data memory units 222a, 222b. Time series data can be synthesized and updated by applying the difference state parameter.

또한, 제2차 보조 분류부(242)는 제2차 시계열 데이터 메모리부(222a, 222b)의 학습 성능을 향상시키고, 학습 속도를 가속화시키기 위한 것이다. 제2차 보조 분류부(242)는 제1차 보조 분류부(241)와 같이, 제2차 시계열 데이터 메모리부(222a, 222b)에서 업데이트된 시계열 데이터에 제6차 상태 파라미터를 적용하여 제2 보조 분류 특징값을 생성할 수 있다. In addition, the secondary auxiliary classification unit 242 is for improving the learning performance of the secondary time series data memory units 222a and 222b and accelerating the learning speed. The second auxiliary classification unit 242 applies the sixth state parameter to the time series data updated in the second time series data memory units 222a and 222b, like the first auxiliary classification unit 241. Auxiliary classification feature values can be generated.

다음으로, 제3차 시계열 데이터 메모리부(223a, 223b)는 제2차 순방향 분류부(232)와 연결되어, 상기 제2차 순방향 분류부(232)에서 종합되어 업데이트된 시계열 데이터에 제7차 상태 파라미터를 적용하여 업데이트할 수 있다. 본 발명의 제3차 시계열 데이터 메모리부(223a, 223b)도 순방향 노드들로 구성된 제3차 시계열 데이터 메모리부(223a) 및 역방향 노드들로 구성된 제3차 시계열 데이터 메모리부(223b)를 포함할 수 있다. Next, the third time series data memory units 223a and 223b are connected to the second forward classifying unit 232, and are integrated with the second forward classifying unit 232 to update the time series data. Status parameters can be applied to update. The third time series data memory unit 223a, 223b of the present invention also includes a third time series data memory unit 223a composed of forward nodes and a third time series data memory unit 223b composed of reverse nodes. Can be.

마지막으로, 본 발명의 실시예에 따른 최후 분류부(250)는 제1차 시계열 데이터 메모리부(221), 제1차 순방향 분류부(231), 제2차 시계열 데이터 메모리부(222) 제2차 순방향 분류부(232) 및 제3차 시계열 데이터 메모리부(223)를 통해 순차적으로 업데이트된 시계열 데이터에 최후 상태 파라미터인 제8차 상태 파라미터를 적용하여 최후 분류 특징값을 생성할 수 있다. Finally, the last classification unit 250 according to an embodiment of the present invention includes a first time series data memory unit 221, a first forward classification unit 231, and a second time series data memory unit 222. The last classification feature value may be generated by applying the eighth state parameter, which is the last state parameter, to the time series data sequentially updated through the order forward classification unit 232 and the third time series data memory unit 223.

본 발명의 실시예에 따른 최후 분류 특징값은 최종 분류 결과를 나타내는 결과값으로서, 예컨대, 최후 분류부(250)는 미리 설정된 복수 개의 행동 패턴들에 따른 특징 벡터별 확률 값으로 출력할 수 있다. 예를 들어, 추론하고자 하는 행동 패턴의 유형이 뛰기(running), 걷기(walking), 차기(kicking) 그리고 흔들기(swing) 이렇게 4가지로 설정되어 있다고 가정하면, 최종 분류부(250)는 뛰기 패턴 유형에 상응하는 특징 벡터의 확률 값, 걷기 패턴 유형에 상응하는 특징 벡터의 확률 값, 차기 패턴 유형에 상응하는 특징 벡터의 확률 값 그리고 흔들기 패턴 유형에 상응하는 특징 벡터의 확률 값이 각각 출력할 수 있다. The final classification feature value according to an embodiment of the present invention is a result value representing the final classification result, for example, the final classification unit 250 may output a probability value for each feature vector according to a plurality of preset behavior patterns. For example, assuming that the type of the behavior pattern to be inferred is set to four types such as running, walking, kicking, and swinging, the final classification unit 250 has a running pattern The probability value of the feature vector corresponding to the type, the probability value of the feature vector corresponding to the walking pattern type, the probability value of the feature vector corresponding to the next pattern type, and the probability value of the feature vector corresponding to the shaking pattern type may be respectively output. have.

이에 따라, 본 발명의 행동 패턴 추론부(300)는 최종 분류부(250)에서 확률 값이 가장 높게 나온 특징 벡터에 상응하는 패턴 유형을 현재 객체의 행동 패턴인 것으로 결정함으로써, 객체에 대한 행동 패턴을 추론할 수 있게 된다.Accordingly, the behavior pattern inference unit 300 of the present invention determines the pattern type corresponding to the feature vector having the highest probability value in the final classification unit 250 as the behavior pattern of the current object, thereby determining the behavior pattern for the object Will be able to deduce.

이하에서는, 도6 내지 도7을 참조하여 행동 패턴 추론 장치(10)를 이용한 행동 패턴 추론 방법에 대하여 설명한다. 도6은 본 발명의 일 실시예에 따른 행동 패턴 추론 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이다.Hereinafter, a behavior pattern inference method using the behavior pattern inference apparatus 10 will be described with reference to FIGS. 6 to 7. 6 is a flowchart schematically showing a behavior pattern inference method according to an embodiment of the present invention over time.

먼저, S600 단계에서 위치 정보 획득부(100)는 행동 패턴을 추론하고자 하는 객체의 위치에 대한 위치 정보를 획득한다.First, in step S600, the location information acquiring unit 100 acquires location information about the location of the object to infer the behavior pattern.

그리고, S610 단계에서 학습부(200)는 상기 획득된 위치 정보를 시계열적인 정보인 시계열 데이터로 입력받아, 객체의 행동 패턴을 분류하기 위하여 시계열 데이터를 시계열적인 상태 파라미터에 따라 업데이트 한다.Then, in step S610, the learning unit 200 receives the acquired location information as time-series data, which is time-series information, and updates the time-series data according to time-series state parameters to classify the behavior pattern of the object.

그리고, S620 단계에서 행동 패턴 추론부(300)는 학습부(200)에서 업데이트된 시계열 데이터를 이용하여, 객체의 행동 패턴을 추론한다.Then, in step S620, the behavior pattern inference unit 300 infers the behavior pattern of the object by using the time series data updated by the learning unit 200.

도7은 본 발명의 실시예에 따른 학습부에서 수행되는 학습단계를 시간에 흐름에 따라 보다 구체적으로 도시한 흐름도이다. 학습부에서 수행되는 학습단계는 계속해서 변경되는 상태 파라미터를 적용함에 따라 순방향과 역방향으로 데이터가 계속적으로 업데이트되는 동작을 수행하는 것이다. 도7에서는 일 실시예에 따라 순방향으로 업데이트되는 학습 방법만을 다루어 설명한다.7 is a flowchart more specifically showing a learning step performed in a learning unit according to an embodiment of the present invention over time. The learning step performed by the learning unit is to perform an operation in which data is continuously updated in the forward and reverse directions by applying state parameters that are continuously changed. In FIG. 7, only a learning method updated in a forward direction according to an embodiment will be described and described.

입력부(210)에 상기 획득된 위치 정보가 입력되면, S700 단계에서 제1차 시계열 데이터 메모리부(221)는 복수 개의 논리 게이트들에 적용되는 제1차 상태 파라미터를 상기 시계열 데이터에 적용함에 따라 상기 시계열 데이터를 업데이트한다. When the acquired location information is input to the input unit 210, in operation S700, the first time series data memory unit 221 applies the first state parameter applied to a plurality of logic gates to the time series data. Update time series data.

이에 따라, S710 단계에서 제1차 순방향 분류부(231)는 기 설정된 시간 구간 동안 상기 제1차 시계열 데이터 메모리부에서 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제2차 상태 파라미터를 적용하여 업데이트하고, 동시에 S720 단계에서 제1차 보조 분류부(241)는 상기 제1차 시계열 데이터 메모리부에서 업데이트된 시계열 데이터에 제3차 상태 파라미터를 적용하여 제1 보조 분류 특징값을 생성한다.Accordingly, in step S710, the first forward sorting unit 231 applies a second state parameter to update the time series data updated in the first time series data memory unit during a preset time period by applying a second state parameter. At the same time, in step S720, the first auxiliary classification unit 241 generates a first auxiliary classification feature value by applying a third state parameter to the updated time series data in the first time series data memory unit.

이때, 제1차 시계열 데이터 메모리부(221)는, S720 단계에서 생성된 제1 보조 분류 특징값을 고려하여 제1차 상태 파라미터를 변경하여 이후 시점에 입력되는 시계열 데이터에 변경된 제1차 상태 파라미터를 적용함에 따라 업데이트 할 수 있다.In this case, the first time series data memory unit 221 changes the first state parameter in consideration of the first auxiliary classification feature value generated in step S720 to change the first state parameter to time series data input at a later time. It can be updated by applying.

그리고, S730 단계에서 제2차 시계열 데이터 메모리부(222)는 제1차 순방향 분류부(231)에서 업데이트된 시계열 데이터에 제4차 상태 파라미터를 적용함에 따라 업데이트하고, S740 단계에서 최후 분류부(250)는 제2차 시계열 데이터 메모리부(222)에서 업데이트된 시계열 데이터에 최후 상태 파라미터를 적용하여 최후 분류 특징값을 생성할 수 있다. Then, in step S730, the second time series data memory unit 222 is updated by applying the fourth state parameter to the time series data updated by the first forward classifier 231, and in step S740 the last classifier ( 250) may apply the last state parameter to the updated time series data in the second time series data memory unit 222 to generate the final classification feature value.

이에 따라, 행동 패턴 추론부(300)는 S730 단계에서 생성된 최후 분류 특징값을 토대로 객체의 행동 패턴을 추론한다.Accordingly, the behavior pattern inference unit 300 infers the behavior pattern of the object based on the last classification feature value generated in step S730.

도7에서 설명한 학습 단계는 일 실시예 일 뿐이며, 본 발명의 학습 단계는, 학습부(200)의 보다 깊은 신경망 구조로 구현될 수 있는 내부 구성에 따라 추가 동작 단계가 더 이루어질 수 있으며, 추가 동작 단계는 반복되는 동작으로 위에서 상세하게 설명한 바, 여기서는 생략하도록 한다.The learning step described with reference to FIG. 7 is only an embodiment, and the learning step of the present invention may further include an additional operation step according to an internal configuration that can be implemented with a deeper neural network structure of the learning unit 200, and an additional operation The steps are described in detail above as a repetitive operation, which will be omitted here.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.The fact that all components constituting the embodiments of the present invention described above are described as being combined or operated as one, the present invention is not necessarily limited to these embodiments. That is, within the object scope of the present invention, all of the components may be selectively combined and operated. In addition, although all of the components may be implemented by one independent hardware, a part or all of the components are selectively combined to perform a part or all of functions combined in one or a plurality of hardware. It may be implemented as a computer program having a. In addition, such a computer program is stored in a computer readable recording medium (Computer Readable Media), such as a USB memory, CD disk, flash memory, etc., and read and executed by a computer, thereby implementing an embodiment of the present invention. The recording medium of the computer program may include a magnetic recording medium, an optical recording medium, and the like.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains can make various modifications, changes, and substitutions without departing from the essential characteristics of the present invention. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention, but to explain the scope of the technical spirit of the present invention. . The scope of protection of the present invention should be interpreted by the claims below, and all technical spirits within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

10: 행동 패턴 추론 장치
100: 위치 정보 획득부
200: 학습부
210: 입력부
220: 시계열 데이터 메모리부
230: 순방향 분류부
240: 보조 분류부
250: 최후 분류부
300: 행동 패턴 추론부10: behavior pattern inference device
100: location information acquisition unit
200: learning department
210: input
220: time series data memory unit
230: forward sorting unit
240: auxiliary classification
250: last classification
300: behavior pattern reasoning unit

Claims (15)

행동 패턴을 추론하고자 하는 객체의 위치에 대한 위치 정보를 획득하는 위치 정보 획득부;
상기 위치 정보를 시계열적인 정보인 시계열 데이터(time-series data)로 입력 받고, 상기 객체의 행동 패턴을 분류하기 위하여, 상기 시계열 데이터를 시계열적인 상태 파라미터에 따라 업데이트하는 학습부; 및
상기 업데이트된 시계열 데이터를 이용하여, 상기 객체의 행동 패턴을 추론하는 행동 패턴 추론부를 포함하며,
상기 학습부는,
상기 시계열 데이터를 입력 받는 입력부;
복수 개의 논리 게이트(gate)들을 포함하며, 상기 논리 게이트들에 적용되는 제1차 상태 파라미터를 상기 시계열 데이터에 적용함에 따라 상기 시계열 데이터를 업데이트하는 제1차 시계열 데이터 메모리부;
기 설정된 시간 구간 동안 상기 제1차 시계열 데이터 메모리부에서 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제2차 상태 파라미터를 적용하여 업데이트하는 제1차 순방향 분류부; 및
상기 제1차 시계열 데이터 메모리부에서 업데이트된 시계열 데이터에 제3차 상태 파라미터를 적용하여 제1 보조 분류 특징값을 생성하는 제1차 보조 분류부를 포함하며,
상기 제1차 시계열 데이터 메모리부는, 상기 제1차 시계열 데이터 메모리부의 적어도 하나의 노드로 입력되는 상기 시계열 데이터를 상기 적어도 하나의 노드별 미리 정해진 활성화 함수의 활성화 값을 정규화하고, 상기 정규화된 활성화 값에 상기 제1차 상태 파라미터를 적용함에 따라 업데이트하는, 배치 정규화(Batch Normalized, BN) LSTM(Long Short Term Memory)인 것을 특징으로 하는 행동 패턴 추론 장치.A location information acquiring unit that acquires location information about a location of an object to infer behavior patterns;
A learning unit that receives the location information as time-series data, which is time-series information, and updates the time-series data according to time-series state parameters to classify the behavior pattern of the object; And
And an action pattern inference unit that infers an action pattern of the object using the updated time series data.
The learning unit,
An input unit that receives the time series data;
A first time series data memory unit including a plurality of logic gates and updating the time series data by applying a first state parameter applied to the logic gates to the time series data;
A first forward classifying unit applying and updating a second state parameter to non-linearly classify the updated time series data in the first time series data memory unit during a predetermined time period; And
And a first auxiliary classification unit generating a first auxiliary classification characteristic value by applying a third state parameter to the updated time series data in the first time series data memory unit,
The first time series data memory unit normalizes the activation value of a predetermined activation function for each of the at least one node, and normalizes the time series data input to at least one node of the first time series data memory unit. A behavioral pattern inference device, characterized in that it is a batch normalized (BN) long short term memory (LSTM) that is updated as the first state parameter is applied to it. 삭제delete 제1항에 있어서, 상기 학습부는,
상기 제1차 순방향 분류부와 연결되어, 상기 제1차 순방향 분류부에서 업데이트된 시계열 데이터에 제4차 상태 파라미터를 적용함에 따라 업데이트하는 제2차 시계열 데이터 메모리부;를 더 포함하는 것을 특징으로 하는 행동 패턴 추론 장치.According to claim 1, The learning unit,
And a second time series data memory unit connected to the first forward classifier and updating according to the fourth state parameter applied to the time series data updated by the first forward classifier. Behavior pattern inference device. 제3항에 있어서, 상기 학습부는,
상기 제2차 시계열 데이터 메모리부와 연결되며, 상기 제2차 시계열 데이터 메모리부로부터 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제5차 상태 파라미터를 적용하여 업데이트하는 제2차 순방향 분류부;를 더 포함하는 것을 특징으로 하는 행동 패턴 추론 장치.According to claim 3, The learning unit,
It is connected to the second time series data memory unit, and a second forward classifier for updating by applying a fifth state parameter to non-linearly classify the updated time series data from the second time series data memory unit. Behavior pattern inference device, characterized in that. 제3항에 있어서, 상기 학습부는,
상기 제2차 시계열 데이터 메모리부와 연결되며, 상기 제2차 시계열 데이터 메모리부로부터 업데이트된 시계열 데이터에 제6차 상태 파라미터를 적용하여 제2 보조 분류 특징값을 생성하는 제2차 보조 분류부;를 더 포함하는 것을 특징으로 하는 행동 패턴 추론 장치.According to claim 3, The learning unit,
A second auxiliary classification unit connected to the second time series data memory unit and generating a second auxiliary classification characteristic value by applying a sixth state parameter to updated time series data from the second time series data memory unit; Behavior pattern inference device further comprising a. 제1항에 있어서, 상기 학습부는,
상기 제1차 시계열 데이터 메모리부 및 상기 제1차 순방향 분류부를 통해 순차적으로 업데이트된 시계열 데이터에 최후 상태 파라미터를 적용하여 최후 분류 특징값을 생성하는 최후 분류부;를 더 포함하고,
상기 최후 분류 특징값은 미리 설정된 행동 패턴별 확률 값으로 정의되는 것을 특징으로 하는 행동 패턴 추론 장치.According to claim 1, The learning unit,
Further comprising; a last classification unit to generate a last classification feature value by applying a last state parameter to sequentially updated time series data through the first time series data memory unit and the first forward classification unit;
The last classification feature value is a behavior pattern inference device, characterized in that defined as a predetermined probability value for each behavior pattern. 제6항에 있어서, 상기 제1차 시계열 데이터 메모리부는,
양방향 LSTM으로 구현되어 양방향 BN LSTM으로 구현되는 것을 특징으로 하는 행동 패턴 추론 장치.The method of claim 6, wherein the first time series data memory unit,
Behavior pattern inference device, characterized by being implemented as a bidirectional LSTM and bidirectional BN LSTM. 제7항에 있어서,
상기 제1차 시계열 데이터 메모리부는, 역전파(back propagation) 알고리즘에 따라 상기 제1 보조 분류 특징값을 업데이트하는 것을 특징으로 하는 행동 패턴 추론 장치.The method of claim 7,
The primary time-series data memory unit updates the first auxiliary classification feature value according to a back propagation algorithm. 삭제delete 제1항에 있어서,
상기 객체는 동적 객체이고, 상기 위치 정보는 상기 동적 객체가 갖는 복수의 관절들의 위치 좌표를 포함하거나,
상기 객체는 제품 조립 공정에서 조립 해야 하는 부품이고, 상기 위치 정보는 상기 부품의 현재 위치 또는 상기 부품이 조립되어야 할 위치에 대한 위치 정보를 포함하는 것을 특징으로 하는 행동 패턴 추론 장치.According to claim 1,
The object is a dynamic object, and the location information includes position coordinates of a plurality of joints of the dynamic object,
The object is a component to be assembled in a product assembly process, and the location information includes location information about a current location of the component or a location where the component should be assembled. 삭제delete 삭제delete 삭제delete 행동 패턴을 추론하고자 하는 객체의 위치에 대한 위치 정보를 획득하는 단계;
상기 위치 정보를 시계열적인 정보인 시계열 데이터(time-series data)로 입력 받아, 상기 입력된 시계열 데이터를 기 설정된 알고리즘에 따라 분류하여, 상기 시계열 데이터에 대한 정적 또는 동적 특징을 모델링하기 위한 분류 결과를 산출하는 단계; 및
상기 산출된 분류 결과를 기반으로, 상기 객체에 대한 행동 패턴을 추론하는 단계를 포함하며,
상기 분류 결과를 산출하는 단계는,
상기 시계열 데이터를 입력 받는 단계;
복수 개의 논리 게이트(gate)들을 포함하며, 상기 논리 게이트들에 적용되는 제1차 상태 파라미터를 상기 시계열 데이터에 적용함에 따라 상기 시계열 데이터를 업데이트하는 단계;
기 설정된 시간 구간 동안 상기 제1차 상태 파라미터가 적용되어 업데이트된 시계열 데이터를 비선형 분류하기 위해서 제2차 상태 파라미터를 적용하여 업데이트하는 단계; 및
상기 제1차 상태 파라미터가 적용되어 업데이트된 시계열 데이터에 제3차 상태 파라미터를 적용하여 제1 보조 분류 특징값을 생성하는 단계를 포함하며,
상기 시계열 데이터를 업데이트하는 단계는, 적어도 하나의 노드로 입력되는 상기 시계열 데이터를 상기 적어도 하나의 노드별 미리 정해진 활성화 함수의 활성화 값을 정규화하고, 상기 정규화된 활성화 값에 상기 제1차 상태 파라미터를 적용함에 따라 업데이트하는, 배치 정규화(Batch Normalized, BN) LSTM(Long Short Term Memory)을 적용하는 것을 특징으로 하는 행동 패턴 추론 방법.Obtaining location information about a location of an object to infer behavior patterns;
The location information is received as time-series data, which is time-series information, and the input time-series data is classified according to a preset algorithm, and classification results for modeling static or dynamic characteristics of the time-series data are obtained. Calculating; And
Inferring the behavior pattern for the object based on the calculated classification result,
The step of calculating the classification result,
Receiving the time series data;
Updating the time series data by including a plurality of logic gates and applying a first state parameter applied to the logic gates to the time series data;
Updating by applying a second state parameter to non-linearly classify updated time series data by applying the first state parameter during a predetermined time period; And
And generating a first auxiliary classification feature value by applying a third state parameter to the updated time series data by applying the first state parameter,
In the updating of the time series data, the activation value of a predetermined activation function for each of the at least one node is normalized to the time series data input to at least one node, and the primary state parameter is assigned to the normalized activation value. A behavioral pattern reasoning method characterized by applying a batch normalized (BN) LSTM (Long Short Term Memory), which is updated according to application. 삭제delete
KR1020180151558A 2018-11-30 2018-11-30 Apparatus and method for inferring behavior pattern KR102125349B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180151558A KR102125349B1 (en) 2018-11-30 2018-11-30 Apparatus and method for inferring behavior pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180151558A KR102125349B1 (en) 2018-11-30 2018-11-30 Apparatus and method for inferring behavior pattern

Publications (1)

Publication Number Publication Date
KR102125349B1 true KR102125349B1 (en) 2020-06-22

Family

ID=71142319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180151558A KR102125349B1 (en) 2018-11-30 2018-11-30 Apparatus and method for inferring behavior pattern

Country Status (1)

Country Link
KR (1) KR102125349B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106846A1 (en) * 2021-12-09 2023-06-15 주식회사 에이치엔에이치 Skeleton point-based service providing apparatus and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055269A (en) * 2016-09-27 2018-04-05 大日本印刷株式会社 Information processor and program
KR101872811B1 (en) 2016-08-18 2018-06-29 고려대학교 산학협력단 Apparatus and method for action pattern recognition, and method for generating of action pattern classifier
JP6369611B2 (en) * 2016-08-16 2018-08-08 トヨタ自動車株式会社 Efficient driver behavior prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6369611B2 (en) * 2016-08-16 2018-08-08 トヨタ自動車株式会社 Efficient driver behavior prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
KR101872811B1 (en) 2016-08-18 2018-06-29 고려대학교 산학협력단 Apparatus and method for action pattern recognition, and method for generating of action pattern classifier
JP2018055269A (en) * 2016-09-27 2018-04-05 大日本印刷株式会社 Information processor and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106846A1 (en) * 2021-12-09 2023-06-15 주식회사 에이치엔에이치 Skeleton point-based service providing apparatus and method

Similar Documents

Publication Publication Date Title
US7676441B2 (en) Information processing apparatus, information processing method, pattern recognition apparatus, and pattern recognition method
TW201626293A (en) Knowledge-graph biased classification for data
TWI776309B (en) Recurrent artificial neural network, method implemented by a recurrent artificial neural network system, and neural network device
KR102548732B1 (en) Apparatus and Method for learning a neural network
US10185914B2 (en) System and method for teaching compositionality to convolutional neural networks
KR20220110293A (en) output from the circulatory neural network
Aghaei et al. With whom do I interact? Detecting social interactions in egocentric photo-streams
KR20220107302A (en) Distance Metrics and Clustering in Recurrent Neural Networks
Alvarez-Alvarez et al. Body posture recognition by means of a genetic fuzzy finite state machine
TW201743245A (en) Simplifying apparatus and simplifying method for neural network, and non-transitory computer-readable storage medium for simplifying neural network
US11507802B2 (en) Recursive learning for artificial intelligent agents
US10180688B2 (en) Optimization through use of conductive threads and biometric data
KR20190078899A (en) Visual Question Answering Apparatus Using Hierarchical Visual Feature and Method Thereof
KR20190004429A (en) Method and apparatus for determining training of unknown data related to neural networks
WO2019018533A1 (en) Neuro-bayesian architecture for implementing artificial general intelligence
KR102125349B1 (en) Apparatus and method for inferring behavior pattern
WO2021200392A1 (en) Data adjustment system, data adjustment device, data adjustment method, terminal device, and information processing device
Ramasso et al. Human action recognition in videos based on the transferable belief model: application to athletics jumps
Chartier et al. A sequential dynamic heteroassociative memory for multistep pattern recognition and one-to-many association
KR102274581B1 (en) Method for generating personalized hrtf
Kargin et al. Method of using data from intelligent machine short-term memory in Fuzzy Logic System
Artemov et al. Subsystem for simple dynamic gesture recognition using 3DCNNLSTM
Hakim et al. Optimization of the Backpropagation Method with Nguyen-widrow in Face Image Classification
KR101880547B1 (en) Method for extracting a feature vector of video using similarity measure
Günen et al. Keypose synthesis from 3D motion capture data by using evolutionary clustering

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant