WO2021137320A1 - Apparatus for classifying abnormal data using artificial neural network - Google Patents

Apparatus for classifying abnormal data using artificial neural network Download PDF

Info

Publication number
WO2021137320A1
WO2021137320A1 PCT/KR2019/018788 KR2019018788W WO2021137320A1 WO 2021137320 A1 WO2021137320 A1 WO 2021137320A1 KR 2019018788 W KR2019018788 W KR 2019018788W WO 2021137320 A1 WO2021137320 A1 WO 2021137320A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
module
vector
classification
abnormal
Prior art date
Application number
PCT/KR2019/018788
Other languages
French (fr)
Korean (ko)
Inventor
박재한
김철운
유재홍
차길환
Original Assignee
주식회사 알고리고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알고리고 filed Critical 주식회사 알고리고
Priority to PCT/KR2019/018788 priority Critical patent/WO2021137320A1/en
Publication of WO2021137320A1 publication Critical patent/WO2021137320A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to an apparatus and method for classifying abnormal data using an artificial neural network.
  • ConvNet Convolutional Neural Network
  • FIG. 1 is a distribution diagram illustrating pressure distribution data
  • FIG. 2 is a graph illustrating a change in pressure magnitude with time.
  • the pressure distribution data as shown in FIG. 1 may be generated from a plurality of pressure sensors configured in a matrix form, and each pressure sensor changes the pressure magnitude in a time series as shown in FIG. 2 with respect to the time dimension can be represented to be sensed.
  • 3 is an exemplary diagram of time series pressure distribution data. As shown in FIG. 3 , the time series pressure distribution data may refer to a plurality of continuous pressure distribution data in the time dimension generated based on the time series pressure magnitude change generated by each pressure sensor as shown in FIG. 2 .
  • the corresponding ConvNet may be supervised learning based on pressure distribution data labeled or tagged with at least one posture.
  • One of the important things in supervised learning to improve the accuracy of ConvNet is the quantity and quality of the data being trained. Therefore, it is clear that the posture classification accuracy of ConvNet improves as the ConvNet is trained by collecting as much high-quality data as possible. need.
  • an object of the present invention is to provide an apparatus and method for classifying abnormal data using an artificial neural network to classify abnormal data input by a user with high accuracy and use only normal data for learning of ConvNet.
  • An object of the present invention is to provide a memory module for storing a program code of an abnormal data classification module that receives time-series distribution data and outputs an abnormal data score for discriminating whether the data is abnormal; and a processing module for processing the program code of the abnormal data classification module, wherein the program code of the abnormal data classification module learns to generate a stationary vector that is a multidimensional vector of the time series distribution data that is normal based on a latent variable a generation vector step in which a generation module, which is a component of the abnormal data classification module, generates a generation vector; a classification target vector step of receiving a classification target vector that is a multidimensional vector of classification target data that is a target of abnormal data classification; an abnormal data score output step of outputting an abnormal data score that is a loss value based on a difference between the generated vector and the vector to be classified; and a latent variable adjustment step of adjusting the latent variable in a direction in which the abnormal data score is lowered.
  • the abnormal data classification module determines that the classification target data is the abnormal data when the abnormal data score lowered by the adjustment of the latent variable in the latent variable adjustment step is greater than or equal to a specific value It can be achieved by providing an apparatus for classifying abnormal data using an artificial neural network, characterized in that the classification is performed.
  • the memory module further comprises a minute change module for outputting minute change data representing a minute change of the time series distribution data or the classification target data
  • the processing module further processes the program code of the minute change module, ,
  • the program code of the fine change module a receiving step of receiving the time series distribution data or the classification target data;
  • a change amount data generating step of generating change amount data which is data on the amount of change in the distribution of the received time series distribution data or the classification target data;
  • a minute change data generation step of generating minute change data based on the change amount distribution data according to time; configured to be performed on a computer, wherein the stationary vector includes the minute change data of the time series distribution data and the classification target vector may be configured to include the fine change data of the classification target data.
  • the memory module further includes a spatial data module for outputting spatial data indicating a distribution change due to a dynamic movement of the time series distribution data or the classification target data
  • the processing module includes a program code of the spatial data module further processing, wherein the program code of the spatial data module includes: a receiving step of receiving the time series distribution data or the classification target data; a spatial feature extraction step of inputting the time series distribution data or the classification target data into an embedding network composed of ConvNet and extracting spatial features of the distribution using a feature map; and a spatial data generation step of inputting the spatial feature into a Long-Short Term Memory (LSTM), embedding a sequence that is a temporal feature, and generating spatial data; configured to be performed on a computer, wherein the stationary vector is the time series distribution It may be configured to include the spatial data of data, and the classification target vector may be configured to include the spatial data of the classification target data.
  • LSTM Long-Short Term Memory
  • Another object of the present invention is a generation vector step in which the generation vector module, a component of the abnormal data classification module, which receives time series distribution data and outputs an abnormal data score for discriminating whether the data is abnormal or not, generates the generation vector ; a classification target vector step in which the classification target vector module receives a classification target vector that is a multidimensional vector of classification target data that is an object of abnormal data classification; an abnormal data score output step of outputting, by the abnormal data score output module, an abnormal data score that is a loss value based on a difference between the generated vector and the classification target vector; and a latent variable adjustment step in which the latent variable adjustment module adjusts the latent variable in a direction in which the abnormal data score is lowered; the generating module is configured to be performed on a computer, including the time series that is normal based on the latent variable It is learned to generate a normal vector that is a multidimensional vector of distribution data, and the abnormal data classification module is configured to: When the abnormal data score lowered by the adjustment of the latent variable
  • the characteristics of minute changes that are processed as noise by a general deep learning system and vanishing by the micro change data module can be used for posture classification and abnormal data classification.
  • the characteristics of the posture change and the fine change due to the dynamic movement of the user is generated.
  • two data are simultaneously extracted using a general deep learning system, very ambiguous features are extracted and the classification accuracy is reduced.
  • 1 is a distribution diagram showing pressure distribution data
  • 3 is an exemplary diagram of time series pressure distribution data
  • FIG. 4 is a schematic diagram illustrating an apparatus for classifying abnormal data according to an embodiment of the present invention.
  • FIG. 5 is a schematic diagram showing an example of pre-processing according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating an example of a preprocessing flow according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a spatial data generation method of the spatial data module 12 according to an embodiment of the present invention
  • FIG. 9 is a flowchart illustrating posture category classification of the posture classification module 13 according to an embodiment of the present invention.
  • FIG. 10 is a schematic diagram showing a learning process of the abnormal data classification module 14 according to an embodiment of the present invention.
  • 11 is a schematic diagram illustrating an abnormal data classification process of the abnormal data classification module 14 according to an embodiment of the present invention.
  • the invention is described based on a module for classifying a user's posture based on pressure distribution data, but the scope of the invention is not limited thereto, and a device for classifying a specific category based on time series distribution data
  • a device that classifies a specific category based on time-series distribution data it may include a range including a feature for classifying abnormal data.
  • FIG. 4 is a schematic diagram illustrating an apparatus for classifying abnormal data according to an embodiment of the present invention.
  • the apparatus 1 for classifying abnormal data using an artificial neural network includes a preprocessing module 10 , a fine change data module 11 , a spatial data module 12 , and a posture. It may include a classification module 13 and an abnormal data classification module 14 .
  • the pre-processing module 10 receives a plurality of pressure sensor data, and performs time window setting, noise removal, normalization, and sensor deflection removal on the received pressure sensor data to generate time-series pressure distribution data as shown in FIG. 3 . to be.
  • the pressure sensor data pre-processed by the pre-processing module 10 is processed as time-series pressure distribution data embedded as time-series data, so that the accuracy of classification by the classification module composed of an artificial neural network is improved.
  • 5 is a schematic diagram illustrating an example of a preprocessing according to an embodiment of the present invention
  • FIG. 6 is a flowchart illustrating an example of a preprocessing flow according to an embodiment of the present invention.
  • the pre-processing module 10 performs time window setting, noise removal, normalization and sensor deflection removal, etc. to output a multi-dimensional vector (pre-processing data) based on the received pressure sensor data. and may be configured to generate time-series pressure distribution data using a plurality of multidimensional vectors (pre-processed data) having a sequence.
  • the fine change data module 11 is a module that generates fine change data based on the time series pressure distribution data generated by the preprocessing module 10 .
  • the minute change data module 11 according to an embodiment of the present invention generates change amount data, which is data on the amount of change in the pressure distribution, based on the time series pressure distribution data, and converts the change amount data into change amount distribution data in the form of a matrix, Fine change data is generated based on the change amount distribution data over time.
  • FIG. 7 is a flowchart illustrating a method of generating fine change data of the fine change data module 11 according to an embodiment of the present invention. As shown in FIG.
  • the change amount distribution data P which is the distribution of the pressure distribution change, is generated through the histogram, and in this process, spatial information about the change disappears and only the distribution information about the change remains.
  • the distribution of the pressure distribution change is calculated, the spatial information disappears, and the overall distribution information of the fine change remains as the fine change data.
  • the effect of preventing the expression of ambiguous information that may be propagated later is generated by the fine change data module 11 due to the mixture of the fine change feature and the spatial feature.
  • the spatial data module 12 is a module for generating spatial data indicating a change in posture due to a dynamic movement of a user based on the time series pressure distribution data generated by the preprocessing module 10 . With respect to the generation of spatial data, the spatial data module 12 generates spatial data by extracting spatial features of the pressure distribution and embedding the spatial features through processing for a plurality of sequences.
  • FIG. 8 is a flowchart illustrating a spatial data generation method of the spatial data module 12 according to an embodiment of the present invention. As shown in Fig.
  • the spatial data module 12 inputs the preprocessed time series pressure distribution data composed of a plurality of preprocessed data into the embedding network composed of ConvNet to extract spatial features of the pressure distribution using the Feature Map, , a sequence that is a temporal feature is embedded through Long-Short Term Memory (LSTM) and output as spatial data.
  • LSTM Long-Short Term Memory
  • the spatial data module 12 may be configured to output the average distribution of the preprocessed data by using the output spatial data, which is the embedded vector, as an input of the verification network composed of ConvNet. According to this, it is possible to check whether the spatial data, which is an embedded vector, well contains the spatial characteristics of the pressure distribution, and the spatial data output by the spatial data module 12 is generated in the posture classification module 13 . There is an effect that not only has a spatial feature for category classification, but also includes a feature for classifying abnormal data. In addition, it is learned so that there is no information loss in the process of embedding through the verification network, so that various feature extractions are performed in the embedding process.
  • the embedded vector (output of the spatial data module 12) is used (shared) for different tasks in the 'verification network', 'posture classification module 13' and 'abnormal data classification module 14', respectively. can be This causes the embedded vector (output of the spatial data module 12) to be learned for multi-task (multiple similar tasks), so that more generalized feature extraction is performed well.
  • the posture classification module 13 is a module that receives the fine change data generated by the fine change data module 11 and the spatial data generated by the spatial data module 12, performs posture category classification, and generates posture classification data.
  • the posture classification module 13 according to an embodiment of the present invention is configured to extract features by embedding through non-linear calculations based on fine change data and spatial data, and to perform posture category classification through a linear algorithm.
  • can 9 is a flowchart illustrating posture category classification of the posture classification module 13 according to an embodiment of the present invention.
  • the posture classification module 13 according to an embodiment of the present invention includes a ConvNet (CNN, Convolutional Neural Network) that serves as a convolution layer and FFNN (Feed) that serves as a fully connected layer.
  • CNN ConvNet
  • fine change data and spatial data are input to CNN, nonlinear features are extracted through CNN, and embedded vectors are embedded in the form required for posture category classification based on spatiotemporal features
  • the output and the vector embedded through the CNN becomes an input to the FFNN, and posture category classification is performed through the FFNN.
  • the abnormal data classification module 14 integrates the fine change data generated by the fine change data module 11, the spatial data generated by the spatial data module 12, and the posture classification data generated by the posture classification module 13. It is a module that receives a vector and classifies whether the plurality of pressure sensor data input to the abnormal data classification device 1 is abnormal data.
  • the abnormal data classification module 14 may include a generation module and a classification module, and the generation module receives random noise (Z) using the classification module to receive normal fine change data
  • the generation module uses the loss function output L(Loss) of the generation module as an abnormal data score to generate random noise ( Based on whether L is lowered to a specific value or less according to a change in Z), it is possible to distinguish whether data input to the abnormal data classification apparatus 1 is abnormal data.
  • the generation module of the abnormal data classification module 14 may be configured to generate a normal vector by being composed of an encoder and a decoder, and the encoder of the generation module is configured to classify normal fine change data, spatial data and posture It can be composed of a plurality of consecutive ConvNets that receive mxnx 3 standardized multidimensional vectors with integrated data and encode them into 1 x 1 xk latent variables, and the decoder of the pose transition module (4) has a 1 x 1 xk latent variable. It may consist of a plurality of consecutive networks that decode variables to output them as mxnx 3 multidimensional vectors.
  • the generation module may be trained to input a multidimensional vector that is a normal vector and output a multidimensional vector close to the normal vector, and the generation module may be learned by the classification module for discriminating whether the multidimensional vector output by the generation module is a normal vector. have.
  • the classification module of the abnormal data classification module 14 may be configured to distinguish whether a multidimensional vector output by the generation module through a CONCAT function and a plurality of encoders is a normal vector.
  • the classification module of the abnormal data classification module 14 may be configured to be updated by the reinforcement learning module.
  • the Agent of the reinforcement learning module becomes a classification module
  • the State becomes a multidimensional vector and a stationary vector output by the generation module
  • the Action determines whether the multidimensional vector is a normal vector in the state of the state to determine the stationary vector probability.
  • output, and Reward can be configured to be generated when the normal vector division of the division module is correct.
  • FIG. 10 is a schematic diagram illustrating a learning process of the abnormal data classification module 14 according to an embodiment of the present invention.
  • the Loss Function may be configured to configure the division module and the MinMax game, and may be simultaneously learned. Equation 1 below is the loss function of the generation module and the division module.
  • G denotes a generation module
  • D denotes a classification module
  • z denotes a random noise input as a latent variable
  • y denotes a normal vector that is a multidimensional vector that integrates normal fine change data, spatial data, and posture classification data
  • G(x) denotes a generative vector that is a generated multidimensional vector. Therefore, according to Equation 1, the loss function of the generating module and the classifying module is D when the generating module is not sufficiently trained and the classifying module perfectly distinguishes y and G(z) through the random noise z, which is a latent variable.
  • the generation vector G(z) which is a multidimensional vector generated by the generation module through random noise z by the above Loss function
  • the normal vector y which is a multidimensional vector integrating normal fine change data, spatial data, and posture classification data
  • a normal vector and a generation module in which a division module is input for each zone to the Loss function of the generation module so that the generation of a multidimensional vector G(z) close to a normal vector proceeds more precisely for each zone It may further include a regional loss function for discriminating between normality and abnormality of the generation vector by comparison of the generation vectors generated by .
  • a zone loss function according to an embodiment of the present invention may be configured as follows.
  • L BP (G,D) is the area loss function that is a loss function for each area
  • i is the i-th layer of the division module
  • T is the entire layer of the division module
  • N i is the area in the i-th layer It can mean the number of features. Accordingly, if the classification module accurately identifies the normal or abnormal in a specific region in a specific layer of the generated vector,
  • 1, and the normal vector If a specific region in a specific layer of y and the generative vector G(z) is not separated by the division module,
  • 0. Accordingly, the loss function of the abnormal data classification module 14 to which the above-described regional loss function is applied may be configured as follows.
  • Equation 3 ⁇ is a weight constant
  • L BP may mean the regional loss function of Equation 2
  • the generation module is learned in a direction to minimize the regional loss function. Accordingly, the generation module is learned so that a generation vector close to a normal vector is output more precisely.
  • a loss function may be configured so that the generation module may consider the frame order.
  • generation module generates vector at a certain time the latent variables in t z t and the previous time, the t-1 generation vector of G time t to a (z t-1) to the input data in the It can be configured to output G(z t ) which is End, separated module to distinguish Fake sequence of (G (z t-1) , G (z t)) and Real sequence of (y t-1, y t ) through (z t-1, z t )
  • the sequence loss function of the abnormal data classification module 14 for this purpose may be configured as shown in the following equation.
  • FIG. 11 is a schematic diagram illustrating the abnormal data classification process of the abnormal data classification module 14 according to an embodiment of the present invention.
  • the generation module receives the random noise z to generate a multidimensional vector (generated vector) close to a normal vector, and input user data (classification target data that is a target for discriminating whether or not abnormal data) is generated. Whether the input user data (classification target data) is normal or abnormal is determined based on the difference between the multidimensional vector (classification target vector) and the generated vector.
  • the generation module can be configured so that the parameter is fixed after learning, and the latent variable through Back Propagation so that the division loss function (L), which is the difference between G(z) and y, is reduced. and may be configured to adjust for random noise z. Equation 5 below relates to the division loss function (L) for the difference between G(z) and y, and Equation 6 relates to the control of random noise, which is a latent variable.
  • L is the division loss function that is the difference between the generated vector generated close to the normal vector and the multidimensional vector (the target vector) of the user data (classification target data)
  • G(z) is the generation vector
  • z is Random noise as a latent variable
  • y denotes a multidimensional vector (classification target vector) of user data (classification target data)
  • ⁇ denotes a learning rate.
  • the multidimensional vector y (classification target vector) of the user data (classification target data) is abnormal data
  • the loss value of L is not specific. does not drop below the value. That is, Loss L when y is abnormal data has a relatively higher value than L when y is normal data. Accordingly, there is an effect that classification of abnormal data, classification of abnormal data, and detection of abnormal data can be performed by using L as an anomaly score.
  • an effect of being able to classify and collect unexpected abnormal data when collecting data Since abnormal data are most often generated in unexpected situations, it is very difficult to build a deep learning classification model through labeling with the existing general statistical approach or manual feature engineering.
  • unsupervised learning for the classification, classification, and detection of abnormal data is possible without separate labeling or tagging for abnormal data.
  • the distance between vectors embedded in abstract space has no choice but to be used as an anomaly score.
  • the apparatus for classifying abnormal data includes a generation module G that effectively uses the feature extraction performance of deep learning and creates normal data at the same time, the meaning of the abnormality of the user data (classification target data) is anomaly score The effect expressed in

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The present invention relates to an apparatus and method for classifying abnormal data using an artificial neural network. To this end, the method may provide: a generation vector step of generating a generation vector by a generation module, which is a component of an abnormal data classification module trained to generate a normal vector, which is a multidimensional vector of normal time series distribution data on the basis of a latent variable; a classification target vector step of receiving a classification target vector, which is a multidimensional vector of classification target data that is a target for abnormal data classification; an abnormal data score output step of outputting an abnormal data score, which is a loss value on the basis of a difference between the generation vector and the classification target vector; and a latent variable adjustment step of adjusting a latent variable in a direction in which the abnormal data score becomes lower.

Description

인공신경망을 이용한 비정상 데이터 구분 장치Abnormal data classification device using artificial neural network
본 발명은 인공신경망을 이용한 비정상 데이터 구분 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for classifying abnormal data using an artificial neural network.
m x n의 압력센서 매트릭스로 구성된 스마트 좌석에서 발생되는 Time series 매트릭스 형태의 시계열 압력 분포 데이터를 토대로 좌석에 착석한 사용자의 자세를 분류하는 모델을 개발하려는 경우, ConvNet(Convolutional Neural Network)이 이용될 수 있다. 도 1은 압력 분포 데이터를 도시한 분포도, 도 2는 시간에 따른 압력 크기 변화를 도시한 그래프이다. 도 1, 2에 도시된 바와 같이, 매트릭스 형태로 구성한 복수개의 압력 센서에서 도 1과 같은 압력 분포 데이터가 생성될 수 있고, 각각의 압력 센서들은 시간 차원에 대해 도 2와 같은 시계열적인 압력 크기 변화를 센싱하도록 나타낼 수 있다. 도 3은 시계열 압력 분포 데이터의 예시도이다. 도 3에 도시된 바와 같이, 시계열 압력 분포 데이터는 도 2와 같이 각각의 압력 센서가 생성하는 시계열 압력 크기 변화를 기초로 생성되는 시간 차원에서 연속되는 복수개의 압력 분포 데이터를 의미할 수 있다. ConvNet (Convolutional Neural Network) can be used to develop a model that classifies the posture of a seated user based on the time series matrix-type time series pressure distribution data generated from the smart seat composed of the mxn pressure sensor matrix. . 1 is a distribution diagram illustrating pressure distribution data, and FIG. 2 is a graph illustrating a change in pressure magnitude with time. As shown in FIGS. 1 and 2 , the pressure distribution data as shown in FIG. 1 may be generated from a plurality of pressure sensors configured in a matrix form, and each pressure sensor changes the pressure magnitude in a time series as shown in FIG. 2 with respect to the time dimension can be represented to be sensed. 3 is an exemplary diagram of time series pressure distribution data. As shown in FIG. 3 , the time series pressure distribution data may refer to a plurality of continuous pressure distribution data in the time dimension generated based on the time series pressure magnitude change generated by each pressure sensor as shown in FIG. 2 .
자세 분류를 위해 압력 분포 데이터를 기초로 학습된 ConvNet이 이용되는 경우, 해당 ConvNet은 적어도 하나 이상의 자세로 Labeling 혹은 Tagging 된 압력 분포 데이터를 기초로 지도 학습(Supervised Learning)될 수 있다. ConvNet의 정확도를 향상시키기 위해 지도 학습에서 중요한 것 중 하나가 학습되는 데이터의 양과 질이라 할 수 있다. 따라서, 양질의 데이터를 최대한 많이 수집하여 ConvNet을 학습시킬수록 ConvNet의 자세 분류 정확도가 향상되는 것이 명백하기 때문에, 서비스가 운영되는 과정에서 발생되는 사용자의 실제 압력 분포 데이터들을 ConvNet의 학습에 활용하는 것이 필요하다.When a ConvNet learned based on pressure distribution data is used for posture classification, the corresponding ConvNet may be supervised learning based on pressure distribution data labeled or tagged with at least one posture. One of the important things in supervised learning to improve the accuracy of ConvNet is the quantity and quality of the data being trained. Therefore, it is clear that the posture classification accuracy of ConvNet improves as the ConvNet is trained by collecting as much high-quality data as possible. need.
하지만, 사용자들이 서비스를 이용하면서 입력되는 실제 압력 분포 데이터는 비정상 데이터, 예를 들어, 사물에 의한 압력분포일 가능성이나 사용자의 비정상적인 이용에 의한 압력분포일 가능성 등에 의해 데이터의 질을 보장할 수 없기 때문에 이러한 비정상 데이터를 ConvNet의 학습에 이용하기 전에 구분할 필요가 있다. However, the actual pressure distribution data input by users while using the service cannot guarantee the quality of data due to abnormal data, for example, the possibility of pressure distribution due to objects or pressure distribution due to abnormal use of users. Therefore, it is necessary to classify such abnormal data before using it for ConvNet training.
이러한 비정상 데이터는 예상치 못한 상황에서 발생되는 경우가 대부분이므로, 기존의 일반적인 통계적 접근 또는 Manual Feature Engineering으로 Labeling을 통해 딥러닝 분류 모델을 구축하는 것이 매우 어렵다. Since most of these abnormal data are generated in unexpected situations, it is very difficult to build a deep learning classification model through labeling with the existing general statistical approach or manual feature engineering.
따라서, 본 발명의 목적은 사용자에 의해 입력되는 비정상 데이터를 높은 정확도로 구분하여 정상 데이터만을 ConvNet의 학습에 이용하기 위해 인공신경망을 이용한 비정상 데이터 구분 장치 및 방법을 제공하는 데에 있다.Accordingly, an object of the present invention is to provide an apparatus and method for classifying abnormal data using an artificial neural network to classify abnormal data input by a user with high accuracy and use only normal data for learning of ConvNet.
이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.Hereinafter, specific means for achieving the object of the present invention will be described.
본 발명의 목적은, 시계열 분포 데이터를 입력받아 비정상 데이터인지 여부를 구분하는 비정상 데이터 스코어를 출력하는 비정상 데이터 구분 모듈의 프로그램 코드를 저장하는 메모리 모듈; 및 상기 비정상 데이터 구분 모듈의 프로그램 코드를 처리하는 처리 모듈;을 포함하고, 상기 비정상 데이터 구분 모듈의 상기 프로그램 코드는, 잠재 변수를 기초로 정상인 상기 시계열 분포 데이터의 다차원 벡터인 정상 벡터를 생성하도록 학습된 상기 비정상 데이터 구분 모듈의 일구성인 생성 모듈이 생성 벡터를 생성하는 생성 벡터 단계; 비정상 데이터 구분의 대상이 되는 구분 대상 데이터의 다차원 벡터인 구분 대상 벡터를 수신하는 구분 대상 벡터 단계; 상기 생성 벡터와 상기 구분 대상 벡터의 차이를 기초로 손실값인 비정상 데이터 스코어를 출력하는 비정상 데이터 스코어 출력 단계; 및 상기 비정상 데이터 스코어가 낮아지는 방향으로 상기 잠재 변수를 조절하는 잠재 변수 조절 단계; 를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 비정상 데이터 구분 모듈은, 상기 잠재 변수 조절 단계에서 상기 잠재 변수의 조절에 의해 낮아진 상기 비정상 데이터 스코어가 특정 값 이상인 경우 상기 구분 대상 데이터가 상기 비정상 데이터인 것으로 구분하는 것을 특징으로 하는, 인공신경망을 이용한 비정상 데이터 구분 장치를 제공하여 달성될 수 있다. An object of the present invention is to provide a memory module for storing a program code of an abnormal data classification module that receives time-series distribution data and outputs an abnormal data score for discriminating whether the data is abnormal; and a processing module for processing the program code of the abnormal data classification module, wherein the program code of the abnormal data classification module learns to generate a stationary vector that is a multidimensional vector of the time series distribution data that is normal based on a latent variable a generation vector step in which a generation module, which is a component of the abnormal data classification module, generates a generation vector; a classification target vector step of receiving a classification target vector that is a multidimensional vector of classification target data that is a target of abnormal data classification; an abnormal data score output step of outputting an abnormal data score that is a loss value based on a difference between the generated vector and the vector to be classified; and a latent variable adjustment step of adjusting the latent variable in a direction in which the abnormal data score is lowered. is configured to be performed on a computer, including, wherein the abnormal data classification module determines that the classification target data is the abnormal data when the abnormal data score lowered by the adjustment of the latent variable in the latent variable adjustment step is greater than or equal to a specific value It can be achieved by providing an apparatus for classifying abnormal data using an artificial neural network, characterized in that the classification is performed.
또한, 상기 메모리 모듈은 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 미세 변화를 표현하는 미세 변화 데이터를 출력하는 미세 변화 모듈을 더 포함하고, 상기 처리 모듈은 상기 미세 변화 모듈의 프로그램 코드를 더 처리하며, 상기 미세 변화 모듈의 상기 프로그램 코드는, 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 수신하는 수신 단계; 수신된 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 분포의 변화량에 대한 데이터인 변화량 데이터를 생성하는 변화량 데이터 생성 단계; 상기 변화량 데이터를 매트릭스 형태인 변화량 분포 데이터로 변환하는 변화량 분포 데이터 생성 단계; 및 시간에 따른 상기 변화량 분포 데이터를 기초로 미세 변화 데이터를 생성하는 미세 변화 데이터 생성 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 정상 벡터는 상기 시계열 분포 데이터의 상기 미세 변화 데이터를 포함하도록 구성되고, 상기 구분 대상 벡터는 상기 구분 대상 데이터의 상기 미세 변화 데이터를 포함하도록 구성되는 것을 특징으로 할 수 있다. In addition, the memory module further comprises a minute change module for outputting minute change data representing a minute change of the time series distribution data or the classification target data, the processing module further processes the program code of the minute change module, , The program code of the fine change module, a receiving step of receiving the time series distribution data or the classification target data; a change amount data generating step of generating change amount data, which is data on the amount of change in the distribution of the received time series distribution data or the classification target data; a change amount distribution data generating step of converting the change amount data into matrix change amount distribution data; and a minute change data generation step of generating minute change data based on the change amount distribution data according to time; configured to be performed on a computer, wherein the stationary vector includes the minute change data of the time series distribution data and the classification target vector may be configured to include the fine change data of the classification target data.
또한, 상기 메모리 모듈은 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 동적인 움직임에 의한 분포 변화를 의미하는 공간 데이터를 출력하는 공간 데이터 모듈을 더 포함하고, 상기 처리 모듈은 상기 공간 데이터 모듈의 프로그램 코드를 더 처리하며, 상기 공간 데이터 모듈의 상기 프로그램 코드는, 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 수신하는 수신 단계; 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 ConvNet으로 구성된 임베딩 네트워크에 입력하여 Feature Map을 이용해 분포의 공간적 특징을 추출하는 공간적 특징 추출 단계; 및 상기 공간적 특징을 LSTM(Long-Short Term Memory)에 입력하여 시간적 특징인 시퀀스를 임베딩하고 공간 데이터를 생성하는 공간 데이터 생성 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 정상 벡터는 상기 시계열 분포 데이터의 상기 공간 데이터를 포함하도록 구성되고, 상기 구분 대상 벡터는 상기 구분 대상 데이터의 상기 공간 데이터를 포함하도록 구성되는 것을 특징으로 할 수 있다. In addition, the memory module further includes a spatial data module for outputting spatial data indicating a distribution change due to a dynamic movement of the time series distribution data or the classification target data, wherein the processing module includes a program code of the spatial data module further processing, wherein the program code of the spatial data module includes: a receiving step of receiving the time series distribution data or the classification target data; a spatial feature extraction step of inputting the time series distribution data or the classification target data into an embedding network composed of ConvNet and extracting spatial features of the distribution using a feature map; and a spatial data generation step of inputting the spatial feature into a Long-Short Term Memory (LSTM), embedding a sequence that is a temporal feature, and generating spatial data; configured to be performed on a computer, wherein the stationary vector is the time series distribution It may be configured to include the spatial data of data, and the classification target vector may be configured to include the spatial data of the classification target data.
본 발명의 다른 목적은, 생성 벡터 모듈이, 시계열 분포 데이터를 입력받아 비정상 데이터인지 여부를 구분하는 비정상 데이터 스코어를 출력하는 비정상 데이터 구분 모듈의 일구성인 생성 모듈이 생성 벡터를 생성하는 생성 벡터 단계; 구분 대상 벡터 모듈이, 비정상 데이터 구분의 대상이 되는 구분 대상 데이터의 다차원 벡터인 구분 대상 벡터를 수신하는 구분 대상 벡터 단계; 비정상 데이터 스코어 출력 모듈이, 상기 생성 벡터와 상기 구분 대상 벡터의 차이를 기초로 손실값인 비정상 데이터 스코어를 출력하는 비정상 데이터 스코어 출력 단계; 및 잠재 변수 조절 모듈이, 상기 비정상 데이터 스코어가 낮아지는 방향으로 상기 잠재 변수를 조절하는 잠재 변수 조절 단계;를 포함하여 컴퓨터 상에서 수행되도록 구성되고, 상기 생성 모듈은, 잠재 변수를 기초로 정상인 상기 시계열 분포 데이터의 다차원 벡터인 정상 벡터를 생성하도록 학습되며, 상기 비정상 데이터 구분 모듈은, 상기 잠재 변수 조절 단계에서 상기 잠재 변수의 조절에 의해 낮아진 상기 비정상 데이터 스코어가 특정 값 이상인 경우 상기 구분 대상 데이터가 상기 비정상 데이터인 것으로 구분하는 것을 특징으로 하는, 인공신경망을 이용한 비정상 데이터 구분 방법을 제공하여 달성될 수 있다.Another object of the present invention is a generation vector step in which the generation vector module, a component of the abnormal data classification module, which receives time series distribution data and outputs an abnormal data score for discriminating whether the data is abnormal or not, generates the generation vector ; a classification target vector step in which the classification target vector module receives a classification target vector that is a multidimensional vector of classification target data that is an object of abnormal data classification; an abnormal data score output step of outputting, by the abnormal data score output module, an abnormal data score that is a loss value based on a difference between the generated vector and the classification target vector; and a latent variable adjustment step in which the latent variable adjustment module adjusts the latent variable in a direction in which the abnormal data score is lowered; the generating module is configured to be performed on a computer, including the time series that is normal based on the latent variable It is learned to generate a normal vector that is a multidimensional vector of distribution data, and the abnormal data classification module is configured to: When the abnormal data score lowered by the adjustment of the latent variable in the latent variable adjustment step is greater than or equal to a specific value, the classification target data is the It can be achieved by providing a method for classifying abnormal data using an artificial neural network, characterized in that the data is classified as abnormal data.
상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.As described above, according to the present invention, there are the following effects.
첫째, 본 발명의 일실시예에 따르면, 데이서 수집 시 예상하지 못한 비정상 데이터를 구분하고 수집할 수 있게 되는 효과가 발생된다. 비정상 데이터는 예상치 못한 상황에서 발생되는 경우가 대부분이므로, 기존의 일반적인 통계적 접근 또는 Manual Feature Engineering으로 Labeling을 통해 딥러닝 분류 모델을 구축하는 것이 매우 어렵다. First, according to an embodiment of the present invention, there is an effect of being able to classify and collect unexpected abnormal data when collecting data. Since abnormal data are most often generated in unexpected situations, it is very difficult to build a deep learning classification model through labeling with the existing general statistical approach or manual feature engineering.
둘째, 본 발명의 일실시예에 따르면, 비정상 데이터에 대한 별도의 Labeling이나 Tagging 없이 비정상 데이터의 구분, 분류, 검출에 대한 Unsupervised Learning이 가능해지는 효과가 발생된다. Second, according to an embodiment of the present invention, there is an effect that unsupervised learning for classification, classification, and detection of abnormal data is possible without separate labeling or tagging for abnormal data.
셋째, 본 발명의 일실시예에 따르면, 미세 변화 데이터 모듈에 의해 일반적인 딥러닝 시스템에 의해 노이즈로 처리되어 Vanishing 되는 미세한 변화의 특징을 자세 분류 및 비정상 데이터 구분에 이용할 수 있게 되는 효과가 발생된다. Third, according to an embodiment of the present invention, the characteristics of minute changes that are processed as noise by a general deep learning system and vanishing by the micro change data module can be used for posture classification and abnormal data classification.
넷째, 본 발명의 일실시예에 따르면, 공간 데이터 모듈과 미세 변화 데이터 모듈의 결합에 의해 외부 환경에 의한 진동이나 노이즈가 발생하는 경우에도 사용자의 동적인 움직임에 의한 자세 변화 및 미세 변화의 특징을 자세 분류 및 비정상 데이터 구분에 이용할 수 있게 되는 효과가 발생된다. 일반적인 딥러닝 시스템을 이용하여 두 데이터를 동시에 추출하려는 경우 매우 모호한 특징이 추출되어 분류 정확도가 저감되는 문제가 발생된다.Fourth, according to an embodiment of the present invention, even when vibration or noise caused by an external environment occurs due to the combination of the spatial data module and the fine change data module, the characteristics of the posture change and the fine change due to the dynamic movement of the user The effect of being able to use it for posture classification and abnormal data classification is generated. When two data are simultaneously extracted using a general deep learning system, very ambiguous features are extracted and the classification accuracy is reduced.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.The following drawings attached to the present specification illustrate preferred embodiments of the present invention, and serve to further understand the technical spirit of the present invention together with the detailed description of the present invention, so that the present invention is limited only to the matters described in those drawings should not be interpreted as
도 1은 압력 분포 데이터를 도시한 분포도, 1 is a distribution diagram showing pressure distribution data;
도 2는 시간에 따른 압력 크기 변화를 도시한 그래프,2 is a graph showing the change in pressure magnitude with time;
도 3은 시계열 압력 분포 데이터의 예시도,3 is an exemplary diagram of time series pressure distribution data;
도 4는 본 발명의 일실시예에 따른 비정상 데이터 구분 장치를 도시한 모식도,4 is a schematic diagram illustrating an apparatus for classifying abnormal data according to an embodiment of the present invention;
도 5는 본 발명의 일실시예에 따른 전처리 예시를 도시한 모식도, 5 is a schematic diagram showing an example of pre-processing according to an embodiment of the present invention;
도 6은 본 발명의 일실시예에 따른 전처리 흐름 예시를 도시한 흐름도,6 is a flowchart illustrating an example of a preprocessing flow according to an embodiment of the present invention;
도 7은 본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)의 미세 변화 데이터 생성 방법을 도시한 흐름도,7 is a flowchart illustrating a method of generating fine change data of the fine change data module 11 according to an embodiment of the present invention;
도 8은 본 발명의 일실시예에 따른 공간 데이터 모듈(12)의 공간 데이터 생성 방법을 도시한 흐름도,8 is a flowchart illustrating a spatial data generation method of the spatial data module 12 according to an embodiment of the present invention;
도 9는 본 발명의 일실시예에 따른 자세 분류 모듈(13)의 자세 카테고리 분류를 도시한 흐름도,9 is a flowchart illustrating posture category classification of the posture classification module 13 according to an embodiment of the present invention;
도 10은 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 학습 과정을 도시한 모식도,10 is a schematic diagram showing a learning process of the abnormal data classification module 14 according to an embodiment of the present invention;
도 11은 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 비정상 데이터 구분 과정을 도시한 모식도이다.11 is a schematic diagram illustrating an abnormal data classification process of the abnormal data classification module 14 according to an embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, with reference to the accompanying drawings, a person of ordinary skill in the art to which the present invention pertains will be described in detail an embodiment in which the present invention can be easily carried out. However, in the detailed description of the principle of operation of the preferred embodiment of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 특정 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions. Throughout the specification, when it is said that a specific part is connected to another part, this includes not only a case in which it is directly connected, but also a case in which it is indirectly connected with another element interposed therebetween. In addition, the inclusion of specific components does not exclude other components unless otherwise stated, but means that other components may be further included.
아래에서는 설명의 편의를 위해 압력 분포 데이터를 기초로 사용자의 자세를 분류하는 모듈을 기초로 발명을 설명하고 있으나, 발명의 범위는 이에 한정되지 아니하고, 시계열 분포 데이터를 기초로 특정 카테고리를 분류하는 장치나 시계열 분포 데이터를 기초로 특정 카테고리를 분류하는 장치에서 비정상 데이터를 분류하는 특징을 포함하는 범위를 포함할 수 있다. For convenience of explanation, the invention is described based on a module for classifying a user's posture based on pressure distribution data, but the scope of the invention is not limited thereto, and a device for classifying a specific category based on time series distribution data However, in a device that classifies a specific category based on time-series distribution data, it may include a range including a feature for classifying abnormal data.
인공신경망을 이용한 비정상 데이터 구분 장치Abnormal data classification device using artificial neural network
인공신경망을 이용한 비정상 데이터 구분 장치의 구성과 관련하여, 도 4는 본 발명의 일실시예에 따른 비정상 데이터 구분 장치를 도시한 모식도이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공신경망을 이용한 비정상 데이터 구분 장치(1)는 전처리 모듈(10), 미세 변화 데이터 모듈(11), 공간 데이터 모듈(12), 자세 분류 모듈(13), 비정상 데이터 구분 모듈(14)를 포함할 수 있다. With respect to the configuration of the apparatus for classifying abnormal data using an artificial neural network, FIG. 4 is a schematic diagram illustrating an apparatus for classifying abnormal data according to an embodiment of the present invention. As shown in FIG. 4 , the apparatus 1 for classifying abnormal data using an artificial neural network according to an embodiment of the present invention includes a preprocessing module 10 , a fine change data module 11 , a spatial data module 12 , and a posture. It may include a classification module 13 and an abnormal data classification module 14 .
전처리 모듈(10)은 복수개의 압력 센서 데이터를 수신하고, 수신한 압력 센서 데이터에 대해 Time window setting, 노이즈 제거, 정규화 및 센서 편향 제거 등을 수행하여 도 3과 같은 시계열 압력 분포 데이터를 생성하는 모듈이다. 전처리 모듈(10)에 의해 전처리된 압력 센서 데이터가 시계열 데이터로 임베딩된 시계열 압력 분포 데이터로 처리되어, 인공신경망으로 구성된 분류 모듈에 의한 분류의 정확도가 향상되는 효과가 발생된다. 도 5는 본 발명의 일실시예에 따른 전처리 예시를 도시한 모식도, 도 6은 본 발명의 일실시예에 따른 전처리 흐름 예시를 도시한 흐름도이다. 도 5, 6에 도시된 바와 같이, 전처리 모듈(10)은 Time window setting, 노이즈 제거, 정규화 및 센서 편향 제거 등을 수행하여 수신한 압력 센서 데이터를 기초로 다차원 벡터(전처리 데이터)를 출력할 수 있고, 시퀀스를 가지는 복수개의 다차원 벡터(전처리 데이터)를 이용하여 시계열 압력 분포 데이터를 생성하도록 구성될 수 있다. The pre-processing module 10 receives a plurality of pressure sensor data, and performs time window setting, noise removal, normalization, and sensor deflection removal on the received pressure sensor data to generate time-series pressure distribution data as shown in FIG. 3 . to be. The pressure sensor data pre-processed by the pre-processing module 10 is processed as time-series pressure distribution data embedded as time-series data, so that the accuracy of classification by the classification module composed of an artificial neural network is improved. 5 is a schematic diagram illustrating an example of a preprocessing according to an embodiment of the present invention, and FIG. 6 is a flowchart illustrating an example of a preprocessing flow according to an embodiment of the present invention. 5 and 6, the pre-processing module 10 performs time window setting, noise removal, normalization and sensor deflection removal, etc. to output a multi-dimensional vector (pre-processing data) based on the received pressure sensor data. and may be configured to generate time-series pressure distribution data using a plurality of multidimensional vectors (pre-processed data) having a sequence.
미세 변화 데이터 모듈(11)은 전처리 모듈(10)에서 생성된 시계열 압력 분포 데이터를 기초로 미세 변화 데이터를 생성하는 모듈이다. 본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)은 시계열 압력 분포 데이터를 기초로 압력 분포의 변화량에 대한 데이터인 변화량 데이터를 생성하고, 변화량 데이터를 매트릭스 형태인 변화량 분포 데이터로 변환하며, 시간에 따른 변화량 분포 데이터를 기초로 미세 변화 데이터를 생성하게 된다. 구체적으로, 도 7은 본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)의 미세 변화 데이터 생성 방법을 도시한 흐름도이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)은 전처리된 시계열 압력 분포 데이터(S)를 입력으로 하여 센서 분포의 각 위치(i, j) 및 시간(t)에 따른 변화량 데이터(ΔSij t=Sij t+1 - Sij t)를 계산할 수 있다. 이러한 변화량 데이터를 기초로 히스토그램을 통해 압력 분포 변화의 분포인 변화량 분포 데이터(P)가 생성되고, 이 과정에서 변화에 대한 공간적인 정보는 사라지게 되고 변화에 대한 분포 정보만 남게 된다. 변화량 분포 데이터 P를 기초로 한 미세 변화 데이터의 생성은, KL divergence(Kullback-Leibler divergence) 또는 Jensen-shannon divergence 등으로 Pt+1과 Pt의 거리(Dt=KL(Pt+1||Pt)를 계산하여 시간에 따른 변화량 분포 데이터(D)를 생성한 뒤, 시간에 따른 변화량 분포 데이터(D)를 차례로 출력 벡터의 원소(element)로 사용하여 미세 변화 데이터인 출력 벡터(O)를 생성 및 출력하게 된다. The fine change data module 11 is a module that generates fine change data based on the time series pressure distribution data generated by the preprocessing module 10 . The minute change data module 11 according to an embodiment of the present invention generates change amount data, which is data on the amount of change in the pressure distribution, based on the time series pressure distribution data, and converts the change amount data into change amount distribution data in the form of a matrix, Fine change data is generated based on the change amount distribution data over time. Specifically, FIG. 7 is a flowchart illustrating a method of generating fine change data of the fine change data module 11 according to an embodiment of the present invention. As shown in FIG. 7 , the micro change data module 11 according to an embodiment of the present invention receives the preprocessed time series pressure distribution data (S) as input, and each position (i, j) and time ( t), the variation data (ΔS ij t =S ij t+1 - S ij t ) may be calculated. Based on the change amount data, the change amount distribution data P, which is the distribution of the pressure distribution change, is generated through the histogram, and in this process, spatial information about the change disappears and only the distribution information about the change remains. The generation of fine change data based on the change amount distribution data P is the distance between P t +1 and P t (D t =KL(P t+1 | |P t ) is calculated to generate time-dependent distribution data (D), and then the time-dependent distribution data (D) is sequentially used as an element of the output vector as an output vector (O), which is fine change data. ) is created and printed.
본 발명의 일실시예에 따른 미세 변화 데이터 모듈(11)에 따르면, 압력 분포 변화의 분포가 계산되고, 공간적인 정보는 사라지게 되며, 미세 변화의 전체적인 분포 정보가 미세 변화 데이터로서 남게 된다. 미세 변화 데이터 모듈(11)에 의해 미세 변화 특징 및 공간적 특징의 혼재에 의해 추후 전파될 수 있는 모호한 정보의 표현을 방지하게 되는 효과가 발생된다. According to the fine change data module 11 according to an embodiment of the present invention, the distribution of the pressure distribution change is calculated, the spatial information disappears, and the overall distribution information of the fine change remains as the fine change data. The effect of preventing the expression of ambiguous information that may be propagated later is generated by the fine change data module 11 due to the mixture of the fine change feature and the spatial feature.
공간 데이터 모듈(12)은 전처리 모듈(10)에서 생성된 시계열 압력 분포 데이터를 기초로 사용자의 동적인 움직임에 의한 자세 변화를 의미하는 공간 데이터를 생성하는 모듈이다. 공간 데이터의 생성과 관련하여, 공간 데이터 모듈(12)은 압력 분포의 공간적인 특징을 추출하고 다수의 시퀀스(sequence)에 대한 처리를 통해 공간적 특징을 임베딩하여 공간 데이터를 생성하게 된다. 구체적으로, 도 8은 본 발명의 일실시예에 따른 공간 데이터 모듈(12)의 공간 데이터 생성 방법을 도시한 흐름도이다. 도 8에 도시된 바와 같이, 공간 데이터 모듈(12)은 복수개의 전처리 데이터로 구성된 전처리 된 시계열 압력 분포 데이터를 ConvNet으로 구성된 임베딩 네트워크에 입력하여 Feature Map을 이용하여 압력 분포의 공간적인 특징을 추출하고, LSTM(Long-Short Term Memory)을 통해 시간적 특징인 시퀀스를 임베딩하여 공간 데이터로 출력하게 된다. The spatial data module 12 is a module for generating spatial data indicating a change in posture due to a dynamic movement of a user based on the time series pressure distribution data generated by the preprocessing module 10 . With respect to the generation of spatial data, the spatial data module 12 generates spatial data by extracting spatial features of the pressure distribution and embedding the spatial features through processing for a plurality of sequences. Specifically, FIG. 8 is a flowchart illustrating a spatial data generation method of the spatial data module 12 according to an embodiment of the present invention. As shown in Fig. 8, the spatial data module 12 inputs the preprocessed time series pressure distribution data composed of a plurality of preprocessed data into the embedding network composed of ConvNet to extract spatial features of the pressure distribution using the Feature Map, , a sequence that is a temporal feature is embedded through Long-Short Term Memory (LSTM) and output as spatial data.
이때, 본 발명의 일실시예에 따른 공간 데이터 모듈(12)은 출력된 임베딩 벡터인 공간 데이터를 ConvNet으로 구성된 검증 네트워크의 입력으로 하여 전처리 데이터의 평균 분포가 출력되도록 구성될 수 있다. 이에 따르면, 임베딩된 벡터인 공간 데이터가 압력 분포의 공간적인 특징을 잘 내포하고 있는지 확인할 수 있는 효과가 발생되며, 공간 데이터 모듈(12)에 의해 출력되는 공간 데이터가 자세 분류 모듈(13)에서의 카테고리 분류만을 위한 공간적인 특징을 갖는 것이 아닌, 비정상 데이터 구분을 위한 특징도 내포할 수 있게 되는 효과가 발생된다. 또한, 검증 네트워크를 통해 임베딩되는 과정에서 정보 손실이 없도록 학습되도록 하여, 다양한 특징 추출이 임베딩 과정에서 이루어지는 효과가 발생된다. 따라서, 공간 데이터 모듈(12)의 검증 네트워크에 의하면 예상치 못한 비정상 데이터의 새로운 특징도 추출할 수 있도록 대비할 수 있게 된다. 또한, 임베딩된 벡터(공간 데이터 모듈(12)의 출력)는 '검증 네트워크', '자세 분류 모듈(13)' 그리고 '비정상 데이터 구분 모듈(14)'에서 각각 서로 다른 Task 를 위해 사용(공유)될 수 있다. 이는 Multi-task(유사한 여러 작업)를 위해 임베딩된 벡터(공간 데이터 모듈(12)의 출력)가 학습되도록 하여, 좀 더 일반화된 특징 추출이 잘 이루어지도록 하는 효과가 발생된다.In this case, the spatial data module 12 according to an embodiment of the present invention may be configured to output the average distribution of the preprocessed data by using the output spatial data, which is the embedded vector, as an input of the verification network composed of ConvNet. According to this, it is possible to check whether the spatial data, which is an embedded vector, well contains the spatial characteristics of the pressure distribution, and the spatial data output by the spatial data module 12 is generated in the posture classification module 13 . There is an effect that not only has a spatial feature for category classification, but also includes a feature for classifying abnormal data. In addition, it is learned so that there is no information loss in the process of embedding through the verification network, so that various feature extractions are performed in the embedding process. Therefore, according to the verification network of the spatial data module 12, it is possible to prepare to extract new features of unexpected abnormal data. In addition, the embedded vector (output of the spatial data module 12) is used (shared) for different tasks in the 'verification network', 'posture classification module 13' and 'abnormal data classification module 14', respectively. can be This causes the embedded vector (output of the spatial data module 12) to be learned for multi-task (multiple similar tasks), so that more generalized feature extraction is performed well.
자세 분류 모듈(13)은 미세 변화 데이터 모듈(11)에서 생성된 미세 변화 데이터, 공간 데이터 모듈(12)에서 생성된 공간 데이터를 입력받아 자세 카테고리 분류를 수행하여 자세 분류 데이터를 생성하는 모듈이다. 구체적으로, 본 발명의 일실시예에 따른 자세 분류 모듈(13)은 미세 변화 데이터 및 공간 데이터를 기초로 비선형 연산을 통해 임베딩하여 특징을 추출하고, 선형 알고리즘을 통해 자세 카테고리 분류를 수행하도록 구성될 수 있다. 도 9는 본 발명의 일실시예에 따른 자세 분류 모듈(13)의 자세 카테고리 분류를 도시한 흐름도이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 자세 분류 모듈(13)은 Convolution layer의 역할을 수행하는 ConvNet(CNN, Convolutional Neural Network)과 Fully connected layer 의 역할을 수행하는 FFNN(Feed-Foward Neural Network)을 포함할 수 있고, CNN에 미세 변화 데이터 및 공간 데이터가 입력되고 CNN을 통해 비선형적인 특징이 추출되고 시공간적인 특징을 바탕으로 자세 카테고리 분류에 필요한 형태로 임베딩되어 임베딩된 벡터가 출력되고, CNN을 통해 임베딩된 벡터는 FFNN의 입력이 되어 FFNN을 통해 자세 카테고리 분류가 수행되게 된다. The posture classification module 13 is a module that receives the fine change data generated by the fine change data module 11 and the spatial data generated by the spatial data module 12, performs posture category classification, and generates posture classification data. Specifically, the posture classification module 13 according to an embodiment of the present invention is configured to extract features by embedding through non-linear calculations based on fine change data and spatial data, and to perform posture category classification through a linear algorithm. can 9 is a flowchart illustrating posture category classification of the posture classification module 13 according to an embodiment of the present invention. As shown in FIG. 9 , the posture classification module 13 according to an embodiment of the present invention includes a ConvNet (CNN, Convolutional Neural Network) that serves as a convolution layer and FFNN (Feed) that serves as a fully connected layer. -Forward Neural Network), fine change data and spatial data are input to CNN, nonlinear features are extracted through CNN, and embedded vectors are embedded in the form required for posture category classification based on spatiotemporal features The output and the vector embedded through the CNN becomes an input to the FFNN, and posture category classification is performed through the FFNN.
비정상 데이터 구분 모듈(14)은 미세 변화 데이터 모듈(11)에서 생성된 미세 변화 데이터, 공간 데이터 모듈(12)에서 생성된 공간 데이터, 자세 분류 모듈(13)에서 생성된 자세 분류 데이터를 통합한 다차원 벡터를 입력받아 비정상 데이터 구분 장치(1)에 입력되는 복수개의 압력 센서 데이터의 비정상 데이터 여부를 구분하는 모듈이다. 구체적으로, 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)에서는 생성 모듈과 구분 모듈을 포함할 수 있고, 구분 모듈을 이용하여 생성 모듈이 Random noise(Z)를 입력받아 정상적인 미세 변화 데이터, 공간 데이터 및 자세 분류 데이터를 통합한 다차원 벡터인 정상 벡터를 생성하도록 생성 모듈을 학습한 뒤, 생성 모듈의 손실 함수 출력값 L(Loss)을 비정상 데이터 스코어로 활용하여 생성 모듈에 입력되는 Random noise(Z)의 변화에 따라 L이 특정 값 이하로 낮아지는지 여부를 기초로 비정상 데이터 구분 장치(1)에 입력되는 데이터의 비정상 데이터 여부를 구분할 수 있다. The abnormal data classification module 14 integrates the fine change data generated by the fine change data module 11, the spatial data generated by the spatial data module 12, and the posture classification data generated by the posture classification module 13. It is a module that receives a vector and classifies whether the plurality of pressure sensor data input to the abnormal data classification device 1 is abnormal data. Specifically, the abnormal data classification module 14 according to an embodiment of the present invention may include a generation module and a classification module, and the generation module receives random noise (Z) using the classification module to receive normal fine change data After learning the generation module to generate a normal vector, which is a multidimensional vector that integrates spatial data and posture classification data, the generation module uses the loss function output L(Loss) of the generation module as an abnormal data score to generate random noise ( Based on whether L is lowered to a specific value or less according to a change in Z), it is possible to distinguish whether data input to the abnormal data classification apparatus 1 is abnormal data.
본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 생성 모듈은 인코더와 디코더로 구성되어 정상 벡터를 생성하도록 구성될 수 있고, 생성 모듈의 인코더는 정상적인 미세 변화 데이터, 공간 데이터 및 자세 분류 데이터를 통합한 m x n x 3의 표준화 된 다차원 벡터를 수신하여 1 x 1 x k의 잠재변수로 인코딩하는 복수개의 연속된 ConvNet으로 구성될 수 있으며, 포즈 전이 모듈(4)의 디코더는 1 x 1 x k의 잠재변수를 m x n x 3의 다차원 벡터로 출력하도록 디코딩하는 복수개의 연속된 네트워크로 구성될 수 있다. 이때, 정상 벡터인 다차원 벡터를 입력하여 정상 벡터에 가까운 다차원 벡터를 출력하도록 생성 모듈이 학습될 수 있고, 생성 모듈에 의해 출력되는 다차원 벡터의 정상 벡터인지 여부를 구분하는 구분 모듈에 의해 학습될 수 있다. The generation module of the abnormal data classification module 14 according to an embodiment of the present invention may be configured to generate a normal vector by being composed of an encoder and a decoder, and the encoder of the generation module is configured to classify normal fine change data, spatial data and posture It can be composed of a plurality of consecutive ConvNets that receive mxnx 3 standardized multidimensional vectors with integrated data and encode them into 1 x 1 xk latent variables, and the decoder of the pose transition module (4) has a 1 x 1 xk latent variable. It may consist of a plurality of consecutive networks that decode variables to output them as mxnx 3 multidimensional vectors. At this time, the generation module may be trained to input a multidimensional vector that is a normal vector and output a multidimensional vector close to the normal vector, and the generation module may be learned by the classification module for discriminating whether the multidimensional vector output by the generation module is a normal vector. have.
본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 구분 모듈은, CONCAT 함수와 복수개의 인코더를 통해 생성 모듈에 의해 출력되는 다차원 벡터의 정상 벡터인지 여부를 구분하도록 구성될 수 있다. The classification module of the abnormal data classification module 14 according to an embodiment of the present invention may be configured to distinguish whether a multidimensional vector output by the generation module through a CONCAT function and a plurality of encoders is a normal vector.
본 발명의 변형예에 따른 비정상 데이터 구분 모듈(14)의 구분 모듈은, 강화학습 모듈에 의해 업데이트 되도록 구성될 수 있다. 이때, 강화학습 모듈의 Agent는 구분 모듈이 되고, State는 생성 모듈에 의해 출력되는 다차원 벡터 및 정상 벡터가 되며, Action은 State의 상황에서 상기 다차원 벡터가 정상 벡터인지 여부를 구분하여 정상 벡터 확률을 출력하는 것이 되고, Reward는 구분 모듈의 정상 벡터 구분이 정확하면 생성되도록 구성될 수 있다. The classification module of the abnormal data classification module 14 according to a modification of the present invention may be configured to be updated by the reinforcement learning module. At this time, the Agent of the reinforcement learning module becomes a classification module, the State becomes a multidimensional vector and a stationary vector output by the generation module, and the Action determines whether the multidimensional vector is a normal vector in the state of the state to determine the stationary vector probability. output, and Reward can be configured to be generated when the normal vector division of the division module is correct.
비정상 데이터 구분 모듈(14)의 학습과 관련하여, 도 10은 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 학습 과정을 도시한 모식도이다. 도 10에 도시된 바와 같이, 생성 모듈은 구분 모듈과 MinMax game을 구성하도록 Loss Function이 구성될 수 있고, 동시에 학습될 수 있다. 이하 수학식 1은 생성 모듈과 구분 모듈의 Loss Function이다. Regarding the learning of the abnormal data classification module 14, FIG. 10 is a schematic diagram illustrating a learning process of the abnormal data classification module 14 according to an embodiment of the present invention. As shown in FIG. 10 , in the generation module, the Loss Function may be configured to configure the division module and the MinMax game, and may be simultaneously learned. Equation 1 below is the loss function of the generation module and the division module.
Figure PCTKR2019018788-appb-M000001
Figure PCTKR2019018788-appb-M000001
위 수학식 1에서 G는 생성 모듈, D는 구분 모듈을 의미하며, z는 잠재 변수로서 입력되는 Random noise, y는 정상적인 미세 변화 데이터, 공간 데이터 및 자세 분류 데이터를 통합한 다차원 벡터인 정상 벡터, G(x)는 생성된 다차원 벡터인 생성 벡터를 의미한다. 따라서, 수학식 1에 따르면 생성 모듈 및 구분 모듈의 Loss function은, 생성 모듈이 충분히 학습되지 않아서 구분 모듈이 잠재 변수인 랜덤 노이즈 z를 통해 y와 G(z)를 완벽하게 구분해내는 경우에는 D(z,y)=1, D(z,G(z))=0에 의해 0의 max 값을 갖고, 생성 모듈의 학습 후에 구분 모듈이 랜덤 노이즈 z를 통해 y와 G(z)를 구분해내지 못하는 경우 D(z,y)=1/2, D(z,G(z))=1/2에 의해 -log4의 min 값을 갖는다. 즉, 위 Loss function에 의해 생성 모듈이 랜덤 노이즈 z를 통해 생성한 다차원 벡터인 생성 벡터 G(z)와 정상적인 미세 변화 데이터, 공간 데이터 및 자세 분류 데이터를 통합한 다차원 벡터인 정상 벡터인 y가 동일할 때, 생성 모듈은 Global minimum을 갖게 되고, 이러한 방향으로 생성 모듈 및 구분 모듈이 학습되게 된다. 생성 모듈과 구분 모듈은 상호 적대적 의존 관계에 의해 생성 모듈을 빠르게 최적화 할 수 있는 효과가 발생된다. In Equation 1 above, G denotes a generation module, D denotes a classification module, z denotes a random noise input as a latent variable, y denotes a normal vector that is a multidimensional vector that integrates normal fine change data, spatial data, and posture classification data; G(x) denotes a generative vector that is a generated multidimensional vector. Therefore, according to Equation 1, the loss function of the generating module and the classifying module is D when the generating module is not sufficiently trained and the classifying module perfectly distinguishes y and G(z) through the random noise z, which is a latent variable. It has a max value of 0 by (z,y)=1, D(z,G(z))=0, and after learning of the generating module, the classification module separates y and G(z) through random noise z If not, it has a min value of -log4 by D(z,y)=1/2 and D(z,G(z))=1/2. In other words, the generation vector G(z), which is a multidimensional vector generated by the generation module through random noise z by the above Loss function, and the normal vector y, which is a multidimensional vector integrating normal fine change data, spatial data, and posture classification data, are the same. In this case, the generation module has a global minimum, and the generation module and the classification module are learned in this direction. The generation module and the classification module have the effect of optimizing the generation module quickly due to the mutual antagonistic dependency.
또한, 본 발명의 일실시예에 따르면, 정상 벡터에 가까운 다차원 벡터 G(z)의 생성이 구역 별로 더 정교하게 진행되도록 생성 모듈의 Loss function에 각 구역 별로 구분 모듈이 입력되는 정상 벡터와 생성 모듈에 의해 생성되는 생성 벡터의 비교를 통해 생성 벡터의 정상 또는 비정상을 구분하는 구역 손실 함수를 더 포함할 수 있다. 본 발명의 일실시예에 따른 구역 손실 함수는 다음 수학식과 같이 구성될 수 있다. In addition, according to an embodiment of the present invention, a normal vector and a generation module in which a division module is input for each zone to the Loss function of the generation module so that the generation of a multidimensional vector G(z) close to a normal vector proceeds more precisely for each zone It may further include a regional loss function for discriminating between normality and abnormality of the generation vector by comparison of the generation vectors generated by . A zone loss function according to an embodiment of the present invention may be configured as follows.
Figure PCTKR2019018788-appb-M000002
Figure PCTKR2019018788-appb-M000002
위 수학식 2에서 LBP(G,D)는 각 구역에 대한 손실 함수인 구역 손실 함수, i는 구분 모듈의 i번째 레이어, T는 구분 모듈의 전체 레이어, Ni는 i번째 레이어에서의 구역 feature의 개수를 의미할 수 있다. 이에 따라, 구분 모듈이 생성 벡터의 특정 레이어에서 특정 구역의 정상 or 비정상을 정확하게 구분해내면 ||D(z,y)-D(z,G(z))||=1 이 되고, 정상 벡터 y와 생성 벡터 G(z)의 특정 레이어에서의 특정 구역이 구분 모듈에 의해 구분되지 않으면 ||D(z,y)-D(z,G(z))||=0이 된다. 따라서, 위와 같은 구역 손실함수를 적용한 비정상 데이터 구분 모듈(14)의 손실함수는 다음과 같이 구성될 수 있다. In Equation 2 above, L BP (G,D) is the area loss function that is a loss function for each area, i is the i-th layer of the division module, T is the entire layer of the division module, and N i is the area in the i-th layer It can mean the number of features. Accordingly, if the classification module accurately identifies the normal or abnormal in a specific region in a specific layer of the generated vector, ||D(z,y)-D(z,G(z))||=1, and the normal vector If a specific region in a specific layer of y and the generative vector G(z) is not separated by the division module, ||D(z,y)-D(z,G(z))||=0. Accordingly, the loss function of the abnormal data classification module 14 to which the above-described regional loss function is applied may be configured as follows.
Figure PCTKR2019018788-appb-M000003
Figure PCTKR2019018788-appb-M000003
위 수학식 3에서, λ는 가중치 상수, LBP는 수학식 2의 구역 손실함수를 의미할 수 있고, 생성 모듈은 구역 손실함수를 최소화 하는 방향으로 학습되게 된다. 이에 의해 보다 정교하게 정상 벡터에 가까운 생성 벡터가 출력되도록 생성 모듈이 학습되게 된다. In Equation 3 above, λ is a weight constant, L BP may mean the regional loss function of Equation 2, and the generation module is learned in a direction to minimize the regional loss function. Accordingly, the generation module is learned so that a generation vector close to a normal vector is output more precisely.
또한, 다차원 벡터의 시퀀스 변화 순서 고려하기 위하여, 생성 모듈이 프레임 순서를 고려할 수 있도록 Loss function을 구성할 수 있다. 본 발명의 일실시예에 따르면 생성 모듈은 특정 시간 t에서의 잠재 변수 zt와 이전 시간인 t-1에서의 생성 벡터인 G(zt-1)을 입력데이터로 하여 시간 t에서의 생성 벡터인 G(zt)를 출력하도록 구성될 수 있다. 결국, 구분 모듈은 (zt-1, zt)를 통해 Fake sequence인 (G(zt-1), G(zt))와 Real sequence인 (yt-1, yt)를 구분하도록 구성되며, 이를 위한 비정상 데이터 구분 모듈(14)의 시퀀스 손실함수는 아래의 수학식과 같이 구성될 수 있다. In addition, in order to consider the sequence change order of the multidimensional vector, a loss function may be configured so that the generation module may consider the frame order. According to one embodiment of the present invention generation module generates vector at a certain time the latent variables in t z t and the previous time, the t-1 generation vector of G time t to a (z t-1) to the input data in the It can be configured to output G(z t ) which is End, separated module to distinguish Fake sequence of (G (z t-1) , G (z t)) and Real sequence of (y t-1, y t ) through (z t-1, z t ) The sequence loss function of the abnormal data classification module 14 for this purpose may be configured as shown in the following equation.
Figure PCTKR2019018788-appb-M000004
Figure PCTKR2019018788-appb-M000004
위 수학식 4와 같은 시퀀스 손실함수에 따르면 생성 모듈에 의해 출력되는 생성 벡터의 시퀀스가 정상 벡터와 매우 유사하게 정교해지는 효과가 발생된다. According to the sequence loss function as in Equation 4 above, the effect that the sequence of the generation vector output by the generation module becomes very similar to that of the normal vector is elaborated.
비정상 데이터 구분 모듈(14)의 비정상 데이터 구분과 관련하여, 도 11은 본 발명의 일실시예에 따른 비정상 데이터 구분 모듈(14)의 비정상 데이터 구분 과정을 도시한 모식도이다. 도 11에 도시된 바와 같이, 생성 모듈은 랜덤 노이즈 z를 수신하여 정상 벡터에 가까운 다차원 벡터(생성 벡터)를 생성하게 되고, 입력되는 사용자 데이터(비정상 데이터인지 여부를 구분하는 대상인 구분 대상 데이터)의 다차원 벡터(구분 대상 벡터)와 생성 벡터와의 차이를 기초로 입력되는 사용자 데이터(구분 대상 데이터)의 정상 또는 비정상 여부를 구분하게 된다. Regarding the abnormal data classification of the abnormal data classification module 14, FIG. 11 is a schematic diagram illustrating the abnormal data classification process of the abnormal data classification module 14 according to an embodiment of the present invention. 11 , the generation module receives the random noise z to generate a multidimensional vector (generated vector) close to a normal vector, and input user data (classification target data that is a target for discriminating whether or not abnormal data) is generated. Whether the input user data (classification target data) is normal or abnormal is determined based on the difference between the multidimensional vector (classification target vector) and the generated vector.
또한, 본 발명의 일실시예에 따른 생성 모듈은 학습 이후에 파라미터가 고정되도록 구성될 수 있고, G(z)와 y의 차이인 구분 손실함수(L)가 줄어들도록 Back Propagation을 통해 잠재 변수인 랜덤 노이즈 z를 조절하도록 구성될 수 있다. 아래 수학식 5는 G(z)와 y의 차이에 대한 구분 손실함수(L), 수학식 6은 잠재 변수인 랜덤 노이즈의 조절에 관한 것이다. In addition, the generation module according to an embodiment of the present invention can be configured so that the parameter is fixed after learning, and the latent variable through Back Propagation so that the division loss function (L), which is the difference between G(z) and y, is reduced. and may be configured to adjust for random noise z. Equation 5 below relates to the division loss function (L) for the difference between G(z) and y, and Equation 6 relates to the control of random noise, which is a latent variable.
Figure PCTKR2019018788-appb-M000005
Figure PCTKR2019018788-appb-M000005
Figure PCTKR2019018788-appb-M000006
Figure PCTKR2019018788-appb-M000006
위 수학식 5, 6에서 L은 정상 벡터와 가깝게 생성된 생성 벡터와 사용자 데이터(구분 대상 데이터)의 다차원 벡터(구분 대상 벡터)와의 차이인 구분 손실함수, G(z)는 생성 벡터, z는 잠재 변수인 랜덤 노이즈, y는 사용자 데이터(구분 대상 데이터)의 다차원 벡터(구분 대상 벡터), η는 학습률(Learning rate)을 의미한다. 이에 따르면, 사용자 데이터(구분 대상 데이터)의 다차원 벡터 y(구분 대상 벡터)가 정상 데이터인 경우에는 생성 모듈 G의 파라미터를 고정한 상태로 구분 손실함수 L을 줄이기 위해 z를 조절하면 L의 손실값이 특정 값 이하로 낮아지게 된다. 또한, 사용자 데이터(구분 대상 데이터)의 다차원 벡터 y(구분 대상 벡터)가 비정상 데이터인 경우에는 생성 모듈 G의 파라미터를 고정한 상태로 구분 손실함수 L을 줄이기 위해 z를 조절하더라도 L의 손실값이 특정 값 이하로 낮아지지 않게 된다. 즉, y가 비정상 데이터인 경우의 Loss L은 y가 정상 데이터인 경우의 L보다 상대적으로 높은 값을 가지게 된다. 따라서, L을 비정상 데이터 스코어(anomaly score)로 사용하여 비정상 데이터의 분류, 비정상 데이터의 구분, 비정상 데이터의 검출(detection)을 수행할 수 있게 되는 효과가 발생된다. In Equations 5 and 6 above, L is the division loss function that is the difference between the generated vector generated close to the normal vector and the multidimensional vector (the target vector) of the user data (classification target data), G(z) is the generation vector, and z is Random noise as a latent variable, y denotes a multidimensional vector (classification target vector) of user data (classification target data), and η denotes a learning rate. According to this, if the multidimensional vector y (classification target vector) of the user data (classification target data) is normal data, the loss value of L is reduced by adjusting z to reduce the classification loss function L while the parameters of the generation module G are fixed. is lowered below a certain value. In addition, if the multidimensional vector y (classification target vector) of the user data (classification target data) is abnormal data, even if z is adjusted to reduce the division loss function L while the parameters of the generation module G are fixed, the loss value of L is not specific. does not drop below the value. That is, Loss L when y is abnormal data has a relatively higher value than L when y is normal data. Accordingly, there is an effect that classification of abnormal data, classification of abnormal data, and detection of abnormal data can be performed by using L as an anomaly score.
본 발명의 일실시예에 따르면, 데이서 수집 시 예상하지 못한 비정상 데이터를 구분하고 수집할 수 있게 되는 효과가 발생된다. 비정상 데이터는 예상치 못한 상황에서 발생되는 경우가 대부분이므로, 기존의 일반적인 통계적 접근 또는 Manual Feature Engineering으로 Labeling을 통해 딥러닝 분류 모델을 구축하는 것이 매우 어렵다. 또한, 비정상 데이터에 대한 별도의 Labeling이나 Tagging 없이 비정상 데이터의 구분, 분류, 검출에 대한 Unsupervised Learning이 가능해지는 효과가 발생된다. 또한, 다른 딥러닝 모델 및 Clustering 알고리즘을 바탕으로 비정상 데이터의 구분, 분류, 검출을 시도하게 되면 추상적 공간으로 임베딩 된 벡터 간의 거리를 anomaly score로 사용할 수 밖에 없다. 기존의 방식으로는 정상 데이터와 비정상 데이터가 추상적 공간에서 거리가 멀도록하는 Constraint가 없으며, 임베딩 된 벡터 사이의 거리의 정도가 사용자 데이터(구분 대상 데이터)의 비정상적인 정도를 표현한다고 하기에 부정확하다. 본 발명의 일실시예에 따른 비정상 데이터 구분 장치는 딥러닝의 특징 추출 성능을 효과적으로 사용하며 동시에 정상 데이터를 만드는 생성 모듈 G 를 포함하기 때문에 사용자 데이터(구분 대상 데이터)의 비정상적인 정도의 의미가 anomaly score 에 표현되는 효과가 발생된다.According to an embodiment of the present invention, there is an effect of being able to classify and collect unexpected abnormal data when collecting data. Since abnormal data are most often generated in unexpected situations, it is very difficult to build a deep learning classification model through labeling with the existing general statistical approach or manual feature engineering. In addition, there is an effect that unsupervised learning for the classification, classification, and detection of abnormal data is possible without separate labeling or tagging for abnormal data. In addition, when classification, classification, and detection of abnormal data are attempted based on other deep learning models and clustering algorithms, the distance between vectors embedded in abstract space has no choice but to be used as an anomaly score. In the existing method, there is no constraint that makes the normal data and the abnormal data far from the abstract space, and it is inaccurate to say that the degree of distance between the embedded vectors expresses the abnormality of the user data (data to be classified). Since the apparatus for classifying abnormal data according to an embodiment of the present invention includes a generation module G that effectively uses the feature extraction performance of deep learning and creates normal data at the same time, the meaning of the abnormality of the user data (classification target data) is anomaly score The effect expressed in
이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.As described above, those skilled in the art to which the present invention pertains will be able to understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential features thereof. Therefore, the above-described embodiments are to be understood in all respects as illustrative and not restrictive. The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention.
본 명세서 내에 기술된 특징들 및 장점들은 모두를 포함하지 않으며, 특히 많은 추가적인 특징들 및 장점들이 도면들, 명세서, 및 청구항들을 고려하여 당업자에게 명백해질 것이다. 더욱이, 본 명세서에 사용된 언어는 주로 읽기 쉽도록 그리고 교시의 목적으로 선택되었고, 본 발명의 주제를 묘사하거나 제한하기 위해 선택되지 않을 수도 있다는 것을 주의해야 한다.The features and advantages described herein are not all inclusive, and many additional features and advantages will become apparent to those skilled in the art, particularly upon consideration of the drawings, the specification, and the claims. Moreover, it should be noted that the language used herein has been principally selected for readability and teaching purposes, and may not be chosen to delineate or limit the subject matter of the present invention.
본 발명의 실시예들의 상기한 설명은 예시의 목적으로 제시되었다. 이는 개시된 정확한 형태로 본 발명을 제한하거나, 빠뜨리는 것 없이 만들려고 의도한 것이 아니다. 당업자는 상기한 개시에 비추어 많은 수정 및 변형이 가능하다는 것을 이해할 수 있다.The foregoing description of embodiments of the present invention has been presented for purposes of illustration. It is not intended to be exhaustive or to limit the invention to the precise form disclosed. Those skilled in the art will appreciate that many modifications and variations are possible in light of the above disclosure.
그러므로 본 발명의 범위는 상세한 설명에 의해 한정되지 않고, 이를 기반으로 하는 출원의 임의의 청구항들에 의해 한정된다. 따라서, 본 발명의 실시예들의 개시는 예시적인 것이며, 이하의 청구항에 기재된 본 발명의 범위를 제한하는 것은 아니다.Therefore, the scope of the present invention is not limited by the detailed description, but by any claims of the application based thereon. Accordingly, the disclosure of the embodiments of the present invention is illustrative and not intended to limit the scope of the present invention as set forth in the following claims.

Claims (2)

  1. 시계열 분포 데이터를 입력받아 비정상 데이터인지 여부를 구분하여 비정상 데이터 스코어를 출력하는 비정상 데이터 구분 모듈의 프로그램 코드를 저장하는 메모리 모듈; 및a memory module for storing a program code of an abnormal data classification module that receives time-series distribution data, determines whether the data is abnormal, and outputs an abnormal data score; and
    상기 비정상 데이터 구분 모듈의 프로그램 코드를 처리하는 처리 모듈;a processing module for processing the program code of the abnormal data classification module;
    을 포함하고, including,
    상기 비정상 데이터 구분 모듈의 상기 프로그램 코드는,The program code of the abnormal data classification module is,
    잠재 변수를 기초로 정상인 상기 시계열 분포 데이터의 다차원 벡터인 정상 벡터를 생성하도록 학습된 상기 비정상 데이터 구분 모듈의 일구성인 생성 모듈이 생성 벡터를 생성하는 생성 벡터 생성 단계;a generation vector generation step of generating a generation vector by a generation module, which is a component of the abnormal data classification module, trained to generate a stationary vector that is a multidimensional vector of the time-series distribution data that is normal based on a latent variable;
    비정상 데이터 구분의 대상이 되는 구분 대상 데이터의 다차원 벡터인 구분 대상 벡터를 수신하는 구분 대상 벡터 수신 단계;A classification target vector receiving step of receiving a classification target vector that is a multidimensional vector of the classification target data to be classified as abnormal data;
    상기 생성 벡터와 상기 구분 대상 벡터의 차이를 기초로 손실값인 비정상 데이터 스코어를 출력하는 비정상 데이터 스코어 출력 단계; 및an abnormal data score output step of outputting an abnormal data score that is a loss value based on a difference between the generated vector and the vector to be classified; and
    상기 비정상 데이터 스코어가 낮아지는 방향으로 상기 잠재 변수를 조절하는 잠재 변수 조절 단계;a latent variable adjustment step of adjusting the latent variable in a direction in which the abnormal data score is lowered;
    를 포함하여 컴퓨터 상에서 수행되도록 구성되고,configured to be performed on a computer, including
    상기 메모리 모듈은 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 미세 변화를 표현하는 미세 변화 데이터를 출력하는 미세 변화 모듈의 프로그램 코드를 더 포함하고, 상기 처리 모듈은 상기 미세 변화 모듈의 상기 프로그램 코드를 더 처리하며, The memory module further includes a program code of a minute change module for outputting minute change data representing a minute change of the time series distribution data or the classification target data, and the processing module further executes the program code of the minute change module process,
    상기 미세 변화 모듈의 상기 프로그램 코드는, The program code of the micro change module,
    상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 수신하는 수신 단계; a receiving step of receiving the time series distribution data or the classification target data;
    수신된 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 분포의 변화량에 대한 데이터인 변화량 데이터를 생성하는 변화량 데이터 생성 단계;a change amount data generating step of generating change amount data, which is data on the amount of change in the distribution of the received time series distribution data or the classification target data;
    상기 변화량 데이터를 매트릭스 형태인 변화량 분포 데이터로 변환하는 변화량 분포 데이터 생성 단계; 및a change amount distribution data generating step of converting the change amount data into matrix change amount distribution data; and
    시간에 따른 상기 변화량 분포 데이터를 기초로 미세 변화 데이터를 생성하는 미세 변화 데이터 생성 단계;a minute change data generation step of generating minute change data based on the time-dependent distribution data;
    를 포함하여 컴퓨터 상에서 수행되도록 구성되고,configured to be performed on a computer, including
    상기 비정상 데이터 구분 모듈은, 상기 잠재 변수 조절 단계에서 상기 잠재 변수의 조절에 의해 낮아진 상기 비정상 데이터 스코어가 특정 값 이상인 경우 상기 구분 대상 데이터가 상기 비정상 데이터인 것으로 구분하며,The abnormal data classification module, when the abnormal data score lowered by the adjustment of the latent variable in the latent variable adjustment step is equal to or greater than a specific value, the classification target data is classified as the abnormal data,
    상기 정상 벡터는 상기 시계열 분포 데이터의 상기 미세 변화 데이터를 포함하도록 구성되고, 상기 구분 대상 벡터는 상기 구분 대상 데이터의 상기 미세 변화 데이터를 포함하도록 구성되고, The normal vector is configured to include the fine change data of the time series distribution data, the classification target vector is configured to include the fine change data of the classification target data,
    상기 생성 모듈은 상기 비정상 데이터 구분 모듈인 구분 모듈에 의해 수행되며, The generation module is performed by a classification module that is the abnormal data classification module,
    상기 구분 모듈은 강화학습 모듈에 의해 업데이트 되도록 구성되고, 상기 강화학습 모듈의 Agent는 상기 구분 모듈이 되고, State는 상기 생성 모듈에 의해 출력되는 상기 생성 벡터 및 상기 정상 벡터가 되며, Action은 상기 State의 상황에서 상기 생성 벡터가 상기 정상 벡터인지 여부를 구분하여 정상 벡터 확률을 출력하는 것이 되고, Reward는 상기 구분 모듈의 정상 벡터 구분이 정확하면 생성되도록 구성되는 것을 특징으로 하는, The classification module is configured to be updated by the reinforcement learning module, the Agent of the reinforcement learning module becomes the classification module, State becomes the generated vector and the normal vector output by the generation module, and Action is the State In the situation of , it is to output the normal vector probability by distinguishing whether the generated vector is the normal vector, and Reward is configured to be generated when the normal vector division of the division module is correct,
    인공신경망을 이용한 비정상 데이터 구분 장치.Abnormal data classification device using artificial neural network.
  2. 제1항에 있어서,According to claim 1,
    상기 메모리 모듈은 상기 시계열 분포 데이터 또는 상기 구분 대상 데이터의 동적인 움직임에 의한 분포 변화를 의미하는 공간 데이터를 출력하는 공간 데이터 모듈의 프로그램 코드를 더 포함하고, 상기 처리 모듈은 상기 공간 데이터 모듈의 상기 프로그램 코드를 더 처리하며, The memory module further includes a program code of a spatial data module for outputting spatial data indicating a distribution change due to a dynamic movement of the time series distribution data or the classification target data, wherein the processing module is configured to further processing the program code,
    상기 공간 데이터 모듈의 상기 프로그램 코드는, The program code of the spatial data module,
    상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 수신하는 수신 단계; a receiving step of receiving the time series distribution data or the classification target data;
    상기 시계열 분포 데이터 또는 상기 구분 대상 데이터를 ConvNet으로 구성된 임베딩 네트워크에 입력하여 Feature Map을 이용해 분포의 공간적 특징을 추출하는 공간적 특징 추출 단계; 및a spatial feature extraction step of inputting the time series distribution data or the classification target data into an embedding network composed of ConvNet and extracting spatial features of the distribution using a feature map; and
    상기 공간적 특징을 LSTM(Long-Short Term Memory)에 입력하여 시간적 특징인 시퀀스를 임베딩하고 공간 데이터를 생성하는 공간 데이터 생성 단계;a spatial data generation step of inputting the spatial feature into a Long-Short Term Memory (LSTM), embedding a sequence that is a temporal feature, and generating spatial data;
    를 포함하여 컴퓨터 상에서 수행되도록 구성되고,configured to be performed on a computer, including
    상기 정상 벡터는 상기 시계열 분포 데이터의 상기 공간 데이터를 포함하도록 구성되고, 상기 구분 대상 벡터는 상기 구분 대상 데이터의 상기 공간 데이터를 포함하도록 구성되는 것을 특징으로 하는, The stationary vector is configured to include the spatial data of the time series distribution data, and the classification target vector is configured to include the spatial data of the classification target data,
    인공신경망을 이용한 비정상 데이터 구분 장치.Abnormal data classification device using artificial neural network.
PCT/KR2019/018788 2019-12-31 2019-12-31 Apparatus for classifying abnormal data using artificial neural network WO2021137320A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/018788 WO2021137320A1 (en) 2019-12-31 2019-12-31 Apparatus for classifying abnormal data using artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/018788 WO2021137320A1 (en) 2019-12-31 2019-12-31 Apparatus for classifying abnormal data using artificial neural network

Publications (1)

Publication Number Publication Date
WO2021137320A1 true WO2021137320A1 (en) 2021-07-08

Family

ID=76686608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018788 WO2021137320A1 (en) 2019-12-31 2019-12-31 Apparatus for classifying abnormal data using artificial neural network

Country Status (1)

Country Link
WO (1) WO2021137320A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160139977A1 (en) * 2013-07-01 2016-05-19 Agent Video Intelligence Ltd. System and method for abnormality detection
KR101971278B1 (en) * 2018-12-13 2019-04-26 주식회사 알고리고 Anomaly detection apparatus using artificial neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160139977A1 (en) * 2013-07-01 2016-05-19 Agent Video Intelligence Ltd. System and method for abnormality detection
KR101971278B1 (en) * 2018-12-13 2019-04-26 주식회사 알고리고 Anomaly detection apparatus using artificial neural network

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI, DAN ET AL.: "Anomalv Detection with Generative Adversarial Networks for Multivariate Time Series", ARXIV:1809.04758V1, 13 September 2018 (2018-09-13), pages 1 - 10, XP081056861, Retrieved from the Internet <URL:https//arxiv.org/abs/1809.04758> [retrieved on 20200917] *
LUO, WEIXIN ET AL.: "REMEMBERING HISTORY WITH CONVOLUTIONAL LSTM FOR ANOMALY DETECTION", PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME) 2017, 14 July 2017 (2017-07-14), pages 439 - 444, XP033146508, DOI: 10.1109/ICME.2017.8019325 *
ZHAO. ZILONG ET AL.: "Robust Anomaly Detection on Unreliable Data", 2019 49TH ANNUAL IEEE /IFIP INTERNATIONAL CONFERENCE ON DEPENDABLE SYSTEMS AND NETWORKS (DSN, 27 June 2019 (2019-06-27), pages 630 - 637, XP033601072, DOI: 10.1109/DSN.2019.00068 *

Similar Documents

Publication Publication Date Title
KR102036963B1 (en) Method and system for robust face dectection in wild environment based on cnn
KR20190013011A (en) Apparatus and method for generating training data used to training student model from teacher model
CN109033938A (en) A kind of face identification method based on ga s safety degree Fusion Features
KR101971278B1 (en) Anomaly detection apparatus using artificial neural network
CN111553419B (en) Image identification method, device, equipment and readable storage medium
CN111582342B (en) Image identification method, device, equipment and readable storage medium
KR102418596B1 (en) A deep-learning system based small learning data-set and method of deep-learning used it
CN110688980A (en) Human body posture classification method based on computer vision
US20230386242A1 (en) Information processing apparatus, control method, and non-transitory storage medium
CN117116498A (en) Mobile ward-round data processing system and method thereof
KR102274581B1 (en) Method for generating personalized hrtf
Ariesta et al. Sentence level Indonesian sign language recognition using 3D convolutional neural network and bidirectional recurrent neural network
CN112367303A (en) Distributed self-learning abnormal flow cooperative detection method and system
Zhu et al. Falling motion detection algorithm based on deep learning
CN114861731A (en) Cross-scene universal electromyographic pattern recognition method
KR102198224B1 (en) Anomaly detection apparatus using artificial neural network
Rajan et al. Gesture recognition of RGB-D and RGB static images using ensemble-based CNN architecture
CN117333908A (en) Cross-modal pedestrian re-recognition method based on attitude feature alignment
WO2018092957A1 (en) Method, device and program for determining for re-learning with respect to input value in neural network model
WO2021137320A1 (en) Apparatus for classifying abnormal data using artificial neural network
JP2019023801A (en) Image recognition device, image recognition method and image recognition program
CN117033956A (en) Data processing method, system, electronic equipment and medium based on data driving
WO2020122287A1 (en) Apparatus and method for identifying abnormal data by using minute distribution change
Hassan et al. Intelligent sign language recognition using enhanced fourier descriptor: a case of Hausa sign language
KR102337008B1 (en) Method for sensing pain of newborn baby using convolution neural network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19958266

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19958266

Country of ref document: EP

Kind code of ref document: A1