WO2022191520A1 - 시계열 데이터의 이상 구간 탐지 방법 및 탐지 장치 - Google Patents

시계열 데이터의 이상 구간 탐지 방법 및 탐지 장치 Download PDF

Info

Publication number
WO2022191520A1
WO2022191520A1 PCT/KR2022/003079 KR2022003079W WO2022191520A1 WO 2022191520 A1 WO2022191520 A1 WO 2022191520A1 KR 2022003079 W KR2022003079 W KR 2022003079W WO 2022191520 A1 WO2022191520 A1 WO 2022191520A1
Authority
WO
WIPO (PCT)
Prior art keywords
time series
series data
neural network
label value
artificial neural
Prior art date
Application number
PCT/KR2022/003079
Other languages
English (en)
French (fr)
Inventor
유환조
이동하
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Publication of WO2022191520A1 publication Critical patent/WO2022191520A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the disclosed technology relates to a method and apparatus for detecting an anomaly section of time series data.
  • Anomaly events occurring in the real world generally generate anomalies of variable length in time series data. Since the currently developed time-series data anomaly detection model predicts the presence or absence of anomalies at each time point, it is difficult to match the discontinuously detected anomaly points with the time period of the anomaly that actually occurred, which made it difficult to post-analysis.
  • VAE Variational Auto Encoder
  • the disclosed technology is to provide a method and apparatus for detecting an abnormal section of time series data using an artificial neural network model.
  • the first aspect of the disclosed technology to achieve the above technical task is the step of the processing device calculating a local anomaly score for each time point of the time series data using an artificial neural network model, the processing device processing the time series data Generating a sequential pseudo label by dividing it into a plurality of sections and checking whether there is an abnormal score exceeding a threshold value for each section, and the processing device calculates the regional abnormal score and the sequential pseudo label value
  • An object of the present invention is to provide a method for detecting an abnormal section of time series data, comprising the step of determining a start time and an end time of the abnormal section of the time series data based on the method.
  • a second aspect of the disclosed technology to achieve the above technical task is an input device for receiving time series data from a plurality of sensors arranged in a process line, a storage device for storing an artificial neural network model analyzing the time series data, and the artificial neural network By inputting the time series data into the model, a local anomaly score for each time point of the time series data is calculated, and the time series data is divided into a plurality of sections, and there is an anomaly score exceeding the threshold for each section.
  • a time series comprising a processing device for generating a sequential pseudo label by checking whether An object of the present invention is to provide an apparatus for detecting an abnormal section of data.
  • Embodiments of the disclosed technology may have effects including the following advantages. However, since it does not mean that the embodiments of the disclosed technology should include all of them, the scope of the disclosed technology should not be understood as being limited thereby.
  • a method and apparatus for detecting an anomaly section of time series data has an effect of easily matching an abnormal time point with an event section actually occurring by using a dynamic time distortion algorithm.
  • FIG. 1 is a diagram illustrating a process of detecting an abnormal section of time series data according to an embodiment of the disclosed technology.
  • FIG. 2 is a flowchart of a method for detecting an abnormal section of time series data according to an embodiment of the disclosed technology.
  • FIG. 3 is a block diagram of an apparatus for detecting an abnormal section of time series data according to an embodiment of the disclosed technology.
  • FIG. 4 is a diagram illustrating a process of learning an artificial neural network model using an anomaly label value of an instance level of time series data.
  • 5 is a diagram illustrating sorting of abnormal scores and pseudo-label values.
  • first, second, A, and B may be used to describe various components, but the components are not limited by the above terms, and only for the purpose of distinguishing one component from other components.
  • a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
  • each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to the main function it is responsible for. Of course, it can also be performed by being dedicated to it. Therefore, the existence or non-existence of each component described through the present specification should be interpreted functionally.
  • a processing device equipped with an artificial neural network model may receive time series data and determine a section in which an event in the time series data is estimated to be an abnormal section.
  • the processing device can accurately determine where the start point and the end point of the abnormal section are by using the artificial neural network model learned in advance.
  • the time series data refers to process-related data obtained from a plurality of sensors disposed in a process line.
  • the image may be an image obtained by photographing an operation of a robot arm that transports an object in a process line, or may be an image photographed to determine whether the object is defective.
  • the processing device learns the artificial neural network model by using the training data in advance in order to detect an abnormal section of the time series data.
  • the processing device may calculate a global anomaly score for an instance of training data similar to time series data.
  • the artificial neural network model can be trained to classify the training data into instance-level label values according to the global anomaly score.
  • the instance-level label value does not mean a correct answer to the data, but may be a kind of annotation for determining whether a specific event has occurred or not, such as whether an event has occurred. That is, according to the general label value, it does not learn what the input learning data is and from where to where the abnormal section occurs, but only whether the abnormal section occurs or does not occur.
  • the artificial neural network model calculates anomaly scores for the entire section of the training data input in advance, and can accurately classify time series data to be input later as anomaly label values at the instance level based on the calculated score.
  • the processing apparatus of the present invention can perform weak supervised learning on the artificial neural network model.
  • the artificial neural network model is trained by weak supervised learning in advance using the instance-level label value, and when time series data is input later, the artificial neural network model may be used to estimate sequential pseudo label values.
  • the sequential pseudo label value may be input in a manner of checking whether an abnormal score exceeding a threshold value exists for each section. For example, if there is an abnormal score, the pseudo label value is input, and if there is no abnormal score, the pseudo label value is not input.
  • artificial neural network models can improve learning accuracy by optimizing the loss function in the learning process.
  • the artificial neural network model of the present invention can optimize the loss function using two loss values. First, a loss value for classifying the input training data as an instance-level label value may be used. Second, we can use the alignment loss value to match the training data with the sequential label values.
  • the artificial neural network model can accurately detect anomalies in time series data by building a loss function that minimizes two loss values.
  • the processing unit inputs time series data to the artificial neural network model trained in this way.
  • the artificial neural network model can calculate a local anomaly score for each time point of the input time series data. If the global anomaly score is a calculation of the anomaly score for all sections of the time series data, the regional anomaly score means that the time series data is divided into a plurality of sections and then the anomaly score for each time point is calculated. After dividing the regional anomaly score into a plurality of sections according to the time point, the processing device may generate a sequential pseudo label value for at least one section in which it is determined that an actual abnormal event has occurred. In other words, it can be annotated so that only the existence of an anomaly score can be identified. Accordingly, it is possible to quickly process time series data at a lower cost compared to the process of inputting the complete label value.
  • the start time and the end time of the anomaly section of the time series data can be determined based on the two data.
  • the start and end time of the anomaly section may be determined by calculating an optimal matrix for the local anomaly score and the sequential pseudo-label value using a dynamic time warping algorithm.
  • FIG. 2 is a flowchart of a method for detecting an abnormal section of time series data according to an embodiment of the disclosed technology.
  • the method 200 for detecting an abnormal section of time series data may be sequentially performed through a processing device.
  • the processing unit calculates a local anomaly score for each time point of the time series data using the artificial neural network model.
  • the artificial neural network model may be trained through training data provided from the processing device before time series data is input.
  • the artificial neural network model can be trained to calculate a global anomaly score for training data in a form similar to time series data, and to classify the training data into instance-level label values according to the calculated global anomaly score.
  • An artificial neural network model can use global pooling during the training process to compute global anomaly scores for instances of training data. And based on the calculated score, it can be learned to accurately classify the instance-level anomaly label value. That is, the learning process of the weak supervised learning method can be performed.
  • the artificial neural network model may calculate an abnormal score of the time series data according to the preceding learning process.
  • an abnormal score for each time point may be calculated. This is called a regional anomaly score.
  • the processing device divides the time series data into a plurality of sections, checks whether an abnormal score exceeding a threshold value exists for each section, and generates a sequential pseudo label value.
  • the processing apparatus may equally divide the time series data into a plurality of sections using the segment window. In addition, it is possible to check whether an abnormal score is included in each section or not. If there is a section including at least one abnormal score, a pseudo-label value can be generated in the section.
  • the pseudo label value is a label value capable of determining only the presence or absence of an abnormal score, and may be a kind of annotation.
  • the processing device may sequentially generate pseudo label values for each of the plurality of divided sections.
  • the processing device determines the start time and end time of the anomaly section of the time series data based on the regional anomaly score and the sequential pseudo label value.
  • the processing unit may calculate an optimal matrix between the local anomaly score output from the artificial neural network model and the sequential pseudo-label value based on the dynamic time distortion algorithm.
  • the start time and end time of each abnormal section may be determined according to the result.
  • Regional anomaly scores and sequential pseudo-label values may be data having different lengths or different speeds. Accordingly, the processing unit may calculate the optimal matrix by applying the operation time distortion algorithm and measure the similarity between the temporal sequences of the two data.
  • the apparatus 300 for detecting an abnormal section of time series data includes an input device 310 , a storage device 320 , and a processing device 330 .
  • the input device 310 receives time series data from a plurality of sensors disposed on the process line.
  • the input device 310 may be implemented in the form of an interface of the abnormal section detection device 300 .
  • various means for inputting time series data such as a keyboard, a mouse, or a dedicated terminal for inputting time series data, may be used.
  • the input device 310 may be disposed near a process line for detecting time series data, or may be provided integrally with a sensor for detecting time series data. Of course, it is also possible to be arranged in separate places spaced apart from each other.
  • the storage device 320 may be implemented as a means for storing a plurality of data or artificial neural network models, such as a memory of time series data or a hard disk.
  • the storage device stores an artificial neural network model that analyzes time series data.
  • the artificial neural network model stored in the storage device 320 may be stored in a state in which the learning process has been completed in advance, or the learning process may be performed from the time it is stored until the time series data is input.
  • the processing unit inputs time series data to the learned artificial neural network model to calculate a local anomaly score for each time point of the time series data, and divides the time series data into a plurality of sections to exceed the threshold value for each section.
  • a sequential pseudo label is generated by checking whether an abnormal score exists. Then, a start time and an end time of the anomaly section of the time series data are determined based on the regional anomaly score and the sequential pseudo label value.
  • processing unit 330 may be implemented as a program (or application) including an executable algorithm that can be executed in a device such as a computer.
  • the program may be provided by being stored in a temporary or non-transitory computer readable medium.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device.
  • the various applications or programs described above are CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), EPROM (Erasable PROM, EPROM)
  • ROM read-only memory
  • PROM programmable read only memory
  • EPROM Erasable PROM, EPROM
  • it may be provided while being stored in a non-transitory readable medium such as an EEPROM (Electrically EPROM) or a flash memory.
  • Temporarily readable media include: Static RAM (SRAM), Dynamic RAM (DRAM), Synchronous DRAM (SDRAM), Double Data Rate SDRAM (DDR SDRAM), Enhanced SDRAM (Enhanced) SDRAM, ESDRAM), Synchronous DRAM (Synclink DRAM, SLDRAM) and Direct Rambus RAM (Direct Rambus RAM, DRRAM) refers to a variety of RAM.
  • FIG. 4 is a diagram illustrating a process of learning an artificial neural network model using an anomaly label value of an instance level of time series data.
  • the artificial neural network model is trained to generate an accurate anomaly score and pseudo label value by using the anomaly label value of the instance level of the time series data.
  • Training data for model training may consist of N instances with instance-level binary label values.
  • the artificial neural network model simply learns whether an abnormal event has occurred or not. That is, the model is trained using only annotation data, not high-density label values that include correct answers for all time series data.
  • the processing device may determine the start time and end time of each anomaly section by aligning the anomaly score calculated from the artificial neural network model with the sequential pseudo label value using a dynamic time distortion algorithm.
  • the segmentation result of the input instance may be obtained using a segmentation mask.
  • a type of anomaly label value that can act as a segmentation mask called a sequential anomaly label value.
  • the abnormal label value may indicate the presence of normal and abnormal events for each input instance. For example, when the sequential pseudo label value Z is [0, 1, 0, 1, 0], it may be determined that two abnormal events exist in the input instance.
  • the label value Z itself cannot be the final output of the framework because it does not include information on the start and end times of the segment.
  • the goal of the dynamic time warping algorithm is to find an optimal matrix between two matrices X and Z.
  • an optimal path proceeding from the upper left to the lower right may be generated as shown in FIG. 5 .
  • the weak supervised learning-based operation time-distortion algorithm (WETAS) of the present invention cannot retreat backward on the path because each time point must be aligned only with a single label value.
  • the algorithm can generate an optimal matrix by the loss value L c according to classification and the loss value L a according to alignment, and based on this, it can generate segment-level anomaly prediction.
  • the anomaly score at time t can be parameterized to model the cost function ⁇ (z l , x t ) required to define the cost matrix ⁇ (z,X). That is, we can calculate the probability that x t comes from an anomaly event.
  • DiCNN is basically a stack of extended causal convolutions, performing convolution operations that do not take future inputs into account when calculating the output at each point. More specifically, the nth layer has a convolution with filter size k and extension rate k n ⁇ 1 , so the output vector of layer n at time t depends on the previous k n points in the end. in other words, is the receptive field.
  • the local anomaly score s ⁇ R T can be calculated as in Equation 1 below.
  • the range of scores is set to [0, 1] by applying the sigmoid function ⁇ .
  • the cost ⁇ (z l , x t ) is defined as Equation 2 below by the negative log-likelihood calculated using the anomaly score s t .
  • the dynamic time warping algorithm can identify anomaly segments in order to find the best point-to-point match between a set of anomaly scores and sequential labels, thereby minimizing the total sorting cost.
  • a global or instance level anomaly score for binary classification may be defined.
  • Global pooling over time can be used to retrieve the maximum for each latent dimension from all output vectors.
  • the global anomaly score can be calculated as shown in Equation 3 below.
  • the performance of the DiCNN model can be further improved by inferring the sequential anomaly label value of the input instance and then using the generated sequential pseudo label value. That is, it is possible to accurately detect a non-continuous abnormal section according to a locally occurring event.
  • the pseudo-label value is for analyzing the time domain that has the greatest influence on the instance-level classification like the conventional class activation map (CAM).
  • Sequential pseudo-label values provides information about the number and relative positions of anomalous segments present. Sequential pseudo-label values is used as a segmentation mask for the alignment of the dynamic time distortion algorithm.
  • the sort loss value L a is the input X and the corresponding sequential pseudo-label value for better sorting. It is designed to reduce the dynamic time distortion mismatch between the
  • the slope of the dynamic time distortion is not well defined with respect to the cost matrix, since only the minimum is used. That is, it cannot be differentiated. Therefore, in combination with the global alignment kernel, we adopt soft-dynamic time warping (soft-DTW), which provides continuous mitigation of dynamic time warping.
  • soft-DTW soft-dynamic time warping
  • the soft dynamic time warp distance can be obtained through dynamic programming based on Bellman's recursion. Minimizing the dynamic time-warped mismatch between the input and pseudo-label values can lead to regressive alignment problems, where each label value is assigned to a single point in time.
  • differential modeling can be performed using pseudo-label values. That is, a positive pseudo-label value and the sort cost is negative pseudo-label
  • the model can be optimized such that the cost is equal to less by a smaller margin ⁇ .
  • the alignment loss L a is defined according to Equation 8 below.
  • the hinge loss function From here is the hinge loss function.
  • the positive pseudo-label value is , the negative pseudo-label is Since it is obtained by , the instance-level label value y acts as a binary mask. That is, sequential pseudo-label values damaged by incorrect instance-level label values are considered negative.
  • This alignment loss can result in an accurate regional anomaly score by adjusting the neural network model to better align with the sequential pseudo-label values.
  • the artificial neural network model can accurately detect anomalies using only instance-level label values.
  • the final loss is determined by the sum of L c and L a .
  • the classification loss value L c optimizes the model to learn global normality and anomaly of time series data with instance-level label values, and the alignment loss value L a adjusts the model to sequentially align well a series of regional anomaly scores.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

개시된 기술은 시계열 데이터의 이상 구간 탐지 방법 및 장치에 관한 것으로, 처리장치가 인공신경망 모델을 이용하여 시계열 데이터의 각 시점에 대한 지역 이상 점수(Local Anomaly Score)를 계산하는 단계; 처리장치가 상기 시계열 데이터를 복수개의 구간으로 등분하고 각 구간 별로 임계값을 초과하는 이상 점수가 존재하는지 확인하여 순차 의사 라벨값(Sequential Pseudo Label)을 생성하는 단계; 및 상기 처리장치가 상기 지역 이상 점수와 상기 순차 의사 라벨값을 기반으로 상기 시계열 데이터의 이상 구간의 시작 시점과 종료 시점을 판단하는 단계;를 포함한다.

Description

시계열 데이터의 이상 구간 탐지 방법 및 탐지 장치
개시된 기술은 시계열 데이터의 이상 구간을 탐지하는 방법 및 장치에 관한 것이다.
이하 설명하는 기술은 과학기술정보통신부의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구이다(과제고유번호: 1711125969, 과제번호: 2018-0-00584-004, 연구사업명: SW컴퓨팅산업원천기술개발(R&D,정보화), 연구과제명 (국문): 차세대 기계학습 기반 의사결정 지원 시스템 SW 개발, 기여율: 1/1, 과제수행기관명: 포항공과대학교 산학협력단 ).
현실세계에서 발생하는 이상 이벤트는 일반적으로 시계열 데이터에 가변 길이의 이상 구간을 생성한다. 현재 개발된 시계열 데이터 이상 탐지 모델은 각 시점 별로 이상 여부를 예측하기 때문에, 불연속적으로 탐지된 이상 시점들과 실제 발생한 이상 이벤트의 시점 구간을 일치시키기가 어려워서 사후 분석에 어려움이 있었다.
한편, 종래 시계열 데이터의 이상 여부를 판단하기 위해 이용되는 VAE(Variational Auto Encoder)와 같은 모델은 비지도 방식으로 학습되는 모델로 각 시점에 대한 시간 컨텍스트를 얼마나 잘 재구성할 수 있는지를 측정하여 이상 점수를 계산하는 방법을 이용한다. 그러나 이러한 모델은 정상적인 시계열 패턴과 비정상적인 시계열 패턴의 차이를 효과적으로 학습하기 어렵다는 문제점이 있었다. 이는, 모델을 학습하는 과정에서 이상 라벨값을 사용하지 않기 때문이며, 이로 인해 데이터 내 이상 구간을 탐지하는 정확도가 낮아지게 된다.
이러한 문제점을 해소하기 위해서는 지도 학습 방식으로 모든 상황에 대한 라벨값을 입력해야 하는데 이 경우 매우 많은 시간과 비용이 발생하기 때문에 효율적이지 못하므로 결과적으로 비지도학습 기반의 모델을 이용하되 연속적인 이상 구간을 찾아냄으로써 이벤트 발생 여부를 보다 정확하게 탐지하는 기술이 요구된다.
개시된 기술은 인공신경망 모델을 이용하여 시계열 데이터의 이상 구간을 탐지하는 방법 및 장치를 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 처리장치가 인공신경망 모델을 이용하여 시계열 데이터의 각 시점에 대한 지역 이상 점수(Local Anomaly Score)를 계산하는 단계, 처리장치가 상기 시계열 데이터를 복수개의 구간으로 등분하고 각 구간 별로 임계값을 초과하는 이상 점수가 존재하는지 확인하여 순차 의사 라벨값(Sequential Pseudo Label)을 생성하는 단계 및 상기 처리장치가 상기 지역 이상 점수와 상기 순차 의사 라벨값을 기반으로 상기 시계열 데이터의 이상 구간의 시작 시점과 종료 시점을 판단하는 단계를 포함하는 시계열 데이터의 이상 구간 탐지 방법을 제공하는데 있다.
상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 공정 라인에 배치된 복수개의 센서들로부터 시계열 데이터를 입력받는 입력장치, 상기 시계열 데이터를 분석하는 인공신경망 모델을 저장하는 저장장치 및 상기 인공신경망 모델에 상기 시계열 데이터를 입력하여 상기 시계열 데이터의 각 시점에 대한 지역 이상 점수(Local Anomaly Score)를 계산하고, 상기 시계열 데이터를 복수개의 구간으로 등분하여 각 구간 별로 임계값을 초과하는 이상 점수가 존재하는지 확인하여 순차 의사 라벨값(Sequential Pseudo Label)을 생성하고, 상기 지역 이상 점수와 상기 순차 의사 라벨값을 기반으로 상기 시계열 데이터의 이상 구간의 시작 시점과 종료 시점을 판단하는 처리장치를 포함하는 시계열 데이터의 이상 구간 탐지 장치를 제공하는데 있다.
개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술의 일 실시예에 따르면 시계열 데이터의 이상 구간 탐지 방법 및 장치는 동적 시간 왜곡 알고리즘을 이용하여 이상 시점과 실제 발생한 이벤트 구간을 용이하게 일치시키는 효과가 있다.
또한, 시계열 데이터의 연속적인 이상 구간을 찾아냄으로써 실제 발생한 이벤트를 사후에 분석할 수 있는 효과가 있다.
또한, 시계열 데이터의 이상 라벨값을 이용하여 인공신경망 모델을 학습함으로써 탐지 정확도를 높이는 효과가 있다.
도 1은 개시된 기술의 일 실시예에 따른 시계열 데이터의 이상 구간을 탐지하는 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 시계열 데이터의 이상 구간 탐지 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 시계열 데이터의 이상 구간 탐지 장치에 대한 블록도이다.
도 4는 시계열 데이터의 인스턴스 레벨의 이상 라벨값을 이용하여 인공신경망 모델을 학습하는 과정을 나타낸 도면이다.
도 5는 이상 점수와 의사 라벨값을 정렬하는 것을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다.
그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.
도 1은 개시된 기술의 일 실시예에 따른 시계열 데이터의 이상 구간을 탐지하는 과정을 나타낸 도면이다. 도 1을 참조하면 인공신경망 모델을 탑재한 처리장치가 시계열 데이터를 입력받고 시계열 데이터 내 이벤트가 발생한 것으로 추정되는 구간을 이상 구간으로 판단할 수 있다. 처리장치는 사전에 학습된 인공신경망 모델을 이용하여 이상 구간의 시작 지점과 종료 지점이 어디인지 정확하게 판별할 수 있다. 여기에서 시계열 데이터는 공정 라인에 배치된 복수 개의 센서들로부터 획득된 공정 관련 데이터를 의미한다. 예컨대, 공정 라인에서 대상체를 이송하는 로봇 암의 동작을 촬영한 영상일 수도 있고 대상체의 불량 여부를 판단하기 위해 촬영된 영상일 수도 있다.
한편, 처리장치는 시계열 데이터의 이상 구간을 탐지하기 위해서 사전에 학습 데이터를 이용하여 인공신경망 모델을 학습한다. 일 실시예로, 처리장치는 시계열 데이터와 유사한 학습 데이터의 인스턴스(Instance)에 대한 전역 이상 점수(Global Anomaly Score)를 계산할 수 있다. 그리고 전역 이상 점수에 따라 학습 데이터를 인스턴스 레벨의 라벨값으로 분류하도록 인공신경망 모델을 학습할 수 있다. 여기에서 인스턴스 레벨의 라벨값은 데이터에 대한 정답을 의미하는 것이 아니라 이벤트의 발생 여부와 같이 특정 사건이 발생하였는지 또는 발생하지 않았는지를 판단하기 위한 일종의 주석(Annotation)일 수 있다. 즉, 일반적인 라벨값에 따라 입력된 학습 데이터가 무엇이고 어디부터 어디까지 이상 구간이 발생하였는지를 학습하지 않고 단순히 이상 구간이 발생하였는지 혹은 발생하지 않았는지만 학습하게 된다. 인공신경망 모델은 사전에 입력된 학습 데이터 전체 구간에 대한 이상 점수를 계산하고 계산된 점수를 바탕으로 추후 입력될 시계열 데이터를 인스턴스 레벨의 이상 라벨값으로 정확하게 분류할 수 있다.
한편, 종래의 인공신경망 모델을 이용한 이상 탐지 기법과는 다르게 본 발명의 처리장치는 인공신경망 모델에 약한 지도학습을 실시할 수 있다. 일 실시예로, 인스턴스 레벨의 라벨값을 이용하여 사전에 인공신경망 모델을 약한 지도학습으로 학습시키고, 추후 시계열 데이터가 입력되면 학습된 인공신경망 모델을 이용하여 순차 의사 라벨값을 추정할 수 있다. 순차 의사 라벨값은 각 구간 별로 임계치를 넘는 이상 점수가 존재하는지 확인하는 방식으로 입력될 수 있다. 가령, 이상 점수가 존재하면 의사 라벨값이 입력되고 이상 점수가 존재하지 않으면 의사 라벨값을 입력하지 않는 방식일 수 있다.
한편, 일반적으로 인공신경망 모델은 학습 과정에서 손실함수를 최적화하는 것으로 학습 정확도를 높일 수 있다. 본 발명의 인공신경망 모델은 2개의 손실값을 이용하여 손실함수를 최적화할 수 있다. 첫 번째로, 입력된 학습 데이터에 대하여 인스턴스 레벨의 라벨값으로 분류하기 위한 손실값을 이용할 수 있다. 두번째로 학습 데이터를 순차 라벨값과 일치시키기 위한 정렬 손실값을 이용할 수 있다. 인공신경망 모델은 두 개의 손실값을 최소화하는 손실함수를 구축하여 시계열 데이터의 이상 구간을 정확하게 탐지할 수 있다.
처리장치는 이와 같이 학습된 인공신경망 모델에 시계열 데이터를 입력한다. 이 과정에 따라 인공신경망 모델은 입력된 시계열 데이터의 각 시점에 대한 지역 이상 점수(Local Anomaly Score)를 계산할 수 있다. 전역 이상 점수가 시계열 데이터의 전체 구간에 대한 이상 점수를 계산한 것이라면 지역 이상 점수는 시계열 데이터를 복수개의 구간으로 등분한 다음 각 시점에 대한 이상 점수를 계산한 것을 의미한다. 처리장치는 지역 이상 점수를 그 시점에 따라 복수개의 구간으로 등분한 후 실제 이상 이벤트가 발생한 것으로 판별되는 적어도 하나의 구간에 대하여 순차 의사 라벨값(Sequential Pseudo Label)을 생성할 수 있다. 즉, 주석을 달아서 이상 점수의 존재 여부만 식별할 수 있도록 처리할 수 있다. 이에 따라 온전한 라벨값을 입력하는 과정 대비 낮은 코스트로 빠르게 시계열 데이터를 처리할 수 있다.
한편, 이와 같이 시계열 데이터의 지역 이상 점수와 순차 의사 라벨값의 생성이 처리되면 두 데이터를 기반으로 시계열 데이터의 이상 구간의 시작 시점과 종료 시점을 판단할 수 있다. 일 실시예로, 동적 시간 왜곡 알고리즘(Dynamic Time Warping)을 이용하여 지역 이상 점수와 순차 의사 라벨값에 대한 최적 행렬을 계산하는 것으로 이상 구간의 시작과 종료 시점을 판단할 수 있다.
도 2는 개시된 기술의 일 실시예에 따른 시계열 데이터의 이상 구간 탐지 방법에 대한 순서도이다. 도 2를 참조하면 시계열 데이터의 이상 구간 탐지 방법(200)은 처리장치를 통해서 순차적으로 수행될 수 있다.
210 단계에서 처리장치는 인공신경망 모델을 이용하여 시계열 데이터의 각 시점에 대한 지역 이상 점수(Local Anomaly Score)를 계산한다. 인공신경망 모델은 시계열 데이터가 입력되기 이전에 처리장치에서 제공되는 학습 데이터를 통해 학습될 수 있다. 학습 과정에서 인공신경망 모델은 시계열 데이터와 유사한 형태의 학습 데이터에 대한 전역 이상 점수(Global Anomaly Score)를 계산하고 계산된 전역 이상 점수에 따라 학습 데이터를 인스턴스 레벨의 라벨값으로 분류하도록 학습될 수 있다. 인공신경망 모델은 학습 과정에서 글로벌 풀링을 사용하여 학습 데이터의 인스턴스에 대한 전역 이상 점수를 계산할 수 있다. 그리고 계산된 점수를 토대로 인스턴스 레벨의 이상 라벨값으로 정확하게 분류하도록 학습될 수 있다. 즉, 약한 지도학습 방식의 학습 과정을 수행할 수 있다. 이후 210 단계에 따라 공정 라인의 시계열 데이터가 입력되면 인공신경망 모델은 선행 학습 과정에 따라 시계열 데이터의 이상 점수를 계산할 수 있다. 이때, 각 시점 별 이상 점수를 계산할 수 있다. 이를 지역 이상 점수라고 한다.
220 단계에서 처리장치는 시계열 데이터를 복수개의 구간으로 등분하고 각 구간 별로 임계값을 초과하는 이상 점수가 존재하는지 확인하여 순차 의사 라벨값(Sequential Pseudo Label)을 생성한다. 처리장치는 세그먼트 윈도우를 이용하여 시계열 데이터를 복수개의 구간으로 등분할 수 있다. 그리고 각 구간 별로 이상 점수를 포함하는지 그렇지 않은지를 확인할 수 있다. 만약 이상 점수를 적어도 하나 포함하는 구간이 존재한다면 해당 구간에 의사 라벨값을 생성할 수 있다. 의사 라벨값은 앞서 도 1을 통해 설명한 바와 같이 이상 점수의 존재 여부만을 판별할 수 있는 라벨값으로 일종의 주석일 수 있다. 처리장치는 등분된 복수개의 구간들 각각에 대한 의사 라벨값을 순차적으로 생성할 수 있다.
230 단계에서 처리장치는 지역 이상 점수와 순차 의사 라벨값을 기반으로 시계열 데이터의 이상 구간의 시작 시점과 종료 시점을 판단한다. 처리장치는 동적 시간 왜곡 알고리즘을 기반으로 인공신경망 모델로부터 출력된 지역 이상 점수와 순차 의사 라벨값 사이의 최적 행렬을 계산할 수 있다. 그리고 이 결과에 따라 각 이상 구간의 시작 시점과 종료 시점을 결정할 수 있다. 지역 이상 점수 및 순차 의사 라벨값은 서로 다른 길이 내지는 서로 다른 속도를 갖는 데이터일 수 있다. 따라서 처리장치는 동작 시간 왜곡 알고리즘을 적용하여 최적 행렬을 계산하고 두 데이터의 시간 순서 간의 유사성을 측정할 수 있다.
도 3은 개시된 기술의 일 실시예에 따른 시계열 데이터의 이상 구간 탐지 장치에 대한 블록도이다. 도 3을 참조하면 시계열 데이터의 이상 구간 탐지 장치(300)는 입력장치(310), 저장장치(320) 및 처리장치(330)를 포함한다.
입력장치(310)는 공정 라인에 배치된 복수개의 센서들로부터 시계열 데이터를 입력받는다. 입력장치(310)는 이상 구간 탐지 장치(300)의 인터페이스 형태로 구현될 수 있다. 예컨대, 키보드나 마우스 또는 시계열 데이터를 입력하는 전용 단말기와 같이 시계열 데이터를 입력할 수 있는 다양한 수단을 이용할 수 있다. 입력장치(310)는 시계열 데이터를 감지하는 공정 라인의 근처에 배치될 수도 있고 또는 시계열 데이터를 감지하는 센서와 서로 일체로 구비될 수도 있다. 물론 별도의 서로 이격된 장소에 배치되는 것도 가능하다.
저장장치(320)는 시계열 데이터의 메모리 내지는 하드디스크와 같이 다수의 데이터나 인공신경망 모델을 저장할 수 있는 수단으로 구현될 수 있다. 저장장치는 시계열 데이터를 분석하는 인공신경망 모델을 저장한다. 저장장치(320)에 저장되는 인공신경망 모델은 사전에 학습 과정을 완료한 상태로 저장될 수도 있고 저장된 이후부터 시계열 데이터가 입력되기 전까지 학습 과정을 수행할 수도 있다.
처리장치는 학습된 인공신경망 모델에 시계열 데이터를 입력하여 시계열 데이터의 각 시점에 대한 지역 이상 점수(Local Anomaly Score)를 계산하고, 시계열 데이터를 복수개의 구간으로 등분하여 각 구간 별로 임계값을 초과하는 이상 점수가 존재하는지 확인하여 순차 의사 라벨값(Sequential Pseudo Label)을 생성한다. 그리고, 지역 이상 점수와 순차 의사 라벨값을 기반으로 시계열 데이터의 이상 구간의 시작 시점과 종료 시점을 판단한다.
한편, 상술한 처리장치(330)는 컴퓨터와 같은 디바이스에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.
도 4는 시계열 데이터의 인스턴스 레벨의 이상 라벨값을 이용하여 인공신경망 모델을 학습하는 과정을 나타낸 도면이다. 도 4를 참조하면 인공신경망 모델은 시계열 데이터의 인스턴스 레벨의 이상 라벨값을 이용하여 인공신경망 모델이 정확한 이상 점수와 의사 라벨값을 생성하도록 학습된다. 종래 CNN 기반의 시계열 데이터 이상 탐지 방법에서는 각 시점 별로 이상 여부를 예측하기 때문에 불연속적으로 발생하는 이벤트로 인한 이상 탐지에 대한 성능이 저하될 수 있다. 모델의 학습을 위한 학습 데이터는 인스턴스 레벨의 이진 라벨값이 있는 N개의 인스턴스로 구성될 수 있다. 약한 지도학습 방식에서 인공신경망 모델은 단순히 비정상적인 이벤트가 발생하였는지 아닌지만을 학습하게 된다. 즉, 시계열 데이터 전체에 대한 정답을 포함하는 높은 밀도의 라벨값이 아닌 주석 데이터만을 이용하여 모델을 학습하게 된다.
도 5는 이상 점수와 의사 라벨값을 정렬하는 것을 나타낸 도면이다. 도 5를 참조하면 처리장치는 동적 시간 왜곡 알고리즘을 이용하여 인공신경망 모델로부터 계산된 이상 점수와 순차 의사 라벨값을 정렬함으로써 각 이상 구간의 시작 시점과 종료 시점을 결정할 수 있다.
동적 시간 왜곡 알고리즘에 따라 먼저 세그먼테이션 마스크를 이용하여 입력 인스턴스의 분할 결과를 획득할 수 있다. 이를 위해 순차 이상 라벨값이라고 하는 세그먼테이션 마스크 역할을 할 수 있는 유형의 이상 라벨값을 정의한다. 이상 라벨값은 각 입력 인스턴스에 대한 정상 및 비정상인 이벤트의 존재를 나타낼 수 있다. 예컨대, 순차 의사 라벨값 Z가 [0, 1, 0, 1, 0]인 경우 입력 인스턴스에 2개의 이상 이벤트가 존재하는 것으로 판별할 수 있다. 여기에서 라벨값 Z 자체에는 세그먼트의 시작과 종료 시점에 대한 정보를 포함하지 않기 때문에 프레임워크의 최종 출력이 될 수 없다.
한편, 동적 시간 왜곡 알고리즘의 목표는 2개의 행렬 X와 Z 사이에서 최적의 행렬을 찾는 것이다. 두 행렬을 시간 순서로 정렬하기 위해서 도 5에 도시된 바와 같이 좌측 상단에서 우측 하단으로 진행되는 최적 경로를 생성할 수 있다. 종래의 동적 시간 왜곡 알고리즘과는 다르게 본 발명의 약한 지도학습 기반 동작 시간 왜곡 알고리즘(WETAS)은 각 시점이 단일 라벨값으로만 정렬되어야 하므로 경로상에서 뒤로 후퇴하지 못한다. 알고리즘은 분류에 따른 손실값 Lc와 정렬에 따른 손실값 La에 의해 최적 행렬을 생성할 수 있으며 이를 토대로 세그먼트 수준의 이상 예측을 생성할 수 있다.
한편, 도 4 및 도 5를 다시 참조하면, 비용 행렬 △(z,X)을 정의하는데 필요한 비용 함수 δ(zl, xt)를 모델링하기 위해 시간 t에서 이상 점수를 매개 변수화할 수 있다. 즉, xt가 이상 이벤트에서 나올 확률을 계산할 수 있다.
본 발명에서 이용하는 인공신경망 모델의 기본 아키텍쳐는 DiCNN을 이용할 수 있다. DiCNN은 기본적으로 확장 인과 컨볼루션의 스택이며, 각 지점에서 출력을 계산할 때 향후 입력을 고려하지 않는 컨볼루션 연산을 수행한다. 보다 구체적으로 n번째 레이어는 필터 크기 k 및 확장율 kn -1 를 갖는 컨볼루션을 가지므로 시간 t에서 레이어 n의 출력 벡터는 마지막에 이전 kn포인트에 의존한다. 즉,
Figure PCTKR2022003079-appb-img-000001
는 수용 필드가 된다. 각 점 ht∈Rd 및 이상 가중치 벡터 w∈Rd에서 출력 벡터의 내적을 이용하여 아래의 수학식 1과 같이 지역 이상 점수 s∈RT를 계산할 수 있다.
[수학식 1]
Figure PCTKR2022003079-appb-img-000002
한편, 시그모이드 함수 σ를 적용하여 점수의 범위를 [0, 1]로 설정한다. 그리고 이상 점수 st를 이용하여 계산된 음의 로그 우도에 의해 비용 δ(zl, xt)를 아래 수학식 2와 같이 정의한다.
[수학식 2]
Figure PCTKR2022003079-appb-img-000003
계산된 이상 점수 st가 목표 라벨값 zl에서 멀리 떨어져 있으면 비용이 커지게 된다. 이와 같이 동적 시간 왜곡 알고리즘은 일련의 이상 점수와 순차 레이블 사이에서 최적의 지점 간 일치를 찾기 위하여 이상 세그먼트를 식별하는 것이 가능하므로 총 정렬 비용을 최소화할 수 있다.
한편, 수학식 1과 유사하게, 이진 분류에 대한 글로벌 또는 인스턴스 레벨의 이상 점수를 정의할 수 있다. 시간에 따른 글로벌 풀링을 이용하여 모든 출력 벡터에서 각 잠재 차원에 대한 최대값을 불러올 수 있다. 전역 출력 벡터 h* 및 이상 가중치 w∈Rd를 사용하여 아래 수학식 3과 같이 전역 이상 점수를 계산할 수 있다.
[수학식 3]
Figure PCTKR2022003079-appb-img-000004
한편, 인스턴스 수준의 라벨값을 기반으로 모델을 최적화하기 위해 인스턴스 수준 라벨과 계산된 전역 이상 점수 간의 이진 교차 엔트로피에 의한 분류 손실을 정의한다. 이를 통해 전역 이상 점수를 기반으로 입력 인스턴스에 대한 이상 라벨값을 예측할 수 있다. 분류 손실 Lc은 모델의 최적화하여 인스턴스 레벨의 라벨값이 지정된 시계열 데이터에서 일반적으로 관찰되는 정상 패턴과 비정상 패턴을 구별할 수 있다. Lc는 아래 수학식 4와 같이 정의된다.
[수학식4]
Figure PCTKR2022003079-appb-img-000005
한편, 입력 인스턴스의 순차 이상 라벨값을 추론한 다음 생성된 순차 의사 라벨값을 이용하여 DiCNN 모델의 성능을 더욱 개선할 수 있다. 즉, 국소적으로 발생하는 이벤트에 따른 비연속적 이상 구간을 정확하게 탐지할 수 있다. 의사 라벨값은 종래의 클래스 액티베이션 맵(CAM)과 같이 인스턴스 레벨의 분류에서 가장 큰 영향을 미치는 시간 영역을 분석하기 위한 것이다. 각 출력 벡터 ht를 인스턴스 레벨의 이상 분류에 사용되는 가중치 벡터 w와 곱하여 이상 활성화 맵 m=[m1,m2,...,mT]∈RT을 획득할 수 있다. 즉 mt는 시점 t가 입력 인스턴스를 이상으로 분류하는데 얼마나 강하게 기여하는지에 비례하는 값이다. 0≤mt≤1인 조건의 경우 밸류값은 각 인스턴스 내의 시간 차원을 따라 정규화될 수 있다. 아래 수학식 5에 따라 mt를 정의할 수 있다.
[수학식 5]
Figure PCTKR2022003079-appb-img-000006
다음으로 전체 이상 활성화 맵을 동일한 길이
Figure PCTKR2022003079-appb-img-000007
의 L세그먼트 또는 일정 간격으로 등분하고 각 세그먼트, 즉
Figure PCTKR2022003079-appb-img-000008
에 대한 이진 의사 라벨값을 생성하는 의사 라벨링 함수 ΦL를 도입할 수 있다. l번째 세그먼트의 의사 라벨값은 세그먼트의 최대 활성화 값이 임계값 τ보다 큰 값인지 아닌지에 따라 결정된다. 아래 수학식 6에 따라
Figure PCTKR2022003079-appb-img-000009
를 정의한다.
[수학식 6]
Figure PCTKR2022003079-appb-img-000010
순차 의사 라벨값
Figure PCTKR2022003079-appb-img-000011
는 존재하는 비정상적인 세그먼트의 수와 상대적 위치에 대한 정보를 제공한다. 순차 의사 라벨값
Figure PCTKR2022003079-appb-img-000012
은 동적 시간 왜곡 알고리즘의 정렬을 위한 분할 마스크로 이용된다.
한편, 정렬 손실값 La는 더 나은 정렬을 위해 입력 X와 해당 순차 의사 라벨값
Figure PCTKR2022003079-appb-img-000013
간의 동적 시간 왜곡 불일치를 줄일 수 있도록 설계된다. 여기에서 동적 시간 왜곡의 기울기는 최소값만 사용하기 때문에 비용 매트릭스와 관련하여 잘 정의되지 않는다. 즉, 미분할 수 없다. 따라서 전역 정렬 커널과 결합하여 동적 시간 왜곡의 지속적인 완화를 제공하는 소프트 동적 시간 왜곡(soft-DTW)을 채택한다. 스무딩 매개 변수 γ가 있는 minγ는 수학식 7에 따라 정의된다.
[수학식 7]
Figure PCTKR2022003079-appb-img-000014
여기에서 소프트 동적 시간 왜곡의 거리는 Bellman의 재귀를 기반으로 하는 동적 프로그래밍을 통해 구할 수 있다. 입력과 의사 라벨값 간의 동적 시간 왜곡 불일치를 최소화하면 각 라벨값을 단일 시점에 할당하는 퇴행 정렬 문제가 발생할 수 있다. 세그먼테이션에 대한 보다 정확한 결과를 얻기 위해서 의사 라벨값을 이용하여 차별적 모델링를 수행할 수 있다. 즉, 양의 의사 라벨값
Figure PCTKR2022003079-appb-img-000015
와 정렬 비용이 음의 의사 라벨값
Figure PCTKR2022003079-appb-img-000016
보다 더 적은 마진 β만큼 비용이 적게 등도록 모델을 최적화할 수 있다. 정렬 손실 La는 아래 수학식 8에 따라 정의된다.
[수학식 8]
Figure PCTKR2022003079-appb-img-000017
여기에서
Figure PCTKR2022003079-appb-img-000018
는 힌지 손실 함수를 의미한다. 양의 의사 라벨값은
Figure PCTKR2022003079-appb-img-000019
, 음의 의사 라벨은
Figure PCTKR2022003079-appb-img-000020
에 의해 얻어지므로 인스턴스 수준 라벨값 y는 이진 마스크(Binary Mask) 역할을 하게 된다. 즉, 잘못된 인스턴스 수준의 라벨값에 의해 손상된 순차 의사 라벨값을 음수로 간주한다. 이러한 정렬 손실은 순차 의사 라벨값과 더 잘 정렬되도록 인공신경망 모델을 조절하여 정확한 지역 이상 점수를 생성하도록 할 수 있다. 결과적으로 인공신경망 모델은 인스턴스 레벨의 라벨값만을 이용하여 이상 구간의 탐지를 정확하게 수행할 수 있다.
한편, 최종 손실은 Lc 및 La의 합으로 결정된다. 분류 손실값 Lc는 모델을 최적화하여 인스턴스 레벨의 라벨값으로 시계열 데이터의 글로벌 정규성 및 비정상을 학습하고 정렬 손실값 La는 일련의 지역 이상 점수를 순차적으로 잘 정렬하도록 모델을 조정한다.
개시된 기술의 일 실시예에 따른 시계열 데이터의 이상 구간 탐지 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

Claims (13)

  1. 처리장치가 인공신경망 모델을 이용하여 시계열 데이터의 각 시점에 대한 지역 이상 점수(Local Anomaly Score)를 계산하는 단계;
    처리장치가 상기 시계열 데이터를 복수개의 구간으로 등분하고 각 구간 별로 임계값을 초과하는 이상 점수가 존재하는지 확인하여 순차 의사 라벨값(Sequential Pseudo Label)을 생성하는 단계; 및
    상기 처리장치가 상기 지역 이상 점수와 상기 순차 의사 라벨값을 기반으로 상기 시계열 데이터의 이상 구간의 시작 시점과 종료 시점을 판단하는 단계;를 포함하는 시계열 데이터의 이상 구간 탐지 방법.
  2. 제 1 항에 있어서,
    상기 처리장치는 상기 지역 이상 점수(Local Anomaly Score)를 계산하는 단계 이전에 학습 데이터의 인스턴스에 대한 전역 이상 점수(Global Anomaly Score)를 계산하고 상기 전역 이상 점수에 따라 상기 학습 데이터를 인스턴스 레벨의 라벨값으로 분류하도록 상기 인공신경망 모델을 학습하는 시계열 데이터의 이상 구간 탐지 방법.
  3. 제 2 항에 있어서,
    상기 처리장치는 상기 인스턴스 레벨의 라벨값을 이용하여 상기 인공신경망 모델을 약한 지도학습으로 학습시키고, 상기 시계열 데이터가 입력되면 상기 학습된 인공신경망 모델을 이용하여 상기 순차 의사 라벨값을 추정하는 시계열 데이터의 이상 구간 탐지 방법.
  4. 제 1 항에 있어서, 상기 생성하는 단계는,
    상기 임계값을 초과하는 적어도 하나의 구간에 대하여 순차 의사 라벨값을 생성하되, 상기 순차 의사 라벨값은 상기 시계열 데이터의 이벤트 발생 여부를 나타내는 주석(Annotation)인 시계열 데이터의 이상 구간 탐지 방법.
  5. 제 1 항에 있어서,
    상기 처리장치는 동적 시간 왜곡 알고리즘(Dynamic Time Warping)을 이용하여 상기 지역 이상 점수와 상기 순차 의사 라벨값에 대한 최적 행렬을 계산하는 시계열 데이터의 이상 구간 탐지 방법.
  6. 제 1 항에 있어서,
    상기 처리장치는 입력된 학습 데이터에 대하여 인스턴스 레벨의 라벨값으로 분류하기 위한 손실값 및 상기 학습 데이터를 순차 라벨값과 일치시키기 위한 정렬 손실값을 이용하여 상기 인공신경망 모델의 손실함수를 최적화하는 시계열 데이터의 이상 구간 탐지 방법.
  7. 제 1 항에 있어서,
    상기 시계열 데이터는 공정 라인에 배치된 복수개의 센서들로부터 획득된 공정 관련 데이터인 시계열 데이터의 이상 구간 탐지 방법.
  8. 공정 라인에 배치된 복수개의 센서들로부터 시계열 데이터를 입력받는 입력장치;
    상기 시계열 데이터를 분석하는 인공신경망 모델을 저장하는 저장장치; 및
    상기 인공신경망 모델에 상기 시계열 데이터를 입력하여 상기 시계열 데이터의 각 시점에 대한 지역 이상 점수(Local Anomaly Score)를 계산하고, 상기 시계열 데이터를 복수개의 구간으로 등분하여 각 구간 별로 임계값을 초과하는 이상 점수가 존재하는지 확인하여 순차 의사 라벨값(Sequential Pseudo Label)을 생성하고, 상기 지역 이상 점수와 상기 순차 의사 라벨값을 기반으로 상기 시계열 데이터의 이상 구간의 시작 시점과 종료 시점을 판단하는 처리장치;를 포함하는 시계열 데이터의 이상 구간 탐지 장치.
  9. 제 8 항에 있어서,
    상기 처리장치는 사전에 학습 데이터의 인스턴스에 대한 전역 이상 점수(Global Anomaly Score)를 계산하고 상기 전역 이상 점수에 따라 상기 학습 데이터를 인스턴스 레벨의 라벨값으로 분류하도록 상기 인공신경망 모델을 학습하는 시계열 데이터의 이상 구간 탐지 장치.
  10. 제 9 항에 있어서,
    상기 처리장치는 상기 인스턴스 레벨의 라벨값을 이용하여 상기 인공신경망 모델을 약한 지도학습으로 학습시키고, 상기 시계열 데이터가 입력되면 상기 학습된 인공신경망 모델을 이용하여 상기 순차 의사 라벨값을 추정하는 시계열 데이터의 이상 구간 탐지 장치.
  11. 제 8 항에 있어서,
    상기 인공신경망 모델은 상기 임계값을 초과하는 적어도 하나의 구간에 대하여 순차 의사 라벨값을 생성하되, 상기 순차 의사 라벨값은 상기 시계열 데이터의 이벤트 발생 여부를 나타내는 주석(Annotation)인 시계열 데이터의 이상 구간 탐지 장치.
  12. 제 8 항에 있어서,
    상기 처리장치는 동적 시간 왜곡 알고리즘(Dynamic Time Warping)을 이용하여 상기 지역 이상 점수와 상기 순차 의사 라벨값에 대한 최적 행렬을 계산하는 시계열 데이터의 이상 구간 탐지 장치.
  13. 제 8 항에 있어서,
    상기 처리장치는 입력된 학습 데이터에 대하여 인스턴스 레벨의 라벨값으로 분류하기 위한 손실값 및 상기 학습 데이터를 순차 라벨값과 일치시키기 위한 정렬 손실값을 이용하여 상기 인공신경망 모델의 손실함수를 최적화하는 시계열 데이터의 이상 구간 탐지 장치.
PCT/KR2022/003079 2021-03-08 2022-03-04 시계열 데이터의 이상 구간 탐지 방법 및 탐지 장치 WO2022191520A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0030057 2021-03-08
KR1020210030057A KR20220126014A (ko) 2021-03-08 2021-03-08 시계열 데이터의 이상 구간 탐지 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2022191520A1 true WO2022191520A1 (ko) 2022-09-15

Family

ID=83226920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/003079 WO2022191520A1 (ko) 2021-03-08 2022-03-04 시계열 데이터의 이상 구간 탐지 방법 및 탐지 장치

Country Status (2)

Country Link
KR (1) KR20220126014A (ko)
WO (1) WO2022191520A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688505A (zh) * 2024-02-04 2024-03-12 河海大学 一种植被大范围区域化负异常的预测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180306476A1 (en) * 2017-04-19 2018-10-25 International Business Machines Corporation Anomaly detection in a refrigeration condensor system
KR20190114221A (ko) * 2018-03-29 2019-10-10 삼성전자주식회사 심층학습을 기반으로 한 설비 진단 시스템 및 방법
KR102026300B1 (ko) * 2017-03-29 2019-11-04 아이덴티파이 주식회사 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법
WO2020124010A1 (en) * 2018-12-14 2020-06-18 University Of Georgia Research Foundation, Inc. Condition monitoring via energy consumption audit in electrical devices and electrical waveform audit in power networks
JP2020191050A (ja) * 2019-05-24 2020-11-26 Ｋｙｂ株式会社 異常検知装置及び異常検知方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472637B1 (ko) 2018-10-25 2022-11-29 삼성에스디에스 주식회사 시계열 데이터 분석 방법, 주영향 변수 결정 방법 및 그 방법들을 지원하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102026300B1 (ko) * 2017-03-29 2019-11-04 아이덴티파이 주식회사 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법
US20180306476A1 (en) * 2017-04-19 2018-10-25 International Business Machines Corporation Anomaly detection in a refrigeration condensor system
KR20190114221A (ko) * 2018-03-29 2019-10-10 삼성전자주식회사 심층학습을 기반으로 한 설비 진단 시스템 및 방법
WO2020124010A1 (en) * 2018-12-14 2020-06-18 University Of Georgia Research Foundation, Inc. Condition monitoring via energy consumption audit in electrical devices and electrical waveform audit in power networks
JP2020191050A (ja) * 2019-05-24 2020-11-26 Ｋｙｂ株式会社 異常検知装置及び異常検知方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688505A (zh) * 2024-02-04 2024-03-12 河海大学 一种植被大范围区域化负异常的预测方法及系统
CN117688505B (zh) * 2024-02-04 2024-04-19 河海大学 一种植被大范围区域化负异常的预测方法及系统

Also Published As

Publication number Publication date
KR20220126014A (ko) 2022-09-15

Similar Documents

Publication Publication Date Title
CN111507370B (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
EP3478728A1 (en) Method and system for cell annotation with adaptive incremental learning
CN110648305B (zh) 工业图像检测方法、系统与计算机可读记录介质
US11461584B2 (en) Discrimination device and machine learning method
WO2022191520A1 (ko) 시계열 데이터의 이상 구간 탐지 방법 및 탐지 장치
CN111325260B (zh) 数据处理方法及装置、电子设备、计算机可读介质
CN113033215B (zh) 情感检测方法、装置、设备以及存储介质
JP2021111279A (ja) ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置
US20210311440A1 (en) Systems, Methods, and Media for Manufacturing Processes
CN112418328A (zh) 一种基于深度学习的排污口盖板未关闭到位故障检测方法
CN112150344A (zh) 用于确定一类别的对象的置信值的方法
US11676391B2 (en) Robust correlation of vehicle extents and locations when given noisy detections and limited field-of-view image frames
US11562184B2 (en) Image-based vehicle classification
US20210192779A1 (en) Systems, Methods, and Media for Manufacturing Processes
US8327312B2 (en) Assessing printability of a very-large-scale integration design
Niu et al. Learning Trustworthy Model from Noisy Labels based on Rough Set for Surface Defect Detection
JP7306460B2 (ja) 敵対的事例検知システム、方法およびプログラム
CN113284141A (zh) 用于缺陷检测的模型确定方法、装置和设备
CN114120057A (zh) 一种基于PaddleDetection的混淆矩阵生成方法
Zhakov et al. Automatic fault detection in rails of overhead transport systems for semiconductor fabs
Fujita et al. Fine-tuned Surface Object Detection Applying Pre-trained Mask R-CNN Models
Liu et al. An end-to-end steel strip surface defects detection framework: considering complex background interference
CN114692887A (zh) 半监督学习系统及半监督学习方法
WO2024080802A1 (ko) 라벨 검출 시스템 및 그 방법
CN110807523A (zh) 相似目标的检测模型生成方法及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767416

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22767416

Country of ref document: EP

Kind code of ref document: A1