KR102325629B1 - Anomaly detecting method and anomaly detecting apparatus - Google Patents
Anomaly detecting method and anomaly detecting apparatus Download PDFInfo
- Publication number
- KR102325629B1 KR102325629B1 KR1020200120719A KR20200120719A KR102325629B1 KR 102325629 B1 KR102325629 B1 KR 102325629B1 KR 1020200120719 A KR1020200120719 A KR 1020200120719A KR 20200120719 A KR20200120719 A KR 20200120719A KR 102325629 B1 KR102325629 B1 KR 102325629B1
- Authority
- KR
- South Korea
- Prior art keywords
- monitoring target
- sliding window
- target variable
- abnormality
- anomaly detection
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/321—Display for diagnostics, e.g. diagnostic result display, self-test user interface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
Abstract
Description
본 발명은 슬라이딩 윈도우(sliding window) 기법과 아이솔레이션 포레스트(isolation forest) 알고리즘을 결합한 새로운 이상 탐지 기술을 개발하고, 대상 데이터에 새로운 이상 탐지 기술을 적용하여 이상 탐지를 수행하는 이상 탐지 방법 및 이상 탐지 장치에 관한 것이다.The present invention develops a new anomaly detection technology combining a sliding window technique and an isolation forest algorithm, and applies a new anomaly detection technology to target data to perform anomaly detection and anomaly detection apparatus is about
이상 탐지(anomaly detection)란, 대다수의 데이터와 크게 다른 데이터 또는 특이한 데이터를 탐지하는 것을 말한다. 여기서 이상(Anomaly)은 은행 사기, 구조적 결함, 텍스트의 오류일 수 있고, 잡음, 편차, 또는 예외라고 표현될 수도 있다.Anomaly detection refers to detecting data that is significantly different from the majority of data or data that is unique. Anomaly here may be bank fraud, structural defects, errors in text, and may be expressed as noise, deviations, or exceptions.
이와 같이 예외적인 경우에 획득되는 데이터를 이상 데이터(anomalous data)라고 정의하고, 일상적인 상황에서 획득되는 데이터를 정상 데이터(normal data)라고 정의할 수 있다. 정상 데이터는 항상 발생하고 획득하기 쉬운 데이터지만, 이상 데이터는 그것이 예외적인 경우에 해당하므로 획득하기가 매우 어렵다. 즉, 이상 데이터를 한번 획득하려면 매우 오랜 시간을 기다려야 하거나, 일부러 이상 상태(anomalous condition)를 조성해야 한다. As described above, data acquired in an exceptional case may be defined as anomalous data, and data acquired in a normal situation may be defined as normal data. Normal data is data that always occurs and is easy to obtain, but abnormal data is very difficult to obtain because it is an exceptional case. That is, in order to acquire abnormal data once, it is necessary to wait a very long time or to create an anomalous condition on purpose.
한편, 종래에 데이터 분석에 기반하여 이상 징후를 탐지하려는 시도들이 있었으나, 단순히 사전 결정된 기준을 정의하고 그 기준에 벗어난 것인지 아닌지를 판단하는 수준이었다. 이러한 종래의 데이터 분석에 의한 이상 탐지는 유용해 보일 수 있으나, 사용자가 미리 데이터를 학습 및 분석해야 하고 이를 기반으로 기준을 세우는 것이므로 사전 준비에 시간이 많이 소요된다. 또한, 인간에 의한 분석이므로 정확성이 떨어질 가능성도 내포한다. On the other hand, there have been attempts to detect anomalies based on data analysis in the prior art, but it was at the level of simply defining a predetermined standard and determining whether or not it deviated from the standard. Although this conventional anomaly detection by data analysis may seem useful, it takes a lot of time to prepare in advance because the user has to learn and analyze data in advance and establish a standard based on this. Also, since it is a human analysis, there is a possibility that the accuracy may be lowered.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-mentioned background art is technical information possessed by the inventor for derivation of the present invention or acquired in the process of derivation of the present invention, and cannot necessarily be said to be a known technique disclosed to the general public prior to the filing of the present invention.
본 발명의 일 과제는, 사전에 결정된 기준을 정의하고 그 기준에 벗어난 것인지 아닌지를 판단하여 이상 탐지 정확도가 떨어지는 종래의 데이터 분석에 기반한 이상 탐지의 문제점을 해결하기 위한 것이다.SUMMARY OF THE INVENTION An object of the present invention is to solve a problem of anomaly detection based on a conventional data analysis in which anomaly detection accuracy is poor by defining a predetermined criterion and determining whether or not the criterion deviates from the criterion.
본 발명의 일 과제는 슬라이딩 윈도우(sliding window) 기법과 아이솔레이션 포레스트(isolation forest) 알고리즘을 결합한 새로운 이상 탐지 기술을 개발하고, 이상 탐지 대상 데이터에 새로운 이상 탐지 기술을 적용하여 이상 데이터 탐지 정확도를 향상시키는데 있다.An object of the present invention is to develop a new anomaly detection technology combining a sliding window technique and an isolation forest algorithm, and to improve the anomaly data detection accuracy by applying a new anomaly detection technology to the anomaly detection target data. have.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 과제 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명이 해결하고자 하는 과제 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-mentioned problems, and other problems and advantages of the present invention not mentioned can be understood by the following description, and more clearly understood by the embodiments of the present invention will be In addition, it will be appreciated that the problems and advantages to be solved by the present invention can be realized by means and combinations thereof indicated in the claims.
본 발명의 일 실시 예에 따른 이상 탐지 방법은, 수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지 단계와, 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지 단계를 포함할 수 있다.An anomaly detection method according to an embodiment of the present invention determines whether a monitoring target variable included in a sliding window is abnormal according to a sliding window calculation value calculated by applying a sliding window to a collected monitoring target variable. A first abnormality detection step of detecting an abnormality is performed by performing an abnormality detection algorithm by inputting the monitoring target variable included in the sliding window detected abnormally and the abnormally detected monitoring target variable and the abnormal detection result as a result of the first abnormality detection A second abnormality detection step of classifying the monitoring target variable may be included.
본 발명의 일 실시 예에 따른 이상 탐지 장치는, 수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지부와, 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지부를 포함할 수 있다.An anomaly detection apparatus according to an embodiment of the present invention detects whether a monitoring target variable included in a sliding window is abnormal according to a sliding window calculation value calculated by applying a sliding window to a collected monitoring target variable. The first anomaly detection unit to detect an abnormality, and as a result of the first anomaly detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the abnormally detected sliding window, and the abnormally detected monitoring target variable and the abnormally detected monitoring target variable It may include a second abnormality detection unit for classifying the monitoring target variable.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium storing a computer program for executing the method may be further provided.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명에 의하면, 이상 탐지 대상 데이터에 슬라이딩 윈도우 기법에 의한 1차 이상 탐지와 아이솔레이션 포레스트 알고리즘에 의한 2차 이상 탐지를 적용하여 이상 데이터 탐지 정확도를 향상시킬 수 있다.According to the present invention, anomaly data detection accuracy can be improved by applying the first anomaly detection by the sliding window technique and the secondary anomaly detection by the isolation forest algorithm to the anomaly detection target data.
또한, 본 발명에 의하면 연산 리소스를 효율적으로 활용하면서도 보다 신속하고 정확하게 이상 데이터를 탐지할 수 있는 방법 및 장치를 제공할 수 있다.In addition, according to the present invention, it is possible to provide a method and apparatus capable of detecting abnormal data more quickly and accurately while efficiently utilizing computational resources.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 실시 예에 따른 이상 탐지 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다.
도 2는 본 실시 예에 따른 이상 탐지 방법을 개략적으로 설명하기 위한 도면이다.
도 3 내지 도 5는 도 1의 이상 탐지 장치 중 제1 이상 탐지부를 설명하기 위하여 도시한 블록도이다.
도 6은 도 1의 이상 탐지 장치 중 제2 이상 탐지부를 설명하기 위하여 도시한 블록도이다.
도 7은 본 실시 예에 따른 이상 탐지와 기존의 이상 탐지 정확도를 비교한 그래프이다.
도 8은 본 실시 예에 따른 이상 탐지 방법을 설명하기 위한 흐름도이다.1 is a block diagram schematically illustrating the configuration of an anomaly detection apparatus according to the present embodiment.
2 is a diagram schematically illustrating an anomaly detection method according to the present embodiment.
3 to 5 are block diagrams illustrating a first anomaly detection unit of the anomaly detection apparatus of FIG. 1 .
6 is a block diagram illustrating a second anomaly detection unit in the anomaly detection apparatus of FIG. 1 .
7 is a graph comparing anomaly detection according to the present embodiment and a conventional anomaly detection accuracy.
8 is a flowchart illustrating an anomaly detection method according to the present embodiment.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Advantages and features of the present invention, and methods for achieving them will become apparent with reference to the detailed description in conjunction with the accompanying drawings. However, it should be understood that the present invention is not limited to the embodiments presented below, but may be implemented in a variety of different forms, and includes all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. . The embodiments presented below are provided to complete the disclosure of the present invention, and to fully inform those of ordinary skill in the art to the scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof. Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings, and in the description with reference to the accompanying drawings, the same or corresponding components are given the same reference numerals, and overlapping descriptions thereof are omitted. decide to do
도 1은 본 실시 예에 따른 이상 탐지 장치의 구성을 개략적으로 설명하기 위하여 도시한 블록도이다. 도 1을 참조하면, 이상 탐지 장치(1)는 데이터 수집부(100), 이상 탐지부(200), 데이터 처리부(300) 및 제어부(400)를 포함할 수 있다. 본 실시 예에서 이상 탐지부(200)는 제1 이상 탐지부(210) 및 제2 이상 탐지부(220)를 포함할 수 있다. 본 실시 예서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.1 is a block diagram schematically illustrating the configuration of an anomaly detection apparatus according to the present embodiment. Referring to FIG. 1 , the
데이터 수집부(100)는 이상 탐지를 수행하는 모니터링 대상 기기(미도시)로부터 모니터링 대상 변수를 수집할 수 있다. 데이터 수집부(100)는 모니터링 대상 기기로부터 모니터링 대상 변수를 실시간으로 수집할 수 있다.The
한편, 데이터 수집부(100)는 모니터링 대상 기기로부터 감지되는 모니터링 대상 변수들을 수신하고, 수신되는 변수들 중 일부만을 샘플링하여 수집할 수 있다.Meanwhile, the
수집시 이용되는 샘플링에 적용되는 샘플링 레이트는 모니터링하는 기기 및 모니터링 환경에 따라 다르게 결정될 수 있다.A sampling rate applied to sampling used during collection may be determined differently depending on a monitoring device and a monitoring environment.
한편, 샘플링 레이트는 하나의 환경에서도 고정되지 않고, 이하에서 설명되는 제1 이상 탐지 단계에서 이상이 탐지되는 경우에는 변수들에 대한 샘플링 레이트가 증가되도록 구성될 수 있다. 상술된 동작은 도 1에서 도시된 제어부(400)에 의해 수행될 수 있다.Meanwhile, the sampling rate is not fixed even in one environment, and when an abnormality is detected in the first abnormality detection step described below, the sampling rate for the variables may be increased. The above-described operation may be performed by the
예를 들어, 모니터링 대상 기기는 배터리 공장에서 미세먼지를 감지하는 미세먼지 감지 센서가 구비된 디바이스일 수 있고, 대상 변수는 미세먼지 감지 센서가 출력하는 진동 데이터일 수 있다.For example, the monitoring target device may be a device equipped with a fine dust detection sensor for detecting fine dust in a battery factory, and the target variable may be vibration data output by the fine dust detection sensor.
이상 탐지부(200)는 데이터 수집부(100)가 수집한 모니터링 대상 변수에 대하여 이상 여부를 탐지하고, 그 결과를 데이터 처리부(300)로 출력할 수 있다. 본 실시 예에서 이상 탐지부(200)는 제1 이상 탐지부(210) 및 제2 이상 탐지부(220)를 포함할 수 있다.The
제1 이상 탐지부(210)는 수집한 모니터링 대상 변수에 일정하게 정해진 사이즈(너비)를 가지는 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지할 수 있다. The first
여기서, 슬라이딩 윈도우 연산 값이란 슬라이딩 윈도우 내에 있는 변수들을 기초로 연산을 수행하여 나온 값을 의미할 수 있다. 예를 들어, 슬라이딩 윈도우 연산 값이란 10의 사이즈(10개의 변수를 갖는 너비)를 가지는 슬라이딩 윈도우 내에서 5개의 전반부 변수들을 각각 제곱하여 합하고 (제 1 연산 값이라 칭함), 5개의 후반부 변수들을 각각 제곱하여 합한 후 (제 2 연산 값이라 칭함), 제 1 연산 값과 제 2 연산 값의 차이에 절대값을 적용한 값을 슬라이딩 윈도우 사이즈의 절반으로 나눈 값일 수 있다. Here, the sliding window operation value may mean a value obtained by performing an operation based on variables in the sliding window. For example, the sliding window operation value is the sum of 5 first half variables by squaring each in a sliding window having a size of 10 (a width with 10 variables) (referred to as a first operation value), and the 5 second half variables are each After squaring and summing (referred to as a second calculated value), a value obtained by applying an absolute value to the difference between the first calculated value and the second calculated value may be a value obtained by dividing the sliding window size by half.
도 2는 본 실시 예에 따른 이상 탐지 방법을 개략적으로 설명하기 위한 도면이다.2 is a diagram schematically illustrating an anomaly detection method according to the present embodiment.
모니터링 대상이 되는 데이터를 수집하여 처리함으로써 이상 데이터를 찾는 이상 탐지 장치(1)는 도 2에서 도시되는 서버일 수 있다.The
서버는 공장의 기계 등에서 생성되는 데이터(변수)를 수신할 수 있고, 수신된 데이터는 일정한 샘플링 레이트로 수집될 수 있다. 모니터링 대상이 되는 수집된 변수들에 대해 서버의 프로세서는 슬라이딩 윈도우 기술을 이용하여 이상 탐지 동작을 수행할 수 있다.The server may receive data (variables) generated by machines in a factory, etc., and the received data may be collected at a constant sampling rate. For the collected variables to be monitored, the processor of the server may perform an anomaly detection operation using the sliding window technology.
슬라이딩 윈도우 기술을 이용한 이상 탐지 동작은 이하에서 보다 상세하게 설명될 것이다.The anomaly detection operation using the sliding window technology will be described in more detail below.
도 2에서 도시되는 바와 같이, 수집되는 변수들에 대해 슬라이딩 윈도우가 적용되어 1회차에 1번 구간의 변수들이 평가된 후, 윈도우가 슬라이딩하며 이동하여 2회차에 2번 구간의 변수들이 평가되는 식으로, 11회차에 11번 구간의 변수들까지 평가될 수 있다. As shown in FIG. 2 , a sliding window is applied to the collected variables to evaluate the variables in the first section in the first round, and then the window slides and moves to evaluate the variables in the second section in the second round , up to the variables of
각 구간의 윈도우 내에 있는 변수들에 대해 일정한 연산이 수행되어 각각의 윈도우 내의 변수들에 이상이 있는지에 대한 1차 판단이 이루어질 수 있다. A predetermined operation is performed on the variables in the window of each section, so that a first determination as to whether there is an abnormality in the variables in each window may be made.
여기서, 1차 판단은 평가의 대상이 된 윈도우 내의 변수들에 이상이 있을 수 있다는 가능성의 평가이고, 이상 값을 가진 데이터가 있다는 확정적인 판단은 아닐 수 있다. Here, the first determination is an evaluation of the possibility that there may be an abnormality in the variables within the window to be evaluated, and may not be a definitive judgment that there is data having an abnormal value.
1차 판단을 통해 윈도우 내의 변수들에 이상이 있을 수 있다고 의심되면, 해당 윈도우 내의 변수들의 집합은 아이솔레이션 포레스트(Isolation Forest) 기반의 이상 데이터 감지 알고리즘으로 전달될 수 있다.If it is suspected that there may be an abnormality in the variables in the window through the first determination, a set of variables in the corresponding window may be transmitted to an anomaly data detection algorithm based on an isolation forest.
이상 탐지란 수집되는 데이터에서 다른 패턴을 보이는 데이터인 이상 값을 찾는 것이며, 아이솔레이션 포레스트 기법은 데이터 셋을 의사결정나무(Decision Tree) 형태로 표현하여, 정상 값을 분리하는 경우에는 의사결정나무를 깊이 방향으로 타고 내려가며, 반대로 이상 값을 분리하는 경우에는 의사결정나무의 상단부에서 분리하게 되는 특성을 이용한다. 이러한 특성을 이용해 아이솔레이션 포레스트는 의사결정나무를 몇 회 타고 내려가서 분리되는가를 기준으로 정상 값과 이상 값을 분리할 수 있게 한다Anomaly detection is to find outliers, which are data showing different patterns in the collected data, and the Isolation Forest technique expresses the data set in the form of a decision tree, In the case of separating outliers, on the contrary, the characteristic of separating at the top of the decision tree is used. Using these characteristics, Isolation Forest makes it possible to separate outliers from normal values based on how many times they climb down the decision tree to separate them.
슬라이딩 윈도우 기술을 이용한 1차 이상 탐지를 통해 이상이 의심되는 변수들의 집합에 대해 2차적으로 상술된 아이솔레이션 포레스트를 적용하여 이상 값을 탐지할 수 있다.Anomalies can be detected by secondarily applying the above-described isolation forest to a set of variables suspected of anomalies through primary anomaly detection using sliding window technology.
상술된 이상 탐지 방법은 도 1의 이상 탐지 장치(1)에 의해 수행될 수 있다.The above-described anomaly detection method may be performed by the
위와 같은 방식을 통해 수집되는 모든 변수들에 대해 아이솔레이션 포레스트 알고리즘이 적용될 필요 없이 이상 값이 있을 가능성이 높은 그룹(윈도우)의 변수들에 대해서만 아이솔레이션 포레스트 알고리즘이 적용될 수 있다. 이에 따라, 연산 리소스가 낭비되지 않고 효율적으로 활용될 수 있으면서도 높은 정확도로 이상 변수를 탐지할 수 있다.It is not necessary to apply the isolation forest algorithm to all the variables collected through the above method, but the isolation forest algorithm can be applied only to the variables of the group (window) with a high probability of having an outlier. Accordingly, it is possible to detect anomalies with high accuracy while efficiently utilizing computational resources without wasting them.
이하, 도 3 내지 도 5를 참조하여 제1 이상 탐지부(210)를 상세히 설명하기로 한다. 제1 이상 탐지부(210)는 전처리부(211), 생성부(212), 연산 처리부(213) 및 탐지부(214)를 포함할 수 있다.Hereinafter, the first
전처리부(211)는 데이터 수집부(100)로부터 수집한 일련의 모니터링 대상 변수에 대한 절대값으로서의 모니터링 대상 변수 값을 산출할 수 있다. 본 실시 예에서, 전처리부(211)가 모니터링 대상 변수에 대한 절대값으로서의 모니터링 대상 변수 값을 산출하는 이유는 후술하는 연산 처리를 편리하게 하기 위함이다.The
선택적 실시 예로, 전처리부(211)는 데이터 수집부(100)로부터 수집한 일련의 모니터링 대상 변수 중 슬라이딩 윈도우(SW1)에 포함된 모니터링 대상 변수에 대한 절대값으로서의 모니터링 대상 변수 값을 산출할 수 있다.In an optional embodiment, the
도 3a에는 데이터 수집부(100)로부터 수집된 일련의 모니터링 대상 변수를 나타내는 그래프가 도시되어 있고, 도 3b에는 전처리부(211)가 데이터 수집부(100)로부터 수집된 일련의 모니터링 대상 변수 및 슬라이딩 윈도우(SW1)에 포함된 모니터링 대상 변수에 대하여 절대값을 계산한 결과로서의 모니터링 대상 변수 값을 산출한 예가 도시되어 있다. 3A is a graph showing a series of monitoring target variables collected from the
본 실시 예에서 슬라이딩 윈도우의 너비(사이즈)는 짝수개의 모니터링 대상 변수가 포함되도록 설정될 수 있다. 예를 들어, 도 4로부터 12개의 모니터링 대상 변수가 하나의 슬라이딩 윈도우에 포함되도록 슬라이딩 윈도우의 너비가 설정될 수 있다. 또한, 슬라이딩 윈도우의 슬라이딩 간격(Tsamp)은 짝수개의 모니터링 대상 변수 수집 시간일 수 있다. 예를 들어, 도 4로부터 슬라이딩 윈도우 SW1과 슬라이딩 윈도우 SW2 사이의 슬라이딩 간격은, 2 개의 모니터링 대상 변수(j, j+1)가 이동하는 시간, 즉, 데이터 수집부(100)로부터 새로운 두 개의 모니터링 대상 변수가 수집되는 시간을 포함할 수 있다. 즉, 슬라이딩 윈도우의 이동 속도는 2개 변수/회이며, 회당 이동 거리는 2개 변수일 수 있다. In this embodiment, the width (size) of the sliding window may be set to include an even number of variables to be monitored. For example, from FIG. 4 , the width of the sliding window may be set such that 12 monitoring target variables are included in one sliding window. In addition, the sliding interval (T samp ) of the sliding window may be an even number of monitoring target variables collection time. For example, from FIG. 4 , the sliding interval between the sliding window SW1 and the sliding window SW2 is the time the two monitoring target variables (j, j+1) move, that is, the two new monitoring parameters from the
한편, 슬라이딩 윈도우의 이동 속도는 슬라이딩 윈도우의 사이즈와 비례 관계일 수 있으며, 슬라이딩 윈도우의 회당 이동 거리는 슬라이딩 윈도우의 사이즈의 절반 이하가 되도록 구성될 수 있다. 슬라이딩 윈도우의 사이즈와 이동 속도가 이러한 관계를 유지할 때 적절한 개수의 변수들이 비교 대상으로 고려되고, 보다 정확한 이상 판단을 수행할 수 있다.Meanwhile, the moving speed of the sliding window may be proportional to the size of the sliding window, and the moving distance per rotation of the sliding window may be configured to be less than or equal to half the size of the sliding window. When the size of the sliding window and the moving speed maintain such a relationship, an appropriate number of variables are considered as comparison targets, and more accurate abnormality determination can be performed.
바람직하게 슬라이딩 윈도우의 이동 속도는 슬라이딩 윈도우 사이즈의 절반일 수 있다. 예를 들어, 슬라이딩 윈도우의 사이즈가 16(개 변수)이라면 슬라이딩 윈도우의 이동 속도는 8(개 변수)일 수 있다.Preferably, the moving speed of the sliding window may be half the size of the sliding window. For example, if the size of the sliding window is 16 (variables), the moving speed of the sliding window may be 8 (variables).
생성부(212)는 슬라이딩 윈도우를 기설정된 개수로 분할하여 각각의 그룹에 대해 연산을 수행할 수 있다. 본 실시 예에서 생성부(212)는 슬라이딩 윈도우를 분할하여 제1 그룹 및 제2 그룹을 생성할 수 있다. 제1 그룹은 슬라이딩 윈도우의 중간너비(W/2)를 기준으로 하여, 슬라이딩 윈도우의 전반부에 포함되는 모니터링 대상 변수값들을 포함할 수 있다. 제2 그룹은 슬라이딩 윈도우의 중간너비(W/2)를 기준으로 하여, 윈도우의 후반부에 포함되는 모니터링 대상 변수값들을 포함할 수 있다.The
도 5에는 슬라이딩 윈도우 SW1의 중간너비(W/2)를 기준으로 하여, 슬라이딩 윈도우 SW1을 제1 그룹(SW1-1) 및 제2 그룹(SW1-2)으로 분할한 예가 도시되어 있다. 5 shows an example in which the sliding window SW1 is divided into a first group SW1-1 and a second group SW1-2 based on the intermediate width W/2 of the sliding window SW1.
연산 처리부(213)는 각각의 그룹에 포함되는 모니터링 대상 변수들값에 대한 연산 값을 생성하여 탐지부(214)로 출력할 수 있다. 여기서, 탐지부(214)는 특정한 기준에 따라 연산 처리부(213)의 연산 값에 기초하여 슬라이딩 윈도우 내의 데이터의 이상여부를 판정하는 기능을 수행하며, 판정부라고 지칭될 수도 있다.The
본 실시 예에서, 연산 처리부(213)는 제1 그룹에 포함되는 모니터링 대상 변수값들에 대한 제곱의 합을 제1 연산 값으로 생성할 수 있다. 도 5로부터 연산 처리부(213)는 제1 그룹(SW1-1)에 포함되는 모니터링 대상 변수(j, j+1, j+2, j+3, j+4, j+5)에 대한 모니터링 대상 변수값들(xj, xj+1, xj+2, xj+3, xj+4, xj+5) 각각에 대한 제곱의 합을 제1 연산 값으로 생성할 수 있다.In this embodiment, the
연산 처리부(213)는 제2 그룹(SW1-2)에 포함되는 모니터링 대상 변수값들에 대한 제곱의 합을 제2 연산 값으로 생성할 수 있다. 도 5로부터 연산 처리부(213)는 제2 그룹(SW1-2)에 포함되는 모니터링 대상 변수(j+6, j+7, j+8, j+9, j+10, j+11)에 대한 모니터링 대상 변수값들(xj+6, xj+7, xj+8, xj+9, xj+10, xj+11) 각각에 대한 제곱의 합을 제2 연산 값으로 생성할 수 있다.The
연산 처리부(213)는 제1 연산 값 및 제2 연산 값의 차이 값에 기초한 값을 생성하여 탐지부(214)로 출력할 수 있다.The
본 실시 예에서 연산 처리부(213)가 산출하는 제1 연산 값 및 제2 연산 값의 차이에 기초한 평균 슬라이딩 차이(MSD: mean sliding difference) 값은 수학식 1과 같이 표현될 수 있다.In the present embodiment, a mean sliding difference (MSD) value based on the difference between the first calculated value and the second calculated value calculated by the
수학식 1에서, x는 모니터링 대상이 되는 변수이고, W는 슬라이딩 윈도우의 사이즈를 나타내고, i는 모니터링 대상 변수의 인덱스를 나타낼 수 있다. j는 MSD를 연산하기 위한 대상이 되는 슬라이딩 윈도우 내 시작 변수의 인덱스이다. 수학식 1에서, 제1 연산 값과 제2 연산 값의 차이의 절대값의 제곱근은 윈도우 사이즈의 절반 값으로 나누어질 수 있으며, 그 연산 결과가 MSD일 수 있다.In
탐지부(214)는 슬라이딩 윈도우 내의 전반부와 후반부의 연산 값의 비교를 통해, 전반부의 연산 값과 후반부의 연산 값 차이가 기준값 이상인 경우에, 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 이상이 있음을 탐지할 수 있다. 또 다른 실시예에서, 상술된 바와 같이 MSD가 기준 값 이상인 경우에, 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 이상이 있음을 탐지할 수 있다. 여기서 기준 값은 모니터링 대상 변수 및 모니터링 환경에 따라 경험칙 등에 근거하여 미리 설정된 임계치로서의 기준 값일 수 있다.The
한편, 상술된 수학식 1에서 볼 수 있는 바와 같이, MSD 값은 슬라이딩 윈도우 사이즈 W에 반비례하고, 제1 연산 값과 제2 연산 값 사이의 차의 절대값의 제곱근에 비례할 수 있다.Meanwhile, as can be seen in
본 실시 예에서 탐지부(214)는 제1 연산 값 및 제2 연산 값의 차이(MSD: mean sliding difference)가 기설정된 기준 값 미만인 경우 슬라이딩 윈도우에 포함된 모니터링 대상 변수는 정상 데이터 임을 1차적으로 판단할 수 있다. 그러나 제1 연산 값 및 제2 연산 값의 차이가 기설정된 기준 값 이상인 경우 슬라이딩 윈도우에 포함된 모니터링 대상 변수 중 하나 이상이 이상 데이터일 수 있음을 1차적으로 판단할 수 있다.In this embodiment, the
한편, 상술된 제1 이상 탐지에서 윈도우 내의 변수들에 이상이 있을 것이라 판단되었으나, 후술되는 아이솔레이션 포레스트를 이용한 제2 이상 탐지에서 이상이 없는 것으로 판단되는 경우, 기준 값이 너무 낮게 설정된 것일 수 있으므로, 이후의 슬라이딩 윈도우의 검사 회차에서 기준 값을 증가시킬 수도 있다.On the other hand, if it is determined that there will be an abnormality in the variables in the window in the first abnormality detection described above, but it is determined that there is no abnormality in the second abnormality detection using the isolation forest to be described later, the reference value may be set too low, The reference value may be increased in subsequent inspection cycles of the sliding window.
여기서 제1 이상 탐지 조건은, 이상 데이터는 표준분포에 따라 발생하고, 전체 데이터에 포함되는 정상 데이터의 확률이 약 90%이며, 전체 데이터에 포함되는 이상 데이터의 확률이 약 10%인 조건을 포함할 수 있다.Here, the first anomaly detection condition includes a condition in which the abnormal data occurs according to a standard distribution, the probability of normal data included in the total data is about 90%, and the probability of the abnormal data included in the total data is about 10%. can do.
제2 이상 탐지부(220)는 제1 이상 탐지부(210)에서 출력되는, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하여 데이터 처리부(300)로 출력할 수 있다.The second
본 실시 예에서, 제2 이상 탐지부(220)는 이상 탐지 알고리즘으로 아이솔레이션 포레스트(isolation forest) 알고리즘을 이용하여, 이상으로 1차 판단된 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 2차 이상 여부를 판단할 수 있다. 아이솔레이션 포레스트 알고리즘은 도 6에 도시된 바와 같이 이상 탐지 알고리즘 중 하나로, 트리를 기반으로 하여 이상 데이터를 고립시켜 이상 여부를 탐지하는 하는 알고리즘일 수 있다.In this embodiment, the second
데이터 처리부(300)는 제1 이상 탐지부(210)로부터 출력되는 정상 데이터로 탐지된 모니터링 대상 변수와, 제2 이상 탐지부(220)로부터 출력되는 정상 데이터로 탐지된 대상 변수와, 제2 이상 탐지부(220)로부터 출력되는 이상 데이터로 탐지된 대상 변수를 수신하고, 이상 데이터로 탐지된 모니터링 대상 변수의 인덱스 정보와, 모니터링 대상 변수의 수집 대상인 모니터링 대상 기기의 식별 정보를 포함하는 이상 탐지 결과 정보를 생성할 수 있다. 선택적 실시 예로 이상 탐지 결과 정보는 모니터링 대상 기기로부터 데이터 수집부(100)가 대상 변수를 수집한 시간 정보를 더 포함할 수 있다. The
도 1에서 제어부(400)는 이상 탐지 장치(1) 전체의 동작을 제어할 수 있다. 본 실시 예에서 제어부(400)는 메모리(메모리)를 더 포함할 수 있다. 메모리에는 이상 탐지 장치(1)를 동작 시키는 프로그램이 저장될 수 있고, 모니터링 대상 기기로부터 수집한 모니터링 대상 변수가 저장될 수 있다.In FIG. 1 , the
제어부(400)는 일종의 중앙처리장치로서 메모리에 탑재된 제어 소프트웨어를 구동하여 이상 탐지 장치(1) 전체의 동작을 제어할 수 있다. 제어부(400)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령어로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The
본 실시 예에서 이상 탐지 장치(1)는 네트워크(미도시)를 통하여 사용자 단말기(미도시) 및/또는 서버(미도시)와 연결될 수 있다. 이상 탐지 장치(1)는 사용자 단말기 및/또는 서버의 요청에 의해, 데이터 처리부(300)가 생성한 이상 탐지 결과 정보를, 네트워크를 통하여 사용자 단말기 및/또는 서버로 전송할 수 있다. 이상 탐지 결과 정보를 수신한 사용자 단말기 및/또는 서버는 어떤 모니터링 대상 변수에 이상이 발생하였는지 알 수 있고, 이를 이용하여 모니터링 대상 기기에 이상이 발생하였음을 판단하고 그에 대한 조치를 취할 수 있다.In this embodiment, the
도 7은 본 실시 예에 따른 이상 탐지와 기존의 이상 탐지 정확도를 비교한 그래프이다.7 is a graph comparing anomaly detection according to the present embodiment and a conventional anomaly detection accuracy.
도 7을 참조하면, 도 7a는 이상 탐지 장치(1)가 모니터링 대상 기기로부터 수집한 모니터링 대상 변수로서의 진동 데이터를 도시하고 있다.Referring to FIG. 7 , FIG. 7A illustrates vibration data as a monitoring target variable collected by the
도 7b는 도 7a의 모니터링 대상 변수 전체에 대해 종래의 아이솔레이션 포레스트 알고리즘을 수행하여 산출한 이상 탐지 결과를 도시하고 있다. 도 7b와 같이 대상 변수 전체에 대해 아이솔레이션 포레스트를 수행하는 경우 작업의 복잡도가 높아지고, 처리해야할 데이터 사이즈가 커지므로, 보다 많은 연산 리소스를 필요로 할 수 있다. FIG. 7B shows the abnormality detection result calculated by performing the conventional isolation forest algorithm on all the monitoring target variables of FIG. 7A . When the isolation forest is performed on the entire target variable as shown in FIG. 7B , the complexity of the operation increases and the size of data to be processed increases, so more computational resources may be required.
도 7c는 도 7a의 모니터링 대상 변수에 본 실시 예에 따른 슬라이딩 윈도우 방식을 적용한 제1 이상 탐지와, 제1 이상 탐지에서 이상으로 판단된 윈도우 내의 변수들에 대해서만 아이솔레이션 포레스트 알고리즘을 적용한 제2 이상 탐지를 수행하여 산출한 이상 탐지 결과를 도시하고 있다.FIG. 7C shows a first anomaly detection by applying the sliding window method according to the present embodiment to the monitoring target variable of FIG. 7A, and a second anomaly detection by applying the isolation forest algorithm only to variables within the window determined as abnormal in the first anomaly detection. shows the anomaly detection result calculated by performing
도 7b 및 도 7c로부터 모니터링 대상 변수에 아이솔레이션 포레스트 알고리즘만을 수행하여 이상 탐지를 수행한 결과보다, 본 실시 예와 같이 모니터링 대상 변수에 슬라이딩 윈도우 방식을 적용한 제1 이상 탐지와, 제1 이상 탐지에서 이상으로 판단된 윈도우 내의 변수들에 대해서만 아이솔레이션 포레스트 알고리즘을 적용한 제2 이상 탐지를 수행한 결과가 이상 탐지 정확도가 더 높은 것을 알 수 있다. 또한, 1차 판단에서 이상으로 판단된 윈도우 내의 데이터에 대해서만 아이솔레이션 포레스트가 적용되므로 연산 리소스가 효율적으로 이용될 수 있다.도 8은 본 실시 예에 따른 이상 탐지 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.From FIGS. 7B and 7C, the first anomaly detection by applying the sliding window method to the monitoring target variable as in this embodiment, and anomaly in the first anomaly detection than the result of performing the anomaly detection by performing only the isolation forest algorithm on the monitoring target variable It can be seen that the result of performing the second anomaly detection to which the isolation forest algorithm is applied only to the variables within the window determined as , has higher anomaly detection accuracy. In addition, since the isolation forest is applied only to the data within the window determined to be abnormal in the first determination, computational resources can be efficiently used. In the following description, descriptions of parts overlapping with those of FIGS. 1 to 7 will be omitted.
도 8을 참조하면, S810단계에서, 이상 탐지 장치(1)는 이상 탐지를 수행하는 모니터링 대상 기기(미도시)로부터 모니터링 대상 변수를 수집한다. 한편, 수집 단계는 모니터링 대상 기기로부터 감지되는 모니터링 대상 변수들을 수신하는 단계와 수신되는 변수들을 샘플링하여 수집하는 단계를 포함할 수 있다. 여기서, 샘플링하여 수집하는 단계는 이전 회차의 슬라이딩 윈도우에 대하여 제1 이상 탐지 단계에서 이상이 탐지되었던 경우에는 변수들에 대한 샘플링 레이트를 증가시키도록 구성될 수 있다.Referring to FIG. 8 , in step S810 , the
예를 들어, 본 개시의 일 실시 예에 따른 이상 탐지 방법에서는 모니터링 변수가 실시간으로 수신 및 샘플링되어 수집되면서 수집된 구간의 데이터에 대해 1회차로 슬라이딩 윈도우가 이용된 제1 이상 탐지 판단과 아이솔레이션 포레스트가 활용되는 제2 이상 탐지 판단이 이루어질 수 있고, 다음 회차에서는 추가적으로 수집된 구간의 데이터에 대해 2회차로 슬라이딩된 윈도우 내의 데이터에 대해 제1 이상 탐지 판단과 제2 이상 탐지 판단이 이루어질 수 있다.For example, in the anomaly detection method according to an embodiment of the present disclosure, a first anomaly detection determination and isolation forest using a sliding window once for data of a section collected while monitoring variables are received and sampled in real time A second anomaly detection determination may be made using , and in the next round, a first anomaly detection determination and a second anomaly detection determination may be made on the data in the window slid for the second time with respect to the data of the additionally collected section.
만약 1회차의 제1 이상 탐지 판단에서 슬라이딩 윈도우 내의 데이터에 이상이 있을 것으로 판단되었었다면, 2회차의 판단을 위한 데이터의 수신 및 샘플링에서는 1회차에서보다 샘플링 레이트를 증가시켜서 좀 더 해상도 높게 데이터가 분석되도록 할 수 있다. If it is determined that there is an abnormality in the data in the sliding window in the first anomaly detection determination of the first round, in the reception and sampling of the data for the second determination, the sampling rate is increased than in the first round, so that the data is higher in resolution than in the first round. can be analyzed.
한편, 모니터링 대상 기기는 배터리 공장에서 미세먼지를 감지하는 미세먼지 감지 센서가 구비된 디바이스일 수 있고, 대상 변수는 미세먼지 감지 센서가 출력하는 진동 데이터일 수 있다.Meanwhile, the monitoring target device may be a device equipped with a fine dust detection sensor for detecting fine dust in a battery factory, and the target variable may be vibration data output by the fine dust detection sensor.
S820단계에서, 이상 탐지 장치(1)는 수집한 모니터링 대상 변수에 기설정된 너비의 슬라이딩 윈도우를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 제1 이상 여부를 탐지한다.In step S820, the
본 실시 예에서, 이상 탐지 장치(1)는 제1 이상 여부 판단을 위해, 수집한 일련의 모니터링 대상 변수에 대한 절대값으로서의 모니터링 대상 변수값을 산출할 수 있다. 이상 탐지 장치(1)는 슬라이딩 윈도우를 분할하여 제1 그룹(전반부) 및 제2 그룹(후반부)을 생성할 수 있다. 제1 그룹은 슬라이딩 윈도우의 중간너비(W/2)를 기준으로 하여, 전반부에 포함되는 모니터링 대상 변수 값들을 포함할 수 있다. 제2 그룹은 슬라이딩 윈도우의 중간너비(W/2)를 기준으로 하여, 후반부에 포함되는 모니터링 대상 변수 값들을 포함할 수 있다. 이상 탐지 장치(1)는 제1 그룹에 포함되는 모니터링 대상 변수 값들에 대한 제곱의 합을 제1 연산 값으로 생성하고, 제2 그룹에 포함되는 모니터링 대상 변수 값들에 대한 제곱의 합을 제2 연산 값으로 생성할 수 있다. 이상 탐지 장치(1)는 제1 연산 값 및 제2 연산 값의 차이에 기초한 평균 슬라이딩 차이(MSD: mean sliding difference) 값이 기준 값 이상인 경우, 슬라이딩 윈도우에 포함된 모니터링 대상 변수 중 하나 이상이 이상 데이터 임을 1차적으로 판단할 수 있다. 이상 탐지 장치(1)는 제1 연산 값 및 제2 연산 값의 차이에 기초한 값이 기준 값 미만인 경우 슬라이딩 윈도우에 포함된 모니터링 대상 변수는 정상 데이터임을 1차적으로 판단할 수 있다. S720단계는 제1 이상 탐지 단계로 지칭될 수 있다.In the present embodiment, the
S830단계에서, 이상 탐지 장치(1)는 제1 이상 탐지에서 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 아이솔레이션 포레스트 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류한다. 본 실시 예에서, 아이솔레이션 포레스트 알고리즘은, 이상 탐지 알고리즘 중 하나로, 트리를 기반으로 하여 이상 데이터를 고립시켜 이상 여부를 탐지하는 하는 알고리즘일 수 있다. S730단계는 제2 이상 탐지 단계라고 지칭될 수 있다.In step S830, the
한편, S820단계는 슬라이딩 윈도우가 이동하면서 지속적으로 수행되어 수집되는 변수들에 대해 순차적으로 상술된 1차적 판단을 수행할 수 있다. 여기서, 슬라이딩 윈도우의 회당 이동 거리(건너 뛰는 변수의 개수, 이동 속도로도 지칭됨)는 제1 이상 탐지의 대상이 되는 슬라이딩 윈도우 이전 회차의 슬라이딩 윈도우에 대한 제2 이상 탐지 단계(S730)의 결과에 따라 가변될 수 있다.Meanwhile, in step S820, the above-described primary determination may be sequentially performed on the variables that are continuously performed and collected while the sliding window is moved. Here, the moving distance per time of the sliding window (the number of skipped variables, also referred to as the moving speed) is the result of the second abnormality detection step (S730) for the sliding window of the previous round of the sliding window that is the target of the first abnormality detection may vary according to
예를 들어, 제1 이상 탐지에서는 n회차의 슬라이딩 윈도우 내의 변수 값에 이상이 있을 것이라 판단해서 n회차의 슬라이딩 윈도우 내의 변수들에 대해 제2 이상 탐지를 수행하였고, 여기서 이상 값이 존재하는 것으로 최종 판단되었다면, 좀 더 촘촘하게 수집되는 변수들에 대한 이상 탐지가 수행되어야 하므로, n+1 회차의 슬라이딩 윈도우의 이동 속도는 더 감소될 수 있다(예를 들어, n회차까지 슬라이딩 윈도우의 이동 속도가 3개 변수/회 였다면, n+1 회차에서는 슬라이딩 윈도우의 이동 속도가 1개 변수/회 로 변함).For example, in the first anomaly detection, it was determined that there would be an abnormality in the variable values in the nth sliding window, and a second anomaly detection was performed on the variables in the nth sliding window. If it is determined, anomaly detection for the variables collected more densely should be performed, so that the moving speed of the sliding window of n+1 times may be further reduced (for example, the moving speed of the sliding window up to n times is 3 If it was 1 variable/time, the moving speed of the sliding window changes to 1 variable/time in round n+1).
반대로, 만약 n회차의 슬라이딩 윈도우에 대한 제2 이상 탐지 결과 이상이 없었다면 n+1 회차에서는 슬라이딩 윈도우의 이동 속도가 더 증가할 수도 있다. Conversely, if there is no abnormality as a result of detecting the second abnormality for the sliding window of the nth time, the moving speed of the sliding window may further increase in the n+1th time.
아울러, 제1 이상 탐지 단계에서의 슬라이딩 윈도우의 사이즈는 이전 슬라이딩 윈도우에 대한 제1 이상 탐지 단계의 결과에 따라 가변되도록 구성될 수 있다.In addition, the size of the sliding window in the first anomaly detection step may be configured to vary according to a result of the first anomaly detection step with respect to the previous sliding window.
예를 들어, 제1 이상 탐지에서 n회차의 슬라이딩 윈도우 내의 변수 값에 이상이 있을 것이라 판단되었다면, 좀 더 촘촘하게 수집되는 변수들에 대한 이상 탐지가 수행되어야 하므로, n+1 회차의 슬라이딩 윈도우의 사이즈는 더 감소될 수 있다(예를 들어, n회차까지 슬라이딩 윈도우의 사이즈가 16개 변수였다면, n+1 회차에서는 슬라이딩 윈도우의 사이즈가 12개 변수로 변함).For example, if it is determined that there is an abnormality in the value of a variable within the sliding window of n times in the first anomaly detection, anomaly detection for the variables collected more densely should be performed, so the size of the sliding window of n+1 times may be further reduced (eg, if the size of the sliding window was 16 variables until the nth time, the size of the sliding window changes to 12 variables at the n+1th time).
반대로, 만약 n회차의 슬라이딩 윈도우에 대한 제1 이상 탐지 결과 이상이 없었다면 n+1 회차에서는 슬라이딩 윈도우의 사이즈를 보다 더 증가시킬 수도 있다. Conversely, if there is no abnormality as a result of the first abnormality detection for the sliding window of the nth time, the size of the sliding window may be further increased in the n+1th time.
다른 실시 예에서, 제1 이상 탐지 단계에서 윈도우 사이즈의 조정과 관련하여, 이전 슬라이딩 윈도우에 대한 제1 이상 탐지 결과는 이상이었으나, 제2 이상 탐지 결과는 정상이 나온 경우 현재의 슬라이딩 윈도우 사이즈를 증가시키도록 구성될 수도 있다.In another embodiment, in relation to the adjustment of the window size in the first anomaly detection step, when the first abnormality detection result for the previous sliding window is abnormal, but the second abnormality detection result is normal, the current sliding window size is increased It may be configured to do so.
제1 이상 탐지 단계에서 이상인 것으로 1차 판단되었으나, 제2 이상 탐지 단계에서 정상인 것으로 판단되었다는 것은 제1 이상 탐지 단계에서 데이터가 너무 지엽적으로만 비교되어 이상인 것으로 오판되었다는 것을 의미할 수 있으므로, 제1 이상 탐지 단계에서 윈도우 사이즈가 증가될 필요가 있다.Since it was determined that the first anomaly was initially determined to be abnormal in the first anomaly detection step, but was determined to be normal in the second anomaly detection step, it may mean that the data was compared only too locally in the first anomaly detection step and thus was erroneously judged to be an abnormality. In the anomaly detection step, the window size needs to be increased.
예를 들어, 제1 이상 탐지에서 n회차의 12개 변수의 크기를 가지는 슬라이딩 윈도우 내의 변수 값에 이상이 있을 것이라 판단되었는데, 제2 이상 탐지 단계에서 해당 슬라이딩 윈도우 내의 변수들에 이상이 없다고 판단하였다면, 좀 더 넓게 데이터들을 판단할 필요가 있는 것이므로, n+1 회차의 슬라이딩 윈도우의 사이즈는 16으로 변경될 수 있다.For example, if it is determined that there is an abnormality in the values of variables in the sliding window having the size of 12 variables of n times in the first anomaly detection step, but it is determined that there is no abnormality in the variables in the corresponding sliding window in the second anomaly detection step , since it is necessary to determine the data more widely, the size of the sliding window of n+1 times may be changed to 16.
S840단계에서, 이상 탐지 장치(1)는 제1 이상 탐지 결과에 포함되는 정상 데이터로 탐지된 모니터링 대상 변수와, 제2 이상 탐지 결과에 포함되는 정상 데이터로 탐지된 대상 변수와, 제2 이상 탐지 결과에 포함되는 이상 데이터로 탐지된 대상 변수를 이용하여, 이상 데이터로 탐지된 모니터링 대상 변수의 인덱스 정보와, 모니터링 대상 변수의 수집 대상인 모니터링 대상 기기의 식별 정보를 포함하는 이상 탐지 결과 정보를 생성한다. 선택적 실시 예로 이상 탐지 장치(1)는 이상 탐지 결과 정보에 모니터링 대상 기기로부터 데이터 수집부(100)가 대상 변수를 수집한 시간 정보를 더 포함할 수 있다. In step S840, the
이후, 이상 탐지 장치(1)는 사용자 단말기 및/또는 서버의 요청에 의해, 데이터 처리부(300)가 생성한 이상 탐지 결과 정보를, 네트워크를 통하여 사용자 단말기 및/또는 서버로 전송할 수 있다.Thereafter, the
한편, 상술된 단계들은 이상 탐지 장치(1)의 제어부 또는 프로세서에 의해 수행될 수 있다.Meanwhile, the above-described steps may be performed by a controller or a processor of the
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.The embodiment according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium. In this case, the medium includes a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and a ROM. , RAM, flash memory, and the like, hardware devices specially configured to store and execute program instructions.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field. Examples of the computer program may include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. In the specification of the present invention (especially in the claims), the use of the term "above" and similar referential terms may be used in both the singular and the plural. In addition, when a range is described in the present invention, each individual value constituting the range is described in the detailed description of the invention as including the invention to which individual values belonging to the range are applied (unless there is a description to the contrary). same as
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The steps constituting the method according to the present invention may be performed in an appropriate order, unless there is an explicit order or description to the contrary. The present invention is not necessarily limited to the order in which the steps are described. The use of all examples or exemplary terms (eg, etc.) in the present invention is merely for the purpose of describing the present invention in detail, and the scope of the present invention is limited by the examples or exemplary terms unless defined by the claims. it's not going to be In addition, those skilled in the art will appreciate that various modifications, combinations, and changes may be made in accordance with design conditions and factors within the scope of the appended claims or their equivalents.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is not limited to the scope of the scope of the present invention. will be said to belong to
1: 이상 탐지 장치
100: 데이터 수집부
200: 이상 탐지부
300: 데이터 처리부
400: 제어부1: Anomaly detection device
100: data collection unit
200: anomaly detection unit
300: data processing unit
400: control unit
Claims (20)
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지 단계;
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지 단계; 및
상기 제2 이상 탐지의 결과를 수신하여, 이상으로 탐지된 모니터링 대상 변수가 존재함에 따라, 상기 이상으로 탐지된 모니터링 대상 변수의 인덱스 정보와, 상기 모니터링 대상 변수의 수집 대상인 모니터링 대상 기기의 식별 정보를 포함하는 이상 탐지 결과 정보를 생성하는 단계를 포함하는,
이상 탐지 방법.As an anomaly detection method for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection step of detecting whether there is an abnormality in the monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable;
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input anomaly detection step; and
Upon receiving the result of the second abnormality detection, as the monitoring target variable detected as an abnormality exists, index information of the monitoring target variable detected as an abnormality and identification information of a monitoring target device that is a collection target of the monitoring target variable Including the step of generating anomaly detection result information comprising,
Anomaly detection method.
상기 제1 이상 탐지 단계는,
상기 슬라이딩 윈도우 각각에 포함되는 모니터링 대상 변수 값들 중 전반부의 변수 값들에 대한 제 1 연산 값 및 상기 모니터링 대상 변수 값들 중 후반부의 변수 값들에 대한 제 2 연산 값을 생성하는 단계;
상기 제 1 연산 값과 상기 제 2 연산 값 사이의 차에 기초하여 결정되는 평균 슬라이딩 차이(MSD; Mean Sliding Difference) 값이 기준 값 이상인 경우, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 이상이 있음을 탐지하는 단계를 포함하는,
이상 탐지 방법.The method of claim 1,
The first abnormality detection step,
generating a first calculated value for the variable values of the first half of the monitoring target variable values included in each of the sliding windows and a second calculated value for the second half of the monitored variable values;
When the mean sliding difference (MSD) value determined based on the difference between the first calculated value and the second calculated value is equal to or greater than the reference value, it is determined that there is an abnormality in the monitoring target variable included in the sliding window. comprising the step of detecting
Anomaly detection method.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지 단계; 및
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지 단계를 포함하고,
상기 제1 이상 탐지 단계는,
상기 슬라이딩 윈도우 각각에 포함되는 모니터링 대상 변수 값들 중 전반부의 변수 값들에 대한 제 1 연산 값 및 상기 모니터링 대상 변수 값들 중 후반부의 변수 값들에 대한 제 2 연산 값을 생성하는 단계;
상기 제 1 연산 값과 상기 제 2 연산 값 사이의 차에 기초하여 결정되는 평균 슬라이딩 차이(MSD; Mean Sliding Difference) 값이 기준 값 이상인 경우, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 이상이 있음을 탐지하는 단계를 포함하며,
상기 MSD 값은 상기 슬라이딩 윈도우의 사이즈에 반비례하고, 상기 제 1 연산 값과 상기 제 2 연산 값 사이의 차의 절대값의 제곱근에 비례하는,
이상 탐지 방법.As an anomaly detection method for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection step of detecting whether there is an abnormality in the monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable; and
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input anomaly detection step;
The first abnormality detection step,
generating a first calculated value for the variable values of the first half of the monitoring target variable values included in each of the sliding windows and a second calculated value for the second half of the monitored variable values;
When the mean sliding difference (MSD) value determined based on the difference between the first calculated value and the second calculated value is equal to or greater than the reference value, it is determined that there is an abnormality in the monitoring target variable included in the sliding window. detecting,
The MSD value is inversely proportional to the size of the sliding window and proportional to the square root of the absolute value of the difference between the first calculated value and the second calculated value,
Anomaly detection method.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지 단계; 및
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지 단계를 포함하고,
상기 제1 이상 탐지 단계는,
상기 슬라이딩 윈도우 각각에 포함되는 모니터링 대상 변수 값들 중 전반부의 변수 값들에 대한 제 1 연산 값 및 상기 모니터링 대상 변수 값들 중 후반부의 변수 값들에 대한 제 2 연산 값을 생성하는 단계;
상기 제 1 연산 값과 상기 제 2 연산 값 사이의 차에 기초하여 결정되는 평균 슬라이딩 차이(MSD; Mean Sliding Difference) 값이 기준 값 이상인 경우, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 이상이 있음을 탐지하는 단계를 포함하며,
상기 제 1 연산 값은 상기 슬라이딩 윈도우에 포함되는 모니터링 대상 변수 값들 중 전반부의 변수 값들 각각의 제곱 값의 합이고,
상기 제 2 연산 값은 상기 슬라이딩 윈도우에 포함되는 모니터링 대상 변수 값들 중 후반부의 변수 값들 각각의 제곱 값의 합인,
이상 탐지 방법.As an anomaly detection method for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection step of detecting whether there is an abnormality in the monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable; and
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input anomaly detection step;
The first abnormality detection step,
generating a first calculated value for the variable values of the first half of the monitoring target variable values included in each of the sliding windows and a second calculated value for the second half of the monitored variable values;
When the mean sliding difference (MSD) value determined based on the difference between the first calculated value and the second calculated value is equal to or greater than the reference value, it is determined that there is an abnormality in the monitoring target variable included in the sliding window. detecting,
The first calculated value is the sum of the square values of each of the variable values in the first half of the monitoring target variable values included in the sliding window,
The second calculation value is the sum of the square values of each of the variable values of the latter part of the monitoring target variable values included in the sliding window,
Anomaly detection method.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지 단계; 및
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지 단계를 포함하고,
상기 제1 이상 탐지 단계 이전에,
모니터링 대상 기기로부터 감지되는 모니터링 대상 변수들을 수신하는 단계; 및
수신되는 상기 변수들을 샘플링하여 수집하는 단계를 더 포함하며,
상기 수집하는 단계는, 이전 슬라이딩 윈도우에 대하여 상기 제1 이상 탐지 단계에서 이상이 탐지되는 경우, 상기 변수들에 대한 샘플링 레이트를 증가시키도록 구성되는,
이상 탐지 방법.As an anomaly detection method for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection step of detecting whether there is an abnormality in the monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable; and
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input anomaly detection step;
Before the first anomaly detection step,
receiving monitoring target variables detected from a monitoring target device; and
Further comprising the step of sampling and collecting the received variables,
the collecting step is configured to increase the sampling rate for the variables when an anomaly is detected in the first anomaly detection step for a previous sliding window;
Anomaly detection method.
상기 제2 이상 탐지 단계에서,
상기 이상 탐지 알고리즘은,
트리를 기반으로 하여 이상 데이터를 고립시켜 이상 여부를 탐지하는 아이솔레이션 포레스트(isolation forest) 알고리즘을 포함하는,
이상 탐지 방법.The method of claim 1,
In the second anomaly detection step,
The anomaly detection algorithm is
Including an isolation forest algorithm that detects anomalies by isolating abnormal data based on a tree,
Anomaly detection method.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지 단계; 및
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지 단계를 포함하고,
상기 제1 이상 탐지 단계에서, 슬라이딩 윈도우의 이동 속도는 현재 제1 이상 탐지의 대상이 되는 슬라이딩 윈도우 이전의 슬라이딩 윈도우에 대한 상기 제2 이상 탐지 단계의 결과에 따라 가변되도록 구성되는,
이상 탐지 방법.As an anomaly detection method for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection step of detecting whether there is an abnormality in the monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable; and
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input anomaly detection step;
In the first anomaly detection step, the moving speed of the sliding window is configured to vary according to a result of the second anomaly detection step with respect to the sliding window before the sliding window that is currently the target of the first anomaly detection,
Anomaly detection method.
상기 제1 이상 탐지 단계에서, 상기 슬라이딩 윈도우의 사이즈는 이전 슬라이딩 윈도우에 대한 제1 이상 탐지 단계의 결과에 따라 가변되도록 구성되는,
이상 탐지 방법.The method of claim 1,
In the first anomaly detection step, the size of the sliding window is configured to vary according to a result of the first anomaly detection step for a previous sliding window,
Anomaly detection method.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지 단계; 및
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지 단계를 포함하고,
상기 제1 이상 탐지 단계는, 이전 슬라이딩 윈도우에 대하여 제1 이상 탐지 결과는 이상이었으나 제2 이상 탐지 결과는 정상이 나온 경우, 상기 슬라이딩 윈도우의 사이즈를 증가시키도록 구성되는,
이상 탐지 방법.As an anomaly detection method for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection step of detecting whether there is an abnormality in the monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable; and
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input anomaly detection step;
The first abnormality detection step is configured to increase the size of the sliding window when the first abnormality detection result is abnormal for the previous sliding window but the second abnormality detection result is normal,
Anomaly detection method.
상기 제1 이상 탐지 단계에서, 상기 슬라이딩 윈도우의 사이즈는 이전 슬라이딩 윈도우에 대한 제1 이상 탐지 단계의 결과에 따라 가변되도록 구성되는,
이상 탐지 방법.3. The method of claim 2,
In the first anomaly detection step, the size of the sliding window is configured to vary according to a result of the first anomaly detection step for a previous sliding window,
Anomaly detection method.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지 단계; 및
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지 단계를 포함하고,
상기 제1 이상 탐지 단계는,
상기 슬라이딩 윈도우 각각에 포함되는 모니터링 대상 변수 값들 중 전반부의 변수 값들에 대한 제 1 연산 값 및 상기 모니터링 대상 변수 값들 중 후반부의 변수 값들에 대한 제 2 연산 값을 생성하는 단계;
상기 제 1 연산 값과 상기 제 2 연산 값 사이의 차에 기초하여 결정되는 평균 슬라이딩 차이(MSD; Mean Sliding Difference) 값이 기준 값 이상인 경우, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 이상이 있음을 탐지하는 단계를 포함하며,
상기 제1 이상 탐지 단계는, 이전 슬라이딩 윈도우에 대하여 제1 이상 탐지 결과는 이상이었으나 제2 이상 탐지 결과는 정상이 나온 경우, 상기 기준 값을 증가시키도록 구성되는,
이상 탐지 방법.As an anomaly detection method for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection step of detecting whether there is an abnormality in the monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable; and
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input anomaly detection step;
The first abnormality detection step,
generating a first calculated value for the variable values of the first half of the monitoring target variable values included in each of the sliding windows and a second calculated value for the second half of the monitored variable values;
When the mean sliding difference (MSD) value determined based on the difference between the first calculated value and the second calculated value is equal to or greater than the reference value, it is determined that there is an abnormality in the monitoring target variable included in the sliding window. detecting,
The first abnormality detection step is configured to increase the reference value when the first abnormality detection result is abnormal for the previous sliding window but the second abnormality detection result is normal,
Anomaly detection method.
상기 제1 이상 탐지 단계에서, 상기 슬라이딩 윈도우의 사이즈와 상기 슬라이딩 윈도우의 회당 이동 거리인 이동 속도는 비례 관계이고, 상기 슬라이딩 윈도우의 회당 이동 거리는 상기 슬라이딩 윈도우의 사이즈의 절반 이하가 되도록 구성되는,
이상 탐지 방법.13. The method according to any one of claims 8 to 12,
In the first abnormality detection step, the size of the sliding window and the moving speed, which is the moving distance per turn of the sliding window, are in a proportional relationship, and the moving distance per turn of the sliding window is configured to be less than half the size of the sliding window.
Anomaly detection method.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지부;
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지부; 및
상기 제2 이상 탐지부로부터 제2 이상 탐지의 결과를 수신하여, 이상으로 탐지된 모니터링 대상 변수가 존재함에 따라, 상기 이상으로 탐지된 모니터링 대상 변수의 인덱스 정보와, 상기 모니터링 대상 변수의 수집 대상인 모니터링 대상 기기의 식별 정보를 포함하는 이상 탐지 결과 정보를 생성하는 데이터 처리부를 포함하는,
이상 탐지 장치.An anomaly detection device for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection unit configured to detect an abnormality in a monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable;
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input anomaly detection unit; and
Upon receiving the result of the second anomaly detection from the second anomaly detection unit and there is a monitoring target variable detected as an abnormality, index information of the monitoring target variable detected as an abnormality and a monitoring target of the monitoring target variable are collected Containing a data processing unit for generating anomaly detection result information including the identification information of the target device,
anomaly detection device.
상기 제1 이상 탐지부는,
상기 슬라이딩 윈도우 각각에 포함되는 모니터링 대상 변수 값들 중 전반부의 변수 값들에 대한 제 1 연산 값 및 상기 모니터링 대상 변수 값들 중 후반부의 변수 값들에 대한 제 2 연산 값을 생성하는 연산 처리부; 및
상기 제 1 연산 값과 상기 제 2 연산 값 사이의 차에 기초하여 결정되는 평균 슬라이딩 차이(MSD; Mean Sliding Difference) 값이 기준 값 이상인 경우, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 이상이 있음을 판정하는 판정부를 포함하는,
이상 탐지 장치.16. The method of claim 15,
The first abnormality detection unit,
an arithmetic processing unit for generating a first calculated value for the variable values of the first half of the monitored variable values included in each of the sliding windows and a second calculated value for the second half of the monitored variable values; and
When the mean sliding difference (MSD) value determined based on the difference between the first calculated value and the second calculated value is equal to or greater than the reference value, it is determined that there is an abnormality in the monitoring target variable included in the sliding window. comprising a judging unit to determine;
anomaly detection device.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지부; 및
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지부를 포함하고,
상기 제1 이상 탐지부는,
상기 슬라이딩 윈도우 각각에 포함되는 모니터링 대상 변수 값들 중 전반부의 변수 값들에 대한 제 1 연산 값 및 상기 모니터링 대상 변수 값들 중 후반부의 변수 값들에 대한 제 2 연산 값을 생성하는 연산 처리부; 및
상기 제 1 연산 값과 상기 제 2 연산 값 사이의 차에 기초하여 결정되는 평균 슬라이딩 차이(MSD; Mean Sliding Difference) 값이 기준 값 이상인 경우, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 이상이 있음을 판정하는 판정부를 포함하며,
상기 MSD 값은 상기 슬라이딩 윈도우의 사이즈에 반비례하고, 상기 제 1 연산 값과 상기 제 2 연산 값 사이의 차의 절대값의 제곱근에 비례하는,
이상 탐지 장치.An anomaly detection device for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection unit configured to detect an abnormality in a monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable; and
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input including an anomaly detection unit;
The first abnormality detection unit,
an arithmetic processing unit for generating a first calculated value for the variable values of the first half of the monitored variable values included in each of the sliding windows and a second calculated value for the second half of the monitored variable values; and
When the mean sliding difference (MSD) value determined based on the difference between the first calculated value and the second calculated value is equal to or greater than the reference value, it is determined that there is an abnormality in the monitoring target variable included in the sliding window. It includes a judging unit for judging,
The MSD value is inversely proportional to the size of the sliding window and proportional to the square root of the absolute value of the difference between the first calculated value and the second calculated value,
anomaly detection device.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지부; 및
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지부를 포함하고,
상기 제1 이상 탐지부는,
상기 슬라이딩 윈도우 각각에 포함되는 모니터링 대상 변수 값들 중 전반부의 변수 값들에 대한 제 1 연산 값 및 상기 모니터링 대상 변수 값들 중 후반부의 변수 값들에 대한 제 2 연산 값을 생성하는 연산 처리부; 및
상기 제 1 연산 값과 상기 제 2 연산 값 사이의 차에 기초하여 결정되는 평균 슬라이딩 차이(MSD; Mean Sliding Difference) 값이 기준 값 이상인 경우, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 이상이 있음을 판정하는 판정부를 포함하며,
상기 제 1 연산 값은 상기 슬라이딩 윈도우에 포함되는 모니터링 대상 변수 값들 중 전반부의 변수 값들 각각의 제곱 값의 합이고,
상기 제 2 연산 값은 상기 슬라이딩 윈도우에 포함되는 모니터링 대상 변수 값들 중 후반부의 변수 값들 각각의 제곱 값의 합인,
이상 탐지 장치.An anomaly detection device for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection unit configured to detect an abnormality in a monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable; and
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input including an anomaly detection unit;
The first abnormality detection unit,
an arithmetic processing unit for generating a first calculated value for the variable values of the first half of the monitored variable values included in each of the sliding windows and a second calculated value for the second half of the monitored variable values; and
When the mean sliding difference (MSD) value determined based on the difference between the first calculated value and the second calculated value is equal to or greater than the reference value, it is determined that there is an abnormality in the monitoring target variable included in the sliding window. It includes a judging unit for judging,
The first calculated value is the sum of the square values of each of the variable values in the first half of the monitoring target variable values included in the sliding window,
The second calculation value is the sum of the square values of each of the variable values of the latter part of the monitoring target variable values included in the sliding window,
anomaly detection device.
수집한 모니터링 대상 변수에 슬라이딩 윈도우(sliding window)를 적용하여 산출한 슬라이딩 윈도우 연산 값에 따라, 상기 슬라이딩 윈도우에 포함된 모니터링 대상 변수에 대한 이상 여부를 탐지하는 제1 이상 탐지부; 및
상기 제1 이상 탐지의 결과, 이상으로 탐지된 슬라이딩 윈도우에 포함된 모니터링 대상 변수를 입력으로 이상 탐지 알고리즘을 수행하여, 이상으로 탐지된 모니터링 대상 변수와 정상으로 탐지된 모니터링 대상 변수를 분류하는 제2 이상 탐지부를 포함하고,
모니터링 대상 기기로부터 감지되는 모니터링 대상 변수들을 수신하고, 수신되는 상기 변수들을 샘플링하여 수집하는 수집부를 더 포함하며,
상기 수집부는, 이전 슬라이딩 윈도우에 대하여 상기 제1 이상 탐지부에서 이상이 탐지되는 경우, 상기 변수들에 대한 샘플링 레이트를 증가시키도록 구성되는,
이상 탐지 장치.An anomaly detection device for detecting whether there is an anomaly in a variable to be monitored,
a first abnormality detection unit configured to detect an abnormality in a monitoring target variable included in the sliding window according to a sliding window calculation value calculated by applying a sliding window to the collected monitoring target variable; and
As a result of the first abnormality detection, an abnormality detection algorithm is performed by inputting the monitoring target variable included in the sliding window detected as abnormal, and a second method of classifying the abnormally detected monitoring target variable and the abnormally detected monitoring target variable as an input including an anomaly detection unit;
Further comprising a collection unit for receiving the monitoring target variables detected from the monitoring target device, sampling the received variables,
The collection unit is configured to increase a sampling rate for the variables when an abnormality is detected by the first anomaly detection unit with respect to a previous sliding window,
anomaly detection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200120719A KR102325629B1 (en) | 2020-09-18 | 2020-09-18 | Anomaly detecting method and anomaly detecting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200120719A KR102325629B1 (en) | 2020-09-18 | 2020-09-18 | Anomaly detecting method and anomaly detecting apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102325629B1 true KR102325629B1 (en) | 2021-11-11 |
Family
ID=78516390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200120719A KR102325629B1 (en) | 2020-09-18 | 2020-09-18 | Anomaly detecting method and anomaly detecting apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102325629B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598438A (en) * | 2020-05-14 | 2020-08-28 | 哈尔滨工业大学（威海） | Civil aviation engine gas circuit abnormity detection method based on segmented fitting analysis and evaluation |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015011027A (en) * | 2013-07-01 | 2015-01-19 | 三菱電機株式会社 | Method for detecting anomalies in time series data |
| KR20180097895A (en) | 2017-02-24 | 2018-09-03 | (주)위세아이텍 | APPARATUS AND METHOD for DETECTING DATA OUTLIERS IN FRAUN DETECTION SYSTEM |
| KR20190010225A (en) * | 2017-07-21 | 2019-01-30 | 삼성에스디에스 주식회사 | Method for detecting malicious traffic and Apparatus thereof |
| KR20190048264A (en) * | 2017-10-31 | 2019-05-09 | 주식회사 윈스 | Apparatus and method for detecting anomalous signs using machine learning based on packet analysis |
| KR102088509B1 (en) * | 2019-03-27 | 2020-03-12 | 국방과학연구소 | Method and apparatus for detection of anomaly on computer system |
| KR102089946B1 (en) * | 2019-07-17 | 2020-03-17 | 주식회사 에프원시큐리티 | Apparatus and method for detecting webshell based on sliding window |
-
2020
- 2020-09-18 KR KR1020200120719A patent/KR102325629B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015011027A (en) * | 2013-07-01 | 2015-01-19 | 三菱電機株式会社 | Method for detecting anomalies in time series data |
| KR20180097895A (en) | 2017-02-24 | 2018-09-03 | (주)위세아이텍 | APPARATUS AND METHOD for DETECTING DATA OUTLIERS IN FRAUN DETECTION SYSTEM |
| KR20190010225A (en) * | 2017-07-21 | 2019-01-30 | 삼성에스디에스 주식회사 | Method for detecting malicious traffic and Apparatus thereof |
| KR20190048264A (en) * | 2017-10-31 | 2019-05-09 | 주식회사 윈스 | Apparatus and method for detecting anomalous signs using machine learning based on packet analysis |
| KR102088509B1 (en) * | 2019-03-27 | 2020-03-12 | 국방과학연구소 | Method and apparatus for detection of anomaly on computer system |
| KR102089946B1 (en) * | 2019-07-17 | 2020-03-17 | 주식회사 에프원시큐리티 | Apparatus and method for detecting webshell based on sliding window |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598438A (en) * | 2020-05-14 | 2020-08-28 | 哈尔滨工业大学（威海） | Civil aviation engine gas circuit abnormity detection method based on segmented fitting analysis and evaluation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6137938B2 (en) | Method for detecting anomalies in time series data | |
| KR101829560B1 (en) | Method, system and computer device for predicting a capacity based on kalman filter | |
| US11067501B2 (en) | Fabric validation using spectral measurement | |
| JP6409983B2 (en) | Chromatograph mass spectrometry data processing method and processing apparatus | |
| JP6543066B2 (en) | Machine learning device | |
| CN109992969B (en) | Malicious file detection method and device and detection platform | |
| JP6688962B2 (en) | Judgment device, judgment method, and judgment program | |
| KR100980603B1 (en) | Fault detection method using sequential one class classifier chain | |
| JP2018148350A (en) | Threshold determination device, threshold level determination method and program | |
| KR102325629B1 (en) | Anomaly detecting method and anomaly detecting apparatus | |
| CN109521725A (en) | The method, apparatus and equipment and machine readable media of detection abnormal data | |
| JP5061744B2 (en) | Situation analysis system and situation analysis method | |
| US10848425B2 (en) | Method, system and program product for data transmission with a reduced data volume | |
| CN110808995B (en) | Safety protection method and device | |
| US20190179867A1 (en) | Method and system for analyzing measurement-yield correlation | |
| JP6135192B2 (en) | Time series data abnormality monitoring apparatus, abnormality monitoring method and program | |
| JP2013022188A (en) | Gait analyzing method, gait analyzer, and program of the same | |
| TW201508536A (en) | Method and device for acquiring virus signature and machine-readable storage medium | |
| KR102299660B1 (en) | Anomaly detecting method and anomaly detecting apparatus | |
| CN115827496A (en) | Code abnormality detection method and device, electronic equipment and storage medium | |
| KR20200067044A (en) | Method and apparatus for detecting malicious file | |
| KR102216513B1 (en) | Methods and Apparatus for Motor Deterioration Detection by Real-Time Motor Current Analysis | |
| CN112927201A (en) | Curve detection method and device | |
| KR102537731B1 (en) | System, method and non-transitory computer readable medium for tuning sensitivies of, and determinng a process window for, a modulated wafer | |
| KR102546071B1 (en) | Substrate treating apparatus and data change determination method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |