KR102418237B1 - 머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법 및 이를 위한 장치 - Google Patents

Abstract

기재된 실시예는 입력 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 상응하는 비용을 기반으로 정상 또는 이상을 판단하는 단계; 상기 입력 데이터 중 제 1 데이터에 대해서 정상 상황인데 이상 상황으로 판단된 오탐지(False Alarm)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 오탐지 비용 변화를 오탐지 데이터베이스에 저장하는 단계; 상기 입력 데이터 중 제 1 데이터에 대해서 이상 상황인데 정상 상황으로 판단된 미탐지(Missed Anomaly)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 미탐지 비용 변화를 미탐지 데이터베이스에 저장하는 단계; 상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들과 비교하여 오탐지 유사 상황 발생 알림을 생성하는 단계; 및 상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 미탐지 비용 변화 데이터 베이스에 포함된 미탐지 비용 변화들과 비교하여 미탐지 유사 상황 발생 알림을 생성하는 단계를 포함하는, 머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법에 관한 것이다.

Description

머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법 및 이를 위한 장치{METHOD FOR PROCESSING FALSE ALARMS OF ANOMALY BEHAVIOR DETECTION SYSTEM USING MACHINE LEARNING, AND APPARATUS FOR THE SAME}

본 발명은 예측모델을 이용하여 이상 상황 탐지를 하면서 탐지 이상(False Alarms)을 인지하였을 경우, 이와 유사한 탐지 이상이 발생하지 않도록 하는 기술에 관한 것이다.

머신러닝을 이용하여 시계열 정보를 학습하고 학습된 결과인 학습모델을 이용하여 새로 입력되는 정보의 정상/비정상 유무를 판단하는 기술들이 많이 존재한다. 이 때 종래 기술은 학습모델을 이용하여 정상/비정상 유무 판단 대상에 대해 예측치를 출력한 후 예측치와 실측치의 차이인 비용(cost)을 미리 정한 임계값과 비교하여 정상/비정상을 판단하고 있다.

그러나, 종래 기술에서 정상과 비정상을 구분 짓는 threshold를 정하는 것은 매우 중요하지만 어려운 일이다. 정상과 비정상의 범주가 확연히 구분되는 경우 threshold를 쉽게 결정할 수도 있지만, 특정 정상 상황에서는 다른 비정상 상황에서보다 cost가 크게 나타나고, 특정 비정상 상황에서는 타 정상 상황보다 cost가 작게 나타나서 오탐지(정상을 비정상으로 판단)과 미탐지(비정상을 정상으로 판단)를 유발할 수 있다.

따라서 위와 같은 문제를 해결하고자 상기 차이의 변화에 패턴을 이용하여 임계값을 결정하는 방식을 사용할 수 있다. 학습모델은 주어진 입력에 대해 동일한 출력 만들어내는 결정형 모델(deterministic model)로, 입력 패턴에 따라 cost의 변화에도 일정한 패턴을 갖는 경우가 많다. 학습데이터를 분석해 보면 정상 상황에서 시간흐름에 따른 cost의 변화(cost trend)와 비정상 상황에서의 cost trend에는 어느 정도 차이가 존재한다. 잘못 학습된 결과를 모델 수준에서 개선할 수 없을 경우 cost trend를 탐지에 활용하여 특정 패턴에서 반복적으로 오탐 및 미탐이 발생하는 문제점을 보완할 수 있다.

한국등록특허 제 10-1888683호 (2018.08.14)

본 발명의 목적은 이상탐지 기술 수행시 오탐지(정상을 비정상으로 판단) 또는 미탐지(비정상을 정상으로 판단)하는 경우 유사 상황이 반복되지 않게 대응할 수 있는 방법 및 이를 위한 장치를 제공함에 있다.

또한, 본 발명의 목적은 예측치와 실측치의 차이를 이용하여 이상 상황을 탐지하는 시스템의 오탐지 또는 미탐지 발생시 학습모델의 재학습과 패치 전까지 유사하거나 동일한 오탐지 및 미탐지가 발생하는 것을 방지하는 기술을 제공함에 있다.

또한, 본 발명의 목적은 유사하거나 동일한 오탐지 또는 미탐지가 발생하는 경우에 대해 기존에 발생했던 어떤 경우와 유사한지 바로 비교하여 관련 정보를 사용자에게 제공하는 기술을 제공함에 있다.

실시예에 따른 머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법은 입력 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 상응하는 비용을 기반으로 정상 또는 이상을 판단하는 단계; 상기 입력 데이터 중 제 1 데이터에 대해서 정상 상황인데 이상 상황으로 판단된 오탐지(False Alarm)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 오탐지 비용 변화를 오탐지 데이터베이스에 저장하는 단계; 상기 입력 데이터 중 제 1 데이터에 대해서 이상 상황인데 정상 상황으로 판단된 미탐지(Missed Anomaly)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 미탐지 비용 변화를 미탐지 데이터베이스에 저장하는 단계; 상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들과 비교하여 오탐지 유사 상황 발생 알림을 생성하는 단계; 및 상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 미탐지 비용 변화 데이터 베이스에 포함된 미탐지 비용 변화들과 비교하여 미탐지 유사 상황 발생 알림을 생성하는 단계를 포함한다.

이 때, 상기 오탐지 유사 상황 발생 알림을 생성하는 단계는 상기 입력 데이터 중 제 2 데이터에 대하여 이상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 이상 타겟 비용 변화를 생성하는 단계; 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들 중 상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하는 단계; 및 상기 유사한 비용 변화가 있다고 확인되면, 오탐지 유사 상황 발생 알림 신호를 생성하는 단계를 포함할 수 있다.

이 때, 상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하는 단계는 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들간의 차이를 계산하는 함수를 결정하는 단계; 상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT1을 정하는 단계; 상기 이상 타겟 비용 변화와 상기 오탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하는 단계; 및 상기 차이들 중 상기 임계값 TH_LIMIT1보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하는 단계를 포함할 수 있다.

이 때, 상기 미탐지 유사 상황 발생 알림을 생성하는 단계는 상기 입력 데이터 중 제 2 데이터에 대하여 정상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 정상 타겟 비용 변화를 생성하는 단계; 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들 중 상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하는 단계; 및 상기 유사한 비용 변화가 있다고 확인되면, 미탐지 유사 상황 발생 알림 신호를 생성하는 단계를 더 포함할 수 있다.

이 때, 상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하는 단계는 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들간의 차이를 계산하는 함수를 결정하는 단계; 상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT2을 정하는 단계; 상기 정상 타겟 비용 변화와 상기 미탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하는 단계; 및 상기 차이들 중 상기 임계값 TH_LIMIT2보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하는 단계를 포함하는 것일 수 있다.

이 때, 상기 정상 또는 이상을 판단하는 단계는 학습 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 상응하는 비용을 기반으로 정상과 이상을 구분하는 임계값 TH0을 결정하는 단계; 및 상기 입력 데이터에 상응하는 비용을 상기 임계값 TH0와 비교하여 상기 입력 데이터에 대하여 정상과 이상을 1차 판단하는 단계를 포함할 수 있다.

이 때, 상기 정상 또는 이상을 판단하는 단계는 정상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 큰 경우, 제 1 시간 동안의 임계값-초과 비용 변화를 임계값-초과 비용 변화 데이터베이스에 저장하는 단계; 상기 임계값-초과 비용 변화 데이터베이스에 포함된 임계값-초과 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH1을 결정하는 단계; 상기 1차 판단하는 단계에서 정상으로 판단된 경우, 상기 입력 데이터에 상응하는 비용의 변화를 제 1 시간동안 추출하여 제 1 타겟 비용 변화를 생성하는 단계; 상기 제 1 타겟 비용 변화와 유사한 비용 변화를 상기 임계값-초과 비용 변화 데이터베이스에서 선택하여 제 1 이웃 비용 변화를 생성하는 단계; 및 상기 제 1 타겟 비용 변화와 제 1 이웃 비용 변화의 차이를 상기 임계값 TH1과 비교하여 상기 입력 데이터에 대하여 정상과 이상을 최종 판단하는 단계를 더 포함할 수 있다.

이 때, 상기 정상 또는 이상을 판단하는 단계는 이상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 작은 경우, 제 2 시간 동안의 임계값-이하 비용 변화를 임계값-이하 비용 변화 데이터베이스에 저장하는 단계; 상기 임계값-이하 비용 변화 데이터베이스에 포함된 임계값-이하 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH2을 결정하는 단계; 상기 1차 판단하는 단계에서 이상으로 판단된 경우, 상기 입력 데이터에 상응하는 비용의 변화를 제 2 시간동안 추출하여 제 2 타겟 비용 변화를 생성하는 단계; 상기 제 2 타겟 비용 변화와 유사한 비용 변화를 상기 임계값-이하 비용 변화 데이터베이스에서 선택하여 제 2 이웃 비용 변화를 생성하는 단계; 및 상기 제 2 타겟 비용 변화와 제 2 이웃 비용 변화의 차이를 상기 임계값 TH2와 비교하여 상기 입력 데이터에 대하여 정상과 이상을 최종 판단하는 단계를 더 포함할 수 있다.

이 때, 상기 비용은 상기 예측치와 실측치의 차이 또는 상기 차이를 사전에 정해진 시간 동안 누적시킨 것 중에 어느 하나인 것일 수 있다.

이 때, 사용자의 알람 설정에 기반하여 상기 오탐지 유사 상황 발생 알림 신호 또는 미탐지 유사 상황 발생 알림 신호를 출력하는 단계를 더 포함할 수 있다.

실시예에 따른 머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 판단 장치는 입력 데이터 중 제 1 데이터에 대해서 정상 상황인데 이상 상황으로 판단된 오탐지(False Alarm)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 오탐지 비용 변화를 오탐지 데이터베이스에 저장하고, 상기 입력 데이터 중 제 1 데이터에 대해서 이상 상황인데 정상 상황으로 판단된 미탐지(Missed Anomaly)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 미탐지 비용 변화를 미탐지 데이터베이스에 저장하고, 상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들과 비교하여 오탐지 유사 상황 발생 알림을 생성하고, 상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들과 비교하여 미탐지 유사 상황 발생 알림을 생성하는 프로세서; 및 상기 오탐지 비용 변화 데이터베이스 또는 미탐지 비용 변화 데이터베이스 중 적어도 하나를 저장하는 메모리를 포함할 수 있다.

이 때, 상기 프로세서는 상기 입력 데이터 중 제 2 데이터에 대하여 이상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 이상 타겟 비용 변화를 생성하고, 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들 중 상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하고, 상기 유사한 비용 변화가 있다고 확인되면, 오탐지 유사 상황 발생 알림 신호를 생성하는 것일 수 있다.

이 때, 상기 프로세서는 상기 오탐지 데이터베이스에 포함된 비용 변화들간의 차이를 계산하는 함수를 결정하고, 상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT1을 정하고, 상기 이상 타겟 비용 변화와 상기 오탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하고, 상기 차이들 중 상기 임계값 TH_LIMIT1보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하는 것일 수 있다.

이 때, 상기 프로세서는 상기 입력 데이터 중 제 2 데이터에 대하여 정상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 정상 타겟 비용 변화를 생성하고, 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들 중 상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하고, 상기 유사한 비용 변화가 있다고 확인되면, 미탐지 유사 상황 발생 알림 신호를 생성하는 것일 수 있다.

이 때, 상기 프로세서는 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들간의 차이를 계산하는 함수를 결정하고, 상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT2을 정하고, 상기 정상 타겟 비용 변화와 상기 미탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하고, 상기 차이들 중 상기 임계값 TH_LIMIT2보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하는 것일 수 있다.

이 때, 상기 프로세서는 사용자의 알람 설정에 기반하여 상기 오탐지 유사 상황 발생 알림 신호 또는 미탐지 유사 상황 발생 알림 신호를 출력하는 것일 수 있다.

실시예에 따른 머신 러닝을 이용한 이상 상황 탐지 시스템의 이상 상황 탐지 장치는 입력 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 상응하는 비용을 기반으로 정상 또는 이상을 판단하고, 상기 판단의 결과인 정상 또는 이상을 탐지 이상 판단 장치로 전송하는 프로세서; 및 상기 정상 또는 이상 중 적어도 하나를 저장하는 메모리를 포함할 수 있다.

이 때, 상기 프로세서는 학습 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 대응하는 비용을 기반으로 정상과 이상을 구분하는 임계값 TH0을 결정하고, 상기 입력 데이터에 상응하는 비용을 상기 임계값 TH0와 비교하여 상기 입력 데이터에 대하여 정상과 이상을 1차 판단하는 것일 수 있다.

이 때, 상기 프로세서는 정상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 큰 경우, 제 1 시간 동안의 임계값-초과 비용 변화를 임계값-초과 비용 변화 데이터베이스 저장하고, 상기 임계값-초과 비용 변화 데이터베이스에 포함된 임계값-초과 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH1을 결정하고, 상기 1차 판단하는 단계에서 정상으로 판단된 경우, 상기 입력 데이터에 상응하는 비용의 변화를 제 1 시간동안 추출하여 제 1 타겟 비용변화를 생성하고, 상기 제 1 타겟 비용 변화와 유사한 비용 변화를 상기 임계값-초과 비용 변화 데이터베이스에서 선택하여 제 1 이웃 비용 변화를 생성하고, 상기 제 1 타겟 비용 변화와 제 1 이웃 비용 변화의 차이를 상기 임계값 TH1과 비교하여 상기 입력 데이터에 대하여 정상과 이상을 최종 판단하는 것일 수 있다.

이 때, 상기 프로세서는 이상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 작은 경우, 제 2 시간 동안의 임계값-이하 비용 변화를 임계값-이하 비용 변화 데이터베이스에 저장하고, 상기 임계값-이하 비용 변화 데이터베이스에 포함된 임계값-이하 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH2을 결정하고, 상기 1차 판단하는 단계에서 이상으로 판단된 경우, 상기 입력 데이터에 상응하는 비용의 변화를 제 2 시간동안 추출하여 제 2 타겟 비용 변화를 생성하고, 상기 제 2 타겟 비용 변화와 유사한 비용 변화를 상기 임계값-이하 비용 변화 데이터베이스에서 선택하여 제 2 이웃 비용 변화를 생성하고, 상기 제 2 타겟 비용 변화와 제 2 이웃 비용 변화의 차이를 상기 임계값 TH2와 비교하여 상기 입력 데이터에 대하여 정상과 이상을 최종 판단하는 것일 수 있다.

이 때, 상기 비용은 상기 예측치와 실측치의 차이 또는 상기 예측치와 실측치의 차이를 사전에 정해진 시간 동안 누적시킨 것 중에 어느 하나인 것일 수 있다.

본 발명은 이상탐지 기술 수행시 오탐지(정상을 비정상으로 판단) 또는 미탐지(비정상을 정상으로 판단)하는 경우 유사 상황이 반복되지 않게 대응할 수 있는 방법 및 이를 위한 장치를 제공할 수 있다.

또한, 본 발명은 예측치와 실측치의 차이를 이용하여 이상 상황을 탐지하는 시스템의 오탐지 또는 미탐지 발생시 학습모델의 재학습과 패치 전까지 유사하거나 동일한 오탐지 및 미탐지가 발생하는 것을 방지하는 기술을 제공할 수 있다.

또한, 본 발명은 유사하거나 동일한 오탐지 또는 미탐지가 발생하는 경우에 대해 기존에 발생했던 어떤 경우와 유사한지 바로 비교하여 관련 정보를 사용자에게 제공하는 기술을 제공할 수 있다.

도 1은 실시예에 따른 이상 상황 탐지 시스템(100)의 일 예를 나타낸 블록도이다.
도 2는 도 1에 도시된 이상 상황 탐지 장치(130)의 일 예를 나타낸 도면이다.
도 3은 일반적으로 예측치를 이용한 이상 상황 탐지 방법의 개념을 보여주는 도면이다.
도 4는 임계값(Threshold)을 이용한 이상 상황 탐지 방법의 개념을 보여주는 도면이다.
도 5는 일정 구간 동안의 누적 비용(Cumulative Cost)을 이용한 이상 상황 탐지 방법의 개념을 보여주는 도면이다.
도 6은 도 1에 도시된 이상 상황 탐지 장치(130)의 이상 상황 탐지 방법의 일 예를 보여주는 도면이다.
도 7은 실시예에 따른 탐지 이상 판단 장치(140)의 일 예를 나타낸 도면이다.
도 8은 실시예에 따른 이상 상황 탐지 시스템의 일 예를 나타낸 블록도이다.
도 9는 실시예에 따른 이상 상황 탐지 시스템의 다른 예를 나타낸 블록도이다.
도 10은 도 1에 도시된 탐지 이상 판단 장치(140)가 탐지 이상 비용 변화데이터베이스를 구축하는 동작의 흐름도를 나타낸 도면이다.
도 11은 도 1에 도시된 탐지 이상 판단 장치(140)가 탐지 이상 비용 변화 데이터베이스를 이용하여 탐지 이상 판단을 하는 동작의 흐름도를 나타낸 도면이다.
도 12는 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.

본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하에서는, 도 1 내지 도 12를 참조하여 실시예에 따른 머신 러닝을 이용한이상 상황 탐지 시스템의 탐지 이상 처리 방법 및 이를 위한 장치가 상세히 설명된다.

도 1은 실시예에 따른 이상 상황 탐지 시스템(100)의 일 예를 나타낸 블록도이다.

도 1을 참조하면, 상기 이상 상황 탐지 시스템(100)은 입력 데이터를 받아 탐지 이상(오탐지/미탐지) 유사 알림(120)과 이상 탐지 결과(150)를 출력으로 내보낸다. 그리고 상기 이상 상황 탐지 시스템(100)은 이상 상황 탐지 장치(130) 및 탐지 이상 판단 장치(140)을 포함할 수 있다.

상기 이상 상황 탐지 장치(130)는 입력 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 상응하는 비용을 기반으로 정상 또는 이상을 판단하는 동작을 수행한다. 상기 이상 상황 탐지 장치(130)는 정상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 큰 경우, 제 1 시간 동안의 임계값-초과 비용 변화를 임계값-초과 비용 변화 데이터베이스(230)에 저장하고, 상기 임계값-초과 비용 변화 데이터베이스(230)에 포함된 임계값-초과 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH1을 결정할 수 있다. 그리고 상기 이상 상황 탐지 장치(130)는 이상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 작은 경우, 제 2 시간 동안의 임계값-이하 비용 변화를 임계값-이하 비용 변화 데이터베이스(240)에 저장하고, 상기 임계값-이하 비용 변화 데이터베이스(240)에 포함된 임계값-이하 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH2을 결정할 수 있다. 그리고 상기 임계값-초과 비용 변화 데이터베이스(230), 임계값-이하 비용 변화 데이터베이스(240), 임계값 TH1과 TH2는 이후 비용 변화 기준 판단기(260)가 상기 입력 데이터에 대해 정상과 이상을 최종적으로 판단하는 데 사용될 수 있다. 상기 제 1 시간, 제 2 시간은 독립적으로 설정될 수 있다.

상기 탐지 이상 판단 장치(140)는 상기 입력 데이터 중 제 1 데이터에 대해서 정상 상황인데 이상 상황으로 판단된 오탐지(False Alarm)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 오탐지 비용 변화를 오탐지 데이터베이스에 저장하고, 상기 입력 데이터 중 제 1 데이터에 대해서 이상 상황인데 정상 상황으로 판단된 미탐지(Missed Anomaly)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 미탐지 비용 변화를 미탐지 데이터베이스에 저장한다. 그리고 상기 판단 장치(140)는 상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들과 비교하여 오탐지 유사 상황 발생 알림을 생성하고, 상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 미탐지 비용 변화 데이터 베이스에 포함된 미탐지 비용 변화들과 비교하여 미탐지 유사 상황 발생 알림을 생성하는 것이다.

도 2는 도 1에 도시된 이상 상황 탐지 장치(130)의 일 예를 나타낸 도면이다.

도 2를 참조하면, 상기 이상 상황 탐지 장치(130)는 학습기(210), 학습모델(220), 임계값-초과 비용 변화 데이터베이스(Threshold-over cost trend)(230), 임계값-이하 비용 변화 데이터베이스(Threshold-under cost trend)(240), 예측 기준 판단기(250), 비용 변화(Cost trend) 기준 판단기(260)를 포함할 수 있다.

상기 학습기(210)는 머신 러닝(Machine Learning)을 이용하여 학습 데이터를 학습함으로써 학습 모델(220)을 생성할 수 있다. 상기 머신 러닝은 딥러닝을 포함할 수 있고, CNN(Convolutional neural network), RNN(Recurrent neural network), LSTM(Long short term memory network) 등을 포함할 수 있다.

상기 학습기(210)의 학습 동작은 아래와 같이 크게 4단계로 구성될 수 있다.

제 1 학습 단계에서, 머신 러닝 기법을 이용해 학습 모델(220)을 생성할 수 있다. 여기서 학습 모델(220)은 머신 러닝을 이용하여 시계열 정보를 학습한 결과이다.

제 2 학습 단계에서, 테스트 데이터(정상/비정상에 대해 정답을 아는 데이터)를 기준으로 비용(혹은 누적 비용(cumulative cost), 이하 '비용'이라고 함)의 임계값(threshold)를 결정할 수 있다. 이 때, 상기 테스트 데이터에서 정상/비정상 예측 테스트를 함으로써, 학습 모델의 입장에서 예외적인 상황(정상인데 비용이 큰 경우, 비정상인데 비용이 작은 경우)을 무시하고 비용의 임계값(threshold) TH0이 결정될 수 있다.

제 3 학습 단계에서, 임계값-초과 비용 변화(Threshold-over cost trend) 저장 동작이 수행될 수 있다. 제 2 학습 단계의 결과로써 정상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값(threshold)보다 큰 경우, 사용자가 정한 제 1 시간 동안의 비용 변화(cost trend, pattern 정보)가 임계값-초과 비용 변화 데이터베이스(230)에 저장될 수 있다. 그리고 제 1 비용 변화 간의 차이를 계산하는 함수(diff function, 예: Euclidean distance)가 결정될 수 있다. 상기 차이를 계산하는 함수(diff function)을 이용하여 비용 변화 간의 차이(cost trend difference)에 대한 임계값(threshold, cost trend difference limit; 비용 변화 차이 제한값) TH1이 결정될 수 있다.

제 4 학습 단계에서, 임계값-이하 비용 변화(threshold-under cost trend) 저장 동작이 수행될 수 있다. 제 2 학습 단계의 결과로써 이상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값보다 작은 경우, 사용자가 정한 제 2 시간 동안의 비용 변화(cost trend, pattern 정보)가 임계값-이하 비용 변화 데이터베이스(240)에 저장될 수 있다. 여기서 제 2 시간은 제 3 학습 단계의 제 1 시간과 동일하거나 다를 수 있다. 그리고 제 2 비용 변화 간의 차이를 계산하는 함수(diff function, 예: Euclidean distance)가 결정될 수 있다. 상기 차이를 계산하는 함수(diff function)을 이용하여 비용 변화 간의 차이(cost trend difference)에 대한 임계값(threshold, cost trend difference limit) TH2가 결정될 수 있다. 이 때 제 2 비용 변화간의 차이를 계산하는 함수는 제 1 비용 변화간의 차이를 계산하는 함수와 다른 것으로 선택될 수 있다.

즉, 상기 학습기의 4단계의 학습 동작을 통해 학습 모델(220), 임계값-초과 비용 변화 데이터베이스(230), 임계값-이하 비용 변화 데이터베이스(240)가 생성되고, 예측 기준 판단기(250)의 판단 기준이 되는 임계값 TH0, 비용 변화 기준 판단기(260)의 판단 기준이 되는 임계값 TH1, TH2 가 결정되는 것이다.

이후 상기 예측 기준 판단기(250)과 비용 변화 기준 판단기(260)에서 수행하는 판단 과정은 다음의 4단계로 구성될 수 있다.

제 1 판단 단계에서, 실시간으로 모니터링 하는 입력 데이터를 학습 모델(250)을 이용하여 예측치를 계산한다.

제 2 판단 단계에서, 상기 학습 2단계에서 결정한 비용의 임계값(threshold) TH0를 이용하여 정상과 비정상(또는 이상)을 구분한다.

상기 제 1 판단 단계와 제 2 판단 단계는 상기 예측 기준 판단기(250)에서 수행하게 된다.

제 3 판단 단계에서, 제 2 판단 단계의 결과로써 판단의 대상이 되는 입력 데이터(또는 타겟)이 비정상으로 판단될 경우 이상 상황 판단 과정은 다음과 같이 진행될 수 있다. 상기 타겟에 대한 해당 실측치에 대해 사용자가 정한 기간 동안(예를 들어, 제 1 시간)의 비용 변화(cost trend)인 제 1 타겟 비용 변화를 추출한다. 그리고 상기 제 1 타겟 비용 변화와 상기 학습 3단계에서 저장한 임계값-초과 비용 변화(threshold-over cost trend)들 중에서 제 1 비용 변화 차이 계산 함수(diff function)을 이용하여 가장 유사한 비용 변화를 갖는 nearest-neighbor(제 1 이웃 비용 변화)가 검색되는 것이다.

예를 들어, 상기 제 1 비용 변화 차이 계산 함수를 유클리안 거리 함수로 정한다면, 상기 제 1 타겟 비용 변화와 임계값-초과 비용 변화 데이터베이스(230)에 포함된 모든 비용 변화와의 유클리안 거리를 계산함으로써, 계산된 그 값이 최소인 비용 변화가 바로 제 1 이웃 비용 변화(nearest-neighbor)가 될 수 있다. 계산된 비용 변화와 검색된 nearest-neighbor와의 비용 변화 차이인, 두 cost trend간의 Euclidean distance를 계산한다. 그리고 계산된 값이 학습 단계에서 결정한 임계값 TH1보다 크면 비정상으로 최종 판단될 수 있다. 반대로, 계산된 값이 학습 단계에서 결정한 TH1보다 작으면 정상으로 최종 판단될 수 있다.

제 4 판단 단계에서, 제 2 판단 단계의 결과로써 판단의 대상이 되는 입력 데이터(또는 타겟)이 정상으로 판단될 경우 이상 상황 판단 과정은 다음과 같이 진행될 수 있다. 상기 타겟에 대한 해당 실측치에 대해 사용자가 정한 기간 동안(예를 들어, 제 2 시간)의 비용 변화인 제 2 타겟 비용 변화가 추출된다. 상기 제 2 타겟 비용 변화와 상기 학습 4단계에서 저장한 임계값-이하 비용 변화(threshold-under cost trend)들 중에서 제 2 비용 변화 차이 계산 함수(diff function)을 이용하여 가장 유사한 비용 변화를 갖는 nearest-neighbor(제 2 이웃 비용 변화)가 검색될 수 있다.

예를 들어, 상기 제 2 비용 변화 차이 계산 함수를 유클리안 거리 함수로 정한다면, 상기 제 2 타겟 비용 변화와 임계값-이하 비용 변화 데이터베이스에 포함된 모든 비용 변화와의 유클리안 거리를 계산하고, 계산된 값이 최소인 비용 변화가 nearest-neighbor가 될 수 있다. 계산된 비용 변화와 검색된 nearest-neighbor와의 비용 변화 차이(cost trend difference)인 두 비용 변화 간의 유클리안 거리를계산한다. 그리고 계산된 값이 학습 단계에서 결정한 TH2보다 크면 비정상으로 최종 판단될 수 있다. 반대로, 계산된 값이 상기 TH2보다 작으면 정상으로 최종 판단될 수 있다.

상기 제 3 판단 단계와 제 4 판단 단계는 상기 비용 변화 기준 판단기(260)에서 수행하게 된다. 그리고 상기 제 3 판단 단계와 제 4 판단 단계에서 판단한 결과가 이상 탐지 결과(150)으로 내보내지게 된다.

도 3 내지 도 5는 머신러닝을 이용하여 이상 상황을 탐지하는 기존의 방법의 개념을 보여주는 도면이다.

도 3은 일반적으로 예측치를 이용한 이상 상황 탐지 방법의 개념을 보여주는도면이다. 머신 러닝을 이용하여 시계열 정보를 학습하고 학습된 결과(학습모델)를 이용하여 새로 입력되는 정보의 정상/비정상 유무를 판단하는 기술들이 많이 존재한다. 도 3에서 보는 바와 같이, 종래 기술은 학습모델을 이용하여 정상/비정상 유무 판단 대상에 대해 예측치를 출력한 후, 상기 예측치와 실제 측정치(실측치)를 비교하여, 상기 예측치와 실측치의 차이가 크면 이상행위로 탐지하는 방법으로 이상 상황을 탐지하고 있다. 그리고 상기 예측치와 실측치의 차이를 구하기 위하여 도 4와 같이 상기 예측치와 실측치의 차이를 계산하는 함수(cost function)를 정의할 수 있다.

도 4는 상기 차이를 계산하는 함수로부터 임계값(Threshold)을 이용하여 이상 상황 탐지 방법의 개념을 보여주는 도면이다. 도 4를 참조하면, Cost function은 예측치와 실측치의 차이(Diff(실제 측정치, 예측치))를 하나의 실수(비용, cost)로 계산해 준다. 따라서, 여기서는 정상/비정상을 판단하는 기준으로 임계값(Threshold)를 정하고, 상기 비용이 상기 임계값보다 크면 비정상으로 판단하게 된다.

도 5는 일정 구간 동안의 누적 비용(Cumulative Cost)을 이용한 이상 상황 탐지 방법의 개념을 보여주는 도면이다. 도 5를 참조하면, 한 번의 cost로 이상여부 판단이 어려울 경우 사용자가 정의한 일정 기간 동안 cost의 누적(cumulative cost)이 사용자가 정의한 threshold보다 클 때 비정상으로 판단하기도 한다.

도 6은 도 1에 도시된 이상 상황 탐지 장치(130)의 이상 상황 탐지 방법의 일 예를 보여주는 도면이다.

앞서 도 3 내지 도 5와 같은 종래 이상 상황 탐지 방법을 이용하는 경우 정상과 비정상을 구분 짓는 threshold를 정하는 것은 매우 중요하지만 어려운 일이다. 정상과 비정상의 범주가 확연히 구분되는 경우 임계값(threshold)를 쉽게 결정할 수도 있지만, 특정 정상 상황에서는 다른 비정상 상황에서보다 cost가 크게 나타나고, 특정 비정상 상황에서는 타 정상 상황보다 cost가 작게 나타나서 오탐(정상을 비정상으로 판단)과 미탐(비정상을 정상으로 판단)을 유발하므로 적절한 threshold를 정하는 것은 매우 어려운 일이다.

현실적으로 충분히 많은 학습데이터가 있더라도 학습기반의 모델은 모든 상황을 완벽히 예측할 수 없다. 따라서 최종 목표인 정상/비정상 구분능력을 향상시키기 위해서는 현재 학습모델의 예측치를 이용하여 정상/비정상을 구분하는 방식에 대한 보완이 유일하면서 큰 효과를 가져 오는 방법일 수 있다. 이를 위해 이 발명에서는 threshold 결정방식을 개선한 기술을 사용한다.

학습모델은 주어진 입력에 대해 동일한 출력 만들어내는 결정형 모델(deterministic model)로, 입력 패턴에 따라 cost의 변화에도 일정한 패턴을 갖는 경우가 많다. 학습데이터를 분석해 보면 정상 상황에서 시간흐름에 따른 cost의 변화(cost trend)와 비정상 상황에서의 cost trend에는 어느 정도 차이가 존재한다. 잘못 학습된 결과를 모델 수준에서 개선할 수 없을 경우 cost trend를 탐지에 활용하여 특정 패턴에서 반복적으로 오탐 및 미탐이 발생하는 문제점을 보완할 수 있다.

Cost trend는 시간흐름에 따른 cost의 변화패턴이다. 학습데이터의 시작과 끝까지의 시간에 대해 cost가 변화하는 것을 기록한 것으로, 도 4와 도 5에서와 같이 학습데이터에 대해 시간에 따라 모든 diff값을 저장한 그래프가 cost trend(비용 변화)이다.

종래 기술은 threshold를 샘플 단위의 cost만을 대상으로 하기 때문에 일정 시간 동안 cost의 흐름을 표현할 수 없다.

이와 달리, cost trend 방식은 일정 시간 동안 cost 변화 패턴을 활용하여 threshold를 결정함으로써 기존의 threshold가 놓치는 부분을 보완할 수 있다.

도 6은 상기 비용 변화들을 이용하여 정상/비정상을 판단하는 동작의 예를 보여주고 있다. 우선 일정한 값에 해당하는 임계값을 정하여 1차적으로 정상/비정상을 판단한다. 그리고 2차적으로 비용 변화들을 이용하여 정상/비정상을 판단하게 되는데 도 6은 2차적으로 판단하는 동작을 보여주고 있는 것이다.

우선 임계값-초과 비용 변화들(610, 620, 630, 640)을 이용하여 이상 상황인지 여부를 판단하는 단계의 동작은 다음과 같다.

판단의 대상이 되는 입력 데이터(또는 타겟)이 비정상으로 판단될 경우 상기 타겟에 대한 해당 실측치에 대해 사용자가 정한 기간 동안(예를 들어, 제 1 시간)의 비용 변화(cost trend)인 제 1 타겟 비용 변화(600)을 추출한다. 그리고 상기 제 1 타겟 비용 변화(600)와 이전 학습기에서 저장한 임계값-초과 비용 변화들(610, 620, 630, 640) 중에서 제 1 비용 변화 차이 계산 함수(diff function)을 이용하여 가장 유사한 비용 변화를 갖는 제 1 이웃 비용 변화(nearest-neighbor)(620)이 검색되는 것이다.

즉, 상기 제 1 타겟 비용 변화(600)와 임계값-초과 비용 변화 데이터베이스에 포함된 모든 비용 변화들(610, 620, 630, 640)과의 유클리안 거리를 계산함으로써, 계산된 그 값이 최소인 비용 변화가 바로 제 1 이웃 비용 변화가 되는 것이다. 그리고 상기 제 1 타겟 비용 변화(600)과 제 1 이웃 비용 변화(620)사이의 Euclidean distance를 계산한다. 그리고 계산된 값이 학습 단계에서 결정한 임계값 TH1보다 크면 비정상으로 최종 판단될 수 있다. 반대로, 계산된 값이 학습 단계에서 결정한 TH1보다 작으면 정상으로 최종 판단될 수 있다.

그리고 우선 임계값-이하 비용 변화들(660, 670, 680, 690)을 이용하여 이상 상황인지 여부를 판단하는 단계의 동작은 다음과 같다.

판단의 대상이 되는 입력 데이터(또는 타겟)이 정상으로 판단될 경우 상기 타겟에 대한 해당 실측치에 대해 사용자가 정한 기간 동안(예를 들어, 제 2 시간)의 비용 변화(cost trend)인 제 2 타겟 비용 변화(650)을 추출한다. 그리고 상기 제 2 타겟 비용 변화(650)와 이전 학습기에서 저장한 임계값-이하 비용 변화들(660, 670, 680, 690) 중에서 제 2 비용 변화 차이 계산 함수(diff function)을 이용하여 가장 유사한 비용 변화를 갖는 제 2 이웃 비용 변화(nearest-neighbor)(670)이 검색되는 것이다.

즉, 상기 제 2 타겟 비용 변화(650)와 임계값-초과 비용 변화 데이터베이스에 포함된 모든 비용 변화들(660, 670, 680, 690)과의 유클리안 거리를 계산함으로써, 계산된 그 값이 최소인 비용 변화가 바로 제 2 이웃 비용 변화가 되는 것이다. 그리고 상기 제 2 타겟 비용 변화(650)과 제 2 이웃 비용 변화(670)사이의 Euclidean distance를 계산한다. 그리고 계산된 값이 학습 단계에서 결정한 임계값 TH2보다 크면 비정상으로 최종 판단될 수 있다. 반대로, 계산된 값이 학습 단계에서 결정한 TH2보다 작으면 정상으로 최종 판단될 수 있다.

도 7은 실시예에 따른 탐지 이상 판단 장치(140)의 일 예를 나타낸 도면이다.

본 발명의 실시예에 따른 이상 상황 탐지 시스템에서 정상데이터를 학습하여 이상을 판단하는 기술들은 배경기술처럼 크게 정상데이터 전처리, 전처리된 데이터를 학습하여 예측모델 개발, 예측모델의 예측치와 실측치의 차이(cost trend)를 이용해 이상여부 판단의 3가지 동작으로 이루어진다.

이러한 시스템을 실제 환경에 적용하였을 때 이상 상황의 오탐 및 미탐이 발생하면 학습모델의 재학습과 패치 전까지 동일/유사한 상황에 대해서 오탐/미탐이 반복적으로 발생하는 문제가 있다.

본 발명은 이러한 문제점을 해결하기 위해 다음과 같은 방법을 제안하는 것이다. 첫째, 오탐지(false alarm)/미탐지(missed anomaly)가 발생하였을 때 해당 상황에 대한 cost trend(false alarm cost trend, missed anomaly cost trend)를 저장한다. 둘째, 이상판단 알람이 발생하였을 때 false alarm cost trend와 유사한 케이스에 대해서는 "알람이 발생했으니 나 기존 false alarm과 유사한 상황"임을 사용자에게 알려준다. 셋째, 정상으로 판단되었으나 missed anomaly cost trend와 유사한 케이스에 대해서는 "정상이라고 판단하였으나 기존 missed anomaly와 유사한 상황"임을 사용자에게 알린다. 넷째, 축적되는 유사 케이스를 활용하여 부분적으로 변경되는 변종에 대한 상황 알림을 제공한다. 다섯째, 사용자의 알람 설정에 따라 cost trend 유사 케이스 상황을 보고 받거나, 또는 그렇지 않을 수 있다. 그리고 상기와 같은 방법을 구현하기 위한 장치가 바로 탐지 이상 판단장치(140)이다.

도 7을 참조하면, 상기 탐지 이상 판단 장치(140)는 이상 상황 탐지 장치로부터 이상 탐지 결과(150)을 받아, 탐지 이상(오탐지 또는 미탐지) 유사 알림 신호(120)를 생성할 수 있다. 그리고 상기 탐지 이상 판단 장치(140)는 비용 변화 추출기(730), 유사 판단기(740), 오탐지 비용 변화 데이터베이스(710), 미탐지 비용 변화 데이터베이스(720)를 포함할 수 있다.

상기 탐지 이상 판단 장치(140)는 입력 데이터 중 제 1 데이터에 대해서 정상 상황인데 이상 상황으로 판단된 오탐지(False Alarm)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 오탐지 비용 변화를 오탐지 데이터베이스에 저장하고, 상기 입력 데이터 중 제 1 데이터에 대해서 이상 상황인데 정상 상황으로 판단된 미탐지(Missed Anomaly)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 미탐지 비용 변화를 미탐지 데이터베이스에 저장한다. 이렇게 하여 오탐지 데이터베이스와 미탐지 데이터베이스가 생성될 수 있다.

입력 데이터 중 제 2 데이터에 대하여, 상기 제 1 데이터에서와 같은 오탐지와 미탐지를 반복하지 않기 위하여, 오탐지 또는 미탐지 유사 상황인지를 판단하는 동작을 수행한다.

우선 비용 변화 추출기(730)는 상기 제 2 데이터에 대해 상기 오탐지 유사 상황 발생 알림을 생성하기 위하여 상기 입력 데이터 중 제 2 데이터에 대하여 이상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 이상 타겟 비용 변화를 생성할 수 있다. 또한 상기 비용 변화 추출기(730)는 상기 제 2 데이터에 대해 미탐지 유사 상황 발생 알림을 생성하기 위하여 상기 제 2 데이터에 대하여 정상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 정상 타겟 비용 변화를 생성할 수 있다.

그리고 유사 판단기(740)는 상기 비용 변화 추출기(730)으로부터 이상 타겟 비용 변화, 정상 타겟 비용 변화를 받아 오탐지 데이터베이스와 미탐지 데이터베이스에 있는 비용 변화들과 비교하여 유사 여부를 판단할 수 있다.

즉, 상기 오탐지 유사 상황 발생 알림을 생성하기 위하여 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들 중 상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하고, 상기 유사한 비용 변화가 있다고 확인되면, 오탐지 유사 상황 발생 알림 신호를 생성할 수 있다. 그리고 상기 유사 상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하기 위하여 상기 오탐지 데이터베이스에 포함된 비용 변화들간의 차이를 계산하는 함수를 결정하고, 상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT1을 정하고, 상기 이상 타겟 비용 변화와 상기 오탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하고, 상기 차이들 중 상기 임계값 TH_LIMIT1보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단할 수 있다.

그리고 상기 유사 판단기(740)는 상기 미탐지 유사 상황 발생 알림을 생성하기 위하여 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들 중 상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하고, 상기 유사한 비용 변화가 있다고 확인되면, 미탐지 유사 상황 발생 알림 신호를 생성할 수 있다. 그리고 상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하기 위하여 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들간의 차이를 계산하는 함수를 결정하고, 상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT2을 정하고, 상기 정상 타겟 비용 변화와 상기 미탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하고, 상기 차이들 중 상기 임계값 TH_LIMIT2보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단할 수 있다.

도 8은 실시예에 따른 이상 상황 탐지 시스템의 일 예를 나타낸 블록도이다.

도 8의 이상 상황 탐지 시스템은 복수개의 이상 상황 판단 장치(810, 820, 830)와 1개의 탐지 이상 판단 장치(840)을 포함하고 있다.

상기 이상 상황 판단 장치(810)는 학습기(865), 학습모델(870), 임계값-초과 비용 변화 데이터베이스(Threshold-over cost trend)(880), 임계값-이하 비용 변화 데이터베이스(Threshold-under cost trend)(885), 예측 기준 판단기(875), 비용 변화(Cost trend) 기준 판단기(890)를 포함할 수 있다. 그리고 상기 탐지 이상 판단 장치(140)는 비용 변화 추출기(730), 유사 판단기(740), 오탐지 비용 변화 데이터베이스(710), 미탐지 비용 변화 데이터베이스(720)를 포함할 수 있다.

도 8을 참조하면, 상기 이상 상황 탐지 시스템은 학습 데이터(850)를 데이터 분석기(855)에서 분석하고, 분석한 결과를 바탕으로 학습 최적화를 위해 데이터 전처리기(860)에서 상기 학습 데이터를 복수개의 전처리 데이터로 나눈다. 그리고 나누어진 전처리 데이터를 복수개의 이상 상황 판단 장치(810, 820, 830)에 입력하여, 각 전처리 데이터에 상응하는 이상 판단 결과를 얻고, 상기 이상 판단 결과들을 다시 1개의 탐지 이상 판단 장치(840)로 입력하여 단일의 탐지 이상 판단을 내리게 된다. 도 8에서는 3개의 이상 상황 판단 장치만이 도시되어 있지만, 필요에 따라 상기 이상 상황 판단 장치의 수는 다르게 정해질 수 있다.

도 9는 실시예에 따른 이상 상황 탐지 시스템의 다른 예를 나타낸 블록도이다.

도 9의 이상 상황 탐지 시스템은 도 8의 이상 상황 탐지 시스템과 달리, 복수개의 이상 상황 판단 장치(910, 920, 930)와 상기 이상 상황 판단 장치에 상응하는 역시 복수개의 탐지 이상 판단 장치(940, 950, 960)을 포함하고 있다.

도 9를 참조하면, 상기 이상 상황 탐지 시스템은 학습 데이터(980)를 데이터 분석기(985)에서 분석하고, 분석한 결과를 바탕으로 학습 최적화를 위해 데이터 전처리기(990)에서 상기 학습 데이터를 복수개의 전처리 데이터로 나눈다. 그리고 나누어진 전처리 데이터를 복수개의 이상 상황 판단 장치(910, 920, 930)에 입력하여, 각 전처리 데이터에 상응하는 이상 판단 결과를 얻고, 상기 이상 판단 결과을 복수개의 탐지 이상 판단 장치(940, 950, 960)로 입력하여 복수개의 탐지 이상 판단 결과를 얻게 된다. 이후, 통합판단기(970)에서 상기 복수개의 탐지 이상 판단 결과를 통합하여 최종 판단 결과를 내보내게 된다. 도 9에서는 이상 상황 판단 장치, 탐지 이상 판단 장치 모두 3개씩 도시되어 있지만, 필요에 따라 상기 장치들의 개수는 다르게 정해질 수 있다.

도 10은 도 1에 도시된 탐지 이상 판단 장치(140)가 탐지 이상 비용 변화데이터베이스를 구축하는 동작의 흐름도를 나타낸 도면이다.

도 10을 참조하면, 상기 탐지 이상 판단 장치(140)에 입력 데이터 중 제 1 데이터가 입력된다(S1010).

그리고 상기 제 1 데이터에 대해 이상 또는 정상을 판단한다(S1020).

만약 이상으로 판단된 경우, 오탐지 여부를 판단하고(S1030), 오탐지로 판단된 경우에만, 오탐지 비용 변화를 오탐지 비용 변화 데이터베이스에 저장한다(S1040). 즉, 상기 제 1 데이터에 대해서 정상 상황인데 이상 상황으로 판단된 오탐지(False Alarm)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 오탐지 비용 변화를 오탐지 데이터베이스에 저장하는 것이다.

만약 정상으로 판단된 경우, 미탐지 여부를 판단하고(S1050), 미탐지로 판단된 경우에만, 미탐지 비용 변화를 미탐지 비용 변화 데이터베이스에 저장한다(S1060). 즉, 상기 제 1 데이터에 대해서 이상 상황인데 정상 상황으로 판단된 미탐지(Missed Anomaly)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 미탐지 비용 변화를 미탐지 데이터베이스에 저장하는 것이다.

도 11은 도 1에 도시된 탐지 이상 판단 장치(140)가 탐지 이상 비용 변화 데이터베이스를 이용하여 탐지 이상 판단을 하는 동작의 흐름도를 나타낸 도면이다.

도 11을 참조하면, 상기 탐지 이상 판단 장치(140)에 입력 데이터 중 제 2 데이터가 입력된다(S1110).

그리고 상기 제 2 데이터에 대해 이상 또는 정상을 판단한다(S1120).

만약 이상으로 판단된 경우, 이상 타겟 비용 변화를 저장하고(S1130), 상기 이상 타겟 비용 변화와 오탐지 비용 변화 데이터베이스에 포함된 오탐지 비용 변화들과 유사한지 여부를 판단한다(S1140). 상기 판단(S1140)에서 유사하다고 판단되었다면, 오탐지 유사 알림 신호를 생성한다(S1150).

즉, 상기 제 2 데이터에 대하여 이상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 이상 타겟 비용 변화를 생성하고, 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들 중 상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하고, 상기 유사한 비용 변화가 있다고 확인되면, 오탐지 유사 상황 발생 알림 신호를 생성하게 된다.

그리고 상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하는 동작을 수행하기 위해서 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들간의 차이를 계산하는 함수를 결정하고, 상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT1을 정하고, 상기 이상 타겟 비용 변화와 상기 오탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하고, 상기 차이들 중 상기 임계값 TH_LIMIT1보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하게 된다.

만약 정상으로 판단된 경우, 정상 타겟 비용 변화를 저장하고(S1160), 상기정상 타겟 비용 변화와 미탐지 비용 변화 데이터베이스에 포함된 미탐지 비용 변화들과 유사한지 여부를 판단한다(S1170). 상기 판단(S1170)에서 유사하다고 판단되었다면, 미탐지 유사 알림 신호를 생성한다(S1180).

즉, 상기 제 2 데이터에 대하여 정상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 정상 타겟 비용 변화를 생성하고, 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들 중 상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하고, 상기 유사한 비용 변화가 있다고 확인되면, 미탐지 유사 상황 발생 알림 신호를 생성하게 된다.

그리고 상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하기 위하여 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들간의 차이를 계산하는 함수를 결정하고, 상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT2을 정하고, 상기 정상 타겟 비용 변화와 상기 미탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하고, 상기 차이들 중 상기 임계값 TH_LIMIT2보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하는 것이다.

도 12은 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다.

실시예에 따른 머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 판단장치 또는 이상 상황 탐지 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1200)에서 구현될 수 있다.

컴퓨터 시스템(1200)은 버스(1220)를 통하여 서로 통신하는 하나 이상의 프로세서(1210), 메모리(1230), 사용자 인터페이스 입력 장치(1240), 사용자 인터페이스 출력 장치(1250) 및 스토리지(1260)를 포함할 수 있다. 또한, 컴퓨터 시스템(1200)은 네트워크(1280)에 연결되는 네트워크 인터페이스(1270)를 더 포함할 수 있다. 프로세서(1210)는 중앙 처리 장치 또는 메모리(1230)나 스토리지(1260)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1230) 및 스토리지(1260)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1230)는 ROM(1231)이나 RAM(1232)을 포함할 수 있다.

이상에서 설명된 실시예에 따르면, 본 발명은 이상탐지 기술 수행시 오탐지(정상을 비정상으로 판단) 또는 미탐지(비정상을 정상으로 판단)하는 경우 유사 상황이 반복되지 않게 대응할 수 있는 방법 및 이를 위한 장치를 제공할 수 있다.

또한, 본 발명은 예측치와 실측치의 차이를 이용하여 이상 상황을 탐지하는 시스템의 오탐지 또는 미탐지 발생시 학습모델의 재학습과 패치 전까지 유사하거나 동일한 오탐지 및 미탐지가 발생하는 것을 방지하는 기술을 제공할 수 있다.

또한, 본 발명은 유사하거나 동일한 오탐지 또는 미탐지가 발생하는 경우에 대해 기존에 발생했던 어떤 경우와 유사한지 바로 비교하여 관련 정보를 사용자에게 제공하는 기술을 제공할 수 있다.

이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 이상 상황 탐지 시스템
110: 입력 데이터
120: 탐지 이상 (오탐지/미탐지) 유사 알림
130: 이상 상황 탐지 장치
140: 탐지 이상 판단 장치
150: 이상 탐지 결과

Claims (20)

1. 입력 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 상응하는 비용을 기반으로 정상 또는 이상을 판단하는 단계;
   상기 입력 데이터 중 제 1 데이터에 대해서 정상 상황인데 이상 상황으로 판단된 오탐지(False Alarm)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 오탐지 비용 변화를 오탐지 데이터베이스에 저장하는 단계;
   상기 입력 데이터 중 제 1 데이터에 대해서 이상 상황인데 정상 상황으로 판단된 미탐지(Missed Anomaly)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 미탐지 비용 변화를 미탐지 데이터베이스에 저장하는 단계;
   상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들과 비교하여 오탐지 유사 상황 발생 알림을 생성하는 단계; 및
   상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 미탐지 비용 변화 데이터 베이스에 포함된 미탐지 비용 변화들과 비교하여 미탐지 유사 상황 발생 알림을 생성하는 단계를 포함하는,
   머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
2. 제1 항에 있어서,
   상기 오탐지 유사 상황 발생 알림을 생성하는 단계는
   상기 입력 데이터 중 제 2 데이터에 대하여 이상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 이상 타겟 비용 변화를 생성하는 단계;
   상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들 중 상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하는 단계; 및
   상기 유사한 비용 변화가 있다고 확인되면, 오탐지 유사 상황 발생 알림 신호를 생성하는 단계를 포함하는
   머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
3. 제2 항에 있어서,
   상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하는 단계는
   상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들간의 차이를 계산하는 함수를 결정하는 단계;
   상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT1을 정하는 단계;
   상기 이상 타겟 비용 변화와 상기 오탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하는 단계; 및
   상기 차이들 중 상기 임계값 TH_LIMIT1보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하는 단계를 포함하는 것인,
   머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
4. 제1 항에 있어서,
   상기 미탐지 유사 상황 발생 알림을 생성하는 단계는
   상기 입력 데이터 중 제 2 데이터에 대하여 정상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 정상 타겟 비용 변화를 생성하는 단계;
   상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들 중 상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하는 단계; 및
   상기 유사한 비용 변화가 있다고 확인되면, 미탐지 유사 상황 발생 알림 신호를 생성하는 단계를 더 포함하는
   머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
5. 제4 항에 있어서,
   상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하는 단계는
   상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들간의 차이를 계산하는 함수를 결정하는 단계;
   상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT2을 정하는 단계;
   상기 정상 타겟 비용 변화와 상기 미탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하는 단계; 및
   상기 차이들 중 상기 임계값 TH_LIMIT2보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하는 단계를 포함하는 것인,
   머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
6. 제1 항에 있어서,
   상기 정상 또는 이상을 판단하는 단계는
   학습 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 상응하는 비용을 기반으로 정상과 이상을 구분하는 임계값 TH0을 결정하는 단계; 및
   상기 입력 데이터에 상응하는 비용을 상기 임계값 TH0와 비교하여 상기 입력 데이터에 대하여 정상과 이상을 1차 판단하는 단계를 포함하는,
   머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
7. 제6 항에 있어서,
   상기 정상 또는 이상을 판단하는 단계는
   정상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 큰 경우, 제 1 시간 동안의 임계값-초과 비용 변화를 임계값-초과 비용 변화 데이터베이스에 저장하는 단계;
   상기 임계값-초과 비용 변화 데이터베이스에 포함된 임계값-초과 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH1을 결정하는 단계;
   상기 1차 판단하는 단계에서 정상으로 판단된 경우, 상기 입력 데이터에 상응하는 비용의 변화를 제 1 시간동안 추출하여 제 1 타겟 비용 변화를 생성하는 단계;
   상기 제 1 타겟 비용 변화와 유사한 비용 변화를 상기 임계값-초과 비용 변화 데이터베이스에서 선택하여 제 1 이웃 비용 변화를 생성하는 단계; 및
   상기 제 1 타겟 비용 변화와 제 1 이웃 비용 변화의 차이를 상기 임계값 TH1과 비교하여 상기 입력 데이터에 대하여 정상과 이상을 최종 판단하는 단계를 더 포함하는,
   머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
8. 제6 항에 있어서,
   상기 정상 또는 이상을 판단하는 단계는
   이상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 작은 경우, 제 2 시간 동안의 임계값-이하 비용 변화를 임계값-이하 비용 변화 데이터베이스에 저장하는 단계;
   상기 임계값-이하 비용 변화 데이터베이스에 포함된 임계값-이하 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH2을 결정하는 단계;
   상기 1차 판단하는 단계에서 이상으로 판단된 경우, 상기 입력 데이터에 상응하는 비용의 변화를 제 2 시간동안 추출하여 제 2 타겟 비용 변화를 생성하는 단계;
   상기 제 2 타겟 비용 변화와 유사한 비용 변화를 상기 임계값-이하 비용 변화 데이터베이스에서 선택하여 제 2 이웃 비용 변화를 생성하는 단계; 및
   상기 제 2 타겟 비용 변화와 제 2 이웃 비용 변화의 차이를 상기 임계값 TH2와 비교하여 상기 입력 데이터에 대하여 정상과 이상을 최종 판단하는 단계를 더 포함하는,
   머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
9. 제1 항에 있어서,
   상기 비용은 상기 예측치와 실측치의 차이 또는 상기 차이를 사전에 정해진 시간 동안 누적시킨 것 중에 어느 하나인 것인,
   머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
10. 제1 항에 있어서,
    사용자의 알람 설정에 기반하여
    상기 오탐지 유사 상황 발생 알림 신호 또는 미탐지 유사 상황 발생 알림 신호를 출력하는 단계를 더 포함하는,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 처리 방법.
11. 입력 데이터 중 제 1 데이터에 대해서 정상 상황인데 이상 상황으로 판단된 오탐지(False Alarm)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 오탐지 비용 변화를 오탐지 데이터베이스에 저장하고,
    상기 입력 데이터 중 제 1 데이터에 대해서 이상 상황인데 정상 상황으로 판단된 미탐지(Missed Anomaly)가 발생한 경우, 상기 제 1 데이터에 대하여 기준 시간 동안의 미탐지 비용 변화를 미탐지 데이터베이스에 저장하고,
    상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들과 비교하여 오탐지 유사 상황 발생 알림을 생성하고,
    상기 입력 데이터 중 제 2 데이터에 상응하는 비용 변화를 상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들과 비교하여 미탐지 유사 상황 발생 알림을 생성하는 프로세서; 및
    상기 오탐지 비용 변화 데이터베이스 또는 미탐지 비용 변화 데이터베이스 중 적어도 하나를 저장하는 메모리를 포함하는,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 판단 장치.
12. 제11 항에 있어서,
    상기 프로세서는
    상기 입력 데이터 중 제 2 데이터에 대하여 이상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 이상 타겟 비용 변화를 생성하고,
    상기 오탐지 데이터베이스에 포함된 오탐지 비용 변화들 중 상기 이상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하고,
    상기 유사한 비용 변화가 있다고 확인되면, 오탐지 유사 상황 발생 알림 신호를 생성하는 것인,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 판단 장치.
13. 제12 항에 있어서,
    상기 프로세서는
    상기 오탐지 데이터베이스에 포함된 비용 변화들간의 차이를 계산하는 함수를 결정하고,
    상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT1을 정하고,
    상기 이상 타겟 비용 변화와 상기 오탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하고,
    상기 차이들 중 상기 임계값 TH_LIMIT1보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하는 것인,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 판단 장치.
14. 제11 항에 있어서,
    상기 프로세서는
    상기 입력 데이터 중 제 2 데이터에 대하여 정상으로 판단되었을 경우, 상기 제 2 데이터에 대한 기준 시간 동안의 비용 변화를 추출하여 정상 타겟 비용 변화를 생성하고,
    상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들 중 상기 정상 타겟 비용 변화와 유사한 비용 변화가 있는지 여부를 확인하고,
    상기 유사한 비용 변화가 있다고 확인되면, 미탐지 유사 상황 발생 알림 신호를 생성하는 것인,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 판단 장치.
15. 제14 항에 있어서,
    상기 프로세서는
    상기 미탐지 데이터베이스에 포함된 미탐지 비용 변화들간의 차이를 계산하는 함수를 결정하고,
    상기 차이를 계산하는 함수를 이용하여 유사한 정도를 나타내는 상기 차이의 임계값 TH_LIMIT2을 정하고,
    상기 정상 타겟 비용 변화와 상기 미탐지 비용 변화들간의 차이들을 상기 차이를 계산하는 함수를 이용하여 계산하고,
    상기 차이들 중 상기 임계값 TH_LIMIT2보다 작은 것이 하나라도 있으면 유사한 비용 변화가 있다고 판단하는 것인,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 판단 장치.
16. 제11 항에 있어서,
    상기 프로세서는
    사용자의 알람 설정에 기반하여
    상기 오탐지 유사 상황 발생 알림 신호 또는 미탐지 유사 상황 발생 알림 신호를 출력하는 것인,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 탐지 이상 판단 장치.
17. 입력 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 상응하는 비용을 기반으로 정상 또는 이상을 판단하고,
    상기 판단의 결과인 정상 또는 이상을 탐지 이상 판단 장치로 전송하는 프로세서; 및
    상기 정상 또는 이상 중 적어도 하나를 저장하는 메모리를 포함하고,
    상기 프로세서는
    학습 데이터에 대하여 머신 러닝을 이용하여 예측치와 실측치의 차이에 대응하는 비용을 기반으로 정상과 이상을 구분하는 임계값 TH0을 결정하고,
    상기 입력 데이터에 상응하는 비용을 상기 임계값 TH0와 비교하여 상기 입력 데이터에 대하여 정상과 이상을 1차 판단하되,
    정상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 큰 경우, 제 1 시간 동안의 임계값-초과 비용 변화를 임계값-초과 비용 변화 데이터베이스 저장하고,
    상기 임계값-초과 비용 변화 데이터베이스에 포함된 임계값-초과 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH1을 결정하고,
    이상 상황을 나타내는 테스트 데이터에 상응하는 비용이 상기 임계값 TH0보다 작은 경우, 제 2 시간 동안의 임계값-이하 비용 변화를 임계값-이하 비용 변화 데이터베이스에 저장하고,
    상기 임계값-이하 비용 변화 데이터베이스에 포함된 임계값-이하 비용 변화들을 기반으로 정상과 이상을 구분하는 임계값 TH2을 결정하고,
    상기 1차 판단하는 단계에서 정상 또는 이상으로 판단된지의 여부에 따라, 입력 데이터에 상응하는 비용의 변화로 생성된 타겟 비용 변화와 임계값-이하 비용 변화 데이터베이스에서 선택된 이웃 비용 변화와의 차이를 임계값 TH1 또는 TH2와 비교하여 상기 입력 데이터에 대하여 정상과 이상을 최종 판단하는, 머신 러닝을 이용한 이상 상황 탐지 시스템의 이상 상황 탐지 장치.
18. 제17 항에 있어서,
    상기 프로세서는
    상기 1차 판단하는 단계에서 정상으로 판단된 경우, 상기 입력 데이터에 상응하는 비용의 변화를 제 1 시간동안 추출하여 제 1 타겟 비용변화를 생성하고,
    상기 제 1 타겟 비용 변화와 유사한 비용 변화를 상기 임계값-초과 비용 변화 데이터베이스에서 선택하여 제 1 이웃 비용 변화를 생성하고,
    상기 제 1 타겟 비용 변화와 제 1 이웃 비용 변화의 차이를 상기 임계값 TH1과 비교하여 상기 입력 데이터에 대하여 정상과 이상을 최종 판단하는 것인,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 이상 상황 탐지 장치.
19. 제17 항에 있어서,
    상기 프로세서는
    상기 1차 판단하는 단계에서 이상으로 판단된 경우, 상기 입력 데이터에 상응하는 비용의 변화를 제 2 시간동안 추출하여 제 2 타겟 비용 변화를 생성하고,
    상기 제 2 타겟 비용 변화와 유사한 비용 변화를 상기 임계값-이하 비용 변화 데이터베이스에서 선택하여 제 2 이웃 비용 변화를 생성하고,
    상기 제 2 타겟 비용 변화와 제 2 이웃 비용 변화의 차이를 상기 임계값 TH2와 비교하여 상기 입력 데이터에 대하여 정상과 이상을 최종 판단하는 것인,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 이상 상황 탐지 장치.
20. 제17 항에 있어서,
    상기 비용은 상기 예측치와 실측치의 차이 또는 상기 예측치와 실측치의 차이를 사전에 정해진 시간 동안 누적시킨 것 중에 어느 하나인 것인,
    머신 러닝을 이용한 이상 상황 탐지 시스템의 이상 상황 탐지 장치.

Images