KR102031123B1 - 이상패턴 감지 시스템 및 방법 - Google Patents
이상패턴 감지 시스템 및 방법 Download PDFInfo
- Publication number
- KR102031123B1 KR102031123B1 KR1020160181252A KR20160181252A KR102031123B1 KR 102031123 B1 KR102031123 B1 KR 102031123B1 KR 1020160181252 A KR1020160181252 A KR 1020160181252A KR 20160181252 A KR20160181252 A KR 20160181252A KR 102031123 B1 KR102031123 B1 KR 102031123B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- abnormal pattern
- key data
- vector
- rule
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
- H04L2209/60—Digital content management, e.g. content distribution
- H04L2209/603—Digital right managament [DRM]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
본 기술의 일 실시예에 의한 이상패턴 감지 시스템은 키데이터 및 통계치 데이터를 데이터베이스화하고, 수신되는 데이터 필드에 해당하는 키데이터가 존재하는 경우 통계치 데이터를 참조하여 이상패턴 여부를 판단하고, 수신되는 데이터 필드에 해당하는 키데이터가 존재하지 않는 경우 수신되는 데이터 필드를 시계열 모델링하여 이상패턴 여부를 판단하도록 구성될 수 있다.
Description
본 발명은 이상 감지 기술에 관한 것으로, 보다 구체적으로는 이상패턴 감지 시스템 및 방법에 관한 것이다.
이상패턴 감지 방법은 주어진 또는 온라인으로 피딩(feeding)되는 데이터로부터 비정상적인 데이터 즉, 이상패턴을 찾는 방법이다.
이상패턴 감지 방법은 규칙기반 방법과 신경망기반 방법으로 나눌 수 있다.
규칙기반 방법은 고전적인 방법으로서, 전문가가 이상패턴이 발생하는 원인을 분석하고 이를 판단할 수 있는 규칙을 만들어, 입력되는 데이터에 적용하여 이상패턴을 찾는 방법이다. 여기에서, 규칙이란 통계적 규칙((즉, "데이터의 xxx한 패턴이 한 시간 동안 90%이상 나타나면" 등), 결정적 규칙(즉, "YYY한 데이터가 어느 데이터 필드에 출현하면", "특정 문자열이 나타나면" 등) 등을 들 수 있다.
규칙기반 방법은 이상패턴이 나타나는 경우 적용한 규칙을 이용하여 원인을 설명할 수 있고, 새로운 규칙을 시스템에 추가하기 용이하다. 하지만, 문제 영역에 대한 전문가가 규칙을 생성하는 것이 필요하다. 또한, 데이터에 필연적으로 나타나는 노이즈(오류)에 의하여 규칙 적용에 예외적 경우가 많이 생겨 실용적으로 사용하기에 많은 어려움이 있다.
신경망기반 방법은 일반적으로 비지도학습 방법 또는 입력 데이터를 출력 데이터로 사용하는 오토 인코더(Auto Encoder)의 구성을 갖는 지도학습 방법을 이용하여 데이터로부터 이상패턴을 감지해내는 방법이다.
신경망기반 방법은 학습 과정을 통해 데이터를 모델링하기 때문에, 실제 감시 상황에서는 데이터에 대한 통계치를 구하기 위한 시간이 필요 없다. 또한 실시간에 가까운 이상패턴 감지가 가능하고 데이터에 필연적으로 나타나는 노이즈(오류)에 상대적으로 강인하다. 그러나 이상패턴이 나타나는 경우, 원인을 설명하기 위해서는 관리자들 또는 전문가들의 실제 데이터에 대한 분석이 필요하다. 아울러 이상패턴의 발견을 시스템에 실시간으로 반영하여 즉시 감지에 이용하기 위한 방법론은 아직 실용화되고 있지 않다.
이상패턴 감지를 위하여 피딩되는 데이터는, 데이터가 시스템에 입력되는 순서가 중요한 시계열(Time series) 데이터와, 순서에 독립적인 공간 데이터로 나눌 수 있다. 또한 하나의 데이터는 데이터 필드의 집합으로 이루어져 있고, 각 데이터 필드는 값의 메트릭(Metric)(크기, 거리)이 의미를 가지는 수치적 데이터와, 종류, 이름 등을 나타내는 비수치적(Nominal) 데이터로 나눌 수 있다.
이때 비수치적 데이터는 데이터 값의 메트릭이 의미가 없기 때문에, 수치적 신경망의 입력으로 사용하기에는 부적절하다.
이상패턴 감지 방법은 규칙기반 방법과 신경망기반 방법으로 나눌 수 있다.
규칙기반 방법은 고전적인 방법으로서, 전문가가 이상패턴이 발생하는 원인을 분석하고 이를 판단할 수 있는 규칙을 만들어, 입력되는 데이터에 적용하여 이상패턴을 찾는 방법이다. 여기에서, 규칙이란 통계적 규칙((즉, "데이터의 xxx한 패턴이 한 시간 동안 90%이상 나타나면" 등), 결정적 규칙(즉, "YYY한 데이터가 어느 데이터 필드에 출현하면", "특정 문자열이 나타나면" 등) 등을 들 수 있다.
규칙기반 방법은 이상패턴이 나타나는 경우 적용한 규칙을 이용하여 원인을 설명할 수 있고, 새로운 규칙을 시스템에 추가하기 용이하다. 하지만, 문제 영역에 대한 전문가가 규칙을 생성하는 것이 필요하다. 또한, 데이터에 필연적으로 나타나는 노이즈(오류)에 의하여 규칙 적용에 예외적 경우가 많이 생겨 실용적으로 사용하기에 많은 어려움이 있다.
신경망기반 방법은 일반적으로 비지도학습 방법 또는 입력 데이터를 출력 데이터로 사용하는 오토 인코더(Auto Encoder)의 구성을 갖는 지도학습 방법을 이용하여 데이터로부터 이상패턴을 감지해내는 방법이다.
신경망기반 방법은 학습 과정을 통해 데이터를 모델링하기 때문에, 실제 감시 상황에서는 데이터에 대한 통계치를 구하기 위한 시간이 필요 없다. 또한 실시간에 가까운 이상패턴 감지가 가능하고 데이터에 필연적으로 나타나는 노이즈(오류)에 상대적으로 강인하다. 그러나 이상패턴이 나타나는 경우, 원인을 설명하기 위해서는 관리자들 또는 전문가들의 실제 데이터에 대한 분석이 필요하다. 아울러 이상패턴의 발견을 시스템에 실시간으로 반영하여 즉시 감지에 이용하기 위한 방법론은 아직 실용화되고 있지 않다.
이상패턴 감지를 위하여 피딩되는 데이터는, 데이터가 시스템에 입력되는 순서가 중요한 시계열(Time series) 데이터와, 순서에 독립적인 공간 데이터로 나눌 수 있다. 또한 하나의 데이터는 데이터 필드의 집합으로 이루어져 있고, 각 데이터 필드는 값의 메트릭(Metric)(크기, 거리)이 의미를 가지는 수치적 데이터와, 종류, 이름 등을 나타내는 비수치적(Nominal) 데이터로 나눌 수 있다.
이때 비수치적 데이터는 데이터 값의 메트릭이 의미가 없기 때문에, 수치적 신경망의 입력으로 사용하기에는 부적절하다.
따라서 비수치적 데이터를 수치적 데이터로 변환하는 처리(Vectorization, 벡터화)를 해주어야 한다. 또한, 학습데이터에는 존재하지 않는(Unseen) 데이터가 실제 감시에서는 나타날 수 있기 때문에, 이 경우에도 처리할 수 있어야 한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 기술의 실시예는 신경망기반 방법과 규칙기반 방법을 적용하여 하이브리드 방식으로 이상패턴을 감지할 수 있는 시스템 및 방법을 제공할 수 있다.
삭제
본 기술의 일 실시예에 의한 이상패턴 감지 시스템은 키데이터(Primary 데이터 필드의 인스턴스) 및 통계치 데이터를 데이터베이스화하고, 수신되는 데이터 필드에 해당하는 키데이터가 존재하는 경우 상기 통계치 데이터를 참조하여 이상패턴 여부를 판단하고, 상기 수신되는 데이터 필드에 해당하는 키데이터가 존재하지 않는 경우 상기 수신되는 데이터 필드를 시계열 모델링하여 이상패턴 여부를 판단하도록 구성될 수 있다.
본 기술의 일 실시예에 의한 이상패턴 감지 시스템은 수신되는 데이터 필드에 대하여 규칙기반으로 이상패턴 여부를 판단하도록 구성되는 규칙기반 감지 처리부; 상기 수신되는 데이터 필드를 벡터화하여 데이터 벡터를 생성하는 벡터화부; 상기 데이터 벡터를 제공받아 신경망기반으로 이상패턴 여부를 판단하도록 구성되는 신경망기반 감지 처리부; 및 상기 규칙기반 감지 처리부 및 상기 신경망기반 감지 처리부에 의해 이상패턴으로 판단된 데이터 필드에 대한 정보가 참조, 생성, 업데이트되는 데이터베이스;를 포함하도록 구성될 수 있다.
본 기술의 일 실시예에 의한 이상패턴 감지 방법은 수신되는 데이터 필드에 대하여 규칙기반으로 이상패턴 여부를 판단하는 규칙기반 판단 단계; 상기 규칙기반으로 판단한 결과 이상패턴이 아닌 경우 상기 수신되는 데이터 필드를 벡터화하여 데이터 벡터를 생성하는 단계; 상기 데이터 벡터를 제공받아 신경망기반으로 이상패턴 여부를 판단하는 신경망기반 판단 단계; 및 상기 규칙기반 및 상기 신경망기반으로 판단한 결과 이상패턴으로 판단된 데이터 필드에 대한 정보를 저장하는 단계;를 포함하도록 구성될 수 있다.
본 기술의 일 실시예에 의한 이상패턴 감지 시스템은 수신되는 데이터 필드에 대하여 규칙기반으로 이상패턴 여부를 판단하도록 구성되는 규칙기반 감지 처리부; 상기 수신되는 데이터 필드를 벡터화하여 데이터 벡터를 생성하는 벡터화부; 상기 데이터 벡터를 제공받아 신경망기반으로 이상패턴 여부를 판단하도록 구성되는 신경망기반 감지 처리부; 및 상기 규칙기반 감지 처리부 및 상기 신경망기반 감지 처리부에 의해 이상패턴으로 판단된 데이터 필드에 대한 정보가 참조, 생성, 업데이트되는 데이터베이스;를 포함하도록 구성될 수 있다.
본 기술의 일 실시예에 의한 이상패턴 감지 방법은 수신되는 데이터 필드에 대하여 규칙기반으로 이상패턴 여부를 판단하는 규칙기반 판단 단계; 상기 규칙기반으로 판단한 결과 이상패턴이 아닌 경우 상기 수신되는 데이터 필드를 벡터화하여 데이터 벡터를 생성하는 단계; 상기 데이터 벡터를 제공받아 신경망기반으로 이상패턴 여부를 판단하는 신경망기반 판단 단계; 및 상기 규칙기반 및 상기 신경망기반으로 판단한 결과 이상패턴으로 판단된 데이터 필드에 대한 정보를 저장하는 단계;를 포함하도록 구성될 수 있다.
본 기술에 의하면 신경망기반 방법과 규칙기반 방법을 통합한 하이브리드 방식으로 이상패턴을 감지할 수 있다.
본 기술은 금융권의 부정행위 적발(fraud detection), 고장예지진단 (Prognosis), DRM 위해성 모니터링(Digital Right Management Risk Monitoring), 네트워크 침입(Intrusion) 모니터링 등 다양한 이상패턴 검출에 응용될 수 있다.
도 1은 일 실시예에 의한 이상패턴 감지 네트워크의 개념도이다.
도 2는 일 실시예에 의한 이상패턴 감지 시스템의 구성도이다.
도 3은 키데이터의 트라이 구조를 설명하기 위한 도면이다.
도 4는 일 실시예에 의한 이상패턴 감지 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 의한 이상패턴 감지 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 의한 이상패턴 감지 시스템의 구성도이다.
도 3은 키데이터의 트라이 구조를 설명하기 위한 도면이다.
도 4는 일 실시예에 의한 이상패턴 감지 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 의한 이상패턴 감지 방법을 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 기술의 실시예를 보다 구체적으로 설명한다.
도 1은 일 실시예에 의한 이상패턴 감지 네트워크의 구성도이다.
도 1을 참조하면, 일 실시예에 의한 이상패턴 감지 네트워크(10)는 이상패턴 감지 시스템(100) 및 이와 접속되는 컴퓨팅 장치(200)를 포함할 수 있다.
이상패턴 감지 시스템(100)은 통신망(300) 또는 데이터 전송 케이블(400) 등을 통해 컴퓨팅 장치(200)와 접속될 수 있다. 통신망(300)은 유선 또는 무선 통신망일 수 있다.
이상패턴 감지 시스템(100)은 주어진, 또는 통신망(300)이나 케이블(400)을 통해 피딩(feeding)되는 데이터로부터 비정상적인 데이터를 감지하도록 구성될 수 있다.
이상패턴 감지 시스템(100)으로 제공되는 데이터는 적어도 하나의 데이터 필드의 집합일 수 있다.
일 실시예에서, 이상패턴 감지 시스템(100)은 전체 데이터 필드 중 이상패턴 감지에 필요한 데이터 필드를 필터링하고, 필터링된 데이터 필드가 이상패턴으로 규명되어 있는지 규칙기반 방법으로 판단할 수 있다.
보다 구체적으로, 이상패턴 감지 시스템(100)은 이상패턴으로 감지된 데이터 필드에 대한 정보, 예를 들어 데이터 필드에 대응하는 키데이터 및 통계치 벡터를 데이터베이스화 하여 두고, 이상패턴 감지 동작을 수행함에 따라 데이터베이스를 갱신하도록 구성될 수 있다. 여기에서, 통계치 벡터는 해당 키데이터가 참조된 돗수를 나타내는 벡터 및 해당 키데이터가 이상패턴으로 판별된 횟수에 대한 벡터를 포함하는 2차원 벡터일 수 있다.
따라서, 감지 대상 데이터 필드에 대한 키데이터가 데이터베이스에 존재하면, 해당 키데이터에 대한 통계치 벡터에 기초하여 이상패턴 여부를 판단할 수 있다.
이상패턴 감지 시스템(100)은 또한, 감지 대상 데이터 필드에 대한 키데이터가 데이터베이스에 존재하지 않는 경우 신경망 기반 방식으로 이상패턴 여부를 판단할 수 있다.
감지 대상 데이터 필드는 수치적 데이터 및 비수치적 데이터를 포함할 수 있다. 이 경우, 모든 데이터 필드를 수치화하는 벡터화 처리를 수행하여 데이터 벡터를 생성할 수 있다. 그리고, 데이터 벡터를 시계열 모델링할 수 있다.
시계열 모델링 방식으로는 순환형(Recurrent) 신경망, 자기 조직화 지도(Self-Organizing Map) 등의 모델, 또는 지도학습을 이용한 오토 인코더(Auto Encoder) 모델 중 어느 하나가 이용될 수 있다.
감지 대상 데이터 필드를 벡터화하고 시계열 모델링을 이용한 신경망 기반 방법에 의해 이상패턴임이 관리자 또는 전문가에 의해 확인되면, 이상패턴 감지 시스템은 해당 데이터 필드에 대한 정보, 예를 들어 데이터 필드에 대응하는 키데이터 및 통계치 벡터에 따라 데이터베이스를 갱신할 수 있다.
도 2는 일 실시예에 의한 이상패턴 감지 시스템(100)의 구성도이다.
도 2를 참조하면, 이상패턴 감지 시스템(100)은 컨트롤러(110), 데이터 수신부(120), 필터링부(130), 규칙기반 감지 처리부(140), 벡터화부(150), 신경망기반 감지 처리부(160), 사용자 인터페이스(UI; 170) 및 데이터베이스(DB; 180)를 포함할 수 있다.
데이터 수신부(120)는 통신망(300) 또는 케이블(400)을 통해 데이터를 수신하도록 구성될 수 있다. 여기에서, 데이터는 적어도 하나의 데이터 필드의 집합일 수 있다. 아울러, 각 데이터 필드는 수치적 데이터로만 구성되거나, 비수치적 데이터로만 구성되거나, 수치적 데이터와 비수치적 데이터가 혼합된 형태로 구성될 수 있다.
필터링부(130)는 기 설정된 조건에 기초하여 전체 데이터 필드 중 이상패턴 감지에 필요한 데이터 필드를 필터링하도록 구성될 수 있다.
규칙기반 감지 처리부(140)는 필터링부(130)에서 필터링된 데이터 필드에 대하여 규칙기반으로 이상패턴인지의 여부를 판단하도록 구성될 수 있다.
일 실시예에서, 규칙기반 감지 처리부(140)는 데이터를 감시하는 과정 중에 이상패턴이 나타나는 경우 이를 데이터베이스(180)에 저장해 두고 이후 감시 과정에 적용하도록 구성될 수 있다. 아울러, 이상패턴에 대하여 파악된 원인도 함께 저장하여 향후 동일 패턴 발생시 원인을 설명할 수 있도록 구성할 수 있다.
이를 위해, 데이터베이스(180)에는 이상패턴 감지 시스템(100)에서 이상패턴으로 감지한 데이터 필드에 대한 정보, 예를 들어 데이터 필드에 대응하는 키데이터 및 통계치 벡터가 저장되어 있을 수 있다. 통계치 벡터는 해당 키데이터가 참조된 돗수를 나타내는 벡터 및 해당 키데이터가 이상패턴으로 판별된 횟수에 대한 벡터를 포함하는 2차원 벡터일 수 있다.
따라서, 규칙기반 감지 처리부(140)는 필터링된 데이터 필드에 대응하는 키데이터가 데이터베이스에 존재하면, 해당 키데이터에 대한 통계치 벡터에 기초하여 이상패턴 여부를 판단할 수 있다.
일 실시예에서, 규칙기반 감지 처리부(140)는 계층적 행위지식공간(Hierarchical Behavioral Knowledge Space; HBKS) 처리부로 구성할 수 있다.
HBKS 처리부의 개념을 설명하기에 앞서 행위지식공간(Behavioral Knowledge Space; BKS)에 대해 설명하면 다음과 같다.
BKS는 기본적으로"BKS요소"들의 집합이다.
BKS = {BKS요소}
BKS요소는 데이터베이스의 키값에 해당하는 키데이터와 통계치 벡터의 쌍으로 이루어질 수 있다.
BKS요소 = {(키데이터, 통계치벡터)}
통계치 벡터는 (해당 키데이터가 참조된 돗수, 해당 키데이터가 이상패턴으로 판별된 횟수)의 2차원 벡터로 이루어질 수 있다.
"해당 키데이터가 참조된 돗수"의 임계치는 유의수준임계치로 정의할 수 있으며, "몇 번 이상 해당 키데이터가 참조 되었으면 BKS판단을 믿겠다"라는 의미를 내포한다. 예를 들어 "유의수준임계치 = 30"과 같이 설정될 수 있다.
신뢰율은 "해당 키데이터가 실제로 이상패턴인 확률"이며, 통계치벡터를 (a,b)로 나타낼 때, b/a(a!=0)으로 표현될 수 있다.
BKS탐색이란 주어진 BKS에서 주어진 데이터를 키데이터로 갖는 BKS요소가 있는지 찾아보고, 있으면 해당 BKS요소를 출력하는 것을 의미한다.
BKS생성이란 주어진 BKS에 대하여 주어진 데이터를 키데이터로 갖는 BKS요소를 생성하는 것을 의미하며, 이때 통계치백터(V)도 생성할 수 있다. 예를 들어, 이상패턴이면 V=(1,1), 이상패턴이 아니면 V=(1,0)와 같이 생성될 수 있다.
BKS요소 업데이트란 주어진 데이터를 키데이터로 갖는 통계치백터 V=(a,b)에서 이상패턴이면 V=(a+1,b+1), 이상패턴이 아니면 V=(a+1,b)와 같이 업데이트하는 것을 의미한다.
HBKS는 BKS의 정확도를 향상시키기 위해 고안된 것으로, 본 출원의 발명자이자 본 출원의 출원인인 주식회사 엘렉시의 대표자인 서장원에 의해 제출된 논문 ""(Daejeon : Korea Advanced Institute of Science and Technology, 2003, 박사학위논문)에서 서ejeon : Korea Advanced Institute of Science and Technology, 2003 Daejeon : Korea Advanced Institute of Science and Technology, 2003 Daejeon : Korea Advanced Institute of Science and Technology, 2003에서 최초로 제안한 바 있다.
HBKS에 대해 설명하면 다음과 같다.
W개의 키데이터의 순서쌍(Ordered Set)을 생각하면, 이는 길이 W의 단어와 1대1 매핑 가능하며, 또한 하나의 키데이터는 하나의 알파벳에 대응 가능하다.
<예> W=3, (KD1,KD2,KD3) => "MAN", KD1 => 'M', KD2 => 'A', KD3 => 'N'
1≤w≤W 일 때, 주어진 순서쌍에 길이 w의 작은 순서쌍을 생각하면 이는 길이 W의 단어의 서브 스트링(sub-string)으로 나타내어질 수 있다.
<예> MAN => "M", "MA", "MAN"
주어진 데이터 집합에 대하여 길이 W의 데이터 순서쌍의 연결(Concatenation)을 키데이터로 가지는 BKS를 생각할 수 있으며, 또한 길이 w(1≤w≤W)의 키데이터를 가지는 BKS도 생각할 수 있다.
위와 같이 데이터 집합과 W가 정해지면, 이에 따라 길이 w의 BKS를 생각할 수 있고("w-BKS"라고 한다) 이들의 모임을 주어진 데이터 집합에 대한 HBKS로 정의할 수 있다.
또한 HBKS의 키데이터는 트라이(TRIE) 구조로 연결되어 있다.
도 3은 키데이터의 트라이 구조를 설명하기 위한 도면이다.
트라이 구조에서 루트 노드(R)는 언제나 0의 값을 갖는다. w-BKS의 각 노드(L0_1, L0_2, L1_1, L1_2, L2_11, L2_12, L2_21)는 해당 데이터필드가 나타난 경우 왜 이상패턴인가에 대한 설명을 저장할 수 있는 저장소를 가질 수 있다.
HBKS탐색이란 주어진 HBKS에서 W길이의 키데이터가 있는지 찾아보고, 있으면 해당 HBKS요소를 출력하는 것을 의미한다.
HBKS생성이란 주어진 BKS에 대하여 주어진 데이터를 키데이터로 갖는 HBKS요소를 생성하는 것을 의미하며, 이때 각 w-BKS 각각의 통계치백터(V)도 생성할 수 있다.
HBKS요소 업데이트 과정에 따라 단계별로 w-BKS가 업데이트될 수 있다.
본 발명에서는 이러한 HBKS를 데이터베이스(180)에 저장하여 두고 이상패턴 감지에 이용할 수 있다.
HBKS 처리부로 구성된 규칙기반 감지 처리부(140)는 w-BKS가 저장되어 있는 데이터베이스(180)로부터 w=1부터 시작하여 w=W까지 중에서 시계열 벡터를 탐색한다.
탐색 결과, 발견하지 못한 경우 그대로 통과하고, 발견한 경우에는 해당 통계치 벡터(V=(a,b))를 참조하여 하기 과정을 수행할 수 있다.
이 때, 원인에 대한 설명은 최종 노드가 원인에 대한 설명을 가지고 있는 경우에 출력될 수 있음은 물론이다.
데이터베이스(180)는 관리자 또는 전문가의 판단에 의해 업데이트될 수 있다.
예를 들어, 데이터베이스(180)에 있는 패턴 중 관리자 또는 전문가의 판단이 필요하거나 신경망기반 감지 처리(후술)를 통해 이상패턴으로 감지된 패턴에 대하여 관리자 또는 전문가의 판단 후 결과에 따라 HBKS탐색/생성/업데이트가 이루어질 수 있다.
그리고, 판단에 따라, 해당 데이터에 대한 통계치 벡터 중 a(해당 키데이터가 참조된 돗수)가 유의수준임계치 이상이 되도록 조정하고, 이상패턴율(b/a) 또는 정상패턴률이 ((a-b)/a)이 신뢰율 이상이 되도록 a와 b를 최소한으로 조정한 후 이에 맞춰 전체 데이터베이스(180)를 수정할 수 있다.
예를 들어, W=5, 유의수준임계치=30, 신뢰율=95%, (a,b)=(11,5)인 경우를 가정한다. 이 때, 전문가의 리뷰 결과 해당 키데이터를 정상패턴으로 판단하는 경우에는 다음과 같이 조정할 수 있다.
즉, 노드에서 모자란 돗수(30-11=19)만큼 정상패턴을 본 것으로 하고(11+19, 5), 정상패턴률이 ((a-b)/a)이 신뢰율 이상이 되도록 a를 증가시킬 수 있다.
다른 예로, W=5, 유의수준임계치=30, 신뢰율=95%, (a,b)=(11, 5)이고, 해당 키데이터를 이상패턴으로 판단하는 경우에는 다음과 같이 조정할 수 있다.
즉, 노드에서 모자란 돗수(30-11=19)만큼 이상패턴을 본 것으로 하고(11+19, 5+19), 이상패턴률(b/a)이 신뢰율 이상이 될 때까지 a와 b를 증가시킬 수 있다.
전체 데이터베이스(180)가 수정되면 해당 노드에 원인을 적어 저장할 수 있다.
다시 도 2를 참조하면, 벡터화부(150)는 필터링부(130)에서 필터링된 데이터 필드에 대해 모든 데이터를 수치화 하도록 구성될 수 있다. 일 실시예에서, 벡터화부(150)는 워드 임베딩(Word embedding)을 응용하여 모든 데이터 필드를 수치화하여 표현 하도록 구성될 수 있다.
구체적으로, 벡터화부(150)는 데이터 필드를 비수치 값을 가지는 데이터 필드 집합과 수치 값을 가지는 데이터 필드 집합으로 구분하고, 각각의 데이터 필드를 비수치 데이터 필드 집합과 수치 데이터 필드 집합으로 나둘 수 있다.
<예> (성별, 신장, 체중, 결혼상태) -> (성별, 결혼상태), (신장, 체중)
그리고, 수치 데이터 필드 집합에 대하여 데이터 필드별로 전체 데이터 집합에 대하여 일정 범위로 정규화할 수 있다.
<예> 0 ~ 1사이로 신장 데이터를 정규화
아울러, 비수치 데이터 필드 집합에 대하여 하나의 비수치 데이터 인스턴스(instance)를 원핫(One-hot)벡터로 표현할 수 있다.
<예> 2 X 2 = 4 (1, 0, 0, 0), (0, 1, 0, 0), (0, 0, 1, 0), (0, 0, 0, 1)
이 때, 언신(Unseen) 데이터 또한 벡터화하기 위하여, 실제 데이터에 없는 비수치 데이터 필드 값의 경우, 모든 경우를 생성하여 데이터 집합에 추가할 수 있다.
<예> 데이터 집합에 (1, 0, 0, 0), (0, 1, 0, 0), (0, 0, 1, 0)만 있는 경우 (0, 0, 0, 1) 추가
아울러, 시계열을 반영하기 위하여 비수치 데이터 순서대로 워드 임베딩 학습을 수행할 수 있다. 이때, 언신(Unseen) 데이터의 경우 0벡터, unseen벡터로 워드 임베딩 학습이 이루어질 수 있다.
결과적으로 모든 비수치 데이터 필드 인스턴스에 대하여 특정 차원의 벡터 표현을 얻을 수 있다. 그리고, 얻어진 벡터 표현을 수치 데이터의 정규화 범위로 정규화할 수 있다.
이어서, 수치 데이터 필드와 비수치 데이터 필드를 연결(Concatenation)하고, 연결한 결과를 "데이터 벡터"로 정의할 수 있다.
만약 데이터 벡터 전체가 수치 데이터인 경우에는 각 차원(데이터필드)의 모두 또는 일부를 비수치적 데이터로 표현하여 해당 데이터의 HBKS 키데이터로 사용할 수 있다. 이를 위해, 데이터에 대한 주성분 분석(Principal Component Analysis; PCS) 등을 통하여 데이터 간 변화가 큰 타원부터 선택할 수 있다.
<예> (0.7, -2, 1) =>{+, 0, -}, (작다, 크다), {yes, No})에서 (+, 작다, Yes)
즉, 벡터화부(150)는 수치 데이터 필드와 비수치 데이터 필드가 혼합된 데이터를 수치 데이터로 변환하여 데이터 벡터를 생성할 수 있다. 이 때 실제 데이터에 없는 비수치 데이터 필드값의 경우에도 모든 경우를 고려하여 데이터 집합에 포함시킴으로써, 학습 데이터에는 보이지 않는(Unseen) 데이터가 실제 감시에서 나타난 경우 처리 가능하도록 할 수 있다.
아울러, 벡터화부(150)는 모두 수치 데이터 필드로만 이루어진 데이터 집합의 경우, 수치 데이터의 전부 또는 일부를 비수치적 데이터로 표현하여 규칙기반 감지 처리부(140)의 키데이터로 사용하도록 할 수 있다.
신경망기반 감지 처리부(160)는 도메인(Domain, 문제 영역) 특성과 데이터 양에 따라, 시계열 모델링에 적합한 신경망 모델을 적용하여 구성할 수 있다.
일 실시예에서, 신경망기반 감지 처리부(160)는 비지도 학습을 이용한 순환형(Recurrent) 신경망, 자기 조직화 지도(Self-Organizing Map) 등의 모델, 또는 지도학습을 이용한 오토 인코더(Auto Encoder) 모델 등을 사용하여 구성할 수 있다.
신경망기반 감지 처리부(160)로 입력되는 데이터(학습데이터)는 벡터화부(150)에서 데이터 집합으로부터 얻은 시계열의 데이터 벡터 또는 시계열 데이터벡터 중 일정 시간 윈도우(W) 동안 생성된 데이터 벡터일 수 있다.
<예> W=3, 시간 t의 벡터를 v(t)라고 하면, v(t), v(t-1), v(t-2).
t<W이면 v(t) 는 0벡터(가장 엔트로피가 높은 벡터)
신경망기반 감지 처리부(160)는 이상패턴 발생비율을 설정할 수 있다(예, 탐지비율 0.1%). 그리고 설정된 탐지비율에 기초하여 이상패턴 감지 임계치(THD)를 설정할 수 있다. 예를 들어, 학습데이터 1,000,000개 일 때, 이상패턴 발생비율을 0.1%로 추정하는 경우에는 1,000개의 패턴이 이상패턴 후보로 감지되는 임계치(THD)를 설정할 수 있다.
신경망기반 감지 처리부(160)의 모델링 결과에 따라 이상패턴 또는 이상패턴 후보로 감지된 데이터는 규칙기반 감지 처리부(140)에서 데이터베이스화될 수 있다.
신경망기반 감지 처리부(160)에서 이상패턴으로 감지된 길이 W의 학습데이터에 대한 HBKS를 정의하여 데이터베이스화하는 예를 설명하면 다음과 같다.
재귀(Recurrent) 신경망과 같이 시계열 데이터 벡터의 시간 윈도우가 정해지지 않는 경우에는 W를 1부터 큰 숫자 중 임의로 정할 수 있다.
키데이터는 특정시간에 관찰하는 W개의 데이터 벡터에 대응하는 순서쌍이 될 수 있다.
<예> W=5, t = 3 이라고 가정하면
5-BKS의 키데이터는 (V3, V2, V1, 0백터, 0백터)
4-BKS의 키데이터는 (V3, V2, V1, 0백터)
3-BKS의 키데이터는 (V3, V2, V1)
2-BKS의 키데이터는 (V3, V2)
1-BKS의 키데이터는 (V3)
통계치 벡터는 해당 키데이터에 대한 통계치 벡터로, 도 3에 도시한 것과 같은 트라이 구조에 따라 연산할 수 있다.
규칙기반 감지 처리부(140)는 신경망기반 감지 처리부(160)에서 탐지된 이상패턴 후보에 대하여 초기 설정은 "이상패턴아님" 으로 설정할 수 있다.
도 4는 일 실시예에 의한 이상패턴 감지 방법을 설명하기 위한 흐름도이고, 도 5는 일 실시예에 의한 이상패턴 감지 방법을 설명하기 위한 개념도이다.
도 4 및 도 5를 참조하면, 데이터 수신부(120)로 시간 t의 데이터가 제공될 수 있다(S101).
필터링부(130)는 시간 t의 데이터에 포함된 전체 데이터 필드 중 이상패턴 감지에 필요한 데이터 필드를 필터링할 수 있다(S103).
필요한 데이터가 필터링되면, 규칙기반 감지 처리부(140)는 필터링된 데이터 필드에 해당하는 키데이터가 데이터베이스(180)에 존재하는지 확인할 수 있다(S105).
데이터베이스(180)에 해당하는 키데이터가 존재하는 경우, 규칙기반 감지 처리부(140)는 해당 키데이터에 대응하는 통계치 벡터를 참조하여 이상패턴 여부를 판단할 수 있다(S107).
상술하였듯이, 규칙기반 감지 처리부(140)는 HBKS 처리부로 구성되어, 키데이터 및 통계치 벡터를 데이터베이스(180)에 저장해 두고, 입력 데이터 필드에 해당하는 키데이터의 존재 여부 및 통계치 벡터에 기초하여 이상 패턴 여부를 판단할 수 있다.
데이터베이스(180)에 해당하는 키데이터가 존재하지 않거나, 단계 S107 에서 이상패턴으로 감지되지 않은 경우, 벡터화부(150)는 필터링부(130)에서 필터링된 데이터 필드를 벡터화하여 데이터 벡터를 생성할 수 있다(S109).
상술하였듯이, 벡터화부(150)는 워드 임베딩 기법과 같은 방식을 이용하여 입력 데이터 필드를 벡터화할 수 있다.
생성된 데이터 벡터는 신경망기반 감지 처리부(160)로 제공될 수 있다. 신경망 기반 감지 처리부(160)는 데이터 벡터의 시계열 모델링을 수행하고(S111), 그 결과에 따라 이상패턴 여부를 판단할 수 있다(S113).
단계 S113의 이상패턴 여부 판단은 기 설정된 임계치(THD)에 기초하여 수행될 수 있다.
한편, 단계 S107 및 단계 S113의 판단 결과 이상 패턴으로 판단되는 경우, 사용자 인터페이스(170)를 통해 이상패턴이 감지되었음을 알리고(S115), 데이터베이스(180)에 대한 업데이트를 수행할 수 있다(S117).
이와 같이, 본 기술에서는 비수치적 데이터를 워드 임베딩 방법을 응용하여 벡터화함으로써, 효과적으로 데이터 차원을 축소시켜 모델링 결과의 일반화 능력 향상시킬 수 있다. 그리고, 비수치적 데이터를 직전 및 직후 데이터를 참조하여 벡터화함으로써 시계열성을 반영할 수 있다.
또한 HBKS를 이용한 전문가의 경험적 지식에 기반한 규칙과 신경망 학습 결과를 유기적으로 결합할 수 있다.
따라서 이상패턴이 나타나는 경우, 적용한 규칙을 이용하여 원인을 설명할 수 있다.
전문가(사용자)의 판단에 의한 이상패턴을 시스템에 등록하여 다음 감지부터 바로 적용할 수 있으며, 탐지 정확도에 대한 정책이 있는 경우(예를 들어 오탐 비율이 5% 이하 등)에 이를 HBKS를 이용하여 통계적으로 목표치에 수렴하도록 할 수 있다.
본 기술은 또한 신경망 방법에 기반하기 때문에 실시간에 가까운 이상패턴 감지가 가능하고 데이터에 필연적으로 나타나는 노이즈(오류)에 상대적으로 강하다.
아울러, 데이터 벡터화시 데이터 집합에 포함되어 있지 않은 데이터 값(Unseen 데이터)의 조합도 벡터화에 포함시킬 수 있으므로 모든 데이터 값의 조합에 대한 감시가 가능하다.
도 1을 참조하면, 일 실시예에 의한 이상패턴 감지 네트워크(10)는 이상패턴 감지 시스템(100) 및 이와 접속되는 컴퓨팅 장치(200)를 포함할 수 있다.
이상패턴 감지 시스템(100)은 통신망(300) 또는 데이터 전송 케이블(400) 등을 통해 컴퓨팅 장치(200)와 접속될 수 있다. 통신망(300)은 유선 또는 무선 통신망일 수 있다.
이상패턴 감지 시스템(100)은 주어진, 또는 통신망(300)이나 케이블(400)을 통해 피딩(feeding)되는 데이터로부터 비정상적인 데이터를 감지하도록 구성될 수 있다.
이상패턴 감지 시스템(100)으로 제공되는 데이터는 적어도 하나의 데이터 필드의 집합일 수 있다.
일 실시예에서, 이상패턴 감지 시스템(100)은 전체 데이터 필드 중 이상패턴 감지에 필요한 데이터 필드를 필터링하고, 필터링된 데이터 필드가 이상패턴으로 규명되어 있는지 규칙기반 방법으로 판단할 수 있다.
보다 구체적으로, 이상패턴 감지 시스템(100)은 이상패턴으로 감지된 데이터 필드에 대한 정보, 예를 들어 데이터 필드에 대응하는 키데이터 및 통계치 벡터를 데이터베이스화 하여 두고, 이상패턴 감지 동작을 수행함에 따라 데이터베이스를 갱신하도록 구성될 수 있다. 여기에서, 통계치 벡터는 해당 키데이터가 참조된 돗수를 나타내는 벡터 및 해당 키데이터가 이상패턴으로 판별된 횟수에 대한 벡터를 포함하는 2차원 벡터일 수 있다.
따라서, 감지 대상 데이터 필드에 대한 키데이터가 데이터베이스에 존재하면, 해당 키데이터에 대한 통계치 벡터에 기초하여 이상패턴 여부를 판단할 수 있다.
이상패턴 감지 시스템(100)은 또한, 감지 대상 데이터 필드에 대한 키데이터가 데이터베이스에 존재하지 않는 경우 신경망 기반 방식으로 이상패턴 여부를 판단할 수 있다.
감지 대상 데이터 필드는 수치적 데이터 및 비수치적 데이터를 포함할 수 있다. 이 경우, 모든 데이터 필드를 수치화하는 벡터화 처리를 수행하여 데이터 벡터를 생성할 수 있다. 그리고, 데이터 벡터를 시계열 모델링할 수 있다.
시계열 모델링 방식으로는 순환형(Recurrent) 신경망, 자기 조직화 지도(Self-Organizing Map) 등의 모델, 또는 지도학습을 이용한 오토 인코더(Auto Encoder) 모델 중 어느 하나가 이용될 수 있다.
감지 대상 데이터 필드를 벡터화하고 시계열 모델링을 이용한 신경망 기반 방법에 의해 이상패턴임이 관리자 또는 전문가에 의해 확인되면, 이상패턴 감지 시스템은 해당 데이터 필드에 대한 정보, 예를 들어 데이터 필드에 대응하는 키데이터 및 통계치 벡터에 따라 데이터베이스를 갱신할 수 있다.
도 2는 일 실시예에 의한 이상패턴 감지 시스템(100)의 구성도이다.
도 2를 참조하면, 이상패턴 감지 시스템(100)은 컨트롤러(110), 데이터 수신부(120), 필터링부(130), 규칙기반 감지 처리부(140), 벡터화부(150), 신경망기반 감지 처리부(160), 사용자 인터페이스(UI; 170) 및 데이터베이스(DB; 180)를 포함할 수 있다.
데이터 수신부(120)는 통신망(300) 또는 케이블(400)을 통해 데이터를 수신하도록 구성될 수 있다. 여기에서, 데이터는 적어도 하나의 데이터 필드의 집합일 수 있다. 아울러, 각 데이터 필드는 수치적 데이터로만 구성되거나, 비수치적 데이터로만 구성되거나, 수치적 데이터와 비수치적 데이터가 혼합된 형태로 구성될 수 있다.
필터링부(130)는 기 설정된 조건에 기초하여 전체 데이터 필드 중 이상패턴 감지에 필요한 데이터 필드를 필터링하도록 구성될 수 있다.
규칙기반 감지 처리부(140)는 필터링부(130)에서 필터링된 데이터 필드에 대하여 규칙기반으로 이상패턴인지의 여부를 판단하도록 구성될 수 있다.
일 실시예에서, 규칙기반 감지 처리부(140)는 데이터를 감시하는 과정 중에 이상패턴이 나타나는 경우 이를 데이터베이스(180)에 저장해 두고 이후 감시 과정에 적용하도록 구성될 수 있다. 아울러, 이상패턴에 대하여 파악된 원인도 함께 저장하여 향후 동일 패턴 발생시 원인을 설명할 수 있도록 구성할 수 있다.
이를 위해, 데이터베이스(180)에는 이상패턴 감지 시스템(100)에서 이상패턴으로 감지한 데이터 필드에 대한 정보, 예를 들어 데이터 필드에 대응하는 키데이터 및 통계치 벡터가 저장되어 있을 수 있다. 통계치 벡터는 해당 키데이터가 참조된 돗수를 나타내는 벡터 및 해당 키데이터가 이상패턴으로 판별된 횟수에 대한 벡터를 포함하는 2차원 벡터일 수 있다.
따라서, 규칙기반 감지 처리부(140)는 필터링된 데이터 필드에 대응하는 키데이터가 데이터베이스에 존재하면, 해당 키데이터에 대한 통계치 벡터에 기초하여 이상패턴 여부를 판단할 수 있다.
일 실시예에서, 규칙기반 감지 처리부(140)는 계층적 행위지식공간(Hierarchical Behavioral Knowledge Space; HBKS) 처리부로 구성할 수 있다.
HBKS 처리부의 개념을 설명하기에 앞서 행위지식공간(Behavioral Knowledge Space; BKS)에 대해 설명하면 다음과 같다.
BKS는 기본적으로"BKS요소"들의 집합이다.
BKS = {BKS요소}
BKS요소는 데이터베이스의 키값에 해당하는 키데이터와 통계치 벡터의 쌍으로 이루어질 수 있다.
BKS요소 = {(키데이터, 통계치벡터)}
통계치 벡터는 (해당 키데이터가 참조된 돗수, 해당 키데이터가 이상패턴으로 판별된 횟수)의 2차원 벡터로 이루어질 수 있다.
"해당 키데이터가 참조된 돗수"의 임계치는 유의수준임계치로 정의할 수 있으며, "몇 번 이상 해당 키데이터가 참조 되었으면 BKS판단을 믿겠다"라는 의미를 내포한다. 예를 들어 "유의수준임계치 = 30"과 같이 설정될 수 있다.
신뢰율은 "해당 키데이터가 실제로 이상패턴인 확률"이며, 통계치벡터를 (a,b)로 나타낼 때, b/a(a!=0)으로 표현될 수 있다.
BKS탐색이란 주어진 BKS에서 주어진 데이터를 키데이터로 갖는 BKS요소가 있는지 찾아보고, 있으면 해당 BKS요소를 출력하는 것을 의미한다.
BKS생성이란 주어진 BKS에 대하여 주어진 데이터를 키데이터로 갖는 BKS요소를 생성하는 것을 의미하며, 이때 통계치백터(V)도 생성할 수 있다. 예를 들어, 이상패턴이면 V=(1,1), 이상패턴이 아니면 V=(1,0)와 같이 생성될 수 있다.
BKS요소 업데이트란 주어진 데이터를 키데이터로 갖는 통계치백터 V=(a,b)에서 이상패턴이면 V=(a+1,b+1), 이상패턴이 아니면 V=(a+1,b)와 같이 업데이트하는 것을 의미한다.
HBKS는 BKS의 정확도를 향상시키기 위해 고안된 것으로, 본 출원의 발명자이자 본 출원의 출원인인 주식회사 엘렉시의 대표자인 서장원에 의해 제출된 논문 ""(Daejeon : Korea Advanced Institute of Science and Technology, 2003, 박사학위논문)에서 서ejeon : Korea Advanced Institute of Science and Technology, 2003 Daejeon : Korea Advanced Institute of Science and Technology, 2003 Daejeon : Korea Advanced Institute of Science and Technology, 2003에서 최초로 제안한 바 있다.
HBKS에 대해 설명하면 다음과 같다.
W개의 키데이터의 순서쌍(Ordered Set)을 생각하면, 이는 길이 W의 단어와 1대1 매핑 가능하며, 또한 하나의 키데이터는 하나의 알파벳에 대응 가능하다.
<예> W=3, (KD1,KD2,KD3) => "MAN", KD1 => 'M', KD2 => 'A', KD3 => 'N'
1≤w≤W 일 때, 주어진 순서쌍에 길이 w의 작은 순서쌍을 생각하면 이는 길이 W의 단어의 서브 스트링(sub-string)으로 나타내어질 수 있다.
<예> MAN => "M", "MA", "MAN"
주어진 데이터 집합에 대하여 길이 W의 데이터 순서쌍의 연결(Concatenation)을 키데이터로 가지는 BKS를 생각할 수 있으며, 또한 길이 w(1≤w≤W)의 키데이터를 가지는 BKS도 생각할 수 있다.
위와 같이 데이터 집합과 W가 정해지면, 이에 따라 길이 w의 BKS를 생각할 수 있고("w-BKS"라고 한다) 이들의 모임을 주어진 데이터 집합에 대한 HBKS로 정의할 수 있다.
또한 HBKS의 키데이터는 트라이(TRIE) 구조로 연결되어 있다.
도 3은 키데이터의 트라이 구조를 설명하기 위한 도면이다.
트라이 구조에서 루트 노드(R)는 언제나 0의 값을 갖는다. w-BKS의 각 노드(L0_1, L0_2, L1_1, L1_2, L2_11, L2_12, L2_21)는 해당 데이터필드가 나타난 경우 왜 이상패턴인가에 대한 설명을 저장할 수 있는 저장소를 가질 수 있다.
HBKS탐색이란 주어진 HBKS에서 W길이의 키데이터가 있는지 찾아보고, 있으면 해당 HBKS요소를 출력하는 것을 의미한다.
HBKS생성이란 주어진 BKS에 대하여 주어진 데이터를 키데이터로 갖는 HBKS요소를 생성하는 것을 의미하며, 이때 각 w-BKS 각각의 통계치백터(V)도 생성할 수 있다.
HBKS요소 업데이트 과정에 따라 단계별로 w-BKS가 업데이트될 수 있다.
본 발명에서는 이러한 HBKS를 데이터베이스(180)에 저장하여 두고 이상패턴 감지에 이용할 수 있다.
HBKS 처리부로 구성된 규칙기반 감지 처리부(140)는 w-BKS가 저장되어 있는 데이터베이스(180)로부터 w=1부터 시작하여 w=W까지 중에서 시계열 벡터를 탐색한다.
탐색 결과, 발견하지 못한 경우 그대로 통과하고, 발견한 경우에는 해당 통계치 벡터(V=(a,b))를 참조하여 하기 과정을 수행할 수 있다.
| 유의수준 임계치 | 이상패턴율 | 처리 |
| 이상 | 이상 | - 이상패턴으로 알림 - 원인에 대한 설명 출력 |
| 미만 | 이상 | - 이상패턴 후보로 출력 - 전문가 리뷰가 필요함을 알리거나 저장 |
| 미만 | 미만 | - 정상패턴 후보로 출력 - 전문가 리뷰가 필요함을 알리거나 저장 |
| 이상 | 미만 | - 정상패턴 후보로 출력 |
이 때, 원인에 대한 설명은 최종 노드가 원인에 대한 설명을 가지고 있는 경우에 출력될 수 있음은 물론이다.
데이터베이스(180)는 관리자 또는 전문가의 판단에 의해 업데이트될 수 있다.
예를 들어, 데이터베이스(180)에 있는 패턴 중 관리자 또는 전문가의 판단이 필요하거나 신경망기반 감지 처리(후술)를 통해 이상패턴으로 감지된 패턴에 대하여 관리자 또는 전문가의 판단 후 결과에 따라 HBKS탐색/생성/업데이트가 이루어질 수 있다.
그리고, 판단에 따라, 해당 데이터에 대한 통계치 벡터 중 a(해당 키데이터가 참조된 돗수)가 유의수준임계치 이상이 되도록 조정하고, 이상패턴율(b/a) 또는 정상패턴률이 ((a-b)/a)이 신뢰율 이상이 되도록 a와 b를 최소한으로 조정한 후 이에 맞춰 전체 데이터베이스(180)를 수정할 수 있다.
예를 들어, W=5, 유의수준임계치=30, 신뢰율=95%, (a,b)=(11,5)인 경우를 가정한다. 이 때, 전문가의 리뷰 결과 해당 키데이터를 정상패턴으로 판단하는 경우에는 다음과 같이 조정할 수 있다.
즉, 노드에서 모자란 돗수(30-11=19)만큼 정상패턴을 본 것으로 하고(11+19, 5), 정상패턴률이 ((a-b)/a)이 신뢰율 이상이 되도록 a를 증가시킬 수 있다.
다른 예로, W=5, 유의수준임계치=30, 신뢰율=95%, (a,b)=(11, 5)이고, 해당 키데이터를 이상패턴으로 판단하는 경우에는 다음과 같이 조정할 수 있다.
즉, 노드에서 모자란 돗수(30-11=19)만큼 이상패턴을 본 것으로 하고(11+19, 5+19), 이상패턴률(b/a)이 신뢰율 이상이 될 때까지 a와 b를 증가시킬 수 있다.
전체 데이터베이스(180)가 수정되면 해당 노드에 원인을 적어 저장할 수 있다.
다시 도 2를 참조하면, 벡터화부(150)는 필터링부(130)에서 필터링된 데이터 필드에 대해 모든 데이터를 수치화 하도록 구성될 수 있다. 일 실시예에서, 벡터화부(150)는 워드 임베딩(Word embedding)을 응용하여 모든 데이터 필드를 수치화하여 표현 하도록 구성될 수 있다.
구체적으로, 벡터화부(150)는 데이터 필드를 비수치 값을 가지는 데이터 필드 집합과 수치 값을 가지는 데이터 필드 집합으로 구분하고, 각각의 데이터 필드를 비수치 데이터 필드 집합과 수치 데이터 필드 집합으로 나둘 수 있다.
<예> (성별, 신장, 체중, 결혼상태) -> (성별, 결혼상태), (신장, 체중)
그리고, 수치 데이터 필드 집합에 대하여 데이터 필드별로 전체 데이터 집합에 대하여 일정 범위로 정규화할 수 있다.
<예> 0 ~ 1사이로 신장 데이터를 정규화
아울러, 비수치 데이터 필드 집합에 대하여 하나의 비수치 데이터 인스턴스(instance)를 원핫(One-hot)벡터로 표현할 수 있다.
<예> 2 X 2 = 4 (1, 0, 0, 0), (0, 1, 0, 0), (0, 0, 1, 0), (0, 0, 0, 1)
이 때, 언신(Unseen) 데이터 또한 벡터화하기 위하여, 실제 데이터에 없는 비수치 데이터 필드 값의 경우, 모든 경우를 생성하여 데이터 집합에 추가할 수 있다.
<예> 데이터 집합에 (1, 0, 0, 0), (0, 1, 0, 0), (0, 0, 1, 0)만 있는 경우 (0, 0, 0, 1) 추가
아울러, 시계열을 반영하기 위하여 비수치 데이터 순서대로 워드 임베딩 학습을 수행할 수 있다. 이때, 언신(Unseen) 데이터의 경우 0벡터, unseen벡터로 워드 임베딩 학습이 이루어질 수 있다.
결과적으로 모든 비수치 데이터 필드 인스턴스에 대하여 특정 차원의 벡터 표현을 얻을 수 있다. 그리고, 얻어진 벡터 표현을 수치 데이터의 정규화 범위로 정규화할 수 있다.
이어서, 수치 데이터 필드와 비수치 데이터 필드를 연결(Concatenation)하고, 연결한 결과를 "데이터 벡터"로 정의할 수 있다.
만약 데이터 벡터 전체가 수치 데이터인 경우에는 각 차원(데이터필드)의 모두 또는 일부를 비수치적 데이터로 표현하여 해당 데이터의 HBKS 키데이터로 사용할 수 있다. 이를 위해, 데이터에 대한 주성분 분석(Principal Component Analysis; PCS) 등을 통하여 데이터 간 변화가 큰 타원부터 선택할 수 있다.
<예> (0.7, -2, 1) =>{+, 0, -}, (작다, 크다), {yes, No})에서 (+, 작다, Yes)
즉, 벡터화부(150)는 수치 데이터 필드와 비수치 데이터 필드가 혼합된 데이터를 수치 데이터로 변환하여 데이터 벡터를 생성할 수 있다. 이 때 실제 데이터에 없는 비수치 데이터 필드값의 경우에도 모든 경우를 고려하여 데이터 집합에 포함시킴으로써, 학습 데이터에는 보이지 않는(Unseen) 데이터가 실제 감시에서 나타난 경우 처리 가능하도록 할 수 있다.
아울러, 벡터화부(150)는 모두 수치 데이터 필드로만 이루어진 데이터 집합의 경우, 수치 데이터의 전부 또는 일부를 비수치적 데이터로 표현하여 규칙기반 감지 처리부(140)의 키데이터로 사용하도록 할 수 있다.
신경망기반 감지 처리부(160)는 도메인(Domain, 문제 영역) 특성과 데이터 양에 따라, 시계열 모델링에 적합한 신경망 모델을 적용하여 구성할 수 있다.
일 실시예에서, 신경망기반 감지 처리부(160)는 비지도 학습을 이용한 순환형(Recurrent) 신경망, 자기 조직화 지도(Self-Organizing Map) 등의 모델, 또는 지도학습을 이용한 오토 인코더(Auto Encoder) 모델 등을 사용하여 구성할 수 있다.
신경망기반 감지 처리부(160)로 입력되는 데이터(학습데이터)는 벡터화부(150)에서 데이터 집합으로부터 얻은 시계열의 데이터 벡터 또는 시계열 데이터벡터 중 일정 시간 윈도우(W) 동안 생성된 데이터 벡터일 수 있다.
<예> W=3, 시간 t의 벡터를 v(t)라고 하면, v(t), v(t-1), v(t-2).
t<W이면 v(t) 는 0벡터(가장 엔트로피가 높은 벡터)
신경망기반 감지 처리부(160)는 이상패턴 발생비율을 설정할 수 있다(예, 탐지비율 0.1%). 그리고 설정된 탐지비율에 기초하여 이상패턴 감지 임계치(THD)를 설정할 수 있다. 예를 들어, 학습데이터 1,000,000개 일 때, 이상패턴 발생비율을 0.1%로 추정하는 경우에는 1,000개의 패턴이 이상패턴 후보로 감지되는 임계치(THD)를 설정할 수 있다.
신경망기반 감지 처리부(160)의 모델링 결과에 따라 이상패턴 또는 이상패턴 후보로 감지된 데이터는 규칙기반 감지 처리부(140)에서 데이터베이스화될 수 있다.
신경망기반 감지 처리부(160)에서 이상패턴으로 감지된 길이 W의 학습데이터에 대한 HBKS를 정의하여 데이터베이스화하는 예를 설명하면 다음과 같다.
재귀(Recurrent) 신경망과 같이 시계열 데이터 벡터의 시간 윈도우가 정해지지 않는 경우에는 W를 1부터 큰 숫자 중 임의로 정할 수 있다.
키데이터는 특정시간에 관찰하는 W개의 데이터 벡터에 대응하는 순서쌍이 될 수 있다.
<예> W=5, t = 3 이라고 가정하면
5-BKS의 키데이터는 (V3, V2, V1, 0백터, 0백터)
4-BKS의 키데이터는 (V3, V2, V1, 0백터)
3-BKS의 키데이터는 (V3, V2, V1)
2-BKS의 키데이터는 (V3, V2)
1-BKS의 키데이터는 (V3)
통계치 벡터는 해당 키데이터에 대한 통계치 벡터로, 도 3에 도시한 것과 같은 트라이 구조에 따라 연산할 수 있다.
규칙기반 감지 처리부(140)는 신경망기반 감지 처리부(160)에서 탐지된 이상패턴 후보에 대하여 초기 설정은 "이상패턴아님" 으로 설정할 수 있다.
도 4는 일 실시예에 의한 이상패턴 감지 방법을 설명하기 위한 흐름도이고, 도 5는 일 실시예에 의한 이상패턴 감지 방법을 설명하기 위한 개념도이다.
도 4 및 도 5를 참조하면, 데이터 수신부(120)로 시간 t의 데이터가 제공될 수 있다(S101).
필터링부(130)는 시간 t의 데이터에 포함된 전체 데이터 필드 중 이상패턴 감지에 필요한 데이터 필드를 필터링할 수 있다(S103).
필요한 데이터가 필터링되면, 규칙기반 감지 처리부(140)는 필터링된 데이터 필드에 해당하는 키데이터가 데이터베이스(180)에 존재하는지 확인할 수 있다(S105).
데이터베이스(180)에 해당하는 키데이터가 존재하는 경우, 규칙기반 감지 처리부(140)는 해당 키데이터에 대응하는 통계치 벡터를 참조하여 이상패턴 여부를 판단할 수 있다(S107).
상술하였듯이, 규칙기반 감지 처리부(140)는 HBKS 처리부로 구성되어, 키데이터 및 통계치 벡터를 데이터베이스(180)에 저장해 두고, 입력 데이터 필드에 해당하는 키데이터의 존재 여부 및 통계치 벡터에 기초하여 이상 패턴 여부를 판단할 수 있다.
데이터베이스(180)에 해당하는 키데이터가 존재하지 않거나, 단계 S107 에서 이상패턴으로 감지되지 않은 경우, 벡터화부(150)는 필터링부(130)에서 필터링된 데이터 필드를 벡터화하여 데이터 벡터를 생성할 수 있다(S109).
상술하였듯이, 벡터화부(150)는 워드 임베딩 기법과 같은 방식을 이용하여 입력 데이터 필드를 벡터화할 수 있다.
생성된 데이터 벡터는 신경망기반 감지 처리부(160)로 제공될 수 있다. 신경망 기반 감지 처리부(160)는 데이터 벡터의 시계열 모델링을 수행하고(S111), 그 결과에 따라 이상패턴 여부를 판단할 수 있다(S113).
단계 S113의 이상패턴 여부 판단은 기 설정된 임계치(THD)에 기초하여 수행될 수 있다.
한편, 단계 S107 및 단계 S113의 판단 결과 이상 패턴으로 판단되는 경우, 사용자 인터페이스(170)를 통해 이상패턴이 감지되었음을 알리고(S115), 데이터베이스(180)에 대한 업데이트를 수행할 수 있다(S117).
이와 같이, 본 기술에서는 비수치적 데이터를 워드 임베딩 방법을 응용하여 벡터화함으로써, 효과적으로 데이터 차원을 축소시켜 모델링 결과의 일반화 능력 향상시킬 수 있다. 그리고, 비수치적 데이터를 직전 및 직후 데이터를 참조하여 벡터화함으로써 시계열성을 반영할 수 있다.
또한 HBKS를 이용한 전문가의 경험적 지식에 기반한 규칙과 신경망 학습 결과를 유기적으로 결합할 수 있다.
따라서 이상패턴이 나타나는 경우, 적용한 규칙을 이용하여 원인을 설명할 수 있다.
전문가(사용자)의 판단에 의한 이상패턴을 시스템에 등록하여 다음 감지부터 바로 적용할 수 있으며, 탐지 정확도에 대한 정책이 있는 경우(예를 들어 오탐 비율이 5% 이하 등)에 이를 HBKS를 이용하여 통계적으로 목표치에 수렴하도록 할 수 있다.
본 기술은 또한 신경망 방법에 기반하기 때문에 실시간에 가까운 이상패턴 감지가 가능하고 데이터에 필연적으로 나타나는 노이즈(오류)에 상대적으로 강하다.
아울러, 데이터 벡터화시 데이터 집합에 포함되어 있지 않은 데이터 값(Unseen 데이터)의 조합도 벡터화에 포함시킬 수 있으므로 모든 데이터 값의 조합에 대한 감시가 가능하다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 이상패턴 감지 시스템
110 : 컨트롤러
120 : 데이터 수신부
130 : 필터링부
140 : 규칙기반 감지 처리부
150 : 벡터화부
160 : 신경망기반 감지 처리부
170 : 사용자 인터페이스
180 : 데이터베이스
110 : 컨트롤러
120 : 데이터 수신부
130 : 필터링부
140 : 규칙기반 감지 처리부
150 : 벡터화부
160 : 신경망기반 감지 처리부
170 : 사용자 인터페이스
180 : 데이터베이스
Claims (23)
- 특정 시간 동안 수신되는 W개의 감지 대상 데이터 필드 각각으로부터 이상 패턴 감지에 필요한 키 데이터를 필터링하여 W개의 키데이터로 이루어지는 순서쌍을 구성하고, 상기 순서쌍에 대해 길이 w(1≤w≤W)인 서브 순서쌍을 각각 서브 키데이터로 구성하여, 상기 서브 순서쌍 및 상기 서브 순서쌍에 대한 통계치 데이터를 데이터베이스화하며, 상기 감지 대상 데이터 필드로부터 필터링한 감지 대상 키데이터가 상기 데이터베이스에 존재하는 경우 상기 통계치 데이터를 참조하여 이상패턴 여부를 판단하는 규칙기반 감지 처리부; 및
상기 감지 대상 키데이터가 상기 데이터베이스에 존재하지 않는 경우 상기 감지 대상 데이터 필드를 시계열 모델링하여 이상패턴 여부를 판단하는 신경망기반 감지 처리부;
를 포함하도록 구성되는 이상패턴 감지 시스템. - 제 1 항에 있어서,
상기 신경망기반 감지 처리부는, 상기 감지 대상 데이터 필드를 벡터화한 후 상기 시계열 모델링하도록 구성되는 이상패턴 감지 시스템. - 제 1 항에 있어서,
상기 규칙 기반 감지 처리부는, 특정 시간(t) 동안 수신되는 감지 대상 데이터 필드로부터 필터링한 키 데이터에 기초하여, 길이 W1의 감지 대상 순서쌍을 구성하고, 상기 감지 대상 순서쌍에 대해 길이 w1(1≤w1≤W1)인 서브 순서쌍을 각각 서브 키데이터로 구성하여, 상기 서브 키데이터 각각에 대해 상기 데이터베이스를 탐색하여 상기 감지 대상 데이터 필드의 이상 패턴 여부를 판단하는 이상패턴 감지 시스템. - 제 1 항에 있어서,
상기 이상패턴 감지 시스템은 상기 이상패턴 여부 판단 결과에 따라 상기 데이터베이스를 갱신하도록 구성되는 이상패턴 감지 시스템. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 규칙기반 감지 처리부는 상기 순서쌍 및 상기 서브 순서쌍을 구성하고 상기 서브 순서쌍에 대한 통계치 데이터를 상기 데이터베이스화하는 계층적 행위지식공간 처리부를 포함하도록 구성되는 이상패턴 감지 시스템. - 제 1 항에 있어서,
상기 규칙기반 감지 처리부는, 상기 신경망기반 감지 처리부의 판단 결과에 따라 기 설정된 유의 수준 임계치 및 신뢰율에 기초하여 상기 통계치 데이터를 조정하도록 구성되는 이상패턴 감지 시스템. - 제 1 항에 있어서,
상기 규칙기반 감지 처리부는, 상기 감지 대상 키 데이터가 참조된 돗수(a)에 대한 상기 감지 대상 키 데이터가 이상패턴으로 판별된 횟수(b)의 비율(b/a)을 이상패턴율이라 할 때,
상기 감지 대상 키 데이터가 참조된 돗수가 유의수준 임계치 미만이고 상기 감지 대상 키 데이터의 이상패턴율이 기 설정된 신뢰율 이상인 경우 이상패턴 후보임과, 관리자 또는 전문가의 판단이 필요함을 알리고,
상기 감지 대상 키 데이터가 참조된 돗수가 유의수준 임계치 미만이고 상기 감지 대상 키 데이터의 이상패턴율이 상기 신뢰율 미만인 경우 정상 패턴 후보임과, 관리자 또는 전문가의 판단이 필요함을 알리며,
상기 감지 대상 키 데이터가 참조된 돗수가 유의수준 임계치 이상이고 상기 감지 대상 키 데이터의 이상패턴율이 상기 신뢰율 이상인 경우 이상 패턴임을 알리고 원인에 대한 설명을 출력하고,
상기 감지 대상 키 데이터가 참조된 돗수가 상기 유의수준 임계치 이상이고 상기 감지 대상 키 데이터의 이상 패턴율이 상기 신뢰율 미만인 경우 정상 패턴 후보임과, 관리자 또는 전문가의 판단이 필요함을 알리도록 구성되는 이상패턴 감지 시스템. - 제 1 항에 있어서,
상기 신경망 기반 감지 처리부는 수신되는 데이터 필드를 모두 시계열에 따라 수치화하도록 구성되는 이상패턴 감지 시스템. - 제 1 항에 있어서,
상기 신경망 기반 감지 처리부는 수신되는 데이터 필드 중 비수치 데이터에 대한 모든 경우의 데이터 벡터를 생성하도록 구성되는 이상패턴 감지 시스템. - 제 1 항에 있어서,
상기 신경망 기반 감지 처리부는 수신되는 데이터 필드가 모두 수치 데이터인 경우 상기 수신되는 데이터 필드의 모두 또는 일부를 비수치적 데이터로 표현하도록 구성되는 이상패턴 감지 시스템. - 제 1 항에 있어서,
상기 통계치 벡터는 상기 키 데이터가 참조된 돗수 및 상기 키 데이터가 이상패턴으로 판별된 횟수에 대한 2차원 벡터인 이상패턴 감지 시스템. - 제 1 항에 있어서,
적어도 하나의 데이터 필드의 집합인 데이터를 수신하고 필터링하여 상기 규칙기반 감지 처리부 및 벡터화부로 제공하는 필터링부를 더 포함하도록 구성되는 이상패턴 감지 시스템. - 수신되는 감지 대상 데이터 필드에 대하여 규칙기반으로 이상패턴 여부를 판단하는 규칙기반 판단 단계;
상기 규칙기반으로 판단한 결과 이상패턴이 아닌 경우 상기 수신되는 데이터 필드를 벡터화하여 데이터 벡터를 생성하는 단계;
상기 데이터 벡터를 제공받아 신경망기반으로 이상패턴 여부를 판단하는 신경망기반 판단 단계; 및
상기 규칙기반 및 상기 신경망기반으로 판단한 결과 이상패턴으로 판단된 데이터 필드에 대한 정보를 저장하는 단계;
를 포함하고,
상기 규칙기반 판단 단계는, 특정 시간 동안 수신되는 W개의 상기 감지 대상 데이터 필드 각각으로부터 이상 패턴 감지에 필요한 키 데이터를 필터링하여 W개의 키데이터로 이루어지는 순서쌍을 구성하는 단계;
상기 순서쌍에 대해 길이 w(1≤w≤W)인 서브 순서쌍을 각각 서브 키데이터로 구성하는 단계;
상기 서브 순서쌍 및 상기 서브 순서쌍에 대한 통계치 데이터를 데이터베이스화하는 단계; 및
상기 감지 대상 데이터 필드로부터 필터링한 감지 대상 키데이터가 상기 데이터베이스에 존재하는 경우 상기 통계치 데이터를 참조하여 이상패턴 여부를 판단하는 단계;
를 포함하도록 구성되는 이상패턴 감지 방법. - 제 15 항에 있어서,
상기 규칙기반 판단 단계는, 특정 시간(t) 동안 수신되는 감지 대상 데이터 필드로부터 필터링한 키 데이터에 기초하여, 길이 W1의 감지 대상 순서쌍을 구성하는 단계;
상기 감지 대상 순서쌍에 대해 길이 w1(1≤w1≤W1)인 서브 순서쌍을 각각 서브 키데이터로 구성하는 단계; 및
상기 서브 키데이터 각각에 대해 상기 데이터베이스를 탐색하여 상기 감지 대상 데이터 필드의 이상 패턴 여부를 판단하는 단계;
를 더 포함하는 이상패턴 감지 방법. - 제 15 항에 있어서,
상기 데이터 벡터를 생성하는 단계는 수신되는 데이터 필드를 모두 시계열에 따라 수치화하도록 구성되는 이상패턴 감지 방법. - 제 15 항에 있어서,
상기 데이터 벡터를 생성하는 단계는 수신되는 데이터 필드 중 비수치 데이터에 대한 모든 경우의 데이터 벡터를 생성하도록 구성되는 이상패턴 감지 방법. - 제 15 항에 있어서,
상기 데이터 벡터를 생성하는 단계는 수신되는 데이터 필드가 모두 수치 데이터인 경우 상기 수신되는 데이터 필드의 모두 또는 일부를 비수치적 데이터로 표현하도록 구성되는 이상패턴 감지 방법. - 제 15 항에 있어서,
상기 데이터 벡터를 생성하는 단계 이후, 상기 데이터 벡터를 시계열 모델링하는 단계를 더 포함하도록 구성되는 이상패턴 감지 방법. - 제 15 항에 있어서,
상기 저장하는 단계는, 상기 이상패턴으로 판단된 데이터 필드에 대응하는 키데이터 및 통계치 벡터를 저장하는 단계를 포함하는 이상패턴 감지 방법. - 제 15 항에 있어서,
상기 신경망기반 판단 단계 이후, 상기 신경망기반 판단 결과에 따라 기 설정된 유의 수준 임계치 및 신뢰율에 기초하여 상기 통계치 데이터를 조정하도록 구성되는 이상패턴 감지 방법. - 제 15 항에 있어서,
상기 데이터베이스를 탐색하여 상기 감지 대상 데이터 필드의 이상 패턴 여부를 판단하는 단계는, 상기 감지 대상 키 데이터가 참조된 돗수(a)에 대한 상기 감지 대상 키 데이터가 이상패턴으로 판별된 횟수(b)의 비율(b/a)을 이상패턴율이라 할 때,
상기 감지 대상 키 데이터가 참조된 돗수가 유의수준 임계치 미만이고 상기 감지 대상 키 데이터의 이상패턴율이 기 설정된 신뢰율 이상인 경우 이상패턴 후보임과, 관리자 또는 전문가의 판단이 필요함을 알리는 단계;
상기 감지 대상 키 데이터가 참조된 돗수가 유의수준 임계치 미만이고 상기 감지 대상 키 데이터의 이상패턴율이 상기 신뢰율 미만인 경우 정상 패턴 후보임과, 관리자 또는 전문가의 판단이 필요함을 알리는 단계;
상기 감지 대상 키 데이터가 참조된 돗수가 유의수준 임계치 이상이고 상기 감지 대상 키 데이터의 이상패턴율이 상기 신뢰율 이상인 경우 이상 패턴임을 알리고 원인에 대한 설명을 출력하는 단계; 및
상기 감지 대상 키 데이터가 참조된 돗수가 상기 유의수준 임계치 이상이고 상기 감지 대상 키 데이터의 이상 패턴율이 상기 신뢰율 미만인 경우 정상 패턴 후보임과, 관리자 또는 전문가의 판단이 필요함을 알리는 단계;
를 더 포함하도록 구성되는 이상패턴 감지 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160181252A KR102031123B1 (ko) | 2016-12-28 | 2016-12-28 | 이상패턴 감지 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160181252A KR102031123B1 (ko) | 2016-12-28 | 2016-12-28 | 이상패턴 감지 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180076753A KR20180076753A (ko) | 2018-07-06 |
| KR102031123B1 true KR102031123B1 (ko) | 2019-11-08 |
Family
ID=62921503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160181252A KR102031123B1 (ko) | 2016-12-28 | 2016-12-28 | 이상패턴 감지 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102031123B1 (ko) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020114923A1 (en) | 2018-12-03 | 2020-06-11 | British Telecommunications Public Limited Company | Remediating software vulnerabilities |
| US11973778B2 (en) | 2018-12-03 | 2024-04-30 | British Telecommunications Public Limited Company | Detecting anomalies in computer networks |
| WO2020114921A1 (en) | 2018-12-03 | 2020-06-11 | British Telecommunications Public Limited Company | Detecting vulnerability change in software systems |
| WO2020114920A1 (en) | 2018-12-03 | 2020-06-11 | British Telecommunications Public Limited Company | Detecting vulnerable software systems |
| KR102279983B1 (ko) * | 2018-12-28 | 2021-07-21 | 성균관대학교산학협력단 | 딥러닝 알고리즘을 이용한 비지도 방식의 네트워크 침입 탐지 방법 및 이를 실행하기 위한 프로그램이 기록된 기록매체 |
| KR102200809B1 (ko) * | 2019-04-01 | 2021-01-12 | 주식회사 엘렉시 | 학습기반 데이터 처리 시스템 및 모델 갱신 방법 |
| KR102312160B1 (ko) * | 2019-11-15 | 2021-10-13 | 인하대학교 산학협력단 | 클러스터링 번호 시퀀스와 딥러닝을 이용한 시계열 예측 방법 및 장치 |
| KR102583303B1 (ko) * | 2020-05-20 | 2023-09-26 | 주식회사 유에프오에스트로넛 | 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법 |
| KR102222072B1 (ko) * | 2020-12-04 | 2021-03-03 | 주식회사 엘렉시 | 학습기반 데이터 처리 시스템 및 모델 갱신 방법 |
| KR20230011117A (ko) | 2021-07-13 | 2023-01-20 | 서강대학교산학협력단 | 자기 지도 학습을 기반으로 한 시계열 데이터의 이상탐지 시스템 및 이상 탐지 방법 |
| KR102646586B1 (ko) | 2021-11-16 | 2024-03-12 | 타이아(주) | 이상패턴 감지 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030055796A1 (en) * | 2001-08-29 | 2003-03-20 | Honeywell International Inc. | Combinatorial approach for supervised neural network learning |
| KR100684602B1 (ko) * | 2006-05-16 | 2007-02-22 | 어울림정보기술주식회사 | 세션 상태전이를 이용한 시나리오 기반 침입대응 시스템 및그 방법 |
| KR101563511B1 (ko) * | 2015-07-10 | 2015-10-27 | (주)유엠로직스 | 시계열 기반 서포트 벡터의 추세분석기법을 이용한 보안사고 이상 징후 탐지 시스템 및 그 방법 |
-
2016
- 2016-12-28 KR KR1020160181252A patent/KR102031123B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030055796A1 (en) * | 2001-08-29 | 2003-03-20 | Honeywell International Inc. | Combinatorial approach for supervised neural network learning |
| KR100684602B1 (ko) * | 2006-05-16 | 2007-02-22 | 어울림정보기술주식회사 | 세션 상태전이를 이용한 시나리오 기반 침입대응 시스템 및그 방법 |
| KR101563511B1 (ko) * | 2015-07-10 | 2015-10-27 | (주)유엠로직스 | 시계열 기반 서포트 벡터의 추세분석기법을 이용한 보안사고 이상 징후 탐지 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180076753A (ko) | 2018-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102031123B1 (ko) | 이상패턴 감지 시스템 및 방법 | |
| Mukherjee et al. | State splitting and merging in probabilistic finite state automata for signal representation and analysis | |
| d'Aspremont et al. | First-order methods for sparse covariance selection | |
| US8839441B2 (en) | Method and system for adaptive vulnerability scanning of an application | |
| Wang et al. | Reform: Error-aware few-shot knowledge graph completion | |
| JP2015166962A (ja) | 情報処理装置、学習方法、及び、プログラム | |
| KR102320706B1 (ko) | 설비 모니터링 시스템의 모델 임계값 설정 방법 | |
| Munikoti et al. | Scalable graph neural network-based framework for identifying critical nodes and links in complex networks | |
| CN112527273A (zh) | 一种代码补全方法、装置以及相关设备 | |
| CN104112181A (zh) | 一种基于层次分析法的信息安全贝叶斯网络评估方法 | |
| KR102270202B1 (ko) | 설비 모니터링 시스템의 모델 업데이트 방법 | |
| CN110321430B (zh) | 域名识别和域名识别模型生成方法、装置及存储介质 | |
| Kontkanen et al. | On predictive distributions and Bayesian networks | |
| CN111914516A (zh) | 一种网络数据预测序列生成方法、装置、设备及存储介质 | |
| WO2021204365A1 (en) | Device and method for monitoring communication networks | |
| Adenis et al. | State splitting and state merging in probabilistic finite state automata | |
| Krebs et al. | Functional central limit theorems for persistent Betti numbers on cylindrical networks | |
| CN110807476B (zh) | 一种密码安全等级分类方法、装置及电子设备 | |
| CN114548300B (zh) | 解释业务处理模型的业务处理结果的方法和装置 | |
| Zhao et al. | Sparse recovery over graph incidence matrices | |
| JP2022549407A (ja) | レジーム・シフトの識別及び分析のための方法及びシステム | |
| CN116663018A (zh) | 一种基于代码可执行路径的漏洞检测方法及装置 | |
| US20220230262A1 (en) | Patent assessment method based on artificial intelligence | |
| US20220172068A1 (en) | Method For Classifying Facility Fault Of Facility Monitoring System | |
| Chareka et al. | A study of fitness functions for data classification using grammatical evolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |