KR102389094B1 - 이상 패턴 감지 시스템 및 방법 - Google Patents

이상 패턴 감지 시스템 및 방법 Download PDF

Info

Publication number
KR102389094B1
KR102389094B1 KR1020210104767A KR20210104767A KR102389094B1 KR 102389094 B1 KR102389094 B1 KR 102389094B1 KR 1020210104767 A KR1020210104767 A KR 1020210104767A KR 20210104767 A KR20210104767 A KR 20210104767A KR 102389094 B1 KR102389094 B1 KR 102389094B1
Authority
KR
South Korea
Prior art keywords
pattern
input data
learning model
data
abnormal
Prior art date
Application number
KR1020210104767A
Other languages
English (en)
Other versions
KR20210102135A (ko
Inventor
서장원
Original Assignee
주식회사 엘렉시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘렉시 filed Critical 주식회사 엘렉시
Priority to KR1020210104767A priority Critical patent/KR102389094B1/ko
Publication of KR20210102135A publication Critical patent/KR20210102135A/ko
Application granted granted Critical
Publication of KR102389094B1 publication Critical patent/KR102389094B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447Performance evaluation by modeling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0754Error or fault detection not based on redundancy by exceeding limits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81Threshold

Abstract

본 기술의 일 실시예에 의한 이상 패턴 감지 시스템은 적어도 하나의 서버와 접속되는 이상 감지 장치를 포함하고, 이상 감지 장치는, 정상 패턴 및 정상 패턴과 구분하지 않은 이상 패턴을 포함하는 제 1 입력 데이터전부를 정상 패턴으로 취급하고 모두 학습하여, 정상 패턴을 표현한 학습 모델을 생성하고, 학습 모델에 기초하여 추론 대상 제 2 입력 데이터로부터 이상 패턴을 검출하도록 구성되는 이상 탐지부를 포함하도록 구성될 수 있다.

Description

이상 패턴 감지 시스템 및 방법{System and Method for Detection of Anomaly Pattern}
본 기술은 이상 감지 기술에 관한 것으로, 보다 구체적으로는 신경망을 이용한 이상 패턴 감지 시스템 및 방법에 관한 것이다.
이상 패턴이란 다른 데이터와 다른 양상을 띄는 의심스러운 데이터로, 잡음 데이터와 구별하여 추출해 내야 할 관심 대상 데이터이다.
컴퓨팅 시스템 운영, 보안 시스템, 제조업에서의 공정 데이터 관리 등에 이상 패턴 감지 기술이 활용되고 있다. 통계 모델링과 머신 러닝을 기반으로 입력 데이터에서 예기치 못한 이상 패턴을 자동으로 찾아 비정상 행위를 구분하는 기술이 연구되고 있다.
머신 러닝 기반의 이상 탐지 기술은 정상 패턴과 이상 패턴의 출현 빈도수의 차이로 인해 훈련 데이터를 확보하기 어렵다. 즉, 이상 패턴으로 규정할 사례가 매우 적으므로, 이상 패턴을 구분할 수 있는 명확한 변수나 특징을 확정할 수 없어 정상 패턴과 이상 패턴을 구분할 수 없다.
또한 매우 드물게 출현하는 이상 패턴을 태깅해야 하므로 리소스가 많이 소모된다.
이상 패턴을 감지하기 위한 선행 기술로 정지원 등의 논문 "IoT 디바이스 환경에서 Auto encoder 기반 이상 감지 기법 구현, 한국정보과학회 학술발표논문집, 1845-1846 Pages (2018.12)"(이하, 선행문헌 1)가 공지되어 있다.
선행문헌 1은 MNIST 트레이닝 세트의 이미지 중 특정 숫자를 이상패턴으로 특정하여 미리 제거하여 학습한다. 따라서, 특정 이상패턴을 정상 패턴과 분류하는 과정이 선행되어야 한다.
선행문헌 1에 “일반적인 noise가 있는 이상 현상의 경우, Threshold 설정에 따라 감지가 용이”해진다는 기재로부터 알 수 있듯이, 선행문헌 1은 어느 정도로 노이즈가 추가될 때까지 정상 패턴으로 분류되는지 테스트하는 것으로, 노이즈가 추가된 패턴을 이상패턴으로 취급하는 것은 아니다.
결국, 선행문헌 1은 특정 이상패턴 검출을 위한 학습 모델을 생성하기 위해 이상패턴을 미리 분류하고 트레이닝 세트에서 제외시켜야 하므로 이에 따른 시간, 노력, 컴퓨팅 자원 등이 소모되는 문제점이 있다.
본 기술의 실시예는 이상 패턴을 태깅하지 않고도, 즉 정상 패턴과 이상패턴을 구분하지 않고 모두 다 정상 패턴으로 취급하여 학습하고 학습 모델을 생성함으로써, 정상 패턴에 비해 출현 빈도가 낮은 이상 패턴인 불특정 이상패턴을 용이하고 정확하게 구분할 수 있는 이상 패턴 감지 시스템 및 방법을 제공할 수 있다.
본 기술의 일 실시예에 의한 이상 패턴 감지 시스템은 적어도 하나의 서버와 접속되는 이상 감지 장치를 포함하고, 상기 이상 감지 장치는, 정상 패턴 및 상기 정상 패턴과 구분하지 않은 이상 패턴을 포함하는 제 1 입력 데이터 전부를 정상 패턴으로 취급하고 모두 학습하여, 상기 정상 패턴을 표현한 학습 모델을 생성하고, 상기 학습 모델에 기초하여 추론 대상 제 2 입력 데이터로부터 이상 패턴을 검출하도록 구성되는 이상 탐지부를 포함하도록 구성될 수 있다.
본 기술의 일 실시예에 의한 어플리케이션은 정상 패턴 및 상기 정상 패턴과 구분하지 않은 이상 패턴을 포함하는 제 1 입력 데이터 전부를 정상 패턴으로 취급하고 모두 학습하여, 상기 정상 패턴을 표현한 학습 모델을 생성하는 기능; 및 상기 학습 모델에 기초하여 추론 대상 제 2 입력 데이터로부터 이상 패턴을 검출하는 기능;을 실행시키기 위하여 매체에 저장된 어플리케이션일 수 있다.
본 기술의 일 실시예에 의한 이상 패턴 감지 방법은 적어도 하나의 서버와 접속되는 이상 감지 장치의 이상 패턴 감지 방법으로서, 상기 이상 감지 장치가, 정상 패턴 및 상기 정상 패턴과 구분하지 않은 이상 패턴을 포함하는 제 1 입력 데이터 전부를 정상 패턴으로 취급하고 모두 학습하여 상기 정상 패턴을 표현한 학습 모델을 생성하는 단계; 및 상기 이상 감지 장치가, 상기 학습 모델에 기초하여 추론 대상 제 2 입력 데이터로부터 이상 패턴을 검출하는 단계;를 포함하도록 구성될 수 있다.
본 기술에 의하면 정상 패턴과 이상 패턴이 출현 빈도에 큰 격차가 있음에 착안하여 이상 패턴을 별도로 태깅하지 않고도 이상 패턴을 자동으로 탐지할 수 있다.
본 기술은 금융권의 부정행위 적발(fraud detection), 고장예지진단 (Prognosis), DRM 위해성 모니터링(Digital Right Management Risk Monitoring), 네트워크 침입(Intrusion) 모니터링 등 다양한 이상 패턴 검출에 응용될 수 있다.
도 1은 일 실시예에 의한 이상 패턴 감지 시스템의 구성도이다.
도 2는 일 실시예에 의한 이상 감지 장치의 구성도이다.
도 3은 일 실시예에 의한 이상 탐지부의 구성도이다.
도 4는 일 실시예에 의한 신경망 모델의 개념도이다.
도 5는 일 실시예에 의한 이상 패턴 감지 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 의한 이상 패턴 감지 시스템의 구성도이다.
이하, 첨부된 도면을 참조하여 본 기술의 실시예를 보다 구체적으로 설명한다.
도 1은 일 실시예에 의한 이상 패턴 감지 시스템의 구성도이다.
도 1을 참조하면, 일 실시예에 의한 이상 패턴 감지 시스템(10)은 이상 감지 장치(100) 및 이와 통신망(200)을 통해 접속되는 서버들(300)을 포함할 수 있다.
서버들(300)은 적어도 하나의 서버(서버0~서버n)의 집합이며, 금융기관 서버, 의료기관 서버, 클라우드 서버, 기업 서버, 어플리케이션 서비스 제공 서버 등 이상 패턴의 탐지를 희망하는 다양한 서버가 포함될 수 있다.
이상 감지 장치(100)는 서버들(300)로부터 감시 대상 데이터를 제공받아 학습할 수 있다. 일 실시예에서, 이상 감지 장치(100)는 감시 대상 데이터를 모두 정상 패턴이라 가정하고 학습을 수행하여 학습 모델을 생성할 수 있다. 이상 감지 장치(100)는 학습 모델을 이용하여 감시 대상 데이터로부터 출력 데이터를 생성하고, 감시 대상 데이터와 이로부터 생성한 출력 데이터를 비교하여 감시 대상 데이터가 정상 패턴인지 이상 패턴인지 판단할 수 있다.
이상 감지 장치(100)가 감시 대상 데이터를 모두 정상 패턴으로 가정함에 따라, 이상 감지 장치(100)는 이상 패턴을 별도로 학습하거나 태깅할 필요가 없다.
데이터에 기반한 인공지능의 학습 방법은 많이 본, 많이 입력된 데이터에 대해 많이 배우도록 작동한다. 비슷한 데이터에 대해서도 마찬가지로, 비슷한 데이터를 많이 볼수록 그 부류에 속하는 비슷한 데이터에 대해서는 많이 학습하도록 작동한다.
따라서, 출현 빈도가 높은 정상 패턴에 대해서는 많이, 잘 학습하는 반면, 출현 빈도가 낮은 이상 패턴인 불특정 이상패턴에 대해서는 학습할 수 없거나 덜 학습하게 된다.
그러므로 본 기술에 의하면, 감시 대상 데이터가 학습 모델로 표현되어 있는 학습한 데이터와 유사하면 정상 패턴으로, 유사도가 낮으면 이상 패턴으로 간주할 수 있다.
도 2는 일 실시예에 의한 이상 감지 장치의 구성도이다.
도 2를 참조하면, 이상 감지 장치(100)는 컨트롤러(110), 메모리(120), 통신망 인터페이스(130), 사용자 인터페이스(140) 및 이상 탐지부(150)를 포함할 수 있다.
컨트롤러(110)는 이상 감지 장치(100)의 동작 전반을 제어할 수 있다.
메모리(120)는 ROM 및 RAM을 포함할 수 있고, 이상 감지 장치(100)의 동작에 필요한 각종 시스템 데이터, 펌웨어 코드, 소프트웨어 코드 등이 저장 및 로딩될 수 있다.
컨트롤러(110)는 메모리(120)에 저장 및 로딩된 펌웨어 또는 소프트웨어와 같은 코드 형태의 명령 또는 알고리즘을 해독 및 구동하여 이상 감지 장치(100)의 제반 동작을 제어할 수 있다.
통신망 인터페이스(130)는 서버들(300)과 이상 감지 장치(100)가 기 설정된 프토토콜에 의해 데이터를 송수신할 수 있는 환경을 제공할 수 있다.
사용자 인터페이스(140)는 이상 감지 장치(100) 운용자 또는 작업자가 이상 감지 장치(100)에 접근할 수 있는 입력 인터페이스 및 이상 감지 장치(100)의 동작 상황 및 결과를 운용자 또는 작업자에게 제공할 수 있는 출력 인터페이스를 포함할 수 있다. 입력 인터페이스는 마우스, 키보드, 터치 입력 장치 등과 같은 입력 장치 중 적어도 하나를 포함할 수 있고, 출력 인터페이스는 모니터, 스피커, 프린터 등과 같은 출력 장치 중 적어도 하나를 포함할 수 있다.
이상 탐지부(150)는 컨트롤러(110)의 제어에 따라 통신망 인터페이스(130)를 통해 제공되는 감시 대상 데이터를 학습하는 한편 감시 대상 데이터로부터 이상 패턴을 탐지하도록 구성될 수 있다.
일 실시예에서, 이상 탐지부(150)는 감시 대상 데이터를 모두 정상 패턴으로 간주하고 학습을 수행하도록 구성될 수 있다. 감시 대상 데이터를 모두 정상 패턴으로 간주함에 따라 상대적으로 출현 빈도가 높은 정상 패턴에 대한 학습률이 높고 결과적으로 정상 패턴을 표현한 학습 모델을 생성할 수 있다. 따라서 상대적으로 출현 빈도가 낮은 불특정 이상 패턴의 모델링 결과는 학습 모델과 유사도가 낮을 수밖에 없으므로 이상 패턴을 자동으로 탐지해 낼 수 있다.
도 3은 일 실시예에 의한 이상 탐지부의 구성도이다.
도 3을 참조하면, 일 실시예에 의한 이상 탐지부(150)는 입력부(151), 모델링부(153) 및 판단부(155)를 포함할 수 있다.
입력부(151)는 입력되는 모든 감시 대상 데이터에 대해 전처리를 수행하도록 구성될 수 있다. 일 실시예에서, 입력부(151)가 수행하는 전처리 과정은 입력 데이터들의 특징 범위를 기 설정된 범위 내로 보정하는 정규화 과정일 수 있으나 이에 한정되는 것은 아니다.
모델링부(153)는 정규화된 모든 데이터를 제공받아 학습하여 입력 데이터(
Figure 112021091742189-pat00001
)와 유사한, 또는 입력 데이터에 근사한 출력 데이터(
Figure 112021091742189-pat00002
)를 생성하도록 구성될 수 있다. 모델링부(153)는 또한 학습 결과로 생성된 가중치 등의 파라미터(y)를 저장할 수 있다.
일 실시예에서, 모델링부(153)는 학습 모드에서 입력 데이터(
Figure 112021091742189-pat00003
)가 모두 정상 패턴이라 가정하고 학습 모델을 생성할 수 있다. 즉, 정상 패턴을 표현한 학습 모델을 생성할 수 있다.
일 실시예에서, 모델링부(153)는 추론 모드에서 입력되는 감시 대상 데이터를 학습 모드에서 생성한 학습 모델로 학습하여 입력 감시 대상 데이터와 근사하게 모델링된 출력 데이터를 생성할 수 있다.
일 실시예에서, 모델링부(153)는 오토 인코더를 이용하여 구성할 수 있다.
오토 인코더는 심층 신경망 기반의 비지도 학습 모델로, 신경망 두 개를 붙여 놓은 형태이다. 입력 쪽의 신경망은 인코더, 출력 쪽의 신경망은 디코더로 작용하여, 인코더를 통해 입력 데이터의 특징을 추출하고 추출된 특징을 이용하여 디코더가 원본 데이터를 재생성해 낸다.
도 4는 일 실시예에 의한 신경망 모델의 개념도로서, 오토 인코더의 개념도를 나타낸다.
입력층(IN, 401)은 N 개의 뉴런(노드)으로 구성되어 입력 데이터(
Figure 112021091742189-pat00004
)를 제공받도록 구성될 수 있다. 입력층(401)의 뉴런의 개수(N)는 입력 데이터의 차원 수와 같다.
인코더(ENCODER, 403)는 적어도 하나의 히든 레이어를 포함하며, 입력 데이터(
Figure 112021091742189-pat00005
)의 차원을 축소하여 특징 데이터를 출력하도록 구성될 수 있다. 인코더(401)를 구성하는 히든 레이어 각각을 구성하는 뉴런의 개수는 입력층(401)을 구성하는 뉴런의 개수(N)와 같거나, 또는 크거나, 또는 작은 개수일 수 있다.
코딩층(CODING, 405)은 인코더(403)의 차원 축소에 따른 특징 데이터를 제공받도록 구성될 수 있다. 즉, 코딩층(405)에 인가되는 데이터는 인코더(403)에 의해 입력 데이터(
Figure 112021091742189-pat00006
)의 차원을 축소한 데이터가 된다.
디코더(DECODER, 407)는 코딩층(405)에 전달된 특징 데이터를 이용하여 입력 데이터를 재생성한 출력 데이터(
Figure 112021091742189-pat00007
)를 출력하도록 구성될 수 있다. 디코더(407)는 적어도 하나의 히든 레이어를 포함할 수 있다.
디코더(407)는 인코더(403)와 동일한 구조를 갖도록 구성되고, 인코더(403)와 디코더(407)의 가중치(파라미터)가 동일하도록 학습이 수행될 수 있다.
출력층(OUT, 409)는 입력층(401)과 동일한 N 개의 뉴런으로 이루어지며 입력 데이터(
Figure 112021091742189-pat00008
)와 유사하게 모델링된 출력 데이터(
Figure 112021091742189-pat00009
)를 출력하도록 구성될 수 있다.
입력 데이터가 인코더(401) 및 디코더(407)를 거치는 과정에서 입력 데이터(
Figure 112021091742189-pat00010
)와 출력 데이터(
Figure 112021091742189-pat00011
)가 최대한 같아지도록 학습함으로써 입력 데이터의 특징을 잘 추출할 수 있게 하는 것이 오토 인코더의 원리라 할 수 있다.
이와 같이, 오토 인코더는 입력 데이터와 출력 데이터를 같게 하는 신경망이며, 인코더(403) 입력층(401)으로 입력되는 입력 데이터(
Figure 112021091742189-pat00012
)와 출력층(409)으로부터 출력되는 출력 데이터(
Figure 112021091742189-pat00013
)의 차원 수가 동일하고, 입력층(401)과 출력층(409)보다 작은 차원으로 코딩층(405)에서 입력 데이터(
Figure 112021091742189-pat00014
)를 표현하는 것이 특징이다.
오토 인코더를 이용한 학습 과정을 간략히 설명하면 다음과 같다.
*먼저, 인코더(403)를 통해 입력 데이터(
Figure 112021091742189-pat00015
)의 차원이 축소되어 인코딩된 데이터가 코딩층(405)에 출력된다. 디코더(407)는 코딩층(405)에 인가된 특징 데이터를 디코딩하여 입력 데이터(
Figure 112021091742189-pat00016
)와 동일한 차원을 가지며 입력 데이터(
Figure 112021091742189-pat00017
)와 근사한 출력 데이터(
Figure 112021091742189-pat00018
)를 생성한다.
출력 데이터(
Figure 112021091742189-pat00019
)에 포함된 에러를 최소화시키고 최소화된 에러값을 인코더(403)로 역전파하여 가중치, 바이어스 등과 같은 파라미터를 조정한다. 이러한 과정을 수 회 반복하면서 최적의 특징을 추출해 낸다.
오토 인코더를 이용하면 입력 데이터를 압축할 수 있고 입력 데이터로부터 잡음을 효과적으로 제거할 수 있다. 따라서 입력 데이터에 잡음이 추가되더라도 입력 데이터가 갖는 특징을 잘 추출할 수 있는 장점이 있다.
다시 도 3을 참조하면, 학습 모드시 모델링부(153)가 입력 데이터와 유사한 출력 데이터가 생성되도록 파라미터를 학습하여 학습 모델이 생성되고, 추론 모드시 학습 모드에서 학습한 파라미터에 따라, 즉 학습 모델로 모델링된 감시 대상 데이터를 모델링하여 출력 데이터(
Figure 112021091742189-pat00020
)가 생성될 수 있다.
판단부는 감시 대상 데이터인 입력 데이터(
Figure 112021091742189-pat00021
)와 모델링부(153)에서 생성되는 출력 데이터(
Figure 112021091742189-pat00022
)를 비교하여 입력 데이터(
Figure 112021091742189-pat00023
)가 정상 패턴인지 이상 패턴인지 판단하도록 구성될 수 있다.
일 실시예에서, 판단부(157)는 입력 데이터(
Figure 112021091742189-pat00024
)로부터 생성한 출력 데이터(
Figure 112021091742189-pat00025
) 간의 유사도를 측정하는 다양한 방법, 예를 들어 유클리디안 거리 측정법, 코사인 유사도 측정법 등과 같은 다양한 유사도 측정법 중에서 선택된 방법을 이용하여 입력 데이터의 정상 패턴 여부를 판단할 수 있다.
따라서, 학습 모드에서 입력 데이터를 오토 인코더로 모델링하여 입력 데이터와 유사한 출력 데이터를 생성하도록 파라미터를 학습하여 모델링한다. 이후, 추론 모드에서 학습 모델을 이용하여 입력 데이터로부터 출력 데이터를 생성하고, 입력 데이터와 출력 데이터를 비교하여 이상 패턴을 탐지할 수 있다. 또한, 추론 모드에서의 입력 데이터 또한 파라미터를 업데이트하는 데 이용될 수 있다.
도 5는 일 실시예에 의한 이상 패턴 감지 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 이상 탐지부(150)는 학습 모드 및 추론 모드로 동작할 수 있다.
학습 모드에서, 이상 탐지부(150)는 감시 대상 데이터를 모두 제공받아 전처리할 수 있다(S101).
그리고, 전처리된 데이터를 모두 정상 패턴이라 가정하고 학습하여 학습 모델을 생성할 수 있다(S103). 학습 모델을 생성하기 위하여, 이상 탐지부(150)는 상술한 오토 인코더를 이용하여 출력 데이터가 입력 데이터와 유사한 값을 갖도록 입력 데이터를 모델링할 수 있다.
학습 모드는 반복 수행되어 입력 데이터로부터 최적의 특징이 추출될 수 있다.
추론 모드에서, 이상 탐지부(150)는 전처리된 입력데이터로부터 출력 데이터를 생성할 수 있다(S105). 출력 데이터를 생성하기 위하여, 이상 탐지부(150)는 학습 모드에서와 마찬가지로 오토 인코더를 이용하여 입력 데이터에 근사한 출력 데이터를 생성할 수 있다.
출력 데이터가 생성되면, 이상 탐지부(150)는 입력 데이터와 출력 데이터 간의 유사도를 비교할 수 있다(S107). 비교 결과, 유사도가 기 설정된 임계치(TH)보다 높으면 정상 패턴으로(S109), 그렇지 않으면 이상 패턴으로 판단할 수 있다(S111).
도 6은 일 실시예에 의한 이상 패턴 감지 시스템의 구성도이다.
도 6을 참조하면, 일 실시예에 의한 이상 패턴 감지 시스템(20)는 서버 컴퓨팅 장치(310) 내에 구비되는 이상 탐지부(150-1)를 포함할 수 있다. 이상 탐지부(150-1)는 서버 컴퓨팅 장치(310)에 내장되거나 인터페이스 포트를 통해 접속되거나, 서버 컴퓨팅 장치(310)에서 실행 가능하도록 응용 프로그램 형태로 제작되어 저장 매체에 저장될 수 있다.
이상 탐지부(150-1)는 외부 장치로부터 서버 컴퓨팅 장치(310)로 입력되는 감시 대상이 되는 모든 데이터, 또는 서버 컴퓨팅 장치(310) 내부에서 생성되는 감시 대상이 되는 모든 데이터를 입력받아 학습 모드 및 추론 모드로 동작하여 이상 패턴을 탐지할 수 있다.
이상 탐지부(150-1)는 도 3에 도시한 이상 탐지부(150)와 실질적으로 동일한 구성을 가질 수 있다.
따라서, 외부 또는 내부에서 생성되는 감시대상 데이터를 모두 정상 패턴으로 가정하고, 비지도 학습 방법에 의해 입력 데이터와 유사한 출력 데이터를 생성하여 학습 모델을 생성할 수 있다. 한편, 감시 대상 데이터를 학습 모델로 학습한 출력 데이터와 입력된 감시 대상 데이터터를 비교하여, 유사도가 높은 경우에는 정상 패턴으로(T), 유사도가 낮은 경우에는 이상 패턴으로(F) 판단할 수 있다.
본 기술에서는 비지도 학습 기반의 오토 인코더를 사용함에 있어서, 입력 데이터가 모두 정상 패턴인 것으로 가정하고 학습하므로, 이상 패턴에 대한 태깅이 불필요하여 리소스를 절약할 수 있다.
특히, 이상 패턴은 정상 패턴에 비해 출현 빈도가 낮아 학습이 어려우나, 본 기술에 의라면 이상 패턴을 별도로 학습하지 않고도 정상 패턴으로부터 구분해 낼 수 있다.
이상 탐지부(150, 150-1)의 기능은 컴퓨팅 장치에서 실행시키기 위하여 매체에 저장될 수 있다.
이상패턴이 빈번히 발생하는 경우에는 이상패턴의 특징을 구분하여 특정할 수 있으므로, 다발하는 이상패턴은 "특정 이상패턴"이라 지칭할 수 있다. 반면, 이상패턴 발생률이 낮은 경우에는 그 특징을 특정할 수 없으므로, 출현 빈도가 낮은 이상패턴은 "불특정 이상패턴"이라 지칭할 수 있다.
본 기술과 같이, 정상 패턴 및 정상 패턴과 구분하지 않은 이상 패턴을 포함하는 입력 데이터 전부를 정상 패턴으로 취급하고 오토 인코더를 이용하여 모두 학습함으로써, 이상패턴 발생률이 낮은 경우에도 불특정 이상패턴을 우수한 성능으로 감지할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10, 20 : 이상 패턴 탐지 시스템
100 : 이상 감지 장치
200 : 통신망
300 : 서버 그룹
150, 150-1 : 이상 탐지부

Claims (12)

  1. 적어도 하나의 서버와 접속되는 이상 감지 장치를 포함하고,
    상기 이상 감지 장치는, 정상 패턴 및 상기 정상 패턴과 구분하지 않은 이상 패턴을 포함하는 제 1 입력 데이터 전부를 정상 패턴으로 취급하고 모두 학습하여, 상기 정상 패턴을 표현한 학습 모델을 생성하고, 상기 학습 모델에 기초하여 추론 대상 제 2 입력 데이터로부터 이상 패턴을 검출하기 위하여 상기 제 2 입력 데이터의 추론 결과와 상기 제 2 입력 데이터 간의 유사도를 측정하도록 구성되는 이상 탐지부를 포함하도록 구성되고,
    상기 이상 탐지부는 상기 유사도가 설정된 임계치보다 높으면 정상 패턴으로 판단하고 상기 유사도가 설정된 임계치 이하이면 이상 패턴으로 판단하는 이상 패턴 감지 시스템.
  2. 제 1 항에 있어서,
    상기 이상 탐지부는,
    상기 제 1 입력 데이터로부터 특징을 추출하고, 상기 추출한 특징에 기초하여 상기 제 1 입력 데이터와 근사한 출력 데이터를 생성하도록 파라미터를 학습하여 상기 학습 모델을 생성하는 모델링부; 및
    상기 제 2 입력 데이터가 상기 모델링부로 제공되어 상기 학습 모델로 모델링된 상기 출력 데이터가 생성됨에 따라, 상기 제 2 입력 데이터와 상기 출력 데이터를 비교하여 이상 패턴을 탐지하는 판단부;
    를 포함하도록 구성되는 이상 패턴 감지 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 이상 탐지부는, 상기 제 1 입력 데이터 또는 상기 제 2 입력 데이터로부터 특징 데이터를 추출하는 인코더; 및
    상기 추출한 특징 데이터에 기초하여 상기 제 1 입력 데이터 또는 상기 제 2입력 데이터를 디코딩한 출력 데이터를 생성하는 디코더;
    를 포함하도록 구성되는 이상 패턴 감지 시스템.
  4. 제 2 항에 있어서,
    상기 판단부는, 상기 제 2 입력 데이터와 상기 출력 데이터 간의 상기 유사도에 기초하여 상기 이상 패턴을 탐지하도록 구성되는 이상 패턴 감지 시스템.
  5. 제 2 항에 있어서,
    상기 이상 탐지부는, 상기 제 1 입력 데이터를 모델링하여 상기 학습 모델을 생성하는 오토 인코더를 포함하도록 구성되는 이상 패턴 감지 시스템.
  6. 제 1 항에 있어서,
    상기 이상 감지 장치는 상기 적어도 하나의 서버와 통신망을 통해 접속되는 이상 패턴 감지 시스템.
  7. 제 1 항에 있어서,
    상기 이상 감지 장치는 상기 적어도 하나의 서버 내에 각각 구비되는 이상 패턴 감지 시스템.
  8. 정상 패턴 및 상기 정상 패턴과 구분하지 않은 이상 패턴을 포함하는 제 1 입력 데이터 전부를 정상 패턴으로 취급하고 모두 학습하여, 상기 정상 패턴을 표현한 학습 모델을 생성하는 기능;
    상기 학습 모델에 기초하여 추론 대상 제 2 입력 데이터로부터 이상 패턴을 검출하기 위하여, 상기 제 2 입력 데이터의 추론 결과와 상기 제 2 입력 데이터 간의 유사도를 측정하는 기능; 및,
    상기 유사도가 설정된 임계치보다 높으면 정상 패턴으로 판단하고 상기 유사도가 설정된 임계치 이하이면 이상 패턴으로 판단하는 기능;
    을 실행시키기 위하여 매체에 저장된 어플리케이션.
  9. 적어도 하나의 서버와 접속되는 이상 감지 장치의 이상 패턴 감지 방법으로서,
    상기 이상 감지 장치가, 정상 패턴 및 상기 정상 패턴과 구분하지 않은 이상 패턴을 포함하는 제 1 입력 데이터 전부를 정상 패턴으로 취급하고 모두 학습하여 상기 정상 패턴을 표현한 학습 모델을 생성하는 단계;
    상기 이상 감지 장치가, 상기 학습 모델에 기초하여 추론 대상 제 2 입력 데이터로부터 이상 패턴을 검출하기 위하여 상기 제 2 입력 데이터의 추론 결과와 상기 제 2 입력 데이터 간의 유사도를 측정하는 단계; 및
    상기 이상 감지 장치가, 상기 유사도가 설정된 임계치보다 높으면 정상 패턴으로 판단하고 상기 유사도가 설정된 임계치 이하이면 이상 패턴으로 판단하는 단계;
    를 포함하도록 구성되는 이상 패턴 감지 방법.
  10. 제 9 항에 있어서,
    상기 학습 모델을 생성하는 단계는,
    상기 제 1 입력 데이터로부터 특징을 추출하고, 상기 추출한 특징에 기초하여 상기 제 1 입력 데이터와 근사한 출력 데이터를 생성하도록 파라미터를 학습하여 상기 학습 모델을 생성하는 단계를 포함하고,
    상기 검출하는 단계는,
    상기 제 2 입력 데이터와 상기 출력 데이터를 비교하여 이상 패턴을 탐지하는 단계;
    를 포함하도록 구성되는 이상 패턴 감지 방법.
  11. 제 10 항에 있어서,
    상기 탐지하는 단계는, 상기 제 2 입력 데이터와 상기 출력 데이터 간의 상기 유사도에 기초하여 상기 이상 패턴을 탐지하는 단계를 포함하도록 구성되는 이상 패턴 감지 방법.
  12. 제 9 항에 있어서,
    상기 학습 모델을 생성하는 단계는, 상기 제 1 입력 데이터를 모델링하여 상기 학습 모델을 생성하는 오토 인코더를 이용한 모델링 단계인 이상 패턴 감지 방법.
KR1020210104767A 2019-03-05 2021-08-09 이상 패턴 감지 시스템 및 방법 KR102389094B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210104767A KR102389094B1 (ko) 2019-03-05 2021-08-09 이상 패턴 감지 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190025066A KR20200108523A (ko) 2019-03-05 2019-03-05 이상 패턴 감지 시스템 및 방법
KR1020210104767A KR102389094B1 (ko) 2019-03-05 2021-08-09 이상 패턴 감지 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190025066A Division KR20200108523A (ko) 2019-03-05 2019-03-05 이상 패턴 감지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210102135A KR20210102135A (ko) 2021-08-19
KR102389094B1 true KR102389094B1 (ko) 2022-04-22

Family

ID=72336364

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190025066A KR20200108523A (ko) 2019-03-05 2019-03-05 이상 패턴 감지 시스템 및 방법
KR1020210104767A KR102389094B1 (ko) 2019-03-05 2021-08-09 이상 패턴 감지 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190025066A KR20200108523A (ko) 2019-03-05 2019-03-05 이상 패턴 감지 시스템 및 방법

Country Status (3)

Country Link
US (1) US11580005B2 (ko)
KR (2) KR20200108523A (ko)
CN (1) CN111667065A (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200141812A (ko) * 2019-06-11 2020-12-21 삼성전자주식회사 뉴럴 네트워크를 이용하여 이상 신호를 감지하는 방법 및 장치
US11314614B2 (en) * 2020-01-02 2022-04-26 Sri International Security for container networks
KR102320707B1 (ko) * 2020-11-30 2021-11-02 (주)비스텔리젼스 설비 모니터링 시스템의 설비 고장 분류 방법
FR3118503B1 (fr) * 2020-12-28 2024-01-12 Commissariat Energie Atomique Procédé et dispositif de détection d'anormalité de données
US11843623B2 (en) * 2021-03-16 2023-12-12 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for anomaly detection
CN113076464B (zh) * 2021-04-13 2022-07-22 国家计算机网络与信息安全管理中心 基于重构编码异常检测的多通道网络线索发现方法与装置
KR102307632B1 (ko) * 2021-05-31 2021-10-05 주식회사 아미크 적대적 재귀 오토인코더 기반 기업정보시스템 사용자 이상행위 탐지 시스템 및 방법
KR102445122B1 (ko) * 2021-11-04 2022-09-20 오케스트로 주식회사 복수의 딥러닝 판단 모델을 기반으로 한 이상징후 대응 시스템 및 이상징후 대응 방법
KR20230163614A (ko) 2022-05-23 2023-12-01 크레플 주식회사 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 방법 및 이상치 검출 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8484022B1 (en) * 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
CN102957579B (zh) * 2012-09-29 2015-09-16 北京邮电大学 一种网络异常流量监测方法及装置
CN105138413B (zh) * 2015-08-19 2019-03-08 中国电力科学研究院 一种配电网在线数据异常检测方法
US10248533B1 (en) * 2016-07-11 2019-04-02 State Farm Mutual Automobile Insurance Company Detection of anomalous computer behavior
JP7017861B2 (ja) * 2017-03-23 2022-02-09 株式会社日立製作所 異常検知システムおよび異常検知方法
CN107391569B (zh) * 2017-06-16 2020-09-15 阿里巴巴集团控股有限公司 数据类型的识别、模型训练、风险识别方法、装置及设备
US11483324B2 (en) * 2017-11-30 2022-10-25 Shape Security, Inc. Detection of malicious activity using behavior data
US20190205785A1 (en) * 2017-12-28 2019-07-04 Uber Technologies, Inc. Event detection using sensor data
US11379284B2 (en) * 2018-03-13 2022-07-05 Nec Corporation Topology-inspired neural network autoencoding for electronic system fault detection
CN108737406B (zh) * 2018-05-10 2020-08-04 北京邮电大学 一种异常流量数据的检测方法及系统
EP3836142B1 (en) * 2018-08-10 2024-04-03 Nippon Telegraph And Telephone Corporation Abnormality detection device and program
CN109086876B (zh) * 2018-09-21 2022-07-22 广州发展集团股份有限公司 设备的运行状态检测方法、装置、计算机设备和存储介质
US11470101B2 (en) * 2018-10-03 2022-10-11 At&T Intellectual Property I, L.P. Unsupervised encoder-decoder neural network security event detection
US11410047B2 (en) * 2018-12-31 2022-08-09 Paypal, Inc. Transaction anomaly detection using artificial intelligence techniques

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김형일 et al,. 딥러닝 기반 고성능 얼굴인식 기술 동향, 2018 Electronics and Telecommunications Trends*
정지원 et al., IoT 디바이스 환경에서 Autoencoder 기반 이상 감지 기법 구현, 한국정보과학회 학술발표논문집*

Also Published As

Publication number Publication date
KR20210102135A (ko) 2021-08-19
CN111667065A (zh) 2020-09-15
KR20200108523A (ko) 2020-09-21
US11580005B2 (en) 2023-02-14
US20200285555A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
KR102389094B1 (ko) 이상 패턴 감지 시스템 및 방법
CN111967571B (zh) 一种基于mhma的异常检测方法和设备
US7533070B2 (en) Automatic fault classification for model-based process monitoring
GB2585616A (en) Using gradients to detect backdoors in neural networks
CN111600919B (zh) 智能网络应用防护系统模型的构建方法和装置
KR102088509B1 (ko) 컴퓨터 시스템의 이상 행위 탐지 방법 및 장치
US20200286095A1 (en) Method, apparatus and computer programs for generating a machine-learning system and for classifying a transaction as either fraudulent or genuine
KR20190143758A (ko) 심층 신경망을 이용한 사이버 위협 탐지 방법 및 장치
CN113328908B (zh) 异常数据的检测方法、装置、计算机设备和存储介质
CN110677437A (zh) 基于潜在空间对抗式聚类的用户伪装攻击检测方法及系统
KR20190015160A (ko) 인공 신경망의 훈련 방법
CN115277189A (zh) 基于生成式对抗网络的无监督式入侵流量检测识别方法
KR102336035B1 (ko) 그래프 기반 이상 거래 탐지 시스템을 위한 비지도 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
Manoharan et al. Implementation of internet of things with blockchain using machine learning algorithm: Enhancement of security with blockchain
Shuai et al. Statistical cognitive learning and security output protocol for multi-state iris recognition
CN112464295A (zh) 基于电力边缘网关设备的维护通信安全装置
Osamor et al. Deep learning-based hybrid model for efficient anomaly detection
KR20220014339A (ko) 차량 도난 감지 장치
KR102307632B1 (ko) 적대적 재귀 오토인코더 기반 기업정보시스템 사용자 이상행위 탐지 시스템 및 방법
CN113518058B (zh) 异常登录行为检测方法、装置、存储介质和计算机设备
US11498575B2 (en) Unsupervised learning-based detection method and driver profile- based vehicle theft detection device and method using same
KR20220170687A (ko) 공격 데이터 탐지 방법, 장치, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램
Abedzadeh et al. Using Markov Chain Monte Carlo Algorithm for Sampling Imbalance Binary IDS Datasets
KR102328879B1 (ko) 학습 데이터의 불균형 상황에서 이상 웹로그를 탐지할 수 있도록 하는 비지도 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
Veena A survey on network intrusion detection

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant