KR102094377B1 - 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법 - Google Patents

비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법 Download PDF

Info

Publication number
KR102094377B1
KR102094377B1 KR1020190043348A KR20190043348A KR102094377B1 KR 102094377 B1 KR102094377 B1 KR 102094377B1 KR 1020190043348 A KR1020190043348 A KR 1020190043348A KR 20190043348 A KR20190043348 A KR 20190043348A KR 102094377 B1 KR102094377 B1 KR 102094377B1
Authority
KR
South Korea
Prior art keywords
learning
data set
model
module
detection model
Prior art date
Application number
KR1020190043348A
Other languages
English (en)
Inventor
로메인 무레
김세중
Original Assignee
주식회사 이글루시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이글루시큐리티 filed Critical 주식회사 이글루시큐리티
Priority to KR1020190043348A priority Critical patent/KR102094377B1/ko
Application granted granted Critical
Publication of KR102094377B1 publication Critical patent/KR102094377B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

본 발명은 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는, 레이블된 데이터셋을 통해 이상탐지모델의 평가기준을 학습하고, 레이블되지 않은 새로운 데이터셋이 수신되었을 때 학습된 평가기준으로 각각의 이상탐지모델을 예측 평가해, 예측 평가 결과가 가장 우수한 모델이 선택될 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법에 관한 것이다.

Description

비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법 {Model Selection System for Unsupervised Anomaly Detectors and Method Thereof}
본 발명은 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는, 레이블된 데이터셋을 통해 이상탐지모델의 평가기준을 학습하고, 레이블되지 않은 새로운 데이터셋이 수신되었을 때 학습된 평가기준으로 각각의 이상탐지모델을 예측 평가해, 예측 평가 결과가 가장 우수한 모델이 선택될 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법에 관한 것이다.
인공지능(Artificial Intelligence, AI)이란, 기계로부터 만들어진 지능을 말하며, 이러한 인공지능에 의하면 인간의 지능으로만 할 수 있다고 여겨진 사고, 학습, 자기 개발 등을 기계가 할 수 있게 된다.
이러한 인공지능 분야의 하나로 학습과 추론에 관계된 머신러닝(Machine Learning)이 존재하는데, 상기 머신러닝은 기계가 특정 문제에 대한 올바른 답을 도출할 수 있도록 학습 데이터를 통해 문제와 답 사이의 연관 관계를 스스로 학습하게 하는 기술을 말한다.
머신러닝은 일반적으로 수집된 데이터를 전처리하여 학습 데이터(Training data)와 검증 데이터(Test data)로 분류한 후 훈련모델을 학습/검증하고, 학습된 모델을 이용하여 훈련 이후 새롭게 들어오는 데이터를 정확히 처리하여 새로운 환경에 필요한 정보를 분석 및 예측한다.
머신러닝은 크게 지도학습(Supervised Learning)과 비지도학습(Unsupervised Learing)으로 나누어진다.
상기 지도학습은, 데이터에 대한 레이블(Label), 즉 명시적인 정답이 주어진 상태에서 기계를 학습시키는 방법을 말한다. 따라서 학습 진행은 데이터 및 레이블 형태로 진행된다.
반면에, 상기 비지도학습은, 데이터에 대한 레이블이 주어지지 않은 상태에서 기계를 학습시키는 방법을 말한다. 따라서 학습 진행은 데이터 형태로 진행이 된다. 비지도학습의 대표적인 예로는 클러스터링(Clustering)이 있다.
상기 지도학습의 경우에는 입력값에 대한 목표치가 주어지므로 학습 결과를 쉽게 평가할 수 있으나, 상기 비지도학습의 경우에는 입력값에 대한 목표치가 주어지지 않기 때문에 학습 결과를 평가하기가 어렵다. 이로인해, 지도학습과 관련하여서는 지도학습에 적절한 모델을 선택하는 많은 종래기술들이 존재하지만, 비지도학습과 관련하여서는 비지도학습에 적절한 모델을 선택할 수 있도록 하는 기술이 부재해 있는 것이 사실이다.
자동모델선별(Automatic Model Selection)은 인공지능 시스템의 정확성을 끌어올리기 위한 전략중 하나이다. 도 1은 자동모델선별과정을 도시한 도면으로, 도 1을 참고하면, 일반적인 자동모델선별은 다수의 모델들(M)을 특정 평가기준(Evaluation Criteria, E)에 의해 평가하고, 상기 평가기준(E)에 의해 각 모델들(M)의 평가스코어(S)가 도출이 되면, 도출된 평가스코어(S)를 비교해 가장 높은 평가스코어(S)를 가진 하나의 모델을 선별하는 방식으로 되어 있다. 이러한 자동모델선별은 레이블이 존재하여 평가가 용이한 지도학습에 널리 사용될 수 있었지만, 레이블이 존재하지 않는 비지도학습에 사용되기 어려운 한계가 있었다.
따라서 관련 업계에서는 머신러닝을 통해 평가기준을 만들어 모델별로 특정 평가기준을 적용함에 따라, 레이블이 존재하지 않는 비지도학습의 경우라도 모델의 학습 결과를 용이하게 예측 평가할 수 있고 이를 통해 가장 적합한 이상탐지모델을 선택할 수 있도록 하는 새로운 기술의 도입을 요구하고 있는 실정이다.
한국공개특허공보 제10-2017-0054352호(2017.05.17)
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로,
본 발명의 목적은, 레이블이 없는 비지도학습의 경우라도 모델별로 특정 평가기준을 적용하여 모델의 평가를 용이하게 수행할 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명의 다른 목적은, 레이블된 데이터셋을 통해 이상탐지모델의 평가기준을 학습하고, 레이블되지 않은 새로운 데이터셋이 수신되었을 때 학습된 평가기준으로 각각의 이상탐지모델을 예측 평가해, 예측 평가 결과가 가장 우수한 모델이 선택될 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 레이블되지 않은 새로운 데이터셋이 수신되었을 때, 자동으로 가장 우수한 모델이 선택될 수 있도록 함에 따라, 알지못하는 데이터셋이 수신되더라도 정확한 이상탐지가 이루어지도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 레이블된 데이터셋을 수집하고 수집된 데이터셋에서 고정된 이상비율로 데이터셋을 랜덤으로 추출함으로써, 더 많은 데이터셋을 발생시키는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 추출된 데이터셋을 학습데이터셋과 검증데이터셋으로 분할하여 일부 데이터셋은 학습에 사용되도록 하고, 일부 데이터셋은 검증에 사용되도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 학습데이터셋으로 이상탐지모델을 학습하고, 검증데이터셋의 레이블을 사용하여 이상탐지모델을 평가함으로써, 우수한 이상탐지모델을 용이하게 선별할 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 이상탐지모델의 평가결과를 정규화함으로써, 데이터의 범위를 일치시키거나 분포를 유사하게 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 이상탐지모델별 피쳐를 수집함으로써, 피쳐를 통해 이상탐지모델의 정확도를 예측할 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 피쳐를 입력변수로 하고, 정규화된 평가결과를 목표변수로 하여, 이상탐지모델의 평가기준을 학습하도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 레이블되지 않은 새로운 데이터셋의 피쳐를 산출해, 산출된 피쳐를 통해 이상탐지모델별 평가결과를 용이하게 예측할 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 것이다.
본 발명은 앞서 본 목적을 달성하기 위해서 다음과 같은 구성을 가진 실시예에 의해서 구현된다.
본 발명의 일 실시예에 따르면, 본 발명은, 레이블된 데이터셋을 통해 이상탐지모델의 평가기준을 학습하는 메타학습부와, 상기 메타학습부와 연결되어 이상탐지모델별 평가기준을 저장하는 평가기준저장부와, 상기 평가기준저장부와 연결되어 레이블되지 않은 새로운 데이터셋에 대해 학습된 평가기준으로 최적의 이상탐지모델을 선택하는 모델선택부를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따르면, 본 발명은, 상기 메타학습부는, 레이블된 데이터셋을 수집하는 데이터셋수집모듈과, 고정된 이상비율로 상기 데이터셋수집모듈에서 데이터셋을 랜덤으로 추출하는 데이터셋추출모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습부는, 추출된 데이터셋에서 학습데이터셋과 검증데이터셋을 분할하는 데이터셋분할모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습부는, 상기 학습데이터셋으로 이상탐지모델을 학습하는 이상탐지모델학습모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습부는, 상기 검증데이터셋으로 이상탐지모델을 평가하는 이상탐지모델평가모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습부는, 상기 이상탐지모델평가모듈에 의한 평가결과를 정규화하는 정규화모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습부는, 이상탐지모델의 평가결과를 예측하는데 사용할 피쳐를 수집하는 피쳐수집모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습부는, 상기 정규화모듈 및 상기 피쳐수집모듈에 의한 출력값을 통해 이상탐지모델별 평가기준을 학습하는 회귀학습모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 모델선택부는, 레이블되지 않은 새로운 데이터셋을 수신하는 데이터셋수신모듈과, 레이블되지 않은 새로운 데이터셋의 이상탐지모델별 피쳐를 산출하는 피쳐산출모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 모델선택부는, 학습된 이상탐지모델별 평가기준에 따라 산출된 피쳐로 이상탐지모델별 평가결과를 예측하는 수행예측모듈과, 상기 수행예측모듈에 의해 예측된 이상탐지모델별 평가결과를 비교하여 가장 높은 평가결과가 예측된 이상탐지모델을 선택하는 비교선택모듈을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 메타학습부가 레이블된 데이터셋을 통해 이상탐지모델의 평가기준을 학습하는 메타학습단계와, 상기 메타학습단계 이후에, 평가기준저장부가 상기 메타학습부와 연결되어 이상탐지모델별 평가기준을 저장하는 평가기준저장단계와, 상기 평가기준저장단계 이후에, 모델선택부가 상기 평가기준저장부와 연결되어 레이블되지 않은 새로운 데이터셋에 대해 학습된 평가기준으로 최적의 이상탐지모델을 선택하는 모델선택단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습단계는, 데이터셋수집모듈이 레이블된 데이터셋을 수집하는 데이터셋수집단계와, 상기 데이터셋수집단계 이후에, 데이터셋추출모듈이 고정된 이상비율로 상기 데이터셋수집모듈에서 데이터셋을 랜덤으로 추출하는 데이터셋추출단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습단계는, 상기 데이터셋추출단계 이후에, 데이터셋분할모듈이 추출된 데이터셋에서 학습데이터셋과 검증데이터셋을 분할하는 데이터셋분할단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습단계는, 상기 데이터셋분할단계 이후에, 이상탐지모델학습모듈이 상기 학습데이터셋으로 이상탐지모델을 학습하는 이상탐지모델학습단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습단계는, 상기 이상탐지모델학습단계 이후에, 이상탐지모델평가모듈이 상기 검증데이터셋으로 이상탐지모델을 평가하는 이상탐지모델평가단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습단계는, 상기 이상탐지모델평가단계 이후에, 정규화모듈이 상기 이상탐지모델평가모듈에 의한 평가결과를 정규화하는 정규화단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습단계는, 상기 정규화단계 이후에, 피쳐수집모듈이 이상탐지모델의 평가결과를 예측하는데 사용할 피쳐를 수집하는 피쳐수집단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 메타학습단계는, 상기 피쳐수집단계 이후에, 회귀학습모듈이 상기 정규화단계 및 상기 피쳐수집단계에 의한 출력값을 통해 이상탐지모델별 평가기준을 학습하는 회귀학습단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 모델선택단계는, 데이터셋수신모듈이 레이블되지 않은 새로운 데이터셋을 수신하는 데이터셋수신단계와, 상기 데이터셋수신단계 이후에, 피쳐산출모듈이 레이블되지 않은 새로운 데이터셋의 이상탐지모델별 피쳐를 산출하는 피쳐산출단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따르면, 본 발명은, 상기 모델선택단계는, 상기 피쳐산출단계 이후에, 수행예측모듈이 학습된 이상탐지모델별 평가기준에 따라 산출된 피쳐로 이상탐지모델별 평가결과를 예측하는 수행예측단계와, 상기 수행예측단계 이후에, 비교선택모듈이 상기 수행예측모듈에 의해 예측된 이상탐지모델별 평가결과를 비교하여 가장 높은 평가결과가 예측된 이상탐지모델을 선택하는 비교선택단계를 포함하는 것을 특징으로 한다.
본 발명은 앞서 본 실시예와 하기에 설명할 구성과 결합, 사용관계에 의해 다음과 같은 효과를 얻을 수 있다.
본 발명은, 레이블이 없는 비지도학습의 경우라도 모델별로 특정 평가기준을 적용하여 모델의 평가를 용이하게 수행할 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과를 가진다.
본 발명은, 레이블된 데이터셋을 통해 이상탐지모델의 평가기준을 학습하고, 레이블되지 않은 새로운 데이터셋이 수신되었을 때 학습된 평가기준으로 각각의 이상탐지모델을 예측 평가해, 예측 평가 결과가 가장 우수한 모델이 선택될 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과를 도출한다.
본 발명은, 레이블되지 않은 새로운 데이터셋이 수신되었을 때, 자동으로 가장 우수한 모델이 선택될 수 있도록 함에 따라, 알지못하는 데이터셋이 수신되더라도 정확한 이상탐지가 이루어지도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과가 있다.
본 발명은, 레이블된 데이터셋을 수집하고 수집된 데이터셋에서 고정된 이상비율로 데이터셋을 랜덤으로 추출함으로써, 더 많은 데이터셋을 발생시키는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과를 가진다.
본 발명은, 추출된 데이터셋을 학습데이터셋과 검증데이터셋으로 분할하여 일부 데이터셋은 학습에 사용되도록 하고, 일부 데이터셋은 검증에 사용되도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과를 도출한다.
본 발명은, 학습데이터셋으로 이상탐지모델을 학습하고, 검증데이터셋의 레이블을 사용하여 이상탐지모델을 평가함으로써, 우수한 이상탐지모델을 용이하게 선별할 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과가 있다.
본 발명은, 이상탐지모델의 평가결과를 정규화함으로써, 데이터의 범위를 일치시키거나 분포를 유사하게 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과를 가진다.
본 발명은, 이상탐지모델별 피쳐를 수집함으로써, 피쳐를 통해 이상탐지모델의 정확도를 예측할 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과를 도출한다.
본 발명은, 피쳐를 입력변수로 하고, 정규화된 평가결과를 목표변수로 하여, 이상탐지모델의 평가기준을 학습하도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과가 있다.
본 발명은, 레이블되지 않은 새로운 데이터셋의 피쳐를 산출해, 산출된 피쳐를 통해 이상탐지모델별 평가결과를 용이하게 예측할 수 있도록 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템을 제공하는 효과를 가진다.
도 1은 자동모델선별과정을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 비지도학습 이상탐지를 위한 모델 선택 시스템을 도시한 도면.
도 3은 도 2의 메타학습부를 도시한 도면.
도 4는 수집된 데이터셋의 일 예를 도시한 도면.
도 5는 이상치가 50%인 데이터셋의 일 예를 도시한 도면.
도 6은 도 5의 데이터셋에서 고정된 이상비율로 랜덤 추출된 데이터셋의 일 예를 도시한 도면.
도 7은 이상탐지모델을 평가한 일 예를 도시한 도면.
도 8은 도 7을 정규화한 일 예를 도시한 도면.
도 9는 회귀학습에 사용되는 데이터셋의 일 예를 도시한 도면.
도 10은 도 2의 모델선택부를 도시한 도면.
도 11은 이상탐지모델별 피쳐와 예측된 정확도 스코어의 일 예를 도시한 도면.
도 12는 본 발명의 일 실시예에 따른 비지도학습 이상탐지를 위한 모델 선택 방법을 도시한 도면.
도 13은 도 12의 메타학습단계를 도시한 도면.
도 14는 도 12의 모델선택단계를 도시한 도면.
도 15는 본 발명의 사용상태도.
이하에서는 본 발명에 따른 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법의 바람직한 실시 예들을 첨부된 도면을 참고하여 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 공지의 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하도록 한다. 특별한 정의가 없는 한 본 명세서의 모든 용어는 본 발명이 속하는 기술분야의 통상의 지식을 가진 기술자가 이해하는 당해 용어의 일반적 의미와 동일하고 만약 본 명세서에서 사용된 용어의 의미와 충돌하는 경우에는 본 명세서에서 사용된 정의에 따른다.
도 2는 본 발명의 일 실시예에 따른 비지도학습 이상탐지를 위한 모델 선택 시스템을 도시한 도면으로, 도 2를 참고하면, 본 발명인 비지도학습 이상탐지를 위한 모델 선택 시스템(1)은, 메타학습부(10), 평가기준저장부(30), 모델선택부(50)를 포함한다.
상기 메타학습부(10)는, 레이블된(Labeled) 데이터셋(Dataset)을 통해 이상탐지모델의 평가기준을 학습하는 구성을 말한다. 도 3은 도 2의 메타학습부를 도시한 도면으로, 이러한 상기 메타학습부(10)는, 데이터셋수집모듈(11), 데이터셋추출모듈(12), 데이터셋분할모듈(13), 이상탐지모델학습모듈(14), 이상탐지모델평가모듈(15), 정규화모듈(16), 피쳐수집모듈(17), 회귀학습모듈(18)을 포함한다.
상기 데이터셋수집모듈(11)은, 레이블된 데이터셋을 수집하는 구성을 말한다. 수집되는 데이터셋의 개수에 대해 이를 어느 특정 개념으로 한정하는 것은 아니지만, 정확한 메타학습을 위해 바람직하게는 30개 이상이 수집됨이 바람직할 수 있다. 도 4는 수집된 데이터셋의 일 예를 도시한 도면으로, 이는 신용카드 사기시도를 이상치로 하는 데이터셋의 일부를 도시하고 있으며, 상기 데이터셋수집모듈(11)는 정상과 이상이 구분된 복수의 데이터셋을 수집하게 된다.
상기 데이터셋추출모듈(12)은, 고정된 이상(Anomaly)비율(%)로 상기 데이터셋수집모듈(11)에서 데이터셋을 랜덤(Random)으로 추출하는 구성을 말한다. 상기 데이터셋추출모듈(12)을 통해 더 많은 데이터셋이 발생할 수 있고, 그것들을 정규화(Normalize)할 수 있게 된다. 도 5는 이상치가 50%인 데이터셋의 일 예를 도시한 도면으로, 도 5를 참고하면, 8개의 데이터셋 가운데, 이상(Anomaly)으로 분류된 데이터셋은 총 4개가 존재하고, 정상(Normal)으로 분류된 데이터셋은 총 4개가 존재함을 알 수 있다. 도 6은 도 5의 데이터셋에서 고정된 이상비율로 랜덤 추출된 데이터셋의 일 예를 도시한 도면으로, 도 6을 참고하면, 본 예에서는 25%의 이상비율로 하여 랜덤하게 복수의 데이터셋(Dataset 1A, 1B)이 추출되고 있음을 알 수 있다.
상기 데이터셋분할모듈(13)는, 추출된 데이터셋에서 학습데이터셋(Training Data Set)과 검증데이터셋(Evaluation Data Set)을 분할하는 구성을 말한다. 후술하겠지만, 상기 학습데이터셋은 이상탐지모델의 학습에 사용이 되고, 상기 검증데이터셋은 이상탐지모델의 평가에 사용이 될 수 있다.
상기 이상탐지모델학습모듈(14)는, 상기 학습데이터셋으로 이상탐지모델을 학습하는 구성으로, 학습데이터셋이 복수 개이고 이상탐지모델 역시 복수 개라면, 상기 이상탐지모델학습모듈(14)은 모든 학습데이터셋으로 모든 이상탐지모델을 학습하게 된다. 예를 들어 이상탐지모델이 N개가 있고, M개의 학습데이터셋이 있는 경우, N×M의 학습알고리즘이 수행될 수 있다. 상기 이상탐지모델은 어느 특정 개념으로만 한정되는 것은 아니며, OCSVM, AutoEncoder, Isolation Forest 등 공지된 또는 공지될 다양한 이상탐지알고리즘을 모두 포함하는 개념이다.
상기 이상탐지모델평가모듈(15)는, 상기 검증데이터셋으로 이상탐지모델을 평가하는 구성으로, 바람직하게는 상기 검증데이터셋의 레이블을 사용하여 이상탐지모델의 정확도를 평가할 수 있다. 도 7은 이상탐지모델을 평가한 일 예를 도시한 도면으로, 도 7에는, 상기 검증데이터셋의 레이블을 사용하여 각각의 이상탐지모델을 평가한 N×M 매트릭스(Matrix)가 도시되어 있다. 테이블 안쪽의 퍼센트(%)값은 정확도 스코어(Precision@K score)로, 만일 완벽한 이상탐지모델이 존재한다면, 상기 정확도 스코어의 값은 100%가 될 것이다. 도 7을 참고하면, 동일한 데이터셋이라 할지라도 이상탐지모델이 무엇인지에 따라 정확도가 달라지는 것을 확인할 수 있다. 전술한 바와 같이 정확도 스코어의 값이 높을 수록 최적의 이상탐지모델인바, 각 열에서 가장 높은 정확도 스코어 값을 가지는 이상탐지모델을 최적의 이상탐지모델으로 선정할 수 있다. 도 7에 도시된 내용에 의하면, "Ideal"라는 이상탐지모델이 가장 정확한 이상탐지모델이라는 것을 확인할 수 있다.
상기 정규화모듈(16)는, 상기 이상탐지모델평가모듈(15)에 의한 평가결과를 정규화(Normalize)하는 구성을 말한다. 도 8은 도 7을 정규화한 일 예를 도시한 도면으로, 전술한 도 7에서 "Ideal"라는 이상탐지모델이 가장 높은 정확도 스코어 값을 기록했는바, 데이터셋별로 각 이상탐지모델의 정확도 스코어를 상기 "Ideal"의 정확도 스코어로 나누어 정규화할 수 있다.
상기 피쳐수집모듈(17)은, 이상탐지모델의 평가결과를 예측하는데 사용할 피쳐(Feature)를 수집하는 구성을 말한다. 예측되는 이상탐지모델의 평가결과란, 바람직하게는 상기 정확도 스코어일 수 있다. 따라서 수집된 피쳐는 예측변수로서 기능하며 각각의 이상탐지모델별 정확도 스코어를 예측하는데 사용될 수 있다. 예를 들어, OCSVM의 경우는 데이터가 존재하는 영역을 추출하고 이 영역을 서포트 벡터로 표현하며 표현된 영역 밖의 데이터들은 아웃라이어로 간주하는바, 상기 OCSVM의 피쳐는 초평면(Hyperplane) 상의 거리로 볼 수 있다.
상기 회귀학습모듈(18)은, 상기 정규화모듈(16) 및 상기 피쳐수집모듈(17)에 의한 출력값(Outputs)을 통해 이상탐지모델별 평가기준(Evaluation Criteria)을 학습하는 구성을 말한다. 즉, 상기 회귀학습모듈(18)은 상기 피쳐수집모듈(17)에 의해 출력되는 피쳐를 입력변수로 하고 상기 정규화모듈(16)에 의해 출력되는 정규화된 상기 정확도 스코어를 목표변수로 하여 학습을 수행할 수 있다. 도 9는 회귀학습에 사용되는 데이터셋의 일 예를 도시한 도면으로, 도 9를 참고하여 설명하면, 이상탐지모델은 OCSVM이고, 피쳐는 초평면 상의 거리이며, 목표값은 정규화된 정확도 스코어로 설정되어, 학습이 이루어짐을 알 수 있다.
상기 평가기준저장부(30)는, 상기 메타학습부(10)와 연결되어 이상탐지모델별 평가기준을 저장하는 구성을 말한다. 상기 회귀학습모듈(18)을 통해 학습이 완료된 평가기준은 상기 평가기준저장부(30)에 저장이 되며, 후술할 모델선택부(50)에 레이블되지 않은 데이터셋이 수신될 경우, 이상탐지모델별로 학습이 완료된 평가기준을 제공하게 된다.
상기 모델선택부(50)는, 상기 평가기준저장부(30)와 연결되어 레이블되지 않은 새로운 데이터셋에 대해 학습된 평가기준으로 최적의 이상탐지모델을 선택하는 구성을 말한다. 도 10은 도 2의 모델선택부를 도시한 도면으로, 도 10을 참고하면, 이러한 상기 모델선택부(50)는, 데이터셋수집모듈(51), 피쳐산출모듈(53), 수행예측모듈(55), 비교선택모듈(57)을 포함한다.
상기 데이터셋수신모듈(51)은, 레이블되지 않은 새로운 데이터셋을 수신하는 구성을 말한다. 레이블된 데이터셋의 경우, 학습된 이상탐지모델을 통해 곧바로 이상탐지를 수행하면 되기에 별문제가 없지만, 레이블되지 않은 데이터셋의 경우 어떠한 이상탐지모델로 이상탐지를 수행하는 것이 가장 정확한지 알 수 없기 때문에, 상기 데이터셋수신모듈(51)은 레이블되지 않은 데이터셋을 수신하는 구성으로 봄이 바람직하다.
상기 피쳐산출모듈(53)은, 레이블되지 않은 새로운 데이터셋의 이상탐지모델별 피쳐를 산출하는 구성을 말한다. 도 11은 이상탐지모델별 피쳐와 예측된 정확도 스코어의 일 예를 도시한 도면으로, 도 11을 참고하면, 레이블되지 않은 새로운 데이터셋으로 모든 이상탐지모델(도 11에서는 OCSVM, AutoEnconder, Isolation Forest)을 학습할 경우, 이상탐지모델별 피쳐는 도시된 바와 같이 도출될 수 있다.
상기 수행예측모듈(55)은, 상기 평가기준저장부(30)로부터 학습된 이상탐지모델별 평가기준을 받아 산출된 피쳐를 통해 이상탐지모델별 평가결과를 예측하는 구성을 말한다. 도 11에 도시된 내용을 참고하면, 예측된 정규화된 정확도 스코어값은, OCSVM의 경우 0.93이고, AutoEncoder의 경우는 0.65이며, Isolation Forest의 경우는 0.94인 것을 알 수 있다.
상기 비교선택모듈(57)은, 상기 수행예측모듈(55)에 의해 예측된 이상탐지모델별 평가결과를 비교하여 가장 높은 평가결과가 예측된 이상탐지모델을 선택하는 구성을 말한다. 도 11을 참고하면, 정확도 스코어가 OCSVM은 0.93, AutoEncoder는 0.65, Isolation Forest는 0.94로 각각 예측되었는바, 상기 비교선택모듈(57)은 예측된 정확도 스코어를 비교하고, 그 중 가장 정확도가 높을 것으로 예측된 Isolation Forest 이상탐지모델을 최적의 모델로 선택하게 된다.
이하에서는 비지도학습 이상탐지를 위한 모델 선택 방법(S1)에 관해 설명하도록 하겠다. 중복된 서술을 피하고자 앞서 언급한 내용에 관해서는 그에 관한 설명을 생략하거나 간단히 하겠다. 도 12는 본 발명의 일 실시예에 따른 비지도학습 이상탐지를 위한 모델 선택 방법을 도시한 도면으로, 도 12를 참고하면, 상기 비지도학습 이상탐지를 위한 모델 선택 방법(S1)은, 메타학습단계(S10), 평가기준저장단계(S30), 모델선택단계(S50)를 포함한다.
상기 메타학습단계(S10)는, 메타학습부(10)가 레이블된 데이터셋을 통해 이상탐지모델의 평가기준을 학습하는 단계를 말한다. 도 13은 도 12의 메타학습단계를 도시한 도면으로, 도 13을 참고하면, 상기 메타학습단계(S10)는, 데이터셋수집단계(S11), 데이터셋추출단계(S12), 데이터셋분할단계(S13), 이상탐지모델학습단계(S14), 이상탐지모델평가단계(S15), 정규화단계(S16), 피쳐수집단계(S17), 회귀학습단계(S18)를 포함한다.
상기 데이터셋수집단계(S11)는, 데이터셋수집모듈(11)이 레이블된 데이터셋을 수집하는 단계를 말한다.
상기 데이터셋추출단계(S12)는, 상기 데이터셋수집단계(S11) 이후에, 데이터셋추출모듈(12)이 고정된 이상비율로 상기 데이터셋수집모듈(11)에서 데이터셋을 랜덤으로 추출하는 단계를 말한다. 이 과정을 통해 더 많은 데이터셋이 발생할 수 있게 된다.
상기 데이터셋분할단계(S13)는, 상기 데이터셋추출단계(S12) 이후에, 데이터셋분할모듈(13)이 추출된 데이터셋에서 학습데이터셋과 검증데이터셋을 분할하는 단계를 말한다.
상기 이상탐지모델학습단계(S14)는, 상기 데이터셋분할단계(S13) 이후에, 이상탐지모델학습모듈(14)이 상기 학습데이터셋으로 이상탐지모델을 학습하는 단계를 말한다.
상기 이상탐지모델평가단계(S15)는, 상기 이상탐지모델학습단계(S14) 이후에, 이상탐지모델평가모듈(15)이 상기 검증데이터셋의 레이블을 사용하여 이상탐지모델을 평가하는 단계를 가리킨다.
상기 정규화단계(S16)는, 상기 이상탐지모델평가단계(S15) 이후에, 정규화모듈(16)이 상기 이상탐지모델평가모듈(15)에 의한 평가결과를 정규화하는 단계를 말한다. 상기 정규화단계(S16)를 통해 데이터의 범위를 일치시키거나 분포를 유사하게 할 수 있다.
상기 피쳐수집단계(S17)는, 상기 정규화단계(S16) 이후에, 피쳐수집모듈(17)이 이상탐지모델의 평가결과를 예측하는데 사용할 피쳐를 수집하는 단계를 말한다.
상기 회귀학습단계(S18)는, 상기 피쳐수집단계(S17) 이후에, 회귀학습모듈(18)이 상기 정규화단계(S16) 및 상기 피쳐수집단계(S17)에 의한 출력값을 통해 이상탐지모델별 평가기준을 학습하는 단계를 말한다. OCSVM, AutoEncoder 및 다른 신경망에 추천되는 알고리즘으로 GP(Gaussian Processes) 또는 SVC(Support Vector Machine for Regression)가 있고, Isolation Forest를 포함한 다른 이상탐지모듈에 추천되는 알고리즘으로는 LSTM(Long Short Term Memory)이 있다.
상기 평가기준저장단계(S30)는, 상기 메타학습단계(S10) 이후에, 평가기준저장부(30)가 상기 메타학습부(10)와 연결되어 이상탐지모델별 평가기준을 저장하는 단계를 말한다.
상기 모델선택단계(S50)는, 상기 평가기준저장단계(S30) 이후에, 모델선택부(50)가 상기 평가기준저장부(30)와 연결되어 레이블되지 않은 새로운 데이터셋에 대해 학습된 평가기준으로 최적의 이상탐지모델을 선택하는 단계를 말한다. 도 14는 도 12의 모델선택단계를 도시한 도면으로, 도 14를 참고하면, 이러한 상기 모델선택단계(S50)는, 데이터셋수신단계(S51), 피쳐산출단계(S53), 수행예측단계(S55), 비교선택단계(S57)를 포함한다.
상기 데이터셋수신단계(S51)는, 데이터셋수신모듈(51)이 레이블되지 않은 새로운 데이터셋을 수신하는 단계를 말한다.
상기 피쳐산출단계(S53)는, 상기 데이터셋수신단계(S51) 이후에, 피쳐산출모듈(53)이 레이블되지 않은 새로운 데이터셋의 이상탐지모델별 피쳐를 산출하는 단계를 말한다.
상기 수행예측단계(S55)는, 상기 피쳐산출단계(S53) 이후에, 수행예측모듈(55)이 학습된 이상탐지모델별 평가기준에 따라 산출된 피쳐로 이상탐지모델별 평가결과를 예측하는 단계를 말한다.
상기 비교선택단계(S57)는, 상기 수행예측단계(S55) 이후에, 비교선택모듈(57)이 상기 수행예측모듈(55)에 의해 예측된 이상탐지모델별 평가결과를 비교하여 가장 높은 평가결과가 예측된 이상탐지모델을 선택하는 단계를 말한다.
도 15는 본 발명의 사용상태도로, 도 15를 참고하여 설명하면, 본 발명인 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법에 의하면, 레이블되지 않은 데이터셋이 수신되더라도, 수신된 데이터셋에 대한 이상탐지모델별 피쳐를 산출하고, 이상탐지모델별로 각각의 학습된 평가기준을 적용하여 이상탐지모델별 그 수행을 예측해, 예측된 평가결과를 비교함으로써, 최적의 이상탐지모델을 선택할 수 있도록 한다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한, 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
1: 비지도학습 이상탐지를 위한 모델 선택 시스템
10: 메타학습부
11: 데이터셋수신모듈
12: 데이터셋추출모듈
13: 데이터셋분할모듈
14: 이상탐지모델학습모듈
15: 이상탐지모델평가모듈
16: 정규화모듈
17: 피쳐수집모듈
18: 회귀학습모듈
30: 평가기준저장부
50: 모델선택부
51: 데이터셋수신모듈
53: 피쳐산출모듈
55: 수행예측모듈
57: 비교선택모듈
S1: 비지도학습 이상탐지를 위한 모델 선택 방법
S10: 메타학습단계
S11: 데이터셋수신단계
S12: 데이터셋추출단계
S13: 데이터셋분할단계
S14: 이상탐지모델학습단계
S15: 이상탐지모델평가단계
S16: 정규화단계
S17: 피쳐수집단계
S18: 회귀학습단계
S30: 평가기준저장단계
S50: 모델선택단계
S51: 데이터셋수신단계
S53: 피쳐산출단계
S55: 수행예측단계
S57: 비교선택단계

Claims (20)

  1. 레이블된 데이터셋을 통해 이상탐지모델의 평가기준을 학습하는 메타학습부와,
    상기 메타학습부와 연결되어 이상탐지모델별 평가기준을 저장하는 평가기준저장부와,
    상기 평가기준저장부와 연결되어 레이블되지 않은 새로운 데이터셋에 대해 학습된 평가기준으로 최적의 이상탐지모델을 선택하는 모델선택부를 포함하고,
    상기 모델선택부는,
    레이블되지 않은 새로운 데이터셋을 수신하는 데이터셋수신모듈과,
    레이블되지 않은 새로운 데이터셋의 이상탐지모델별 피쳐를 산출하는 피쳐산출모듈과,
    학습된 이상탐지모델별 평가기준에 따라 산출된 피쳐로 이상탐지모델별 정확도 스코어를 예측하는 수행예측모듈과,
    상기 수행예측모듈에 의해 예측된 이상탐지모델별 정확도 스코어를 비교하여 가장 높은 정확도 스코어가 예측된 이상탐지모델을 선택하는 비교선택모듈을 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템.
  2. 제1항에 있어서,
    상기 메타학습부는, 레이블된 데이터셋을 수집하는 데이터셋수집모듈과, 고정된 이상비율로 상기 데이터셋수집모듈에서 데이터셋을 랜덤으로 추출하는 데이터셋추출모듈을 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템.
  3. 제2항에 있어서,
    상기 메타학습부는, 추출된 데이터셋에서 학습데이터셋과 검증데이터셋을 분할하는 데이터셋분할모듈을 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템.
  4. 제3항에 있어서,
    상기 메타학습부는, 상기 학습데이터셋으로 이상탐지모델을 학습하는 이상탐지모델학습모듈을 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템.
  5. 제4항에 있어서,
    상기 메타학습부는, 상기 검증데이터셋으로 이상탐지모델을 평가하는 이상탐지모델평가모듈을 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템.
  6. 제5항에 있어서,
    상기 메타학습부는, 상기 이상탐지모델평가모듈에 의한 평가결과를 정규화하는 정규화모듈을 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템.
  7. 제6항에 있어서,
    상기 메타학습부는, 이상탐지모델의 평가결과를 예측하는데 사용할 피쳐를 수집하는 피쳐수집모듈을 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템.
  8. 제7항에 있어서,
    상기 메타학습부는, 상기 정규화모듈 및 상기 피쳐수집모듈에 의한 출력값을 통해 이상탐지모델별 평가기준을 학습하는 회귀학습모듈을 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 시스템.
  9. 삭제
  10. 삭제
  11. 메타학습부가 레이블된 데이터셋을 통해 이상탐지모델의 평가기준을 학습하는 메타학습단계와,
    상기 메타학습단계 이후에, 평가기준저장부가 상기 메타학습부와 연결되어 이상탐지모델별 평가기준을 저장하는 평가기준저장단계와,
    상기 평가기준저장단계 이후에, 모델선택부가 상기 평가기준저장부와 연결되어 레이블되지 않은 새로운 데이터셋에 대해 학습된 평가기준으로 최적의 이상탐지모델을 선택하는 모델선택단계를 포함하고,
    상기 모델선택단계는,
    데이터셋수신모듈이 레이블되지 않은 새로운 데이터셋을 수신하는 데이터셋수신단계와,
    상기 데이터셋수신단계 이후에, 피쳐산출모듈이 레이블되지 않은 새로운 데이터셋의 이상탐지모델별 피쳐를 산출하는 피쳐산출단계와,
    상기 피쳐산출단계 이후에, 수행예측모듈이 학습된 이상탐지모델별 평가기준에 따라 산출된 피쳐로 이상탐지모델별 정확도 스코어를 예측하는 수행예측단계와,
    상기 수행예측단계 이후에, 비교선택모듈이 상기 수행예측모듈에 의해 예측된 이상탐지모델별 정확도 스코어를 비교하여 가장 높은 정확도 스코어가 예측된 이상탐지모델을 선택하는 비교선택단계를 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 방법.
  12. 제11항에 있어서,
    상기 메타학습단계는, 데이터셋수집모듈이 레이블된 데이터셋을 수집하는 데이터셋수집단계와, 상기 데이터셋수집단계 이후에, 데이터셋추출모듈이 고정된 이상비율로 상기 데이터셋수집모듈에서 데이터셋을 랜덤으로 추출하는 데이터셋추출단계를 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 방법.
  13. 제12항에 있어서,
    상기 메타학습단계는, 상기 데이터셋추출단계 이후에, 데이터셋분할모듈이 추출된 데이터셋에서 학습데이터셋과 검증데이터셋을 분할하는 데이터셋분할단계를 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 방법.
  14. 제13항에 있어서,
    상기 메타학습단계는, 상기 데이터셋분할단계 이후에, 이상탐지모델학습모듈이 상기 학습데이터셋으로 이상탐지모델을 학습하는 이상탐지모델학습단계를 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 방법.
  15. 제14항에 있어서,
    상기 메타학습단계는, 상기 이상탐지모델학습단계 이후에, 이상탐지모델평가모듈이 상기 검증데이터셋으로 이상탐지모델을 평가하는 이상탐지모델평가단계를 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 방법.
  16. 제15항에 있어서,
    상기 메타학습단계는, 상기 이상탐지모델평가단계 이후에, 정규화모듈이 상기 이상탐지모델평가모듈에 의한 평가결과를 정규화하는 정규화단계를 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 방법.
  17. 제16항에 있어서,
    상기 메타학습단계는, 상기 정규화단계 이후에, 피쳐수집모듈이 이상탐지모델의 평가결과를 예측하는데 사용할 피쳐를 수집하는 피쳐수집단계를 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 방법.
  18. 제17항에 있어서,
    상기 메타학습단계는, 상기 피쳐수집단계 이후에, 회귀학습모듈이 상기 정규화단계 및 상기 피쳐수집단계에 의한 출력값을 통해 이상탐지모델별 평가기준을 학습하는 회귀학습단계를 포함하는 것을 특징으로 하는, 비지도학습 이상탐지를 위한 모델 선택 방법.
  19. 삭제
  20. 삭제
KR1020190043348A 2019-04-12 2019-04-12 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법 KR102094377B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190043348A KR102094377B1 (ko) 2019-04-12 2019-04-12 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190043348A KR102094377B1 (ko) 2019-04-12 2019-04-12 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102094377B1 true KR102094377B1 (ko) 2020-03-31

Family

ID=70002471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190043348A KR102094377B1 (ko) 2019-04-12 2019-04-12 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102094377B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434737A (zh) * 2020-11-25 2021-03-02 南京大学 用于脑卒中分析的多智能体评价准则融合的特征选择系统
KR102247181B1 (ko) * 2020-12-18 2021-05-03 주식회사 이글루시큐리티 Xai에 기초하여 생성된 학습데이터를 이용한 이상행위탐지모델 생성방법 및 장치
CN113052324A (zh) * 2021-03-24 2021-06-29 支付宝(杭州)信息技术有限公司 一种用户异常模式识别方法、装置以及设备
KR102363737B1 (ko) 2021-06-01 2022-02-15 아주대학교산학협력단 이상 탐지 장치 및 방법
KR20220067924A (ko) * 2020-11-18 2022-05-25 주식회사 국민은행 인공지능을 이용한 대출 상시감사지원시스템
KR20220074327A (ko) * 2020-11-27 2022-06-03 주식회사 국민은행 인공지능을 이용한 가계대출 사기/부실 상시감사지원시스템
KR20220074328A (ko) * 2020-11-27 2022-06-03 주식회사 국민은행 인공지능을 이용한 기업대출 사기/사기의심 상시감사지원시스템
KR20230011833A (ko) * 2021-07-14 2023-01-25 주식회사 신한에이아이 인공지능을 이용한 금융 지표 생성 방법 및 인공지능을 이용한 금융 지표 생성 장치
KR102514996B1 (ko) * 2022-09-13 2023-03-29 성한 주식회사 머신러닝 비지도학습과 지도학습을 이용한 전력수요 예측 시스템 및 방법
KR20230045838A (ko) * 2021-09-29 2023-04-05 가톨릭대학교 산학협력단 치과 진단 장치 및 방법
KR102566876B1 (ko) * 2022-12-23 2023-08-14 한화시스템 주식회사 비지도 학습 방법을 활용한 레이다 시스템용 공기건조장비의 이상 탐지 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001888A (ja) * 2013-06-17 2015-01-05 富士ゼロックス株式会社 情報処理プログラム及び情報処理装置
KR20170054352A (ko) 2017-05-02 2017-05-17 주식회사 아이엠랩 지도학습 기반으로 예측모델을 생성하는 장치 및 예측모델을 이용하는 심폐소생술 훈련 장치
KR20170113810A (ko) * 2016-03-25 2017-10-13 한국교통대학교산학협력단 단말기의 센서 데이터를 이용한 교통 이벤트 추출 방법 및 시스템
KR101834260B1 (ko) * 2017-01-18 2018-03-06 한국인터넷진흥원 이상 거래 탐지 방법 및 장치
KR101896406B1 (ko) * 2018-03-13 2018-10-22 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
KR20180128694A (ko) * 2017-05-24 2018-12-04 서울시립대학교 산학협력단 연구개발 문서의 품질 평가 시스템 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001888A (ja) * 2013-06-17 2015-01-05 富士ゼロックス株式会社 情報処理プログラム及び情報処理装置
KR20170113810A (ko) * 2016-03-25 2017-10-13 한국교통대학교산학협력단 단말기의 센서 데이터를 이용한 교통 이벤트 추출 방법 및 시스템
KR101834260B1 (ko) * 2017-01-18 2018-03-06 한국인터넷진흥원 이상 거래 탐지 방법 및 장치
KR20170054352A (ko) 2017-05-02 2017-05-17 주식회사 아이엠랩 지도학습 기반으로 예측모델을 생성하는 장치 및 예측모델을 이용하는 심폐소생술 훈련 장치
KR20180128694A (ko) * 2017-05-24 2018-12-04 서울시립대학교 산학협력단 연구개발 문서의 품질 평가 시스템 및 그 방법
KR101896406B1 (ko) * 2018-03-13 2018-10-22 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220067924A (ko) * 2020-11-18 2022-05-25 주식회사 국민은행 인공지능을 이용한 대출 상시감사지원시스템
KR102499181B1 (ko) * 2020-11-18 2023-02-10 주식회사 국민은행 인공지능을 이용한 대출 상시감사지원시스템
CN112434737B (zh) * 2020-11-25 2024-03-19 南京大学 用于脑卒中分析的多智能体评价准则融合的特征选择系统
CN112434737A (zh) * 2020-11-25 2021-03-02 南京大学 用于脑卒中分析的多智能体评价准则融合的特征选择系统
KR102499183B1 (ko) * 2020-11-27 2023-02-10 주식회사 국민은행 인공지능을 이용한 기업대출 사기/사기의심 상시감사지원시스템
KR20220074328A (ko) * 2020-11-27 2022-06-03 주식회사 국민은행 인공지능을 이용한 기업대출 사기/사기의심 상시감사지원시스템
KR20220074327A (ko) * 2020-11-27 2022-06-03 주식회사 국민은행 인공지능을 이용한 가계대출 사기/부실 상시감사지원시스템
KR102499182B1 (ko) * 2020-11-27 2023-02-10 주식회사 국민은행 인공지능을 이용한 가계대출 사기/부실 상시감사지원시스템
KR102247181B1 (ko) * 2020-12-18 2021-05-03 주식회사 이글루시큐리티 Xai에 기초하여 생성된 학습데이터를 이용한 이상행위탐지모델 생성방법 및 장치
CN113052324A (zh) * 2021-03-24 2021-06-29 支付宝(杭州)信息技术有限公司 一种用户异常模式识别方法、装置以及设备
CN113052324B (zh) * 2021-03-24 2022-08-02 支付宝(杭州)信息技术有限公司 一种用户异常模式识别方法、装置以及设备
KR102363737B1 (ko) 2021-06-01 2022-02-15 아주대학교산학협력단 이상 탐지 장치 및 방법
KR20230011833A (ko) * 2021-07-14 2023-01-25 주식회사 신한에이아이 인공지능을 이용한 금융 지표 생성 방법 및 인공지능을 이용한 금융 지표 생성 장치
KR102496502B1 (ko) * 2021-07-14 2023-02-06 주식회사 신한에이아이 인공지능을 이용한 금융 지표 생성 방법 및 인공지능을 이용한 금융 지표 생성 장치
KR20230045838A (ko) * 2021-09-29 2023-04-05 가톨릭대학교 산학협력단 치과 진단 장치 및 방법
KR102652766B1 (ko) * 2021-09-29 2024-04-01 가톨릭대학교 산학협력단 치과 진단 장치 및 치과 진단을 위한 정보 제공 방법
KR102514996B1 (ko) * 2022-09-13 2023-03-29 성한 주식회사 머신러닝 비지도학습과 지도학습을 이용한 전력수요 예측 시스템 및 방법
KR102566876B1 (ko) * 2022-12-23 2023-08-14 한화시스템 주식회사 비지도 학습 방법을 활용한 레이다 시스템용 공기건조장비의 이상 탐지 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR102094377B1 (ko) 비지도학습 이상탐지를 위한 모델 선택 시스템 및 그 방법
Khan et al. Tracking student performance in introductory programming by means of machine learning
Bahnsen et al. A novel cost-sensitive framework for customer churn predictive modeling
Jin et al. A one-class support vector machine calibration method for time series change point detection
Escobar et al. Machine learning and pattern recognition techniques for information extraction to improve production control and design decisions
KR102168198B1 (ko) 기업 부도 예측 시스템 및 이의 동작 방법
US20190087248A1 (en) Anomaly detection and automated analysis using weighted directed graphs
Goyal et al. A survey on ensemble model for loan prediction
Sivasankar et al. Rough set-based feature selection for credit risk prediction using weight-adjusted boosting ensemble method
Islam et al. Knntree: A new method to ameliorate k-nearest neighbour classification using decision tree
CN114077859A (zh) 异常样本的检测方法及装置、电子设备、存储介质
ELYUSUFI et al. Churn prediction analysis by combining machine learning algorithms and best features exploration
Cateni et al. Improving the stability of sequential forward variables selection
Klikowski Concept drift detector based on centroid distance analysis
Nguyen et al. On sampling techniques for corporate credit scoring
Cohen et al. Fault diagnosis of timed event systems: An exploration of machine learning methods
IL290977B2 (en) A system for a model configuration selection method
US7996339B2 (en) Method and system for generating object classification models
Johnpaul et al. Representational primitives using trend based global features for time series classification
Sembina Building a Scoring Model Using the Adaboost Ensemble Model
US20230385664A1 (en) A computer-implemented method for deriving a data processing and inference pipeline
US20230133410A1 (en) Weak supervision framework for learning to label concept explanations on tabular data
EP4174730A1 (en) Method and system for generating a concept label model to label a dataset for training a hierarchical multi-task machine learning model
Milosheski et al. XAI for Self-supervised Clustering of Wireless Spectrum Activity
Bahaweres et al. Combining PCA and SMOTE for software defect prediction with visual analytics approach

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant