KR102251467B1

KR102251467B1 - 이상치 스코어 기반의 edr에서의 이상 징후 탐지 장치 및 방법

Info

Publication number: KR102251467B1
Application number: KR1020190090027A
Authority: KR
Inventors: 이태진; 김수정
Original assignee: 호서대학교 산학협력단
Priority date: 2019-07-25
Filing date: 2019-07-25
Publication date: 2021-05-13
Also published as: KR20210013432A

Abstract

본 발명은 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치 및 방법에 관한 것으로, 특히 네트워크 트래픽 로그나 이벤트를 대상으로 유클리드 거리, 민코프스키 거리, 코사인 거리 계산법을 이용하여 거리를 계산한 후 해당 거리를 이상치 스코어(outlier score)로 활용하여 네트워크 트래픽 로그나 이벤트의 이상치를 발견할 수 있도록 하는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치 및 방법에 관한 것이다.
또한, 본 발명에 따르면, 네트워크 트래픽 데이터의 특징(feature)을 추출하는 특징 추출부; 상기 추출된 특징을 이용하여 데이터의 거리를 계산하는 거리 계산부; 및 상기 데이터의 거리에서 특정 범위 내의 데이터의 개수를 이용하여 통계를 추출한 후 분석 데이터를 상위 n%의 이상치로 판별하는 분석부를 포함하는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치 및 방법이 제공된다.

Description

이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치 및 방법{Anomaly detection apparatus based on outlier score in EDR}

본 발명은 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치 및 방법에 관한 것으로, 특히 네트워크 트래픽 로그나 이벤트를 대상으로 유클리드 거리, 민코프스키 거리, 코사인 거리 계산법을 이용하여 거리를 계산한 후 해당 거리를 이상치 스코어(outlier score)로 활용하여 네트워크 트래픽 로그나 이벤트의 이상치를 발견할 수 있도록 하는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치 및 방법에 관한 것이다.

단말기 위협 탐지 발견(EDR:Endpoint Detection and Response)은 엔드포인트 환경에서 발생하는 악성코드뿐만 아니라, 발생하는 이벤트에 대한 이상징후까지 판별하는 기술을 말한다.

결과적으로 EDR은 비지도(unsupervised) 방식으로 이상치(outlier)를 분석하며, 발생하는 이벤트에서 이상징후를 찾기 위해 이미 식별된 라벨(label) 없이, 공격 의심징후를 찾는 과정이다.

공격 의심징후는 이상치(outlier)에서 분석 가능하다는 연구결과가 다수 존재하며, 1차적 분석결과이상치(outlier)로 판단된 EDR 로그(log)들이 도출되는데, 결국은 프로세스(process)로 귀결된다.

따라서 이상치(Outlier) 분석은 특정 IP에서의 이상징후가 있는 프로세스(process)를 찾아야 한다.

다양한 분석결과가 산출될 수 있지만, 나머지는 모두 이상 프로세스(process) 판단근거로 동작한다.

이상징후가 있는 프로세스(process)는 정밀분석으로 탐지/대응을 진행할 수 있다. 정밀분석 방법은 2가지로 해당파일에 대한 정밀분석은 AI 기반 분석, VirusTotal, 전문가에 의한 정밀분석 등으로 이루어질 수 있으며, 해당파일의 행위에 대한 정밀분석은 행위분석, 외부접속지 분석, threat intelligence 등으로 이루어질 수 있다.

한편, 머신러닝 기반 모델(model)은 공통의 이슈로 결과 해석에 어려움이 존재한다.

이상징후를 탐지하기 위해 이상치(outlier)를 찾는다고 하더라도 이상치(outlier) 판단이 어느 정도를 나타내는지 파악하는 것에 어려움이 있다. 판단 결과에 확률(Probability) 값이 있지만, 이는 이상치(outlier) 정도를 직접 해석해줄 수 없고, 해당 결과의 신뢰수준만을 확인한다.

따라서, 이상치(outlier) 정도에 대한 객관적인 지표값 설정이 필요하다. 이상치 스코어(outlier score)에 대한 통계적 해석/분포를 지원할 수 있어야 찾아낸 이상치(outlier)의 사후처리나 사용자에게 알리는 등의 기준을 명확히 할 수 있다.

공개번호 10-2016-0087448호 공개번호 10-2016-0094558호

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로 네트워크 트래픽 로그나 이벤트를 대상으로 유클리드 거리, 민코프스키 거리, 코사인 거리 계산법을 이용하여 거리를 계산한 후 해당 거리를 이상치 스코어(outlier score)로 활용하여 네트워크 트래픽 로그나 이벤트의 이상치를 발견할 수 있도록 하는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치 및 방법을 제공하는 데 있다.

본 발명의 장치는 네트워크 트래픽 데이터의 특징(feature)을 추출하는 특징 추출부; 상기 추출된 특징을 이용하여 데이터의 거리를 계산하는 거리 계산부; 및 상기 데이터의 거리에서 특정 범위 내의 데이터의 개수를 이용하여 통계를 추출한 후 분석 데이터를 상위 n%의 이상치로 판별하는 분석부를 포함한다.

또한, 본 발명의 방법은 (A) 특징 추출부가 네트워크 트래픽 데이터의 특징(feature)을 추출하는 단계; (B) 거리 계산부가 상기 추출된 특징을 이용하여 데이터의 거리를 계산하는 단계; 및 (C) 분석부가 상기 데이터의 거리에서 특정 범위 내의 데이터의 개수를 이용하여 통계를 추출한 후 분석 데이터를 상위 n%의 이상치로 판별하는 단계를 포함한다.

본 발명에 따르면, 이상치 스코어(outlier score)를 도출하여 학습데이터의 일정 기간 대비 신규 데이터의 이상 수치를 확인한다.

또한, 본 발명에 따르면, 해당 수치를 통해 신규 데이터가 기존 대비 어느 정도 비정상적인지 해석 가능하다.

또한, 본 발명에 따르면, 비정상의 상위 n%의 형태로 데이터 판단이 가능하다.

도 1은 본 발명의 일 실시예에 따른 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 방법의 흐름도이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.

먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치는 네트워크 트래픽 데이터의 특징(feature)을 추출하는 특징 추출부(100)과, 상기 추출된 특징을 이용하여 데이터의 거리를 계산하는 거리 계산부(200); 및 상기 데이터의 거리에서 특정 범위 내의 데이터의 개수를 이용하여 통계를 추출한 후 분석 데이터를 상위 n%의 이상치로 판별하는 분석부(300)를 포함한다.

상기 특징 추출부(100)는 네트워크 트래픽 데이터의 특징(feature)을 추출하는데, 추출하는 특징으로 아래 표 1에 나타낸 것처럼 프로세스명, 로컬IP, 리모트IP, 세션의 방향 및 프로토콜 종류를 사용한다.

(표 1)

이와 관련하여 상기 특징 추출부(100)는 추출된 특징에 대하여 스트링(string) 포맷으로 나타나는 프로세스명은 n-그램(gram) 기법을 이용하여 256가지 종류의 스트링에 속하는 2-그램(gram) 발생 시 카운트하고, 5-dimension으로 차원축소하는 가공법을 사용하여 스트링을 특징 벡터(feature vector)화한다.

상기 특징 추출부(100)는 로컬IP와 리모트IP의 경우, 상기 IP들을 옥텟으로 분리하여 벡터화한다. 예컨대, 172.29.20.110의 IP 형식은 172, 29, 20, 110이라는 숫자 4개로 분리하여 벡터화한다.

한편, 거리 계산부(200)는 상기 추출된 특징을 이용하여 데이터의 거리, 즉 트레이닝 이벤트 데이터에 포함되는 데이터 간의 k-NN 거리값을 계산하는데, k-NN 알고리즘을 이용하여 k번째의 데이터를 검색한 후 해당 데이터와 현재 데이터 사이의 거리를 구하는 k-NN 거리 방식을 활용한다.

이때, 거리 계산부(200)는 k값이 1인 경우 자기 자신에 대한 거리를 계산하게 되므로 데이터 전수 비교에서도 적합한 이상치 스코어(outlier score)를 얻을 수 있도록 k값은 2이상의 값으로 설정한다.

다음으로, 상기 분석부(300)는 상기 데이터의 거리에서 특정 범위 내의 데이터의 개수를 이용하여 통계를 추출한 후 분석 데이터를 상위 n%의 이상치로 판별한다.

상기 분석부(300)는 데이터간의 거리를 계산하여 이상치 스코어(outlier score)로 사용하고, 이상징후의 정도를 수치화한다.

이때, 분석부(300)는 이상치 스코어(outlier score)는 추출한 특징을 기반으로 kNN을 수행한 후 k값이 2 이상인 k번째 데이터와의 거리를 계산하여 추출한다.

그리고, 분석부(300)는 사전에 보유하고 있는 트레이닝 이벤트 데이터(training event data)의 이상치 스코어(outlier score)를 도출하여 분포를 분석한다. 상기 트레이닝 이벤트 데이터는 통상적으로 PC, 탭, IoT 등의 다양한 엔트 포인트(end point:단말기) 환경에서 EDR의 데이터 수집엔진을 통해 특정 기간 동안 수집되는 이벤트이며, 통상적으로 EDR 로그(log)를 지칭한다.

상기 분석부(300)는 (범위내의 개수 / 전체 개수)로 분포를 구한다.

상기 분석부(300)는 새롭게 유입된 테스트 이벤트 데이터(Test event data)를 분석된 분포를 이용하여 상위 n%의 형태로 나타낸다. 이때, 범위가 증가하는 경우 이전의 범위에서 발생한 개수를 모두 포함하여야 한다.

예를 들어 트레이닝 이벤트 데이터의 개수가 500개이고, 이상치 스코어(outlier score)값이 0이상 0.1미만인 경우 200개, 0.1이상 0.2미만이 200개, 0.2초과가 100개로 분포한다.

이 경우 데이터 분포는 0이상 0.1미만의 이상치 스코어(outlier score)에서 40%, 0.1이상 0.2미미만에서 40%, 0.2초과에서 20%가 된다.

특정 테스트 이벤트 데이터의 이상치 스코어(outlier score)가 0.1인 경우 해당 데이터는 40%의 분포보다 높은 비중에 속하게 되며, '실시간 유입된 해당 로그(log)는 기 보유데이터의 상위 60%에서 발생하지 않았던 유형의 데이터로 추가분석 필요'하다고 표현할 수 있다.

즉, 상기 분석부(300)는 트레이닝 이벤트 데이터의 이상치 스코어(outlier score)에 대한 분포를 계산하고 테스트 이벤트 데이터는 계산된 분포를 통해 상위 n%의 데이터임을 확인한다.

도 2는 본 발명의 일 실시예에 따른 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 방법의 흐름도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 방법은 먼저 특징 추출부가 네트워크 트래픽 데이터의 특징(feature)을 추출한다(S100).

상기 특징 추출부는 네트워크 트래픽 데이터의 특징(feature)을 추출하는데, 추출하는 특징으로 아래 표 1에 나타낸 것처럼 프로세스명, 로컬IP, 리모트IP, 세션의 방향 및 프로토콜 종류를 사용한다.

다음으로, 거리 계산부(200)는 상기 추출된 특징을 이용하여 데이터의 거리를 계산한다(S110).

상기 거리 계산부는 상기 추출된 특징을 이용하여 데이터의 거리를 계산하는데, k-NN 알고리즘을 이용하여 k번째의 데이터를 검색한 후 해당 데이터와 현재 데이터 사이의 거리를 구하는 k-NN 거리 방식을 활용한다.

이때, 거리 계산부는 k값이 1인 경우 자기 자신에 대한 거리를 계산하게 되므로 데이터 전수 비교에서도 적합한 이상치 스코어(outlier score)를 얻을 수 있도록 k값은 2이상의 값으로 설정한다.

한편, 분석부는 상기 데이터의 거리에서 특정 범위 내의 데이터의 개수를 이용하여 통계를 추출한 후 분석 데이터를 상위 n%의 이상치로 판별한다(S120).

상기 분석부는 사전에 보유하고 있는 트레이닝 이벤트 데이터(training event data)의 이상치 스코어(outlier score)를 도출하여 분포를 분석하며, 새롭게 유입된 테스트 이벤트 데이터(Test event data)를 분석된 분포를 이용하여 상위 n%의 형태로 나타낸다.

한편, 이상징후탐지에서 거리 측정 방식에는 global outlier factor와 local outlier factor가 존재하며, 두가지 방식 모두 사용이 가능하다.

본 발명의 권리범위는 상술한 실시예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위내에 있는 것으로 본다.

100 : 특징 추출부
200 : 거리 계산부
300 : 분석부

Claims

프로세스명, 로컬IP, 리모트IP, 세션의 방향 및 프로토콜 종류를 사용하는 네트워크 트래픽 데이터의 특징(feature)을 추출하는 특징 추출부;
상기 추출된 특징을 이용하여 데이터의 거리를 계산하는 거리 계산부; 및
상기 데이터의 거리에서 특정 범위 내의 데이터의 개수를 이용하여 통계를 추출한 후 분석 데이터를 상위 n%의 이상치로 판별하는 분석부를 포함하고,
상기 특징 추출부는 추출된 특징에 대하여 스트링(string) 포맷으로 나타나는 프로세스명은 n-그램(gram) 기법을 이용하여 256가지 종류의 스트링에 속하는 2-그램(gram) 발생 시 카운트하고, 5-dimension으로 차원축소하는 가공법을 사용하여 스트링을 특징 벡터(feature vector)화 하는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치.
삭제
삭제
청구항 1항에 있어서,
상기 특징 추출부는 로컬IP와 리모트IP의 경우 상기 로컬IP와 리모트IP를 옥텟으로 분리하여 벡터화하는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치.
청구항 1항에 있어서,
상기 거리 계산부는 k-NN 알고리즘을 이용하여 k번째의 데이터를 검색한 후 해당 데이터와 현재 데이터 사이의 거리를 구하는 k-NN 거리 방식을 활용하는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치.
청구항 1항에 있어서,
상기 분석부는 사전에 보유하고 있는 트레이닝 이벤트 데이터(training event data)의 이상치 스코어(outlier score)를 도출하여 분포를 분석하며, 새롭게 유입된 테스트 이벤트 데이터(Test event data)를 분석된 분포를 이용하여 상위 n%의 형태로 나타내는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 장치.
(A) 특징 추출부가 프로세스명, 로컬IP, 리모트IP, 세션의 방향 및 프로토콜 종류를 사용하는 네트워크 트래픽 데이터의 특징(feature)을 추출하는 단계;
(B) 거리 계산부가 상기 추출된 특징을 이용하여, k-NN 알고리즘을 사용하여 k번째의 데이터를 검색한 후 해당 데이터와 현재 데이터 사이의 거리를 구하는데이터간의 거리를 계산하는 단계; 및
(C) 분석부가 상기 데이터의 거리에서 특정 범위 내의 데이터의 개수를 이용하여 통계를 추출한 후 분석 데이터를 상위 n%의 이상치로 판별하는 단계를 포함하는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 방법.
삭제
청구항 7항에 있어서,
상기 특징 추출부는 추출된 특징에 대하여 스트링(string) 포맷으로 나타나는 프로세스명은 n-그램(gram) 기법을 이용하여 256가지 종류의 스트링에 속하는 2-그램(gram) 발생 시 카운트하고, 5-dimension으로 차원축소하는 가공법을 사용하여 스트링을 특징 벡터(feature vector)화 하고, 로컬IP와 리모트IP의 경우 옥텟으로 분리하여 벡터화하는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 방법.
청구항 7항에 있어서,
상기 (C) 단계에서 상기 분석부는 사전에 보유하고 있는 트레이닝 이벤트 데이터(training event data)의 이상치 스코어(outlier score)를 도출하여 분포를 분석하며, 새롭게 유입된 테스트 이벤트 데이터(Test event data)를 분석된 분포를 이용하여 상위 n%의 형태로 나타내는 이상치 스코어 기반의 EDR에서의 이상 징후 탐지 방법.