KR101621019B1

KR101621019B1 - 시계열 통계 기반 공격의심 이상징후를 탐지하기 위한 방법

Info

Publication number: KR101621019B1
Application number: KR1020150013770A
Authority: KR
Inventors: 한영일; 유대훈; 조혜선; 최보민; 김낙현; 황동욱; 강홍구; 신영상; 김병익; 이태진
Original assignee: 한국인터넷진흥원
Priority date: 2015-01-28
Filing date: 2015-01-28
Publication date: 2016-05-13
Also published as: US20160219067A1

Abstract

본 발명에 의한 시계열 통계 기반 공격의심 이상징후를 탐지하기 위한 방법이 개시된다. 본 발명에 따른 공격의심 이상징후를 탐지하기 위한 방법은 실시간으로 로그 데이터와 트래픽 데이터를 수집하여 수집된 상기 로그 데이터와 상기 트래픽 데이터로부터 기 설정된 적어도 하나의 트래픽 특성 정보를 추출하는 단계; 및 추출된 상기 트래픽 특성 정보를 기반으로 시계열 분석 기반 정상 트래픽 학습모델을 통해 학습하고 그 학습한 결과에 따라 비정상 네트워크 트래픽을 탐지하는 단계를 포함한다.

Description

시계열 통계 기반 공격의심 이상징후를 탐지하기 위한 방법{METHOD FOR DETECTING ATTACK SUSPECTED ANOMAL EVENT}

본 발명은 공격의심 이상징후 탐지 기술에 관한 것으로서, 특히, 네트워크 특성 데이터를 이용하는 시계열 통계 기반 공격의심 이상징후를 탐지하기 위한 방법에 관한 것이다.

최근 국내외 지능형 지속 위협(Advanced Persistent Threat; APT) 형태의 공격 사례가 증가하고 그에 따른 피해 사례 급증하고 있는 추세이며 이러한 외부로부터의 침입을 탐지하기 위한 연구는 오랫동안 여러 가지 방식으로 연구되어 왔다.

그러나 최근 상당수의 공격들은 직접적인 공격이 잘 드러나지 않고 진행되며 이들 중 일부는 탐지를 회피하기 위한 목적으로 패킷을 암호화하거나 트래픽 량을 조절하여 전송하므로 기존의 룰(rule)이나 시그니처(signature) 기반의 탐지 시스템으로는 이러한 기존의 탐지 방식을 우회하여 진행되는 새로운 공격의 탐지에 한계를 가지고 있다.

최근 새롭게 발견된 보안 취약점을 악용한 제로데이 공격 등 새로운 형태의 공격 사례가 증가하고 있으며 이러한 급증하고 있는 알려지지 않은 새로운 공격에 대응하기 위한 기술 중 하나로 정상 트래픽의 특성들을 학습하여 새롭게 유입되는 트래픽의 공격의심 여부를 판단하는 기술이 보안 시장에서 관심을 모으고 있다. 그러나 트래픽 데이터의 특성상 이들 간의 단순비교로 정상과 비정상을 구분하는 것은 쉽지 않다.

따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 네트워크 트래픽으로부터 트래픽 특성 정보를 추출하여 그 추출한 트래픽 특성 정보를 이용하여 시계열 분석 기반 정상 트래픽 학습 모델을 통해 학습하고 학습한 결과로 산출된 탐지 임계치를 기반으로 공격으로 의심되는 비정상 네트워크 트래픽을 탐지하도록 하는 공격의심 이상징후를 탐지하기 위한 방법을 제공하는데 있다.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 공격의심 이상징후를 탐지하기 위한 방법은 실시간으로 로그 데이터와 트래픽 데이터를 수집하여 수집된 상기 로그 데이터와 상기 트래픽 데이터로부터 기 설정된 적어도 하나의 트래픽 특성 정보를 추출하는 단계; 및 추출된 상기 트래픽 특성 정보를 기반으로 시계열 분석 기반 정상 트래픽 학습모델을 통해 학습하고 그 학습한 결과에 따라 비정상 네트워크 트래픽을 탐지하는 단계를 포함할 수 있다.

바람직하게, 상기 탐지하는 단계는 상기 시계열 분석 기반 정상 트래픽 학습 모델을 사용하는 경우, 추출된 사용자 IP별 네트워크 시계열 데이터의 특성 값을 기반으로 사용자별 탐지 임계치를 계산하고, 계산된 상기 사용자별 탐지 임계치를 기반으로 상기 비정상 네트워크 트래픽을 탐지하는 것을 특징으로 한다.

바람직하게, 상기 탐지하는 단계는 상기 네트워크 특성 데이터의 시간단위별 평균값과 분산값을 추출하고, 추출된 시간단위별 평균값을 기반으로 과거 관찰값의 시계열 분석을 수행하여 그 시계열 분석을 수행한 결과로 앞으로 관측될 예측값을 추정하며, 추정된 예측값과 이들의 표준편차를 기반으로 상위 허용범위와 하위 허용범위의 임계치를 계산하는 것을 특징으로 한다.

바람직하게, 상기 탐지하는 단계는 수학식

을 이용하여 예측값을 구하되, 여기서, λ는 예측값의 가중치를 나타내고, 상기 x는 시간대별로 추출된 특성 정보(관측값)을 나타내는 것을 특징으로 한다.

바람직하게, 상기 탐지하는 단계는 수학식

을 이용하여 λ를 구하되, 여기서, 상기 λ는 학습 기간 동안의 평균예측오차(MSE)를 최소화할 수 있는 값으로 결정되어 조정되는 것을 특징으로 한다.

바람직하게, 상기 탐지하는 단계는 추출된 상기 네트워크 특성 데이터와 계산된 임계치를 기반으로 유입되는 정상 트래픽의 이상 유무를 판단하고, 상기 정상 트래픽의 이상 유무를 판단한 결과를 통합하여 그 통합한 결과에 따라 칩임을 탐지하는 것을 특징으로 한다.

바람직하게, 상기 탐지하는 단계는 수학식

을 이용하여 정상 트래픽의 이상 유무를 판단하되, 여기서, 상기 LCL은 하위 허용범위의 임계치를 나타내고, 상기 UCL은 상위 허용범위의 임계치를 나타내는 것을 특징으로 한다.

바람직하게, 상기 탐지하는 단계는 상기 통합한 결과의 기 설정된 종류에 따른 점수를 차등 부여하고 이들을 모두 합한 평균 점수로 탐지 결과의 위험도 등급을 나누되, 수학식

을 이용하여 상기 위험도 등급을 계산하는 것을 특징으로 한다.

바람직하게, 상기 트래픽 특성 정보는 Flow 당 패킷량, Flow 당 데이터량, Flow 유지 시간, 단위시간 당 평균 패킷수, 단위시간 당 평균 데이터량, 패킷당 평균 데이터량 중 적어도 하나를 포함하는 것을 특징으로 한다.

본 발명의 다른 한 관점에 따른 공격의심 이상징후를 탐지하기 위한 방법은 데이터 수집장치로부터 로그 데이터와 상기 트래픽 데이터로부터 추출된 트래픽 특성 정보를 제공 받아 제공 받은 상기 트래픽 특성 정보를 저장하는 단계; 및 저장된 상기 트래픽 특성 정보를 기반으로 시계열 분석 기반 정상 트래픽 학습모델을 통해 학습하고 그 학습한 결과에 따라 비정상 네트워크 트래픽을 탐지하는 단계를 포함할 수 있다.

이를 통해, 본 발명은 네트워크 트래픽으로부터 트래픽 특성 정보를 추출하여 그 추출한 트래픽 특성 정보를 이용하여 시계열 분석 기반 정상 트래픽 학습 모델을 통해 학습하고 학습한 결과로 산출된 사용자별 탐지 임계치를 기반으로 공격으로 의심되는 비정상 네트워크 트래픽을 탐지하도록 함으로써, 비정상 네트워크 트래픽을 효율적으로 탐지할 수 있는 효과가 있다.

또한, 본 발명은 탐지 결과에서 오탐일 확률이 높은 결과를 제거하여 오탐을 최소화하고 탐지 결과를 통합하여 탐지율을 높여 미탐을 최소화하여 탐지 결과에 대한 신뢰도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명은 IDS(Intrusion Detection System) 및 IPS(Intrusion Prevention System) 등 외부의 침입을 탐지하는 보안 장비에 활용이 가능할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 공격의심 이상징후를 탐지하기 위한 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 공격징후 탐지장치의 상세한 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 이상 탐지 원리를 설명하기 위한 제1 도면이다.
도 4는 본 발명의 일 실시예에 따른 오경보 필터링 개념을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 이상 탐지 원리를 설명하기 위한 제2 도면이다.
도 6은 본 발명의 일 실시예에 따른 공격의심 이상징후를 탐지하기 위한 방법을 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따른 이상 탐지 결과의 유사도 맵을 나타낸다.

이하에서는, 본 발명의 실시예에 따른 시계열 통계 기반 공격의심 이상징후를 탐지하기 위한 방법을 첨부한 도면을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는 데 필요한 부분을 중심으로 상세히 설명한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성 요소에 대한 설명에 기초하여 판단하여야 할 것이다.

특히, 본 발명에서는 네트워크 트래픽으로부터 트래픽 특성 정보를 추출하여 그 추출한 트래픽 특성 정보를 이용하여 시계열 분석 기반 정상 트래픽 학습 모델을 통해 학습하고 학습한 결과로 산출된 사용자별 탐지 임계치를 기반으로 공격으로 의심되는 비정상 네트워크 트래픽을 탐지하도록 하는 새로운 방안을 제안한다.

도 1은 본 발명의 일 실시예에 따른 공격의심 이상징후를 탐지하기 위한 시스템을 나타내는 도면이다.

도 1에 도시한 바와 같이, 본 발명에 따른 공격의심 이상징후를 탐지하기 위한 시스템은 데이터 수집장치(100), 공격징후 탐지장치(200), 통합 관제서버(300)를 포함할 수 있다.

데이터 수집장치(100)는 실시간으로 로그 데이터와 트래픽 데이터를 수집하여 수집된 로그 데이터와 트래픽 데이터로부터 트래픽 특성 정보를 추출할 수 있다.

이때, 이러한 트래픽 특성 정보는 공격의심 비정상 트래픽을 탐지하기 위해 필요한 데이터로서, 예컨대, 트래픽 특성 정보를 다음의 [표 1]과 같이 정의할 수 있다.

[표 1]

공격징후 탐지장치(200)는 데이터 수집장치(100)로부터 트래픽 특성 정보를 제공 받아 제공 받은 트래픽 특성 정보를 이용하여 기 설정된 학습 모델을 통해 학습하고 학습한 결과에 따라 공격으로 의심되는 비정상 네트워크 트래픽을 탐지할 수 있다.

네트워크 트래픽은 대부분 시간에 따라 변화하는 연속적인 시계열 정보이다. 이러한 시간에 따라서 변화하는 특성을 가진 네트워크 트래픽에서 비정상 트래픽을 찾기 위해서는 시계열 정보의 특성을 잘 반영한 학습 모델을 설계하는 것이 중요하다.

따라서 본 발명에서는 이처럼 상황에 따라 변화하는 트래픽 특성 데이터를 이용하여 공격으로 의심되는 비정상 트래픽을 탐지하기 위한 새로운 방안을 제안한다.

통합 관제서버(300)는 네트워크 이상 탐지 결과를 시각적으로 제공할 수 있다.

도 2는 본 발명의 일 실시예에 따른 공격징후 탐지장치의 상세한 구성을 나타내는 도면이다.

도 2에 도시한 바와 같이, 본 발명에 따른 공격징후 탐지장치(200)는 적어도 하나의 이상탐지 엔진(210), 통합분석 모듈(220), 결과저장 DB(230)를 포함할 수 있다.

이상탐지 엔진(210)은 트래픽 특성 정보를 이용하여 기 설정된 학습모델 예컨대, 시계열 분석 기반 정상 트래픽 학습모델, 군집화 기반 정상 트래픽 학습모델을 통해 학습하여 그 학습한 결과에 따라 비정상 네트워크 트래픽을 탐지할 수 있다.

시계열 분석 기반 정상 트래픽 학습 방식은 추출된 사용자 IP별 네트워크 시계열 데이터의 특성 값을 기반으로 사용자별 탐지 임계치를 계산하고 계산된 사용자별 탐지 임계치를 기반으로 비정상 네트워크 트래픽을 탐지한다.

도 3은 본 발명의 일 실시예에 따른 이상 탐지 원리를 설명하기 위한 제1 도면이다.

도 3을 참조하면, 본 발명에 따른 이상탐지 엔진(210)은 학습 엔진(training engine)(211)과 탐지 엔진(detection engine)(212)으로 구성되어 비정상 네트워크 트래픽을 탐지한다.

학습 엔진(211)은 정상 상태에서 관측되는 시계열 데이터를 기반으로 적응형 임계치를 산출한다.

예컨대, 본 발명에서는 평일과 휴일의 사용자 트래픽 사용 패턴이 다르고 시간대 별로 변화하는 트래픽 패턴을 고려하여 조직 내부의 사용자 IP를 기준으로 조직 내부 사용자마다 시간대별로 트래픽 모델을 세분화한다. 시간대별로 세분화된 트래픽 모델은 크게 평일과 휴일로 구분하여 각각을 시간대별로 총 48개의 트래픽 발생 시계열 모델을 만든다. 만들어진 시계열 모델별로 과거 4주간의 트래픽 모델별 동일 시간대의 트래픽 특성값의 변화를 이용해 예상되는 트래픽 특성데이터 관찰값의 범위를 통계적으로 예측하고 이를 기준으로 탐지 임계치를 정한다. 탐지 임계치는 조직 내부의 IP 기준으로 사용자별 네트워크 특성 데이터마다 각각 48개의 임계치를 계산한다.

이처럼 많은 수의 임계치를 고속으로 처리할 수 있는 범용모델을 구현하기 위하여 비교적 계산이 단순한 지수가중 이동평균(Exponentially Weighted Moving Average; EWMA)법을 이용한다.

구체적으로 설명하면, 학습 엔진(211)은 네트워크 특성 데이터의 시간단위별 평균값과 분산값을 추출할 수 있다.

학습 엔진(211)은 추출된 시간단위별 평균값을 기반으로 과거 관찰값 x의 시계열 분석을 수행하여 그 시계열 분석을 수행한 결과로 앞으로 관측된 예측값 z을 추정할 수 있다. 만약 상관관계가 존재하지 않는 t 시점에서의 관찰값의 시퀀스를 x_t, x_t _-1, …, x₁라 할 때 향후 관찰 예측값 z_t은 다음의 [수학식 1]과 같이 나타낸다.

[수학식 1]

여기서, λ는 예측값의 가중치를 나타내는데, 0을 제외한 1미만의 실수이다. X는 시간대별로 추출된 특성 정보 즉, 관측값을 나타내고, Z는 가중치가 곱해진 관찰 값과 가중치가 곱해진 이전의 예측값을 더하여 누적한 값 즉, 예측값을 나타낸다.

이때, IP별 사용자마다 트래픽 발생 패턴이 다르기 때문에 예측력을 높이기 위해 사용자별 트래픽 모델마다 적절한 예측값의 가중치 즉, 평활 상수 λ를 다르게 적용할 수 있다.

본 발명에서는 사용자별로 적절한 평활 상수를 재추정하여 보정하는 알고리즘을 제안한다. 학습 기간 동안의 평균예측오차(MSE)를 최소화하는 적절한 평활 상수를 결정하게 되는데, 이러한 평활 상수는 다음의 [수학식 2]와 같이 나타낸다.

[수학식 2]

예컨대, 관측값의 변동이 크면 λ를 낮추어 최근 변화에 둔감하게 하고, 관측값의 변동이 적으면 λ를 높여 최근 변화에 민감하게 조정한다.

만약 최초 λ=0.4[default]이고, 학습 참조기간의 관측값들의 Variance가 x값 이상이면, λ값을 감소, Variance가 x값 이하이면 λ값을 증가하도록 조정한 후 Variance를 재측정하여 측정된 Variance가 증가하였으면 λ값을 감소, Variance가 감소하였으면 λ값을 증가시킨다.

-case A: Variance 증가

λ= 0.2, {0.4-(0.4-0.0)/2} -> λ= 0.1, {0.2-(0.2-0.0)/2} -> λ= 0.05, {0.1-(0.1-0.0)/2}

-case B: Variance 감소

λ= 0.7, {0.4+(1.0-0.4)/2} -> λ= 0.85, {0.7+(1.0-0.7)/2} -> λ= 0.925, {0.85+(1.0-0.85)/2}

이때, 최적의 λ를 찾는 방식은 Binary Search를 이용하여 탐색 시간을 최소화한다.

여기서, 매 반복시마다 MSE를 다시 계산하여 MSE가 더 이상 줄지 않을 때까지 반복하나 성능을 고려하여 반복은 최대 5번으로 제한하여 근사값으로 추정한다.

학습 엔진(211)은 추정된 예측값 Z과 이들의 표준편차 σ_z를 기반으로 상위 허용범위(Upper Control Limit; UCL)와 하위 허용범위를(Lower Control Limit; LCL) 계산할 수 있다.

이러한 상위 허용범위와 하위 허용범위는 다음의 [수학식 2]와 같이 나타낸다.

[수학식 2]

탐지 엔진(212)은 계산된 임계치를 이용하여 탐지 결과에서 오탐을 제거하여 통합할 수 있다. 이러한 오탐 제거 과정을 통해 탐지 결과의 신뢰성을 높여줄 수 있다.

예컨대, 본 발명에서는 과거 4주간의 참고기간 동안 트래픽의 관찰값을 통해 계산된 임계치를 기준으로 관찰값이 이 범위를 벗어날 때 이상으로 탐지한다.

구체적으로 설명하면, 탐지 엔진(212)은 유입되는 네트워크 트래픽으로부터 네트워크 특성 데이터를 추출할 수 있다.

탐지 엔진(212)은 추출된 네트워크 특성 데이터와 계산된 임계치 즉, 상위 허용범위, 하위 허용범위를 기반으로 새로 유입되는 정상 트래픽의 이상 유무를 판단할 수 있다. 이러한 이상 유무 판단 과정은 다음의 [수학식 3]과 같이 나타낸다.

[수학식 3]

이때, 탐지 엔진(212)은 탐지된 결과를 기반으로 오탐을 줄이기 위한 과정을 거친다. 즉, 여러 특성 데이터들의 탐지 결과에서 오탐일 확률이 높은 결과를 제거하는 오경보 필터링(false alarm filtering) 과정을 거치게 된다.

도 4는 본 발명의 일 실시예에 따른 오경보 필터링 개념을 설명하기 위한 도면이다.

도 4에 도시한 바와 같이, 오경보 필터링 과정은 시계열 기반 탐지 결과에서 정상 학습 데이터를 통해 평소 발생하는 이상치들의 발생 빈도를 기반으로 오탐을 줄일 수 있다.

실험 결과 정상 트래픽에서 발생하는 오탐들 간의 상관계수(correlation-coefficient)는 평균 0.05 미만으로 매우 낮아 각각의 이벤트는 독립으로 볼 수 있다. 즉, 정상상태에서 발생하는 이상치가 연속적으로 발생할 확률은 공격에 의해 발생하는 이상치보다 상대적으로 매우 낮다. 그러나 공격에 의해 발생하는 이상치는 공격자에 의해 의도적으로 발생된 값으로 연속성을 가질 확률이 상대적으로 높다고 볼 수 있다.

따라서 정상 트래픽의 학습 기간 동안 발생되는 이상 트래픽의 발생 빈도를 계산하여 통계적 관리 범위에서 평상시 발생 가능한 이상치의 발생 빈도의 범위를 넘어선 트래픽을 공격에 의한 비정상 트래픽으로 구분하고 이를 기반으로 오탐을 최소화 하여 탐지 결과에 대한 신뢰도를 증가시킨다.

탐지 엔진(212)은 이렇게 정상 트래픽의 이상 유무를 판단한 결과를 통합할 수 있다. 이러한 이상 유무 판단 결과의 통합은 다음의 [수학식 4]와 같이 나타낸다.

[수학식 4]

이때, 탐지 엔진(212)은 탐지된 결과를 기반으로 미탐을 줄이기 위한 과정을 거친다. 즉, 오탐을 제거한 각 특성 데이터별 탐지 결과를 다음의 [표 2]와 같이 종류별로 세분화하고 탐지된 결과의 종류에 따른 점수를 차등 부여하고 이들을 모두 합한 평균 점수로 탐지 결과의 신뢰도 등급을 나눌 수 있다.

[표 2]

이때, 탐지된 결과의 종류에 따른 별도의 스코어를 합산하여 위험도 등급을 계산하게 되는데, 탐지된 결과의 종류에 따른 별도의 스코어는 다음의 [표 3]과 같다.

[표 3]

이러한 탐지 결과의 위험도 등급은 다음의 [수학식 5]와 같이 나타낸다.

[수학식 5]

k개의 특성들에 대한 탐지 결과마다 LOF(Local Outlier Factor)를 계산하여 이에 따른 신뢰도 가중치()를 곱한 점수들의 평균을 계산하고 정규화한다. 그리고 정규화된 점수를 반올림하여 양자화된 결과로 위험도(Threat Level)를 등급화한다.

이때, LOF 결과값에 따른 신뢰도 가중치를 나타내는 예는 다음의 [표 4]와 같다.

[표 4]

탐지된 결과를 필터링한 이후에 남은 결과값의 신뢰도 레벨이 증가되는데, 탐지 결과 Schema에 신뢰도 레벨을 적용하기 위해 추가된 필드는 다음의 [표 5]와 같다.

[표 5]

탐지 엔진(212)은 통합한 결과를 기반으로 침입(intrusion)을 탐지할 수 있다.

군집화 기반 정상 트래픽 학습 방식은 입력된 네트워크 특성 정보의 유사 그룹 군집화에 의한 정성 트래픽 데이터의 패턴 학습을 수행하고 그 수행한 결과로 학습된 정상 군집에서 일정 범위 이상 벗어난 아웃라이어를 찾아 정상 군집에 속하지 않는 비정상 트래픽을 탐지한다.

도 5는 본 발명의 일 실시예에 따른 이상 탐지 원리를 설명하기 위한 제2 도면이다.

도 5를 참조하면, 본 발명에 따른 이상탐지 엔진(210)은 학습 엔진(training engine)(211)과 탐지 엔진(detection engine)(212)으로 구성되어 비정상 네트워크 트래픽을 탐지한다.

학습 엔진(211)은 입력된 네트워크 특성 정보를 기반으로 유사 그룹을 군집화할 수 있다.

구체적으로 설명하면, 학습 엔진(211)은 데이터 수집장치로부터 네트워크 특성 데이터를 추출할 수 있다.

학습 엔진(211)은 추출된 네트워크 특성 데이터를 학습 데이터 세트로 정규화하고 경향성을 해치는 노이즈 데이터를 학습 데이터 세트에서 제거할 수 있다.

예컨대, 매번 중심(centroid) 값에서 가장 먼 값을 하나씩 학습 데이터 세트에서 제거한다.

학습 엔진(211)은 학습 데이터 세트를 기반으로 기 설정된 군집 알고리즘을 통해 군집을 결정할 수 있다. 여기서, 군집 알고리즘은 EM 알고리즘, X-mean 알고리즘 등이 설정될 수 있는데, 수렴 속도 또는 성능을 고려하여 결정될 수 있다.

예컨대, 군집화를 위한 적절한 군집의 개수를 추정하고, 추정된 군집의 코드북을 생성한다. 각 학습 데이터 세트와 각 군집의 중심과의 거리(euclidean distance)를 계산하는데, 그 유클리디안 거리는 다음의 [수학식 6]과 같이 나타낸다.

[수학식 6]

이렇게 계산된 군집들 간의 거리의 합을 계산하는데, 이는 다음의 [수학식 7]과 같다.

[수학식 7]

상기 [수학식 7]에 의해 거리의 합 withiness이 계산되는데, 계산된 거리의 합 withinss의 값을 비교하여 그 비교한 결과로 군집의 수렴 여부를 판단하게 된다.

이때, 군집 수렴의 최대 반복(iteration)은 처리 성능에 따라 30~100 이내로 결정된다.

탐지 엔진(212)은 학습된 정상 군집에 속하지 않는 비정상 트래픽을 탐지할 수 있다.

탐지 엔진(212)은 추출된 네트워크 특성 데이터의 일정 거리 내의 각 군집별 노드수를 계산하고, 계산한 각 군집 중 노드수가 가장 많은 군집을 선택할 수 있다.

탐지 엔진(212)은 선택된 군집의 중심 값과 입력 값의 거리(mahalanobis distance)를 계산할 수 있는데, 그 마할라노비스 거리는 다음의 [수학식 8]과 같이 나타낸다.

[수학식 8]

탐지 엔진(212)은 계산된 거리를 기반으로 아웃라이어 여부를 판단할 수 있다.

탐지 엔진(212)은 이러한 방식으로 아웃라이어를 찾아 정상 군집에 속하지 않는 비정상 트래픽 데이터를 탐지하여 그 탐지한 결과로 침입(intrusion)을 탐지할 수 있다.

통합분석 모듈(220)은 탐지한 결과들을 일정 단위로 누적 계산하여 그 누적 계산한 값을 이용하여 정상 트래픽에서의 탐지 분포 상에서 탐지된 이상값 분포 비율의 확률을 계산하고, 계산된 확률을 통해 공격의 확률을 추정하며 추정된 공격의 확률에 따라 공격 여부를 판단할 수 있다.

결과저장 DB(230)는 사용자별 비정상 트래픽을 탐지한 결과를 저장할 수 있다.

도 6은 본 발명의 일 실시예에 따른 공격의심 이상징후를 탐지하기 위한 방법을 나타내는 도면이다.

도 6에 도시한 바와 같이, 본 발명에 따른 데이터 수집장치는 실시간으로 로그 데이터와 트래픽 데이터를 수집하여(S610), 수집된 로그 데이터와 트래픽 데이터로부터 트래픽 특성 정보를 추출할 수 있다(S620).

다음으로, 공격징후 탐지장치는 추출된 트래픽 특성 정보를 제공받아 저장할 수 있다(S630).

다음으로, 공격징후 탐지장치는 저장된 트래픽 특성 정보를 기반으로 기 설정된 탐지 방식을 통해 새로 유입되는 트래픽 데이터로부터 비정상 트래픽 데이터를 탐지할 수 있다(S640, S650).

시계열 통계 기반 탐지 방식인 경우, 공격징후 탐지장치는 추출된 사용자 IP별 네트워크 시계열 데이터의 특성 값을 기반으로 사용자별 탐지 임계치를 계산하고 계산된 사용자별 탐지 임계치를 기반으로 비정상 네트워크 트래픽을 탐지한다.

군집 기반 탐지 방식인 경우, 공격징후 탐지장치는 입력된 네트워크 특성 정보의 유사 그룹 군집화에 의한 정상 트래픽 데이터의 패턴 학습을 수행하고 그 수행한 결과로 학습된 정상 군집에서 일정 범위 이상 벗어난 아웃라이어를 찾아 정상 군집에 속하지 않는 비정상 트래픽을 탐지한다.

다음으로, 공격징후 탐지장치는 비정상 트래픽을 탐지한 결과를 저장할 수 있다(S660).

다음으로, 공격징후 탐지장치는 네트워트 이상 탐지한 결과들을 통합 분석할 수 있다(S670).

즉, 공격징후 탐지장치는 탐지한 결과을 일정 단위로 누적 계산하여 그 누적 계산한 값을 이용하여 정상 트래픽에서의 탐지 분포 상에서 탐지된 이상값 분포 비율의 확률을 계산하고, 계산된 확률을 통해 공격의 확률을 추정하며, 추정된 공격의 확률에 따라 공격 여부를 판단할 수 있다.

한편, 본 발명은 이상 탐지 결과를 이용한 2차 분석(프로파일링)을 수행할 수 있다.

먼저 특징 벡터 기반 유사도 분석하는 과정을 설명하면 다음과 같다.

1. 이상 탐지 결과들의 특징(feature)을 통한 벡터(vector)를 추출할 수 있다.

-각 특징값을 벡터로 생성한다.

- 각 특징들 간의 스케일 차이를 고려한 표준화: 각 탐지 이벤트의 특성을 동일 스케일로 변환, 예컨대, 각 특성별 가중치(표준편차의 역수)를 곱하여 스케일을 표준화한다.

-각 Feature의 값들 간의 차이에 대한 거리 보정: 특정 Outlier 값에 의한 Feature간의 차이가 지나치게 커질 경우 나머지 값들은 상대적으로 거리 차이에 의한 유사도 군집에 영향을 미칠 것을 고려하여 Square root로 정류화해 값들 간의 차이를 조정한다.

2. 추출한 각 이벤트별 벡터값을 기반으로 이벤트간의 거리를 계산하여 매트릭스(Matrix)를 생성할 수 있다.

-각 이벤트별 다차원 공간의 거리 계산

-각 이벤트 간 다차원 공간의 거리(유사도) 계산 후 군집화: 각 이벤트 간의 유클리드 거리로 유사도를 계산하거나 각 이벤트 간의 크기와 방향(각도)으로 유사도를 계산한다.

-n개의 각 이벤트 간의 거리 매트릭스 생성

이때, 각 이벤트 간의 거리를 계산하여 대각의 값이 0인 정방 대칭행렬을 생성한다.

[수학식 9]

3. 매트릭스를 기반으로 다차원 척도 분석(MDS)를 통한 2D 정보로 변환할 수 있다.

도 7은 본 발명의 일 실시예에 따른 이상 탐지 결과의 유사도 맵을 나타낸다.

도 7을 참조하면, 다차원의 이상탐지 결과를 MDS(Multidimensional Scaling) 기법을 통해 2D 정보로 변환하여 그 변환된 정보의 시각화에서 표현 가능한 정보를 추출한다.

이진 특징 벡터 기반 유사도 분석하는 과정을 설명하면 다음과 같다.

1. 이상 탐지 결과들의 특징(feature)를 통한 이진 특징벡터를 추출할 수 있다.

-모든 특징이 0(정상) 또는 1(비정상)을 갖는 이진 특징 벡터값 추출

-추출한 각 이벤트별 이진 특징 벡터값을 기반으로 각 이벤트 간의 거리 및 유사도 계산: 추출된 각 이벤트별 이진 벡터 간의 해밍 거리(Hamming Distance) 거리(유사도)를 계산하거나 k개의 특징값을 통한 Cosine 기반 거리(유사도)를 계산한다.

-n개의 각 이벤트 간의 거리 매트릭스 생성

한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 데이터 수집장치
200: 공격징후 탐지장치
210: 이상탐지 엔진
220: 통합분석 모듈
230: 결과저장 DB
300: 통합 관제서버

Claims

실시간으로 로그 데이터와 트래픽 데이터를 수집하여 수집된 상기 로그 데이터와 상기 트래픽 데이터로부터 기 설정된 적어도 하나의 트래픽 특성 정보를 추출하는 단계; 및
추출된 상기 트래픽 특성 정보를 기반으로 시계열 분석 기반 정상 트래픽 학습모델을 통해 학습하고 그 학습한 결과에 따라 비정상 네트워크 트래픽을 탐지하는 단계를 포함하여 이루어지며,

상기 탐지하는 단계는 상기 시계열 분석 기반 정상 트래픽 학습 모델을 사용하는 경우, 추출된 사용자 IP별 네트워크 시계열 데이터의 특성 값을 기반으로 사용자별 탐지 임계치를 계산하고, 계산된 상기 사용자별 탐지 임계치를 기반으로 상기 비정상 네트워크 트래픽을 탐지하며,

상기 탐지하는 단계는 추출된 상기 네트워크 특성 데이터와 계산된 임계치를 기반으로 유입되는 정상 트래픽의 이상 유무를 판단하고, 상기 정상 트래픽의 이상 유무를 판단한 결과를 통합하여 그 통합한 결과에 따라 칩임을 탐지하며,

상기 탐지하는 단계는 상기 통합한 결과의 기 설정된 종류에 따른 점수를 차등 부여하고 이들을 모두 합한 평균 점수로 탐지 결과의 위험도 등급을 나누되,
수학식
을 이용하여 상기 위험도 등급을 계산하는 것을 특징으로 하는 공격의심 이상징후를 탐지하기 위한 방법.
삭제
제1 항에 있어서,
상기 탐지하는 단계는,
상기 네트워크 특성 데이터의 시간단위별 평균값과 분산값을 추출하고,
추출된 시간단위별 평균값을 기반으로 과거 관찰값의 시계열 분석을 수행하여 그 시계열 분석을 수행한 결과로 앞으로 관측될 예측값을 추정하며,
추정된 예측값과 이들의 표준편차를 기반으로 상위 허용범위와 하위 허용범위의 임계치를 계산하는 것을 특징으로 하는 공격의심 이상징후를 탐지하기 위한 방법.
제3 항에 있어서,
상기 탐지하는 단계는,
수학식
을 이용하여 예측값을 구하되,
여기서, λ는 예측값의 가중치를 나타내고, 상기 x는 시간대별로 추출된 특성 정보(관측값)을 나타내는 것을 특징으로 하는 공격의심 이상징후를 탐지하기 위한 방법.
제4 항에 있어서,
상기 탐지하는 단계는,
수학식
을 이용하여 λ를 구하되,
여기서, 상기 λ는 학습 기간 동안의 평균예측오차(MSE)를 최소화할 수 있는 값으로 결정되어 조정되는 것을 특징으로 하는 공격의심 이상징후를 탐지하기 위한 방법.
삭제
제1항에 있어서,
상기 탐지하는 단계는,
수학식
을 이용하여 정상 트래픽의 이상 유무를 판단하되,
여기서, 상기 LCL은 하위 허용범위의 임계치를 나타내고, 상기 UCL은 상위 허용범위의 임계치를 나타내는 것을 특징으로 하는 공격의심 이상징후를 탐지하기 위한 방법.
삭제
제1 항에 있어서,
상기 트래픽 특성 정보는,
Flow 당 패킷량, Flow 당 데이터량, Flow 유지 시간, 단위시간 당 평균 패킷수, 단위시간 당 평균 데이터량, 패킷당 평균 데이터량 중 적어도 하나를 포함하는 것을 특징으로 하는 공격의심 이상징후를 탐지하기 위한 방법.
데이터 수집장치로부터 로그 데이터와 트래픽 데이터로부터 추출된 트래픽 특성 정보를 제공 받아 제공 받은 상기 트래픽 특성 정보를 저장하는 단계; 및
저장된 상기 트래픽 특성 정보를 기반으로 시계열 분석 기반 정상 트래픽 학습모델을 통해 학습하고 그 학습한 결과에 따라 비정상 네트워크 트래픽을 탐지하는 단계를 포함하여 이루어지며,

상기 탐지하는 단계는 상기 시계열 분석 기반 정상 트래픽 학습 모델을 사용하는 경우, 추출된 사용자 IP별 네트워크 시계열 데이터의 특성 값을 기반으로 사용자별 탐지 임계치를 계산하고, 계산된 상기 사용자별 탐지 임계치를 기반으로 상기 비정상 네트워크 트래픽을 탐지하며,

상기 탐지하는 단계는 추출된 상기 네트워크 특성 데이터와 계산된 임계치를 기반으로 유입되는 정상 트래픽의 이상 유무를 판단하고, 상기 정상 트래픽의 이상 유무를 판단한 결과를 통합하여 그 통합한 결과에 따라 칩임을 탐지하며,

상기 탐지하는 단계는 상기 통합한 결과의 기 설정된 종류에 따른 점수를 차등 부여하고 이들을 모두 합한 평균 점수로 탐지 결과의 위험도 등급을 나누되,
수학식
을 이용하여 상기 위험도 등급을 계산하는 것을 특징으로 하는 공격의심 이상징후를 탐지하기 위한 방법.
삭제
제10 항에 있어서,
상기 탐지하는 단계는,
상기 네트워크 특성 데이터의 시간단위별 평균값과 분산값을 추출하고,
추출된 시간단위별 평균값을 기반으로 과거 관찰값의 시계열 분석을 수행하여 그 시계열 분석을 수행한 결과로 앞으로 관측될 예측값을 추정하며,
추정된 예측값과 이들의 표준편차를 기반으로 상위 허용범위와 하위 허용범위의 임계치를 계산하는 것을 특징으로 하는 공격의심 이상징후를 탐지하기 위한 방법.
삭제