KR20110107880A

KR20110107880A - 패스트 정보 엔트로피와 능동형 이동평균 탐지기를 이용한 분산형 서비스 거부 공격 탐지 방법

Info

Publication number: KR20110107880A
Application number: KR1020100027017A
Authority: KR
Inventors: 노기섭
Original assignee: 노기섭
Priority date: 2010-03-26
Filing date: 2010-03-26
Publication date: 2011-10-05

Abstract

네트워크에 Ethernet Interface를 통하여 연결된 Fast Entropy Detector는 Packet Extractor를 이용하여 필요한 정보를 추출한다. Packet Extractor를 통해 추출된 정보를 토대로 기존의 Information Entropy 계산 방법과는 달리 확률적 계산을 이용하지 않는 Fast Information Entropy를 활용하여 네트워크 채널의 Information Entropy를 계산한다. Fast Information Entropy는 개념적으로 기존의 Information Entropy를 계산하면서 정확도를 높이기 위해 Calibration Factor를 추가로 활용한다. 이러한 방법은 Entropy 계산시간을 획기적으로 단축시킬 수 있으며 이를 통해 더욱 빠르고 정확한 DDoS 탐지 능력을 제공하는 시스템을 구성한다.
또한, 채널의 상태에 따라 능동적으로 변화하는 Threshold를 고안하여 사용함으로써 DDoS Detector의 Traing 또는 Learning Process(혹은 이에 수반하는 별도의 Memory 소모)없이 공격을 탐지하는 능력을 제공하여 DDoS 공격의 근본 속성인 대량 패킷의 동시 수용에 따른 시간적,물리적 한계를 극복할 수 있는 DDoS 탐지 시스템을 제안한다.

Description

패스트 정보 엔트로피와 능동형 이동평균 탐지기를 이용한 분산형 서비스 거부 공격 탐지 방법{DDoS Detection Method Using Fast Information Entropy and Adaptive Moving Average Window Detector}

본 발명은 네트워크 보안 (Network Security) 분야 중 분산거부서비스 (DDoS: Distributed Denial of Service) 공격의 탐지 방법에 대한 기술에 관한 것이며, 더욱 상세히는 하나 또는 수개의 공격자가 동시에 한 개의 서버 또는 컴퓨터에 동시다발적으로 패킷을 전송하여 피해자(Victim)가 수용할 수 있는 범위 이상의 트래픽을 발생시켜 정상적인 서비스를 하지 못하도록 하고, 이로 인해 정상적인 사용자(Normal User)들이 정상적 서비스를 받지 못하게 하는 DDoS에 대한 공격에 대하여 패스트 정보 엔트로피(Fast Information Entropy)를 활용하여 공격자에 대한 패킷의 통계적 혹은 분포도에 대한 분석 없이 DDoS 공격을 매우 빠른 시간 내에 탐지해 내는 공격 탐지 방법에 관한 것이다.

기존의 DDoS 탐지 기술로는 크게 Signature Based Approach(SBA)와 Anomaly Based Approach(ABA)가 있다. SBA는 바이러스 백신과 동일한 원리로써 기존에 알려진 네트워크 공격 패턴을 데이터 베이스에 저장하고, 이와 유사한 트래픽이 유입되면 공격으로 판정하는 기술이다. 하지만 이러한 접근법은 시스템이 반드시 학습(Train 혹은 Learning)되어야 한다는 단점이 이다. 또한 SBA는 탐지 시스템이 부적절하게 설계된 경우 False Alarm을 증가시키는 단점을 가지고 있다. 이러한 단점을 보완하기 위하여 고안된 접근법이 ABA이다. ABA는 시스템에 들어오는 패킷이 평소와 다른 양상으로 들어올 경우 이를 공격으로 간주하고 공격 알람을 발생시킴으로써 탐지하는 방법이다. ABA의 대표적인 방법으로는 패킷의 분포(Packet Distributio)을 분석하는 방법, 데이터 마이닝(Data Mining)을 활용하여 패킷 도착 양상을 분석하는 방법, 패킷의 통계치를 분석하는 방법, 혹은 정보 엔트로피를 활용하는 방법들이 소개되었다. 일반적으로 ABA는 별도의 학습이 필요치 않은 반면 정확하게 이상 징후(Anomaly)를 탐지한다는 측면에서 SBA 접근보다 우월한 것으로 평가 되지만, ABA 역시 상당한 계산 시간(Computational Power)를 필요로 한다는 점에서 한계를 드러내고 있다. 왜냐하면 DDoS 자체가 트래픽을 증가시켜 서비스를 거부한다는 근본적인 속성을 고려할 때 Computational Power의 증가는 탐지 능력의 저하를 초래하기 때문이다. 이는 탐지 능력을 어느정도 향상 시킬 수는 있지만 DDoS 탐지의 근본 문제인 탐지시간(Detection Time)을 줄일 수 없다는 한계가 있다.

[문헌1] C. E. Shannon, A Methematical Theoryof Communicatio, Bell System Technology Journal, vol 27, pp. 379-423 & 623-656

[문헌2] T. Ditcheva and Lisa Fowler, Signature-based Intrusion Detection, class notes for COMP290-040, University of North Carolina at Chapel Hill, Feb. 2005.

[문헌3] S. Singh, C. Estan, G.Varghese, and S. Savage, Automated Worm Fingerprinting, Proceedings of the 6 th OSDI 6, Dec. 2004.

[문헌4] V. Karamcheti, D. Geiger, Z. Kedem, and S. Muthukrishnan, Detecting Malicious Network Traffic Using Inverse Distribution of Packet Content, Proceedings of ACMSIGCOMM 2005 workshop on Mining Network Data, 2005.

[문헌5] E. Besson, A. Gouget, and H. Sibert, The GAIA Sensor: an Early DDoS Detection Tool, ACM SIGMETRICS Performance Evaluation Review 34, 2006, pp.7-8.

[문헌6] B. Song, J Heo, and C. S. Hong, Collaborative Defense Mechanism Using Statistical Detection Method against DDoS attacks, IEICE TRANS . COMMUN E90 -B, 2007, pp. 2655-2644.

[문헌7] A. Lall, V. Sekar, M. Ogihara, J. Xu, and H. Zhang, Data Streaming Algorithms for Estimating Entropy of Network Traffic, ACMSIGMETRICS PERFORMANCE Evaluation Review 34, 2006, pp. 145-156.

[문헌8] A. Wanger, Entropy-Based Worm Detection for Fast IP Networks, Ph.D. dissertation, Swiss Federal Institution of Zechnology, Zurich, Swiss, 2008.

본 발명은 DDoS 공격 탐지에 있어 기존의 방법에 의지하지 않고 새로운 Information Entropy Estimator를 고안하여 DDoS 공격의 근본 속성인 대량 패킷 전송 수용으로 인한 패해를 당하기 전에 사전 탐지하여 네트워크 관리자에게 공격 발생을 감지/인지시켜 시스템의 피해를 최소화하는 것이다. 또한 기존의 Information Entropy DDoS 탐지 장치가 수행했던 확률 계산 없이 단순화된 Information Entropy를 계산하여 탐지 정확성을 유지하면서 계산 속도를 획기적으로 줄일 수 있는 Fast Information Entropy를 활용한 DDoS 공격 탐지 방법을 제공하는 것이다.

상기와 같이 본 발명의 목적을 달성하기 위하여 본 발명에 따른 DDoS 방어 기법은 정보 엔트로피를 새로이 고안하여 침입해 오는 패킷의 정보량을 단시간 내에 계산함으로써 탐지의 정확성을 유지하는 동시에 정보 엔트로피의 계산시간을 획기적으로 줄여 자신의 네트워크에 발생하는 DDoS 징후를 조기에 파악하여 효과적으로 공격에 대응하는 것이다. 이를 위하여 첫째, C. E. Shannon에 의해 제안된 고전적인 엔트로피의 개념에서 탈피하여 새로운 엔트로피 Estimator(Fast Entropy Estimator)를 고안한다. 둘째, 효과적인 탐지를 위하여 계산된 Fast Entropy Value를 활용할 수 있는 DDoS Entropy Detector를 새로이 고안한다. 세째, Detector의 성능을 유지하기 위하여 네트워크에 발생하는 트래픽 흐름에 능동적으로 대처할 수 있는 Adaptive Detector를 개발하여 적용함으로써 DDoS Entropy Detector의 성능을 더욱 향상시킨다.

상술한 바와 같이 본 발명에 따른 Fast Entropy Estimator에 의하면 단순한 Entropy 계산에 비하여 단순한 정보 프로세싱만을 통해 빠른 시간내에 정보를 처리할 수 있다. 또한 라우터가 뿐만 아니라 어떠한 NIC(Network Interface Card)와 결합하더라도 해당 네트워크의 트래픽을 모니터링 할 수 있다. Fast Entropy 단순한 계산 방법 때문에 Packet 내(內)의 Source IP Address, Destination IP Address, Source Port, Destination Port 정보를 동시에 모니터링 하는데 Overload가 많지 않아 네트워크 모니터링에 효과적이다. 또한 Adaptive Detector를 활용하여 별도의 Detector 자체의 초기 세팅 이외에는 별도의 설정이 필요치 않아 관리 측면에서도 효율적이다.

도 1은 본 발명에 따른 Fast Information Entropy를 활용한 DDoS 공격 탐지 방법이 적용된 시스템의 실시예.
도 2는 본 발명에 따른 Fast Information Entropy를 계산하기 위한 패킷 정보를 추출해 내기 위한 Packet Extractor의 설계도.
도 3은 Fast Information Entropy Calculator 개념도.
도 4는 Incoming Packet의 모니터링 범위와 시간적인 관계를 나타내는 패킷 감시 설계도(Monitoring Design).
도 5는 Fast Entropy Detector 내부의 Attack Decision 모듈이 작동하는 원리를 설명하는 알고리즘 플로우 차트(Flow Chart).

이하, 본 발명의 실시예를 도면을 참조하여 더욱 상세하게 설명한다.

기존의 엔트로피(Conventional Information Entropy, 이하 CIE)은 1948년 Shannon(문헌 1을 볼 것)에 의해 제안된 형태의 수식을 사용하고 있다. 즉 CIE는 랜덤 변수들에 대한 확률(불확실성)을 계측함으로써 수치화된다. 세부 수식은 다음과 같다.

H(X) = - ∑_x=χ p(x) log p(x), 여기서 H(X)는 X에 대한 엔트로피 값을 나타낸다. p(x) = 확률변수 X가 X=x일 확률을 나타내며, x의 모집단은 χ이다.

예를 들어 동전 던지기를 할 경우 χ = {앞면, 뒷면}이 되며, X의 같은 앞면 혹은 뒷면이 될 수 있다. p(앞면)은 X=앞면인 경우의 확률을 나타낸다. 이러한 CIE를 정보 네트워크 상태 파악에 적용할 수 있다. 예를 들어 1초 동안 시스템 내부로 유입된 패킷의 수량이 10이라고 가정할 때 만약 100개 모두 A라는 패킷이 들어온다면 엔트로피(H) = - log l log 1 = 0 이다. 즉 정보의 불확실성이 0 이므로 정보엔트로피 역시 0이 된다. 만약 A라는 패킷이 40개, B라는 패킷이 60개 들어온다면, p(A) = 40/100 = 0.4, p(B) = 60/100 = 0.6이 되며 엔트로피(H) = -(0.4log0.4 + 0.6log0.6) = 0.16 + 0.133 = 0.29이다. 이러한 수식을 네트워크에 쉽게 적용할 수 있는데, 이러한 엔트로피의 변화는 곧 네트워크 채널의 상태(Condition)을 나타내기 때문이다. DDoS 공격이 시작되는 경우 공격당하는 네트워크(Victim Network)로 유입되는 패킷의 Source IP Address의 종류와 수량은 급격히 증가할 것이고 이는 CIE의 급격한 증가를 유발시킬 것이다. 반대로 공격 패킷들은 공격 목표인 피해자(Victim)에게로 향할 것이므로 Destination IP Address의 종류는 급격히 줄어들 것이다. 이는 또한 CIE의 급격한 감소를 유발시킬 것이다. 이러한 특성은 네트워크 상태를 모니터링하는 주요 방법으로 활용되고 있으나, 들어오는 모든 패킷을 일일이 카운트(Count) 해야 하고 모든 패킷들을 같은 특성을 갖는 그룹으로 나누어야 하며, 각각의 특성 그룹별로 확률을 계산해야 하는 등 시스템 탐지 부하(System Detection Overhead)를 증가시키는 요인으로 작용하고 있다.

도 1을 참조하면 Fast Information Entropy Detector(이하 Detector)는 Packet Extractor(이하 PE), Fast Entropy Memory Block(이하 FEMB), Fast Entropy Calculator(이하 FEC) 및 Attack Detection Module(이하 FED)로 구성되며, Fast Entropy Dector는 NIC(Network Interface Card)를 통해 네트워크 선로에 연결된다.

참고로 공격자의 위치는 도 1에서 보는 바와 같이 Router 외부에 연결된 네트워크에 위치할 수도 있고, Router 내부에 위치할 수도 있다.즉 같은 도메인(Network Domain) 내외부 어디든지 공격자는 존재할 수 있다.

상기와 같은 네트워크 구조로부터 본 발명에 따른 Fast Information Entropy를 이용한 DDoS 탐지 방법이 수행되는 과정을 도 2에서 도 5를 활용하여 설명하면 다음과 같다.

도 2를 참조하면, 먼저 Detector 외부로부터의 패킷이 NIC를 통하여 유입되게 된다. PE는 IP 및 TCP/UDP Header를 검사한다. 먼저 IP Header에서 Source 및 Destination Address를 추출하고, TCP/UDP Header에서는 Source 및 Destination Port에 대한 정보를 추출한다. 이렇게 추출된 정보는 메모리 Array에 저장된다. 도 2에서 나타나는 Incoming Data Store 영역은 PE에서 추출한 4가지 정보를 저장하는 공간이다. 도 2의 Incoming Data Store는 도 1의 Fast Entropy Memory Block의 일부분이다. 도 2에서 Incoming Data Store에 관련 정보를 저장할 때에는 4개의 정보 영역을 구분하여 저장한다. Detector 내부로 들어온 패킷의 개수가 m개라고 가정하면, SA(Source Address), DA(Destination Address), SP(Source Port), DP(Destination Port)의 m개의 정보는 종류별로 구분되어 저장된다. PE의 구조적 설명을 위하여 상기 설명은 Array로 하였다. 하지만 실제 Detector 설계시에는 속도 향상을 위하여 자료구조 중 Heap을 사용한다. Heap을 사용하면 입력만으로 전체 Packet의 수와 Packet 성질에 따른 구분을 할 수 있기 때문이다.

도 3에서는 본 발명의 핵심 기능인 FEC의 내부 알고리즘을 설명하고 있다. Fast Information Entropy는 크게 New Entropy Estimator(-log m/n)과 Calibration Factor로 구분되어 있다. Shannon에 의해 제안된 CIE와는 달리 확률 계산이 없는 전혀 새로운 형태의 Information Entropy(본 발명에서는 Fast Information Entropy로 칭함) 형태이다. 도 3의 Fast Entropy Estimator에서 n은 모니터링 시간에 Detector로 들어온 패킷의 개수이며, m은 동일한 패킷이 몇 종류인지를 나타내는 숫자이다. 도 3 중앙에 있는 패킷의 예를 보면 모니터링 i 번째에서 Detector로 들어온 패킷의 개수는 5개 이며(n=5), 동일한 패킷의 종류는 0x01과 0x02로써 2가지 동일한 패킷의 종류(m=2)가 있다. 도 3의 중앙 및 하단에 배치된 그림은 Detector로 유입되는 패킷의 Flow를 나타내는 것이며, Monitoring Period는 Detector가 채널을 Monitoring 하는 각각의 기간을 나타낸다. 또한 각각의 Monitoring Period 정보는 도 2의 Incoming Data Store(Heap) 내부에 저장되어 있다.

상기된 Fast Information Entropy 수식은 Information Entropy의 기본 개념에서 출발한 것인데, Shannon의 CIE는 다음과 같이 표현될 수 있다. H = log(the number of possible states within input information) = - ∑ p(x) log p(x). Fast Information Entropy에서는 엔트로피의 개념을 H = log(the number of possible system state)로 재정의함으로써 H = - log m/n으로 나타낼 수 있다. 상기의 새로운 엔트로피 개념은 Fast Information Entropy로 정의된다.

하지만, DDoS 공격자가 전체 공격 패킷을 늘이면서 동일한 패킷의 종류도 동시에 증가시킨다면 New Entropy Estimator는 DDoS 공격이 있더라도 탐지하지 못하는 경우가 발생한다. 예를 들면 1/100 = 10000/1000000 = 0.01인 경우를 들 수 있다. Detector로 들어오는 패킷의 수와 동일한 패킷의 수가 분명히 증가하여 네트워크 Condition이 변하였는데도 Fast Entropy Estimator는 동일값을 나타내기 때문에 DDoS 공격을 탐지하지 못한다.

이를 보완하기 위한 방법으로 도 3을 참조하면, Calibration Factor τ가 추가 되었다. 현재 모니터링 단계에서 Detector에 유입된 패킷의 수와 이전 단계의 모니터링 단계에서 Detector에 유입된 패킷의 수를 logarithm으로 나타낸 수치이다. 비율은 0과 1 사이에서 움직일 것이고, 만약 비율의 차이가 크다면 비율의 값은 0.5 이하로 떨어질 것이고 log 그래프의 특성상 값의 변동 폭은 매우 클 것이다. 반면에 0.5와 1 사이에서 비율이 움직인다면 Calibration Factor의 변화는 미미하다. 그러므로 Calibration Factor가 채널의 변화를 반영하여 Fast Information Entropy의 정확성을 높일 수 있다. 도 3에서 Fast Information Entropy를 구하는 식을 확인해 보면, PE 내부 Incoming Data Store(Heap)에서 추출한 정보를 통해 FEC의 각 변수값을 확인하게 된다. 도 3의 예를 활용하면 H_ni= - log 2/5 + |log 4/5| = 0.398 + 0.097 = 0.495이다.

도 4를 참조하면 도 1의 Flow Monitor의 작동 원리를 설명한다. Flow Monitor는 일정 기간 동안 Detector로 유입되는 패킷을 관찰한다. 여기서 t1, t2, …tn-1, tn은 각각 Monitoring Interval이다. 즉 현재 시간이 tn 이라 하고, Monitoring Interval이 10초라고 하면, tn-1 = 현재시간 - 10초이다. 도 4의 Moving Average Window는 Size k를 가지게 된다. size k의 의미는 Flow Monitor는 k개의 Monitoring Interval을 관찰하게 되는 것이다. 예를 들어 Moving Average Window의 Size가 5이고, Monitoring Interval이 10초라 가정하면 Flow Monitor는 50초간의 채널 패킷을 10초 단위로 끊어서 관찰하게 되는 것이다.

Moving Average Window는 자료구조의 Simple Queue와 같이 작동한다. 가장 최신의 Monitoring Interval 동안 관찰한 패킷 정보가 들어오게 되면 가장 오래된 정보는 버리고, 가장 최근의 k 개의 정보만을 저장하게 된다. 이때 각각의 Monitoring Interval 동안 수집된 패킷 정보를 취합하여 도 3에서 상기된 Fast Entropy Calculator에 의해 각각의 Fast Information Entropy가 계산되며, 도 4에서와 같이 각각의 값(Hn-m, …, Hn-1, Hn)을 산출하게 된다. 본 발명의 Detector는 4개의 변수(Source/Destination IP Address, Source/Destination Port)를 관찰하게 되는데, 4개 변수에 해당되는 Fast Information Entropy는 도 1에서 제시한 Fast Entropy Memory Block에 저장된다.

도 5는 도 1에서 제시된 Attack Decision Module의 작동 알고리즘을 설명한다. Attack Decision Module에서는 도 4에서 상기한 Moving Average Window Size k 동안 수집된 Fast Information Entropy를 기본 정보로 하여 Moving Average Window의 평균(μ _i ), 계산된 평균을 바탕으로 표준편차 σ를 산출한다. 또한 동시에 Monitoring Interval n에서의 Fast Information Entropy(H_n)와 평균의 차에 대한 절대값(Di)을 구하게 된다. 만약 Stage 1에서 모든 데이터의 계산이 끝났다면 Attack Decision Module은 DDoS 공격 탐지 이전에 모든 패킷의 검사를 마쳤으므로 Attack Decision을 중단하고 프로그램을 종료한다. 만약 계속해서 패킷에 대한 정보가 존재한다면 Stage 2로 이동한다.

도 4의 Stage 2에서는 Fast Information Entropy(H_n)와 1.5×Moving Average Window의 평균(μ _i )의 차이를 비교하고 Threshold Multiplication Factor(β)를 업데이트하고 Stage 2의 모든 계산을 마친다. 이때 β 업데이트 방식은 다음과 같은 순서를 따른다.

만약 Stage 2에서 산출한 값에 따라 다음과 같은 법칙에 따라 업데이트 되고, 결과값은 내부 메모리에 저장되어 다음 단계에서 다시 사용된다.

If H_n > 1.5×μ _i , then increase β by 1

If 0.5×μ _i ≤ H_n ≤ 1.5×μ _i , then maintain current β value

If H_n < 0.5×μ _i , then decrease β by 1

H_n 이 증가할때 β 를 증가시키는 이유는 다음 Monitoring Interval 기간 동안 채널의 변동폭이 커질 확률이 높기 때문이다. 즉, 정상 네트워크 User들에 의한 정상 패킷의 수가 증가할 개연성이 크기 때문에 Stage 3에서 사용될 Threshold를 둔감하게하여 보다 정확한 Detection을 가능케 하기 위함이다. 다시 말하면 정상정 패킷 증가에 의해 Fast Information Entropy가 증가하는데도, Stage 3에서의 Threshold가 적은 값으로 고정되어 있다면 Detector의 감도가 높아져서 거짓 Alarm을 많이 생성시킬 수 있기 때문이다. 반대의 상황도 마찬가지로 고려할 수 있다. 만약 Monitoring Interval 동안 Fast Information Entropy 값의 변화가 점점 적어지는데, Threshold 값이 큰 값으로 고정되어 있다면 적은 변화가 유지되는 가운데 Stealthy DDoS Attack을 탐지할 수 없기 때문에 β값을 감소시켜 탐지의 정확성을 향상시키는 것이다.

Stage 3에서는 Stage 1과 Stage 2의 과정을 통해 계산한 σ와 β값을 가지고 Threshold(ω)를 먼저 계산한 후 Di와 Threshold(ω) 값을 비교한다. 만약 Di 값이 크다면 Attack Decision Module은 현재 Monitoring Interval에서 DDoS 공격이 발생한 것으로 판단하고 경고 Message를 발생시키고, 그렇지 않다면 Stage 1으로 이동하여 Network Monitoring을 계속하게 된다.

도 5에서 제시된 공격 판단 알고리즘은 초기 β값을 세팅해주면 추가적인 Threshold 값을 변경해 주지 않아도 채널 상태에 따라 자동으로 변화하게 됨에 따라 인간의 개입을 줄일 수 있으며, System Learning 단계를 생략할 수 있다는 장점이 있다.

Claims

Fast Entropy Detector 내부의 Fast Entropy Calculator에서 Fast Information Entropy를 이용하여 Entropy를 계산하는 과정과 이를 특징으로 하는 Fast Inoformation Entropy를 이용한 DDoS 공격 탐지 방법
Attack Decision Module에서 별도의 Threshold를 세팅하지 않고, 능동적으로 변화하는 Threshold 값을 업데이트 하면서 네트워크상의 DDoS 공격여부를 탐지할 수 있는 Attack Decision 방법