KR20240059276A - 플로우 데이터를 활용한 머신러닝 기반 DDos 이상 트래픽 탐지 시스템 - Google Patents

플로우 데이터를 활용한 머신러닝 기반 DDos 이상 트래픽 탐지 시스템 Download PDF

Info

Publication number
KR20240059276A
KR20240059276A KR1020220140336A KR20220140336A KR20240059276A KR 20240059276 A KR20240059276 A KR 20240059276A KR 1020220140336 A KR1020220140336 A KR 1020220140336A KR 20220140336 A KR20220140336 A KR 20220140336A KR 20240059276 A KR20240059276 A KR 20240059276A
Authority
KR
South Korea
Prior art keywords
ddos
data
module
model
detection system
Prior art date
Application number
KR1020220140336A
Other languages
English (en)
Inventor
금동하
김재한
Original Assignee
(주)하몬소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)하몬소프트 filed Critical (주)하몬소프트
Priority to KR1020220140336A priority Critical patent/KR20240059276A/ko
Publication of KR20240059276A publication Critical patent/KR20240059276A/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1458Denial of Service
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템에 관한 것으로, 네트워크 상에서 디도스(D-Dos) 공격에 연관된 데이터들을 수집하고 분석하여 파생 데이터를 생성하는 데이터 분석 플랫폼; 상기 디도스 공격을 탐지하는 AI 모델을 정의하고 상기 파생 데이터를 이용하여 상기 AI 모델의 학습 및 평가를 수행하며 상기 AI 모델의 배포를 수행하는 AI 서비스 플랫폼; 및 상기 파생 데이터를 실시간 생성하고 해당 파생 데이터를 상기 배포된 AI 모델에 제공하여 상기 디도스 공격을 탐지하는 실시간 탐지 플랫폼;을 포함한다.

Description

플로우 데이터를 활용한 머신러닝 기반 DDos 이상 트래픽 탐지 시스템{MACHINE LEARNING-BASED DDOS ANOMALY TRAFFIC DETECTION SYSTEM USING FLOW DATA}
본 발명은 디도스 탐지 기술에 관한 것으로, 보다 상세하게는 AI 기반 정보 인프라를 바탕으로 신속한 공격 탐지 및 데이터 기반의 최적화를 통해 고신뢰 및 고품질의 서비스를 제공할 수 있는 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템에 관한 것이다.
정보인프라는 정보통신망으로 구축된 컴퓨팅 장치의 집합체로서, 정보통신망의 핵심은 광케이블망을 주축으로 영상과 음성·문자 등 멀티미디어 정보를 쌍방향으로 오갈 수 있다는 것이다. 일반 사진은 물론 비디오와 오디오 정보도 실시간으로 전송할 수 있으며, 영상전화나 원격의료, 원격화상회의 등도 가능하다.
현대적이고 안전하며 신뢰할 수 있는 정보인프라는 자산, 사람 및 정보를 연결함으로써 모든 일의 중심이면서 운영 성과를 향상시킬 수 있는 무한한 기회를 제공할 수 있다.
또한, 정보인프라의 보안은 핵심 시스템과 자산을 물리적 위협과 사이버 위협으로부터 보호하는 것에 해당할 수 있다. IT의 관점에서 일반적으로 최종 사용자 장치, 데이터 센터 리소스, 네트워킹 시스템, 클라우드 리소스와 같은 하드웨어 및 소프트웨어 자산이 이에 포함될 수 있으며, 외부의 다양한 공격으로부터 정보인프라를 보호하기 위한 기술이 요구되고 있다.
한국등록특허 제10-1683781호 (2016.12.01)
본 발명의 일 실시예는 AI 기반 정보 인프라를 바탕으로 신속한 공격 탐지 및 데이터 기반의 최적화를 통해 고신뢰 및 고품질의 서비스를 제공할 수 있는 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템을 제공하고자 한다.
실시예들 중에서, 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템은 네트워크 상에서 디도스(D-Dos) 공격에 연관된 데이터들을 수집하고 분석하여 파생 데이터를 생성하는 데이터 분석 플랫폼; 상기 디도스 공격을 탐지하는 AI 모델을 정의하고 상기 파생 데이터를 이용하여 상기 AI 모델의 학습 및 평가를 수행하며 상기 AI 모델의 배포를 수행하는 AI 서비스 플랫폼; 및 상기 파생 데이터를 실시간 생성하고 해당 파생 데이터를 상기 배포된 AI 모델에 제공하여 상기 디도스 공격을 탐지하는 실시간 탐지 플랫폼;을 포함한다.
상기 데이터 분석 플랫폼은 누적된 데이터로부터 상기 디도스 공격 관련 유효 정보가 존재하는지 여부를 결정하는 상관관계 분석 모듈; 상기 디도스 공격 관련 판단 과정에서 불필요한 데이터들을 필터링하는 이상치 분석 모듈; 및 상기 디도스 공격에 있어 시공간적인 특징의 존재 여부를 판단하고 상기 파생 데이터를 생성하는 시계열 분석 모듈을 포함할 수 있다.
상기 데이터 분석 플랫폼은 순수 넷플로우에 존재하는 6 튜플 정보를 상기 파생 데이터로서 생성하고, 상기 6 튜플 정보는 소스 IP, 목적 IP, 소스 포트, 목적 포트, 프로토콜 및 TCP 플래그를 포함할 수 있다.
상기 AI 서비스 플랫폼은 상기 파생 데이터를 학습하여 상기 AI 모델을 구축하고 적어도 하나의 성능 지표를 통해 상기 AI 모델의 성능을 평가하는 모델 구축 모듈; 상기 평가가 완료된 가장 최근 버전의 AI 모델을 기반으로 도커 컨테이너를 생성하고 만약 도커 컨테이너가 존재하는 경우 해당 AI 모델의 업데이트를 수행하는 모델 배포 모듈; 및 GRPC 통신을 통해 감시 데이터를 수신하고 상기 감시 데이터에 따른 디도스 공격 여부를 추론하는 모델 서비스 모듈을 포함할 수 있다.
상기 실시간 탐지 플랫폼은 실시간 스트리밍되는 넷플로우를 이용하여 실시간으로 파생 데이터를 생성하는 전처리 모듈; GRPC 통신을 통해 디도스 탐지 서비스를 제공하는 도커 컨테이너에게 상기 파생 데이터를 송신하는 리셰이퍼(Reshaper) 모듈 및 상기 도커 컨테이너로부터 디도스 공격 여부를 수신하는 인퍼런스(Inference) 모듈을 포함하는 도커 클라이언트 모듈; 및 디도스 탐지 여부 및 탐지 요인 정보를 이벤트 핸들러로 전달하는 디도스 탐지 모듈을 포함할 수 있다.
상기 디도스 탐지 모듈은 상기 탐지 요인 정보 중 하나로서 해당 이벤트가 탐지된 시점에서 각 피처별 기여도를 산출할 수 있다.
상기 도커 클라이언트 모듈은 상기 인퍼런스 모듈을 통해 복수의 도커 컨테이너들로부터 상기 디도스 공격 여부에 관한 메시지들을 수신하는 경우 해당 메시지들 각각의 송신 위치와 수신 시점을 기초로 상기 복수의 도커 컨테이너들에 대한 디도스 공격의 패턴 정보를 생성할 수 있다.
상기 도커 클라이언트 모듈은 상기 복수의 도커 컨테이너들에 대한 디도스 공격의 패턴 정보를 기초로 상기 수신 시점 중 가장 빠른 시점을 기준으로 정의되는 전조 시점에서의 공격 가능성을 예측할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템은 AI 기반 정보 인프라를 바탕으로 신속한 공격 탐지 및 데이터 기반의 최적화를 통해 고신뢰 및 고품질의 서비스를 제공할 수 있다.
도 1은 본 발명에 따른 디도스 탐지 환경을 설명하는 도면이다.
도 2는 도 1의 디도스 탐지 시스템의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 디도스 탐지 시스템의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 머신러닝 기반 디도스 탐지 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 데이터 분석 플랫폼을 설명하는 도면이다.
도 6은 본 발명에 따른 AI 서비스 플랫폼을 설명하는 도면이다.
도 7은 본 발명에 따른 실시간 탐지 플랫폼을 설명하는 도면이다.
도 8은 본 발명에 따른 머신러닝 기반의 디도스 탐지 과정의 일 실시예를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 디도스 탐지 환경을 설명하는 도면이다.
도 1을 참조하면, 디도스 탐지 환경(100)은 네트워크 인프라 환경에서 외부의 다양한 공격을 방어하기 위하여 구축되는 네트워크 보안 환경에 해당할 수 있다. 특히, 디도스 탐지 환경(100)은 네트워크 인프라의 특정 구성요소에 대한 디도스(D-Dos) 공격을 탐지하고 분석 및 대응하기 위한 네트워크 보안을 제공할 수 있다. 구체적으로, 디도스 환경(100)은 사용자 단말(110), 디도스 탐지 시스템(130) 및 데이터베이스(150)를 포함할 수 있다.
사용자 단말(110)은 네트워크 인프라를 구성하는 다양한 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(110)은 엣지 디바이스, 네트워크 단말, 서비스 단말 등을 포함할 수 있으며, 네트워크를 구성하는 각 노드에 대응될 수 있다. 사용자 단말(110)은 디도스 탐지 시스템(130)과 네트워크를 통해 연결될 수 있으며, 사용자 단말(110) 상에서 발생하는 네트워크 트래픽(traffic) 정보를 디도스 탐지 시스템(130)에 전송할 수 있다.
사용자 단말(110)은 네트워크 구성 환경, 운용 조건 등에 따라 적어도 하나 이상이 디도스 탐지 시스템(130)에 연결될 수 있으며, 디도스 탐지 시스템(130)과의 상호 작용을 위한 전용 프로그램을 실행시킬 수 있다.
디도스 탐지 시스템(130)은 본 발명에 따른 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 방법을 수행하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 또한, 디도스 탐지 시스템(130)은 본 발명에 따른 머신러닝 기반 디도스 탐지 방법을 수행하기 위하여 복수의 플랫폼들을 포함하여 구현될 수 있다. 이때, 각 플랫폼들은 디도스 탐지를 위한 데이터 수집 및 분석, 모델 학습 및 배포, 그리고 실시간 탐지의 각 동작을 독립적으로 수행할 수 있다.
또한, 디도스 탐지 시스템(130)은 적어도 하나의 사용자 단말(110)과 네트워크를 통해 연결될 수 있으며, 데이터를 송·수신할 수 있다. 또한, 디도스 탐지 시스템(130)은 네트워크 환경이나 디도스 탐지 목적에 따라 독립된 외부 시스템(도 1에 미도시함)과 연결되어 동작하도록 구현될 수 있다.
데이터베이스(150)는 디도스 탐지 시스템(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 사용자 단말(110)로부터 수집된 넷플로우 정보를 저장하거나 또는 디도스 탐지를 위한 탐지 알고리즘 및 AI 모델에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 디도스 탐지 시스템(130)이 본 발명에 따른 머신러닝 기반 디도스 탐지 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
또한, 도 1에서, 데이터베이스(150)는 디도스 탐지 시스템(130)과 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 논리적인 저장장치로서 디도스 탐지 시스템(130)에 포함되어 구현될 수 있음은 물론이다.
도 2는 도 1의 디도스 탐지 시스템의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 디도스 탐지 시스템(130)은 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함할 수 있다.
프로세서(210)는 본 발명의 실시예에 따른 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 프로시저를 실행할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 디도스 탐지 시스템(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 디도스 탐지 시스템(130)의 CPU(Central Processing Unit) 또는 GPU(Graphics Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 디도스 탐지 시스템(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 또한, 메모리(230)는 전기적으로 연결된 프로세서(210)에 의해 실행됨으로써 본 발명에 따른 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 방법을 실행하는 명령들의 집합을 저장할 수 있다.
사용자 입출력부(250)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치 스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 디도스 탐지 시스템(130)은 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 사용자 단말(110)과 연결되기 위한 통신 환경을 제공하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(270)는 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.
도 3은 도 1의 디도스 탐지 시스템의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 디도스 탐지 시스템(130)은 데이터 분석 플랫폼(310), AI 서비스 플랫폼(330) 및 실시간 탐지 플랫폼(350)을 포함하여 구현될 수 있다.
보다 구체적으로, 데이터 분석 플랫폼(310)은 네트워크 상에서 디도스(D-Dos) 공격에 연관된 데이터들을 수집하고 분석하여 파생 데이터를 생성하는 동작을 수행할 수 있다. AI 서비스 플랫폼(330)은 디도스 공격을 탐지하는 AI 모델을 정의하고 파생 데이터를 이용하여 AI 모델의 학습 및 평가를 수행하며 AI 모델의 배포를 수행하는 동작을 수행할 수 있다. 또한, 실시간 탐지 플랫폼(350)은 파생 데이터를 실시간 생성하고 해당 파생 데이터를 배포된 AI 모델에 제공하여 디도스 공격을 탐지하는 동작을 수행할 수 있다.
이때, 본 발명은 상기의 기능적 구성들을 동시에 모두 포함해야 하는 것은 아니며, 각각의 실시예에 따라 상기의 구성들 중 일부를 생략하거나, 상기의 구성들 중 일부 또는 전부를 선택적으로 포함하여 구현될 수도 있다. 또한, 본 발명은 상기 구성들 중 일부를 선택적으로 포함하는 독립된 모듈로서 구현될 수 있으며, 각 모듈들 간의 연동을 통해 본 발명에 따른 머신러닝 기반 디도스 탐지 방법을 수행할 수도 있다. 이하, 도 5 내지 7을 통해 각 구성들의 동작을 구체적으로 설명한다.
도 4는 본 발명에 따른 머신러닝 기반 디도스 탐지 방법을 설명하는 순서도이다.
도 4를 참조하면, 디도스 탐지 시스템(130)은 네트워크 인프라를 구성하는 다양한 네트워크 디바이스들로부터 데이터 분석을 위한 파생 데이터를 수집할 수 있다(단계 S410).
또한, 디도스 탐지 시스템(130)은 네트워크 모니터링 과정에서 수집된 파생 데이터를 학습하여 기 구축된 AI 모델을 갱신할 수 있다(단계 S430). AI 모델은 네트워크 인프라에 대한 외부의 공격, 특히 디도스 공격을 탐지하기 위하여 구축된 머신러닝 모델에 해당할 수 있다. 디도스 탐지 시스템(130)는 AI 모델을 디도스 탐지에 활용할 수 있으며, 수집된 정보를 기반으로 주기적으로 모델을 갱신할 수 있다.
또한, 디도스 탐지 시스템(130)은 구축된 AI 모델을 이용하여 디도스 공격을 실시간 탐지할 수 있다(단계 S450). 이때, 디도스 탐지 시스템(130)은 도커 컨테이너를 통해 AI 모델을 실행하여 디도스 탐지 서비스를 제공할 수 있다. 도커 컨테이너는 적어도 하나 이상 생성될 수 있으며, 다수의 AI 모델을 동시에 실행시킬 수 있다.
또한, 디도스 탐지 시스템(130)은 실시간 탐지 결과를 기반으로 디도스 공격에 관한 이벤트를 기록할 수 있다(단계 S470). 이를 위하여, 디도스 탐지 시스템(130)은 탐지 결과를 이벤트 핸들러(event handler)에 전달할 수 있다.
도 5는 본 발명에 따른 데이터 분석 플랫폼을 설명하는 도면이고, 도 6은 본 발명에 따른 AI 서비스 플랫폼을 설명하는 도면이며, 도 7은 본 발명에 따른 실시간 탐지 플랫폼을 설명하는 도면이다.
도 5 내지 7을 참조하면, 디도스 탐지 시스템(130)은 본 발명에 따른 머신러닝 기반 디도스 탐지 방법을 수행하기 위하여 복수의 플랫폼들을 포함하여 구현될 수 있다. 구체적으로, 디도스 탐지 시스템(130)은 데이터 분석 플랫폼(310), AI 서비스 플랫폼(330) 및 실시간 탐지 플랫폼(350)을 포함할 수 있다.
도 5를 참조하면, 데이터 분석 플랫폼(310)은 대용량 데이터를 빠르게 분석하기 위한 플랫폼을 독립적으로 구축할 수 있다.
예를 들어, 데이터 분석 플랫폼(310)은 순수 넷플로우에 존재하는 6 튜플(6-tuple) 정보를 파생 데이터로 생성하여 수집할 수 있다. 이때, 6 튜플 정보는 소스 IP(source IP), 목적 IP(destination IP), 소스 포트(source Port), 목적 포트(destination Port), 프로토콜(Protocol) 및 TCP 플래그(TCP_Flags)를 포함할 수 있다. 또한, 데이터 분석 플랫폼(310)은 상관관계 분석 모듈(510), 이상치 분석 모듈(530) 및 시계열 분석 모듈(550)을 포함할 수 있다.
상관관계 분석 모듈(510)은 누적된 데이터로부터 디도스 공격 관련 유효 정보가 존재하는지 여부를 결정할 수 있다. 상관관계 분석 모듈(510)은 네트워크 상에서 수집된 다양한 정보를 기반으로 상호 간의 상관관계를 분석할 수 있다. 구체적으로, 상관관계 분석은 확률론과 통계학에 기반하여 특정 변수들 간의 선형적 관계가 존재하는지를 결정할 수 있다. 상관관계 분석은 동종 데이터는 물론 이종 데이터에 대해서도 수행될 수 있다. 상관관계 분석 모듈(510)은 각 데이터 별로 디도스 공격 연관성을 상관 계수로 산출할 수 있다. 이때, 상관 계수에는 피어슨(Pearson), 켄달(Kendall), 스피어만(Spearman) 등이 사용될 수 있다.
이상치 분석 모듈(530)은 디도스 공격 관련 판단 과정에서 불필요한 데이터들을 필터링할 수 있다. 즉, 이상치 분석 모듈(530)은 디도스 판단에 있어 혼란을 야기할 수 있는 불필요한 정보들을 사전에 제거하여 보다 정확한 예측 결과가 생성되도록 할 수 있다. 보다 구체적으로, 이상치 분석 모듈(530)은 다른 데이터들과의 연관성이 상대적으로 낮은 데이터들을 선별할 수 있고, 해당 데이터들을 단순 제거하거나, 다른 값으로 치환하거나 또는 데이터를 세분화하여 이상치 만을 별도로 분리할 수 있다.
시계열 분석 모듈(550)은 디도스 공격에 있어 시공간적인 특징의 존재 여부를 판단하고 파생 데이터를 생성할 수 있다. 예를 들어, 시계열 분석 모듈(550)은 네트워크 상에서 시간의 흐름에 따라 수집된 트래픽 데이터를 시간 축에 정렬시킬 수 있고, 데이터 변화를 기반으로 해당 트래픽의 특성을 결정할 수 있다. 결과적으로 시계열 분석 모듈(550)은 트래픽 변화 패턴에 관한 시계열 분석 결과로서 특징 벡터를 생성할 수 있다. 또한, 시계열 분석 모듈(550)은 회귀모형, 상태공간분석, 다변량 ARIMA 모형 등의 다양한 시계열 분석 방법을 활용할 수 있으며, 시계열 분석에 따른 파생 데이터를 생성할 수 있다.
도 6을 참조하면, AI 서비스 플랫폼(330)은 파생 데이터를 이용하여 디도스 탐지를 위한 AI D-Dos 탐지 모델을 구축하고 평가 및 배포하기 위한 플랫폼을 독립적으로 구축할 수 있다. 이를 위한 구성으로, AI 서비스 플랫폼(330)은 모델 구축 모듈(또는 모델 학습 및 평가 모듈)(610), 모델 배포 모듈(630) 및 모델 서비스 모듈(또는 탐지 서비스 모듈)(650)을 포함할 수 있다.
모델 구축 모듈(610)은 파생 데이터를 학습하여 디도스 탐지를 위한 AI 모델을 구축하고 적어도 하나의 성능 지표를 통해 AI 모델의 성능을 평가할 수 있다. 모델 배포 모듈(630)은 평가가 완료된 가장 최근 버전의 AI 모델을 기반으로 도커 컨테이너를 생성하고 만약 도커 컨테이너가 존재하는 경우 해당 AI 모델의 업데이트를 수행할 수 있다. 모델 서비스 모듈(650)은 GRPC 통신을 통해 감시 데이터를 수신하고 감시 데이터에 따른 디도스 공격 여부를 추론할 수 있다.
도 7을 참조하면, 실시간 탐지 플랫폼(350)은 학습된 모델을 활용해 AI 디도스 탐지 서비스를 제공하기 위한 플랫폼을 독립적으로 구축할 수 있다. 이를 위한 구성으로, 실시간 탐지 플랫폼(350)은 전처리 모듈, 도커 클라이언트 모듈 및 디도스 탐지 모듈을 포함할 수 있다.
전처리 모듈은 실시간 스트리밍되는 넷플로우를 이용하여 실시간으로 파생 데이터를 생성할 수 있다. 여기에서, 넷플로우는 네트워크 내에서 송수신되는 트래픽 흐름을 기록하기 위한 네트워크 프로토콜에 해당할 수 있다. 즉, 전처리 모듈은 넷플로우 데이터를 기반으로 네트워크 상의 트래픽에 관한 파생 데이터를 생성할 수 있다.
도커 클라이언트 모듈은 GRPC 통신을 통해 디도스 탐지 서비스를 제공하는 도커 컨테이너에게 파생 데이터를 송신하는 리셰이퍼(Reshaper) 모듈 및 도커 컨테이너로부터 디도스 공격 여부를 수신하는 인퍼런스(Inference) 모듈을 포함할 수 있다. 즉, 도커 클라이언트 모듈은 도커 컨테이너와 연동하여 동작할 수 있으며, 리셰이퍼 모듈을 통해 네트워크의 통신 상태에 따라 파생 데이터를 송신하는 동작을 수행할 수 있다. 이때, 리셰이퍼 모듈은 GRPC 통신을 통해 도커 컨테이너와 연결될 수 있다. GRPC 통신은 프로토콜 버퍼(protocol buffer)와 HTTP2 방식을 사용하는 통신 방식에 해당할 수 있다.
또한, 도커 클라이언트 모듈은 인퍼런스 모듈을 통해 디도스 탐지에 필요한 동작을 수행할 수 있다. 구체적으로, 인퍼런스 모듈은 도커 컨테이너에 배포된 AI 모델과 연동하여 동작할 수 있으며, 네트워크에 분포된 다양한 AI 모델들에 의해 탐지된 결과를 수신하는 동작을 수행할 수 있다.
디도스 탐지 모듈은 디도스 탐지 여부 및 탐지 요인 정보를 이벤트 핸들러로 전달할 수 있다. 이를 위하여, 디도스 탐지 모듈은 이벤트 핸들러와 카프카(Kafka)를 통해 연결될 수 있다. 여기에서, 카프카는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 오픈 소스 분산 이벤트 스트리밍 플랫폼(distributed event streaming platform)에 해당할 수 있으며, 이벤트 핸들러는 네트워크 상의 특정 요소에서 발생하는 이벤트를 처리하는 동작을 수행할 수 있다. 특히, 이벤트 핸들러는 실시간 탐지 플랫폼 상에서 디도스 탐지 모듈로부터 수신된 이벤트를 기반으로 디도스 탐지 결과를 데이터베이스(150)에 저장하는 동작을 수행할 수 있다.
일 실시예에서, 디도스 탐지 모듈은 탐지 요인 정보 중 하나로서 해당 이벤트가 탐지된 시점에서 각 피처별 기여도를 산출할 수 있다. 보다 구체적으로, 디도스 탐지 모듈은 디도스 공격이 탐지된 경우 해당 디도스 공격의 탐지 요인 정보를 함께 생성하여 이벤트 핸들러에 전달할 수 있다. 이때, 탐지 요인 정보에는 디도스 공격 탐지에 기여한 파생 데이터의 각 피처별 기여도가 포함될 수 있다. 예를 들어, 파생 데이터에 소스 IP, 목적 IP, 소스 포트 및 목적 포트 등이 피처 정보로서 포함된 경우, 소스 IP, 목적 IP, 소스 포트 및 목적 포트 각각의 기여도(importance)가 산출되어 탐지 요인 정보에 포함될 수 있다. 디도스 탐지 모듈은 피처별 기여도를 이벤트 분석 시 주 요인을 판단하는 보조 지표로 활용할 수 있다. 또한, 파생 데이터에 포함된 각 피처별 기여도는 디도스 공격 탐지를 위한 AI 모델의 학습 데이터로 사용될 수 있다.
일 실시예에서, 디도스 탐지 모듈은 인퍼런스 모듈을 통해 복수의 도커 컨테이너들로부터 디도스 공격 여부에 관한 메시지들을 수신하는 경우 해당 메시지들 각각의 송신 위치와 수신 시점을 기초로 복수의 도커 컨테이너들에 대한 디도스 공격의 패턴 정보를 생성할 수 있다. 네트워크 상에서 복수의 도커 컨테이너들이 생성된 경우 각 도커 컨테이너는 독립된 AI 모델을 기반으로 디도스 탐지 서비스를 독립적으로 제공할 수 있다. 이때, 디도스 탐지 모듈은 인퍼런스 모듈을 통해 복수의 도커 컨테이너들과 GRPC 통신을 통해 연결될 수 있고, 각 도커 컨테이너의 디도스 탐지 결과를 독립적으로 수신할 수 있다. 이 경우, 디도스 탐지 모듈은 각 탐지 메시지의 송신 위치와 수신 시점을 기록할 수 있고, 이를 기반으로 네트워크 상에서 분산된 디도스 공격의 패턴 정보를 획득할 수 있다. 이때, 수집되는 패턴 정보는 각 도커 컨테이너에 대한 디도스 공격의 방향, 시점 및 횟수 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 디도스 탐지 모듈은 복수의 도커 컨테이너들에 대한 디도스 공격의 패턴 정보를 기초로 탐지 메시지들의 수신 시점 중 가장 빠른 시점을 기준으로 정의되는 전조 시점에서의 공격 가능성을 예측할 수 있다. 여기에서, 전조 시점은 디도스 공격 이전의 특정 시점이나 구간에 해당할 수 있다. 예를 들어, 전조 시점은 디도스 공격 시점을 기준으로 1시간 전 시점으로 정의될 수 있고, 이 경우 오전 2시에 디도스 공격이 탐지되면 전조 시점은 오전 1시에 해당할 수 있다. 만약 전조 시점이 디도스 공격 시점을 기준으로 이전의 1시간 동안의 구간으로 정의되는 경우 오전 1시부터 오전 2시까지의 구간이 전조 시점에 해당할 수 있다.
또한, 전조 시점은 복수의 도커 컨테이너들로부터 수신된 메시지들의 수신 시점 중 가장 빠른 시점을 기준으로 정의될 수도 있다. 즉, 네트워크 상태에 따라 다수의 도커 컨테이너들로부터 수신하는 메시지의 수신 시점이 각각 상이할 수 있으며, 디도스 탐지 모듈은 다수의 메시지 수신 시점 중 가장 빠른 시점과 가장 늦은 시점 간의 시간 구간을 포함하도록 전조 시점을 결정할 수 있다. 이에 따라, 디도스 탐지 모듈을 통해 전조 구간에서 디도스 공격이 예측된 경우, 디도스 탐지 시스템(130)은 네트워크에 연결된 다른 디바이스들에게 공격 탐지 정보를 전달할 수 있다.
도 8은 본 발명에 따른 머신러닝 기반의 디도스 탐지 과정의 일 실시예를 설명하는 도면이다.
도 8을 참조하면, 디도스 탐지 시스템(130)은 네트워크 상에서 수집된 파생 데이터들을 학습하여 디도스 탐지를 위한 AI 모델을 구축할 수 있고, 도커 컨테이터를 통해 AI 모델을 실행하여 디도스 탐지 서비스를 제공할 수 있다.
특히, 디도스 탐지 시스템(130)은 디도스 탐지에 AI 모델을 활용함으로써 네트워크 인프라 상에서 발생하는 공격을 사전에 인지할 수 있고, 새로운 트렌드의 공격을 효과적으로 탐지할 수 있으며, 공격 원인 정보를 효과적으로 제공할 수 있다.
도 8에서, 디도스 탐지 시스템(130)은 이벤트 발생 전 구간을 학습 데이터를 활용하여 디도스 공격의 전단계에서 발생하는 다양한 이벤트 전조 패턴을 효과적으로 학습할 수 있다. 따라서, 디도스 탐지 시스템(130)에 의해 구축된 AI 모델의 경우, 공격 구간(B)에서 디도스 공격을 사후 탐지하는 것을 넘어 전조 구간(A)에서도 효과적인 공격 탐지가 가능하도록 할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 디도스 탐지 환경
110: 사용자 단말 130: 디도스 탐지 시스템
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 데이터 분석 플랫폼 330: AI 서비스 플랫폼
350: 실시간 탐지 플랫폼

Claims (7)

  1. 네트워크 상에서 디도스(D-Dos) 공격에 연관된 데이터들을 수집하고 분석하여 파생 데이터를 생성하는 데이터 분석 플랫폼;
    상기 디도스 공격을 탐지하는 AI 모델을 정의하고 상기 파생 데이터를 이용하여 상기 AI 모델의 학습 및 평가를 수행하며 상기 AI 모델의 배포를 수행하는 AI 서비스 플랫폼; 및
    상기 파생 데이터를 실시간 생성하고 해당 파생 데이터를 상기 배포된 AI 모델에 제공하여 상기 디도스 공격을 탐지하는 실시간 탐지 플랫폼;을 포함하는 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템.
  2. 제1항에 있어서, 상기 데이터 분석 플랫폼은
    누적된 데이터로부터 상기 디도스 공격 관련 유효 정보가 존재하는지 여부를 결정하는 상관관계 분석 모듈;
    상기 디도스 공격 관련 판단 과정에서 불필요한 데이터들을 필터링하는 이상치 분석 모듈; 및
    상기 디도스 공격에 있어 시공간적인 특징의 존재 여부를 판단하고 상기 파생 데이터를 생성하는 시계열 분석 모듈을 포함하는 것을 특징으로 하는 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템.
  3. 제1항에 있어서, 상기 AI 서비스 플랫폼은
    상기 파생 데이터를 학습하여 상기 AI 모델을 구축하고 적어도 하나의 성능 지표를 통해 상기 AI 모델의 성능을 평가하는 모델 구축 모듈;
    상기 평가가 완료된 가장 최근 버전의 AI 모델을 기반으로 도커 컨테이너를 생성하고 만약 도커 컨테이너가 존재하는 경우 해당 AI 모델의 업데이트를 수행하는 모델 배포 모듈; 및
    GRPC 통신을 통해 감시 데이터를 수신하고 상기 감시 데이터에 따른 디도스 공격 여부를 추론하는 모델 서비스 모듈을 포함하는 것을 특징으로 하는 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템.
  4. 제1항에 있어서, 상기 실시간 탐지 플랫폼은
    실시간 스트리밍되는 넷플로우를 이용하여 실시간으로 파생 데이터를 생성하는 전처리 모듈;
    GRPC 통신을 통해 디도스 탐지 서비스를 제공하는 도커 컨테이너에게 상기 파생 데이터를 송신하는 리셰이퍼(Reshaper) 모듈 및 상기 도커 컨테이너로부터 디도스 공격 여부를 수신하는 인퍼런스(Inference) 모듈을 포함하는 도커 클라이언트 모듈; 및
    디도스 탐지 여부 및 탐지 요인 정보를 이벤트 핸들러로 전달하는 디도스 탐지 모듈을 포함하는 것을 특징으로 하는 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템.
  5. 제4항에 있어서, 상기 디도스 탐지 모듈은
    상기 탐지 요인 정보 중 하나로서 해당 이벤트가 탐지된 시점에서 각 피처별 기여도를 산출하는 것을 특징으로 하는 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템.
  6. 제4항에 있어서, 상기 도커 클라이언트 모듈은
    상기 인퍼런스 모듈을 통해 복수의 도커 컨테이너들로부터 상기 디도스 공격 여부에 관한 메시지들을 수신하는 경우 해당 메시지들 각각의 송신 위치와 수신 시점을 기초로 상기 복수의 도커 컨테이너들에 대한 디도스 공격의 패턴 정보를 생성하는 것을 특징으로 하는 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템.
  7. 제6항에 있어서, 상기 도커 클라이언트 모듈은
    상기 복수의 도커 컨테이너들에 대한 디도스 공격의 패턴 정보를 기초로 상기 수신 시점 중 가장 빠른 시점을 기준으로 정의되는 전조 시점에서의 공격 가능성을 예측하는 것을 특징으로 하는 플로우 데이터를 활용한 머신러닝 기반 디도스 이상 트래픽 탐지 시스템.
KR1020220140336A 2022-10-27 2022-10-27 플로우 데이터를 활용한 머신러닝 기반 DDos 이상 트래픽 탐지 시스템 KR20240059276A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220140336A KR20240059276A (ko) 2022-10-27 2022-10-27 플로우 데이터를 활용한 머신러닝 기반 DDos 이상 트래픽 탐지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220140336A KR20240059276A (ko) 2022-10-27 2022-10-27 플로우 데이터를 활용한 머신러닝 기반 DDos 이상 트래픽 탐지 시스템

Publications (1)

Publication Number Publication Date
KR20240059276A true KR20240059276A (ko) 2024-05-07

Family

ID=91078109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220140336A KR20240059276A (ko) 2022-10-27 2022-10-27 플로우 데이터를 활용한 머신러닝 기반 DDos 이상 트래픽 탐지 시스템

Country Status (1)

Country Link
KR (1) KR20240059276A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101683781B1 (ko) 2015-03-23 2016-12-08 (주) 시스메이트 플로우 기반 디도스 탐지 및 방어 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101683781B1 (ko) 2015-03-23 2016-12-08 (주) 시스메이트 플로우 기반 디도스 탐지 및 방어 장치 및 방법

Similar Documents

Publication Publication Date Title
EP3133492B1 (en) Network service incident prediction
US11973774B2 (en) Multi-stage anomaly detection for process chains in multi-host environments
US11150974B2 (en) Anomaly detection using circumstance-specific detectors
AU2019216687B2 (en) Path scanning for the detection of anomalous subgraphs and use of DNS requests and host agents for anomaly/change detection and network situational awareness
US10476749B2 (en) Graph-based fusing of heterogeneous alerts
EP3855692A1 (en) Network security monitoring method, network security monitoring device, and system
Ramaki et al. Real time alert correlation and prediction using Bayesian networks
JP6097889B2 (ja) 監視システム、監視装置、および検査装置
US11533217B2 (en) Systems and methods for predictive assurance
US10476752B2 (en) Blue print graphs for fusing of heterogeneous alerts
US7903657B2 (en) Method for classifying applications and detecting network abnormality by statistical information of packets and apparatus therefor
Ficco et al. A generic intrusion detection and diagnoser system based on complex event processing
US9450819B2 (en) Autonomic network sentinels
US20200134421A1 (en) Assurance of policy based alerting
US20040111638A1 (en) Rule-based network survivability framework
JP2015173406A (ja) 分析システム、分析装置、及び分析プログラム
EP3460769B1 (en) System and method for managing alerts using a state machine
US10122602B1 (en) Distributed system infrastructure testing
JP2019514315A (ja) 異種混在アラートのグラフベース結合
KR20240059276A (ko) 플로우 데이터를 활용한 머신러닝 기반 DDos 이상 트래픽 탐지 시스템
CN107251519B (zh) 用于检测通信网络上的假信息的攻击的系统、方法和介质
US20190004885A1 (en) Method and system for aiding maintenance and optimization of a supercomputer
Bourdenas et al. Self-adaptive routing in multi-hop sensor networks
CN107566187B (zh) 一种sla违例监测方法、装置和系统
CN117640748B (zh) 跨平台设备信息采集系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal