KR102671718B1 - 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템 - Google Patents
머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템 Download PDFInfo
- Publication number
- KR102671718B1 KR102671718B1 KR1020230053797A KR20230053797A KR102671718B1 KR 102671718 B1 KR102671718 B1 KR 102671718B1 KR 1020230053797 A KR1020230053797 A KR 1020230053797A KR 20230053797 A KR20230053797 A KR 20230053797A KR 102671718 B1 KR102671718 B1 KR 102671718B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- detection
- new
- unit
- machine learning
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 104
- 238000010801 machine learning Methods 0.000 title claims abstract description 64
- 238000013480 data collection Methods 0.000 claims abstract description 22
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000779 depleting effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Technology Law (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
본 발명은 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템에 관한 것으로, 네트워크 침입을 예측하여 신규 위협을 탐지하는 보안 시스템에 있어서, 외부에서 유입되는 보안장비, 웹로그, 이벤트 데이터를 포함하는 수집 대상 로그데이터를 제공받아 수집 및 저장하는 데이터 수집부; 상기 데이터 수집부에서 수집된 로그데이터에 대하여 과다발생 이벤트 탐지, 크리덴셜 스터핑 탐지, 신규(Unknown) 위협 탐지, 비정상 트래픽 탐지, 보안 이벤트 정·오탐을 포함하는 위협 대상 정보로 분류하기 위해 상기 로그데이터를 전처리하는 전처리부; 상기 전처리부에서 전처리된 로그데이터에 대하여 머신러닝을 통해 학습된 제 1학습 데이터를 생성한 후 상기 로그데이터의 신규 위협 여부를 탐지하기 위해 학습하는 머신러닝부; 및 상기 머신러닝부를 통해 탐지된 로그데이터를 각각의 위협 대상 정보로 결정하는 데이터 탐지부;를 포함하여 구성되고, 상기 데이터 탐지부에서 결정된 위협 대상 정보는 관리자 설정에 따라 대시보드상에 커스터마이징되도록 출력하는 디스플레이부를 포함하여 구성된다.
Description
본 발명은 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템에 관한 것으로, 좀 더 상세하게는 로그데이터, 실시간 이벤트 데이터, 장비 데이터 등을 수집하고 모니티링하여 침입을 탐지하는 머신러닝이 적용된 플랫폼 기반의 통합형 네트워크 침입을 방지할 수 있는 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템에 관한 것이다.
인터넷 및 네트워크 기술의 발달로 네트워크 보안은 점점 더 중요해지고 있으며, 특히 모든 정보가 컴퓨터에 저장되고 컴퓨팅 환경 또한 다양하고 복잡해지면서 컴퓨터 내의 정보를 보호하는 일이 급선무가 되고 있다. 내부 통신망에 인가받지 않은 불법 사용자들이 접근하게 되면 내부의 컴퓨터 자원을 교란하거나 중요한 정보들을 불법으로 외부에 유출하게 되는데, 이는 네트워크의 발달로 인하여 그 방법도 다양해지고 피해 규모도 커지고 있다.
네트워크와 관련된 분야의 기술이 발전하면서, 네트워크를 공격하는 트래픽을 감지하는 침입 탐지 시스템(Intrusion Detection System, IDS)의 중요성이 대두되고 있다.
이러한 침입 탐지 시스템을 발전시키기 위해 다양한 형태의 머신러닝 기술이 접목되고 있으며, 딥러닝이 사회적 이슈로 부각되면서 인공 신경망을 이용하여 네트워크를 통한 공격 및 위협 트래픽을 감지하는 기술들이 공개되고 있다. 인공 신경망은 입력 데이터를 복수의 계층으로 구성된 레이어로 입력시켜 이에 따른 결과를 이용하거나 학습하여 공격 데이터를 감지할 수 있다는 점에서 각광받고 있다. 하지만, 종래 기술에 따른 침입 탐지 시스템은 고속 네트워크 환경에서 트래픽을 처리하는 데 어려움을 겪고 있다. 특히, 공격자는 공격을 수행하는 동안 의미없는 패킷을 전송함으로써 침입 탐지 시스템의 과부하를 유발하여 공격 의도를 숨길 수 있다. 따라서, 대용량의 트래픽을 빠른 시간내에 처리하면서도 공격 트래픽을 정확하게 구분할 수 있는 기술의 필요성이 부각되고 있는 실정이다.
특히, 최근 문제되고 있는 분산서비스 거부(DDoS:Distributed Denial of Service) 공격은 여러 대의 컴퓨터를 동시에 동작하게 하여 특정 서버에 과도한 부하를 유발하게 한다. 이는 해커가 DDoS 공격 프로그램을 여러 컴퓨터에 악의적으로 배포한 후, 엄청난 양의 패킷을 동시에 한 서버에 전송함으로써 해당 서버의 자원을 고갈시켜서 다른 클라이언트가 서버로부터 정상적인 서비스를 받지 못하게 하거나 서버를 다운시켜서 서버의 기능을 마비시키는 악의적인 공격이다. 이러한 DDoS공격은 주로 가장 흔한 네트워크 프로토콜인 TCP/IP 통신환경에서 발생한다.
DDoS공격에 대응하기 위한 종래의 기술은 DDoS공격 패턴을 탐지하여 차단하거나 네트워크 또는 서버단에서 트래픽을 분석하여 제한하는 방법을 사용한다. 그러나 이러한 방법들은 새로운 공격 패턴에 취약하고, 정상적인 사용자의 트래픽을 제한할 수 있고, 지속적으로 트래픽을 모니터링하면서 분석해야 하므로 트래픽의 양이 증가하는 경우 서버 및 네트워크에 상당한 부하가 걸리는 문제가 있다.
네트워크 침입 탐지 시스템(intrusion detection system, IDS)은 라우터를 통해 수집한 패킷들을 분석하여 네트워크 공격 여부를 판단한다. 최근, 기계학습이 많은 분야에서 각광을 받음에 따라 기계학습이 네트워크 침입 탐지에 적용되고 있다. 네트워크 침입 탐지에서는 패킷을 통해 공격의 패턴을 파악하는 것이 중요하며, 기계학습 기반 네트워크 침입 탐지에서 가장 중요한 부분은 기계학습 모델이 패킷을 잘 분류할 수 있는 표현형을 찾는 것이다.
일반적으로, 기계학습에서 패킷을 잘 분류할 수 있는 표현형을 찾는 것을 임베딩이라 한다. 종래에는 순환 신경망, 단어 유사도 기반 임베딩 모델(word2vec), 차원 축소 기법 등을 통해 임베딩을 찾았다. 예를 들면, 종래에는 라우터와 클라이언트 컴퓨터 간에 송수신되는 패킷을 수집하고, 수집된 패킷을 세션 단위로 분리한 후 통계적 특징(예를 들어, 단위시간 당 패킷 수, 단위시간 당 패킷의 크기 변화량 등)을 추출하였다. 또한, 종래에는 추출된 통계적 특징을 기계학습 모델(예를 들어, 격리 포레스트, 원클래스 서포트 벡터 머신)의 입력으로 하여 네트워크 침입 탐지를 수행하였다.
그러나, 종래에는 순환 신경망과 word2vec의 경우, 재귀적 구조, 학습 단어의 수(예를 들어, 네트워크 침입 탐지에서는 패킷 헤더와 페이로드가 가질 수 있는 값의 종류) 등과 같은 구조의 한계점으로 인해, 학습 시간과 예측 시간이 오래 소요되어 실시간 탐지에 부적합하다는 문제점이 있다. 또한, 패킷의 흐름에 대해 고려하고 있지 않고 패킷 자체에 대한 통계적 특성만을 고려하기 때문에 패킷의 흐름을 고려한 임베딩에 비해 정보의 손실이 발생하는 문제점이 있다. 이로 인해, 기계학습 모델이 소위 제로 데이 공격이라 불리는 처음 보는 공격에 취약하게 되는 문제점이 있다. 또한, 공격 특성 탐지에 중요한 패킷의 특정 부분을 집중해서 보는 것이 아니라 전체적으로 보고 탐지하기 때문에 중요한 정보가 고정된 크기의 임베딩에 전부 포함되지 못하는 문제점이 있다.
한편, 종래에는 정상/악성 플로우 데이터를 수집하고 딥러닝을 사용하여 네트워크 공격을 탐지하고 있다. 그러나, 종래에는 패킷의 흐름을 고려할 수 있는 딥러닝 모델 구조를 사용하지 않기 때문에 임베딩에 패킷의 흐름에 대한 정보는 포함되어 있지 않다. 또한, 종래에는 패킷의 헤더만 보고 침입 여부를 탐지하므로 페이로드까지 보는 방법에 비해 정보량이 부족하여 성능이 떨어지는 문제점이 있다.
안전한 인터넷을 위한 종래의 시스템 보안 기술로, 해킹이나 비정상적인 과도한 트래픽 유발과 같은 사이버 공격에 대한 침입 탐지 기술이 있다. 이와 같은 침입 탐지 기술은 다음과 같이 크게 오용 탐지(misuse detection) 기술과 이상 징후 탐지(anomaly based detection) 기술로 구분될 수 있다.
먼저, 오용 탐지 기술은 알려진 공격 유형에 대한 특징 정보를 사전에 정의하고 이를 기반으로 탐지를 수행하는 방법이며, 이상 징후 탐지 기술은 특정 공격 유형에 대한 특징을 사전에 정의하지 않고, 대신 과거의 통계적 정상 행위와는 다른 비정상 행위를 보일 경우 이를 침입으로 간주하는 방법이다.
최근에 가장 큰 이슈인 APT(Advanced Persistent Threat) 공격은 주로 알려지지 않은 제로 데이 공격(zero-day attack)을 감행하므로, 알려진 공격 패턴을 이용하여 미리 침입을 차단을 하는 것이 어렵다.
따라서, 이와 같이 알려지지 않은 공격에 효과적일 수 있는 침입 탐지 기술이 이상 징후 탐지 기술이나, 이상 징후 탐지 기술의 경우에는 오(誤)탐이 발생할 수 있다는 문제점이 있다.
또한, 크리덴셜 스터핑(Credential stuffing)이란, 웹 사이트에 대한 사용자 계정을 탈취하기 위한 공격 유형 중 하나로, 다른 곳에서 유출된 사용자의 로그인 인증 정보(예를 들어, 아이디와 비밀번호)를 특정 웹 사이트에 무작위로 대입하여 로그인이 이루어지면 로그인된 사용자 계정에 등록된 개인 정보를 유출시키는 방식의 공격을 의미한다.
크리덴셜 스터핑은 랜섬웨어(ransomware), 디도스(DDoS, Distributed Denial of Service) 공격과 함께 주요한 사이버 위협 요소로 꼽히고 있으며, 특히 금융 서비스와 같이 민감한 개인 정보를 다루는 곳을 대상으로 활발하게 행해지고 있다. 크리덴셜 스터핑은 공격에 성공한 경우 개인과 기업에 막대한 금전적 손해로 이어질 수 있는 아주 심각한 보안 이슈나 유출된 로그인 인증 정보의 주체뿐만 아니라 웹 사이트의 관리자들이 크리덴셜 스터핑이 발생하였다는 사실을 초기에 인지 못하는 경우가 대부분이다.
앞서 설명한 바와 같이 인터넷의 급속한 발전과 보급으로 네트워크 환경은 점점 거대해지고 있으며, 인터넷의 간편하고 편리한 네트워크 접속과 제공하고 있는 다양한 서비스로 인하여 그 형태가 복잡해지고 있다. 그러나 인터넷 상에서의 바이러스, 해킹, 시스템 침입, 시스템 관리자 권한 획득, 침입 사실 은닉, 서비스 거부공격 등과 같은 다양한 형태의 네트워크 공격으로 인해 인터넷은 항상 해킹의 위험에 노출되어 인터넷에 대한 침해가 증가하고 있고, 공공기관과 사회기반시설 및 금융 기관은 피해 규모가 점점 증가하며 그 영향력이 크다. 이러한 인터넷 보안 문제를 해결하기 위해 바이러스 백신, 방화벽, 통합 보안 관리, 침입탐지시스템 등의 네트워크 보안 기술의 필요성이 대두되고 있다.
기존의 네트워크 침입 방지 시스템은 패킷의 내용을 분석해 특정 조건에 부합하는 경우의 처리를 결정하는 정책을 생성하게 되는데, 해당 정책들을 어떻게 구성해 놓았느냐에 따라 성능을 좌우하게 된다. 또한 알려진 공격 패턴에 대한 매칭을 수행하므로 새로운 침입 방식의 최신 공격에 대한 탐지 및 방어에 취약한 한계를 가진다.
상기와 같은 문제점을 해결하기 위한 본 발명은, Web 서비스의 급증으로 인해 증가되고 있는 Web 서버 해킹에 대해, Weblog의 주요 field들에 분석하여 효과적인 침입 예방 시스템을 구축하고자 하며, 이는 발명한 머신러닝(ML)기반 알고리즘을 적용하여 신종/변종 공격 및 비정상 탐지 등 새로운 신규 침입 위협에 대한 탐지를 통해 네트워크 환경의 우수한 보안성을 제공하고자 하는데 목적이 있다.
특히, 본 발명은 실제 환경 학습 기반의 빅데이터 플랫폼을 적용하여 일반 침입 정보 뿐만 아니라 웹로그의 신규 침입 위협에 대한 조기 탐지를 통해 보다 강화된 네트워크 침입 시스템을 제공하고자 하는데 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은, 네트워크 침입을 예측하여 신규 위협을 탐지하는 보안 시스템에 있어서, 외부에서 유입되는 보안장비, 웹로그, 이벤트 데이터를 포함하는 수집 대상 로그데이터를 제공받아 수집 및 저장하는 데이터 수집부; 상기 데이터 수집부에서 수집된 로그데이터에 대하여 과다발생 이벤트 탐지, 크리덴셜 스터핑 탐지, 신규(Unknown) 위협 탐지, 비정상 트래픽 탐지, 보안 이벤트 정·오탐을 포함하는 위협 대상 정보로 분류하기 위해 상기 로그데이터를 전처리하는 전처리부; 상기 전처리부에서 전처리된 로그데이터에 대하여 머신러닝을 통해 학습된 제 1학습 데이터를 생성한 후 상기 로그데이터의 신규 위협 여부를 탐지하기 위해 학습하는 머신러닝부; 및 상기 머신러닝부를 통해 탐지된 로그데이터를 각각의 위협 대상 정보로 결정하는 데이터 탐지부;를 포함하여 구성되고, 상기 데이터 탐지부에서 결정된 위협 대상 정보는 관리자 설정에 따라 대시보드상에 커스터마이징되도록 출력하는 디스플레이부를 포함하여 구성된다.
또한, 상기 머신러닝부는, 로그데이터에 대한 신규 위협 대상 정보를 학습하기 위하여 빅데이터 플랫폼으로부터 실시간 외부에서 수집되는 위협 대상 정보를 제공받아 제 1학습 데이터를 생성하고, 상기 전처리부에서 전처리된 로그데이터에 실시간 수집 후 학습된 제 1학습 데이터와 비교하여 신규 위협 탐지를 수행한다.
또한, 상기 신규 위협 탐지 보안 시스템은, 외부에 구축된 네트워크 보안 시스템으로부터 실시간 수집되는 위협 대상 정보를 수집하여 제 2학습 데이터로 생성하는 외부 학습 데이터 수집부를 포함하여 구성되고, 상기 외부 학습 데이터 수집부로부터 수집되는 상기 제 2학습 데이터를 상기 데이터 수집부에서 별도로 수집하여 위협 대상 정보로 분류하는 전처리 과정에서 전처리 분류 기준값으로 적용한다.
상기와 같이 구성되고 작용되는 본 발명은, 머신러닝 기법을 이용하여 신종/변종 공격 및 비정상 탐지 등 네트워크 환경에서 새로운 침입 방식을 예측하여 새로운 침입 방식에 대해서도 우수한 보안성을 통해 대상 시스템을 보다 안전하게 보호할 수 있는 효과가 있다.
특히, 본 발명은 머신러닝(ML) 기반을 적용하여 신종/변종 공격 및 비정상 탐지 등 신규 위협에 대한 탐지를 통해 우수한 보안성을 확보할 수 있는 이점을 가지고 있다.
또한, 본 발명은 외부 학습 데이터 기반의 머신러닝과 빅데이터 플랫폼을 함께 적용하여 새로운 침입 정보에 대해서는 정확한 탐지를 수행할 수 있는 장점을 가지고 있다.
또한, 본 발명은 신규 위협 탐지를 위해 머신러닝에서 학습되어지는 빅데이터 기반의 제 1학습 데이터와 함께 외부 보안 시스템으로부터 수집되는 최신 위협 대상 정보에 해당되는 제 2학습 데이터를 동시에 수집함으로써 신속하고 정확한 신규 침입에 빠르게 대응할 수 있는 장점을 가지고 있다.
도 1은 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템의 전체 구성도,
도 2는 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템의 상세 구성도,
도 3은 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템에서 빅데이터 플랫폼이 적용된 구성도,
도 4는 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템에서 다른 실시예를 나타낸 구성도.
도 2는 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템의 상세 구성도,
도 3은 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템에서 빅데이터 플랫폼이 적용된 구성도,
도 4는 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템에서 다른 실시예를 나타낸 구성도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템을 상세히 설명하면 다음과 같다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 발명에 따른 머신러닝 기법을 적용한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템은, 네트워크 접속을 분석하여 신규 위협을 탐지하는 보안 시스템에 있어서, 외부에서 유입되는 보안장비, 웹로그, 이벤트 데이터를 포함하는 수집 대상 로그데이터를 제공받아 수집 및 저장하는 데이터 수집부; 상기 데이터 수집부에서 수집된 로그데이터에 대하여 과다발생 이벤트 탐지, 크리덴셜 스터핑 탐지, 신규(Unknown) 위협 탐지, 비정상 트래픽 탐지, 보안 이벤트 정·오탐을 포함하는 위협 대상 정보로 분류하기 위해 상기 로그데이터를 전처리하는 전처리부; 상기 전처리부에서 전처리된 로그데이터에 대하여 머신러닝을 통해 학습된 제 1학습 데이터를 생성한 후 상기 로그데이터의 신규 위협 여부를 탐지하기 위해 학습하는 머신러닝부; 및 상기 머신러닝부를 통해 탐지된 로그데이터를 각각의 위협 대상 정보로 결정하는 데이터 탐지부;를 포함하여 구성되고, 상기 데이터 탐지부에서 결정된 위협 대상 정보는 관리자 설정에 따라 대시보드상에 커스터마이징되도록 출력하는 디스플레이부를 포함하여 구성된다.
본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템은, 네트워크상에서 수집되는 다양한 수집 대상 웹로그데이터로부터 과다발생 이벤트, 크리덴셜 스터핑, 비정상 트래픽 등 다양한 침입 위협을 탐지하여 사전에 보호할 수 있는 위협 탐지 보안 시스템을 제공하는데 기술적 목적이 있다.
도 1은 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템의 전체 구성도이다.
본 발명에 크게 네트워크로부터 수집되는 다양한 웹로그데이터를 수집하고 침입 위협 대상 정보를 탐지하기 위한 위협 탐지 보안 시스템(100)과 상기 위협 탐지 보안 시스템에서 검출되는 위협 대상 정보를 보안 관리자나 책임 관리자의 설정 조건에 따라 디스플레이하는 디스플레이부(150)를 포함하여 구성된다.
본 발명에 따른 위협 대상 정보에 따른 탐지 대상으로는 과다발생 이벤트 탐지, 크리덴셜 스터핑 탐지, 신규(Unknow)위협 탐지, 비정상 트래픽 탐지, 보안이벤트 정·오탐 분류 등 보안장비, 보안솔루션, 웹 어플리케이션 로그, 자산정보 등 다양한 로그데이터를 탐지하기 위한 목적을 가지고 있다. 여기서, 상기 수집 대상 로그데이터로는 보안장비 로그데이터에 해당되는 IPS, IDS, WAF, FW와 보안솔루션 로그데이터, 웹 어플리케이션 로그, 자산 정보 등 다양한 로그데이터가 수집 대상 데이터에 해당된다.
따라서, 본 발명은 로그 대상 수집을 통해 다양한 침입 위협 대상 정보를 검출하기 위하여 상기 위협 탐지 보안 시스템(100)을 네트워크 시스템에 구축함으로써 침입 모니터링과 보안 솔루션을 제공할 수 있는 것이다.
도 2는 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템의 상세 구성도이다.
상기 위협 탐지 보안 시스템(100)은 도 2에 도시된 바와 같이 각종 로그데이터(IPS, IDS, WAF, FW, Weblog 등)를 수집하고 저장하는 데이터수집부(110)와 수집된 데이터를 전처리하는 전처리부(120)와 머신러닝을 통해 로그데이터를 분석하기 위한 머신러닝부(130)와 위협 대상 정보를 결정하는 데이터 탐지부(140)를 포함하여 구성된다.
상기 데이터 수집부(110)는 보안장비, 웹로그 등 대용량의 원천데이터를 수집하고 저장하는 것으로, 보안장비(IPS, IDS, WAF, FW 등), 보안솔루션, 웹어플리케이션 로그, 자산 정보, 그 외 가용성 데이터 등 다양한 로그데이터를 수집하여 저장하게 된다.
전처리부(120)는 일예로 로그데이터를 파싱(parsing)하여 적합한 형태로 전처리한다. 이를 위해, 전처리부(120)는 먼저 외부의 다양한 경로, 예를 들어, IDS/IPS 로그, Web Access 로그, Firewall 로그 등을 수집한다. 그리고, 수집된 데이터를 파싱하여 텍스트로부터 미리 정의된 복수의 필드(예를 들어, 도메인 필드, 경로 필드, 파일 및 확장자 필드, 또는 파라미터 필드)를 추출하는 것이다.
따라서, 상기 전처리부(120)는 상기 데이터 수집부(110)에서 수집된 로그데이터에 대하여 과다발생 이벤트 탐지, 크리덴셜 스터핑 탐지, 신규(Unknown) 위협 탐지, 비정상 트래픽 탐지, 보안 이벤트 정·오탐 등 위협 대상 정보나 신규 위협 대상 정보로 분류하기 위해 상기 로그데이터를 전처리한다.
머신러닝부(130)는 위협 대상 정보를 탐지하기 위하여 기존의 학습 데이터(로그데이터)를 통해 학습된 로그데이터를 분석한다. 여기서 기존의 학습에 사용되는 로그데이터를 본 발명에서는 제 1학습 데이터로 지정하고 학습을 실시하고 여기서 학습된 데이터를 기준으로 상기 전처리부(120)에서 전처리된 로그데이터를 분석한다. 상기 머신러닝부(130)는 탐지 대상에 따라 각각 다른 머신러닝 알고리즘을 적용하여 학습을 실시하고 이를 통해 위협 탐지 보안 시스템에서 검출된 로그데이터에 대하여 위협 대상 정보를 분석하게 되는 것이다.
본 발명에 따른 상기 머신러닝부는 과다발생 이벤트 탐지, 크리덴셜 스터핑 탐지, 신규(Unknow)위협 탐지, 비정상 트래픽 탐지, 보안이벤트 정·오탐 분류 등 보안장비, 보안솔루션, 웹 어플리케이션 로그, 자산정보 등에 대한 로그데이터를 탐지한다.
구체적으로 과다발생 이벤트 탐지는 보안솔루션 이벤트가 평소 대비 급증/급감하는 경우를 탐지하며, 여기서 분석대상 데이터의 보안장비는 IPS와 IDS 장비로써, 주단위, 일단위 등의 시간 단위를 기준으로 이벤트 정보가 급감/급증하는지 여부를 검출한다.
크리덴셜 스터핑 탐지는 크리덴셜 스터핑 공격 탐지(로그인 페이지 대량 대입)로써, 웹로그 데이터를 수집하며 최근 시간(예를 들어 1시간 기준) 공격 의심 시간대 데이터를 검출한다.
신규 위협 탐지는 기존 룰(Rule) 기반으로 탐지 불가능한 신규 웹공격 정보를 탐지하는 것으로, 수집된 웹로그데이터를 통해 기존에 학습되지 않은 신규 URL 그룹, 희소한 User-Agent 패턴을 분석한다.
비정상 트래픽 탐지는 방화벽 세션이 평소 대비 급증/급감하는 경우를 탐지하는 것으로, 기존의 방화벽 솔루션 데이터로부터 평소 패턴 대비 급증/급감하는 장비나 시간대 정보를 검출하게 된다.
보안이벤트 정·오탐 분류는 보안솔루션으로부터 수집되는 로그데이터에 대한 정·오탐 여부를 분류한다.
다음으로 상기 머신러닝부(130)를 통해 분석된 상기 로그데이터를 각각의 위협 대상 정보로 결정하는 데이터 탐지부(140)를 포함하여 구성된다.
상기 데이터 탐지부(140)는 최종적으로 분석 대상 로그데이터가 위협 대상 데이터이거나 이벤트 데이터, 비정상 트래픽 등인지 여부를 최종적으로 결정하여 관리자에게 모니터링하는 디스플레이부(150)로 출력된다.
도 3은 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템에서 빅데이터 플랫폼이 적용된 구성도이다.
본 발명에서는 머신러닝 기반의 신규 위협 탐지 보안 시스템을 구성하기 위하여 상기 머신러닝부(130)의 고도화된 학습 진행을 구현하기 위해 외부 또는 내부에 구성된 빅데이터 플랫폼(200)으로부터 학습 데이터를 제공받는다. 여기서 말하는 학습 데이터는 앞서 설명한 제 1학습 데이터(기존에 수집된 로그데이터)에 해당되는 것으로, 상기 빅데이터 플랫폼(200)에는 외부 또는 내부에서 수집된 수많은 로그데이터와 위협 대상 정보에 해당되는 로그데이터를 데이터베이스에 저장하고 있다.
일실시예로 상기 빅데이터 플랫폼(200)은 하나의 위협 탐지 보안 시스템(100)이 구축된 다수의 환경으로부터 실시간으로 분석이 완료된 로그데이터를 저장하고 있으며, 여기에 저장된 로그데이터를 상기 위협 탐지 보안 시스템의 머신러닝부에서 실시간으로 제공받아 상기 제 1학습 데이터를 기준으로 현재 수집되는 로그데이터 분석용 학습 데이터로 적용되는 것이다.
따라서, 본 발명에서는 별도로 구축된 상기 빅데이터 플랫폼(200)을 통해 머신러닝의 고도화된 학습 기능을 구현할 수 있으며, 가장 최근에 발생된 신규 위협 대상 정보를 실시간 반영하여 정확하게 위협 대상 정보를 검출할 수 있는 것이다.
도 4는 본 발명에 따른 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템에서 다른 실시예를 나타낸 구성도이다.
앞서 설명된 바와 같이 상기 빅데이터 플랫폼(200)을 통해 기존의 다양한 로그데이터를 통해 분석된 제 1학습 데이터를 기반으로 상기 머신러닝부(130)에서 학습함과 동시에 본 발명에서는 별도의 제 2학습 데이터를 수집하는 외부 학습 데이터 수집부(300)를 더 포함한다.
상기 외부 학습 데이터 수집부(300)는 외부에 구축된 또 다른 하나의 상기 위협 탐지 보안 시스템(100)이 네트워크 환경 내에서 학습을 위해 수집되는 제 2학습 데이터에 해당되는 것으로, 다시 말해 복수의 위협 탐지 보안 시스템을 연결하여 수집되는 학습 데이터를 제 2학습 데이터로 정의하고 이를 상기 외부 학습 데이터 수집부(300)로 수집하게 된다.
여기서 수집된 제 2학습 데이터는 신규 위협 대상 정보에 빠르게 대응할 수 있으며, 타 위협 탐지 보안 시스템에서 분석된 위협 대상 정보를 실시간 수집하고 이를 제 2학습 데이터로 제공받아 상기 머신러닝부(130)에서 학습함으로써 신규 위협 대상 정보에 빠르게 대응할 수 있는 것이다.
이와 같이 구성되는 본 발명은 머신러닝 기법을 이용하여 신종/변종 공격 및 비정상 탐지 등 네트워크 환경에서 새로운 침입 방식을 예측하여 새로운 침입 방식에 대해서도 우수한 보안성을 통해 내부 네트워크를 보다 안전하게 보호할 수 있는 효과가 있다.
특히, 본 발명은 머신러닝(ML) 기반을 적용하여 신종/변종 공격 및 비정상 탐지 등 신규 위협에 대한 탐지를 통해 우수한 보안성을 확보할 수 있는 이점을 가지고 있으며, 본 발명은 외부 학습 데이터 기반의 머신러닝과 빅데이터 플랫폼을 함께 적용하여 새로운 침입 정보에 대해서는 정확한 탐지를 수행할 수 있는 장점을 가지고 있다.
이상, 본 발명의 원리를 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 그와 같이 도시되고 설명된 그대로의 구성 및 작용으로 한정되는 것이 아니다. 오히려, 첨부된 청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100 : 위협 탐지 보안 시스템
110 : 데이터 수집부
120 : 전처리부
130 : 머신러닝부
140 : 데이터 탐지부
150 : 디스플레이부
200 : 빅데이터 플랫폼
300 : 외부 학습 데이터 수집부
110 : 데이터 수집부
120 : 전처리부
130 : 머신러닝부
140 : 데이터 탐지부
150 : 디스플레이부
200 : 빅데이터 플랫폼
300 : 외부 학습 데이터 수집부
Claims (3)
- 네트워크 접속을 분석하여 신규 위협을 탐지하는 보안 시스템에 있어서,
외부에서 유입되는 보안장비, 웹로그, 이벤트 데이터를 포함하는 수집 대상 로그데이터를 제공받아 수집 및 저장하는 데이터 수집부;
상기 데이터 수집부에서 수집된 로그데이터에 대하여 과다발생 이벤트 탐지, 크리덴셜 스터핑 탐지, 신규(Unknown) 위협 탐지, 비정상 트래픽 탐지, 보안 이벤트 정·오탐을 포함하는 위협 대상 정보로 분류하기 위해 상기 로그데이터를 전처리하는 전처리부;
상기 전처리부에서 전처리된 로그데이터에 대하여 머신러닝을 통해 학습된 제 1학습 데이터를 생성한 후 상기 로그데이터의 신규 위협 여부를 탐지하기 위해 학습하는 머신러닝부; 및
상기 머신러닝부를 통해 탐지된 로그데이터를 각각의 위협 대상 정보로 결정하는 데이터 탐지부;를 포함하여 구성되고,
상기 데이터 탐지부에서 결정된 위협 대상 정보는 관리자 설정에 따라 대시보드상에 커스터마이징되도록 출력하는 디스플레이부를 포함하여 구성되고,
상기 머신러닝부는,
로그데이터에 대한 신규 위협 대상 정보를 학습하기 위하여 기분석된 위협 대상 정보를 외부에서 제공하는 빅데이터 플랫폼으로부터 실시간 외부에서 수집되는 위협 대상 정보를 제공받아 제 1학습 데이터를 생성하고, 상기 전처리부에서 전처리된 로그데이터에 실시간 수집 후 학습된 제 1학습 데이터와 비교하여 신규 위협 탐지를 수행하며,
상기 신규 위협을 탐지하는 보안 시스템은,
외부에 구축된 네트워크 보안 시스템으로부터 실시간 수집되는 위협 대상 정보를 수집하여 제 2학습 데이터로 생성하는 외부 학습 데이터 수집부를 포함하여 구성되고,
상기 외부 학습 데이터 수집부로부터 수집되는 상기 제 2학습 데이터를 상기 데이터 수집부에서 별도로 수집하여 위협 대상 정보로 분류하는 전처리 과정에서 전처리 분류 기준값으로 적용하는 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템. - 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220184031 | 2022-12-26 | ||
| KR1020220184031 | 2022-12-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102671718B1 true KR102671718B1 (ko) | 2024-06-03 |
Family
ID=91496563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230053797A KR102671718B1 (ko) | 2022-12-26 | 2023-04-25 | 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102671718B1 (ko) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101020470B1 (ko) | 2010-09-29 | 2011-03-08 | 주식회사 엔피코어 | 네트워크 침입차단 방법 및 장치 |
| KR101192446B1 (ko) | 2011-12-28 | 2012-10-18 | 주식회사 정보보호기술 | 클라우드 센서 네트워크를 이용한 지능형 무선침입방지 시스템 및 센서 |
| KR20160095856A (ko) * | 2015-02-04 | 2016-08-12 | 한국전자통신연구원 | 새로운 공격 유형의 자동 탐지 및 공격 유형 모델 갱신을 통한 지능형 침입 탐지 시스템 및 방법 |
| KR101794746B1 (ko) | 2015-12-30 | 2017-11-08 | 주식회사 시큐아이 | 네트워크의 침입을 탐지하는 방법, 방화벽 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| KR102018443B1 (ko) | 2017-12-29 | 2019-09-04 | 이화여자대학교 산학협력단 | 네트워크 침입 탐지 시스템 및 방법, 이를 수행하기 위한 기록매체 |
| KR20190125047A (ko) | 2018-04-27 | 2019-11-06 | 한국전자통신연구원 | 차량용 네트워크의 침입 대응 장치 및 방법 |
| KR102083028B1 (ko) | 2019-02-19 | 2020-02-28 | 유재선 | 네트워크 침입탐지 시스템 |
| KR102157661B1 (ko) | 2020-03-11 | 2020-09-18 | 주식회사 시큐아이 | 무선 침입 방지 시스템, 이를 포함하는 무선 네트워크 시스템 및 무선 네트워크 시스템의 작동 방법 |
| KR20210109292A (ko) * | 2020-02-27 | 2021-09-06 | 코넥스파워 주식회사 | 다기능 측정기를 통해 산업현장 설비 관리하는 빅데이터 서버 시스템 |
-
2023
- 2023-04-25 KR KR1020230053797A patent/KR102671718B1/ko active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101020470B1 (ko) | 2010-09-29 | 2011-03-08 | 주식회사 엔피코어 | 네트워크 침입차단 방법 및 장치 |
| KR101192446B1 (ko) | 2011-12-28 | 2012-10-18 | 주식회사 정보보호기술 | 클라우드 센서 네트워크를 이용한 지능형 무선침입방지 시스템 및 센서 |
| KR20160095856A (ko) * | 2015-02-04 | 2016-08-12 | 한국전자통신연구원 | 새로운 공격 유형의 자동 탐지 및 공격 유형 모델 갱신을 통한 지능형 침입 탐지 시스템 및 방법 |
| KR101794746B1 (ko) | 2015-12-30 | 2017-11-08 | 주식회사 시큐아이 | 네트워크의 침입을 탐지하는 방법, 방화벽 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| KR102018443B1 (ko) | 2017-12-29 | 2019-09-04 | 이화여자대학교 산학협력단 | 네트워크 침입 탐지 시스템 및 방법, 이를 수행하기 위한 기록매체 |
| KR20190125047A (ko) | 2018-04-27 | 2019-11-06 | 한국전자통신연구원 | 차량용 네트워크의 침입 대응 장치 및 방법 |
| KR102083028B1 (ko) | 2019-02-19 | 2020-02-28 | 유재선 | 네트워크 침입탐지 시스템 |
| KR20210109292A (ko) * | 2020-02-27 | 2021-09-06 | 코넥스파워 주식회사 | 다기능 측정기를 통해 산업현장 설비 관리하는 빅데이터 서버 시스템 |
| KR102157661B1 (ko) | 2020-03-11 | 2020-09-18 | 주식회사 시큐아이 | 무선 침입 방지 시스템, 이를 포함하는 무선 네트워크 시스템 및 무선 네트워크 시스템의 작동 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zareapoor et al. | Advance DDOS detection and mitigation technique for securing cloud | |
| Sequeira | Intrusion prevention systems: security's silver bullet? | |
| Kizza | System intrusion detection and prevention | |
| Mangrulkar et al. | Network attacks and their detection mechanisms: A review | |
| Somwanshi et al. | Implementation of honeypots for server security | |
| CN113411297A (zh) | 基于属性访问控制的态势感知防御方法及系统 | |
| Devarajan et al. | An efficient intrusion detection system by using behaviour profiling and statistical approach model. | |
| Alnabulsi et al. | Protecting code injection attacks in intelligent transportation system | |
| Abbas et al. | Subject review: Intrusion Detection System (IDS) and Intrusion Prevention System (IPS) | |
| CN101453363A (zh) | 网络入侵检测系统 | |
| Uyyala | Multilevel Authentication System Using Hierarchical Intrusion Detection Architecture For Online Banking | |
| Veena et al. | An intrusion detection system for network security based on an advanced honeypots server | |
| KR102671718B1 (ko) | 머신러닝을 통한 새로운 침입을 예측하는 웹로그 신규 위협 탐지 보안 시스템 | |
| Raut | Log based intrusion detection system | |
| Bhattacharjee et al. | Fuzzy Approach for Intrusion Detection System: A Survey. | |
| KR102679732B1 (ko) | 웹로그 데이터 분석을 통한 신규 위협 탐지용 머신러닝 분석 방법 | |
| Jayan et al. | Sys-log classifier for complex event processing system in network security | |
| Kumar et al. | Organization security framework—a defensive mechanism | |
| Kalai vani et al. | Anomaly detection of DDOS attacks using Hadoop | |
| Kishore et al. | Intrusion Detection System a Need | |
| Samantaray et al. | A systematic study on network attacks and intrusion detection system | |
| Singh et al. | Intrusion detection system and its variations | |
| Rosy et al. | Intrusion Detection System in Cloud Computing | |
| Pir | Intrusion detection techniques and open source intrusion detection (IDS) tools | |
| US20230362176A1 (en) | System and method for locating dga compromised ip addresses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |