KR102426889B1 - 대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치, 방법 및 프로그램 - Google Patents

대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치, 방법 및 프로그램 Download PDF

Info

Publication number
KR102426889B1
KR102426889B1 KR1020220001623A KR20220001623A KR102426889B1 KR 102426889 B1 KR102426889 B1 KR 102426889B1 KR 1020220001623 A KR1020220001623 A KR 1020220001623A KR 20220001623 A KR20220001623 A KR 20220001623A KR 102426889 B1 KR102426889 B1 KR 102426889B1
Authority
KR
South Korea
Prior art keywords
log
data
log data
log type
preset
Prior art date
Application number
KR1020220001623A
Other languages
English (en)
Inventor
공용식
강현숙
김종완
류승환
Original Assignee
주식회사 이글루코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이글루코퍼레이션 filed Critical 주식회사 이글루코퍼레이션
Priority to KR1020220001623A priority Critical patent/KR102426889B1/ko
Priority to KR1020220092139A priority patent/KR102656541B1/ko
Application granted granted Critical
Publication of KR102426889B1 publication Critical patent/KR102426889B1/ko
Priority to KR1020240046572A priority patent/KR20240051094A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명은 대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치에 관한 것으로, 보안 장비로부터 수신되는 대용량의 로그 데이터를 로그 타입 분류 기준에 따라 파싱하고, 파싱된 로그 데이터를 각 로그 타입 분류 기준에 설정된 룰셋을 기반으로 분석함으로써, 보안 장비로부터 수신되는 로그 데이터에 대하여 병렬 분산 처리할 수 있는 효과가 있다.

Description

대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치, 방법 및 프로그램 {Apparatus, method and program for analyzing and processing data by log type for large-capacity event log}
본 발명은 이벤트 로그에 대하여 로그 타입별로 데이터를 분석 처리하는 장치에 관한 것이다.
SIEM(Security Information Event Management) 또는 CEP (Complex Event 에서는 실시간으로 다양한 장비에서 생성되는 Event Log Data 들을 분석하여 내 외부로부터 위협이 있는지 판단하게 된다.
하지만, 운영하는 모든 서버 장비에 추가적 인 SIEM / CEP 모듈을 설치하고 , 각 서버 내에서 자원을 별도로 할당하여 Log Data를 모두 수신부터 분석까지 모두 처리할 수도 있지만 현실적으로 서버에 가해지는 부담이 매우 커져 리소스 부족 등의 이유로 원활한 동작이 불가능한 경우가 많다.
또한, 각각의 서버 내에서 분석 처리시 그 분석된 결과가 매우 단편적으로 , 다른 서버에서의 분석된 결과 들과 연결해서 전체 장비 들의 연속적인 결과를 얻고자 한다면 이 또한 어려움이 있다.
따라서, 별도의 SIEM / CEP 용 서버를 마련하여 전체 Event Log 들을 하나로 모아 일괄적으로 처리할 수 있다면 많은 장비에서 모인 Log Data 로부터 전체적이고 연속적인 분석 결과를 얻을 수 있다.
그리고, 종래에서는 다양한 보안 장비로부터 수신되는 다양한 타입의 로그 데이터를 일괄적으로 분석하였는데, 최근 들어 데이터의 양이 급증하게 되면서 이러한 분석 방법으로는 모든 로그 데이터를 처리할 수 없게 되었다.
이에, 종래와 다른 방법으로 대용량의 로그 데이터를 분석, 처리하는 기술이 필요한 실정이지만, 현재로서는 이러한 기술이 공개되어 있지 않은 실정이다.
공개특허공보 제10-2018-0061891호, (2018.06.08)
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 보안 장비로부터 수신되는 대용량의 로그 데이터를 로그 타입 분류 기준에 따라 파싱하고, 파싱된 로그 데이터를 각 로그 타입 분류 기준에 설정된 룰셋을 기반으로 분석하여 위협 정보 여부를 판단하고자 한다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치는, 서로 다른 복수의 보안 장비와 통신을 수행하는 통신부; 및 상기 통신부를 통해 상기 서로 다른 복수의 보안 장비로부터 실시간으로 기 설정된 크기 이상의 대용량의 로그 데이터가 수신되는 경우 상기 수신된 로그 데이터를 기 설정된 로그 타입 분류 기준에 따라 파싱하고, 상기 파싱된 로그 데이터를 각 로그 타입 분류 기준에 설정된 룰셋을 기반으로 분석하여 위협 정보 여부를 판단하는 프로세서;를 포함한다.
또한, 복수 개의 노드들로 구성된 클러스터(Cluster);를 더 포함하고, 각 노드는 상기 각 노드마다 설정된 로그 타입에 해당하는 분석 애플리케이션이 개별로 구비되어 있으며, 상기 프로세서는 상기 각 노드마다 구비된 상기 분석 애플리케이션을 실행함으로써, 상기 서로 다른 복수의 보안 장비로부터 수신되는 로그 데이터를 병렬 분산 처리할 수 있다.
또한, 상기 프로세서는, 기 설정된 기간 동안 상기 복수 개의 노드들에 분류되어 누적된 데이터 양을 기반으로, 상기 수신되는 로그 데이터가 상기 복수 개의 노드들에 균일하게 분산되도록 상기 로그 타입 분류 기준을 설정할 수 있다.
또한, 상기 프로세서는, 상기 서로 다른 복수의 보안 장비 중 적어도 하나의 제1 보안 장비로부터 수신되는 로그 데이터의 비중이 전체 로그 데이터의 비중 내에서 기 설정된 수준 이상을 점유하는 경우, 상기 특정 보안 장비에 대한 로그 타입 분류 기준을 상기 기 설정된 로그 타입 분류 기준보다 더 세분화되도록 설정할 수 있다.
또한, 상기 각 로그 타입 분류 기준은 상기 서로 다른 복수의 보안 장비 류를 기반으로 결정될 수 있다.
또한, 상기 데이터 분석 처리 장치는 상기 파싱된 로그 데이터가 저장되는 기간에 따라 분류된 적어도 하나의 데이터베이스를 포함하고, 상기 프로세서는 상기 파싱된 로그 데이터를 상기 적어도 하나의 데이터베이스에 저장하고, 저장 시점으로부터 기 설정된 저장 기간 후에 상기 로그 데이터를 삭제할 수 있다.
또한, 과거의 로그 데이터를 분석하는 분석 모듈을 더 포함하며, 상기 프로세서는 과거 로그 데이터 분석이 필요한 대상 장비 및 대상 기간을 기반으로, 해당되는 데이터베이스를 분석하여 과거 데이터 분석 결과를 생성할 수 있다.
또한, 상기 프로세서는, 상기 판단 결과 상기 로그 데이터가 위협 정보에 해당하는 경우 경보 신호를 발생하고, 기 설정된 시간 동안 발생되는 경보 신호의 수가 임계범위를 초과하는 경우 위협 정보가 검출되는 룰셋에 대한 점검 요청 신호를 생성할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 방법은, 장치에 의해 수행되는 방법으로, 서로 다른 복수의 보안 장비로부터 실시간 로그 데이터를 수신하는 단계; 상기 수신된 로그 데이터를 기 설정된 로그 타입 분류 기준에 따라 파싱하는 단계; 및 상기 파싱된 로그 데이터를 각 로그 타입 분류 기준에 설정된 룰셋을 기반으로 분석하여 위협 정보 여부를 판단하는 단계를 포함한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 보안 장비로부터 수신되는 대용량의 로그 데이터를 로그 타입 분류 기준에 따라 파싱하고, 파싱된 로그 데이터를 각 로그 타입 분류 기준에 설정된 룰셋을 기반으로 분석함으로써, 보안 장비로부터 수신되는 로그 데이터에 대하여 병렬 분산 처리할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 방법의 흐름도이다.
도 3은 본 발명의 실시예에서 클러스터의 구성을 예시한 도면이다.
도 4는 종래의 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 방법을 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 방법을 예시한 도면이다.
도 6은 본 발명의 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치의 구성도를 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 방법의 흐름도이다.
도 3은 본 발명의 실시예에서 클러스터의 구성을 예시한 도면이다.
도 4는 종래의 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 방법을 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 방법을 예시한 도면이다.
도 6은 본 발명의 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치의 구성도를 예시한 도면이다.
클러스터(cluster, 또는 컴퓨터 클러스터)란 여러 대의 컴퓨터를 네트워크로 연결하여 하나의 컴퓨터처럼 사용할 수 있도록 하는 개념이다. 컴퓨터 클러스터는 컴퓨터 운영체제, 컴퓨터의 하드웨어, 통계 데이터 등 여러 분야에서 사용된다. 컴퓨터 클러스터의 구성 요소들은 일반적으로 고속의 근거리 통신망으로 연결된다.
클러스터는 일반적으로 단일 컴퓨터보다 더 뛰어난 성능과 안정성을 자랑하며, 단일 컴퓨터보다 훨씬 더 효율적이다.
도 1을 참조하면, 본 발명의 실시예에 따른 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치(100)는 프로세서(110), 통신부(120), 저장부(130), 입출력부(140), 파싱부(150), 분석부(160), 검색부(170) 및 로그 수신 모듈을 포함한다.
다만, 몇몇 실시예에서 데이터 분석 처리 장치(100)는 도 1에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.
통신부(120)는 서로 다른 복수의 보안 장비, 현장 관리자 단말 등과 통신하며, 구체적으로 서로 다른 복수의 보안 장비로부터 실시간 로그 데이터를 수신하고, 프로세서(110)가 로그 데이터에 대한 위협 정보 발견 신호를 발생하면 신호를 현장 관리자 단말로 전송할 수 있다.
통신부(120)는 로그 수신만을 담당하는 로그 수신 모듈(190)을 더 포함할 수 있다.
저장부(130)는 적어도 하나의 저장 수단을 포함하며, 예를 들어 파싱부(150)가 파싱하여 분류된 로그 데이터가 저장된다.
또한, 저장부(130)는 데이터 분석 처리 방법을 실행하기 위한 각종 명령어, 알고리즘이 저장될 수 있으며, 이외에도 각종 인공지능모델이 함께 저장될 수 있다.
저장부(130)는 로그 타입이 저장되는 로그 타입 저장부를 더 포함할 수 있다.
입출력부(140)는 입력 수단, 출력 수단이 별개의 구성으로 구성될 수도 있으며, 입력 수단을 통해서 관리자, 현장 관리자로부터 각종 제어 신호를 입력받을 수 있고, 출력 수단을 통해서 위협 정보 여부 판단 결과, 오류 메시지 등을 출력할 수 있다.
파싱부(150)는 로그 수신 모듈을 통해 수신된 로그 데이터를 기 설정된 로그 타입 분류 기준에 따라 파싱한다.
파싱부(150)는 적어도 하나의 파싱 모듈을 포함할 수 있으며, 로그 타입에 따라 각각 별개의 파싱 모듈을 포함하여, 로그 데이터를 각각의 파싱 모듈이 로그 타입 분류 기준에 따라 파싱할 수 있다.
본 발명의 실시예에서 파싱부(150)는 수신된 로그 데이터를 로그 타입 분류 기준에 따라 파싱하는 것으로 예시되었으나, 로그 타입 분류 기준이 파싱부(150)의 파싱에서 최우선 고려사항일 뿐, 파싱/분류 기준이 로그 타입 분류 기준 하나로 한정되는 것은 아니다.
예를 들어, SQL query where, group by having 등과 같은 분류 기준들이 더 적용될 수 있다.
분석부(160)는 적어도 하나의 분석 모듈을 포함할 수 있으며, 로그 타입에 따라 각각 별개의 분석 모듈을 포함하여, 각각의 분석 모듈이 파싱부(150)로부터 파싱되어 분류된 각각의 로그 타입별 로그 데이터에 대한 분석을 수행할 수 있다.
이때, 각각의 분석 모듈은 분석 애플리케이션을 구비하고, 각각의 로그 타입에 따라 최적화된 룰셋(Rule Set)을 이용하여 로그 데이터를 분석할 수 있다.
검색부(170)는 저장부(130)에 저장된 로그 데이터에 대한 검색 기능을 실행할 수 있으며, 적어도 하나의 검색 모듈을 포함하며 구체적으로는, 과거 데이터 통합 분석을 위한 제1 검색 모듈, 실시간 검색 기능을 위한 제2 검색 모듈 등을 포함할 수 있다.
일 실시예로, 검색 모듈은 실시간 검색을 위해서 분석부(160)에 포함될 수 있다.
프로세서(110)는 데이터 분석 처리 장치(100) 내 구성들의 제어를 담당하며, 저장부(130) 내에 저장된 명령어, 알고리즘, 인공지능모델 등을 실행/이용함으로써 본 발명의 실시예에 따른 데이터 분석 처리 방법을 실행할 수 있다.
도 2를 참조하여, 본 발명의 실시예에 따른 데이터 분석 처리 방법의 프로세스를 상세하게 설명하도록 한다.
프로세서(110)가 통신부(120)를 통해 서로 다른 복수의 보안 장비로부터 실시간 로그 데이터를 수신한다. (S100)
구체적으로, 통신부(120)를 통해 수신되는 서로 다른 복수의 보안 장비는 분석 처리 대상이며, 도 4, 도 5와 같이 IDS, IPS, WAF, FW, WEB 등과 같은 클라이언트가 운용하는 각종 보안 장비가 적용 가능하며, 그 외 보안 장비는 ETC로 묶일 수 있다.
프로세서(110)가 S100에서 수신된 로그 데이터를 기 설정된 로그 타입 분류 기준에 따라 파싱한다. (S200)
일 실시예로, 전술한 바와 같이 파싱부(150)는 로그 타입에 따라 각각 별개의 파싱 모듈을 포함할 수 있으며, 통신부(120)를 통해 수신된 로그 데이터를 각각의 파싱 모듈이 로그 타입 분류 기준에 따라 파싱할 수 있다.
그리고, 프로세서(110)는 파싱부(150)를 통해 파싱되어 분류된 로그 데이터를 분류 결과에 따라 저장부(130)에 저장한다.
상세하게는, 프로세서(110)는 로그 데이터를 저장부(130)에 저장하되, 파싱부(150)를 통해 분류된 대로 저장하여 실시간 분석, 향후 과거 데이터 검색, 분석이 용이하도록 할 수 있다.
이때, 저장부(130)는 파싱부(150)를 통해 분류된 로그 데이터가 저장되는 기간에 따라 분류된 적어도 하나의 데이터베이스를 포함한다.
예를 들어, 저장부(130)는 로그 데이터를 1 week 동안 저장하는 제1 데이터베이스, 로그 데이터를 1 month 동안 저장하는 제2 데이터베이스, 로그 데이터를 1 year 동안 저장하는 제3 데이터베이스를 포함할 수 있다.
프로세서(110)는 파싱된 로그 데이터를 적어도 하나의 데이터베이스에 저장하고, 저장 시점으로부터 기 설정된 저장 기간 후에 로그 데이터를 삭제한다.
프로세서(110)가 S200에서 파싱된 로그 데이터를 각 로그 타입 분류 기준에 설정된 룰셋을 기반으로 분석하여 위협 정보 여부를 판단한다. (S300)
본 발명의 실시예에서 룰셋은 로그 데이터가 위협 정보에 해당하는지 여부를 판단하기 위한 적어도 하나의 룰이 저장되어 있으며, 이러한 룰은 보안 관제 요원, 담당자가 설정할 수 있다.
그리고, 프로세서(110)는 S300을 통해서 특정 로그 데이터가 위협 정보에 해당되는 경우, 입출력부(140), 보안 관제 장치, 단말로 경고를 발생시켜 보안 관제 요원/담당자가 이를 확인하도록 할 수 있다.
본 발명의 실시예에 따른 데이터 분석 처리 장치(100)는 복수 개의 노드들로 구성된 클러스터(Cluster)를 포함한다.
각 노드는 각 노드마다 설정된 로그 타입에 해당하는 분석 애플리케이션이 개별로 구비되어 있다.
프로세서(110)는 각 노드마다 구비된 분석 애플리케이션을 실행함으로써, 서로 다른 복수의 보안 장비로부터 수신되는 대용량의 로그 데이터를 병렬 분산 처리할 수 있다.
본 발명의 실시예에서 각 로그 타입에 대한 분류 기준은 서로 다른 복수의 보안 장비 종류를 기반으로 결정될 수 있다.
도 4는 종래의 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 방법을 예시한 도면이다.
본 발명의 실시예에서, 클라이언트가 운용하는 보안 장비의 종류가 5종류이며, 이에 따라 로그 타입 종류도 5종류인 것으로 예시하도록 한다.
도 4를 참조하면, 종래에는 100개의 로그 데이터가 수신되면, 이에 대한 분석 처리를 진행할 때 100개의 로그 데이터 전부에 대하여 5종류의 로그 타입, 100개의 룰에 대하여 연산을 진행하여, 100 x 5 x 100 = 50,000번의 연산을 수행하였다.
하지만, 전술한 구성들을 적용한 본 발명의 실시예에 따른 데이터 분석 처치 장치를 적용하게 되면, 도 5와 같이 보안 장비로부터 수신된 100개의 로그 데이터가 5개의 로그 타입 분류 기준에 따라 5개의 로그 타입으로 파싱/분류되고, (도 5에서는 정확하게 5등분으로 분류된다고 가정함) 또한, 각각의 로그 타입마다 설정된 룰셋을 적용하여 로그 데이터 분석을 진행하기 때문에, 10,000번의 연산을 수행하게 된다.
위와 같이 종래의 방법을 통해서는 급격하게 늘어나는 데이터의 양을 커버하지 못하여 분석에 딜레이, 오류가 자주 발생하고 있으나, 본 발명의 실시예에 따른 데이터 분석 처리 장치(100)를 통해서는 이러한 문제점을 해결할 수 있게 된다.
또한, 도 5에서는 로그 타입 #1~#5 모두 룰셋 내 룰이 100개인 것으로 가정하였지만, 실제로는 세부적으로 분류되어 더 적은 개수의 룰이 포함되어 있기 때문에 실질적인 연산은 더 감소하는 효과를 발휘하게 된다.
도 7을 참조하면, 본 발명의 실시예에 따른 데이터 분석 처리 장치(100)는 과거의 로그 데이터를 검색할 수 있는 제1 검색 모듈을 포함한다.
프로세서(110)는 과거 로그 데이터 분석이 필요한 대상 장비 및 대상 기간을 기반으로, 해당되는 데이터베이스에서 로그 데이터를 검색하고, 분석부(160)를 제어하여 검색된 로그 데이터에 대한 분석을 수행할 수 있다.
일 실시예로, 프로세서(110)는 S300의 판단 결과 로그 데이터가 위협 정보에 해당하는 경우, 경보 신호를 발생하고 경보 신호 발생 내역을 데이터베이스에 저장한다.
프로세서(110)는 기 설정된 시간 동안 발생되는 경보 신호의 수가 임계범위를 초과하는 경우, 위협 정보가 검출되는 룰셋에 대한 점검 요청 신호를 생성한다.
상세하게는, 룰셋에 포함된 특정 룰에 대해서 기준치 이상으로 위험 상황이 판단되는 경우 해당 룰에 이상이 있을 수도 있다고 판단하고, 관제 요원/관리자에게 해당 룰에 대한 점검을 요청하는 것을 의미한다.
일 실시예로, 프로세서(110)는 기 설정된 기간 동안 복수 개의 노드들에 분류되어 누적된 데이터 양을 기반으로, 보안 장비로부터 수신되는 로그 데이터가 복수 개의 노드들에 균일하게 분산되도록 로그 타입 분류 기준을 설정할 수 있다.
상세하게는, 프로세서(110)는 서로 다른 복수의 보안 장비 중에서 적어도 하나의 제1 보안 장비로부터 수신되는 로그 데이터의 비중이 전체 로그 데이터의 비중 내에서 기 설정된 수준 이상을 점유하는 경우, 제1 보안 장비에 대한 로그 타입 분류 기준을 기 설정된 로그 타입 분류 기준보다 더 세분화되도록 설정할 수 있다.
이때, 로그 타입 분류 기준을 세분화한다는 것은 로그 타입 분류 기준을 복수 개의 하위 기준으로 나누는 것을 의미하며, 즉 해당 보안 장비에 대한 로그 타입 분류 기준, 노드를 여러 개로 분리하는 것을 의미한다.
① 로그 타입 분류 기준 세분화를 위해 노드의 개수를 확장할 수 있다.
예를 들어, 1시간 동안 IDS: 20,000개, IPS: 20,000개, WAF: 20,000개, FW: 120,000개, WEB: 20,000개의 로그 데이터가 수집되었다고 가정한다.
이 경우, FireWall에서 수집되는 로그 데이터의 양이 너무 집중되어 있으며, 해당 노드에서만 로그 데이터 분석이 지연될 수 있다.
따라서, 프로세서(110)는 FW를 제1 FW ~ 제4 FW로 세분화하며, 이로 인해 FW에 대한 로그 타입 분류 기준이 4개로 확장되며, 총 로그 타입 분류 기준(노드 개수)은 8개로 증가하고, 향후 예상되는 로그 데이터 수집은 IDS: 20,000개, IPS: 20,000개, WAF: 20,000개, WEB: 20,000개, 제1 FW: 30,000개, 제2 FW: 30,000개, 제3 FW: 30,000개, 제4 FW: 30,000개로 예상되어 로그 데이터가 적절하게 분산되는 효과가 있다.
② 로그 타입 분류 기준 세분화를 위해 노드별 보안 장비 분류를 재배치할 수 있다.
예를 들어, 1시간 동안 IDS: 20,000개, IPS: 20,000개, WAF: 20,000개, FW: 120,000개, WEB: 20,000개의 로그 데이터가 수집되었다고 가정한다.
이 경우, FireWall에서 수집되는 로그 데이터의 양이 너무 집중되어 있으며, 해당 노드에서만 로그 데이터 분석이 지연될 수 있다.
총 로그 데이터의 수에 노드 수를 나누면, 5개의 노드 각각에 40,000개의 로그 데이터로 계산된다.
프로세서(110)는 IDS, IPS를 제1 노드, WAF, WEB을 제2 노드로 재배치하고, 제1 FW를 제3 노드, 제2 FW를 제4 노드, 제3 FW를 제5 노드에 재배치할 수 있다.
이와 같이 재배치가 완료되면, 향후 예상되는 로그 데이터 수집은 제1 노드~제5 노드는 각각 40,000개로 예상되어 로그 데이터가 적절하게 분산되는 효과가 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 데이터 분석 처리 장치
110: 프로세서
120: 통신부
130: 저장부
140: 입출력부
150: 파싱부
160: 분석부
170: 검색부

Claims (10)

  1. 서로 다른 복수의 보안 장비와 통신을 수행하는 통신부;
    상기 통신부를 통해 상기 서로 다른 복수의 보안 장비로부터 실시간으로 기 설정된 크기 이상의 대용량의 로그 데이터가 수신되는 경우 상기 수신된 로그 데이터를 기 설정된 로그 타입 분류 기준에 따라 파싱하고, 상기 파싱된 로그 데이터를 각 로그 타입 분류 기준에 설정된 룰셋을 기반으로 분석하여 위협 정보 여부를 판단하는 프로세서; 및
    복수 개의 노드들로 구성된 클러스터(Cluster);를 포함하고,
    각 노드는 상기 각 노드마다 설정된 로그 타입에 해당하는 분석 애플리케이션이 개별로 구비되어 있으며,
    상기 프로세서는 상기 각 노드마다 구비된 상기 분석 애플리케이션을 실행함으로써, 상기 서로 다른 복수의 보안 장비로부터 수신되는 로그 데이터를 병렬 분산 처리하고,
    상기 프로세서는,
    기 설정된 기간 동안 상기 복수 개의 노드들에 분류되어 누적된 데이터 양을 기반으로, 상기 수신되는 로그 데이터가 상기 복수 개의 노드들에 균일하게 분산되도록 상기 로그 타입 분류 기준을 설정하고,
    상기 서로 다른 복수의 보안 장비 중 적어도 하나의 제1 보안 장비로부터 수신되는 로그 데이터의 비중이 전체 로그 데이터의 비중 내에서 기 설정된 수준 이상을 점유하는 경우, 상기 제1 보안 장비에 대한 로그 타입 분류 기준을 상기 기 설정된 로그 타입 분류 기준보다 더 세분화되도록 설정하는 것을 특징으로 하는,
    이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 각 로그 타입 분류 기준은 상기 서로 다른 복수의 보안 장비 종류를 기반으로 결정되는 것을 특징으로 하는,
    이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치.
  6. 제1항에 있어서,
    상기 데이터 분석 처리 장치는 상기 파싱된 로그 데이터가 저장되는 기간에 따라 분류된 적어도 하나의 데이터베이스를 더 포함하고,
    상기 프로세서는 상기 파싱된 로그 데이터를 상기 적어도 하나의 데이터베이스에 저장하고, 저장 시점으로부터 기 설정된 저장 기간 후에 상기 로그 데이터를 삭제하는,
    이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치.
  7. 제6항에 있어서,
    과거의 로그 데이터를 분석하는 분석 모듈을 더 포함하며,
    상기 프로세서는 과거 로그 데이터 분석이 필요한 대상 장비 및 대상 기간을 기반으로, 해당되는 데이터베이스를 분석하여 과거 데이터 분석 결과를 생성하는 것을 특징으로 하는,
    이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 판단 결과 상기 로그 데이터가 위협 정보에 해당하는 경우 경보 신호를 발생하고,
    기 설정된 시간 동안 발생되는 경보 신호의 수가 임계범위를 초과하는 경우 위협 정보가 검출되는 룰셋에 대한 점검 요청 신호를 생성하는 것을 특징으로 하는,
    이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치.
  9. 장치에 의해 수행되는 방법으로,
    서로 다른 복수의 보안 장비로부터 실시간 로그 데이터를 수신하는 단계;
    상기 서로 다른 복수의 보안 장비로부터 실시간으로 기 설정된 크기 이상의 대용량의 로그 데이터가 수신되는 경우, 상기 수신된 로그 데이터를 기 설정된 로그 타입 분류 기준에 따라 파싱하는 단계;
    상기 파싱된 로그 데이터를 각 로그 타입 분류 기준에 설정된 룰셋을 기반으로 분석하여 위협 정보 여부를 판단하는 단계를 포함하고,
    상기 장치는,
    복수 개의 노드들로 구성된 클러스터(Cluster);를 포함하고,
    각 노드는 상기 각 노드마다 설정된 로그 타입에 해당하는 분석 애플리케이션이 개별로 구비되어 있으며,
    상기 각 노드마다 구비된 상기 분석 애플리케이션을 실행함으로써, 상기 서로 다른 복수의 보안 장비로부터 수신되는 로그 데이터를 병렬 분산 처리하고,
    기 설정된 기간 동안 상기 복수 개의 노드들에 분류되어 누적된 데이터 양을 기반으로, 상기 수신되는 로그 데이터가 상기 복수 개의 노드들에 균일하게 분산되도록 상기 로그 타입 분류 기준을 설정하고,
    상기 서로 다른 복수의 보안 장비 중 적어도 하나의 제1 보안 장비로부터 수신되는 로그 데이터의 비중이 전체 로그 데이터의 비중 내에서 기 설정된 수준 이상을 점유하는 경우, 상기 제1 보안 장비에 대한 로그 타입 분류 기준을 상기 기 설정된 로그 타입 분류 기준보다 더 세분화되도록 설정하는 것을 특징으로 하는,
    이벤트 로그에 대한 로그 타입별 데이터 분석 처리 방법.
  10. 하드웨어인 컴퓨터와 결합되어, 제9항의 방법을 실행시키기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
KR1020220001623A 2022-01-05 2022-01-05 대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치, 방법 및 프로그램 KR102426889B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220001623A KR102426889B1 (ko) 2022-01-05 2022-01-05 대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치, 방법 및 프로그램
KR1020220092139A KR102656541B1 (ko) 2022-01-05 2022-07-26 로그 타입별 분산 방식을 활용한 대용량 로그 데이터 분석 장치, 방법 및 프로그램
KR1020240046572A KR20240051094A (ko) 2022-01-05 2024-04-05 룰셋 기반의 대용량 로그 데이터 분석 장치, 이의 제어 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220001623A KR102426889B1 (ko) 2022-01-05 2022-01-05 대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치, 방법 및 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220092139A Division KR102656541B1 (ko) 2022-01-05 2022-07-26 로그 타입별 분산 방식을 활용한 대용량 로그 데이터 분석 장치, 방법 및 프로그램

Publications (1)

Publication Number Publication Date
KR102426889B1 true KR102426889B1 (ko) 2022-07-29

Family

ID=82606361

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020220001623A KR102426889B1 (ko) 2022-01-05 2022-01-05 대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치, 방법 및 프로그램
KR1020220092139A KR102656541B1 (ko) 2022-01-05 2022-07-26 로그 타입별 분산 방식을 활용한 대용량 로그 데이터 분석 장치, 방법 및 프로그램
KR1020240046572A KR20240051094A (ko) 2022-01-05 2024-04-05 룰셋 기반의 대용량 로그 데이터 분석 장치, 이의 제어 방법 및 프로그램

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020220092139A KR102656541B1 (ko) 2022-01-05 2022-07-26 로그 타입별 분산 방식을 활용한 대용량 로그 데이터 분석 장치, 방법 및 프로그램
KR1020240046572A KR20240051094A (ko) 2022-01-05 2024-04-05 룰셋 기반의 대용량 로그 데이터 분석 장치, 이의 제어 방법 및 프로그램

Country Status (1)

Country Link
KR (3) KR102426889B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101294268B1 (ko) * 2012-03-07 2013-08-09 주식회사 시큐아이 복수 개의 로그서버들을 이용한 로그 분산 처리 방법 및 로그 분산 처리 시스템
KR20150063233A (ko) * 2013-11-29 2015-06-09 건국대학교 산학협력단 로그 데이터 처리 방법 및 이를 수행하는 시스템
KR20170058140A (ko) * 2015-11-18 2017-05-26 (주)이스트소프트 보안 이벤트로그 분석을 통한 보안침해 분석시스템 및 분석방법
KR20170067118A (ko) * 2015-12-07 2017-06-15 한양대학교 에리카산학협력단 클라우드 환경에서 hdfs 기반의 도커 컨테이너 보안 로그 분석 방법 및 시스템
KR20180061891A (ko) 2016-11-30 2018-06-08 정준용 로그 생성기 및 그를 포함하는 빅 데이터 분석 전처리 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102225040B1 (ko) * 2018-08-29 2021-03-09 한국과학기술원 인공 지능 기반의 통합 로그 관리 방법 및 그 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101294268B1 (ko) * 2012-03-07 2013-08-09 주식회사 시큐아이 복수 개의 로그서버들을 이용한 로그 분산 처리 방법 및 로그 분산 처리 시스템
KR20150063233A (ko) * 2013-11-29 2015-06-09 건국대학교 산학협력단 로그 데이터 처리 방법 및 이를 수행하는 시스템
KR20170058140A (ko) * 2015-11-18 2017-05-26 (주)이스트소프트 보안 이벤트로그 분석을 통한 보안침해 분석시스템 및 분석방법
KR20170067118A (ko) * 2015-12-07 2017-06-15 한양대학교 에리카산학협력단 클라우드 환경에서 hdfs 기반의 도커 컨테이너 보안 로그 분석 방법 및 시스템
KR20180061891A (ko) 2016-11-30 2018-06-08 정준용 로그 생성기 및 그를 포함하는 빅 데이터 분석 전처리 시스템

Also Published As

Publication number Publication date
KR102656541B1 (ko) 2024-04-11
KR20240051094A (ko) 2024-04-19
KR20230106083A (ko) 2023-07-12

Similar Documents

Publication Publication Date Title
CN113159615B (zh) 一种工业控制系统信息安全风险智能测定系统及方法
CN113762906B (zh) 任务周期延迟的告警方法、装置、设备及存储介质
CN112463553A (zh) 一种基于普通告警关联分析智能告警的系统与方法
CN111858251A (zh) 一种基于大数据计算技术的数据安全审计方法及系统
WO2022053163A1 (en) Distributed trace anomaly detection with self-attention based deep learning
CN104871171A (zh) 分布式模式发现
CN115544519A (zh) 对计量自动化系统威胁情报进行安全性关联分析的方法
CN115795330A (zh) 一种基于ai算法的医疗信息异常检测方法及系统
WO2020083023A1 (zh) 一种事件流处理方法、电子设备和可读存储介质
CN111130882A (zh) 网络设备的监控系统及方法
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN114356712A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
RU180789U1 (ru) Устройство аудита информационной безопасности в автоматизированных системах
CN111865899B (zh) 威胁驱动的协同采集方法及装置
CN112925805A (zh) 基于网络安全的大数据智能分析应用方法
CN108351940B (zh) 用于信息安全事件的高频启发式数据获取与分析的系统和方法
KR102426889B1 (ko) 대용량 이벤트 로그에 대한 로그 타입별 데이터 분석 처리 장치, 방법 및 프로그램
CN114518988B (zh) 资源容量系统及其控制方法和计算机可读存储介质
CN116108065A (zh) 一种主动式时序数据管理方法及系统
CN114510708A (zh) 实时数据仓库构建、异常检测方法、装置、设备及产品
CN111475380A (zh) 一种日志分析方法和装置
CN112839029A (zh) 一种僵尸网络活跃度的分析方法与系统
Naukudkar et al. Enhancing performance of security log analysis using correlation-prediction technique
CN113032774A (zh) 异常检测模型的训练方法、装置、设备及计算机存储介质
CN117811767B (zh) 风险ip地址的预警方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant