KR20090100344A - 컴퓨터 네트워크 보안을 보조하기 위한, 로그 데이터의 효과적인 저장과 질의의 지원 - Google Patents

컴퓨터 네트워크 보안을 보조하기 위한, 로그 데이터의 효과적인 저장과 질의의 지원 Download PDF

Info

Publication number
KR20090100344A
KR20090100344A KR20097011683A KR20097011683A KR20090100344A KR 20090100344 A KR20090100344 A KR 20090100344A KR 20097011683 A KR20097011683 A KR 20097011683A KR 20097011683 A KR20097011683 A KR 20097011683A KR 20090100344 A KR20090100344 A KR 20090100344A
Authority
KR
South Korea
Prior art keywords
event
buffer
events
data
chunk
Prior art date
Application number
KR20097011683A
Other languages
English (en)
Other versions
KR101451640B1 (ko
Inventor
웨이 후앙
웬팅 탕
크리스티안 에프. 베트겐
Original Assignee
아크사이트, 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아크사이트, 인코퍼레이티드 filed Critical 아크사이트, 인코퍼레이티드
Publication of KR20090100344A publication Critical patent/KR20090100344A/ko
Application granted granted Critical
Publication of KR101451640B1 publication Critical patent/KR101451640B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0686—Additional information in the notification, e.g. enhancement of specific meta-data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/835—Timestamp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99951—File or database maintenance
    • Y10S707/99952—Coherency, e.g. same view to multiple users
    • Y10S707/99953—Recoverability

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)

Abstract

로깅 시스템은 이벤트 수신기 및 저장 매니저를 포함한다. 수신기는 로그 데이터를 수신하고 이를 처리하여 데이터 "청크"를 출력한다. 매니저는 데이터 청크를 수신하고 데이터 청크가 질의될 수 있도록 저장한다. 수신기는 이벤트를 저장하는 버퍼 및 버퍼의 내용에 관한 메타데이터를 저장하는 메타데이터 구조를 포함한다. 메타데이터는 수신기와 연관된 고유 식별자, 버퍼 내의 이벤트의 수, 및 각각의 "관심 필드"에 대해, 버퍼 내의 모든 이벤트에 걸쳐 그 필드의 값의 범위를 나타내는 최소값 및 최대값을 포함한다. 청크는 메타데이터 구조 및 버퍼의 내용의 압축된 버전을 포함한다. 메타데이터 구조는 이벤트 데이터를 질의할 때, 검색 인덱스로서 기능한다. 로깅 시스템은 보안 정보/이벤트 관리(SIEM) 시스템과 함께 이용될 수 있다.
Figure P1020097011683
로깅 시스템, 이벤트 수신기, 저장 매니저, 로그 데이터

Description

컴퓨터 네트워크 보안을 보조하기 위한, 로그 데이터의 효과적인 저장과 질의의 지원{STORING LOG DATA EFFICIENTLY WHILE SUPPORTING QUERYING TO ASSIST IN COMPUTER NETWORK SECURITY}
본 발명은, 포괄적으로는 보안 정보/이벤트 관리(SIM 또는 SIEM)에 관련되며, 구체적으로는 보안 정보/이벤트를 효과적으로 저장하면서 질의를 지원하는 것에 관련된다.
보안 정보/이벤트 관리(SIM 또는 SIEM)의 분야는, 일반적으로 1) 네트워크 및 네트워킹된 디바이스로부터 네트워크 활동 및/또는 디바이스의 동작을 나타내는 데이터를 수집하고 2) 그 (수집된)데이터를 분석하여 보안을 강화하는 것과 관련된다. 예를 들면, 그 (수집된)데이터를 분석하여, 네트워크 또는 네트워킹된 디바이스에 대한 공격을 식별하고 어떤 사용자 또는 기계에 책임이 있는지를 결정할 수 있다. 공격이 진행 중인 경우, 대항책이 수행되어 공격을 방해하거나 공격에 의해 야기된 손상을 완화할 수 있다. 수집된 데이터는 일반적으로 네트워킹된 디바이스에 의해 발생되는 메시지(이벤트, 경고, 또는 경보 등) 또는 로그 파일 내의 엔트리(entry)에서 비롯된다. 네트워킹된 디바이스의 대표적인 예는 파이어월, 침입 탐지 시스템 및 서버를 포함한다.
각각의 메시지 또는 로그 파일 엔트리("event")는 추후 사용되도록 저장된다. 저장된 이벤트는 다양한 방식으로 조직될 수 있다. 각각의 조직 방법은 이벤트 데이터를 기록, 이벤트 데이터를 검색, 및 이벤트 데이터를 삭제하는 경우에 각각 장점 및 단점이 있다.
하기의 시나리오를 고려해보면, 각각의 이벤트는 이벤트 수신 시각이라 하는 속성을 포함한다. 이벤트 수신 시각 속성의 값은 검색에 빈번하게 이용되므로, 이벤트의 이벤트 수신 시각에 기초하여 이벤트를 저장한다. 예를 들면, 하나의 파일을 매일 매분(minute)에 대해 생성한다. 그 이벤트를 저장하기 위해, 그 이벤트의 이벤트 수신 시각을 결정한다. 그 이벤트 수신 시각의 분에 해당하는 그 파일에 이벤트를 부가한다.
후속 이벤트들이 도착하면, 이 이벤트들의 이벤트 수신 시각들은 항상 단조적으로(monotonically) 증가할 것이다. 이것은 후속 이벤트 데이터의 기록이 부가 동작만을 요한다는 것을 의미한다. 저장 매체의 탐색이 필요없다. 이것은 이벤트 데이터의 기록의 효율을 양호하게 한다. 이벤트 수신 시각에 기초하여 이벤트 데이터를 검색하기 위해, 일단 제 1 이벤트가 식별되면, 후속 이벤트들은 저장 매체를 순서대로 읽으면 검색된다. 다시 말하지만, 탐색이 필요없다. 이것은 이벤트 수신 시각에 기초한 이벤트 데이터의 검색의 효율을 양호하게 한다. 가장 오래된 이벤트 데이터를 삭제하기 위해, 가장 오래된 파일들은 삭제된다. 항상 가장 오래된 파일이 먼저 삭제되면, 저장 매체는 조각화(fragmentation)되지 않을 것이다. 이것은 이벤트 데이터의 삭제의 효율을 양호하게 한다.
이러한 접근 방식에서의 문제는 이벤트 수신 시각 이외의 임의의 속성에 기초하여 이벤트 데이터를 검색하는 것은 시간을 매우 소비시킨다는 것이다. 예를 들면, 각각의 이벤트는 그 이벤트를 발생시킨 디바이스 또는 애플리케이션("이벤트 소스")을 지시하는 속성 또한 포함한다고 가정한다. 특정 이벤트 소스를 지시하는 이벤트(즉, 이벤트 소스 속성의 특정 값을 포함하는 이벤트)에 대한 이벤트 데이터를 검색하기 위해, 저장 매체 전체가 재검토되어야만 할 것이다. 이것은 매우 비효율적이다.
보안 정보/이벤트를 효과적으로 저장하면서 상이한 이벤트 속성에 대한 질의를 지원하는 방식(예를 들면, 다차원 인덱싱의 지원에 의함)이 필요하다.
로깅(logging) 시스템은 보안 정보/이벤트를 효율적으로 저장하면서 상이한 이벤트 속성에 대한 질의를 지원한다. 로깅 시스템은 보안 정보/이벤트 관리(SIEM) 시스템과 연계하여 이용될 수 있다. 다양한 소스(디바이스 및 애플리케이션을 포함)에 의해 발생되는 로그 데이터는 임의의 포맷으로 될 수 있다. 로그 데이터는 "이벤트"라 하는 하나 이상의 데이터 인스턴스로 구성될 수 있다. 예를 들면, 이벤트는 로그 파일 내의 엔트리, 시스로그(syslog) 서버 내의 엔트리, 경고, 경보, 네트워크 패킷, 이메일, 또는 통지 페이지일 수 있다. 일반적으로, 이벤트는 일단 발생되면 추후 변경되지 않는다.
일 실시예에서, 로깅 시스템은 이벤트 수신기, 저장 매니저, 및 통신 기구를 포함한다. 이벤트 수신기는 로그 데이터를 수신하고, 그 로그 데이터를 처리하여, 데이터 "청크(chunk)"를 출력한다. 이벤트 수신기는 제어 시스템, 버퍼(buffer) 세트, 및 메타데이터 구조를 포함한다. 제어 시스템은 이벤트 수신기의 동작을 제어한다. 버퍼 세트는 하나 이상의 이벤트를 저장한다. 메타데이터 구조는 버퍼 세트의 내용에 관한 메타데이터를 저장한다. 일 실시예에서, 메타데이터는 이벤트 수신기와 연관된 고유 식별자, 버퍼 세트 내의 이벤트의 수, 및 하나 이상의 "관심 필드" 각각에 대해, 버퍼 세트 내의 모든 이벤트에 걸쳐 그 필드의 값의 범위를 나타내는 최소값 및 최대값을 포함한다. 메타데이터 구조는 이벤트 데이터를 질의하는 경우, 검색 인덱스로서 기능한다.
저장 매니저는 데이터 청크를 수신하고 저장하여, 데이터 청크가 질의될 수 있다. 저장 매니저는 제어 시스템, 데이터파일 테이블, 청크 테이블, 및 하나 이상의 데이터파일을 포함한다. 제어 시스템은 저장 매니저의 동작을 제어한다. 데이터파일 테이블은 하나 이상의 데이터파일에 관한 정보를 저장한다. 일 실시예에서, 이 정보는 각각의 데이터 파일에 대해, 데이터파일 및 데이터파일 위치와 연관된 고유 식별자를 포함한다. 청크 테이블은 저장 매니저에 저장된(특히, 하나 이상의 데이터파일 내에 저장된) 하나 이상의 청크에 관한 정보를 저장한다. 일 실시예에서, 이 정보는, 각각의 청크에 대해 청크에 저장된 메타데이터 및 청크의 위치를 포함한다. 데이터파일은 다수의 청크를 저장한다. 통신 기구는 이벤트 수신기와 저장 매니저를 통신적으로 연결한다.
이벤트 수신기 및 저장 매니저는 로그 데이터를 저장하는 방법을 공동으로 수행한다. 이 방법을 개시하기 전에, 버퍼 세트 및 메타데이터 구조는 초기화된다. 이벤트 수신기는 로그 데이터를 수신한다. 이벤트 수신기 제어 시스템은 로그 데이터를 하나 이상의 이벤트로 분리하고, 각각의 이벤트가 이벤트 수신기에 의해 수신된 시각을 결정한다. 제어 시스템은 버퍼 세트 내에 이벤트들, 및 각각의 이벤트에 대해 이벤트가 수신된 시각을 나타내는 시각/날짜 스탬프를 저장한다. 또한, 제어 시스템은 메타데이터 구조를 갱신한다. 어느 시점에서, 제어 시스템은 메타데이터 구조 및 버퍼 세트의 내용에 기초하여 데이터 청크를 발생시킨다. 일 실시예에서는, 청크는 메타데이터 구조 및 버퍼 세트의 내용의 압축 버전을 포함한다. 버퍼 세트 및 데이터 구조는 재초기화되고, 이로써 버퍼 세트를 플러쉬(flush)한다. 제어 시스템은 청크를 저장 매니저에 송신한다. 저장 매니저는 청크를 수신하고, 청크를 데이터 파일 내에 저장하고, 청크 테이블을 갱신한다.
저장 매니저는 저장을 재정비(reclaim)하는 방법을 수행한다. 특정 보유 정책과 연관된 가장 오래된 데이터파일이 식별된다. 식별된 데이터파일 내에 포함된 모든 청크와 관련한 정보는 청크 테이블로부터 제거된다. 식별된 데이터파일을 나타내는 데이터파일 테이블 내의 엔트리는 삭제된다. 데이터파일 테이블 내에 새로운 엔트리가 생성된다. 새롭게 재정비된 데이터 파일은 이용 가능한 사전 할당 데이터 파일의 리스트에 추가되고 새로운 청크를 수신할 준비가 된다.
데이터파일 내에 청크가 저장된 후에, 청크 내의 이벤트는 질의될 수 있다. 질의는 이벤트에 대해 평가될 수 있는 표현으로 나타난다. 표현은 하나 이상의 검색 용어를 포함한다. 질의를 수행하기 위해, 질의를 만족하는 이벤트를 포함할 수 있는 데이터 청크가 식별된다. 구체적으로, 메타데이터 구조 내에 포함된 정보에 관련된 질의 내의 검색 용어가 식별된다. "메타데이터 검색 용어"는 청크 테이블을 검색하는데 이용된다. 이 방식으로, 검색은 메타데이터 내에 저장된 정보에 대한 특정 값에 기초하여, 제한을 받는다. 식별된 청크는 그 구성 이벤트로 분리된다. 질의를 만족하는 이벤트가 식별된다.
도 1은 일 실시예에 따른 보안 정보/이벤트 관리 시스템을 가지는 환경을 나타내는 블록도.
도 2는 일 실시예에 따른 보안 정보/이벤트 관리 시스템의 로깅(logging) 시스템으로서 기능하는 컴퓨터를 나타내는 블록도.
도 3은 일 실시예에 따른 보안 정보/이벤트 관리 시스템의 로깅 시스템을 설명하는 블록도.
도 4는 일 실시예에 따른 로그 데이터를 저장하는 방법을 설명하는 흐름도.
도 5는 일 실시예에 따른 저장을 재정비하는 방법을 설명하는 흐름도.
도 6은 일 실시예에 따른 질의 방법을 나타내는 흐름도.
이 도면들은 단지 예시만을 목적으로 실시예를 나타낸 것이다. 당업자는 여기에서 설명하는 원리에서 일탈하지 않고, 여기에 나타내는 구조 및 방법의 다른 활용 실시예가 채용될 수 있음을 하기의 설명으로부터 쉽게 이해할 것이다.
여기에서는 각기 다른 디바이스로부터 컴퓨터 네트워크를 거쳐 데이터를 수 집하고, 이 데이터를 공통 스키마(schema)로 정규화(normalization)하고, 이 정규화된 데이터를 통합하는 컴퓨터 기반 시스템을 설명한다. 이어서, 데이터("이벤트")는 감시, 분석되고, 중앙 뷰(centralized view)로 조사 및 치료에 이용될 수 있다. 이벤트는 규칙과 상호 상관(cross-correlation)되어 메타 이벤트(meta-event)를 생성할 수 있다. 상관은, 예를 들면, 이벤트들 사이의 관계를 발견하고, 그 관계의 중요도를 추론하고(예를 들면, 메타 이벤트의 생성에 의함), 이벤트 및 메타 이벤트의 우선 순위를 매기고, 조치를 취할 구조를 제공하는 것을 포함한다. 이 시스템(이것의 일 실시예는 컴퓨터 소프트웨어로서 명확히 나타남)은 집합(aggregation), 상관, 탐지, 및 의심스런 네트워크 활동 추적 조사를 가능하게 한다. 또한, 시스템은 응답 관리, 특별한(ad-hoc) 질의 해결, 범죄과학 분석에 대한 보고 및 재현, 및 네트워크 위협 및 활동의 그래픽적 시각화를 지원한다.
본 시스템을 다양하게 나타낸 실시예를 참조하여 설명하지만, 본 발명의 폭넓은 사상 및 범주가 이들 실시예에 한정되는 것으로 이해해서는 안 된다. 예를 들면, 여기에서 제공되는 예들은 분산된 에이전트, 매니저 및 콘솔을 설명하는데, 이는 단지 본 발명의 일 실시예일 뿐이다. 본 발명의 일반적인 개념 및 범위는 더 광범위하며 임의의 컴퓨터 기반 또는 네트워크 기반 보안 시스템으로 확장될 수 있다. 또한, 본 발명의 추가 설명을 위해, 시스템의 컴포넌트 간에 주고 받는 메시지 및 시스템의 구성요소에 의해 이용될 수 있는 데이터 스키마를 예로 들었지만, 이것이 모든 예를 포함하는 것은 아니며, 그렇게 간주되어서도 안 된다.
다음 상세한 설명의 일부는 컴퓨터 메모리 내의 데이터에 대한 동작의 알고 리즘 및 기호 표현으로 나타내진다. 이들 알고리즘 설명 및 표현은 컴퓨터 과학 기술 분야의 당업자가 그들의 작업 내용을 다른 당업자에게 가장 효과적으로 전달할 수 있는 수단이다. 여기에서나 일반적으로나 알고리즘은 원하는 결과에 이르는 일관성 있는 순서의 단계들로 고안된다. 이 단계들은 물리량의 물리적 조작을 요하는 것이다. 일반적으로, 반드시 그러한 것은 아니지만, 이들 양은 저장, 전송, 결합, 비교 및 달리 조작될 수 있는 전기 또는 자기 신호의 형태를 가진다. 주로 공용을 이유로, 이들 신호를 비트, 값, 요소, 기호, 문자, 용어, 숫자 등으로 참조하는 것은 때때로 편리하다고 증명되었다. 그러나, 위와 같은, 그리고 유사한 용어가 적합한 물리량과 연관되어야 하고 이들 양에 부여된 편의상의 라벨임을 유념해야 한다. 구체적으로 달리 언급되지 않은 한에서는, 본 발명의 설명의 전반에 걸쳐, "처리", "컴퓨팅", "연산", "결정", "표시" 등의 용어 사용은 컴퓨터 시스템의 레지스터 및 메모리 내의 물리(전자)량으로서 표현된 데이터를 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 그와 유사한 정보 저장, 전송 또는 디스플레이 디바이스 내에서 물리량으로서 유사하게 표현된 다른 데이터로 조작 및 변형시키는 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 디바이스의 작동 및 프로세스를 일컫는다.
상술한 바와 같이, 본 발명의 실시예가 컴퓨터가 해독할 수 있는 지시 내용인 컴퓨터 소프트웨어에 실시되어서, 지시 내용은 하나 이상의 컴퓨터 프로세서/시스템에서 수행될 때 그 프로세서/시스템이 지정된 작동을 하도록 지시한다. 이러한 컴퓨터 소프트웨어는 하드 드라이브, CD-ROM, DVD-ROM, 판독 전용 메모리, 판독 기록 메모리 등과 같은 하나 이상의 컴퓨터 판독 가능한 매체 내에 위치한다. 이러한 소프트웨어는 하나 이상의 이들 매체에 내재되거나, 하나 이상의 컴퓨터 네트워크(예를 들면, 인터넷)에 걸쳐 다운로드받을 수 있다. 포맷에 상관없이, 여기에서 논의되는 컴퓨터 프로그래밍, 렌더링 및 처리 기술은 단지 본 발명의 양태들을 구현하는데 이용될 수 있는 프로그래밍, 렌더링 및 처리 기술 형태의 예들이다. 본 발명은 이 예들에 한정되는 것이 아니며, 본 설명 이후의 특허청구범위를 참조하여 가장 쉽게 이해된다.
1. 보안 정보/이벤트 관리( SIEM ) 시스템 아키텍처
도 1은 일 실시예에 따른 보안 정보/이벤트 관리 시스템을 가지는 환경을 나타내는 블록도이다. 도 1은 보안 정보/이벤트 관리(SIEM) 시스템(100) 및 하나 이상의 데이터 소스(110)를 포함한다. 데이터 소스(110)는 디바이스 또는 소프트웨어 애플리케이션일 수 있는 네트워크 노드이다. 대표적인 데이터 소스(110)는 침입 탐지 시스템(IDSs), 침입 방지 시스템(IPs), 취약성 평가 툴, 파이어월, 백신 툴, 반스팸(anti-spam) 툴, 암호화 툴, 애플리케이션 감사(audit) 로그, 및 물리적 보안 로그를 포함한다.
데이터 소스(110)의 유형은 보안 탐지 및 프록시(proxy) 시스템, 액세스 및 정책(policy) 제어, 코어 서비스 로그 및 로그 통합기, 네트워크 하드웨어, 암호화 디바이스, 및 물리적 보안을 포함한다. 대표적인 보안 탐지 및 프록시 시스템은 IDSs, IPs, 다목적 보안 애플리케이션, 취약성 평가 및 관리, 백신, 허니팟(honeypot), 위협 응답 기술, 및 네트워크 감시를 포함한다. 대표적인 액세스 및 정책 제어 시스템은 액세스와 아이덴티티 관리, 가상 사설 네트워크(VPNs), 캐싱(caching) 엔진, 파이어월, 및 보안 정책 관리를 포함한다. 대표적인 코어 서비스 로그 및 로그 통합기는 운영 체제 로그, 데이터베이스 감사(audit) 로그, 애플리케이션 로그, 로그 통합기, 웹 서버 로그, 및 관리 콘솔을 포함한다. 대표적인 네트워크 하드웨어는 라우터 및 스위치를 포함한다. 대표적인 암호화 디바이스는 데이터 보안성 및 무결성을 포함한다. 대표적인 물리 보안 시스템은 카드-키 리더기, 생체인식, 도난 경보기, 및 화재 경보기를 포함한다.
예시된 실시예에서, SIEM 시스템(100)은 하나 이상의 에이전트(120), 하나 이상의 매니저(130), 하나 이상의 데이터베이스(140), 하나 이상의 온라인 아카이브(150), 하나 이상의 사용자 인터페이스(160), 및 하나 이상의 로깅 시스템(170)을 포함한다. 일부 실시예에서, 이들 모듈은 단일 플랫폼으로 결합되거나, 두 개, 세 개, 또는 그 이상의 플랫폼(도 1 참조)으로 분산된다. 이러한 멀티티어(multi-tier) 아키텍처의 이용은 컴퓨터 네트워크 또는 시스템이 커짐에 따라, 확장성(scalability)을 지원한다. SIEM 시스템(100)은 2002년 12월 2일 출원된 U.S. 출원 제10/308,415호에 더 기재되어 있고, 본원에 그 전문이 참조로서 포함된다.
에이전트(120)는 데이터 소스(110)에 인터페이스를 제공한다. 특히, 에이전트(120)는 데이터 소스(110)로부터 데이터("미처리 데이터(raw data)")를 수집하고, 이 데이터를 처리하고, 처리된 데이터("이벤트")를 매니저(130)에 송신한다. 에이전트(120)는 간이 네트워크 관리 프로토콜(SNMP) 트랩 등의 프로토콜을 통해 통신하는 별개의 디바이스, 그 네트워크 내의 통합점, 혹은 데이터 소스(110) 등의 어디에서든 동작할 수 있다. 예를 들면, 데이터 소스(110)가 소프트웨어 애플리케이션이면, 에이전트(120)는 데이터 소스를 호스팅한 디바이스에 공동으로 호스팅될 수 있다. 일 실시예에서, 에이전트(12)는 미국 캘리포니아의 Cupertino에 소재한 ArcSight, Inc.의 Connector 제품이다.
처리는 정규화, 집합, 및 필터링을 포함할 수 있다. 예를 들면, 개별 미처리 이벤트는 매니저(130)에 의해 사용되도록 문법단위화 및 정규화된다. 정규화는 값(중대성, 우선 순위, 및 시간대 등)의 공통 포맷으로 정규화 및/또는 데이터 구조의 공통 스키마로의 정규화를 포함할 수 있다. 이벤트는 인간이 판독 가능한 공통 포멧을 이용하여 카테고리화될 수 있다. 이 포맷은 사용자의 이벤트의 이해를 용이하게 하고, 필터, 규칙, 보고, 및 데이터 감시를 이용한 이벤트의 분석을 용이하게 한다. 일 실시예에서, 공통 포맷은 ArcSight, Inc.의 Common Event Format(CEF) 로그 관리 표준이다. 정규화는 2002년 12월 2일 출원된 U.S. 출원 제10/308,941호에 더 기재되어 있고, 본원에 그 전문이 참조로서 포함된다.
집합 및 필터링은 매니저(130)에 송신되는 이벤트 양을 줄이고, 이것은 네트워크 대역폭 및 저장 공간을 절약하고 매니저의 효율성 및 정확성을 향상시키고, 이벤트 처리 시간을 줄인다. 집합은 2002년 12월 2일 출원된 U.S. 출원 제10/308,584호에 더 기재되어 있고, 본원에 그 전문이 참조로서 포함된다. 에이전트(120)는 기간의 만료나 도달한 이벤트의 임계치 수에 기초하여 배치(batch)식으로 매니저(130)에 이벤트를 송신한다. 매니저(130)로의 전송을 위해 이벤트를 배치화하는 것은 2007년 5월 15일 발행된 U.S. 특허 제7,219,239호에 더 기재되어 있 고, 본원에 그 전문이 참조로서 포함된다.
또한, 에이전트(120)는 명령의 데이터 소스(110)로의 송신 및/또는 스캐너가 스캔을 실행하도록 지시하는 것과 같은 로컬 호스트에 대한 명령의 실시를 할 수 있다. 이들 작동은 수동으로 또는 규칙 및 데이터 감시로부터의 자동화된 작동을 통해 실행될 수 있다. 명령 지원은 2002년 12월 2일 출원된 U.S. 출원 제10/308,417호에 더 기재되어 있고, 본원에 그 전문이 참조로서 포함된다. 에이전트(120)는 또한 IP/호스트명을 찾기 위해 매니저(130)를 찾아보는 문제를 해결하기 위해 인터넷 프로토콜(IP) 주소 및/또는 호스트명을 찾아보는 등의 방법으로 수집된 데이터에 정보를 첨가할 수 있다.
에이전트(120)는 연관된 구성 파일(도시 생략)을 통해 구성된다. 에이전트(120)는 정규화 성분, 시간 정정 성분, 집합 성분, 배치 성분, 리졸버 성분, 전달 성분, 및/또는 추가 성분을 포함하는 하나 이상의 소프트웨어 모듈을 포함할 수 있다. 이들 성분은 구성 파일 내의 적합한 명령을 통해 활성화 및/또는 비활성화될 수 있다. 구성 도중에, 에이전트(120)는 매니저(130)에 등록되고 그 데이터 소스(110) 및 요구된 행동에 기초한 특성으로 구성된다. 에이전트(120)는 수동과 자동 프로세스 모두를 통해 더 구성될 수 있다. 예를 들면, 매니저(130)는 에이전트(120)에 명령 또는 구성 갱신을 송신할 수 있다. 에이전트 성분은 2002년 12월 2일 출원된 U.S. 출원 제10/308,548호에 더 기재되어 있고, 본원에 그 전문이 참조로서 포함된다.
매니저(130)는 분석 능력, 사건 관리 작업흐름 능력, 및 서비스 능력을 제공 한다. 매니저(130)와 에이전트(120) 사이의 통신은 양방향(예를 들면, 매니저(130)가 에이전트(120)를 호스팅하는 플랫폼에 명령을 전송할 수 있게 함) 및 암호화될 수 있다. 일부 설치에서, 매니저(130)는 다수의 에이전트(120)에 대한 집중기로서 기능할 수 있고 정보를 다른 매니저(130)(예를 들면, 기업 본부에 전개된 매니저)에 전송할 수 있다. 이 작업을 수행하기 위해, 매니저(130)는 다양한 필터, 규칙, 보고, 데이터 모니터, 대시보드, 및 네트워크 모델을 사용한다. 일 실시예에서, 매니저(130)는 ArcSight, Inc.의 ESM(Enterprise Security Manager(ESM)) 제품 등의 자바 기반 서버이다.
분석은 탐지, 상관, 및 에스컬레이션(escalaton)을 포함할 수 있다. 예를 들면, 매니저(130)는 규칙 엔진(도시 생략)을 이용하여 에이전트(120)로부터 수신된 이벤트를 상호 상관시키는데, 규칙 엔진은 각각의 이벤트를 네트워크 모델 및 취약성 정보로 평가하여 실시간 위협 요약을 발현한다. 상관은 2002년 12월 2일 출원된 U.S. 출원 제10/308,767호에 더 기재되어 있고, 본원에 그 전문이 참조로서 포함된다. 사건 관리와 관련하여, 매니저(130)는 보안 사건 상태 및 그들의 해결 관련한 보고를 유지할 수 있다. 사건 보고는 2003년 11월 14일에 출원된 U.S. 출원 제10/713,471호에 더 기재되어 있고, 본원에 그 전문이 참조로서 포함된다. 서비스는 관리, 통지, 및 보고를 포함할 수 있다. 또한, 매니저(130)는 지식 베이스에 접근을 제공할 수 있다.
매니저(130)에 의해 이벤트가 수신되면, 이벤트는 데이터베이스(140)에 저장된다. 이벤트의 저장은 이벤트가 추후 분석 및 참조에 사용되는 것을 가능하게 한 다. 일 실시예에서, 데이터베이스(140)는 미국 캘리포니아의 Redwood Shores 소재의 Oracle Corporation의 데이터베이스 등의 관계 데이터 베이스 관리 시스템이다.
일 실시예에서, 데이터베이스(140)는 데이터베이스의 시간적 순서의 조각인 파티션 내에 데이터를 저장한다. 예를 들면, 하나의 새로운 파티션이 매일 생성되어 그 날의 이벤트를 저장한다. 파티션은 추후 검색을 위해 온라인 아카이브(150)에 압축 및 저장될 수 있다. 파티션 관리는 2004년 5월 4일 출원된 U.S. 출원 제10/839,563호에 더 기재되어 있고, 본원에 그 전문이 참조로서 포함된다. 일 실시예에서, 파티션 관리는 ArcSight, Inc.로부터의 Security Lifecycle Information Management(SLIM) 제품의 SmartStorage 기록보관 및 검색 컴포넌트에 의해 제공된다.
사용자는 사용자 인터페이스(160)를 통해 매니저(130)와 상호작용한다. 사용자 인터페이스(160)는 사용자가 매니저(130)의 특징 및 기능을 두루 찾아볼 수 있게 한다. 단일 매니저(130)는 다수의 사용자 인터페이스 인스턴스를 지원할 수 있다. 이용 가능 사용자에게 이용될 수 있는 특징 및 기능은 사용자의 역할과 허가 및/또는 매니저의 구성에 달려있다. 일 실시예에서, 액세스 제어 리스트는 다수의 보안 전문가가 동일한 매니저(130) 및 데이터 베이스(140)를 사용 가능하게 하지만, 각각의 전문가는 자신의 직무에 합당한 그 자신의 관점, 상관 규칙, 경고, 보고, 및 지식 베이스를 가진다. 매니저(130)와 사용자 인터페이스(160) 사이의 통신은 양방향이며 암호화될 수 있다.
일 실시예에서, 두 가지 형태의 사용자 인터페이스(160), 즉 워크스테이션 기반 인터페이스 및 웹 브라우저 기반 인터페이스가 있다. 워크스테이션 인터페이스는 SOC(Security Operations center) 또는 유사한 보안 감시 환경 내의 정규 보안 직원에 의한 사용이 의도된 독립형(standalone) 소프트웨어 애플리케이션이다. 워크스테인션 인터페이스는 필터, 규칙, 보고, 패턴 발견, 대시보드, 및 데이터 감시를 생성 및 수정하는 오서링 툴(authoring tool)을 포함한다. 또한, 워크스테이션 인터페이스는 한 명의 사용자가 사용자들, 데이터베이스 파티션, 및 작업흐름(예를 들면, 사건 조사 및 보고)의 사용자 관리를 가능하게 한다. 예를 들면, 워크스테이션 인터페이스는 한 명의 사용자가 루틴 감시를 수행하고, 복잡한 상관 및 긴 시퀀스 규칙을 만들고, 루틴 관리 기능을 수행하는 것을 가능하게 한다. 일 실시예에서, 워크스테이션 인터페이스는 ArcSight, Inc.로부터의 ESM Console 제품이다.
웹 인터페이스는 웹 브라우저 클라이언트에게 매니저(130)와의 안전한 인터페이스를 제공하는 독립 및 원격 설치 가능한 웹 서버이다. 웹 인터페이스는 MSSPs(Managed Service Security Provider)의 고객, SOC 조작자, 및 보호된 네트워크의 외부로부터 매니저(130)를 액세스할 필요가 있는 사용자를 위한 간편화된 인터페이스로서의 사용을 위한 것이다. 웹 서버를 매니저(130)로부터 먼 위치에 설치할 수 있기 때문에, 웹 서버는 매니저(130)를 보호하는 파이어월의 외부에서 동작할 수 있다. 웹 인터페이스는 이벤트 감시 및 드릴-다운(drill down) 능력을 제공한다. 일 실시예에서, 보안 특징으로서, 웹 인터페이스는 오서링 또는 지시 기능을 할 수 없다. 일 실시예에서, 웹 인터페이스는 ArcSight, Inc.로부터의 ArcSight Web 제품이다.
일 실시예에서, 로깅 시스템(170)은 아주 많은 양의 이벤트 처리에 최적화된 이벤트 데이터 저장 기구이다. 로깅 시스템(170)은 보안 이벤트(때때로 "로그 데이터"라 함)를 저장한다. 일 실시예에서, 보안 이벤트는 압축 형태로 저장된다. 그러나, 로깅 시스템(170)은 이들 이벤트를 범죄 과학-품질 데이터 용도로 (변조되지 않은)요구에 따라 도출할 수 있다. 다수의 로깅 시스템(170)은 협업하여 규모를 증가시켜, 이벤트를 저장할 때, 높게 지속되는 입력 속도를 지원할 수 있다. 이벤트 질의들은 로깅 시스템(170)의 동료(peer) 네트워크에 걸쳐 분산될 수 있다. 사용자는 사용자 인터페이스를 통해 로깅 시스템(170)을 구성할 수 있다(도시 생략). 일 실시예에서, 로깅 시스템(170)은 ArcSight, Inc.로부터의 Logger 제품이다.
로깅 시스템(170)은 처리된 이벤트(예를 들면, Common Event Format에 맞는 이벤트)와 미처리된 이벤트 모두를 수신할 수 있다. 일 실시예에서, 미처리된 이벤트(시스로그 메시지 또는 로그 파일 등)는 데이터 소스(110)로부터 직접 수신되고, 처리된 이벤트는 에이전트(120) 또는 매니저(130)로부터 수신된다. 또한, 로깅 시스템(170)은 미처리된 이벤트와 처리된 이벤트 모두를 송신할 수 있다. 일 실시예에서, 미처리된 이벤트는 시스로그 메시지로서 (임의의 디바이스(도시 생략)에)송신되고 처리된 이벤트는 매니저(130)에 송신된다. 로깅 시스템(170)은 이하에서 더 상세하게 설명한다.
상술한 아키텍처를 통해, SIEM 시스템(100)은 중앙식 또는 비중앙식 환경을 지원할 수 있다. 이것은 조직이 SIEM 시스템의 단일 인스턴스를 실시하고 파티션 사용자에 대한 액세스 제어 리스트를 사용하기를 원할 수 있으므로 유용하다. 반대로, 조직은 각각의 수많은 그룹에 대해 별개의 SIEM 시스템(100)을 전개하고 그 결과를 "마스터" 레벨에서 통합하는 것을 선택할 수 있다. 또한, 이러한 전개는 현재 기준 업무 시간으로 작업하는 그룹에 주요 감독 책임을 전가함으로써 지리적으로 분산된 동료 그룹이 서로 협업하는 "팔로우 더 선(follow-the-sun)" 배치를 이룰 수 있다. 또한, SIEM 시스템(100)은 업무 부서가 별개로 작업하고 중앙 집중식 관리 기능에 상향 전달(rollup)을 지원하는 기업 위계 구조에 전개될 수 있다.
2. 로그 데이터
여기에서는 로그 데이터를 효과적으로 저장하면서 질의를 지원하는 시스템 및 방법을 설명한다. 여기에서 이용된 것처럼 "로그 데이터"는 디바이스 및 애플리케이션 모두를 포함하는 다양한 소스에 의해 발생될 수 있다. 이들 소스는, 예를 들면 상술한 데이터 소스(110)뿐만 아니라, 네트워크 시스템, 컴퓨터, 운영 체제, 백신 시스템, 데이터베이스, 물리적 인프라스트럭처(infrastructure), 아이덴티티 관리 시스템, 디렉토리 서비스, 시스템 건강 정보 시스템, 웹 트래픽, 레거시(legacy) 시스템, 독점적 시스템, 메인프레임, 메인프레임 애플리케이션, 보안 시스템, 물리적 디바이스, 및 SIEM 소스(에이전트(120) 및 매니저(130) 등)를 포함한다.
시스템은 로그 데이터를 다양한 방식으로 획득할 수 있다. 예를 들면, 로그 데이터가 수신될 수 있다(예를 들면, 시스로그 프로토콜에 따라서). 한편, 로그 데이터가 액세스될 수 있다(예를 들면, 지역적 또는 원거리에 저장된 파일의 판독에 의함). 다른 방법은, 예를 들면 ODBC(Open Database Connectivity), SNMP(Simple Network Management Protocol) 트랩, NetFlow, 및 독점적 APIs(Application Programming Interfaces)를 포함한다. 또한, 로그 데이터는 사용자에 의해 입력될 수 있다(예를 들면, CLI(command line interface)를 사용하여).
로그 데이터는 임의의 포맷일 수 있다. 이러한 포맷의 하나는, 예를 들면 CEF(상술함)이다. 다른 포맷은, 예를 들면 로그 데이터를 발생시킨 데이터 소스(110)에 특정된다.
로그 데이터는 "이벤트"라 하는 하나 이상의 데이터 인스턴스로 구성된다. 이벤트는, 예를 들면 로그 파일 내의 엔트리, 시스로그 서버 내의 엔트리, 경고, 경보, 네트워크 패킷, 이메일, 또는 통지 페이지일 수 있다. 일반적으로, 이벤트가 일단 발생하면 추후 변경되지 않는다.
일 실시예에서, 이벤트는 내재적인 메타데이터 및 메시지를 포함한다. 내재적인 메타데이터는, 예를 들면 이벤트를 발생시킨 디바이스 또는 애플리케이션("이벤트 소스") 및 이벤트 소스로부터 이벤트를 수신한 시각("수신 시각")에 관한 정보를 포함할 수 있다. 일 실시예에서, 수신 시각은 날짜/시간 스탬프이고, 이벤트 소스는 네트워크 종단점 식별자(예를 들면, IP 주소 또는 MAC(Media Access Control) 주소) 및/또는 소스의 설명(제품의 벤더(vendor) 및 버전에 관한 정보를 포함함)이다.
메시지는 이벤트 소스로부터 무엇을 수신했는지를 나타내며 임의의 형태(이진수 데이터, 영숫자 데이터 등)일 수 있다. 일 실시예에서, 메시지는 주목할만한 시나리오 또는 변경을 나타내는 자유 형식의 텍스트이다. 또한, 다른 실시예에서, 메시지는 명시적인(explicit) 메타데이터를 포함할 수 있다. 명시적인 메타데이터는, 예를 들면 메시지를 문법단위화함으로써 획득된다. 이벤트 소스가 이벤트를 발생시킨 경우, 이벤트는 보통 이벤트가 일어난 시각("이벤트 발생 시각")을 지시하는 정보를 포함한다. 이벤트 발생 시각(보통, 날짜/시간 스탬프임)은 명시적 메타 데이터의 예이고 분석을 위해 빈번하게 사용된다. 상이한 이벤트 소스는 종종 불균일 명시적 메타데이터를 만든다(예를 들면, 이벤트의 우선 순위 또는 임계치, 이벤트에 의한 영향을 받는 디바이스/애플리케이션/사용자, 및 이벤트를 유발한 사용자).
일 실시예에서, 이벤트가 발생 시각을 포함하지 않는 경우, 이벤트(후술함)를 수신한 시각에 이벤트 수신기에 의해 발생된 내재적 타임스탬프는 본래의 발생 타임스탬프로서 처리된다. 이벤트가 처리되어 잠재적으로 다양한 시스템을 통해 진행되면, 각각의 시스템은 보통 이벤트 수신 시각의 내재적 표시를 가진다.
일 실시예에서, 이벤트는, 값을 각각 포함할 수 있는 하나 이상의 필드를 포함하는 데이터 구조를 나타낸다. 이 데이터 구조의 크기는 100 byte 내지 10 kilobyte 내인 것이 일반적이다.
3. 로깅 시스템 아키텍처
도 2는 일 실시예에 따른 보안 정보/이벤트 관리(SIEM) 시스템(100)의 로깅 시스템(170)으로서 기능하는 컴퓨터(200)의 상위 단계의 블록도이다. 버스(204)에 결합된 적어도 하나의 프로세서(202)가 도시된다. 또한, 버스(204)에는 메모리(206), 저장 디바이스(208), 키보드(210), 그래픽 어댑터(212), 포인팅 디바이스(214), 및 네트워크 어댑터(216)가 결합된다. 일 실시예에서, 버스(204)의 기능은 상호 접속용 칩셋에 의해 제공된다. 디스플레이(218)는 그래픽 어댑터(212)에 결합된다.
저장 디바이스(208)는 하드 드라이브, 콤팩트 디스크 판독 전용 메모리(CD-ROM), DVD, 또는 반도체 기억 장치 등의 데이터를 보유할 수 있는 임의의 디바이스이다. 메모리(206)는 프로세서(202)에 의해 사용되는 명령 및 데이터를 보유한다. 포인팅 디바이스(214)는 마우스, 트랙볼, 또는 다른 형태의 포인팅 디바이스일 수 있고, 키보드(210)와 함께 데이터를 컴퓨터(200)에 입력하는데 사용된다. 그래픽 어댑터(212)는 이미지 및 다른 정보를 디스플레이(218) 상에 표시한다. 네트워크 어댑터(216)는 컴퓨터(200)를 지역 또는 광역 네트워크에 결합시킨다.
종래에 공지된 것으로서, 컴퓨터(200)는 도 2에 나타낸 것과 상이한 및/또는 그 외의 컴포넌트를 가질 수 있다. 또한, 컴퓨터(200)는 도시된 일부 컴포넌트가 없을 수 있다. 예를 들면, 로깅 시스템(170)으로서 기능하는 컴퓨터(200)는 키보드(210), 포인팅 디바이스(214), 그래픽 어댑터(212), 및/또는 디스플레이(218)가 없을 수 있다. 또한, 저장 디바이스(208)는 컴퓨터(200)로부터 근거리 및/또는 원거리일 수 있다(SAN(storage area network) 내에 구현되는 바와 같음).
도 3은 일 실시예에 따른, 보안 정보/이벤트 관리(SIEM) 시스템(100)의 로깅 시스템(170)을 나타낸 블록도이다. 예시된 실시예에서, 로깅 시스템(170)은 이벤트 수신기(310), 저장 매니저(320), 및 통신 기구(330)를 포함한다. 명확화를 위해 단 하나의 이벤트 수신기(310)를 나타내지만, 시스템(170)은 많은 이벤트 수신기(310)로 동시에 많은 수의 세션을 지원할 수 있다. 일 실시예에서, 각각의 이벤트 수신기(310)는 고유 식별자와 연관된다.
이벤트 수신기(310)는 로그 데이터(340)를 수신하고, 로그 데이터(340)를 처리하고, 데이터 "청크"(350)를 출력한다. 이벤트 수신기(310)는 제어 시스템(355), 하나 이상의 버퍼 세트(360), 및 메타데이터 구조(365)를 포함한다. 제어 시스템(355)은 하나 이상의 버퍼 세트(360) 및 메타데이터 구조(365)와 통신적으로 연결된다.
제어 시스템(355)은 이벤트 수신기(310)의 동작을 제어하고, 더 상세하게는 도 4를 참조하여 설명한다.
하나 이상의 버퍼 세트(360)는 하나 이상의 이벤트를 저장한다. 또한, 버퍼 세트(360)는 각각의 이벤트에 대해, 이벤트 수신기(310)에 의해 이벤트를 수신한 시각을 나타내는 시각/날짜 스탬프를 저장한다. 예를 들면, 버퍼 세트(360)는 각각의 이벤트에 이 시각/날짜 스탬프 값을 부가한다(이로써 "수신시각" 필드를 추가함).
메타데이터 구조(365)는 버퍼 세트(360)의 내용에 대한 메타데이터를 저장한다. 일 실시예에서, 이 메타데이터는 이벤트를 수신한 이벤트 수신기(310)와 연관된 고유 식별자, 버퍼 세트 내의 이벤트의 수, 및 하나 이상의 각각의 "관심 필드" 에 대하여, 버퍼 세트 내의 모든 이벤트에 걸쳐 그 필드의 값의 범위를 나타내는 최대값 및 최소값을 포함한다. 메타데이터 구조(365)는 이벤트 데이터를 질의할 때, 검색 인덱스로서 기능한다(후술함).
예를 들면, 이벤트가 값이 이벤트가 발생한 시각을 나타내는 발생시각이라 하는 필드를 포함한다고 가정한다. 발생시각이 관심 필드이었다면, 메타데이터 구조(365)는 발생시각에 대한 최소값 및 발생시각에 대한 최대값을 포함할 것이다. 발생시각의 최소값은 최초에 일어난 버퍼 세트(360) 내의 이벤트에 대한 발생시각일 것이다. 발생시각의 최대값은 최종적으로 일어난 버퍼 세트(360) 내의 이벤트에 대한 발생시각일 것이다.
일 실시예에서, 수신시각은 또한 관심 필드이다. 따라서, 이 실시예에서, 메타데이터 구조(365)는 또한 버퍼 세트 내의 모든 이벤트에 걸쳐 수신 시각의 값의 범위를 나타내는 최소값 및 최대값을 저장한다. 수신시각의 최소값은 최초에 수신된 버퍼 세트(360) 내의 이벤트에 대한 수신시각일 것이다. 수신시각의 최대값은 최종적으로 수신된 버퍼 세트(360) 내의 이벤트에 대한 수신시각일 것이다. 일 실시예에서, 수신시각의 최소값만이 저장된다. 이 실시예에서, 수신시각의 최대값이 저장되지 않고, 이는 저장 필요량을 줄인다. 버퍼(360)가 자주 플러쉬되면(후술하는 바와 같이, 이는 청크가 발생되는 시간에 일어남), 수신시각의 최대값은 수신시각의 최소값에 근접할 것이다(예를 들면, 1초 후).
일 실시예에서, 관심 필드는 이벤트 필드 그 자체가 아니다. 대신, 이벤트의 하나 이상의 필드에 저장된 값에 기초하여 결정되는 "파생" 값이다.
저장 매니저(320)는 데이터 청크(350)를 수신하고 저장하여, 데이터 청크(350)는 질의될 수 있다. 저장 매니저(320)는 제어 시스템(370), 데이터파일 테이블(375), 청크 테이블(380), 및 하나 이상의 데이터파일(385)을 포함한다. 제어 시스템(370)은 데이터파일 테이블(375), 청크 테이블(380), 및 하나 이상의 데이터파일(385)과 통신적으로 연결된다.
제어 시스템(370)은 저장 매니저(320)의 동작을 제어하고, 더 상세하게는 도 4를 참조하여 후술한다.
데이터파일 테이블(375)은 하나 이상의 데이터파일(385)에 대한 정보를 저장한다. 일 실시예에서, 데이터파일 테이블(375) 내의 각각의 엔트리는 공간이 할당된 하나의 데이터파일(385)을 나타내고, 엔트리는 데이터파일과 연관된 고유 식별자 및 데이터파일의 위치(예를 들면, 파일 시스템, 그 내의 경로, 및 파일명)를 포함한다. 데이터파일 테이블(375)에 리스트된 데이터파일(385)은 데이터(예를 들면, 청크(350))를 포함하거나 포함하지 않을 수 있다. 데이터파일 테이블(375)은, 예를 들면 데이터베이스(도시 생략)에 저장된다. 일 실시예에서, 데이터파일(385)은 그들의 필요에 앞서 할당된다. 이 실시예에서, 이들 사전에 할당된 데이터파일(385)의 리스트("프리 리스트(free list)"라 함)가 유지된다.
청크 테이블(380)은 저장 매니저(320)에 저장되는(구체적으로는, 하나 이상의 데이터파일(385) 내에 저장되는) 하나 이상의 청크(350)에 관한 정보를 저장한다. 일 실시예에서, 이 정보는, 각각의 청크에 대해, 청크에 저장된 메타데이터(후술함), 청크의 위치(예를 들면, 청크를 저장한 데이터파일과 연관된 고유 식별 자 및 청크가 저장되는 데이터파일 내의 위치(예를 들면, 오프셋으로))를 포함한다. 청크 테이블(380)은, 예를 들면 데이터베이스(도시 생략) 내에 저장된다.
데이터파일(385)은 다수의 청크(350)를 저장한다. 일 실시예에서, 모든 데이터파일은 동일한 크기(예를 들면, 1 gigabyte)이고 시간순으로 조직화된다. 데이터파일(385)은, 예를 들면 미처리 디스크 상에 또는 파일 시스템(도시 생략) 등의 데이터 저장 시스템에 저장된다. 데이터파일(385)이 미처리 디스크 상에 저장되는 경우, 간접 추가 층이 필요하지 않으므로, 데이터는 고속으로 액세스될 수 있다. 또한, 보안은 개선될 수 있다.
통신 기구(330)는 이벤트 수신기(310)와 저장 매니저(320)를 통신적으로 연결한다. 일 실시예에서, 통신 기구(330)는 인터넷과 같은 부분 공중망 또는 전체 공중망을 포함한다. 다른 실시예에서, 통신 기구(330)는 사설 네트워크 또는 하나 이상의 별개의 또는 논리 사설 네트워크(예를 들면, 가상 사설 네트워크 또는 지역 네트워크)를 포함한다. 통신 기구(330)로 들어오고 나가는 통신 링크는 유선 또는 무선이 될 수 있다(예를 들면, 지상 또는 위성 기반 송수신기). 일 실시예에서, 통신 기구(330)는 이더넷(Ethernet) 프로토콜을 사용하는 IP 기반 광역 또는 도심권 네트워크 등의 패킷 전환 네트워크이다.
다른 실시예에서, 통신 기구(330)는 단일 컴퓨터 시스템에 국지적이다(예를 들면, 이벤트 수신기(310)의 일부 및 저장 매니저(320)의 일부가 동일한 디바이스에서 실시되는 경우임). 이 실시예에서, 통신 기구(330)는, 예를 들면 국지적으로, 소프트웨어 전용 루프백(loopback) 디바이스를 통해 실시된다. 예를 들면, 데 이터는 메모리 내의 다양한 위치에 복사되고, 통신은 API를 통해 일어난다.
또 다른 실시예에서, 통신 기구(330)는 단일 처리로 국지적이다(예를 들면, 이벤트 수신기(310)의 일부 및 저장 매니저(320)의 일부가 동일한 디바이스에서 동일한 처리로 실시되는 경우임). 이 실시예에서, 통신 기구(330)는, 예를 들면 공유 메모리 및/또는 공유 메모리를 지시하는 포인터를 통해 실시된다.
4. 초기 저장
도 4는 본 발명의 일 실시예에 따른 로그 데이터를 저장하는 방법을 나타내는 흐름도이다. 일 실시예에서, 도 4의 방법(400)은 이벤트 수신기(310)(예를 들면, 그 제어 시스템(355)) 및 저장 매니저(320)(예를 들면, 그 제어 시스템(370))에 의해 공동으로 수행된다.
일 실시예에서, 방법(400)의 개시 전에, 버퍼 세트(360) 및 메타데이터 구조(365)는 초기화된다. 예를 들면, 제어 시스템(355)은 메타데이터 구조(365) 내에 이벤트 수신기(310)와 연관된 고유 식별자를 저장한다.
방법(400)은 이벤트 수신기(310)가 로그 데이터(340)를 수신하는 경우(S410) 개시된다. 일 실시예에서, 로그 데이터(340)는 스트림 형태로 수신된다.
제어 시스템(355)은 로그 데이터를 하나 이상의 이벤트로 분리하고(S420) 각각의 이벤트가 이벤트 수신기(310)에 의해 수신된 시각을 결정한다(S420).
제어 시스템(355)은 버퍼(360) 내에 이벤트 및, 각각의 이벤트에 대해, 이벤트가 수신된 시각을 나타내는 시각/날짜 스탬프를 저장한다(S430). 또한, 제어 시스템(355)은 메타데이터 구조(365)를 갱신한다(S430). 예를 들면, 버퍼 내의 이벤 트의 수는 증가될 것이다. 또한, 관심 필드(들)의 최소값 및 최대값은 갱신될 필요가 있을 것이다. 일 실시예에서, 시스템 충돌이 일어난 경우 가능한 불일치를 피하기 위해, 데이터 기록 동작 및 메타데이터 기록 동작은 동기화된다. 예를 들면, 트랜잭션 데이터베이스 시스템(transactional database system)이 이용되어, 하위 시스템이 두 단계 사이에서 충돌되는 경우에도, 버퍼(360) 내에 이벤트가 저장되면, 이에 따라 메타데이터 구조(365)가 갱신되는 것이 보장된다.
어느 시점에(이하 참조), 제어 시스템(355)은 메타데이터 구조(365) 및 버퍼(360)의 내용에 기초하여 데이터 청크(350)를 발생시킨다(S440). 일 실시예에서, 청크는 메타데이터 구조(365) 및 버퍼(360)의 내용의 압축된 버전을 포함한다. 압축된 버전은 임의의 데이터 압축 알고리즘(예를 들면, GNU zip(gzip)에 의해 이용되는 것과 같은 비손실 압축 알고리즘)을 이용하여 발생될 수 있다. 버퍼 내용의 압축은 이러한 접근 방식을 데이터 장기 저장의 비용 효율적인 선택으로 만든다. 일 실시예에서, 상이한 청크는 상이한 사이즈를 가질 수 있고, 최대 사이즈가 명시될 수 있다.
또한, 일 실시예에서, 청크(350)는 "매직 넘버" 및 버전 식별자를 포함한다. 매직 넘버(때때로 파일 시그너처라 함)는 청크의 데이터 형태를 식별하는 짧은 시퀀스의 바이트이다. 예를 들면, 매직 넘버는 다른 청크를 포함하여 다른 데이터 및 파일 포맷에 전체에 걸쳐 고유하다고 할 수 있다(즉, 상당히 고유한 편이다). 그러므로, 청크가 판독되는 경우, 청크가 예상된 포맷 내인지의 여부를 결정하는 것이 용이하다. 청크의 실제 매직 넘버가 예상된 매직 넘버와 상이한 경우, 청크 는 "부정"(예를 들면, 장해)이다. 실제 매직 넘버가 예상된 매직 넘버와 매치되면, 청크 내에 추후 생기는 데이터는 여전히 부정일 수도 있다. 그러나, 매치되는 매직 넘버는 대다수의 일반적 상황에서 이런 가능성을 배제한다. 버전 식별자는 변경된 데이터 및 파일 포맷의 조정을 가능하게 한다. 예를 들면, 청크가 판독되는 경우, 버전 식별자는 매직 넘버와 함께 이용되어 데이터 또는 파일 포맷에 관한 추가적인 정보를 지시할 수 있다.
또한 다른 실시예에서(도시 생략), 제어 시스템(355)은 버퍼(360)의 내용의 메시지 다이제스트(digest)를 발생시킨다. 예를 들면, 제어 시스템(355)은 암호 해시 함수를 버퍼(360)의 내용을 나타내는 스트링에 적용한다. 메시지 다이제스트 알고리즘 5(MD5)나 보안 해시 알고리즘 패밀리(예를 들면, SHA-256) 가운데 하나의 알고리즘과 같은 임의의 암호 해시 함수가 사용될 수 있다. 일 실시예에서, 다이제스트 값은 청크가 생성되기 전에 메타데이터 구조(365)에 저장된다. 이 값은 추후 청크 내에 (압축된 형태로)저장된 버퍼 데이터가 변경되거나 간섭되었는지의 여부를 결정하는데 이용될 수 있다. 이것은 이벤트가 변경될 경우, 눈에 띄게 함으로써 저장된 이벤트의 무결성을 보장하는 것을 돕는다.
이어서, 버퍼(360) 및 메타데이터 구조(365)는 재초기화되고(S440), 이로써 버퍼(360)는 플러쉬된다. 일 실시예에서, 버퍼 세트(360)는 다수의 버퍼를 포함한다. 이 실시예는 한 버퍼가 채워진 또는 플러쉬되는 상태에서, 다른 버퍼가 들어오는 이벤트의 저장에 이용되는 것을 가능하게 한다.
일 실시예에서, 스텝 440은 버퍼(360)가 채워진 경우 수행될 수 있다. 다른 실시예에, 스텝 440은 버퍼(360)에 의해 이벤트가 수신되지 않고 특정 기간("타임아웃 윈도우(timeout window)")이 경과했을 때 수행된다.
제어 시스템(355)은 데이터 청크(350)를 저장 매니저(320)에 송신한다(S450).
저장 매니저(320)는 청크(350)를 수신한다(S460). 제어 시스템(370)은 청크를 데이터파일(385) 내에 저장한다(후술함)(S470). 일 실시예에서, 청크는 보안 목적으로 저장되기 전에 암호화된다. 또한, 제어 시스템(370)은 청크 테이블(380)을 갱신한다(S470). 예를 들면, 제어 시스템(370)은 데이터파일(385) 내에 막 저장한 청크(350)와 관련한 정보를 테이블에 추가한다.
제어 시스템(370)은 각각의 데이터파일(385) 내부에 "부가" 순서로 청크(350)를 기록한다. 때때로, 이것은 "바꿔쓰기가 안 되는 저널(write-once journaled)"이라 한다. 일 실시예에서, 제어 시스템은 청크가 기록될 수 있는 데이터파일 내의 위치를 지시하는 "기록 포인터"를 유지한다. 청크가 데이터파일에 기록된 후에, 기록 포인터는 동일한 데이터파일 내의 한 위치를 지시하도록 수정된다(구체적으로, 막 기록된 청크의 끝). 청크의 기록이 데이터파일을 채우면, 기록 포인터는 청크를 저장하는데 사용될 수 있는 상이한 데이터파일 내의 위치(구체적으로, 최초에)를 지시하도록 수정된다. 일 실시예(도시 생략)에서, 청크 기록은 메모리 내의 제 1 캐싱 청크에 의해 지연된다. 그러면, 다수의 연속하는 청크는 RAID 5 디스크 저장 시스템 상의 풀-스트라이프(full-stripe) 기록에 최적화되도록 하나의 쓰기 동작으로 결합된다. 쓰기 등의 큰 연속 입력 동작을 이용함으로써, 하드웨어는 고속으로 많은 양의 자료를 동시에 처리한다.
사전에 할당된 데이터파일이 존재하면(예를 들면, 상술한 자유 리스트 내에 리스트된 바와 같이), 제어 시스템(370)은 데이터파일을 사용하고 자유 리스트로부터 그 데이터파일의 고유 식별자를 제거한다(그 데이터 파일은 더 이상 이용할 수 없으므로). 사전에 할당된 데이터파일이 존재하지 않으면, 제어 시스템(370)은 이용 가능한 공간을 찾고 데이터파일 테이블(375)을 갱신함으로써 새로이 생성한다. 예를 들면, 제어 시스템(370)은 막 새성된 새로운 데이터파일(385)에 관련된 정보를 테이블에 추가한다. 일 실시예에서, 새로운 데이터파일(385)에 할당된 고유 식별자는 1과 가장 최근에 할당된 데이터파일(385)과 연관된 고유 식별자의 합과 동일하다.
방법(400)은 많은 바람직한 특징을 가진다. 예를 들면, 매우 많은 수의 초당 이벤트(EPS)의 수신을 지원할 수 있으므로, 확장성이 뛰어나다. 다수의 이벤트 수신기(310)가 이용될 수 있고, 이벤트 데이터의 기록은 탐색 작동이 아니라 부가 작동만 하므로, 고속이다. 또한, 이 방법(400)은 데이터에 지속적으로 접근하게 하므로, 높은 이용성을 특징으로 한다. 오래된 이벤트의 삭제는 저장 매체를 조각화하지 않는데, 이는 조각모으기(defragmentation) 처리가 요구되지 않으며, 또한 따라서 관리 윈도우가 필요하지 않음을 의미한다. 클린업 작업에 대한 내재적 정지 시간이 불필요하다. 또한, 디스크 기록 동작이 효율적이므로, 기록 동작은 질의를 처리하기 위한 공간을 남기기 위해 오버헤드를 피한다.
5. 저장 재정비
어느 시점에(후술함), 하나 이상의 데이터파일(385)에 의해 이용되는 저장은 추후 사용되도록 재정비된다. 도 5는 일 실시예에 따른 저장을 재정비하는 방법을 설명하는 흐름도이다. 일 실시예에서, 도 5의 방법(500)은 저장 매니저(320)(예를 들면, 그것의 제어 시스템(370))에 의해 수행된다.
특정 보유 정책(후술함)과 연관되어 가장 오래된 데이터파일(385)이 식별된다(S510). 데이터파일은 단조적으로 증가하는 수에 기초한 고유 식별자를 가지므로, 데이터파일 테이블(375)을 질의하여 보유 정책과 연관되어 가장 오래된 데이터파일(즉, 가장 낮은 고유 식별자를 가지는 데이터 파일)을 찾는 것이 용이하다.
식별된 데이터파일(385)에 포함된 모든 청크(350)와 관련한 정보는 청크 테이블(380)로부터 제거된다(S520).
식별된 데이터파일(385)을 나타내는 데이터파일 테이블(375) 내의 엔트리는 삭제된다(S530).
새로운 엔트리는 데이터베이스 테이블(375) 내에 생성되는데, a) 가장 높게 사용된 데이터파일 식별자보다 하나 높은 새로운 고유 식별자 및 b) 이전의 가장 오래된 데이터파일(즉, 단계(510)에서 식별된 데이터파일)의 물리적 위치를 지시하는 경로 속성을 가진다(S540).
새롭게 재정비된 데이터파일(385)은 이용 가능한 사전 할당 데이터파일의 리스트에 추가되고(S550) 새로운 청크를 수신할 준비가 된다.
설명한 실시예에서, 데이터파일의 저장이 재정비되면, 그 데이터파일은 삭제되지 않고 재활용된다(예를 들면, 재사용 또는 덮어쓰기).
저장 재정비 알고리즘의 세부(예를 들면, 그것을 수행하는 시각 및 얼마나 많은 저장이 재정비되는지)는 데이터파일(385)과 연관된 보유 정책에 달려있다. 보유 정책은, 예를 들면 디스크 공간 사용의 임계치 또는 청크 보유 최대 시간에 기초하여 청크(350)의 보유를 한정한다. 저장 재정비 알고리즘을 실행하는 시기는 예를 들어 그 정책과 연관된 모든 데이터파일이 채워지고 데이터파일이 더 할당될 수 없을 때(예를 들면, 이는 남아 있는 저장 공간이 없기 때문임); 특정 임계치에 도달한 때(예를 들면, 그 보유 정책과 연관하여 데이터파일에 대해 남아 있는 자유 저장 공간의 양에 대해서); 특정 기간이 경과한 때; 그 정책과 연관된 특정 데이터파일의 수가 존재하는 때; 및 그 정책과 연관하여 데이터파일 내에 가장 오래된 청크가 임계 시기에 도달한 때이다. 일 실시예에서, 데이터파일은 그 공간이 재정비되기 전에 다른 시스템에 백업된다. 이 방식으로, 여전히 기존 데이터를 유지하면서 더 많은 저장이 이용 가능하게 될 수 있다.
일 실시예에서, 모든 데이터파일(385)은 동일한 보유 정책과 연관된다. 다른 실시예에서, 다수의 보유 정책이 존재하고, 각각의 데이터파일은 다수의 보유 정책 중 어느 하나와 연관된다. 다수의 데이터파일은 동일한 보유 정책과 연관될 수 있다. 보유 정책은 사용자에 의해 생성 및 수정될 수 있다. 일 실시 양태에서, 저장 매니저(320)는 각각의 보유 정책에 대해 상술한 저장 재정비 알고리즘의 일 인스턴스를 논리적으로 유지한다. 예를 들면, 각각의 데이터파일(385)은 데이터파일에 적용하는 보유 정책을 지시하는 메타데이터를 포함하고, 청크는 그 청크의 보유 정책에 해당하는 데이터파일 내에 저장된다.
다수의 보유 정책이 존재하면, 도 3에 나타낸 시스템(170)은 약간 수정된다(도시 생략). 구체적으로, 이벤트 수신기(310)는 각각의 보유 정책에 대해 하나의 버퍼 세트(360) 및 하나의 메타데이터 구조(365)를 포함한다. 이벤트가 버퍼 세트에 저장되고 메타데이터 구조가 갱신(단계 430)되기 전에, 제어 시스템(355)은 어느 보유 정책이 이벤트에 적용되어야 하는지를 결정한다. 이 결정은, 예를 들면 특정 이벤트의 속성 또는 정적 맵핑에 기초된다. 우선 순위 또는 이벤트 소스 등의 임의의 속성이 사용될 수 있다. 이 결정에 기초하여, 제어 시스템(355)은 이벤트를 적합한 버퍼 세트 내에 저장하고 적합한 메타데이터 구조를 갱신한다. 그러므로, 특정 버퍼 세트 내의 모든 이벤트는 동일한 보유 정책과 연관될 것이다.
그러므로, 그 버퍼 세트에 기초하여 발생된 청크(350)는 동일한 보유 정책과 연관되게 된다. 청크가 데이터파일(385)에 저장(단계 470)되기 전에, 제어 시스템(370)은 청크의 보유 정책을 결정하고 청크를 그 정책과 연관된 데이터파일 내에 저장한다. 그러므로, 특정 데이터파일 내의 모든 청크는 동일한 보유 정책과 연관될 것이다.
일 실시예에서, 각각의 보유 정책은 그 자신의 데이터파일(385)의 그룹을 가진다. 각각의 데이터파일은 고유 숫자로 표시된다. 그 고유 숫자는 하나의 그룹 내의 파일의 순서를 결정한다. 데이터 파일은 부가 순서로 기록된다. 파일은 갱신되지 않고, 파일은 한번 기록되고 부가 전용 모드로 동작되어 로그 데이터 간섭을 방지한다. 하나의 보유 그룹 내의 모든 파일이 채워짐에 따라, 저장은 그룹 내의 제 1(즉, 가장 오래된) 파일로부터 재정비된다. 일 실시예에서, 별개의 데이터 파일 테이블(375)이 보유 정책을 위해 할당되고, 그 보유 정책에 할당된 데이터파일(385)에 대한 엔트리를 포함한다. 자유 리스트가 유지되면, 얼마나 많은 보유 정책이 존재하는지에 관계없이, 단지 하나의 자유 리스트가 전체 저장 매니저(320)에 이용된다.
6. 질의/데이터 도출
청크(350)가 데이터파일(385) 내에 저장된 후, 청크 내의 이벤트는 질의될 수 있다. 질의는 이벤트에 대해 평가될 수 있는 표현으로서 나타난다. 표현은 하나 이상의 검색 용어를 포함한다. 일 실시예에서, 질의 과정은 다수의 단계에서 일어난다. 제 1 단계는 어느 데이터 청크(350)가 질의를 만족하는 이벤트를 포함할 수 있는 지(존재하는 경우)를 식별한다. 제 2 단계는 식별된 청크를 그들의 구성 이벤트로 분리한다. 제 3 단계는 이들 이벤트 중 어느 것이 질의를 만족시키는지(존재한다면)를 식별한다. 이로써, 제 1 단계는 어느 데이터 청크(및 그들의 이벤트)가 더 조사되어야 하고 어느 데이터 청크(및 그들의 이벤트)가 무시되어야 하는 지를 식별하는 "대략적 분류"로서 기능한다. 대부분의 경우에, 청크에 할당된 보유 정책은 이벤트가 질의되거나 도출될 때 고려되지 않는데, 이벤트를 포함하는 청크에 어떤 보유 정책이 적용되었는지는 관계가 없기 때문이다.
제 1 단계에서, 메타데이터 구조(365)에 포함된 정보와 관계되는 질의 내의 검색 용어가 식별된다(이벤트가 데이터파일(385) 내의 데이터 청크(350)의 부분으로 저장되지 않고 버퍼(360) 내의 이벤트로서 저장된 경우는 전 단계로 되돌아 감). 이 메타데이터 정보는 연관된 이벤트 수신기의 고유 식별자 및 각각의 관심 필 드에 대해 다수의 이벤트(초기에, 동일한 버퍼 내의 이벤트, 추후, 동일한 데이터 청크 내의 이벤트)에 걸쳐 그 필드의 값의 범위를 함께 나타내는 최소값 및 최대값을 포함한다. 메타데이터 정보는 청크(150)의 부분으로서 저장 매니저(320)에 전송되었음을 상기한다. 이어서, 메타데이터 정보는 청크 테이블(380)에 저장되었다. 그러므로, 이 메타데이터에 기초하여 이벤트를 검색하기 위해, "메타데이터 검색 용어"가 청크 테이블(380)을 검색하는데 이용된다. 이것은 어느 청크가 메타데이터 검색 용어를 만족하는 이벤트(존재하는 경우)를 포함할 수 있는 지를 산출해 낼 것이다. 이 방식에서, 검색은 이벤트 수신기 및/또는 관심 필드에 대한 특정 값(또는 값의 범위)에 기초하여 제한을 받는다(이는 이들 값이 청크 테이블(380) 내의 메타데이터 내에 저장되기 때문임).
"관심 필드" 메타데이터는 값의 범위로서 표현되므로, 청크가 메타데이터 검색 용어를 만족한다는 사실은 청크가 메타데이터 검색 용어를 만족하는 이벤트를 포함한다는 것을 반드시 의미하는 것은 아니다. 예를 들면, 메타데이터 검색 용어가 필드 값이 10이고, 청크가 필드 값이 5 및 15인 이벤트를 각각 포함하면, 10이 그 범위 내에 있어, 청크는 메타데이터 검색 용어를 만족하는 것으로서 식별될 것이다. 그러나, 청크는 필드 값이 10인 이벤트를 포함하지 않을 수 있다(이런 이유로 질의는 두 단계로 수행된다). 그러나 항상 참인 것은 청크가 검색 용어를 만족하는 이벤트를 포함하면, 그 청크는 검색 용어를 만족하는 것으로서 식별될 것이라는 것이다.
제 2 단계에서, 식별된 청크는 그들의 구성 이벤트로 분리된다. 청크의 이 벤트 부분이 이벤트의 압축된 버전을 포함하면, 이벤트 부분은 그 구성 이벤트로 분할되기 전에 압축 해제된다.
제 3 단계에서, 각각의 이벤트는 이벤트가 검색 용어를 만족하는지의 여부를 결정하기 위해 전체 검색 용어의 세트와 비교된다. 일 실시예에서(도시 생략), 이벤트는 특정 순서로 분석된다. 예를 들면, 이벤트는 그들의 이벤트 수신 시각에 기초하여 분석된다. 이벤트를 특정 순서로 분석하고 매칭되는 이벤트를 검색 결과에 부가한다는 것은 검색 결과 내의 이벤트가 이미 그러한 특정 순서일 것임을 의미한다. 이벤트의 분류는 필요치 않게 된다.
제 1 단계에서, 검색 용어는 메타데이터 구조(365) 내에 포함된 정보와 관련되지 않을 수 있다. 이런 경우, 모든 청크(350)는 메타데이터 검색 용어를 만족하는 이벤트를 포함 가능한 것으로서 식별될 것이다(메타데이터 검색 용어가 존재하지 않으므로). 이로써, 질의 처리는 모든 검색 용어를 사용하여 각각의 저장된 이벤트를 일일이 검색하는 것으로 되어 버린다. 이것은 상술하였던 본래의 비효율적인 조직 방법과 유사하다.
상기 알고리즘은 청크(350) 내에 저장된 이벤트를 검색한다. 그러나, 로깅 시스템(170)은 청크 내에 아직 저장되지 않은 추가적인 이벤트를 이벤트 수신기(310) 내에(예를 들면, 버퍼 세트(360) 내에) 포함할 수 있다. 상기 알고리즘은 이들 이벤트를 검색하지 않을 것이다. 일 실시예에서, 알고리즘이 실시되기 전에, 버퍼 세트(360)는 플러쉬되어, 이벤트는 저장 매니저(320)에 송신되어 청크 내에 저장될 것이다. 이렇게 해서, 알고리즘이 실시되는 경우, 버퍼 세트 내에 이전에 있었던 이벤트 또한 검색될 것이다. 또 다른 실시예에서, 상술한 알고리즘과 유사하게 별개의 검색이 메타데이터 구조(365)의 내용 및 버퍼 세트(360)를 이용하여 이벤트 수신기(360)에 대해 실시된다. 이 방식에서는, 저장 매니저(320) 또는 이벤트 수신기(310)에 저장되는지의 여부에 관계없이, 모든 이벤트가 검색될 것이다.
도 6은 일 실시예에 따라, 질의 방법을 나타내는 흐름도이다. 일 실시예에서, 도 6의 방법(600)은 저장 매니저(320)에 의해 수행된다(예를 들면, 그 제어 시스템(370)). 방법(600)을 개시하기 전에, 검색 질의가 수신된다. 검색 질의는 하나 이상의 검색 용어를 포함한다.
임의의 메타데이터 검색 용어(수신된 검색 질의 내의 것)가 식별될 것이다(S610).
식별된 메타데이터 검색 용어는 청크 테이블(380)을 검색하는데 이용된다(S620). 청크 테이블(380) 내의 각각의 엔트리는 청크(350)에 대응하고, 엔트리는 청크 내에 저장된 메타데이터 및 청크의 위치를 포함함을 상기한다. 식별된 메타데이터 검색 용어는 청크 테이블(380)의 메타데이터 부분을 검색하는데 이용된다.
메타데이터가 메타데이터 검색 용어를 만족하는 각각의 청크(350)는 청크 테이블(380) 내에 저장된 청크의 위치를 이용하여 도출된다(S630).
도출된 청크는 그 구성 이벤트로 분리된다(S640).
각각의 이벤트는 이벤트가 질의를 만족하는지의 여부를 결정하기 위해, 검색 질의에 대해 평가된다(S650). 한 이벤트가 질의를 만족하면, 그 이벤트가 검색 결 과에 포함된다.
7. 추가 실시예
일 실시예에서, 로깅 시스템(170)은 데이터파일(385)에 대한 문서화 기능을 지원한다. 예를 들면, 데이터파일(385)은 로깅 시스템(170) 내에 임포트(import) 및 그 외로 익스포트(export)될 수 있다. 다른 실시예로서, 데이터파일(385)은 다른 시스템에 백업될 수 있고 추후 로깅 시스템(170) 내에 복구될 수 있다. 이벤트는 청크에 저장되고, 청크는 데이터파일에 저장되므로, 이벤트는 니어라인(nearline) 또는 오프라인(offline) 저장소에 쉽게 전달 가능하다. 문서화 기준은 질의에 이용된 기준과 유사할 수 있다(예를 들면, 메타데이터 구조에 저장된 정보의 값).
상기 설명은 바람직한 실시예의 동작을 설명하기 위한 것이지 본 발명의 범위를 한정하기 위한 것은 아니다. 본 발명의 범위는 하기의 특허청구범위에 의해서만 한정될 것이다. 상기 설명으로부터, 본 발명의 사상 및 범위에 포함될 많은 변형이 가능함은 당업자에게 명백할 것이다.

Claims (18)

  1. 하나 이상의 필드를 포함하는 복수의 이벤트를 포함하는 로그 데이터를 수신하는 단계; 및
    상기 복수의 이벤트 내의 각각의 이벤트에 대해,
    상기 이벤트를 버퍼 내에 저장하는 단계; 및
    상기 버퍼의 내용에 관한 정보를 포함하는 메타데이터 구조를 갱신하는 단계를 포함하고,
    상기 버퍼의 내용에 관한 정보는 상기 버퍼 내에 저장된 모든 상기 이벤트의 제 1 필드의 최소값을 나타내는 제 1 최소값을 포함하는 로그 데이터의 처리 방법.
  2. 제 1 항에 있어서,
    상기 버퍼의 내용에 관한 정보는 상기 버퍼 내에 저장된 모든 상기 이벤트의 상기 제 1 필드의 최대값을 나타내는 제 1 최대값을 더 포함하는 로그 데이터의 처리 방법.
  3. 제 1 항에 있어서,
    상기 버퍼의 내용에 관한 정보는 상기 버퍼 내에 저장된 모든 상기 이벤트의 제 2 필드의 최소값을 나타내는 제 2 최소값을 더 포함하는 로그 데이터의 처리 방법.
  4. 제 1 항에 있어서,
    상기 버퍼의 내용에 관한 정보는 상기 버퍼 내에 저장된 이벤트의 수를 더 포함하는 로그 데이터의 처리 방법.
  5. 제 1 항에 있어서,
    제 1 트리거(trigger) 조건에 대응해서, 상기 메타데이터 구조의 내용에 기초하고, 또한 상기 버퍼의 내용에 기초해서 데이터 청크를 발생시키는 단계를 더 포함하는 로그 데이터의 처리 방법.
  6. 제 5 항에 있어서,
    상기 제 1 트리거 조건은 버퍼 사용 임계치(threshold)에 기초하거나 타임아웃 윈도우(timeout window)에 기초하는 로그 데이터의 처리 방법.
  7. 제 5 항에 있어서,
    제 2 트리거 조건에 대응해서, 상기 데이터 청크에 의해 사용된 저장 공간을 재정비(reclaim)하는 로그 데이터의 처리 방법.
  8. 제 7 항에 있어서,
    상기 제 2 트리거 조건은 상기 데이터 청크와 연관된 보유 정책에 기초하는 로그 데이터의 처리 방법.
  9. 제 7 항에 있어서,
    상기 제 2 트리거 조건은 디스크 공간 사용 임계치에 기초하거나 상기 청크를 보유하는 최대 시간에 기초하는 로그 데이터의 처리 방법.
  10. 제 1 항에 있어서,
    상기 복수의 이벤트 내의 각각의 이벤트에 대해,
    상기 이벤트가 수신된 시각을 결정하는 단계; 및
    상기 이벤트가 수신된 시각을 나타내는 타임스탬프를 상기 버퍼 내에 저장하는 단계를 더 포함하는 로그 데이터의 처리 방법.
  11. 제 1 항에 있어서,
    상기 버퍼 내에 상기 이벤트를 저장하는 단계는 상기 이벤트를 상기 버퍼의 내용에 부가하는 단계를 포함하는 로그 데이터의 처리 방법.
  12. 제 1 항에 있어서,
    상기 메타데이터 구조의 내용 및 상기 버퍼의 내용의 압축된 버전을 포함하는 데이터 청크를 발생시키는 단계를 더 포함하는 로그 데이터의 처리 방법.
  13. 제 12 항에 있어서,
    상기 데이터 청크는 파일 시그너처(file signature) 또는 버전 식별자를 더 포함하는 로그 데이터의 처리 방법.
  14. 제 12 항에 있어서,
    상기 데이터 청크는 상기 버퍼의 내용의 메시지 다이제스트(digest)를 더 포함하는 로그 데이터의 처리 방법.
  15. 제 12 항에 있어서,
    하나 이상의 검색 용어로 이루어진 검색 용어 세트를 포함하는 검색 질의를 수신하는 단계;
    상기 검색 용어 세트로부터, 상기 메타데이터 구조에 포함되는 정보와 관련되는 하나 이상의 검색 용어를 식별하는 단계; 및
    각각의 데이터 청크에 대해, 상기 식별된 검색 용어를 상기 데이터 청크 내에 포함된 상기 메타데이터 구조의 내용과 비교함으로써 하나 이상의 데이터 청크를 검색하는 단계를 더 포함하는 로그 데이터의 처리 방법.
  16. 제 15 항에 있어서,
    상기 식별된 검색 용어를 만족하는 각각의 데이터 청크에 대해,
    상기 데이터 청크를 복수의 이벤트로 분리하는 단계; 및
    상기 복수의 이벤트 내의 각각의 이벤트에 대해, 상기 검색 용어 세트를 상기 이벤트와 비교하는 단계를 더 포함하는 로그 데이터의 처리 방법.
  17. 로그 데이터를 처리하는 방법을 수행하기 위한 컴퓨터 프로그램 코드를 포함하는 컴퓨터로 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품에 있어서,
    하나 이상의 필드를 포함하는 복수의 이벤트를 포함하는 로그 데이터를 수신하는 단계; 및
    상기 복수의 이벤트 내의 각각의 이벤트에 대해,
    상기 이벤트를 버퍼 내에 저장하는 단계; 및
    상기 버퍼의 내용에 관한 정보를 포함하는 메타데이터 구조를 갱신하는 단계를 포함하고,
    상기 버퍼의 내용에 관한 정보는 상기 버퍼 내에 저장된 모든 상기 이벤트의 제 1 필드의 최소값을 나타내는 제 1 최소값을 포함하는 컴퓨터 프로그램 제품.
  18. 하나 이상의 필드를 포함하는 복수의 이벤트를 포함하는 로그 데이터를 수신하도록 구성된 수신 모듈;
    상기 복수의 이벤트 내의 각각의 이벤트에 대해, 상기 이벤트를 버퍼 내에 저장하도록 구성된 버퍼 모듈; 및
    상기 복수의 이벤트 내의 각각의 이벤트에 대해, 상기 버퍼의 내용에 관한 정보를 포함하는 메타데이터 구조를 갱신하도록 구성된 메타데이터 모듈을 포함하 고,
    상기 버퍼의 내용에 관한 정보는 상기 버퍼 내에 저장된 모든 상기 이벤트의 제 1 필드의 최소값을 나타내는 제 1 최소값을 포함하는 로그 데이터 처리 장치.
KR1020097011683A 2006-12-28 2007-12-28 컴퓨터 네트워크 보안을 보조하기 위한, 로그 데이터의 효과적인 저장과 질의의 지원 KR101451640B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US88228906P 2006-12-28 2006-12-28
US60/882,289 2006-12-28
PCT/US2007/089027 WO2008083267A2 (en) 2006-12-28 2007-12-28 Storing log data efficiently while supporting querying to assist in computer network security

Publications (2)

Publication Number Publication Date
KR20090100344A true KR20090100344A (ko) 2009-09-23
KR101451640B1 KR101451640B1 (ko) 2014-10-16

Family

ID=39585506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097011683A KR101451640B1 (ko) 2006-12-28 2007-12-28 컴퓨터 네트워크 보안을 보조하기 위한, 로그 데이터의 효과적인 저장과 질의의 지원

Country Status (12)

Country Link
US (1) US9031916B2 (ko)
EP (1) EP2097824B1 (ko)
JP (1) JP5357777B2 (ko)
KR (1) KR101451640B1 (ko)
AU (1) AU2007339801B2 (ko)
CA (1) CA2669197A1 (ko)
IL (1) IL198840A0 (ko)
NZ (1) NZ577198A (ko)
RU (1) RU2424568C2 (ko)
SG (1) SG177213A1 (ko)
TW (1) TWI434190B (ko)
WO (1) WO2008083267A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101137694B1 (ko) * 2010-07-12 2012-04-25 주식회사 윈스테크넷 디도스 발생 탐지분석 및 표시를 위한 통합보안관리시스템 및 이에 의한 디도스 발생탐지분석 및 표시방법
KR20160010034A (ko) 2014-07-18 2016-01-27 주식회사 텔레칩스 액세스포인트의 위치 맵에 연동한 gps 내비게이션의 운용 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Families Citing this family (159)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650638B1 (en) 2002-12-02 2010-01-19 Arcsight, Inc. Network security monitoring system employing bi-directional communication
US7219239B1 (en) 2002-12-02 2007-05-15 Arcsight, Inc. Method for batching events for transmission by software agent
US7788722B1 (en) 2002-12-02 2010-08-31 Arcsight, Inc. Modular agent for network security intrusion detection system
US7899901B1 (en) 2002-12-02 2011-03-01 Arcsight, Inc. Method and apparatus for exercising and debugging correlations for network security system
US8176527B1 (en) 2002-12-02 2012-05-08 Hewlett-Packard Development Company, L. P. Correlation engine with support for time-based rules
US7607169B1 (en) 2002-12-02 2009-10-20 Arcsight, Inc. User interface for network security console
US7376969B1 (en) 2002-12-02 2008-05-20 Arcsight, Inc. Real time monitoring and analysis of events from multiple network security devices
US7260844B1 (en) 2003-09-03 2007-08-21 Arcsight, Inc. Threat detection in a network security system
US8015604B1 (en) 2003-10-10 2011-09-06 Arcsight Inc Hierarchical architecture in a network security system
US9027120B1 (en) 2003-10-10 2015-05-05 Hewlett-Packard Development Company, L.P. Hierarchical architecture in a network security system
US7565696B1 (en) 2003-12-10 2009-07-21 Arcsight, Inc. Synchronizing network security devices within a network security system
US8528077B1 (en) 2004-04-09 2013-09-03 Hewlett-Packard Development Company, L.P. Comparing events from multiple network security devices
US7509677B2 (en) 2004-05-04 2009-03-24 Arcsight, Inc. Pattern discovery in a network security system
US7644438B1 (en) 2004-10-27 2010-01-05 Arcsight, Inc. Security event aggregation at software agent
US9100422B1 (en) 2004-10-27 2015-08-04 Hewlett-Packard Development Company, L.P. Network zone identification in a network security system
US7809131B1 (en) 2004-12-23 2010-10-05 Arcsight, Inc. Adjusting sensor time in a network security system
US7647632B1 (en) 2005-01-04 2010-01-12 Arcsight, Inc. Object reference in a system
US8850565B2 (en) * 2005-01-10 2014-09-30 Hewlett-Packard Development Company, L.P. System and method for coordinating network incident response activities
US7844999B1 (en) 2005-03-01 2010-11-30 Arcsight, Inc. Message parsing in a network security system
US9824107B2 (en) 2006-10-25 2017-11-21 Entit Software Llc Tracking changing state data to assist in computer network security
US9166989B2 (en) * 2006-12-28 2015-10-20 Hewlett-Packard Development Company, L.P. Storing log data efficiently while supporting querying
JP2009059160A (ja) * 2007-08-31 2009-03-19 Sony Corp サーバ装置、ネットワークシステム、コンテンツ発見通知方法、及びコンピュータ・プログラム
US8065342B1 (en) * 2008-02-22 2011-11-22 BorgSolutions, Inc. Method and system for monitoring a mobile equipment fleet
US20100049559A1 (en) * 2008-08-21 2010-02-25 International Business Machines Corporation Method and system for focused and scalable event enrichment for complex ims service models
US8762325B2 (en) * 2008-10-06 2014-06-24 Foxit Corporation Processing of files for electronic content management
JP5375281B2 (ja) * 2009-04-06 2013-12-25 日本電気株式会社 障害解析情報採取装置、障害解析情報採取方法、障害解析情報採取プログラム
US8849955B2 (en) 2009-06-30 2014-09-30 Commvault Systems, Inc. Cloud storage and networking agents, including agents for utilizing multiple, different cloud storage sites
US8290920B2 (en) * 2009-09-30 2012-10-16 Zynga Inc. System and method for remote updates
US8024462B1 (en) * 2009-10-05 2011-09-20 Mcafee, Inc. System, method, and computer program product for preventing communication of unwanted network traffic by holding only a last portion of the network traffic
TWI414958B (zh) * 2009-10-22 2013-11-11 Innostor Technology Corp Read - only protection of removable media
US8832259B1 (en) * 2009-10-30 2014-09-09 Hewlett-Packard Development Company, L.P. Virtual service mode methods for network remote monitoring and managing system
CN102834802A (zh) * 2009-11-09 2012-12-19 Arc景象有限责任公司 使用结构化数据储存库实现更快的全文搜索
US9069954B2 (en) 2010-05-25 2015-06-30 Hewlett-Packard Development Company, L.P. Security threat detection associated with security events and an actor category model
WO2011156731A2 (en) * 2010-06-10 2011-12-15 Hewlett-Packard Development Company, L.P. Query pipeline
US8706697B2 (en) * 2010-12-17 2014-04-22 Microsoft Corporation Data retention component and framework
US10129072B1 (en) * 2010-12-30 2018-11-13 EMC IP Holding Company LLC Distributed security information and event management system with application-injected remote components
US8775389B2 (en) * 2011-03-06 2014-07-08 International Business Machines Corporation Implementing continuous control monitoring for audit purposes using a complex event processing environment
US8738768B2 (en) * 2011-03-31 2014-05-27 Meas, Llc Multiple destinations for mainframe event monitoring
WO2012148427A1 (en) * 2011-04-29 2012-11-01 Hewlett-Packard Development Company, L.P. Systems and methods for in-memory processing of events
US8661456B2 (en) 2011-06-01 2014-02-25 Hewlett-Packard Development Company, L.P. Extendable event processing through services
CN103597473B (zh) * 2011-06-30 2018-06-05 慧与发展有限责任合伙企业 用于合并部分聚合查询结果的系统和方法
US8983912B1 (en) * 2011-06-30 2015-03-17 Sumo Logic Data collection and transmission
WO2013016013A1 (en) * 2011-07-27 2013-01-31 Cleversafe, Inc. Generating dispersed storage network event records
US11016702B2 (en) 2011-07-27 2021-05-25 Pure Storage, Inc. Hierarchical event tree
US10678619B2 (en) 2011-07-27 2020-06-09 Pure Storage, Inc. Unified logs and device statistics
US20140280075A1 (en) * 2011-08-26 2014-09-18 Hewlett-Packard Development Company, L.P. Multidimension clusters for data partitioning
US9678921B2 (en) * 2012-03-21 2017-06-13 Owl Computing Technologies, Llc Method and apparatus for data transfer reconciliation
US8950009B2 (en) 2012-03-30 2015-02-03 Commvault Systems, Inc. Information management of data associated with multiple cloud services
RU2486587C1 (ru) * 2012-04-19 2013-06-27 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Восход" Система ведения реестра пользователей портала обеспечения законотворческой деятельности
EP2674876A1 (en) * 2012-06-14 2013-12-18 Alcatel Lucent Streaming analytics processing node and network topology aware streaming analytics system
US20130346876A1 (en) * 2012-06-26 2013-12-26 Gface Gmbh Simultaneous experience of online content
EP2698679A1 (en) 2012-08-16 2014-02-19 Siemens Aktiengesellschaft System and method for compressing production data stream and filtering compressed data with different criteria.
US10057726B2 (en) * 2012-10-02 2018-08-21 Razer (Asia-Pacific) Pte. Ltd. Managing user data on an electronic device
WO2014060033A1 (en) * 2012-10-17 2014-04-24 Telefonaktiebolaget L M Ericsson (Publ) Event management in telecommunications networks
US9106681B2 (en) 2012-12-17 2015-08-11 Hewlett-Packard Development Company, L.P. Reputation of network address
US10346259B2 (en) 2012-12-28 2019-07-09 Commvault Systems, Inc. Data recovery using a cloud-based remote data recovery center
RU2545516C2 (ru) * 2013-07-23 2015-04-10 Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Устройство обнаружения атак в беспроводных сетях стандарта 802.11g
US9442967B2 (en) * 2013-07-25 2016-09-13 Facebook, Inc. Systems and methods for efficient data ingestion and query processing
TW201537378A (zh) 2014-03-31 2015-10-01 Ibm 電腦裝置以及與電腦裝置通訊連結的安全性管理裝置
TWI509456B (zh) 2014-03-31 2015-11-21 Ibm 電腦裝置以及與電腦裝置通訊連結的安全性管理裝置
FR3026586A1 (fr) 2014-09-30 2016-04-01 Orange Procede d’acces a des donnees relatives a au moins une operation mise en œuvre par un dispositif formant nœud d’un reseau
EP3207665B1 (en) * 2014-10-14 2018-10-10 Telefonaktiebolaget LM Ericsson (publ) Policies for analytics frameworks in telecommunication clouds
US10216938B2 (en) * 2014-12-05 2019-02-26 T-Mobile Usa, Inc. Recombinant threat modeling
US10574675B2 (en) 2014-12-05 2020-02-25 T-Mobile Usa, Inc. Similarity search for discovering multiple vector attacks
US9665585B2 (en) * 2015-01-23 2017-05-30 International Business Machines Corporation Preserving high value entries in an event log
EP3317797B1 (en) 2015-07-02 2021-08-25 Reliaquest Holdings, LLC Threat intelligence system and method
US11609958B1 (en) * 2015-07-17 2023-03-21 EMC IP Holding Company LLC System and method for managing log records of elements of a distributed computing environment
US10057142B2 (en) * 2015-08-19 2018-08-21 Microsoft Technology Licensing, Llc Diagnostic framework in computing systems
US9876809B2 (en) * 2015-11-10 2018-01-23 Sap Se Standard metadata model for analyzing events with fraud, attack, or any other malicious background
RU2612275C1 (ru) * 2015-12-09 2017-03-06 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ мониторинга сетей связи в условиях ведения сетевой разведки и информационно технических воздействий
US9838407B1 (en) 2016-03-30 2017-12-05 EMC IP Holding Company LLC Detection of malicious web activity in enterprise computer networks
US10242187B1 (en) * 2016-09-14 2019-03-26 Symantec Corporation Systems and methods for providing integrated security management
US11281706B2 (en) 2016-09-26 2022-03-22 Splunk Inc. Multi-layer partition allocation for query execution
US11243963B2 (en) 2016-09-26 2022-02-08 Splunk Inc. Distributing partial results to worker nodes from an external data system
US11663227B2 (en) 2016-09-26 2023-05-30 Splunk Inc. Generating a subquery for a distinct data intake and query system
US11023463B2 (en) 2016-09-26 2021-06-01 Splunk Inc. Converting and modifying a subquery for an external data system
US20180089324A1 (en) 2016-09-26 2018-03-29 Splunk Inc. Dynamic resource allocation for real-time search
US11232100B2 (en) 2016-09-26 2022-01-25 Splunk Inc. Resource allocation for multiple datasets
US11003714B1 (en) 2016-09-26 2021-05-11 Splunk Inc. Search node and bucket identification using a search node catalog and a data store catalog
US11562023B1 (en) 2016-09-26 2023-01-24 Splunk Inc. Merging buckets in a data intake and query system
US11860940B1 (en) 2016-09-26 2024-01-02 Splunk Inc. Identifying buckets for query execution using a catalog of buckets
US11269939B1 (en) 2016-09-26 2022-03-08 Splunk Inc. Iterative message-based data processing including streaming analytics
US11126632B2 (en) 2016-09-26 2021-09-21 Splunk Inc. Subquery generation based on search configuration data from an external data system
US11314753B2 (en) 2016-09-26 2022-04-26 Splunk Inc. Execution of a query received from a data intake and query system
US11580107B2 (en) 2016-09-26 2023-02-14 Splunk Inc. Bucket data distribution for exporting data to worker nodes
US11593377B2 (en) 2016-09-26 2023-02-28 Splunk Inc. Assigning processing tasks in a data intake and query system
US11163758B2 (en) 2016-09-26 2021-11-02 Splunk Inc. External dataset capability compensation
US10984044B1 (en) 2016-09-26 2021-04-20 Splunk Inc. Identifying buckets for query execution using a catalog of buckets stored in a remote shared storage system
US11222066B1 (en) 2016-09-26 2022-01-11 Splunk Inc. Processing data using containerized state-free indexing nodes in a containerized scalable environment
US11620336B1 (en) 2016-09-26 2023-04-04 Splunk Inc. Managing and storing buckets to a remote shared storage system based on a collective bucket size
US11550847B1 (en) 2016-09-26 2023-01-10 Splunk Inc. Hashing bucket identifiers to identify search nodes for efficient query execution
US11106734B1 (en) 2016-09-26 2021-08-31 Splunk Inc. Query execution using containerized state-free search nodes in a containerized scalable environment
US11321321B2 (en) 2016-09-26 2022-05-03 Splunk Inc. Record expansion and reduction based on a processing task in a data intake and query system
US11250056B1 (en) 2016-09-26 2022-02-15 Splunk Inc. Updating a location marker of an ingestion buffer based on storing buckets in a shared storage system
US11604795B2 (en) 2016-09-26 2023-03-14 Splunk Inc. Distributing partial results from an external data system between worker nodes
US11599541B2 (en) 2016-09-26 2023-03-07 Splunk Inc. Determining records generated by a processing task of a query
US11615104B2 (en) 2016-09-26 2023-03-28 Splunk Inc. Subquery generation based on a data ingest estimate of an external data system
US11586627B2 (en) 2016-09-26 2023-02-21 Splunk Inc. Partitioning and reducing records at ingest of a worker node
US10353965B2 (en) 2016-09-26 2019-07-16 Splunk Inc. Data fabric service system architecture
US10956415B2 (en) 2016-09-26 2021-03-23 Splunk Inc. Generating a subquery for an external data system using a configuration file
US10977260B2 (en) 2016-09-26 2021-04-13 Splunk Inc. Task distribution in an execution node of a distributed execution environment
US11567993B1 (en) 2016-09-26 2023-01-31 Splunk Inc. Copying buckets from a remote shared storage system to memory associated with a search node for query execution
US10942960B2 (en) * 2016-09-26 2021-03-09 Splunk Inc. Automatic triage model execution in machine data driven monitoring automation apparatus with visualization
US11416528B2 (en) 2016-09-26 2022-08-16 Splunk Inc. Query acceleration data store
US11442935B2 (en) 2016-09-26 2022-09-13 Splunk Inc. Determining a record generation estimate of a processing task
US11461334B2 (en) 2016-09-26 2022-10-04 Splunk Inc. Data conditioning for dataset destination
US11294941B1 (en) 2016-09-26 2022-04-05 Splunk Inc. Message-based data ingestion to a data intake and query system
US11874691B1 (en) 2016-09-26 2024-01-16 Splunk Inc. Managing efficient query execution including mapping of buckets to search nodes
US11108858B2 (en) 2017-03-28 2021-08-31 Commvault Systems, Inc. Archiving mail servers via a simple mail transfer protocol (SMTP) server
US11074138B2 (en) 2017-03-29 2021-07-27 Commvault Systems, Inc. Multi-streaming backup operations for mailboxes
US10552294B2 (en) 2017-03-31 2020-02-04 Commvault Systems, Inc. Management of internet of things devices
US11294786B2 (en) 2017-03-31 2022-04-05 Commvault Systems, Inc. Management of internet of things devices
US11221939B2 (en) 2017-03-31 2022-01-11 Commvault Systems, Inc. Managing data from internet of things devices in a vehicle
US10467083B2 (en) * 2017-06-08 2019-11-05 International Business Machines Corporation Event relationship analysis in fault management
RU2673711C1 (ru) * 2017-06-16 2018-11-29 Акционерное общество "Лаборатория Касперского" Способ обнаружения аномальных событий на основании набора сверток безопасных событий
US11989194B2 (en) 2017-07-31 2024-05-21 Splunk Inc. Addressing memory limits for partition tracking among worker nodes
US11921672B2 (en) 2017-07-31 2024-03-05 Splunk Inc. Query execution at a remote heterogeneous data store of a data fabric service
US11151137B2 (en) 2017-09-25 2021-10-19 Splunk Inc. Multi-partition operation in combination operations
US10896182B2 (en) 2017-09-25 2021-01-19 Splunk Inc. Multi-partitioning determination for combination operations
CN108959341B (zh) * 2018-04-04 2020-06-19 阿里巴巴集团控股有限公司 一种数据同步的方法、装置及设备
KR101964592B1 (ko) 2018-04-25 2019-04-02 한국전자통신연구원 보안위협 정보 공유 장치 및 방법
US11334543B1 (en) 2018-04-30 2022-05-17 Splunk Inc. Scalable bucket merging for a data intake and query system
US11113301B1 (en) * 2018-05-15 2021-09-07 Splunk Inc. Generating metadata for events based on parsed location information of data chunks of an isolated execution environment
US11238012B1 (en) 2018-05-15 2022-02-01 Splunk Inc. Log data extraction from data chunks of an isolated execution environment
US10848506B2 (en) 2018-06-06 2020-11-24 Reliaquest Holdings, Llc Threat mitigation system and method
US11709946B2 (en) 2018-06-06 2023-07-25 Reliaquest Holdings, Llc Threat mitigation system and method
US11537627B1 (en) 2018-09-28 2022-12-27 Splunk Inc. Information technology networked cloud service monitoring
GB2578320B (en) * 2018-10-23 2023-07-05 Advanced Risc Mach Ltd Graphics processing
CN109688198B (zh) * 2018-11-23 2022-05-13 四川九洲电器集团有限责任公司 分布式系统及故障检测方法
US10768971B2 (en) 2019-01-30 2020-09-08 Commvault Systems, Inc. Cross-hypervisor live mount of backed up virtual machine data
US11563754B2 (en) * 2019-02-25 2023-01-24 Micro Focus Llc Cyber attack prediction based on dark IP address space network traffic to plural client networks
US20200293654A1 (en) * 2019-03-12 2020-09-17 Universal City Studios Llc Security appliance extension
FR3094506B1 (fr) 2019-03-29 2021-04-16 Thales Sa Système embarqué à bord d'un aéronef de détection et de réponse aux incidents avec enregistrement de logs
WO2020220216A1 (en) 2019-04-29 2020-11-05 Splunk Inc. Search time estimate in data intake and query system
US11366723B2 (en) 2019-04-30 2022-06-21 Commvault Systems, Inc. Data storage management system for holistic protection and migration of serverless applications across multi-cloud computing environments
US11715051B1 (en) 2019-04-30 2023-08-01 Splunk Inc. Service provider instance recommendations using machine-learned classifications and reconciliation
US11461184B2 (en) 2019-06-17 2022-10-04 Commvault Systems, Inc. Data storage management system for protecting cloud-based data including on-demand protection, recovery, and migration of databases-as-a-service and/or serverless database management systems
US20210011816A1 (en) 2019-07-10 2021-01-14 Commvault Systems, Inc. Preparing containerized applications for backup using a backup services container in a container-orchestration pod
US11494380B2 (en) 2019-10-18 2022-11-08 Splunk Inc. Management of distributed computing framework components in a data fabric service system
US11922222B1 (en) 2020-01-30 2024-03-05 Splunk Inc. Generating a modified component for a data intake and query system using an isolated execution environment image
US11467753B2 (en) 2020-02-14 2022-10-11 Commvault Systems, Inc. On-demand restore of virtual machine data
US11321188B2 (en) 2020-03-02 2022-05-03 Commvault Systems, Inc. Platform-agnostic containerized application data protection
US11422900B2 (en) 2020-03-02 2022-08-23 Commvault Systems, Inc. Platform-agnostic containerized application data protection
US11442768B2 (en) 2020-03-12 2022-09-13 Commvault Systems, Inc. Cross-hypervisor live recovery of virtual machines
US11748143B2 (en) 2020-05-15 2023-09-05 Commvault Systems, Inc. Live mount of virtual machines in a public cloud computing environment
US11695787B2 (en) 2020-07-01 2023-07-04 Hawk Network Defense, Inc. Apparatus and methods for determining event information and intrusion detection at a host device
US11977655B2 (en) * 2020-08-25 2024-05-07 International Business Machines Corporation Security event association technology
US11314687B2 (en) 2020-09-24 2022-04-26 Commvault Systems, Inc. Container data mover for migrating data between distributed data storage systems integrated with application orchestrators
US11704313B1 (en) 2020-10-19 2023-07-18 Splunk Inc. Parallel branch operation using intermediary nodes
US11604706B2 (en) 2021-02-02 2023-03-14 Commvault Systems, Inc. Back up and restore related data on different cloud storage tiers
US11641371B2 (en) 2021-02-17 2023-05-02 Saudi Arabian Oil Company Systems, methods and computer-readable media for monitoring a computer network for threats using OLAP cubes
US11734012B2 (en) * 2021-03-31 2023-08-22 Bmc Software, Inc. Systems and methods for efficient transfer of log data
US11941421B1 (en) 2021-07-09 2024-03-26 Splunk Inc. Evaluating and scaling a collection of isolated execution environments at a particular geographic location
KR102351223B1 (ko) 2021-10-08 2022-01-14 주식회사 이글루시큐리티 로그를 분석하기 위한 연관 검색 조건들이 프로파일되어 패키징에 포함되는 siem 원클릭 설치 방법
CN114416723B (zh) * 2021-12-15 2023-01-20 北京达佳互联信息技术有限公司 一种数据的处理方法、装置、设备及存储介质
CN114666128B (zh) * 2022-03-23 2023-03-24 北京永信至诚科技股份有限公司 蜜罐威胁情报共享方法、装置、设备及可读存储介质
KR102598126B1 (ko) 2023-06-14 2023-11-03 주식회사 이글루코퍼레이션 클러스터 환경 내 중복된 보안 위협 데이터 관리 방법 및 이를 위한 장치
KR102585095B1 (ko) 2023-06-19 2023-10-06 주식회사 이글루코퍼레이션 분석 정책 생성 및 폐기 기능을 지원하는 통합 보안 관제 방법 및 이를 위한 장치
KR102583052B1 (ko) 2023-06-28 2023-09-26 주식회사 이글루코퍼레이션 대용량 데이터 실시간 필터링을 위한 과부하 방지 자가보호 방법 및 이를 위한 장치

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537541A (en) * 1994-08-16 1996-07-16 Digital Equipment Corporation System independent interface for performance counters
JPH08106408A (ja) 1994-10-04 1996-04-23 Nippon Telegr & Teleph Corp <Ntt> 運用情報アクセスログ収集管理システム及び運用情報アクセスログ収集管理方法
JPH08263330A (ja) * 1995-03-20 1996-10-11 Fujitsu Ltd ログ蓄積システム
US5787249A (en) 1996-04-30 1998-07-28 International Business Machines Coporation Method for managing membership of a group of processors in a distributed computing environment
US6125368A (en) * 1997-02-28 2000-09-26 Oracle Corporation Fault-tolerant timestamp generation for multi-node parallel databases
US5964857A (en) 1997-05-30 1999-10-12 Quality Semiconductor, Inc. Priority encoder for a content addressable memory system
US5999929A (en) 1997-09-29 1999-12-07 Continuum Software, Inc World wide web link referral system and method for generating and providing related links for links identified in web pages
US7581077B2 (en) * 1997-10-30 2009-08-25 Commvault Systems, Inc. Method and system for transferring data in a storage operation
US6067565A (en) 1998-01-15 2000-05-23 Microsoft Corporation Technique for prefetching a web page of potential future interest in lieu of continuing a current information download
JPH11232145A (ja) * 1998-02-13 1999-08-27 Sharp Corp ログ情報記録装置
US6363372B1 (en) 1998-04-22 2002-03-26 Zenith Electronics Corporation Method for selecting unique identifiers within a range
JPH11327966A (ja) 1998-05-15 1999-11-30 Nec Eng Ltd イベントデータ蓄積管理検索システム
US6606645B1 (en) 1998-10-29 2003-08-12 At&T Corp. Method for preconnecting to a server on a network
US6728748B1 (en) 1998-12-01 2004-04-27 Network Appliance, Inc. Method and apparatus for policy based class of service and adaptive service level management within the context of an internet and intranet
US6516350B1 (en) 1999-06-17 2003-02-04 International Business Machines Corporation Self-regulated resource management of distributed computer resources
JP2001229051A (ja) 2000-02-16 2001-08-24 Hitachi Ltd シーケンス図表示方式
US6601101B1 (en) 2000-03-15 2003-07-29 3Com Corporation Transparent access to network attached devices
US6826613B1 (en) 2000-03-15 2004-11-30 3Com Corporation Virtually addressing storage devices through a switch
US7062570B2 (en) 2000-08-04 2006-06-13 Avaya Technology, Corp. High performance server farm with tagging and pipelining
US6807572B1 (en) 2000-08-31 2004-10-19 Intel Corporation Accessing network databases
US6996615B1 (en) 2000-09-29 2006-02-07 Cisco Technology, Inc. Highly scalable least connections load balancing
US6956836B2 (en) 2001-05-17 2005-10-18 Ericsson, Inc. Asymmetric frequency allocation for packet channels in a wireless network
US6744729B2 (en) 2001-08-17 2004-06-01 Interactive Sapience Corp. Intelligent fabric
JP2003131960A (ja) 2001-10-26 2003-05-09 Hitachi Ltd データ中継方法
JP4050497B2 (ja) * 2001-11-06 2008-02-20 インフォサイエンス株式会社 ログ情報管理装置及びログ情報管理プログラム
US7249118B2 (en) * 2002-05-17 2007-07-24 Aleri, Inc. Database system and methods
US7509418B2 (en) 2002-06-25 2009-03-24 Hewlett-Packard Development Company, L.P. Automatic management of e-services
US7152242B2 (en) * 2002-09-11 2006-12-19 Enterasys Networks, Inc. Modular system for detecting, filtering and providing notice about attack events associated with network security
US7219239B1 (en) * 2002-12-02 2007-05-15 Arcsight, Inc. Method for batching events for transmission by software agent
US7376969B1 (en) * 2002-12-02 2008-05-20 Arcsight, Inc. Real time monitoring and analysis of events from multiple network security devices
US7039773B2 (en) * 2003-04-29 2006-05-02 Oracle International Corporation Method and mechanism for efficient implementation of ordered records
US7284153B2 (en) 2003-11-17 2007-10-16 International Business Machines Corporation Apparatus, method, and system for logging diagnostic information
US20050114321A1 (en) * 2003-11-26 2005-05-26 Destefano Jason M. Method and apparatus for storing and reporting summarized log data
EP1562120A1 (en) * 2004-02-09 2005-08-10 Sap Ag Data processing system with display of test data
US7536634B2 (en) * 2005-06-13 2009-05-19 Silver Creek Systems, Inc. Frame-slot architecture for data conversion
US7698686B2 (en) * 2005-04-15 2010-04-13 Microsoft Corporation Method and apparatus for performance analysis on a software program
US8001297B2 (en) * 2005-04-25 2011-08-16 Microsoft Corporation Dynamic adjusting send rate of buffered data
US7653836B1 (en) * 2005-06-10 2010-01-26 American Megatrends, Inc Logging metadata modifications in a data storage system
US20070100911A1 (en) 2005-11-03 2007-05-03 International Business Machines Corporation Apparatus and method for materialized query table journaling in a computer database system
US20080059412A1 (en) * 2006-08-31 2008-03-06 Tarin Stephen A Value-instance connectivity computer-implemented database
US9166989B2 (en) * 2006-12-28 2015-10-20 Hewlett-Packard Development Company, L.P. Storing log data efficiently while supporting querying

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101137694B1 (ko) * 2010-07-12 2012-04-25 주식회사 윈스테크넷 디도스 발생 탐지분석 및 표시를 위한 통합보안관리시스템 및 이에 의한 디도스 발생탐지분석 및 표시방법
KR20160010034A (ko) 2014-07-18 2016-01-27 주식회사 텔레칩스 액세스포인트의 위치 맵에 연동한 gps 내비게이션의 운용 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Also Published As

Publication number Publication date
SG177213A1 (en) 2012-01-30
JP5357777B2 (ja) 2013-12-04
AU2007339801A1 (en) 2008-07-10
TW200836080A (en) 2008-09-01
US20080162592A1 (en) 2008-07-03
RU2009128959A (ru) 2011-02-10
US9031916B2 (en) 2015-05-12
KR101451640B1 (ko) 2014-10-16
EP2097824A2 (en) 2009-09-09
TWI434190B (zh) 2014-04-11
RU2424568C2 (ru) 2011-07-20
CA2669197A1 (en) 2008-07-10
JP2010515172A (ja) 2010-05-06
EP2097824B1 (en) 2017-05-24
EP2097824A4 (en) 2012-06-06
AU2007339801B2 (en) 2012-03-22
IL198840A0 (en) 2010-02-17
WO2008083267A3 (en) 2008-08-28
NZ577198A (en) 2012-03-30
WO2008083267A2 (en) 2008-07-10

Similar Documents

Publication Publication Date Title
KR101451640B1 (ko) 컴퓨터 네트워크 보안을 보조하기 위한, 로그 데이터의 효과적인 저장과 질의의 지원
US9762602B2 (en) Generating row-based and column-based chunks
EP2580692B1 (en) Query pipeline
US9853986B2 (en) Clustering event data by multiple time dimensions
US10984010B2 (en) Query summary generation using row-column data storage
RU2417417C2 (ru) Идентификация в реальном времени модели ресурса и категоризация ресурса для содействия в защите компьютерной сети
AU2006315555B2 (en) Log collection, structuring and processing
US20110314148A1 (en) Log collection, structuring and processing
US9514183B1 (en) Indexing and searching of large amounts of machine generated data collected from disparate sources
US8745010B2 (en) Data storage and archiving spanning multiple data storage systems
JP7300781B1 (ja) データ管理システム、データ管理方法、及びデータ管理プログラム
JP2024071851A (ja) データ管理システム、データ管理方法、及びデータ管理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181121

Year of fee payment: 5