KR100943012B1 - 멀티-라인 로그 엔트리의 머징 - Google Patents

멀티-라인 로그 엔트리의 머징 Download PDF

Info

Publication number
KR100943012B1
KR100943012B1 KR1020087026598A KR20087026598A KR100943012B1 KR 100943012 B1 KR100943012 B1 KR 100943012B1 KR 1020087026598 A KR1020087026598 A KR 1020087026598A KR 20087026598 A KR20087026598 A KR 20087026598A KR 100943012 B1 KR100943012 B1 KR 100943012B1
Authority
KR
South Korea
Prior art keywords
merge
event
log entry
mapping
log
Prior art date
Application number
KR1020087026598A
Other languages
English (en)
Other versions
KR20090006141A (ko
Inventor
헥터 아길라-마시어스
기리쉬 만트리
Original Assignee
아크사이트, 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아크사이트, 인코퍼레이티드 filed Critical 아크사이트, 인코퍼레이티드
Publication of KR20090006141A publication Critical patent/KR20090006141A/ko
Application granted granted Critical
Publication of KR100943012B1 publication Critical patent/KR100943012B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99937—Sorting

Abstract

복수의 디바이스로부터 수신된 로그 엔트리(log entry)들로부터 머지 이벤트(merged event)들을 생성하는 시스템 및 방법에 관한 것이다. 일반적으로는, 복수의 로그 이벤트들은 싱글 머지 이벤트에 기여한다. 본 실시예에서는, 맵핑 모듈이 특정 머지 이벤트와 관련된 로그 엔트리들을 수신하고, 맵핑 프로퍼티에 따라 그 로그 엔트리들을 머지 이벤트 데이터 구조 내의 필드에 맵핑시킨다. 본 발명의 실시예들은 수신된 로그 엔트리 내에서 검색될 값을 나타낸 머지 프로퍼티의 정규식(regular expression)을 사용한다. 본 발명의 실시예는 맵핑 모듈이 생성중인 이벤트에 억세스하도록 한다. 토큰 리스트로부터 제거될 값인 첫번째 토큰을 선택하는, 신규한 조건 연산자인, "_oneOf"를 제공한다.
Figure R1020087026598
로그 엔트리, 머지 이벤트(merged event), 파서(parser), 토큰(token)

Description

멀티-라인 로그 엔트리의 머징{MERGING MULTI-LINE LOG ENTRIES}
본 명세서에서 개시된 실시예들은 전반적으로 네트워크 활동을 모니터링하는 기술에 관한 것이다. 특히, 본 실시예들은 관련 네트워크 활동을 나타내는 다중 엔트리를 머징하는 시스템 및 방법에 관한 것이다.
네트워크 내에서 다양한 디바이스 및 여러 소프트웨어로부터 수신된 로그 엔트리를 모니터링하는 것은 바람직하다. 자주, 이들 디바이스 및 소프트웨어 중 어떤 것들은 편리성, 속도 또는 신뢰성의 이유로 몇 개의 로깅 메시지(logging message)를 생성할 수 있다. 예를 들면, 이러한 로깅 메시지 생성은 모든 정보가 이벤트에 대한 센트럴 포인트(central point)까지 도달하지는 않는 경우에도 일부 정보가 그 이벤트에 대한 센트럴 포인트에 도달하도록 수행된다. 예를 들면, 해당 작업이 완전히 완료되기 전에 시스템이 고장나더라도 몇몇 사항들은 기록될 수 있도록, 해당 작업을 완료하기 이전에 로그 메시지를 전송하는 것이 바람직하다.
또한, 어떤 종류의 로그 이벤트들은 시간이 지나면서 디바이스 내에 생성된다. 따라서, 디바이스의 이벤트에 대해 모든 상황이 로그 가능하게 될 때까지 기다리는 대신, 로그 가능한 이벤트들이 발생할 때마다 이들을 전송하는 것이 바람직하다.
다수의 디바이스들이 로그 엔트리들을 네트워크 내의 하나 이상의 중앙 수집소(central collection point)에 전송하면, 이 다수의 디바이스들로부터의 다양한 이벤트들에 관한 로그 엔트리들은 서로 산재되어 도달할 가능성이 높다. 이러한 다양한 로그 엔트리들은 로그 내에서 서로 인접하지 않을 수 있다. 이러한 다양한 로그 엔트리들은 극히 유사한 이벤트들로 인터리브(interleave)될 수 있다. 또한, 이러한 다양한 로그 엔트리들은 몇 개의 로그 파일에 걸쳐서 분포될 수 있다. 또한, 로그 엔트리들의 시퀀스는 완전하지 않을 수도 있다(작업이 완료되기 이전에 센서가 고장난 경우 등).
따라서, 상술한 바와 같은 문제 상황 하에서 생성된 로그 엔트리들로부터 고급 이벤트 정보를 자동적으로 수집하는 방법이 요구된다.
본 발명의 바람직한 실시예들은 파서(parser), 그룹핑 트래커 모듈(grouping tracker module), 및 맵핑 모듈(mapping module)을 포함하는 에이전트(agent)를 규정한다. 파서는 도달하는 로그 엔트리(log entry)를 토큰(token)으로 분리한다. 그룹핑 트래커 모듈은 이들 토큰을 분석하여 상기 토큰이 어떤 머지 이벤트(존재한다면)에 속하는 것인지를 판단한다. 본 발명의 기술된 실시예에서는, 상기 그룹핑 트래커 모듈이 설정을 변경할 수 있는 머지 프로퍼티(merge properties)에 따라 동작하지만, 다른 실시예들은 이들 프로퍼티가 설정을 변경할 수 없도록 코딩될 수도 있다. 머지 프로퍼티는, 로그 엔트리를 고급 머지 이벤트로 그룹핑하는 활동과 관련된, 다양한 프로퍼티의 설정 변경을 허용한다. 본 발명의 기술된 실시예에서, 이들 프로퍼티에는 각 머지 이벤트용으로 어떤 종류의 로그 엔트리를 고려할 것인지, 각 머지 이벤트를 식별하기 위해서 어떤 ID를 사용할 것인지, 어떤 엔트리가 머지 이벤트(merged event)를 개시하고 종료시키는지, 종료 엔트리(end entry)가 발견되지 않더라도 기존의 머지 이벤트용으로 엔트리를 수집하는 것을 자동으로 종료시키는 타임아웃 값(timeout value)에 관한 일부(또는 전부)가 포함된다.
본 발명의 기술된 실시예에서는, 맵핑 모듈은 특정 머지 이벤트와 관련된 로그 엔트리를 수신하고, 맵핑 프로퍼티(이러한 맵핑 프로퍼티는 설정을 변경할 수 없도록 코딩될 수도 있다)에 따라 이들을 머지 이벤트 데이터 구조 내의 필드에 맵핑시킨다.
본 발명의 기술된 실시예는 수신된 로그 엔트리 내에서 검색될 값을 기술하는 머지 프로퍼티(merge property)에 정규식(regular expression)을 사용한다. 예를 들면, 정규식은 어떤 엔트리가 다중 엔트리 이벤트(multi-entry event)의 일부분인지를 규정할 수 있고, 다중 엔트리 이벤트 내의 첫번째 엔트리를 검출할 수 있으며, 또한 다중 엔트리 이벤트 내의 최종 엔트리를 검출할 수 있다. 머지 프로퍼티는, 머징 되기 위해 엔트리 내의 어떤 필드가 동일한 값을 포함해야만 하는지를 선언한다(예를 들면, 엔트리는 동일한 숫자 아이디(id)를 가질수도 있고 동일한 아이피(ip) 주소를 가질 수도 있다). 본 발명의 기술된 실시예는 상호 산재되어 있는 이벤트용 로그 엔트리들을 처리할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시스템의 블록도.
도 2는 머지 프로퍼티에 따라 로그 엔트리들을 처리하도록 수행되는 방법의 일 실시예를 나타낸 순서도.
도 3은 맵핑 프로퍼티에 따라 머지 이벤트(merged event)에 로그 엔트리를 추가하도록 수행되는 방법의 일 실시예를 나타낸 순서도.
도 4는 본 발명의 일 실시예의 맵핑 프로퍼티에 사용된 원오브 함수(oneOf function)를 나타낸 순서도.
도 5는 여러가지 머지 이벤트에 관한 산재된 로그 엔트리들을 수신한 때에, 복수의 머지 이벤트가 구성되는 일례를 나타낸 도면.
도 6은 머지 이벤트의 포맷을 예시적으로 나타낸 도면.
이하, 도면을 참조하여 본 발명의 실시예들을 설명하도록 한다. 여기서, 본 도면의 동일한 참조부호는 동일하거나 기능적으로 유사한 구성요소를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 시스템(100)의 블록도를 나타낸다. 바람직하게는, 시스템(100)은 네트워크 내의 하나 이상의 센트럴 포인트(central point)에 에이전트(104)를 포함한다. 에이전트(104)는 인터넷, LAN, WAN, 무선 통신망(wireless network), 이동 통신망(mobile network), 또는 원격의 디바이스가 에이전트(104)로 로그 엔트리를 전송할 수 있는 임의의 다른 적절한 메카니즘과 같은 네트워크를 통하여 다양한 디바이스 및 여러 소프트웨어로부터의 로그 엔트리를 수신한다.
로그 엔트리는 파서(102)에 의해 수신되고, 본 발명이 속하는 기술분야에서의 공지의 방법에 의해 파싱되어 토큰처리된다. 다른 실시예에서는, 미국 출원번호 11/070,024호(Hector Aguilar-Macias et al., entitled “Message Parsing In A Network Security System” filed Mar. 1, 2005)에서 설명된 바와 같이 파싱을 수행할 수 있다. 본 명세서에서는 이를 언급하는 것으로도 본 명세서의 일부가 된다.
수신된 로그 엔트리들은 파서(102)가 파싱할 수 있는 임의의 적절한 포맷일 수 있다. 파서(102)는 수신된 로그 엔트리들에 의거하여 토큰(token)을 출력한다. 이들 토큰은 그룹핑 트래커 모듈(grouping tracker module)(110)에서 수신된다.
그룹핑 트래커 모듈(110)은 메모리 또는 다른 저장모듈 또는 디바이스(112)로부터 머지 프로퍼티(merge property)를 수신하도록 접속되어 있다. 이러한 머지 프로퍼티는 머지 이벤트(merged event)를 만들도록 사용될 때, 수신된 로그 엔트리를 해석하는 방식을 특정한다. 그룹핑 트래커 모듈은 특정 머지 이벤트와 관련된 로그 엔트리를, 수신된 로그 에트리로부터 만들어지는 머지 이벤트로 로그 엔트리를 맵핑하는 맵핑 모듈로 출력한다. 이러한 맵핑은 맵핑 프로퍼티(122)에 따라 발생한다. 맵핑 모듈(120)은 복수의 로그 엔트리로부터 생성된 하나 이상의 머지 이벤트를 출력한다. 도 1에서 개략적으로 설명한 프로세스의 일례에 관하여 이하에서 더욱 상세하게 설명하도록 한다.
예시
본 예시는, 본 발명의 일 실시예에서 이벤트 머징(event merging)이 작동하는 방식을 나타낸다.
다음과 같은 로그 엔트리 라인을 가정한다(경우에 따라, 이들은 "메시지"로 호칭되기도 한다).
[18/Jul/2005:12:30:20-0400] conn=8 op=0 msgId=82 - BIND uid=admin
[18/Jul/2005:12:30:25-0400] conn=7 op=-1 msgId=-1 - LDAP connection from 10.0.20.122 to 10.0.20.122
[18/Jul/2005:12:30:30-0400] conn=8 op=0 msgId=82 - RESULT err=0
파서(102)는 이들 수신된 로그 엔트리들을 키값 쌍(key-value pair)으로 파싱한다. 각 로그 엔트리에 대해, 파서(102)는 토큰 세트를 산출한다. 예를 들면, 다음 로그 엔트리:
[18/Jul/2005:12:30:20-0400]] conn=8 op=0 msgId=82-BIND uid=admin
는 다음과 같은 키값 쌍 즉,
Date=18/Jul/2005 12:30:20
Connection=8
Operation=0
MessageId=82
OperationName=BIND
UserId=admin
을 갖는 토큰을 산출한다.
이와 유사하게, 다른 두개의 로그 엔트리들도 고유의 키값 쌍 즉,
[18/Jul/2005:12:30:25-0400]] conn=7 op=-1 msgId=-1 - LDAP connection from 10.0.20.122 to 10.0.20.12 는,
Date=18/Jul/2005 12:30:25
Connection=7
Operation=1
MessageId=-1
OperationName=LDAP
Source=10.0.20.122
Destination=10.0.20.12 를
[18/Jul/2005:12:30:30-0400]] conn=8 op=0 msgId=82 - RESULT err=0 는,
Date=18/Jul/2005 12:30:30
Connection=8
Operation=0
MessageId=82
OperationName=RESULT
ResultCode=0
를 산출한다.
도 2는 머지 프로퍼티(112)에 따라, 수신된 로그 엔트리를 처리하도록 수행되는 방법의 일 실시예를 나타낸 순서도(200)이다. 바람직한 실시예에서, 본 방법은 그룹퍼(grouper)/트래커(tracker)(110)에 의해 수행된다. 현재 만들어지고 있는 머지 이벤트(merged event)에 대해 타임아웃(timeout)이 도달한 경우에는(202), 그 머지 이벤트를 종료하고(204) 컨트롤은 엘리멘트(element)(202)로 복귀한다. 따라서, 명시된 종료 로그 엔트리(ending log entry)가 검출되지 않더라도, 머지 이벤트의 타임아웃이 발생하면 머지 이벤트는 종료된다. 타임아웃 값은 상이한 종류의 로그 디바이스들에 대해서 및 단일 디바이스로부터의 상이한 머지 이벤트에 대해서 다를 수 있다. 후술하는 바와 같이, 타임아웃 값은 머지 프로퍼티 내에 포함되어 있다.
엘리멘트(206)는 처리할 다음 로그 엔트리를 수신한다. 그 로그 엔트리가 (머지 프로퍼티(112)에서 규정된 바에 따라서)머징(merging)의 대상으로 간주되면(208), 프로세싱은 계속되고, 그렇지 않다면 단일 이벤트(single event)가 전송되며(209) 프로세싱은 엘리멘트(202)로 복귀한다.
로그 엔트리가 신규 머지 이벤트에 관한 개시 로그 엔트리(beginning log entry)인 경우에는(머지 프로퍼티(112)에서 규정된 바에 따라서)(210), 신규 머지 이벤트가 오픈된다(212)(생성 중인 프로세스에서의 복수 머지 이벤트들의 일례에 대해서는 도 5 참조). 일부 실시예에서는, 머지 이벤트용 타임아웃 클럭(timeout clock)이 기동된다(212).
로그 엔트리가 개시 로그 엔트리가 아니지만, 현재 생성되고 있는 기존 머지 이벤트의 ID를 포함하고 있는 경우, 예외(exception)가 로그되고 단일 이벤트(single event)가 전송된다(215). 그렇지 않다면, 프로세싱은 계속되고, 토큰과 로그 엔트리를 맵핑 모듈로 넘기며(220), 이에 따라 머지 이벤트에 그 정보가 부가될 수 있다. 일 실시예에서, ID는 로그 엔트리 내의 단일 필드(single field)일 수도 있고 또는 머지 이벤트의 모든 로그 엔트리에 대한 공통값을 갖는, 로그 엔트리 내의 복수 필드(multiple field)일 수 있다.
로그 엔트리가 신규 머지 이벤트에 관한 종료 로그 엔트리(end log entry)인 경우에는(머지 프로퍼티(112)에서 규정된 바에 따라서)(216), 기존 머지 이벤트가 종료되며 그룹퍼/트래커에서 제거된다(218)(생성중인 프로세스 내에서의 복수 머지 이벤트들의 일례에 대해서는 도 5 참조). 로그 엔트리가 이벤트 종료를 나타내는 경우에는, 해당 머지 이벤트는 종료되며 도 5의 구조에서 제거한다.
계속하여 본 예를 설명하면, 본 예에서의 머지 프로퍼티(112)는 다음과 같이 규정된다.
merge.count=1
merge[0].pattern.count=1
merge[0].pattern[0].token=OperationName
merge[0].pattern[0].regex=(BIND│RESULT)
merge[0].starts.count=1
merge[0].starts[0].token=OperationName
merge[0].starts[0].regex=BIND
merge[0].ends.count=1
merge[0].ends[0].token=OperationName
merge[0].ends[0].regex=RESULT
merge[0].id.tokens=Connection,Operation,MessageId
merge[0].timeout=60000
먼저, 하나의 머지 연산만을 행한다는 것을 나타낸다.
merge.count=1
다음, "OperationName"이 "BIND" 또는 "RESULT"로 설정된 모든 메시지는 머징(merging)의 대상으로 간주된다는 것을 규정한다.
merge[0].pattern.count=1
merge[0].pattern[0].token=OperationName
merge[0].pattern[0].regex=(BIND│RESULT)
이제, "OperationName"이 "BIND"로 설정된 메시지가 머지 연산(merge operation)을 개시하도록 규정한다.
merge[0].starts.count=1
merge[0].starts[0].token=OperationName
merge[0].starts[0].regex=BIND
그리고, "OperationName"이 "RESULT"로 설정된 메시지가 검출되면, 그 머지 연산은 종료된다.
merge[0].ends.count=1
merge[0].ends[0].token=OperationName
merge[0].ends[0].regex=RESULT
또한, 이벤트가 동일 그룹에 속하는지 여부를 식별하는 방법을 규정해야 하므로, "Connection", "Operation", 및 (머지 이벤트의 ID를 형성하는)"MessageId"의 값이 동일해지도록 특정한다.
merge[0].id.tokens=Connection,Operation,MessageId
최종적으로, 타임아웃(timeout)을 규정하여 "OperationName"이 "RESULT"로 설정된 메시지를 60초 후에 획득하지 못한다면, 그 이벤트를 그대로 전송하도록 한다.
merge[0].timeout=60000
도 3은 맵핑 프로퍼티에 따라 로그 엔트리를 머지 이벤트에 추가하도록 수행하는 방법의 일 실시예를 나타낸 순서도이다. 수신된 로그 엔트리 및 그들 토큰은 생성중인 적어도 하나의 머지 이벤트와 연관된다는 것이 이미 식별되었다. 맵핑 모듈(120)은 로그 엔트리 내부의 정보를, 생성 중인 하나 이상의 머지 이벤트(merged events)에 맵핑한다(생성 중인 복수의 머지 이벤트들의 일례에 대해서는 도 5를 참조하고, 머지 이벤트에 대한 예시적인 포맷에 대해서는 도 6을 참조).
본 예에서, 맵핑 프로퍼티(122)는 다음과 같이 규정된다.
event.deviceReceiptTime=Date
event.name=_oneOf(mergedevent.name,OperationName)
event.deviceAction=ResultCode
event.destinationUserId=UserId
이들 프로퍼티는 이벤트용 타임스탬프(timestamp)로서 "Date"를 사용하고, 디바이스 액션(device action)으로서 "ResultCode"를 사용하며, 데스티네이션 유저 아이디(destination user id)로서 "UserId"를 사용한다는 것을 나타내고 있다.
이러한 프레임워크(framework)는 최종 데이터를 저장하기 위해 사용되는 "트래킹(tracking)" 이벤트를 참조할 수 있도록, 그 네임(name)을 다음과 같이 규정한다.
event.name=_oneOf(mergedevent.name,OperationName)
이 경우, 상기 연산(operation)은 "OperationName" 또는 "트래킹" 이벤트의 네임(만일 존재한다면) 중의 어느 하나를 사용해야 한다는 것을 의미한다. 예를 들면, 첫번째 이벤트는 다음과 같은 키값(key-value)을 포함한다.
[18/Jul/2005:12:30:20-0400]] conn=8 op=0 msgId=82 - BIND uid=admin
Date=18/Jul/2005 12:30:20
Connection=8
Operation=0
MessageId=82
OperationName=BIND
UserId=admin
또한, 마지막 부분이 다음과 같이 맵핑되는 신규 "트래킹" 이벤트가 생성된다.
mergedevent.name=BIND
mergedevent.deviceReceiptTime=18/Jul/2005 12:30:20
mergedevent.destinationUserId=admin
"mergedevent"가 신규이기 때문에 "mergedevent"의 네임(name)은 "BIND"가 되고, 따라서 "mergedevent.name"은 존재하지 않으며, "OperationName"의 값(BIND)이 사용된다.
한편, 머징 그룹(merging group)에 관한 두번째 이벤트는 다음과 같이 처리된다.
[18/Jul/2005:12:30:30-0400]] conn=8 op=0 msgId=82 - RESULT err=0
Date=18/Jul/2005 12:30:30
Connection=8
Operation=0
MessageId=82
OperationName=RESULT
ResultCode=0
머지 이벤트(merged event)는 다음과 같이 맵핑된다.
mergedevent.name=BIND
mergedevent.deviceReceiptTime=18/Jul/2005 12:30:30
mergedevent.destinationUserId=admin
mergedevent.deviceAction=0
이 이벤트가 처리될 때에는 "BIND"로 설정된 네임을 갖는 "트래킹된(tracked)" 이벤트(mergedevent)가 이미 존재하고 있기 때문에, "mergedevent.name"은 "BIND"로 설정되며, 따라서 이 경우에는 "OperationName"은 사용되지 않고, "mergedevent"는 "BIND"값을 유지한다는 점에 주목해야 한다. 한편, "mergedevent.deviceReceiptTime"이 "18/Jul/2005 12:30:30"으로 어떻게 설정되었는지를 주목해야 하는데, 그 이유는, 디폴트(default)에 의해 "mergedevent"의 값이 대체되기 때문이며, 이에 따라 "deviceReceiptTime"이 가장 최근의 값을 취하기 때문이다.
도 4는 본 발명의 일 실시예에서의 맵핑 프로퍼티에 사용된 원오브 함수(oneOf function)(402)를 나타낸 순서도(400)이다. 예를 들면, 어떤 이벤트 네임(event name)에 대해 원오브 함수를 처리하기 위해서, 그 이벤트 네임이 현재 공란이라면(404), 현재의 토큰 네임을 사용한다(406). 그 이벤트 네임이 공란이 아니라면, 그 공란이 아닌 네임을 유지한다(408).
"_oneOf"는 맵핑 구성요소에 사용될 수 있는 연산(operation)의 일례일 뿐임을 알아야 한다. 맵핑 구성요소는 머지 이벤트 필드를 참조할 수 있는 다른 "연산"을 포함할 수 있다. "_oneOf"는 단지 일례이며, 실제 맵핑 프레임워크(framework)에서, 연산의 다른 예에서는 "_concatenate", "type conversion" 연산 등이 포함된다.
도 5는 다양한 머지 이벤트용의 산재된 로그 엔트리를 수신함에 따라, 복수의 머지 이벤트가 생성되는 일례(500)를 나타낸다.
도 6은 하나의 머지 이벤트의 예시적인 포맷(550)을 나타낸다. 예를 들면, 도 5의 다양한 머지 이벤트는, 비록 각각의 머지 이벤트의 모든 값들을 채우진 않더라도, 도시된 포맷을 가질 수 있다. 본 발명의 다양한 실시에는 "concatenate", "type conversion", "counting" 등을 포함하는 머지 연산(merge operation)의 다른 예들이 포함된다. 다른 실시예에는 다양한 타입의 머지 이벤트의 갯수에 대한 통계를 관리할 수 있도록 하기 위한 머지 이벤트 어그리게이션(aggregation)을 포함한다. 이러한 어그리게이션된 데이터는 모니터에 단독으로 전송되거나, 또는 다른 전송 데이터와 결합된 일부분으로서 전송될 수 있다.
다음의 패러그래프는 본 발명의 일 실시예에 포함된 예시적인 머지 프로퍼 티(112)의 간단한 설명을 제공한다.
merge.count
규정될 머지 연산의 갯수를 규정한다.
merge[{mergeindex}].pattern.count
규정될 패턴의 갯수를 규정한다. 머지 연산은 어떤 이벤트를 머지 연산에 고려할 것인지를 규정하는 패턴을 필요로 하며, 만일 패턴이 주어지지 않는다면 모든 이벤트를 고려하게 된다.
merge[{mergeindex}].pattern[{patternindex}].token
이러한 패턴에 대해 사용될 토큰을 규정한다.
merge[{mergeindex}].pattern[{patternindex}].regex
이러한 패턴에 대해 사용할 정규식(regular expression)을 규정한다.
merge[{mergeindex}].starts.count
규정될 개시 패턴(start pattern)의 갯수를 규정한다. 머지 연산(merge operations)은 어떤 이벤트가 머지 연산을 시작하게 하는지를 규정하는 개시 패턴을 필요로 하며, 만일 패턴이 주어지지 않는다면 모든 이벤트가 머지 연산을 시작하게 한다. 일단 연산이 시작되면, 타임아웃(timeout) 또는 엔드 패턴 매치(end pattern match)를 통해서만 연산을 종료할 수 있다.
merge[{mergeindex}].starts[{patternindex}].token
이러한 개시 패턴에 대해 사용될 토큰을 규정한다.
merge[{mergeindex}].starts[{patternindex}].regex
이러한 개시 패턴에 대해 사용할 정규식(regular expresstion)을 규정한다.
merge[{mergeindex}].ends.count
규정될 엔드 패턴(end pattern)의 갯수를 규정한다. 머지 연산은 어떤 이벤트가 머지 연산을 종료시키는지를 규정하는 엔드 패턴을 필요로 하며, 만일 패턴이 주어지지 않는다면 어떤 이벤트도 머지 연산을 종료시키지 않고, 그 연산은 오지 타임아웃(timeout)을 통해서만 종료된다.
merge[{mergeindex}].ends[{patternindex}].token
이러한 엔드 패턴에 대해 사용될 토큰을 규정한다.
merge[{mergeindex}].ends[{patternindex}].regex
이러한 엔드 패턴용으로 사용할 정규식을 규정한다.
merge[{mergeindex}].timeout
머지 연산에 대해 밀리초(millisecond)의 타임아웃을 규정한다. 설정된 타임아웃에 도달하면 머지 연산은 종료되고, 그 이벤트들은 전송된다. 이 이벤트들은 다른 쓰레드(thread)를 통해 전송되므로 이벤트 순서(event order)가 보장되지 않음을 주의해야 한다.
merge[{mergeindex}].id.tokens
이벤트들을 그룹핑하기 위해 사용될 토큰 리스트를 규정한다. 본 프로퍼티는 필수이다.
merge[{mergeindex}].id.delimiter
상기 리스트에 대해 사용할 임의의 딜리미터(delimiter)를 규정하며, 만일 딜리미터가 규정되지 않는다면, 딜리미터는 콤마(,)이다.
merge[{mergeindex}].sendpartialevents
이러한 프로퍼티는 선택가능한 것이고 디폴트에 의해 거짓(false)으로 설정된다. 기본적으로 머지 연산 내의 각 이벤트는 다른 이벤트들과 머징되어(merged) 있으므로, 각 이벤트를 개별적으로 전송해야 하는지 여부를 지정한다.
merge[{mergeindex}].capacity
이러한 프로퍼티는 선택가능한 것이고 디폴트에 의해 1000으로 설정된다. 이벤트 머징 연산(event merging operation)은 머징된 결과를 보관하는 이벤트들의 캐시(cache)를 필요로 한다. 캐시의 용량을 규정하고, 만일 캐시가 오버플로우된다면 이벤트들을 전송하고, 에러를 기록한다.
본 명세서에서 "하나의 실시예" 또는 "일 실시예"로 언급한 것은 그 실시예에 관한여 설명된 특정한 형태, 구조, 또는 특징이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 본 명세서의 여러 장소에서의 "하나의 실시예 내"의 용어는 반드시 동일 실시예에 관련한 모든 것은 아니다.
상술한 어떤 부분은 컴퓨터 메모리 내 데이터 비트 상에서의 연산 알고리즘 및 기호 표시의 용어로 나타내고 있다. 이들 알고리즘 설명 및 표시는 데이터 처리 기술(data processing art)에 숙련된 당업자들에 의해 사용되는 수단이어서, 그 기술에 숙련된 자들에게 작업의 내용을 가장 효과적으로 전달한다. 여기서, 알고리즘은 원하는 결과에 이르는 단계(명령)들의 일관성있는 배열로 이해된다. 상기 단계는 물리적인 양에 대해 물리적인 조작을 필요로 하는 단계이다. 통상적으로, 필수 적이지는 않지만, 이들 양은 저장, 전송, 결합, 비교될 수 있거나 그 밖의 조작될 수 있는 전기적, 자기적 또는 광학적 신호의 형태를 취한다. 주로 통용적인 사용의 이유 때문에 이들 신호를 비트(bit), 값(value), 요소(element), 기호(symbol), 문자(character), 용어(term), 수(number) 등으로 참조하는 것이 때로는 편리하다. 또한, 일반성을 잃지 않도록, 모듈 또는 코드 디바이스와 같은 물리적인 양에 대해 물리적인 조작을 필요로 하는 일정한 배열을 참조하는 것도 때로는 편리하다.
그러나, 이들 용어 및 유사한 용어들 모두는 고유의 물리량과 관련되어 있으며, 단지 이들 물리량에 적용되는 편리한 라벨(label)이라는 점을 유념해야 한다. 다음의 논의로부터 명백한 바와 같이 특별히 언급되지 않는 경우에는, 본 명세서를 통해, "처리", "컴퓨팅", "계산", "결정", "표시", "결정" 등과 같은 용어를 사용한 논의는 컴퓨터 시스템 메모리 또는 레지스터 또는 다른 정보저장소, 전송 또는 디스플레이 디바이스 내부의 물리(전자)량으로 표현되는 데이터를 조작 및 변환시키는, 컴퓨터 시스템, 또는 이와 유사한 전자 컴퓨팅 디바이스의 액션 및 프로세스를 참조한다.
본 발명의 어떤 관점은 본 명세서에서 알고리즘의 형태로 설명한 처리 단계 및 명령을 포함한다. 본 발명의 처리 단계 및 명령은 소프트웨어, 펌웨어 또는 하드웨어 내에서 구체화될 수 있고, 다운로드되어 상주할 수 있으며, 다양한 오퍼레이팅 시스템에 의해 사용되는 별개의 플랫폼으로부터 동작될 수 있다.
또한, 본 발명은 연산을 수행하는 장치에 관한 것이다. 이러한 장치는 특별히 필요로하는 목적을 위해 구성될 수 있고, 또는 선택적으로 활성화되거나, 컴퓨 터 내에 저장된 컴퓨터 프로그램에 의해 재구성된 일반 목적의 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 플로피 디스크, 광 디스크, CD-롬, 광자기 디스크, 읽기 전용 메모리(ROM), 랜덤 억세스 메모리(RAMs), EPROMs, EEPROMs, 자기 또는 광 카드, 주문형 집적 회로(ASIC)를 포함하는 임의 타입의 디스크, 또는 전자 명령을 저장하기에 적합하고 컴퓨터 시스템 버스에 각각 결합된 임의 타입의 매체와 같은, 컴퓨터 판독가능한 저장 매체에 저장될 수 있으며, 이에 한정되는 것은 아니다. 또한, 본 명세서 내에 참조된 컴퓨터는 단일 프로세서를 포함할 수 있고, 또는 향상된 컴퓨팅 능력의 다중 프로세서 디자인을 채용한 아키텍처(architecture)일 수 있다.
본 명세서에서 제안된 알고리즘 및 디스플레이는 본질적으로 어떤 특정 컴퓨터 또는 다른 장치에 관한 것이 아니다. 본 명세서에서 지시한 바에 따른 프로그램을 갖는 다양한 일반 목적의 시스템도 사용될 수 있고, 또한, 필요한 방법의 단계들을 수행하기 위해 더욱 특수화된 장치를 구성하여 편리함을 증명할 수 있다. 이러한 다양한 시스템들에 관한 소정 구조가 아래의 설명으로부터 나타날 것이다. 또한, 본 발명은 어떤 특정한 프로그래밍 언어를 참조하여 설명하지 않는다. 여러가지 프로그래밍 언어들이 본 명세서에 설명된 것과 같은, 본 발명의 지시하는 바를 실행하기 위해 사용될 수 있고, 이하의 구체적인 언어들에 대한 참조가 본 발명의 지원(enablement) 및 최선의 방식을 위해 제공된다.
바람직한 실시예 및 몇몇 선택적인 실시예들을 참조하여 본 발명을 구체적으로 나타내고 설명하였지만, 본 발명의 사상 및 범위로부터 일탈하지 않는 범위 내 에서의 형태 및 세부의 다양한 변형이 이루어질 수 있음은 당업자에게 자명할 것이다.
마지막으로, 본 명세서 내에 사용된 언어는 주로 판독성과 안내의 목적으로 선택된 것이고, 본 발명의 청구하고자 하는 내용을 묘사하거나 기술하기 위해 선택된 것은 아니다. 따라서, 본 발명의 개시된 내용은 설명을 의도로 하는 것일 뿐이고, 첨부된 특허청구범위에 나타낸 본 발명의 범위를 한정하는 것은 아니다.

Claims (19)

  1. 데이터 처리 시스템에 의해 수신된 복수의 로그 엔트리(log entry)를 머징(merging)하는 방법으로서,
    복수의 로그 엔트리를 수신하는 단계;
    각각의 수신된 로그 엔트리에 대해,
    머지 프로퍼티(merge property)에 따라, 상기 로그 엔트리가 임의 잠재 머지 이벤트(potential merged event)에 대해 공통인 ID를 포함하는지 여부를 판단하는 단계;
    상기 머지 프로퍼티에 따라, 상기 로그 엔트리가 머지 이벤트의 개시 로그 엔트리(beginning log entry)인 경우 신규 머지 이벤트를 시작하는 단계; 및
    상기 머지 프로퍼티에 따라, 상기 로그 엔트리가 기존 머지 이벤트의 종료 로그 엔트리(ending log entry)인 경우 기존 머지 이벤트를 종료하는 단계; 및
    상기 머지 이벤트용의 맵핑 프로퍼티(mapping property)에 따라, 기존 머지 이벤트에 대해 공통인 ID를 포함하는 각 로그 엔트리를 그 머지 이벤트에 맵핑하는 단계를 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  2. 제 1 항에 있어서,
    상기 그 머지 이벤트용의 상기 머지 프로퍼티에서 규정된 대로 타임아웃(timeout)이 발생한 경우에도 기존 머지 이벤트를 종료하는 단계를 더 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  3. 제 2 항에 있어서,
    상기 그 머지 이벤트의 개시를 나타내는 로그 엔트리를 식별하는 단계를 더 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  4. 제 2 항에 있어서,
    상기 머지 이벤트의 종료를 나타내는 로그 엔트리를 식별하는 단계를 더 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  5. 제 2 항에 있어서,
    상기 머지 이벤트의 개시도 종료도 포함하지 않는 로그 엔트리를 식별하는 단계를 더 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  6. 제 2 항에 있어서,
    신규 엔트리의 토큰을 머징할 때 상기 머지 이벤트가 그대로 존재하는 것으로 상정하는 능력(ability)을 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  7. 제 6 항에 있어서,
    상기 능력은 맵핑 연산(mapping operation)에서 사용되는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  8. 제 1 항에 있어서,
    각 수신된 로그 엔트리가 상기 머지 프로퍼티에 따른 머징의 대상으로 고려될 것인지 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  9. 제 1 항에 있어서,
    로그 엔트리를 머지 이벤트에 맵핑하는 단계는, 상기 머지 이벤트의 시간을 판단하는 단계를 더 포함하며,
    상기 시간은 상기 머지 이벤트에 대한 개시 로그 이벤트(beginning log event)의 시간인 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  10. 제 1 항에 있어서,
    로그 엔트리를 머지 이벤트에 맵핑하는 단계는, 상기 머지 이벤트의 시간을 판단하는 단계를 더 포함하며,
    상기 시간은 상기 머지 이벤트에 대한 종료 로그 이벤트(ending log event)의 시간인 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  11. 제 1 항에 있어서,
    로그 엔트리를 머지 이벤트에 맵핑하는 단계는, 상기 맵핑 프로퍼티에 따라 이벤트 ID를 맵핑하는 단계를 더 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  12. 제 1 항에 있어서,
    로그 엔트리를 머지 이벤트에 맵핑하는 단계는, 상기 맵핑 프로퍼티에 따라 이벤트 네임(event name)을 맵핑하는 단계를 더 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  13. 제 1 항에 있어서,
    로그 엔트리를 머지 이벤트에 맵핑하는 단계는, 상기 로그 엔트리로부터 파싱된 네임(name)을 맵핑하는 단계를 더 포함하며,
    상기 맵핑은 상기 맵핑 프로퍼티 내의 원오브 함수(oneOf function)에 따라 수행되는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  14. 제 1 항에 있어서,
    로그 엔트리를 머지 이벤트에 맵핑하는 단계는, 상기 맵핑 프로퍼티에 따라 디바이스 액션(device action)을 맵핑하는 단계를 더 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  15. 제 1 항에 있어서,
    상기 수신된 로그 엔트리는, 함께 혼합된 하나 이상의 머지 이벤트에 대응하는 로그 엔트리를 포함하는 것을 특징으로 복수의 로그 엔트리를 머징하는 방법.
  16. 제 1 항에 있어서,
    하나의 수신된 로그 엔트리는, 하나 이상의 머지 이벤트를 생성하기 위해 사용되는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  17. 제 1 항에 있어서,
    ID는 상기 로그 엔트리 내에 복수의 필드(multiple field)를 포함하며,
    상기 복수의 필드는 머지 이벤트에 기여하는 로그 엔트리를 식별하도록 작용하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 방법.
  18. 데이터 처리 시스템에 의해 수신된 복수의 로그 엔트리를 머징하는 시스템으로서,
    복수의 로그 엔트리를 수신하는 모듈(module);
    상기 로그 엔트리를 파싱하여 토큰처리하는 파서(parser);
    각각의 수신된 로그 엔트리에 대해,
    머지 프로퍼티(merge property)에 따라 상기 로그 엔트리가 임의의 잠재 머지 이벤트(potential merged event)에 대해 공통된 ID를 포함하는지 여부를 판단하고,
    상기 머지 프로퍼티에 따라 상기 로그 엔트리가 머지 이벤트의 개시 로그 엔트리(beginning log entry)인 경우 신규 머지 이벤트를 시작하며, 또한
    상기 머지 프로퍼티에 따라 상기 로그 엔트리가 기존 머지 이벤트의 종료 로그 엔트리(ending log entry)인 경우 기존 머지 이벤트를 종료하는 그룹퍼(grouper); 및
    상기 머지 이벤트용의 맵핑 프로퍼티(mapping property)에 따라 기존 머지 이벤트에 대해 공통인 ID를 포함하는 각 로그 엔트리를 그 머지 이벤트에 맵핑하는 맵퍼(mapper)를 포함하는 것을 특징으로 하는 복수의 로그 엔트리를 머징하는 시스템.
  19. 복수의 로그 엔트리를 수신하는 단계;
    각각의 수신된 로그 엔트리에 대해,
    머지 프로퍼티(merge property)에 따라 상기 로그 엔트리가 임의의 잠재 머지 이벤트(potential merged event)에 대해 공통인 ID를 포함하는지 여부를 판단하는 단계;
    상기 머지 프로퍼티에 따라 상기 로그 엔트리가 머지 이벤트의 개시 로그 엔트리(beginning log entry)인 경우 신규 머지 이벤트를 시작하는 단계; 및
    상기 머지 프로퍼티에 따라 상기 로그 엔트리가 기존 머지 이벤트의 종료 로그 엔트리(ending log entry)인 경우 기존 머지 이벤트를 종료하는 단계; 및
    상기 머지 이벤트에 대한 맵핑 프로퍼티(mapping property)에 따라 기존 머지 이벤트에 대해 공통인 ID를 포함하는 각 로그 엔트리를 그 머지 이벤트에 맵핑하는 단계를 포함하는 방법을 컴퓨터가 수행하도록 하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020087026598A 2006-04-05 2007-04-03 멀티-라인 로그 엔트리의 머징 KR100943012B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/398,863 US7437359B2 (en) 2006-04-05 2006-04-05 Merging multiple log entries in accordance with merge properties and mapping properties
US11/398,863 2006-04-05

Publications (2)

Publication Number Publication Date
KR20090006141A KR20090006141A (ko) 2009-01-14
KR100943012B1 true KR100943012B1 (ko) 2010-02-18

Family

ID=38581801

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087026598A KR100943012B1 (ko) 2006-04-05 2007-04-03 멀티-라인 로그 엔트리의 머징

Country Status (11)

Country Link
US (1) US7437359B2 (ko)
EP (1) EP2011013B1 (ko)
JP (2) JP2009532811A (ko)
KR (1) KR100943012B1 (ko)
AU (1) AU2007234897B2 (ko)
CA (1) CA2644208A1 (ko)
IL (1) IL194190A (ko)
NZ (1) NZ570866A (ko)
RU (1) RU2419986C2 (ko)
TW (1) TWI312624B (ko)
WO (1) WO2007118096A2 (ko)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650638B1 (en) 2002-12-02 2010-01-19 Arcsight, Inc. Network security monitoring system employing bi-directional communication
US7899901B1 (en) 2002-12-02 2011-03-01 Arcsight, Inc. Method and apparatus for exercising and debugging correlations for network security system
US7607169B1 (en) 2002-12-02 2009-10-20 Arcsight, Inc. User interface for network security console
US8176527B1 (en) 2002-12-02 2012-05-08 Hewlett-Packard Development Company, L. P. Correlation engine with support for time-based rules
US7219239B1 (en) 2002-12-02 2007-05-15 Arcsight, Inc. Method for batching events for transmission by software agent
US7376969B1 (en) 2002-12-02 2008-05-20 Arcsight, Inc. Real time monitoring and analysis of events from multiple network security devices
US7788722B1 (en) 2002-12-02 2010-08-31 Arcsight, Inc. Modular agent for network security intrusion detection system
US7260844B1 (en) 2003-09-03 2007-08-21 Arcsight, Inc. Threat detection in a network security system
US8015604B1 (en) 2003-10-10 2011-09-06 Arcsight Inc Hierarchical architecture in a network security system
US9027120B1 (en) 2003-10-10 2015-05-05 Hewlett-Packard Development Company, L.P. Hierarchical architecture in a network security system
US7565696B1 (en) 2003-12-10 2009-07-21 Arcsight, Inc. Synchronizing network security devices within a network security system
US8528077B1 (en) 2004-04-09 2013-09-03 Hewlett-Packard Development Company, L.P. Comparing events from multiple network security devices
US7509677B2 (en) 2004-05-04 2009-03-24 Arcsight, Inc. Pattern discovery in a network security system
US9100422B1 (en) 2004-10-27 2015-08-04 Hewlett-Packard Development Company, L.P. Network zone identification in a network security system
US7644438B1 (en) 2004-10-27 2010-01-05 Arcsight, Inc. Security event aggregation at software agent
US7809131B1 (en) 2004-12-23 2010-10-05 Arcsight, Inc. Adjusting sensor time in a network security system
US7647632B1 (en) 2005-01-04 2010-01-12 Arcsight, Inc. Object reference in a system
US8850565B2 (en) 2005-01-10 2014-09-30 Hewlett-Packard Development Company, L.P. System and method for coordinating network incident response activities
US7844999B1 (en) 2005-03-01 2010-11-30 Arcsight, Inc. Message parsing in a network security system
US9824107B2 (en) * 2006-10-25 2017-11-21 Entit Software Llc Tracking changing state data to assist in computer network security
US7770183B2 (en) * 2007-01-30 2010-08-03 Microsoft Corporation Indirect event stream correlation
US8260751B2 (en) 2008-08-12 2012-09-04 Tdi Technologies, Inc. Log file time sequence stamping
EP2340476A4 (en) 2008-09-05 2012-05-09 Arcsight Inc EFFECTIVE STORAGE OF LOG DATA WHILE SUPPORTING AN INTERROGATION
KR101106922B1 (ko) * 2009-08-17 2012-01-25 한태환 외장재의 교체가 용이한 기둥구조체
US8782612B2 (en) 2010-05-11 2014-07-15 Ca, Inc. Failsafe mechanism for dynamic instrumentation of software using callbacks
KR101132911B1 (ko) 2010-09-29 2012-04-03 한국전력공사 참조데이터사전을 이용한 멀티플 아이디 할당시스템 및 방법
US8842119B2 (en) 2010-11-17 2014-09-23 Hewlett-Packard Development Company, L.P. Displaying system performance information
US8661456B2 (en) 2011-06-01 2014-02-25 Hewlett-Packard Development Company, L.P. Extendable event processing through services
US8935676B2 (en) * 2011-08-07 2015-01-13 Hewlett-Packard Development Company, L.P. Automated test failure troubleshooter
US8752015B2 (en) * 2011-12-05 2014-06-10 Ca, Inc. Metadata merging in agent configuration files
US9411616B2 (en) 2011-12-09 2016-08-09 Ca, Inc. Classloader/instrumentation approach for invoking non-bound libraries
US9021484B2 (en) * 2012-06-21 2015-04-28 International Business Machines Corporation Migrated application performance comparisons using log mapping
US8620928B1 (en) 2012-07-16 2013-12-31 International Business Machines Corporation Automatically generating a log parser given a sample log
US10097788B2 (en) * 2012-12-31 2018-10-09 DISH Technologies L.L.C. Intelligent recording
US9361204B2 (en) * 2013-02-19 2016-06-07 Arm Limited Generating trace data including a lockup identifier indicating occurrence of a lockup state
WO2014207632A1 (en) * 2013-06-28 2014-12-31 Koninklijke Philips N.V. Logging device and log aggregation device
GB2521364A (en) 2013-12-17 2015-06-24 Ibm Recording GUI data
US10367827B2 (en) 2013-12-19 2019-07-30 Splunk Inc. Using network locations obtained from multiple threat lists to evaluate network data or machine data
US20160048529A1 (en) * 2014-08-13 2016-02-18 Netapp Inc. Coalescing storage operations
JP6295176B2 (ja) * 2014-10-07 2018-03-14 株式会社日立製作所 メッセージ処理装置およびメッセージ処理方法
WO2016129093A1 (ja) 2015-02-13 2016-08-18 三菱電機株式会社 ログトレース装置及びログトレースプログラム
CN106708711B (zh) * 2015-11-17 2020-01-31 阿里巴巴集团控股有限公司 一种日志信息输出控制方法及装置
US10509778B2 (en) * 2016-05-25 2019-12-17 Google Llc Real-time transactionally consistent change notifications
US10678802B2 (en) 2016-06-15 2020-06-09 International Business Machines Corporation Log management utilizing time context indexing
JP7047661B2 (ja) * 2018-08-09 2022-04-05 日本電信電話株式会社 ログ情報収集装置およびログ情報収集方法
CN113227996A (zh) * 2018-12-04 2021-08-06 区块链联合香港有限公司 处理时间记录的方法和装置
JP7175730B2 (ja) * 2018-12-05 2022-11-21 株式会社ソニー・インタラクティブエンタテインメント 信号処理装置、電子機器、センサ装置、信号処理方法およびプログラム
US11436122B1 (en) * 2019-05-13 2022-09-06 Cisco Technology, Inc. Key performance indicator recommendations based on relevancy ranking
US10984111B2 (en) * 2019-05-30 2021-04-20 EMC IP Holding Company LLC Data driven parser selection for parsing event logs to detect security threats in an enterprise system
CN112000698B (zh) * 2020-08-25 2023-09-19 青岛海尔科技有限公司 日志的记录方法及装置、存储介质、电子装置
US11620264B2 (en) * 2021-08-27 2023-04-04 Rohde & Schwarz Gmbh & Co. Kg Log file processing apparatus and method for processing log file data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050235318A1 (en) * 1997-01-06 2005-10-20 Grauch Edward R Method and system for tracking network use
US20050243366A1 (en) * 2004-04-28 2005-11-03 Canon Kabushiki Kaisha Job information managing system, job information managing method, program for implementing the method, and storage medium storing the program

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717919A (en) 1995-10-02 1998-02-10 Sybase, Inc. Database system with methods for appending data records by partitioning an object into multiple page chains
US6192034B1 (en) 1997-06-30 2001-02-20 Sterling Commerce, Inc. System and method for network integrity management
US6408391B1 (en) * 1998-05-06 2002-06-18 Prc Inc. Dynamic system defense for information warfare
JPH11327967A (ja) * 1998-05-18 1999-11-30 Mitsubishi Electric Corp ログファイル解析装置
US6134664A (en) * 1998-07-06 2000-10-17 Prc Inc. Method and system for reducing the volume of audit data and normalizing the audit data received from heterogeneous sources
US6408404B1 (en) * 1998-07-29 2002-06-18 Northrop Grumman Corporation System and method for ensuring and managing situation awareness
US6321338B1 (en) 1998-11-09 2001-11-20 Sri International Network surveillance
JP2000181565A (ja) * 1998-12-18 2000-06-30 Fujitsu Ltd メッセージの表示装置、方法およびそのための記録媒体とメッセージの監視システム
US6839850B1 (en) * 1999-03-04 2005-01-04 Prc, Inc. Method and system for detecting intrusion into and misuse of a data processing system
IL130893A (en) 1999-07-12 2003-12-10 Ectel Ltd Method and system for creating integrated call detail records (cdr) databases in management systems of telecommunications networks
US6792458B1 (en) 1999-10-04 2004-09-14 Urchin Software Corporation System and method for monitoring and analyzing internet traffic
US6714978B1 (en) * 1999-12-04 2004-03-30 Worldcom, Inc. Method and system for processing records in a communications network
US6694362B1 (en) 2000-01-03 2004-02-17 Micromuse Inc. Method and system for network event impact analysis and correlation with network administrators, management policies and procedures
WO2001084775A2 (en) * 2000-04-28 2001-11-08 Internet Security Systems, Inc. System and method for managing security events on a network
JP4700884B2 (ja) * 2000-04-28 2011-06-15 インターナショナル・ビジネス・マシーンズ・コーポレーション コンピュータのセキュリティ情報を管理するための方法およびシステム
US7383191B1 (en) 2000-11-28 2008-06-03 International Business Machines Corporation Method and system for predicting causes of network service outages using time domain correlation
US7168093B2 (en) 2001-01-25 2007-01-23 Solutionary, Inc. Method and apparatus for verifying the integrity and security of computer networks and implementation of counter measures
US20020147803A1 (en) * 2001-01-31 2002-10-10 Dodd Timothy David Method and system for calculating risk in association with a security audit of a computer network
US6966015B2 (en) 2001-03-22 2005-11-15 Micromuse, Ltd. Method and system for reducing false alarms in network fault management systems
WO2002097587A2 (en) * 2001-05-31 2002-12-05 Internet Security Systems, Inc. Method and system for implementing security devices in a network
US7043727B2 (en) 2001-06-08 2006-05-09 Micromuse Ltd. Method and system for efficient distribution of network event data
US7516208B1 (en) 2001-07-20 2009-04-07 International Business Machines Corporation Event database management method and system for network event reporting system
US7379993B2 (en) 2001-09-13 2008-05-27 Sri International Prioritizing Bayes network alerts
US20030093692A1 (en) 2001-11-13 2003-05-15 Porras Phillip A. Global deployment of host-based intrusion sensors
US7143444B2 (en) 2001-11-28 2006-11-28 Sri International Application-layer anomaly and misuse detection
US7171689B2 (en) * 2002-02-25 2007-01-30 Symantec Corporation System and method for tracking and filtering alerts in an enterprise and generating alert indications for analysis
US20030221123A1 (en) * 2002-02-26 2003-11-27 Beavers John B. System and method for managing alert indications in an enterprise
US20030188189A1 (en) * 2002-03-27 2003-10-02 Desai Anish P. Multi-level and multi-platform intrusion detection and response system
JP4485112B2 (ja) * 2002-03-28 2010-06-16 株式会社日立製作所 ログデータの収集管理方法および装置
JP2003308229A (ja) * 2002-04-17 2003-10-31 Nippon Telegr & Teleph Corp <Ntt> 時系列イベント記録解析方法及び装置並びにプログラム及び記録媒体
US8463617B2 (en) * 2002-06-03 2013-06-11 Hewlett-Packard Development Company, L.P. Network subscriber usage recording system
US20040024864A1 (en) 2002-07-31 2004-02-05 Porras Phillip Andrew User, process, and application tracking in an intrusion detection system
EP1535164B1 (en) 2002-08-26 2012-01-04 International Business Machines Corporation Determining threat level associated with network activity
EP1577783A4 (en) * 2002-12-26 2008-04-16 Fujitsu Ltd OPERATIONAL MANAGEMENT PROCESS AND OPERATION MANAGEMENT SERVER
US7002405B2 (en) 2003-02-14 2006-02-21 Broadcom Corporation Linear low noise transconductance cell
US8694475B2 (en) * 2004-04-03 2014-04-08 Altusys Corp. Method and apparatus for situation-based management
US7380173B2 (en) * 2004-08-03 2008-05-27 International Business Machines Corporation Identifying temporal ambiguity in a aggregated log stream
US7882262B2 (en) * 2005-08-18 2011-02-01 Cisco Technology, Inc. Method and system for inline top N query computation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050235318A1 (en) * 1997-01-06 2005-10-20 Grauch Edward R Method and system for tracking network use
US20050243366A1 (en) * 2004-04-28 2005-11-03 Canon Kabushiki Kaisha Job information managing system, job information managing method, program for implementing the method, and storage medium storing the program

Also Published As

Publication number Publication date
JP2009532811A (ja) 2009-09-10
EP2011013A4 (en) 2011-05-11
WO2007118096A2 (en) 2007-10-18
AU2007234897B2 (en) 2009-09-03
WO2007118096A3 (en) 2008-09-25
US7437359B2 (en) 2008-10-14
TW200818773A (en) 2008-04-16
EP2011013B1 (en) 2018-06-06
JP2012094161A (ja) 2012-05-17
KR20090006141A (ko) 2009-01-14
TWI312624B (en) 2009-07-21
JP5364776B2 (ja) 2013-12-11
IL194190A (en) 2012-04-30
CA2644208A1 (en) 2007-10-18
US20070260931A1 (en) 2007-11-08
NZ570866A (en) 2010-08-27
AU2007234897A1 (en) 2007-10-18
EP2011013A2 (en) 2009-01-07
RU2008143372A (ru) 2010-05-10
RU2419986C2 (ru) 2011-05-27

Similar Documents

Publication Publication Date Title
KR100943012B1 (ko) 멀티-라인 로그 엔트리의 머징
CN111694840B (zh) 数据同步方法、装置、服务器及存储介质
US11061756B2 (en) Enabling symptom verification
US9389943B2 (en) Determining a number of unique incidents in a plurality of incidents for incident processing in a distributed processing system
CN108566290A (zh) 服务配置管理方法、系统、存储介质和服务器
KR20060094861A (ko) 원격 디버깅 동작을 용이하게 하는 시스템 및 방법
GB2419203A (en) A system event log with additional event records
CN105204968B (zh) 一种故障内存检测方法和装置
US10963458B2 (en) Federated chatbots
CN110019001A (zh) 提升消息中间件消息追踪能力的方法、系统和监控模块
US10775751B2 (en) Automatic generation of regular expression based on log line data
CN110928717A (zh) 一种复杂时序事件检测方法及装置
CN109273045A (zh) 存储设备在线检测方法、装置、设备及可读存储介质
CN110554929B (zh) 数据校验方法、装置、计算机设备及存储介质
CN116743619B (zh) 网络服务的测试方法、装置、设备及存储介质
US7653742B1 (en) Defining and detecting network application business activities
CN111176987A (zh) 前端日志统一输出的方法、装置、计算机设备及存储介质
CN114553663B (zh) 一种异常检测方法、装置、设备和存储介质
US20230336444A1 (en) Method and Apparatus for Determining Application Service Dependency and Processor
US11423797B2 (en) Annotate a passage to graphically displays locations and types of mistakes
CN117573409A (zh) 一种车零部件的日志记录方法、装置及存储介质
CN110865892A (zh) 一种调用接口的检测方法、装置、存储介质及电子设备
CN117873818A (zh) 生成信息的方法、装置、电子设备及计算机可读介质
CN117896119A (en) Information acquisition method and system, data processing equipment and storage medium
KR20080000710U (ko) 로그 메시지 실시간 감시 및 제어 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150202

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160201

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee