KR102041545B1 - Event monitoring method based on event prediction using deep learning model, Event monitoring system and Computer program for the same - Google Patents

Event monitoring method based on event prediction using deep learning model, Event monitoring system and Computer program for the same Download PDF

Info

Publication number
KR102041545B1
KR102041545B1 KR1020190028595A KR20190028595A KR102041545B1 KR 102041545 B1 KR102041545 B1 KR 102041545B1 KR 1020190028595 A KR1020190028595 A KR 1020190028595A KR 20190028595 A KR20190028595 A KR 20190028595A KR 102041545 B1 KR102041545 B1 KR 102041545B1
Authority
KR
South Korea
Prior art keywords
event
information
individual
deep learning
main
Prior art date
Application number
KR1020190028595A
Other languages
Korean (ko)
Inventor
김수정
정해운
오윤석
현우성
Original Assignee
주식회사 위엠비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위엠비 filed Critical 주식회사 위엠비
Priority to KR1020190028595A priority Critical patent/KR102041545B1/en
Application granted granted Critical
Publication of KR102041545B1 publication Critical patent/KR102041545B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals

Abstract

The present invention relates to an event monitoring method, event monitoring system, and computer program based on event prediction using a deep learning model. According to an embodiment of the present invention, disclosed are an event monitoring method, event monitoring system, and computer program based on event prediction using a deep learning model, which are configured to select, by a plurality of object elements, a main event and a preceding event temporally preceding the main event based on a criterion predetermined from a work system combined based on hierarchical relationship, learn a deep learning model using the selected events, and predict and determine the main event by inputting a plurality of pieces of event information generated in a real-time monitoring process into the deep learning model.

Description

딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법, 이벤트 모니터링 시스템 및 컴퓨터 프로그램 {Event monitoring method based on event prediction using deep learning model, Event monitoring system and Computer program for the same}Event monitoring method based on event prediction using deep learning model, Event monitoring system and computer program for the same}

본 발명은 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법, 이벤트 모니터링 시스템 및 컴퓨터 프로그램에 관한 것으로서, 상세하게는 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성된 업무 시스템으로부터 미리 설정된 기준에 기초하여 주요 이벤트와 이에 시간적으로 선행하는 선행 이벤트를 선별하고, 선별된 이벤트를 이용하여 딥러닝(Deep Learning) 모델을 학습시키며, 실시간 모니터링 과정에서 발생하는 복수의 이벤트 정보를 딥러닝 모델에 입력하여 주요 이벤트의 예측 판단이 가능하도록 구성된 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법, 이벤트 모니터링 시스템 및 컴퓨터 프로그램에 관한 것이다.The present invention relates to an event monitoring method, an event monitoring system, and a computer program based on event prediction using a deep learning model. In detail, a plurality of object elements are combined based on a hierarchical relationship to pre-set criteria from a work system. Based on the main events and the preceding events in time, the deep learning model is trained using the selected events, and the event information generated in the real-time monitoring process is input to the deep learning model. The present invention relates to an event monitoring method, an event monitoring system, and a computer program based on an event prediction using a deep learning model configured to predict a major event.

IT 서비스(업무)는 다양한 IT 인프라(예, 서버/네트워크/스토리지 등)와 IT 애플리케이션(예, WAS/WEB/DBMS/기타 애플리케이션 등)이 결합되어 구성된 업무 시스템을 통해 사용자에게 제공된다. IT services (tasks) are provided to users through business systems that combine various IT infrastructures (eg servers / networks / storages) and IT applications (eg WAS / WEB / DBMS / other applications, etc.).

업무 시스템을 구성하는 IT 인프라 또는 IT 애플리케이션은 복수의 객체 요소를 포함하며, 이러한 각각의 객체 요소들은 계층적 연관 관계에 기초하여 결합 구성된다. The IT infrastructure or IT applications that make up a business system include a plurality of object elements, each of which is combined based on a hierarchical relationship.

도 11은 업무 시스템의 이벤트 발생 구조를 설명하기 위한 모식도로서, 업무 시스템에서 제공하는 서비스(업무)와 시스템의 물리적 구성요소 및/또는 논리적 구성요소의 상호 연관관계를 예시한다. FIG. 11 is a schematic diagram illustrating an event occurrence structure of a work system and illustrates a correlation between a service (work) provided by the work system and a physical component and / or a logical component of the system.

도 11을 참조하면, 하나의 서비스는 하나 이상의 단위 업무로 구성되며, 각각의 단위 업무는 서버/스토리지 등의 물리 요소에 포함된 다양한 물리적 객체 요소들과 WEB/WAS/DB 등의 논리 요소에 포함된 다양한 논리적 객체 요소들의 기능이 복합적으로 연계되어 제공된다. Referring to FIG. 11, one service is composed of one or more unit tasks, and each unit task is included in various physical object elements included in physical elements such as server / storage and logical elements such as WEB / WAS / DB. The functions of various logical object elements are provided in combination.

일예로, CPU, 메모리 등과 같은 시스템의 물리적 기능 요소에서는, CPU 또는 메모리의 가용성 대비 과부하 발생 시 업무 시스템의 다른 기능 요소에 영향을 미칠 수 있으며 결과적으로 시스템 장애를 야기할 수 있다. For example, in a physical functional element of a system such as CPU, memory, etc., overloading of CPU or memory availability may affect other functional elements of the work system and result in system failure.

다른예로, 프로세스, 세션, 로그 등과 같은 시스템의 논리적 기능 요소에서는, 프로세스 처리 중에 다운이 발생하거나 세션 처리 중에 에러 발생 시 업무 시스템의 다른 기능 요소에 영향을 미칠 수 있으며 결과적으로 시스템 장애를 야기할 수 있다. As another example, in a logical functional element of a system such as a process, session, log, etc., if a crash occurs during process processing or an error occurs during session processing, it may affect other functional elements of the business system and consequently cause system failure. Can be.

도 12는 업무 시스템의 이벤트 발생 구조를 설명하기 위한 모식도로서, 업무 시스템을 구성하는 객체 요소별로 발생하는 개별 이벤트와 2 이상의 개별 이벤트가 연관 관계 또는 상호 작용에 의해 발생시키는 복합 이벤트를 예시한다. FIG. 12 is a schematic diagram illustrating an event occurrence structure of a work system, and illustrates an individual event occurring for each object element constituting the work system and a composite event generated by an association or interaction of two or more individual events.

그런데, 종래에는 업무 시스템의 장애 위험성을 모니터링 하기 위해 객체 요소별로 발생하는 개별 이벤트를 통해 감지하는 것이 일반적이었다. However, in the related art, in order to monitor the risk of failure of a business system, it was common to detect through individual events occurring for each object element.

그러나, 업무 시스템에 치명적인 위험을 야기할 수 있는 주요 이벤트(critical 또는 major 레벨의 이벤트)는 하나의 객체 요소에 기인한 하나의 개별 이벤트에 의해 발생할 수도 있지만, 2 이상의 객체 요소에 기인한 2 이상의 개별 이벤트가 물리적 또는 논리적인 상호 작용 또는 연관 관계를 통해 발생하는 경우도 많아 개별 이벤트의 모니터링만에 의해서는 주요 이벤트의 예측에 한계가 있었다. However, a major event (critical or major level event) that may pose a critical risk to a business system may be caused by one individual event due to one object element, but two or more individuals due to two or more object elements Since events often occur through physical or logical interactions or associations, monitoring of individual events has limited the prediction of major events.

대한민국 등록특허 10-1648272 (2016년08월08일 등록)Republic of Korea Patent Registration 10-1648272 (registered 08/08/2016) 대한민국 등록특허 10-1637458 (2016년07월01일 등록)Republic of Korea Patent Registration 10-1637458 (July 01, 2016 registration) 대한민국 등록특허 10-1919076 (2018년11월09일 등록)Republic of Korea Patent Registration 10-1919076 (November 09, 2018 registration) 대한민국 등록특허 10-1917006 (2018년11월02일 등록)Republic of Korea Patent Registration 10-1917006 (November 2, 2018 registration)

본 발명은 상기와 같은 문제점을 감안하여 안출한 것으로서, 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성된 업무 시스템으로부터 미리 설정된 기준에 기초하여 주요 이벤트와 이에 시간적으로 선행하는 선행 이벤트를 선별하고, 선별된 이벤트를 이용하여 딥러닝(Deep Learning) 모델을 학습시키며, 실시간 모니터링 과정에서 발생하는 복수의 이벤트 정보를 딥러닝 모델에 입력하여 주요 이벤트의 예측 판단이 가능하도록 구성된 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법, 이벤트 모니터링 시스템 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다. SUMMARY OF THE INVENTION The present invention has been made in view of the above-described problems, and selects a main event and a preceding event in time based on a predetermined criterion from a work system in which a plurality of object elements are combined based on a hierarchical relationship. The deep learning model is trained using selected events, and the deep learning model is configured to input a plurality of event information generated during the real-time monitoring process into the deep learning model to predict and predict the major events. An object of the present invention is to provide a prediction based event monitoring method, an event monitoring system, and a computer program.

상기 목적을 감안한 본 발명의 일 측면에 따르면, 업무 시스템과 연동하는 모니터링 시스템에서 실행하는 이벤트 모니터링 방법으로서- 상기 업무 시스템은 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성되며 적어도 하나의 업무 서비스를 제공함-, 1) 상기 업무 시스템에서 발생하는 개별 이벤트의 이벤트 정보를 수득하고, 개별 이벤트의 발생 시간에 기초하여 상기 이벤트 정보를 시계열 데이터 형태로 저장하는 단계- 상기 이벤트 정보는 상기 개별 이벤트가 상기 계층적 연관 관계의 어느 객체 요소에서 발생한 것인지를 나타내는 객체 요소 정보와 상기 개별 이벤트의 심각도 상태에 따라 부여된 등급 정보를 포함함-; 2) 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 딥러닝(Deep Learning) 모델의 학습을 위한 주요 이벤트를 추출하는 단계; 3) 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 하나의 상기 주요 이벤트에 시간적으로 선행하는 적어도 하나 이상의 개별 이벤트를 하나의 상기 주요 이벤트에 대한 선행 이벤트로서 추출하는 단계; 4) 상기 선행 이벤트의 이벤트 정보를 입력 데이터로 하고 상기 주요 이벤트의 이벤트 정보를 출력 데이터로 하여 딥러닝 모델을 학습시키는 단계; 및 5) 업무 시스템에서 실시간으로 발생하는 개별 이벤트의 이벤트 정보를 딥러닝 모델의 입력 데이터로 하고 상기 딥러닝 모델의 출력 데이터로부터 주요 이벤트의 발생 가능성을 예측하는 단계;를 포함하여 구성된 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법이 개시된다. According to an aspect of the present invention in consideration of the above object, as an event monitoring method to be executed in a monitoring system interworking with a work system-the work system is a plurality of object elements are combined based on a hierarchical relationship and at least one task Providing a service; 1) obtaining event information of an individual event occurring in the work system, and storing the event information in the form of time series data based on an occurrence time of the individual event; Object element information indicating which object element of the hierarchical association has occurred and rating information assigned according to a severity state of the individual event; 2) extracting, from the time series data of the event information, a main event for learning a deep learning model based on a preset extraction criterion; 3) extracting, from the time series data of the event information, at least one or more individual events that temporally precede one of the main events based on preset extraction criteria as a preceding event for one of the main events; 4) training a deep learning model using event information of the preceding event as input data and event information of the main event as output data; And 5) using the event information of the individual events occurring in real time in the work system as input data of the deep learning model and predicting the likelihood of occurrence of a major event from the output data of the deep learning model. Disclosed is an event monitoring method based on event prediction.

본 발명의 또다른 일 측면에 따르면, 하나 이상의 명령을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고, 상기 프로세서는, 업무 시스템에서 발생하는 개별 이벤트의 이벤트 정보를 수득하고, 개별 이벤트의 발생 시간에 기초하여 상기 이벤트 정보를 시계열 데이터 형태로 저장하고- 상기 업무 시스템은 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성되고 적어도 하나의 업무 서비스를 제공하며, 상기 이벤트 정보는 상기 개별 이벤트가 상기 계층적 연관 관계의 어느 객체 요소에서 발생한 것인지를 나타내는 객체 요소 정보와 상기 개별 이벤트의 심각도 상태에 따라 부여된 등급 정보를 포함함-, 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 딥러닝(Deep Learning) 모델의 학습을 위한 주요 이벤트를 추출하며, 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 하나의 상기 주요 이벤트에 시간적으로 선행하는 적어도 하나 이상의 개별 이벤트를 하나의 상기 주요 이벤트에 대한 선행 이벤트로서 추출하고, 상기 선행 이벤트의 이벤트 정보를 입력 데이터로 하고 상기 주요 이벤트의 이벤트 정보를 출력 데이터로 하여 딥러닝 모델을 학습시키며, 업무 시스템에서 실시간으로 발생하는 개별 이벤트의 이벤트 정보를 딥러닝 모델의 입력 데이터로 하고 상기 딥러닝 모델의 출력 데이터로부터 주요 이벤트의 발생 가능성을 예측하는 것을 특징으로 하는 이벤트 모니터링 시스템이 개시된다. According to another aspect of the invention, a memory for storing one or more instructions; And a processor that executes the one or more instructions stored in the memory, wherein the processor obtains event information of individual events occurring in a business system and converts the event information into time series data form based on an occurrence time of the individual events. The business system is configured to provide a plurality of object elements in which a plurality of object elements are combined based on the hierarchical association and provide at least one business service, wherein the event information indicates that the individual event Object element information indicating whether an occurrence has occurred, and grade information assigned according to a severity state of the individual event; and, from the time series data of the event information, learning of a deep learning model is performed based on a predetermined extraction criterion. Extracts a major event for the event information From the series data, at least one or more individual events that temporally precede one of the main events based on preset extraction criteria are extracted as a preceding event for one of the main events, and event information of the preceding event is input data. And learn the deep learning model using the event information of the main event as output data, and use the event information of the individual event occurring in real time in the work system as the input data of the deep learning model and the main event from the output data of the deep learning model. Disclosed is an event monitoring system characterized by predicting the likelihood of occurrence.

본 발명의 또다른 일 측면에 따르면, 하드웨어와 결합되어 이벤트 모니터링 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램으로서, 상기 모니터링 방법은, 상기 업무 시스템에서 발생하는 개별 이벤트의 이벤트 정보를 수득하고, 개별 이벤트의 발생 시간에 기초하여 상기 이벤트 정보를 시계열 데이터 형태로 저장하는 단계- 상기 업무 시스템은 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성되고 적어도 하나의 업무 서비스를 제공하며, 상기 이벤트 정보는 상기 개별 이벤트가 상기 계층적 연관 관계의 어느 객체 요소에서 발생한 것인지를 나타내는 객체 요소 정보와 상기 개별 이벤트의 심각도 상태에 따라 부여된 등급 정보를 포함함-; 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 딥러닝(Deep Learning) 모델의 학습을 위한 주요 이벤트를 추출하는 단계; 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 하나의 상기 주요 이벤트에 시간적으로 선행하는 적어도 하나 이상의 개별 이벤트를 하나의 상기 주요 이벤트에 대한 선행 이벤트로서 추출하는 단계; 상기 선행 이벤트의 이벤트 정보를 입력 데이터로 하고 상기 주요 이벤트의 이벤트 정보를 출력 데이터로 하여 딥러닝 모델을 학습시키는 단계; 및 업무 시스템에서 실시간으로 발생하는 개별 이벤트의 이벤트 정보를 딥러닝 모델의 입력 데이터로 하고 상기 딥러닝 모델의 출력 데이터로부터 주요 이벤트의 발생 가능성을 예측하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 프로그램이 개시된다.According to another aspect of the present invention, a computer program stored in a medium in combination with hardware to execute an event monitoring method, wherein the monitoring method obtains event information of an individual event occurring in the business system, Storing the event information in the form of time series data based on an occurrence time, wherein the business system is configured to provide a plurality of object elements in which a plurality of object elements are combined based on a hierarchical relationship and provide at least one business service. Object element information indicating at which object element of the hierarchical association the individual event occurred and rating information assigned according to the severity state of the individual event; Extracting, from the time series data of the event information, a main event for learning a deep learning model based on a preset extraction criterion; Extracting, from the time series data of the event information, at least one or more individual events that temporally precede one of the main events based on preset extraction criteria as a preceding event for one of the main events; Training a deep learning model using event information of the preceding event as input data and event information of the main event as output data; And using the event information of the individual events occurring in real time in the work system as input data of the deep learning model and predicting the probability of occurrence of the main event from the output data of the deep learning model. This is disclosed.

이와 같은 본 발명은, 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성된 업무 시스템에 있어서, 객체 요소별로 발생하는 개별 이벤트를 모니터링 하는 것에 더욱 나아가, 복수의 이벤트가 연관 관계에 기초하여 발생시키는 주요 이벤트를 예측 판단할 수 있다는 장점이 있다. As described above, the present invention provides a business system in which a plurality of object elements are combined based on a hierarchical relationship. Furthermore, in order to monitor individual events occurring for each object element, a plurality of event elements may be generated based on a relationship. The advantage is that the main event can be predicted and judged.

도 1은 본 발명의 일실시예에 따른 모니터링 시스템의 연결 구성도,
도 2는 본 발명의 일실시예에 따른 모니터링 시스템의 구성도,
도 3은 본 발명의 일실시예에 따른 모니터링 시스템의 하드웨어 관점의 모식도,
도 4는 본 발명의 일실시예에 따른 모니터링 방법을 설명하기 위한 모식도,
도 5는 본 발명의 일실시예에 따른 업무 시스템의 계층적 연관 관계를 설명하기 위한 모식도,
도 6 내지 도 8은 본 발명의 일실시예에 따라 딥러닝 모델의 학습을 위한 입력 데이터와 출력 데이터를 추출하는 과정을 설명하기 위한 모식도,
도 9는 본 발명의 일실시예에 따른 딥러닝 모델의 학습 과정을 설명하기 위한 모식도,
도 10은 본 발명의 일실시예에 따른 이벤트 모니터링 과정을 설명하기 위한 모식도,
도 11 내지 도 12는 업무 시스템의 이벤트 발생 구조를 설명하기 위한 모식도이다.
1 is a connection diagram of a monitoring system according to an embodiment of the present invention;
2 is a block diagram of a monitoring system according to an embodiment of the present invention;
3 is a schematic diagram of a hardware perspective of a monitoring system according to an embodiment of the present invention;
4 is a schematic diagram for explaining a monitoring method according to an embodiment of the present invention;
5 is a schematic diagram for explaining a hierarchical relationship of a work system according to an embodiment of the present invention;
6 to 8 are schematic diagrams for explaining a process of extracting input data and output data for learning a deep learning model according to an embodiment of the present invention;
9 is a schematic diagram for explaining a learning process of a deep learning model according to an embodiment of the present invention;
10 is a schematic diagram for explaining an event monitoring process according to an embodiment of the present invention;
11 to 12 are schematic diagrams for explaining the event generation structure of the work system.

본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.The present invention can be embodied in many other forms without departing from the spirit or main features thereof. Therefore, the embodiments of the present invention are merely examples in all respects and should not be interpreted limitedly.

제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. The terms first, second, etc. are used only for the purpose of distinguishing one component from other components. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. When a component is said to be "connected" or "connected" to another component, it may be directly connected or connected to that other component, but there may be other components in between.

본 출원에서 사용한 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서에 기재된 구성요소 또는 이들의 조합이 존재하는 것을 표현하려는 것이지, 다른 구성요소 또는 특징이 존재 또는 부가될 가능성을 미리 배제하는 것은 아니다. As used herein, the singular forms "a", "an" and "the" are intended to include the plural forms as well, unless the context clearly indicates otherwise. In the present application, the terms "comprise", "comprise", "have" and the like are intended to express the presence of a component described in the specification or a combination thereof, and indicate the possibility that another component or feature is present or added. It is not excluded in advance.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 모니터링 시스템의 연결 구성도, 도 2는 본 발명의 일실시예에 따른 모니터링 시스템의 구성도, 도 3은 본 발명의 일실시예에 따른 모니터링 시스템의 하드웨어 관점의 모식도이다. 1 is a block diagram of a monitoring system according to an embodiment of the present invention, Figure 2 is a block diagram of a monitoring system according to an embodiment of the present invention, Figure 3 is a hardware of the monitoring system according to an embodiment of the present invention It is a schematic diagram of the point of view.

본 발명의 일실시예에 따른 모니터링 시스템(20)은 금융/공공/제조/통신 등 다양한 분야의 업무 시스템(10)에서 발생하는 개별 이벤트의 이벤트 정보를 수득하고, 상기 이벤트 정보를 시계열 데이터화하고 분석하여, 2 이상의 개별 이벤트가 물리적 또는 논리적인 상호 작용이나 연관 관계를 통해 발생시키는 하나의 또다른 개별 이벤트를 예측한다. The monitoring system 20 according to an embodiment of the present invention obtains event information of individual events occurring in the work system 10 in various fields such as finance / public / manufacturing / communication, and time-series data analysis and analysis of the event information. By predicting one or more individual events that two or more individual events occur through physical or logical interactions or associations.

2 이상의 다른 개별 이벤트의 상호 작용 또는 연관 관계에 의해 또다른 개별 이벤트가 발생하는 경우, 이러한 또다른 개별 이벤트는 발생 원인의 관점에서 2 이상의 원인이 복합된 복합 이벤트로 볼 수도 있다. When another individual event occurs due to the interaction or association of two or more other individual events, such another individual event may be viewed as a complex event in which two or more causes are combined in view of the cause of occurrence.

업무 시스템(10)은 도 11 내지 도 12에 예시된 것처럼, 다양한 IT 인프라(예, 서버/네트워크/스토리지 등)와 IT 애플리케이션(예, WAS/WEB/DBMS/기타 애플리케이션 등)이 결합되어 구성된다. The business system 10 is configured by combining various IT infrastructures (eg, servers / networks / storages, etc.) and IT applications (eg, WAS / WEB / DBMS / other applications, etc.) as illustrated in FIGS. 11 to 12. .

또한, 업무 시스템(10)을 구성하는 IT 인프라 또는 IT 애플리케이션은 복수의 객체 요소를 포함하며, 이러한 각각의 객체 요소들은 계층적 연관 관계에 기초하여 결합 구성된다. In addition, the IT infrastructure or IT application constituting the business system 10 includes a plurality of object elements, each of which is combined based on a hierarchical relationship.

복수의 객체 요소는 CPU, 메모리 등과 같은 시스템의 물리적 기능 요소일 수 있고, 프로세스, 세션, 로그 등과 같은 시스템의 논리적 기능 요소일 수 있다. The plurality of object elements may be physical function elements of the system such as CPU, memory, and the like, and may be logical function elements of the system such as processes, sessions, logs, and the like.

특히, 본 실시예에서는 복합 이벤트 중에서 심각도 상태에 따라 부여된 등급 정보가 소정의 레벨 이상인 복합 이벤트를 주요 이벤트로 정의하며, 본 실시예의 모니터링 시스템(20)은 개별 이벤트들과 주요 이벤트의 발생 패턴을 딥러닝 모델을 통해 학습하여 주요 이벤트를 예측 판단한다. Particularly, in the present embodiment, the composite event having the grade information given according to the severity state of the composite event more than a predetermined level is defined as the main event, and the monitoring system 20 of the present embodiment defines the occurrence patterns of the individual events and the main event. The deep learning model is used to predict and predict key events.

본 실시예의 딥러닝(Deep Learning) 모델은 다양한 공지의 인공신경망 모델이 적용될 수 있지만, 바람직하게는 LSTM(Long Short Memory Networks) 아키텍쳐에 기반한 모델이 적용된다. In the deep learning model of the present embodiment, various known artificial neural network models may be applied, but a model based on a long short memory network (LSTM) architecture is preferably applied.

LSTM(Long Short Memory Networks) 모델은 인공신경망 모델 중 RNNs(Recurrent Neural Networks)의 한 종류로서, 인공신경망의 학습 과정에서 오래 전의 데이터에 의한 기울기 값이 소실되는 문제(vanishing gradient problem)로 학습이 어려워지는 문제점을 해소하기 위해 제안된 모델이며, 시계열 데이터(time-series data)와 같이 시간의 흐름에 따라 변화하는 데이터를 학습하기 위한 딥러닝 모델로서 적합하다. 본 실시예의 개별 이벤트는 발생 시간 및 등급 정보에 기초하여 시계열 데이터 형태로 저장되어 딥러닝 학습이 이뤄지므로 LSTM 모델을 통해 특히 적합하게 모니터링 될 수 있다. Long Short Memory Networks (LSTM) model is a kind of Recurrent Neural Networks (RNNs) among artificial neural network models, which is difficult to learn due to vanishing gradient problem. Loss is a proposed model to solve the problem, and is suitable as a deep learning model for learning data that changes over time, such as time-series data. Since the individual events of the present embodiment are stored as time series data based on the occurrence time and the grade information, deep learning learning is performed, and thus, the LSTM model can be particularly suitably monitored.

기능적 관점에서 본 실시예의 모니터링 시스템(20)은, 도 2에 도시된 바와 같이, 개별 이벤트의 발생 상황을 모니터링 하며 또한 딥러닝 모델의 출력 데이터로부터 주요 이벤트의 발생 가능성을 예측하고 예측 결과를 제공하는 모니터링 모듈(25), 업무 시스템(10)에서 생성되는 개별 이벤트를 수득하고 시계열 데이터화하여 저장하는 이벤트 데이터 관리 모듈(26), 딥러닝 모델을 학습시키기 위한 입력 데이터/출력 데이터 생성 및 관리 기능을 실행하는 학습 데이터 관리 모듈(27), 주요 이벤트의 발생 예측을 위한 학습을 실행하여 실시간 모니터링을 위한 주요 이벤트 예측 결과를 출력하는 딥러닝 모듈(28), 업무 시스템(10)을 구성하는 각각의 시스템 요소들의 계층적 연관 관계 및 이에 따른 이벤트 관리 항목을 설정 관리하는 연관 관계 관리 모듈(29)을 포함하여 구성된다.From a functional point of view, the monitoring system 20 of this embodiment, as shown in FIG. 2, monitors the occurrence of individual events and also predicts the occurrence of major events from the output data of the deep learning model and provides prediction results. Monitoring module 25, event data management module 26 for obtaining and storing individual events generated in work system 10 and storing them as time series data, and executing input data / output data generation and management functions for learning deep learning models. Each of the system elements constituting the learning data management module 27, the deep learning module 28 for executing the learning for predicting the occurrence of the main event and outputting the main event prediction result for the real time monitoring, and the work system 10 Affinity management module 29 for setting and managing hierarchical affinity of related events and event management items accordingly It is configured by.

또한, 상기 모니터링 시스템(20)은, 업무 시스템(10)에서 생성되는 이벤트 데이터를 시계열 데이터화하여 저장하는 이벤트 DB(21), 딥러닝 모델을 학습시키기 위한 학습 데이터가 저장되는 학습 데이터 DB(22)를 구비할 수 있다. In addition, the monitoring system 20 includes an event DB 21 for storing time series data of event data generated by the work system 10 and learning data DB 22 for storing training data for learning a deep learning model. It may be provided.

상기 모니터링 시스템(20)은 표시수단(24)을 구비할 수 있다. 표시 수단(24)은 통상의 모니터(또는 TV)일 수 있으며, 하나의 모니터에서 영역이 분할되어 표시되거나, 복수의 모니터가 상호 연동하여 하나의 화면처럼 영상 정보를 표시하도록 구성될 수도 있다. The monitoring system 20 can be provided with a display means 24. The display means 24 may be a normal monitor (or TV), and may be configured to display areas divided on one monitor or display a plurality of monitors as a single screen by interlocking with each other.

도 3을 참조하면 하드웨어적 관점에서, 본 실시예의 모니터링 시스템(20)은 하나 이상의 명령을 저장하는 메모리(2) 및 상기 메모리(2)에 저장된 상기 하나 이상의 명령을 실행하는 프로세서(4)를 포함하며, 모니터링 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램이 실행되는 컴퓨팅 장치이다. 본 실시예의 모니터링 시스템(20)은 데이터 입출력 인터페이스(6)와 통신 인터페이스(8), 데이터 표시 수단(3), 데이터 저장 수단(5)을 포함할 수 있다. Referring to FIG. 3, from a hardware point of view, the monitoring system 20 of the present embodiment includes a memory 2 storing one or more instructions and a processor 4 executing the one or more instructions stored in the memory 2. And a computer program stored in the medium for executing the monitoring method. The monitoring system 20 of the present embodiment may include a data input / output interface 6, a communication interface 8, data display means 3, and data storage means 5.

본 실시예의 모니터링 시스템(20)은 업무 시스템(10)과 네트워크를 통해 연동하는 독립적인 시스템으로 구현될 수도 있고, 업무 시스템(10) 내에 임베디드되어 연동하는 모듈형 시스템으로 구현될 수도 있다. The monitoring system 20 of the present embodiment may be implemented as an independent system interworking with the work system 10 through a network, or may be implemented as a modular system embedded in the work system 10 to interwork.

도 5는 본 발명의 일실시예에 따른 업무 시스템의 계층적 연관 관계를 설명하기 위한 모식도이다. 5 is a schematic diagram for explaining a hierarchical relationship of a work system according to an embodiment of the present invention.

본 실시예의 업무 시스템(10)은 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성되며 적어도 하나의 업무 서비스를 제공한다. The work system 10 of the present embodiment is configured by combining a plurality of object elements based on hierarchical relationships and providing at least one work service.

상기 객체 요소는 개별 이벤트가 발생하는 물리적 기능 요소(예, CPU, 메모리 등) 또는 논리적 기능 요소(예, 프로세스, 세션, 로그 등) 중의 어느 하나일 수 있다. The object element may be either a physical function element (eg, CPU, memory, etc.) or a logical function element (eg, process, session, log, etc.) in which an individual event occurs.

상기 계층적 연관 관계는 상기 업무 시스템(10)을 최상위 계층으로 하고, 상기 객체 요소를 최하위 계층으로 하는 트리 구조로 정의될 수 있다. The hierarchical relation may be defined as a tree structure in which the business system 10 is the highest hierarchy and the object element is the lowest hierarchy.

도 5의 경우를 예로 들면, 업무 서비스를 제공하는 최상위 계층의 업무 시스템(10)은 업무 서비스를 구성하는 세부 서비스를 제공하는 서버 그룹, DB(Database) 그룹, MW(Middleware) 그룹 등을 포함하여 구성된다. 도시되지 않았지만 네트워크 그룹, 스토리지 그룹 등을 더욱 포함할 수 있다. For example, in the case of FIG. 5, the work system 10 of the highest layer providing the work service includes a server group, a DB (Database) group, a MW (Middleware) group, etc. that provide detailed services constituting the work service. It is composed. Although not shown, it may further include a network group, a storage group, and the like.

일예로, 서버 그룹은 세부 서비스의 기능을 실행하는 asvr_linux1 애플리케이션과 asvr_linux2 애플리케이션을 포함하여 구성된다. DB(Database) 그룹 또는 MW(Middleware) 그룹도 유사한 형태로 각각의 애플리케이션을 포함하여 구성된다. For example, the server group includes the asvr_linux1 application and the asvr_linux2 application that execute the functions of the detailed service. The DB (Database) group or the Middleware (MW) group is similarly configured to include each application.

asvr_linux1 애플리케이션은 애플리케이션의 기능을 물리적 또는 논리적으로 실행하는 CPU, 메모리, 세션, 로그 등을 객체 요소로 포함하여 구성된다. The asvr_linux1 application consists of object elements including CPU, memory, session, log, etc. that execute the application's functions physically or logically.

일예로 하나 이상의 객체 요소의 기능이 실행되어 하나의 애플리케이션의 기능이 실행되며, 하나 이상의 애플리케이션의 기능 실행에 의해 하나의 그룹의 세부 서비스 기능이 실행되며, 하나 이상의 그룹의 세부 서비스가 실행되어 업무 시스템의 업무 서비스가 제공된다. For example, the functions of one or more object elements are executed to execute the functions of one application, the detailed service functions of one group are executed by the execution of the functions of one or more applications, and the detailed service of one or more groups is executed. Business services are provided.

이러한 계층적 연관 관계로 인해, 하나 이상의 객체 요소에서 개별 이벤트가 발생한 경우, 이러한 개별 이벤트의 상호 작용 또는 연관 관계에 의해 또 다른 개별 이벤트가 발생할 수 있다. Due to this hierarchical association, when individual events occur in one or more object elements, another individual event may be generated by the interaction or association of these individual events.

일예로, 개별 이벤트는 CPU 사용률 상태, 메모리 사용률 상태, 업무 프로세스 상태, 서비스 응답 상태, 세션 에러 상태 등이 미리 설정된 등급 기준에 의해 심각도가 감지된 상태로 볼 수 있다. 각각의 개별 이벤트는 미리 설정된 기준 및 심각도 상태에 따라 등급이 부여될 수 있으며, 하한 임계치에 도달하지 않은 상태는 노(NO) 이벤트 상태 또는 정상(NORMAL) 데이터 상태로 분류할 수 있다. For example, the individual event may be regarded as a state in which a severity is detected by a predetermined class criterion such as a CPU utilization state, a memory utilization state, a business process state, a service response state, and a session error state. Each individual event may be graded according to a preset criteria and severity state, and a state that has not reached a lower threshold may be classified as a NO event state or a NORMAL data state.

본 실시예의 모니터링 시스템(20)은 객체 요소별로 발생하는 2 이상의 개별 이벤트가 연관 관계에 기초하여 발생시키는 주요 이벤트를 예측 판단한다. The monitoring system 20 of the present embodiment predicts and determines the main event generated by two or more individual events occurring for each object element based on the correlation.

도 4는 본 발명의 일실시예에 따른 모니터링 방법을 설명하기 위한 모식도, 도 6 내지 도 8은 본 발명의 일실시예에 따라 딥러닝 모델의 학습을 위한 입력 데이터와 출력 데이터를 추출하는 과정을 설명하기 위한 모식도, 도 9는 본 발명의 일실시예에 따른 딥러닝 모델의 학습 과정을 설명하기 위한 모식도, 도 10은 본 발명의 일실시예에 따른 이벤트 모니터링 과정을 설명하기 위한 모식도이다. 4 is a schematic diagram illustrating a monitoring method according to an embodiment of the present invention, Figures 6 to 8 is a process for extracting input data and output data for learning a deep learning model according to an embodiment of the present invention 9 is a schematic diagram illustrating a learning process of a deep learning model according to an embodiment of the present invention, and FIG. 10 is a schematic diagram illustrating an event monitoring process according to an embodiment of the present invention.

1)단계에서 모니터링 시스템(20)은, 상기 업무 시스템(10)에서 발생하는 개별 이벤트의 이벤트 정보를 수득하고, 개별 이벤트의 발생 시간에 기초하여 상기 이벤트 정보를 시계열 데이터 형태로 저장한다. In step 1), the monitoring system 20 obtains event information of individual events occurring in the work system 10 and stores the event information in the form of time series data based on the occurrence time of the individual events.

상기 이벤트 정보는 상기 개별 이벤트가 상기 계층적 연관 관계의 어느 객체 요소에서 발생한 것인지를 나타내는 객체 요소 정보와 상기 개별 이벤트의 심각도 상태에 따라 부여된 등급 정보를 포함한다. The event information includes object element information indicating in which object element of the hierarchical association the individual event occurs and grade information assigned according to a severity state of the individual event.

일예로, 개별 이벤트의 이벤트 정보는 각각의 서버 그룹 또는 애플리케이션에 설치되거나 또는 이와 연동하는 이벤트 수집 에이전트에 의해 생성될 수 있다. 이벤트 수집 에이전트는 CPU 사용률 상태, 메모리 사용률 상태, 업무 프로세스 상태, 서비스 응답 상태, 세션 에러 상태 등과 같은 객체 요소의 상태를 수집하고, 수집한 시간 정보를 기록하며, 미리 설정된 기준에 의해 이벤트 등급을 부여할 수 있다. For example, event information of an individual event may be generated by an event collection agent installed in or in association with each server group or application. The event collection agent collects the state of object elements such as CPU utilization status, memory utilization status, business process status, service response status, session error status, records the collected time information, and assigns event class based on preset criteria. can do.

다른예로, 이벤트 수집 에이전트는 객체 요소의 상태를 수집하고, 수집한 시간 정보를 기록하여 전송하고, 이러한 정보를 수신한 모니터링 시스템(20)이 미리 설정된 기준에 의해 이벤트 등급을 부여하고 이벤트 정보를 생성할 수도 있다. As another example, the event collection agent collects the state of the object element, records and transmits the collected time information, and the monitoring system 20 that receives the information gives an event class based on a preset criterion and sends the event information. You can also create

바람직하게, 상기 이벤트 정보는 미리 설정된 주기(예, 초/분)에 기초하여 시계열 데이터 형태로 저장한다. 도 6 내지 도 10의 실시예에서는 1분을 주기로 이벤트 정보를 시계열 데이터 형태로 저장하는 것으로 예시한다. Preferably, the event information is stored in the form of time series data based on a preset period (eg, seconds / minute). 6 to 10 illustrate that event information is stored in the form of time series data every one minute.

2)단계에서 모니터링 시스템(20)은, 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 딥러닝(Deep Learning) 모델의 학습을 위한 주요 이벤트를 추출한다. In step 2), the monitoring system 20 extracts, from the time series data of the event information, a main event for learning a deep learning model based on a preset extraction criterion.

상기 주요 이벤트의 추출 기준은, 상기 이벤트 정보의 시계열 데이터에 포함된 개별 이벤트 중에서, 미리 설정된 등급 이상의 등급 정보를 갖는 개별 이벤트를 주요 이벤트로 추출하도록 설정된다. The criterion for extracting the main event is set to extract, as a main event, an individual event having class information of a predetermined level or more from among individual events included in time series data of the event information.

도 6 내지 도 10의 실시예에서, 전체 이벤트 등급은 심각도가 낮은 쪽에서 높은 쪽으로 normal-warning-minor-major-critical 등급의 순서로 높아지도록 구성되며, major 등급 이상을 주요 이벤트로 추출하도록 설정한다. In the embodiment of Figures 6 to 10, the overall event grade is configured to increase in the order of normal-warning-minor-major-critical grade from low to high severity, and set to extract more than major grade as a major event.

이하 설명에서는 도 6에서 16:38에 발생한 이벤트(A 업무 프로세스 다운)를 주요 이벤트로 예시하여 설명한다. In the following description, an event (A business process down) occurring at 16:38 in FIG. 6 is illustrated as a main event.

3)단계에서 모니터링 시스템(20)은, 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 하나의 상기 주요 이벤트에 시간적으로 선행하는 적어도 하나 이상의 개별 이벤트를 하나의 상기 주요 이벤트에 대한 선행 이벤트로서 추출한다. In step 3), the monitoring system 20 advances, from the time series data of the event information, at least one individual event that precedes one major event in time based on a predetermined extraction criterion for one major event. Extract as event.

상기 선행 이벤트의 추출 기준은, 상기 이벤트 정보의 시계열 데이터에 포함된 개별 이벤트 중에서, 상기 2)단계에서 추출한 하나의 주요 이벤트의 발생 시간을 기준으로 미리 설정한 선행 시간 범위에서 발생하고 또한 미리 설정된 등급 이상(예, warning 등급 이상)의 등급 정보를 갖는 개별 이벤트를 해당 주요 이벤트에 대한 선행 이벤트로서 추출하도록 설정된다. normal 등급은 이벤트가 발생하지 않은 정상 상태로 볼 수 있으므로, 선행 이벤트 추출 대상에서 제외한다. The criterion for extracting the preceding event occurs in a preset time range based on the occurrence time of one main event extracted in step 2) among the individual events included in the time series data of the event information, and is also set in a predetermined grade. It is set to extract individual events having the above grade information (eg, above the warning grade) as the preceding event for the corresponding main event. The normal level can be considered as a normal state without an event, so it is excluded from the preceding event extraction.

바람직하게, 상기 선행 시간 범위는, 상기 주요 이벤트의 발생 시간을 기준으로 미리 설정한 시간 간극을 갖는 시간 범위에 설정된다. 시간 간극을 설정하는 이유는 본 실시예의 모니터링 방법이 개별 이벤트(선행 이벤트)의 발생 패턴에 기반하여 미리 주요 이벤트의 발생을 예측하고 주요 이벤트에 대한 예방 내지 대응을 하기 위한 것이므로, 이벤트 예측 및 대응을 위한 시간 간극을 부여하여 이러한 예방 내지 대응 시간을 확보하기 위함이다. 모니터링 정책에 따라 시간 간극은 이벤트 예방 내지 대응에 적절한 시간으로 설정될 수 있으며, 시간 간극이 없도록 설정할 수도 있다. Preferably, the preceding time range is set to a time range having a preset time interval based on the occurrence time of the main event. The reason for setting the time gap is to predict the occurrence of the main event in advance and to prevent or respond to the main event in advance based on the occurrence pattern of the individual event (predecessor event). This is to secure a time for preventing or responding by giving a time gap for the purpose. Depending on the monitoring policy, the time interval may be set to a time suitable for event prevention or response, or may be set so that there is no time interval.

도 6의 실시예는 선행 시간 범위를 1 시간으로 설정하고, 미리 설정한 시간 간극을 30분으로 설정한 경우를 예시한다. 즉, 16:38에 발생한 이벤트(A 업무 프로세스 다운)를 주요 이벤트로 추출한 경우이므로 30분의 시간 간극을 부여하여 선행 시간 범위가 15:08~16:08 로 설정된다. 6 illustrates a case where the preceding time range is set to 1 hour and the preset time interval is set to 30 minutes. That is, since the event (A business process down) occurring at 16:38 is extracted as the main event, a time interval of 30 minutes is given, and the preceding time range is set to 15:08 to 16:08.

그러므로, 도 6의 실시예에서 15:26, 15:46, 16:05 시점에 발생한 3개의 개별 이벤트가 선행 시간 범위 15:08~16:08에 포함되면서 미리 설정된 등급 이상(warning 등급 이상)의 등급 정보를 갖는 개별 이벤트이므로 상기 주요 이벤트에 대한 선행 이벤트로 추출된다. Therefore, in the embodiment of FIG. 6, three individual events occurring at 15:26, 15:46, and 16:05 are included in the preceding time range 15:08 to 16:08, and the predetermined level or more (warning level or more) Since it is an individual event with class information, it is extracted as a preceding event for the main event.

15:05, 16:25, 16:35 시점에 발생한 개별 이벤트는 선행 시간 범위 15:08~16:08를 벗어난 시간대에 발생한 개별 이벤트이므로, warning 등급 이상임에도 불구하고 선행 이벤트로 추출하지 않는다. Individual events that occur at 15:05, 16:25, and 16:35 are individual events that occurred outside the preceding time range of 15: 08 ~ 16: 08, so they are not extracted as preceding events even if they are above the warning level.

상기 설명한 구성은 도 6의 테이블 T1 및 T2에 예시된다.The above described configuration is illustrated in tables T1 and T2 of FIG. 6.

4)단계에서 모니터링 시스템(20)은, 상기 선행 이벤트의 이벤트 정보를 입력 데이터로 하고 상기 주요 이벤트의 이벤트 정보를 출력 데이터로 하여 딥러닝 모델을 학습시킨다. In step 4), the monitoring system 20 trains the deep learning model using the event information of the preceding event as input data and the event information of the main event as output data.

상기 입력 데이터는, 상기 선행 이벤트의 이벤트 정보에 포함된 객체 요소 정보와 등급 정보에 기초하여 수치화된 이벤트 인덱스값을 생성하고, 상기 이벤트 인덱스값을 정규화하여 마련한다. The input data is generated by generating a numerical event index value based on the object element information and the grade information included in the event information of the preceding event, and normalizing the event index value.

바람직하게, 상기 업무 시스템(10)에서 모니터링 대상이 되는 개별 이벤트의 전체 항목 및 개수가 미리 설정된다. Preferably, the total items and the number of individual events to be monitored in the work system 10 are preset.

도 7의 예시 구성을 참조하면, 본 실시예의 업무 시스템(10)은 총 100개의 개별 이벤트를 모니터링 하도록 설정되어 각각의 개별 이벤트에 대해 고유 식별 번호인 이벤트 관리 항목이 부여된다. Referring to the example configuration of FIG. 7, the work system 10 of the present embodiment is set to monitor a total of 100 individual events, and is assigned an event management item which is a unique identification number for each individual event.

또한, 각각의 이벤트 관리 항목에 대해서는 시스템에 미치는 심각도를 고려하여 중요도 순위(ranking)를 부여한다. 총 100개의 개별 이벤트의 심각도를 상대적으로 비교하는 순위이므로 각각의 이벤트 관리 항목은 1~100위의 중요도 순위를 갖게 된다. 상기 설명한 구성이 도 7의 테이블 IT에 예시된다.In addition, each event management item is assigned a priority ranking in consideration of the severity of the system. Each event management category has a priority ranking of 1st to 100th because the rankings compare the severity of 100 individual events in total. The above described configuration is illustrated in the table IT of FIG. 7.

각각의 이벤트 관리 항목의 개별 이벤트는 심각도에 따라 normal-warning-minor-major-critical 등급의 총 5개 등급으로 구분되며, normal 등급은 이벤트가 발생하지 않은 정상 상태로 보고 이벤트 인덱스값을 '0'으로 부여한다면, 도 7의 실시예에 포함된 개별 이벤트의 각각의 등급에는 1~400의 범위 내에 있는 하나의 수치값을 이벤트 인덱스값으로 부여할 수 있게 된다. 모니터링 정책에 따라 이벤트 관리 항목의 총 개수나 중요도 순위는 적절하게 설정될 수 있으며, 이에 따라 이벤트 인덱스값의 총 개수도 설정된다. The individual events of each event management item are classified into five grades of normal-warning-minor-major-critical grades according to their severity. The normal grade is regarded as the normal state where no event occurs and the event index value is '0'. In this case, one numerical value within the range of 1 to 400 can be assigned to the event index value for each class of the individual events included in the embodiment of FIG. 7. According to the monitoring policy, the total number of event management items or the priority ranking may be appropriately set. Accordingly, the total number of event index values is also set.

도 7의 예시 구성에서, 15:05, 16:25, 16:35 시점에 발생한 개별 이벤트는 각각 45, 121, 30의 이벤트 인덱스값을 가지며, 16:38 시점에 발생한 주요 이벤트는 52의 이벤트 인덱스값을 갖는다. 상기 설명한 구성이 도 7의 테이블 T3에 예시된다.In the example configuration of FIG. 7, individual events occurring at 15:05, 16:25, and 16:35 have event index values of 45, 121, and 30, respectively, and major events occurring at 16:38 are 52 event indexes. Has a value. The above-described configuration is illustrated in table T3 of FIG.

도 7의 예시 구성과 같이 생성한 이벤트 인덱스값은 딥러닝 모델에 입력하기 위해 정규화 처리를 한다. 일예로, 예시된 사례의 이벤트 인덱스값 중 최고값이 400 이므로, 400을 기준으로 각각의 이벤트 인덱스값을 0~1의 범위의 값으로 정규화할 수 있다. 이러한 구성이 도 8에 예시되며, 하단의 2차 변환된 상태가 정규화된 상태이다. The event index value generated as in the example configuration of FIG. 7 is normalized to input into the deep learning model. For example, since the highest value among the event index values in the illustrated example is 400, each event index value may be normalized to a value ranging from 0 to 1 based on 400. This configuration is illustrated in FIG. 8, where the lower secondary transformed state is normalized.

딥러닝 모델의 입력 데이터를 위한 입력 노드는, 상기 선행 시간 범위를 미리 설정한 개수로 분할한 선행 시간 분할 범위의 개수와 동일한 개수로 구성된다. The input node for the input data of the deep learning model is configured to have the same number as the number of the preceding time division ranges by dividing the preceding time range into a preset number.

도 9의 실시예의 경우, 선행 시간 범위를 1 시간으로 하고 이를 10초 단위로 분할하여 360개의 입력 노드를 구성한다. 각각의 입력 노드에는 각각의 시점에 생성된 정규화된 이벤트 인덱스값을 입력 데이터로 입력한다. In the case of the embodiment of Figure 9, the preceding time range is set to 1 hour and divided into units of 10 seconds to configure 360 input nodes. Each input node inputs the normalized event index value generated at each time point as input data.

입력 노드와 출력 노드 사이의 은닉층의 개수와 노드 개수는 모니터링 정책에 따라 변경 설정될 수 있다. The number of hidden layers and the number of nodes between the input node and the output node can be changed according to the monitoring policy.

상기 출력 데이터를 위한 출력 노드는, 상기 개별 이벤트의 전체 개수(이벤트 관리 항목의 개수)와 동일한 개수로 구성된다. 도 9의 실시예의 경우, 총 100개의 개별 이벤트를 모니터링 하도록 총 100개의 이벤트 관리 항목이 부여된 경우이므로, 출력 노드는 100개로 구성된다. The output nodes for the output data are configured with the same number as the total number of the individual events (the number of event management items). In the case of the embodiment of FIG. 9, since a total of 100 event management items are provided to monitor a total of 100 individual events, 100 output nodes are configured.

또한, 바람직하게, 상기 출력 데이터를 위한 출력 노드는, 딥러닝 학습 과정에서 주요 이벤트가 발생하지 않은 노-이벤트 상태를 구분하기 위한 적어도 하나의 더미 노드를 더욱 포함할 수 있다. Also, preferably, the output node for the output data may further include at least one dummy node for distinguishing a no-event state in which no major event occurs in the deep learning process.

도 9를 참조하면, 15:05, 16:25, 16:35 시점에 해당하는 입력 노드에 선행 이벤트들의 45, 121, 30의 이벤트 인덱스값의 정규화값이 입력되며, 1~100번 출력 노드 중에서 주요 이벤트의 이벤트 관리 항목인 52번 출력 노드에 해당 주요 이벤트가 발생했음을 식별하는 값 '1'을 부여하고 다른 출력 노드에는 모두 '0'을 부여하여 출력 데이터로서 입력한다. 101번에 더미 노드를 추가한 경우에는 101번에는 '0'을 부여한다. Referring to FIG. 9, a normalization value of an event index value of 45, 121, and 30 of preceding events is input to an input node corresponding to 15:05, 16:25, and 16:35, and among output nodes 1 to 100. A value '1' to identify that the main event has occurred is assigned to output node 52, which is an event management item of the main event, and all other output nodes are assigned as '0' and input as output data. If dummy node is added at 101, '0' is assigned at 101.

일예로, 15:05:00~15:15:59의 1분 동안 하나의 선행 이벤트가 발생한 경우에는, 15:05:00 시점의 입력 노드에 선행 이벤트에 관한 입력 데이터값을 입력한다. For example, when one preceding event occurs for one minute from 15:05:00 to 15:15:59, the input data value of the preceding event is input to the input node at 15:05:00.

다른예로, 15:05:00~15:15:59의 1분 동안 2 이상의 선행 이벤트가 발생한 경우에는, 15:05:00~15:15:59의 1분 동안 총 6개의 입력 노드가 마련되어 있으므로, 이벤트 발생 순서에 따라 각각의 선행 이벤트에 관한 입력 데이터값을 15:05:00~15:15:59의 시간 범위에 해당하는 복수의 입력 노드에 각각 입력한다. As another example, if two or more preceding events occurred during 1 minute of 15:05:00 to 15:15:59, a total of 6 input nodes are prepared during 1 minute of 15:05:00 to 15:15:59. Therefore, the input data value for each preceding event is input to the plurality of input nodes corresponding to the time range of 15:05:00 to 15:15:59, respectively, according to the event occurrence order.

도 6 내지 도 10의 실시예를 다른 관점에서 보면, 도 8의 하단에 있는 정규화된 이벤트 인덱스값의 선행 이벤트 패턴이 발생할 때, 이벤트 관리 항목 52번의 주요 이벤트가 발생하는 패턴기반의 딥러닝으로 이해할 수 있다. 시계열 데이터에 포함된 각각의 주요 이벤트에 대해 이러한 패턴기반의 딥러닝 모델을 학습시키면, 역으로 실시간 입력되는 개별 이벤트의 패턴으로부터 주요 이벤트 발생을 예측할 수 있게 된다. Referring to the embodiment of FIGS. 6 to 10 from another viewpoint, when the preceding event pattern of the normalized event index value at the bottom of FIG. 8 occurs, it may be understood as a pattern-based deep learning in which the main event of event management item 52 occurs. Can be. By learning this pattern-based deep learning model for each major event included in the time series data, it is possible to predict the occurrence of major events from the patterns of individual events input in real time.

또한, 동일 내지 유사한 선행 이벤트 패턴에 대한 주요 이벤트의 발생 관계를 학습하면, 해당 이벤트 패턴 발생 시의 주요 이벤트 패턴의 발생 확률을 산출할 수 있게 된다. In addition, by learning the occurrence relationship of the major events with respect to the same or similar preceding event pattern, it is possible to calculate the probability of occurrence of the major event pattern when the event pattern occurs.

상기 방식으로 시계열 데이터를 시간흐름에 따라 쉬프트 처리하면서 딥러닝 모델을 학습시키며, 딥러닝 학습을 위한 시계열 데이터는 미리 설정된 갱신 주기에 따라 지속적으로 갱신되어 학습이 이뤄질 수 있다. In this manner, the deep learning model is trained while the time series data is shifted over time, and the time series data for deep learning may be continuously updated according to a preset update period.

5)단계에서 모니터링 시스템(20)은, 업무 시스템(10)에서 실시간으로 발생하는 개별 이벤트의 이벤트 정보를 딥러닝 모델의 입력 데이터로 하고 상기 딥러닝 모델의 출력 데이터로부터 주요 이벤트의 발생 가능성을 예측한다. In step 5), the monitoring system 20 uses event information of individual events occurring in real time in the work system 10 as input data of the deep learning model and predicts the possibility of major events from the output data of the deep learning model. do.

실시간으로 발생하는 개별 이벤트에 의해 선행 이벤트 패턴이 생성되고, 이에 따라 주요 이벤트의 발생 확률이 산출된다. 이러한 주요 이벤트 발생 확률은 다양한 이벤트 모니터링 UI(user interface)를 이용하여 디스플레이를 통해 관리자에게 표시 제공될 수 있다. The preceding event pattern is generated by the individual events occurring in real time, and thus the probability of occurrence of the main event is calculated. Such a main event occurrence probability may be provided to the administrator through a display using various event monitoring UIs (user interface).

또한, 일예로 주요 이벤트 발생 확률이 80% 이상인 경우를 경보 조건으로 설정하는 경우, 해당 조건에 충족하는 주요 이벤트가 예측되는 경우 경보 표시를 제공할 수도 있다. In addition, for example, when the case where the main event occurrence probability is 80% or more as an alarm condition, an alarm indication may be provided when a major event that satisfies the condition is predicted.

본 발명의 일실시예에 따른 모니터링 방법은 하드웨어와 결합되어 상기 모니터링 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램으로 제공될 수 있으며, 상기 모니터링 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체에 포함하여 제공되는 것도 가능하다.The monitoring method according to an embodiment of the present invention may be provided as a computer program stored in a medium in combination with hardware to execute the monitoring method, and a computer program for recording the computer program for executing the monitoring method on a computer. It may also be provided included in a readable recording medium.

이를 위해, 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램과 이를 기록한 컴퓨터 판독 가능 기록 매체를 포함한다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, USB 드라이브와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.To this end, embodiments of the present invention include a program for performing various computer-implemented operations and a computer readable recording medium recording the same. The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM, DVD, USB drives, magnetic-optical media such as floppy disks, and ROM, RAM, Hardware devices specifically configured to store and execute program instructions, such as flash memory, are included. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

10: 업무 시스템
20: 모니터링 시스템
10: business system
20: monitoring system

Claims (13)

업무 시스템과 연동하는 모니터링 시스템에서 실행하는 이벤트 모니터링 방법으로서- 상기 업무 시스템은 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성되며 적어도 하나의 업무 서비스를 제공하며, 상기 업무 시스템에서 모니터링 대상이 되는 개별 이벤트의 전체 항목 및 개수가 미리 설정됨-,
1) 상기 업무 시스템에서 발생하는 개별 이벤트의 이벤트 정보를 수득하고, 개별 이벤트의 발생 시간에 기초하여 상기 이벤트 정보를 시계열 데이터 형태로 저장하는 단계- 상기 이벤트 정보는 상기 개별 이벤트가 상기 계층적 연관 관계의 어느 객체 요소에서 발생한 것인지를 나타내는 객체 요소 정보와 상기 개별 이벤트의 심각도 상태에 따라 부여된 등급 정보를 포함함-;
2) 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 딥러닝(Deep Learning) 모델의 학습을 위한 주요 이벤트를 추출하는 단계- 상기 주요 이벤트의 추출 기준은, 상기 이벤트 정보의 시계열 데이터에 포함된 개별 이벤트 중에서, 미리 설정된 등급 이상의 등급 정보를 갖는 개별 이벤트를 주요 이벤트로 추출하도록 설정됨-;
3) 상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 하나의 상기 주요 이벤트에 시간적으로 선행하는 적어도 하나 이상의 개별 이벤트를 하나의 상기 주요 이벤트에 대한 선행 이벤트로서 추출하는 단계- 상기 선행 이벤트의 추출 기준은, 상기 이벤트 정보의 시계열 데이터에 포함된 개별 이벤트 중에서, 상기 2)단계에서 추출한 하나의 주요 이벤트의 발생 시간을 기준으로 미리 설정한 선행 시간 범위에서 발생하고 또한 미리 설정된 등급 이상의 등급 정보를 갖는 개별 이벤트를 해당 주요 이벤트에 대한 선행 이벤트로서 추출하도록 설정됨-;
4) 상기 선행 이벤트의 이벤트 정보를 입력 데이터로 하고 상기 주요 이벤트의 이벤트 정보를 출력 데이터로 하여 딥러닝 모델을 학습시키는 단계- 상기 입력 데이터는 상기 선행 이벤트의 이벤트 정보에 포함된 객체 요소 정보와 등급 정보에 기초하여 수치화된 이벤트 인덱스값을 생성하고 상기 이벤트 인덱스값을 정규화하여 마련하며, 상기 입력 데이터를 위한 입력 노드는 상기 선행 시간 범위를 미리 설정한 개수로 분할한 선행 시간 분할 범위의 개수와 동일한 개수로 구성되고, 상기 출력 데이터를 위한 출력 노드는 상기 개별 이벤트의 전체 개수와 동일한 개수로 구성됨-; 및
5) 업무 시스템에서 실시간으로 발생하는 개별 이벤트의 이벤트 정보를 딥러닝 모델의 입력 데이터로 하고 상기 딥러닝 모델의 출력 데이터로부터 주요 이벤트의 발생 가능성을 예측하는 단계;를 포함하는 것을 특징으로 하는 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법.
An event monitoring method executed in a monitoring system interworking with a work system, wherein the work system includes a plurality of object elements coupled to each other based on a hierarchical relationship and provides at least one work service. All items and counts for each individual event being preset-,
1) obtaining event information of an individual event occurring in the work system, and storing the event information in the form of time series data based on an occurrence time of the individual event, wherein the event information indicates that the individual event is hierarchically related. Object element information indicating which object element occurred in the and element class information assigned according to the severity state of the individual event;
2) extracting a main event for learning a deep learning model based on a preset extraction criterion from the time series data of the event information, wherein the extraction criterion of the main event is based on the time series data of the event information. Among the included individual events, configured to extract individual events having class information of a predetermined level or more as a main event;
3) extracting, from the time series data of the event information, at least one or more individual events that temporally precede one of the main events on the basis of preset extraction criteria as a preceding event for one of the main events-the preceding event. The extraction criterion of is generated in a preset time range based on the occurrence time of one main event extracted in the step 2) among the individual events included in the time series data of the event information, and the rating information equal to or greater than the preset rating. Configured to extract an individual event with a preceding event for that main event;
4) training a deep learning model using the event information of the preceding event as input data and the event information of the main event as output data, wherein the input data is the object element information and the grade included in the event information of the preceding event. Generating a numerically indexed event index value based on the information and normalizing the event index value, wherein an input node for the input data is equal to the number of preceding time division ranges that divides the preceding time range into a preset number The number of output nodes for the output data is equal to the total number of individual events; And
5) using the event information of the individual events occurring in real time in the work system as input data of the deep learning model and predicting the probability of occurrence of the main event from the output data of the deep learning model; deep learning Event monitoring method based on event prediction using a model.
제1항에 있어서,
상기 계층적 연관 관계는,
상기 업무 시스템을 최상위 계층으로 하고, 상기 객체 요소를 최하위 계층으로 하는 트리 구조로 정의되는 것을 특징으로 하는 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법.
The method of claim 1,
The hierarchical association is
The event monitoring method based on event prediction using a deep learning model, characterized in that the business system is defined as a tree layer having the highest layer, the object element to the lowest layer.
제1항에 있어서,
상기 1)단계에서,
상기 이벤트 정보는 미리 설정된 주기에 기초하여 시계열 데이터 형태로 저장하는 것을 특징으로 하는 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법.
The method of claim 1,
In step 1),
And the event information is stored in the form of time series data on the basis of a preset period.
삭제delete 삭제delete 제1항에 있어서,
상기 선행 시간 범위는,
상기 주요 이벤트의 발생 시간을 기준으로 미리 설정한 시간 간극을 갖는 시간 범위에 설정되는 것을 특징으로 하는 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법.
The method of claim 1,
The preceding time range is,
Event monitoring method based on event prediction using a deep learning model, characterized in that set in the time range having a predetermined time interval based on the occurrence time of the main event.
삭제delete 삭제delete 제1항에 있어서,
상기 출력 데이터를 위한 출력 노드는, 주요 이벤트가 발생하지 않은 노-이벤트 상태를 구분하기 위한 적어도 하나의 더미 노드를 더욱 포함하여 구성되는 것을 특징으로 하는 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법.
The method of claim 1,
The output node for the output data, the event monitoring method based on event prediction using a deep learning model, characterized in that further comprises at least one dummy node for distinguishing the no-event state in which no major event occurs .
제1항에 있어서,
상기 객체 요소는 개별 이벤트가 발생한 물리적 기능 요소 또는 논리적 기능 요소 중의 어느 하나인 것을 특징으로 하는 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법.
The method of claim 1,
The object element is an event monitoring method based on event prediction using a deep learning model, characterized in that any one of a physical function element or a logical function element where an individual event occurred.
제1항에 있어서,
상기 딥러닝(Deep Learning) 모델은 LSTM(Long Short Memory Networks) 아키텍쳐에 기반한 것임을 특징으로 하는 딥러닝 모델을 이용한 이벤트 예측 기반의 이벤트 모니터링 방법.
The method of claim 1,
The deep learning model is an event monitoring method based on event prediction using a deep learning model, characterized in that based on the Long Short Memory Networks (LSTM) architecture.
하나 이상의 명령을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 명령을 실행하는 프로세서를 포함하고,
상기 프로세서는,
업무 시스템에서 발생하는 개별 이벤트의 이벤트 정보를 수득하고, 개별 이벤트의 발생 시간에 기초하여 상기 이벤트 정보를 시계열 데이터 형태로 저장하고- 상기 업무 시스템은 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성되고 적어도 하나의 업무 서비스를 제공하며, 상기 업무 시스템에서 모니터링 대상이 되는 개별 이벤트의 전체 항목 및 개수가 미리 설정되며, 상기 이벤트 정보는 상기 개별 이벤트가 상기 계층적 연관 관계의 어느 객체 요소에서 발생한 것인지를 나타내는 객체 요소 정보와 상기 개별 이벤트의 심각도 상태에 따라 부여된 등급 정보를 포함함-;
상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 딥러닝(Deep Learning) 모델의 학습을 위한 주요 이벤트를 추출하며- 상기 주요 이벤트의 추출 기준은, 상기 이벤트 정보의 시계열 데이터에 포함된 개별 이벤트 중에서, 미리 설정된 등급 이상의 등급 정보를 갖는 개별 이벤트를 주요 이벤트로 추출하도록 설정됨-;
상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 하나의 상기 주요 이벤트에 시간적으로 선행하는 적어도 하나 이상의 개별 이벤트를 하나의 상기 주요 이벤트에 대한 선행 이벤트로서 추출하고- 상기 선행 이벤트의 추출 기준은, 상기 이벤트 정보의 시계열 데이터에 포함된 개별 이벤트 중에서, 하나의 상기 주요 이벤트의 발생 시간을 기준으로 미리 설정한 선행 시간 범위에서 발생하고 또한 미리 설정된 등급 이상의 등급 정보를 갖는 개별 이벤트를 해당 주요 이벤트에 대한 선행 이벤트로서 추출하도록 설정됨-;
상기 선행 이벤트의 이벤트 정보를 입력 데이터로 하고 상기 주요 이벤트의 이벤트 정보를 출력 데이터로 하여 딥러닝 모델을 학습시키며- 상기 입력 데이터는 상기 선행 이벤트의 이벤트 정보에 포함된 객체 요소 정보와 등급 정보에 기초하여 수치화된 이벤트 인덱스값을 생성하고 상기 이벤트 인덱스값을 정규화하여 마련하며, 상기 입력 데이터를 위한 입력 노드는 상기 선행 시간 범위를 미리 설정한 개수로 분할한 선행 시간 분할 범위의 개수와 동일한 개수로 구성되고, 상기 출력 데이터를 위한 출력 노드는 상기 개별 이벤트의 전체 개수와 동일한 개수로 구성됨-;
업무 시스템에서 실시간으로 발생하는 개별 이벤트의 이벤트 정보를 딥러닝 모델의 입력 데이터로 하고 상기 딥러닝 모델의 출력 데이터로부터 주요 이벤트의 발생 가능성을 예측하는 것을 특징으로 하는 이벤트 모니터링 시스템.
Memory for storing one or more instructions; And
A processor for executing the one or more instructions stored in the memory;
The processor,
Obtain event information of individual events occurring in a business system, and store the event information in the form of time series data based on the time of occurrence of the individual events-the business system combines a plurality of object elements based on a hierarchical association Configured and providing at least one business service, and the total number and number of individual events to be monitored in the business system are preset, and the event information indicates that the individual event is generated in any object element of the hierarchical relationship. Object element information indicative of whether or not and rating information assigned according to the severity state of the individual event;
Extracting, from the time series data of the event information, a main event for learning a deep learning model based on a predetermined extraction criterion, wherein the extraction criteria of the main event is an individual included in the time series data of the event information. Among the events, configured to extract an individual event having class information of a predetermined level or more as a main event;
Extract, from the time series data of the event information, at least one or more individual events that temporally precede one of the main events as predecessors for one of the main events based on preset extraction criteria; Among the individual events included in the time series data of the event information, an individual event occurring in a preset time range preset based on an occurrence time of one of the main events, and having a class information of a predetermined level or more, corresponds to the corresponding main event. Set to extract as a preceding event for;
The deep learning model is trained using the event information of the preceding event as input data and the event information of the main event as output data, wherein the input data is based on the object element information and the grade information included in the event information of the preceding event. Generate a numerical event index value and normalize the event index value, and the input node for the input data is configured to have the same number as the number of preceding time division ranges that divide the preceding time range into a preset number. The output node for the output data is configured to be equal to the total number of individual events;
And event information of individual events occurring in real time in a work system as input data of a deep learning model, and predicting a probability of occurrence of a major event from output data of the deep learning model.
하드웨어와 결합되어 이벤트 모니터링 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램으로서,
상기 모니터링 방법은,
업무 시스템에서 발생하는 개별 이벤트의 이벤트 정보를 수득하고, 개별 이벤트의 발생 시간에 기초하여 상기 이벤트 정보를 시계열 데이터 형태로 저장하는 단계- 상기 업무 시스템은 복수의 객체 요소가 계층적 연관 관계에 기초하여 결합 구성되고 적어도 하나의 업무 서비스를 제공하며, 상기 업무 시스템에서 모니터링 대상이 되는 개별 이벤트의 전체 항목 및 개수가 미리 설정되며, 상기 이벤트 정보는 상기 개별 이벤트가 상기 계층적 연관 관계의 어느 객체 요소에서 발생한 것인지를 나타내는 객체 요소 정보와 상기 개별 이벤트의 심각도 상태에 따라 부여된 등급 정보를 포함함-;
상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 딥러닝(Deep Learning) 모델의 학습을 위한 주요 이벤트를 추출하는 단계- 상기 주요 이벤트의 추출 기준은, 상기 이벤트 정보의 시계열 데이터에 포함된 개별 이벤트 중에서, 미리 설정된 등급 이상의 등급 정보를 갖는 개별 이벤트를 주요 이벤트로 추출하도록 설정됨-;
상기 이벤트 정보의 시계열 데이터로부터, 미리 설정된 추출 기준에 기초하여 하나의 상기 주요 이벤트에 시간적으로 선행하는 적어도 하나 이상의 개별 이벤트를 하나의 상기 주요 이벤트에 대한 선행 이벤트로서 추출하는 단계- 상기 선행 이벤트의 추출 기준은, 상기 이벤트 정보의 시계열 데이터에 포함된 개별 이벤트 중에서, 상기 단계에서 추출한 하나의 주요 이벤트의 발생 시간을 기준으로 미리 설정한 선행 시간 범위에서 발생하고 또한 미리 설정된 등급 이상의 등급 정보를 갖는 개별 이벤트를 해당 주요 이벤트에 대한 선행 이벤트로서 추출하도록 설정됨-;
상기 선행 이벤트의 이벤트 정보를 입력 데이터로 하고 상기 주요 이벤트의 이벤트 정보를 출력 데이터로 하여 딥러닝 모델을 학습시키는 단계- 상기 입력 데이터는 상기 선행 이벤트의 이벤트 정보에 포함된 객체 요소 정보와 등급 정보에 기초하여 수치화된 이벤트 인덱스값을 생성하고 상기 이벤트 인덱스값을 정규화하여 마련하며, 상기 입력 데이터를 위한 입력 노드는 상기 선행 시간 범위를 미리 설정한 개수로 분할한 선행 시간 분할 범위의 개수와 동일한 개수로 구성되고, 상기 출력 데이터를 위한 출력 노드는 상기 개별 이벤트의 전체 개수와 동일한 개수로 구성됨-; 및
업무 시스템에서 실시간으로 발생하는 개별 이벤트의 이벤트 정보를 딥러닝 모델의 입력 데이터로 하고 상기 딥러닝 모델의 출력 데이터로부터 주요 이벤트의 발생 가능성을 예측하는 단계;를 포함하여 구성된 것을 특징으로 하는 컴퓨터 프로그램.
A computer program stored on the medium in combination with hardware to execute an event monitoring method,
The monitoring method,
Obtaining event information of individual events occurring in a business system, and storing the event information in the form of time series data based on an occurrence time of the individual event, wherein the business system includes a plurality of object elements based on a hierarchical relationship; Combined and configured to provide at least one business service, the total number and the number of individual events to be monitored in the business system is preset, the event information is that the individual events in any object element of the hierarchical association Object element information indicating whether an occurrence has occurred and rating information given according to a severity state of the individual event;
Extracting a main event for learning a deep learning model based on a predetermined extraction criterion from the time series data of the event information, wherein the extraction criterion of the main event is included in the time series data of the event information Among the individual events, configured to extract individual events having class information of a predetermined level or more as a main event;
Extracting, from the time series data of the event information, at least one or more individual events that temporally precede one of the main events as predecessors for one of the main events based on preset extraction criteria—extraction of the preceding events The criterion is an individual event, which occurs in a preset time range preset based on the occurrence time of one main event extracted in the step among the individual events included in the time series data of the event information, and which has class information equal to or higher than the preset level. Is set to extract as a preceding event for that major event;
Training a deep learning model using the event information of the preceding event as input data and the event information of the main event as output data, wherein the input data is based on the object element information and the rating information included in the event information of the preceding event. Generate an indexed event index value based on the normalized event index value and normalize the event index value, and the input node for the input data is equal to the number of the preceding time division ranges which divides the preceding time range into a preset number. Configured to have output nodes for the output data equal to the total number of individual events; And
And using the event information of the individual events occurring in real time in the work system as input data of the deep learning model and predicting the likelihood of occurrence of the major event from the output data of the deep learning model.
KR1020190028595A 2019-03-13 2019-03-13 Event monitoring method based on event prediction using deep learning model, Event monitoring system and Computer program for the same KR102041545B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190028595A KR102041545B1 (en) 2019-03-13 2019-03-13 Event monitoring method based on event prediction using deep learning model, Event monitoring system and Computer program for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190028595A KR102041545B1 (en) 2019-03-13 2019-03-13 Event monitoring method based on event prediction using deep learning model, Event monitoring system and Computer program for the same

Publications (1)

Publication Number Publication Date
KR102041545B1 true KR102041545B1 (en) 2019-11-06

Family

ID=68541570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190028595A KR102041545B1 (en) 2019-03-13 2019-03-13 Event monitoring method based on event prediction using deep learning model, Event monitoring system and Computer program for the same

Country Status (1)

Country Link
KR (1) KR102041545B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210107402A (en) * 2020-02-24 2021-09-01 동신대학교산학협력단 Deep learning based rainwater pumping station simulation operation program
WO2022145981A1 (en) * 2020-12-29 2022-07-07 주식회사 인이지 Automatic training-based time series data prediction and control method and apparatus
KR20240037443A (en) 2022-09-14 2024-03-22 위데이터랩 주식회사 System and method for log event monitoring based on latent space
WO2024071793A1 (en) * 2022-09-27 2024-04-04 (주)에이아이매틱스 Method and apparatus for detection of event based on hierarchical structure that may be linked to memory

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637458B1 (en) 2015-03-19 2016-07-08 주식회사 위엠비 Integrated control method for data center, Integrated control system performing the same, Computer program for the same, and Recording medium storing computer program thereof
KR101648272B1 (en) 2014-12-24 2016-08-16 충남대학교산학협력단 Method for forecasting household water demand and detecting water leakage based on complex event processing and machine learning
JP2016173782A (en) * 2015-03-18 2016-09-29 エヌ・ティ・ティ・コミュニケーションズ株式会社 Failure prediction system, failure prediction method, failure prediction apparatus, learning apparatus, failure prediction program, and learning program
KR20180054992A (en) * 2016-11-15 2018-05-25 (주) 글루시스 Failure prediction method of system resource for smart computing
KR20180120558A (en) * 2017-04-27 2018-11-06 주식회사 케이티 System and method for predicting communication apparatuses failure based on deep learning
KR101917006B1 (en) 2016-11-30 2018-11-08 에스케이 주식회사 Semiconductor Manufacturing Yield Prediction System and Method based on Machine Learning
KR101919076B1 (en) 2017-12-20 2018-11-19 (주)지오시스템리서치 Time-series data predicting system
KR101936029B1 (en) * 2018-07-18 2019-01-11 한국과학기술정보연구원 Valuation method based on deep-learning and apparatus thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648272B1 (en) 2014-12-24 2016-08-16 충남대학교산학협력단 Method for forecasting household water demand and detecting water leakage based on complex event processing and machine learning
JP2016173782A (en) * 2015-03-18 2016-09-29 エヌ・ティ・ティ・コミュニケーションズ株式会社 Failure prediction system, failure prediction method, failure prediction apparatus, learning apparatus, failure prediction program, and learning program
KR101637458B1 (en) 2015-03-19 2016-07-08 주식회사 위엠비 Integrated control method for data center, Integrated control system performing the same, Computer program for the same, and Recording medium storing computer program thereof
KR20180054992A (en) * 2016-11-15 2018-05-25 (주) 글루시스 Failure prediction method of system resource for smart computing
KR101917006B1 (en) 2016-11-30 2018-11-08 에스케이 주식회사 Semiconductor Manufacturing Yield Prediction System and Method based on Machine Learning
KR20180120558A (en) * 2017-04-27 2018-11-06 주식회사 케이티 System and method for predicting communication apparatuses failure based on deep learning
KR101919076B1 (en) 2017-12-20 2018-11-19 (주)지오시스템리서치 Time-series data predicting system
KR101936029B1 (en) * 2018-07-18 2019-01-11 한국과학기술정보연구원 Valuation method based on deep-learning and apparatus thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210107402A (en) * 2020-02-24 2021-09-01 동신대학교산학협력단 Deep learning based rainwater pumping station simulation operation program
KR102390890B1 (en) * 2020-02-24 2022-04-25 동신대학교산학협력단 Deep learning based rainwater pumping station simulation operation program
WO2022145981A1 (en) * 2020-12-29 2022-07-07 주식회사 인이지 Automatic training-based time series data prediction and control method and apparatus
KR20240037443A (en) 2022-09-14 2024-03-22 위데이터랩 주식회사 System and method for log event monitoring based on latent space
WO2024071793A1 (en) * 2022-09-27 2024-04-04 (주)에이아이매틱스 Method and apparatus for detection of event based on hierarchical structure that may be linked to memory

Similar Documents

Publication Publication Date Title
KR102041545B1 (en) Event monitoring method based on event prediction using deep learning model, Event monitoring system and Computer program for the same
US11902335B2 (en) System and method for role validation in identity management artificial intelligence systems using analysis of network identity graphs
US10848499B2 (en) System and method for role mining in identity management artificial intelligence systems using cluster based analysis of network identity graphs
CN112102111B (en) Intelligent processing system for power plant data
US11811833B2 (en) System and method for predictive modeling for entitlement diffusion and role evolution in identity management artificial intelligence systems using network identity graphs
US10484413B2 (en) System and a method for detecting anomalous activities in a blockchain network
US8655623B2 (en) Diagnostic system and method
Li et al. An integrated framework on mining logs files for computing system management
US20080140817A1 (en) System and method for performance problem localization
US9836952B2 (en) Alarm causality templates for network function virtualization
US20150121136A1 (en) System and method for automatically managing fault events of data center
WO2016016926A1 (en) Management calculator and method for evaluating performance threshold value
US11675687B2 (en) Application state prediction using component state
CN111310139B (en) Behavior data identification method and device and storage medium
Harutyunyan et al. Abnormality analysis of streamed log data
CN114553596B (en) Multi-dimensional security condition real-time display method and system suitable for network security
Weiss Predicting telecommunication equipment failures from sequences of network alarms
CN112291266A (en) Data processing method and device
CN110415136B (en) Service capability evaluation system and method for power dispatching automation system
Ullah et al. An architecture-driven adaptation approach for big data cyber security analytics
Sahoo et al. Providing persistent and consistent resources through event log analysis and predictions for large-scale computing systems
CN116149824A (en) Task re-running processing method, device, equipment and storage medium
CN107145599A (en) A kind of big data asset management system
Mardani et al. ‘Fraud detection in process-aware information systems using process mining
Sukhija et al. Towards anomaly detection for monitoring power consumption in HPC facilities

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant