KR102233257B1 - Method and apparatus for combination of data - Google Patents

Method and apparatus for combination of data Download PDF

Info

Publication number
KR102233257B1
KR102233257B1 KR1020150154445A KR20150154445A KR102233257B1 KR 102233257 B1 KR102233257 B1 KR 102233257B1 KR 1020150154445 A KR1020150154445 A KR 1020150154445A KR 20150154445 A KR20150154445 A KR 20150154445A KR 102233257 B1 KR102233257 B1 KR 102233257B1
Authority
KR
South Korea
Prior art keywords
aggregation
information
data
log
metric
Prior art date
Application number
KR1020150154445A
Other languages
Korean (ko)
Other versions
KR20170052237A (en
Inventor
박민서
이종혁
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020150154445A priority Critical patent/KR102233257B1/en
Publication of KR20170052237A publication Critical patent/KR20170052237A/en
Application granted granted Critical
Publication of KR102233257B1 publication Critical patent/KR102233257B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)

Abstract

본 발명은 데이터 조합 장치 및 방법에 관한 것이다. 개시된 데이터 조합 장치는 로그 데이터 및 매트릭 데이터에 포함된 메타 정보와 공통으로 포함된 기준항목 정보를 추출하는 데이터 추출부와, 로그 데이터에 대해 기 설정된 로그 집계 조건으로 집계 처리하여 로그 집계 정보를 생성하는 로그 집계부와, 매트릭 데이터에 대해 기 설정된 매트릭 집계 조건으로 집계 처리하여 매트릭 집계 정보를 생성하는 매트릭 집계부와, 기준항목 정보, 메타 정보, 로그 집계 정보 및 매트릭 집계 정보를 포함하는 조합 데이터를 출력하는 조합 출력부를 포함한다. 로그 데이터와 매트릭 데이터를 개별적으로 집계 처리한 후에 조합하여 출력하기에, 매트릭 검색 후에 다시 로그 검색을 하거나 로그 검색 후에 다시 매트릭 검색을 할 필요가 없어서 데이터 분석의 효율성이 증대되는 이점이 있다.The present invention relates to an apparatus and method for combining data. The disclosed data combination device includes a data extracting unit that extracts meta information included in log data and metric data and reference item information commonly included, and aggregates and processes log data under preset log aggregation conditions to generate log aggregation information. Outputs a log aggregation unit, a metric aggregation unit that aggregates and generates metric aggregation information by processing the metric data under preset metric aggregation conditions, and combined data including reference item information, meta information, log aggregation information, and metric aggregation information It includes a combination output unit. Since log data and metric data are individually aggregated and outputted, there is no need to perform a log search again after a metric search or a metric search again after a log search, thereby increasing the efficiency of data analysis.

Description

데이터 조합 장치 및 방법{METHOD AND APPARATUS FOR COMBINATION OF DATA}Data combination device and method {METHOD AND APPARATUS FOR COMBINATION OF DATA}

본 발명은 데이터 조합 장치 및 방법에 관한 것이다. 더욱 상세하게는 로그 데이터(log data)와 매트릭 데이터(metric data)를 조합하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for combining data. More particularly, it relates to an apparatus and method for combining log data and metric data.

주지하는 바와 같이, 정보 통신을 포함한 각종 산업 현장에서 트러블 슈팅(trouble shooting)의 가장 중요한 과제는 최대한 신속하고 정확하게 장애를 검출하는 것이다. 원인을 정확하게 파악하기 위해서는 로그 데이터에 대한 분석뿐만 아니라 그래픽컬 뷰(graphical view)와 함께 패턴(pattern)을 제공하는 매트릭 데이터에 대한 분석도 필요하다.As is well known, the most important task of trouble shooting in various industrial sites including information and communication is to detect a failure as quickly and accurately as possible. In order to accurately identify the cause, it is necessary not only to analyze log data but also to analyze metric data that provides a pattern along with a graphical view.

하지만, 종래에는 로그 데이터에 대한 분석과 매트릭 데이터에 대한 분석을 별도로 수행하여야 하는 비효율적인 문제점이 있었다. 그 이유는 로그 데이터와 매트릭 데이터의 저장 구조가 서로 다르므로 원시 데이터(raw data)를 조합하여 제공하기 어렵기 때문이다.However, in the related art, there is an inefficient problem in that an analysis of log data and an analysis of metric data must be separately performed. The reason is that it is difficult to provide a combination of raw data because the storage structures of log data and metric data are different.

한국 공개특허공보 제2013-0099671호, 공개일자 2013년 09월 06일.Korean Patent Laid-Open Publication No. 2013-0099671, Publication Date September 06, 2013.

본 발명은 전술한 바와 같은 종래 기술의 문제점을 해결하기 위해 제안된 것으로서, 로그 데이터와 매트릭 데이터를 개별적으로 집계 처리한 후에 조합하여 출력하는 데이터 조합 장치 및 방법을 제공한다.The present invention has been proposed in order to solve the problems of the prior art as described above, and provides a data combination apparatus and method for separately aggregated and outputted log data and metric data.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those of ordinary skill in the art from the following description.

본 발명의 제 1 관점에 따른 데이터 조합 장치는, 로그 데이터 및 매트릭 데이터에 포함된 메타 정보와 공통으로 포함된 기준항목 정보를 추출하는 데이터 추출부와, 상기 로그 데이터에 대해 기 설정된 로그 집계 조건으로 집계 처리하여 로그 집계 정보를 생성하는 로그 집계부와, 상기 매트릭 데이터에 대해 기 설정된 매트릭 집계 조건으로 집계 처리하여 매트릭 집계 정보를 생성하는 매트릭 집계부와, 상기 기준항목 정보, 상기 메타 정보, 상기 로그 집계 정보 및 상기 매트릭 집계 정보를 포함하는 조합 데이터를 출력하는 조합 출력부를 포함할 수 있다.A data combination device according to a first aspect of the present invention includes a data extracting unit for extracting meta information included in log data and metric data and reference item information commonly included, and a log aggregation condition preset for the log data. A log aggregation unit for generating log aggregation information by aggregate processing, a metric aggregation unit for generating metric aggregation information by aggregate processing for the metric data according to a preset metric aggregation condition, the reference item information, the meta information, and the log It may include a combination output unit for outputting the combination data including the aggregation information and the metric aggregation information.

본 발명의 제 2 관점에 따른 데이터 조합 장치에서 수행되는 데이터 조합 방법은, 로그 데이터 및 매트릭 데이터에 포함된 메타 정보와 공통으로 포함된 기준항목 정보를 추출하는 단계와, 상기 로그 데이터에 대해 기 설정된 로그 집계 조건으로 집계 처리하여 로그 집계 정보를 생성하는 단계와, 상기 매트릭 데이터에 대해 기 설정된 매트릭 집계 조건으로 집계 처리하여 매트릭 집계 정보를 생성하는 단계와, 상기 기준항목 정보, 상기 메타 정보, 상기 로그 집계 정보 및 상기 매트릭 집계 정보를 포함하는 조합 데이터를 출력하는 단계를 포함할 수 있다.The data combination method performed in the data combination device according to the second aspect of the present invention includes the steps of extracting meta information included in log data and metric data and reference item information commonly included, and presetting the log data. The steps of generating log aggregation information by aggregate processing under log aggregation conditions, generating metric aggregation information by aggregate processing under a preset metric aggregation condition for the metric data, the reference item information, the meta information, and the log It may include the step of outputting the combined data including the aggregate information and the metric aggregate information.

본 발명의 실시예에 의하면, 로그 데이터와 매트릭 데이터를 개별적으로 집계 처리한 후에 조합하여 출력한다.According to an embodiment of the present invention, log data and metric data are individually aggregated and then combined and output.

따라서, 각종 산업 현장에서 트러블 슈팅을 위한 데이터 분석에 적용할 경우에는 로그 데이터와 매트릭 데이터에 대한 분석을 별도로 수행할 필요가 없이 한꺼번에 수행할 수 있다.Therefore, when applied to data analysis for trouble shooting in various industrial sites, log data and metric data can be analyzed at once without the need to separately perform analysis.

이에 따라, 매트릭 검색 후에 다시 로그 검색을 하거나 로그 검색 후에 다시 매트릭 검색을 할 필요가 없어서 데이터 분석의 효율성이 증대되는 효과가 있다.Accordingly, there is no need to perform a log search again after a metric search or a metric search again after a log search, thereby increasing the efficiency of data analysis.

도 1은 본 발명의 일 실시예에 따른 데이터 조합 장치의 블록 구성도이다.
도 2는 도 1에 도시된 데이터 조합 장치를 구성하는 로그 집계부 및 매트릭 집계부의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따라 조합 데이터가 생성되는 과정을 나타낸 데이터 구조도이다.
도 4는 본 발명의 일 실시예에 따른 데이터 조합 장치에 의한 데이터 조합 방법을 설명하기 위한 흐름도이다.1 is a block diagram of a data combination device according to an embodiment of the present invention.
FIG. 2 is a block diagram of a log aggregation unit and a metric aggregation unit constituting the data combination device shown in FIG. 1.
3 is a data structure diagram illustrating a process of generating combined data according to an embodiment of the present invention.
4 is a flowchart illustrating a method of combining data by a data combining device according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout the present specification.

도 1은 본 발명의 일 실시예에 따른 데이터 조합 장치의 블록 구성도이며, 도 2는 도 1에 도시된 데이터 조합 장치를 구성하는 로그 집계부 및 매트릭 집계부의 블록 구성도이다.1 is a block diagram of a data combination device according to an embodiment of the present invention, and FIG. 2 is a block diagram of a log aggregation unit and a metric aggregation unit constituting the data combination device shown in FIG. 1.

이에 나타낸 바와 같이 데이터 조합 장치(100)는, 데이터 추출부(110), 로그 집계부(120), 매트릭 집계부(130), 조합 출력부(140)를 포함한다. 로그 집계부(120) 및 매트릭 집계부(130)는 집계 설정 관리기(201), 집계 설정 저장소(203), 정보 해석기(205), 집계 대상 판별기(207), 집계 작업 수행기(209), 집계 임시 저장소(211), 집계 결과 전송기(213)를 포함한다.As shown here, the data combination device 100 includes a data extraction unit 110, a log aggregation unit 120, a metric aggregation unit 130, and a combination output unit 140. The log aggregation unit 120 and the metric aggregation unit 130 include an aggregation setting manager 201, an aggregation setting storage 203, an information interpreter 205, an aggregation target discriminator 207, an aggregation task performer 209, and aggregation. It includes a temporary storage 211 and an aggregate result transmitter 213.

데이터 추출부(110)는 로그 데이터 및 매트릭 데이터에 포함된 메타 정보와 공통으로 포함된 기준항목 정보를 추출한다. 여기서, 기준항목 정보는 위치 정보 및 시간 정보를 포함한다. 예컨대, 발생지가 위치 정보로서 포함될 수 있으며, 발생시간 또는 측정시간이 시간 정보로서 포함될 수 있다.The data extracting unit 110 extracts meta-information included in log data and metric data, and reference item information commonly included in the log data. Here, the reference item information includes location information and time information. For example, the place of origin may be included as location information, and the occurrence time or measurement time may be included as time information.

로그 집계부(120)는 로그 데이터에 대해 기 설정된 로그 집계 조건으로 집계 처리하여 로그 집계 정보를 생성한다. 정보 해석기(205)는 로그 데이터에 포함된 메타 정보와 로그 본문을 해석한다. 집계 설정 관리기(201)는 로그 집계 설정에 대해 집계 대상을 판별할 수 있는 정보를 정의하여 집계 설정 저장소(203)에 저장한다. 집계 대상 판별기(207)는 집계 설정 저장소(203)에 저장된 정보들을 확인하여 정보 해석기(205)에 의해 해석된 정보들 중에서 집계에 필요한 데이터를 판별한다. 집계 작업 수행기(209)는 집계 대상 판별기(207)에 의해 판별된 데이터를 대상으로 하여 집계 처리를 수행한다. 집계 결과 전송기(213)는 집계 작업 수행기(209)에 의해 집계 처리된 로그 집계 정보를 집계 결과로서 전송한다.The log aggregation unit 120 aggregates and processes log data according to a preset log aggregation condition to generate log aggregation information. The information interpreter 205 analyzes meta-information and log text included in log data. The aggregation setting manager 201 defines information capable of determining an aggregation target for the log aggregation setting and stores it in the aggregation setting storage 203. The aggregation target determiner 207 checks the information stored in the aggregation setting storage 203 and determines data necessary for aggregation among the information analyzed by the information analyzer 205. The aggregation task performer 209 performs aggregation processing by targeting the data determined by the aggregation target determiner 207. The aggregate result transmitter 213 transmits the log aggregate information aggregated by the aggregate operation performer 209 as an aggregate result.

매트릭 집계부(130)는 매트릭 데이터에 대해 기 설정된 매트릭 집계 조건으로 집계 처리하여 매트릭 집계 정보를 생성한다. 정보 해석기(205)는 매트릭 데이터에 포함된 메타 정보와 값을 해석한다. 집계 설정 관리기(201)는 매트릭 집계 설정에 대해 집계 대상을 판별할 수 있는 정보를 정의하여 집계 설정 저장소(203)에 저장한다. 집계 대상 판별기(207)는 집계 설정 저장소(203)에 저장된 정보들을 확인하여 정보 해석기(205)에 의해 해석된 정보들 중에서 집계에 필요한 데이터를 판별한다. 집계 작업 수행기(209)는 집계 대상 판별기(207)에 의해 판별된 데이터를 대상으로 하여 집계 처리를 수행한다. 집계 결과 전송기(213)는 집계 작업 수행기(209)에 의해 집계 처리된 매트릭 집계 정보를 집계 결과로서 전송한다.The metric aggregation unit 130 aggregates and processes the metric data under a preset metric aggregation condition to generate metric aggregation information. The information interpreter 205 interprets meta information and values included in the metric data. The aggregation setting manager 201 defines information for determining an aggregation target for the metric aggregation setting and stores it in the aggregation setting storage 203. The aggregation target determiner 207 checks the information stored in the aggregation setting storage 203 and determines data necessary for aggregation among the information analyzed by the information analyzer 205. The aggregation task performer 209 performs aggregation processing by targeting the data determined by the aggregation target determiner 207. The aggregate result transmitter 213 transmits, as an aggregate result, metric aggregate information aggregated by the aggregate task performer 209.

조합 출력부(140)는 기준항목 정보, 메타 정보, 로그 집계 정보 및 매트릭 집계 정보를 포함하는 조합 데이터를 출력한다.The combination output unit 140 outputs combination data including reference item information, meta information, log aggregation information, and metric aggregation information.

도 3은 본 발명의 일 실시예에 따라 조합 데이터가 생성되는 과정을 나타낸 데이터 구조도이다. 이에 나타낸 바와 같이 로그 집계부(120) 및 매트릭 집계부(130)에 의한 집계 처리를 거쳐서 생성되는 조합 데이터는 기준항목 필드, 메타 정보 필드, 데이터 필드를 포함할 수 있다.3 is a data structure diagram illustrating a process of generating combined data according to an embodiment of the present invention. As shown, the combined data generated through the aggregation processing by the log aggregation unit 120 and the metric aggregation unit 130 may include a reference item field, a meta information field, and a data field.

도 4는 본 발명의 일 실시예에 따른 데이터 조합 장치에 의한 데이터 조합 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of combining data by a data combining device according to an embodiment of the present invention.

이에 나타낸 바와 같이 실시예에 따른 데이터 조합 방법은, 로그 데이터 및 매트릭 데이터에 포함된 메타 정보와 공통으로 포함된 기준항목 정보를 추출하는 단계(301)를 포함한다.As shown, the data combination method according to the embodiment includes a step 301 of extracting meta-information included in log data and metric data, and reference item information commonly included in the log data.

그리고, 로그 데이터에 대해 기 설정된 로그 집계 조건으로 집계 처리하여 로그 집계 정보를 생성하는 단계(303)를 포함한다.In addition, a step 303 of generating log aggregate information by aggregate processing the log data according to a preset log aggregate condition.

아울러, 매트릭 데이터에 대해 기 설정된 매트릭 집계 조건으로 집계 처리하여 매트릭 집계 정보를 생성하는 단계(305)를 포함한다.In addition, it includes a step 305 of generating metric aggregate information by aggregate processing for the metric data according to a preset metric aggregation condition.

다음으로, 기준항목 정보, 메타 정보, 로그 집계 정보 및 매트릭 집계 정보를 포함하는 조합 데이터를 출력하는 단계(307)를 포함한다.Next, a step 307 of outputting combination data including reference item information, meta information, log aggregation information, and metric aggregation information.

이하, 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 데이터 조합 장치에 의해 수행되는 데이터 조합 방법에 대해 더 자세히 살펴보기로 한다.Hereinafter, a data combination method performed by a data combination device according to an embodiment of the present invention will be described in more detail with reference to FIGS. 1 to 4.

먼저, 로그 데이터 및 매트릭 데이터가 수집되어 입력되면 데이터 추출부(110)는 로그 데이터 및 매트릭 데이터에 포함된 메타 정보와 공통으로 포함된 기준항목 정보를 추출하여 조합 출력부(140)에게 제공한다. 여기서, 기준항목 정보는 위치 정보 및 시간 정보를 포함한다. 예컨대, 발생지가 위치 정보로서 포함될 수 있으며, 발생시간 또는 측정시간이 시간 정보로서 포함될 수 있다. 예컨대, 로그 정보로는 system log, audit log, web server log, web application log, DB log 등이 수집될 수 있고, 매트릭 정보로는 CPU 부하, Disk 부하, 네트워크 부하, 메모리 부하 등이 수집될 수 있다.First, when log data and metric data are collected and input, the data extracting unit 110 extracts meta-information included in the log data and metric data, and reference item information commonly included in the log data and metric data, and provides them to the combination output unit 140. Here, the reference item information includes location information and time information. For example, the place of origin may be included as location information, and the occurrence time or measurement time may be included as time information. For example, system log, audit log, web server log, web application log, and DB log may be collected as log information, and CPU load, disk load, network load, memory load, etc. may be collected as metric information. .

그리고, 로그 집계부(120)는 로그 데이터에 대해 기 설정된 로그 집계 조건으로 집계 처리하여 로그 집계 정보를 생성하며, 생성된 로그 집계 정보를 조합 출력부(140)에게 제공한다.In addition, the log aggregation unit 120 aggregates and processes the log data according to a preset log aggregation condition to generate log aggregation information, and provides the generated log aggregation information to the combination output unit 140.

정보 해석기(205)는 로그 데이터에 포함된 메타 정보와 로그 본문 및 값을 해석한다. 집계 설정 관리기(201)는 로그 집계 설정에 대해 집계 대상을 판별할 수 있는 정보를 정의하여 집계 설정 저장소(203)에 저장한다. 집계 대상 판별기(207)는 집계 설정 저장소(203)에 저장된 정보들을 확인하여 정보 해석기(205)에 의해 해석된 정보들 중에서 집계에 필요한 데이터를 판별한다. 집계 작업 수행기(209)는 집계 대상 판별기(207)에 의해 판별된 데이터를 대상으로 하여 집계 처리를 수행한다. 집계 결과 전송기(213)는 집계 작업 수행기(209)에 의해 집계 처리된 로그 집계 정보를 집계 결과로서 전송한다.The information interpreter 205 analyzes meta-information included in log data, the log text, and values. The aggregation setting manager 201 defines information capable of determining an aggregation target for the log aggregation setting and stores it in the aggregation setting storage 203. The aggregation target determiner 207 checks the information stored in the aggregation setting storage 203 and determines data necessary for aggregation among the information analyzed by the information analyzer 205. The aggregation task performer 209 performs aggregation processing by targeting the data determined by the aggregation target determiner 207. The aggregate result transmitter 213 transmits the log aggregate information aggregated by the aggregate operation performer 209 as an aggregate result.

이러한 로그 집계부(120)는 로그 데이터를 대상으로 특정 속성에 대하여 필터(filter), 카운트(count), 패턴(pattern) 등의 집계를 통해 새로운 데이터를 생성할 수 있다.The log aggregator 120 may generate new data through aggregation of a filter, a count, and a pattern for a specific attribute of the log data.

집계 설정 관리기(201)로 입력되는 로그 집계 설정은 집계 대상을 판별할 수 있는 정보 및 집계 방법에 대한 정의로 구성된다. 집계 대상은 로그 데이터의 메타 정보이다. 해당 시간에 발생하는 메타 정보이다. 필요시에, 로그 본문의 값을 계산 후, 계산된 값이 다시 집계 대상이 될 수 있다.The log aggregation setting input to the aggregation setting manager 201 is composed of information capable of determining an aggregation target and a definition of an aggregation method. The target of aggregation is meta information of log data. This is meta information that occurs at the time. If necessary, after calculating the value of the log body, the calculated value can be re-aggregated.

로그 집계 설정은 시스템 외부에서 전달되며, 집계 설정 관리기(201)가 1차 전달받는다. 집계 설정 관리기(201)는 외부에서 집계 설정 요청이 오는 경우 일단 이를 집계 단위로 분리하며, 각각의 집계가 현재 수행되고 있는 집계인지를 확인하고, 수행되지 않고 있는 상황인 경우에 요청을 집계 설정 저장소(203)에 등록한 후에, 해당 집계 작업을 수행한다. 여기서, 집계 설정은 대상, 방법, 부가정보의 조합으로 구성된다. 대상은 집계 대상 데이터의 원천과 종류를 포함한다. 방법은 집계를 수행하는 구체적 방안을 포함한다. 부가정보는 집계 수행의 단위 또는 선제조건을 포함한다. 예컨대, "5분 이상 CPU 부하가 99% 이상인 상황에서 syslog의 30초간 Error 숫자"를 집계하는 경우 "5분 이상 CPU 부하가 99% 이상인 상황"이 선제조건 등의 부가정보로 담길 수 있다.The log aggregation setting is transmitted from the outside of the system, and the aggregation setting manager 201 is first transmitted. When an aggregate setting request comes from an outside, the aggregate setting manager 201 separates it into aggregate units once, checks whether each aggregate is currently being performed, and in the case of not being performed, sends the request to the aggregate setting storage. After registering at (203), the corresponding counting operation is performed. Here, the aggregation setting consists of a combination of an object, a method, and additional information. Target includes the source and type of the data to be aggregated. The method includes a specific method of performing aggregation. The additional information includes the units or prerequisites for performing the aggregation. For example, when "the number of errors in syslog for 30 seconds in a situation where the CPU load is over 99% for 5 minutes or more", "the situation in which the CPU load is over 99% for 5 minutes or more" can be included as additional information such as prerequisites.

예컨대, CPU의 시스템 사용 부하에 대하여 1초 단위로 수집된 데이터에 대해 1분 단위의 산술평균을 알고 싶다고 가정하자. 해당 문제를 해결하기 위해서, 로그 집계 설정은 집계 대상을 판별할 수 있는 정보 및 집계 방법에 대한 정의한 후, 각각의 요소를 집계 설정 관리기(201)가 분리하여, 집계 설정 저장소(203)에 저장한다. For example, assume that you want to know the arithmetic average of 1 minute for data collected in units of 1 second for the system usage load of the CPU. In order to solve the problem, the log aggregation setting defines information for determining the aggregation target and an aggregation method, and then the aggregation configuration manager 201 separates each element and stores it in the aggregation configuration storage 203. .

그리고, 집계 대상 판별기(207)에서, 집계 설정 저장소(203)에서 저장된 정보들을 확인하여, 집계에 필요한 데이터를 판별한다. 집계에 필요한 대상을 판별한 후, 대상 데이터는 집계 작업 수행기(209)로 보내진다.Then, the aggregation target determiner 207 checks the information stored in the aggregation setting storage 203 to determine data required for aggregation. After determining the target required for aggregation, the target data is sent to the aggregation task performer 209.

그러면, 집계 작업 수행기(209)는 집계 설정에서 기 정의된 집계 방법에 따라 집계작업을 수행한다. 집계 작업 시, 집계를 위한 중간 데이터를 저장하기 위해 집계 임시 저장소(211)가 사용된다.Then, the aggregation task performer 209 performs the aggregation task according to the aggregation method predefined in the aggregation setting. During the aggregation operation, the aggregate temporary storage 211 is used to store intermediate data for aggregation.

이후, 집계 작업 수행기(209)에서 수행한 집계 작업에 의해서 도출된 결과가 집계 결과 전송기(213)에 의해서 전달된다.Thereafter, the result derived by the aggregation operation performed by the aggregation task performer 209 is transmitted by the aggregation result transmitter 213.

앞서 설명한 바와 같이 로그 집계 설정은 집계 대상을 판별할 수 있는 정보 및 집계 방법에 대한 정의로 구성된다. 집계 대상에 대한 판별은 로그 정보에 포함되어 있는 메타정보 및 필요 시 로그인 경우 로그 본문을 해석하여 확정한다. 로그 집계 설정은 대상, 방법, 부가 정보의 조합으로 구성되며, 집계 대상 판별기(207)는 집계 설정 저장소(203)에서 해당 정보를 확인하여 집계에 필요한 데이터를 판별한다. 집계 작업 수행기(209)는 확인된 집계 설정을 사용하여 대상 데이터에 대한 집계 작업을 수행하며, 필요에 따라 집계 임시 저장소(211)에 집계를 위한 중간데이터를 저장한다. 집계 작업 수행기(209)가 수행한 집계 작업에 의하여 도출된 결과가 집계 전달 전송기(213)에 의하여 사용처에 전달된다.As described above, the log aggregation setting consists of information that can determine the target of aggregation and the definition of the aggregation method. The determination of the target for aggregation is determined by analyzing the meta information included in the log information and the log body when logging in if necessary. The log aggregation setting is composed of a combination of a target, a method, and additional information, and the aggregation target determiner 207 checks the corresponding information in the aggregation setting storage 203 to determine data necessary for aggregation. The aggregation operation performer 209 performs an aggregation operation on the target data using the checked aggregation setting, and stores intermediate data for aggregation in the aggregation temporary storage 211 as needed. The result derived by the aggregation operation performed by the aggregation task performer 209 is transmitted to the usage destination by the aggregation delivery transmitter 213.

집계 작업 수행기(209)에 대하여 조금 더 자세히 기술해 보면, 집계 작업 수행기(209)는 집계 대상 또는 집계를 위한 기반 데이터로 판별된 데이터를 입력받아, 집계 임시 저장소(211)에 이후 집계작업을 위해 데이터를 저장함과 동시에 설정된 집계작업을 수행한다. 집계 작업 수행을 위하여 집계 설정 저장소(203)에서 특정 집계값을 구하기 위한 기반 데이터 및 연산함수를 확보한다. 집계 작업 수행기(209)는 해당 정보를 받아 집계 임시 저장소(211)에서 추출해야 할 집계용 기반 데이터의 종류와 범위를 결정하며, 집계 작업 수행기(209)로 하여금 해당 데이터를 집계 임시 저장소(221)에서 추출하도록 한다.To describe the aggregate operation performer 209 in more detail, the aggregate operation performer 209 receives data determined as an aggregate target or base data for aggregation, and stores the aggregate temporary storage 211 for subsequent aggregation operations. Data is saved and the set aggregation operation is performed at the same time. In order to perform an aggregation operation, base data and an operation function for obtaining a specific aggregate value from the aggregation setting storage 203 are secured. The aggregate operation performer 209 receives the corresponding information and determines the type and range of the aggregate base data to be extracted from the aggregate temporary storage 211, and causes the aggregate operation performer 209 to store the data in the aggregate temporary storage 221 Let's extract it from.

집계 임시 저장소(211)는 로그 집계부(120) 및 매트릭 집계부(130)가 공용으로 사용하는 저장소이며, 로그 또는 매트릭 데이터의 집계 시 다른 종류의 정보를 활용하여야 할 경우에는 해당 저장소를 공통된 통로로 사용하여 로그와 매트릭 데이터 간의 상호 참조를 가능하게 한다. 이는 로그나 매트릭이 아닌 제 3의 유형의 데이터에 대해서도 마찬가지이다.The aggregate temporary storage 211 is a storage commonly used by the log aggregation unit 120 and the metric aggregation unit 130, and when other types of information are to be used when collecting log or metric data, the storage is a common passage. Use as to enable cross-reference between log and metric data. The same is true for third-party data types that are not log or metric.

집계 작업 수행기(209)는 전달받은 집계 함수와 기반 데이터를 활용하여 집계 연산을 수행하며 그 결과를 집계 임시 저장부(211)와 동시에 집계 결과 전송기에 전송하여 이후 사용하도록 한다.The aggregate operation performer 209 performs an aggregate operation using the received aggregate function and base data, and transmits the result to the aggregate result transmitter at the same time as the aggregate temporary storage unit 211 to be used later.

집계 작업 수행기(209)가 연산 결과를 집계 임시 저장소(211)로 전달하는 이유는 해당 연산결과 자체가 이후 집계작업에서 재사용되는 경우에 대한 대비 외에도 해당 결과에 대한 추가적인 집계작업이 설정되는 경우가 존재하기 때문이다.The reason why the aggregate operation performer 209 transfers the operation result to the aggregate temporary storage 211 is that, in addition to the preparation for the case that the operation result itself is reused in a subsequent aggregation operation, there are cases where an additional aggregation operation for the result is set. Because it does.

한편, 매트릭 집계부(130)는 매트릭 데이터에 대해 기 설정된 매트릭 집계 조건으로 집계 처리하여 매트릭 집계 정보를 생성하며, 생성된 매트릭 집계 정보를 조합 출력부(140)에게 제공한다.Meanwhile, the metric aggregation unit 130 aggregates and processes the metric data according to a preset metric aggregation condition to generate metric aggregation information, and provides the generated metric aggregation information to the combination output unit 140.

정보 해석기(205)는 매트릭 데이터에 포함된 메타 정보와 값을 해석한다. 집계 설정 관리기(201)는 매트릭 집계 설정에 대해 집계 대상을 판별할 수 있는 정보를 정의하여 집계 설정 저장소(203)에 저장한다. 집계 대상 판별기(207)는 집계 설정 저장소(203)에 저장된 정보들을 확인하여 정보 해석기(205)에 의해 해석된 정보들 중에서 집계에 필요한 데이터를 판별한다. 집계 작업 수행기(209)는 집계 대상 판별기(207)에 의해 판별된 데이터를 대상으로 하여 집계 처리를 수행한다. 집계 결과 전송기(213)는 집계 작업 수행기(209)에 의해 집계 처리된 매트릭 집계 정보를 집계 결과로서 전송한다.The information interpreter 205 interprets meta information and values included in the metric data. The aggregation setting manager 201 defines information for determining an aggregation target for the metric aggregation setting and stores it in the aggregation setting storage 203. The aggregation target determiner 207 checks the information stored in the aggregation setting storage 203 and determines data necessary for aggregation among the information analyzed by the information analyzer 205. The aggregation task performer 209 performs aggregation processing by targeting the data determined by the aggregation target determiner 207. The aggregate result transmitter 213 transmits, as an aggregate result, metric aggregate information aggregated by the aggregate task performer 209.

예컨대, 매트릭 집계부(130)는 매트릭을 특정 속성에 대하여 Min, Max, Sum, Avg, A metric-B metric 등 매트릭 간 연산, 조건에 의한 연산 등을 통해 새로운 데이터를 생성할 수 있다.For example, the metric aggregation unit 130 may generate new data through an operation between metrics, such as Min, Max, Sum, Avg, A metric-B metric, etc., for a specific attribute, and an operation based on a condition.

매트릭 집계부(130)에 의한 세부 동작 과정은 앞서 설명한 로그 집계부(130)에 의한 세부 동작 과정과 비교할 때에 유사한 절차 및 원리를 통해 수행된다.The detailed operation process by the metric aggregation unit 130 is performed through a similar procedure and principle when compared to the detailed operation process by the log aggregation unit 130 described above.

집계 설정 관리기(201)로 입력되는 매트릭 집계 설정은 집계 대상을 판별할 수 있는 정보 및 집계 방법에 대한 정의로 구성된다. 집계 대상은 매트릭 데이터의 메타 정보이다. 해당 시간에 발생하는 메타 정보이다. 필요시에, 로그 본문의 값을 계산 후, 계산된 값이 다시 집계 대상이 될 수 있다.The metric aggregation setting input to the aggregation setting manager 201 is composed of information capable of determining an aggregation target and a definition of an aggregation method. The target of aggregation is meta information of metric data. This is meta information that occurs at the time. If necessary, after calculating the value of the log body, the calculated value can be re-aggregated.

매트릭 집계 설정은 시스템 외부에서 전달되며, 집계 설정 관리기(201)가 1차 전달받는다. 집계 설정 관리기(201)는 외부에서 집계 설정 요청이 오는 경우 일단 이를 집계 단위로 분리하며, 각각의 집계가 현재 수행되고 있는 집계인지를 확인하고, 수행되지 않고 있는 상황인 경우에 요청을 집계 설정 저장소(203)에 등록한 후에, 해당 집계 작업을 수행한다. 여기서, 집계 설정은 대상, 방법, 부가정보의 조합으로 구성된다. 대상은 집계 대상 데이터의 원천과 종류를 포함한다. 방법은 집계를 수행하는 구체적 방안을 포함한다. 부가정보는 집계 수행의 단위 또는 선제조건을 포함한다. 예컨대, "5분 이상 CPU 부하가 99% 이상인 상황에서 syslog의 30초간 Error 숫자"를 집계하는 경우 "5분 이상 CPU 부하가 99% 이상인 상황"이 선제조건 등의 부가정보로 담길 수 있다.The metric aggregation setting is transmitted from outside the system, and the aggregation setting manager 201 is first transmitted. When an aggregate setting request comes from an outside, the aggregate setting manager 201 separates it into aggregate units once, checks whether each aggregate is currently being performed, and in the case of not being performed, sends the request to the aggregate setting storage. After registering at (203), the corresponding counting operation is performed. Here, the aggregation setting consists of a combination of an object, a method, and additional information. The target includes the source and type of the data to be aggregated. The method includes a specific method of performing aggregation. The additional information includes the units or prerequisites for performing the aggregation. For example, when "the number of errors in syslog for 30 seconds in a situation where the CPU load is over 99% for 5 minutes or more", "the situation in which CPU load is over 99% for 5 minutes or more" can be included as additional information such as prerequisites.

예컨대, CPU의 시스템 사용 부하에 대하여 1초 단위로 수집된 데이터에 대해 1분 단위의 산술평균을 알고 싶다고 가정하자. 해당 문제를 해결하기 위해서, 매트릭 집계 설정은 집계 대상을 판별할 수 있는 정보 및 집계 방법에 대한 정의한 후, 각각의 요소를 집계 설정 관리기(201)가 분리하여, 집계 설정 저장소(203)에 저장한다. For example, assume that you want to know the arithmetic average of 1 minute for data collected in units of 1 second for the system usage load of the CPU. In order to solve the problem, the metric aggregation setting defines the information and aggregation method that can determine the aggregation target, and then the aggregation configuration manager 201 separates each element and stores it in the aggregation configuration storage 203. .

그리고, 집계 대상 판별기(207)에서, 집계 설정 저장소(203)에서 저장된 정보들을 확인하여, 집계에 필요한 데이터를 판별한다. 집계에 필요한 대상을 판별한 후, 대상 데이터는 집계 작업 수행기(209)로 보내진다.Then, the aggregation target determiner 207 checks the information stored in the aggregation setting storage 203 to determine data required for aggregation. After determining the target required for aggregation, the target data is sent to the aggregation task performer 209.

그러면, 집계 작업 수행기(209)는 집계 설정에서 기 정의된 집계 방법에 따라 집계작업을 수행한다. 집계 작업 시, 집계를 위한 중간 데이터를 저장하기 위해 집계 임시 저장소(211)가 사용된다.Then, the aggregation task performer 209 performs the aggregation task according to the aggregation method predefined in the aggregation setting. During the aggregation operation, the aggregate temporary storage 211 is used to store intermediate data for aggregation.

이후, 집계 작업 수행기(209)에서 수행한 집계 작업에 의해서 도출된 결과가 집계 결과 전송기(213)에 의해서 전달된다.Thereafter, the result derived by the aggregation operation performed by the aggregation task performer 209 is transmitted by the aggregation result transmitter 213.

앞서 설명한 바와 같이 매트릭 집계 설정은 집계 대상을 판별할 수 있는 정보 및 집계 방법에 대한 정의로 구성된다. 집계 대상에 대한 판별은 매트릭 정보에 포함되어 있는 메타정보 및 값 목록을 해석하여 확정한다. 매트릭 집계 설정은 대상, 방법, 부가 정보의 조합으로 구성되며, 집계 대상 판별기(207)는 집계 설정 저장소(203)에서 해당 정보를 확인하여 집계에 필요한 데이터를 판별한다. 집계 작업 수행기(209)는 확인된 집계 설정을 사용하여 대상 데이터에 대한 집계 작업을 수행하며, 필요에 따라 집계 임시 저장소(211)에 집계를 위한 중간데이터를 저장한다. 집계 작업 수행기(209)가 수행한 집계 작업에 의하여 도출된 결과가 집계 전달 전송기(213)에 의하여 사용처에 전달된다.As described above, the metric aggregation setting consists of information that can determine the target of aggregation and the definition of the aggregation method. The determination of the target of aggregation is determined by analyzing the list of meta information and values included in the metric information. The metric aggregation setting is composed of a combination of an object, a method, and additional information, and the aggregation target determiner 207 checks the corresponding information in the aggregation setting storage 203 to determine the data required for aggregation. The aggregation operation performer 209 performs an aggregation operation on the target data using the checked aggregation setting, and stores intermediate data for aggregation in the aggregation temporary storage 211 as needed. The result derived by the aggregation operation performed by the aggregation task performer 209 is transmitted to the usage destination by the aggregation delivery transmitter 213.

집계 작업 수행기(209)에 대하여 조금 더 자세히 기술해 보면, 집계 작업 수행기(209)는 집계 대상 또는 집계를 위한 기반 데이터로 판별된 데이터를 입력받아, 집계 임시 저장소(211)에 이후 집계작업을 위해 데이터를 저장함과 동시에 설정된 집계작업을 수행한다. 집계 작업 수행을 위하여 집계 설정 저장소(203)에서 특정 집계값을 구하기 위한 기반 데이터 및 연산함수를 확보한다. 집계 작업 수행기(209)는 해당 정보를 받아 집계 임시 저장소(211)에서 추출해야 할 집계용 기반 데이터의 종류와 범위를 결정하며, 집계 작업 수행기(209)로 하여금 해당 데이터를 집계 임시 저장소(221)에서 추출하도록 한다.To describe the aggregate operation performer 209 in more detail, the aggregate operation performer 209 receives data determined as an aggregate target or base data for aggregation, and stores the aggregate temporary storage 211 for subsequent aggregation operations. Data is saved and the set aggregation operation is performed at the same time. In order to perform an aggregation operation, base data and an operation function for obtaining a specific aggregate value from the aggregation setting storage 203 are secured. The aggregate operation performer 209 receives the corresponding information and determines the type and range of the aggregate base data to be extracted from the aggregate temporary storage 211, and causes the aggregate operation performer 209 to store the data in the aggregate temporary storage 221 Let's extract it from.

집계 임시 저장소(211)는 로그 집계부(120) 및 매트릭 집계부(130)가 공용으로 사용하는 저장소이며, 로그 또는 매트릭 데이터의 집계 시 다른 종류의 정보를 활용하여야 할 경우에는 해당 저장소를 공통된 통로로 사용하여 로그와 매트릭 데이터 간의 상호 참조를 가능하게 한다. 이는 로그나 매트릭이 아닌 제 3의 유형의 데이터에 대해서도 마찬가지이다.The aggregate temporary storage 211 is a storage commonly used by the log aggregation unit 120 and the metric aggregation unit 130, and when other types of information are to be used when collecting log or metric data, the storage is a common passage. Use as to enable cross-reference between log and metric data. The same is true for third-party data types that are not log or metric.

집계 작업 수행기(209)는 전달받은 집계 함수와 기반 데이터를 활용하여 집계 연산을 수행하며 그 결과를 집계 임시 저장부(211)과 동시에 집계 결과 전송기(213)에 전송하여 이후 사용하도록 한다.The aggregate operation performer 209 performs an aggregate operation using the received aggregate function and base data, and transmits the result to the aggregate result transmitter 213 at the same time as the aggregate temporary storage unit 211 to be used later.

집계 작업 수행기(209)가 연산 결과를 집계 임시 저장소(211)로 전달하는 이유는 해당 연산결과 자체가 이후 집계작업에서 재사용되는 경우에 대한 대비 외에도 해당 결과에 대한 추가적인 집계작업이 설정되는 경우가 존재하기 때문이다.The reason why the aggregate operation performer 209 transfers the operation result to the aggregate temporary storage 211 is that, in addition to the preparation for the case that the operation result itself is reused in a subsequent aggregation operation, there are cases where an additional aggregation operation for the result is set. Because it does.

다음으로, 조합 출력부(140)는 데이터 추출부(110)로부터 제공받은 기준항목 정보 및 메타 정보와 로그 집계부(120)로부터 제공받은 로그 집계 정보 및 매트릭 집계부(130)로부터 제공받은 매트릭 집계 정보를 포함하는 조합 데이터를 생성 및 출력한다. 여기서, 로그 정보와 매트릭 정보를 조합하는 기준은 데이터베이스의 프라이머리 키(primary key)에 해당하는 발생지와 발생/측정시간으로 생성되고, 로그와 매트릭의 메타정보가 같이 저장되며, 그 외의 데이터는 로그 집계부(120)와 매트릭 집계부(130)에서 산출 및 생성된 데이터로 채워진다.Next, the combination output unit 140 includes reference item information and meta information provided from the data extraction unit 110, log aggregation information provided from the log aggregation unit 120, and metric aggregation provided from the metric aggregation unit 130. Generates and outputs combination data including information. Here, the criterion for combining log information and metric information is generated by the origin and occurrence/measurement time corresponding to the primary key of the database, and meta information of logs and metrics are stored together, and other data are log It is filled with data calculated and generated by the aggregation unit 120 and the metric aggregation unit 130.

이처럼, 조합 출력부(140)에 의해 출력되는 조합 데이터는 트러블 슈팅을 위하여 이용될 수 있다. 증상이 발생한 시점을 찾아 해당 시점 로그 정보와 매트릭 정보를 함께 분석하여 선후관계나 인과관계 및 반복적 연관성 등을 파악할 수 있다. 아울러, 특정 증상이 발생한 경우에 과거 유사한 움직임을 보이는 매트릭 정보 및 로그 정보를 검색하여 동일하거나 유사한 문제점이 발생하였는지 여부를 검토하여, 특정 매트릭 패턴이나 로그 패턴이 특정 문제의 원인인지 여부를 파악할 수 있다. 또, 시스템 불안증상과 관련된 가설이 수립된 경우에 저장된 데이터를 기반으로 한 시뮬레이션 또는 검증작업을 통하여 해당 가설 검증에 활용할 수도 있다.As such, the combination data output by the combination output unit 140 may be used for trouble shooting. It is possible to find the time when the symptoms occurred and analyze the log information and metric information at the time point together to identify the predecessor relationship, causal relationship, and repetitive relationship. In addition, when a specific symptom occurs, it is possible to determine whether a specific metric pattern or log pattern is the cause of a specific problem by searching for metric information and log information showing similar movements in the past and examining whether the same or similar problem has occurred. . In addition, when a hypothesis related to system anxiety symptoms is established, the hypothesis can be verified through simulation or verification based on the stored data.

지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면 로그 데이터와 매트릭 데이터를 개별적으로 집계 처리한 후에 조합하여 출력한다.As described so far, according to the embodiment of the present invention, log data and metric data are individually aggregated and then combined and output.

따라서, 각종 산업 현장에서 트러블 슈팅을 위한 데이터 분석에 적용할 경우에는 로그 데이터와 매트릭 데이터에 대한 분석을 별도로 수행할 필요가 없이 한꺼번에 수행할 수 있다.Therefore, when applied to data analysis for trouble shooting in various industrial sites, log data and metric data can be analyzed at once without the need to separately perform analysis.

이에 따라, 매트릭 검색 후에 다시 로그 검색을 하거나 로그 검색 후에 다시 매트릭 검색을 할 필요가 없어서 데이터 분석의 효율성이 증대된다.Accordingly, there is no need to perform a log search again after a metric search or a metric search again after a log search, thereby increasing the efficiency of data analysis.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of each step in each flowchart attached to the present invention may be performed by computer program instructions. Since these computer program instructions can be mounted on the processor of a general purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are the functions described in each step of the flowchart. Will create a means of doing things. These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture containing instruction means for performing the functions described in each step of the flow chart. Since computer program instructions can also be mounted on a computer or other programmable data processing equipment, a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for executing the functions described in each step of the flowchart.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each step may represent a module, segment, or part of code that contains one or more executable instructions for executing the specified logical function(s). In addition, it should be noted that in some alternative embodiments, the functions mentioned in the steps may occur out of order. For example, two steps shown in succession may in fact be performed substantially simultaneously, or the steps may sometimes be performed in the reverse order depending on the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

본 발명의 실시예에 의하면, 로그 데이터와 매트릭 데이터를 개별적으로 집계 처리한 후에 조합하여 출력한다.According to an embodiment of the present invention, log data and metric data are individually aggregated and then combined and output.

따라서, 각종 산업 현장에서 트러블 슈팅을 위한 데이터 분석에 적용할 수 있으며, 데이터 분석의 효율성이 증대된다.Therefore, it can be applied to data analysis for trouble shooting in various industrial sites, and the efficiency of data analysis is increased.

100 : 데이터 조합 장치 110 : 데이터 추출부
120 : 로그 집계부 130 : 매트릭 집계부
201 : 집계 설정 관리기 203 : 집계 설정 저장소
205 : 정보 해석기 207 : 집계 대상 판별기
209 : 집계 작업 수행기 211 : 집계 임시 저장소
213 : 집계 결과 전송기100: data combination device 110: data extraction unit
120: log counting unit 130: metric counting unit
201: accounting settings manager 203: accounting settings storage
205: information interpreter 207: aggregate target discriminator
209: aggregate operation performer 211: aggregate temporary storage
213: Aggregate result transmitter

Claims (8)

로그 데이터 및 매트릭 데이터에 포함된 메타 정보와 공통으로 포함된 기준항목 정보를 추출하는 데이터 추출부와,
상기 로그 데이터에 대해 기 설정된 로그 집계 조건으로 집계 처리하여 로그 집계 정보를 생성하는 로그 집계부와,
상기 매트릭 데이터에 대해 기 설정된 매트릭 집계 조건으로 집계 처리하여 매트릭 집계 정보를 생성하는 매트릭 집계부와,
상기 기준항목 정보, 상기 메타 정보, 상기 로그 집계 정보 및 상기 매트릭 집계 정보를 포함하는 조합 데이터를 출력하는 조합 출력부를 포함하고,
상기 기준항목 정보는 위치 정보 및 시간 정보를 포함하는
데이터 조합 장치.
A data extraction unit that extracts meta information included in log data and metric data and reference item information commonly included;
A log aggregation unit that aggregates and processes the log data according to a preset log aggregation condition to generate log aggregation information, and
A metric aggregation unit that aggregates the metric data according to a preset metric aggregation condition to generate metric aggregation information, and
A combination output unit for outputting combination data including the reference item information, the meta information, the log aggregation information, and the metric aggregation information,
The reference item information includes location information and time information.
Data combination device.
 삭제delete 제 1 항에 있어서,
상기 로그 집계부는, 상기 로그 데이터에 포함된 상기 메타 정보와 로그 본문을 해석하는 정보 해석기와,
로그 집계 설정에 대해 집계 대상을 판별할 수 있는 정보를 정의하여 집계 설정 저장소에 저장하는 집계 설정 관리기와,
상기 집계 설정 저장소에 저장된 정보들을 확인하여 상기 정보 해석기에 의해 해석된 정보들 중에서 집계에 필요한 데이터를 판별하는 집계 대상 판별기와,
상기 집계 대상 판별기에 의해 판별된 데이터를 대상으로 하여 집계 처리를 수행하는 집계 작업 수행기와,
상기 집계 작업 수행기에 의해 집계 처리된 상기 로그 집계 정보를 집계 결과로서 전송하는 집계 결과 전송기를 포함하는
데이터 조합 장치.The method of claim 1,
The log aggregation unit, an information analyzer for analyzing the meta information and the log text included in the log data,
An aggregation settings manager that defines information that can determine the target of aggregation for log aggregation settings and stores it in the aggregation settings storage;
An aggregation target discriminator for checking the information stored in the aggregation setting storage and determining data necessary for aggregation among the information analyzed by the information analyzer,
An aggregation task performer for performing aggregation processing targeting the data determined by the aggregation target discriminator,
Comprising an aggregate result transmitter for transmitting the aggregated log information aggregated by the aggregate operation performer as an aggregate result
Data combination device. 제 1 항에 있어서,
상기 매트릭 집계부는, 상기 매트릭 데이터에 포함된 상기 메타 정보와 값을 해석하는 정보 해석기와,
매트릭 집계 설정에 대해 집계 대상을 판별할 수 있는 정보를 정의하여 집계 설정 저장소에 저장하는 집계 설정 관리기와,
상기 집계 설정 저장소에 저장된 정보들을 확인하여 상기 정보 해석기에 의해 해석된 정보들 중에서 집계에 필요한 데이터를 판별하는 집계 대상 판별기와,
상기 집계 대상 판별기에 의해 판별된 데이터를 대상으로 하여 집계 처리를 수행하는 집계 작업 수행기와,
상기 집계 작업 수행기에 의해 집계 처리된 상기 매트릭 집계 정보를 집계 결과로서 전송하는 집계 결과 전송기를 포함하는
데이터 조합 장치.The method of claim 1,
The metric aggregation unit, an information interpreter for analyzing the meta information and values included in the metric data,
An aggregation settings manager that defines information that can determine the target of aggregation for metric aggregation settings and stores it in the aggregation settings storage;
An aggregation target discriminator for checking the information stored in the aggregation setting storage and determining data necessary for aggregation among the information analyzed by the information analyzer,
An aggregation task performer for performing aggregation processing targeting the data determined by the aggregation target discriminator,
Comprising an aggregate result transmitter for transmitting the aggregated metric information aggregated by the aggregate operation performer as an aggregate result
Data combination device. 데이터 추출부, 로그 집계부, 매트릭 집계부 및 조합 출력부를 포함하는 데이터 조합 장치에 의해 수행되는 데이터 조합 방법에 있어서,
상기 데이터 추출부가 로그 데이터 및 매트릭 데이터에 포함된 메타 정보와 공통으로 포함된 기준항목 정보를 추출하는 단계와,
상기 로그 집계부가 상기 로그 데이터에 대해 기 설정된 로그 집계 조건으로 집계 처리하여 로그 집계 정보를 생성하는 단계와,
상기 매트릭 집계부가 상기 매트릭 데이터에 대해 기 설정된 매트릭 집계 조건으로 집계 처리하여 매트릭 집계 정보를 생성하는 단계와,
상기 조합 출력부가 상기 기준항목 정보, 상기 메타 정보, 상기 로그 집계 정보 및 상기 매트릭 집계 정보를 포함하는 조합 데이터를 출력하는 단계를 포함하고,
상기 기준항목 정보는 위치 정보 및 시간 정보를 포함하는
데이터 조합 장치에서 수행되는 데이터 조합 방법.
In the data combination method performed by a data combination device comprising a data extraction unit, a log aggregation unit, a metric aggregation unit, and a combination output unit,
Extracting, by the data extracting unit, meta information included in log data and metric data and reference item information commonly included,
Generating log aggregation information by processing the log aggregation unit in accordance with a preset log aggregation condition for the log data; and
Generating metric aggregation information by performing aggregation processing by the metric aggregation unit according to a metric aggregation condition set in advance for the metric data; and
And outputting, by the combination output unit, combination data including the reference item information, the meta information, the log aggregation information, and the metric aggregation information,
The reference item information includes location information and time information.
A method of combining data performed in a data combining device.
 삭제delete 제 5 항에 있어서,
상기 로그 집계 정보를 생성하는 단계는, 상기 로그 데이터에 포함된 상기 메타 정보와 로그 본문을 해석하는 단계와,
로그 집계 설정에 대해 집계 대상을 판별할 수 있는 정보를 정의하는 단계와,
상기 정의된 정보들을 확인하여 상기 해석된 정보들 중에서 집계에 필요한 데이터를 판별하는 단계와,
상기 판별된 데이터를 대상으로 하여 집계 처리를 수행하는 단계와,
상기 집계 처리된 상기 로그 집계 정보를 집계 결과로서 전송하는 단계를 포함하는
데이터 조합 장치에서 수행되는 데이터 조합 방법.The method of claim 5,
The generating of the log aggregate information may include interpreting the meta information and the log body included in the log data,
Defining information that can determine the target of aggregation for log aggregation settings, and
Checking the defined information to determine data necessary for aggregation among the analyzed information,
Performing aggregation processing on the determined data,
And transmitting the aggregated log aggregate information as an aggregate result.
A method of combining data performed in a data combining device. 제 5 항에 있어서,
상기 매트릭 집계 정보를 생성하는 단계는, 상기 매트릭 데이터에 포함된 상기 메타 정보와 값을 해석하는 단계와,
매트릭 집계 설정에 대해 집계 대상을 판별할 수 있는 정보를 정의하는 단계와,
상기 정의된 정보들을 확인하여 상기 해석된 정보들 중에서 집계에 필요한 데이터를 판별하는 단계와,
상기 판별된 데이터를 대상으로 하여 집계 처리를 수행하는 단계와,
상기 집계 처리된 상기 매트릭 집계 정보를 집계 결과로서 전송하는 단계를 포함하는
데이터 조합 장치에서 수행되는 데이터 조합 방법.The method of claim 5,
The generating of the metric aggregate information may include interpreting the meta information and values included in the metric data,
Defining information that can determine the aggregation target for the metric aggregation setting,
Checking the defined information to determine data necessary for aggregation among the analyzed information,
Performing aggregation processing on the determined data,
And transmitting the aggregated metric aggregate information as an aggregate result.
A method of combining data performed in a data combining device.
KR1020150154445A 2015-11-04 2015-11-04 Method and apparatus for combination of data KR102233257B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150154445A KR102233257B1 (en) 2015-11-04 2015-11-04 Method and apparatus for combination of data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150154445A KR102233257B1 (en) 2015-11-04 2015-11-04 Method and apparatus for combination of data

Publications (2)

Publication Number Publication Date
KR20170052237A KR20170052237A (en) 2017-05-12
KR102233257B1 true KR102233257B1 (en) 2021-03-29

Family

ID=58740527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150154445A KR102233257B1 (en) 2015-11-04 2015-11-04 Method and apparatus for combination of data

Country Status (1)

Country Link
KR (1) KR102233257B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257413A (en) * 2007-04-04 2008-10-23 Hitachi Ltd System which automatically detects fault information of system and automatically samples, encrypts and transmits log files during installation/normal operation/fault
JP2014235624A (en) * 2013-06-04 2014-12-15 三菱電機ビルテクノサービス株式会社 Appliance state determination device and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130099671A (en) 2012-02-29 2013-09-06 주식회사 엘지유플러스 Terminal for diagnosing quality of network and network quality diagnosis method in terminal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257413A (en) * 2007-04-04 2008-10-23 Hitachi Ltd System which automatically detects fault information of system and automatically samples, encrypts and transmits log files during installation/normal operation/fault
JP2014235624A (en) * 2013-06-04 2014-12-15 三菱電機ビルテクノサービス株式会社 Appliance state determination device and program

Also Published As

Publication number Publication date
KR20170052237A (en) 2017-05-12

Similar Documents

Publication Publication Date Title
US9576037B2 (en) Self-analyzing data processing job to determine data quality issues
US10104124B2 (en) Analysis rule adjustment device, analysis rule adjustment system, analysis rule adjustment method, and analysis rule adjustment program
US9547579B1 (en) Method and apparatus for automatically detecting defects
CN110414242A (en) For detecting the method, apparatus, equipment and medium of service logic loophole
US20160197790A1 (en) Log analysis system
US10592327B2 (en) Apparatus, system, and method for analyzing logs
US9507696B2 (en) Identifying test gaps using code execution paths
US20130073715A1 (en) Methods and apparatus for remediating policy test failures, including correlating changes to remediation processes
US20200117587A1 (en) Log File Analysis
US10474565B2 (en) Root cause analysis of non-deterministic tests
Elsayed et al. PredictDeep: security analytics as a service for anomaly detection and prediction
US9472084B1 (en) Alarm notification based on detecting anomalies in big data
CN105141647A (en) Method and system for detecting Web application
JP2018148350A (en) Threshold determination device, threshold level determination method and program
CN105164691A (en) Optimizing test data payload selection for testing computer software applications using computer networks
JP2015153210A (en) User operation log recording method, its program, and device
KR20160133677A (en) Dynamic auto verification system for improving reliability of crowdsourcing data based on programming
KR20200131627A (en) Security information and event management system and method for detecting hacking by scenario based correlation analysis
US9471779B2 (en) Information processing system, information processing device, monitoring device, monitoring method
KR102233257B1 (en) Method and apparatus for combination of data
KR20200080591A (en) Apparatus and method for checking problem of mobile communication network using operational logic modeling and comparative analysis
KR101583932B1 (en) Signature generation apparatus for generating signature of program and the method, malicious code detection apparatus for detecting malicious code of signature and the method
US20160050101A1 (en) Real-Time Network Monitoring and Alerting
JP6778032B2 (en) Business process evaluation method and equipment
US20230011129A1 (en) Log analyzer for fault detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant