KR102509381B1 - 머신러닝 로그 분석 기반의 smart 로그병합 및 추이예측 시각화 시스템 - Google Patents
머신러닝 로그 분석 기반의 smart 로그병합 및 추이예측 시각화 시스템 Download PDFInfo
- Publication number
- KR102509381B1 KR102509381B1 KR1020220094188A KR20220094188A KR102509381B1 KR 102509381 B1 KR102509381 B1 KR 102509381B1 KR 1020220094188 A KR1020220094188 A KR 1020220094188A KR 20220094188 A KR20220094188 A KR 20220094188A KR 102509381 B1 KR102509381 B1 KR 102509381B1
- Authority
- KR
- South Korea
- Prior art keywords
- log
- unit
- logs
- information
- equipment
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 55
- 238000010801 machine learning Methods 0.000 title claims abstract description 21
- 238000012800 visualization Methods 0.000 title claims abstract description 20
- 230000010354 integration Effects 0.000 title abstract 3
- 238000013499 data model Methods 0.000 claims abstract description 31
- 238000007726 management method Methods 0.000 claims abstract description 28
- 230000005856 abnormality Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 10
- 230000003203 everyday effect Effects 0.000 claims description 3
- 238000007596 consolidation process Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템이 개시된다. 본 발명의 바람직한 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템은 설정된 데이터를 기반으로 관제 장비에서 발생하는 로그를 수집하고, 수집된 로그를 하나의 로그로 병합하는 에이전트관리부와 상기 에이전트관리부에서 수신한 로그를 학습해 데이터모델로 관리하고, 발생 추이를 분석해 이상을 예측하여 시각화 표현하는 로그분석부와 상기 로그분석부에서 학습한 로그 데이터모델 및 장애모델을 저장하는 데이터모델부와 장비 간 연결관계와 장애 임계치에 대한 초기값을 저장하는 데이터베이스부와 상기 로그분석부로부터 필요한 정보를 가져와 클라이언트를 통해 사용자에게 제공하는 웹서버부를 포함할 수 있다.
Description
본 발명은 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템에 관한 것으로, 보다 상세하게는 설정된 데이터를 기반으로 관제 장비에서 발생하는 로그를 수집하고, 수집된 로그를 하나의 로그로 병합하는 에이전트관리부와 상기 에이전트관리부에서 수신한 로그를 학습해 데이터모델로 관리하고, 발생 추이를 분석해 이상을 예측하여 시각화 표현하는 로그분석부와 상기 로그분석부에서 학습한 로그 데이터모델 및 장애모델을 저장하는 데이터모델부와 장비 간 연결관계와 장애 임계치에 대한 초기값을 저장하는 데이터베이스부와 상기 로그분석부로부터 필요한 정보를 가져와 클라이언트를 통해 사용자에게 제공하는 웹서버부를 포함할 수 있다.
IT인프라 장비의 발전에 따라 시스템의 모든 기록을 담고 있는 로그관리의 중요성이 커지고 있다. 종례의 로그관리 방안은 제한된 관리대상으로 인해 여러 종류의 로그 관리에 제한이 있었으며, 멀티라인으로 구성된 로그를 각 줄마다 개별로그로 수집 및 분석하여 정확한 내용파악이 어렵고 처리 과정에 있어 시스템에 부하를 가중시킨다. 또한, 수집된 로그를 분석하는데 있어 분석 결과를 사용자에게 직관적으로 제공할 기술이 부족한 실정이다. 이에 이기종 장비에 대한 통합로그 관리와 이로 인해 발생하는 로그관리를 위한 개선된 로그 수집 및 처리처리 방법 그리고 고도화된 로그분석과 이에 대한 결과를 및 직관적으로 사용자에게 제공할 수 있는 기술이 필요하다.
본 발명이 해결하고자 하는 과제는 이기종 장비에서 발생하는 원본로그 중 다중라인으로 구성된 로그를 하나의 로그로 병합처리해 로그 분석에 투입되는 시스템 리소스를 줄이고 부하를 개선할 수 있도록 하는 것이다.의 로그 수집과 멀티라인 로그를 하나의 로그로 인식해 데이터 정합성 오류와 시스템에 가해지는 부하를 개선할 수 있도록 하는 것이다.
또한, 로그 데이터에 대한 추이 분석학습을 통해 이상로그 파악과 미래에 발생 가능한 로그를 사용자가 원하는 시점에 원하는 조건으로 시각화해 직관적인 정보를 제공하는 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템은 설정된 데이터를 기반으로 관제 장비에서 발생하는 로그를 수집하고, 수집된 로그를 하나의 로그로 병합하는 에이전트관리부와; 상기 에이전트관리부에서 수신한 로그를 학습해 데이터모델로 관리하고, 발생 추이를 분석해 이상을 예측하여 시각화 표현하는 로그분석부와; 상기 로그분석부에서 학습한 로그 데이터모델 및 장애모델을 저장하는 데이터모델부와; 장비 간 연결관계와 장애 임계치에 대한 초기값을 저장하는 데이터베이스부와; 상기 로그분석부로부터 필요한 정보를 가져와 클라이언트를 통해 사용자에게 제공하는 웹서버부;를 포함할 수 있다.
또한 상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템에 있어 상기 에이전트관리부는, 상기 에이전트관리부는, 로그 수집을 위한 장비 정보 및 로그 정보를 관리하고 장비에서 발생한 로그를 수집하는 자원정보부;를 포함하고, 상기 자원정보부에서 수집한 로그를 단일라인로그와 멀티라인로그로 분류하고 멀티라인 로그를 하나의 로그를 병합하는 로그병합부;를 포함할 수 있다.
또한 상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템에 있어 상기 자원정보부는, 수집대상의 장비타입정보, 장비사용정보를 수집 및 저장하는 장비타입부;를 포함하고, 상기 장비타입부에서 수집한 장비타입정보를 통해 네트워크 장비의 경우 Flow, SNMP, SYSLOG 인터페이스 기반의 로그를, 서버의 경우 Rest API, FTP/SFTP, Application 인터페이스 기반의 로그를, 데이터베이스의 경우 RDBMS 인터페이스 기반의 수집대상 로그를 설정하는 로그타입부;를 포함하고, 해당 장비에서 발생하는 로그를 수집해 로그병합부로 전달하는 로그수집부;를 포함할 수 있다.
또한 상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템에 있어 상기 로그병합부는, 상기 로그수집부로부터 로그를 전달받아 수집된 로그를 발생시간(yyyy:mm:dd:hh:ss)을 기준으로 발생시간을 시작점으로 다음 로그의 발생시간 직전까지를 이전 로그의 끝점으로 구분해로그의 시작점과 끝점을 구분해 해당 로그가 단일라인로그인지 또는 멀티라인로그로인지를 구분하여 단일라인로그는 로그학습부로 보내고 멀티라인로그의 경우 병합처리부로 보내는 로그분류부; 상기 로그분류부에서 멀티라인로그로 분류된 로그정보를 불러와 해당 로그의 줄 수를 기준으로 로그1~N(N은 1 이상의 자연수)로 구분하고, 로그1을 제외한 원본로그 로그정보를 로그1에 병합하고 최초 로그와의 정합성 비교를 통과한 병합 로그정보병합한 가공로그를 로그학습부로 전달하는 병합처리부;를 포함할 수 있다.
또한 상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템에 있어 상기 로그분석부는, 상기 로그분류부 또는 병합처리부로부터 로그정보를 전달받아 장비정보, 연관장비와 같은 발생이력을 학습하는 로그학습부; 상기 로그학습부에서 학습 후 저장한 데이터 모델을 기준으로 로그 발생 건 수를 분석해 이상로그발생을 예측해 시각화 표현하는 추이관리부;를 포함할 수 있다.
또한 상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템에 있어 상기 로그학습부는, 상기 로그분류부에서 단일라인로그로 분류된 로그 또는 병합처리부에서 멀티라인로그로 분류된 로그를 수신하는 로그수신부와; 상기 로그수신부에서 수신한 로그정보를 장비별, 유형별, 시간별 로그 발생 건 수를 학습하는 과정과, 각각의 항목을 기준으로 발생한 로그 발생정보를 학습하는 데이터모델을 생성하는 과정을 포함하는 데이터모델부;를 포함할 수 있다.
또한 상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템에 있어 상기 추이관리부는, 시간대별 발생한 로그의 발생 건수 추이를 분석하고하고, 평상시 기준과 상이한 패턴을 분석 및 판단하는 추이분석부와; 상기 데이터모델부에 저장된 학습된 과거의 로그 발생 건 수 추이를 기반으로 해당 장비의 매일 동일 시점에서 발생 가능한 로그 개수를 예측하는 로그이상예측부와; 상기 추이분석부 및 로그이상예측부로부터 로그 발생 예측 및 이상치 정보를 사용자가 설정한 조건에 따라 X축은 타임스탬프로 Y축은 로그개수로 설정하여 발생한 정상데이터 또는 이상데이터를 검은색상의 점으로 표현하고, 상기 데이터모델부에서 정상범주로 판단된 로그발생이력을 불러와 회색그래프로 표현해 해당 그래프를 벗어나는 경우를 이상로그를 판단해 사용자에게 시각적으로 제공하고, 상기 이상예측부로그예측부에서 산출한 예측데이터를 붉은 색상의 점으로 표현하는 시계열표현부;를 포함할 수 있다.
본 발명에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템은 다음과 같은 효과가 있다.
본 발명은 로그 데이터에 대한 머신러닝을 통해 이상패턴 감지 및 장비의 정상, 비정상 유무와 로그 발생 추이 분석을 통해 이상치 검출과 미래 발생 가능한 예측값을 시각화 방법을 통해 사용자에게 제공함으로써 직관적인 정보파악이 될 수 있도록 한다.
본 발명은 멀티라인 로그를 단일로그로 병합하는 개선된 로그 수집전처리 과정을 통해 로그 분석에 투입되는드는 시스템 부하를 개선할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템을 나타내는 블록도
도 2는 도 1의 에이전트관리부의 주요 모듈 구성을 나타내는 블록도
도 3은 도 1의 로그분석부의 주요 모듈 구성을 나타내는 블록도
도 4는 도 3의 시계열표현부의 예시를 나타내는 도면
도 2는 도 1의 에이전트관리부의 주요 모듈 구성을 나타내는 블록도
도 3은 도 1의 로그분석부의 주요 모듈 구성을 나타내는 블록도
도 4는 도 3의 시계열표현부의 예시를 나타내는 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하에서는 본 발명의 바람직한 실시 예들에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템을 상세히 설명하기로 한다. 참고로 본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 바람직한 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템을 나타내는 블록도이다.
도 1에서 도시된 바와 같이, 본 발명의 일 실시 예에 따른 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템은 설정된 데이터를 기반으로 관제 장비에서 발생하는 로그를 수집하고, 수집된 로그를 하나의 로그로 병합하는 에이전트관리부(100)와; 상기 에이전트관리부(100)에서 수신한 로그를 학습해 데이터모델로 관리하고, 발생 추이를 분석해 이상을 예측하여 시각화 표현하는 로그분석부(200)와; 상기 로그분석부(200)에서 학습한 로그 데이터모델 및 장애모델을 저장하는 데이터모델부(400)(212)와; 장비 간 연결관계와 장애 임계치에 대한 초기값을 저장하는 데이터베이스부(300)와; 상기 로그분석부(200)로부터 필요한 정보를 가져와 클라이언트(600)를 통해 사용자에게 제공하는 웹서버부(500)(500);를 포함할 수 있다.
도 2는 본 발명에 따른 에이전트관리부의 주요 모듈 구성을 나타내는 블록도이다.
도 2에서 도시된 바와 같이, 상기 에이전트관리부(100)는, 상기 에이전트관리부(100)는, 로그 수집을 위한 장비 정보 및 로그 정보를 관리하고 장비에서 발생한 로그를 수집하는 자원정보부(110);를 포함하고, 상기 자원정보부(110)에서 수집한 로그를 단일라인로그와 멀티라인로그로 분류하고 멀티라인 로그를 하나의 로그를 병합하는 로그병합부(120);를 포함할 수 있다.
상기 자원정보부(110)는, 수집대상의 장비타입정보, 장비사용정보를 수집 및 저장하는 장비타입부(111);를 포함하고, 상기 장비타입부(111)에서 수집한 장비타입정보를 통해 네트워크 장비의 경우 Flow, SNMP, SYSLOG 인터페이스 기반의 로그를, 서버의 경우 Rest API, FTP/SFTP, Application 인터페이스 기반의 로그를, 데이터베이스의 경우 RDBMS 인터페이스 기반의 수집대상 로그를 설정하는 로그타입부(112);를 포함하고, 해당 장비에서 발생하는 로그를 수집해 로그병합부(120)로 전달하는 로그수집부(113);를 포함할 수 있다.
상기 로그병합부(120)는, 상기 로그수집부(113)로부터 로그를 전달받아 수집된 로그를 발생시간(yyyy:mm:dd:hh:ss)을 기준으로 발생시간을 시작점으로 다음 로그의 발생시간 직전까지를 이전 로그의 끝점으로 구분해로그의 시작점과 끝점을 구분해 해당 로그가 단일라인로그인지 또는 멀티라인로그로인지를 구분하여 단일라인로그는 로그학습부(210)로 보내고 멀티라인로그의 경우 병합처리부(122)로 보내는 로그분류부(121); 상기 로그분류부(121)에서 멀티라인로그로 분류된 로그정보를 불러와 해당 로그의 줄 수를 기준으로 로그1~N(N은 1 이상의 자연수)로 구분하고, 로그1을 제외한 원본로그 로그정보를 로그1에 병합하고 최초 로그와의 정합성 비교를 통과한 병합 로그정보병합한 가공로그를 로그학습부(210)로 전달하는 병합처리부(122);를 포함할 수 있다.
이하는 종래기술과 본 기술과의 로그 수집방법 차이에 대한 상세한 예시이다.
종래의 기술은 상기 예시와 같이 발생한 다중라인 로그를 라인으로 구분하여 각각 개별로그로 처리하였고, 이로 인해 각 로그를 분석하는데 많은 시스템 리소스가 투입되었고, 수집되는 다수의 로그 를 구분하는데 있어 제한이 있었다.
이에 반해, 본 기술은 수집된 로그를 분류기준에 따라 단일, 멀티라인 로그 여부를 판단하고 멀티라인 로그의 경우 개별로그로 분류하지 않고 하나의 로그로 분석시스템에 전달해 일괄처리함으로써 시스템에 가해지는 부하를 감소시켰다.
도 3은 본 발명에 따른 로그 분석부의 주요 모듈구성을 나타내는 블록도이다.
도 3에서 도시된 바와 같이, 상기 로그분석부(200)는, 상기 로그분류부(121) 또는 병합처리부(122)로부터 로그정보를 전달받아 장비정보, 연관장비와 같은 발생이력을 학습하는 로그학습부(210); 상기 로그학습부(210)에서 학습 후 저장한 데이터 모델을 기준으로 로그 발생 건 수를 분석해 이상로그발생을 예측해 시각화 표현하는 추이관리부(220);를 포함할 수 있다.
상기 로그학습부(210)는, 상기 로그분류부(121)에서 단일라인로그로 분류된 로그 또는 병합처리부(122)에서 멀티라인로그로 분류된 로그를 수신하는 로그수신부(211)와; 상기 로그수신부(211)에서 수신한 로그정보를 장비별, 유형별, 시간별 로그 발생 건 수를 학습하는 과정과, 각각의 항목을 기준으로 발생한 로그 발생정보를 학습하는 데이터모델을 생성하는 과정을 포함하는 데이터모델부(400)(212);를 포함할 수 있다.
상기 추이관리부(220)는, 시간대별 발생한 로그의 발생 건수 추이를 분석하고하고, 평상시 기준과 상이한 패턴을 분석 및 판단하는 추이분석부(221)와; 상기 데이터모델부(400)(212)에 저장된 학습된 과거의 로그 발생 건 수 추이를 기반으로 해당 장비의 매일 동일 시점에서 발생 가능한 로그 개수를 예측하는 로그이상예측부와; 상기 추이분석부(221) 및 로그이상예측부로부터 로그 발생 예측 및 이상치 정보를 사용자가 설정한 조건에 따라 X축은 타임스탬프로 Y축은 로그개수로 설정하여 발생한 정상데이터 또는 이상데이터를 검은색상의 점으로 표현하고, 상기 데이터모델부(400)(212)에서 정상범주로 판단된 로그발생이력을 불러와 회색그래프로 표현해 해당 그래프를 벗어나는 경우를 이상로그를 판단해 사용자에게 시각적으로 제공하고, 상기 이상예측부로그예측부(222)에서 산출한 예측데이터를 붉은 색상의 점으로 표현하는 시계열표현부(223);를 포함할 수 있다.
도 4는 본 발명에 따른 시계열표현부의 예를 나타내는 도면이다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등개념으로부터 도출되는 모든 변경 또는 변형된 형태 가 본 발명의 범위에 포함되는 것으로 해석하여야 한다.
100: 에이전트관리부
110: 자원정보부
111: 장비타입부
112: 로그타입부
113: 로그수집부
120: 로그병합부
121: 로그분류부
122: 병합처리부
200: 로그분석부
210: 로그학습부
211: 로그수신부
212: 데이터모델부
220: 추이관리부
221: 추이분석부
222: 로그이상예측부
223: 시계열표현부
300: 데이터베이스부
400: 데이터모델부
500: 웹서버부
600: 클라이언트
110: 자원정보부
111: 장비타입부
112: 로그타입부
113: 로그수집부
120: 로그병합부
121: 로그분류부
122: 병합처리부
200: 로그분석부
210: 로그학습부
211: 로그수신부
212: 데이터모델부
220: 추이관리부
221: 추이분석부
222: 로그이상예측부
223: 시계열표현부
300: 데이터베이스부
400: 데이터모델부
500: 웹서버부
600: 클라이언트
Claims (7)
- 설정된 데이터를 기반으로 관제 장비에서 발생하는 로그를 수집하고, 수집된 로그를 하나의 로그로 병합하는 에이전트관리부;
상기 에이전트관리부에서 수신한 로그를 학습해 데이터모델로 관리하고, 발생 추이를 분석해 이상을 예측하여 시각화 표현하는 로그분석부;
상기 로그분석부에서 학습한 로그 데이터모델 및 장애모델을 저장하는 데이터모델부;
장비 간 연결관계와 장애 임계치에 대한 초기값을 저장하는 데이터베이스부;
상기 로그분석부로부터 필요한 정보를 가져와 클라이언트를 통해 사용자에게 제공하는 웹서버부;를 를 포함하고,
상기 에이전트관리부는, 로그 수집을 위한 장비 정보 및 로그 정보를 관리하고 장비에서 발생한 로그를 수집하는 자원정보부; 상기 자원정보부에서 수집한 로그를 단일라인로그와 멀티라인로그로 분류하고 멀티라인 로그를 하나의 로그로 병합하는 로그병합부;를 포함하고,
상기 자원정보부는, 수집대상의 장비타입정보, 장비사용정보를 수집 및 저장하는 장비타입부; 상기 장비타입부에서 수집한 장비타입정보를 통해 네트워크 장비의 경우 Flow, SNMP, SYSLOG 인터페이스 기반의 로그를, 서버의 경우 Rest API, FTP/SFTP, Application 인터페이스 기반의 로그를, 데이터베이스의 경우 RDBMS 인터페이스 기반의 수집대상 로그를 설정하는 로그타입부; 해당 장비에서 발생하는 로그를 수집해 로그병합부로 전달하는 로그수집부;를 포함하고,
상기 로그병합부는, 상기 로그수집부로부터 로그를 전달받아 수집된 로그를 발생시간(yyyy:mm:dd:hh:ss)을 기준으로 발생시간을 시작점으로 다음 로그의 발생시간 직전까지를 이전 로그의 끝점으로 구분해 로그의 시작점과 끝점을 구분해 해당 로그가 단일라인로그인지 또는 멀티라인로그인지를 구분하여 단일라인로그는 로그학습부로 보내고 멀티라인로그의 경우 병합처리부로 보내는 로그분류부; 상기 로그분류부에서 멀티라인로그로 분류된 로그정보를 불러와 해당 로그의 줄 수를 기준으로 로그1~N(N은 1 이상의 자연수)로 구분하고, 로그1을 제외한 원본로그 로그정보를 로그1에 병합하고 최초 로그와의 정합성 비교를 통과한 가공로그를 로그학습부로 전달하는 병합처리부;를 포함하는 것을 특징으로 하는 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템
- 삭제
- 삭제
- 삭제
- 제 1항에 있어서,
상기 로그분석부는,
상기 로그분류부 또는 병합처리부로부터 로그정보를 전달받아 장비정보, 연관장비와 같은 발생이력을 학습하는 로그학습부; 상기 로그학습부에서 학습 후 저장한 데이터 모델을 기준으로 로그 발생 건 수를 분석해 이상로그발생을 예측해 시각화 표현하는 추이관리부;를 포함하는 것을 특징으로 하는 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템
- 제 5항에 있어서,
상기 로그학습부는,
상기 로그분류부에서 단일라인로그로 분류된 로그 또는 병합처리부에서 멀티라인로그로 분류된 로그를 수신하는 로그수신부;
상기 로그수신부에서 수신한 로그정보를 장비별, 유형별, 시간별 로그 발생 건 수를 학습하는 과정과, 각각의 항목을 기준으로 발생한 로그 발생정보를 학습하는 데이터모델을 생성하는 과정을 포함하는 데이터모델부;를 포함하는 것을 특징으로 하는 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템
- 제 5항에 있어서,
상기 추이관리부는,
시간대별 발생한 로그의 발생 건수 추이를 분석하고, 평상시 기준과 상이한 패턴을 분석 및 판단하는 추이분석부; 상기 데이터모델부에 저장된 학습된 과거의 로그 발생 건 수 추이를 기반으로 해당 장비의 매일 동일 시점에서 발생 가능한 로그 개수를 예측하는 로그이상예측부; 상기 추이분석부 및 로그이상예측부로부터 로그 발생 예측 및 이상치 정보를 사용자가 설정한 조건에 따라 X축은 타임스탬프로 Y축은 로그 개수로 설정하여 발생한 정상데이터 또는 이상데이터를 검은색상의 점으로 표현하고, 상기 데이터모델부에서 정상범주로 판단된 로그발생이력을 불러와 회색그래프로 표현해 해당 그래프를 벗어나는 경우를 이상로그로 판단해 사용자에게 시각적으로 제공하고, 상기 로그이상예측부에서 산출한 예측데이터를 붉은 색상의 점으로 표현하는 시계열표현부;를 포함하는 것을 특징으로 하는 머신러닝 로그 분석 기반의 SMART 로그병합 및 추이예측 시각화 시스템
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220094188A KR102509381B1 (ko) | 2022-07-28 | 2022-07-28 | 머신러닝 로그 분석 기반의 smart 로그병합 및 추이예측 시각화 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220094188A KR102509381B1 (ko) | 2022-07-28 | 2022-07-28 | 머신러닝 로그 분석 기반의 smart 로그병합 및 추이예측 시각화 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102509381B1 true KR102509381B1 (ko) | 2023-03-14 |
Family
ID=85502940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220094188A KR102509381B1 (ko) | 2022-07-28 | 2022-07-28 | 머신러닝 로그 분석 기반의 smart 로그병합 및 추이예측 시각화 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102509381B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180108446A (ko) * | 2017-03-23 | 2018-10-04 | (주)모아데이타 | Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법 |
| KR20180120558A (ko) * | 2017-04-27 | 2018-11-06 | 주식회사 케이티 | 딥러닝 기반 통신망 장비의 장애 예측 시스템 및 방법 |
| JP6756379B2 (ja) * | 2016-12-27 | 2020-09-16 | 日本電気株式会社 | ログ分析方法、システムおよびプログラム |
| KR20210039231A (ko) * | 2019-10-01 | 2021-04-09 | 주식회사 씨티아이랩 | 오토인코더 앙상블 기반 이상행위 탐지 방법 및 시스템 |
| KR20210108340A (ko) * | 2021-08-12 | 2021-09-02 | (주)와치텍 | 언어학적 분석 기법을 이용한 it 인프라 장애 학습 및 분석 시스템 |
-
2022
- 2022-07-28 KR KR1020220094188A patent/KR102509381B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6756379B2 (ja) * | 2016-12-27 | 2020-09-16 | 日本電気株式会社 | ログ分析方法、システムおよびプログラム |
| KR20180108446A (ko) * | 2017-03-23 | 2018-10-04 | (주)모아데이타 | Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법 |
| KR20180120558A (ko) * | 2017-04-27 | 2018-11-06 | 주식회사 케이티 | 딥러닝 기반 통신망 장비의 장애 예측 시스템 및 방법 |
| KR20210039231A (ko) * | 2019-10-01 | 2021-04-09 | 주식회사 씨티아이랩 | 오토인코더 앙상블 기반 이상행위 탐지 방법 및 시스템 |
| KR20210108340A (ko) * | 2021-08-12 | 2021-09-02 | (주)와치텍 | 언어학적 분석 기법을 이용한 it 인프라 장애 학습 및 분석 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657309B2 (en) | Behavior analysis and visualization for a computer infrastructure | |
| US20200327708A1 (en) | Method for creating period profile for time-series data with recurrent patterns | |
| US11403164B2 (en) | Method and device for determining a performance indicator value for predicting anomalies in a computing infrastructure from values of performance indicators | |
| CN105653427B (zh) | 基于行为异常检测的日志监控方法 | |
| EP2871577B1 (en) | Complex event processing (CEP) based system for handling performance issues of a CEP system and corresponding method | |
| US10572512B2 (en) | Detection method and information processing device | |
| US11307916B2 (en) | Method and device for determining an estimated time before a technical incident in a computing infrastructure from values of performance indicators | |
| US10489711B1 (en) | Method and apparatus for predictive behavioral analytics for IT operations | |
| US11847130B2 (en) | Extract, transform, load monitoring platform | |
| US11675643B2 (en) | Method and device for determining a technical incident risk value in a computing infrastructure from performance indicator values | |
| JP2006350923A (ja) | 交換部品推定システム、交換部品推定方法および交換部品推定プログラム | |
| Li et al. | Monster: an out-of-the-box monitoring tool for high performance computing systems | |
| CN116755992B (zh) | 一种基于OpenStack云计算的日志分析方法及系统 | |
| US10055460B2 (en) | Analysis of parallel processing systems | |
| CN105930255A (zh) | 一种系统健康度预测方法及装置 | |
| KR102509381B1 (ko) | 머신러닝 로그 분석 기반의 smart 로그병합 및 추이예측 시각화 시스템 | |
| Gu et al. | Online failure forecast for fault-tolerant data stream processing | |
| CN116992346A (zh) | 一种基于人工智能大数据分析的企业生产数据处理系统 | |
| KR102509380B1 (ko) | 머신러닝을 통한 어플리케이션 트랜잭션 학습 및 실시간 장애 예측과 해결을 위한 방법 | |
| US20220035359A1 (en) | System and method for determining manufacturing plant topology and fault propagation information | |
| CN114531338A (zh) | 一种基于调用链数据的监控告警和溯源方法及系统 | |
| CN118093981B (zh) | 基于人工智能的云数据可视化分析系统和方法 | |
| KR20240092497A (ko) | 빅데이터 분석을 이용한 통계적 품질 관리 시스템 | |
| CN117828515A (zh) | 一种基于低代码平台的智能日志异常诊断系统及方法 | |
| CN118093699A (zh) | 基于数字孪生的区域智慧管理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |