KR20160047065A

KR20160047065A - 텍스트 데이터의 분석을 통한 이상 감지 및 예측 시스템 및 방법

Info

Publication number: KR20160047065A
Application number: KR1020140142784A
Authority: KR
Inventors: 김선득; 오현택; 김성일
Original assignee: 삼성에스디에스 주식회사
Priority date: 2014-10-21
Filing date: 2014-10-21
Publication date: 2016-05-02
Also published as: KR102190578B1

Abstract

텍스트 데이터의 분석을 통한 이상 감지 및 예측 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 이상 감지 및 예측 시스템은 모니터링 대상의 이상 또는 정상 여부와 관련된 사례 데이터를 저장하는 사례 데이터베이스; 상기 모니터링 대상에서 생성되는 텍스트 데이터를 수집하는 데이터 수집부; 상기 텍스트 데이터로부터 상기 모니터링 대상의 이상 발생 여부를 감지하는 이상 감지부; 및 상기 모니터링 대상의 이상 발생이 감지되는 경우, 상기 텍스트 데이터와 과거 사례 데이터를 대비하여 감지된 이상의 확산 또는 소멸 여부를 예측하는 예측부를 포함한다.

Description

텍스트 데이터의 분석을 통한 이상 감지 및 예측 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING AND PREDICTING ANOMALIES BASED ON ANALYSIS OF TEXT DATA}

본 발명의 실시예들은 텍스트 데이터의 분석을 통한 이상 감지 및 감지된 이상의 확산 또는 소멸 예측 기술과 관련된다.

기업 또는 정부기관 등의 업무가 대부분 전산화되면서 기업 등에서 대규모의 엔터프라이즈 서비스 인프라를 구축 및 관리하는 것이 일상화되었다. 이러한 엔터프라이즈 서비스 인프라의 경우 다수의 웹서버, 웹 애플리케이션 서버(WAS; Web Application Server), 데이터베이스, 방화벽, 스위치, 라우터 등을 포함하게 되며, 어느 하나의 이상이 다른 장비, 나아가 전체 시스템에도 영향을 주는 경우가 많으므로 지속적인 상태 모니터링이 필요하다.

이를 위하여 종래에는 각각의 장비로부터 로그 데이터 등의 상태 정보를 수집하고, 수집된 정보가 기 설정된 임계치를 초과하는 경우 관리자에게 알림을 통지하는 방식으로 모니터링이 이루어졌다. 그러나 이러한 종래 방식의 겨우 단순히 입수된 데이터가 임계치를 초과하는지 만을 판단하는 방식인 바, 발생된 이상이 어떻게 전개될지를 예측하는 데에는 한계가 있었다.

대한민국 공개특허공보 제10-2013-0123007호 (2013. 11. 12)

본 발명의 실시예들은 실시간으로 수집되는 텍스트 데이터와 과거 사례 데이터간의 융합을 통하여 모니터링 대상의 이상을 신속히 감지하고, 감지된 이상의 확산 또는 소멸 여부를 효과적으로 예측하기 위한 수단을 제공하기 위한 것이다.

예시적인 실시예에 따르면, 모니터링 대상의 이상 또는 정상 여부와 관련된 사례 데이터를 저장하는 사례 데이터베이스; 상기 모니터링 대상에서 생성되는 텍스트 데이터를 수집하는 데이터 수집부; 상기 텍스트 데이터로부터 상기 모니터링 대상의 이상 발생 여부를 감지하는 이상 감지부; 및 상기 모니터링 대상의 이상 발생이 감지되는 경우, 상기 텍스트 데이터와 과거 사례 데이터를 대비하여 감지된 이상의 확산 또는 소멸 여부를 예측하는 예측부를 포함하는 이상 감지 및 예측 시스템이 제공된다.

상기 데이터 수집부는, 수집된 상기 텍스트 데이터 각각으로부터 시각 정보 및 상기 모니터링 대상의 정상 또는 이상과 관련된 상태 키워드를 추출하고, 추출된 상기 시각 정보 및 상기 상태 키워드를 기 설정된 시간대별로 그룹화할 수 있다.

상기 데이터 수집부는, 상기 텍스트 데이터에 숫자 형태로 표현되는 측정값이 포함되어 있는 경우, 동일 시간대에서 수집된 상기 측정값의 평균값 또는 중간값을 계산하고, 상기 평균값 또는 중간값과 대응되어 설정된 특정 문자열을 상기 상태 키워드로 설정할 수 있다.

상기 이상 감지부는, 상기 상태 키워드가 기 설정된 이상 감지 기준 키워드 중 어느 하나와 일치하는 경우, 상기 모니터링 대상에 이상이 발생한 것으로 판단할 수 있다.

상기 이상 감지부는, 상기 모니터링 대상에 이상이 발생한 것으로 판단되는 경우 경고 메시지를 출력할 수 있다.

상기 사례 데이터는, 상기 모니터링 대상의 이상과 관련된 이상 사례 키워드; 상기 이상 사례 키워드의 연관 키워드; 상기 이상 사례 키워드와 상기 연관 키워드 간의 빈발 패턴 증가 연관 분석에 의한 향상도 기준값; 및 해당 이상 사례의 확산 또는 소멸 여부 정보를 포함할 수 있다.

상기 예측부는, 상기 텍스트 데이터로부터 획득된 이상 키워드와 동일 시간대에서 텍스트 데이터로부터 수집된 키워드 중 가장 빈도수가 높은 연관 후보 키워드를 추출하고, 상기 이상 키워드 및 상기 연관 후보 키워드간의 빈발 패턴 증가 연관 분석에 의한 향상도를 계산하며, 상기 이상 키워드, 상기 연관 후보 키워드 및 상기 향상도에 대응되는 사례 데이터를 상기 사례 데이터베이스에서 검색하고, 검색된 사례 데이터의 확산 또는 소멸 여부에 따라 감지된 이상의 확산 또는 소멸 여부를 예측할 수 있다.

상기 예측부는, 연속된 시간대에서 기 설정된 횟수 이상 동일한 이상 발생이 감지되는 경우, 감지된 이상의 확산 또는 소멸 여부를 예측할 수 있다.

상기 시스템은, 상기 이상 키워드 및 상기 연관 후보 키워드에 대응되는 사례 데이터가 존재하지 않거나, 또는 상기 모니터링 대상에서 감지된 이상의 실제 이상 확산 또는 소멸 여부가 상기 예측부의 예측과 일치하지 않는 경우, 상기 연관 후보 키워드 및 상기 향상도를 이용하여 상기 사례 데이터베이스에 저장된 사례 데이터를 갱신하는 사례 갱신부를 더 포함할 수 있다.

다른 예시적인 실시예에 따르면, 이상 감지 및 예측 시스템에서 수행되는 이상 감지 및 예측 방법으로서, 모니터링 대상에서 생성되는 텍스트 데이터를 수집하는 단계; 상기 텍스트 데이터로부터 상기 모니터링 대상의 이상 발생 여부를 감지하는 단계; 및 상기 모니터링 대상의 이상 발생이 감지되는 경우, 상기 텍스트 데이터 및 상기 모니터링 대상의 이상 또는 정상 여부와 관련된 과거 사례 데이터를 대비하여 감지된 이상의 확산 또는 소멸 여부를 예측하는 단계를 포함하는 이상 감지 및 예측 방법이 제공된다.

상기 텍스트 데이터를 수집하는 단계는, 수집된 상기 텍스트 데이터 각각으로부터 시각 정보 및 상기 모니터링 대상의 정상 또는 이상과 관련된 상태 키워드를 추출하는 단계; 및 추출된 상기 시각 정보 및 상기 상태 키워드를 기 설정된 시간대별로 그룹화하는 단계를 더 포함할 수 있다.

상기 상태 키워드를 추출하는 단계는, 상기 텍스트 데이터에 숫자 형태로 표현되는 측정값이 포함되어 있는 경우, 동일 시간대에서 수집된 상기 측정값의 평균값 또는 중간값을 계산하고, 상기 평균값 또는 중간값과 대응되어 기 설정된 특정 문자열을 상기 상태 키워드로 설정할 수 있다.

상기 이상 발생 여부를 감지하는 단계는, 상기 상태 키워드가 기 설정된 이상 감지 기준 키워드 중 어느 하나와 일치하는 경우, 상기 모니터링 대상에 이상이 발생한 것으로 판단할 수 있다.

상기 이상 발생 여부를 감지하는 단계는, 상기 모니터링 대상에 이상이 발생한 것으로 판단되는 경우 경고 메시지를 출력하는 단계를 더 포함할 수 있다.

상기 예측하는 단계는, 상기 텍스트 데이터로부터 획득된 이상 키워드와 동일 시간대에서 텍스트 데이터로부터 수집된 키워드 중 가장 빈도수가 높은 연관 후보 키워드를 추출하는 단계; 상기 이상 키워드 및 상기 연관 후보 키워드간의 빈발 패턴 증가 연관 분석에 의한 향상도를 계산하는 단계; 상기 이상 키워드, 상기 연관 후보 키워드 및 상기 향상도에 대응되는 사례 데이터를 상기 사례 데이터베이스에서 검색하는 단계; 및 검색된 사례 데이터의 확산 또는 소멸 여부에 따라 감지된 이상의 확산 또는 소멸 여부를 판단하는 단계를 더 포함할 수 있다.

상기 예측하는 단계는, 연속된 시간대에서 기 설정된 횟수 이상 동일한 이상 발생이 감지되는 경우, 감지된 이상의 확산 또는 소멸 여부를 예측할 수 있다.

상기 방법은, 상기 검색하는 단계의 검색 결과, 상기 이상 키워드 및 상기 연관 후보 키워드에 대응되는 사례 데이터가 존재하지 않거나, 또는 상기 모니터링 대상에서 감지된 이상의 실제 이상 확산 또는 소멸 여부가 상기 판단하는 단계의 판단 결과와 일치하지 않는 경우, 상기 연관 후보 키워드 및 상기 향상도를 이용하여 상기 사례 데이터를 갱신하는 단계를 더 포함할 수 있다.

또 다른 예시적인 실시예에 따르면, 하드웨어와 결합되어, 모니터링 대상에서 생성되는 텍스트 데이터를 수집하는 단계; 상기 텍스트 데이터로부터 상기 모니터링 대상의 이상 발생 여부를 감지하는 단계; 및 상기 모니터링 대상의 이상 발생이 감지되는 경우, 상기 텍스트 데이터 및 상기 모니터링 대상의 이상 또는 정상 여부와 관련된 과거 사례 데이터를 대비하여 감지된 이상의 확산 또는 소멸 여부를 예측하는 단계를 포함하는 단계들을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램이 제공된다.

본 발명의 실시예들에 따르면, 실시간으로 수집되는 텍스트 데이터와 과거 사례 데이터간의 융합을 통하여 모니터링 대상의 이상을 신속히 감지할 수 있으며, 감지된 이상의 확산 또는 소멸 여부를 효과적으로 예측할 수 있다.

또한, 본 발명의 실시예들에 따르면, 감지된 이상의 확산 또는 소멸 예측 결과 및 실제 확산/소멸 여부에 따라 사례 데이터를 동적으로 업데이트하여 줌으로써 보다 효과적으로 모니터링 대상의 이상을 탐지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 이상 감지 및 예측 시스템의 구성을 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 이상 감지 및 예측 방법(500)을 설명하기 위한 흐름도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 본 발명의 일 실시예에 따른 이상 감지 및 예측 시스템(100)의 구성을 설명하기 위한 블록도이다. 본 발명의 일 실시예에 따른 이상 감지 및 예측 시스템(100)은 모니터링 대상과 유선 또는 무선 네트워크를 통하여 연결되어 상기 모니터링 대상으로부터 상태 정보를 수집하고, 수집된 상태 정보를 이용하여 상기 모니터링 대상의 이상 발생 여부를 감지하며, 감지된 이상이 확산될지 또는 소멸될지를 예측하기 위한 장치이다. 일 실시예에서, 상기 모니터링 대상은 글로벌 사이트 셀렉터(GSS; Global Site Selector), 웹 서버, 웹 애플리케이션 서버(WAS; Web Application Server), 데이터베이스 서버, 방화벽, 스위치, 라우터 등의 엔터프라이즈 서비스 장비일 수 있으나, 본 발명은 특정한 모니터링 대상에 한정되는 것은 아니며 이상 여부의 감지가 필요한 모든 종류의 장치 내지는 설비 또한 본 발명의 모니터링 대상이 될 수 있다. 또한, 본 발명의 실시예들에서 상태 정보는 상기 모니터링 대상으로부터 주기적으로, 또는 특정 조건을 만족할 경우 송신되는 텍스트 형태의 데이터일 수 있다. 예를 들어, 상기 상태 정보는 텍스트 형태의 메시지(핑(ping) 메시지, 하트비트(heartbeat) 메시지, 또는 오류 발생 메시지) 또는 텍스트 형태의 로그(log) 데이터 등일 수 있다.

도시된 바와 같이, 본 발명의 일 실시예에 따른 이상 감지 및 예측 시스템(100)은 데이터 수집부(102), 사례 데이터베이스(104), 이상 감지부(106), 및 예측부(108)를 포함한다.

데이터 수집부(102)는 상기 모니터링 대상에서 생성되는 텍스트 데이터를 수집한다. 일 실시예에서, 데이터 수집부(102)는 수집된 상기 텍스트 데이터 각각으로부터 시각 정보 및 상기 모니터링 대상의 정상 또는 이상과 관련된 상태 키워드를 추출할 수 있다. 이를 예를 들어 설명하면 다음과 같다.

예를 들어, 웹 사이트의 가장 앞 단에 위치하는 글로벌 사이트 셀렉터(GSS)는 다음과 같은 형태의 로그 메시지를 송신할 수 있다.

GSS 의 로그 메시지

정상: Sep 2 17:00:40: %KAL-4-TCPTRANS: [2000] STATE ONLINE [210.118.76.142:52171] [LID: 38]

이상: Sep 2 17:00:08: %KAL-4-TCPTRANS: [2000] STATE OFFLINE [210.118.76.142:52158] [LID: 38]

상기 두 개의 로그 메시지를 참조하면, 각각의 로그 메시지는 첫 부분에 발신 시각 정보(Sep 2 17:00:40, Sep 2 17:00:08)가 포함되며, 중간에는 GSS의 상태와 관련된 정보(ONLINE 또는 OFFLINE)가 포함되는 것을 알 수 있다. 즉, 상기 로그 메시지에 ONLINE이 포함되어 있는 경우는 정상 상태, OFFLINE이 포함되어 있는 경우는 이상 상태임을 알 수 있다. 따라서, 이 경우 데이터 수집부(102)는 각각의 메시지로부터 다음과 같은 키워드를 추출할 수 있다.

Sep 2 17:00:40, STATE ONLINE

Sep 2 17:00:08, STATE OFFLINE

다른 예로, 스위치(switch)는 다음과 같은 형태의 로그 메시지를 송신할 수 있다.

스위치의 로그 메시지

정상: Mar 17 05:53:43.647 KST: %C6KENV-SP-4-PSFANOK: the fan in power supply 1 is OK

이상: Mar 10 02:37:09.631 KST: %C4K_IOSMODPORTMAN-4-POWERSUPPLYBAD: Power supply 1 has failed or been turned off

상기 두 개의 로그 메시지 또한 GSS의 예에서와 마찬가지로, 첫 부분에 발신 시각 정보(Mar 17 05:53:43.647 KST, Mar 10 02:37:09.631)가 포함되며, 중간에는 스위치의 상태와 관련된 정보(OK 또는 failed)가 포함되는 것을 알 수 있다. 즉, 상기 로그 메시지에 OK가 포함되어 있는 경우는 정상 상태, failed가 포함되어 있는 경우는 이상 상태임을 알 수 있다. 따라서, 이 경우 데이터 수집부(102)는 각각의 메시지로부터 다음과 같은 키워드(시각 정보 및 상태값)를 추출할 수 있다.

Mar 17 05:53:43, OK

Mar 10 02:37:09, failed

이와 같이 텍스트 데이터로부터 키워드가 추출되는 경우, 다음으로 데이터 수집부(102)는 추출된 상기 시각 정보 및 상기 상태 키워드를 기 설정된 시간대별로 그룹화할 수 있다. 예를 들어 상기 시간대가 10초로 설정될 경우, 데이터 수집부(102)는 10초간 수집되는 텍스트 데이터로부터 획득되는 키워드들을 다음의 표 1과 같이 그룹화할 수 있다.

시간대	키워드 그룹
1	Sep 2 17:00:00 GSS STATE OFFLINE WEBSERVER GET 443 … ROUTER 1
2	Sep 2 17:00:10 GSS STATE OFFLINE WEBSERVER HEAD … ROUTER 2
3	Sep 2 17:00:20 GSS STATE OFFLINE WEBSERVER GET 443 … ROUTER 2
4	Sep 2 17:00:30 GSS STATE OFFLINE WEBSERVER GET 443 … ROUTER 1
5	Sep 2 17:00:40 GSS STATE ONLINE SWITCH Module On … ROUTER 3

상기 표 1에서 알 수 있는 바와 같이, 각 시간대별 키워드 그룹은 해당 시간대의 시작 시간, 텍스트 데이터를 송신한 모니터링 대상의 종류 및 해당 모니터링 대상의 상태를 포함한다. 예를 들어, 상기 시간대 1의 경우 9월 2일 17:00:00부터 동일 17:00:10초까지 수집된 텍스트 데이터로부터 추출된 값으로서, GSS의 상태는 STATE OFFLINE, 웹서버(WEBSERVER)의 상태는 GET 443임을 나타낸다(이후는 생략되어 있음). 즉, 데이터 수집부(102)는 동일 시간대에서 모니터링 대상의 종류 및 상태를 하나의 문자열에 나열함으로써 각 시간대 별 키워드 그룹을 생성할 수 있다.

한편, 데이터 수집부(102)는 상기 텍스트 데이터에 숫자 형태로 표현되는 측정값이 포함되어 있는 경우, 동일 시간대에서 수집된 상기 측정값의 평균값 또는 중간값을 계산하고 상기 평균값 또는 중간값과 대응되어 설정된 특정 문자열을 상기 상태 키워드로 설정할 수 있다. 예를 들어, 특정 모니터링 대상으로부터 1초에 한 번씩 CPU 사용률이 수신된다고 가정하자. 이 경우 데이터 수집부(102)는 매 초 수신되는 CPU 사용률을 기 설정된 시간대(예를 들어 10초) 별로 수집하고, 각 시간대별 CPU 사용률의 대표값(평균값 또는 중간값)을 계산한다.

이후, 데이터 수집부(102)는 계산된 상기 대표값을 문자열로 치환한다. 예를 들어, CPU 사용률이 70%를 초과할 경우 "이상", 70% 이하일 경우 "정상"으로 설정한다고 가정하자. 만약 특정 시간대의 CPU 사용률의 평균값이 68%인 경우, 데이터 수집부(102)는 해당 시간대의 CPU 사용률에 대응되는 키워드를 "정상"으로 설정할 수 있다. 또한, 만약 특정 시간대의 CPU 사용률의 평균값이 75%인 경우, 데이터 수집부(102)는 해당 시간대의 CPU 사용률에 대응되는 키워드를 "이상"으로 설정할 수 있다. 이와 같이 숫자 데이터를 그 값에 따라 대응되는 텍스트로 변화하는 경우, 숫자 데이터 또한 다른 로그 데이터의 키워드와 동일하게 취급할 수 있게 된다.

다음으로, 사례 데이터베이스(104)는 모니터링 대상의 상태(이상 또는 정상 여부)와 관련된 과거 사례 데이터를 저장 및 관리하는 데이터베이스이다. 본 발명의 일 실시예에서, 사례 데이터베이스(104)는 모니터링 대상의 과거 이상(anomaly)이 감지되었을 때의 키워드 정보 및 해당 사례에서 이상이 확산되었는지 또는 소멸되었는지 여부에 대한 정보를 저장 및 관리한다. 이때, 이상이 "소멸"된 사례(이하 "소멸 사례")는 모니터링 대상의 이상이 감지되었으나 별다른 조치 없이 정상 상태로 복귀된 사례를 의미하며, 이상이 "확산"된 사례(이하 "확산 사례")는 모니터링 대상의 이상이 지속되거나 점차 확대되어 별도의 조치가 이루어졌던 사례를 의미한다.

구체적으로, 사례 데이터베이스(104)에는 다음과 같은 데이터가 저장될 수 있다.

- 모니터링 대상의 이상과 관련된 이상 사례 키워드

- 이상 사례 키워드의 연관 키워드

- 이상 사례 키워드와 연관 키워드 간의 빈발 패턴 증가(Frequent Pattern Growth; FPG) 연관 분석에 의한 향상도(lift) 기준값

- 해당 이상 사례의 확산 또는 소멸 여부

이상 감지부(106)는 데이터 수집부(102)에서 수집된 텍스트 데이터를 이용하여 모니터링 대상의 이상 발생 여부를 감지한다. 일 실시예에서, 이상 감지부(106)는 모니터링 대상으로부터 수집한 텍스트 데이터로부터 획득된 상태 키워드가 기 설정된 이상 감지 기준 키워드 중 어느 하나와 일치하는 경우, 상기 모니터링 대상에 이상이 발생한 것으로 판단할 수 있다.

이를 위하여, 이상 감지부(106)는 별도의 이상 감지 기준 키워드를 저장 및 관리할 수 있다. 예를 들어, 상기 이상 감지 기준 키워드는 다음과 같은 단어들을 포함할 수 있으며, 이 외에도 모니터링 대상에서 생성되는 메시지를 고려하여 적절하게 설정될 수 있다.

down, Down, DOWN, fail, Fail, FAIL, err, Err, Error, fatal, Fatal, FATAL, reject, Reject, REJECT, timeout, Timeout, TIMEOUT, off, Off, OFF, critical, Critical, CRITICAL

즉, 이상 감지부(106)는 상기 상태 키워드에 전술한 단어 중 하나 이상이 포함되는 경우 모니터링 대상에 이상이 발생한 것으로 판단할 수 있다. 이상 감지부(106)는 모니터링 대상에 이상이 발생한 것으로 판단되는 경우 시각적 또는 청각적 수단 등을 통해 경고 메시지를 출력할 수 있다. 예를 들어, 이상 감지부(106)는 관리자의 단말에 경고 메시지를 디스플레이하거나, 또는 경보음을 내도록 구성될 수 있다.

예측부(108)는 이상 감지부(106)에 의하여 모니터링 대상의 이상 발생이 감지되는 경우, 텍스트 데이터와 사례 데이터베이스(104)에 저장된 과거 사례 데이터를 대비하여 감지된 이상의 확산 또는 소멸 여부를 예측한다. 일 실시예에서, 예측부(108)는 상기 텍스트 데이터로부터 획득된 이상 키워드와 동일 시간대에서 텍스트 데이터로부터 수집된 키워드 중 가장 빈도수가 높은 연관 후보 키워드를 추출하고, 상기 이상 키워드 및 상기 연관 후보 키워드간의 빈발 패턴 증가(Frequent Pattern Growth; FPG) 연관 분석(이하, FPG 연관 분석)에 의한 향상도를 계산하며, 상기 이상 키워드, 상기 연관 후보 키워드 및 상기 향상도에 대응되는 사례 데이터를 사례 데이터베이스(104)에서 검색하고, 검색된 사례 데이터의 확산 또는 소멸 여부에 따라 감지된 이상의 확산 또는 소멸 여부를 예측할 수 있다. 이를 좀 더 상세히 설명하면 다음과 같다.

이상 감지부(106)에 의하여 모니터링 대상의 이상 발생이 감지되는 경우, 예측부(108)는 데이터 수집부(102)에서 생성한 각 시간대별 키워드 그룹으로부터 이상 키워드 및 상기 이상 키워드와 동일 시간대에서 수집된 키워드 중 가장 빈도수가 높은 연관 후보 키워드를 추출한다. 예를 들어, 표 1의 사례에서 GSS의 OFFLINE 상태가 감지되었다고 가정하자. 이 경우, 이상 감지부(106)는 "OFFLINE"을 이상 키워드로, GSS의 OFFLINE 상태가 기록된 시간대인 시간대 1, 2, 3, 4에서 가장 많이 등장한 키워드인 WEBSERVER의 "GET 443"을 연관 후보 키워드로 설정한다.

다음으로, 예측부(108)는 상기 이상 키워드 및 상기 연관 후보 키워드 간의 FPG 연관 분석을 통해 두 키워드 사이의 연관 관계를 계산한다. FPG 연관 분석은 인자들 사이의 지지도(Support), 신뢰도(Confidence) 및 향상도(Lift)를 계산함으로써 키워드 사이의 연관 관계를 분석하는 분석 방법을 의미한다. 예를 들어, 상기 예에서 이상 키워드 및 연관 후보 키워드 간의 지지도, 신뢰도 및 향상도는 다음과 같이 계산될 수 있다.

설명의 편의를 위하여 이상 키워드를 키워드 X로, 연관 후보 키워드를 키워드 Y로 지칭하기로 하자. 먼저, 전체 데이터 집합에서 각 키워드들이 나타날 확률을 계산하면 다음의 수학식 1 및 2와 같다. 본 실시예에서는 최근 5개의 시간대(트랜잭션)를 전체 데이터 집합으로 가정하였으나, 전체 데이터 집합의 범위는 모니터링 대상 등을 고려하여 적절히 설정될 수 있다.

[수학식 1]

[수학식 2]

또한, 이로부터 X에 대한 Y의 지지도, 신뢰도 및 향상도를 계산하면 다음의 수학식 3 내지 5와 같다.

[수학식 3]

[수학식 4]

[수학식 5]

향상도는 두 인자가 서로 독립적인지 아닌지를 판단하는 척도로서, 1이면 독립, 1보다 크면 밀접, 1보다 작으면 서로 반대 관계임을 나타낸다. 따라서, 상기 예의 경우 X와 Y 사이의 향상도가 1.25이므로 X와 Y는 밀접한 관계가 존재한다.

이와 같이 향상도가 계산되면, 다음으로 예측부(108)는 상기 X와 Y 간의 향상도가 1 이상이 사례가 존재하는지의 여부를 사례 데이터베이스(104)에서 검색하고, 검색된 사례의 확산 또는 소멸 여부에 따라 감지된 이상이 확산 또는 소멸될지 여부를 예측한다. 예를 들어, 사례 데이터베이스(104)에 저장된 사례 중 동일한 키워드 및 향상도를 가진 사례가 존재하고, 해당 사례가 장애 확산 사례인 경우 예측부(108)는 감지된 이상이 확산될 것으로, 반대로 장애 소멸 사례인 경우에는 감지된 이상이 소멸될 것으로 예측하게 된다.

본 발명의 일 실시예에서, 예측부(108)는 연속된 시간대에서 기 설정된 횟수 이상 동일한 이상 발생이 감지되는 경우, 감지된 이상의 확산 또는 소멸 여부를 예측할 수 있다. 예를 들어, 표 1의 사례에서 동일한 이상이 3회 이상 반복하여 나타날 경우를 기준값으로 설정하였다고 가정하면, 예측부(108)는 GSS STATE OFFLINE이 3회 감지된 이후인 시간대 4에서 감지된 이상의 확산 또는 소멸 여부를 예측하게 된다.

한편, 본 발명의 일 실시예에 따른 이상 감지 및 예측 시스템(100)은 사례 갱신부(110)를 더 포함할 수 있다. 사례 갱신부(110)는 예측부(108)의 검색 결과 상기 이상 키워드 및 상기 연관 후보 키워드에 대응되는 사례 데이터가 사례 데이터베이스(104)에 존재하지 않거나, 또는 상기 모니터링 대상에서 감지된 이상의 실제 이상 확산 또는 소멸 여부가 상기 예측부의 예측과 일치하지 않는 경우 상기 연관 후보 키워드 및 상기 향상도를 이용하여 상기 사례 데이터베이스에 저장된 사례 데이터를 갱신하게 된다.

표 1의 사례로 돌아가면, 표 1의 경우 시간대 5에서 GSS STATE가 OFFLINE에서 ONLINE으로 전환되었는 바, 이 경우는 장애가 소멸된 사례에 해당한다. 그러나 만약 사례 데이터베이스(104)에 동일한 사례가 장애 확산으로 기록되어 있거나, 또는 사례 데이터베이스(104)에 이와 동일한 사례가 기록되어 있지 않은 경우, 사례 갱신부(110)는 금번에 발견된 사례를 사례 데이터베이스(104)에 업데이트함으로써 향후 장애 예측에 활용될 수 있도록 한다.

도 2는 본 발명의 일 실시예에 따른 이상 감지 및 예측 방법(500)을 설명하기 위한 흐름도이다. 본 발명의 일 실시예에 따른 이상 감지 및 예측 방법(500)은 전술한 이상 감지 및 예측 시스템(100)에 의하여 수행될 수 있다.

단계 502에서, 데이터 수집부(102)는 모니터링 대상에서 생성되는 텍스트 데이터를 수집한다.

단계 504에서, 이상 감지부(106)는 상기 텍스트 데이터로부터 상기 모니터링 대상의 이상 발생 여부를 감지한다.

단계 506에서, 예측부(108)는 상기 텍스트 데이터 및 상기 모니터링 대상의 이상 또는 정상 여부와 관련된 과거 사례 데이터를 대비하여 감지된 이상의 확산 또는 소멸 여부를 예측한다.

단계 508에서, 사례 갱신부(110)는 상기 506 단계의 수행 결과 상기 이상 키워드 및 상기 연관 후보 키워드에 대응되는 사례 데이터가 존재하지 않거나, 또는 상기 모니터링 대상에서 감지된 이상의 실제 이상 확산 또는 소멸 여부가 예측 결과와 일치하지 않는 경우, 모니터링 대상의 실제 이상 확산 또는 소멸 여부에 따라 사례 데이터를 갱신한다.

한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 이상 감지 및 예측 시스템
102: 데이터 수집부
104: 사례 데이터베이스
106: 이상 감지부
108: 예측부
110: 사례 갱신부

Claims

모니터링 대상의 이상 또는 정상 여부와 관련된 사례 데이터를 저장하는 사례 데이터베이스;
상기 모니터링 대상에서 생성되는 텍스트 데이터를 수집하는 데이터 수집부;
상기 텍스트 데이터로부터 상기 모니터링 대상의 이상 발생 여부를 감지하는 이상 감지부; 및
상기 모니터링 대상의 이상 발생이 감지되는 경우, 상기 텍스트 데이터와 과거 사례 데이터를 대비하여 감지된 이상의 확산 또는 소멸 여부를 예측하는 예측부를 포함하는 이상 감지 및 예측 시스템.
청구항 1에 있어서,
상기 데이터 수집부는, 수집된 상기 텍스트 데이터 각각으로부터 시각 정보 및 상기 모니터링 대상의 정상 또는 이상과 관련된 상태 키워드를 추출하고,
추출된 상기 시각 정보 및 상기 상태 키워드를 기 설정된 시간대별로 그룹화하는, 이상 감지 및 예측 시스템.
청구항 2에 있어서,
상기 데이터 수집부는, 상기 텍스트 데이터에 숫자 형태로 표현되는 측정값이 포함되어 있는 경우,
동일 시간대에서 수집된 상기 측정값의 평균값 또는 중간값을 계산하고,
상기 평균값 또는 중간값과 대응되어 설정된 특정 문자열을 상기 상태 키워드로 설정하는, 이상 감지 및 예측 시스템.
청구항 2에 있어서,
상기 이상 감지부는, 상기 상태 키워드가 기 설정된 이상 감지 기준 키워드 중 어느 하나와 일치하는 경우, 상기 모니터링 대상에 이상이 발생한 것으로 판단하는, 이상 감지 및 예측 시스템.
청구항 4에 있어서,
상기 이상 감지부는, 상기 모니터링 대상에 이상이 발생한 것으로 판단되는 경우 경고 메시지를 출력하는, 이상 감지 및 예측 시스템.
청구항 2에 있어서,
상기 사례 데이터는,
상기 모니터링 대상의 이상과 관련된 이상 사례 키워드;
상기 이상 사례 키워드의 연관 키워드;
상기 이상 사례 키워드와 상기 연관 키워드 간의 빈발 패턴 증가 연관 분석에 의한 향상도 기준값; 및
해당 이상 사례의 확산 또는 소멸 여부 정보를 포함하는, 이상 감지 및 예측 시스템.
청구항 6에 있어서,
상기 예측부는,
상기 텍스트 데이터로부터 획득된 이상 키워드와 동일 시간대에서 텍스트 데이터로부터 수집된 키워드 중 가장 빈도수가 높은 연관 후보 키워드를 추출하고,
상기 이상 키워드 및 상기 연관 후보 키워드간의 빈발 패턴 증가 연관 분석에 의한 향상도를 계산하며,
상기 이상 키워드, 상기 연관 후보 키워드 및 상기 향상도에 대응되는 사례 데이터를 상기 사례 데이터베이스에서 검색하고,
검색된 사례 데이터의 확산 또는 소멸 여부에 따라 감지된 이상의 확산 또는 소멸 여부를 예측하는, 이상 감지 및 예측 시스템.
청구항 7에 있어서,
상기 예측부는, 연속된 시간대에서 기 설정된 횟수 이상 동일한 이상 발생이 감지되는 경우, 감지된 이상의 확산 또는 소멸 여부를 예측하는, 이상 감지 및 예측 시스템.
청구항 7에 있어서,
상기 이상 키워드 및 상기 연관 후보 키워드에 대응되는 사례 데이터가 존재하지 않거나, 또는
상기 모니터링 대상에서 감지된 이상의 실제 이상 확산 또는 소멸 여부가 상기 예측부의 예측과 일치하지 않는 경우,
상기 연관 후보 키워드 및 상기 향상도를 이용하여 상기 사례 데이터베이스에 저장된 사례 데이터를 갱신하는 사례 갱신부를 더 포함하는, 이상 감지 및 예측 시스템.
이상 감지 및 예측 시스템에서 수행되는 이상 감지 및 예측 방법으로서,
모니터링 대상에서 생성되는 텍스트 데이터를 수집하는 단계;
상기 텍스트 데이터로부터 상기 모니터링 대상의 이상 발생 여부를 감지하는 단계; 및
상기 모니터링 대상의 이상 발생이 감지되는 경우, 상기 텍스트 데이터 및 상기 모니터링 대상의 이상 또는 정상 여부와 관련된 과거 사례 데이터를 대비하여 감지된 이상의 확산 또는 소멸 여부를 예측하는 단계를 포함하는 이상 감지 및 예측 방법.
청구항 10에 있어서,
상기 텍스트 데이터를 수집하는 단계는,
수집된 상기 텍스트 데이터 각각으로부터 시각 정보 및 상기 모니터링 대상의 정상 또는 이상과 관련된 상태 키워드를 추출하는 단계; 및
추출된 상기 시각 정보 및 상기 상태 키워드를 기 설정된 시간대별로 그룹화하는 단계를 더 포함하는, 이상 감지 및 예측 방법.
청구항 11에 있어서,
상기 상태 키워드를 추출하는 단계는,
상기 텍스트 데이터에 숫자 형태로 표현되는 측정값이 포함되어 있는 경우,
동일 시간대에서 수집된 상기 측정값의 평균값 또는 중간값을 계산하고,
상기 평균값 또는 중간값과 대응되어 기 설정된 특정 문자열을 상기 상태 키워드로 설정하는, 이상 감지 및 예측 방법.
청구항 11에 있어서,
상기 이상 발생 여부를 감지하는 단계는,
상기 상태 키워드가 기 설정된 이상 감지 기준 키워드 중 어느 하나와 일치하는 경우, 상기 모니터링 대상에 이상이 발생한 것으로 판단하는, 이상 감지 및 예측 방법.
청구항 13에 있어서,
상기 이상 발생 여부를 감지하는 단계는,
상기 모니터링 대상에 이상이 발생한 것으로 판단되는 경우 경고 메시지를 출력하는 단계를 더 포함하는, 이상 감지 및 예측 방법.
청구항 11에 있어서,
상기 사례 데이터는,
상기 모니터링 대상의 이상과 관련된 이상 사례 키워드;
상기 이상 사례 키워드의 연관 키워드;
상기 이상 사례 키워드와 상기 연관 키워드 간의 빈발 패턴 증가 연관 분석에 의한 향상도 기준값; 및
해당 이상 사례의 확산 또는 소멸 여부 정보를 포함하는, 이상 감지 및 예측 방법.
청구항 15에 있어서,
상기 예측하는 단계는,
상기 텍스트 데이터로부터 획득된 이상 키워드와 동일 시간대에서 텍스트 데이터로부터 수집된 키워드 중 가장 빈도수가 높은 연관 후보 키워드를 추출하는 단계;
상기 이상 키워드 및 상기 연관 후보 키워드간의 빈발 패턴 증가 연관 분석에 의한 향상도를 계산하는 단계;
상기 이상 키워드, 상기 연관 후보 키워드 및 상기 향상도에 대응되는 사례 데이터를 상기 사례 데이터베이스에서 검색하는 단계; 및,
검색된 사례 데이터의 확산 또는 소멸 여부에 따라 감지된 이상의 확산 또는 소멸 여부를 판단하는 단계를 더 포함하는, 이상 감지 및 예측 방법.
청구항 16에 있어서,
상기 예측하는 단계는,
연속된 시간대에서 기 설정된 횟수 이상 동일한 이상 발생이 감지되는 경우, 감지된 이상의 확산 또는 소멸 여부를 예측하는, 이상 감지 및 예측 방법.
청구항 16에 있어서,
상기 검색하는 단계의 검색 결과, 상기 이상 키워드 및 상기 연관 후보 키워드에 대응되는 사례 데이터가 존재하지 않거나, 또는
상기 모니터링 대상에서 감지된 이상의 실제 이상 확산 또는 소멸 여부가 상기 판단하는 단계의 판단 결과와 일치하지 않는 경우,
상기 연관 후보 키워드 및 상기 향상도를 이용하여 상기 사례 데이터를 갱신하는 단계를 더 포함하는, 이상 감지 및 예측 방법.
하드웨어와 결합되어,
모니터링 대상에서 생성되는 텍스트 데이터를 수집하는 단계;
상기 텍스트 데이터로부터 상기 모니터링 대상의 이상 발생 여부를 감지하는 단계; 및
상기 모니터링 대상의 이상 발생이 감지되는 경우, 상기 텍스트 데이터 및 상기 모니터링 대상의 이상 또는 정상 여부와 관련된 과거 사례 데이터를 대비하여 감지된 이상의 확산 또는 소멸 여부를 예측하는 단계를 포함하는 단계들을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.