KR101856170B1

KR101856170B1 - 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치 및 그 방법

Info

Publication number: KR101856170B1
Application number: KR1020170121314A
Authority: KR
Inventors: 김준호; 김형근; 한영석; 이삭
Original assignee: 주식회사 모비젠
Priority date: 2017-09-20
Filing date: 2017-09-20
Publication date: 2018-05-10

Abstract

본 발명의 일 실시 예는, 기준시점에서 시스템으로부터 출력된 제1시점데이터와 상기 기준시점보다 더 과거시점에서 상기 시스템으로부터 출력된 제2시점데이터를 저장하고 있는 데이터베이스; 상기 데이터베이스를 검색하여 서로 다른 시점에서 출력된 제2시점데이터를 복수만큼 추출하고, 상기 추출된 복수의 제2시점데이터 중 한 가지와 상기 제1시점데이터를 포함하는 데이터세트(data set)를 상기 추출된 제2시점데이터별로 생성하는 데이터세트생성부; 상기 생성된 데이터세트에 포함된 제2시점데이터를 입력데이터로, 상기 생성된 데이터세트에 포함된 제1시점데이터를 출력데이터로 학습시킨 학습모델을 데이터세트별로 생성하는 학습모델생성부; 상기 데이터세트별로 생성된 학습모델에 상기 제1시점데이터를 입력시켜서, 상기 기준시점보다 더 미래시점에서 상기 시스템으로부터 출력될 것으로 예상되는 제3시점데이터를 시점별로 산출시키는 제3시점데이터산출부; 및 상기 시점별로 산출된 제3시점데이터를 상기 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합하고, 상기 통합된 시변데이터를 기초로 상기 기준시점보다 더 미래시점에서 상기 시스템에 이상이 발생될 시점을 파악하는 이상시점파악부;를 포함하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치를 제공한다.

Description

시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치 및 그 방법 {Apparatus for predicting error generation time of system based on time-series data and method thereof}

본 발명은 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치 및 그 방법에 관한 것으로서, 보다 구체적으로는, 시스템의 과거 시계열 데이터 및 현재 데이터를 입력으로 받아들여서 분석함으로써, 미래에 시스템에 이상이 발생할 것으로 예측되는 시점을 효과적으로 예측하기 위한 장치 및 그 방법에 관한 것이다.

과거 시점의 시계열 데이터를 입력받아서 분석한 후, 현재시점 및 그 이후 시점의 데이터를 예측하는 방법은 여러가지가 존재한다. 전통적으로 이런 시계열 데이터의 처리는 마코프 모델이 활용되었으며, 최근에는 마코프 모델이 시간적 의존관계에 있어서 의존성의 한계가 분명하다는 단점이 지적됨에 따라 신경망 계열의 모델들이 주로 활용되고 있다.

도 1은 대표적인 마코프 네트워크를 나타낸 도면이다.

도 1에서 여러 노트 간에 있는 엣지(edge)에는 확률값이 부여되며, 특정 노드에서 다른 노드에 대한 확률값은 일반적으로 최대가능도법(MLE : Maximum Likelihood Estimation)으로 구할 수 있다. 마코프 모델을 사용하면, 현재를 기준으로 하여 바로 이전의 두 개의 사건을 모델링하는 경우에는 의미있는 결과를 얻어낼 수 있지만, 그 이상의 과거 사건을 추가로 삽입하여 모델링하는 경우에는 경우의 수가 많아져서 데이터 희소성(sparsity)이 발생하는 한계가 존재한다.

마코프 모델에 이어서 최근 이용되는 신경망 계열의 RNN(Recurrent Neural Net), LSTM(Long Short Term Memory) 등은 다층 구조의 신경망의 내재변수(latent variable or hidden variable)에 시간적 의존성을 부여하는 방법을 의미한다.

도 2는 대표적인 RNN 모델에서의 노드 형태를 두 가지 관점에서 보여주는 도면이다.

RNN모델은 노드에 재귀적(recurrent) 연결선이 있는 점이 특징이다. 도 2를 참조하면, 시간 t에서의 입력값이 이전 t-1에서의 값에 영향을 받는 것을 알 수 있는데, 이것은 마코프가정(Markov assumption)하고도 상통하기 때문에, 도 2의 각 노드는 마코프 노드라고도 할 수 있으나, 각 노드들이 수직적으로 다층을 이룰 수 있다는 점에서 도 2의 노드는 마코프 모델에 따른 노드와는 차이점이 있으며, 노드간에 다층을 구성할 수 있다는 점은 마코프 모델이 갖는 의존거리의 한계를 어느 정도 극복시켜 준다.

앞서 설명한 마코프 모델 및 RNN 모델과 같은 신경망 모델은 언어현상을 구성하는 단어, 형태소와 같이 시간상의 의존관계가 매우 강해서, 바로 이전 사건을 기초로 다음 사건을 예측하는 데에는 유용하게 활용할 수 있지만, 기계적 또는 사회적 시스템의 이상성(anomality)은 언어현상과는 다른 시간상의 의존관계에 따라서 예측되어야만 하므로, 이런 사례를 분석하는 데에는 마코프 모델 및 RNN 모델이 적용되기 어렵다. 기계적 또는 사회적 시스템에서의 이상상황이 발생하였을 때, 그 이상상황을 야기하는 근원이 되는 사건은 이상상황이 발생하기 전에 몇 십분 전, 몇 주 전 또는 몇 년전이 될 수 있기 때문이다. 즉, 마코프 모델이나 RNN 모델과 같은 모델은 시간적 의존성이 강한 데이터에 대해서만 의미있는 결과를 도출하므로, 시간적 의존성이 강하지 않은 것으로 파악된 데이터가 주어졌을 때, 이를 유효하게 분석하기 위한 방법론이 필요한 실정이다.

또한, 기존의 마코프 모델은 벡터(vector)를 단위정보로서 다루는 것이 어려운 특성을 갖는다. 기계적 또는 사회적 시스템에서 출력, 검출되는 데이터는 시점이 고정된 것을 전제로 하였을 때, 단일변수값(scalar)이 아닌 복수변수값(mutivariate)인 경우가 대부분이기 때문에, 다중변수벡터를 효과적으로 처리하고, 다중변수벡터를 처리한 결과로부터 의미있는 예측결과를 얻어내기 위한 방법이 필요하다.

대한민국 공개특허공보 제10-2017-0070715호 (2017.06.22. 공개)

본 발명이 해결하고자 하는 기술적 과제는, 과거의 시계열 데이터 및 현재 데이터를 기초로 하여, 현재 데이터와 현재로부터 긴 시간거리를 두고 있는 미래의 데이터의 의존관계를 계산하여 미래의 특정 시점에 발생하는 사건을 예측하는 데에 효과적으로 이용할 수 있는 장치 및 방법을 제공하는 데에 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 장치는, 기준시점에서 시스템으로부터 출력된 제1시점데이터와 상기 기준시점보다 더 과거시점에서 상기 시스템으로부터 출력된 제2시점데이터를 저장하고 있는 데이터베이스;상기 데이터베이스를 검색하여 서로 다른 시점에서 출력된 제2시점데이터를 복수만큼 추출하고, 상기 추출된 복수의 제2시점데이터 중 한 가지와 상기 제1시점데이터를 포함하는 데이터세트(data set)를 상기 추출된 제2시점데이터별로 생성하는 데이터세트생성부; 상기 생성된 데이터세트에 포함된 제2시점데이터를 입력데이터로, 상기 생성된 데이터세트에 포함된 제1시점데이터를 출력데이터로 학습시킨 학습모델을 데이터세트별로 생성하는 학습모델생성부; 상기 데이터세트별로 생성된 학습모델에 상기 제1시점데이터를 입력시켜서, 상기 기준시점보다 더 미래시점에서 상기 시스템으로부터 출력될 것으로 예상되는 제3시점데이터를 시점별로 산출시키는 제3시점데이터산출부; 및 상기 시점별로 산출된 제3시점데이터를 상기 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합하고, 상기 통합된 시변데이터를 기초로 상기 기준시점보다 더 미래시점에서 상기 시스템에 이상이 발생될 시점을 파악하는 이상시점파악부;를 포함한다.

상기 장치는, 상기 데이터세트별로 생성된 학습모델에 대한 신뢰도를 산출하는 모델신뢰도산출부를 더 포함하고, 상기 이상시점파악부는, 상기 시점별로 산출된 제3시점데이터를 상기 산출된 신뢰도를 기초로 하여 상기 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합할 수 있다.

상기 장치는, 검증용 입력데이터 및 검증용 출력데이터를 저장하고 있는 검증용데이터베이스를 더 포함하고, 상기 모델신뢰도산출부는, 상기 검증용 입력데이터를 상기 생성된 학습모델에 입력하여 비교용 출력데이터를 출력시키고, 상기 비교용 출력데이터와 상기 검증용 출력데이터를 비교한 결과를 기초로 상기 학습모델의 신뢰도를 산출할 수 있다.

상기 장치에 있어서, 상기 제1시점데이터, 상기 제2시점데이터, 상기 제3시점데이터는 다중변수벡터(multivariate vector)인 것을 특징으로 할 수 있다.

상기 장치에 있어서, 상기 이상시점파악부는, 상기 시점별로 산출된 제3시점데이터를 시그모이드 넷(sigmoid net)함수를 기초로 하여 상기 시변데이터로 통합하는 것을 특징으로 할 수 있다.

상기 장치에 있어서, 상기 이상시점파악부는, 상기 산출된 신뢰도를 기초로 하여 상기 시점별로 산출된 제3시점데이터 중에서 적어도 한 시점에 대한 제3시점데이터를 제외시키는 제3시점데이터분류부; 및 상기 제외된 제3시점데이터 외의 제3시점데이터를 상기 시변데이터로 통합하는 선택통합부;를 포함하는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치.

상기 장치에 있어서, 상기 제3시점데이터산출부는, 상기 데이터세트별로 생성된 학습모델에 상기 제2시점데이터를 입력시켜서 출력되는 결과를 상기 데이터세트별로 생성된 학습모델에 상기 제1시점데이터를 입력시켜서 출력되는 결과와 미리 설정된 방법에 따라 조합하여 상기 제3시점데이터를 시점별로 산출시키는 것을 특징으로 할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시 예에 따른 방법은, 기준시점에서 시스템으로부터 출력된 제1시점데이터와 상기 기준시점보다 더 과거시점에서 상기 시스템으로부터 출력된 제2시점데이터를 저장하고 있는 데이터베이스를 검색하여 서로 다른 시점에서 출력된 제2시점데이터를 복수만큼 추출하고, 상기 추출된 복수의 제2시점데이터 중 한 가지와 상기 제1시점데이터를 포함하는 데이터세트(data set)를 상기 추출된 제2시점데이터별로 생성하는 데이터세트생성단계; 상기 생성된 데이터세트에 포함된 제2시점데이터를 입력데이터로, 상기 생성된 데이터세트에 포함된 제1시점데이터를 출력데이터로 학습시킨 학습모델을 데이터세트별로 생성하는 학습모델생성단계; 상기 데이터세트별로 생성된 학습모델에 상기 제1시점데이터를 입력시켜서, 상기 기준시점보다 더 미래시점에서 상기 시스템으로부터 출력될 것으로 예상되는 제3시점데이터를 시점별로 산출시키는 제3시점데이터산출단계; 및 상기 시점별로 산출된 제3시점데이터를 상기 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합하고, 상기 통합된 시변데이터를 기초로 상기 기준시점보다 더 미래시점에서 상기 시스템에 이상이 발생될 시점을 파악하는 이상시점파악단계;를 포함한다.

상기 방법은, 상기 데이터세트별로 생성된 학습모델에 대한 신뢰도를 산출하는 모델신뢰도산출단계를 더 포함하고, 상기 이상시점파악단계는, 상기 시점별로 산출된 제3시점데이터를 상기 산출된 신뢰도를 기초로 하여 상기 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합하는 것을 특징으로 할 수 있다.

상기 방법은, 검증용 입력데이터 및 검증용 출력데이터를 저장하고 있는 검증용데이터베이스를 더 포함하고, 상기 모델신뢰도산출단계는, 상기 검증용 입력데이터를 상기 생성된 학습모델에 입력하여 비교용 출력데이터를 출력시키고, 상기 비교용 출력데이터와 상기 검증용 출력데이터를 비교한 결과를 기초로 상기 학습모델의 신뢰도를 산출하는 것을 특징으로 할 수 있다.

상기 방법에 있어서, 상기 제1시점데이터, 상기 제2시점데이터, 상기 제3시점데이터는 다중변수벡터(multivariate vector)인 것을 특징으로 할 수 있다.

상기 방법에 있어서, 상기 이상시점파악단계는, 상기 시점별로 산출된 제3시점데이터를 시그모이드 넷(sigmoid net)함수를 기초로 하여 상기 시변데이터로 통합하는 것을 특징으로 할 수 있다.

상기 방법에 있어서, 상기 이상시점파악단계는, 상기 산출된 신뢰도를 기초로 하여 상기 시점별로 산출된 제3시점데이터 중에서 적어도 한 시점에 대한 제3시점데이터를 제외시키는 제3시점데이터분류단계; 및 상기 제외된 제3시점데이터 외의 제3시점데이터를 상기 시변데이터로 통합하는 선택통합단계;를 포함하는 것을 특징으로 할 수 있다.

상기 방법에 있어서, 상기 제3시점데이터산출단계는, 상기 데이터세트별로 생성된 학습모델에 상기 제2시점데이터를 입력시켜서 출력되는 결과를 상기 데이터세트별로 생성된 학습모델에 상기 제1시점데이터를 입력시켜서 출력되는 결과와 미리 설정된 방법에 따라 조합하여 상기 제3시점데이터를 시점별로 산출시키는 것을 특징으로 할 수 있다.

본 발명의 일 실시 예는, 상기 방법을 실행하기 위한 프로그램을 저장하고 있는 컴퓨터 판독가능한 기록매체를 제공한다.

본 발명에 따르면, 현재를 기준으로 시간이 많이 경과하여, 현재의 데이터와 시간적 의존성이 강하지 않은 데이터인 과거의 시계열 데이터 및 현재의 데이터의 의존관계를 유효하게 분석하고, 분석한 결과를 기초로 하여 미래에 데이터를 출력한 시스템에 이상이 발생하는 시점을 효과적으로 예측할 수 있다.

도 1은 대표적인 마코프 네트워크를 나타낸 도면이다.
도 2는 대표적인 RNN 모델에서의 노드 형태를 두 가지 관점에서 보여주는 도면이다.
도 3은 본 발명에 따른 장치의 일 예에 대한 블록도를 도시한 도면이다.
도 4는 학습모델생성부에 저장된 모델이 제한적볼츠만머신 모델인 경우를 설명하기 위한 도면이다.
도 5는 제1시점데이터를 입력으로 산출되는 제3시점데이터에 대한 시점정보를 도식적으로 나타낸 도면이다.
도 6은 기준시점으로부터의 학습모델의 신뢰도의 변화를 일괄적으로 나타내는 도면이다.
도 7은 종래의 상호 정보량 기법에 따른 의존정보약화현상을 도식적으로 나타내는 도면이다.
도 8은 복수시점의 제3시점데이터들을 하나의 시변데이터로 통합하는 과정의 일 예를 도시한 도면이다.
도 9는 제3시점데이터를 하나의 시변데이터로 통합하는 과정의 다른 일 예를 도식적으로 나타낸 도면이다.
도 10은 이상시점파악부가 통합된 데이터를 기초로 하여 기준시점 이후의 미래시점에서 이상시점을 파악하는 과정을 설명하기 위한 도면이다.
도 11은 이상시점파악부가 기준시점보다 더 미래시점에서의 통합함수값을 산출하는 다른 일 예를 도식적으로 나타낸 도면이다.
도 12는 본 발명에 따른 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 방법의 일 예에 대한 흐름도를 도시한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

이하의 실시 예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.

이하의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하의 실시 예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

어떤 실시 예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.

도 3은 본 발명에 따른 장치의 일 예에 대한 블록도를 도시한 도면이다.

도 3을 참조하면, 본 발명에 따른 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치(30)는, 데이터베이스(310), 데이터세트생성부(320), 학습모델생성부(330), 제3시점데이터산출부(340), 이상시점파악부(350), 모델신뢰도산출부(360) 및 검증용데이터베이스(370)를 포함하고 있다는 것을 알 수 있다. 실시 예에 따라, 본 발명에 따른 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치(30)에 검증용데이터베이스(370) 및 모델신뢰도산출부(360)가 생략될 수도 있다.

데이터베이스(310)는 기준시점에서 시스템으로부터 출력된 제1시점데이터와 기준시점보다 더 과거시점에서 시스템으로부터 출력된 제2시점데이터를 저장하고 있다.

여기서, 제1시점데이터는 기준시점 이후에 이상이 발생될 것인지 예측하기 위한 시스템으로부터 출력되는 여러 가지 데이터 중에서 정확히 기준시점에서 출력된 데이터를 의미한다. 본 발명에 따른 장치의 목적은 기준시점을 두고 그 기준시점 및 기준시점 이전의 데이터가 축적되었을 때에, 기준시점에서 얼마나 경과한 시점에서 시스템의 이상이 발생될 가능성이 가장 높은지를 예측하기 위한 것이므로, 기준시점은 미래의 이상시점을 파악하기 위한 기준이 되는 현재시점이라고 정의될 수 있다. 제2시점데이터는 기준시점보다 더 과거시점에서 시스템으로부터 출력된 데이터를 의미한다.

선택적 일 실시 예로서, 제1시점데이터 및 제2시점데이터는 다중변수벡터(multivariate vector)일 수 있다. 전술한 것과 같이 시스템에서 시간의 흐름에 따라 데이터스트림(data stream)형태로 출력되는 데이터는, 단순히 하나의 값으로만 출력되지 않고, 동일한 시점에서 여러 데이터를 병렬적으로 포함하고 있는 다중변수벡터형태를 띄고 있다. 본 발명은 그러한 데이터를 효과적으로 처리하여 그로부터 시스템의 이상시점을 예측하기 위해 고안된 발명이므로, 제1시점데이터 및 제2시점데이터는 다중변수벡터일 수 있으며, 본 발명에 따르면 종래 기술과 달리 제1시점데이터 및 제2시점데이터가 다중변수벡터형태를 갖더라도 그 데이터를 기초로 하여 기준시점 이후에 발생할 수 있는 시스템의 이상(anomality)시점을 효과적으로 예측할 수 있다.

수학식 1은 데이터베이스(310)에 저장되어 있는 제1시점데이터 또는 제2시점데이터의 일 예를 나타내고 있다. 수학식 1에서

은 시스템의 온도,

는 시스템의 자원사용량,

는 시스템에서 출력된 기설정된 값 이하의 오류메시지 숫자,

은 시스템이 수학식 1에 따른 데이터를 출력한 시점을 의미한다. 예를 들어, 수학식 1에서

의 값이 기준시점을 나타내는 0 또는

이라면 수학식 1에 따른 데이터는 제1시점데이터가 된다.

수학식 1에서는 데이터베이스(310)에 저장되어 있는 제1시점데이터 또는 제2시점데이터의 일 예에 불과하므로, 데이터베이스(310)에 저장되어 있는 제1시점데이터 및 제2시점데이터는 수학식 1과 서로 다른 차원에 대한 다중변수벡터일 수 있다.

데이터세트생성부(320)는 데이터베이스(310)를 검색하여 서로 다른 시점에서 출력된 제2시점데이터를 복수만큼 추출하고, 그 복수의 제2시점데이터 중 한 가지와 제1시점데이터를 포함하는 데이터세트(Data Set)를 제2시점데이터별로 생성한다.

표 1은 데이터세트생성부(320)에 의해 추출되는 제1시점데이터 및 제2시점데이터의 일 예를 나타낸다. 표 1에 따르면, 데이터세트생성부(320)는

시점의 제1시점데이터 외에,

시점,

시점에서 시스템으로부터 출력된 제2시점데이터를 추출하였다는 것을 알 수 있다. 또한, 표 1에 따르면, 제1시점데이터 및 제2시점데이터는 각각 동일한 차원의 다중변수벡터로 표현될 수 있으며, 기준시점은 t0이라는 것도 알 수 있다.

표 2는 데이터세트생성부(320)가 제1시점데이터 및 제2시점데이터를 추출하고 난 후에 생성한 데이터세트의 일 예를 나타낸다. 표 1에서, 데이터세트생성부(320)는 데이터베이스(310)로부터 세 가지 시점에 대한 제2시점데이터를 추출하였으므로, 데이터세트생성부(320)에 의해 생성되는 데이터세트의 수는 표 2와 같이 세 개가 된다. 각 데이터세트는 서로 다른 제2시점데이터를 포함하고 있으며, 데이터세트의 생성번호(대표기호)와 상관없이 각 데이터세트는 제1시점데이터를 포함한다.

표 2와 같이, 데이터세트생성부(320)는 추출된 제2시점데이터별로 데이터세트를 생성하므로, 데이터베이스(310)에서 추출되는 제2시점데이터의 수(종류)가 늘어나면 늘어날수록, 데이터세트생성부(320)에 의해 생성되는 데이터세트의 수(종류)도 증가하게 된다. 데이터세트생성부(320)는 위와 같은 과정을 통해 생성한 데이터세트를 학습모델생성부(330)에 전달한다.

학습모델생성부(330)는 데이터세트에 포함된 제2시점데이터를 입력데이터로 하고, 데이터세트에 포함된 제1시점데이터를 출력데이터로 학습시킨 학습모델을 데이터세트별로 생성한다.

먼저, 학습모델생성부(330)는 적어도 한 가지 이상의 모델을 저장하고 있다. 여기서, 모델(model)은 데이터가 입력되면, 모델 자체의 고유한 특성에 따라서 데이터를 처리하고, 그 처리된 데이터를 출력하는 블랙박스(blackbox)와 같은 것을 의미한다. 학습모델생성부(330)에 저장되어 있는 모델은 그 모델의 모수(parameter)가 모두 정해진 상태에서 입력데이터를 수신하면, 그 입력데이터에 따른 출력데이터를 출력한다. 또한, 모델의 모수가 정해지지 않은 상태에서 모델의 입력데이터 및 출력데이터가 결정되면 입력데이터 및 출력데이터의 상관관계에 가장 부합하는 모수가 산출될 수도 있다.

예를 들어, 학습모델생성부(330)에 저장되어 있는 모델이 정규분포모델이고, 정규분포를 따르는 입출력데이터가 충분히 주어진 상태라면, 학습모델생성부(330)는 정규분포모델의 모수인 평균 m, 표준편차 σ를 산출할 수 있다. 즉, 여기서, 평균 m 및 표준편차 σ는 정규분포모델이 입력데이터 및 출력데이터를 학습한 결과로서 산출되는 모수이고, 위와 같은 모수가 대입된 정규분포모델은 입출력데이터에 대해서 학습이 완료된 모델이라는 의미에서 학습모델이라고 호칭될 수 있다.

전술한 정규분포모델은 학습모델생성부(330)에 저장되어 있는 모델의 일 예이며, 본 발명에서는 학습모델생성부(330)에 저장되어 있는 모델을 특정한 한 가지의 모델로 한정하지는 않으므로, 학습모델생성부(330)에 저장되어 있는 모델은 마코프(Markov)모델, 은닉마코프(Hidden Markov)모델, 볼츠만머신(Boltzman Machine)모델, 제한적볼츠만머신(Restricted Boltzman Machine)모델, RNN모델일 수도 있다.

도 4는 학습모델생성부에 저장된 모델이 제한적볼츠만머신 모델인 경우를 설명하기 위한 도면이다.

도 4를 참조하면, 제한적볼츠만머신 모델은 벡터(vector)를 입력데이터로서 수신하고, 그 입력데이터에 대한 출력데이터로서 벡터를 출력한다는 것을 알 수 있다.

과거의 특정시점과 현재시점간의 의존관계는 수학적으로는 조건확률(conditional probablity), 정보이론적으로는 의존정보(dependency information), 베이지언 논리 관점에서는 인과성(causality)을 의미한다. 의존관계를 계산하는 방법으로 패턴빈도를 이용하는 방법이 있으나, 벡터데이터를 처리하는 경우에는 특정 패턴을 나타내는 벡터가 정확히 다시 발생할 가능성은 극히 낮기 때문에 패턴빈도에 의한 의존관계 계산방법은 실효성이 낮다.

반면, 다중변수벡터를 기본단위로 하는 데이터집합에 대해서 조건확률(의존관계)을 계산하는 방법으로서, 볼츠만머신 모델을 이용하는 것은 바람직한 방법이될 수 있다. 일반적으로, 평가를 해야 하는 특정한 시점(현재시점)을 기준으로 과거로 가면 갈수록, 현재시점과 과거시점간의 의존정보는 약해질 수 밖에 없으나, 볼츠만머신 모델을 이용하면 기존방법에 비해 의존정보약화에 따른 영향을 최소화한 상태에서의 현재시점 및 과거시점간의 의존정보 산출이 가능하다.

또한, 일반적인 볼츠만머신 모델보다 제한적 볼츠만머신 모델을 이용하는 경우, 모델내 노드간의 연결에 일정한 제한을 두어서 노드간에 연결 수가 줄어들게 되어 모델의 학습시간도 크게 줄어든다. 도 4를 참조하면, 제한적 볼츠만머신을 구성하는 각 노드간의 엣지(edge)의 수가 일반적인 볼츠만머신 모델을 이용하는 경우에 비해 더 적은 것을 알 수 있다.

다시 도 3으로 돌아가서 설명하기로 하며, 설명의 편의상 후술하는 모델 및 학습모델은 제한적볼츠만머신 모델이라고 가정하고 설명하기로 한다.

학습모델생성부(330)는 데이터세트에 포함된 제2시점데이터가 모델의 입력데이터, 데이터세트에 포함된 제1시점데이터가 모델의 출력데이터가 되도록 모델을 학습시킨다. 이 과정에서 학습모델은 데이터세트별로 학습되므로, 데이터세트의 수와 학습모델생성부(330)에 의해 생성되는 학습모델의 수는 정확히 일치한다.

데이터세트에 포함되는 제2시점데이터는 데이터세트별로 서로 다른 시점에 대한 데이터이므로, 데이터세트별 제1시점데이터의 시점 및 제2시점데이터의 시점간의 의존거리도 데이터세트별로 각각 다르다. 예를 들어, 표 2를 참조하면, 데이터세트 1 내지 3에 포함된 제1시점데이터의 시점 및 제2시점데이터의 시점간의 의존거리는 각각 1, 2, 3이라는 것을 알 수 있다.

즉, 데이터세트생성부(320)가 10가지 시점에 대한 제2시점데이터를 추출하여 데이터세트를 생성하는 경우, 현재시점을 기준으로 10개의 서로 다른 의존거리가 정의되었다고 볼 수 있으며, 본 발명은 각 의존 거리에서 추출된 데이터를 서로 다른 모델에 학습시켜서 10개의 학습된 모델을 생성하고, 이렇게 10개의 학습된 모델로부터 출력되는 값들을 기초로 하나의 통합모델을 구축하고 이를 분석함으로써, 현재 시점보다 더 미래시점에 발생하는 시스템의 이상을 효과적으로 예측할 수 있다.

학습모델생성부(330)가 데이터세트별로 학습모델을 생성하면, 제3시점데이터산출부(340)는 데이터세트별로 생성된 학습모델에 제1시점데이터를 입력시켜서, 기준시점보다 더 미래시점에서 시스템으로부터 출력될 것으로 예상되는 제3시점데이터를 시점별로 산출시킨다.

여기서, 제3시점은 전술한 제1시점 및 제2시점과 대비되기 위한 개념으로서, 제1시점이 현재, 제2시점이 제1시점보다 더 과거시점 중 어느 한 시점이라면, 제3시점은 제1시점보다 더 미래시점 중 어느 한 시점을 의미한다.

전술한 것과 같이 모델을 학습시키는 과정에서는, 제1시점데이터가 제2시점데이터가 산출되었던 시점보다 더 미래시점에 시스템으로부터 산출된 데이터이므로 학습되기 전 모델의 출력데이터로 취급되며, 이어서, 제3시점데이터산출부(340)는 이미 학습된 모델에 제1시점데이터를 출력데이터가 아닌 입력데이터로서 입력시켜서 제3시점데이터라고 하는 출력데이터가 학습된 모델에 의해 산출되도록 제어하게 된다.

이때, 제3시점데이터는 학습모델로부터 시점별로 산출된다. 보다 구체적으로는, 제3시점데이터산출부(340)는 데이터세트별로 생성된 학습모델 각각에 제1시점데이터를 입력시켜서, 데이터세트의 수만큼의 제3시점데이터를 산출시키며, 이 과정에서 산출된 제3시점데이터는 '학습모델을 학습시키는데 사용된 제1시점데이터가 산출된 시점 및 제2시점데이터가 산출된 시점간의 의존거리를 기초로 결정되는' 기준시점보다 더 미래시점의 데이터가 된다.

도 5는 제1시점데이터를 입력으로 산출되는 제3시점데이터에 대한 시점정보를 도식적으로 나타낸 도면이다.

먼저, 도 5에서, 시간 축에서

은 기준시점으로서 현재시점이라고 가정한다. 이어서, 기준시점을 중심으로 과거시점으로는,

시점,

시점이 있다고 가정한다. 이때,

시점은 기준시점

보다 2 단위시간만큼 더 과거시점을 의미한다.

여기서, 학습모델 A(510)는

시점의 제2시점데이터를 입력데이터로 하고,

시점의 제1시점데이터를 출력데이터로 하여 학습된 모델을 의미한다. 위와 같이 적용하면, 학습모델 B(520)는

시점의 제2시점데이터를 입력데이터로 하고,

시점 의 제1시점데이터를 출력데이터로 하여 학습된 모델을 의미하고, 학습모델 C(530)는

시점의 제2시점데이터를 입력데이터로 하고,

시점 의 제1시점데이터를 출력데이터로 하여 학습된 모델을 의미한다는 것을 알 수 있다.

설명의 편의상, 학습모델 A(510)는 입출력데이터의 의존거리가 15인 학습모델이라고 호칭될 수 있고, 학습모델 B(520)는 의존거리가 7인 학습모델, 학습모델 C(530)는 의존거리가 2인 학습모델이라고 호칭될 수 있다.

도 5에서,

시점,

시점 및

시점은 기준시점인

시점보다 더 미래시점이므로, 각 시점에서 학습모델로부터 출력되는 데이터는 제3시점데이터가 된다.

도 5에서 제3시점데이터산출부(340)는

시점 의 데이터(제1시점데이터)를 의존거리 2에 해당하는 학습모델에 입력하여,

시점에 대한 제3시점데이터가 산출되도록 한다. 이때, 제1시점데이터가 입력되는 학습모델 D(540)는 입출력데이터간에 의존거리가 2인 학습모델 C(530)와 모델특성이 동일하고 입출력데이터만 서로 다른 특징을 갖는다. 위와 같이 학습모델 E(550), 학습모델 F(560)는 각각 학습모델 B(520), 학습모델 A(510)과 같은 모델이고, 제3시점데이터산출부(340)는 위와 같은 과정을 반복하여,

시점 및

시점에 대한 제3시점데이터를 시점별로 산출할 수 있다. 이렇게 시점별로 산출된 제3시점데이터는 후술하는 이상시점파악부(350)에 전달된다.

다시, 도 3으로 돌아와서 설명하기로 한다.

이상시점파악부(350)는 제3시점데이터산출부(340)에 의해 산출된 제3시점데이터를 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합하고, 통합된 시변데이터를 기초로 하여 기준시점보다 더 미래시점 중에서 시스템에 이상이 발생하는 시점을 파악한다.

먼저, 이상시점파악부(350)는 제3시점데이터를 시변데이터로 통합한다. 제3시점데이터는 제1시점데이터가 데이터세트별로 학습된 모델에 입력됨으로써 산출된 데이터이므로, 데이터세트생성부(320)가 생성한 데이터세트의 수만큼 산출되며, 이상시점파악부(350)는 그 복수의 제3시점데이터를 미래시점에서 시스템에 이상이 발생하는 시점을 파악하기 위한 의미있는 하나의 데이터로 통합한다.

하나로 통합된 제3시점데이터는 시변데이터로 호칭될 수 있고, 시변데이터는 기준시점보다 더 미래시점(제3시점)에서 시간에 따라 변화하는 제3시점데이터를 대표하는 데이터로 정의된다.

이상시점파악부(350)는 데이터세트별로 산출된 제3시점데이터를 시변데이터로 통합시키고 난 후, 시변데이터를 기초로 기준시점보다 더 미래시점에서 시스템에 이상이 발생될 것으로 예측되는 시점을 파악한다. 여기서 하나의 시변데이터는 여러 제3시점데이터의 특성값을 모두 반영하고 있는 확률분포함수로 표현될 수 있다.

선택적 일 실시 예로서, 이상시점파악부(350)는 시변데이터를 구성하는 각 제3시점데이터의 크기의 평균 및 표준편차를 기초로 하여, 기준시점보다 더 미래시점에서의 시스템의 이상시점을 파악할 수도 있다. 예를 들어, 벡터로 표현되는 제3시점데이터들의 크기의 평균이 15이고, 표준편차가 1이며, 이상시점을 파악하기 위해 이상시점파악부(350)에 미리 설정된 조건으로서, 평균에 표준편차의 세 배를 더한 값을 초과하는 크기를 갖는 제3시점데이터의 시점이 미리 설정된 경우, 시변데이터를 구성하는 여러 제3시점데이터 중에서 크기가 18을 초과하는 데이터가 있다면, 이상시점파악부(350)는 그 시점이 시스템에 이상이 발생될 가능성이 높은 시점이라고 파악할 수 있다.

다른 선택적 일 실시 예로서, 이상시점파악부(350)는 학습모델별로 신뢰도가 산출되면, 그 신뢰도를 기초로 하여 제3시점데이터를 시변데이터로 통합하고, 그 시변데이터를 기초로 하여 시스템의 이상시점을 파악할 수도 있다.

본 선택적 실시 예에 따르면, 본 발명에 따른 장치는 모델신뢰도산출부(360) 및 검증용데이터베이스(370)를 추가로 포함한다.

모델신뢰도산출부(360)는 학습모델생성부(330)가 학습모델을 데이터세트별로 생성하면, 각 학습모델에 대한 신뢰도를 산출하는 기능을 수행한다. 여기서, 학습모델의 신뢰도는 모델이 제1시점데이터 및 제2시점데이터에 대해 얼마나 학습이 잘 되어있는지 평가하기 위한 기준값으로서, 학습모델의 예측정확성을 수치화한 값으로 정의될 수 있다.

검증용데이터베이스(370)는 학습모델별 신뢰도를 산출하는데에 필요한 각종 검증용 입력데이터 및 출력데이터를 저장하고 있으며, 실시 예에 따라 데이터베이스(310)에 포함될 수도 있다.

모델신뢰도산출부(360)가 학습모델별로 신뢰도를 산출하는 과정의 일 예를 들면, 먼저, 모델신뢰도산출부(360)는 검증용데이터베이스(370)로부터 검증용 입력데이터 및 검증용 출력데이터를 전달받고, 학습모델생성부(330)로부터 데이터세트별로 생성된 학습모델을 전달받는다.

이어서, 모델신뢰도산출부(360)는 검증용 입력데이터를 학습모델에 입력하여 비교용 출력데이터를 출력시키고, 그 비교용 출력데이터를 검증용 출력데이터와 비교한 결과를 기초로 하여 학습모델별로 신뢰도를 산출한다. 검증용 출력데이터와 비교용 출력데이터를 비교하는 방법의 일 예에는, 양 데이터의 크기를 비교하거나, 양 데이터의 코사인유사도(cosine similarity)를 비교하는 방법이 포함될 수 있으며, 그 외에도 특정한 한 가지의 비교방법으로 한정하지 않는다.

수학식 2는 모델신뢰도산출부(360)가 학습모델별로 모델신뢰도를 산출하는 경우에 이용할 수 있는 수학식의 일 예를 나타낸다. 수학식 2에서, l은 검증용 입출력데이터의 세트수,

는 k번째 검증용 출력데이터,

는 k번째 비교용 출력데이터,

는 k번째 검증용 출력데이터 및 k번째 비교용 출력데이터간의 코사인유사도를 반환시켜주는 함수를 의미한다. 학습모델의 신뢰도를 산출하는 일 예로서, 검증용 입출력데이터 세트수가 10개이고, 10개의 검증용 출력데이터 및 비교용 출력데이터간의 코사인유사도의 합이 9였다면, 그 학습모델의 신뢰도는 0.9가 된다.

도 6은 기준시점으로부터의 학습모델의 신뢰도의 변화를 일괄적으로 나타내는 도면이다.

도 6은 기준시점인 0인 시점으로부터 과거시점에 대해 산출된 500개의 학습모델에 대한 신뢰도를 도식적으로 나타내며, 각 시간단위는 1분이다. 도 6을 참조하면, 기준시점인 0으로부터 단위시간만큼 경과한 1분시점에서의 학습모델의 신뢰도와 500분이 경과한 시점에서의 학습모델의 신뢰도가 크게 다르지 않음을 알 수 있다.

보다 구체적으로는, 도 6에서 신뢰도가 시간의 흐름에도 불구하고 급격하게 감소하지 않는다는 것은, 전술한 과정을 통해서 여러 의존거리에 대한 제한적 볼츠만머신 모델을 생성하고, 그 모델들을 학습시킨 후에 그에 따라 신뢰도를 구하거나 그 데이터들을 기초로 하여 이상시점을 파악하는 방법이, 기준시점으로부터 과거시점으로 가면 갈수록 생기는 의존정보약화현상을 최소화시키는 방법이라는 것을 실험적으로 나타내는 것이라고 볼 수 있다.

도 7은 종래의 상호 정보량 기법에 따른 의존정보약화현상을 도식적으로 나타내는 도면이다.

도 7을 참조하면, 본 발명에 따르는 경우, 기준시점 0으로부터 점차 과거시점으로 가더라도 현재시점과 과거의 특정시점간의 의존정보의 약화현상이 거의 발생하지 않으나, 종래의 의존관계를 측정하는 수단인 상호정보량(MI : Mutual Information)에 의할 경우, 기준시점 0으로부터 점차 과거시점으로 가면 갈수록 그 값이 급격하게 감소하는 것을 알 수 있다.

즉, 도 7은 본 발명에 따라, 전술한 과정을 통해서 기준시점으로부터 서로 다른 의존거리에 대한 모델을 생성 및 학습시키고, 이를 하나로 통합한 결과를 미리 설정된 분석방법에 따라 분석하면, 종래기술과는 달리 의존정보약화현상을 최소화한 상태에서 기준시점보다 더 미래의 시점에서의 이상시점을 효과적으로 예측할 수 있다는 것을 간접적으로 나타내는 도면이다.

이상시점파악부(350)의 또 다른 선택적 실시 예로서, 이상시점파악부(350)는 제3시점데이터분류부(351), 선택통합부(353) 및 통합데이터분석부(355)를 포함할 수도 있다.

먼저, 제3시점데이터분류부(351)는 수학식 2를 통해 산출된 학습모델별 신뢰도를 기초로 하여, 시점별로 산출된 제3시점데이터 중에서 적어도 한 시점에 대한 제3시점데이터를 제외시킨다. 제3시점데이터분류부(351)는 적어도 한 시점에 대한 제3시점데이터를 제외시키기 위한 기준으로서, 기설정된 기준신뢰도를 저장하고 있다. 기준신뢰도는 실험적인 값으로서, 관리자의 설정에 의해 그 크기가 변경될 수도 있다. 제3시점데이터분류부(351)가 특정한 시점에 대한 제3시점데이터를 제외하는 것은, 반복적인 학습과정에서 흔히 발생되는 과적합(overfitting)현상을 최소화하기 위함이다.

선택통합부(353)는 제3시점데이터분류부(351)에 의해 제외된 제3시점데이터 외의 제3시점데이터를 시변데이터로 통합한다.

통합데이터분석부(355)는 선택통합부(353)에 통합된 시변데이터를 분석하여 기준시점보다 더 미래시점에서 시스템에 이상이 발생될 것으로 예측되는 시점을 파악한다. 통합데이터분석부(355)는 제3시점데이터분류부(351)에 의해 제외된 시점이 이상시점으로 파악되지 않도록 미리 설정된 조건을 포함할 수 있다.

도 8은 복수시점의 제3시점데이터들을 하나의 시변데이터로 통합하는 과정의 일 예를 도시한 도면이다.

도 8을 참조하면, n개의 서로 다른 학습모델에 기준시점의 데이터인 제1시점데이터가 입력된 결과가 하나의 로지스틱 함수에 피드(feed)되는 방식으로, 제3시점데이터가 하나의 시변데이터로 통합된다는 것을 알 수 있다. 즉, 도 8에 도시된 학습모델들은 기준시점인

로부터 의존거리가 1 내지 n인 미래시점에 대한 조건부확률값을 출력하게 되며, 이 출력된 값들이 미리 설정된 범위(예를 들어 0에서 1)를 초과하지 않는 시그모이드 함수(sigmoid function)에 피드됨으로써, n개의 서로 다른 학습모델로부터 출력되는 제3시점데이터들이 하나의 확률분포함수로 통합될 수 있다. 여러 모델로부터 출력된 값들을 하나의 시그모이드 함수 또는 시그모이드 넷(sigmoid net)에 피드하여 데이터를 단순통합하는 방식은 인공신경망(Artificial Neural Network)에서 널리 사용되고 있는 방식이므로, 이에 대한 자세한 설명은 생략하기로 한다.

도 9는 제3시점데이터를 하나의 시변데이터로 통합하는 과정의 다른 일 예를 도식적으로 나타낸 도면이다.

도 9를 도 8과 비교해보면, 도 8과 도 9는 복수의 서로 다른 의존거리에 대한 학습모델로부터 제3시점데이터가 출력되면 이를 합해서 시그모이드 함수에 피드시키는 방식으로 하나의 확률분포함수로 통합한다는 점에서 유사성이 있다. 다만, 도 9에 따르면, 학습모델을 하나의 노드로 하여 시그모이드 넷(sigmoid net)을 구성하고, 노드의 엣지(edge)값을 학습모델의 신뢰도값으로 삼는다는 점에 특징이 있다. 전술한 것처럼, 학습모델이 볼츠만머신모델이라면, 각 노드의 엣지값은 각 볼츠만머신 모델의 신뢰도값이 된다.

보다 구체적으로, 도 9에 따르면, 학습모델로부터 출력되는 제3시점데이터에 학습모델 자체의 신뢰도를 곱한 다음에 시그모이드 함수(sigmoid function)에 피드시키게 되므로, 학습모델마다 산출된 신뢰도를 시스템의 이상시점을 파악하는 데에 활용할 수 있게 된다는 점에서, 도 8에 도시된 방법과 구별된다.

도 9에 도시된 과정에 따라 제3시점데이터들이 하나의 시변데이터로 통합된 후에, 기준시점보다 더 미래시점에서 이상시점을 파악하는 방법은 전술한 과정과 동일하다. 도 9에 도시된 과정을 통해 이상시점파악부가 제3시점데이터를 통합하여 시스템 이상상태가 발생하는 미래시점을 계산하게 되면, 도 6과 함께 설명한 것과 같이 학습모델의 신뢰도가 시점간의 의존거리에 영향을 거의 받지 않게 되는 특성상, 시스템의 이상이 발생될 것으로 예측되는 그 미래시점은 신뢰성 높은 결과라고 해석될 수 있다.

학습모델별로 신뢰도를 산출하는 방식은 수학식 2에서 이미 설명한 바 있으므로, 생략하기로 한다.

도 10은 이상시점파악부가 통합된 데이터를 기초로 하여 기준시점 이후의 미래시점에서 이상시점을 파악하는 과정을 설명하기 위한 도면이다.

도 10을 참조하면, 기준시점인 0인 시점부터, 2000 여개의 미래시점에 대한 제3시점데이터가 하나의 통합함수(시변데이터)로 도식화되어 표현된 것을 알 수 있다. 본 발명에 따른 장치에서 이상시점파악부는, 제3시점데이터를 일련의 과정을 통해 하나로 통합한 후, 미리 설정된 조건을 만족하는 통합함수값이 있는지 파악하여, 그 조건에 부합하는 데이터가 있다면, 그 데이터에 대응되는 시점을 이상시점을 파악할 수 있다.

일 예로서, 이상시점파악부는 통합함수값 중 가장 낮은 값에 대응되는 시점을 이상시점으로 파악할 수 있다. 본 실시 예에 따라 도 10을 참조하면, 도 10에서는 기준시점인 0인 시점으로부터 1550 단위시간만큼 경과한 시점에서 통합함수값이 가장 낮은 0.645가 되므로, 이상시점파악부는 현재시점으로부터 1550 단위시간만큼 경과한 시점을 시스템에 이상이 발생하는 시점이라고 파악할 수 있다.

다른 일 예로서, 이상시점파악부는 통합함수값 중 가장 높은 값에 대응되는 시점을 이상시점으로 파악할 수도 있으며, 이에 대한 적용과정은 전술한 예와 유사하다.

또 다른 실시 예로서, 이상시점파악부는 통합함수값들의 평균 및 표준편차를 기초로 하여 통합함수값들 중 일부를 제외하고 남은 통합함수값들 중 가장 낮거나 높은 값에 대응되는 시점을 이상시점으로 파악할 수도 있다. 본 실시 예에 따르면, 이상시점파악부는 통합함수값들 중에서 지나치게 이상하다고 판단되는 값들을 1차적으로 정리한 상태에서 시스템의 이상시점을 파악할 수 있게 되어, 과적합을 방지할 수 있는 효과가 있다. 본 실시 예에 따르면, 이상시점파악부는 미리 설정된 값인 0.66보다 더 낮은 통합함수값을 갖는 '현재시점으로부터 1550 단위시간만큼 경과한 시점'을 제외하고, 현재시점으로부터 310 단위시간만큼 경과한 시점을 시스템에 이상이 발생하는 시점이라고 파악할 수 있게 된다.

전술한 설명에서 단위시간은 시, 분, 초, 일 등 다양한 값이 될 수 있으며, 통합함수에 포함되어있는 개개의 통합함수값은 제3시점데이터에 시그모이드 함수가 피드된 값 또는 제3시점데이터에 학습모델별 신뢰도가 적용되고 난 뒤에 시그모이드 함수를 기초로 산출된 값일 수 있다. 이에 대한 설명은, 도 6, 도 8 및 도 9를 통해 이미 설명하였으므로, 생략하기로 한다.

도 11은 이상시점파악부가 기준시점보다 더 미래시점에서의 통합함수값을 산출하는 다른 일 예를 도식적으로 나타낸 도면이다.

도 11을 참조하면, 기준시점은

시점이고, 기준시점과 일정한 의존거리를 갖는

시점,

시점이 있으며, 학습모델 두 가지는 모두

시점의 데이터를 출력데이터로 한다는 것을 알 수 있다. 설명의 편의상, 도 11에서는 특정시점의 통합함수값은 학습모델에서 출력되는 제3시점데이터와 동일하다고 가정한다.

선택적 일 실시 예로서, 본 발명에 따른 장치의 제3시점데이터산출부는 도 11에서 도시된 것과 같이, 데이터세트별로 생성된 학습모델에 제2시점데이터를 입력시켜서 출력되는 결과를 데이터세트별로 생성된 학습모델에 제1시점데이터를 입력시켜서 출력되는 결과와 미리 설정된 방법에 따라 조합하여 제3시점데이터를 시점별로 산출시킬 수 있다.

즉, 도 11에서, 기준시점인

시점으로부터 단위시간이 n만큼 경과한 후의 미래시점

시점의 제3시점데이터를 산출하고자 할 때, 제3시점데이터산출부는 의존거리가 n에 해당하는 학습모델 β에 제1시점데이터(기준시점인

시점의 데이터)를 입력하여 얻은 값을 그대로

시점의 제3시점데이터로서 산출하지 않고, 의존거리가 n+1에 해당하는 학습모델 α에 제2시점데이터(

시점의 데이터)을 입력하여 얻은 값과 합산하여 평균을 낸 값을 제3시점데이터로 산출할 수도 있다. 전술한 평균값을 이용하는 방법 외에 데이터세트별로 생성된 학습모델에 제2시점데이터를 입력시켜서 출력되는 결과를 데이터세트별로 생성된 학습모델에 제1시점데이터를 입력시켜서 출력되는 결과와 조합하는 방법은 여러 가지가 가능하며, 그 조합하는 방법은 제3시점데이터산출부에 미리 설정되어 있다.

본 선택적 실시 예에 따르면, 특정 미래시점의 제3시점데이터를 산출하기 위해서 서로 다른 두 가지 값을 조합함에 따라서, 제3시점데이터들간의 편차를 줄이고, 과적합을 일으키는 요인을 최소화할 수 있는 효과가 있다. 위와 같이 산출된 제3시점데이터에 학습모델별 신뢰도가 곱해진 후 시그모이드 함수에 피드되는 방식으로 통합함수값이 산출될 수도 있다는 것은, 도 9를 통해 이미 설명한 바 있다.

도 12는 본 발명에 따른 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 방법의 일 예에 대한 흐름도를 도시한 도면이다.

도 12에 따른 방법은, 도 3에 따른 장치에 의해 구현될 수 있으므로, 이하에서는 도 3을 참조하여 설명하기로 하며, 도 3 내지 도 11에 걸쳐서 이미 설명한 내용은 이하에서는 생략하기로 한다. 본 발명에 따른 장치는 데이터베이스, 데이터세트생성부, 학습모델생성부, 제3시점데이터산출부, 이상시점파악부를 포함하고, 실시 예에 따라 모델신뢰도산출부 및 검증용 데이터베이스를 추가로 포함할 수도 있다.

먼저, 데이터세트생성부는 제1시점데이터 및 제2시점데이터를 데이터베이스로부터 추출한다(S1210). 여기서, 제1시점데이터는 기준시점에 시스템으로부터 출력된 데이터를 의미하고, 제2시점데이터는 기준시점보다 더 과거시점에서 시스템으로부터 출력된 데이터를 의미한다.

단계 S1210에서, 제1시점데이터 및 제2시점데이터는 다중변수벡터(multivariate vector)가 될 수 있으며, 후술하는 제3시점데이터도 마찬가지이다.

데이터세트생성부는 제1시점데이터 및 제2시점데이터를 포함하는 복수의 데이터세트를 생성한다(S1230). 데이터세트의 정의 및 예시에 대해서는 표 2와 함께 이미 설명한 바 있으므로, 이에 대한 자세한 설명은 생략하기로 한다.

학습모델생성부는 데이터세트에 포함된 데이터로 미리 저장되어 있던 모델을 학습시켜서 학습모델을 생성한다(S1250). 학습모델생성부에 미리 저장되어 있는 모델에는 볼츠만머신 모델, 제한적볼츠만머신 모델 등이 포함될 수 있다. 학습모델생성부에 저장되는 모델은 다중변수벡터를 입력으로 받아서 다중변수벡터를 출력할 수 있는 모델인 것을 특징으로 한다.

제3시점데이터산출부는 학습모델에 제1시점데이터를 입력으로 하여 기준시점 이후의 미래시점에 대한 제3시점데이터를 산출한다(S1270).

단계 S1270의 선택적 일 실시 예로서, 제3시점데이터산출부는 데이터세트별로 생성된 학습모델에 제2시점데이터를 입력시켜서 출력되는 결과를 상기 데이터세트별로 생성된 학습모델에 제1시점데이터를 입력시켜서 출력되는 결과와 미리 설정된 방법에 따라 조합하여 제3시점데이터를 시점별로 산출시킬 수도 있다. 본 선택적 실시 예에 대해서는, 도 11에서 상세히 설명한 바 있다.

이상시점파악부는 복수의 제3시점데이터를 하나의 시변데이터로 통합하고, 통합된 시변데이터를 분석하여 기준시점 이후의 미래시점에서 시스템에 이상이 발생할 것으로 예측되는 이상시점을 파악한다(S1290).

단계 S1290의 선택적 일 실시 예로서, 본 발명에 따라 시스템의 이상시점을 예측하는 장치는 데이터세트별로 생성된 학습모델에 대한 신뢰도를 산출하는 모델신뢰도산출부를 더 포함하고, 이상시점파악부는 시점별로 산출된 제3시점데이터를 각 모델별 신뢰도를 기초로 하여 시변데이터로 통합할 수도 있다.

단계 S1290의 다른 선택적 일 실시 예로서, 본 발명에 따라 시스템의 이상시점을 예측하는 장치는 전술한 모델신뢰도산출부 외에 검증용 입력데이터 및 검증용 출력데이터를 저장하고 있는 검증용데이터베이스를 더 포함할 수도 있다. 본 선택적 실시 예에서, 모델신뢰도산출부는 검증용 입력데이터를 학습모델에 입력하여 비교용 출력데이터를 출력시키고, 비교용 출력데이터와 검증용 출력데이터를 비교한 결과를 기초로 학습모델의 신뢰도를 산출할 수 있다. 위와 같은 과정을 통해 산출된 신뢰도는 제3시점데이터들을 시변데이터로 통합하는 데에 이용된다.

단계 S1290의 또 다른 선택적 일 실시 예로서, 이상시점파악부는 시점별로 산출된 제3시점데이터를 시그모이드 넷(sigmoid net)을 기초로 하여 시변데이터로 통합할 수도 있다. 본 실시 예에 대해서는 도 8과 함께 이미 설명한 바 있다.

단계 S1290의 전술한 것과 또 다른 선택적 일 실시 예로서, 이상시점파악부는 제3시점데이터분류부 및 선택통합부를 포함할 수 있다. 제3시점데이터분류부는 학습모델별로 산출된 신뢰도를 기초로 하여 제3시점데이터 중에서 적어도 한 시점에 대한 제3시점데이터를 제외시키는 기능을 수행하고, 선택통합부는 제3시점데이터분류부에 의해 제외된 제3시점데이터를 제외한 나머지 제3시점데이터를 시변데이터로 통합하는 기능을 수행한다.

본 발명은 시계열 데이터에 포함되어 있는 특정시점의 데이터와 그 특정시점과 다른 시점의 데이터간의 의존거리를 확장하기 위해서, 의존거리별로 별도의 학습모델을 구축하고, 학습모델들로부터 출력된 결과값을 통합분석하여 시스템의 이상시점을 예측하는 것을 기술적 특징으로 한다.

보다 구체적으로, 본 발명에 따르면, 복수의 과거 시점을 선정하고, 각 과거 시점과 현재 시점간의 의존관계계산을 한 뒤, 그 값들을 통합하여 하나의 값으로 계산한 결과를 희귀성을 기초로 분석하여 이상시점을 파악할 수 있는 효과를 기대할 수 있다.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

30 : 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치
310 : 데이터베이스
320 : 데이터세트생성부
330 : 학습모델생성부
340 : 제3시점데이터산출부
350 : 이상시점파악부
360 : 모델신뢰도산출부
370 : 검증용 데이터베이스

Claims

삭제
기준시점에서 시스템으로부터 출력된 제1시점데이터와 상기 기준시점보다 더 과거시점에서 상기 시스템으로부터 출력된 제2시점데이터를 저장하고 있는 데이터베이스;
상기 데이터베이스를 검색하여 서로 다른 시점에서 출력된 제2시점데이터를 복수만큼 추출하고, 상기 추출된 복수의 제2시점데이터 중 한 가지와 상기 제1시점데이터를 포함하는 데이터세트(data set)를 상기 추출된 제2시점데이터별로 생성하는 데이터세트생성부;
상기 생성된 데이터세트에 포함된 제2시점데이터를 입력데이터로, 상기 생성된 데이터세트에 포함된 제1시점데이터를 출력데이터로 학습시킨 학습모델을 데이터세트별로 생성하는 학습모델생성부;
상기 데이터세트별로 생성된 학습모델에 상기 제1시점데이터를 입력시켜서, 상기 기준시점보다 더 미래시점에서 상기 시스템으로부터 출력될 것으로 예상되는 제3시점데이터를 시점별로 산출시키는 제3시점데이터산출부;
상기 시점별로 산출된 제3시점데이터를 상기 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합하고, 상기 통합된 시변데이터를 기초로 상기 기준시점보다 더 미래시점에서 상기 시스템에 이상이 발생될 시점을 파악하는 이상시점파악부; 및
상기 데이터세트별로 생성된 학습모델에 대한 신뢰도를 산출하는 모델신뢰도산출부를 포함하고,
상기 이상시점파악부는,
상기 시점별로 산출된 제3시점데이터를 상기 산출된 신뢰도를 기초로 하여 상기 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합하는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치.
제2항에 있어서,
상기 장치는,
검증용 입력데이터 및 검증용 출력데이터를 저장하고 있는 검증용데이터베이스를 더 포함하고,
상기 모델신뢰도산출부는,
상기 검증용 입력데이터를 상기 생성된 학습모델에 입력하여 비교용 출력데이터를 출력시키고,
상기 비교용 출력데이터와 상기 검증용 출력데이터를 비교한 결과를 기초로 상기 학습모델의 신뢰도를 산출하는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치.
제2항에 있어서,
상기 제1시점데이터, 상기 제2시점데이터, 상기 제3시점데이터는 다중변수벡터(multivariate vector)인 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치.
제2항에 있어서,
상기 이상시점파악부는,
상기 시점별로 산출된 제3시점데이터를 시그모이드 넷(sigmoid net)함수를 기초로 하여 상기 시변데이터로 통합하는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치.
제2항에 있어서,
상기 이상시점파악부는,
상기 산출된 신뢰도를 기초로 하여 상기 시점별로 산출된 제3시점데이터 중에서 적어도 한 시점에 대한 제3시점데이터를 제외시키는 제3시점데이터분류부; 및
상기 제외된 제3시점데이터 외의 제3시점데이터를 상기 시변데이터로 통합하는 선택통합부;를 포함하는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치.
제2항에 있어서,
상기 제3시점데이터산출부는,
상기 데이터세트별로 생성된 학습모델에 상기 제2시점데이터를 입력시켜서 출력되는 결과를 상기 데이터세트별로 생성된 학습모델에 상기 제1시점데이터를 입력시켜서 출력되는 결과와 미리 설정된 방법에 따라 조합하여 상기 제3시점데이터를 시점별로 산출시키는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 장치.
삭제
데이터세트부가 기준시점에서 시스템으로부터 출력된 제1시점데이터와 상기 기준시점보다 더 과거시점에서 상기 시스템으로부터 출력된 제2시점데이터를 저장하고 있는 데이터베이스를 검색하여 서로 다른 시점에서 출력된 제2시점데이터를 복수만큼 추출하고, 상기 추출된 복수의 제2시점데이터 중 한 가지와 상기 제1시점데이터를 포함하는 데이터세트(data set)를 상기 추출된 제2시점데이터별로 생성하는 데이터세트생성단계;
학습모델생성부가 상기 생성된 데이터세트에 포함된 제2시점데이터를 입력데이터로, 상기 생성된 데이터세트에 포함된 제1시점데이터를 출력데이터로 학습시킨 학습모델을 데이터세트별로 생성하는 학습모델생성단계;
제3시점데이터산출부가 상기 데이터세트별로 생성된 학습모델에 상기 제1시점데이터를 입력시켜서, 상기 기준시점보다 더 미래시점에서 상기 시스템으로부터 출력될 것으로 예상되는 제3시점데이터를 시점별로 산출시키는 제3시점데이터산출단계;
이상시점파악부가 상기 시점별로 산출된 제3시점데이터를 상기 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합하고, 상기 통합된 시변데이터를 기초로 상기 기준시점보다 더 미래시점에서 상기 시스템에 이상이 발생될 시점을 파악하는 이상시점파악단계; 및
모델신뢰도산출부가 상기 데이터세트별로 생성된 학습모델에 대한 신뢰도를 산출하는 모델신뢰도산출단계를 포함하고,
상기 이상시점파악단계는,
상기 시점별로 산출된 제3시점데이터를 상기 산출된 신뢰도를 기초로 하여 상기 기준시점보다 더 미래시점을 대표하는 시변데이터로 통합하는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 방법.
제9항에 있어서,
상기 데이터베이스는,
검증용 입력데이터 및 검증용 출력데이터를 저장하고 있는 검증용데이터베이스를 더 포함하고,
상기 모델신뢰도산출단계는,
상기 검증용 입력데이터를 상기 생성된 학습모델에 입력하여 비교용 출력데이터를 출력시키고,
상기 비교용 출력데이터와 상기 검증용 출력데이터를 비교한 결과를 기초로 상기 학습모델의 신뢰도를 산출하는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 방법.
제9항에 있어서,
상기 제1시점데이터, 상기 제2시점데이터, 상기 제3시점데이터는 다중변수벡터(multivariate vector)인 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 방법.
제9항에 있어서,
상기 이상시점파악단계는,
상기 시점별로 산출된 제3시점데이터를 시그모이드 넷(sigmoid net)함수를 기초로 하여 상기 시변데이터로 통합하는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 방법.
제9항에 있어서,
상기 이상시점파악단계는,
제3시점데이터분류부가 상기 산출된 신뢰도를 기초로 하여 상기 시점별로 산출된 제3시점데이터 중에서 적어도 한 시점에 대한 제3시점데이터를 제외시키는 제3시점데이터분류단계; 및
선택통합부가 상기 제외된 제3시점데이터 외의 제3시점데이터를 상기 시변데이터로 통합하는 선택통합단계;를 포함하는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 방법.
제9항에 있어서,
상기 제3시점데이터산출단계는,
상기 데이터세트별로 생성된 학습모델에 상기 제2시점데이터를 입력시켜서 출력되는 결과를 상기 데이터세트별로 생성된 학습모델에 상기 제1시점데이터를 입력시켜서 출력되는 결과와 미리 설정된 방법에 따라 조합하여 상기 제3시점데이터를 시점별로 산출시키는 것을 특징으로 하는 시계열 데이터를 기초로 시스템의 이상시점을 예측하는 방법.
제9항 내지 제14항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램을 저장하고 있는 컴퓨터 판독가능한 기록매체.