KR102608171B1 - 인공 지능 기반의 이상 탐지를 위한 장치 및 이를 위한 방법 - Google Patents

Abstract

본 발명의 이상 탐지를 위한 방법은 데이터처리부가 소정의 단위 기간 단위로 수집되는 시계열의 센서 데이터를 이미지 데이터로 변환하는 단계와, 탐지부가 제1 이상탐지모델, 제2 이상탐지모델, 제3 이상탐지모델, 상기 제1 이상탐지모델 및 상기 제2 이상탐지모델을 기초로 생성된 제1 스태킹모델 및 상기 제3 이상탐지모델 및 상기 제2 스태킹 모델을 기초로 생성된 제2 스태킹모델을 통해 상기 센서 데이터 및 상기 이미지 데이터에 대한 추론을 통해 이상탐지 예측값을 도출하는 단계와, 상기 탐지부가 상기 이상탐지 예측값에 따라 이상 여부를 판정하는 단계를 포함한다.

Description

인공 지능 기반의 이상 탐지를 위한 장치 및 이를 위한 방법{Apparatus for anomaly detection based on artificial intelligence and method therefor}

본 발명은 이상 탐지 기술에 관한 것으로, 보다 상세하게는 인공 지능을 기반으로 하는 이상 탐지를 위한 장치 및 이를 위한 방법에 관한 것이다.

스마트 팩토리(Smart Factory) 도입과 적용이 가속화되면서 생산 공정의 각 단계에서 다양한 센서(sensor) 데이터를 수집 및 활용하여 공정 이상 탐지를 위한 다양한 분석 방법들이 시도되고 있다. 그러나 기존의 방법들은 오경보(false alarm)가 자주 발생하는 등의 문제가 있다. 이는 시스템에 대한 운영자의 신뢰도를 감소시키며 오히려 기능을 비활성화하여 큰 사고로 이어지기도 한다.

한국공개특허 제2023-0011117호 (2023년01월20일 공개)

본 발명의 목적은 입력 데이터의 형식과 구성이 상이한 복수의 인공지능모델을 이용한 이상 탐지를 위한 장치 및 이를 위한 방법을 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 이상 탐지를 위한 방법은 데이터처리부가 소정의 단위 기간 단위로 수집되는 시계열의 센서 데이터를 이미지 데이터로 변환하는 단계와, 탐지부가 제1 이상탐지모델, 제2 이상탐지모델, 제3 이상탐지모델, 상기 제1 이상탐지모델 및 상기 제2 이상탐지모델을 기초로 생성된 제1 스태킹모델과, 상기 제3 이상탐지모델 및 상기 제1 스태킹 모델을 기초로 생성된 제2 스태킹모델을 통해 상기 센서 데이터 및 상기 이미지 데이터에 대한 추론을 수행하여 이상탐지 예측값을 도출하는 단계와, 상기 탐지부가 상기 이상탐지 예측값에 따라 이상 여부를 판정하는 단계를 포함한다.

상기 이상탐지 예측값을 도출하는 단계는 상기 탐지부가 상기 제1 이상탐지모델을 통해 상기 센서 데이터에 대한 추론을 수행하여 제1 예측값을 도출하고, 상기 제2 이상탐지모델을 통해 상기 이미지 데이터에 대한 추론을 수행하여 제2 예측값을 도출하고, 상기 제3 이상탐지모델을 통해 상기 이미지 데이터에 대한 추론을 수행하여 제3 예측값을 도출하는 단계와, 상기 탐지부가 상기 제1 스태킹모델을 통해 상기 제1 예측값 및 상기 제2 예측값에 대한 추론을 수행하여 제4 예측값을 도출하는 단계와, 상기 탐지부가 상기 제2 스태킹모델을 통해 상기 제3 예측값 및 상기 제4 예측값에 대한 추론을 통해 제5 예측값을 상기 이상탐지 예측값으로 도출하는 단계를 포함한다.

상기 방법은 상기 변환하는 단계 전, 학습부가 제1 이상탐지모델, 제2 이상탐지모델 및 제3 이상탐지모델 각각을 개별적으로 학습시키는 단계와, 상기 학습부가 상기 제1 이상탐지모델의 추론 결과인 제1 예측값과 상기 제2 이상탐지모델의 추론 결과인 제2 예측값을 저장하는 단계와, 상기 학습부가 상기 제1 예측값 및 상기 제2 예측값을 학습 데이터로 이용하여 제1 스태킹 모델을 학습시키는 단계와, 상기 학습부가 상기 제3 이상탐지모델의 추론 결과에 따른 제3 예측값과, 상기 제1 스태킹 모델의 추론 결과인 제4 예측값을 저장하는 단계와, 상기 학습부가 상기 제3 예측값 및 상기 제4 예측값을 학습 데이터로 이용하여 제2 스태킹 모델을 학습시키는 단계를 더 포함한다.

상기 개별적으로 학습시키는 단계는 인코더 및 디코더를 포함하는 오토인코더를 학습시키는 단계와, 상기 디코더를 제거하고 네트워크를 부가하여 제2 이상탐지모델을 구성하는 단계와, 상기 디코더의 가중치를 고정한 상태에서 상기 네트워크를 학습시키는 단계를 포함한다.

상기 개별적으로 학습시키는 단계는 상기 학습부가 정상 데이터와 이상 데이터를 구분하도록 베이스모듈 및 분류모듈을 포함하는 표현모델을 학습시키는 단계와, 상기 학습부가 특징 공간 상에서 정상 데이터의 기준을 나타내는 정상 기준점과 이상 데이터의 기준을 나타내는 이상 기준점을 설정하는 단계와, 상기 학습부가 상기 표현모델에서 분류모듈을 임베딩모듈로 교체하여 제3 이상탐지모델을 구성하는 단계와, 상기 학습부가 특징 공간 상에서 정상 데이터에 대한 특징 벡터와 정상 기준점과의 차이 혹은 이상 데이터에 대한 특징 벡터와 이상 기준점과의 차이가 최소가 되도록 상기 제3 이상탐지모델을 학습시키는 단계를 포함한다.

상기 제1 이상탐지모델, 상기 제2 이상탐지모델 및 상기 제3 이상탐지모델은 상호 간에 구성 및 출력 중 적어도 하나가 상이한 모델이며, 상기 제1 스태킹 모델 및 상기 제2 스태킹 모델은 실수의 출력값을 가지는 학습 모델인 것을 특징으로 한다.

상기 센서 데이터를 이미지 데이터로 변환하는 단계는 상기 데이터처리부가 상기 시계열의 센서 데이터를 서로 다른 형식의 2개의 이미지로 변환하는 단계와, 상기 데이터처리부가 상기 2개의 이미지를 동일한 크기로 조절하는 단계와, 상기 데이터처리부가 상기 2개의 이미지의 특징이 강조되도록 상기 2개의 이미지에 대해 필터링을 수행하는 단계와, 상기 데이터처리부가 상기 강조된 상호 직교하는 방향의 데이터의 특징이 모두 유지되도록 상기 2개의 이미지를 통합하여 상기 이미지 데이터를 생성하는 단계를 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 이상 탐지를 위한 장치는 소정의 단위 기간 단위로 수집되는 시계열의 센서 데이터를 이미지 데이터로 변환하는 데이터처리부와, 제1 이상탐지모델, 제2 이상탐지모델, 제3 이상탐지모델, 상기 제1 이상탐지모델 및 상기 제2 이상탐지모델을 기초로 생성된 제1 스태킹모델과, 상기 제3 이상탐지모델 및 상기 제1 스태킹 모델을 기초로 생성된 제2 스태킹모델을 통해 상기 센서 데이터 및 상기 이미지 데이터에 대한 추론을 수행하여 이상탐지 예측값을 도출하고, 상기 이상탐지 예측값에 따라 이상 여부를 판정하는 탐지부를 포함한다.

상기 탐지부는 상기 제1 이상탐지모델을 통해 상기 센서 데이터에 대한 추론을 수행하여 제1 예측값을 도출하고, 상기 제2 이상탐지모델을 통해 상기 이미지 데이터에 대한 추론을 수행하여 제2 예측값을 도출하고, 상기 제3 이상탐지모델을 통해 상기 이미지 데이터에 대한 추론을 수행하여 제3 예측값을 도출하고, 상기 제1 스태킹모델을 통해 상기 제1 예측값 및 상기 제2 예측값에 대한 추론을 수행하여 제4 예측값을 도출하고, 상기 제2 스태킹모델을 통해 상기 제3 예측값 및 상기 제4 예측값에 대한 추론을 통해 제5 예측값을 상기 이상탐지 예측값으로 도출하는 것을 특징으로 한다.

상기 장치는 제1 이상탐지모델, 제2 이상탐지모델 및 제3 이상탐지모델 각각을 개별적으로 학습시키고, 상기 제1 이상탐지모델의 추론 결과인 제1 예측값과 상기 제2 이상탐지모델의 추론 결과인 제2 예측값을 저장하고, 상기 제1 예측값 및 상기 제2 예측값을 학습 데이터로 이용하여 제1 스태킹 모델을 학습시키고, 상기 제3 이상탐지모델의 추론 결과에 따른 제3 예측값과, 상기 제1 스태킹 모델의 추론 결과인 제4 예측값을 저장하고, 상기 제3 예측값 및 상기 제4 예측값을 학습 데이터로 이용하여 제2 스태킹 모델을 학습시키는 학습부를 더 포함한다.

상기 학습부는 인코더 및 디코더를 포함하는 오토인코더를 학습시키고, 상기 디코더를 제거하고 네트워크를 부가하여 제2 이상탐지모델을 구성하고, 상기 디코더의 가중치를 고정한 상태에서 상기 네트워크를 학습시키는 것을 특징으로 한다.

상기 학습부는 정상 데이터와 이상 데이터를 구분하도록 베이스모듈 및 분류모듈을 포함하는 표현모델을 학습시키고, 특징 공간 상에서 정상 데이터의 기준을 나타내는 정상 기준점과 이상 데이터의 기준을 나타내는 이상 기준점을 설정하고, 상기 표현모델에서 분류모듈을 임베딩모듈로 교체하여 제3 이상탐지모델을 구성하고, 특징 공간 상에서 정상 데이터에 대한 특징 벡터와 정상 기준점과의 차이 혹은 이상 데이터에 대한 특징 벡터와 이상 기준점과의 차이가 최소가 되도록 상기 제3 이상탐지모델을 학습시키는 것을 특징으로 한다.

상기 제1 이상탐지모델, 상기 제2 이상탐지모델 및 상기 제3 이상탐지모델은 상호 간에 구성 및 출력 중 적어도 하나가 상이한 모델이며, 상기 제1 스태킹 모델 및 상기 제2 스태킹 모델은 실수의 출력값을 가지는 학습 모델인 것을 특징으로 한다.

상기 데이터처리부는 상기 시계열의 센서 데이터를 서로 다른 형식의 2개의 이미지로 변환하고, 상기 2개의 이미지를 동일한 크기로 조절하고, 상기 2개의 이미지의 특징이 강조되도록 상기 2개의 이미지에 대해 필터링을 수행하고, 상기 강조된 상호 직교하는 방향의 데이터의 특징이 모두 유지되도록 상기 2개의 이미지를 통합하여 상기 이미지 데이터를 생성하는 것을 특징으로 한다.

본 발명에 따르면 입력 형식 및 구성이 상이한 복수의 인공지능모델을 기반으로 하여 이상 탐지를 수행함으로써 이상탐지 성능을 향상시킬 수 있고, 오경보를 최소화할 수 있다.

도 1은 본 발명의 실시예에 따른 인공 지능 기반의 이상 탐지를 위한 장치의 구성을 설명하기 위한 도면이다.
도 2 내지 도 6은 본 발명의 실시예에 따른 이상 탐지를 위한 인공지능모델을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 센서 데이터를 이미지 데이터로 변환하는 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 센서 데이터를 이미지 데이터로 변환하는 방법을 설명하기 위한 데이터의 예이다.
도 9는 본 발명의 실시예에 따른 인공지능모델에 대한 학습 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 실시예에 따른 제2 이상탐지모델(ADM2)에 대한 학습 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 실시예에 따른 제3 이상탐지모델(ADM3)에 대한 학습 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 인공 지능 기반의 이상 탐지를 위한 방법을 설명하기 위한 흐름도이다.
도 13은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.

본 발명의 상세한 설명에 앞서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

먼저, 본 발명의 실시예에 따른 인공 지능 기반의 이상 탐지를 위한 장치의 구성에 대해 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 인공 지능 기반의 이상 탐지를 위한 장치의 구성을 설명하기 위한 도면이다. 도 2 내지 도 6은 본 발명의 실시예에 따른 이상 탐지를 위한 인공지능모델을 설명하기 위한 도면이다.

도 1을 참고하면, 본 발명의 실시예에 따른 이상탐지장치(10)는 데이터처리부(100), 학습부(200) 및 탐지부(300)를 포함한다.

데이터처리부(100)는 센서 데이터를 수집하고, 수집된 센서 데이터를 변환하여 이미지 데이터를 생성하기 위한 것이다. 학습부(200)는 본 발명의 실시예에 따른 인공지능모델을 학습시키기 위한 것이다. 그리고 탐지부(300)는 본 발명의 실시예에 따른 인공지능모델을 이용하여 이상 탐지 대상의 이상을 탐지하기 위한 것이다. 탐지부(300)는 인공지능모델을 이용하여 이상 탐지 대상에 대해 계측한 센서 데이터 및 그 센서 데이터로부터 도출된 이미지 데이터에 대한 추론을 통해 이상 탐지 대상의 이상 여부를 탐지한다. 데이터처리부(100), 학습부(200) 및 탐지부(300)를 포함하는 이상탐지장치(10)의 구체적인 동작에 대해서는 아래에서 더 상세하게 설명하기로 한다.

본 발명의 실시예에 따른 인공지능모델은 입력 데이터에 대해 학습된 바에 따라 연산을 수행하고, 그 연산 결과를 출력한다. 이러한 연산을 추론(inference)이라고 칭한다. 또한, 본 발명의 실시예에 따른 인공지능모델 중 적어도 일부 또는 전부는 서로 연결된 복수의 계층(혹은 모듈)을 포함하며, 복수의 계층(혹은 모듈)은 복수의 연산으로 이루어진다. 또한, 복수의 계층(혹은 모듈)은 가중치(W: weight)로 연결된다. 즉, 어느 하나의 계층(혹은 모듈)의 연산 결과에 따른 출력은 가중치가 적용되어 다음 계층의 연산에 입력된다. 인공지능모델은 입력 데이터에 대해 복수의 계층(혹은 모듈) 간 가중치가 적용되는 복수의 연산을 수행하여 출력값(출력 데이터, 특징 벡터)을 도출한다. 이러한 인공지능모델의 복수의 계층(혹은 모듈) 간 가중치가 적용되는 복수의 연산을 '가중치 연산'이라고 칭하기로 한다.

도 2에 도시된 바와 같이, 본 발명의 실시예에서 인공지능모델은 제1 이상탐지모델(ADM1), 제2 이상탐지모델(ADM2), 제3 이상탐지모델(ADM3), 제1 스태킹모델(SM1) 및 제2 스태킹모델(SM2)을 포함한다. 여기서, 제1 이상탐지모델(ADM1)은 클러스터링모델(clustering model)이 될 수 있다. 제2 이상탐지모델(ADM2)은 단일클래스분류모델(one-class classification model)이 될 수 있다. 그리고 제3 이상탐지모델(ADM3)은 롱테일학습모델(long-tail learning model)이 될 수 있다. 제1 스태킹모델(SM1) 및 제2 스태킹모델(SM2)은 실수의 출력값을 가지는 학습모델이다. 일례로, 제1 스태킹모델(SM1) 및 제2 스태킹모델(SM2)은 회귀 모델(regression model)이 될 수 있다. 예를 들면, 본 발명의 실시예에 따른 제1 이상탐지모델(ADM1)은 DBSCAN(Density-based spatial clustering of applications with noise) 모델, OC-SVM(One Class SVM) 혹은 SVDD(Support Vector Data Description)과 같은 SVM(support vector machine) 계열의 모델, 등이 될 수 있다. 제1 이상탐지모델(ADM1)은 센서 데이터가 입력되면, 센서 데이터에 대한 추론을 통해 제1 예측값을 도출한다. 여기서, 제1 예측값은 이상 상태 혹은 정상 상태를 나타내는 값이다.

도 3을 참조하면, 본 발명의 실시예에 따른 제2 이상탐지모델(ADM2)은 오토인코더(AE)를 기반으로 생성된다. 오토인코더(AE)는 인코더(EN) 및 디코더(DE)를 포함한다. 학습부(200)에 의해 오토인코더(AE)가 학습될 수 있다. 학습된 오토인코더(AE)는 이미지 데이터인 입력 데이터(a)가 입력되면, 입력 데이터를 압축하여 압축된 특징을 생성하고, 이를 다시 복원하여 입력 데이터(a)를 모사한 이미지 데이터인 출력 데이터(a')를 생성한다. 오토인코더(AE)의 학습이 완료되면, 학습부(200)는 오토인코더(AE)의 디코더(DE)를 네트워크(NN: Neural Network, feed forward neural network)로 교체하여 제2 이상탐지모델(ADM2)을 구성한다. 그러면, 학습부(200)는 제2 이상탐지모델(ADM2)에 대한 학습을 수행한다. 일 실시예에 따르면, 네트워크(NN)는 입력계층, 은닉계층 및 출력계층을 가지는 다층퍼셉트론(MLP: Multi-Layer Perceptron)이 될 수 있다. 또한, 네트워크(NN)의 출력계층은 하나의 노드로 이루어지는 것이 바람직하다. 제2 이상탐지모델(ADM2)은 이미지 데이터가 입력되면, 이미지 데이터에 대한 추론을 통해 제2 예측값을 도출한다. 여기서, 제2 예측값은 이상 상태일 확률을 나타낸다.

도 4 내지 6을 참조하면, 본 발명의 실시예에 따른 제3 이상탐지모델(ADM3)은 표현모델(RM)을 기반으로 생성된다. 표현모델(RM)은 베이스모듈(BM) 및 분류모듈(LM)을 포함한다. 제3 이상탐지모델(ADM3)은 베이스모듈(BM) 및 임베딩모듈(EM)을 포함한다. 일 실시예에 따르면, 베이스모듈(BM)은 입력층(IL), 교번으로 반복되는 적어도 한 쌍의 컨벌루션층(CL)과 풀링층(PL) 및 적어도 하나의 완전연결층(FL)을 포함한다. 분류모듈(LM)은 출력층(OL)을 포함한다. 예를 들면, 도 5에 도시된 바와 같이, 표현모델(RM)은 순차로 입력층(IL), 컨볼루션층(CL), 풀링층(PL), 완전연결계층(FL) 및 출력층(OL)을 포함할 수 있다. 컨볼루션층(CL) 및 풀링층(PL)은 적어도 하나의 특징영상(FM: Feature Map)으로 구성된다. 특징영상(FM)은 이전 계층의 값에 대해 가중치가 적용된 연산 수행 결과로 생성된다. 이러한 가중치는 필터 혹은 커널(W)을 통해 적용된다. 본 발명의 실시예에서 컨볼루션층(CL)의 컨벌루션 연산은 제1 필터(W1)가 사용되며, 풀링층(PL)의 풀링 연산은 제2 필터(W2)가 사용된다. 입력층(IL)에 전처리부(100)로부터 입력 데이터가 입력되면, 컨볼루션층(CL)은 입력층(IL)의 입력 데이터에 대해 제1 필터(W1)를 이용한 컨벌루션(convolution) 연산 및 활성화함수에 의한 연산을 수행하여 적어도 하나의 제1 특징 영상(FM1)을 도출한다. 이어서, 풀링층(PL)은 컨볼루션층(CL)의 적어도 하나의 제1 특징 영상(FM1)에 대해 제2 필터(W2)를 이용한 풀링(pooling 또는 sub-sampling) 연산을 수행하여 적어도 하나의 제2 특징 영상(FM2)을 도출한다. 완결연결층(FL)은 복수의 노드(g1 내지 gn)로 이루어진다. 완결연결층(FL)의 복수의 노드(g1 내지 gn)는 풀링층(PL)의 적어도 하나의 제2 특징영상(FM2)에 대해 활성화함수에 의한 연산을 통해 복수의 노드값을 산출한다. 이러한 복수의 노드값은 잠재 벡터로 출력될 수 있다. 전술한 컨벌루션층(CL)과 완결연결층(FL)에서 사용되는 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 이러한 활성화함수 중 어느 하나를 선택하여 사용할 수 있다.

도 5 및 도 6을 참조하면, 분류모듈(LM)인 출력층(OL)은 2개의 출력노드(P, N)를 포함한다. 도시된 바와 같이, 완결연결층(FL)의 복수의 노드(g1 내지 gn) 각각은 가중치(W: weight)를 가지는 채널(점선으로 표시)로 출력층(OL)의 출력노드(P, N)와 연결된다. 다른 말로, 완전연결층(FL)의 복수의 노드(g1 내지 gn)의 복수의 노드값은 가중치가 적용되어 출력노드(P, N)에 각각 입력된다. 이에 따라, 출력층(OL)의 출력노드(P, N)는 완결연결층(FL)의 복수의 노드값에 대해 가중치를 적용하고 활성화함수에 의한 연산을 통해 출력 데이터를 산출한다. 출력 데이터는 입력층(IL)으로 입력된 입력 데이터가 정상 데이터일 확률과 이상 데이터일 확률을 나타낸다. 도 6을 참조하면, 출력층(OL)의 2개의 출력노드(P, N) 각각은 정상(Positive) 및 이상(Negative)에 대응한다. 즉, 제1 출력노드(P)는 정상 데이터(Positive)에 대응하며, 제2 출력노드(N)는 이상 데이터(Negative)에 대응한다. 이에 따라, 제1 출력노드(P)의 출력값은 입력 데이터가 정상 데이터일 확률을 나타내며, 제2 출력노드(L)의 출력값은 입력 데이터가 이상 데이터일 확률을 나타낸다. 이에 따라, 출력노드(P, N) 각각은 복수의 노드(g1 내지 gn)로부터 입력되는 복수의 노드값에 가중치 w=[w1, w2, …, wn]를 적용한 후, 그 결과에 활성화함수 F를 취하여 출력값을 산출한다. 예컨대, 제1 및 제2 출력노드(P, N) 각각의 출력값이 각각 0.088, 0.912이면, 해당 입력 데이터가 정상 데이터일 확률이 9%이고, 해당 입력 데이터가 이상 데이터일 확률이 91%임을 나타낸다.

본 발명의 실시예에 따르면, 표현모델(RM)에 대한 학습이 완료되면, 학습부(200)는 표현모델(RM)에서 베이스모듈(BM)을 유지하고, 분류모듈(LM)을 임베딩모듈(EM)로 교체하여 제3 이상탐지모델(ADM3)을 구성한다. 이에 따라, 베이스모듈(BM) 및 임베딩모듈(EM)을 포함하는 제3 이상탐지모델(ADM3)이 구성된다. 제3 이상탐지모델(ADM3)의 임베딩모듈(EM)은 표현모델(RM)의 출력인 잠재 벡터(LV: Latent Vector)를 소정의 벡터공간에 사상하여 특징벡터를 생성한다. 학습부(200)는 제3 이상탐지모델(ADM3)에 대한 학습을 수행한다. 학습이 완료된 제3 이상탐지모델(ADM3)은 이미지 데이터가 입력되면, 이미지 데이터에 대한 추론을 통해 제3 예측값을 도출한다. 여기서, 제3 예측값은 이상 상태일 확률을 나타낸다.

본 발명의 실시예에 따른 인공지능모델 중 제2 이상탐지모델 및 제3 이상탐지모델은 센서 데이터를 이미지 데이터로 변환하여 입력 데이터로 사용한다. 이에 따라, 센서 데이터를 이미지 데이터로 변환하는 방법에 대해 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 센서 데이터를 이미지 데이터로 변환하는 방법을 설명하기 위한 흐름도이다. 도 8은 본 발명의 실시예에 따른 센서 데이터를 이미지 데이터로 변환하는 방법을 설명하기 위한 데이터의 예이다.

도 7 및 도 8을 참조하면, 데이터처리부(110)는 S110 단계에서 시계열의 센서 데이터(a)를 수집한다. 여기서, 센서 데이터는 이상 탐지 대상에 대해 전류 센서, 진동 센서, 가속도 센서 등을 이용하여 계측된 데이터이고, 시계열로 이루어진 데이터이다. 예를 들면, 이상 탐지 대상은 물품의 생산 공정에서의 물품을 생산하기 위한 각 종 장치가 될 수 있다.

그런 다음, 데이터처리부(110)는 S120 단계에서 시계열로 이루어진 센서 데이터(a)를 서로 다른 형식의 2개의 이미지(b1, b2)로 변환한다.

이러한 S120 단계에서, 데이터처리부(110)는 시계열의 센서 데이터(a)에서 제1 크기의 윈도우를 이용하여 시간 도메인 상의 소정 단위의 센서 데이터(a)를 추출하고, 추출된 소정 단위의 센서 데이터(a)를 주파수 도메인의 데이터로 변환하여 재배열할 수 있다. 다른 말로, 데이터처리부(110)는 제1 크기의 윈도우를 이용하여 시간 도메인 상에서 소정 기간 단위로 추출된 센서 데이터(a)를 푸리에 변환(short-time Fourier transform)을 기초로 스펙트로그램(Spectrogram) 이미지(b1)로 변환한다.

또한, 데이터처리부(110)는 시계열의 센서 데이터에서 제1 크기의 윈도우와 동일한 크기의 제2 크기의 윈도우를 이용하여 시간 도메인 상의 소정 단위의 센서 데이터를 추출하고, 추출된 소정 단위의 센서 데이터를 주파수 도메인으로 변환하여 재배열한다. 다른 말로, 데이터처리부(110)는 제2 크기의 윈도우를 이용하여 시간 도메인 상에서 소정 기간 단위로 추출된 센서 데이터(a)를 웨이블릿 변환(Wavelet Transform)을 기초로 스케일로그램(Scalogram) 이미지(b2)로 변환한다.

다음으로, 데이터처리부(110)는 S130 단계에서 2개의 이미지, 즉, 스펙트로그램(Spectrogram) 이미지(b1) 및 스케일로그램(Scalogram) 이미지(b2)를 동일한 크기로 조절한다.

이어서, 데이터처리부(110)는 S140 단계에서 2개의 이미지, 즉, 스펙트로그램(Spectrogram) 이미지(b1) 및 스케일로그램(Scalogram) 이미지(b2)의 특징이 강조되도록 필터링(예컨대, sharpening)을 수행한다. 예를 들면, 데이터처리부(110)는 2개의 이미지의 상호 직교하는(orthogonal) 방향의 데이터가 강조되도록 필터링을 수행한다. 이때, 데이터처리부(110)는 2개의 이미지 중 어느 하나의 이미지를 y 방향 필터를 이용하여 y 방향의 데이터가 강조되도록 필터링을 수행하며, 다른 하나의 이미지를 x 방향 필터를 이용하여 x 방향의 데이터가 강조되도록 필터링을 수행한다. 즉, 데이터처리부(110)는 필터링을 통해 스펙트로그램(Spectrogram) 이미지(b1)의 y 방향의 특징을 강조한 이미지(c1) 및 스케일로그램(Scalogram) 이미지(b2)의 x 방향의 특징을 강조한 이미지(c2)를 도출한다.

도 8에 도시된 바를 참조하면, 데이터처리부(110)는 스펙트로그램(Spectrogram) 이미지(b1)에 대해 y 방향으로 상호 이웃하는 데이터간 구분이 명확해지도록 y 방향 필터(f1)를 이용하여 필터링(sharpening)을 수행할 수 있다. 이러한 y 방향 필터(f1)는 다음의 수학식 1과 같다.

여기서, F는 기 설정되는 값이다. 그리고 y 방향 필터(f1)의 모든 속성값의 합은 1이고, y 방향 필터(f1)의 2행의 속성값은 양수로 이루어진다. 일 실시예에 따르면, y 방향 필터(f1)에서 F는 5가 될 수 있다.

또한, 데이터처리부(110)는 스케일로그램(Scalogram) 이미지(b2)에 대해 y 방향과 직교하는(orthogonal) x 방향으로 상호 이웃하는 데이터간 구분이 명확해지도록 x 방향 필터(f2)를 이용하여 필터링(sharpening)을 수행할 수 있다.

이러한 x 방향 필터(f2)는 다음의 수학식 2과 같다.

여기서, F는 기 설정되는 값이다. 또한, x 방향 필터(f2)의 모든 속성값의 합은 1이고, x 방향 필터(f2)의 2열의 속성값은 양수로 이루어진다.

다음으로, 데이터처리부(110)는 S150 단계에서 서로 다른 형식의 2개의 이미지, 즉, 스펙트로그램(Spectrogram) 이미지(c1) 및 스케일로그램(Scalogram) 이미지(c2)를 통합하여 통합 이미지(d)를 생성한다.

앞서 설명된 바와 같이, 필터링(sharpening)에 의해 y 방향의 특징이 강조된 스펙트로그램(Spectrogram) 이미지(c1)와 x 방향의 특징이 강조된 스케일로그램(Scalogram) 이미지(b2)가 도출되었다. 이에 따라, S150 단계에서 데이터처리부(110)는 2개의 이미지(c1, c2)의 특징이 모두 나타나도록 2개의 이미지(c1, c2)를 반투명화하고, 반투명화된 2개의 이미지(c1, c2)를 겹쳐지게 통합하여 통합 이미지(d)를 생성한다. 즉, 데이터처리부(110)는 상기 강조된 상호 직교하는 방향의 데이터의 특징이 모두 유지되도록 서로 다른 형식의 2개의 이미지, 즉, 스펙트로그램(Spectrogram) 이미지(c1) 및 스케일로그램(Scalogram) 이미지(c2)를 통합하여 통합 이미지(d)를 생성한다. 이때, 데이터처리부(110)는 다음의 수학식 3에 따라 2개의 이미지(c1, c2)를 통합하여 통합 이미지를 생성한다.

여기서, I는 통합 이미지(d)를 나타낸다. 또한, Isp는 2개의 이미지 중 스펙트로그램 이미지를 나타내며, Isc는 상기 2개의 이미지 중 스케일로그램 이미지를 나타낸다. 또한, α는 가중치를 나타내는 상수이고, 1 보다 작은 양의 유리수이다.

이와 같이, 본 발명에 따르면, y 방향의 특징이 강조된 스펙트로그램(Spectrogram) 이미지(c1)와 x 방향의 특징이 강조된 스케일로그램(Scalogram) 이미지(b2) 양자 모두를 반투명하게 하여 겹쳐지게 통합함으로써 x 방향의 특징 및 y 방향의 특징 양자 모두가 강조되는 통합 데이터(d)를 학습 모델에 대한 입력 데이터로 도출할 수 있다.

이러한 본 발명에 따르면, 스펙트로그램 및 스칼로그램 이미지의 특징 양자 모두를 모델의 학습 및 추론에서 사용할 수 있도록 제공한다. 이에 따라, 보다 많은 정보량을 통해 학습 및 추론을 수행함으로써 그 성능이 향상될 수 있다.

다음으로, 본 발명의 실시예에 따른 인공지능모델에 대한 학습 방법에 대해서 설명하기로 한다. 도 9는 본 발명의 실시예에 따른 인공지능모델에 대한 학습 방법을 설명하기 위한 흐름도이다.

학습부(200)는 S210 단계에서 제1 이상탐지모델(ADM1), 제2 이상탐지모델(ADM2) 및 제3 이상탐지모델(ADM3) 각각을 개별적으로 학습시킨다. 전술한 바와 같이, 제1 이상탐지모델(ADM1)은 클러스터링모델이고, 제2 이상탐지모델(ADM2)은 단일클래스분류모델이고, 제3 이상탐지모델(ADM3)은 롱테일학습모델이 될 수 있다.

일례로, 제1 이상탐지모델(ADM1)이 SVM(support vector machine) 모델이라고 가정하면, 제1 이상탐지모델(ADM1)의 학습 방법은 다음과 같다. 학습부(200)는 제1 이상탐지모델(ADM1)이 이상 상태를 나타내는 대상군 데이터와 정상 상태를 나타내는 대조군 데이터를 분류할 수 있도록 제1 이상탐지모델(ADM1)을 학습시킨다. 이때, 학습부(300)는 제1 이상탐지모델(ADM1)의 목적함수를 통해 대상군 데이터와 대조군 데이터를 구분하는 결정경계로부터 대상군 데이터의 서포트 벡터 및 대조군 데이터의 서포트 벡터 각각으로부터 결정경계까지의 거리를 나타내는 마진이 최대가 되도록 결정 경계의 가중치 벡터를 수정하는 최적화를 수행함으로써 제1 이상탐지모델(ADM1)을 학습시킬 수 있다.

한편, 제2 이상탐지모델(ADM2) 및 제3 이상탐지모델(ADM3) 각각의 학습 방법에 대해서는 아래에서 더 상세하게 설명하기로 한다.

다음으로, 학습부(200)는 S220 단계에서 제1 소정 기간 동안 이상 탐지 대상으로부터 수집된 실시간 데이터에 대해 제1 이상탐지모델(ADM1) 및 제2 이상탐지모델(ADM2)을 통해 추론을 수행하고, 제1 이상탐지모델(ADM1)의 추론 결과인 제1 예측값 및 제2 이상탐지모델(ADM2)의 추론 결과인 제2 예측값을 누적하여 제1 스태킹 학습 데이터로 저장한다. 여기서, 실시간 데이터는 이상 탐지 대상으로부터 수집되는 센서 데이터 및 그 센서 데이터로부터 변환된 이미지 데이터를 포함한다. 또한, 제1 스태킹 학습 데이터에서 제1 예측값 및 제2 예측값에 대한 레이블은 이상 탐지 대상의 실제 이상 발생 여부에 따라 부여된다.

다음으로, 학습부(200)는 S230 단계에서 앞서 누적 저장된 제1 예측값 및 제2 예측값을 포함하는 제1 스태킹 학습 데이터를 이용하여 제1 스태킹 모델(SM1)을 학습시킨다. 예를 들면, 학습부(200)는 제1 예측값 및 제2 예측값을 제1 스태킹 모델(SM1)에 입력하고, 제1 스태킹 모델(SM1)의 추론을 통해 제4 예측값을 산출하면, 손실함수를 통해 제4 예측값과 레이블과의 차이를 나타내는 손실을 도출하고, 도출된 손실이 최소가 되도록 제1 스태킹 모델(SM1)의 파라미터를 수정한다.

제1 스태킹 모델(SM1)의 학습이 완료되면, 학습부(200)는 S240 단계에서 제2 소정 기간 동안 이상 탐지 대상으로부터 수집된 실시간 데이터에 대해 제3 이상탐지모델(ADM3) 및 제1 스태킹 모델(SM1)을 통해 추론을 수행하고, 제3 이상탐지모델(ADM3)의 추론 결과인 제3 예측값 및 제1 스태킹 모델(SM1)의 추론 결과인 제4 예측값을 누적하여 제2 스태킹 학습 데이터로 저장한다. 여기서, 실시간 데이터는 이상 탐지 대상으로부터 수집되는 센서 데이터 및 그 센서 데이터로부터 변환된 이미지 데이터를 포함한다. 또한, 제3 예측값 및 제4 예측값에 대한 레이블은 이상 탐지 대상의 실제 이상 발생 여부에 따라 부여된다.

다음으로, 학습부(200)는 S250 단계에서 앞서 누적 저장된 제3 예측값 및 제4 예측값을 포함하는 제2 스태킹 학습 데이터를 이용하여 제2 스태킹 모델(SM2)을 학습시킨다. 예를 들면, 학습부(200)는 제3 예측값 및 제4 예측값을 제2 스태킹 모델(SM2)에 입력하고, 제2 스태킹 모델(SM2)의 추론을 통해 제5 예측값을 산출하면, 손실함수를 통해 제5 예측값과 레이블과의 차이를 나타내는 손실을 도출하고, 도출된 손실이 최소가 되도록 제2 스태킹 모델(SM2)의 파라미터를 수정한다.

다음으로, 전술한 S210 단계에서 수행되는 제2 이상탐지모델(ADM2)에 대한 학습 방법에 대해 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 제2 이상탐지모델(ADM2)에 대한 학습 방법을 설명하기 위한 흐름도이다.

도 10을 참조하면, 학습부(200)는 S310 단계에서 데이터처리부(100)를 통해 학습데이터 세트를 마련한다. 여기서, 학습 데이터 세트는 복수의 학습데이터를 포함하며, 학습데이터는 입력 데이터 및 입력 데이터에 대응하는 레이블을 포함한다. 여기서, 레이블은 입력 데이터가 정상 데이터인지 혹은 이상 데이터인지 여부를 나타낸다. 이러한 레이블은 원-핫-인코딩 벡터(one-hot-encoding vector)를 이용하여 표현될 수 있다. 예컨대, 레이블은 정상 데이터의 경우 “0]”으로 표현되고 이상 데이터의 경우, “1]”로 표현될 수 있다. 데이터처리부(100)는 앞서 설명된 바와 같이, 시계열의 센서 데이터로부터 이미지 데이터를 생성하며, 이러한 이미지 데이터가 입력 데이터로 이용된다. 정상 데이터 및 이상 데이터의 여부를 나타내는 레이블은 사용자에 의해 입력된다.

다음으로, 학습부(200)는 S320 단계에서 학습데이터 세트를 이용하여 인코더(EN) 및 디코더(DE)를 포함하는 오토인코더(AE)를 학습시킨다. 이때, 학습부(200)는 오토인코더(AE)에 이미지 데이터인 입력 데이터가 입력되면, 오토인코더(AE)는 입력 데이터에 대한 가중치 연산을 수행하여 입력 데이터를 모사하는 이미지 데이터인 출력 데이터를 산출하도록 오토인코더(AE)를 학습시킨다. 보다 구체적으로, 학습부(200)가 오토인코더(AE)에 입력 데이터를 입력하면, 오토인코더(AE)는 입력 데이터에 대한 가중치 연산을 수행하여 입력 데이터를 모사하는 이미지 데이터인 출력 데이터를 산출한다. 그러면, 학습부(200)는 입력 데이터와 출력 데이터의 차이를 나타내는 손실을 산출하고, 손실이 최소가 되도록 오토인코더(AE)의 파라미터를 수정하는 최적화를 수행한다. 전술한 절차는 소정의 조건이 만족될 때까지 학습데이터 세트의 복수의 서로 다른 입력 데이터를 이용하여 반복하여 수행될 수 있다.

인코더(EN) 및 디코더(DE)를 포함하는 오토인코더(AE)의 학습이 완료되면, 학습부(200)는 S330 단계에서 디코더(DE)를 네트워크(NN: Neural Network)로 교체하여 제2 이상탐지모델(ADM2)을 구성한다. 일 실시예에 따르면, 네트워크(NN)는 입력계층, 은닉계층 및 출력계층을 가지는 다층퍼셉트론(MLP: Multi-Layer Perceptron)이 될 수 있다. 또한, 네트워크(NN)의 출력계층은 하나의 노드로 이루어진다.

다음으로, 학습부(200)는 S340 단계에서 제2 이상탐지모델(ADM2)을 학습시킨다. 이때, 학습부(200)는 입력 데이터인 이미지 데이터가 입력되면, 이미지 데이터에 대한 추론을 통해 이상 여부를 나타내는 제2 예측값을 산출하도록 제2 이상탐지모델(ADM2)을 학습시킨다. 보다 구체적으로, 학습부(200)가 인코더(EN) 및 네트워크(NN)를 포함하는 제2 이상탐지모델(ADM2)에 이상 여부를 나타내는 레이블을 부여된 학습용 입력 데이터를 입력할 수 있다. 여기서, 레이블은 이상인 경우, 1이고, 정상인 경우, 0으로 설정할 수 있다. 제2 이상탐지모델(ADM2)은 학습용 입력 데이터에 대한 가중치 연산을 수행하여 이상 여부를 확률로 나타내는 제2 예측값을 산출한다. 예컨대, 제2 예측값이 “0.812345”라면, 이상일 확률이 81%임을 나타낸다. 그러면, 학습부(200)는 손실함수를 통해 제2 예측값과 레이블(0 또는 1)과의 차이를 나타내는 손실을 산출하고, 손실이 최소가 되도록 인코더(EN)의 가중치를 고정한 상태에서 네트워크(NN)의 가중치를 수정하는 최적화를 수행한다. 전술한 절차는 소정의 조건이 만족될 때까지 복수의 서로 다른 학습용 입력 데이터를 이용하여 반복하여 수행될 수 있다.

다음으로, 전술한 S210 단계에서 수행되는 제3 이상탐지모델(ADM3)에 대한 학습 방법에 대해 설명하기로 한다. 도 11은 본 발명의 실시예에 따른 제3 이상탐지모델(ADM3)에 대한 학습 방법을 설명하기 위한 흐름도이다.

도 11을 참조하면, 학습부(200)는 S410 단계에서 데이터처리부(100)를 통해 학습데이터 세트를 마련한다. 여기서, 학습 데이터 세트는 복수의 학습데이터를 포함하며, 학습데이터는 이미지 데이터인 입력 데이터와 그 입력 데이터에 대응하는 레이블을 포함한다. 여기서, 레이블은 입력 데이터가 정상 데이터인지 혹은 이상 데이터인지 여부를 나타낸다. 이러한 레이블은 원-핫-인코딩 벡터(one-hot-encoding vector)를 이용하여 표현될 수 있다. 예컨대, 레이블은 정상 데이터의 경우 “0]”으로 표현되고 이상 데이터의 경우, “1]”로 표현될 수 있다. 데이터처리부(100)는 앞서 설명된 바와 같이, 시계열의 센서 데이터로부터 이미지 데이터를 생성한다. 생성된 이미지 데이터는 입력 데이터로 이용된다. 또한, 정상 데이터 및 이상 데이터의 여부를 나타내는 레이블은 사용자에 의해 입력된다.

다음으로, 학습부(200)는 S420 단계에서 학습데이터 세트를 이용하여 입력 데이터에 대해 정상 데이터와 이상 데이터를 구분하도록 베이스모듈(BM) 및 분류모듈(LM)을 포함하는 표현모델(RM)을 학습시킨다. 즉, 학습부(200)는 표현모델(RM)에 입력 데이터가 입력되면, 표현모델(RM)이 입력 데이터에 대한 가중치 연산을 수행하여 입력 데이터가 정상 데이터일 확률과 이상 데이터일 확률을 나타내는 출력 데이터를 산출하도록 표현모델(RM)을 학습시킨다. 이러한 표현모델(RM)에 대한 학습 방법을 보다 구체적으로 설명하면 다음과 같다. 학습부(200)는 데이터처리부(100)를 통해 복수의 학습데이터를 포함하는 학습데이터 세트를 마련한다. 전술한 바와 같이, 학습데이터 세트는 복수의 학습데이터를 포함하며, 각 학습데이터는 입력 데이터 및 그 입력 데이터에 대응하는 레이블을 포함한다. 학습부(200)는 학습데이터의 입력 데이터를 표현모델(RM)에 입력한다. 그러면, 표현모델(RM)은 입력 데이터에 대한 가중치 연산을 통해 출력 데이터를 산출한다. 출력 데이터는 출력노드(OL)에 대응하며 입력 데이터가 정상 데이터일 확률 및 이상 데이터일 확률을 포함한다. 학습부(200)는 손실함수를 통해 출력 데이터와 입력 데이터에 대응하는 레이블과의 차이를 나타내는 손실을 도출한다. 그런 다음, 학습부(200)는 S350 단계에서 손실이 최소가 되도록 베이스모듈(BM) 및 분류모듈(LM)을 포함하는 표현모델(RM)의 가중치를 수정하는 최적화를 수행한다. 전술한 절차는 소정의 조건을 만족할 때까지 서로 다른 복수의 학습데이터를 이용하여 반복 수행되며, 이러한 반복에 따라 표현모델(RM)의 가중치는 반복하여 갱신된다.

다음으로, 학습부(200)는 S430 단계에서 롱테일 데이터의 학습 효과를 높이기 위해 정상 데이터들이 집결할 수 있는 기준인 정상 기준점 및 이상 데이터들이 집결할 수 있는 기준인 이상 기준점을 설정한다. 이때, 학습부(200)는 학습데이터 세트의 양에 비례하여 특징 공간 상에서 정상 기준점과 이상 기준점 사이의 거리를 설정한다. 예를 들면, 학습 데이터 세트가 8개인 경우, 학습 데이터 세트가 6개인 경우에 비해 정상 기준점과 이상 기준점의 거리가 길게 설정될 수 있다.

다음으로, 학습부(200)는 S440 단계에서 도 4에 도시된 바와 같이, 표현모델(RM)에서 베이스모듈(BM)을 남기고 분류모듈(LM)을 임베딩모듈(EM)로 교체하여 제3 이상탐지모델(ADM3)을 구성한다.

그런 다음, 학습부(200)는 S450 단계에서 학습데이터 세트를 이용하여 제3 이상탐지모델(ADM3)이 도출하는 정상 데이터에 대응하는 특징 벡터가 정상 기준점과의 차이가 최소가 되고 제3 이상탐지모델(ADM3)이 도출하는 이상 데이터에 대한 특징 벡터와 이상 기준점과의 차이가 최소가 되도록 제3 이상탐지모델(ADM3)을 학습시킨다. 이러한 제3 이상탐지모델(ADM3)의 학습에 대해 구체적으로 설명하면 다음과 같다. 학습부(200)는 데이터처리부(100)를 통해 복수의 학습데이터를 포함하는 학습데이터 세트를 마련한다. 전술한 바와 같이, 학습데이터 세트는 복수의 학습데이터를 포함하며, 각 학습데이터는 입력 데이터 및 그 입력 데이터에 대응하는 레이블을 포함한다. 학습부(200)가 학습데이터의 입력 데이터를 제3 이상탐지모델(ADM3)에 입력하면, 제3 이상탐지모델(ADM3)은 입력 데이터에 대한 가중치 연산을 통해 순차로 잠재 벡터를 산출하고, 산출된 잠재 벡터를 특징 공간에 사상하여 특징 벡터를 산출한다. 즉, 제3 이상탐지모델(ADM3)의 베이스모듈(BM)은 입력 데이터에 대한 가중치 연산을 통해 가중치 연산을 수행하여 잠재벡터를 산출하며, 임베딩모듈(EM)은 잠재벡터를 특징 공간에 사상하여(embedding) 특징 벡터를 도출한다. 그러면, 학습부(200)는 손실함수를 통해 특징 벡터와 레이블과의 차이를 나타내는 손실을 도출한다. 이러한 손실은 입력 데이터에 대응하는 레이블에 따라 특징 공간 상에서 정상 데이터에 대한 특징 벡터와 정상 기준점과의 차이 혹은 이상 데이터에 대한 특징 벡터와 이상 기준점과의 차이를 나타낸다. 그런 다음, 학습부(200)는 손실이 최소가 되도록 제3 이상탐지모델(ADM3)의 가중치를 수정하는 최적화를 수행한다. 전술한 절차는 서로 다른 복수의 학습데이터를 이용하여 소정의 조건이 만족될 때까지 반복 수행된다.

이상에서 설명된 바와 같이 학습이 이루어지면, 제1, 제2 및 제3 이상탐지모델(ADM1, ADM2, ADM3) 및 제1 및 제2 스태킹 모델(SM1, SM2)인공지능모델을 이용하여 이상 탐지를 수행할 수 있다. 이러한 방법에 대해서 설명하기로 한다. 도 12는 본 발명의 인공 지능 기반의 이상 탐지를 위한 방법을 설명하기 위한 흐름도이다.

데이터처리부(100)는 S510 단계에서 이상 탐지 대상으로부터 소정의 단위 기간 단위로 시계열의 센서 데이터를 수집하며, S520 단계에서 수집된 센서 데이터를 이미지 데이터로 변환한다. 여기서, 센서 데이터는 이상 탐지 대상에 대해 전류 센서, 진동 센서, 가속도 센서 등을 이용하여 계측된 데이터이며, 수집되며, 시계열로 이루어진 데이터이다. 예컨대, 이상 탐지 대상은 물품의 생산 공정에서의 물품을 생산하기 위한 각 종 장치가 될 수 있다.

탐지부(300)는 S530 단계에서 제1 이상탐지모델(ADM1)을 통해 센서 데이터에 대한 추론을 수행하여 제1 예측값을 도출하고, 제2 이상탐지모델(ADM2)을 통해 이미지 데이터에 대한 추론을 수행하여 제2 예측값을 도출하고, 제3 이상탐지모델(ADM3)을 통해 이미지 데이터에 대한 추론을 수행하여 제3 예측값을 도출한다. 여기서, 제1 예측값, 제2 예측값 및 제3 예측값 모두 이상 상태 혹은 정상 상태를 나타내기 위한 것이다. 예를 들면, 제1 이상탐지모델(ADM1)은 센서 데이터에 대한 추론을 통해 이상 상태 혹은 정상 상태를 나타내는 제1 예측값을 출력할 수 있다. 예컨대, 제1 예측값은 이상 상태의 경우 1, 정상 상태의 경우 0이 될 수 있다. 제2 이상탐지모델(ADM2)은 센서 데이터로부터 변환된 이미지 데이터에 대한 추론을 통해 이상 상태일 확률을 나타내는 제2 예측값을 출력할 수 있다. 이러한 확률은 0~1의 값으로 표현될 수 있다. 마찬가지로, 제3 이상탐지모델(ADM3)은 센서 데이터로부터 변환된 이미지 데이터에 대한 추론을 통해 이상 상태일 확률을 나타내는 0~1의 값을 제3 예측값으로 출력할 수 있다. 예컨대, 제2 이상탐지모델(ADM2) 혹은 제3 이상탐지모델(ADM3)의 출력이 “”이면, 이상 상태일 확률이 90%이고, 정상 상태일 확률이 10%임을 의미한다(0: 정상, 1: 이상).

다음으로, 탐지부(300)는 S540 단계에서 제1 스태킹모델(SM1)을 통해 제1 예측값 및 제2 예측값에 대한 추론을 수행하여 제4 예측값을 도출한다. 이때, 제1 스태킹모델(SM1)은 제1 예측값(예컨대, 0 또는 1) 및 제2 예측값(예컨대, 0~1)에 대한 추론을 통해 이상 상태일 확률로 제4 예측값(예컨대, 0~1)을 출력할 수 있다.

탐지부(300)는 S550 단계에서 제2 스태킹모델을 통해 제3 예측값 및 제4 예측값에 대한 추론을 통해 제5 예측값을 이상탐지 예측값으로 도출한다. 이때, 제2 스태킹모델(SM2)은 제3 예측값(예컨대, 0~1) 및 제4 예측값(예컨대, 0~1)에 대한 추론을 통해 이상 상태일 확률을 나타내는 제5 예측값(예컨대, 0~1)을 출력할 수 있다.

탐지부(300)는 S550 단계에서 소정의 기준치를 기초로 제5 예측값, 즉, 이상탐지 예측값에 따라 이상 여부를 판정한다. 이때, 탐지부(300)는 제5 예측값이 나타내는 확률이 소정의 기준치 이상인 경우, 이상 상태인 것으로 판정할 수 있다. 예를 들면, 소정의 기준치는 75%라고 가정한다. 이때, 제5 예측값이 0.77이면, 77%로 기준치인 75% 이상이기 때문에 이상 상태인 것으로 판정할 수 있다.

도 13은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 13의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치, 예컨대, 이상탐지장치(10) 등이 될 수 있다.

도 13의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

10: 이상탐지장치
100: 데이터처리부
200: 학습부
300: 탐지부

Claims (14)

1. 이상 탐지를 위한 방법에 있어서,
   데이터처리부가 소정의 단위 기간 단위로 수집되는 시계열의 센서 데이터를 이미지 데이터로 변환하는 단계;
   탐지부가
   제1 이상탐지모델,
   제2 이상탐지모델,
   제3 이상탐지모델,
   상기 제1 이상탐지모델 및 상기 제2 이상탐지모델을 기초로 생성된 제1 스태킹모델과,
   상기 제3 이상탐지모델 및 상기 제1 스태킹 모델을 기초로 생성된 제2 스태킹모델을 통해
   상기 센서 데이터 및 상기 이미지 데이터에 대한 추론을 수행하여 이상탐지 예측값을 도출하는 단계; 및
   상기 탐지부가 상기 이상탐지 예측값에 따라 이상 여부를 판정하는 단계;
   를 포함하며,
   상기 이상탐지 예측값을 도출하는 단계는
   상기 탐지부가 상기 제1 이상탐지모델을 통해 상기 센서 데이터에 대한 추론을 수행하여 제1 예측값을 도출하고, 상기 제2 이상탐지모델을 통해 상기 이미지 데이터에 대한 추론을 수행하여 제2 예측값을 도출하고, 상기 제3 이상탐지모델을 통해 상기 이미지 데이터에 대한 추론을 수행하여 제3 예측값을 도출하는 단계;
   상기 탐지부가 상기 제1 스태킹모델을 통해 상기 제1 예측값 및 상기 제2 예측값에 대한 추론을 수행하여 제4 예측값을 도출하는 단계; 및
   상기 탐지부가 상기 제2 스태킹모델을 통해 상기 제3 예측값 및 상기 제4 예측값에 대한 추론을 통해 제5 예측값을 상기 이상탐지 예측값으로 도출하는 단계;
   를 포함하는 것을 특징으로 하는
   이상 탐지를 위한 방법.
2. 삭제
3. 제1항에 있어서,
   상기 변환하는 단계 전,
   학습부가 제1 이상탐지모델, 제2 이상탐지모델 및 제3 이상탐지모델 각각을 개별적으로 학습시키는 단계;
   상기 학습부가 상기 제1 이상탐지모델의 추론 결과인 제1 예측값과 상기 제2 이상탐지모델의 추론 결과인 제2 예측값을 저장하는 단계;
   상기 학습부가 상기 제1 예측값 및 상기 제2 예측값을 학습 데이터로 이용하여 제1 스태킹 모델을 학습시키는 단계;
   상기 학습부가 상기 제3 이상탐지모델의 추론 결과에 따른 제3 예측값과, 상기 제1 스태킹 모델의 추론 결과인 제4 예측값을 저장하는 단계;
   상기 학습부가 상기 제3 예측값 및 상기 제4 예측값을 학습 데이터로 이용하여 제2 스태킹 모델을 학습시키는 단계;
   를 더 포함하는 것을 특징으로 하는
   이상 탐지를 위한 방법.
4. 제3항에 있어서,
   상기 개별적으로 학습시키는 단계는
   인코더 및 디코더를 포함하는 오토인코더를 학습시키는 단계;
   상기 디코더를 제거하고 네트워크를 부가하여 제2 이상탐지모델을 구성하는 단계;
   상기 디코더의 가중치를 고정한 상태에서 상기 네트워크를 학습시키는 단계;
   를 포함하는 것을 특징으로 하는
   이상 탐지를 위한 방법.
5. 제3항에 있어서,
   상기 개별적으로 학습시키는 단계는
   상기 학습부가 정상 데이터와 이상 데이터를 구분하도록 베이스모듈 및 분류모듈을 포함하는 표현모델을 학습시키는 단계;
   상기 학습부가 특징 공간 상에서 정상 데이터의 기준을 나타내는 정상 기준점과 이상 데이터의 기준을 나타내는 이상 기준점을 설정하는 단계;
   상기 학습부가 상기 표현모델에서 분류모듈을 임베딩모듈로 교체하여 제3 이상탐지모델을 구성하는 단계; 및
   상기 학습부가 특징 공간 상에서 정상 데이터에 대한 특징 벡터와 정상 기준점과의 차이 혹은 이상 데이터에 대한 특징 벡터와 이상 기준점과의 차이가 최소가 되도록 상기 제3 이상탐지모델을 학습시키는 단계;
   를 포함하는 것을 특징으로 하는
   이상 탐지를 위한 방법.
6. 제1항에 있어서,
   상기 제1 이상탐지모델, 상기 제2 이상탐지모델 및 상기 제3 이상탐지모델은 상호 간에 구성 및 출력 중 적어도 하나가 상이한 모델이며,
   상기 제1 스태킹 모델 및 상기 제2 스태킹 모델은 실수의 출력값을 가지는 학습 모델인 것을 특징으로 하는
   이상 탐지를 위한 방법.
7. 제1항에 있어서,
   상기 센서 데이터를 이미지 데이터로 변환하는 단계는
   상기 데이터처리부가 상기 시계열의 센서 데이터를 서로 다른 형식의 2개의 이미지로 변환하는 단계;
   상기 데이터처리부가 상기 2개의 이미지를 동일한 크기로 조절하는 단계;
   상기 데이터처리부가 상기 2개의 이미지의 특징이 강조되도록 상기 2개의 이미지에 대해 필터링을 수행하는 단계;
   상기 데이터처리부가 상기 강조된 상호 직교하는 방향의 데이터의 특징이 모두 유지되도록 상기 2개의 이미지를 통합하여 상기 이미지 데이터를 생성하는 단계;
   를 포함하는 것을 특징으로 하는
   이상 탐지를 위한 방법.
8. 이상 탐지를 위한 장치에 있어서,
   소정의 단위 기간 단위로 수집되는 시계열의 센서 데이터를 이미지 데이터로 변환하는 데이터처리부; 및
   제1 이상탐지모델,
   제2 이상탐지모델,
   제3 이상탐지모델,
   상기 제1 이상탐지모델 및 상기 제2 이상탐지모델을 기초로 생성된 제1 스태킹모델과,
   상기 제3 이상탐지모델 및 상기 제1 스태킹 모델을 기초로 생성된 제2 스태킹모델을 통해
   상기 센서 데이터 및 상기 이미지 데이터에 대한 추론을 수행하여 이상탐지 예측값을 도출하고,
   상기 이상탐지 예측값에 따라 이상 여부를 판정하는 탐지부;
   를 포함하며,
   상기 탐지부는
   상기 제1 이상탐지모델을 통해 상기 센서 데이터에 대한 추론을 수행하여 제1 예측값을 도출하고,
   상기 제2 이상탐지모델을 통해 상기 이미지 데이터에 대한 추론을 수행하여 제2 예측값을 도출하고,
   상기 제3 이상탐지모델을 통해 상기 이미지 데이터에 대한 추론을 수행하여 제3 예측값을 도출하고,
   상기 제1 스태킹모델을 통해 상기 제1 예측값 및 상기 제2 예측값에 대한 추론을 수행하여 제4 예측값을 도출하고,
   상기 제2 스태킹모델을 통해 상기 제3 예측값 및 상기 제4 예측값에 대한 추론을 통해 제5 예측값을 상기 이상탐지 예측값으로 도출하는 것을 특징으로 하는
   이상 탐지를 위한 장치.
9. 삭제
10. 제8항에 있어서,
    제1 이상탐지모델, 제2 이상탐지모델 및 제3 이상탐지모델 각각을 개별적으로 학습시키고,
    상기 제1 이상탐지모델의 추론 결과인 제1 예측값과 상기 제2 이상탐지모델의 추론 결과인 제2 예측값을 저장하고,
    상기 제1 예측값 및 상기 제2 예측값을 학습 데이터로 이용하여 제1 스태킹 모델을 학습시키고,
    상기 제3 이상탐지모델의 추론 결과에 따른 제3 예측값과, 상기 제1 스태킹 모델의 추론 결과인 제4 예측값을 저장하고,
    상기 제3 예측값 및 상기 제4 예측값을 학습 데이터로 이용하여 제2 스태킹 모델을 학습시키는 학습부;
    를 더 포함하는 것을 특징으로 하는
    이상 탐지를 위한 장치.
11. 제10항에 있어서,
    상기 학습부는
    인코더 및 디코더를 포함하는 오토인코더를 학습시키고,
    상기 디코더를 제거하고 네트워크를 부가하여 제2 이상탐지모델을 구성하고,
    상기 디코더의 가중치를 고정한 상태에서 상기 네트워크를 학습시키는 것을 특징으로 하는
    이상 탐지를 위한 장치.
12. 제10항에 있어서,
    상기 학습부는
    정상 데이터와 이상 데이터를 구분하도록 베이스모듈 및 분류모듈을 포함하는 표현모델을 학습시키고,
    특징 공간 상에서 정상 데이터의 기준을 나타내는 정상 기준점과 이상 데이터의 기준을 나타내는 이상 기준점을 설정하고,
    상기 표현모델에서 분류모듈을 임베딩모듈로 교체하여 제3 이상탐지모델을 구성하고,
    특징 공간 상에서 정상 데이터에 대한 특징 벡터와 정상 기준점과의 차이 혹은 이상 데이터에 대한 특징 벡터와 이상 기준점과의 차이가 최소가 되도록 상기 제3 이상탐지모델을 학습시키는 것을 특징으로 하는
    이상 탐지를 위한 장치.
13. 제8항에 있어서,
    상기 제1 이상탐지모델, 상기 제2 이상탐지모델 및 상기 제3 이상탐지모델은 상호 간에 구성 및 출력 중 적어도 하나가 상이한 모델이며,
    상기 제1 스태킹 모델 및 상기 제2 스태킹 모델은 실수의 출력값을 가지는 학습 모델인 것을 특징으로 하는
    이상 탐지를 위한 장치.
14. 제8항에 있어서,
    상기 데이터처리부는
    상기 시계열의 센서 데이터를 서로 다른 형식의 2개의 이미지로 변환하고,
    상기 2개의 이미지를 동일한 크기로 조절하고,
    상기 2개의 이미지의 특징이 강조되도록 상기 2개의 이미지에 대해 필터링을 수행하고,
    상기 강조된 상호 직교하는 방향의 데이터의 특징이 모두 유지되도록 상기 2개의 이미지를 통합하여 상기 이미지 데이터를 생성하는 것을 특징으로 하는
    이상 탐지를 위한 장치.

Images