KR20210126378A - 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템 - Google Patents

Abstract

본 발명은 설비에 실시간으로 수집되는 여러 센서의 이산형 데이터를 시계열화 한 이후 슬라이딩 윈도우 기법으로 다변량 분석 결과를 이미지 형태로 추출하고, 이미지 처리 딥러닝 기법을 통해 결과를 다시 실시간으로 이상 스코어(anomaly score)로 출력하는 시스템에 관한 것이이다.

Description

슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템 {Real-time sliding window based anomaly detection system for multivariate data generated by manufacturing equipment}

본 발명은 설비에 실시간으로 수집되는 여러 센서의 이산형 데이터를 시계열화 한 이후 슬라이딩 윈도우 기법으로 다변량 분석 결과를 이미지 형태로 추출하고, 이미지 처리 딥러닝 기법을 통해 결과를 다시 실시간으로 이상 스코어(anomaly score)로 출력하는 시스템에 관한 것이이다.

일반적으로, 센서 장치들을 이용하여 설비의 이상을 조기에 발견하기 위한 연구 및 기술 개발이 활발히 진행되고 있으며, 수집된 데이터를 이용하여 인공신경망, 결정 트리(Decision tree), 클러스터링(Clustering) 등 종래 기계 학습 모델 및 알고리즘들을 이용하는 방식도 사용되고 있다.

그리고, 기계학습(Machine leaning)은 일반적으로 수집된 데이터를 정제하여 훈련 데이터(Training data)와 시험 데이터(Test data)로 분류한 후 훈련모델을 학습/평가하고, 학습된 모델을 이용하여 훈련 이후 새롭게 들어오는 데이터를 정확히 처리하여 새로운 환경에 필요한 정보를 분석 및 예측하는 기술이다.

한편, 최근에는 인간의 뇌를 모방한 딥러닝(Deeplearning) 기술이 크게 발전함에 따라 영상인식/처리, 자동 음성인식, 비디오 행동인식, 자연어 처리 등 각종 분야에서 딥러닝 기술 기반의 기계학습을 활발히 적용하고 있는 추세이다.

그리고, 딥러닝(혹은 심층학습)은 최근 많은 부분에 성공적인 적용사례를 만들어가고 있다.

컴퓨터 비전, 자연어 처리, 의학, 로봇, 심지어 예술분야까지 거의 모든 분야 전반에 걸쳐 각종 도메인 지식과 결합한 새로운 유형의 서비스가 파생되어지고 있으며, 많은 영역에서 딥러닝을 통하여 생성된 모델을 기준으로 자동화가 이루어지고 있다.

또한, 비선형 변환기법의 조합을 통해 데이터의 핵심적인 내용을 파악하며,매우 복잡한 구조의 회귀모델도 구현이 가능하다.

특별히, 머신러닝의 데이터 학습방법으로는 판단 기준 유무에 따라서 지도(supervised)와 비지도(unsupervised) 및 강화(reinforcement)학습으로 분류하게 되는데 비지도 학습에 대한 연구는 많은 잠재성을 가지고 있다.

즉, 지도 학습(Supervised Learning)은 데이터에 대한 레이블(Label)-명시적인 정답-이 주어진 상태에서 컴퓨터를 학습시키는 것이고, 비지도학습은 입력 값에 대한 목표치가 주어지지 않는 것으로 실제로도 레이블이 없는 데이터가 훨씬 방대하기 때문이다.

제조공정에서는 제품이나 장비 그리고 부속품에 대한 불량 기준이 있는 경우도 있으나 없는 경우가 훨씬 많다.

그리고 없는 기준을 새로 마련하는 작업도 만만치 않다.

그렇기에, 비지도 학습을 이용한다면,낭비되는 데이터를 통하여 이상에 대한 감지를 좀 더 효율적으로 할 수 있을 것으로 예상된다.

이와같은 기술과 관련되어 종래의 특허 2018330호에 다중 메타학습을 이용한 플랜트 배관 이상 감지장치 및 방법의 기술이 제시되고 있으며 그 구성은 도1에서와 같이, 장기추세 메타학습기(150)의 장기추세 다중특징 추출기(151)는 주기적으로 측정되는 복수의 M개 센서 시계열 데이터로부터 여러 개의 패킷구간들로 구성되는 장기추세 구간(Tl) 동안 데이터를 수집하고, 각 센서 당 복수의 N개 장기추세 이미지 특징들을 추출한다.

그리고, 나머지 장기추세 다중특징 합성기(152) 및 메타학습기(153)와, 장기추세 최적화기(160)의 구성 및 동작원리 또한 단기추세 메타학습기(110) 및 단기추세 최적화기(120)의 구성 및 동작 원리와 동일하며, 성능향상을 위하여 장기추세 메타학습기(150)는 사용자 정의에 따라 장기추세 구간을 복수 개로 설정하여 메타학습을 확장할 수 있다.

또한, 다중추세 메타평가기(170)는 단기추세 메타학습기(110), 중기추세 메타학습기(130), 및 장기추세 메타학습기(150)에서 각 추세별 다중특징, 다중센서, 및 추세구간들의 최적조합을 바탕으로 학습된 결과들을 입력 받고, 그런 다음 다중추세 메타평가기(170)는 입력된 결과들을 애그리게이션(aggregation)하여 플랜트 배관의 이상여부를 최종 평가하는 것이다.

그러나, 상기와 같은 플랜트 배관 이상감지 장치및 방법으로는 플랜트 배관 상에 설치된 다양한 센서 데이터로부터 측정된 시계열 데이터에 다중 추세들을 반영한 이미지 및 볼륨 특징들을 추출하고 이들 특징들 및 센서간의 최적화 퓨전을 통해 플랜트 배관의 이상을 정확하게 감지할 수 없어 이러한 기술이 필요한 실정이다.

상기와 같은 종래의 문제점들을 개선하기 위한 본 발명의 목적은, 제조 설비에서의 다변량 시계열 데이터의 이상(Anomality)를 정확하게 감지할 수 있도록 하고, 이상에 대한 예측은 물론 이상의 원인을 제시할 수 있도록 하며, 효율적인 제조설비 관리와 제품의 불량 여부등을 예측할 수 있도록 하는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템을 제공하는데 있다.

본 발명은 상기 목적을 달성하기 위하여, 실시간 이산형(discrete) 데이터를 일정량 수신 단계;

상기 이산형 데이터를 시계열 데이터로 변환 이후, 슬라이딩 윈도우 기법을 이용하여 각 윈도우당 구간별 다변량 분석 및 행렬 생성하는 단계;

각 행렬을 제1신경망들에 입력하여 특징값을 추출하는 단계;

특정값을 제2신경망을 통하여 다시 복원하는 단계;

그리고 특징값에 기초하여 새로운 데이터를 추론하여 이상 스코어를 출력하는 단계를 포함하는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템을 제공한다.

또한, 본 발명의 다변량 분석 및 행렬 생성단계에서는, 상관관계 행렬, 공분산 행렬, 정준상관분석중 선택되는 어느 하나의 방법이 활용되고,

차원축소에 관하여서는, 주성분분석(PCA), t-SNE, 그리고 UMAP (2차원으로 축소)등이 선택될 수 있으며,

입력값은, 행렬 값 혹은 2차원 데이터로 구성된 각각의 윈도우에 해당되는 이미지 데이터로 구성되는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템을 제공한다.

그리고, 본 발명의 제1신경망들의 조합에는, 이미지 데이터를 처리할 2D 합성곱 신경망 (2D-CNN)을 기본으로, 순환 신경망중합성곱처리를 하여 이미지 입력을 가능케 하는 ConvLSTM(Convolutional Long Short-Term Memory models),

시간의 흐름에따른 상관관계 행렬에서 더욱 집중해야 할 윈도우의 가중치 정보를 적용한 어텐션 메커니즘(Attention Mechanism)중 적어도 하나 포함하는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템을 제공한다.

또한, 본 발명의 제2신경망에서는, 2D역합성곱신경망을 통해 (2D-Deconvolutional network) 이미지를 복원하며, 각 레이어 마다 어텐션 메커니즘의 결과와 결합하여 최종 결과를 도출하는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템을 제공한다.

더하여, 본 발명의 제1, 2신경망은, 전 과정을 통하여 차원을 축소하여 특징값을 추출해 내고 이후 복원하여, 입력값과 복원값의 차이가 감소하는 방향으로 학습을 하는 오토인코더(Autoencoder)방식이 적용되고,

상기 제1,2 신경망은, 이미지 처리과정을 2D합성곱이 아닌 3D합성곱으로 변형이 가능한 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템을 제공한다.

이상과 같이 본 발명에 의하면, 반도체 시장을 제외한 많은 제조산업에서는 설비 데이터에서 파생되어지는 데이터에 레이블이 없는 경우가 많고, 이러한 데이터가 제대로 관리, 표준화되지 않고 버려지는 경우가 많으나 본 발명에서는 이러한 데이터를 활용하여 예방 정비를 비롯하여 품질의 양/불 예측을 통하여, 생산, 영업 비용의 손실뿐만 아니라, 이를 통하여 파생되는 비용들을 줄일 수 있는 효과를 구현하는 것이다.

도1은 종래의 이상 감지장치 및 방법을 도시한 블럭도이다.
도2는 본 발명에 따른 슬라이딩 윈도우를 활용한 일정 윈도우 구간에서의 다변량 분석결과와 오토인코더 방식을 결합한 이상감지 시스템을 도시한 블럭도이다.
도3은 본 발명에 따른 슬라이딩 윈도우를 활용한 다변량 분석결과의 이미지 화를 통하여,합성곱 신경망과, 합성곱LSTM 그리고 어텐션 메커니즘을 활용한 오토인코더이상감지 시스템을 도시한 블럭도이다.

이하, 첨부된 도면에 의거하여 본 발명의 실시예를 상세하게 설명하면 다음과 같다.

본 발명의 도면과 이를 설명하는 상세한 설명의 내용은 하나의 예시에 해당하며, 시계열 데이터에 있어서 관계성 설명을 포함한 다변량 분석과 인공신경망의 결합이라는 큰 그림에서, 세부적인 항목 혹은 구조는 다양하게 변경 가능함을 이야기한다.

즉, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해 할 수 있을 것이다.

먼저, 머신러닝 시스템의 종류에는 크게네 가지가 있다.

지도학습, 비지도학습, 준지도학습, 그리고 마지막으로 강화학습이다.

지도학습은, 데이터에 대하여 예측하고자 하는 변수가 레이블이 있을 경우에 해당되며, 비지도 학습은 그와 반대의 경우로서 레이블이 없는 경우이다.

또한, 준지도 학습은 전체 데이터중 일부데이터에만 레이블이 있는 경우를 이야기하며, 강화학습은 사용자가 기계에게 적절한 기준을 제시하여 좋은 경우에 점수를 부여하여 그쪽으로 더욱 학습시키도록 하고, 좋지 않은 경우에는 점수를 차감하여 덜 학습시키도록 유도하는 방법이다.

실제 방대한 양의 데이터를 수집함에도 불구하고, 설비 동작의 물리적 현상에 대하여 옳고 그름에 대한 엄격한 기준을 세운다는 것은 쉽지 않다.

또한, 이러한 데이터들 간에 적절한 연결고리를 찾지 못하여 의미 있는 분석을 하지 못하고, 전체 설비 관점에서의 운영적 통찰을 가져오는 것도 쉽지 않다.

이러한 상황에서, 설비간 상관관계, 인과관계 혹은 다차원 데이터의 구조를 표현할 수 있는 다변량분석결과의 한 형태와 비선형 기계학습방식인 딥러닝의 적절한 결합을 활용한 비지도학습이 타당하다는 것을 도출하였다.

설비 데이터의 다변량 시계열 데이터를 다룰 때에, 다변량 데이터의 구조적 분포에 따라 이상감지가 가능하며, 선형조합을 통해 해석가능한 방식의 다변량 분석의 경우, 각 센서데이터의 변화정도를 추적하여 설비운영의 패턴을 감지하며, 작업자가 센서에 관련된 특정 물리량에 대해 미리 대처할 수 있도록 도움을 줄 수 있다.

본 발명은, 데이터를 조합하여 다 변량 시계열 데이터 (Multivariate Time-series Data)로 변형하고, 비정상적(non-stationary) 시계열 자료를 정상적(stationary) 시계열 자료로 변환한다.

그리하여, 데이터의 평균과 분산, 그리고 자기상관성을 시간의 흐름에 상관없이 일정하게 한다.

두번째로, 슬라이딩 윈도우(sliding-window) 기법을 사용하여 다른 크기의 윈도우를 일정 간격으로 이동시켜, 그 윈도우 안에 잡히는 다변량 데이터들의 구조적 관계 혹은 상관관계에 관한 지표를 각각 형성한 후 분석하여 행렬을 생성한다.

이때, 상기 다변량 분석 및 행렬 생성단계에서는, 상관관계 행렬, 공분산 행렬, 정준상관분석중 선택되는 어느 하나의 방법이 활용되고, 차원축소에 관하여서는, 주성분분석(PCA), t-SNE, 그리고 UMAP (2차원으로 축소)등이 선택될 수 있으며, 입력값은, 행렬 값 혹은 2차원 데이터로 구성된 각각의 윈도우에 해당되는 이미지 데이터로 구성된다.

이어서, 상기 데이터를 신경망을 통하여 이미지 처리를 한다.

<다변량 분석및 차원축소>

다변량 분석에는 여러 분석 방법이 있으나, 대표적으로 이용될 수 있는 예를 살펴보고자 한다.

첫번째로, 가장 기본이 되는 것은 산점도(scatter plot)를 이용하는 방식이다.

즉, 직교 좌표계를 이용하여 두개의 변수간의 관계를 나타내는 방법이다.

이것은, 어떠한 선형 관계성을 나타내는 수치가 아닌 두 변수들의 변화량을 있는 그대로 보여주기 때문에 비선형 관계에 있는 변수들의 관계에 대해서도 그대로 표현이 된다.

두번째로는, 상관관계도를 이용하는 방식이다.

이는, 변수 간의 상관관계와 공분산을 활용하여 각각의 변수에 대한 통계치를 요약하는 방식이다.

다만, 선형관계성을 통하여 수치로 표현함으로 비선형을띈 관계성에 대해서는 명확하게 표현되지 않을 수 있다.

그리고, 변수들의 군집간 선형 상관 관계를 파악하고자 하는 경우라면, 정준상관분석(Canonical correlation Analysis)를 이용할 수 있다.

예를 들어, 하나의 설비 안에서 두 종류의 센서가 여러 개 달려있는 경우라 가정했을 때, A센서들과 B센서들의 변수들을 측정하고, 이들 사이의 연관성을 보되 선형결합들 사이의 상관관계가 최대가 되도록 가중치가 조절되어 결정되는 방식이다.

다음은, 고차원의 데이터의 차원 축소하는 방법들을 제시하고자 한다.

그중 첫째로, 그 외에 여러 양적변수들 사이에 분산-공분산 관계를 이용하여 선형결합으로 표시되는주성분을 찾아내는 주성분 분석 방식 (Principle Component Analysis)이 있다.

이는 데이터 분산이 가장 큰 순으로 새로운 독립적인 축을 형성하여 그새로운 공간에 기존 데이터를 투영하는 방식이다.

선형 결합이기 때문에,비선형의 관계성을 띤 데이터의 경우, 적은 차원에서원본 데이터를 잘 설명하지 못하는 경우가 있는데, 그럴 경우에 커널 주성분 분석 (Kernel PCA)등을 사용할 수 있으며, 이 방식은 해석 가능(Interpretable)하다.

그 외에, t-SNE (t-distributed Stochastic Neighbor Embedding) 방식과 UMAP (Uniform Maniford Approximation and Projection)을 이용하여 축소할 수 있다.

두 방식 모두 거리를 통한 유사성 지표를 사용하여 고차원에서의 데이터의 밀집정도를 저차원에서 표현하는 방식이다.

다만, t-SNE는 시각화표현에 주로 사용이 되며, 연산 시 많은 메모리가 소모되는 반면, UMAP의 방식이 빠른 연산이 가능하며, 고차원과 저차원에서의 데이터 전역 분포를 상대적으로 잘 표현하는 것으로 알려져 좀더 선호된다.

이러한 차원축소 방식을 이용하여, 고차원 이상의 시각화가 어려운 데이터들을 원본 데이터의 관계성을 잘 표현하는 방식으로 축소 및 이미지화 하여 사용할 수 있다.

이러한 이미지들을 인공신경망의 입력 값으로 활용하여 이상감지에 더욱 다양하게 사용되도록 할 수 있다.

상기 신경망은 제1신경망들의 조합과 제2신경망들의 조합으로 이루어진다.

이때, 상기 제1신경망들의 조합에는, 이미지 데이터를 처리할 2D 합성곱 신경망 (2D-CNN)을 기본으로, 순환 신경망중합성곱처리를 하여 이미지 입력을 가능케 하는 ConvLSTM(Convolutional Long Short-Term Memory models), 시간의 흐름에따른 상관관계 행렬에서 더욱 집중해야 할 윈도우의 가중치 정보를 적용한 어텐션 메커니즘(Attention Mechanism)중 적어도 하나 포함한다.

그리고, 상기 제2신경망들에서는, 2D역합성곱신경망을 통해 (2D-Deconvolutional network) 이미지를 복원하며, 각 레이어 마다 어텐션 메커니즘의 결과와 결합하여 최종 결과를 도출한다.

또한, 상기 제1, 2신경망은, 전 과정을 통하여 차원을 축소하여 특징값을 추출해 내고 이후 복원하여, 입력값과 복원값의 차이가 감소하는 방향으로 학습을 하는 오토인코더(Autoencoder)방식이 적용되고, 상기 제1,2 신경망은, 이미지 처리과정을 2D합성곱이 아닌 3D합성곱으로 변형이 가능한 것을 사용한다.

<오토인코더>

이상감지 비지도 학습의 대표적인 딥러닝 방법 중 하나로 오토인코더(Autoencoder)를 사용한다.

이 방식은 입력 값을 잘 대표하는 특징 값 추출(Feature Extraction)을 시행하는 기계학습 모델이다.

이 모델에서는 입력 값과출략값이 같아지도록 학습하며, 자기복제 모델이라고도 볼 수 있는데, 훈련 과정에서 높은 차원의 입력 값을 낮은 차원의 데이터로 축소하고, 축소된 정보를 다시 원래의 차원으로 복원하는 일련의 과정을 거친다.

그리고, 이 축소된 정보는 새로운 데이터를 추론하는데 사용될 수 있다.

하지만, 도2 및 도3과 같이 오토인코더 자체만으로는 유입되는 데이터의 흐름에대한 정보,혹은 과거에 일어난 사건을 바탕으로 나중 사건에 대한 이해를 포함할 수 없으므로 순환신경망 모델 (Recurrent neural network model)중 오래 시간 격차가 있는 정보도 잘 기억해내는 LSTM 모델의 도입을 하여 데이터가 들어오되, 긴 흐름을 인지할 수 있는 모델을 구성한다.

또한, 어텐션 메커니즘을 이용하여, 매 시점(time step)마다 배치의 데이터 전체를 확인하고, 더 집중해야 할 시점의 입력 값에 가중치를 좀더 부여함으로,좀 더 흐름에 대한 정보의 손실을 줄일 수 있다.

만약, 입력 값이이미지일 경우 (산점도,상관관계 행렬 및 2차원으로 차원 축소된 데이터 이미지), 합성곱신경망을 이용하여 한층 더 세밀한 이상감지가 가능하다.

합성곱 신경망층을 통하여 이미지와 필터(가중치 파라미터)의 합성곱을 통하여 필요한 특성맵(feature map)을 추출한 이후 다음 층으로 전달한다.

이를 통하여, 단순한 오토인코더가, 합성곱오토인코더(CNN autoencoder) 그리고 단순 LSTM이 CNN-LSTM로 사용될 수 있다.

이에 대한 예시 그림은 도3에서 찾아볼 수 있다.

Claims (5)

1. 실시간 이산형 데이터를 일정량 수신 단계;
   상기 이산형 데이터를 시계열 데이터로 변환 이후, 슬라이딩 윈도우 기법을 이용하여 각 윈도우당 구간별 다변량 분석 및 행렬 생성하는 단계;
   각 행렬을 제1신경망들에 입력하여 특징값을 추출하는 단계;
   특정값을 제2신경망을 통하여 다시 복원하는 단계;
   상기 특징값에 기초하여 새로운 데이터를 추론한 후 이상 스코어를 출력하는 단계를 포함하는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템.
2. 제1항에 있어서, 상기 다변량 분석 및 행렬 생성단계에서는, 상관관계 행렬, 공분산 행렬, 정준상관분석중 선택되는 어느 하나의 방법이 활용되고,
   차원축소에 관하여서는, 주성분분석(PCA), t-SNE, 그리고 UMAP (2차원으로 축소)등이 선택될 수 있으며,
   입력값은, 행렬 값 혹은 2차원 데이터로 구성된 각각의 윈도우에 해당되는 이미지 데이터로 구성되는 것을 특징으로 하는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템.
3. 제1항에 있어서, 상기 제1신경망들의 조합에는, 이미지 데이터를 처리할 2D 합성곱 신경망 (2D-CNN)을 기본으로, 순환 신경망중합성곱처리를 하여 이미지 입력을 가능케 하는 ConvLSTM(Convolutional Long Short-Term Memory models),
   시간의 흐름에따른 상관관계 행렬에서 더욱 집중해야 할 윈도우의 가중치 정보를 적용한 어텐션 메커니즘(Attention Mechanism)중 적어도 하나 포함하는 것을 특징으로 하는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템.
4. 제1항에 있어서, 상기 제2신경망에서는, 2D역합성곱신경망을 통해 (2D-Deconvolutional network) 이미지를 복원하며, 각 레이어 마다 어텐션 메커니즘의 결과와 결합하여 최종 결과를 도출하는 것을 특징으로 하는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템.
5. 제1항에 있어서, 상기 제1, 2신경망은, 전 과정을 통하여 차원을 축소하여 특징값을 추출해 내고 이후 복원하여, 입력값과 복원값의 차이가 감소하는 방향으로 학습을 하는 오토인코더(Autoencoder)방식이 적용되고,
   상기 제1,2 신경망은, 이미지 처리과정을 2D합성곱이 아닌 3D합성곱으로 변형이 가능한 것을 특징으로 하는 슬라이딩 윈도우 기법을 이용한 제조설비의 실시간 다변량 이상감지 시스템.

Images