KR102469871B1 - 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치 - Google Patents

반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치 Download PDF

Info

Publication number
KR102469871B1
KR102469871B1 KR1020220015812A KR20220015812A KR102469871B1 KR 102469871 B1 KR102469871 B1 KR 102469871B1 KR 1020220015812 A KR1020220015812 A KR 1020220015812A KR 20220015812 A KR20220015812 A KR 20220015812A KR 102469871 B1 KR102469871 B1 KR 102469871B1
Authority
KR
South Korea
Prior art keywords
data
autoencoder
abnormality determination
abnormal
abnormality
Prior art date
Application number
KR1020220015812A
Other languages
English (en)
Inventor
서대호
Original Assignee
주식회사 엘에스델
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘에스델 filed Critical 주식회사 엘에스델
Priority to KR1020220015812A priority Critical patent/KR102469871B1/ko
Application granted granted Critical
Publication of KR102469871B1 publication Critical patent/KR102469871B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치에 관한 것이다. 상기 이상 탐지 장치는, 서로 다른 복수의 센서로부터 상기 검사 대상 장비에 대한 서로 다른 센싱 데이터를 수신하는 데이터 수신부, 각각의 상기 센서에 대한 동작 데이터셋을 포함하는 데이터베이스부, 상기 복수의 센서에 각각 대응되는 복수의 오토인코더를 포함하는 학습부, 상기 복수의 오토인코더에 각각 대응되는 복수의 이상판별모듈을 포함하는 파라미터 이상 판별부, 및 상기 복수의 이상판별모듈에서 출력된 각각의 이상여부 판단결과를 수신하고, 이를 기초로 상기 검사 대상 장비에 대한 최종이상유무를 판단하는 장비 이상 판별부를 포함하되, 상기 파라미터 이상 판별부는, 서로 다른 전처리 과정을 통해 수신된 입력 데이터를 기초로 상기 복수의 이상판별모듈에 대해 각각 머신러닝을 수행하고, 이를 통해 상기 서로 다른 복수의 센서에 대한 각각의 상기 이상여부 판단결과를 출력하는 것을 포함한다.

Description

반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치{Abnormal detection device for mechanical equipment with repetitive cycles}
본 발명은 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치에 관한 것이다. 구체적으로, 본 발명은 복수의 센서에서 측정된 데이터를 기초로 미리 학습된 복수의 딥러닝 모듈을 이용하여 도출된 복수의 이상동작 판단결과를 종합적으로 고려함으로써, 기계장비의 이상동작 판단의 정확도를 높일 수 있는 이상 탐지 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
반도체 등과 같은 초 기술 집약적 상품은 기계장치의 미세한 오작동에 의해서도 완제품의 품질이 굉장히 저하될 수 있다. 다만, 사람의 눈으로 기계장치의 오작동을 계속해서 감시하는 것은 실질적으로 어려우므로, 각종 센서를 활용하여 기계장치에 대한 이상탐지를 수행하고 있다. 이상탐지에는 진동센서, 음향센서, 모션센서 등 복수의 센서에서 감지된 센싱 데이터가 이용될 수 있다.
최근에는 AI 및 머신러닝 기술을 이용하여 실시간으로 기계장치의 이상탐지를 수행할 수 있는 기술들이 개발 중에 있다. 이때, 이상탐지는 새로운 현상 발견과 밀접한 관련이 있다. 즉, 머신러닝 모듈에서 정상 패턴을 학습 후, 정상이 아닌 새로운 패턴이 보였을 때 이상동작으로 판단하는 것이다.
이러한, 머신러닝은 크게 지도학습과 비지도학습으로 나뉘는데, 정답 레이블(label)을 학습셋에 포함시켜 제공해주는 지도학습의 성능이 훨씬 뛰어나다고 알려져 있다. 다만, 지도학습을 위해서는 정답 레이블이 이미 포함된 학습 데이터셋을 사전에 준비하여야 하는데, 일반적으로 이러한 학습 데이터셋을 준비하는 것은 쉽지 않다. 특히, 이상탐지 알고리즘의 경우 정상/비정상 학습 데이터셋 모두를 준비해야 하는데, 비정상 학습 데이터셋의 경우 기계장치를 일부러 오작동을 일으켜야 하기에 준비하기 더욱 어려운 문제가 있다.
또한, 기계장치의 이상동작 여부를 탐지하는 경우, 이상여부만을 감지하는 경우가 대부분이나, 다양한 부품으로 연결된 로봇기계의 경우 작업자가 일일이 이상여부를 하나씩 검사하기가 쉽지 않기에, 이상여부 뿐만 아니라 이상부위까지 함께 판단하는 기능에 대한 니즈가 존재하였다.
한편, 이상 탐지 장치는 복수의 센싱 데이터마다 미리 학습된 복수의 머신러닝 모듈을 이용할 수 있다. 다만, 특정 머신러닝 모듈은 기계장치 및 환경변화에 따라 민감하게 동작할 수 있으며, 복수의 머신러닝 모듈들이 동일한 검사 대상 장비에 대해 서로 다른 이상여부판단의 결과를 출력할 수 있다.
따라서, 복수의 센서에 대한 머신러닝 모듈의 판단결과를 종합하여 최종적으로 이상여부판단을 도출하되, 이에 대한 정확도를 높일 수 있는 로직에 대한 니즈가 증가되었다.
본 발명의 목적은, 특정 검사 대상 장비에 설치된 복수의 센서에서 출력된 센싱 데이터를 기초로 미리 학습된 복수의 머신러닝 모듈을 이용하여 이상여부를 판단하되, 복수의 이상여부 판단결과에 가중치를 적용함으로써 검사 대상 장비의 최종 이상여부 판단에 대한 정확도를 높일 수 있는 이상 탐지 장치를 제공하는 것이다.
또한, 본 발명의 목적은, 이상동작에 관한 데이터셋을 자동으로 생성하여 저장하고, 이를 이용하여 이상 판별부를 학습시킴으로써, 검사 대상 장비에 대한 이상유무의 판단의 정확도를 향상시킬 수 있는 이상 탐지 장치를 제공하는 것이다.
또한, 본 발명의 목적은, 검사 대상 장비의 이상여부 뿐만 아니라 이상부위까지 함께 판단할 수 있는 이상 탐지 장치를 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 몇몇 실시예에 따른 이상 탐지 장치는, 서로 다른 복수의 센서로부터 상기 검사 대상 장비에 대한 서로 다른 센싱 데이터를 수신하는 데이터 수신부, 각각의 상기 센서에 대한 동작 데이터셋을 포함하는 데이터베이스부, 상기 복수의 센서에 각각 대응되는 복수의 오토인코더를 포함하는 학습부, 상기 복수의 오토인코더에 각각 대응되는 복수의 이상판별모듈을 포함하는 파라미터 이상 판별부, 및 상기 복수의 이상판별모듈에서 출력된 각각의 이상여부 판단결과를 수신하고, 이를 기초로 상기 검사 대상 장비에 대한 최종이상유무를 판단하는 장비 이상 판별부를 포함하되, 상기 파라미터 이상 판별부는, 서로 다른 전처리 과정을 통해 수신된 입력 데이터를 기초로 상기 복수의 이상판별모듈에 대해 각각 머신러닝을 수행하고, 이를 통해 상기 서로 다른 복수의 센서에 대한 각각의 상기 이상여부 판단결과를 출력하는 것을 포함한다.
또한, 상기 장비 이상 판별부는, 결정트리모델을 이용하여, 상기 복수의 이상판별모듈에 대한 각각의 중요도를 산출하고, 이를 기초로 상기 최종이상유무를 판단하는 것을 포함할 수 있다.
또한, 상기 장비 이상 판별부는, 상기 제1 이상판별모듈에서 출력된 제1 이상동작여부에 대한 값에 상기 결정트리모델을 이용하여 도출된 제1 센서에 대한 제1 중요도를 적용하고, 상기 제2 이상판별모듈에서 출력된 제2 이상동작여부에 대한 값에 상기 결정트리모델을 이용하여 도출된 제2 센서에 대한 제2 중요도를 적용하고, 상기 제3 이상판별모듈에서 출력된 제3 이상동작여부에 대한 값에 상기 결정트리모델을 이용하여 도출된 제3 센서에 대한 제3 중요도를 적용하고, 상기 제1 내지 제3 중요도를 이용하여 도출된 총합이, 미리 정해진 기준치를 초과하는지 여부를 기초로 상기 최종이상유무를 판단하는 것을 포함할 수 있다.
또한, 상기 복수의 센서부는, 상기 검사 대상 장비에 대한 진동을 감지하는 제1 센서와, 상기 검사 대상 장비의 소리를 감지하는 제2 센서와, 상기 검사 대상 장비의 동작 모션을 감지하는 제3 센서를 포함하고, 상기 복수의 이상판별모듈은, 상기 제1 내지 제3 센서에 일대일 매칭되는 제1 내지 제3 이상판별모듈을 포함하되, 상기 제1 이상판별모듈 및 제2 이상판별모듈은, 대응되는 오토인코더의 입출력 데이터의 차이값과 미리 정해진 기준치를 비교함으로써 상기 검사 대상 장비의 이상여부를 판단하고, 상기 제3 이상판별모듈은, 정상동작 데이터셋 및 이상동작 데이터셋을 이용하여 학습된 뉴럴 네트워크를 이용하여, 상기 검사 대상 장비의 이상여부를 판단할 수 있다.
또한, 상기 학습부는, 정상 동작으로 판별된 상기 검사 대상 장비의 진동 센싱 데이터로 구성된 제1 정상동작 데이터셋을 이용하여 제1 오토인코더의 비지도 학습을 수행하고, 상기 제1 이상판별모듈은, 상기 제1 센서부에서 감지된 진동 센싱 데이터와, 상기 진동 센싱 데이터를 입력으로 상기 제1 오토인코더에서 출력된 제1 복원 데이터를 수신하고, 상기 진동 센싱 데이터와 상기 제1 복원 데이터의 차이값을 도출하고, 상기 차이값을 미리 정해진 제1 기준치와 비교함으로써 도출된 제1 이상동작여부를 출력할 수 있다.
또한, 상기 제2 이상판별모듈은, 상기 제2 센서부에서 감지된 음향 센싱 데이터를 노이즈 제거 모듈에 인가하여 노이즈가 제거된 측정 센싱 데이터와, 상기 측정 센싱 데이터를 입력으로 상기 제2 오토인코더에서 출력된 제2 복원 데이터를 수신하고, 상기 측정 센싱 데이터와 상기 제2 복원 데이터의 차이값을 도출하고, 상기 차이값을 미리 정해진 제2 기준치와 비교함으로써 도출된 제2 이상동작여부를 출력할 수 있다.
또한, 상기 노이즈 제거 모듈은, 학습 노이즈 데이터 및 학습 정상 음향 데이터를 이용하여, 제1 학습 이미지 데이터를 생성하고, 상기 제1 학습 이미지 데이터를 2차원 오토인코더의 입력으로 인가하고, 상기 학습 정상 음향 데이터를 이용하여 생성된 제2 학습 이미지 데이터를 상기 2차원 오토인코더의 출력으로 인가함으로써, 지도학습을 통해 상기 2차원 오토인코더를 학습시키고, 학습된 상기 2차원 오토인코더를 이용하여, 상기 제2 센서부에서 감지된 음향 센싱 데이터에서 노이즈가 제거된 상기 측정 음향 데이터를 생성하는 것을 포함할 수 있다.
또한, 상기 제3 이상판별모듈은, 서로 다른 제3a 오토인코더 및 제3b 오토인코더를 이용하여 미리 학습된 상기 뉴럴 네트워크를 이용하여 제3 이상동작여부를 출력하되, 상기 제3a 오토인코더는, 정상동작 데이터셋을 기초로 미리 학습되고, 상기 제3b 오토인코더는, 상기 정상동작 데이터셋을 기초로 미리 학습되되, 상기 제3a 오토인코더보다 적은 횟수로 학습될 수 있다.
또한, 상기 학습부는, 상기 정상동작 데이터셋에 포함된 정상동작 이미지와, 상기 정상동작 이미지를 상기 제3a 오토인코더에 인가하여 출력된 제1 정상변환 이미지를 상기 제3 이상판별모듈의 입력 노드에 인가하고, 상기 상기 제3 이상판별모듈의 출력 노드에 정상을 나타내는 값을 인가하여, 상기 제3 이상판별모듈을 지도학습시키는 (a) 단계와, 상기 정상동작 이미지를 상기 제3b 오토인코더에 인가하여 출력된 제2 정상변환 이미지와, 상기 이상동작 데이터셋에 포함된 이상동작 이미지를 상기 제3 이상판별모듈의 입력 노드에 인가하고, 상기 제3 이상판별모듈의 출력 노드에 비정상을 나타내는 값을 인가하여, 상기 제3 이상판별모듈을 지도학습시키는 (b) 단계를 수행할 수 있다.
또한, 상기 이상동작 데이터셋을 생성하는 이상 데이터 생성부를 더 포함하되, 상기 이상 데이터 생성부는, 임의의 제1 랜덤 이미지를 상기 제3b 오토인코더에 인가하여 출력된 제1 변환 이미지와, 임의의 제2 랜덤 이미지를 상기 제3b 오토인코더에 인가하여 출력된 제2 변환 이미지를 합성하여 중간 이미지를 생성하고, 생성된 상기 중간 이미지를 상기 제3a 오토인코더에 인가하여 출력된 이상동작 이미지를 상기 이상동작 데이터셋에 저장하는 것을 포함할 수 있다.
본 발명의 다중 센서 기반의 이상 탐지 장치는, 각각의 센서에서 출력된 센싱 데이터를 기초로 미리 학습된 복수의 머신러닝 모듈의 판단결과를 이용하되, 복수의 머신러닝 모듈의 판단결과를 종합적으로 반영하여 검사 대상 장비의 이상동작여부를 판단하므로, 이상동작 판단에 대한 정확도를 높일 수 있다.
또한, 본 발명은, 검사 대상 장비의 특성과 환경에 따라, 복수의 센서에 대해 변화되는 민감도를 고려하여 각 센서의 판단결과에 가중치를 부여하고, 이를 기초로 최종이상유무 판단을 도출함으로써, 보다 정확한 이상동작 판단을 수행할 수 있다.
또한, 본 발명은, 이상동작에 관한 데이터셋을 자동으로 생성하고, 이를 이용하여 이상 판별부를 학습시킴으로써, 충분한 이상동작 데이터를 확보할 수 있어 검사 대상 장비에 대한 이상여부 판단의 정확도를 향상시킬 수 있다. 또한, 본 발명은 이상동작에 관한 데이터셋을 확보하는 어려움을 감소시키고, 이상동작 패턴의 다양성을 확보함으로써, 사용자가 예상하지 못한 경우에 대한 이상동작 여부 판단도 가능할 수 있어, 이상탐지성능의 향상과, 제품 수율 및 기업의 이익을 극대화시킬 수 있는 효과를 나타낸다.
또한, 본 발명은, 검사 대상 장비의 이상여부 뿐만 아니라 이상부위까지 함께 판단할 수 있으므로, 검사 대상 장비에 대한 빠른 수리 및 유지보수가 가능하다. 따라서, 본 발명은 기계장비 유지보수에 필요한 리소스를 최소화할 수 있으며, 제품생산라인이 기계 오작동으로 인하여 중단됨에 따라 발생할 수 있는 손해를 최소화할 수 있다.
또한, 본 발명은, 최종이상유무에 대한 판단결과와 검사 대상 장비의 실제이상유무를 비교하여 지속적으로 머신러닝 모델을 학습시키고, 각 센서에 대한 가중치를 조절함으로써, 데이터가 쌓일수록 더 정확한 판단결과를 도출할 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 몇몇 실시예에 따른 이상 탐지 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 이상 탐지 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 몇몇 실시예들에 따른 이상 탐지 장치의 데이터 흐름을 설명하기 위한 블럭도이다.
도 4는 도 3의 진동 센서에 대한 제1 이상동작 탐지모델의 데이터 흐름을 나타내는 블록도이다.
도 5 및 도 6은 도 4의 오토인코더의 몇몇 예시를 나타내는 블록도이다.
도 7은 도 4의 제1 이상동작 탐지모델의 동작 방법을 설명하기 위한 순서도이다.
도 8은 도 3의 음향 센서에 대한 제2 이상동작 탐지모델의 데이터 흐름을 나타내는 블록도이다.
도 9는 도 8의 노이즈 제거 모듈의 구성 및 동작 방법을 설명하기 위한 블록도이다.
도 10은 도 8의 제2 이상동작 탐지모델의 동작 방법을 설명하기 위한 순서도이다.
도 11은 도 3의 모션 센서에 대한 제3 이상동작 탐지모델의 데이터 흐름을 나타내는 블록도이다.
도 12는 도 11의 제3 이상판별모듈을 나타내는 블록도이다.
도 13 및 도 14는 학습 데이터셋을 이용하여 제3 이상판별모듈을 학습시키는 동작을 설명하기 위한 도면이다.
도 15는 도 12의 이상 데이터 생성부에서 이상동작 데이터셋을 생성하는 동작을 설명하기 위한 블록도이다.
도 16은 이상 탐지 장치에서 동작시 발생되는 데이터의 예시를 나타내는 도면이다.
도 17은 본 발명의 일 실시예에 따른 제3 이상동작 탐지모델에서 이상여부판단을 위한 동작을 설명하기 위한 블럭도이다.
도 18은 본 발명의 다른 실시예에 따른 제3 이상동작 탐지모델에서 이상여부판단을 위한 동작을 설명하기 위한 블럭도이다.
도 19는 도 12의 제3 이상동작 탐지모델의 동작 방법을 설명하기 위한 순서도이다.
도 20은 도 3의 장비 이상 판별부의 구성을 나타내는 도면이다.
도 21은 도 20의 장비 이상 판별부가 이용하는 결정트리 모델의 예시를 나타내는 도면이다.
도 22는 본 발명의 몇몇 실시예에 따른 장비 이상 판별부의 동작 방법을 설명하기 위한 순서도이다.
도 23은 본 발명의 몇몇 실시예에 따른 이상 탐지 방법을 수행하는 시스템의 하드웨어 구현을 설명하기 위한 도면이다.
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
머신러닝(Machine Learning)은 AI의 한 분야로 데이터를 바탕으로 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야이며, 데이터 처리, 영상 인식, 음성 인식, 인터넷 검색 등의 다양한 분야의 핵심 기술로 예측(prediction) 및 이상 탐지(Anomaly Detection)에 탁월한 성과를 나타낸다.
이 중에서, 이상 탐지란, 데이터에서 예상과는 다른 패턴을 보이는 개체 또는 데이터를 찾는 것을 말하는 것을 의미하며, 머신러닝 기반의 이상 탐지 모델은 실제 데이터와 예측 데이터의 차이를 계산하고, 차이가 임계값 이상인 경우 이상이 있는 데이터로 판단할 수 있다.
인공신경망이 다양한 분야에서 우수한 성능을 보임에 따라, 공장에서 사용되는 여러 장비들에 대한 이상탐지방법에서 대해서도 점차 인공신경망을 이용하는 연구가 이루어지고 있다. 해당 연구가 이루어지는 한 분야로 오토인코더(autoencoder)를 이용한 방식이 있다.
오토인코더는 입력단의 데이터를 더 적은 차원의 매니폴드(manifold) 공간으로 매핑하는 동작을 수행한다. 이와 같은 매핑 동작을 통해 도출된 잠재 벡터(latent vector)와, 오토인코더의 입력 데이터 및 출력 데이터의 차이값인 재구성 오류(Reconstruction Error)는 파생변수로써 이상 탐지의 정확도를 높이는 데 활용될 수 있다.
이하에서, 도 1 내지 도 23을 참조하여 본 발명의 몇몇 실시예에 따른 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치에 대해 살펴보도록 한다.
도 1은 본 발명의 몇몇 실시예에 따른 이상 탐지 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 이상 탐지 시스템은, 이상 탐지 장치(100), 복수의 센서(200), 및 검사 대상 장비(300)을 포함할 수 있다.
검사 대상 장비(300)는 정상 상태일 때 일정한 패턴 및/또는 주기를 갖는 동작을 반복적으로 수행하는 장비일 수 있다. 예를 들어, 검사 대상 장비(300)는 반도체 제조 공정에서 특정 공정에 이용되는 반도체 제조 장비일 수 있다. 다만, 본 발명이 이에 제한되는 것은 아니다.
센서(200)는 검사 대상 장비(300)에 대한 다양한 데이터를 수집한다. 예를 들어, 센서(200)는 검사 대상 장비(300)의 진동을 측정하기 위한 진동 센서(210), 검사 대상 장비(300)에서 발생하는 소리를 측정하기 위한 음향 센서(220), 검사 대상 장비(300)의 동작에 관한 이미지(image) 또는 움직이는 영상(video)을 촬영하기 위한 모션 센서(230) 등을 포함할 수 있다. 다만, 이는 예시일 뿐 본 발명에서 이용 가능한 센서가 이에 한정되는 것은 아니다.
센서(200)는 검사 대상 장비(300)의 여러 부위에 설치될 수 있으며 동일한 센서가 검사 대상 장비(300)의 서로 다른 위치에 설치되어 이용될 수 있다. 또한, 센서(200)는 검사 대상 장비(300)에 이격되어 설치될 수 있음은 물론이다.
이상 탐지 장치(100)는 센서(200)로부터 수신한 검사 대상 장비(300)의 여러 센싱 데이터를 수신하고, 수신된 센싱 데이터를 기초로 검사 대상 장비(300)의 이상동작 여부를 판단할 수 있다.
즉, 이상 탐지 장치(100)는 복수의 센서(210, 220, 230)로부터 서로 다른 종류의 센싱 데이터를 수신할 수 있고, 각각의 센싱 데이터(예를 들어, 진동 센싱 데이터, 음향 센싱 데이터, 동작 이미지)를 기초로 이상 탐지 장치(100)의 이상여부를 판단할 수 있다. 또한, 이상 탐지 장치(100)는 각각의 센싱 데이터마다 서로 다른 이상동작 탐지모델(예를 들어, 도 3의 M1, M2, M3)을 이용하여 검사 대상 장비(300)의 이상여부를 판단할 수 있다.
이상 탐지 장치(100)는 서로 다른 이상동작 탐지모델 별로 서로 다른 이상동작여부에 대한 판단결과(이하, 이상여부 판단결과)를 수신할 수 있는데, 이상 탐지 장치(100)는 수신된 복수의 이상여부 판단결과를 기초로 검사 대상 장비(300)의 최종이상유무를 판단할 수 있다. 이를 위해, 이상 탐지 장치(100)는 각각의 센싱 데이터를 수신한 복수의 센서에 대해 결정트리 모델을 이용하여 각각의 중요도를 산출하고, 산출된 중요도를 센서별 이상여부 판단결과에 적용함으로써, 검사 대상 장비(300)의 최종이상유무를 판단할 수 있다.
또한, 이상 탐지 장치(100)는 판단된 최종이상유무와 검사 대상 장비(300)의 실제이상유무를 기초로 이상동작 탐지모델을 업데이트 할 수 있으며, 이를 통해 검사 대상 장비(300)의 이상동작여부에 대한 판단의 정확성을 높일 수 있다.
이러한 이상 탐지 장치(100)의 구조 및 동작 방법에 대한 자세한 설명은 이하에서 후술하도록 한다.
한편, 통신망(400)은 이상 탐지 장치(100) 및 센서(200)를 연결하는 역할을 수행한다. 즉, 통신망(400)은 이상 탐지 장치(100)가 센서(200)로부터 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망(400)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 2는 도 1의 이상 탐지 장치를 설명하기 위한 도면이다. 도 3은 본 발명의 몇몇 실시예들에 따른 이상 탐지 장치의 데이터 흐름을 설명하기 위한 블럭도이다.
도 2 및 도 3을 참조하면, 이상 탐지 장치(100)는 데이터 수신부(110), 데이터베이스부(120), 이상 데이터 생성부(125), 학습부(130), 파라미터 이상 판별부(140), 장비 이상 판별부(150), 및 제어부(160)를 포함할 수 있다.
구체적으로, 데이터 수신부(110)는 복수의 센서(210, 220, 230)로부터 검사 대상 장비(300)에 대한 여러 종류의 센싱 데이터를 수신하고, 수신된 센싱 데이터를 이상 탐지 장치(100) 내의 다른 구성요소에 전달할 수 있다. 데이터 수신부(110)는 다양한 통신 모듈이 이용될 수 있으며, 통신망(400)을 통해 외부 장비와 이상 탐지 장치(100) 사이의 데이터 교환을 수행할 수 있다.
데이터베이스부(120)는 이상 탐지 장치(100)의 적어도 하나의 구성요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다.
또한, 데이터베이스부(120)는 검사 대상 장비(300)에 대한 여러 종류의 센싱 데이터를 저장하고 관리할 수 있다. 예를 들어, 데이터베이스부(120)는 검사 대상 장비(300)에 대한 각각의 센싱 데이터에 대한 정상동작에 관한 데이터(이하, 정상동작 데이터)들을 포함하는 정상동작 데이터셋과, 이상동작에 관한 데이터(이하, 이상동작 데이터)들로 구성된 이상동작 데이터셋을 저장 관리할 수 있다.
이때, 정상동작 데이터셋은 검사 대상 장비(300)의 센싱 데이터에 정상동작에 관한 레이블(label)이 함께 포함될 수 있으며, 이상동작 데이터셋은 검사 대상 장비(300)의 센싱 데이터에 이상동작에 관한 레이블(label)이 함께 포함될 수 있다. 즉, 데이터베이스부(120)에 저장된 동작 데이터셋에는, 검사 대상 장비(300)의 정상 동작 여부에 대한 레이블이 센싱 데이터와 함께 포함될 수 있다. 또한, 데이터베이스부(120)에는 새로이 수신된 센싱 데이터와 이에 대한 이상여부 판단결과, 최종이상유무, 및 실제이상유무에 대한 데이터가 업데이트 되어 저장될 수 있다.
이상 데이터 생성부(125)는 데이터베이스부(120)에 저장된 센싱 데이터를 포함하는 동작 데이터셋을 기초로 이상동작 데이터셋을 생성할 수 있다. 이때, 이상 데이터 생성부(125)는 학습부(130)에 포함된 제3 오토인코더(135)(즉, 제3a 오토인코더(135a) 및 제3b 오토인코더(135b))를 이용하여 이상동작 데이터셋을 생성할 수 있다. 이상동작 데이터셋을 생성하기 위한 구체적인 이상 데이터 생성부(125)의 동작에 대한 설명은 도 11을 참조하여 후술하도록 한다. 이상 데이터 생성부(125)에서 생성된 이상동작 데이터셋은 데이터베이스부(120)에 저장되어, 제3 이상판별모듈(145)를 학습시키는데 이용될 수 있다.
학습부(130)는 파라미터 이상 판별부(140)가 정확한 이상동작여부를 판단할 수 있도록 오토인코더 및 이상판별모듈을 학습시키는 역할을 수행한다.
여기에서, 오토인코더는 인코더를 통해 입력 받은 데이터(즉, 입력 데이터)를 압축시켜 데이터를 축소시킨 후, 디코더를 이용하여 축소된 데이터를 인코더에서 입력 데이터와 동일한 크기로 변환하여 출력함으로써, 오토인코더의 출력 데이터를 입력 데이터와 동일하도록 만드는 일종의 딥 뉴럴 네트워크 모델(Deep Neural Network Model)이다. 오토인코더는 입력 데이터의 특징을 비지도(unsupervised) 방식으로 학습한다. 이를 위해, 오토인코더는 인코더를 통해 입력 받은 데이터를, 해당 특징을 잘 표현하는 저차원의 데이터로 변환하고, 변환된 데이터는 이후 디코더를 통해 다시 원 데이터로 복원될 수 있다. 오토인코더에 대한 자세한 설명은 도 5 및 도 6을 참조하여 아래에서 자세히 설명하도록 한다.
오토인코더는 센싱 데이터의 종류별로 존재할 수 있으며, 학습부(130)는 검사 대상 장비(300)의 센싱 데이터들을 이용하여 오토인코더를 학습시킬 수 있다. 즉, 오토인코더는 센싱 데이터의 종류별로 복수 개가 존재할 수 있다. 예를 들어, 데이터 수신부(110)가 복수의 센서(210, 220, 230)로부터 각각 센싱 데이터를 수신하는 경우, 학습부(130)는 제1 내지 제3 오토인코더(131, 132, 133)를 서로 다른 종류의 센싱 데이터를 이용하여 학습시킬 수 있다.
또한, 미리 학습된 오토인코더는 검사 대상 장비(300)의 센서로부터 수신된 새로운 센싱 데이터를 입력받고, 이에 대한 복원 데이터를 출력할 수 있다. 파라미터 이상 판별부(140)는 새로운 센싱 데이터와 복원 데이터의 차이를 기초로 검사 대상 장비(300)의 이상동작여부를 판단하게 된다. 이에 대한 자세한 설명도 이하에서 후술하도록 한다.
오토인코더는 실질적으로 학습부(130)와 별개로 동작할 수 있으나, 이하에서는 설명의 편의를 위하여 오토인코더가 학습부(130)에 포함되는 것을 예로 들어 설명하도록 한다.
파라미터 이상 판별부(140)는 오토인코더의 개수에 대응되는 이상판별모듈을 포함할 수 있다. 예를 들어, 학습부(130)에 제1 내지 제3 오토인코더(131, 132, 133)가 존재하는 경우, 파라미터 이상 판별부(140)는 제1 내지 제3 이상판별모듈(141, 142, 143)을 포함할 수 있다.
여기에서, 이상판별모듈은 데이터 수신부(110)가 수집한 센싱 데이터와, 오토인코더에서 해당 센싱 데이터를 입력으로 출력된 복원 데이터의 차이값을 구하고, 산출된 차이값이 미리 정해진 기준치보다 큰지 여부를 비교함으로써 검사 대상 장비(300)의 이상유무판단을 수행한다. 여기에서, 센싱 데이터와 복원 데이터의 차이값은 오토인코더의 재구성 에러(Reconstruction Error)로 정의될 수 있고, 미리 정해진 기준치는 오토인코더의 학습과정에서 도출된 재구성 에러의 절대값에 대한 평균값(Mean Absolute Error; MAE)(즉, 학습 오차)일 수 있다. 또한, 미리 정해진 기준치는 재구성 에러의 '이동평균+2*시그마(즉, 표준편차값)'을 기초로 정해질 수 있다. 다만, 이는 하나의 예시에 불과하고 본 발명이 이에 한정되는 것은 아니다.
파라미터 이상 판별부(140)에 포함된 각각의 이상판별모듈(141, 142, 143)은 각각 처리하는 센싱 데이터에 대한 이상여부 판단결과를 출력할 수 있다. 파라미터 이상 판별부(140)에서 출력된 복수의 이상여부 판단결과는 장비 이상 판별부(150)에 전달된다.
장비 이상 판별부(150)는 파라미터 이상 판별부(140)에 포함된 각각의 이상판별모듈(141, 142, 143)로부터 수신한 복수의 이상여부 판단결과를 수신하고, 이를 기초로 검사 대상 장비(300)에 대한 최종이상유무를 판단한다. 이때, 장비 이상 판별부(150)는 결정트리모델을 이용하여 복수의 이상판별모듈(141, 142, 143)에 대한 각각의 중요도(또는, 복수의 센싱 데이터에 대한 각각의 중요도)를 산출하고 이를 기초로 검사 대상 장비(300)의 최종이상유무를 판단한다. 이에 대한 자세한 설명은 도 20 및 도 21을 참조하여 이하에서 자세히 후술하도록 한다.
제어부(160)는 이상 탐지 장치(100)에 포함된 각 구성요소의 동작을 제어하는 기능을 수행한다. 제어부(160)는 각 구성요소 간의 연결, 데이터 교환, 명령 수행 등의 동작을 수행할 수 있다. 따라서, 이상 탐지 장치(100)에서 수행되는 이상 탐지 동작의 수행주체는 제어부(160)일 수 있다.
또한, 도 3을 참조하면, 이상 탐지 장치(100)는 검사 대상 장비(300)의 이상여부판단을 위한 복수의 이상동작 탐지모델(M1, M2, M3)을 구비할 수 있으며, 각각의 이상동작 탐지모델(M1, M2, M3)은 학습부(130)의 오토인코더(131, 132, 133), 파라미터 이상 판별부(140)의 이상판별모듈(141, 142, 143)을 포함한다. 또한, 각각의 이상동작 탐지모델(M1, M2, M3)은 서로 다른 구성, 데이터 전처리 방법, 학습 및 동작 방법을 가질 수 있다.
이하에서는, 본 발명의 서로 다른 이상동작 탐지모델(M1, M2, M3)의 구성 및 동작 방법에 대해 자세히 설명하도록 한다.
도 4는 도 3의 진동 센서에 대한 제1 이상동작 탐지모델의 데이터 흐름을 나타내는 블록도이다. 도 5 및 도 6은 도 4의 오토인코더의 몇몇 예시를 나타내는 블록도이다. 도 7은 도 4의 제1 이상동작 탐지모델의 동작 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 제1 이상동작 탐지모델(M1)은 학습부(130)의 제1 오토인코더(131)와 파라미터 이상 판별부(140)의 제1 이상판별모듈(141)로 구성된다.
제1 오토인코더(131)는 데이터베이스부(120)에 미리 저장된 제1 정상동작 데이터셋(NDS1)를 이용하여 비지도 학습을 수행할 수 있다. 이때, 제1 오토인코더(131)에는 다양한 구조의 오토인코더가 적용될 수 있다.
구체적으로, 도 5를 참조하면, 본 발명의 일 예에 따른 오토인코더는 인코더 신경망(Encoder Network; 이하, 인코더(EN))와 디코더 신경망(Decoder Network; 이하, 디코더(DN))을 포함하며, 인코더(EN)와 디코더(DN) 사이에 배치되는 중간 레이어(Middle Layer; ML)를 포함한다.
도 5의 오토인코더는 인코더(EN)를 통해 입력 받은 데이터(즉, 입력 데이터)를 압축시켜 데이터를 축소시킨 후, 디코더(DN)를 이용하여 축소된 데이터를 인코더(EN)에서 입력 데이터와 동일한 크기로 변환하여 출력함으로써, 오토인코더의 출력 데이터를 입력 데이터와 동일하도록 만드는 일종의 딥 뉴럴 네트워크 모델(Deep Neural Network Model)이다.
오토인코더는 입력 데이터의 특징을 비지도(unsupervised) 방식으로 학습한다. 이를 위해, 오토인코더는 인코더(EN)를 통해 입력 받은 데이터를, 해당 특징을 잘 표현하는 저차원의 데이터(즉, 잠재 벡터(Latent Vector; LV))로 변환하고, 변환된 데이터는 이후 디코더(DN)를 통해 다시 원 데이터로 복원될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 오토인코더는 양단에 입력 데이터 및 출력 데이터를 각각 인가함으로써 지도(supervised) 방식으로 학습할 수 있다.
오토인코더의 중간 레이어의 노드의 개수는, 입력 레이어의 입력노드 및 출력 레이어의 출력노드의 개수보다 작을 수 있다. 이때, 입력노드와 출력노드 사이의 노드 및 에지의 가중치는, 오토인코더의 학습 과정에 의해 업데이트될 수 있다.
또한, 오토인코더는 원 데이터(X1, X2, X3, X4; 즉, 입력 데이터)와 복원된 데이터(X1', X2', X3', X4'; 즉, 출력 데이터) 간의 차이에 해당하는 재구성 오류(Reconstruction Error; 이하 RE)를 최소화하는 것을 목표로 원 데이터에 내재되어 있는 패턴들을 학습할 수 있다. 오토인코더를 기반으로 한 이상 탐지 기법들은 이러한 오토인코더의 학습 목표를 역으로 이용한다.
즉, 오토인코더는 극히 적은 빈도로 발생하는 이상 데이터(즉, 이상 상태를 나타내는 검사 대상 장비(300)의 센싱 데이터)의 특징을 제대로 학습하지 못할 것이므로, 오토인코더는 이상 데이터의 원 데이터를 제대로 복원할 수 없게 된다. 따라서, 오토인코더가 복원한 데이터와 원 데이터 간의 차이가 매우 크거나 일정 임계값 이상인 데이터를 출력하는 경우를 감지함으로써, 센싱 데이터의 이상여부(즉, 이상동작여부)를 효과적으로 탐지할 수 있다.
또한, 본 발명의 일 실시예에서는 오토인코더의 이상여부 감지 성능을 극대화하기 위해 오토인코더를 학습시키기 위한 학습 데이터를 정상동작 데이터셋(NDS)으로만 구성할 수 있다. 즉, 오토인코더를 학습시키기 위한 학습 데이터셋은 정상동작 데이터셋(NDS)으로 구성되고, 이상동작 데이터셋(ABDS)의 데이터는 제외하도록 구성될 수 있다.
추가적으로, 본 발명 다른 실시예에서 오토인코더는 입력값의 이상여부를 탐지하기 위해 다양한 오토인코더 모델 중에서도 시퀀스를 다루기에 가장 적합한 LSTM 오토인코더를 사용할 수 있다.
도 6을 참조하면, 본 발명의 다른 실시예에 따른 오토인코더(131b)는 인코더(EN)와 디코더(DN)로 구성되는 LSTM(Long Short Term Memory) 오토인코더를 포함한다.
구체적으로, LSTM 오토인코더는 인코더(EN)를 통해 입력 받은 데이터(즉, 입력 데이터)를 압축시켜 데이터를 축소시킨 후, 디코더(DN)를 이용하여 축소된 데이터를 인코더(EN)에서 입력 데이터와 동일한 크기로 변환하여 출력함으로써, LSTM 오토인코더의 출력 데이터를 입력 데이터와 동일하도록 만드는 일종의 딥 뉴럴 네트워크 모델(Deep Neural Network Model)이다.
본 발명의 LSTM 오토인코더는 입력값의 이상여부를 탐지하기 위해 다양한 LSTM 오토인코더 모델 중에서도 시계열적으로 연속되는 시퀀스 데이터를 다루기에 가장 적합한 LSTM 오토인코더를 사용할 수 있다. LSTM 오토인코더는 시계열 데이터를 학습하는 딥러닝 모델인 순환 신경망(Recurrent Neural Network; 이하, RNN)에 상태 정보를 지니는 셀 상태(cell state) 개념을 추가하고 상태(state) 계산에 필요한 데이터들을 어느 정도 반영할지 여부를 게이트 연산을 통해 정함으로써 오래된 정보를 유지할 수 있도록 한 모델이다. 참고적으로, RNN은 현재 들어온 입력 데이터와 과거에 입력 받았던 데이터를 학습에 동시에 고려한다.
따라서, LSTM 오토인코더는 RNN으로 구성될 수 있다. LSTM 오토인코더는 여러 게이트(gate)가 붙어있는 셀(cell)로 이루어질 수 있으며, 해당 셀에 연결된 게이트의 값 또는 가중치를 확인하여 어떤 값을 저장할지, 언제 정보를 내보내거나 삭제할지를 결정한다. 각 셀 마다 이 가중치 값을 학습함으로써 학습 성능을 높일 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 오토인코더는 다른 인공신경망 네트워크(예를 들어, CNN, DNN, GNN)를 채용하거나, 다른 구성요소를 추가하여 동작할 수 있음은 물론이다.
다만, 본 발명이 도 5 및 도 6을 참조하여 설명한 오토인코더의 구조에 한정되는 것은 아니며, 다양하게 변형되어 실시될 수 있음은 통상의 기술자에게 자명하다.
다시 도 4와 도 7을 참조하면, 데이터베이스부(120)에 저장된 진동 센싱 데이터 중 정상 동작으로 레이블된 진동 센싱 데이터로 구성된 제1 정상동작 데이터셋(NDS1)은 제1 오토인코더(131)에 인가되어 비지도 학습을 수행한다(S110).
이때, 제1 오토인코더(131)는 제1 정상동작 데이터셋(NDS1)에 포함된 정상센싱 데이터(NI)를 입력으로 수신하고, 이에 대한 출력으로 정상변환 데이터(NI')를 출력하여 제1 이상판별모듈(141)에 전달한다.
제1 오토인코더(131)는 입력 데이터의 특징을 비지도(unsupervised) 방식으로 학습한다. 즉, 제1 오토인코더(131)가 많은 수의 제1 정상동작 데이터셋(NDS1)으로 학습되는 경우, 제1 오토인코더(131)의 정상동작에 대한 판단 정확도는 높아지게 된다.
이러한 학습 과정을 거친 제1 오토인코더(131)에 정상동작에 대한 센싱 데이터가 인가되는 경우, 제1 오토인코더(131)의 재구성 에러의 크기는 미리 정해진 기준치 이내가 된다.
이때, 제1 이상판별모듈(141)은 제1 오토인코더(131)의 학습 과정에서 제1 오토인코더(131)에 대한 재구성 에러를 산출하고, 이를 기초로 이상동작여부를 판단하는데 이용되는 기준치를 설정할 수 있다.
여기에서, 이상동작여부를 판단하는 기준치는 학습 과정에서 제1 정상동작 데이터셋(NDS1)을 제1 오토인코더(131)에 인가했을 때 제1 이상판별모듈(141)에서 도출된 재구성 에러의 최대치일 수 있고, 이를 수식으로 표현하면 [수학식 1]과 같다.
[수학식 1]
Figure 112022013659259-pat00001
여기에서,
Figure 112022013659259-pat00002
는 정상동작여부를 판단하는 미리 정해진 기준치를 의미하고,
Figure 112022013659259-pat00003
는 오토인코더의 입력 데이터를 의미하고,
Figure 112022013659259-pat00004
는 오토인코더의 출력 데이터를 의미한다.
이어서, 미리 학습된 제1 오토인코더(131)는 진동 센서(210)에서 감지한 센싱 데이터(SI)를 입력으로 수신하고, 이에 대한 출력으로 복원 데이터(SI')를 출력한다(S120).
이어서, 제1 이상판별모듈(141)은 진동 센서(210)에서 감지한 센싱 데이터(SI)와, 제1 오토인코더(131)에서 출력된 복원 데이터(SI')를 입력 받는다.
이어서, 제1 이상판별모듈(141)은 입력받은 데이터 간의 차이인 재구성 에러를 산출하고, 산출된 재구성 에러가 학습 단계에서 미리 정해진 기준치보다 작은지 여부를 기초로 제1 이상동작여부를 판단한다(S130).
만약, 산출된 재구성 에러가 미리 정해진 기준치보다 작은 경우, 제1 이상판별모듈(141)은 제1 오토인코더(131)에 인가된 센싱 데이터(SI)의 대상이 되는 검사 대상 장비(300)가 정상동작을 수행하고 있다고 판단할 수 있다.
반면, 산출된 재구성 에러가 미리 정해진 기준치보다 큰 경우, 제1 이상판별모듈(141)은 제1 오토인코더(131)에 인가된 센싱 데이터(SI)의 대상이 되는 검사 대상 장비(300)가 이상동작을 수행하고 있다고 판단할 수 있다.
즉, 제1 이상판별모듈(141)은 진동 센서(210)에서 측정된 제1 센싱 데이터(SD1)에 대하여, 미리 학습된 상기 제1 오토인코더(131)의 입출력값의 차이가 미리 정해진 기준치보다 큰지 여부를 비교하여, 검사 대상 장비(300)의 이상유무를 판단하고, 이에 대한 값인 제1 이상동작여부를 출력할 수 있다.
추가적인 실시예로, 도면에는 명확하게 도시하지는 않았으나, 본 발명의 또 다른 실시예에서, 제1 이상판별모듈(141)은 뉴럴 네트워크를 이용한 머신 러닝을 통하여 입력된 센싱 데이터의 이상 여부를 판단할 수 있다. 이때, 제1 이상판별모듈(141)은 학습 인자로 입력되는 파라미터들(예를 들어, 오토인코더의 입력 데이터 및 출력 데이터)에 대하여 머신 러닝(Machine Learning)을 수행할 수 있다. 데이터베이스부(120)에는 제1 이상판별모듈(141)의 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
또한, 제1 이상판별모듈(141)의 인공신경망 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트 시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.
즉, 제1 이상판별모듈(141)은 도출된 파라미터에 대한 모델링 데이터를 입력 데이터로 하는 머신 러닝(machine learning) 기반의 이상동작여부 판단 동작을 수행할 수 있다. 이때, 인공신경망의 머신 러닝 방법으로는 비지도학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 예를 들어, 지도학습의 경우, 제1 이상판별모듈(141)에 입력단에는 오토인코더의 입력 데이터 및 출력 데이터가 인가되고, 출력단에는 검사 대상 장비(300)의 이상동작여부가 인가됨으로써, 제1 이상판별모듈(141)에 포함된 인공신경망의 학습이 이루어질 수 있다. 다만, 이는 하나의 예시에 불과하고 본 발명이 이에 한정되는 것은 아니다.
한편, 이하에서는 음향 센서(220)로부터 수신한 음향 센싱 데이터를 기초로 이상동작여부를 판단하는 제2 이상동작 탐지모델(M2)에 대해 설명하도록 한다.
도 8은 도 3의 음향 센서에 대한 제2 이상동작 탐지모델의 데이터 흐름을 나타내는 블록도이다. 도 9는 도 8의 노이즈 제거 모듈의 구성 및 동작 방법을 설명하기 위한 블록도이다. 도 10은 도 8의 제2 이상동작 탐지모델의 동작 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, 제2 이상동작 탐지모델(M2)은, 학습부(130)의 노이즈 제거모듈(132) 및 제2 오토인코더(132)와 파라미터 이상 판별부(140)의 제2 이상판별모듈(143)로 구성된다.
우선, 도 9를 참조하면, 노이즈 제거모듈(132)은, 변환 모듈(132a), 학습 모듈(132b), 2차원 오토인코더(132c)를 포함한다.
구체적으로, 변환 모듈(132a)은 소리(예를 들어, 학습 노이즈 데이터, 학습 정상 음향 데이터, 음향 데이터 및 측정 음향 데이터)를 전기 신호(예: 제1 학습 이미지 데이터, 제2 학습 이미지 데이터, 제1 측정 이미지 데이터 및 제2 측정 이미지 데이터)로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다.
이때, 변환 모듈(132a)은 예를 들어, 단시간 푸리에 변환(Short Time Fourier Transform; STFT)에 기반하여, 제1 학습 이미지 데이터를 생성할 수 있다.
여기에서, 단시간 푸리에 변환(STFT)은 시간에 따라 변화하는 긴 신호를 짧은 시간 단위로 분할한 다음에 푸리에 변환을 적용하는 것을 의미한다. 결과적으로 단시간 푸리에 변환을 이용하는 경우, 각 시간 구간마다　어떤 주파수들이 존재하는지 알 수 있다. 단시간 푸리에 변환에 대한 자세한 내용은 이미 공개되어 있으므로 여기에서 자세한 내용은 생략하도록 한다.
변환 모듈(132a)은 단시간 푸리에 변환을 이용해 학습 노이즈 데이터 및 학습 정상 음향 데이터를 각각 이미지 데이터로 변환 후 합성하여, 제1 학습 이미지 데이터를 생성할 수 있다. 보다 구체적으로, 변환 모듈(132a)은 단시간 푸리에 변환을 이용해 학습 노이즈 데이터 및 학습 정상 음향 데이터를 다양한 주파수를 갖는 주기 함수로 분해하고 이를 합산하여 스펙트로그램(Spectrogram)으로 변환함으로써, 제1 학습 이미지 데이터를 생성할 수 있다.
또한, 변환 모듈(132a)은 단시간 푸리에 변환을 이용해 학습 정상 음향 데이터를 제2 학습 이미지 데이터로 변환할 수 있다. 변환 모듈(132a)은 단시간 푸리에 변환을 이용해 학습 정상 음향 데이터를 다양한 주파수를 갖는 주기 함수로 분해하고 이를 합산하여 스펙트로그램으로 변환함으로써, 제2 학습 이미지 데이터를 생성할 수 있다.
학습 모듈(132b)은 생성된 제1 학습 이미지 데이터 및 제2 학습 이미지 데이터를 2차원 오토인코더(132c)의 입출력노드에 각각 인가하여 2차원 오토인코더(132c)를 학습시킬 수 있다.
2차원 오토인코더(132c)는 입력노드에 인가된 데이터를 압축시켜 입력 데이터를 축소시키는 인코더와, 인코더의 신경망에서 축소된 데이터를 입력노드에 인가된 입력 데이터와 동일한 크기로 변환하여 출력노드를 통해 출력하는 디코더를 포함할 수 있다. 따라서, 2차원 오토인코더(132c)의 입력은 인코더의 입력에 대응될 수 있고, 2차원 오토인코더(132c)의 출력은 디코더의 출력에 대응될 수 있다. 2차원 오토인코더(132c)의 구조는 전술한 몇몇 실시예에 따른 제1 오토인코더(132)의 따른 구조와 실질적으로 동일할 수 있다. 따라서, 여기에서 중복되는 설명은 생략하도록 한다.
학습 모듈(132b)은 제1 학습 이미지 데이터를 2차원 오토인코더(132c)의 인코더의 입력노드에 인가하고, 제2 학습 이미지 데이터를 2차원 오토인코더(132c)의 디코더의 출력노드에 인가하여 2차원 오토인코더(132c)를 학습시킬 수 있다. 학습된 2차원 오토인코더(132c)는, 노이즈를 포함하는 음향 데이터에서 노이즈를 제거하는 필터로써 동작할 수 있다.
이어서, 변환 모듈(132a)는, 외부로부터 수신되는 1차원의 음향 데이터(즉, 음향 센싱 데이터(SD2))를 단시간 푸리에 변환을 이용해 주파수 영역으로 변환함으로써 다차원의 제1 측정 이미지 데이터를 생성할 수 있다.
이어서, 변환 모듈(132a)에서 출력된 제1 측정 이미지 데이터는 미리 학습된 2차원 오토인코더(132c)의 입력노드에 인가될 수 있다.
이어서, 학습된 2차원 오토인코더(132c)는 제1 측정 이미지 데이터에서 노이즈가 제거된 다차원의 제2 측정 이미지 데이터를 출력한다.
이어서, 변환 모듈(132a)은 2차원 오토인코더(132c)에서 출력된 제2 측정 이미지 데이터를 1차원의 측정 음향 데이터(즉, 도 8의 SI)로 변환할 수 있다. 즉, 변환 모듈(132a)은 단시간 푸리에 역변환을 이용하여, 학습된 2차원 오토인코더(132c)의 출력노드에서 출력된 제2 측정 이미지 데이터를 측정 음향 데이터로 변환할 수 있다.
다시 도 8을 참조하면, 데이터베이스부(120)에 저장된 음향 센싱 데이터 중 정상 동작으로 레이블된 센싱 데이터로 구성된 제2 정상동작 데이터셋(NDS2)은 제2 오토인코더(133)에 인가되어 비지도 학습을 수행한다.
제2 오토인코더(133)는 제2 정상동작 데이터셋(NDS2)에 포함된 정상센싱 데이터(NI)를 입력으로 수신하고, 이에 대한 출력으로 정상변환 데이터(NI')를 출력하여 제2 이상판별모듈(143)에 전달한다. 이때, 제2 오토인코더(133)에 전달되는 데이터는 전술한 노이즈 제거 모듈(132)을 통하여 노이즈가 제거된 센싱 데이터일 수 있다.
이때, 제2 오토인코더(133)는 입력 데이터의 특징을 비지도(unsupervised) 방식으로 학습한다. 즉, 제2 오토인코더(133)가 많은 수의 제2 정상동작 데이터셋(NDS2)으로 학습되는 경우, 제2 오토인코더(133)의 정상동작에 대한 판단 정확도는 높아지게 된다.
이러한 학습 과정을 거친 제2 오토인코더(133)에 정상동작에 대한 음향 센싱 데이터가 인가되는 경우, 제2 오토인코더(133)의 재구성 에러의 크기는 미리 정해진 기준치 이내가 된다.
제2 이상판별모듈(143)은 제2 오토인코더(133)의 학습 과정에서 제2 오토인코더(133)에 대한 재구성 에러를 산출하고, 이를 기초로 이상동작여부를 판단하는데 이용되는 기준치를 설정할 수 있다. 이때 기준치는 전술한 [수학식 1]을 이용하여 도출할 수 있으며, 중복되는 설명은 생략하도록 한다.
추가로, 제2 오토인코더(133)에는 다양한 구조의 오토인코더가 적용될 수 있으며, 이는 전술한 제1 오토인코더(131)의 구조와 실질적으로 동일할 수 있다.
이어서, 미리 학습된 제2 오토인코더(133)는 음향 센서(212)에서 감지한 센싱 데이터(SI)를 입력으로 수신하고, 이에 대한 출력으로 복원 데이터(SI')를 출력한다.
이어서, 제2 이상판별모듈(143)은 음향 센서(212)에서 감지한 센싱 데이터(SI)와, 제2 오토인코더(133)에서 출력된 복원 데이터(SI')를 입력 받는다.
이때, 제2 오토인코더(133)와 제2 이상판별모듈(143)에 전달되는 데이터는 전술한 노이즈 제거 모듈(132)을 통하여 노이즈가 제거된 센싱 데이터일 수 있다.
이어서, 제2 이상판별모듈(143)은 입력받은 데이터 간의 차이인 재구성 에러를 산출하고, 산출된 재구성 에러가 학습 단계에서 미리 정해진 기준치보다 작은지 여부를 기초로 제2 이상동작여부를 판단한다.
만약, 산출된 재구성 에러가 미리 정해진 기준치보다 작은 경우, 제2 이상판별모듈(143)은 제2 오토인코더(133)에 인가된 센싱 데이터(SI)의 대상이 되는 검사 대상 장비(300)가 정상동작을 수행하고 있다고 판단할 수 있다.
반면, 산출된 재구성 에러가 미리 정해진 기준치보다 큰 경우, 제2 이상판별모듈(143)은 제2 오토인코더(133)에 인가된 센싱 데이터(SI)의 대상이 되는 검사 대상 장비(300)가 이상동작을 수행하고 있다고 판단할 수 있다.
즉, 제2 이상판별모듈(143)은 음향 센서(220)에서 측정된 제2 센싱 데이터(SD2)에 대하여, 미리 학습된 상기 제2 오토인코더(133)의 입출력값의 차이가 미리 정해진 기준치보다 큰지 여부를 비교하여, 검사 대상 장비(300)의 이상유무를 판단하고, 이에 대한 값인 제2 이상동작여부를 출력할 수 있다.
도 10을 참조하여 제2 이상동작 탐지모델(M2)의 동작 방법을 설명하면, 학습 노이즈 데이터 및 학습 정상 음향 데이터에 기반하여, 제1 학습 이미지 데이터를 생성한다(S210).
이어서, 학습 정상 음향 데이터에 기반하여, 제2 학습 이미지 데이터를 생성한다(S220).
이어서, 제1 학습 이미지 데이터를 입력으로 인가하고, 제2 학습 이미지 데이터를 출력으로 인가하여, 2차원 오토인코더(132c)를 지도학습한다(S230).
이어서, 지도학습된 2차원 오토인코더(132c)를 이용하여, 새로이 입력된 음향 센싱 데이터의 노이즈를 제거한 측정 음향 데이터를 생성한다(S240).
이어서, 제2 정상동작 데이터셋(NDS2)을 이용하여 미리 학습된 제2 오토인코더(133)를 이용하여 검사 대상 장비(300)의 제2 이상동작여부를 판단한다(S250). 여기에서, 제2 오토인코더(133)를 학습하는데 이용되는 제2 정상동작 데이터셋(NDS2)도 2차원 오토인코더(132c)를 통하여 노이즈가 제거된 이후에 제2 오토인코더(133)에 인가될 수 있다.
정리하면, 제2 이상동작 탐지모델(M2)에 적용된 노이즈 제거 모듈(132)은, 2차원 오토인코더(132c)의 지도학습을 통하여 입력되는 음향 데이터의 노이즈를 제거하는 전처리 동작을 수행할 수 있고, 이를 통해 제2 이상동작 탐지모델(M2)의 이상동작판단에 대한 정확도를 향상시킬 수 있다.
이하에서는 모션 센서(230)로부터 수신한 동작 이미지를 기초로 이상동작여부를 판단하는 제3 이상동작 탐지모델(M3)에 대해 설명하도록 한다.
도 11은 도 3의 모션 센서에 대한 제3 이상동작 탐지모델의 데이터 흐름을 나타내는 블록도이다. 도 12는 도 11의 제3 이상판별모듈을 나타내는 블록도이다.
도 11을 참조하면, 데이터베이스부(120)에 미리 저장된 검사 대상 장비(300)에 관한 제3 정상동작 데이터셋(NDS3)은 제3 오토인코더(135)에 인가될 수 있다. 제3 오토인코더(135)는 제3a 오토인코더(135a) 및 제3b 오토인코더(135b)를 포함할 수 있다.
이어서, 제3a 오토인코더(135a) 및 제3b 오토인코더(135b)에서 동작 이미지(즉, 모션 센싱 데이터)를 입력으로 출력된 변환 이미지는 제3 이상판별모듈(145)에 전달될 수 있다.
한편, 이상 데이터 생성부(125)는 데이터베이스부(120)에 저장된 제3 정상동작 데이터셋(NDS3)을 이용하여 이상동작 데이터셋(ABDS)을 생성할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 이상 데이터 생성부(125)는 외부에서 수신한 임의의 이미지를 이용하여 이상동작 데이터셋(ABDS)를 생성할 수 있다.
이상 데이터 생성부(125)에서 생성된 제3 이상동작 데이터셋(ABDS)은 데이터베이스부(120)에 저장될 수 있으며, 제3 이상동작 데이터셋(ABDS)은 제3 이상판별모듈(145)에 전달될 수 있다.
이때, 제3 이상판별모듈(145)에 전달되는 데이터는 학습부(130)를 통해 전달될 수 있다. 즉, 데이터베이스부(120)에 저장된 제3 정상동작 데이터셋(NDS3) 또는 제3 이상동작 데이터셋(ABDS)와, 제3a 오토인코더(135a) 및 제3b 오토인코더(135b)의 출력으로 도출된 변환 이미지는 학습부(130)를 통해 제3 이상판별모듈(145)의 입력 노드에 인가될 수 있다. 또한, 제3 이상판별모듈(145)의 출력 노드에는, 제3 이상판별모듈(145)의 입력 노드에 인가된 데이터에 대응되는 이상 동작 여부에 대한 값이 인가될 수 있다.
구체적으로, 도 12를 참조하면, 제3 이상판별모듈(145)는 비교 대상이 되는 이상여부 판단대상이 되는 동작 이미지와, 해당 동작 이미지를 입력으로 제3a 오토인코더(135a) 또는 제3b 오토인코더(135b)에서 출력된 복원 이미지를 입력노드로 하는 입력 레이어(input)와, 이상여부판단에 관한 값을 출력노드로 하는 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 M 개의 히든 레이어를 포함한다.
여기서 각 레이어들의 노드를 연결하는 에지(edge)에는 가중치가 설정될 수 있다. 이러한 가중치 혹은 에지의 유무는 학습 과정에서 추가, 제거, 또는 업데이트 될 수 있다. 따라서, 학습 과정을 통하여, k개의 입력노드와 i개의 출력노드 사이에 배치되는 노드들 및 에지들의 가중치는 업데이트될 수 있다.
제3 이상판별모듈(145)가 학습을 수행하기 전에는 모든 노드와 에지는 초기값으로 설정될 수 있다. 그러나, 누적하여 정보가 입력될 경우, 노드 및 에지들의 가중치는 변경되고, 이 과정에서 학습인자로 입력되는 파라미터들(즉, 동작 이미지 및 복원 이미지)과 출력노드로 할당되는 값(즉, 이상여부판단에 관한 값) 사이의 매칭이 이루어질 수 있다.
추가적으로, 이상 탐지 장치(100)에서 클라우드 서버(미도시)를 이용하는 경우, 제3 이상판별모듈(145)는 많은 수의 파라미터들을 수신하여 처리할 수 있다. 따라서, 제3 이상판별모듈(145)는 방대한 데이터에 기반하여 학습을 수행할 수 있다.
또한, 제3 이상판별모듈(145)를 구성하는 입력노드와 출력노드 사이의 노드 및 에지의 가중치는 제3 이상판별모듈(145)의 학습 과정에 의해 업데이트될 수 있다. 제3 이상판별모듈(145)에서 출력되는 이상여부판단에 관한 값은 검사 대상 장비(300)의 이상여부 및 이상부위를 도출하는데 이용될 수 있다. 이때, 제3 이상판별모듈(145)에서 출력되는 제3 이상여부판단에 관한 값은 0 내지 1 사이의 확률값, Grad-CAM(Gradient-weighted CAM) 이미지, 및 CAM(Class Activation Mapping) 이미지 중 어느 하나를 포함할 수 있다. 이에 대한 자세한 설명은 도 17 및 도 18를 참조하여 후술하도록 한다.
이하에서는, 학습 데이터셋을 이용하여 제3 이상판별모듈(145)를 학습시키는 동작에 대해 자세히 살펴보도록 한다.
도 13 및 도 14는 학습 데이터셋을 이용하여 제3 이상판별모듈을 학습시키는 동작을 설명하기 위한 도면이다. 이하에서는, 전술한 내용과 중복되는 내용은 생략하고 차이점을 위주로 기술하도록 한다.
우선 도 13은 제3 정상동작 데이터셋(NDS3)을 이용하여 제3 이상판별모듈(145)를 학습하는 동작을 나타낸다.
도 13을 참조하면, 데이터베이스부(120)에 저장된 동작 이미지 중 정상 동작으로 레이블된 동작 이미지로 구성된 제3 정상동작 데이터셋(NDS3)은 제3a 오토인코더(135a)에 인가된다. 이때, 제3a 오토인코더(135a)는 제3 정상동작 데이터셋(NDS3)에 포함된 정상동작 이미지(NI1)를 입력으로 수신하고, 이에 대한 출력으로 제1 정상변환 이미지(NI1a)를 출력하여 제3 이상판별모듈(145)에 전달한다.
이어서, 제3 이상판별모듈(145)의 입력 노드에는 제3a 오토인코더(135a)의 입력으로 인가된 정상동작 이미지(NI1)와, 제3a 오토인코더(135a)에서 출력된 제1 정상변환 이미지(NI1a)가 인가된다.
또한, 제3 이상판별모듈(145)의 출력 노드에는 제3 이상판별모듈(145)에 입력된 데이터의 이상여부판단에 관한 값이 인가된다. 이때, 제3 이상판별모듈(145)의 입력 노드에 정상동작 이미지(NI1)와 이에 대한 제1 정상변환 이미지(NI1a)가 인가되었기에, 출력 노드에는 정상 상태를 나타내는 값(예를 들어, '1')이 인가될 수 있다.
이어서, 제3 이상판별모듈(145)에서는 입력 노드와 출력 노드에 인가된 값에 의해서 정상동작에 대한 지도학습(supervised learning)이 이루어지고, 이에 따라, 제3 이상판별모듈(145)에 포함된 뉴럴 네트워크(예를 들어, CNN)를 구성하는 각 노드 간 웨이트(weight) 값은 업데이트 될 수 있다.
반면, 도 14는 제3 이상동작 데이터셋(ABDS)을 이용하여 제3 이상판별모듈(145)을 학습하는 동작을 나타낸다.
도 14를 참조하면, 데이터베이스부(120)에 저장된 동작 이미지 중 정상 동작으로 레이블된 동작 이미지로 구성된 제3 정상동작 데이터셋(NDS3)은 제3b 오토인코더(135b)에 인가된다. 제3b 오토인코더(135b)는 제3 정상동작 데이터셋(NDS3)에 포함된 정상동작 이미지(NI1)를 입력으로 수신하고, 이에 대한 출력으로 제2 정상변환 이미지(NI1b)를 출력하여 제3 이상판별모듈(145)에 전달한다.
이때, 제3b 오토인코더(135b)는, 제3a 오토인코더(135a)와 실질적으로 동일한 구조 및 동작방식을 지니나, 제3a 오토인코더(135a)보다 적은 횟수로 사전학습이 수행된다. 따라서, 제3b 오토인코더(135b)에서 출력된 제2 정상변환 이미지(NI1b)는 제3a 오토인코더(135a)에서 출력된 제1 정상변환 이미지(NI1a) 보다 품질이 낮을 수 있다.
이어서, 제3 이상판별모듈(145)의 입력 노드에는 제3b 오토인코더(135b)에서 출력된 제2 정상변환 이미지(NI1b)와, 제3 이상동작 데이터셋(ABDS)에 포함된 이상동작 이미지(ABI)가 인가된다.
또한, 제3 이상판별모듈(145)의 출력 노드에는 제3 이상판별모듈(145)에 입력된 데이터의 이상여부판단에 관한 값이 인가된다. 이때, 제3 이상판별모듈(145)의 입력 노드에 제1 정상변환 이미지(NI1a)와 이상동작 이미지(ABI)가 인가되었기에, 출력 노드에는 이상 상태(즉, 비정상 상태)를 나타내는 값(예를 들어, '0')이 인가될 수 있다.
따라서, 제3 이상판별모듈(145)는 입력 노드와 출력 노드에 인가된 값에 의해서 이상동작에 대한 지도학습(supervised learning)이 이루어지고, 이에 따라, 제3 이상판별모듈(145)에 포함된 뉴럴 네트워크(예를 들어, CNN)를 구성하는 각 노드 간 웨이트(weight) 값은 업데이트 될 수 있다.
이를 통해, 제3 이상판별모듈(145)는 입력 노드에 인가된 데이터들의 이상여부판단에 관한 값(즉, 제3 이상동작여부)을 출력할 수 있으며, 이때 출력되는 값의 이상판단에 대한 정확도는 학습이 진행될수록 높아질 수 있다.
실제 검사 대상 장비의 운용사례에서는 제3 정상동작 데이터셋(NDS3)의 수가 제3 이상동작 데이터셋(ABDS)의 수보다 압도적으로 많은 경우가 대부분이기에, 제3 이상판별모듈(145)에서 출력되는 이상여부판단의 정확도를 향상시키기 위해서는 충분한 수의 제3 이상동작 데이터셋(ABDS)를 확보하는 것이 중요하다.
다만, 제3 이상동작 데이터셋(ABDS)를 의도적으로 생성하는 것은 상당한 시간과 노력이 요구되기에, 본 발명의 이상 데이터 생성부(125)는 제3 정상동작 데이터셋(NDS3) 또는 다른 외부 데이터(또는, 이미지)를 기초로 제3 이상동작 데이터셋(ABDS)를 생성하여 제3 이상판별모듈(145)의 학습에 이용한다. 이하에서는, 제3 이상동작 데이터셋(ABDS)을 생성하는 이상 데이터 생성부(125)의 동작에 대해 자세히 살펴보도록 한다.
도 15는 도 12의 이상 데이터 생성부에서 이상동작 데이터셋을 생성하는 동작을 설명하기 위한 블록도이다.
도 15를 참조하면, 이상 데이터 생성부(125)는 전술한 제3a 오토인코더(135a) 및 제3b 오토인코더(135b)를 이용하여 제3 이상동작 데이터셋(ABDS)를 생성한다. 전술한 바와 같이, 제3b 오토인코더(135b)는 제3a 오토인코더(135a)보다 적은 수의 동작 데이터셋을 이용하여 학습될 수 있다.
우선, 이상 데이터 생성부(125)는 복수의 랜덤 이미지(random image)를 제3b 오토인코더(135b)에 각각 인가하여 변환 이미지를 출력한다. 이때, 랜덤 이미지는 제3 정상동작 데이터셋(NDS3)에 포함된 정상동작 이미지거나, 외부에서 수집된 별개의 이미지 일 수 있다.
예를 들어, 제1 랜덤 이미지(RI1)은 제3b 오토인코더(135b)에 인가되고, 이에 대한 출력으로 제1 변환 이미지(RI1b)가 출력될 수 있다. 또한, 제2 랜덤 이미지(RI2)은 제3b 오토인코더(135b)에 인가되고, 이에 대한 출력으로 제2 변환 이미지(RI2b)가 출력될 수 있다. 이때, 제1 랜덤 이미지(RI1)와 제2 랜덤 이미지(RI2)는 서로 다른 방식으로 선정될 수 있으며, 제1 랜덤 이미지(RI1)와 제2 랜덤 이미지(RI2)는 서로 다른 이미지일 수 있다.
이어서, 이상 데이터 생성부(125)는 제3b 오토인코더(135b)에서 각각 출력된 변환 이미지를 병합하여 중간 이미지(MI)를 생성한다. 예를 들어, 이상 데이터 생성부(125)는 제1 변환 이미지(RI1b)와 제2 변환 이미지(RI2b)를 병합하여 중간 이미지(MI)를 생성할 수 있다. 이때, 이상 데이터 생성부(125)는 병합 로직으로 이미지 데이터의 평균값(average value)을 이용할 수 있다. 다만, 병합 로직은 평균에 한정되는 것은 아니며, 다른 다양한 연산 로직이 이용될 수 있음은 물론이다.
이어서, 이상 데이터 생성부(125)는 제3a 오토인코더(135a)에 중간 이미지(MI)를 입력하고, 이에 대한 출력으로 이상동작 이미지(ABI; 또는, MIa)를 생성할 수 있다.
이를 통해, 제3 이상동작 데이터셋(ABDS)을 구성하는 이상동작 이미지(ABI)에는 제3b 오토인코더(135b)의 특성과 제3a 오토인코더(135a)의 특성이 부여될 수 있다. 본 발명의 이상 탐지 장치(100)는 전술한 과정을 통해 많은 수의 제3 이상동작 데이터셋(ABDS)을 생성하여 이용할 수 있다.
도 16은 이상 탐지 장치에서 동작시 발생되는 데이터의 예시를 나타내는 도면이다.
도 16을 참조하면, <NI1>은 제3 정상동작 데이터셋(NDS3)에 포함된 정상동작 이미지를 나타내고, <NI1a>는 정상동작 이미지를 입력으로 제3a 오토인코더(135a)에서 출력된 제1 정상변환 이미지를 나타낸다. 전술한 바와 같이, 제3 이상판별모듈(145)는 검사 대상 장비(300)의 정상동작에 대해, <NI1>의 이미지 및 <NI1a>의 이미지와, 정상동작을 나타내는 값을 이용하여 학습될 수 있다.
한편, <NI1b>는 정상동작 이미지를 입력으로 제3b 오토인코더(135b)에서 출력된 제2 정상변환 이미지를 나타내고, <MI>는 이상 데이터 생성부(125)에서 복수의 랜덤 이미지를 기초로 생성된 중간 이미지를 나타낸다. <ABI>는 이상 데이터 생성부(125)에서 생성된 이상동작 이미지를 나타낸다. 마찬가지로 전술한 바와 같이, 제3 이상판별모듈(145)는 검사 대상 장비(300)의 이상동작에 대해, <NI1b>의 이미지 및 <ABI>의 이미지와, 이상동작을 나타내는 값을 이용하여 학습될 수 있다.
이하에서는, 전술한 과정을 통하여 도출된 데이터셋을 이용하여 학습된 제3 이상판별모듈(145)를 이용하여 검사 대상 장비(300)의 제3 이상동작여부를 판단하는 방법에 대해 도 17 및 도 18를 참조하여 설명하도록 한다.
도 17은 본 발명의 일 실시예에 따른 제3 이상동작 탐지모델에서 이상여부판단을 위한 동작을 설명하기 위한 블럭도이다. 도 18은 본 발명의 다른 실시예에 따른 제3 이상동작 탐지모델에서 이상여부판단을 위한 동작을 설명하기 위한 블럭도이다.
도 17을 참조하면, 제3 이상동작 탐지모델(M3)은 검사 대상 장비(300)에 대한 이상동작여부를 판단할 대상 이미지를 수신한다. 여기에서, 대상 이미지는 현재 검사 대상 장비(300)의 상태를 모션 센서(230)를 통해 촬영한 이미지 또는 모션 센싱 데이터일 수 있다.
이때, 제3 이상동작 탐지모델(M3)은 제3a 오토인코더(135a) 또는 제3b 오토인코더(135b)와, 전술한 방법으로 미리 학습된 제3 이상판별모듈(145)를 이용하여 대상 이미지의 이상여부를 판단할 수 있다.
제3 이상판별모듈(145)는 검사 대상 장비(300)에 관한 대상 이미지와, 대상 이미지를 입력으로 제3a 오토인코더(135a) 또는 제3b 오토인코더(135b)에서 출력한 복원 이미지를 입력받는다.
이어서, 제3 이상판별모듈(145)는 대상 이미지와 복원 이미지에 대한 출력으로 이상여부판단에 관한 값을 출력한다.
여기에서, 이상여부판단에 관한 값은, 0 내지 1 사이의 확률값, Grad-CAM(Gradient-weighted CAM) 이미지, 및 CAM(Class Activation Mapping) 이미지 중 어느 하나를 포함할 수 있다.
본 발명의 일 실시예에서, 이상여부판단에 관한 값이 0 내지 1 사이의 확률값인 경우, 제3 이상동작 탐지모델(M3)의 제어부(160)는 확률값이 미리 정해진 기준값보다 큰지 여부를 판단한다.
만약, 이상여부판단에 관한 값이 기준값보다 큰 경우, 제어부(160)는 검사 대상 장비(300)에 대한 대상 이미지가 정상(즉, 정상동작상태)이라고 판단할 수 있다. 반대로, 이상여부판단에 관한 값이 기준값보다 작은 경우, 제어부(160)는 검사 대상 장비(300)에 대한 대상 이미지가 비정상(즉, 이상동작상태)이라고 판단할 수 있다.
본 발명의 다른 실시예에서, 이상여부판단에 관한 값은 이미지 형태로 출력될 수 있다. 이때, 출력되는 이미지는 검사 대상 장비(300)의 이상 탐지를 위한 이미지(이하, 이상 탐지 이미지)로, 예를 들어, Grad-CAM 이미지 또는 CAM 이미지 일 수 있다. 이하에서는 설명의 편의를 위하여 이상 탐지 이미지가 'Grad-CAM 이미지'인 것을 예로 들어 설명하도록 한다.
도 18을 참조하면, Grad-CAM 이미지는 제3 이상판별모듈(145)에 포함되어 학습부(130)에 의해 미리 학습된 뉴럴 네트워크를 이용하여 생성된다.
구체적으로, 검사 대상 장비(300)의 대상 이미지와 복원 이미지가 뉴럴 네트워크에 인가된다(S11).
이어서, 뉴럴 네트워크에 마지막 레이어의 CAM(Class Activation Map)을 계산한다. 이때, CAM은 마지막 레이어의 전체 필터를 추출한 뒤, 각 필터가 이상동작여부 판단에 얼마나 영향을 주었는지에 대한 가중치(weight)를 산출하고, 이를 기초로 각 노드에 대한 복수의 히트맵(HeatMap)을 생성한다(S12).
이어서, 생성된 복수의 히트맵을 픽셀-와이즈썸(Pixel-wise Sum)을 이용하여 병합한다(S13)
이어서, 병합된 이미지에 ReLU 함수를 적용시킴으로써, 양의 가중치를 갖는 부분을 선별한다(S14).
참고로, Grad CAM 이미지를 도출하는 방법에 대한 자세한 내용은 이미 공지되어 있는 바, 여기에서 자세한 내용은 생략하도록 한다. 또한, 이상 탐지 이미지를 도출하는 데에 있어, 다양한 공지된 방법이 적용될 수 있음은 통상의 기술자에게 자명하다.
위 S11 내지 S14 단계를 통해 도출된 이상 탐지 이미지는, 검사 대상 장비(300)의 이상여부 뿐만 아니라, 이상부위에 대한 정보도 함께 포함할 수 있다.
이를 통해, 본 발명의 제3 이상동작 탐지모델(M3)은 검사 대상 장비(300)의 이상여부 뿐만 아니라 이상부위까지 함께 판단할 수 있으므로, 검사 대상 장비(300)에 대한 빠른 수리 및 유지보수가 가능하다. 따라서, 본 발명은 기계장비 유지보수에 필요한 리소스를 최소화할 수 있으며, 제품생산라인이 기계 오작동으로 인하여 중단됨에 따라 발생할 수 있는 손해를 최소화할 수 있다.
도 19는 도 12의 제3 이상동작 탐지모델의 동작 방법을 설명하기 위한 순서도이다. 이하에서는 이상 탐지 방법의 동작주체가 제3 이상동작 탐지모델(M3)인 것을 예로 들어 설명하도록 한다. 또한, 이하에서는 전술한 내용과 중복되는 내용은 생략하여 기술하도록 한다.
도 19를 참조하면, 제3 이상동작 탐지모델(M3)은 데이터베이스부(120)에 미리 저장된 제3 정상동작 데이터셋(NDS3)을 기초로 제3a 오토인코더(135a) 및 제3b 오토인코더(135b)를 서로 다른 횟수로 학습시킨다(S310). 이때, 제3 이상동작 탐지모델(M3)은 제3a 오토인코더(135a)의 학습 횟수가 제3b 오토인코더(135b)보다 많아지도록 할 수 있다.
이어서, 제3 이상동작 탐지모델(M3)은 제3a 오토인코더(135a) 및 제3b 오토인코더(135b)를 이용하여 제3 정상동작 데이터셋(NDS3)을 기초로 제3 이상동작 데이터셋(ABDS)를 생성한다(S320). 또한, 제3 이상동작 데이터셋(ABDS)는 복수의 랜덤 이미지를 기초로 생성될 수 있으며, 랜덤 이미지는 제3 정상동작 데이터셋(NDS3) 뿐만 아니라 외부에서 수집된 이미지가 이용될 수 있음은 물론이다.
이어서, 제3 이상동작 탐지모델(M3)은 제3 정상동작 데이터셋(NDS3)과 제3 이상동작 데이터셋(ABDS)을 기초로 제3 이상판별모듈(145)의 뉴럴 네트워크를 학습시킨다(S330). 이때, 제3 이상동작 탐지모델(M3)은 S320 단계에서 충분한 수가 확보된 제3 이상동작 데이터셋(ABDS)를 이용하여 제3 이상판별모듈(145)를 학습시킬 수 있다.
이어서, 제3 이상동작 탐지모델(M3)은 검사 대상 장비(300)의 동작 이미지(즉, 대상 이미지)를 수신한다(S340).
이어서, 제3 이상동작 탐지모델(M3)은 미리 학습된 제3 이상판별모듈(145)에 동작 이미지(즉, 대상 이미지)를 인가하여 이상여부판단에 관한 값을 출력시킨다(S350). 이때, 제3 이상판별모듈(145)에는 제3a 오토인코더(135a) 또는 제3b 오토인코더(135b)에 대상 이미지를 인가하여 나온 출력값과, 대상이미지가 동시에 입력될 수 있으며, 이에 대한 출력으로 이상여부판단에 관한 값을 출력한다.
여기에서, 이상여부판단에 관한 값은, 이상여부에 대한 확률값 및 이상탐지 이미지(예를 들어, Grad-CAM 이미지 또는 CAM 이미지)를 포함할 수 있다.
이어서, 제3 이상동작 탐지모델(M3)은 출력된 이상여부판단에 관한 값을 이용하여 검사 대상 장비(300)의 제3 이상동작여부를 판단한다(S360). 만약, 이상여부판단에 관한 값이 확률값인 경우, 제3 이상동작 탐지모델(M3)은 검사 대상 장비(300)에 대한 이상여부에 대한 판단만이 가능하다. 반면, 이상여부판단에 관한 값이 이상 탐지 이미지인 경우, 제3 이상동작 탐지모델(M3)은 이상 탐지 이미지를 이용하여 검사 대상 장비(300)의 이상여부 뿐만 아니라, 이상부위도 함께 파악할 수 있다.
전술한 이상 탐지 방법에서, S310 내지 S330 단계는 제3 이상판별모듈(145)에 포함된 뉴럴 네트워크의 학습 단계로써 동작하고, S340 내지 S360 단계는 학습된 제3 이상판별모듈(145)를 이용하여 검사 대상 장비(300)의 제3 이상동작여부를 판단하는 수행단계를 나타낸다.
추가적인 본 발명의 또 다른 실시예로, 본 발명의 제3 이상동작 탐지모델(M3)은 모션 센서(230)에서 연속적으로 촬영된 동작 이미지를 대상으로, 미리 정해진 단위의 윈도우슬라이드(window slide)를 시간축을 기준으로 쉬프트(shift)함으로써 복수의 제3 정상동작 데이터셋(NDS3)을 생성하고 이를 데이터베이스부(120)에 저장하여 이용할 수 있다.
예를 들어, 제어부(160)는 연속적으로 촬영된 동작 이미지를 30프레임 단위의 윈도우슬라이드로 묶어서 제3 정상동작 데이터셋(NDS3)을 생성하고, 윈도우슬라이드를 2프레임씩 시간축을 따라 쉬프트하여 복수의 제3 정상동작 데이터셋(NDS3)을 생성할 수 있다. 구체적으로, 제1 정상동작 데이터셋(NDS1)은 촬영된 동작 이미지의 1 내지 30 프레임으로 구성되고 제2 정상동작 데이터셋(NDS2)은 3 내지 32 프레임으로 구성될 수 있다. 다만, 이는 하나의 예시에 불과하고 본 발명이 이에 한정되는 것은 아니다.
이에 따라, 학습부(130)는 복수의 정상동작 데이터셋을 이용하여 제3a 오토인코더(135a) 및 제3b 오토인코더(135b)를 학습시킬 수 있으며, 이를 이용하여 제3 이상판별모듈(145)를 학습시키는 데이터의 양도 증가될 수 있다. 학습되는 데이터량이 증가됨에 따라 제3 이상판별모듈(145)에서 출력되는 제3 이상동작여부의 판단값의 정확도도 함께 향상될 수 있음은 물론이다.
이어서, 전술한 제1 내지 제3 이상동작 탐지모델(M1, M2, M3)에서 각각 출력된 검사 대상 장비(300)의 제1 내지 제3 이상동작여부는 장비 이상 판별부(150)에 전달된다.
이때, 제1 내지 제3 이상동작 탐지모델(M1, M2, M3)에서 수신하는 센싱 데이터의 종류는 서로 상이할 수 있다. 이에 따라, 장비 이상 판별부(150)는 서로 다른 센서에 대한 이상여부 판단결과를 파라미터 이상 판별부(140)로부터 수신할 수 있다. 예를 들어, 장비 이상 판별부(150)는 파라미터 이상 판별부(140)에 포함된 이상판별모듈의 개수에 대응되는 복수 개의 이상여부 판단결과를 수신할 수 있다.
이때, 장비 이상 판별부(150)가 수신하는 검사 대상 장비(300)에 대한 복수의 이상여부 판단결과는 서로 상이할 수 있다. 예를 들어, 제1 이상판별모듈(141)로부터 수신한 제1 이상여부 판단결과와, 제2 및 제3 이상판별모듈(143, 145)로부터 수신한 제2 및 제3 이상여부 판단결과는 서로 상이할 수 있다.
따라서, 장비 이상 판별부(150)는 수신한 복수의 이상여부 판단결과에 대해 각각의 중요도를 산출하고 이를 기초로 검사 대상 장비(300)의 최종이상유무를 판단하게 된다. 이하에서는 이러한 장비 이상 판별부(150)의 구조 및 동작방법에 대해 자세히 살펴보도록 한다.
도 20은 도 3의 장비 이상 판별부의 구성을 나타내는 도면이다. 도 21은 도 20의 장비 이상 판별부가 이용하는 결정트리 모델의 예시를 나타내는 도면이다.
도 20을 참조하면, 장비 이상 판별부(150)는 학습 데이터 수집 모듈(151), 결정트리 생성모듈(153), 중요도 산출모듈(155), 이상여부 판단모듈(157)을 포함한다.
우선, 학습 데이터 수집 모듈(151)은, 최종이상유무 판단을 위한 머신러닝 학습을 위해 과거 각 이상판별모듈(예를 들어, 141, 143, 145)의 이상여부 판단결과(즉, 제1 내지 제3 이상동작여부)를 수신한다.
학습 데이터 수집 모듈(151)은, 수집된 데이터들을 정상동작 데이터셋과 이상동작 데이터셋으로 분리하여 관리할 수 있다. 이후, 장비 이상 판별부(150)의 결정트리모델 생성과정에서는 수집된 모든 데이터를 이용하기 보다는, 수집된 데이터의 일부(예를 들어, 전체 데이터의 80%)만을 이용하여 샘플링을 진행하고, 나머지 데이터(예를 들어, 전체 데이터의 20%)는 생성된 결정트리모델을 입증(validation)하기 위한 데이터로 활용될 수 있다.
결정트리 생성모듈(153)은, 학습 데이터 수집 모듈(151)에서 수집된 검사 대상 장비(300)에 대하여 각 센서에서 수집한 센싱 데이터를 기초로 수행한 이상여부 판단결과를 이용하여 결정트리모델을 생성한다.
여기에서 결정트리모델(decision tree model)이란, 일련의 분류 규칙을 통해 데이터를 분류, 회귀하는 지도 학습 모델 중 하나이며, 결과 모델이 트리(tree) 구조를 가지고 있기에 결정트리모델이란 이름을 지닌다. 결정트리모델은, 특정 기준(또는, 질문)에 따라 데이터를 구분하며, 한번의 분기때마다 변수 영역을 두개로 구분한다. 이러한 결정트리모델에서 질문이나 정답은 노드(Node)로 정의될 수 있다.
예를 들어, 도 21을 참조하면, 검사 대상 장비(300)에는 제1 내지 제5 센서가 설치되어, 각각의 센싱 데이터를 수집할 수 있으며, 각각의 센서에서 측정된 센싱 데이터가 정상동작으로 분류되었는지 여부는 하나의 노드로 정의될 수 있다.
이때, 제1 노드(N1)는 제1 센서에서 측정된 제1 센싱 데이터의 전체 샘플 중 몇 개가 정상동작으로 분류(예를 들어, 300개)되고, 몇 개가 이상동작으로 분류되었는지(예를 들어, 100개)를 나타낸다.
이어서, 제2 노드(N2)는, 제1 센서가 정상동작으로 분류한 샘플들 중에서, 제2 센서에서 측정된 제2 센싱 데이터의 몇 개가 정상동작으로 분류(예를 들어, 250개)되고, 몇 개가 이상동작으로 분류되었는지(예를 들어, 50개)를 나타낸다.
한편, 제3 노드(N3)는 제1 센서가 이상동작으로 분류한 샘플들 중에서, 제3 센서에서 측정된 제3 센싱 데이터의 몇 개가 정상동작으로 분류(예를 들어, 80개)되고, 몇 개가 이상동작으로 분류되었는지(예를 들어, 20개)를 나타낸다.
이러한 방식으로, 결정트리 생성모듈(153)은 수집된 데이터에 대하여 결정트리모델(decision tree model)을 생성할 수 있다.
이때, 결정트리모델은 검사 대상 장비(300) 별로 생성될 수 있으며, 특정 검사 대상 장비(300)에는 하나의 결정트리모델이 생성될 수 있다.
중요도 산출모듈(155)은, 결정트리 생성모듈(153)에서 생성된 검사 대상 장비(300)의 결정트리모델을 통하여 각 센서의 중요도를 계산한다. 우선, 각 센서의 중요도는 [수학식 2] 및 [수학식 3]을 이용하여 도출한다.
[수학식 2]
Figure 112022013659259-pat00005
[수학식 3]
Figure 112022013659259-pat00006
여기에서, Inode는 해당 노드의 중요도(즉, 해당 노드에 대응되는 센서의 중요도)를 의미하고, Gnode는 해당 노드에 대해 [수학식 2]를 이용해 도출한 지니계수를 의미하고, W는 해당 노드에서 아래로 분기된 자식 노드(child_node)의 가중치를 의미한다. 예를 들어, 해당 노드에 들어온 전체 샘플 개수가 100개이고, 왼쪽으로 분기된 샘플이 60개, 오른쪽으로 분기된 샘플이 40개인 경우, 각각의 가중치는 Wchild_node1 = 60/100, Wchild_node2 = 40/100이 된다.
이어서, 이상여부 판단모듈(157)은, 중요도 산출모듈(155)에서 도출된 센서의 중요도들을 정규화한다. 이때, 중요도의 정규화는 [수학식 4]를 이용하여 도출한다.
[수학식 4]
Figure 112022013659259-pat00007
여기에서, NIk는 K 센서의 중요도를 의미하고, [수학식 4]의 분모는 각 노드들의 중요도의 합을 의미하고, 분자는 특정 센서에 대응되는 노드의 중요도를 의미한다. 즉, [수학식 4]는 특정 노드의 중요도에서 전체 노드의 중요도의 합을 나누어, 특정 노드에 대응되는 센서의 중요도를 정규화하는 것을 의미한다.
위 과정을 통해 얻은 정규화된 각 센서의 중요도의 총합은 1이 되며, 정규화된 각 센서의 중요도는, 최종이상유무를 판단하는 가중치로 이용될 수 있다. 이때, 각 센서의 중요도는 검사 대상 장비(300)에 대한 각 센서별 민감도와 동일하게 해석되어 이용될 수 있다.
예를 들어, 도 21에 도시된 결정트리모델에 대해, 각 노드 별 지니계수, 중요도, 및 정규화된 중요도를 산출해보면 다음 [표1]과 같다.
노드 지니계수 중요도 정규화된 중요도
N1 G1: 0.375 I1: 0.087 NI1: 0.16
N2 G2: 0.278 I2: 0.224 NI2: 0.40
N3 G3: 0.320 I3: 0.245 NI3: 0.44
이어서, 이상여부 판단모듈(157)은, 각각의 센서에 대응되는 이상판별모듈에서 출력된 이상여부 판단결과에 도출된 정규화된 중요도를 적용하고, 이에 대한 총합을 미리 정해진 기준치와 비교함으로써 검사 대상 장비(300)에 대한 최종이상유무를 판단한다.
예를 들어, 도 21의 결정트리모델을 이용할 때, 제1 이상판별모듈에서 비정상이라고 판단하고, 제2 및 제3 이상판별모듈에서 정상이라고 판단하는 경우, 검사 대상 장비(300)에 대한 판단결과는 [0, 1, 1]의 값을 갖는다. 여기에 정규화된 중요도를 적용하여 총합을 계산하는 경우, 총합은 0.84를 가진다. 이때, 미리 정해진 기준치가 0.7인 경우, 이상여부 판단모듈(157)은 검사 대상 장비(300)에 대한 최종이상유무를 정상으로 판단할 수 있다.
다른 예로, 제1 내지 제3 이상동작 탐지모델에서 수신한 검사 대상 장비(320)에 대한 판단결과가 [1, 0, 0]의 값을 갖고, 각 모델의 정규화된 중요도가 [0.7, 0.1, 0.2]의 값을 갖는 경우, 정규화된 중요도를 적용한 총합은 0.7로 계산되고, 이에 따라 검사 대상 장비(300)에 대한 최종이상유무는 정상으로 판단될 수 있다.
즉, 특정 이상동작 탐지모델에서는 이상동작으로 판단하더라도, 상대적으로 중요도가 높은 다른 이상동작 탐지모델에서 정상동작으로 판단하는 경우, 이상여부 판단모듈(157)은 검사 대상 장비(300)의 동작을 정상으로 판단할 수 있다.
추가적으로 본 발명의 또 다른 실시예에서, 장비 이상 판별부(150)는 결정 트리 모델을 대신하여 랜덤 포레스트 모델(random forest)을 사용할 수 있다. 랜덤 포레스트 모델에 대한 자세한 내용은 이미 공지되어 있으므로, 여기에서 해당 설명은 생략하며, 통상의 기술자는 결정트리 모델을 대신하여 랜덤 포레스트 모델을 용이하게 본 발명에 적용하여 사용할 수 있음은 물론이다.
이를 통해, 본 발명은 검사 대상 장비의 특성과 환경에 따라, 복수의 센서에 대해 변화되는 민감도를 고려하여 각 센서에 가중치를 산출할 수 있으며, 이를 기초로 최종이상유무 판단을 도출함으로써, 보다 정확한 이상동작 판단을 수행할 수 있다.
이하에서는, 본 발명의 실시예에 따른 장비 이상 판별부(150)의 이상 탐지 방법에 대해 살펴보도록 한다.
도 22는 본 발명의 몇몇 실시예에 따른 장비 이상 판별부의 동작 방법을 설명하기 위한 순서도이다. 이하에서는, 설명의 편의를 위하여 이상 탐지 장치(100)에서 이상 탐지 방법을 수행하는 것을 예로 들어 설명하도록 한다. 또한, 전술한 내용과 중복되는 내용은 생략하고 차이점을 위주로 설명하도록 한다.
도 22를 참조하면, 이상 탐지 장치(100)는 센서별 정상동작여부에 대한 데이터를 기초로 결정트리모델을 생성한다(S410). 센서별 정상동작여부에 대한 데이터는, 결정트리모델에서 특정 노드에 할당되어 정상/비정상 동작에 대한 분기문으로 표현될 수 있다.
이어서, 이상 탐지 장치(100)는 결정트리모델에 포함된 각 노드에 대응되는 센서의 중요도를 산출한다(S420).
이어서, 이상 탐지 장치(100)는 센서의 중요도를 정규화하고(S430), 정규화된 센서의 중요도를 이용하여 검사 대상 장비(300)의 이상유무를 최종 판단한다(S440). 즉, 이상 탐지 장치(100)는 검사 대상 장비(300)에 대한 각 센서별 중요도를 산출하고, 이를 수신된 각각의 이상여부 판단결과에 적용한 뒤, 이를 기초로 검사 대상 장비(300)의 최종이상유무를 판단할 수 있다.
이어서, 이상 탐지 장치(100)는 최종적으로 검사 대상 장비(300)가 이상동작으로 판단되는 경우, 이에 대한 알림을 제공한다(S450). 이때, 알림은 미리 등록된 관리자의 단말기에 전달될 수 있다. 또한, 이상동작의 종류를 구분하고, 이상동작을 해소하기 위해 발생한 이상동작(또는, 오류)를 정상동작으로 전환하도록 하는 명령어를 해당 검사 대상 장비(300)에 전달하는 동작이 수행될 수 있음은 물론이다.
이어서, 이상 탐지 장치(100)는 이상유무에 대한 판단 결과와, 검사 대상 장비(300)의 실제이상유무를 비교하여 이상 탐지 장치(100)에 저장된 검사 대상 장비(300)에 대한 데이터베이스를 업데이트시킨다. 또한, 이상 탐지 장치(100)는 업데이트된 정상동작 데이터셋 또는 이상동작 데이터셋을 이용하여 센서별 오토인코더 또는 결정트리모델을 재학습시킬 수 있다(S460).
즉, 이상 탐지 장치(100)의 동작이 반복되어 수행될수록, 이상유무판단에 대한 데이터는 계속해서 누적된다. 이상 탐지 장치(100)는 누적된 데이터를 이용하여 보다 정확한 판단이 가능하도록 전술한 머신러닝모듈(예를 들어, 각 오토인코더 또는 결정트리모델)을 재학습시킴으로써, 최종이상유무에 대한 판단의 정확성을 향상시킬 수 있다.
도 23은 본 발명의 몇몇 실시예에 따른 이상 탐지 방법을 수행하는 시스템의 하드웨어 구현을 설명하기 위한 도면이다.
도 23을 참조하면, 본 발명의 몇몇 실시예들에 따른 이상 탐지 장치(100)는 전자 장치(1000)로 구현될 수 있다. 전자 장치(1000)는 컨트롤러(1010, controller), 입출력 장치(1020, I/O), 메모리 장치(1030, memory device), 인터페이스(1040, interface) 및 버스(1050, bus)를 포함할 수 있다. 컨트롤러(1010), 입출력 장치(1020), 메모리 장치(1030) 및/또는 인터페이스(1040)는 버스(1050)를 통하여 서로 결합될 수 있다. 이때, 버스(1050)는 데이터들이 이동되는 통로(path)에 해당한다.
구체적으로, 컨트롤러(1010)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit), 마이크로프로세서, 디지털 신호 프로세스, 마이크로컨트롤러, 어플리케이션 프로세서(AP, application processor) 및 이들과 유사한 기능을 수행할 수 있는 논리 소자들 중에서 적어도 하나를 포함할 수 있다.
입출력 장치(1020)는 키패드(keypad), 키보드, 터치스크린 및 디스플레이 장치 중 적어도 하나를 포함할 수 있다.
메모리 장치(1030)는 데이터 및/또는 프로그램 등을 저장할 수 있다.
인터페이스(1040)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(1040)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(1040)는 안테나 또는 유무선 트랜시버 등을 포함할 수 있다. 도시하지 않았지만, 메모리 장치(1030)는 컨트롤러(1010)의 동작을 향상시키기 위한 동작 메모리로서, 고속의 디램 및/또는 에스램 등을 더 포함할 수도 있다. 메모리 장치(1030)는 내부에 프로그램 또는 어플리케이션을 저장할 수 있다.
본 발명의 실시예들에 따른 이상 탐지 장치(100)는 각각 복수의 전자 장치(1000)가 네트워크를 통해서 서로 연결되어 형성된 시스템일 수 있다. 이러한 경우에는 각각의 모듈 또는 모듈의 조합들이 전자 장치(1000)로 구현될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
추가적으로, 이상 탐지 장치(100)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템, RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템, 및 EDMS(Electronic Document Management) 시스템 중 적어도 하나로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다.
또한, 이상 탐지 장치(100)는 네트워크를 통해서 센서(200) 또는 검사 대상 장비(300)에 데이터를 전송할 수 있다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.
무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DMNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
네트워크를 통해서 통신하는 이상 탐지 장치(100)는 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
정리하면, 본 발명의 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치는, 각각의 센서에서 출력된 센싱 데이터를 기초로 미리 학습된 복수의 머신러닝 모듈의 판단결과를 이용하되, 복수의 머신러닝 모듈의 판단결과를 종합적으로 반영하여 검사 대상 장비의 이상동작여부를 판단하므로, 이상동작 판단에 대한 정확도를 높일 수 있다.
또한, 본 발명은, 이상동작에 관한 데이터셋을 자동으로 생성하고, 이를 이용하여 이상 판별부를 학습시킴으로써, 충분한 이상동작 데이터를 확보할 수 있어 검사 대상 장비에 대한 이상여부 판단의 정확도를 향상시킬 수 있다. 또한, 본 발명은 이상동작에 관한 데이터셋을 확보하는 어려움을 감소시키고, 이상동작 패턴의 다양성을 확보함으로써, 사용자가 예상하지 못한 경우에 대한 이상동작 여부 판단도 가능할 수 있어, 이상탐지성능의 향상과, 제품 수율 및 기업의 이익을 극대화시킬 수 있는 효과를 나타낸다.
또한, 본 발명은, 검사 대상 장비의 이상여부 뿐만 아니라 이상부위까지 함께 판단할 수 있으므로, 검사 대상 장비에 대한 빠른 수리 및 유지보수가 가능하다. 따라서, 본 발명은 기계장비 유지보수에 필요한 리소스를 최소화할 수 있으며, 제품생산라인이 기계 오작동으로 인하여 중단됨에 따라 발생할 수 있는 손해를 최소화할 수 있다.
또한, 본 발명은, 최종이상유무에 대한 판단결과와 검사 대상 장비의 실제이상유무를 비교하여 지속적으로 머신러닝 모델을 학습시키고, 각 센서에 대한 가중치를 조절함으로써, 데이터가 쌓일수록 더 정확한 판단결과를 도출할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 검사 대상 장비의 이상동작여부를 판단하는 이상 탐지 장치에 있어서,
    서로 다른 제1 내지 제3 센서로부터 상기 검사 대상 장비에 대한 서로 다른 센싱 데이터를 수신하는 데이터 수신부;
    각각의 상기 제1 내지 제3 센서에 대한 동작 데이터셋을 포함하는 데이터베이스부;
    상기 제1 내지 제3 센서에 각각 대응되는 제1 내지 제3 오토인코더를 포함하는 학습부;
    상기 제1 내지 제3 오토인코더에 각각 대응되는 제1 내지 제3 이상판별모듈을 포함하는 파라미터 이상 판별부; 및
    상기 제1 내지 제3 이상판별모듈에서 출력된 각각의 이상여부 판단결과를 수신하고, 이를 기초로 상기 검사 대상 장비에 대한 최종이상유무를 판단하는 장비 이상 판별부를 포함하되,
    상기 제1 센서는 상기 검사 대상 장비에 대한 진동을 감지하고, 상기 제2 센서는 상기 검사 대상 장비의 소리를 감지하며, 상기 제3 센서는, 상기 검사 대상 장비의 동작 모션을 감지하고,
    상기 제1 내지 제3 이상판별모듈은, 서로 다른 전처리 과정을 통해 수신된 입력 데이터를 기초로, 상기 제1 내지 제3 센서에 대한 각각의 이상여부 판단결과를 출력하되,
    상기 제1 이상판별모듈은, 대응되는 상기 제1 오토인코더의 입출력 데이터의 차이값과 미리 정해진 기준치를 비교함으로써, 상기 검사 대상 장비의 이상여부를 판단하고,
    상기 제2 이상판별모듈은, 대응되는 상기 제2 오토인코더의 입출력 데이터의 차이값과 미리 정해진 기준치를 비교함으로써, 상기 검사 대상 장비의 이상여부를 판단하고,
    상기 제3 이상판별모듈은, 정상동작 데이터셋 및 이상동작 데이터셋을 이용하여 학습된 뉴럴 네트워크를 이용하여, 상기 검사 대상 장비의 이상여부를 판단하는
    이상 탐지 장치.
  2. 제1 항에 있어서,
    상기 장비 이상 판별부는, 결정트리모델을 이용하여, 상기 복수의 이상판별모듈에 대한 각각의 중요도를 산출하고, 이를 기초로 상기 최종이상유무를 판단하는 것을 포함하는 이상 탐지 장치.
  3. 제2 항에 있어서,
    상기 장비 이상 판별부는,
    상기 제1 이상판별모듈에서 출력된 제1 이상동작여부에 대한 값에 상기 결정트리모델을 이용하여 도출된 상기 제1 센서에 대한 제1 중요도를 적용하고,
    상기 제2 이상판별모듈에서 출력된 제2 이상동작여부에 대한 값에 상기 결정트리모델을 이용하여 도출된 상기 제2 센서에 대한 제2 중요도를 적용하고,
    상기 제3 이상판별모듈에서 출력된 제3 이상동작여부에 대한 값에 상기 결정트리모델을 이용하여 도출된 상기 제3 센서에 대한 제3 중요도를 적용하고,
    상기 제1 내지 제3 중요도를 이용하여 도출된 총합이, 미리 정해진 기준치를 초과하는지 여부를 기초로 상기 최종이상유무를 판단하는 것을 포함하는 이상 탐지 장치.
  4. 삭제
  5. 제1 항에 있어서,
    상기 학습부는, 정상 동작으로 판별된 상기 검사 대상 장비의 진동 센싱 데이터로 구성된 제1 정상동작 데이터셋을 이용하여 상기 제1 오토인코더의 비지도 학습을 수행하고,
    상기 제1 이상판별모듈은,
    상기 제1 센서에서 감지된 진동 센싱 데이터와, 상기 진동 센싱 데이터를 입력으로 상기 제1 오토인코더에서 출력된 제1 복원 데이터를 수신하고,
    상기 진동 센싱 데이터와 상기 제1 복원 데이터의 차이값을 도출하고,
    상기 차이값을 미리 정해진 제1 기준치와 비교함으로써 도출된 제1 이상동작여부를 출력하는 이상 탐지 장치.
  6. 제1 항에 있어서,
    상기 제2 이상판별모듈은,
    상기 제2 센서에서 감지된 음향 센싱 데이터를 노이즈 제거 모듈에 인가하여 노이즈가 제거된 측정 센싱 데이터와, 상기 측정 센싱 데이터를 입력으로 상기 제2 오토인코더에서 출력된 제2 복원 데이터를 수신하고,
    상기 측정 센싱 데이터와 상기 제2 복원 데이터의 차이값을 도출하고,
    상기 차이값을 미리 정해진 제2 기준치와 비교함으로써 도출된 제2 이상동작여부를 출력하는 이상 탐지 장치.
  7. 제6 항에 있어서,
    상기 노이즈 제거 모듈은,
    학습 노이즈 데이터 및 학습 정상 음향 데이터를 이용하여, 제1 학습 이미지 데이터를 생성하고,
    상기 제1 학습 이미지 데이터를 노이즈 제거용 오토인코더의 입력으로 인가하고, 상기 학습 정상 음향 데이터를 이용하여 생성된 제2 학습 이미지 데이터를 상기 노이즈 제거용 오토인코더의 출력으로 인가함으로써, 상기 노이즈 제거용 오토인코더를 학습시키고,
    학습된 상기 노이즈 제거용 오토인코더를 이용하여, 상기 제2 센서에서 감지된 음향 센싱 데이터에서 노이즈가 제거된 상기 측정 센싱 데이터를 생성하는 것을 포함하는 이상 탐지 장치.
  8. 제1 항에 있어서,
    상기 제3 이상판별모듈은, 서로 다른 제3a 오토인코더 및 제3b 오토인코더를 이용하여 미리 학습된 상기 뉴럴 네트워크를 이용하여 제3 이상동작여부를 출력하되,
    상기 제3a 오토인코더는, 정상동작 데이터셋을 기초로 미리 학습되고,
    상기 제3b 오토인코더는, 상기 정상동작 데이터셋을 기초로 미리 학습되되, 상기 제3a 오토인코더보다 적은 횟수로 학습된 이상 탐지 장치.
  9. 제8 항에 있어서,
    상기 학습부는,
    상기 정상동작 데이터셋에 포함된 정상동작 이미지와, 상기 정상동작 이미지를 상기 제3a 오토인코더에 인가하여 출력된 제1 정상변환 이미지를 상기 제3 이상판별모듈의 입력 노드에 인가하고, 상기 제3 이상판별모듈의 출력 노드에 정상을 나타내는 값을 인가하여, 상기 제3 이상판별모듈을 지도학습시키는 (a) 단계와,
    상기 정상동작 이미지를 상기 제3b 오토인코더에 인가하여 출력된 제2 정상변환 이미지와, 상기 이상동작 데이터셋에 포함된 이상동작 이미지를 상기 제3 이상판별모듈의 입력 노드에 인가하고, 상기 제3 이상판별모듈의 출력 노드에 비정상을 나타내는 값을 인가하여, 상기 제3 이상판별모듈을 지도학습시키는 (b) 단계를 수행하는 이상 탐지 장치.
  10. 제8 항에 있어서,
    상기 이상동작 데이터셋을 생성하는 이상 데이터 생성부를 더 포함하되,
    상기 이상 데이터 생성부는,
    임의의 제1 랜덤 이미지를 상기 제3b 오토인코더에 인가하여 출력된 제1 변환 이미지와, 임의의 제2 랜덤 이미지를 상기 제3b 오토인코더에 인가하여 출력된 제2 변환 이미지를 합성하여 중간 이미지를 생성하고,
    생성된 상기 중간 이미지를 상기 제3a 오토인코더에 인가하여 출력된 이상동작 이미지를 상기 이상동작 데이터셋에 저장하는 것을 포함하는 이상 탐지 장치.
KR1020220015812A 2022-02-07 2022-02-07 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치 KR102469871B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220015812A KR102469871B1 (ko) 2022-02-07 2022-02-07 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220015812A KR102469871B1 (ko) 2022-02-07 2022-02-07 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치

Publications (1)

Publication Number Publication Date
KR102469871B1 true KR102469871B1 (ko) 2022-11-23

Family

ID=84236799

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220015812A KR102469871B1 (ko) 2022-02-07 2022-02-07 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치

Country Status (1)

Country Link
KR (1) KR102469871B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117706360A (zh) * 2024-02-02 2024-03-15 深圳市昱森机电有限公司 电机运行状态的监测方法、装置、设备及存储介质
KR102665174B1 (ko) * 2023-11-22 2024-05-13 다겸 주식회사 이상 탐지를 위한 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039205A (ko) * 2016-10-07 2018-04-18 고려대학교 산학협력단 개선된 RTC(Real-time contrasts) 기법을 이용한 지능형 이상 진단 방법 및 장치
JP2021128423A (ja) * 2020-02-12 2021-09-02 株式会社豊田中央研究所 異常検知装置及び異常検知プログラム
KR102334590B1 (ko) * 2020-05-29 2021-12-02 경기대학교 산학협력단 인공신경망을 이용한 제조기계 고장판별예측 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039205A (ko) * 2016-10-07 2018-04-18 고려대학교 산학협력단 개선된 RTC(Real-time contrasts) 기법을 이용한 지능형 이상 진단 방법 및 장치
JP2021128423A (ja) * 2020-02-12 2021-09-02 株式会社豊田中央研究所 異常検知装置及び異常検知プログラム
KR102334590B1 (ko) * 2020-05-29 2021-12-02 경기대학교 산학협력단 인공신경망을 이용한 제조기계 고장판별예측 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102665174B1 (ko) * 2023-11-22 2024-05-13 다겸 주식회사 이상 탐지를 위한 전자 장치
CN117706360A (zh) * 2024-02-02 2024-03-15 深圳市昱森机电有限公司 电机运行状态的监测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR102469871B1 (ko) 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치
CN112784881B (zh) 网络异常流量检测方法、模型及系统
Jiang et al. A decentralized unsupervised structural condition diagnosis approach using deep auto‐encoders
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
JP6798614B2 (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP2015057630A (ja) 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム
US20220108434A1 (en) Deep learning for defect detection in high-reliability components
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN113158722A (zh) 基于多尺度深度神经网络的旋转机械故障诊断方法
Jiménez et al. Machine learning and neural network for maintenance management
CN111428772B (zh) 基于k-近邻自适应投票的光伏系统深度异常检测方法
KR20230052440A (ko) Ｃｎｎ 기반의 수위 예측 모델 구현 방법 및 장치
CN114037001A (zh) 基于wgan-gp-c和度量学习的机械泵小样本故障诊断方法
CN113988268A (zh) 基于无监督全属性图的异构多源时序异常检测方法
CN113780160B (zh) 一种电能质量扰动信号分类方法和系统
CN113758709A (zh) 结合边缘计算和深度学习的滚动轴承故障诊断方法及系统
JP4886460B2 (ja) 異常監視装置
KR102611399B1 (ko) 1차원 오토인코더를 이용한 이상 탐지 장치
Li et al. A robust fault diagnosis method for rolling bearings based on deep convolutional neural network
CN116402777A (zh) 基于机器视觉的电力设备检测方法及系统
KR102459220B1 (ko) 다중 센서 기반의 이상 탐지 장치 및 방법
Aydin et al. A New Hybrid Diagnosis of Bearing Faults Based on Time-Frequency Images and Sparse Representation.
KR102608977B1 (ko) 전처리된 모션 이미지를 이용한 이상 탐지 장치
Zhou et al. Multisensor‐Based Heavy Machine Faulty Identification Using Sparse Autoencoder‐Based Feature Fusion and Deep Belief Network‐Based Ensemble Learning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant