KR102472134B1 - 심층학습을 기반으로 한 설비 진단 시스템 및 방법 - Google Patents

심층학습을 기반으로 한 설비 진단 시스템 및 방법 Download PDF

Info

Publication number
KR102472134B1
KR102472134B1 KR1020180036603A KR20180036603A KR102472134B1 KR 102472134 B1 KR102472134 B1 KR 102472134B1 KR 1020180036603 A KR1020180036603 A KR 1020180036603A KR 20180036603 A KR20180036603 A KR 20180036603A KR 102472134 B1 KR102472134 B1 KR 102472134B1
Authority
KR
South Korea
Prior art keywords
data
deep learning
facility
time
cnn
Prior art date
Application number
KR1020180036603A
Other languages
English (en)
Other versions
KR20190114221A (ko
Inventor
오경환
이호열
박원기
서종휘
장영일
곽하녹
최성호
장병탁
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020180036603A priority Critical patent/KR102472134B1/ko
Priority to CN201910145828.9A priority patent/CN110334886B/zh
Priority to US16/291,419 priority patent/US11269321B2/en
Publication of KR20190114221A publication Critical patent/KR20190114221A/ko
Application granted granted Critical
Publication of KR102472134B1 publication Critical patent/KR102472134B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명의 기술적 사상은 설비의 정상 데이터와 비정상 데이터를 함께 이용하고, 설비의 진단을 정확하고 효과적으로 수행할 수 있는 설비 진단 시스템 및 방법을 제공한다. 그 설비 진단 시스템은 설비에 대하여 시계열 데이터(time series data)를 수집하는 데이터 수집 장치; 푸리에 변환(Fourier transform)을 통해 상기 시계열 데이터를 주파수 데이터로 변환하되 시계열 성분이 포함되도록 전처리하는 전처리부(preprocessing unit); 상기 주파수 데이터를 이용하여 CNN(Convolution Neural Network)을 통해 심층학습(deep learning)을 수행하는 심층학습부(deep learning unit); 및 상기 심층학습을 기반으로 하여 상기 설비에 대한 고장 여부를 판단하는 진단부(diagnosis unit);를 포함한다.

Description

심층학습을 기반으로 한 설비 진단 시스템 및 방법{Equipment diagnosis system and method based on deep learning}
본 발명의 기술적 사상은 설비의 고장 여부를 판단하는 설비 진단기술에 관한 것으로, 특히 심층학습(deep learning)을 기반으로 설비의 고장 여부를 판단하는 설비 진단기술에 관한 것이다.
종래의 설비 진단기술은 설비 내부에서 발생하는 데이터를 수집하고 이를 활용하여 구동부의 열화 및/또는 고장을 모니터링 함으로써, 사전에 부품 고장 여부 확인, 부품 수급, 사전 조치 등을 통해 설비의 가동률의 저하가 최소가 되도록 CBM(Condition Based Management)을 수행하여 왔다. 예컨대, 모터 드라이버(driver)에서 수집할 수 있는 토크(Torque) 및 속도(Speed) 데이터, 설비의 내/외부 진동 데이터, 온도, 경사, 전류, 기압, 압력, 알람 데이터 등을 센서나 DAQ(Data Acquisition) 등으로 획득하여 활용함으로써, 설비의 고장 진단을 예측하고 있다. 그러나 기존의 설비 진단기술은 몇 가지 애로 사항들이 있는데, 대표적인 애로 사항은 다음과 같다.
첫 번째는 일반적으로 설비로부터 시계열(time series) 데이터를 획득하게 되는데, 시간 도메인(Time domain) 상에서 획득된 시계열 데이터를 직접 정량화하여 설비를 진단하기 어렵다는 점이다. 왜냐하면, 구동부별 구조적인 특징에 따라서 각 부품의 고유 주파수에 해당하는 진동이 데이터에 포함되어 있기 때문이다. 따라서, 설비의 정량적인 진단을 하기 위해서 도메인을 시간에서 주파수(frequency)로 변경하여 진단을 수행하게 되는데, 주파수 특성을 보다 넓은 범위(range)에서 정확히 측정하기 위해서 샘플링 레이트(sampling rate)를 높이게 되고 이에 따라 데이터 사이즈가 증가하는 문제가 있다.
두 번째는 설비별, 공정별, 모델별, 구동 축별 데이터의 특성이 모두 다르기 때문에, 효과적인 진단을 위해서는 각각의 데이터의 특성이 반영된 개별 진단 알고리즘이 필요하다. 그러나 그러한 개별 진단 알고리즘을 구축하는 데에는 많은 시간, 비용, 및 노력이 요구되고, 또한, 구축된 진단 알고리즘은 해당 데이터에만 적용되므로 효용성 측면에서 한계가 있다.
세 번째는 데이터를 취득함에 있어, 대부분은 정상 데이터이고 간헐적으로 발생하는 고장 데이터의 양은 매우 적다. 그러나 설비의 진단에서, 보통 고장 데이터만을 이용하고, 대부분의 정상 데이터는 수집 직후에 버려진다. 따라서, 정상 데이터의 활용 측면에서 문제가 있고, 또한 설비 진단의 신뢰성 측면에도 문제가 있을 수 있다. 한편, 본 발명의 배경 기술은 대한민국 공개특허공보 10-2015-0139212(2015.12.11) 및 미국 공개특허공보 US 2016/0163035(2016.06.09)에 개시되어 있다.
본 발명의 기술적 사상은 설비의 정상 데이터와 비정상 데이터를 함께 이용하고, 설비의 진단을 정확하고 효과적으로 수행할 수 있는 설비 진단 시스템 및 방법을 제공하는 데에 있다.
또한, 본 발명의 기술적 사상은 어느 한 종류의 설비에 한정되지 않고, 이종의 설비들에 범용적으로 적용할 수 있는 설비 진단 시스템 및 방법을 제공하는 데에 있다.
상기 과제를 해결하기 위하여, 본 발명의 기술적 사상은, 설비에 대하여 시계열 데이터(time series data)를 수집하도록 구성된 데이터 수집 장치; 푸리에 변환(Fourier transform)을 통해 상기 시계열 데이터를 주파수 데이터로 변환하되 시계열 성분이 포함되도록 전처리하도록 구성된 전처리부(preprocessing unit); 상기 주파수 데이터를 이용하여 CNN(Convolution Neural Network)을 통해 심층학습(deep learning)을 수행하도록 구성된 심층학습부(deep learning unit); 및 상기 심층학습을 기반으로 하여 상기 설비에 대한 고장 여부를 판단하도록 구성된 진단부(diagnosis unit);를 포함하는, 설비 진단 시스템을 제공한다.
또한, 본 발명의 기술적 사상은, 상기 과제를 해결하기 위하여, 데이터 수집 장치에서, 설비에 대하여 시계열 데이터를 수집하는, 데이터 수집 단계; 컴퓨터의 전처리부에서, 푸리에 변환을 통해 상기 시계열 데이터를 주파수 데이터로 변환하되 시계열 성분이 포함되도록 전처리하는, 전처리 단계; 상기 컴퓨터의 심층학습부에서, 상기 주파수 데이터를 이용하여 CNN을 통해 심층학습을 수행하는, 심층학습 단계; 및 진단부에서, 상기 심층학습을 기반으로 하여 상기 설비에 대한 고장 여부를 판단하는, 설비진단 단계;를 포함하는, 설비 진단 방법을 제공한다.
더 나아가, 본 발명의 기술적 사상은, 상기 과제를 해결하기 위하여, 데이터 수집 장치에서, 설비에 대하여 복수의 종류의 데이터를 수집하는, 데이터 수집 단계; 컴퓨터의 심층학습부에서, 상기 복수의 종류의 데이터를 이용하여 CNN을 통해 멀티-모달(multi-modal) 심층학습을 수행하는, 심층학습 단계; 및 진단부에서, 상기 심층학습을 기반으로 하여 상기 설비에 대한 고장 여부를 판단하는, 설비진단 단계;를 포함하는, 설비 진단 방법을 제공한다.
본 발명의 기술적 사상에 의한 심층학습을 기반으로 한 설비 진단 시스템 및 방법은, 전처리부에서 설비로부터의 시계열 데이터를 주파수 데이터로 변환하되 시계열 특성이 포함되도록 전처리함으로써, 데이터 사이즈의 증가 문제를 해결하고, 또한, 이미지 데이터로 세부 구간 추출의 필요성을 제거할 수 있다. 또한, 전처리부로부터의 주파수 데이터를 이용하여 심층학습부에서 CNN를 통해 심층학습을 수행함으로써, 설비에 대한 고장 여부를 정확하고 효과적으로 판단하여 진단할 수 있도록 한다.
또한, 본 발명의 기술적 사상에 의한 심층학습을 기반으로 한 설비 진단 시스템 및 방법은, 이종의 데이터를 함께 이용하여 CNN을 통해 멀티-모달 심층학습을 수행함으로써, 설비의 진단 정합률을 향상시킬 수 있다. 더 나아가, 이종의 설비로부터의 이종의 데이터를 함께 통합하고 통합된 데이터를 이용하여 CNN을 통해 멀티-모달 심층학습을 수행함으로써, 이종 설비 각각의 진단 정합률, 및 새로운 설비의 진단 정합률을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 설비 진단 시스템을 개략적으로 보여주는 블록 구조도이다.
도 2는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이다.
도 3a 및 도 3b는 도 2의 설비 진단 방법에서, 전처리 단계를 좀더 구체적으로 보여주는 흐름도 및 그에 대응하는 그래프들이다.
도 3c는 도 3a의 전처리 단계와는 다른 전처리 단계를 통해 획득한 그래프이다.
도 4a는 도 2의 설비 진단 방법의 데이터 수집 단계, 일반적인 FFT 변환, 및 도 3a의 전처리 단계에 대응하는 그래프들이다.
도 4b는 도 3a의 전처리 단계를 통해 획득한 그래프들이다.
도 5는 도 2의 설비 진단 방법에서, CNN을 통한 심층학습 단계를 개략적으로 보여주는 개념도이다.
도 6a 내지 도 6c는 도 5의 CNN을 통한 심층학습 단계에서, 컨볼루션을 개략적으로 설명하기 위한 개념도, 활성화 함수에 대한 그래프, 및 풀링을 개략적으로 설명하기 위한 개념도이다.
도 7은 도 5의 심층학습 단계에서, 2차원(2D) CNN과 1차원(1D) CNN를 개략적으로 설명하기 위한 개념도이다.
도 8은 도 5의 심층학습 단계에서, 2층 CNN의 구조를 개략적으로 보여주는 개념도이다.
도 9는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이다.
도 10a는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이다.
도 10b는 도 10a의 설비 진단 방법을 개념적으로 보여주는 블록 구조도이다.
도 10c 및 도 10d는 도 10a의 주파수 데이터 통합 단계에서 주파수 데이터의 통합을 예시적으로 보여주는 그래프들이다.
도 11a는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이다.
도 11b는 도 11a의 설비 진단 방법을 개념적으로 보여주는 블록 구조도이다.
도 12a는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이다.
도 12b는 도 12a의 설비 진단 방법을 개념적으로 보여주는 블록 구조도이다.
도 13은 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 이들에 대한 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 설비 진단 시스템을 개략적으로 보여주는 블록 구조도이다.
도 1을 참조하면, 본 실시예의 설비 진단 시스템(1000)은 데이터 수집 장치(100), 전처리/학습용 컴퓨터(200), 진단부(300) 및 피드백부(400)를 포함할 수 있다.
데이터 수집 장치(100)는 진단 대상인 설비(2000)로부터 데이터를 수집할 수 있다. 여기서, 설비(2000)는, 예컨대, 반도체 공정에 이용되는 반도체 설비일 수 있다. 물론, 설비(2000)가 반도체 설비에 한정되는 것은 아니다. 한편, 반도체 설비의 경우, 여러 단계의 반도체 공정에 대응하여 다양한 종류와 모델이 존재할 수 있다. 예컨대, 반도체 후공정의 경우, 패키지 공정, 검사 공정, 모듈 공정 등이 존재하고, 각각의 공정에 수십 가지의 설비들이 있고, 또한 설비들 각각에도 다양한 모델들이 존재할 수 있다.
데이터 수집 장치(100)는 이러한 다양한 설비들에 대한 데이터, 예컨대, 설비에 포함된 모터의 토크(Torque), 속도(Speed) 데이터, 설비 내/외부의 진동, 온도, 기압, 압력 데이터, 설비의 경사, 전류 데이터 등을 센서 및/또는 제어장치(1500)를 통해 수집할 수 있다. 예컨대, 설비(2000)에 포함된 모터의 경우, 모터를 제어하는 서보 드라이버(servo driver)를 통해 토크나 속도 등에 대한 데이터를 수집할 수 있다. 한편, 데이터 수집 장치(100)는 예컨대, DAQ(Data Acquisition) 보드(board)를 포함할 수 있고, 또한, DAQ 보드에 실장된 A/D(Analog/Digital) 컨버터를 포함할 수 있다.
한편, 본 실시예의 설비 진단 시스템(1000)에서, 데이터 수집의 매개 역할을 하는 센서 및/또는 제어장치(1500)는 데이터 수집 장치(100)와는 별개의 구성요소로서, 설비 진단 시스템(1000)에 포함되지 않을 수 있다. 그러나 실시예에 따라, 센서 및/또는 제어장치(1500)는 설비 진단 시스템(1000)에 포함될 수 있다. 또한, 센서 및/또는 제어장치(1500)는 기능적인 측면에서 데이터 수집 장치(100)의 일부로서 포함될 수도 있다. 더 나아가, 실시예에 따라, 진단의 대상이 되는 설비(2000)도 설비 진단 시스템(1000)에 포함될 수도 있다.
한편, 데이터 수집 장치(100)가 설비(2000)로부터 수집한 데이터는 시계열(time series) 데이터일 수 있다. 시계열 데이터는 시간의 흐름에 따라 일정한 간격으로 수집되는 데이터로서, 시간의 함수로서 표현될 수 있고, 시간 도메인(Time domain) 상의 데이터에 해당할 수 있다. 그러나 데이터 수집 장치(100)에서 수집하는 설비(2000)에 대한 데이터가 시계열 데이터에 한정되는 것은 아니다. 예컨대, 설비(2000)에 대한 데이터는 설비(2000)의 사양 등에 대한 텍스트 데이터를 포함할 수 있고, 데이터 수집 장치(100)는 텍스트 데이터와 같은 비시계열 데이터를 수집할 수도 있다.
전처리/학습용 컴퓨터(200)는 전처리부(210)와 심층학습부(220)를 포함할 수 있다. 전처리/학습용 컴퓨터(200)는, 예컨대, 전처리(preprocessing) 프로세스 및 심층학습(deep learning) 프로세스를 수행하기 위한 일반 PC(Personal Computer), 워크스테이션(workstation), 슈퍼컴퓨터 등일 수 있다. 물론, 전처리/학습용 컴퓨터(200)가 상기 예시된 종류의 컴퓨터에 한정되는 것은 아니다. 예컨대, 실시예에 따라, 스마트폰과 같은 휴대형 장치도 전처리/학습용 컴퓨터(200)로 이용될 수 있다. 여기서, 전처리 프로세스는 전처리부(210)에서 프로그램을 실행함으로써 수행될 수 있고, 데이터 수집 장치(100)로부터의 시계열 데이터에 대하여 푸리에 변환(Fourier transform) 등의 전처리를 수행할 수 있다. 또한, 심층학습(deep learning) 프로세스는 심층학습부(220)에서 프로그램을 실행함으로써 수행될 수 있고, 전처리부(210)로부터의 이미지 데이터를 이용하여 심층학습을 수행할 수 있다.
전처리부(210)와 심층학습부(220)에 대해서 좀더 구체적으로 설명하면, 전처리부(210)는 데이터 수집 장치(100)로부터의 시계열 데이터를 푸리에 변환을 통해, 주파수 영역(frequency domain) 상의 데이터, 즉, 주파수 데이터로 변환하는 전처리를 수행할 수 있다. 전술한 바와 같이 시간 영역(Time domain) 상에서 수집된 시계열 데이터를 바로 정량화하여 설비를 진단하는 것은 어렵다. 따라서, 전처리부(210)는 일단 푸리에 변환을 통해 시계열 데이터를 주파수 데이터로 변환하는 전처리를 수행할 수 있다.
본 실시예의 설비 진단 시스템(1000)에서, 전처리부(210)는 시계열 특성 또는 성분이 주파수 데이터에 포함되도록 전처리를 수행할 수 있다. 예컨대, 전처리부(210)는 시계열 데이터를 STFT(Short Time Fourier Transform) 또는 워터폴 FFT(waterfall Fast Fourier Transform)를 통해 시계열 특성이 포함된 주파수 데이터, 즉, 주파수와 시계열 특성이 모두 포함된 이미지 데이터로 변환할 수 있다. STFT와 워터폴 FFT는 시간 개념이 포함된다는 측면에서 일반적인 FFT와는 다를 수 있다. 그러나 STFT와 워터폴 FFT 모두 FFT가 수행된다는 측면에서 넓은 개념의 FFT에 포함될 수 있다. STFT와 워터폴 FFT에 대해서는 도 3a 내지 도 3c의 설명 부분에서 좀더 상세히 설명한다.
전처리부(210)가 시계열 특성이 주파수 데이터에 포함되도록 전처리함으로써, 샘플링 레이트의 증가에 의한 데이터 사이즈의 증가 문제를 해결하고, 또한, 이미지 데이터로 세부 구간 추출의 필요성을 제거할 수 있다. 예컨대, 반도체 설비의 경우, 시간에 따른 반복성이 크고 그에 따라 차후 심층학습에서 학습성이 높을 수 있다. 그러나 일반적인 FFT를 통해 획득한 주파수 데이터의 경우, 시간 개념이 포함되어 있지 않으므로 반복성이 무시되고, 샘플링 레이트 증가에 따른 데이터 사이즈 증가로 인해 차후 심층학습의 시간이 크게 증가할 수 있다. 또한, 심층학습의 시간의 감소 또는 학습성의 증가 등을 위해 이미지 데이터로 세부 구간의 추출이 필요할 수 있다.
그에 반해, 본 실시예의 설비 진단 시스템(1000)에서, 전처리부(210)는 시계열 특성이 주파수 데이터에 포함되도록 전처리하는 과정에서, 비교적 좁은 범위에 대해 샘플링을 수행함으로써, 데이터 사이즈의 증가를 방지할 수 있다. 또한, 전처리부(210)는 필요한 시간 구간, 예컨대 설비의 가동 시간에 대응하여 전처리를 수행함으로써, 심층학습에 효과적인 이미지 데이터를 생성할 수 있다. 더 나아가, 필요한 시간 구간에 대하여, 시계열 특성이 포함된 주파수 데이터, 즉 이미지 데이터가 생성되기 때문에, 별도의 이미지 데이터로 세부 구간을 추출할 필요가 없다.
참고로, 반도체 설비의 경우, 고장 시 정상 상태와 다른 다양한 주파수 부팅(booting)이 발생할 수 있는데, 단순히 FFT를 통해서는 고장 상태와 정상 상태 간의 구별이 힘들 수 있다. 그러나 STFT를 수행하면, 주파수 특징이 효과적으로 표현되고, 고장 상태와 정상 상태 간의 구별이 용이하여, 설비의 고장 여부를 비교적 쉽게 확인할 수 있다. 다만, 설비에 따라, STFT를 통하여 고장 여부를 쉽게 확인할 수 있는 설비가 있는가 하면, 고장 여부의 확인이 모호한 설비가 있을 수 있다. 따라서, 모든 설비에 대하여 고장 여부를 보다 정확하고 효율적으로 판단할 수 있는 방법이 필요할 수 있다.
심층학습부(220)는 전처리부(210)로부터의 주파수 데이터, 즉, 이미지 데이터를 이용하여 CNN(Convolution Neural Network)을 통해 심층학습(deep learning)을 수행할 수 있다. 여기서, CNN은 이미지 데이터를 이용하여 특징을 추출하여 지표화하는 심층학습 방법으로, 이러한 CNN을 통해 심층학습을 수행함으로써, 설비(2000)의 고장 여부에 대하여 정확하고 효과적인 판단의 기초를 제공할 수 있다. 예컨대, 각 설비(2000)의 고장 및 정상 데이터의 특징을 파악할 수 있는데, 이를 지표화한 소수의 정상 및 고장이 확인된 데이터(이하, 라벨된(labeled) 데이터)에 대한 심층학습을 통하여, 다수의 정상 및 고장이 확인되지 않은 데이터(이하, 언라벨된(unlabeled) 데이터)에 대하여, 정상 및 고장에 대한 라벨링을 할 수 있다. 이 방법은 실제 현장에서 취득되는 데이터가 대부분 언라벨된 데이터이고, 라벨링이 용이하지 못한 현실에서 매우 유용하게 활용될 수 있다.
수식을 통해 다시 간단히 설명하면, x--> f(x) --> y 과정을 통해 심층학습이 수행된다고 하자, 여기서, x는 입력되는 설비(2000)의 상태에 대응하는 이미지 데이터이고, f(x)는 심층학습에 이용되는 학습 방법, 예컨대 CNN이며, y는 CNN의 결과라고 하자. 한편, 심층학습 결과 정상 상태에 대해서는 0이 나오고 고장 상태에 대해서는 1이 나와야 한다고 하자. 먼저, 입력 데이터 x로서, 정상 및 고장 상태가 알려진 이미지 데이터, 즉 라벨된 데이터를 f(x)에 입력하여 올바른 결과가 나올 때까지 f(x)을 계속 변경하면서 심층학습을 수행한다. 다시 말해서, 정상 상태에 대응하는 이미지 데이터에 대해서는 0에 근접한 y 값이 나오고 고장 상태에 대응하는 이미지 데이터에 대해서는 1에 근접한 y 값이 나오도록 f(x)의 함수를 변경하면서 심층학습을 수행한다. 어느 정도 바람직한 f(x)을 획득한 후, 정상 및 고장 상태를 모르는 이미지 데이터, 즉 언라벨된 데이터를 입력 데이터 x로서, f(x)에 입력하고, y 값을 확인하여 1에 가까우면 정상 상태로 판단하고 0에 가까우면 고장 상태로 판단하여 라벨링을 할 수 있다. 이후, 정상 상태 또는 고장 상태가 새로이 판단된 데이터, 즉 새로이 라벨링 한 데이터는 심층학습에 라벨된 데이터로 다시 활용되어 심층학습의 정합성을 향상시키는 데에 기여할 수 있다. CNN에 대해서는 도 5 내지 6c의 설명 부분에서 보다 상세하게 설명한다.
진단부(300)는 심층학습부(220)의 심층학습의 결과를 기초로 하여 설비(2000)의 고장 여부를 판단할 수 있다. 예컨대, 진단부(300)는 CNN을 통한 심층학습의 결과인 y 값이 1에 가까우면 설비(2000)가 고장 상태에 있는 것으로 진단하고, y 값이 0에 가까우면 설비(2000)가 정상 상태에 있는 것으로 진단할 수 있다.
한편, 진단부(300)는 전처리/학습용 컴퓨터(200)와는 별도의 장치일 수 있고, 심층학습부(220)의 심층학습의 결과를 받아 설비(2000)의 상태를 진단할 수 있다. 실시예에 따라, 진단부(300)는 진단 프로세스로서 전처리/학습용 컴퓨터(200) 내에 포함될 수도 있다.
피드백부(400)는 진단부(300)로부터의 진단 결과를 온-라인(on-line) 및 오프-라인(off-line) 중 적어도 하나를 통해 사용자에게 알릴 수 있다. 예컨대, 피드백부(400)는 E-mail, SNS, LED, Display, 부저, 등의 다양한 수단을 통해 사용자에게 진단 결과를 알릴 수 있다. 또한, 피드백부(400)는 PC, 스마트폰, Tablet PC 등의 온-라인 또는 모바일(mobile)을 통하여 실시간으로 사용자에게 진단 결과를 알릴 수도 있다. 따라서, 본 실시예의 설비 진단 시스템(1000)은 설비(2000)의 상태를 실시간으로 모니터링 하는 실시간 모니터링 시스템에 해당할 수 있다. 한편, 피드백부(400)는 설비(2000)가 고장 상태로 진단된 경우에, 설비(2000)에 직접 또는 센서 및/또는 제어장치(1500)로 신호를 보내 설비(2000)의 동작을 중단시키는 설비 인터락(interlock)을 수행하도록 할 수도 있다.
피드백부(400)는 전처리/학습용 컴퓨터(200)와는 별도의 장치일 수 있고, 진단부(300)로부터 설비(2000)의 진단 결과를 받아 사용자에게 알릴 수 있다. 실시예에 따라, 피드백부(400)는 피드백 프로세스로서 전처리/학습용 컴퓨터(200) 내에 포함될 수도 있다. 또한, 실시예에 따라, 피드백부(400)는 생략될 수도 있다.
본 실시예의 설비 진단 시스템(1000)은, 전처리부(210)에서 설비(2000)로부터의 시계열 데이터를 주파수 데이터로 변환하되 시계열 특성이 포함되도록 전처리함으로써, 데이터 사이즈의 증가 문제를 해결하고, 또한, 이미지 데이터로 세부 구간 추출의 필요성을 제거할 수 있다. 또한, 본 실시예의 설비 진단 시스템(1000)은, 전처리부(210)로부터의 주파수 데이터를 이용하여 심층학습부(220)에서 CNN를 통해 심층학습을 수행함으로써, 설비에 대한 고장 여부를 정확하고 효과적으로 판단하여 진단할 수 있도록 한다.
도 2는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이다. 도 2의 설비 진단 방법은, 예컨대, 도 1의 설비 진단 시스템에 의해 실행될 수 있다. 도 1을 함께 참조하여 설명하고, 도 1의 설명 부분에서 이미 설명한 내용은 간단히 설명하거나 생략한다.
도 2를 참조하면, 먼저, 진단이 요구되는 설비(2000)에 대하여, 데이터 수집 장치(100)를 통해 시계열 데이터, 즉, 시간 영역 상의 데이터를 수집한다(S110). 그러나 실시예에 따라, 데이터 수집 단계(S110)에서, 시계열 데이터가 아닌 데이터, 예컨대, 설비(2000)의 사양 등과 같은 텍스트 데이터를 수집할 수도 있다. 또한, 데이터 수집 단계(S110)에서, 설비(2000)에 대한 하나의 시계열 데이터가 아닌, 설비(2000)에 대한 다양한 시계열 데이터를 수집할 수도 있다. 예컨대, 설비(2000)의 모터의 토크와 속도 데이터, 설비(2000)의 진동, 온도, 기압, 압력 데이터, 설비(2000)의 경사, 전류 데이터 등을 데이터 수집 단계(S110)에서 수집할 수 있다. 더 나아가, 데이터 수집 단계(S110)에서는 하나의 설비가 아니 다양한 동종 및/또는 이종 설비에 대한 시계열 데이터를 수집할 수도 있다. 한편, 데이터의 수집은 센서 및/또는 제어장치(1500)를 통해 이루어질 수 있고, 센서 및/또는 제어장치(1500)는 데이터 수집 장치(100)의 일부로 포함될 수도 있다.
다음, 전처리부(210)에서 시계열 데이터를 푸리에 변환을 통해 주파수 데이터로 변환하되 시계열 특성 또는 성분이 포함되도록 전처리 한다(S120). 전처리 단계(S120)에서, 예컨대, STFT 또는 워터폴 FFT를 통해 시계열 데이터를 주파수 데이터로 변환할 수 있다. 여기서, 설비의 정확한 진단 및 차후 심층학습의 데이터의 양의 축소를 위하여, 설비의 가동 시간 또는 가동 주기 등을 고려하여 STFT의 시간 주기나 워터폴 FFT의 시간 구간을 선정할 수 있다. 한편, 시계열 데이터가 아닌 데이터, 예컨대, 텍스트 데이터 등에 대해서는 전처리가 생략될 수 있다.
전처리 단계(S120) 이후, 심층학습부(220)에서, 주파수 데이터를 이용하여 CNN을 통해 심층학습을 수행한다(S130). CNN을 통하여 심층학습을 수행함으로써, 설비(2000)의 고장 여부에 대하여 정확하고 효과적인 판단의 기초를 제공할 수 있다. 예컨대, 소수의 라벨된 데이터에 대하여, CNN의 심층학습을 수행한 후, 다수의 언라벨된 데이터에 대하여, 정상 및 고장에 대한 라벨링을 할 수 있고, 또한, 새로이 라벨링 한 데이터를 다시 CNN의 심층학습에 이용함으로써, 설비의 고장 여부의 판단에 대한 진단 정합률을 향상시킬 수 있다.
심층학습 단계(S130) 이후, 진단부(300)에서 심층학습을 기반으로 설비에 대하여 고장 여부를 판단한다(S140). 참고로, 설비에 대한 고장 여부 판단은 앞서 언라벨된 데이터에 대하여 라벨링을 하는 것과 어느 정도 동일한 개념일 수 있다. 다만, 라벨링이 언라벨된 데이터, 즉 정상 및 고장이 알려지지 않는 데이터에 대하여 심층학습 결과에 따라 정상 또는 고장에 대응하는 데이터로 구별하는 과정이라면, 설비의 고장 여부 판단은 새로이 라벨링 된 데이터를 종합하여 해당 설비가 정상인지 고장인지 최종적으로 판단하는 과정이라고 말할 수 있다.
본 실시예의 설비 진단 방법은, 전처리부(210)를 통해 설비(2000)로부터의 시계열 데이터를 주파수 데이터로 변환하되 시계열 특성이 포함되도록 전처리하고, 또한, 전처리부(210)의 주파수 데이터를 이용하여 심층학습부(220)에서 CNN를 통해 심층학습을 수행함으로써, 해당 설비의 고장 여부에 대하여 보다 정확하게 효율적으로 판단할 수 있다.
도 3a 및 도 3b는 도 2의 설비 진단 방법에서, 전처리 단계를 좀더 구체적으로 보여주는 흐름도 및 그에 대응하는 그래프들로서, 예컨대, STFT의 과정을 보여주는 흐름도 및 그에 대응하는 그래프들이다. 위의 2개의 그래프의 x축은 시간이고, y축은 데이터의 크기에 해당할 수 있다.
도 3a 및 도 3b를 참조하면, 먼저, 로(raw) 데이터에 제1 시간 단위의 윈도우를 적용하여 제1 서브 데이터(Fist Sub_Data)를 추출한다(S122). 여기서, 제1 시간 단위는 예컨대 10초일 수 있다. 물론, 제1 시간 단위가 10초에 한정되는 것은 아니다. 윈도우는 예컨대, 터키(Tukey) 또는 테이퍼 코사인(tapered cosine) 윈도우일 수 있고, 시간 단위별로 일부가 서로 겹쳐질 수 있다. 한편, 제1 시간 단위는 설비(2000)의 가동 시간이나 가동 주기를 고려하여 설정될 수 있다. 예컨대, 설비(2000)가 반복하여 동작하는 경우에, 제1 시간 단위는 적어도 한 번의 반복 구간이 포함될 수 있도록 설정될 수 있다. 참고로, 도 3b의 제1 서브 데이터에서, 점선의 원으로 표시된 부분은 이상이 발생한 부분을 의미할 수 있다.
다음, 제1 서브 데이터를 제2 시간 단위의 데이터 셋들로 분할하고 데이터 셋들 각각에 FFT를 적용하여 주파수 데이터로 변환한다(S124). 데이터 셋들로의 FFT 적용에 따라 주파수 데이터 셋들(Frequency Data Sets)이 생성될 수 있다. 예컨대, 제2 시간 단위는 100㎳일 수 있다. 물론, 제2 시간 단위가 100㎳에 한정되는 것은 아니다. 앞서, 제1 서브 데이터의 제1 시간 단위가 10초인 경우, 제1 서브 데이터는 제2 시간 단위에 의해 100개의 데이터 셋들로 분할될 수 있다.
한편, FFT에서, 주파수 범위가 해당 설비의 데이터 특성에 따라 정해질 수 있다. 예컨대, 진동 데이터의 경우, 고장이 발생할 때 1kHz 내지 20kHz 범위에서 주파수의 크기(magnitude)나 형태가 변경되거나 또는 새로운 주파수가 생성될 수 있다. 다른 예로, 전류의 경우 200kHz 내외의 범위에서, 그리고 토크의 경우 1Hz 내지 500Hz 범위에서, 주파수 특성이 바뀌거나 새로운 주파수가 생성될 수 있다. 도 3b에서는 각 데이터 셋들 각각에 400Hz 내지 500Hz 범위에서 FFT를 수행한 그래프를 보여주고 있다.
이후, 주파수 데이터 셋들을 결합하여 3차원(3D) 그래프로 이미지화 한다(S126). 좀더 구체적으로 설명하면, 주파수 데이터 셋들의 x축과 y축은 동일하고, 주파수 데이터 셋들 각각은 앞서 제2 시간 단위를 대표할 수 있다. 따라서, z축을 도입하여 제2 시간 단위로 주파수 데이터 셋들을 z축 방향으로 쌓아감으로써, 3D 그래프로 이미지화할 수 있다. 이러한 3D 그래프는 워터폴 FFT를 적용하여 생성한 도 3c의 그래프와 유사한 형태가 될 수 있다.
다음, 주파수별 크기에 따라 컬러 매핑(color mapping)을 수행하여 2차원 이미지를 생성한다(S128). 다시 말해서, 크기에 대한 파라메타를 컬러에 대한 파라메터로 변경하여 3D 그래프를 2D 그래프로 이미지화할 수 있다. 도 3b의 마지막 그래프가 그러한 2D 이미지 데이터에 해당할 수 있다. 다만, 도 3b의 그래프들이 흑백으로 표현되어 있어, 마지막 그래프는 흑백의 명암으로만 나타나고 있다. 그러나 실시예에 따라, 처음부터 주파수별 크기를 컬러 대신 흑백의 명암으로 매핑할 수도 있다.
도 3c는 도 3a의 전처리 단계와는 다른 전처리 단계를 통해 획득한 그래프로서, 예컨대, 워터폴 FFT를 통한 전처리에 대한 그래프이다.
도 3c를 참조하면, 워터폴 FFT는 쉽게 말해서 시간 히스토리를 포함하는 FFT를 의미하고, 도시된 바와 같이 3D 그래프로 나타날 수 있다. 이러한 워터폴 FFT는 예컨대, 가버 변환(Gabor Transform)을 통해 얻을 수 있는데, 윈도우 함수(window function)로서 가우스 분포함수(정규분포)를 이용하는 푸리에 변환을 의미할 수 있다. 참고로, 윈도우 함수는 전체 구간에서 특정 부분을 추출해내기 위해 곱해주는 함수로는, 가버 변환, 즉 워터폴 FFT에서는 샘플에 정규분포 함수를 곱하고 FFT를 수행하게 된다. 앞서, STFT의 경우, 윈도우 함수로 터키 윈도우가 이용됨은 전술한 바와 같다. 한편, 워터폴 FFT의 3D 그래프는 앞서 STFT의 3D 그래프와 마찬가지로 컬러 매핑 등을 통해 2D 이미지 데이터로 변경될 수 있다.
도 4a는 도 2의 설비 진단 방법의 데이터 수집 단계, 일반적인 FFT 변환, 및 도 3a의 전처리 단계에 대응하는 그래프들로서, 왼쪽에 Normal로 표시된 부분이 설비의 정상 상태에 대응하는 그래프들이고, 오른쪽 Abnormal로 표시된 부분이 설비의 고장 상태에 대응하는 그래프들이다.
도 4a를 참조하면, 먼저, 가장 위쪽은 데이터 수집 단계(S110)에서 수집한 설비의 진동 데이터에 대한 그래프들(ⅰ)이고, 중간은 진동 데이터에 대하여 일반적인 FFT를 수행하여 획득한 주파수 데이터에 대한 그래프들(ⅱ)이다. 주파수 데이터의 그래프들(ⅱ)의 경우, 그래프들(ⅱ) 간에 주파수의 형태와 크기에서 약간 차이가 있다. 그러나 명확한 기준을 가지고 설비의 정상 상태와 고장 상태를 정량화하는 데에 주파수 데이터의 그래프들(ⅱ)을 이용하는 것은 한계가 있다.
한편, 가장 아래쪽은 전처리 단계(S120)에서, STFT를 통해 얻은 2D 이미지 데이터에 대한 그래프들(ⅲ)에 해당할 수 있다. 2D 이미지 데이터 그래프들(ⅲ)의 경우, 시간 구간 전반에 걸쳐 오른쪽 그래프의 밝은 부분의 주파수의 크기가 왼쪽 그래프의 밝은 부분의 주파수의 크기보다 전반적으로 높음을 확인할 수 있다. 따라서, 소정 주파수의 크기를 기준으로 하여 설비의 정상 상태와 고장 상태를 판단하여 진단하는 것을 고려해 볼 수 있다. 그러나 전술한 바와 같이, 설비에 따라, STFT를 통하여 고장 여부를 쉽게 확인할 수 있는 설비가 있는가 하면, 고장 여부의 확인이 모호한 설비가 있을 수 있다. 또한, 동일한 설비라도 수집된 데이터의 종류에 따라 고장 여부의 확인이 모호할 수도 있다. 따라서, 따라서, STFT만을 통해서는 설비의 고장 여부를 판단하여 진단하는 것은 한계가 있다.
도 4b는 도 3a의 전처리 단계를 통해 획득한 그래프들로서, 왼쪽에 Normal로 표시된 부분이 설비의 정상 상태에 대응하는 그래프들이고, 오른쪽 Abnormal로 표시된 부분이 설비의 고장 상태에 대응하는 그래프들이다.
도 4b를 참조하면, 위에서부터 아래까지 모두, 설비의 토크 데이터로부터, STFT를 통해 얻은 2D 이미지 데이터에 대한 다양한 그래프들(I, Ⅱ, Ⅲ)을 보여주고 있다. 왼쪽과 오른쪽 그래프를 비교하면, 설비의 정상 상태에 대한 2D 이미지 데이터와 설비의 고장 상태에 대한 2D 이미지 데이터 간에 차이점을 확연히 확인할 수 있다. 그러나 정상 상태와 고장 상태의 2D 이미지 데이터 간의 차이점이 다양한 양상을 가지고 나타나므로, 하나의 기준을 가지고 차이점을 획일화하기에는 한계가 있을 수 있다. 또한, 전술한 바와 같이, STFT를 통해 2D 이미지 데이터를 얻는다 해도, 설비에 따라, 정상 상태와 고장 상태 간의 차이점을 확인할 수 없는 경우도 있다.
따라서, 설비의 종류 및/또는 수집된 데이터의 종류에 상관없이, 설비의 정상 상태와 고장 상태를 보다 정확하고 효율적으로 판단할 방법이 필요하고, 본 실시예의 설비 진단 방법에서는 그러한 판단을 위해 이하에서 설명하는 CNN을 통한 심층학습을 채용할 수 있다.
도 5는 도 2의 설비 진단 방법에서, CNN을 통한 심층학습 단계를 개략적으로 보여주는 개념도이다. 도 6a 내지 도 6c는 도 5의 CNN을 통한 심층학습 단계에서, 컨볼루션을 개략적으로 설명하기 위한 개념도, 활성화 함수에 대한 그래프, 및 풀링을 개략적으로 설명하기 위한 개념도이다.
도 5 및 도 6a를 참조하면, 먼저, 입력 데이터에 컨볼루션 필터(convolution filter)를 적용하여, 입력 데이터로부터 특징 맵(feature map)을 추출하여 컨볼루션 층(convolution layer)을 형성한다. 여기서, 입력 데이터는 예컨대, 앞서 STFT를 통해 얻은 2D 이미지 데이터일 수 있다. 물론, 입력 데이터가 2D 이미지 데이터에 한정되는 것은 아니다.
컨볼루션 필터(convolution filter)는 이미지 데이터에서 특징을 추출하기 위해 이용되는 필터로서 행렬 형태를 가질 수 있다. 이러한 컨볼루션 필터는 복수 개 존재할 수 있다. 예컨대, 도 5에서, 컨볼루션 필터들(F(1), F(2),…. F(N))은 5x5 행렬 형태로 N 개 존재하는 것으로 예시하고 있다. 컨볼루션 필터들을 2D 이미지 데이터에 적용하여 특징 맵들(C(1), C(2),…, C(N))을 추출하는 과정을 컨볼루션이라고 하고, 추출된 특징 맵들이 컨볼루션 층을 구성하게 된다. 도 5에서, 입력 데이터로서의 2D 이미지 데이터가 16x16 행렬로 나타나는 경우, 5x5 행렬 형태의 컨볼루션 필터에 의한 컨볼루션을 통해 10x10 특징 맵들이 생성되고, 특징 맵들은 컨볼루션 필터의 개수에 대응하여 N 개 생성될 수 있다.
도 6a를 통해 컨볼루션 과정에 대해서 좀더 쉽게 설명하면, 2D 이미지 데이터가 5x5 행렬이고, 컨볼루션 필터가 3x3 행렬이라고 하자. 도시된 바와 같이, 컨볼루션 필터의 각 인자들을 2D 이미지 데이터의 왼쪽 부분의 각 인자들에 곱하여 더하면 4가 된다. 이후 오른쪽으로 한 칸씩을 이동하면서 계산하면 3과 4가 나오고 아래로 한 칸을 이동하여 다시 왼쪽부터 계산하면 2, 4, 3이 나오며, 다시 한 칸을 아래로 이동하여 계산하면 2, 3, 4가 나오게 되어 오른쪽 특징 맵이 3x3 행렬 형태로 나오게 된다. 결국, 컨볼루션 과정은 컨볼루션 필터를 이용하여 2D 이미지 데이터로부터 특징을 추출하는 과정이라고 할 수 있다.
한편, 컨볼루션을 통해 이미지 데이터로부터 특징 맵의 추출은 채널별로 수행될 수 있다. 예컨대, 컬러 이미지 데이터에 대하여, 먼저 3개의 채널에 해당하는 RGB 필터를 이용하여 RGB 채널별로 이미지 데이터를 추출할 수 있다. 이후, 채널별 이미지 데이터 각각과, 채널별 이미지 데이터를 혼합한 혼합 데이터(mixed data)에 대하여 컨볼루션과 풀링을 수행할 수 있다.
도 5 및 도 6b를 참조하면, 컨볼루션 층의 생성 후, 특징 맵들에 활성화 함수(activation function)을 적용하여 활성층을 형성한다. 활성화 함수로 예컨대, 시그모이드(Sigmoid) 함수 또는 ReLu 함수가 이용될 수 있다. 시그모이드(Sigmoid) 함수 또는 ReLu 함수의 그래프가 도 6b에 도시되어 있다. 일반적으로 CNN에서는 활성화 함수로 ReLu 함수를 이용하며, ReLu 함수는 수식으로 ReLu(x) = max(0, x)로 표현될 수 있다. 예컨대, ReLu 함수는 x 값과 0을 비교하여 큰 값을 리턴하는 함수일 수 있다. 도 5에서, ReLu 함수의 적용으로 인해 활성층을 ReLu 층으로 표시하고 있고, ReLu 층에 포함된 맵들(R(1), R(2), …, R(N))은 컨볼루션 층의 특징 맵들에 대응하여 10x10 행렬 형태로 나타나고, N 개가 존재할 수 있다. 실시예에 따라, ReLu 층을 형성하는 과정은 생략될 수도 있다.
도 5 및 도 6c를 참조하면, ReLu 층에 포함된 맵들에 대하여 풀링(pooling)을 수행하여 풀링 층을 형성한다. 풀링 과정은 2x2 행렬을 이용하여 특징 맵 또는 ReLu 층의 맵의 특징을 유지시키면서 사이즈를 줄이는 과정으로, 다양한 방법이 이용될 수 있다. 도 6c에 도시된 바와 같이 평균 풀링(average pooling)과 맥스 풀링(max pooling) 방법이 대표적으로 이용될 수 있다. 평균 풀링은 2x2 행렬 내의 인자들을 평균하여 출력하는 방법이고, 맥스 풀링은 2x2 행렬에서 가장 큰 값을 출력하는 방법이다. 예컨대, 도 5에서, ReLu 층의 맵들에 풀링의 적용에 의해, 풀링 층에 포함된 맵들(P(1), P(2), …, P(N))은 5x5 행렬 형태로 나타나고, N 개가 존재할 수 있다.
도 5의 CNN에서, 컨볼루션 층으로부터 풀링 층을 형성하는 과정이 한 번씩만 도시되고 있지만, 2D 이미지 데이터로부터 정확한 특징들을 추출하기 위하여, 컨볼루션 층으로부터 풀링 층을 형성하는 과정이 적어도 2번 이상 반복될 수 있다.
풀링 층 형성 후, 완전 연결 층(Fully Connected Layer)을 형성할 수 있다. 완전 연결 층은 입력층, 히든층, 및 출력층을 포함할 수 있다. 입력층은 풀링 층으로부터의 데이터를 입력 데이터로서 받을 수 있다. 완전 연결 층은 분류를 위한 심층학습의 과정의 부분으로서, 심층학습에 기본적으로 이용되는 층일 수 있다. 예컨대, 완전 연결 층은 사람, 돼지, 고양이, 원숭이 등의 다양한 종류의 이미지를 서로 분류하기 위한 층으로서, 히든층이 많아질수록 분류의 정확성이 높아질 수 있다. 다시 말해서, 앞서 컨볼루션 층으로부터 풀링 층까지의 과정이 주어진 이미지 데이터로부터 올바른 특징을 추출하는 기능을 하고, 완전 연결 층은 추출된 특징들에 대하여 분류를 하는 기능을 한다고 볼 수 있다. 다만, 본 실시예의 설비 진단 방법에서는 정상인지 고장인지 2가지로만 분류되므로, 완전 연결 층은 최소한의 구조로 포함되거나 생략될 수 있다. 예컨대, 컨볼루션 층으로부터 풀링 층의 형성 과정을 반복적으로 수행하여, 풀링 층의 값이 단순히 1차원 값으로 나오고 그 값을 통해 정상 및 고장을 판단할 수 있는 경우에, 완전 연결 층의 형성 과정은 생략될 수도 있다.
한편, CNN을 통한 심층학습 과정, 특히 컨볼루션 층으로부터 풀링 층을 형성하는 과정에서, 이미지 데이터로부터 가장 적절한 특징을 추출할 수 있도록 컨볼루션 필터의 인자 값이 계속 변하게 된다. 따라서, CNN을 통한 심층학습 과정은 이미지 데이터로부터 최적의 특징을 추출할 수 있는 컨볼루션 필터를 찾는 과정이라고 할 수 있다. 예컨대, 도 1의 설명 부분의, x--> f(x) --> y에서, CNN으로 설명한 f(x)은 구체적으로 컨볼루션 필터에 해당하고, 그에 따라, f(x)의 변경은 컨볼루션 필터의 변경에 해당할 수 있다. 다만, 초기에 적절한 컨볼루션 필터를 찾는 과정에는 라벨된 데이터가 필요할 수 있다. 다시 말해서, 설비의 정상 상태와 고장 상태가 확인된 데이터를 이용하여 CNN을 통해 심층학습을 함으로써, 적절한 컨볼루션 필터가 찾아질 수 있다. 적절한 컨볼루션 필터를 찾은 후, 언라벨된 데이터에 대하여 CNN을 통해 심층학습하여 라벨링을 할 수 있고, 새로이 라벨링 한 데이터를 다시 라벨된 데이터로 이용하여 더욱 정확한 컨볼루션 필터를 찾는 과정이 진행될 수 있다.
도 7은 도 5의 심층학습 단계에서, 2차원(2D) CNN과 1차원(1D) CNN를 개략적으로 설명하기 위한 개념도이다.
도 7을 참조하면, 왼쪽은 2D CNN의 개념을 간단히 도시한 것으로, MxN 이미지 데이터에 n개의 5x5 필터를 n개의 PxQ 특징 맵을 추출하는 과정에 해당할 수 있다. 2D CNN의 개념은 앞서 도 5 및 6a를 통해 설명한 과정과 실질적으로 동일할 수 있다.
오른쪽은 1D CNN의 개념을 간단히 도시한 것으로, MxN 이미지 데이터에 m개의 1x8 필터를 m개의 1xR의 특징 맵을 추출하는 과정에 해당할 수 있다. 1D CNN의 경우, 가중치(weight)를 다르게 부여한 1차원 필터를 이용하여 이미지 데이터로부터 1차원적 특징들을 보다 용이하게 추출할 수 있다. 예컨대, 주파수 대역별로 특징이 다른 이미지 데이터가 있는 경우, 각각의 시간 구간에 대하여 주파수 대역별로 다른 가중치를 갖는 1차원 필터를 이미지 데이터에 적용하여 2D CNN에 비해 좀더 세밀하게 주파수에 대한 특징을 추출할 수 있다.
도 8은 도 5의 심층학습 단계에서, 2층 CNN의 구조를 개략적으로 보여주는 개념도이다.
도 8을 참조하면, 2D 이미지 데이터에 대하여, 제1 층의 컨볼루션(1st Conv)과 풀링(1st Pool)이 수행될 수 있다. 제1 층의 풀링(1st Pool) 후에, 다시 제2 층의 컨볼루션(2nd Conv)과 풀링(2nd Pool)이 수행되어 결과값이 도출될 수 있다. 한편, 제1 층의 컨볼루션(1st Conv)과 풀링(1st Pool) 사이, 및 제2 층의 컨볼루션(2nd Conv)과 풀링(2nd Pool) 사이에 활성화 함수가 적용될 수 있다. 또한, 제2 층의 풀링(2nd Pool) 후에는 완전 연결 층이 적용되지 않을 수 있다.
본 실시예의 설비의 진단 방법은 2층 CNN 구조만을 통해 심층학습을 수행함으로써, 일반적인 완전 연결 층을 이용하는 CNN에 비해 높은 희소성(sparsity)과 적은 파라미터, 그리고 낮은 오버-피팅(over-fitting)을 가지고 설비의 고장 여부를 정확하고 효율적으로 판단할 수 있다.
한편, 제1 층의 컨볼루션(1st Conv)과 풀링(1st Pool)은 2D CNN에 해당하고, 제2 층의 컨볼루션(2nd Conv)과 풀링(2nd Pool)은 1D CNN에 해당할 수 있다. 그러나 그에 한하지 않고, 제1 층의 컨볼루션(1st Conv)과 풀링(1st Pool), 그리고 2층의 컨볼루션(2nd Conv)과 풀링(2nd Pool) 모두가 1D CNN으로 구성될 수도 있다. 또한, 본 실시예의 설비의 진단 방법은, 2층 CNN에 한정하지 않고 1층 CNN 또는 3층 이상의 CNN으로 구성될 수도 있다. 더 나아가 본 실시예의 설비의 진단 방법은, CNN 층을 보다 다양한 형태로 구성할 수도 있다. 다만, CNN 층의 구성 형태에 따라 설비의 진단 정합률, 연산에 필요한 계산 시간, 컴퓨터의 사양 등이 달라질 수 있다. 따라서, 진단 대상인 설비의 수량 및 환경 등에 따라 적정한 형태의 CNN 층의 구성이 필요할 수 있다.
도 9는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이다. 도 2의 설비 진단 방법은, 예컨대, 도 1의 설비 진단 시스템에 의해 실행될 수 있다. 도 1을 함께 참조하여 설명하고, 도 1 내지 도 8의 설명 부분에서 이미 설명한 내용은 간단히 설명하거나 생략한다.
도 9를 참조하면, 먼저, 설비에 대하여 데이터 수집 장치(100)를 통해 복수의 종류의 데이터를 수집한다(S210). 여기서, 복수의 종류의 데이터는 다른 종류의 시계열 데이터, 및 비시계열 데이터를 포함할 수 있다. 예컨대, 시계열 데이터는 도 1의 설명 부분에서 예시한 진동 데이터, 속도 데이터, 토오크 데이터 등일 수 있고, 비시계열 데이터는 설비에 대한 텍스트 데이터일 수 있다.
다음, 심층학습부(220)에서, 복수의 종류의 데이터를 이용하여 CNN을 통해 멀티-모달(multi-modal) 심층학습을 수행한다(S240). 멀티-모달 심층 학습은 이종의 데이터를 종합적으로 분석하는 방법으로 그에 대한 구체적인 내용은 도 10a 내지 도 12b의 설명 부분에서 좀더 구체적으로 설명한다.
한편, 복수의 종류의 데이터의 적어도 일부는 멀티-모달 심층학습을 수행하기 전에, 전처리부(210)의 전처리를 통해 시계열 특성을 포함한 주파수 데이터로 변환될 수 있다. 예컨대, 전처리는 STFT를 통해 수행될 수 있다.
이후, 진단부(300)에서 멀티-모달 심층학습을 기반으로 설비에 대하여 고장 여부를 판단한다(S250).
본 실시예의 설비의 진단 방법은 이종의 데이터를 함께 이용하여 CNN을 통해 심층학습을 하는 멀티-모달 심층학습을 수행함으로써, 설비의 진단 정합률을 향상시킬 수 있다. 예컨대, A 데이터를 이용하여 CNN을 통해 심층학습하고, B 데이터를 이용하여 CNN을 통해 심층학습한 후, 각각의 심층학습을 통해 설비를 진단하는 경우, 각각의 진단의 정합률은 80% 미만으로 낮게 나타날 수 있다. 그에 반해, A 데이터와 B 데이터를 함께 이용하여 CNN을 통해 멀티-모달 심층학습을 하고, 설비를 진단하는 경우에, 진단의 정합률이 90% 이상으로 향상할 수 있다. 이러한 효과를 소위 앙상블 효과라고 할 수 있다.
도 10a는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이고, 도 10b는 도 10a의 설비 진단 방법을 개념적으로 보여주는 블록 구조도이며, 도 10c 및 도 10d는 도 10a의 주파수 데이터 통합 단계에서 주파수 데이터의 통합을 예시적으로 보여주는 그래프들이다. 도 10a의 설비 진단 방법은, 예컨대, 도 1의 설비 진단 시스템에 의해 실행될 수 있다. 도 1을 함께 참조하여 설명하고, 도 9의 설명 부분에서 이미 설명한 내용은 생략한다.
도 10a 내지 도 10d를 참조하면, 먼저, 설비에 대하여 데이터 수집 장치(100)를 통해 복수의 종류의 데이터를 수집한다(S210). 여기서, 복수의 종류의 데이터는 도 9의 설명 부분에서 설명한 바와 같다. 도 10b에서, 다른 종류의 시계열 데이터로서, 토크 데이터와 진동 데이터를 예시하고 있다.
다음, 전처리부(210)에서, 적어도 2 종류의 시계열 데이터를 시계열 특성을 포함한 주파수 데이터로 변환하는 전처리를 수행한다(S220). 예컨대, 전처리를 통해 토크 데이터와 진동 데이터를 각각 주파수 데이터로 변환한다. 여기서, 전처리는, 예컨대 STFT를 통해 수행될 수 있다.
이후, 적어도 2종류의 주파수 데이터를 통합한다(S230). 주파수 데이터의 통합은 전처리부(210)에서 수행될 수도 있고, 심층학습부(220)에서 수행될 수도 있다. 또한, 실시예에 따라, 주파수 데이터의 통합은 데이터 통합부와 같은 별도의 구성부에서 수행될 수도 있다. 도 10c에 다른 종류의 주파수 데이터인 토크에 대한 이미지 데이터와 진동에 대한 이미지 데이터가 통합되는 방법이 도시되어 있다. 예컨대, 토크에 대한 이미지 데이터와 진동에 대한 이미지 데이터는 시간 구간별로 나누어지고, 번갈아 배치되는 식으로 통합될 수 있다. 물론, 주파수 데이터의 통합 방법이 그에 한정되는 것은 아니다. 예컨대, 도 10d에 도시된 바와 같이, 하부 쪽에 속도에 대한 이미지 데이터를 배치하고 상부 쪽에 토크에 대한 이미지 데이터를 배치하는 식으로 다른 종류의 주파수 데이터를 통합할 수도 있다.
참고로, 도 10d에서, 왼쪽은 설비의 정상 상태에 대한 2개의 이미지 데이터에 대한 그래프들이고, 오른쪽은 그에 대응하는 설비의 고장 상태에 대한 이미지 데이터에 대한 그래프들이다. 양쪽 그래프를 통해서, 정상 상태와 고장 상태에 대응하는 통합된 이미지 데이터 간의 차이가 좀더 명확해 짐을 알 수 있다.
다음, 심층학습부(220)에서, 통합된 주파수 데이터를 이용하여 CNN을 통해 멀티-모달 심층학습을 수행한다(S240a).
이후, 진단부(300)에서, 멀티-모달 심층학습을 기반으로 설비에 대하여 고장 여부를 판단한다(S250). 이와 같이, 멀티-모달 심층학습을 통해 설비를 진단함에 따라, 설비의 진단 정합률이 향상될 수 있다. 예컨대, 설비의 토크에 대한 이미지 데이터만을 이용하여 CNN을 통해 심층학습을 한 경우에, 설비의 진단 정합률이 60% 정도에 불과하지만, 설비의 토크와 속도에 대한 이미지 데이터를 통합하여 CNN을 통해 멀티-모달 심층학습을 한 경우에, 설비의 진단 정합률이 80% 정도로 향상되어, 설비의 진단 정합률이 거의 20% 정도 증가함을 확인할 수 있다.
도 11a는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이고, 도 11b는 도 11a의 설비 진단 방법을 개념적으로 보여주는 블록 구조도이다. 도 11a의 설비 진단 방법은, 예컨대, 도 1의 설비 진단 시스템에 의해 실행될 수 있다. 도 1을 함께 참조하여 설명하고, 도 9 내지 도 10d의 설명 부분에서 이미 설명한 내용은 생략한다.
도 11a 및 도 11b를 참조하면, 먼저, 설비에 대하여 데이터 수집 장치(100)를 통해 복수의 종류의 데이터를 수집한다(S210). 여기서, 복수의 종류의 데이터는 도 9의 설명 부분에서 설명한 바와 같다. 예컨대, 본 실시예의 설비 진단 방법에서, 복수의 종류의 데이터는 3종류의 시계열 데이터로서, 토크 데이터와 2 종류의 속도 데이터일 수 있다. 여기서, 2종류의 속도 데이터 중 하나는 일반 속도 데이터이고 나머지 하나는 이동 평균(moving average)으로 나타나는 속도 데이터일 수 있다.
다음, 전처리부(210)에서, 적어도 1종류의 시계열 데이터를 시계열 특성을 포함한 주파수 데이터로 변환하는 전처리를 수행한다(S220a). 예컨대, 앞서, 3종류의 시계열 데이터 중, 전처리를 통해 2종류의 시계열 데이터에 대하여 전처리를 수행한다. 구체적으로, 토크 데이터와 일반 속도 데이터를 각각 주파수 데이터로 변환하고, 이동 평균의 속도 데이터는 주파수 데이터로 변환하지 않고 시계열 데이터로 그대로 유지한다. 여기서, 전처리는, 예컨대 STFT를 통해 수행될 수 있다. 도 11b에서, 전처리를 통해 획득한 토크에 대한 주파수 데이터와 속도에 대한 주파수 데이터가 위쪽과 아래쪽에 배치되어 있고 전처리를 하지 않는 이동 평균의 속도 데이터가 중간 부분에 배치되어 있다.
이후, 심층학습부(220)에서, 적어도 1종류의 주파수 데이터를 이용하여 CNN을 통해, 그리고 미전처리 된 시계열 데이터를 이용하여 다른 CNN을 통해 각각 심층학습을 수행한다(S242). 예컨대, 토크에 대한 주파수 데이터를 이용하여 제1 CNN을 통해, 속도에 대한 주파수 데이터를 이용하여 제2 CNN을 통해, 그리고 이동 평균의 속도 데이터를 이용하여 제3 CNN을 통해 각각 심층학습을 수행할 수 있다.
도 11b에서, 토크와 속도에 대한 주파수 데이터와 이동 평균의 속도 데이터를 이용하여 1D CNN을 통한 심층학습을 도시하고 있다. 그러나 그에 한하지 않고, 2D CNN을 통한 심층학습을 수행할 수도 있다. 또한, 어느 하나의 데이터에 대하여, 복층의 CNN을 통한 심층학습을 수행할 수도 있다. 다만, 통합 과정에서 차원을 맞춰 통합하는 것이 바람직하므로, 통합 바로 전에 동일한 차원의 CNN을 통한 심층학습을 수행할 수 있다.
이후, 심층학습부(220)에서, 주파수 데이터에 대한 CNN 심층학습 데이터와 시계열 데이터 대한 CNN 심층학습 데이터를 통합한다(S244). 여기서, CNN 심층학습 데이터 간의 통합은, 전술한 바와 같이, 동일 차원의 데이터 간의 통합일 수 있다.
다음, 심층학습부(220)에서, 통합된 심층학습 데이터를 이용하여 통합 CNN를 통해 심층학습을 수행한다(S246). 각각의 CNN를 통한 심층학습 단계(242)로부터 통합 CNN을 통한 심층학습 단계(246)까지 모두 멀티-모달 심층학습 단계(S240b)에 포함될 수 있다.
이후, 진단부(300)에서, 멀티-모달 심층학습을 기반으로 설비에 대하여 고장 여부를 판단한다(S250).
도 12a는 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이고, 도 12b는 도 12a의 설비 진단 방법을 개념적으로 보여주는 블록 구조도이다. 도 12a의 설비 진단 방법은, 예컨대, 도 1의 설비 진단 시스템에 의해 실행될 수 있다. 도 1을 함께 참조하여 설명하고, 도 9 내지 도 11b의 설명 부분에서 이미 설명한 내용은 생략한다.
도 12a 및 도 12b를 참조하면, 먼저, 설비에 대하여 데이터 수집 장치(100)를 통해 복수의 종류의 데이터를 수집한다(S210). 여기서, 복수의 종류의 데이터는 도 9의 설명 부분에서 설명한 바와 같다. 예컨대, 본 실시예의 설비 진단 방법에서, 복수의 종류의 데이터 중 하나는 시계열 데이터인 토크 데이터이고, 다른 하나는 설비에 대한 텍스트 데이터일 수 있다.
다음, 전처리부(210)에서, 시계열 데이터를 시계열 특성을 포함한 주파수 데이터로 변환하는 전처리를 수행한다(S220b). 예컨대, 앞서, 토크 데이터에 대하여 전처리를 수행하여 시계열 특성을 포함한 주파수 데이터로 변환한다. 그러나 텍스트 데이터에 대해서는 전처리를 수행하지 않을 수 있다. 여기서, 전처리는, 예컨대 STFT를 통해 수행될 수 있다. 도 12b에서, 전처리를 통해 얻은 토크에 대한 주파수 데이터가 위쪽에 배치되고, 전처리를 하지 않는 텍스트 데이터가 아래쪽에 배치되어 있다.
이후, 심층학습부(220)에서, 주파수 데이터를 이용하여 CNN을 통해 심층학습을 수행하고, 텍스트 데이터를 이용하여 다른 학습 방법을 통해 심층학습을 수행한다(S242a). 여기서, 다른 학습 방법은 CNN과 다른 학습 방법으로서, 예컨대, 자연어 처리, 음성인식 등에 주로 사용되는 RNN(Recurrent Neural Network)일 수 있다. 그러나 다른 학습 방법이 RNN에 한정되는 것은 아니다.
이후, 심층학습부(220)에서, 주파수 데이터에 대한 CNN 심층학습 데이터와 텍스트 데이터에 대한 다른 학습 방법의 심층학습 데이터를 통합한다(S244a). 여기서, CNN 심층학습 데이터와 다른 학습 방법의 심층학습 데이터 간의 통합은 동일 차원의 데이터 간의 통합일 수도 있고 다른 차원의 데이터 간의 통합일 수도 있다.
다음, 심층학습부(220)에서, 통합된 심층학습 데이터를 이용하여 통합 CNN를 통해 심층학습을 수행한다(S246). 다만, 통합된 심층학습 데이터에 대한 학습 방법이 통합 CNN에 한정되는 것은 아니다. 예컨대, 다른 차원의 데이터 간의 통합을 통해 얻은 통합된 심층학습 데이터의 경우, 통합 CNN이 아닌 통합 RNN를 통해 심층학습을 수행할 수도 있다. 각각의 학습 방법을 통한 심층학습 단계(242a)로부터 통합 CNN을 통한 심층학습 단계(246)까지 모두 멀티-모달 심층학습 단계(S240c)에 포함될 수 있다.
이후, 진단부(300)에서, 멀티-모달 심층학습을 기반으로 설비에 대하여 고장 여부를 판단한다(S250).
도 13은 본 발명의 일 실시예에 따른 설비 진단 방법의 과정을 개략적으로 보여주는 흐름도이다. 도 13의 설비 진단 방법은, 예컨대, 도 1의 설비 진단 시스템에 의해 실행될 수 있다. 도 1을 함께 참조하여 설명하고, 도 9 내지 도 12b의 설명 부분에서 이미 설명한 내용은 생략한다.
도 13을 참조하면, 먼저, 적어도 2종류의 설비에 대하여 데이터 수집 장치(100)를 통해 복수의 종류의 데이터를 수집한다(S210a). 여기서, 적어도 2종류의 설비는 보통 서로 다른 기능을 하는 적어도 2종류의 설비를 의미할 수 있다. 그러나 그에 한정되지 않고 적어도 2종류의 설비에는 동일한 기능을 하더라도 다른 종류나 다른 모델의 적어도 2종류의 설비도 포함될 수 있다. 한편, 복수의 종류의 데이터는 도 9의 설명 부분에서 설명한 바와 같다. 다만, 도 9의 설비 진단 방법의 경우, 하나의 설비에서 수집한 복수의 종류의 데이터일 수 있다. 그러나 본 실시예의 설비 진단 방법의 경우, 적어도 2종류의 설비들 각각으로부터 수집한 복수의 종류의 데이터일 수 있다.
다음, 심층학습부(220)에서, 복수의 종류의 데이터를 이용하여 CNN을 통해 멀티-모달 심층학습을 수행한다(S240d). 한편, 복수의 종류의 데이터의 적어도 일부는 멀티-모달 심층학습을 수행하기 전에, 전처리부(210)의 전처리를 통해 시계열 특성을 포함한 주파수 데이터로 변환될 수 있다. 예컨대, 전처리는 STFT를 통해 수행될 수 있다.
이후, 진단부(300)에서 멀티-모달 심층학습을 기반으로 적어도 2종류의 설비 및 다른 설비에 대하여 고장 여부를 판단한다(S250a). 일반적으로, 어느 하나의 설비에 대한 심층학습에 기반하여 다른 설비에 대한 진단을 하는 경우 진단 정합률이 매우 낮을 수 있다. 예컨대, A라는 설비에 대하여 심층학습을 한 후, 동일한 A라는 설비에 대하여 진단을 하는 경우, 90% 이상의 진단 정합률을 얻을 수 있다. 또한, B라는 설비에 대해서도 동일한 방법을 통해 90% 이상의 진단 정합률을 얻을 수 있다. 그러나 만약, A라는 설비에 대한 심층학습 결과를 이용하여 B라는 설비를 진단하거나 또는 반대로 B라는 설비에 대한 심층학습 결과를 이용하여 A라는 설비를 진단하는 경우, 진단 정합률은 50% 이하로 매우 낮게 나타날 수 있다. 그에 따라, 모든 설비 각각에 대해 심층학습을 수행해야 한다. 또한, 새로운 설비가 도입된 경우에, 기존 설비의 심층학습의 결과를 이용할 수 없으므로 새로운 설비에 대한 심층학습을 다시 수행해야 한다.
그러나 만약, 본 실시예의 설비 진단 방법과 같이, A라는 설비와 B라는 설비에 대하여 통합적으로 심층학습을 수행하고, 그 통합 심층학습 결과를 이용하여 A라는 설비와 B라는 설비를 각각 진단할 때, 각각의 설비의 진단 정합률이 90% 이상으로 향상될 수 있다. 또한, 통합 심층학습 결과를 이용하여 A나 B 설비가 아닌 새로운 C 설비에 대해 진단을 진행하는 경우에도 높은 진단 정합률을 얻을 수 있다.
즉, 본 실시예의 설비의 진단 방법은 이종의 설비로부터의 이종의 데이터를 함께 통합하고 통합된 데이터를 이용하여 CNN을 통해 멀티-모달 심층학습을 수행함으로써, 이종 설비 각각의 진단 정합률, 및 새로운 설비의 진단 정합률을 향상시킬 수 있다.
지금까지, 본 발명을 도면에 도시된 실시예를 참고로 설명하였으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 데이터 수집 장치, 200: 전처리/학습용 컴퓨터, 300: 진단부(300), 400: 피드백부, 1000: 설비 진단 시스템, 1500: 센서 및/또는 제어장치, 2000: 설비

Claims (20)

  1. 설비에 대하여 시계열 데이터(time series data)를 수집하도록 구성된 데이터 수집 장치;
    푸리에 변환(Fourier transform)을 통해 상기 시계열 데이터를 주파수 데이터로 변환하되 시계열 성분이 포함되도록 전처리하도록 구성된 전처리부(preprocessing unit);
    상기 주파수 데이터를 이용하여 CNN(Convolution Neural Network)을 통해 심층학습(deep learning)을 수행하도록 구성된 심층학습부(deep learning unit); 및
    상기 심층학습을 기반으로 하여 상기 설비에 대한 고장 여부를 판단하도록 구성된 진단부(diagnosis unit);를 포함하고,
    상기 전처리부에서 전처리는,
    상기 시계열 데이터에서, 제1 시간 단위의 제1 서브 데이터를 추출하는 단계,
    상기 제1 서브 데이터에서 상기 제1 시간 단위보다 작은 제2 시간 단위의 데이터 셋들로 분할하고, 상기 데이터 셋들 각각에 상기 푸리에 변환을 적용하는 단계, 및
    상기 푸리에 변환의 적용을 통해 변환된 주파수 데이터를 결합하여 3차원 이미지를 생성하는 단계를 포함하며,
    상기 제1 시간 단위는 상기 설비의 적어도 한번의 반복 구간을 포함하는, 설비 진단 시스템.
  2. 제1 항에 있어서,
    상기 푸리에 변환은, FFT(Fast Fourier Transform), STFT(Short Time Fourier Transform), 및 워터폴(waterfall) FFT 중 어느 하나인 것을 특징으로 하는 설비 진단 시스템.
  3. 제1 항에 있어서,
    상기 푸리에 변환은 STFT 또는 워터폴 FFT이고,
    상기 CNN은 각각의 시간 구간에 대하여 다른 가중치(weight)를 부여하는 1차원(1D) CNN을 포함하는 것을 특징으로 하는 설비 진단 시스템.
  4. 제1 항에 있어서,
    상기 푸리에 변환은 STFT이며,
    상기 전처리부에서, 상기 설비의 가동 시간에 기초하여 상기 STFT의 주기를 선정하는 것을 특징으로 하는 설비 진단 시스템.
  5. 제1 항에 있어서,
    상기 데이터 수집 장치는 적어도 2종류의 상기 시계열 데이터를 수집하고,
    상기 전처리부는 적어도 하나의 종류의 상기 시계열 데이터를 상기 주파수 데이터로 변환하며,
    상기 심층학습부는 적어도 2종류의 데이터에 대하여 각각 또는 통합하여 심층학습을 수행하는 것을 특징으로 하는 설비 진단 시스템.
  6. 제1 항에 있어서,
    상기 데이터 수집 장치는 적어도 2종류의 상기 설비로부터 상기 시계열 데이터를 수집하도록 구성되고,
    상기 전처리부는 상기 적어도 2종류의 상기 설비로부터의 상기 시계열 데이터를 주파수 데이터로 변환하도록 구성되며,
    상기 심층학습부는 상기 적어도 2종류의 상기 설비로부터의 상기 주파수 데이터를 이용하여 심층학습을 하도록 구성되며,
    상기 진단부는 상기 적어도 2종류의 상기 설비, 및 상기 적어도 2종류의 상기 설비와 다른 설비에 대하여 고장 여부를 판단하도록 구성된 것을 특징으로 하는 설비 진단 시스템.
  7. 제1 항에 있어서,
    상기 진단부에서의 진단의 결과를 사용자에게 온-라인(on-line) 및 오프-라인(off-line) 중 적어도 하나를 통해 알리도록 구성된 피드백부(feedback unit)를 더 포함하는 것을 특징으로 하는 설비 진단 시스템.
  8. 제1 항에 있어서,
    상기 진단부가 상기 설비에 대하여 고장 여부를 판단하기 전에, 상기 심층학습부는 상기 설비의 정상 상태와 고장 상태가 확인된 라벨된 데이터(labeled data)를 이용하여 상기 심층학습을 하도록 구성되고,
    상기 진단부가 상기 설비에 대한 고장 여부를 판단할 때, 상기 심층학습부는 상기 설비의 상태가 확인되지 않은 언라벨된 데이터(unlabeled data)를 이용하여 심층학습을 하고, 상기 진단부가 상기 심층학습의 결과에 기초하여 상기 언라벨된 데이터에 상기 설비의 고장 여부에 대한 라벨링을 하도록 구성된 것을 특징으로 하는 설비 진단 시스템.
  9. 데이터 수집 장치에서, 설비에 대하여 시계열 데이터를 수집하는, 데이터 수집 단계;
    컴퓨터의 전처리부에서, 푸리에 변환을 통해 상기 시계열 데이터를 주파수 데이터로 변환하되 시계열 성분이 포함되도록 전처리하는, 전처리 단계;
    상기 컴퓨터의 심층학습부에서, 상기 주파수 데이터를 이용하여 CNN을 통해 심층학습을 수행하는, 심층학습 단계; 및
    진단부에서, 상기 심층학습을 기반으로 하여 상기 설비에 대한 고장 여부를 판단하는, 설비진단 단계;를 포함하고,
    상기 전처리 단계는,
    상기 시계열 데이터에서, 제1 시간 단위의 제1 서브 데이터를 추출하는 단계,
    상기 제1 서브 데이터에서 상기 제1 시간 단위보다 작은 제2 시간 단위의 데이터 셋들로 분할하고, 상기 데이터 셋들 각각에 상기 푸리에 변환을 적용하는 단계, 및
    상기 푸리에 변환의 적용을 통해 변환된 주파수 데이터를 결합하여 3차원 이미지를 생성하는 단계를 포함하며,
    상기 제1 시간 단위는 상기 설비의 적어도 한번의 반복 구간을 포함하는, 설비 진단 방법.
  10. 제9 항에 있어서,
    상기 설비진단 단계에서 상기 설비에 대한 고장 여부를 판단하기 전에는, 상기 심층학습 단계에서, 상기 설비의 정상 상태와 고장 상태가 확인된 라벨된 데이터를 이용하여 심층학습을 하며,
    상기 설비진단 단계에서 상기 설비에 대한 고장 여부 판단할 때, 상기 심층학습 단계에서, 상기 설비의 상태가 확인되지 않은 언라벨된 데이터를 이용하여 심층학습을 하며,
    상기 설비진단 단계에서, 상기 심층학습의 결과에 기초하여 상기 언라벨된 데이터에 상기 설비의 고장 여부에 대한 라벨링을 하는 것을 특징으로 하는 설비 진단 방법.
  11. 제9 항에 있어서,
    상기 푸리에 변환은 STFT 또는 워터폴 FFT이며,
    상기 CNN은 각각의 시간 구간에 대하여 각각에 대하여 가중치를 부여하는 1D CNN을 포함하며,
    상기 1D CNN은 복수의 1차원 필터를 이용하는 것을 특징으로 하는 설비 진단 방법.
  12. 제9 항에 있어서,
    상기 설비진단 단계 이후에,
    진단의 결과를 사용자에게 온-라인 및 오프-라인 중 적어도 하나를 통해 알리는. 피드백 단계를 더 포함하는 것을 특징으로 하는 설비 진단 방법.
  13. 제9 항에 있어서,
    상기 CNN에서, 상기 주파수 데이터를 채널별로 추출하고, 상기 채널별 상기 주파수 데이터 각각과, 상기 채널별 상기 주파수 데이터를 혼합한 혼합 데이터에 대하여 컨볼루션과 풀링을 수행하는 것을 특징으로 하는 설비 진단 방법.
  14. 데이터 수집 장치에서, 설비에 대하여 복수의 종류의 데이터를 수집하는, 데이터 수집 단계;
    컴퓨터의 전처리부에서, 푸리에 변환을 통해 상기 복수의 종류의 데이터 중에 적어도 1종류의 시계열 데이터를 주파수 데이터로 변환하여 전처리하는, 전처리 단계;
    컴퓨터의 심층학습부에서, 상기 주파수 데이터를 이용하여 CNN을 통해 멀티-모달(multi-modal) 심층학습을 수행하는, 심층학습 단계; 및
    진단부에서, 상기 심층학습을 기반으로 하여 상기 설비에 대한 고장 여부를 판단하는, 설비진단 단계;를 포함하고,
    상기 전처리 단계는,
    상기 적어도 1종류의 시계열 데이터에서, 제1 시간 단위의 제1 서브 데이터를 추출하는 단계,
    상기 제1 서브 데이터에서 상기 제1 시간 단위보다 작은 제2 시간 단위의 데이터 셋들로 분할하고, 상기 데이터 셋들 각각에 상기 푸리에 변환을 적용하는 단계, 및
    상기 푸리에 변환의 적용을 통해 변환된 주파수 데이터를 결합하여 3차원 이미지를 생성하는 단계를 포함하며,
    상기 제1 시간 단위는 상기 설비의 적어도 한번의 반복 구간을 포함하는, 설비 진단 방법.
  15. 제14 항에 있어서,
    상기 전처리 단계에서, 상기 복수의 종류의 데이터 중에 적어도 2종류의 시계열 데이터를 적어도 2종류의 주파수 데이터로 변환하고,
    상기 심층학습 단계 전에,
    상기 적어도 2종류의 주파수 데이터를 통합하는, 주파수 데이터 통합 단계;를 더 포함하고,
    상기 심층학습 단계에서, 상기 통합된 주파수 데이터를 이용하여 상기 CNN를 통해 심층학습을 수행하는 것을 특징으로 하는 설비 진단 방법.
  16. 제14 항에 있어서,
    상기 복수의 종류의 데이터는, 적어도 1종류의 제1 시계열 데이터와 적어도 1종류의 제2 시계열 데이터를 포함하고,
    상기 전처리 단계에서, 상기 적어도 1종류의 제1 시계열 데이터를 주파수 데이터로 변환하고,
    상기 심층학습 단계는,
    상기 주파수 데이터를 이용하여 제1 CNN을 통해, 그리고 제2 시계열 데이터를 이용하여 제2 CNN를 통해 심층학습을 수행하는, 개별 심층학습 단계;
    상기 제1 CNN에 의한 심층학습 데이터와 제2 CNN에 의한 심층학습 데이터를 통합하는, 개별 심층학습 통합 단계; 및
    상기 통합된 심층학습 데이터를 이용하여 통합 CNN를 통해 심층학습을 수행하는, 통합 심층학습 단계;를 포함하는 것을 특징으로 하는 설비 진단 방법.
  17. 제16 항에 있어서,
    상기 제1 CNN, 제2 CNN, 및 통합 CNN은 1D CNN을 포함하는 것을 특징으로 하는 설비 진단 방법.
  18. 제14 항에 있어서,
    상기 복수의 종류의 데이터는, 적어도 1종류의 시계열 데이터와 적어도 1종류의 텍스트 데이터를 포함하고,
    상기 전처리 단계에서, 상기 적어도 1종류의 제1 시계열 데이터를 주파수 데이터로 변환하고,
    상기 심층학습 단계는,
    상기 주파수 데이터를 이용하여 제1 CNN을 통해 심층학습을 하고, 상기 텍스트 데이터를 이용하여 상기 CNN과는 다른 학습 방법을 통해 심층학습을 수행하는, 개별 심층학습 단계;
    상기 제1 CNN에 의한 심층학습 데이터와 상기 다른 학습 방법에 의한 심층학습 데이터를 통합하는, 개별 심층학습 통합 단계; 및
    상기 통합된 심층학습 데이터를 이용하여 통합 CNN를 통해 심층학습을 수행하는, 통합 심층학습 단계;를 포함하는 것을 특징으로 하는 설비 진단 방법.
  19. 제14 항에 있어서,
    상기 데이터 수집 단계에서, 적어도 2종류의 상기 설비로부터 상기 복수의 종류의 데이터를 수집하고,
    상기 설비진단 단계에서, 상기 적어도 2종류의 상기 설비, 및 상기 적어도 2종류의 상기 설비와 다른 설비에 대하여 고장 여부를 판단하는 것을 특징으로 하는 설비 진단 방법.
  20. 제14 항에 있어서,
    상기 설비진단 단계에서 상기 설비에 대한 고장 여부를 판단하기 전에는, 상기 심층학습 단계에서, 상기 설비의 정상 상태와 고장 상태가 확인된 라벨된 데이터를 이용하여 심층학습을 하며,
    상기 설비진단 단계에서 상기 설비에 대한 고장 여부 판단할 때, 상기 심층학습 단계에서, 상기 설비의 상태가 확인되지 않은 언라벨된 데이터를 이용하여 심층학습을 하며,
    상기 설비진단 단계에서, 상기 심층학습의 결과에 기초하여 상기 언라벨된 데이터에 상기 설비의 고장 여부에 대한 라벨링을 하는 것을 특징으로 하는 설비 진단 방법.
KR1020180036603A 2018-03-29 2018-03-29 심층학습을 기반으로 한 설비 진단 시스템 및 방법 KR102472134B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180036603A KR102472134B1 (ko) 2018-03-29 2018-03-29 심층학습을 기반으로 한 설비 진단 시스템 및 방법
CN201910145828.9A CN110334886B (zh) 2018-03-29 2019-02-27 基于深度学习的设备诊断系统和方法
US16/291,419 US11269321B2 (en) 2018-03-29 2019-03-04 Equipment diagnosis system and method based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180036603A KR102472134B1 (ko) 2018-03-29 2018-03-29 심층학습을 기반으로 한 설비 진단 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190114221A KR20190114221A (ko) 2019-10-10
KR102472134B1 true KR102472134B1 (ko) 2022-11-29

Family

ID=68056152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036603A KR102472134B1 (ko) 2018-03-29 2018-03-29 심층학습을 기반으로 한 설비 진단 시스템 및 방법

Country Status (3)

Country Link
US (1) US11269321B2 (ko)
KR (1) KR102472134B1 (ko)
CN (1) CN110334886B (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102367831B1 (ko) * 2019-07-23 2022-02-28 엘지전자 주식회사 운전 로그 및 인공지능모델을 이용하여 고장 진단을 하는 인공 지능 기기 및 그 방법
KR102300049B1 (ko) * 2019-11-29 2021-09-08 한국생산기술연구원 머신러닝 기반 주파수 분석을 이용한 고장 진단 장치 및 방법
EP3832417A1 (en) * 2019-12-05 2021-06-09 Elmos Semiconductor SE Method for the detection of a state of a system
CN110926782B (zh) * 2019-12-06 2022-03-29 国网河南省电力公司三门峡供电公司 断路器故障类型判断方法、装置、电子设备及存储介质
KR102268003B1 (ko) * 2019-12-11 2021-06-21 한림대학교 산학협력단 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법
KR102392951B1 (ko) * 2019-12-17 2022-05-03 주식회사 모빅랩 초음파 대역의 음향 신호를 수신하는 다채널 감지 센서를 구비한 설비 고장 예측 시스템
KR102272622B1 (ko) 2019-12-17 2021-07-05 (주)유코아시스템 기계설비의 기계음을 이용한 딥러닝기반 이상징후 감지시스템
JP2021140303A (ja) * 2020-03-03 2021-09-16 トヨタ自動車株式会社 学習方法、学習システム及び学習プログラム
JP7467292B2 (ja) * 2020-03-13 2024-04-15 東京エレクトロン株式会社 解析装置、解析方法及び解析プログラム
US11842269B2 (en) * 2020-05-28 2023-12-12 Hitachi, Ltd. AI enabled sensor data acquisition
KR102354199B1 (ko) * 2020-06-26 2022-01-21 경상국립대학교산학협력단 비지도 학습을 이용한 이상유동의 형태 판별 장치 및 그 방법
CN112083707A (zh) * 2020-08-05 2020-12-15 深圳市永达电子信息股份有限公司 一种工控物理信号的处理方法及控制器、处理系统
CN111964908B (zh) * 2020-08-17 2022-03-04 天津大学 一种基于多尺度权值分配卷积神经网络模型的变工况下轴承故障诊断方法
KR102383675B1 (ko) * 2020-09-24 2022-04-06 주식회사 비카누스 시계열 데이터 이상 진단 시스템
KR102517100B1 (ko) * 2020-11-27 2023-04-04 한국생산기술연구원 기계학습 기반 진공 가변 커패시터의 이상 진단 방법 및 진공 가변 커패시터의 이상 진단 장치
KR20220126014A (ko) * 2021-03-08 2022-09-15 포항공과대학교 산학협력단 시계열 데이터의 이상 구간 탐지 방법 및 장치
KR102418118B1 (ko) * 2021-03-24 2022-07-08 한국생산기술연구원 주파수 합성을 이용한 딥러닝 기반 설비 진단 장치 및 방법
US20220318616A1 (en) * 2021-04-06 2022-10-06 Delaware Capital Formation, Inc. Predictive maintenance using vibration analysis of vane pumps
KR102480899B1 (ko) * 2021-04-08 2022-12-22 서울대학교산학협력단 다채널 신호를 이용한 모터 고장 진단 방법 및 장치
KR102538542B1 (ko) * 2021-04-12 2023-05-30 서울대학교산학협력단 상전류 신호를 이용한 모터 고장 진단 방법 및 장치
CN113221968B (zh) * 2021-04-23 2023-02-21 北京科技大学 一种胶带输送机运行状态诊断方法及装置
CN113269174B (zh) * 2021-07-21 2021-10-12 北京航空航天大学 一种基于扩展卷积对抗自编码器的电作动器故障诊断测试方法
CN113639993B (zh) * 2021-08-17 2022-06-07 燕山大学 多模态多任务卷积神经网络的齿轮箱故障诊断方法
CN113847944B (zh) * 2021-09-14 2024-02-02 石家庄铁道大学 一种基于增强学习记忆控制的道路病害检测装置及方法
KR102380541B1 (ko) 2021-10-06 2022-04-01 주식회사 위플랫 소리 스펙트로그램 이미지를 이용한 설비 고장 진단 장치 및 그 방법
KR20240039877A (ko) * 2022-09-20 2024-03-27 현대자동차주식회사 설비 고장 예측 진단 장치 및 그 방법
KR102664948B1 (ko) * 2023-01-02 2024-05-10 주식회사 두산 인공 지능 모델에 대한 입력 데이터를 전처리하기 위한 장치 및 이를 위한 방법
CN117114078B (zh) * 2023-10-23 2024-02-23 中国科学技术大学 提升连续控制机器人训练效率的方法、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170364800A1 (en) * 2016-06-16 2017-12-21 Qatar University Method and apparatus for performing motor-fault detection via convolutional neural networks

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3100757B2 (ja) * 1992-06-02 2000-10-23 三菱電機株式会社 監視診断装置
US5594175A (en) 1994-05-06 1997-01-14 Massachusetts Institute Of Technology Apparatus and method for non-invasive diagnosis and control of motor operated valve condition
US5576632A (en) * 1994-06-30 1996-11-19 Siemens Corporate Research, Inc. Neural network auto-associator and method for induction motor monitoring
US8544087B1 (en) * 2001-12-14 2013-09-24 The Trustess Of Columbia University In The City Of New York Methods of unsupervised anomaly detection using a geometric framework
US20050222515A1 (en) 2004-02-23 2005-10-06 Biosignetics Corporation Cardiovascular sound signature: method, process and format
US7202794B2 (en) 2004-07-20 2007-04-10 General Monitors, Inc. Flame detection system
US7942824B1 (en) 2005-11-04 2011-05-17 Cleveland Medical Devices Inc. Integrated sleep diagnostic and therapeutic system and method
KR101137318B1 (ko) 2010-02-05 2012-04-19 세종대학교산학협력단 반도체 장치의 고장 진단시스템 및 방법
JP5648157B2 (ja) 2011-12-28 2015-01-07 株式会社日立ハイテクノロジーズ 半導体製造装置
MX351680B (es) * 2012-05-31 2017-10-25 Univ Connecticut Metodos y aparatos para el diagnostico de defectos en un sistema mecanico.
US8955383B2 (en) 2012-06-27 2015-02-17 General Monitors, Inc. Ultrasonic gas leak detector with false alarm discrimination
KR101809654B1 (ko) 2014-06-03 2017-12-18 에이피시스템 주식회사 기판 처리 장치 및 그 작동 방법
US9928213B2 (en) * 2014-09-04 2018-03-27 Qualcomm Incorporated Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals
US11209804B2 (en) 2014-11-11 2021-12-28 Applied Materials, Inc. Intelligent processing tools
US10650508B2 (en) 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
JP6508772B2 (ja) 2015-05-26 2019-05-08 アズビル株式会社 火炎検出システム
EP3098681B1 (en) * 2015-05-27 2020-08-26 Tata Consultancy Services Limited Artificial intelligence based health management of host system
JP2017063355A (ja) 2015-09-25 2017-03-30 ルネサスエレクトロニクス株式会社 半導体装置
KR20170038348A (ko) * 2015-09-30 2017-04-07 한국전력공사 동적 설비의 결함 진단 시스템 및 결함 진단 방법
TWI797699B (zh) 2015-12-22 2023-04-01 以色列商應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統
KR101801250B1 (ko) * 2016-02-02 2017-11-27 네이버 주식회사 음악에 적합한 테마를 자동으로 태깅하는 방법 및 시스템
CN105784366A (zh) * 2016-03-30 2016-07-20 华北电力大学（保定） 一种变转速下的风电机组轴承故障诊断方法
KR101864860B1 (ko) * 2016-09-13 2018-06-05 오토시맨틱스 주식회사 딥러닝을 통한 자동차 상태 진단 방법
CN106408088B (zh) * 2016-11-22 2019-05-24 周孝忠 一种基于深度学习理论的旋转机械设备故障诊断方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170364800A1 (en) * 2016-06-16 2017-12-21 Qatar University Method and apparatus for performing motor-fault detection via convolutional neural networks

Also Published As

Publication number Publication date
CN110334886B (zh) 2024-05-28
CN110334886A (zh) 2019-10-15
US20190302750A1 (en) 2019-10-03
US11269321B2 (en) 2022-03-08
KR20190114221A (ko) 2019-10-10

Similar Documents

Publication Publication Date Title
KR102472134B1 (ko) 심층학습을 기반으로 한 설비 진단 시스템 및 방법
Hamadache et al. A comprehensive review of artificial intelligence-based approaches for rolling element bearing PHM: Shallow and deep learning
Chao et al. Adaptive decision-level fusion strategy for the fault diagnosis of axial piston pumps using multiple channels of vibration signals
JP6250198B2 (ja) 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム
JP2022524244A (ja) 将来の動作の予測分類
US11521435B2 (en) Method and device for diagnosing problematic noise source based on big data information
Lu et al. A generic intelligent bearing fault diagnosis system using convolutional neural networks with transfer learning
KR20200137897A (ko) 인공지능 기반의 피부 진단 방법 및 시스템
Gültekin et al. A novel deep learning approach for intelligent fault diagnosis applications based on time-frequency images
CN107291475B (zh) 通用型phm应用配置方法和装置
JP2019159961A (ja) 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置
EP3712728A1 (en) Apparatus for predicting equipment damage
Zhang et al. Intelligent machine fault diagnosis using convolutional neural networks and transfer learning
Neupane et al. Deep learning-based bearing fault detection using 2-D illustration of time sequence
CN114239641A (zh) 一种联合注意力机制选择核卷积残差网络的故障诊断方法
CN116701992A (zh) 基于图注意力网络和时间卷积网络的多模态异常检测方法
CN115456088A (zh) 基于自编码器特征升维和多传感融合的电机故障分类方法
JPH0793018A (ja) 動作状態の診断方法及びシステム
Peng et al. Ensemble multiple distinct resnet networks with channel-attention mechanism for multisensor fault diagnosis of hydraulic systems
Oliveira-Santos et al. Submersible motor pump fault diagnosis system: A comparative study of classification methods
Lu et al. Rotating Machinery Fault Diagnosis Under Multiple Working Conditions via A Time Series Transformer Enhanced by Convolutional Neural Network
CN116977708B (zh) 一种基于自适应聚合可视图的轴承智能诊断方法及系统
CN113820123A (zh) 一种基于改进cnn和选择性集成的齿轮箱故障诊断方法
Hlawa et al. Deep learning-based Alzheimer's disease prediction for smart health system
Sharmila et al. A two-step unsupervised learning approach to diagnose machine fault using big data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant