KR20230040788A - Method and system for failure diagnosis and anticifation using data preprocessing - Google Patents

Method and system for failure diagnosis and anticifation using data preprocessing Download PDF

Info

Publication number
KR20230040788A
KR20230040788A KR1020210124319A KR20210124319A KR20230040788A KR 20230040788 A KR20230040788 A KR 20230040788A KR 1020210124319 A KR1020210124319 A KR 1020210124319A KR 20210124319 A KR20210124319 A KR 20210124319A KR 20230040788 A KR20230040788 A KR 20230040788A
Authority
KR
South Korea
Prior art keywords
data
image data
network
failure diagnosis
loss function
Prior art date
Application number
KR1020210124319A
Other languages
Korean (ko)
Inventor
조창노
김주한
이명성
박세진
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210124319A priority Critical patent/KR20230040788A/en
Publication of KR20230040788A publication Critical patent/KR20230040788A/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0262—Confirmation of fault detection, e.g. extra checks to confirm that a failure has indeed occurred
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

The present invention provides a fault diagnosis and prediction method and a fault diagnosis and prediction system for executing the same. The fault diagnosis and prediction method includes: a data collection step of collecting sensor data at a frequency less than a predetermined level from a sensor installed in a fault detection and prediction target system; a data conversion step of converting the obtained sensor data into image data for use in fault diagnosis; a data pre-processing step of pre-processing the converted image data through a neural network trained using sensor data collected at a frequency equal to or greater than the predetermined level as labeling data; and a fault diagnosis step of diagnosing a system using the pre-processed image data.

Description

데이터 전처리를 통하여 정밀도를 향상시킨 고장 진단 및 예지 방법 및 시스템{METHOD AND SYSTEM FOR FAILURE DIAGNOSIS AND ANTICIFATION USING DATA PREPROCESSING}Failure diagnosis and prediction method and system with improved precision through data preprocessing

본 발명은 진단 대상 시스템의 고장 진단/예지 방법 및 시스템에 관한 것으로서, 구체적으로는 획득되는 센서 데이터를 전처리하여 진단 대상 시스템의 고장 진단 및 예측 정확도를 향상시킬 수 있는 이미지 데이터 전처리 기술에 관한 것이다.The present invention relates to a method and system for diagnosing/predicting a failure of a system to be diagnosed, and more specifically, to an image data preprocessing technology capable of improving the accuracy of failure diagnosis and prediction of a system to be diagnosed by preprocessing acquired sensor data.

물리적 파라미터에 대한 정보를 통해서 각종 시스템의 고장을 진단하거나 고장 발생을 예측하려는 연구는 지속적으로 수행되어 왔다. 또한 고정 진단시의 진단 대상 시스템의 다운 타임을 최소화하고 생산성 및 신뢰성을 향상하기 위한 연구가 지속되고 있다.Research on diagnosing failures of various systems or predicting occurrences of failures through information on physical parameters has been continuously conducted. In addition, research is being conducted to minimize the downtime of the system to be diagnosed during fixed diagnosis and to improve productivity and reliability.

특히, 최근에는 딥 러닝 등을 이용한 데이터 기반의 고장 진단 및 예지 방법에 대한 많은 개발이 진행되고 있다. 딥 러닝을 이용한 데이터 기반 시스템 고장 진단 방법을 통해 시스템의 고장을 진단 및 예측하는 경우에는 그 이전의 진단 및 예지 기법에 소요되는 것보다 많은 데이터가 필요하다.In particular, in recent years, many developments on data-based failure diagnosis and prediction methods using deep learning and the like have been conducted. In the case of diagnosing and predicting a system failure through a data-based system failure diagnosis method using deep learning, more data is required than previous diagnosis and prediction techniques.

도 1에 종래의 딥러닝 기반 고장 진단 및 예지 시스템을 예시하였다. 종래의 딥러닝 기반 진단 시스템은 학습 및 예측에 필요한 데이터를 획득하기 위하여 복수의 센서 (도 1의 예시의 경우 speed sensor, accelrometers, thermocouple 등)를 부착하고 고성능 데이터 취득 장치(NI DAQ card)를 이용하여 고속 샘플링 주기로 데이터를 취득하여야 한다. 1 illustrates a conventional deep learning-based failure diagnosis and prediction system. A conventional deep learning-based diagnostic system attaches a plurality of sensors (speed sensor, accelometers, thermocouple, etc. in the case of the example of FIG. 1) and uses a high-performance data acquisition device (NI DAQ card) to acquire data necessary for learning and prediction. Therefore, data must be acquired at a high-speed sampling cycle.

예컨대, 도 5의 (A), (B), (C)는 모터를 포함한 구동 시스템에 대해서 10Khz의 고속 샘플링 빈도로 수집된 가속도 데이터를 연속 웨이블릿 변환(continuous wavelet transform ; CWT)하여 얻은 이미지로서, 각각 정상상태, 임펠러 손상, 베어링 손상을 나타낸다. 각 이미지는 확연히 구별되는 특징을 가지고 있으므로, 진단 대상 시스템의 정상여부와 각 부위별 고장, 고장 원인 등을 파악할 수 있다.For example, (A), (B), and (C) of FIG. 5 are images obtained by continuous wavelet transform (CWT) of acceleration data collected at a high-speed sampling frequency of 10 Khz for a driving system including a motor, It indicates normal condition, impeller damage, and bearing damage, respectively. Since each image has distinct characteristics, it is possible to determine whether the system to be diagnosed is normal or not, as well as the failure of each part and the cause of the failure.

그런데, 1Khz의 저속 샘플링 빈도로 수집된 가속도 데이터를 연속 웨이블릿 변환하면, 도 6의 (D), (E), (F)와 같이 상호 식별이 어려운 이미지가 획득되어 정상상태, 임펠러 손상, 베어링 손상 등의 구별이 어렵게 된다.However, when the acceleration data collected at a low sampling rate of 1 Khz is subjected to continuous wavelet transformation, images that are difficult to identify are obtained as shown in (D), (E), and (F) of FIG. etc. is difficult to distinguish.

이와 같이, 시스템의 고장 진단 및 예측에 대한 정확도를 높이기 위해서는 높은 샘플링 빈도(예컨대, 10Khz 이상)의 고속 수집 데이터가 필요하므로 고가의 데이터 수집 장치가 요구되고, 이로 인하여 진단 장치의 단가 상승을 초래하는 문제점이 있다.In this way, in order to increase the accuracy of system failure diagnosis and prediction, high-speed collection data with a high sampling frequency (eg, 10 Khz or more) is required, so an expensive data collection device is required, which causes an increase in the unit cost of the diagnosis device. There is a problem.

한국등록특허 제10-2289212호Korean Patent Registration No. 10-2289212

전술한 문제점을 해결하기 위하여, 센서 데이터에 대한 전처리 과정을 수행함으로써, 고가의 고속 데이터 수집 장치를 구비하지 않고도 시스템의 고장 진단 및 예측 정확도를 높일 수 있는 이미지 데이터 전처리를 이용한 고장 진단 및 예지 방법(이하, 고장 진단 방법으로 약칭함) 및 고장 진단 및 예지 시스템(이하 고장 진단 시스템으로 약칭함)을 제공하고자 한다.In order to solve the above problems, a failure diagnosis and prediction method using image data pre-processing that can increase the failure diagnosis and prediction accuracy of a system without having an expensive high-speed data collection device by performing a pre-processing process on sensor data ( Hereinafter, it is intended to provide a failure diagnosis method) and a failure diagnosis and prediction system (hereinafter, abbreviated as a failure diagnosis system).

본 발명의 일 측면에 따른 고장 감지 및 예지 방법은, 고장 감지 및 예지 대상 시스템에 설치된 센서로부터 소정 수준 미만의 빈도로 센서 데이터를 수집하는 데이터 수집 단계; 상기 획득한 센서 데이터를 고장 진단에 이용하기 위한 이미지 데이터로 변환하는 데이터 변환 단계; 상기 소정 수준 이상의 빈도로 수집된 센서 데이터를 라벨링 데이터로 이용하여 학습된 뉴럴 네트워크를 통하여, 상기 변환된 이미지 데이터를 전처리하는 데이터 전처리 단계; 및 상기 전처리된 이미지 데이터를 이용하여 시스템을 진단하는 고장 진단 단계;를 포함한다. A failure detection and prediction method according to an aspect of the present invention includes a data collection step of collecting sensor data from a sensor installed in a failure detection and prediction target system at a frequency less than a predetermined level; a data conversion step of converting the acquired sensor data into image data for use in fault diagnosis; a data pre-processing step of pre-processing the converted image data through a neural network trained using sensor data collected at a frequency equal to or greater than the predetermined level as labeling data; and a failure diagnosis step of diagnosing a system using the preprocessed image data.

일 실시예에서, 상기 데이터 전처리 단계는, 제1 내지 제3 네트워크를 순차적으로 연결하여 상기 뉴럴 네트워크를 구성하는 단계를 포함한다.In an embodiment, the data preprocessing step includes constructing the neural network by sequentially connecting first to third networks.

일 실시예에서, 상기 데이터 전처리 단계는, 상기 뉴럴 네트워크의 학습을 위해 마련되는 라벨 이미지 데이터 및 상기 출력 이미지 데이터와 관련된 차이값을 출력하는 손실 함수를 적용하는 단계;를 포함한다. In one embodiment, the data preprocessing step includes applying a loss function that outputs a difference value related to label image data prepared for learning of the neural network and the output image data.

일 실시예에서, 상기 손실 함수를 적용하는 단계는, 상기 라벨 이미지 데이터 및 출력 이미지 데이터 간의 차이값을 출력하는 손실 함수, 상기 라벨 이미지 데이터 및 출력 이미지 데이터에 대한 특징 간의 차이값을 출력하는 손실 함수, 상기 라벨 이미지 데이터를 통해 학습된 네트워크가 출력하는 출력 이미지 데이터에 대한 차이값을 출력하는 손실 함수, 상기 라벨 이미지 데이터로 학습된 오토인코더(autoencorder)를 통해 차이값을 출력하는 손실 함수, 판별자 신경망(discriminator network)을 통해 차이값을 출력하는 손실 함수 중 적어도 하나를 적용한다. In an embodiment, the applying of the loss function may include a loss function outputting a difference value between the label image data and the output image data, and a loss function outputting a difference value between features of the label image data and the output image data. , A loss function outputting a difference value for output image data output by the network learned through the label image data, a loss function outputting a difference value through an autoencoder learned with the label image data, and a discriminator. At least one of loss functions outputting a difference value is applied through a discriminator network.

본 발명의 다른 면에 따라, 고장 감지 및 예지 대상 시스템에 설치된 센서로부터 소정 빈도 미만으로 센서 데이터를 수집하는 데이터 수집부; 상기 획득한 센서 데이터를 고장 진단에 이용하기 위한 이미지 데이터로 변환하는 데이터 변환부; 제1 내지 제3 네트워크를 통해 상기 변환된 이미지 데이터를 전처리하여 해상도를 향상시키는 데이터 전처리부; 및 상기 전처리된 이미지 데이터를 이용하여 시스템을 진단하는 고장 진단부;를 포함하는 고장 진단 및 예지 시스템이 제공된다.According to another aspect of the present invention, a data collection unit for collecting sensor data less than a predetermined frequency from the sensor installed in the failure detection and prediction target system; a data conversion unit that converts the acquired sensor data into image data for use in fault diagnosis; a data pre-processing unit pre-processing the converted image data through first to third networks to improve resolution; and a failure diagnosis unit for diagnosing the system using the pre-processed image data.

일 실시예에서, 상기 제1 네트워크는, 상기 변환된 이미지 데이터의 특징을 추출하기 위한 것이다. In one embodiment, the first network is for extracting features of the converted image data.

일 실시예에서, 상기 제2 네트워크는, 상기 변환된 이미지 데이터에 대한 전처리 성능을 향상시키기 위한 것이다. In one embodiment, the second network is to improve preprocessing performance of the converted image data.

일 실시예에서, 상기 제3 네트워크는, 상기 제1 네트워크에서 추출된 특징에 기초하여 변환 이미지 데이터를 생성한다. In one embodiment, the third network generates converted image data based on features extracted from the first network.

본 발명에 따르면, 저속으로 수집되는 센서 데이터에 대한 전처리 과정을 수행함으로써, 고가의 고속 데이터 수집 장치를 구비할 필요 없이 기존의 데이터 수집 장치를 통해서도 딥러닝 기반 고장 진단 시스템의 정확도를 높일 수 있다.According to the present invention, by performing a pre-processing process on sensor data collected at a low speed, the accuracy of a deep learning-based fault diagnosis system can be increased even through an existing data collection device without the need for an expensive high-speed data collection device.

도 1은 종래의 고장 진단 및 예지 시스템을 도시한 예시도.
도 2는 본 발명에 따른 이미지 데이터 전처리를 이용한 고장 진단 방법을 설명하기 위한 참조도.
도 3은 본 발명에 따른 이미지 데이터 전처리를 이용한 고장 진단 시스템의 구성을 나타내는 블록도.
도 4는 본 발명의 일 실시예에 따른 이미지 데이터 전처리 네트워크의 구성을 설명하기 위한 참조도.
도 5 내지 도 7은 본 발명에 따른 이미지 데이터 전처리를 이용한 진단 효과를 설명하기 위한 참조도.1 is an exemplary view showing a conventional failure diagnosis and prediction system;
2 is a reference view for explaining a failure diagnosis method using image data pre-processing according to the present invention;
3 is a block diagram showing the configuration of a failure diagnosis system using image data pre-processing according to the present invention;
4 is a reference diagram for explaining the configuration of an image data pre-processing network according to an embodiment of the present invention;
5 to 7 are reference diagrams for explaining a diagnosis effect using pre-processing of image data according to the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can apply various transformations and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, it should be understood that this is not intended to limit the present invention to specific embodiments, and includes all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may obscure the gist of the present invention, the detailed description will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

또한, 명세서에 기재된 "...부"의 용어는 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, the term "unit" described in the specification means a unit that processes one or more functions or operations, which may be implemented as hardware or software or a combination of hardware and software.

도 2는 본 발명에 따른 이미지 데이터 전처리를 이용한 고장 진단 방법을 설명하기 위한 참조도이다.2 is a reference diagram for explaining a failure diagnosis method using image data pre-processing according to the present invention.

도 2의 (A)는 종래의 고장 진단 방법을 나타내고 있으며, (B)는 본 발명에 따른 이미지 데이터 전처리를 이용한 고장 진단 방법을 나타내고 있다.2(A) shows a conventional fault diagnosis method, and (B) shows a fault diagnosis method using image data preprocessing according to the present invention.

종래의 딥러닝 기반 고장 진단 방법(A)은 예컨대 10khz 이상의 샘플링 빈도로 데이터를 수집하는 고속 데이터 수집 장치를 이용하여 센서 데이터를 수집하고, 수집된 센서 데이터를 이미지 데이터로 변환하며, 변환 완료된 이미지 데이터에 기초하여 딥러닝 기법을 활용하여 시스템의 고장을 진단 및 예측하게 된다. The conventional deep learning-based fault diagnosis method (A) collects sensor data using a high-speed data collection device that collects data at a sampling frequency of, for example, 10 khz or higher, converts the collected sensor data into image data, and converts the converted image data. Based on this, deep learning techniques are used to diagnose and predict system failures.

반면, 본 발명에 따른 이미지 데이터 전처리를 이용한 고장 진단 방법(B)은 변환 완료된 이미지 데이터를 전처리하는 과정이 수행되며, 이러한 AI 기반의 이미지 데이터 전처리 과정을 통해 저속(예컨대, 1khz의 샘플링 빈도)으로 센서 데이터를 수집하여도 고속으로 수집된 데이터를 이용한 결과물에 상응하는 이미지 데이터(도 7의 G, H, I)를 생성할 수 있다. 이에 따라 본 발명에 따른 고장 진단 방법 및 시스템은 종래의 고장 진단 방법(A)에서는 필수적인 고가의 고속 데이터 수집 장치를 구비하지 않아도 되는 장점을 갖게 된다.On the other hand, in the fault diagnosis method (B) using image data pre-processing according to the present invention, a process of pre-processing the converted image data is performed, and through this AI-based image data pre-processing process, a low-speed (e.g., sampling frequency of 1 khz) is performed. Even if the sensor data is collected, image data (G, H, I in FIG. 7) corresponding to the result using the data collected at high speed can be generated. Accordingly, the fault diagnosis method and system according to the present invention have the advantage of not having an expensive high-speed data collection device essential in the conventional fault diagnosis method (A).

도 3은 본 발명에 따른 이미지 데이터 전처리를 이용한 고장 진단 시스템(100)(이하, 고장 진단 시스템)의 구성을 나타내는 블록도이다.3 is a block diagram showing the configuration of a failure diagnosis system 100 (hereinafter referred to as a failure diagnosis system) using image data pre-processing according to the present invention.

본 발명에 따른 고장 진단 시스템(100)는 데이터 수집부(110), 데이터 변환부(120), 데이터 전처리부(130) 및 고장 진단부(140)를 포함하여 구성된다.The failure diagnosis system 100 according to the present invention includes a data collection unit 110, a data conversion unit 120, a data pre-processing unit 130, and a failure diagnosis unit 140.

데이터 수집부(110)는 센서로부터 일정 주기로 측정되는 센서 데이터를 수집한다. 여기에서, 상기 센서는 진단 대상 시스템에 설치되는 것으로, 물리적 파라미터에 대한 데이터인 센서 데이터를 데이터 수집부(110)에 전달하게 된다. 감지되는 물리적 파라미터는 예를 들어 속도(진동), 온도, 소리, 전류, 전압 및 토크 등을 포함한다. 본 발명에 따른 데이터 수집부(110)는 예컨대 1khz의 저속 샘플링 빈도로 데이터를 획득하며, 이럼으로써 고속의 데이터 수집 장치가 필요하지 않다.The data collection unit 110 collects sensor data measured from the sensor at regular intervals. Here, the sensor is installed in the system to be diagnosed, and transmits sensor data, which is data on physical parameters, to the data collection unit 110 . Physical parameters to be sensed include, for example, speed (vibration), temperature, sound, current, voltage, and torque. The data collection unit 110 according to the present invention acquires data at a low sampling frequency of, for example, 1 khz, and thus does not require a high-speed data collection device.

데이터 변환부(120)는 상기 획득한 센서 데이터를 고장 진단에 이용하기 위한 이미지 데이터로 변환한다. 상기 센서 데이터를 이미지 데이터로 변환하는 과정에는 연속 웨이블릿 변환(continuous wavelet transform) 또는 파워 스펙트럼(power spectrum)이 사용될 수 있으며, 이 때 저역 통과 필터가 함께 사용될 수 있다. The data conversion unit 120 converts the acquired sensor data into image data for use in fault diagnosis. In the process of converting the sensor data into image data, a continuous wavelet transform or a power spectrum may be used, and in this case, a low pass filter may be used together.

그런데, 데이터 변환부(120)가 변환하여 생성한 이미지 데이터는 데이터 수집부(110)가 고속 데이터 수집장치를 이용하지 않고 저속으로 데이터를 수집하였기 때문에 도 6의 (D), (E), (F)와 같이 상호간 차이의 식별이 어려운, 즉 특징이 뭉개진 이미지일 수 있다. However, since the image data converted and generated by the data conversion unit 120 was collected by the data collection unit 110 at a low speed without using a high-speed data collection device, the image data in FIGS. 6 (D), (E), ( As shown in F), it may be an image in which it is difficult to identify differences between images, that is, an image in which features are crushed.

데이터 전처리부(130)는 AI 기반의 이미지 데이터 전처리를 수행하여 도 6의 뭉개진 이미지를 도 7의 (G), (H), (I)처럼 상호 식별가능한 이미지로 변환한다.The data pre-processing unit 130 performs AI-based image data pre-processing to convert the crushed image of FIG. 6 into mutually identifiable images as shown in (G), (H), and (I) of FIG. 7 .

또한, 데이터 전처리된 도 7의 (G), (H), (I)는 나타내는 특징이 명확해져서 도 5의 (A), (B), (C)와 동일하거나 근접한 이미지이므로, 고장 진단부(140)는 데이터 전처리된 이미지를 통하여 진단 대상 시스템의 정상상태 여부, 각 부분별 고장 여부를 확인할 수 있다.In addition, since (G), (H), and (I) of FIG. 7 in which the data has been preprocessed are the same or similar to those of (A), (B), and (C) of FIG. 140) can check whether the system to be diagnosed is in a normal state and whether there is a failure in each part through the preprocessed data image.

즉, 데이터 전처리부(130)를 구비함으로써, 고장 진단부(140)가 종래의 이미지 기반 진단 방식을 수행하고 데이터 수집부(110)가 저속으로 센서 데이터를 수집하더라도, 고속 데이터 수집 장치를 구비한 경우와 동일 수준의 정확도로 진단 대상 시스템의 고장 진단 및 예지를 할 수 있다. That is, by providing the data pre-processing unit 130, even if the failure diagnosis unit 140 performs the conventional image-based diagnosis method and the data collection unit 110 collects sensor data at a low speed, a high-speed data collection device is provided. It is possible to diagnose and predict the failure of the system to be diagnosed with the same level of accuracy as the case.

도 4에 데이터 전처리부(130)의 구체 구성을 도시하였다. 데이터 전처리부(130)는 상기 제1 내지 제3 네트워크를 순차적으로 연결하여 전체 네트워크를 구성한다. 4 shows a specific configuration of the data pre-processing unit 130. The data pre-processing unit 130 configures the entire network by sequentially connecting the first to third networks.

제1 네트워크(131)는 저속 획득된 센서 데이터(예컨대, 1khz의 샘플링 빈도로 획득된 데이터)를 토대로 변환된 이미지 데이터와 라벨링 데이터(예컨대, 10khz의 샘플링 빈도로 고속 획득된 센서 데이터를 토대로 변환된 이미지 데이터)를 입력받으며, LSTMN(Long Short Term Memory Network), CNN(Convolutional Neural Network) 등 DNN(Deep Neural Network) 중 적어도 하나의 네트워크를 포함하고, 활성화 레이어(activation layer), 풀링 레이어(pooling layer) 및 배치 정규화 레이어(batch normalization layer) 중 적어도 하나의 레이어를 포함하도록 구성될 수 있다.The first network 131 converts image data based on low-speed acquired sensor data (eg, data acquired at a sampling frequency of 1 khz) and labeling data (eg, converted based on sensor data acquired at a high speed at a sampling frequency of 10 khz). image data) as input, and includes at least one network of Deep Neural Networks (DNNs) such as Long Short Term Memory Network (LSTMN) and Convolutional Neural Network (CNN), an activation layer, and a pooling layer ) and at least one layer of a batch normalization layer.

또한, 데이터 전처리부(130)는 제2 네트워크(132)를 상기 변환된 이미지 데이터에 대한 전처리 성능을 향상시키기 위한 네트워크로 구성할 수 있다. 예를 들어, 제2 네트워크(132)는 제1 내지 제3 네트워크로 구성되는 전체 네트워크의 성능 향상을 위한 덴스 레이어(dense layer) 및 보틀넥 레이어(bottleneck layer) 중 적어도 하나의 레이어를 포함하도록 구성될 수 있다.Also, the data pre-processing unit 130 may configure the second network 132 as a network for improving pre-processing performance of the converted image data. For example, the second network 132 is configured to include at least one layer of a dense layer and a bottleneck layer for improving the performance of the entire network composed of the first to third networks It can be.

또한, 데이터 전처리부(130)는 제3 네트워크(133)를 제1 네트워크(131)에서 추출된 특징에 기초하여 해상도가 향상된 이미지 데이터를 생성하기 위한 네트워크로 구성할 수 있다. 예를 들어, 제3 네트워크(133)는 업샘플링 레이어(upsampling layer), 활성화 레이어(activation layer), 합성곱 레이어(convolution layer), 전치 합성곱 레이어(transposed convolutional layer) 및 픽셀 셔플 레이어(pixel shuffle layer) 중 적어도 하나의 레이어를 포함하도록 구성될 수 있다.In addition, the data pre-processing unit 130 may configure the third network 133 as a network for generating image data with improved resolution based on the features extracted from the first network 131 . For example, the third network 133 includes an upsampling layer, an activation layer, a convolution layer, a transposed convolutional layer, and a pixel shuffle layer. layer) may be configured to include at least one layer.

또한, 데이터 전처리부(130)는 제1 네트워크(131)를 통한 특징 추출 과정에서의 손실을 최소화하기 위한 잔차 연결(skip connection) 및 연쇄 연결(concatenation) 중 적어도 하나를 제1 네트워크 및 제3 네트워크 간에 적용할 수 있다.In addition, the data pre-processor 130 connects at least one of a skip connection and a concatenation to a first network and a third network to minimize a loss in a feature extraction process through the first network 131. can be applied to the liver.

이어서, 본 발명에 따른 데이터 전처리부(130)는 네트워크의 학습을 위해 마련되는 라벨 이미지 데이터 및 전처리를 통해 생성되는 출력 이미지 데이터와 관련된 차이값을 출력하는 손실 함수를 생성하여 네트워크에 적용할 수 있다. 여기에서, 네트워크에 적용되는 손실 함수는, 상기 라벨 이미지 데이터 및 출력 이미지 데이터 간의 차이값을 출력하는 손실 함수, 상기 라벨 이미지 데이터 및 출력 이미지 데이터에 대한 특징 간의 차이값을 출력하는 손실 함수, 상기 라벨 이미지 데이터를 통해 학습된 네트워크가 출력하는 출력 이미지 데이터에 대한 차이값을 출력하는 손실 함수, 상기 라벨 이미지 데이터로 학습된 오토인코더(autoencorder)를 통해 차이값을 출력하는 손실 함수 및 판별자 신경망(discriminator network)을 통해 차이값을 출력하는 손실 함수가 생성되어 네트워크에 적용될 수 있다.Next, the data pre-processing unit 130 according to the present invention may generate a loss function that outputs a difference value related to label image data prepared for network learning and output image data generated through pre-processing, and apply it to the network. . Here, the loss function applied to the network includes a loss function outputting a difference value between the label image data and the output image data, a loss function outputting a difference value between features of the label image data and the output image data, and the label image data. A loss function that outputs a difference value for the output image data output by the network learned through image data, a loss function that outputs a difference value through an autoencoder learned from the label image data, and a discriminator neural network A loss function that outputs a difference value through a network) can be generated and applied to the network.

본 발명의 바람직한 실시예에 따르면 상기 라벨 이미지 데이터 및 출력 이미지 데이터 간의 차이값을 출력하는 손실 함수, 상기 라벨 이미지 데이터 및 출력 이미지 데이터에 대한 특징 간의 차이값을 출력하는 손실 함수는 평균 제곱 오차(mean squared error) 또는 이진 교차 엔트로피(binary cross entropy)에 해당될 수 있다.According to a preferred embodiment of the present invention, a loss function outputting a difference value between the label image data and the output image data and a loss function outputting a difference value between features of the label image data and the output image data have a mean square error (mean square error) squared error) or binary cross entropy.

본 발명의 바람직한 실시예에 따르면 상기 라벨 이미지 데이터를 통해 학습된 네트워크가 출력하는 출력 이미지 데이터에 대한 차이값을 출력하는 손실 함수는 교차 엔트로피(cross entropy)에 해당될 수 있다.According to a preferred embodiment of the present invention, a loss function outputting a difference value for output image data output by a network learned through the label image data may correspond to cross entropy.

본 발명에서 적용될 수 있는 손실함수를 정리하면 아래와 같다.The loss function that can be applied in the present invention is summarized as follows.

1. output image와 label image간의 차이 (mean squared error, binary cross entropy, 등)1. Difference between output image and label image (mean squared error, binary cross entropy, etc.)

loss = error(label_image, output_image) loss = error ( label_image , output_image )

2. output image와 label image간의 feature 차이: 학습된 feature 추출기로부터 계산된 mean squared error, binary cross entropy, 등2. Feature difference between output image and label image: mean squared error, binary cross entropy, etc. calculated from the learned feature extractor

loss = error(feature_extractor(label_image), feature_extractor(input_image) loss = error ( feature_extractor ( label_image ), feature_extractor ( input_image )

3. output image를 이용한 고장 진단 오차: label로 학습된 고장 진단기(network)로부터 계산된 cross entropy loss3. Fault diagnosis error using output image: Cross entropy loss calculated from fault diagnosis machine ( network ) learned as a label

loss = cross_entropy(label, network(output_image)) loss = cross_entropy ( label , network ( output_image ))

4. label image로 학습된 autoencoder를 이용한 loss4. Loss using autoencoder trained with label image

loss = autoencoder(output_image) loss = autoencoder ( output_image )

5. discriminator network를 이용한 loss5. Loss using a discriminator network

loss = distriminator(output_image, label_image) loss = distributor ( output_image, label_image )

고장 진단부(140)는 전처리를 통해 진단 대상 시스템의 동작 상태의 특징을 반영하는 출력 이미지 데이터를 이용하여 시스템을 진단한다. 이럼으로써, 본 발명에 따른 고장 진단 시스템(100)은 저속으로 획득한 센서 데이터를 통해서도 고속으로 획득한 센서 데이터를 이용하는 경우에 상응하는 결과를 도출할 수 있다.The fault diagnosis unit 140 diagnoses the system using output image data reflecting the characteristics of the operating state of the system to be diagnosed through preprocessing. In this way, the failure diagnosis system 100 according to the present invention can derive results corresponding to the case of using sensor data acquired at high speed even through sensor data acquired at low speed.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention without departing from the spirit and scope of the present invention described in the claims. You will understand.

100: 이미지 데이터 전처리를 이용한 고장 진단 시스템
110: 데이터 수집부
120: 데이터 변환부
130: 데이터 전처리부
140: 고장 진단부100: Fault diagnosis system using image data preprocessing
110: data collection unit
120: data conversion unit
130: data pre-processing unit
140: fault diagnosis unit

Claims (8)

고장 감지 및 예지 대상 시스템에 설치된 센서로부터 소정 수준 미만의 빈도로 센서 데이터를 수집하는 데이터 수집 단계;
상기 획득한 센서 데이터를 고장 진단에 이용하기 위한 이미지 데이터로 변환하는 데이터 변환 단계;
상기 소정 수준 이상의 빈도로 수집된 센서 데이터를 라벨링 데이터로 이용하여 학습된 뉴럴 네트워크를 통하여, 상기 변환된 이미지 데이터를 전처리하는 데이터 전처리 단계; 및
상기 전처리된 이미지 데이터를 이용하여 시스템을 진단하는 고장 진단 단계;
를 포함하는 고장 진단 및 예지 방법.
A data collection step of collecting sensor data at a frequency less than a predetermined level from sensors installed in a failure detection and prediction target system;
a data conversion step of converting the acquired sensor data into image data for use in fault diagnosis;
a data pre-processing step of pre-processing the converted image data through a neural network trained using sensor data collected at a frequency equal to or greater than the predetermined level as labeling data; and
a failure diagnosis step of diagnosing a system using the preprocessed image data;
Failure diagnosis and prognosis method comprising a.
 제1항에 있어서, 상기 데이터 전처리 단계는,
제1 내지 제3 네트워크를 순차적으로 연결하여 상기 뉴럴 네트워크를 구성하는 단계를 포함하는 것인 고장 진단 및 예지 방법.The method of claim 1, wherein the data preprocessing step,
and constructing the neural network by sequentially connecting first to third networks. 제1항에 있어서, 상기 데이터 전처리 단계는,
상기 뉴럴 네트워크의 학습을 위해 마련되는 라벨 이미지 데이터 및 상기 출력 이미지 데이터와 관련된 차이값을 출력하는 손실 함수를 적용하는 단계;를 포함하는 것인 고장 진단 및 예지 방법.
The method of claim 1, wherein the data preprocessing step,
and applying a loss function outputting a difference value related to label image data prepared for learning of the neural network and the output image data.
 제3항에 있어서, 상기 손실 함수를 적용하는 단계는,
상기 라벨 이미지 데이터 및 출력 이미지 데이터 간의 차이값을 출력하는 손실 함수,
상기 라벨 이미지 데이터 및 출력 이미지 데이터에 대한 특징 간의 차이값을 출력하는 손실 함수,
상기 라벨 이미지 데이터를 통해 학습된 네트워크가 출력하는 출력 이미지 데이터에 대한 차이값을 출력하는 손실 함수,
상기 라벨 이미지 데이터로 학습된 오토인코더(autoencorder)를 통해 차이값을 출력하는 손실 함수,
판별자 신경망(discriminator network)을 통해 차이값을 출력하는 손실 함수 중 적어도 하나를 적용하는 것인 고장 진단 및 예지 방법.
4. The method of claim 3, wherein applying the loss function comprises:
A loss function outputting a difference between the label image data and the output image data;
A loss function outputting a difference value between features for the label image data and the output image data;
A loss function outputting a difference value for output image data output by the network learned through the label image data;
A loss function that outputs a difference value through an autoencoder learned with the label image data;
A failure diagnosis and prediction method comprising applying at least one of a loss function outputting a difference value through a discriminator network.
 고장 감지 및 예지 대상 시스템에 설치된 센서로부터 소정 빈도 미만으로 센서 데이터를 수집하는 데이터 수집부;
상기 획득한 센서 데이터를 고장 진단에 이용하기 위한 이미지 데이터로 변환하는 데이터 변환부;
제1 내지 제3 네트워크를 통해 상기 변환된 이미지 데이터를 전처리하여 해상도를 향상시키는 데이터 전처리부; 및
상기 전처리된 이미지 데이터를 이용하여 시스템을 진단하는 고장 진단부;를 포함하는 고장 진단 및 예지 시스템.
a data collection unit that collects sensor data from sensors installed in a failure detection and prediction target system at a frequency less than a predetermined frequency;
a data conversion unit that converts the acquired sensor data into image data for use in fault diagnosis;
a data pre-processing unit pre-processing the converted image data through first to third networks to improve resolution; and
A failure diagnosis and prediction system including a failure diagnosis unit for diagnosing a system using the preprocessed image data.
 제5항에 있어서, 상기 제1 네트워크는,
상기 변환된 이미지 데이터의 특징을 추출하기 위한 것인 고장 진단 및 예지 시스템.
The method of claim 5, wherein the first network,
A failure diagnosis and prediction system for extracting features of the converted image data.
 제5항에 있어서, 상기 제2 네트워크는,
상기 변환된 이미지 데이터에 대한 전처리 성능을 향상시키기 위한 것인 고장 진단 및 예지 시스템.
The method of claim 5, wherein the second network,
A failure diagnosis and prediction system for improving pre-processing performance of the converted image data.
 제5항에 있어서, 제3 네트워크는,
상기 제1 네트워크에서 추출된 특징에 기초하여 변환 이미지 데이터를 생성하는 것인 고장 진단 및 예지 시스템.
The method of claim 5, wherein the third network,
and generating converted image data based on the features extracted from the first network.
KR1020210124319A 2021-09-16 2021-09-16 Method and system for failure diagnosis and anticifation using data preprocessing KR20230040788A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210124319A KR20230040788A (en) 2021-09-16 2021-09-16 Method and system for failure diagnosis and anticifation using data preprocessing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210124319A KR20230040788A (en) 2021-09-16 2021-09-16 Method and system for failure diagnosis and anticifation using data preprocessing

Publications (1)

Publication Number Publication Date
KR20230040788A true KR20230040788A (en) 2023-03-23

Family

ID=85799274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210124319A KR20230040788A (en) 2021-09-16 2021-09-16 Method and system for failure diagnosis and anticifation using data preprocessing

Country Status (1)

Country Link
KR (1) KR20230040788A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102289212B1 (en) 2019-11-18 2021-08-12 한국생산기술연구원 Fault diagnosis apparatus and method based on artificial intelligence technology

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102289212B1 (en) 2019-11-18 2021-08-12 한국생산기술연구원 Fault diagnosis apparatus and method based on artificial intelligence technology

Similar Documents

Publication Publication Date Title
Choudhary et al. Multi-input CNN based vibro-acoustic fusion for accurate fault diagnosis of induction motor
KR101998559B1 (en) Fault Diagnosis System For Rotating Device Using Deep Learning and Wavelet Transform
US20190378022A1 (en) Missing value imputation technique to facilitate prognostic analysis of time-series sensor data
US20230184624A1 (en) Fault Diagnosis Method and Apparatus Therefor
KR101967301B1 (en) Fault Diagnosis System For Rotating Device Using Convergence of Learning Data
Gangsar et al. Diagnostics of mechanical and electrical faults in induction motors using wavelet-based features of vibration and current through support vector machine algorithms for various operating conditions
CN113391207A (en) Motor fault detection method, medium and system
CN115456088A (en) Motor fault classification method based on self-encoder feature lifting dimension and multi-sensing fusion
KR102289212B1 (en) Fault diagnosis apparatus and method based on artificial intelligence technology
CN113530850B (en) Centrifugal pump fault diagnosis method based on ESA and stacked capsule self-encoder
CN116842379A (en) Mechanical bearing residual service life prediction method based on DRSN-CS and BiGRU+MLP models
KR20230040788A (en) Method and system for failure diagnosis and anticifation using data preprocessing
KR100786229B1 (en) On-Line Fault Detecting Method for 3-Phase Induction Motor
CN116380466A (en) Rolling bearing intelligent fault diagnosis method and system based on enhanced event visual data
de Assis Boldt et al. Fast feature selection using hybrid ranking and wrapper approach for automatic fault diagnosis of motorpumps based on vibration signals
WO2021111726A1 (en) Fault diagnosis device, fault diagnosis system, fault diagnosis method, and fault diagnosis program
WO2021111728A1 (en) Failure symptom detection device, failure symptom detection system, failure symptom detection method, and failure symptom detection program
Medina et al. A LSTM neural network approach using vibration signals for classifying faults in a gearbox
Choudhary et al. Deep transfer learning based fault diagnosis of electric vehicle motor
JP2010101860A (en) Failure diagnosis device of mechanism loaded on vehicle
US20240184658A1 (en) Deep learning-based analysis system and operating method thereof
KR102535105B1 (en) Method for training artificial neural network for anomaly detection of rotating machinery, method for detecting anomaly of rotating machinery using artificial neural network, and computing system performing the same
US20230068908A1 (en) Anomaly Detection and Diagnosis in Factory Automation System using Pre-Processed Time-Delay Neural Network with Loss Function Adaptation
KR102449413B1 (en) Apparatus and method for detecting fault of robot
Li et al. Mechanical fault diagnosis of rolling bearing based on locality-constrained sparse coding