KR102374817B1 - 시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템 - Google Patents

시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템 Download PDF

Info

Publication number
KR102374817B1
KR102374817B1 KR1020210029428A KR20210029428A KR102374817B1 KR 102374817 B1 KR102374817 B1 KR 102374817B1 KR 1020210029428 A KR1020210029428 A KR 1020210029428A KR 20210029428 A KR20210029428 A KR 20210029428A KR 102374817 B1 KR102374817 B1 KR 102374817B1
Authority
KR
South Korea
Prior art keywords
unit
feature map
spectrum image
mel spectrum
time
Prior art date
Application number
KR1020210029428A
Other languages
English (en)
Inventor
서동준
홍건교
최정훈
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020210029428A priority Critical patent/KR102374817B1/ko
Priority to PCT/KR2021/020139 priority patent/WO2022186461A1/ko
Priority to US18/280,272 priority patent/US20240142347A1/en
Application granted granted Critical
Publication of KR102374817B1 publication Critical patent/KR102374817B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0229—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions knowledge based, e.g. expert systems; genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/6218—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 기계 고장 진단 방법은 (a) 인코더부에 의해, 멜 스펙트럼 이미지를 입력 받아 시계열성 특징 맵을 출력하는 단계; 및 (b) 상기 인코더부의 출력단과 연결되는 클러스터링부에 의해, 사전에 학습된 가중치를 사용하여 상기 시계열성 특징 맵을 클러스터링 함으로써 기계의 고장 정도를 판단하는 단계를 포함한다.

Description

시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템{MACHINERY FAULT DIAGNOSIS METHOD AND SYSTEM BASED ON ADVANCED DEEP NEURAL NETWORKS USING CLUSTERING ANALYSIS OF TIME SERIES PROPERTIES}
본 발명은 시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템에 관한 것이다.
인공지능은 컴퓨터에게 데이터를 학습시켜 마치 사람처럼 스스로 의사결정을 할 수 있게 한다.
예를 들어, 사진을 보고 무슨 사진인지 구분하도록 하는 분류 모델을 만들기 위해서는 컴퓨터에게 사진을 계속 보여주면서 이 사진은 어떤 것에 대한 것인지에 대한 정답을 학습시켜 주어야 한다. 이런 방식을 '지도 기계학습'이라고 부른다.
이와 달리 무슨 사진인지에 대한 정답을 알려주지 않고 컴퓨터가 스스로의 기준에 따라 군집화를 진행하고 이를 학습하는 방식을 '비지도 기계학습'이라고 부른다.
기존의 기계학습 알고리즘은 대부분 지도학습에 기초한다. 지도학습 방식은 컴퓨터에 먼저 정보를 가르치는 방법이다. 예를 들어, 사진을 주고 ‘이 사진은 고양이'라고 알려주는 방식이다. 컴퓨터는 미리 학습된 결과를 바탕으로 고양이 사진을 구분하게 된다.
비지도 학습은 이 배움의 과정이 없이 컴퓨터가 스스로 학습하게 된다. 따라서 비지도학습은 컴퓨터의 높은 연산능력이 요구된다.
본 발명을 적용하고자 하는 기계전자장비 분야는 고장 위험에 노출되어 있으며, 사용 시간이 길수록 고장 위험성은 한층 높아진다.
제조 공장 또는 가공 공장에 구축된 기계장비들에 고장이 발생하면 제품의 생산성과 수익성에 큰 영향을 끼치며 산업재해가 발생하며 사후 조치에 많은 비용이 지출되며 필요할 때에 사용하지 못하는 불편을 초래하게 된다. 그러나 놀랍게도, 기계장비의 고장 원인은 확인이 어려우며, 기계장비에 구성된 고장 원인(부품 결함)이 잔존함에도 불구하고 기계장비가 막연히 오래 지속되기를 바라면서 간단히 대체하고 있는 실정이다.
즉, 기계장비의 고장을 진단하기 위해서는 기계장비에 구성된 부품들의 고장 원인(부품 결함)을 확인하여야 되는데, 기계장비에 구성된 부품들에서 측정되는 데이터의 분석을 통해 찾는 접근법들은 기계장비의 고장 원인을 정확하게 파악하기 어려운 문제점이 있어서 산업현장에서는 전문가의 경험적인 분석에 의존하여 기계장비의 고장 원인을 파악하는 문제점이 있었다.
이러한 문제점을 해결하기 대한민국 등록특허공보 10-2027389에서는 오토인코더와 딥러닝모델이 내장된 인공신경망을 이용하여 기계장비의 부품의 고장 종류 및 원인을 정확하게 진단할 수 있는 오토인코더와 딥러닝을 이용한 기계 장비 고장 진단 장치를 제공한다.
해당 장치는 기계장비의 다수 부품에서 발생하는 다수의 입력 데이터를 획득하여 저장하는 입력부(100); 및 상기 입력부(100)에서 이송된 다수의 입력 데이터를 특징맵으로 변환하는 오토인코더(210)와, 특징맵과 고장 진단 정보로 사전에 훈련이 이루어진 딥러닝모델부(220)와, 상기 딥러닝모델부(220)에 상기 특징맵을 입력하여 기계장비의 다수 부품에 대한 카테고리별 고장 확신 정도를 출력하는 출력부(230)를 포함하는 인공신경망(200)을 포함하며, 이를 통해 기계장비의 부품의 고장 종류 및 원인을 진단한다.
대한민국 등록특허공보 10-2027389
본 발명이 실시예는 CNN 모델과 LSTM 모델을 통해 클러스터링에 사용될 가중치를 학습하고, 학습된 가중치를 오토인코더에 포함된 인코더부의 출력에 적용함으로써 기계 고장 여부를 확인할 수 있는 시계열 기반 고성능 심층 클러스터링 모델이 적용된 기계 고장 진단 시스템 및 기계 고장 진단 방법을 제공하는 것을 목적으로 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 기계 고장 진단 방법은 (a) 인코더부에 의해, 멜 스펙트럼 이미지를 입력 받아 시계열성 특징 맵을 출력하는 단계; 및 (b) 상기 인코더부의 출력단과 연결되는 클러스터링부에 의해, 사전에 학습된 가중치를 사용하여 상기 시계열성 특징 맵을 클러스터링 함으로써 기계의 고장 정도를 판단하는 단계를 포함한다.
상기 (a) 단계는: (a-1) 상기 인코더부에 포함된 제1 컨볼루션 유닛에 의해, 멜 스펙트럼 이미지를 입력 받아 컨볼루션을 수행하여 상기 멜 스펙트럼 이미지의 제1 특징 맵을 출력하는 단계; 및 (a-2) 상기 인코더부에 포함된 제1 LSTM 유닛에 의해, 상기 제1 특징 맵을 입력 받아 제1 시계열성 특징 맵을 출력하는 단계를 포함할 수 있다.
상기 (b) 단계는: (b-1) 상기 클러스터링부에 포함된 군집 개수 입력 유닛에 의해, 클러스터링을 진행할 총 군집의 개수를 입력 받는 단계; 및 (b-2) 상기 클러스터링부에 포함된 클러스터링 유닛에 의해, 상기 사전에 학습된 가중치를 사용하여 상기 입력 받은 군집 개수에 따라 상기 시계열성 특징 맵을 클러스터링 하는 단계를 포함할 수 있다.
(c) 상기 (a) 단계가 수행되기 전, 상기 인코더부 및 상기 인코더부의 출력단에 연결되는 디코더부를 포함하는 오토인코더에 의해, 상기 멜 스펙트럼 이미지를 입력 받아 시계열성 특징을 학습한 후 상기 시계열성 특징에 따른 가중치를 사전에 학습하는 단계를 더 포함할 수 있다.
상기 (c) 단계는: (c-1) 상기 인코더부에 포함된 제1 컨볼루션 유닛에 의해, 멜 스펙트럼 이미지를 입력 받아 컨볼루션을 수행하여 상기 멜 스펙트럼 이미지의 제1 특징 맵을 출력하는 단계; (c-2) 상기 인코더부에 포함된 제1 LSTM 유닛에 의해, 상기 제1 특징 맵을 입력 받아 제1 시계열성 특징 맵을 출력하는 단계; (c-3) 상기 디코더부에 포함된 제2 LSTM 유닛에 의해, 상기 제1 시계열성 특징 맵을 입력 받아 제2 시계열성 특징 맵을 출력하는 단계; (c-4) 상기 디코더부에 포함된 제2 컨볼루션 유닛에 의해, 상기 제2 시계열성 특징 맵을 입력 받아 컨볼루션을 수행하여 제2 특징 맵을 출력하는 단계; 및 (c-5) 상기 디코더부에 포함된 업샘플링 유닛에 의해, 상기 제2 특징 맵을 입력 받아 상기 제1 컨볼루션 유닛으로 입력된 멜 스펙트럼 이미지의 차원의 수와 동일하도록 차원의 수를 증가시키는 단계를 포함할 수 있다.
(d) 상기 (c) 단계가 수행되기 전, 멜 스펙트럼 이미지 생성부에 의해, 기계에 의해 발생한 소리 또는 진동과 관련된 데이터를 기 설정된 시간 영역으로 분할한 후 푸리에 변환함으로써 멜 스펙트럼 이미지를 생성하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 기계 고장 진단 시스템은 멜 스펙트럼 이미지를 입력 받아 시계열성 특징 맵을 출력하도록 구성되는 인코더부; 및 상기 인코더부의 출력단과 연결되며, 사전에 학습된 가중치를 사용하여 상기 멜 스펙트럼 이미지를 클러스터링 함으로써 기계의 고장 정도를 판단하도록 구성되는 클러스터링부를 포함한다.
상기 인코더부는: 멜 스펙트럼 이미지를 입력 받아 컨볼루션을 수행하여 상기 멜 스펙트럼 이미지의 제1 특징 맵을 출력하도록 구성되는 제1 컨볼루션 유닛; 및 상기 제1 특징 맵을 입력 받아 제1 시계열성 특징 맵을 출력하도록 구성되는 제1 LSTM 유닛을 포함할 수 있다.
상기 클러스터링부는: 클러스터링을 진행할 총 군집의 개수를 입력 받도록 구성되는 군집 개수 입력 유닛; 및 상기 사전에 학습된 가중치를 사용하여 상기 입력 받은 군집 개수에 따라 상기 멜 스펙트럼 이미지를 클러스터링 하도록 구성되는 클러스터링 유닛을 포함할 수 있다.
상기 가중치는: 상기 인코더부 및 상기 인코더부의 출력단에 연결되는 디코더부를 포함하는 오토인코더를 통한 학습에 의해 산출될 수 있다.
상기 디코더부는: 상기 인코더부로부터 상기 제1 시계열성 특징 맵을 입력 받아 제2 시계열성 특징 맵을 출력하도록 구성되는 제2 LSTM 유닛; 상기 제2 시계열성 특징 맵을 입력 받아 컨볼루션을 수행하여 제2 특징 맵을 출력하도록 구성되는 제2 컨볼루션 유닛; 및 상기 제2 특징 맵을 입력 받아 상기 제1 컨볼루션 유닛으로 입력되는 멜 스펙트럼 이미지의 차원의 수와 동일하도록 차원의 수를 증가시키도록 구성되는 업샘플링 유닛을 포함할 수 있다.
상기 멜 스펙트럼 이미지는: 기계에 의해 발생한 소리 또는 진동과 관련된 데이터를 기 설정된 시간 영역으로 분할한 후 푸리에 변환하도록 구성되는 멜 스펙트럼 이미지 생성부에 의해 생성될 수 있다.
본 발명의 일 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체는, 상술한 기계 고장 진단 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 기록 매체를 포함할 수 있다.
본 발명이 실시예에 따른 시계열 기반 고성능 심층 클러스터링 모델이 적용된 기계 고장 진단 시스템 및 기계 고장 진단 방법은 CNN 모델과 LSTM 모델을 통해 클러스터링에 사용될 가중치를 학습하고, 학습된 가중치를 오토인코더에 포함된 인코더부의 출력에 적용함으로써 기계 고장 여부를 확인할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 기계 고장 진단 방법(S10)을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 기계 고장 진단 시스템(10)을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 기계 고장 진단 시스템(10)에 의해 기계 고장 진단 방법(S10)이 수행되는 과정에서의 데이터 흐름을 나타낸 블록도이다.
도 4a는 모터에 0HP의 부하가 걸리고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4b는 모터에 0HP의 부하가 걸리고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4c는 모터에 1HP의 부하가 걸리고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4d는 모터에 1HP의 부하가 걸리고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4e는 모터에 2HP의 부하가 걸리고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4f는 모터에 2HP의 부하가 걸리고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4g는 모터에 3HP의 부하가 걸리고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4h는 모터에 3HP의 부하가 걸리고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4i는 0db 벨브 데이터 세트이고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4j는 0db 벨브 데이터 세트이고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4k는 6db 벨브 데이터 세트이고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4l은 6db 벨브 데이터 세트이고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4m은 -6db 벨브 데이터 세트이고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 4n은 -6db 벨브 데이터 세트이고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 기계 고장 진단 시스템(10)에 적용되는 시계열 기반 고성능 심층 클러스터링 모델에 의한 기계 고장 탐지 결과를 나타낸 표이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다.
일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 '포함한다' 및/또는 이 동사의 다양한 활용형들 예를 들어, '포함', '포함하는', '포함하고', '포함하며' 등은 언급된 조성, 성분, 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 조성, 성분, 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 본 명세서에서 '및/또는' 이라는 용어는 나열된 구성들 각각 또는 이들의 다양한 조합을 가리킨다.
한편, 본 명세서 전체에서 사용되는 '~부', '~기', '~블록', '~모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다.
그렇지만 '~부', '~기', '~블록', '~모듈' 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부', '~기', '~블록', '~모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 '~부', '~기', '~블록', '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성요소들과 '~부', '~기', '~블록', '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부', '~기', '~블록', '~모듈'들로 결합되거나 추가적인 구성요소들과 '~부', '~기', '~블록', '~모듈'들로 더 분리될 수 있다.
이하, 본 명세서의 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 기계 고장 진단 방법(S10)을 나타낸 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 기계 고장 진단 시스템(10)을 나타낸 블록도이고, 도 3은 본 발명의 일 실시예에 따른 기계 고장 진단 시스템(10)에 의해 기계 고장 진단 방법(S10)이 수행되는 과정에서의 데이터 흐름을 나타낸 블록도이다.
먼저, 도 1을 참조하면 기계 고장 진단 방법(S10)은 인코더부(110)에 의해, 멜 스펙트럼 이미지를 입력 받아 시계열성 특징 맵을 출력하는 단계(S100) 및 인코더부(110)의 출력단과 연결되는 클러스터링부(200)에 의해, 사전에 학습된 가중치를 사용하여 시계열성 특징 맵을 클러스터링 함으로써 기계의 고장 정도를 판단하는 단계(S200)를 포함한다.
기계 고장 진단 방법(S10)은 도 2 및 도 3에 도시된 기계 고장 진단 시스템(10)에 의해 수행될 수 있다.
도 2를 참조하면, 기계 고장 진단 시스템(10)은 오토인코더(100) 및 클러스터링부(200)를 포함한다.
오토인코더(100)는 인코더부(110) 및 디코더부(120)를 포함할 수 있다. 오토인코더(100)는 기존의 뉴럴 네트워크에서 출력 데이터와 입력 데이터의 차원의 개수가 동일한 모델을 말하는데, 좌우를 대칭으로 하는 입출력층으로 구성되며, 원본 데이터를 인코더부(110)를 통해 압축한 뒤 다시 디코더부(120)를 통해 복구하며 이 과정에서 원본 데이터에서의 특징을 추출하여 학습할 수 있다.
S100 단계를 보다 상세히 살펴보면, S100 단계는 인코더부(110)에 포함된 제1 컨볼루션 유닛(111)에 의해 수행되는 S110 단계와, 인코더부(110)에 포함된 제1 LSTM 유닛(112)에 의해 수행되는 S120 단계를 포함할 수 있다.
S110 단계는 제1 컨볼루션 유닛(111)을 통해 수행되며, 멜 스펙트럼 이미지를 입력 받아 컨볼루션을 수행하여 멜 스펙트럼 이미지의 제1 특징 맵을 출력하는 단계를 말한다. 예를 들어, 상기 제1 컨볼루션 유닛(111)은 CNN(Convolution Neural Network) 모델을 포함할 수 있다.
S120 단계는 제1 LSTM 유닛(112)을 통해 수행되며, S110 단계에서 출력된 제1 특징 맵을 입력 받아 시계열성 특징이 부각된 제1 시계열성 특징 맵을 출력하는 단계를 말한다. 예를 들어, 상기 제1 LSTM 유닛(112)은 LSTM(Long Short Term Memory)을 포함할 수 있다.
즉, 제1 컨볼루션 유닛(111)은 멜 스펙트럼 이미지를 입력 받아 컨볼루션을 수행하여 멜 스펙트럼 이미지의 제1 특징 맵을 출력하도록 구성될 수 있다. 또한, 제1 LSTM 유닛(112)은 제1 특징 맵을 입력 받아 제1 시계열성 특징 맵을 출력하도록 구성될 수 있다.
상술한 바와 같이 본 발명의 인코더부(110)는 제1 LSTM 유닛(112)을 포함하는데, 제1 LSTM 유닛(112)을 포함함으로써 제1 컨볼루션 유닛(111)을 통해 출력된 제1 특징 맵에서 시계열성 특징을 부각시킬 수 있다.
S100 단계를 통해 인코더부(110)에서 제1 시계열성 특징 맵을 출력하고 나면, 인코더부(110)의 출력단과 연결되는 클러스터링부(200)에 의해 S200 단계가 수행될 수 있다.
클러스터링부(200)는 군집 개수 입력 유닛(210) 및 클러스터링 유닛(220)을 포함할 수 있다. 클러스터링부(200)는 유사한 특징을 갖는 데이터들을 같은 군집으로 그룹화하는 모델을 말하는데, 본 발명의 클러스터링부(200)의 경우 그룹화 하고자 하는 군집의 개수를 입력 받은 후 입력 받은 군집의 개수에 맞춰 데이터들을 그룹화(클러스터링, 군집화) 할 수 있다. 이때, 데이터들은 라벨링 되지 않은 데이터들이 입력될 수 있는데, 클러스터링부(200)는 이러한 데이터들을 그룹화 하기 위한 사전 지식 없이 가중치 또는 데이터들 간의 거리에 따라 이들 데이터를 유사한 데이터들끼리 그룹화 할 수 있다.
S200 단계를 보다 상세히 살펴보면, S200 단계는 클러스터링부(200)에 포함된 군집 개수 입력 유닛(210)에 의해 수행되는 S210 단계와, 클러스터링부(200)에 포함된 클러스터링 유닛(220)에 의해 수행되는 S220 단계를 포함할 수 있다.
S210 단계는 군집 개수 입력 유닛(210)에 의해 수행되며, 클러스터링을 진행할 총 군집의 개수를 입력 받는 단계를 말한다.
예를 들어 사용자가 데이터들을 정상 군집과 비정상 군집으로 나누고자 할 경우 군집 개수 입력 유닛(210)에 총 군집의 개수로 2를 입력할 수 있다. 이 경우 클러스터링 유닛(220)은 클러스터링을 통해 입력 받은 데이터가 정상 군집에 해당되는지 또는 비정상 군집에 해당되는지를 판단할 수 있다. 또한, 사용자가 데이터들을 정상 군집, 정상에 가까운 군집, 비정상에 가까운 군집 및 비정상 군집으로 나누고자 할 경우 군집 개수 입력 유닛(210)에 총 군집의 개수로 4를 입력하는 것 역시 가능하다.
S220 단계는 클러스터링 유닛(220)에 의해 수행되며, 사전에 학습된 가중치를 사용하여 입력 받은 군집 개수에 따라 제1 시계열성 특징 맵을 클러스터링하여 입력 받은 데이터가 어느 군집에 해당하는지를 판단할 수 있다.
즉, 군집 개수 입력 유닛(210)은 클러스터링을 진행할 총 군집의 개수를 입력 받도록 구성될 수 있다. 또한, 클러스터링 유닛(220)은 사전에 학습된 가중치를 사용하여 입력 받은 군집 개수에 따라 멜 스펙트럼 이미지를 클러스터링 하도록 구성될 수 있다.
클러스터링 유닛(220)에서는 사전에 학습된 가중치를 사용하여 멜 스펙트럼 이미지를 클러스터링 한다. 따라서, 클러스터링을 위해서는 가중치를 사전에 학습할 것이 요구된다.
상술한 바를 정리하면, 오토인코더(100)에는 컨볼루션을 수행하여 특징 맵을 출력하기 위한 CNN 모델 및 시계열적 특징을 부각하기 위한 LSTM 모델이 적용될 수 있으며, 클러스터링부(200)에는 인코더부(110)의 출력을 클러스터링하는 클러스터링 모델이 적용될 수 있다.
즉, 본 발명의 일 실시예에 따른 기계 고장 진단 시스템(10)은 CNN 모델과 LSTM 모델을 통한 가중치 학습 결과를 클러스터링 모델에 적용하여 기계의 고장을 감지하는데, 이하에서는 이들 각 모델을 결합한 본 발명의 모델을, ADTC(Advanced Deep Temporal Clustering) 모델 또는 시계열 기반 고성능 심층 클러스터링 모델이라고 명명하여 사용하도록 한다.
이하에서는 오토인코더(100)를 통해 가중치를 사전 학습하는 과정에 대해 보다 상세히 살펴보도록 한다.
상술한 바와 같이 클러스터링부(200)에 의해 데이터를 클러스터링하기 위해서는 사전 학습된 가중치가 요구되므로, S100 단계 및 S200 단계가 수행되기 전에, 가중치를 사전 학습하는 단계(S300)가 요구된다.
S300 단계는 S100 단계가 수행되기 전 수행되며, 인코더부(110) 및 인코더부(110)의 출력단에 연결되는 디코더부(120)를 포함하는 오토인코더(100)에 의해, 멜 스펙트럼 이미지를 입력 받아 시계열성 특징을 학습한 후 시계열성 특징에 따른 가중치를 학습하는 단계를 말한다.
S300 단계를 보다 상세히 살펴보면, S300 단계는 인코더부(110)에 포함된 제1 컨볼루션 유닛(111)에 의해 수행되는 S310 단계와, 인코더부(110)에 포함된 제1 LSTM 유닛(112)에 의해 수행되는 S320 단계와, 디코더부(120)에 포함된 제2 LSTM 유닛(121)에 의해 수행되는 S330 단계와, 디코더부(120)에 포함된 제2 컨볼루션 유닛(122)에 의해 수행되는 S340 단계와, 디코더부(120)에 포함된 업샘플링 유닛(123)에 의해 수행되는 S350 단계를 포함할 수 있다.
S310 단계는 제1 컨볼루션 유닛(111)에 의해 수행되며, 멜 스펙트럼 이미지를 입력 받아 컨볼루션을 수행하여 멜 스펙트럼 이미지의 제1 특징 맵을 출력하는 단계를 말한다. 예를 들어, 상기 제1 컨볼루션 유닛(111)은 CNN(Convolution Neural Network) 모델을 포함할 수 있다.
S320 단계는 제1 LSTM 유닛(112)에 의해 수행되며, 제1 특징 맵을 입력 받아 제1 시계열성 특징 맵을 출력하는 단계를 말한다. 예를 들어, 상기 제1 LSTM 유닛(112)은 LSTM(Long Short Term Memory)을 포함할 수 있다.
S330 단계는 제2 LSTM 유닛(121)에 의해 수행되며, 제1 시계열성 특징 맵을 입력 받아 제2 시계열성 특징 맵을 출력하는 단계를 말한다. 예를 들어, 상기 제2 LSTM 유닛(121)은 LSTM(Long Short Term Memory)을 포함할 수 있다.
S340 단계는 제2 컨볼루션 유닛(122)에 의해 수행되며, 제2 시계열성 특징 맵을 입력 받아 컨볼루션을 수행하여 제2 특징 맵을 출력하는 단계를 말한다. 예를 들어, 상기 제2 컨볼루션 유닛(122)은 CNN(Convolution Neural Network) 모델을 포함할 수 있다.
S350 단계는 업샘플링 유닛(123)에 의해 수행되며, 제2 특징 맵을 입력 받아 제1 컨볼루션 유닛(111)으로 입력된 멜 스펙트럼 이미지의 차원의 수와 동일하도록 차원의 수를 증가시키는 단계를 말한다.
즉, 제2 LSTM 유닛(121)은 인코더부(110)로부터 제1 시계열성 특징 맵을 입력 받아 제2 시계열성 특징 맵을 출력하도록 구성될 수 있다. 또한, 제2 컨볼루션 유닛(122)은 제2 시계열성 특징 맵을 입력 받아 컨볼루션을 수행하여 제2 특징 맵을 출력하도록 구성될 수 있다. 또한, 업샘플링 유닛(123)은 제2 특징 맵을 입력 받아 제1 컨볼루션 유닛(111)으로 입력되는 멜 스펙트럼 이미지의 차원의 수와 동일하도록 차원의 수를 증가시키도록 구성될 수 있다.
제1 컨볼루션 유닛(111) 및 제1 LSTM 유닛(112)의 경우 상술한 바와 동일하기에 이에 대한 설명은 생략하도록 한다.
정리하면, 오토인코더(100)는 멜 스펙트럼 이미지를 압축 및 복구하는 과정에서 입력 받은 멜 스펙트럼 이미지의 특징을 추출하여 학습할 수 있으며, 이를 통해 클러스터링에 사용될 가중치를 함께 학습할 수 있다.
다시 클러스터링부(200)를 살펴보면, 클러스터링부(200)는 오토인코더(100)에 의해 학습된 가중치를 인코더부(110)에서 출력된 제1 시계열성 특징 맵에 적용하여 클러스링을 수행할 수 있으며, 이를 통해 기계의 상태가 정상인지 혹은 비정상인지를 판단할 수 있다.
클러스터링부(200)에서는 KL divergence를 최소화함으로써 클러스터링 정확도를 향상시킬 수 있다.
오토인코더(100)에서의 가중치 학습과, 클러스터링부(200)에서의 클러스터링 과정은 오차 함수를 최소화하는 과정을 통해 이루어질 수 있다.
오토인코더(100)의 오차 함수는 아래 (수학식 1)로 표현될 수 있다.
(수학식 1)
Figure 112021026345669-pat00001
이때,
Figure 112021026345669-pat00002
는 벡터의 실제 값,
Figure 112021026345669-pat00003
는 벡터의 예측 값이다.
클러스터링부(200)에서의 오차 함수와 오차 함수를 수렴시키는 과정은 (수학식 2) 내지 (수학식 4)를 통해 이루어질 수 있다.
아래 (수학식 2)는 soft assignment 과정을 나타낸 식이다.
(수학식 2)
Figure 112021026345669-pat00004
이때,
Figure 112021026345669-pat00005
는 임베디드 포인트,
Figure 112021026345669-pat00006
는 중심,
Figure 112021026345669-pat00007
는 대상 분포의 자유도,
Figure 112021026345669-pat00008
는 i번째 데이터가 j번째 군집에 속할 확률을 나타낸 것이다.
아래 (수학식 3)은 KL divergence 과정을 나타낸 식이다.
(수학식 3)
Figure 112021026345669-pat00009
이때,
Figure 112021026345669-pat00010
는 타겟 분포를 나타내며,
Figure 112021026345669-pat00011
는 아래 (수학식 4)로 표현될 수 있다.
(수학식 4)
Figure 112021026345669-pat00012
아래 (수학식 5)는 확률적 경사하강(SGD) 계층이 수행하는
Figure 112021026345669-pat00013
와
Figure 112021026345669-pat00014
에 대한 매개변수 업데이트 과정을 나타낸 것이다.
SGD는 각 파라미터 업데이트 전에 유사한 예제에 대한 경사를 다시 계산하기 때문에 많은 데이터 세트에 대해 중복 계산을 수행할 수 있다.
(수학식 5)
Figure 112021026345669-pat00015
아래 (수학식 6)은 오토인코더(100)의 최적화 과정에 사용되는 경사하강 알고리즘을 나타낸 식이다.
(수학식 6)
Figure 112021026345669-pat00016
경사하강 알고리즘은 여러 최적화 방정식을 결합하여 생성되는데, 해당 알고리즘 사용을 통해 학습률을 자동으로 조정할 수 있다. (수학식 6)에서는 대표적인 파라미터인
Figure 112021026345669-pat00017
만을 사용하였다.
도 4a는 모터에 0HP의 부하가 걸리고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4b는 모터에 0HP의 부하가 걸리고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4c는 모터에 1HP의 부하가 걸리고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4d는 모터에 1HP의 부하가 걸리고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4e는 모터에 2HP의 부하가 걸리고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4f는 모터에 2HP의 부하가 걸리고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4g는 모터에 3HP의 부하가 걸리고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4h는 모터에 3HP의 부하가 걸리고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4i는 0db 벨브 데이터 세트이고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4j는 0db 벨브 데이터 세트이고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4k는 6db 벨브 데이터 세트이고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4l은 6db 벨브 데이터 세트이고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4m은 -6db 벨브 데이터 세트이고, 기계가 비정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이고, 도 4n은 -6db 벨브 데이터 세트이고, 기계가 정상 상태일 때의 멜 스펙트럼 이미지를 나타낸 도면이다.
도 3 및 도 4를 참조하면, 멜 스펙트럼 이미지 생성부(20)는 오토인코더(100)에 입력될 멜 스펙트럼 이미지를 생성한다.
상술한 S300 단계가 수행되기 전, 멜 스펙트럼 이미지 생성부(20)에 의해, 기계에 의해 발생한 소리 또는 진동과 관련된 데이터를 기 설정된 시간 영역으로 분할한 후 푸리에 변환함으로써 멜 스펙트럼 이미지를 생성하는 단계(S400)가 수행될 수 있다.
즉, 멜 스펙트럼 이미지 생성부(20)는 기계에 의해 발생한 소리 또는 진동과 관련된 데이터를 기 설정된 시간 영역으로 분할한 후 푸리에 변환하도록 구성될 수 있다.
다만, S300 단계는 본 발명의 일 실시예에 따른 기계 고장 진단 방법(S10)에 포함되는 것은 아니며, 인코더부(110)에 포함된 제1 컨볼루션 유닛(111)에 입력될 수 있는 멜 스펙트럼 이미지를 생성하기 위한 단계일 뿐이다.
따라서, 멜 스펙트럼 이미지 생성은 멜 스펙트럼 이미지 생성부(20)에 의해 수행되는 S400 단계가 아닌, 공지된 기타 다른 방법에 의해 수행될 수 있다.
도 5는 본 발명의 일 실시예에 따른 기계 고장 진단 시스템(10)에 적용되는 시계열 기반 고성능 심층 클러스터링 모델에 의한 기계 고장 탐지 결과를 나타낸 표이다.
기계 고장 탐지가 제대로 이루어졌는지를 확인하기 위해서는 시계열 기반 진동 소리 데이터가 포함된 데이터 세트가 사용될 수 있는데, 본 발명에서는 예를 들어 MIMII 및 CWRU 데이터 세트가 사용될 수 있다.
MIMII 데이터 세트에는 시계열 기반 진동 소리 데이터가 포함된다. 데이터 세트에는 벨브, 펌프, 팬 및 슬라이드 레일의 네 가지 기계 유형이며 16khz sample rate의 소리 데이터로 구성되어 있다. 기계에서 발생하는 소리의 종류는 정상 및 비정상 데이터가 포함 되어있다. MIMII 데이터 세트에는 0db 벨브 데이터 세트, +6db 벨브 데이터 세트 및 -6db 벨브 데이터 세트가 서로 다른 SNR이 사용되었다. 각 데이터 집합에 대한 SNR은 데이터 노이즈 간의 차이를 나타낸다.
CWRU 베어링 데이터 세트는 이상 징후 탐지에 널리 사용되는 공개 데이터로 구성된다. CWRU 데이터 세트는 12khz 및 48khz sample rate을 가지고 있으며 모터 부하에 의한 정상 및 비정상 베어링에 대한 시계열 데이터로 구성된다.
도 5에 도시된 바와 같이, 본 발명에 적용되는 시계열 기반 고성능 심층 클러스터링 모델은 지도 학습 기반의 CNN 모델이나 CNN-LSTM 모델과 비교하였을 때 정확도가 더 높거나 유사함을 확인할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 있어서 상술한 기계 고장 진단 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 기록 매체를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 기계 고장 진단 시스템(10)에 의해 수행될 수 있는 기계 고장 진단 방법(S10)은 시계열 기반 고성능 심층 클러스터링 모델을 사용하여 기계의 고장을 탐지할 수 있는데, MIMII 데이터 세트와 CWRU 데이터 세트를 통해 탐지 정확도를 살펴본 바와 같이, 시계열 기반 고성능 심층 클러스터링 모델은 학습 기반 모델(Supervised Model)에 비해 더 높거나 유사한 성능을 보임을 확인할 수 있으며, 비지도 학습 기반 모델(Unsupervised Model)에 비해 10% 이상 높은 성능을 보임을 확인할 수 있다.
이상에서 실시예를 통해 본 발명을 설명하였으나, 위 실시예는 단지 본 발명의 사상을 설명하기 위한 것으로 이에 한정되지 않는다. 통상의 기술자는 전술한 실시예에 다양한 변형이 가해질 수 있음을 이해할 것이다. 본 발명의 범위는 첨부된 특허청구범위의 해석을 통해서만 정해진다.
10 기계 고장 진단 시스템
20 멜 스펙트럼 이미지 생성부
100 오토인코더
110 인코더부
111 제1 컨볼루션 유닛
112 제1 LSTM 유닛
120 디코더부
121 제2 LSTM 유닛
122 제2 컨볼루션 유닛
123 업샘플링 유닛
200 클러스터링부
210 군집 개수 입력 유닛
220 클러스터링 유닛

Claims (13)

  1. (a) 인코더부에 의해, 멜 스펙트럼 이미지를 입력 받아 시계열성 특징 맵을 출력하는 단계; 및
    (b) 상기 인코더부의 출력단과 연결되는 클러스터링부에 의해, 사전에 학습된 가중치를 사용하여 상기 시계열성 특징 맵을 클러스터링 함으로써 기계의 고장 정도를 판단하는 단계를 포함하고,
    상기 (a) 단계는:
    (a-1) 상기 인코더부에 포함된 제1 컨볼루션 유닛에 의해, 멜 스펙트럼 이미지를 입력 받아 컨볼루션을 수행하여 상기 멜 스펙트럼 이미지의 제1 특징 맵을 출력하는 단계; 및
    (a-2) 상기 인코더부에 포함된 제1 LSTM 유닛에 의해, 상기 제1 특징 맵을 입력 받아 제1 시계열성 특징 맵을 출력하는 단계를 포함하고,
    상기 (b) 단계는:
    (b-1) 상기 클러스터링부에 포함된 군집 개수 입력 유닛에 의해, 클러스터링을 진행할 총 군집의 개수를 입력 받는 단계; 및
    (b-2) 상기 클러스터링부에 포함된 클러스터링 유닛에 의해, 상기 사전에 학습된 가중치를 사용하여 상기 입력 받은 군집 개수에 따라 상기 시계열성 특징 맵을 클러스터링 하는 단계를 포함하는,
    기계 고장 진단 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    (c) 상기 (a) 단계가 수행되기 전, 상기 인코더부 및 상기 인코더부의 출력단에 연결되는 디코더부를 포함하는 오토인코더에 의해, 상기 멜 스펙트럼 이미지를 입력 받아 시계열성 특징을 학습한 후 상기 시계열성 특징에 따른 가중치를 사전에 학습하는 단계를 더 포함하는,
    기계 고장 진단 방법.
  5. 제4항에 있어서,
    상기 (c) 단계는:
    (c-1) 상기 인코더부에 포함된 제1 컨볼루션 유닛에 의해, 멜 스펙트럼 이미지를 입력 받아 컨볼루션을 수행하여 상기 멜 스펙트럼 이미지의 제1 특징 맵을 출력하는 단계;
    (c-2) 상기 인코더부에 포함된 제1 LSTM 유닛에 의해, 상기 제1 특징 맵을 입력 받아 제1 시계열성 특징 맵을 출력하는 단계
    (c-3) 상기 디코더부에 포함된 제2 LSTM 유닛에 의해, 상기 제1 시계열성 특징 맵을 입력 받아 제2 시계열성 특징 맵을 출력하는 단계;
    (c-4) 상기 디코더부에 포함된 제2 컨볼루션 유닛에 의해, 상기 제2 시계열성 특징 맵을 입력 받아 컨볼루션을 수행하여 제2 특징 맵을 출력하는 단계; 및
    (c-5) 상기 디코더부에 포함된 업샘플링 유닛에 의해, 상기 제2 특징 맵을 입력 받아 상기 제1 컨볼루션 유닛으로 입력된 멜 스펙트럼 이미지의 차원의 수와 동일하도록 차원의 수를 증가시키는 단계를 포함하는,
    기계 고장 진단 방법.
  6. 제5항에 있어서,
    (d) 상기 (c) 단계가 수행되기 전, 멜 스펙트럼 이미지 생성부에 의해, 기계에 의해 발생한 소리 또는 진동과 관련된 데이터를 기 설정된 시간 영역으로 분할한 후 푸리에 변환함으로써 멜 스펙트럼 이미지를 생성하는 단계를 더 포함하는,
    기계 고장 진단 방법.
  7. 멜 스펙트럼 이미지를 입력 받아 시계열성 특징 맵을 출력하도록 구성되는 인코더부; 및
    상기 인코더부의 출력단과 연결되며, 사전에 학습된 가중치를 사용하여 상기 멜 스펙트럼 이미지를 클러스터링 함으로써 기계의 고장 정도를 판단하도록 구성되는 클러스터링부를 포함하고,
    상기 인코더부는:
    멜 스펙트럼 이미지를 입력 받아 컨볼루션을 수행하여 상기 멜 스펙트럼 이미지의 제1 특징 맵을 출력하도록 구성되는 제1 컨볼루션 유닛; 및
    상기 제1 특징 맵을 입력 받아 제1 시계열성 특징 맵을 출력하도록 구성되는 제1 LSTM 유닛을 포함하고,
    상기 클러스터링부는:
    클러스터링을 진행할 총 군집의 개수를 입력 받도록 구성되는 군집 개수 입력 유닛; 및
    상기 사전에 학습된 가중치를 사용하여 상기 입력 받은 군집 개수에 따라 상기 멜 스펙트럼 이미지를 클러스터링 하도록 구성되는 클러스터링 유닛을 포함하는,
    기계 고장 진단 시스템.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 가중치는:
    상기 인코더부 및 상기 인코더부의 출력단에 연결되는 디코더부를 포함하는 오토인코더를 통한 학습에 의해 산출되는,
    기계 고장 진단 시스템.
  11. 제10항에 있어서,
    상기 디코더부는:
    상기 인코더부로부터 상기 제1 시계열성 특징 맵을 입력 받아 제2 시계열성 특징 맵을 출력하도록 구성되는 제2 LSTM 유닛;
    상기 제2 시계열성 특징 맵을 입력 받아 컨볼루션을 수행하여 제2 특징 맵을 출력하도록 구성되는 제2 컨볼루션 유닛; 및
    상기 제2 특징 맵을 입력 받아 상기 제1 컨볼루션 유닛으로 입력되는 멜 스펙트럼 이미지의 차원의 수와 동일하도록 차원의 수를 증가시키도록 구성되는 업샘플링 유닛을 포함하는,
    기계 고장 진단 시스템.
  12. 제11항에 있어서,
    상기 멜 스펙트럼 이미지는:
    기계에 의해 발생한 소리 또는 진동과 관련된 데이터를 기 설정된 시간 영역으로 분할한 후 푸리에 변환하도록 구성되는 멜 스펙트럼 이미지 생성부에 의해 생성되는,
    기계 고장 진단 시스템.
  13. 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
    제1항, 제4항, 제5항 및 제6항 중 어느 한 항에 따른 기계 고장 진단 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 기록 매체.
KR1020210029428A 2021-03-05 2021-03-05 시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템 KR102374817B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210029428A KR102374817B1 (ko) 2021-03-05 2021-03-05 시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템
PCT/KR2021/020139 WO2022186461A1 (ko) 2021-03-05 2021-12-29 고급 심층 시간 클러스터링 모델 기반의 기계 고장 진단 시스템
US18/280,272 US20240142347A1 (en) 2021-03-05 2021-12-29 System for diagnosing machine failure on basis of advanced deep temporal clustering model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210029428A KR102374817B1 (ko) 2021-03-05 2021-03-05 시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102374817B1 true KR102374817B1 (ko) 2022-03-16

Family

ID=80937569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210029428A KR102374817B1 (ko) 2021-03-05 2021-03-05 시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템

Country Status (3)

Country Link
US (1) US20240142347A1 (ko)
KR (1) KR102374817B1 (ko)
WO (1) WO2022186461A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116150635A (zh) * 2023-04-18 2023-05-23 中国海洋大学 基于跨域关联性表示的滚动轴承未知故障检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880907B1 (ko) * 2017-09-22 2018-08-16 펜타시큐리티시스템 주식회사 비정상 세션 감지 방법
KR102027389B1 (ko) 2019-03-20 2019-10-01 (주)브이엠에스 오토인코더와 딥러닝을 이용한 기계 장비 고장 진단 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101936283B1 (ko) * 2017-12-28 2019-01-08 주식회사 한국가스기술공사 기계적 결함에 대한 진단 및 예측 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880907B1 (ko) * 2017-09-22 2018-08-16 펜타시큐리티시스템 주식회사 비정상 세션 감지 방법
KR102027389B1 (ko) 2019-03-20 2019-10-01 (주)브이엠에스 오토인코더와 딥러닝을 이용한 기계 장비 고장 진단 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116150635A (zh) * 2023-04-18 2023-05-23 中国海洋大学 基于跨域关联性表示的滚动轴承未知故障检测方法

Also Published As

Publication number Publication date
US20240142347A1 (en) 2024-05-02
WO2022186461A1 (ko) 2022-09-09

Similar Documents

Publication Publication Date Title
US11335328B2 (en) Unsupervised learning of semantic audio representations
US11137322B2 (en) Diagnosing method of engine condition and diagnostic modeling method thereof
Natesha et al. Fog-based intelligent machine malfunction monitoring system for industry 4.0
WO2018207334A1 (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP2015057630A (ja) 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム
US20200401855A1 (en) Apparatus and method with classification
KR102246266B1 (ko) 레이블 정보에 대한 피드백을 제공하는 방법 및 시스템
KR102374817B1 (ko) 시계열 특성의 군집화 분석을 사용한 고성능 심층 신경망 기반의 기계 고장 진단 방법 및 시스템
CN111695611B (zh) 一种蜂群优化核极限学习和稀疏表示机械故障识别方法
JP2023044728A (ja) 機械学習のための方法、システムおよびコンピュータプログラム製品（埋め込みを用いるインクリメンタル機械学習）
CN115578770A (zh) 基于自监督的小样本面部表情识别方法及系统
CN117829209A (zh) 工艺设备的非正常工作检测方法、计算装置及计算机程序
Kohlsdorf et al. An auto encoder for audio dolphin communication
CN113780151B (zh) 一种双线性特征融合的轴承故障诊断方法及系统
CN114582325A (zh) 音频检测方法、装置、计算机设备、存储介质
US20210256369A1 (en) Domain-adapted classifier generation
CN114330500B (zh) 基于storm平台的电网电力设备在线并行诊断方法及系统
Ashtaiwi Artificial intelligence is transforming the world development indicators
CN115062769A (zh) 基于知识蒸馏的模型训练方法、装置、设备及存储介质
WO2022271528A1 (en) Explainable artificial intelligence in computing environment
JP2023123247A (ja) 分類装置、分類方法およびプログラム
JP7161974B2 (ja) 品質管理方法
KR102152352B1 (ko) 기계 결함 진단 장치 및 방법
Padovese et al. A machine learning approach to the recognition of Brazilian Atlantic Forest Parrot species
KR102589074B1 (ko) 챗봇 운영 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant