KR20230080242A

KR20230080242A - 딥 러닝 기반으로 음향 및 진동을 이용하여 기계의 고장을 진단하는 방법 및 이를 이용한 진단 장치

Info

Publication number: KR20230080242A
Application number: KR1020210167790A
Authority: KR
Inventors: 김병희; 이충연
Original assignee: 주식회사 써로마인드
Priority date: 2021-11-29
Filing date: 2021-11-29
Publication date: 2023-06-07
Also published as: WO2023096185A1

Abstract

본 발명은 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 방법에 있어서, (a) 기계로부터 검출된 음향 데이터 또는 진동 데이터가 획득되면, 진단 장치가, 상기 음향 데이터 또는 상기 진동 데이터를 피처 추출부로 입력하여 상기 피처 추출부로 하여금 상기 음향 데이터 또는 상기 진동 데이터로부터 제1 피처 내지 제m 피처를 추출하도록 하는 단계; (b) 상기 진단 장치가, 상기 제1 피처 내지 상기 제m 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 입력하여 상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델로 하여금 상기 제1 피처 내지 상기 제m 피처를 러닝 연산하여 상기 제1 피처 내지 상기 제m 피처에 대한 고장 상태를 분류한 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 출력하도록 하는 단계; 및 (c) 상기 진단 장치가, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 앙상블하여 상기 기계에 대한 고장을 진단한 고장 진단 정보를 출력하는 단계; 를 포함하는 방법에 관한 것이다.

Description

딥 러닝 기반으로 음향 및 진동을 이용하여 기계의 고장을 진단하는 방법 및 이를 이용한 진단 장치{METHOD FOR DIAGNOSING MACHINE FAILURE USING SOUND AND VIBRTION BASED ON DEEP LEARNING AND DIAGNOSTIC DEVICE USING THEM}

본 발명은 기계의 고장을 진단하는 방법에 관한 것으로, 보다 상세하게는, 딥 러닝 기반으로 음향 및 진동을 이용하여 기계의 고장을 진단하는 방법 및 이를 이용한 진단 장치에 관한 것이다.

일반적으로 산업 현장에서 연속적으로 운전되어야 하는 기계 설비는 설비 라인 전체에 치명적인 손상을 주는 돌발 고장과, 예기치 못한 고장으로 설비 라인이 중지도리 수 있으며, 이로 인한 생산량 감소 등을 미연에 방지하고자 기계의 고장을 미리 예측하는 방법이 연구 개발되고 있다.

현재 사용되고 있는 고장 예측 방법은 기계의 이상 상태를 감지하고, 이때 나타나는 결함을 검출하여 기계 또는 기계 부품의 상태를 판정하여 고장 여부를 예측하는 방식을 사용하고 있다.

한편, 최근에는 딥 러닝 네트워크의 발전으로 인하여 기계의 고장 상태를 딥 러닝 네트워크를 이용하여 진단하고자 하는 방법에 제안되고 있다.

하지만, 고장 상태에 따른 기계별, 공정별 데이터의 특성이 모두 다르게 때문에, 효과적으로 기계의 고장을 진단하기 위해서는 각각의 데이터의 특성이 반영된 개별 진단 알고리즘을 필요하다. 그러나, 개별 진단 알고리즘을 구축하는 데에는 많은 시간과 비용이 요구되며, 구축된 진단 알고리즘은 해당 데이터에만 적용되므로 효율성이 떨어지는 문제가 있다.

또한, 각각의 데이터 특성이 반영된 개별 진단 알고리즘을 사용할 경우에는, 학습된 고장 유형 이외의 다른 고장 유형에 대해서는 정확히 판별할 수 없는 문제점이 있다.

따라서, 본 발명은 데이터의 유형에 관계없이 딥 러닝 기반으로 기계의 고장을 진단할 수 있도록 하는 방법을 제안하고자 한다.

본 발명은 상술한 문제점들을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 입력되는 데이터의 유형에 관계없이 딥 러닝 기반으로 기계의 고장을 진단할 수 있도록 하는 것을 다른 목적으로 한다.

또한, 본 발명은 딥 러닝 기반으로 음향 데이터 또는 진동 데이터를 이용하여 기계의 고장을 정확하게 진단할 수 있도록 하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 딥 러닝 기반으로 음향 데이터 또는 진동 데이터를 이용하여 학습되지 않은 고장 유형에 대해서도 능동적으로 대처할 수 있도록 하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 방법에 있어서, (a) 기계로부터 검출된 음향 데이터 또는 진동 데이터가 획득되면, 진단 장치가, 상기 음향 데이터 또는 상기 진동 데이터를 피처 추출부로 입력하여 상기 피처 추출부로 하여금 상기 음향 데이터 또는 상기 진동 데이터로부터 제1 피처 내지 제m 피처를 추출하도록 하는 단계; (b) 상기 진단 장치가, 상기 제1 피처 내지 상기 제m 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 입력하여 상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델로 하여금 상기 제1 피처 내지 상기 제m 피처를 러닝 연산하여 상기 제1 피처 내지 상기 제m 피처에 대한 고장 상태를 분류한 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 출력하도록 하는 단계; 및 (c) 상기 진단 장치가, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 앙상블하여 상기 기계에 대한 고장을 진단한 고장 진단 정보를 출력하는 단계; 를 포함하는 방법이 제공된다.

상기 (b) 단계에서, 상기 진단 장치는, 상기 제1 피처 내지 상기 제m 피처를 컨캐이터네이트하여 상기 제1 피처 내지 상기 제m 피처 각각을 각각의 채널로 하는 m 채널 피처맵을 생성하며, 상기 m 채널 피처맵을 상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델로 입력할 수 있다.

상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델은, 상기 기계의 고장 상태를 분류하기 위한 적어도 하나의 지도 학습 모델과 적어도 하나의 비지도 학습 모델을 포함할 수 있다.

상기 진단 장치는, 상기 고장 진단 정보를 이용하여 상기 비지도 학습 모델의 학습 파라미터를 업데이트할 수 있다.

상기 음향 데이터 또는 상기 진동 데이터는 상기 기계에서 발생된 음향 또는 진동을 기설정된 시간 단위로 샘플링하여 생성한 것이며, 샘플의 길이가 상기 기설정된 시간 단위보다 길 경우에는 앞 부분의 기설정된 시간 단위의 데이터만 샘플링하고, 상기 샘플의 길이가 상기 기설정된 시간 단위보다 짧을 경우에는 뒷 부분에 제로 패딩을 추가할 수 있다.

상기 제1 피처 내지 상기 제m 피처는, 인간의 청력을 고려하여 주파수 범위를 나눈 Mel spectrogram, 상기 Mel spectrogram을 하나의 신호로 간주하고 코사인 변환했을 때의 계수인 MFCC, 단위 시간 동안 신호의 부호가 바뀌는 횟수인 zero crossing rate, f 이하의 주파수에 해당하는 에너지가 전체 에너지의 특정 비율과 일치할 때의 f의 값인 spectral Roll-Off, 스펙트럼의 무게 중심 또는 가중 평균인 spectral centroid, 스펙트럼 분포의 분산인 spectral bandwidth, 부분 스펙트럼에서 최대/최소 에너지의 차이인 spectral contrast, 스펙트럼의 평탄도인 spectral flatness, 스펙트럼의 하모닉 특징인 chromagram 중 적어도 두 개 이상을 포함할 수 있다.

상기 (c) 단계에서, 상기 진단 장치는, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 고장 여부를 판단하는 디스크리미네터에 입력하여 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 각각에 대한 고장 여부를 판단한 판별 정보들을 출력하도록 하며, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보와 상기 판별 정보들을 모델 평가부에 입력하여 상기 모델 평가부로 하여금 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 앙상블하여 상기 기계에 대한 고장을 진단한 상기 고장 진단 정보를 출력하도록 할 수 있다.

상기 (c) 단계에서, 상기 진단 장치는, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 각각의 정답 확률값을 참조하여 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 중 상기 기계의 고장에 대한 특정 고장 분류 정보를 선택하고, 상기 특정 고장 분류 정보를 상기 고장 진단 정보로 출력할 수 있다.

상기 (c) 단계에서, 상기 진단 장치는, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 가중합하여 상기 고장 진단 정보를 출력할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 진단 장치에 있어서, 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하기 위한 인스트럭션들이 저장된 메모리; 및 상기 메모리에 저장된 상기 인스트럭션들에 따라 상기 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하기 위한 동작을 수행하는 프로세서; 를 포함하며, 상기 프로세서는, (i) 기계로부터 검출된 음향 데이터 또는 진동 데이터가 획득되면, 상기 음향 데이터 또는 상기 진동 데이터를 피처 추출부로 입력하여 상기 피처 추출부로 하여금 상기 음향 데이터 또는 상기 진동 데이터로부터 제1 피처 내지 제m 피처를 추출하도록 하는 프로세스, (ii) 상기 제1 피처 내지 상기 제m 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 입력하여 상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델로 하여금 상기 제1 피처 내지 상기 제m 피처를 러닝 연산하여 상기 제1 피처 내지 상기 제m 피처에 대한 고장 상태를 분류한 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 출력하도록 하는 프로세스, 및 (iii) 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 앙상블하여 상기 기계에 대한 고장을 진단한 고장 진단 정보를 출력하는 프로세스를 수행하는 진단 장치가 제공된다.

상기 프로세서는, 상기 (ii) 프로세스에서, 상기 제1 피처 내지 상기 제m 피처를 컨캐이터네이트하여 상기 제1 피처 내지 상기 제m 피처 각각을 각각의 채널로 하는 m 채널 피처맵을 생성하며, 상기 m 채널 피처맵을 상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델로 입력할 수 있다.

상기 프로세서는, 상기 고장 진단 정보를 이용하여 상기 비지도 학습 모델의 학습 파라미터를 업데이트할 수 있다.

상기 프로세서는, 상기 (iii) 프로세스에서, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 고장 여부를 판단하는 디스크리미네터에 입력하여 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 각각에 대한 고장 여부를 판단한 판별 정보들을 출력하도록 하며, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보와 상기 판별 정보들을 모델 평가부에 입력하여 상기 모델 평가부로 하여금 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 앙상블하여 상기 기계에 대한 고장을 진단한 상기 고장 진단 정보를 출력하도록 할 수 있다.

상기 프로세서는, 상기 (iii) 프로세스에서, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 각각의 정답 확률값을 참조하여 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 중 상기 기계의 고장에 대한 특정 고장 분류 정보를 선택하고, 상기 특정 고장 분류 정보를 상기 고장 진단 정보로 출력할 수 있다.

상기 프로세서는, 상기 (iii) 프로세스에서, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 가중합하여 상기 고장 진단 정보를 출력할 수 있다.

이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명에 의하면, 다음과 같은 효과가 있다.

본 발명은 입력되는 데이터의 유형에 관계없이 딥 러닝 기반으로 기계의 고장을 진단할 수 있게 된다.

본 발명은 딥 러닝 기반으로 음향 데이터 또는 진동 데이터를 이용하여 기계의 고장을 정확하게 진단할 수 있게 된다.

본 발명은 딥 러닝 기반으로 음향 데이터 또는 진동 데이터를 이용하여 학습되지 않은 고장 유형에 대해서도 능동적으로 대처할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 진단 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따른 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 방법을 개략적으로 도시한 플로루챠트이고,
도 3은 본 발명의 일 실시예에 따른 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 방법을 개략적으로 도시한 블록 구성도이고,
도 4는 본 발명의 일 실시예에 따른 딥 러닝 기반으로 음향 및 진동을 이용하여 기계의 고장을 진단하는 방법에 음향 데이터 또는 진동 데이터에서 추출된 피처들을 개략적으로 도시한 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 진단 장치를 개략적으로 도시한 것이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 진단 장치(1000)는 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하기 위한 인스트럭션들이 저장된 메모리(1001)와 메모리(1001)에 저장된 인스트럭션들에 따라 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하기 위한 동작을 수행하는 프로세서(1002)를 포함할 수 있다.

구체적으로, 진단 장치(1000)는 전형적으로 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 가능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.

그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 integrated 프로세서를 포함하는 경우를 배제하는 것은 아니다.

한편, 진단 장치(1000)의 프로세서(1002)는 기계로부터 검출된 음향 데이터 또는 진동 데이터가 획득되면, 메모리(1001)에 저장된 인스트럭션들에 따라 음향 데이터 또는 진동 데이터를 피처 추출부로 입력하여 피처 추출부로 하여금 음향 데이터 또는 진동 데이터로부터 제1 피처 내지 제m 피처를 추출하도록 하며, 제1 피처 내지 제m 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 입력하여 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 하여금 제1 피처 내지 제m 피처를 러닝 연산하여 제1 피처 내지 제m 피처에 대한 고장 상태를 분류한 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 출력하도록 하고, 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 앙상블하여 기계에 대한 고장을 진단한 고장 진단 정보를 출력할 수 있다.

이와 같이 구성된 본 발명의 일 실시예에 따른 진단 장치(1000)를 이용하여 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 방법을 도 2 내지 도 3을 참조하여 설명하면 다음과 같다.

먼저, 기계로부터 검출된 음향 데이터 또는 진동 데이터가 획득되면, 진단 장치(1000)가, 음향 데이터 또는 진동 데이터를 피처 추출부(100)로 입력하여 피처 추출부(100)로 하여금 음향 데이터 또는 진동 데이터로부터 제1 피처 내지 제m 피처를 추출(S10)하도록 할 수 있다. m은 2 이상의 정수일 수 있다.

이때, 음향 데이터 또는 진동 데이터는 기계에서 발생된 음향 또는 진동을 기설정된 시간 단위로 샘플링하여 생성한 것일 수 있다.

그리고, 음향 데이터 또는 진동 데이터는 기계에서 발생된 음향 또는 진동에 대한 스펙트럼일 수 있으며, 기계에 설치된 센서로부터 직접적으로 획득하여 샘플링하거나, 타 장비에 의해 센서로부터 센싱된 데이터를 샘플링한 데이터를 획득할 수 있다.

한편, 기계로부터 획득된 음향 데이터 또는 진동 데이터의 샘플의 길이가 기설정된 시간 단위보다 길 경우에는 앞 부분의 기설정된 시간 단위의 데이터만 샘플링하며, 샘플의 길이가 기설정된 시간 단위보다 짧을 경우에는 뒷 부분에 제로 패딩을 추가할 수 있다.

또한, 진단 장치(1000)는 기계의 고장과 관련한 다양한 고장 유형을 검출하기 위하여, 피처 추출부(100)를 통해 음향 데이터 또는 진동 데이터로부터 다양한 유형의 피처, 즉, 제1 피처 내지 제m 피처를 추출할 수 있다.

일 예로, 도 4를 참조하면, 제1 피처 내지 제m 피처는, 음향 데이터 또는 진동 데이터인 하나의 데이터로부터 추출한 서로 다른 유형의 피처들일 수 있으며, 도 4의 (a)에서와 같이 인간의 청력을 고려하여 주파수 범위를 나눈 Mel spectrogram에 대응되는 피처, 도 4의 (b)에서와 같이 Mel spectrogram을 하나의 신호로 간주하고 코사인 변환했을 때의 계수인 MFCC에 대응되는 피처, 도 4의 (c)에서와 같이 단위 시간 동안 신호의 부호가 바뀌는 횟수인 zero crossing rate에 대응되는 피처, 도 4의 (d)에서의 같이 f 이하의 주파수에 해당하는 에너지가 전체 에너지의 특정 비율과 일치할 때의 f의 값인 spectral Roll-Off에 대응되는 피처, 도 4의 (e)에서와 같이 스펙트럼의 무게 중심 또는 가중 평균인 spectral centroid에 대응되는 피처, 도 4의 (f)에서와 같이 스펙트럼 분포의 분산인 spectral bandwidth에 대응되는 피처, 도 4의 (g)에서와 같이 부분 스펙트럼에서 최대/최소 에너지의 차이인 spectral contrast에 대응되는 피처, 도 4의 (h)에서와 같이 스펙트럼의 평탄도인 spectral flatness에 대응되는 피처, 도 4의 (i)에서와 같이 스펙트럼의 하모닉 특징인 chromagram에 대응되는 피처 중 적어도 두 개의 피처를 포함할 수 있다.

다음으로, 진단 장치(1000)는 제1 피처 내지 제m 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 입력하여 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 하여금 제1 피처 내지 제m 피처를 러닝 연산하여 제1 피처 내지 제m 피처에 대한 고장 상태를 분류한 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 출력(S20)하도록 할 수 있다. n은 2 이상의 정수일 수 있다.

이때, 제1 딥 러닝 모델 내지 제n 딥 러닝 모델은, 기계의 고장 상태를 분류하기 위한 적어도 하나의 지도 학습 모델과 적어도 하나의 비지도 학습 모델을 포함할 수 있다. 또한, 제1 딥 러닝 모델 내지 제n 딥 러닝 모델은, 기계의 고장 상태를 분류하기 위한 적어도 하나의 강화 학습(reinforcement learning) 모델을 포함할 수 있다.

그리고, 지도 학습 모델은 KNN(K-Nearest Nejghbor), Native Bayes, Support Vector, Machine Decision, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network), AutoEncoder 등의 클래시파케이션 모델과, Linear Regression, Locally Weighted Linear, Ridge, Lasso 등의 regression 모델을 포함할 수 있으며, 비지도 학습 모델은 Clustering, K-Means, Density Estimation, Exception Maximization, Pazen Window, DBSCAN, LSTM(Long-Short Term Memory) AutoEncoder 등을 포함할 수 있다. 하지만, 본 발명이 이에 한정되는 것은 피처를 분류하여 기계의 고장을 진단하는 다양한 모델을 포함할 수 있다.

한편, 진단 장치(1000)는 제1 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델 각각에 입력하여 제1 딥 러닝 모델 내지 제n 딥 러닝 모델 각각이 제1 피처를 러닝 러닝 연산하여 제1_1 고장 분류 정보 내지 제n_1 고장 분류 정보를 출력하도록 하고, 제2 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델 각각에 입력하여 제1 딥 러닝 모델 내지 제n 딥 러닝 모델 각각이 제2 피처를 러닝 러닝 연산하여 제1_2 고장 분류 정보 내지 제n_2 고장 분류 정보를 출력하도록 하며, 이를 반복하며, 제m 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델 각각에 입력하여 제1 딥 러닝 모델 내지 제n 딥 러닝 모델 각각이 제m 피처를 러닝 러닝 연산하여 제1_m 고장 분류 정보 내지 제n_m 고장 분류 정보를 출력하도록 함으로써, 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 생성하도록 할 수 있다.

또한, 이와는 달리, 진단 장치(1000)는 제1 피처 내지 제m 피처를 컨캐이터네이트하여 제1 피처 내지 제m 피처 각각을 각각의 채널로 하는 m 채널 피처맵을 생성하며, m 채널 피처맵을 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 입력함으로써, 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 생성하도록 할 수 있다.

즉, 진단 장치(1000)는 m 채널 피처맵을 제1 딥 러닝 모델로 입력하여 제1 딥 러닝 모델로 하여금 m 채널 피처맵을 러닝 연산하여 제1_1 고장 분류 정보 내지 제1_m 고장 분류 정보를 출력하도록 하며, m 채널 피처맵을 제2 딥 러닝 모델로 입력하여 제2 딥 러닝 모델로 하여금 m 채널 피처맵을 러닝 연산하여 제2_1 고장 분류 정보 내지 제2_m 고장 분류 정보를 출력하도록 하고, 이를 반복하며, m 채널 피처맵을 제n 딥 러닝 모델로 입력하여 제n 딥 러닝 모델로 하여금 m 채널 피처맵을 러닝 연산하여 제n_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 출력하도록 함으로써, 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 생성하도록 할 수 있다.

다음으로, 진단 장치(1000)는 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 앙상블하여 기계에 대한 고장을 진단한 고장 진단 정보를 출력(S30)할 수 있다.

일 예로, 고장 진단 장치(1000)는 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 고장 여부를 판단하는 디스크리미네터(discriminator)(300)에 입력하여 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보 각각에 대한 고장 여부를 판단한 판별 정보들을 출력하도록 하며, 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보와 판별 정보들을 모델 평가부(400)에 입력하여 모델 평가부(400)로 하여금 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 앙상블하여 기계에 대한 고장을 진단한 고장 진단 정보를 출력하도록 할 수 있다.

이때, 진단 장치(1000)는 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보 각각의 정답 확률값(probability)을 참조하여 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보 중 기계의 고장에 대한 특정 고장 분류 정보를 선택하고, 특정 고장 분류 정보를 고장 진단 정보로 출력할 수 있다.

일 예로, 제1_1 고정 분류 정보 내지 제n_m 고장 분류 정보 각각의 정답 확률값을 참조하여, 정답 확률값이 가장 높은 특정 고장 분류 정보를 선택하거나, 고장 유형별로 정답 확률값의 평균이 가장 높은 특정 고장 유형에 대응되는 특정 고장 분류 정보를 선택하는 등 다양한 방법에 의해 제1_1 고정 분류 정보 내지 제n_m 고장 분류 정보를 앙상블하여 고장 진단 정보를 출력하도록 할 수 있다.

또한, 진단 장치(1000)는 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 가중합하여 고장 진단 정보를 출력할 수도 있다.

이에 더하여, 진단 장치(1000)는 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 고장 유형 별로 분류하며, 회수가 가장 많은 고장 유형에 대응되는 특정 고장 분류 정보를 고장 진단 정보로 출력하도록 할 수 있다.

하지만, 본 발명이 이에 한정되는 것은 아니며, 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 다양한 방법으로 앙상블하여 고장 진단 정보를 출력할 수 있다.

그리고, 진단 장치(1000)는 고장 진단 정보를 이용하여 제1 딥 러닝 모델 내지 제n 딥 러닝 모델 중 비지도 학습 모델의 학습 파라미터를 업데이트함으로써, 최초 설계시 방영되지 않은 기계의 고장 유형에 대해서도 능동적으로 대처할 수 있게 된다.

이에 더하여, 진단 장치(1000)는 고장 진단 정보를 이용하여 제1 딥 러닝 모델 내지 제n 딥 러닝 모델을 계속 학습(continual learning)함으로써, 제1 딥 러닝 모델 내지 제n 딥 러닝 모델 각각의 고장 진단 정확성을 향상시킬 수 있다.

또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

1000: 진단 장치,
1001: 메모리,
1002: 프로세서

Claims

딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 방법에 있어서,
(a) 기계로부터 검출된 음향 데이터 또는 진동 데이터가 획득되면, 진단 장치가, 상기 음향 데이터 또는 상기 진동 데이터를 피처 추출부로 입력하여 상기 피처 추출부로 하여금 상기 음향 데이터 또는 상기 진동 데이터로부터 제1 피처 내지 제m 피처를 추출하도록 하는 단계;
(b) 상기 진단 장치가, 상기 제1 피처 내지 상기 제m 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 입력하여 상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델로 하여금 상기 제1 피처 내지 상기 제m 피처를 러닝 연산하여 상기 제1 피처 내지 상기 제m 피처에 대한 고장 상태를 분류한 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 출력하도록 하는 단계; 및
(c) 상기 진단 장치가, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 앙상블하여 상기 기계에 대한 고장을 진단한 고장 진단 정보를 출력하는 단계;
를 포함하는 방법.
제1항에 있어서,
상기 (b) 단계에서,
상기 진단 장치는, 상기 제1 피처 내지 상기 제m 피처를 컨캐이터네이트하여 상기 제1 피처 내지 상기 제m 피처 각각을 각각의 채널로 하는 m 채널 피처맵을 생성하며, 상기 m 채널 피처맵을 상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델로 입력하는 방법.
제1항에 있어서,
상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델은, 상기 기계의 고장 상태를 분류하기 위한 적어도 하나의 지도 학습 모델과 적어도 하나의 비지도 학습 모델을 포함하는 방법.
제3항에 있어서,
상기 진단 장치는, 상기 고장 진단 정보를 이용하여 상기 비지도 학습 모델의 학습 파라미터를 업데이트하는 방법.
제1항에 있어서,
상기 음향 데이터 또는 상기 진동 데이터는 상기 기계에서 발생된 음향 또는 진동을 기설정된 시간 단위로 샘플링하여 생성한 것이며, 샘플의 길이가 상기 기설정된 시간 단위보다 길 경우에는 앞 부분의 기설정된 시간 단위의 데이터만 샘플링하고, 상기 샘플의 길이가 상기 기설정된 시간 단위보다 짧을 경우에는 뒷 부분에 제로 패딩을 추가하는 방법.
제1항에 있어서,
상기 제1 피처 내지 상기 제m 피처는, 인간의 청력을 고려하여 주파수 범위를 나눈 Mel spectrogram, 상기 Mel spectrogram을 하나의 신호로 간주하고 코사인 변환했을 때의 계수인 MFCC, 단위 시간 동안 신호의 부호가 바뀌는 횟수인 zero crossing rate, f 이하의 주파수에 해당하는 에너지가 전체 에너지의 특정 비율과 일치할 때의 f의 값인 spectral Roll-Off, 스펙트럼의 무게 중심 또는 가중 평균인 spectral centroid, 스펙트럼 분포의 분산인 spectral bandwidth, 부분 스펙트럼에서 최대/최소 에너지의 차이인 spectral contrast, 스펙트럼의 평탄도인 spectral flatness, 스펙트럼의 하모닉 특징인 chromagram 중 적어도 두 개 이상을 포함하는 방법.
제1항에 있어서,
상기 (c) 단계에서,
상기 진단 장치는, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 고장 여부를 판단하는 디스크리미네터에 입력하여 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 각각에 대한 고장 여부를 판단한 판별 정보들을 출력하도록 하며, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보와 상기 판별 정보들을 모델 평가부에 입력하여 상기 모델 평가부로 하여금 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 앙상블하여 상기 기계에 대한 고장을 진단한 상기 고장 진단 정보를 출력하도록 하는 방법.
제1항에 있어서,
상기 (c) 단계에서,
상기 진단 장치는, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 각각의 정답 확률값을 참조하여 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 중 상기 기계의 고장에 대한 특정 고장 분류 정보를 선택하고, 상기 특정 고장 분류 정보를 상기 고장 진단 정보로 출력하는 방법.
제1항에 있어서,
상기 (c) 단계에서,
상기 진단 장치는, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 가중합하여 상기 고장 진단 정보를 출력하는 방법.
딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하는 진단 장치에 있어서,
딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하기 위한 인스트럭션들이 저장된 메모리; 및
상기 메모리에 저장된 상기 인스트럭션들에 따라 상기 딥 러닝 기반으로 음향 또는 진동을 이용하여 기계의 고장을 진단하기 위한 동작을 수행하는 프로세서;
를 포함하며,
상기 프로세서는, (i) 기계로부터 검출된 음향 데이터 또는 진동 데이터가 획득되면, 상기 음향 데이터 또는 상기 진동 데이터를 피처 추출부로 입력하여 상기 피처 추출부로 하여금 상기 음향 데이터 또는 상기 진동 데이터로부터 제1 피처 내지 제m 피처를 추출하도록 하는 프로세스, (ii) 상기 제1 피처 내지 상기 제m 피처를 제1 딥 러닝 모델 내지 제n 딥 러닝 모델로 입력하여 상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델로 하여금 상기 제1 피처 내지 상기 제m 피처를 러닝 연산하여 상기 제1 피처 내지 상기 제m 피처에 대한 고장 상태를 분류한 제1_1 고장 분류 정보 내지 제n_m 고장 분류 정보를 출력하도록 하는 프로세스, 및 (iii) 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 앙상블하여 상기 기계에 대한 고장을 진단한 고장 진단 정보를 출력하는 프로세스를 수행하는 진단 장치.
제10항에 있어서,
상기 프로세서는, 상기 (ii) 프로세스에서, 상기 제1 피처 내지 상기 제m 피처를 컨캐이터네이트하여 상기 제1 피처 내지 상기 제m 피처 각각을 각각의 채널로 하는 m 채널 피처맵을 생성하며, 상기 m 채널 피처맵을 상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델로 입력하는 진단 장치.
제10항에 있어서,
상기 제1 딥 러닝 모델 내지 상기 제n 딥 러닝 모델은, 상기 기계의 고장 상태를 분류하기 위한 적어도 하나의 지도 학습 모델과 적어도 하나의 비지도 학습 모델을 포함하는 진단 장치.
제12항에 있어서,
상기 프로세서는, 상기 고장 진단 정보를 이용하여 상기 비지도 학습 모델의 학습 파라미터를 업데이트하는 진단 장치.
제10항에 있어서,
상기 음향 데이터 또는 상기 진동 데이터는 상기 기계에서 발생된 음향 또는 진동을 기설정된 시간 단위로 샘플링하여 생성한 것이며, 샘플의 길이가 상기 기설정된 시간 단위보다 길 경우에는 앞 부분의 기설정된 시간 단위의 데이터만 샘플링하고, 상기 샘플의 길이가 상기 기설정된 시간 단위보다 짧을 경우에는 뒷 부분에 제로 패딩을 추가하는 진단 장치.
제10항에 있어서,
상기 제1 피처 내지 상기 제m 피처는, 인간의 청력을 고려하여 주파수 범위를 나눈 Mel spectrogram, 상기 Mel spectrogram을 하나의 신호로 간주하고 코사인 변환했을 때의 계수인 MFCC, 단위 시간 동안 신호의 부호가 바뀌는 횟수인 zero crossing rate, f 이하의 주파수에 해당하는 에너지가 전체 에너지의 특정 비율과 일치할 때의 f의 값인 spectral Roll-Off, 스펙트럼의 무게 중심 또는 가중 평균인 spectral centroid, 스펙트럼 분포의 분산인 spectral bandwidth, 부분 스펙트럼에서 최대/최소 에너지의 차이인 spectral contrast, 스펙트럼의 평탄도인 spectral flatness, 스펙트럼의 하모닉 특징인 chromagram 중 적어도 두 개 이상을 포함하는 진단 장치.
제10항에 있어서,
상기 프로세서는, 상기 (iii) 프로세스에서, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 고장 여부를 판단하는 디스크리미네터에 입력하여 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 각각에 대한 고장 여부를 판단한 판별 정보들을 출력하도록 하며, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보와 상기 판별 정보들을 모델 평가부에 입력하여 상기 모델 평가부로 하여금 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 앙상블하여 상기 기계에 대한 고장을 진단한 상기 고장 진단 정보를 출력하도록 하는 진단 장치.
제10항에 있어서,
상기 프로세서는, 상기 (iii) 프로세스에서, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 각각의 정답 확률값을 참조하여 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보 중 상기 기계의 고장에 대한 특정 고장 분류 정보를 선택하고, 상기 특정 고장 분류 정보를 상기 고장 진단 정보로 출력하는 진단 장치.
제10항에 있어서,
상기 프로세서는, 상기 (iii) 프로세스에서, 상기 제1_1 고장 분류 정보 내지 상기 제n_m 고장 분류 정보를 가중합하여 상기 고장 진단 정보를 출력하는 진단 장치.