KR102457642B1 - 기계음 녹음장치 및 이를 포함하는 기계설비의 이상 감지 시스템 - Google Patents

Abstract

기계설비로부터 발생되는 기계음을 실시간으로 집음한 후, 정상 기계음과 비교 및 학습하여 기계설비의 고장을 미리 예측할 수 있는 기계음 녹음장치 및 이를 포함하는 기계설비의 이상 감지 시스템에 관한 것이다. 기계음 녹음장치는 내부에 수용 공간이 형성된 케이스; 상기 케이스의 수용 공간에 배치되며, 적어도 하나의 기계설비로부터 발생하는 기계음을 실시간으로 수신하고, 기설정된 시간단위로 상기 기계음을 기계음 데이터로 저장하는 기계음 수집부; 및 상기 기계음 데이터를 외부의 기기로 전송하는 통신부;를 포함할 수 있다.
또한, 기계설비의 이상 감지 시스템은 상기 기계음 녹음장치로부터 기계음 데이터를 전송받는 서버를 더 포함하고, 상기 서버는 상기 기계음 데이터와 기입력된 기계음 데이터를 비교하고, 비교되는 결과를 학습하여 상기 기계설비의 비정상음을 검출하는 딥러닝부; 및 상기 딥러닝부로부터 비정상음이 검출되면 상기 기계설비가 비정상 상태임을 판단하고, 외부로 경고 신호를 출력하는 판단부;를 포함할 수 있다.

Description

기계음 녹음장치 및 이를 포함하는 기계설비의 이상 감지 시스템{Machine sound recording apparatus and abnormality detection system of machine equipment comprising the same}

본 발명은 기계음 녹음장치 및 이를 포함하는 기계설비의 이상 감지 시스템에 관한 것으로서, 보다 상세하게는 기계설비로부터 발생되는 기계음을 실시간으로 집음한 후, 정상 기계음과 비교 및 학습하여 기계설비의 고장을 미리 예측할 수 있는 기계음 녹음장치 및 이를 포함하는 기계설비의 이상 감지 시스템에 관한 것이다.

스마트 팩토리(Smart Factory)는 정보통신기술(ICT, Information and Communication Technologies)과 기존의 제조업 기술인 생산 제조 기술의 융합으로 정의될 수 있다. 예를 들어, 스마트 팩토리는 사물인터넷(Internet of Things), 빅데이터(Big data), 클라우드 컴퓨팅(Cloud computing) 및 CPS(Cyber-Physical System) 등의 기술을 기반으로 공장 내의 각종 설비들이 상호 연결 및 소통하는 생산 체계로 정의될 수 있다.

한편, 스마트 팩토리 이전의 전통적인 방식에서 기계설비를 이용해 제품을 제조하기 위해서는, 오퍼레이터가 기계설비 앞에서 직접 작업 상태를 확인하고 필요한 동작을 제어 해야만 했다. 이에 반해, 스마트 팩토리는 엔지니어 또는 오퍼레이터의 제어와 운용이 필요한 부분을 원격으로 제어할 수 있다는 장점이 있다.

그러나, 이러한 장점에도 불구하고 기계설비의 이상이 발생하였을 때를 대비하여 오퍼레이터가 기계설비 옆에 상주하면서 구동 중에 문제가 발생하는지를 지켜 보고 있어야만 하는 불편함이 있었다.

이러한 문제를 해결하기 위하여, 기계설비 내부에서 발생하는 데이터를 수집하고 이를 활용하여 구동부의 열화 및/또는 고장을 모니터링 함으로써, 사전에 부품 고장 여부 확인, 부품 수급, 사전 조치 등을 통해 기계설비의 가동률의 저하가 최소가 되도록 CBM(Condition Based Management)을 수행하는 기계설비의 진단기술이 개발되었다. 예를 들어, 모터 드라이버(driver)에서 수집할 수 있는 토크(Torque) 및 속도(Speed) 데이터, 기계설비의 내/외부 진동 데이터, 온도, 경사, 전류, 기압, 압력, 알람 데이터 등을 센서나 DAQ(Data Acquisition) 등으로 획득하여 활용함으로써, 기계설비의 고장 진단을 예측하는 것이다.

그러나, 이러한 기계설비 진단기술은 기계설비로부터 시계열(time series) 데이터를 획득하게 되는데, 시간 도메인(Time domain) 상에서 획득된 시계열 데이터를 직접 정량화하여 기계설비를 진단하기 어렵다는 문제가 있다. 이는 구동부별 구조적인 특징에 따라서 각 부품의 고유 주파수에 해당하는 진동이 데이터가 포함되어 있기 때문이다. 따라서, 기계설비의 정량적인 진단을 하기 위하여 도메인을 시간에서 주파수(frequency)로 변경하여 진단을 수행하고 있다. 그러나, 이러한 방법은 주파수 특성을 보다 넓은 범위(range)에서 정확히 측정하기 위하여 샘플링 레이트(sampling rate)를 높여야 하는데, 이는 데이터 사이즈를 증가시키는 문제가 있다.

또한, 기계설비별, 공정별, 모델별, 구동 축별 데이터의 특성이 모두 다르기 때문에, 효과적인 진단을 위해서는 각각의 데이터의 특성이 반영된 개별 진단 알고리즘이 필요하다. 그러나 그러한 개별 진단 알고리즘을 구축하는 데에는 많은 시간과, 비용, 및 노력이 요구되고, 구축된 진단 알고리즘은 해당 데이터에만 적용되므로 효용성 측면에서 한계가 있다.

공개특허공보 10-2018-0027176(2018.03.14 공개)

본 발명의 과제는 기계설비로부터 발생되는 기계음을 실시간으로 집음한 후, 정상 기계음과 비교 및 학습하여 기계설비의 고장을 미리 예측할 수 있는 기계음 녹음장치 및 이를 포함하는 기계설비를 제공함에 있다.

또한, 본 발명의 과제는 값비싼 개별 진단 알고리즘을 구축하지 않고 소리만으로 기계설비의 오류를 검출하여, 유지 보수 비용이 절감된 기계음 녹음장치 및 이를 포함하는 기계설비의 이상 감지 시스템을 제공함에 있다.

상기의 과제를 달성하기 위한 본 발명에 따른 기계음 녹음장치는 적어도 하나의 기계설비로부터 발생하는 기계음을 실시간으로 수신하고, 기설정된 시간단위로 상기 기계음을 기계음 데이터로 저장하는 기계음 수집부; 및 상기 기계음 데이터를 외부의 기기로 전송하는 통신부;를 포함할 수 있다.

또한, 상기 기계음 수집부는 지향성 마이크를 이용하여 외부에서 입력되는 기계음을 수신할 수 있다.

또한, 상기 지향성 마이크는 상기 기계음이 입력되는 마이크 본체와, 상기 본체를 틸팅 가능하게 지지하고, 하부에 마그넷이 구비된 지지부재를 포함할 수 있다.

또한, 상기 통신부는 MQTT(Message Queuing Telemetry Transport), TCP/IP, 웹소켓(Web Socket) 중 선택된 하나의 프로토콜을 포함하여 상기 기계음 데이터를 송수신할 수 있다.

상기의 과제를 달성하기 위한 본 발명에 따른 기계설비의 이상 감지 시스템은 상기 기계음 녹음장치로부터 기계음 데이터를 전송받는 서버를 더 포함하고, 상기 서버는 상기 기계음 데이터와 기입력된 기계음 데이터를 비교하고, 비교되는 결과를 학습하여 상기 기계설비의 비정상음을 검출하는 딥러닝부; 및 상기 딥러닝부로부터 비정상음이 검출되면 상기 기계설비가 비정상 상태임을 판단하고, 외부로 경고 신호를 출력하는 판단부;를 포함할 수 있다.

또한, 상기 딥러닝부는 상기 비교 결과에 따라 상기 기계음 데이터를 정상 데이터와 비정상 데이터로 분류한 후 메모리에 저장할 수 있다.

또한, 상기 비정상음을 모니터링하여 그에 따른 제어 신호를 상기 기계설비 측으로 제공하는 제어부를 더 포함할 수 있다.

또한, 상기 딥러닝부는 상기 기계음 데이터의 특징을 추출하는 특징 추출부를 포함하고, 상기 기계음 데이터의 특징 데이터를 이용하여 CNN(Convolution Neural Network), LSTM(Long Short Term Memory), Attention Mechanism의 조합을 통해 심층학습을 수행하도록 제공될 수 있다.

또한, 상기 특징 추출부는 상기 기계음 데이터를 제공받아 주파수 영역으로 변환하고, 잡음 제거 및 멜 필터 뱅크(Mel Filter Bank)를 통해 특징을 추출할 수 있다.

본 발명에 따르면, 기계설비로부터 발생되는 기계음을 실시간으로 집음한 후, 정상 기계음과 비교 및 학습하여 기계설비의 고장을 미리 예측할 수 있다. 이에 따라, 기계설비가 고장나기 전 미리 유지보수를 진행해 줌으로써 기계설비의 구동이 멈추는 것을 미연에 방지할 수 있으며, 시스템의 운영 효율을 향상시킬 수 있다.

또한, 기계설비의 구동 소리만으로 이상 여부를 판단함에 따라, 종래와 같이 개별 진단 알고리즘을 구축하지 않아도 되므로 유지 보수 비용을 절감할 수 있으며, 소리가 발생하는 모든 기계설비에 적용 가능하여 범용성이 향상되는 효과가 있다.

또한, 기계설비에 이상이 발견되었을 때 외부로 경고 신호를 출력하므로, 오퍼레이터는 이러한 경고 신호를 통해 기계설비의 구동을 즉시 제어할 수 있다.

아울러, 기계설비에 이상이 발견되었을 때 기계설비의 원격 제어가 가능해짐에 따라, 오퍼레이터가 직접 기계설비가 설치된 곳까지 가지 않아도 되므로 편의성이 향상되는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 기계음 녹음장치를 도시한 도면이다.
도 2는 도 1에 도시된 기계음 녹음장치의 구성을 도시한 블록도이다.
도 3은 도 1에 도시된 기계음 녹음장치의 배면을 도시한 도면이다.
도 4는 본 발명의 일 실시에에 따른 지향성 마이크를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 기계설비의 이상 감지 시스템을 도시한 도면이다.
도 6은 도 5에 도시된 기계설비의 이상 감지 시스템의 구성을 도시한 블록도이다.
도 7은 도 5에 도시된 특징 추출부를 이용한 특징 추출과정을 개략적으로 도시한 도면이다.
도 8은 도 5에 도시된 특징 추출부에서 MFCC를 구하는 과정을 나타내는 도면이다.
도 9는 도 5에 도시된 딥러닝부가 4-fold cross validation 기법으로 학습과정에서 반복적인 교차 검증을 수행하는 상태를 도시한 도면이다.

이하 첨부된 도면을 참조하여, 바람직한 실시예에 따른 기계음 녹음장치 및 이를 포함하는 기계설비의 이상 감지 시스템에 대해 상세히 설명하면 다음과 같다. 여기서, 동일한 구성에 대해서는 동일부호를 사용하며, 반복되는 설명, 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 발명의 실시형태는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

도 1은 본 발명의 일 실시예에 따른 기계음 녹음장치를 도시한 도면이고, 도 2는 도 1에 도시된 기계음 녹음장치의 구성을 도시한 블록도이며, 도 3은 도 1에 도시된 기계음 녹음장치의 배면을 도시한 도면이다. 그리고, 도 4는 본 발명의 일 실시에에 따른 지향성 마이크를 도시한 도면이다.

도 1 내지 도 4를 참조하면, 기계음 녹음장치(100)는 케이스(110)와, 기계음 수집부(120), 및 통신부(130)를 포함할 수 있다.

케이스(110)는 기계음 녹음장치(100)의 외형을 이루는 것으로서, 내부에 수용 공간이 형성될 수 있다. 예를 들어, 케이스(110)는 사각의 박스 형상으로 형성될 수 있으며, 전방 커버(111)와 후방 커버(112)의 결합으로 인해 내부에는 수용 공간이 형성될 수 있다.

케이스(110)의 배면에는 상하 방향으로 길게 형성된 레일부(11)와, 레일부(11)를 따라 이동 가능하게 형성된 브라켓(12)이 제공될 수 있다. 이에 따라, 브라켓(12)을 통해 벽과 같은 지지물에 케이스(110)의 설치가 가능해질 수 있으며, 사용 여부에 따라 브라켓(12)을 상하 방향으로 이동시켜 보관을 용이하게 할 수 있다(도 3 참조).

기계음 수집부(120)는 케이스(110)의 수용 공간에 배치되며, 적어도 하나의 기계설비(M)로부터 발생하는 기계음을 실시간으로 수신하고, 기설정된 시간단위로 기계음을 기계음 데이터로 저장할 수 있다. 예를 들어, 기계음 수집부(120)는 기계설비(M) 근처에 설치될 수 있으며, 수신되는 기계음을 16Khz, 16Bit로 이루어진 모노 타입의 WAV(Waveform Audio Format) 파일로, 3~5초의 간격으로 저장할 수 있다. WAV 파일은 무손실 무압축 파일로서, 원본 소스를 그대로 가지고 있기 때문에 후술되는 딥러닝부를 이용하여 왜곡 없이 학습할 수 있다는 장점이 있다. 그러나, 기계음의 저장 방식은 이에 한정되지않으며, MP3, WMA, AAC 등의 파일로 저장될 수도 있다.

기계음 수집부(120)는 특정 방향에서 들려오는 좁은 각도의 소리만 선택적으로 녹취할 수 있도록 형성된 지향성 마이크(Directional microphone, 140)를 이용하여 외부에서 입력되는 기계음을 수신할 수 있다. 예를 들어, 기계음 녹음장치(100)와 지향성 마이크(140)는 유선 또는 무선으로 연결될 수 있으며, 지향성 마이크(140)로 입력되는 기계음을 기계음 수집부(120)에서 실시간으로 제공받을 수 있다.

지향성 마이크(140)는 기계음이 입력되는 마이크 본체(141)와, 마이크 본체(141)를 틸팅 가능하게 지지하고, 하부에 마그넷(143)이 구비된 지지부재(142)를 포함할 수 있다. 이와 같이, 지향성 마이크(140)의 하부에 마그넷(143)이 구비됨에 따라 벽면에 자성체가 설치된 경우, 별도의 체결부재 없이도 벽면에 착탈할 수 있게 된다. 본 실시예에서는 마그넷(143)이 지지부재(142) 외부에 설치된 것으로 도시하였으나, 지지부재(142) 내부에 설치되는 것도 가능하고, 지지부재(142) 자체를 마그넷(143)으로 형성하는 것도 가능하다.

통신부(130)는 기계음 데이터를 외부의 기기로 전송할 수 있다. 통신부(130)는 무선/유선의 방식을 선택적으로 조합하여 사용할 수 있으며, 구체적으로는 MQTT(Message Queuing Telemetry Transport), TCP/IP, 웹소켓(Web Socket) 중 선택된 하나의 프로토콜을 포함하여 외부의 기기와 데이터를 송수신할 수 있다.

예를 들어, 통신부(130)는 기계음 수집부(120)로부터 WAV 파일로 저장된 기계음 데이터를 후술되는 기계설비 이상 감지 시스템(200)의 딥러닝부(211)로 전송할 수 있다. 이렇게 통신부(130)를 통해 기계음 녹음장치(100)와 기계설비 이상 감지 시스템(200)은 서로 호환 가능하게 제공될 수 있다.

도 5는 본 발명의 일 실시예에 따른 기계설비의 이상 감지 시스템을 도시한 도면이고, 도 6은 도 5에 도시된 기계설비의 이상 감지 시스템의 구성을 도시한 블록도이고, 도 7은 도 5에 도시된 특징 추출부를 이용한 특징 추출과정을 개략적으로 도시한 도면이며, 도 8은 도 5에 도시된 특징 추출부에서 MFCC를 구하는 과정을 나타내는 도면이다.

도 5 내지 도 8을 참조하면, 기계설비의 이상 감지 시스템(200)은 상술한 기계음 녹음장치(100)로부터 기계음 데이터를 전송받는 서버(210)를 더 포함할 수 있다. 그리고, 서버(210)는 딥러닝부(211)와 판단부(212)를 포함할 수 있다.

딥러닝부(211)는 기계음 녹음장치(100)로부터 제공받은 기계음 데이터와 기입력된 기계음 데이터를 비교하고, 비교되는 결과를 학습하여 기계설비(M)의 비정상음을 검출할 수 있다. 이때, 딥러닝부(211)는 비교 결과에 따라 기계음 데이터를 정상 데이터와 비정상 데이터로 분류한 후 메모리에 저장할 수 있다. 예를 들어, 딥러닝부(211)는 기계음 수집부(120)로부터 제공받은 기계음 데이터를 기입력된 정상 기계음 데이터와 비교하여 학습을 수행할 수 있으며, 학습결과에 따라 정상음과 비정상음으로 태그를 붙여 메모리에 저장할 수 있다. 이렇게 정상음으로 분류된 데이터는 딥러닝시 재이용될 수 있으며, 비정상음으로 분류된 데이터는 후술되는 판단부(212) 측으로 제공될 수 있다.

딥러닝부(211)는 기계음의 특징을 추출하는 특징 추출부(21)를 포함할 수 있다. 특징 추출부(21)는 기계음 수집부(120)로부터 기계음 데이터를 제공받아 주파수 영역으로 변환하고, 잡음 제거 및 멜 필터 뱅크(Mel Filter Bank)를 통해 특징을 추출할 수 있다.

특징 추출부(21)에서 추출하는 특징은 딥러닝부(211)에서 심층 학습을 수행하거나 후술되는 판단부(212)에서 비정상음을 감지하는데 유용한 성분을 기계음으로부터 추출하는 과정이다. 이러한 특징 추출부(21)에서 특징 추출시 사용되는 파라메터는 Frame window size, Window shift rate, LLD(Low level descriptor) 또는 HSF(High-level Statisticla Functions) 중 적어도 하나를 포함할 수 있다.

여기서, LLD로는 MFCC(Melfrequency cepstral coefficient), log energy, filter bank energy 등이 해당될 수 있고, HSF로는 mean, variance, max, min, mode, quant. 등이 해당될 수 있다. 이러한 특징 데이터의 추출은 일반적으로 정보의 압축, 차원 감소 과정과 관련될 수 있다. 특징 데이터 추출의 주요 연구 분야는 다양한 잡음환경/화자/채널 변이에 강인한(robust) 특징, 시간적인 변화를 잘 표현하는 특징의 추출일 수 있다.

일반적으로 사용되는 특징 추출 과정에서 청각특성을 반영한 것으로는 달팽이관의 주파수 응답을 응용한 필터뱅크 분석, Mel 또는 Bark 척도 단위의 중심주파수 배치, 주파수에 따른 대역폭의 증가, 프리엠퍼시스 필터 등이 사용될 수 있다.

Robustness를 향상시키기 위한 방법으로 가장 널리 사용되는 것은 convolutive 채널의 영향을 줄이기 위한 CMS(Cepstral mean subtraction)이다. 음성신호의 동적 특성을 반영하기 위하여는 켑스트럼의 1차(delta), 2차 미분값을 사용할 수 있다. CMS 및 미분은 시간축 방향의 필터링으로, 시간축 방향으로의 temporally uncorrelated 특징 벡터를 얻는 과정이다. 필터뱅크 계수로부터 켑스트럼을 얻는 과정은 필터뱅크 계수를 uncorrelated로 바꾸기 위한 orthogonal transform으로 이해될 수 있다.

본 발명에 따른 특징 추출부(21)에서 추출하는 특징으로는 MFCC(Mel-Frequency Cepstral Coefficient)가 있다. 여기서, MFCC를 구하는 방법을 간단히 설명하면, 음성신호는 antialiasing filter를 거친 다음, A/D변환을 거쳐서 디지털 신호 x(n)로 변환될 수 있다. 디지털 음성신호는 고대역 통과 특성을 갖는 디지털 프리엠퍼시스 필터를 거치게 되는데, 이 필터를 사용하는 이유는 인간의 외이/중이의 주파수 특성을 모델링하기 위하여 고대역 필터링을 하는 것이다.

프리엠퍼시스된 신호는 해밍 윈도우를 씌워서 블록 단위의 프레임으로 나누어질 수 있다. 이후부터의 처리는 모두 프레임 단위로 이루어질 수 있으며, 프레임의 크기는 보통 20 ~ 30ms이며 프레임 이동은 10ms가 사용될 수 있다. 한 프레임의 음성신호는 고속푸리에변환(FFT: Fast Fourier Transform)을 이용하여 주파수 영역으로 변환되고, 주파수 대역을 여러 개의 필터뱅크로 나누고 각 뱅크에서의 에너지를 구한 다음, 밴드 에너지에 로그를 취한 후 이산 코사인 변환(DCT: Discrete Cosine Transform)을 하면 최종적인 MFCC가 얻어질 수 있다.

필터뱅크의 모양 및 중심주파수의 설정 방법은 귀의 청각적 특성(달팽이관에서의 주파수 특성)을 고려하여 결정될 수 있다. 일례로, 도 8에서는 삼각형 모양의 필터를 사용하였으며 중심주파수는 1kHz까지는 선형적으로 위치하고 그 이상에서는 Mel 척도로 분포하는 20개의 뱅크로 형성될 수 있다.

한편, 소리 데이터에 최적으로 사용할 수 있는 모형으로는 ANN(Artificial Neural Network), DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), LSTM(Long Short Term Memory), CTC(Connectionist Temporal Classification), Attention Mechanism 등이 있다. 본 발명의 딥러닝부(211)는 이중에서도 CNN(Convolution Neural Network), LSTM(Long Short Term Memory), Attention Mechanism를 이용하여 심층학습을 수행하도록 제공될 수 있다.

구체적으로, 딥러닝부(211)는 기계음 데이터의 특징 데이터를 이용하여 CNN, LSTM, Attention Mechanism을 조합한 CLA 모델을 사용할 수 있다. CLA모델은 국소적인 특징의 파악에 유리한 CNN, 순차적인 데이터 처리에 유리한 LSTM, 중요한 정보에 집중할 수 있게 하는 어텐션 메커니즘(Attention Mechanism)의 장점을 이용하여 학습하는 것으로서, CNN과 같이 단일의 모델을 사용한 경우에 비하여 보다 우수한 성능을 유도할 수 있다.

본 발명에서 사용된 CLA 모델은 기계음을 특징 추출 과정에서 80차원의 Mel-Spectrogram으로 변환하고 3초 단위의 300 프레임셋이 모델에 입력될 수 있다. 모델은 CNN 레이어로 스펙트럼의 공간적(spatial)인 특성을 추출하고, LSTM 레이어로 시간적(temporal)인 정보를 추출한 후 Attention Mechanism 레이어로 지역적인 특성을 집중하여 정보를 수집할 수 있다. 이후, 출력 레이어에서는 이상유무를 판단하기 위하여 0또는 1로 출력하도록 형성될 수 있다.

CLA 모델은 입력이 들어오면 순서대로 CNN 레이어, LSTM 레이어, Attention Mechanism 레이어를 거친 후 최종 출력을 계산할 수 있다. 여기서, 최종 출력은 기계에 결함이 있는지에 대한 확률 값으로서, 0~1 사이의 값으로 설정될 수 있다.

예를 들어, CLA 모델에 입력되는 특징은 80 Mel-band Spectrogram으로, 20ms의 사이즈의 윈도우를 10ms씩 이동시키며 생성할 수 있다. 이때, 기계로부터 얻어진 오디오는 3초 길이의 WAV 파일로 저장될 수 있으며, 16Khz, 16Bit의 샘플링 레이트를 가지고 있다. 이에 따라, 최종적으로 생성된 스펙트로그램(Spectrogram)은 300프레임의 time step을 가지며, 각 프레임의 dimension은 80일 수 있다.

CNN 레이어는 convolution 연산과 max pooling을 두번씩 반복하는 레이어이다. 본 모델에 사용된 CNN 레이어는 입력된 스펙트로그램(Spectrogram)을 분석하여 조금 더 고장 감지에 적합한 특징을 추출하기 위한 작업을 하는 레이어다. 이는 convolution 연산과 max pooling을 통해 이루어지며, convolution 연산은 입력된 데이터의 국소적인 부분에서 연산을 통해 필요한 특징을 추출하는 과정이다. max pooling 연산은 데이터의 차원을 축소하며 동시에 필요한 특징만을 남겨놓는 과정으로 이후에 진행될 LSTM 및 어텐션 레이어의 계산 복잡도를 낮추는 역할을 한다.

LSTM 레이어는 RNN(Recurrent Neural Network) 아키텍처의 한 종류로서, CLA 모델에서는 CNN 레이어를 통해 얻어진 특징벡터에서 시간적 정보를 얻는데 사용될 수 있다. 이는 RNN이 가지는 시퀀스 정보 처리 능력을 이용하여 장거리의 정보를 처리해야 알 수 있는 노이즈나 고장으로 인한 소리를 판별하기 위함이다.

본 CLA 모델에서는 64개의 셀을 가지는 LSTM을 2층으로 사용하였으며, 순방향으로 데이터를 입력하여 사용하였다.

Attention Mechanism 레이어는 CNN및 LSTM을 통하여 얻어진 정보 벡터에서 최종적인 판단을 하기위한 컨텍스트 벡터를 만드는 용도로 사용될 수 있다. Attention Mechanism의 입력은 LSTM레이어의 출력 H=h1, h2, h3, …, hT, hi=(p1, p2, …, pC)이며 웨이트 파라메터 q=(q1, q2, q3, …, qC)를 사용하여 출력을 계산할 수 있다. 위의 표현식에서 T와 C는 각각 LSTM 입력의 Timestep 길이, LSTM의 셀 개수이며 어텐션 레이어의 출력 O는 아래와 같다.

위의 식에서

은 두 벡터간의 dot production연산을 나타내며, *은 스칼라 값과 벡터 간의 곱셈을 나타낸다. 위의 식에서 얻어진 O는 C크기의 벡터이며 출력 레이어의 입력으로 사용될 수 있다.

출력 레이어는 입력된 벡터를 최종적인 확률 값으로 바꾸는 레이어로서, 한 개의 유닛으로 구성되어 있는 fully connected 레이어(FCL)이다. 활성함수로 sigmoid 함수를 사용하여 0~1 사이의 값으로 출력되며, 최종적인 판단에서는 0.5이상의 값일 경우, 입력된 오디오가 녹음된 기계에는 고장이 있다고 판단하며, 0.5 미만의 값일 경우, 입력된 오디오가 녹음된 기계에는 고장이 없다고 판단할 수 있다.

판단부(212)는 딥러닝부(211)로부터 비정상음이 검출되면 기계설비(M)가 비정상 상태임을 판단하고, 외부로 경고 신호를 출력할 수 있다. 예를 들어, 딥러닝부(211)에서 비정삼음이 검출되면 판단부(212)는 문자나 알람 등으로 경고 신호를 출력할 수 있으며, 오퍼레이터가 이러한 경고 신호를 확인하여 기계설비(M)의 구동을 제어하도록 제공할 수 있다.

한편, 기계설비의 이상 감지 시스템(200)은 비정상음을 모니터링하여 그에 따른 제어 신호를 기계설비(M) 측으로 제공하는 제어부(213)를 더 포함할 수 있다.

제어부(213)는 기계설비(M)의 구동을 제어하기 위한 것으로서, 딥러닝부(211)로부터 비정상음이 검출되면 기계설비(M)를 온/오프(on/off)시킬 수 있다. 이와 같이, 제어부(213)를 통해 기계설비(M)에 이상이 발견되었을 때 기계설비(M)의 원격 제어가 가능해짐에 따라, 직접 기계설비(M)가 설치된 곳까지 가지 않아도 되므로 편의성이 향상되는 효과가 있다.

기계설비의 이상 감지 시스템(200)은 기계설비(M)의 유지보수가 수행된 경우 유지보수 이력 정보를 제공하는 유지보수 입력부(214)를 더 포함할 수 있다.

이러한 유지보수 입력부(214)는 기계설비(M)를 관리하는 오퍼레이터가 특징 추출부(21) 또는 딥러닝부(211)와 데이터 통신가능하도록 연결되는 단말기 등을 통해 해당 유지보수 이력 정보를 입력하도록 구성될 수 있다. 이는 딥러닝부(211)가 심층 학습을 수행할 때 유지보수 이력 정보의 전, 후 기계음 특징 데이터를 기초로 심층학습을 수행하는 것이 가장 효율적이기 때문이다.

이에 따라, 기계음 수집부(120)에서 수집한 전체 기계음 데이터를 학습하는 것이 아닌 유지보수 이력 정보를 통해 해당 유지보수의 수행 전과 후의 기계음 데이터를 중심으로 심층 학습이 이루어질 수 있다.

도 9는 도 5에 도시된 딥러닝부가 4-fold cross validation 기법으로 학습과정에서 반복적인 교차 검증을 수행하는 상태를 도시한 도면이다.

도 9를 참조하면, 딥러닝부(211)는 1,000개 이상의 기계음 데이터를 4-fold cross validation 기법으로 학습과정에서 반복적인 교차 검증을 수행할 수 있다. 이러한 반복적인 교차 검증으로 딥러닝 모델 구조와 파라메타는 계속적으로 보완이 이루어져 본 발명에 따른 시스템의 신뢰도는 보다 향상될 수 있다.

전술한 바와 같이, 기계음 녹음장치 및 이를 포함하는 기계설비의 이상 감지 시스템(200)은 기계설비(M)로부터 발생되는 기계음을 실시간으로 집음한 후, 정상 기계음과 비교 및 학습하여 기계설비(M)의 고장을 미리 예측할 수 있다. 이에 따라, 기계설비(M)가 고장나기 전 미리 유지보수를 진행해 줌으로써 기계설비(M)의 구동이 멈추는 것을 미연에 방지할 수 있으며, 시스템의 운영 효율을 향상시킬 수 있다.

또한, 기계설비(M)의 구동 소리만으로 이상 여부를 판단함에 따라, 종래와 같이 개별 진단 알고리즘을 구축하지 않아도 되므로 유지 보수 비용을 절감할 수 있으며, 소리가 발생하는 모든 기계설비(M)에 적용 가능하여 범용성이 향상되는 효과가 있다.

또한, 기계설비(M)에 이상이 발견되었을 때 외부로 경고 신호를 출력하므로, 오퍼레이터는 이러한 경고 신호를 통해 기계설비(M)의 구동을 즉시 제어할 수 있다.

아울러, 기계설비(M)에 이상이 발견되었을 때 기계설비(M)의 원격 제어가 가능해짐에 따라, 오퍼레이터가 직접 기계설비(M)가 설치된 곳까지 가지 않아도 되므로 편의성이 향상되는 효과가 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

100: 기계음 녹음장치
110: 케이스
120: 기계음 수집부
130: 통신부
140: 지향성 마이크
200: 기계설비의 이상 감지 시스템
210: 서버
211: 딥러닝부
212: 판단부
213: 제어부
214: 유지보수 입력부

Claims (10)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 기계음 녹음장치로부터 기계음 데이터를 전송받는 서버를 더 포함하고,
   상기 기계음 녹음장치는,
   내부에 수용 공간이 형성된 케이스;
   상기 케이스의 수용 공간에 배치되며, 적어도 하나의 기계설비로부터 발생하는 기계음을 실시간으로 수신하고, 기설정된 시간단위로 상기 기계음을 기계음 데이터로 저장하는 기계음 수집부; 및
   상기 기계음 데이터를 외부의 기기로 전송하는 통신부;를 포함하며
   상기 서버는,
   상기 기계음 데이터와 기입력된 기계음 데이터를 비교하고, 비교되는 결과를 학습하여 상기 기계설비의 비정상음을 검출하는 딥러닝부; 및
   상기 딥러닝부로부터 비정상음이 검출되면 상기 기계설비가 비정상 상태임을 판단하고, 외부로 경고 신호를 출력하는 판단부;를 포함하고,
   상기 딥러닝부는 상기 기계음 데이터의 특징을 추출하는 특징 추출부를 포함하고, 상기 기계음 데이터의 특징 데이터를 이용하여 CNN(Convolution Neural Network), LSTM(Long Short Term Memory) 및 어텐션 메커니즘(Attention Mechanism)의 조합을 통해 심층학습을 수행하도록 제공되되,
   상기 CNN, LSTM 및 어텐션 메커니즘의 조합인 CLA 모델은 국소적인 특징의 파악에 유리한 상기 CNN, 순차적인 데이터 처리에 유리한 상기 LSTM, 중요한 정보에 집중할 수 있게 하는 상기 어텐션 메커니즘의 장점을 이용하여 학습하며,
   상기 CLA 모델은 기계음의 특징 추출 과정에서 80차원의 Mel-Spectrogram으로 변환하고, 3초 단위의 300 프레임셋이 모델에 입력되되, CNN 레이어로 스펙트럼의 공간적(spatial)인 특성을 추출하고, LSTM 레이어로 시간적(temporal)인 정보를 추출한 후 어텐션 메커니즘 레이어로 지역적인 특성을 집중하여 정보를 수집하며, 출력 레이어에서는 이상유무를 판단하기 위하여 0또는 1로 출력하도록 형성되고,
   상기 CLA 모델은 입력이 들어오면 순서대로 상기 CNN 레이어, 상기 LSTM 레이어 및 어텐션 메커니즘 레이어를 거친 후 최종 출력을 계산하는데, 최종 출력은 기계에 결함이 있는지에 대한 확률 값으로서, 0~1 사이의 값으로 설정되는
   기계설비의 이상 감지 시스템.
   
7. 제6항에 있어서,
   상기 딥러닝부는 상기 비교 결과에 따라 상기 기계음 데이터를 정상 데이터와 비정상 데이터로 분류한 후 메모리에 저장하는 기계설비의 이상 감지 시스템.
   
8. 제6항에 있어서,
   상기 비정상음을 모니터링하여 그에 따른 제어 신호를 상기 기계설비 측으로 제공하는 제어부를 더 포함하는 기계설비의 이상 감지 시스템.
   
9. 삭제
10. 제6항에 있어서,
    상기 특징 추출부는 상기 기계음 데이터를 제공받아 주파수 영역으로 변환하고, 잡음 제거 및 멜 필터 뱅크(Mel Filter Bank)를 통해 특징을 추출하는 기계음 녹음장치 및 이를 포함하는 기계설비의 이상 감지 시스템.

Images