KR20230083570A - Health monitoring method of power driving system using sound signal based on deep learning - Google Patents

Health monitoring method of power driving system using sound signal based on deep learning Download PDF

Info

Publication number
KR20230083570A
KR20230083570A KR1020210171703A KR20210171703A KR20230083570A KR 20230083570 A KR20230083570 A KR 20230083570A KR 1020210171703 A KR1020210171703 A KR 1020210171703A KR 20210171703 A KR20210171703 A KR 20210171703A KR 20230083570 A KR20230083570 A KR 20230083570A
Authority
KR
South Korea
Prior art keywords
defect
power driving
driving system
image
learning model
Prior art date
Application number
KR1020210171703A
Other languages
Korean (ko)
Other versions
KR102596379B1 (en
Inventor
이상권
김선원
백지선
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020210171703A priority Critical patent/KR102596379B1/en
Publication of KR20230083570A publication Critical patent/KR20230083570A/en
Application granted granted Critical
Publication of KR102596379B1 publication Critical patent/KR102596379B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • G01M13/02Gearings; Transmission mechanisms
    • G01M13/028Acoustic or vibration analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H1/00Measuring characteristics of vibrations in solids by using direct conduction to the detector
    • G01H1/003Measuring characteristics of vibrations in solids by using direct conduction to the detector of rotating machines
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H1/00Measuring characteristics of vibrations in solids by using direct conduction to the detector
    • G01H1/12Measuring characteristics of vibrations in solids by using direct conduction to the detector of longitudinal or not specified vibrations
    • G01H1/14Frequency
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • G01M13/02Gearings; Transmission mechanisms
    • G01M13/021Gearings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • G01M13/02Gearings; Transmission mechanisms
    • G01M13/025Test-benches with rotational drive means and loading means; Load or drive simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

딥러닝 기반의 소음 신호를 이용한 파워 드라이빙 시스템의 건전성 감시 방법이 개시된다. 일 실시예에 따른 건전성 감시 시스템에 의해 수행되는 파워 드라이빙 시스템의 건전성 감지 방법은, 파워 드라이빙 시스템에서 측정되는 소음 신호를 이용하여 이미지를 생성하는 단계; 상기 생성된 이미지를 결함 진단을 위한 학습 모델에 입력받는 단계; 및 상기 학습 모델을 이용하여 상기 생성된 이미지로부터 파워 드라이빙 시스템의 결함 패턴을 분류하는 단계를 포함할 수 있다. A soundness monitoring method of a power driving system using a noise signal based on deep learning is disclosed. A soundness detection method of a power driving system performed by a soundness monitoring system according to an embodiment includes generating an image using a noise signal measured in the power driving system; receiving the generated image as an input to a learning model for diagnosing a defect; and classifying a defect pattern of the power driving system from the generated image using the learning model.

Description

딥러닝 기반의 소음 신호를 이용한 파워 드라이빙 시스템의 건전성 감시 방법{HEALTH MONITORING METHOD OF POWER DRIVING SYSTEM USING SOUND SIGNAL BASED ON DEEP LEARNING}Health monitoring method of power driving system using noise signal based on deep learning {HEALTH MONITORING METHOD OF POWER DRIVING SYSTEM USING SOUND SIGNAL BASED ON DEEP LEARNING}

아래의 설명은 파워 드라이빙 시스템의 건전성을 감시하는 기술에 관한 것이다. The description below relates to techniques for monitoring the health of power driving systems.

파워 드라이빙 시스템(Power Driving System; PDS)은 큰 동력을 필요로 하는 공작기계, 자동차 엔진 타이밍 시스템 등 다양한 산업 분야에서 중요한 기계 시스템으로 적용되었다. 파워 드라이빙 시스템에서 발생하는 결함을 조기에 발견하여 경제적 손실과 인명 피해를 미연에 방지하기 위해 여러 기법들이 연구되어오고 있다. The power driving system (PDS) has been applied as an important mechanical system in various industrial fields such as machine tools and automobile engine timing systems that require large amounts of power. Various techniques have been studied to prevent economic loss and human damage by early detection of defects occurring in the power driving system.

파워 드라이빙 시스템의 결함은 동력을 전달하는 샤프트와 기어를 지지하는 베어링의 결함 또는 체인의 파손에 의해 발생한다. 결함을 조기에 발견하기 위해서 일반적으로 음향 진동 신호를 측정하여 측정된 신호부터 결함의 특징을 추출하여 결함의 유무를 판단한다. 측정된 음향 진동 신호로부터 결함 특징을 추출하기 위해서 다양한 방법이 사용되어 왔다. 일례로, 시간 평균법, 켑스트럼 분석, 스도-위그너-빌 분포, 웨이블렛 변환, 고차항 방법, 적응형 선향상법, 경험적 모드 분해, 주기정상적 분석과 같은 특징 추출 방법이 사용되어 왔다. 이러한, 결함의 특징을 활용하여 결함의 종류를 분류하기 위해 최근접 이웃 알고리즘, 베이지안 분류기, 지지 벡터 기계, 그리고 인공신경망 등이 사용되고 있다.Defects in power driving systems are caused by defects in bearings that support shafts and gears that transmit power, or by breakage of chains. In order to detect defects at an early stage, acoustic vibration signals are generally measured, and defect characteristics are extracted from the measured signals to determine the presence or absence of defects. Various methods have been used to extract defect features from measured acoustic vibration signals. For example, feature extraction methods such as time averaging method, cepstrum analysis, pseudo-Wigner-Ville distribution, wavelet transform, higher order method, adaptive linear enhancement method, empirical mode decomposition, and periodic analysis have been used. A nearest neighbor algorithm, a Bayesian classifier, a support vector machine, an artificial neural network, and the like are used to classify the types of defects by utilizing the characteristics of these defects.

보다 정확하게 파워 드라이빙 시스템의 결함 진단 및 패턴 분류하기 위한 기술이 요구된다. A technology for more accurately diagnosing and classifying a defect in a power driving system is required.

연속 웨이블렛 변환(CWT) 및 딥러닝 기술을 이용하여 파워 드라이빙 시스템의 결함 진단 및 패턴 분류 방법 및 시스템을 제공할 수 있다. It is possible to provide a fault diagnosis and pattern classification method and system of a power driving system using continuous wavelet transform (CWT) and deep learning technology.

건전성 감시 시스템에 의해 수행되는 파워 드라이빙 시스템의 건전성 감지 방법은, 파워 드라이빙 시스템에서 측정되는 소음 신호를 이용하여 이미지를 생성하는 단계; 상기 생성된 이미지를 결함 진단을 위한 학습 모델에 입력받는 단계; 및 상기 결함 진단을 위한 학습 모델을 이용하여 상기 생성된 이미지로부터 파워 드라이빙 시스템의 결함 패턴을 분류하는 단계를 포함하고, 상기 결함 진단을 위한 학습 모델은, 이미지로부터 복수 개의 결함 조건 및 정상 조건을 포함하는 결함 패턴이 분류되도록 학습된 것일 수 있다. A soundness detection method of a power driving system performed by a soundness monitoring system includes generating an image using a noise signal measured in the power driving system; receiving the generated image as an input to a learning model for diagnosing a defect; and classifying a defect pattern of the power driving system from the generated image using the learning model for defect diagnosis, wherein the learning model for defect diagnosis includes a plurality of defect conditions and normal conditions from the image. It may have been learned to classify a defect pattern that does.

상기 생성하는 단계는, 상기 측정된 소음 신호에 연속 웨이블렛(CWT)에 적용하여 시간-주파수 영역의 이미지 데이터를 생성하는 단계를 포함할 수 있다.The generating may include generating image data in a time-frequency domain by applying a continuous wavelet (CWT) to the measured noise signal.

상기 학습 모델은, 상기 생성된 이미지가 입력되는 입력층, 필터 크기가 3×3인 16개의 특징 지도가 있는 합성곱 층, 크기가 2×2인 최대 풀링층, 필터 크기가 3×3인 32개의 특징 지도가 있는 합성곱층, 크기가 2×2인 최대 풀링층이 있는 합성곱 층, 소프트맥스 함수가 적용된 최종 합성곱 층으로 구성될 수 있다. The learning model includes an input layer into which the generated image is input, a convolutional layer having 16 feature maps with a filter size of 3 × 3, a maximum pooling layer with a size of 2 × 2, and a filter size of 3 × 3. It can be composed of a convolutional layer with feature maps, a convolutional layer with a maximum pooling layer of size 2×2, and a final convolutional layer to which a softmax function is applied.

상기 학습 모델은, 이미지로부터 결함 정보를 추출하는 단계; 및 상기 추출된 결함 정보를 포함하는 특징 지도를 추출하는 단계를 통해 학습되는 것일 수 있다. The learning model may include extracting defect information from an image; and extracting a feature map including the extracted defect information.

상기 파워 드라이빙 시스템은 모터, 체인, 피니언, 스프라켓, 기어, 베어링 또는 회전축을 포함하는 부품들, 상기 부품들의 결합으로 구성되는 것을 포함하고, 상기 결함 패턴을 분류하는 단계는, 상기 결함 진단을 위한 학습 모델을 이용하여 상기 생성된 이미지로부터 결함 조건과 관련 있는 결함 특징 정보를 추출하고, 상기 추출된 결함 특징 정보에 기초하여 상기 파워 드라이빙 시스템의 결함 패턴을 분류하는 단계를 포함할 수 있다. The power driving system includes parts including a motor, chain, pinion, sprocket, gear, bearing, or rotating shaft, and a combination of the parts, and classifying the defect pattern includes learning for diagnosing the defect. The method may include extracting defect feature information related to a defect condition from the generated image using a model, and classifying a defect pattern of the power driving system based on the extracted defect feature information.

상기 결함 패턴을 분류하는 단계는, 상기 생성된 이미지로부터 상기 파워 드라이빙 시스템의 결함 부품을 진단하고, 상기 진단된 결함 부품에 대한 단일 결함 패턴 또는 다중 결함 패턴을 분류하는 단계를 포함할 수 있다. Classifying the defect pattern may include diagnosing a defective part of the power driving system from the generated image, and classifying a single defect pattern or multiple defect patterns for the diagnosed defective component.

상기 복수 개의 결함 조건 및 정상 조건을 포함하는 결함 패턴은, 구동 기어의 치차 크랙, 구동 기어의 치차 절손, 모터에서 구동축의 편심, 베어링의 구멍으로 인한 외륜 결함, 베어링의 이물질로 인한 내륜 결함, 모터의 구동축 편심 + 구동 기어의 치차 절손, 모터의 구동축 편심 + 구동 기어의 치차절손 + 베어링의 외륜 결함, 모터의 구동축 편심 + 구동 기어의 치차 절손 + 베어링의 내륜 결함 또는 정상 조건 중 어느 하나를 포함할 수 있다. The defect patterns including the plurality of defect conditions and normal conditions include gear cracks in drive gears, gear breakage in drive gears, eccentricity of drive shafts in motors, outer race defects due to holes in bearings, inner race defects due to foreign substances in bearings, and motors. eccentricity of the drive shaft + gear breakage of the drive gear, eccentricity of the drive shaft of the motor + gear breakage of the drive gear + outer ring defect of the bearing, eccentricity of the drive shaft of the motor + gear breakage of the drive gear + inner ring defect of the bearing, or normal condition. can

건전성 감시 시스템은, 파워 드라이빙 시스템에서 측정되는 소음 신호를 이용하여 이미지를 생성하는 이미지 생성부; 상기 생성된 이미지를 결함 진단을 위한 학습 모델에 입력받는 이미지 입력부; 및 상기 결함 진단을 위한 학습 모델을 이용하여 상기 생성된 이미지로부터 파워 드라이빙 시스템의 결함 패턴을 분류하는 결함 패턴 분류부를 포함하고, 상기 결함 진단을 위한 학습 모델은, 이미지로부터 복수 개의 결함 조건 및 정상 조건을 포함하는 결함 패턴이 분류되도록 학습된 것일 수 있다. The soundness monitoring system includes an image generating unit generating an image using a noise signal measured in a power driving system; an image input unit that receives the generated image into a learning model for diagnosing defects; and a defect pattern classification unit classifying a defect pattern of the power driving system from the generated image using the learning model for defect diagnosis, wherein the learning model for defect diagnosis includes a plurality of defect conditions and normal conditions from the image. It may be learned to classify a defect pattern including .

연속 웨이블렛 변환(CWT) 및 딥러닝 기술을 이용하여 파워 드라이빙 시스템의 결함 진단 및 패턴 분류의 정확도를 향상시킬 수 있다. Continuous wavelet transform (CWT) and deep learning techniques can be used to improve the accuracy of fault diagnosis and pattern classification of power driving systems.

부품의 결함으로 파워 드라이빙 시스템에 완전 파손이 발생하는 것을 방지할 수 있다. Complete damage to the power driving system due to defective parts can be prevented.

도 1은 일 실시예에 있어서, 건전성 감시 시스템에서 파워 드라이빙 시스템의 결함 패턴을 분류하는 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 건전성 감시 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 건전성 감시 시스템에서 파워 드라이빙 시스템의 건전성 감시 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 있어서, 파워 드라이빙 시스템의 소음 데이터를 측정하는 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 있어서, 파워 드라이빙 시스템의 구성을 설명하기 위한 도면이다.
도 6은 일 실시예에 있어서, 파워 드라이빙 시스템의 결함 패턴을 설명하기 위한 예이다.
도 7은 일 실시예에 있어서, 시간 영역 소음 데이터를 나타낸 그래프이다.
도 8은 일 실시예에 있어서, 소음의 파워 스펙트럼 밀도를 나타낸 그래프이다.
도 9는 일 실시예에 있어서, 소음 데이터에 대한 연속 웨이블렛 변환 동작을 나타낸 그래프이다.
도 10은 일 실시예에 있어서, 결함 진단을 위한 학습 모델의 구조를 설명하기 위한 예이다.
도 11 및 도 12는 일 실시예에 있어서, 결함 진단을 위한 학습 모델의 정확도를 나타낸 그래프이다.
도 13은 일 실시예에 있어서, 결함 진단을 위한 학습 모델의 특징 지도를 나타낸 예이다.
도 14는 일 실시예에 있어서, 결함 진단을 위한 학습 모델의 t-확률적 임베딩 방법을 이용하여 데이터를 시각화한 것을 나타낸 예이다.
1 is a diagram for explaining an operation of classifying a defect pattern of a power driving system in a health monitoring system according to an embodiment.
2 is a block diagram illustrating a configuration of a health monitoring system according to an exemplary embodiment.
3 is a flowchart illustrating a method for monitoring health of a power driving system in a health monitoring system according to an exemplary embodiment.
4 is a diagram for explaining an operation of measuring noise data of a power driving system according to an exemplary embodiment.
5 is a diagram for explaining the configuration of a power driving system according to one embodiment.
6 is an example for explaining a defect pattern of a power driving system according to one embodiment.
7 is a graph showing time-domain noise data according to an embodiment.
8 is a graph showing the power spectral density of noise according to an embodiment.
9 is a graph illustrating a continuous wavelet transform operation for noise data, according to an exemplary embodiment.
10 is an example for explaining the structure of a learning model for diagnosing a defect according to an embodiment.
11 and 12 are graphs illustrating the accuracy of a learning model for diagnosing defects, according to an embodiment.
13 is an example of a feature map of a learning model for diagnosing a defect according to an embodiment.
14 is an example illustrating data visualization using a t-probabilistic embedding method of a learning model for diagnosing defects, according to an embodiment.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, an embodiment will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 있어서, 건전성 감시 시스템에서 파워 드라이빙 시스템의 결함 패턴을 분류하는 동작을 설명하기 위한 도면이다. 1 is a diagram for explaining an operation of classifying a defect pattern of a power driving system in a health monitoring system according to an embodiment.

건전성 감시 시스템(100)은 파워 드라이빙 시스템의 부품 결함으로 완전파손이 발생하는 것을 방지하기 위하여 결함 진단을 위한 학습 모델(101)을 활용하여 부품의 결함을 조기에 진단할 수 있다. 이때, 예를 들면, 파워 드라이빙 시스템은 체인, 스프라켓, 기어, 베어링, 회전축 등의 부품들 또는/및 부품들의 결합으로 구성될 수 있다. The soundness monitoring system 100 may diagnose a component defect early by using the learning model 101 for defect diagnosis in order to prevent complete damage due to a component defect of the power driving system. At this time, for example, the power driving system may be composed of parts such as chains, sprockets, gears, bearings, rotating shafts, and/or combinations of parts.

일례로, 결함 진단을 위한 학습 모델(101)은 파워 드라이빙 시스템의 결함 진단을 위하여 합성곱 신경망(CNN) 기반으로 구성될 수 있으며, 결함 진단을 위한 데이터 셋을 이용하여 결함 진단 및 결함 패턴이 학습되도록 구축된 것일 수 있다.As an example, the learning model 101 for fault diagnosis may be configured based on a convolutional neural network (CNN) for fault diagnosis of a power driving system, and fault diagnosis and fault patterns are learned using a data set for fault diagnosis. It may have been built to be.

이러한, 결함 진단을 위한 학습 모델(101)에 파워 드라이빙 시스템에서 측정되는 신호를 이용하여 생성된 이미지가 입력 데이터(110)로 입력될 수 있다. 실시예에서는 시간-주파수 영역의 이미지 데이터가 결함 진단을 위한 학습 모델(101)에 입력 데이터(110)로 입력될 수 있다. An image generated by using a signal measured in a power driving system may be input to the learning model 101 for fault diagnosis as input data 110 . In the embodiment, image data in the time-frequency domain may be input as input data 110 to the learning model 101 for diagnosing defects.

입력 데이터(110)에 입력된 결함 진단을 위한 학습 모델(101)을 통해 출력 데이터(120)가 출력될 수 있다. 결함 진단을 위한 학습 모델(101)을 이용하여 생성된 이미지로부터 파워 드라이빙 시스템의 결함 패턴이 분류될 수 있다. 다시 말해서, 출력 데이터(120)로서 결함 패턴이 분류될 수 있다. Output data 120 may be output through the learning model 101 for diagnosing a defect input to the input data 110 . A defect pattern of the power driving system may be classified from an image generated using the learning model 101 for defect diagnosis. In other words, defect patterns can be classified as output data 120 .

상세하게는, 파워 드라이빙 시스템에서 측정되는 소음 신호를 이용하여 이미지가 생성될 수 있다. 측정된 소음 신호에 연속 웨이블렛 변환(CWT)을 적용하여 시간-주파수 영역의 이미지 데이터가 생성될 수 있다. 연속 웨이블렛 변환 분석 방법은 다음과 같이 정의될 수 있다.In detail, an image may be generated using a noise signal measured in a power driving system. Image data in the time-frequency domain may be generated by applying continuous wavelet transform (CWT) to the measured noise signal. The continuous wavelet transform analysis method can be defined as follows.

수학식 1: Equation 1:

Figure pat00001
Figure pat00001

여기서,

Figure pat00002
는 모 웨이블렛으로 시간과 주파수 영역에서 국부화된 고정함수이다. 함수
Figure pat00003
는 시간 도메인에서 이동(b-tanslation)과 주파수 도메인에서 모웨이블렛으로 스케일링(a-dilation)을 적용한다. 실시예에서 사용된 모 웨이블렛은 모아렛(Morlet) 웨이블렛이며 다음과 같이 정의될 수 있다. here,
Figure pat00002
is a parent wavelet, which is a localized fixed function in the time and frequency domains. function
Figure pat00003
applies translation (b-translation) in the time domain and scaling (a-dilation) to the mo wavelet in the frequency domain. The parent wavelet used in the embodiment is a Morlet wavelet and can be defined as follows.

수학식 2: Equation 2:

Figure pat00004
Figure pat00004

Figure pat00005
는 모 웨이블렛이 주파수 도메인으로 변환될 때 모 웨이블렛의 중심 주파수이다. 실시예에서는 측정된 소음 신호에 연속 웨이블렛 변환을 적용하여 시간-주파수 영역의 이미지 데이터가 생성되고, 상기 생성된 시간-주파수 영역의 이미지 데이터가 결함 진단을 위한 학습 모델(101)의 입력 데이터로 사용될 수 있다.
Figure pat00005
is the center frequency of the parent wavelet when the parent wavelet is transformed into the frequency domain. In the embodiment, continuous wavelet transform is applied to the measured noise signal to generate time-frequency domain image data, and the generated time-frequency domain image data is used as input data of the learning model 101 for defect diagnosis. can

이러한 결함 진단을 위한 학습 모델(101)은 합성곱 신경망(CNN) 기반으로 구성될 수 있다. 합성곱 신경망은 측정된 소음 신호에 연속 웨이블렛 변환을 통하여 생성된 이미지가 복수 개의 합성곱층(layer) 및 풀링층(pooling layer)을 통해 상기 생성된 이미지에 대한 결함 정보가 추출될 수 있다. 합성곱 신경망에서 신경망은 복수 개의 합성곱층 및 풀링층의 단계로 이루어져 있으며, 각 합성곱층에서 결함 정보를 가진 특징 지도(feature map)를 추출할 수 있다. 제1 번째 합성곱 층에서 특징 지도

Figure pat00006
은 다음과 같이 수학식3을 통하여 획득할 수 있다.The learning model 101 for diagnosing such a defect may be configured based on a convolutional neural network (CNN). In the convolutional neural network, defect information about the generated image may be extracted through a plurality of convolutional layers and a pooling layer of an image generated through continuous wavelet transform on a measured noise signal. In the convolutional neural network, the neural network is composed of a plurality of convolutional layers and pooling layers, and a feature map having defect information can be extracted from each convolutional layer. Feature maps in the first convolutional layer
Figure pat00006
can be obtained through Equation 3 as follows.

수학식 3:Equation 3:

Figure pat00007
Figure pat00007

여기서,

Figure pat00008
는 비선형 활성화 함수이고
Figure pat00009
l번째 층의 스칼라(scalar) 바이어스(bias) 이다.
Figure pat00010
는 (l-1)번째 층에서 선택된 특징 지도이다.
Figure pat00011
는 이전 층의
Figure pat00012
활성화 함수를 합성곱하는 합성곱 연산자를 나타낸다.
Figure pat00013
는 2차원 필터 (filter)이며 필터의 가중치는 특정한 특징을 감지하도록 학습될 수 있다. 따라서 새로운 입력 이미지의 정확한 분류를 위해 서로 다른 카테고리를 구별할 수 있는 연속적인 단계에서 효과적인 특징 선택이 필요하다. 이러한 이유로 풀링층이 사용되며 l번째 풀링층
Figure pat00014
은 다음과 같이 나타낼 수 있다.here,
Figure pat00008
is a nonlinear activation function and
Figure pat00009
is the scalar bias of the lth layer.
Figure pat00010
is a feature map selected in the ( l -1)th layer.
Figure pat00011
of the previous layer
Figure pat00012
Represents a convolution operator that convolutions an activation function.
Figure pat00013
is a two-dimensional filter, and the weights of the filter can be learned to detect specific features. Therefore, for accurate classification of new input images, effective feature selection is required in successive steps capable of distinguishing different categories. For this reason, a pooling layer is used and the l- th pooling layer is used.
Figure pat00014
can be expressed as:

수학식 4:Equation 4:

Figure pat00015
Figure pat00015

Figure pat00016
Figure pat00017
에 의해 축소된 평균 또는 최대값 함수와 같은 축소 함수이다. 그리고
Figure pat00018
는 축소되기 위한 합성곱된 특징 지도이다. 합성곱 신경망의 입력값이 연속적으로 합성곱 및 풀링 과정을 지나면서 네트워크는 모든 이미지를 효율적으로 특징을 추출하는 학습을 진행할 수 있다. 마지막 신경망 층의 출력값
Figure pat00019
는 수학식5 와 같이 주어진다.
Figure pat00016
Is
Figure pat00017
A reduction function, such as a mean or maximum function reduced by and
Figure pat00018
is the convolutional feature map to be reduced. As the input values of the convolutional neural network continuously pass through convolution and pooling processes, the network can proceed with learning to efficiently extract features from all images. Output of the last neural network layer
Figure pat00019
is given as in Equation 5.

수학식 5:Equation 5:

Figure pat00020
Figure pat00020

Figure pat00021
는 출력 층의 바이어스이고, W는 완전히 연결된 층의 입력층과 출력층 사이의 가중치 행렬이며,
Figure pat00022
는 완전히 연결된 층의 특징을 나타내는 특징 벡터 (feature vector)를 나타내고,
Figure pat00023
는 결함을 분류하는 소프트맥스(softmax) 함수이다. 학습 매개변수,
Figure pat00024
,
Figure pat00025
,
Figure pat00026
Figure pat00027
는 학습 과정에서 최적화된 값이 결정될 수 있다. 실제 출력값과 원하는 목표값 간의 오차를 최소화하기 위해 확률적 경사하강법(SGD; stochastic gradient descent)을 통해 학습 매개변수의 최적화가 이루어질 수 있다. 여기서 경사값은 역전파(back propagation) 방법을 통하여 계산될 수 있다.
Figure pat00021
is the bias of the output layer, W is the weight matrix between the input and output layers of the fully connected layer,
Figure pat00022
Represents a feature vector representing the features of a fully connected layer,
Figure pat00023
is the softmax function for classifying defects. learning parameters,
Figure pat00024
,
Figure pat00025
,
Figure pat00026
and
Figure pat00027
An optimized value may be determined in the learning process. Optimization of learning parameters may be performed through stochastic gradient descent (SGD) in order to minimize an error between an actual output value and a desired target value. Here, the gradient value may be calculated through a back propagation method.

도 2는 일 실시예에 따른 건전성 감시 시스템의 구성을 설명하기 위한 블록도이고, 도 3은 일 실시예에 따른 건전성 감시 시스템에서 파워 드라이빙 시스템의 건전성 감시 방법을 설명하기 위한 흐름도이다.2 is a block diagram illustrating a configuration of a health monitoring system according to an exemplary embodiment, and FIG. 3 is a flowchart illustrating a method for monitoring health of a power driving system in the health monitoring system according to an exemplary embodiment.

건전성 감시 시스템(100)의 프로세서는 이미지 생성부(210), 이미지 입력부(220) 및 결함 패턴 분류부(230)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 건전성 감시 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 3의 건전성 감시 방법이 포함하는 단계들(310 내지 330)을 수행하도록 건전성 감시 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. The processor of the soundness monitoring system 100 may include an image generator 210 , an image input unit 220 and a defect pattern classification unit 230 . These components of the processor may represent different functions performed by the processor according to control instructions provided by program code stored in the health monitoring system. The processor and components of the processor may control the health monitoring system to perform steps 310 to 330 included in the health monitoring method of FIG. 3 . In this case, the processor and components of the processor may be implemented to execute instructions according to the code of an operating system included in the memory and the code of at least one program.

프로세서는 건전성 감시 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 건전성 감시 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 건전성 감시 시스템을 제어할 수 있다. 이때, 이미지 생성부(210), 이미지 입력부(220) 및 결함 패턴 분류부(230) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(310 내지 330)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.The processor may load the program code stored in the file of the program for the health monitoring method into the memory. For example, when a program is executed in the health monitoring system, the processor may control the health monitoring system to load a program code from a file of the program into a memory under the control of an operating system. At this time, each of the image generator 210, image input unit 220, and defect pattern classification unit 230 executes a command of a corresponding part of the program code loaded into the memory to execute subsequent steps 310 to 330. There may be different functional representations of the processor for

단계(310)에서 이미지 생성부(210)는 파워 드라이빙 시스템에서 측정되는 소음 신호를 이용하여 이미지를 생성할 수 있다. 이미지 생성부(210)는 측정된 소음 신호에 연속 웨이블렛(CWT)에 적용하여 시간-주파수 영역의 이미지 데이터를 생성할 수 있다. In step 310, the image generator 210 may generate an image using the noise signal measured in the power driving system. The image generator 210 may generate image data in the time-frequency domain by applying a continuous wavelet (CWT) to the measured noise signal.

단계(320)에서 이미지 입력부(220)는 생성된 이미지를 결함 진단을 위한 학습 모델에 입력받을 수 있다. 이때, 학습 모델은, 이미지로부터 복수 개의 결함 조건 및 정상 조건을 포함하는 결함 패턴이 분류되도록 학습된 것일 수 있다. 상세하게는, 학습 모델은 생성된 이미지가 입력되는 입력층, 필터 크기가 3×3인 16개의 특징 지도가 있는 합성곱 층, 크기가 2×2인 최대 풀링층, 필터 크기가 3×3인 32개의 특징 지도가 있는 합성곱층, 크기가 2×2인 최대 풀링층이 있는 합성곱 층, 소프트맥스 함수가 적용된 최종 합성곱 층으로 구성될 수 있다. 이와 같이 구성된 학습 모델은 이미지 데이터로부터 결함 정보를 추출하고, 추출된 결함 정보를 포함하는 특징 지도를 추출하는 과정을 통해 학습될 수 있다. In step 320, the image input unit 220 may receive the generated image as an input to a learning model for diagnosing defects. In this case, the learning model may be one learned to classify a defect pattern including a plurality of defect conditions and a normal condition from the image. In detail, the learning model consists of an input layer with generated images, a convolutional layer with 16 feature maps with a filter size of 3 × 3, a maximum pooling layer with a size of 2 × 2, and a filter size of 3 × 3. It can be composed of a convolution layer with 32 feature maps, a convolution layer with a maximum pooling layer of size 2 × 2, and a final convolution layer with a softmax function applied. The learning model configured as described above may be learned through a process of extracting defect information from image data and extracting a feature map including the extracted defect information.

단계(330)에서 결함 패턴 분류부(230)는 결함 진단을 위한 학습 모델을 이용하여 생성된 이미지로부터 파워 드라이빙 시스템의 결함 패턴을 분류할 수 있다. 결함 패턴 분류부(230)는 결함 진단을 위한 학습 모델을 이용하여 생성된 이미지로부터 결함 조건과 관련 있는 결함 특징 정보를 추출하고, 추출된 결함 특징 정보에 기초하여 파워 드라이빙 시스템의 결함 패턴을 분류할 수 있다. 결함 패턴 분류부(230)는 생성된 이미지로부터 파워 드라이빙 시스템의 결함 부품을 진단하고, 진단된 결함 부품에 대한 단일 결함 패턴 또는 다중 결함 패턴을 분류할 수 있다. 예를 들면, 결함 패턴 분류부(230)는 파워 드라이빙 시스템에 한 가지의 결함만 탐지될 경우, 단일 결함으로 진단하고, 파워 드라이빙 시스템에 여러 가지의 결함이 탐지될 경우, 다중 결함으로 진단할 수 있다. In step 330, the defect pattern classification unit 230 may classify the defect pattern of the power driving system from the generated image using the learning model for defect diagnosis. The defect pattern classification unit 230 extracts defect feature information related to the defect condition from the generated image using the learning model for defect diagnosis, and classifies the defect pattern of the power driving system based on the extracted defect feature information. can The defect pattern classification unit 230 may diagnose defective parts of the power driving system from the generated image and classify a single defect pattern or multiple defect patterns for the diagnosed defective parts. For example, the defect pattern classification unit 230 may diagnose a single defect when only one defect is detected in the power driving system, and diagnose multiple defects when several defects are detected in the power driving system. there is.

도 4는 일 실시예에 있어서, 파워 드라이빙 시스템의 소음 데이터를 측정하는 동작을 설명하기 위한 도면이다. 4 is a diagram for explaining an operation of measuring noise data of a power driving system according to an exemplary embodiment.

도 4는 실험에 사용된 파워 드라이빙 시스템 실험장치의 구성도 및 제어장치를 나타낸 예이다. 파워 드라이빙 시스템은 동력전달의 구동을 위해서, 모터, 기어박스, 베어링, 체인시스템, 회전축, 스프라켓, 피니언 등의 기계 부품 또는/및 기계 부품들의 결합으로 구성될 수 있다. 실시예에서는 인위적으로 기계 부품들에 결함을 만들어 제작 결합한 것을 예를 들어 설명하기로 한다. 파워 드라이빙 시스템의 구동 중 기계 부품들의 결함으로부터 발생되는 이상 소음을 측정하고, 결함의 패턴을 분류하기 위해서, 소음 측정용 마이크로폰이 설치될 수 있다. 예를 들면, 파워 드라이빙 시스템에서 1M 떨어진 위치에 마이크로폰이 배치되어 소음 데이터가 측정될 수 있다. 1/2인치 free-field microphone (B & K 4192, 덴마크)를 사용하여 소음 데이터가 측정될 수 있고, Data Acquisition System(NI 9233, USA)을 통해 건전성 감시 시스템으로 전송될 수 있다. 이때, 건전성 감시 시스템은 컴퓨터로 구현되어 신호분석이 가능한 것일 수 있다. 측정된 소음 데이터는 계측 장비를 통하여 디지털 데이터로 변환되어 건전성 감시 시스템으로 전송될 수 있다. 건전성 감시 시스템에서는 결함 부품을 진단하고 결함의 패턴을 분류하는 작업을 시행한다. 4 is an example of a configuration diagram and a control device of a power driving system test apparatus used in an experiment. The power driving system may be composed of mechanical parts such as motors, gearboxes, bearings, chain systems, rotating shafts, sprockets, and pinions, or/and a combination of mechanical parts, in order to drive power transmission. In the embodiment, artificially manufacturing and combining mechanical parts by making defects will be described as an example. A microphone for measuring noise may be installed in order to measure abnormal noise generated from defects in mechanical parts during operation of the power driving system and to classify patterns of the defects. For example, noise data may be measured by placing a microphone at a distance of 1M from the power driving system. Noise data can be measured using a 1/2-inch free-field microphone (B & K 4192, Denmark) and transmitted to the health monitoring system via the Data Acquisition System (NI 9233, USA). At this time, the soundness monitoring system may be implemented as a computer and capable of signal analysis. The measured noise data may be converted into digital data through measurement equipment and transmitted to the health monitoring system. The health monitoring system diagnoses defective parts and classifies patterns of defects.

도 5는 일 실시예에 있어서, 파워 드라이빙 시스템의 구성을 설명하기 위한 도면이다. 5 is a diagram for explaining the configuration of a power driving system according to one embodiment.

도 5는 파워 드라이빙 시스템의 구동 시스템을 위한 주요 부품을 나타낸 것으로, 파워 드라이빙 시스템에 적용된 베어링 및 기어 등에 대한 상세 위치를 나타낸 것이다. 예를 들면, 실험용 파워 드라이빙 시스템은 4개의 베어링, 4개의 기어, 1개의 체인, 2개의 스프라켓 및 1개의 모터로 구성될 수 있다. 입력용 구동축의 회전 속도는 1800rpm(30Hz)이고 출력용 구동축의 회전 속도는 59.4rpm(0.99Hz)이고, 감속비는 30이다. 실시예에서는 모터 샤프트, 베어링, 기어에 인위적 결함을 적용하고, 스프라켓 및 체인에는 결함이 발생하면 완전 파손이 발생할 수 있음으로 인위적 결함을 적용하지 않은 것을 예를 들어 설명하기로 한다. 5 shows the main components for the drive system of the power driving system, and shows the detailed positions of bearings and gears applied to the power driving system. For example, an experimental power driving system may consist of 4 bearings, 4 gears, 1 chain, 2 sprockets and 1 motor. The rotation speed of the driving shaft for input is 1800 rpm (30 Hz), the rotation speed of the drive shaft for output is 59.4 rpm (0.99 Hz), and the reduction ratio is 30. In the embodiment, artificial defects are applied to motor shafts, bearings, and gears, and complete damage may occur when defects occur in sprockets and chains, so that artificial defects are not applied will be described as an example.

도 6은 일 실시예에 있어서, 파워 드라이빙 시스템의 결함 패턴을 설명하기 위한 예이다. 6 is an example for explaining a defect pattern of a power driving system according to one embodiment.

도 6은 파워 드라이빙 시스템에 구동 기어 2에 3개의 치차 크랙, 구동 기어 2에 치차 절손, 베어링 1의 구멍으로 인한 외륜 결함을 나타낸 예이다.6 is an example showing three gear cracks in drive gear 2, gear breakage in drive gear 2, and outer ring defects due to a hole in bearing 1 in the power driving system.

결함 조건(종류)은 구동 기어 2의 치차 크랙(결함 1), 구동 기어 2의 치차 절손(결함 2), 모터에서 구동축의 편심(결함 3), 베어링 ①의 구멍으로 인한 외륜 결함(결함 4), 베어링 ①의 이물질로 인한 내륜 결함(결함 5), 모터의 구동축 편심 + 구동 기어 2의 치차 절손(결함 6), 모터의 구동축 편심 + 구동 기어 2의 치차절손 + 베어링 ①의 외륜 결함(결함 7), 모터의 구동축 편심 + 구동 기어 2의 치차 절손 + 베어링 ①의 내륜 결함(결함 8), 정상 상태 (정상)를 포함하는 결함 패턴으로 분류될 수 있다. The defect conditions (types) are: gear crack of drive gear 2 (fault 1), gear breakage of drive gear 2 (fault 2), eccentricity of drive shaft in motor (fault 3), outer ring defect due to hole in bearing ① (fault 4) , inner ring defect due to foreign matter in bearing ① (fault 5), motor drive shaft eccentricity + gear breakage of drive gear 2 (fault 6), motor drive shaft eccentricity + gear breakage of drive gear 2 + outer ring defect of bearing ① (defect 7) ), the eccentricity of the driving shaft of the motor + the gear breakage of the driving gear 2 + the defect of the inner ring of the bearing ① (defect 8), and the normal state (normal).

다시 말해서, 결함 패턴은 다음과 같이 표로 정리될 수 있다.In other words, the defect patterns can be tabulated as follows.

표 1: Table 1:

Figure pat00028
Figure pat00028

파워 드라이빙 시스템의 소음 데이터를 측정하기 위해 파워 드라이빙 시스템에서 특정 거리만큼 떨어진 위치에서 마이크로폰이 배치될 수 있다. 배치된 마이크로폰을 통해 파워 드라이빙 시스템의 소음 데이터가 측정될 수 있고, 측정된 소음 데이터에 기초하여 정상 및 결함 상태의 데이터가 획득될 수 있다. 각각의 결함 조건에 대해 실험이 수행될 수 있다. 예를 들면, 총 700번의 실험이 수행될 수 있으며, 각각의 테스트 구동 시간은 5분이며, 마이크로폰을 사용하여 획득된 마지막 30초의 소음 데이터가 결함 진단에 사용될 수 있다. A microphone may be disposed at a location separated by a specific distance from the power driving system in order to measure noise data of the power driving system. Noise data of the power driving system may be measured through the disposed microphone, and normal and defective data may be obtained based on the measured noise data. Experiments can be performed for each fault condition. For example, a total of 700 experiments can be performed, each test run time is 5 minutes, and noise data of the last 30 seconds obtained using a microphone can be used for fault diagnosis.

도 7은 일 실시예에 있어서, 시간 영역 소음 데이터를 나타낸 그래프이고, 도 8은 일 실시예에 있어서, 소음의 파워 스펙트럼 밀도를 나타낸 그래프이다. 7 is a graph showing time-domain noise data according to an embodiment, and FIG. 8 is a graph showing power spectral density of noise according to an embodiment.

시간 영역에서 측정된 소음 데이터는 MATLAB (MathWorks, USA) 신호 처리 툴박스를 사용하여 주파수 및 연속 웨이블렛 변환 분석이 시행될 수 있다. 도 7은 마이크로폰으로 측정한 8 개의 결함 및 1 개의 정상 신호의 시간 영역 데이터를 나타낸다. Noise data measured in the time domain can be subjected to frequency and continuous wavelet transform analysis using MATLAB (MathWorks, USA) signal processing toolbox. 7 shows time domain data of 8 defective and 1 normal signals measured with a microphone.

도 8은 정상 소음 신호와 8 개의 고장 소음 신호의 파워 스펙트럼을 각각 비교한 것을 나타낸 것이다. 각각의 결함에 따라 시간 영역 소음 데이터와 스펙트럼의 형태가 차이가 발생하게 된다. 스펙트럼에서 파란색 곡선은 결함 상태를 나타내고, 주황색 곡선은 정상 상태를 나타낸다. 8 shows a comparison of power spectra of a normal noise signal and eight malfunction noise signals. Depending on each defect, a difference occurs in the form of time domain noise data and spectrum. In the spectrum, the blue curve represents the faulty state and the orange curve represents the steady state.

상세하게는, 8 개의 고장 신호의 파워 스펙트럼은 정상 신호의 파워 스펙트럼의 형태와 차이가 난다. 회전 기계의 진동이론에 따르면, 파워 드라이빙 시스템과 같은 회전기계의 경우, 기계의 진동 소음을 유발하는 여러 가진력이 존재하는데, 기어 맞물림으로 인한 가진력, 베어링의 구름 접촉으로 인한 접촉가진력, 그리고 모터의 샤프트의 가진력 및 스프라켓과 체인의 충격으로 인한 충격 가진력 등이 있다. 상기 가진력은 파워 드라이빙 시스템의 정상적인 조건에서도 존재함으로 기본적으로 존재하는 소음 진동이다. 파워 드라이빙 시스템의 8개 결함으로 가진력은 변화될 수 있으며, 변화된 가진력은 소음신호에 주파수 스펙트럼의 변화를 일으킨다. 이에, 8 개 고장 신호의 파워 스펙트럼은 정상 신호의 파워 스펙트럼의 형태와 차이가 나타난다.Specifically, the power spectra of the 8 faulty signals are different from those of the normal signals. According to the vibration theory of rotating machinery, in the case of a rotating machine such as a power driving system, there are several excitation forces that cause vibration and noise of the machine. and impact excitation force due to the impact of the sprocket and chain. The excitation force is noise vibration that is basically present because it exists even under normal conditions of the power driving system. Eight defects of the power driving system can change the excitation force, and the changed excitation force causes a change in the frequency spectrum of the noise signal. Accordingly, the power spectrum of the 8 faulty signals differs from that of the normal signal.

도 9는 일 실시예에 있어서, 소음 데이터에 대한 연속 웨이블렛 변환 동작을 나타낸 그래프이다.9 is a graph illustrating a continuous wavelet transform operation for noise data according to an exemplary embodiment.

실시예에서는 마이크로폰으로 측정된 소음 신호에 연속 웨이블렛 변환을 적용하여 이미지가 생성될 수 있다. 연속 웨이블렛 변환을 통하여 분석된 이미지는 도 9에 도시된 바와 같이, 파워 드라이빙 시스템의 운전 상태에 대한 정보를 제공한다. 도 9는 파워 드라이빙 시스템의 정상 운전 조건에서 측정된 소음 신호에 대한 연속 웨이블렛 변환 결과를 나타낸 것이다. 이 결과에 따르면 정상 조건에서 각종 부품의 가진력과 관련된 소음 신호가 발생됨을 알 수 있다. 결함이 발생하는 경우 소음 신호의 연속 웨이블렛 변환은 변화하게 된다. 이와 같이, 연속 웨이블렛 변환 결과, 스프라켓의 주파수, 기어 2의 맞물림 주파수, 베어링 1의 결함 주파수 등이 나타남을 확인할 수 있다. In an embodiment, an image may be generated by applying continuous wavelet transform to a noise signal measured by a microphone. As shown in FIG. 9 , the image analyzed through continuous wavelet transform provides information on the driving state of the power driving system. 9 shows continuous wavelet transform results for noise signals measured under normal operating conditions of a power driving system. According to this result, it can be seen that noise signals related to excitation forces of various parts are generated under normal conditions. When a defect occurs, the continuous wavelet transform of the noise signal changes. As such, as a result of the continuous wavelet transformation, it can be confirmed that the frequency of the sprocket, the meshing frequency of gear 2, and the defect frequency of bearing 1 appear.

실시예에서는 8개의 결함 조건에서 30초마다 측정된 소음 데이터에 대해서 연속 웨이블렛 변환을 적용하여 이미지를 획득한 후, CNN 기반의 학습 모델의 입력 데이터로 사용할 수 있다. 예를 들면, 각 결함 당 100개의 연속 웨이블렛 변환 이미지를 구하고, 정상 조건을 포함하여 총 900개의 이미지 데이터를 CNN 기반의 학습 모델의 입력 이미지 데이터로 사용할 수 있다. 이때, 각 이미지의 데이터 크기는 244 Х 244 Х 3일 수 있다. In the embodiment, continuous wavelet transform is applied to noise data measured every 30 seconds in 8 defect conditions to obtain an image, and then it can be used as input data for a CNN-based learning model. For example, 100 consecutive wavelet transform images for each defect may be obtained, and a total of 900 image data including normal conditions may be used as input image data for a CNN-based learning model. In this case, the data size of each image may be 244 Х 244 Х 3.

도 10은 일 실시예에 있어서, 결함 진단을 위한 학습 모델의 구조를 설명하기 위한 예이다. 10 is an example for explaining the structure of a learning model for diagnosing a defect according to an embodiment.

연속 웨이블렛 변환 알고리즘은 MATLAB에서 제공한 CNN 툴박스가 사용될 수 있다. 결함 진단을 위한 학습 모델을 결함 패턴 분류 및 결함 특징 추출에 성공적으로 적용하기 위해서는 네트워크의 아키텍처 구성이 중요하다. 네트워크의 아키텍처 구성에 필요한 특별한 기술은 없으며 다양한 구성을 통하여 최적의 아키텍처 구성 찾는 것이다. For the continuous wavelet transform algorithm, CNN toolbox provided by MATLAB can be used. In order to successfully apply the learning model for fault diagnosis to fault pattern classification and fault feature extraction, the architecture of the network is important. There is no special skill required to configure the architecture of the network, and it is to find the optimal architecture configuration through various configurations.

도 10을 참고하면, 연속 웨이블렛 변환이 수행된 이미지가 입력되는 입력층과, 입력층 다음에 위치하는 첫 번째층은 필터 크기가 3Х3인 16개의 특징 지도가 있는 합성곱 층이다. 그 다음은 크기가 2Х2인 평균 풀링 층이 있다. 그 다음 층은 필터 크기가 3Х3의 32개의 특징 지도와 2Х2 평균 풀링층이 있는 합성곱 층이다. 출력층은 8 개의 결함과 1 개의 정상 조건에 대응하는 9 개의 뉴런이 있다. 마지막의 최종 합성곱층(fully connected layer)에는 분류 함수로 소프트맥스(softmax) 함수가 적용될 수 있다. 경사하강법 학습 방법으로 최적화하고, 학습과정의 학습율은 0.001의 초기 학습 속도로 네트워크를 학습시키는 데 사용될 수 있다. 배치(Batch) 크기는 128로 취하고, 학습은 1300 회를 반복(30 epoch)하여 수행될 수 있다. 학습이 진행되는 동안 정확도의 변화는 도 11에 나타나 있다.Referring to FIG. 10 , an input layer into which an image subjected to continuous wavelet transform is input, and a first layer located after the input layer is a convolutional layer having 16 feature maps with a filter size of 3Х3. Then there is an average pooling layer of size 2Х2. The next layer is a convolution layer with 32 feature maps with a filter size of 3Х3 and an average pooling layer of 2Х2. The output layer has 9 neurons corresponding to 8 defects and 1 normal condition. A softmax function may be applied as a classification function to the last fully connected layer. Optimized by the gradient descent learning method, the learning rate of the learning process can be used to train the network with an initial learning rate of 0.001. The batch size is taken as 128, and learning can be performed by repeating 1300 times (30 epochs). The change in accuracy during learning is shown in FIG. 11 .

도 11 및 도 12는 일 실시예에 있어서, 결함 진단을 위한 학습 모델의 정확도를 나타낸 그래프이다.11 and 12 are graphs showing the accuracy of a learning model for diagnosing defects, according to an embodiment.

예를 들면, 최적의 가중치 값은 최소의 오차로 400 회를 학습 후 획득될 수 있다. 학습을 위해 900 개의 데이터 중 700 개의 샘플이 학습에 사용되고, 100 개의 샘플이 검증에 사용되었으며 100 개의 샘플이 테스트에 사용될 수 있다. For example, an optimal weight value may be obtained after learning 400 times with a minimum error. For training, 700 samples out of 900 data are used for training, 100 samples are used for verification, and 100 samples can be used for testing.

결함 분류의 정확도는 총 테스트 샘플 수에서 정확하게 분류된 테스트 샘플 수의 비율이며 수학식 6과 같다.The accuracy of defect classification is the ratio of the number of correctly classified test samples to the total number of test samples and is expressed in Equation 6.

수학식 6:Equation 6:

Figure pat00029
Figure pat00029

실험을 통해 100개의 테스트 샘플 중 90개의 샘플이 도 12와 같이 높은 정확도로 분류되었음을 확인할 수 있다. Through experiments, it can be confirmed that 90 samples out of 100 test samples were classified with high accuracy as shown in FIG. 12 .

도 13은 일 실시예에 있어서, 결함 진단을 위한 학습 모델의 특징 지도를 나타낸 예이다. 결함 진단을 위한 학습 모델의 학습 결과, 8 개의 결함 및 1 개의 정상 상태의 특징 지도가 최종 합성곱 층에서 추출될 수 있다. 이러한 결과에 의하면, 각 결함에 대하여 서로 다른 이미지를 나타냄을 확인할 수 있다.13 is an example of a feature map of a learning model for diagnosing a defect according to an embodiment. As a learning result of the learning model for fault diagnosis, feature maps of 8 faults and 1 steady state can be extracted from the final convolutional layer. According to these results, it can be confirmed that different images are displayed for each defect.

도 14는 일 실시예에 있어서, 결함 진단을 위한 학습 모델의 t-확률적 임베딩 방법을 이용하여 데이터를 시각화한 것을 나타낸 예이다. 14 is an example illustrating data visualization using a t-probabilistic embedding method of a learning model for diagnosing defects, according to an embodiment.

특징 지도를 t- 확률적 임베딩(t-SNE; t-stochastic neighbor embedding) 방법을 이용하여 고차원 데이터를 저차원 데이터로 변환하여 도 14와 같이 시각화 할 수 있다. "고차원"은 특징의 개수가 많다는 것을 의미하고, "2차원"은 특징의 개수가 2개라는 의미를 나타낸다. 도 14(a)는 학습 모델에 의해 100개의 입력 이미지의 차원이 감소된 2차원 특징을 나타낸다. 도 14(b)는 학습 모델에 의해 학습된 10개의 서로 다른 최종 네트워크 합성곱 층에서 추출된 특징 지도에 대한 차원이 축소된 2차원의 특징을 보여준다. 원본 이미지의 특징은 무작위로 흩어지기 때문에 결함과 정상 상태의 분류를 어렵게 만든다. 그러나, 학습된 네트워크에 의해 획득된 특징은 결함 또는 정상 상태에 따라 그룹화될 수 있다. 따라서 결함 상태와 정상 상태를 분류할 수 있다.The feature map can be visualized as shown in FIG. 14 by converting high-dimensional data into low-dimensional data using a t-stochastic neighbor embedding (t-SNE) method. “High-dimensional” means that the number of features is large, and “two-dimensional” means that the number of features is two. 14(a) shows 2D features of 100 input images whose dimensions have been reduced by the learning model. 14(b) shows the 2-dimensional features of the feature maps extracted from 10 different final network convolution layers learned by the learning model. The features of the original image are randomly scattered, making it difficult to classify defects and normal states. However, the features obtained by the learned network can be grouped according to defect or normal state. Therefore, it is possible to classify the faulty state and the normal state.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will understand that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include. For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. The device can be commanded. Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. can be embodied in Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, the described techniques may be performed in an order different from the method described, and/or components of the described system, structure, device, circuit, etc. may be combined or combined in a different form than the method described, or other components may be used. Or even if it is replaced or substituted by equivalents, appropriate results can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents of the claims are within the scope of the following claims.

Claims (8)

건전성 감시 시스템에 의해 수행되는 파워 드라이빙 시스템의 건전성 감지 방법에 있어서,
파워 드라이빙 시스템에서 측정되는 소음 신호를 이용하여 이미지를 생성하는 단계;
상기 생성된 이미지를 결함 진단을 위한 학습 모델에 입력받는 단계; 및
상기 결함 진단을 위한 학습 모델을 이용하여 상기 생성된 이미지로부터 파워 드라이빙 시스템의 결함 패턴을 분류하는 단계
를 포함하고,
상기 결함 진단을 위한 학습 모델은,
이미지로부터 복수 개의 결함 조건 및 정상 조건을 포함하는 결함 패턴이 분류되도록 학습된 것을 특징으로 하는 파워 드라이빙 시스템의 건전성 감지 방법.
In the soundness detection method of the power driving system performed by the soundness monitoring system,
generating an image using a noise signal measured in a power driving system;
receiving the generated image as an input to a learning model for diagnosing a defect; and
Classifying a defect pattern of the power driving system from the generated image using the learning model for diagnosing the defect
including,
The learning model for diagnosing the defect,
A method for detecting healthiness of a power driving system, characterized in that a defect pattern including a plurality of defect conditions and a normal condition is learned to be classified from an image.
제1항에 있어서,
상기 생성하는 단계는,
상기 측정된 소음 신호에 연속 웨이블렛(CWT)에 적용하여 시간-주파수 영역의 이미지 데이터를 생성하는 단계
를 포함하는 파워 드라이빙 시스템의 건전성 감지 방법.
According to claim 1,
The generating step is
generating image data in the time-frequency domain by applying a continuous wavelet (CWT) to the measured noise signal;
Health detection method of a power driving system comprising a.
제1항에 있어서,
상기 학습 모델은,
상기 생성된 이미지가 입력되는 입력층, 필터 크기가 3×3인 16개의 특징 지도가 있는 합성곱 층, 크기가 2×2인 최대 풀링층, 필터 크기가 3×3인 32개의 특징 지도가 있는 합성곱층, 크기가 2×2인 최대 풀링층이 있는 합성곱 층, 소프트맥스 함수가 적용된 최종 합성곱 층으로 구성된 것을 특징으로 하는 파워 드라이빙 시스템의 건전성 감지 방법.
According to claim 1,
The learning model,
An input layer into which the generated image is input, a convolution layer with 16 feature maps with a filter size of 3 × 3, a maximum pooling layer with a size of 2 × 2, and a filter size of 3 × 3 with 32 feature maps A method for detecting healthiness of a power driving system, characterized in that it consists of a convolution layer, a convolution layer having a maximum pooling layer having a size of 2 × 2, and a final convolution layer to which a softmax function is applied.
제3항에 있어서,
상기 학습 모델은,
이미지로부터 결함 정보를 추출하는 단계; 및
상기 추출된 결함 정보를 포함하는 특징 지도를 추출하는 단계를 통해 학습되는 것
을 특징으로 하는 파워 드라이빙 시스템의 건전성 감지 방법.
According to claim 3,
The learning model,
extracting defect information from the image; and
Learning through the step of extracting a feature map including the extracted defect information
Health detection method of a power driving system, characterized in that.
제1항에 있어서,
상기 파워 드라이빙 시스템은 모터, 체인, 피니언, 스프라켓, 기어, 베어링 또는 회전축을 포함하는 부품들, 상기 부품들의 결합으로 구성되는 것을 포함하고,
상기 결함 패턴을 분류하는 단계는,
상기 결함 진단을 위한 학습 모델을 이용하여 상기 생성된 이미지로부터 결함 조건과 관련 있는 결함 특징 정보를 추출하고, 상기 추출된 결함 특징 정보에 기초하여 상기 파워 드라이빙 시스템의 결함 패턴을 분류하는 단계
를 포함하는 파워 드라이빙 시스템의 건전성 감지 방법.
According to claim 1,
The power driving system includes parts including motors, chains, pinions, sprockets, gears, bearings, or rotating shafts, and a combination of the parts,
Classifying the defect pattern,
Extracting defect feature information related to a defect condition from the generated image using the learning model for defect diagnosis, and classifying a defect pattern of the power driving system based on the extracted defect feature information.
Health detection method of a power driving system comprising a.
제1항에 있어서,
상기 결함 패턴을 분류하는 단계는,
상기 생성된 이미지로부터 상기 파워 드라이빙 시스템의 결함 부품을 진단하고, 상기 진단된 결함 부품에 대한 단일 결함 패턴 또는 다중 결함 패턴을 분류하는 단계
를 포함하는 파워 드라이빙 시스템의 건전성 감지 방법.
According to claim 1,
Classifying the defect pattern,
Diagnosing a defective part of the power driving system from the generated image, and classifying a single defect pattern or multiple defect patterns for the diagnosed defective part.
Health detection method of a power driving system comprising a.
제1항에 있어서,
상기 복수 개의 결함 조건 및 정상 조건을 포함하는 결함 패턴은,
구동 기어의 치차 크랙, 구동 기어의 치차 절손, 모터에서 구동축의 편심, 베어링의 구멍으로 인한 외륜 결함, 베어링의 이물질로 인한 내륜 결함, 모터의 구동축 편심 + 구동 기어의 치차 절손, 모터의 구동축 편심 + 구동 기어의 치차절손 + 베어링의 외륜 결함, 모터의 구동축 편심 + 구동 기어의 치차 절손 + 베어링의 내륜 결함 또는 정상 조건 중 어느 하나를 포함하는 것을 특징으로 하는 파워 드라이빙 시스템의 건전성 감지 방법.
According to claim 1,
The defect pattern including the plurality of defect conditions and normal conditions,
Drive gear gear crack, drive gear gear breakage, drive shaft eccentricity in motor, outer ring defect due to hole in bearing, inner ring defect due to foreign matter in bearing, drive shaft eccentricity of motor + tooth breakage of drive gear, drive shaft eccentricity of motor + A method for detecting soundness of a power driving system comprising any one of gear breakage of drive gear + outer race defect of bearing, eccentricity of drive shaft of motor + gear breakage of drive gear + inner race defect of bearing, or normal condition.
건전성 감시 시스템에 있어서,
파워 드라이빙 시스템에서 측정되는 소음 신호를 이용하여 이미지를 생성하는 이미지 생성부;
상기 생성된 이미지를 결함 진단을 위한 학습 모델에 입력받는 이미지 입력부; 및
상기 결함 진단을 위한 학습 모델을 이용하여 상기 생성된 이미지로부터 파워 드라이빙 시스템의 결함 패턴을 분류하는 결함 패턴 분류부
를 포함하고,
상기 결함 진단을 위한 학습 모델은,
이미지로부터 복수 개의 결함 조건 및 정상 조건을 포함하는 결함 패턴이 분류되도록 학습된 것을 특징으로 하는 건전성 감지 시스템.
In the health monitoring system,
An image generator for generating an image using the noise signal measured in the power driving system;
an image input unit that receives the generated image into a learning model for diagnosing defects; and
A defect pattern classification unit classifying a defect pattern of the power driving system from the generated image using the learning model for diagnosing the defect.
including,
The learning model for diagnosing the defect,
A health detection system, characterized in that it is learned to classify a defect pattern including a plurality of defect conditions and normal conditions from the image.
KR1020210171703A 2021-12-03 2021-12-03 Health monitoring method of power driving system using sound signal based on deep learning KR102596379B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210171703A KR102596379B1 (en) 2021-12-03 2021-12-03 Health monitoring method of power driving system using sound signal based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210171703A KR102596379B1 (en) 2021-12-03 2021-12-03 Health monitoring method of power driving system using sound signal based on deep learning

Publications (2)

Publication Number Publication Date
KR20230083570A true KR20230083570A (en) 2023-06-12
KR102596379B1 KR102596379B1 (en) 2023-10-31

Family

ID=86769964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210171703A KR102596379B1 (en) 2021-12-03 2021-12-03 Health monitoring method of power driving system using sound signal based on deep learning

Country Status (1)

Country Link
KR (1) KR102596379B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101818394B1 (en) * 2017-05-11 2018-01-12 울산대학교 산학협력단 Method and apparatus for diagnosing facility condition
KR20210062794A (en) * 2019-11-21 2021-06-01 대우조선해양 주식회사 Apparatus and method for extracting composition of equipment, and fault diagnosis system including the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101818394B1 (en) * 2017-05-11 2018-01-12 울산대학교 산학협력단 Method and apparatus for diagnosing facility condition
KR20210062794A (en) * 2019-11-21 2021-06-01 대우조선해양 주식회사 Apparatus and method for extracting composition of equipment, and fault diagnosis system including the same

Also Published As

Publication number Publication date
KR102596379B1 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
Dhamande et al. Compound gear-bearing fault feature extraction using statistical features based on time-frequency method
Kumar et al. Latest developments in gear defect diagnosis and prognosis: A review
CN107560849B (en) Wind turbine generator bearing fault diagnosis method of multichannel deep convolutional neural network
Bafroui et al. Application of wavelet energy and Shannon entropy for feature extraction in gearbox fault detection under varying speed conditions
Eren Bearing fault detection by one-dimensional convolutional neural networks
EP3136255A1 (en) Method and system for automatically detecting defects on a rotating shaft
Paya et al. Artificial neural network based fault diagnostics of rotating machinery using wavelet transforms as a preprocessor
EP3186598B1 (en) Monitoring of a device having a movable part
Soualhi et al. Pattern recognition method of fault diagnostics based on a new health indicator for smart manufacturing
Yang et al. Bearing fault automatic classification based on deep learning
Huo et al. New transfer learning fault diagnosis method of rolling bearing based on ADC-CNN and LATL under variable conditions
Hameed et al. Comparative analysis of fuzzy classifier and ANN with histogram features for defect detection and classification in planetary gearbox
KR102321607B1 (en) Rotating machine fault detecting apparatus and method
Zhong et al. Crack fault diagnosis of rotating machine in nuclear power plant based on ensemble learning
Gecgel et al. Machine learning in crack size estimation of a spur gear pair using simulated vibration data
CN112508242A (en) Method for constructing bearing fault location and classification model of wind power generator
KR102240775B1 (en) Deep learning-based apparatus and method for determining breakdown of power transfer device using noise data
Senanayaka et al. CNN based Gearbox Fault Diagnosis and Interpretation of Learning Features
Lee et al. Condition monitoring of chain sprocket drive system based on iot device and convolutional neural network
KR102306244B1 (en) Method and apparatus for generating fault detecting model for device
Heidarbeigi et al. Evolving an artificial neural network classifier for condition monitoring of massy ferguson tractor gearbox
KR102596379B1 (en) Health monitoring method of power driving system using sound signal based on deep learning
CN116499742A (en) Rotary machine fault monitoring method based on ensemble learning
Tastimur et al. Defect diagnosis of rolling element bearing using deep learning
Latuny A sensitivity comparison of Neuro-fuzzy feature extraction methods from bearing failure signals

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant