KR102633564B1 - Method and apparatus for estimating a location of a noise source in a pipe system based on Convolutional neural network - Google Patents
Method and apparatus for estimating a location of a noise source in a pipe system based on Convolutional neural network Download PDFInfo
- Publication number
- KR102633564B1 KR102633564B1 KR1020220121886A KR20220121886A KR102633564B1 KR 102633564 B1 KR102633564 B1 KR 102633564B1 KR 1020220121886 A KR1020220121886 A KR 1020220121886A KR 20220121886 A KR20220121886 A KR 20220121886A KR 102633564 B1 KR102633564 B1 KR 102633564B1
- Authority
- KR
- South Korea
- Prior art keywords
- noise source
- location
- pipe
- data
- image data
- Prior art date
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000001133 acceleration Effects 0.000 claims description 24
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 22
- 229910000831 Steel Inorganic materials 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 239000010959 steel Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 17
- 238000013145 classification model Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000011551 log transformation method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H1/00—Measuring characteristics of vibrations in solids by using direct conduction to the detector
- G01H1/12—Measuring characteristics of vibrations in solids by using direct conduction to the detector of longitudinal or not specified vibrations
- G01H1/14—Frequency
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H15/00—Measuring mechanical or acoustic impedance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
본 발명에 따른 파이프(pipe) 시스템에서 소음원(noise source)의 위치를 추정하는 장치는, 상기 파이프 시스템에 구비된 진동 센서로부터 진동 신호를 수신하도록 구성되는 진동 신호 수신부, 상기 진동 신호를 전처리하여 이미지 데이터를 생성하도록 구성되는 이미지 데이터 생성부, 상기 이미지 데이터를 기반으로 CNN(Convolutional Neural Network) 모델을 이용하여 상기 파이프 시스템 내에서 소음원의 위치를 추정하도록 구성되는 소음원 위치 추정부, 및 상기 소음원의 위치 정보를 출력하도록 구성되는 위치 정보 출력부를 포함할 수 있다.A device for estimating the location of a noise source in a pipe system according to the present invention includes a vibration signal receiver configured to receive a vibration signal from a vibration sensor provided in the pipe system, and an image by preprocessing the vibration signal. An image data generator configured to generate data, a noise source location estimation unit configured to estimate the location of the noise source within the pipe system using a CNN (Convolutional Neural Network) model based on the image data, and the location of the noise source. It may include a location information output unit configured to output information.
Description
본 발명은 소음원(noise source)의 위치를 추정하는 방법 및 장치에 관한 것으로, 특히 조선 해양, 잠수함 등에 구비된 파이프 시스템에서 소음이 발생하는 위치(소음원의 위치)를 컨볼루션 신경망(Convolutional Neural Network, CNN)을 기반으로 추정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and device for estimating the location of a noise source. In particular, the location where noise occurs (the location of the noise source) in a pipe system installed in shipbuilding, marine, submarine, etc. is determined using a convolutional neural network (Convolutional Neural Network). CNN)-based estimation method and device.
최근 조선 해양, 잠수함 등에서 파이프 내 소음에 대한 방진 및 방음의 필요성이 대두되고 있다. 특히, 선박, 잠수함 등의 경우 엔진 등과 같은 주 장비의 소음이 여러 장비들에 연결된 파이프를 통해 선체 전체적으로 영향을 미치게 된다. 그 결과 외부(예를 들어, 수중)로 방사되는 소음이 발생하고, 선내 거주구역 및 작업구역에도 소음이 영향을 미치게 된다.Recently, the need for vibration and soundproofing against noise within pipes has emerged in shipbuilding, marine, submarine, etc. In particular, in the case of ships, submarines, etc., noise from main equipment such as engines affects the entire hull through pipes connected to various equipment. As a result, noise is generated that radiates to the outside (for example, underwater), and the noise also affects the living and working areas of the ship.
또한, 설계 단계에서의 소음 예측과는 달리 선체의 건조 후 이상 소음이 발생하는 경우가 많다. 파이프 내부의 유동 및 2차 소음의 경우 소음원의 위치 파악이 매우 어렵다. 이러한 파이프에서의 소음은 특히 잠수함의 탐지 및 피탐에 영향을 미친다. 그러므로, 이를 근본적으로 해결하기 위하여 소음원의 위치를 파악하는 것이 매우 중요하다.Additionally, contrary to noise predictions at the design stage, abnormal noise often occurs after the hull is built. In the case of flow and secondary noise inside the pipe, it is very difficult to determine the location of the noise source. Noise from these pipes particularly affects the detection and observability of submarines. Therefore, in order to fundamentally solve this problem, it is very important to identify the location of the noise source.
종래에는 파이프 시스템 내에서 소음원의 위치를 추정함에 있어서 소음이 두 개 이상의 음향 센서들 각각에 도달하는 시간 차이를 이용하였다. 그러나 이러한 방법은 센서를 두 개 이상 사용해야 하며, 노이즈(noise)에 민감하고 정확한 파(wave) 속도를 알아야 하기 때문에 소음원의 종류 또는 특성과 파이프의 종류 및 연결 구조가 달라지거나, 파이프 내 유동체(예를 들어, 물 등)가 존재하는지 여부 등과 같은 다양한 조건에서는 그 위치를 추정하기 어려운 문제가 있다.Conventionally, when estimating the location of a noise source within a pipe system, the time difference between the noise reaching each of two or more acoustic sensors was used. However, this method requires the use of two or more sensors, is sensitive to noise, and requires accurate wave speed, so the type or characteristics of the noise source and the type and connection structure of the pipe are different, or the fluid in the pipe (e.g. For example, it is difficult to estimate the location under various conditions, such as whether water (water, etc.) exists.
본 발명의 기술적 과제는 컨볼루션 신경망을 기반으로 파이프 시스템 내에서 소음원의 위치를 추정할 수 있는 장치 및 방법을 제공하는 것이다.The technical object of the present invention is to provide an apparatus and method for estimating the location of a noise source within a pipe system based on a convolutional neural network.
본 발명의 다른 기술적 과제는 보다 비침입적(non-intrusive)이고 적은 비용으로도 파이프 시스템 내에서 소음원의 위치를 추정할 수 있는 장치 및 방법을 제공하는 것이다.Another technical object of the present invention is to provide a device and method that can estimate the location of a noise source within a pipe system in a more non-intrusive manner and at a lower cost.
본 발명의 다른 기술적 과제는 파이프 시스템 내의 물 존재 여부, 음원의 종류, 파이프의 종류, 형태와 경계조건 등에 관계 없이 다양한 조건에서도 소음원의 위치를 추정할 수 있는 장치 및 방법을 제공하는 것이다.Another technical object of the present invention is to provide a device and method that can estimate the location of a noise source under various conditions, regardless of the presence of water in the pipe system, type of sound source, type of pipe, shape and boundary conditions, etc.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 파이프(pipe) 시스템에서 소음원(noise source)의 위치를 추정하는 장치는, 상기 파이프 시스템에 구비된 진동 센서로부터 진동 신호를 수신하도록 구성되는 진동 신호 수신부, 상기 진동 신호를 전처리하여 이미지 데이터를 생성하도록 구성되는 이미지 데이터 생성부, 상기 이미지 데이터를 기반으로 CNN(Convolutional Neural Network) 모델을 이용하여 상기 파이프 시스템 내에서 소음원의 위치를 추정하도록 구성되는 소음원 위치 추정부, 및 상기 소음원의 위치 정보를 출력하도록 구성되는 위치 정보 출력부를 포함할 수 있다.According to one embodiment of the present invention for achieving the above object, a device for estimating the location of a noise source in a pipe system is configured to receive a vibration signal from a vibration sensor provided in the pipe system. A vibration signal receiver, an image data generator configured to pre-process the vibration signal to generate image data, and configured to estimate the location of the noise source within the pipe system using a CNN (Convolutional Neural Network) model based on the image data. It may include a noise source location estimation unit, and a location information output unit configured to output location information of the noise source.
여기서, 상기 진동 센서는 하나의 가속도계(accelerometer)로 구성되고, 상기 진동 신호는 시간/가속도 도메인(domain)의 데이터일 수 있다.Here, the vibration sensor consists of an accelerometer, and the vibration signal may be data in the time/acceleration domain.
또한, 상기 이미지 데이터 생성부는 상기 시간/가속도 도메인의 데이터에 대해 STFT(Short Time Fourier Transform)를 수행하여 상기 시간/가속도 도메인의 데이터를 시간/주파수 도메인의 스펙트로그램(spectrogram)으로 변환하고, 상기 스펙트로그램을 필터링하여 상기 스펙트로그램의 저주파 대역에 가중치를 부가하고, 상기 가중치가 부가된 스펙트로그램을 기반으로 상기 이미지 데이터를 생성할 수 있다.In addition, the image data generator performs STFT (Short Time Fourier Transform) on the data in the time/acceleration domain to convert the data in the time/acceleration domain into a spectrogram in the time/frequency domain, and converts the data in the time/acceleration domain into a spectrogram in the time/frequency domain. By filtering the gram, a weight is added to the low-frequency band of the spectrogram, and the image data can be generated based on the weighted spectrogram.
또한, 상기 소음원 위치 추정부는 상기 CNN 모델을 기반으로 상기 이미지 데이터의 라벨값이 미리 학습된 라벨들(labels)에 해당할 확률을 각각 계산하고, 상기 라벨들 중 가장 높은 확률을 가지는 라벨값을 기반으로 상기 소음원의 위치를 추정할 수 있다.In addition, the noise source location estimation unit calculates the probability that the label value of the image data corresponds to the previously learned labels based on the CNN model, and based on the label value with the highest probability among the labels, The location of the noise source can be estimated.
이 경우, 상기 위치 정보 출력부는 상기 가장 높은 확률을 가지는 라벨값에 대한 위치 정보를 상기 소음원의 위치에 대한 정보로서 출력할 수 있다.In this case, the location information output unit may output location information about the label value with the highest probability as information about the location of the noise source.
또한, 상기 소음원 위치 추정부는 상기 CNN 모델을 기반으로 상기 이미지 데이터의 라벨값이 미리 설정된 라벨들에 해당할 확률을 각각 계산하고, 상기 라벨들의 라벨값들을 연속적으로 출력하고, 상기 연속적인 라벨값들을 기반으로 상기 소음원의 위치를 추정할 수 있다.In addition, the noise source location estimation unit calculates the probability that the label value of the image data corresponds to preset labels based on the CNN model, continuously outputs the label values of the labels, and outputs the continuous label values. Based on this, the location of the noise source can be estimated.
이 경우, 상기 위치 정보 출력부는 상기 연속적인 라벨값들을 상기 소음원의 위치 정보로서 출력할 수 있다.In this case, the location information output unit may output the continuous label values as location information of the noise source.
한편 상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 소음원 위치 추정 장치가 파이프 시스템에서 소음원의 위치를 추정하는 방법은 상기 파이프 시스템에 구비된 진동 센서로부터 진동 신호를 수신하는 단계, 상기 진동 신호를 전처리하여 이미지 데이터를 생성하는 단계, 상기 이미지 데이터를 기반으로 CNN 모델을 이용하여 상기 파이프 시스템 내에서 소음원의 위치를 추정하는 단계, 및 상기 소음원의 위치 정보를 출력하는 단계를 포함할 수 있다.Meanwhile, according to another embodiment of the present invention for achieving the above object, a method for a noise source location estimation device to estimate the location of a noise source in a pipe system includes the steps of receiving a vibration signal from a vibration sensor provided in the pipe system, the vibration It may include generating image data by preprocessing a signal, estimating the location of a noise source within the pipe system using a CNN model based on the image data, and outputting location information of the noise source. .
여기서, 상기 진동 신호는 하나의 진동 센서로부터 수신되는 시간/가속도 도메인의 데이터일 수 있다.Here, the vibration signal may be time/acceleration domain data received from one vibration sensor.
또한, 상기 생성하는 단계는 상기 시간/가속도 도메인의 데이터에 대해 STFT를 수행하여 상기 시간/가속도 도메인의 데이터를 시간/주파수 도메인의 스펙트로그램으로 변환하는 단계, 상기 스펙트로그램을 필터링하여 상기 스펙트로그램의 저주파 대역에 가중치를 부가하는 단계, 및 상기 가중치가 부가된 스펙트로그램을 기반으로 상기 이미지 데이터를 생성하는 단계를 포함할 수 있다.In addition, the generating step includes converting the data in the time/acceleration domain into a spectrogram in the time/frequency domain by performing STFT on the data in the time/acceleration domain, and filtering the spectrogram to form a spectrogram of the spectrogram. It may include adding weight to a low-frequency band, and generating the image data based on the weighted spectrogram.
또한, 상기 추정하는 단계는 상기 CNN 모델을 기반으로 상기 이미지 데이터의 라벨값이 미리 학습된 라벨들에 해당할 확률을 각각 계산하는 단계, 및 상기 라벨들 중 가장 높은 확률을 가지는 라벨값을 상기 소음원의 위치로 추정하는 단계를 포함할 수 있다.In addition, the estimating step includes calculating the probability that the label value of the image data corresponds to the previously learned labels based on the CNN model, and selecting the label value with the highest probability among the labels as the noise source. It may include the step of estimating the location of .
여기서, 상기 출력하는 단계는 상기 가장 높은 확률을 가지는 라벨값에 대한 위치 정보를 상기 소음원의 위치에 대한 정보로서 출력하는 단계일 수 있다.Here, the output step may be a step of outputting location information about the label value with the highest probability as information about the location of the noise source.
또한, 상기 추정하는 단계는 상기 CNN 모델을 기반으로 상기 이미지 데이터의 라벨값이 미리 설정된 라벨들에 해당할 확률을 각각 계산하는 단계, 상기 라벨들의 라벨값들을 연속적으로 출력하는 단계, 및 상기 연속적인 라벨값들을 기반으로 상기 소음원의 위치를 추정하는 단계를 포함할 수 있다.In addition, the estimating step includes calculating the probability that the label value of the image data corresponds to preset labels based on the CNN model, continuously outputting the label values of the labels, and continuously outputting the label values of the labels. It may include estimating the location of the noise source based on label values.
여기서, 상기 추정하는 단계는 상기 연속적인 라벨값들을 상기 소음원의 위치 정보로서 출력하는 단계일 수 있다.Here, the estimating step may be a step of outputting the continuous label values as location information of the noise source.
한편 상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 파이프 시스템에서 소음원의 위치를 추정하는 시스템은 파이프 시스템의 일측에 구비되고 상기 파이프 시스템에서 발생되는 진동을 계측하는 하나의 진동 센서 및 상기 하나의 진동 센서로부터 진동 신호를 수신하고, 상기 진동 신호를 전처리하여 이미지 데이터를 생성하고, 상기 이미지 데이터를 기반으로 CNN 모델을 이용하여 상기 파이프 시스템 내 소음원의 위치를 추정하는 소음원 위치 추정 장치를 포함할 수 있다.Meanwhile, according to another embodiment of the present invention for achieving the above object, a system for estimating the location of a noise source in a pipe system includes a vibration sensor provided on one side of the pipe system and measuring vibration generated in the pipe system; A noise source location estimation device that receives a vibration signal from the one vibration sensor, generates image data by preprocessing the vibration signal, and estimates the location of the noise source in the pipe system using a CNN model based on the image data. It can be included.
기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Specific details of other embodiments are included in “Specific Details for Carrying Out the Invention” and the attached “Drawings.”
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.The advantages and/or features of the present invention and methods for achieving them will become clear by referring to the various embodiments described in detail below along with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.However, the present invention is not limited to the configuration of each embodiment disclosed below, but may also be implemented in various different forms. However, each embodiment disclosed in this specification ensures that the disclosure of the present invention is complete, and the present invention It is provided to fully inform those skilled in the art of the present invention, and it should be noted that the present invention is only defined by the scope of each claim.
본 발명에 의하면, 컨볼루션 신경망을 기반으로 학습된 모델을 기반으로 파이프 시스템 내에서 소음원의 위치를 추정하기 때문에 하나의 센서에서 계측된 정보만으로도 소음원의 위치를 정확히 추정할 수 있다.According to the present invention, since the location of the noise source within the pipe system is estimated based on a model learned based on a convolutional neural network, the location of the noise source can be accurately estimated with only information measured by one sensor.
또한 본 발명에 의하면, 하나의 센서만으로도 파이프 시스템 내 소음원의 위치를 추정할 수 있기 때문에 보다 적은 비용으로도 소음원의 위치를 추정할 수 있다.Additionally, according to the present invention, the location of the noise source within the pipe system can be estimated with just one sensor, so the location of the noise source can be estimated at a lower cost.
또한 본 발명에 의하면, 파이프 내의 물 존재 여부, 음원의 종류, 파이프의 종류, 형태 등에 관계 없이 다양한 조건에서도 소음원의 위치를 추정할 수 있다.In addition, according to the present invention, the location of the noise source can be estimated under various conditions, regardless of the presence of water in the pipe, the type of sound source, the type and shape of the pipe, etc.
도 1은 본 발명의 일실시예에 따른 소음원 위치 추정 시스템을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 소음원 위치 추정 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 소음원 위치 추정 장치가 소음원의 위치를 추정하는 과정을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 이미지 데이터 생성 과정을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 컨볼루션 신경망 모델을 나타내는 도면이다.
도 6 내지 도 8은 본 발명의 일실시예에 따른 소음원 위치 추정 방법의 검증에 사용된 파이프 시스템의 구조를 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 소음원의 위치를 추정하는 방법을 나타내는 도면이다.1 is a diagram schematically showing a noise source location estimation system according to an embodiment of the present invention.
Figure 2 is a diagram showing the configuration of a noise source location estimation device according to an embodiment of the present invention.
Figure 3 is a diagram showing a process by which the noise source location estimation device estimates the location of the noise source according to an embodiment of the present invention.
Figure 4 is a diagram showing the image data generation process according to an embodiment of the present invention.
Figure 5 is a diagram showing a convolutional neural network model according to an embodiment of the present invention.
6 to 8 are diagrams showing the structure of a pipe system used to verify the method for estimating the location of a noise source according to an embodiment of the present invention.
Figure 9 is a diagram showing a method for estimating the location of a noise source according to an embodiment of the present invention.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Before explaining the present invention in detail, the terms or words used in this specification should not be construed as unconditionally limited to their ordinary or dictionary meanings, and the inventor of the present invention should not use the terms or words in order to explain his invention in the best way. It should be noted that the concepts of various terms can be appropriately defined and used, and furthermore, that these terms and words should be interpreted with meanings and concepts consistent with the technical idea of the present invention.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.That is, the terms used in this specification are only used to describe preferred embodiments of the present invention, and are not used with the intention of specifically limiting the content of the present invention, and these terms refer to various possibilities of the present invention. It is important to note that this is a term defined with consideration in mind.
또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.In addition, it should be noted that in this specification, singular expressions may include plural expressions, unless the context clearly indicates a different meaning, and may include singular meanings even if similarly expressed in plural. .
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.Throughout this specification, when a component is described as “including” another component, it does not exclude any other component, but includes any other component, unless specifically stated to the contrary. It could mean that you can do it.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Furthermore, if a component is described as being "installed within or connected to" another component, it means that this component may be installed in direct connection or contact with the other component and may be installed in contact with the other component and It may be installed at a certain distance, and in the case where it is installed at a certain distance, there may be a third component or means for fixing or connecting the component to another component. It should be noted that the description of the components or means of 3 may be omitted.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, when a component is described as being “directly connected” or “directly connected” to another component, it should be understood that no third component or means is present.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Likewise, other expressions that describe the relationship between components, such as "between" and "immediately between", or "neighboring" and "directly neighboring", have the same meaning. It should be interpreted as
또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.In addition, in this specification, terms such as "one side", "other side", "one side", "the other side", "first", "second", etc., if used, refer to one component. It is used to clearly distinguish it from other components, and it should be noted that the meaning of the component is not limited by this term.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.In addition, in this specification, terms related to position such as "top", "bottom", "left", "right", etc., if used, should be understood as indicating the relative position of the corresponding component in the corresponding drawing. Unless the absolute location is specified, these location-related terms should not be understood as referring to the absolute location.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.In addition, in this specification, when specifying the reference numeral for each component in each drawing, the same component has the same reference number even if the component is shown in different drawings, that is, the same reference is made throughout the specification. The symbols indicate the same component.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings attached to this specification, the size, position, connection relationship, etc. of each component constituting the present invention is exaggerated, reduced, or omitted in order to convey the idea of the present invention sufficiently clearly or for convenience of explanation. It may be described, and therefore its proportions or scale may not be exact.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.In addition, hereinafter, in describing the present invention, detailed descriptions of configurations that are judged to unnecessarily obscure the gist of the present invention, for example, known technologies including prior art, may be omitted.
이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the related drawings.
도 1은 본 발명의 일실시예에 따른 소음원 위치 추정 시스템을 개략적으로 나타내는 도면이다.1 is a diagram schematically showing a noise source location estimation system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 소음원 위치 추정 시스템은 진동 센서(110) 및 소음원 위치 추정 장치(120)를 포함한다.Referring to FIG. 1, the noise source location estimation system according to an embodiment of the present invention includes a
진동 센서(110)는 파이프 시스템에서 소음원의 위치를 추정하는데 사용되는 진동 데이터를 수집 또는 획득하기 위한 것으로서, 파이프 시스템의 일측에 구비되어 해당 파이프 시스템에서 발생되는 진동을 계측할 수 있다. 여기서, 상기 파이프 시스템은 복수개의 파이프들을 포함하는 시스템일 수 있다. 본 발명에 일실시예에 따라 소음원의 위치를 추정하는데 있어서 진동 센서(110)는 하나만 사용될 수 있다. 다시 말해, 본 발명의 일실시예에 따른 소음원 위치추정 시스템은 단일 진동 센서를 이용하여 소음원의 위치를 추정할 수 있다. 진동 센서(110)에 의해 계측된 진동 데이터는 무선 통신을 기반으로 진동 신호를 통해 소음원 위치 추정 장치(120)로 전송될 수 있다.The
소음원 위치 추정 장치(120)는 진동 센서(110)로부터 진동 신호를 무선 통신망을 통해 수신하고, 상기 진동 신호를 전처리하여 이미지 데이터를 생성할 수 있다. 그리고, 상기 이미지 데이터를 기반으로 컨볼루션 신경망(CNN: Convolutional Neural Network) 모델을 이용하여 해당 파이프 시스템 내 소음원의 위치를 추정(또는 예측)할 수 있다.The noise source
CNN은 인공지능의 한 기법으로, 입력 데이터와 라벨(label)에 대해서 데이터의 특징을 추출하여 분류(classification) 또는 회귀(regression)를 수행하는 방법으로서, 소음원 위치 추정 장치(120)는 다양한 종류의 소음원과 다양한 형태의 파이프 구조에 대해 미리 학습된 CNN 모델을 이용하여 해당 파이프 시스템 내 소음원의 위치를 추정할 수 있다.CNN is a technique of artificial intelligence, and is a method of extracting data features for input data and labels to perform classification or regression. The noise source
도 2는 본 발명의 일실시예에 따른 소음원 위치 추정 장치의 구성을 나타내는 도면이다. Figure 2 is a diagram showing the configuration of a noise source location estimation device according to an embodiment of the present invention.
이하 도 2를 참조하여, 본 발명의 일실시예에 따른 소음원 위치 추정 장치의 구성을 보다 상세히 설명한다.Hereinafter, with reference to FIG. 2, the configuration of the noise source location estimation device according to an embodiment of the present invention will be described in more detail.
도 2를 참조하면, 본 발명의 일실시예에 따른 소음원 위치 추정 장치(200)는 진동 신호 수신부(210), 이미지 데이터 생성부(220), 소음원 위치 추정부(230), 및 위치 정보 출력부(240)를 포함할 수 있다.Referring to Figure 2, the noise source
진동 신호 수신부(210)는 파이프 시스템에 구비된 진동 센서로부터 진동 신호를 수신한다. 여기서, 상기 진동 센서는 하나의 가속도계(accelerometer)로 구성될 수 있고, 파이프 시스템의 외측에 비침입적인(non-intrusive) 방법으로 설치 또는 부착될 수 있다.The
예를 들어, 파이프 시스템에 하나의 가속도계가 구비된 경우, 진동 신호 수신부(210)는 하나의 가속도계로부터 유선 또는 무선 통신망을 통하여 시간/가속도 도메인(domain)의 진동 데이터를 수신할 수 있다. 이를 위하여 진동 신호 수신부(210)는 유선 또는 무선 통신 방식에 따라 상기 하나의 가속도계와 무선 통신이 가능한 위치에 구비될 수 있다. 일 예로, 진동 신호 수신부(210)는 하나의 진 센서와 함께 해당 파이프 시스템의 외측에 부착 또는 설치될 수 있다.For example, when a pipe system is equipped with one accelerometer, the
이미지 데이터 생성부(220)는 진동 신호 수신부(210)에서 수신되는 진동 신호를 전처리하여 이미지 데이터를 생성한다. 구체적으로, 이미지 데이터 생성부(220)는 진동 신호 수신부(210)가 하나의 진동 센서로부터 시간/가속도 도메인의 데이터를 수신하면, 상기 시간/가속도 도메인의 데이터를 시간/주파수 도메인의 스펙트로그램(spectrogram)으로 변환할 수 있다. 그리고, 상기 스펙트로그램을 필터링하여 상기 스펙트로그램의 저주파 대역에 가중치를 부가하고, 상기 가중치가 부가된 스펙트로그램을 기반으로 상기 이미지 데이터를 생성할 수 있다. 이를 위하여 일 예로, 이미지 데이터 생성부(220)는 상기 시간/가속도 데이터에 대해 단시간 푸리에 변환(STFT: Short Time Fourier Transform)을 수행하여 상기 시간/가속도 도메인의 데이터를 특정 시간 프레임별 주파수를 나타내는 데이터로 가공할 수 있다. 그리고, 이미지 데이터 생성부(220)는 상기 특정 시간 프레임별 주파수를 나타내는 데이터에서 관심 주파수 영역(예를 들어, 저주파 영역)이 강조되도록 상기 특정 시간 프레임별 주파수를 나타내는 데이터에 대해 미리 설정된 복수개의 필터들을 적용할 수 있다. 이 때, 일 예로, 멜 필터(Mel filter)가 사용될 수 있다. 이후, 이미지 데이터 생성부(220)는 해당 데이터에서 특징 추출이 용이하도록 해당 데이터에 대해 로그 연산을 수행할 수 있다.The
소음원 위치 추정부(230)는 이미지 데이터 생성부(220)에서 생성되는 이미지 데이터를 기반으로 CNN 모델을 이용하여 상기 파이프 시스템 내에서 소음원의 위치를 추정한다. 본 발명에 있어서, 상기 CNN 모델은 이미지 데이터의 분류를 위한 분류 모델(classification) 및 이미지 데이터의 회귀(regression) 분석을 위한 회귀 모델을 포함할 수 있다. 예를 들어, 소음원 위치 추정부(230)는 상기 분류 모델을 기반으로 이미지 데이터 생성부(220)에서 생성된 이미지 데이터의 라벨값이 미리 학습된 라벨들(labels)에 해당할 확률을 각각 계산하고, 상기 라벨들 중 가장 높은 확률을 가지는 라벨값을 기반으로 해당 소음원의 위치를 추정할 수 있다. 한편, 소음원 위치 추정부(230)는 상기 회귀 모델을 기반으로 이미지 데이터 생성부(220)에서 생성된 이미지 데이터의 라벨값이 미리 설정된 라벨들에 해당할 확률을 각각 계산하고, 상기 라벨들의 라벨값들을 연속적으로 출력할 수 있다.The noise source
위치 정보 출력부(240)는 소음원 위치 추정부(230)에서 추정된 소음원의 위치 정보를 외부 장치(예를 들어, 디스플레이 장치, 컴퓨팅 장치 등)로 출력한다. 예를 들어, 위치 정보 출력부(240)는 상기 분류 모델을 기반으로 추정된 소음원의 위치 즉, 가장 높은 확률을 가지는 라벨값에 대한 위치 정보를 해당 소음원의 위치에 대한 정보로서 출력할 수 있다. 또는, 위치 정보 출력부(240)는 상기 회귀 모델을 기반으로 출력된 상기 연속적인 라벨값들을 상기 소음원의 위치 정보로서 출력할 수 있다. 따라서, 파이프 시스템 내에 접근이 불가능한 위치에 소음원이 존재할 경우에도 상기 연속적인 라벨값들을 기반으로 그 위치 추정이 가능하다.The location
도 3은 본 발명의 일실시예에 따른 소음원 위치 추정 장치가 소음원의 위치를 추정하는 과정을 나타내는 도면이다.Figure 3 is a diagram showing a process by which the noise source location estimation device estimates the location of the noise source according to an embodiment of the present invention.
이하, 도 3을 참조하여 소음원 위치 추정 장치가 파이프 시스템 내 소음원의 위치를 추정하는 과정에 대해 설명한다.Hereinafter, with reference to FIG. 3, the process by which the noise source location estimation device estimates the location of the noise source within the pipe system will be described.
본 발명의 일실시예에 따른 소음원 위치 추장 장치는 파이프 시스템 내 소음원의 위치를 추정하기 위하여 단일 진동 센서를 이용할 수 있다. 일 예로, 소음원 위치 추정 장치는 파이프 시스템 상에 구비된 단일 진동 센서(310)로부터 진동 신호(320)를 수신할 수 있다. 상기 진동 센서(310)는 상기 파이프 시스템 외측 또는 내측에 부착 또는 설치되어 해당 파이프 시스템 내에서 발생하는 진동 데이터를 수집할 수 있다. 일 실시예로서 상기 진동 데이터를 수집하기 위한 진동 센서로서 가속도계가 이용될 수 있다. 상기 가속도계는 수집된 가속도(진동) 데이터를 진동 신호(320)의 형태로 소음원 위치 추정 장치로 전송할 수 있다.The noise source location detection device according to an embodiment of the present invention can use a single vibration sensor to estimate the location of the noise source within the pipe system. As an example, the noise source location estimation device may receive a vibration signal 320 from a single vibration sensor 310 provided on the pipe system. The vibration sensor 310 may be attached or installed outside or inside the pipe system to collect vibration data occurring within the pipe system. In one embodiment, an accelerometer may be used as a vibration sensor to collect the vibration data. The accelerometer may transmit the collected acceleration (vibration) data to the noise source location estimation device in the form of a vibration signal 320.
소음원 위치 추정 장치는 상기 가속도계로부터 무선 통신망을 통하여 수신되는 진동 신호를 전처리(pre-processing)하여 이미지 데이터(330)를 생성할 수 있다. 그리고 상기 이미지 데이터를 CNN 모델(340)의 입력 정보로서 사용할 수 있다. CNN 모델(340)은 분류 모델 및 회귀 모델을 기반으로 상기 이미지 데이터에 대한 위치 정보를 출력할 수 있다. 이를 위하여 소음원 위치 추정 장치는 사전에 CNN 모델을 학습시킬 수 있다.The noise source location estimation device may generate image data 330 by pre-processing the vibration signal received from the accelerometer through a wireless communication network. And the image data can be used as input information for the CNN model 340. The CNN model 340 may output location information about the image data based on a classification model and a regression model. For this purpose, the noise source location estimation device can train a CNN model in advance.
이하에서는 소음원 위치 추정 장치가 CNN 모델을 학습시키는 과정에 대해 보다 상세히 설명한다.Below, the process by which the noise source location estimation device trains the CNN model is explained in more detail.
도 4는 본 발명의 일실시예에 따른 이미지 데이터 생성 과정을 나타내는 도면이다.Figure 4 is a diagram showing the image data generation process according to an embodiment of the present invention.
CNN 모델의 학습을 위해 다음과 같은 방법으로 데이터가 수집될 수 있다. 예를 들어, 임팩트 해머와 가진기로 다양한 소음원 특성을 구현하고, 각각의 소음원 별로 0.5m 간격의 위치에서 진동을 발생시킨다. 이후, 파이프에 부착된 가속도계와 데이터 수집 장치를 이용해 진동 데이터를 수집한다.For training of CNN models, data can be collected in the following ways. For example, various noise source characteristics are implemented using an impact hammer and an exciter, and vibration is generated at 0.5m intervals for each noise source. Afterwards, vibration data is collected using an accelerometer and data collection device attached to the pipe.
CNN은 2차원 데이터를 입력값(input)으로 하는 이미지 특징 추출에 좋은 성능을 보이기 때문에, 수집된 1차원 시간 데이터는 시간/주파수의 2차원 이미지 데이터로 변환될 수 있다. 여기서, 상기 시간/주파수의 2차원 이미지 데이터는 스펙트로그램이라 불릴 수 있다. 시간/주파수의 2차원 이미지 데이터는 시계열 데이터에 비해 시간과 주파수 모두를 고려하며, 샘플링 주파수와 계측 시간에 따라 더 적은 크기의 입력값 데이터로 빠른 계산이 가능하다는 장점이 있다.Since CNN shows good performance in extracting image features using two-dimensional data as input, the collected one-dimensional temporal data can be converted into two-dimensional image data of time/frequency. Here, the time/frequency two-dimensional image data may be called a spectrogram. Time/frequency two-dimensional image data considers both time and frequency compared to time series data, and has the advantage of enabling faster calculations with smaller input data depending on the sampling frequency and measurement time.
이를 위하여 도 4를 참조하면, 소음원 위치 추정 장치는 시간/가속도 도메인의 데이터에 대해 STFT을 수행하여 상기 시간/가속도 도메인의 데이터를 특정 시간 프레임별 주파수 나타내는 시간/주파수 도메인의 데이터(스펙트로그램)로 변환할 수 있다(S400). 일반적인 파이프 시스템 내 소음원의 경우 1000Hz 이하의 저주파 대역의 소음원들이 대부분이다. 따라서 관심 주파수 영역을 강조하기 위해, 상기 데이터(스펙트로그램)을 저주파 대역의 가중치를 높이는 멜 필터 뱅크(Mel filter bank)를 사용하여 필터링함으로써 상기 데이터(스펙트로그램)의 저주파 대역(영역)에 가중치를 부가할 수 있다(S410). 이후, 소음원 위치 추정 장치는 상기 가중치가 부가된 데이터(스펙트로그램)을 기반으로 이미지 데이터를 생성할 수 있다(S420). 일 예로, 소음원 위치 추정 장치는 CNN 특징 추출에 용이하도록 이미지의 시인성 향상을 위해, 상기 가중치가 부가된 데이터(멜-스펙트로그램)에 대해 로그 연산을 수행하여 멜-스펙트로그램을 로그-멜 스펙트로그램(Log-mel spectrogram)으로 변환할 수 있다.To this end, referring to FIG. 4, the noise source location estimation device performs STFT on data in the time/acceleration domain to convert the data in the time/acceleration domain into time/frequency domain data (spectrogram) representing the frequency for each specific time frame. Can be converted (S400). In the case of noise sources in a general pipe system, most noise sources are in the low frequency band below 1000Hz. Therefore, in order to emphasize the frequency region of interest, the data (spectrogram) is filtered using a Mel filter bank that increases the weight of the low-frequency band, thereby giving weight to the low-frequency band (region) of the data (spectrogram). Can be added (S410). Thereafter, the noise source location estimation device may generate image data based on the weighted data (spectrogram) (S420). As an example, the noise source location estimation device performs a logarithmic operation on the weighted data (Mel-spectrogram) to improve the visibility of the image to facilitate CNN feature extraction, converting the Mel-spectrogram into a log-Mel spectrogram. (Log-mel spectrogram).
도 5는 본 발명의 일실시예에 따른 컨볼루션 신경망 모델을 나타내는 도면이다.Figure 5 is a diagram showing a convolutional neural network model according to an embodiment of the present invention.
이하 도 5를 참조하여, 소음원 추정을 위해 CNN 모델을 학습시키는 과정에 대해 설명한다.Hereinafter, with reference to FIG. 5, the process of training a CNN model for noise source estimation will be described.
본 발명의 일실시예에 따른 CNN 모델(500)은 컨볼루션 신경망(510), 제1 어뎁티브(adaptive) 레이어(520) 및 제2 어뎁티브 레이어(530)를 포함할 수 있다. 여기서 제1 어뎁티브 레이어(520)는 분류 모델을 위한 레이어이고, 제2 어뎁티브 레이어(530)는 회귀 모델을 위한 레이어일 수 있다.The
CNN 모델(500)의 학습을 위해 각 이미지에 대한 센서로부터의 위치(position) 정보를 라벨링하여 분류(classification)과 회귀(regression) 모델에 대입할 수 있다. 분류 모델의 경우 목적 함수로서 크로스 엔트로피 손실함수(cross-entropy loss function)가 학습에 사용될 수 있으며, 회귀 모델의 경우 평균 제곱오차 함수(mean squared error function)가 학습에 사용될 수 있다.To learn the
2차원 이미지에서 라벨 별로 특징을 추출하는 것은 육안으로도 복잡하고 구분이 불가능한 것과 같이, 간단한 모델 구조로는 2차원 이미지에서 라벨 별로 특징을 추출하기 어렵기 때문에 복잡한 모델 구조가 필요하다. 그러나, 모델이 복잡할수록 학습을 위해서는 더 많은 데이터가 필요하고 시간과 비용적 측면에서 많은 제약이 있다. 따라서, 본 발명에서는 다양한 이미지 처리에 있어서 좋은 성능을 보였던 CNN 모델(500)이 전이 학습에 사용될 수 있다. 본 발명의 일실시예에 있어서, 분류 모델로서 VGG16 모델이 사용될 수 있고, 회귀 모델로서 ResNet50 모델이 사용될 수 있다.Just as extracting features by label from a two-dimensional image is complicated and impossible to distinguish even with the naked eye, it is difficult to extract features by label from a two-dimensional image with a simple model structure, so a complex model structure is necessary. However, the more complex the model, the more data is needed for learning, and there are many limitations in terms of time and cost. Therefore, in the present invention, the
소음원 위치 추정 시 CNN 모델(500)을 이용하기 위해 CNN(510)의 컨볼루션 연산의 결과값에 대해 미세조정(fine-tuning)이 수행될 수 있다. 예를 들어, 분류 모델의 경우 제1 어뎁티브 레이어(520)를 통한 미세조정이 수행될 수 있고, 회귀 모델의 경우 제2 어뎁티브 레이어(530)를 통한 미세조정이 수행될 수 있다.In order to use the
분류 모델의 경우, 신경망의 가장 마지막 레이어에서 소프트맥스(softmax) 함수를 통해 입력 데이터가 각 라벨에 해당할 확률이 계산될 수 있으며 그 중 가장 높은 확률을 가지는 라벨값이 도출될 수 있다. 상기 라벨값이 소음원의 위치 정보를 나타낼 수 있다. 회귀 모델의 경우, 소음원의 위치 정보가 연속적인 라벨값으로 출력될 수 있다. 따라서, 소음원 위치 추정 장치는 회귀 모델을 기반으로 접근 불가능한 위치에 존재하는 소음원에 대한 위치 추정도 가능하다.In the case of a classification model, the probability that input data corresponds to each label can be calculated through the softmax function in the last layer of the neural network, and the label value with the highest probability can be derived. The label value may indicate location information of the noise source. In the case of a regression model, location information of the noise source can be output as continuous label values. Therefore, the noise source location estimation device can also estimate the location of a noise source that exists in an inaccessible location based on a regression model.
도 6 내지 도 8은 본 발명의 일실시예에 따른 소음원 위치 추정 방법의 검증에 사용된 파이프 시스템의 구조를 나타내는 도면이다.6 to 8 are diagrams showing the structure of a pipe system used to verify the method for estimating the location of a noise source according to an embodiment of the present invention.
본 발명에 따른 파이프 시스템 내 소음원 위치 추정 방법의 검증을 위해서 다음의 4가지 조건으로 실험이 진행되었다.To verify the method for estimating the location of noise sources in a pipe system according to the present invention, an experiment was conducted under the following four conditions.
(1) 음원 특성에 따른 직선 배관에서의 실험(1) Experiments in straight pipes according to sound source characteristics
(2) 파이프 내 물의 존재 여부에 따른 직선 배관 실험(2) Straight pipe experiment depending on the presence or absence of water in the pipe
(3) 파이프 경계조건에 따른 실험(3) Experiment according to pipe boundary conditions
(4) 파이프 연결 구조에 따른 실험(4) Experiment according to pipe connection structure
본 실험을 위해 도 6 내지 도 8에 도시된 것과 같이, 파이프, 센서 및 지지대를 배치하였다.For this experiment, pipes, sensors, and supports were arranged as shown in Figures 6 to 8.
조건 (1), (2), (3)에 대해서는 도 6의 직선 파이프에서 실험을 수행하였고, 조건 (4)에 대해서는 도 7의 엘보우(elbow) 파이프 및 도 8의 브랜치(branch) 파이프에서도 실험을 수행하였다. For conditions (1), (2), and (3), experiments were performed on the straight pipe of Figure 6, and for condition (4), experiments were also performed on the elbow pipe of Figure 7 and the branch pipe of Figure 8. was carried out.
조건 (1)의 실험 목적은 다음과 같다. 선박 및 잠수함의 각 배관 시스템에는 다양한 소음원들이 존재하며, 결함 등에 의한 임펄스(impulse) 신호도 존재할 것이므로 이는 임팩트 해머(impact hammer)로 구현하였다. 특히 기계류 등에서 발생되는 신호는 연속적인 신호이며, 주기성을 띄는 신호이므로 이는 사인(sine) 신호로 100, 200, 500Hz로 가진하였다. 그리고 다양한 소음원이 복합적이며, 변조(modulation)신호처럼 광대역(broadband)의 성향을 보이므로 이는 스윕(sweep)신호를 사용해 구현하였다. 사인 신호와 스윕 신호의 구현에는 가진기를 사용하였다. 따라서 이에 따른 각 소음원별 위치 추정 능력 검증을 위한 데이터를 취득하였다.The purpose of the experiment in condition (1) is as follows. There are various noise sources in each piping system of ships and submarines, and there will also be impulse signals due to defects, etc., so this was implemented with an impact hammer. In particular, signals generated from machinery are continuous and periodic signals, so they were excited at 100, 200, and 500 Hz as sine signals. And since the various noise sources are complex and tend to be broadband like a modulation signal, this was implemented using a sweep signal. An exciter was used to implement the sine signal and sweep signal. Therefore, data was acquired to verify the location estimation ability for each noise source.
조건 (2)의 실험 목적은 다음과 같다. 파이프 시스템의 경우 파이프 내 물의 높이가 다양할 수 있다. 즉, 물이 존재하지 않을 수도 있고, 물이 존재하더라도 그 양은 다를 수가 있다. 따라서 대표적으로 물이 존재하는 경우와 그렇지 않은 경우를 나눠서 실험하였다.The purpose of the experiment in condition (2) is as follows. In pipe systems, the level of water within the pipes can vary. In other words, water may not exist, and even if water exists, the amount may be different. Therefore, the experiment was conducted separately in cases where water was present and cases where water was not present.
조건 (3)의 실험 목적은 다음과 같다. 선체 내부에에 있는 파이프들은 다양한 경계 조건을 갖고 있다. 특히 파이프를 고정하는데 여러 종류의 U-bolt를 사용한다. 대표적으로 스틸 유볼트(steel U-bolt)와 고무 유볼트(rubber U-bolt)로 나눠서 데이터를 수집하였다.The purpose of the experiment in condition (3) is as follows. Pipes inside the hull have various boundary conditions. In particular, various types of U-bolts are used to secure pipes. Typically, data was collected divided into steel U-bolts and rubber U-bolts.
조건 (4)의 실험 목적은 다음과 같다. 선박 및 잠수함 등에는 직선 파이프만 존재하는 것이 아니라 다양한 종류의 파이프들이 존재한다. 따라서 도 6 내지 도 8과 같이 파이프 구조를 구현하고, CNN 모델 기반의 소음원 위치 추정 방법의 유효성과 성능을 검증하기 위한 파이프 실험을 진행하였다.The purpose of the experiment in condition (4) is as follows. In ships and submarines, there are not only straight pipes, but various types of pipes. Therefore, a pipe structure was implemented as shown in Figures 6 to 8, and a pipe experiment was conducted to verify the effectiveness and performance of the CNN model-based noise source location estimation method.
상기 4가지 조건에 따라, 각각 파이프를 0.5m의 간격으로 각 음원 특성에 대해서 한 위치 당 100개의 데이터를 수집하였다. 단, 임펄스(impulse) 신호에 대해서는 50개의 데이터를 수집하였다. 센서의 민감도(sensitivity) 범위 내에서 신호의 샘플링 주파수를(sampling frequency) 설정하고, B&K사의 LAN-XI를 사용해 데이터를 수집하여 데이터 분석과 처리하기 쉬운 wav 파일로 변환하였다.According to the above four conditions, 100 pieces of data per location were collected for each sound source characteristic at intervals of 0.5m from each pipe. However, 50 pieces of data were collected for impulse signals. The sampling frequency of the signal was set within the sensor's sensitivity range, and data was collected using B&K's LAN-XI and converted into a wav file for easy data analysis and processing.
이 중 하나의 진동 센서로부터 획득되는 진동 신호와 그 센서를 기준으로 하는 위치 정보를 각각 CNN 모델의 입력값과 라벨값으로 사용하였다. 상기 진동 신호를 CNN 모델에 입력하기 위해서는 입력값이 224x224 픽셀로 이루어져야 할 필요가 있다. 따라서 상기 진동 신호는 다음과 같은 전처리 과정을 거칠 수 있다. 먼저, 상기 진동 신호를 STFT을 통해 작은 시간 프레임으로 나누고, 각각에 프레임에 해당하는 주파수 도메인으로 변환하여, 이를 프레임의 시간 순서에 따라 이어 붙인다. 이 과정을 통해 1차원의 시간 데이터가 2차원의 시간/주파수 데이터로 변환된다. 그러나 이는 시인성이 낮기 때문에 시인성을 높이고 이미지의 특징을 잘 나타내기 위해서, 또한 실제 데이터는 낮은 주파수 대역에서 더 많은 정보를 갖고 있으므로 상기 2차원의 시간/주파수 데이터를 로그-멜 스펙트로그램(Log-mel spectrogram)으로 가공하였다. 이를 위하여 먼저, 멜-필터뱅크(mel-filter bank)를 이용해 상기 2차원의 시간/주파수 데이터에서 저주파 대역을 강화시키고, 로그 변환을 통해 위치 정보에 따른 이미지의 식별성을 높였다. 이후 로그-멜 스펙트로그램 이미지의 픽셀을 224x224 픽셀로 변환하였다. 상기 데이터들을 학습 데이터와 유효성 평가 데이터로 나누었다.Among these, the vibration signal obtained from one vibration sensor and the location information based on that sensor were used as input and label values for the CNN model, respectively. In order to input the vibration signal into the CNN model, the input value needs to be 224x224 pixels. Therefore, the vibration signal may undergo the following preprocessing process. First, the vibration signal is divided into small time frames through STFT, converted to a frequency domain corresponding to each frame, and concatenated according to the time order of the frames. Through this process, one-dimensional time data is converted into two-dimensional time/frequency data. However, because visibility is low, in order to increase visibility and better represent the characteristics of the image, and because the actual data has more information in the low frequency band, the two-dimensional time/frequency data is used as a log-mel spectrogram (Log-mel spectrogram). It was processed using a spectrogram. To this end, first, the low-frequency band was strengthened in the two-dimensional time/frequency data using a mel-filter bank, and the identification of the image according to location information was improved through log transformation. Afterwards, the pixels of the log-mel spectrogram image were converted to 224x224 pixels. The above data were divided into learning data and effectiveness evaluation data.
소음원 위치 추정을 위한 CNN 모델은 분류 모델와 회귀 모델을 사용하였다. 전처리를 거친 이미지를 통해서 분류와 회귀를 시행하기 위해서는 모델이 복잡하고 깊은 층(레이어)을 갖게 된다. 또한 이러한 모델은, 데이터의 특징을 추출하는 가중치 업데이트를 위해서 상당히 많은 데이터와 시간이 필요하다. 이를 해결하기 위해서 전이학습을 이용하였으며, 분류 모델로서 VGG16, 회귀 모델로서 ResNet50을 사용하였다. 두 모델의 구조는 CNN의 특징 추출에 좋은 성능을 보인 모델 구조이다.The CNN model for noise source location estimation used a classification model and a regression model. In order to perform classification and regression through preprocessed images, the model has complex and deep layers. Additionally, these models require a significant amount of data and time to update weights that extract data features. To solve this, transfer learning was used, and VGG16 was used as a classification model and ResNet50 as a regression model. The structures of the two models are model structures that have shown good performance in CNN feature extraction.
CNN 모델의 컨볼루션(convolution) 연산은 다음의 수학식 1과 같이 표현될 수 있다.The convolution operation of the CNN model can be expressed as Equation 1 below.
여기서, I는 입력값, K는 필터(커널), i는 입력값의 가로축 i번째 원소, j는 입력값의 세로축 j번째 원소, m은 필터의 가로축 m번째 원소, n은 필터의 세로축 n번째 원소를 각각 나타낸다.Here, I is the input value, K is the filter (kernel), i is the ith element on the horizontal axis of the input value, j is the jth element on the vertical axis of the input value, m is the mth element on the horizontal axis of the filter, and n is the nth element on the vertical axis of the filter. Each element is represented.
이 구조에 미세조정(fine-tuning)을 통해서 분류 모델 및 회귀 모델 각각에 맞는 어뎁티브 레이어(adaptive layer)를 각각의 생성하였다.Through fine-tuning of this structure, adaptive layers were created for each classification model and regression model.
분류 모델의 경우 VGG16에 평탄화(flatten) 레이어, 선형(linear) 함수와 다음의 수학식 2의 Relu 함수를 사용한 활성화 함수를 사용한 활성화 레이어들, 그리고 위치 라벨의 개수를 출력으로 내는 다음의 수학식 3과 같은 소프트맥스(softmax) 함수를 사용하였다.In the case of the classification model, a flatten layer in VGG16, activation layers using a linear function and an activation function using the Relu function of Equation 2 below, and Equation 3 below output the number of location labels. The same softmax function was used.
여기서, x는 입력값을 나타낸다.Here, x represents the input value.
여기서, x는 입력값, i는 입력값의 i번째 원소, k는 총 라벨의 개수를 각각 나타낸다.Here, x represents the input value, i represents the ith element of the input value, and k represents the total number of labels.
회귀 모델의 경우 ResNet50에 2차원 GAP(Global Average Pooling)을 사용하여 평탄화하였고, 활성화 함수 ReLu를 사용한 선형함수 레이어들과 회귀를 위해 최종으로 1개의 출력값을 내는 선형함수로 이루어진 레이어를 생성하였다.In the case of the regression model, it was smoothed using two-dimensional GAP (Global Average Pooling) in ResNet50, and a layer consisting of linear function layers using the activation function ReLu and a linear function that produces one final output value for regression was created.
CNN 모델의 학습은 다음과 같이 이루어졌다.Learning of the CNN model was carried out as follows.
분류 학습의 경우 최적화 함수로서 아담(adam) 최적화 함수가 사용되었고, 목적 함수로서 다음의 수학식 4와 같은 크로스 엔트로피 손실함수(cross-entropy loss function)가 사용되었다.In the case of classification learning, the Adam optimization function was used as the optimization function, and the cross-entropy loss function as shown in Equation 4 below was used as the objective function.
여기서, t는 정답 레이블, y는 신경망의 출력값(softmax의 출력값), k는 정답 레이블의 k번째 원소, i는 신경망 출력값의 i번째 원소를 각각 나타낸다.Here, t is the correct answer label, y is the output value of the neural network (output value of softmax), k is the kth element of the correct answer label, and i is the ith element of the neural network output value.
회귀 학습의 경우 분류 학습과 동일하게 최적화 함수로서 아담 최적화 함수가 사용되었고, 목적 함수의 경우에는 다음의 수학식 5와 같은 제곱오차 함수(mean squared error function)가 CNN 모델의 학습에 사용되었다.In the case of regression learning, the Adam optimization function was used as an optimization function as in classification learning, and in the case of the objective function, the mean squared error function as shown in Equation 5 below was used to learn the CNN model.
여기서, t는 정답 레이블, y는 신경망의 출력값(softmax의 출력값), n은 신경망 출력값의 원소의 총 개수, i는 신경망 출력값의 i번째 원소를 각각 나타낸다.Here, t is the correct answer label, y is the output value of the neural network (output value of softmax), n is the total number of elements in the neural network output value, and i represents the ith element of the neural network output value.
한편 분류의 경우, CNN 모델의 가장 마지막 레이어에서 소프트맥스(softmax) 함수를 기반으로 입력 데이터가 각 라벨에 해당할 확률을 계산하여 그 중 가장 높은 확률을 가지는 라벨값이 도출되는데, 그 라벨값이 소음원의 위치 정보를 나타내어 위치가 추정될 수 있다. 회귀의 경우, 출력값이 연속적인 라벨값으로 소음원의 위치 정보가 출력되어 접근 불가능한 위치에 대한 추정도 가능하다.Meanwhile, in the case of classification, the probability that the input data corresponds to each label is calculated based on the softmax function in the last layer of the CNN model, and the label value with the highest probability is derived. The label value is The location can be estimated by indicating the location information of the noise source. In the case of regression, the location information of the noise source is output as a continuous label value, making it possible to estimate inaccessible locations.
도 9는 본 발명의 일실시예에 따른 소음원의 위치를 추정하는 방법을 나타내는 도면이다.Figure 9 is a diagram showing a method for estimating the location of a noise source according to an embodiment of the present invention.
이하, 도 9를 참조하여 본 발명의 일실시예에 따른 소음원 위치 추정 장치가 파이프 시스템에서 소음원의 위치를 추정하는 방법에 대해 설명한다.Hereinafter, with reference to FIG. 9, a method of the noise source location estimation device according to an embodiment of the present invention to estimate the location of the noise source in the pipe system will be described.
소음원 위치 추정 장치는 파이프 시스템에 구비된 진동 센서로부터 진동 신호를 수신하면(S900), 상기 진동 신호를 전처리하여 이미지 데이터를 생성한다(S910). 여기서, 상기 진동 신호는 하나의 진동 센서로부터 수신되는 시간/가속도 도메인의 데이터일 수 있다. 일 예로, 소음원 위치 추정 장치는 CNN 모델에 입력하기 위한 이미지 데이터를 생성하기 위해 상기 시간/가속도 도메인의 데이터에 대해 STFT를 수행하여 상기 시간/가속도 도메인의 데이터를 시간/주파수 도메인의 스펙트로그램으로 변환하고, 상기 스펙트로그램을 멜 필터 등을 이용하여 필터링하여 상기 스펙트로그램의 저주파 대역에 가중치를 부가할 수 있다. 그리고, 상기 가중치가 부가된 스펙트로그램에 대해 로그 연산을 수행하여 CNN 모델의 입력 데이터로 사용하기 적합한 이미지 데이터를 생성할 수 있다.When the noise source location estimation device receives a vibration signal from a vibration sensor provided in the pipe system (S900), it preprocesses the vibration signal to generate image data (S910). Here, the vibration signal may be time/acceleration domain data received from one vibration sensor. As an example, the noise source location estimation device performs STFT on the data in the time/acceleration domain to generate image data for input to the CNN model and converts the data in the time/acceleration domain into a spectrogram in the time/frequency domain. And, the spectrogram can be filtered using a Mel filter or the like to add weight to the low-frequency band of the spectrogram. Additionally, logarithmic operation can be performed on the weighted spectrogram to generate image data suitable for use as input data for a CNN model.
소음원 위치 추정 장치는 상기 이미지 데이터를 기반으로 CNN 모델을 이용하여 상기 파이프 시스템 내에서 소음원의 위치를 추정할 수 있다(S920).The noise source location estimation device can estimate the location of the noise source within the pipe system using a CNN model based on the image data (S920).
예를 들어, 소음원 위치 추정 장치는 CNN 모델의 분류 모델을 기반으로 상기 이미지 데이터의 라벨값이 미리 학습된 라벨들에 해당할 확률을 각각 계산하고, 상기 라벨들 중 가장 높은 확률을 가지는 라벨값을 상기 소음원의 위치로 추정할 수 있다. 이 경우, 상기 가장 높은 확률을 가지는 라벨값에 대한 위치 정보가 상기 소음원의 위치에 대한 정보로서 출력될 수 있다.For example, the noise source location estimation device calculates the probability that the label value of the image data corresponds to the previously learned labels based on the classification model of the CNN model, and selects the label value with the highest probability among the labels. It can be estimated from the location of the noise source. In this case, location information about the label value with the highest probability may be output as information about the location of the noise source.
다른 예로, 소음원 위치 추정 장치는 CNN 모델의 회귀 모델을 기반으로 상기 이미지 데이터의 라벨값이 미리 설정된 라벨들에 해당할 확률을 각각 계산하고, 상기 라벨들의 라벨값들을 연속적으로 출력할 수 있다. 그리고, 상기 연속적인 라벨값들을 기반으로 상기 소음원의 위치를 추정할 수 있다(S920). 이 경우, 상기 연속적인 라벨값들이 상기 소음원의 위치 정보로서 출력될 수 있다. 다시 말해, 소음원의 위치 정보는 연속적인 라벨값들로 구성될 수 있다.As another example, the noise source location estimation device may calculate the probability that the label values of the image data correspond to preset labels based on a regression model of the CNN model, and continuously output the label values of the labels. Then, the location of the noise source can be estimated based on the continuous label values (S920). In this case, the continuous label values can be output as location information of the noise source. In other words, the location information of the noise source may be composed of continuous label values.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.Above, various preferred embodiments of the present invention have been described by giving some examples, but the description of the various embodiments described in the "Detailed Contents for Carrying out the Invention" section is merely illustrative and the present invention Those skilled in the art will understand from the above description that the present invention can be implemented with various modifications or equivalent implementations of the present invention.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.In addition, since the present invention can be implemented in various other forms, the present invention is not limited by the above description, and the above description is intended to make the disclosure of the present invention complete and is commonly used in the technical field to which the present invention pertains. It is provided only to fully inform those with knowledge of the scope of the present invention, and it should be noted that the present invention is only defined by each claim in the claims.
310: 진동 센서
320: 진동 신호
330: 이미지 데이터
340: CNN 모델310: Vibration sensor
320: Vibration signal
330: Image data
340: CNN model
Claims (15)
상기 파이프 시스템에 구비된 하나의 진동 센서로부터 진동 신호를 수신하도록 구성되는 진동 신호 수신부;
상기 진동 신호를 전처리하여 이미지 데이터를 생성하도록 구성되는 이미지 데이터 생성부;
상기 이미지 데이터를 기반으로 CNN(Convolutional Neural Network) 모델을 이용하여 상기 파이프 시스템 내에서 소음원의 위치를 추정하도록 구성되는 소음원 위치 추정부; 및
상기 소음원의 위치 정보를 출력하도록 구성되는 위치 정보 출력부를 포함하며,
상기 소음원 위치 추정부는,
상기 CNN 모델을 기반으로 상기 이미지 데이터의 라벨값이 인공 송신원에 의해 복수의 소음원 특성을 구현한 미리 학습된 라벨들(labels)에 해당할 확률을 각각 계산하고, 상기 라벨들 중 가장 높은 확률을 가지는 라벨값을 기반으로 상기 소음원의 위치를 추정하며,
상기 CNN 모델의 학습을 위한 상기 진동 센서의 데이터 수집은 음원 특성에 따른 직선 파이프와, 파이프 내 물의 존재 여부에 따른 직선 파이프와, 파이프 경계 조건에 따른 직선 파이프와, 파이프 연결 구조에 따른 엘보우 파이프 및 브랜치 파이프에서 수행되며,
상기 음원 특성에 따른 직선 파이프에서 결함에 의한 임펄스 신호는 임팩트 해머로 구현하고, 연속적이고 주기성을 띄는 기계류에 의한 신호는 사인 신호로 가진하며, 광대역의 성향을 나타내는 변조 신호는 스윕 신호로 구현하여 음원 특성에 따른 데이터를 수집하고,
상기 파이프 내 물의 존재 여부에 따른 직선 파이프에서 물이 존재하는 경우와 존재하지 않는 경우로 나눠 데이터를 수집하며,
상기 파이프 경계 조건에 따른 직선 파이프에서 스틸 유볼트와 고무 유볼트로 나눠 데이터를 수집하고,
상기 파이프 연결 구조에 따른 엘보우 파이프 및 브랜치 파이프에서 파이프 연결 구조에 따라 데이터를 수집하며,
상기 소음원 위치 추정부는 상기 진동 센서로부터 획득되는 진동 신호와 상기 진동 센서를 기준으로 하는 위치 정보를 상기 CNN 모델의 입력값과 라벨값으로 사용하는, 장치.In a device for estimating the location of a noise source in a pipe system,
a vibration signal receiver configured to receive a vibration signal from a vibration sensor provided in the pipe system;
an image data generator configured to generate image data by preprocessing the vibration signal;
a noise source location estimation unit configured to estimate the location of a noise source within the pipe system using a CNN (Convolutional Neural Network) model based on the image data; and
It includes a location information output unit configured to output location information of the noise source,
The noise source location estimation unit,
Based on the CNN model, the probability that the label value of the image data corresponds to the labels learned in advance that implement the characteristics of a plurality of noise sources by an artificial transmitter is calculated, and the label with the highest probability among the labels is calculated. Estimate the location of the noise source based on the label value,
Data collection from the vibration sensor for learning the CNN model includes a straight pipe according to the sound source characteristics, a straight pipe according to the presence or absence of water in the pipe, a straight pipe according to the pipe boundary conditions, an elbow pipe according to the pipe connection structure, and Performed on branch pipes,
The impulse signal caused by a defect in a straight pipe according to the above sound source characteristics is implemented as an impact hammer, the signal caused by continuous and periodic machinery is excited as a sine signal, and the modulation signal showing a broadband tendency is implemented as a sweep signal to produce the sound source. Collect data according to characteristics,
Data is collected in a straight pipe according to the presence or absence of water in the pipe, divided into cases where water is present and cases where water is not present,
Collect data by dividing straight pipes into steel U-bolts and rubber U-bolts according to the pipe boundary conditions,
Data is collected according to the pipe connection structure from elbow pipes and branch pipes according to the pipe connection structure,
The noise source location estimation unit uses the vibration signal obtained from the vibration sensor and the location information based on the vibration sensor as input values and label values of the CNN model.
상기 진동 센서는 하나의 가속도계(accelerometer)로 구성되고,
상기 진동 신호는 시간/가속도 도메인(domain)의 데이터인 것을 특징으로 하는, 장치.According to paragraph 1,
The vibration sensor consists of an accelerometer,
The device is characterized in that the vibration signal is data in the time/acceleration domain.
상기 이미지 데이터 생성부는,
상기 시간/가속도 도메인의 데이터에 대해 STFT(Short Time Fourier Transform)를 수행하여 상기 시간/가속도 도메인의 데이터를 시간/주파수 도메인의 스펙트로그램(spectrogram)으로 변환하고, 상기 스펙트로그램을 필터링하여 상기 스펙트로그램의 저주파 대역에 가중치를 부가하고, 상기 가중치가 부가된 스펙트로그램을 기반으로 상기 이미지 데이터를 생성하는 것을 특징으로 하는, 장치.According to paragraph 2,
The image data generator,
By performing STFT (Short Time Fourier Transform) on the data in the time/acceleration domain, the data in the time/acceleration domain are converted into a spectrogram in the time/frequency domain, and the spectrogram is filtered to produce the spectrogram. A device characterized by adding weight to a low frequency band and generating the image data based on the weighted spectrogram.
상기 위치 정보 출력부는,
상기 가장 높은 확률을 가지는 라벨값에 대한 위치 정보를 상기 소음원의 위치에 대한 정보로서 출력하는 것을 특징으로 하는, 장치.According to paragraph 1,
The location information output unit,
Characterized in that outputting location information about the label value with the highest probability as information about the location of the noise source.
상기 소음원 위치 추정부는,
상기 CNN 모델을 기반으로 상기 이미지 데이터의 라벨값이 미리 설정된 라벨들에 해당할 확률을 각각 계산하고, 상기 라벨들의 라벨값들을 연속적으로 출력하고, 상기 연속적인 라벨값들을 기반으로 상기 소음원의 위치를 추정하는 것을 특징으로 하는, 장치.According to paragraph 1,
The noise source location estimation unit,
Based on the CNN model, the probability that the label value of the image data corresponds to the preset labels is calculated, the label values of the labels are continuously output, and the location of the noise source is determined based on the continuous label values. A device characterized in that estimation.
상기 위치 정보 출력부는,
상기 연속적인 라벨값들을 상기 소음원의 위치 정보로서 출력하는 것을 특징으로 하는, 장치.According to clause 6,
The location information output unit,
A device characterized in that outputting the continuous label values as location information of the noise source.
상기 파이프 시스템에 구비된 하나의 진동 센서로부터 진동 신호를 수신하는 단계;
상기 진동 신호를 전처리하여 이미지 데이터를 생성하는 단계;
상기 이미지 데이터를 기반으로 CNN(Convolutional Neural Network) 모델을 이용하여 상기 파이프 시스템 내에서 소음원의 위치를 추정하는 단계; 및
상기 소음원의 위치 정보를 출력하는 단계
를 포함하며,
상기 추정하는 단계는,
상기 CNN 모델을 기반으로 상기 이미지 데이터의 라벨값이 인공 송신원에 의해 복수의 소음원 특성을 구현한 미리 학습된 라벨들(labels)에 해당할 확률을 각각 계산하는 단계; 및
상기 라벨들 중 가장 높은 확률을 가지는 라벨값을 상기 소음원의 위치로 추정하는 단계를 포함하고,
상기 CNN 모델의 학습을 위한 상기 진동 센서의 데이터 수집은 음원 특성에 따른 직선 파이프와, 파이프 내 물의 존재 여부에 따른 직선 파이프와, 파이프 경계 조건에 따른 직선 파이프와, 파이프 연결 구조에 따른 엘보우 파이프 및 브랜치 파이프에서 수행되며,
상기 음원 특성에 따른 직선 파이프에서 결함에 의한 임펄스 신호는 임팩트 해머로 구현하고, 연속적이고 주기성을 띄는 기계류에 의한 신호는 사인 신호로 가진하며, 광대역의 성향을 나타내는 변조 신호는 스윕 신호로 구현하여 음원 특성에 따른 데이터를 수집하고,
상기 파이프 내 물의 존재 여부에 따른 직선 파이프에서 물이 존재하는 경우와 존재하지 않는 경우로 나눠 데이터를 수집하며,
상기 파이프 경계 조건에 따른 직선 파이프에서 스틸 유볼트와 고무 유볼트로 나눠 데이터를 수집하고,
상기 파이프 연결 구조에 따른 엘보우 파이프 및 브랜치 파이프에서 파이프 연결 구조에 따라 데이터를 수집하며,
상기 소음원 위치 추정부는 상기 진동 센서로부터 획득되는 진동 신호와 상기 진동 센서를 기준으로 하는 위치 정보를 상기 CNN 모델의 입력값과 라벨값으로 사용하는, 방법.In a method for a noise source location estimation device to estimate the location of a noise source in a pipe system,
Receiving a vibration signal from a vibration sensor provided in the pipe system;
Preprocessing the vibration signal to generate image data;
estimating the location of a noise source within the pipe system using a Convolutional Neural Network (CNN) model based on the image data; and
Outputting location information of the noise source
Includes,
The estimation step is,
Calculating the probability that the label value of the image data corresponds to pre-learned labels that implement a plurality of noise source characteristics by an artificial transmitter based on the CNN model; and
Comprising the step of estimating the label value with the highest probability among the labels as the location of the noise source,
Data collection from the vibration sensor for learning the CNN model includes a straight pipe according to the sound source characteristics, a straight pipe according to the presence or absence of water in the pipe, a straight pipe according to the pipe boundary conditions, an elbow pipe according to the pipe connection structure, and Performed on branch pipes,
The impulse signal caused by a defect in a straight pipe according to the above sound source characteristics is implemented as an impact hammer, the signal caused by continuous and periodic machinery is excited as a sine signal, and the modulation signal showing a broadband tendency is implemented as a sweep signal to produce the sound source. Collect data according to characteristics,
Data is collected in a straight pipe according to the presence or absence of water in the pipe, divided into cases where water is present and cases where water is not present,
Collect data by dividing straight pipes into steel U-bolts and rubber U-bolts according to the pipe boundary conditions,
Data is collected according to the pipe connection structure from elbow pipes and branch pipes according to the pipe connection structure,
The method wherein the noise source location estimation unit uses a vibration signal obtained from the vibration sensor and location information based on the vibration sensor as input values and label values of the CNN model.
상기 진동 신호는,
하나의 진동 센서로부터 수신되는 시간/가속도 도메인(domain)의 데이터인 것을 특징으로 하는, 방법.According to clause 8,
The vibration signal is,
A method, characterized in that data in the time/acceleration domain is received from one vibration sensor.
상기 생성하는 단계는,
상기 시간/가속도 도메인의 데이터에 대해 STFT(Short Time Fourier Transform)를 수행하여 상기 시간/가속도 도메인의 데이터를 시간/주파수 도메인의 스펙트로그램(spectrogram)으로 변환하는 단계;
상기 스펙트로그램을 필터링하여 상기 스펙트로그램의 저주파 대역에 가중치를 부가하는 단계; 및
상기 가중치가 부가된 스펙트로그램을 기반으로 상기 이미지 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는, 방법.According to clause 9,
The generating step is,
converting the time/acceleration domain data into a time/frequency domain spectrogram by performing a Short Time Fourier Transform (STFT) on the time/acceleration domain data;
filtering the spectrogram and adding weight to a low-frequency band of the spectrogram; and
Characterized in that it includes the step of generating the image data based on the weighted spectrogram.
상기 출력하는 단계는,
상기 가장 높은 확률을 가지는 라벨값에 대한 위치 정보를 상기 소음원의 위치에 대한 정보로서 출력하는 단계인 것을 특징으로 하는, 소음원 위치 추정 방법.According to clause 8,
The output step is,
Characterized in that the step of outputting location information about the label value with the highest probability as information about the location of the noise source.
상기 추정하는 단계는,
상기 CNN 모델을 기반으로 상기 이미지 데이터의 라벨값이 미리 설정된 라벨들에 해당할 확률을 각각 계산하는 단계;
상기 라벨들의 라벨값들을 연속적으로 출력하는 단계; 및
상기 연속적인 라벨값들을 기반으로 상기 소음원의 위치를 추정하는 단계를 포함하는 것을 특징으로 하는, 소음원 위치 추정 방법.According to clause 8,
The estimation step is,
calculating the probability that label values of the image data correspond to preset labels based on the CNN model;
Continuously outputting label values of the labels; and
A method for estimating the location of a noise source, comprising the step of estimating the location of the noise source based on the continuous label values.
상기 추정하는 단계는,
상기 연속적인 라벨값들을 상기 소음원의 위치 정보로서 출력하는 단계인 것을 특징으로 하는, 소음원 위치 추정 방법.According to clause 13,
The estimation step is,
Characterized in that the step of outputting the continuous label values as location information of the noise source.
파이프 시스템의 일측에 구비되고 상기 파이프 시스템에서 발생되는 진동을 계측하는 하나의 진동 센서; 및
상기 하나의 진동 센서로부터 진동 신호를 수신하고, 상기 진동 신호를 전처리하여 이미지 데이터를 생성하고, 상기 이미지 데이터를 기반으로 CNN(Convolutional Neural Network) 모델을 이용하여 상기 파이프 시스템 내 소음원의 위치를 추정하는 소음원 위치 추정 장치를 포함하며,
상기 소음원 위치 장치는,
상기 CNN 모델을 기반으로 상기 이미지 데이터의 라벨값이 인공 송신원에 의해 복수의 소음원 특성을 구현한 미리 학습된 라벨들(labels)에 해당할 확률을 각각 계산하고, 상기 라벨들 중 가장 높은 확률을 가지는 라벨값을 기반으로 상기 소음원의 위치를 추정하며,
상기 CNN 모델의 학습을 위한 상기 진동 센서의 데이터 수집은 음원 특성에 따른 직선 파이프와, 파이프 내 물의 존재 여부에 따른 직선 파이프와, 파이프 경계 조건에 따른 직선 파이프와, 파이프 연결 구조에 따른 엘보우 파이프 및 브랜치 파이프에서 수행되며,
상기 음원 특성에 따른 직선 파이프에서 결함에 의한 임펄스 신호는 임팩트 해머로 구현하고, 연속적이고 주기성을 띄는 기계류에 의한 신호는 사인 신호로 가진하며, 광대역의 성향을 나타내는 변조 신호는 스윕 신호로 구현하여 음원 특성에 따른 데이터를 수집하고,
상기 파이프 내 물의 존재 여부에 따른 직선 파이프에서 물이 존재하는 경우와 존재하지 않는 경우로 나눠 데이터를 수집하며,
상기 파이프 경계 조건에 따른 직선 파이프에서 스틸 유볼트와 고무 유볼트로 나눠 데이터를 수집하고,
상기 파이프 연결 구조에 따른 엘보우 파이프 및 브랜치 파이프에서 파이프 연결 구조에 따라 데이터를 수집하며,
상기 소음원 위치 추정부는 상기 진동 센서로부터 획득되는 진동 신호와 상기 진동 센서를 기준으로 하는 위치 정보를 상기 CNN 모델의 입력값과 라벨값으로 사용하는, 시스템.In a system for estimating the location of a noise source in a pipe system,
One vibration sensor provided on one side of the pipe system and measuring vibration generated in the pipe system; and
Receiving a vibration signal from the one vibration sensor, preprocessing the vibration signal to generate image data, and estimating the location of the noise source in the pipe system using a CNN (Convolutional Neural Network) model based on the image data. Includes a noise source location estimation device,
The noise source location device,
Based on the CNN model, the probability that the label value of the image data corresponds to the labels learned in advance that implement the characteristics of a plurality of noise sources by an artificial transmitter is calculated, and the label with the highest probability among the labels is calculated. Estimate the location of the noise source based on the label value,
Data collection from the vibration sensor for learning the CNN model includes a straight pipe according to the sound source characteristics, a straight pipe according to the presence or absence of water in the pipe, a straight pipe according to the pipe boundary conditions, an elbow pipe according to the pipe connection structure, and Performed on branch pipes,
The impulse signal caused by a defect in a straight pipe according to the above sound source characteristics is implemented as an impact hammer, the signal caused by continuous and periodic machinery is excited as a sine signal, and the modulation signal showing a broadband tendency is implemented as a sweep signal to produce the sound source. Collect data according to characteristics,
Data is collected in a straight pipe according to the presence or absence of water in the pipe, divided into cases where water is present and cases where water is not present,
Collect data by dividing straight pipes into steel U-bolts and rubber U-bolts according to the pipe boundary conditions,
Data is collected according to the pipe connection structure from elbow pipes and branch pipes according to the pipe connection structure,
The system wherein the noise source location estimation unit uses a vibration signal obtained from the vibration sensor and location information based on the vibration sensor as input values and label values of the CNN model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220121886A KR102633564B1 (en) | 2022-09-26 | 2022-09-26 | Method and apparatus for estimating a location of a noise source in a pipe system based on Convolutional neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220121886A KR102633564B1 (en) | 2022-09-26 | 2022-09-26 | Method and apparatus for estimating a location of a noise source in a pipe system based on Convolutional neural network |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102633564B1 true KR102633564B1 (en) | 2024-02-02 |
Family
ID=89900283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220121886A KR102633564B1 (en) | 2022-09-26 | 2022-09-26 | Method and apparatus for estimating a location of a noise source in a pipe system based on Convolutional neural network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102633564B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160047835A (en) | 2014-10-23 | 2016-05-03 | 국방과학연구소 | Apparatus and method for active controlling of noise using a medium fluid in a pipe |
| KR20200017612A (en) * | 2018-08-08 | 2020-02-19 | (주)휴빌론 | Method for positioning learning by using Deep learning |
| KR20210070586A (en) * | 2019-12-05 | 2021-06-15 | 주식회사 포스코건설 | Method for treating sound using cnn |
| KR102391064B1 (en) * | 2020-07-21 | 2022-04-27 | 한양대학교 산학협력단 | System and method for the damage location detection of composite structures based on a convolutional neural network |
| KR20220091713A (en) * | 2020-12-24 | 2022-07-01 | 포항공과대학교 산학협력단 | Radar-based detection system and method for domain adaptation |
| KR20220106347A (en) * | 2021-01-22 | 2022-07-29 | 대우조선해양 주식회사 | System and method for forming vibration image data, and computer-readable recording medium including the same |
-
2022
- 2022-09-26 KR KR1020220121886A patent/KR102633564B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160047835A (en) | 2014-10-23 | 2016-05-03 | 국방과학연구소 | Apparatus and method for active controlling of noise using a medium fluid in a pipe |
| KR20200017612A (en) * | 2018-08-08 | 2020-02-19 | (주)휴빌론 | Method for positioning learning by using Deep learning |
| KR20210070586A (en) * | 2019-12-05 | 2021-06-15 | 주식회사 포스코건설 | Method for treating sound using cnn |
| KR102391064B1 (en) * | 2020-07-21 | 2022-04-27 | 한양대학교 산학협력단 | System and method for the damage location detection of composite structures based on a convolutional neural network |
| KR20220091713A (en) * | 2020-12-24 | 2022-07-01 | 포항공과대학교 산학협력단 | Radar-based detection system and method for domain adaptation |
| KR20220106347A (en) * | 2021-01-22 | 2022-07-29 | 대우조선해양 주식회사 | System and method for forming vibration image data, and computer-readable recording medium including the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Robinson et al. | Good practice guide for underwater noise measurement. | |
| Chuang et al. | Leak detection in water distribution pipes based on CNN with mel frequency cepstral coefficients | |
| CN109540282B (en) | Hydrodynamic noise source identification and separation testing system and construction method thereof | |
| EP1975645B1 (en) | Detection device, detection program and detection method | |
| EP2195611B1 (en) | Acoustic thickness measurements using gas as a coupling medium | |
| CN104160203B (en) | System and method for checking submarine pipeline | |
| Zhang et al. | Hidden Markov models for pipeline damage detection using piezoelectric transducers | |
| KR102633564B1 (en) | Method and apparatus for estimating a location of a noise source in a pipe system based on Convolutional neural network | |
| CA2821738C (en) | Method for estimating the water speed of an acoustic node | |
| Huang et al. | Output-only structural health monitoring for deepwater risers: experimental study of wavelet modified SOBI and distributed force index algorithm | |
| Feng | Condition Classification in Underground Pipes Based on Acoustical Characteristics. Acoustical characteristics are used to classify the structural and operational conditions in underground pipes with advanced signal classification methods | |
| JP7439935B2 (en) | Underwater noise monitoring device and underwater noise treatment method | |
| Skinner et al. | Development of underwater beacon for Arctic through-ice communication via satellite | |
| Le Bot et al. | Cross recurrence plot analysis based method for tdoa estimation of underwater acoustic signals | |
| Buszman et al. | Detection of floating objects based on hydroacoustic and hydrodynamic pressure measurements in the coastal zone | |
| RU2300781C1 (en) | Device for hydrometeorological observations of sea range water area | |
| CN209296137U (en) | A kind of hydrodynamic noise identifing source and isolated test macro | |
| JP2008014830A (en) | Hydrate existence domain survey method and survey system | |
| CN114909610A (en) | Method for detecting and positioning leakage of underwater oil and gas pipeline and control system | |
| Jansen et al. | On the conversion between sound pressure and particle motion | |
| KR101738989B1 (en) | Unidentified Object Sonic Detection System | |
| Govea et al. | Motion compensation of opean-ocean acoustic Doppler velocimeter measurements for offshore turbulence assessment | |
| Tegowski et al. | Seabed classification from multibeam echosounder backscatter data using wavelet transformation and neural network approach | |
| CN116576405B (en) | Air duct leakage signal detection method and system | |
| CN111427011A (en) | Submarine asset position calibration method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |