KR20210070586A - Cnn을 이용한 음향 처리방법 - Google Patents

Cnn을 이용한 음향 처리방법 Download PDF

Info

Publication number
KR20210070586A
KR20210070586A KR1020190160505A KR20190160505A KR20210070586A KR 20210070586 A KR20210070586 A KR 20210070586A KR 1020190160505 A KR1020190160505 A KR 1020190160505A KR 20190160505 A KR20190160505 A KR 20190160505A KR 20210070586 A KR20210070586 A KR 20210070586A
Authority
KR
South Korea
Prior art keywords
sound source
sound
virtual
cnn
time difference
Prior art date
Application number
KR1020190160505A
Other languages
English (en)
Other versions
KR102316671B1 (ko
Inventor
최성규
Original Assignee
주식회사 포스코건설
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코건설 filed Critical 주식회사 포스코건설
Priority to KR1020190160505A priority Critical patent/KR102316671B1/ko
Publication of KR20210070586A publication Critical patent/KR20210070586A/ko
Application granted granted Critical
Publication of KR102316671B1 publication Critical patent/KR102316671B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 CNN을 이용하여 음향을 처리하는 CNN을 이용한 음향 처리방법에 관한 것으로서, 음향해석 시뮬레이션을 사용하여 음원 데이터와 음장 데이터를 생성하는 단계와, 시간차 데이터를 대량으로 취득하는 단계와, GCC-PHAT 과정을 통해 주파수 밴드별 특성을 추출하는 단계와, 이미지를 CNN 알고리즘으로 학습시키는단계와, CNN 알고리즘의 입력값에 실제 마이크로부터 취득한 시간차 데이터를 입력하는 단계와, 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 단계를 포함하는 것을 특징으로 한다. 따라서 본 발명은 CNN 알고리즘을 이용하여 두 개의 마이크로부터 측정된 시간차 데이터로부터 소음 발생 지점에서의 노이즈맵핑 결과를 도출함으로써, 소음의 전달 경로를 예측해서 확인하는 동시에 방음 대책을 수립할 수 있는 효과를 제공한다.

Description

CNN을 이용한 음향 처리방법{METHOD FOR TREATING SOUND USING CNN}
본 발명은 CNN을 이용한 음향 처리방법에 관한 것으로서, 보다 상세하게는 CNN(Convolutional Neural Network)을 이용하여 음원 위치예측 및 노이즈맵핑을 하는 CNN을 이용한 음향 처리방법에 관한 것이다.
종래의 음성 분리 또는 음성 향상 방법에는, 통계적 모델 기반의 접근 방법과 템플릿 기반(template-based)의 접근 방법이 있다. 통계적 모델을 기반으로 하는 음성 향상 방법은, 입력 신호로부터 목표가 되는 음성과 그 외의 제거하고자 하는 잡음을 각각 다른 통계적 모델로 만들고, 매 시간 프레임마다 음성 존재 검출(voice activity detection), 잡음 추정(noise power tracking) 등의 방법을 결합하여 음성 향상 프로세스를 수행한다.
이러한 방법은 잡음이 시간의 흐름에 따라 천천히 변한다는(stationary) 가정 하에 진행이 된다. 이와 같이, 통계적 방식에서는, 음성과 잡음에 대한 통계적 모델을 기반으로 음성의 활성 여부를 판단하기 때문에, 신호 대 잡음비가 높은 신호에서는 비교적 정확한 음성 검출이 가능하지만 상대적으로 열악한 잡음 환경, 즉 주변 잡음이 급격히 변화하는(non-stationary) 환경에서는 음성 향상 성능이 급격히 저하되는 단점이 있다.
반면에, 템플릿 기반의 접근 방법은, 사전에 미리 트레이닝 된 음성과 잡음의 패턴이나 통계적인 데이터 정보를 이용하는 방법이다. 즉, 트레이닝을 통해 미리 알고 있는 음성 특성과 잡음 정보를 통해 입력된 신호로부터 잡음을 제거하는 음성 향상 방식이다.
이와 같은 접근 방법에 따르면, 급격히 변화하는 잡음 환경에서도 우수한 음성 향상 결과를 얻을 수 있다. 그러나 음원들의 주파수 특성이 크게 다를 경우에만 주어진 가정에 따른 모델이 성립하며, 서로 비슷해질수록 정확한 음원의 추정이 어려워지는 한계가 있었다.
이러한 음원 위치예측 기술에는 빔포밍(Beamforming), HRSE, TDOA(Time Difference of Arrival) 등 시간 및 주파수 영역에서 많은 연구가 선행되었다. TDOA 방법은 간단한 계산 방식과 높은 정확도로 가장 널리 쓰이고 있으며, 특히 GCC-PHAT( GCC (Generalized Cross Correlation)-PHAT (Phase Transform))는 잡음이나 반향 환경에서 좋은 특성을 보인다.
음향해석 시뮬레이션은 주파수 영역에 따라 FEM(finite element method), BEM(boundary element method), 레이 트레이싱(Ray Tracing) 기법 등 상용 프로그램이 다양하게 존재하며 모델링이 구체적일수록 해석 정확도는 높아지나 해석시간이 오래 걸리는 단점이 있다.
특히, 음원의 위치의 시각화 용도로 음향카메라도 상용화 되어 있으나 구성이 복잡하며 장비가 고가이다. 특히, 실내 모델링의 경우 건물 벽체의 형상과 재질에 따른 흡음도, 투과손실도, 반사계수 등 고려 인자가 증가하게 되며 약간의 변경만으로도 많은 해석 시간이 필요하게 된다는 문제도 있었다.
대한민국 등록특허 제10-1620866호 (2016년05월13일) 대한민국 공개특허 제10-2019-0042203호 (2019년04월24일) 대한민국 등록특허 제10-1992970호 (2019년06월26일)
본 발명은 상기와 같은 종래의 문제점을 해소하기 위해 안출한 것으로서, CNN 알고리즘을 이용하여 두 개의 마이크로부터 측정된 시간차 데이터로부터 소음 발생 지점에서의 노이즈맵핑 결과를 도출함으로써, 소음의 전달 경로를 예측해서 확인하는 동시에 방음 대책을 수립할 수 있는 CNN을 이용한 음향 처리방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 CNN 알고리즘 학습 기법을 적용한 사전 학습 알고리즘 기반의 음원 분리 방법에 따라 음원 사이의 관계를 학습하고 학습된 관계를 이용해 음원 위치예측 및 노이즈맵핑을 도출함으로써, 음원 위치예측 및 노이즈맵핑에 의해 결함의 위치와 크기를 정확히 판단할 수 있어, 불량 원인, 고장 진단시에 적용할 수 있는 CNN을 이용한 음향 처리방법을 제공하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 가상 음원과 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하여 CNN 알고리즘을 학습해서 실제 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출함으로써, 도출된 음원 위치예측 및 노이즈맵핑에 의해 생산 조업 조건에 따른 제품의 품질을 판정하고 이를 이용하여 생산조건을 최적화 하는 동시에 생산현장에서 결함 발생을 최소화할 수 있는 CNN을 이용한 음향 처리방법을 제공하는 것을 또 다른 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명은, CNN(Convolutional Neural Network)을 이용하여 음향을 처리하는 음향 처리방법으로서, 음향해석 시뮬레이션을 사용하여 가상 음원과 복수개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하는 음향해석 시뮬레이션 단계; 가상 음원과 복수개의 가상 마이크 사이의 수평 각도를 변화시키면서 복수개의 가상 마이크 사이의 시간차 데이터를 대량으로 취득하는 시간 도달차 데이터 생성 단계; GCC-PHAT(Generalized Cross Correlation - Phase Transform) 과정을 통해 주파수 밴드별 특성을 추출하는 GCC-PHAT 이미지 생성 단계; 특성의 추출을 위해 정제된 복수의 이미지를 CNN 알고리즘으로 학습시키는 CNN 알고리즘 학습 단계; 상기 학습된 CNN 알고리즘의 입력값에 복수개의 실제 마이크로부터 취득한 시간차 데이터를 입력하는 마이크 실측 데이터 입력 단계; 및 상기 입력된 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 결과 도출 단계;를 포함하는 것을 특징으로 한다.
본 발명의 CNN(Convolutional Neural Network)을 이용하여 음향을 처리하는 음향 처리방법으로서, 음향해석 시뮬레이션을 사용하여 가상 음원과 복수개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하는 음향해석 시뮬레이션 단계; 가상 음원이 위치하는 공간 조건의 설정과 가상 음원 위치의 변경으로 복수의 해석을 수행하는 경계조건 별 음장해석 단계; 가상 음원의 특성에 따른 음장해석 이미지를 수집하는 음장해석 이미지 생성 단계; 특성의 추출을 위해 정제된 복수의 이미지를 CNN 알고리즘으로 학습시키는 CNN 알고리즘 학습 단계; 상기 학습된 CNN 알고리즘의 입력값에 복수개의 실제 마이크로부터 취득한 시간차 데이터를 입력하는 마이크 실측 데이터 입력 단계; 및 상기 입력된 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 결과 도출 단계;를 포함하는 것을 특징으로 한다.
본 발명의 CNN(Convolutional Neural Network)을 이용하여 음향을 처리하는 음향 처리방법으로서, 음향해석 시뮬레이션을 사용하여 가상 음원과 복수개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하는 음향해석 시뮬레이션 단계; 가상 음원과 복수개의 가상 마이크 사이의 수평 각도를 변화시키면서 복수개의 가상 마이크 사이의 시간차 데이터를 복수개 취득하는 시간 도달차 데이터 생성 단계; GCC-PHAT(Generalized Cross Correlation - Phase Transform) 과정을 통해 주파수 밴드별 특성을 추출하는 GCC-PHAT 이미지 생성 단계; 가상 음원이 위치하는 공간 조건의 설정과 가상 음원 위치의 변경으로 복수의 해석을 수행하는 경계조건 별 음장해석 단계; 가상 음원의 특성에 따른 음장해석 이미지를 수집하는 음장해석 이미지 생성 단계; 특성의 추출을 위해 정제된 복수의 이미지를 CNN 알고리즘으로 학습시키는 CNN 알고리즘 학습 단계; 상기 학습된 CNN 알고리즘의 입력값으로 복수개의 실제 마이크로부터 취득한 시간차 데이터를 입력하는 마이크 실측 데이터 입력 단계; 및 상기 입력된 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 결과 도출 단계;를 포함하는 것을 특징으로 한다.
본 발명의 상기 음향해석 시뮬레이션 단계에서는, 음향해석 시뮬레이션을 사용하여 가상 음원으로부터 복수개의 가상 마이크까지 전달되는 시간 및 진폭의 음원 데이터와, 가상 공간에서의 노이즈맵핑의 음장 데이터를 생성하는 것을 특징으로 한다.
본 발명의 상기 GCC-PHAT 이미지 생성 단계는, 복수개의 가상 마이크에 도달한 가상 음원신호를 위상차의 계산으로 크로스 스펙트럼(Cross-Spectrum) 하는 단계; 상기 크로스 스펙트럼의 가중치를 일정하게 하기 위해 주파수 크기를 1로 백색화(Whitening)하는 단계; 음원신호의 시간차를 주파수에 따라 달리하여 복수개의 밴드로 구성하고, 각각의 밴드를 제외한 특성을 0으로 설정해서 밴드 패스 필터(Bandpass Filter)하는 밴드 패스 필터 단계; 및 일정시간 후에 주파수/진폭 영역에서 시간/진폭 영역으로 역과정인 IFFT(Inverse Fast Fourier Tramsform)계산에 의해 특성을 추출하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 상기 밴드 패스 필터 단계는, 음원신호의 시간차를 63∼125Hz, 125∼250Hz, 250∼500Hz, 500∼1,000Hz, 1,000∼2,000Hz, 2,000∼4,000Hz, 4,000∼8,000Hz의 주파수에 따라 밴드로 구성하는 것을 특징으로 한다.
이상에서 살펴본 바와 같이, 본 발명은 CNN 알고리즘을 이용하여 두 개의 마이크로부터 측정된 시간차 데이터로부터 소음 발생 지점에서의 노이즈맵핑 결과를 도출함으로써, 소음의 전달 경로를 예측해서 확인하는 동시에 방음 대책을 수립할 수 있는 효과를 제공한다.
또한, CNN 알고리즘 학습 기법을 적용한 사전 학습 알고리즘 기반의 음원 분리 방법에 따라 음원 사이의 관계를 학습하고 학습된 관계를 이용해 음원 위치예측 및 노이즈맵핑을 도출함으로써, 음원 위치예측 및 노이즈맵핑에 의해 결함의 위치와 크기를 정확히 판단할 수 있어, 불량 원인, 고장 진단시에 적용할 수 있는 효과를 제공한다.
또한, 가상 음원과 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하여 CNN 알고리즘을 학습해서 실제 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출함으로써, 도출된 음원 위치예측 및 노이즈맵핑에 의해 생산 조업 조건에 따른 제품의 품질을 판정하고 이를 이용하여 생산조건을 최적화 하는 동시에 생산현장에서 결함 발생을 최소화할 수 있는 효과를 제공한다.
도 1은 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법을 나타내는 구성도.
도 2는 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 GCC-PHAT 이미지 생성단계를 나타내는 구성도.
도 3은 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 시간에 따른 주파수 밴드의 특성을 이미지화한 GCC-PHAT 이미지의 합성곱 계층(Convolution Layer)의 구성을 통해 CNN 알고리즘을 적용하는 상세도.
도 4는 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 음장해석 이미지 생성 단계의 이미지를 나타내는 상세도.
도 5는 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 음장해석 이미지 생성 단계의 이미지의 복원상태를 나타내는 구성도.
도 6은 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 처리결과를 나타내는 예시도.
이하, 첨부도면을 참조하여 본 발명의 바람직한 일 실시예를 더욱 상세히 설명한다.
도 1은 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법을 나타내는 구성도이고, 도 2는 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 GCC-PHAT 이미지 생성단계를 나타내는 구성도이고, 도 3은 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 시간에 따른 주파수 밴드의 특성을 이미지화한 GCC-PHAT 이미지의 합성곱 계층(Convolution Layer)의 구성을 통해 CNN 알고리즘을 적용하는 상세도이고, 도 4는 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 음장해석 이미지 생성 단계의 이미지를 나타내는 상세도이고, 도 5는 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 음장해석 이미지 생성 단계의 이미지의 복원상태를 나타내는 구성도이고, 도 6은 본 발명의 일 실시예에 의한 CNN을 이용한 음향 처리방법의 처리결과를 나타내는 예시도이다.
도 1에 나타낸 바와 같이, 본 실시예에 의한 CNN을 이용한 음향 처리방법의 일예는, 음향해석 시뮬레이션 단계(S110), 시간 도달차 데이터 생성 단계(S120), GCC-PHAT 이미지 생성 단계(S130), CNN 알고리즘 학습 단계(S160), 마이크 실측 데이터 입력 단계(S170) 및 결과 도출 단계(S180)를 포함하여 이루어져, CNN(Convolutional Neural Network)을 이용하여 음향을 처리하는 음향 처리방법이다.
음향해석 시뮬레이션 단계(S110)는, 음향해석 시뮬레이션을 사용하여 가상 음원과 복수개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하는 단계로서, CNN(Convolutional Neural Network)을 이용하여 음향을 처리하기 전에 가상 음원과 2개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하게 된다.
이러한 음향해석 시뮬레이션 단계(S110)에서는, 음향해석 시뮬레이션을 사용하여 가상 음원으로부터 2개의 가상 마이크까지 전달되는 시간 및 진폭의 음원 데이터와, 가상 공간에서의 노이즈맵핑의 음장 데이터를 생성하는 것이 바람직하다.
시간 도달차 데이터 생성 단계(S120)는, 가상 음원과 복수개의 가상 마이크 사이의 수평 각도를 변화시키면서 복수개의 가상 마이크 사이의 시간차 데이터를 대량으로 취득하는 단계로서, 가상 음원과 2개의 가상 마이크 사이의 수평 각도를 변화시키면서 2개의 가상 마이크 사이의 시간차 데이터를 대량으로 취득하게 된다.
GCC-PHAT 이미지 생성 단계(S130)는, GCC-PHAT(Generalized Cross Correlation - Phase Transform) 과정을 통해 주파수 밴드별 특성을 추출하는 단계로서, 도 3에 나타낸 바와 같이 시간에 따른 주파수 밴드의 특성을 이미지화한 GCC-PHAT 이미지의 합성곱 계층(Convolution Layer)의 구성을 통해 CNN 알고리즘을 적용하게 된다.
이러한 GCC-PHAT 이미지 생성 단계(S130)는, 도 2에 나타낸 바와 같이 제1 음원신호 수집단계(S131), 제2 음원신호 입력단계(S132), 크로스 스펙트럼 단계(S133), 백색화 단계(S134), 밴드 패스 필터 단계(S135) 및 특성 추출 단계(S136)를 포함하여 이루어져 있다.
제1 음원신호 수집단계(S131)에서는 가상 마이크에 도달한 가상의 제1 음원신호를 수집하게 되고, 제2 음원신호 수집단계(S132)에서는 가상 마이크에 도달한 가상의 제1 음원신호를 수집하게 된다.
크로스 스펙트럼(Cross-Spectrum) 단계(S133)는, 복수개의 가상 마이크에 도달한 가상 음원신호를 위상차의 계산으로 크로스 스펙트럼(Cross-Spectrum) 하는 단계로서, 2개의 가상 마이크에 도달한 가상 음원신호를 위상차의 계산하게 된다.
이러한 크로스 스펙트럼(Cross-Spectrum) 단계(S133)에서는 2개의 마이크로부터 받아들인 신호를 각각의 전치 증폭기를 통하여 A/D 변환기에 의해 디지털 신호화하여 크로스 스펙트럼을 이 디지털화 된 신호로부터 계산하고 측정계가 가지는 잡음과 소음 원의 잡음이 서로 무상관하게 되므로 정확한 소음레벨을 측정할 수 있게 된다.
백색화 단계(S134)는, 크로스 스펙트럼의 가중치를 일정하게 하기 위해 주파수 크기를 1로 백색화(Whitening)하는 단계로서, 크로스 스펙트럼(Cross-Spectrum) 단계(S133)에서 가중치를 일정하도록 주파수를 1로 동일하게 유지하게 된다.
밴드 패스 필터 단계(S135)는, 음원신호의 시간차를 주파수에 따라 달리하여 복수개의 밴드로 구성하고, 각각의 밴드를 제외한 특성을 0으로 설정해서 밴드 패스 필터(Bandpass Filter)하는 단계로서, 이러한 밴드 패스 필터 단계는, 음원신호의 시간차를 63∼125Hz, 125∼250Hz, 250∼500Hz, 500∼1,000Hz, 1,000∼2,000Hz, 2,000∼4,000Hz, 4,000∼8,000Hz의 주파수에 따라 7개의 밴드로 구성하는 것이 바람직하다.
특성 추출 단계(S136)는, 일정시간 후에 주파수/진폭 영역에서 시간/진폭 영역으로 역과정인 IFFT(Inverse Fast Fourier Tramsform) 계산에 의해 특성을 추출하는 단계로서, IFFT 계산에 의해 음원신호를 주파수 영역에서 시간 영역으로 변환하게 된다.
CNN 알고리즘 학습 단계(S160)는, 음원신호 특성의 추출을 위해 정제된 복수의 이미지를 CNN 알고리즘으로 학습시키는 단계로서, CNN(Convolutional Neural Network; 합성곱신경망) 알고리즘을 이용하여 음향해석 시뮬레이션으로부터 생성된 다량의 이미지를 학습시키게 된다.
마이크 실측 데이터 입력 단계(S170)는, CNN 알고리즘 학습 단계(S160)에서 학습된 CNN 알고리즘의 입력값에 복수개의 실제 마이크로부터 취득한 시간차 데이터를 입력하는 단계로서, CNN 알고리즘의 입력값으로 2개의 실제 마이크로부터 취득한 시간차 데이터를 입력하게 된다.
결과 도출 단계(S180)는, 마이크 실측 데이터 입력 단계(S170)에서 입력된 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 단계로서, CNN 알고리즘의 입력값으로 2개의 실제 마이크로부터 취득한 시간차 데이터를 입력하여 연산한 출력값으로 음원의 위치예측과 노이즈맵핑을 도출하게 된다.
도 1에 나타낸 바와 같이, 본 실시예에 의한 CNN을 이용한 음향 처리방법의 다른예는, 음향해석 시뮬레이션 단계(S110), 경계조건 별 음장해석 단계(S140), 음장해석 이미지 생성 단계(S150), CNN 알고리즘 학습 단계(S160), 마이크 실측 데이터 입력 단계(S170) 및 결과 도출 단계(S180)를 포함하여 이루어져, CNN(Convolutional Neural Network)을 이용하여 음향을 처리하는 음향 처리방법이다.
음향해석 시뮬레이션 단계(S110)는, 음향해석 시뮬레이션을 사용하여 가상 음원과 복수개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하는 단계로서, CNN(Convolutional Neural Network)을 이용하여 음향을 처리하기 전에 가상 음원과 2개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하게 된다.
이러한 음향해석 시뮬레이션 단계(S110)에서는, 음향해석 시뮬레이션을 사용하여 가상 음원으로부터 2개의 가상 마이크까지 전달되는 시간 및 진폭의 음원 데이터와, 가상 공간에서의 노이즈맵핑의 음장 데이터를 생성하는 것이 바람직하다.
경계조건 별 음장해석 단계(S140)는, 가상 음원이 위치하는 공간 조건의 설정과 가상 음원 위치의 변경으로 복수의 해석을 수행하는 단계로서, 건물 내부, 외부와 같은 가상 음원이 위치하는 공간 조건의 설정과 가상 음원 위치 변경으로 대량의 해석을 수행하게 된다.
음장해석 이미지 생성 단계(S150)는, 경계조건 별 음장해석 단계(S140)에서 해석된 가상 음원의 특성에 따른 음장해석 이미지를 수집하는 단계로서, 도 4 및 도 5에 나타낸 바와 같이 가상 음원 1/1 Octaveband 특성에 따른 음장해석 결과 이미지를 수집하게 된다.
CNN 알고리즘 학습 단계(S160)는, 음원신호 특성의 추출을 위해 정제된 복수의 이미지를 CNN 알고리즘으로 학습시키는 단계로서, CNN(Convolutional Neural Network; 합성곱신경망) 알고리즘을 이용하여 음향해석 시뮬레이션으로부터 생성된 다량의 이미지를 학습시키게 된다.
마이크 실측 데이터 입력 단계(S170)는, CNN 알고리즘 학습 단계(S160)에서 학습된 CNN 알고리즘의 입력값에 복수개의 실제 마이크로부터 취득한 시간차 데이터를 입력하는 단계로서, CNN 알고리즘의 입력값으로 2개의 실제 마이크로부터 취득한 시간차 데이터를 입력하게 된다.
결과 도출 단계(S180)는, 마이크 실측 데이터 입력 단계(S170)에서 입력된 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 단계로서, CNN 알고리즘의 입력값으로 2개의 실제 마이크로부터 취득한 시간차 데이터를 입력하여 연산한 출력값으로 음원의 위치예측과 노이즈맵핑을 도출하게 된다.
도 1에 나타낸 바와 같이, 본 실시예에 의한 CNN을 이용한 음향 처리방법의 또 다른예는, 음향해석 시뮬레이션 단계(S110), 시간 도달차 데이터 생성 단계(S120), GCC-PHAT 이미지 생성 단계(S130), 경계조건 별 음장해석 단계(S140), 음장해석 이미지 생성 단계(S150), CNN 알고리즘 학습 단계(S160), 마이크 실측 데이터 입력 단계(S170) 및 결과 도출 단계(S180)를 포함하여 이루어져, CNN(Convolutional Neural Network)을 이용하여 음향을 처리하는 음향 처리방법이다.
음향해석 시뮬레이션 단계(S110)는, 음향해석 시뮬레이션을 사용하여 가상 음원과 복수개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하는 단계로서, CNN(Convolutional Neural Network)을 이용하여 음향을 처리하기 전에 가상 음원과 2개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하게 된다.
이러한 음향해석 시뮬레이션 단계(S110)에서는, 음향해석 시뮬레이션을 사용하여 가상 음원으로부터 2개의 가상 마이크까지 전달되는 시간 및 진폭의 음원 데이터와, 가상 공간에서의 노이즈맵핑의 음장 데이터를 생성하는 것이 바람직하다.
시간 도달차 데이터 생성 단계(S120)는, 가상 음원과 복수개의 가상 마이크 사이의 수평 각도를 변화시키면서 복수개의 가상 마이크 사이의 시간차 데이터를 대량으로 취득하는 단계로서, 가상 음원과 2개의 가상 마이크 사이의 수평 각도를 변화시키면서 2개의 가상 마이크 사이의 시간차 데이터를 대량으로 취득하게 된다.
GCC-PHAT 이미지 생성 단계(S130)는, GCC-PHAT(Generalized Cross Correlation - Phase Transform) 과정을 통해 주파수 밴드별 특성을 추출하는 단계로서, 도 3에 나타낸 바와 같이 시간에 따른 주파수 밴드의 특성을 이미지화한 GCC-PHAT 이미지의 합성곱 계층(Convolution Layer)의 구성을 통해 CNN 알고리즘을 적용하게 된다.
이러한 GCC-PHAT 이미지 생성 단계(S130)는, 도 2에 나타낸 바와 같이 제1 음원신호 수집단계(S131), 제2 음원신호 입력단계(S132), 크로스 스펙트럼 단계(S133), 백색화 단계(S134), 밴드 패스 필터 단계(S135) 및 특성 추출 단계(S136)를 포함하여 이루어져 있다.
제1 음원신호 수집단계(S131)에서는 가상 마이크에 도달한 가상의 제1 음원신호를 수집하게 되고, 제2 음원신호 수집단계(S132)에서는 가상 마이크에 도달한 가상의 제1 음원신호를 수집하게 된다.
크로스 스펙트럼(Cross-Spectrum) 단계(S133)는, 복수개의 가상 마이크에 도달한 가상 음원신호를 위상차의 계산으로 크로스 스펙트럼(Cross-Spectrum) 하는 단계로서, 2개의 가상 마이크에 도달한 가상 음원신호를 위상차의 계산하게 된다.
이러한 크로스 스펙트럼(Cross-Spectrum) 단계(S133)에서는 2개의 마이크로부터 받아들인 신호를 각각의 전치 증폭기를 통하여 A/D 변환기에 의해 디지털 신호화하여 크로스 스펙트럼을 이 디지털화 된 신호로부터 계산하고 측정계가 가지는 잡음과 소음 원의 잡음이 서로 무상관하게 되므로 정확한 소음레벨을 측정할 수 있게 된다.
백색화 단계(S134)는, 크로스 스펙트럼의 가중치를 일정하게 하기 위해 주파수 크기를 1로 백색화(Whitening)하는 단계로서, 크로스 스펙트럼(Cross-Spectrum) 단계(S133)에서 가중치를 일정하도록 주파수를 1로 동일하게 유지하게 된다.
밴드 패스 필터 단계(S135)는, 음원신호의 시간차를 주파수에 따라 달리하여 복수개의 밴드로 구성하고, 각각의 밴드를 제외한 특성을 0으로 설정해서 밴드 패스 필터(Bandpass Filter)하는 단계로서, 이러한 밴드 패스 필터 단계는, 음원신호의 시간차를 63∼125Hz, 125∼250Hz, 250∼500Hz, 500∼1,000Hz, 1,000∼2,000Hz, 2,000∼4,000Hz, 4,000∼8,000Hz의 주파수에 따라 7개의 밴드로 구성하는 것이 바람직하다.
특성 추출 단계(S136)는, 일정시간 후에 주파수/진폭 영역에서 시간/진폭 영역으로 역과정인 IFFT(Inverse Fast Fourier Tramsform) 계산에 의해 특성을 추출하는 단계로서, IFFT 계산에 의해 음원신호를 주파수 영역에서 시간 영역으로 변환하게 된다.
경계조건 별 음장해석 단계(S140)는, 가상 음원이 위치하는 공간 조건의 설정과 가상 음원 위치의 변경으로 복수의 해석을 수행하는 단계로서, 건물 내부, 외부와 같은 가상 음원이 위치하는 공간 조건의 설정과 가상 음원 위치 변경으로 대량의 해석을 수행하게 된다.
음장해석 이미지 생성 단계(S150)는, 경계조건 별 음장해석 단계(S140)에서 해석된 가상 음원의 특성에 따른 음장해석 이미지를 수집하는 단계로서, 도 4 및 도 5에 나타낸 바와 같이 가상 음원 1/1 Octaveband 특성에 따른 음장해석 결과 이미지를 수집하게 된다.
CNN 알고리즘 학습 단계(S160)는, 음원신호 특성의 추출을 위해 정제된 복수의 이미지를 CNN 알고리즘으로 학습시키는 단계로서, CNN(Convolutional Neural Network; 합성곱신경망) 알고리즘을 이용하여 음향해석 시뮬레이션으로부터 생성된 다량의 이미지를 학습시키게 된다.
마이크 실측 데이터 입력 단계(S170)는, CNN 알고리즘 학습 단계(S160)에서 학습된 CNN 알고리즘의 입력값에 복수개의 실제 마이크로부터 취득한 시간차 데이터를 입력하는 단계로서, CNN 알고리즘의 입력값으로 2개의 실제 마이크로부터 취득한 시간차 데이터를 입력하게 된다.
결과 도출 단계(S180)는, 마이크 실측 데이터 입력 단계(S170)에서 입력된 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 단계로서, CNN 알고리즘의 입력값으로 2개의 실제 마이크로부터 취득한 시간차 데이터를 입력하여 연산한 출력값으로 음원의 위치예측과 노이즈맵핑을 도출하게 된다.
따라서, 본 실시예의 CNN을 이용한 음향 처리방법은, 도 6에 나타낸 바와 같이 학습된 GCC-PHAT와 노이즈맵핑을 연계하여 실측 마이크 기반의 음원 위치예측 및 노이즈맵핑 결과를 나타내게 된다.
이상 설명한 바와 같이, 본 발명에 따르면 CNN 알고리즘을 이용하여 두 개의 마이크로부터 측정된 시간차 데이터로부터 소음 발생 지점에서의 노이즈맵핑 결과를 도출함으로써, 소음의 전달 경로를 예측해서 확인하는 동시에 방음 대책을 수립할 수 있는 효과를 제공한다.
또한, CNN 알고리즘 학습 기법을 적용한 사전 학습 알고리즘 기반의 음원 분리 방법에 따라 음원 사이의 관계를 학습하고 학습된 관계를 이용해 음원 위치예측 및 노이즈맵핑을 도출함으로써, 음원 위치예측 및 노이즈맵핑에 의해 결함의 위치와 크기를 정확히 판단할 수 있어, 불량 원인, 고장 진단시에 적용할 수 있는 효과를 제공한다.
또한, 가상 음원과 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하여 CNN 알고리즘을 학습해서 실제 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출함으로써, 도출된 음원 위치예측 및 노이즈맵핑에 의해 생산 조업 조건에 따른 제품의 품질을 판정하고 이를 이용하여 생산조건을 최적화 하는 동시에 생산현장에서 결함 발생을 최소화할 수 있는 효과를 제공한다.
이상 설명한 본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러 가지 형태로 실시될 수 있다. 따라서 상기 실시예는 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.

Claims (6)

  1. CNN(Convolutional Neural Network)을 이용하여 음향을 처리하는 음향 처리방법으로서,
    음향해석 시뮬레이션을 사용하여 가상 음원과 복수개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하는 음향해석 시뮬레이션 단계;
    가상 음원과 복수개의 가상 마이크 사이의 수평 각도를 변화시키면서 복수개의 가상 마이크 사이의 시간차 데이터를 대량으로 취득하는 시간 도달차 데이터 생성 단계;
    GCC-PHAT(Generalized Cross Correlation - Phase Transform) 과정을 통해 주파수 밴드별 특성을 추출하는 GCC-PHAT 이미지 생성 단계;
    특성의 추출을 위해 정제된 복수의 이미지를 CNN 알고리즘으로 학습시키는 CNN 알고리즘 학습 단계;
    상기 학습된 CNN 알고리즘의 입력값에 복수개의 실제 마이크로부터 취득한 시간차 데이터를 입력하는 마이크 실측 데이터 입력 단계; 및
    상기 입력된 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 결과 도출 단계;를 포함하는 것을 특징으로 하는 CNN을 이용한 음향 처리방법.
  2. CNN(Convolutional Neural Network)을 이용하여 음향을 처리하는 음향 처리방법으로서,
    음향해석 시뮬레이션을 사용하여 가상 음원과 복수개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하는 음향해석 시뮬레이션 단계;
    가상 음원이 위치하는 공간 조건의 설정과 가상 음원 위치의 변경으로 복수의 해석을 수행하는 경계조건 별 음장해석 단계;
    가상 음원의 특성에 따른 음장해석 이미지를 수집하는 음장해석 이미지 생성 단계;
    특성의 추출을 위해 정제된 복수의 이미지를 CNN 알고리즘으로 학습시키는 CNN 알고리즘 학습 단계;
    상기 학습된 CNN 알고리즘의 입력값에 복수개의 실제 마이크로부터 취득한 시간차 데이터를 입력하는 마이크 실측 데이터 입력 단계; 및
    상기 입력된 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 결과 도출 단계;를 포함하는 것을 특징으로 하는 CNN을 이용한 음향 처리방법.
  3. CNN(Convolutional Neural Network)을 이용하여 음향을 처리하는 음향 처리방법으로서,
    음향해석 시뮬레이션을 사용하여 가상 음원과 복수개의 가상 마이크로부터 음원 데이터와 음장 데이터를 생성하는 음향해석 시뮬레이션 단계;
    가상 음원과 복수개의 가상 마이크 사이의 수평 각도를 변화시키면서 복수개의 가상 마이크 사이의 시간차 데이터를 복수개 취득하는 시간 도달차 데이터 생성 단계;
    GCC-PHAT(Generalized Cross Correlation - Phase Transform) 과정을 통해 주파수 밴드별 특성을 추출하는 GCC-PHAT 이미지 생성 단계;
    가상 음원이 위치하는 공간 조건의 설정과 가상 음원 위치의 변경으로 복수의 해석을 수행하는 경계조건 별 음장해석 단계;
    가상 음원의 특성에 따른 음장해석 이미지를 수집하는 음장해석 이미지 생성 단계;
    특성의 추출을 위해 정제된 복수의 이미지를 CNN 알고리즘으로 학습시키는 CNN 알고리즘 학습 단계;
    상기 학습된 CNN 알고리즘의 입력값으로 복수개의 실제 마이크로부터 취득한 시간차 데이터를 입력하는 마이크 실측 데이터 입력 단계; 및
    상기 입력된 마이크 시간차 데이터로부터 음원의 위치예측과 노이즈맵핑의 출력값을 도출하는 결과 도출 단계;를 포함하는 것을 특징으로 하는 CNN을 이용한 음향 처리방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 음향해석 시뮬레이션 단계에서는, 음향해석 시뮬레이션을 사용하여 가상 음원으로부터 복수개의 가상 마이크까지 전달되는 시간 및 진폭의 음원 데이터와, 가상 공간에서의 노이즈맵핑의 음장 데이터를 생성하는 것을 특징으로 하는 CNN을 이용한 음향 처리방법.
  5. 제 1 항 또는 제 3 항에 있어서,
    상기 GCC-PHAT 이미지 생성 단계는,
    복수개의 가상 마이크에 도달한 가상 음원신호를 위상차의 계산으로 크로스 스펙트럼(Cross-Spectrum) 하는 단계;
    상기 크로스 스펙트럼의 가중치를 일정하게 하기 위해 주파수 크기를 1로 백색화(Whitening)하는 단계;
    음원신호의 시간차를 주파수에 따라 달리하여 복수개의 밴드로 구성하고, 각각의 밴드를 제외한 특성을 0으로 설정해서 밴드 패스 필터(Bandpass Filter)하는 밴드 패스 필터 단계; 및
    일정시간 후에 주파수/진폭 영역에서 시간/진폭 영역으로 역과정인 IFFT(Inverse Fast Fourier Tramsform)계산에 의해 특성을 추출하는 단계;를 포함하는 것을 특징으로 하는 CNN을 이용한 음향 처리방법.
  6. 제 5 항에 있어서,
    상기 밴드 패스 필터 단계는, 음원신호의 시간차를 63∼125Hz, 125∼250Hz, 250∼500Hz, 500∼1,000Hz, 1,000∼2,000Hz, 2,000∼4,000Hz, 4,000∼8,000Hz의 주파수에 따라 밴드로 구성하는 것을 특징으로 하는 CNN을 이용한 음향 처리방법.
KR1020190160505A 2019-12-05 2019-12-05 Cnn을 이용한 음향 처리방법 KR102316671B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190160505A KR102316671B1 (ko) 2019-12-05 2019-12-05 Cnn을 이용한 음향 처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190160505A KR102316671B1 (ko) 2019-12-05 2019-12-05 Cnn을 이용한 음향 처리방법

Publications (2)

Publication Number Publication Date
KR20210070586A true KR20210070586A (ko) 2021-06-15
KR102316671B1 KR102316671B1 (ko) 2021-10-22

Family

ID=76411957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190160505A KR102316671B1 (ko) 2019-12-05 2019-12-05 Cnn을 이용한 음향 처리방법

Country Status (1)

Country Link
KR (1) KR102316671B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022263712A1 (en) * 2021-06-17 2022-12-22 Nokia Technologies Oy Apparatus, methods and computer programs for training machine learning models
KR102633564B1 (ko) * 2022-09-26 2024-02-02 서울대학교산학협력단 컨볼루션 신경망을 기반으로 파이프 시스템 내 소음원의 위치를 추정하는 방법 및 장치
CN117825898A (zh) * 2024-03-04 2024-04-05 国网浙江省电力有限公司电力科学研究院 一种gis分布式振声联合监测方法、装置及介质
WO2024101730A1 (ko) * 2022-11-08 2024-05-16 한국표준과학연구원 인공지능 신경망 학습방법 및 학습 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110019162A (ko) * 2009-08-19 2011-02-25 엘지전자 주식회사 단말기에서의 음원 처리 방법 및 이를 적용한 단말기
KR20110086210A (ko) * 2010-01-22 2011-07-28 주식회사 에스원 3차원 음원 위치 측정을 이용한 침입 감지 시스템 및 그 방법
KR101620866B1 (ko) 2014-12-17 2016-05-13 서울대학교산학협력단 학습 기법을 적용한 사전 학습 알고리즘 기반의 음원 분리 방법
KR20190042203A (ko) 2017-10-16 2019-04-24 현대자동차주식회사 차량의 소음원인 진단방법
KR101992970B1 (ko) 2017-10-16 2019-06-26 한국생산기술연구원 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
KR20190106916A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 음향 제어 시스템, 장치 및 방법
KR20190108711A (ko) * 2018-03-15 2019-09-25 한양대학교 산학협력단 잔향 환경에 강인한 음원 방향 추정을 위한 심화 신경망 기반의 앙상블 음원 방향 추정 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110019162A (ko) * 2009-08-19 2011-02-25 엘지전자 주식회사 단말기에서의 음원 처리 방법 및 이를 적용한 단말기
KR20110086210A (ko) * 2010-01-22 2011-07-28 주식회사 에스원 3차원 음원 위치 측정을 이용한 침입 감지 시스템 및 그 방법
KR101620866B1 (ko) 2014-12-17 2016-05-13 서울대학교산학협력단 학습 기법을 적용한 사전 학습 알고리즘 기반의 음원 분리 방법
KR20190042203A (ko) 2017-10-16 2019-04-24 현대자동차주식회사 차량의 소음원인 진단방법
KR101992970B1 (ko) 2017-10-16 2019-06-26 한국생산기술연구원 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
KR20190108711A (ko) * 2018-03-15 2019-09-25 한양대학교 산학협력단 잔향 환경에 강인한 음원 방향 추정을 위한 심화 신경망 기반의 앙상블 음원 방향 추정 방법 및 장치
KR20190106916A (ko) * 2019-08-30 2019-09-18 엘지전자 주식회사 음향 제어 시스템, 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022263712A1 (en) * 2021-06-17 2022-12-22 Nokia Technologies Oy Apparatus, methods and computer programs for training machine learning models
KR102633564B1 (ko) * 2022-09-26 2024-02-02 서울대학교산학협력단 컨볼루션 신경망을 기반으로 파이프 시스템 내 소음원의 위치를 추정하는 방법 및 장치
WO2024101730A1 (ko) * 2022-11-08 2024-05-16 한국표준과학연구원 인공지능 신경망 학습방법 및 학습 시스템
CN117825898A (zh) * 2024-03-04 2024-04-05 国网浙江省电力有限公司电力科学研究院 一种gis分布式振声联合监测方法、装置及介质

Also Published As

Publication number Publication date
KR102316671B1 (ko) 2021-10-22

Similar Documents

Publication Publication Date Title
KR102316671B1 (ko) Cnn을 이용한 음향 처리방법
RU2511672C2 (ru) Оценка местоположения источника звука с использованием фильтрования частиц
Postma et al. Perceptive and objective evaluation of calibrated room acoustic simulation auralizations
TWI647961B (zh) 聲場的高階保真立體音響表示法中不相關聲源方向之決定方法及裝置
US20110075860A1 (en) Sound source separation and display method, and system thereof
JP4912778B2 (ja) 信号源の軌跡をモデル化する方法及びシステム
KR20060048954A (ko) 다감각 음성 향상을 위한 방법 및 장치
JP2017530579A (ja) 両耳統合相互相関自己相関メカニズム
CN107507625B (zh) 声源距离确定方法及装置
JP6225245B2 (ja) 信号処理装置、方法及びプログラム
Grondin et al. Noise mask for TDOA sound source localization of speech on mobile robots in noisy environments
Xu et al. Underwater acoustic source localization method based on TDOA with particle filtering
EP2745293B1 (en) Signal noise attenuation
Hosseini et al. Time difference of arrival estimation of sound source using cross correlation and modified maximum likelihood weighting function
Brendel et al. Distance estimation of acoustic sources using the coherent-to-diffuse power ratio based on distributed training
Duangpummet et al. A robust method for blindly estimating speech transmission index using convolutional neural network with temporal amplitude envelope
Blacodon et al. Reverberation cancellation in a closed test section of a wind tunnel using a multi-microphone cesptral method
ÇATALBAŞ et al. 3D moving sound source localization via conventional microphones
CN106710602A (zh) 一种声学混响时间估计方法和装置
JP2011139409A (ja) 音響信号処理装置、音響信号処理方法、及びコンピュータプログラム
Chetupalli et al. Robust offline trained neural network for TDOA based sound source localization
Berkun et al. Microphone array power ratio for quality assessment of reverberated speech
Naqvi et al. Multimodal blind source separation for moving sources
Baek et al. In-process noise inspection system for product fault detection in a loud shop-floor environment
CN117041847B (zh) 用于助听器中自适应传声器匹配方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant