KR20220018271A - 딥러닝을 이용한 시간 및 주파수 분석 기반의 노이즈 제거 방법 및 장치 - Google Patents

딥러닝을 이용한 시간 및 주파수 분석 기반의 노이즈 제거 방법 및 장치 Download PDF

Info

Publication number
KR20220018271A
KR20220018271A KR1020200098569A KR20200098569A KR20220018271A KR 20220018271 A KR20220018271 A KR 20220018271A KR 1020200098569 A KR1020200098569 A KR 1020200098569A KR 20200098569 A KR20200098569 A KR 20200098569A KR 20220018271 A KR20220018271 A KR 20220018271A
Authority
KR
South Korea
Prior art keywords
signal
amplitude
mask
amplitude signal
noise
Prior art date
Application number
KR1020200098569A
Other languages
English (en)
Inventor
김기준
박종혁
Original Assignee
라인플러스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라인플러스 주식회사 filed Critical 라인플러스 주식회사
Priority to KR1020200098569A priority Critical patent/KR20220018271A/ko
Priority to JP2021126781A priority patent/JP2022031196A/ja
Priority to US17/394,669 priority patent/US11810586B2/en
Publication of KR20220018271A publication Critical patent/KR20220018271A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/09—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being zero crossing rates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

주파수 영역의 정보와 시간 영역의 정보를 동시에 활용 및 조절할 수 있도록 주파수 영역과 시간 영역에 대한 각각의 네트워크를 구성하며, 두 네트워크가 상호 보완적으로 좋은 성능을 낼 수 있도록 학습을 진행함으로써, 잡음이 심한 환경에서도 우수한 성능을 나타내는 노이즈 제거 방법 및 장치를 제공한다.

Description

딥러닝을 이용한 시간 및 주파수 분석 기반의 노이즈 제거 방법 및 장치{METHOD AND APPARATUS FOR NOISE REDUCTION BASED ON TIME AND FREQUENCY ANALYSIS USING DEEP LEARNING}
실시예들은 노이즈를 포함하는 입력 음성 신호으로부터 노이즈가 제거하는 방법 및 장치에 관한 것으로, 특히, 시간 영역과 주파수 영역의 정보를 동시에 활용하여 노이즈를 제거하는 방법 및 장치와 관련된다.
최근, VoIP와 같은 인터넷 통화에 대한 관심과, 기타 음성/사운드 신호를 활용하는 콘텐츠의 개발 및 제공에 대해 관심이 높아짐에 따라, 음성 신호로부터 노이즈를 제거하는 기술에 대한 관심 역시 높아지고 있다.
기존의 딥러닝을 활용한 잡음 제거 기술은 주파수 영역에서 노이즈 성분을 제거하는 방식이나, 시간 영역에서 클린 음성을 추론하는 방식으로 연구가 진행 되었다. 그러나, 기존의 방법들은 성능에 한계가 존재한다.
먼저 주파수 영역에서 노이즈를 제거하는 방식은 크게 주파수의 진폭만 조절하는 방식과 진폭과 위상을 조절하는 방식이 있다. 주파수의 진폭만 조절하는 방식은 잡음이 적은 환경에서는 우수한 성능을 나타내지만, 잡음이 큰 환경에서는 잡음의 위상 정보가 음성의 위상 정보보다 우세하여, 진폭의 잡음 성분을 제거하여도 위상의 잡음 성분이 남아 있어서 깨끗한 소리를 복원하지 못하는 문제점이 있다.
이를 해결하기 위해 진폭과 위상을 동시에 조절하는 방식들이 시도되었으나, 위상의 랜덤한 성질로 인해 위상은 학습이 제대로 이뤄지지 않으며, 이로 인해 전체 성능도 좋지 못하다.
위와 같은 주파수 영역에서의 기술의 단점을 극복하기 위해 시간 영역에서 클린 음성을 추론하기 위한 방법이 개발되었다. 이 방식은 클린 음성의 로(raw)한 신호를 생성하기 때문에, 주파수 성분의 위상과 진폭이 자동으로 동시에 조절된다. 그러나 시간 영역에서는 고주파 성분이 랜덤한 특성을 보이기 때문에, 고주파 대역의 신호가 잘 학습되지 않아서 잡음 제거 이후, 화이트 노이즈(white noise) 형태의 잡음이 잔재하게 되는 문제점이 있다.
[선행기술문헌번호]
한국공개특허 제10-2018-0067608호(공개일 2018년 06월 20일)
상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있으며, 종래 기술이 통상의 기술자에게 제시할 수 있는 것을 포함하지 않을 수 있다.
주파수 영역에서 노이즈를 제거하는 방식의 문제점과 시간 영역에서 클린 음성을 추론하는 방식의 문제점을 해결하기 위해 주파수 영역의 정보와 시간 영역의 정보를 동시에 활용 및 조절할 수 있도록 주파수 영역과 시간 영역에 대한 각각의 네트워크를 구성하며, 두 네트워크가 상호 보완적으로 좋은 성능을 낼 수 있도록 학습을 진행함으로써, 잡음이 심한 환경에서도 우수한 성능을 나타내는 노이즈 제거 방법 및 장치를 제공한다.
컴퓨터 시스템을 사용하여, 노이즈를 제거하는 방법에 있어서, 노이즈를 포함하는 입력 음성 신호를, 시간 영역에서 노이즈가 제거된 음성을 추론하도록 훈련된 유넷(u-net) 구조의 제1 네트워크에 입력하여 위상이 복원되고 노이즈가 1차로 제거된 제1 음성 신호를 생성하는 단계; 상기 제1 음성 신호에 제1 윈도우를 적용하는 단계; 상기 제1 윈도우가 적용된 제1 음성 신호에 FFT(Fast Fourier Transform)를 수행하여 진폭(magnitude) 신호 및 위상(phase) 신호를 획득하는 단계; 상기 진폭 신호에 대해 적용될 마스크를 추정하도록 훈련된 유넷 구조의 제2 네트워크에 상기 진폭 신호를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 진폭 신호에 대해 적용될 마스크를 획득하는 단계; 상기 진폭 신호에 상기 획득된 마스크를 적용하는 단계; 상기 마스크가 적용된 진폭 신호 및 상기 위상 신호를 사용하여 상기 제1 윈도우가 적용된 제1 음성 신호에 IFFT(Inverse Fast Fourier Transform)를 수행하여 노이즈가 2차로 제거된 제2 음성 신호를 생성하는 단계; 및 상기 제2 음성 신호에 제2 윈도우를 적용하는 단계를 포함하는 노이즈 제거 방법을 제공한다.
일측에 따르면, 상기 제1 윈도우 및 상기 제2 윈도우 중 적어도 하나는 MDCT(Modified Discrete Cosine Transform)에서의 TDAC(time domain aliasing cancellation)를 위해 사용하는 KBD(Kaiser-bessel-derived) 윈도우를 포함하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 진폭 신호에 대해 적용될 마스크를 획득하는 단계는, 상기 제2 네트워크에 대해, 상기 진폭 신호 중 제1 주파수 대역의 제1 진폭 신호를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 제1 진폭 신호에 대해 적용될 제1 마스크를 획득하는 단계; 상기 진폭 신호 중 상기 제1 주파수 대역보다 더 큰 주파수 대역인 제2 주파수 대역의 제2 진폭 신호를 복수의 대역폭 구간의 진폭 신호들로 구분하는 단계; 상기 구분된 진폭 신호들의 각각에 대한 평균 에너지를 계산하는 단계; 및 상기 제2 네트워크에 대해, 상기 계산된 평균 에너지를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 제2 진폭 신호에 대해 적용될 제2 마스크를 획득하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 제2 진폭 신호는 상기 제2 주파수 대역을 바크 스케일(bark scale) 단위로 구분함으로써 상기 복수의 대역폭 구간의 진폭 신호들로 구분되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 제1 마스크는 상기 제1 진폭 신호에 대한 이상 비율 마스크(Ideal Ratio Mask; IRM)이고, 상기 제2 마스크는 상기 계산된 평균 에너지에 대한 IRM이고, 상기 진폭 신호에 상기 획득된 마스크를 적용하는 단계에서, 상기 제1 마스크는 상기 제1 진폭 신호와 곱해지고, 상기 제2 마스크는 상기 제2 진폭 신호와 곱해지는 것을 특징으로 할 수 있다
또 다른 측면에 따르면, 상기 제1 마스크를 획득하는 단계는, 상기 제1 진폭 신호에 기반하여 기 결정된 개수의 MFCC(Mel-Frequency Cepstral Coefficient)들을 계산하는 단계; 및 상기 제1 마스크를 획득하기 위해, 상기 계산된 MFCC들을 상기 제2 네트워크에 대해 입력시키는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 제1 마스크를 획득하는 단계는, 상기 제1 진폭 신호에 기반하여 ZCR(Zero Crossing Rate)을 계산하는 단계; 및 상기 제1 마스크를 획득하기 위해, 상기 계산된 ZCR을 상기 제2 네트워크에 대해 입력시키는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 제2 음성 신호를 생성하는 단계는, 상기 진폭 신호와 상기 진폭 신호에 대해 적용될 마스크를 곱함으로써 노이즈 제거 진폭 신호를 추정하는 단계; 상기 노이즈 제거 진폭 신호 및 상기 위상 신호에 기반하여 상기 노이즈가 제거된 음성 신호의 FFT 계수를 복원하는 단계; 및 상기 복원된 FFT 계수에 기반하여 IFFT를 수행함으로써 노이즈가 2차로 제거된 상기 제2 음성 신호를 복원하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 제1 네트워크에 입력되는 상기 입력 음성 신호는 복수의 프레임들로 구성되는 것을 특징으로 할 수 있다.
컴퓨터 시스템과 결합되어 상기 노이즈 제거 방법을 컴퓨터 시스템에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 노이즈 제거 방법을 수행하는 컴퓨터 판독 가능 기록 매체에 기록된 프로그램을 제공한다.
노이즈를 제거하는 컴퓨터 시스템에 있어서, 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 노이즈를 포함하는 입력 음성 신호를, 시간 영역에서 노이즈가 제거된 음성을 추론하도록 훈련된 유넷(u-net) 구조의 제1 네트워크에 입력하여 위상이 복원되고 노이즈가 1차로 제거된 제1 음성 신호를 생성하고, 상기 제1 음성 신호에 제1 윈도우를 적용하고, 상기 제1 윈도우가 적용된 제1 음성 신호에 FFT(Fast Fourier Transform)를 수행하여 진폭(magnitude) 신호 및 위상(phase) 신호를 획득하고, 상기 진폭 신호에 대해 적용될 마스크를 추정하도록 훈련된 유넷 구조의 제2 네트워크에 상기 진폭 신호를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 진폭 신호에 대해 적용될 마스크를 획득하고, 상기 진폭 신호에 상기 획득된 마스크를 적용하고, 상기 마스크가 적용된 진폭 신호 및 상기 위상 신호를 사용하여 상기 제1 윈도우가 적용된 제1 음성 신호에 IFFT(Inverse Fast Fourier Transform)를 수행하여 노이즈가 2차로 제거된 제2 음성 신호를 생성하고, 상기 제2 음성 신호에 제2 윈도우를 적용하는 것을 특징으로 하는 컴퓨터 시스템을 제공한다.
주파수 영역에서 노이즈를 제거하는 방식의 문제점과 시간 영역에서 클린 음성을 추론하는 방식의 문제점을 해결하기 위해 주파수 영역의 정보와 시간 영역의 정보를 동시에 활용 및 조절할 수 있도록 주파수 영역과 시간 영역에 대한 각각의 네트워크를 구성하며, 두 네트워크가 상호 보완적으로 좋은 성능을 낼 수 있도록 학습을 진행함으로써, 잡음이 심한 환경에서도 우수한 성능을 나타낼 수 있다.
도 1은 일 실시예에 따른, 노이즈를 포함하는 음성 신호를 처리하여 노이즈가 제거된 음성 신호를 복원하는 방법을 나타낸다.
도 2는 일 실시예에 따른, 노이즈를 포함하는 음성 신호를 처리하여 노이즈를 제거하는 컴퓨터 시스템의 구조를 나타낸다.
도 3는 일 실시예에 따른, 노이즈 제거 방법을 나타내는 흐름도이다.
도 4는 일 예에 따른, 머신러닝 모델을 사용하여, 진폭 신호에 대해 적용될 마스크를 획득하는 방법을 나타내는 흐름도이다.
도 5는 일 예에 따른, 머신러닝 모델을 사용하여 진폭 신호 중 제1 주파수 대역의 제1 진폭 신호에 대해 적용될 마스크를 생성함에 있어서, 머신러닝 모델에 대해 입력되는 파라미터를 결정하는 방법을 나타내는 흐름도이다.
도 6은 일 예에 따른, 입력 음성 신호 및 머신러닝 모델로부터의 마스크를 사용하여, 노이즈가 제거된 음성 신호를 복원하는 방법을 나타내는 흐름도이다.
도 7은 일 예에 따른, 머신러닝 모델에 의해 추정되는 마스크를 나타낸다.
도 8은 일 예에 따른 제1 네트워크의 예를 나타낸다.
도 9는 일 예에 따른 제2 네트워크의 예를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른, 노이즈를 포함하는 음성 신호를 처리하여 노이즈가 제거된 음성 신호를 복원하는 방법을 나타낸다.
도 1을 참조하여, 노이즈 및 음성 신호를 포함하는 입력 음성 신호(110)로부터, 노이즈가 제거되어 복원된 음성 신호(180)를 획득하는 방법에 대해 설명한다.
모바일 환경에서 실시간으로 기술을 적용하기 위해, 입력 음성 신호(110)에 대한 프레임 단위의 연산이 수행될 수 있다. 입력 음성 신호(110)는 일례로, 16kHz의 샘플링 레이트를 갖는 신호일 수 있으며, 한 프레임의 길이는 480 샘플(sample)일 수 있다. 홉 크기(Hop size)는 240 샘플로 50% 오버랩 애드(overlap add)로 동작할 수 있다.
실시예의 입력 음성 신호(110)에서 노이즈를 제거하는 방법은 후술될 컴퓨터 시스템(100)에 의해 수행될 수 있다.
강한 잡음 환경에서의 음성 신호의 위상을 복원하고 노이즈를 1차로 제거하기 위해, 입력 음성 신호(110)의 로(raw) 파형을 Time NS net(120)의 입력으로 사용할 수 있다. Time NS net(120)은 유넷(u-net) 구조로 설계된 네트워크일 수 있다. 이러한 Time NS net(120)은 인공신경망(예컨대, CNN, DNN 또는 Dense)을 통해 구현될 수 있다. 예를 들어, 총 12개로 구성된 각 레이어의 크기가 512-256-128-64-32-16-16-32-64-128-256-512 와 같이 이전 레이어의 절반이 되도록 구성될 수 있다. 이러한 Time NS net(120)의 구성으로서 유넷을 사용한다는 것이 중요할 뿐, 세부 사항은 튜닝에 따라 달라질 수 있다. Time NS net(120)의 출력은 1차로 추정된 로(raw)한 제1 음성 신호로서, 제1 음성 신호에는 약한 화이트 노이즈(white noise) 성분이 섞여 있다.
제1 음성 신호에는 FFT(Fast Fourier Transform; 140)를 수행하기 전에, FFT(140)의 출력 특성을 좋게 만들기 위한 윈도우가 적용할 수 있다. 또한 이전 프레임과 현재 프레임간의 오버랩 애드 구간에서의 불연속성에 의해 발생하는 잡음을 제거하기 위해서도 윈도우를 적용해야 한다. 도 1에서는 FTT(140)를 수행하기 전에 제1 윈도우(130)가 IFFT(160) 이후에 제2 윈도우(170)가 각각 적용됨을 나타내고 있다. 적용 가능한 윈도우는 여러 종류가 있으며, 일례로, MDCT(Modified Discrete Cosine Transform)에서의 TDAC(time domain aliasing cancellation)를 위해 사용하는 KBD(Kaiser-bessel- derived) 윈도우가 활용될 수 있다. 원래의 목적과는 다르지만, KBD 윈도우는 오버랩 구간에서의 윈도우의 제곱 합이 1을 만족하여, FFT(140)의 이전과 IFFT(160)의 이후에 동시에 윈도우 적용(KBD 윈도우(130, 170))이 가능하다. 이와 같이 두 구간에서 윈도우를 적용하면, 프레임 간의 불연속에 의한 잡음을 더욱 효과적으로 제거할 수 있다. 실제 구현된 기술에서 KBD 윈도우를 적용할 경우 최상의 성능을 나타내었다.
한편, 제1 윈도우(130)가 적용된 제1 음성 신호에는 FFT(140)가 수행될 수 있고, 이러한 FFT(140)가 수행된 제1 음성 신호로부터 입력 음성 신호(110)의 진폭(magnitude)을 나타내는 진폭 신호와, 위상(phase)을 나타내는 위상 신호가 각각 획득될 수 있다.
도시된 것처럼, 실시예에서는 저대역(예컨대, 8kHz 미만의 대역폭)에 속하는 진폭 신호는 Frequency NS net(150)을 사용하여 복원될 수 있다. 한편, 고대역(예컨대, 8kHz 이상의 대역폭)에 속하는 진폭 신호는 바크 스케일 단위로 구분되어, 구분된 진폭 신호의 평균 에너지가 Frequency NS net(150)로 입력되어 복원될 수 있다. 또한, 위상 신호는 특별한 처리 없이 IFFT(160)의 수행을 위해 사용될 수 있다. 또한, 저대역에 속하는 진폭 신호와 함께, 해당 저대역에 속하는 진폭 신호에 기반하여 생성된 MFCC(Mel frequency cepstral coefficient)(들)이 Frequency NS net(150)에 파라미터로서 입력될 수 있다.
Frequency NS net(150)은 예컨대, 인공신경망(예컨대, CNN, DNN 또는 Dense)을 통해 유넷 구조로 구현될 수 있다.
Frequency NS net(150)으로부터의 출력은 FFT(140)로부터 출력된 FFT 계수로서의 진폭에 대해 적용하기 위한 마스크일 수 있다. 이러한 마스크가 적용된 진폭과 FFT(140)로부터 출력된 FFT 계수로서의 위상 신호를 사용하여 노이즈가 2차로 제거될 수 있다. 예컨대, 마스크가 적용된 진폭과 위상 신호를 사용하여 제1 음성 신호의 FFT 계수가 복원될 수 있고, IFFT(160)가 수행됨으로써 노이즈가 2차로 제거되어 복원 음성 신호(120)가 출력될 수 있다.
이때, 이미 설명한 바와 같이, IFFT(160)의 출력에 대해 제2 윈도우(170)가 적용되어 프레임의 불연속에 의한 노이즈를 최소화할 수 있다.
실시예에서는, (가령, 고대역에 속하는 진폭 신호를 그대로 Frequency NS net(150)로 입력시키는 경우에 비해) 고대역에 속하는 진폭 신호를 사용하여 노이즈를 제거하기 위한 연산량이 현저하게 감소될 수 있다.
이처럼, 실시예에서는 주파수 영역과 시간 영역에 대한 각각의 네트워크를 구성하여 두 네트워크가 상호 호완적으로 좋은 성능을 낼 수 있도록 학습을 진행함에 따라 잡음이 심한 환경에서도 우수한 노이즈 제거 성능을 제공할 수 있다.
노이즈를 포함하는 입력 음성 신호(110)를 처리하여, 노이즈가 제거된 복원 음성 신호(180)를 생성하는 보다 구체적인 방법에 대해서는 후술될 도 2 내지 도 9를 참조하여 더 자세하게 설명된다.
도 2는 일 실시예에 따른, 노이즈를 포함하는 음성 신호를 처리하여 노이즈를 제거하는 컴퓨터 시스템의 구조를 나타낸다.
도시된 컴퓨터 시스템(100)은 도 1을 참조하여 전술된 컴퓨터 시스템(100)에 대응할 수 있다. 컴퓨터 시스템(100)은 입력 음성 신호(110)로부터 노이즈를 제거하기 위한 경량화된 추론 모델(예컨대, 모신러닝 모델(Time NS net(120) 및 Frequency NS net(150)))을 탑재하고 있는 전자 장치일 수 있다. 또는, 도시된 것과는 달리 컴퓨터 시스템(100)은 컴퓨터 시스템(100)의 외부의 전자 장치 또는 서버에 존재하는 머신러닝 모델(120, 150)을 사용하여 입력 음성 신호(110)로부터 노이즈가 제거된 복원 음성 신호(180)를 획득하기 위한 장치일 수 있다. 이때, 컴퓨터 시스템(100)은 외부의 전자 장치 또는 서버와의 통신을 통해 입력 음성 신호(110)를 획득할 수도 있다.
컴퓨터 시스템(100)은, 예컨대, PC(personal computer), 노트북 컴퓨터(laptop computer), 스마트폰(smart phone), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer), 사물 인터넷(Internet Of Things) 기기 등을 포함할 수 있다. 일례로, 컴퓨터 시스템(100)은 모바일 단말과 같은 장치로서, 고성능의 PC 또는 서버와 같은 컴퓨팅 장치에는 해당하지 않을 수 있다.
컴퓨터 시스템(100)은 통신부(210) 및 프로세서(220)를 포함할 수 있다. 컴퓨터 시스템(100)은 사용자로부터 입력 음성 신호(110)를 입력 받기 위한 마이크(230)를 포함할 수 있고, 노이즈가 제거된 복원 음성 신호(180)를 출력하기 위한 스피커(240)를 포함할 수 있다. 마이크(230)는 사용자 또는 외부로부터 입력되는 음성으로부터 음성 신호를 생성할 수 있고, 스피커(240)는 음성 신호를 출력하도록 구성될 수 있다.
또한, 컴퓨터 시스템(100)은 도시되지는 않았으나 사용자로부터 입력되는 정보 및/또는 사용자의 요청에 따라 제공되는 정보/콘텐츠를 표시하는 디스플레이를 더 포함할 수 있다.
통신부(210)는 컴퓨터 시스템(100)이 다른 서버나 다른 장치와 통신하기 위한 장치일 수 있다. 말하자면, 통신부(210)는 다른 서버나 다른 장치에 대해 데이터 및/또는 정보를 전송/수신하는, 컴퓨터 시스템(100)의 네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 및/또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.
프로세서(220)는 컴퓨터 시스템(100)의 구성 요소들을 관리할 수 있고, 컴퓨터 시스템(100)이 사용하는 프로그램 또는 어플리케이션을 실행할 수 있다. 예컨대, 프로세서(220)는, 마이크(230)를 통해 입력되거나, 혹은 기 입력된 음성 신호(105)를 획득하며, 머신러닝 모델(120, 150)을 사용하여 입력 음성 신호(110)를 처리할 수 있고, 입력 음성 신호(110)로부터 노이즈가 제거된 복원 음성 신호(180)를 생성할 수 있다. 프로세서(220)는 상기의 동작을 수행하기 위해 요구되는 프로그램 또는 어플리케이션의 실행 및 데이터의 처리 등에 필요한 연산을 처리할 수 있다. 프로세서(220)는 컴퓨터 시스템(100)의 적어도 하나의 프로세서 또는 프로세서 내의 적어도 하나의 코어(core)일 수 있다.
컴퓨터 시스템(100)은 도시되지는 않았으나 메모리를 포함할 수 있다. 메모리는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 비소멸성 대용량 기록장치는 메모리와 분리되어 별도의 영구 저장 장치로서 포함될 수도 있다. 또한, 메모리에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신부(210)를 통해 메모리에 로딩될 수도 있다. 여기서, 머신러닝 모델(120, 150)은 실질적으로는 메모리에 로딩된 프로그램 코드에 따라 프로세서(220)에 의해 구동되는 소프트웨어 모듈일 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리 또는 통신부(210)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어, 프로세서(220)는 메모리에 로딩된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 이러한 프로세서(220)에 의한 동작에 의해 컴퓨터 시스템(100)은 입력 음성 신호(110)로부터 노이즈가 제거된 복원 음성 신호(180)를 생성할 수 있다.
일례로, 프로세서(220)는 노이즈를 포함하는 입력 음성 신호를, 시간 영역에서 클린 음성을 추론하도록 훈련된 유넷(u-net) 구조의 제1 네트워크에 입력하여 위상이 복원되고 노이즈가 1차로 제거된 제1 음성 신호를 생성하고, 제1 음성 신호에 제1 윈도우를 적용하고, 제1 윈도우가 적용된 제1 음성 신호에 FFT를 수행하여 진폭(magnitude) 신호 및 위상(phase) 신호를 획득할 수 있다. 또한, 프로세서(220)는 진폭 신호에 대해 적용될 마스크를 추정하도록 훈련된 유넷 구조의 제2 네트워크에 진폭 신호를 입력시키고, 제2 네트워크의 출력으로서 진폭 신호에 대해 적용될 마스크를 획득하고, 진폭 신호에 획득된 마스크를 적용하고, 마스크가 적용된 진폭 신호 및 위상 신호를 사용하여 제1 윈도우가 적용된 제1 음성 신호에 IFFT를 수행하여 노이즈가 2차로 제거된 제2 음성 신호를 생성하고, 제2 음성 신호에 제2 윈도우를 적용하여 노이즈가 제거된 복원 입력 신호를 생성할 수 있다.
Time NS net(120)은 입력 음성 신호(110)에 대해 시간 영역에서 클린 음성을 추론하기 위해 위상을 복원하고 노이즈를 1차로 제거하도록 미리 훈련된 머신러닝 모델일 수 있으며, Frequency NS net(150)은 입력 음성 신호(110)에 포함된 노이즈를 제거하기 위해 입력 음성 신호(110)에 대해 적용될 마스크를 추정하도록 미리 훈련된 모델일 수 있다. Time NS net(120) 및 Frequency NS net(150)은 정답을 알고 있는 복수의 훈련용 입력 음성 신호들의 세트에 의해 훈련된 것일 수 있다. 한편, Time NS net(120) 및 Frequency NS net(150) 각각은 인공신경망(예컨대, CNN, DNN 또는 Dense)에 기반한 유넷 구조로 구현될 수 있다. 머신러닝 모델(110)은 인공신경망을 구성하는 유넷 구조의 복수의 레이어들을 포함할 수 있다.
이하에서는 컴퓨터 시스템(100)을 사용하여, 노이즈를 포함하는 입력 음성 신호(110)를 처리하고, 노이즈가 제거된 복원 음성 신호(180)를 생성하는 보다 구체적인 방법에 대해 보다 자세히 설명한다.
후술될 상세한 설명에서, 컴퓨터 시스템(100) 또는 프로세서(220)의 구성들에 의해 수행되는 동작이나 컴퓨터 시스템(100) 또는 프로세서(220)가 실행하는 어플리케이션/프로그램에 의해 수행되는 동작은 설명의 편의상 컴퓨터 시스템(100)에 의해 수행되는 동작으로 설명될 수 있다.
도 3는 일 실시예에 따른, 노이즈 제거 방법을 나타내는 흐름도이다.
단계(310)에서, 컴퓨터 시스템(100)은 노이즈를 포함하는 입력 음성 신호를, 시간 영역에서 클린 음성(일례로, 노이즈가 제거된 음성)을 추론하도록 훈련된 유넷(u-net) 구조의 제1 네트워크에 입력하여 위상이 복원되고 노이즈가 1차로 제거된 제1 음성 신호를 생성할 수 있다. 여기서, 입력 음성 신호는 도 1을 통해 설명한 입력 음성 신호(110)에 대응할 수 있으며, 도 2를 통해 설명한 마이크(230)를 통해 컴퓨터 시스템(100)에 입력된 음성 신호이거나, 컴퓨터 시스템(100)에 기 저장된 음성 신호 또는 컴퓨터 시스템(100)이 외부 소스로부터 네트워크를 통해 수신하는 음성 신호일 수 있다. 입력 음성 신호가 포함하는 노이즈는 진폭 신호 및/또는 위상 신호에 포함된 노이즈일 수 있고, 사용자가 청취하기를 희망하는 소기의 음성 신호 외의 노이즈를 나타낼 수 있다.
이미 설명한 바와 같이, 제1 네트워크는 Time NS net(120)과 같은 머신러닝 모델에 대응할 수 있으며, 유넷 구조를 활용하여 입력 음성 신호의 위상을 복원하고 노이즈를 1차로 제거하도록 미리 학습될 수 있다. 단계(310)에서 출력되는 제1 음성 신호는 약한 화이트 노이즈 성분을 포함할 수 있다.
단계(320)에서, 컴퓨터 시스템(100)은 제1 음성 신호에 제1 윈도우를 적용할 수 있다. 이미 설명한 바와 같이 제1 윈도우는 MDCT에서의 TDAC를 위해 사용하는 KBD 윈도우를 포함할 수 있으나 이에 한정되지는 않는다.
단계(330)에서, 컴퓨터 시스템(100)은 제1 윈도우가 적용된 제1 음성 신호에 FFT(Fast Fourier Transform)를 수행하여 진폭(magnitude) 신호 및 위상(phase) 신호를 획득할 수 있다. 일례로, 컴퓨터 시스템(100)은 제1 윈도우가 적용된 제1 음성 신호에 대해 512 FFT를 수행할 수 있다.
단계(340)에서, 컴퓨터 시스템(100)은 진폭 신호에 대해 적용될 마스크를 추정하도록 훈련된 유넷 구조의 제2 네트워크에 진폭 신호를 입력시키고, 제2 네트워크의 출력으로서 진폭 신호에 대해 적용될 마스크를 획득할 수 있다. 예를 들어, 컴퓨터 시스템(100)은 512 FFT의 출력에 대해 진폭 성분을 추출하여 256의 진폭 데이터를 제2 네트워크에 입력으로 사용할 수 있다. 여기서 제2 네트워크는 Frequency NS net(150)과 같은 머신러닝 모델에 대응할 수 있으며, 입력되는 진폭 신호에 대해 적용될 마스크를 추정하도록 훈련될 수 있다. 진폭 신호에 대해 적용될 마스크를 획득하는 구체적인 방법에 대해서는 이후 도 4 및 도 5를 참조하여 더 자세하게 설명한다.
입력 음성 신호의 진폭 신호(및/또는 해당 진폭 신호로부터 얻어진 파라미터)는 제2 네트워크에서의 추론을 수행하기 위한 입력 파라미터가 될 수 있다.
단계(350)에서, 컴퓨터 시스템(100)은 진폭 신호에 획득된 마스크를 적용할 수 있다. 예를 들어, 컴퓨터 시스템(100)은 제2 네트워크에 의해 출력되는 마스크를 제1 윈도우가 적용된 제1 음성 신호의 진폭 신호에 대해 적용함으로써(예컨대, 곱함으로써), 주파수 영역의 노이즈가 제거된 진폭 신호가 얻어질 수 있다.
단계(360)에서, 컴퓨터 시스템(100)은 마스크가 적용된 진폭 신호 및 위상 신호를 사용하여 제1 윈도우가 적용된 제1 음성 신호에 IFFT(Inverse Fast Fourier Transform)를 수행하여 노이즈가 2차로 제거된 제2 음성 신호를 생성할 수 있다. 제2 음성 신호를 얻는 방법에 대해서는 이후 도 6을 참조하여 더 자세하게 설명한다.
단계(370)에서, 컴퓨터 시스템(100)은 제2 음성 신호에 제2 윈도우를 적용할 수 있다. 이미 설명한 바와 같이 제1 윈도우는 MDCT에서의 TDAC를 위해 사용하는 KBD 윈도우를 포함할 수 있으나 이에 한정되지는 않는다. 제1 윈도우와 제2 윈도우는 입력 음성 신호에 대해 모바일 환경에서 실시간으로 기술을 적용하기 위해, 프레임 단위의 연산을 수행함에 따라 프레임의 불연속에 의해 발생하는 노이즈를 최소화하기 위해 활용될 수 있다.
도 4는 일 예에 따른, 머신러닝 모델을 사용하여, 진폭 신호에 대해 적용될 마스크를 획득하는 방법을 나타내는 흐름도이다.
도 4의 단계들(410 내지 440)을 참조하여, 진폭 신호에 대해 적용될 마스크를 획득하는 구체적인 방법에 대해 설명한다.
단계(410)에서, 컴퓨터 시스템(100)은 제2 네트워크에 대해, 제1 윈도우가 적용된 제1 음성 신호의 진폭 신호 중 제1 주파수 대역의 제1 진폭 신호를 입력시킬 수 있고, 제2 네트워크의 출력으로서 제1 진폭 신호에 대해 적용될 제1 마스크를 획득할 수 있다. 제1 주파수 대역의 제1 진폭 신호는 제1 윈도우가 적용된 제1 음성 신호의 진폭 신호 중 저대역에 해당하는 진폭 신호를 나타낼 수 있다. 예컨대, 제2 주파수 대역은 0 이상 8kHz 미만의 대역을 나타낼 수 있고, 제1 진폭 신호는 이러한 0 이상 8kHz 미만의 대역의 진폭 신호를 나타낼 수 있다.
제1 진폭 신호(및/또는 해당 제1 진폭 신호로부터 얻어진 파라미터)는 제2 네트워크에서의 추론을 수행하기 위한 입력 파라미터가 될 수 있다. 제2 네트워크에 의해 출력되는 제1 마스크를 제1 진폭 신호에 대해 적용함으로써(예컨대, 곱함으로써), 노이즈가 제거된 진폭 신호(즉, 노이즈가 제거된 제1 진폭 신호)가 얻어질 수 있다.
여기서, 제1 마스크는 제1 진폭 신호에 대한 이상 비율 마스크(Ideal Ratio Mask; IRM)일 수 있다. 전술한 것처럼 이러한 제1 마스크는 제1 진폭 신호와 곱해짐으로써 제1 진폭 신호에 대해 적용될 수 있다.
단계(420)에서, 컴퓨터 시스템(100)은 제1 윈도우가 적용된 제1 음성 신호의 진폭 신호 중 제1 주파수 대역보다 더 큰 주파수 대역인 제2 주파수 대역의 제2 진폭 신호를 복수의 대역폭 구간의 진폭 신호들로 구분할 수 있다. 제2 주파수 대역의 제2 진폭 신호는 제1 윈도우가 적용된 제1 음성 신호의 진폭 신호 중 고대역에 해당하는 진폭 신호를 나타낼 수 있다. 예컨대, 제1 주파수 대역은 8kHz 이상 16kHz 미만의 대역을 나타낼 수 있고, 제1 진폭 신호는 이러한 0 이상 8kHz 미만의 대역의 진폭 신호를 나타낼 수 있다.
예컨대, 컴퓨터 시스템(100)은 제2 진폭 신호의 제2 주파수 대역을 적어도 하나의 바크 스케일(bark scale) 단위로 구분함으로써, 제2 진폭 신호를 복수의 대역폭 구간의 진폭 신호들로 구분할 수 있다.
*87바크 스케일은 음향심리학에 기반한 척도일 수 있다. 이는 인간이 청각 기관을 이용하여 구분할 수 있는 소리의 진폭과 높이, 길이, 음색 등과 같은 소리의 특징와 관련하여, 해당 소리의 특징을 구체적으로 나타내기 위해 서로 다른 소리를 구별하기 위한 척도일 수 있다.
음향 심리학적인(psychoacoustics) 이론에 따라, 사용자는 고대역(예컨대, 8~16kHz 대역폭)의 진폭 신호를 낮은 해상도로 인지할 수 있는 바, 이러한 고대역의 음성 신호에 해당하는 진폭 신호는 바크 스케일 단위로 구분함으로써 복수의 대역폭 구간의 진폭 신호들로 구분될 수 있다. 복수의 대역폭 구간은 바크 스케일에 따라, 예컨대, 8000~9600Hz, 9600~12000Hz 및 12000~15600Hz일 수 있고, 고대역의 음성 신호에 해당하는 진폭 신호는 상기의 각 대역폭 구간의 진폭 신호로 구분될 수 있다.
단계(430)에서, 컴퓨터 시스템(100)은 단계(420)에서 구분된 진폭 신호들의 각각에 대한 평균 에너지를 계산할 수 있다. 컴퓨터 시스템(100)은 구분된 진폭 신호들의 각각에 대해 각 진폭 신호가 해당하는 대역폭 구간에서의 평균 에너지(즉, 주파수 에너지의 평균)를 계산할 수 있다.
단계(440)에서, 컴퓨터 시스템(100)은 제2 네트워크에 대해, 단계(430)에서 계산된 평균 에너지를 입력시킬 수 있고, 제2 네트워크의 출력으로서 제2 진폭 신호에 대해 적용될 제2 마스크를 획득할 수 있다.
이처럼, 단계(430)에서 계산된 평균 에너지는 제2 네트워크에서의 추론을 수행하기 위한 입력 파라미터가 될 수 있다. 제2 네트워크에 의해 출력되는 제2 마스크를 제2 진폭 신호에 대해 적용함으로써(예컨대, 곱함으로써), 노이즈가 제거된 진폭 신호(즉, 노이즈가 제거된 제2 진폭 신호)가 얻어질 수 있다.
제2 마스크는 단계(430)에서 계산된 평균 에너지에 대한 IRM일 수 있다. 전술한 것처럼 이러한 제2 마스크는 제2 진폭 신호와 곱해짐으로써 제2 진폭 신호에 대해 적용될 수 있다.
실시예에서는, 단계(410)에서와 같이, 저대역의 진폭 신호는 제2 네트워크로 입력될 수 있고(즉, 저대역의 진폭 신호가 제2 네트워크에 대한 입력 파라미터가 될 수 있고), 제2 네트워크에 의한 추론에 의해 노이즈 제거를 위한 작업이 수행될 수 있다.
다만, 단계(420 내지 440)에서와 같이, 고대역의 진폭 신호에 대해서는 복수의 대역폭 구간으로 구분된 진폭 신호들의 각각의 평균 에너지가 계산되어, 계산된 평균 에너지가 제2 네트워크에 대한 입력 파라미터로서 사용됨으로써 고대역의 진폭 신호에 대한 제2 네트워크에서의 연산량이 줄어들 수 있다.
도 5는 일 예에 따른, 머신러닝 모델을 사용하여 진폭 신호 중 제1 주파수 대역의 제1 진폭 신호에 대해 적용될 마스크를 생성함에 있어서, 머신러닝 모델에 대해 입력되는 파라미터를 결정하는 방법을 나타내는 흐름도이다.
도 5의 단계들(510-1 내지 520-2)을 참조하여, 진폭 신호 중 저대역에 해당하는 제1 주파수 대역의 제1 진폭 신호에 기반하여 제2 네트워크에 대해 입력되는 파라미터를 결정하는 방법을 설명한다.
단계(510-1)에서, 컴퓨터 시스템(100)은 제1 주파수 대역의 제1 진폭 신호에 기반하여 기 결정된 개수의 MFCC (Mel-Frequency Cepstral Coefficient)들을 계산할 수 있다.
단계(520-1)에서, 컴퓨터 시스템(100)은 제1 진폭 신호에 대해 적용될 제1 마스크를 획득하기 위해, 계산된 MFCC들을 머신러닝 모델(110)에 대해 입력시킬 수 있다.
즉, 제1 진폭 신호와 함께, 제1 진폭 신호에 대한 MFCC들은 제2 네트워크에서의 추론을 수행하기 위한 입력 파라미터가 될 수 있다. 제1 진폭 신호에 대한 소정의 개수(예컨대, 20개)의 계수(coefficient)가 계산되어 제2 네트워크으로 입력될 수 있다. MFCC들은 제1 진폭 신호의 주파수 전체의 모양에 대한 정보를 제공할 수 있다.
MFCC는 음성 신호를 특징 벡터화하기 위해 필요한 계수일 수 있다. 예컨대, MFCC는 제1 진폭 신호의 피쳐(feature)가 될 수 있다.
MFCC는 상대적으로 저주파 대역의 음성 신호를 잘 인식하고, 고주파 대역의 음성 신호를 잘 인식하지 못하는 달팽이관의 특성을 고려하는 멜 스케일(Mel-scale)에 기반하여 제1 진폭 신호로부터 계산(추출)될 수 있다. MFCC는, 멜 스케일에 따라 제1 진폭 신호를 복수의 구간들로 구분하여, 각 구간에 대해 계산될 수 있다.
단계(510-2)에서, 컴퓨터 시스템(100)은 제1 주파수 대역의 제1 진폭 신호에 기반하여 ZCR (Zero Crossing Rate)을 계산할 수 있다.
단계(520-2)에서, 컴퓨터 시스템(100)은 제1 진폭 신호에 대해 적용될 제1 마스크를 획득하기 위해, 계산된 ZCR을 제2 네트워크에 대해 입력시킬 수 있다.
즉, 제1 진폭 신호와 함께, 제1 진폭 신호에 대한 ZCR은 제2 네트워크에서의 추론을 수행하기 위한 입력 파라미터가 될 수 있다. ZCR은 제1 진폭 신호를 시간 축으로 분석함으로써 계산될 수 있다. ZCR은 제1 진폭 신호의 시간 축 성분이 포함하는 노이즈에 관한 정보를 제공할 수 있다. ZCR은 (음성) 신호를 따른 부호 변화율, 즉, 신호가 변화하는 비율을 나타낼 수 있다. 즉, ZCR은 신호가 0을 지나는, 신호의 부호가 바뀌는 비율을 나타낼 수 있다.
컴퓨터 시스템(100)은 제1 진폭 신호, 제1 진폭 신호에 대한 MFCC들 및 제1 진폭 신호에 대한 ZCR을 제2 네트워크에 대해 입력시킬 수 있고, 제2 네트워크의 출력으로서 1 진폭 신호에 대해 적용될 제1 마스크를 획득할 수 있다.
도 6은 일 예에 따른, 입력 음성 신호 및 머신러닝 모델로부터의 마스크를 사용하여, 노이즈가 제거된 음성 신호를 복원하는 방법을 나타내는 흐름도이다.
도 6의 단계들(610 내지 640)을 참조하여, 노이즈가 제거된 음성 신호를 복원하는 방법을 구체적으로 설명한다.
단계(610)에서, 컴퓨터 시스템(100)은 제1 윈도우가 적용된 제1 음성 신호의 진폭 신호와, 해당 진폭 신호에 대해 적용될 마스크를 곱함으로써 노이즈 제거 진폭 신호(노이즈가 제거된 진폭 신호)를 추정할 수 있다. 예컨대, 전술된 것처럼, 컴퓨터 시스템(100)은 단계(410)에서 획득된 제1 마스크를 제1 진폭 신호와 곱하고, 단계(440)에서 획득된 제2 마스크를 제2 진폭 신호와 곱함으로써 획득된 진폭 신호를 노이즈가 제거된 진폭 신호로서 추정할 수 있다. 제1 마스크와 제1 진폭 신호를 곱함으로써, 노이즈가 제거된 제1 진폭 신호가 추정될 수 있고, 제2 마스크와 제2 진폭 신호를 곱함으로써, 노이즈가 제거된 제2 진폭 신호가 추정될 수 있다.
단계(620)에서, 컴퓨터 시스템(100)은 노이즈 제거 진폭 신호 및 단계(330)에서 획득한 위상 신호에 기반하여 노이즈가 제거된 복원 음성 신호의 FFT 계수를 복원할 수 있다. 말하자면, 컴퓨터 시스템(100)은 제1 윈도우가 적용된 제1 음성 신호에 대해 단계(610)에 의해 획득된 노이즈가 제거된 진폭 신호와 단계(330)에 의해 노이즈가 제거된 위상 신호(단계(310)에서 제1 네트워크에 의해 노이즈가 제거된 위상 신호)에 기반하여 노이즈가 제거된 복원 음성 신호의 FFT 계수를 복원할 수 있다.
단계(630)에서, 컴퓨터 시스템(100)은 복원된 FFT 계수에 기반하여 IFFT (Inverse Fast Fourier Transform)를 수행함으로써 노이즈가 제거된 복원 음성 신호를 생성할 수 있다. 단계(630)에서 생성되는 복원 음성 신호는 도 1의 복원 음성 신호(180)와 비교하면 제2 윈도우가 적용되기 전의 제2 음성 신호일 수 있으며, 단계(370)을 통해 제2 윈도우가 적용됨에 따라 도 1의 복원 음성 신호(180)가 될 수 있다.
복원 음성 신호(180)는 컴퓨터 시스템(100)에서, 예컨대, 스피커(240)를 통해 출력될 수 있다.
도 7은 일 예에 따른, 머신러닝 모델에 의해 추정되는 마스크를 나타낸다.
도 7의 도시된 <a> 내지 <d>의 각각은 제2 네트워크에 의한 추론을 통해 추정되는 마스크(IRM 또는 CIRM)의 예시를 나타낼 수 있다. 말하자면, 도시된 <a> 내지 <d>의 각각은 제2 네트워크에 의해 추정되는 최적값을 나타낼 수 있다.
마스크가 제1 윈도우가 적용된 제1 음성 신호의 진폭 신호에 대해 곱해짐으로써, 제1 윈도우가 적용된 제1 음성 신호에 포함된 노이즈가 억제(suppress)될 수 있다.
도시된 <a> 내지 <d>에서, 예컨대, x축은 주파수(또는 시간)를 나타낼 수 있고, y축은 제1 윈도우가 적용된 제1 음성 신호에 대해 곱해지는 값을 나타낼 수 있다.
제2 네트워크에 의해 추정되는 마스크의 형태 및 값의 진폭은 전술된 제2 네트워크에 대한 입력 파라미터와 제2 네트워크에 의한 추정의 결과에 따라 도시된 것과는 상이하게 될 수 있다.
도 8은 일 예에 따른 제1 네트워크의 예를 나타내고 있으며, 도 9는 일 예에 따른 제2 네트워크의 예를 나타내고 있다. 이미 설명한 바와 같이 제1 네트워크와 제2 네트워크는 각각 유넷 구조의 머신러닝 모델일 수 있다. 유넷 구조는 도 8에 나타난 바와 같이 각 레이어의 크기가 512-256-128-64-32-16-16-32-64-128-256-512 와 같이 이전 레이어의 절반이 되도록 구성되는 특징을 가지며, 이러한 레이어들의 모양이 "U"를 나타내고 있다. 도 8에서는 도 1을 통해 설명한 Time NS net(120)이 CNN의 총 12 개의 레이어들을 사용하여 구현되는 예를 나타내고 있으며, 도 9에서는 도 1을 통해 설명한 Frequency NS net(150)이 Dense의 총 6개의 레이어들을 사용하여 구현되는 예를 나타내고 있다. 이는 제1 네트워크와 제2 네트워크를 구성하는 하나의 실시예일뿐 이에 한정되지 않는다.
이상에서 설명된 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 컴퓨터 시스템을 사용하여, 노이즈를 제거하는 방법에 있어서,
    노이즈를 포함하는 입력 음성 신호를, 시간 영역에서 노이즈가 제거된 음성을 추론하도록 훈련된 유넷(u-net) 구조의 제1 네트워크에 입력하여 위상이 복원되고 노이즈가 1차로 제거된 제1 음성 신호를 생성하는 단계;
    상기 제1 음성 신호에 제1 윈도우를 적용하는 단계;
    상기 제1 윈도우가 적용된 제1 음성 신호에 FFT(Fast Fourier Transform)를 수행하여 진폭(magnitude) 신호 및 위상(phase) 신호를 획득하는 단계;
    상기 진폭 신호에 대해 적용될 마스크를 추정하도록 훈련된 유넷 구조의 제2 네트워크에 상기 진폭 신호를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 진폭 신호에 대해 적용될 마스크를 획득하는 단계;
    상기 진폭 신호에 상기 획득된 마스크를 적용하는 단계;
    상기 마스크가 적용된 진폭 신호 및 상기 위상 신호를 사용하여 상기 제1 윈도우가 적용된 제1 음성 신호에 IFFT(Inverse Fast Fourier Transform)를 수행하여 노이즈가 2차로 제거된 제2 음성 신호를 생성하는 단계; 및
    상기 제2 음성 신호에 제2 윈도우를 적용하는 단계
    를 포함하는 노이즈 제거 방법.
  2. 제1항에 있어서,
    상기 제1 윈도우 및 상기 제2 윈도우 중 적어도 하나는 MDCT(Modified Discrete Cosine Transform)에서의 TDAC(time domain aliasing cancellation)를 위해 사용하는 KBD(Kaiser-bessel-derived) 윈도우를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
  3. 제1항에 있어서,
    상기 진폭 신호에 대해 적용될 마스크를 획득하는 단계는,
    상기 제2 네트워크에 대해, 상기 진폭 신호 중 제1 주파수 대역의 제1 진폭 신호를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 제1 진폭 신호에 대해 적용될 제1 마스크를 획득하는 단계;
    상기 진폭 신호 중 상기 제1 주파수 대역보다 더 큰 주파수 대역인 제2 주파수 대역의 제2 진폭 신호를 복수의 대역폭 구간의 진폭 신호들로 구분하는 단계;
    상기 구분된 진폭 신호들의 각각에 대한 평균 에너지를 계산하는 단계; 및
    상기 제2 네트워크에 대해, 상기 계산된 평균 에너지를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 제2 진폭 신호에 대해 적용될 제2 마스크를 획득하는 단계
    를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
  4. 제3항에 있어서,
    상기 제2 진폭 신호는 상기 제2 주파수 대역을 바크 스케일(bark scale) 단위로 구분함으로써 상기 복수의 대역폭 구간의 진폭 신호들로 구분되는 것을 특징으로 하는 노이즈 제거 방법.
  5. 제3항에 있어서,
    상기 제1 마스크는 상기 제1 진폭 신호에 대한 이상 비율 마스크(Ideal Ratio Mask; IRM)이고,
    상기 제2 마스크는 상기 계산된 평균 에너지에 대한 IRM이고,
    상기 진폭 신호에 상기 획득된 마스크를 적용하는 단계에서,
    상기 제1 마스크는 상기 제1 진폭 신호와 곱해지고, 상기 제2 마스크는 상기 제2 진폭 신호와 곱해지는 것
    을 특징으로 하는 노이즈 제거 방법.
  6. 제3항에 있어서,
    상기 제1 마스크를 획득하는 단계는,
    상기 제1 진폭 신호에 기반하여 기 결정된 개수의 MFCC(Mel-Frequency Cepstral Coefficient)들을 계산하는 단계; 및
    상기 제1 마스크를 획득하기 위해, 상기 계산된 MFCC들을 상기 제2 네트워크에 대해 입력시키는 단계
    를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
  7. 제3항에 있어서,
    상기 제1 마스크를 획득하는 단계는,
    상기 제1 진폭 신호에 기반하여 ZCR(Zero Crossing Rate)을 계산하는 단계; 및
    상기 제1 마스크를 획득하기 위해, 상기 계산된 ZCR을 상기 제2 네트워크에 대해 입력시키는 단계
    를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
  8. 제1항에 있어서,
    상기 제2 음성 신호를 생성하는 단계는,
    상기 진폭 신호와 상기 진폭 신호에 대해 적용될 마스크를 곱함으로써 노이즈 제거 진폭 신호를 추정하는 단계;
    상기 노이즈 제거 진폭 신호 및 상기 위상 신호에 기반하여 상기 노이즈가 제거된 음성 신호의 FFT 계수를 복원하는 단계; 및
    상기 복원된 FFT 계수에 기반하여 IFFT를 수행함으로써 노이즈가 2차로 제거된 상기 제2 음성 신호를 복원하는 단계
    를 포함하는 것을 특징으로 하는 노이즈 제거 방법.
  9. 제1항에 있어서,
    상기 제1 네트워크에 입력되는 상기 입력 음성 신호는 복수의 프레임들로 구성되는 것을 특징으로 하는 노이즈 제거 방법.
  10. 컴퓨터 시스템과 결합되어 제1항 내지 제9항 중 어느 한 항의 방법을 컴퓨터 시스템에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  11. 제1항 내지 제9항 중 어느 한 항의 방법을 수행하는 컴퓨터 판독 가능 기록 매체에 기록된 프로그램.
  12. 노이즈를 제거하는 컴퓨터 시스템에 있어서,
    컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    노이즈를 포함하는 입력 음성 신호를, 시간 영역에서 노이즈가 제거된 음성을 추론하도록 훈련된 유넷(u-net) 구조의 제1 네트워크에 입력하여 위상이 복원되고 노이즈가 1차로 제거된 제1 음성 신호를 생성하고,
    상기 제1 음성 신호에 제1 윈도우를 적용하고,
    상기 제1 윈도우가 적용된 제1 음성 신호에 FFT(Fast Fourier Transform)를 수행하여 진폭(magnitude) 신호 및 위상(phase) 신호를 획득하고,
    상기 진폭 신호에 대해 적용될 마스크를 추정하도록 훈련된 유넷 구조의 제2 네트워크에 상기 진폭 신호를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 진폭 신호에 대해 적용될 마스크를 획득하고,
    상기 진폭 신호에 상기 획득된 마스크를 적용하고,
    상기 마스크가 적용된 진폭 신호 및 상기 위상 신호를 사용하여 상기 제1 윈도우가 적용된 제1 음성 신호에 IFFT(Inverse Fast Fourier Transform)를 수행하여 노이즈가 2차로 제거된 제2 음성 신호를 생성하고,
    상기 제2 음성 신호에 제2 윈도우를 적용하는 것
    을 특징으로 하는 컴퓨터 시스템.
  13. 제12항에 있어서,
    상기 제1 윈도우 및 상기 제2 윈도우 중 적어도 하나는 MDCT(Modified Discrete Cosine Transform)에서의 TDAC(time domain aliasing cancellation)를 위해 사용하는 KBD(Kaiser-bessel-derived) 윈도우를 포함하는 것
    을 특징으로 하는 컴퓨터 시스템.
  14. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 제2 네트워크에 대해, 상기 진폭 신호 중 제1 주파수 대역의 제1 진폭 신호를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 제1 진폭 신호에 대해 적용될 제1 마스크를 획득하고,
    상기 진폭 신호 중 상기 제1 주파수 대역보다 더 큰 주파수 대역인 제2 주파수 대역의 제2 진폭 신호를 복수의 대역폭 구간의 진폭 신호들로 구분하고,
    상기 구분된 진폭 신호들의 각각에 대한 평균 에너지를 계산하고,
    상기 제2 네트워크에 대해, 상기 계산된 평균 에너지를 입력시키고, 상기 제2 네트워크의 출력으로서 상기 제2 진폭 신호에 대해 적용될 제2 마스크를 획득하는 것
    을 특징으로 하는 컴퓨터 시스템.
  15. 제12항에 있어서,
    상기 적어도 하나의 프로세서에 의해,
    상기 진폭 신호와 상기 진폭 신호에 대해 적용될 마스크를 곱함으로써 노이즈 제거 진폭 신호를 추정하고,
    상기 노이즈 제거 진폭 신호 및 상기 위상 신호에 기반하여 상기 노이즈가 제거된 음성 신호의 FFT 계수를 복원하고,
    상기 복원된 FFT 계수에 기반하여 IFFT를 수행함으로써 노이즈가 2차로 제거된 상기 제2 음성 신호를 복원하는 것
    을 특징으로 하는 컴퓨터 시스템.
KR1020200098569A 2020-08-06 2020-08-06 딥러닝을 이용한 시간 및 주파수 분석 기반의 노이즈 제거 방법 및 장치 KR20220018271A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200098569A KR20220018271A (ko) 2020-08-06 2020-08-06 딥러닝을 이용한 시간 및 주파수 분석 기반의 노이즈 제거 방법 및 장치
JP2021126781A JP2022031196A (ja) 2020-08-06 2021-08-02 ノイズ除去方法および装置
US17/394,669 US11810586B2 (en) 2020-08-06 2021-08-05 Methods and apparatuses for noise reduction based on time and frequency analysis using deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200098569A KR20220018271A (ko) 2020-08-06 2020-08-06 딥러닝을 이용한 시간 및 주파수 분석 기반의 노이즈 제거 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220018271A true KR20220018271A (ko) 2022-02-15

Family

ID=80115365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200098569A KR20220018271A (ko) 2020-08-06 2020-08-06 딥러닝을 이용한 시간 및 주파수 분석 기반의 노이즈 제거 방법 및 장치

Country Status (3)

Country Link
US (1) US11810586B2 (ko)
JP (1) JP2022031196A (ko)
KR (1) KR20220018271A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475869B2 (en) * 2021-02-12 2022-10-18 Plantronics, Inc. Hybrid noise suppression for communication systems
US20220293119A1 (en) * 2021-03-11 2022-09-15 Aondevices, Inc. Multistage low power, low latency, and real-time deep learning single microphone noise suppression
TWI819478B (zh) * 2021-04-07 2023-10-21 英屬開曼群島商意騰科技股份有限公司 具端至端神經網路之聽力裝置及音訊處理方法
CN114999519A (zh) * 2022-07-18 2022-09-02 中邮消费金融有限公司 一种基于双重变换的语音实时降噪方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3067889A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for signal-adaptive transform kernel switching in audio coding
CN106571146B (zh) 2015-10-13 2019-10-15 阿里巴巴集团控股有限公司 噪音信号确定方法、语音去噪方法及装置
US9792896B2 (en) * 2015-12-15 2017-10-17 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
US10753965B2 (en) * 2018-03-16 2020-08-25 Music Tribe Brands Dk A/S Spectral-dynamics of an audio signal
US10511908B1 (en) * 2019-03-11 2019-12-17 Adobe Inc. Audio denoising and normalization using image transforming neural network
US10833785B1 (en) * 2019-04-23 2020-11-10 DeepSig Inc. Processing communications signals using a machine-learning network
US11355137B2 (en) * 2019-10-08 2022-06-07 Spotify Ab Systems and methods for jointly estimating sound sources and frequencies from audio
US20200184987A1 (en) * 2020-02-10 2020-06-11 Intel Corporation Noise reduction using specific disturbance models
DE102021213863A1 (de) * 2021-01-15 2022-07-21 Ngk Insulators, Ltd. Keramikkörper und verfahren zu dessen herstellung, heizelement, heizeinheit, heizsystem sowie reinigungssytem

Also Published As

Publication number Publication date
US20220044696A1 (en) 2022-02-10
US11810586B2 (en) 2023-11-07
JP2022031196A (ja) 2022-02-18

Similar Documents

Publication Publication Date Title
KR20220018271A (ko) 딥러닝을 이용한 시간 및 주파수 분석 기반의 노이즈 제거 방법 및 장치
US10679612B2 (en) Speech recognizing method and apparatus
US10014002B2 (en) Real-time audio source separation using deep neural networks
Kaneko et al. Generative adversarial network-based postfilter for STFT spectrograms
Bhat et al. A real-time convolutional neural network based speech enhancement for hearing impaired listeners using smartphone
CN107610708B (zh) 识别声纹的方法及设备
CN110459241B (zh) 一种用于语音特征的提取方法和系统
US9484044B1 (en) Voice enhancement and/or speech features extraction on noisy audio signals using successively refined transforms
Coto-Jiménez et al. Improving automatic speech recognition containing additive noise using deep denoising autoencoders of LSTM networks
Yuan A time–frequency smoothing neural network for speech enhancement
JP2020086434A (ja) 音声検出のための雑音除去変分オートエンコーダ基盤の統合トレーニング方法および装置
WO2023001128A1 (zh) 音频数据的处理方法、装置及设备
JP2023536104A (ja) 機械学習を用いたノイズ削減
Kim et al. Efficient implementation of the room simulator for training deep neural network acoustic models
Farahani Autocorrelation-based noise subtraction method with smoothing, overestimation, energy, and cepstral mean and variance normalization for noisy speech recognition
González-Salazar et al. Enhancing speech recorded from a wearable sensor using a collection of autoencoders
KR20220114365A (ko) 풀 밴드 신호의 노이즈 제거 방법 및 장치
CN110875037A (zh) 语音数据处理方法、装置及电子设备
Srinivas et al. A classification-based non-local means adaptive filtering for speech enhancement and its FPGA prototype
Dua et al. Gujarati language automatic speech recognition using integrated feature extraction and hybrid acoustic model
KR20230172288A (ko) 딥러닝을 기반의 잡음 제거 방법 및 장치
Coto-Jiménez Robustness of LSTM neural networks for the enhancement of spectral parameters in noisy speech signals
KR20210105688A (ko) 머신러닝 모델을 사용하여 노이즈를 포함하는 입력 음성 신호로부터 노이즈가 제거된 음성 신호를 복원하는 방법 및 장치
JP7231181B2 (ja) 耐雑音音声認識装置及び方法、並びにコンピュータプログラム
Lu et al. Temporal contrast normalization and edge-preserved smoothing of temporal modulation structures of speech for robust speech recognition