WO2018190547A1 - 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치 - Google Patents

심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치 Download PDF

Info

Publication number
WO2018190547A1
WO2018190547A1 PCT/KR2018/003840 KR2018003840W WO2018190547A1 WO 2018190547 A1 WO2018190547 A1 WO 2018190547A1 KR 2018003840 W KR2018003840 W KR 2018003840W WO 2018190547 A1 WO2018190547 A1 WO 2018190547A1
Authority
WO
WIPO (PCT)
Prior art keywords
noise
echo
neural network
feature vector
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/003840
Other languages
English (en)
French (fr)
Inventor
장준혁
서혜지
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry University Cooperation Foundation IUCF HYU
Original Assignee
Industry University Cooperation Foundation IUCF HYU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry University Cooperation Foundation IUCF HYU filed Critical Industry University Cooperation Foundation IUCF HYU
Priority to US16/604,777 priority Critical patent/US11017791B2/en
Publication of WO2018190547A1 publication Critical patent/WO2018190547A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Definitions

  • the following embodiments are related to a technique for integrating and removing noise and echo included in a voice signal based on a deep neural network.
  • Integrated noise cancellation of speech noise and echo is a technique for removing noise and echo included in a speech signal.
  • noise cancellers and echo cancellers are designed independently and connected in series to sequentially perform noise and echo cancellation.
  • these noise and echo cancellers have a large performance difference depending on the position of the noise canceller and the echo canceller. For example, if the noise canceller is located in front of the echo canceller, the nonlinear operation of the noise canceller causes the performance of the echo canceller to degrade.
  • the noise spectrum to be estimated by the noise canceller is distorted during the echo cancellation, resulting in a problem of deterioration of the noise estimation performance.
  • an integrated cancellation technique of noise and echo may be used that collectively eliminates noise and echo at once.
  • a statistical model-based integrated noise and echo cancellation technique using the statistical information between the speech signal and the noise and echo was mainly used.
  • the speech enhancement technique based on the statistical model does not perform well in an abnormal noise environment.
  • a technique of learning a speech recognition model using speech with noise is proposed.
  • the performance is optimized. When testing in a noisy environment, there is a problem of poor performance.
  • Deep Neural Network a machine learning technique
  • the deep neural network shows excellent performance by effectively modeling the nonlinear relationship between the input feature vector and the output feature vector through multiple hidden layers and hidden nodes.
  • Korean Patent No. 10-0762596 relates to a speech signal preprocessing system and a method for extracting speech signal feature information, and describes a technique of preprocessing a speech signal using a neural network recognition method.
  • Embodiments describe a method and apparatus for integrating a deep neural network based noise and echo, and more specifically, a technique for integrating a deep neural network (DNN) to remove noise and echo present in a voice.
  • DNN deep neural network
  • Embodiments use noise information and echo information, which are statistical information of speech signals, as additional inputs of the deep neural network (DNN) to solve the problem that the deep neural network (DNN) is not well trained by only far-end speaker signal and microphone input information. Denoising noise and echo based on deep neural network based noise and echo using the integrated feature of noise and echo to remove noise and echo from the speech signal as the target feature vector of the deep neural network (DNN). An integrated removal method and apparatus are provided.
  • a method of integrating noise and echo based on a deep neural network comprising: extracting a feature vector from a speech signal including noise and echo; And acquiring the final speech signal from which the noise and the echo are removed by using the integrated cancellation gain of the noise and the echo estimated through the learning of the feature vector and the deep neural network (DNN).
  • DNN deep neural network
  • the method may further include training the deep neural network (DNN), and the training of the deep neural network (DNN) may include extracting feature vectors from a microphone input signal including a noise and an echo and a far-end speaker signal in a learning step. step; And using the feature vector as an input feature vector of the deep neural network (DNN), and passing the input feature vector through a weight parameter and a bias parameter that are models of the learned deep neural network (DNN). Estimating the integrated cancellation gain.
  • DNN deep neural network
  • DNN deep neural network
  • DNN deep neural network
  • the training of the deep neural network may include a priori and a posteriori SER, a priori and a posteriori SER, a priori signal to noise ratio, and a priori signal to noise ratio (a priori). and a posteriori SNR) may be connected to the extracted feature vector and used as an input feature vector of the deep neural network (DNN).
  • extracting a feature vector from the microphone input signal and the far-end speaker signal including noise and echo may include a short time for the microphone input signal and the far-end speaker signal including noise and echo.
  • STFT Fourier Transform
  • LPS log power spectrum
  • the training of the deep neural network includes estimating continuous optimal gain through regression of the deep neural network (DNN) and calculating a mean squared error (MSE).
  • MSE mean squared error
  • the extracting of the feature vector from the speech signal including the noise and the echo may include extracting the feature vector from the microphone input signal and the far-end speaker signal including the noise and the echo, and in the speech enhancing step, the speech signal.
  • a deeper neural network a priori and a posteriori SER
  • SNR priori and a posteriori ratio
  • extracting the feature vector from the microphone input signal and the far-end speaker signal including noise and echo may include extracting the feature vector from the microphone input signal and the far-end speaker signal including noise and echo.
  • STFT short-time Fourier transform
  • LPS log power spectrum
  • Acquiring the final speech signal from which the noise and the echo are removed by using the integrated cancellation gain of the noise and the echo estimated through learning of the feature vector and the deep neural network (DNN) may include a microphone input including the noise and the echo.
  • LPS log power spectrum
  • ISTFT inverse short-time fourier transform
  • an integrated neural network based noise and echo cancellation apparatus includes: a feature vector extractor extracting a feature vector from a speech signal including noise and echo; And a speech signal reconstruction unit for obtaining a final speech signal from which noise and echo are removed by using the integrated cancellation gain of noise and echo estimated through learning of the feature vector and the deep neural network (DNN).
  • a feature vector extractor extracting a feature vector from a speech signal including noise and echo
  • a speech signal reconstruction unit for obtaining a final speech signal from which noise and echo are removed by using the integrated cancellation gain of noise and echo estimated through learning of the feature vector and the deep neural network (DNN).
  • DNN deep neural network
  • a deep neural network learning unit for learning the deep neural network (DNN), the deep neural network learning unit, in the learning step, a feature vector of the learning unit to extract a feature vector from the microphone input signal and far-end speaker signal including noise and echo Extraction unit; And using the feature vector as an input feature vector of the deep neural network (DNN), and passing the input feature vector through a weight parameter and a bias parameter that are models of the learned deep neural network (DNN). It may include a deep neural network (DNN) modeling unit for estimating the integrated removal gain.
  • DNN deep neural network
  • the feature vector extracting unit may include a priori and a posteriori SER, a priori and a posteriori SNR, which are statistical information of a speech signal, and a priori and a posteriori SNR.
  • a priori and a posteriori SER a priori and a posteriori SNR
  • a priori and a posteriori SNR which are statistical information of a speech signal
  • a priori and a posteriori SNR May include noise information and an echo information unit of a learner using the extracted feature vector as an input feature vector of the deep neural network (DNN).
  • DNN deep neural network
  • the feature vector extracting unit performs a short-time Fourier transform (STFT) on a microphone input signal and a far-end speaker signal including noise and echo, and then performs a frequency domain in the time domain. And a learner extracting a log power spectrum (LPS) of the converted frequency domain signal as the feature vector.
  • STFT short-time Fourier transform
  • LPS log power spectrum
  • the deep neural network (DNN) modeling unit estimates continuous optimal gain through regression of the deep neural network (DNN), and calculates a mean squared error (MSE) to the deep neural network (DSE).
  • MSE mean squared error
  • the deep neural network (DNN) is minimized in the direction of minimizing the difference between the integrated cancellation gain of the noise and the echo, which is a target feature vector, and the integrated cancellation gain of the noise and the echo estimated through the deep neural network.
  • DNN) learning can proceed.
  • the feature vector extractor may perform a short-time Fourier transform (STFT) on a microphone input signal and a far-end speaker signal including noise and echo in the speech enhancement step, A spectrum extracting unit converting the signal into a signal and extracting a log power spectrum (LPS) of the converted frequency domain signal into the feature vector; And in the speech enhancement step, extracting a priori and a posteriori SER and a priori and a posteriori SNR, which are statistical information of the speech signal, and extracting a priori and a posteriori SNR. It may include a noise and echo information unit connected to a vector and used as an input feature vector of the deep neural network (DNN).
  • DNN deep neural network
  • the voice signal reconstruction unit multiplies the log power spectrum of the microphone input signal including the noise and echo by the integrated cancellation gain of the estimated noise and echo to multiply the estimated log power spectrum of the near-end speaker signal.
  • a waveform can be obtained.
  • noise information and echo information which are statistical information of the voice signal, may be added as additional inputs of the deep neural network (DNN).
  • Deep neural network-based noise and noise which effectively remove noise and echo, using the integrated feature of the noise and echo cancellation targets of the deep neural network (DNN) as a target feature vector of the deep neural network (DNN). It is possible to provide a method and apparatus for integrated removal of echoes.
  • FIG. 1 is a diagram illustrating feature vector extraction of an apparatus for removing deepening neural networks based noise and echo according to an embodiment.
  • FIG. 2 is a diagram illustrating an optimum gain of a device for removing noise and echo based on a deep neural network (DNN) according to an embodiment.
  • DNN deep neural network
  • FIG. 3 illustrates a waveform comparison of a noise and echo canceled signal in a learned noise environment, according to an embodiment.
  • FIG. 4 illustrates a waveform comparison of a noise and echo canceled signal in an unlearned noise environment for comparison with a learned noise environment, according to one embodiment.
  • FIG. 5 is a diagram illustrating an apparatus for removing and removing deepening neural network based noise and echoes, according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a method for integrating a deep neural network based noise and echo according to an embodiment.
  • FIG. 7 is a flowchart illustrating a method of learning a deep neural network according to an embodiment.
  • FIG. 8 is a block diagram illustrating an apparatus for removing and removing deepening neural network based noise and echoes, according to an exemplary embodiment.
  • Voice enhancement technology removes noise and echo from a voice signal with noise and echo input into the microphone and estimates clean voice. It is essential for voice applications such as voice recognition and voice communication. For example, in speech recognition, if you train the speech recognition model with a clean signal that is free of noise and echoes, then test with a signal that is noisy, performance will be reduced. In order to solve this problem, the performance of speech recognition can be improved by introducing a speech enhancement technique that removes noise and echoes before performing speech recognition. In addition, voice enhancement technology can also be used to improve voice quality by removing noise and echo in voice communications, delivering voice clearly and clearly.
  • inventions may collectively remove noise and echo present in voice using a deep neural network (DNN). More specifically, embodiments of the present invention provide a priori and a post-signal echo ratio, which is statistical information of a speech signal, in order to solve a problem in which the deep neural network (DNN) does not learn well using only far-end speaker signals and microphone input information.
  • posteriori SER posteriori SER
  • a priori and a posteriori SNR as additional inputs to the deepening neural network (DNN)
  • integrated rejection gain of noise and echo to uncouple noise and echo from speech signals Can be effectively eliminated noise and echo by using DNN as a target feature vector.
  • STFT Short Time Fourier Transform
  • ISTFT Inverse Short Time Fourier Transform
  • DFT Discrete Fourier Transform
  • IDFT IDFT
  • FFT Fast Fourier Transform
  • IFFT Inverse Fast Fourier Transform
  • FIG. 1 is a diagram illustrating feature vector extraction of an apparatus for removing deepening neural networks based noise and echo according to an embodiment.
  • the feature vector extracting apparatus 100 for integrated cancellation of noise and echo based on a deep neural network includes a microphone input signal 111 and a far-end speaker signal for extracting feature vectors for integrated cancellation of noise and echo.
  • far-end signal 112 may be input.
  • the microphone input signal 111 may be converted into a frequency domain through a short time Fourier transform (STFT) 121. Accordingly, a log power spectrum (LPS) of the frequency domain signal may be extracted to extract the input feature vector. That is, the log power spectrum of the microphone input signal 111 may be extracted 130 and used as an input feature vector of the deep neural network DNN.
  • STFT short time Fourier transform
  • LPS log power spectrum
  • the far-end speaker signal 112 may be transformed through a short time Fourier transform (STFT) 122 to be expressed in a frequency domain. Accordingly, a log power spectrum of the frequency domain signal may be extracted to extract the input feature vector. That is, the log power spectrum of the far-end speaker signal 112 may be extracted 130 and used as an input feature vector of the deep neural network DNN.
  • STFT short time Fourier transform
  • the input of the deep neural network includes the log power spectrum of the microphone input signal and the log power spectrum of the far-end signal, as well as additional echo information (echo information) and noise information 140 to improve performance. Can be pasted to use (150).
  • the following embodiments may introduce a DNN to the integrated cancellation algorithm of noise and echo to estimate the optimal cancellation cancellation of noise and echo.
  • DNN inputs additional noise and echo information, a priori and a posteriori SER and a priori and a posteriori SNR. The performance of DNN-based noise and echo cancellation can be improved.
  • the microphone signal power y (t), which includes noise and echo, is the noise signal d (t) and echo power in the near-end speech power x (t). ) can be generated by adding e (t), and can be expressed as
  • the microphone input signal including noise and echo refers to a microphone input signal having both noise and echo.
  • the microphone input signal y (t) including noise and echo is transformed through a Short-Time Fourier Transform (STFT) to be converted from the time domain to the frequency domain.
  • STFT Short-Time Fourier Transform
  • Y (l, m) is the microphone input signal containing noise and echo
  • X (l, m) is the near-end speaker signal
  • D (l, m) is the noise signal
  • E (l, m) is the echo signal It may represent a short time Fourier transform (STFT) coefficient.
  • l may represent a frequency index and m may represent a frame index.
  • the microphone input signal Y (l, m) including noise and echo represented in the frequency domain may be represented as spectrum and phase. That is, the microphone input signal Y (l, m) including noise and echo in the frequency domain may be expressed by spectrum and phase as shown in the following equation.
  • ⁇ represents a phase value and L may represent a frame step.
  • the phase of the microphone input signal with noise and echo can be used to restore the signal to the time domain during the speech synthesis step.
  • a log power spectrum (Log Power Spectrum or Log Power Spectra, LPS) of the frequency domain signal may be extracted.
  • a log power spectrum obtained by taking a logarithmic operation on the speech spectrum feature vector of Equation 3 may be used as the input feature vector.
  • a log power spectrum can be calculated by taking a log at the magnitude
  • DNN inputs include the log power spectrum of the microphone input signal and the log power spectrum of the far-end signal, as well as additional echo information (echo information) and noise information for improved performance. Can be used.
  • additional echo information a priori Signal-to-Echo Ratio and a posteriori Signal-to-Echo Ratio, a priori and a posteriori SERs can be used.
  • a priori Signal-to-Noise Ratio and a posteriori Signal-to-Noise Ratio, a priori and a posteriori SNRs may be used.
  • a priori SER, a posteriori SER, a priori SNR, and a posteriori SNR representing additional echo information and noise information are sequentially It can be expressed as an expression.
  • Y (i, k) is the microphone input signal
  • Is the power of the echo signal and May represent the power of the noise signal.
  • Table 1 shows additional noise information and echo information.
  • Table 1 it may represent a priori and a posteriori SER and a priori and a posteriori SNR, which are additional noise and echo information.
  • additional noise and echo information a priori and a posteriori SER and a priori and a posteriori SNR, are estimated from existing statistically based integrated rejection. can do.
  • a posteriori SNR can be updated using the variance of the noise signal in the absence of speech, and a priori SNR is the decision-direction in the presence of speech. can be obtained through the Similarly, a posteriori SER can be updated using the variance value of the echo signal in the absence of speech, and a priori SER is determined in the presence of speech. can be obtained through a decision-directed method.
  • SERs and a priori and a posteriori SNRs can be combined to use a total of 6682 as the input feature vector of the deep neural network (DNN).
  • the optimal gain G opt can be expressed as the following equation.
  • S ( n , i ) may mean a short time Fourier transform (STFT) coefficient of the clean near-end talker signal
  • Y ( n , i ) may mean a short time Fourier transform (STFT) coefficient of the microphone input signal.
  • the value of G min may be set to 10 ⁇ 4 .
  • the deep neural network can be trained first to remove the deep noise and echo based on the deep neural network (DNN).
  • the integrated neural network (DNN) based noise and echo cancellation method uses the spectrum of the microphone input signal, the far-end speaker signal, and additional noise information and echo information as input feature vectors to learn the deep neural network (DNN). It is possible to estimate the optimum gain for the integrated cancellation of the echo.
  • the deep neural network may estimate the continuous optimal gain value through regression of the deep neural network (DNN).
  • the mean squared error is the objective function of the deep neural network (DNN), and the noise and echo of the noise and echo estimated by the deep neural network (DNN) and the integrated elimination gain of the target feature vector
  • the learning of the deep neural network (DNN) may be conducted to minimize the difference in integrated elimination gain.
  • the mean square error (MSE) can be expressed by the following equation.
  • n denotes the number of training data samples
  • Y i denotes the log power spectrum of the clear speech signal without noise and echo, which are target feature vectors of the deep neural network (DNN), Can be voice enhanced through the deep neural network (DNN) to represent the log power spectrum of the integrated canceled signal of noise and echo.
  • DNN deep neural network
  • the deep neural network enables the modeling of nonlinear features through multiple hidden layers and hidden nodes.
  • weight and bias parameters which are models trained through the deep neural network (DNN) may be used for the integrated elimination of noise and echo.
  • test step of noise and echo may be performed.
  • an input feature vector can be extracted from the microphone input signal and the far-end speaker signal of the signal from which the noise and echo are to be integrated canceled to remove the noise and echo.
  • the log power spectrum of the microphone input signal and the far-end speaker signal, a priori and a posteriori SER, a priori and a posteriori SER, a priori and a posteri-to-noise ratio, a priori and a posteriori SNR may be connected to generate an input feature vector.
  • the integrated elimination gain of noise and echo can be obtained by passing the input feature vector through the weight parameter and bias parameters, which are models of the deep neural network (DNN) trained in the deep neural network (DNN) learning phase. .
  • the spectrum of the microphone input signal can be multiplied by the integrated cancellation gain of noise and echo to obtain the estimated spectrum of the near-end speaker signal.
  • the inverse short-time Fourier transform (ISTFT) of the log power spectrum of the estimated clean near-end talker signal along with the phase of the noisy signal can be used to obtain a waveform of the final estimated clean near-end talker signal. Since human hearing is not affected by the phase, the phase can use the phase of a speech signal containing noise as it is.
  • ISTFT inverse short-time Fourier transform
  • FIG. 2 is a diagram illustrating an optimum gain of a device for removing noise and echo based on a deep neural network (DNN) according to an embodiment.
  • DNN deep neural network
  • reverberation environment speech can be generated using the Room Impulse Response Generator on 4620 TIMIT voice databases.
  • the reverberation environment can be set by setting the simulation space and setting the reverberation time as 0.1 s, 0.2 s, or 0.3 s.
  • the microphone input signal is obtained by combining the far-end speaker signal and the near-end speaker signal, and the acoustic echo signal in the microphone input signal may be set to 3.5 dB lower than the near-end speaker signal.
  • noises of NOISEX-92's Babble, Factory, HFchannel, and F16 are added, and the test data set is Babble, Factory, HFchannel, F16, Destroyer-engine, Buccaneer, Pink, and White.
  • Eight noises can be added with a signal-to-noise ratio (SNR) of 10 dB.
  • SNR signal-to-noise ratio
  • the microphone input signal, the far-end speaker signal, and the clear near-end speaker signal which is a target feature vector of the deep neural network (DNN) are set to a frame size of 320 samples (20 ms) and a delay of 80 samples.
  • a signal in the frequency domain can be obtained by performing a 512-point short time Fourier transform (STFT).
  • STFT short time Fourier transform
  • the log power spectrum (LPS) of the frequency domain signal is used as the feature vector. That is, the log power spectrum 211 of the microphone input signal and the log power spectrum 212 of the far-end speaker signal may be used as the input feature vector of the deep neural network (DNN).
  • additional echo information and noise information (213), a priori and a posteriori SERs, a prior signal band Noise ratios and a priori and a posteriori SNRs were calculated.
  • 5 frames before and after the current frame of the log power spectrum of the microphone input signal, 5 frames before and after the log power spectrum of the far-end speaker signal, and additional noise and echo information (213 A priori and a posteriori SERs, a priori and a posteriori SNRs, and a total of 6682 dimensions are input characteristics of the deep neural network (DNN). Used as a vector.
  • the deep neural network (DNN) 220 may be composed of a plurality of layers, for example, three layers 222, 223, and 224, each of which is composed of 1024 hidden units, and a deep neural network (DNN) ( Sigmoid activity function was used as the activity function of 220). Session learning of deep neural network (DNN) 220 proceeds with back-propagation through SGD (Stochastic Gradient Descent) with the size of mini-batch as 100 as the objective function of MMSE (Minimum Mean Squared Error). It became.
  • SGD Stochastic Gradient Descent
  • DNN deep neural network
  • FIG. 3 illustrates a waveform comparison of a noise and echo canceled signal in a learned noise environment, according to an embodiment.
  • FIG. 4 illustrates a waveform comparison of a noise and echo canceled signal in an unlearned noise environment for comparison with a learned noise environment, according to an embodiment.
  • FIG. 3 shows a comparison of waveforms of noise and echo canceled signals in factory 10 dB (RT60: 0.1 s), which is a learned noise environment
  • FIG. 4 shows noise in machinegun 10 dB (RT60: 0.1 s), an unlearned noise environment.
  • waveform comparison of the echo canceled signal. 3 and 4 show waveforms of noise and echo canceled signals in factory 10 dB, a learned noise environment, and machinegun 10 dB (RT60: 0.1 s), an unlearned noise environment.
  • the integrated neural network (DNN) based noise and echo cancellation method according to the embodiment showed higher echo cancellation performance in the far-end speaker section than the conventional statistical model, and the near-end speaker signal was better preserved in the near-end talker section. You can check it.
  • DNN integrated neural network
  • Table 2 shows the ERLE comparison in the far-end speaker section.
  • Table 3 shows the PESQ comparison in the near-end talker section.
  • the ERLE value which measures the degree of echo removal in the far-end speaker section, and the PESQ, the sound quality measurement standard in the near-end speaker section, can be compared.
  • the deep neural network (DNN) -based noise and echo cancellation technique showed higher echo cancellation performance than the existing statistical model, and the sound quality of the near-end speaker signal is better preserved, resulting in high PESQ results.
  • DNN deep neural network
  • FIG. 5 is a diagram illustrating an apparatus for removing and removing deepening neural network based noise and echoes, according to an exemplary embodiment.
  • an integrated cancellation technique of noise and echo based on a deep neural network may be divided into a learning step 510 and a voice enhancement step 520.
  • a feature vector may be extracted from the learning data set of the microphone input signal 511 and the far-end speaker signal 512 in which noise and echo exist (513 and 514).
  • a log power spectrum (LPS) of the microphone input signal 511 and the far-end speaker signal 512 and SER and SNR, which are statistical information thereof, may be used.
  • LPS log power spectrum
  • SER and SNR which are statistical information thereof
  • the voice enhancement step 520 may proceed.
  • the speech enhancement step 520 may also begin with the extraction of the feature vector, as in the learning step 510 (523, 524, 525).
  • the Log Power Spectrum (LPS) and its statistical information, SER and SNR, are extracted from the learning data set of the microphone input signal 521 and the far-end speaker signal 522 including noise and echo. Can be used as an input feature vector.
  • SER and SNR statistical information
  • the input feature vector may be passed through a weight parameter and a bias parameter, which are models trained in the deep neural network (DNN) training, to obtain an integrated cancellation gain of the finally estimated noise and echo (526).
  • DNN deep neural network
  • the log power spectrum of the microphone input signal is multiplied by the estimated noise and the integrated cancellation gain of the echo, thereby recovering speech (527) from the estimated log power spectrum of the near-end speaker signal along with the phase of the microphone input signal.
  • a waveform of a clean near-end talker signal with noise and echo removed can be obtained (528).
  • FIG. 6 is a flowchart illustrating a method for integrating a deep neural network based noise and echo according to an embodiment.
  • 7 is a flowchart illustrating a method of learning a deep neural network according to an embodiment.
  • Training NN further includes step 610, and training NN further includes a microphone input signal including noise and echo and a far-end speaker signal in the learning step.
  • the training of the deep neural network includes a priori and a posteriori SER, a priori and a posteriori SER, and a priori and post-signal ratio, which are statistical information of speech signals.
  • the method may further include a step 612 of using a posteriori SNR as an input feature vector of the deep neural network DNN by connecting the extracted feature vector to the extracted feature vector.
  • noise information and echo information which are statistical information of the voice signal, may be added as additional inputs of the deep neural network (DNN). Noise and echo can be effectively eliminated by using the integrated feature of the noise and echo cancellation targets of the deep neural network (DNN).
  • FIG. 8 is a block diagram illustrating an apparatus for removing and removing deepening neural network based noise and echoes, according to an exemplary embodiment.
  • the deep neural network based noise and echo integration according to an embodiment according to the exemplary embodiments of FIGS. 6 and 7 is performed using an apparatus for removing deepening neural network based noise and echo according to an embodiment.
  • the removal method can be described in more detail.
  • the integrated neural network based noise and echo cancellation apparatus may include a deep neural network (DNN) learner 810, a feature vector extractor 820, and a voice signal reconstruction unit 830.
  • the deep neural network (DNN) learner 810 may include a feature vector extractor 811 and a deep neural network (DNN) modeling unit 812 of the learner, and the feature vector extractor 811 of the learner may include:
  • the learning unit may include a spectrum extractor and a learner's noise and echo information unit.
  • the feature vector extractor 820 may include a spectrum extractor and a noise and echo information unit.
  • the deep neural network learning unit 810 may train the deep neural network DNN.
  • the feature vector extractor 811 of the learner may extract a feature vector from the microphone input signal and the far-end speaker signal including noise and echo in the learn step.
  • the feature vector extractor 811 of the learner may include a priori and a posteriori SER, a priori and a posteriori SER, which are statistical information of the speech signal, and the pre-signal noise ratio and the post-signal ratio.
  • the signal-to-noise ratio (a priori and a posteriori SNR) may be connected to the extracted feature vector and used as an input feature vector of the deep neural network (DNN).
  • the feature vector extractor 811 of the learner may include a spectrum extractor of the learner and a noise and echo information unit of the learner.
  • the spectrum extractor performs a short-time Fourier transform (STFT) on the microphone input signal and the far-end speaker signal including noise and echo, and converts the signal from the time domain to the frequency domain signal.
  • STFT short-time Fourier transform
  • LPS log power spectrum
  • the noise and echo information of the learning unit includes a priori and a posteriori SER, a priori and a posteriori SNR, which are statistical information of speech signals in a learning stage. May be connected to the extracted feature vector and used as an input feature vector of the deep neural network (DNN).
  • DNN deep neural network
  • the deep neural network modeling unit 812 uses the feature vector as an input feature vector of the deep neural network DNN, and uses a weight parameter and a bias which is a model of the learned deep neural network DNN.
  • An input feature vector can be passed to the (bias) parameter to estimate the integrated cancellation gain of noise and echo.
  • the deep neural network (DNN) modeling unit estimates continuous optimal gain through regression of the deep neural network (DNN), and calculates a mean squared error (MSE) of the deep neural network (DNN).
  • MSE mean squared error
  • the learning of the deep neural network (DNN) is performed to minimize the difference between the integrated elimination gain of the noise and echo, which is a target feature vector, and the estimated elimination of the integrated elimination gain of the noise and echo, through the deep neural network (DNN). Can proceed.
  • the feature vector extractor 820 may extract a feature vector from a voice signal including noise and echo.
  • the feature vector extractor 820 may include a spectrum extractor and a noise and echo information unit.
  • the spectrum extractor performs a short-time Fourier transform (STFT) on the microphone input signal and the far-end speaker signal including noise and echo in the speech enhancement step, and converts the signal from the time domain to the frequency domain signal.
  • STFT short-time Fourier transform
  • LPS log power spectrum
  • the noise and echo information unit uses a priori and a posteriori SER and a priori and a posteriori SNR, which are statistical information of speech signals, in a speech enhancement step. It may be connected to the extracted feature vector and used as an input feature vector of the deep neural network (DNN).
  • DNN deep neural network
  • the speech signal reconstruction unit 830 obtains the final speech signal from which the noise and the echo are removed by using the integrated cancellation gain of the noise and the echo estimated through the learning of the feature vector and the deep neural network (DNN). can do.
  • the voice signal reconstructor 830 multiplies the log power spectrum (LPS) of the microphone input signal including noise and echo by the integrated cancellation gain of the estimated noise and echo to estimate the log power spectrum of the near-end speaker signal.
  • LPS log power spectrum
  • ISTFT Inverse Short-Time Fourier Transform
  • the embodiments may derive better performance by removing noise and echoes before performing voice recognition and voice communication with voice enhancement technology.
  • it can be applied to improve the voice call quality in a mobile terminal or voice stock of KakaoTalk.
  • This speech enhancement technique can be used to improve the performance of speech recognition in the presence of noise and echo.
  • speech recognition is performed in various Internet of Things (IoT) devices, which can be performed not only in a quiet environment but also in an environment where ambient noise exists, and when the sound comes from a speaker of an IoT device, You can go back and generate an echo. Therefore, noise and echo can be removed before performing speech recognition, thereby improving the performance of speech recognition performed in an IoT device.
  • IoT Internet of Things
  • the present exemplary embodiments provide excellent quality voice enhancement signals
  • various embodiments of the present invention can be applied to various voice communication technologies to provide clear voice quality.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. It can be embodied in.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치가 제시된다. 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 방법은, 잡음 및 에코가 포함된 음성 신호로부터 특징 벡터를 추출하는 단계; 및 상기 특징 벡터와 심화신경망(DNN)의 학습을 통해 추정된 잡음 및 에코의 통합 제거 이득을 이용하여 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득하는 단계를 포함하여 이루어질 수 있다.

Description

심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치
아래의 실시예들은 음성 신호에 포함된 잡음 및 에코를 심화신경망 기반으로 통합하여 제거하는 기술에 관한 것이다.
음성 잡음 및 에코의 통합 제거 기술이란 음성 신호에 포함된 잡음 및 에코를 제거하는 기술이다. 일반적으로 잡음 제거기 및 에코 제거기를 독립적으로 설계한 후 직렬로 연결하여 잡음 및 에코 제거를 순차적으로 수행한다. 그러나 이러한 잡음 및 에코 제거기는 잡음 제거기 및 에코 제거기의 위치에 따라 성능의 차이가 크게 발생하게 된다. 예를 들어 잡음 제거기가 에코 제거기의 앞단에 위치할 경우 잡음 제거기의 비선형적인 연산으로 인하여 반향 제거기의 성능 저하가 발생하게 된다. 또한, 반향 제거기가 잡음 제거기의 앞단에 위치할 경우 잡음 제거기가 추정해야 할 잡음의 스펙트럼이 반향 제거 과정에서 왜곡이 생겨 잡음 추정의 성능이 저하되는 문제점이 발생하게 된다.
이에 따라 잡음 및 에코를 한꺼번에 통합적으로 제거하는 잡음 및 에코의 통합 제거 기술이 사용될 수 있다. 종래에는 음성 신호와 잡음 및 에코 사이의 통계적 정보를 이용하는 통계 모델 기반의 잡음 및 에코의 통합 제거 기술이 주로 사용되었으나, 통계 모델 기반의 음성 향상 기술은 정상 잡음 환경과는 달리 비정상 잡음 환경에서 성능이 크게 저하되는 문제점을 가지고 있다. 예를 들어, 음성 인식에서 잡음이 존재하지 않은 깨끗한 신호를 이용하여 음성 인식 모델을 학습시킨 후 잡음이 존재하는 신호로 테스트를 수행할 경우 성능이 감소한다. 이러한 성능 감소를 해결하기 위해 잡음이 존재하는 음성을 이용하여 음성 인식 모델을 학습하는 기술이 제안되었으나, 학습된 잡음 환경에 최적화되어 학습된 잡음 환경에서 테스트하는 경우에는 우수한 성능을 보이나, 학습되지 않은 잡음 환경에서 테스트하는 경우에는 성능이 저하되는 문제점이 존재한다.
최근 머신러닝 기법인 심화신경망(Deep Neural Network, DNN)이 다양한 음성 향상 및 음성 인식 연구에서 우수한 성능을 보이고 있다. 심화신경망은 다수의 은닉 층과 은닉 노드들을 통하여 입력 특징 벡터와 출력 특징 벡터 사이의 비선형적인 관계를 효과적으로 모델링하여 우수한 성능을 보인다.
한국등록특허 10-0762596호는 음성 신호 전처리 시스템 및 음성 신호 특징 정보 추출 방법에 관한 것으로, 신경망 인식 방법을 이용하여 음성 신호를 전처리하는 기술을 기재하고 있다.
실시예들은 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치에 관하여 기술하며, 보다 구체적으로 심화신경망(DNN)을 이용하여 음성에 존재하는 잡음 및 에코를 통합적으로 제거하는 기술을 제공한다.
실시예들은 원단 화자 신호와 마이크 입력 정보만으로는 심화신경망(DNN)이 학습이 잘되지 않는 문제점을 해결하기 위하여 음성 신호의 통계적 정보인 잡음 정보 및 에코 정보를 심화신경망(DNN)의 추가적 입력으로 사용하고, 음성 신호에서 잡음 및 에코를 통합 제거하기 위한 잡음 및 에코의 통합 제거 이득을 심화신경망(DNN)의 타겟(target) 특징 벡터로 하여 효과적으로 잡음 및 에코를 통합 제거하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치를 제공하는데 있다.
일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 방법은, 잡음 및 에코가 포함된 음성 신호로부터 특징 벡터를 추출하는 단계; 및 상기 특징 벡터와 심화신경망(DNN)의 학습을 통해 추정된 잡음 및 에코의 통합 제거 이득을 이용하여 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득하는 단계를 포함한다.
상기 심화신경망(DNN)을 학습시키는 단계를 더 포함하고, 상기 심화신경망(DNN)을 학습시키는 단계는, 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 단계; 및 상기 특징 벡터를 심화신경망(DNN)의 입력 특징 벡터로 이용하고, 학습된 심화신경망(DNN)의 모델인 가중치(weight) 파라미터와 바이어스(bias) 파라미터에 입력 특징 벡터를 통과시켜 잡음 및 에코의 통합 제거 이득을 추정하는 단계를 포함할 수 있다.
상기 심화신경망(DNN)을 학습시키는 단계는, 학습 단계에서, 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 상기 특징 벡터에 연결하여 상기 심화신경망(DNN)의 입력 특징 벡터로 이용하는 단계를 더 포함할 수 있다.
상기 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 단계는, 상기 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 상기 특징 벡터로 추출할 수 있다.
상기 심화신경망(DNN)을 학습시키는 단계는, 상기 심화신경망(DNN)의 회기 학습(regression)을 통하여 연속적인 최적 이득(optimal gain)을 추정하고, 평균제곱오차(Mean Squared Error, MSE)를 상기 심화신경망(DNN)의 목적 함수로 하여 타겟(target) 특징 벡터인 잡음 및 에코의 통합 제거 이득과 상기 심화신경망(DNN)을 통하여 추정된 상기 잡음 및 에코의 통합 제거 이득의 차이를 최소화하는 방향으로 심화신경망(DNN)의 학습이 진행될 수 있다.
상기 잡음 및 에코가 포함된 음성 신호로부터 특징 벡터를 추출하는 단계는, 음성 향상 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하고, 음성 향상 단계에서, 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 상기 특징 벡터에 연결하여 상기 심화신경망(DNN)의 입력 특징 벡터로 이용하는 단계를 포함할 수 있다.
상기 음성 향상 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 단계는, 상기 음성 향상 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 상기 특징 벡터로 추출할 수 있다.
상기 특징 벡터와 심화신경망(DNN)의 학습을 통해 추정된 잡음 및 에코의 통합 제거 이득을 이용하여 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득하는 단계는, 상기 잡음 및 에코가 포함된 마이크 입력 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)에 추정된 상기 잡음 및 에코의 통합 제거 이득을 곱하여 추정된 근단 화자 신호의 로그 파워 스펙트럼을 획득하는 단계; 및 상기 근단 화자 신호의 로그 파워 스펙트럼을 잡음이 존재하는 신호의 위상과 함께 인버스 숏타임 푸리에 변환(Inverse Short-Time Fourier Transform, ISTFT)하여 최종적으로 잡음 및 에코가 제거된 최종 근단 화자 신호의 파형을 획득하는 단계를 포함할 수 있다.
다른 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치는, 잡음 및 에코가 포함된 음성 신호로부터 특징 벡터를 추출하는 특징 벡터 추출부; 및 상기 특징 벡터와 심화신경망(DNN)의 학습을 통해 추정된 잡음 및 에코의 통합 제거 이득을 이용하여 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득하는 음성 신호 재구성부를 포함하여 이루어질 수 있다.
상기 심화신경망(DNN)을 학습시키는 심화신경망 학습부를 더 포함하고, 상기 심화신경망 학습부는, 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 학습부의 특징 벡터 추출부; 및 상기 특징 벡터를 심화신경망(DNN)의 입력 특징 벡터로 이용하고, 학습된 심화신경망(DNN)의 모델인 가중치(weight) 파라미터와 바이어스(bias) 파라미터에 입력 특징 벡터를 통과시켜 잡음 및 에코의 통합 제거 이득을 추정하는 심화신경망(DNN) 모델링부를 포함할 수 있다.
상기 학습부의 특징 벡터 추출부는, 학습 단계에서, 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 상기 특징 벡터에 연결하여 상기 심화신경망(DNN)의 입력 특징 벡터로 이용하는 학습부의 잡음 정보 및 에코 정보부를 포함할 수 있다.
상기 학습부의 특징 벡터 추출부는, 상기 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 상기 특징 벡터로 추출하는 학습부의 스펙트럼 추출부를 포함할 수 있다.
상기 심화신경망(DNN) 모델링부는, 상기 심화신경망(DNN)의 회기 학습(regression)을 통하여 연속적인 최적 이득(optimal gain)을 추정하고, 평균제곱오차(Mean Squared Error, MSE)를 상기 심화신경망(DNN)의 목적 함수로 하여 타겟(target) 특징 벡터인 잡음 및 에코의 통합 제거 이득과 상기 심화신경망(DNN)을 통하여 추정된 상기 잡음 및 에코의 통합 제거 이득의 차이를 최소화하는 방향으로 심화신경망(DNN)의 학습이 진행될 수 있다.
상기 특징 벡터 추출부는, 상기 음성 향상 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 상기 특징 벡터로 추출하는 스펙트럼 추출부; 및 음성 향상 단계에서, 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 상기 특징 벡터에 연결하여 상기 심화신경망(DNN)의 입력 특징 벡터로 이용하는 잡음 및 에코 정보부를 포함할 수 있다.
상기 음성 신호 재구성부는, 상기 잡음 및 에코가 포함된 마이크 입력 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)에 추정된 상기 잡음 및 에코의 통합 제거 이득을 곱하여 추정된 근단 화자 신호의 로그 파워 스펙트럼을 획득하고, 상기 근단 화자 신호의 로그 파워 스펙트럼을 잡음이 존재하는 신호의 위상과 함께 인버스 숏타임 푸리에 변환(Inverse Short-Time Fourier Transform, ISTFT)하여 최종적으로 잡음 및 에코가 제거된 최종 근단 화자 신호의 파형을 획득할 수 있다.
실시예들에 따르면 원단 화자 신호와 마이크 입력 정보만으로는 심화신경망(DNN)이 학습이 잘되지 않는 문제점을 해결하기 위하여 음성 신호의 통계적 정보인 잡음 정보 및 에코 정보를 심화신경망(DNN)의 추가적 입력으로 사용하고, 음성 신호에서 잡음 및 에코를 통합 제거하기 위한 잡음 및 에코의 통합 제거 이득을 심화신경망(DNN)의 타겟(target) 특징 벡터로 하여 효과적으로 잡음 및 에코를 통합 제거하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치를 제공할 수 있다.
도 1은 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치의 특징 벡터 추출을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 심화신경망(DNN) 기반의 잡음 및 에코의 통합 제거 장치의 최적 이득을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 학습된 잡음 환경에서 잡음 및 에코 제거된 신호의 파형 비교를 나타낸다.
도 4는 일 실시예에 따른 학습된 잡음 환경과 비교를 위해 학습되지 않은 잡음 환경에서 잡음 및 에코 제거된 신호의 파형 비교를 나타낸다.
도 5는 일 실시예에 따른 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 방법을 나타내는 흐름도이다.
도 7은 일 실시예에 따른 심화신경망의 학습 방법을 나타내는 흐름도이다.
도 8은 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
음성 향상 기술은 마이크로폰으로 입력된 잡음 및 에코가 존재하는 음성 신호의 잡음 및 에코를 제거하여 깨끗한 음성을 추정하는 기술로, 음성 인식과 음성 통신과 같은 음성 어플리케이션에 필수적인 기술이다. 예를 들어 음성 인식에서 잡음 및 에코가 존재하지 않은 깨끗한 신호로 음성 인식 모델을 학습시킨 후 잡음이 존재하는 신호로 테스트를 할 경우 성능이 감소하게 된다. 이를 해결하기 위하여 음성 인식 수행 전에 잡음 및 에코를 제거하는 음성 향상 기술을 도입하여 음성 인식의 성능을 높일 수 있다. 또한, 음성 향상 기술은 음성 통신에서 잡음 및 에코를 제거하여 선명하고 명확하게 음성을 전달하여 통화 품질을 높이기 위해서도 사용될 수 있다.
아래의 실시예들은 심화신경망(DNN)을 이용하여 음성에 존재하는 잡음 및 에코를 통합적으로 제거할 수 있다. 더 구체적으로 실시예들은 원단 화자 신호와 마이크 입력 정보만으로는 심화신경망(DNN)이 학습이 잘되지 않는 문제점을 해결하기 위하여 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 심화신경망(DNN)의 추가적 입력으로 사용하고, 음성 신호에서 잡음 및 에코를 통합 제거하기 위한 잡음 및 에코의 통합 제거 이득을 심화신경망(DNN)의 타겟(target) 특징 벡터로 하여 효과적으로 잡음 및 에코를 통합 제거할 수 있다.
본 실시예들에서는 STFT(Short Time Fourier Transform) 및 ISTFT(Inverse Short Time Fourier Transform) 변환을 이용하는 경우를 예로 들어 설명하나, 이는 실시예에 해당되며, STFT, ISTFT 이외에 DFT(Discrete Fourier Transform), IDFT(Inverse Discrete Fourier Transform) 변환, FFT(Fast Fourier Transform), IFFT(Inverse Fast Fourier Transform) 변환 등이 이용될 수도 있다.
이하에서는 음성 신호에 포함된 잡음 및 에코를 심화신경망 기반으로 통합하여 제거하는 기술에 대해 보다 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치의 특징 벡터 추출을 설명하기 위한 도면이다.
도 1을 참조하면, 심화신경망 기반의 잡음 및 에코의 통합 제거를 위한 특징 벡터 추출 장치(100)는 잡음 및 에코의 통합 제거를 위한 특징 벡터 추출을 위해 마이크 입력 신호(111) 및 원단 화자 신호(far-end signal)(112)를 입력 받을 수 있다.
마이크 입력 신호(111)는 숏타임 푸리에 변환(STFT)(121)을 통하여 변환되어 주파수 영역으로 표현될 수 있다. 이에 따라 입력 특징 벡터의 추출을 위하여 주파수 영역 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 추출할 수 있다. 즉, 마이크 입력 신호(111)의 로그 파워 스펙트럼(log power spectrum)을 추출(130)하여 심화신경망(DNN)의 입력 특징 벡터로 사용할 수 있다.
그리고, 원단 화자 신호(112)는 숏타임 푸리에 변환(STFT)(122)을 통하여 변환되어 주파수 영역으로 표현될 수 있다. 이에 따라 입력 특징 벡터의 추출을 위하여 주파수 영역 신호의 로그 파워 스펙트럼(log power spectrum)을 추출할 수 있다. 즉, 원단 화자 신호(112)의 로그 파워 스펙트럼(log power spectrum)을 추출(130)하여 심화신경망(DNN)의 입력 특징 벡터로 사용할 수 있다.
심화신경망(DNN)의 입력으로는 마이크 입력 신호의 로그 파워 스펙트럼과 원단 화자 신호(far-end signal)의 로그 파워 스펙트럼뿐만 아니라, 성능 향상을 위한 추가적 에코 정보(반향 정보) 및 잡음 정보(140)를 이어 붙여 사용(150)할 수 있다.
아래의 실시예들은 잡음 및 에코의 통합 제거 알고리즘에 DNN을 도입하여 최적의 잡음 및 에코의 통합 제거 이득을 추정할 수 있다. 또한, 심화신경망(DNN)의 입력으로 추가적 잡음 및 에코 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 주어 심화신경망(DNN) 기반의 잡음 및 에코 제거의 성능을 높일 수 있다.
먼저, 특징 벡터를 추출하는 방법에 대해 수학식 1 내지 6을 참조하여 보다 구체적으로 설명한다.
잡음 및 에코가 포함된 마이크 입력 신호(microphone signal power) y(t)는 근단 화자 신호(near-end speech power) x(t)에 잡음 신호(noise power) d(t) 및 에코 신호(echo power) e(t)가 더해져 생성될 수 있으며, 다음 식과 같이 나타낼 수 있다. 여기에서 잡음 및 에코가 포함된 마이크 입력 신호는 잡음과 에코가 동시에 존재하는 마이크 입력 신호를 의미한다.
[수학식 1]
Figure PCTKR2018003840-appb-I000001
수학식 1과 같이 잡음 및 에코가 포함된 마이크 입력 신호 y(t)는 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 통하여 변환되어 시간 영역(time domain)에서 주파수 영역(frequency domain)으로 표현될 수 있으며, 다음 식과 같이 나타낼 수 있다.
[수학식 2]
Figure PCTKR2018003840-appb-I000002
여기서, Y(l, m)은 잡음 및 에코가 포함된 마이크 입력 신호, X(l, m)은 근단 화자 신호, D(l, m)은 잡음 신호, E(l, m)은 에코 신호의 숏타임 푸리에 변환(STFT) 계수를 나타낼 수 있다. 그리고 l은 주파수 색인을 나타내고 m은 프레임 색인을 나타낼 수 있다.
수학식 2에서 주파수 영역으로 표현된 잡음 및 에코가 포함된 마이크 입력 신호 Y(l, m)를 스펙트럼과 위상으로 나타낼 수 있다. 즉, 주파수 영역에서 잡음 및 에코가 포함된 마이크 입력 신호 Y(l, m)는 다음 식과 같이 스펙트럼과 위상으로 표현될 수 있다.
[수학식 3]
Figure PCTKR2018003840-appb-I000003
여기서 θ는 위상 값을 나타내며, L은 프레임 스텝(frame step)을 나타낼 수 있다.
잡음 및 에코가 포함된 마이크 입력 신호의 위상은 음성 합성 단계에서 신호를 시간 영역으로 복원할 때 사용될 수 있다. 입력 특징 벡터의 추출을 위하여 주파수 영역 신호의 로그 파워 스펙트럼(Log Power Spectrum 또는 Log Power Spectra, LPS)을 추출할 수 있다. 그러면, 수학식 3의 음성 스펙트럼 특징 벡터에 로그 연산 값을 취하여 얻어진 로그 파워 스펙트럼(log power spectrum)은 입력 특징 벡터로 사용될 수 있다. 예컨대, 크기(|Y(l,m)|)에 로그(log)를 취함에 따라 로그 파워 스펙트럼(log power spectrum)이 계산될 수 있다.
심화신경망(DNN)의 입력으로는 마이크 입력 신호의 로그 파워 스펙트럼과 원단 화자 신호(far-end signal)의 로그 파워 스펙트럼뿐만 아니라, 성능 향상을 위한 추가적 에코 정보(반향 정보) 및 잡음 정보를 이어 붙여 사용할 수 있다. 추가적 에코 정보로는 사전 신호대에코비 및 사후 신호대에코비(a priori Signal-to-Echo Ratio and a posteriori Signal-to-Echo Ratio, a priori and a posteriori SERs)을 사용할 수 있고, 추가적 잡음 정보로는 사전 신호대잡음비 및 사후 신호대잡음비(a priori Signal-to-Noise Ratio and a posteriori Signal-to-Noise Ratio, a priori and a posteriori SNRs)를 사용할 수 있다. 추가적 에코 정보 및 잡음 정보를 나타내는 사전 신호대에코비(a priori SER), 사후 신호대에코비(a posteriori SER), 사전 신호대잡음비(a priori SNR), 및 사후 신호대잡음비(a posteriori SNR)는 순차적으로 다음 식과 같이 표현될 수 있다.
[수학식 4]
Figure PCTKR2018003840-appb-I000004
여기서 Y(i, k)는 마이크 입력 신호,
Figure PCTKR2018003840-appb-I000005
는 음향학적 반향이 제거된 신호,
Figure PCTKR2018003840-appb-I000006
는 배경 잡음이 제거된 신호,
Figure PCTKR2018003840-appb-I000007
는 반향 신호의 전력, 그리고
Figure PCTKR2018003840-appb-I000008
는 잡음 신호의 전력을 나타낼 수 있다.
표 1은 추가적 잡음 정보 및 에코 정보를 나타낸다.
Figure PCTKR2018003840-appb-T000001
표 1과 같이, 추가적 잡음 및 에코 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 나타낼 수 있다. 이러한 추가적 잡음 및 에코 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER)와 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)는 기존의 통계적 기반의 통합 제거로부터 추정할 수 있다.
예컨대 사후 신호대잡음비(a posteriori SNR)는 음성이 존재하지 않는 구간에서 잡음 신호의 분산 값을 이용하여 업데이트 될 수 있고, 사전 신호대잡음비(a priori SNR)는 음성이 존재하는 구간에서 결정 지향(decision-directed) 방법을 통하여 구할 수 있다. 마찬가지로 사후 신호대에코비(a posteriori SER)는 음성이 존재하지 않는 구간에서 에코 신호의 분산 값을 이용하여 업데이트 될 수 있고, 사전 신호대에코비(a priori SER)는 음성이 존재하는 구간에서 결정 지향(decision-directed) 방법을 통하여 구할 수 있다.
이에 따라 마이크 입력 신호의 로그 파워 스펙트럼(log power spectrum), 원단 화자 신호의 로그 파워 스펙트럼(log power spectrum), 추가적 에코 정보 및 잡음 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SERs)와 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNRs)를 이어 붙여 총 6682 개를 심화신경망(DNN)의 입력 특징 벡터로 사용할 수 있다.
심화신경망(DNN)의 타겟(target) 특징 벡터로는 음향학적 반향(에코) 및 배경 잡음 통합 제거를 위한 최적 이득(optimal gain) 값을 추정할 수 있다. 최적 이득(optimal gain) Gopt은 다음 식과 같이 표현될 수 있다.
[수학식 5]
Figure PCTKR2018003840-appb-I000009
여기에서 S(n, i)는 깨끗한 근단 화자 신호의 숏타임 푸리에 변환(STFT) 계수를 의미하고, Y(n, i)는 마이크 입력 신호의 숏타임 푸리에 변환(STFT) 계수를 의미할 수 있다. 이 때, Gmin의 값은 10-4으로 설정될 수 있다.
심화신경망(DNN) 기반의 잡음 및 에코의 통합 제거를 위해 먼저 심화신경망(DNN)의 학습을 수행할 수 있다.
심화신경망(DNN) 기반의 잡음 및 에코의 통합 제거 방법은 마이크 입력 신호의 스펙트럼, 원단 화자 신호의 스펙트럼, 및 추가적 잡음 정보 및 에코 정보를 입력 특징 벡터로 하여 심화신경망(DNN)을 학습함으로써 잡음 및 에코의 통합 제거를 위한 최적의 이득(gain)을 추정할 수 있다.
심화신경망(DNN)은 심화신경망(DNN)의 회기 학습(regression)을 통하여 연속적인 최적 이득(optimal gain) 값을 추정할 수 있다. 평균제곱오차(Mean Squared Error, MSE)를 심화신경망(DNN)의 목적 함수로 하여, 타겟(target) 특징 벡터인 잡음 및 에코의 통합 제거 이득과 심화신경망(DNN)을 통하여 추정된 잡음 및 에코의 통합 제거 이득의 차이를 최소화하는 방향으로 심화신경망(DNN)의 학습이 진행될 수 있다. 이 때, 평균제곱오차(MSE)는 다음 식과 같이 나타낼 수 있다.
[수학식 6]
Figure PCTKR2018003840-appb-I000010
여기에서, n은 전체 학습 데이터 샘플의 개수(training data sample)를 나타내고, Yi는 심화신경망(DNN)의 타겟 특징 벡터인 잡음 및 에코가 존재하지 않는 깨끗한 음성 신호의 로그 파워 스펙트럼을 나타내고,
Figure PCTKR2018003840-appb-I000011
은 심화신경망(DNN)을 통하여 음성 향상되어 잡음 및 에코의 통합 제거된 신호의 로그 파워 스펙트럼을 나타낼 수 있다.
심화신경망(DNN)은 다수의 은닉 층과 은닉 노드를 통하여 비선형적 특성의 모델링이 가능하다. 심화신경망(DNN)의 학습이 완료되면, 심화신경망(DNN)을 통하여 학습된 모델인 가중치(weight) 파라미터와 바이어스(bias) 파라미터를 잡음 및 에코의 통합 제거 단계에 사용할 수 있다.
심화신경망(DNN)의 학습이 완료되면, 잡음 및 에코의 통합 제거 단계(테스트 단계)가 수행될 수 있다.
잡음 및 에코의 통합 제거 단계에서, 잡음 및 에코를 통합 제거하기 위해 잡음 및 에코를 통합 제거할 신호의 마이크 입력 신호와 원단 화자 신호에서 입력 특징 벡터를 추출할 수 있다. 이 때, 마이크 입력 신호와 원단 화자 신호의 로그 파워 스펙트럼과 추가적 잡음 정보 및 에코 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 이어 붙여 입력 특징 벡터를 생성할 수 있다.
심화신경망(DNN)의 학습 단계에서 학습된 심화신경망(DNN)의 모델인 가중치(weight) 파라미터와 바이어스(bias) 파라미터들에 입력 특징 벡터를 통과시킴으로써, 잡음 및 에코의 통합 제거 이득을 얻을 수 있다. 마이크 입력 신호의 스펙트럼에 잡음 및 에코의 통합 제거 이득을 곱하여 추정된 근단 화자 신호의 스펙트럼을 얻을 수 있다. 추정된 깨끗한 근단 화자 신호의 로그 파워 스펙트럼을 잡음이 존재하는 신호의 위상과 함께 인버스 숏타임 푸리에 변환(Inverse Short-Time Fourier Transform, ISTFT)하여 최종 추정된 깨끗한 근단 화자 신호의 파형을 얻을 수 있다. 사람의 청각은 위상에 큰 영향을 받지 않으므로 위상은 잡음이 포함된 음성 신호의 위상을 그대로 사용할 수 있다.
도 2는 일 실시예에 따른 심화신경망(DNN) 기반의 잡음 및 에코의 통합 제거 장치의 최적 이득을 설명하기 위한 도면이다.
아래에서는 도 2를 참조하여, 학습된 잡음 환경과 학습되지 않은 잡음 환경에서 신호 처리된 신호가 어떠한 차이가 있는지를 비교하여 설명하기로 한다. 여기에서는 시간 영역의 음성 파형과 객관적 음성 평가 방식인 PESQ(Perceptual Evaluation of Speech Quality) 및 에코가 제거된 정도를 측정하는 ERLE(Echo Return Loss Enhancement)에 의하여 성능을 비교할 수 있다.
성능 비교 실험을 위해 4620개의 TIMIT 음성 데이터 베이스에 Room Impulse Response Generator를 이용하여 잔향 환경 음성을 생성할 수 있다. 시뮬레이션 공간을 설정하고, 잔향 시간을 0.1s, 0.2s, 0.3s로 하여 잔향 환경을 설정할 수 있다. 마이크 입력 신호는 원단 화자 신호와 근단 화자 신호를 결합하여 얻으며, 마이크 입력 신호에서 음향학적 반향 신호는 근단 화자 신호보다 평균 3.5 dB 낮게 설정될 수 있다. 잡음 환경 설정을 위하여 학습 데이터 셋에는 NOISEX-92의 Babble, Factory, HFchannel, F16의 4가지 잡음이 부가되고, 테스트 데이터 셋에는 Babble, Factory, HFchannel, F16, Destroyer-engine, Buccaneer, Pink, White의 8가지 잡음이 10 dB의 신호대잡음비(Signal-to-Noise Ratio, SNR)로 부가될 수 있다.
마이크 입력 신호와 원단 화자 신호, 심화신경망(DNN)의 타겟(target) 특징 벡터인 깨끗한 근단 화자 신호를 프레임 사이즈 320 샘플(size 320 samples)(20ms), 지연 80 샘플(delay 80 samples)로 하여, 제로 패딩(zero padding) 후 512-point 숏타임 푸리에 변환(STFT) 하여 주파수 영역의 신호를 얻을 수 있다. 여기에서 주파수 영역 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 특징 벡터로 사용하였다. 즉, 마이크 입력 신호의 로그 파워 스펙트럼(log power spectrum)(211)과 원단 화자 신호의 로그 파워 스펙트럼(log power spectrum)(212)을 심화신경망(DNN)의 입력 특징 벡터로 사용할 수 있다.
또한, 음성 통계 모델 기반의 잡음 제거 알고리즘 및 음성 통계 모델 기반의 반향 제거 단계에서 추가적인 에코 정보 및 잡음 정보(213)인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SERs), 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNRs)를 계산하였다. 이 때 마이크 입력 신호의 로그 파워 스펙트럼(log power spectrum)의 현재 프레임과 전, 후 5 프레임, 원단 화자 신호의 로그 파워 스펙트럼(log power spectrum)의 전, 후 5 프레임 및 추가적 잡음 및 에코 정보(213)인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SERs), 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNRs)를 이어 붙여 총 6682 dimensions을 심화신경망(DNN)의 입력 특징 벡터로 사용하였다.
또한, 심화신경망(DNN)의 타겟(target) 특징 벡터로는 음향학적 반향 및 배경 잡음 통합 제거를 위한 최적 이득(optimal gain)(230)으로 총 257 dimensions이 사용되었다. 심화신경망(DNN)(220)은 복수의 층으로 구성될 수 있으며, 예컨대 3개의 층(222, 223, 224)으로 각 층은 1024 은닉 유닛(hidden units)으로 구성되었으며, 심화신경망(DNN)(220)의 활성 함수로는 시그모이드(sigmoid) 활성 함수가 사용되었다. 심화신경망(DNN)(220)의 회기 학습은 MMSE(Minimum Mean Squared Error)를 목적함수로 mini-batch의 크기를 100으로 하여 SGD(Stochastic Gradient Descent)를 통한 BP(Back-Propagation)로 학습이 진행되었다. 모든 학습은 epoch 50까지 진행되었으며 epoch 20 까지는 일정한 학습율(learning rate)로 진행시킨 후, epoch 21부터 0.9의 비율로 학습율을 감소시켰다. 잡음 및 에코의 통합 제거 알고리즘에 심화신경망(DNN)을 도입하여 최적의 잡음 및 에코의 통합 제거 이득을 추정할 수 있다.
실험 결과, 실시예에 따른 심화신경망(DNN) 기반의 잡음 및 에코의 통합 제거 기술은 다수의 은닉 층과 은닉 노드들을 통하여 고차원 벡터의 비선형적인 성질의 모델링에 강인한 심화신경망(DNN)을 통하여 학습된 잡음 환경 및 학습되지 않은 잡음 환경에서 모두 기존의 통계모델 기반의 잡음 및 에코의 통합 제거 기술보다 우수한 성능을 보였다.
도 3은 일 실시예에 따른 학습된 잡음 환경에서 잡음 및 에코 제거된 신호의 파형 비교를 나타낸다. 그리고 도 4는 일 실시예에 따른 학습된 잡음 환경과 비교를 위해 학습되지 않은 잡음 환경에서 잡음 및 에코 제거된 신호의 파형 비교를 나타낸다.
도 3은 학습된 잡음 환경인 factory 10 dB (RT60: 0.1s) 에서 잡음 및 에코 제거된 신호의 파형 비교를 나타내고, 도 4는 학습되지 않은 잡음 환경인 machinegun 10 dB (RT60: 0.1s) 에서 잡음 및 에코 제거된 신호의 파형 비교를 나타낸다. 도 3과 도 4는 학습된 잡음 환경인 factory 10 dB와 학습되지 않은 잡음 환경인 machinegun 10 dB (RT60: 0.1s) 에서 잡음 및 에코 제거된 신호의 파형을 보여준다.
실시예에 따른 심화신경망(DNN) 기반의 잡음 및 에코의 통합 제거 방법은 기존의 통계 모델보다 원단 화자 구간에서 더 높은 에코 제거 성능을 보였으며, 근단 화자 구간에서 근단 화자 신호가 더 잘 보존되는 것을 확인할 수 있다.
표 2는 원단 화자 구간에서의 ERLE 비교를 나타낸다.
Figure PCTKR2018003840-appb-T000002
그리고 표 3은 근단 화자 구간에서의 PESQ 비교를 나타낸다.
Figure PCTKR2018003840-appb-T000003
표 2와 표 3에 따르면 원단 화자 구간에서 에코가 제거된 정도를 측정하는 ERLE 값과 근단 화자 구간에서의 음질 측정 기준인 PESQ를 비교할 수 있다. 심화신경망(DNN) 기반의 잡음 및 에코 제거 기술이 기존의 통계 모델 기반보다 높은 에코 제거 성능을 보였으며, 근단 화자 신호의 음질이 더 잘 보존되어 높은 PESQ 결과를 보이는 것을 확인할 수 있다.
최근 다양한 IoT 기기에서 심화신경망(DNN) 기반의 음성 인식을 수행하고 있다. 음성 인식 수행 전 잡음 및 에코를 제거하여 음성 인식의 성능을 높이기 위하여 심화신경망(DNN) 기반의 잡음 및 에코 제거를 수행하여 음성 인식의 성능을 높일 뿐만 아니라 다양한 음성 통신 기술에 적용되어 음질을 향상시킬 수 있을 것이다.
도 5는 일 실시예에 따른 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치를 설명하기 위한 도면이다.
도 5를 참조하면, 본 실시예에서 심화신경망(DNN)을 기반으로 하는 잡음 및 에코의 통합 제거 기술은 학습 단계(510)와 음성 향상 단계(520)로 구분될 수 있다.
먼저, 학습 단계(510)에서는 잡음과 에코가 존재하는 마이크 입력 신호(511) 및 원단 화자 신호(512)의 학습 데이터 셋을 통하여 특징 벡터를 추출할 수 있다(513, 514). 여기에서, 특징 벡터는 마이크 입력 신호(511) 및 원단 화자 신호(512)의 로그 파워 스펙트럼(Log Power Spectrum, LPS)과 이들의 통계적 정보인 SER 및 SNR이 사용될 수 있다. 이를 바탕으로 심화신경망(DNN)을 통하여 잡음 및 에코의 통합 제거 이득을 추정하도록 학습이 진행될 수 있다(515).
다음으로, 음성 향상 단계(520)가 진행될 수 있다. 음성 향상 단계(520)도 학습 단계(510)와 마찬가지로 특징 벡터의 추출로부터 시작할 수 있다(523, 524, 525). 잡음과 에코가 포함된 마이크 입력 신호(521) 및 원단 화자 신호(522)의 학습 데이터 셋을 통하여 로그 파워 스펙트럼(Log Power Spectrum, LPS)과 이들의 통계적 정보인 SER 및 SNR을 추출한 뒤, 이를 이어 붙여 입력 특징 벡터로 사용할 수 있다. 또한, 잡음과 에코가 포함된 마이크 입력 신호(521) 및 원단 화자 신호(522)의 학습 데이터 셋을 통하여 위상을 추출할 수 있다.
입력 특징 벡터를 심화신경망(DNN)의 학습 과정에서 학습된 모델인 가중치(weight) 파라미터와 바이어스(bias) 파라미터에 통과시켜 최종적으로 추정된 잡음 및 에코의 통합 제거 이득을 얻을 수 있다(526).
그리고 마이크 입력 신호의 로그 파워 스펙트럼에 추정된 잡음 및 에코의 통합 제거 이득을 곱하여 추정된 깨끗한 근단 화자 신호의 로그 파워 스펙트럼을 마이크 입력 신호의 위상과 함께 음성을 복원하는 과정(527)을 거쳐 최종적으로 잡음 및 에코가 제거된 깨끗한 근단 화자 신호의 파형을 얻을 수 있다(528).
아래에서 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치에 대해 하나의 예를 들어 더 구체적으로 설명하기로 한다.
도 6은 일 실시예에 따른 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 방법을 나타내는 흐름도이다. 그리고 도 7은 일 실시예에 따른 심화신경망의 학습 방법을 나타내는 흐름도이다.
도 6 및 도 7을 참조하면, 일 실시예에 따른 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 방법은 잡음 및 에코가 포함된 음성 신호로부터 특징 벡터를 추출하는 단계(620), 및 특징 벡터와 심화신경망(DNN)의 학습을 통해 추정된 잡음 및 에코의 통합 제거 이득을 이용하여 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득하는 단계(630)를 포함하여 이루어질 수 있다.
심화신경망(DNN)을 학습시키는 단계(610)를 더 포함하고, 심화신경망(DNN)을 학습시키는 단계(610)는, 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 단계(611), 및 특징 벡터를 심화신경망(DNN)의 입력 특징 벡터로 이용하고, 학습된 심화신경망(DNN)의 모델인 가중치(weight) 파라미터와 바이어스(bias) 파라미터에 입력 특징 벡터를 통과시켜 잡음 및 에코의 통합 제거 이득을 추정하는 단계(613)를 포함할 수 있다.
심화신경망(DNN)을 학습시키는 단계는, 학습 단계에서, 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 특징 벡터에 연결하여 심화신경망(DNN)의 입력 특징 벡터로 이용하는 단계(612)를 더 포함할 수 있다.
실시예들에 따르면 원단 화자 신호와 마이크 입력 정보만으로는 심화신경망(DNN)이 학습이 잘되지 않는 문제점을 해결하기 위하여 음성 신호의 통계적 정보인 잡음 정보 및 에코 정보를 심화신경망(DNN)의 추가적 입력으로 사용하고, 음성 신호에서 잡음 및 에코를 통합 제거하기 위한 잡음 및 에코의 통합 제거 이득을 심화신경망(DNN)의 타겟(target) 특징 벡터로 하여 효과적으로 잡음 및 에코를 통합 제거할 수 있다.
도 8은 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치를 나타내는 블록도이다.
도 8을 참조하면, 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치를 이용하여 도 6 및 도 7의 일 실시예에 따른 일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 방법을 보다 구체적으로 설명할 수 있다.
일 실시예에 따른 심화신경망 기반의 잡음 및 에코의 통합 제거 장치는 심화신경망(DNN) 학습부(810), 특징 벡터 추출부(820), 그리고 음성 신호 재구성부(830)를 포함하여 이루어질 수 있다. 여기에서 심화신경망(DNN) 학습부(810)는 학습부의 특징 벡터 추출부(811) 및 심화신경망(DNN) 모델링부(812)를 포함하여 이루어질 수 있고, 학습부의 특징 벡터 추출부(811)는 학습부의 스펙트럼 추출부와 학습부의 잡음 및 에코 정보부를 포함하여 이루어질 수 있다. 또한, 특징 벡터 추출부(820)는 스펙트럼 추출부와 잡음 및 에코 정보부를 포함하여 이루어질 수 있다.
단계(610)에서, 심화신경망(DNN) 학습부(810)는 심화신경망(DNN)을 학습시킬 수 있다.
더 구체적으로 단계(611)에 있어서, 학습부의 특징 벡터 추출부(811)는 학습 단계에서 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출할 수 있다.
그리고 단계(612)에 있어서, 학습부의 특징 벡터 추출부(811)는 학습 단계에서 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 특징 벡터에 연결하여 심화신경망(DNN)의 입력 특징 벡터로 이용할 수 있다.
여기에서 학습부의 특징 벡터 추출부(811)는 학습부의 스펙트럼 추출부와 학습부의 잡음 및 에코 정보부를 포함하여 이루어질 수 있다.
학습부의 스펙트럼 추출부는 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 특징 벡터로 추출할 수 있다.
그리고 학습부의 잡음 및 에코 정보부는 학습 단계에서 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 특징 벡터에 연결하여 심화신경망(DNN)의 입력 특징 벡터로 이용할 수 있다.
단계(613)에서, 심화신경망(DNN) 모델링부(812)는 특징 벡터를 심화신경망(DNN)의 입력 특징 벡터로 이용하고, 학습된 심화신경망(DNN)의 모델인 가중치(weight) 파라미터와 바이어스(bias) 파라미터에 입력 특징 벡터를 통과시켜 잡음 및 에코의 통합 제거 이득을 추정할 수 있다.
이러한 심화신경망(DNN) 모델링부는 심화신경망(DNN)의 회기 학습(regression)을 통하여 연속적인 최적 이득(optimal gain)을 추정하고, 평균제곱오차(Mean Squared Error, MSE)를 심화신경망(DNN)의 목적 함수로 하여 타겟(target) 특징 벡터인 잡음 및 에코의 통합 제거 이득과 심화신경망(DNN)을 통하여 추정된 잡음 및 에코의 통합 제거 이득의 차이를 최소화하는 방향으로 심화신경망(DNN)의 학습이 진행될 수 있다.
단계(620)에서, 특징 벡터 추출부(820)는 잡음 및 에코가 포함된 음성 신호로부터 특징 벡터를 추출할 수 있다.
여기에서 특징 벡터 추출부(820)는 스펙트럼 추출부와 잡음 및 에코 정보부를 포함하여 이루어질 수 있다.
스펙트럼 추출부는 음성 향상 단계에서 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 특징 벡터로 추출할 수 있다.
그리고 잡음 및 에코 정보부는 음성 향상 단계에서 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 특징 벡터에 연결하여 심화신경망(DNN)의 입력 특징 벡터로 이용할 수 있다.
단계(630)에서, 음성 신호 재구성부(830)는 특징 벡터와 심화신경망(DNN)의 학습을 통해 추정된 잡음 및 에코의 통합 제거 이득을 이용하여 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득할 수 있다.
이러한 음성 신호 재구성부(830)는 잡음 및 에코가 포함된 마이크 입력 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)에 추정된 잡음 및 에코의 통합 제거 이득을 곱하여 추정된 근단 화자 신호의 로그 파워 스펙트럼을 획득하고, 근단 화자 신호의 로그 파워 스펙트럼을 잡음이 존재하는 신호의 위상과 함께 인버스 숏타임 푸리에 변환(Inverse Short-Time Fourier Transform, ISTFT)하여 최종적으로 잡음 및 에코가 제거된 최종 근단 화자 신호의 파형을 획득할 수 있다. 즉, 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득할 수 있다.
이상과 같이 실시예들은 음성 향상 기술로 음성 인식과 음성 통신 기술을 수행하기 이전에 잡음 및 에코를 제거하여 보다 우수한 성능을 도출할 수 있다. 또한 휴대폰 단말기나 카카오톡의 보이스톡 등에서 음성 통화 품질을 높이기 위해 적용될 수 있다.
이러한 음성 향상 기술은 잡음 및 에코가 존재하는 환경에서 음성 인식의 성능을 향상시키는데 사용될 수 있다. 최근 다양한 사물인터넷(Internet of Things, IoT) 기기에서 음성 인식이 수행되는데 이는 조용한 환경에서만 수행되는 것이 아니라 주변 잡음이 존재하는 환경에서 수행될 수 있으며, IoT 기기의 스피커에서 소리가 나올 때 이 소리가 다시 들어가 에코를 발생할 수 있다. 따라서 음성 인식 수행 전 잡음 및 에코를 제거하여 IoT 기기에서 수행되는 음성 인식의 성능을 높일 수 있다. 또한, 본 실시예들은 우수한 품질의 음성 향상 신호를 제공하므로 다양한 음성 통신 기술에 적용되어 깨끗한 품질의 음성을 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 잡음 및 에코가 포함된 음성 신호로부터 특징 벡터를 추출하는 단계; 및
    상기 특징 벡터와 심화신경망(DNN)의 학습을 통해 추정된 잡음 및 에코의 통합 제거 이득을 이용하여 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득하는 단계
    를 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법.
  2. 제1항에 있어서,
    상기 심화신경망(DNN)을 학습시키는 단계를 더 포함하고,
    상기 심화신경망(DNN)을 학습시키는 단계는,
    학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 단계; 및
    상기 특징 벡터를 심화신경망(DNN)의 입력 특징 벡터로 이용하고, 학습된 심화신경망(DNN)의 모델인 가중치(weight) 파라미터와 바이어스(bias) 파라미터에 입력 특징 벡터를 통과시켜 잡음 및 에코의 통합 제거 이득을 추정하는 단계
    를 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법.
  3. 제2항에 있어서,
    상기 심화신경망(DNN)을 학습시키는 단계는,
    학습 단계에서, 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 상기 특징 벡터에 연결하여 상기 심화신경망(DNN)의 입력 특징 벡터로 이용하는 단계
    를 더 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법.
  4. 제2항에 있어서,
    상기 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 단계는,
    상기 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 상기 특징 벡터로 추출하는 것
    을 특징으로 하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법.
  5. 제2항에 있어서,
    상기 심화신경망(DNN)을 학습시키는 단계는,
    상기 심화신경망(DNN)의 회기 학습(regression)을 통하여 연속적인 최적 이득(optimal gain)을 추정하고, 평균제곱오차(Mean Squared Error, MSE)를 상기 심화신경망(DNN)의 목적 함수로 하여 타겟(target) 특징 벡터인 잡음 및 에코의 통합 제거 이득과 상기 심화신경망(DNN)을 통하여 추정된 상기 잡음 및 에코의 통합 제거 이득의 차이를 최소화하는 방향으로 심화신경망(DNN)의 학습이 진행되는 것
    을 특징으로 하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법.
  6. 제1항에 있어서,
    상기 잡음 및 에코가 포함된 음성 신호로부터 특징 벡터를 추출하는 단계는,
    음성 향상 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 단계; 및
    음성 향상 단계에서, 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 상기 특징 벡터에 연결하여 상기 심화신경망(DNN)의 입력 특징 벡터로 이용하는 단계
    를 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법.
  7. 제6항에 있어서,
    상기 음성 향상 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 단계는,
    상기 음성 향상 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 상기 특징 벡터로 추출하는 것
    을 특징으로 하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법.
  8. 제7항에 있어서,
    상기 특징 벡터와 심화신경망(DNN)의 학습을 통해 추정된 잡음 및 에코의 통합 제거 이득을 이용하여 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득하는 단계는,
    상기 잡음 및 에코가 포함된 마이크 입력 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)에 추정된 상기 잡음 및 에코의 통합 제거 이득을 곱하여 근단 화자 신호의 로그 파워 스펙트럼을 획득하는 단계; 및
    상기 근단 화자 신호의 로그 파워 스펙트럼을 잡음 및 에코가 존재하는 신호의 위상과 함께 인버스 숏타임 푸리에 변환(Inverse Short-Time Fourier Transform, ISTFT)하여 최종적으로 잡음 및 에코가 제거된 최종 근단 화자 신호의 파형을 획득하는 단계
    를 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 방법.
  9. 잡음 및 에코가 포함된 음성 신호로부터 특징 벡터를 추출하는 특징 벡터 추출부; 및
    상기 특징 벡터와 심화신경망(DNN)의 학습을 통해 추정된 잡음 및 에코의 통합 제거 이득을 이용하여 잡음 및 에코가 통합 제거된 최종 음성 신호를 획득하는 음성 신호 재구성부
    를 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 장치.
  10. 제9항에 있어서,
    상기 심화신경망(DNN)을 학습시키는 심화신경망 학습부를 더 포함하고,
    상기 심화신경망 학습부는,
    학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호로부터 특징 벡터를 추출하는 학습부의 특징 벡터 추출부; 및
    상기 특징 벡터를 심화신경망(DNN)의 입력 특징 벡터로 이용하고, 학습된 심화신경망(DNN)의 모델인 가중치(weight) 파라미터와 바이어스(bias) 파라미터에 입력 특징 벡터를 통과시켜 잡음 및 에코의 통합 제거 이득을 추정하는 심화신경망(DNN) 모델링부
    를 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 장치.
  11. 제10항에 있어서,
    상기 학습부의 특징 벡터 추출부는,
    학습 단계에서, 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 상기 특징 벡터에 연결하여 상기 심화신경망(DNN)의 입력 특징 벡터로 이용하는 학습부의 잡음 및 에코 정보부
    를 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 장치.
  12. 제10항에 있어서,
    상기 학습부의 특징 벡터 추출부는,
    상기 학습 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 상기 특징 벡터로 추출하는 학습부의 스펙트럼 추출부
    를 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 장치.
  13. 제10항에 있어서,
    상기 심화신경망(DNN) 모델링부는,
    상기 심화신경망(DNN)의 회기 학습(regression)을 통하여 연속적인 최적 이득(optimal gain)을 추정하고, 평균제곱오차(Mean Squared Error, MSE)를 상기 심화신경망(DNN)의 목적 함수로 하여 타겟(target) 특징 벡터인 잡음 및 에코의 통합 제거 이득과 상기 심화신경망(DNN)을 통하여 추정된 상기 잡음 및 에코의 통합 제거 이득의 차이를 최소화하는 방향으로 심화신경망(DNN)의 학습이 진행되는 것
    을 특징으로 하는 심화신경망 기반의 잡음 및 에코의 통합 제거 장치.
  14. 제9항에 있어서,
    상기 특징 벡터 추출부는,
    상기 음성 향상 단계에서, 잡음 및 에코가 포함된 마이크 입력 신호와 원단 화자 신호를 대상으로 숏타임 푸리에 변환(Short-Time Fourier Transform, STFT)을 수행하여 시간 영역에서 주파수 영역의 신호로 변환하고, 변환된 주파수 영역의 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)을 상기 특징 벡터로 추출하는 스펙트럼 추출부; 및
    음성 향상 단계에서, 음성 신호의 통계적 정보인 사전 신호대에코비 및 사후 신호대에코비(a priori and a posteriori SER) 및 사전 신호대잡음비 및 사후 신호대잡음비(a priori and a posteriori SNR)를 추출된 상기 특징 벡터에 연결하여 상기 심화신경망(DNN)의 입력 특징 벡터로 이용하는 잡음 및 에코 정보부
    를 포함하는 심화신경망 기반의 잡음 및 에코의 통합 제거 장치.
  15. 제14항에 있어서,
    상기 음성 신호 재구성부는,
    상기 잡음 및 에코가 포함된 마이크 입력 신호의 로그 파워 스펙트럼(Log Power Spectrum, LPS)에 추정된 상기 잡음 및 에코의 통합 제거 이득을 곱하여 근단 화자 신호의 로그 파워 스펙트럼을 획득하고, 상기 근단 화자 신호의 로그 파워 스펙트럼을 잡음 및 에코가 존재하는 신호의 위상과 함께 인버스 숏타임 푸리에 변환(Inverse Short-Time Fourier Transform, ISTFT)하여 최종적으로 잡음 및 에코가 제거된 최종 근단 화자 신호의 파형을 획득하는 것
    을 특징으로 하는 심화신경망 기반의 잡음 및 에코의 통합 제거 장치.
PCT/KR2018/003840 2017-04-14 2018-04-02 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치 Ceased WO2018190547A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/604,777 US11017791B2 (en) 2017-04-14 2018-04-02 Deep neural network-based method and apparatus for combining noise and echo removal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0048574 2017-04-14
KR1020170048574A KR101934636B1 (ko) 2017-04-14 2017-04-14 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2018190547A1 true WO2018190547A1 (ko) 2018-10-18

Family

ID=63792583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003840 Ceased WO2018190547A1 (ko) 2017-04-14 2018-04-02 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치

Country Status (3)

Country Link
US (1) US11017791B2 (ko)
KR (1) KR101934636B1 (ko)
WO (1) WO2018190547A1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223492A (zh) * 2018-11-23 2020-06-02 中移（杭州）信息技术有限公司 一种回声路径延迟估计方法及装置
CN111261179A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 回声消除方法及装置和智能设备
CN111755019A (zh) * 2019-03-28 2020-10-09 三星电子株式会社 用深度多任务递归神经网络来声学回声消除的系统和方法
US10803881B1 (en) 2019-03-28 2020-10-13 Samsung Electronics Co., Ltd. System and method for acoustic echo cancelation using deep multitask recurrent neural networks
CN111883155A (zh) * 2020-07-17 2020-11-03 海尔优家智能科技（北京）有限公司 回声消除方法、装置及存储介质
CN112614500A (zh) * 2019-09-18 2021-04-06 北京声智科技有限公司 回声消除方法、装置、设备及计算机存储介质
CN113286047A (zh) * 2021-04-22 2021-08-20 维沃移动通信（杭州）有限公司 语音信号处理方法、装置及电子设备
CN113812173A (zh) * 2019-05-09 2021-12-17 索诺瓦有限公司 处理音频信号的听力装置系统及方法
WO2022027423A1 (zh) * 2020-08-06 2022-02-10 大象声科（深圳）科技有限公司 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统
CN115050383A (zh) * 2022-07-04 2022-09-13 北京字跳网络技术有限公司 回声消除方法、装置、电子设备及存储介质
EP4418690A3 (en) * 2019-02-08 2024-10-16 Oticon A/s A hearing device comprising a noise reduction system
US12574689B2 (en) 2019-02-08 2026-03-10 Oticon A/S Hearing device comprising a noise reduction system

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335694B (zh) * 2018-02-01 2021-10-15 北京百度网讯科技有限公司 远场环境噪声处理方法、装置、设备和存储介质
KR102085739B1 (ko) * 2018-10-29 2020-03-06 광주과학기술원 음성 향상 방법
US11456007B2 (en) * 2019-01-11 2022-09-27 Samsung Electronics Co., Ltd End-to-end multi-task denoising for joint signal distortion ratio (SDR) and perceptual evaluation of speech quality (PESQ) optimization
KR102294638B1 (ko) * 2019-04-01 2021-08-27 한양대학교 산학협력단 잡음 환경에 강인한 화자 인식을 위한 심화 신경망 기반의 특징 강화 및 변형된 손실 함수를 이용한 결합 학습 방법 및 장치
KR102172608B1 (ko) * 2019-05-02 2020-11-02 남서울대학교 산학협력단 동시통화에 강인한 심층학습 기반 음향반향 제거 장치 및 그 방법
JP7532748B2 (ja) * 2019-06-07 2024-08-14 ヤマハ株式会社 音響装置および音響処理方法
KR102636002B1 (ko) 2019-06-18 2024-02-08 엘지전자 주식회사 음성인식 로봇에 사용되는 사운드 처리방법
GB2586265B (en) * 2019-08-15 2023-02-15 Vision Semantics Ltd Text based image search
KR102742450B1 (ko) * 2019-12-27 2024-12-17 삼성전자주식회사 전자 장치 및 신경망 기반의 잔여 에코 제거 방법
KR102330243B1 (ko) * 2020-03-16 2021-11-23 주식회사 카카오엔터프라이즈 음향 신호 시스템의 에코 억제 방법
US20210406662A1 (en) * 2020-06-25 2021-12-30 PolyN Technology Limited Analog hardware realization of trained neural networks for voice clarity
US20210406661A1 (en) 2020-06-25 2021-12-30 PolyN Technology Limited Analog Hardware Realization of Neural Networks
US12347421B2 (en) 2020-06-25 2025-07-01 PolyN Technology Limited Sound signal processing using a neuromorphic analog signal processor
CN111933164B (zh) * 2020-06-29 2022-10-25 北京百度网讯科技有限公司 语音处理模型的训练方法、装置、电子设备和存储介质
CN114242106B (zh) * 2020-09-09 2024-10-29 中车株洲电力机车研究所有限公司 一种语音处理方法及其装置
KR102505653B1 (ko) * 2020-10-23 2023-03-03 한양대학교 산학협력단 심화신경망을 이용한 에코 및 잡음 통합 제거 방법 및 장치
KR102412148B1 (ko) 2020-11-04 2022-06-22 주식회사 딥히어링 뉴럴 네트워크를 이용한 빔포밍 방법 및 빔포밍 시스템
WO2022126367A1 (en) * 2020-12-15 2022-06-23 Qualcomm Incorporated Sequence processing for a dataset with frame dropping
CN112863535B (zh) * 2021-01-05 2022-04-26 中国科学院声学研究所 一种残余回声及噪声消除方法及装置
KR102316626B1 (ko) * 2021-01-21 2021-10-22 한양대학교 산학협력단 병렬 구조의 심화신경망을 이용한 잡음 및 에코 신호 통합 제거 방법 및 장치
CN112687276B (zh) * 2021-03-11 2021-06-15 北京世纪好未来教育科技有限公司 一种音频信号处理方法、装置及存储介质
CN113421580B (zh) * 2021-08-23 2021-11-05 深圳市中科蓝讯科技股份有限公司 降噪方法、存储介质、芯片及电子设备
CN114221667B (zh) * 2021-12-08 2023-08-18 哈尔滨工程大学 一种通信系统接收端已知信号消除方法及系统
EP4202922A1 (en) * 2021-12-23 2023-06-28 GN Audio A/S Audio device and method for speaker extraction
CN114302286B (zh) * 2021-12-31 2025-02-18 上海小度技术有限公司 一种通话语音降噪方法、装置、设备及存储介质
CN114758669B (zh) * 2022-06-13 2022-09-02 深圳比特微电子科技有限公司 音频处理模型的训练、音频处理方法、装置及电子设备
CN115910087A (zh) * 2022-11-09 2023-04-04 武汉斗鱼鱼乐网络科技有限公司 一种消除残余回声的方法、装置、介质及设备
US12412589B2 (en) 2023-07-12 2025-09-09 Synaptics Incorporated Signal level-independent speech enhancement
US12562176B2 (en) * 2023-09-01 2026-02-24 Synaptics Incorporated Single-microphone acoustic echo and noise suppression

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110238416A1 (en) * 2010-03-24 2011-09-29 Microsoft Corporation Acoustic Model Adaptation Using Splines
JP2013037174A (ja) * 2011-08-08 2013-02-21 Nippon Telegr & Teleph Corp <Ntt> 雑音／残響除去装置とその方法とプログラム
JP2014157323A (ja) * 2013-02-18 2014-08-28 Nippon Telegr & Teleph Corp <Ntt> 音声認識装置、音響モデル学習装置、その方法及びプログラム
US20140257803A1 (en) * 2013-03-06 2014-09-11 Microsoft Corporation Conservatively adapting a deep neural network in a recognition system
US20170061978A1 (en) * 2014-11-07 2017-03-02 Shannon Campbell Real-time method for implementing deep neural network based speech separation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2908003B1 (fr) * 2006-10-26 2009-04-03 Parrot Sa Procede de reduction de l'echo acoustique residuel apres supression d'echo dans un dispositif"mains libres"
US9867012B2 (en) * 2015-06-03 2018-01-09 Dsp Group Ltd. Whispered speech detection
US9672821B2 (en) * 2015-06-05 2017-06-06 Apple Inc. Robust speech recognition in the presence of echo and noise using multiple signals for discrimination
US10522167B1 (en) * 2018-02-13 2019-12-31 Amazon Techonlogies, Inc. Multichannel noise cancellation using deep neural network masking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110238416A1 (en) * 2010-03-24 2011-09-29 Microsoft Corporation Acoustic Model Adaptation Using Splines
JP2013037174A (ja) * 2011-08-08 2013-02-21 Nippon Telegr & Teleph Corp <Ntt> 雑音／残響除去装置とその方法とプログラム
JP2014157323A (ja) * 2013-02-18 2014-08-28 Nippon Telegr & Teleph Corp <Ntt> 音声認識装置、音響モデル学習装置、その方法及びプログラム
US20140257803A1 (en) * 2013-03-06 2014-09-11 Microsoft Corporation Conservatively adapting a deep neural network in a recognition system
US20170061978A1 (en) * 2014-11-07 2017-03-02 Shannon Campbell Real-time method for implementing deep neural network based speech separation

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223492A (zh) * 2018-11-23 2020-06-02 中移（杭州）信息技术有限公司 一种回声路径延迟估计方法及装置
CN111261179A (zh) * 2018-11-30 2020-06-09 阿里巴巴集团控股有限公司 回声消除方法及装置和智能设备
US12574689B2 (en) 2019-02-08 2026-03-10 Oticon A/S Hearing device comprising a noise reduction system
EP4418690A3 (en) * 2019-02-08 2024-10-16 Oticon A/s A hearing device comprising a noise reduction system
US11521634B2 (en) 2019-03-28 2022-12-06 Samsung Electronics Co., Ltd. System and method for acoustic echo cancelation using deep multitask recurrent neural networks
CN111755019A (zh) * 2019-03-28 2020-10-09 三星电子株式会社 用深度多任务递归神经网络来声学回声消除的系统和方法
US10803881B1 (en) 2019-03-28 2020-10-13 Samsung Electronics Co., Ltd. System and method for acoustic echo cancelation using deep multitask recurrent neural networks
US12073847B2 (en) 2019-03-28 2024-08-27 Samsung Electronics Co., Ltd. System and method for acoustic echo cancelation using deep multitask recurrent neural networks
US11393487B2 (en) 2019-03-28 2022-07-19 Samsung Electronics Co., Ltd. System and method for acoustic echo cancelation using deep multitask recurrent neural networks
CN113812173A (zh) * 2019-05-09 2021-12-17 索诺瓦有限公司 处理音频信号的听力装置系统及方法
CN112614500A (zh) * 2019-09-18 2021-04-06 北京声智科技有限公司 回声消除方法、装置、设备及计算机存储介质
CN111883155B (zh) * 2020-07-17 2023-10-27 海尔优家智能科技（北京）有限公司 回声消除方法、装置及存储介质
CN111883155A (zh) * 2020-07-17 2020-11-03 海尔优家智能科技（北京）有限公司 回声消除方法、装置及存储介质
WO2022027423A1 (zh) * 2020-08-06 2022-02-10 大象声科（深圳）科技有限公司 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统
CN113286047A (zh) * 2021-04-22 2021-08-20 维沃移动通信（杭州）有限公司 语音信号处理方法、装置及电子设备
CN115050383A (zh) * 2022-07-04 2022-09-13 北京字跳网络技术有限公司 回声消除方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20200105287A1 (en) 2020-04-02
KR101934636B1 (ko) 2019-01-02
US11017791B2 (en) 2021-05-25
KR20180115984A (ko) 2018-10-24

Similar Documents

Publication Publication Date Title
WO2018190547A1 (ko) 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치
WO2020256257A2 (ko) 잡음 환경에 강인한 화자 인식을 위한 심화신경망 기반의 특징 강화 및 변형된 손실 함수를 이용한 결합 학습 방법 및 장치
WO2018111038A1 (ko) 심화 신경망을 이용한 다채널 마이크 기반의 잔향시간 추정 방법 및 장치
KR102316712B1 (ko) 심화 신경망을 이용한 다채널 기반의 잡음 및 에코 신호 통합 제거 장치
Huang et al. A blind channel identification-based two-stage approach to separation and dereverberation of speech signals in a reverberant environment
CN108172231B (zh) 一种基于卡尔曼滤波的去混响方法及系统
CN112863535B (zh) 一种残余回声及噪声消除方法及装置
KR20100111499A (ko) 목적음 추출 장치 및 방법
US12526368B2 (en) Learning method for integrated noise echo cancellation system using cross-tower network
WO2016117793A1 (ko) 음성 향상 방법 및 시스템
CN112037809A (zh) 基于多特征流结构深度神经网络的残留回声抑制方法
Nesta et al. Convolutive underdetermined source separation through weighted interleaved ICA and spatio-temporal source correlation
CN111883154B (zh) 回声消除方法及装置、计算机可读的存储介质、电子装置
Casebeer et al. NICE-Beam: Neural integrated covariance estimators for time-varying beamformers
Hou et al. Domain adversarial training for speech enhancement
CN116980814A (zh) 信号处理方法、装置、电子设备及存储介质
KR100844176B1 (ko) 통계적 모델 기반의 잔여 반향 제거 방법
US12567432B2 (en) Voice signal estimation method and apparatus using attention mechanism
Pedersen et al. Overcomplete blind source separation by combining ICA and binary time-frequency masking
KR102505653B1 (ko) 심화신경망을 이용한 에코 및 잡음 통합 제거 방법 및 장치
JP2003309493A (ja) 反響低減方法、反響低減装置、反響低減プログラム
KR101096091B1 (ko) 음성 분리 장치 및 이를 이용한 단일 채널 음성 분리 방법
Kinoshita et al. Multi-step linear prediction based speech dereverberation in noisy reverberant environment.
CN108053835B (zh) 一种基于通道泰勒级数的噪声估计方法
KR102374166B1 (ko) 원단 신호 정보를 이용한 반향 신호 제거 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18785071

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18785071

Country of ref document: EP

Kind code of ref document: A1