WO2022158914A1 - 어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치 - Google Patents

어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치 Download PDF

Info

Publication number
WO2022158914A1
WO2022158914A1 PCT/KR2022/001166 KR2022001166W WO2022158914A1 WO 2022158914 A1 WO2022158914 A1 WO 2022158914A1 KR 2022001166 W KR2022001166 W KR 2022001166W WO 2022158914 A1 WO2022158914 A1 WO 2022158914A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
signal
neural network
input
artificial neural
Prior art date
Application number
PCT/KR2022/001166
Other languages
English (en)
French (fr)
Inventor
장준혁
박송규
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to US18/273,354 priority Critical patent/US20240135954A1/en
Publication of WO2022158914A1 publication Critical patent/WO2022158914A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Definitions

  • the present invention relates to a method and apparatus for estimating a voice signal using an attention mechanism, and more particularly, information obtained by applying an attention mechanism to a signal output from a microphone encoder and a signal output from a far-end signal encoder as input information of an artificial neural network. It is an invention related to a technology that can more accurately estimate a user's voice by using it.
  • Speech communication refers to a technology that delivers the speaker's uttered voice to the other party for mutual communication between voice communication speakers. It is used in various fields.
  • Acoustic echo canceling device is an acoustic echo in which the voice signal from the speaker is directly or indirectly re-entered into the microphone (through reflection from walls or surrounding objects) in video calls, video conferences, etc. serves to remove
  • an acoustic echo cancellation apparatus estimates an acoustic echo generation path (RIR) using an adaptive filter, and generates an estimated acoustic echo signal.
  • the acoustic echo canceling apparatus removes the acoustic echo by subtracting the estimated acoustic echo signal from the actual acoustic echo signal.
  • Methods of updating the adaptive filter coefficients of the adaptive filter for estimating the acoustic echo generation path include a method using a Recursive Least Square (RLS) algorithm, a method using a Least Mean Square (LMS) algorithm, and a Normalized Least Mean Square (NLMS) algorithm. ) algorithm, and a method using the Affine Projection algorithm.
  • RLS Recursive Least Square
  • LMS Least Mean Square
  • NLMS Normalized Least Mean Square
  • the method and apparatus for estimating a voice signal using an attention mechanism is an invention devised to solve the above-described problems, and information in which an attention mechanism is applied to a signal output from a microphone encoder and a signal output from a far-end signal encoder It is an invention related to a technology that can more accurately estimate a user's voice by using as input information of an artificial neural network.
  • more accurate mask information is output by using input information of an artificial neural network that outputs mask information for estimating voice information, and information obtained by removing an echo signal using a far-end signal and an attention mechanism as input information.
  • An object of the present invention is to provide an apparatus for estimating a voice signal that can do this.
  • a microphone encoder that receives a microphone input signal including an echo signal, a noise signal, and a user's voice signal according to an embodiment, converts the microphone input signal into first input information, and outputs the output; a far-end signal a far-end signal encoder that receives input and outputs the far-end signal by converting the far-end signal into second input information, and an attention unit that outputs weight information by applying an attention mechanism to the first input information and the second input information , using third input information that is the sum information of the weight information and the second input information as input information, and first output information including mask information for estimating the voice signal from the second input information as output information and a voice signal estimator configured to output an estimated voice signal obtained by estimating the voice signal based on the learned first artificial neural network and the first output information and the second input information.
  • the microphone encoder may convert the microphone input signal in a time-domain into a signal in a latent-domain.
  • the apparatus for estimating a speech signal using an attention mechanism further comprising a decoder that converts the estimated speech signal in the latent domain into an estimated speech signal in the time domain.
  • the attention unit may analyze a correlation between the first input information and the second input information, and may output the weight information based on the analyzed result.
  • the attention unit may estimate the echo signal based on information on the far-end signal included in the first input information, and then output the weight information based on the estimated echo signal.
  • a method of estimating a voice signal using an attention mechanism receives a microphone input signal including an echo signal, a noise signal, and a user's voice signal through a microphone encoder, and converts the microphone input signal into first input information outputting the signal, receiving a far-end signal through a far-end signal encoder, converting the far-end signal into second input information and outputting it, and paying attention to the first input information and the second input information outputting weight information by applying an attention mechanism, and using third input information that is the sum of the weight information and the second input information as input information, and estimating the voice signal from the second input information outputting the first output information using a pre-learned first artificial neural network using first output information including mask information for and outputting an estimated speech signal obtained by estimating the speech signal.
  • the apparatus for estimating a voice signal using an attention mechanism estimates the speaker's voice signal based on information about an echo signal generated using the attention mechanism, and more accurately the voice signal There are advantages to extracting .
  • the echo signals are more efficiently processed. can be removed, and there is an effect of improving voice quality and intelligibility.
  • FIG. 1 is a diagram illustrating various signals input to a voice signal estimating apparatus when there is a speaker's utterance in a single-channel environment with one microphone.
  • FIG. 2 is a block diagram showing some components of the speaker's speech signal estimation apparatus according to the first embodiment.
  • FIG. 3 is a diagram illustrating input information and output information input to an attention unit according to the first embodiment.
  • FIG. 4 is a diagram for explaining input information input to the first artificial neural network according to the first embodiment.
  • FIG. 5 is a diagram illustrating a structure, input information, and output information of a first artificial neural network according to the first embodiment.
  • FIG. 6 is a view showing the setting data of the experiment for explaining the effect of the present invention.
  • FIG. 7 is a diagram illustrating output results of different artificial neural network models in comparison to explain the effects of the present invention according to the first embodiment.
  • FIG. 8 is a block diagram showing some components of the apparatus for estimating a speech signal according to the second embodiment.
  • FIG. 9 is a diagram for explaining the processors of the second artificial neural network and the third artificial neural network according to the second embodiment.
  • 10 and 11 are diagrams illustrating the relationship between the second artificial neural network and the third artificial neural network according to the second embodiment.
  • FIG. 12 is a diagram illustrating input information and output information input to a voice signal estimator according to the second embodiment.
  • FIG. 13 is a diagram illustrating output results compared with other artificial neural network models in order to explain the effects of the present invention according to the second embodiment.
  • FIG. 14 is a diagram illustrating various signals input to an apparatus for estimating a voice signal when there is a speaker's utterance in a multi-channel environment having a plurality of microphones.
  • 15 is a block diagram showing some components of an apparatus for estimating a speech signal according to the third embodiment.
  • 16 is a diagram illustrating output results compared with other artificial neural network models in order to explain the effects of the present invention according to the third embodiment.
  • 17 is a block diagram showing some components of an apparatus for estimating a speech signal according to the fourth embodiment.
  • 18 is a diagram for explaining information input to a voice signal estimator according to the fourth embodiment.
  • 19 and 20 are diagrams for explaining the first attention unit and the second attention unit according to the fourth embodiment.
  • 21 is a diagram illustrating output results compared with other artificial neural network models in order to explain the effects of the present invention according to the fourth embodiment.
  • the voice enhancement technology is a technology for estimating a clear voice by removing an echo signal input through a microphone, and is an essential technology for voice applications such as voice recognition and voice communication.
  • voice applications such as voice recognition and voice communication.
  • voice recognition if a speech recognition model is trained with a clean signal without echo and then tested with a signal with noise, the performance will decrease. Therefore, in order to solve this problem, the performance of speech recognition can be improved by introducing a speech enhancement technology that removes noise and echo before speech recognition is performed.
  • the voice enhancement technology may be used to improve call quality by removing echo from voice communication to deliver clear and clear voice.
  • FIG. 1 is a diagram illustrating various signals input to an apparatus for estimating a speaker's voice signal in a voice communication environment when there is a speaker's utterance in an environment in which echo and noise signals exist.
  • the microphone input signal y(t)(20) input to the microphone 300 is s( t)(50) and n(t)(60), which is a noise signal generated by various environments in the space where the speaker exists, and a far end signal output through the speaker 20 are Consists of the sum of d(t)(40), which is an echo signal that is convolved with RIR (Room Impulse Response) between (10) and the speaker 20 and is input back to the microphone 300 again can be
  • RIR Room Impulse Response
  • Equation (1) - y(t) s(t)+d(t)+n(t)
  • the speaker's voice signal estimation apparatus 100 may output the final voice signal 30 obtained by estimating the speaker's voice signal 50 using the microphone input signal 20 and the far-end signal 10 .
  • the microphone input signal including noise and echo may mean a microphone input signal including noise and echo simultaneously.
  • FIG. 2 to 7 are diagrams for explaining a first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating some components of the apparatus for estimating a voice signal according to the first embodiment
  • FIG. 3 is the first embodiment.
  • It is a diagram illustrating input information and output information input to an attention unit according to an example.
  • 4 is a diagram for explaining input information input to the first artificial neural network according to the first embodiment
  • FIG. 5 is a diagram illustrating the structure of the first artificial neural network according to the first embodiment.
  • the apparatus 100 for estimating a voice signal according to the first embodiment of the present invention may be referred to as an apparatus for estimating a voice signal using an attention mechanism by reflecting the characteristics of the first embodiment.
  • the apparatus 100 for estimating a voice signal includes a far-end signal encoder 110 , an attention unit 120 , a microphone encoder 130 , a first artificial neural network 140 , and a voice It may include a signal estimator 150 and a decoder 160 (decoder).
  • the encoders 110 and 130 serve to convert an input signal in a time domain into a signal in another domain, and the far-end signal encoder 110 converts the far-end signal 10 that is a signal output from the speaker 200 .
  • the microphone encoder 130 serves to convert the microphone input signal 20 input to the microphone 300 .
  • the far-end signal encoder 110 uses a signal output from the speaker 200 as an input signal, and converts the far-end signal 10 including information in the time domain into a far-end signal in the latent domain.
  • the converted first input information 11 may be output.
  • a latent domain it is a domain that is not defined as a specific domain, for example, a domain of a time domain or a frequency domain, and may be defined as a domain of a domain generated according to a learning result of an artificial neural network. Therefore, the domain of the latent domain has a characteristic that the domain defined according to the learning environment and results is variable.
  • the first input information 11 output by the far-end signal encoder 110 is information about the echo signal 40 in the second input information 12 in the attention unit 120 and the first artificial neural network 140 to be described later. is used to extract Specifically, the echo signal 40 is a signal generated by reverberation of the far-end signal 10 output from the speaker 200 , and is most similar to the far-end signal 10 among various types of signals input to the microphone 300 . has a Accordingly, if information on the echo signal 40 is extracted based on the information on the far-end signal 10 , there is an effect of more accurately extracting the user's voice signal 50 . A detailed description thereof will be provided later.
  • the microphone encoder 130 receives the microphone input signal 20 including the echo signal 40, the voice signal 50, and the noise signal 60 in the time domain from the microphone 300, and time
  • the second input information 12 obtained by converting the microphone input signal 20 including information in the domain into a microphone input signal in the latent domain may be output.
  • the description of the latent region is the same as described above, but since the first input information 11 and the second input information 12 are added to each other or used as input information of the same artificial neural network, the The domain and the domain of the second input information 12 must match each other.
  • learning is performed in the domain domain according to the prior art, information on the input time domain is used for learning using feature information extracted using Short Time Fourier Transform (STFT).
  • STFT Short Time Fourier Transform
  • learning is performed using latent features extracted by learning in the latent-domain through processes such as 1D-convolution and ReLu.
  • the far-end signal 10 information in the time domain input to the far-end signal encoder 110 is converted into the first input information 11 including information in the latent domain by the far-end signal encoder 110, and the microphone
  • the microphone input information 20 in the time domain input through 300 is converted into the second input information 12 in the latent domain by the microphone encoder 130 .
  • the first input information 11 and the second input information 12 converted in this way are utilized as input information of the attention unit 120 , the first artificial neural network 140 , and the decoder 150 , and the microphone encoder 130 .
  • the inputted voice signal 20 may be converted as shown in Equation (2) below.
  • Equation (2) - w H(y*U)
  • the information output by the microphone encoder 130 is output as vector information due to the characteristics of the encoder.
  • y means the microphone input signal 20
  • U is the size of the input information. Accordingly, it means a positive value of length N ⁇ L with N vectors, and H( ⁇ ) means a nonlinear function.
  • the far-end signal 10 used to remove the echo signal among the information input to the first artificial neural network 140 is input to the far-end signal encoder 110 and is output as information having the following equation (3) and vector information. can be
  • Equation (3) x denotes the far-end signal 10
  • Q denotes a positive value of length N ⁇ L having N vectors
  • H() denotes a nonlinear function
  • the first input information 11 and the second input information 12 output in this format may be input to the attention unit 120 and converted into weight information 13 and output.
  • a mechanism of the attention unit 120 will be described with reference to FIG. 3 .
  • the attention unit 130 is a pre-learned artificial neural network using the first input information 11 and the second input information 120 as input information and the weight information 13 as output information.
  • weight information 13 may refer to information about a signal to be considered more heavily than other signals when estimating the speaker's voice in the first artificial neural network 140 .
  • the attention mechanism has the advantage of a simple structure in the case of the conventional Seq2seq model for estimating the speaker's voice, but information loss occurs because all information is compressed into one fixed-size vector, and Vanishing Gradient, a chronic problem of RNNs. There was a problem, which led to a phenomenon in which the performance deteriorated significantly when the input data became long.
  • the technology introduced to solve this problem is the attention mechanism, and the basic idea of the attention mechanism is to refer to the hidden state of the encoder once again at every time step that the decoder predicts the output result. means to do That is, whether the input information is more important is not always fixed, but the type of important information changes according to the time. There is an advantage of being able to output information more accurately and quickly by analyzing the order of information to be used and giving more weight to important information.
  • the attention unit 120 compares the far-end signal 10 input to the attention unit 120 with the microphone input signal 20, and then assigns a weight to a signal with high correlation, and then adds a weight
  • the information including the information on ' is output as output information, and the processor as shown in FIG. 3 may be executed to output this information.
  • the attention unit 120 sets the far-end signal 10 so that the first artificial neural network 140 can estimate the echo signal 40 . ), weight information for the echo signal 40 may be generated and output based on the information.
  • the first input information 11 and the second input information 12 can be converted as shown in Equations (4) and (5) below.
  • the function means a sigmoid function
  • w means the latent features of the microphone input signal
  • Wf is the latent features of the far-end signal
  • Lw and L wf are information that have passed through the 1x1 convolution (111, 112) in FIG. 3, respectively.
  • the attention unit 120 includes the first input information 11 output from the far-end signal encoder 110 and the microphone.
  • the second input information 12 output from the microphone encoder 130 in the first artificial neural network 140 .
  • weight information 13 is generated for the echo signal 40 so that the echo signal 40 can be efficiently estimated, and the generated weight information 13 is combined with the second input information 12 It is input to the first artificial neural network 140 .
  • the second input information 12 includes A, B, and C signal information, and the second input information 12 and the first input information 11 in the attention unit 120
  • the first weight information K1 is mixed with the first input information 12 at the first point 1 and converted into the second weight information K2. Specifically, since there is no weight information for B and C, 0 is multiplied, and only A is multiplied by 0.3.
  • the first weight information 13-1 is converted into the second weight information 13-2 including only information about 0.3A, and the second weight information (second input information that was originally information at the second point) It is summed up with (12), so in conclusion, the third input information 14 input to the first artificial neural network 130 is information obtained by transforming the second input information 12 into (1.3A+B+C) information from above. may include.
  • the first artificial neural network 140 uses the third input information 14 as input information, and outputs the second output information 15 including mask information for estimating the speaker's voice signal 50 .
  • the neural network that can be borrowed from the first artificial neural network 140 may be included as long as it is a neural network that outputs mask information for efficiently estimating the speaker's voice, and representatively, as shown in FIG. Convolutional Network) may include an artificial neural network.
  • the TCN artificial neural network is sequentially 1*1 Conv(141), PReLU(142), LN(143), D-Conv(144), PReLU(145), LN for the third input information 14 input to the neural network. (146) and 1*1 Conv (147), the second output information 15 including mask information for estimating the speaker's voice signal 50 can be finally output as output information.
  • the first artificial neural network 140 may perform learning in the direction of reducing the loss by using the estimated output information and the actual reference information. Specifically, the value of the loss function is based on the loss function as in Equation (6) below. Learning can be carried out in this smaller direction.
  • Equation (6) Starget denotes the speaker's voice signal, and s ⁇ denotes information output by the first artificial neural network 140 .
  • the voice signal estimator 150 includes the second output information 15 including mask information estimated in the first artificial neural network 140 . ) and the second input information 12 output to the microphone encoder 130 may estimate the speaker's voice signal.
  • the second output information 15 including mask information for extracting only the speaker's voice signal is output.
  • the signal estimator 150 may use the mask information to estimate only the speaker's voice signal from the second input information 12, extract the estimated (after estimating the voice signal, and transmit it to the decoder 160). have.
  • the decoder 160 may output the final speech signal 30 including time domain information based on the estimated speech signal 16 output from the speech signal estimator 150 . Specifically, the third output information 15 output to the first artificial neural network 140 , the second input information 12 output from the microphone encoder 130 , and the estimated voice signal estimated by the voice signal estimator 150 . Since (16) is all information about a signal estimated in the latent domain, not information in the time domain, the decoder 160 determines the final estimation of the latent domain in the latent domain so that the speaker can recognize a voice. The estimated speech signal 16 may be transformed into a final speech signal 30 in the time domain.
  • the estimated latent region estimation speech signal 16 is the transposed convolutional layer of equation (2) described above, such as the relationship between the short-time Fourier transform (STFT) and the inverse STFT, information in the time domain. It can be converted to a form containing it and can be expressed as Equation (7) below.
  • STFT short-time Fourier transform
  • s ⁇ denotes a speech signal estimated in the time domain
  • V denotes a matrix that transforms N vectors into L lengths.
  • the speaker's voice information is estimated by a method of estimating mask information based on only the microphone input signal input to the microphone. There was a problem in that it did not distinguish between the information that did and the information that did not. Accordingly, there is a problem in that it is not possible to efficiently determine the speaker's voice among the signals input to the microphone.
  • the apparatus 100 for estimating a voice signal extracts information on the echo signal 40 based on the far-end signal 10 information
  • the extracted information is input information of the first artificial neural network 140 . Since it is input as , the first artificial neural network 140 has an advantage in that it can output mask information that can more accurately extract only the user's voice signal 50 . Further, information to be weighted by using the attention mechanism can be utilized as input information of the first artificial neural network 130 , so that mask information with higher accuracy can be output.
  • FIG. 6 and 7 are diagrams showing experimental data for explaining the effect of the present invention according to the first embodiment.
  • FIG. 6 is a parameter setting value of the RIR (Room Impulse Response) generator, and
  • FIG. In order to explain the effect of the present invention according to an example, it is a diagram showing comparison of output results of different artificial neural network models.
  • RIR Room Impulse Response
  • RIR was generated by simulating various kinds of room environments using the RIR generator toolkit that generates RIR in a specific room through simulation.
  • FIG. 6 (b) is a diagram showing a room set by such an environment.
  • the results of 800 utterances were prepared using the utterances included in the evaluation dataset.
  • perceptual evaluation of speech quality (PESQ), short-time objective intelligibility (STOI), signal to distortion ratio (SDR) and echo return loss enhancement (ERLE) were used, and scores were measured by dividing the section in which voice and echo exist at the same time and the section in which only echo exists.
  • PESQ has a score between -0.5 and 4.5
  • STOI has a score between 0 and 1
  • the range of values is not specified, and in the case of ERLE, a higher score means better echo cancellation.
  • stacked-DNN and CRN refer to a preprocessing algorithm using a deep neural network in the prior art.
  • the TCN + auxiliary network + attention model of item 4 means the algorithm according to the first embodiment of the present invention.
  • FIG. 8 to 12 are diagrams for explaining a second embodiment of the present invention.
  • FIG. 8 is a block diagram showing some components of an apparatus for estimating a voice signal according to the second embodiment
  • FIG. 9 is a second embodiment. It is a diagram for explaining the processor of the second artificial neural network and the third artificial neural network according to the example.
  • the speech signal estimation apparatus 100 may be referred to as an integrated echo and noise cancellation apparatus using a plurality of deep neural networks sequentially by reflecting the characteristics of the second embodiment.
  • the apparatus 100 for estimating a voice signal includes a far-end signal encoder 110 , an attention unit 120 , a microphone encoder 130 , a voice signal estimator 150 , and a decoder. (160, decoder), the second artificial neural network 170 and the third artificial neural network 180 may be included.
  • the far-end signal encoder 110 , the attention unit 120 , the microphone encoder 130 , the voice signal estimator 150 , and the decoder 160 among the voice signal apparatus 100 according to the second embodiment are the far-end signals described in FIG. 2 . Since it is the same as the signal encoder 110, the attention unit 120, the microphone encoder 130, the first artificial neural network 140, the voice signal estimator 150, and the decoder 160, the redundant description will be omitted, The second artificial neural network 170 and the third artificial neural network 180, which are components not described in the first embodiment, will be described in detail with reference to the drawings below.
  • the second artificial neural network 170 and the third artificial neural network 180 according to FIG. 8 are neural networks for estimating an echo signal and a noise signal among the signals input to the microphone encoder 130, and the second artificial neural network 170 is It may be referred to as an echo signal estimation artificial neural network, the third artificial neural network 180 may be referred to as a noise signal estimation artificial neural network, and on the contrary, the second artificial neural network 170 may be referred to as a noise signal estimation artificial neural network. and the third artificial neural network 180 may be referred to as an echo signal estimation artificial neural network.
  • each artificial neural network of the second artificial neural network 170 and each artificial neural network of the third artificial neural network 180 is a neural network for estimating an echo signal and a noise signal. It may be included in the neural network 170 and the third artificial neural network 180 , and may typically include a Temporal Convolutional Network (TCN) artificial neural network as shown in FIG. 9 .
  • TCN Temporal Convolutional Network
  • the second artificial neural network 170 is an artificial neural network for estimating echo signals
  • the third artificial neural network 180 is an artificial neural network for estimating noise signals.
  • the second artificial neural network 170 and the third artificial neural network 180 may include a plurality (N) of artificial neural networks connected in series, respectively, specifically, the second artificial neural network
  • the neural network may include the 2-A artificial neural network 171, the 2-B artificial neural network 172 to the 2-M artificial neural network 178 and the 2-N artificial neural network 179, and the third artificial neural network 179
  • the neural network may include a 3-A artificial neural network 181 , a 3-B artificial neural network 182 to a 3-M artificial neural network 188 , and a 3-N artificial neural network 189 .
  • the second artificial neural network 170 and the third artificial neural network 180 are illustrated as including four or more artificial neural networks, respectively, but the embodiment of the present invention is not limited thereto.
  • the number of the third artificial neural networks 180 may include various ranges from one to N.
  • the plurality of artificial neural networks included in the second artificial neural network 170 and the third artificial neural network 180, respectively, have the same structure and have the same characteristics (information estimating an echo signal or estimating a noise signal) of information is used as output information.
  • each of the 2-A artificial neural network 171 and the 2-B artificial neural network 172 is an artificial neural network for estimating an echo signal.
  • each of the 3-A artificial neural network 181 and the 3-B artificial neural network 182 is a method for estimating a noise signal. It may correspond to an artificial neural network.
  • the second artificial neural network 170 shown in FIG. 8 uses the third input information 14 as input information and finally estimates the echo signal included in the third input information 14.
  • the final estimated echo signal 31 An inference session (not shown) for estimating the echo signal 40 included in the microphone input signal 20 based on the third input information 14 as a pre-trained artificial neural network using as output information; It may include a learning session (not shown) in which learning is performed based on information and output information and reference information for the echo signal.
  • the third artificial neural network 180 uses the third input information 14 as input information and the final estimated noise signal 32 obtained by estimating the noise signal included in the third input information 14.
  • an inference session (not shown) for estimating the noise signal 60 included in the microphone input signal 20 based on the third input information 14, input information and output It may include a learning session (not shown) in which learning is performed based on information and reference information for the echo signal.
  • the voice signal estimator 150 receives information on the final estimated echo signal 31 output from the second artificial neural network 180 from the second input information 13 output from the microphone encoder 130 .
  • information on the echo signal is removed from the second input information 13 using the
  • the estimated speech signal 16 may be generated by removing the information about the signal, and the generated estimated speech signal 16 may be transmitted to the decoder 160 . Since the description of the decoder 160 is the same as that described with reference to FIG. 1 , it will be omitted.
  • 10 and 11 are diagrams illustrating the relationship between the second artificial neural network and the third artificial neural network according to the second embodiment.
  • the 2-A artificial neural network 171 which is the first artificial neural network in the second artificial neural network 170 , uses the third input information 13 as input information, and the third input information 13 . It may include a pre-learned artificial neural network that outputs the information obtained by first estimating the echo signal included in the second output information 21 as the second output information 21 .
  • the 3-A artificial neural network 181 which is the first artificial neural network in the third artificial neural network 180 , uses the third input information 13 as input information, and is included in the third input information 13 . It may include a pre-learned artificial neural network that outputs information obtained by first estimating the noise signal as the third output information 22 .
  • the 2-B artificial neural network 172 includes the second output information 21 output from the 2-A artificial neural network 171, the third output information 22 output from the 3-A artificial neural network 181, and The fourth input information 23 generated based on the third input information 14 is used as input information, and information estimated by estimating only the echo signal from the fourth input information 23 is used as the fourth output information 25 . It may include a pre-learned artificial neural network to output.
  • the second output information 21 output to the 2-A artificial neural network 171 corresponds to the echo signal included in the third input information 14 . Since the information on the echo signal is included, if the second output information 21 is mixed with the third input information 14 at the third point 3, an emphasized signal for the echo signal part will be generated at the third point 3 can Thereafter, the noise signal is removed at the fourth point 4 by using the third output information 22 including information on the noise signal with respect to the generated signal to generate the fourth input information 23 . , the generated 4 input information 23 is used as input information input to the 2-B artificial neural network 172 .
  • the fourth input information 23 noise is removed from the third input information 14 , and the information on the echo signal has information having more accurate information than the third input information 14 .
  • the information about the echo signal output from the -B artificial neural network 172 has the effect that it can be more accurately output from the 2-A artificial neural network 171 .
  • the 3-B artificial neural network 182 includes the third output information 22 output from the 3-A artificial neural network 181 and the second output information outputted from the 2-A artificial neural network 171 ( 21) and the fifth input information 24 generated based on the third input information 14 as input information, and the information estimated by estimating only the noise signal from the fifth input information 24 as the fifth output information ( 26) and outputting it may include a pre-learned artificial neural network.
  • the third output information 22 output to the 3-A artificial neural network 181 includes the noise signal included in the third input information 14 . Since information about can Thereafter, when the echo signal is removed at the sixth point 6 using the second output information 21 including information on the echo signal with respect to the generated signal, the fifth input information 24 is generated and , The generated fifth input information 24 is used as input information input to the 2-C artificial neural network 182 .
  • the echo is removed from the third input information 14 , and the information on the noise signal has information having more accurate information than the third input information 14 , Since it can be used as input information of the -B artificial neural network 182, there is an effect that information about the noise signal output from the 3-B artificial neural network 182 can be output more accurately.
  • the 2-C artificial neural network 173 provides the fourth output information 25, Based on the fifth output information 26 and the third input information 14 , the sixth input information 27 may be generated according to the principle described above.
  • the generated sixth input information 27 is input as input information of the 2-C artificial neural network 173 , and the 2-C artificial neural network 173 generates an echo signal based on the sixth input information 27 .
  • the sixth output information 29 including the estimated information may be output as output information.
  • the 3-C artificial neural network 183 is based on the fourth output information 25 , the fifth output information 26 , and the third input information 14 based on the seventh input information 28 according to the principle described above. ) can be created.
  • the generated seventh input information 28 is input as input information of the 3-C artificial neural network 183 , and the 3-C artificial neural network 183 generates a noise signal based on the seventh input information 28 .
  • the seventh output information 30 including the estimated information may be output as output information.
  • the number of neural networks of the second artificial neural network 170 and the third artificial neural network 180 can be implemented differently depending on the environment, so the second artificial neural network 170 and the third artificial neural network ( 180), the second output information 21 becomes the final estimated echo signal 31 of the second artificial neural network 170 in FIG. 9, and the third output information 22 becomes the third It may be the final estimated noise signal 32 of the artificial neural network 180 . If the number of neural networks of the second artificial neural network 170 and the third artificial neural network 180 is three, the sixth output information 31 in FIG. 10 is the final estimated echo signal of the second artificial neural network 170 ( 28), and the seventh output information 32 may be the final estimated noise signal 31 of the third artificial neural network 180 .
  • the attention unit 120 is illustrated as a component of the voice signal estimation apparatus 100 according to the second embodiment, but the voice signal estimation apparatus 100 according to the second embodiment is implemented without the attention unit 120 .
  • the third input information 14 is the sum of the first input information 11 and the second input information 12 .
  • FIG. 12 is a diagram illustrating input information input to the voice signal estimator 150 according to the second embodiment.
  • the voice signal estimator 150 receives the final estimated echo signal 31 and the third output from the second artificial neural network 170 from the third input information 14 output from the microphone encoder 130 . Receive information from which the final estimated noise signal 32 output from the artificial neural network 180 is removed, generate an estimated speech signal 16 that estimates a speech signal based on the received information, and generate the estimated speech signal ( 16) to the decoder 160 .
  • the decoder 160 may output the estimated speech signal 16 output from the speech signal estimator 150 as a time domain speech signal. Specifically, the final estimated echo signal 31 output to the second artificial neural network 170 , the final estimated noise signal 31 output to the third artificial neural network 180 , and the third input output from the microphone encoder 130 . Since the information 14 and the estimated speech signal 16 estimated by the speech signal estimator 150 are all information about a signal estimated in the latent domain rather than information in the time domain, the decoder 160 It may serve to convert the latent region estimation voice signal 16 finally estimated in the latent domain into the final voice signal 30 in the time domain so that the speaker can recognize the voice.
  • the apparatus 100 for estimating a speech signal according to the second embodiment can perform learning based on two loss functions, and specifically, learning is performed by reducing the error of the final speech signal 30 estimated in the time domain. Or, learning may be performed by reducing errors in information output by each of the artificial neural networks of the second artificial neural network 170 and the third artificial neural network 180 that output information in the latent region.
  • the speech signal estimation apparatus 100 compares the difference between the final speech signal 30 output from the decoder 160 and the actual speaker's speech signal 50 to the first At least one parameter among the attention unit 120 , the second artificial neural network 170 , and the third artificial neural network 180 of the speech signal apparatus 100 in a direction in which the value of the first loss function decreases as the loss function. Learning can be performed by updating .
  • the apparatus 100 for estimating a speech signal may perform learning using a loss function as shown in Equation (8) below.
  • Equation (8) the absolute value expression represents l 2-norm , s ⁇ means the estimated final sound signal, and Starget means the actual speaker's speech signal.
  • the second learning method is the second artificial neural network 170 and the third artificial neural network 180 in the latent region. ), learning is performed for each artificial neural network.
  • the difference between the information estimated and output by each of the artificial neural networks of the second artificial neural network 170 and the third artificial neural network 180 and the actual reference information is used as the second loss function, and the value of the second loss function Learning may be performed by updating parameters of each of the artificial neural networks of the second artificial neural network 170 and the third artificial neural network 180 in the direction in which the difference between .
  • the second loss function is the difference between the output information of the n-th artificial neural network of the second artificial neural network 170 and reference information thereof, and the output information of the n-th artificial neural network of the third artificial neural network 180 and reference information thereof.
  • a loss function can be defined as the sum of the differences of , and it can be expressed as Equation (9) below.
  • d r and n r are reference information for echo signals and references to noise signals in the latent region. means information.
  • the apparatus 100 for estimating a voice signal may perform learning using only the first loss function described above, or may perform learning using only the second loss function, and the first loss Using the third loss function that is the sum of the function and the second loss function, the attention unit 120, the second artificial neural network 170, and the third Learning can be performed by updating at least one parameter of the artificial neural network 180, and when learning is performed using the third loss function, an expression such as Equation (12) below is used as the loss function expression. so that learning can be performed.
  • FIG. 13 is a diagram illustrating output results compared with other artificial neural network models in order to explain the effects of the present invention according to the second embodiment.
  • stacked-DNN and CRN in the table refer to preprocessing algorithms using deep neural networks in the prior art
  • Item 3 (Cross Tower) and Item 4 (Cross-tower + auxiliary network + attention) refer to the algorithm according to the second embodiment of the present invention.
  • Cross-tower means the second artificial neural network 170 and the third artificial neural network 180 .
  • FIG. 14 to 20 are diagrams for explaining an embodiment of the present invention in a multi-channel microphone environment, and FIG. 14 shows various signals input to the voice signal estimation apparatus when there is a speaker's utterance in a multi-channel environment with a plurality of microphones. is a diagram showing the
  • FIG. 14 for convenience of explanation, it is described on the premise that two microphones 310 and 320 exist.
  • the embodiment of the present invention is not applied only in a two-channel environment, but is also applied in a multi-channel environment in which more microphones exist. can
  • a signal input to the microphones 310 and 320 is a noise signal, an echo signal d(t) that is reproduced by the speaker 200 and enters the microphones 310 and 320 again, and the speaker's voice signal. It can be expressed as the sum of (s(t)), and it can be expressed as Equation (11) below.
  • d(t) is an echo in which a far-end signal is transformed by nonlinearity in the speaker 200 and a room impulse response (RIR) between the speaker and the microphone and is input to the microphones 310 and 320 .
  • signal s(t) is the speaker's speech signal
  • n is the noise signal
  • t is the time index
  • i is the i-th microphone input.
  • 15 is a block diagram illustrating some components of an apparatus for estimating a speech signal according to a third embodiment of the present invention.
  • the apparatus 100 for estimating a voice signal according to the third embodiment of the present invention may be referred to as a multi-channel-based integrated noise and echo signal cancellation apparatus using a deep neural network by reflecting the characteristics of the third embodiment.
  • the apparatus 100 for estimating a voice signal includes a far-end signal encoder 110 , an attention unit 120 , a microphone encoder 130 including a plurality of microphone encoders, and a channel converter ( 190), the first artificial neural network 140, the voice signal estimator 150, and a decoder 160 (decoder) may be included.
  • the far-end signal encoder 110 , the attention unit 120 , the first artificial neural network 140 , the voice signal estimator 150 , and the decoder 160 among the voice signal estimation apparatus 100 according to the third embodiment are shown in FIG. 2 . Since it is the same as the far-end signal encoder 110, the attention unit 120, the first artificial neural network 140, the voice signal estimator 150, and the decoder 160 described in , the redundant description will be omitted, and the third implementation The plurality of encoders 131 , 132 , 133 and the channel converter 190 corresponding to the features of the example will be described.
  • the encoder 100 is a component that converts the signals of the time domain input through the plurality of microphones 300 into signals of the latent domain, respectively, and the encoder is can be provided. Accordingly, the first microphone input signal 20-1 input through the first microphone 310 is input to the first microphone encoder 131, and the second microphone input signal (20-1) input through the second microphone 320 20-2) may be input to the second microphone encoder 132, and a third microphone input signal 20-2 input through a third microphone (not shown) may be input to the second microphone encoder 132.
  • FIG. 15 shows a total of three microphone encoders on the assumption that there are three microphones, the embodiment of the present invention is not limited thereto, and more or fewer microphone encoders may be provided according to the speech environment.
  • the plurality of microphone encoders 131 , 132 , and 133 may output converted signals 12-1, 12-2, and 12-3 obtained by converting an input signal in a time domain into a signal in another domain.
  • the plurality of microphone encoders 131 , 132 , and 133 include the plurality of microphone input signals 20 - 1 and 20 including an echo signal, a voice signal, and a noise signal in the time domain from the microphone 300 . -2 and 20-3) are received, respectively, and the microphone input signals 20-1, 20-2, 20-3 including information in the time domain are converted into signals in the latent domain.
  • the converted converted signals 12-1, 12-2, and 12-3 may be output.
  • the microphone encoder 130 receives a signal in the time domain and converts it into a signal in the latent domain. can be converted together.
  • this is an equation in a single-channel microphone environment, and in the case of FIG. 15, since a plurality of microphones exist in a multi-channel environment, a voice signal input to each microphone encoder can be expressed as Equation (12) below.
  • Equation (2) - w H(y*U)
  • Equation (12) Ui denotes a positive value of length N ⁇ L having N vectors according to the size of input information, and H() denotes a nonlinear function.
  • a multi-channel microphone input has a larger dimension as much as the number of microphones, so it maintains parameters at a level similar to that of a single-channel network and information output through the far-end signal encoder 110 .
  • a component that converts signals output through the microphone encoder 130 to a single channel level is required.
  • the converted calls 12-1, 12-2, and 12-3 input to the channel converting unit 190 by the channel converting unit 190 compress information between channels to obtain single-channel level information. After being converted to , it may be output as the second input information 12 .
  • This process performed by the channel converter 190 may be performed through 1D convolution operation on input signals, and may be expressed as Equation (13) below.
  • Equation (13) Ux means a positive value of length N*m ⁇ L having N*m vectors.
  • the second input information 12 output in this format is input to the attention unit 120 together with the first input information 11 output by the far-end signal encoder 110, and is converted into weight information 13 and output.
  • weight information 13 is mixed with second input information 12 and converted into third input information 14 can Since this process has been described in detail with reference to FIGS. 2 to 6 , it will be omitted.
  • 16 is a diagram illustrating output results compared with other artificial neural network models in order to explain the effects of the present invention according to the third embodiment.
  • stacked-DNN and CRN in the table refer to preprocessing algorithms using deep neural networks in the prior art
  • Items 4 to 6 are artificial neural network models according to the present invention
  • Item 4 is the model according to the first embodiment
  • Items 5 and 6 are the models according to the third embodiment.
  • FIG. 17 is a block diagram illustrating some components of an apparatus for estimating a voice signal according to the fourth embodiment
  • FIGS. 18 and 19 are diagrams for explaining information input to the voice signal estimator according to the fourth embodiment. .
  • the apparatus 100 for estimating a voice signal includes a far-end signal encoder 110 , a first attention unit 121 , a second attention unit 122 , and a third attention unit 123 . , a microphone encoder 130 including a plurality of microphone encoders 131 , 132 , 133 , a second artificial neural network 170 , a third artificial neural network 180 , a channel converter 190 , a voice signal estimator 150 . ) and a decoder 160 (decoder).
  • the far-end signal encoder 110 is the same as the far-end signal encoder 110, the first microphone encoder 131, the second microphone encoder 132, the third microphone encoder 133 , and the channel converter 190 described in FIG. 15, and the first attention
  • the unit 121 is the same as the attention unit 120 of FIG. 1
  • the second artificial neural network 170 and the third artificial neural network 180 are the second artificial neural network 170 and the third artificial neural network 180 of FIG. 8 . ), so the overlapping description will be omitted below.
  • the voice signal device 100 according to the fourth embodiment is based on the voice signal device 100 and the multi-channel-based voice signal device 100 according to the second embodiment utilizing a plurality of artificial neural networks 120 and 130 .
  • the second attention unit 122 and the third attention unit 123 are used for the information output to the second artificial neural network 170 and the third artificial neural network 180 . There are differences when compared.
  • the speech estimation apparatus 100 applies an attention mechanism between the final estimated echo signal 31 and the second input information 12 to prevent such speech distortion, and at the same time, the final estimated noise signal A voice signal can be more accurately extracted by applying an attention mechanism between (32) and the second input information (12).
  • the second attention unit 122 analyzes the correlation between the second input information 12 and the echo signal to have a high correlation with the echo signal.
  • the first weight information 33 including information on latent features is generated, and the third attention unit 123 analyzes the correlation between the second input information 12 and the noise signal.
  • the generated weight information 34 and 35 and the second input information 12 after generating the second weight information 35 including information on latent features highly correlated with the noise signal, the generated weight information 34 and 35 and the second input information 12 ) to output the estimated speech signal 16 .
  • the second attention unit 122 receives the final estimated echo signal 31 output from the second artificial neural network 170 and the second input as shown in FIG. 19 .
  • the information 12 is inputted, respectively, and the final estimated echo signal 31 and the first input information are combined after 1X1 Conv(224,225) is applied, respectively, and then a sigmoid (226) function is applied, so that the following equation (14) ) is converted as
  • the third attention unit 123 also receives the final estimated noise signal 32 and the second input information 12 output from the third artificial neural network 180, respectively, as shown in FIG. 20, and the final estimated noise signal ( 32) and the first input information are combined after 1X1 Conv (234, 235) is applied, respectively, and then a sigmoid (236) function is applied to be converted as shown in Equation (15) below.
  • Wx denotes the latent features of the second input signal 12
  • d ⁇ r,R, n ⁇ r,R denote the second artificial neural network 170 and the third artificial neural network. It means output information of the R-th artificial neural network of (180).
  • Equation (14) The information output according to Equation (14) is converted into first weight information 33 related to the echo signal by applying 1D-Conv 227 and sigmoid function 228 again as shown in FIG. and can be expressed as Equation (16) below.
  • Equation (16) The information output according to Equation (16) is converted into first weight information 34 related to the noise signal by applying 1D-Conv 237 and sigmoid function 238 again as shown in FIG. and can be expressed as Equation (19) below.
  • the first weight information 33 is mixed with the second input information 12 at the seventh point (7) and converted into the first mixed information 31, and the second weight information 34 is the eighth point (8) ) is mixed with the second input information 12 and converted into the second mixed information 32 . Then, at the ninth point 9, the first mixed information 31 and the second mixed information 32 are removed from the second input information 12, and only the remaining information is input to the voice signal estimator 150, and estimation A voice signal 16 is output, and the estimated voice signal 16 can be expressed as Equation (18) below.
  • the estimated latent region estimation speech signal 16 is the transposed convolutional layer of Equation (2) described above, like the relationship between the short-time Fourier transform (STFT) and the inverse STFT, and can be transformed into a form containing information in the time domain, It can be expressed as Equation (7) below.
  • the left expression means a speech signal estimated in the time domain
  • V in the right expression means a matrix that converts N vectors into L lengths.
  • the apparatus 100 for estimating a voice signal according to the third embodiment may perform learning based on two loss functions, and specifically, learning is performed by reducing the error of the final voice signal 30 estimated in the time domain.
  • a method of performing an echo signal and a method of reducing an error in information output by each of the artificial neural networks of the second artificial neural network 170 and the third artificial neural network 180 that output information estimated in the latent region with respect to the echo signal and the noise signal learning can be performed.
  • the difference between the final voice signal 30 output from the decoder 160 and the actual speaker's voice signal 50 is used as the first loss function, in a direction in which the value of the first loss function decreases.
  • Learning may be performed by updating at least one parameter among the attention unit 120 , the second artificial neural network 170 , and the third artificial neural network 180 of the voice signal device 100 .
  • the second learning method is a method of learning for each artificial neural network of the second artificial neural network 170 and the third artificial neural network 180 in the latent region, and the second artificial neural network 170 and the third artificial neural network ( 180), the difference between the information estimated and output by each artificial neural network and the actual reference information is used as the second loss function, and the difference between the values of the second loss function is reduced in the direction of the second artificial neural network 170 and Learning may be performed by updating parameters of each artificial neural network of the third artificial neural network 180 .
  • the second loss function is the difference between the output information of the n-th artificial neural network of the second artificial neural network 170 and reference information thereof, and the output information of the n-th artificial neural network of the third artificial neural network 180 and reference information thereof. The sum of the differences can be used as the loss function.
  • the speech signal estimation apparatus 100 may perform learning using only the first loss function described above, or may perform learning using only the second loss function.
  • the attention unit 120 and the second artificial neural network 170 of the speech signal device 100 are directed in a direction in which the value of the third loss function decreases by using the third loss function that is the sum of the first loss function and the second loss function.
  • the third artificial neural network 180 may be learned by updating at least one parameter.
  • the speech signal estimation apparatus 100 In the case of a method of learning the artificial neural network using the first loss function, the second loss function, and the third loss function, the speech signal estimation apparatus 100 according to the second embodiment described above was described in detail. Bar, a detailed description thereof will be omitted.
  • FIG. 19 is a diagram illustrating a comparison of output results with other artificial neural network models in order to explain the effects of the present invention according to the fourth embodiment.
  • stacked-DNN and CRN in the table refer to preprocessing algorithms using deep neural networks in the prior art
  • Items 5 to 7 As an artificial neural network model according to the fourth embodiment of the present invention, attention 1 denotes a first attention part, and attention 2 and 3 denote a second attention part and a third attention part. Also, items 5 to 7 differ in that the number of microphone inputs is increased in the model according to the fourth embodiment.
  • the multi-channel-based noise and echo signal integrated cancellation apparatus using the deep neural network can increase the accuracy of estimation of the echo signal and the noise signal by repeatedly estimating the echo signal and the noise signal separately. There is an advantage in that echo signals and noise signals can be accurately removed from signals input to the microphone.
  • the echo signals are more efficiently processed. can be removed, and there is an effect of improving voice quality and intelligibility.
  • the embodiments can derive better performance by removing noise and echo before performing voice recognition and voice communication technology with the voice enhancement technology, and can be applied to improve the voice call quality in a mobile phone terminal or voice talk.
  • voice recognition is performed in various Internet of Things (IoT) devices. This can be performed not only in a quiet environment, but in an environment in which ambient noise is present. The sound can re-enter and cause reverberation. Therefore, it is possible to improve the performance of voice recognition performed by IoT devices by removing noise and echo before performing voice recognition.
  • IoT Internet of Things
  • the present embodiments provide a voice enhancement signal of excellent quality, it can be applied to various voice communication technologies to provide a clear quality voice.
  • the device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • the software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

일 실시예에 따른 심화 신경망을 이용한 다채널 기반의 잡음 및 에코 신호 통합 제거 장치는, 에코 신호, 잡음 신호 및 발화자의 음성 신호를 포함하고 있는 복수 개의 마이크 입력 신호를 입력 받고, 상기 복수 개의 마이크 입력 신호를 각각 복수 개의 변환 정보로 변환하여 출력하는 복수 개의 마이크 인코더, 상기 복수 개의 변환 정보를 압축하여 단일 채널의 크기를 가지는 제1입력 정보로 변환하여 출력하는 채널 변환부, 원단(far-end) 신호를 입력 받고, 상기 원단 신호를 제2입력 정보로 변환하여 출력하는 원단 신호 인코더, 상기 제1입력 정보와 상기 제2입력 정보에 대해 어텐션 메커니즘(attention mechanism)을 적용하여 가중치 정보를 출력하는 어텐션부, 상기 가중치 정보 및 상기 제2입력 정보의 합산 정보인 제3입력 정보를 입력 정보로 하고, 상기 제2입력 정보에서 상기 음성 신호를 추정하기 위한 마스크 정보를 포함하는 제1출력 정보를 출력 정보로 하는, 기 학습된 제1인공신경망 및 상기 제1출력 정보와 상기 제2입력 정보를 기초로 상기 음성 신호부를 추정한 추정 음성 신호를 출력하는 음성 신호 추정부를 포함할 수 있다.

Description

어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치
본 발명은 어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치에 관한 발명으로서, 보다 상세하게는 마이크 인코더에서 출력되는 신호와 원단 신호 인코더에서 출력되는 신호에 대해 어텐션 메커니즘을 적용한 정보를 인공신경망의 입력 정보로 활용하여 사용자의 음성을 보다 정확하게 추정할 수 있는 기술에 관한 발명이다.
음성통신(speech communication)이란 음성통신 발화자끼리 상호간의 의사소통을 위해 발화자의 발화된 음성을 상대방에게 전달하는 기술을 의미하며, 구체적으로 널리 사용되고 있는 전화 뿐만 아니라 컨퍼런스 콜, 영상통화, 화상회의 등의 다양한 분야에서 사용되고 있다.
음성통신에서 상대방에게 정확한 의미를 전달하기 위해서는 발화자의 깨끗한 음성 신호만 전달 되어야 하나, 두 화자 혹은 여러 화자가 동시에 발화하는 상황이나, 직전 화자의 발화가 다시 마이크로 입력되어 스피커에서의 재생과 마이크에서의 입력이 반복되는 경우, 주변 환경으로 인해 발생되는 잡음이 마이크로 입력되는 경우에는 발화자의 음성만이 마이크로 입력이 되지 않아 상대방에게 발화자의 음성이 정확히 전달되지 못하는 문제가 발생한다.
따라서, 최근에는 음향의 반향을 제거하는 음향 반향 제거 장치(AEC: Acoustic Echo Canceller)에 대한 기술이 여러 방면으로 개발되고 있다. 음향 반향 제거 장치는 영상 통화, 화상 회의 등에서 스피커로부터 나온 음성 신호가 직접적으로 또는 간접적(벽이나 주변 물체와의 반사를 통해)으로 마이크로 재입력되어, 자신의 목소리가 다시 들리는 음향 반향(acoustic echo)을 제거하는 역할을 한다.
음향 반향 제거 장치가 음향 반향을 효율적으로 제거하기 위해서는, 음향 반향 생성되는 경로(RIR: Room Impulse Response)를 정확히 추정하는 것이 중요하다. 음향 반향 제거 장치는 일반적으로 적응 필터(Adaptive Filter)를 사용하여 음향 반향 생성 경로(RIR)를 추정하고, 추정 음향 반향 신호를 생성한다. 그리고 음향 반향 제거 장치는 실제 음향 반향 신호에서 추정 음향 반향 신호를 빼주는 방법으로, 음향 반향을 제거한다.
음향 반향 생성 경로(RIR)를 추정하기 위한 적응 필터의 적응 필터 계수를 업데이트하는 방법에는 RLS(Recursive Least Square) 알고리즘을 이용한 방법, LMS(Least Mean Square) 알고리즘을 이용한 방법, NLMS(Normalized Least Mean Square) 알고리즘을 이용한 방법, 인접 투사(Affine Projection) 알고리즘을 이용한 방법 등이 있다.
또한, 최근에는 인공신경망의 기술이 발전함에 따라, 인공신경망을 이용하여 음성을 합성하거나, 음성을 인식하는 기술이 다양하게 발전되고 있는데, 일 예로, 음향학적 반향을 딥러닝에서의 심층 신경망(Deep neural network) 또는 합성곱 순환 신경망(convolutional recurrent neural network) 등을 사용하여 직접 추정하는 방법 등이 개발되고 있다.
그러나, 현재까지 종래의 대부분 기술은 주파수 영역에서 딥러닝의 기법의 일종인 합성곱 순환 신경망을 이용하여 음향학적 반향을 제거하고 있으며, 주파수 영역에서 음향학적 반향을 제거하는 경우, 입력되는 신호의 위상(phase)이 직접적으로 반영되지 않아, 위상의 복소수값에 해당하는 실수(real) 및 허수(imaginary) 값을 추정하여 반향 제거를 수행하게 된다. 따라서, 입력되는 신호의 직접적인 위상 값이 아니기 때문에 반향 제거의 성능이 다소 떨어지는 문제점이 존재하였다.
따라서, 일 실시예에 따른 어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치는 상기 설명한 문제점을 해결하기 위해 고안된 발명으로서, 마이크 인코더에서 출력되는 신호 및 원단 신호 인코더에서 출력되는 신호에 대해 어텐션 메커니즘을 적용한 정보를 인공신경망의 입력 정보로 활용하여 사용자의 음성을 보다 정확하게 추정할 수 있는 기술에 관한 발명이다.
구체적으로, 음성 정보를 추정하기 위한 마스크(mask) 정보를 출력하는 인공신경망의 입력 정보를, 원단 신호 및 어텐션 메커니즘을 이용하여 에코 신호를 제거한 정보를 입력 정보로 활용함으로써, 보다 정확한 마스크 정보를 출력할 수 있는 음성 신호 추정 장치를 제공하는데 그 목적이 있다.
일 실시예에 따른 에코 신호, 잡음 신호 및 사용자의 음성 신호를 포함하고 있는 마이크 입력 신호를 입력 받고, 상기 마이크 입력 신호를 제1입력 정보로 변환하여 출력하는 마이크 인코더, 원단(far-end) 신호를 입력 받고, 상기 원단 신호를 제2입력 정보로 변환하여 출력하는 원단 신호 인코더, 상기 제1입력 정보와 상기 제2입력 정보에 대해 어텐션 메커니즘(attention mechanism)을 적용하여 가중치 정보를 출력하는 어텐션부, 상기 가중치 정보 및 상기 제2입력 정보의 합산 정보인 제3입력 정보를 입력 정보로 하고, 상기 제2입력 정보에서 상기 음성 신호를 추정하기 위한 마스크 정보를 포함하는 제1출력 정보를 출력 정보로 하는, 기 학습된 제1인공신경망 및 상기 제1출력 정보와 상기 제2입력 정보를 기초로 상기 음성 신호를 추정한 추정 음성 신호를 출력하는 음성 신호 추정부를 포함할 수 있다.
상기 마이크 인코더는, 시간 영역(time-domain)에서의 상기 마이크 입력 신호를 잠재 영역(latent-domain)에서의 신호로 변환할 수 있다.
잠재 영역에서의 상기 추정 음성 신호를 시간 영역에서의 추정 음성 신호로 변환하는 디코더(decoder);를 더 포함하는, 어텐션 메커니즘을 이용한 음성 신호 추정 장치.
상기 어텐션부는, 상기 제1입력 정보와 상기 제2입력 정보와의 상관 관계를 분석하여, 분석된 결과를 기초로 상기 가중치 정보를 출력할 수 있다.
상기 어텐션부는, 상기 제1입력 정보에 포함되어 있는 상기 원단 신호에 대한 정보를 기초로 상기 에코 신호를 추정한 후, 추정된 에코 신호를 기초로 상기 가중치 정보를 출력할 수 있다.
다른 실시예에 따른 어텐션 메커니즘을 이용한 음성 신호 추정 방법은 마이크 인코더를 통해 에코 신호, 잡음 신호 및 사용자의 음성 신호를 포함하고 있는 마이크 입력 신호를 입력 받고, 상기 마이크 입력 신호를 제1입력 정보로 변환하여 출력하는 단계, 원단 신호 인코더를 통해 원단(far-end) 신호를 입력 받고, 상기 원단 신호를 제2입력 정보로 변환하여 출력하는 단계, 기 제1입력 정보와 상기 제2입력 정보에 대해 어텐션 메커니즘(attention mechanism)을 적용하여 가중치 정보를 출력하는 단계, 및 상기 가중치 정보 및 상기 제2입력 정보의 합산 정보인 제3입력 정보를 입력 정보로 하고, 상기 제2입력 정보에서 상기 음성 신호를 추정하기 위한 마스크 정보를 포함하는 제1출력 정보를 출력 정보로 하는, 기 학습된 제1인공신경망을 이용하여 상기 제1출력 정보를 출력하는 단계 및 상기 제1출력 정보와 상기 제2입력 정보를 기초로 상기 음성 신호를 추정한 추정 음성 신호를 출력하는 단계를 포함할 수 있다.
일 실시예에 따른 어텐션 메커니즘을 이용한 음성 신호 추정 장치는 사용자의 음성을 추정함에 있어서, 어텐션 메커니즘을 이용하여 생성된 에코 신호에 대한 정보를 기초로 발화자의 음성 신호를 추정하는바, 보다 정확히 음성 신호를 추출할 수 있는 장점이 존재한다.
따라서, 가정 환경에서 사용되는 인공지능 스피커, 공항에서 사용되는 로봇, 음성인식 및 PC 음성통신 시스템 등 반향 신호가 존재하는 환경에서 마이크로폰을 통해 발화자의 음성을 수집하여 처리하는 경우, 반향 신호를 보다 효율적으로 제거할 수 있어, 음성 품질 및 명료도를 향상시킬 수 있는 효과가 존재한다.
도 1은 1개의 마이크가 있는 단일 채널 환경에서 발화자의 발화가 있는 경우 음성 신호 추정 장치로 입력되는 다양한 신호들을 도시한 도면이다.
도 2는 제1실시예에 따른 발화자 음성 신호 추정 장치의 일부 구성 요소를 도시한 블럭도이다.
도3은 제1 실시예에 따른 어텐션부에 입력되는 입력 정보와 출력 정보를 도시한 도면이다.
도 4는 제1 실시예에 따른 제1인공신경망에 입력되는 입력 정보를 설명하기 위한 도면이다.
도 5는 제1 실시예에 따른 제1인공신경망의 구조 및 입력 정보, 출력 정보를 도시한 도면이다.
도 6은 본 발명의 효과를 설명하기 위한 실험의 설정 데이터를 도시한 도면이다.
도 7은 제1실시예에 따른 본 발명의 효과를 설명하기 위해, 다른 인공신경망 모델의 출력 결과를 비교하여 도시한 도면이다.
도 8는 제2실시예에 따른 음성 신호 추정 장치의 일부 구성 요소를 도시한 블럭도이다.
도 9는 제2실시예에 따른 제2인공신경망 및 제3인공신경망의 프로세서를 설명하기 위한 도면이다.
도 10 및 도11은 제2실시예에 따른 제2인공신경망과 제3인공신경망의 관계를 도시한 도면이다.
도 12는 제2실시예에 따라, 음성 신호 추정부에 입력되는 입력 정보 및 출력 정보를 도시한 도면이다.
도 13은 제2실시예에 따른 본 발명의 효과를 설명하기 위해 다른 인공신경망 모델과의 출력 결과를 비교하여 도시한 도면이다.
도 14는 복수 개의 마이크 있는 다채널 환경에서 발화자의 발화가 있는 경우 음성 신호 추정 장치로 입력되는 다양한 신호들을 도시한 도면이다.
도 15는 제3실시예에 따른 음성 신호 추정 장치의 일부 구성 요소를 도시한 블럭도이다.
도 16은 제3실시예에 따른 본 발명의 효과를 설명하기 위해 다른 인공신경망 모델과의 출력 결과를 비교하여 도시한 도면이다.
도 17은 제4실시예에 따른 음성 신호 추정 장치의 일부 구성 요소를 도시한 블럭도이다.
도 18은 제4실시예에 따른 음성 신호 추정부에 입력되는 정보들을 설명하기 위한 도면이다.
도 19 및 도 20은 제 4실시예에 따른 제1어텐션부와 제2어텐션부를 설명하기 위한 도면이다.
도 21은 제4실시예에 따른 본 발명의 효과를 설명하기 위해 다른 인공신경망 모델과의 출력 결과를 비교하여 도시한 도면이다.
이하, 본 발명에 따른 실시 예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시 예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.
또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함하며, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
음성 향상 기술은 마이크로폰으로 입력된 반향 신호를 제거하여 깨끗한 음성을 추정하는 기술로, 음성 인식과 음성 통신과 같은 음성 어플리케이션에 필수적인 기술이다. 예를 들어 음성 인식에서 반향이 존재하지 않은 깨끗한 신호로 음성 인식 모델을 학습시킨 후 잡음이 존재하는 신호로 테스트를 할 경우 성능이 감소하게 된다. 따라서, 이를 해결하기 위하여 음성 인식 수행 전에 잡음 및 반향을 제거하는 음성 향상 기술을 도입하여 음성 인식의 성능을 높일 수 있다. 또한, 음성 향상 기술은 음성 통신에서 반향을 제거하여 선명하고 명확하게 음성을 전달하여 통화 품질을 높이기 위해서도 사용될 수 있다.
이하에서는 마이크 입력 신호에 포함되어 있는 발화자의 음성 신호를 심화신경망을 이용하여 효율적으로 추정할 수 있는 기술에 대해 보다 상세히 설명하기로 한다.
도 1은 반향 및 잡음 신호가 존재하는 환경에서 발화자의 발화가 있는 경우 음성 통신 환경에서 발화자 음성 신호 추정 장치로 입력되는 다양한 신호들을 도시한 도면이다.
도 1을 참조하면, 마이크(300)에 입력되는 마이크 입력 신호 y(t)(20)는 아래 식 (1)과 같이, 발화자가 마이크(10)로 입력하는 음성신호(speech signal)인 s(t)(50)와 발화자가 존재하는 공간에서 다양한 환경에 의해 발생되는 잡음신호(noise signal)인 n(t)(60)와 스피커(20)를 통해 출력된 원단 신호(far end signal)가 마이크(10)와 스피커(20) 사이의 RIR(Room Impulse Response)와 컨불루션(convolution) 되어 다시 마이크(300)로 다시 입력되는 에코신호(echo signal)인 d(t)(40)의 합으로 구성될 수 있다.
식 (1) - y(t)=s(t)+d(t)+n(t)
본 발명에 따른 발화자 음성 신호 추정 장치(100)는 마이크 입력 신호(20)와 원단 신호(10)를 이용하여 발화자의 음성 신호(50) 추정한 최종 음성 신호(30)를 출력할 수 있다. 여기에서 잡음 및 에코가 포함된 마이크 입력 신호는 잡음과 에코가 동시에 존재하는 마이크 입력 신호를 의미할 수 있다.
도 2 내지 도 7은 본 발명의 제1실시예를 설명하기 위한 도면으로서, 도 2는 제1실시예에 따른 음성 신호 추정 장치의 일부 구성 요소를 도시한 블럭도이며, 도 3은 제1 실시예에 따른 어텐션부에 입력되는 입력 정보와 출력 정보를 도시한 도면이다. 도 4는 제1실시예에 따른 제1인공신경망에 입력되는 입력 정보를 설명하기 위한 도면이고, 도 5는 제1 실시예에 따른 제1인공신경망 구조를 도시한 도면이다.
본 발명의 제1실시예에 따른 음성 신호 추정 장치(100)는 제1실시예의 특징을 반영하여, 어텐션 메커니즘을 이용한 음성 신호 추정 장치로 지칭될 수 있다.
도 2를 참조하면, 제1실시예에 따른 음성 신호 추정 장치(100)는 원단 신호 인코더(110, encoder), 어텐션부(120), 마이크 인코더(130), 제1인공신경망(140), 음성 신호 추정부(150) 및 디코더(160, decoder) 포함할 수 있다.
인코더(110, 130)는 입력되는 시간 영역에서의 신호를 다른 영역의 신호로 변환해주는 역할을 하며, 원단 신호 인코더(110)는 스피커(200)에서 출력되는 신호인 원단 신호(10)를 변환해주는 역할을 하며, 마이크 인코더(130)는 마이크(300)로 입력되는 마이크 입력 신호(20)를 변환해주는 역할을 한다.
구체적으로, 원단 신호 인코더(110)는 스피커(200)로 출력되는 신호를 입력 신호로 하고, 시간 영역에서의 정보를 포함하고 있는 원단 신호(10)를 잠재 영역(latent domain)에서의 원단 신호로 변환한 제1입력 정보(11)를 출력할 수 있다. 잠재 영역의 경우 특정한 영역, 예를 들어 시간 영역이나 주파수 영역의 도메인으로 정의되지 않는 영역으로서, 인공신경망의 학습 결과에 따라 생성되는 영역의 도메인으로 정의될 수 있다. 따라서, 잠재 영역의 도메인은 학습 환경 및 결과에 따라 정의되는 영역이 가변되는 특징을 가지고 있다.
원단 신호 인코더(110)에 의해 출력된 제1입력 정보(11)는 후술할 어텐션부(120) 및 제1인공신경망(140)에서 제2입력 정보(12)에서 에코 신호(40)에 대한 정보를 추출하는데 활용되어 진다. 구체적으로, 에코 신호(40)는 스피커(200)에서 출력되는 원단 신호(10)가 반향 되어 발생되는 신호로서, 마이크(300)에 입력되는 여러 종류의 신호 중 가장 원단 신호(10)와 유사한 성격을 가지고 있다. 따라서, 원단 신호(10)에 대한 정보를 기초로 에코 신호(40)에 대한 정보를 추출하면, 보다 정확히 사용자의 음성 신호(50)를 추출할 수 있는 효과가 존재한다. 이에 대한 자세한 설명은 후술하도록 한다.
마이크 인코더(130)는 마이크(300)로부터 시간 영역(time domain)에서의 반향 신호(40), 음성 신호(50) 및 잡음 신호(60)를 포함하는 마이크 입력 신호(20)를 입력 받고, 시간 영역에서의 정보를 포함하고 있는 상기 마이크 입력 신호(20)를 잠재 영역(latent domain)에서의 마이크 입력 신호로 변환한 제2입력 정보(12)를 출력할 수 있다. 잠재 영역에 대한 설명은 앞서 설명한 바와 같으나, 제1입력 정보(11)와 제2입력 정보(12)는 서로 합산되거나, 동일한 인공신경망의 입력 정보로 활용되기 때문에, 제1입력 정보(11)의 도메인과 제2입력 정보(12)의 도메인은 서로 일치해야 한다.
종래 기술에 따라 도메인 영역에 학습을 수행하는 경우, 입력되는 시간 영역의 정보를 숏타임 푸리에 변환(STFT, Short Time Fourier Transform)을 이용하여 추출된 특징(features) 정보를 이용하여 학습에 사용하는 반면, 본 발명의 경우 1D-convolution 및 ReLu 등의 과정을 거쳐 잠재 영역(latent-domain)에서 학습에 의해 추출되는 잠재 특징(latent features)를 사용하여 학습을 수행한다.
따라서, 원단 신호 인코더(110)에 입력되는 시간 영역의 원단 신호(10) 정보는 원단 신호 인코더(110)에 의해 잠재 영역에서의 정보를 포함하고 있는 제1입력 정보(11)로 변환 되며, 마이크(300)를 통해 입력되는 시간 영역의 마이크 입력 정보(20)는 마이크 인코더(130)에 의해 잠재 영역에서의 제2입력 정보(12)로 변환된다. 그리고 이렇게 변환된 제1입력 정보(11)와 제2입력 정보(12)는 어텐션부(120), 제1인공신경망(140) 및 디코더(150)의 입력 정보로 활용되어 지며, 마이크 인코더(130)로 입력된 음성 신호(20)는 아래 식 (2)와 같이 변환될 수 있다.
식(2) - w=H(y*U)
마이크 인코더(130)에 의해 출력되는 정보는 인코더의 특성상 벡터(vector) 정보로 출력되며, 구체적으로 식(2)에서 y는 마이크 입력 신호(20)를 의미하고, U는 입력되는 정보의 크기에 따라N 개의 벡터를 가지는, NХL 길이의 양수 값을 의미하며, H(·)은 비선형 함수를 의미한다.
제1인공신경망(140)에 입력되는 정보 중 에코 신호를 제거하기 위해 활용되어 지는 원단 신호(10)는, 원단 신호 인코더(110)로 입력되어 아래 식(3)과 백터 정보를 가지는 정보로 출력될 수 있다.
식(3) - Wf=H(x*Q)
식(3)에서 x 는 원단 신호(10)를 의미하고, Q는 N 개의 벡터를 가지는, NХL 길이의 양수 값을 의미하며, H()은 비선형 함수를 의미한다.
이러한 형식으로 출력된 제1입력 정보(11)와 제2입력 정보(12)는 어텐션부(120)에 입력되어 가중치 정보(13)로 변환되어 출력될 수 있다. 이하 도 3을 통해 어텐션부(120)의 메커니즘에 대해 알아본다.
도 3을 참조하면, 어텐션부(130)는 제1입력 정보(11)와 제2입력 정보(120)를 입력 정보로 하고, 가중치 정보(13)를 출력 정보로 하는, 기 학습된 인공신경망으로서, 가중치 정보(13)는 제1인공신경망(140)에서 발화자의 음성을 추정할 때, 다른 신호들 보다 비중 있게 고려해야 하는 신호에 대한 정보를 의미할 수 있다.
어텐션 메커니즘이란, 발화자의 음성을 추정하는 종래의Seq2seq 모델의 경우 간단한 구조라는 장점이 있었지만, 하나의 고정된 크기의 벡터에 모든 정보를 압축하다 보니 정보 손실이 발생하고, RNN의 고질적인 문제인 Vanishing Gradient Problem이 존재하였고 이로 인해 입력 데이터가 길어지면 성능이 크게 저하되는 현상으로 이어지는 문제점이 존재하였다.
따라서, 이러한 문제점을 해결하기 위해 도입된 기술이 어텐션 메커니즘으로서, 어텐션 메커니즘에 대한 기본 아이디어는 디코더에서 출력 결과를 예측하는 매 시점(time step)마다, 인코더의 Hidden State를 다시 한 번 참고하여 출력을 한다는 것을 의미한다. 즉, 입력 되는 정보들 중 어떤 정보가 더 중요한지 여부는 항상 고정되어 있는 것이 아니라, 그 시간에 따라 중요한 정보의 종류는 달라지므로, 어텐션 메커니즘은 디코더가 입력되는 신호들에 대해 해석을 함에 있어서, 입력되는 정보들의 순서를 파악한 후 중요한 정보들에 더 가중치를 주어 해석을 함으로써, 보다 정확하고 빠르게 정보를 출력할 수 있는 장점이 존재한다.
따라서, 본 발명에 따른 어텐션부(120)는 어텐션부(120)에 입력된 원단 신호(10)와 마이크 입력 신호(20)를 비교한 후, 상관관계가 높은 신호에 대해 가중치를 부여한 후, 가중치에 대한 정보를 포함하고 있는 정보를 출력 정보로 출력하며, 이러한 정보를 출력하기 위해 도 3에 도시된 바와 같은 프로세서를 수행할 수 있다. 앞서 설명한 바와 같이 에코 신호(40)는 원단 신호(10)와 가장 밀접성이 높으므로 어텐션부(120)는 제1인공신경망(140)이 에코 신호(40)를 추정할 수 있도록, 원단 신호(10)에 대한 정보를 기초로 에코 신호(40)에 대한 가중치 정보를 생성하여 출력할 수 있다.
이를 식으로 표현하면, 제1입력 정보(11)와 제2입력 정보(12)는 아래 식 (4) 및 식 (5)와 같이 변환될 수 있다.
식 (4) -
Figure PCTKR2022001166-appb-I000001
식 (5) -
Figure PCTKR2022001166-appb-I000002
여기서 함수는 sigmoid 함수를 의미하고, w는 마이크 입력 신호의 latent features를 의미하고, Wf는 원단 신호의 latent features이며, Lw와 Lwf는 도 3에서 각각 1x1 convolution(111, 112)을 통과한 정보를 의미한다.
도 2 를 참조하여, 어텐션 메커니즘을 활용하여 제1인공신경망(140)에 입력되는 정보를 설명하며, 어텐션부(120)는 원단 신호 인코더(110)에서 출력되는 제1입력 정보(11)와 마이크 인코더(12)에서 출력되는 제2입력 정보(12)를 분석하여 두 정보 사이의 상관관계를 분석한 후, 제1인공신경망(140)에서 마이크 인코더(130)에서 출력되는 제2입력 정보(12)를 기초로 발화자 음성을 추정함에 있어서, 에코 신호(40)를 효율적으로 추정할 수 있도록 이에 대한 가중치 정보(13)를 생성하고 생성된 가중치 정보(13)는 제2입력 정보(12)와 함께 제1인공신경망(140)에 입력된다.
도 4를 참고하여 예를 들어 설명하면, 제2입력 정보(12)는 A,B,C신호 정보를 포함하고 있고 어텐션부(120)에서 제2입력 정보(12)와 제1입력 정보(11)의 상관관계를 분석해본 결과 A에 대해 가중치를 0.3부여해야 하고, B와 C에 대해서는 가중치를 부여할 필요 없는 경우, 어텐션부(120)는 이러한 정보를 포함하고 있는 정보를 제1가중치 정보(13-1)로 출력하고, 제1가중치 정보(K1)는 제1지점(1)에서 제1입력 정보(12)와 혼합되어 제2가중치 정보(K2)로 변환된다. 구체적으로, B와 C에 대해서는 가중치 정보가 없으니 0이 곱해지고, A에 대해서만 0.3이 곱해진다. 따라서, 제1가중치 정보(13-1)는 0.3A 에 대한 정보만 포함하고 있는 제2가중치 정보(13-2)로 변환되고, 제2가중치 정보( 제2지점에서 원래 정보였던 제2입력 정보(12)와 합산된다. 따라서 결론적으로 제1인공신경망(130)에 입력되는 제3입력 정보(14)는 제2입력 정보(12)가 변형된 정보로서 위에서 (1.3A+B+C) 정보를 포함할 수 있다.
제1인공신경망(140)은 제3입력 정보(14)을 입력 정보로 하고, 발화자의 음성 신호(50)를 추정하기 위한 마스크(mask) 정보를 포함하고 있는 제2출력 정보(15)를 출력 정보로 하는 기 학습된 인공신경망으로서, 상기 입력되는 입력 정보 및 레퍼런스 정보를 기초로 발화자의 음성 신호를 학습하는 학습 세션(미도시)과, 상기 입력되는 입력 정보를 기초로 발화자의 음성 신호를 추정하는 추로 세션(미도시)을 포함할 수 있다.
제1인공신경망(140)에 차용될 수 있는 신경망은, 발화자의 음성을 효율적으로 추정할 수 있도록 하는 마스크 정보를 출력하는 신경망이면 이에 포함될 수 있으며, 대표적으로 도 5에 도시된 바와 같이 TCN(Temporal Convolutional Network) 인공신경망을 포함할 수 있다.
TCN 인공신경망은 신경망에 입력되는 제3입력 정보(14)에 대해 순차적으로 1*1 Conv(141), PReLU(142), LN(143), D-Conv(144), PReLU(145), LN(146), 1*1 Conv(147)을 거쳐 최종적으로 발화자의 음성 신호(50)를 추정하기 위한 마스크 정보를 포함하고 있는 제2출력 정보(15)를 출력 정보로 하여 출력할 수 있다.
제1인공신경망(140)은 추정된 출력 정보와 실제 레퍼런스 정보를 이용하여 손실을 줄이는 방향으로 학습을 수행할 수 있는데, 구체적으로 아래 식 (6)과 같은 손실함수를 기초로, 손실함수의 값이 작아지는 방향으로 학습을 수행 할 수 있다.
식 (6) -
Figure PCTKR2022001166-appb-I000003
식 (6)에서 Starget은 발화자의 음성 신호를 의미하고, s^는 제1인공신경망(140)에 의해 출력된 정보를 의미한다.
다시 도 2로 돌아와, 음성 추정 장치(100)의 다른 구성 요소를 설명하면, 음성 신호 추정부(150)는 제1인공신경망(140)에 추정한 마스크 정보를 포함하고 있는 제2출력 정보(15)와 마이크 인코더(130)에 출력한 제2입력 정보(12)를 기초로 발화자의 음성 신호를 추정할 수 있다.
구체적으로, 제1인공신경망(140)에서 출력되는 정보는 제2입력 정보(12)에서 발화자의 음성 신호만을 추출할 수 있는 마스크 정보를 포함하고 있는 제2출력 정보(15)가 출력되므로, 음성 신호 추정부(150)는 상기 마스크 정보를 활용하여 제2입력 정보(12)에서 발화자의 음성 신호만을 추정한 후, 추정된 ( 음성 신호 추정한 후, 이를 추출하여 디코더(160)로 송신할 수 있다.
디코더(160)는 음성 신호 추정부(150)에서 출력한 추정 음성 신호(16)를 기초로, 시간 영역의 정보를 포함하고 있는 최종 음성 신호(30)를 출력할 수 다. 구체적으로, 제1인공신경망(140)에 출력한 제3출력 정보(15), 마이크 인코더(130)에서 출력한 제2입력 정보(12), 음성 신호 추정부(150)에서 추정한 추정 음성 신호(16)는 모두 시간 영역에서의 정보가 아닌 잠재 영역(latent domain)에서 추정한 신호에 대한 정보이므로, 디코더(160)는 발화자가 음성을 인식할 수 있도록 잠재 영역에서 최종적으로 추정된 잠재 영역의 추정 음성 신호(16)를 시간 영역에서의 최종 음성 신호(30)로 변환할 수 있다.
수학 식을 이용하여 이를 설명하면, 추정된 잠재 영역 추정 음성 신호(16)는 숏타임 퓨리에 변환(STFT)와 inverse STFT의 관계처럼 앞서 설명한 식 (2)의 transposed convolutional layer로 시간 영역에서의 정보를 포함하고 있는 형태로 변환할 수 있으며 아래의 식 (7)과 같이 표현될 수 있다.
식 (7) -
Figure PCTKR2022001166-appb-I000004
여기서 s^는 시간 영역에서 추정된 음성 신호를 의미하고, V는 N 개의 vector를 L길이로 변환해주는 매트릭스(matrix)를 의미한다.
종래 기술에 따른 음성 추정 방법의 경우, 마이크에 입력되는 마이크 입력 신호만에 기초하여 마스크 정보를 추정하는 방법으로 발화자의 음성 정보를 추정하였는바, 입력 신호에 포함되어 있는 정보 중, 가중치를 부여해야 하는 정보와 그렇지 않은 정보를 구분을 하지 않은 문제점이 존재하였다. 따라서, 마이크에 입력되는 신호 중에서, 효율적으로 발화자의 음성을 정하지 못하는 문제점이 존재하였다.
그러나, 일 실시예에 따른 음성 신호 추정 장치(100)는 원단 신호(10) 정보에 기초하여 에코 신호(40)에 대한 정보를 추출한 후, 추출된 정보가 제1인공신경망(140)의 입력 정보로 입력되므로, 제1인공신경망(140)은 보다 정확하게 사용자의 음성 신호(50)만을 추출할 수 있는 마스크 정보를 출력할 수 있는 장점이 존재한다. 또한, 더 나아가 어텐션 메커니즘을 이용하여 가중치를 부여해야 하는 정보를 제1인공신경망(130)의 입력 정보로 활용할 수 있어, 더욱 더 정확성이 높은 마스크 정보를 출력할 수 있는 장점이 존재한다.
도 6와 도 7은 제1실시예에 따른 본 발명의 효과를 설명하기 위한 실험 데이터를 도시한 도면으로서, 도 6은 RIR(Room Impulse Response) 생성기의 파라미터 설정 값을, 도7은 제1실시예에 따른 본 발명의 효과를 설명하기 위해 다른 인공신경망 모델의 출력 결과를 비교하여 도시한 도면이다.
본 명세서에 기재되어 있는 실험 결과 자료에 대한 실험은 모두 TIMIT , Musan, MS-SNSD 데이터베이스(DB)를 이용하여 진행하였고, 모든DB는 16 kHz로 샘플링된 신호로 이루어져 있다. 실험을 위해 음성 신호에 에코 신호를 컨볼루션한 DB와 잡음 DB를 이용해 학습용 데이터셋은 7000개의 발화로 구성하였고, 평가용 데이터셋은 800개의 발화를 준비하였다.
잡음과 에코에 의해 오염된 음성신호를 생성하기 위해서 시물레이션을 통해 특정 방에서 RIR을 생성해주는 RIR generator 툴킷을 이용하여 다양한 종류의 방 환경을 시뮬레이션하여 RIR을 생성하였다.
구체적으로, 학습용 데이터셋에 적용할 RIR을 500개, 평가용 데이터셋에 적용할 RIR을 100개 준비하였으며, RIR 생성을 위한 room 환경은 도 6의 (a)에 도시된 바와 같이 랜덤하게 방 환경을 설정하였다.
잡음 신호로는 ITU-T recommendation P. 501 및 MS-SNSD DB를 사용하였으며, 잡음은 평가용 음성 데이터셋과 랜덤하게 더하였으며, 더할 때의 신호대에코비(signal-to-echo ratio : SER)은 학습용은 [-6 dB, -3 dB, 0 dB, 3 dB, 6 dB] 중 하나를 택하여 랜덤하게 더하였으며, 신호대잡음비(signal-to-noise : SNR)는 [0 dB, 4 dB, 8 dB, 12 dB]중 하나를 택하여 랜덤하게 더하였으며, 평가는 SER [-4 dB, -2 dB, 0 dB, 2 dB, 4 dB] 중 하나, SNR은 [3 dB, 6 dB, 9 dB] 중 하나를 택하여 랜덤하게 더하였으며, 도 6의 (b)는 이러한 환경에 의해 설정된 방을 도시한 도면이다.
평가를 위해 평가 데이터셋에 포함된 발화들을 이용하여 800개의 발화에 대한 결과를 준비하였으며, 보다 정확한 평가를 위해 perceptual evaluation of speech quality(PESQ), short-time objective intelligibility(STOI), signal to distortion ratio (SDR) 그리고 echo return loss enhancement (ERLE)를 사용하였고 음성과 에코가 동시에 존재하는 구간과 에코만 존재하는 구간을 나누어 점수를 측정하였다.
PESQ는 -0.5 ~ 4.5 사이의 점수를 가지고, STOI는 0~1 사이의 점수, SDR 및 ERLE는 값의 범위가 특정되어 있지 않고 ERLE의 경우 점수가 높을수록 에코를 잘 제거했다는 것을 의미한다.
도 7은, 다른 인공신경망 모델과 본 발명에 따른 인공신경망 모델에 대한 실험 결과를 비교한 표로서, 도 7의 표에서 stacked-DNN 및 CRN은 종래 기술 중 심화 신경망을 활용한 전처리 알고리즘을 의미하며, 항목 4의TCN + auxiliary network +attention 모델이 본 발명의 제1실시예에 따른 알고리즘을 의미한다.
먼저 음성 품질의 정도를 평가하는 PESQ 및 STOI 점수를 비교해보면 처리하지 않는 경우(un-processed)보다 모든 심화 신경망을 활용한 알고리즘이 음성 품질을 향상 시키는 것을 알 수 있다. 또한 종래의 기술과 점수를 비교하였을 때 본 발명에서 제안한 방법이 가장 높은 점수를 보여주고 있으며, 4가지의 모든 객관적 평가 지표에서 본 발명에 따라 제안 된 발명이 종래 기술과 비교하여 크게 점수가 향상된 것을 확인할 수 있다.
도 8 내지 도 12는 본 발명의 제2실시예를 설명하기 위한 도면으로서, 도 8은 제2실시예에 따른 음성 신호 추정 장치의 일부 구성 요소를 도시한 블럭도이며, 도 9는 제2실시예에 따른 제2인공신경망 및 제3인공신경망의 프로세서를 설명하기 위한 도면이다.
본 발명의 제2실시예에 따른 음성 신호 추정 장치(100)는 제2실시예의 특징을 반영하여, 복수 개의 심화 신경망을 순차적으로 이용한 에코 및 잡음 통합 제거 장치로 지칭될 수 있다.
도 8을 참조하면, 제2실시예에 따른 음성 신호 추정 장치(100)는 원단 신호 인코더(110, encoder), 어텐션부(120), 마이크 인코더(130), 음성 신호 추정부(150), 디코더(160, decoder), 제2인공신경망(170) 및 제3인공신경망(180)을 포함할 수 있다.
제2실시예에 따른 음성 신호 장치(100) 중 원단 신호 인코더(110), 어텐션부(120), 마이크 인코더(130), 음성 신호 추정부(150) 및 디코더(160)는 도 2에서 설명한 원단 신호 인코더(110), 어텐션부(120), 마이크 인코더(130), 제1인공신경망(140), 음성 신호 추정부(150) 및 디코더(160)와 동일하므로, 중복된 설명은 생략하도록 하고, 제1실시예에서 설명하지 않은 구성 요소인 제2인공신경망(170)과 제3인공신경망(180)에 대해 이하 도면을 통해 자세히 설명하도록 한다.
도 8에 따른 제2인공신경망(170)과 제3인공신경망(180)은 마이크 인코더(130)로 입력된 신호 중에서 에코 신호와 잡음 신호를 추정하기 위한 신경망으로서, 제2인공신경망(170)은 에코 신호 추정 인공신경망으로 지칭될 수 있고, 제3인공신경망(180)은 잡음 신호 추정 인공신경망으로 지칭될 수 있으며, 이와 반대로, 제2인공신경망(170)이 잡음 신호 추정 인공신경망으로 지칭될 수 있고, 제3인공신경망(180)이 에코 신호 추정 인공신경망으로 지칭될 수 있다.
따라서, 제2인공신경망(170)의 각각의 인공신경망과 제3인공신경망(180)의 각각의 인공신경망은 에코 신호와 잡음 신호를 추정하는 신경망으로서, 이를 수행할 수 있는 인공신경망이면 제2인공신경망(170)과 제3인공신경망(180)에 포함될 수 있으며, 대표적으로 도 9에 도시된 바와 같은 TCN(Temporal Convolutional Network) 인공신경망을 포함할 수 있다.
이하 설명의 편의를 위해 제2인공신경망(170)은 에코 신호 추정 인공신경망으로, 제3인공신경망(180)은 잡음 신호 추정 인공신경망인 것을 전제로 설명한다.
도 8에 도시된 바와 같이, 제2인공신경망(170)과 제3인공신경망(180)은 각각 직렬로 연결되어 있는 복수 개(N개)의 인공신경망을 포함할 수 있다, 구체적으로 제2인공신경망은 제2-A인공신경망(171), 제2-B인공신경망(172)부터 제2-M인공신경망(178) 및 제2-N인공신경망(179)을 포함할 수 있으며, 제3인공신경망은 제3-A인공신경망(181), 제3-B인공신경망(182)부터 제3-M인공신경망(188) 및 제3-N인공신경망(189)을 포함할 수 있다.
도 8에서는 제2인공신경망(170)과 제3인공신경망(180)은 각각 4개 이상의 인공신경망을 포함하는 것으로 도시하였지만, 본 발명의 실시예가 이로 한정되는 것은 아니고 제2인공신경망(170)과 제3인공신경망(180)의 개수는 한 개부터 N개까지 다양한 범위를 포함할 수 있다. 다만, 제2인공신경망(170)과 제3인공신경망(180)에 각각 포함되어 있는 복수 개의 인공신경망은 서로 동일한 구조를 가지고 있어 동일한 성격(에코 신호를 추정한 정보 또는 잡음 신호를 추정한 정보)의 정보를 출력 정보로 하고 있다.
예를 들어, 제2인공신경망(170)이 에코 신호를 추정하는 인공신경망인 경우, 각각의 제2-A인공신경망(171), 제2-B인공신경망(172)은 에코 신호를 추정하는 인공신경망에 해당하며, 제3인공신경망(180)이 잡음 신호를 추정하는 인공신경망인 경우, 각각의 제3-A인공신경망(181), 제3-B인공신경망(182)은 잡음 신호를 추정하는 인공신경망에 해당할 수 있다.
도 8에 도시된 제2인공신경망(170)은 제3입력 정보(14)를 입력 정보로 하고 제3입력 정보(14)에 포함되어 있는 에코 신호를 최종적으로 추정한 최종 추정 에코 신호(31)를 출력 정보로 하는, 기 학습된 인공신경망으로서, 제3입력 정보(14)를 기초로 마이크 입력 신호(20)에 포함되어 있는 에코 신호(40)를 추정하는 추론 세션(미도시)과, 입력 정보 및 출력 정보와 상기 에코 신호에 대한 레퍼런스 정보를 기초로 학습을 수행하는 학습 세션(미도시) 등을 포함할 수 있다.
도 8에 따른 제3인공신경망(180)은 제3입력 정보(14)를 입력 정보로 하고 제3입력 정보(14)에 포함되어 있는 잡음 신호를 최종적으로 추정한 최종 추정 잡음 신호(32)를 출력 정보로 기 학습된 인공신경망으로서, 제3입력 정보(14)를 기초로 마이크 입력 신호(20)에 포함되어 있는 잡음 신호(60)를 추정하는 추론 세션(미도시)과, 입력 정보 및 출력 정보와 상기 에코 신호에 대한 레퍼런스 정보를 기초로 학습을 수행하는 학습 세션(미도시) 등을 포함할 수 있다.
도 8에 따른 음성 신호 추정부(150)는 마이크 인코더(130)에서 출력되는 제2입력 정보(13)에서, 제2인공신경망(180)이 출력한 최종 추정 에코 신호(31)에 대한 정보를 이용하여 제2입력 정보(13)에서 에코 신호에 대한 정보를 제거하고, 제3인공신경망(180)이 출력한 최종 추정 잡음 신호(32)를 이용하여 제2입력 정보(13)에서 잡음 신호에 대한 정보를 제거하여 최종적으로 추정 음성 신호(16) 생성하고, 생성된 추정 음성 신호(16)를 디코더(160)로 송신할 수 있다. 디코더(160)에 대한 설명은 도 1에서 설명한 바와 동일한므로 생략하도록 한다.
도 10 및 도11은 제2실시예에 따른 제2인공신경망과 제3인공신경망의 관계를 도시한 도면이다.
도 10을 참조하면, 제2인공신경망(170)에서 가장 첫 번째 인공신경망인 제2-A인공신경망(171)은 제3입력 정보(13)를 입력 정보로 하고, 제3입력 정보(13)에 포함되어 있는 에코 신호를 1차적으로 추정한 정보를 제2출력 정보(21)로 하여 출력하는, 기 학습된 인공신경망을 포함할 수 있다.
이와 마찬가지로, 제3인공신경망(180)에서 가장 첫 번째 인공신경망인 제3-A인공신경망(181)은 제3입력 정보(13)를 입력 정보로 하고, 제3입력 정보(13)에 포함되어 있는 잡음 신호를 1차적으로 추정한 정보를 제3출력 정보(22)로 하여 출력하는, 기 학습된 인공신경망을 포함할 수 있다.
제2-B인공신경망(172)은 제2-A 인공신경망(171)이 출력한 제2출력 정보(21), 제3-A인공신경망(181)이 출력한 제3출력 정보(22) 및 제3입력 정보(14)를 기초로 생성된 제4입력 정보(23)를 입력 정보로 하고, 제4입력 정보(23)에서 에코 신호만을 추정하여 추정한 정보를 제4출력 정보(25)로 하여 출력하는, 기 학습된 인공신경망을 포함할 수 있다.
제2-B 인공신경망(172)에 입력되는 정보를 살펴보면, 제2-A 인공신경망(171)에 출력되는 제2출력 정보(21)에는 제3입력 정보(14)에 포함되어 있는 에코 신호에 대한 정보가 포함되어 있으므로, 제2출력 정보(21)를 제3지점(3)에서 제3입력 정보(14)와 혼합시키면, 제3지점(3)에서는 에코 신호 부분에 대해 강조된 신호가 생성될 수 있다. 그 후, 생성된 신호에 대해 잡음 신호에 대한 정보를 포함하고 있는 제3출력 정보(22)를 이용하여 잡음 신호를 제4지점(4)에서 제거하여 제4입력 정보(23)를 생성한 후, 생성된 4입력 정보(23)를 제2-B인공신경망(172)에 입력되는 입력 정보로 활용한다.
이에 따라, 제4입력 정보(23)는 제3입력 정보(14)에서 잡음은 제거되고, 에코 신호에 대한 정보는 제3입력 정보(14)보다 정확한 정보를 가지고 있는 정보를 가지게 되므로, 제2-B인공신경망(172)에서 출력되는 에코 신호에 대한 정보는 제2-A 인공신경망(171)에서 보다 정확하게 출력될 수 있는 효과가 존재한다.
이와 마찬가지로, 제3-B인공신경망(182)은 제3-A 인공신경망(181)이 출력한 제3출력 정보(22), 제2-A인공신경망(171)이 출력한 제2출력 정보(21) 및 제3입력 정보(14)를 기초로 생성된 제5입력 정보(24)를 입력 정보로 하고, 제5입력 정보(24)에서 잡음 신호만을 추정하여 추정한 정보를 제5출력 정보(26)로 하여 출력하는, 기 학습된 인공신경망을 포함할 수 있다.
제3-B 인공신경망(182)에 입력되는 정보를 살펴보면, 제3-A 인공신경망(181)에 출력되는 제3출력 정보(22)에는 제3입력 정보(14)에 포함되어 있는 잡음 신호에 대한 정보가 포함되어 있으므로, 제3출력 정보(22)를 제5지점(5)에서 제3입력 정보(14)와 혼합하면, 제5지점(5)에서는 잡음 신호 부분에 대해 강조된 신호가 생성될 수 있다. 그 후, 생성된 신호에 대해 에코 신호에 대한 정보를 포함하고 있는 제2출력 정보(21)를 이용하여 에코 신호를 제6지점(6)에서 제거하면, 제5입력 정보(24)가 생성되며, 이렇게 생성된 제5입력 정보(24)는 제2-C인공신경망(182)에 입력되는 입력 정보로 활용된다.
이에 따라, 제5입력 정보(24)는 제3입력 정보(14)에서 에코는 제거되고, 잡음 신호에 대한 정보는 제3입력 정보(14)보다 정확한 정보를 가지고 있는 정보를 가지게 되므로, 제3-B인공신경망(182)의 입력 정보로 활용할 수 있어, 제3-B인공신경망(182)에서 출력되는 잡음 신호에 대한 정보가 보다 정확하게 출력될 수 있는 효과가 존재한다.
제2인공신경망(170)와 제3인공신경망(180)의 신경망의 개수가 3개 이상인 경우, 도 11에 도시된 바와 같이 제2-C 인공신경망(173)은 제4출력 정보(25), 제5출력 정보(26) 및 제3입력 정보(14)를 기초로 앞서 설명한 원리에 의해 제6입력 정보(27)를 생성할 수 있다. 이렇게 생성된 제6입력 정보(27)는 제2-C인공신경망(173)의 입력 정보로 입력되며, 제2-C 인공신경망(173)은 제6입력 정보(27)를 기초로 에코 신호를 추정한 정보를 포함하고 있는 제6출력 정보(29)를 출력 정보로 출력 할 수 있다.
이와 마찬가지로, 제3-C 인공신경망(183)은 제4출력 정보(25), 제5출력 정보(26) 및 제3입력 정보(14)를 기초로 앞서 설명한 원리에 의해 제7입력 정보(28)를 생성할 수 있다. 이렇게 생성된 제7입력 정보(28)는 제3-C인공신경망(183)의 입력 정보로 입력되며, 제3-C 인공신경망(183)은 제7입력 정보(28)를 기초로 잡음 신호를 추정한 정보를 포함하고 있는 제7출력 정보(30)를 출력 정보로 출력 할 수 있다.
앞서 설명한 바와 같이 제2인공신경망(170)와 제3인공신경망(180)의 신경망의 개수는 환경에 따라 그 개수가 다르게 구현될 수 있는바, 제2인공신경망(170)와 제3인공신경망(180)의 신경망의 개수가 1개인 경우, 도 9에서 제2출력 정보(21)가 제2인공신경망(170)의 최종 추정 에코 신호(31)가 되고, 제3출력 정보(22)가 제3인공신경망(180)의 최종 추정 잡음 신호(32)가 될 수 있다. 만약, 제2인공신경망(170)와 제3인공신경망(180)의 신경망의 개수가 3개인 경우, 도10에서 제6출력 정보(31)가 제2인공신경망(170)의 최종 추정 에코 신호(28)가 되고, 제7출력 정보(32)가 제3인공신경망(180)의 최종 추정 잡음 신호(31)가 될 수 있다.
도 8에서는 어텐션부(120)가 제2실시예에 따른 음성 신호 추정 장치(100)의 구성 요소로 도시하였지만, 제2실시예에 따른 음성 신호 추정 장치(100)는 어텐션부(120) 없이 구현 될 수 있다. 이러한 경우 제3입력 정보(14) 제1입력 정보(11)와 제2입력 정보(12)의 합산 정보가 된다.
도 12는 제2실시예에 따라, 음성 신호 추정부(150)에 입력되는 입력 정보를 도시한 도면이다.
도 12을 참조하면, 음성 신호 추정부(150)는 마이크 인코더(130)에서 출력한 제3입력 정보(14)에서 제2인공신경망(170)이 출력한 최종 추정 에코 신호(31) 및 제3인공신경망(180)이 출력한 최종 추정 잡음 신호(32)를 제거 한 정보를 수신 받고, 수신 받은 정보를 기초로 음성 신호를 추정한 추정 음성 신호(16)를 생성하고, 생성한 추정 음성 신호(16)를 디코더(160)로 송신할 수 있다.
디코더(160)는 음성 신호 추정부(150)에서 출력한 추정 음성 신호(16)를 기초로, 시간 영역의 음성 신호로 출력할 수 있다. 구체적으로, 제2인공신경망(170)에 출력한 최종 추정 에코 신호(31), 제3인공신경망(180)에 출력한 최종 추정 잡음 신호(31), 마이크 인코더(130)에서 출력한 제3입력 정보(14), 음성 신호 추정부(150)에서 추정한 추정 음성 신호(16)는 모두 시간 영역에서의 정보가 아닌 잠재 영역(latent domain)에서 추정한 신호에 대한 정보이므로, 디코더(160)는 발화자가 음성을 인식할 수 있도록 잠재 영역에서 최종적으로 추정된 잠재 영역 추정 음성 신호(16)를 시간 영역에서의 최종 음성 신호(30)로 변환하는 역할을 할 수 있다.
또한, 제2실시예예 따른 음성 신호 추정 장치(100)는 2개의 손실함수를 기초로 학습을 수행할 수 있으며, 구체적으로 시간 영역에서 추정된 최종 음성 신호(30)의 오차를 줄이는 방법으로 학습을 수행거나, 잠재 영역에서의 정보를 출력하는 제2인공신경망(170)과 제3인공신경망(180)의 각각의 인공신경망이 출력하는 정보의 오차를 줄이는 방법으로 학습을 수행할 수 있다.
첫 번째 학습 방법에 대해 알아보면, 제2실시예에 따른 음성 신호 추정 장치(100)는 디코더(160)에서 출력되는 최종 음성 신호(30)와 실제 발화자의 음성 신호(50)의 차이를 제1손실함수로 하여, 제1손실함수의 값의 작아지는 방향으로, 음성 신호 장치(100)의 어텐션부(120), 제2인공신경망(170) 및 제3인공신경망(180) 중 적어도 하나의 파라미터를 업데이를 하는 방법으로 학습을 수행할 수 있다.
구체적으로, 음성 신호 추정 장치(100)는 아래 식 (8)과 같은 손실함수를 이용하여 학습을 수행할 수 있다.
식 (8) -
Figure PCTKR2022001166-appb-I000005
식 (8)에서 절대값 식은 l2-norm을 나타내며, s^는 추정된 최종 음선 신호를 의미하고, Starget은 실제 발화자의 음성 신호를 의미한다.
첫 번째 학습 방법은, 시간 영역에서 음성 신호 추정 장치(100)를 하나의 구조로 보고 전체적으로 학습을 수행하였다면, 두 번째 학습 방법은 잠재 영역에서 제2인공신경망(170)과 제3인공신경망(180)의 각각의 인공신경망에 대해 학습을 수행한다.
구체적으로, 제2인공신경망(170)과 제3인공신경망(180)의 각각의 인공신경망이 추정하여 출력한 정보와 실제 레퍼런스 정보와의 차이를 제2손실함수로 하고, 제2손실함수의 값의 차이가 작아지는 방향으로, 제2인공신경망(170)과 제3인공신경망(180)의 각각의 인공신경망의 파라미터를 업데이트 하는 방법으로 학습을 수행할 수 있다. 따라서, 제2손실함수는 제2인공신경망(170)의 n번째 인공신경망의 출력 정보와 이에 대한 레퍼런스 정보의 차이 및 제3인공신경망(180)의 n 번째 인공신경망의 출력 정보와 이에 대한 레퍼런스 정보의 차이의 합으로 손실 함수가 정의될 수 있으며, 식으로는 아래 식(9)와 같이 표현될 수 있다.
식 (9) -
Figure PCTKR2022001166-appb-I000006
여기서 제2인공신경망(170)과 제3인공신경망(180)을 구성하는 인공신경망의 총 개수를 의미하며, dr과 nr은 잠재 영역에서의 에코 신호에 대한 레퍼런스 정보 및 잡음 신호에 대한 레퍼런스 정보를 의미한다.
일 실시예에 따른 음성 신호 추정 장치(100)는 학습을 수행함에 있어서, 앞서 설명한 제1손실함수만을 이용하여 학습을 수행하거나, 제2손실함수만을 이용하여 학습을 수행할 수 있고, 제1손실함수와 제2손실함수를 합한 제3손실함수를 이용하여, 제3손실함수의 값이 작아지는 방향으로 음성 신호 장치(100)의 어텐션부(120), 제2인공신경망(170) 및 제3인공신경망(180) 중 적어도 하나의 파라미터를 업데이를 하는 방법으로 학습을 수행할 수 있으며, 제3손실함수를 이용하여 학습을 수행하는 경우, 아래 식(12)과 같은 식을 손실함수 식을 이용하여 학습을 수행할 수 있다.
식 (10) -
Figure PCTKR2022001166-appb-I000007
식 10에서 제2인공신경망(170)과 제3인공신경망(180)에서의 각각의 인공신경망의 개수가 무한히 늘어나더라도, 손실함수의 가중치를 넘지 않도록 q=1/2, = 0.7로 설정하여 학습을 수행할 수 있다.
도 13은 제2실시예에 따른 본 발명의 효과를 설명하기 위해 다른 인공신경망 모델과의 출력 결과를 비교하여 도시한 도면이다.
도 13에서의 실험 결과를 도출하기 위한 실험 환경에 대한 기본적인 조건은 앞선 도 6에서 설명한 조건과 동일하므로 이에 대한 설명은 생략하고, 실험 결과만 비교하여 설명한다.
도 13을 참조하면, 다른 인공신경망 모델과 본 발명에 따른 인공신경망 모델에 대한 실험 결과를 비교한 표로서, 표에서 stacked-DNN 및 CRN은 종래 기술 중 심화 신경망을 활용한 전처리 알고리즘을 의미하며, 항목 3(Cross Tower)와 항목 4가(Cross-tower + auxiliary network + attention)은 본 발명의 제2실시예에 따른 알고리즘을 의미한다. Cross-tower 는 제2인공신경망(170)과 제3인공신경망(180)을 의미한다.
먼저 음성 품질의 정도를 평가하는 PESQ 및 STOI 점수를 비교해보면 처리하지 않는 경우(un-processed)보다 모든 심화 신경망을 활용한 알고리즘이 음성 품질을 향상 시키는 것으로 나타낸다. 먼저 음성 품질의 정도를 평가하는 PESQ 및 STOI 점수를 비교해보면 처리하지 않는 경우(un-processed)보다 모든 심화 신경망을 활용한 알고리즘이 음성 품질을 향상 시키는 것으로 나타낸다. 또한 종래의 기술과 점수를 비교하였을 때 본 발명에서 제안한 방법이 가장 높은 점수를 보여준다. 4가지의 모든 객관적 평가 지표에서 종래 기술과 비교하여 크게 점수가 향상된 것을 확인할 수 있다.
도 14 내지 도 20은 다채널 마이크 환경에서의 본 발명의 실시예를 설명하기 위한 도면으로서, 도 14는 복수 개의 마이크 있는 다채널 환경에서 발화자의 발화가 있는 경우 음성 신호 추정 장치로 입력되는 다양한 신호들을 도시한 도면이다.
도 14에서는 설명의 편의를 위해 마이크는 2개(310,320) 존재 하는 환경을 전제로 설명하나, 본 발명의 실시 예가 2채널 환경하에서만 적용되는 것은 아니고 마이크가 더 많이 존재하는 다 채널 환경하에서도 적용될 수 있다.
도 14를 참조하면, 마이크(310, 320)에 입력되는 신호는 잡음 신호, 스피커(200)에서 재생되어 마이크(310, 320)로 다시 들어가게 되는 에코 신호(d(t)) 및 발화자의 음성 신호(s(t))의 합으로 표현할 수 있으며, 아래 식 (11)과 같이 표현될 수 있다.
식 (11) -
Figure PCTKR2022001166-appb-I000008
이 때, d(t)는 원단 신호(far-end signal)가 스피커(200)에서의 비선형성과 스피커와 마이크 사이의 RIR(room impulse reponse)에 의해 변형되어 마이크(310, 320)로 입력되는 에코 신호를 의미하고, s(t)는 발화자의 음성 신호(speech signal), n은 잡음신호(noise signal)을 의미하고 t는 time index, i는 i번째 마이크 입력을 의미한다.
도 15는 본 발명의 제3실시예에 따른 음성 신호 추정 장치의 일부 구성 요소를 도시한 블럭도이다.
본 발명의 제3실시예에 따른 음성 신호 추정 장치(100)는 제3실시예의 특징을 반영하여, 심화 신경망을 이용한 다채널 기반의 잡음 및 에코 신호 통합 제거 장치로 지칭될 수 있다.
도 15를 참조하면, 제3실시예에 따른 음성 신호 추정 장치(100)는 원단 신호 인코더(110), 어텐션부(120), 복수 개의 마이크 인코더를 포함하는 마이크 인코더(130), 채널 변환부(190), 제1인공신경망(140), 음성 신호 추정부(150) 및 디코더(160, decoder) 포함할 수 있다.
제3실시예에 따른 음성 신호 추정 장치(100) 중 원단 신호 인코더(110), 어텐션부(120), 제1인공신경망(140), 음성 신호 추정부(150) 및 디코더(160)는 도 2에서 설명한 원단 신호 인코더(110), 어텐션부(120), 제1인공신경망(140), 음성 신호 추정부(150) 및 디코더(160)와 동일하므로, 중복된 설명은 생략하도록 하고, 제3실시예의 특징에 해당하는 복수 개의 인코더(131, 132, 133) 및 채널 변환부(190)에 대해 설명하도록 한다.
제3실시예에 따른 인코더(100)는 복수 개의 마이크(300)를 통해 입력되는 시간 영역의 신호를 각각 잠재 영역의 신호로 변환해주는 역할을 하는 구성요소로서, 마이크(300)의 개수 만큼 인코더는 구비될 수 있다. 따라서, 제1마이크(310)를 통해 입력되는 제1마이크 입력 신호(20-1)는 제1마이크 인코더(131)로 입력되며, 제2마이크(320)를 통해 입력되는 제2마이크 입력 신호(20-2)는 제2마이크 인코더(132)로 입력되며, 제3마이크(미도시)를 통해 입력되는 제3마이크 입력 신호(20-2)는 제2마이크 인코더(132)로 입력될 수 있다. 도 15에서는 마이크가 3개가 있음을 전제로 마이크 인코더를 총 3개 도시하였지만, 본 발명의 실시 예가 이로 한정되는 것은 아니고 발화 환경에 따라 더 많거나 더 적은 마이크 인코더가 구비될 수 있다.
복수 개의 마이크 인코더(131, 132, 133)은 입력되는 시간 영역에서의 신호를 다른 영역의 신호로 변환한 변환 신호(12-1, 12-2, 12-3)를 출력할 수 있다.
구체적으로, 복수 개의 마이크 인코더(131, 132, 133)는 마이크(300)로부터 시간 영역(time domain)에서의 반향 신호, 음성 신호 및 잡음 신호를 포함하는 복수 개의 마이크 입력 신호(20-1, 20-2, 20-3)를 각각 입력 받고, 시간 영역에서의 정보를 포함하고 있는 상기 마이크 입력 신호들(20-1, 20-2, 20-3)를 잠재 영역(latent domain)에서의 신호로 변환한 변환 신호들(12-1, 12-2, 12-3)을 출력할 수 있다.
마이크 인코더(130)는 도2에서 설명한 바와 같이 시간 영역의 신호를 입력 받아 잠재 영역의 신호로의 변환을 하는바, 마이크 인코더(130)에 입력된 음성 신호(20)는 아래 식 (2)와 같이 변환될 수 있다. 그러나 이는 단일 채널 마이크 환경에서의 식이고, 도 15의 경우 복수 개의 마이크가 존재하는 멀티 채널 환경이므로, 각각의 마이크 인코더에 입력된 음성 신호는 아래 식 (12)와 같이 표현 될 수 있다.
식(2) - w=H(y*U)
식 (12) -
Figure PCTKR2022001166-appb-I000009
식 (12)에서, Ui는 입력되는 정보의 크기에 따라 N 개의 벡터를 가지는, NХL 길이의 양수 값을 의미하며, H()은 비선형 함수를 의미한다.
다만, 단일 채널과 비교하여 다채널 마이크 입력은 크게 보면 마이크의 개수 만큼 차원(dimension)이 커지므로, 단일 채널의 네트워크와 비슷한 수준의 파라미터를 유지하고, 원단 신호 인코더(110)를 통해 출력되는 정보와 동일한 차원에서의 정보로 합성 되기 위해서는 마이크 인코더(130)를 통해 출력된 신호들을 단일 채널 수준으로 변환시켜 주는 구성 요소가 필요하다. 따라서, 본 발명의 경우 채널 변환부(190)에 의해 채널 변환부(190)에 입력된 변환 호(12-1, 12-2, 12-3)들은 채널 간의 정보를 압축하여 단일 채널 수준의 정보로 변환된 후 제2입력 정보(12)로 출력될 수 있다. 채널 변환부(190)가 수행하는 이러한 과정은 입력 되는 신호들에 대해 1D convolution 연산을 통해 수행할 수 있으며 아래 식 (13)과 같이 표현될 수 있다.
식 (13) -
Figure PCTKR2022001166-appb-I000010
식 (13)에서, Ux는 N*m개의 vector를 갖는 N*mХL 길이의 양수값을 의미한다.
이러한 형식으로 출력된 제2입력 정보(12)는 원단 신호 인코더(110)에 의해 출력된 제1입력 정보(11)와 함께 어텐션부(120)에 입력되어 가중치 정보(13)로 변환되어 출력되며, 가중치 정보(13)는 제2입력 정보(12)와 혼합되어 제3입력 정보(14)로 변환된 후, 제1인공신경망(140)에 입력되어 음성 신호를 추정하기 위한 마스크 정보가 출력될 수 있다. 이러한 과정에 대해서는 도 2내지 도 6을 통해 자세히 설명하였는바 생략하도록 한다.
도 16은 제3실시예에 따른 본 발명의 효과를 설명하기 위해 다른 인공신경망 모델과의 출력 결과를 비교하여 도시한 도면이다.
도 16에서의 실험 결과를 도출하기 위한 실험 환경에 대한 기본적인 조건은 앞선 도 6에서 설명한 조건과 동일하므로 이에 대한 설명은 생략하고, 실험 결과만 비교하여 설명한다.
도 16을 참조하면, 다른 인공신경망 모델과 본 발명에 따른 인공신경망 모델에 대한 실험 결과를 비교한 표로서, 표에서 stacked-DNN 및 CRN은 종래 기술 중 심화 신경망을 활용한 전처리 알고리즘을 의미하며, 항목 4 내 지6이 본 발명에 따른 인공신경망 모델로서, 항목 4는 제1실시예에 따른 모델, 항목 5와 6은 제3실시예에 따른 모델을 의미한다.
먼저 음성 품질의 정도를 평가하는 PESQ 및 STOI 점수를 비교해보면 처리하지 않는 경우(un-processed)보다 모든 심화 신경망을 활용한 알고리즘이 음성 품질을 향상된 것을 알 수 있으며, STOI 및 SDR 또한 종래 기술들보다 향상 된 것을 알 수 있다. 또한 항목 4 ~ 6을 비교해보면 멀티 채널로 확장되면서 본 발명에 따라 채널 변환부를 추가한 경우 모든 항목에서 품질이 증가하는 것을 확인할 수 있다.
도 17은 제4실시예에 따른 음성 신호 추정 장치의 일부 구성 요소를 도시한 블럭도이고, 도 18 및 도 19는 제4실시예에 따른 음성 신호 추정부에 입력되는 정보들을 설명하기 위한 도면이다.
도 17을 참조하면, 제4실시예에 따른 음성 신호 추정 장치(100)는 원단 신호 인코더(110), 제1어텐션부(121), 제2어텐션부(122), 제3어텐션부(123), 복수 개의 마이크 인코더(131, 132, 133)를 포함하는 마이크 인코더(130), 제2인공신경망(170), 제3인공신경망(180), 채널 변환부(190), 음성 신호 추정부(150) 및 디코더(160, decoder) 포함할 수 있다.
제4실시예에 따른 음성 신호 추정 장치(100) 중 원단 신호 인코더(110), 제1마이크 인코더(131), 제2마이크 인코더(132), 제3마이크 인코더(133), 채널 변환부(190)는 도 15에서 설명한 원단 신호 인코더(110), 제1마이크 인코더(131), 제2마이크 인코더(132), 제3마이크 인코더(133), 채널 변환부(190)는 동일하고, 제1어텐션부(121)는 도 1의 어텐션부(120)와 동일하고, 제2인공신경망(170) 및 제3인공신경망(180)은 도 8의 제2인공신경망(170) 및 제3인공신경망(180)과 동일하므로, 이하 중복되는 설명은 생략하도록 한다.
제 4실시예에 따른 음성 신호 장치(100)는 복수 개의 인공신경망(120, 130)을 활용하는 제2실시예에 따른 음성 신호 장치(100)와 다채널 기반의 음성 신호 장치(100)에 기반하여 고안된 발명으로서, 제2인공신경망(170) 및 제3인공신경망(180)에 출력된 정보를 제2어텐션부(122) 및 제3어테션부(123)를 활용한다는 점에서 다른 실시예들과 비교하였을 때 차이점이 존재한다.
제2인공신경망(170)과 제3인공신경망(180)에서 각각 추정한 최종 추정 에코 신호(31)와 최종 추정 잡음 신호(32)를 compressed mixture에서 단순히 제거하면 음성 왜곡 가능성이 높아질 가능성이 존재한다. 따라서, 제4실시예에 따른 음성 추정 장치(100)는 이러한 음성 왜곡을 방지하기 위해 최종 추정 에코 신호(31)와 제2입력 정보(12) 사이에 어텐션 메커니즘을 적용하고, 동시에 최종 추정 잡음 신호(32)와 제2입력 정보(12) 사이에도 어텐션 메커니즘을 적용하여 보다 정확히 음성 신호를 추출할 수 있다.
즉, 앞서 도2에서의 어텐션부(120)에서 설명한 원리와 유사하게, 제2어텐션부(122)에서는 제2입력 정보(12)와 에코 신호와의 상관 관계를 분석하여 에코 신호와 높은 상관 관계에 있는 특징(latent features)에 대한 정보를 포함하고 있는 제1가중치 정보(33)를 생성하고, 제3어텐션부(123)에서는 제2입력 정보(12)와 잡음 신호와의 상관 관계를 분석하여, 잡음 신호와 높은 상관 관계에 있는 특징(latent features)에 대한 정보를 포함하고 있는 제2가중치 정보(35) 생성한 후, 생성된 가중치 정보들(34, 35)들과 제2입력 정보(12)를 활용하여 추정 음성 신호(16)를 출력한다.
이를 수학식 및 도 19와 도 20을 통해 이를 살펴보면, 제2어텐션부(122)는 도 19에 도시된 바와 같이 제2인공신경망(170)에서 출력한 최종 추정 에코 신호(31)와 제2입력 정보(12)가 각각 입력되며, 최종 추정 에코 신호(31)와 제1입력 정보는 각각 1X1 Conv(224,225)이 적용된 후 합쳐진 후, 시그모이드(sigmoid, 226) 함수가 적용되어 아래 식 (14)과 같이 변환된다.
식 (14) -
Figure PCTKR2022001166-appb-I000011
제3어텐션부(123) 또한 도 20에 도시된 바와 같이 제3인공신경망(180)에서 출력한 최종 추정 잡음 신호(32)와 제2입력 정보(12)가 각각 입력되며, 최종 추정 잡음 신호(32)와 제1입력 정보는 각각 1X1 Conv(234, 235)이 적용된 후 합쳐진 후, 시그모이드(sigmoid, 236) 함수가 적용되어 아래 식 (15)과 같이 변환될 수 있다.
식 (15) -
Figure PCTKR2022001166-appb-I000012
식 (14)와 식(15)에서 Wx는 제2입력 신호(12)의 latent features를 의미하고, d^r,R, n^r,R은 제2인공신경망(170)과 제3인공신경망(180)의 R 번째 인공신경망의 출력 정보를 의미한다.
식 (14)에 따라 출력된 정보는 도 19에 도시된 바와 같이 다시 1D-Conv(227) 및 시그모이드 함수(228)가 적용되어 에코 신호와 관련된 제1가중치 정보(33)로 변환되어 출력될 수 있으며, 아래 식 (16)과 같이 표현될 수 있다.
식(16) -
Figure PCTKR2022001166-appb-I000013
식 (16)에 따라 출력된 정보는 도 20에 도시된 바와 같이 다시 1D-Conv(237) 및 시그모이드 함수(238)가 적용되어 잡음 신호와 관련된 제1가중치 정보(34)로 변환되어 출력될 수 있으며, 아래 식 (19)과 같이 표현될 수 있다.
식(17) -
Figure PCTKR2022001166-appb-I000014
제1가중치 정보(33)는 제7지점에서(7)에서 제2입력 정보(12)와 혼합되어 제1혼합 정보(31)로 변환되고, 제2가중치 정보(34)는 제8지점(8)에서 제2입력 정보(12)와 혼합되어 제2혼합 정보(32)로 변환된다. 그후 제 9지점(9)에서는 제2입력 정보(12)에서 제1혼합 정보(31)와 제2혼합 정보(32)가 제거 되고, 남은 정보 만이 음성 신호 추정부(150)에 입력되어, 추정 음성 신호(16)가 출력되고, 추정 음성 신호(16)는 아래 식 (18)과 같이 표현될 수 있다.
식 (18) -
Figure PCTKR2022001166-appb-I000015
추정된 잠재 영역 추정 음성 신호(16)는 숏타임 퓨리에 변환(STFT)와 inverse STFT의 관계처럼 앞서 설명한 식 (2)의 transposed convolutional layer로 시간 영역에서의 정보를 포함하고 있는 형태로 변환할 수 있으며 아래의 식 (7)과 같이 표현될 수 있다.
식 (7) -
Figure PCTKR2022001166-appb-I000016
여기서 좌측 식은, 시간 영역에서 추정된 음성 신호를 의미하고, 우측 식의 V는 N 개의 vector를 L길이로 변환해주는 매트릭스(matrix)를 의미한다.
또한, 제3실시예예 따른 음성 신호 추정 장치(100)는 2개의 손실함수를 기초로 학습을 수행할 수 있으며, 구체적으로 시간 영역에서 추정된 최종 음성 신호(30)의 오차를 줄이는 방법으로 학습을 수행하는 방법과, 에코 신호 및 잡음 신호에 대해 잠재 영역에서 추정한 정보를 출력하는 제2인공신경망(170)과 제3인공신경망(180)의 각각의 인공신경망이 출력하는 정보의 오차를 줄이는 방법으로 학습을 수행할 수 있다.
첫 번째 학습 방법의 경우 디코더(160)에서 출력되는 최종 음성 신호(30)와 실제 발화자의 음성 신호(50)의 차이를 제1손실함수로 하여, 제1손실함수의 값의 작아지는 방향으로, 음성 신호 장치(100)의 어텐션부(120), 제2인공신경망(170) 및 제3인공신경망(180) 중 적어도 하나의 파라미터를 업데이를 하는 방법으로 학습을 수행할 수 있다.
두 번째 학습 방법은 잠재 영역에서 제2인공신경망(170)과 제3인공신경망(180)의 각각의 인공신경망에 대해 학습을 수행하는 방법으로서, 제2인공신경망(170)과 제3인공신경망(180)의 각각의 인공신경망이 추정하여 출력한 정보와 실제 레퍼런스 정보와의 차이를 제2손실함수로 하고, 제2손실함수의 값의 차이가 작아지는 방향으로, 제2인공신경망(170)과 제3인공신경망(180)의 각각의 인공신경망의 파라미터를 업데이트 하는 방법으로 학습을 수행할 수 있다. 따라서, 제2손실함수는 제2인공신경망(170)의 n번째 인공신경망의 출력 정보와 이에 대한 레퍼런스 정보의 차이 및 제3인공신경망(180)의 n 번째 인공신경망의 출력 정보와 이에 대한 레퍼런스 정보의 차이의 합을 손실함수로 할 수 있다.
또한, 제4실시예에 따른 음성 신호 추정 장치(100)는 학습을 수행함에 있어서, 앞서 설명한 제1손실함수만을 이용하여 학습을 수행하거나, 제2손실함수만을 이용하여 학습을 수행할 수 있고, 제1손실함수와 제2손실함수를 합한 제3손실함수를 이용하여, 제3손실함수의 값이 작아지는 방향으로 음성 신호 장치(100)의 어텐션부(120), 제2인공신경망(170) 및 제3인공신경망(180) 중 적어도 하나의 파라미터를 업데이를 하는 방법으로 학습을 수행할 수 있다.
제1손실함수, 제2손실함수 및 제3손실함수를 이용하여 인공신경망의 학습을 수행하는 방법의 경우, 앞선 제2실시예에 따른 음성 신호 추정 장치(100)에 대해 설명을 하면서 자세히 서술하였는바, 이에 대한 자세한 설명은 생략하도록 한다.
도 19는 제4실시예에 따른 본 발명의 효과를 설명하기 위해 다른 인공신경망 모델과의 출력 결과를 비교하여 도시한 도면이다.
도 19를 참조하면, 다른 인공신경망 모델과 본 발명에 따른 인공신경망 모델에 대한 실험 결과를 비교한 표로서, 표에서 stacked-DNN 및 CRN은 종래 기술 중 심화 신경망을 활용한 전처리 알고리즘을 의미하며, 항목5 내지7본 발명의 제4실시예에 따른 인공신경망 모델로서, attention 1은 제1어텐션부를, attention 2,3은 제2어텐션부와 제3어텐션부를 의미한다. 또한, 항목 5 내지 7은 제4실시예에 따른 모델에서 마이크 인풋의 수를 증가시킨 것에 차이점이 존재한다.
먼저 음성 품질의 정도를 평가하는 PESQ 및 STOI 점수를 비교해보면 처리하지 않는 경우(un-processed)보다 모든 심화 신경망을 활용한 알고리즘이 음성 품질을 향상된 것을 알 수 있으며, STOI 및 SDR 또한 종래 기술들보다 향상 된 것을 알 수 있다. 또한 항목 5 ~ 7을 비교해보면 제4실시예에 따라 어텐션부가 제3어텐션까지 있는 경우 채널의 수가 증가함에 따라 모든 항목에서 품질이 증가하는 것을 확인할 수 있다.
일 실시예에 따른 심화 신경망을 이용한 다채널 기반의 잡음 및 에코 신호 통합 제거 장치는 에코 신호와 잡음 신호를 반복적으로 별도로 추정하여 에코 신호와 잡음 신호에 대한 추정의 정확도를 높일 수 있어 종래 기술보다 보다 정확히 마이크에 입력되는 신호 중 에코 신호와 잡음 신호를 제거할 수 있는 장점이 존재한다.
또한, 추정된 에코 신호 및 잡음 신호 정보에 어텐션 메커니즘을 적용하여 추정되는 에코 신호와 잡음 신호에 대한 정확성을 높일 수 있는바, 보다 정확히 사용자의 음성 정보만을 추출할 수 있는 음성 신호 추정 장치를 제공할 수 있는 장점이 존재한다.
따라서, 가정 환경에서 사용되는 인공지능 스피커, 공항에서 사용되는 로봇, 음성인식 및 PC 음성통신 시스템 등 반향 신호가 존재하는 환경에서 마이크로폰을 통해 발화자의 음성을 수집하여 처리하는 경우, 반향 신호를 보다 효율적으로 제거할 수 있어, 음성 품질 및 명료도를 향상시킬 수 있는 효과가 존재한다.
이상과 같이 실시예들은 음성 향상 기술로 음성 인식과 음성 통신 기술을 수행하기 이전에 잡음 및 반향을 제거하여 보다 우수한 성능을 도출할 수 있으며, 휴대폰 단말기나 보이스톡 등에서 음성 통화 품질을 높이기 위해 적용될 수 도 있다. 또한, 최근 다양한 사물인터넷(Internet of Things, IoT) 기기에서 음성 인식이 수행되는데 이는 조용한 환경에서만 수행되는 것이 아니라 주변 잡음이 존재하는 환경에서 수행될 수 있으며, IoT 기기의 스피커에서 소리가 나올 때 이 소리가 다시 들어가 반향을 발생할 수 있다. 따라서 음성 인식 수행 전 잡음 및 반향을 제거하여 IoT 기기에서 수행되는 음성 인식의 성능을 높일 수 있다. 또한, 본 실시예들은 우수한 품질의 음성 향상 신호를 제공하므로 다양한 음성 통신 기술에 적용되어 깨끗한 품질의 음성을 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (6)

  1. 에코 신호, 잡음 신호 및 사용자의 음성 신호를 포함하고 있는 마이크 입력 신호를 입력 받고, 상기 마이크 입력 신호를 제1입력 정보로 변환하여 출력하는 마이크 인코더;
    원단(far-end) 신호를 입력 받고, 상기 원단 신호를 제2입력 정보로 변환하여 출력하는 원단 신호 인코더;
    상기 제1입력 정보와 상기 제2입력 정보에 대해 어텐션 메커니즘(attention mechanism)을 적용하여 가중치 정보를 출력하는 어텐션부;
    상기 가중치 정보 및 상기 제2입력 정보의 합산 정보인 제3입력 정보를 입력 정보로 하고, 상기 제2입력 정보에서 상기 음성 신호를 추정하기 위한 마스크 정보를 포함하는 제1출력 정보를 출력 정보로 하는, 기 학습된 제1인공신경망; 및
    상기 제1출력 정보와 상기 제2입력 정보를 기초로 상기 음성 신호를 추정한 추정 음성 신호를 출력하는 음성 신호 추정부;를 포함하는 어텐션 메커니즘을 이용한 음성 신호 추정 장치.
  2. 제1항에 있어서,
    상기 마이크 인코더는,
    시간 영역(time-domain)에서의 상기 마이크 입력 신호를 잠재 영역(latent-domain)에서의 신호로 변환하는, 어텐션 메커니즘을 이용한 음성 신호 추정 장치.
  3. 제2항에 있어서,
    잠재 영역에서의 상기 추정 음성 신호를 시간 영역에서의 추정 음성 신호로 변환하는 디코더(decoder);를 더 포함하는, 어텐션 메커니즘을 이용한 음성 신호 추정 장치.
  4. 제1항에 있어서,
    상기 어텐션부는,
    상기 제1입력 정보와 상기 제2입력 정보와의 상관 관계를 분석하여, 분석된 결과를 기초로 상기 가중치 정보를 출력하는, 어텐션 메커니즘을 이용한 음성 신호 추정 장치.
  5. 제4항에 있어서,
    상기 어텐션부는,
    상기 제1입력 정보에 포함되어 있는 상기 원단 신호에 대한 정보를 기초로 상기 에코 신호를 추정한 후, 추정된 에코 신호를 기초로 상기 가중치 정보를 출력하는, 어텐션 메커니즘을 이용한 음성 신호 추정 장치.
  6. 마이크 인코더를 통해 반향 신호, 에코 신호 및 사용자의 음성 신호를 포함하고 있는 마이크 입력 신호를 입력 받고, 상기 마이크 입력 신호를 제1입력 정보로 변환하여 출력하는 단계;
    원단 신호 인코더를 통해 원단(far-end) 신호를 입력 받고, 상기 원단 신호를 제2입력 정보로 변환하여 출력하는 단계;
    상기 제1입력 정보와 상기 제2입력 정보에 대해 어텐션 메커니즘(attention mechanism)을 적용하여 가중치 정보를 출력하는 단계;
    상기 가중치 정보 및 상기 제2입력 정보의 합산 정보인 제3입력 정보를 입력 정보로 하고, 상기 제2입력 정보에서 상기 음성 신호를 추정하기 위한 마스크 정보를 포함하는 제1출력 정보를 출력 정보로 하는, 기 학습된 제1인공신경망을 이용하여 상기 제1출력 정보를 출력하는 단계; 및
    상기 제1출력 정보와 상기 제2입력 정보를 기초로 상기 음성 신호를 추정한 추정 음성 신호를 출력하는 단계;를 포함하는 어텐션 메커니즘을 이용한 음성 신호 추정 방법.
PCT/KR2022/001166 2021-01-21 2022-01-21 어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치 WO2022158914A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/273,354 US20240135954A1 (en) 2021-01-21 2022-01-21 Learning method for integrated noise echo cancellation system using multi-channel based cross-tower network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210009002A KR102374167B1 (ko) 2021-01-21 2021-01-21 어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치
KR10-2021-0009002 2021-01-21

Publications (1)

Publication Number Publication Date
WO2022158914A1 true WO2022158914A1 (ko) 2022-07-28

Family

ID=80823928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/001166 WO2022158914A1 (ko) 2021-01-21 2022-01-21 어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치

Country Status (3)

Country Link
US (1) US20240135954A1 (ko)
KR (1) KR102374167B1 (ko)
WO (1) WO2022158914A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117198272A (zh) * 2023-11-07 2023-12-08 浙江同花顺智能科技有限公司 一种语音处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180040333A1 (en) * 2016-08-03 2018-02-08 Apple Inc. System and method for performing speech enhancement using a deep neural network-based signal
KR20200115107A (ko) * 2019-03-28 2020-10-07 삼성전자주식회사 심층 멀티태스킹 반복 신경망을 이용한 음향 에코 제거 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101871604B1 (ko) 2016-12-15 2018-06-27 한양대학교 산학협력단 심화 신경망을 이용한 다채널 마이크 기반의 잔향시간 추정 방법 및 장치
KR101988504B1 (ko) 2019-02-28 2019-10-01 아이덴티파이 주식회사 딥러닝에 의해 생성된 가상환경을 이용한 강화학습 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180040333A1 (en) * 2016-08-03 2018-02-08 Apple Inc. System and method for performing speech enhancement using a deep neural network-based signal
KR20200115107A (ko) * 2019-03-28 2020-10-07 삼성전자주식회사 심층 멀티태스킹 반복 신경망을 이용한 음향 에코 제거 시스템 및 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BARMPOUTIS PANAGIOTIS, PAPAIOANNOU PERIKLIS, DIMITROPOULOS KOSMAS, GRAMMALIDIS NIKOS: "A Review on Early Forest Fire Detection Systems Using Optical Remote Sensing", SENSORS, vol. 20, no. 22, 11 November 2020 (2020-11-11), CH , pages 1 - 26, XP055946762, ISSN: 1424-8220, DOI: 10.3390/s20226442 *
FAZEL AMIN; EL-KHAMY MOSTAFA; LEE JUNGWON: "CAD-AEC: Context-Aware Deep Acoustic Echo Cancellation", ICASSP 2020 - 2020 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), 4 May 2020 (2020-05-04), pages 6919 - 6923, XP033793171, DOI: 10.1109/ICASSP40776.2020.9053508 *
GIRI RITWIK; ISIK UMUT; KRISHNASWAMY ARVINDH: "Attention Wave-U-Net for Speech Enhancement", 2019 IEEE WORKSHOP ON APPLICATIONS OF SIGNAL PROCESSING TO AUDIO AND ACOUSTICS (WASPAA), 20 October 2019 (2019-10-20), pages 249 - 253, XP033677307, DOI: 10.1109/WASPAA.2019.8937186 *
KIM JUNG-HEE, CHANG JOON-HYUK: "Attention Wave-U-Net for Acoustic Echo Cancellation", INTERSPEECH 2020, 1 October 2020 (2020-10-01) - 29 October 2020 (2020-10-29), ISCA, pages 3969 - 3973, XP055952817, DOI: 10.21437/Interspeech.2020-3200 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117198272A (zh) * 2023-11-07 2023-12-08 浙江同花顺智能科技有限公司 一种语音处理方法、装置、电子设备及存储介质
CN117198272B (zh) * 2023-11-07 2024-01-30 浙江同花顺智能科技有限公司 一种语音处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20240135954A1 (en) 2024-04-25
KR102374167B1 (ko) 2022-03-14

Similar Documents

Publication Publication Date Title
WO2022158912A1 (ko) 심화 신경망을 이용한 다채널 기반의 잡음 및 에코 신호 통합 제거 장치
WO2022158913A1 (ko) 병렬 구조의 심화신경망을 이용한 잡음 및 에코 신호 통합 제거 장치
WO2019045474A1 (ko) 비선형 특성을 갖는 오디오 필터를 이용하여 오디오 신호를 처리하는 방법 및 장치
WO2018190547A1 (ko) 심화신경망 기반의 잡음 및 에코의 통합 제거 방법 및 장치
WO2020145472A1 (ko) 화자 적응형 모델을 구현하고 합성 음성 신호를 생성하는 뉴럴 보코더 및 뉴럴 보코더의 훈련 방법
WO2018164304A1 (ko) 잡음 환경의 통화 품질을 개선하는 방법 및 장치
WO2022158914A1 (ko) 어텐션 메커니즘을 이용한 음성 신호 추정 방법 및 장치
WO2021251627A1 (ko) 다채널 음향 신호를 이용한 심화 신경망 기반의 잔향 제거, 빔포밍 및 음향 인지 모델의 결합 학습 방법 및 장치
EP4252228A1 (en) Method and apparatus for real-time sound enhancement
KR100337535B1 (ko) 적응필터를 갖는 에코제거장치와 적응필터의 계수를 재초기화하는 방법
US7062039B1 (en) Methods and apparatus for improving adaptive filter performance by inclusion of inaudible information
Zinser et al. Some experimental and theoretical results using a new adaptive filter structure for noise cancellation in the presence of crosstalk
Hofmann et al. Efficient nonlinear acoustic echo cancellation by partitioned-block significance-aware Hammerstein group models
WO2014163231A1 (ko) 복수의 음원이 출력되는 환경하에서 음성 인식에 이용될 음성 신호의 추출 방법 및 음성 신호의 추출 장치
JPH06113027A (ja) 反響消去装置
WO2021025515A1 (en) Method for processing multi-channel audio signal on basis of neural network and electronic device
WO2021167318A1 (en) Position detection method, apparatus, electronic device and computer readable storage medium
WO2021040490A1 (en) Speech synthesis method and apparatus
WO2023177095A1 (en) Patched multi-condition training for robust speech recognition
WO2022031061A1 (ko) 심화신경망 기반의 가상 채널 확장을 이용한 wpe 기반 잔향 제거 장치
WO2022186540A1 (ko) 전자 장치 및 전자 장치에서 레코딩과 음성 입력을 처리하는 방법
WO2022108040A1 (ko) 음성의 보이스 특징 변환 방법
KR102374166B1 (ko) 원단 신호 정보를 이용한 반향 신호 제거 방법 및 장치
CN113824846A (zh) 一种集群通信系统的啸叫抑制方法及设备
JP2944310B2 (ja) エコーキャンセラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22742890

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 18273354

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 22742890

Country of ref document: EP

Kind code of ref document: A1