WO2019026973A1 - ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム - Google Patents

ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム Download PDF

Info

Publication number
WO2019026973A1
WO2019026973A1 PCT/JP2018/028910 JP2018028910W WO2019026973A1 WO 2019026973 A1 WO2019026973 A1 WO 2019026973A1 JP 2018028910 W JP2018028910 W JP 2018028910W WO 2019026973 A1 WO2019026973 A1 WO 2019026973A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
neural network
observation
signal processing
power
Prior art date
Application number
PCT/JP2018/028910
Other languages
English (en)
French (fr)
Inventor
慶介 木下
中谷　智広
マーク デルクロア
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to CN201880050189.1A priority Critical patent/CN110998723B/zh
Priority to US16/636,031 priority patent/US11304000B2/en
Priority to JP2019534568A priority patent/JP6748304B2/ja
Publication of WO2019026973A1 publication Critical patent/WO2019026973A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/007—Electronic adaptation of audio signals to reverberation of the listening space for PA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response

Definitions

  • the technology for removing these acoustic distortions from the observed speech signal can be used as an element technology of various acoustic signal processing systems.
  • the technology for removing these acoustic distortions from the observation voice signal may be used for a hearing aid system or a sound editing system which improves the ease of listening by extracting a target signal from the sound collected in a real environment. it can.
  • the technology for removing these acoustic distortions from the observed speech signal can also be used in a speech recognition system that accurately recognizes speech collected in a real environment.
  • FIG. 6 is a diagram showing an example of the configuration of a conventional signal processing apparatus.
  • the conventional signal processing apparatus 10P has an observation feature quantity calculator 11P, a power spectrum estimation unit 12P, a regression coefficient estimation unit 13P, an inverse filter processing unit 14P, and a repetition control unit 15P.
  • the observation feature quantity calculator 11P calculates the observation signal feature quantity from the observation signal whose input has been received.
  • the power estimation unit 12P calculates the power spectrum of the desired signal, using the observation feature quantity converted by the observation feature quantity calculation unit 11P before repetitive calculation, and the processing result of the inverse filter processing unit 14P when entering the repetitive loop. Do.
  • the regression coefficient estimation unit 13P estimates a regression coefficient using the estimation result of the power spectrum of the desired signal.
  • the inverse filter processing unit 14P performs inverse filter processing using the estimated regression coefficient.
  • the repetition control unit 15P inputs the result of the inverse filter processing by the inverse filter processing unit 14P to the power spectrum estimation unit 12P again when the iterative calculation is not completed. Thereafter, re-estimation of the power spectrum of the desired signal, regression coefficient estimation based thereon, and inverse filtering are repeated as many times as necessary.
  • the present invention has been made in view of the above, and a signal processing apparatus using a neural network that can accurately perform dereverberation even when the observation signal is short, a signal processing method using the neural network, and a signal processing
  • the purpose is to provide a program.
  • a signal processing apparatus is a signal processing apparatus that estimates a signal with reduced reverberation from an observed signal including reverberations observed by one or more microphones. And an observation feature corresponding to the observed signal in a neural network trained to receive as input the feature amount of the signal including the reverberation and to output an estimated value of the feature amount corresponding to the power of the signal in which the reverberation in the signal is reduced.
  • the first estimation unit estimates the estimated value of the feature amount corresponding to the power of the signal whose reverberation is reduced corresponding to the observation signal by inputting the amount, and the power corresponding to the estimation result of the first estimation unit
  • a second estimation unit configured to estimate a regression coefficient of an autoregressive process that generates an observation signal using the estimated value of the feature amount.
  • FIG. 1 is a diagram for explaining an example of a functional configuration of a signal processing device according to an embodiment.
  • FIG. 2 is a diagram showing a main configuration of the signal processing device shown in FIG.
  • FIG. 3 is a diagram for explaining an example of a functional configuration of the signal processing device according to the embodiment.
  • FIG. 4 is a flowchart showing the processing procedure of the dereverberation process according to the embodiment.
  • FIG. 5 is a diagram illustrating an example of a computer in which a signal processing apparatus is realized by executing a program.
  • FIG. 6 is a diagram showing an example of the configuration of a conventional signal processing apparatus.
  • the signal processing apparatus according to the present embodiment performs a process of estimating a feature corresponding to the power of a desired signal using a neural network that can perform spectrum estimation with high accuracy.
  • FIG. 1 is a diagram for explaining an example of a functional configuration of a signal processing device according to an embodiment.
  • the signal processing apparatus 10 includes an observation feature quantity calculator 11, a power estimator 12 (first estimator), a regression coefficient estimator 13 (second estimator), The inverse filter processing unit 14 and the repetition control unit 15 are included.
  • a predetermined program is read into a computer including, for example, a read only memory (ROM), a random access memory (RAM), a central processing unit (CPU), etc. It is realized by executing.
  • ROM read only memory
  • RAM random access memory
  • CPU central processing unit
  • the observation feature quantity calculation unit 11 converts an observation signal, which is an input signal, into an observation feature quantity. Specifically, the observation feature quantity calculation unit 11 converts observation signals including reverberation observed by one or more microphones into observation feature quantities.
  • the observation feature quantity calculation unit 11 receives a signal in the time domain, calculates an observation feature quantity from the input signal, and outputs the observation feature quantity.
  • the observation feature quantity calculation unit 11 outputs the observation feature quantity to the power estimation unit 12, the regression coefficient estimation unit 13, and the inverse filter processing unit 14.
  • a generic term of observation signals is x m (t)
  • a generic term of observation feature quantities is x (n).
  • t is the index of time
  • m is the index of the microphone
  • n is the index of the short time frame.
  • the observation signal includes the speech of one or more speakers and acoustic distortion (noise, reverberation, etc.) other than the speech.
  • the power estimation unit 12 estimates a feature amount corresponding to the power of the desired signal at each time using a learned neural network based on the observation feature amount.
  • the power estimation unit 12 uses the learned neural network and, based on the one or more observation feature quantities obtained by the observation feature quantity calculation unit 11, a feature corresponding to the power of the desired signal that is a signal whose reverberation is suppressed. Calculate the quantity.
  • the feature amount corresponding to the power is, for example, a power spectrum, an average value of power of each frame of the observation feature amount in the time domain, or the like.
  • the power estimation unit 12 uses the learned neural network, and based on the observed feature quantity x (n), a voice including direct sound and initial reflected sound corresponding to the observed feature quantity x (n).
  • a feature corresponding to the power for example, a power spectrum
  • the power estimation unit 12 uses a learned neural network to calculate a spatial correlation matrix (see chapter 5 of Reference 1 for details) in consideration of inter-mike correlation of voice including direct sound and initial reflection sound.
  • a sequence formed by the average value of the power of the observation feature quantity in the time domain of the predetermined time interval may be used as the feature quantity corresponding to the power.
  • the desired signal is described here on the assumption that it is an audio signal including direct sound and early reflection sound, the present invention is not limited to this. In short, a signal whose reverberation is suppressed more than the observation signal may be used as the desired signal.
  • the power estimation unit 12 uses, for example, a Long Short-Term Memory (LSTM) recursive neural network.
  • LSTM Long Short-Term Memory
  • the shape of the neural network used by the power estimation unit 12 may be any shape such as a full connection type, a recursive type, or a bi-directional recursive neural network.
  • the regression coefficient estimation unit 13 estimates a linear prediction filter using the estimated value of the feature amount corresponding to the power of the desired signal.
  • the regression coefficient estimation unit 13 estimates a linear prediction filter using the power spectrum ⁇ (n) of the desired signal. Specifically, using the power spectrum of the desired signal, the regression coefficient estimation unit 13 uses a linear prediction filter so that the prediction residual follows a time-varying Gaussian distribution with an average of 0 and a variance of the power spectrum of the desired signal. presume.
  • the filter coefficients of this linear prediction filter are "regression coefficients”. Specifically, the regression coefficient estimation unit 13 estimates a regression coefficient based on the estimated power spectrum ⁇ (n) of the desired signal and the observation feature x (n). In this embodiment, let g (k) be a generic term for regression coefficients.
  • the inverse filter processing unit 14 performs inverse filter processing using the linear prediction filter estimated by the regression coefficient estimation unit 13.
  • the inverse filter processing unit 14 performs inverse filter processing on the observation feature amount using the regression coefficient g (k) and the observation feature amount x (n) to obtain the dereverberation signal d.
  • the generic name of the dereverberation signal d is d (n).
  • the iterative control unit 15 ends the process of estimating the power of the desired signal by the power estimation unit 12, the process of estimating the linear prediction filter by the regression coefficient estimation unit 13, and the inverse filtering process by the inverse filter processing unit 14 Control is repeated according to the conditions. That is, the repetition control unit 15 performs a process of calculating the power spectrum of the desired signal by the power spectrum estimation unit 12, a process of calculating a linear prediction filter using a feature quantity corresponding to the power of the desired signal by the regression coefficient estimation unit 13; Also, control is performed to repeat the inverse filter processing on the observation feature amount by the inverse filter processing unit 14 as many times as necessary to satisfy the predetermined end condition.
  • the number of times required to satisfy the predetermined end condition is, for example, the predetermined number of times set in advance or the number of times required for at least one of the parameters to be used to reach the predetermined threshold.
  • the repetition control unit 15 does not reach the predetermined condition, or if the number of repetitions is less than the predetermined number of times, the result of the inverse filtering process by the inverse filtering unit 14 (the dereverberation signal d (n)) Input to spectrum estimation unit 12.
  • the power estimation unit 12 receives the dereverberation signal d (n) under the control of the repetition control unit 15 and uses the learned neural network F [ ⁇ ] to remove the reverberation.
  • An estimated value for example, power spectrum ⁇ (n)
  • the regression coefficient estimation unit 13 estimates the regression coefficient g (k) based on the power spectrum ⁇ (n) of the desired signal corresponding to the dereverberation signal d (n) and the observation feature x (n).
  • the inverse filter processing unit 14 performs inverse filter processing using the regression coefficient g (k) estimated by the regression coefficient estimation unit 13, and newly outputs the dereverberation signal d (n).
  • the repetition control unit 15 outputs the result of the inverse filtering process by the inverse filtering unit 14 as the dereverberation signal d (n Output as).
  • the repetition control unit 15 executes re-estimation of the feature amount corresponding to the power of the desired signal, and performs control of repeating the regression coefficient estimation and the inverse filter processing based thereon. Do.
  • the signal processing method assumes a Gaussian distribution (n: frame index, k: frequency index) with an average of 0 and a dispersion ⁇ (n, k) for clean speech included in the observation signal, and
  • the generation process of the observation signal is a method of estimating the inverse filter for dereverberation by repeatedly estimating the regression coefficient of the autoregressive process as it follows the autoregressive process.
  • observation signal x m (t) will be described as an input signal.
  • This observation signal x m (t) is converted by the observation feature quantity calculation unit 11 into observation feature quantity x m (n, k).
  • the observed feature quantity x m (n, k) is the clean speech signal s (n, k) and the impulse response h m (l, k) between the sound source and the m-th microphone as shown in the following equation (1) Assume that it is represented by the convolution of
  • equation (1) "*" represents the complex conjugate of a variable. This observation process can be equivalently expressed as an autoregressive process using the optimal regression coefficient g m (l, k) as shown in the following equation (2).
  • equation (2) represents the rear reverberation portion in the observed signal, and the first term is expressed as a signal including the other portion, that is, the direct sound and the early reflection sound. Further, equation (2) can be expressed in matrix form as shown in the following equation (3). In the following formulas, bold letters in lower case letters (for example, bold letters “g”, “x” in formula (3)) represent a matrix. Also, H represents conjugate transposition. T indicates transposition. Further, each variable of the equation (3) is expressed as the following equations (4) to (7).
  • Equation (3) means that if an optimal regression coefficient can be determined, dereverberation can be performed as in the following equation (8), and a signal including direct sound and early reflection can be extracted. There is.
  • the dereverberation signal d (n, k) follows a Gaussian distribution with an average of 0 and a dispersion ⁇ (n, k) as in the following equation (9).
  • the regression coefficient estimation unit 13 obtains a regression coefficient g (k) by performing arithmetic processing A using the following equations (13) to (15). Then, the inverse filter processing unit 14 obtains the dereverberation signal d (n, k) by performing the arithmetic processing B using the above-mentioned equation (4).
  • R is a weighted covariance matrix
  • r is a weighted correlation vector.
  • the power spectrum ( ⁇ (n, k)) of the desired signal to be applied to the equations (14) and (15) is calculated using the neural network F [ ⁇ To estimate.
  • the outline of the input / output relationship of the neural network F [ ⁇ ] used by the power estimation unit 12 is shown in the following equations (16) to (18).
  • the input of F [ ⁇ ] is the observation feature x (n) of speech including reverberation.
  • the output of F [ ⁇ ] is the power spectrum of the voice including the direct sound and the early reflection sound, that is, the power spectrum ⁇ (n) of the desired signal.
  • power estimation unit 12 receives power of observed signal x (n) and outputs power spectrum ⁇ of the desired signal output from neural network F [ ⁇ ] expressed by equations (16) to (18). n) is input to the regression coefficient estimation unit 13.
  • the power estimation unit 12 receives the dereverberated signal d (n), which is the result of the inverse filter processing unit 14, as an input during the processing of the iterative loop, and the neural network F represented by the equations (16) to (18)
  • the power spectrum ⁇ (n) of the desired signal output from [ ⁇ ] is input to the regression coefficient estimation unit 13.
  • the regression coefficient estimation unit 13 substitutes the power spectrum ⁇ (n) of the desired signal output from the neural network F [ ⁇ ] into the equations (14) and (15), and uses the equation (13) to calculate the regression coefficient g Estimate (k). Subsequently, in the present embodiment, the inverse filter processing unit 14 applies the equation (4) using the estimated regression coefficient g (k) to perform dereverberation using a linear inverse filter, thereby removing the dereverberation signal. Get d (n, k).
  • the optimal regression coefficient g (k) and the optimal dereverberation signal d (n, k) are power spectrum estimation processing of the desired signal of the neural network F [ ⁇ ] shown by the equations (16) to (18), regression Calculation processing A using equations (13) to (15) to estimate coefficient g (k) and calculation processing B using equation (4) to obtain dereverberated signal d (n, k) are repeated It can be determined by
  • the speech recognition performance can not be improved even using the dereverberation sound output from the neural network F [ ⁇ ].
  • dereverberation by the neural network F [ ⁇ ] and the inverse filter are designed based on that, and the dereverberation by the inverse filter is performed.
  • the speech recognition performance is improved by estimating the linear inverse filter based on the output of the neural network F [ ⁇ ] and performing the linear dereverberation.
  • the signal processing apparatus 10 removes reverberation from the input observation signal with high accuracy, and cleans and outputs a sound for sound collection purpose included in the observation signal.
  • the flow of the dereverberation process (test process) by the signal processing apparatus 10 will be described with reference to FIG. 1.
  • the observation feature quantity calculator 11 calculates the observation feature quantity as shown in equation (1), and outputs the feature quantity.
  • the observation feature quantity calculator 11 divides the signal of the input time domain into short frames of about 30 ms, Fourier-transforms each of the divided short-time frame data, and converts the complex spectrum x (n, k) Output
  • the power estimation unit 12 receives the observation feature quantity calculated by the observation feature quantity calculation unit 11 as an input, and performs observation using the learned neural network F [ ⁇ ] shown by the equations (16) to (18).
  • a feature amount for example, power spectrum ⁇ (n)
  • the input of the neural network is a complex spectrum x (n, k)
  • processing for taking the square of the absolute value of the input and converting it to a real value is explicitly included.
  • the power estimation unit 12 can output the feature corresponding to the power which is a real number value.
  • the feature quantity (power spectrum ⁇ (n) in this example) corresponding to the power that is the output from the power estimation unit 12 is input to the regression coefficient estimation unit 13.
  • the regression coefficient estimation unit 13 substitutes the input power spectrum ⁇ (n) into the equations (14) and (15), estimates the regression coefficient g (k) using the equation (13), and calculates the regression coefficient g Output (k).
  • the inverse filter processing unit 14 receives the regression coefficient g (k), performs dereverberation with a linear inverse filter using the equation (4), and outputs a dereverberation signal d (n, k).
  • the repetition control unit 15 inputs the dereverberation signal d (n, k) to the power estimation unit 12 when the predetermined termination condition is not satisfied or when the number of repetitions is less than the predetermined number of times.
  • the estimation accuracy of the feature corresponding to the signal power is improved.
  • regression coefficient estimation processing by the regression coefficient estimation unit 13 and inverse filter processing by the inverse filter processing unit 14 are performed again using the feature amount corresponding to the improved desired signal power. That is, the process corresponding to the repetitive loop shown by arrow Y1 in FIG. 1 is repeated.
  • the repetition control unit 15 determines that dereverberation has been sufficiently performed, as indicated by an arrow Y2 in FIG.
  • the removal signal d (n, k) is output.
  • a neural network is used using a pair of a feature of speech including reverberation and a feature of speech (correct signal) including a direct sound and an initial reflected sound corresponding thereto.
  • Learning data consisting of a set of observation signals for learning (speech including reverberation) and speech (correct signal) including direct sound and initial reflected sound corresponding to that is prepared in advance, and learning is performed using this Do.
  • FIG. 2 is a diagram showing the main configuration of the signal processing device 10 shown in FIG.
  • FIG. 2 shows the main part of the signal processing device 10.
  • the input to the power estimation unit 12 is an observation feature quantity calculated by the observation feature quantity calculation unit 11 with respect to a learning observation signal (voice including reverberation) in learning data.
  • Speech including reverberation is, for example, speech including clean speech and reverberation.
  • the teacher signal to be compared with the output of the neural network in the power spectrum estimation unit 12 is a feature corresponding to the power of a signal obtained by reducing the reverberation from the observation signal including the input reverberation.
  • it is power spectrum data of voice including direct sound and early reflection voice corresponding to voice including input reverberation. This is given in advance as a correct signal in the learning data.
  • an observation feature quantity of speech including the above-mentioned reverberation obtained from the observation signal for learning is inputted to a neural network in the power estimating unit 12 to obtain an output.
  • the parameters of the neural network are updated so as to minimize the squared error between this output and the teacher signal (the correct signal in the data for learning).
  • the parameters of the neural network may be updated so that the output of the neural network approaches the correct signal, and a distance other than the square error may be used as a reference.
  • the neural network is F [ ⁇ ; ⁇ ]
  • the parameter of the neural network is ⁇
  • the input of the neural network is x
  • FIG. 3 is a figure explaining an example of a function structure of the signal processing apparatus which concerns on embodiment.
  • the signal processing apparatus 10A shown in FIG. 3 is further provided with a cost calculation unit 20 that calculates a cost which is a neural network optimization standard.
  • the output from the neural network is passed to the regression coefficient estimation unit 13, and the regression coefficient is calculated. Then, in the signal processing device 10A, inverse filter processing is performed on the observation feature amount in the inverse filter processing unit 14 based on the regression coefficient, and the result of inverse filter calculation is input to the cost calculation unit 20.
  • the cost calculation unit 20 calculates the cost of the neural network optimization standard based on the signal after the inverse filter processing and the correct signal given as data for learning.
  • the parameter in the neural network is updated using the error back propagation method so that the cost is smaller than before the parameter update.
  • the correct signal is the correct value of the output value of the power estimation unit, but the correct signal in this example depends on the final purpose (what to calculate using the output of the power estimation unit). It is different. Some examples of the cost and the correct signal calculated in the cost calculator 20 are shown below.
  • the cost calculation unit 20 is a speech recognition system that can be represented by a neural network, and the correct signal is a phoneme label.
  • the power estimation unit 12 is learned (i.e., updated) such that the phoneme label estimated by the cost calculation unit 20 (i.e., the speech recognition system) is close to the phoneme label of the correct answer.
  • the cost calculation unit 20 is a noise suppression system that can be represented by a neural network, and the correct signal is a feature of a clean speech signal that does not include noise or reverberation.
  • the power estimation unit 12 is learned (i.e., updated) so that the noise suppression result is as close as possible to the feature of the clean speech signal that is the correct signal.
  • FIG. 4 is a flowchart showing the processing procedure of the dereverberation process according to the embodiment.
  • the predetermined end condition is "the predetermined number of repetitions has been reached".
  • step S1 when the observation signal is input (step S1), the observation feature quantity calculation unit 11 calculates the observation feature quantity of the observation signal as shown in equation (1). A process is performed (step S2).
  • the power estimation unit 12 receives the observation feature quantity, and estimates the power spectrum ⁇ (n) of the desired signal using the learned neural network F [ ⁇ ] shown by the equations (16) to (18). An estimation process is performed (step S4).
  • the regression coefficient estimation unit 13 performs regression coefficient estimation processing of estimating a linear prediction filter using the power spectrum ⁇ (n) of the desired signal (step S5).
  • the regression coefficient estimation unit 13 estimates the regression coefficient g (k) using the equations (13) to (15).
  • the inverse filter processing unit 14 performs inverse filter processing using the linear prediction filter estimated by the regression coefficient estimation unit 13 (step S6).
  • the inverse filter processing unit 14 performs inverse filter processing using the equation (4) based on the regression coefficient g (k) to obtain the dereverberation signal d (n).
  • the observation feature quantity calculator 11P calculates the observation signal feature quantity from the observation signal for which the input has been received as shown in equation (1).
  • the power spectrum estimation unit 12P uses the observation feature quantity converted by the observation feature quantity calculation unit 11P as an input before repetitive calculation, and the processing result of the inverse filter processing unit 14P as an input when entering the repetition loop, the desired signal Calculate the power spectrum.
  • the conventional power spectrum estimation unit 12P uses the following equation (19) to obtain the power spectrum of the desired signal. Also, the previous iteration, the power spectrum of the observation signal the power spectrum of the desired signal, i.e.
  • the regression coefficient estimation unit 13P estimates regression coefficients using the equations (13) to (15) based on the estimation result of the power spectrum of the desired signal, and estimates the regression Based on the coefficients, the inverse filter processing unit 14P performs inverse filter processing using equation (4).
  • this conventional signal processing apparatus 10P operates effectively when the number N of observation samples is large, but generally the accuracy decreases when the observation signal length becomes short. That is, in the conventional signal processing device 10P, it is known that the accuracy decreases as N decreases.
  • the conventional signal processing apparatus 10P sets the initial value of the dispersion value ⁇ (n, k) of the audio signal including the direct sound and the initial reflection sound to the power spectrum of the observation signal, ie, It is because it substitutes by
  • the variance value ⁇ (n, k) should match the power spectrum of the speech signal, including direct and early reflections.
  • the conventional signal processing apparatus 10P substitutes the power spectrum of the observation signal with poor approximation accuracy as the initial value.
  • the signal processing device 10P estimates a regression coefficient g (k) maintaining a certain degree of accuracy using the equation (13).
  • the present invention by estimating the feature quantity corresponding to the power of the observation signal using a neural network, it is possible to obtain the initial value of the feature quantity corresponding to the power with higher accuracy than in the prior art. This makes it possible to estimate the regression coefficient g (k) with high accuracy even with a small number of averaging.
  • each component of the signal processing apparatus 10 shown in FIG. 1 is functionally conceptual, and does not necessarily have to be physically configured as illustrated. That is, the specific form of the distribution and integration of the functions of the signal processing apparatus 10 is not limited to that shown in the drawings, and all or part thereof may be functionally or physically in any unit depending on various loads and usage conditions. Can be distributed or integrated.
  • the memory 1010 includes a ROM 1011 and a RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1090.
  • Disk drive interface 1040 is connected to disk drive 1100.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to, for example, a mouse 1110 and a keyboard 1120.
  • the video adapter 1060 is connected to, for example, the display 1130.
  • the setting data used in the process of the above-described embodiment is stored as program data 1094 in, for example, the memory 1010 or the hard disk drive 1090. Then, the CPU 1020 reads out the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as needed, and executes them.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

信号処理装置（１０）は、１以上のマイクで観測された残響を含む観測信号から残響を低減した信号を推定する信号処理装置であって、残響を含む信号の特徴量を入力とし、当該信号中の残響を低減した信号のパワーに対応する特徴量の推定値を出力するよう学習されたニューラルネットワークに、観測信号に対応する観測特徴量を入力することで、観測信号に対応する残響を低減した信号のパワーに対応する特徴量の推定値を推定するパワー推定部（１２）と、パワー推定部（１２）の推定結果であるパワーに対応する特徴量の推定値を用いて、観測信号を生成する自己回帰過程の回帰係数を推定する回帰係数推定部（１３）と、を有する。

Description

ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム
　本発明は、ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラムに関する。
　実環境でマイクロホンを用いて音声を収音すると、一般的に、目的音声信号だけでなく、種々の音響歪み（雑音や残響）が目的音声に重畳した信号が観測される。これらの雑音や残響は目的音声の明瞭度や聞き取りやすさを大きく低下させてしまう要因である。また、収録音にこれらの音響歪みが含まれていると音声認識精度が大きく低下することも知られている。
　そこで、観測音声信号からこれらの音響歪みを除去する技術がある。この観測音声信号からこれらの音響歪みを除去する技術は、様々な音響信号処理システムの要素技術として用いることが可能である。例えば、観測音声信号からこれらの音響歪みを除去する技術は、実環境下で収音された音から目的信号を抽出して聞き取り易さを向上させる補聴システム或いは音編集システムなどに利用することができる。また、観測音声信号からこれらの音響歪みを除去する技術は、実環境下で収音された音声を精度良く認識する音声認識システムに利用することもできる。
　近年、観測信号に含まれるクリーン音声に関して、平均０、分散λ（ｎ，ｋ）のガウス分布（ｎ：フレームインデックス、ｋ：周波数インデックス）を仮定し、また、観測信号の生成過程は自己回帰過程に従うものとして、その自己回帰過程の回帰係数を繰り返し推定することによって、残響除去のための逆フィルタを推定する方法が提案されている（例えば、非特許文献１参照）。
T.　Nakatani,　T.　Yoshioka,　K.　Kinoshita,　M.　Miyoshi　and　B.-H.　Juang,　"Speech　Dereverberation　Based　on　Variance-Normalized　Delayed　Linear　Prediction",　IEEE　Transactions　on　Audio,　Speech,　and　Language　Processing,　vol.　18(7),　pp.　1717－1731,　2010.
　ここで、従来の信号処理装置について説明する。図６は、従来の信号処理装置の構成の一例を示す図である。図６に示すように、従来の信号処理装置１０Ｐは、観測特徴量計算部１１Ｐ、パワースペクトル推定部１２Ｐ、回帰係数推定部１３Ｐ、逆フィルタ処理部１４Ｐ及び繰り返し制御部１５Ｐと、を有する。
　観測特徴量計算部１１Ｐは、入力を受け付けた観測信号から観測信号特徴量を計算する。パワー推定部１２Ｐは、繰り返し計算の前は観測特徴量計算部１１Ｐが変換した観測特徴量、繰り返しループに入った際は逆フィルタ処理部１４Ｐの処理結果を入力として、所望信号のパワースペクトルを計算する。回帰係数推定部１３Ｐは、所望信号のパワースペクトルの推定結果を用いて回帰係数を推定する。逆フィルタ処理部１４Ｐは、推定した回帰係数を用いて逆フィルタ処理を行う。
　繰り返し制御部１５Ｐは、繰り返し計算が終了していない場合、逆フィルタ処理部１４Ｐによる逆フィルタ処理の結果を再度パワースペクトル推定部１２Ｐに入力する。以降、所望信号のパワースペクトルの再推定、これに基づく回帰係数推定、逆フィルタ処理が必要な回数繰り返される。
　しかしながら、従来の信号処理装置１０Ｐでは、直接音と初期反射音とを含む音声信号の分散値の初期値を、観測信号のパワースペクトルで代用して残響除去を行うため、観測信号が短くなると精度が低下するという問題があった。
　本発明は、上記に鑑みてなされたものであって、観測信号が短い場合でも残響除去を精度よく行うことができるニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る信号処理装置は、１以上のマイクで観測された残響を含む観測信号から残響を低減した信号を推定する信号処理装置であって、残響を含む信号の特徴量を入力とし、当該信号中の残響を低減した信号のパワーに対応する特徴量の推定値を出力するよう学習されたニューラルネットワークに、観測信号に対応する観測特徴量を入力することで、観測信号に対応する残響を低減した信号のパワーに対応する特徴量の推定値を推定する第１の推定部と、第１推定部の推定結果であるパワーに対応する特徴量の推定値を用いて、観測信号を生成する自己回帰過程の回帰係数を推定する第２の推定部と、を有することを特徴とする。
　本発明によれば、観測信号が短い場合でも残響除去を精度よく行うことができる。
図１は、実施の形態に係る信号処理装置の機能構成の一例を説明する図である。 図２は、図１に示す信号処理装置の要部構成を示す図である。 図３は、実施の形態に係る信号処理装置の機能構成の一例を説明する図である。 図４は、実施の形態に係る残響除去処理の処理手順を示すフローチャートである。 図５は、プログラムが実行されることにより、信号処理装置が実現されるコンピュータの一例を示す図である。 図６は、従来の信号処理装置の構成の一例を示す図である。
　以下、図面を参照して、本発明の一実施の形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［実施の形態］
　以下、本願が開示するニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラムの実施形態を説明する。以下の実施形態は、一例を示すに過ぎず、本願が開示する技術を限定するものではない。また、以下に示す実施の形態およびその他の実施の形態は、矛盾しない範囲で適宜組み合わせてもよい。
［実施の形態に係る信号処理装置］
　まず、本実施の形態に係る信号処理装置の構成について説明する。本実施の形態に係る信号処理装置は、スペクトル推定を精度よく行うことができるニューラルネットワークを用いて、所望信号のパワーに対応する特徴量の推定処理を行っている。
　図１は、実施の形態に係る信号処理装置の機能構成の一例を説明する図である。図１に示すように、実施の形態に係る信号処理装置１０は、観測特徴量計算部１１、パワー推定部１２（第１の推定部）、回帰係数推定部１３（第２の推定部）、逆フィルタ処理部１４及び繰り返し制御部１５を有する。なお、信号処理装置１０は、例えば、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、ＣＰＵ（Central　Processing　Unit）等を含むコンピュータ等に所定のプログラムが読み込まれて、ＣＰＵが所定のプログラムを実行することで実現される。
　観測特徴量計算部１１は、入力信号である観測信号を観測特徴量に変換する。具体的には観測特徴量計算部１１は、１以上のマイクで観測された、残響を含む観測信号をそれぞれ観測特徴量に変換する。観測特徴量計算部１１は、時間領域の信号を入力とし、この入力された信号から観測特徴量を計算し、その観測特徴量を出力する。観測特徴量計算部１１は、観測特徴量を、パワー推定部１２、回帰係数推定部１３、逆フィルタ処理部１４に出力する。本実施の形態では、観測信号の総称をｘｍ（ｔ）とし、観測特徴量の総称をｘ（ｎ）とする。ｔは時間のインデックス、ｍはマイクのインデックス、ｎは短時間時間フレームのインデックスである。ここで、観測信号には、１人以上の話者の音声と、音声以外の音響歪み（雑音や残響等）が含まれるものとする。
　パワー推定部１２は、観測特徴量を基に、学習済みのニューラルネットワークを用いて、所望信号の時刻ごとのパワーに対応する特徴量を推定する。パワー推定部１２は、学習済みのニューラルネットワークを用いて、観測特徴量計算部１１で得られた１以上の観測特徴量を基に、残響を抑圧した信号である所望信号のパワーに対応する特徴量を計算する。ここで、パワーに対応する特徴量とは、例えばパワースペクトルや、時間領域の観測特徴量のフレームごとのパワーの平均値などである。
　すなわち、パワー推定部１２は、学習済みのニューラルネットワークを用いて、観測特徴量ｘ（ｎ）を基に、該観測特徴量ｘ（ｎ）に対応する直接音と初期反射音とを含む音声のパワーに対応する特徴量（例えば、パワースペクトル）、すなわち、所望信号のパワーに対応する特徴量を推定する。もしくは、パワー推定部１２は、学習済みのニューラルネットワークを用いて、直接音と初期反射音を含む音声のマイク間相関も考慮した空間相関行列（詳細は、参考文献１の５章参照。）を推定する。このほかにも、所定時間区間の時間領域の観測特徴量のパワーの平均値からなる系列をパワーに対応する特徴量として用いてもよい。
　また、ここでは、所望信号を、直接音と初期反射音とを含む音声の信号であると仮定して説明したが、これに限定されるものではない。要するに、観測信号よりも残響を抑圧した信号を所望信号とすればよい。
　本実施の形態では、パワーに対応する特徴量としてパワースペクトルを用いた場合を例に説明することとし、この所望信号のパワースペクトルの総称をλ（ｎ）とする。また、ニューラルネットワークをＦ［・］とする。
　パワー推定部１２は、例えば、Long　Short-Term　Memory（ＬＳＴＭ）再帰型ニューラルネットワークを用いる。もちろん、パワー推定部１２が用いるニューラルネットワークの形状は、全結合型、再帰型、双方向再帰型ニューラルネットワークなど如何なるものでもよい。
　回帰係数推定部１３は、所望信号のパワーに対応する特徴量の推定値を用いて線形予測フィルタを推定する。回帰係数推定部１３は、所望信号のパワースペクトルλ（ｎ）を用いて、線形予測フィルタを推定する。具体的には、回帰係数推定部１３は、所望信号のパワースペクトルを用いて、予測残差が、平均は０、分散は所望信号のパワースペクトルとなる時変ガウス分布に従うように線形予測フィルタを推定する。この線形予測フィルタのフィルタ係数が「回帰係数」である。具体的には、回帰係数推定部１３は、推定された所望信号のパワースペクトルλ（ｎ）及び観測特徴量ｘ（ｎ）を基に、回帰係数を推定する。本実施の形態では、回帰係数の総称をｇ（ｋ）とする（回帰係数推定部に関する詳細は、参考文献１（T.　Yoshioka,　T.　Nakatani,　“Generalization　of　Multi-Channel　Linear　Prediction　Methods　for　Blind　MIMO　Impulse　Response　Shortening”,　IEEE　Transactions　on　Audio,　Speech,　and　Language　Processing,　vol.　20(10),　pp.　2707-2720,　2012.）参照）。
　逆フィルタ処理部１４は、回帰係数推定部１３が推定した線形予測フィルタを用いて逆フィルタ処理を行う。逆フィルタ処理部１４は、回帰係数ｇ（ｋ）及び観測特徴量ｘ（ｎ）を用いて、観測特徴量に対して逆フィルタ処理を行い、残響除去信号ｄを求める。本実施の形態では、残響除去信号ｄの総称をｄ（ｎ）とする。
　繰り返し制御部１５は、パワー推定部１２による所望信号のパワーを推定する処理、回帰係数推定部１３による線形予測フィルタを推定する処理、及び、逆フィルタ処理部１４による逆フィルタ処理を、所定の終了条件に応じて繰り返す制御を行う。すなわち、繰り返し制御部１５は、パワースペクトル推定部１２による所望信号のパワースペクトルを計算する処理、回帰係数推定部１３による所望信号のパワーに対応する特徴量を用いた線形予測フィルタを計算する処理、及び、逆フィルタ処理部１４による観測特徴量に対する逆フィルタ処理を、所定の終了条件を満たすのに必要な回数だけ繰り返す制御を行う。所定の終了条件を満たすのに必要な回数は、例えば、予め設定された所定の回数や、使用されるパラメータのうち少なくともいずれかが所定の閾値に達するまでに要する回数である。
　繰り返し制御部１５は、所定の条件に達していない場合、あるいは、繰り返し回数が所定回数未満である場合、逆フィルタ処理部１４による逆フィルタ処理の結果（残響除去信号ｄ（ｎ））を再度パワースペクトル推定部１２に入力する。
　すなわち、繰り返しループの際には、パワー推定部１２は、繰り返し制御部１５の制御によって、残響除去信号ｄ（ｎ）を入力として、学習済みのニューラルネットワークＦ［・］を用いて、該残響除去信号ｄ（ｎ）に対応する所望信号のパワーに対応する特徴量の推定値（例えば、パワースペクトルλ（ｎ））を推定する。その後、回帰係数推定部１３は、残響除去信号ｄ（ｎ）に対応する所望信号のパワースペクトルλ（ｎ）及び観測特徴量ｘ（ｎ）を基に、回帰係数ｇ（ｋ）を推定する。続いて、逆フィルタ処理部１４は、回帰係数推定部１３が推定した回帰係数ｇ（ｋ）を用いて、逆フィルタ処理を行い、新たに残響除去信号ｄ（ｎ）を出力する。
　これに対し、繰り返し制御部１５は、所定の終了条件を満たした場合、あるいは、繰り返し回数が所定回数に達した場合、逆フィルタ処理部１４による逆フィルタ処理の結果を、残響除去信号ｄ（ｎ）として出力する。このように、本実施の形態では、繰り返し制御部１５は、所望信号のパワーに対応する特徴量の再推定を実行させ、それを基に回帰係数推定、逆フィルタ処理を行うことを繰り返す制御を行う。
［本実施の形態における数理的背景］
　まず、本実施の形態における数理的背景について述べる。本実施の形態に係る信号処理方法は、観測信号に含まれるクリーン音声に関して、平均０、分散λ（ｎ，ｋ）のガウス分布（ｎ：フレームインデックス、ｋ：周波数インデックス）を仮定し、また、観測信号の生成過程は自己回帰過程に従うものとして、その自己回帰過程の回帰係数を繰り返し推定することによって、残響除去のための逆フィルタを推定する方法である。
　はじめに、観測信号ｘｍ（ｔ）を入力信号として説明する。この観測信号ｘｍ（ｔ）は、観測特徴量計算部１１によって、観測特徴量ｘｍ（ｎ，ｋ）に変換される。この観測特徴量ｘｍ（ｎ，ｋ）は、以下の（１）式のように、クリーン音声信号ｓ（ｎ，ｋ）と音源とｍ番目のマイク間のインパルス応答ｈｍ（ｌ，ｋ）の畳み込みで表されるものと仮定する。
Figure JPOXMLDOC01-appb-M000001
　（１）式において、「＊」は、変数の複素共役を表す。この観測過程は、以下の（２）式のように、最適な回帰係数ｇｍ（ｌ，ｋ）を用いた自己回帰過程として等価的に表すことができる。
Figure JPOXMLDOC01-appb-M000002
　（２）式の第二項は、観測信号中の後部残響部分を表し、第一項は、それ以外の部分、つまり直接音と初期反射音とを含む信号として表される。また、（２）式は以下の（３）式に示すように、行列形式で表すことができる。なお、以降の式では、英文字の小文字の太字（例えば（３）式における太字の「ｇ」，「ｘ」）は行列を表す。また、Ｈは共役転置を表す。Ｔは、転置を示す。また、（３）式の各変数は以下の（４）～（７）式のように表される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　（３）式は、仮に最適な回帰係数を求めることができれば、以下の（８）式のように残響除去を行い、直接音と初期反射音とを含む信号を取り出すことができることを意味している。
Figure JPOXMLDOC01-appb-M000008
　そして、残響除去信号ｄ（ｎ，ｋ）は、以下の（９）式のように、平均０、分散λ(ｎ，ｋ)のガウス分布に従うものと仮定している。
Figure JPOXMLDOC01-appb-M000009
　この確率モデルを用いれば、各周波数ｋについて、１～Ｎまでの観測に関して、以下の（１０），（１１）式に示すような尤度関数を定義することができる。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
　最終的に、この尤度関数を最大化する最適なｇ（ｋ）とλ（ｋ）は、以下の（１２）式を最小化するものとして得られる。
Figure JPOXMLDOC01-appb-M000012
　具体的な計算手順としては、回帰係数推定部１３は、以下の（１３）～（１５）式を用いる演算処理Ａを行うことによって、回帰係数ｇ（ｋ）を求める。そして、逆フィルタ処理部１４は、上述した（４）式を用いる演算処理Ｂを行うことによって、残響除去信号ｄ（ｎ，ｋ）を求める。なお、Ｒは、重み付き共分散行列であり、ｒは、重み付き相関ベクトルである。
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
　ここで、本実施の形態では、（１４），（１５）式に適用すべき所望信号のパワースペクトル（λ（ｎ，ｋ））を、パワー推定部１２が、学習済みのニューラルネットワークＦ［・］を用いて推定する。
　このパワー推定部１２が用いるニューラルネットワークＦ［・］の入出力関係の概要を以下の（１６）～（１８）式に示した。Ｆ［・］の入力は、残響を含む音声の観測特徴量ｘ（ｎ）である。そして、Ｆ［・］の出力は、直接音と初期反射音とを含む音声のパワースペクトル、すなわち、所望信号のパワースペクトルλ（ｎ）である。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
Figure JPOXMLDOC01-appb-M000018
　本実施の形態では、パワー推定部１２は、観測特徴量ｘ（ｎ）を入力として、（１６）～（１８）式で示すニューラルネットワークＦ［・］から出力された所望信号のパワースペクトルλ（ｎ）を、回帰係数推定部１３に入力する。または、パワー推定部１２は、繰り返しループの処理の際には、逆フィルタ処理部１４の結果である残響除去信号ｄ（ｎ）を入力として、（１６）～（１８）式で示すニューラルネットワークＦ［・］から出力された所望信号のパワースペクトルλ（ｎ）を、回帰係数推定部１３に入力する。
　回帰係数推定部１３は、ニューラルネットワークＦ［・］から出力された所望信号のパワースペクトルλ（ｎ）を、（１４），（１５）式に代入し、（１３）式を用いて回帰係数ｇ（ｋ）を推定する。続いて、本実施の形態では、推定された回帰係数ｇ（ｋ）を用いて、逆フィルタ処理部１４が、（４）式を適用して線形の逆フィルタによる残響除去を行い、残響除去信号ｄ（ｎ，ｋ）を得る。
　したがって、最適な回帰係数ｇ（ｋ）及び最適な残響除去信号ｄ（ｎ，ｋ）は、（１６）～（１８）式で示すニューラルネットワークＦ［・］の所望信号のパワースペクトル推定処理、回帰係数ｇ（ｋ）を推定する（１３）～（１５）式を用いた演算処理Ａ、及び、残響除去信号ｄ（ｎ，ｋ）を得るための（４）式を用いた演算処理Ｂを繰り返すことによって求めることができる。
　このように、本実施の形態では、ニューラルネットワークを用いて所望信号のパワーに対応する特徴量（例えばパワースペクトル）を推定することによって、精度のよいパワースペクトル推定を行うことが可能である。したがって、本実施の形態では、観測信号長が短い場合、すなわち、Ｎの値が小さい場合であっても、（１４），（１５）式を用いて理想値に近いＲ及びｒを計算することができる。
　ここで、一般的には、ニューラルネットワークＦ［・］から出力される残響除去音を用いても音声認識性能を改善することができないことが知られている。これに対し、本実施の形態では、ニューラルネットワークＦ［・］による残響除去と、それを基にして逆フィルタを設計し、逆フィルタによる残響除去を行っている。このように、本実施の形態では、ニューラルネットワークＦ［・］による出力を基にして線形逆フィルタを推定し、線形の残響除去を行うことで、音声認識性能を改善している。
［残響除去処理］
　この信号処理装置１０は、入力された観測信号から残響を高精度で除去し、観測信号に含まれる集音目的の音声をクリーン化し、出力する。図１を参照して、信号処理装置１０による残響除去処理（テスト処理）の流れについて説明する。
　まず、テスト処理では、観測特徴量計算部１１は、時間領域の信号（観測信号）が入力されると、（１）式のように、観測特徴量を計算し、その特徴量を出力する。例えば、観測特徴量計算部１１は、入力の時間領域の信号を３０ｍｓ程度の短時間フレームに分割し、分割した各短時間フレームのデータを短時間フーリエ変換し、複素スペクトルｘ（ｎ，ｋ）を出力する。
　次に、パワー推定部１２は、観測特徴量計算部１１が計算した観測特徴量を入力とし、（１６）～（１８）式で示す、学習済みのニューラルネットワークＦ［・］を用いて、観測信号から残響を低減した信号（例えば、直接音と初期反射音とを含む音声信号）のパワーに対応する特徴量（例えば、パワースペクトルλ（ｎ））を推定する。ニューラルネットワークの入力が複素スペクトルｘ（ｎ，ｋ）である場合、例えば、ニューラルネットワークの入力層では、入力の値の絶対値の二乗を取り実数値に変換する処理を明示的に入れる。これによって、パワー推定部１２では、ニューラルネットワークの入力が複素数であっても、実数値であるパワーに対応する特徴量を出力させることができる。
　その後、パワー推定部１２からの出力であるパワーに対応する特徴量（この例ではパワースペクトルλ（ｎ））は、回帰係数推定部１３に入力される。回帰係数推定部１３は、入力されたパワースペクトルλ（ｎ）を、（１４），（１５）式に代入し、（１３）式を用いて回帰係数ｇ（ｋ）を推定し、回帰係数ｇ（ｋ）を出力する。
　逆フィルタ処理部１４は、この回帰係数ｇ（ｋ）を入力として、（４）式を用いて線形の逆フィルタによる残響除去を行い、残響除去信号ｄ（ｎ，ｋ）を出力する。
　その後、繰り返し制御部１５は、所定の終了条件を満たさない場合、あるいは、繰り返し回数が所定回数未満である場合には、残響除去信号ｄ（ｎ，ｋ）をパワー推定部１２に入力し、所望信号パワーに対応する特徴量の推定精度を改善する。そして、改善された所望信号パワーに対応する特徴量を用いて、再度、回帰係数推定部１３による回帰係数推定処理、逆フィルタ処理部１４による逆フィルタ処理を行う。すなわち、図１の矢印Ｙ１に示す繰り返しループに相当する処理を繰り返す。
　一方、繰り返し制御部１５は、所定の終了条件を満たした場合、あるいは、繰り返し回数が所定回数に達した場合には、十分に残響除去を行ったとして、図１の矢印Ｙ２のように、残響除去信号ｄ（ｎ，ｋ）を出力する。
［ニューラルネットワークの学習処理］
　信号処理装置１０では、テスト前の事前学習時には、残響を含む音声の特徴量と、これに対応する直接音と初期反射音を含む音声の特徴量（正解信号）との対を用いて、ニューラルネットワークＦ［・］のパラメータを最適化する。学習用の観測信号（残響を含む音声）とそれに対応する直接音と初期反射音を含む音声（正解信号）の対の集合からなる学習用データが予め用意されており、これを用いて学習を行う。
　そこで、信号処理装置１０による学習処理の流れについて説明する。図２は、図１に示す信号処理装置１０の要部構成を示す図である。説明のため、図２は、信号処理装置１０の要部を示す。
　図２に示すように、パワー推定部１２に対する入力は、学習用データ中の学習用観測信号（残響を含む音声）に対し観測特徴量計算部１１が計算した観測特徴量である。残響を含む音声とは、例えば、クリーン音声と残響とを含む音声である。
　そして、パワースペクトル推定部１２におけるニューラルネットワークの出力と比較するための教師信号は、入力された残響を含む観測信号から残響を低減した信号のパワーに対応する特徴量である。例えば、入力された残響を含む音声に対応する直接音と初期反射音とを含む音声のパワースペクトルデータである。これは、学習用データ中で正解信号として予め与えられる。
　学習時には、パワー推定部１２におけるニューラルネットワークに、学習用観測信号から求めた上記の残響を含む音声の観測特徴量を入力し、出力を得る。そして、この出力と、教師信号（学習用データ中の正解信号）との間の二乗誤差が最小となるように、ニューラルネットワークのパラメータを更新する。要するに、ニューラルネットワークの出力と正解信号が近づくように、ニューラルネットワークのパラメータを更新すればよく、二乗誤差以外の距離を基準として用いてもよい。
　具体的には、教師信号をｓ、ニューラルネットワークをＦ［・;θ］、ニューラルネットワークのパラメータをθ、ニューラルネットワークの入力をｘとした場合、学習時には、|ｓ－Ｆ［ｘ;θ］|^２の値が最も小さくなるように、θを更新する。
　また、図３は、実施の形態に係る信号処理装置の機能構成の一例を説明する図である。図３に示す信号処理装置１０Ａでは、ニューラルネットワーク最適化基準であるコストを計算するコスト計算部２０がさらに設けられている。
　図３に示す信号処理装置１０Ａでは、ニューラルネットワークからの出力は回帰係数推定部１３に渡され、回帰係数が計算される。そして、信号処理装置１０Ａでは、回帰係数に基づき観測特徴量に対して逆フィルタ処理が逆フィルタ処理部１４において行われ、そして、逆フィルタ計算の結果がコスト計算部２０に入力される。
　コスト計算部２０は、逆フィルタ処理後の信号と、学習用データとして与えられる正解信号を基に、ニューラルネットワーク最適化基準のコストを計算する。
　そして、信号処理装置１０Ａでは、ニューラルネットワーク内のパラメータは、パラメータ更新前よりもそのコストが小さくなるように、誤差逆伝搬法を用いて更新される。
　図２では、正解信号はパワー推定部の出力値の正解であったが、この例での正解信号は、最終的な目的（パワー推定部の出力を用いて何を計算するか）に応じて異なる。コスト計算部２０内で計算されるコストと正解信号の例を以下にいくつか示す。
　例えば、コスト計算部２０がニューラルネットワークで表わすことのできる音声認識システムであり、正解信号が音素ラベルであるとする。
　この場合、コスト計算部２０（つまり、音声認識システム）にて推定される音素ラベルが正解の音素ラベルに近くなるように、パワー推定部１２が学習（つまり更新）される。
　また、コスト計算部２０がニューラルネットワークで表わすことのできる雑音抑圧システムであり、正解信号が雑音や残響を含まないクリーン音声信号の特徴量であるとする。
　この場合には、雑音抑圧の結果が正解信号であるクリーン音声信号の特徴にできるだけ近くなるように、パワー推定部１２が学習（つまり更新）される。
　このような構成とすることで、最終的な目的に応じてより適切なパワースペクトル推定値が出力できるように、ニューラルネットワークのパラメータを学習させることができる。
［残響除去処理の処理手順］
　次に、信号処理装置１０が行う残響除去処理の処理手順について説明する。図４は、実施の形態に係る残響除去処理の処理手順を示すフローチャートである。ここでは、所定の終了条件が「所定の繰り返し回数に達したこと」である場合を例に、具体処理を説明する。
　図４に示すように、まず、観測信号が入力されると（ステップＳ１）、観測特徴量計算部１１は、観測信号の観測特徴量を、（１）式のように計算する観測特徴量計算処理を行う（ステップＳ２）。
　そして、繰り返し制御部１５は、繰り返し回数ｎを初期化し、ｎ＝１とする（ステップＳ３）。パワー推定部１２は、観測特徴量を入力とし、（１６）～（１８）式で示す、学習済みのニューラルネットワークＦ［・］を用いて、所望信号のパワースペクトルλ（ｎ）を推定するパワー推定処理を行う（ステップＳ４）。
　続いて、回帰係数推定部１３は、所望信号のパワースペクトルλ（ｎ）を用いて、線形予測フィルタを推定する回帰係数推定処理を行う（ステップＳ５）。この場合、回帰係数推定部１３は、（１３）～（１５）式を用いて、回帰係数ｇ（ｋ）を推定する。そして、逆フィルタ処理部１４は、回帰係数推定部１３が推定した線形予測フィルタを用いて逆フィルタ処理を行う（ステップＳ６）。この場合、逆フィルタ処理部１４は、回帰係数ｇ（ｋ）を基に（４）式を用いて逆フィルタ処理を行い、残響除去信号ｄ（ｎ）を求める。
　繰り返し制御部１５は、繰り返し回数ｎが所定回数Ｎに達したか否か、すなわち、ｎ＝Ｎであるか否かを判定する（ステップＳ７）。繰り返し制御部１５は、ｎ＝Ｎでないと判定した場合（ステップＳ７：Ｎｏ）、ｎ＝ｎ＋１とし（ステップＳ８）、ステップＳ４に戻る。すなわち、繰り返し制御部１５は、逆フィルタ処理部１４の出力である残響除去信号ｄ（ｎ）を、パワー推定部１２に入力し、ステップＳ４～ステップＳ６の繰り返しループ処理を実行する。
　繰り返し制御部１５は、ｎ＝Ｎであると判定した場合（ステップＳ７：Ｙｅｓ）、逆フィルタ処理部１４による逆フィルタ処理の結果を、残響除去信号ｄ（ｎ）として出力する（ステップＳ９）。
［従来技術の数理的背景］
　ここで、従来技術の数理的背景について説明する。従来の信号処理装置１０Ｐ（図６参照）は、観測特徴量計算部１１Ｐが、入力を受け付けた観測信号から（１）式のように観測信号特徴量を計算する。パワースペクトル推定部１２Ｐは、繰り返し計算の前は観測特徴量計算部１１Ｐが変換した観測特徴量を入力とし、繰り返しループに入った際は逆フィルタ処理部１４Ｐの処理結果を入力として、所望信号のパワースペクトルを計算する。繰り返しループに入った際は、従来のパワースペクトル推定部１２Ｐは、以下の（１９）式を用いて、所望信号のパワースペクトルを求めていた。また、繰り返し計算の前は、所望信号のパワースペクトルを観測信号のパワースペクトル、すなわち｜ｘｍ（ｎ，ｋ）｜２としていた。
Figure JPOXMLDOC01-appb-M000019
　そして、従来の信号処理装置１０Ｐは、回帰係数推定部１３Ｐが、所望信号のパワースペクトルの推定結果を基に、（１３）～（１５）式を用いて、回帰係数を推定し、推定した回帰係数を基に、逆フィルタ処理部１４Ｐが（４）式を用いて逆フィルタ処理を行う。
　この従来の信号処理装置１０Ｐでは、観測サンプル数Ｎが大きい場合は効果的に動作する一方、一般的に、観測信号長が短くなると精度が低下することが知られている。すなわち、従来の信号処理装置１０Ｐでは、Ｎが小さくなると精度が低下することが知られている。これは、上でも示したように、従来の信号処理装置１０Ｐが、直接音と初期反射音とを含む音声信号の分散値λ（ｎ，ｋ）の初期値を、観測信号のパワースペクトル、すなわち｜ｘｍ（ｎ，ｋ）｜２で代用していることに起因する。
　理想的には、分散値λ（ｎ，ｋ）は、直接音と初期反射音とを含む音声信号のパワースペクトルと一致していなければならない。これに対し、従来の信号処理装置１０Ｐは、このパワースペクトルを求めることが困難であるため、初期値としては、近似精度の悪い観測信号のパワースペクトルを代用している。
　従来の信号処理装置１０Ｐは、この精度の低い初期値による影響をできる限り排除するため、（１４），（１５）式のＲやｒの計算のための平均化の回数（Ｎに相当）を多くし、理想値に近いＲやｒを得ている。そして、信号処理装置１０Ｐは、この結果として（１３）式を用い、ある程度の精度を維持した回帰係数ｇ（ｋ）を推定する。
　しかしながら、従来の信号処理装置１０Ｐでは、平均化回数が少ない場合（Ｎの値が小さい場合）、λ（ｎ，ｋ）に含まれる誤差の影響が（１４），（１５）式のＲやｒの計算に直接的に影響し、精度の良い回帰係数ｇ（ｋ）を求めることができない。従来の信号処理装置１０Ｐは、精度の悪い回帰係数ｇ（ｋ）しか求められない場合、回帰係数を推定する処理や逆フィルタ処理を繰り返しても、最終的に精度のよいλ（ｎ，ｋ）を得ることはできず、精度の良い残響抑圧を行うことはできないという問題があった。
　これに対し、本発明では、観測信号のパワーに対応する特徴量をニューラルネットワークにより推定することで、従来よりも精度の高いパワーに対応する特徴量の初期値を得ることができる。これにより、少ない平均化回数でも、精度の高い回帰係数ｇ（ｋ）を推定することができる。
［評価実験］
　この実施の形態に係る音声強調処理の性能を評価する目的で評価実験を行った。本評価実験には、残響下音声コーパスREVERBを用いた。REVERBには種々の残響を含んだ学習データが用意されているため、この全データについて観測信号特徴量と、それに対応する所望信号（直接音と初期反射音とが含まれる音声）の特徴量をあらかじめ算出し、それを学習データセットとしてニューラルネットワークのパラメータを最適化した。
　また、ニューラルネットワークの形状は全結合型、再帰型、双方向再帰型ニューラルネットワークなど如何なるものでも構わないが、ここではLong　Short-Term　Memory（ＬＳＴＭ）再帰型ニューラルネットワークを用いた。学習データを用いてパラメータを最適化した後は、REVERBのテストデータ（学習データとは異なる残響、発話者を含む）を用いて手法の評価を行った。テストデータは、REVERBの開発セット、評価セットとした。
　また、観測信号長（（１４），（１５）式におけるＮの値）によって、どのように性能が変化するかを評価するため、Offline処理とOnline処理の二つを検討した。Offline処理では、一発話すべてのデータを処理に用いることができることを仮定しており、Ｎの値は一発話の発話長に相当する。
　一方、Online処理では、一発話すべてのデータを処理に用いることはできない。具体的には、Online処理では、発話の冒頭部から２秒ずつデータを読み込んでいき、２秒ごとに残響除去処理を行う。そのため、（１４），（１５）式におけるＮは、一発話の発話長よりも短い２秒となる。この結果、Online処理の場合は、（１４），（１５）式で用いることのできる平均化回数が減ってしまい、従来の信号処理装置では性能が低下してしまうことが予想される。
　実際に、本実施の形態に係る信号処理装置１０と従来の信号処理装置１０Ｐとのそれぞれを用いて残響除去を行い、残響除去後の音声を音声認識した場合の単語誤り率を以下の表１に示す。
Figure JPOXMLDOC01-appb-T000020
　この結果、表１に示すように、本実施の形態に係る信号処理装置１０は、Offline、Onlineの両ケースにて、従来の信号処理装置１０Ｐよりも低い単語誤り率を達成していることが分かる。
［実施の形態の効果］
　上記評価実験の結果でも示したように、本実施の形態に係る信号処理装置１０によれば、スペクトル推定を精度よく行うことができるニューラルネットワークを用いて、所望信号のパワースペクトルを推定するため、観測信号が短い場合でも残響除去を精度よく行うことができる。
　なお、本実施の形態では、バッチ処理の例を説明したが、これに限らない。例えば、従来実施されているように、所定時間（例えば、１０ｍｓｅｃ）のフレームごとに、本実施の形態で説明した信号処理を適用することも可能である。
　また、フーリエ変換した領域でない領域（例えば、サブバンド領域等）でも本実施の形態で説明した信号処理を実行することができる。
［実施の形態のシステム構成について］
　図１に示した信号処理装置１０の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、信号処理装置１０の機能の分散および統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散または統合して構成することができる。
　また、信号処理装置１０において行われる各処理は、全部または任意の一部が、ＣＰＵおよびＣＰＵにより解析実行されるプログラムにて実現されてもよい。また、信号処理装置１０において行われる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。
　また、実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともできる。もしくは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述および図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。
［プログラム］
　図５は、プログラムが実行されることにより、信号処理装置１０が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、信号処理装置１０の各処理を規定するプログラムは、コンピュータ１０００により実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、信号処理装置１０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施の形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ、ＷＡＮ等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施の形態について説明したが、本実施の形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。すなわち、本実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
　１０，１０Ａ，１０Ｐ　信号処理装置
　１１，１１Ｐ　観測特徴量計算部
　１２　パワー推定部
　１２Ｐ　パワースペクトル推定部
　１３，１３Ｐ　回帰係数推定部
　１４，１４Ｐ　逆フィルタ処理部
　１５，１５Ｐ　繰り返し制御部
　２０　コスト計算部

Claims (8)

  1. 　１以上のマイクで観測された残響を含む観測信号から残響を低減した信号を推定する信号処理装置であって、
    　残響を含む信号の特徴量を入力とし、当該信号中の残響を低減した信号のパワーに対応する特徴量の推定値を出力するよう学習されたニューラルネットワークに、前記観測信号に対応する観測特徴量を入力することで、前記観測信号に対応する前記残響を低減した信号のパワーに対応する特徴量の推定値を推定する第１の推定部と、
    　前記第１の推定部の推定結果であるパワーに対応する特徴量の推定値を用いて、前記観測信号を生成する自己回帰過程の回帰係数を推定する第２の推定部と、
    　を有することを特徴とするニューラルネットワークを用いた信号処理装置。
  2. 　前記第２の推定部は、予測残差が、平均は０、分散は所望信号のパワーとなる時変の確率分布に従うような線形予測フィルタのフィルタ係数を前記回帰係数として推定することを特徴とする請求項１に記載のニューラルネットワークを用いた信号処理装置。
  3. 　前記第２の推定部は、予測残差が、平均は０、分散は所望信号のパワーとなるガウス分布に従うような線形予測フィルタのフィルタ係数を前記回帰係数として推定することを特徴とする請求項１に記載のニューラルネットワークを用いた信号処理装置。
  4. 　前記線形予測フィルタを用いて観測特徴量に対して逆フィルタ処理を行う逆フィルタ処理部をさらに有することを特徴とする請求項２または３に記載のニューラルネットワークを用いた信号処理装置。
  5. 　前記第１の推定部による所望信号のパワーを推定する処理、前記第２の推定部による線形予測フィルタを推定する処理、及び、前記逆フィルタ処理部による逆フィルタ処理を、必要回数繰り返す制御を行う繰り返し制御部をさらに有することを特徴とする請求項４に記載のニューラルネットワークを用いた信号処理装置。
  6. 　前記第１の推定部における前記ニューラルネットワークは、再帰型ニューラルネットワークであって、
    　前記ニューラルネットワークの入力の値の絶対値の二乗を取ることで実数値に変換する層を含む
    　ことを特徴とする請求項１～５のいずれか一つに記載のニューラルネットワークを用いた信号処理装置。
  7. 　１以上のマイクで観測された残響を含む観測信号から残響を低減した信号を推定する信号処理装置が実行する信号処理方法であって、
    　残響を含む信号の特徴量を入力とし、当該信号中の残響を低減した信号のパワーに対応する特徴量の推定値を出力するよう学習されたニューラルネットワークに、前記観測信号に対応する観測特徴量を入力することで、前記観測信号に対応する前記残響を低減した信号のパワーに対応する特徴量の推定値を推定する第１の推定工程と、
    　前記第１の推定工程の推定結果であるパワーに対応する特徴量の推定値を用いて、前記観測信号を生成する自己回帰過程の回帰係数を推定する第２の推定工程と、
    　を含んだことを特徴とするニューラルネットワークを用いた信号処理方法。
  8. 　コンピュータを、請求項１～６のいずれか一つに記載のニューラルネットワークを用いた信号処理装置として機能させるための信号処理プログラム。
PCT/JP2018/028910 2017-08-04 2018-08-01 ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム WO2019026973A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880050189.1A CN110998723B (zh) 2017-08-04 2018-08-01 使用神经网络的信号处理装置及信号处理方法、记录介质
US16/636,031 US11304000B2 (en) 2017-08-04 2018-08-01 Neural network based signal processing device, neural network based signal processing method, and signal processing program
JP2019534568A JP6748304B2 (ja) 2017-08-04 2018-08-01 ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017151289 2017-08-04
JP2017-151289 2017-08-04

Publications (1)

Publication Number Publication Date
WO2019026973A1 true WO2019026973A1 (ja) 2019-02-07

Family

ID=65233945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028910 WO2019026973A1 (ja) 2017-08-04 2018-08-01 ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム

Country Status (4)

Country Link
US (1) US11304000B2 (ja)
JP (1) JP6748304B2 (ja)
CN (1) CN110998723B (ja)
WO (1) WO2019026973A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218597A1 (ja) * 2019-04-26 2020-10-29 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 区間検出装置、信号処理システム、モデル生成方法、区間検出方法およびプログラム
DE112022002371T5 (de) 2021-04-30 2024-04-04 Sony Group Corporation Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren, datenverarbeitungssystem und programm

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6891144B2 (ja) * 2018-06-18 2021-06-18 ヤフー株式会社 生成装置、生成方法及び生成プログラム
CN114758669B (zh) * 2022-06-13 2022-09-02 深圳比特微电子科技有限公司 音频处理模型的训练、音频处理方法、装置及电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213415A1 (en) * 2003-04-28 2004-10-28 Ratnam Rama Determining reverberation time
US8467538B2 (en) * 2008-03-03 2013-06-18 Nippon Telegraph And Telephone Corporation Dereverberation apparatus, dereverberation method, dereverberation program, and recording medium
EP1993320B1 (en) * 2006-03-03 2015-01-07 Nippon Telegraph And Telephone Corporation Reverberation removal device, reverberation removal method, reverberation removal program, and recording medium
US7593535B2 (en) * 2006-08-01 2009-09-22 Dts, Inc. Neural network filtering techniques for compensating linear and non-linear distortion of an audio transducer
WO2009110574A1 (ja) * 2008-03-06 2009-09-11 日本電信電話株式会社 信号強調装置、その方法、プログラム及び記録媒体
JP5769671B2 (ja) * 2012-07-10 2015-08-26 日本電信電話株式会社 エコー抑圧ゲイン推定方法とそれを用いたエコー消去装置とプログラム
CN103971908B (zh) * 2014-05-06 2016-03-09 国家电网公司 一种变压器噪声抑制方法
CN104157293B (zh) * 2014-08-28 2017-04-05 福建师范大学福清分校 一种增强声环境中目标语音信号拾取的信号处理方法
US9953661B2 (en) * 2014-09-26 2018-04-24 Cirrus Logic Inc. Neural network voice activity detection employing running range normalization
JP6124949B2 (ja) * 2015-01-14 2017-05-10 本田技研工業株式会社 音声処理装置、音声処理方法、及び音声処理システム
US9672821B2 (en) * 2015-06-05 2017-06-06 Apple Inc. Robust speech recognition in the presence of echo and noise using multiple signals for discrimination
US9813810B1 (en) * 2016-01-05 2017-11-07 Google Inc. Multi-microphone neural network for sound recognition
CN105915738A (zh) * 2016-05-30 2016-08-31 宇龙计算机通信科技(深圳)有限公司 回声消除方法、回声消除装置和终端
US10063965B2 (en) * 2016-06-01 2018-08-28 Google Llc Sound source estimation using neural networks
EP3507993B1 (en) * 2016-08-31 2020-11-25 Dolby Laboratories Licensing Corporation Source separation for reverberant environment

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ISHII, T. ET AL.: "Reverberant speech recognition based on denoising autoencoder", PROC. INTERSPEECH 2013, ISCA, 25 August 2013 (2013-08-25) - 29 August 2013 (2013-08-29), pages 3512 - 3516, XP055572244 *
KINOSHITA, K. ET AL.: "Neural network-based spectrum estimation for online WPE dereverberation", PROC. INTERSPEECH 2017, 20 August 2017 (2017-08-20) - 24 August 2017 (2017-08-24), pages 384 - 388, XP055572238 *
NAKATANI, T. ET AL.: "Speech dereverberation based on variance-normalized delayed linear prediction , IEEE Trans. on Audio", SPEECH, AND LANGUAGE PROCESSING, vol. 18, no. 7, September 2010 (2010-09-01), pages 1717 - 1731, XP011316583 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218597A1 (ja) * 2019-04-26 2020-10-29 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 区間検出装置、信号処理システム、モデル生成方法、区間検出方法およびプログラム
DE112022002371T5 (de) 2021-04-30 2024-04-04 Sony Group Corporation Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren, datenverarbeitungssystem und programm

Also Published As

Publication number Publication date
CN110998723B (zh) 2023-06-27
JP6748304B2 (ja) 2020-08-26
CN110998723A (zh) 2020-04-10
US20210400383A1 (en) 2021-12-23
JPWO2019026973A1 (ja) 2019-11-21
US11304000B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
JP4774100B2 (ja) 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体
JP6748304B2 (ja) ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム
CN108172231B (zh) 一种基于卡尔曼滤波的去混响方法及系统
JP5124014B2 (ja) 信号強調装置、その方法、プログラム及び記録媒体
CN110767244B (zh) 语音增强方法
Schmid et al. Variational Bayesian inference for multichannel dereverberation and noise reduction
CN112700786B (zh) 语音增强方法、装置、电子设备和存储介质
Oudre Interpolation of missing samples in sound signals based on autoregressive modeling
JP2006349723A (ja) 音響モデル作成装置、音声認識装置、音響モデル作成方法、音声認識方法、音響モデル作成プログラム、音声認識プログラムおよび記録媒体
JP4348393B2 (ja) 信号歪み除去装置、方法、プログラム及びそのプログラムを記録した記録媒体
JP2016143042A (ja) 雑音除去装置及び雑音除去プログラム
JP4977100B2 (ja) 残響除去装置、残響除去方法、そのプログラムおよび記録媒体
Akter et al. A tf masking based monaural speech enhancement using u-net architecture
Hirsch et al. A new HMM adaptation approach for the case of a hands-free speech input in reverberant rooms
WO2023132018A1 (ja) 学習装置、信号処理装置、学習方法及び学習プログラム
WO2023100374A1 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
Prodeus Late reverberation reduction and blind reverberation time measurement for automatic speech recognition
JP6553561B2 (ja) 信号解析装置、方法、及びプログラム
Nakatani et al. Incremental estimation of reverberation with uncertainty using prior knowledge of room acoustics for speech dereverberation
Yadav et al. Joint Dereverberation and Beamforming With Blind Estimation of the Shape Parameter of the Desired Source Prior
JP5885686B2 (ja) 音響モデル適応化装置、音響モデル適応化方法、プログラム
Bhosle et al. Adaptive Speech Spectrogram Approximation for Enhancement of Speech Signal
CN117935831A (zh) 训练方法、语音增强方法、电子设备及可读存储介质
JP2014109698A (ja) 話者適応化装置、話者適応化方法、プログラム
Sehr et al. Model-based dereverberation of speech in the mel-spectral domain

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18840174

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019534568

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18840174

Country of ref document: EP

Kind code of ref document: A1