WO2020121545A1 - 信号処理装置、信号処理方法、およびプログラム - Google Patents

信号処理装置、信号処理方法、およびプログラム Download PDF

Info

Publication number
WO2020121545A1
WO2020121545A1 PCT/JP2019/016587 JP2019016587W WO2020121545A1 WO 2020121545 A1 WO2020121545 A1 WO 2020121545A1 JP 2019016587 W JP2019016587 W JP 2019016587W WO 2020121545 A1 WO2020121545 A1 WO 2020121545A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
frequency
beamformer
time
steering vector
Prior art date
Application number
PCT/JP2019/016587
Other languages
English (en)
French (fr)
Inventor
中谷　智広
慶介 木下
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/312,912 priority Critical patent/US11894010B2/en
Priority to PCT/JP2019/029921 priority patent/WO2020121590A1/ja
Priority to JP2020559702A priority patent/JP7115562B2/ja
Publication of WO2020121545A1 publication Critical patent/WO2020121545A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Definitions

  • the present invention relates to signal processing technology for acoustic signals.
  • Non-Patent Documents 1 and 2 disclose methods of suppressing noise and reverberation from observed signals in the frequency domain.
  • the power of the observed signal in the frequency domain is received under the constraint that it does not distort the sound coming from the sound source to the microphone by receiving the observed signal in the frequency domain and the steering vector that represents the sound source direction or its estimation vector.
  • Estimate an instantaneous beamformer that minimizes and apply it to the observed signal in the frequency domain to suppress reverberation and noise (conventional method 1).
  • Patent Document 1 and Non-Patent Document 3 disclose a method of suppressing reverberation from an observation signal in the frequency domain.
  • the observed signal in the frequency domain and the power of the target sound at each time or its estimated value are received, and a reverberation suppression filter that suppresses the reverberation of the target sound is estimated based on the weighted power minimization criterion of the prediction error.
  • the reverberation suppression filter is applied to the observed signal in the frequency domain to suppress the reverberation of the observed signal in the frequency domain (conventional method 2).
  • Non-Patent Document 4 discloses a method of suppressing noise and reverberation by connecting the conventional method 2 and the conventional method 1 in cascade. In this method, the observed signal in the frequency domain and the power of the target sound at each time are received in the former stage, the reverberation is suppressed using the conventional method 2, and then the steering vector is received in the latter stage, and the reverberation is generated using the conventional method 1. Noise is further suppressed (conventional method 3).
  • Conventional method 1 was originally developed for suppressing noise, and cannot always sufficiently suppress reverberation.
  • the conventional method 2 cannot suppress noise.
  • the conventional method 3 can suppress more noise and reverberation than when the conventional method 1 or the conventional method 2 is used alone.
  • the former method 2 in the former stage and the conventional method 1 in the latter stage are regarded as independent systems and optimized in each system. Therefore, when the conventional method 2 is applied in the previous stage, it is not always possible to sufficiently suppress reverberation due to the influence of noise.
  • the conventional method 1 when the conventional method 1 is applied in the latter stage, it is not always possible to sufficiently suppress the noise reverberation due to the influence of the residual reverberation.
  • the present invention has been made in view of the above points, and an object thereof is to provide a technique capable of sufficiently suppressing noise and reverberation.
  • a frequency-based observation signal corresponding to each of a plurality of frequency bands of an observation signal obtained by collecting an acoustic signal emitted from a sound source has a present signal and a predetermined delay at each time.
  • a convolutional beamformer is obtained so that the estimated signal obtained by applying the convolutional beamformer that calculates a weighted sum with the signal sequence of The obtained convolutional beamformer is applied to the frequency-based observation signal to obtain the target signal.
  • the convolutional beamformer is obtained so that the probability that the estimated signal based on the probabilistic model is expressed becomes large, noise suppression and reverberation suppression can be optimized as one system, and noise and reverberation can be sufficiently obtained. Can be suppressed.
  • FIG. 1A is a block diagram illustrating the functional configuration of the signal processing device according to the first embodiment.
  • FIG. 1B is a flowchart for illustrating the signal processing method according to the first embodiment.
  • FIG. 2A is a block diagram illustrating the functional configuration of the signal processing device according to the second embodiment.
  • FIG. 2B is a flow diagram for illustrating the signal processing method of the second embodiment.
  • FIG. 3 is a block diagram illustrating the functional configuration of the signal processing device according to the third embodiment.
  • FIG. 4 is a block diagram illustrating the functional configuration of the parameter estimation unit in FIG.
  • FIG. 5 is a flow chart for illustrating the parameter estimation method of the third embodiment.
  • FIG. 6 is a block diagram illustrating the functional configuration of the signal processing devices of the fourth to seventh embodiments.
  • FIG. 1A is a block diagram illustrating the functional configuration of the signal processing device according to the first embodiment.
  • FIG. 1B is a flowchart for illustrating the signal processing method according to the first embodiment.
  • FIG. 7 is a block diagram illustrating a functional configuration of the parameter estimation unit in FIG.
  • FIG. 8 is a block diagram illustrating the functional configuration of the steering vector estimation unit in FIG.
  • FIG. 9 is a block diagram illustrating the functional configuration of the signal processing device according to the eighth embodiment.
  • FIG. 10 is a block diagram illustrating the functional configuration of the signal processing device according to the ninth embodiment.
  • 11A to 11C are block diagrams for explaining an example of use of the signal processing device of the embodiment.
  • FIG. 12 is a table illustrating the experimental results of the first embodiment.
  • FIG. 13 is a table illustrating the experimental results of the first embodiment.
  • FIG. 14 is a table illustrating the experimental results of the fourth embodiment.
  • 15A to 15C are tables illustrating the experimental results of the seventh embodiment.
  • M is a positive integer representing the number of microphones.
  • m is a positive integer representing a microphone number and satisfies 1 ⁇ m ⁇ M.
  • Microphone numbers are shown in the upper right subscript with parentheses. That is, the value or vector based on the signal picked up by the microphone of the microphone number m is represented by a symbol having the upper right subscript “(m)” (for example, x f,t (m) ).
  • N:N is a positive integer representing the total number of time frames of the signal. For example, N ⁇ 2.
  • t, ⁇ : t, ⁇ is a positive integer representing a time frame number, and t satisfies 1 ⁇ t ⁇ N.
  • the time frame number is indicated by the lower right subscript. That is, the value or vector corresponding to the time frame of the time frame number t is represented by a symbol having a lower right subscript “t” (for example, x f,t (m) ). Similarly, the value or vector corresponding to the time frame of the time frame number ⁇ is represented by a symbol having a lower right subscript “ ⁇ ”.
  • P is a positive integer representing the total number of frequency bands (discrete frequencies). For example, P ⁇ 2.
  • f f is a positive integer representing the frequency band number and satisfies 1 ⁇ f ⁇ P.
  • the frequency band number is indicated by the lower right subscript. That is, the value or vector corresponding to the frequency band of the frequency band number f is represented by a symbol having a lower right subscript “f” (for example, x f,t (m) ).
  • T represents a non-conjugated transpose of a matrix or a vector.
  • ⁇ 0 T represents a matrix or vector obtained by transposing ⁇ 0 non-conjugate.
  • H H represents the conjugate transpose of a matrix or vector.
  • ⁇ 0 H represents a matrix or vector obtained by conjugate transposing ⁇ 0 .
  • the “target signal” refers to a signal corresponding to a direct sound and an initial reflected sound among signals corresponding to sounds emitted from a target sound source and collected by a microphone (for example, frequency-specific observation signals).
  • the initial reflected sound refers to a component of reverberation derived from a sound emitted from a target sound source, which reaches the microphone within a few tens of milliseconds after the direct sound.
  • the initial reflected sound has a function of improving the clarity of the sound, and in the present embodiment, the signal corresponding to the initial reflected sound is also included in the target signal.
  • the signals corresponding to the sound collected by the microphone include the rear reverberation (components excluding the initial reflection sound from the reverberation) and the target reverberation that are derived from the sound emitted from the target sound source. Includes noise originating from sources other than the sound source.
  • a target signal is estimated by suppressing rear reverberation and noise from an observation signal for each frequency corresponding to a sound recorded by a microphone, for example.
  • reverberation refers to "rear reverberation”.
  • Method 1 M-dimensional observation signals in the frequency domain (observation signals by frequency) Suppresses noise and reverberation.
  • the frequency-based observation signal x f,t is obtained by converting M observation signals obtained by collecting acoustic signals emitted from a single or a plurality of sound sources with M microphones into a frequency domain, for example. It is a thing.
  • the observation signal is obtained by collecting acoustic signals emitted from a sound source in an environment where noise and reverberation exist.
  • x f,t (m) is obtained by converting the observation signal obtained by picking up the sound of the microphone of the microphone number m into the frequency domain.
  • x f,t (m) corresponds to the frequency band of the frequency band number f and the time frame of the time frame number t. That is, the frequency-based observation signal x f,t is a time-series signal.
  • an instantaneous beamformer for example, a minimum power distortion-free response beamformer
  • w f,0 that calculates a weighted sum of signals at the current time at each time is added to the frequency-based observation signal x f,t.
  • the instantaneous beamformer w f,0 that minimizes the following cost function C 1 (w f,0 ) is obtained for each frequency band under the constraint that the target signal is not distorted.
  • the lower right subscript "0" of w f, 0 does not represent a time frame number, w f, 0 does not depend on the time frame.
  • the constraint condition is, for example, a condition that w f,0 H ⁇ f,0 becomes a constant (for example, 1).
  • a steering vector having a transfer function ⁇ f,0 (m) relating to the direct sound and the initial reflected sound from the sound source to each microphone (the sound collection position of the acoustic signal ) or its estimated vector (estimated steering vector). That is, ⁇ f,0 is the direct sound and the initial reflected sound (reverberation that arrives within several tens of milliseconds (for example, within 30 milliseconds) of the direct sound after a delay) in the impulse response from the sound source position to each microphone.
  • the normalization vector obtained by normalizing may be ⁇ f,0 . That is, what is normalized as follows may be used as ⁇ f,0 .
  • ⁇ Assumption 2 Method 2 which is a premise of the method of the embodiment will be described.
  • the reverberation is suppressed from the frequency-based observation signal x f,t .
  • the reverberation suppression filter F f, ⁇ is an M ⁇ M-order matrix filter that suppresses reverberation from the frequency-based observation signal x f,t .
  • d is a positive integer that represents the prediction delay
  • L is a positive integer that represents the filter length.
  • ⁇ f,t 2 is the power of the target signal, Is.
  • ⁇ ⁇ (x H x) of the observation signal x by frequency.
  • the reverberation suppression filter F f,t obtained as described above is applied to the frequency-based observation signal x f,t in each frequency band as described below to suppress reverberation from the frequency-based observation signal x f,t.
  • the target signal z f,t is obtained.
  • the target signal z f,t is the following M-dimensional vertical vector.
  • w - f is a convolution beamformer, which calculates a weighted sum of the current signal and a past signal sequence having a predetermined delay at each time.
  • the convolutional beamformer w - f calculates a weighted sum of the current signal and the past signal sequence having a predetermined delay at each time.
  • the convolutional beamformer w - f is expressed as follows, for example. However, the following is satisfied. Further, x - f,t is expressed as follows.
  • the convolutional beamformer w ⁇ f is obtained.
  • a convolutional beamformer w ⁇ f that maximizes the probability of representing the voice-likeness of y f,t is obtained.
  • the probability density function of speech for example, a complex normal distribution whose mean is 0 and whose variance matches the power ⁇ f,t 2 of the target signal can be exemplified.
  • the “target signal” is a signal corresponding to a direct sound and an initial reflected sound among signals corresponding to sounds emitted from a target sound source and collected by a microphone.
  • the signal processing device for example, "frequency-observed signal x f, beamformer convolved t w - the result of applying f, the target signal is not distorted" under the constraint that, convolution beamformer w - a f Ask.
  • This constraint condition is, for example, a condition that w f,0 H ⁇ f,0 becomes a constant (for example, 1).
  • "const.” represents a constant.
  • ⁇ ⁇ f is a vector in which the elements ⁇ f,0 (m) of the steering vector ⁇ f,0 are arranged as follows.
  • ⁇ ⁇ f (m) is an L+1 dimensional vertical vector having ⁇ f,0 (m) and L 0s as elements.
  • the signal processing device obtains the target signal y f,t by applying the obtained convolution beamformer w ⁇ f to the frequency-based observation signal x f,t as follows.
  • the signal processing device 1 of the present embodiment has an estimation unit 11 and a suppression unit 12.
  • the observation signal x f,t for each frequency is input to the estimation unit 11 (equation (1)).
  • the estimation unit 11 calculates a weighted sum of the current signal and the past signal sequence having a predetermined delay at each time for the frequency-specific observed signal x f,t in the convolutional beamformer w ⁇ f.
  • the convolutional beamformer w - f is obtained and output so that the estimated signal obtained by applying Eq. 1 increases the probability of representing the voice-likeness of the estimated signal based on a predetermined probability model.
  • Step S12> The frequency-dependent observation signal x f,t and the convolutional beamformer w ⁇ f obtained in step S11 are input to the suppression unit 12.
  • the suppression unit 12 applies the convolution beamformer w - f to the frequency-specific observed signal xf,t to obtain and output the target signal yf ,t (estimated signal).
  • the suppression unit 12 as illustrated in Equation (16), w - f a x - f, and outputs the obtained target signal y f, a t applied to t.
  • a convolutional beamformer w ⁇ f that calculates a weighted sum of a current signal and a past signal sequence having a predetermined delay at each time is applied to the frequency-based observation signal x f,t.
  • the convolutional beamformer w ⁇ f is obtained so that the estimated signal to be obtained has a high probability of representing the voice-likeness of the estimated signal based on a predetermined probability model. This corresponds to optimizing the noise suppression and the reverberation suppression as one system. Therefore, in the present embodiment, it is possible to sufficiently suppress noise and reverberation as compared with the related art.
  • the signal processing device 2 of this embodiment includes an estimation unit 21 and a suppression unit 12.
  • the estimation unit 21 has a matrix estimation unit 211 and a convolution beamformer estimation unit 212.
  • the estimation unit 21 of the present embodiment belongs to a predetermined time interval under the constraint condition that "the target signal is not distorted as a result of applying the convolution beamformer w - f to the frequency-dependent observed signal x f,t ".
  • the sum of the values obtained by weighting the power of the estimated signal at each time with the reciprocal of the power ⁇ f,t 2 of the target signal or the reciprocal of the estimated power ⁇ f,t 2 of the target signal for example, equation (13 ) Cost function C 3 (w ⁇ f )), which minimizes the convolutional beamformer w ⁇ f and outputs it.
  • the convolution beamformer w - f is frequency-observed signal x f, dereverberation filter F f for suppressing reverberation from t, and t, the frequency-specific observation signals x f, reverberation t It is equivalent to a beamformer obtained by synthesizing an instantaneous beamformer w f,0 that suppresses noise from a signal obtained by applying the suppression filter F f,t .
  • the constraint condition is, for example, that the instantaneous beamformer is applied to an estimated steering vector that is a steering vector or an estimated vector of steering vectors that have transfer functions for direct sound and initial reflected sound from the sound source to the sound collection position of the acoustic signal as elements.
  • the value obtained by the above is a constant (w f,0 H ⁇ f,0 is a constant)”. The process will be described in detail below.
  • the observation signal x f,t for each frequency and the power or estimated power ⁇ f,t 2 of the target signal are input to the matrix estimation unit 211.
  • the matrix estimation unit 211 obtains and outputs a weighted space-time covariance matrix R f for each frequency band based on the frequency-based observed signal x f,t and the power of the target signal or the estimated power ⁇ f,t 2. ..
  • the matrix estimation unit 211 obtains and outputs the weighted space-time covariance matrix R f according to the equation (14).
  • ⁇ Step S212> The steering vector or estimated steering vector ⁇ f,0 (equation (4) or (5)) and the weighted space-time covariance matrix R f obtained in step S211 are input to the convolutional beamformer estimation unit 212. .
  • the convolutional beamformer estimation unit 212 obtains and outputs a convolutional beamformer w - f based on the weighted space-time covariance matrix R f and the steering vector or estimated steering vector ⁇ f,0 .
  • the convolutional beamformer estimation unit 212 obtains and outputs the convolutional beamformer w - f according to equation (15).
  • Step S12> The description is omitted because it is the same as the first embodiment.
  • the weighted space-time covariance matrix R f is obtained, and the convolutional beamformer w ⁇ f is obtained based on the weighted space-time covariance matrix R f and the steering vector or estimated steering vector ⁇ f,0 . ..
  • This corresponds to optimizing the noise suppression and the reverberation suppression as one system. Therefore, in the present embodiment, it is possible to sufficiently suppress noise and reverberation as compared with the related art.
  • the signal processing device 3 of the present embodiment includes an estimation unit 21, a suppression unit 12, and a parameter estimation unit 33.
  • the estimation unit 21 has a matrix estimation unit 211 and a convolution beamformer estimation unit 212. Further, as illustrated in FIG.
  • the parameter estimation unit 33 includes an initial setting unit 330, a power estimation unit 331, a reverberation suppression filter estimation unit 332, a reverberation suppression filter application unit 333, a steering vector estimation unit 334, It has an instantaneous beamformer estimation unit 335, an instantaneous beamformer application unit 336, and a control unit 337.
  • Step S330 The observation signal x f,t for each frequency is input to the initial setting unit 330.
  • the initial setting unit 330 generates and outputs the provisional power ⁇ f,t 2 that is the provisional value of the estimated power ⁇ f,t 2 of the target signal, using the observation signal x f,t for each frequency.
  • the initial setting unit 330 generates and outputs the provisional power ⁇ f,t 2 according to the following.
  • 2 x f,t H x f,t .
  • the reverberation suppression filter estimator 332 receives the frequency-based observation signal x f,t and the latest provisional power ⁇ f,t 2 .
  • the reverberation suppression filter application unit 333 receives the frequency-based observation signal x f,t and the latest reverberation suppression filter F f,t obtained in step S332.
  • the reverberation suppressing filter application unit 333 applies the reverberation suppressing filter F f,t to the frequency-based observation signal x f,t in each frequency band to obtain and output the estimated signal y′ f,t .
  • the reverberation suppression filter application unit 333 outputs z f,t obtained according to Expression (8) as y′ f,t .
  • Step S334 The latest estimated signal y′ f,t obtained in step S333 is input to the steering vector estimation unit 334.
  • the steering vector estimation unit 334 uses the estimated signal y′ f,t in each frequency band to obtain and output the provisional steering vector ⁇ f,0 that is the provisional vector of the estimated steering vector. For example, the steering vector estimation unit 334 obtains and outputs the provisional steering vector ⁇ f,0 for the estimated signal y′ f,t according to the steering vector estimation method described in Non-Patent Documents 1 and 2.
  • the steering vector estimation unit 334 outputs the steering vector estimated using y′ f,t as y f,t in Non-Patent Document 2 as the provisional steering vector ⁇ f,0 . Further, as described above, a normalization vector obtained by normalizing the transfer function of each element such that the gain of the microphone of any one of the microphone numbers m 0 ⁇ 1,..., M ⁇ is a constant g is ⁇ f,0. (Equation (5)).
  • Step S335 The latest estimated signal y′ f,t obtained in step S333 and the latest provisional steering vector ⁇ f,0 obtained in step S334 are input to the instantaneous beamformer estimation unit 335.
  • T obtained an instantaneous beamformer w f,0 that minimizes C 1 (w f,0 ) in the following Expression (18) is obtained and output.
  • Step S336 The latest estimated signal y′ f,t obtained in step S333 and the latest instantaneous beamformer w f,0 obtained in step S335 are input to the instantaneous beamformer application unit 336.
  • the instantaneous beamformer The application unit 336 obtains and outputs the estimated signal y′′ f,t as follows.
  • Step S331 The latest estimation signal y′′ f,t obtained in step S336 is input to the power estimation unit 331.
  • the power estimation unit 331 determines the power of the estimation signal y′′ f,t in each frequency band as the provisional power. Output as ⁇ f,t 2 .
  • 2 y′′ f,t Hy y f,t (20)
  • Step S337a The control unit 337 determines whether the ending condition is satisfied. Although not limited to the termination condition, for example, the number of repetitions of the process of step S331-S336 exceeds a predetermined value, before and after performing once the process of step S331-S336 ⁇ f, t 2, or [nu f, For example, the change amount of 0 is less than or equal to a predetermined value. If the end condition is not satisfied, the process returns to step S332. On the other hand, if the ending condition is satisfied, the process proceeds to step S337b.
  • the termination condition for example, the number of repetitions of the process of step S331-S336 exceeds a predetermined value, before and after performing once the process of step S331-S336 ⁇ f, t 2, or [nu f, For example, the change amount of 0 is less than or equal to a predetermined value. If the end condition is not satisfied, the process returns to step S332. On the other hand, if
  • step S337b the power estimation unit 331 outputs the latest ⁇ f,t 2 obtained in step S331 as the estimated power of the target signal, and the steering vector estimation unit 334 estimates the latest ⁇ f,0 obtained in step S334. Output as steering vector.
  • the estimated power ⁇ f,t 2 is input to the matrix estimation unit 211, and the estimated steering vector ⁇ f,0 is input to the convolution beamformer estimation unit 212.
  • the steering vector is estimated based on the frequency-based observation signal x f,t , but the steering is performed after suppressing the reverberation of the frequency-based observation signal x f,t (preferably after removing the reverberation).
  • the estimation accuracy is improved. That is, the accuracy of the estimated steering vector can be improved by obtaining the frequency-dependent reverberation suppression signal in which the reverberation component is suppressed from the frequency-dependent observation signal x f,t and obtaining the estimated steering vector from the frequency-based reverberation suppression signal.
  • the signal processing device 4 of the present embodiment has an estimation unit 21, a suppression unit 12, and a parameter estimation unit 43.
  • the estimation unit 21 includes a matrix estimation unit 211 and a convolution beamformer estimation unit 212.
  • the parameter estimation unit 43 includes a reverberation suppression unit 431 and a steering vector estimation unit 432.
  • the difference from the first to third embodiments of the fourth embodiment is that the reverberation component is suppressed from the frequency-based observation signal x f,t before generating the estimated steering vector. Only the method of generating the estimated steering vector will be described below.
  • Step S431 The observation signal x f,t for each frequency is input to the reverberation suppressing unit 431 of the parameter estimating unit 43 (FIG. 7 ).
  • Dereverberation unit 431 has been suppressed reverberation component per frequency observed signal x f, the t (preferably frequency-observed signal x f, to remove reverberation component from t) obtained frequency-dereverberation signal u f, the t Output.
  • the method of suppressing (removing) the reverberation component from the frequency-based observation signal x f,t A known dereverberation (removal) method can be used.
  • the reverberation suppressing unit 431 uses the method described in Reference Document 1 to obtain the frequency-dependent reverberation suppression signal u f,t from which the reverberation component has been suppressed from the frequency-dependent observation signal x f,t , and outputs it.
  • Reference 1 Takuya Yoshioka and Tomohiro Nakatani, "Generalization of Multi-Channel Linear Prediction Methods for Blind MIMO Impulse Response Shortening," IEEE Transactions on Audio, Speech, and Language Processing (Volume: 20, Issue: 10, Dec. 2012)
  • Step S432 The frequency-dependent reverberation suppression signal u f,t obtained by the reverberation suppression unit 431 is input to the steering vector estimation unit 432.
  • the steering vector estimation unit 432 receives the reverberation suppression signal for each frequency u f,t as an input, and generates and outputs an estimated steering vector that is an estimated vector of the steering vector.
  • a steering vector estimation processing method for obtaining an estimated steering vector by inputting a time series signal for each frequency is well known.
  • the steering vector estimation unit 432 uses the frequency-dependent reverberation suppression signal u f,t as an input of arbitrary steering vector estimation processing , and obtains and outputs an estimated steering vector ⁇ f,0 .
  • the steering vector estimation processing method is not limited, and for example, the methods described in Non-Patent Documents 1 and 2 described above may be used, or Reference Documents 2 and 3 may be used.
  • Reference 2 N. Ito, S. Araki, M. Delcroix, and T. Nakatani, “Probabilistic spatial dictionary based online adaptive beamforming for meeting recognition in noisy and reverberant environments,” Proc IEEE ICASSP, pp. 681-685, 2017 .
  • Reference 3 S. Markovich-Golan and S. Gannot, “Performance analysis of the covarience subtraction method for relative transfer function estimation and comparison to the covariance whitening method,” Proc. IEEE ICASSP, pp. 544-548, 2015.
  • the estimated steering vector ⁇ f,0 obtained by the steering vector estimation unit 432 is input to the convolution beamformer estimation unit 212.
  • the convolutional beamformer estimation unit 212 uses the estimated steering vector ⁇ f,0 and the weighted space-time covariance matrix R f obtained in step S211 to perform the process of step S212 described in the second embodiment. Others are as described in the first and second embodiments.
  • the estimated steering vector of each time frame number t can be calculated from the frequency-based observation signals x f,t sequentially input online.
  • the signal processing device 5 of the present embodiment has an estimation unit 21, a suppression unit 12, and a parameter estimation unit 53.
  • the estimation unit 21 includes a matrix estimation unit 211 and a convolution beamformer estimation unit 212.
  • the parameter estimation unit 53 has a steering vector estimation unit 532.
  • the steering vector estimating unit 532 includes an observation signal covariance matrix updating unit 532a, a principal component vector updating unit 532b, a steering vector updating unit 532c (steering vector estimating unit), and a noise covariance inverse matrix updating unit. It has 532d and the noise covariance matrix update part 532e.
  • Step S532 The observation signal x f,t for each frequency, which is a time-series signal for each frequency , is input to the steering vector estimation unit 532 (FIGS. 7 and 8 ).
  • Observed signal covariance matrix update unit 532a (FIG. 8) is to frequency-observed signal x f, the t as input, frequency-observed signal x f, t (per frequency observed signal belonging to the first time interval), and frequency- The frequency based on the spatial covariance matrix ⁇ x,f,t-1 of the observed signal x f,t-1 (the spatial covariance matrix of the observed signal for each frequency belonging to the second time period past the first time period)
  • the spatial covariance matrix ⁇ x,f,t of the different observation signal x f,t (the spatial covariance matrix of the observation signal for each frequency belonging to the first time section) is obtained and output.
  • the observed signal covariance matrix update part 532a is frequency-observed signal x f, t covariance matrix x f of (per frequency observed signal belonging to the first time interval), t x f, t H and the spatial covariance matrix
  • the linear sum of ⁇ x,f,t ⁇ 1 (the spatial covariance matrix of the frequency-based observation signals belonging to the second time section that is past the first time section) is calculated as the spatial covariance of the frequency-specific observation signals x f,t . It is obtained and output as a dispersion matrix ⁇ x,f,t (spatial covariance matrix of observation signals for each frequency belonging to the first time interval).
  • the observation signal covariance matrix updating unit 532a obtains and outputs the spatial covariance matrix ⁇ x,f,t according to the following equation (21).
  • ⁇ is a forgetting factor, and is, for example, a real number belonging to the range of 0 ⁇ 1.
  • the initial matrix ⁇ x,f,0 of the spatial covariance matrix ⁇ x,f,t ⁇ 1 may be any one.
  • the M ⁇ M dimensional unit matrix can be the initial matrix ⁇ x,f,0 of the spatial covariance matrix ⁇ x,f,t ⁇ 1 .
  • the observation signal x f,t for each frequency and the mask information ⁇ f,t (n) are input to the noise covariance inverse matrix updating unit 532 d .
  • the mask information ⁇ f,t (n) is information representing the ratio of the noise component contained in the frequency-specific observed signal x f,t at the time-frequency point corresponding to the time frame number t and the frequency band number f.
  • the mask information ⁇ f,t (n) represents the occupation probability of the noise component included in the frequency-specific observed signal x f,t at the time frequency point corresponding to the time frame number t and the frequency band number f.
  • the estimation method of the mask information ⁇ f,t (n) is well known, and for example, an estimation method using a complex Gaussian mixture model (CGMM) (for example, Reference Document 4) and an estimation method using a neural network (for example, Reference Document 5). ), and the estimation method which combined them (for example, reference document 6, reference document 7), etc. are known.
  • CGMM complex Gaussian mixture model
  • Reference Document 5 an estimation method using a neural network
  • Reference 4 T. Higuchi, N. Ito, T. Yoshioka, and T. Nakatani, "Robust MVDR beamforming using time-frequency masks for online/offline ASR in noise," Proc. IEEE ICASSP-2016, pp. 5210- 5214, 2016.
  • Reference 5 J.
  • the mask information ⁇ f,t (n) may be estimated in advance and stored in a storage device (not shown ) , or may be sequentially estimated. It should be noted that the upper right subscript “(n)” of “ ⁇ f,t (n) ” should be written directly above the lower right subscript “f,t”, but due to the limitation of the written notation, “f , T” in the upper right corner.
  • the noise covariance inverse matrix updating unit 532d uses the frequency-based observation signals x f,t (frequency-based observation signals belonging to the first time section) and mask information ⁇ f,t (n) (mask information belonging to the first time section). , And the noise covariance inverse matrix ⁇ ⁇ 1 n,f,t ⁇ 1 (the noise covariance inverse matrix of the frequency-dependent observed signal belonging to the second time section past the first time section). A matrix ⁇ ⁇ 1 n,f,t (a noise covariance inverse matrix of frequency-based observed signals belonging to the first time interval) is obtained and output.
  • the noise covariance inverse matrix updating unit 532d obtains and outputs the noise covariance inverse matrix ⁇ ⁇ 1 n,f,t according to the following Expression (22) using Woodbury's formula.
  • ⁇ is a forgetting factor, and is, for example, a real number belonging to the range of 0 ⁇ 1.
  • the initial matrix ⁇ ⁇ 1 n,f,0 of the noise covariance inverse matrix ⁇ ⁇ 1 n,f,t ⁇ 1 may be any one.
  • the M ⁇ M dimensional unit matrix can be the initial matrix ⁇ ⁇ 1 n,f,0 of the noise covariance inverse matrix ⁇ ⁇ 1 n,f,t ⁇ 1 . Note that the upper right subscript “ ⁇ 1” of “ ⁇ ⁇ 1 n,f,t ” should be written directly above the lower right subscript “n,f,t”, but It is written in the upper left of "n, f, t".
  • the principal component vector updating unit 532b includes a spatial covariance matrix ⁇ x,f,t obtained by the observation signal covariance matrix updating unit 532a and a noise covariance inverse matrix obtained by the noise covariance inverse matrix updating unit 532d.
  • ⁇ ⁇ 1 n,f,t is input.
  • the principal component vector updating unit 532b uses the noise covariance inverse matrix ⁇ ⁇ 1 n,f,t (inverse of the noise covariance matrix of the observation signal for each frequency), and the spatial covariance matrix ⁇ x,f,t (first time).
  • principal component vector updating unit 532b is, ⁇ -1 n, f, t ⁇ x, f, t v ⁇ f, principal component vector v ⁇ f based on the t-1, and outputs to obtain t.
  • the principal component vector updating unit 532b obtains and outputs the principal component vectors v 1 to f,t according to the following equations (23) and (24).
  • the upper right subscript "to" of "v ⁇ f, t " should be written directly above the lower right subscript "v", but due to the notational restrictions, it should be written in the upper right of "v". ing.
  • the upper right subscript "to" of "v ⁇ ' f,t " should be written right above the lower right subscript "v” originally, but due to the description notation, it is written in the upper right of "v”. doing.
  • the noise covariance matrix updating unit 532e uses the frequency-based observation signals x f,t (frequency-based observation signals belonging to the first time section) and the mask information ⁇ f,t (n) (mask information belonging to the first time section).
  • the observation signal x f,t for each frequency, the mask information ⁇ f,t (n) , and the noise covariance matrix ⁇ n,f,t ⁇ 1 in the second time section that is past the first time section, Noise covariance matrix ⁇ n,f,t of the observed signal x f,t by frequency based on the noise covariance matrix of the observed signal by frequency that belongs to (the noise covariance matrix of the observed signal by frequency that belongs to the first time interval) Get and output.
  • the noise covariance matrix updating unit 532e causes the product ⁇ f,t ( of the covariance matrix x f,t x f,t H of the observation signal x f,t for each frequency and the mask information ⁇ f,t (n). n) x f,t x f,t H and the noise covariance matrix ⁇ n,f,t ⁇ 1 (the noise covariance matrix of the observed signal for each frequency belonging to the second time period past the first time period) Is obtained as a noise covariance matrix ⁇ n,f,t of the observation signal x f,t for each frequency , and is output.
  • the noise covariance matrix updating unit 532e obtains and outputs the noise covariance matrix ⁇ n,f,t according to the following equation (25).
  • ⁇ is a forgetting factor, and is, for example, a real number belonging to the range of 0 ⁇ 1.
  • Step S532c The steering vector updating unit 532c uses the principal component vectors v 1 to f,t (principal component vector in the first time section) obtained by the principal component vector updating unit 532b and the noise covariance matrix updating unit 532e.
  • the variance matrix ⁇ n,f,t (noise covariance matrix of the observation signal for each frequency) is input, and based on these, the estimated steering vector ⁇ f,t (estimated steering vector in the first time section) is obtained and output.
  • the steering vector updating unit 532c obtains and outputs the estimated steering vector ⁇ f,t based on ⁇ n,f,t v to f,t .
  • the steering vector updating unit 532c obtains and outputs the estimated steering vector ⁇ f,t according to the following equations (26) and (27).
  • the estimated steering vector ⁇ f,t obtained by the steering vector estimation unit 532 is input to the convolution beamformer estimation unit 212.
  • the convolutional beamformer estimation unit 212 treats this estimated steering vector ⁇ f,t as ⁇ f,0 and uses the estimated steering vector ⁇ f,t and the weighted space-time covariance matrix R f obtained in step S211.
  • the process of step S212 described in the second embodiment is performed. Others are as described in the first and second embodiments.
  • ⁇ f,t 2 input to the matrix estimation unit 211 for example, the provisional power generated as in Expression (17) may be used, or generated as described in the third embodiment.
  • the estimated power ⁇ f,t 2 may be used.
  • the noise covariance inverse matrix updating unit 532d uses the frequency-based observation signal x f,t and the mask information ⁇ f,t (n) at each time point corresponding to the time frame number t.
  • the noise covariance inverse matrix ⁇ ⁇ 1 n,f,t was adaptively updated.
  • the noise covariance inverse matrix updating unit 532d does not use the mask information ⁇ f,t (n) , but does not use the mask information ⁇ f,t (n) to obtain the frequency-based observation signal x f,t in the time section in which only the noise component is present or the noise component is dominant.
  • the noise covariance inverse matrix ⁇ ⁇ 1 n,f,t may be obtained and used for output.
  • the noise covariance inverse matrix updating unit 532d uses the inverse of the time average of x f,t x f,t H for the frequency-based observation signal x f,t in the time section in which only the noise component exists or the noise component is dominant.
  • the matrix may be output as the noise covariance inverse matrix ⁇ ⁇ 1 n,f,t .
  • the noise covariance inverse matrix ⁇ ⁇ 1 n,f,t thus obtained is continuously used in the frame of each time frame number t.
  • the noise covariance matrix updating unit 532e does not use the mask information ⁇ f,t (n) and observes by frequency in a time section in which only a noise component exists or a noise component is dominant.
  • signals x f, frequency-observed signal x f with t, the noise covariance matrix [psi n, f of t, may be output to obtain t.
  • the noise covariance matrix updating unit 532e calculates the time average of x f,t x f,t H for the frequency-based observation signal x f,t in the time section in which only the noise component exists or the noise component is dominant. It may be output as the dispersion matrix ⁇ n,f,t .
  • the noise covariance matrix ⁇ n,f,t thus obtained is continuously used in the frame of each time frame number t.
  • the case where the first time section is the frame of the time frame number t and the second time section is the frame of the time frame number t ⁇ 1 is taken as an example. It does not limit the invention.
  • a frame having a time frame number other than the time frame number t may be the first time period.
  • a time frame earlier than the first time section other than the time frame number t-1 may be set as the second time section.
  • the steering vector estimation unit 532 receives the observation signal x f,t by frequency as an input, and obtains and outputs the estimated steering vector ⁇ f,t by sequential processing.
  • the estimation accuracy is improved.
  • the reverberation of the observation signal x f,t for each frequency is suppressed, and then the steering vector estimation unit obtains and outputs the estimated steering vector ⁇ f,t by the sequential processing as described in the fifth embodiment.
  • the signal processing device 6 of the present embodiment includes an estimation unit 21, a suppression unit 12, and a parameter estimation unit 63.
  • the parameter estimation unit 63 includes a reverberation suppression unit 431 and a steering vector estimation unit 632.
  • the difference of the sixth embodiment from the fifth embodiment is that the reverberation component is suppressed from the frequency-based observation signal x f,t before the estimated steering vector is generated. Only the method of generating the estimated steering vector will be described below.
  • the reverberation suppressing unit 431 (FIG. 7) suppresses the reverberation component from the frequency-based observation signal x f,t (preferably, the reverberation component from the frequency-based observation signal x f,t.
  • the (removed) frequency-dependent dereverberation signal u f,t is obtained and output.
  • Step S632 The frequency-dependent dereverberation signal u f,t is input to the steering vector estimation unit 632.
  • the frequency-based reverberation suppression signal u f,t is input to the steering vector estimation unit 632 instead of the frequency-based observation signal x f,t , and the steering vector estimation unit 632 outputs the frequency-based observation signal x. f, except using frequency-dereverberation signal u f, the t in place of t, it is the same as the process of steering vector estimation unit 532 of the fifth embodiment.
  • the processing of the steering vector estimation unit 632 replaces the frequency-based observation signal x f,t in the processing of the steering vector estimation unit 532 with the frequency-based reverberation suppression signal u f,t .
  • Others are the same as the fifth embodiment and its modification. That is, the steering vector estimation unit 632 receives the frequency-dependent reverberation suppression signal u f,t that is a frequency-based time-series signal.
  • Observed signal covariance matrix update part 532a is frequency-dereverberation signal u f belonging to the first time interval, t, and the first hour frequency-dereverberation signal u f also belongs to the past of the second time interval than the interval, t spatial covariance matrix [psi x of -1, f, based on the t-1, frequency-dereverberation signal u f belonging to the first time interval, t spatial covariance matrix [psi x of, f, and outputs to obtain t.
  • the principal component vector updating unit 532b calculates the inverse matrix ⁇ ⁇ 1 n,f,t of the noise covariance matrix of the frequency-dependent reverberation suppression signal u f,t and the spatial covariance matrix of the frequency-dependent reverberation suppression signal belonging to the first time interval.
  • the inverse matrix ⁇ ⁇ 1 n,f,t of the noise covariance matrix of the reverberation suppression signal for each frequency is calculated based on ⁇ x,f,t and the principal component vector v 1 to f,t ⁇ 1 in the second time section, and spatial covariance matrix [psi x frequency by dereverberation signal belonging to a time interval, f, and t, the product of [psi -1 n, f, t [psi x, f, principal component vector v ⁇ of the first time interval with respect to t f and t are obtained and output.
  • the steering vector updating unit 532c based on the noise covariance matrix of the frequency-dependent reverberation suppression signal u f,t and the principal component vectors v 1 to f,t in the first time section, estimates the steering vector ⁇ f, t in the first time section . Obtain t and output.
  • the convolutional beamformer of each time frame number t can be estimated from the frequency-based observation signals x f,t sequentially input online to obtain the target signal y f,t .
  • the signal processing device 7 of the present embodiment has an estimation unit 71, a suppression unit 72, and a parameter estimation unit 53.
  • Step S53 The frequency-based observation signal x f,t is input to the parameter estimation unit 53 (FIGS. 6 and 7 ).
  • the steering vector estimation unit 532 (FIG. 8) of the parameter estimation unit 53 receives the frequency-based observation signal x f,t as an input and obtains the estimated steering vector ⁇ f,t by sequential processing. It is output (step S532).
  • the estimated steering vector ⁇ f,t is expressed by the following M-dimensional vector. However, ⁇ f,t (m) represents an element corresponding to the microphone of the microphone number m among the M elements of the estimated steering vector ⁇ f,t .
  • the estimated steering vector ⁇ f,t obtained by the steering vector estimation unit 532 is input to the convolution beamformer estimation unit 712.
  • Step S711 The frequency estimation signal x f,t and the power of the target signal or the estimated power ⁇ f,t 2 are input to the matrix estimation unit 711 (FIG. 6 ).
  • ⁇ f,t 2 input to the matrix estimation unit 711 for example, the provisional power generated as in Expression (17) may be used or the estimation generated as described in the third embodiment.
  • the power ⁇ f,t 2 may be used.
  • the matrix estimation unit 711 uses the frequency-specific observation signals x f,t (frequency-specific observation signals belonging to the first time interval) and the power of the target signal or the estimated power ⁇ f,t 2 (frequency-specific observation values belonging to the first time interval).
  • Signal power or estimated power as well as the inverse of the space-time covariance matrix Inverse matrix of spatiotemporal covariance matrix based on (inverse matrix of spatiotemporal covariance matrix of second time section past the first time section) (Inverse matrix of space-time covariance matrix of the first time section) is estimated and output.
  • An example of a spatiotemporal covariance matrix is Is.
  • the matrix estimation unit 711 uses, for example, the inverse matrix of the space-time covariance matrix according to the following equations (28) and (29). Is generated and output.
  • k f,t in the equation (28) is an (L+1)M dimensional vector
  • the inverse matrix of the equation (29) is a (L+1)M ⁇ (L+1)M matrix
  • ⁇ is a forgetting factor and is, for example, a real number belonging to the range of 0 ⁇ 1.
  • the inverse of the space-time covariance matrix Can be any initial matrix, and an example of this initial matrix is an (L+1)M dimensional identity matrix. Is.
  • Step S712 ⁇ Process of Beamformer Estimation Unit 712 (Step S712)> Obtained by the matrix estimation unit 711
  • the (inverse matrix of the space-time covariance matrix of the first time section) and the estimated steering vector ⁇ f,t obtained by the parameter estimation unit 53 are input to the beamformer estimation unit 712.
  • the convolutional beamformer estimation unit 712 obtains and outputs the convolutional beamformer w - f,t (convolutional beamformer in the first time section).
  • the convolutional beamformer estimation unit 712 obtains and outputs the convolutional beamformer w ⁇ f,t according to the following equation (30).
  • Is. Is an L+1 dimensional vector.
  • g f is a scalar constant other than 0.
  • the suppression unit 72 receives the frequency-based observation signal x f,t and the convolutional beamformer w ⁇ f,t obtained by the beamformer estimation unit 712.
  • the suppression unit 72 applies the convolutional beamformer w ⁇ f,t to the frequency-based observation signal x f,t at each time frame number t and frequency band number f to obtain and output the target signal y f,t .
  • the suppression unit 72 obtains and outputs the target signal y f,t according to the following equation (31).
  • the parameter estimation unit 53 of the signal processing device 7 of the seventh embodiment may be replaced with the parameter estimation unit 63. That is, in the seventh embodiment, instead of the parameter estimation unit 53, the parameter estimation unit 63 receives the frequency-based observation signal x f,t as an input, and as described in the sixth embodiment, the estimated steering vector ⁇ f, You may obtain and output t .
  • the case where the first time section is the frame of the time frame number t and the second time section is the frame of the time frame number t-1 is taken as an example. It does not limit the invention.
  • a frame having a time frame number other than the time frame number t may be the first time period.
  • a time frame earlier than the first time section other than the time frame number t-1 may be set as the second time section.
  • ⁇ ⁇ f,0 is an M ⁇ 1 dimensional column vector including elements corresponding to microphones other than the reference microphone ref of the steering vector ⁇ f,0 or the estimated steering vector ⁇ f,0 , and v f,0 ref is ⁇
  • the element corresponding to the reference microphone ref of f, 0 , I M ⁇ 1, is a (M ⁇ 1) ⁇ (M ⁇ 1)-dimensional identity matrix.
  • the g f is a scalar constant other than zero, the a f, 0 and deformed instantaneous beamformer M dimensional, the instantaneous beamformer w f, 0, a constant multiple of the steering vector ⁇ f, 0 g f ⁇ f , 0 or estimated integral multiples g f ⁇ f, 0 steering vector ⁇ f, 0, steering vector [nu f, 0 or estimated steering vector [nu f, 0 instantly orthogonal complement the corresponding block matrix B f variant beamformer a f,
  • the product of 0 and Bf a f,0 is expressed as the sum of 0 .
  • the signal processing device 8 of the present embodiment has an estimation unit 81, a suppression unit 82, and a parameter estimation unit 83.
  • the estimation unit 81 includes a matrix estimation unit 811, a convolutional beamformer estimation unit 812, an initial beamformer application unit 813, and a block unit 814.
  • the parameter estimation unit 83 receives the observation signal x f,t for each frequency as an input, obtains an estimated steering vector by the same method as any one of the parameter estimation units 33, 43, 53, 63 described above, and obtains the obtained estimation.
  • the steering vector is output as ⁇ f,0 .
  • the output estimated steering vector ⁇ f,0 is sent to the initial beamformer application unit 813 and the block unit 814.
  • Step S813 The estimated steering vector ⁇ f,0 and the frequency-based observation signal x f,t are input to the initial beamformer application unit 813.
  • the initial beamformer application unit 813 uses the estimated steering vector ⁇ f,0 and the frequency-based observation signal x f,t (frequency-based observation signal belonging to the first time period) to output the initial beamformer output z f,t (first The initial beamformer output for the time interval is obtained and output.
  • the initial beamformer application unit 813 obtains and outputs an initial beamformer output z f,t based on a constant multiple of the estimated steering vector ⁇ f,0 and the frequency-based observation signal x f,t .
  • the initial beamformer application unit 813 obtains and outputs the initial beamformer output z f,t according to the following equation (34).
  • z f,t (g f ⁇ f,0 ) H x f,t (34)
  • the output initial beamformer output z f,t is sent to the convolutional beamformer estimation unit 812 and the suppression unit 82.
  • Step S814 The estimated steering vector ⁇ f,0 and the frequency-based observation signal x f,t are input to the block unit 814.
  • ⁇ f,t 2 may be, for example, the provisional power generated as in Expression (17), or the estimated power ⁇ f,t 2 generated as described in the third embodiment. Good.
  • Step S82 ⁇ Processing of Suppression Unit 82 (Step S82)>
  • convolution beamformer w - is equivalent to processing for output to obtain the desired signal y f, a t applied to frequency-observed signal x f, t a f.
  • the suppressing unit 82 obtains and outputs the target signal y f,t according to the following equation (39).
  • the signal processing device 9 of this embodiment includes an estimation unit 91, a suppression unit 92, and a parameter estimation unit 93.
  • the estimation unit 91 includes an adaptive gain estimation unit 911, a convolutional beamformer estimation unit 912, a matrix estimation unit 915, an initial beamformer application unit 813, and a block unit 814.
  • the parameter estimation unit 93 receives the observation signal x f,t for each frequency , and obtains and outputs the estimated steering vector ⁇ f,t by the same method as any one of the parameter estimation units 53 and 63 described above.
  • the output estimated steering vector ⁇ f,t is sent to the initial beamformer application unit 813 and the block unit 814.
  • the initial beamformer application unit 813 inputs the estimated steering vector ⁇ f,t (estimated steering vector in the first time section) and the frequency-based observation signal x f,t (frequency-based observation signal belonging to the first time section), By using ⁇ f,t instead of ⁇ f,0 , the initial beam former output z f,t (initial beam former output in the first time section) is obtained and output as described in the eighth embodiment. The output initial beam former output z f,t is sent to the suppression unit 92.
  • Step S814 The block unit 814 receives the estimated steering vector ⁇ f,t and the observation signal x f,t for each frequency , and uses ⁇ f,t instead of ⁇ f,0 to obtain the vector x as described in the eighth embodiment.
  • F, t are obtained and output.
  • the suppression unit 92 obtains and outputs the target signal y f,t according to the following equation (40).
  • ⁇ Process of Adaptive Gain Estimator 911 (Step S911)>
  • the vector x f,t output from the block unit 814, and the inverse matrix R 1 ⁇ 1 f,t ⁇ 1 of the weighted modified space-time covariance matrix output from the matrix estimation unit 915.
  • the power of the target signal or the estimated power ⁇ f,t 2 is input.
  • ⁇ f,t 2 input to the matrix estimation unit 711 for example, the provisional power generated as in Expression (17) may be used or the estimation generated as described in the third embodiment.
  • the power ⁇ f,t 2 may be used.
  • the adaptive gain estimation unit 911 uses the inverse matrix of the weighted modified space-time covariance matrix R 1 to ⁇ 1 f,t ⁇ 1 (the inverse matrix of the weighted modified space-time covariance matrix in the second time interval), And an adaptive gain k f, t based on the estimated steering vector ⁇ f,t (the estimated steering vector in the first time section), the frequency-based observed signal x f,t , and the power of the target signal or the estimated power ⁇ f,t 2 .
  • the adaptive gain estimation unit 911 obtains and outputs the adaptive gain k f,t which is a (LM+M ⁇ 1)-dimensional vector according to the following equation (41).
  • ⁇ is a forgetting factor, and is, for example, a real number belonging to the range of 0 ⁇ 1.
  • the initial matrix of the inverse matrix R 1 to ⁇ 1 f,t ⁇ 1 of the weighted modified space-time covariance matrix may be any (LM+M ⁇ 1) ⁇ (LM+M ⁇ 1)-dimensional matrix.
  • An example of the initial matrix of the inverse matrix R 1 ⁇ 1 f,t ⁇ 1 of the weighted modified space-time covariance matrix is a (LM+M ⁇ 1)-dimensional identity matrix. However Is. Note that R 1 to f,t itself are not calculated.
  • the output adaptive gain k f,t is sent to the matrix estimation unit 915 and the convolutional beamformer estimation unit 912.
  • Step S915 ⁇ Processing of Matrix Estimating Unit 915 (Step S915)>
  • the matrix estimation unit 915 uses these, and the adaptive gain k f,t (the adaptive gain in the first time section), the estimated steering vector ⁇ f,t (the estimated steering vector in the first time section), and the observation signal x by frequency.
  • the inverse matrix R 1 to ⁇ 1 f,t of the spatial covariance matrix (inverse matrix of the weighted modified spatiotemporal covariance matrix in the first time interval) is obtained and output.
  • the matrix estimation unit 915 obtains and outputs the inverse matrix R 1 to ⁇ 1 f,t of the weighted modified space-time covariance matrix according to the following equation (42).
  • the output inverse matrix R 1 to ⁇ 1 f,t of the weighted modified space-time covariance matrix is sent to the adaptive gain estimation unit 911.
  • Step S912 ⁇ Processing of Convolutional Beamformer Estimator 912 (Step S912)>
  • the target signal y f,t output from the suppression unit 92 and the adaptive gain k f,t output from the adaptive gain estimation unit 911 are input to the convolutional beamformer estimation unit 912.
  • the case where the first time period is the frame with the time frame number t and the second time period is the frame with the time frame number t ⁇ 1 is taken as an example. It does not limit the invention.
  • a frame having a time frame number other than the time frame number t may be the first time period.
  • a time frame earlier than the first time section other than the time frame number t-1 may be set as the second time section.
  • a known steering vector ⁇ f,t may be input to the initial beamformer application unit 813 and the block unit 814.
  • the initial beamformer application unit 813 and the block unit 814 perform steps S813 and S814 described above using the steering vector ⁇ f,t instead of the estimated steering vector ⁇ f,t .
  • the frequency-specific observation signal x f,t in the frequency domain may be converted and the frequency-specific observation signal x f,t may be input to the signal processing device 1-9.
  • the conversion method from the time domain to the frequency domain is not limited, and for example, discrete Fourier transform or the like may be used.
  • the frequency-based observation signal x f,t obtained by another processing unit may be input to the signal processing device 1-9.
  • observation signal x(i) in the time domain described above is converted into a signal in the frequency domain for each time frame, these signals in the frequency domain are processed by another processing unit, and the observation signals for each frequency obtained thereby are obtained.
  • x f,t may be input to the signal processing device 1-9.
  • the target signal y f,t output from the signal processing device 1-9 may be used for other processing (speech recognition processing, etc.) without being converted into the time domain signal y(i), or It may be converted into a region signal y(i).
  • the target signal y f,t output from the signal processing device 1-9 may be output as it is and used for other processing.
  • the target signal y f,t output from the signal processing device 1-9 is input to the integrating unit 52, and the integrating unit 52 integrates the target signal y f,t to obtain the time.
  • the area signal y(i) may be obtained and output.
  • the method of obtaining the time domain signal y(i) from the target signal y f,t is not limited, but, for example, inverse Fourier transform can be used.
  • FIG. 12 illustrates the evaluation results of the voice quality of the observation signal and the signal of which the noise reverberation is suppressed by the present invention and the conventional methods 1 to 3.
  • Sim represents SimData
  • Real represents RealData
  • CD represents cepstrum distortion
  • SRMR represents signal-to-reverberation modulation energy ratio
  • LLR represents log-likelihood ratio
  • FWSSNR represents frequency-weighted segmental signal-to-noise ratio.
  • a smaller value of CD and LLR indicates better voice quality, and a larger value of SRMR and FWSSNR indicates better voice quality.
  • the underlined value is the best value.
  • FIG. 12 it can be seen that the present invention can sufficiently suppress noise and reverberation as compared with the conventional methods 1 to 3.
  • FIG. 13 illustrates the word error rate in the speech recognition result of the observed signal and the signal in which the noise reverberation is suppressed by the present invention and the conventional methods 1 to 3.
  • the underlined value is the best value.
  • “R1N” represents the case where the speaker is located near the microphone in room 1
  • “R1F” represents the case where the speaker is located far from the microphone in room 1.
  • “R2N” and “R3N” represent the case where the speaker is located near the microphone in the rooms 2 and 3, respectively, and “R2F” and “R3F” are located in the rooms 2 and 3 where the speaker is far from the microphone.
  • “Ave” represents an average value. As illustrated in FIG. 12, it can be seen that the present invention can sufficiently suppress noise and reverberation as compared with the conventional methods 1 to 3.
  • FIG. 14 shows a case where the steering vector is estimated without suppressing the reverberation of the frequency-dependent observed signal x f,t (when no reverberation is suppressed), and a case where the frequency-dependent observed signal x f,t as described in the fourth embodiment .
  • the noise reverberation suppression results when the steering vector is estimated after suppressing the reverberation of t (when reverberation is present) are illustrated.
  • "WER" represents a character error rate when speech recognition is performed using a target signal obtained by performing noise reverberation suppression. The smaller the WER value, the higher the performance.
  • FIG. 14 it can be seen that the voice quality of the target signal is better in the case with the reverberation suppression than in the case without the reverberation suppression.
  • the present invention is not limited to the above embodiment.
  • d has the same value for all frequency bands in the above-described embodiment, d may be set for each frequency band. That positive integer d f may be used instead of d.
  • L has the same value for all frequency bands in the above-described embodiment, L may be set for each frequency band. That is, a positive integer L f may be used instead of L.
  • the cost function and the like are defined with the time frame corresponding to 1 ⁇ t ⁇ N as the processing unit.
  • each process may be executed with a part of the time frame as a processing unit, instead of the time frame corresponding to 1 ⁇ t ⁇ N as a processing unit.
  • the time frame which is a processing unit, may be updated in real time, and a cost function or the like may be determined for each processing unit at each time to execute each processing.
  • t c when expressing the number of the current time frame and t c, may be 1 ⁇ t ⁇ t processing unit of time frames corresponding to c, t c - ⁇ ⁇ t ⁇ relative positive integer constants ⁇
  • the time frame corresponding to t c may be the processing unit.
  • Each of the above devices is, for example, a general-purpose or dedicated computer including a processor (hardware processor) such as a CPU (central processing unit) and a memory such as a RAM (random-access memory) and a ROM (read-only memory). Is configured by executing a predetermined program.
  • This computer may be provided with one processor and memory, or may be provided with a plurality of processors and memory.
  • This program may be installed in the computer or may be recorded in the ROM or the like in advance.
  • some or all of the processing units are configured by using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit that realizes a functional configuration by reading a program like a CPU. May be.
  • the electronic circuit that constitutes one device may include a plurality of CPUs.
  • a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disc, a magneto-optical recording medium, a semiconductor memory and the like.
  • Circulate this program by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM in which the program is recorded. Further, the program may be stored in a storage device of a server computer and transferred from the server computer to another computer via a network to distribute the program.
  • a computer that executes such a program first stores, for example, the program recorded in a portable recording medium or the program transferred from the server computer in its own storage device. When executing the process, this computer reads the program stored in its own storage device and executes the process according to the read program. As another execution form of this program, the computer may directly read the program from the portable recording medium and execute processing according to the program, and further, each time the program is transferred from the server computer to this computer. The processing according to the received program may be sequentially executed. Even if the program is not transferred from the server computer to this computer, the processing described above is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition. Good.
  • ASP Application Service Provider
  • the processing functions of this device may not be realized by executing a predetermined program on a computer, but at least a part of these processing functions may be realized by hardware.
  • the present invention can be used in various applications where it is necessary to suppress noise and reverberation from an acoustic signal.
  • the present invention can be applied to a voice recognition, a call system, a conference call system, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

雑音と残響とを十分に抑圧する。目的の音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマを得、得られた畳み込みビームフォーマを周波数別観測信号に適用して目的信号を得る。

Description

信号処理装置、信号処理方法、およびプログラム
　本発明は、音響信号の信号処理技術に関する。
　非特許文献１，２には、周波数領域の観測信号から雑音や残響を抑圧する方法が開示されている。この方法では、周波数領域の観測信号と音源方向を表すステアリングベクトルまたはその推定ベクトルとを受け取り、音源からマイクロホンに到来する音を歪ませないとの拘束条件のもと、周波数領域の観測信号のパワーを最小化する瞬時ビームフォーマを推定し、これを周波数領域の観測信号に適用することで、残響や雑音を抑圧する（従来法１）。
　特許文献１および非特許文献３には、周波数領域の観測信号から残響を抑圧する方法が開示されている。この方法では、周波数領域の観測信号と目的音の各時刻のパワーまたはその推定値とを受け取り、予測誤差の重み付きパワー最小化基準に基づき、目的音の残響を抑圧する残響抑圧フィルタを推定し、残響抑圧フィルタを周波数領域の観測信号に適用することで、周波数領域の観測信号の残響を抑圧する（従来法２）。
　非特許文献４には、従来法２と従来法１をカスケード接続することで雑音や残響を抑圧する方法が開示されている。この方法では、前段で周波数領域の観測信号と目的音の各時刻のパワーとを受け取り、従来法２を用いて残響を抑圧した後に、後段でステアリングベクトルを受け取り、従来法１を用いて残響や雑音をさらに抑圧する（従来法３）。
特許第５２２７３９３号公報
T Higuchi, N Ito, T Yoshioka, T Nakatani, "Robust MVDR beamforming using time-frequency masks for online/offline ASR in noise," Proc. ICASSP 2016, 2016. J Heymann, L Drude, R Haeb-Umbach, "Neural network based spectral mask estimation for acoustic beamforming," Proc.ICASSP 2016, 2016 T Nakatani, T Yoshioka, K Kinoshita, M Miyoshi, "BH Juang, Speech dereverberation based on variance-normalized delayed linear prediction," IEEE Trans. ASLP, 18 (7), 1717-1731, 2010. Takuya Yoshioka, Nobutaka Ito, Marc Delcroix, Atsunori Ogawa, Keisuke Kinoshita, Masakiyo Fujimoto, Chengzhu Yu, Wojciech J Fabian, Miquel Espi, Takuya Higuchi, Shoko Araki, Tomohiro Nakatani, "The NTT CHiME-3 system: Advances in speech enhancement and recognition for mobile multi-microphone devices," Proc. IEEE ASRU 2015, 436-443, 2015.
　従来法では雑音と残響とを十分に抑圧することができない場合がある。従来法１は、もともと雑音を抑圧するために開発された方法であり、必ずしも十分に残響を抑圧できるとは限らない。従来法２では、雑音を抑圧することができない。従来法３は、従来法１や従来法２を単体で用いるときよりも多くの雑音や残響を抑圧できる。しかし、従来法３では、前段の従来法２と後段の従来法１とを、それぞれ独立した系とみてそれぞれの系で最適化を行う。そのため、前段で従来法２を適用した際に、雑音の影響により、必ずしも十分な残響抑圧ができるとは限らない。また後段で従来法１を適用した際に、残存する残響の影響により、必ずしも十分な雑音残響抑圧ができるとは限らない。
　本発明はこのような点に鑑みてなされたものであり、雑音と残響とを十分に抑圧することができる技術を提供することを目的とする。
　本発明では、音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマを得、得られた畳み込みビームフォーマを周波数別観測信号に適用して目的信号を得る。
　本発明では、確率モデルに基づく推定信号の音声らしさを表す確率が大きくなるように畳み込みビームフォーマを得るため、雑音抑圧と残響抑圧とを１つの系として最適化でき、雑音と残響とを十分に抑圧できる。
図１Ａは第１実施形態の信号処理装置の機能構成を例示したブロック図である。図１Ｂは第１実施形態の信号処理方法を例示するためのフロー図である。 図２Ａは第２実施形態の信号処理装置の機能構成を例示したブロック図である。図２Ｂは第２実施形態の信号処理方法を例示するためのフロー図である。 図３は第３実施形態の信号処理装置の機能構成を例示したブロック図である。 図４は図３のパラメータ推定部の機能構成を例示したブロック図である。 図５は第３実施形態のパラメータ推定方法を例示するためのフロー図である。 図６は第４～７実施形態の信号処理装置の機能構成を例示したブロック図である。 図７は図６のパラメータ推定部の機能構成を例示したブロック図である。 図８は図７のステアリングベクトル推定部の機能構成を例示したブロック図である。 図９は第８実施形態の信号処理装置の機能構成を例示したブロック図である。 図１０は第９実施形態の信号処理装置の機能構成を例示したブロック図である。 図１１Ａから図１１Ｃは実施形態の信号処理装置の使用例を説明するためのブロック図である。 図１２は第１実施形態の実験結果を例示した表である。 図１３は第１実施形態の実験結果を例示した表である。 図１４は第４実施形態の実験結果を例示した表である。 図１５Ａから図１５Ｃは第７実施形態の実験結果を例示した表である。
　以下、本発明の実施形態を説明する。
　［記号の定義］
　まず、実施形態で使用する記号を定義する。
　Ｍ：Ｍはマイクロホン数を表す正整数である。例えば、Ｍ≧２である。
　ｍ：ｍはマイクロホン番号を表す正整数であり、１≦ｍ≦Ｍを満たす。マイクロホン番号は丸括弧付きの右上添え字で表す。すなわち、マイクロホン番号ｍのマイクロホンで収音された信号に基づく値やベクトルは、右上添え字「（ｍ）」を持つ記号で表現される（例えば、ｘｆ，ｔ （ｍ））。
　Ｎ：Ｎは信号の時間フレームの総数を表す正整数である。例えば、Ｎ≧２である。
　ｔ，τ：ｔ，τは時間フレーム番号を表す正整数であり、ｔは１≦ｔ≦Ｎを満たす。時間フレーム番号は右下添え字で表す。すなわち、時間フレーム番号ｔの時間フレームに対応する値やベクトルは、右下添え字「ｔ」を持つ記号で表現される（例えば、ｘｆ，ｔ （ｍ））。同様に、時間フレーム番号τの時間フレームに対応する値やベクトルは、右下添え字「τ」を持つ記号で表現される。
　Ｐ：Ｐは周波数帯域（離散周波数）の総数を表す正整数である。例えば、Ｐ≧２である。
　ｆ：ｆは周波数帯域番号を表す正整数であり、１≦ｆ≦Ｐを満たす。周波数帯域番号は右下添え字で表す。すなわち、周波数帯域番号ｆの周波数帯域に対応する値やベクトルは、右下添え字「ｆ」を持つ記号で表現される（例えば、ｘｆ，ｔ （ｍ））。
　Ｔ：Ｔは行列やベクトルの非共役転置を表す。α０ Ｔはα０を非共役転置して得られる行列やベクトルを表す。
　Ｈ：Ｈは行列やベクトルの共役転置を表す。α０ Ｈはα０を共役転置して得られる行列やベクトルを表す。
　｜α０｜：｜α０｜はα０の絶対値を表す。
　||α０||：||α０||はα０のノルムを表す。
　｜α０｜γ：｜α０｜γはα０の重み付き絶対値γ｜α０｜を表す。
　||α０||γ：||α０||γはα０の重み付きノルムγ||α０||を表す。
　本明細書で「目的信号」は目的の音源から発せられてマイクロホンで集音された音に対応する信号（例えば周波数別観測信号）のうち、直接音と初期反射音に対応する信号のことを指す。初期反射音とは、目的の音源から発せられた音に由来する残響のうち、直接音から遅れて数１０ミリ秒以内にマイクロホンに到達する成分のことを指す。一般的に、初期反射音は音の明瞭性を向上させる働きを持つとされており、本実施形態では、初期反射音に対応する信号も目的信号に含められる。一方、マイクロホンで集音される音に対応する信号には、上記の目的信号以外に、目的の音源から発せられた音に由来する後部残響（残響から初期反射音を除いた成分）や目的の音源以外に由来する雑音が含まれている。信号処理方法では、例えばマイクロホンで収録された音に対応する周波数別観測信号から、後部残響と雑音を抑圧して目的信号を推定する。本明細書では特に断りがない限り、「残響」とは「後部残響」のことを指しているものとする。
　［原理］
　次に原理を説明する。
　＜前提となる手法１＞
　実施形態の手法の前提となる手法１を説明する。手法１では周波数領域のＭ次元観測信号（周波数別観測信号）
Figure JPOXMLDOC01-appb-M000001
から雑音と残響とを抑圧する。周波数別観測信号ｘｆ，ｔは、例えば、単数または複数の音源から発せられた音響信号をＭ個のマイクロホンで収音して得られたＭ個の観測信号を周波数領域に変換して得られたものである。観測信号は、雑音および残響が存在する環境下で音源から発せられた音響信号を集音して得られたものである。ｘｆ，ｔ （ｍ）はマイクロホン番号ｍのマイクロホンで収音して得られた観測信号を周波数領域に変換して得られるものである。ｘｆ，ｔ （ｍ）は、周波数帯域番号ｆの周波数帯域および時間フレーム番号ｔの時間フレームに対応する。すなわち、周波数別観測信号ｘｆ，ｔは時系列信号である。
　手法１では、「周波数別観測信号ｘｆ，ｔに、各時刻において、現在の時刻の信号の重み付き和を計算する瞬時ビームフォーマ（例えば、最小パワー無歪応答ビームフォーマ）ｗｆ，０を適用した結果、目的信号が歪まない」という拘束条件のもとで、各周波数帯域に対し、以下のコスト関数Ｃ１（ｗｆ，０）を最小化する瞬時ビームフォーマｗｆ，０を求める。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
なお、ｗｆ，０の右下添え字「０」は時間フレーム番号を表すものではなく、ｗｆ，０は時間フレームに依存しない。拘束条件は、例えば、ｗｆ，０ Ｈνｆ，０が定数（例えば１）となる条件である。ここで
Figure JPOXMLDOC01-appb-M000004
は音源から各マイクロホン（音響信号の集音位置）までの直接音および初期反射音に関する伝達関数νｆ，０ （ｍ）を要素とするステアリングベクトルまたはその推定ベクトル（推定ステアリングベクトル）である。すなわち、νｆ，０は、音源位置から各マイクロホンまでのインパルス応答の内、直接音と初期反射音（直接音から数十ミリ秒以内（例えば、３０ミリ秒以内）に遅れて到達する残響）の部分に対応する伝達関数νｆ，０ （ｍ）を要素とするＭ次元（マイクロホン数の次元）のベクトルで表される。ステアリングベクトルのゲインの推定が困難な場合には、いずれか一つのマイクロホン番号ｍ０∈｛１，…，Ｍ｝のマイクロホンのゲインが定数ｇ（ｇ≠０）となるように各要素の伝達関数を正規化した正規化ベクトルをνｆ，０としてもよい。すなわち、以下のように正規化されたものをνｆ，０としてもよい。
Figure JPOXMLDOC01-appb-M000005
　以上のように得られた瞬時ビームフォーマｗｆ，０を、以下のように各周波数帯域の周波数別観測信号ｘｆ，ｔに適用することで、周波数別観測信号ｘｆ，ｔから雑音と残響とを抑圧した目的信号ｙｆ，ｔが得られる。
Figure JPOXMLDOC01-appb-M000006
　＜前提となる手法２＞
　実施形態の手法の前提となる手法２を説明する。手法２では周波数別観測信号ｘｆ，ｔから残響を抑圧する。手法２では、各周波数帯域で、以下のコスト関数Ｃ２（Ｆｆ）を最小化する残響抑圧フィルタＦｆ，τをτ＝ｄ，ｄ＋１，…，ｄ＋Ｌ－１に対して求める。
Figure JPOXMLDOC01-appb-M000007
ただし、残響抑圧フィルタＦｆ，τは周波数別観測信号ｘｆ，ｔから残響を抑圧するＭ×Ｍ次行列フィルタである。ｄは予測遅延を表す正整数であり、Ｌはフィルタ長を表す正整数である。σｆ，ｔ ２は目的信号のパワーであり、
Figure JPOXMLDOC01-appb-M000008
である。周波数別観測信号ｘに対する||ｘ||γは、周波数別観測信号ｘの重み付きノルム||ｘ||γ＝γ（ｘＨｘ）である。
　以上のように得られた残響抑圧フィルタＦｆ，ｔを、以下のように各周波数帯域の周波数別観測信号ｘｆ，ｔに適用することで、周波数別観測信号ｘｆ，ｔから残響を抑圧した目的信号ｚｆ，ｔが得られる。
Figure JPOXMLDOC01-appb-M000009
ただし、目的信号ｚｆ，ｔは以下のようなＭ次元縦ベクトルである。
Figure JPOXMLDOC01-appb-M000010
　＜実施形態の手法＞
　実施形態の手法を説明する。手法１，２を統合した手法によって周波数別観測信号ｘｆ，ｔから雑音と残響とを抑圧して得られる目的信号ｙｆ，ｔは、以下のようにモデル化することができる。
Figure JPOXMLDOC01-appb-M000011
ただし、τ≠０に対してｗｆ，τ＝－Ｆｆ，τｗｆ，０であり、ｗｆ，τは雑音抑圧と残響抑圧とを同時に行うフィルタに相当する。ｗ－ ｆは畳み込みビームフォーマであり、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算するものである。なお、「ｗ－ ｆ」の「－」は本来以下のように「ｗ」の真上に表記すべきであるが、記載表記の制約上「ｗ」の右上に表記する場合がある。
Figure JPOXMLDOC01-appb-M000012
畳み込みビームフォーマｗ－ ｆは、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算するものである。畳み込みビームフォーマｗ－ ｆは、例えば以下のように表される。
Figure JPOXMLDOC01-appb-M000013
ただし、以下を満たす。
Figure JPOXMLDOC01-appb-M000014
また、ｘ－ ｆ，ｔは以下のように表される。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　ここで、式（９）のｙｆ，ｔが音声の確率密度関数ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）（確率モデル）に従うのが望ましいと仮定し、信号処理装置は、音声の確率密度関数に基づくｙｆ，ｔの確率ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）（つまり、ｙｆ，ｔの音声らしさを表す確率）を大きくするように畳み込みビームフォーマｗ－ ｆを求める。好ましくは、ｙｆ，ｔの音声らしさを表す確率を最大化する畳み込みビームフォーマｗ－ ｆを求める。例えば、信号処理装置は、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）を大きくするように畳み込みビームフォーマｗ－ ｆを求め、好ましくはｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）を最大化する畳み込みビームフォーマｗ－ ｆを求める。
　音声の確率密度関数としては、例えば、平均が０、分散が目的信号のパワーσｆ，ｔ ２に一致する複素正規分布を例示できる。「目的信号」は目的の音源から発せられてマイクロホンで集音された音に対応する信号のうち、直接音と初期反射音に対応する信号のことである。また信号処理装置は、例えば、「周波数別観測信号ｘｆ，ｔに畳み込みビームフォーマｗ－ ｆを適用した結果、目的信号が歪まない」という拘束条件のもとで、畳み込みビームフォーマｗ－ ｆを求める。この拘束条件は、例えば、ｗｆ，０ Ｈνｆ，０が定数（例えば１）となる条件である。信号処理装置は、例えば、この拘束条件のもと、各周波数帯域に対し、以下のように定まるｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）を最大化するｗ－ ｆを求める。
Figure JPOXMLDOC01-appb-M000017
ただし、「ｃｏｎｓｔ．」は定数を表す。
　式（１２）のｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）から定数項（ｃｏｎｓｔ．）を除き、正負符号を反転させた以下の関数をコスト関数Ｃ３（ｗ－ ｆ）とする。
Figure JPOXMLDOC01-appb-M000018
ただし、Ｒは、以下のように求められる重み付き時空間共分散行列である。
Figure JPOXMLDOC01-appb-M000019
信号処理装置は、例えば、上述の拘束条件（例えば、ｗｆ，０ Ｈνｆ，０が定数）のもと、式（１３）のコスト関数Ｃ３（ｗ－ ｆ）を最小化するｗ－ ｆを求めてもよい。
　上記の拘束条件（例えば、ｗｆ，０ Ｈνｆ，０＝１）のもと、コスト関数Ｃ３（ｗ－ ｆ）を最小化するｗ－ ｆの解析解は以下のようになる。
Figure JPOXMLDOC01-appb-M000020
ただし、ν－ ｆはステアリングベクトルνｆ，０の要素νｆ，０ （ｍ）を以下のように配置したベクトルである。
Figure JPOXMLDOC01-appb-M000021
ただし、ν― ｆ （ｍ）はνｆ，０ （ｍ）とＬ個の０とを要素とするＬ＋１次元縦ベクトルである。
　信号処理装置は、求めた畳み込みビームフォーマｗ－ ｆを周波数別観測信号ｘｆ，ｔに以下のように適用して目的信号ｙｆ，ｔを得る。
Figure JPOXMLDOC01-appb-M000022
　［第１実施形態］
　次に、第１実施形態を説明する。
　図１Ａに例示するように、本実施形態の信号処理装置１は推定部１１と抑圧部１２とを有する。
　＜ステップＳ１１＞
　図１Ｂに例示するように、推定部１１には、周波数別観測信号ｘｆ，ｔが入力される（式（１））。推定部１１は、各周波数帯域において、周波数別観測信号ｘｆ，ｔに、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマｗ－ ｆを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマｗ－ ｆを得て出力する。例えば、推定部１１は、確率密度関数ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）に基づくｙｆ，ｔの音声らしさを表す確率が大きくなるように（例えば、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）を大きくするように）畳み込みビームフォーマｗ－ ｆを求める。好ましくは、推定部１１は、この確率を最大化する（例えば、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ－ ｆ）を最大化する）畳み込みビームフォーマｗ－ ｆを求める。
　＜ステップＳ１２＞
　抑圧部１２には、周波数別観測信号ｘｆ，ｔとステップＳ１１で得られた畳み込みビームフォーマｗ－ ｆとが入力される。抑圧部１２は、各周波数帯域において、畳み込みビームフォーマｗ－ ｆを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔ（推定信号）を得て出力する。例えば、抑圧部１２は、式（１６）に例示したように、ｗ－ ｆをｘ－ ｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。
　＜本実施形態の特徴＞
　本実施形態では、周波数別観測信号ｘｆ，ｔに、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマｗ－ ｆを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマｗ－ ｆを求めた。これは雑音抑圧と残響抑圧とを１つの系として最適化することに相当する。そのため、本実施形態では、従来よりも雑音と残響とを十分に抑圧することができる。
　［第２実施形態］
　次に、第２実施形態を説明する。以下、これまで説明した処理部およびステップについては同じ参照番号を引用して説明を簡略化する。
　図２Ａに例示するように、本実施形態の信号処理装置２は推定部２１と抑圧部１２とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。
　本実施形態の推定部２１は、「周波数別観測信号ｘｆ，ｔに畳み込みビームフォーマｗ－ ｆを適用した結果、目的信号が歪まない」という拘束条件のもとで、所定の時間区間に属する各時刻での推定信号のパワーを、目的信号のパワーσｆ，ｔ ２の逆数または当該目的信号の推定パワーσｆ，ｔ ２の逆数で重み付けして得られる値の総和（例えば、式（１３）のコスト関数Ｃ３（ｗ－ ｆ））、を最小化する畳み込みビームフォーマｗ－ ｆを得て出力する。式（９）に例示したように、畳み込みビームフォーマｗ－ ｆは、周波数別観測信号ｘｆ，ｔから残響を抑圧する残響抑圧フィルタＦｆ，ｔと、周波数別観測信号ｘｆ，ｔに残響抑圧フィルタＦｆ，ｔを適用して得られる信号から雑音を抑圧する瞬時ビームフォーマｗｆ，０を合成して得られるビームフォーマと等価である。また拘束条件は、例えば「音源から音響信号の集音位置までの直接音および初期反射音に関する伝達関数を要素とするステアリングベクトルまたはステアリングベクトルの推定ベクトルである推定ステアリングベクトルに瞬時ビームフォーマを適用して得られる値が定数である（ｗｆ，０ Ｈνｆ，０が定数）」という条件である。以下、処理を詳細に説明する。
　＜ステップＳ２１１＞
　図２Ｂに例示するように、行列推定部２１１には、周波数別観測信号ｘｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。行列推定部２１１は、各周波数帯域について、周波数別観測信号ｘｆ，ｔと目的信号のパワーまたは推定パワーσｆ，ｔ ２とに基づき、重み付き時空間共分散行列Ｒｆを得て出力する。例えば、行列推定部２１１は、式（１４）に従って重み付き時空間共分散行列Ｒｆを得て出力する。
　＜ステップＳ２１２＞
　畳み込みビームフォーマ推定部２１２には、ステアリングベクトルまたは推定ステアリングベクトルνｆ，０（式（４）または（５））とステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとが入力される。畳み込みビームフォーマ推定部２１２は、重み付き時空間共分散行列Ｒｆとステアリングベクトルまたは推定ステアリングベクトルνｆ，０とに基づき、畳み込みビームフォーマｗ－ ｆを得て出力する。例えば、畳み込みビームフォーマ推定部２１２は、式（１５）に従って畳み込みビームフォーマｗ－ ｆを得て出力する。
　＜ステップＳ１２＞
　第１実施形態と同一であるため説明を省略する。
　＜本実施形態の特徴＞
　本実施形態では、重み付き時空間共分散行列Ｒｆを得、重み付き時空間共分散行列Ｒｆとステアリングベクトルまたは推定ステアリングベクトルνｆ，０とに基づき、畳み込みビームフォーマｗ－ ｆを得た。これは雑音抑圧と残響抑圧とを１つの系として最適化することに相当する。そのため、本実施形態では、従来よりも雑音と残響とを十分に抑圧することができる。
　［第３実施形態］
　次に、第３実施形態を説明する。本実施形態では、σｆ，ｔ ２およびνｆ，０の生成方法を例示する。
　図３に例示するように、本実施形態の信号処理装置３は推定部２１と抑圧部１２とパラメータ推定部３３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。また図４に例示するように、パラメータ推定部３３は、初期設定部３３０と、パワー推定部３３１と、残響抑圧フィルタ推定部３３２と、残響抑圧フィルタ適用部３３３と、ステアリングベクトル推定部３３４と、瞬時ビームフォーマ推定部３３５と、瞬時ビームフォーマ適用部３３６と、制御部３３７とを有する。
　以下では第２実施形態との相違点であるパラメータ推定部３３の処理のみを説明する。その他の処理部の処理は第１，２実施形態で説明した通りである。
　＜ステップＳ３３０＞
　初期設定部３３０には周波数別観測信号ｘｆ，ｔが入力される。初期設定部３３０は、周波数別観測信号ｘｆ，ｔを用い、目的信号の推定パワーσｆ，ｔ ２の暫定値である暫定パワーσｆ，ｔ ２を生成して出力する。例えば、初期設定部３３０は、以下に従って暫定パワーσｆ，ｔ ２を生成して出力する。
Figure JPOXMLDOC01-appb-M000023
なお、Ｍ＝１の場合にはσｆ，ｔ ２＝｜ｘｆ，ｔ｜２＝ｘｆ，ｔ Ｈｘｆ，ｔである。
　＜ステップＳ３３２＞
　残響抑圧フィルタ推定部３３２には、周波数別観測信号ｘｆ，ｔと最新の暫定パワーσｆ，ｔ ２とが入力される。残響抑圧フィルタ推定部３３２は、各周波数帯域において、式（７）のコスト関数Ｃ２（Ｆｆ）を最小化する残響抑圧フィルタＦｆ，ｔをｔ＝ｄ，ｄ＋１，…，ｄ＋Ｌ－１に対して求めて出力する。
　＜ステップＳ３３３＞
　残響抑圧フィルタ適用部３３３には、周波数別観測信号ｘｆ，ｔとステップＳ３３２で得られた最新の残響抑圧フィルタＦｆ，ｔとが入力される。残響抑圧フィルタ適用部３３３は、各周波数帯域において、周波数別観測信号ｘｆ，ｔに残響抑圧フィルタＦｆ，ｔを適用して推定信号ｙ’ｆ，ｔを得て出力する。例えば、残響抑圧フィルタ適用部３３３は、式（８）に従って得たｚｆ，ｔをｙ’ｆ，ｔとして出力する。
　＜ステップＳ３３４＞
　ステアリングベクトル推定部３３４には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔが入力される。ステアリングベクトル推定部３３４は、各周波数帯域において、推定信号ｙ’ｆ，ｔを用い、推定ステアリングベクトルの暫定ベクトルである暫定ステアリングベクトルνｆ，０を得て出力する。例えば、ステアリングベクトル推定部３３４は、非特許文献１，２に記載されたステアリングベクトルの推定方法に従って、推定信号ｙ’ｆ，ｔに対する暫定ステアリングベクトルνｆ，０を得て出力する。例えば、ステアリングベクトル推定部３３４は、非特許文献２のｙｆ，ｔとしてｙ’ｆ，ｔを用いて推定されたステアリングベクトルを暫定ステアリングベクトルνｆ，０として出力する。また前述のように、いずれか一つのマイクロホン番号ｍ０∈｛１，…，Ｍ｝のマイクロホンのゲインが定数ｇとなるように各要素の伝達関数を正規化した正規化ベクトルをνｆ，０としてもよい（式（５））。
　＜ステップＳ３３５＞
　瞬時ビームフォーマ推定部３３５には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔと、ステップＳ３３４で得られた最新の暫定ステアリングベクトルνｆ，０とが入力される。瞬時ビームフォーマ推定部３３５は、各周波数帯域において、「ｗｆ，０ Ｈνｆ，０が定数となる」との拘束条件のもとで、式（２）においてｘｆ，ｔ＝ｙ’ｆ，ｔした以下の式（１８）のＣ１（ｗｆ，０）を最小化する瞬時ビームフォーマｗｆ，０を得て出力する。
Figure JPOXMLDOC01-appb-M000024
　＜ステップＳ３３６＞
　瞬時ビームフォーマ適用部３３６には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔと、ステップＳ３３５で得られた最新の瞬時ビームフォーマｗｆ，０とが入力される。瞬時ビームフォーマ適用部３３６は、各周波数帯域において、瞬時ビームフォーマｗｆ，０を推定信号ｙ’ｆ，ｔに適用して推定信号ｙ”ｆ，ｔを得て出力する。例えば、瞬時ビームフォーマ適用部３３６は、以下のように推定信号ｙ”ｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000025
　＜ステップＳ３３１＞
　パワー推定部３３１には、ステップＳ３３６で得られた最新の推定信号ｙ”ｆ，ｔが入力される。パワー推定部３３１は、各周波数帯域において、推定信号ｙ”ｆ，ｔのパワーを暫定パワーσｆ，ｔ ２として出力する。例えば、パワー推定部３３１は、以下に従って暫定パワーσｆ，ｔ ２を生成して出力する。
σｆ，ｔ ２＝｜ｙ”ｆ，ｔ｜２＝ｙ”ｆ，ｔ Ｈｙ”ｆ，ｔ　　　　　（２０）
　＜ステップＳ３３７ａ＞
　制御部３３７は終了条件を満たした否かを判定する。終了条件に限定はないが、例えば、ステップＳ３３１－Ｓ３３６の処理の繰り返し回数が所定値を超えたこと、ステップＳ３３１－Ｓ３３６の処理を１回行った前後でのσｆ，ｔ ２またはνｆ，０の変化量が所定値以下であることなどである。終了条件を満たしていない場合には、ステップＳ３３２の処理に戻る。一方、終了条件を満たした場合にはステップＳ３３７ｂに進む。
　＜ステップＳ３３７ｂ＞
　ステップＳ３３７ｂでは、パワー推定部３３１がステップＳ３３１で得た最新のσｆ，ｔ ２を目的信号の推定パワーとして出力し、ステアリングベクトル推定部３３４がステップＳ３３４で得た最新のνｆ，０を推定ステアリングベクトルとして出力する。図３に例示するように、推定パワーσｆ，ｔ ２は行列推定部２１１に入力され、推定ステアリングベクトルνｆ，０が畳み込みビームフォーマ推定部２１２に入力される。
　［第４実施形態］
　上述のようにステアリングベクトルは周波数別観測信号ｘｆ，ｔに基づいて推定されるが、周波数別観測信号ｘｆ，ｔの残響を抑圧してから（好ましくは、残響を除去してから）ステアリングベクトルの推定を行うとその推定精度が向上する。すなわち、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した周波数別残響抑圧信号を得、当該周波数別残響抑圧信号から推定ステアリングベクトルを得ることで推定ステアリングベクトルの精度を向上させることができる。
　図６に例示するように、本実施形態の信号処理装置４は推定部２１と抑圧部１２とパラメータ推定部４３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。図７に例示するように、パラメータ推定部４３は残響抑圧部４３１とステアリングベクトル推定部４３２とを有する。
　第４実施形態の第１から３実施形態からの相違点は、推定ステアリングベクトルを生成する前に周波数別観測信号ｘｆ，ｔから残響成分を抑圧する点である。以下では、推定ステアリングベクトルの生成方法のみを説明する。
　＜残響抑圧部４３１の処理（ステップＳ４３１）＞
　パラメータ推定部４３（図７）の残響抑圧部４３１には周波数別観測信号ｘｆ，ｔが入力される。残響抑圧部４３１は、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した（好ましくは、周波数別観測信号ｘｆ，ｔから残響成分を除去した）周波数別残響抑圧信号ｕｆ，ｔを得て出力する。周波数別観測信号ｘｆ，ｔから残響成分を抑圧（除去）する方法に限定はない。公知の残響抑圧（除去）方法を利用することができる。例えば、残響抑圧部４３１は、参考文献１に記載された方法を用い、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した周波数別残響抑圧信号ｕｆ，ｔを得て出力する。
　参考文献１：Takuya Yoshioka and Tomohiro Nakatani, "Generalization of Multi-Channel Linear Prediction Methods for Blind MIMO Impulse Response Shortening," IEEE Transactions on Audio, Speech, and Language Processing (Volume: 20, Issue: 10 , Dec. 2012)
　＜ステアリングベクトル推定部４３２の処理（ステップＳ４３２）＞
　残響抑圧部４３１で得られた周波数別残響抑圧信号ｕｆ，ｔはステアリングベクトル推定部４３２に入力される。ステアリングベクトル推定部４３２は、周波数別残響抑圧信号ｕｆ，ｔを入力としてステアリングベクトルの推定ベクトルである推定ステアリングベクトルを生成して出力する。周波数別の時系列信号を入力として推定ステアリングベクトルを得るためのステアリングベクトル推定処理方法は周知である。ステアリングベクトル推定部４３２は、任意のステアリングベクトル推定処理の入力として周波数別残響抑圧信号ｕｆ，ｔを用い、推定ステアリングベクトルνｆ，０を得て出力する。ステアリングベクトル推定処理方法に限定はなく、例えば、上述した非特許文献１，２に記載された方法を用いてもよいし、参考文献２，３等を用いてもよい。
　参考文献２：N. Ito, S. Araki, M. Delcroix, and T. Nakatani, “Probabilistic spatial dictionary based online adaptive beamforming for meeting recognition in noisy and reverberant environments,” Proc IEEE ICASSP, pp. 681-685, 2017.
　参考文献３：S. Markovich-Golan and S. Gannot, “Performance analysis of the covarience subtraction method for relative transfer function estimation and comparison to the covariance whitening method,” Proc. IEEE ICASSP, pp. 544-548, 2015.
　ステアリングベクトル推定部４３２で得られた推定ステアリングベクトルνｆ，０は、畳み込みビームフォーマ推定部２１２に入力される。畳み込みビームフォーマ推定部２１２は、この推定ステアリングベクトルνｆ，０とステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとを用い、第２実施形態で説明したステップＳ２１２の処理を行う。その他は、第１，２実施形態で説明した通りである。
　［第５実施形態］
　第５実施形態ではステアリングベクトルの推定を逐次処理で実行する方法を説明する。これによって、例えば、オンラインで逐次的に入力された周波数別観測信号ｘｆ，ｔから各時間フレーム番号ｔの推定ステアリングベクトルを計算することができる。
　図６に例示するように、本実施形態の信号処理装置５は推定部２１と抑圧部１２とパラメータ推定部５３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。図７に例示するように、パラメータ推定部５３はステアリングベクトル推定部５３２を有する。図８に例示するように、ステアリングベクトル推定部５３２は、観測信号共分散行列更新部５３２ａと主成分ベクトル更新部５３２ｂとステアリングベクトル更新部５３２ｃ（ステアリングベクトル推定部）と雑音共分散逆行列更新部５３２ｄと雑音共分散行列更新部５３２ｅとを有する。第５実施形態の第１から３実施形態からの相違点は、推定ステアリングベクトルの生成を逐次処理で行う点のみである。以下では推定ステアリングベクトルの生成方法のみを説明する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
　＜ステアリングベクトル推定部５３２の処理（ステップＳ５３２）＞
　ステアリングベクトル推定部５３２（図７，図８）には、周波数別の時系列信号である周波数別観測信号ｘｆ，ｔが入力される。
　≪観測信号共分散行列更新部５３２ａの処理（ステップＳ５３２ａ）≫
　観測信号共分散行列更新部５３２ａ（図８）は、周波数別観測信号ｘｆ，ｔを入力とし、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、および周波数別観測信号ｘｆ，ｔ－１の空間共分散行列Ψｘ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の空間共分散行列）に基づく、周波数別観測信号ｘｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）を得て出力する。例えば、観測信号共分散行列更新部５３２ａは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）の共分散行列ｘｆ，ｔｘｆ，ｔ Ｈと空間共分散行列Ψｘ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の空間共分散行列）との線形和を、周波数別観測信号ｘｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）として得て出力する。例えば、観測信号共分散行列更新部５３２ａは、以下の式（２１）に従って空間共分散行列Ψｘ，ｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000026
ここで、βは忘却係数であり、例えば０＜β＜１の範囲に属する実数である。空間共分散行列Ψｘ，ｆ，ｔ－１の初期行列Ψｘ，ｆ，０はどのようなものでもよい。例えば、Ｍ×Ｍ次元の単位行列を空間共分散行列Ψｘ，ｆ，ｔ－１の初期行列Ψｘ，ｆ，０とすることができる。
　＜雑音共分散逆行列更新部５３２ｄの処理（ステップＳ５３２ｄ）＞
　雑音共分散逆行列更新部５３２ｄには、周波数別観測信号ｘｆ，ｔおよびマスク情報γｆ，ｔ （ｎ）が入力される。マスク情報γｆ，ｔ （ｎ）は、時間フレーム番号ｔおよび周波数帯域番号ｆに対応する時間周波数点において、周波数別観測信号ｘｆ，ｔに含まれる雑音成分の割合を表す情報である。言い換えると、マスク情報γｆ，ｔ （ｎ）は、時間フレーム番号ｔおよび周波数帯域番号ｆに対応する時間周波数点で、周波数別観測信号ｘｆ，ｔに含まれる雑音成分の占有確率を表す。マスク情報γｆ，ｔ （ｎ）の推定方法に限定はない。マスク情報γｆ，ｔ （ｎ）の推定方法は周知であり、例えば、complex Gaussian mixture model (CGMM)を用いる推定方法（例えば、参考文献４）、ニューラルネットワークを用いる推定方法（例えば、参考文献５）、およびそれらを結合した推定方法（例えば、参考文献６、参考文献７）などが知られている。
　参考文献４：T. Higuchi, N. Ito, T. Yoshioka, and T. Nakatani, "Robust MVDR beamforming using time-frequency masks for online/offline ASR in noise," Proc. IEEE ICASSP-2016, pp. 5210-5214, 2016．
　参考文献５：J. Heymann, L. Drude, and R. Haeb-Umbach, "Neural network based spectral mask estimation for acoustic beamforming," Proc. IEEE ICASSP-2016, pp. 196-200, 2016.
　参考文献６：T. Nakatani, N. Ito,  T. Higuchi, S. Araki, and K. Kinoshita, "Integrating DNN-based and spatial clustering-based mask estimation for robust MVDR beamforming," Proc. IEEE ICASSP-2017, pp. 286-290, 2017.
　参考文献７：Y. Matsui, T. Nakatani, M. Delcroix, K. Kinoshita, S. Araki, and S. Makino, "Online integration of DNN-based and spatial clustering-based mask estimation for robust MVDR beamforming," Proc. IWAENC, pp. 71-75, 2018.
　マスク情報γｆ，ｔ （ｎ）は、事前に推定されて図示していない記憶装置に格納されたものであってもよいし、逐次的に推定されるものであってもよい。なお、「γｆ，ｔ （ｎ）」の右上添字の「（ｎ）」は本来右下添字の「ｆ，ｔ」の真上に記載すべきであるが、記載表記の制約上、「ｆ，ｔ」の右上に記載してある。
　雑音共分散逆行列更新部５３２ｄは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、マスク情報γｆ，ｔ （ｎ）（第１時間区間に属するマスク情報）、および雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散逆行列）に基づき、雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の雑音共分散逆行列）を得て出力する。例えば、雑音共分散逆行列更新部５３２ｄは、Woodburyの公式を用い、以下の式（２２）に従って雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000027
ここで、αは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ－１の初期行列Ψ－１ ｎ，ｆ，０はどのようなものでもよい。例えば、Ｍ×Ｍ次元の単位行列を雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ－１の初期行列Ψ－１ ｎ，ｆ，０とすることができる。なお、「Ψ－１ ｎ，ｆ，ｔ」の右上添字の「－１」は本来右下添字の「ｎ，ｆ，ｔ」の真上に記載すべきであるが、記載表記の制約上、「ｎ，ｆ，ｔ」の左上に記載してある。
　＜主成分ベクトル更新部５３２ｂの処理（ステップＳ５３２ｂ）＞
　主成分ベクトル更新部５３２ｂには、観測信号共分散行列更新部５３２ａで得られた空間共分散行列Ψｘ，ｆ，ｔ、および雑音共分散逆行列更新部５３２ｄで得られた雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔが入力される。主成分ベクトル更新部５３２ｂは、雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔ（周波数別観測信号の雑音共分散行列の逆行列）、空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）、および主成分ベクトルｖ～ ｆ，ｔ－１（第２時間区間の主成分ベクトル）に基づき、パワー法によってΨ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔ（周波数別観測信号の雑音共分散行列の逆行列と、第１時間区間に属する周波数別観測信号の空間共分散行列と、の積）に対する主成分ベクトルｖ～ ｆ，ｔ（第１時間区間の主成分ベクトル）を得て出力する。例えば、主成分ベクトル更新部５３２ｂは、Ψ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔｖ～ ｆ，ｔ－１に基づく主成分ベクトルｖ～ ｆ，ｔを得て出力する。例えば、主成分ベクトル更新部５３２ｂは、以下の式（２３）（２４）に従って主成分ベクトルｖ～ ｆ，ｔを得て出力する。なお、「ｖ～ ｆ，ｔ」の右上添字の「～」は本来右下添字の「ｖ」の真上に記載すべきであるが、記載表記の制約上、「ｖ」の右上に記載している。
Figure JPOXMLDOC01-appb-M000028
Figure JPOXMLDOC01-appb-M000029
ここでｖ～ ｆ，ｔ ｒｅｆは、式（２３）で得られるベクトルｖ～’ｆ，ｔのＭ個の要素のうち、基準とする所定のマイクロホン（参照マイクロホンｒｅｆ）に対応する要素を表す。すなわち、式（２３）（２４）の例では、主成分ベクトル更新部５３２ｂは、ｖ～’ｆ，ｔ＝Ψ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔｖ～ ｆ，ｔ－１の各要素をｖ～ ｆ，ｔ ｒｅｆで正規化したものを主成分ベクトルｖ～ ｆ，ｔとしている。なお、「ｖ～’ｆ，ｔ」の右上添字の「～」は本来右下添字の「ｖ」の真上に記載すべきであるが、記載表記の制約上、「ｖ」の右上に記載している。
　＜雑音共分散行列更新部５３２ｅ（ステップＳ５３２ｅ）＞
　雑音共分散行列更新部５３２ｅは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、およびマスク情報γｆ，ｔ （ｎ）（第１時間区間に属するマスク情報）を入力とし、周波数別観測信号ｘｆ，ｔ、マスク情報γｆ，ｔ （ｎ）、および雑音共分散行列Ψｎ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散行列）に基づく、周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の雑音共分散行列）を得て出力する。例えば、雑音共分散行列更新部５３２ｅは、周波数別観測信号ｘｆ，ｔの共分散行列ｘｆ，ｔｘｆ，ｔ Ｈとマスク情報γｆ，ｔ （ｎ）との積γｆ，ｔ （ｎ）ｘｆ，ｔｘｆ，ｔ Ｈと雑音共分散行列Ψｎ，ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散行列）との線形和を、周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔとして得て出力する。例えば、雑音共分散行列更新部５３２ｅは、以下の式（２５）に従って雑音共分散行列Ψｎ，ｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000030
ここでαは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。
　＜ステアリングベクトル更新部５３２ｃ（ステップＳ５３２ｃ）＞
　ステアリングベクトル更新部５３２ｃは、主成分ベクトル更新部５３２ｂで得られた主成分ベクトルｖ～ ｆ，ｔ（第１時間区間の主成分ベクトル）、および雑音共分散行列更新部５３２ｅで得られた雑音共分散行列Ψｎ，ｆ，ｔ（周波数別観測信号の雑音共分散行列）を入力とし、これらに基づき、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）を得て出力する。例えば、ステアリングベクトル更新部５３２ｃは、Ψｎ，ｆ，ｔｖ～ ｆ，ｔに基づく推定ステアリングベクトルνｆ，ｔを得て出力する。例えば、ステアリングベクトル更新部５３２ｃは、以下の式（２６）（２７）に従って推定ステアリングベクトルνｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000031
Figure JPOXMLDOC01-appb-M000032
ここでｖｆ，ｔ ｒｅｆは、式（２６）で得られるベクトルｖ’ｆ，ｔのＭ個の要素のうち、参照マイクロホンｒｅｆに対応する要素を表す。すなわち、式（２６）（２７）の例では、ステアリングベクトル更新部５３２ｃは、ｖ’ｆ，ｔ＝Ψｎ，ｆ，ｔｖ～ ｆ，ｔの各要素をｖｆ，ｔ ｒｅｆで正規化したものを推定ステアリングベクトルνｆ，ｔとしている。
　ステアリングベクトル推定部５３２で得られた推定ステアリングベクトルνｆ，ｔは、畳み込みビームフォーマ推定部２１２に入力される。畳み込みビームフォーマ推定部２１２は、この推定ステアリングベクトルνｆ，ｔをνｆ，０として扱い、推定ステアリングベクトルνｆ，ｔとステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとを用い、第２実施形態で説明したステップＳ２１２の処理を行う。その他は、第１，２実施形態で説明した通りである。また行列推定部２１１に入力されるσｆ，ｔ ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２が用いられてもよい。
　［第５実施形態の変形例１］
　第５実施形態のステップＳ５３２ｄでは、雑音共分散逆行列更新部５３２ｄが周波数別観測信号ｘｆ，ｔおよびマスク情報γｆ，ｔ （ｎ）を用いて、時間フレーム番号ｔに対応する各時点において雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔを適応更新した。しかしながら、雑音共分散逆行列更新部５３２ｄが、マスク情報γｆ，ｔ （ｎ）を用いることなく、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔを用いて雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔを得て出力してもよい。例えば、雑音共分散逆行列更新部５３２ｄが、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔに対するｘｆ，ｔｘｆ，ｔ Ｈの時間平均の逆行列を雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔとして出力してもよい。このように得られた雑音共分散逆行列Ψ－１ ｎ，ｆ，ｔは、各時間フレーム番号ｔのフレームにおいて継続的に使用される。
　第５実施形態のステップＳ５３２ｅで、雑音共分散行列更新部５３２ｅが、マスク情報γｆ，ｔ （ｎ）を用いることなく、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔを用いて周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔを得て出力してもよい。例えば、雑音共分散行列更新部５３２ｅが、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔに対するｘｆ，ｔｘｆ，ｔ Ｈの時間平均を雑音共分散行列Ψｎ，ｆ，ｔとして出力してもよい。このように得られた雑音共分散行列Ψｎ，ｆ，ｔは、各時間フレーム番号ｔのフレームにおいて継続的に使用される。
　［第５実施形態の変形例２］
　第５実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ－１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ－１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
　［第６実施形態］
　第５実施形態では、ステアリングベクトル推定部５３２が周波数別観測信号ｘｆ，ｔを入力とし、逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する。しかしながら、第４実施形態で説明したように、周波数別観測信号ｘｆ，ｔの残響を抑圧してからステアリングベクトルの推定を行うとその推定精度が向上する。第６実施形態では、周波数別観測信号ｘｆ，ｔの残響を抑圧してから、ステアリングベクトル推定部が第５実施形態で説明したように逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する例を説明する。
　図６に例示するように、本実施形態の信号処理装置６は推定部２１と抑圧部１２とパラメータ推定部６３とを有する。図７に例示するように、パラメータ推定部６３は残響抑圧部４３１とステアリングベクトル推定部６３２とを有する。第６実施形態の第５実施形態からの相違点は、推定ステアリングベクトルを生成する前に周波数別観測信号ｘｆ，ｔから残響成分を抑圧する点である。以下では、推定ステアリングベクトルの生成方法のみを説明する。
　＜残響抑圧部４３１の処理（ステップＳ４３１）＞
　残響抑圧部４３１（図７）は、第４実施形態で説明したように、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した（好ましくは、周波数別観測信号ｘｆ，ｔから残響成分を除去した）周波数別残響抑圧信号ｕｆ，ｔを得て出力する。
　＜ステアリングベクトル推定部６３２の処理（ステップＳ６３２）＞
　周波数別残響抑圧信号ｕｆ，ｔはステアリングベクトル推定部６３２に入力される。ステアリングベクトル推定部６３２の処理は、周波数別観測信号ｘｆ，ｔに代えて周波数別残響抑圧信号ｕｆ，ｔがステアリングベクトル推定部６３２に入力され、ステアリングベクトル推定部６３２が周波数別観測信号ｘｆ，ｔに代えて周波数別残響抑圧信号ｕｆ，ｔを使用することを除き、第５実施形態のステアリングベクトル推定部５３２の処理と同じである。すなわち、ステアリングベクトル推定部６３２の処理は、ステアリングベクトル推定部５３２の処理における周波数別観測信号ｘｆ，ｔを周波数別残響抑圧信号ｕｆ，ｔに置換したものである。その他は第５実施形態およびその変形例と同じである。つまり、ステアリングベクトル推定部６３２には、周波数別の時系列信号である周波数別残響抑圧信号ｕｆ，ｔが入力される。観測信号共分散行列更新部５３２ａは、第１時間区間に属する周波数別残響抑圧信号ｕｆ，ｔ、および第１時間区間よりも過去の第２時間区間に属する周波数別残響抑圧信号ｕｆ，ｔ－１の空間共分散行列Ψｘ，ｆ，ｔ－１に基づく、第１時間区間に属する周波数別残響抑圧信号ｕｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔを得て出力する。主成分ベクトル更新部５３２ｂは、周波数別残響抑圧信号ｕｆ，ｔの雑音共分散行列の逆行列Ψ－１ ｎ，ｆ，ｔ、第１時間区間に属する周波数別残響抑圧信号の空間共分散行列Ψｘ，ｆ，ｔ、および第２時間区間の主成分ベクトルｖ～ ｆ，ｔ－１に基づき、周波数別残響抑圧信号の雑音共分散行列の逆行列Ψ－１ ｎ，ｆ，ｔと、第１時間区間に属する周波数別残響抑圧信号の空間共分散行列Ψｘ，ｆ，ｔと、の積Ψ－１ ｎ，ｆ，ｔΨｘ，ｆ，ｔに対する第１時間区間の主成分ベクトルｖ～ ｆ，ｔを得て出力する。ステアリングベクトル更新部５３２ｃは、周波数別残響抑圧信号ｕｆ，ｔの雑音共分散行列と第１時間区間の主成分ベクトルｖ～ ｆ，ｔとに基づき、第１時間区間の推定ステアリングベクトルνｆ，ｔを得て出力する。
　［第７実施形態］
　第７実施形態では、畳み込みビームフォーマの推定を逐次処理で実行する方法を説明する。これによって、例えば、オンラインで逐次的に入力された周波数別観測信号ｘｆ，ｔから各時間フレーム番号ｔの畳み込みビームフォーマを推定し、目的信号ｙｆ，ｔを得ることができる。
　図６に例示するように、本実施形態の信号処理装置７は、推定部７１と抑圧部７２とパラメータ推定部５３とを有する。推定部７１は行列推定部７１１と畳み込みビームフォーマ推定部７１２とを有する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
　＜パラメータ推定部５３の処理（ステップＳ５３）＞
　パラメータ推定部５３（図６，図７）には周波数別観測信号ｘｆ，ｔが入力される。パラメータ推定部５３のステアリングベクトル推定部５３２（図８）は、第５実施形態で説明したように、周波数別観測信号ｘｆ，ｔを入力として逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する（ステップＳ５３２）。推定ステアリングベクトルνｆ，ｔを以下のＭ次元ベクトルで表記する。
Figure JPOXMLDOC01-appb-M000033
ただし、νｆ，ｔ （ｍ）は推定ステアリングベクトルνｆ，ｔのＭ個の要素のうち、マイクロホン番号ｍのマイクロホンに対応する要素を表す。ステアリングベクトル推定部５３２で得られた推定ステアリングベクトルνｆ，ｔは、畳み込みビームフォーマ推定部７１２に入力される。
　＜行列推定部７１１の処理（ステップＳ７１１）＞
　行列推定部７１１（図６）には、周波数別観測信号ｘｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。行列推定部７１１に入力されるσｆ，ｔ ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２が用いられてもよい。行列推定部７１１は、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、および目的信号のパワーまたは推定パワーσｆ，ｔ ２（第１時間区間に属する周波数別観測信号のパワーまたは推定パワー）、ならびに時空間共分散行列の逆行列
Figure JPOXMLDOC01-appb-M000034
（第１時間区間よりも過去の第２時間区間の時空間共分散行列の逆行列）に基づき、時空間共分散行列の逆行列
Figure JPOXMLDOC01-appb-M000035
（第１時間区間の時空間共分散行列の逆行列）を推定して出力する。時空間共分散行列の例は
Figure JPOXMLDOC01-appb-M000036
である。この場合、行列推定部７１１は、例えば、以下の式（２８）（２９）に従って時空間共分散行列の逆行列
Figure JPOXMLDOC01-appb-M000037
を生成して出力する。
Figure JPOXMLDOC01-appb-M000038
Figure JPOXMLDOC01-appb-M000039
ここで、式（２８）のｋｆ，ｔは（Ｌ＋１）Ｍ次元ベクトルであり、式（２９）の逆行列は（Ｌ＋１）Ｍ×（Ｌ＋１）Ｍの行列である。αは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。また時空間共分散行列の逆行列
Figure JPOXMLDOC01-appb-M000040
の初期行列はどのようなものでもよく、この初期行列の例は（Ｌ＋１）Ｍ次元の単位行列
Figure JPOXMLDOC01-appb-M000041
である。
　＜ビームフォーマ推定部７１２の処理（ステップＳ７１２）＞
　行列推定部７１１で得られた
Figure JPOXMLDOC01-appb-M000042
（第１時間区間の時空間共分散行列の逆行列）、およびパラメータ推定部５３で得られた推定ステアリングベクトルνｆ，ｔは、ビームフォーマ推定部７１２に入力される。畳み込みビームフォーマ推定部７１２は、これらに基づき、畳み込みビームフォーマｗ－ ｆ，ｔ（第１時間区間の畳み込みビームフォーマ）を得て出力する。例えば、畳み込みビームフォーマ推定部７１２は、以下の式（３０）に従って畳み込みビームフォーマｗ－ ｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000043
ただし、
Figure JPOXMLDOC01-appb-M000044
Figure JPOXMLDOC01-appb-M000045
である。
Figure JPOXMLDOC01-appb-M000046
はＬ＋１次元ベクトルである。ｇｆは０以外のスカラー定数である。
　＜抑圧部７２の処理（ステップＳ７２）＞
　抑圧部７２には、周波数別観測信号ｘｆ，ｔ、およびビームフォーマ推定部７１２で得られた畳み込みビームフォーマｗ－ ｆ，ｔが入力される。抑圧部７２は、各時間フレーム番号ｔおよび周波数帯域番号ｆにおいて、畳み込みビームフォーマｗ－ ｆ，ｔを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。例えば、抑圧部７２は、以下の式（３１）に従って目的信号ｙｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000047
　［第７実施形態の変形例１］
　第７実施形態の信号処理装置７のパラメータ推定部５３がパラメータ推定部６３に置換されてもよい。すなわち、第７実施形態において、パラメータ推定部５３に代えてパラメータ推定部６３が周波数別観測信号ｘｆ，ｔを入力とし、第６実施形態で説明したように逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力してもよい。
　［第７実施形態の変形例２］
　第７実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ－１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ－１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
　［第８実施形態］
　第２実施形態では、ｗｆ，０ Ｈνｆ，０が定数となるとの拘束条件のもと、コスト関数Ｃ３（ｗ－ ｆ）を最小化するｗ－ ｆの解析解を式（１５）とみなし、式（１５）に従って畳み込みビームフォーマｗ－ ｆを得る例を説明した。第８実施形態では別の最適解を用い、畳み込みビームフォーマを得る例を示す。
　推定ステアリングベクトルνｆ，０の直交補空間に対応する（Ｍ－１）×Ｍのブロック行列をＢｆとするとＢｆ Ｈνｆ，０＝０を満たす。このようなブロック行列Ｂｆは無数に存在する。以下の式（３２）にブロック行列Ｂｆの一例を示す。
Figure JPOXMLDOC01-appb-M000048
ここでν－ ｆ，０は、ステアリングベクトルνｆ，０または推定ステアリングベクトルνｆ，０の参照マイクロホンｒｅｆ以外のマイクロホンに対応する要素からなるＭ－１次元列ベクトル、ｖｆ，０ ｒｅｆはνｆ，０の参照マイクロホンｒｅｆに対応する要素、ＩＭ－１は（Ｍ－１）×（Ｍ－１）次元の単位行列である。
　ｇｆを０以外のスカラー定数とし、ａｆ，０をＭ次元の変形瞬時ビームフォーマとし、瞬時ビームフォーマｗｆ，０を、ステアリングベクトルνｆ，０の定数倍ｇｆνｆ，０または推定ステアリングベクトルνｆ，０の定数倍ｇｆνｆ，０と、ステアリングベクトルνｆ，０または推定ステアリングベクトルνｆ，０の直交補空間に対応するブロック行列Ｂｆと変形瞬時ビームフォーマａｆ，０との積Ｂｆａｆ，０と、の和で表記する。すなわち、
ｗｆ，０＝ｇｆνｆ，０＋Ｂｆａｆ，０　（３３）
と表記する。すると、Ｂｆ Ｈνｆ，０＝０であるため、「ｗｆ，０ Ｈνｆ，０が定数となる」との拘束条件は、以下のように表記される。
ｗｆ，０ Ｈνｆ，０＝（ｇｆνｆ，０＋Ｂｆａｆ，０）Ｈνｆ，０＝ｇｆ Ｈ｜νｆ，０｜２＝定数
このように、式（３３）のように定義しても、任意の変形瞬時ビームフォーマａｆ，０に対して「ｗｆ，０ Ｈνｆ，０が定数となる」という拘束条件を満たしている。そのため、瞬時ビームフォーマｗｆ，０を式（３３）のように定義してもよいことが分かる。本実施形態では瞬時ビームフォーマｗｆ，０を式（３３）のように定義した際の畳み込みビームフォーマの最適解を採用し、畳み込みビームフォーマの推定を行う。以下に詳細に説明する。
　図９に例示するように、本実施形態の信号処理装置８は、推定部８１と抑圧部８２とパラメータ推定部８３とを有する。推定部８１は、行列推定部８１１、畳み込みビームフォーマ推定部８１２、初期ビームフォーマ適用部８１３、およびブロック部８１４を有する。
　＜パラメータ推定部８３の処理（ステップＳ８３）＞
　パラメータ推定部８３（図９）は、周波数別観測信号ｘｆ，ｔを入力とし、前述したパラメータ推定部３３，４３，５３，６３の何れかと同じ方法で推定ステアリングベクトルを得、得られた推定ステアリングベクトルをνｆ，０として出力する。出力された推定ステアリングベクトルνｆ，０は、初期ビームフォーマ適用部８１３およびブロック部８１４に送られる。
　＜初期ビームフォーマ適用部８１３の処理（ステップＳ８１３）＞
　初期ビームフォーマ適用部８１３には、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔが入力される。初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）に基づく、初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）を得て出力する。例えば、初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，０の定数倍と周波数別観測信号ｘｆ，ｔとに基づく、初期ビームフォーマ出力ｚｆ，ｔを得て出力する。例えば、初期ビームフォーマ適用部８１３は、以下の式（３４）に従って初期ビームフォーマ出力ｚｆ，ｔを得て出力する。
ｚｆ，ｔ＝（ｇｆνｆ，０）Ｈｘｆ，ｔ　（３４）
出力された初期ビームフォーマ出力ｚｆ，ｔは、畳み込みビームフォーマ推定部８１２および抑圧部８２に送られる。
　＜ブロック部８１４の処理（ステップＳ８１４）＞
　ブロック部８１４には、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔが入力される。ブロック部８１４は、周波数別観測信号ｘｆ，ｔと推定ステアリングベクトルνｆ，０の直交補空間に対応するブロック行列Ｂｆとに基づく、ベクトルｘ＝ ｆ，ｔを得て出力する。前述のようにＢｆ Ｈνｆ，０＝０を満たす。ブロック行列Ｂｆの一例は前述の式（３２）に示した通りであるがこれは本発明を限定するものではなく、Ｂｆ Ｈνｆ，０＝０を満たすブロック行列Ｂｆであればどのようなものであってもよい。例えば、ブロック部８１４は、以下の式（３５）（３６）に従ってベクトルｘ＝ ｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000049
Figure JPOXMLDOC01-appb-M000050
なお、式（３６）に例示するように、「ｘ＝ ｆ，ｔ」の右上添字の「＝」は本来右下添字の「ｘ」の真上に記載すべきであるが、記載表記の制約上、「ｘ」の右上に記載する場合がある。出力されたベクトルｘ＝ ｆ，ｔは、行列推定部８１１、畳み込みビームフォーマ推定部８１２、および抑圧部８２に送られる。
　＜行列推定部８１１の処理（ステップＳ８１１）＞
　行列推定部８１１には、ブロック部８１４で得られたベクトルｘ＝ ｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。σｆ，ｔ ２は、例えば、式（１７）のように生成された暫定パワーであってもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２であってもよい。行列推定部８１１は、ベクトルｘ＝ ｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ ２を用い、式（３３）のように瞬時ビームフォーマｗｆ，０を表記したときに、推定信号の音声らしさを表す確率を大きくする、推定ステアリングベクトルνｆ，０、周波数別観測信号ｘｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２に基づく、重み付き変形時空間共分散行列Ｒ＝ ｆを得て出力する。例えば、行列推定部８１１は、ベクトルｘ＝ ｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２に基づく、重み付き変形時空間共分散行列Ｒ＝ ｆを得て出力する。例えば、行列推定部８１１は、以下の式（３７）に従って重み付き変形時空間共分散行列Ｒ＝ ｆを得て出力する。
Figure JPOXMLDOC01-appb-M000051
出力された重み付き変形時空間共分散行列Ｒ＝ ｆは畳み込みビームフォーマ推定部８１２に送られる。
　＜畳み込みビームフォーマ推定部８１２の処理（ステップＳ８１２）＞
　畳み込みビームフォーマ推定部８１２には、初期ビームフォーマ適用部８１３で得られた初期ビームフォーマ出力ｚｆ，ｔ、ブロック部８１４で得られたベクトルｘ＝ ｆ，ｔ、および行列推定部８１１で得られた重み付き変形時空間共分散行列Ｒ＝ ｆが入力される。畳み込みビームフォーマ推定部８１２は、これらを用い、推定ステアリングベクトルνｆ，０、重み付き変形時空間共分散行列Ｒ＝ ｆ、および周波数別観測信号ｘｆ，ｔに基づく、畳み込みビームフォーマｗ＝ ｆを得て出力する。例えば、畳み込みビームフォーマ推定部８１２は、以下の式（３８）に従って畳み込みビームフォーマｗ＝ ｆを得て出力する。
Figure JPOXMLDOC01-appb-M000052
  
Figure JPOXMLDOC01-appb-M000053
Figure JPOXMLDOC01-appb-M000054
出力された畳み込みビームフォーマｗ＝ ｆは抑圧部８２に送られる。
　＜抑圧部８２の処理（ステップＳ８２）＞
　抑圧部８２には、ブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔ、初期ビームフォーマ適用部８１３から出力された初期ビームフォーマ出力ｚｆ，ｔ、および畳み込みビームフォーマ推定部８１２から出力された畳み込みビームフォーマｗ＝ ｆが入力される。抑圧部８２は、初期ビームフォーマ出力ｚｆ，ｔおよび畳み込みビームフォーマｗ＝ ｆをベクトルｘ＝ ｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。この処理は、畳み込みビームフォーマｗ－ ｆを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する処理と等価である。例えば、抑圧部８２は、以下の式（３９）に従って目的信号ｙｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000055
　［第８実施形態の変形例１］
　パラメータ推定部８３で得られた推定ステアリングベクトルνｆ，０に代え、実測等に基づいて得られた既知のステアリングベクトルνｆ，０が初期ビームフォーマ適用部８１３およびブロック部８１４に入力されてもよい。この場合、初期ビームフォーマ適用部８１３およびブロック部８１４は推定ステアリングベクトルνｆ，０に代えてステアリングベクトルνｆ，０を用いて上述のステップＳ８１３およびＳ８１４を行う。
　［第９実施形態］
　第９実施形態では、第８実施形態に基づく畳み込みビームフォーマの推定を逐次処理で実行する方法を説明する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
　図１０に例示するように、本実施形態の信号処理装置９は、推定部９１と抑圧部９２とパラメータ推定部９３とを有する。推定部９１は、適応ゲイン推定部９１１、畳み込みビームフォーマ推定部９１２、行列推定部９１５、初期ビームフォーマ適用部８１３、およびブロック部８１４を有する。
　＜パラメータ推定部９３の処理（ステップＳ９３）＞
　パラメータ推定部９３（図１０）は、周波数別観測信号ｘｆ，ｔを入力とし、前述したパラメータ推定部５３，６３の何れかと同じ方法で推定ステアリングベクトルνｆ，ｔを得て出力する。出力された推定ステアリングベクトルνｆ，ｔは、初期ビームフォーマ適用部８１３およびブロック部８１４に送られる。
　＜初期ビームフォーマ適用部８１３の処理（ステップＳ８１３）＞
　初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）および周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）を入力とし、νｆ，０に代えてνｆ，ｔを用い、第８実施形態で説明したように初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）を得て出力する。出力された初期ビームフォーマ出力ｚｆ，ｔは抑圧部９２に送られる。
　＜ブロック部８１４の処理（ステップＳ８１４）＞
　ブロック部８１４は、推定ステアリングベクトルνｆ，ｔおよび周波数別観測信号ｘｆ，ｔを入力とし、νｆ，０に代えてνｆ，ｔを用い、第８実施形態で説明したようにベクトルｘ＝ ｆ，ｔを得て出力する。出力されたベクトルｘ＝ ｆ，ｔは、適応ゲイン推定部９１１、行列推定部９１５、および抑圧部９２に送られる。
　＜抑圧部９２の処理（ステップＳ９２）＞
　抑圧部９２には、初期ビームフォーマ適用部８１３から出力された初期ビームフォーマ出力ｚｆ，ｔ、およびブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔが入力される。抑圧部９２は、これらを用い、初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、ならびに畳み込みビームフォーマｗ＝ ｆ，ｔ－１（第１時間区間よりも過去の第２時間区間の畳み込みビームフォーマ）に基づく、目的信号ｙｆ，ｔを得て出力する。例えば、抑圧部９２は、以下の式（４０）に従って目的信号ｙｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000056
ここで畳み込みビームフォーマｗ＝ ｆ，ｔ－１の初期ベクトルｗ＝ ｆ，０はどのような（ＬＭ＋Ｍ－１）次元ベクトルであってもよい。初期ベクトルｗ＝ ｆ，０の一例は、全ての要素が０の（ＬＭ＋Ｍ－１）次元ベクトルである。
　＜適応ゲイン推定部９１１の処理（ステップＳ９１１）＞
　適応ゲイン推定部９１１には、ブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔ、行列推定部９１５から出力された重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１、および目的信号のパワーまたは推定パワーσｆ，ｔ ２が入力される。行列推定部７１１に入力されるσｆ，ｔ ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ ２が用いられてもよい。なお、「Ｒ～－１ ｆ，ｔ－１」の「～」は本来以下のように「Ｒ」の真上に表記すべきであるが、記載表記の制約上「Ｒ」の右上に表記する場合がある。適応ゲイン推定部９１１は、これらを用い、重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１（第２時間区間の重み付き変形時空間共分散行列の逆行列）、ならびに推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ ２に基づく、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）を得て出力する。例えば、適応ゲイン推定部９１１は、以下の式（４１）に従って（ＬＭ＋Ｍ－１）次元ベクトルである適応ゲインｋｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000057
ここでαは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。また、重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１の初期行列はどのような（ＬＭ＋Ｍ－１）×（ＬＭ＋Ｍ－１）次元行列であってもよい。重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１の初期行列の例は、（ＬＭ＋Ｍ－１）次元の単位行列である。ただし
Figure JPOXMLDOC01-appb-M000058
Figure JPOXMLDOC01-appb-M000059
Figure JPOXMLDOC01-appb-M000060
である。なお、Ｒ～ ｆ，ｔ自体は算出されない。出力された適応ゲインｋｆ，ｔは、行列推定部９１５および畳み込みビームフォーマ推定部９１２に送られる。
　＜行列推定部９１５の処理（ステップＳ９１５）＞
　行列推定部９１５には、ブロック部８１４から出力されたベクトルｘ＝ ｆ，ｔ、および適応ゲイン推定部９１１から出力された適応ゲインｋｆ，ｔが入力される。行列推定部９１５は、これらを用い、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、ならびに重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ－１（第２時間区間の重み付き変形時空間共分散行列の逆行列）に基づく、重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔ（第１時間区間の重み付き変形時空間共分散行列の逆行列）を得て出力する。例えば、行列推定部９１５は、以下の式（４２）に従って重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000061
出力された重み付き変形時空間共分散行列の逆行列Ｒ～－１ ｆ，ｔは適応ゲイン推定部９１１に送られる。
　＜畳み込みビームフォーマ推定部９１２の処理（ステップＳ９１２）＞
　畳み込みビームフォーマ推定部９１２には、抑圧部９２から出力された目的信号ｙｆ，ｔ、および適応ゲイン推定部９１１から出力された適応ゲインｋｆ，ｔが入力される。畳み込みビームフォーマ推定部９１２は、これらを用い、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）、目的信号ｙｆ，ｔ（第１時間区間の目的信号）、および畳み込みビームフォーマｗ＝ ｆ，ｔ－１（第２時間区間の畳み込みビームフォーマ）に基づく、畳み込みビームフォーマｗ＝ ｆ，ｔ（第１時間区間の畳み込みビームフォーマ）を得て出力する。例えば、畳み込みビームフォーマ推定部９１２は、以下の式（４３）に従って畳み込みビームフォーマｗ＝ ｆ，ｔを得て出力する。
Figure JPOXMLDOC01-appb-M000062
出力された畳み込みビームフォーマｗ＝ ｆ，ｔは抑圧部９２に送られる。
　［第９実施形態の変形例１］
　第９実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ－１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ－１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
　［第９実施形態の変形例２］
　パラメータ推定部９３で得られた推定ステアリングベクトルνｆ，ｔに代え、既知のステアリングベクトルνｆ，ｔが初期ビームフォーマ適用部８１３およびブロック部８１４に入力されてもよい。この場合、初期ビームフォーマ適用部８１３およびブロック部８１４は推定ステアリングベクトルνｆ，ｔに代えてステアリングベクトルνｆ，ｔを用いて上述のステップＳ８１３およびＳ８１４を行う。
　［第１０実施形態］
　上述した信号処理装置１－９に入力される周波数別観測信号ｘｆ，ｔは、音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する信号であればどのようなものであってもよい。例えば、図１１Ａおよび図１１Ｃに例示するように、音源から発せられた音響信号をＭ個のマイクロホンで集音して得られた時間領域の観測信号ｘ（ｉ）＝［ｘ（ｉ）（１），ｘ（ｉ）（２），…，ｘ（ｉ）（Ｍ）］Ｔ（ただしｉは離散時間を表すインデックス）が分離部５１に入力され、分離部５１が観測信号ｘ（ｉ）を周波数領域の周波数別観測信号ｘｆ，ｔに変換し、周波数別観測信号ｘｆ，ｔを信号処理装置１－９に入力してもよい。時間領域から周波数領域への変換方法にも限定はなく、例えば離散フーリエ変換などを用いればよい。あるいは、図１１Ｂに例示するように、図示していない他の処理部によって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１－９に入力されてもよい。例えば、上述の時間領域の観測信号ｘ（ｉ）が時間フレームごとに周波数領域の信号に変換され、これらの周波数領域の信号が他の処理部で処理され、それによって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１－９に入力されてもよい。
　信号処理装置１－９から出力された目的信号ｙｆ，ｔは、時間領域の信号ｙ（ｉ）に変換されることなく他の処理（音声認識処理等）に使用されてもよいし、時間領域の信号ｙ（ｉ）に変換されてもよい。例えば、図１１Ｃに例示するように、信号処理装置１－９から出力された目的信号ｙｆ，ｔがそのまま出力され、他の処理に使用されてもよい。あるいは、図１１Ａおよび図１１Ｂのように、信号処理装置１－９から出力された目的信号ｙｆ，ｔが統合部５２に入力され、統合部５２が目的信号ｙｆ，ｔを統合して時間領域の信号ｙ（ｉ）を得て出力してもよい。目的信号ｙｆ，ｔから時間領域の信号ｙ（ｉ）を得る方法にも限定はないが、例えば、逆フーリエ変換などを用いることができる。
　以降、各実施形態の手法の実験結果を示す。
　［実験結果１（第１実施形態）］
　次に、第1実施形態および従来法１～３による雑音残響抑圧結果を例示する。
　この実験では観測信号として「REVERB Challenge」のデータセットを利用した。このデータセットは、定常雑音と残響のある部屋で読み上げられた英語音声を、その話者から離れた位置（０．５～２．５ｍ）に配置されたマイクロホンで収音して得られた音響データ（Real Data）と、その環境を模擬して得られた音響データ（Sim Data）とを収録している。マイクロホン数Ｍ＝８とした。周波数別観測信号は、短時間フーリエ変換により求めた。フレーム長は32ミリ秒、フレームシフトは４とし、予測遅延はｄ＝４とした。これらのデータを用い、本発明および従来法１～３によって雑音残響抑圧した信号の音声品質および音声認識精度を評価した。
　図１２に、観測信号ならびに本発明および従来法１～３によって雑音残響抑圧した信号の音声品質の評価結果を例示する。「Ｓｉｍ」はＳｉｍ　Ｄａｔａを表し、「Ｒｅａｌ」はＲｅａｌ　Ｄａｔａを表す。「ＣＤ」はケプストラム歪、「ＳＲＭＲ」は信号対残響変調エネルギー比、「ＬＬＲ」は対数尤度比、「ＦＷＳＳＮＲ」は周波数重み付きセグメンタル信号対雑音比を表す。ＣＤとＬＬＲは値が小さいほど音声品質がよいことを表し、ＳＲＭＲとＦＷＳＳＮＲは値が大きいほど音声品質がよいことを表している。下線を付した値は最良値である。図１２に例示するように、本発明により、従来法１～３に比べて雑音と残響とを十分に抑圧できていることが分かる。
　図１３に、観測信号ならびに本発明および従来法１～３によって雑音残響抑圧した信号の音声認識結果における単語誤り率を例示する。値が小さいほど音声認識精度が高いことを表している。下線を付した値は最良値である。「Ｒ１Ｎ」は部屋１で話者がマイクロホンから近い位置に存在した場合を表し、「Ｒ１Ｆ」は部屋１で話者がマイクロホンから遠い位置に存在した場合を表す。同様に、「Ｒ２Ｎ」「Ｒ３Ｎ」はそれぞれ部屋２，３で話者がマイクロホンから近い位置に存在した場合を表し、「Ｒ２Ｆ」「Ｒ３Ｆ」はそれぞれ部屋２，３で話者がマイクロホンから遠い位置に存在した場合を表す。「Ａｖｅ」は平均値を表す。図１２に例示するように、本発明により、従来法１～３に比べて雑音と残響とを十分に抑圧できていることが分かる。
　［実験結果２（第４実施形態）］
　図１４に、周波数別観測信号ｘｆ，ｔの残響を抑圧することなくステアリングベクトルを推定した場合（残響抑圧なしの場合）と、第４実施形態で説明したように周波数別観測信号ｘｆ，ｔの残響を抑圧してからステアリングベクトルを推定した場合（残響抑圧ありの場合）とでの雑音残響抑圧結果を例示する。なお「ＷＥＲ」は、雑音残響抑圧を行って得られた目的信号で音声認識を行った場合の文字誤り率を表す。ＷＥＲの値が小さいほど高性能である。図１４に例示するように、残響抑圧ありの場合の方が残響抑圧なしの場合よりも目的信号の音声品質がよいことが分かる。
　［実験結果３（第７，９実施形態）］
　図１５Ａ，図１５Ｂ，図１５Ｃに、第７実施形態および第９実施形態で説明したように畳み込みビームフォーマの推定を逐次処理で実行した場合の雑音残響抑圧結果を例示する。図１５Ａ，図１５Ｂ，図１５ＣではＬ＝６４［ｍｓｅｃ」、α＝０．９９９９、β＝０．６６とした。また「Ａｄａｐｔｉｖｅ　ＮＣＭ」は第５実施形態の方法で生成された推定ステアリングベクトルνｆ，ｔを用いた場合の結果を表す。また「ＰｒｅＦｉｘｅｄ　ＮＣＭ」は第５実施形態の変形例１の方法で生成された推定ステアリングベクトルνｆ，ｔを用いた場合の結果を表す。また「観測信号」とは何ら雑音残響抑圧を行っていない場合の結果を表す。これらより、第７，９実施形態の雑音残響抑圧によって目的信号の音声品質が向上していることが分かる。
　［その他の変形例等］
　なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の実施形態ではすべての周波数帯域に対してｄを同一値としたが、周波数帯域ごとにｄが設定されてもよい。すなわちｄに変えて正整数ｄｆが用いられてもよい。同様に、上述の実施形態ではすべての周波数帯域に対してＬを同一値としたが、周波数帯域ごとにＬが設定されてもよい。すなわちＬに変えて正整数Ｌｆが用いられてもよい。
　上述の第１～３実施形態では、１≦ｔ≦Ｎに対応する時間フレームを処理単位としてコスト関数等（式（２）（７）（１２）（１３）（１４）（１８））を定めてバッチ処理する例を示したが、本発明はこれに限定されない。例えば、１≦ｔ≦Ｎに対応する時間フレームを処理単位とするのではなく、その一部の時間フレームを処理単位として各処理が実行されてもよい。あるいは、リアルタイムで処理単位となる時間フレームを更新し、各時刻の処理単位ごとにコスト関数等を定めて各処理を実行してもよい。例えば、現在の時間フレームの番号をｔｃと表現する場合、１≦ｔ≦ｔｃに対応する時間フレームを処理単位としてもよいし、正整数の定数ηに対してｔｃ－η≦ｔ≦ｔｃに対応する時間フレームを処理単位としてもよい。
　上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
　上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
　上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
　このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
　コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
　本発明は、音響信号から雑音と残響とを抑圧することが必要な様々な用途に利用できる。例えば、音声認識、通話システム、電話会議システム等に本発明を利用できる。
１～９　信号処理装置
１１，２１，７１，８１，９１　推定部
１２，２２　抑圧部

Claims (14)

  1. 　目的の音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく前記推定信号の音声らしさを表す確率を大きくするように、前記畳み込みビームフォーマを得る推定部と、
    　前記推定部で得られた前記畳み込みビームフォーマを前記周波数別観測信号に適用して目的信号を得る抑圧部と、
    を有する信号処理装置。
  2. 　請求項１の信号処理装置であって、
    　前記推定部は、前記確率モデルに基づく前記推定信号の音声らしさを表す確率を最大化する前記畳み込みビームフォーマを得る、信号処理装置。
  3. 　請求項１または２の信号処理装置であって、
    　前記推定部は、前記目的信号を、前記目的の音源から発せられてマイクロホンで集音される音に対応する信号のうち直接音と初期反射音に対応する信号として、前記周波数別観測信号に前記畳み込みビームフォーマを適用した結果前記目的信号が歪まないという拘束条件のもとで、所定の時間区間に属する各時刻での前記推定信号のパワーを、前記目的信号のパワーの逆数または前記目的信号の推定パワーの逆数で重み付けして得られる値の総和を最小化する前記畳み込みビームフォーマを得る、信号処理装置。
  4. 　請求項３の信号処理装置であって、
    　前記畳み込みビームフォーマは、前記周波数別観測信号から残響を抑圧する残響抑圧フィルタと、前記周波数別観測信号に前記残響抑圧フィルタを適用して得られる信号から雑音を抑圧する瞬時ビームフォーマとを合成して得られるビームフォーマと等価であり、
    　前記瞬時ビームフォーマは、各時刻において、現在の時刻の信号の重み付き和を計算するものであり、
    　前記拘束条件は、前記音源から前記音響信号の集音位置までの直接音および初期反射音に関する伝達関数を要素とするステアリングベクトルまたは前記ステアリングベクトルの推定ベクトルである推定ステアリングベクトルに前記瞬時ビームフォーマを適用して得られる値が定数であるという条件である、信号処理装置。
  5. 　請求項４の信号処理装置であって、
    　前記推定部は、
    　前記周波数別観測信号と前記目的信号のパワーまたは推定パワーとに基づき、重み付き時空間共分散行列を得る行列推定部と、
    　前記重み付き時空間共分散行列と前記ステアリングベクトルまたは前記推定ステアリングベクトルとに基づき、前記畳み込みビームフォーマを得る畳み込みビームフォーマ推定部と、を含む、信号処理装置。
  6. 　請求項４または請求項５の信号処理装置であって、
    　前記周波数別観測信号から残響成分を抑圧した周波数別残響抑圧信号を得る残響抑圧部と、
    　前記周波数別残響抑圧信号から前記推定ステアリングベクトルを得て出力するステアリングベクトル推定部と、
    をさらに有する信号処理装置。
  7. 　請求項６の信号処理装置であって、
    　前記周波数別残響抑圧信号は時系列信号であり、
    　第１時間区間に属する前記周波数別残響抑圧信号、および前記第１時間区間よりも過去の第２時間区間に属する前記周波数別残響抑圧信号の空間共分散行列に基づく、前記第１時間区間に属する前記周波数別残響抑圧信号の空間共分散行列を得る観測信号共分散行列更新部と、
    　前記周波数別残響抑圧信号の雑音共分散行列の逆行列、前記第１時間区間に属する前記周波数別残響抑圧信号の空間共分散行列、および前記第２時間区間の主成分ベクトルに基づき、前記周波数別残響抑圧信号の雑音共分散行列の逆行列と、前記第１時間区間に属する前記周波数別残響抑圧信号の空間共分散行列と、の積に対する前記第１時間区間の主成分ベクトルを得る主成分ベクトル更新部と、
    をさらに有し、
    　前記ステアリングベクトル推定部は、前記周波数別残響抑圧信号の雑音共分散行列と前記第１時間区間の主成分ベクトルとに基づき、前記第１時間区間の前記推定ステアリングベクトルを得て出力する、信号処理装置。
  8. 　請求項４の信号処理装置であって、
    　前記周波数別観測信号は時系列信号であり、
    　第１時間区間に属する前記周波数別観測信号、および前記第１時間区間よりも過去の第２時間区間に属する前記周波数別観測信号の空間共分散行列に基づく、前記第１時間区間に属する前記周波数別観測信号の空間共分散行列を得る観測信号共分散行列更新部と、
    　前記周波数別観測信号の雑音共分散行列の逆行列、前記第１時間区間に属する前記周波数別観測信号の空間共分散行列、および前記第２時間区間の主成分ベクトルに基づき、前記周波数別観測信号の雑音共分散行列の逆行列と、前記第１時間区間に属する前記周波数別観測信号の空間共分散行列と、の積に対する前記第１時間区間の主成分ベクトルを得る主成分ベクトル更新部と、
    　前記第１時間区間の主成分ベクトルと前記周波数別観測信号の雑音共分散行列とに基づき、前記第１時間区間の前記推定ステアリングベクトルを得て出力するステアリングベクトル推定部と、
    を有する信号処理装置。
  9. 　請求項７または８の信号処理装置であって、
    　前記推定部は、
    　前記周波数別観測信号、および前記目的信号のパワーまたは推定パワー、ならびに前記第１時間区間よりも過去の第２時間区間の時空間共分散行列の逆行列に基づき、前記第１時間区間の時空間共分散行列の逆行列を推定する行列推定部と、
    　前記第１時間区間の前記時空間共分散行列の逆行列および前記推定ステアリングベクトルに基づき、前記第１時間区間の前記畳み込みビームフォーマを得る畳み込みビームフォーマ推定部と、を含む、信号処理装置。
  10. 　請求項４、６から８の何れかの信号処理装置であって、
    　前記推定部は、
    　前記瞬時ビームフォーマを、前記ステアリングベクトルの定数倍または前記推定ステアリングベクトルの定数倍と、前記ステアリングベクトルまたは前記推定ステアリングベクトルの直交補空間に対応するブロック行列と変形瞬時ビームフォーマとの積と、の和で表記したときに、前記第１時間区間の周波数別観測信号に前記ブロック行列を乗じた結果得られる信号を要素に持つことを特徴とする、前記ステアリングベクトルまたは前記推定ステアリングベクトル、前記周波数別観測信号、および前記目的信号のパワーまたは推定パワー基づく、重み付き変形時空間共分散行列を得る行列推定部と、
    　前記ステアリングベクトルまたは前記推定ステアリングベクトル、前記重み付き変形時空間共分散行列、および前記周波数別観測信号に基づく、前記畳み込みビームフォーマを得る畳み込みビームフォーマ推定部と、を含む、
    信号処理装置。
  11. 　請求項７または８の信号処理装置であって、
    　前記瞬時ビームフォーマは、前記推定ステアリングベクトルの定数倍と、前記推定ステアリングベクトルの直交補空間に対応するブロック行列と変形瞬時ビームフォーマとの積と、の和と等価であり、
    　前記推定部は、
    　前記第１時間区間の前記推定ステアリングベクトル、および前記第１時間区間に属する前記周波数別観測信号に基づく、前記第１時間区間の初期ビームフォーマ出力を得る初期ビームフォーマ適用部と、
    　前記第１時間区間の初期ビームフォーマ出力、前記第１時間区間の前記推定ステアリングベクトル、および前記周波数別観測信号、ならびに前記第１時間区間よりも過去の第２時間区間の前記畳み込みビームフォーマに基づく、前記第１時間区間の前記目的信号を得る前記抑圧部と、
    　前記第２時間区間の重み付き変形時空間共分散行列の逆行列、ならびに前記第１時間区間の前記推定ステアリングベクトル、前記周波数別観測信号、および前記目的信号のパワーまたは推定パワーに基づく、前記第１時間区間の適応ゲインを得る適応ゲイン推定部と、
    　前記第１時間区間の適応ゲイン、前記第１時間区間の前記推定ステアリングベクトル、および前記周波数別観測信号、ならびに前記第２時間区間の重み付き変形時空間共分散行列の逆行列に基づく、前記第１時間区間の重み付き変形時空間共分散行列の逆行列を得る行列推定部と、
    　前記第１時間区間の適応ゲイン、前記第１時間区間の前記目的信号、および前記第２時間区間の前記畳み込みビームフォーマに基づく、前記第１時間区間の畳み込みビームフォーマを得る前記畳み込みビームフォーマ推定部と、
    を含む、信号処理装置。
  12. 　請求項１から１１の何れかの信号処理装置であって、
    　前記観測信号は、雑音および残響が存在する環境下で前記音源から発せられた前記音響信号を集音して得られた信号である、信号処理装置。
  13. 　目的の音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく前記推定信号の音声らしさを表す確率を大きくするように、前記畳み込みビームフォーマを得る推定ステップと、
    　前記推定部で得られた前記畳み込みビームフォーマを前記周波数別観測信号に適用して目的信号を得る抑圧ステップと、
    を有する信号処理方法。
  14. 　請求項１から１２の何れかの信号処理装置としてコンピュータを機能させるためのプログラム。
PCT/JP2019/016587 2018-12-14 2019-04-18 信号処理装置、信号処理方法、およびプログラム WO2020121545A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/312,912 US11894010B2 (en) 2018-12-14 2019-07-31 Signal processing apparatus, signal processing method, and program
PCT/JP2019/029921 WO2020121590A1 (ja) 2018-12-14 2019-07-31 信号処理装置、信号処理方法、およびプログラム
JP2020559702A JP7115562B2 (ja) 2018-12-14 2019-07-31 信号処理装置、信号処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018234075 2018-12-14
JP2018-234075 2018-12-14

Publications (1)

Publication Number Publication Date
WO2020121545A1 true WO2020121545A1 (ja) 2020-06-18

Family

ID=71076328

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2019/016587 WO2020121545A1 (ja) 2018-12-14 2019-04-18 信号処理装置、信号処理方法、およびプログラム
PCT/JP2019/029921 WO2020121590A1 (ja) 2018-12-14 2019-07-31 信号処理装置、信号処理方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029921 WO2020121590A1 (ja) 2018-12-14 2019-07-31 信号処理装置、信号処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11894010B2 (ja)
JP (1) JP7115562B2 (ja)
WO (2) WO2020121545A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111933170A (zh) * 2020-07-20 2020-11-13 歌尔科技有限公司 语音信号的处理方法、装置、设备及存储介质
CN112802490A (zh) * 2021-03-11 2021-05-14 北京声加科技有限公司 一种基于传声器阵列的波束形成方法和装置
WO2024038522A1 (ja) * 2022-08-17 2024-02-22 日本電信電話株式会社 信号処理装置、信号処理方法、プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7430127B2 (ja) 2020-09-02 2024-02-09 三菱重工業株式会社 予測装置、予測方法、及びプログラム
US20230370778A1 (en) 2020-10-15 2023-11-16 Nippon Telegraph And Telephone Corporation Acoustic signal enhancement apparatus, method and program
US11798533B2 (en) * 2021-04-02 2023-10-24 Google Llc Context aware beamforming of audio data
WO2023276068A1 (ja) * 2021-06-30 2023-01-05 日本電信電話株式会社 音響信号強調装置、音響信号強調方法、プログラム
CN113707136B (zh) * 2021-10-28 2021-12-31 南京南大电子智慧型服务机器人研究院有限公司 服务型机器人语音交互的音视频混合语音前端处理方法
CN115086836B (zh) * 2022-06-14 2023-04-18 西北工业大学 一种波束形成方法、系统及波束形成器
CN117292700A (zh) * 2022-06-20 2023-12-26 青岛海尔科技有限公司 分布式唤醒的语音增强方法和装置、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007093630A (ja) * 2005-09-05 2007-04-12 Advanced Telecommunication Research Institute International 音声強調装置
JP2008219884A (ja) * 2007-03-02 2008-09-18 Honda Motor Co Ltd 移動音源からの音の抽出方法および装置
JP2010028653A (ja) * 2008-07-23 2010-02-04 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、エコー消去方法、そのプログラム、記録媒体
US20100215184A1 (en) * 2009-02-23 2010-08-26 Nuance Communications, Inc. Method for Determining a Set of Filter Coefficients for an Acoustic Echo Compensator
US8666090B1 (en) * 2013-02-26 2014-03-04 Full Code Audio LLC Microphone modeling system and method
US10090000B1 (en) * 2017-11-01 2018-10-02 GM Global Technology Operations LLC Efficient echo cancellation using transfer function estimation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3685380A (en) * 1971-02-19 1972-08-22 Amada Ltd Us Multi-track turret and overload protection
JP3484112B2 (ja) 1999-09-27 2004-01-06 株式会社東芝 雑音成分抑圧処理装置および雑音成分抑圧処理方法
EP2013869B1 (en) * 2006-05-01 2017-12-13 Nippon Telegraph And Telephone Corporation Method and apparatus for speech dereverberation based on probabilistic models of source and room acoustics
CN102084667B (zh) 2008-03-03 2014-01-29 日本电信电话株式会社 回响去除装置、回响去除方法、回响去除程序、以及记录介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007093630A (ja) * 2005-09-05 2007-04-12 Advanced Telecommunication Research Institute International 音声強調装置
JP2008219884A (ja) * 2007-03-02 2008-09-18 Honda Motor Co Ltd 移動音源からの音の抽出方法および装置
JP2010028653A (ja) * 2008-07-23 2010-02-04 Nippon Telegr & Teleph Corp <Ntt> エコー消去装置、エコー消去方法、そのプログラム、記録媒体
US20100215184A1 (en) * 2009-02-23 2010-08-26 Nuance Communications, Inc. Method for Determining a Set of Filter Coefficients for an Acoustic Echo Compensator
US8666090B1 (en) * 2013-02-26 2014-03-04 Full Code Audio LLC Microphone modeling system and method
US10090000B1 (en) * 2017-11-01 2018-10-02 GM Global Technology Operations LLC Efficient echo cancellation using transfer function estimation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111933170A (zh) * 2020-07-20 2020-11-13 歌尔科技有限公司 语音信号的处理方法、装置、设备及存储介质
CN111933170B (zh) * 2020-07-20 2024-03-29 歌尔科技有限公司 语音信号的处理方法、装置、设备及存储介质
CN112802490A (zh) * 2021-03-11 2021-05-14 北京声加科技有限公司 一种基于传声器阵列的波束形成方法和装置
CN112802490B (zh) * 2021-03-11 2023-08-18 北京声加科技有限公司 一种基于传声器阵列的波束形成方法和装置
WO2024038522A1 (ja) * 2022-08-17 2024-02-22 日本電信電話株式会社 信号処理装置、信号処理方法、プログラム

Also Published As

Publication number Publication date
US11894010B2 (en) 2024-02-06
WO2020121590A1 (ja) 2020-06-18
JPWO2020121590A1 (ja) 2021-10-14
US20220068288A1 (en) 2022-03-03
JP7115562B2 (ja) 2022-08-09

Similar Documents

Publication Publication Date Title
WO2020121545A1 (ja) 信号処理装置、信号処理方法、およびプログラム
CN110100457B (zh) 基于噪声时变环境的加权预测误差的在线去混响算法
CN107993670B (zh) 基于统计模型的麦克风阵列语音增强方法
US8848933B2 (en) Signal enhancement device, method thereof, program, and recording medium
CN108172231B (zh) 一种基于卡尔曼滤波的去混响方法及系统
JP4195267B2 (ja) 音声認識装置、その音声認識方法及びプログラム
JP5227393B2 (ja) 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体
CN112447191A (zh) 信号处理装置以及信号处理方法
Schwartz et al. An expectation-maximization algorithm for multimicrophone speech dereverberation and noise reduction with coherence matrix estimation
JP6987075B2 (ja) オーディオ源分離
JP6225245B2 (ja) 信号処理装置、方法及びプログラム
CN112735460B (zh) 基于时频掩蔽值估计的波束成形方法及系统
Nakatani et al. Maximum likelihood convolutional beamformer for simultaneous denoising and dereverberation
KR102410850B1 (ko) 잔향 제거 오토 인코더를 이용한 잔향 환경 임베딩 추출 방법 및 장치
JP6748304B2 (ja) ニューラルネットワークを用いた信号処理装置、ニューラルネットワークを用いた信号処理方法及び信号処理プログラム
Doclo et al. Multimicrophone noise reduction using recursive GSVD-based optimal filtering with ANC postprocessing stage
Carbajal et al. Joint NN-supported multichannel reduction of acoustic echo, reverberation and noise
Ikeshita et al. Blind signal dereverberation based on mixture of weighted prediction error models
JP6106611B2 (ja) モデル推定装置、雑音抑圧装置、音声強調装置、これらの方法及びプログラム
KR101802444B1 (ko) 독립 벡터 분석 및 반향 필터 재추정을 이용한 베이시안 특징 향상에 의한 강인한 음성 인식 장치 및 방법
Yoshioka et al. Dereverberation by using time-variant nature of speech production system
CN114242104A (zh) 语音降噪的方法、装置、设备及存储介质
Nakatani et al. Simultaneous denoising, dereverberation, and source separation using a unified convolutional beamformer
CN109074811B (zh) 音频源分离
Inoue et al. Sepnet: a deep separation matrix prediction network for multichannel audio source separation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19894556

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19894556

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP