WO2021171406A1 - 信号処理装置、信号処理方法、およびプログラム - Google Patents

信号処理装置、信号処理方法、およびプログラム Download PDF

Info

Publication number
WO2021171406A1
WO2021171406A1 PCT/JP2020/007643 JP2020007643W WO2021171406A1 WO 2021171406 A1 WO2021171406 A1 WO 2021171406A1 JP 2020007643 W JP2020007643 W JP 2020007643W WO 2021171406 A1 WO2021171406 A1 WO 2021171406A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
separation filter
mixed acoustic
acoustic signal
convolution
Prior art date
Application number
PCT/JP2020/007643
Other languages
English (en)
French (fr)
Inventor
林太郎 池下
中谷　智広
荒木　章子
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2020/007643 priority Critical patent/WO2021171406A1/ja
Priority to JP2022502647A priority patent/JP7351401B2/ja
Priority to US17/802,090 priority patent/US20230087982A1/en
Publication of WO2021171406A1 publication Critical patent/WO2021171406A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Definitions

  • the present invention relates to a sound source extraction technique.
  • the sound source extraction technology that estimates the source signal of each sound source that suppresses noise and reverberation by using the observed mixed audio signal as an input is a technology that is widely used for preprocessing of voice recognition.
  • Independent vector analysis which is a multivariate extension of independent component analysis, is known as a method for extracting a sound source using mixed acoustic signals observed using a plurality of microphones.
  • IVA When IVA is used in a real environment, it is known that the performance deteriorates due to the influence of background noise and reverberation. Of these, with regard to background noise, the robustness of IVA can be improved by increasing the number of microphones M larger than the number of target sound sources K, but there is a problem that the processing time increases. As a method of suppressing an increase in processing speed and performing sound source extraction at high speed even when the number of microphones M is larger than the number of sound sources K, superior determination IVA (see OverIVA, for example, Non-Patent Document 1) is known. There is.
  • the present invention has been made in view of such a point, and an object of the present invention is to provide a signal processing technique for performing sound source extraction robust to reverberation in addition to noise at high speed.
  • a rear reverberation removal filter that suppresses the rear reverberation component from the mixed sound signal obtained by converting the observed mixed sound signal obtained by observing the source signal into the time frequency region, and a component corresponding to each source signal from the mixed sound signal.
  • a convolutional separation filter which is a filter that integrates a sound source separation filter to be emphasized, is applied to a mixed acoustic signal sequence including a mixed acoustic signal and a delay signal of the mixed acoustic signal, so that the rear reverberation component is suppressed and the source signal is suppressed.
  • the model parameters of the model that obtains the information corresponding to each signal in which each target signal emitted from each target sound source is emphasized are estimated.
  • the convolution separation filter is a filter that integrates the rear reverberation removal filter and the sound source separation filter, in the present invention, it is possible to perform sound source extraction that is robust not only to noise but also to reverberation at high speed.
  • FIG. 1 is a block diagram illustrating a functional configuration of the signal processing device of the embodiment.
  • FIG. 2 is a block diagram illustrating the functional configuration of the convolution separation filter estimation unit of the first embodiment.
  • FIG. 3 is a flow chart for exemplifying the signal processing method of the embodiment.
  • FIG. 4 is a flow chart for exemplifying the process of step S13 of FIG.
  • FIG. 5 is a block diagram illustrating the functional configuration of the convolution separation filter estimation unit of the second embodiment.
  • FIG. 6 is a flow chart for exemplifying the process of step S23 of FIG.
  • FIG. 7 is a block diagram illustrating a configuration when the signal processing device of the embodiment is used for signal extraction.
  • FIG. 8 is a block diagram illustrating a hardware configuration of the signal processing device of the embodiment.
  • the blind sound source extraction problem is defined.
  • the target signals for example, audio signals
  • the noise signals emitted from MK noise sources are mixed by propagating in the air.
  • the signal obtained by observing the source signals emitted from the M sound sources (target sound source and noise source) with the M microphones will be referred to as an observation mixed acoustic signal.
  • These source signals include target signals emitted from K target sound sources and noise signals emitted from MK noise sources.
  • M is an integer of 2 or more
  • K is an integer of 1 or more
  • 1 ⁇ K ⁇ M-1 It is also assumed that the target signal is unsteady and the noise signal is stationary Gaussian noise.
  • the kth (k ⁇ ⁇ 1) , ..., K ⁇ ) of the corresponding component in the target signal is expressed as x k (f, t) ⁇ C M of.
  • C represents the entire set of complex numbers
  • C ⁇ represents the entire set of ⁇ -dimensional vectors consisting of complex elements
  • ⁇ ⁇ ⁇ represents that ⁇ belongs to ⁇ . That is, components corresponding to the target signal of the mixed sound signals of M dimensions, x 1 (f, t) , ..., a x K (f, t) ⁇ C M.
  • z-th z ⁇ ⁇ K + 1, ... , M ⁇
  • a mixed acoustic signal component corresponding to the target signal is expressed as x z (f, t) ⁇ C M of.
  • the M-dimensional mixed acoustic signal is expressed by the following equation (1).
  • f ⁇ ⁇ 1, ..., F ⁇ and t ⁇ ⁇ 1, ..., T ⁇ are frequency bin and time frame indexes (discrete frequency and discrete time indexes), respectively.
  • F and T are positive integers.
  • ⁇ : ⁇ means that ⁇ is defined as ⁇ .
  • d i (f, t) follows the following space model.
  • x i (f, t) d i (f, t) + r i (f, t), i ⁇ ⁇ 1,..., K, z ⁇ (2)
  • d k (f, t) a k (f) s k (f, t) ⁇ C M , k ⁇ ⁇ 1,..., K ⁇ (3)
  • d z (f, t) A z (f) z (f, t) ⁇ C M (4) a k (f) ⁇ C M , s k (f, t) ⁇ C, k ⁇ ⁇ 1,..., K ⁇ (5)
  • a k (f) and sk (f, t) are the transfer function and the source signal (target signal) of the target sound source k, respectively, and A z (f) and z (f, t) are, respectively. It is a matrix display of the transfer functions and source signals of MK noise sources.
  • the problem of estimating x 1 (f, t), ..., X K (f, t) from only the observed signals under the assumption that the sound sources are independent of each other is known as a blind sound source separation problem.
  • the blind sound source extraction problem dealt with in the present embodiment is defined as a problem of estimating d 1 (f, t), ..., D K (f, t) in which reverberation is removed in addition to sound source separation. ..
  • the target number of sound sources K is known.
  • ⁇ Probability model of IVEconv> The sum of the sound source signals after removing the rear reverberation component from the mixed acoustic signal x (f, t) is set as in Eq. (7).
  • the probability model of IVEconv is defined below using the hyperparameter ⁇ N. However, N represents the set of all natural numbers, and ⁇ ⁇ ⁇ represents that ⁇ is a subset of ⁇ .
  • ⁇ T is the translocation of ⁇
  • ⁇ H is the hermit translocation of ⁇
  • ⁇ k (t) is the power spectrum of sk (t)
  • CN ( ⁇ , ⁇ ) is the average vector ⁇ .
  • I ⁇ is a unit matrix of ⁇ ⁇ ⁇
  • 0 ⁇ is an ⁇ -dimensional vector with all elements
  • ⁇ to CN ( ⁇ , ⁇ ) are ⁇ .
  • p ( ⁇ ) is the probability of ⁇ .
  • w k (f) is a sound source separation filter that emphasizes the component corresponding to the target signal emitted from the k-th target sound source
  • W z (f) corresponds to the noise signal emitted from the z-th noise source. This is a sound source separation filter that emphasizes the components.
  • the model parameters of this IVEconv probabilistic model are the following four.
  • Rear reverberation filter Q ⁇ (f) ⁇ C M ⁇ M , ⁇ ⁇ ⁇ Sound source separation filter for target signal: w k (f) ⁇ C M Power spectrum of target signal: ⁇ k (t) ⁇ R ⁇ 0
  • Noise signal source separation filter W z (f) ⁇ C M ⁇ (MK)
  • R ⁇ 0 means a set of all real numbers of 0 or more.
  • the probabilistic model of IVEconv is rewritten into a simple model by converting the reverberation removal filter and the sound source separation filter, which are the model parameters of the probabilistic model of IVEconv, into one filter in which both filters are combined.
  • is a positive integer representing the number of elements of the hyperparameter ⁇ . It is also defined as follows.
  • Q ⁇ (f) is the rear reverberation removal filter, and x ⁇ (f, t) is referred to as a mixed acoustic signal sequence.
  • the superscript " ⁇ " of x ⁇ (f, t) should be written directly above "x", but due to the limitation of the description notation, it is like x ⁇ (f, t). It may be described in the upper right of "x”.
  • Q (f) and W (f) [w 1 (f) ,. .. ..
  • p k (f) Q (f) w k (f) is a convolution separation filter component corresponding to the target signal emitted from the kth target sound source.
  • P z (f) Q (f) W z (f) is a convolution separation filter component corresponding to the noise signal emitted from the z-th noise source.
  • the filter P (f) that simultaneously achieves rear reverberation removal and sound source separation is referred to as a convolution separation filter. That is, the convolution separation filter includes a rear reverberation removing filter Q (f) that suppresses the rear reverberation component from the mixed sound signal x (f, t), and a component corresponding to each source signal from the mixed sound signal x (f, t). This is a filter that integrates the sound source separation filter W (f) that emphasizes. With this conversion, Eqs. (8)-(10) are converted as Eqs. (18) and (19) below.
  • This probabilistic model is a rear reverberation removal filter Q ⁇
  • the convolutional separation filter P (f) which is a filter that integrates f) and the sound source separation filter W (f) that emphasizes the components corresponding to each source signal from the mixed acoustic signal x (f, t), is used for mixed sound.
  • Mixed acoustic signal sequence x ⁇ (f, t) including signal x (f, t) and delayed signal x (f, t- ⁇ 1 ), ..., X (f, t- ⁇
  • ⁇ Optimized IVEconv probabilistic model The model parameters of the simplified IVEconv probabilistic model can be estimated by the maximum likelihood method. This is achieved by minimizing the objective function J, which is the negative log-likelihood expressed by the following equation (20).
  • is the absolute value of ⁇
  • is the norm of ⁇
  • det ( ⁇ ) is the determinant of ⁇ , and “const.” Is a parameter-independent constant. ..
  • the convolution separation filter P (f) and the power spectrum ⁇ k (t) of the target signal sk (f, t) are optimized alternately.
  • the convolutional separation filter P (f) is fixed, the global optimum solution of the power spectrum ⁇ k (t) is as follows. Therefore, in the power spectrum estimation, the power spectrum ⁇ k (t) of each target signal sk (f, t) is estimated according to the equation (21) with the convolution separation filter P (f) fixed.
  • the convolution separation filter P (f) is optimized so as to optimize (minimize) the above negative objective function J.
  • the problem to be optimized can be divided into F problems that minimize the objective function J for the convolution separation filters P (1), ..., P (F) of each frequency bin.
  • the problem of minimizing the objective function J for the convolution separation filter P (f) is expressed as follows. However, the following is satisfied.
  • tr ( ⁇ ) is the diagonal sum of ⁇ .
  • G z is a covariance matrix of the mixed acoustic signal sequence x ⁇ (f, t), and G k is regarded as a noise covariance matrix when signals other than the target signal sk (f, t) are regarded as noise signals.
  • the objective function JP (f) for the mixed acoustic signal at each frequency is fixed under the power spectrum ⁇ k (t) of each objective signal sk (f, t).
  • the convolution separation filter P (f) that optimizes the above is estimated for each frequency.
  • the above power spectrum estimation process and convolution separation filter estimation process are alternately executed until a predetermined condition is satisfied.
  • the signal processing device 1 of the first embodiment includes an initial setting unit 11, a power spectrum estimation unit 12, a convolution separation filter estimation unit 13, and a control unit 14.
  • the signal processing device 1 executes each process under the control of the control unit 14.
  • the convolution separation filter estimation unit 13 of the first embodiment includes a q k (f) calculation unit 131, a pk (f) calculation unit 132, a P z (f) calculation unit 134, and a control. It has a portion 133.
  • the convolution separation filter estimation unit 13 executes each process under the control of the control unit 133.
  • the signal processing device 1 suppresses the rear reverberation component from the mixed acoustic signal x (f, t) obtained by converting the observed mixed acoustic signal obtained by observing the source signal into the time frequency region.
  • a convolutional separation filter P (a filter that integrates a reverberation removal filter Q ⁇ (f) and a sound source separation filter W (f) that emphasizes the components corresponding to each source signal from the mixed acoustic signal x (f, t).
  • f) is a mixed acoustic signal sequence x including a mixed acoustic signal x (f, t) and a delay signal x (f, t- ⁇ 1 ), ..., X (f, t- ⁇
  • ⁇ (f, t) it corresponds to each signal in which the rear reverberation component is suppressed and each target signal sk (f, t) emitted from each target sound source among the source signals is emphasized.
  • Step S11 Processing of Initial Setting Unit 11 (Step S11)
  • the initial setting unit 11 of the signal processing device 1 has a mixed acoustic signal x (f, t) (f ⁇ ⁇ 1, ..., F ⁇ , t ⁇ ⁇ 1, ..., T ⁇ ). Is entered.
  • OM ⁇ L ] T. However, L:
  • the initial setting unit 11 calculates G z (f) for all f according to the equation (24). Further, the initialization unit 11 calculates G z (f) -1 ⁇ C (M + L) ⁇ (M + L) for all f according to the equation (24). The initial setting unit 11 outputs x ⁇ (f, t), P (f) to the power spectrum estimation unit 12, and convolves x ⁇ (f, t), P (f), G z (f) -1. Output to the separation filter estimation unit 13 (step S11).
  • the power spectrum ⁇ k (t) of the signal sk (f, t) is obtained. That is, the power spectrum estimation unit 12 estimates the power spectrum ⁇ k (t) of each target signal sk (f, t) with the convolution separation filter P (f) fixed.
  • the power spectrum estimation unit 12 outputs the power spectrum ⁇ k (t) to the convolution separation filter estimation unit 13 (step S12).
  • Step S13 Processing of Convolution Separation Filter Estimator 13 (Step S13) >> Convolution separation filter estimator 13, a Moto fixing the power spectrum lambda k (t) of the target signal s k (f, t), each frequency (f ⁇ ⁇ 1, ..., F ⁇ ) mixed acoustic signals
  • the convolution separation filter estimation unit 13 updates P (f) for all f, as illustrated in FIG.
  • the updated P (f) is output to the power spectrum estimation unit 12.
  • ek is an M-dimensional unit vector having a k-th component of 1
  • ⁇ ⁇ H is a Hermitian transpose of the inverse matrix of ⁇ (step S131).
  • the p k (f) calculation unit 132 takes q k (f), x ⁇ (f, t), and ⁇ k (t) as inputs, and for all f, p k (f) according to equations (23) and (26). ) Is obtained and output (step S132).
  • the convolution separation filter estimation unit 13 solves the problem of the equation (22) as shown in FIG. 4, and outputs the optimized convolution separation filter P (f).
  • the convolution separation filter P z instead of strictly optimizing the convolution separation filter P z for the noise signal, the linear space Im (P z ) stretched by P z is optimized.
  • a high-speed sound source extraction method is realized by adopting the method of optimizing.
  • Step S14 The control unit 14 determines whether or not the predetermined condition is satisfied.
  • a predetermined condition is that the number of repetitions of the processing of the power spectrum estimation (step S12) and the convolution separation filter estimation (step S13) has reached a predetermined number of repetitions, or the update amount of each model parameter is predetermined. It is below the threshold value of. If the predetermined condition is not satisfied here, the control unit 14 returns the process to step S12. On the other hand, when a predetermined condition is satisfied, the control unit 14 advances the process to step S15. That is, the control unit 14 alternately executes the processing of the power spectrum estimation unit 12 and the processing of the convolution separation filter estimation unit 13 until a predetermined condition is satisfied (step S14).
  • step S15 the power spectrum estimation unit 12 outputs the target signal sk (f, t) (step S12) optimized as described above for all f and k, and the convolution separation filter estimation unit 13 describes the above.
  • the convolution separation filter P (f) optimized as described above is output (step S15).
  • the second embodiment When the target sound source number K is 1, the convolution separation filter can be optimized at a higher speed. In the second embodiment, this method will be described.
  • the signal processing device 2 of the second embodiment includes an initial setting unit 21, a power spectrum estimation unit 12, a convolution separation filter estimation unit 23, and a control unit 14.
  • the signal processing device 2 executes each process under the control of the control unit 14.
  • the convolution separation filter estimation unit 23 of the second embodiment includes the convolution separation filter estimation unit 13, the equation solving unit 231 and the eigenvalue problem solving unit 232, the p 1 (f) calculation unit 234, and the control. It has a part 233.
  • the convolution separation filter estimation unit 23 executes each process under the control of the control unit 233.
  • the convolution separation filter P (f) is used with the mixed acoustic signal x (f, t) and the delayed signal x (f, t- ⁇ 1 ) of the mixed acoustic signal, ..., X (f, t- ⁇
  • the rear reverberation component is suppressed, and each target signal sk (f, t) emitted from each target sound source among the source signals.
  • Estimates the model parameters of the model which obtains the information corresponding to each signal emphasized.
  • Step S21 Processing of Initial Setting Unit 21 (Step S21) >> As illustrated in FIG. 3, the initial setting unit 21 of the signal processing device 2 has a mixed acoustic signal x (f, t) (f ⁇ ⁇ 1, ..., F ⁇ , t ⁇ ⁇ 1, ..., T ⁇ ). Is entered. The initial setting unit 21 sets an arbitrary initial value in the separation filter P (f) for all f. Further, the initial setting unit 21 calculates x ⁇ (f, t) according to the equation (14b). Further, the initial setting unit 21 calculates G z (f) for all f according to the equation (24).
  • the initialization unit 21 calculates G z (f) -1 ⁇ C (M + L) ⁇ (M + L) for all f according to the equation (24). Further, the initial setting unit 21 extracts the M ⁇ M submatrix V z (f) at the head of G z (f) -1. The initial setting unit 21 outputs x ⁇ (f, t), P (f) to the power spectrum estimation unit 12, and x ⁇ (f, t), P (f), G z (f) -1 , V. z (f) is output to the convolution separation filter estimation unit 13 (step S21).
  • Step S12 Processing of Power Spectrum Estimator 12
  • the power spectrum estimation unit 12 sets the power spectrum ⁇ k (t) of each target signal sk (f, t) under the fixed convolution separation filter P (f). presume.
  • the power spectrum estimation unit 12 outputs the power spectrum ⁇ k (t) to the convolution separation filter estimation unit 23 (step S12).
  • Step S23 Processing of convolution separation filter estimation unit 23 (step S23) >> Convolution separation filter estimator 23, a Moto fixing the power spectrum lambda k (t) of the target signal s k (f, t), each frequency (f ⁇ ⁇ 1, ..., F ⁇ ) mixed acoustic signals
  • the convolution separation filter P (f) that optimizes (minimizes ) the objective function JP (f) (Equation (22)) for x k (f, t) is estimated for each frequency.
  • the convolution separation filter estimation unit 23 updates P (f) for all f, as illustrated in FIG.
  • the updated P (f) is output to the power spectrum estimation unit 12.
  • Update process of P (f) (FIG. 6):
  • the equation solver 231 uses x ⁇ (f, t) and ⁇ 1 (t) to obtain G 1 (f) for all fs according to equation (23), and the equation solver 231 uses all fs.
  • the M ⁇ M matrix V 1 (f) ⁇ C M ⁇ M and the L ⁇ M matrix C (f) ⁇ C L ⁇ M that satisfy the equation of Eq. (28) are calculated and output.
  • the M ⁇ M matrix V 1 (f) is output to the eigenvalue problem solving unit 232 and the p 1 (t) calculation unit 234, and the L ⁇ M matrix C (f) is output to the p 1 (t) calculation unit 234 ( Step S231).
  • the p 1 (t) calculation unit 234 takes V 1 (f), a 1 (f), and C (f) as inputs, and calculates the target signal p 1 (f) for all f according to the equation (29). And output (step S234). (29)
  • Step S14 Processing of Control Unit 14 (Step S14) >> The control unit 14 determines whether or not the predetermined condition is satisfied. If the predetermined condition is not satisfied here, the control unit 14 returns the process to step S12. On the other hand, when a predetermined condition is satisfied, the control unit 14 advances the process to step S25.
  • step S25 first, the convolution separation filter estimation unit 13 of the convolution separation filter estimation unit 23 obtains and outputs P z (f) for all f as described in the first embodiment. Further, for all f and k, the power spectrum estimation unit 12 outputs the target signal sk (f, t) (step S12) optimized as described above, and the convolution separation filter estimation unit 23 outputs the target signal sk (f, t) (step S12) as described above.
  • the optimized convolution separation filter P (f) [p 1 (f), P z (f)] is output (step S25).
  • inverse matrix V z -1 and V 1 -1 of V z and V 1 was, respectively, since it can be considered that the covariance matrix of the mixed acoustic signal sequence and the noise signal sequence after removing the effects of reverberation.
  • the process according to equation (32) can be regarded as steering vector estimation based on MaxSNR.
  • step S234 corresponds to the calculation of the convolution beam former. From this, it can be said that the IVE conv by the convolution separation filter estimation unit 23 corresponds to the repetition of the steering vector estimation based on MaxSNR and the sound source extraction by the convolution beamformer.
  • the optimized target signal s k (f, t) in the modification of the first and second or second embodiment and the convolution separating filter P (f), the target signal s k (f , T) The sum of the direct sound component and the initial reflection component d k (f, t) is obtained and output.
  • the system of the third embodiment includes a signal processing device 1 (2) and a signal extraction device 3 of a modification of the first, second embodiment or the second embodiment.
  • the signal processing device 1 (2) receives the mixed acoustic signal x (f, t) as an input, and the target signal sk (f, t) optimized as described above and the convolution separation filter P ( f) is output.
  • the signal extraction device 3 takes the optimized target signal sk (f, t) and the convolution separation filter P (f) as inputs, and for all k, f, t, d k (31) according to the following equation (31). f, t) is obtained and output. After that, the obtained d k (f, t) may be used for other processing in the time domain or may be converted into the time domain.
  • (c) is the alternate optimization of WPE and IVA, which is a method for accelerating the alternate optimization of WPE and ICA (IVA) proposed in Reference 3.
  • the experimental conditions are as shown in Table 2.
  • RTF represents the processing speed.
  • K out of M (> K) outputs, K with high power was selected as the sound source extraction result, and SDR / SIR was measured. From Table 1, the effectiveness of the method of this embodiment was confirmed.
  • the signal processing devices 1 and 2 and the signal extraction device 3 in each embodiment are, for example, a processor (hardware processor) such as a CPU (central processing unit), a RAM (random-access memory), or a ROM (read-only memory). It is a device configured by executing a predetermined program by a general-purpose or dedicated computer having a memory or the like.
  • This computer may have one processor and memory, or may have a plurality of processors and memory.
  • This program may be installed in a computer or may be recorded in a ROM or the like in advance.
  • a part or all of the processing units may be configured by using an electronic circuit that realizes a processing function independently, instead of an electronic circuit (circuitry) that realizes a function configuration by reading a program like a CPU. ..
  • the electronic circuit constituting one device may include a plurality of CPUs.
  • FIG. 8 is a block diagram illustrating the hardware configurations of the signal processing devices 1 and 2 and the signal extraction device 3 in each embodiment.
  • the signal processing units 1 and 2 of this example include a CPU (Central Processing Unit) 10a, an input unit 10b, an output unit 10c, a RAM (RandomAccessMemory) 10d, and a ROM (ReadOnlyMemory) 10e. , Auxiliary storage device 10f and bus 10g.
  • the CPU 10a of this example has a control unit 10aa, a calculation unit 10ab, and a register 10ac, and executes various arithmetic processes according to various programs read into the register 10ac.
  • the input unit 10b is an input terminal, a keyboard, a mouse, a touch panel, or the like into which data is input.
  • the output unit 10c is an output terminal from which data is output, a display, a LAN card controlled by a CPU 10a that has read a predetermined program, and the like.
  • the RAM 10d is a SRAM (Static Random Access Memory), a DRAM (Dynamic Random Access Memory), or the like, and has a program area 10da in which a predetermined program is stored and a data area 10db in which various data are stored.
  • the auxiliary storage device 10f is, for example, a hard disk, MO (Magneto-Optical disc), a semiconductor memory, or the like, and has a program area 10fa for storing a predetermined program and a data area 10fb for storing various data.
  • the bus 10g connects the CPU 10a, the input unit 10b, the output unit 10c, the RAM 10d, the ROM 10e, and the auxiliary storage device 10f so that information can be exchanged.
  • the CPU 10a writes the program stored in the program area 10fa of the auxiliary storage device 10f to the program area 10da of the RAM 10d according to the read OS (Operating System) program.
  • OS Operating System
  • the CPU 10a writes various data stored in the data area 10fb of the auxiliary storage device 10f to the data area 10db of the RAM 10d. Then, the address on the RAM 10d in which this program or data is written is stored in the register 10ac of the CPU 10a.
  • the control unit 10aa of the CPU 10a sequentially reads out these addresses stored in the register 10ac, reads a program or data from the area on the RAM 10d indicated by the read address, and causes the arithmetic unit 10ab to sequentially execute the operations indicated by the program.
  • the calculation result is stored in the register 10ac.
  • the above program can be recorded on a computer-readable recording medium.
  • a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, an optical magnetic recording medium, a semiconductor memory, and the like.
  • the distribution of this program is carried out, for example, by selling, transferring, renting, etc. a portable recording medium such as a DVD or CD-ROM on which the program is recorded.
  • the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • the computer that executes such a program first temporarily stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own storage device and executes the process according to the read program.
  • a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. It is also possible to execute the process according to the received program one by one each time.
  • the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be.
  • the program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • the present device is configured by executing a predetermined program on a computer, but at least a part of these processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

源信号を観測して得られる観測混合音響信号を時間周波数領域に変換して得られる混合音響信号から後部残響成分を抑圧する後部残響除去フィルタと、混合音響信号から各源信号に対応する成分を強調する音源分離フィルタと、を統合したフィルタである畳み込み分離フィルタを、混合音響信号および混合音響信号の遅延信号を含む混合音響信号列に適用して、後部残響成分が抑圧され、かつ、源信号のうち各目的音源から発せられた各目的信号が強調された各信号に対応する情報を得るモデル、のモデルパラメータを推定する。

Description

信号処理装置、信号処理方法、およびプログラム
　本発明は、音源抽出技術に関する。
　観測された混合音響信号を入力として、雑音や残響も抑圧した各音源の源信号を推定する音源抽出技術は、音声認識の前処理等に広く利用される技術である。複数のマイクロホンを用いて観測された混合音響信号を用いて音源抽出を行う手法として、独立成分分析の多変量拡張にあたる独立ベクトル分析（ＩＶＡ）が知られている。
　実環境でＩＶＡを用いる場合、背景雑音や残響の影響で性能が劣化することが知られている。このうち背景雑音については、目的音源数Ｋよりもマイク数Ｍを大きくすることで、ＩＶＡの頑健性を高めることができるが、処理時間が増大するという問題がある。音源数Ｋよりもマイク数Ｍが大きい場合であっても処理速度の増大を抑え、高速に音源抽出を行う手法として、優決定ＩＶＡ（ＯｖｅｒＩＶＡ、例えば、非特許文献１等参照）が知られている。
Robin Scheibler and Nobutaka Ono, "Independent vector analysis with more microphones than sources," in Proc. WASPAA, 2019.
　ＯｖｅｒＩＶＡによれば背景雑音に頑健な音源抽出を行うことができる。しかし、ＯｖｅｒＩＶＡでは残響が考慮されていないため、残響に伴う性能劣化の問題は依然として存在する。
　本発明はこのような点に鑑みてなされたものであり、雑音に加えて残響にも頑健な音源抽出を高速で行うための信号処理技術を提供することを目的とする。
　源信号を観測して得られる観測混合音響信号を時間周波数領域に変換して得られる混合音響信号から後部残響成分を抑圧する後部残響除去フィルタと、混合音響信号から各源信号に対応する成分を強調する音源分離フィルタと、を統合したフィルタである畳み込み分離フィルタを、混合音響信号および混合音響信号の遅延信号を含む混合音響信号列に適用して、後部残響成分が抑圧され、かつ、源信号のうち各目的音源から発せられた各目的信号が強調された各信号に対応する情報を得るモデル、のモデルパラメータを推定する。
　畳み込み分離フィルタは後部残響除去フィルタと音源分離フィルタとを統合したフィルタであるため、本発明では、雑音に加えて残響にも頑健な音源抽出を高速で行うことが可能である。
図１は、実施形態の信号処理装置の機能構成を例示したブロック図である。 図２は、第１実施形態の畳み込み分離フィルタ推定部の機能構成を例示したブロック図である。 図３は、実施形態の信号処理方法を例示するためのフロー図である。 図４は、図３のステップＳ１３の処理を例示するためのフロー図である。 図５は、第２実施形態の畳み込み分離フィルタ推定部の機能構成を例示したブロック図である。 図６は、図３のステップＳ２３の処理を例示するためのフロー図である。 図７は、実施形態の信号処理装置を信号抽出に用いた場合の構成を例示したブロック図である。 図８は、実施形態の信号処理装置のハードウェア構成を例示したブロック図である。
　以下、本発明の実施形態を説明する。
　［原理］
　まず、原理を説明する。
　＜ブラインド音源抽出問題＞
　まず、ブラインド音源抽出問題を定義する。Ｋ個の目的音源から発せられた目的信号（例えば、音声信号など）とＭ－Ｋ個の雑音源から発せられた雑音信号が空気中を伝搬して混合された状態で、Ｍ個のマイクロホンで観測されるとする。このＭ個の音源（目的音源および雑音源）から発せられた源信号をＭ個のマイクロホンで観測して得られる信号を観測混合音響信号と呼ぶことにする。これらの源信号はＫ個の目的音源から発せられた目的信号と、Ｍ－Ｋ個の雑音源から発せられた雑音信号を含む。ただし、Ｍが２以上の整数であり、Ｋが１以上の整数であり、１≦Ｋ≦Ｍ－１とする。また目的信号は非定常であり、雑音信号は定常なガウス性雑音と仮定する。Ｍ個のマイクロホンで観測された観測混合音響信号を時間周波数（ＴＦ）領域に変換（例えば、短時間フーリエ変換など）して得られるＭ次元の混合音響信号のうち、ｋ番目（ｋ∈｛１，…，Ｋ｝）の目的信号に対応する成分をｘｋ（ｆ，ｔ）∈ＣＭと表現する。ただし、Ｃは複素数全体の集合を表し、Ｃαは複素数要素からなるα次元ベクトルの集合全体を表し、α∈βはαがβに属することを表す。すなわち、Ｍ次元の混合音響信号のうち目的信号に対応する成分は、ｘ１（ｆ，ｔ），…，ｘＫ（ｆ，ｔ）∈ＣＭである。また、Ｍ次元の混合音響信号のうち、ｚ番目（ｚ∈｛Ｋ＋１，…，Ｍ｝）の目的信号に対応する混合音響信号成分をｘｚ（ｆ，ｔ）∈ＣＭと表現する。すると、Ｍ次元の混合音響信号は以下の式(1)のように表される。
Figure JPOXMLDOC01-appb-M000016
ここでｆ∈｛１，…，Ｆ｝とｔ∈｛１，…，Ｔ｝は、それぞれ周波数ビンと時間フレームのインデックス（離散周波数と離散時間のインデックス）である。ＦおよびＴは正整数である。また、α：＝βはαをβと定義することを意味する。
　以下では、残響の影響を考慮に入れて、各音源ｉ∈｛１，…，Ｋ，ｚ｝の混合音響信号成分ｘｉ（ｆ，ｔ）は、直接音成分と初期反射成分の和ｄｉ（ｆ，ｔ）∈ＣＭと、後部残響成分ｒｉ（ｆ，ｔ）∈ＣＭとに分解できるとする。ここで、各ｄｉ（ｆ，ｔ）は以下の空間モデルに従うと仮定する。
xi(f,t)=di(f,t)+ri(f,t), i∈{1,…,K,z} (2)
dk(f,t)=ak(f)sk(f,t)∈CM, ｋ∈{1,…,K}  (3)
dz(f,t)=Az(f)z(f,t)∈CM    (4)
ak(f)∈CM, sk(f,t)∈C, ｋ∈{1,…,K}  (5)
Az(f)∈CM×(M-K), z(f,t)∈CM-K.  (6)
ここで、ａｋ（ｆ）とｓｋ（ｆ，ｔ）は、それぞれ目的音源ｋの伝達関数と源信号（目的信号）であり、Ａｚ（ｆ）とｚ（ｆ，ｔ）は、それぞれＭ－Ｋ個の雑音源の伝達関数と源信号を行列表示したものである。音源が互いに独立であるという仮定のもとで、観測信号のみからｘ１（ｆ，ｔ），…，ｘＫ（ｆ，ｔ）を推定する問題はブラインド音源分離問題として知られている。これに対し、本実施形態で扱うブラインド音源抽出問題は、音源分離に加えて残響除去も施したｄ１（ｆ，ｔ），…，ｄＫ（ｆ，ｔ）を推定する問題として定義される。ただし、目的音源数Ｋは既知とする。
　＜ＩＶＥｃｏｎｖの確率モデル＞
　混合音響信号ｘ（ｆ，ｔ）から後部残響成分を除去した後の音源信号の和を式(7)のようにおく。
Figure JPOXMLDOC01-appb-M000017
ＩＶＥｃｏｎｖの確率モデルは、ハイパーパラメータΔ⊂Ｎを用いて，以下で定義される。ただし、Ｎは自然数全体の集合を表し、α⊂βはαがβの部分集合であることを表す。
Figure JPOXMLDOC01-appb-M000018
sk(f,t)=wk(f)Hd(f,t)∈C, k∈{1,..,K}   (9)
z(f,t)=Wz(f)Hd(f,t)∈CM-K    (10)
sk(t):=[sk(1,t),...,sk(F,t)]T∈CF   (11)
sk(t)～CN(0F,λk(t)IF), k∈{1,..,K}   (12)
z(f,t)～CN(0M-K,IM-K)   (13)
Figure JPOXMLDOC01-appb-M000019
ここで、αＴはαの転置であり、αＨはαのエルミート転置であり、λｋ（ｔ）はｓｋ（ｔ）のパワースペクトルであり、ＣＮ（μ，Σ）は平均ベクトルμで分散共分散行列Σの複素正規分布であり、Ｉαはα×αの単位行列であり、０αがすべての要素が０のα次元ベクトルであり、β～ＣＮ（μ，Σ）が、βが複素正規分布ＣＮ（μ，Σ）に従っていることを表し、ｐ（α）はαの確率である。ｗｋ（ｆ）がｋ番目の目的音源から発せられた目的信号に対応する成分を強調する音源分離フィルタであり、Ｗｚ（ｆ）がｚ番目の雑音源から発せられた雑音信号に対応する成分を強調する音源分離フィルタである。
　このＩＶＥｃｏｎｖの確率モデルのモデルパラメータは次の４つである。
後部残響除去フィルタ：Qδ(f)∈CM×M,δ∈Δ
目的信号の音源分離フィルタ：wk(f)∈CM
目的信号のパワースペクトル：λk(t)∈R≧0
雑音信号の音源分離フィルタ：Wz(f)∈CM×(M-K)
　ここでＲ≧０は０以上の実数全体の集合を意味する。
　＜ＩＶＥｃｏｎｖの確率モデルの単純化＞
　上記のモデルにおいて、残響除去フィルタと音源分離フィルタは一般に交互に最適化することになるため、最適化の結果が局所解に陥りやすい恐れがある。そのため、本実施形態では、ＩＶＥｃｏｎｖの確率モデルのモデルパラメータである残響除去フィルタと音源分離フィルタを、両フィルタを結合したひとつのフィルタに変換することでＩＶＥｃｏｎｖの確率モデルを単純なモデルに書き換える。いま、ハイパーパラメータΔの要素をΔ＝｛τ１，…，τ｜Δ｜｝で表す。ただし、Δ∈｛τ１，…，τ｜Δ｜｝であり、｜Δ｜がハイパーパラメータΔの要素数を表す正整数である。また、以下のように定義する。
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
ただし、Ｑδ（ｆ）が後部残響除去フィルタであり、ｘ＾（ｆ，ｔ）を混合音響信号列と呼ぶことにする。なお、ｘ＾（ｆ，ｔ）の上付き添え字「＾」は、本来「ｘ」の真上に記載すべきであるが、記載表記の制約上、ｘ＾（ｆ，ｔ）のように「ｘ」の右上に記載する場合がある。このとき，以下の式(15)および(16)によって，Ｑ（ｆ）とＷ（ｆ）＝［ｗ１（ｆ），．．．，ｗＫ（ｆ），Ｗｚ（ｆ）］との組を、以下の式(17)に一対一変換する。
pk(f)=Q(f)wk(f)∈CM(|Δ|+1)   (15)
Pz(f)=Q(f)Wz(f)∈CM(|Δ|+1)×(M-K)   (16)
P(f)=[p1(f),...,pK(f),Pz(f)]   (17)
ただし、Ｃα×βは複素数要素からなるα×β行列の集合全体を表す。ｐｋ（ｆ）＝Ｑ（ｆ）ｗｋ（ｆ）はｋ番目の目的音源から発せられた目的信号に対応する畳み込み分離フィルタ成分である。またＰｚ（ｆ）＝Ｑ（ｆ）Ｗｚ（ｆ）はｚ番目の雑音源から発せられた雑音信号に対応する畳み込み分離フィルタ成分である。
　本実施形態では、後部残響除去と音源分離を同時に達成するフィルタＰ（ｆ）のことを、畳み込み分離フィルタと呼ぶことにする。すなわち、畳み込み分離フィルタは、混合音響信号ｘ（ｆ，ｔ）から後部残響成分を抑圧する後部残響除去フィルタＱ（ｆ）と、混合音響信号ｘ（ｆ，ｔ）から各源信号に対応する成分を強調する音源分離フィルタＷ（ｆ）と、を統合したフィルタである。この変換に伴い、式(8)-(10)は以下の式(18)および(19)のように変換される。
Figure JPOXMLDOC01-appb-M000022
Figure JPOXMLDOC01-appb-M000023
　以上より、ＩＶＥｃｏｎｖの確率モデルは、式(11)-(14), (18)-(19)としてまとめられる。この確率モデルは、源信号を観測して得られる観測混合音響信号を時間周波数領域に変換して得られる混合音響信号ｘ（ｆ，ｔ）から後部残響成分を抑圧する後部残響除去フィルタＱδ（ｆ）と、混合音響信号ｘ（ｆ，ｔ）から各源信号に対応する成分を強調する音源分離フィルタＷ（ｆ）と、を統合したフィルタである畳み込み分離フィルタＰ（ｆ）を、混合音響信号ｘ（ｆ，ｔ）および混合音響信号の遅延信号ｘ（ｆ，ｔ-τ１），…，ｘ（ｆ，ｔ-τ｜Δ｜）を含む混合音響信号列ｘ＾（ｆ，ｔ）に適用して、後部残響成分が抑圧され、かつ、源信号のうち各目的音源から発せられた各目的信号ｓｋ（ｆ，ｔ）が強調された各信号に対応する情報を得るモデルである。また、このモデルのモデルパラメータは、式(17)の畳み込み分離フィルタＰ（ｆ）と、式(12)の目的信号のパワースペクトルλｋ（ｔ）である。
　＜単純化されたＩＶＥｃｏｎｖの確率モデルの最適化＞
　単純化されたＩＶＥｃｏｎｖの確率モデルのモデルパラメータは、最尤法により推定できる。これは、次の式(20)で表される負の対数尤度である目的関数Ｊを最小化することで達成される。
Figure JPOXMLDOC01-appb-M000024
ここで、｜α｜はαの絶対値であり、||α||はαのノルムであり、ｄｅｔ（α）はαの行列式であり、「const.」はパラメータに依存しない定数である。畳み込み分離フィルタＰ（ｆ）の最初のＭ行成分がＷ（ｆ）＝［ｗ１（ｆ），．．．，ｗＫ（ｆ），Ｗｚ（ｆ）］である。
　本実施形態では、畳み込み分離フィルタＰ（ｆ）と目的信号ｓｋ（ｆ，ｔ）のパワースペクトルλｋ（ｔ）とを交互に最適化する。畳込分離フィルタＰ（ｆ）を固定すると、パワースペクトルλｋ（ｔ）の大域最適解は以下のようになる。
Figure JPOXMLDOC01-appb-M000025
　よって、パワースペクトル推定では、畳み込み分離フィルタＰ（ｆ）を固定したもとで、式(21)に従って各目的信号ｓｋ（ｆ，ｔ）のパワースペクトルλｋ（ｔ）を推定する。
　また目的信号ｓｋ（ｆ，ｔ）のパワースペクトルλｋ（ｔ）を固定した場合に、上記の負の目的関数Ｊを最適化（最小化）するように畳み込み分離フィルタＰ（ｆ）を最適化する問題は、各周波数ビンの畳み込み分離フィルタＰ（１），…，Ｐ（Ｆ）について目的関数Ｊを最小化するＦ個の問題に分割できる。畳み込み分離フィルタＰ（ｆ）について目的関数Ｊを最小化する問題は次のように表される。
Figure JPOXMLDOC01-appb-M000026
ただし、以下を満たす。
Figure JPOXMLDOC01-appb-M000027
ここでｔｒ（α）はαの対角和である。
Figure JPOXMLDOC01-appb-M000028
Figure JPOXMLDOC01-appb-M000029
　Ｇｚは混合音響信号列ｘ＾（ｆ，ｔ）の共分散行列であり、Ｇｋは目的信号ｓｋ（ｆ，ｔ）以外の信号を雑音信号とみなしたときの雑音共分散行列と捉えることができる。以上のように、畳み込み分離フィルタ推定では、各目的信号ｓｋ（ｆ，ｔ）のパワースペクトルλｋ（ｔ）を固定したもとで、各周波数で混合音響信号に対する目的関数ＪＰ（ｆ）を最適化する畳み込み分離フィルタＰ（ｆ）を周波数ごとに推定する。
　所定の条件を満たすまで、上記のパワースペクトル推定の処理と畳み込み分離フィルタ推定の処理とが交互に実行させる。
　［第１実施形態］
　次に、図面を用いて第１実施形態を説明する。
　［構成］
　図１に例示するように、第１実施形態の信号処理装置１は、初期設定部１１、パワースペクトル推定部１２、畳み込み分離フィルタ推定部１３、および制御部１４を有する。信号処理装置１は制御部１４の制御の下で各処理を実行する。図２に例示するように、第１実施形態の畳み込み分離フィルタ推定部１３は、ｑｋ（ｆ）演算部１３１、ｐｋ（ｆ）演算部１３２、Ｐｚ（ｆ）演算部１３４、および制御部１３３を有する。畳み込み分離フィルタ推定部１３は、制御部１３３の制御の下で各処理を実行する。
　＜処理＞
　前述のように、信号処理装置１は、源信号を観測して得られる観測混合音響信号を時間周波数領域に変換して得られる混合音響信号ｘ（ｆ，ｔ）から後部残響成分を抑圧する後部残響除去フィルタＱδ（ｆ）と、混合音響信号ｘ（ｆ，ｔ）から各源信号に対応する成分を強調する音源分離フィルタＷ（ｆ）と、を統合したフィルタである畳み込み分離フィルタＰ（ｆ）を、混合音響信号ｘ（ｆ，ｔ）および混合音響信号の遅延信号ｘ（ｆ，ｔ-τ１），…，ｘ（ｆ，ｔ-τ｜Δ｜）を含む混合音響信号列ｘ＾（ｆ，ｔ）に適用して、後部残響成分が抑圧され、かつ、源信号のうち各目的音源から発せられた各目的信号ｓｋ（ｆ，ｔ）が強調された各信号に対応する情報を得るモデル、のモデルパラメータを推定する。以下、詳細に説明する。
　≪初期設定部１１の処理（ステップＳ１１）≫
　図３に例示するように、信号処理装置１の初期設定部１１には、混合音響信号ｘ（ｆ，ｔ）（ｆ∈｛１，…，Ｆ｝，ｔ∈｛１，…，Ｔ｝）が入力される。初期設定部１１は、すべてのｆについて、分離フィルタＰ（ｆ）に任意の初期値を設定する。例えば、初期設定部１１は、Ｐ（ｆ）＝［ＩＭ｜ＯＭ×Ｌ］Ｔに設定する。ただしＬ：＝｜Δ｜Ｍである。また初期設定部１１は、式(14b)に従ってｘ＾（ｆ，ｔ）を計算する。さらに初期設定部１１は、すべてのｆについて式(24)に従ってＧｚ（ｆ）を計算する。さらに初期設定部１１は、式(24)に従ってすべてのｆについてＧｚ（ｆ）－１∈Ｃ（Ｍ＋Ｌ）×（Ｍ＋Ｌ）を計算する。初期設定部１１は、ｘ＾（ｆ，ｔ），Ｐ（ｆ）をパワースペクトル推定部１２に出力し、ｘ＾（ｆ，ｔ），Ｐ（ｆ），Ｇｚ（ｆ）－１を畳み込み分離フィルタ推定部１３に出力する（ステップＳ１１）。
　≪パワースペクトル推定部１２の処理（ステップＳ１２）≫
　パワースペクトル推定部１２は、ｘ＾（ｆ，ｔ）およびＰ（ｆ）＝［ｐ１（ｆ），．．．，ｐＫ（ｆ），Ｐｚ（ｆ）］を用い、すべてのｆ，ｔについて、式(18)に従って目的信号ｓｋ（ｆ，ｔ）を得、さらに式(11)(21)に従って目的信号ｓｋ（ｆ，ｔ）のパワースペクトルλｋ（ｔ）を得る。すなわち、パワースペクトル推定部１２は、畳み込み分離フィルタＰ（ｆ）を固定したもとで、各目的信号ｓｋ（ｆ，ｔ）のパワースペクトルλｋ（ｔ）を推定する。パワースペクトル推定部１２は、パワースペクトルλｋ（ｔ）を畳み込み分離フィルタ推定部１３に出力する（ステップＳ１２）。
　≪畳み込み分離フィルタ推定部１３の処理（ステップＳ１３）≫
　畳み込み分離フィルタ推定部１３は、各目的信号ｓｋ（ｆ，ｔ）のパワースペクトルλｋ（ｔ）を固定したもとで、各周波数（ｆ∈｛１，…，Ｆ｝）で混合音響信号ｘｋ（ｆ，ｔ）に対する目的関数ＪＰ（ｆ）（式(22)）を最適化（最小化）する畳み込み分離フィルタＰ（ｆ）を周波数ごとに推定する。これは目的関数Ｊを各周波数ビンｆ＝１，…，Ｆにおける畳み込み分離フィルタＰ（ｆ）について最小化する問題を解くことに相当する。例えば、畳み込み分離フィルタ推定部１３は、図４に例示するように、すべてのｆについてＰ（ｆ）を更新する。更新されたＰ（ｆ）はパワースペクトル推定部１２に出力される。
　Ｐ（ｆ）の更新処理（図４）：
　まず、制御部１３３はｋ＝１に設定する（ステップＳ１３３ａ）。
　次にｑｋ（ｆ）演算部は、Ｐ（ｆ），Ｇｚ（ｆ）－１を入力とし、すべてのｆについて、式(25)に従ってｑｋ（ｆ）を得て出力する。
Figure JPOXMLDOC01-appb-M000030
ここで、前述のようにＰ（ｆ）の最初のＭ行成分がＷ（ｆ）＝［ｗ１（ｆ），．．．，ｗＫ（ｆ），Ｗｚ（ｆ）］である。ｅｋはｋ番目の成分が１のＭ次元単位ベクトルであり、α－Ｈはαの逆行列のエルミート転置である（ステップＳ１３１）。
　ｐｋ（ｆ）演算部１３２は、ｑｋ（ｆ）、ｘ＾（ｆ，ｔ），λｋ（ｔ）を入力とし、すべてのｆについて、式(23)(26)に従ってｐｋ（ｆ）を得て出力する（ステップＳ１３２）。
Figure JPOXMLDOC01-appb-M000031
　制御部１３３はｋ＝Ｋであるか否かを判定する（ステップＳ１３３）。ここでｋ＝Ｋでない場合、制御部１３３はｋ＋１を新たなｋに設定し（ステップＳ１３３ｃ）、ステップＳ１３１に戻す。一方、ｋ＝Ｋである場合、Ｐｚ（ｆ）演算部１３４は、Ｇｚ（ｆ）－１，ｐｋ（ｆ）を入力とし、すべてのｆについて、式(27)に従ってPz（ｆ）を得て出力する。
Figure JPOXMLDOC01-appb-M000032
ここで、ekがｋ番目の成分が１のＭ次元単位ベクトルであり、Ｅｚ：＝［ｅＫ＋１，．．．，ｅＭ］∈ＣＭ×（Ｍ－Ｋ）であり、Ｅｓ：＝［ｅ１，．．．，ｅＫ］∈ＣＭ×Ｋであり、Ｗｓ（ｆ）：＝［ｗ１（ｆ），．．．，ｗＫ（ｆ）］∈ＣＭ×Ｋであり、０α×βがすべての要素が０のα×β行列である。前述のようにＰ（ｆ）の最初のＭ行成分がＷ（ｆ）＝［ｗ１（ｆ），．．．，ｗＫ（ｆ），Ｗｚ（ｆ）］である（ステップＳ１３４）。
　ｐｋ（ｆ）演算部１３２は、すべてのｋ，ｆについてｐｋ（ｆ）を出力し、Ｐｚ（ｆ）演算部１３４は、すべてのｚ，ｆについてPz（ｆ）を出力する。すなわち、畳み込み分離フィルタ推定部１３は最適化された畳み込み分離フィルタＰ（ｆ）＝［ｐ１（ｆ），．．．，ｐＫ（ｆ），Ｐｚ（ｆ）］を出力する。さらに畳み込み分離フィルタ推定部１３は、更新後のＰ（ｆ）を以下のように正規化し、正規化後のＰ（ｆ）を出力してもよい。
Figure JPOXMLDOC01-appb-M000033
Figure JPOXMLDOC01-appb-M000034
Figure JPOXMLDOC01-appb-M000035
これにより、数値的安定性を向上させることができる。ただし、この正規化は必須ではなく、これらの正規化が行われなくてもよい（ステップＳ１３５）。
　以上のように、畳み込み分離フィルタ推定部１３は、式(22)の問題を図４のように解き、最適化された畳み込み分離フィルタＰ（ｆ）を出力する。このとき、雑音信号は分離・抽出する必要がないため、図４では、雑音信号に対する畳み込み分離フィルタＰｚを厳密に最適化する代わりに、Ｐｚが張る線形空間Ｉｍ（Ｐｚ）までを最適化する方法を採用することで高速な音源抽出手法を実現している。
　≪制御部１４の処理（ステップＳ１４）≫
　制御部１４は、所定の条件が充足されたかを判定する。所定の条件の例は、パワースペクトル推定（ステップＳ１２）と畳み込み分離フィルタ推定（ステップＳ１３）との処理の繰り返し回数が予め定めた繰り返し回数に到達したこと、あるいは、各モデルパラメータの更新量が所定の閾値以下となったこと等である。ここで所定の条件が充足されていない場合、制御部１４は処理をステップＳ１２に戻す。一方、所定の条件が充足された場合、制御部１４は処理をステップＳ１５に進める。すなわち制御部１４は、所定の条件を満たすまで、パワースペクトル推定部１２の処理と畳み込み分離フィルタ推定部１３の処理とを交互に実行させる（ステップＳ１４）。
　ステップＳ１５では、すべてのｆ，ｋについて、パワースペクトル推定部１２が上述のように最適化した目的信号ｓｋ（ｆ，ｔ）（ステップＳ１２）を出力し、畳み込み分離フィルタ推定部１３が上述のように最適化された畳み込み分離フィルタＰ（ｆ）を出力する（ステップＳ１５）。
　＜本実施形態の特徴＞
　本実施形態では、後部残響除去フィルタと音源分離フィルタとを統合した畳み込み分離フィルタを用いたモデルを用いるため、雑音に加えて残響にも頑健な音源抽出を高速で行うことが可能である。また、上述の処理はリアルタイム処理によって実行可能である。
　［第２実施形態］
　次に、第２実施形態を説明する。目的音源数Ｋが１の場合、畳み込み分離フィルタをより高速に最適化することができる。第２実施形態ではこの方式について説明する。第２実施形態の第１実施形態からの相違点は、Ｋ＝１に限定される点および畳み込み分離フィルタの最適化手順である。以下では、これまで説明した事項との相違点を中心に説明し、既に説明した事項については同じ参照番号を引用して処理を簡略化する。
　［構成］
　図１に例示するように、第２実施形態の信号処理装置２は、初期設定部２１、パワースペクトル推定部１２、畳み込み分離フィルタ推定部２３、および制御部１４を有する。信号処理装置２は制御部１４の制御の下で各処理を実行する。図５に例示するように、第２実施形態の畳み込み分離フィルタ推定部２３は、畳み込み分離フィルタ推定部１３、方程式求解部２３１、固有値問題求解部２３２、ｐ１（ｆ）演算部２３４、および制御部２３３を有する。畳み込み分離フィルタ推定部２３は、制御部２３３の制御の下で各処理を実行する。
　＜処理＞
　本実施形態でも、畳み込み分離フィルタＰ（ｆ）を、混合音響信号ｘ（ｆ，ｔ）および混合音響信号の遅延信号ｘ（ｆ，ｔ-τ１），…，ｘ（ｆ，ｔ-τ｜Δ｜）を含む混合音響信号列ｘ＾（ｆ，ｔ）に適用して、後部残響成分が抑圧され、かつ、源信号のうち各目的音源から発せられた各目的信号ｓｋ（ｆ，ｔ）が強調された各信号に対応する情報を得るモデル、のモデルパラメータを推定する。以下、詳細に説明する。
　≪初期設定部２１の処理（ステップＳ２１）≫
　図３に例示するように、信号処理装置２の初期設定部２１には、混合音響信号ｘ（ｆ，ｔ）（ｆ∈｛１，…，Ｆ｝，ｔ∈｛１，…，Ｔ｝）が入力される。初期設定部２１は、すべてのｆについて、分離フィルタＰ（ｆ）に任意の初期値を設定する。また初期設定部２１は、式(14b)に従ってｘ＾（ｆ，ｔ）を計算する。さらに初期設定部２１は、すべてのｆについて式(24)に従ってＧｚ（ｆ）を計算する。さらに初期設定部２１は、式(24)に従ってすべてのｆについてＧｚ（ｆ）－１∈Ｃ（Ｍ＋Ｌ）×（Ｍ＋Ｌ）を計算する。また初期設定部２１は、Ｇｚ（ｆ）－１の先頭のＭ×Ｍの小行列Ｖｚ（ｆ）を抽出する。初期設定部２１は、ｘ＾（ｆ，ｔ），Ｐ（ｆ）をパワースペクトル推定部１２に出力し、ｘ＾（ｆ，ｔ），Ｐ（ｆ），Ｇｚ（ｆ）－１，Ｖｚ（ｆ）を畳み込み分離フィルタ推定部１３に出力する（ステップＳ２１）。
　≪パワースペクトル推定部１２の処理（ステップＳ１２）≫
　パワースペクトル推定部１２は、第１実施形態で説明した通りに、畳み込み分離フィルタＰ（ｆ）を固定したもとで、各目的信号ｓｋ（ｆ，ｔ）のパワースペクトルλｋ（ｔ）を推定する。パワースペクトル推定部１２は、パワースペクトルλｋ（ｔ）を畳み込み分離フィルタ推定部２３に出力する（ステップＳ１２）。
　≪畳み込み分離フィルタ推定部２３の処理（ステップＳ２３）≫
　畳み込み分離フィルタ推定部２３は、各目的信号ｓｋ（ｆ，ｔ）のパワースペクトルλｋ（ｔ）を固定したもとで、各周波数（ｆ∈｛１，…，Ｆ｝）で混合音響信号ｘｋ（ｆ，ｔ）に対する目的関数ＪＰ（ｆ）（式(22)）を最適化（最小化）する畳み込み分離フィルタＰ（ｆ）を周波数ごとに推定する。例えば、畳み込み分離フィルタ推定部２３は、図６に例示するように、すべてのｆについてＰ（ｆ）を更新する。更新されたＰ（ｆ）はパワースペクトル推定部１２に出力される。
　Ｐ（ｆ）の更新処理（図６）：
　方程式求解部２３１は、ｘ＾（ｆ，ｔ）およびλ1（ｔ）を用い、すべてのｆについて、式(23)に従ってＧ１（ｆ）を得、さらに方程式求解部２３１は、すべてのｆについて、式(28)の方程式を満たすＭ×Ｍ行列Ｖ１（ｆ）∈ＣＭ×ＭおよびＬ×Ｍ行列Ｃ（ｆ）∈ＣＬ×Ｍを算出して出力する。
Figure JPOXMLDOC01-appb-M000036
　Ｍ×Ｍ行列Ｖ１（ｆ）は固有値問題求解部２３２およびｐ１（ｔ）演算部２３４に出力され、Ｌ×Ｍ行列Ｃ（ｆ）はｐ１（ｔ）演算部２３４に出力される（ステップＳ２３１）。
　固有値問題求解部２３２は、Ｖ１（ｆ），Ｖｚ（ｆ）を入力とし、すべてのｆについて一般化固有値問題Ｖ１（ｆ）ｑ＝λＶｚ（ｆ）ｑを解いて最大固有値λに対応する固有ベクトルｑ＝ａ１（ｆ）を得て出力する。固有ベクトルｑ＝ａ１（ｆ）はｐ１（ｔ）演算部２３４に出力される（ステップＳ２３２）。
　ｐ１（ｔ）演算部２３４は、Ｖ１（ｆ），ａ１（ｆ），Ｃ（ｆ）を入力とし、すべてのｆについて、式(29)に従って目的信号ｐ１（ｆ）を算出して出力する（ステップＳ２３４）。
Figure JPOXMLDOC01-appb-M000037
   (29)
　≪制御部１４の処理（ステップＳ１４）≫
　制御部１４は、所定の条件が充足されたかを判定する。ここで所定の条件が充足されていない場合、制御部１４は処理をステップＳ１２に戻す。一方、所定の条件が充足された場合、制御部１４は処理をステップＳ２５に進める。
　ステップＳ２５では、まず、畳み込み分離フィルタ推定部２３の畳み込み分離フィルタ推定部１３が、すべてのｆについて第１実施形態で説明したようにＰｚ（ｆ）を得て出力する。さらに、すべてのｆ，ｋについて、パワースペクトル推定部１２が上述のように最適化した目的信号ｓｋ（ｆ，ｔ）（ステップＳ１２）を出力し、畳み込み分離フィルタ推定部２３が上述のように最適化された畳み込み分離フィルタＰ（ｆ）＝［ｐ１（ｆ），Ｐｚ（ｆ）］を出力する（ステップＳ２５）。
　［第２実施形態の変形例］
　固有値問題求解部２３２は、以下の式(30)によって、ステップＳ２３２の最大固有値λに対応する固有ベクトルｑ＝ａ１（ｆ）を得てもよい。
Figure JPOXMLDOC01-appb-M000038
ここでＶｚとＶ１の逆行列Ｖｚ －１とＶ１ －１は、それぞれ、残響の影響を取り除いた後の混合音響信号列と雑音信号列の共分散行列と考えることができるので、式（３２）による処理はＭａｘＳＮＲに基づくステアリングベクトル推定と捉えることができる。また、ステップＳ２３４は、畳み込みビームフォーマの計算に相当する。このことから畳み込み分離フィルタ推定部２３によるＩＶＥｃｏｎｖは、ＭａｘＳＮＲに基づくステアリングベクトル推定と畳み込みビームフォーマによる音源抽出との繰り返しに相当すると言える。
　［第３実施形態］
　第３実施形態では、第１，２実施形態または第２実施形態の変形例で最適化された目的信号ｓｋ（ｆ，ｔ）および畳み込み分離フィルタＰ（ｆ）から、目的信号ｓｋ（ｆ，ｔ）の直接音成分と初期反射成分の和ｄｋ（ｆ，ｔ）を得て出力する。
　図７に例示するように、第３実施形態のシステムは、第１，２実施形態または第２実施形態の変形例の信号処理装置１（２）および信号抽出装置３を有する。前述のように、信号処理装置１（２）は、混合音響信号ｘ（ｆ，ｔ）を入力とし、前述のように最適化された目的信号ｓｋ（ｆ，ｔ）および畳み込み分離フィルタＰ（ｆ）を出力する。
　信号抽出装置３は、最適化された目的信号ｓｋ（ｆ，ｔ）および畳み込み分離フィルタＰ（ｆ）を入力とし、すべてのｋ，ｆ，ｔについて、以下の式(31)に従ってｄｋ（ｆ，ｔ）を得て出力する。
Figure JPOXMLDOC01-appb-M000039
その後、得られたｄｋ（ｆ，ｔ）は時間周波数領域で他の処理に用いられてもよいし、時間領域に変換されてもよい。
　［実験］
　実験では表１に書かれた４手法の性能評価を行った。ここで(a)は「N. Ono, Proc. WASPAA, pp. 189-192, 2011.」（参考文献１）に記載された従来法であり、(b)は「R. Scheibler and N. Ono, arXiv preprint arXiv:1910.10654, 2019.」（参考文献２）に記載された従来法であり、(c)は「T. Yoshioka and T. Nakatani, IEEE Trans. ASLP, vol. 20, no. 10, pp. 2707-2720, 2012.」（参考文献３）に基づく従来法である。ただし、(c)はＷＰＥとＩＶＡの交互最適化であり、参考文献３で提案されたＷＰＥとＩＣＡ（ＩＶＡ）の交互最適化を高速化した手法である。実験条件は表２のとおりである。なお、RTFは処理速度を表す。(a)と(c)ではＭ（＞Ｋ）個の出力のうち、パワーの大きいＫ個を音源抽出結果として選びＳＤＲ／ＳＩＲを計測した。表１より本実施形態の手法の有効性が確認できた。
Figure JPOXMLDOC01-appb-T000040
Figure JPOXMLDOC01-appb-T000041
　［ハードウェア構成］
　各実施形態における信号処理装置１，２および信号抽出装置３は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
　図８は、各実施形態における信号処理装置１，２および信号抽出装置３のハードウェア構成を例示したブロック図である。図８に例示するように、この例の信号処理装置１，２は、ＣＰＵ（Central Processing Unit）１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ（Random Access Memory）１０ｄ、ＲＯＭ（Read Only Memory）１０ｅ、補助記憶装置１０ｆ及びバス１０ｇを有している。この例のＣＰＵ１０ａは、制御部１０ａａ、演算部１０ａｂ及びレジスタ１０ａｃを有し、レジスタ１０ａｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１０ｂは、データが入力される入力端子、キーボード、マウス、タッチパネル等である。また、出力部１０ｃは、データが出力される出力端子、ディスプレイ、所定のプログラムを読み込んだＣＰＵ１０ａによって制御されるＬＡＮカード等である。また、ＲＡＭ１０ｄは、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等であり、所定のプログラムが格納されるプログラム領域１０ｄａ及び各種データが格納されるデータ領域１０ｄｂを有している。また、補助記憶装置１０ｆは、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、所定のプログラムが格納されるプログラム領域１０ｆａ及び各種データが格納されるデータ領域１０ｆｂを有している。また、バス１０ｇは、ＣＰＵ１０ａ、入力部１０ｂ、出力部１０ｃ、ＲＡＭ１０ｄ、ＲＯＭ１０ｅ及び補助記憶装置１０ｆを、情報のやり取りが可能なように接続する。ＣＰＵ１０ａは、読み込まれたＯＳ（Operating System）プログラムに従い、補助記憶装置１０ｆのプログラム領域１０ｆａに格納されているプログラムをＲＡＭ１０ｄのプログラム領域１０ｄａに書き込む。同様にＣＰＵ１０ａは、補助記憶装置１０ｆのデータ領域１０ｆｂに格納されている各種データを、ＲＡＭ１０ｄのデータ領域１０ｄｂに書き込む。そして、このプログラムやデータが書き込まれたＲＡＭ１０ｄ上のアドレスがＣＰＵ１０ａのレジスタ１０ａｃに格納される。ＣＰＵ１０ａの制御部１０ａａは、レジスタ１０ａｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１０ｄ上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１０ａｂに順次実行させ、その演算結果をレジスタ１０ａｃに格納していく。このような構成により、信号処理装置１，２および信号抽出装置３の機能構成が実現される。
　上述のプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
　このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。上述のように、このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
１，２　信号処理装置

Claims (10)

  1. 　源信号を観測して得られる観測混合音響信号を時間周波数領域に変換して得られる混合音響信号から後部残響成分を抑圧する後部残響除去フィルタと、前記混合音響信号から各前記源信号に対応する成分を強調する音源分離フィルタと、を統合したフィルタである畳み込み分離フィルタを、前記混合音響信号および前記混合音響信号の遅延信号を含む混合音響信号列に適用して、前記後部残響成分が抑圧され、かつ、前記源信号のうち各目的音源から発せられた各目的信号が強調された各信号に対応する情報を得るモデル、のモデルパラメータを推定する、信号処理装置。
  2. 　請求項１の信号処理装置であって、
    　前記観測混合音響信号はＭ個の音源から発せられた前記源信号をＭ個のマイクロホンで観測して得られ、
    　前記源信号はＫ個の目的音源から発せられた目的信号を含み、
    　Ｍが２以上の整数であり、Ｋが１以上の整数であり、１≦Ｋ≦Ｍ－１であり、
    　前記混合音響信号がｘ（ｆ，ｔ）であり、
    　ｆが離散周波数のインデックスであり、ｆ∈｛１，…，Ｆ｝であり、Ｆが正整数であり、
    　ｔが離散時間のインデックスであり、ｔ∈｛１，…，Ｔ｝であり、Ｔが正整数であり、
    　前記畳み込み分離フィルタがｐ１（ｆ），．．．，ｐＫ（ｆ）を含み、
    　ｐｋ（ｆ）＝Ｑ（ｆ）ｗｋ（ｆ）がｋ番目の目的音源から発せられた目的信号に対応する畳み込み分離フィルタ成分であり、ｋ∈｛１，…，Ｋ｝であり、ｗｋ（ｆ）がｋ番目の目的音源から発せられた目的信号に対応する成分を強調する前記音源分離フィルタであり、
    Figure JPOXMLDOC01-appb-M000001
    であり、Ｉαがα×αの単位行列であり、Ｑδ（ｆ）が前記後部残響除去フィルタであり、δ∈Δであり、Δ∈｛τ１，…，τ｜Δ｜｝であり、｜Δ｜が正整数であり、
    　前記混合音響信号列が
    Figure JPOXMLDOC01-appb-M000002
    であり、
    　各前記目的信号が
    Figure JPOXMLDOC01-appb-M000003
    を含み、αＨがαのエルミート転置である、信号処理装置。
  3. 　請求項２の信号処理装置であって、
    　前記源信号はさらにＭ－Ｋ個の雑音源から発せられた雑音信号を含み、
    　前記畳み込み分離フィルタがさらにＰｚ（ｆ）を含み、
    　Ｐｚ（ｆ）＝Ｑ（ｆ）Ｗｚ（ｆ）が雑音源から発せられた雑音信号に対応する畳み込み分離フィルタ成分であり、Ｗｚ（ｆ）が雑音源から発せられた雑音信号に対応する成分を強調する前記音源分離フィルタであり、
    　各前記雑音信号に対応する情報が
    Figure JPOXMLDOC01-appb-M000004
    であり、
    　ｓｋ（ｔ）～ＣＮ（０Ｆ，λｋ（ｔ）ＩＦ）
    　ｚ（ｆ，ｔ）～ＣＮ（０Ｍ－Ｋ，ＩＭ－Ｋ）
    であり、
    　ｓｋ（ｔ）：＝［ｓｋ（１，ｔ），…，ｓｋ（Ｆ，ｔ）］Ｔであり、λｋ（ｔ）がｓｋ（ｔ）のパワースペクトルであり、αＴがαの転置であり、ＣＮ（μ，Σ）が平均ベクトルμで分散共分散行列Σの複素正規分布であり、０αがすべての要素が０のα次元ベクトルであり、β～ＣＮ（μ，Σ）が、βが前記複素正規分布ＣＮ（μ，Σ）に従っていることを表し、
    Figure JPOXMLDOC01-appb-M000005
    であり、ｐ（α）がαの生じる確率である、信号処理装置。
  4. 　請求項３の信号処理装置であって、
    　前記畳み込み分離フィルタＰ（ｆ）＝［ｐ１（ｆ），．．．，ｐＫ（ｆ），Ｐｚ（ｆ）］を固定したもとで、ｓｋ（ｔ）のパワースペクトル
    Figure JPOXMLDOC01-appb-M000006
    を得るパワースペクトル推定部と、
    　各前記目的信号のパワースペクトルλｋ（ｔ）を固定したもとで、ｆに対応する各周波数で前記混合音響信号ｘ（ｆ，ｔ）に対する目的関数
    Figure JPOXMLDOC01-appb-M000007
    を最小化する前記畳み込み分離フィルタＰ（ｆ）を前記周波数ごとに得る畳み込み分離フィルタ推定部と、
    　所定の条件を満たすまで、前記パワースペクトル推定部の処理と前記畳み込み分離フィルタ推定部の処理とを交互に実行させる制御部と、
    を有し、
    Figure JPOXMLDOC01-appb-M000008
    であり、
    Figure JPOXMLDOC01-appb-M000009
    であり、
    　前記畳み込み分離フィルタＰ（ｆ）の最初のＭ行成分がＷ（ｆ）：＝［ｗ１（ｆ），．．．，ｗＫ（ｆ），Ｗｚ（ｆ）］であり、
    　ｔｒ（α）がαの対角和であり、ｄｅｔ（α）がαの行列式である、信号処理装置。
  5. 　請求項４の信号処理装置であって、
    　α－Ｈがαの逆行列のエルミート転置であり、ekがｋ番目の成分が１のＭ次元単位ベクトルであり、Ｅｚ：＝［ｅＫ＋１，．．．，ｅＭ］であり、Ｅｓ：＝［ｅ１，．．．，ｅＫ］であり、Ｗｓ（ｆ）：＝［ｗ１（ｆ），．．．，ｗＫ（ｆ）］であり、０α×βがすべての要素が０のα×β行列であり、
    　前記畳み込み分離フィルタ推定部は、
    　ｋ＝１，…，Ｋについて、
    Figure JPOXMLDOC01-appb-M000010
    および
    Figure JPOXMLDOC01-appb-M000011
    を得、
    Figure JPOXMLDOC01-appb-M000012
    を得る、信号処理装置。
  6. 　請求項４の信号処理装置であって、
    　Ｋ＝１であり、
    　０Ｌ×Ｍがすべての要素が０のＬ×Ｍ行列であり、
    　Ｖ１（ｆ）がＧ１（ｆ）－１の先頭のＭ×Ｍの小行列であり、
    　Ｖｚ（ｆ）がＧｚ（ｆ）－１の先頭のＭ×Ｍの小行列であり、
    　前記畳み込み分離フィルタ推定部は、
    Figure JPOXMLDOC01-appb-M000013
    を満たすＭ×Ｍ行列Ｖ１（ｆ）およびＬ×Ｍ行列Ｃ（ｆ）を得、
    　固有値問題Ｖ１（ｆ）ｑ＝λＶｚ（ｆ）ｑを解いて最大固有値λに対応する固有ベクトルｑ＝ａ１（ｆ）を得、
    Figure JPOXMLDOC01-appb-M000014
    を得る、信号処理装置。
  7. 　請求項６の信号処理装置であって、
    　前記畳み込み分離フィルタ推定部は、
    Figure JPOXMLDOC01-appb-M000015
    によって前記固有ベクトルｑ＝ａ１（ｆ）を得る、信号処理装置。
  8. 　請求項１の信号処理装置であって、
    　前記モデルパラメータは、各前記目的信号のパワースペクトル、および、前記畳み込み分離フィルタを含み、
    　前記畳み込み分離フィルタを固定したもとで、各前記目的信号の前記パワースペクトルを推定するパワースペクトル推定部と、
    　各前記目的信号の前記パワースペクトルを固定したもとで、各周波数で前記混合音響信号に対する目的関数を最適化する前記畳み込み分離フィルタを周波数ごとに推定する畳み込み分離フィルタ推定部と、
    　所定の条件を満たすまで、前記パワースペクトル推定部の処理と前記畳み込み分離フィルタ推定部の処理とを交互に実行させる制御部と、
    を有する信号処理装置。
  9. 　源信号を観測して得られる観測混合音響信号を時間周波数領域に変換して得られる混合音響信号から後部残響成分を抑圧する後部残響除去フィルタと、前記混合音響信号から各前記源信号に対応する成分を強調する音源分離フィルタと、を統合したフィルタである畳み込み分離フィルタを、前記混合音響信号および前記混合音響信号の遅延信号を含む混合音響信号列に適用して、前記後部残響成分が抑圧され、かつ、前記源信号のうち各目的音源から発せられた各目的信号が強調された各信号に対応する情報を得るモデル、のモデルパラメータを推定する、信号処理方法。
  10. 　請求項１から８の何れかの信号処理装置としてコンピュータを機能させるためのプログラム。
PCT/JP2020/007643 2020-02-26 2020-02-26 信号処理装置、信号処理方法、およびプログラム WO2021171406A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/007643 WO2021171406A1 (ja) 2020-02-26 2020-02-26 信号処理装置、信号処理方法、およびプログラム
JP2022502647A JP7351401B2 (ja) 2020-02-26 2020-02-26 信号処理装置、信号処理方法、およびプログラム
US17/802,090 US20230087982A1 (en) 2020-02-26 2020-02-26 Signal processing apparatus, signal processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007643 WO2021171406A1 (ja) 2020-02-26 2020-02-26 信号処理装置、信号処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2021171406A1 true WO2021171406A1 (ja) 2021-09-02

Family

ID=77490797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007643 WO2021171406A1 (ja) 2020-02-26 2020-02-26 信号処理装置、信号処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230087982A1 (ja)
JP (1) JP7351401B2 (ja)
WO (1) WO2021171406A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688515B (zh) * 2024-02-04 2024-05-17 潍柴动力股份有限公司 空压机的声品质评价方法、装置、存储介质与电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009110578A1 (ja) * 2008-03-03 2009-09-11 日本電信電話株式会社 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体
JP2010054728A (ja) * 2008-08-27 2010-03-11 Hitachi Ltd 音源抽出装置
JP2015070321A (ja) * 2013-09-26 2015-04-13 本田技研工業株式会社 音声処理装置、音声処理方法、及び音声処理プログラム
JP2018028620A (ja) * 2016-08-18 2018-02-22 株式会社日立製作所 音源分離方法、装置およびプログラム
JP2019144320A (ja) * 2018-02-16 2019-08-29 日本電信電話株式会社 信号解析装置、方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009110578A1 (ja) * 2008-03-03 2009-09-11 日本電信電話株式会社 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体
JP2010054728A (ja) * 2008-08-27 2010-03-11 Hitachi Ltd 音源抽出装置
JP2015070321A (ja) * 2013-09-26 2015-04-13 本田技研工業株式会社 音声処理装置、音声処理方法、及び音声処理プログラム
JP2018028620A (ja) * 2016-08-18 2018-02-22 株式会社日立製作所 音源分離方法、装置およびプログラム
JP2019144320A (ja) * 2018-02-16 2019-08-29 日本電信電話株式会社 信号解析装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SCHEIBLER ROBIN ET AL.: "Independent Vector Analysis with More Microphones Than Souces", IEEE XPLORE, 20 October 2019 (2019-10-20), pages 185 - 189, XP033677283, DOI: 10.1109/WASPAA.2019.8937080 *

Also Published As

Publication number Publication date
JPWO2021171406A1 (ja) 2021-09-02
JP7351401B2 (ja) 2023-09-27
US20230087982A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
WO2020121590A1 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2015065682A1 (en) Selective audio source enhancement
WO2015129760A1 (ja) 信号処理装置、方法及びプログラム
WO2021171406A1 (ja) 信号処理装置、信号処理方法、およびプログラム
JP7167746B2 (ja) 非負値行列分解最適化装置、非負値行列分解最適化方法、プログラム
JP6815956B2 (ja) フィルタ係数算出装置、その方法、及びプログラム
JP6711765B2 (ja) 形成装置、形成方法および形成プログラム
WO2021205494A1 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2021007902A1 (zh) 语音滤波方法、装置、介质和电子设备
JP7156064B2 (ja) 潜在変数最適化装置、フィルタ係数最適化装置、潜在変数最適化方法、フィルタ係数最適化方法、プログラム
WO2022172441A1 (ja) 音源分離装置、音源分離方法、およびプログラム
US20220284885A1 (en) All deep learning minimum variance distortionless response beamformer for speech separation and enhancement
Wang et al. Low-latency real-time independent vector analysis using convolutive transfer function
WO2021255925A1 (ja) 目的音信号生成装置、目的音信号生成方法、プログラム
JP7222277B2 (ja) 雑音抑圧装置、その方法、およびプログラム
JP7173355B2 (ja) Ｐｓｄ最適化装置、ｐｓｄ最適化方法、プログラム
WO2024038522A1 (ja) 信号処理装置、信号処理方法、プログラム
WO2020184210A1 (ja) 雑音空間共分散行列推定装置、雑音空間共分散行列推定方法、およびプログラム
JP7173356B2 (ja) Ｐｓｄ最適化装置、ｐｓｄ最適化方法、プログラム
WO2023276170A1 (ja) 音響信号強調装置、音響信号強調方法、プログラム
US20240127841A1 (en) Acoustic signal enhancement apparatus, method and program
WO2021144934A1 (ja) 音声強調装置、学習装置、それらの方法、およびプログラム
WO2022130445A1 (ja) 音源信号生成装置、音源信号生成方法、プログラム
WO2021100215A1 (ja) 音源信号推定装置、音源信号推定方法、プログラム
JP5498452B2 (ja) 背景音抑圧装置、背景音抑圧方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922176

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022502647

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20922176

Country of ref document: EP

Kind code of ref document: A1