WO2019194315A1 - 信号分析装置、信号分析方法および信号分析プログラム - Google Patents

信号分析装置、信号分析方法および信号分析プログラム Download PDF

Info

Publication number
WO2019194315A1
WO2019194315A1 PCT/JP2019/015215 JP2019015215W WO2019194315A1 WO 2019194315 A1 WO2019194315 A1 WO 2019194315A1 JP 2019015215 W JP2019015215 W JP 2019015215W WO 2019194315 A1 WO2019194315 A1 WO 2019194315A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound source
signal
parameter
probability
distribution
Prior art date
Application number
PCT/JP2019/015215
Other languages
English (en)
French (fr)
Inventor
信貴 伊藤
中谷 智広
荒木 章子
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US16/981,294 priority Critical patent/US20210012790A1/en
Publication of WO2019194315A1 publication Critical patent/WO2019194315A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • G10L21/0308Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present invention relates to a signal analysis device, a signal analysis method, and a signal analysis program.
  • N ′ (N ′ is an integer of 0 or more) sound source signals are mixed
  • N ′ is the true number of sound sources
  • N is the assumed number of sound sources.
  • FIG. 6 is a diagram illustrating an example of a configuration of a conventional sound source separation device.
  • FIG. 7 is a flowchart showing an example of a processing procedure of a conventional sound source separation process.
  • ⁇ A is described for A which is a vector, matrix or scalar, it is the same as “a symbol with“ ⁇ ”immediately above“ A ””.
  • ⁇ A is described for A which is a vector, matrix, or scalar, it is assumed to be the same as “a symbol with“ ⁇ ”immediately above“ A ””.
  • the conventional signal analyzer 1P includes an observation signal vector creation unit 11P, an initialization unit (not shown), a sound source presence posterior probability update unit 12P, a storage unit 13P, and a sound source presence prior probability update. 14P, spatial covariance matrix update unit 15P, power parameter update unit 16P, convergence determination unit (not shown), and sound source signal component estimation unit 17P.
  • the observation signal vector creation unit 11P obtains the input observation signal y m ( ⁇ ) (step S41), and calculates the observation signal y m (t, f) in the time frequency domain by short-time Fourier transform or the like. (Step S42).
  • t 1,...
  • T is a frame index
  • f 1,...
  • F is a frequency bin index
  • m 1,. Yes
  • is the index of the sample point. Assume that the M microphones are arranged at different positions.
  • observation signal vector creation unit 11P observes an observation signal vector y (t, t, which is an M-dimensional vertical vector composed of all the acquired M observation signals y m (t, f). f) is created for each time frequency point (step S43).
  • the superscript T represents transposition.
  • the initialization unit calculates the initial values of the estimated values of the sound source existence prior probability ⁇ n (f), the spatial covariance matrix R n (f), and the power parameter v n (t, f). Are initialized (step S44).
  • n 1,..., N are sound source indexes.
  • the initialization unit calculates these initial values based on random numbers.
  • the sound source existence posterior probability update unit 12P is configured to use the observation signal vector y (t, f) from the observation signal vector creation unit 11P and the sound source existence prior probability from the sound source existence prior probability update unit 14P (with the exception of the sound source existence posterior probability).
  • the initial value of the sound source existence prior probability from the initialization unit ⁇ n (f) and the spatial covariance matrix from the spatial covariance matrix updating unit 15P receive the sound source exists posterior probability ⁇ (T, f) to update the (step S45).
  • the storage unit 13P stores the parameters of the prior distribution of the spatial covariance matrix for each sound source signal n and each frequency bin f.
  • the sound source presence prior probability update unit 14P receives the sound source presence posterior probability ⁇ n (t, f) from the sound source presence posterior probability update unit 12P, and updates the sound source presence prior probability ⁇ n (f) (step S46).
  • the spatial covariance matrix update unit 15P includes an observation signal vector y (t, f) from the observation signal vector creation unit 11P, a sound source presence posterior probability ⁇ n (t, f) from the sound source presence posterior probability update unit 12P, The parameter of the prior distribution from the storage unit 13P and the power parameter from the power parameter update unit 16P (with the exception that in the initial processing in the spatial covariance matrix update unit 15P, the initial value of the power parameter from the initialization unit Value) v n (t, f) is received and the spatial covariance matrix R n (f) is updated (step S47).
  • the power parameter update unit 16P receives the observation signal vector y (t, f) from the observation signal vector creation unit 11P and the spatial covariance matrix R n (f) from the spatial covariance matrix update unit 15P, The power parameter v n (t, f) is updated (step S48).
  • the convergence determination unit determines whether or not it has converged (step S49). When it is determined by the convergence determination unit that the signal has not converged (step S49: No), the process returns to the process (step S45) in the sound source presence posterior probability update unit 12P, and the process is continued. On the other hand, when it is determined by the convergence determination unit that the signal has converged (step S49: Yes), the process proceeds to the sound source signal component estimation unit 17P.
  • the sound source signal component estimation unit 17P receives the observation signal vector y (t, f) from the observation signal vector creation unit 11P and the sound source presence posterior probability ⁇ n (t, f) from the sound source presence posterior probability update unit 12P. Then, the estimated value ⁇ x n (t, f) of the sound source signal component x n (t, f) is calculated and output (step S50).
  • the observation signal vector y (t, f) created in the observation signal vector creation unit 11P is a sound source signal component x 1 (t, f),..., X N (a component derived from N sound source signals.
  • the sum of t, f) is expressed by equation (2).
  • each sound source signal has a property (sparseness) having significant energy only at a sparse point in the time-frequency domain. For example, speech is said to satisfy this sparsity relatively well.
  • the observed signal vector y (t, f) is one of N sound source signal components x 1 (t, f),..., X N (t, f). It can be approximated with only one of (Equation (3)).
  • n (t, f) is an index of the sound source signal existing at the time frequency point (t, f), and takes an integer value of 1 or more and N or less.
  • the probability distribution of the observed signal vector y (t, f) is modeled by a mixed complex Gaussian distribution of the following equation (5), and this model is applied to the observed signal vector y (t, f) to obtain n Estimate (t, f).
  • p G represents a complex Gaussian distribution (G is an acronym for Gauss).
  • R n (f) is a spatial covariance matrix that is a parameter representing the spatial characteristics (acoustic transfer characteristics) of each sound source
  • v n (t, f) is a parameter that models the power spectrum of each sound source. It is a certain power parameter.
  • ⁇ n (f) is a mixture weight that satisfies Equation (6), and is also referred to as a sound source existence prior probability in this specification.
  • represents all unknown parameters collectively. Specifically, sound source existence prior probability ⁇ n (f), spatial covariance matrix R n (f), power parameter v n (t, f). Once the parameter ⁇ can be estimated, the posterior probability of the sound source index n (t, f) given the observation signal vector y (t, f) can be obtained by the following equation (7).
  • the sound source index n (t, f) can be estimated as in the following equation (8).
  • the observation signal vector y (t, f) follows a different distribution for each frequency bin. For this reason, in the sound source separation approach based on the estimation (clustering) of the sound source index n (t, f) using the mixed model as shown in Equation (5), generally, sound source classification (clustering) limited to each frequency bin is performed. However, it is not possible to make a sound source correspondence between different frequencies. This is called the permutation problem.
  • the prior distribution p (R n (f) of the spatial covariance matrix R n (f), which is a parameter for modeling the spatial characteristics of each sound source signal. )) was designed.
  • the prior distribution p (R n (f)) of the spatial covariance matrix R n (f) is modeled by the inverse Wishart distribution of the following equation (9).
  • IW represents an inverse Wishart distribution
  • IW is an acronym for “Inverse Wishart”.
  • ⁇ ⁇ n (f) is a scale matrix that models the position of the peak (mode) of the prior distribution p (R n (f)), and ⁇ ⁇ n (f) is the prior distribution p (R n (f)).
  • the degree of freedom to model the spread of the mountain is assumed that the degree of freedom ⁇ ⁇ n (f) is constant regardless of the sound source and the frequency bin, and is simply written as ⁇ ⁇ .
  • the scale matrix ⁇ ⁇ n (f) and the degree of freedom ⁇ ⁇ which are parameters of the prior distribution p (R n (f)), are parameters for modeling the parameter R n (f), and are called hyperparameters in that sense. .
  • the parameter ⁇ is estimated by alternately applying the update rules shown in the following equations (11) to (14).
  • the processing of equation (11) is performed by the sound source existence posterior probability updating unit 12P
  • the processing of equation (12) is performed by the sound source existence prior probability updating unit 14P
  • the processing of equation (13) is performed by the spatial covariance matrix updating unit 15P (14 ) Is performed in the power parameter updating unit 16P.
  • the sound source signal component estimation unit 17P based on the sound source existence posterior probability ⁇ n (t, f) from the sound source existence posterior probability update unit 12P obtained by the above processing, uses the equation (8) to estimate the sound source index ⁇ n (t, f) is calculated, and further, an estimated value ⁇ x n (t, f) of the sound source signal component is calculated by the equation (4).
  • the present invention has been made in view of the above, and even when the sound source position with respect to each sound source signal is unknown, a spatial parameter (for example, a spatial parameter) that models the spatial characteristics of each sound source signal. It is an object to provide a signal analysis apparatus, a signal analysis method, and a signal analysis program that can perform signal analysis such as sound source separation based on a prior distribution of a dispersion matrix.
  • the signal analyzer of the present invention uses a parameter that models the spatial characteristics of signals from N signal sources (N is an integer of 2 or more) as a spatial parameter.
  • N is an integer of 2 or more
  • K is an integer of 2 or more. It has an estimation unit for estimating a signal source position prior probability that is a mixture weight and is a probability that a signal arrives from each signal source position candidate for each signal source.
  • signal analysis such as sound source separation can be performed based on the prior distribution of spatial parameters even when the sound source position for each sound source signal is unknown.
  • FIG. 1 is a diagram illustrating an example of the configuration of the signal analysis apparatus according to the first embodiment.
  • FIG. 2 is a flowchart illustrating an example of a processing procedure of signal analysis processing according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of the configuration of the signal analysis device according to the fourth modification of the first embodiment.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure of signal analysis processing according to Modification 4 of the first embodiment.
  • FIG. 5 is a diagram illustrating an example of a computer in which a signal analysis apparatus is realized by executing a program.
  • FIG. 6 is a diagram illustrating an example of a configuration of a conventional sound source separation device.
  • FIG. 7 is a flowchart showing an example of a processing procedure of a conventional sound source separation process.
  • the “sound source signal” in the first embodiment may be a target signal (for example, voice) or directional noise (for example, music flowing from a television) that is noise coming from a specific sound source position. It may be. Further, diffusive noise that is noise coming from various sound source positions may be collectively regarded as one “sound source signal”. Examples of diffusive noise include the voices of many people in crowds and cafes, footsteps at stations and airports, and noise from air conditioning.
  • FIG. 1 is a diagram illustrating an example of the configuration of the signal analysis apparatus according to the first embodiment.
  • FIG. 2 is a flowchart illustrating an example of a processing procedure of signal analysis processing according to the first embodiment.
  • the signal analysis apparatus 1 according to the first embodiment is configured such that a predetermined program is read into a computer including a ROM (Read Only Memory), a RAM (Random Access Memory), a CPU (Central Processing Unit), etc. Is realized by executing a predetermined program.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • CPU Central Processing Unit
  • the signal analysis apparatus 1 includes an observation signal vector creation unit 11, an initialization unit (not shown), an estimation unit 10, a storage unit 13, a power parameter update unit 18, and a permutation resolution unit (not shown). ), A convergence determination unit (not shown), and a sound source signal component estimation unit 19.
  • the observation signal vector creation unit 11 first acquires the input observation signal y m ( ⁇ ) (step S1), and calculates the observation signal y m (t, f) in the time frequency domain by short-time Fourier transform or the like. (Step S2).
  • t 1,..., T is a frame index
  • f 1,..., F is a frequency bin index.
  • the observation signal vector creating unit 11 obtains an observation signal vector y (t, f) that is an M-dimensional vertical vector composed of all the acquired M observation signals y m (t, f), that is, Expression (15).
  • the observation signal vector y (t, f) represented by is generated for each time frequency point (step S3).
  • the superscript T represents transposition.
  • each sound source signal comes from one of K sound source position candidates, and the sound source position candidates are indexed (hereinafter referred to as “sound source position index”) 1,. , K.
  • the sound source is a plurality of speakers sitting around the round table and talking, and M microphones are placed in a small area about a few cm square in the center of the round table.
  • any predetermined K point can be designated as a sound source position candidate.
  • the sound source position candidate may be a sound source position candidate representing diffusive noise. Diffusive noise does not come from a single sound source location, but from a number of sound source locations. By considering such diffusive noise as one sound source position candidate “arriving from a large number of sound source positions”, accurate estimation is possible even in a situation where diffusive noise exists.
  • the initialization unit calculates the estimated values of the sound source existence prior probability ⁇ n (f), the sound source position prior probability ⁇ kn , the spatial covariance matrix R n (f), and the power parameter v n (t, f).
  • An initial value is calculated (step S4).
  • n 1,..., N is a sound source index
  • k 1,.
  • the initialization unit calculates these initial values based on random numbers.
  • the estimation unit 10 estimates a sound source position prior probability.
  • a spatial covariance matrix is used as a spatial parameter that is a parameter for modeling the spatial characteristics of signals from the positions of N sound sources.
  • the sound source position prior probability is a prior distribution for each sound source in the spatial covariance matrix (spatial parameter), and a prior distribution for each sound source position candidate in K (K is an integer of 2 or more) in the spatial covariance matrix (spatial parameter).
  • K is an integer of 2 or more
  • This is a mixing weight when modeling with a mixture distribution that is a linear combination, and is a probability that a signal arrives from each sound source position candidate for each sound source.
  • the estimation unit 10 includes a sound source presence posterior probability update unit 12, a sound source position posterior probability update unit 14, a sound source presence prior probability update unit 15, a sound source position prior probability update unit 16, and a spatial covariance matrix update unit 17.
  • the sound source existence posterior probability updating unit 12 and the observation signal vector y (t, f) from the observation signal vector creating unit 11 and the sound source existence prior probability from the sound source existence prior probability updating unit 15 (with the exception, the sound source existence posterior probability)
  • the initial value of the sound source existence prior probability) ⁇ n (f) from the initialization unit and the spatial covariance matrix from the spatial covariance matrix updating unit 17 (with the exception of In the initial processing in the sound source existence posterior probability update unit 12, the initial value of the spatial covariance matrix from the initialization unit) R n (f) and the power parameter from the power parameter update unit 18 (with the exception of during the initial processing in the sound source exists posterior probability update unit 12, the initialization unit initial value of the power parameter from) v n (t, f) and receives the sound source exists posterior probability lambda n (t, f To update (step S5).
  • the storage unit 13 stores the parameters of the prior distribution of the spatial covariance matrix for each sound source position candidate k and each frequency bin f.
  • the sound source position posterior probability update unit 14 and the parameter of the prior distribution from the storage unit 13 and the sound source position prior probability from the sound source position prior probability update unit 16 (with the exception of the first processing in the sound source position posterior probability update unit 14)
  • the initial value of the sound source position a posteriori probability update unit 14 from the spatial covariance matrix update unit 17 (with the exception of the initial value of the sound source position prior probability from the initialization unit) ⁇ kn.
  • the initial value of the spatial covariance matrix (R n (f)) from the initialization unit is received, and the sound source position posterior probability ⁇ kn is updated (step S6).
  • the sound source presence prior probability update unit 15 receives the sound source presence posterior probability ⁇ n (t, f) from the sound source presence posterior probability update unit 12, and updates the sound source presence prior probability ⁇ n (f) (step S7).
  • the sound source position prior probability update unit 16 receives the sound source position posterior probability ⁇ kn from the sound source position posterior probability update unit 14 and updates the sound source position prior probability ⁇ kn (step S8).
  • the spatial covariance matrix update unit 17 includes an observation signal vector y (t, f) from the observation signal vector creation unit 11, a sound source presence posterior probability ⁇ n (t, f) from the sound source presence posterior probability update unit 12, Parameters of prior distribution from the storage unit 13, sound source position posterior probability ⁇ kn from the sound source position posterior probability update unit 14, and power parameters from the power parameter update unit 18 (with the exception, in the spatial covariance matrix update unit 17
  • the initial value of the power parameter (v n (t, f)) from the initialization unit is received and the spatial covariance matrix R n (f) is updated (step S9).
  • the power parameter update unit 18 receives the observation signal vector y (t, f) from the observation signal vector creation unit 11 and the spatial covariance matrix R n (f) from the spatial covariance matrix update unit 17, The power parameter v n (t, f) is updated (step S10).
  • the permutation resolution unit includes a sound source presence prior probability ⁇ n (f) from the sound source presence prior probability update unit 15, a spatial covariance matrix R n (f) from the spatial covariance matrix update unit 17, and power parameter update.
  • the power parameter v n (t, f) from the unit 18 is received, the sound source existence prior probability ⁇ n (f), the spatial covariance matrix R n (f), the power parameter v n (t, f), , To solve the permutation problem (step S11).
  • the permutation resolution unit updates these parameters by changing the sound source index n for each frequency bin so that the evaluation value such as the likelihood, the log likelihood, or the auxiliary function becomes the maximum. .
  • the permutation resolution unit Instead of updating all of the sound source existence prior probability ⁇ n (f), the spatial covariance matrix R n (f), and the power parameter v n (t, f), the permutation resolution unit Only a part thereof (for example, only the spatial covariance matrix R n (f)) may be updated. Note that the processing in the permutation resolution unit is not essential.
  • the convergence determination unit determines whether or not it has converged (step S12).
  • step S12 determines whether or not it has converged.
  • step S12: No the process returns to the process (step S5) in the sound source presence posterior probability update unit 12, and the subsequent processes are continued.
  • step S12: Yes the process proceeds to the processing in the sound source signal component estimation unit 19 (step S13).
  • the sound source signal component estimation unit 19 receives the observation signal vector y (t, f) from the observation signal vector creation unit 11 and the sound source presence posterior probability ⁇ n (t, f) from the sound source presence posterior probability update unit 12.
  • the estimated value ⁇ x n (t, f) of the sound source signal component x n (t, f) is calculated and output (step S13).
  • the conventional technology assumes that the sound source position of each sound source is known, and there is a problem that it cannot be applied when the sound source position of each sound source is unknown.
  • the prior distribution of the spatial covariance matrix can be designed even when the sound source position of each sound source is unknown.
  • ⁇ kn is unknown, but this is also regarded as an unknown parameter and can be estimated simultaneously with other unknown parameters.
  • parameters ⁇ k (f) and ⁇ k (f) of the complex inverse Wishart distribution for each sound source position candidate k and each frequency bin f are prepared in advance and stored in the storage unit 13. It shall be. These parameters may be prepared in advance based on information on the microphone arrangement, or may be learned in advance from actually measured data.
  • d k is a unit vector representing the direction of arrival of the sound source signal corresponding to the kth sound source position candidate
  • c is the speed of sound
  • ⁇ f is the angular frequency corresponding to the frequency bin f
  • j shown in Equation (21-1) Is an imaginary unit
  • H is Hermitian transpose.
  • ⁇ k (f) is a parameter (scale matrix) representing the position of the prior distribution peak (mode) of the spatial covariance matrix for each sound source position candidate
  • ⁇ k (f) is each sound source position candidate.
  • Is a parameter representing the spread (degree of freedom) of the prior distribution of the spatial covariance matrix.
  • IW C ( ⁇ ; ⁇ , ⁇ ) is shown in the equation (24), and is a complex inverse Wishart distribution in which the scale matrix is ⁇ and the degree of freedom is ⁇ .
  • the parameter is estimated based on the prior distribution (equation (17)).
  • the parameter estimation algorithm in this embodiment will be described.
  • the complex inverse Wishart distribution “IW C ” is simply expressed as “IW” with the subscript C omitted.
  • the prior distribution of the parameter ⁇ is given by the following equations (29) and (30).
  • the parameter ⁇ in the first embodiment is derived from the sound source existence prior probability ⁇ n (f), the power parameter v n (t, f), the spatial covariance matrix R n (f), and the sound source position prior probability ⁇ kn. Obviously, the parameter ⁇ in the first embodiment is derived from the sound source existence prior probability ⁇ n (f), the power parameter v n (t, f), the spatial covariance matrix R n (f), and the sound source position prior probability ⁇ kn. Become.
  • Y is a collective representation of observed signal vectors y (t, f) at all time frequency points.
  • the parameter ⁇ is estimated by maximizing the posterior probability p ( ⁇
  • the objective function J ( ⁇ ) in the above equation can be maximized based on the auxiliary function method.
  • the following two steps are alternately repeated based on an auxiliary function Q ( ⁇ , ⁇ ) that is a function of a parameter ⁇ and a variable ⁇ called an auxiliary variable.
  • 1. Update auxiliary variable ⁇ by maximizing auxiliary function Q ( ⁇ , ⁇ ) with respect to auxiliary variable ⁇ . Updating the parameter ⁇ so that the auxiliary function Q ( ⁇ , ⁇ ) does not decrease
  • the objective function J ( ⁇ ) can be monotonously increased. That is, the estimated value of the parameter ⁇ obtained as a result of the i-th iteration is assumed to be ⁇ (i) , and Equation (38) is established.
  • Equation (51) is obtained from Equation (47) and Equation (50).
  • equation (51) if the right side of equation (51) is set as equation (52), equation (53) is established from equations (36) and (51).
  • auxiliary variable ⁇ is composed of ⁇ n (t, f) and ⁇ kn .
  • equation (51) The conditions for establishing equality in equation (51) are equation (54) and equation (55).
  • Equation (53) From Equation (53) and Equation (58), it can be seen that Q ( ⁇ , ⁇ ) of Equation (52) satisfies Equation (37).
  • Equation (37) an auxiliary function for the objective function J ( ⁇ ) can be designed.
  • the auxiliary variable ⁇ and the parameter ⁇ are updated as follows based on the auxiliary function Q ( ⁇ , ⁇ ) of the equation (52).
  • the auxiliary variable ⁇ may be updated using the equations (56) and (57).
  • the parameter ⁇ may be updated using the following equations (59) to (62).
  • the auxiliary function Q ( ⁇ , ⁇ ) is changed to the auxiliary variable based on the auxiliary function Q ( ⁇ , ⁇ ).
  • the objective function of equation (36) is obtained.
  • equation (56) is nothing but the “after” sound source existence probability that the observed signal vector y (t, f) is observed.
  • equation (56) can also be written as equation (63).
  • ⁇ n (t, f) is called a sound source existence posterior probability.
  • ⁇ n (f) (Equation (64))) is the “previous” sound source existence probability at which the observed signal vector y (t, f) is observed, and is therefore referred to as the sound source existence prior probability.
  • ⁇ kn updated by the equation (57) is nothing but the “after” sound source position probability given the spatial covariance matrix R n (1),..., R n (F). In fact, (57) can also be written as (65).
  • ⁇ kn is called a sound source position posterior probability.
  • ⁇ kn (Equation (66)) is the “previous” sound source position probability given the spatial covariance matrix R n (1),..., R n (F). Called probability.
  • the processing of equation (56) is performed by the sound source presence posterior probability updating unit 12
  • the processing of equation (57) is performed by the sound source position posterior probability updating unit 14
  • the processing of equation (59) is performed by the sound source existence prior probability updating unit 15 (60)
  • the processing of equation () is performed in the sound source position prior probability update unit 16
  • the processing of equation (61) is performed in the spatial covariance matrix updating unit 17
  • the processing of equation (62) is performed in the power parameter updating unit 18.
  • the prior distribution of the spatial covariance matrix R n (f), which is a parameter of the complex Gaussian distribution is based on modeling that is a prior distribution based on the complex inverse Wishart distribution.
  • the auxiliary function Q ( ⁇ , ⁇ ) has an equation in which the derivative with respect to the spatial covariance matrix R n (f) is set to 0.
  • n (f) can be solved (described above). This is because the complex inverse Wishart distribution is a conjugate prior distribution of the complex Gaussian distribution. For the conjugate prior distribution, see Reference 2 “CM Bishop,“ Pattern Recognition and Machine Learning ”, Springer, 2006.”.
  • the prior distribution for each signal source of the spatial covariance matrix is modeled by a mixed distribution that is a linear combination of the prior distributions for a plurality of signal source position candidates of the spatial covariance matrix.
  • the signal source position prior probability which is the mixing weight when the signal is received, is the probability that a signal arrives from each signal source position candidate for each signal source.
  • the prior distribution for each signal source of the spatial covariance matrix is modeled as shown in Equation (17).
  • the prior distribution of the spatial covariance matrix is designed even when the sound source position of each sound source is unknown, based on the weighted sum by the sound source position prior probability ⁇ kn that is an unknown probability. can do. Therefore, in the first embodiment, sound source separation can be performed based on the prior distribution of the spatial covariance matrix even when the sound source position for each sound source signal is unknown.
  • the prior distribution of the spatial covariance matrix is based on modeling that is a prior distribution based on the complex inverse Wishart distribution.
  • the auxiliary function Q ( ⁇ , ⁇ ) is differentiated with respect to the spatial covariance matrix R n (f) by using a complex Gaussian distribution and a complex inverse Wishart distribution in combination. Can be solved for R n (f).
  • the observation signal vector y (t, f) is used as the observation data.
  • another feature vector or feature amount may be used as the observation data.
  • the feature vector z (t, f) defined by the equations (78) and (79) may be used.
  • a feature quantity such as a phase difference between the microphones, an amplitude ratio, an arrival time difference of the sound source signal, and an arrival direction may be used.
  • a mixed complex Gaussian distribution is used as a mixed model applied to an observation signal vector that is a feature vector.
  • various mixed models for example, mixed Gaussian
  • a model such as a complex Gaussian distribution may be applied to the observed signal vector that is a feature vector.
  • the prior distribution of the spatial covariance matrix is modeled by the mixed complex inverse Wishart distribution, but may be modeled by another model such as a mixed complex Wishart distribution.
  • the method of maximizing the posterior probability of the parameter ⁇ is employed to fit the model to the observation data.
  • the model may be applied to the observation data by other methods.
  • the optimization is performed by the auxiliary function method.
  • the optimization may be performed by another method such as a gradient method.
  • the sound source presence posterior probability update unit 12 and the sound source position posterior probability update unit 14 are not essential.
  • the estimation unit 10 selects a sound source position candidate corresponding to k having the maximum sound source position prior probability ⁇ kn from the sound source position prior probability update unit 16 as the sound source position. Estimated value. Then, the signal analyzing apparatus 1 clusters the N sound source positions obtained in this way by hierarchical clustering or the like, and determines the number of obtained clusters as an estimated value N ′ of the actual sound source number N ′. To do.
  • ⁇ N 'clusters obtained by clustering are considered to correspond to ⁇ N' actual sound sources. Therefore, by this clustering, it can be known which of N actual sound sources corresponds to each of N assumed sound sources n. When performing sound source separation, the estimation unit 10 also performs subsequent processing using this correspondence.
  • the estimation unit 10 further determines the sound source existence posterior probability of N assumed sound sources for each of the obtained ⁇ N 'clusters n' (n 'is an index of a cluster that is an integer of 1 to ⁇ N'). ⁇ n (t, f) by adding the one corresponding to the cluster of, calculating the n'-th actual sound source exists posterior probability Ramuda' n'sound source (t, f). The estimation unit 10 further, like the equation (8), for each time frequency point (t, f), a number n ′ that maximizes the actual sound source existence posterior probability ⁇ ′ n ′ (t, f). It is determined that the signal from the actual sound source corresponding to is sounding at (t, f).
  • the estimation unit 10 further calculates the estimated value ⁇ x ′ n ′ (t, f) of the actual sound source signal component of the actual sound source, and the n′-th actual sound source at (t, f), as in equation (4).
  • Sound source separation is performed by setting y (t, f) when it is determined that the sound is ringing, and by setting it to 0 when it is determined that it is not.
  • the first embodiment is not limited to sound signals, and may be applied to other signals (such as brain waves, magnetoencephalograms, and radio signals).
  • the observation signals in the first embodiment are not limited to observation signals acquired by a plurality of microphones (microphone arrays), but are acquired by other sensor arrays (a plurality of sensors) such as an electroencephalograph, a magnetoencephalograph, and an antenna array. Alternatively, it may be an observation signal composed of signals generated in time series from positions in space.
  • FIG. 3 is a diagram illustrating an example of the configuration of the signal analysis device according to the fourth modification of the first embodiment.
  • FIG. 4 is a flowchart illustrating an example of a processing procedure of signal analysis processing according to Modification 4 of the first embodiment.
  • the signal analysis device 201 includes an observation signal vector creation unit 11, an initialization unit (not shown), a storage unit 13, an estimation unit 210, a power parameter.
  • An update unit 218 and a convergence determination unit (not shown) are included.
  • the estimation unit 210 includes a sound source position posterior probability update unit 212, a sound source signal posterior probability update unit 213, a sound source position prior probability update unit 214, and a spatial covariance matrix update unit 217.
  • the observation signal vector creation unit 11 creates the observation signal vector y (t, f) according to the equation (1) as in the first embodiment (steps S21 to S23).
  • the initialization unit calculates initial values of estimated values of the sound source position prior probability ⁇ kn , the spatial covariance matrix R n (f), and the power parameter v n (t, f) (step S24).
  • n 1,..., N are indices of sound sources
  • k 1,..., K are indices of sound source position candidates.
  • the initialization unit calculates these initial values based on random numbers.
  • the initialization unit initializes n (step S25).
  • the storage unit 13 stores ⁇ k (f) and ⁇ k (f), which are parameters of the prior distribution of the spatial covariance matrix for each sound source position candidate k and each frequency bin f.
  • the signal analyzing apparatus 201 adds 1 to n (step S26), and performs the processing from step S27 to step S31.
  • the sound source position a posteriori probability update unit 212 includes the prior distribution parameters ⁇ k (f) and ⁇ k (f) from the storage unit 13, and the sound source position prior probability from the sound source position prior probability update unit 214 (except as an exception).
  • the initial value of the sound source position prior probability from the initialization unit ⁇ kn and the spatial covariance matrix from the spatial covariance matrix update unit 217 (exceptions)
  • the initial value of the spatial covariance matrix) R n (f) from the initialization unit is received and the sound source position posterior probability ⁇ kn is ( (81) is updated (step S27).
  • the sound source signal posterior probability update unit 213 includes the observation signal vector y (t, f) from the observation signal vector creation unit 11 and the power parameter from the power parameter update unit 218 (with the exception of the sound source signal posterior probability update unit 213).
  • the initial value of the spatial covariance matrix) R n (f) from the initialization unit is received, and the posterior probability of the sound source signal component x n (t, f)
  • the average ⁇ n (t, f) and the covariance matrix ⁇ n (t, f) are updated by the equations (82) and (83) (step S28).
  • the sound source position prior probability update unit 214 receives the sound source position posterior probability ⁇ kn from the sound source position posterior probability update unit 212, and updates the sound source position prior probability ⁇ kn by the equation (84) (step S29).
  • the spatial covariance matrix updating unit 217 includes ⁇ k (f) and ⁇ k (f) that are parameters of the prior distribution from the storage unit 13, the sound source position posterior probability ⁇ kn from the sound source position posterior probability updating unit 212, Mean ⁇ n (t, f) and covariance matrix ⁇ n (t, f) of the posterior probability from the sound source signal posterior probability update unit 213, and the power parameter from the power parameter update unit 218 (with the exception of the spatial covariance)
  • the initial value of the power parameter) v n (t, f) from the initialization unit is received, and the spatial covariance matrix R n (f) is (85). Update with the formula (step S30).
  • the power parameter updating unit 218 includes the spatial covariance matrix R n (f) from the spatial covariance matrix updating unit 217, the average ⁇ n (t, f) of the posterior probabilities from the sound source signal posterior probability updating unit 213, and the covariance.
  • the matrix ⁇ n (t, f) is received and the power parameter v n (t, f) is updated by the equation (86) (step S31).
  • a convergence determination part determines whether it has converged (step S33).
  • the convergence determination unit determines that the signal analyzer 201 has not converged (step S33: No)
  • the signal analyzer 201 returns to step S25 and continues the processing.
  • the convergence determination unit determines that the signal has converged (step S33: Yes)
  • the sound source signal posterior probability update unit 213 uses the average posterior probability ⁇ n (t, f) as the sound source signal component x n (t, f).
  • the processing in the signal analyzer 201 is completed.
  • the spatial characteristics of the sound source signal are modeled by the spatial covariance matrix, but the spatial characteristics of the sound source signal may be modeled by other parameters.
  • a parameter that models the spatial characteristics of the sound source signal is referred to herein as a spatial parameter.
  • a steering vector may be used as a spatial parameter, thereby modeling the spatial characteristics of the sound source signal.
  • the probability distribution of the observed signal vector y (t, f) can be modeled by, for example, a complex Gaussian distribution of the following equation (87).
  • h n (f) is the steering vector is a spatial parameters to model the spatial properties of the source signal n, sigma 1 2 is a positive number for regularization.
  • sigma 1 2 is a positive number for regularization.
  • the prior distribution of h n (f) is given by the following equation (88).
  • “p” in the equation (88) represents a complex Gaussian distribution “p G ”.
  • g k (f) and ⁇ 2 2 are hyper parameters.
  • g k (f) is a steering vector for the k-th sound source position candidate, and ⁇ 2 2 is a positive number for regularization.
  • the parameter ⁇ may be estimated as in the first embodiment.
  • each component of each illustrated device is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part of the distribution / integration may be functionally or physically distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. Further, all or a part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.
  • all or part of the processes described as being performed automatically can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method.
  • the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified. That is, the processes described in the learning method and the speech recognition method are not only executed in time series according to the order of description, but also executed in parallel or individually as required by the processing capability of the apparatus that executes the process. May be.
  • FIG. 5 is a diagram illustrating an example of a computer in which the signal analysis apparatuses 1 and 201 are realized by executing a program.
  • the computer 1000 includes a memory 1010 and a CPU 1020, for example.
  • the computer 1000 also includes a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. These units are connected by a bus 1080.
  • the memory 1010 includes a ROM 1011 and a RAM 1012.
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1090.
  • the disk drive interface 1040 is connected to the disk drive 1100.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1100.
  • the serial port interface 1050 is connected to a mouse 1110 and a keyboard 1120, for example.
  • the video adapter 1060 is connected to the display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS (Operating System) 1091, an application program 1092, a program module 1093, and program data 1094. That is, a program that defines each process of the signal analysis devices 1 and 201 is implemented as a program module 1093 in which a code executable by the computer 1000 is described.
  • the program module 1093 is stored in the hard disk drive 1090, for example.
  • a program module 1093 for executing processing similar to the functional configuration in the signal analyzers 1 and 201 is stored in the hard disk drive 1090.
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094 in, for example, the memory 1010 or the hard disk drive 1090. Then, the CPU 1020 reads the program module 1093 and the program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 and executes them as necessary.
  • the program module 1093 and the program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in, for example, a removable storage medium and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program module 1093 and the program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). The program module 1093 and the program data 1094 may be read by the CPU 1020 from another computer via the network interface 1070.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

信号分析装置(1)は、N個(Nは2以上の整数)の信号源からの信号の空間的特性をモデル化するパラメータを空間パラメータとする場合、空間パラメータの各信号源に対する事前分布を、空間パラメータのK個(Kは2以上の整数)の各信号源位置候補に対する事前分布の線型結合である混合分布によりモデル化するときの混合重みであり、信号源ごとの各信号源位置候補から信号が到来する確率である、信号源位置事前確率を推定する推定部(10)を有する。

Description

信号分析装置、信号分析方法および信号分析プログラム
 本発明は、信号分析装置、信号分析方法および信号分析プログラムに関する。
 N´個(N´は0以上の整数)の音源信号が混在する状況において、それぞれ異なる位置でマイクロホンにより取得された複数の観測信号から、個々の音源信号を推定する音源分離技術がある。N´は真の音源数であり、Nは仮定された音源数であるとする。従来技術では、真の音源数N´が既知である状況を想定し、仮定された音源数をN=N´と設定する。
T. Higuchi, N. Ito, S. Araki, T. Yoshioka, M. Delcroix, and T. Nakatani, "Online MVDR Beamformer Based on Complex Gaussian Mixture Model With Spatial Prior for Noise Robust ASR", IEEE/ACM Transactions on Audio, Speech, and Language Processing (ASLP), vol. 25, no. 4, pp. 780-793, Apr. 2017.
 ここで、図6および図7を用いて、従来の音源分離装置の構成と処理について説明する。図6は、従来の音源分離装置の構成の一例を示す図である。図7は、従来の音源分離処理の処理手順の一例を示すフローチャートである。なお、ベクトル、行列又はスカラーであるAに対し、“^A”と記載する場合は「“A”の直上に“^”が記された記号」と同じであるとする。また、ベクトル、行列又はスカラーであるAに対し、“~A”と記載する場合は「“A”の直上に“~”が記された記号」と同じであるとする。
 図6及び図7に示すように、従来の信号分析装置1Pは、観測信号ベクトル作成部11P、初期化部(図示しない)、音源存在事後確率更新部12P、記憶部13P、音源存在事前確率更新部14P、空間共分散行列更新部15P、パワーパラメータ更新部16P、収束判定部(図示しない)および音源信号成分推定部17Pを有する。
 観測信号ベクトル作成部11Pは、まず、入力された観測信号y(τ)を取得し(ステップS41)、短時間フーリエ変換などにより時間周波数領域の観測信号y(t,f)を計算する(ステップS42)。ここで、t=1,・・・,Tはフレームのインデックスであり、f=1,・・・,Fは周波数ビンのインデックスであり、m=1,・・・,Mはマイクロホンのインデックスであり、τはサンプル点のインデックスである。M個のマイクロホンはそれぞれ異なる位置に配置されているとする。 
 次に、観測信号ベクトル作成部11Pは、(1)式のように、取得されたM個すべての観測信号y(t,f)からなるM次元縦ベクトルである観測信号ベクトルy(t,f)を時間周波数点ごとに作成する(ステップS43)。ここで、上付きのTは転置を表す。
Figure JPOXMLDOC01-appb-M000001
 初期化部は、音源存在事前確率α(f)と、空間共分散行列R(f)と、パワーパラメータv(t,f)と、の推定値の初期値を計算することでこれらのパラメータを初期化する(ステップS44)。ただし、n=1,・・・,Nは音源のインデックスである。例えば、初期化部は、乱数に基づいてこれらの初期値を計算する。
 音源存在事後確率更新部12Pは、観測信号ベクトル作成部11Pからの観測信号ベクトルy(t,f)と、音源存在事前確率更新部14Pからの音源存在事前確率(ただし例外として、音源存在事後確率更新部12Pにおける最初の処理の際には、初期化部からの音源存在事前確率の初期値)α(f)と、空間共分散行列更新部15Pからの空間共分散行列(ただし例外として、音源存在事後確率更新部12Pにおける最初の処理の際には、初期化部からの空間共分散行列の初期値)R(f)と、パワーパラメータ更新部からのパワーパラメータ(ただし例外として、音源存在事後確率更新部12Pにおける最初の処理の際には、初期化部からのパワーパラメータの初期値)v(t,f)と、を受け取って、音源存在事後確率λ(t,f)を更新する(ステップS45)。
 記憶部13Pは、各音源信号nおよび各周波数ビンfに対する空間共分散行列の事前分布のパラメータを記憶する。
 音源存在事前確率更新部14Pは、音源存在事後確率更新部12Pからの音源存在事後確率λ(t,f)を受け取って、音源存在事前確率α(f)を更新する(ステップS46)。
 空間共分散行列更新部15Pは、観測信号ベクトル作成部11Pからの観測信号ベクトルy(t,f)と、音源存在事後確率更新部12Pからの音源存在事後確率λ(t,f)と、記憶部13Pからの事前分布のパラメータと、パワーパラメータ更新部16Pからのパワーパラメータ(ただし例外として、空間共分散行列更新部15Pにおける最初の処理の際には、初期化部からのパワーパラメータの初期値)v(t,f)と、を受け取って、空間共分散行列R(f)を更新する(ステップS47)。
 パワーパラメータ更新部16Pは、観測信号ベクトル作成部11Pからの観測信号ベクトルy(t,f)と、空間共分散行列更新部15Pからの空間共分散行列R(f)と、を受け取って、パワーパラメータv(t,f)を更新する(ステップS48)。
 収束判定部は、収束したかどうかの判定を行う(ステップS49)。収束判定部によって収束していないと判定された場合(ステップS49:No)、音源存在事後確率更新部12Pでの処理(ステップS45)に戻って、処理が継続される。一方、収束判定部によって収束したと判定された場合(ステップS49:Yes)、音源信号成分推定部17Pでの処理に進む。
 音源信号成分推定部17Pは、観測信号ベクトル作成部11Pからの観測信号ベクトルy(t,f)と音源存在事後確率更新部12Pからの音源存在事後確率λ(t,f)とを受け取って、音源信号成分x(t,f)の推定値^x(t,f)を計算し、出力する(ステップS50)。
 ここで、従来技術の特徴について説明する。観測信号ベクトル作成部11Pにおいて作成された観測信号ベクトルy(t,f)は、N個の音源信号に由来する成分である音源信号成分x(t,f),・・・,x(t,f)の和として、(2)式で表される。
Figure JPOXMLDOC01-appb-M000002
 従来技術では、各音源信号は、時間周波数領域において、疎な点においてのみ有意なエネルギーを持つという性質(スパース性)を有すると仮定する。例えば、音声はこのスパース性を比較的よく満たすとされている。この仮定の下では、各時間周波数点では、観測信号ベクトルy(t,f)は、N個の音源信号成分x(t,f),・・・,x(t,f)のうちの一つだけからなると近似できる((3)式)。
Figure JPOXMLDOC01-appb-M000003
 ここで、n(t,f)は、時間周波数点(t,f)において存在する音源信号のインデックスであり、1以上N以下の整数の値を取る。
 (3)式のモデルの下では、各時間周波数点(t,f)において存在する音源信号のインデックスn(t,f)の推定値^n(t,f)が得られれば、音源分離を実現できる。すなわち、一旦^n(t,f)が得られれば、次の(4)式のように、n番目の音源信号が存在する時間周波数点以外の音のエネルギーを遮断するかまたは減衰させることにより、n番目の音源信号成分x(t,f)の推定値^x(t,f)を得ることができる、すなわち、音源分離が実現できる。
Figure JPOXMLDOC01-appb-M000004
 従来技術では、観測信号ベクトルy(t,f)の確率分布を次の(5)式の混合複素ガウス分布でモデル化し、観測信号ベクトルy(t,f)にこのモデルを当てはめることにより、n(t,f)の推定を実現する。
Figure JPOXMLDOC01-appb-M000005
 ここで、pは複素ガウス分布を表す(Gはガウス(Gauss)の頭文字である)。R(f)は、各音源の空間的特性(音響伝達特性)を表すパラメータである空間共分散行列であり、v(t,f)は、各音源のパワースペクトルをモデル化するパラメータであるパワーパラメータである。α(f)は、(6)式を満たす混合重みであり、本明細書では音源存在事前確率とも呼ぶ。
Figure JPOXMLDOC01-appb-M000006
 また、Θは、すべての未知パラメータをまとめて表したものであり、具体的には、音源存在事前確率α(f)、空間共分散行列R(f)、パワーパラメータv(t,f)からなる。ひとたびパラメータΘが推定できれば、観測信号ベクトルy(t,f)が与えられた下での音源インデックスn(t,f)の事後確率を、次の(7)式により求めることができる。
Figure JPOXMLDOC01-appb-M000007
 これを用いて、次の(8)式のように音源インデックスn(t,f)を推定することができる。
Figure JPOXMLDOC01-appb-M000008
 この音源インデックスの推定値を用いれば、(4)式に従って、音源分離を実現できる。
 このアプローチに基づいて高精度な音源分離を実現するためにはパラメータΘの正確な推定が鍵となる。一般に、与えられる観測信号の長さが長ければ長いほどパラメータΘの正確な推定が容易になり、与えられる観測信号の長さが短ければ短いほどパラメータΘの正確な推定が困難になる。そこで、与えられる観測信号の長さが短くなった場合におけるパラメータΘの推定精度の劣化を防ぐために、パラメータΘに関する事前知識を表す事前分布を適切に定めることが重要である。事前分布を適切に定めれば、与えられる観測信号の長さが短くなった場合でも、パラメータΘに関する事前知識に基づいて、パラメータΘをある程度正確に推定できるため、パラメータΘの推定精度の大幅な低下を防ぐことができる。事前分布はまた、オンライン処理における音源信号が鳴り始めた直後におけるパラメータの推定精度の劣化防止や、パーミュテーション問題の回避のためにも重要である。
 ここで、パーミュテーション問題について説明する。観測信号ベクトルy(t,f)は、周波数ビンごとに異なる分布に従う。このため、(5)式のような混合モデルを用いた音源インデックスn(t,f)の推定(クラスタリング)に基づく音源分離アプローチでは、一般に、各周波数ビン内に限定した音源の分類(クラスタリング)はできても、異なる周波数間で音源の対応をとることはできない。これが、パーミュテーション問題と呼ばれている。
 従来技術では、各音源の音源位置が既知であるという仮定の下、各音源信号の空間的特性をモデル化するパラメータである空間共分散行列R(f)の事前分布p(R(f))を設計していた。具体的には、従来技術では、空間共分散行列R(f)の事前分布p(R(f))を、次の(9)式の逆ウィシャート分布によりモデル化する。
Figure JPOXMLDOC01-appb-M000009
 ここで、IWは、逆ウィシャート分布を表す(「IW」は、「Inverse Wishart(逆ウィシャート)」の頭文字である)。~Ψ(f)は事前分布p(R(f))の山(モード)の位置をモデル化するスケール行列であり、~ν(f)は事前分布p(R(f))の山の広がりをモデル化する自由度である。以下、自由度~ν(f)は音源および周波数ビンに依らず一定であると仮定し、単に~νと書く。事前分布p(R(f))のパラメータであるスケール行列~Ψ(f)および自由度~νは、パラメータR(f)をモデル化するパラメータであり、その意味でハイパーパラメータと呼ばれる。
 (9)式より、すべての周波数ビンにおける空間共分散行列R(1),・・・,R(F)の事前分布p(R(1),・・・,R(F))は、次の(10)式のようになる。
Figure JPOXMLDOC01-appb-M000010
 ここで周波数間の独立性を仮定した。
 従来技術では、各音源の音源位置が既知であるという仮定の下、事前分布p(R(f))のハイパーパラメータであるスケール行列~Ψ(f)および自由度~νを既知であると仮定していた。これらのハイパーパラメータは、学習用データに基づいて、事前に学習することができる。すなわち、各音源の音源位置が既知の場合には、音源ごとに既知である音源位置から音源信号が到来する場合の観測信号を実測し、これを学習用データとして用いることにより、事前分布p(R(f))のハイパーパラメータであるスケール行列~Ψ(f)および自由度~νを事前に学習することができる。
 従来技術では、この事前分布に基づき、以下の(11)式~(14)式に示す更新則を交互に繰り返し適用することにより、パラメータΘを推定する。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
 (11)式の処理は音源存在事後確率更新部12Pにおいて、(12)式の処理は音源存在事前確率更新部14Pにおいて、(13)式の処理は空間共分散行列更新部15Pにおいて、(14)式の処理はパワーパラメータ更新部16Pにおいて、それぞれ行われる。音源信号成分推定部17Pは、上記の処理により得られた音源存在事後確率更新部12Pからの音源存在事後確率λ(t,f)に基づいて、(8)式により音源インデックスの推定値^n(t,f)を計算し、さらに(4)式により音源信号成分の推定値^x(t,f)を計算する。
 しかしながら、従来技術では、各音源信号に対する音源位置が既知であると仮定しており、各音源信号に対する音源位置が未知である場合には適用できなかった。
 本発明は、上記に鑑みてなされたものであって、各音源信号に対する音源位置が未知である場合にも、各音源信号の空間的特性をモデル化するパラメータである空間パラメータ(例えば、空間共分散行列)の事前分布に基づいて音源分離などの信号分析を行うことができる信号分析装置、信号分析方法および信号分析プログラムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明の信号分析装置は、N個(Nは2以上の整数)の信号源からの信号の空間的特性をモデル化するパラメータを空間パラメータとする場合、空間パラメータの各信号源に対する事前分布を、空間パラメータのK個(Kは2以上の整数)の各信号源位置候補に対する事前分布の線型結合である混合分布によりモデル化するときの混合重みであり、信号源ごとの各信号源位置候補から信号が到来する確率である、信号源位置事前確率を推定する推定部を有することを特徴とする。
 本発明によれば、各音源信号に対する音源位置が未知である場合にも、空間パラメータの事前分布に基づいて音源分離などの信号分析を行うことができる。
図1は、第1の実施形態に係る信号分析装置の構成の一例を示す図である。 図2は、第1の実施形態に係る信号分析処理の処理手順の一例を示すフローチャートである。 図3は、第1の実施形態の変形例4に係る信号分析装置の構成の一例を示す図である。 図4は、第1の実施形態の変形例4に係る信号分析処理の処理手順の一例を示すフローチャートである。 図5は、プログラムが実行されることにより、信号分析装置が実現されるコンピュータの一例を示す図である。 図6は、従来の音源分離装置の構成の一例を示す図である。 図7は、従来の音源分離処理の処理手順の一例を示すフローチャートである。
 以下に、本願に係る信号分析装置、信号分析方法および信号分析プログラムの実施形態を図面に基づいて詳細に説明する。また、本発明は、以下に説明する実施形態により限定されるものではない。なお、以下では、ベクトル、行列又はスカラーであるAに対し、“^A”と記載する場合は「“A”の直上に“^”が記された記号」と同じであるとする。また、ベクトル、行列又はスカラーであるAに対し、“~A”と記載する場合は「“A”の直上に“~”が記された記号」と同じであるとする。
[第1の実施形態]
 まず、第1の実施形態に係る信号分析装置について説明する。なお、第1の実施形態においては、N´個(N´は0以上の整数)の音源信号が混在する状況において、それぞれ異なる位置でマイクロホンにより取得されたM個(Mは2以上の整数)の観測信号y(τ)(m=1,・・・,Mはマイクロホンのインデックス、τはサンプル点のインデックス)が信号分析装置に入力されるものとする。N´は真の音源数であり、Nは仮定された音源数であるとする。第1の実施形態では、真の音源数N´が既知である状況を想定し、仮定された音源数をN=N´と設定する。なお、本第1の実施形態における「音源信号」は、目的信号(例えば、音声)であってもよいし、特定の音源位置から到来する雑音である方向性雑音(例えば、テレビから流れる音楽)であってもよい。また、様々な音源位置から到来する雑音である拡散性雑音を、まとめて1つの「音源信号」とみなしてもよい。拡散性雑音の例としては、雑踏やカフェ等における大勢の人々の話し声、駅や空港における足音、空調による雑音などが挙げられる。
 図1および図2を用いて、第1の実施形態の構成と処理について説明する。図1は、第1の実施形態に係る信号分析装置の構成の一例を示す図である。図2は、第1の実施形態に係る信号分析処理の処理手順の一例を示すフローチャートである。第1の実施形態に係る信号分析装置1は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、CPU(Central Processing Unit)等を含むコンピュータ等に所定のプログラムが読み込まれて、CPUが所定のプログラムを実行することで実現される。
 図1に示すように、信号分析装置1は、観測信号ベクトル作成部11、初期化部(図示しない)、推定部10、記憶部13、パワーパラメータ更新部18、パーミュテーション解決部(図示しない)、収束判定部(図示しない)、音源信号成分推定部19を有する。
 まず、信号分析装置1の各部の概要について説明する。観測信号ベクトル作成部11は、まず、入力された観測信号y(τ)を取得し(ステップS1)、短時間フーリエ変換などにより時間周波数領域の観測信号y(t,f)を計算する(ステップS2)。ここで、t=1,・・・,Tはフレームのインデックスであり、f=1,・・・,Fは周波数ビンのインデックスである。
 次に、観測信号ベクトル作成部11は、取得されたM個すべての観測信号y(t,f)からなるM次元縦ベクトルである観測信号ベクトルy(t,f)、すなわち(15)式で表される観測信号ベクトルy(t,f)、を時間周波数点ごとに作成する(ステップS3)。ここで、上付きのTは転置を表す。
Figure JPOXMLDOC01-appb-M000015
 本第1の実施形態では、各音源信号は、K個の音源位置の候補のいずれかから到来すると仮定し、それらの音源位置候補をインデックス(以下、「音源位置インデックス」)1,・・・,Kで表す。例えば、音源が円卓の周りに着席して会話している複数の話者であり、M個のマイクロホンが円卓の中央の数cm四方程度の小領域内に置かれており、音源位置として円卓の中央から見たときの音源の方位角のみに注目するとき、0°~360°をK等分したK個の方位角Δφ,2Δφ,・・・,KΔφ(Δφ=360°/K)を音源位置候補とすることができる。この例に限らず、一般に任意の所定のK点を、音源位置候補として指定することができる。また、音源位置候補は、拡散性雑音を表す音源位置候補でもよい。拡散性雑音は、1つの音源位置から到来するのではなく、多数の音源位置から到来する。このような拡散性雑音も「多数の音源位置から到来する」という1つの音源位置候補とみなすことにより、拡散性雑音が存在する状況でも正確な推定が可能になる。
 初期化部は、音源存在事前確率α(f)と、音源位置事前確率βknと、空間共分散行列R(f)と、パワーパラメータv(t,f)と、の推定値の初期値を計算する(ステップS4)。ただし、n=1,・・・,Nは音源のインデックス、k=1,・・・・,Kは音源位置インデックスである。例えば、初期化部は、乱数に基づいてこれらの初期値を計算する。
 推定部10は、音源位置事前確率を推定する。本第1の実施形態では、N個の音源の位置からの信号の空間的特性をモデル化するパラメータである空間パラメータとして、空間共分散行列を用いる。音源位置事前確率は、空間共分散行列(空間パラメータ)の各音源に対する事前分布を、空間共分散行列(空間パラメータ)のK個(Kは2以上の整数)の各音源位置候補に対する事前分布の線型結合である混合分布によりモデル化するときの混合重みであり、音源ごとの各音源位置候補から信号が到来する確率である。推定部10は、音源存在事後確率更新部12、音源位置事後確率更新部14、音源存在事前確率更新部15、音源位置事前確率更新部16および空間共分散行列更新部17を有する。
 音源存在事後確率更新部12は、観測信号ベクトル作成部11からの観測信号ベクトルy(t,f)と、音源存在事前確率更新部15からの音源存在事前確率(ただし例外として、音源存在事後確率更新部12における最初の処理の際には、初期化部からの音源存在事前確率の初期値)α(f)と、空間共分散行列更新部17からの空間共分散行列(ただし例外として、音源存在事後確率更新部12における最初の処理の際には、初期化部からの空間共分散行列の初期値)R(f)と、パワーパラメータ更新部18からのパワーパラメータ(ただし例外として、音源存在事後確率更新部12における最初の処理の際には、初期化部からのパワーパラメータの初期値)v(t,f)と、を受け取って、音源存在事後確率λ(t,f)を更新する(ステップS5)。
 記憶部13は、各音源位置候補k、各周波数ビンfに対する空間共分散行列の事前分布のパラメータを記憶する。
 音源位置事後確率更新部14は、記憶部13からの事前分布のパラメータと、音源位置事前確率更新部16からの音源位置事前確率(ただし例外として、音源位置事後確率更新部14における最初の処理の際には、初期化部からの音源位置事前確率の初期値)βknと、空間共分散行列更新部17からの空間共分散行列(ただし例外として、音源位置事後確率更新部14における最初の処理の際には、初期化部からの空間共分散行列の初期値)R(f)と、を受け取って、音源位置事後確率μknを更新する(ステップS6)。
 音源存在事前確率更新部15は、音源存在事後確率更新部12からの音源存在事後確率λ(t,f)を受け取って、音源存在事前確率α(f)を更新する(ステップS7)。
 音源位置事前確率更新部16は、音源位置事後確率更新部14からの音源位置事後確率μknを受け取って、音源位置事前確率βknを更新する(ステップS8)。
 空間共分散行列更新部17は、観測信号ベクトル作成部11からの観測信号ベクトルy(t,f)と、音源存在事後確率更新部12からの音源存在事後確率λ(t,f)と、記憶部13からの事前分布のパラメータと、音源位置事後確率更新部14からの音源位置事後確率μknと、パワーパラメータ更新部18からのパワーパラメータ(ただし例外として、空間共分散行列更新部17における最初の処理の際には、初期化部からのパワーパラメータの初期値)v(t,f)と、を受け取って、空間共分散行列R(f)を更新する(ステップS9)。
 パワーパラメータ更新部18は、観測信号ベクトル作成部11からの観測信号ベクトルy(t,f)と、空間共分散行列更新部17からの空間共分散行列R(f)と、を受け取って、パワーパラメータv(t,f)を更新する(ステップS10)。
 パーミュテーション解決部は、音源存在事前確率更新部15からの音源存在事前確率α(f)と、空間共分散行列更新部17からの空間共分散行列R(f)と、パワーパラメータ更新部18からのパワーパラメータv(t,f)と、を受け取り、音源存在事前確率α(f)と、空間共分散行列R(f)と、パワーパラメータv(t,f)と、を更新することでパーミュテーション問題を解決する(ステップS11)。具体的には、パーミュテーション解決部は、尤度または対数尤度または補助関数などの評価値が最大となるように、音源インデックスnを周波数ビンごとに付け替えることにより、これらのパラメータを更新する。すなわち、周波数ビンfにおける音源インデックスnの付け替えを全単射σf:{1,・・・,N}→{1,・・・,N}で表すとき、各周波数ビンfにおいてこれらのパラメータの音源インデックスnをσf(n)に付け替えたときの尤度または対数尤度または補助関数などの評価値が最大になるように全単射σfを求め、求めた全単射σfを用いて各周波数ビンfにおいてこれらのパラメータの音源インデックスnをσf(n)に付け替えることにより、これらのパラメータを更新する。なお、パーミュテーション解決部は、音源存在事前確率α(f)と、空間共分散行列R(f)と、パワーパラメータv(t,f)と、のすべてを更新する代わりに、その一部のみ(例えば、空間共分散行列R(f)のみ)を更新してもよい。なお、パーミュテーション解決部での処理は必須ではない。
 続いて、収束判定部は、収束したかどうかの判定を行う(ステップS12)。収束判定部が収束していないと判定した場合(ステップS12:No)、音源存在事後確率更新部12での処理(ステップS5)に戻って、以降の処理が継続される。一方、収束判定部が収束したと判定した場合(ステップS12:Yes)、音源信号成分推定部19における処理(ステップS13)に進む。
 音源信号成分推定部19は、観測信号ベクトル作成部11からの観測信号ベクトルy(t,f)と音源存在事後確率更新部12からの音源存在事後確率λ(t,f)とを受け取って、音源信号成分x(t,f)の推定値^x(t,f)を計算し、出力する(ステップS13)。
 次に、第1の実施形態の特徴について、従来技術と対比しながら説明する。前述の通り、従来技術では、すべての周波数ビンにおける空間共分散行列R(1),・・・,R(F)の事前分布p(R(1),・・・,R(F))を、次の(16)式((10)式を再掲)によりモデル化していた。
Figure JPOXMLDOC01-appb-M000016
 しかしながら、従来技術では、各音源の音源位置が既知であると仮定しており、各音源の音源位置が未知の場合には適用できないという問題があった。
 これに対し、本第1の実施形態では、すべての周波数ビンにおける空間共分散行列R(1),・・・,R(F)の事前分布p(R(1),・・・,R(F))を、次の(17)式の混合複素逆ウィシャート分布でモデル化する。
Figure JPOXMLDOC01-appb-M000017
 これは、音源位置候補kに対する事前分布を、音源nが音源位置候補kにある確率βknを重みとして平均した形になっている。本第1の実施形態では各音源の音源位置が未知であると仮定しているから、βknは未知の確率である。ただし、βknは確率であるから、次の(18)式を満たすものとする。
Figure JPOXMLDOC01-appb-M000018
 このように、未知の確率βknによる重み付き和に基づくことで、各音源の音源位置が未知の場合でも、空間共分散行列の事前分布を設計することができる。βknは未知であるが、これも未知パラメータとみなし、他の未知パラメータと同時に推定することができる。
 本第1の実施形態では、各音源位置候補k、各周波数ビンfに対する複素逆ウィシャート分布のパラメータΨ(f),ν(f)は、事前に準備され、記憶部13に記憶されているものとする。これらのパラメータは、マイクロホン配置の情報に基づいて事前に準備してもよいし、実測データから事前に学習してもよい。
 例えば、マイクロホン配置の情報に基づいて事前に準備する場合には、各マイクロホンmの直交座標をrとして、各音源位置候補kに対応する平面波のステアリングベクトルを(19)式により計算し、Ψ(f),ν(f)を次の(20)式および(21)式により計算すればよい。
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
 ここで、dはk番目の音源位置候補に対応する音源信号の到来方向を表す単位ベクトル、cは音速、ωは周波数ビンfに対応する角周波数、(21-1)式に示すjは虚数単位、上付きのHはエルミート転置である。
Figure JPOXMLDOC01-appb-M000022
 ここで、本第1の実施形態における事前分布((17)式)の導出について説明する。各音源の音源位置は未知であると仮定し、各音源nの音源位置に対応する音源位置インデックスkは、(22)式に示す未知の確率分布に従うと仮定する。βknは、音源ごとの音源位置インデックスの確率分布である音源位置事前確率である。
Figure JPOXMLDOC01-appb-M000023
 さらに、本第1の実施形態では、音源nに対する音源位置インデックスがk=kであるという条件の下で、音源nの空間共分散行列R(1),・・・,R(F)が、互いに独立に確率分布((23)式)に従うものとする。
Figure JPOXMLDOC01-appb-M000024
 ここで、Ψ(f)は、各音源位置候補に対する空間共分散行列の事前分布の山(モード)の位置を表すパラメータ(スケール行列)であり、ν(f)は、各音源位置候補に対する空間共分散行列の事前分布の山の広がり(自由度)を表すパラメータである。また、IW(Σ;Ψ,ν)は、(24)式に示すものであり、スケール行列がΨ、自由度がνである複素逆ウィシャート分布である。
Figure JPOXMLDOC01-appb-M000025
 (22)式および(23)式のモデル化の下では、音源nの空間共分散行列R(1),・・・,R(F)の確率分布は、次の(25)式~(28)式で与えられる。
Figure JPOXMLDOC01-appb-M000026
 本実施形態では、事前分布((17)式)に基づき、パラメータを推定する。以下、本実施形態におけるパラメータ推定アルゴリズムについて説明する。なお、以下では簡単のため、複素逆ウィシャート分布「IW」を、添え字Cを省略して単に「IW」と表す。空間共分散行列R(f)以外の未知パラメータの事前分布は一様分布であると仮定すると、パラメータΘの事前分布は次の(29)式および(30)式で与えられる。
Figure JPOXMLDOC01-appb-M000027
 なお、本第1の実施形態におけるパラメータΘは、音源存在事前確率α(f)、パワーパラメータv(t,f)、空間共分散行列R(f)および音源位置事前確率βknからなる。
 一方、パラメータΘが与えられた下で、各時間周波数点における観測信号ベクトルy(t,f)が互いに独立であると仮定すると、尤度が次の(31)式および(32)式で与えられる。
Figure JPOXMLDOC01-appb-M000028
 ここで、Yは、すべての時間周波数点における観測信号ベクトルy(t,f)をまとめて表したものである。
 本第1の実施形態では、パラメータΘの事後確率p(Θ|Y)を最大化することにより、パラメータΘを推定する。ベイズの定理より、この事後確率は(33)式のように表せ、両辺の対数を取ると、(34)式となる。
Figure JPOXMLDOC01-appb-M000029
Figure JPOXMLDOC01-appb-M000030
 lnp(Y)はパラメータΘに依らないから、事後確率p(Θ|Y)のΘに関する最大化は、次の(35)式のΘに関する最大化と等価であり、したがって次の(36)式に示す目的関数J(Θ)のΘに関する最大化と等価である。
Figure JPOXMLDOC01-appb-M000031
 ここで、=の上に“c”が記された記号は、パラメータΘに依存しない定数の差を除いて両辺が等しいことを表す記号である。また、「A=:B」は、BをAによって定義することを表す。
 上式の目的関数J(Θ)の最大化は、補助関数法に基づいて行うことができる。補助関数法では、パラメータΘと補助変数と呼ばれる変数Φとの関数である補助関数Q(Θ,Φ)に基づいて、以下の2つのステップを交互に反復する。
 1.補助関数Q(Θ,Φ)を補助変数Φに関して最大化することにより、補助変数Φを更新するステップ
 2.補助関数Q(Θ,Φ)が減少しないようにパラメータΘを更新するステップ
 ただし、補助関数Q(Θ,Φ)は、次の(37)式に示す条件を満たすものとする。
Figure JPOXMLDOC01-appb-M000032
 この補助関数法により、目的関数J(Θ)を単調増加させることができる。すなわち、i回目の反復の結果得られたパラメータΘの推定値をΘ(i)として、(38)式が成り立つ。
Figure JPOXMLDOC01-appb-M000033
 実際、i回目の反復の結果得られた補助変数Φの値をΦ(i)とすると、(37)式より、(39)式および(40)式が成り立つ。
Figure JPOXMLDOC01-appb-M000034
 しかるに、以下の(41)式が成り立つから、(38)式が得られる。
Figure JPOXMLDOC01-appb-M000035
 補助関数法においては、(37)式を満たすような補助関数Q(Θ,Φ)を設計する必要がある。そのために、本第1の実施形態では、イェンセンの不等式を用いる。fを凸関数とし、w,・・・,wを(42)式を満たす非負の数とし、x,・・・,xを実数とするとき、(43)式が成り立つ(等号成立条件はx=・・・=x)ことが知られている。
Figure JPOXMLDOC01-appb-M000036
Figure JPOXMLDOC01-appb-M000037
 これは、イェンセンの不等式と呼ばれる。特に、f(x)=-lnxとすると、(44)式を得る。
Figure JPOXMLDOC01-appb-M000038
 λ(t,f),・・・,λ(t,f)を(45)式を満たす非負の数とすると(44)式より(46)式および(47)式が得られる。
Figure JPOXMLDOC01-appb-M000039
Figure JPOXMLDOC01-appb-M000040
 また、μ1n,・・・,μKnを(48)式を満たす非負の数とすると、(44)式より(49)式および(50)式が得られる。
Figure JPOXMLDOC01-appb-M000041
Figure JPOXMLDOC01-appb-M000042
 (47)式および(50)式より、(51)式が得られる。
Figure JPOXMLDOC01-appb-M000043
 よって、(51)式の右辺を、(52)式とおくと、(36)式および(51)式より、(53)式が成り立つ。
Figure JPOXMLDOC01-appb-M000044
Figure JPOXMLDOC01-appb-M000045
 ただし、補助変数Φは、λ(t,f)とμknとからなるものとする。
 (51)式の等号成立条件は、(54)式および(55)式である。
Figure JPOXMLDOC01-appb-M000046
 これは、次の(56)式および(57)式と等価である。
Figure JPOXMLDOC01-appb-M000047
 したがって、(58)式が成り立つ。
Figure JPOXMLDOC01-appb-M000048
 (53)式および(58)式より、(52)式のQ(Θ,Φ)が(37)式を満たすことが分かる。これで、目的関数J(Θ)に対する補助関数が設計できた。
 本第1の実施形態では、(52)式の補助関数Q(Θ,Φ)に基づいて、補助変数ΦおよびパラメータΘを次のようにして更新する。まず、補助変数Φの更新は、(56)式および(57)式により行えばよい。また、パラメータΘの更新は、次の(59)式~(62)式を用いて行えばよい。
Figure JPOXMLDOC01-appb-M000049
Figure JPOXMLDOC01-appb-M000050
Figure JPOXMLDOC01-appb-M000051
Figure JPOXMLDOC01-appb-M000052
 このように、本第1の実施形態では、(36)式の目的関数を直接最大化する代わりに、補助関数Q(Θ,Φ)に基づいて、補助関数Q(Θ,Φ)を補助変数Φに関して最大化することによりΦを更新するステップと、補助関数Q(Θ,Φ)が減少しないようにパラメータΘを更新するステップと、を交互に反復することにより、(36)式の目的関数を間接的に最大化する。(36)式の目的関数においては、対数lnの中にkに関する和Σk=1 が含まれており、(36)式の目的関数の各パラメータに関する微分が煩雑な形になるため、(36)式の目的関数を勾配法などにより直接最大化しようとすると、更新則が煩雑な形になる。これに対し、補助関数Q(Θ,Φ)では、kに関する和Σk=1 が対数lnの外に出た形になっており、補助関数Q(Θ,Φ)の各パラメータに関する微分が単純な形になる。また、勾配法では、反復ごとのパラメータの更新量を定めるステップサイズを調整する必要があるが、補助関数法では、ステップサイズが不要であるため、ステップサイズを調整する必要がない。
 (56)式により更新されたλ(t,f)は、観測信号ベクトルy(t,f)が観測された「後」の音源存在確率に他ならない。実際、ベイズの定理より、(56)式は(63)式とも書ける。
Figure JPOXMLDOC01-appb-M000053
 そこで、λ(t,f)を音源存在事後確率と呼ぶ。これに対し、α(f)((64)式))は、観測信号ベクトルy(t,f)が観測される「前」の音源存在確率であるから、音源存在事前確率と呼ぶ。
Figure JPOXMLDOC01-appb-M000054
 また、(57)式により更新されたμknは、空間共分散行列R(1),・・・,R(F)が与えられた「後」の音源位置確率に他ならない。実際、(57)は、(65)式とも書ける。
Figure JPOXMLDOC01-appb-M000055
 そこで、μknを音源位置事後確率と呼ぶ。これに対し、βkn((66)式)は、空間共分散行列R(1),・・・,R(F)が与えられる「前」の音源位置確率であるため、音源位置事前確率と呼ぶ。
Figure JPOXMLDOC01-appb-M000056
 (56)式の処理は音源存在事後確率更新部12において、(57)式の処理は音源位置事後確率更新部14において、(59)式の処理は音源存在事前確率更新部15において、(60)式の処理は音源位置事前確率更新部16において、(61)式の処理は空間共分散行列更新部17において、(62)式の処理はパワーパラメータ更新部18において、それぞれ行われる。
 ここで、上述のパラメータΘの更新則(59)式~(62)式の導出について説明する。まず、(52)式の補助関数は次の(67)式および(68)式のように計算できる。ここで、CはパラメータΘに依らない定数である。
Figure JPOXMLDOC01-appb-M000057
 音源存在事前確率α(f)の更新則(59)式を導出するために、拘束条件(6)式に注意して、ξをラグランジュの未定乗数として、(69)式をα(f)で微分したものを0と置くと、(70)式となる。
Figure JPOXMLDOC01-appb-M000058
Figure JPOXMLDOC01-appb-M000059
 (70)式をα(f)について解くと、(71)式となる。
Figure JPOXMLDOC01-appb-M000060
 (71)式に含まれるラグランジュの未定乗数ξの値を決定するために、(71)式を拘束条件(6)式に代入すると、(72)式~(74)式となる。
Figure JPOXMLDOC01-appb-M000061
 よって、ξ=Tであるから、音源存在事前確率α(f)の更新則(59)式が得られる。音源位置事前確率βknの更新則(60)式も同様にして導出できるから、説明を省略する。
 空間共分散行列R(f)の更新則(61)式を導出するために、(68)式をR(f)で微分したものを0と置くと、(75)式となる。
Figure JPOXMLDOC01-appb-M000062
 上式の両辺に対し、左右からそれぞれR(f)を掛けると、(76)式となる。これをR(f)について解けば、空間共分散行列R(f)の更新則(61)式が得られる。
Figure JPOXMLDOC01-appb-M000063
 パワーパラメータv(t,f)の更新則(62)式を導出するために、(68)式をv(t,f)で微分したものを0と置くと、(77)式となる。
Figure JPOXMLDOC01-appb-M000064
 これをv(t,f)について解けば、パワーパラメータv(t,f)の更新則(62)式が得られる。以上で、上述のパラメータΘの更新則(59)式~(62)式が導出できた。
 本第1の実施形態においては、複素ガウス分布のパラメータである空間共分散行列R(f)の事前分布が、複素逆ウィシャート分布に基づく事前分布であるというモデル化に基づいている。このように、複素ガウス分布と複素逆ウィシャート分布とを組み合わせて用いることにより、補助関数Q(Θ,Φ)が、その空間共分散行列R(f)に関する微分を0と置いた式がR(f)について解ける(上述)ような形になる。これは、複素逆ウィシャート分布が複素ガウス分布の共役事前分布であることに起因する。共役事前分布については、参考文献2「C.M. Bishop,“Pattern Recognition and Machine Learning”, Springer, 2006.」を参照されたい。
[第1の実施形態の効果]
 このように、本第1の実施形態では、空間共分散行列の各信号源に対する事前分布を、空間共分散行列の複数の各信号源位置候補に対する事前分布の線型結合である混合分布によりモデル化するときの混合重みであり、信号源ごとの各信号源位置候補から信号が到来する確率である、信号源位置事前確率を推定する。具体的には、本第1の実施形態では、空間共分散行列の各信号源に対する事前分布を(17)式のようにモデル化している。そして、本第1の実施形態では、未知の確率である音源位置事前確率βknによる重み付き和に基づくことによって、各音源の音源位置が未知の場合でも、空間共分散行列の事前分布を設計することができる。したがって、本第1の実施形態では、各音源信号に対する音源位置が未知である場合にも、空間共分散行列の事前分布に基づいて音源分離を行うことができる。
 また、本第1の実施形態では、(52)式に示すように、対数lnの中にkに関する和がない補助関数を用いるため、補助関数の各パラメータに関する微分が単純になり、パラメータの更新演算が煩雑ではなくなる。
 また、本第1の実施形態では、空間共分散行列の事前分布が、複素逆ウィシャート分布に基づく事前分布であるというモデル化に基づいている。このように、本第1の実施形態では、複素ガウス分布と複素逆ウィシャート分布とを組み合わせて用いることにより、補助関数Q(Θ,Φ)が、その空間共分散行列R(f)に関する微分を0と置いた式がR(f)について解ける。
[第1の実施形態の変形例1]
 本第1の実施形態では、観測データとして観測信号ベクトルy(t,f)を用いたが、他の特徴ベクトルまたは特徴量を観測データとして用いてもよい。例えば、観測信号ベクトルy(t,f)に基づいて、(78)式および(79)式で定義される特徴ベクトルz(t,f)を用いてもよい。
Figure JPOXMLDOC01-appb-M000065
Figure JPOXMLDOC01-appb-M000066
 また、観測データとして、マイクロホン間の位相差、振幅比や、音源信号の到来時間差、到来方向などの特徴量を用いてもよい。
 また、本第1の実施形態では、特徴ベクトルである観測信号ベクトルに当てはめる混合モデルとして、混合複素ガウス分布を用いたが、利用される特徴ベクトルに応じて、様々な混合モデル(例えば、混合ガウス分布、混合ラプラス分布、混合複素ワトソン分布、混合複素ビンガム分布、混合複素角度中心ガウス分布、フォンミーゼス分布など)を用いることができる。また、混合モデルに限らず、複素ガウス分布などのモデルを特徴ベクトルである観測信号ベクトルに当てはめてもよい。
 また、本第1の実施形態では、空間共分散行列の事前分布を混合複素逆ウィシャート分布によりモデル化したが、混合複素ウィシャート分布などの他のモデルによりモデル化してもよい。
 また、本第1の実施形態では、モデルを観測データに当てはめるために、パラメータΘの事後確率を最大化する方法を採用したが、他の方法によりモデルを観測データに当てはめてもよい。
 また、本第1の実施形態では、補助関数法により最適化を行ったが、勾配法などの他の方法により最適化を行ってもよい。その場合、音源存在事後確率更新部12および音源位置事後確率更新部14は必須ではない。
[第1の実施形態の変形例2]
 真の音源数N´が未知の場合に、真の音源数N´の推定や音源分離を行う第1の実施形態の変形例2について説明する。本変形例では、仮定された音源数NはN≧N´となるように十分大きく設定されているものとする。例えば、想定される音源数が高々6個であると分かっているような場合には、仮定された音源数はN=6と設定すればよい。なお、実際の音源数は4個である場合には、N´=4となる。
 推定部10は、各n(nは1以上N以下の整数)に対し、音源位置事前確率更新部16からの音源位置事前確率βknが最大となるkに対応する音源位置候補を音源位置の推定値とする。そして、信号分析装置1は、このようにして得られたN個の音源位置を、階層クラスタリングなどによりクラスタリングし、得られたクラスタの個数を、実際の音源数N´の推定値^N´とする。
 クラスタリングにより得られた^N´個の各クラスタは、^N´個の実際の音源に対応するものとみなされる。従ってこのクラスタリングにより、N個の仮定する各音源nが、^N´個の実際の音源のうちのどれに対応するか、が分かる。音源分離を行う場合には、この対応関係を利用して、推定部10が以降の処理も行う。
 推定部10は更に、得られた^N´個の各クラスタn´(n´は1以上^N´以下の整数であるクラスタのインデックス)に対し、N個の仮定する音源の音源存在事後確率λ(t,f)のうち該クラスタに対応するものを加算することにより、n´番目の実際の音源の音源存在事後確率λ´n´(t,f)を計算する。推定部10は更に、式(8)と同様に、各時間周波数点(t,f)に対し、実際の音源の音源存在事後確率λ´n´(t,f)が最大となる番号n´に対応する実際の音源からの信号が(t,f)にて鳴っていると判定する。推定部10は更に、(4)式と同様に、実際の音源の音源信号成分の推定値^x´n´(t,f)を、(t,f)においてn´番目の実際の音源が鳴っていると判定された場合にはy(t,f)とし、そうでないと判定された場合には0とすることにより、音源分離を行う。
[第1の実施形態の変形例3]
 本第1の実施形態は、音信号に限らず、他の信号(脳波、脳磁図、無線信号など)に対して適用してもよい。本第1の実施形態における観測信号は、複数のマイクロホン(マイクロホンアレイ)により取得された観測信号に限らず、脳波計、脳磁計、アンテナアレイなどの他のセンサアレイ(複数のセンサ)により取得された、空間上の位置から時系列として発生する信号からなる観測信号であってもよい。
[第1の実施形態の変形例4]
 観測信号ベクトルy(t,f)の確率分布を次の(80)式の複素ガウス分布によりモデル化する例を第1の実施形態の変形例4として説明する。この場合のパラメータΘの更新則は、第1の実施形態の(56)、(57)、(59)、(60)、(61)、(62)式に代えて、(81)式~(86)式のようになる。
Figure JPOXMLDOC01-appb-M000067
 図3および図4を用いて、第1の実施形態の変形例4の構成と処理について説明する。図3は、第1の実施形態の変形例4に係る信号分析装置の構成の一例を示す図である。図4は、第1の実施形態の変形例4に係る信号分析処理の処理手順の一例を示すフローチャートである。
 図3に示すように、本第1の実施形態の変形例4に係る信号分析装置201は、観測信号ベクトル作成部11、初期化部(図示しない)、記憶部13、推定部210、パワーパラメータ更新部218、収束判定部(図示しない)を有する。推定部210は、音源位置事後確率更新部212、音源信号事後確率更新部213、音源位置事前確率更新部214、空間共分散行列更新部217を有する。
 観測信号ベクトル作成部11は、第1の実施形態と同様に、観測信号ベクトルy(t,f)を(1)式により作成する(ステップS21~ステップS23)。
 初期化部は、音源位置事前確率βknと、空間共分散行列R(f)と、パワーパラメータv(t,f)と、の推定値の初期値を計算する(ステップS24)。ただし、n=1,・・・,Nは音源のインデックス、k=1,・・・,Kは音源位置候補のインデックスである。例えば初期化部は、乱数に基づいてこれらの初期値を計算する。また、初期化部は、nを初期化する(ステップS25)。
 なお、記憶部13は、各音源位置候補k、各周波数ビンfに対する空間共分散行列の事前分布のパラメータであるΨ(f)およびν(f)を記憶する。
 続いて、信号分析装置201は、nに1を加算して(ステップS26)、ステップS27~ステップS31の処理を行う。
 音源位置事後確率更新部212は、記憶部13からの事前分布のパラメータであるΨ(f)およびν(f)と、音源位置事前確率更新部214からの音源位置事前確率(ただし例外として、音源位置事後確率更新部212における最初の処理の際には、初期化部からの音源位置事前確率の初期値)βknと、空間共分散行列更新部217からの空間共分散行列(ただし例外として、音源位置事後確率更新部212における最初の処理の際には、初期化部からの空間共分散行列の初期値)R(f)と、を受け取って、音源位置事後確率μknを(81)式により更新する(ステップS27)。
Figure JPOXMLDOC01-appb-M000068
 音源信号事後確率更新部213は、観測信号ベクトル作成部11からの観測信号ベクトルy(t,f)と、パワーパラメータ更新部218からのパワーパラメータ(ただし例外として、音源信号事後確率更新部213における最初の処理の際には、初期化部からのパワーパラメータの初期値)v(t,f)と、空間共分散行列更新部217からの空間共分散行列(ただし例外として、音源信号事後確率更新部213における最初の処理の際には、初期化部からの空間共分散行列の初期値)R(f)と、を受け取って、音源信号成分x(t,f)の事後確率の平均ξ(t,f)および共分散行列Σ(t,f)を、(82)式および(83)式により更新する(ステップS28)。
Figure JPOXMLDOC01-appb-M000069
Figure JPOXMLDOC01-appb-M000070
 音源位置事前確率更新部214は、音源位置事後確率更新部212からの音源位置事後確率μknを受け取って、音源位置事前確率βknを(84)式により更新する(ステップS29)。
Figure JPOXMLDOC01-appb-M000071
 空間共分散行列更新部217は、記憶部13からの事前分布のパラメータであるΨ(f)およびν(f)と、音源位置事後確率更新部212からの音源位置事後確率μknと、音源信号事後確率更新部213からの事後確率の平均ξ(t,f)および共分散行列Σ(t,f)と、パワーパラメータ更新部218からのパワーパラメータ(ただし例外として、空間共分散行列更新部217における最初の処理の際には、初期化部からのパワーパラメータの初期値)v(t,f)と、を受け取って、空間共分散行列R(f)を(85)式により更新する(ステップS30)。
Figure JPOXMLDOC01-appb-M000072
 パワーパラメータ更新部218は、空間共分散行列更新部217からの空間共分散行列R(f)と、音源信号事後確率更新部213からの事後確率の平均ξ(t,f)および共分散行列Σ(t,f)と、を受け取って、パワーパラメータv(t,f)を(86)式により更新する(ステップS31)。
Figure JPOXMLDOC01-appb-M000073
 そして、信号分析装置201は、n=Nか否かを判定する(ステップS32)。信号分析装置201は、n=Nでないと判定した場合(ステップS32:No)、ステップS26に戻る。これに対し、信号分析装置201は、n=Nであると判定した場合(ステップS32:Yes)、収束判定部による判定処理に進む。
 収束判定部は、収束したかどうかの判定を行う(ステップS33)。信号分析装置201は、収束していないと収束判定部が判定した場合(ステップS33:No)、ステップS25に戻って、処理を継続する。一方、収束したと収束判定部が判定した場合(ステップS33:Yes)、音源信号事後確率更新部213は、事後確率の平均ξ(t,f)を、音源信号成分x(t,f)の推定値^x(t,f)として出力し(ステップS34)、信号分析装置201での処理が終了する。
[第1の実施形態の変形例5]
 第1の実施形態では、空間共分散行列により音源信号の空間的特性をモデル化したが、他のパラメータにより音源信号の空間的特性をモデル化してもよい。音源信号の空間的特性をモデル化するパラメータを、ここでは空間パラメータと呼ぶ。
 例えば、空間パラメータとしてステアリングベクトルを用い、これにより音源信号の空間的特性をモデル化してもよい。この場合、観測信号ベクトルy(t,f)の確率分布は、例えば次の(87)式の複素ガウス分布によりモデル化できる。
Figure JPOXMLDOC01-appb-M000074
 ここで、h(f)は、音源信号nの空間的特性をモデル化する空間パラメータであるステアリングベクトルであり、σ は正則化のための正数である。この場合、h(f)の事前分布は次の(88)式で与えられる。但し、(88)式における「p」は、複素ガウス分布「p」を表す。
Figure JPOXMLDOC01-appb-M000075
 ここで、g(f)とσ はハイパーパラメータである。g(f)はk番目の音源位置候補に対するステアリングベクトルであり、σ は正則化のための正数である。以上のモデル化に基づいて、第1の実施形態と同様にパラメータΘを推定すればよい。
[システム構成等]
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
 また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。すなわち、上記学習方法および音声認識方法において説明した処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
[プログラム]
 図5は、プログラムが実行されることにより、信号分析装置1,201が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
 メモリ1010は、ROM1011およびRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
 ハードディスクドライブ1090は、例えば、OS(Operating System)1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、信号分析装置1,201の各処理を規定するプログラムは、コンピュータ1000により実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、信号分析装置1,201における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
 また、上述した実施形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して実行する。
 なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093およびプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093およびプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
 以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等はすべて本発明の範疇に含まれる。
 1,201,1P 信号分析装置
 10 推定部
 11,11P 観測信号ベクトル作成部
 12,12P 音源存在事後確率更新部
 13,13P 記憶部
 14,212 音源位置事後確率更新部
 14P 音源存在事前確率更新部
 15 音源存在事前確率更新部
 16,214 音源位置事前確率更新部
 17,217,15P 空間共分散行列更新部
 18,218,16P パワーパラメータ更新部
 19,17P 音源信号成分推定部
 213 音源信号事後確率更新部

Claims (6)

  1.  N個(Nは2以上の整数)の信号源からの信号の空間的特性をモデル化するパラメータを空間パラメータとする場合、前記空間パラメータの各信号源に対する事前分布を、前記空間パラメータのK個(Kは2以上の整数)の各信号源位置候補に対する事前分布の線形結合である混合分布によりモデル化するときの混合重みであり、前記信号源ごとの前記各信号源位置候補から信号が到来する確率である、信号源位置事前確率を推定する推定部を有することを特徴とする信号分析装置。
  2.  前記空間パラメータは、空間共分散行列であり、
     前記混合分布は混合複素逆ウィシャート分布であることを特徴する請求項1に記載の信号分析装置。
  3.  前記推定部は、未知のパラメータの事後確率を最大化するための目的関数についての補助関数であり、前記目的関数に含まれる前記線形結合における和演算が対数演算の中に含まれない補助関数を用いた補助関数法により前記信号源位置事前確率を推定することを特徴とする請求項1または2に記載の信号分析装置。
  4.  前記推定部は、実際の信号源の数N´に対し十分に大きい数で仮定する信号源の数をNとしたとき、各n(nは1以上N以下の整数)に対し、前記信号源位置事前確率が最大となる信号源の位置候補を信号源位置の推定値とし、得られたN個の信号源の位置を、階層クラスタリングによりクラスタリングし、得られたクラスタの個数を、実際の音源数N´の推定値とすることを特徴とする請求項1~3のいずれか一つに記載の信号分析装置。
  5.  信号分析装置が実行する信号分析方法であって、
     N個(Nは2以上の整数)の信号源からの信号の空間的特性をモデル化するパラメータを空間パラメータとする場合、前記空間パラメータの各信号源に対する事前分布を、前記空間パラメータのK個(Kは2以上の整数)の各信号源位置候補に対する事前分布の線型結合である混合分布によりモデル化するときの混合重みであり、前記信号源ごとの前記各信号源位置候補から信号が到来する確率である、信号源位置事前確率を推定する工程
     を含んだことを特徴とする信号分析方法。
  6.  コンピュータを、請求項1~4のいずれか一つに記載の信号分析装置として機能させるための信号分析プログラム。
PCT/JP2019/015215 2018-04-06 2019-04-05 信号分析装置、信号分析方法および信号分析プログラム WO2019194315A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/981,294 US20210012790A1 (en) 2018-04-06 2019-04-05 Signal analysis device, signal analysis method, and signal analysis program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-074239 2018-04-06
JP2018074239A JP6915579B2 (ja) 2018-04-06 2018-04-06 信号分析装置、信号分析方法および信号分析プログラム

Publications (1)

Publication Number Publication Date
WO2019194315A1 true WO2019194315A1 (ja) 2019-10-10

Family

ID=68100746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015215 WO2019194315A1 (ja) 2018-04-06 2019-04-05 信号分析装置、信号分析方法および信号分析プログラム

Country Status (3)

Country Link
US (1) US20210012790A1 (ja)
JP (1) JP6915579B2 (ja)
WO (1) WO2019194315A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164467A (ja) * 2010-02-12 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> モデル推定装置、音源分離装置、それらの方法及びプログラム
WO2017141542A1 (ja) * 2016-02-16 2017-08-24 日本電信電話株式会社 マスク推定装置、マスク推定方法及びマスク推定プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130949A (en) * 1996-09-18 2000-10-10 Nippon Telegraph And Telephone Corporation Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor
EP1752969A4 (en) * 2005-02-08 2007-07-11 Nippon Telegraph & Telephone SIGNAL SEPARATION DEVICE, SIGNAL SEPARATION METHOD, SIGNAL SEPARATION PROGRAM, AND RECORDING MEDIUM
JP6225245B2 (ja) * 2014-02-28 2017-11-01 日本電信電話株式会社 信号処理装置、方法及びプログラム
CN106297820A (zh) * 2015-05-14 2017-01-04 杜比实验室特许公司 具有基于迭代加权的源方向确定的音频源分离
JP6584930B2 (ja) * 2015-11-17 2019-10-02 株式会社東芝 情報処理装置、情報処理方法およびプログラム
US10643633B2 (en) * 2015-12-02 2020-05-05 Nippon Telegraph And Telephone Corporation Spatial correlation matrix estimation device, spatial correlation matrix estimation method, and spatial correlation matrix estimation program
US10014002B2 (en) * 2016-02-16 2018-07-03 Red Pill VR, Inc. Real-time audio source separation using deep neural networks
JP6538624B2 (ja) * 2016-08-26 2019-07-03 日本電信電話株式会社 信号処理装置、信号処理方法および信号処理プログラム
US11423924B2 (en) * 2018-02-23 2022-08-23 Nippon Telegraph And Telephone Corporation Signal analysis device for modeling spatial characteristics of source signals, signal analysis method, and recording medium
JP6973254B2 (ja) * 2018-04-05 2021-11-24 日本電信電話株式会社 信号分析装置、信号分析方法および信号分析プログラム
EP3819779A4 (en) * 2018-07-05 2022-02-16 Valuecommerce Co., Ltd. BROWSER MANAGEMENT SYSTEM, BROWSER MANAGEMENT METHOD, BROWSER MANAGEMENT PROGRAM AND CUSTOMER PROGRAM
JP6992709B2 (ja) * 2018-08-31 2022-01-13 日本電信電話株式会社 マスク推定装置、マスク推定方法及びマスク推定プログラム
WO2020100341A1 (ja) * 2018-11-12 2020-05-22 日本電信電話株式会社 信号分離装置、信号分離方法及びプログラム
WO2021033296A1 (ja) * 2019-08-21 2021-02-25 日本電信電話株式会社 推定装置、推定方法及び推定プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011164467A (ja) * 2010-02-12 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> モデル推定装置、音源分離装置、それらの方法及びプログラム
WO2017141542A1 (ja) * 2016-02-16 2017-08-24 日本電信電話株式会社 マスク推定装置、マスク推定方法及びマスク推定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOSHII, KAZUYOSHI ET AL.: "Infinite Positive Semidefinite Tensor Factorization based on Gamma Process for Music Signal Analysis", IEICE TECHNICAL REPORT, vol. 113, no. 286, November 2013 (2013-11-01), pages 161 - 168, XP055643142 *

Also Published As

Publication number Publication date
JP6915579B2 (ja) 2021-08-04
JP2019184773A (ja) 2019-10-24
US20210012790A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
US11763834B2 (en) Mask calculation device, cluster weight learning device, mask calculation neural network learning device, mask calculation method, cluster weight learning method, and mask calculation neural network learning method
JP6434657B2 (ja) 空間相関行列推定装置、空間相関行列推定方法および空間相関行列推定プログラム
JPWO2005024788A1 (ja) 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
JP6538624B2 (ja) 信号処理装置、信号処理方法および信号処理プログラム
JP2008145610A (ja) 音源分離定位方法
JP6992709B2 (ja) マスク推定装置、マスク推定方法及びマスク推定プログラム
JP4769238B2 (ja) 信号分離装置、信号分離方法、プログラム及び記録媒体
JP6059072B2 (ja) モデル推定装置、音源分離装置、モデル推定方法、音源分離方法及びプログラム
JP6441769B2 (ja) クラスタリング装置、クラスタリング方法及びクラスタリングプログラム
WO2019194300A1 (ja) 信号分析装置、信号分析方法および信号分析プログラム
JP2013167698A (ja) 音源ごとに信号のスペクトル形状特徴量を推定する装置、方法、目的信号のスペクトル特徴量を推定する装置、方法、プログラム
JP7112348B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
WO2019194315A1 (ja) 信号分析装置、信号分析方法および信号分析プログラム
JP6193823B2 (ja) 音源数推定装置、音源数推定方法および音源数推定プログラム
JP6910609B2 (ja) 信号解析装置、方法、及びプログラム
JP6734237B2 (ja) 目的音源推定装置、目的音源推定方法及び目的音源推定プログラム
JP2007226036A (ja) 信号分離装置、信号分離方法、信号分離プログラム及び記録媒体、並びに、信号到来方向推定装置、信号到来方向推定方法、信号到来方向推定プログラム及び記録媒体
Tanji et al. A generalization of Laplace nonnegative matrix factorization and its multichannel extension
JP6616472B2 (ja) クラスタリング装置、クラスタリング方法及びクラスタリングプログラム
Rafique et al. Speech source separation using the IVA algorithm with multivariate mixed super gaussian student's t source prior in real room environment
Bando et al. Gamma Process FastMNMF for Separating an Unknown Number of Sound Sources
Na et al. Kernel and spectral methods for solving the permutation problem in frequency domain BSS
JP4787777B2 (ja) 信号分離装置、信号分離方法、信号分離プログラム、記録媒体
Liu et al. A fast blind source separation algorithm for binaural hearing aids based on frequency bin selection
Inoue et al. Joint separation, dereverberation and classification of multiple sources using multichannel variational autoencoder with auxiliary classifier

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19781270

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19781270

Country of ref document: EP

Kind code of ref document: A1