JP5068228B2 - Non-negative matrix decomposition numerical calculation method, non-negative matrix decomposition numerical calculation apparatus, program, and storage medium - Google Patents
Non-negative matrix decomposition numerical calculation method, non-negative matrix decomposition numerical calculation apparatus, program, and storage medium Download PDFInfo
- Publication number
- JP5068228B2 JP5068228B2 JP2008201274A JP2008201274A JP5068228B2 JP 5068228 B2 JP5068228 B2 JP 5068228B2 JP 2008201274 A JP2008201274 A JP 2008201274A JP 2008201274 A JP2008201274 A JP 2008201274A JP 5068228 B2 JP5068228 B2 JP 5068228B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- gaussian distribution
- distribution
- variance
- mixture ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000011159 matrix material Substances 0.000 title claims description 581
- 238000000354 decomposition reaction Methods 0.000 title claims description 62
- 238000004364 calculation method Methods 0.000 title claims description 26
- 238000003860 storage Methods 0.000 title claims description 7
- 238000009826 distribution Methods 0.000 claims description 525
- 239000000203 mixture Substances 0.000 claims description 106
- 239000013598 vector Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 description 88
- 230000014509 gene expression Effects 0.000 description 36
- 239000006185 dispersion Substances 0.000 description 7
- 238000007476 Maximum Likelihood Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000005284 basis set Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Complex Calculations (AREA)
Description
本発明は、主に、画像の特徴抽出や音源分離で用いられる技術に関するものであって、特に、画像や音響信号のスペクトログラムのような非負値からなるデータに基づき、NMF(非負値行列分解)モデルのパラメータを計算する非負値行列分解の数値計算方法、非負値行列分解の数値計算装置、プログラムおよび記憶媒体に関する。 The present invention mainly relates to techniques used in image feature extraction and sound source separation, and in particular, NMF (non-negative matrix decomposition) based on data consisting of non-negative values such as spectrograms of images and sound signals. The present invention relates to a numerical calculation method for non-negative matrix decomposition, a numerical calculation apparatus for non-negative matrix decomposition, a program, and a storage medium.
非負値行列分解(Non−negative Matrix Factorization;NMF)は、画像や音響信号のスペクトログラムなどの非負値データから特徴的なパターンを抽出する方法として有効であり、画像特徴抽出や音源分離など多岐にわたって応用されている。この非負値行列とは、全成分が非負(0以上)の値で構成される行列であって、非負値行列分解とは、観測データ(非負値ベクトル)のすべてを非負値基底ベクトルの非負結合でよく近似できるような適当な基底系を構成する理論である。
言い換えると、非負値行列分解は、すべての観測データ(J個のK次元非負値ベクトル)
In other words, non-negative matrix decomposition is performed on all observed data (J K-dimensional non-negative vectors).
すなわち、J個のK次元非負値ベクトルを並べた非負値行列X=(xk,j)K×J=(x1,x2,・・・xJ)、I個のK次元非負値基底ベクトルを並べた基底行列W=(wk,i)K×I=(w1,w2,・・・wI)、非負結合の係数を要素とした重み行列H=(hi,j)I×Jとした場合、
ここで、これらの近さの尺度を、フロベニウス(Frobenius)ノルム
WTをWの転置行列とすると、フロベニウスノルムで定義された式5に示すF(X,WH)を小さくする更新式は、それぞれ
いずれの更新式も、基底行列Wと重み行列Hの初期値が非負値行列であれば必ず非負値行列に更新されることが保証されている点に特徴があり、目的関数の定義によって異なる更新式が導入されるため、当然のことながら目的関数の定義によって異なる値に収束する。
したがって、基底行列Wおよび重み行列Hの行列同士の近さをフロベニウスノルムで測った場合で最適解を得ることは、目的関数を式5に示したフロベニウスノルムとして定義し、尤度関数を次式に示すガウス(Gauss)分布と仮定して最尤推定していることに相当する。
Therefore, to obtain an optimal solution when the proximity of the base matrix W and the weight matrix H is measured by the Frobenius norm, the objective function is defined as the Frobenius norm shown in
また、基底行列Wおよび重み行列Hの行列同士の近さをIダイバージェンスで測った場合で最適解を得ることは、目的関数を式6に示したIダイバージェンスとして定義し、尤度関数を次式に示すポアソン(Poisson)分布と仮定して最尤推定していることに相当する。
すなわち、観測データが実際にどのような統計分布に従って生成されたかに従って、式5に示したフロベニウスノルムあるいは式6に示したIダイバージェンスとしての目的関数のうち、最小にするべき目的関数がいずれであるかが決まるわけである。
しかしながら、一般に、観測データがどのような統計分布に従って生成されたかを事前に知ることはできず、かつ、必ずしもガウス分布やポアソン分布に理想的に従っているとは限らない。このため、従来、状況に応じてどちらかの目的関数を採用することが好ましいかを経験的に選択していた。
However, in general, it is not possible to know in advance what kind of statistical distribution the observation data is generated in, and it does not always follow ideally the Gaussian distribution or the Poisson distribution. For this reason, conventionally, it has been empirically selected which one of the objective functions is preferably adopted depending on the situation.
しかしながら、後で詳細に説明するが、図3に示す分布図からわかるように、ポアソン分布の尤度関数の場合、尤度関数の分布の裾は、観測値xが大きいほど広くなる。このため、観測値x(観測行列の要素の値)が小さいほど、NMFモデル(基底行列Wと重み行列Hの積をとった行列)の要素値と観測値xとのずれに対して感度が鋭くなるようなコスト(尤度関数)を設けていることに相当する。一方、図4に示す分布図からわかるように、ガウス分布の尤度関数の場合、尤度関数の分布の裾は、観測値xの大小にかかわらず一定であるため、観測値xが大きいほど、NMFモデルの要素値と観測値xとのずれに対して感度が鋭くなるようなコストを設けていることに相当する。 However, as will be described later in detail, as can be seen from the distribution diagram shown in FIG. 3, in the case of the Poisson distribution likelihood function, the tail of the distribution of the likelihood function becomes wider as the observation value x is larger. For this reason, the smaller the observation value x (value of the element of the observation matrix), the more sensitive the deviation between the element value of the NMF model (matrix obtained by multiplying the base matrix W and the weight matrix H) and the observation value x is. This corresponds to providing a sharp cost (likelihood function). On the other hand, as can be seen from the distribution chart shown in FIG. 4, in the case of the likelihood function of the Gaussian distribution, the tail of the distribution of the likelihood function is constant regardless of the magnitude of the observed value x. This corresponds to providing a cost that makes the sensitivity sharp with respect to the deviation between the element value of the NMF model and the observed value x.
つまり、尤度関数をポアソン分布と仮定すると、小さな観測値xの微妙な誤差に影響を受けてNMFモデルのパラメータの推定精度が低下しやすくなる。逆に、尤度関数をガウス分布と仮定すると、観測値xに含まれる外れ値や飛び値の影響を受けて、NMFモデルのパラメータの推定精度が低下しやすくなる。
また、音響信号のスペクトログラムのようなスパースなデータ(鋭いピーク成分がまばらにあり、それ以外は極端に小さい成分からなるデータ)に関しては、上記のいずれの影響も陽に受けることになる。したがって、尤度関数としてポアソン分布と仮定した場合は、小さい成分の影響を大きく受け、尤度関数としてガウス分布と仮定した場合は、鋭いピーク成分(外れ値や飛び値)の影響を大きく受けることになる。このため、どちらの尤度関数と仮定したとしても、NMFモデルのパラメータの推定精度が低下してしまうという問題がある。
That is, if the likelihood function is assumed to be Poisson distribution, the estimation accuracy of the parameters of the NMF model is likely to be deteriorated due to a subtle error of the small observation value x. On the other hand, assuming that the likelihood function is a Gaussian distribution, the estimation accuracy of the parameters of the NMF model is likely to decrease due to the influence of outliers and jump values included in the observed value x.
In addition, regarding sparse data such as a spectrogram of an acoustic signal (data having sharp peak components sparsely and otherwise consisting of extremely small components), any of the above effects is positively affected. Therefore, when assuming a Poisson distribution as a likelihood function, it is greatly affected by small components, and when assuming a Gaussian distribution as a likelihood function, it is greatly affected by sharp peak components (outliers and jump values). become. For this reason, whichever likelihood function is assumed, there is a problem that the estimation accuracy of the parameters of the NMF model is lowered.
本発明は、このような事情を考慮し、上記の問題を解決すべくなされたものであって、その目的は、ポアソン分布とガウス分布の混合分布により定義される関数を尤度関数とし、観測データに応じてNMFパラメータだけでなく、観測データの統計分布の分布形も適応的に推定するための非負値行列分解の数値計算方法、非負値行列分解の数値計算装置、プログラムおよび記憶媒体を提供することにある。 The present invention has been made in consideration of such circumstances, and has been made to solve the above problem. The object of the present invention is to use a function defined by a mixture distribution of Poisson distribution and Gaussian distribution as a likelihood function, and to observe it. Provided are a non-negative matrix decomposition numerical calculation method, a non-negative matrix decomposition numerical calculation device, a program, and a storage medium for adaptively estimating not only the NMF parameters but also the distribution of the statistical distribution of observation data according to the data There is to do.
上記問題を解決するために、本発明は、非負値データを格納した非負値ベクトルが並べられた観測データに基づき、この観測データに応じた非負値行列分解モデルのパラメータを計算する非負値行列分解の数値計算方法において、初期パラメータ生成部が、前記非負値行列分解モデルのパラメータである、基底行列、重み行列、ガウス分布とポアソン分布の混合比率をあらわす分布混合比、およびガウス分布の分散のそれぞれの初期値を生成し、前記ガウス分布率行列生成部が、前記初期パラメータ生成部から入力された前記パラメータの初期値、あるいは、パラメータ更新部により更新された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散の値に基づき、前記観測データの各要素がガウス分布およびポアソン分布のうちガウス分布から生成された確率を表したガウス分布率行列を生成し、前記パラメータ更新部の分布混合比更新部が、前記ガウス分布率行列に基づき、前記分布混合比を更新し、前記パラメータ更新部のガウス分布分散更新部が、
前記ガウス分布率行列、前記基底行列、前記重み行列、および前記観測データに基づき、前記ガウス分布の分散を更新し、前記パラメータ更新部の基底行列更新部が、前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記基底行列を更新し、前記パラメータ更新部の重み行列更新部が、前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記重み行列を更新し、収束判定部は、前記パラメータ更新部により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしているか否かを判定し、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていない場合、前記ガウス分布率行列生成部に前記ガウス分布率行列の生成を指示する信号を出力し、この生成された前記ガウス分布率行列に基づき前記パラメータ更新部により更新されたパラメータの更新を再度判定し、分解行列出力部は、前記収束判定部により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていると判定された場合、更新された前記基底行列および前記重み行列を出力することを特徴とする非負値行列分解の数値計算方法である。
In order to solve the above problem, the present invention is based on non-negative matrix decomposition that calculates parameters of a non-negative matrix decomposition model according to observation data based on observation data in which non-negative vectors storing non-negative data are arranged. In the numerical calculation method, the initial parameter generation unit is a parameter of the non-negative matrix decomposition model, each of a basis matrix, a weight matrix, a distribution mixture ratio representing a mixture ratio of a Gaussian distribution and a Poisson distribution, and a variance of a Gaussian distribution. The initial value of the parameter input from the initial parameter generation unit, or the base matrix updated by the parameter update unit, the weight matrix, and the distribution Based on the mixing ratio and the value of the variance of the Gaussian distribution, each element of the observation data is Gaussian and Poisson A Gaussian distribution rate matrix representing the probability generated from the Gaussian distribution of the cloth is generated, and the distribution mixture ratio update unit of the parameter update unit updates the distribution mixture ratio based on the Gaussian distribution rate matrix, The Gaussian distribution update part of the parameter update part
The variance of the Gaussian distribution is updated based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, and the observation data, and the basis matrix update unit of the parameter update unit includes the Gaussian distribution rate matrix, the basis matrix , Updating the basis matrix based on the variance of the weight matrix, the observation data, and the Gaussian distribution, and a weight matrix update unit of the parameter update unit includes the Gaussian distribution rate matrix, the basis matrix, the weight matrix, The weighting matrix is updated based on the observation data and the variance of the Gaussian distribution, and the convergence determination unit is configured to update the basis matrix, the weighting matrix, the distribution mixture ratio, and the Gaussian distribution updated by the parameter updating unit. It is determined whether each variance satisfies a predetermined criterion, and the updated base matrix, weight matrix, distribution mixture ratio, and distribution ratio are determined. And when the variance of the Gaussian distribution does not satisfy a predetermined criterion, the Gaussian distribution rate matrix generation unit outputs a signal instructing generation of the Gaussian distribution rate matrix, and the generated Gaussian distribution rate matrix Re-determining the update of the parameter updated by the parameter update unit based on the base matrix, the weight matrix, the distribution mixture ratio and the variance of the Gaussian distribution updated by the convergence determination unit Is a numerical calculation method for non-negative matrix decomposition, wherein the updated base matrix and weight matrix are output when it is determined that each satisfies a predetermined criterion.
また、本発明にかかる収束判定部は、前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、前記ポアソン分布とガウス分布の混合分布により定義された目的関数を最大化する所定の基準を満たしているか否かを判断することを特徴とする非負値行列分解の数値計算方法である。 In addition, the convergence determination unit according to the present invention maximizes an objective function in which the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution are defined by the Poisson distribution and the Gaussian distribution mixture. It is a numerical calculation method of non-negative matrix decomposition characterized by determining whether or not a predetermined criterion is satisfied.
また、本発明は、非負値データを格納した非負値ベクトルが並べられた観測データに基づき、この観測データに応じた非負値行列分解モデルのパラメータを計算する非負値行列分解の数値計算装置において、前記非負値行列分解モデルのパラメータである、基底行列、重み行列、ガウス分布とポアソン分布の混合比率をあらわす分布混合比、およびガウス分布の分散のそれぞれの初期値を生成する初期パラメータ生成部と、前記初期パラメータ生成部から入力された前記パラメータの初期値、あるいは、パラメータ更新部により更新された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散に基づき、前記観測データの各要素がガウス分布およびポアソン分布のうちガウス分布から生成された確率を表したガウス分布率行列を生成するガウス分布率行列生成部と、前記ガウス分布率行列生成部から入力された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散を、それぞれ更新する基底行列更新部、重み行列更新部、分布混合比更新部、およびガウス分布分散更新部を有するパラメータ更新部と、前記パラメータ更新部により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしているか否かを判定し、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていない場合、前記ガウス分布率行列生成部に前記ガウス分布率行列の生成を指示する信号を出力し、この生成された前記ガウス分布率行列に基づき前記パラメータ更新部により更新されたパラメータの更新を再度判定する収束判定部と、前記収束判定部により、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていると判定された場合、前記基底行列および前記重み行列を出力する分解行列出力部とを備え、前記パラメータ更新部は、前記ガウス分布率行列に基づき、前記分布混合比を更新する分布混合比更新部と、前記ガウス分布率行列、前記基底行列、前記重み行列、および前記観測データに基づき、前記ガウス分布の分散を更新するガウス分布分散更新部と、前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記基底行列を更新する基底行列更新部と、前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記重み行列を更新する重み行列更新部を有することを特徴とする非負値行列分解の数値計算装置である。 Further, the present invention provides a non-negative matrix decomposition numerical calculation device for calculating a parameter of a non-negative matrix decomposition model according to observation data based on observation data in which non-negative vectors storing non-negative data are arranged. An initial parameter generation unit for generating respective initial values of a basis matrix, a weight matrix, a distribution mixture ratio representing a mixture ratio of a Gaussian distribution and a Poisson distribution, and a variance of a Gaussian distribution, which are parameters of the non-negative matrix decomposition model; Based on the initial value of the parameter input from the initial parameter generation unit, or the basis matrix updated by the parameter update unit, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution, Gaussian component that represents the probability that each element is generated from Gaussian or Poisson distribution A Gaussian distribution rate matrix generation unit for generating a rate matrix, and a basis matrix for updating the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution input from the Gaussian distribution rate matrix generation unit, respectively A parameter updating unit having an updating unit, a weight matrix updating unit, a distribution mixture ratio updating unit, and a Gaussian distribution dispersion updating unit; the basis matrix updated by the parameter updating unit; the weight matrix; the distribution mixture ratio and the Gaussian It is determined whether the variance of the distribution satisfies a predetermined criterion, and the updated base matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution each satisfy a predetermined criterion. If not, the Gaussian distribution rate matrix generation unit outputs a signal instructing generation of the Gaussian distribution rate matrix, and the generated Gaussian distribution A convergence determination unit that re-determines update of the parameter updated by the parameter update unit based on the matrix, and the updated determination of the basis matrix, the weight matrix, the distribution mixture ratio, and the Gaussian distribution by the convergence determination unit. And a decomposition matrix output unit that outputs the basis matrix and the weight matrix when the variances are determined to satisfy predetermined criteria, respectively, and the parameter update unit is based on the Gaussian distribution rate matrix, A distribution mixture ratio update unit that updates a distribution mixture ratio; a Gaussian distribution dispersion update unit that updates a variance of the Gaussian distribution based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, and the observation data; and Update the basis matrix based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the variance of the Gaussian distribution And a weight matrix update unit that updates the weight matrix based on a variance of the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the Gaussian distribution. This is a numerical calculation device for non-negative matrix decomposition.
また、本発明にかかる収束判定部は、前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、前記ポアソン分布とガウス分布の混合分布により定義された目的関数を最大化する所定の基準を満たしているか否かを判断することを特徴とする非負値行列分解の数値計算装置である。 In addition, the convergence determination unit according to the present invention maximizes an objective function in which the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution are defined by the Poisson distribution and the Gaussian distribution mixture. It is a non-negative matrix decomposition numerical calculation apparatus characterized by determining whether or not a predetermined criterion is satisfied.
また、本発明は、非負値データを格納した非負値ベクトルが並べられた観測データに基づき、この観測データに応じた非負値行列分解モデルのパラメータを計算するコンピュータに、前記非負値行列分解モデルのパラメータである、基底行列、重み行列、ガウス分布とポアソン分布の混合比率をあらわす分布混合比、およびガウス分布の分散のそれぞれの初期値を生成する初期パラメータ生成手段と、前記初期パラメータ生成手段から入力された前記パラメータの初期値、あるいは、更新手段により更新された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散に基づき、前記観測データの各要素がガウス分布およびポアソン分布のうちガウス分布から生成された確率を表したガウス分布率行列を生成するガウス分布率行列生成手段と、前記ガウス分布率行列に基づき、前記分布混合比を更新する更新手段と、前記ガウス分布率行列、前記基底行列、前記重み行列、および前記観測データに基づき、前記ガウス分布の分散を更新する更新手段と、前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記基底行列を更新するガウス分布分散更新手段と、前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記重み行列を更新する基底行列更新手段と、前記更新手段により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしているか否かの前記パラメータの更新を判定し、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていない場合、前記ガウス分布率行列生成手段に前記ガウス分布率行列の生成を指示する信号を出力し、この生成された前記ガウス分布率行列に基づき前記更新手段により更新された前記パラメータの更新を再度判定する収束判定手段と、前記収束判定手段により、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていると判定された場合、前記基底行列および前記重み行列を出力する分解行列出力手段と、を実行させるためのプログラムである。 Further, the present invention provides a computer for calculating parameters of a non-negative matrix decomposition model corresponding to the observation data based on observation data in which non-negative vectors storing non-negative data are arranged, to the non-negative matrix decomposition model. Initial parameters generating means for generating initial values of parameters, ie, a base matrix, a weight matrix, a distribution mixture ratio representing a mixing ratio of Gaussian distribution and Poisson distribution, and a variance of Gaussian distribution, and input from the initial parameter generating means Each element of the observation data is Gaussian distribution and Poisson distribution on the basis of the initial value of the parameter, or the basis matrix updated by the updating means, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution A Gaussian component that generates a Gaussian distribution matrix representing the probability generated from the Gaussian distribution Based on the Gaussian distribution rate matrix, the updating unit for updating the distribution mixture ratio based on the Gaussian distribution rate matrix, the Gaussian distribution rate matrix, the basis matrix, the weight matrix, and the observation data, Updating means for updating the variance, Gaussian distribution variance updating means for updating the basis matrix based on the variance of the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the Gaussian distribution, and the Gaussian A basis matrix updating means for updating the weight matrix based on a distribution rate matrix, the basis matrix, the weight matrix, the observation data, and a variance of the Gaussian distribution; the basis matrix updated by the updating means; and the weight It is determined whether the parameter, whether the matrix, the distribution mixture ratio, and the variance of the Gaussian distribution satisfy predetermined criteria, is updated. If the updated base matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution do not satisfy predetermined criteria, the Gaussian distribution rate matrix generation means sends the Gaussian distribution rate matrix A signal for instructing generation is output, and a convergence determination unit for re-determining an update of the parameter updated by the update unit based on the generated Gaussian distribution rate matrix, and the updated by the convergence determination unit Decomposition matrix output means for outputting the basis matrix and the weight matrix when it is determined that the basis matrix, the weight matrix, the distribution mixture ratio and the variance of the Gaussian distribution satisfy predetermined criteria, respectively. Is a program for executing
また、本発明は、非負値データを格納した非負値ベクトルが並べられた観測データに基づき、この観測データに応じた非負値行列分解モデルのパラメータを計算するコンピュータに、前記非負値行列分解モデルのパラメータである、基底行列、重み行列、ガウス分布とポアソン分布の混合比率をあらわす分布混合比、およびガウス分布の分散のそれぞれの初期値を生成する初期パラメータ生成手段と、前記初期パラメータ生成手段から入力された前記パラメータの初期値、あるいは、更新手段により更新された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散に基づき、前記観測データの各要素がガウス分布およびポアソン分布のうちガウス分布から生成された確率を表したガウス分布率行列を生成するガウス分布率行列生成手段と、前記ガウス分布率行列に基づき、前記分布混合比を更新する更新手段と、前記ガウス分布率行列、前記基底行列、前記重み行列、および前記観測データに基づき、前記ガウス分布の分散を更新する更新手段と、前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記基底行列を更新する更新手段と、前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記重み行列を更新する更新手段と、前記更新手段により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしているか否かの前記パラメータの更新を判定し、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていない場合、前記ガウス分布率行列生成手段に前記ガウス分布率行列の生成を指示する信号を出力し、この生成された前記ガウス分布率行列に基づき前記更新手段により更新された前記パラメータの更新を再度判定する収束判定手段と、前記収束判定手段により、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていると判定された場合、前記基底行列および前記重み行列を出力する分解行列出力手段とを実行させるためのプログラムを記憶した記憶媒体である。 Further, the present invention provides a computer for calculating parameters of a non-negative matrix decomposition model corresponding to the observation data based on observation data in which non-negative vectors storing non-negative data are arranged, to the non-negative matrix decomposition model. Initial parameters generating means for generating initial values of parameters, ie, a base matrix, a weight matrix, a distribution mixture ratio representing a mixing ratio of Gaussian distribution and Poisson distribution, and a variance of Gaussian distribution, and input from the initial parameter generating means Each element of the observation data is Gaussian distribution and Poisson distribution on the basis of the initial value of the parameter, or the basis matrix updated by the updating means, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution A Gaussian component that generates a Gaussian distribution matrix representing the probability generated from the Gaussian distribution Based on the Gaussian distribution rate matrix, the updating unit for updating the distribution mixture ratio based on the Gaussian distribution rate matrix, the Gaussian distribution rate matrix, the basis matrix, the weight matrix, and the observation data, Updating means for updating the variance; updating means for updating the basis matrix based on the variance of the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the Gaussian distribution; and the Gaussian distribution rate matrix , The basis matrix, the weight matrix, the observation data, and update means for updating the weight matrix based on the variance of the Gaussian distribution, the basis matrix updated by the update means, the weight matrix, and the distribution mixture Determining whether the parameter and variance of the Gaussian distribution satisfy predetermined criteria, respectively, and updating the parameter; When the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution do not satisfy predetermined criteria, a signal that instructs the Gaussian distribution rate matrix generation unit to generate the Gaussian distribution rate matrix is output. And a convergence determination means for re-determining an update of the parameter updated by the update means based on the generated Gaussian distribution rate matrix, and the basis matrix and the weight matrix updated by the convergence determination means. Storing a program for executing the base matrix and the decomposition matrix output means for outputting the weight matrix when it is determined that the distribution mixture ratio and the variance of the Gaussian distribution satisfy predetermined criteria, respectively. Storage medium.
本発明によれば、観測データが、ポアソン分布ないしガウス分布のいずれかに従っている場合、どちらの分布に従っているかが推定されるため、そのもとで適切なNMFパラメータを推定することができる。
また、本発明によれば、観測データがポアソン分布ないしガウス分布のいずれかに従っていない場合であっても、観測データの実際の統計分布にポアソン分布とガウス分布の混合分布で表現可能な範囲内で柔軟に尤度関数が適応されるため、そのもとで最尤のNMFパラメータを得ることができる。
さらに、本発明によれば、効率的にNMFパラメータを算出可能な乗法更新アルゴリズムを実現することができる。
また、本発明によれば、音響信号のスペクトログラムのようなスパースなデータに対しても、高精度なNMFパラメータを推定することができる。
According to the present invention, when the observation data follows either a Poisson distribution or a Gaussian distribution, it is estimated which distribution is followed, and therefore an appropriate NMF parameter can be estimated based on the estimated distribution.
Further, according to the present invention, even if the observation data does not follow either the Poisson distribution or the Gaussian distribution, the actual statistical distribution of the observation data is within the range that can be expressed by the mixed distribution of the Poisson distribution and the Gaussian distribution. Since the likelihood function is flexibly adapted, the maximum likelihood NMF parameter can be obtained under that.
Furthermore, according to the present invention, it is possible to realize a multiplicative update algorithm that can efficiently calculate NMF parameters.
Further, according to the present invention, it is possible to estimate a highly accurate NMF parameter even for sparse data such as a spectrogram of an acoustic signal.
以下、図面を参照して、本発明の一実施形態について説明する。図1は、本発明の実施の形態の構成を示すブロック図であり、図2は、その動作を説明するフローチャートである。
図1に示すとおり、本実施の形態の非負値行列分解の計算装置は、初期パラメータ生成部1、ガウス分布率行列生成部2、パラメータ更新部3、収束判定部4および分解行列出力部5を有する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention, and FIG. 2 is a flowchart for explaining the operation thereof.
As shown in FIG. 1, the non-negative matrix decomposition calculation apparatus according to the present embodiment includes an initial
初期パラメータ生成部1は、非負値行列分解(NMF)モデルのパラメータである基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2の初期値を生成し、ガウス分布率行列生成部2に出力する。例えば、初期パラメータ生成部1は、観測データxに基づき、所定の値が設定されたパラメータの初期値を記憶し、また、設定変更・修正が可能な構成を有する。
ただし、基底行列Wと重み行列Hは、それぞれK×I行列、I×J行列である。なお、ここで言うK,Jは、観測データ行列Xの行数および列数であり、Iは、基底ベクトルが備える非負値基底ベクトルの個数であって予め定められている任意の定数である。
それぞれの初期値の選択可能な範囲は、基底行列W=(wk,i)K×Iに関しては、すべてのkとiに対しての範囲として、
なお、基底行列W=(wk,i)K×Iは、K×I行列で(k,i)成分がwk,iである行列(w1,w2,・・・wI)を表す。また、分布混合比λは、ガウス分布とポアソン分布の混合比率を表す。
The initial
However, the base matrix W and the weight matrix H are a K × I matrix and an I × J matrix, respectively. Here, K and J are the number of rows and the number of columns of the observation data matrix X, and I is the number of non-negative basis vectors included in the basis vector, and is a predetermined arbitrary constant.
The selectable range of each initial value is the range for all k and i with respect to the base matrix W = (w k , i ) K × I ,
Note that the base matrix W = (w k , i ) K × I is a matrix (w 1 , w 2 ,... W I ) in which the (k, i) component is w k , i in the K × I matrix. To express. The distribution mixture ratio λ represents the mixing ratio of the Gaussian distribution and the Poisson distribution.
ガウス分布率行列生成部2は、入力信号として入力された観測データ行列Xに基づき、初期パラメータ生成部1から入力された、あるいはパラメータ更新部3から読み出した基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2を用いて、次式に基づきk,jすべてについてガウス分布率γk,iを算出する。
ガウス分布率行列生成部2は、上述の式17を利用して計算されたガウス分布率γk,jを要素とした、次式に示すガウス分布率行列Γを生成し、パラメータ更新部3に出力する。
また、ガウス分布率行列生成部2は、入力された観測データ行列X、および初期パラメータ生成部1あるいは分解行列出力部5から入力された基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2を、パラメータ更新部3に出力する。
The Gaussian distribution rate
The Gaussian distribution rate
In addition, the Gaussian distribution rate
パラメータ更新部3は、分布混合比更新部31、ガウス分布分散更新部32、基底行列更新部33、重み行列更新部34を含み、これらにより更新された基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2を収束判定部4に出力する。
The parameter update unit 3 includes a distribution mixture
分布混合比更新部31は、ガウス分布率行列生成部2から入力されたガウス分布率行列Γの要素であるガウス分布率γk,jをガウス分布率γ´k,jとし、これを用いて次式に基づき分布混合比λを更新する。
ガウス分布分散更新部32は、ガウス分布率行列生成部2から入力されたガウス分布の分散σ2を次式に基づき更新する。つまり、ガウス分布分散更新部32は、ガウス分布率行列生成部2から入力された基底行列W、重み行列H、ガウス分布率γk,jを、それぞれ基底行列W´、重み行列H´、ガウス分布率γ´k,jとし、これらと観測データ行列X=(xk,j)K×Jを用いて、次式に基づきガウス分布の分散σ2を更新する。
基底行列更新部33は、ガウス分布率行列生成部2から入力された基底行列W、重み行列H、ガウス分布行列Γ、およびガウス分布の分散σ2を、それぞれ基底行列W´、重み行列H´、ガウス分布行列Γ´、ガウス分布の分散σ´2とし、これらと観測データ行列X=(xk,j)K×Jを用いて、次式に基づき基底行列Wを更新する。
基底行列更新部33は、更新した基底行列Wを収束判定部4に出力する。
The base
The base
重み行列更新部34は、ガウス分布率行列生成部2から入力された基底行列W、重み行列H、ガウス分布行列Γ、およびガウス分布の分散σ2を、それぞれ基底行列W´、重み行列H´、ガウス分布行列Γ´、ガウス分布の分散σ´2とし、これらと観測データ行列X=(xk,j)K×Jを用いて、次式に基づき重み行列Hを更新する。
収束判定部4は、パラメータ更新部3により入力された基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2が、それぞれ所定の基準を満たしているか否かのパラメータの更新を判定する。収束判定部4は、基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2が、それぞれ所定の基準を満たしていない場合、ガウス分布率行列生成部2にガウス分布率行列の生成を指示する信号を出力し、それぞれのパラメータが所定の基準を満たすまで、この生成されたガウス分布率行列Γに基づきパラメータ更新部3により更新されたパラメータの更新の判定を繰り返す。
本実施の形態において、収束判定部4は、パラメータ更新部3により、基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2が、下に示す式26のポアソン分布とガウス分布の混合分布により定義された目的関数を最大化するよう更新され、この目的関数の値の変化率が所定値以下となったか否かを判定する。
In the present embodiment, the
なお、収束判定部4は、上述の判定方法に限られず、例えば、パラメータの更新計算を反復して行った回数が、所定の回数に達したか否かを検出し、所定に回数に達した場合、分解行列出力部5に指示の信号を出力する構成であってもよい。また、収束判定部4は、パラメータの反復更新計算において、それぞれのパラメータの更新の変化率が所定の値以下であるか否かを検出し、変化率が所定値以下になった場合、分解行列出力部5に指示の信号を出力する構成であってもよい。
The
分解行列出力部5は、収束判定部4から出力の指示信号を受けて、更新された最新の基底行列Wおよび重み行列Hを出力する。
The decomposition
この構成により、本発明は、ポアソン分布とガウス分布の混合分布により定義される尤度関数を、観測データxに応じて、NMFパラメータだけでなく、観測データxの統計分布の分布形も適応的に推定することができる。
つまり、観測データxがポアソン分布ないしガウス分布のいずれかに従っている場合、どちらの分布に従っているか収束判定部4により判定されるまで、パラメータ更新部3による更新が繰り返される。このため、観測データxがどちらの分布に従っているかが推定され、同時にそのもとで適切なNMFパラメータが推定される。
一方、観測データxがポアソン分布ないしガウス分布のいずれかに従っていない場合であっても、観測データxの実際の統計分布にポアソン分布とガウス分布の混合分布で表現可能な範囲内で柔軟に尤度関数が適応されるため、そのもとで最尤のNMFパラメータを得ることができる。
したがって、本発明は、観測データxが、いずれの統計分布の分布形に従っているか不明な場合であっても、観測データxに応じた最尤のNMFパラメータを得ることができる。
With this configuration, the present invention adapts the likelihood function defined by the mixed distribution of Poisson distribution and Gaussian distribution not only according to the observation data x, but also in the distribution form of the statistical distribution of the observation data x. Can be estimated.
That is, when the observation data x follows either a Poisson distribution or a Gaussian distribution, the update by the parameter update unit 3 is repeated until the
On the other hand, even when the observed data x does not follow either the Poisson distribution or the Gaussian distribution, the actual statistical distribution of the observed data x is flexible within a range that can be expressed by a mixed distribution of Poisson distribution and Gaussian distribution. Since the function is adapted, the most likely NMF parameter can be obtained under it.
Therefore, the present invention can obtain the maximum likelihood NMF parameter corresponding to the observation data x even if it is not clear which of the statistical distributions the observation data x follows.
さらに、本発明によれば、従来経験的に観測データxの統計分布の分布形を判断していたところ、自動的に最適な統計分布に応じた最尤のNMFパラメータを計算することができるため、効率的にNMFパラメータを計算可能な乗法更新アルゴリズムを実現することができる。
また、本発明によれば、音響信号のスペクトログラムのようなスパースなデータに対しても、高精度なNMFパラメータを推定することができる。
Furthermore, according to the present invention, since the distribution form of the statistical distribution of the observation data x is conventionally determined empirically, the maximum likelihood NMF parameter corresponding to the optimal statistical distribution can be automatically calculated. A multiplicative update algorithm that can efficiently calculate the NMF parameters can be realized.
Further, according to the present invention, it is possible to estimate a highly accurate NMF parameter even for sparse data such as a spectrogram of an acoustic signal.
次に、図2を用いて、本発明にかかる非負値行列分解の数値計算方法について説明する。図2は、本実施の形態における非負値行列分解の数値計算方法の一例を示すフローチャートである。 Next, a numerical calculation method for non-negative matrix decomposition according to the present invention will be described with reference to FIG. FIG. 2 is a flowchart showing an example of a numerical calculation method for non-negative matrix decomposition in the present embodiment.
図2に示すとおり、まず、初期パラメータ生成部1により、基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2の初期値が生成される(S1)。生成された基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2の初期値は、ガウス分布率行列生成部2に出力される。
ガウス分布率行列生成部2は、入力された観測データ行列Xに基づき、これら基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2の初期値を用いて、式17によりガウス分布率γk,iを計算し、このガウス分布率γk,iよりガウス分布率行列Γを生成する(S2)。ガウス分布率行列生成部2は、生成したガウス分布率行列Γと、観測データ行列X、基底行列W、重み行列H、分布混合比λおよびガウス分布の分散σ2の初期値を、パラメータ更新部3に出力する。
As shown in FIG. 2, first, the initial
Based on the input observation data matrix X, the Gaussian distribution rate
パラメータ更新部3は、入力された情報に基づき、NMFパラメータの更新を行う。
すなわち、分布混合比更新部31は、ガウス分布率行列生成部2から入力されたガウス分布率行列Γの要素であるガウス分布率γk,jをガウス分布率γ´k,jとし、これを用いて式19に基づき分布混合比λを更新する(S3)。
ガウス分布分散更新部32は、ガウス分布率行列生成部2から入力された基底行列W、重み行列H、ガウス分布率γk,jを、それぞれ基底行列W´、重み行列H´、ガウス分布率γ´k,jとし、これらと観測データ行列X=(xk,j)K×Jを用いて、式20に基づきガウス分布の分散σ2を更新する(S4)。
基底行列更新部33は、ガウス分布率行列生成部2から入力された基底行列W、重み行列H、ガウス分布行列Γ、およびガウス分布の分散σ2を、それぞれ基底行列W´、重み行列H´、ガウス分布行列Γ´、ガウス分布の分散σ´2とし、これらと観測データ行列X=(xk,j)K×Jを用いて、式21に基づき基底行列Wを更新する(S5)。
重み行列更新部34は、ガウス分布率行列生成部2から入力された基底行列W、重み行列H、ガウス分布行列Γ、およびガウス分布の分散σ2を、それぞれ基底行列W´、重み行列H´、ガウス分布行列Γ´、ガウス分布の分散σ´2とし、これらと観測データ行列X=(xk,j)K×Jを用いて、式24に基づき重み行列Hを更新する(S6)。
The parameter update unit 3 updates the NMF parameter based on the input information.
In other words, distributive mixing
The Gaussian distribution
The base
The weight
収束判定部4は、入力された基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2が、それぞれ所定の基準を満たしているか否かを判定する(S7)。
基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2が、それぞれ所定の基準を満たしている場合(S7−YES)、収束判定部4は、更新された最新の基底行列Wおよび重み行列Hを出力する指示の信号を、分解行列出力5に出力する。
分解行列出力部5は、収束判定部4から出力の指示信号を受けて、更新された最新の基底行列Wおよび重み行列Hを出力する(S8)。
The
When the base matrix W, the weight matrix H, the distribution mixture ratio λ, and the variance σ 2 of the Gaussian distribution satisfy predetermined criteria (S7-YES), the
The decomposition
一方、基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2が、それぞれ所定の基準を満たしていない場合(S7−NO)、収束判定部4は、ガウス分布率行列生成部2にガウス分布率行列の生成を指示する信号を出力する。
ステップS2に戻って、指示信号を受けたガウス分布率行列生成部2は、パラメータ更新部3から更新された最新の基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2を読み出し、観測データxに基づきガウス分布率行列Γを生成し、パラメータ更新部3に出力する。パラメータ更新部3は、ガウス分布率行列生成部2から入力されたガウス分布率行列をおよび観測データxに基づき基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2を更新し、収束判定部4に出力する。これら観測データxおよびパラメータ等が入力された収束判定部4は、パラメータの更新の判定を行う。
すなわち、収束判定部4は、それぞれのパラメータが所定の基準を満たすまで、この生成されたガウス分布率行列Γに基づきパラメータ更新部3により更新されたパラメータの更新の判定を繰り返す。
On the other hand, when the basis matrix W, the weight matrix H, the distribution mixture ratio λ, and the variance σ 2 of the Gaussian distribution do not satisfy the predetermined criteria (S7-NO), the
Returning to step
That is, the
なお、パラメータ更新部3によるこれら更新の順番は任意であり、例えば、基底行列Wおよび重み行列Hの更新を先に実行し、その後に分布混合比λ、ガウス分布の分散σ2の更新を実行する構成であってもよく、全ての更新を同時に実行する構成であってもよい。
パラメータ更新部3は、更新された基底行列W、重み行列H、分布混合比λ、ガウス分布の分散σ2を収束判定部4に出力する。
The order of these updates by the parameter update unit 3 is arbitrary. For example, the base matrix W and the weight matrix H are updated first, and then the distribution mixture ratio λ and the Gaussian distribution σ 2 are updated. The structure which performs may be sufficient and the structure which performs all the updates simultaneously may be sufficient.
The parameter update unit 3 outputs the updated base matrix W, weight matrix H, distribution mixture ratio λ, and Gaussian distribution variance σ 2 to the
[観測データに基づく統計分布設定の問題]
ここで、ガウス分布とポアソン分布の尤度関数について説明する。
図3は、ポアソン分布の尤度関数の概形を示す図であり、図4は、ガウス分布の尤度関数の概形を示す図であり、図5は、ポアソン分布とガウス分布の混合分布の概形を示す図である。図3〜5において、凸型の複数の波形a〜oは、それぞれ異なる観測値xの尤度関数を示している。
[Problem of setting statistical distribution based on observation data]
Here, the likelihood function of the Gaussian distribution and the Poisson distribution will be described.
3 is a diagram showing an outline of the likelihood function of the Poisson distribution, FIG. 4 is a diagram showing an outline of the likelihood function of the Gaussian distribution, and FIG. 5 is a mixed distribution of the Poisson distribution and the Gaussian distribution. FIG. 3 to 5, a plurality of convex waveforms a to o indicate likelihood functions of different observation values x.
図3に示すとおり、ポアソン分布の尤度関数である複数の波形a〜eは、波形aの観測データxが最も小さく、アルファベット順に観測データxが大きなり、それぞれ観測データx=1,10,30,60,90であるときのポアソン分布の尤度関数を示す。図3に示すポアソン分布の概形は、横軸に観測データx、縦軸にポアソン分布の尤度関数(式88参照)を規定する。
図3からわかるように、尤度関数がポアソン分布の場合、観測データxが大きいほど尤度関数の分布の裾が広くなる。このため、本実施の形態では、観測データxの値が大きいほど、NMFモデル(基底行列Wと重み行列Hの積をとった行列)[WH]k,jの要素値と観測データxk,jとのずれに対して感度が鈍くなるようなコスト(尤度関数)を設けていることに相当する。
As shown in FIG. 3, the plurality of waveforms a to e which are Poisson distribution likelihood functions have the smallest observed data x of the waveform a and the larger observed data x in alphabetical order, and the observed data x = 1, 10, The likelihood function of Poisson distribution when it is 30, 60, 90 is shown. The Poisson distribution outline shown in FIG. 3 defines the observation data x on the horizontal axis and the likelihood function (see Equation 88) of the Poisson distribution on the vertical axis.
As can be seen from FIG. 3, when the likelihood function is a Poisson distribution, the larger the observation data x, the wider the tail of the likelihood function distribution. Therefore, in the present embodiment, as the value of the observation data x is larger, the element value of the NMF model (matrix obtained by multiplying the base matrix W and the weight matrix H) [WH] k , j and the observation data x k , This corresponds to providing a cost (likelihood function) that makes the sensitivity less sensitive to a deviation from j .
一方、図4に示すとおり、ガウス分布の尤度関数である複数の波形f〜jは、波形fの観測データxが最も小さく、アルファベット順に観測データxが大きくなり、それぞれ観測データx=1,10,30,60,90であるときのガウス分布の尤度関数を示す。図4に示すガウス分布の概形は、横軸に観測値、縦軸にガウス分布の尤度関数(式89参照)を規定する。
図4からわかるように、尤度関数がガウス分布の場合、ポアソン分布の場合とは逆に、尤度関数の分布の裾は観測データxの大きさによらず一定である。このため、本実施の形態では、ポアソン分布のときに比べて観測値xk,jの値が大きいほどNMFモデル[WH]k,jの要素値と観測値xとのずれに対して感度が鋭くなるようなコストを設けていることに相当する。
On the other hand, as shown in FIG. 4, in the plurality of waveforms f to j which are likelihood functions of the Gaussian distribution, the observation data x of the waveform f is the smallest, the observation data x is increased in alphabetical order, and the observation data x = 1, The likelihood function of the Gaussian distribution when 10, 30, 60, 90 is shown. The outline of the Gaussian distribution shown in FIG. 4 defines the observed value on the horizontal axis and the likelihood function (see Equation 89) of the Gaussian distribution on the vertical axis.
As can be seen from FIG. 4, when the likelihood function is a Gaussian distribution, the tail of the distribution of the likelihood function is constant regardless of the size of the observation data x, contrary to the case of the Poisson distribution. For this reason, in the present embodiment, the sensitivity of the difference between the element value of the NMF model [WH] k , j and the observation value x increases as the values of the observation values x k , j increase compared to the Poisson distribution. This is equivalent to providing sharper costs.
したがって、尤度関数がポアソン分布の場合のほうが、小さい観測データxk,jにおける微量な誤差によって、推定結果全体が影響をうけやすく、一方、尤度関数がガウス分布の場合のほうが、観測データxの外れ値や飛び値がある場合の影響を受けやすい。
特に音響信号のスペクトログラムのようにスパースなデータ(鋭いピーク成分がまばらにあり、それ以外は極端に小さい成分からなるデータ)に関しては、上記のいずれの影響も陽に受けることになるため、いずれか一方の尤度関数を仮定した場合、必然的に仮定した尤度関数の影響を受けることとなってしまう。
Therefore, when the likelihood function is a Poisson distribution, the entire estimation result is more easily affected by a small error in the small observation data x k , j , while the observation data is more likely when the likelihood function is a Gaussian distribution. It is easily affected by outliers and jump values of x.
Especially for sparse data such as spectrograms of acoustic signals (data consisting of sparsely sharp peak components and otherwise extremely small components), any of the above effects will be positively affected. When one likelihood function is assumed, it is inevitably influenced by the assumed likelihood function.
つまり、NMFの性能を向上させるためには、観測データが従う統計分布により即した目的関数をもとに、NMFを行うことが望ましい。そのためには、観測データに応じた統計分布を推定しながら、NMFパラメータである基底行列W,重み行列Hを推定する必要がある。
本発明は、ポアソン分布とガウス分布の混合分布により尤度関数を定義し、観測データに応じてNMFパラメータだけでなく、観測データの統計分布の分布形も適応的に推定することができる。よって本発明は、これら統計分布と尤度関数とのバランスを観測データから適応的に調節し、適切な感度のコストを設けることが可能であり、いかなる応用場面でも最適化基準の選択に迫られることなく、統一的に利用可能なNMFの枠組みを確率する可能性を発揮することができる。
That is, in order to improve the performance of NMF, it is desirable to perform NMF based on an objective function that conforms to the statistical distribution followed by the observation data. For this purpose, it is necessary to estimate the base matrix W and the weight matrix H, which are NMF parameters, while estimating the statistical distribution according to the observation data.
In the present invention, a likelihood function is defined by a mixed distribution of Poisson distribution and Gaussian distribution, and not only the NMF parameter but also the distribution form of the statistical distribution of the observation data can be adaptively estimated according to the observation data. Therefore, the present invention can adaptively adjust the balance between the statistical distribution and the likelihood function from the observation data, and can set an appropriate sensitivity cost, and is required to select an optimization criterion in any application situation. The possibility of probing an NMF framework that can be used in a unified manner can be exhibited.
[ハイブリッド尤度関数の定義]
次に、図5を参照して、ポアソン分布とガウス分布の混合分布について説明する。
図5に示すポアソン分布とガウス分布の混合分布は、
この式27の混合分布の尤度関数は、式5に示すフロベニウスノルムおよび式6に示すIダイバージェンスで定義される目的関数の両特性を含むハイブリッド尤度関数である。
ただし、ガウス分布とポアソン分布の分布混合比λは、0≦λ≦1である。すなわち、分布混合比λが大きいほど、混合分布はガウス分布に近似し、分布混合比λが小さいほど、混合分布はポアソン分布に近似する。
[Definition of hybrid likelihood function]
Next, a mixed distribution of Poisson distribution and Gaussian distribution will be described with reference to FIG.
The mixed distribution of Poisson distribution and Gaussian distribution shown in FIG.
The likelihood function of the mixed distribution of Expression 27 is a hybrid likelihood function including both characteristics of the Frobenius norm shown in
However, the distribution mixture ratio λ of the Gaussian distribution and the Poisson distribution is 0 ≦ λ ≦ 1. That is, the larger the distribution mixture ratio λ is, the closer the mixture distribution is to a Gaussian distribution, and the smaller the distribution mixture ratio λ is, the closer the mixture distribution is to a Poisson distribution.
したがって、対数尤度関数Lは、
なお、本実施の形態において、パラメータ更新部3は、上述の対数尤度関数Lを目的関数として、この目的関数を最大化するように各パラメータを更新し、収束判定部4は、この目的関数の値の変化率が所定値以下となったか否かを判定している。
Therefore, the log likelihood function L is
In the present embodiment, the parameter update unit 3 updates each parameter so as to maximize the objective function using the log likelihood function L described above as an objective function, and the
[NMFパラメータと分布パラメータの最尤推定]
次に、本実施の形態における乗法更新アルゴリズムを導くための、最適な補助関数の計算について説明する。
まず、対数関数の凸性に基づき、
Next, calculation of an optimal auxiliary function for deriving the multiplicative update algorithm in the present embodiment will be described.
First, based on the convexity of the logarithmic function,
そこで、上述の不等式(式32,36,39)において、いずれも
だたし、3階のテンソルMは
However, the tensor M on the 3rd floor is
以上より、次のような不等式が成り立つ。
このように、式41,44に基づき算出された関数G(W,H,λ,σ2,Γ,M)は、対数尤度関数L(W,H,λ,σ2)を効率的に局所最大化するための補助関数であり、式45,46による更新と、基底行列W、重み行列H、分布混合比λ、およびガウス分布の分散σ2の更新を繰り返すことで、対数尤度関数L(W,H,λ,σ2)を単調増加させることができる。
本実施の形態においては、上述の理論に基づき、ガウス分布率行列生成部2によるガウス分布率行列Γの更新、およびパラメータ更新部3による基底行列W、重み行列H、分布混合比λ、およびガウス分布の分散σ2の更新を繰り返すことで、本発明にかかる非負値行列分解の数値計算装置は、対数尤度関数Lを単調増加させている。
As described above, the function G (W, H, λ, σ 2 , Γ, M) calculated based on the equations 41 and 44 efficiently converts the log likelihood function L (W, H, λ, σ 2 ). A logarithmic likelihood function that is an auxiliary function for local maximization, and is repeated by updating the formulas 45 and 46 and updating the base matrix W, the weight matrix H, the distribution mixture ratio λ, and the variance σ 2 of the Gaussian distribution. L (W, H, λ, σ 2 ) can be monotonously increased.
In the present embodiment, based on the above theory, the Gaussian distribution rate
[乗法更新式の導入]
式41により算出された補助関数Gに基づき算出される各パラメータの更新式について説明する。
まず、ガウス分布率行列Γ=Γ´という条件のもとで、補助関数G(W,H,λ,σ2,Γ,M)が最大となる分布混合比λを求める。
なお、ガウス分布率γk,iの式45より
An update formula for each parameter calculated based on the auxiliary function G calculated by Formula 41 will be described.
First, the distribution mixture ratio λ that maximizes the auxiliary function G (W, H, λ, σ 2 , Γ, M) is obtained under the condition that the Gaussian distribution rate matrix Γ = Γ ′.
From Gaussian distribution rate γ k , i (Equation 45)
次に、次式に基づき、基底行列W=W´、重み行列H=H´、ガウス分布率行列Γ=Γ´、3階のテンソルM=M´という条件のもとで、補助関数G(W,H,λ,σ2,Γ,M)が最大となるガウス分布の分散σ2を求める。
次に、次式に基づき、重み行列H=H´、ガウス分布率行列Γ=Γ´、3階のテンソルM=M´、ガウス分布の分散σ2=σ´2という条件のもとで、補助関数G(W,H,λ,σ2,Γ,M)が最大となる基底行列Wを求める。
この式56の両辺に、
ただし、
以上により、基底行列Wの更新式は、
On both sides of Equation 56,
However,
From the above, the update formula of the basis matrix W is
次に、次式に基づき、基底行列W=W´、ガウス分布率行列Γ=Γ´、3階のテンソルM=M´、ガウス分布の分散σ2=σ´2という条件のもとで、補助関数G(W,H,λ,σ2,Γ,M)が最大となる重み行列Hを求める。
この式66の両辺に、
On both sides of Equation 66,
ここで、
以上により、重み行列Hの更新式は、
本実施の形態において、パラメータ更新部3は、上述のとおり算出された式48,53,64,73に基づき、基底行列W、重み行列H、分布混合比λおよびガウス分布の分散σ2を更新し、ガウス分布率行列生成部2により生成されたガウス分布率行列Γのもとで補助関数Gを最大化させている。つまり、この補助関数Gを最大化させるように更新を繰り返すことによって、収束判定部4は、目的関数Lを効率的に局所最大化させるための基底行列W、重み行列H、分布混合比λおよびガウス分布の分散σ2を得て、パラメータの更新判定を実行することができる。
here,
From the above, the update formula of the weight matrix H is
In the present embodiment, the parameter updating unit 3 updates the base matrix W, the weight matrix H, the distribution mixture ratio λ, and the Gaussian distribution σ 2 based on the equations 48, 53, 64, 73 calculated as described above. The auxiliary function G is maximized under the Gaussian distribution rate matrix Γ generated by the Gaussian distribution rate
[更新式の性質]
ここで、下に示す式74および式75のときの、
式74のとき、ガウス分布率γk,jの式45より
同様に、式75のとき、ガウス分布率行列Γは、
Here, in the case of Expression 74 and Expression 75 shown below,
In the case of Expression 74, from Expression 45 of the Gaussian distribution rate γ k , j
Similarly, in Equation 75, the Gaussian distribution rate matrix Γ is
まず、ガウス分布率行列Γ´=「1(太字)」すなわち、ガウス分布率行列Γ´がすべて1のK×Jの行列であるとき、
一方、
同様にして
したがって、基底行列Wの更新式(式64)および重み行列Hの更新式(式73)は、2種類の乗法更新式を内包するハイブリッドな乗法更新式である。
本発明は、パラメータ更新部3により、このハイブリッドな乗法更新式を用いて基底行列Wおよび重み行列Hを更新している。
このため、本発明は、ポアソン分布とガウス分布の混合分布により尤度関数を定義し、観測データに応じてNMFパラメータだけでなく、観測データの統計分布の分布形も適用的に推定することができる。
Therefore, the update formula (formula 64) of the base matrix W and the update formula (formula 73) of the weight matrix H are hybrid multiplicative update formulas including two types of multiplicative update formulas.
In the present invention, the parameter updating unit 3 updates the base matrix W and the weight matrix H using this hybrid multiplication update formula.
For this reason, the present invention defines a likelihood function by a mixed distribution of Poisson distribution and Gaussian distribution, and can appropriately estimate not only the NMF parameter but also the distribution form of the statistical distribution of the observation data according to the observation data. it can.
なお、上述の図3に示したポアソン分布の尤度関数の概形は、次式に示すポアソン分布の尤度関数の概形である。
ここで、以下上述の数式についての記号の定義について説明する。
非負値行列とは、全成分が非負(0以上)の値で構成される行列である。
次式に示す記号は、「全てのk,iに対して」という意味を表している。
A non-negative matrix is a matrix in which all components are composed of non-negative (0 or more) values.
The symbol shown in the following expression represents the meaning “for all k and i”.
なお、上述の初期パラメータ生成部1、ガウス分布率行列生成部2、パラメータ更新部3、収束判定部4、分解行列出力部5における、図2を用いて説明したそれぞれの動作の過程は、コンピュータに実行させるためのプログラムや、このプログラムとしてコンピュータ読み取り可能な記録媒体として利用可能であり、コンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、ここでいう「コンピュータシステム」とは、CPU及び各種メモリやOS、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
In the above-described initial
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
1 初期パラメータ生成部
2 ガウス分布率行列生成部
3 パラメータ更新部
4 収束判定部
5 分解行列出力部
31 分布混合比更新部
32 ガウス分布分散更新部
33 基底行列更新部
34 重み行列更新部
DESCRIPTION OF
Claims (6)
初期パラメータ生成部が、
前記非負値行列分解モデルのパラメータである、基底行列、重み行列、ガウス分布とポアソン分布の混合比率をあらわす分布混合比、およびガウス分布の分散のそれぞれの初期値を生成し、
前記ガウス分布率行列生成部が、
前記初期パラメータ生成部から入力された前記パラメータの初期値、あるいは、パラメータ更新部により更新された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散の値に基づき、前記観測データの各要素がガウス分布およびポアソン分布のうちガウス分布から生成された確率を表したガウス分布率行列を生成し、
前記パラメータ更新部の分布混合比更新部が、
前記ガウス分布率行列に基づき、前記分布混合比を更新し、
前記パラメータ更新部のガウス分布分散更新部が、
前記ガウス分布率行列、前記基底行列、前記重み行列、および前記観測データに基づき、前記ガウス分布の分散を更新し、
前記パラメータ更新部の基底行列更新部が、
前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記基底行列を更新し、
前記パラメータ更新部の重み行列更新部が、
前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記重み行列を更新し、
収束判定部は、
前記パラメータ更新部により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしているか否かを判定し、
前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていない場合、前記ガウス分布率行列生成部に前記ガウス分布率行列の生成を指示する信号を出力し、この生成された前記ガウス分布率行列に基づき前記パラメータ更新部により更新されたパラメータの更新を再度判定し、
分解行列出力部は、
前記収束判定部により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていると判定された場合、更新された前記基底行列および前記重み行列を出力する
ことを特徴とする非負値行列分解の数値計算方法。 In the non-negative matrix decomposition numerical calculation method for calculating the parameters of the non-negative matrix decomposition model according to the observation data based on the observation data in which non-negative vectors storing non-negative data are arranged,
The initial parameter generator
Generating respective initial values of the base matrix, weight matrix, distribution mixture ratio representing the mixture ratio of Gaussian distribution and Poisson distribution, and variance of Gaussian distribution, which are parameters of the non-negative matrix decomposition model;
The Gaussian distribution rate matrix generation unit,
Based on the initial values of the parameters input from the initial parameter generation unit or the values of the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution updated by the parameter update unit Generate a Gaussian distribution rate matrix that represents the probability that each element of the data was generated from a Gaussian or Poisson distribution,
The distribution mixture ratio update unit of the parameter update unit,
Updating the distribution mixture ratio based on the Gaussian distribution rate matrix;
The Gaussian distribution update unit of the parameter update unit,
Updating the variance of the Gaussian distribution based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, and the observation data;
The base matrix update unit of the parameter update unit,
Updating the basis matrix based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the variance of the Gaussian distribution;
The weight matrix update unit of the parameter update unit,
Updating the weight matrix based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the variance of the Gaussian distribution;
The convergence judgment unit
Determining whether the basis matrix, the weight matrix, the distribution mixture ratio and the variance of the Gaussian distribution updated by the parameter update unit each satisfy a predetermined criterion;
When the updated base matrix, weight matrix, distribution mixture ratio, and variance of the Gaussian distribution do not satisfy predetermined criteria, the Gaussian distribution rate matrix generation unit generates the Gaussian distribution rate matrix. Output a signal to instruct, determine again the update of the parameter updated by the parameter update unit based on the generated Gaussian distribution rate matrix,
The decomposition matrix output section
When it is determined that the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution updated by the convergence determination unit satisfy predetermined criteria, respectively, the updated basis matrix and the A numerical calculation method for non-negative matrix decomposition, wherein a weight matrix is output.
前記非負値行列分解モデルのパラメータである、基底行列、重み行列、ガウス分布とポアソン分布の混合比率をあらわす分布混合比、およびガウス分布の分散のそれぞれの初期値を生成する初期パラメータ生成部と、
前記初期パラメータ生成部から入力された前記パラメータの初期値、あるいは、パラメータ更新部により更新された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散に基づき、前記観測データの各要素がガウス分布およびポアソン分布のうちガウス分布から生成された確率を表したガウス分布率行列を生成するガウス分布率行列生成部と、
前記ガウス分布率行列生成部から入力された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散を、それぞれ更新する基底行列更新部、重み行列更新部、分布混合比更新部、およびガウス分布分散更新部を有するパラメータ更新部と、
前記パラメータ更新部により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしているか否かを判定し、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていない場合、前記ガウス分布率行列生成部に前記ガウス分布率行列の生成を指示する信号を出力し、この生成された前記ガウス分布率行列に基づき前記パラメータ更新部により更新されたパラメータの更新を再度判定する収束判定部と、
前記収束判定部により、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていると判定された場合、前記基底行列および前記重み行列を出力する分解行列出力部とを備え、
前記パラメータ更新部は、
前記ガウス分布率行列に基づき、前記分布混合比を更新する分布混合比更新部と、
前記ガウス分布率行列、前記基底行列、前記重み行列、および前記観測データに基づき、前記ガウス分布の分散を更新するガウス分布分散更新部と、
前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記基底行列を更新する基底行列更新部と、
前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記重み行列を更新する重み行列更新部を有することを特徴とする非負値行列分解の数値計算装置。 In a numerical calculation device for non-negative matrix decomposition that calculates parameters of a non-negative matrix decomposition model according to observation data based on observation data in which non-negative vectors storing non-negative data are arranged,
An initial parameter generation unit for generating respective initial values of a basis matrix, a weight matrix, a distribution mixture ratio representing a mixture ratio of a Gaussian distribution and a Poisson distribution, and a variance of a Gaussian distribution, which are parameters of the non-negative matrix decomposition model;
Based on the initial value of the parameter input from the initial parameter generation unit, or the basis matrix updated by the parameter update unit, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution, A Gaussian distribution rate matrix generation unit for generating a Gaussian distribution rate matrix representing the probability that each element is generated from a Gaussian distribution among Gaussian distribution and Poisson distribution;
Basis matrix update unit, weight matrix update unit, and distribution mixture ratio update unit that update the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution input from the Gaussian distribution rate matrix generation unit, respectively. And a parameter updating unit having a Gaussian distribution updating unit,
It is determined whether the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution updated by the parameter update unit each satisfy a predetermined criterion, and the updated basis matrix, When the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution do not satisfy predetermined criteria, a signal that instructs the Gaussian distribution rate matrix generation unit to generate the Gaussian distribution rate matrix is output. A convergence determination unit that again determines update of the parameter updated by the parameter update unit based on the generated Gaussian distribution rate matrix;
When the convergence determination unit determines that the updated base matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution satisfy predetermined criteria, respectively, the base matrix and the weight A decomposition matrix output unit for outputting a matrix,
The parameter update unit
A distribution mixture ratio update unit for updating the distribution mixture ratio based on the Gaussian distribution rate matrix;
A Gaussian distribution update unit for updating a variance of the Gaussian distribution based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, and the observation data;
A base matrix update unit that updates the base matrix based on the variance of the Gaussian distribution rate matrix, the base matrix, the weight matrix, the observation data, and the Gaussian distribution;
A numerical value of non-negative matrix decomposition, comprising: a weight matrix updating unit that updates the weight matrix based on the variance of the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the Gaussian distribution Computing device.
前記非負値行列分解モデルのパラメータである、基底行列、重み行列、ガウス分布とポアソン分布の混合比率をあらわす分布混合比、およびガウス分布の分散のそれぞれの初期値を生成する初期パラメータ生成手段と、
前記初期パラメータ生成手段から入力された前記パラメータの初期値、あるいは、更新手段により更新された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散に基づき、前記観測データの各要素がガウス分布およびポアソン分布のうちガウス分布から生成された確率を表したガウス分布率行列を生成するガウス分布率行列生成手段と、
前記ガウス分布率行列に基づき、前記分布混合比を更新する更新手段と、
前記ガウス分布率行列、前記基底行列、前記重み行列、および前記観測データに基づき、前記ガウス分布の分散を更新する更新手段と、
前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記基底行列を更新するガウス分布分散更新手段と、
前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記重み行列を更新する基底行列更新手段と、
前記更新手段により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしているか否かの前記パラメータの更新を判定し、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていない場合、前記ガウス分布率行列生成手段に前記ガウス分布率行列の生成を指示する信号を出力し、この生成された前記ガウス分布率行列に基づき前記更新手段により更新された前記パラメータの更新を再度判定する収束判定手段と、
前記収束判定手段により、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていると判定された場合、前記基底行列および前記重み行列を出力する分解行列出力手段と、
を実行させるためのプログラム。 Based on observation data in which non-negative vectors containing non-negative data are arranged, a computer that calculates the parameters of the non-negative matrix decomposition model corresponding to this observation data,
Initial parameter generating means for generating respective initial values of a basis matrix, a weight matrix, a distribution mixture ratio representing a mixture ratio of a Gaussian distribution and a Poisson distribution, and a variance of a Gaussian distribution, which are parameters of the non-negative matrix decomposition model;
Based on the initial value of the parameter input from the initial parameter generation means, or the basis matrix updated by the update means, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution, A Gaussian distribution rate matrix generating means for generating a Gaussian distribution rate matrix representing the probability that an element is generated from a Gaussian distribution among Gaussian distribution and Poisson distribution;
Updating means for updating the distribution mixture ratio based on the Gaussian distribution rate matrix;
Updating means for updating a variance of the Gaussian distribution based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, and the observation data;
Gaussian distribution variance updating means for updating the basis matrix based on the variance of the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the Gaussian distribution;
Basis matrix update means for updating the weight matrix based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the variance of the Gaussian distribution;
The update of the parameter is determined whether or not each of the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution updated by the updating unit satisfies a predetermined criterion, and the updated When the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution do not satisfy predetermined criteria, a signal for instructing the Gaussian distribution rate matrix generation unit to generate the Gaussian distribution rate matrix is provided. A convergence determination unit that outputs and determines again the update of the parameter updated by the update unit based on the generated Gaussian distribution rate matrix;
When the convergence determining means determines that the updated base matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution satisfy predetermined criteria, respectively, the base matrix and the weight Decomposition matrix output means for outputting a matrix;
A program for running
前記非負値行列分解モデルのパラメータである、基底行列、重み行列、ガウス分布とポアソン分布の混合比率をあらわす分布混合比、およびガウス分布の分散のそれぞれの初期値を生成する初期パラメータ生成手段と、
前記初期パラメータ生成手段から入力された前記パラメータの初期値、あるいは、更新手段により更新された前記基底行列、前記重み行列、前記分布混合比、および前記ガウス分布の分散に基づき、前記観測データの各要素がガウス分布およびポアソン分布のうちガウス分布から生成された確率を表したガウス分布率行列を生成するガウス分布率行列生成手段と、
前記ガウス分布率行列に基づき、前記分布混合比を更新する更新手段と、
前記ガウス分布率行列、前記基底行列、前記重み行列、および前記観測データに基づき、前記ガウス分布の分散を更新する更新手段と、
前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記基底行列を更新する更新手段と、
前記ガウス分布率行列、前記基底行列、前記重み行列、前記観測データ、および前記ガウス分布の分散に基づき、前記重み行列を更新する更新手段と、
前記更新手段により更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしているか否かの前記パラメータの更新を判定し、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていない場合、前記ガウス分布率行列生成手段に前記ガウス分布率行列の生成を指示する信号を出力し、この生成された前記ガウス分布率行列に基づき前記更新手段により更新された前記パラメータの更新を再度判定する収束判定手段と、
前記収束判定手段により、前記更新された前記基底行列、前記重み行列、前記分布混合比および前記ガウス分布の分散が、それぞれ所定の基準を満たしていると判定された場合、前記基底行列および前記重み行列を出力する分解行列出力手段とを実行させるためのプログラムを記憶した記憶媒体。 Based on observation data in which non-negative vectors containing non-negative data are arranged, a computer that calculates the parameters of the non-negative matrix decomposition model corresponding to this observation data,
Initial parameter generating means for generating respective initial values of a basis matrix, a weight matrix, a distribution mixture ratio representing a mixture ratio of a Gaussian distribution and a Poisson distribution, and a variance of a Gaussian distribution, which are parameters of the non-negative matrix decomposition model;
Based on the initial value of the parameter input from the initial parameter generation means, or the basis matrix updated by the update means, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution, A Gaussian distribution rate matrix generating means for generating a Gaussian distribution rate matrix representing the probability that an element is generated from a Gaussian distribution among Gaussian distribution and Poisson distribution;
Updating means for updating the distribution mixture ratio based on the Gaussian distribution rate matrix;
Updating means for updating a variance of the Gaussian distribution based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, and the observation data;
Updating means for updating the basis matrix based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the variance of the Gaussian distribution;
Updating means for updating the weight matrix based on the Gaussian distribution rate matrix, the basis matrix, the weight matrix, the observation data, and the variance of the Gaussian distribution;
The update of the parameter is determined whether or not each of the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution updated by the updating unit satisfies a predetermined criterion, and the updated When the basis matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution do not satisfy predetermined criteria, a signal for instructing the Gaussian distribution rate matrix generation unit to generate the Gaussian distribution rate matrix is provided. A convergence determination unit that outputs and determines again the update of the parameter updated by the update unit based on the generated Gaussian distribution rate matrix;
When the convergence determining means determines that the updated base matrix, the weight matrix, the distribution mixture ratio, and the variance of the Gaussian distribution satisfy predetermined criteria, respectively, the base matrix and the weight A storage medium storing a program for executing decomposition matrix output means for outputting a matrix.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008201274A JP5068228B2 (en) | 2008-08-04 | 2008-08-04 | Non-negative matrix decomposition numerical calculation method, non-negative matrix decomposition numerical calculation apparatus, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008201274A JP5068228B2 (en) | 2008-08-04 | 2008-08-04 | Non-negative matrix decomposition numerical calculation method, non-negative matrix decomposition numerical calculation apparatus, program, and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010039723A JP2010039723A (en) | 2010-02-18 |
JP5068228B2 true JP5068228B2 (en) | 2012-11-07 |
Family
ID=42012215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008201274A Expired - Fee Related JP5068228B2 (en) | 2008-08-04 | 2008-08-04 | Non-negative matrix decomposition numerical calculation method, non-negative matrix decomposition numerical calculation apparatus, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5068228B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8731881B2 (en) | 2011-03-18 | 2014-05-20 | Nec Corporation | Multivariate data mixture model estimation device, mixture model estimation method, and mixture model estimation program |
KR102224714B1 (en) * | 2013-12-03 | 2021-03-08 | 삼성전자주식회사 | System and method for searching new material |
JP6351430B2 (en) * | 2014-08-06 | 2018-07-04 | 学校法人電子開発学園 | Calculation processing apparatus, calculation processing method, calculation processing system, and program |
JP7014069B2 (en) * | 2018-07-11 | 2022-02-01 | 日本電信電話株式会社 | Data analyzers, methods, and programs |
JP7440870B2 (en) * | 2021-01-22 | 2024-02-29 | 株式会社島津製作所 | How to analyze data determined by two variables |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7415392B2 (en) * | 2004-03-12 | 2008-08-19 | Mitsubishi Electric Research Laboratories, Inc. | System for separating multiple sound sources from monophonic input with non-negative matrix factor deconvolution |
JP4873483B2 (en) * | 2007-02-28 | 2012-02-08 | 独立行政法人産業技術総合研究所 | Analysis method, analysis program, and analysis apparatus for time series information of signal intensity |
-
2008
- 2008-08-04 JP JP2008201274A patent/JP5068228B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010039723A (en) | 2010-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7315748B2 (en) | Data classifier training method, data classifier training device, program and training method | |
Huang et al. | Functional coefficient regression models for non‐linear time series: a polynomial spline approach | |
JP5068228B2 (en) | Non-negative matrix decomposition numerical calculation method, non-negative matrix decomposition numerical calculation apparatus, program, and storage medium | |
JP2015521748A (en) | How to convert the input signal | |
Bistrian et al. | Processing epidemiological data using dynamic mode decomposition method | |
US20100198897A1 (en) | Deriving a function that represents data points | |
EP2546759A1 (en) | Generation of recommendation values | |
JP2021002322A (en) | Ising machine data input apparatus and method for inputting data in ising machine | |
WO2020177863A1 (en) | Training of algorithms | |
CN115062777A (en) | Method for quantizing convolutional neural network, device, and storage medium | |
JP2019075003A (en) | Approximate calculation device, approximate calculation method, and program | |
JP7349811B2 (en) | Training device, generation device, and graph generation method | |
JP5956359B2 (en) | Parameter estimation method, apparatus, and program | |
JP7047665B2 (en) | Learning equipment, learning methods and learning programs | |
JP7158175B2 (en) | Information processing device, system, information processing method and program | |
CN116472538A (en) | Method and system for quantifying neural networks | |
JP2021089388A (en) | Acoustic analyzer, acoustic analysis method, and acoustic analysis program | |
CN111160487A (en) | Method and device for expanding face image data set | |
JP4313803B2 (en) | Numerical decomposition method in matrix | |
JP4531738B2 (en) | Numerical decomposition method in matrix | |
JP2005242580A (en) | Parameter estimation method, data prediction method, parameter estimation device, data prediction device, and computer program | |
JP5942998B2 (en) | Linear constraint generation apparatus and method, semi-definite definite optimization problem solving apparatus, metric learning apparatus, and computer program | |
WO2019008625A1 (en) | Signal processing device, signal processing method, and storage medium for storing program | |
WO2019077723A1 (en) | Signal processing device, signal processing method, and storage medium for storing program | |
JP2009277100A (en) | Document feature representation computation device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100526 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120814 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5068228 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |