JP5956359B2 - パラメータ推定方法、装置、及びプログラム - Google Patents

Description

本発明は、パラメータ推定方法、装置、及びプログラムに係り、特に、未観測の潜在クラスから観測データを生成する確率的潜在クラスモデルで用いられるパラメータを推定するパラメータ推定方法、装置、及びプログラムに関する。

確率的潜在クラスモデルとは、未観測の潜在クラスZから観測データXを生成する確率モデルp(X;Z;θ)のことをいう。ただし、θは確率モデルのパラメータである。確率的潜在クラスモデルの例として、隠れマルコフモデル（HMM）や混合分布モデルなどが知られている。英語や日本語などのテキストデータでは、観測データXを単語列とし、潜在クラスZをXに対応する品詞列として、確率的潜在クラスモデルが利用される。

また、モーメント法とは、独立同分布（ｉ．ｉ．ｄ．）に従う観測データの系列{X}=X₁,X₂,...を入力とし、{X}を生成する確率的潜在クラスモデルの尤もらしいパラメータθを推定する方法である。モーメント法では、観測データ系列{X}の期待値（モーメント）を計算し、モーメントと最も合致するパラメータを最適なパラメータとして推定する方法である。モーメント法による確率的潜在クラスモデルのパラメータ推定方法の詳細は、非特許文献１に開示されている。

A method of moments for mixture models and hidden Markov models. Anima Anandkumar, Daniel Hsu, and Sham M. Kakade. Twenty-Fifth Annual Conference on Learning Theory, 2012.

上記の非特許文献１に開示されている、モーメント法による確率的潜在クラスモデルのパラメータ推定方法は、パラメータθ の事前確率分布p (θ;φ)の形式で与えられる、パラメータθに関する事前知識を考慮した推定ができない、という問題がある。ただし、φは、事前確率分布p(θ;φ)のパラメータで、ハイパーパラメータと呼ばれる。したがって、上記の非特許文献１に開示されている方法でパラメータの推定を行った場合、パラメータθの事前確率分布p(θ;φ)に従わない不適切なパラメータを推定してしまう可能性がある。

本発明は、上記問題点を解決するために成されたものであり、パラメータθの事前確率分布p(θ;φ)を考慮して、確率的潜在クラスモデルのパラメータを精度よく推定することができるパラメータ推定方法、装置、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明のパラメータ推定方法は、観測値ｘの系列である観測データＸに基づいて、未観測の潜在クラスＺから観測データＸを生成する確率的潜在クラスモデルの確率モデルｐ（Ｘ、Ｚ；θ）で用いられるパラメータθを推定するパラメータ推定装置におけるパラメータ推定方法であって、モーメント計算手段によって、前記観測データＸの各観測値ｘについて、モーメントに関する行列Ｂ_xを計算し、パラメータ初期化手段によって、前記パラメータθ、前記パラメータθを用いて予め定められた前記パラメータθの事前確率分布ｐ（θ；φ）のハイパーパラメータφ、及び前記パラメータθと前記事前確率分布ｐ（θ；φ）に基づいて求められる前記パラメータθとの差分を用いて表される不一致度ｕの各々を初期化し、パラメータ更新手段によって、前記モーメント計算手段によって計算された各観測値ｘの前記行列Ｂ_xと、前回更新された前記パラメータθ又は前記パラメータθの初期値と、前回更新された前記パラメータθに基づいて計算される前記不一致度ｕ又は前記不一致度ｕの初期値とに基づいて、前記計算された各観測値ｘの前記行列Ｂ_xと、前記パラメータθに基づいて計算される各観測値ｘの前記行列Ｂ_xの予測値との差分絶対値から、前記不一致度ｕを減算した値が最小となるように、前記パラメータθを更新し、ハイパーパラメータ更新手段によって、前回更新された前記ハイパーパラメータφ又は前記ハイパーパラメータφの初期値に基づいて、前記事前確率分布ｐ（θ；φ）における、前記パラメータ更新手段によって更新された前記パラメータθの値に対する確率が最大となるように、前記ハイパーパラメータφを更新し、収束判定手段によって、収束条件を満たすまで、前記パラメータ更新手段による更新及び前記ハイパーパラメータ更新手段による更新を繰り返す。

本発明に係るパラメータ推定装置は、観測値ｘの系列である観測データＸに基づいて、未観測の潜在クラスＺから観測データＸを生成する確率的潜在クラスモデルの確率モデルｐ（Ｘ、Ｚ；θ）で用いられるパラメータθを推定するパラメータ推定装置であって、前記観測データＸの各観測値ｘについて、モーメントに関する行列Ｂ_xを計算するモーメント計算手段と、前記パラメータθ、前記パラメータθを用いて予め定められた前記パラメータθの事前確率分布ｐ（θ；φ）のハイパーパラメータφ、及び前記パラメータθと前記事前確率分布ｐ（θ；φ）に基づいて求められる前記パラメータθとの差分を用いて表される不一致度ｕの各々を初期化するパラメータ初期化手段と、前記モーメント計算手段によって計算された各観測値ｘの前記行列Ｂ_xと、前回更新された前記パラメータθ又は前記パラメータθの初期値と、前回更新された前記パラメータθに基づいて計算される前記不一致度ｕ又は前記不一致度ｕの初期値とに基づいて、前記計算された各観測値ｘの前記行列Ｂ_xと、前記パラメータθに基づいて計算される各観測値ｘの前記行列Ｂ_xの予測値との差分絶対値から、前記不一致度ｕを減算した値が最小となるように、前記パラメータθを更新するパラメータ更新手段と、前回更新された前記ハイパーパラメータφ又は前記ハイパーパラメータφの初期値に基づいて、前記事前確率分布ｐ（θ；φ）における、前記パラメータ更新手段によって更新された前記パラメータθの値に対する確率が最大となるように、前記ハイパーパラメータφを更新するハイパーパラメータ更新手段と、収束条件を満たすまで、前記パラメータ更新手段による更新及び前記ハイパーパラメータ更新手段による更新を繰り返す収束判定手段とを含んで構成されている。

また、本発明のプログラムは、コンピュータに、上記のパラメータ推定方法の各ステップを実行させるためのプログラムである。

以上説明したように、本発明のパラメータ推定方法、装置、及びプログラムによれば、各観測値ｘのモーメントに関する行列Ｂ_xと、パラメータθに基づいて計算される各観測値ｘの行列Ｂ_xの予測値との差分絶対値から、不一致度ｕを減算した値が最小となるように、パラメータθを更新すると共に、事前確率分布ｐ（θ；φ）における、更新されたパラメータθの値に対する確率が最大となるように、ハイパーパラメータφを更新することを、収束条件を満たすまで繰り返すことにより、パラメータθの事前確率分布p(θ;φ)を考慮して、確率的潜在クラスモデルのパラメータを精度よく推定することができる、という効果が得られる。

本発明の実施の形態のパラメータ推定装置の機能構成を示すブロック図である。 本発明の実施の形態のパラメータ推定装置のパラメータ・ハイパーパラメータ最適化部の機能構成を示すブロック図である。 本発明の実施の形態のパラメータ推定装置におけるパラメータ推定処理ルーチンの内容を示すフローチャートである。 本発明の実施の形態のパラメータ推定装置におけるパラメータ最適化過程を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜パラメータ推定装置の構成＞
本実施の形態のパラメータ推定装置１００は、ＣＰＵと、ＲＡＭと、後述するパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。このパラメータ推定装置１００は、機能的には、図１に示すように、入力部１０と、訓練データ記憶部２０と、演算部３０と、出力部４０とを備えている。

入力部１０は、キーボードなどの入力装置から、訓練データとして、任意の実数値または離散値の集合である観測データ系列{X}を受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。

観測データXは、例えば日本語や英語の文の各単語を離散シンボル化した系列や、画像の系列などである。

訓練データ記憶部２０には、訓練データとして、入力された観測データ系列が記憶される。また、訓練データ記憶部２０には、パラメータθの事前確率分布が予め記憶されている。例えば、パラメータθが多項分布にしたがう場合、パラメータθの事前確率分布として、ハイパーパラメータφを持つディリクレ分布が予め記憶されている。

パラメータθが多項分布にしたがう場合、θは(d×k)次元のベクトルであり、θ＝｛θ_ｉ，ｊ｝と表すことができる。このとき、観測データの生成確率は、

となる。
また、パラメータθの事前確率分布が、ハイパーパラメータφを持つディリクレ分布の場合、事前確率分布は以下の式で表される。

ただし、^→θ_ｉ，ｊ＝｛θ_１，ｊ，θ_２，ｊ，．．．，θ_ｄ，ｊ｝，^→φ_ｉ，ｊ＝｛φ_１，ｊ，φ_２，ｊ，．．．，φ_ｄ，ｊ｝である。

演算部３０は、モーメント計算部３１及びパラメータ・ハイパーパラメータ最適化部３２を備えている。

モーメント計算部３１は、訓練データ記憶部２０に記憶されている訓練データが与えられた下で、訓練データのモーメントに関する行列を計算する。パラメータ・ハイパーパラメータ最適化部３２は、訓練データのモーメントに関する行列が与えられた下で、確率的潜在クラスモデルのパラメータ及び事前確率分布のハイパーパラメータを推定する。したがって、モーメント計算部３１とパラメータ・ハイパーパラメータ最適化部３２によって、観測データ系列から、確率的潜在クラスモデルのパラメータ及び事前確率分布のハイパーパラメータを推定することができる。

＜モーメント計算部＞
以降、任意の行列Mに関して、転置行列をM^Ｔと表す。また、M∈Ｒ^m×nは、行列の各要素が実数値であり、行数がm、列数がnであることを表す。また、任意の実数正方行列Mに関して、逆行列をM^-1と表す。また、diag(m) ∈Ｒ^k×kは、ベクトルm∈2Ｒ^kを対角要素とする対角行列を表す。

モーメント計算部３１では、訓練データ系列{X}を入力とし、以下の式に定義されるモーメントに関する行列B_x∈Ｒ^k×kを、各観測値xごとにそれぞれ計算し、出力する。

ただし、行列Pairs∈Ｒ^ｄ×d、行列Triples_x∈Ｒ^d×d、行列U∈Ｒ^d×k、行列V∈Ｒ^d×kであり、ｄは、観測値ｘの次元を表している。また、行列Pairsと行列Triples_xの各(i,j)要素は、以下のように定義される。

また、UとVは、それぞれPairsの右特異ベクトルで構成される行列、左特異ベクトルで構成される行列である。すなわち、Pairs=UΣV^Ｔと特異値分解できる。Pr[x_t=i,x_t+1=j]は、観測データ系列{X}中のシンボルx_t,x_t+1の連接頻度（バイグラム頻度）であり、観測データ系列から計算することができる。Pr[x_t=i,x_t+1=j,x_t+2=x] も同様である。

＜パラメータ・ハイパーパラメータ最適化部＞
パラメータ・ハイパーパラメータ最適化部３２は、モーメント計算部３１によって計算されるモーメントに関する行列の集合{B_ｘ}を入力とし、確率的潜在変数モデルp(X;θ)のパラメータθと、事前確率分布p (θ;φ)のハイパーパラメータφとを、予め定められた収束条件を満たすまで繰り返し逐次更新することで、{B_ｘ}と合致する最適なパラメータ^θ及び最適なハイパーパラメータ^θを求める。以下、パラメータ及びハイパーパラメータの初期値をθ⁽⁰⁾及びφ⁽⁰⁾とし、t回目の更新後のパラメータ及びハイパーパラメータをθ^(t)及びφ^(t)と表記する。また、確率的潜在クラスモデルに基づくパラメータθの推定値と、事前確率分布に基づくパラメータθの推定値との差分を用いて表される不一致度を表す値をuとし、uの初期値をu⁽⁰⁾、t回目の更新後のuの値をu^(t)と表記する。

また、確率的潜在クラスモデルのパラメータθは、確率的潜在クラスモデルの確率モデルp(X,Z;θ)の形式に応じて、値、ベクトル、及び行列のうちの何れかの形式である。事前確率分布p (θ;φ)のハイパーパラメータφは、事前確率分布p (θ;φ) の形式に応じて、値、ベクトル、及び行列のうちの何れかの形式である。

パラメータ・ハイパーパラメータ最適化部３２は、図２に示すように、パラメータ及びハイパーパラメータを初期化するパラメータ・ハイパーパラメータ初期化部３２１と、現在のパラメータ値に基づいて新たなパラメータを更新するパラメータ更新部３２２と、現在のハイパーパラメータ値に基づいて新たなハイパーパラメータを更新するハイパーパラメータ更新部３２３と、パラメータ及びハイパーパラメータ推定処理を終了するか否かを判定する収束判定部３２４と、を含んだ構成で表すことができる。

パラメータ・ハイパーパラメータ初期化部３２１は、確率的潜在クラスモデルの確率モデルp(X,Z;θ)のパラメータθの初期値と、事前確率分布p(θ;φ)のハイパーパラメータφの初期値を設定する。初期値として、確率的潜在クラスモデルが許容する任意のパラメータ値および事前確率分布が許容する任意のハイパーパラメータ値を設定することができるが、ここでは、乱数によってランダムに決定することとする。また、パラメータ・ハイパーパラメータ初期化部３２１は、不一致度の初期値をu⁽⁰⁾=0と設定する。

パラメータ更新部３２２は、前回更新された、繰り返し回数t回目のパラメータθ^(t)及び不一致度u^(t)から、以下の（１）式に従って、新たなパラメータθ^(t+1)を生成して更新する。

ただし、行列M∈Ｒ^ｄ×k は、確率的潜在クラスモデルの確率分布を行列形式で表現したものであり、行i、列jの要素Ｍ_ｉ，ｊは、

で表される。パラメータθが多項分布にしたがう場合、単にＭ_ｉ，ｊ＝θ_ｉ，ｊである。また、Ｍはパラメータθを用いて表される関数であることを表すため、Ｍ（θ)と表記している。

確率的潜在クラスモデルが隠れマルコフモデルや混合分布のときの具体的なMについては、非特許文献１に詳細が開示されている。上記の（１）式は、モーメント計算部３１で計算されるモーメントに関する行列と、確率的潜在クラスモデルから予測されるモーメントに関する行列とを合致させる効果がある。

上記（１）式は、準ニュートン法を用いて計算することができる。準ニュートン法の詳細は、非特許文献（Byrd,R. H.; Nocedal, J.; Schnabel, R. B. (1994). Representations of Quasi-Newton Matrices and their use in Limited Memory Methods. Mathematical Programming）に開示されている。

ハイパーパラメータ更新部３２３は、パラメータ更新部３２２と同様に、更新されたパラメータθ^(t+1)と、前回更新されたハイパーパラメータφ^(t)、不一致度u^(t)とから、勾配法を用いて以下の（２）式に従って、新たなハイパーパラメータφ^(t+1)を生成して更新する。

収束判定部３２４は、予め定められた収束条件を満たしたか否かを判定し、収束条件を満たすまで、パラメータ更新部３２２及びハイパーパラメータ更新部３２３の処理を繰り返す。収束判定部３２４は、前回算出した不一致度u^(t)、パラメータ更新部３２２によって更新されたパラメータθ^(t+1)、及びハイパーパラメータ更新部３２３によって更新されたハイパーパラメータφ^(t+1)に基づいて、以下の式に従って、不一致度u^(t+1)を算出し、適当な実数値ε（例えば0.001）を用いて、u^(t+1)<εとなったときに収束したと判定し、そうでなければ未収束と判定する。

ただし、dは予め設定されたステップ幅を表し、実数値である。また、ｍａｘ_θｐ（θ；φ^(t+1)）では、ハイパーパラメータ更新部３２３によって更新されたハイパーパラメータφ^(t+1)を用いた事前確率分布において、最大の確率を与えるパラメータθを求めており、このパラメータθと、パラメータ更新部３２２によって更新されたパラメータθ^(t+1)との差分を用いて、不一致度u^(t+1)が計算される。

収束と判定された場合、収束判定部３２４は、パラメータ更新部３２２によって更新されたパラメータθ^(t+1)、及びハイパーパラメータ更新部３２３によって更新されたハイパーパラメータφ^(t+1)を出力部４０により出力してパラメータ・ハイパーパラメータ最適化部３２の処理は終了する。未収束と判定された場合、収束判定部３２４は、t←t+1とし、パラメータθ^(t)、ハイパーパラメータφ^(t)、及び不一致度u^(t)をパラメータ更新部３２２へ出力する。

＜パラメータ推定装置の作用＞
次に、本実施の形態に係るパラメータ推定装置１００の作用について説明する。まず、訓練データとして、観測データ系列がパラメータ推定装置１００に入力されると、パラメータ推定装置１００は、観測データ系列を、訓練データ記憶部２０に格納する。そして、パラメータ推定装置１００のＲＯＭに記憶されたパラメータ推定プログラムを、ＣＰＵが実行することにより、図３に示すパラメータ推定処理ルーチンが実行される。

まず、ステップＳ１において、モーメント計算部３１によって、訓練データ記憶部２０に記憶された観測データ系列の各観測データについて、当該観測データの各観測値ｘ毎に、モーメントに関する行列B_xを計算する。

そして、ステップＳ２において、パラメータ・ハイパーパラメータ最適化部３２によって、上記ステップＳ１で各観測値ｘ毎に計算されたモーメントに関する行列B_xと合致するように、パラメータθ及びハイパーパラメータφを最適化し、出力部４０によりパラメータθ、ハイパーパラメータφを出力する。

上記ステップＳ２は、図４に示す処理ルーチンによって実現される。

まず、ステップＳ２１で、パラメータθの初期値θ^（０）、ハイパーパラメータφの初期値φ^（０）、不一致度の初期値ｕ^（０）を設定する。

次に、ステップＳ２２で、後述するステップＳ２４で計算された不一致度ｕ^（t）又は不一致度の初期値ｕ^（０）と、前回更新されたパラメータθ^（t）又はパラメータθの初期値θ^（０）と、上記ステップＳ１で計算されたモーメントに関する行列B_xとに基づいて、上記（１）式に従って、パラメータθ^（t+1）に更新する。

そして、ステップＳ２３において、上記ステップＳ２２で計算されたパラメータθ^（t）と、前回更新されたハイパーパラメータφ^（t）又はハイパーパラメータφの初期値φ^（０）と、予め定められたパラメータθの事前確率分布とに基づいて、ハイパーパラメータφ^（t+1）に更新する。

そして、ステップＳ２４において、上記ステップＳ２２で更新されたパラメータθ^（t+1）と、上記ステップＳ２３で更新されたハイパーパラメータφ^（t+1）と、前回計算された不一致度ｕ^（t）又は不一致度の初期値ｕ^（０）とに基づいて、不一致度ｕ^（t+1）を算出し、算出した不一致度ｕ^（t+1）が閾値ε未満であるか否かを判定することにより、収束したか否かを判定する。ｕ^（t+1）≧εの場合には、ステップＳ２５で、繰り返し回数ｔを１インクリメントして、ステップＳ２２へ戻り、更新されたパラメータθ、ハイパーパラメータφ、及び不一致度ｕを用いて処理を繰り返す。一方、ｕ^（t+1）＜εの場合には、更新されたパラメータθ、ハイパーパラメータφを最適なパラメータとし、パラメータ推定結果として出力部４０により出力して、処理を終了する。

以上説明したように、本実施の形態のパラメータ推定装置によれば、観測データ系列の各観測値ｘのモーメントに関する行列Ｂ_xと、確率的潜在クラスモデルのパラメータθに基づいて計算される行列Ｂ_xの予測値との差分絶対値から、不一致度ｕを減算した値が最小となるように、パラメータθを更新すると共に、事前確率分布ｐ（θ；φ）における、更新されたパラメータθの値に対する確率が最大となるように、ハイパーパラメータφを更新することを、収束条件を満たすまで繰り返すことにより、事前確率分布p(θ;φ)の形式で与えられるパラメータθの事前知識を考慮して、モーメント法による確率的潜在クラスモデルのパラメータθ及び事前確率分布のハイパーパラメータφの推定を行うことができる。

また、本実施の形態に係るパラメータ推定装置では、従来のモーメント法による確率的潜在クラスモデルのパラメータ推定方法に、事前確率分布のハイパーパラメータの推定を組み合わせ、確率的潜在モデルのパラメータθと、事前確率分布のハイパーパラメータφを交互に繰り返し最適化していくことにより、パラメータの事前確率分布に従う確率的潜在クラスモデルのパラメータθ及び事前確率分布のハイパーパラメータφを推定することができる。したがって、従来のモーメント法による確率的潜在モデルのパラメータ推定方法がパラメータに関する事前確率分布を考慮できないという問題を解決できる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述のパラメータ推定装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 入力部
２０ 訓練データ記憶部
３０ 演算部
３１ モーメント計算部
３２ パラメータ・ハイパーパラメータ最適化部
１００ パラメータ推定装置
３２１ パラメータ・ハイパーパラメータ初期化部
３２２ パラメータ更新部
３２３ ハイパーパラメータ更新部
３２４ 収束判定部

Claims (7)

1. 観測値ｘの系列である観測データＸに基づいて、未観測の潜在クラスＺから観測データＸを生成する確率的潜在クラスモデルの確率モデルｐ（Ｘ、Ｚ；θ）で用いられるパラメータθを推定するパラメータ推定装置におけるパラメータ推定方法であって、
   モーメント計算手段によって、前記観測データＸの各観測値ｘについて、モーメントに関する行列Ｂ_xを計算し、
   パラメータ初期化手段によって、前記パラメータθ、前記パラメータθを用いて予め定められた前記パラメータθの事前確率分布ｐ（θ；φ）のハイパーパラメータφ、及び前記パラメータθと前記事前確率分布ｐ（θ；φ）に基づいて求められる前記パラメータθとの差分を用いて表される不一致度ｕの各々を初期化し、
   パラメータ更新手段によって、前記モーメント計算手段によって計算された各観測値ｘの前記行列Ｂ_xと、前回更新された前記パラメータθ又は前記パラメータθの初期値と、前回更新された前記パラメータθに基づいて計算される前記不一致度ｕ又は前記不一致度ｕの初期値とに基づいて、前記計算された各観測値ｘの前記行列Ｂ_xと、前記パラメータθに基づいて計算される各観測値ｘの前記行列Ｂ_xの予測値との差分絶対値から、前記不一致度ｕを減算した値が最小となるように、前記パラメータθを更新し、
   ハイパーパラメータ更新手段によって、前回更新された前記ハイパーパラメータφ又は前記ハイパーパラメータφの初期値に基づいて、前記事前確率分布ｐ（θ；φ）における、前記パラメータ更新手段によって更新された前記パラメータθの値に対する確率が最大となるように、前記ハイパーパラメータφを更新し、
   収束判定手段によって、収束条件を満たすまで、前記パラメータ更新手段による更新及び前記ハイパーパラメータ更新手段による更新を繰り返す
   パラメータ推定方法。
2. 前記パラメータ更新手段によって更新することは、前記計算された各観測値ｘの前記行列Ｂ_xと、前記パラメータθを用いて表わされる、前記確率モデルｐ（Ｘ、Ｚ；θ）を表現する行列Ｍに基づいて計算される各観測値ｘの前記行列Ｂ_xの予測値との差分絶対値から、前記不一致度ｕを減算した値が最小となるように、前記パラメータθを更新する請求項１記載のパラメータ推定方法。
3. 前記収束判定手段は、前回計算された前記不一致度ｕ又は前記不一致度ｕの初期値から、前記パラメータ更新手段によって更新された前記パラメータθと、前記事前確率分布ｐ（θ；φ）における、前記ハイパーパラメータ更新手段によって更新された前記ハイパーパラメータφの値に対する確率が最大となる前記パラメータθとの差分に応じた値を減算して、前記不一致度ｕを算出し、前記算出した前記不一致度ｕが閾値未満となったときに、収束条件を満たしたと判定する請求項１又は２記載のパラメータ推定方法。
4. 観測値ｘの系列である観測データＸに基づいて、未観測の潜在クラスＺから観測データＸを生成する確率的潜在クラスモデルの確率モデルｐ（Ｘ、Ｚ；θ）で用いられるパラメータθを推定するパラメータ推定装置であって、
   前記観測データＸの各観測値ｘについて、モーメントに関する行列Ｂ_xを計算するモーメント計算手段と、
   前記パラメータθ、前記パラメータθを用いて予め定められた前記パラメータθの事前確率分布ｐ（θ；φ）のハイパーパラメータφ、及び前記パラメータθと前記事前確率分布ｐ（θ；φ）に基づいて求められる前記パラメータθとの差分を用いて表される不一致度ｕの各々を初期化するパラメータ初期化手段と、
   前記モーメント計算手段によって計算された各観測値ｘの前記行列Ｂ_xと、前回更新された前記パラメータθ又は前記パラメータθの初期値と、前回更新された前記パラメータθに基づいて計算される前記不一致度ｕ又は前記不一致度ｕの初期値とに基づいて、前記計算された各観測値ｘの前記行列Ｂ_xと、前記パラメータθに基づいて計算される各観測値ｘの前記行列Ｂ_xの予測値との差分絶対値から、前記不一致度ｕを減算した値が最小となるように、前記パラメータθを更新するパラメータ更新手段と、
   前回更新された前記ハイパーパラメータφ又は前記ハイパーパラメータφの初期値に基づいて、前記事前確率分布ｐ（θ；φ）における、前記パラメータ更新手段によって更新された前記パラメータθの値に対する確率が最大となるように、前記ハイパーパラメータφを更新するハイパーパラメータ更新手段と、
   収束条件を満たすまで、前記パラメータ更新手段による更新及び前記ハイパーパラメータ更新手段による更新を繰り返す収束判定手段と、
   を含むパラメータ推定装置。
5. 前記パラメータ更新手段は、前記計算された各観測値ｘの前記行列Ｂ_xと、前記パラメータθを用いて表わされる、前記確率モデルｐ（Ｘ、Ｚ；θ）を表現する行列Ｍに基づいて計算される各観測値ｘの前記行列Ｂ_xの予測値との差分絶対値から、前記不一致度ｕを減算した値が最小となるように、前記パラメータθを更新する請求項４記載のパラメータ推定装置。
6. 前記収束判定手段は、前回計算された前記不一致度ｕ又は前記不一致度ｕの初期値から、前記パラメータ更新手段によって更新された前記パラメータθと、前記事前確率分布ｐ（θ；φ）における、前記ハイパーパラメータ更新手段によって更新された前記ハイパーパラメータφの値に対する確率が最大となる前記パラメータθとの差分に応じた値を減算して、前記不一致度ｕを算出し、前記算出した前記不一致度ｕが閾値未満となったときに、収束条件を満たしたと判定する請求項４又は５記載のパラメータ推定装置。
7. コンピュータに、請求項１〜請求項３の何れか１項記載のパラメータ推定方法の各ステップを実行させるためのプログラム。