JP4902378B2 - 混合モデル初期値算出装置及び混合モデル初期値算出プログラム - Google Patents

Description

本発明は、多次元のデータにおける混合モデルの解析に用いられるパラメータの初期値を算出する混合モデル初期値算出装置及び混合モデル初期値算出プログラムに関する。

従来、音声認識や画像認識等の様々な信号処理において、多次元信号の分布を、複数の分布を組み合わせた確率モデルである混合モデルに当てはめて解析することが行われる。この混合モデルは、例えば、ＥＭ（Expectation-Maximization）学習処理によって解析することができる。このＥＭ学習処理は、パラメータ（例えば、ガウス分布の場合、平均、分散及び重み付け係数）及び分布の数（以下、単にパラメータと言う）の初期値を設定し、最尤的に最適なモデルにパラメータの値が収束するまで、パラメータの値を修正する処理を繰り返すものである。このＥＭ学習処理は、初期値によって解析結果の良否が左右される（初期値依存性）という欠点を有する。これは、収束結果が大域的な最適解でなく、局所的な最適解に収束するためである。

そして、複数の初期値を設定して、それぞれについてＥＭ学習した複数の処理結果を統計的な尤度が最大になるまで繰り返し、併合分割することにより初期値依存性を回避する方法が開示されている（特許文献１参照）。
特開２０００−１６３３９５号公報（段落番号００１７〜００４９）

しかしながら、初期値は、経験的な知見に基づいて推定して設定されていたため、不適当な初期値が設定されてしまうと尤度の低い解析結果が得られてしまうという問題があった。また、特許文献１に記載の方法でも、初期値はランダムに選択されるため、初期値の設定による収束性や解析結果の良否への影響がなおも残るという問題があった。

本発明は、前記従来技術の問題を解決するために成されたもので、ＥＭ学習処理による混合モデルの解析対象となるデータに基づいて、混合モデルのパラメータの初期値を算出する混合モデル初期値算出装置及び混合モデル初期値算出プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の混合モデル初期値算出装置は、ＥＭ学習処理による混合モデルの解析に用いられる当該混合モデルの分布の数とパラメータとの初期値を算出する混合モデル初期値算出装置において、次元圧縮手段と、多次元ヒストグラム生成手段と、多次元二値化手段と、多次元ラベリング手段と、パラメータ初期値算出手段とを備える構成とした。

かかる構成によれば、混合モデル初期値算出装置は、次元圧縮手段によって、混合モデルの解析対象となる多次元のデータである多次元データに対して次元圧縮処理を行い、多次元データより低い次元数Ｎ’の次元圧縮信号に変換し、多次元ヒストグラム生成手段によって、次元圧縮手段によって変換された次元圧縮信号について、それぞれの次元のデータを累計することで多次元ヒストグラムを生成し、多次元二値化手段によって、多次元ヒストグラムの各値を、しきい値に基づいて二値化した多次元二値化信号を生成する。また、混合モデル初期値算出装置は、多次元ラベリング手段によって、多次元二値化手段によって生成された多次元二値化信号Ｂ［ｈ _ｉ ］（ｉ＝１，…，Ｎ’）について、式（１０）に従って、多次元空間において連続して所定値となる領域に同一のラベルを付与した多次元ラベル信号Ｌ［ｈ _ｉ ］を生成する。このようにして得られた情報は、多次元データの分布状態を反映したものであり、それぞれラベリングされた領域ごとに多次元データが偏在することを示している。更に、混合モデル初期値算出装置は、パラメータ初期値算出手段によって、ラベリングされた領域ごとに、当該領域に対応する多次元データについて統計量を算出して、領域の数及び統計量を、分布の数及びパラメータの初期値とする。

これによって、混合モデル初期値算出装置は、多次元データの分布状態に基づいて、混合モデルにおける分布の数とパラメータとの初期値を算出することができる。

さらに、混合モデル初期値算出装置は、多次元データを次元圧縮した後、混合モデルにおける分布の数とパラメータとの初期値を算出することができる。

また、請求項２に記載の混合モデル初期値算出装置は、請求項１に記載の混合モデル初期値算出装置において、前記次元圧縮手段が、主成分分析によって次元圧縮処理を行い、前記多次元ヒストグラム生成手段が、前記次元圧縮手段による主成分分析で得られた固有値に基づいて、前記ヒストグラムの区間数を算出する構成とした。

ここで、次元圧縮処理を行ったデータの各次元の軸は、主成分分析における基底ベクトルとなる。そして、この基底ベクトルは固定ベクトルに、各々の基底ベクトルに対応する固有の値は固有値に相当する。そして、混合モデル初期値算出装置は、多次元ヒストグラムの軸長と量子化幅とを、この固有値に基づいて設定することができる。

また、請求項３に記載の混合モデル初期値算出プログラムは、ＥＭ学習処理による混合モデルの解析に用いられる当該混合モデルの分布の数とパラメータとの初期値を算出するためにコンピュータを、次元圧縮手段、多次元ヒストグラム生成手段、多次元二値化手段、多次元ラベリング手段、パラメータ初期値算出手段として機能させることとした。

かかる構成によれば、混合モデル初期値算出プログラムは、次元圧縮手段によって、混合モデルの解析対象となる多次元のデータである多次元データに対して次元圧縮処理を行い、多次元データより低い次元数Ｎ’の次元圧縮信号に変換し、多次元ヒストグラム生成手段によって、次元圧縮手段によって変換された次元圧縮信号である多次元データについて、それぞれの次元のデータを累計することで多次元ヒストグラムを生成し、多次元二値化手段によって、多次元ヒストグラムの各値を、しきい値に基づいて二値化した多次元二値化信号を生成する。また、混合モデル初期値算出プログラムは、多次元ラベリング手段によって、多次元二値化手段によって生成された多次元二値化信号Ｂ［ｈ _ｉ ］（ｉ＝１，…，Ｎ’）について、式（１０）に従って、多次元空間において連続して所定値となる領域に同一のラベルを付与した多次元ラベル信号Ｌ［ｈ _ｉ ］を生成し、パラメータ初期値算出手段によって、ラベリングされた領域ごとに、当該領域に対応する多次元データについて統計量を算出して、領域の数及び統計量を、分布の数及びパラメータの初期値とする。

これによって、混合モデル初期値算出プログラムは、多次元データの分布状態に基づいて、混合モデルにおける分布の数とパラメータとの初期値を算出することができる。

本発明に係る混合モデル初期値算出装置及び混合モデル初期値算出プログラムでは、以下のような優れた効果を奏する。請求項１及び請求項４に記載の発明によれば、ＥＭ学習処理による混合モデルの解析に用いられるパラメータの初期値を、多次元データの分布状態に即して求めることが可能になる。これによって、ＥＭ学習処理による統計的なパラメータ推定処理の大域解への収束性が向上する。

また、請求項１に記載の発明によれば、次元圧縮することで、多次元データの特徴を残したまま、その後の処理における計算量を低減することができる。

請求項２に記載の発明によれば、多次元ヒストグラムの軸長と量子化幅とを主成分分析における固有値に基づいて設定することで、多次元データの分布状態をより適切に示す多次元ヒストグラムを生成することができ、多次元データの分布状態により即したパラメータの初期値を求めることができる。

以下、本発明の実施の形態について図面を参照して説明する。
［混合モデル初期値算出装置の構成］
まず、図１を参照して、本発明における混合モデル初期値算出装置１の構成について説明する。図１は、本発明における混合モデル初期値算出装置の構成を模式的に示した模式図である。なお、ここでは、混合モデル初期値算出装置１が、ガウス混合モデルのパラメータの初期値を算出する場合について説明するが、本発明の混合モデル初期値算出装置は、例えば、ラプラシアンモデルやポワソンモデル等の様々な混合モデルにおけるパラメータの初期値の算出にも適用することができる。

混合モデル初期値算出装置１は、外部から入力された多次元観測信号（多次元データ）に基づいて、当該多次元観測信号の分布をＥＭ学習処理によってガウス混合モデルのパラメータ推定する際におけるパラメータの初期値を算出するものである。ここで、混合モデル初期値算出装置１は、次元圧縮手段１１と、多次元ヒストグラム生成手段１２と、多次元二値化手段１３と、多次元ラベリング手段１４と、初期混合モデルパラメータ推定手段１５とを備える。ここで、多次元観測信号とは、統計的パラメータの推定対象となる多次元の信号であり、例えば、音声や画像の観測信号である。

次元圧縮手段１１は、入力された多次元観測信号に次元圧縮処理を行い、低次の次元圧縮信号に変換するものである。ここで変換された次元圧縮信号は、多次元ヒストグラム生成手段１２に出力される。ここでは、次元圧縮手段１１が、ＰＣＡ（主成分分析）によって次元圧縮することとした。以下、次元圧縮手段１１が、ＰＣＡによって多次元観測信号を次元圧縮する方法について説明する。

まず、次元圧縮手段１１は、Ｍ個のＮ次元信号である多次元観測信号を入力し、以下の式（１）に示すような行列Ｄを生成する。なお、ｄ_ｉｊ（ｉ＝１，…，Ｎ、ｊ＝１，…，Ｍ）は、多次元観測信号の成分である。

そして、次元圧縮手段１１は、Ｎ個の基底ベクトルｅ_１〜ｅ_Ｎから、Ｎ’個（Ｎ’＜Ｎ）の基底ベクトルｅ_１〜ｅ_Ｎ’を選択して、以下の式（２）のような変換行列Ｅを生成する。このとき、次元圧縮手段１１は、次元ごとの成分ｄ_ｉｊ間の共分散行列又は相関行列の固有値を算出し、固有値λ_１〜λ_Ｎの値が大きい順に並べたとき（λ_１＞…＞λ_Ｎ’＞…＞λ_Ｎ）の固有値λ_１〜λ_Ｎ’に対応する基底ベクトルｅ_１〜ｅ_Ｎ’を選択する。
Ｅ＝［ｅ_１…ｅ_Ｎ’］ …（２）

なお、Ｎ’は、次元圧縮により生成される次元圧縮信号の次元の数である。このＮ’は、所定値としてもよく、例えば、３０次元（Ｎ＝３０）の音声信号を多次元観測信号として入力する場合に、次元圧縮手段１１が次元圧縮処理によって４次元（Ｎ’＝４）の次元圧縮信号を生成することとしてもよい。また、Ｎ’は、寄与率に基づいて決定されることとしてもよく、以下の式（３）に示すように、寄与率Ｐがしきい値Ｔｈ１（例えば、８０％）以下になる最大のＮ’を設定することとしてもよい。

更に、次元圧縮手段１１は、以下の式（４）によって、次元圧縮信号の行列Ｄ’を算出する。以上のようにして、次元圧縮手段１１が、多次元観測信号を次元圧縮して、次元圧縮信号を生成することができる。そして、ここでは、次元圧縮手段１１が、次元圧縮信号とともに、対応する固有値λ_１〜λ_Ｎ’を多次元ヒストグラム生成手段１２に出力することとした。
Ｄ’＝Ｅ^ＴＤ …（４）

多次元ヒストグラム生成手段１２は、次元圧縮手段１１から入力された次元圧縮信号から多次元ヒストグラムを生成するものである。ここで生成された多次元ヒストグラムは、多次元二値化手段１３に出力される。ここでは、多次元ヒストグラム生成手段１２は、次元圧縮手段１１の主成分分析によって変換された次元圧縮信号の各次元を軸とする多次元空間で次元圧縮信号の頻度を求め、多次元ヒストグラムを生成することとした。更に、多次元ヒストグラム生成手段１２は、次元圧縮手段１１から入力された主成分分析の固有値に基づいて、多次元ヒストグラムの区間数（ビン数）を決定することとした。以下、多次元ヒストグラム生成手段１２が、多次元ヒストグラムを生成する方法について説明する。

ここで、多次元ヒストグラム生成手段１２は、次元圧縮手段１１からＮ’次元空間の次元圧縮信号と、固有値λ_１〜λ_Ｎ’とを入力すると、Ｎ’次元空間の各軸のスケール量子化を行う。つまり、多次元ヒストグラム生成手段１２は、以下の式（５）に示すように、次元圧縮信号の次元ごとの最小値の行列ｄ’ｍｉｎと最大値の行列ｄ’ｍａｘとを算出し、この２つの行列の差分の行列ｄ’ｒａｎｇｅを算出する。ここで、ｍｉｎ（）は括弧内の数値のうちの最小値、ｍａｘ（）は括弧内の数値のうちの最大値を示し、ｄ’_ｉｊ（ｉ＝１，…，Ｎ’、ｊ＝１，…，Ｍ）は次元圧縮信号の成分である。
ｄ’ｍｉｎ＝［ｍｉｎ（ｄ’_１１，…，ｄ’_１Ｍ） … ｍｉｎ（ｄ’_Ｎ’１，…，ｄ’_Ｎ’Ｍ）］^Ｔ
ｄ’ｍａｘ＝［ｍａｘ（ｄ’_１１，…，ｄ’_１Ｍ） … ｍａｘ（ｄ’_Ｎ’１，…，ｄ’_Ｎ’Ｍ）］^Ｔ
ｄ’ｒａｎｇｅ＝ｄ’ｍａｘ−ｄ’ｍｉｎ …（５）

更に、多次元ヒストグラム生成手段１２は、以下の式（６）に基づいて、スケールファクタベクトルｓを算出する。なお、Ｈは、予め選択された整数（例えば、２５６）である。また、ｄ’ｒａｎｇｅ_ｉ（ｉ＝１，…，Ｎ’）は、行列ｄ’ｒａｎｇｅの各成分である。

更に、多次元ヒストグラム生成手段１２は、以下の式（７）に示すように、次元圧縮信号の行列Ｄ’の各成分にスケールファクタベクトルｓを乗算して、整数化した整数化データｈ_ｉ（ｉ＝１，…，Ｍ）を生成する。なお、ｒｏｕｎｄ（）は、括弧内の数値の整数化（例えば、四捨五入）を示す。また、ｓ_ｉ（ｉ＝１，…，Ｎ’）は、スケールファクタベクトルｓの各成分である。これによって、多次元ヒストグラム生成手段１２は、Ｎ’次元空間の各軸のスケール量子化ができる。

そして、多次元ヒストグラム生成手段１２は、変換されたデータについて頻度を求め、Ｎ’次元ヒストグラムを生成する。ここでは、以下の式（８）に示すようにして、頻度Ｆ_ｉ（ｉ＝１，…，Ｍ）を計測する。なお、ｃａｒｄｉｎａｌ（）とは、要素数を返す関数である。更に、多次元ヒストグラム生成手段１２は、算出された頻度Ｆ_ｉに基づいてＮ’次元のヒストグラムを生成する。
Ｆ_ｉ＝ｃａｒｄｉｎａｌ（ｄ_ｉ’∈ｈ_ｉ） …（８）

なお、多次元ヒストグラム手段１２は、生成されたヒストグラムについて、線形フィルタ操作を施すこととしてもよい。ここで、線形フィルタとして、例えば、近傍Ｎ要素のガウスフィルタを設計する場合には、対象要素を中心にガウス正規分布を仮定し、それぞれの次元軸にＮ要素までの値を取り出して、それらの値の総和が１になるように正規化した値をフィルタ係数とする。例えば、２次元上で近傍５要素のガウスフィルタの場合は、５×５タップ長の２次元ローパスフィルタが生成される。

多次元二値化手段１３は、多次元ヒストグラム生成手段１２から入力された多次元ヒストグラムを、しきい値に基づいて二値化した多次元二値化信号（二値化データ）を生成するものである。ここで生成された多次元二値化信号は、多次元ラベリング手段１４に出力される。以下、多次元二値化手段１３が、多次元ヒストグラムを多次元二値化信号に変換する方法について説明する。

多次元二値化手段１３は、ヒストグラム空間（Ｎ’次元空間）における整数化データｈ_ｉ（ｉ＝１，…，Ｎ’）に対応する各点において、以下の式（９）に基づいて多次元二値化信号Ｂ［ｈ_ｉ］を生成する。なお、ｈｉｓｔ（ｈ_ｉ）は、整数化データｈ_ｉに対応する点における多次元ヒストグラムの値を示す。また、Ｔｈ２はしきい値である。このしきい値Ｔｈ２は、基本的には予め設定されたものとするが、後記する多次元ラベリング手段１４においてラベル数がある決められた数に近づくように調整することとしてもよい。

ここで、図２を参照（適宜図１参照）して、多次元二値化手段１３が、一例として１次元のヒストグラムから１次元の二値化信号を生成する場合について説明する。図２は、１次元のヒストグラムから１次元の二値化信号を生成する例を説明するための説明図、（ａ）は、１次元のヒストグラムの例を模式的に示したグラフ、（ｂ）は、（ａ）の１次元のヒストグラムを二値化した１次元の二値化信号の例を模式的に示したグラフである。

多次元二値化手段１３は、図２（ａ）のヒストグラムの値ｈｉｓｔ（ｈ_ｉ）がしきい値Ｔｈ２より小さい部分ｐ_１、ｐ_３、ｐ_５の信号を、図２（ｂ）に示すように、値が「０」の二値化信号Ｂ［ｈ_ｉ］に変換する。一方、多次元二値化手段１３は、図２（ａ）のヒストグラムの値ｈｉｓｔ（ｈ_ｉ）がしきい値Ｔｈ２より大きい部分ｐ_２、ｐ_４の信号を、図２（ｂ）に示すように、値が「１」の二値化信号Ｂ［ｈ_ｉ］に変換する。なお、次元が増しても、多次元二値化手段１３が各次元について同様の処理を行うことで、多次元二値化信号を生成することができる。

多次元ラベリング手段１４は、多次元二値化手段１３から入力された多次元二値化信号が、多次元空間において連続して同一の値をとる領域に、同一のラベルを付与し、多次元ラベル信号を生成するものである。ここで生成された多次元ラベル信号は、初期混合モデルパラメータ推定手段１５に出力される。

ここで、多次元ラベリング手段１４は、以下の式（１０）に従って、多次元二値化信号Ｂ［ｈ_ｉ］（ｉ＝１，…，Ｎ’）にラベルを付与し、多次元ラベル信号Ｌ［ｈ_ｉ］を生成する。なお、Ｌ_ｍａｘは、ラベリング処理で得られた総ラベル数である。
Ｂ［ｈ_１］…Ｂ［ｈ_Ｎ’］∈｛０，１｝ → Ｌ［ｈ_１］…Ｌ［ｈ_Ｎ’］∈｛１，…，Ｌ_ｍａｘ｝ …（１０）

ここで、図３を参照（適宜図１参照）して、多次元ラベリング手段１４が、２次元の二値化信号から多次元ラベル信号を生成する例について説明する。図３は、２次元の二値化信号から多次元ラベル信号を生成する例を説明するための説明図、（ａ）は、２次元の二値化信号の例を模式的に示した模式図、（ｂ）は、（ａ）の２次元の二値化信号をラベリングした多次元ラベル信号の例を模式的に示した模式図である。なお、図３（ａ）において、２次元の二値化信号から構成される画像の各点の信号の値が「０」の領域Ｒ０を斜線で、「１」の領域Ｒ１〜Ｒ４を白（斜線無し）で示した。また、図３（ｂ）において、多次元ラベル信号から構成される画像の領域Ｒ１〜Ｒ４内の点に付与されるラベル「１」〜「４」を、領域Ｒ１〜Ｒ４内の数字「１」〜「４」で示した。多次元ラベリング手段１４は、図３に示すように、多次元二値化信号Ｂ［ｈ_ｉ］が連続して「１」となる領域Ｒ１〜Ｒ４に、それぞれラベル「１」〜「４」を付与する。

なお、多次元ラベリング手段１４は、ラベリング処理によって得られた信号について、サイズの小さいものを除去したり、連結の幅が小さいもの切り分けたり、凹凸性からくぼみ部分を切り取るなどの非線形処理を施すこととしてもよい。多次元ラベリング手段１４は、多次元空間において、ラベリングされた各領域について形状を解析し、代表的な凸形状を類推して、その結果を新たに多次元ラベル信号に置き変えることとしてもよい。

初期混合モデルパラメータ推定手段１５は、多次元ラベリング手段１４から入力された多次元ラベル信号と、外部から入力された多次元観測信号とに基づいて、ガウス混合モデルのパラメータ推定におけるパラメータの初期値を算出するものである。ここで算出された初期値は、外部に出力される。なお、多次元ラベリング手段１４によってラベリングされた領域の数が、ガウス混合モデルにおけるガウス分布の数を示し、各領域の要素数（ラベリングサイズ）に比例する値を、各ガウス分布の重み付け係数の初期値とした。更に、各領域についての多次元観測データの統計量の解析結果を、各ガウス分布の平均及び分散の初期値とした。

以下、ガウス混合モデルの場合におけるパラメータの初期値の算出方法について説明する。ここでは初期混合モデルパラメータ推定手段１５は、以下の式（１１）〜（１４）によって混合数（分布数）Ｋと、各ラベルＬ_ｉ（ｉ＝１〜Ｌ_ｍａｘ）に対応するガウス分布の混合係数（重み付け係数）Ｍｉｘ［ｉ］、平均μ_ｉ及び分散ν_ｉを算出する。ここで、ｓｉｚｅ（Ｌ_ｉ）（ｉ＝１〜Ｌ_ｍａｘ）は、各ラベルのラベリングサイズである。また、Ｌｂｌ（ｄ’_ｊ）は、特徴ベクトルｄ’_ｊが属するラベルを示す。

なお、混合モデル初期値算出装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、混合モデル初期値算出プログラムとして動作させることも可能である。

［混合モデル初期値算出装置の動作］
次に、図４を参照して、混合モデル初期値算出装置１の動作について説明する。図４は、本発明における混合モデル初期値算出装置が、混合モデルのパラメータの初期値を算出する動作を示したフローチャートである。

混合モデル初期値算出装置１は、次元圧縮手段１１によって、多次元観測信号を入力して、次元圧縮処理を行う（ステップＳ１１）。続いて、混合モデル初期値算出装置１は、多次元ヒストグラム生成手段１２によって、ステップＳ１１において次元圧縮された次元圧縮信号から多次元ヒストグラムを生成する（ステップＳ１２）。

更に、混合モデル初期値算出装置１は、多次元二値化手段１３によって、ステップＳ１２において生成された多次元ヒストグラムを二値化する（ステップＳ１３）。そして、混合モデル初期値算出装置１は、多次元ラベリング手段１４によって、ステップＳ１３において二値化された多次元二値化信号が、多次元空間において連続して同一の値をとる領域にラベリングし、多次元ラベル信号を生成する（ステップＳ１４）。

更に、混合モデル初期値算出装置１は、初期混合モデルパラメータ推定手段１５によって、ステップＳ１４において生成された多次元ラベル信号と、ステップＳ１１において外部から入力された多次元観測信号とに基づいて、混合モデルのパラメータ推定におけるパラメータの初期値を算出し（ステップＳ１５）、動作を終了する。

以上のようにして、混合モデル初期値算出装置１は、ＥＭ学習処理による混合モデルの解析に用いられるパラメータの初期値を、多次元観測データに即して求めることが可能になる。これによって、ＥＭ学習処理による統計的なパラメータ推定処理の大域解への収束性が向上する。そして、本発明は、音声認識処理や画像認識処理等で用いられている混合モデルのパラメータ解析の対象となる様々な多次元データに適用することができる。

例えば、本発明を、混合モデルを用いたＨＭＭ（Hidden Markov Model；隠れマルコフモデル）のパラメータの初期値の推定に適用することができる。以下、図５を参照して、本発明をＨＭＭのパラメータの初期値の推定に適用する場合について説明する。図５は、ＨＭＭのパラメータの初期値の推定の処理の流れを模式的に示すフローチャートである。

ＨＭＭにおいて、まず、入力された観測データについて混合数を１としたときのガウス分布を仮定して、パラメータ（ｒｏｕｇｈパラメータ）を推定（ステップＳ２１〜Ｓ２４）した後に、本発明の混合モデル初期値算出装置１によるパラメータの初期値の推定を行うことが好ましい。このＨＭＭにおけるｒｏｕｇｈパラメータの推定は、以下のように行うことができる。

すなわち、観測データ全体から平均、分散を計算し、状態ごとに適当な摂動を与えて、その結果を初期パラメータ（混合数＝１）とする（ステップＳ２１）。次に、求めた初期パラメータでＨＭＭ認識処理を行い、データをＨＭＭの状態に振り分ける（ステップＳ２２）。そして、それぞれの状態に属するデータで混合数１のガウスモデルのパラメータ（平均、分散）をｒｏｕｇｈパラメータとして求める。以上の処理を収束条件が満たされるまで繰り返す（ステップＳ２３）ことにより、ｒｏｕｇｈパラメータ推定の精度を向上させることが可能である。この時、認識結果の状態遷移を推定し（ステップＳ２４）、推定確率の変化分を収束条件とした。なお、収束条件は予め定められた繰り返し回数としてもよい。

このようにして推定されたｒｏｕｇｈパラメータから、時間ごとにデータの存在する状態を推定する（ステップＳ２５）。その後、これらの状態ごとに入力データを収集解析して、本発明の混合モデル初期値算出装置１を適用して混合モデルのパラメータの初期値を推定する（ステップＳ２６）。

ここで、従来は、Ｋ−ｍｅａｎ法などを用いて観測データを分離して混合モデルのパラメータの初期値を推定していたが、Ｋ−ｍｅａｎ法では混合数を予め決めておく必要があるため、単純にデータから混合数を決めることができなかった。しかし、本発明では、観測データから自動的に混合数まで推定可能であり、より観測データの分布を反映した結果が得られる。なお、本発明の混合モデル初期値算出装置１を用いた混合モデルのパラメータの初期値の推定の際にも、ｒｏｕｇｈパラメータの推定と同様に、収束条件が満たされるまで繰り返して推定精度を向上させることも可能である。

本発明における混合モデル初期値算出装置の構成を模式的に示した模式図である。 本発明における混合モデル初期値算出装置の多次元二値化手段が、１次元のヒストグラムから１次元の二値化信号を生成する例を説明するための説明図、（ａ）は、１次元のヒストグラムの例を模式的に示したグラフ、（ｂ）は、（ａ）の１次元のヒストグラムを二値化した１次元の二値化信号の例を模式的に示したグラフである。 本発明における混合モデル初期値算出装置の多次元ラベリング手段が、２次元の二値化信号から多次元ラベル信号を生成する例を説明するための説明図、（ａ）は、２次元の二値化信号の例を模式的に示した模式図、（ｂ）は、（ａ）の２次元の二値化信号をラベリングした多次元ラベル信号の例を模式的に示した模式図である。 本発明における混合モデル初期値算出装置が、混合モデルのパラメータの初期値を算出する動作を示したフローチャートである。 本発明における混合モデル初期値算出装置をＨＭＭのパラメータの初期値の推定に適用した場合の処理の流れを模式的に示すフローチャートである。

符号の説明

１ 混合モデル初期値算出装置
１１ 次元圧縮手段
１２ 多次元ヒストグラム生成手段
１３ 多次元二値化手段
１４ 多次元ラベリング手段
１５ 初期混合モデルパラメータ推定手段

Claims (3)

1. ＥＭ学習処理による混合モデルの解析に用いられる当該混合モデルの分布の数とパラメータとの初期値を算出する混合モデル初期値算出装置において、
   前記混合モデルの解析対象となる多次元のデータである多次元データに対して次元圧縮処理を行い、前記多次元データより低い次元数Ｎ’の次元圧縮信号に変換する次元圧縮手段と、
   前記次元圧縮手段によって変換された次元圧縮信号について、それぞれの次元のデータを累計することで多次元ヒストグラムを生成する多次元ヒストグラム生成手段と、
   この多次元ヒストグラム生成手段によって生成された多次元ヒストグラムの各値を、しきい値に基づいて二値化した多次元二値化信号を生成する多次元二値化手段と、
   この多次元二値化手段によって生成された多次元二値化信号Ｂ［ｈ _ｉ ］（ｉ＝１，…，Ｎ’）について、式（１０）に従って、多次元空間において連続して所定値となる領域に同一のラベルを付与した多次元ラベル信号Ｌ［ｈ _ｉ ］を生成する多次元ラベリング手段と、
   この多次元ラベリング手段によってラベリングされた前記領域ごとに、当該領域に対応する前記多次元データについて統計量を算出して、前記領域の数及び前記統計量を、前記分布の数及び前記パラメータの初期値とするパラメータ初期値算出手段と、
   を備えることを特徴とする混合モデル初期値算出装置。
   Ｂ［ｈ _１ ］…Ｂ［ｈ _Ｎ’ ］∈｛０，１｝→Ｌ［ｈ _１ ］…Ｌ［ｈ _Ｎ’ ］∈｛１，…，Ｌ _ｍａｘ ｝…（１０）
   なお、式（１０）では、Ｌ _ｍａｘ は総ラベル数である。
2. 前記次元圧縮手段が、主成分分析によって次元圧縮処理を行い、
   前記多次元ヒストグラム生成手段が、前記次元圧縮手段による主成分分析で得られた固有値に基づいて、前記ヒストグラムの区間数を算出することを特徴とする請求項１に記載の混合モデル初期値算出装置。
3. ＥＭ学習処理による混合モデルの解析に用いられる当該混合モデルの分布の数とパラメータとの初期値を算出するためにコンピュータを、
   前記混合モデルの解析対象となる多次元のデータである多次元データに対して次元圧縮処理を行い、前記多次元データより低い次元数Ｎ’の次元圧縮信号に変換する次元圧縮手段、
   前記次元圧縮手段によって変換された次元圧縮信号について、それぞれの次元のデータを累計することで多次元ヒストグラムを生成する多次元ヒストグラム生成手段、
   この多次元ヒストグラム生成手段によって生成された多次元ヒストグラムの各値を、しきい値に基づいて二値化した多次元二値化信号を生成する多次元二値化手段、
   この多次元二値化手段によって生成された多次元二値化信号Ｂ［ｈ _ｉ ］（ｉ＝１，…，Ｎ’）について、式（１０）に従って、多次元空間において連続して所定値となる領域に同一のラベルを付与した多次元ラベル信号Ｌ［ｈ _ｉ ］を生成する多次元ラベリング手段、
   この多次元ラベリング手段によってラベリングされた前記領域ごとに、当該領域に対応する前記多次元データについて統計量を算出して、前記領域の数及び前記統計量を、前記分布の数及び前記パラメータの初期値とするパラメータ初期値算出手段として機能させることを特徴とする混合モデル初期値算出プログラム。
   Ｂ［ｈ _１ ］…Ｂ［ｈ _Ｎ’ ］∈｛０，１｝→Ｌ［ｈ _１ ］…Ｌ［ｈ _Ｎ’ ］∈｛１，…，Ｌ _ｍａｘ ｝…（１０）
   なお、式（１０）では、Ｌ _ｍａｘ は総ラベル数である。

Images