JP3986008B2 - Statistical analysis apparatus and statistical analysis program - Google Patents
Statistical analysis apparatus and statistical analysis program Download PDFInfo
- Publication number
- JP3986008B2 JP3986008B2 JP2002313611A JP2002313611A JP3986008B2 JP 3986008 B2 JP3986008 B2 JP 3986008B2 JP 2002313611 A JP2002313611 A JP 2002313611A JP 2002313611 A JP2002313611 A JP 2002313611A JP 3986008 B2 JP3986008 B2 JP 3986008B2
- Authority
- JP
- Japan
- Prior art keywords
- statistical
- parameter
- statistical parameter
- parameters
- integrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Complex Calculations (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力された信号系列の統計的性質を解析することで、複数の統計分布で構成される混合モデルを構築する統計解析装置、統計解析方法及び統計解析プログラムに関する。
【０００２】
【従来の技術】
従来、入力された信号系列を複数の意味を持ったクラスにクラス分けする場合に、その信号系列が特定のクラスに含まれるかどうかを識別する手法として、ベイズ（Ｂａｙｅｓ）識別規則（ベイズ線形識別規則、ベイズ二次識別規則）に基づいて識別する手法、パルツェン（Ｐａｒｚｅｎ）推定等の核関数に基づいて識別する手法、ｋ最近隣法に基づいて識別する手法、ガウス混合モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）に基づいて識別する手法等が存在する（例えば、非特許文献１参照。）。これらの手法では、訓練サンプルと呼ばれる既知の有限個のサンプルによって予めクラス毎の確率密度関数や、その訓練サンプルの分布を求めておく必要がある。
【０００３】
例えば、ベイズ識別規則に基づいてクラスを識別する手法は、訓練サンプルによって、ガウス分布のパラメータ（平均ベクトル、共分散行列）を求めることで、予め各クラスをガウス分布によりモデル化した確率密度関数として近似しておく。そして、未知のサンプル（未知サンプル）に対して事後確率の値が最大となるクラスを、その未知サンプルのクラスとして識別する。なお、このクラスを識別する識別境界は、ベイズ線形識別規則では直線となり、ベイズ二次識別規則では二次曲線となる。
【０００４】
また、核関数に基づいてクラスを識別する手法は、訓練サンプルのまわりを拡がりの小さな核関数で覆い、これらの核関数の総和によって各クラスの確率密度関数を近似して、未知サンプルに対して事後確率の値が最大となるクラスを、その未知サンプルのクラスとして識別する。一方、ｋ最近隣法に基づいてクラスを識別する手法は、確率密度関数を用いずに、未知サンプルと訓練サンプルとの距離を計算し、最も近いｋ個のサンプルの中で最も数の多いクラスを未知サンプルのクラスとして識別する。
【０００５】
また、ガウス混合モデルに基づいてクラスを識別する手法は、各クラスを複数のガウス分布の重み付き平均によって確率密度関数として近似して、未知サンプルに対して事後確率の値が最大となるクラスを、その未知サンプルのクラスとして識別する。また、この手法では、確率密度関数を構成する複数のガウス分布の平均ベクトル及び共分散行列、並びに個々のガウス分布に対する重み係数といったパラメータによって、クラス形状を表現している。なお、これらのパラメータは、一般的に、ＥＭアルゴリズム（観測できないパラメータを反復法により局所最適解を求めるアルゴリズム）等によって求められる。
【０００６】
【非特許文献１】
Ｇ．Ｊ．ＭｃＬａｃｈｌａｎ ａｎｄ Ｋ．Ｅ．Ｂａｓｆｏｒｄ著、“Ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ−Ｉｎｆｅｒｅｎｃｅ ａｎｄａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｃｌｕｓｔｅｒｉｎｇ”、Ｍａｒｃｅｌ Ｄｅｋｋｅｒ、１９８８年
【０００７】
【発明が解決しようとする課題】
前記従来の技術において、ベイズ識別規則に基づいてクラスを識別する手法では、予め訓練サンプル分のガウス分布のパラメータ（平均ベクトル、共分散行列）のみを抽出しておいてクラスを識別するため、簡単な構成で識別器を構築することができる。しかし、クラス形状がガウス分布に従わない場合、特にクラス形状が単峰でない場合は、モデル化誤差が大きくなってしまうという問題がある。
【０００８】
また、核関数やｋ最近隣法に基づいてクラスを識別する手法では、全ての訓練サンプルによって構成される識別境界によってクラスの識別を行うため、クラス形状が複雑な場合でもモデル化を行うことが可能である。しかし、この手法を用いて識別器を構成する場合、訓練データを全て識別器内に記憶しておく必要があり、メモリ消費量が大きくなるという問題がある。
【０００９】
また、ガウス混合モデルに基づいてクラスを識別する手法では、複数のガウス分布の重み付き平均によって各クラスを確率密度関数で近似するため、複雑なクラス形状をガウス分布における平均ベクトル、共分散行列や、重み係数等の少ないパラメータにより効率的に表現することができる。しかし、これらのパラメータを求めるには、ＥＭアルゴリズム等の反復演算を行わなければならず、多くの演算時間を要してしまうという問題がある。
【００１０】
本発明は、以上のような問題点に鑑みてなされたものであり、入力された信号系列を逐次統計的に解析することで、クラスを識別するために用いられる混合モデルを効率的に構築することを可能にした統計解析装置及び統計解析プログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の統計解析装置は、複数の統計分布で構成される混合モデルに基づいて入力された信号系列のクラスを識別するクラスタリング装置において、前記混合モデルを構成する正規分布を特定する統計パラメータの元データとなる信号系列が入力される度に、前記統計パラメータを生成する統計解析装置であって、前記統計パラメータを記憶する統計パラメータ記憶手段と、前記信号系列毎に、平均ベクトル、共分散行列及び重み係数を前記統計パラメータとして生成する統計パラメータ生成手段と、この統計パラメータ生成手段で生成した統計パラメータを、前記統計パラメータ記憶手段に登録する新規パラメータ登録手段と、前記統計パラメータ記憶手段に記憶された前記統計パラメータの数が、予め定められた最大統計パラメータ数を超過したときに、２つの統計パラメータにおける平均ベクトルμ ｉ 及びμ ｊ と、共分散行列Σ ｉ 及びΣ ｊ とに基づいて、（μ ｉ −μ ｊ ） Ｔ （Σ ｉ ＋Σ ｊ ） −１ （μ ｉ −μ ｊ ）〔Ｔは転置ベクトル〕を算出することで、前記統計パラメータ記憶手段に記憶されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対である第１統計パラメータ及び第２統計パラメータを探索する距離最小パラメータ対探索手段と、この距離最小パラメータ対探索手段で探索された第１統計パラメータ及び第２統計パラメータにおいて、それぞれの重み係数ｗ ｒ 及びｗ ｓ を加算することにより統合した重み係数ｗ´を算出し、それぞれの平均ベクトルμ ｒ 及びμ ｓ を重み係数ｗ ｒ 及びｗ ｓ に応じて加算することにより統合した平均ベクトルμ´を算出し、それぞれの共分散行列Σ ｒ 及びΣ ｓ を（（ｗ ｒ （Σ ｒ ＋μ ｒ μ ｒ Ｔ ）＋ｗ ｓ （Σ ｓ ＋μ ｓ μ ｓ Ｔ ））／ｗ´）−μ´μ´ Ｔ 〔Ｔは転置ベクトル〕により統合した共分散行列Σ´を算出することで、統合パラメータを生成するパラメータ統合手段と、前記第１統計パラメータ及び第２統計パラメータを前記統計パラメータ記憶手段から削除する統合前パラメータ削除手段と、前記統合パラメータを前記統計パラメータとして前記統計パラメータ記憶手段に登録する統合パラメータ登録手段と、を備える構成とした。
【００１２】
かかる構成によれば、統計解析装置は、統計パラメータ生成手段によって、入力される信号系列毎に、平均ベクトル、共分散行列及び重み係数を統計パラメータとして生成し、新規パラメータ登録手段によって、統計パラメータ生成手段で生成した統計パラメータを、統計パラメータ記憶手段に登録する。これによって、統計分布（正規分布）の形状を特定するパラメータのみを統計パラメータ記憶手段へ登録することになり、少ないパラメータ量で信号系列を表現することが可能になる。
【００１３】
なお、信号系列とは、統計分布の元となるデータであって、統計分布を生成できる１つ以上のデータの集まりを指す。また、統計パラメータとは、統計分布を特定するための数値であって、平均ベクトル、共分散行列及び重み係数を言う。
【００１４】
さらに、統計解析装置は、距離最小パラメータ対探索手段によって、統計パラメータ記憶手段に記憶されている全ての組み合わせとなる統計分布の統計パラメータ間の距離を求め、その距離が最小となる二組の統計パラメータ（統計パラメータ対）を探索する。これによって、最も類似性の高い２つの統計分布の統計パラメータが探索される。
【００１５】
なお、統計パラメータ間の距離とは、二組の統計パラメータにおいて、個々のパラメータがどれだけ類似しているかを示す指標であって、パラメータ間の差分量等で表される数値のことを言う。
【００１６】
そして、統計解析装置は、パラメータ統合手段によって、距離最小パラメータ対探索手段で探索された２つの統計分布の統計パラメータ（統計パラメータ対）を統合し、１つの統計分布の統合パラメータを生成する。これによって、最も類似する統計分布の統計パラメータを統合するだけの簡単な演算で、混合モデルを構築することができる。
さらに、統計解析装置は、統合前パラメータ削除手段によって、第１統計パラメータ及び第２統計パラメータを統計パラメータ記憶手段から削除し、統合パラメータ登録手段によって、統合パラメータを統計パラメータとして統計パラメータ記憶手段に登録する。
【００２８】
さらに、請求項２に記載の統計解析プログラムは、複数の統計分布で構成される混合モデルに基づいて入力された信号系列のクラスを識別するクラスタリング装置において、前記混合モデルを構成する正規分布を特定する統計パラメータの元データとなる信号系列が入力される度に、前記統計パラメータを生成するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２９】
すなわち、前記信号系列毎に、平均ベクトル、共分散行列及び重み係数を前記統計パラメータとして生成する統計パラメータ生成手段、この統計パラメータ生成手段で生成した統計パラメータを、統計パラメータ記憶手段に登録する新規パラメータ登録手段、前記統計パラメータ記憶手段に記憶された前記統計パラメータの数が、予め定められた最大統計パラメータ数を超過したときに、２つの統計パラメータにおける平均ベクトルμ ｉ 及びμ ｊ と、共分散行列Σ ｉ 及びΣ ｊ とに基づいて、（μ ｉ −μ ｊ ） Ｔ （Σ ｉ ＋Σ ｊ ） −１ （μ ｉ −μ ｊ ）〔Ｔは転置ベクトル〕を算出することで、前記統計パラメータ記憶手段に記憶されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対である第１統計パラメータ及び第２統計パラメータを探索する距離最小パラメータ対探索手段、この距離最小パラメータ対探索手段で探索された第１統計パラメータ及び第２統計パラメータにおいて、それぞれの重み係数ｗ ｒ 及びｗ ｓ を加算することにより統合した重み係数ｗ´を算出し、それぞれの平均ベクトルμ ｒ 及びμ ｓ を重み係数ｗ ｒ 及びｗ ｓ に応じて加算することにより統合した平均ベクトルμ´を算出し、それぞれの共分散行列Σ ｒ 及びΣ ｓ を（（ｗ ｒ （Σ ｒ ＋μ ｒ μ ｒ Ｔ ）＋ｗ ｓ （Σ ｓ ＋μ ｓ μ ｓ Ｔ ））／ｗ´）−μ´μ´ Ｔ 〔Ｔは転置ベクトル〕により統合した共分散行列Σ´を算出することで、統合パラメータを生成するパラメータ統合手段、前記第１統計パラメータ及び第２統計パラメータを前記統計パラメータ記憶手段から削除する統合前パラメータ削除手段、前記統合パラメータを前記統計パラメータとして前記統計パラメータ記憶手段に登録する統合パラメータ登録手段、とした。
【００３０】
かかる構成によれば、統計解析プログラムは、統計パラメータ生成手段によって、入力された信号系列の統計分布を特定する統計パラメータを生成し、新規パラメータ登録手段によって、その統計パラメータを統計パラメータ記憶手段へ登録（記憶）する。
【００３１】
そして、統計解析プログラムは、距離最小パラメータ対探索手段によって、統計パラメータ記憶手段に登録されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対を探索する。例えば、統計分布が正規分布であるときは、その正規分布の統計パラメータ間の距離を平均ベクトルの差分と共分散行列の和とによって定義される距離汎関数により算出する。
【００３２】
そして、統計解析プログラムは、パラメータ統合手段によって、類似性の高い２つの統計分布の統計パラメータを統合した統合パラメータを生成する。さらに、統合前パラメータ削除手段によって、統合前の統計パラメータを統計パラメータ記憶手段から削除し、統合パラメータ登録手段によって、パラメータ統合手段で統合した統合パラメータを統計パラメータ記憶手段へ登録（記憶）する。
これによって、最も類似する統計分布の統計パラメータを統合するだけの簡単な演算で、複数の統計分布で構成される混合モデルを構築することができる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（統計解析装置の構成）
図１は、本発明における統計解析装置の構成を示したブロック図である。図１に示すように統計解析装置１は、入力された信号系列を統計解析することで、複数の統計分布で構成される混合モデルを構築するものである。ここでは、統計解析装置１を、統計パラメータ記憶手段１０と、統計パラメータ登録手段２０と、距離最小パラメータ対探索手段３０と、統計パラメータ統合手段４０とを、バス９を介して接続することにより構成した。
バス９には、統計パラメータのデータや、統計パラメータ記憶手段１０の記憶アドレス、書き込み／読み出し／消去等の各制御信号が流れる。
【００３４】
統計パラメータ記憶手段１０は、統計分布のパラメータ（統計パラメータ）を複数組記憶するもので、ハードディスク等の記憶媒体で構成されている。
ここで、統計パラメータは、混合モデルを構成する複数の統計分布（核関数）を一意に特定するパラメータと、個々の核関数に対する重み係数とを指す。例えば、混合モデルを、Ｍ個のガウス分布（正規分布）を統計分布として混合したガウス混合モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）としたとき、統計パラメータは、ＧＭＭを構成するｋ番目の核関数である正規分布の平均ベクトルμk及び共分散行列Σk、並びにその正規分布に対する重み係数
ｗkを指す。
【００３５】
なお、この統計パラメータ（平均ベクトルμk、共分散行列Σk及び重み係数ｗk）を用いることで、ｎ次元の確率変数をＸとしたときのガウス混合モデルによる確率密度関数ｐ（Ｘ）は、（１）式で表すことができる。
【００３６】
【数１】
統計パラメータ登録手段２０は、入力された信号系列毎に統計分布を特定する統計パラメータを生成し、その統計パラメータを統計パラメータ記憶手段１０に登録するものである。ここでは、統計パラメータ登録手段２０を、統計パラメータ生成部２１と、新規パラメータ登録部２２とを備えて構成した。なお、この統計パラメータ登録手段２０に入力される信号系列とは、一般的な統計分布を生成することができる１つ以上のデータのことを言う。
【００３８】
統計パラメータ生成部（統計パラメータ生成手段）２１は、入力された信号系列毎に統計分布を特定する統計パラメータを生成し、その統計パラメータを新規パラメータ登録部２２へ通知するものである。この統計パラメータ生成部２１では、最新の１つの信号系列（訓練サンプル）に基づいて、ｔを平均ベクトルとする統計分布ｇを生成する。
【００３９】
例えば、核関数としてガウス分布（正規分布）を用いる場合、統計パラメータ生成部２１は、平均ベクトルｔ、共分散行列Σ0、重み係数“１”、ｎ次元の確率変数をＸとしたときの統計分布ｇ（Ｘ）を（２）式で生成する。なお、共分散行列Σ0は、各訓練サンプルの拡がりを規定するもので、従来の核関数に基づく手法における核関数の拡がりと同様に定めるものとする。また、Ｔは転置ベクトルを示す。
【００４０】
【数２】
この（２）式において、平均ベクトルｔ、共分散行列Σ0及び重み係数“１”、すなわち（３）式に示すパラメータが、ガウス分布である統計分布を特定する統計パラメータＰとなる。
【００４２】
【数３】
新規パラメータ登録部（新規パラメータ登録手段）２２は、統計パラメータ生成部２１で生成された統計パラメータＰを、統計パラメータ記憶手段１０へ登録するものである。なお、この統計パラメータ記憶手段１０へ登録は、既存のデータ（統計パラメータ）を残したままで追記（追加）することにより行う。
【００４４】
さらに、新規パラメータ登録部２２は、統計パラメータ記憶手段１０に登録する統計パラメータＰの最大数（最大統計パラメータ数）を予め閾値として定めておき、登録した統計パラメータＰの数がその閾値を超えた場合に、距離最小パラメータ対探索手段３０及び統計パラメータ統合手段４０にその旨を、バス９を介して通知するものでもある。なお、この閾値は、構築する混合モデルの複雑さ、精度あるいは統計パラメータ記憶手段１０の容量に基づいて決定するものとする。
【００４５】
距離最小パラメータ対探索手段３０は、（４）式に示すように、統計パラメータ記憶手段１０から、全ての組み合わせとなる二組の統計パラメータ対（Ｐi，Ｐj）を読み出して、統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対（Ｐr，Ｐs）を探索するものである。
【００４６】
【数４】
なお、この（４）式において、ｄ（Ｐi，Ｐj）は二組の統計パラメータＰiと統計パラメータＰjとの間の距離を表す関数とする。
例えば、統計パラメータがガウス混合モデルにおけるパラメータの場合、統計パラメータＰi（平均ベクトルμi、共分散行列Σi、重み係数ｗi）と、統計パラメータＰj（平均ベクトルμj、共分散行列Σj、重み係数ｗj）との間の距離ｄ（Ｐi，Ｐj）を（５）式に示した距離汎関数により定義するものとする。
なお、Ｔは転置ベクトルを示す。
【００４８】
【数５】
この距離汎関数は、（５）式からも分かるように、共分散行列（Σi及びΣj）の和が大きいほど、すなわち正規分布の裾が拡がっているほど、距離が近いとみなし、共分散行列（Σi及びΣj）の和が小さいほど、すなわち正規分布の裾が狭いほど、距離が遠いとみなす。このように、前記距離汎関数は、実際の距離だけではなく、正規分布の共分散行列に基づいて距離を算出する。
【００５０】
また、この距離最小パラメータ対探索手段３０で探索された、距離が最小となる統計パラメータ対（Ｐr，Ｐs）の第１統計パラメータＰr（平均ベクトルμr、共分散行列Σr、重み係数ｗr）及び第２統計パラメータＰs（平均ベクトルμs、共分散行列Σs、重み係数ｗs）、並びに第１統計パラメータＰr及び第２統計パラメータＰsが登録されている統計パラメータ記憶手段１０内のアドレスである第１記憶アドレスＡr及び第２記憶アドレスＡsは、統計パラメータ統合手段４０へ通知される。
【００５１】
なお、この第１記憶アドレスＡr及び第２記憶アドレスＡsは，統計パラメータ記憶手段１０の物理アドレスであってもよいし、第１統計パラメータＰr及び第２統計パラメータＰsを特定する識別子（例えば、ファイル名等）であってもよい。
【００５２】
統計パラメータ統合手段４０は、距離最小パラメータ対探索手段３０で探索された距離が最小となる統計パラメータ対を統合して、１つの統計パラメータとして、統計パラメータ記憶手段１０へ登録するとともに、統合前の統計パラメータ対を統計パラメータ記憶手段１０から削除するものである。ここでは、統計パラメータ統合手段４０を、パラメータ統合部４１と、統合前パラメータ削除部４２と、統合パラメータ登録部４３とを備えて構成した。
【００５３】
パラメータ統合部（パラメータ統合手段）４１は、距離最小パラメータ対探索手段３０で探索された第１統計パラメータＰr及び第２統計パラメータＰsを１つの統計分布の統計パラメータに統合して、統合パラメータＰ´を生成するものである。この統合パラメータＰ´は統合パラメータ登録部４３へ通知される。
例えば、統計パラメータがガウス混合モデルにおけるパラメータの場合、パラメータ統合部４１は、（６）式に示すように、第１統計パラメータＰrの重み係数ｗrと、第２統計パラメータＰsの重み係数ｗsとを加算することで、統合パラメータＰ´の重み係数ｗ´を算出する。
【００５４】
【数６】
また、パラメータ統合部４１は、（７）式に示すように、平均ベクトル（μr及びμs）を重み係数（ｗr及びｗs）に応じて加算することで統合パラメータＰ´の平均ベクトルμ´を算出する。
【００５６】
【数７】
さらに、パラメータ統合部４１は、（８）式に示すように、共分散行列Σrに平均ベクトルμrから導出される行列（μrμT）を加算した値と、共分散行列Σsに平均ベクトルμsから導出される行列（μsμT）を加算した値とを、重み係数（ｗr及びｗs）に応じて加算した後に平均ベクトルμ´から導出される行列（μ´（μ´）T）を減算することで、統合パラメータＰ´の共分散行列Σ´を算出する。
【００５８】
【数８】
統合前パラメータ削除部（統合前パラメータ削除手段）４２は、距離最小パラメータ対探索手段３０から通知される、第１統計パラメータＰr及び第２統計パラメータＰsの統計パラメータ記憶手段１０上での記憶アドレスである第１記憶アドレスＡr及び第２記憶アドレスＡsに基づいて、統計パラメータ記憶手段１０に記憶されている第１統計パラメータＰr及び第２統計パラメータＰsを削除するものである。
【００６０】
この統合前パラメータ削除部４２では、距離最小パラメータ対探索手段３０で探索された第１統計パラメータＰr及び第２統計パラメータＰsが、パラメータ統合部４１によって統合され、１つの統計パラメータ（統合パラメータＰ´）となるため、不要となった第１統計パラメータＰr及び第２統計パラメータＰsを統計パラメータ記憶手段１０から削除する。
【００６１】
統合パラメータ登録部（統合パラメータ登録手段）４３は、パラメータ統合部４１から通知される統合パラメータＰ´を新しい統計パラメータとして、統計パラメータ記憶手段１０に登録（記憶）するものである。
【００６２】
以上、一実施形態に基づいて、統計解析装置１の構成について説明したが、統計解析装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して統計解析プログラムとして動作させることも可能である。
【００６３】
（統計解析装置の動作）
次に、図１及び図２を参照して、統計解析装置１の動作について説明する。図２は、統計解析装置１の動作を示すフローチャートである。
【００６４】
［統計パラメータ生成ステップ］
まず、統計解析装置１は、統計パラメータ登録手段２０の統計パラメータ生成部２１によって、入力された信号系列から統計分布を特定する統計パラメータを生成する（ステップＳ１）。例えば、核関数としてガウス分布（正規分布）を用いる場合、前記した（２）式のように、平均ベクトルｔ、共分散行列Σ0、重み係数“１”、ｎ次元の確率変数をＸとしたときの統計分布ｇ（Ｘ）を生成し、この統計分布ｇ（Ｘ）を特定するパラメータ、平均ベクトルｔ、共分散行列Σ0及び重み係数“１”を、統計パラメータＰとして新規パラメータ登録部２２へ通知する。
【００６５】
［新規パラメータ登録ステップ］
そして、統計解析装置１は、統計パラメータ登録手段２０の新規パラメータ登録部２２によって、統計パラメータ生成部２１で生成された統計パラメータＰ、例えば、平均ベクトルｔ、共分散行列Σ0及び重み係数“１”を、統計パラメータ記憶手段１０へ登録する（ステップＳ２）。
【００６６】
ここで、統計パラメータ記憶手段１０に登録されている統計パラメータＰの数が、予め定めた閾値（最大統計パラメータ数）を超過したかどうかを判定する（ステップＳ３）。そして、閾値を超過した場合（Ｓ３；Ｙｅｓ）は、統計パラメータ間の距離が最小となる２つの統計パラメータを探索し統合するため、ステップＳ４へ進む。一方、統計パラメータＰの数が、閾値に満たない場合（Ｓ３；Ｎｏ）は、統計パラメータの統合を行わずにステップＳ８へ進む。
【００６７】
［距離最小パラメータ対探索ステップ］
ステップＳ３において、統計パラメータＰの数が閾値に満たない場合、統計解析装置１は、距離最小パラメータ対探索手段３０によって、統計パラメータ記憶手段１０に記憶されている統計パラメータを参照し（読み出し）、全ての組み合わせとなる二組の統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対（距離最小パラメータ対）を探索する（ステップＳ４）。例えば、統計パラメータがガウス混合モデルにおけるパラメータの場合、距離汎関数（前記（５）式）が最小となる統計パラメータ対を探索する。
【００６８】
［パラメータ統合ステップ］
また、統計解析装置１は、統計パラメータ統合手段４０のパラメータ統合部４１によって、ステップＳ４で探索された距離最小パラメータ対（第１統計パラメータＰr及び第２統計パラメータＰs）を統合した統計パラメータ（統合パラメータＰ´）を生成する（ステップＳ５）。例えば、統計パラメータがガウス混合モデルにおけるパラメータの場合、前記（６）式〜（８）式によって距離最小パラメータ対を１つの統計分布の統計パラメータとして統合する。
【００６９】
［統合前パラメータ削除ステップ］
さらに、統計解析装置１は、統合前パラメータ削除部４２によって、距離最小パラメータ対探索手段３０から通知される第１統計パラメータＰr及び第２統計パラメータＰsの記憶アドレスである第１記憶アドレスＡr及び第２記憶アドレスＡsに基づいて、統計パラメータ記憶手段１０に記憶されている第１統計パラメータＰr及び第２統計パラメータＰsを削除する（ステップＳ６）。これによって、統合によって不要になった統合前の第１統計パラメータＰr及び第２統計パラメータＰsが統計パラメータ記憶手段１０上から削除される。
【００７０】
［統合パラメータ登録ステップ］
また、統計解析装置１は、統合パラメータ登録部４３によって、ステップＳ５で統合された統合パラメータＰ´を新しい統計パラメータとして、統計パラメータ記憶手段１０に登録（記憶）する（ステップＳ７）。
【００７１】
そして、入力された信号系列を全て処理したかどうかを判定し（ステップＳ８）、未処理の信号系列が存在する場合は（Ｓ８；Ｎｏ）、ステップＳ１へ戻って動作を続ける。また、未処理の信号系列が存在しない場合（Ｓ８；Ｙｅｓ）は、本動作を終了する。なお、このステップＳ８は、信号系列が連続的に入力される場合の動作を示しているが、不連続に、例えば、ある時間間隔を開けて信号系列が入力される場合は、その信号系列が入力される度にステップＳ１〜Ｓ７を動作することとする。
【００７２】
以上の各ステップによって、統計分布を生成する１つ以上のデータからなる信号系列を逐次統計解析することで、クラスを識別するための複数の統計分布で構成される混合モデルを、統計パラメータを統合するだけの簡単な演算で構築することができる。
【００７３】
なお、本発明によって構築された混合モデルは、従来の手法であるベイズ識別規則によって、未知の信号系列をクラスに分類（クラス分け）することが可能になる。すなわち、予め訓練サンプルと呼ばれる既知の複数のクラスｃに属するサンプル（信号系列）に基づいて、統計解析装置１で混合モデルを構築した後に、以下の手順によって、未知のサンプルがどのクラスに属するかを決定する。
【００７４】
まず、この混合モデルを構成する個々の統計分布のうちで、クラスｃに属する統計分布の統計パラメータである重み係数（ｗk (c)）の総和ν（ｃ）を（９）式により求める。ここでＭはクラスｃに属する統計分布の個数を表すものとする。
【００７５】
【数９】
そして、ｎ次元の確率変数をＸとしたとき、各クラスｃの確率密度関数をｐ（Ｘ｜ｃ）で表現すると、ベイズ識別規則によって、未知のサンプルｘがどのクラスに属するかは、未知のサンプルｘが観測されたときに、そのサンプルｘがクラスｃに属する確率である事後確率Ｐ（ｃ｜ｘ）を最大化するｃを求めればよい。なお、この事後確率Ｐ（ｃ｜ｘ）は、サンプルｘの確率密度関数ｐ（ｘ｜ｃ）の値に前記（９）式の重み係数（ｗk (c)）の総和ν（ｃ）を乗算した値である。
すなわち、（１０）式により、サンプルｘが属するクラス（決定クラスｃest）を求めることができる。
【００７７】
【数１０】
このように、本発明における統計解析装置、統計解析方法及び統計解析プログラムで構築された混合モデルは、ベイズ識別規則等の従来の手法によって、入力された信号（信号系列）のクラスを識別するために用いることができる。
【００７９】
（天気予報に用いる混合モデルの構築例）
次に、統計解析装置１の具体的な動作の一例として、天気予報に用いる混合モデルを構築する動作について説明する。
【００８０】
［混合モデルの概要］
まず、図３及び図４を参照して、天気予報に用いる混合モデル（ガウス混合モデル）の概要について説明する。なお、ここでは、説明を簡略化するため、天候を晴と雨の２種類、天候が変わる要因を気温と気圧の２種類とする。図３（ａ）、（ｂ）、（ｃ）には、既知の有限個のサンプル（訓練サンプル）によって、気温と気圧とに対応する天候が、晴は○印、雨は×印でプロットされており、それぞれ（図３（ａ）、（ｂ）、（ｃ））が、どの気温、どの気圧のときに、天候がどのクラス（晴又は雨）に属するかを判別するための識別規則を表している。また、ここでは、ガウス混合モデルと比較するために他のクラス識別手法（図３（ａ）及び（ｂ））についても簡単に説明を行う。
【００８１】
図３（ａ）は、直線によって、クラスを識別する線形識別規則を表している。この線形識別規則では、図中の直線Ｌ１によって、晴のクラスと雨のクラスとが区切られ、未知のサンプル（未知サンプル）が、その区切られた領域のどちらに属するかを判定することで、天候を推定（クラスを識別）するものである。
【００８２】
図３（ｂ）は、ガウス分布によって、クラスを識別するベイズ識別規則を表している。このベイズ識別規則では、ガウス分布によってクラスの識別を行うものである。ここでは、晴のクラスであるガウス分布をＦ１で、雨のクラスであるガウス分布をＲ１で表している。
【００８３】
図３（ｃ）は、ガウス混合モデルによって、クラスを識別した状態を表している。ガウス混合モデルは、図３（ａ）の線形識別規則や、図３（ｂ）のベイズ識別規則ではクラス分けが困難な複雑なクラス形状を、複数のガウス分布によって表現したものである。ここでは、晴のクラスであるガウス分布をＦ１、Ｆ２及びＦ３で表し、雨のクラスであるガウス分布をＲ１、Ｒ２及びＲ３で表している。このように、ガウス混合モデルは、複数のガウス分布によって複雑なクラス形状を表現できる。
【００８４】
また、図４は、図３（ｃ）のガウス混合モデルにおいて、複数のガウス分布を確率密度関数で近似したグラフを表している。なお、図４では、説明を簡略化するため、気温のみに基づいて、晴又は雨の確率密度関数を表しているが、三次元座標系（ｘ，ｙ，ｚ）において、ｘ座標に気温、ｙ座標に気圧、ｚ座標に晴又は雨の確率をとることも可能である。
【００８５】
図４（ａ）は、気温と晴の確率との関係を表している。また、図４（ｂ）は、気温と雨の確率との関係を表している。これによって、例えば、気温Ｔ１における晴の確率Ｐ１と、雨の確率Ｐ２とを比較することで、気温Ｔ１における天候がどのクラス（晴又は雨）に属するかを判別することができる。
【００８６】
［混合モデルの構築］
次に、図１、図５及び６を参照して、統計解析装置１がガウス混合モデルを構築する動作を具体的に説明する。図５は統計解析装置１に入力される信号系列の例として、天候と気温を既知のデータとした訓練（学習）サンプルの例を示している。図６は、図５の訓練サンプルで雨の日のデータのみを抽出してガウス混合モデルを構築する流れを示している。
【００８７】
以下、統計解析装置１が、図５の訓練サンプルから雨の日の気温（Ｄ１〜Ｄ５）のみを逐次入力されることで、気温と雨の関係を示すガウス混合分布を生成する動作を説明する。なお、ここでは統計解析装置１が生成するガウス分布の最大個数（最大統計パラメータ数）を３とする。
【００８８】
まず、統計解析装置１は、１つめの信号系列として、訓練サンプルＤ１（９月２日の気温２４℃）が入力されると、統計パラメータ登録手段２０の統計パラメータ生成部２１によって、図６（１）に示すように、横軸に気温、縦軸に雨の確率となるような気温２４℃を中心とするガウス分布（正規分布）ｇ１を生成する。
【００８９】
なお、このガウス分布ｇ１は前記した（２）式により生成することができる。このとき、（２）式の確率変数Ｘは気温（気温のみの１次元データ）、平均ベクトルｔは２４℃（１次元のデータを扱っているため平均値）となる。そして、このガウス分布ｇ１の統計パラメータが新規パラメータ登録部２２によって、統計パラメータ記憶手段１０に登録（記憶）される。
【００９０】
次に、統計解析装置１は、２つめの信号系列として、訓練サンプルＤ２（９月３日の気温２２℃）が入力されると、図６（２）に示すように、気温２２℃を中心とするガウス分布ｇ２を生成し、そのガウス分布ｇ２の統計パラメータを統計パラメータ記憶手段１０に登録する。なお、ガウス分布ｇ１とガウス分布ｇ２とは、共分散行列及び重み係数は同じで、平均ベクトル（平均値：気温）のみが異なるものとする。
【００９１】
また、統計解析装置１は、３つめの信号系列として、訓練サンプルＤ３（９月６日の気温１８℃）が入力されると、図６（３）に示すように、気温１８℃を中心とするガウス分布ｇ３（共分散行列及び重み係数はガウス分布ｇ１と同じ）を生成し、そのガウス分布ｇ３の統計パラメータを統計パラメータ記憶手段１０に登録する。
【００９２】
次に、統計解析装置１は、４つめの信号系列として、訓練サンプルＤ４（９月７日の気温１７℃）が入力されると、図６（４）に示すように、気温１７℃を中心とするガウス分布ｇ４（共分散行列及び重み係数はガウス分布ｇ１と同じ）を生成し、そのガウス分布ｇ４の統計パラメータを統計パラメータ記憶手段１０に登録する。
【００９３】
ここで、ガウス分布の最大個数（最大統計パラメータ数）が３を超過したため、統計解析装置１は、ガウス分布の統合を行う。すなわち、統計解析装置１は、距離最小パラメータ対探索手段３０によって、統計パラメータ記憶手段１０から、全ての組み合わせとなる二組の統計パラメータ対を読み出して、統計パラメータ間の距離が最小となる統計パラメータ対を探索する。
【００９４】
ここでは、ガウス分布ｇ３とガウス分布ｇ４との統計パラメータの距離が最小となるため、パラメータ統合部４１によって、ガウス分布ｇ３の統計パラメータとガウス分布ｇ４の統計パラメータとを統合した統合パラメータを生成する。この統合パラメータで特定されるガウス分布は、図６（４−２）に示すような気温１７．５℃を中心とし、面積がガウス分布ｇ３とガウス分布ｇ４とを統合したガウス分布ｇ４´となる。
【００９５】
そして、統計解析装置１は、統合前パラメータ削除部４２によって、ガウス分布ｇ３の統計パラメータとガウス分布ｇ４の統計パラメータとを統計パラメータ記憶手段１０から削除し、統合パラメータ登録部４３によって、ガウス分布ｇ４´の統計パラメータ（統合パラメータ）を、統計パラメータ記憶手段１０に登録する。
【００９６】
次に、統計解析装置１は、５つめの信号系列として、訓練サンプルＤ５（９月９日の気温２５℃）が入力されると、図６（５）に示すように、気温２５℃を中心とするガウス分布ｇ５（共分散行列及び重み係数はガウス分布ｇ１と同じ）を生成し、そのガウス分布ｇ５の統計パラメータを統計パラメータ記憶手段１０に登録する。
【００９７】
ここでも、ガウス分布の最大個数（最大統計パラメータ数）が３を超過するため、統計パラメータ間の距離が最小となるガウス分布ｇ１の統計パラメータとガウス分布ｇ５の統計パラメータとを統合する。ここで統合された統計パラメータ（統合パラメータ）で特定されるガウス分布は、図６（５−２）に示すような気温２４．５℃を中心とし、面積がガウス分布ｇ１とガウス分布ｇ５とを統合したガウス分布ｇ５´となる。
【００９８】
そして、統計解析装置１は、ガウス分布ｇ１の統計パラメータとガウス分布ｇ５の統計パラメータとを統計パラメータ記憶手段１０から削除し、ガウス分布ｇ５´の統計パラメータ（統合パラメータ）を、統計パラメータ記憶手段１０に登録する。
【００９９】
このように、統計解析装置１は、逐次入力される訓練サンプル（信号系列）によって、天気予報に用いる混合モデル（ガウス混合モデル）を構築することができる。そして、このガウス混合モデルで表現される確率密度関数によって、ある気温における天候を推定することができる。
【０１００】
なお、ここでは、１次元のデータとして気温のみに着目したガウス混合モデルを構築したが、気圧等を付加したｎ次元のデータであっても、同様にガウス混合モデルを構築することができる。
【０１０１】
以上、統計解析装置１の具体的な動作の一例として、天気予報に用いる混合モデル（ガウス混合モデル）を構築する動作について説明したが、本発明は、統計分布を生成することができるデータ（信号系列）であれば、特にデータの内容は問わない。例えば、統計解析装置１は、画像認識技術において、訓練サンプルとして、複数の人物の顔の特徴量データを信号系列として入力し、その信号系列を統計解析することで映像内に登場する人物を識別するために用いる、ガウス混合モデルを構築することができる。
【０１０２】
【発明の効果】
以上説明したとおり、本発明に係る統計解析装置及び統計解析プログラムでは、以下に示す優れた効果を奏する。
【０１０３】
本発明によれば、入力された信号系列を逐次統計解析することで、クラスを識別するための混合モデルを構築することができる。また、混合モデルの構築を、逐次入力される信号系列に基づいて、混合モデルを構成する統計分布の中から、統計パラメータ間の距離が最も近くなる統計パラメータ同士を統合するだけの簡単な演算で実現することができる。これによって、混合モデル構築に要する演算負荷を軽減し、混合モデル構築に要する処理時間を高速化することができる。
【０１０４】
また、本発明によれば、個々の統計分布の統計パラメータを統合する際に、個々の統計パラメータを重み付き加重平均によって求めることが可能になり、統合された統計分布の精度を高めることができる。
【０１０５】
また、本発明によれば、入力される信号系列から、正規分布を生成し、その正規分布を特定する統計パラメータとして、平均ベクトルや、共分散行列を用いることが可能になる。これによって、個々の統計パラメータを統合する際に、平均ベクトルや共分散行列といった数少ないパラメータによって、統計分布を特定することができ、混合モデル構築に要する演算負荷を軽減することができる。
【０１０６】
さらに、本発明によれば、統計パラメータ間の距離が最も近くなる統計パラメータ対（距離最小パラメータ対）を探索する際に、２つの正規分布における平均ベクトルの差分と、共分散行列の和とによって定義される距離汎関数を用いることで、正規分布間の距離を正規分布の共分散を加味し、最も類似性の高い２つの正規分布を探索することができる。これによって、精度の高い混合モデルを構築することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る統計解析装置の全体構成を示すブロック図である。
【図２】本発明の実施の形態に係る統計解析装置の動作を示すフローチャートである。
【図３】ガウス混合モデルによるクラス識別手法を説明するための説明図である。
【図４】確率密度関数によってガウス混合モデルを近似して、クラス識別を行う処理を説明するための説明図である。
【図５】天気予報に用いるガウス混合モデルを構築するための、訓練サンプルの一例を示す図である。
【図６】本発明の実施の形態に係る統計解析装置で、天気予報に用いるガウス混合モデルを構築する動作を説明するための説明図である。
【符号の説明】
１ ……統計解析装置
１０……統計パラメータ記憶手段
２０……統計パラメータ登録手段
２１……統計パラメータ生成部（統計パラメータ生成手段）
２２……新規パラメータ登録部（新規パラメータ登録手段）
３０……距離最小パラメータ対探索手段
４０……統計パラメータ統合手段
４１……パラメータ統合部（パラメータ統合手段）
４２……統合前パラメータ削除部（統合前パラメータ削除手段）
４３……統合パラメータ登録部（統合パラメータ登録手段）
９ ……バス[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a statistical analysis apparatus, a statistical analysis method, and a statistical analysis program that construct a mixed model composed of a plurality of statistical distributions by analyzing statistical properties of an input signal sequence.
[0002]
[Prior art]
Conventionally, when an input signal sequence is classified into classes having a plurality of meanings, as a method for identifying whether the signal sequence is included in a specific class, a Bayes identification rule (Bayes linear identification) is used. Rules, a method for identifying based on Bayesian secondary identification rules), a method for identifying based on kernel functions such as Parzen estimation, a method for identifying based on k-nearest neighbor method, a Gaussian mixture model (GMM: Gaussian Mixture) There is a method of identifying based on (Model) (for example, see Non-Patent Document 1). In these methods, it is necessary to obtain a probability density function for each class and a distribution of the training samples in advance using a known finite number of samples called training samples.
[0003]
For example, a method for identifying a class based on Bayesian identification rules is to obtain a Gaussian distribution parameter (mean vector, covariance matrix) from a training sample as a probability density function that models each class in advance by a Gaussian distribution. Approximate. Then, the class having the maximum posterior probability value for the unknown sample (unknown sample) is identified as the class of the unknown sample. The identification boundary for identifying this class is a straight line in the Bayesian linear identification rule and a quadratic curve in the Bayes quadratic identification rule.
[0004]
In addition, the class identification method based on the kernel function covers the training sample with a small spread kernel function, approximates the probability density function of each class by the sum of these kernel functions, The class with the largest posterior probability value is identified as the class of the unknown sample. On the other hand, the method of identifying a class based on the k nearest neighbor method calculates the distance between an unknown sample and a training sample without using a probability density function, and has the largest number of classes among the nearest k samples. Is identified as a class of unknown samples.
[0005]
In addition, the class identification method based on the Gaussian mixture model approximates each class as a probability density function by a weighted average of multiple Gaussian distributions, and determines the class with the maximum posterior probability value for the unknown sample. Identify it as the class of its unknown sample. In this method, the class shape is expressed by parameters such as an average vector and a covariance matrix of a plurality of Gaussian distributions constituting a probability density function, and a weight coefficient for each Gaussian distribution. Note that these parameters are generally obtained by an EM algorithm (an algorithm for obtaining a local optimum solution by an iterative method for parameters that cannot be observed) or the like.
[0006]
[Non-Patent Document 1]
G. J. et al. McLachlan and K.M. E. By Basford, “Mixture models-Inference and applications to clustering”, Marcel Dekker, 1988.
[0007]
[Problems to be solved by the invention]
In the conventional technique, the method of identifying a class based on the Bayes identification rule is simple because the class is identified by extracting only the Gaussian distribution parameters (mean vector, covariance matrix) for the training sample in advance. A classifier can be constructed with a simple configuration. However, when the class shape does not follow a Gaussian distribution, particularly when the class shape is not a single peak, there is a problem that a modeling error becomes large.
[0008]
Moreover, in the method of identifying a class based on the kernel function or k nearest neighbor method, the class is identified by the identification boundary constituted by all training samples, so that modeling can be performed even when the class shape is complicated. Is possible. However, when a classifier is configured using this method, it is necessary to store all training data in the classifier, and there is a problem that memory consumption increases.
[0009]
In the method of class identification based on the Gaussian mixture model, each class is approximated by a probability density function using a weighted average of a plurality of Gaussian distributions. , And can be efficiently expressed by a small number of parameters such as a weight coefficient. However, in order to obtain these parameters, it is necessary to perform an iterative operation such as an EM algorithm, and there is a problem that a lot of calculation time is required.
[0010]
The present invention has been made in view of the problems as described above, and efficiently constructs a mixed model used for class identification by sequentially analyzing an input signal sequence statistically. Statistical analysis that made it possibleEquipment andThe purpose is to provide a statistical analysis program.
[0011]
[Means for Solving the Problems]
The present invention was created to achieve the above-mentioned object. First, the statistical analysis device according to
[0012]
According to this configuration, the statistical analysis device isFor each input signal sequence, a statistical parameter generation unit generates an average vector, a covariance matrix, and a weighting coefficient as statistical parameters, and a new parameter registration unit stores the statistical parameters generated by the statistical parameter generation unit. Register with the means.This allows statistical distribution(normal distribution)Only the parameter for specifying the shape of the signal is registered in the statistical parameter storage means, and the signal sequence can be expressed with a small parameter amount.
[0013]
A signal series is data that is a source of statistical distribution, and refers to a collection of one or more data that can generate a statistical distribution. The statistical parameter is a numerical value for specifying the statistical distribution,Mean vector, covariance matrix and weighting factorSay.
[0014]
Further, the statistical analysis device obtains the distance between the statistical parameters of the statistical distributions that are all combinations stored in the statistical parameter storage means by using the minimum distance parameter pair search means, and sets two sets of statistics that minimize the distance. Search for parameters (statistical parameter pairs). As a result, the statistical parameters of the two statistical distributions having the highest similarity are searched.
[0015]
Note that the distance between the statistical parameters is an index indicating how similar each parameter is in the two sets of statistical parameters, and is a numerical value represented by a difference amount between the parameters.
[0016]
And the statistical analysis deviceParameter integration meansBy integrating the statistical parameters (statistic parameter pairs) of the two statistical distributions searched by the distance minimum parameter pair search means,Generate integration parameters. As a result, a mixed model can be constructed with a simple operation that only integrates the statistical parameters of the most similar statistical distribution.
Further, the statistical analysis device deletes the first statistical parameter and the second statistical parameter from the statistical parameter storage unit by the pre-integration parameter deletion unit, and registers the integrated parameter as a statistical parameter in the statistical parameter storage unit by the integrated parameter registration unit. To do.
[0028]
further,Claim 2The statistical analysis program described inStatistical parameter for identifying a normal distribution that constitutes the mixed model in a clustering apparatus that identifies a class of signal sequences input based on a mixed model composed of a plurality of statistical distributionsEach time a signal sequence that is the original data of is inputThe aboveStatistical parametersGenerateTherefore, the computer is configured to function by the following means.
[0029]
That is, for each signal series, Mean vector, covariance matrix and weighting factorThe statistical parametersAsStatistical parameter generation means to be generated, and statistical parameters generated by the statistical parameter generation means are stored in the statistical parameter storage means.sign upNew parameter registration means, the number of statistical parameters stored in the statistical parameter storage means,PredeterminedWhen the maximum number of statistical parameters is exceeded,Mean vector μ for two statistical parameters i And μ j And the covariance matrix Σ i And Σ j And based on (μ i −μ j ) T (Σ i + Σ j ) -1 (Μ i −μ j ) [T is a transposed vector]A distance between all the statistical parameters stored in the statistical parameter storage means is obtained, and a statistical parameter pair that minimizes the distance is obtained.The first statistical parameter and the second statistical parameterThe minimum distance parameter pair search means for searching for, and searched by this distance minimum parameter pair search meansIn the first statistical parameter and the second statistical parameter, the respective weighting factors w r And w s To calculate the integrated weighting factor w ′ r And μ s The weighting factor w r And w s The integrated mean vector μ ′ is calculated by adding in accordance with the respective covariance matrix Σ r And Σ s ((W r (Σ r + Μ r μ r T ) + W s (Σ s + Μ s μ s T )) / W ′) − μ′μ ′ T By calculating the covariance matrix Σ ′ integrated by [T is a transposed vector],Parameter integration means for generating integrated parameters,First statistical parameter and second statistical parameterIs deleted from the statistical parameter storage means, and the integrated parameter is stored in the statistical parameter storage means as the statistical parameter.sign upIntegrated parameter registration means.
[0030]
According to such a configuration, the statistical analysis program generates a statistical parameter for identifying the statistical distribution of the input signal sequence by the statistical parameter generation unit, and registers the statistical parameter in the statistical parameter storage unit by the new parameter registration unit. (Remember.
[0031]
Then, the statistical analysis program obtains the distance between all the statistical parameters registered in the statistical parameter storage means by the distance minimum parameter pair search means, and searches for the statistical parameter pair having the minimum distance. For example, when the statistical distribution is a normal distribution, the distance between the statistical parameters of the normal distribution is calculated by a distance functional defined by the difference between the average vectors and the sum of the covariance matrix.
[0032]
And a statistical analysis program produces | generates the integrated parameter which integrated the statistical parameter of two statistical distribution with high similarity by a parameter integration means. Further, the statistical parameter before integration is deleted from the statistical parameter storage unit by the pre-integration parameter deletion unit, and the integrated parameter integrated by the parameter integration unit is registered (stored) in the statistical parameter storage unit by the integration parameter registration unit.
As a result, it is possible to construct a mixed model composed of a plurality of statistical distributions by a simple operation that only integrates statistical parameters of the most similar statistical distributions.
[0033]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(Configuration of statistical analysis equipment)
FIG. 1 is a block diagram showing a configuration of a statistical analysis apparatus according to the present invention. As shown in FIG. 1, the
The bus 9 is supplied with statistical parameter data, storage addresses of the statistical parameter storage means 10, and control signals such as write / read / erase.
[0034]
The statistical parameter storage means 10 stores a plurality of sets of statistical distribution parameters (statistical parameters), and is composed of a storage medium such as a hard disk.
Here, the statistical parameter indicates a parameter that uniquely specifies a plurality of statistical distributions (core functions) constituting the mixed model, and a weighting factor for each kernel function. For example, when the mixed model is a Gaussian Mixture Model (GMM) obtained by mixing M Gaussian distributions (normal distributions) as a statistical distribution, the statistical parameter is the k-th kernel function constituting the GMM. Mean vector μ of normal distributionkAnd the covariance matrix ΣkAnd the weighting factor for its normal distribution
wkPoint to.
[0035]
This statistical parameter (average vector μk, Covariance matrix ΣkAnd weighting factor wk), The probability density function p (X) based on the Gaussian mixture model when the n-dimensional random variable is X can be expressed by equation (1).
[0036]
[Expression 1]
The statistical
[0038]
The statistical parameter generation unit (statistic parameter generation unit) 21 generates a statistical parameter for specifying a statistical distribution for each input signal sequence, and notifies the new
[0039]
For example, when a Gaussian distribution (normal distribution) is used as the kernel function, the statistical
[0040]
[Expression 2]
In this equation (2), the mean vector t, the covariance matrix Σ0The weight coefficient “1”, that is, the parameter shown in the equation (3) is a statistical parameter P that specifies a statistical distribution that is a Gaussian distribution.
[0042]
[Equation 3]
The new parameter registration unit (new parameter registration unit) 22 registers the statistical parameter P generated by the statistical
[0044]
Further, the new
[0045]
The distance minimum parameter pair search means 30 receives from the statistical parameter storage means 10 two sets of statistical parameter pairs (Pi, Pj) To obtain the distance between the statistical parameters, and the statistical parameter pair (Pr, Ps).
[0046]
[Expression 4]
In this equation (4), d (Pi, Pj) Are two sets of statistical parameters PiAnd statistical parameter PjA function that expresses the distance between.
For example, if the statistical parameter is a parameter in a Gaussian mixture model, the statistical parameter Pi(Mean vector μi, Covariance matrix Σi, Weighting factor wi) And statistical parameter Pj(Mean vector μj, Covariance matrix Σj, Weighting factor wj) D (P)i, Pj) Is defined by the distance functional shown in equation (5).
T represents a transposed vector.
[0048]
[Equation 5]
As can be seen from equation (5), this distance functional is the covariance matrix (ΣiAnd Σj) Is larger, that is, the longer the tail of the normal distribution is, the closer the distance is, and the covariance matrix (ΣiAnd Σj) Is smaller, that is, the smaller the tail of the normal distribution is, the farther the distance is. As described above, the distance functional calculates a distance based not only on an actual distance but also on a covariance matrix of a normal distribution.
[0050]
Also, the statistical parameter pair (Pr, Ps) First statistical parameter Pr(Mean vector μr, Covariance matrix Σr, Weighting factor wr) And second statistical parameter Ps(Mean vector μs, Covariance matrix Σs, Weighting factor ws) And the first statistical parameter PrAnd the second statistical parameter PsIs a first storage address A which is an address in the statistical parameter storage means 10 registeredrAnd the second storage address AsIs notified to the statistical parameter integration means 40.
[0051]
The first storage address ArAnd the second storage address AsMay be the physical address of the statistical parameter storage means 10 or the first statistical parameter PrAnd the second statistical parameter PsIt may be an identifier (for example, a file name) that identifies
[0052]
The statistical
[0053]
The parameter integration unit (parameter integration unit) 41 includes a first statistical parameter P searched by the distance minimum parameter pair search unit 30.rAnd the second statistical parameter PsAre integrated into a statistical parameter of one statistical distribution to generate an integrated parameter P ′. The integrated parameter P ′ is notified to the integrated
For example, when the statistical parameter is a parameter in a Gaussian mixture model, the parameter integration unit 41, as shown in the equation (6), the first statistical parameter PrWeighting factor wrAnd the second statistical parameter PsWeighting factor wsIs added to calculate the weighting coefficient w ′ of the integrated parameter P ′.
[0054]
[Formula 6]
Further, the parameter integration unit 41 calculates the average vector (μrAnd μs) Is the weighting factor (wrAnd ws) To calculate the average vector μ ′ of the integrated parameters P ′.
[0056]
[Expression 7]
Further, the parameter integration unit 41 calculates the covariance matrix Σ as shown in the equation (8).rMean vector μrMatrix derived fromrμT) And the covariance matrix ΣsMean vector μsMatrix derived fromsμT) Is added to the weight coefficient (wrAnd ws), The matrix derived from the mean vector μ ′ (μ ′ (μ ′))T) Is subtracted to calculate the covariance matrix Σ ′ of the integrated parameter P ′.
[0058]
[Equation 8]
The pre-integration parameter deletion unit (pre-integration parameter deletion means) 42 receives the first statistical parameter P notified from the minimum distance parameter pair search means 30.rAnd the second statistical parameter PsThe first storage address A which is the storage address on the statistical parameter storage means 10rAnd the second storage address AsBased on the first statistical parameter P stored in the statistical parameter storage means 10rAnd the second statistical parameter PsIs to be deleted.
[0060]
In the pre-integration
[0061]
The integrated parameter registration unit (integrated parameter registration unit) 43 registers (stores) the integrated parameter P ′ notified from the parameter integration unit 41 in the statistical
[0062]
As described above, the configuration of the
[0063]
(Operation of statistical analyzer)
Next, the operation of the
[0064]
[Statistical parameter generation step]
First, the
[0065]
[New parameter registration step]
Then, the
[0066]
Here, it is determined whether or not the number of statistical parameters P registered in the statistical parameter storage means 10 exceeds a predetermined threshold value (maximum statistical parameter number) (step S3). When the threshold value is exceeded (S3; Yes), the process proceeds to step S4 in order to search for and integrate two statistical parameters that minimize the distance between the statistical parameters. On the other hand, if the number of statistical parameters P is less than the threshold value (S3; No), the process proceeds to step S8 without integrating the statistical parameters.
[0067]
[Distance minimum parameter pair search step]
In step S3, when the number of statistical parameters P is less than the threshold value, the
[0068]
[Parameter integration step]
The
[0069]
[Pre-integration parameter deletion step]
Furthermore, the
[0070]
[Integrated parameter registration step]
Further, the
[0071]
Then, it is determined whether or not all the input signal sequences have been processed (step S8). If there is an unprocessed signal sequence (S8; No), the process returns to step S1 and the operation is continued. If there is no unprocessed signal sequence (S8; Yes), this operation ends. In addition, although this step S8 has shown the operation | movement in case a signal sequence is input continuously, when the signal sequence is input discontinuously, for example, with a certain time interval, the signal sequence is Steps S1 to S7 are operated each time an input is made.
[0072]
Through the above steps, the statistical parameters are integrated into the mixed model composed of multiple statistical distributions for class identification by sequentially analyzing the signal sequence of one or more data that generate the statistical distribution. It can be constructed with simple operations.
[0073]
The mixed model constructed according to the present invention can classify (classify) unknown signal sequences into classes according to Bayes identification rules, which is a conventional method. That is, after a mixed model is constructed by the
[0074]
First, among the individual statistical distributions constituting the mixed model, the weighting coefficient (wk (c)) (V) is obtained from equation (9). Here, M represents the number of statistical distributions belonging to class c.
[0075]
[Equation 9]
If the probability density function of each class c is expressed by p (X | c) where the n-dimensional random variable is X, the class to which the unknown sample x belongs is unknown according to the Bayes identification rule. When the sample x is observed, c that maximizes the posterior probability P (c | x) that is the probability that the sample x belongs to the class c may be obtained. The posterior probability P (c | x) is added to the value of the probability density function p (x | c) of the sample x by the weight coefficient (wk (c)) Multiplied by the sum ν (c).
That is, according to the equation (10), the class to which the sample x belongs (decision class cest).
[0077]
[Expression 10]
As described above, the mixed model constructed by the statistical analysis device, the statistical analysis method, and the statistical analysis program according to the present invention is for identifying the class of the input signal (signal sequence) by a conventional method such as a Bayes identification rule. Can be used.
[0079]
(Example of building a mixed model for weather forecasting)
Next, as an example of a specific operation of the
[0080]
[Overview of mixed model]
First, an outline of a mixed model (Gaussian mixed model) used for weather forecast will be described with reference to FIGS. 3 and 4. Here, in order to simplify the explanation, two types of weather, fine weather and rain, and two factors that change the weather are temperature and pressure. In FIGS. 3 (a), (b), and (c), the weather corresponding to the air temperature and the atmospheric pressure is plotted with a circle mark for clear weather and a cross mark for rain according to a known finite number of samples (training samples). (Figs. 3 (a), (b), (c)) are used to determine which class (sunny or rainy) the weather belongs to at which temperature and pressure. Represents. Here, other class identification methods (FIGS. 3A and 3B) are also briefly described for comparison with the Gaussian mixture model.
[0081]
FIG. 3A represents a linear identification rule for identifying a class by a straight line. In this linear identification rule, a clear class and a rain class are separated by a straight line L1 in the figure, and an unknown sample (unknown sample) is determined to belong to the separated area. The weather is estimated (class is identified).
[0082]
FIG. 3B shows a Bayes identification rule for identifying a class by a Gaussian distribution. In this Bayes identification rule, classes are identified by a Gaussian distribution. Here, the Gaussian distribution which is a clear class is represented by F1, and the Gaussian distribution which is a rain class is represented by R1.
[0083]
FIG. 3C shows a state in which classes are identified by a Gaussian mixture model. The Gaussian mixture model is a complex class shape that is difficult to classify by the linear identification rule of FIG. 3A and the Bayes identification rule of FIG. 3B by a plurality of Gaussian distributions. Here, the Gaussian distribution which is a fine class is represented by F1, F2 and F3, and the Gaussian distribution which is a rain class is represented by R1, R2 and R3. As described above, the Gaussian mixture model can express a complicated class shape by a plurality of Gaussian distributions.
[0084]
FIG. 4 shows a graph obtained by approximating a plurality of Gaussian distributions with a probability density function in the Gaussian mixture model of FIG. In FIG. 4, for the sake of simplicity, a probability density function of clear or rain is expressed based only on the temperature, but in the three-dimensional coordinate system (x, y, z), the temperature, It is also possible to take the barometric pressure on the y coordinate and the probability of clear or rain on the z coordinate.
[0085]
FIG. 4A shows the relationship between the temperature and the probability of clear weather. FIG. 4B shows the relationship between the temperature and the probability of rain. Accordingly, for example, by comparing the probability P1 of sunnyness at the temperature T1 with the probability P2 of rain, it is possible to determine which class (sunny or rainy) the weather at the temperature T1 belongs to.
[0086]
[Building a mixed model]
Next, with reference to FIG. 1, FIG. 5, and 6, the operation | movement which the statistical-
[0087]
Hereinafter, an operation in which the
[0088]
First, when the training sample D1 (temperature of 24 ° C. on September 2) is input as the first signal series, the
[0089]
In addition, this Gaussian distribution g1 can be produced | generated by above-mentioned (2) Formula. At this time, the random variable X in the equation (2) is the temperature (one-dimensional data of only the temperature), and the average vector t is 24 ° C. (the average value because one-dimensional data is handled). Then, the statistical parameter of the Gaussian distribution g1 is registered (stored) in the statistical
[0090]
Next, when the training sample D2 (temperature of 22 ° C. on September 3) is input as the second signal series, the
[0091]
Further, when the training sample D3 (temperature of 18 ° C. on September 6) is input as the third signal series, the
[0092]
Next, when the training sample D4 (temperature of 17 ° C. on September 7) is input as the fourth signal series, the
[0093]
Here, since the maximum number of Gaussian distributions (maximum statistical parameter number) exceeds 3, the
[0094]
Here, since the distance between the statistical parameters of the Gaussian distribution g3 and the Gaussian distribution g4 is minimized, the parameter integration unit 41 generates an integrated parameter that integrates the statistical parameter of the Gaussian distribution g3 and the statistical parameter of the Gaussian distribution g4. . The Gaussian distribution specified by this integration parameter is a Gaussian distribution g4 ′ centered on an air temperature of 17.5 ° C. as shown in FIG. 6 (4-2), and the area is an integration of the Gaussian distribution g3 and the Gaussian distribution g4. .
[0095]
Then, the
[0096]
Next, when the training sample D5 (the temperature of 25 ° C. on September 9) is input as the fifth signal series, the
[0097]
Again, since the maximum number of Gaussian distributions (the maximum number of statistical parameters) exceeds 3, the statistical parameters of the Gaussian distribution g1 and the statistical parameters of the Gaussian distribution g5 that minimize the distance between the statistical parameters are integrated. The Gaussian distribution specified by the integrated statistical parameter (integrated parameter) is centered on an air temperature of 24.5 ° C. as shown in FIG. 6 (5-2), and the areas are Gaussian distribution g1 and Gaussian distribution g5. The integrated Gaussian distribution g5 ′ is obtained.
[0098]
Then, the
[0099]
As described above, the
[0100]
Although a Gaussian mixture model focusing on only the temperature is constructed as one-dimensional data here, a Gaussian mixture model can be constructed in the same manner even with n-dimensional data to which atmospheric pressure or the like is added.
[0101]
As described above, as an example of the specific operation of the
[0102]
【The invention's effect】
As explained above, statistical analysis according to the present inventionEquipment andThe statistical analysis program has the following excellent effects.
[0103]
BookAccording to the invention, a mixed model for identifying a class can be constructed by sequentially statistically analyzing an input signal sequence. In addition, building a mixed model is a simple operation that integrates the statistical parameters that make the distance between the statistical parameters closest to each other from the statistical distributions that make up the mixed model, based on the signal sequence that is input sequentially. Can be realized. As a result, it is possible to reduce the computation load required for building the mixed model and to speed up the processing time required for building the mixed model.
[0104]
Also bookAccording to the invention, when integrating the statistical parameters of individual statistical distributions, the individual statistical parameters can be obtained by weighted weighted average, and the accuracy of the integrated statistical distribution can be improved.
[0105]
Also bookAccording to the invention, it is possible to generate a normal distribution from an input signal sequence and use a mean vector or a covariance matrix as a statistical parameter for specifying the normal distribution. Thereby, when integrating the individual statistical parameters, the statistical distribution can be specified by a few parameters such as an average vector and a covariance matrix, and the calculation load required for constructing the mixed model can be reduced.
[0106]
In addition, bookAccording to the invention, when searching for a statistical parameter pair (distance minimum parameter pair) having the closest distance between the statistical parameters, it is defined by the difference between the mean vectors in the two normal distributions and the sum of the covariance matrices. By using the distance functional, it is possible to search for two normal distributions having the highest similarity by considering the distance between the normal distributions and the covariance of the normal distribution. Thereby, a highly accurate mixed model can be constructed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a statistical analysis apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing an operation of the statistical analysis apparatus according to the embodiment of the present invention.
FIG. 3 is an explanatory diagram for explaining a class identification method based on a Gaussian mixture model;
FIG. 4 is an explanatory diagram for explaining a process of class identification by approximating a Gaussian mixture model by a probability density function.
FIG. 5 is a diagram showing an example of a training sample for constructing a Gaussian mixture model used for weather forecasting.
FIG. 6 is an explanatory diagram for explaining an operation of constructing a Gaussian mixture model used for weather forecasting in the statistical analysis apparatus according to the embodiment of the present invention.
[Explanation of symbols]
1 ...... Statistical analysis device
10 ... Statistical parameter storage means
20 …… Statistical parameter registration means
21 ...... Statistical parameter generator (statistical parameter generator)
22 …… New parameter registration section (new parameter registration means)
30 ... Means for searching for minimum distance parameter pair
40 …… Statistical parameter integration means
41 …… Parameter integration unit (parameter integration means)
42 …… Parameter deletion part before integration (parameter deletion means before integration)
43 …… Integrated parameter registration unit (integrated parameter registration means)
9 …… Bus
Claims (2)
前記統計パラメータを記憶する統計パラメータ記憶手段と、
前記信号系列毎に、平均ベクトル、共分散行列及び重み係数を前記統計パラメータとして生成する統計パラメータ生成手段と、
この統計パラメータ生成手段で生成した統計パラメータを、前記統計パラメータ記憶手段に登録する新規パラメータ登録手段と、
前記統計パラメータ記憶手段に記憶された前記統計パラメータの数が、予め定められた最大統計パラメータ数を超過したときに、２つの統計パラメータにおける平均ベクトルμ ｉ 及びμ ｊ と、共分散行列Σ ｉ 及びΣ ｊ とに基づいて、（μ ｉ −μ ｊ ） Ｔ （Σ ｉ ＋Σ ｊ ） −１ （μ ｉ −μ ｊ ）〔Ｔは転置ベクトル〕を算出することで、前記統計パラメータ記憶手段に記憶されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対である第１統計パラメータ及び第２統計パラメータを探索する距離最小パラメータ対探索手段と、
この距離最小パラメータ対探索手段で探索された第１統計パラメータ及び第２統計パラメータにおいて、それぞれの重み係数ｗ ｒ 及びｗ ｓ を加算することにより統合した重み係数ｗ´を算出し、それぞれの平均ベクトルμ ｒ 及びμ ｓ を重み係数ｗ ｒ 及びｗ ｓ に応じて加算することにより統合した平均ベクトルμ´を算出し、それぞれの共分散行列Σ ｒ 及びΣ ｓ を（（ｗ ｒ （Σ ｒ ＋μ ｒ μ ｒ Ｔ ）＋ｗ ｓ （Σ ｓ ＋μ ｓ μ ｓ Ｔ ））／ｗ´）−μ´μ´ Ｔ 〔Ｔは転置ベクトル〕により統合した共分散行列Σ´を算出することで、統合パラメータを生成するパラメータ統合手段と、
前記第１統計パラメータ及び第２統計パラメータを前記統計パラメータ記憶手段から削除する統合前パラメータ削除手段と、
前記統合パラメータを前記統計パラメータとして前記統計パラメータ記憶手段に登録する統合パラメータ登録手段と、
を備えていることを特徴とする統計解析装置。 In a clustering apparatus for identifying a class of a signal sequence input based on a mixed model composed of a plurality of statistical distributions, a signal sequence serving as original data of statistical parameters for specifying a normal distribution constituting the mixed model is input. every time that, a statistical analyzer for generating the statistical parameters,
Statistical parameter storage means for storing the statistical parameters;
For each of the signal sequence, a statistical parameter generator means for generating mean vector, covariance matrix, and the weighting factor as the statistical parameters,
New parameter registration means for registering the statistical parameter generated by the statistical parameter generation means in the statistical parameter storage means,
When the number of statistical parameters stored in the statistical parameter storage means exceeds a predetermined maximum number of statistical parameters, the mean vectors μ i and μ j in the two statistical parameters, and the covariance matrix Σ i and Based on Σ j , (μ i −μ j ) T (Σ i + Σ j ) −1 (μ i −μ j ) [T is a transposed vector] is calculated and stored in the statistical parameter storage means. Distance minimum parameter pair search means for obtaining a distance between all the statistical parameters and searching for a first statistical parameter and a second statistical parameter that are a statistical parameter pair that minimizes the distance;
In the first statistical parameter and the second statistical parameter searched by the minimum distance parameter pair search means, the weighting factors w ′ integrated by calculating the weighting factors w r and w s are calculated, and the respective average vectors are calculated. An average vector μ ′ is calculated by adding μ r and μ s according to the weighting factors w r and w s , and the respective covariance matrices Σ r and Σ s are ((w r (Σ r + μ r μ r T) + w s ( Σ s + μ s μ s T)) / w') -μ'μ' T [T is the transpose vector] by calculating a covariance matrix Σ'that integrates with, generate an integrated parameter Parameter integration means to
Pre-integration parameter deletion means for deleting the first statistical parameter and the second statistical parameter from the statistical parameter storage means;
Integrated parameter registration means for registering the integrated parameter in the statistical parameter storage means as the statistical parameter;
A statistical analysis apparatus characterized by comprising:
前記信号系列毎に、平均ベクトル、共分散行列及び重み係数を前記統計パラメータとして生成する統計パラメータ生成手段、
この統計パラメータ生成手段で生成した統計パラメータを、統計パラメータ記憶手段に登録する新規パラメータ登録手段、
前記統計パラメータ記憶手段に記憶された前記統計パラメータの数が、予め定められた最大統計パラメータ数を超過したときに、２つの統計パラメータにおける平均ベクトルμ ｉ 及びμ ｊ と、共分散行列Σ ｉ 及びΣ ｊ とに基づいて、（μ ｉ −μ ｊ ） Ｔ （Σ ｉ ＋Σ ｊ ） −１ （μ ｉ −μ ｊ ）〔Ｔは転置ベクトル〕を算出することで、前記統計パラメータ記憶手段に記憶されている全ての統計パラメータ間の距離を求め、その距離が最小となる統計パラメータ対である第１統計パラメータ及び第２統計パラメータを探索する距離最小パラメータ対探索手段、
この距離最小パラメータ対探索手段で探索された第１統計パラメータ及び第２統計パラメータにおいて、それぞれの重み係数ｗ ｒ 及びｗ ｓ を加算することにより統合した重み係数ｗ´を算出し、それぞれの平均ベクトルμ ｒ 及びμ ｓ を重み係数ｗ ｒ 及びｗ ｓ に応じて加算することにより統合した平均ベクトルμ´を算出し、それぞれの共分散行列Σ ｒ 及びΣ ｓ を（（ｗ ｒ （Σ ｒ ＋μ ｒ μ ｒ Ｔ ）＋ｗ ｓ （Σ ｓ ＋μ ｓ μ ｓ Ｔ ））／ｗ´）−μ´μ´ Ｔ 〔Ｔは転置ベクトル〕により統合した共分散行列Σ´を算出することで、統合パラメータを生成するパラメータ統合手段、
前記第１統計パラメータ及び第２統計パラメータを前記統計パラメータ記憶手段から削除する統合前パラメータ削除手段、
前記統合パラメータを前記統計パラメータとして前記統計パラメータ記憶手段に登録する統合パラメータ登録手段、
として機能させることを特徴とする統計解析プログラム。 In a clustering apparatus for identifying a class of a signal sequence input based on a mixed model composed of a plurality of statistical distributions, a signal sequence serving as original data of statistical parameters for specifying a normal distribution constituting the mixed model is input. every time that, in order to generate the statistical parameters, the computer,
Statistical parameter generating means for generating an average vector, a covariance matrix and a weighting factor as the statistical parameters for each signal series,
New parameter registration means for registering the statistical parameter generated by the statistical parameter generation means in the statistical parameter storage means,
When the number of statistical parameters stored in the statistical parameter storage means exceeds a predetermined maximum number of statistical parameters, the mean vectors μ i and μ j in the two statistical parameters, and the covariance matrix Σ i and Based on Σ j , (μ i −μ j ) T (Σ i + Σ j ) −1 (μ i −μ j ) [T is a transposed vector] is calculated and stored in the statistical parameter storage means. Distance minimum parameter pair search means for finding a distance between all the statistical parameters and searching for a first statistical parameter and a second statistical parameter that are a statistical parameter pair that minimizes the distance;
In the first statistical parameter and the second statistical parameter searched by the minimum distance parameter pair search means, the weighting factors w ′ integrated by calculating the weighting factors w r and w s are calculated, and the respective average vectors are calculated. calculating an average vector μ'that integrates by addition depending on the mu r and mu s the weighting factor w r and w s, respectively the covariance matrix sigma r and Σ s ((w r (Σ r + μ r μ r T) + w s ( Σ s + μ s μ s T)) / w') -μ'μ' T [T is the transpose vector] by calculating a covariance matrix Σ'that integrates with, generate an integrated parameter Parameter integration means,
Pre-integration parameter deletion means for deleting the first statistical parameter and the second statistical parameter from the statistical parameter storage means;
Integrated parameter registration means for registering the integrated parameter in the statistical parameter storage means as the statistical parameter;
Statistical analysis program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002313611A JP3986008B2 (en) | 2002-10-29 | 2002-10-29 | Statistical analysis apparatus and statistical analysis program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002313611A JP3986008B2 (en) | 2002-10-29 | 2002-10-29 | Statistical analysis apparatus and statistical analysis program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004151797A JP2004151797A (en) | 2004-05-27 |
| JP3986008B2 true JP3986008B2 (en) | 2007-10-03 |
Family
ID=32458159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002313611A Expired - Fee Related JP3986008B2 (en) | 2002-10-29 | 2002-10-29 | Statistical analysis apparatus and statistical analysis program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3986008B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8009193B2 (en) * | 2006-06-05 | 2011-08-30 | Fuji Xerox Co., Ltd. | Unusual event detection via collaborative video mining |
-
2002
- 2002-10-29 JP JP2002313611A patent/JP3986008B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004151797A (en) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240144093A1 (en) | System and method for relational time series learning with the aid of a digital computer | |
| US11341424B2 (en) | Method, apparatus and system for estimating causality among observed variables | |
| CN114841257B (en) | Small sample target detection method based on self-supervision comparison constraint | |
| CN111553399A (en) | Feature model training method, device, equipment and storage medium | |
| US7783581B2 (en) | Data learning system for identifying, learning apparatus, identifying apparatus and learning method | |
| CN110942091B (en) | Semi-supervised few-sample image classification method for searching reliable abnormal data center | |
| CN110751027B (en) | Pedestrian re-identification method based on deep multi-instance learning | |
| JP6897749B2 (en) | Learning methods, learning systems, and learning programs | |
| JP5322111B2 (en) | Similar image search device | |
| CN114357221B (en) | Self-supervision active learning method based on image classification | |
| CN114510594A (en) | Traditional pattern subgraph retrieval method based on self-attention mechanism | |
| CN114299362A (en) | Small sample image classification method based on k-means clustering | |
| CN112270334A (en) | Few-sample image classification method and system based on abnormal point exposure | |
| CN113066528B (en) | Protein classification method based on active semi-supervised graph neural network | |
| CN112084944B (en) | Dynamic evolution expression recognition method and system | |
| US20210357695A1 (en) | Device and method for supporting generation of learning dataset | |
| CN113553326A (en) | Spreadsheet data processing method, device, computer equipment and storage medium | |
| JP3986008B2 (en) | Statistical analysis apparatus and statistical analysis program | |
| JP4827285B2 (en) | Pattern recognition method, pattern recognition apparatus, and recording medium | |
| WO2010134539A1 (en) | Feature value generating device, feature value generating method, feature value generating program, class determining device, class determining method, and class determining program | |
| CN115908923A (en) | Brain magnetic resonance image classification system based on attention-guided 3D neural network | |
| CN112200224B (en) | Medical image feature processing method and device | |
| CN114610941A (en) | Cultural relic image retrieval system based on comparison learning | |
| CN114596913A (en) | Protein folding identification method and system based on depth central point model | |
| CN113408546A (en) | Single-sample target detection method based on mutual global context attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070706 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140720 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |