JP7477859B2 - 計算機、計算方法及びプログラム - Google Patents

Description

本発明は、計算機、計算方法及びプログラムに関する。

機械学習によるパターン識別法が広い分野において用いられている。一般的なパターン識別法は、予め設定した複数のクラスの中から入力信号の識別がなされるため、学習時に想定されていないパターンの入力がされた場合に誤識別を起こす。これに対し、非特許文献１には、想定しないクラスに属する事後確率を推定するモデルが提示されている。非特許文献１によれば、平均値を同じくし、分散の異なる２つの正規分布の差分により余事象の分布を表現している。

K. Shima and T. Aoki, "A novel classification method with unlearned-class detection based on a gaussian mixture model," 2014 IEEE International Conference on Systems, Man, and Cybernetics (SMC), San Diego, CA, 2014, pp. 3747-3752.

しかしながら、非特許文献１に記載の手法は、学習データ数が少ないときにモデルパラメータを正しく求めることが困難である。これは、非特許文献１に記載の手法が、２つの正規分布の差によって余事象を表現するため、２つの正規分布の差が正数でなければならないなどの制約が生じるためである。
本開示の目的は、制約の少ないモデルにより、想定しないクラスに属する事後確率の推定を可能とするための計算機、計算方法及びプログラムを提供することにある。

本発明の第１の態様によれば、計算機は、特徴ベクトルと、複数のクラスに係る分布を表す複数の正規分布の確率密度関数とに基づいて第１中間ベクトルを生成する正規分布計算部と、前記特徴ベクトルと、前記正規分布に係る係数に基づく複数の二次関数とに基づいて第２中間ベクトルを生成する二次関数計算部と、前記第１中間ベクトルと前記第２中間ベクトルとの積に基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を算出する余事象尤度計算部と、を備える。

本発明の第２の態様によれば、第１の態様に係る計算機が、前記第１中間ベクトルに基づいて、前記複数のクラスそれぞれについて前記特徴ベクトルが属することの尤度であるクラス尤度を算出するクラス尤度計算部を備えるものであってよい。

本発明の第３の態様によれば、第２の態様に係る計算機において、前記余事象確率計算部は、前記第１中間ベクトルと前記第２中間ベクトルとの積と、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの事前確率とに基づいて、前記余事象尤度を算出し、前記クラス尤度計算部は、前記第１中間ベクトルと、前記事前確率の補確率とに基づいて、前記クラス尤度を算出するものであってよい。

本発明の第４の態様によれば、第１から第３の何れかの態様に係る計算機において、前記特徴ベクトルの次元数を拡張した変形特徴ベクトルを生成する次元拡張部と、前記正規分布計算部は、前記複数の正規分布の確率密度関数の対数を取った関数に、前記変形特徴ベクトルを代入することで、前記第１中間ベクトルを生成し、前記二次関数計算部は、前記複数の二次関数の対数を取った関数に、前記変形特徴ベクトルを代入することで、前記第２中間ベクトルを生成するものであってよい。

本発明の第５の態様によれば、第１から第４の何れかの態様に係る計算機が、特徴ベクトルと、前記複数のクラスのうち当該特徴ベクトルが属するクラスとの組み合わせからなる学習用データセットを用いて、前記複数の確率密度関数に係る係数を学習する学習部を備え、前記複数の二次関数は、学習された前記係数を用いて表されるものであってよい。

本発明の第６の態様によれば、第３の態様に係る計算機が、特徴ベクトルと、前記複数のクラスのうち当該特徴ベクトルが属するクラスとの組み合わせからなる学習用データセットを用いて、前記複数の確率密度関数に係る係数を学習する第１学習部と、前記事前確率を、前記学習用データセットに係る特徴ベクトルを、基前記クラス尤度計算部が正しく識別できた確率に基づいて決定する第２学習部とを備え、前記複数の二次関数は、学習された前記係数を用いて表されるものであってよい。

本発明の第７の態様によれば、計算機は、複数のクラスに係る分布を表す複数の正規分布の確率密度関数を算出するクラス分布特定部と、前記複数の確率密度関数のそれぞれと、当該確率密度関数に係る係数に基づく二次関数との積によって表される複数の余事象分布関数によって、前記複数のクラスのいずれにも属しないアイテムの分布を示す混合余事象分布関数を生成する余事象分布特定部とを備える。

本発明の第８の態様によれば、計算方法は、計算機が、特徴ベクトルと、複数のクラスに係る分布を表す複数の正規分布の確率密度関数とに基づいて第１中間ベクトルを生成するステップと、前記計算機が、前記特徴ベクトルと、前記正規分布に係る係数に基づく複数の二次関数とに基づいて第２中間ベクトルを生成するステップと、前記計算機が、前記第１中間ベクトルと前記第２中間ベクトルとの積に基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を算出するステップと、を備える。

本発明の第９の態様によれば、プログラムは、計算機に、特徴ベクトルと、複数のクラスに係る分布を表す複数の正規分布の確率密度関数とに基づいて第１中間ベクトルを生成するステップと、前記特徴ベクトルと、前記正規分布に係る係数に基づく複数の二次関数とに基づいて第２中間ベクトルを生成するステップと、前記第１中間ベクトルと前記第２中間ベクトルとの積に基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を算出するステップと、を実行させる。

本発明の第１０の態様によれば、プログラムは、特徴ベクトルと、複数のクラスに係る分布を表す複数の正規分布の確率密度関数とに基づいて第１中間ベクトルを生成する正規分布計算部と、前記特徴ベクトルと、前記正規分布に係る係数に基づく複数の二次関数とに基づいて第２中間ベクトルを生成する二次関数計算部と、前記第１中間ベクトルと前記第２中間ベクトルとの積に基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を算出する余事象尤度計算部と、のそれぞれをハードウェアとして構成させるコンフィグレーションの処理をコンピュータに実行させる。

上記態様のうち少なくとも１つの態様によれば、余事象を正規分布と二次関数の積によって表すことができるため、制約の少ないモデルにより、想定しないクラスに属する事後確率の推定が可能となる。

第１の実施形態に係るクラス識別システム１の構成を示す概略ブロック図である。 第１の実施形態に係る余事象分布関数の例を示すグラフである。 第１の実施形態に係る数理モデルの構造を示す図である。 第１の実施形態に係る学習装置２０の構成を示す概略ブロック図である。 第１の実施形態に係る学習装置２０の動作を示すフローチャートである。 第１の実施形態に係る識別装置１０の構成を示す概略ブロック図である。 第１の実施形態に係る識別装置１０の動作を示すフローチャートである。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

〈第１の実施形態〉
《クラス識別システム１》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係るクラス識別システム１の構成を示す概略ブロック図である。クラス識別システム１は、複数のクラスの中から入力信号が属するクラスを識別するためのシステムである。クラス識別システム１は、学習段階において設定された複数の既知クラスと、当該複数の既知クラスのいずれにも属しないことを示す余事象クラスについて、入力信号の尤度を計算する。

クラス識別システム１は、識別装置１０と学習装置２０とを備える。識別装置１０は、学習装置２０によって訓練された学習済みモデルを用いて、入力信号が属するクラスを識別する。学習装置２０は、学習用データセットを用いて数理モデルを訓練する。識別装置１０および学習装置２０は、計算機の一例である。学習済みモデルとは、数理モデルと、訓練によって決定されたパラメータの組み合わせである。

《数理モデルについて》
第１の実施形態に係る数理モデルについて説明する。
第１の実施形態に係るクラス識別システム１は、混合正規分布モデル（Gaussian Mixture Model：ＧＭＭ）によって既知クラスの分布を表し、以下に示す混合余事象分布モデル（Complementary Gaussian Mixture Model：ＣＧＭＭ）によって余事象クラスの分布を表す。

《既知クラスのＧＭＭ》
既知クラスの数がＫ個である場合、各既知クラスは、ＧＭＭにより、以下の式（１）によって表される。すなわち、第１の実施形態において、信号ｘ_ｎの既知クラスｋにおける生起確率ｆ（ｘ_ｎ）は、以下の式（１）によって表される。

ここで、Ｍ_ｋは、ＧＭＭにおいて既知クラスｋを表す正規分布コンポーネントの数を示す。また、α_ｋ、ｍは、既知クラスｋのｍ番目の正規分布コンポーネントの混合度を示す。
ｇ（ｘ_ｎ：μ^{（ｋ，ｍ）}，Σ^{（ｋ，ｍ）}）は、式（２）で表される正規分布コンポーネントを示す。μ^{（ｋ，ｍ）}は、既知クラスｋのｍ番目の正規分布コンポーネントの平均値ベクトルを示し、Σ^{（ｋ，ｍ）}は、既知クラスｋのｍ番目の正規分布コンポーネントの共分散行列を示す。
また、式（２）のｑ（ｘ_ｎ）は、既知クラスｋのｍ番目の正規分布コンポーネントにおける信号ｘ_ｎの偏差を変数とする二次関数を示す。

このとき、既知クラスｋの事後確率ｐ（ｋ｜ｘ_ｎ）は、以下の式（５）で表される。

《余事象クラスのＣＧＭＭ》
発明者らは、既知クラスの数がＫ個である場合における余事象クラスを、以下の式（６）として定義した。すなわち、第１の実施形態において、信号ｘ_ｎがいずれの既知クラスｋにも属しない確率ｆ^ｃ（ｘ_ｎ）は、以下の式（６）によって表される。

関数ｈ（ｘ_ｎ：μ^{（ｋ，ｍ）}，Σ^{（ｋ，ｍ）}）は、式（７）で表される余事象分布を示す。すなわち、余事象分布関数ｈ（ｘ_ｎ：μ^{（ｋ，ｍ）}，Σ^{（ｋ，ｍ）}）は、信号ｘ_ｎが既知クラスｋのｍ番目の正規分布コンポーネントに従わない確率を示す。なお、Ｄは、信号ｘ_ｎの次元数である。ここで、式（３）で表されるように、正規分布関数が関数ｇ（ｘ_ｎ）で表され、二次関数が関数ｑ（ｘ_ｎ）で表されることから、余事象分布関数ｈ（ｘ_ｎ）は、分散Σを持つ正規分布関数と、当該正規分布関数と中心を同じくする二次関数との積によって表される。
図２は、第１の実施形態に係る余事象分布関数の例を示すグラフである。図２の横軸は信号ｘ_ｎの値であり、縦軸は生起確率を示す。図２に示すように、正規分布関数ｇ（ｘ）に二次関数ｑ（ｘ）を乗算することで、既知クラスｋのｍ番目の正規分布コンポーネントの周りに信号が分布するドーナツ状の分布を表すことができる。

《既知クラスおよび余事象クラスのモデル》
これらを総合し、信号ｘ_ｎのＫ個の既知クラスおよび１個の余事象クラスにおける生起確率Ｆ（ｘ_ｎ）は、以下の式（８）によって表される。以下、余事象クラスをｋ＝０のクラスとして表す。

ここで、β_ｋ，ｍは既知クラスｋのｍ番目の正規分布コンポーネントに対応する余事象分布の混合度を示す。またｐ（ｋ＝０）は、余事象クラスの事前確率を示す。

このとき、既知クラスおよび余事象クラスの事後確率ｐ´（ｋ｜ｘ_ｎ）は、以下の式（９）で表される。

これにより、以下のパラメータθを求めることで、既知クラスに属さないことを示す余事象クラスを含めたクラス識別を行うことができる。パラメータθは、余事象クラスの事前確率ｐ（ｋ＝０）、混合度α、混合度β、平均値μ、共分散行列Σ、および重み係数εを含む。なお、確率（１－ｐ（ｋ＝０））、すなわち余事象クラスの事前確率の補確率は、既知クラスの何れかに属することの事前確率を表す。

《対数線形化》
ここで、上記のパラメータθの制約を緩和するため、上記のＣＧＭＭを対数線形化する。既知クラスのＧＭＭを構成する複数の正規分布コンポーネントの対数をＹ_ｎ ^{（ｋ，ｍ）}とおくと、当該関数Ｙ_ｎ ^{（ｋ，ｍ）}は、以下の式（１０）のように表される。

ここで、δ_ｉ，ｊは、クロネッカーのδ（ｉ＝ｊのときδ_ｉ，ｊ＝１、ｉ≠ｊのときδ_ｉ，ｊ＝０）を示す。信号ｘ_ｎから非線形変換された信号Ｘ_ｎの次元数は、１＋Ｄ（Ｄ＋３）／２である。コンポーネントを式（１０）のように、信号と係数ベクトルｗ^{（ｋ，ｍ）}の積として表すことで、パラメータの制約を低減することができる。

また、信号Ｘ_ｎを用いることで、複数の余事象分布コンポーネントβ_ｋ，ｍｈ（ｘ_ｎ）は、以下の式（１４）のように表される。

なお、式（１７）で示されるω_０ ^{（ｋ，ｍ）}は、式（１３）で示されるｗ_０ ^{（ｋ，ｍ）}の第１項と等しい。つまり、ω^{（ｋ，ｍ）}は、式（１２）で示されるｗ^{（ｋ，ｍ）}から導出される。

ここで、余事象分布コンポーネントの対数をＺ_ｎ ^{（ｋ，ｍ）}とおくと、式（９）に当てはめることで、Ｘ_ｎの関数としての事後確率ｐ´（ｋ｜Ｘ_ｎ）を、以下の式（１９）で表すことができる。

式（１８）によれば、以下のパラメータθ´を求めることで、既知クラスに属さないことを示す余事象クラスを含めたクラス識別を行うことができる。パラメータθ´は、余事象クラスの事前確率ｐ（ｋ＝０）、重み係数ｗ^{（ｋ、ｍ）}、重み係数ω^{（ｋ、ｍ）}、および重み係数Ｃ^{（ｋ、ｍ）}を含む。

《数理モデルのネットワーク構造》
以下、式（１８）に示される事後確率を表す数理モデルの構成について説明する。図３は、第１の実施形態に係る数理モデルの構造を示す図である。図３に示すように、数理モデル９０は、５層のフィードフォワード型ネットワークである。つまり、数理モデル９０は、第１層９１、第２層９２、第３層９３、第４層９４および第５層９５を備える。

数理モデル９０の第１層９１は、式（１１）による非線形変換により得られたベクトルＸ_ｎの入力を受け付ける。ベクトルＸ_ｎは、特徴ベクトルの一例である。つまり、第１層９１のノード数は、信号Ｘ_ｎの次元数（１＋Ｄ（Ｄ＋３）／２）と等しい。第１層９１の各ノードは、入力された値をそのまま出力する。すなわち、第１層９１のｈ番目のノードの入力値^（１）Ｉ_ｈは、以下の式（２０）に示すとおりであり、第１層９１のｈ番目のノードの出力値^（１）Ｏ_ｈは、以下の式（２１）に示すとおりである。

数理モデル９０の第２層９２は、２×Ｋ×Ｍ個のノードを有する。第２層９２は、Ｋ×Ｍ個のノードを有する正規分布計算部９２Ａと、Ｋ×Ｍ個のノードを有する二次関数計算部９２Ｂとからなる。

正規分布計算部９２Ａの各ノードは、正規分布コンポーネントを表す。正規分布計算部９２Ａのうちｋ番目のクラスのｍ番目の正規分布コンポーネントを表すノードは、第１層９１の出力ベクトルすなわち信号Ｘ_ｎの各要素と重み係数ｗ_ｈ ^{（ｋ、ｍ）}の総和を入力値として受け付け、当該入力値をネイピア数ｅの指数とした値を出力する。すなわち、正規分布計算部９２Ａのｋ×ｍ番目のノードの入力値^（２Ａ）Ｉ_ｋ，ｍは、以下の式（２２）に示すとおりであり、正規分布計算部９２Ａのｋ×ｍ番目のノードの出力値^（２Ａ）Ｏ_ｋ，ｍは、以下の式（２３）に示すとおりである。

二次関数計算部９２Ｂの各ノードは、余事象分布コンポーネントの二次関数の項を表す。二次関数計算部９２Ｂのうちｋ×ｍ番目のノードは、第１層９１の出力ベクトルの各要素と重み係数ω_ｈ ^{（ｋ、ｍ）}の総和を入力値として受け付け、当該入力値を出力する。すなわち、二次関数計算部９２Ｂのｋ×ｍ番目のノードの入力値^（２Ｂ）Ｉ_ｋ，ｍは、以下の式（２４）に示すとおりであり、二次関数計算部９２Ｂのｋ×ｍ番目のノードノードの出力値^（２Ｂ）Ｏ_ｋ，ｍは、以下の式（２５）に示すとおりである。

数理モデル９０の第３層９３は、２×Ｋ×Ｍ個のノードを有する。第３層９３は、Ｋ×Ｍ個のノードを有する対数計算部９３Ａと、Ｋ×Ｍ個のノードを有する余事象対数計算部９３Ｂとからなる。

対数計算部９３Ａの各ノードは、正規分布コンポーネントの対数Ｙ_ｎ ^{（ｋ，ｍ）}を表す。対数計算部９３Ａのうちｋ×ｍ番目のノードは、正規分布計算部９２Ａのｋ×ｍ番目のノードの出力値を受け付け、当該入力値の対数を出力する。すなわち、対数計算部９３Ａのｋ×ｍ番目のノードの入力値^（３Ａ）Ｉ_ｋ，ｍは、以下の式（２６）に示すとおりであり、対数計算部９３Ａのｋ×ｍ番目のノードの出力値^（３Ａ）Ｏ_ｋ，ｍは、以下の式（２７）に示すとおりである。

余事象対数計算部９３Ｂの各ノードは、余事象分布コンポーネントの対数Ｚ_ｎ ^{（ｋ，ｍ）}を表す。余事象対数計算部９３Ｂのうちｋ×ｍ番目のノードは、正規分布計算部９２Ａのｋ×ｍ番目のノードと二次関数計算部９２Ｂのｋ×ｍ番目のノードの出力値と重み係数Ｃ^{（ｋ，ｍ）}の積の入力を受け付ける。つまり、ｋ×ｍ番目のノードの入力値は、上記の式（１４）の右辺に相当する。そして、余事象対数計算部９３Ｂのうちｋ×ｍ番目のノードは、当該入力値の対数を出力する。すなわち、余事象対数計算部９３Ｂのｋ×ｍ番目のノードの入力値^（３Ｂ）Ｉ_ｋ，ｍは、以下の式（２８）に示すとおりであり、余事象対数計算部９３Ｂのｋ×ｍ番目のノードの出力値^（３Ｂ）Ｏ_ｋ，ｍは、以下の式（２９）に示すとおりである。

数理モデル９０の第４層９４は、２×Ｋ×Ｍ個のノードを有する。第４層９４は、Ｋ×Ｍ個のノードを有するクラスコンポーネント計算部９４Ａと、Ｋ×Ｍ個のノードを有する余事象コンポーネント計算部９４Ｂとからなる。

クラスコンポーネント計算部９４Ａのｋ×ｍ番目のノードの入力値^（４Ａ）Ｉ_ｋ，ｍは、以下の式（３０）に示すとおりであり、クラスコンポーネント計算部９４Ａのｋ×ｍ番目のノードの出力値^（４Ａ）Ｏ_ｋ，ｍは、以下の式（３１）に示すとおりである。つまり、クラスコンポーネント計算部９４Ａは、式（１８）のｋ≠０の計算を実現する。

余事象コンポーネント計算部９４Ｂのｋ×ｍ番目のノードの入力値^（４Ｂ）Ｉ_ｋ，ｍは、以下の式（３３）に示すとおりであり、余事象コンポーネント計算部９４Ｂのｋ×ｍ番目のノードの出力値^（４Ｂ）Ｏ_ｋ，ｍは、以下の式（３４）に示すとおりである。つまり、クラスコンポーネント計算部９４Ａは、式（１８）のｋ＝０の計算を実現する。

数理モデル９０の第５層９５は、Ｋ＋１個のノードを有する。第５層９５は、Ｋ個のノードを有する既知クラス尤度計算部９５Ａと、１個のノードを有する余事象尤度計算部９５Ｂとからなる。

既知クラス尤度計算部９５Ａのｋ番目のノードの入力値^（５Ａ）Ｉ_ｋは、クラスコンポーネント計算部９４Ａのｋ番目のコンポーネントに対応するノードの出力値の総和の入力を受け付け、当該入力値を出力する。すなわち、既知クラス尤度計算部９５Ａのｋ番目のノードの入力値^（５Ａ）Ｉ_ｋ，ｍは、以下の式（３５）に示すとおりであり、クラスコンポーネント計算部９４Ａのｋ番目のノードの出力値^（５Ａ）Ｏ_ｋ，ｍは、以下の式（３６）に示すとおりである。

余事象尤度計算部９５Ｂのノードの入力値^（５Ｂ）Ｉは、余事象コンポーネント計算部９４Ｂのすべてのノードの出力値の総和の入力を受け付け、当該入力値を出力する。すなわち、余事象尤度計算部９５Ｂのノードの入力値^（５Ｂ）Ｉは、以下の式（３７）に示すとおりであり、余事象尤度計算部９５Ｂのノードの出力値^（５Ｂ）Ｏは、以下の式（３８）に示すとおりである。

このように、上述した数理モデル９０により、Ｋ個の既知クラスおよび１個の余事象クラスのそれぞれについての信号ｘ_ｎの尤度の計算を表すことができる。

《学習装置２０の構成》
ここで、図１に示すクラス識別システム１が備える学習装置２０の構成について説明する。学習装置２０は、数理モデル９０を訓練し、各ノードのパラメータの値を決定する。
図４は、第１の実施形態に係る学習装置２０の構成を示す概略ブロック図である。学習装置２０は、モデル記憶部２１、データセット受付部２２、分割部２３、変換部２４、第１学習部２５、評価部２６、第２学習部２７、出力部２８を備える。

モデル記憶部２１は、数理モデル９０および当該モデルのパラメータの値を記憶する。数理モデル９０のパラメータは、余事象クラスの事前確率ｐ（ｋ＝０）、重み係数ｗ^{（ｋ、ｍ）}、重み係数ω^{（ｋ、ｍ）}、および重み係数Ｃ^{（ｋ、ｍ）}である。
データセット受付部２２は、数理モデル９０の訓練に用いる複数のデータセットの入力を受け付ける。データセットは、信号ｘ_ｎを入力サンプルとし、当該信号ｘ_ｎが属するクラスのラベルを出力サンプルとする。

分割部２３は、データセット受付部２２が受け付けた複数のデータセットを、学習用データセットと検証用データセットに分割する。例えば、分割部２３は、予め定められた分割割合に基づいてデータセットを分割する。

変換部２４は、式（１１）に従って、入力サンプルｘ_ｎを非線形変換し、信号Ｘ_ｎを得る。

第１学習部２５は、Ｎ個の学習用データセットを用いて、誤差逆伝搬法により、数理モデル９０の重み係数ｗ^{（ｋ、ｍ）}、重み係数ω^{（ｋ、ｍ）}、および重み係数Ｃ^{（ｋ、ｍ）}の値を更新する。具体的には、入力サンプルを数理モデル９０に入力して計算される出力値と、出力サンプルの値とに基づいて、あるサンプルにおける識別誤差を計算する。例えば、第１学習部２５は、以下の式（３９）により、識別誤差を評価するカルバックライブラ情報量Ｊを得る。第１学習部２５は、カルバックライブラ情報量Ｊが最小となるように重み係数ｗ^{（ｋ、ｍ）}、重み係数ω^{（ｋ、ｍ）}、および重み係数Ｃ^{（ｋ、ｍ）}の値を更新する。第１学習部２５は、カルバックライブラ情報量Ｊが予め定めた目標値以下となるか、学習回数が予め定めた最大数を超えた場合に、重み係数の更新を終了する。なお、事前確率ｐ（ｋ＝０）については、後述の第２学習部２７にて更新するため、他の重み係数の学習段階では、事前確率ｐ（ｋ＝０）に仮の値（例えば、０．０１）を代入しておく。

評価部２６は、第１学習部２５による数理モデル９０の訓練後、検証用データセットを用いて数理モデル９０を評価する。つまり、評価部２６は、数理モデル９０に従って計算をすることで、正規分布計算部９２Ａ、二次関数計算部９２Ｂ、対数計算部９３Ａ、余事象対数計算部９３Ｂ、クラスコンポーネント計算部９４Ａ、余事象コンポーネント計算部９４Ｂ、既知クラス尤度計算部９５Ａ、および余事象尤度計算部９５Ｂとして機能する。具体的には、評価部２６は、以下の式（４０）を用いて評価値Ｐ_{Ｒｅｃａｌｌ}を算出する。

ここで、Φ_ｋは、クラスｋの入力サンプルを正しく識別できた数を示す。Ψ_ｋは、クラスｋの入力サンプルを誤って識別した数を示す。

第２学習部２７は、評価値Ｐ_{Ｒｅｃａｌｌ}に基づいて学習処理を終了するか否かを判定し、学習を終了しない場合に、余事象クラスの事前確率ｐ（ｋ＝０）を更新する。具体的には、第２学習部２７は、現在の余事象クラスの事前確率ｐ（ｋ＝０）に、所定の更新量ｐ_０を加算することで、余事象クラスの事前確率ｐ（ｋ＝０）を更新する。
第２学習部２７は、評価値Ｐ_{Ｒｅｃａｌｌ}と、新たな事前確率を適用した場合の評価値との差が所定の終了判定閾値以下である場合に、学習処理を終了すると判定する。

出力部２８は、学習処理を終了した数理モデル９０の学習済みモデルを、識別装置１０に出力する。

《学習装置２０の動作》
図５は、第１の実施形態に係る学習装置２０の動作を示すフローチャートである。
学習装置２０のデータセット受付部２２が複数のデータセットの入力を受け付けると（ステップＳ１）、分割部２３は、複数のデータセットを、学習用データセットと検証用データセットに分割する（ステップＳ２）。

変換部２４は、複数の入力サンプルを非線形変換し入力信号を得る（ステップＳ３）。次に、第１学習部２５は、学習用データセットから変換された入力信号を用いて、誤差逆伝搬法により、数理モデル９０の重み係数ｗ^{（ｋ、ｍ）}、重み係数ω^{（ｋ、ｍ）}、および重み係数Ｃ^{（ｋ、ｍ）}の値を更新する（ステップＳ４）。第１学習部２５は、式（３９）で得られる識別誤差Ｊが目標値以下となったか否か、および学習回数が最大数を超えたか否かを判定する（ステップＳ５）。識別誤差Ｊが目標値より大きく、かつ学習回数が最大数未満である場合（ステップＳ５：ＮＯ）、学習装置２０はステップＳ３に処理を戻す。

他方、識別誤差Ｊが目標値以下となった場合、または学習回数が最大数を超えた場合（ステップＳ５：ＹＥＳ）、第１学習部２５は、重み係数の更新を終了する。次に、評価部２６は、検証用データセットから変換された入力信号を用いて数理モデル９０の評価値Ｐ_{Ｒｅｃａｌｌ}を算出する（ステップＳ６）。第２学習部２７は、ステップＳ６で算出した評価値Ｐ_{Ｒｅｃａｌｌ}が予め定めた識別率の許容閾値以下となったか否かを判定する（ステップＳ７）。

評価値Ｐ_{Ｒｅｃａｌｌ}が許容閾値より大きい場合場合（ステップＳ７：ＮＯ）、評価部２６は、余事象クラスの事前確率ｐ（ｋ＝０）を更新し、ステップＳ６に処理を戻す（ステップＳ８）。
他方、評価値Ｐ_{Ｒｅｃａｌｌ}が許容閾値以下となった場合（ステップＳ７：ＹＥＳ）、出力部２８は、学習処理を終了した数理モデル９０の学習済みモデルを、識別装置１０に出力する（ステップＳ９）。

《識別装置１０の構成》
ここで、図１に示すクラス識別システム１が備える識別装置１０の構成について説明する。識別装置１０は、学習装置２０によって訓練された学習済みの数理モデル９０を用いて、入力データのクラスを識別する。
図６は、第１の実施形態に係る識別装置１０の構成を示す概略ブロック図である。識別装置１０は、モデル取得部１１、モデル記憶部１２、データ入力部１３、変換部１４、識別部１５、出力部１６を備える。

モデル取得部１１は、学習装置２０から学習済みの数理モデル９０を取得する。モデル取得部１１は、取得した学習済みの数理モデル９０をモデル記憶部１２に記録する。
モデル記憶部１２は、モデル取得部１１が取得した学習済みの数理モデル９０を記憶する。
データ入力部１３は、クラスの識別対象となる入力データの入力を受け付ける。
変換部１４は、式（１１）に従って、入力データｘ_ｎを非線形変換し、信号Ｘ_ｎを得る。
識別部１５は、変換部１４が変換した信号Ｘ_ｎをモデル記憶部１２が記憶する学習済みモデルに入力することで、当該信号Ｘ_ｎの複数のクラスの尤度を算出し、当該尤度に基づいて、入力データが属するクラスを評価する。つまり、識別部１５は、数理モデル９０に従って計算をすることで、正規分布計算部９２Ａ、二次関数計算部９２Ｂ、対数計算部９３Ａ、余事象対数計算部９３Ｂ、クラスコンポーネント計算部９４Ａ、余事象コンポーネント計算部９４Ｂ、既知クラス尤度計算部９５Ａ、および余事象尤度計算部９５Ｂとして機能する。
出力部１６は、識別部１５による評価結果を出力する。

《識別装置１０の動作》
図７は、第１の実施形態に係る識別装置１０の動作を示すフローチャートである。なお、以下の説明では、学習装置２０による学習済みの数理モデル９０は、モデル記憶部１２に既に記憶されているものとする。

識別装置１０のデータ入力部１３は、クラスの識別対象となる入力データの入力を受け付ける（ステップＳ１１）。次に、変換部１４は、式（１１）に従って、入力データを非線形変換し、信号を得る（ステップＳ１２）。識別部１５は、ステップＳ１２で変換した信号Ｘ_ｎをモデル記憶部１２が記憶する学習済みモデルに入力することで、当該信号Ｘ_ｎの複数のクラスの尤度を算出する（ステップＳ１３）。識別部１５は、算出された尤度に基づいて、入力データが属するクラスを評価する（ステップＳ１４）。出力部１６は、識別部１５による評価結果を出力する（ステップＳ１５）。

《作用・効果》
このように、第１の実施形態に係るクラス識別システム１によれば、識別装置１０は、Ｋ個のクラスに係る分布を表す複数の正規分布の確率密度関数とに基づいて第１中間ベクトルを生成する正規分布計算部９２Ａと、正規分布に係る係数に基づく複数の二次関数とに基づいて第２中間ベクトルを生成する二次関数計算部９２Ｂと、第１中間ベクトルと第２中間ベクトルとの積に基づいて、入力データがＫ個のクラスのいずれにも属しないことの尤度である余事象尤度を算出する余事象尤度計算部９５Ｂと、を備える数理モデル９０を用いた演算を行う。
このように、識別装置１０は、正規分布と二次関数の積によって余事象尤度を表すため、計算に用いるパラメータの制約を少なくすることができる。

以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

上述の実施形態においては、数理モデル９０を用いてクラス識別を行ったが、他の実施形態においては、これに限られない。例えば、他の実施形態においては、生成装置が数理モデル９０を用いて余事象クラスに属するデータを生成してもよい。
また、上述の実施形態においては、クラス識別システム１が機械学習を用いてクラス識別を行うが、これに限られない。例えば、他の実施形態においては、機械学習によらず、数理モデル９０を用いた計算を行ってもよい。

また、上述のクラス識別システム１は、識別装置１０と学習装置２０とを備えるが、これに限られない。例えば、他の実施形態に係るクラス識別システム１は、同一の装置において学習処理と識別処理を行ってもよい。
また、上述のクラス識別システム１は、学習段階のステップＳ２においてデータセットを学習用データセットと検証用データセットとに分割し、検証用データセットを用いて評価値を算出するが、これに限られない。例えば、他の実施形態においては、すべてのデータセットを学習用に用い、同じデータセットを用いて評価値を算出してもよい。

また、上述のクラス識別システム１は、式（９）の対数線形化によって得られる式（１８）に基づく数理モデル９０を用いてクラスの識別処理を行うが、これに限られない。例えば、他の実施形態に係るクラス識別システム１は、式（９）に基づく数理モデル９０を用いてクラスの識別処理を行ってもよい。

〈コンピュータ構成〉
図８は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ１００は、プロセッサ１１０、メインメモリ１３０、ストレージ１５０、インタフェース１７０を備える。
上述の識別装置１０および学習装置２０は、コンピュータ１００に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ１５０に記憶されている。プロセッサ１１０は、プログラムをストレージ１５０から読み出してメインメモリ１３０に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ１１０は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ１３０に確保する。プロセッサ１１０の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。

プログラムは、コンピュータ１００に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ１００は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ１１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。プロセッサ１１０がＦＰＧＡである場合、上述の学習済みの数理モデル９０をハードウェアとして構成させるコンフィグレーションの処理をコンピュータに実行させるためのコンフィグレーションプログラムの実行により、ＦＰＧＡが識別装置１０として機能するように構成される。

ストレージ１５０の例としては、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ１５０は、コンピュータ１００のバスに直接接続された内部メディアであってもよいし、インタフェース１７０または通信回線を介してコンピュータ１００に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ１００に配信される場合、配信を受けたコンピュータ１００が当該プログラムをメインメモリ１３０に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ１５０は、一時的でない有形の記憶媒体である。

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ１５０に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１ クラス識別システム
１０ 識別装置
１１ モデル取得部
１２ モデル記憶部
１３ データ入力部
１４ 変換部
１５ 識別部
１６ 出力部
２０ 学習装置
２１ モデル記憶部
２２ データセット受付部
２３ 分割部
２４ 変換部
２５ 第１学習部
２６ 評価部
２７ 第２学習部
２８ 出力部
９０ 数理モデル
９１ 第１層
９２ 第２層
９２Ａ 正規分布計算部
９２Ｂ 二次関数計算部
９３ 第３層
９３Ａ 対数計算部
９３Ｂ 余事象対数計算部
９４ 第４層
９４Ａ クラスコンポーネント計算部
９４Ｂ 余事象コンポーネント計算部
９５ 第５層
９５Ａ 既知クラス尤度計算部
９５Ｂ 余事象尤度計算部
１００ コンピュータ
１１０ プロセッサ
１３０ メインメモリ
１５０ ストレージ
１７０ インタフェース

Claims (10)

1. 特徴ベクトルと、複数のクラスに係る分布を表す複数の正規分布の確率密度関数とに基づいて第１中間ベクトルを生成する正規分布計算部と、
   前記特徴ベクトルと、前記正規分布に係る係数に基づく複数の二次関数とに基づいて第２中間ベクトルを生成する二次関数計算部と、
   前記第１中間ベクトルと前記第２中間ベクトルとの積に基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を算出する余事象尤度計算部と、
   を備える計算機。
2. 前記第１中間ベクトルに基づいて、前記複数のクラスそれぞれについて前記特徴ベクトルが属することの尤度であるクラス尤度を算出するクラス尤度計算部
   を備える請求項１に記載の計算機。
3. 前記余事象尤度計算部は、前記第１中間ベクトルと前記第２中間ベクトルとの積と、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの事前確率とに基づいて、前記余事象尤度を算出し、
   前記クラス尤度計算部は、前記第１中間ベクトルと、前記事前確率の補確率とに基づいて、前記クラス尤度を算出する
   請求項２に記載の計算機。
4. 前記特徴ベクトルの次元数を拡張した変換特徴ベクトルを生成する変換部と、
   前記正規分布計算部は、前記複数の正規分布の確率密度関数の対数を取った関数に、前記変換特徴ベクトルを代入することで、前記第１中間ベクトルを生成し、
   前記二次関数計算部は、前記複数の二次関数の対数を取った関数に、前記変換特徴ベクトルを代入することで、前記第２中間ベクトルを生成する
   請求項１から請求項３の何れか１項に記載の計算機。
5. 特徴ベクトルと、前記複数のクラスのうち当該特徴ベクトルが属するクラスとの組み合わせからなる学習用データセットを用いて、前記複数の確率密度関数に係る係数を学習する学習部
   を備え、
   前記複数の二次関数は、学習された前記係数を用いて表される
   請求項１から請求項４の何れか１項に記載の計算機。
6. 特徴ベクトルと、前記複数のクラスのうち当該特徴ベクトルが属するクラスとの組み合わせからなる学習用データセットを用いて、前記複数の確率密度関数に係る係数を学習する第１学習部と、
   前記事前確率を、前記学習用データセットに係る特徴ベクトルを、基前記クラス尤度計算部が正しく識別できた確率に基づいて決定する第２学習部と
   を備え、
   前記複数の二次関数は、学習された前記係数を用いて表される
   請求項３に記載の計算機。
7. 複数のクラスに係る分布を表す複数の正規分布の確率密度関数を算出するクラス分布特定部と、
   前記複数の確率密度関数のそれぞれと、当該確率密度関数に係る係数に基づく二次関数との積によって表される複数の余事象分布関数によって、前記複数のクラスのいずれにも属しないアイテムの分布を示す混合余事象分布関数を生成する余事象分布特定部と
   を備える計算機。
8. 計算機が、特徴ベクトルと、複数のクラスに係る分布を表す複数の正規分布の確率密度関数とに基づいて第１中間ベクトルを生成するステップと、
   前記計算機が、前記特徴ベクトルと、前記正規分布に係る係数に基づく複数の二次関数とに基づいて第２中間ベクトルを生成するステップと、
   前記計算機が、前記第１中間ベクトルと前記第２中間ベクトルとの積に基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を算出するステップと、
   を備える計算方法。
9. 計算機に、
   特徴ベクトルと、複数のクラスに係る分布を表す複数の正規分布の確率密度関数とに基づいて第１中間ベクトルを生成するステップと、
   前記特徴ベクトルと、前記正規分布に係る係数に基づく複数の二次関数とに基づいて第２中間ベクトルを生成するステップと、
   前記第１中間ベクトルと前記第２中間ベクトルとの積に基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を算出するステップと、
   を実行させるためのプログラム。
10. 特徴ベクトルと、複数のクラスに係る分布を表す複数の正規分布の確率密度関数とに基づいて第１中間ベクトルを生成する正規分布計算部と、
    前記特徴ベクトルと、前記正規分布に係る係数に基づく複数の二次関数とに基づいて第２中間ベクトルを生成する二次関数計算部と、
    前記第１中間ベクトルと前記第２中間ベクトルとの積に基づいて、前記特徴ベクトルが前記複数のクラスのいずれにも属しないことの尤度である余事象尤度を算出する余事象尤度計算部と、
    のそれぞれをハードウェアとして構成させるコンフィグレーションの処理をコンピュータに実行させるためのプログラム。

Images