JP5780516B2 - モデル縮減装置とその方法とプログラム - Google Patents

Description

この発明は、音声認識、機械翻訳、発話分類などの自然言語処理を含む統計的機械学習の分野において用いられるモデルのモデルパラメータの数を縮減するモデル縮減装置とその方法と、プログラムに関する。

例えば、自然言語処理において分類問題やランキング問題は極めて重要な問題である。分類問題は、ある単語列（サンプル）が事前に定義された有限個のクラスのうち、どれに分類されるかを推定する問題である。例えば、発話内容を、挨拶、質問、回答などにクラス分けする発話分類はこれに相当する。ランキング問題は、有限個のサンプルからなる集合が与えられた時に、各サンプルに対して、ある観点における順位を与える問題である。音声信号を単語列に変換する技術である音声認識や、機械翻訳はこれに相当するものと見なすことが出来る。

一般に、分類問題では、サンプルとクラスに応じたスコアが付与され、スコアの大きさに基づいて分類されるクラスを推定する。ランキング問題では、サンプルごとにスコアが付与され、スコアの大きさに基づいて順位が決定する。

スコアを付与するには、サンプルとクラスの組を、素性表現するための変換ルールが事前に定義されている必要がある。また、事前にモデルを用意しておく必要がある。

モデルとは、例えば音声認識であれば言語モデルであり、素性表現された入力（単語列、サンプル）に対して、スコアを返す関数のことである。ここでモデルを用意するとは、関数の型を決めた上で、そのパラメータの具体的な値を事前に決定しておくことである。統計的手法では、大量に集めた学習データを利用してモデルパラメータの値を決定する。

通常、モデルパラメータの値を決定するプロセス、つまり学習は簡単ではない。対称とする分野の専門的な知識や、大規模な計算システム、大量の学習データなどが必要である。そのため、分類やランキングを行う専門的な知識を持たない一般ユーザが、使用環境に合わせてモデルを学習することは現実的ではない。

専門家が汎用性の高いモデルを用意した場合、モデルパラメータ数が大きくなる場合がある。その場合、一般ユーザは、それに応じた規模の計算機を用意することを余儀なくされる。例えば、言語モデルは、隣り合う単語の組ごとに対応したパラメータをもつ。そのため、様々な語彙をサポートした汎用性の高い言語モデルを構築しようと考えた場合、パラメータの数は非常に大きくなる。つまり、モデルパラメータの数を縮減する装置や方法は、従来存在しなかった。

そのパラメータの数を減らす方法としては、非特許文献１に開示されたものが知られている。非特許文献１の方法は、ある観点において最適な、素性ベクトルの部分ベクトルを見つけることを目的としたものである。つまり新たにモデルパラメータの値を学習する必要がある。

北内敬、宇津呂武仁、松本裕二、「誤り駆動型の素性選択による日本語形態素解析の確率モデル学習」情報処理学会論文誌、Vol.40 No.5 May 1999

言語モデルを始めとする一部のモデルのパラメータ数は極めて大きい。しかし、これまで、例えば認識結果が極力変わらないように、既存のモデルパラメータを、任意のサイズにモデルパラメータを縮減する方法は知られていない。ここでの縮減とは、モデルパラメータを任意の数に削減することを意味する。

この発明は、このような課題に鑑みてなされたものであり、モデルパラメータ数の縮減を実現することで、ユーザが計算機の規模等に合わせて柔軟にモデルパラメータ数を変更可能なように、モデルパラメータ数を縮減するモデル縮減装置とその方法とプログラムを提供することを目的とする。

この発明のモデル縮減装置は、素性値加算部と、モデルパラメータ乗算部と、モデル縮減部と、を具備する。素性値加算部は、サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルを生成し、素性ベクトルの要素ｆ_ｋに対応する重要度ｑ_ｋを、当該重要度ｑ_ｋに上記素性ベクトルの要素ｆ_ｋの二乗値ｆ_ｋ ²を加えた値として算出する。モデルパラメータ乗算部は、重要度ｑ_ｋと外部から入力されるモデルパラメータＡの要素ａ_ｋを入力として、当該重要度ｑ_ｋに、対応するモデルパラメータＡの要素の二乗値ａ_ｋ ²を乗じた値をモデルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ^＋を出力する。モデル縮減部は、ソート済みモデルパラメータＡ^＋を入力として、その上位ｍ個のモデルパラメータを出力する。ここでｍはユーザが指定したモデルパラメータ数である。

この発明のモデル縮減装置は、モデルを素性変換ルールに基づいて素性ペクトルに分解し、素性ベクトルに対応する重要度の大きなモデルパラメータのみを用いる。このモデル縮減装置によれば、例えば音声認識用の言語モデル等のモデルの数を、任意のサイズに縮減することが出来ると共に、モデル縮減による認識結果の変化を小さくすることができる。また、予め、単純な統計量を得ておくだけでモデルの縮減が可能であり、サンプルに対して正解ラベル（分類問題であればどのクラスｃが正解クラスであるか示す情報、ランキング問題であればサンプルの順位であり、一般に人手で付与する必要がある。）などを与えておく必要がない。

この発明のモデル縮減装置１００の機能構成例を示す図。 モデル縮減装置１００の動作フローを示す図。 素性値加算部１０の機能構成例を示す図。 素性値加算部１０の動作フローを示す図。 モデルパラメータ乗算部２０の機能構成例を示す図。 モデル縮減部３０の動作フローを示す図。 この発明のモデル縮減装置２００の機能構成例を示す図。 データ（ａ１）を利用してモデル縮減を行いデータ（ａ３）で評価するEval-A評価実験結果を示す図。 データ（ａ２）を利用してモデル縮減を行いデータ（ａ３）で評価するEval-B評価実験結果を示す図。 データ（ａ１）を利用してモデル縮減を行いデータ（ｏ２）で評価するEval-C評価実験結果を示す図。 データ（ａ２）を利用してモデル縮減を行いデータ（ｏ２）で評価するEval-D評価実験結果を示す図。 データ（ｏ１）を利用してモデル縮減を行いデータ（ｏ２）で評価するEval-E評価実験結果を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。実施例の説明の前に、この発明の基本的な考えを説明する。

〔この発明の基本的な考え〕
この発明のモデル縮減方法は、線形モデルに特化した手法である。ます、始めに線形モデルについて定義する。

素性ベクトルＦとモデルパラメータＡが与えられたとき、両者の内積（式（１））によりスコアを与えるモデルを線形モデルと称する。

素性ベクトルＦは、分類問題の場合、サンプルsとクラスcが与えられたとき、事前に定められたルールに基づいて生成される。ランキング問題では、サンプルsが与えられたときに事前に定められたルールに基づいて生成される。

分類問題は、有限個のクラスcからなる集合Ｃが与えられたとき、式（２）を全てのクラスc（ｃ∈Ｃ）について算出し、一般には最大の値を取るクラスを分類結果とする。

ランキング問題では、サンプルの集合Ｓが与えられたとき、式（３）を全てのサンプルs（s∈Ｓ）について算出し、その値の大きい順番に並べ替えて順位とする。

また、二値分類といわれる２クラスの分類問題においては、あるサンプルsが与えられたとき、式（３）の計算結果の符合によって２クラスの推定を行うこともある。

今、モデルパラメータＡ及び素性ベクトルＦの要素をそれぞれａ_ｋ，ｆ_ｋ（k=1,2,…,n）としたとき、直積値（式（４））をスコアとする場合であっても、モデルパラメータの要素ａ_ｋ＞０の場合、対数に変換することで大小関係は保たれ、かつ、線形モデルの型となることから、これも線形モデルとみなす。

２つの異なるサンプル間のスコアを比較する場合に、式（５）の関係は式（６）で現せる。

ここで、log(ａ_ｋ)をａ_ｋと見なせば、直積値（式（４））は線形モデルに変換できる。

式（１）をＡ^＋ＢＦで現す。つまり、モデルをＢＡにより変換することを仮定する。モデルパラメータ数をｎとすると、Ｂはｎ×ｎの対角行列である、すなわち式（７）である。

今、モデルパラメータＡの要素ａ_ｋを変換する変換係数ｂ_ｋにスパース性があると仮定する。つまり、多くの要素がゼロを持つならば、ＢＡにより多くのモデルパラメータ値がゼロに変換される。値ゼロのモデルパラメータを不要物と見なすことで、モデルを縮減することが出来る。

モデルの縮減前後で、クラス分類やランキング問題の結果があまり変わらない制約を与えるため、最小二乗誤差法を導入する。

スコア差（式（８））を最小化するＢを考える。

ここでＦ_ｉはサンプル若しくはクラスが与えられた下で表現される素性ベクトルである。最小値を与えるＢは明らかに単位行列であるため、Ｂがスパースになる制約を加えた最小化問題を考える。ここでは、Ｂがスパースになる制約としてＬ１正規化を用いて目的関数Ｚを設ける。

ここでｗは非負の定数であり、Ｂのスパース性の度合いを決定するパラメータである。ｗの値の決定方法は後述する。

この最小化問題の解となる変換係数ｂ_ｋの値は解析的に得られない。そこで近似を導入する（式（１０））。

ここでｆ_ｉ，ｋはＦ_ｉのｋ番目の要素である。Ｆが十分スパースであるとすると、第２項のｆ_ｉ，ｋｆ_ｉ，ｋ′は凡そゼロと見なすことが出来る。そこで、近似的に次式の最小化問題に置き換える。

この近似から、素性ベクトルＦ_ｉが十分スパースに分布するとき、この発明は効果的に機能することが予想される。Ｚ′の最小化問題の解析解は各ｋについて式（１２）で与えられる。

さて、ｗは非負の定数であることから０≦ｂ_ｋ≦１である。ｗが大きい値を取るとき、多くの要素の変換係数ｂ_ｋがｂ_ｋ＝０となるので、最終的に得られるモデルパラメータ値ａ_ｋｂ_ｋも０となる。なお、縮減後のモデルサイズｍとｗが同期している必然性はない。非同期とする場合、ｗの値を決定するための他の手段が必要である。その場合は、別途開発用のデータを用意して決定する。

縮減後のモデルサイズｍとｗを同期させる場合、つまり、ｍ＋１番目以降のモデルパラメータ値を０とする場合、素性ベクトルＦの要素に対応する重みｑ_ｋを式（１３）に示すように予め得ておき、ｍ＋１番目に大きな値を持つ要素の重みｑ^＋ _ｍ＋１を用いてｗを式（１４）で求めると良い。

ｑ_ｋは、各要素の重要度を現していると見なすことができる。最終的に変換係数ｂ_ｋは式（１５）で与えられる。

この変換係数ｂ_ｋを、モデルパラメータａ_ｋに乗じて補正する。

重要度ｑ_ｋの大きなモデルパラメータのみを用いることで、例えば音声認識精度を落とすことなく、モデルパラメータの数を減らすことが可能である。上記の考えに基づけば、そのモデルパラメータ値をａ_ｋ・ｂ_ｋにより変換することが基本である。しかし、実際にはこの値の変換の処理を省略することも可能である。

図１に、この発明のモデル縮減装置１００の機能構成例を示す。その動作フローを図２に示す。モデル縮減装置１００は、素性値加算部１０と、モデルパラメータ乗算部２０と、モデル縮減部３０と、制御部４０と、を具備する。モデル縮減装置１００の各部の機能は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

素性値加算部１０は、サンプルＳとクラス集合Ｃを入力として、サンプルＳとクラス集合Ｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルを生成し、素性ベクトルに対応する重要度ｑ_ｋを、当該重要度ｑ_ｋに上記素性ベクトルの二乗値を加えた値として算出する（ステップＳ１０）。

モデルパラメータ乗算部２０は、重要度ｑ_ｋと外部から入力されるモデルパラメータＡの要素ａ_ｋを入力として、当該重要度ｑ_ｋに、対応するモデルパラメータＡの要素の二乗値ａ_ｋ ²を乗じた値をモデルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ^＋を出力する（ステップＳ２０）。

モデル縮減部３０は、ソート済みモデルパラメータＡ^＋を入力として、その上位ｍ個のモデルパラメータを出力する（ステップＳ３０）。制御部４０は、上記した各部間の時系列的な動作等を制御するものである。

以上の作用により、例えば音声認識用の言語モデル等のモデルの数を、任意のサイズに縮減することができる。以降、モデル縮減装置１００の各部の動作をより詳しく説明する。

図３に、素性値加算部１０の機能構成例を示す。その動作フローを図４に示す。素性値加算部１０は、サンプル・クラス取得手段１１と、素性表現化手段１２と、二乗値加算手段１３と、を備える。

素性値加算部１０が動作を開始すると、まず制御部４０が、モデルパラメータの要素数分の記憶容量を確保し、記憶領域を全てゼロに初期化する（ステップＳ４０）。例えば、外部から入力されるモデルパラメータの要素ａ_ｋに対応する重要度ｑ_ｋを記憶する記憶領域をＱ＝（q_k:q₁,q₂,…，q_n）と表記する。

サンプル・クラス取得手段１１は、サンプル集合Ｓとクラス集合Ｃを入力として、サンプル集合Ｓとクラス集合Ｃの全ての組み合わせについて、それらの集合からサンプルｓとクラスｃを取得して素性表現化手段１２に出力する（ステップＳ１１０〜Ｓ１１３）。

素性表現化手段１２は、サンプルｓとクラスｃの全ての組み合わせについてそれぞれ、素性変換ルール１２ａに基づいて素性ベクトルＦ（ｓ，ｃ）＝(f_k:f₁,f₂,…,f_n)を生成する(ステップＳ１２)。

二乗値加算手段１３は、記憶された重要度Ｑの要素ｑ_ｋに、素性ベクトルの要素ｆ_ｋの二乗値を加算して重要度Ｑを更新する（ステップＳ１３）。この重要度Ｑの更新は、サンプルｓとクラスｃの全ての組み合わせについて行われる。

図５に、モデルパラメータ乗算部２０の機能構成例を示す。モデルパラメータ乗算部２０は、モデルパラメータ値乗算手段２１と、ソート手段２２を、備える。モデルパラメータ値乗算手段２１は、モデルパラメータの要素の重要度ｑ_ｋに、外部から入力されるモデルパラメータＡの要素ａ_ｋの二乗値を乗じて重要度ｑ_ｋとする計算（式（１７））を行う。

この計算は全てのｋについて行われ、重要度ｑ_ｋはソート手段２２に出力される。ソート手段２２は、重要度ｑ_ｋを降順に並べ替え、ソート済みの重要度Ｑ^＋を生成する。そして、ソート済みの重要度Ｑ^＋とｋの対応が取れるようにモデルパラメータの要素ａ_ｋを並べ替え、ソート済みのモデルパラメータＡ^＋をモデル縮減部３０に出力する。

図６に、モデル縮減部３０の動作フローを示す。モデル縮減部３０は、縮減後のサイズｍの数分のソート済みのモデルパラメータＡ^＋の上位ｍ個のモデルパラメータを出力する（ステップＳ３０３）。

縮減後のサイズｍは、予めモデル縮減部３０に設定されていても良いし、破線で示すように外部から設定するようにしても良い。図６のｉは、要素番号を現す変数であり、ソート前の順番ｋと区別する目的でｉとしている。

図７に、この発明のモデル縮減装置２００の機能構成例を示す。モデル縮減装置２００は、モデル縮減装置１００（図１）と、モデルパラメータ乗算部２２と、モデル縮減部３２とが異なる。モデルパラメータ乗算部２２は、ソート済みの重要度Ｑ^＋をソート済みのモデルパラメータＡ^＋と共に、モデル縮減部３２に出力する点のみが、モデル縮減装置１００と異なる。

モデル縮減部３２は、ソート済みモデルパラメータＡ^＋とソート済み重要度Ｑ^＋を入力として、並べ替えられた上位から１〜ｍ番目のｍ個のモデルパラメータａ^＋ _１〜ａ^＋ _ｍを、ｍ＋１番目の重要度ｑ^＋ _ｍ＋１とｉ番目の重要度ｑ^＋ _ｉの比で補正して出力する点で、上位からｍ個のモデルパラメータを選択するだけのモデル縮減部３０と異なる。

〔評価実験〕
この発明のモデル縮減方法の効果を確認する目的で、日本語話言葉コーパス（ＣＳＪ）を用いて評価実験を行った。ＣＳＪは、講演音声とその書き起こしからなるコーパスである。ＣＳＪには、学会講演と模擬講演が含まれる。模擬講演は「私の街」、「生涯で最も幸せな出来事」等といったテーマの講演形式のスピーチが収録されている。

音声認識の誤り訂正言語モデルを構築し、そのモデルを縮減することでモデルサイズと精度との関係を評価した。音声認識システムは、一般に複数の認識候補となる単語列を出力することが出来る。各認識候補単語列にはスコアが与えられており、最も高いスコアを持つ単語列が通常の認識結果である。誤り訂正言語モデルは、認識候補単語列に補正スコアを加えることで、認識結果の再ランキングを行うモデルである。今、認識候補単語列の集合をＳとおくと、最終的な認識結果ｓ^＊は式（２０）で与えられる。

ここでｆ_０（ｓ）は音声認識システムが付与した認識候補単語列ｓに対応するスコアである。また、ａ_０はスケーリングを調整する定数であり、誤り訂正言語モデルのモデルパラメータＡを推定する際に、開発データなどを利用して決定する。

表１に、誤り訂正言語モデルの学習・評価に用いたデータの内訳を示す。

データ（ａ１）〜（ａ３）は、学会講演であり、データ（ｏ１）と（ｏ２）は模擬講演である。各発話に対し音声認識システムを適用し、5000個の認識候補単語列を生成した。

データ（ａ１）を使って誤り訂正言語モデルの学習を行った。つまり、モデルパラメータＡの学習を行った。なお、モデルパラメータＡの要素数は凡そ1000万個である。素性には、（ａ１）に出現した全ての単語1-gram,2-gram,3-gram及び品詞1-gram,2-gram,3-gramの頻度を利用した。n-gramとはn個のトークン（単語又は品詞）の並びである。

モデルパラメータＡの学習には、ラウンドロビン対比学習法(Round-robin duel discrimination）を使用した。スケーリングを調整する定数ａ_０の値は、データ（ａ２）を開発セットとして用いて、その単語誤り率（ＷＥＲ）が最小になるように決定した。

モデル縮減の評価として５つの環境を用意した。データ（ａ１）を利用してモデル縮減を行いデータ（ａ３）で評価する場合をEval-Aと記載する。同様にデータ（ａ２）を利用してモデル縮減を行いデータ（ａ３）で評価する場合をEval-B、データ（ａ１）を利用してモデル縮減を行いデータ（ｏ２）で評価する場合をEval-Cとする。同様に、データ（ａ２）とデータ（ｏ２）の組をEval-D、データ（ｏ１）とデータ（ｏ２）の組をEval-Eとする。誤り訂正言語モデルは、学会講演で学習しているためEval-CからEval-Eはアウトオブドメインとなるタスクでの評価となる。

Eval-Aは、誤り訂正言語モデルの学習データと、モデル縮減のためのデータが一致しており、評価データのドメインも一致する場合の例である。Eval-Bではドメインは一致するが、モデル縮減のためのデータが極少量しかない場合を模擬している。Eval-C,DはEval-A,Bのそれぞれにおいて、評価セットだけがアウトオブドメインである場合に相当する。Eval-Eはモデル縮減のためのデータにも、誤り訂正言語モデルの学習データと異なるドメインを利用した場合である。

それぞれの結果を図８〜１２に示す。横軸はモデル縮減後のモデルサイズｍであり対数スケールである。縦軸は誤り訂正言語モデル適用後の認識結果のＷＥＲである。図中に、破線で示す特性は従来手法であり、単純にモデルパラメータＡの要素ａ_ｋの絶対値の大きな順に上位ｍ個のモデルパラメータを利用する方法である。一点鎖線で示す特性は、この発明の実施例１（図１）のモデル縮減装置１００によって縮減されたモデルを使用した結果を示す。実線で示す特性は、実施例２（図７）のモデル縮減装置２００によって縮減されたモデルを使用した結果を示す。

従来手法で性能が大きく劣化し始める100ｋ以下のモデルサイズで比較する。何れの条件でも、従来手法の単語誤り率を示す破線（＋）よりも単語誤り率の上昇を抑制させながら大きくモデルを縮減することに成功している。

このように、この発明のモデル縮減方法によれば認識結果の変化を小さく抑制しつつ、モデル数を大幅に縮減することが可能である。なお、評価実験結果は、音声認識を例に説明を行ったが、この発明のモデル縮減方法は、線形モデルを使用する限りにおいて、他に機械翻訳や、発話分類をはじめ、画像認識、自然言語処理の分野でも利用することが可能である。

上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

1. サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルＦを生成し、素性ベクトルＦの要素ｆ_ｋに対応する重要度ｑ_ｋ に、上記素性ベクトルＦの要素ｆ_ｋの二乗値ｆ_ｋ ²を加算して、重要度ｑ _ｋ を更新する素性値加算部と、
   上記重要度ｑ_ｋと外部から入力されるモデルパラメータＡの要素ａ_ｋを入力として、当該重要度ｑ_ｋに、対応するモデルパラメータＡの要素ａ_ｋの二乗値ａ_ｋ ²を乗じた値をモ
   デルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ^＋を出力するモデルパラメータ乗算部と、
   上記ソート済みモデルパラメータＡ^＋を入力として、その上位ｍ個のモデルパラメータを出力するモデル縮減部と、
   を具備するモデル縮減装置。
2. サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルＦを生成し、素性ベクトルＦの要素ｆ_ｋに対応する重要度ｑ_ｋ に、上記素性ベクトルＦの要素ｆ_ｋの二乗値ｆ_ｋ ²を加算して、重要度ｑ _ｋ を更新する素性値加算部と、
   上記重要度ｑ_ｋと外部から入力されるモデルパラメータＡの要素ａ_ｋを入力として、当該重要度ｑ_ｋに、対応するモデルパラメータＡの要素ａ_ｋの二乗値ａ_ｋ ²を乗じた値をモ
   デルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ^＋と、上記重要度を大きさの順番に並べたソート済み重要度Ｑ^＋を出力するモデルパラメータ乗算部と、
   上記ソート済みモデルパラメータＡ^＋と上記ソート済み重要度Ｑ^＋を入力として、上位から１〜ｍ番目のｍ個のモデルパラメータａ₁〜ａ_mを、ｍ＋１番目の重要度ｑ^＋ _ｍ＋１とｉ番目の重要度ｑ^＋ _ｉの比で補正して出力するモデル縮減部と、
   を具備するモデル縮減装置。
3. サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルＦを生成し、素性ベクトルＦの要素ｆ_ｋに対応する重要度ｑ_ｋ に、上記素性ベクトルＦの要素ｆ_ｋの二乗値ｆ_ｋ ²を加算して、重要度ｑ _ｋ を更新する素性値加算過程と、
   上記重要度ｑ_ｋと外部から入力されるモデルパラメータＡの要素ａ_ｋを入力として、当該重要度ｑ_ｋに、対応するモデルパラメータＡの要素ａ_ｋの二乗値ａ_ｋ ²を乗じた値をモ
   デルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ^＋を出力するモデルパラメータ乗算過程と、
   上記ソート済みモデルパラメータＡ^＋を入力として、その上位ｍ個のモデルパラメータを出力するモデル縮減過程と、
   を備えるモデル縮減方法。
4. サンプル集合Ｓとクラス集合Ｃを入力として、サンプルｓとクラスｃの全ての組み合わせについて、素性変換ルールに基づいて素性ベクトルＦを生成し、素性ベクトルＦの要素ｆ_ｋに対応する重要度ｑ_ｋ に、上記素性ベクトルＦの要素ｆ_ｋの二乗値ｆ_ｋ ²を加算して、重要度ｑ _ｋ を更新する素性値加算過程と、
   上記重要度ｑ_ｋと外部から入力されるモデルパラメータＡの要素ａ_ｋを入力として、当該重要度ｑ_ｋに、対応するモデルパラメータＡの要素ａ_ｋの二乗値ａ_ｋ ²を乗じた値をモ
   デルパラメータの要素の重要度とし、その重要度の大きさの順番にモデルパラメータを並べ替えたソート済みモデルパラメータＡ^＋と、上記重要度を大きさの順番に並べたソート済み重要度Ｑ^＋を出力するモデルパラメータ乗算過程と、
   上記ソート済みモデルパラメータＡ^＋と上記ソート済み重要度Ｑ^＋を入力として、上位から１〜ｍ番目のｍ個のモデルパラメータａ₁〜ａ_mを、ｍ＋１番目の重要度ｑ^＋ _ｍ＋１とｉ番目の重要度ｑ^＋ _ｉの比で補正して出力するモデル縮減過程と、
   を備えるモデル縮減方法。
5. 請求項１又は２に記載したモデル縮減装置としてコンピュータを機能させるためのプログラム。

Images