JP6095858B2 - 特徴量分類システム - Google Patents

Description

本発明は、例えば音声認識や画像認識における特徴量の分類を行う特徴量分類システムに関するものである。

パターン分類器にとって、どのような特徴量を使うかは性能に大きな影響を与える。たとえば音声認識の場合にはスペクトル包絡をモデル化したような特徴量が使われ、画像認識の場合には各画素の画素値を重みづけしたような特徴量が使われる。このような特徴量は比較的高次元になりやすい。高次元の特徴量をそのままモデル化すると、精度が低下することが多いので、次元圧縮を行って有用な特徴量のみを取り出すことが多い。そのような次元圧縮の手法の代表的なものには、主成分分析や線形判別分析（Linear Discriminant Analysis：ＬＤＡ）がある。このような次元圧縮法は元の特徴量の情報をできるだけ残すような変換を実現する。

次元圧縮法では元の特徴量の情報をできるだけ残すような変換を実現するが、そのようにして得られた変換特徴量が後段の分類器にとって適したものである保証はない。その理由は、分類器にとって識別しやすい特徴パターンと識別しにくい（混同しやすい）特徴パターンが存在するが、そのことを考慮せずに次元を圧縮しているためである。本来、この次元圧縮は後段の分類器のために行うのであるから、分類器にとって混同しやすい特徴量パターンの情報が失われないように、特徴量を変換するべきである。

このような問題に対して、従来、混同行列を使うことで、分類結果を反映した線形変換行列を求めるようにした線形変換行列計算装置があった（例えば、特許文献１参照）。この装置では、クラス間共分散行列の計算を行う際の混同行列係数を、混同の傾向を考慮して決定するようにしたものである。

特開２００３−１７７７８５号公報

しかしながら、上記特許文献１に記載された技術では、係数の求め方は経験的および直観的に決めることを示しているだけであって、具体的にどのように求めるかは示されておらず、従って、必ずしも分類結果の精度を向上させることができるとは限らないという問題があった。

この発明は、かかる問題を解決するためになされたもので、分類結果の精度を向上させることのできる特徴量分類システムを得ることを目的とする。

この発明の特徴量分類システムは、与えられた特徴量を変換すると共に、教師データである正解クラスラベルを用いて特徴量変換を行うための識別基準の学習を行う特徴量変換器と、特徴量変換器で変換された変換特徴量を分類する分類器とを備え、特徴量変換器は、学習を行う場合、分類器の事後確率を用いて行うようにしたものである。

この発明に係る特徴量分類システムは、分類器の事後確率を用いて特徴量変換器の学習を行うようにしたので、分類器の誤り傾向を考慮した特徴量変換が可能となり、分類結果の精度を向上させることができる。

この発明の実施の形態１の特徴量分類システムを示す構成図である。 この発明の実施の形態２の特徴量分類システムを示す構成図である。 この発明の実施の形態４の特徴量分類システムを示す構成図である。 ＬＤＡを実現するシステムを示す構成図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。まず、実施の形態の説明に先立ち、本発明の特徴量変換を行うための識別基準となるＬＤＡ（線形判別分析）について説明する。

ここで、認識対象を何らかの基準で２つ以上にクラス分けしたときに、Ｂはクラス間分散、Ｗはクラス内分散であり、それぞれ

で与えられる。ｌは系列ｘの要素のインデクスｔと関連付けられたクラスｊへのマッピングである。

の一般化固有値問題の解のうち、所望のｐ次元の行を選択したものとして与えられる。これを実現する構成を図４に示す。何らかの特徴量１は特徴量変換器３により変換特徴量４に変換される。この特徴量変換器３がＬＤＡによる特徴量変換を行う演算部である。特徴量変換器３の学習の際には、教師データである正解クラスラベル２を用いて特徴量変換の学習を行う。

実施の形態１．
従来のＬＤＡは正解クラスに基づき、それらのクラスの分離性が高くなるように、分類器を構築するものであった。正解クラスｊに対する事後確率γ_ｔ ^ａ（ｊ）は常に１であり、それ以外の不正解クラスｊ’≠ｊに対して、γ_ｔ ^ａ（ｊ′）は０であることに注意すれば、式（２）は一般性を失わずに

のように変形できる。このＬＤＡは分類器の出力結果が全く考慮されていない。通常分類器にとって、識別しやすいクラスと識別しにくいクラスが存在する。また混同しやすいクラスとしにくいクラスが存在するが、これが全く考慮されていない。

そこで、本発明では、分類器のｘ_ｔのクラスｊに対する事後確率γ_ｔ ^ｄ（ｊ）を導入することで、分類器の誤り傾向を考慮した特徴量変換を可能とする。たとえば、式（３）を下式（４）のように置き換えれば、分類器の傾向を自然に取り入れることができる。すなわち、（γ_ｔ ^ａ（ｊ）−γ_ｔ ^ｄ（ｊ））の部分をｘ_ｔに対する重みと考えれば、分類器が正解の時（すなわちγ_ｔ ^ｄ（ｊ）が１に近い）に重みは小さくなり、分類器が不正解の時（すなわちγ_ｔ ^ｄ（ｊ）が０に近い）に重みは大きくなることから、この基準に基づいて構築された特徴量変換器は、もとの分類器の特徴を考慮し、その分類器にとって有利な空間に特徴量を変換していると考えることができる。

図１は、実施の形態１の特徴量分類システムを示す構成図である。分類器５は、特徴量１から特徴量変換器３により変換された変換特徴量４とモデル６とを照合することで、分類結果７を出力する。特徴量変換器３の学習の際に、正解クラスラベル２に加えて分類結果７を用いて学習を行う。その際にモデル６も再学習する。これにより、分類器５の誤りやすさを考慮に入れた特徴量変換器３およびそれに由来する変換特徴量４を得ることができ、最終的な分類結果７の精度が向上することが期待できる。

ただしこのままでは重みが負になることも考えられ、ひいては分散が負になるという不合理を生じる可能性があるため、次式（５）のように正解クラスｊに対する事後確率のみを集積することも考えられる。

以上説明したように、実施の形態１の特徴量分類システムによれば、与えられた特徴量を変換すると共に、教師データである正解クラスラベルを用いて特徴量変換を行うための識別基準の学習を行う特徴量変換器と、特徴量変換器で変換された変換特徴量を分類する分類器とを備え、特徴量変換器は、学習を行う場合、分類器の事後確率を用いて行うようにしたので、分類器の誤り傾向を考慮した特徴量変換が可能となり、分類結果の精度を向上させることができる。

また、実施の形態１の特徴量分類システムによれば、学習は、事後確率が低いほど重みが大きくなる重みづけで行うようにしたので、分類器の誤り傾向を考慮した特徴量変換が可能となる。

また、実施の形態１の特徴量分類システムによれば、事後確率は、正解クラスの事後確率を集積して用いるようにしたので、不合理な学習結果となるのを防止することができる。

実施の形態２．
実施の形態２は、下式（４ａ）のように、分類器の事後確率γ_ｔ ^ｄ（ｊ）に重みαを導入したものである。αが０の時は通常のＬＤＡに一致する。これはベースの分類器の認識性能が悪く、あまり事後確率γ_ｔ ^ｄ（ｊ）に信頼がおけない時に有効であると考えられる。たとえば、騒音下音声認識のように分類器の誤り傾向がランダムに近い場合には、式（４）では正解クラスの情報が正しく特徴量変換器に伝えられないため、過学習が起こり、特徴量変換により認識率が低下することが考えられるが、そのような場合には小さめのαを設定することで、過学習の影響を避けることができる。

αは開発セットでチューニングするほか、分類器の認識性能に応じて変える方法も考えられる。この際は重みづけ器８を用いて分類結果７の重みαを調整する。図２はこれを実現する特徴量分類システムを示す構成図である。図中、特徴量１〜分類結果７は、図１に示した実施の形態１と同様である。このような構成により、過学習の影響を避けつつ、分類器５の出力傾向を考慮に入れるという本発明の効果を最大限に活用することができる。

以上説明したように、実施の形態２の特徴量分類システムによれば、事後確率の重みを調整する重みづけ器を備えたので、過学習の影響を避けつつ、分類器の出力傾向を考慮に入れることができる。

実施の形態３．

のようにすることや

のように今まで得られたものすべてで重みづけする方法が考えられる。ここでβは１より小さい正の数である。これにより、過学習を避けつつ、変換行列をよりよいものに更新するという効果が得られる。

以上説明したように、実施の形態３の特徴量分類システムによれば、学習を複数回繰り返すようにしたので、よりよい特徴量変換器を得ることができる。

また、実施の形態３の特徴量分類システムによれば、学習を複数回繰り返すと共に、学習を実行する度に、事後確率に対する重みを小さくした重みづけを行うようにしたので、過学習を避けつつ、よりよい特徴量変換器を得ることができる。

また、実施の形態３の特徴量分類システムによれば、学習を複数回繰り返すと共に、学習を実行する度に、前回の学習で推定された識別基準との重みづけ平均をとるようにしたので、過学習を避けつつ、よりよい特徴量変換器を得ることができる。

実施の形態４．
実施の形態４は、複数の特徴量変換器と分類器を用いた例である。
複数の分類器の利用を行う際には、それらの仮説傾向が異なる分類器を構築することが重要である。そこで第二のシステムを構築する際に、特徴量変換を第一のシステムとは異なるようにしたいということが考えられる。この際にも第一のシステムの事後確率を第二のシステムが自システムの事後確率と同様に考慮することで、第一のシステムの仮説傾向とは異なる第二のシステムを構築することができる。たとえば、下式（６）に基づき、ｓ番目のシステムを構築する際には１番目からｓ番目までの分類器の事後確率γ_ｔｓ′ ^ｄ（ｊ）を重みα_ｓ′で重みづけして用いることで同様の定式化が行える。

二つのシステムを用いる場合の構成を図３に示す。特徴量変換器（ａ）３ａ、分類器（ａ）５ａ、モデル（ａ）６ａ、重みづけ器（ａ）８ａが第１のシステムであり、特徴量変換器（ｂ）３ｂ、分類器（ｂ）５ｂ、モデル（ｂ）６ｂ、重みづけ器（ｂ）８ｂが第２のシステムである。それぞれのシステムにおける各構成は実施の形態２における特徴量変換器３、分類器５、モデル６、重みづけ器８と同様である。

実施の形態４では、特徴量変換器（ｂ）３ｂには分類器（ｂ）５ｂの分類結果（ｂ）７ｂのほか、分類器（ａ）５ａの分類結果（ａ）７ａが重みづけ器（ｂ）８ｂによって重みづけられ、特徴量変換器（ｂ）３ｂに入力されるよう構成されている。これにより、特徴量変換器（ｂ）３ｂでは、特徴量変換器（ａ）３ａとは異なる特徴量変換が達成される。しかも、分類器（ａ）５ａの正解率の低い学習データが重点的に学習されるため、分類器（ａ）５ａと分類器（ｂ）５ｂの分類結果（ａ），（ｂ）７ａ，７ｂを組み合わせた時に性能が向上するような特徴量変換器（ｂ）３ｂを構築することができる。

これにより単一のシステムを用いていた場合よりも分類結果の多様性が増し、これらを多数決の原理（たとえばRecognizer Output Voting Error Reduction（ＲＯＶＥＲ）といった手法）でうまく統合することで、システム全体として性能を向上させることができる。その際には、異なる特徴量の使用が有効であることがわかっているため、本発明の効果を利用できると考えられる。

なお、上記例では二つのシステムを用いた場合であるが、三つ以上のシステムであっても、あるシステムの特徴量変換器が他のシステムの事後確率を考慮して学習を行うよう構成することで同様に適用可能である。

以上説明したように、実施の形態４の特徴量分類システムによれば、実施の形態２に記載の特徴量分類システムを複数備え、複数の特徴量分類システムのうち、いずれかの特徴量分類システムの特徴量変換器は、他の特徴量分類システムの特徴量変換器とは異なる特徴量変換を行うようにしたので、より分類結果の精度を向上させることができる。

また、実施の形態４の特徴量分類システムによれば、いずれかの特徴量分類システムの特徴量変換器は、学習を行う場合、他の特徴量分類システムの分類器の事後確率を含めて用いるようにしたので、複数の特徴量変換器のうち、他の特徴量変換器とは異なる特徴量変換を行う特徴量変換器を備えたシステムを実現することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。また、各実施の形態では、音声認識を例として説明したが、特徴量を画像特徴量、モデルを画像のモデルや言語モデルに置き換えることで、文字または画像認識にも同様の構成を用いることができる。さらに拡張して一般のパターン認識問題、すなわち任意のクラス分類問題に適用することができる。

以上のように、この発明に係る特徴量分類システムは、正解クラスラベルを用いて特徴量変換器が学習を行う構成に関するものであり、音声認識や画像認識における特徴量変換の学習に適している。

１ 特徴量、２ 正解クラスラベル、３ 特徴量変換器、３ａ 特徴量変換器（ａ）、３ｂ 特徴量変換器（ｂ）、４ 変換特徴量、４ａ 変換特徴量（ａ）、４ｂ 変換特徴量（ｂ）、５ 分類器、５ａ 分類器（ａ）、５ｂ 分類器（ｂ）、６ モデル、６ａ モデル（ａ）、６ｂ モデル（ｂ）、７ 分類結果、７ａ 分類結果（ａ）、７ｂ 分類結果（ｂ）、８ 重みづけ器、８ａ 重みづけ器（ａ）、８ｂ 重みづけ器（ｂ）。

Claims (9)

1. 与えられた特徴量を変換すると共に、教師データである正解クラスラベルを用いて特徴量変換を行うための識別基準の学習を行う特徴量変換器と、
   前記特徴量変換器で変換された変換特徴量を分類する分類器とを備え、
   前記特徴量変換器は、前記学習を行う場合、前記分類器の事後確率を用いて行うことを特徴とする特徴量分類システム。
2. 前記学習は、前記事後確率が低いほど重みが大きくなる重みづけで行うことを特徴とする請求項１記載の特徴量分類システム。
3. 前記事後確率は、正解クラスの事後確率を集積して用いることを特徴とする請求項１記載の特徴量分類システム。
4. 前記事後確率の重みを調整する重みづけ器を備えたことを特徴とする請求項１記載の特徴量分類システム。
5. 前記学習を複数回繰り返すことを特徴とする請求項１記載の特徴量分類システム。
6. 前記学習を複数回繰り返すと共に、当該学習を実行する度に、前記事後確率に対する重みを小さくした重みづけを行うことを特徴とする請求項４記載の特徴量分類システム。
7. 前記学習を複数回繰り返すと共に、当該学習を実行する度に、前回の学習で推定された識別基準との重みづけ平均をとることを特徴とする請求項４記載の特徴量分類システム。
8. 請求項４に記載の特徴量分類システムを複数備え、
   前記複数の特徴量分類システムのうち、いずれかの特徴量分類システムの特徴量変換器は、他の特徴量分類システムの特徴量変換器とは異なる特徴量変換を行うことを特徴とする特徴量分類システム。
9. 前記いずれかの特徴量分類システムの特徴量変換器は、学習を行う場合、前記他の特徴量分類システムの分類器の事後確率を含めて用いることを特徴とする請求項８記載の特徴量分類システム。

Images