JP4827285B2 - パターン認識方法、パターン認識装置及び記録媒体 - Google Patents
パターン認識方法、パターン認識装置及び記録媒体 Download PDFInfo
- Publication number
- JP4827285B2 JP4827285B2 JP2000267803A JP2000267803A JP4827285B2 JP 4827285 B2 JP4827285 B2 JP 4827285B2 JP 2000267803 A JP2000267803 A JP 2000267803A JP 2000267803 A JP2000267803 A JP 2000267803A JP 4827285 B2 JP4827285 B2 JP 4827285B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- vector
- learning
- category
- data vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P20/00—Technologies relating to chemical industry
- Y02P20/50—Improvements relating to the production of bulk chemicals
- Y02P20/52—Improvements relating to the production of bulk chemicals using catalysts, e.g. selective catalysts
Description
【０００１】
【発明の属する技術分野】
本発明は、音声認識、画像認識等のパターン認識に関し、特に認識の再学習を行なうパターン認識方法、該パターン認識方法を実施するためのパターン認識装置、及びコンピュータを前記パターン認識装置として機能させるためのコンピュータプログラムが記録されている記録媒体に関する。
【０００２】
【従来の技術】
コンピュータを用いた、音声認識、画像認識等のパターン認識においては、音声、画像等の対象から得られる空間的又は時間的に分布したデータであるパターンを認識する際、まず、音声、画像等の対象から該対象のパターンの特徴を表現する特徴データと、その対象の分類であるカテゴリを示すカテゴリデータを所定の方式に従って生成する。音声認識の場合、例えば人間の声をマイクロホンで集音した電気信号をＡ／Ｄ（アナログ／デジタル）変換器でデジタル化してコンピュータでの利用が可能な特徴データに変換する。音声認識の場合のカテゴリデータは、例えば音声「あ」をカテゴリＡとし、「あ」以外の音声「い」「う」「え」等をカテゴリＢとして、カテゴリＡのカテゴリデータを１、カテゴリＢのカテゴリデータを−１と定める。
【０００３】
コンピュータは、特徴データとカテゴリデータとの組の入力を多数受け付け、該特徴データとカテゴリデータとの組から前記対象のパターンの特徴とカテゴリとを関連付ける知識を生成する。該知識は、未知の対象のパターンの特徴データからその対象のカテゴリを判別することが出来るものであり、前記知識をコンピュータが生成することを学習という。学習のために特徴データを用いるとき、その特徴データを学習データと呼ぶ。一方、パターン認識を行なうべき未知の対象の特徴データを標本データと呼ぶ。パターン認識とは、前記知識を用いて標本データから対象のカテゴリを判別することである。また、学習データから知識を生成した後、よりカテゴリ判別精度の高い知識を生成するために再び学習することを再学習と呼び、再学習を行なうときに用いる特徴データを再学習データと呼ぶ。
【０００４】
パターン認識の方法には、あらかじめ登録されたパターンと標本データから得られるパターンとを照合して相関係数が１に近いものを選び出す方法、あらかじめ学習を行なったニューラルネットワークに標本データを入力して出力を得る方法、又は多次元空間内をカテゴリに対応する領域に区分して判別する判別面をあらかじめ求めておき、該判別面と標本データとの位置関係を調べ、該標本データが前記判別面に対してどちらの側にあるか、即ち標本データが前記多次元空間内のどの領域に位置するかを調べることによりカテゴリを判別する方法等がある。
【０００５】
以下では、簡単のため、標本データが２個のカテゴリ（カテゴリＡ，カテゴリＢ）のいずれに属するかを判別面を用いて判別する場合について従来のパターン認識の実施方法を述べる。
【０００６】
複数の学習データが、２次元平面において、ある線のどちら側に位置するか、３次元空間において、ある平面のどちら側に位置するか、又はｍ次元空間において、ある超平面のどちら側に位置するかを調べることによってカテゴリＡであるかカテゴリＢであるかを区別出来る（線形分離可能である）とき、前述の線を判別線と呼び、平面、超平面を判別面と呼ぶ。コンピュータは、学習データとカテゴリデータとの組から対象のパターンがどのカテゴリに属するかを学習し、未知の対象のカテゴリを判別するために用いることが出来る判別面を算出する。判別面は、評価汎関数（真のカテゴリデータの出力値と判別されたカテゴリデータの出力値との２乗誤差の総和）が最小となるように最適化される（例えば勾配降下法を用いる）が、このとき得られる判別面は、未知の標本データをカテゴリ判別したときの認識誤差（汎化誤差）を制御することが出来ず、従来、認識精度低下の一つの要因となっていた。
【０００７】
判別面を用いて標本データのカテゴリ判別を行なうパターン認識の内、学習データに含まれない未知の標本データに対する認識誤差をあらかじめ見積ることが出来るパターン認識法として、サポートベクトルマシーンが提案されている(Vapnik,V.N.:The Nature of Statistical Learning Theory,Springer-Verlag,1995)。
【０００８】
以下に、サポートベクトルマシーンによるパターン認識の手順を述べる。
【０００９】
集音した音、声等の対象から生成した学習データ及び標本データを、ｍ次元ベクトルである学習データベクトル及び標本データベクトルに変換する。例えば、学習データ又は標本データを所定の時間間隔毎に合計ｔ個サンプリングし、フーリエ変換してパワースペクトルを求め、各サンプリング時におけるあらかじめ定められた合計ｕ個の周波数区分毎の夫々の強度を得て、この合計ｔ×ｕ＝ｍ個のデータを１つの学習データベクトル又は標本データベクトルとする。
【００１０】
ここで、学習データベクトルの組をＶ[1] ，Ｖ[2] ，…，Ｖ[N] とする。このうち、Ｖ[1] ，Ｖ[2] ，…，Ｖ[N']はカテゴリＡに属し、Ｖ[N'+1]，Ｖ[N'+2]，…，Ｖ[N] はカテゴリＢに属するものとする。
【００１１】
このＮ個の学習データベクトルが、ｍ次元空間において、ある超平面のどちら側に位置するかを調べることによってカテゴリＡであるかカテゴリＢであるかを区別出来る（線形分離可能である）とき、次式(1) 式及び(2) 式を満たし、更に(1) 式の等号が成立するような少なくとも１つのi'、(2) 式の等号が成立するような少なくとも１つのi'' が存在するように、ｍ次元ベクトルＷと実数ｂを求めることが出来る。
【００１２】
Ｗ・Ｖ[i] ＋ｂ≧１ (i=1,2, …,N')‥‥‥‥‥‥‥‥‥‥‥(1)
Ｗ・Ｖ[i] ＋ｂ≦−１ (i=N'+1,N'+2, …,N) ‥‥‥‥‥‥‥‥(2)
式中の・はベクトルの内積を表す。
【００１３】
ここで、各学習データベクトルがカテゴリＡ又はカテゴリＢのどちらに属するかの指標であるカテゴリデータｙ[i] （ｙ[i] ＝１；i=1,2,…,N' ，ｙ[i] ＝−１；i=N'+1,N'+2,…,N）を定めると、式(1) ，式(2) は次のように書き直すことが出来る。
【００１４】
ｙ[i] ×（Ｗ・Ｖ[i] ＋ｂ）≧１ (i=1,2, …,N) ‥‥‥‥‥‥(3)
式中の×はスカラー積を表す。
【００１５】
ここで、Ｗ・Ｘ＋ｂ＝０（Ｘはｍ次元変数ベクトル）は、ｍ次元空間における超平面を表し、該超平面に対しどちらの側に標本データベクトルＺがあるか、この場合Ｗ・Ｚ＋ｂの符号が正であるか負であるかによって夫々カテゴリＡに属するかカテゴリＢに属するかを判別出来る。この超平面Ｗ・Ｘ＋ｂ＝０を判別面と呼ぶ。
【００１６】
判別面Ｗ・Ｘ＋ｂ＝０と学習データベクトルＶ[i] との距離ｄ[i] は下式で算出出来る。
【００１７】
ｄ[i] ＝｜Ｗ・Ｖ[i] ＋ｂ｜／‖Ｗ‖‥‥‥‥‥‥‥‥‥‥‥‥(4)
【００１８】
式中の｜ ｜は絶対値を、‖ ‖はベクトルの大きさを表す。
【００１９】
少なくともi=i',i''については｜Ｗ・Ｖ[i] ＋ｂ｜＝１であるから、ｄ[i] の最小値は１／‖Ｗ‖となる。このような、｜Ｗ・Ｖ[i] ＋ｂ｜＝１を満たす全ての学習データベクトルＶ[i] をサポートベクトルＶ[s] と呼ぶ。カテゴリＡに属するサポートベクトルと判別面との距離、及びカテゴリＢに属するサポートベクトルと判別面との距離は、どちらも１／‖Ｗ‖である。つまり、サポートベクトルとは判別面に最も近い学習データベクトルのことである。
【００２０】
判別面がサポートベクトルによって与えられる学習方法、パターン認識方法のことをサポートベクトルマシーンと呼ぶ。
【００２１】
判別面を用いて標本データベクトルＺのカテゴリ判別を行なう場合、判別面からサポートベクトルが遠いほど２つのカテゴリ間の距離（マージン）が広がるため、標本データベクトルＺと判別面との間の距離も充分大きいことが期待出来る。そのため、ノイズの影響、学習データベクトルの不足等の理由から判別面に誤差が生じている場合であっても、前記判別面を用いて判別した標本データベクトルＺのカテゴリが真のカテゴリと異なる可能性は低い。即ち認識誤差（汎化誤差）を抑えることが出来る。つまり、サポートベクトルＶ[s] においてｄ[s] が最大、即ち‖Ｗ‖が最小になるようなＷ及びｂにより定められる判別面を用いるとき、標本データベクトルＺを精度良くカテゴリ判別することが出来る。言い換えれば、カテゴリＡに属する学習データベクトルと判別面との距離の最小値と、カテゴリＢに属する学習データベクトルと判別面との距離の最小値とが等しく、しかもこの距離が最大となるように定められた超平面が最適な判別面Ｗ・Ｘ＋ｂ＝０となる。
【００２２】
判別面を求めるには、学習データベクトルＶ[i] 及び学習データベクトルのカテゴリを表すカテゴリデータｙ[i] の組から、(3) 式の制約条件の下で‖Ｗ‖が最小値となるＷ及びｂとの組を求めれば良く、これは制約条件付きの非線形計画法問題であり、一般的に知られているペナルティ関数法又は乗数法等のアルゴリズムによりコンピュータを用いて数値的に算出することが出来る。
【００２３】
このようにして求められた判別面により、標本データベクトルＺは、Ｗ・Ｚ＋ｂの値の正負の符号でカテゴリを判別することが出来る。また、該標本データベクトルＺと判別面Ｗ・Ｘ＋ｂ＝０との間の距離ｄz ＝｜Ｗ・Ｚ＋ｂ｜／‖Ｗ‖を調べることにより、汎化誤差を見積ることが出来る。つまり、ｄz の値が小さければ小さいほど、前記標本データベクトルＺは判別面に近い位置にあり、該判別面を用いて判別した標本データベクトルＺのカテゴリが真のカテゴリと異なる可能性が高くなる。
【００２４】
なお、ここでは２個のカテゴリについて述べたが、Ｋ個のカテゴリに区分する場合は、夫々のカテゴリ区分に対応するＫ個の判別面を求めて判別を行なえばよい。
【００２５】
以上説明したようにサポートベクトルマシーンを用いてパターン認識を行なう場合、学習データベクトルから判別面を算出するとき、通常数百から数千次元である学習データベクトルを数百から数千必要とし、更に判別面の算出は従来の技術で述べたように制約条件付きの非線形計画法問題であるため繰り返し演算を必要とすることから、判別面の算出には膨大な計算時間を必要とする。更に、制約条件付き非線形計画法を解く場合に、学習データベクトルの行列を必要とするときには、コンピュータのメモリ容量も膨大なものを要する。
【００２６】
一方、判別面が算出されている場合、それを用いた標本データベクトルのカテゴリ判別は容易に行なえる。
【００２７】
このため、サポートベクトルマシーンを用いる場合、判別面の算出には能力の高いコンピュータを使用し、算出された判別面によるカテゴリ判別には能力の低いコンピュータを使用することにより、パターン認識に必要な計算機資源を節約することが出来る。
【００２８】
しかしながら、算出した判別面を用いてカテゴリ判別し、受容可能なカテゴリ判別精度が得られなかった場合、よりカテゴリ判別精度の高い判別面を算出するために再学習を行なうことがあり、再学習のために学習データベクトルと同数以上の再学習データベクトルを用いるとき、学習データベクトルから判別面を算出したときと同様に高い能力を持つコンピュータを使用し膨大な計算時間と計算機資源とを費やして判別面を再算出しなければならないため、パターン認識の効率が低下するという問題が生じる。
【００２９】
該問題を解決すべく、特開平１１−７３４０６号公報では、同次２次核に用いられる固有値計算以外の最適化法を用いて訓練段階中にあらかじめ決定された縮小セットのベクトルを用いて標本データベクトルのカテゴリ判別を行なう方法が提案されている。
【００３０】
この方法は、あらかじめ求められたサポートベクトルの組から、該サポートベクトルより少ない数の縮小セットベクトルを無制約最適化法により計算するものである。該縮小セットベクトルを用いて判別面を算出し、算出した判別面を用いて標本データベクトルのカテゴリ判別を行ない、受容可能なカテゴリ判別精度が得られない場合は、縮小セットベクトルの個数を調整して新たな縮小セットベクトルを求める。
【００３１】
【発明が解決しようとする課題】
しかしながら、前記特開平１１−７３４０６号公報に記載の方法を用いず、再学習データベクトルを用いて再学習を行ない新たな判別面を求める方法を用いる場合には、前述のように、サポートベクトルマシーンでは多数の再学習データベクトルから判別面を再算出する際に再学習データベクトル数に応じた計算量が必要となる。特に、能力の低いコンピュータで判別面を用いてカテゴリ判別を行なっている場合に再学習が必要になったとき、前記コンピュータ上では容易に判別面の再算出が出来ないためパターン認識の効率が低下する。
【００３２】
本発明は斯かる事情に鑑みてなされたものであり、多数の学習データベクトルの中から再学習データベクトルを選択することにより、再学習を行なう際に膨大な個数の再学習データベクトルを用いる必要がなく、判断面の再算出に必要な計算時間及び／又は計算機資源が節約出来るパターン認識方法、該パターン認識方法を実施するためのパターン認識装置、及びコンピュータを前記パターン認識装置として機能させるためのコンピュータプログラムが記録されている記録媒体を提供することを目的とする。
【００３３】
また、本発明の他の目的は、再学習データベクトルを選択する基準として、容易に算出出来るパラメータである判別面と学習データベクトルとの距離を用いることにより、再学習データベクトルの選択に必要な計算時間及び／又は計算機資源が節約出来るパターン認識方法、該パターン認識方法を実施するためのパターン認識装置、及びコンピュータを前記パターン認識装置として機能させるためのコンピュータプログラムが記録されている記録媒体を提供することにある。
【００３４】
更に、本発明の目的は、再学習データベクトルを選択する際、判別面からの距離が所定の値より小さい学習データベクトルを再学習データベクトルとして選択することにより、判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来るパターン認識方法、該パターン認識方法を実施するためのパターン認識装置、及びコンピュータを前記パターン認識装置として機能させるためのコンピュータプログラムが記録されている記録媒体を提供することにある。
【００３５】
【課題を解決するための手段】
第１発明に係るパターン認識方法は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組を取得し、対象の特徴データから前記対象のカテゴリを判別するための知識を前記特徴データと前記カテゴリデータとの組からあらかじめ生成しておく学習を行ない、前記知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識方法において、複数の対象の特徴データを、多次元空間のベクトルとして表現した学習に用いる学習データベクトルに変換するステップと、該学習データベクトルと前記複数の対象のカテゴリデータとの組から前記多次元空間内をカテゴリに対応する領域に区分してカテゴリを判別する判別面を算出するステップと、算出した判別面と学習データベクトルとの間の距離を求めるステップと、該学習データベクトルの中から多次元空間のベクトルとして表現した再学習データを選択する際、前記判別面からの距離が所定の範囲内にあるものを選択して再学習データベクトルとする再学習データベクトル選択ステップとを有することを特徴とする。
【００３６】
第２発明に係るパターン認識方法は、パターンを認識すべき未知の対象の特徴データを取得するステップと、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換するステップと、前記判別面と前記標本データベクトルとの位置関係を求めるステップと、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別するステップと、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別するステップと、該判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとするステップと、該再学習データベクトルを用いて判別面を再算出するステップとを有することを特徴とする。
【００３７】
第３発明に係るパターン認識方法は、前記再学習データベクトル選択ステップは、複数の前記学習データベクトルの中から、前記判別面からの距離が所定の値以下であるものを再学習データベクトルとして選択するステップを有することを特徴とする。
【００３８】
第４発明に係るパターン認識方法は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識方法において、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得するステップと、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現した再学習に用いる再学習データベクトルを取得するステップと、パターンを認識すべき未知の対象の特徴データを取得するステップと、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換するステップと、前記判別面と前記標本データベクトルとの位置関係を求めるステップと、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別するステップと、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別するステップと、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトルの内、前記判別面からの距離が所定の範囲内にある再学習データベクトルを取得する再学習データベクトル取得ステップと、該再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとするステップと、該再学習データベクトルを用いて判別面を再算出するステップとを有することを特徴とする。
【００３９】
第５発明に係るパターン認識方法は、前記再学習データベクトル取得ステップは、複数の前記再学習データベクトルの中から、前記判別面からの距離が所定の値以下のものを選択して新たな再学習データベクトルとして取得するステップを有することを特徴とする。
【００４０】
第６発明に係るパターン認識方法は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識方法において、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得するステップと、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現してあり、また、前記判別面からの距離が所定の範囲内にある再学習に用いる再学習データベクトルを取得する再学習データベクトル取得ステップと、パターンを認識すべき未知の対象の特徴データを取得するステップと、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換するステップと、前記判別面と前記標本データベクトルとの位置関係を求めるステップと、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別するステップと、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別するステップと、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとするステップと、該再学習データベクトルを用いて判別面を再算出するステップとを有することを特徴とする。
【００４１】
第７発明に係るパターン認識方法は、前記再学習データベクトル取得ステップは、判別面からの距離が所定の範囲内にある前記再学習データベクトルとして、複数の再学習データベクトルの中から選択された前記判別面からの距離が所定の値以下である再学習データベクトルを取得するステップを有することを特徴とする。
【００４２】
第８発明に係るパターン認識装置は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組を取得し、対象の特徴データから前記対象のカテゴリを判別するための知識を前記特徴データと前記カテゴリデータとの組からあらかじめ生成しておく学習を行ない、前記知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識装置において、複数の対象の特徴データを、多次元空間のベクトルとして表現した学習に用いる学習データベクトルに変換する手段と、該学習データベクトルと前記複数の対象のカテゴリデータとの組から前記多次元空間内をカテゴリに対応する領域に区分してカテゴリを判別する判別面を算出する手段と、算出した判別面と学習データベクトルとの間の距離を求める手段と、該学習データベクトルの中から多次元空間のベクトルとして表現した再学習データを選択する際、前記判別面からの距離が所定の範囲内にあるものを選択して再学習データベクトルとする再学習データベクトル選択手段とを有することを特徴とする。
【００４３】
第９発明に係るパターン認識装置は、パターンを認識すべき未知の対象の特徴データを取得する手段と、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換する手段と、前記判別面と前記標本データベクトルとの位置関係を求める手段と、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別する手段と、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別する手段と、該判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとする手段と、該再学習データベクトルを用いて判別面を再算出する手段とを有することを特徴とする。
【００４４】
第１０発明に係るパターン認識装置は、前記再学習データベクトル選択手段は、複数の前記学習データベクトルの中から、前記判別面からの距離が所定の値以下であるものを再学習データベクトルとして選択する手段を有することを特徴とする。
【００４５】
第１１発明に係るパターン認識装置は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識装置において、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得する手段と、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現した再学習に用いる再学習データベクトルを取得する手段と、パターンを認識すべき未知の対象の特徴データを取得する手段と、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換する手段と、前記判別面と前記標本データベクトルとの位置関係を求める手段と、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別する手段と、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別する手段と、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトルの内、前記判別面からの距離が所定の範囲内にある再学習データベクトルを取得する再学習データベクトル取得手段と、該再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとする手段と、該再学習データベクトルを用いて判別面を再算出する手段とを有することを特徴とする。
【００４６】
第１２発明に係るパターン認識装置は、前記再学習データベクトル取得手段は、複数の前記再学習データベクトルの中から、前記判別面からの距離が所定の値以下のものを選択して新たな再学習データベクトルとして取得する手段を有することを特徴とする。
【００４７】
第１３発明に係るパターン認識装置は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識装置において、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得する手段と、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現してあり、また、前記判別面からの距離が所定の範囲内にある再学習に用いる再学習データベクトルを取得する再学習データベクトル取得手段と、パターンを認識すべき未知の対象の特徴データを取得する手段と、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換する手段と、前記判別面と前記標本データベクトルとの位置関係を求める手段と、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別する手段と、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別する手段と、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとする手段と、該再学習データベクトルを用いて判別面を再算出する手段とを有することを特徴とする。
【００４８】
第１４発明に係るパターン認識装置は、前記再学習データベクトル取得手段は、判別面からの距離が所定の範囲内にある前記再学習データベクトルとして、複数の再学習データベクトルの中から選択された前記判別面からの距離が所定の値以下である再学習データベクトルを取得する手段を有することを特徴とする。
【００４９】
第１５発明に係るコンピュータでの読み取りが可能な記録媒体は、コンピュータに、対象から得られる空間的及び／又は時間的に分布したパターンを認識させるにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組を取得させ、対象の特徴データから前記対象のカテゴリを判別させるための知識を前記特徴データと前記カテゴリデータとの組からあらかじめ生成しておく学習を行なわせ、前記知識を用いて未知の対象の特徴データから該対象のカテゴリを判別させ、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成させるために再学習データを用いて再学習を行なわせるコンピュータプログラムが記録してあるコンピュータでの読み取りが可能な記録媒体において、コンピュータに、複数の対象の特徴データを、多次元空間のベクトルとして表現した学習に用いる学習データベクトルに変換させるステップと、コンピュータに、前記学習データベクトルと前記複数の対象のカテゴリデータとの組から前記多次元空間内をカテゴリに対応する領域に区分してカテゴリを判別する判別面を算出させるステップと、コンピュータに、算出させた判別面と学習データベクトルとの間の距離を求めさせるステップと、コンピュータに、前記学習データベクトルの中から多次元空間のベクトルとして表現した再学習データを選択させる際、前記判別面からの距離が所定の範囲内にあるものを選択させて再学習データベクトルとさせる再学習データベクトル選択ステップとを実行させるためのコンピュータプログラムが記録してあることを特徴とする。
【００５０】
第１６発明に係るコンピュータでの読み取りが可能な記録媒体は、コンピュータに、パターンを認識すべき未知の対象の特徴データを取得させるステップと、コンピュータに、前記特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換させるステップと、コンピュータに、前記判別面と前記標本データベクトルとの位置関係を求めさせるステップと、コンピュータに、前記位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別させ、その判別結果から前記標本データベクトルのカテゴリを判別させるステップと、コンピュータに、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別させるステップと、コンピュータに、前記判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとさせるステップと、コンピュータに、前記再学習データベクトルを用いて判別面を再算出させるステップとを更に実行させるためのコンピュータプログラムが記録してあることを特徴とする。
【００５１】
第１７発明に係るコンピュータでの読み取りが可能な記録媒体は、前記再学習データベクトル選択ステップは、コンピュータに、複数の前記学習データベクトルの中から、前記判別面からの距離が所定の値以下であるものを再学習データベクトルとして選択させるステップを有することを特徴とする。
【００５２】
第１８発明に係るコンピュータでの読み取りが可能な記録媒体は、コンピュータに、対象から得られる空間的及び／又は時間的に分布したパターンを認識させるにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別させ、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成させるために再学習データを用いて再学習を行なわせるコンピュータプログラムが記録してあるコンピュータでの読み取りが可能な記録媒体において、コンピュータに、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得させるステップと、コンピュータに、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現した再学習に用いる再学習データベクトルを取得させるステップと、コンピュータに、パターンを認識すべき未知の対象の特徴データを取得させるステップと、コンピュータに、前記特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換させるステップと、コンピュータに、前記判別面と前記標本データベクトルとの位置関係を求めさせるステップと、コンピュータに、前記位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別させ、その判別結果から前記標本データベクトルのカテゴリを判別させるステップと、コンピュータに、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別させるステップと、コンピュータに、前記判別面の再算出が必要であるとされた場合に、前記再学習データベクトルの内、前記判別面からの距離が所定の範囲内にある再学習データベクトルを取得させる再学習データベクトル取得ステップと、コンピュータに、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとさせるステップと、コンピュータに、前記再学習データベクトルを用いて判別面を再算出させるステップとを実行させるためのコンピュータプログラムが記録してあることを特徴とする。
【００５３】
第１９発明に係るコンピュータでの読み取りが可能な記録媒体は、前記再学習データベクトル取得ステップは、コンピュータに、複数の前記再学習データベクトルの中から、前記判別面からの距離が所定の値以下のものを選択して新たな再学習データベクトルとして取得させるステップを有することを特徴とする。
【００５４】
第２０発明に係るコンピュータでの読み取りが可能な記録媒体は、コンピュータに、対象から得られる空間的及び／又は時間的に分布したパターンを認識させるにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別させ、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成させるために再学習データを用いて再学習を行なわせるコンピュータプログラムが記録してあるコンピュータでの読み取りが可能な記録媒体において、コンピュータに、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得させるステップと、コンピュータに、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現してあり、また、前記判別面からの距離が所定の範囲内にある再学習に用いる再学習データベクトルを取得させる再学習データベクトル取得ステップと、コンピュータに、パターンを認識すべき未知の対象の特徴データを取得させるステップと、コンピュータに、前記特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換させるステップと、コンピュータに、前記判別面と前記標本データベクトルとの位置関係を求めさせるステップと、コンピュータに、前記位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別させ、その判別結果から前記標本データベクトルのカテゴリを判別させるステップと、コンピュータに、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別させるステップと、コンピュータに、前記判別面の再算出が必要であるとされた場合に、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとさせるステップと、コンピュータに、前記再学習データベクトルを用いて判別面を再算出させるステップとを実行させるためのコンピュータプログラムが記録してあることを特徴とする。
【００５５】
第２１発明に係るコンピュータでの読み取りが可能な記録媒体は、前記再学習データベクトル取得ステップは、コンピュータに、判別面からの距離が所定の範囲内にある前記再学習データベクトルとして、複数の再学習データベクトルの中から選択された前記判別面からの距離が所定の値以下である再学習データベクトルを取得させるステップを有することを特徴とする。
【００５６】
第１発明、第８発明及び第１５発明にあっては、複数の対象のパターンの特徴データを取得し、各特徴データを夫々学習データベクトルに変換し、前記複数の対象のカテゴリをカテゴリデータとして取得し、前記学習データベクトルと前記カテゴリデータとの組から判別面を算出し、該判別面と各学習データベクトルとの距離を夫々求めて、学習データベクトルの中から前記距離が所定の範囲内にある学習データベクトルを再学習データベクトルとして選択することにより、再学習の際、再学習データベクトルの個数を軽減することが出来る。
【００５７】
また、再学習データベクトルを選択する基準が判断面と学習データベクトルとの距離であり、該距離は容易に算出出来るので、再学習データベクトルの選択に必要な計算時間及び／又は計算機資源が節約出来る。
【００５８】
第２発明、第９発明及び第１６発明にあっては、未知の対象の特徴データを取得して標本データベクトルに変換し、第１発明、第８発明及び第１５発明において算出した判別面と前記標本データベクトルとの位置関係を調べて該標本データベクトルのカテゴリ判別を行なった後、前記判別面のカテゴリ判別精度が許容可能であるか否かを基準にして判別面の再算出が必要であるか否かを区別し、判別面の再算出が必要であるとされた場合に、第１発明、第８発明及び第１５発明において求めた再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとして、この新たな再学習データベクトルを用いて判別面を再算出する。このため、再学習を行なう際に膨大な個数の再学習データベクトルを用いる必要がなく、判断面の再算出に必要な計算時間及び／又は計算機資源が節約出来る。
【００５９】
第３発明、第１０発明及び第１７発明にあっては、再学習データベクトルを選択する際に、判別面からの距離が所定の値以下の学習データベクトルを再学習データベクトルとして選択し、該再学習データベクトルを用いて判別面を再算出することにより、判別面に近い学習データベクトルのみが判別面の決定に寄与するという性質から、少数の再学習データベクトルから判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来る。
【００６０】
第４発明、第１１発明及び第１８発明にあっては、未知の対象の特徴データを取得して標本データベクトルに変換し、予め算出した判別面、例えば第１発明、第８発明及び第１５発明において算出した判別面と前記標本データベクトルとの位置関係を調べて該標本データベクトルのカテゴリ判別を行なった後、前記判別面のカテゴリ判別精度が許容可能であるか否かを基準にして判別面の再算出が必要であるか否かを区別し、判別面の再算出が必要であるとされた場合に、例えば第１発明、第８発明及び第１５発明において用いられた学習データベクトルを再学習データベクトルとして用意し、該再学習データベクトルの中から前記判別面からの距離が所定の範囲内にある学習データベクトルを新たな再学習データベクトルとして取得し、取得された再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとして、この新たな再学習データベクトルを用いて判別面を再算出する。このため、再学習を行なう際に膨大な個数の再学習データベクトルを用いる必要がなく、判断面の再算出に必要な計算時間及び／又は計算機資源が節約出来る。
【００６１】
また、再学習データベクトルを取得する基準が判断面と前記再学習データベクトルとの距離であり、該距離は容易に算出出来るので、再学習データベクトルの取得に必要な計算時間及び／又は計算機資源が節約出来る。
【００６２】
第５発明、第１２発明及び第１９発明にあっては、再学習データベクトルを取得する際に、判別面からの距離が所定の値以下の再学習データベクトルを取得し、該再学習データベクトルを用いて判別面を再算出することにより、判別面に近い学習データベクトルのみが判別面の決定に寄与するという性質から、少数の再学習データベクトルから判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来る。
【００６３】
第６発明、第１３発明及び第２０発明にあっては、未知の対象の特徴データを取得して標本データベクトルに変換し、予め算出した判別面、例えば第１発明、第８発明及び第１５発明において算出した判別面と前記標本データベクトルとの位置関係を調べて該標本データベクトルのカテゴリ判別を行なった後、前記判別面のカテゴリ判別精度が許容可能であるか否かを基準にして判別面の再算出が必要であるか否かを区別し、判別面の再算出が必要であるとされた場合に、前記判別面からの距離が所定の範囲内にある再学習データベクトル、例えば第１発明、第８発明及び第１５発明において求めた再学習データベクトルを取得し、該再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとして、この新たな再学習データベクトルを用いて判別面を再算出する。このため、再学習を行なう際に膨大な個数の再学習データベクトルを用いる必要がなく、判断面の再算出に必要な計算時間及び／又は計算機資源が節約出来る。
【００６４】
第７発明、第１４発明及び第２１発明にあっては、判別面からの距離が所定の値以下の再学習データベクトルを取得し、該再学習データベクトルを用いて判別面を再算出することにより、判別面に近い学習データベクトルのみが判別面の決定に寄与するという性質から、少数の再学習データベクトルから判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来る。
【００６５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
【００６６】
ここでは、音声のパターン認識を行なう場合であって、判別面を用いて標本データベクトルをカテゴリＡ又はカテゴリＢの２個のカテゴリに判別することによりパターン認識を実施する形態について説明する。
【００６７】
また、パターン認識の処理手順を、高度な計算能力（例えば数百から数千次元である学習データベクトルを数百から数千用いた繰り返し演算が可能な大きいメモリ容量、高い計算速度）を必要とする学習（多数の学習データベクトルを用いた判別面の算出）及び再学習データベクトルの選択を行なう第１段階と、該第１段階の処理に必要とされる計算能力より低度な計算能力で足りる標本ベクトルのカテゴリ判別及び再学習（前記再学習データベクトルを用いた判別面の再算出）を行なう第２段階とに分け、高度な計算能力を有する第１コンピュータによって第１段階の処理を、第１コンピュータ以下の能力を有する第２コンピュータによって第２段階の処理を、夫々行なうものとする。
【００６８】
図１は、本発明に係るパターン認識装置の実施の形態を示すブロック図である。
【００６９】
図中１は高度な計算能力を有する第１コンピュータ、図中２は、第１コンピュータ以下の能力を有する第２コンピュータである。
【００７０】
第１コンピュータ１には音声入力装置１８が接続されており、該音声入力装置１８から、第１コンピュータ１を用いて後述の手順により判別面を算出するための学習データベクトルとなる音声を入力する。
【００７１】
第１コンピュータ１はＣＰＵ１１を有し、該ＣＰＵ１１に対して、キーボード及びマウス等の入力装置を備える入力部１３、本発明のプログラムが記録されているＣＤ−ＲＯＭ又はフレキシブルディスク等の可搬型記録媒体１４に記録されているプログラムを読み取るＣＤ−ＲＯＭドライブ又はフレキシブルディスクドライブ等の外部記憶装置１５、外部記憶装置１５により読み取った本発明のプログラムを格納するハードディスク１６、入出力画面を表示するディスプレイ並びに出力されたデータ及びパラメータを可搬型記録媒体に書き込む外部記憶装置を備える出力部１７、並びに前記ＣＰＵ１１において発生するデータと、前記音声入力装置１８又は入力部１３から入力されるデータ及びパラメータと、前記プログラムとを記憶するメモリ１２が接続されている。前記ＣＰＵ１１及びメモリ１２は、後述する判別面算出に必要な計算速度、計算精度等の諸条件を実現することが可能な処理能力及びメモリ容量を有する。
【００７２】
可搬型記録媒体１４には本発明のプログラムが記録されており、該プログラムを外部記憶装置１５を用いて第１コンピュータ１へダウンロードし、ハードディスク１６に格納する。前記プログラムには、それ自体公知の技術であるサポートベクトルマシーンが含まれており、格納されたプログラムをＣＰＵ１１がメモリ１２にロードすることによって第１コンピュータ１は本発明の第１段階の処理を行なう機能を有する。
【００７３】
音声入力装置１８について説明すると、マイクロホン１８１によって集音した音声は該マイクロホン１８１によって電気信号に変換される。この電気信号を増幅器１８２で増幅してＡ／Ｄ（アナログ／デジタル）変換器１８３でデジタル化して第１コンピュータ１へ入力する。
【００７４】
音声入力装置１８からは集音した音声がデジタルデータに変換されて前記第１コンピュータ１へ入力され、学習データとしてメモリ１２に格納される。入力部１３、例えばキーボードから、前記学習データのカテゴリデータ、多次元空間の次元、周波数領域等の、第１段階の処理に必要なパラメータ及びデータが入力されて、メモリ１２に格納される。
【００７５】
ＣＰＵ１１は、メモリ１２に格納されたデータ及びパラメータを用いて学習データの学習データベクトルへの変換、学習データベクトルによる判別面の算出、該判別面と学習データベクトルとの間の距離の算出等の演算、及び該距離を用いた再学習データベクトルの選択を行ない、該選択の終了後、出力部１７のディスプレイに、算出された判別面、及び学習データベクトルの中から選択された再学習データベクトルと該再学習データベクトルのカテゴリデータとの組とを第１出力データとして表示し、また、前記出力部１７の外部記憶装置を用いて可搬型記録媒体に前記第１出力データを記録する。該第１出力データは、前記可搬型記録媒体を介して第２コンピュータ２へ入力される。
【００７６】
なお、入力部１３からは、多次元空間の次元、周波数領域、及び各学習データに対応するカテゴリデータ等の、必要なパラメータ及びデータが入力されるが、これらのパラメータ及びデータを、前述したキーボードを介して入力する以外に、可搬型記録媒体に記録して外部記憶装置１５で読み取り第１コンピュータ１へ入力しても良い。また、音声入力装置１８を用いず、予め学習データベクトルに変換した音声のデータを直接第１コンピュータ１へ入力しても良い。
【００７７】
第２コンピュータ２にも音声入力装置２８が接続されており、該音声入力装置２８から、第２コンピュータ２を用いて後述の手順によりカテゴリを判別するための標本データベクトルとなる音声が入力される。
【００７８】
第２コンピュータ２はＣＰＵ２１を有し、該ＣＰＵ２１に対して、キーボード及びマウス等の入力装置と前記可搬型記録媒体に記録された第１出力データを読み取る外部記憶装置とを備える入力部２３、本発明のプログラムが記録されているＣＤ−ＲＯＭ又はフレキシブルディスク等の可搬型記録媒体２４に記録されているプログラムを読み取るＣＤ−ＲＯＭドライブ又はフレキシブルディスクドライブ等の外部記憶装置２５、外部記憶装置２５により読み取った本発明のプログラムを格納するハードディスク２６、入出力画面を表示するディスプレイを備える出力部２７、並びに前記ＣＰＵ２１において発生するデータと、前記音声入力装置２８又は入力部２３から入力されるデータ及びパラメータと、前記プログラムとを記憶するメモリ２２が接続されている。
【００７９】
可搬型記録媒体２４には本発明のプログラムが記録されており、該プログラムを外部記憶装置２５を用いて第２コンピュータ２へダウンロードし、ハードディスク２６に格納する。前記プログラムには、それ自体公知の技術であるサポートベクトルマシーンが含まれており、格納されたプログラムをＣＰＵ２１がメモリ２２にロードすることによって第２コンピュータ２は本発明の第２段階の処理を行なう機能を有する。
【００８０】
音声入力装置２８について説明すると、マイクロホン２８１によって集音した音声は該マイクロホン２８１によって電気信号に変換される。この電気信号を増幅器２８２で増幅してＡ／Ｄ（アナログ／デジタル）変換器２８３でデジタル化して第２コンピュータ２へ入力する。
【００８１】
音声入力装置２８からは集音した音声がデジタルデータに変換されて前記第２コンピュータ２へ入力され、標本データとしてメモリ２２に格納される。入力部２３、例えば外部記憶装置から、可搬型記録媒体に記録された前記第１出力データ、またキーボードから、多次元空間の次元、周波数領域等の、第２段階の処理に必要なパラメータ及びデータが入力されて、メモリ２２に格納される。
【００８２】
ＣＰＵ２１は、メモリ２２に格納されたデータ及びパラメータを用いて標本データの標本データベクトルへの変換、該標本データベクトルによるカテゴリ判別、判別面の再算出の要不要の判断受付、及び判別面の再算出を行なう。
【００８３】
出力部２７のディスプレイには、データの入力指示又は判別された標本データのカテゴリが表示される。
【００８４】
なお、出力部２７のディスプレイには第２段階の処理によって判別された標本データのカテゴリが出力、表示されるが、該カテゴリを外部記憶装置を用いて可搬型記録媒体に記録することで出力しても良い。
【００８５】
また、音声入力装置２８を用いず、予め標本データベクトルに変換した音声のデータを直接第２コンピュータ２へ入力しても良い。
【００８６】
また、第１コンピュータ１から、多次元空間の次元、周波数領域、第１出力データ等の、必要なパラメータ及びデータを、直接第２コンピュータ２へ入力しても良い。
【００８７】
図２は、第１コンピュータ１で行なわれる第１段階の処理の手順を示すフローチャートである。
【００８８】
第１コンピュータ１は、カテゴリＡ（例えば「あ」）の音声と該音声のカテゴリデータ（例えば１）との組、並びにカテゴリＢ（「あ」ではない「い」、「う」、「え」等）の音声と該音声のカテゴリデータ（例えば−１）との組の入力を受け付ける。このとき、音声を音声入力装置１８から、カテゴリデータを入力部１３から入力するよう要求し、前記出力部１７のディスプレイに指示を表示する（Ｓ２０１）。
【００８９】
音声入力装置１８から入力され、デジタルデータに変換された音声、即ち該音声の特徴データを、学習データとして取得し、該学習データと該学習データに対応するカテゴリデータとを一組としてメモリ１２に記憶する。また、前記学習データとカテゴリデータとの組がｉ組目（ｉ＝１，２，…）であることをカウントする（Ｓ２０２）。
【００９０】
音声及びカテゴリの入力を終了するか否か前記出力部１７のディスプレイに指示を表示し、終了する場合は前記ｉを前記学習データと該学習データに対応するカテゴリデータとの組の数Ｎとして前記メモリ１２に記憶し、入力を続行する場合はＳ２０１に戻る（Ｓ２０３）。
【００９１】
学習データを学習データベクトルに変換させるときに用いるパラメータ（サンプリングの時間間隔、サンプリング数ｔ、周波数領域及び該周波数領域の区分数ｕ）、再学習によるカテゴリ判別精度の向上性又は再計算にかかる時間等の計算の便を勘案してあらかじめ決定される再学習データベクトルの選択条件（学習データベクトルと判別面との距離ｄの範囲）等、必要なデータ及びパラメータである第１初期データを入力部１３からキーボードを介して入力するよう要求し、前記出力部１７のディスプレイに指示を表示する（Ｓ２０４）。
【００９２】
第１初期データを全て取得していない場合、Ｓ２０４に戻る（Ｓ２０５）。
【００９３】
なお、サポートベクトルと判別面との間の距離を１に正規化する場合は１未満の距離がないため、１以上、例えば２以下を学習データベクトルと判別面との距離である前記ｄの範囲として設定する。
【００９４】
次に、Ｓ２０２で取得した学習データを所定の時間間隔でｔ個（例えば１０ｍｓの間隔で１００個）サンプリングし、フーリエ変換して、各サンプリング時におけるあらかじめ定められた周波数区分数ｕ（例えば０Ｈｚから２０００Ｈｚまで等間隔で２０区分）の信号強度（パワースペクトル）の時系列データを求める。このｔ×ｕ＝ｍ次元（１００×２０＝２０００次元）の時系列データを１つの学習データベクトルＶ[i] （i=1,2,…,N）とし、該学習データベクトルに対応するカテゴリデータをカテゴリデータｙ[i] （i=1,2,…,N）としてメモリ１２に記憶する（Ｓ２０６）。
【００９５】
前述の変換をＮ個の学習データ夫々に行ない、Ｎ組の学習データベクトルＶ[i] とカテゴリデータｙ[i] との組を得る（Ｓ２０７）。
【００９６】
前記Ｎ組の学習データベクトルＶ[i] とカテゴリデータｙ[i] との組から、サポートベクトルマシーンを用いて判別面Ｗ・Ｘ＋ｂ＝０におけるＷ，ｂを算出する（Ｓ２０８）。
【００９７】
次に学習データベクトルＶ[i] と判別面Ｗ・Ｘ＋ｂ＝０との間の距離ｄ[i] を式(4) により算出する（Ｓ２０９）。
【００９８】
次に、Ｓ２０７で得た前記Ｎ組の学習データベクトルＶ[i] とカテゴリデータｙ[i] との組の中からＳ２０４において取得した前記選択条件に合致する（例えば学習データベクトルと判別面との距離ｄ[i] が前記ｄの範囲内に含まれる、即ち１以上２以下である) 学習データベクトルＶ[i] とカテゴリデータｙ[i] との組を選択し、再学習データベクトルＶ'[k]と再学習用カテゴリデータｙ'[k]との組とする（k=1,2,…,N' ；N'<N）（Ｓ２１０）。
【００９９】
Ｎ組の学習データベクトルＶ[i] とカテゴリデータｙ[i] との組夫々について前述のようにｄ[i] の算出とＶ'[k]，ｙ'[k]の選択とを行なう（Ｓ２１１）。
【０１００】
なお、判別面からの距離が小さすぎる学習データベクトルは汎化誤差が大きいので、そのようなデータを新しい判別面の算出時にあらかじめ除去しておくことにより、判別困難な再学習データベクトルが混入することにより判別面が異常になって正常なカテゴリ判別が行なえなくなることを防止することも出来る。これは、再学習データベクトルを選択するときの距離の下限を設定することによって行なえる。
【０１０１】
最後に、Ｓ２０８で求めた判別面Ｗ・Ｘ＋ｂ＝０におけるＷ，ｂ、及びＳ２１０で求めた再学習データベクトルＶ'[k]と再学習用カテゴリデータｙ'[k]との組を第２コンピュータ２システムへ入力するための第１出力データとし、出力部１７のディスプレイに表示し、また、前記出力部１７の外部記憶装置を用いて可搬型記録媒体に書き込む（Ｓ２１２）。
【０１０２】
なお、判別面を算出した後、新たな学習データベクトルを追加しても良く、この追加された学習データベクトルも含む全ての学習データベクトルについて各々判別面からの距離を計算し、その距離が所定の範囲内に入る前記学習データベクトルを再学習データベクトルとして選択しても良い。
【０１０３】
図３は、第２コンピュータ２で行なわれる第２段階の処理の手順を示すフローチャートである。
【０１０４】
第２コンピュータ２は、音声の入力を受け付ける。このとき、前記音声を音声入力装置２８から入力するよう要求し、前記出力部２７のディスプレイに指示を表示する（Ｓ４０１）。
【０１０５】
音声入力装置２８へ入力され、デジタルデータに変換された音声を、標本データとしてメモリ２２に記憶する（Ｓ４０２）。
【０１０６】
前記第１出力データ（判別面Ｗ・Ｘ＋ｂ＝０におけるＷ，ｂ及び再学習データベクトルＶ'[k]と再学習用カテゴリデータｙ'[k]との組）、標本データを標本データベクトルに変換させるときに用いるパラメータ（サンプリングの時間間隔及び周波数区分）等、第２段階の処理に必要なパラメータ及びデータである第２初期データを入力部２３から（例えば前記第１出力データが記録された可搬型記録媒体を介して該可搬型記録媒体を読み取る外部記憶装置から、また、手入力でキーボードから）入力するよう要求し、前記出力部２７のディスプレイに指示を表示する（Ｓ４０３）。
【０１０７】
第２初期データを全て取得していない場合、Ｓ４０３に戻る（Ｓ４０４）。
【０１０８】
次に、Ｓ４０２で取得した標本データを所定の間隔でサンプリングし、フーリエ変換して、各サンプリング時におけるあらかじめ決められた周波数区分のパワースペクトルの時系列データを求める。この時系列データを標本データベクトルＺとする（Ｓ４０５）。
【０１０９】
該標本データベクトルＺと判別面Ｗ・Ｘ＋ｂ＝０との位置関係を調べる。具体的には、判別面のパラメータＷ，ｂと前記標本データＺからＷ・Ｚ＋ｂの値を算出する（Ｓ４０６）。
【０１１０】
次に、該Ｗ・Ｚ＋ｂの値の正負を判定する（Ｓ４０７）。
【０１１１】
この値が正の場合には、前記標本データをカテゴリＡと判別し、出力部２７のディスプレイに結果を表示する（Ｓ４０８ａ）。
【０１１２】
この値が負の場合には、前記標本データをカテゴリＢと判別し、出力部２７のディスプレイに結果を表示する（Ｓ４０８ｂ）。
【０１１３】
次に、判別面を再算出する必要があるか否かの判断を受け付ける。Ｓ４０８ａ又はＳ４０８ｂで判断されたカテゴリが誤っている場合は再算出が必要であるとして「Ｙ」又は「ｙ」を、正しい場合は再算出が不要であるとして「Ｎ」又は「ｎ」を、入力部２３からキーボードを介して入力するよう要求し、前記出力部２７のディスプレイに指示を表示する（Ｓ４０９）。
【０１１４】
「Ｙ」又は「ｙ」の入力を取得した、即ち判別面を再算出する必要があると判断した場合はＳ４１１へ、「Ｎ」又は「ｎ」の入力を取得した、即ち判別面を再算出する必要がないと判断した場合はＳ４１４へ移る（Ｓ４１０）。
【０１１５】
Ｓ４１０において判別面の再算出が必要であると判断された、即ちＳ４０８ａ又はＳ４０８ｂで判断された前記標本データＺのカテゴリが誤りであったと判断されたため、ここでカテゴリの判断を修正し、カテゴリデータｙz を得る。例えば、カテゴリＡと判断されていた場合は前記標本データＺの真のカテゴリがカテゴリＢであると修正し、カテゴリデータｙz ＝−１を得る。カテゴリＢと判断されていた場合は前記標本データＺの真のカテゴリがカテゴリＡであると修正し、カテゴリデータｙz ＝１を得る（Ｓ４１１）。
【０１１６】
前記再学習データベクトルＶ'[k]と再学習用カテゴリデータｙ'[k]との組に前記標本データベクトルＺと前記カテゴリデータｙz との組を追加し、新たな再学習データベクトルと再学習用カテゴリデータとの組とする（Ｓ４１２）。
【０１１７】
Ｓ４１２で得られた新たな再学習データベクトルと再学習用カテゴリデータとを用いてサポートベクトルマシーンにより新たな判別面のパラメータＷ，ｂを算出する（Ｓ４１３）。
【０１１８】
なお、ここで用いられた新たな再学習データベクトルと再学習用カテゴリデータとの組は、前述の第１コンピュータ１で用いられた学習データベクトルＶ[i] とカテゴリデータｙ[i] との組Ｎ組よりも数が少ないので、第２コンピュータ２の計算能力が第１コンピュータ１より劣っていても問題はない。
【０１１９】
Ｓ４１３で得られた新たな判別面Ｗ・Ｘ＋ｂ＝０は、再学習により判別精度が向上した判別面であるので、該判別面を用いて前記標本データＺのカテゴリ判別を行なうために、再びＳ４０６へ戻る。
【０１２０】
一方、Ｓ４１０で判別面の再算出が不必要であると判断された場合は、Ｓ４０８ａ又はＳ４０８ｂで判別したカテゴリを出力部２７のディスプレイに出力する（Ｓ４１４）。
【０１２１】
なお、上述の実施例では、ある１つの音声についてカテゴリ判断を行なっているが、例えばＬ個の音声を受け付けて上述の処理をＬ回繰り返しても良い。
【０１２２】
また、判別面の再算出の要不要の判断の入力を受け付ける実施形態ではなく、カテゴリ判別する音声に対応するカテゴリデータの入力を受け付けて、判別されたカテゴリのカテゴリデータと入力されたカテゴリデータとを一致するか否か比較することで判別面の再算出の要不要を判断しても良い（一致した場合は再算出不要、一致しない場合は再算出が必要）。
【０１２３】
また、真のカテゴリが出力されている場合であっても、判別面Ｗ・Ｘ＋ｂ＝０と前記標本データベクトルＺとの距離が近い（式(4) のＶ[i] にＺを代入した値が所定の値より小さい）場合は、再算出が必要であると判断しても良い。
【０１２４】
また、判別面を再算出した後、その新しい判別面と再学習データベクトルとの間の距離を算出し、その距離に基づいて再度再学習データベクトルを選択しても良い。このとき、新しい判別面と再学習データベクトルとの間の距離を算出する前に、新たな学習データベクトルを再学習データベクトルに追加しても良い。
【０１２５】
以上のようにして、本発明におけるパターン認識方法およびパターン認識装置は、判別面と学習データベクトルとの間の距離、場合によっては判別面と標本データベクトルとの間の距離、判別面と再学習データベクトルとの間の距離という容易に算出出来るパラメータを用いて判別面を再算出するための再学習データベクトルを決定し、また、再学習を行なう場合には最初の判別面を算出したときの学習データベクトルとカテゴリデータとの組よりも少ない再学習データベクトルと再学習用カテゴリデータとを用いるので、膨大な計算機資源及び／又は膨大な計算時間を要することなく、より判別精度の高い判別面を効率よく再決定出来るという利点が得られる。
【０１２６】
なお、再学習データベクトルの選択範囲は、計算量、計算頻度、又は誤認識（判別面によるカテゴリ判別ミス）の頻度等により、適宜その範囲を増減しても良い。
【０１２７】
また、再学習データベクトルは、判別面から近い順（ｄ[i] の小さい順）に所定の数だけを選択しても良い。又は、所定の範囲にｄ[i] が入る学習データベクトルＶ[i] とカテゴリデータｙ[i] との組の数が所定の数を超えた場合に、判別面から近い順に所定の数だけを選択しても良い。この選択数は、再学習によるカテゴリ判別精度の向上性、再計算にかかる時間等の計算の便を勘案して決定する。
【０１２８】
学習データベクトルと判別面との間の距離は式(4) のみではなく、例えばあらかじめ決められたｍ次元より小さいｍ' 次元空間における距離を用いてもよい。つまり、判別されるデータの特性、計算上の便宜等に合わせて距離の定義を変えても良い。
【０１２９】
また、カテゴリがＫ個に区分されている場合は、夫々のカテゴリについてＫ個の判別面を算出し、各判別面について前述の処理を行なえば良い。
【０１３０】
前述の実施形態では、パターン認識の処理手順を第１段階の処理手順と第２段階の処理手順とに分け、夫々の処理を第１コンピュータ１と第２コンピュータ２とを含んで構成されるパターン認識装置で行なっているが、前述の第１段階の処理と第２段階の処理とを同一のコンピュータで行なっても、膨大な計算時間を要することなく、より判別精度の高い判別面を効率よく再決定出来るという利点を実現する。
【０１３１】
しかし、前述のパターン認識装置によれば、高度な計算能力を必要とするパターン認識処理（多数の学習データベクトルからの判断面の算出）には高度な計算能力を有する第１コンピュータ１を使い、低度な計算能力で足りる、即ち計算が容易なパターン認識処理（算出した判断面を用いた標本データベクトルのカテゴリ判別、再学習が必要と判断された場合の少数の再学習データベクトルからの判断面再算出）には低度な計算能力を有する第２コンピュータ２を使うことにより、計算能力に差のあるコンピュータ２つを１つのパターン認識装置とするため、パターン認識装置全体として計算機資源を節約し、また、精度の高いパターン認識を行なうことが出来る。
【０１３２】
また、前述したパターン認識の第２段階の処理手順のみを行なっても良い。この場合、あらかじめ用意されている判別面及び該判別面からの距離が所定の範囲内にある再学習データベクトル（例えば前記判別面からの距離が所定の値以下である再学習データベクトル）と該再学習データベクトルに対応するカテゴリデータとの組を、第２初期データとして用いる。
【０１３３】
パターン認識の第２段階の処理手順のみを行なう場合、あらかじめ用意されている判別面及び再学習データベクトルと該再学習データベクトルに対応するカテゴリデータとの組を第２初期データとして用いても良い。判別面の再算出が必要であるとされたとき、前記再学習データベクトルのうち、前記判別面からの距離が所定の範囲内にある再学習データベクトル（例えば前記判別面からの距離が所定の値以下である再学習データベクトル）を新たな再学習データベクトルとし、該再学習データベクトルを判別面の再算出に用いる。
【０１３４】
また、サポートベクトルマシーンに限らず、多次元空間でデータベクトルと判別面との位置関係によりパターン認識を行なう場合、本発明は適用可能である。しかしながら、サポートベクトルマシーンでは、多数の学習データベクトルから少数のサポートベクトルを選択する際に学習データベクトル数に応じた計算量が必要となり、一方、判別面に近い学習データベクトルのみが判別面の決定に寄与するので、判別面の再算出において学習データベクトルよりも少ない個数の再学習データベクトルを用い、しかも、該再学習データベクトルは判別面からの距離が近いものを選択することを特徴とする本発明は特に好適である。即ち、サポートベクトルマシーンの特徴である、汎化誤差が少なく、しかも汎化誤差の見積りが容易で、判別計算が容易であるという利点を計算能力の低いコンピュータでも利用することが出来る。
【０１３５】
パターン認識を行ないたい音声の特徴データである標本データを変換して得た標本データベクトルについて、その音声が何であるかを示すカテゴリが判別面を用いて正しく出力出来るということは、即ち判別面を用いて音声のパターン認識を行なうことが出来るということになり、本発明のパターン認識方法及びパターン認識装置は、有効なパターン認識を行なうことが出来ると言える。
【０１３６】
更に、本発明は、音声のみならず、他のパターン認識（例えば画像のパターン認識）を行なう場合にも用いることが出来る。
【０１３７】
【発明の効果】
本発明のパターン認識方法、パターン認識装置及び記録媒体によれば、複数の学習データベクトルの中から、判別面と各学習データベクトルとの距離が所定の範囲内にある学習データベクトルを再学習データベクトルとして選択することにより、再学習に必要な再学習データベクトルの個数を軽減することが出来る。このため、判別面と標本データベクトルとの位置関係を調べて該標本データベクトルのカテゴリ判別を行なった後、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして判別面の再算出が必要であるか否かを区別し、判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとして、この新たな再学習データベクトルから判別面を再算出するとき、膨大な個数の再学習データベクトルを用いる必要がなく、再学習に必要な計算時間及び／又は計算機資源が節約出来る。
【０１３８】
また、再学習データベクトルを選択する基準が判別面と学習データベクトルとの距離であり、該距離は容易に算出出来るので、再学習データベクトルの選択に必要な計算時間及び／又は計算機資源が節約出来る。
【０１３９】
また、再学習データベクトルを選択する際に、判別面からの距離が近い学習データベクトルを再学習データベクトルとして選択し、該再学習データベクトルから判別面を再算出することにより、判別面に近い学習データベクトルのみが判別面の決定に寄与するという性質から、少数の再学習データベクトルからでも判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来る。
【０１４０】
更に、高度な計算能力を必要とするパターン認識処理である、多数の学習データベクトルからの判別面の算出を、高い計算能力を有するコンピュータで行ない、計算が容易なパターン認識処理である、判別面を用いた標本データベクトルのカテゴリ判別、及び再学習が必要と判断された場合の少数の再学習データベクトルからの判別面再算出を計算能力の低いコンピュータで行なうことにより、長い計算時間及び／又は大量の計算機資源を要する計算は高い計算能力を有するコンピュータで最初の一度だけ行ない、計算時間が短く計算機資源を大量には必要としない計算を計算能力の低いコンピュータで行なうことが出来るため、パターン認識処理に必要とされるコンピュータの能力に応じて、計算能力に差のあるコンピュータ２台を有効に活用することが出来、この２台のコンピュータを一つのパターン認識装置とすることにより、パターン認識装置全体として計算時間及び計算機資源を節約し、しかも、精度の高いパターン認識を行なうことが出来る等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明に係るパターン認識装置の実施の形態を示すブロック図である。
【図２】第１コンピュータで行なわれる第１段階の処理の手順を示すフローチャートである。
【図３】第２コンピュータで行なわれる第２段階の処理の手順を示すフローチャートである。
【符号の説明】
１ 第１コンピュータ
１１ ＣＰＵ
１２ メモリ
１３ 入力部
１４ 可搬型記録媒体
１５ 外部記憶装置
１６ ハードディスク
１７ 出力部
１８ 音声入力装置
１８１ マイクロホン
１８２ 増幅器
１８３ Ａ／Ｄ変換器
２ 第２コンピュータ
２１ ＣＰＵ
２２ メモリ
２３ 入力部
２４ 可搬型記録媒体
２５ 外部記憶装置
２６ ハードディスク
２７ 出力部
２８ 音声入力装置
２８１ マイクロホン
２８２ 増幅器
２８３ Ａ／Ｄ変換器
【発明の属する技術分野】
本発明は、音声認識、画像認識等のパターン認識に関し、特に認識の再学習を行なうパターン認識方法、該パターン認識方法を実施するためのパターン認識装置、及びコンピュータを前記パターン認識装置として機能させるためのコンピュータプログラムが記録されている記録媒体に関する。
【０００２】
【従来の技術】
コンピュータを用いた、音声認識、画像認識等のパターン認識においては、音声、画像等の対象から得られる空間的又は時間的に分布したデータであるパターンを認識する際、まず、音声、画像等の対象から該対象のパターンの特徴を表現する特徴データと、その対象の分類であるカテゴリを示すカテゴリデータを所定の方式に従って生成する。音声認識の場合、例えば人間の声をマイクロホンで集音した電気信号をＡ／Ｄ（アナログ／デジタル）変換器でデジタル化してコンピュータでの利用が可能な特徴データに変換する。音声認識の場合のカテゴリデータは、例えば音声「あ」をカテゴリＡとし、「あ」以外の音声「い」「う」「え」等をカテゴリＢとして、カテゴリＡのカテゴリデータを１、カテゴリＢのカテゴリデータを−１と定める。
【０００３】
コンピュータは、特徴データとカテゴリデータとの組の入力を多数受け付け、該特徴データとカテゴリデータとの組から前記対象のパターンの特徴とカテゴリとを関連付ける知識を生成する。該知識は、未知の対象のパターンの特徴データからその対象のカテゴリを判別することが出来るものであり、前記知識をコンピュータが生成することを学習という。学習のために特徴データを用いるとき、その特徴データを学習データと呼ぶ。一方、パターン認識を行なうべき未知の対象の特徴データを標本データと呼ぶ。パターン認識とは、前記知識を用いて標本データから対象のカテゴリを判別することである。また、学習データから知識を生成した後、よりカテゴリ判別精度の高い知識を生成するために再び学習することを再学習と呼び、再学習を行なうときに用いる特徴データを再学習データと呼ぶ。
【０００４】
パターン認識の方法には、あらかじめ登録されたパターンと標本データから得られるパターンとを照合して相関係数が１に近いものを選び出す方法、あらかじめ学習を行なったニューラルネットワークに標本データを入力して出力を得る方法、又は多次元空間内をカテゴリに対応する領域に区分して判別する判別面をあらかじめ求めておき、該判別面と標本データとの位置関係を調べ、該標本データが前記判別面に対してどちらの側にあるか、即ち標本データが前記多次元空間内のどの領域に位置するかを調べることによりカテゴリを判別する方法等がある。
【０００５】
以下では、簡単のため、標本データが２個のカテゴリ（カテゴリＡ，カテゴリＢ）のいずれに属するかを判別面を用いて判別する場合について従来のパターン認識の実施方法を述べる。
【０００６】
複数の学習データが、２次元平面において、ある線のどちら側に位置するか、３次元空間において、ある平面のどちら側に位置するか、又はｍ次元空間において、ある超平面のどちら側に位置するかを調べることによってカテゴリＡであるかカテゴリＢであるかを区別出来る（線形分離可能である）とき、前述の線を判別線と呼び、平面、超平面を判別面と呼ぶ。コンピュータは、学習データとカテゴリデータとの組から対象のパターンがどのカテゴリに属するかを学習し、未知の対象のカテゴリを判別するために用いることが出来る判別面を算出する。判別面は、評価汎関数（真のカテゴリデータの出力値と判別されたカテゴリデータの出力値との２乗誤差の総和）が最小となるように最適化される（例えば勾配降下法を用いる）が、このとき得られる判別面は、未知の標本データをカテゴリ判別したときの認識誤差（汎化誤差）を制御することが出来ず、従来、認識精度低下の一つの要因となっていた。
【０００７】
判別面を用いて標本データのカテゴリ判別を行なうパターン認識の内、学習データに含まれない未知の標本データに対する認識誤差をあらかじめ見積ることが出来るパターン認識法として、サポートベクトルマシーンが提案されている(Vapnik,V.N.:The Nature of Statistical Learning Theory,Springer-Verlag,1995)。
【０００８】
以下に、サポートベクトルマシーンによるパターン認識の手順を述べる。
【０００９】
集音した音、声等の対象から生成した学習データ及び標本データを、ｍ次元ベクトルである学習データベクトル及び標本データベクトルに変換する。例えば、学習データ又は標本データを所定の時間間隔毎に合計ｔ個サンプリングし、フーリエ変換してパワースペクトルを求め、各サンプリング時におけるあらかじめ定められた合計ｕ個の周波数区分毎の夫々の強度を得て、この合計ｔ×ｕ＝ｍ個のデータを１つの学習データベクトル又は標本データベクトルとする。
【００１０】
ここで、学習データベクトルの組をＶ[1] ，Ｖ[2] ，…，Ｖ[N] とする。このうち、Ｖ[1] ，Ｖ[2] ，…，Ｖ[N']はカテゴリＡに属し、Ｖ[N'+1]，Ｖ[N'+2]，…，Ｖ[N] はカテゴリＢに属するものとする。
【００１１】
このＮ個の学習データベクトルが、ｍ次元空間において、ある超平面のどちら側に位置するかを調べることによってカテゴリＡであるかカテゴリＢであるかを区別出来る（線形分離可能である）とき、次式(1) 式及び(2) 式を満たし、更に(1) 式の等号が成立するような少なくとも１つのi'、(2) 式の等号が成立するような少なくとも１つのi'' が存在するように、ｍ次元ベクトルＷと実数ｂを求めることが出来る。
【００１２】
Ｗ・Ｖ[i] ＋ｂ≧１ (i=1,2, …,N')‥‥‥‥‥‥‥‥‥‥‥(1)
Ｗ・Ｖ[i] ＋ｂ≦−１ (i=N'+1,N'+2, …,N) ‥‥‥‥‥‥‥‥(2)
式中の・はベクトルの内積を表す。
【００１３】
ここで、各学習データベクトルがカテゴリＡ又はカテゴリＢのどちらに属するかの指標であるカテゴリデータｙ[i] （ｙ[i] ＝１；i=1,2,…,N' ，ｙ[i] ＝−１；i=N'+1,N'+2,…,N）を定めると、式(1) ，式(2) は次のように書き直すことが出来る。
【００１４】
ｙ[i] ×（Ｗ・Ｖ[i] ＋ｂ）≧１ (i=1,2, …,N) ‥‥‥‥‥‥(3)
式中の×はスカラー積を表す。
【００１５】
ここで、Ｗ・Ｘ＋ｂ＝０（Ｘはｍ次元変数ベクトル）は、ｍ次元空間における超平面を表し、該超平面に対しどちらの側に標本データベクトルＺがあるか、この場合Ｗ・Ｚ＋ｂの符号が正であるか負であるかによって夫々カテゴリＡに属するかカテゴリＢに属するかを判別出来る。この超平面Ｗ・Ｘ＋ｂ＝０を判別面と呼ぶ。
【００１６】
判別面Ｗ・Ｘ＋ｂ＝０と学習データベクトルＶ[i] との距離ｄ[i] は下式で算出出来る。
【００１７】
ｄ[i] ＝｜Ｗ・Ｖ[i] ＋ｂ｜／‖Ｗ‖‥‥‥‥‥‥‥‥‥‥‥‥(4)
【００１８】
式中の｜ ｜は絶対値を、‖ ‖はベクトルの大きさを表す。
【００１９】
少なくともi=i',i''については｜Ｗ・Ｖ[i] ＋ｂ｜＝１であるから、ｄ[i] の最小値は１／‖Ｗ‖となる。このような、｜Ｗ・Ｖ[i] ＋ｂ｜＝１を満たす全ての学習データベクトルＶ[i] をサポートベクトルＶ[s] と呼ぶ。カテゴリＡに属するサポートベクトルと判別面との距離、及びカテゴリＢに属するサポートベクトルと判別面との距離は、どちらも１／‖Ｗ‖である。つまり、サポートベクトルとは判別面に最も近い学習データベクトルのことである。
【００２０】
判別面がサポートベクトルによって与えられる学習方法、パターン認識方法のことをサポートベクトルマシーンと呼ぶ。
【００２１】
判別面を用いて標本データベクトルＺのカテゴリ判別を行なう場合、判別面からサポートベクトルが遠いほど２つのカテゴリ間の距離（マージン）が広がるため、標本データベクトルＺと判別面との間の距離も充分大きいことが期待出来る。そのため、ノイズの影響、学習データベクトルの不足等の理由から判別面に誤差が生じている場合であっても、前記判別面を用いて判別した標本データベクトルＺのカテゴリが真のカテゴリと異なる可能性は低い。即ち認識誤差（汎化誤差）を抑えることが出来る。つまり、サポートベクトルＶ[s] においてｄ[s] が最大、即ち‖Ｗ‖が最小になるようなＷ及びｂにより定められる判別面を用いるとき、標本データベクトルＺを精度良くカテゴリ判別することが出来る。言い換えれば、カテゴリＡに属する学習データベクトルと判別面との距離の最小値と、カテゴリＢに属する学習データベクトルと判別面との距離の最小値とが等しく、しかもこの距離が最大となるように定められた超平面が最適な判別面Ｗ・Ｘ＋ｂ＝０となる。
【００２２】
判別面を求めるには、学習データベクトルＶ[i] 及び学習データベクトルのカテゴリを表すカテゴリデータｙ[i] の組から、(3) 式の制約条件の下で‖Ｗ‖が最小値となるＷ及びｂとの組を求めれば良く、これは制約条件付きの非線形計画法問題であり、一般的に知られているペナルティ関数法又は乗数法等のアルゴリズムによりコンピュータを用いて数値的に算出することが出来る。
【００２３】
このようにして求められた判別面により、標本データベクトルＺは、Ｗ・Ｚ＋ｂの値の正負の符号でカテゴリを判別することが出来る。また、該標本データベクトルＺと判別面Ｗ・Ｘ＋ｂ＝０との間の距離ｄz ＝｜Ｗ・Ｚ＋ｂ｜／‖Ｗ‖を調べることにより、汎化誤差を見積ることが出来る。つまり、ｄz の値が小さければ小さいほど、前記標本データベクトルＺは判別面に近い位置にあり、該判別面を用いて判別した標本データベクトルＺのカテゴリが真のカテゴリと異なる可能性が高くなる。
【００２４】
なお、ここでは２個のカテゴリについて述べたが、Ｋ個のカテゴリに区分する場合は、夫々のカテゴリ区分に対応するＫ個の判別面を求めて判別を行なえばよい。
【００２５】
以上説明したようにサポートベクトルマシーンを用いてパターン認識を行なう場合、学習データベクトルから判別面を算出するとき、通常数百から数千次元である学習データベクトルを数百から数千必要とし、更に判別面の算出は従来の技術で述べたように制約条件付きの非線形計画法問題であるため繰り返し演算を必要とすることから、判別面の算出には膨大な計算時間を必要とする。更に、制約条件付き非線形計画法を解く場合に、学習データベクトルの行列を必要とするときには、コンピュータのメモリ容量も膨大なものを要する。
【００２６】
一方、判別面が算出されている場合、それを用いた標本データベクトルのカテゴリ判別は容易に行なえる。
【００２７】
このため、サポートベクトルマシーンを用いる場合、判別面の算出には能力の高いコンピュータを使用し、算出された判別面によるカテゴリ判別には能力の低いコンピュータを使用することにより、パターン認識に必要な計算機資源を節約することが出来る。
【００２８】
しかしながら、算出した判別面を用いてカテゴリ判別し、受容可能なカテゴリ判別精度が得られなかった場合、よりカテゴリ判別精度の高い判別面を算出するために再学習を行なうことがあり、再学習のために学習データベクトルと同数以上の再学習データベクトルを用いるとき、学習データベクトルから判別面を算出したときと同様に高い能力を持つコンピュータを使用し膨大な計算時間と計算機資源とを費やして判別面を再算出しなければならないため、パターン認識の効率が低下するという問題が生じる。
【００２９】
該問題を解決すべく、特開平１１−７３４０６号公報では、同次２次核に用いられる固有値計算以外の最適化法を用いて訓練段階中にあらかじめ決定された縮小セットのベクトルを用いて標本データベクトルのカテゴリ判別を行なう方法が提案されている。
【００３０】
この方法は、あらかじめ求められたサポートベクトルの組から、該サポートベクトルより少ない数の縮小セットベクトルを無制約最適化法により計算するものである。該縮小セットベクトルを用いて判別面を算出し、算出した判別面を用いて標本データベクトルのカテゴリ判別を行ない、受容可能なカテゴリ判別精度が得られない場合は、縮小セットベクトルの個数を調整して新たな縮小セットベクトルを求める。
【００３１】
【発明が解決しようとする課題】
しかしながら、前記特開平１１−７３４０６号公報に記載の方法を用いず、再学習データベクトルを用いて再学習を行ない新たな判別面を求める方法を用いる場合には、前述のように、サポートベクトルマシーンでは多数の再学習データベクトルから判別面を再算出する際に再学習データベクトル数に応じた計算量が必要となる。特に、能力の低いコンピュータで判別面を用いてカテゴリ判別を行なっている場合に再学習が必要になったとき、前記コンピュータ上では容易に判別面の再算出が出来ないためパターン認識の効率が低下する。
【００３２】
本発明は斯かる事情に鑑みてなされたものであり、多数の学習データベクトルの中から再学習データベクトルを選択することにより、再学習を行なう際に膨大な個数の再学習データベクトルを用いる必要がなく、判断面の再算出に必要な計算時間及び／又は計算機資源が節約出来るパターン認識方法、該パターン認識方法を実施するためのパターン認識装置、及びコンピュータを前記パターン認識装置として機能させるためのコンピュータプログラムが記録されている記録媒体を提供することを目的とする。
【００３３】
また、本発明の他の目的は、再学習データベクトルを選択する基準として、容易に算出出来るパラメータである判別面と学習データベクトルとの距離を用いることにより、再学習データベクトルの選択に必要な計算時間及び／又は計算機資源が節約出来るパターン認識方法、該パターン認識方法を実施するためのパターン認識装置、及びコンピュータを前記パターン認識装置として機能させるためのコンピュータプログラムが記録されている記録媒体を提供することにある。
【００３４】
更に、本発明の目的は、再学習データベクトルを選択する際、判別面からの距離が所定の値より小さい学習データベクトルを再学習データベクトルとして選択することにより、判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来るパターン認識方法、該パターン認識方法を実施するためのパターン認識装置、及びコンピュータを前記パターン認識装置として機能させるためのコンピュータプログラムが記録されている記録媒体を提供することにある。
【００３５】
【課題を解決するための手段】
第１発明に係るパターン認識方法は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組を取得し、対象の特徴データから前記対象のカテゴリを判別するための知識を前記特徴データと前記カテゴリデータとの組からあらかじめ生成しておく学習を行ない、前記知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識方法において、複数の対象の特徴データを、多次元空間のベクトルとして表現した学習に用いる学習データベクトルに変換するステップと、該学習データベクトルと前記複数の対象のカテゴリデータとの組から前記多次元空間内をカテゴリに対応する領域に区分してカテゴリを判別する判別面を算出するステップと、算出した判別面と学習データベクトルとの間の距離を求めるステップと、該学習データベクトルの中から多次元空間のベクトルとして表現した再学習データを選択する際、前記判別面からの距離が所定の範囲内にあるものを選択して再学習データベクトルとする再学習データベクトル選択ステップとを有することを特徴とする。
【００３６】
第２発明に係るパターン認識方法は、パターンを認識すべき未知の対象の特徴データを取得するステップと、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換するステップと、前記判別面と前記標本データベクトルとの位置関係を求めるステップと、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別するステップと、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別するステップと、該判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとするステップと、該再学習データベクトルを用いて判別面を再算出するステップとを有することを特徴とする。
【００３７】
第３発明に係るパターン認識方法は、前記再学習データベクトル選択ステップは、複数の前記学習データベクトルの中から、前記判別面からの距離が所定の値以下であるものを再学習データベクトルとして選択するステップを有することを特徴とする。
【００３８】
第４発明に係るパターン認識方法は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識方法において、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得するステップと、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現した再学習に用いる再学習データベクトルを取得するステップと、パターンを認識すべき未知の対象の特徴データを取得するステップと、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換するステップと、前記判別面と前記標本データベクトルとの位置関係を求めるステップと、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別するステップと、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別するステップと、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトルの内、前記判別面からの距離が所定の範囲内にある再学習データベクトルを取得する再学習データベクトル取得ステップと、該再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとするステップと、該再学習データベクトルを用いて判別面を再算出するステップとを有することを特徴とする。
【００３９】
第５発明に係るパターン認識方法は、前記再学習データベクトル取得ステップは、複数の前記再学習データベクトルの中から、前記判別面からの距離が所定の値以下のものを選択して新たな再学習データベクトルとして取得するステップを有することを特徴とする。
【００４０】
第６発明に係るパターン認識方法は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識方法において、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得するステップと、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現してあり、また、前記判別面からの距離が所定の範囲内にある再学習に用いる再学習データベクトルを取得する再学習データベクトル取得ステップと、パターンを認識すべき未知の対象の特徴データを取得するステップと、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換するステップと、前記判別面と前記標本データベクトルとの位置関係を求めるステップと、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別するステップと、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別するステップと、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとするステップと、該再学習データベクトルを用いて判別面を再算出するステップとを有することを特徴とする。
【００４１】
第７発明に係るパターン認識方法は、前記再学習データベクトル取得ステップは、判別面からの距離が所定の範囲内にある前記再学習データベクトルとして、複数の再学習データベクトルの中から選択された前記判別面からの距離が所定の値以下である再学習データベクトルを取得するステップを有することを特徴とする。
【００４２】
第８発明に係るパターン認識装置は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組を取得し、対象の特徴データから前記対象のカテゴリを判別するための知識を前記特徴データと前記カテゴリデータとの組からあらかじめ生成しておく学習を行ない、前記知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識装置において、複数の対象の特徴データを、多次元空間のベクトルとして表現した学習に用いる学習データベクトルに変換する手段と、該学習データベクトルと前記複数の対象のカテゴリデータとの組から前記多次元空間内をカテゴリに対応する領域に区分してカテゴリを判別する判別面を算出する手段と、算出した判別面と学習データベクトルとの間の距離を求める手段と、該学習データベクトルの中から多次元空間のベクトルとして表現した再学習データを選択する際、前記判別面からの距離が所定の範囲内にあるものを選択して再学習データベクトルとする再学習データベクトル選択手段とを有することを特徴とする。
【００４３】
第９発明に係るパターン認識装置は、パターンを認識すべき未知の対象の特徴データを取得する手段と、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換する手段と、前記判別面と前記標本データベクトルとの位置関係を求める手段と、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別する手段と、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別する手段と、該判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとする手段と、該再学習データベクトルを用いて判別面を再算出する手段とを有することを特徴とする。
【００４４】
第１０発明に係るパターン認識装置は、前記再学習データベクトル選択手段は、複数の前記学習データベクトルの中から、前記判別面からの距離が所定の値以下であるものを再学習データベクトルとして選択する手段を有することを特徴とする。
【００４５】
第１１発明に係るパターン認識装置は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識装置において、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得する手段と、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現した再学習に用いる再学習データベクトルを取得する手段と、パターンを認識すべき未知の対象の特徴データを取得する手段と、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換する手段と、前記判別面と前記標本データベクトルとの位置関係を求める手段と、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別する手段と、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別する手段と、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトルの内、前記判別面からの距離が所定の範囲内にある再学習データベクトルを取得する再学習データベクトル取得手段と、該再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとする手段と、該再学習データベクトルを用いて判別面を再算出する手段とを有することを特徴とする。
【００４６】
第１２発明に係るパターン認識装置は、前記再学習データベクトル取得手段は、複数の前記再学習データベクトルの中から、前記判別面からの距離が所定の値以下のものを選択して新たな再学習データベクトルとして取得する手段を有することを特徴とする。
【００４７】
第１３発明に係るパターン認識装置は、対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識装置において、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得する手段と、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現してあり、また、前記判別面からの距離が所定の範囲内にある再学習に用いる再学習データベクトルを取得する再学習データベクトル取得手段と、パターンを認識すべき未知の対象の特徴データを取得する手段と、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換する手段と、前記判別面と前記標本データベクトルとの位置関係を求める手段と、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別する手段と、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別する手段と、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとする手段と、該再学習データベクトルを用いて判別面を再算出する手段とを有することを特徴とする。
【００４８】
第１４発明に係るパターン認識装置は、前記再学習データベクトル取得手段は、判別面からの距離が所定の範囲内にある前記再学習データベクトルとして、複数の再学習データベクトルの中から選択された前記判別面からの距離が所定の値以下である再学習データベクトルを取得する手段を有することを特徴とする。
【００４９】
第１５発明に係るコンピュータでの読み取りが可能な記録媒体は、コンピュータに、対象から得られる空間的及び／又は時間的に分布したパターンを認識させるにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組を取得させ、対象の特徴データから前記対象のカテゴリを判別させるための知識を前記特徴データと前記カテゴリデータとの組からあらかじめ生成しておく学習を行なわせ、前記知識を用いて未知の対象の特徴データから該対象のカテゴリを判別させ、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成させるために再学習データを用いて再学習を行なわせるコンピュータプログラムが記録してあるコンピュータでの読み取りが可能な記録媒体において、コンピュータに、複数の対象の特徴データを、多次元空間のベクトルとして表現した学習に用いる学習データベクトルに変換させるステップと、コンピュータに、前記学習データベクトルと前記複数の対象のカテゴリデータとの組から前記多次元空間内をカテゴリに対応する領域に区分してカテゴリを判別する判別面を算出させるステップと、コンピュータに、算出させた判別面と学習データベクトルとの間の距離を求めさせるステップと、コンピュータに、前記学習データベクトルの中から多次元空間のベクトルとして表現した再学習データを選択させる際、前記判別面からの距離が所定の範囲内にあるものを選択させて再学習データベクトルとさせる再学習データベクトル選択ステップとを実行させるためのコンピュータプログラムが記録してあることを特徴とする。
【００５０】
第１６発明に係るコンピュータでの読み取りが可能な記録媒体は、コンピュータに、パターンを認識すべき未知の対象の特徴データを取得させるステップと、コンピュータに、前記特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換させるステップと、コンピュータに、前記判別面と前記標本データベクトルとの位置関係を求めさせるステップと、コンピュータに、前記位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別させ、その判別結果から前記標本データベクトルのカテゴリを判別させるステップと、コンピュータに、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別させるステップと、コンピュータに、前記判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとさせるステップと、コンピュータに、前記再学習データベクトルを用いて判別面を再算出させるステップとを更に実行させるためのコンピュータプログラムが記録してあることを特徴とする。
【００５１】
第１７発明に係るコンピュータでの読み取りが可能な記録媒体は、前記再学習データベクトル選択ステップは、コンピュータに、複数の前記学習データベクトルの中から、前記判別面からの距離が所定の値以下であるものを再学習データベクトルとして選択させるステップを有することを特徴とする。
【００５２】
第１８発明に係るコンピュータでの読み取りが可能な記録媒体は、コンピュータに、対象から得られる空間的及び／又は時間的に分布したパターンを認識させるにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別させ、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成させるために再学習データを用いて再学習を行なわせるコンピュータプログラムが記録してあるコンピュータでの読み取りが可能な記録媒体において、コンピュータに、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得させるステップと、コンピュータに、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現した再学習に用いる再学習データベクトルを取得させるステップと、コンピュータに、パターンを認識すべき未知の対象の特徴データを取得させるステップと、コンピュータに、前記特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換させるステップと、コンピュータに、前記判別面と前記標本データベクトルとの位置関係を求めさせるステップと、コンピュータに、前記位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別させ、その判別結果から前記標本データベクトルのカテゴリを判別させるステップと、コンピュータに、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別させるステップと、コンピュータに、前記判別面の再算出が必要であるとされた場合に、前記再学習データベクトルの内、前記判別面からの距離が所定の範囲内にある再学習データベクトルを取得させる再学習データベクトル取得ステップと、コンピュータに、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとさせるステップと、コンピュータに、前記再学習データベクトルを用いて判別面を再算出させるステップとを実行させるためのコンピュータプログラムが記録してあることを特徴とする。
【００５３】
第１９発明に係るコンピュータでの読み取りが可能な記録媒体は、前記再学習データベクトル取得ステップは、コンピュータに、複数の前記再学習データベクトルの中から、前記判別面からの距離が所定の値以下のものを選択して新たな再学習データベクトルとして取得させるステップを有することを特徴とする。
【００５４】
第２０発明に係るコンピュータでの読み取りが可能な記録媒体は、コンピュータに、対象から得られる空間的及び／又は時間的に分布したパターンを認識させるにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別させ、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成させるために再学習データを用いて再学習を行なわせるコンピュータプログラムが記録してあるコンピュータでの読み取りが可能な記録媒体において、コンピュータに、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得させるステップと、コンピュータに、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現してあり、また、前記判別面からの距離が所定の範囲内にある再学習に用いる再学習データベクトルを取得させる再学習データベクトル取得ステップと、コンピュータに、パターンを認識すべき未知の対象の特徴データを取得させるステップと、コンピュータに、前記特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換させるステップと、コンピュータに、前記判別面と前記標本データベクトルとの位置関係を求めさせるステップと、コンピュータに、前記位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別させ、その判別結果から前記標本データベクトルのカテゴリを判別させるステップと、コンピュータに、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別させるステップと、コンピュータに、前記判別面の再算出が必要であるとされた場合に、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとさせるステップと、コンピュータに、前記再学習データベクトルを用いて判別面を再算出させるステップとを実行させるためのコンピュータプログラムが記録してあることを特徴とする。
【００５５】
第２１発明に係るコンピュータでの読み取りが可能な記録媒体は、前記再学習データベクトル取得ステップは、コンピュータに、判別面からの距離が所定の範囲内にある前記再学習データベクトルとして、複数の再学習データベクトルの中から選択された前記判別面からの距離が所定の値以下である再学習データベクトルを取得させるステップを有することを特徴とする。
【００５６】
第１発明、第８発明及び第１５発明にあっては、複数の対象のパターンの特徴データを取得し、各特徴データを夫々学習データベクトルに変換し、前記複数の対象のカテゴリをカテゴリデータとして取得し、前記学習データベクトルと前記カテゴリデータとの組から判別面を算出し、該判別面と各学習データベクトルとの距離を夫々求めて、学習データベクトルの中から前記距離が所定の範囲内にある学習データベクトルを再学習データベクトルとして選択することにより、再学習の際、再学習データベクトルの個数を軽減することが出来る。
【００５７】
また、再学習データベクトルを選択する基準が判断面と学習データベクトルとの距離であり、該距離は容易に算出出来るので、再学習データベクトルの選択に必要な計算時間及び／又は計算機資源が節約出来る。
【００５８】
第２発明、第９発明及び第１６発明にあっては、未知の対象の特徴データを取得して標本データベクトルに変換し、第１発明、第８発明及び第１５発明において算出した判別面と前記標本データベクトルとの位置関係を調べて該標本データベクトルのカテゴリ判別を行なった後、前記判別面のカテゴリ判別精度が許容可能であるか否かを基準にして判別面の再算出が必要であるか否かを区別し、判別面の再算出が必要であるとされた場合に、第１発明、第８発明及び第１５発明において求めた再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとして、この新たな再学習データベクトルを用いて判別面を再算出する。このため、再学習を行なう際に膨大な個数の再学習データベクトルを用いる必要がなく、判断面の再算出に必要な計算時間及び／又は計算機資源が節約出来る。
【００５９】
第３発明、第１０発明及び第１７発明にあっては、再学習データベクトルを選択する際に、判別面からの距離が所定の値以下の学習データベクトルを再学習データベクトルとして選択し、該再学習データベクトルを用いて判別面を再算出することにより、判別面に近い学習データベクトルのみが判別面の決定に寄与するという性質から、少数の再学習データベクトルから判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来る。
【００６０】
第４発明、第１１発明及び第１８発明にあっては、未知の対象の特徴データを取得して標本データベクトルに変換し、予め算出した判別面、例えば第１発明、第８発明及び第１５発明において算出した判別面と前記標本データベクトルとの位置関係を調べて該標本データベクトルのカテゴリ判別を行なった後、前記判別面のカテゴリ判別精度が許容可能であるか否かを基準にして判別面の再算出が必要であるか否かを区別し、判別面の再算出が必要であるとされた場合に、例えば第１発明、第８発明及び第１５発明において用いられた学習データベクトルを再学習データベクトルとして用意し、該再学習データベクトルの中から前記判別面からの距離が所定の範囲内にある学習データベクトルを新たな再学習データベクトルとして取得し、取得された再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとして、この新たな再学習データベクトルを用いて判別面を再算出する。このため、再学習を行なう際に膨大な個数の再学習データベクトルを用いる必要がなく、判断面の再算出に必要な計算時間及び／又は計算機資源が節約出来る。
【００６１】
また、再学習データベクトルを取得する基準が判断面と前記再学習データベクトルとの距離であり、該距離は容易に算出出来るので、再学習データベクトルの取得に必要な計算時間及び／又は計算機資源が節約出来る。
【００６２】
第５発明、第１２発明及び第１９発明にあっては、再学習データベクトルを取得する際に、判別面からの距離が所定の値以下の再学習データベクトルを取得し、該再学習データベクトルを用いて判別面を再算出することにより、判別面に近い学習データベクトルのみが判別面の決定に寄与するという性質から、少数の再学習データベクトルから判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来る。
【００６３】
第６発明、第１３発明及び第２０発明にあっては、未知の対象の特徴データを取得して標本データベクトルに変換し、予め算出した判別面、例えば第１発明、第８発明及び第１５発明において算出した判別面と前記標本データベクトルとの位置関係を調べて該標本データベクトルのカテゴリ判別を行なった後、前記判別面のカテゴリ判別精度が許容可能であるか否かを基準にして判別面の再算出が必要であるか否かを区別し、判別面の再算出が必要であるとされた場合に、前記判別面からの距離が所定の範囲内にある再学習データベクトル、例えば第１発明、第８発明及び第１５発明において求めた再学習データベクトルを取得し、該再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとして、この新たな再学習データベクトルを用いて判別面を再算出する。このため、再学習を行なう際に膨大な個数の再学習データベクトルを用いる必要がなく、判断面の再算出に必要な計算時間及び／又は計算機資源が節約出来る。
【００６４】
第７発明、第１４発明及び第２１発明にあっては、判別面からの距離が所定の値以下の再学習データベクトルを取得し、該再学習データベクトルを用いて判別面を再算出することにより、判別面に近い学習データベクトルのみが判別面の決定に寄与するという性質から、少数の再学習データベクトルから判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来る。
【００６５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
【００６６】
ここでは、音声のパターン認識を行なう場合であって、判別面を用いて標本データベクトルをカテゴリＡ又はカテゴリＢの２個のカテゴリに判別することによりパターン認識を実施する形態について説明する。
【００６７】
また、パターン認識の処理手順を、高度な計算能力（例えば数百から数千次元である学習データベクトルを数百から数千用いた繰り返し演算が可能な大きいメモリ容量、高い計算速度）を必要とする学習（多数の学習データベクトルを用いた判別面の算出）及び再学習データベクトルの選択を行なう第１段階と、該第１段階の処理に必要とされる計算能力より低度な計算能力で足りる標本ベクトルのカテゴリ判別及び再学習（前記再学習データベクトルを用いた判別面の再算出）を行なう第２段階とに分け、高度な計算能力を有する第１コンピュータによって第１段階の処理を、第１コンピュータ以下の能力を有する第２コンピュータによって第２段階の処理を、夫々行なうものとする。
【００６８】
図１は、本発明に係るパターン認識装置の実施の形態を示すブロック図である。
【００６９】
図中１は高度な計算能力を有する第１コンピュータ、図中２は、第１コンピュータ以下の能力を有する第２コンピュータである。
【００７０】
第１コンピュータ１には音声入力装置１８が接続されており、該音声入力装置１８から、第１コンピュータ１を用いて後述の手順により判別面を算出するための学習データベクトルとなる音声を入力する。
【００７１】
第１コンピュータ１はＣＰＵ１１を有し、該ＣＰＵ１１に対して、キーボード及びマウス等の入力装置を備える入力部１３、本発明のプログラムが記録されているＣＤ−ＲＯＭ又はフレキシブルディスク等の可搬型記録媒体１４に記録されているプログラムを読み取るＣＤ−ＲＯＭドライブ又はフレキシブルディスクドライブ等の外部記憶装置１５、外部記憶装置１５により読み取った本発明のプログラムを格納するハードディスク１６、入出力画面を表示するディスプレイ並びに出力されたデータ及びパラメータを可搬型記録媒体に書き込む外部記憶装置を備える出力部１７、並びに前記ＣＰＵ１１において発生するデータと、前記音声入力装置１８又は入力部１３から入力されるデータ及びパラメータと、前記プログラムとを記憶するメモリ１２が接続されている。前記ＣＰＵ１１及びメモリ１２は、後述する判別面算出に必要な計算速度、計算精度等の諸条件を実現することが可能な処理能力及びメモリ容量を有する。
【００７２】
可搬型記録媒体１４には本発明のプログラムが記録されており、該プログラムを外部記憶装置１５を用いて第１コンピュータ１へダウンロードし、ハードディスク１６に格納する。前記プログラムには、それ自体公知の技術であるサポートベクトルマシーンが含まれており、格納されたプログラムをＣＰＵ１１がメモリ１２にロードすることによって第１コンピュータ１は本発明の第１段階の処理を行なう機能を有する。
【００７３】
音声入力装置１８について説明すると、マイクロホン１８１によって集音した音声は該マイクロホン１８１によって電気信号に変換される。この電気信号を増幅器１８２で増幅してＡ／Ｄ（アナログ／デジタル）変換器１８３でデジタル化して第１コンピュータ１へ入力する。
【００７４】
音声入力装置１８からは集音した音声がデジタルデータに変換されて前記第１コンピュータ１へ入力され、学習データとしてメモリ１２に格納される。入力部１３、例えばキーボードから、前記学習データのカテゴリデータ、多次元空間の次元、周波数領域等の、第１段階の処理に必要なパラメータ及びデータが入力されて、メモリ１２に格納される。
【００７５】
ＣＰＵ１１は、メモリ１２に格納されたデータ及びパラメータを用いて学習データの学習データベクトルへの変換、学習データベクトルによる判別面の算出、該判別面と学習データベクトルとの間の距離の算出等の演算、及び該距離を用いた再学習データベクトルの選択を行ない、該選択の終了後、出力部１７のディスプレイに、算出された判別面、及び学習データベクトルの中から選択された再学習データベクトルと該再学習データベクトルのカテゴリデータとの組とを第１出力データとして表示し、また、前記出力部１７の外部記憶装置を用いて可搬型記録媒体に前記第１出力データを記録する。該第１出力データは、前記可搬型記録媒体を介して第２コンピュータ２へ入力される。
【００７６】
なお、入力部１３からは、多次元空間の次元、周波数領域、及び各学習データに対応するカテゴリデータ等の、必要なパラメータ及びデータが入力されるが、これらのパラメータ及びデータを、前述したキーボードを介して入力する以外に、可搬型記録媒体に記録して外部記憶装置１５で読み取り第１コンピュータ１へ入力しても良い。また、音声入力装置１８を用いず、予め学習データベクトルに変換した音声のデータを直接第１コンピュータ１へ入力しても良い。
【００７７】
第２コンピュータ２にも音声入力装置２８が接続されており、該音声入力装置２８から、第２コンピュータ２を用いて後述の手順によりカテゴリを判別するための標本データベクトルとなる音声が入力される。
【００７８】
第２コンピュータ２はＣＰＵ２１を有し、該ＣＰＵ２１に対して、キーボード及びマウス等の入力装置と前記可搬型記録媒体に記録された第１出力データを読み取る外部記憶装置とを備える入力部２３、本発明のプログラムが記録されているＣＤ−ＲＯＭ又はフレキシブルディスク等の可搬型記録媒体２４に記録されているプログラムを読み取るＣＤ−ＲＯＭドライブ又はフレキシブルディスクドライブ等の外部記憶装置２５、外部記憶装置２５により読み取った本発明のプログラムを格納するハードディスク２６、入出力画面を表示するディスプレイを備える出力部２７、並びに前記ＣＰＵ２１において発生するデータと、前記音声入力装置２８又は入力部２３から入力されるデータ及びパラメータと、前記プログラムとを記憶するメモリ２２が接続されている。
【００７９】
可搬型記録媒体２４には本発明のプログラムが記録されており、該プログラムを外部記憶装置２５を用いて第２コンピュータ２へダウンロードし、ハードディスク２６に格納する。前記プログラムには、それ自体公知の技術であるサポートベクトルマシーンが含まれており、格納されたプログラムをＣＰＵ２１がメモリ２２にロードすることによって第２コンピュータ２は本発明の第２段階の処理を行なう機能を有する。
【００８０】
音声入力装置２８について説明すると、マイクロホン２８１によって集音した音声は該マイクロホン２８１によって電気信号に変換される。この電気信号を増幅器２８２で増幅してＡ／Ｄ（アナログ／デジタル）変換器２８３でデジタル化して第２コンピュータ２へ入力する。
【００８１】
音声入力装置２８からは集音した音声がデジタルデータに変換されて前記第２コンピュータ２へ入力され、標本データとしてメモリ２２に格納される。入力部２３、例えば外部記憶装置から、可搬型記録媒体に記録された前記第１出力データ、またキーボードから、多次元空間の次元、周波数領域等の、第２段階の処理に必要なパラメータ及びデータが入力されて、メモリ２２に格納される。
【００８２】
ＣＰＵ２１は、メモリ２２に格納されたデータ及びパラメータを用いて標本データの標本データベクトルへの変換、該標本データベクトルによるカテゴリ判別、判別面の再算出の要不要の判断受付、及び判別面の再算出を行なう。
【００８３】
出力部２７のディスプレイには、データの入力指示又は判別された標本データのカテゴリが表示される。
【００８４】
なお、出力部２７のディスプレイには第２段階の処理によって判別された標本データのカテゴリが出力、表示されるが、該カテゴリを外部記憶装置を用いて可搬型記録媒体に記録することで出力しても良い。
【００８５】
また、音声入力装置２８を用いず、予め標本データベクトルに変換した音声のデータを直接第２コンピュータ２へ入力しても良い。
【００８６】
また、第１コンピュータ１から、多次元空間の次元、周波数領域、第１出力データ等の、必要なパラメータ及びデータを、直接第２コンピュータ２へ入力しても良い。
【００８７】
図２は、第１コンピュータ１で行なわれる第１段階の処理の手順を示すフローチャートである。
【００８８】
第１コンピュータ１は、カテゴリＡ（例えば「あ」）の音声と該音声のカテゴリデータ（例えば１）との組、並びにカテゴリＢ（「あ」ではない「い」、「う」、「え」等）の音声と該音声のカテゴリデータ（例えば−１）との組の入力を受け付ける。このとき、音声を音声入力装置１８から、カテゴリデータを入力部１３から入力するよう要求し、前記出力部１７のディスプレイに指示を表示する（Ｓ２０１）。
【００８９】
音声入力装置１８から入力され、デジタルデータに変換された音声、即ち該音声の特徴データを、学習データとして取得し、該学習データと該学習データに対応するカテゴリデータとを一組としてメモリ１２に記憶する。また、前記学習データとカテゴリデータとの組がｉ組目（ｉ＝１，２，…）であることをカウントする（Ｓ２０２）。
【００９０】
音声及びカテゴリの入力を終了するか否か前記出力部１７のディスプレイに指示を表示し、終了する場合は前記ｉを前記学習データと該学習データに対応するカテゴリデータとの組の数Ｎとして前記メモリ１２に記憶し、入力を続行する場合はＳ２０１に戻る（Ｓ２０３）。
【００９１】
学習データを学習データベクトルに変換させるときに用いるパラメータ（サンプリングの時間間隔、サンプリング数ｔ、周波数領域及び該周波数領域の区分数ｕ）、再学習によるカテゴリ判別精度の向上性又は再計算にかかる時間等の計算の便を勘案してあらかじめ決定される再学習データベクトルの選択条件（学習データベクトルと判別面との距離ｄの範囲）等、必要なデータ及びパラメータである第１初期データを入力部１３からキーボードを介して入力するよう要求し、前記出力部１７のディスプレイに指示を表示する（Ｓ２０４）。
【００９２】
第１初期データを全て取得していない場合、Ｓ２０４に戻る（Ｓ２０５）。
【００９３】
なお、サポートベクトルと判別面との間の距離を１に正規化する場合は１未満の距離がないため、１以上、例えば２以下を学習データベクトルと判別面との距離である前記ｄの範囲として設定する。
【００９４】
次に、Ｓ２０２で取得した学習データを所定の時間間隔でｔ個（例えば１０ｍｓの間隔で１００個）サンプリングし、フーリエ変換して、各サンプリング時におけるあらかじめ定められた周波数区分数ｕ（例えば０Ｈｚから２０００Ｈｚまで等間隔で２０区分）の信号強度（パワースペクトル）の時系列データを求める。このｔ×ｕ＝ｍ次元（１００×２０＝２０００次元）の時系列データを１つの学習データベクトルＶ[i] （i=1,2,…,N）とし、該学習データベクトルに対応するカテゴリデータをカテゴリデータｙ[i] （i=1,2,…,N）としてメモリ１２に記憶する（Ｓ２０６）。
【００９５】
前述の変換をＮ個の学習データ夫々に行ない、Ｎ組の学習データベクトルＶ[i] とカテゴリデータｙ[i] との組を得る（Ｓ２０７）。
【００９６】
前記Ｎ組の学習データベクトルＶ[i] とカテゴリデータｙ[i] との組から、サポートベクトルマシーンを用いて判別面Ｗ・Ｘ＋ｂ＝０におけるＷ，ｂを算出する（Ｓ２０８）。
【００９７】
次に学習データベクトルＶ[i] と判別面Ｗ・Ｘ＋ｂ＝０との間の距離ｄ[i] を式(4) により算出する（Ｓ２０９）。
【００９８】
次に、Ｓ２０７で得た前記Ｎ組の学習データベクトルＶ[i] とカテゴリデータｙ[i] との組の中からＳ２０４において取得した前記選択条件に合致する（例えば学習データベクトルと判別面との距離ｄ[i] が前記ｄの範囲内に含まれる、即ち１以上２以下である) 学習データベクトルＶ[i] とカテゴリデータｙ[i] との組を選択し、再学習データベクトルＶ'[k]と再学習用カテゴリデータｙ'[k]との組とする（k=1,2,…,N' ；N'<N）（Ｓ２１０）。
【００９９】
Ｎ組の学習データベクトルＶ[i] とカテゴリデータｙ[i] との組夫々について前述のようにｄ[i] の算出とＶ'[k]，ｙ'[k]の選択とを行なう（Ｓ２１１）。
【０１００】
なお、判別面からの距離が小さすぎる学習データベクトルは汎化誤差が大きいので、そのようなデータを新しい判別面の算出時にあらかじめ除去しておくことにより、判別困難な再学習データベクトルが混入することにより判別面が異常になって正常なカテゴリ判別が行なえなくなることを防止することも出来る。これは、再学習データベクトルを選択するときの距離の下限を設定することによって行なえる。
【０１０１】
最後に、Ｓ２０８で求めた判別面Ｗ・Ｘ＋ｂ＝０におけるＷ，ｂ、及びＳ２１０で求めた再学習データベクトルＶ'[k]と再学習用カテゴリデータｙ'[k]との組を第２コンピュータ２システムへ入力するための第１出力データとし、出力部１７のディスプレイに表示し、また、前記出力部１７の外部記憶装置を用いて可搬型記録媒体に書き込む（Ｓ２１２）。
【０１０２】
なお、判別面を算出した後、新たな学習データベクトルを追加しても良く、この追加された学習データベクトルも含む全ての学習データベクトルについて各々判別面からの距離を計算し、その距離が所定の範囲内に入る前記学習データベクトルを再学習データベクトルとして選択しても良い。
【０１０３】
図３は、第２コンピュータ２で行なわれる第２段階の処理の手順を示すフローチャートである。
【０１０４】
第２コンピュータ２は、音声の入力を受け付ける。このとき、前記音声を音声入力装置２８から入力するよう要求し、前記出力部２７のディスプレイに指示を表示する（Ｓ４０１）。
【０１０５】
音声入力装置２８へ入力され、デジタルデータに変換された音声を、標本データとしてメモリ２２に記憶する（Ｓ４０２）。
【０１０６】
前記第１出力データ（判別面Ｗ・Ｘ＋ｂ＝０におけるＷ，ｂ及び再学習データベクトルＶ'[k]と再学習用カテゴリデータｙ'[k]との組）、標本データを標本データベクトルに変換させるときに用いるパラメータ（サンプリングの時間間隔及び周波数区分）等、第２段階の処理に必要なパラメータ及びデータである第２初期データを入力部２３から（例えば前記第１出力データが記録された可搬型記録媒体を介して該可搬型記録媒体を読み取る外部記憶装置から、また、手入力でキーボードから）入力するよう要求し、前記出力部２７のディスプレイに指示を表示する（Ｓ４０３）。
【０１０７】
第２初期データを全て取得していない場合、Ｓ４０３に戻る（Ｓ４０４）。
【０１０８】
次に、Ｓ４０２で取得した標本データを所定の間隔でサンプリングし、フーリエ変換して、各サンプリング時におけるあらかじめ決められた周波数区分のパワースペクトルの時系列データを求める。この時系列データを標本データベクトルＺとする（Ｓ４０５）。
【０１０９】
該標本データベクトルＺと判別面Ｗ・Ｘ＋ｂ＝０との位置関係を調べる。具体的には、判別面のパラメータＷ，ｂと前記標本データＺからＷ・Ｚ＋ｂの値を算出する（Ｓ４０６）。
【０１１０】
次に、該Ｗ・Ｚ＋ｂの値の正負を判定する（Ｓ４０７）。
【０１１１】
この値が正の場合には、前記標本データをカテゴリＡと判別し、出力部２７のディスプレイに結果を表示する（Ｓ４０８ａ）。
【０１１２】
この値が負の場合には、前記標本データをカテゴリＢと判別し、出力部２７のディスプレイに結果を表示する（Ｓ４０８ｂ）。
【０１１３】
次に、判別面を再算出する必要があるか否かの判断を受け付ける。Ｓ４０８ａ又はＳ４０８ｂで判断されたカテゴリが誤っている場合は再算出が必要であるとして「Ｙ」又は「ｙ」を、正しい場合は再算出が不要であるとして「Ｎ」又は「ｎ」を、入力部２３からキーボードを介して入力するよう要求し、前記出力部２７のディスプレイに指示を表示する（Ｓ４０９）。
【０１１４】
「Ｙ」又は「ｙ」の入力を取得した、即ち判別面を再算出する必要があると判断した場合はＳ４１１へ、「Ｎ」又は「ｎ」の入力を取得した、即ち判別面を再算出する必要がないと判断した場合はＳ４１４へ移る（Ｓ４１０）。
【０１１５】
Ｓ４１０において判別面の再算出が必要であると判断された、即ちＳ４０８ａ又はＳ４０８ｂで判断された前記標本データＺのカテゴリが誤りであったと判断されたため、ここでカテゴリの判断を修正し、カテゴリデータｙz を得る。例えば、カテゴリＡと判断されていた場合は前記標本データＺの真のカテゴリがカテゴリＢであると修正し、カテゴリデータｙz ＝−１を得る。カテゴリＢと判断されていた場合は前記標本データＺの真のカテゴリがカテゴリＡであると修正し、カテゴリデータｙz ＝１を得る（Ｓ４１１）。
【０１１６】
前記再学習データベクトルＶ'[k]と再学習用カテゴリデータｙ'[k]との組に前記標本データベクトルＺと前記カテゴリデータｙz との組を追加し、新たな再学習データベクトルと再学習用カテゴリデータとの組とする（Ｓ４１２）。
【０１１７】
Ｓ４１２で得られた新たな再学習データベクトルと再学習用カテゴリデータとを用いてサポートベクトルマシーンにより新たな判別面のパラメータＷ，ｂを算出する（Ｓ４１３）。
【０１１８】
なお、ここで用いられた新たな再学習データベクトルと再学習用カテゴリデータとの組は、前述の第１コンピュータ１で用いられた学習データベクトルＶ[i] とカテゴリデータｙ[i] との組Ｎ組よりも数が少ないので、第２コンピュータ２の計算能力が第１コンピュータ１より劣っていても問題はない。
【０１１９】
Ｓ４１３で得られた新たな判別面Ｗ・Ｘ＋ｂ＝０は、再学習により判別精度が向上した判別面であるので、該判別面を用いて前記標本データＺのカテゴリ判別を行なうために、再びＳ４０６へ戻る。
【０１２０】
一方、Ｓ４１０で判別面の再算出が不必要であると判断された場合は、Ｓ４０８ａ又はＳ４０８ｂで判別したカテゴリを出力部２７のディスプレイに出力する（Ｓ４１４）。
【０１２１】
なお、上述の実施例では、ある１つの音声についてカテゴリ判断を行なっているが、例えばＬ個の音声を受け付けて上述の処理をＬ回繰り返しても良い。
【０１２２】
また、判別面の再算出の要不要の判断の入力を受け付ける実施形態ではなく、カテゴリ判別する音声に対応するカテゴリデータの入力を受け付けて、判別されたカテゴリのカテゴリデータと入力されたカテゴリデータとを一致するか否か比較することで判別面の再算出の要不要を判断しても良い（一致した場合は再算出不要、一致しない場合は再算出が必要）。
【０１２３】
また、真のカテゴリが出力されている場合であっても、判別面Ｗ・Ｘ＋ｂ＝０と前記標本データベクトルＺとの距離が近い（式(4) のＶ[i] にＺを代入した値が所定の値より小さい）場合は、再算出が必要であると判断しても良い。
【０１２４】
また、判別面を再算出した後、その新しい判別面と再学習データベクトルとの間の距離を算出し、その距離に基づいて再度再学習データベクトルを選択しても良い。このとき、新しい判別面と再学習データベクトルとの間の距離を算出する前に、新たな学習データベクトルを再学習データベクトルに追加しても良い。
【０１２５】
以上のようにして、本発明におけるパターン認識方法およびパターン認識装置は、判別面と学習データベクトルとの間の距離、場合によっては判別面と標本データベクトルとの間の距離、判別面と再学習データベクトルとの間の距離という容易に算出出来るパラメータを用いて判別面を再算出するための再学習データベクトルを決定し、また、再学習を行なう場合には最初の判別面を算出したときの学習データベクトルとカテゴリデータとの組よりも少ない再学習データベクトルと再学習用カテゴリデータとを用いるので、膨大な計算機資源及び／又は膨大な計算時間を要することなく、より判別精度の高い判別面を効率よく再決定出来るという利点が得られる。
【０１２６】
なお、再学習データベクトルの選択範囲は、計算量、計算頻度、又は誤認識（判別面によるカテゴリ判別ミス）の頻度等により、適宜その範囲を増減しても良い。
【０１２７】
また、再学習データベクトルは、判別面から近い順（ｄ[i] の小さい順）に所定の数だけを選択しても良い。又は、所定の範囲にｄ[i] が入る学習データベクトルＶ[i] とカテゴリデータｙ[i] との組の数が所定の数を超えた場合に、判別面から近い順に所定の数だけを選択しても良い。この選択数は、再学習によるカテゴリ判別精度の向上性、再計算にかかる時間等の計算の便を勘案して決定する。
【０１２８】
学習データベクトルと判別面との間の距離は式(4) のみではなく、例えばあらかじめ決められたｍ次元より小さいｍ' 次元空間における距離を用いてもよい。つまり、判別されるデータの特性、計算上の便宜等に合わせて距離の定義を変えても良い。
【０１２９】
また、カテゴリがＫ個に区分されている場合は、夫々のカテゴリについてＫ個の判別面を算出し、各判別面について前述の処理を行なえば良い。
【０１３０】
前述の実施形態では、パターン認識の処理手順を第１段階の処理手順と第２段階の処理手順とに分け、夫々の処理を第１コンピュータ１と第２コンピュータ２とを含んで構成されるパターン認識装置で行なっているが、前述の第１段階の処理と第２段階の処理とを同一のコンピュータで行なっても、膨大な計算時間を要することなく、より判別精度の高い判別面を効率よく再決定出来るという利点を実現する。
【０１３１】
しかし、前述のパターン認識装置によれば、高度な計算能力を必要とするパターン認識処理（多数の学習データベクトルからの判断面の算出）には高度な計算能力を有する第１コンピュータ１を使い、低度な計算能力で足りる、即ち計算が容易なパターン認識処理（算出した判断面を用いた標本データベクトルのカテゴリ判別、再学習が必要と判断された場合の少数の再学習データベクトルからの判断面再算出）には低度な計算能力を有する第２コンピュータ２を使うことにより、計算能力に差のあるコンピュータ２つを１つのパターン認識装置とするため、パターン認識装置全体として計算機資源を節約し、また、精度の高いパターン認識を行なうことが出来る。
【０１３２】
また、前述したパターン認識の第２段階の処理手順のみを行なっても良い。この場合、あらかじめ用意されている判別面及び該判別面からの距離が所定の範囲内にある再学習データベクトル（例えば前記判別面からの距離が所定の値以下である再学習データベクトル）と該再学習データベクトルに対応するカテゴリデータとの組を、第２初期データとして用いる。
【０１３３】
パターン認識の第２段階の処理手順のみを行なう場合、あらかじめ用意されている判別面及び再学習データベクトルと該再学習データベクトルに対応するカテゴリデータとの組を第２初期データとして用いても良い。判別面の再算出が必要であるとされたとき、前記再学習データベクトルのうち、前記判別面からの距離が所定の範囲内にある再学習データベクトル（例えば前記判別面からの距離が所定の値以下である再学習データベクトル）を新たな再学習データベクトルとし、該再学習データベクトルを判別面の再算出に用いる。
【０１３４】
また、サポートベクトルマシーンに限らず、多次元空間でデータベクトルと判別面との位置関係によりパターン認識を行なう場合、本発明は適用可能である。しかしながら、サポートベクトルマシーンでは、多数の学習データベクトルから少数のサポートベクトルを選択する際に学習データベクトル数に応じた計算量が必要となり、一方、判別面に近い学習データベクトルのみが判別面の決定に寄与するので、判別面の再算出において学習データベクトルよりも少ない個数の再学習データベクトルを用い、しかも、該再学習データベクトルは判別面からの距離が近いものを選択することを特徴とする本発明は特に好適である。即ち、サポートベクトルマシーンの特徴である、汎化誤差が少なく、しかも汎化誤差の見積りが容易で、判別計算が容易であるという利点を計算能力の低いコンピュータでも利用することが出来る。
【０１３５】
パターン認識を行ないたい音声の特徴データである標本データを変換して得た標本データベクトルについて、その音声が何であるかを示すカテゴリが判別面を用いて正しく出力出来るということは、即ち判別面を用いて音声のパターン認識を行なうことが出来るということになり、本発明のパターン認識方法及びパターン認識装置は、有効なパターン認識を行なうことが出来ると言える。
【０１３６】
更に、本発明は、音声のみならず、他のパターン認識（例えば画像のパターン認識）を行なう場合にも用いることが出来る。
【０１３７】
【発明の効果】
本発明のパターン認識方法、パターン認識装置及び記録媒体によれば、複数の学習データベクトルの中から、判別面と各学習データベクトルとの距離が所定の範囲内にある学習データベクトルを再学習データベクトルとして選択することにより、再学習に必要な再学習データベクトルの個数を軽減することが出来る。このため、判別面と標本データベクトルとの位置関係を調べて該標本データベクトルのカテゴリ判別を行なった後、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして判別面の再算出が必要であるか否かを区別し、判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとして、この新たな再学習データベクトルから判別面を再算出するとき、膨大な個数の再学習データベクトルを用いる必要がなく、再学習に必要な計算時間及び／又は計算機資源が節約出来る。
【０１３８】
また、再学習データベクトルを選択する基準が判別面と学習データベクトルとの距離であり、該距離は容易に算出出来るので、再学習データベクトルの選択に必要な計算時間及び／又は計算機資源が節約出来る。
【０１３９】
また、再学習データベクトルを選択する際に、判別面からの距離が近い学習データベクトルを再学習データベクトルとして選択し、該再学習データベクトルから判別面を再算出することにより、判別面に近い学習データベクトルのみが判別面の決定に寄与するという性質から、少数の再学習データベクトルからでも判別面のカテゴリ判別精度を落とすことなく判別面の再算出を行なうことが出来る。
【０１４０】
更に、高度な計算能力を必要とするパターン認識処理である、多数の学習データベクトルからの判別面の算出を、高い計算能力を有するコンピュータで行ない、計算が容易なパターン認識処理である、判別面を用いた標本データベクトルのカテゴリ判別、及び再学習が必要と判断された場合の少数の再学習データベクトルからの判別面再算出を計算能力の低いコンピュータで行なうことにより、長い計算時間及び／又は大量の計算機資源を要する計算は高い計算能力を有するコンピュータで最初の一度だけ行ない、計算時間が短く計算機資源を大量には必要としない計算を計算能力の低いコンピュータで行なうことが出来るため、パターン認識処理に必要とされるコンピュータの能力に応じて、計算能力に差のあるコンピュータ２台を有効に活用することが出来、この２台のコンピュータを一つのパターン認識装置とすることにより、パターン認識装置全体として計算時間及び計算機資源を節約し、しかも、精度の高いパターン認識を行なうことが出来る等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明に係るパターン認識装置の実施の形態を示すブロック図である。
【図２】第１コンピュータで行なわれる第１段階の処理の手順を示すフローチャートである。
【図３】第２コンピュータで行なわれる第２段階の処理の手順を示すフローチャートである。
【符号の説明】
１ 第１コンピュータ
１１ ＣＰＵ
１２ メモリ
１３ 入力部
１４ 可搬型記録媒体
１５ 外部記憶装置
１６ ハードディスク
１７ 出力部
１８ 音声入力装置
１８１ マイクロホン
１８２ 増幅器
１８３ Ａ／Ｄ変換器
２ 第２コンピュータ
２１ ＣＰＵ
２２ メモリ
２３ 入力部
２４ 可搬型記録媒体
２５ 外部記憶装置
２６ ハードディスク
２７ 出力部
２８ 音声入力装置
２８１ マイクロホン
２８２ 増幅器
２８３ Ａ／Ｄ変換器
Claims (21)
- 対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組を取得し、対象の特徴データから前記対象のカテゴリを判別するための知識を前記特徴データと前記カテゴリデータとの組からあらかじめ生成しておく学習を行ない、前記知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識方法において、
複数の対象の特徴データを、多次元空間のベクトルとして表現した学習に用いる学習データベクトルに変換するステップと、該学習データベクトルと前記複数の対象のカテゴリデータとの組から前記多次元空間内をカテゴリに対応する領域に区分してカテゴリを判別する判別面を算出するステップと、算出した判別面と学習データベクトルとの間の距離を求めるステップと、該学習データベクトルの中から多次元空間のベクトルとして表現した再学習データを選択する際、前記判別面からの距離が所定の範囲内にあるものを選択して再学習データベクトルとする再学習データベクトル選択ステップとを有することを特徴とするパターン認識方法。 - パターンを認識すべき未知の対象の特徴データを取得するステップと、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換するステップと、前記判別面と前記標本データベクトルとの位置関係を求めるステップと、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別するステップと、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別するステップと、該判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとするステップと、該再学習データベクトルを用いて判別面を再算出するステップとを有することを特徴とする請求項１に記載のパターン認識方法。
- 前記再学習データベクトル選択ステップは、複数の前記学習データベクトルの中から、前記判別面からの距離が所定の値以下であるものを再学習データベクトルとして選択するステップを有することを特徴とする請求項１又は２記載のパターン認識方法。
- 対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識方法において、
複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得するステップと、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現した再学習に用いる再学習データベクトルを取得するステップと、パターンを認識すべき未知の対象の特徴データを取得するステップと、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換するステップと、前記判別面と前記標本データベクトルとの位置関係を求めるステップと、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別するステップと、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別するステップと、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトルの内、前記判別面からの距離が所定の範囲内にある再学習データベクトルを取得する再学習データベクトル取得ステップと、該再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとするステップと、該再学習データベクトルを用いて判別面を再算出するステップとを有することを特徴とするパターン認識方法。 - 前記再学習データベクトル取得ステップは、複数の前記再学習データベクトルの中から、前記判別面からの距離が所定の値以下のものを選択して新たな再学習データベクトルとして取得するステップを有することを特徴とする請求項４に記載のパターン認識方法。
- 対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識方法において、
複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得するステップと、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現してあり、また、前記判別面からの距離が所定の範囲内にある再学習に用いる再学習データベクトルを取得する再学習データベクトル取得ステップと、パターンを認識すべき未知の対象の特徴データを取得するステップと、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換するステップと、前記判別面と前記標本データベクトルとの位置関係を求めるステップと、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別するステップと、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別するステップと、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとするステップと、該再学習データベクトルを用いて判別面を再算出するステップとを有することを特徴とするパターン認識方法。 - 前記再学習データベクトル取得ステップは、判別面からの距離が所定の範囲内にある前記再学習データベクトルとして、複数の再学習データベクトルの中から選択された前記判別面からの距離が所定の値以下である再学習データベクトルを取得するステップを有することを特徴とする請求項６に記載のパターン認識方法。
- 対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組を取得し、対象の特徴データから前記対象のカテゴリを判別するための知識を前記特徴データと前記カテゴリデータとの組からあらかじめ生成しておく学習を行ない、前記知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識装置において、
複数の対象の特徴データを、多次元空間のベクトルとして表現した学習に用いる学習データベクトルに変換する手段と、該学習データベクトルと前記複数の対象のカテゴリデータとの組から前記多次元空間内をカテゴリに対応する領域に区分してカテゴリを判別する判別面を算出する手段と、算出した判別面と学習データベクトルとの間の距離を求める手段と、該学習データベクトルの中から多次元空間のベクトルとして表現した再学習データを選択する際、前記判別面からの距離が所定の範囲内にあるものを選択して再学習データベクトルとする再学習データベクトル選択手段とを有することを特徴とするパターン認識装置。 - パターンを認識すべき未知の対象の特徴データを取得する手段と、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換する手段と、前記判別面と前記標本データベクトルとの位置関係を求める手段と、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別する手段と、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別する手段と、該判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとする手段と、該再学習データベクトルを用いて判別面を再算出する手段とを有することを特徴とする請求項８に記載のパターン認識装置。
- 前記再学習データベクトル選択手段は、複数の前記学習データベクトルの中から、前記判別面からの距離が所定の値以下であるものを再学習データベクトルとして選択する手段を有することを特徴とする請求項８又は９記載のパターン認識装置。
- 対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識装置において、
複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得する手段と、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現した再学習に用いる再学習データベクトルを取得する手段と、パターンを認識すべき未知の対象の特徴データを取得する手段と、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換する手段と、前記判別面と前記標本データベクトルとの位置関係を求める手段と、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別する手段と、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別する手段と、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトルの内、前記判別面からの距離が所定の範囲内にある再学習データベクトルを取得する再学習データベクトル取得手段と、該再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとする手段と、該再学習データベクトルを用いて判別面を再算出する手段とを有することを特徴とするパターン認識装置。 - 前記再学習データベクトル取得手段は、複数の前記再学習データベクトルの中から、前記判別面からの距離が所定の値以下のものを選択して新たな再学習データベクトルとして取得する手段を有することを特徴とする請求項１１に記載のパターン認識装置。
- 対象から得られる空間的及び／又は時間的に分布したパターンを認識するにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別し、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成するために再学習データを用いて再学習を行なうパターン認識装置において、
複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得する手段と、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現してあり、また、前記判別面からの距離が所定の範囲内にある再学習に用いる再学習データベクトルを取得する再学習データベクトル取得手段と、パターンを認識すべき未知の対象の特徴データを取得する手段と、該特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換する手段と、前記判別面と前記標本データベクトルとの位置関係を求める手段と、該位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別し、その判別結果から前記標本データベクトルのカテゴリを判別する手段と、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別する手段と、該判別面の再算出が必要であるとされた場合に、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとする手段と、該再学習データベクトルを用いて判別面を再算出する手段とを有することを特徴とするパターン認識装置。 - 前記再学習データベクトル取得手段は、判別面からの距離が所定の範囲内にある前記再学習データベクトルとして、複数の再学習データベクトルの中から選択された前記判別面からの距離が所定の値以下である再学習データベクトルを取得する手段を有することを特徴とする請求項１３に記載のパターン認識装置。
- コンピュータに、対象から得られる空間的及び／又は時間的に分布したパターンを認識させるにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組を取得させ、対象の特徴データから前記対象のカテゴリを判別させるための知識を前記特徴データと前記カテゴリデータとの組からあらかじめ生成しておく学習を行なわせ、前記知識を用いて未知の対象の特徴データから該対象のカテゴリを判別させ、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成させるために再学習データを用いて再学習を行なわせるコンピュータプログラムが記録してあるコンピュータでの読み取りが可能な記録媒体において、
コンピュータに、複数の対象の特徴データを、多次元空間のベクトルとして表現した学習に用いる学習データベクトルに変換させるステップと、
コンピュータに、前記学習データベクトルと前記複数の対象のカテゴリデータとの組から前記多次元空間内をカテゴリに対応する領域に区分してカテゴリを判別する判別面を算出させるステップと、
コンピュータに、算出させた判別面と学習データベクトルとの間の距離を求めさせるステップと、
コンピュータに、前記学習データベクトルの中から多次元空間のベクトルとして表現した再学習データを選択させる際、前記判別面からの距離が所定の範囲内にあるものを選択させて再学習データベクトルとさせる再学習データベクトル選択ステップと
を実行させるためのコンピュータプログラムが記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。 - コンピュータに、パターンを認識すべき未知の対象の特徴データを取得させるステップと、
コンピュータに、前記特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換させるステップと、
コンピュータに、前記判別面と前記標本データベクトルとの位置関係を求めさせるステップと、
コンピュータに、前記位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別させ、その判別結果から前記標本データベクトルのカテゴリを判別させるステップと、
コンピュータに、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別させるステップと、
コンピュータに、前記判別面の再算出が必要であるとされた場合に前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとさせるステップと、
コンピュータに、前記再学習データベクトルを用いて判別面を再算出させるステップと
を更に実行させるためのコンピュータプログラムが記録してあることを特徴とする請求項１５に記載のコンピュータでの読み取りが可能な記録媒体。 - 前記再学習データベクトル選択ステップは、コンピュータに、複数の前記学習データベクトルの中から、前記判別面からの距離が所定の値以下であるものを再学習データベクトルとして選択させるステップを有することを特徴とする請求項１５又は１６記載のコンピュータでの読み取りが可能な記録媒体。
- コンピュータに、対象から得られる空間的及び／又は時間的に分布したパターンを認識させるにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別させ、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成させるために再学習データを用いて再学習を行なわせるコンピュータプログラムが記録してあるコンピュータでの読み取りが可能な記録媒体において、
コンピュータに、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得させるステップと、
コンピュータに、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現した再学習に用いる再学習データベクトルを取得させるステップと、
コンピュータに、パターンを認識すべき未知の対象の特徴データを取得させるステップと、
コンピュータに、前記特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換させるステップと、
コンピュータに、前記判別面と前記標本データベクトルとの位置関係を求めさせるステップと、
コンピュータに、前記位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別させ、その判別結果から前記標本データベクトルのカテゴリを判別させるステップと、
コンピュータに、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別させるステップと、
コンピュータに、前記判別面の再算出が必要であるとされた場合に、前記再学習データベクトルの内、前記判別面からの距離が所定の範囲内にある再学習データベクトルを取得させる再学習データベクトル取得ステップと、
コンピュータに、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとさせるステップと、
コンピュータに、前記再学習データベクトルを用いて判別面を再算出させるステップと
を実行させるためのコンピュータプログラムが記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。 - 前記再学習データベクトル取得ステップは、コンピュータに、複数の前記再学習データベクトルの中から、前記判別面からの距離が所定の値以下のものを選択して新たな再学習データベクトルとして取得させるステップを有することを特徴とする請求項１８に記載のコンピュータでの読み取りが可能な記録媒体。
- コンピュータに、対象から得られる空間的及び／又は時間的に分布したパターンを認識させるにあたって、複数の対象のパターンの特徴を表現する特徴データと、該複数の対象のカテゴリを示すカテゴリデータとの組に係る知識を用いて未知の対象の特徴データから該対象のカテゴリを判別させ、判別に用いた知識の判別精度が受容可能でない場合は、より判別精度の高い知識を生成させるために再学習データを用いて再学習を行なわせるコンピュータプログラムが記録してあるコンピュータでの読み取りが可能な記録媒体において、
コンピュータに、複数の対象の特徴データを多次元空間のベクトルとして表現した学習に用いる学習データベクトルと前記複数の対象のカテゴリデータとの組から算出された前記多次元空間内をカテゴリに対応する領域に区分する判別面を取得させるステップと、
コンピュータに、前記複数の対象の特徴データを前記多次元空間のベクトルとして表現してあり、また、前記判別面からの距離が所定の範囲内にある再学習に用いる再学習データベクトルを取得させる再学習データベクトル取得ステップと、
コンピュータに、パターンを認識すべき未知の対象の特徴データを取得させるステップと、
コンピュータに、前記特徴データを前記多次元空間のベクトルとして表現し判別用の標本とする標本データベクトルに変換させるステップと、
コンピュータに、前記判別面と前記標本データベクトルとの位置関係を求めさせるステップと、
コンピュータに、前記位置関係から前記標本データベクトルが位置する多次元空間内の領域を判別させ、その判別結果から前記標本データベクトルのカテゴリを判別させるステップと、
コンピュータに、判別面のカテゴリ判別精度が許容可能であるか否かを基準にして前記判別面の再算出が必要か否かを区別させるステップと、
コンピュータに、前記判別面の再算出が必要であるとされた場合に、前記再学習データベクトル及び前記標本データベクトルを新たな再学習データベクトルとさせるステップと、
コンピュータに、前記再学習データベクトルを用いて判別面を再算出させるステップと
を実行させるためのコンピュータプログラムが記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。 - 前記再学習データベクトル取得ステップは、コンピュータに、判別面からの距離が所定の範囲内にある前記再学習データベクトルとして、複数の再学習データベクトルの中から選択された前記判別面からの距離が所定の値以下である再学習データベクトルを取得させるステップを有することを特徴とする請求項２０に記載のコンピュータでの読み取りが可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000267803A JP4827285B2 (ja) | 2000-09-04 | 2000-09-04 | パターン認識方法、パターン認識装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000267803A JP4827285B2 (ja) | 2000-09-04 | 2000-09-04 | パターン認識方法、パターン認識装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002073076A JP2002073076A (ja) | 2002-03-12 |
| JP4827285B2 true JP4827285B2 (ja) | 2011-11-30 |
Family
ID=18754663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000267803A Expired - Fee Related JP4827285B2 (ja) | 2000-09-04 | 2000-09-04 | パターン認識方法、パターン認識装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4827285B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4034602B2 (ja) * | 2002-06-17 | 2008-01-16 | 富士通株式会社 | データ分類装置、データ分類装置の能動学習方法及び能動学習プログラム |
| JP5030150B2 (ja) * | 2007-03-20 | 2012-09-19 | 独立行政法人産業技術総合研究所 | 筋電位信号による音声認識装置 |
| WO2010016109A1 (ja) * | 2008-08-05 | 2010-02-11 | 富士通株式会社 | サンプルの帰属クラス予測方法、帰属クラス予測プログラムおよび帰属クラス予測装置 |
| JP5551537B2 (ja) * | 2010-07-27 | 2014-07-16 | 一般財団法人電力中央研究所 | 判定基準生成装置、判定基準生成方法及び判定基準生成プログラム |
| JP5214762B2 (ja) | 2011-03-25 | 2013-06-19 | 株式会社東芝 | 認識装置、方法及びプログラム |
| WO2017126046A1 (ja) | 2016-01-20 | 2017-07-27 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP6874757B2 (ja) * | 2016-02-24 | 2021-05-19 | 日本電気株式会社 | 学習装置、学習方法およびプログラム |
| JP7041348B2 (ja) * | 2018-04-05 | 2022-03-24 | 富士通株式会社 | 学習プログラム及び学習方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6134344A (en) * | 1997-06-26 | 2000-10-17 | Lucent Technologies Inc. | Method and apparatus for improving the efficiency of support vector machines |
| JP2000293502A (ja) * | 1999-04-05 | 2000-10-20 | Nippon Telegr & Teleph Corp <Ntt> | データ分類方法及び装置及びデータ分類プログラムを格納した記憶媒体 |
-
2000
- 2000-09-04 JP JP2000267803A patent/JP4827285B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002073076A (ja) | 2002-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7783581B2 (en) | Data learning system for identifying, learning apparatus, identifying apparatus and learning method | |
| WO2021143396A1 (zh) | 利用文本分类模型进行分类预测的方法及装置 | |
| EP0847041B1 (en) | Method and apparatus for speech recognition performing noise adaptation | |
| US8675973B2 (en) | Signal classification apparatus | |
| CN109993236A (zh) | 基于one-shot Siamese卷积神经网络的少样本满文匹配方法 | |
| CN110097096B (zh) | 一种基于tf-idf矩阵和胶囊网络的文本分类方法 | |
| EP1039446B1 (en) | Learning device and method, recognizing device and method, and recording medium | |
| JP4827285B2 (ja) | パターン認識方法、パターン認識装置及び記録媒体 | |
| CN108615006A (zh) | 用于输出信息的方法和装置 | |
| CN111898637A (zh) | 一种基于ReliefF-DDC特征选择算法 | |
| CN113611293B (zh) | 一种蒙古语数据集扩充方法 | |
| CN113987910A (zh) | 一种耦合神经网络与动态时间规划的居民负荷辨识方法及装置 | |
| EP3499429A1 (en) | Behavior inference model building apparatus and method | |
| CN108847251A (zh) | 一种语音去重方法、装置、服务器及存储介质 | |
| JP4928193B2 (ja) | 顔画像認識装置及び顔画像認識プログラム | |
| CN113362920B (zh) | 基于临床数据的特征选择方法及装置 | |
| CN112200224B (zh) | 医学图像特征处理方法和装置 | |
| JP4346531B2 (ja) | テキストデータ学習分析システム、テキストデータ学習装置、テキストデータ分析装置、方法及びプログラム | |
| Singh et al. | Using deep learning techniques and inferential speech statistics for AI synthesised speech recognition | |
| Merrill et al. | Extensive Huffman-tree-based Neural Network for the Imbalanced Dataset and Its Application in Accent Recognition | |
| JP3986008B2 (ja) | 統計解析装置及び統計解析プログラム | |
| CN117235137B (zh) | 一种基于向量数据库的职业信息查询方法及装置 | |
| CN113688774B (zh) | 基于深度学习的高层建筑风致响应预测、训练方法及装置 | |
| JP2018128574A (ja) | 中間特徴量計算装置、音響モデル学習装置、音声認識装置、中間特徴量計算方法、音響モデル学習方法、音声認識方法、プログラム | |
| JP2000181486A (ja) | 学習装置および学習方法、認識装置および認識方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070807 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110913 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110913 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |