JP3249676B2 - パターン認識辞書作成方法 - Google Patents
パターン認識辞書作成方法Info
- Publication number
- JP3249676B2 JP3249676B2 JP01685894A JP1685894A JP3249676B2 JP 3249676 B2 JP3249676 B2 JP 3249676B2 JP 01685894 A JP01685894 A JP 01685894A JP 1685894 A JP1685894 A JP 1685894A JP 3249676 B2 JP3249676 B2 JP 3249676B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- learning
- reference pattern
- category
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、文字や音声等のパター
ン認識に用いるパターン認識辞書の作成方法に関し、特
に、学習ベクトル量子化法を用いて辞書内のベクトル位
置の最適化を行う方法に関する。
ン認識に用いるパターン認識辞書の作成方法に関し、特
に、学習ベクトル量子化法を用いて辞書内のベクトル位
置の最適化を行う方法に関する。
【０００２】
【従来の技術】一般に、文字認識や音声認識等において
は、パターン認識対象となる文字や音声を複数のカテゴ
リに分割して各々のパターンベクトルを生成し、このパ
ターンベクトルと、パターン認識辞書内に用意した各カ
テゴリの特徴を代表する参照パターンベクトル（以下、
参照ベクトルと称する）との類似性を何らかの評価関
数、例えばユークリッド二乗距離を用いて判定し、最も
類似性の高い（つまり両ベクトルの距離が短い）カテゴ
リを認識結果として出力する。この場合、文字に対して
は、例えば"あ"、"い"、"う"等のような１文字単位を１
つのカテゴリとし、音声に対しては、音声を構成する音
素や音韻等を１つのカテゴリとする。
は、パターン認識対象となる文字や音声を複数のカテゴ
リに分割して各々のパターンベクトルを生成し、このパ
ターンベクトルと、パターン認識辞書内に用意した各カ
テゴリの特徴を代表する参照パターンベクトル（以下、
参照ベクトルと称する）との類似性を何らかの評価関
数、例えばユークリッド二乗距離を用いて判定し、最も
類似性の高い（つまり両ベクトルの距離が短い）カテゴ
リを認識結果として出力する。この場合、文字に対して
は、例えば"あ"、"い"、"う"等のような１文字単位を１
つのカテゴリとし、音声に対しては、音声を構成する音
素や音韻等を１つのカテゴリとする。
【０００３】通常、参照ベクトルは、カテゴリ毎に存在
する複数のサンプルベクトルの平均値として与えられ
る。しかし、数字や平仮名等の文字は、筆記者によって
様々な字体となり易く、また音声認識においても発声に
は個人差があるので、これらに対応するためには、カテ
ゴリ毎に複数の参照ベクトルを集合させたパターン認識
辞書を作成しておく必要がある。
する複数のサンプルベクトルの平均値として与えられ
る。しかし、数字や平仮名等の文字は、筆記者によって
様々な字体となり易く、また音声認識においても発声に
は個人差があるので、これらに対応するためには、カテ
ゴリ毎に複数の参照ベクトルを集合させたパターン認識
辞書を作成しておく必要がある。
【０００４】学習ベクトル量子化法（ＬＶＱ、T.Kohone
n,G.Barna,and R.Chirisley,"Statistical pattern wit
h neural networks:Benchmarking studies.",Proceedin
gs of the IEEE International Conference on Neural
Networks,pp.Iー61-68,1988）は、複数の参照ベクトルを
生成するとともに、誤りを訂正しながら学習を行うこと
でベクトル空間の最適化を図る手法であり、以下のアル
ゴリズムから成る。
n,G.Barna,and R.Chirisley,"Statistical pattern wit
h neural networks:Benchmarking studies.",Proceedin
gs of the IEEE International Conference on Neural
Networks,pp.Iー61-68,1988）は、複数の参照ベクトルを
生成するとともに、誤りを訂正しながら学習を行うこと
でベクトル空間の最適化を図る手法であり、以下のアル
ゴリズムから成る。
【０００５】（１） まず、学習に用いる全てのパター
ンベクトル（学習ベクトル）についてカテゴリ内クラス
タリング処理等を行って複数の参照ベクトルを生成し、
これら参照ベクトルの集合を初期辞書とする。 （２） カテゴリが既知の１つの学習ベクトルに最も距
離の近い参照ベクトルを検出する。 （３） 検出した参照ベクトルが上記学習ベクトルと異
なるカテゴリに属するものであった場合、つまり誤認識
であった場合には、その参照ベクトルを学習ベクトルか
ら遠ざける。他方、検出した参照ベクトルが上記学習ベ
クトルと同一カテゴリに属するものの場合は、これを該
学習ベクトルにより近付ける。上記処理を、誤認識が無
くなるか、あるいは所定の繰り返し回数に到達するまで
繰り返すことにより、初期辞書におけるベクトル空間の
最適化を図る。
ンベクトル（学習ベクトル）についてカテゴリ内クラス
タリング処理等を行って複数の参照ベクトルを生成し、
これら参照ベクトルの集合を初期辞書とする。 （２） カテゴリが既知の１つの学習ベクトルに最も距
離の近い参照ベクトルを検出する。 （３） 検出した参照ベクトルが上記学習ベクトルと異
なるカテゴリに属するものであった場合、つまり誤認識
であった場合には、その参照ベクトルを学習ベクトルか
ら遠ざける。他方、検出した参照ベクトルが上記学習ベ
クトルと同一カテゴリに属するものの場合は、これを該
学習ベクトルにより近付ける。上記処理を、誤認識が無
くなるか、あるいは所定の繰り返し回数に到達するまで
繰り返すことにより、初期辞書におけるベクトル空間の
最適化を図る。
【０００６】このように、ＬＶＱは、アルゴリズムが簡
単であるうえ、多くの場合に効果が期待できるので、こ
の種のパターン認識辞書の作成に良く使用されている。
単であるうえ、多くの場合に効果が期待できるので、こ
の種のパターン認識辞書の作成に良く使用されている。
【０００７】
【発明が解決しようとする課題】しかしながら、従来の
ＬＶＱは、上述のように、ベクトル位置の最適化を図る
際に単純に参照ベクトルを移動させているだけなので、
認識精度の高いパターン認識辞書を作成する観点からは
課題が残るものであった。
ＬＶＱは、上述のように、ベクトル位置の最適化を図る
際に単純に参照ベクトルを移動させているだけなので、
認識精度の高いパターン認識辞書を作成する観点からは
課題が残るものであった。
【０００８】即ち、認識精度を高めるには、カテゴリ毎
に参照ベクトルがある程度まとまるように、全体の分布
状況を反映したうえで最適化処理を行うことが好ましい
が、従来のＬＶＱではこのように参照ベクトルの分布状
況を反映させることは困難であった。
に参照ベクトルがある程度まとまるように、全体の分布
状況を反映したうえで最適化処理を行うことが好ましい
が、従来のＬＶＱではこのように参照ベクトルの分布状
況を反映させることは困難であった。
【０００９】特に、通常のパターン認識に用いられてい
る距離関数を学習する方法としてみた場合には、単にユ
ークリッド距離についての学習を行うのみで、重み付き
ユークリッド距離の重み、マハラノビス距離における共
分散行列の逆行列等の分布の形状を反映するスケールフ
ァクタ（変数）については学習することが出来なかっ
た。
る距離関数を学習する方法としてみた場合には、単にユ
ークリッド距離についての学習を行うのみで、重み付き
ユークリッド距離の重み、マハラノビス距離における共
分散行列の逆行列等の分布の形状を反映するスケールフ
ァクタ（変数）については学習することが出来なかっ
た。
【００１０】本発明は、かかる課題を解決し、参照ベク
トルの分布状況を反映した認識精度の高いパターン認識
辞書を効率良く作成する方法を提供することを目的とす
る。
トルの分布状況を反映した認識精度の高いパターン認識
辞書を効率良く作成する方法を提供することを目的とす
る。
【００１１】
【課題を解決するための手段】上記目的を達成する本発
明の方法は、学習ベクトル量子化法を用いてパターン認
識辞書におけるベクトル位置の最適化を行う方法であっ
て、学習に用いる全てのパターンについてその所属カテ
ゴリをそれぞれ代表する複数の参照ベクトルを作成する
第一の段階と、所属カテゴリが既知の１つの学習ベクト
ルを選択する第二の段階と、選択した学習ベクトルから
の距離が最小となる前記参照ベクトルを検出する第三の
段階と、検出した参照ベクトルが前記学習ベクトルと異
なるカテゴリに属する場合に、これを前記学習ベクトル
から離れる方向に移動させ、他方、前記学習ベクトルと
同一カテゴリに属する場合に、該参照ベクトルを前記学
習ベクトルにより近付く方向に移動させる第四の段階と
を有し、前記距離を表す距離関数に複数の参照ベクトル
の分布状況を反映するスケールファクタを付随させ、各
参照ベクトルの移動時に該スケールファクタを変更する
とともに、前記第二乃至第四の段階を所定の評価基準に
達するまで有限回繰り返すことを特徴とする。
明の方法は、学習ベクトル量子化法を用いてパターン認
識辞書におけるベクトル位置の最適化を行う方法であっ
て、学習に用いる全てのパターンについてその所属カテ
ゴリをそれぞれ代表する複数の参照ベクトルを作成する
第一の段階と、所属カテゴリが既知の１つの学習ベクト
ルを選択する第二の段階と、選択した学習ベクトルから
の距離が最小となる前記参照ベクトルを検出する第三の
段階と、検出した参照ベクトルが前記学習ベクトルと異
なるカテゴリに属する場合に、これを前記学習ベクトル
から離れる方向に移動させ、他方、前記学習ベクトルと
同一カテゴリに属する場合に、該参照ベクトルを前記学
習ベクトルにより近付く方向に移動させる第四の段階と
を有し、前記距離を表す距離関数に複数の参照ベクトル
の分布状況を反映するスケールファクタを付随させ、各
参照ベクトルの移動時に該スケールファクタを変更する
とともに、前記第二乃至第四の段階を所定の評価基準に
達するまで有限回繰り返すことを特徴とする。
【００１２】上記方法において、前記各参照パターンベ
クトルの移動は、例えば前記学習ベクトルと当該参照ベ
クトルとの差ベクトルのスカラ倍と当該参照ベクトルと
の和をとることにより行う。この場合は、上記第一乃至
第四の段階を繰り返す度に、差ベクトルのスカラ倍率を
小さくすることが好ましい。
クトルの移動は、例えば前記学習ベクトルと当該参照ベ
クトルとの差ベクトルのスカラ倍と当該参照ベクトルと
の和をとることにより行う。この場合は、上記第一乃至
第四の段階を繰り返す度に、差ベクトルのスカラ倍率を
小さくすることが好ましい。
【００１３】
【作用】一般に、所属カテゴリの異なる参照ベクトルが
互いに隣接している場合には誤認識を起こし易い。従っ
て、参照ベクトルを移動させるときに、所属カテゴリの
異なる参照ベクトルは互いに離れるように移動させると
ともに、ベクトル空間において所属カテゴリごとに参照
ベクトルが小集団を形成するように移動させることが好
ましい。しかし、スケールファクタを考慮しない距離を
用いた場合には、参照ベクトルの分布状況が反映されな
いので、互いにカテゴリの異なる参照ベクトルを移動さ
せた結果、却って上記のような小集団が崩れるおそれが
ある。
互いに隣接している場合には誤認識を起こし易い。従っ
て、参照ベクトルを移動させるときに、所属カテゴリの
異なる参照ベクトルは互いに離れるように移動させると
ともに、ベクトル空間において所属カテゴリごとに参照
ベクトルが小集団を形成するように移動させることが好
ましい。しかし、スケールファクタを考慮しない距離を
用いた場合には、参照ベクトルの分布状況が反映されな
いので、互いにカテゴリの異なる参照ベクトルを移動さ
せた結果、却って上記のような小集団が崩れるおそれが
ある。
【００１４】本発明のパターン認識辞書作成方法では、
参照ベクトルの分布状況を反映するスケールファクタを
付随させた距離関数を用い、各参照ベクトルの移動時に
このスケールファクタを変更することで、参照ベクトル
の分布の様子を反映しながらベクトル量子化を行う。従
って、参照ベクトルの特徴空間における位置の最適化だ
けでなく、参照ベクトルがその所属カテゴリ毎に上記小
集団を形成する確率が高くなり、またこのような小集団
が崩れることも避けられるので、移動後の参照ベクトル
は、この学習ベクトルに近い特徴ベクトルを有するパタ
ーンの認識に用いられる確率が高くなる。また、上記学
習ベクトルに近い特徴ベクトルを有するパターンは、こ
の学習ベクトルと同じカテゴリに属する確率が高いの
で、認識率も高まる。
参照ベクトルの分布状況を反映するスケールファクタを
付随させた距離関数を用い、各参照ベクトルの移動時に
このスケールファクタを変更することで、参照ベクトル
の分布の様子を反映しながらベクトル量子化を行う。従
って、参照ベクトルの特徴空間における位置の最適化だ
けでなく、参照ベクトルがその所属カテゴリ毎に上記小
集団を形成する確率が高くなり、またこのような小集団
が崩れることも避けられるので、移動後の参照ベクトル
は、この学習ベクトルに近い特徴ベクトルを有するパタ
ーンの認識に用いられる確率が高くなる。また、上記学
習ベクトルに近い特徴ベクトルを有するパターンは、こ
の学習ベクトルと同じカテゴリに属する確率が高いの
で、認識率も高まる。
【００１５】また、学習ベクトルと参照ベクトルとの差
ベクトルのスカラ倍をもとの参照ベクトルに加えると、
参照ベクトルを移動させたときの上記差ベクトルのスカ
ラ倍は、もとの参照ベクトルを学習ベクトルから一定の
距離内に移動させるようなベクトルのうち最も小さいも
のとなる。一般に、参照ベクトルの移動距離が大きくな
ると、該参照ベクトルが収束すべき理想点からずれる距
離も大きくなり易い。従って、本発明の方法のように移
動距離の最も小さいベクトルを用いるようにすれば、理
想点からのずれが極力小さく抑えられる。
ベクトルのスカラ倍をもとの参照ベクトルに加えると、
参照ベクトルを移動させたときの上記差ベクトルのスカ
ラ倍は、もとの参照ベクトルを学習ベクトルから一定の
距離内に移動させるようなベクトルのうち最も小さいも
のとなる。一般に、参照ベクトルの移動距離が大きくな
ると、該参照ベクトルが収束すべき理想点からずれる距
離も大きくなり易い。従って、本発明の方法のように移
動距離の最も小さいベクトルを用いるようにすれば、理
想点からのずれが極力小さく抑えられる。
【００１６】更に、第四段階、即ちベクトル位置の最適
化を行う度に、前記差ベクトルのスカラ倍率を小さくす
ることで、繰り返し数が多くなるにつれて上記理想点か
らのずれがより小さくなる。特に、学習回数と無関係に
参照ベクトルを移動させた場合、該参照ベクトルの動き
がループにはまって一定値に定まらなくなる（無限ルー
プ）虞があるが、本発明のように差ベクトルのスカラ倍
率を順次小さくすることで、参照ベクトルの移動距離が
小さくなるので、無限ループが回避される。
化を行う度に、前記差ベクトルのスカラ倍率を小さくす
ることで、繰り返し数が多くなるにつれて上記理想点か
らのずれがより小さくなる。特に、学習回数と無関係に
参照ベクトルを移動させた場合、該参照ベクトルの動き
がループにはまって一定値に定まらなくなる（無限ルー
プ）虞があるが、本発明のように差ベクトルのスカラ倍
率を順次小さくすることで、参照ベクトルの移動距離が
小さくなるので、無限ループが回避される。
【００１７】
【実施例】次に、図面を参照して本発明の実施例を詳細
に説明する。図１は本発明の一実施例に係るパターン認
識辞書作成装置の構成図であり、１は学習パターン入力
装置、２は学習パターン格納部、３は中央処理装置（Ｃ
ＰＵ）、４は辞書格納メモリを示す。
に説明する。図１は本発明の一実施例に係るパターン認
識辞書作成装置の構成図であり、１は学習パターン入力
装置、２は学習パターン格納部、３は中央処理装置（Ｃ
ＰＵ）、４は辞書格納メモリを示す。
【００１８】学習パターン入力部１は、学習対象となる
パターンを入力するもので、例えばスキャナ、マイクロ
フォン等を用いる。学習パターン格納部２は、入力され
た学習対象パターンをベクトル化してカテゴリ毎に格納
するディスクである。
パターンを入力するもので、例えばスキャナ、マイクロ
フォン等を用いる。学習パターン格納部２は、入力され
た学習対象パターンをベクトル化してカテゴリ毎に格納
するディスクである。
【００１９】また、ＣＰＵ３は、学習パターン格納部２
に格納された全てのパターンについてカテゴリ内クラス
タリング等の手法で初期辞書を作成・登録するとともに
逐次その更新を行う辞書作成・更新部３１と、所属カテ
ゴリが既知の１つのパターン（学習ベクトル）を選択す
る学習パターン選択部３２と、この学習パターンの認識
処理を行う認識部３３と、辞書内のベクトル位置の最適
化処理を行う辞書処理部３４と、上記各部の制御を行う
学習制御部３５とからなる。
に格納された全てのパターンについてカテゴリ内クラス
タリング等の手法で初期辞書を作成・登録するとともに
逐次その更新を行う辞書作成・更新部３１と、所属カテ
ゴリが既知の１つのパターン（学習ベクトル）を選択す
る学習パターン選択部３２と、この学習パターンの認識
処理を行う認識部３３と、辞書内のベクトル位置の最適
化処理を行う辞書処理部３４と、上記各部の制御を行う
学習制御部３５とからなる。
【００２０】辞書格納メモリ４は、辞書作成・更新部３
１で作成した辞書（参照ベクトルの集合）を格納し、こ
れを認識部３３における認識辞書として使用する。この
辞書は、辞書処理部３４の処理終了の度に逐次更新さ
れ、次のサイクルの認識辞書として使用される。
１で作成した辞書（参照ベクトルの集合）を格納し、こ
れを認識部３３における認識辞書として使用する。この
辞書は、辞書処理部３４の処理終了の度に逐次更新さ
れ、次のサイクルの認識辞書として使用される。
【００２１】次に、ＣＰＵ３における処理手順を示す図
２を参照して本実施例に係るパターン認識辞書作成装置
の動作例を説明する。なお、Ｓは処理ステップを表す。
この例においては、まず初期辞書作成部３１で初期辞書
を作成する（Ｓ２１）。具体的には、学習パターン格納
部２から入力された学習ベクトルをＷａｒｄ法、ｋ−平
均法等のクラスタリング手法を用いてカテゴリ毎にクラ
スタリング処理し、複数の参照ベクトルを得る。なお、
各参照ベクトルの所属カテゴリは、もとの学習パターン
が所属するカテゴリと同じになる。この初期辞書を辞書
格納メモリ４に登録する（Ｓ２２）。
２を参照して本実施例に係るパターン認識辞書作成装置
の動作例を説明する。なお、Ｓは処理ステップを表す。
この例においては、まず初期辞書作成部３１で初期辞書
を作成する（Ｓ２１）。具体的には、学習パターン格納
部２から入力された学習ベクトルをＷａｒｄ法、ｋ−平
均法等のクラスタリング手法を用いてカテゴリ毎にクラ
スタリング処理し、複数の参照ベクトルを得る。なお、
各参照ベクトルの所属カテゴリは、もとの学習パターン
が所属するカテゴリと同じになる。この初期辞書を辞書
格納メモリ４に登録する（Ｓ２２）。
【００２２】次に、学習ベクトル選択部３２において、
所属カテゴリが既知の任意の学習ベクトルを選択する
（Ｓ２３）。認識部３３は、上記Ｓ２１及びＳ２２で作
成・登録した初期辞書を用い、選択された学習ベクトル
の所属カテゴリの認識処理を行う（Ｓ２４）。具体的に
は、選択された学習ベクトルに最も類似する、つまり距
離の短い参照ベクトルの所属カテゴリを認識対象の学習
ベクトルの所属カテゴリと判断する。その後、所属カテ
ゴリが正しく認識されたかどうかを判定する（Ｓ２
５）。
所属カテゴリが既知の任意の学習ベクトルを選択する
（Ｓ２３）。認識部３３は、上記Ｓ２１及びＳ２２で作
成・登録した初期辞書を用い、選択された学習ベクトル
の所属カテゴリの認識処理を行う（Ｓ２４）。具体的に
は、選択された学習ベクトルに最も類似する、つまり距
離の短い参照ベクトルの所属カテゴリを認識対象の学習
ベクトルの所属カテゴリと判断する。その後、所属カテ
ゴリが正しく認識されたかどうかを判定する（Ｓ２
５）。
【００２３】学習ベクトルの所属カテゴリが正しく認識
されなかったときは、辞書処理部３４において参照ベク
トルの移動及びスケールファクタの移動を行う（Ｓ２
６）。この処理は、例えば学習ベクトルのベクトル空間
における位置が、認識すべきカテゴリの参照ベクトルと
の識別境界付近に存在するものとすると、具体的には以
下のようにして行う。
されなかったときは、辞書処理部３４において参照ベク
トルの移動及びスケールファクタの移動を行う（Ｓ２
６）。この処理は、例えば学習ベクトルのベクトル空間
における位置が、認識すべきカテゴリの参照ベクトルと
の識別境界付近に存在するものとすると、具体的には以
下のようにして行う。
【００２４】選択された学習ベクトルと同一カテゴリと
なる参照ベクトルのうち、この学習ベクトルに最も近い
ものを検出し、この参照ベクトルを上記学習ベクトルに
より近づける。その際、カテゴリの分布を反映するスケ
ールファクタを変更する。他方、この学習ベクトルから
の距離が上記同一カテゴリの参照ベクトルよりも近い他
の全ての参照ベクトルを、上記学習ベクトルから遠ざ
け、同時に上記スケールファクタを変更する。当然のこ
とながら、これら他の参照ベクトルの所属カテゴリは、
上記学習ベクトルの所属カテゴリとは異なっている。
なる参照ベクトルのうち、この学習ベクトルに最も近い
ものを検出し、この参照ベクトルを上記学習ベクトルに
より近づける。その際、カテゴリの分布を反映するスケ
ールファクタを変更する。他方、この学習ベクトルから
の距離が上記同一カテゴリの参照ベクトルよりも近い他
の全ての参照ベクトルを、上記学習ベクトルから遠ざ
け、同時に上記スケールファクタを変更する。当然のこ
とながら、これら他の参照ベクトルの所属カテゴリは、
上記学習ベクトルの所属カテゴリとは異なっている。
【００２５】そして、終了条件を充たすか否かを判定し
（Ｓ２７）、充たさないときは、Ｓ２２以降の処理を繰
り返す。終了条件を充たすとき、例えば全ての学習ベク
トルに対して誤認識がなくなるか、あるいは学習回数が
所定の回数に達したときは、学習を終了し、その時点で
の認識辞書をパターン認識辞書とする。
（Ｓ２７）、充たさないときは、Ｓ２２以降の処理を繰
り返す。終了条件を充たすとき、例えば全ての学習ベク
トルに対して誤認識がなくなるか、あるいは学習回数が
所定の回数に達したときは、学習を終了し、その時点で
の認識辞書をパターン認識辞書とする。
【００２６】次に、上記Ｓ２４〜Ｓ２７において着目す
る距離関数について詳述する。ベクトル間の距離の定義
としては、ユークリッド距離、マハラノビス距離、バッ
タチャリャ距離等があるが、本実施例では、参照ベクト
ルの分布状況を反映するスケールファクタを考慮に入れ
たマハラノビス距離を認識のための評価関数として用い
た。
る距離関数について詳述する。ベクトル間の距離の定義
としては、ユークリッド距離、マハラノビス距離、バッ
タチャリャ距離等があるが、本実施例では、参照ベクト
ルの分布状況を反映するスケールファクタを考慮に入れ
たマハラノビス距離を認識のための評価関数として用い
た。
【００２７】以下に、このマハラノビス距離を用いると
ともに、学習ベクトルと移動前の参照ベクトルとの差ベ
クトルをスカラ倍して得られるベクトルを補正ベクトル
とし、この補正ベクトルと、もとの参照ベクトルとの和
をとることによって参照ベクトルの移動を行う例を挙げ
る。この例における参照ベクトルの具体的な移動は、下
記の（１）式にて表される。
ともに、学習ベクトルと移動前の参照ベクトルとの差ベ
クトルをスカラ倍して得られるベクトルを補正ベクトル
とし、この補正ベクトルと、もとの参照ベクトルとの和
をとることによって参照ベクトルの移動を行う例を挙げ
る。この例における参照ベクトルの具体的な移動は、下
記の（１）式にて表される。
【００２８】
【数１】 μi(t)＝μi(t-1)±α(t){ｘi−μi(t-1)} …（１） 但し ｔ 時間（学習回数） ｘ 学習ベクトル α(t) 減少関数（０＜α(t)＜１） ｉ 次元数を表すインデックス
【００２９】なお、α(t)の符号は、参照ベクトルを学
習ベクトルに近づける場合には正、学習ベクトルから遠
ざける場合には負とする。この式においては、{ｘi−μ
i(t-1)}で表されるベクトルが、補正ベクトルとなる。
ここで、α(t)を１、符号を正とすると、移動後の参照
ベクトルは、学習ベクトルと一致する。
習ベクトルに近づける場合には正、学習ベクトルから遠
ざける場合には負とする。この式においては、{ｘi−μ
i(t-1)}で表されるベクトルが、補正ベクトルとなる。
ここで、α(t)を１、符号を正とすると、移動後の参照
ベクトルは、学習ベクトルと一致する。
【００３０】また、学習回数に無関係に参照ベクトルを
移動させた場合、参照ベクトルの動きがループにはまっ
て一定値に定まらなくなる虞があるので、この例では、
α(t)を減少関数とすることで、学習回数が多くなるに
つれて参照ベクトルの移動距離（補正ベクトルの大き
さ）を小さくし、このような無限ループを極力回避する
ようにしている。後述するスケールファクタの最適化に
おいても同様のことがいえる。この移動式は、認識辞書
全体に下記（２）式のような評価関数を設定した場合に
おける、該評価関数を最小化する緩和的降下法となって
いる。
移動させた場合、参照ベクトルの動きがループにはまっ
て一定値に定まらなくなる虞があるので、この例では、
α(t)を減少関数とすることで、学習回数が多くなるに
つれて参照ベクトルの移動距離（補正ベクトルの大き
さ）を小さくし、このような無限ループを極力回避する
ようにしている。後述するスケールファクタの最適化に
おいても同様のことがいえる。この移動式は、認識辞書
全体に下記（２）式のような評価関数を設定した場合に
おける、該評価関数を最小化する緩和的降下法となって
いる。
【００３１】
【数２】 φL＝ΣC∫{Σi(ｘi−μi)2}dx−ΣF∫{Σi(ｘi−μi)2}dx …（２） 但し、 φL 評価関数 ΣＣ 辞書によって正しい所属カテゴリが得られるパ
ターンに関する総和 Σｉ ｉに関する１〜ｄ（特徴空間の次元数）までの
総和 ΣＦ 辞書によって正しい所属カテゴリが得られない
パターンに関する総和 μi ｘiのカテゴリ判断に用いる参照ベクトル
ターンに関する総和 Σｉ ｉに関する１〜ｄ（特徴空間の次元数）までの
総和 ΣＦ 辞書によって正しい所属カテゴリが得られない
パターンに関する総和 μi ｘiのカテゴリ判断に用いる参照ベクトル
【００３２】参照ベクトルの分布状態を反映するスケー
ルファクタωijを考慮に入れたマハラノビス距離Ｄ
2は、例えば下記（３）式で表される。
ルファクタωijを考慮に入れたマハラノビス距離Ｄ
2は、例えば下記（３）式で表される。
【数３】 Ｄ2 ＝ΣiΣj{ωij(ｘi−μi)(ｘj−μj)} …（３）
【００３３】このマハラノビス距離Ｄ2を用いた認識系
において、上記例と同様の評価関数は、下記（４）式の
ように表される。
において、上記例と同様の評価関数は、下記（４）式の
ように表される。
【数４】 φL＝ΣC∫［ΣiΣj{ωij(xi-μi)(xj-μj)}]dx -ΣF∫[ΣiΣj{ωij(xi-μi)(xj-μj)}]dx …（４）
【００３４】この評価関数を最小化する緩和的降下法
は、下記（５）式及び（６）式で表される。
は、下記（５）式及び（６）式で表される。
【数５】 μi(t)＝μi(t-1)±α(t)ωij{ｘj−μj(t-1)} …（５） ωij(t)＝ωij(t−1)±α(t){ｘi−μi(t−1)}{ｘj−μj(t−1)} …（６） 但し、 ω(t) 学習回数ｔ（移動後）の参照ベクトル ω(t-1) 学習回数t-1（移動前）の参照ベクトル ｘ 学習ベクトル α(t) 減少関数（０＜α(t)＜１） ｉ 次元数を表すインデックス μi，μj ｘi，ｘjに最も近い参照ベクトル
【００３５】なお、（１）式と同様に、α(t)の符号
は、参照ベクトルを学習ベクトルに近づける場合には
正、学習ベクトルから遠ざける場合には負とする。
は、参照ベクトルを学習ベクトルに近づける場合には
正、学習ベクトルから遠ざける場合には負とする。
【００３６】この例のような認識系では、（１）式によ
って参照ベクトルを移動させ、更に（５）式によってス
ケールファクタを変更することができる。なお、上記説
明は、マハラノビス距離に基づく評価関数の例である
が、本発明は上記距離関数に限定されるものではなく、
他の距離関数によっても実施できることはいうまでもな
い。
って参照ベクトルを移動させ、更に（５）式によってス
ケールファクタを変更することができる。なお、上記説
明は、マハラノビス距離に基づく評価関数の例である
が、本発明は上記距離関数に限定されるものではなく、
他の距離関数によっても実施できることはいうまでもな
い。
【００３７】
【発明の効果】以上の説明から明らかなように、本発明
のパターン認識辞書作成方法によれば、学習を繰り返す
際に、参照ベクトルの分布状況を反映したうえで参照ベ
クトルが移動される。従って、参照ベクトルの特徴空間
における位置の最適化だけでなく、カテゴリ毎に参照ベ
クトルをある程度まとめることができ、認識精度の高い
パターン認識辞書を効率よく作成することが可能とな
る。
のパターン認識辞書作成方法によれば、学習を繰り返す
際に、参照ベクトルの分布状況を反映したうえで参照ベ
クトルが移動される。従って、参照ベクトルの特徴空間
における位置の最適化だけでなく、カテゴリ毎に参照ベ
クトルをある程度まとめることができ、認識精度の高い
パターン認識辞書を効率よく作成することが可能とな
る。
【００３８】また、学習ベクトルと移動させる参照ベク
トルとの差ベクトルのスカラ倍をもとの参照ベクトルに
加えることで、収束すべき理想点からのずれが極力小さ
く抑えられ、作成されるパターン認識辞書の認識率が更
に高まる効果がある。
トルとの差ベクトルのスカラ倍をもとの参照ベクトルに
加えることで、収束すべき理想点からのずれが極力小さ
く抑えられ、作成されるパターン認識辞書の認識率が更
に高まる効果がある。
【００３９】更に、ベクトル位置の最適化を行う度に、
上記差ベクトルのスカラ倍率を小さくすることで、繰り
返し数が多くなるにつれて上記理想点からのずれがより
小さくなり、効率良く参照ベクトルを移動させることが
できる。
上記差ベクトルのスカラ倍率を小さくすることで、繰り
返し数が多くなるにつれて上記理想点からのずれがより
小さくなり、効率良く参照ベクトルを移動させることが
できる。
【図１】本発明の一実施例に係るパターン認識辞書作成
装置の構成図。
装置の構成図。
【図２】上記パターン認識辞書作成装置の処理手順の一
例を示すフローチャート。
例を示すフローチャート。
１ 学習パターン入力装置 ２ 学習パターン格納部 ３ 中央処理装置（ＣＰＵ） ３１ 辞書作成・更新部 ３２ 学習パターン選択部 ３３ 認識部 ３４ 辞書処理部 ３５ 学習制御部 ４ 辞書格納メモリ
フロントページの続き (56)参考文献 特開 平４−268678（ＪＰ，Ａ) 特開 平４−181298（ＪＰ，Ａ) 特開 平４−106674（ＪＰ，Ａ) 特開 昭61−99195（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 G06K 9/68 G10L 15/06
Claims (3)
- 【請求項１】 学習ベクトル量子化法を用いてパターン
認識辞書におけるベクトル位置の最適化を行う方法であ
って、 学習に用いる全てのパターンについてその所属カテゴリ
をそれぞれ代表する複数の参照パターンベクトルを作成
する第一の段階と、 所属カテゴリが既知の１つの学習ベクトルを選択する第
二の段階と、 選択した学習ベクトルからの距離が最小となる前記参照
パターンベクトルを検出する第三の段階と、 検出した参照パターンベクトルが前記学習ベクトルと異
なるカテゴリに属する場合に、これを前記学習ベクトル
から離れる方向に移動させ、他方、前記学習ベクトルと
同一カテゴリに属する場合に、該参照パターンベクトル
を前記学習ベクトルにより近付く方向に移動させる第四
の段階とを有し、 前記距離を表す距離関数に複数の参照パターンベクトル
の分布状況を反映するスケールファクタを付随させ、各
参照パターンベクトルの移動時に該スケールファクタを
変更するとともに、前記第二乃至第四の段階を所定の評
価基準に達するまで有限回繰り返すことを特徴とするパ
ターン認識辞書作成方法。 - 【請求項２】 請求項１記載のパターン認識辞書作成方
法において、 前記各参照パターンベクトルの移動は、前記学習ベクト
ルと当該参照パターンベクトルとの差ベクトルのスカラ
倍と当該参照パターンベクトルとの和をとることにより
行うことを特徴とするパターン認識辞書作成方法。 - 【請求項３】 請求項２記載のパターン認識辞書作成方
法において、 前記第一乃至第四の段階を繰り返す度に、前記差ベクト
ルのスカラ倍率を小さくすることを特徴とするパターン
認識辞書作成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01685894A JP3249676B2 (ja) | 1994-02-10 | 1994-02-10 | パターン認識辞書作成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01685894A JP3249676B2 (ja) | 1994-02-10 | 1994-02-10 | パターン認識辞書作成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07225836A JPH07225836A (ja) | 1995-08-22 |
| JP3249676B2 true JP3249676B2 (ja) | 2002-01-21 |
Family
ID=11927922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01685894A Expired - Fee Related JP3249676B2 (ja) | 1994-02-10 | 1994-02-10 | パターン認識辞書作成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3249676B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07225749A (ja) * | 1994-02-14 | 1995-08-22 | Nec Corp | データ分類装置 |
| JP2002099916A (ja) | 2000-09-25 | 2002-04-05 | Olympus Optical Co Ltd | パターン分類方法及びその装置、コンピュータにより読み取り可能な記憶媒体 |
-
1994
- 1994-02-10 JP JP01685894A patent/JP3249676B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07225836A (ja) | 1995-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2991473B2 (ja) | 文字の認識方法及び音素の認識方法 | |
| Hu et al. | Writer independent on-line handwriting recognition using an HMM approach | |
| US5805731A (en) | Adaptive statistical classifier which provides reliable estimates or output classes having low probabilities | |
| US5768422A (en) | Method for training an adaptive statistical classifier to discriminate against inproper patterns | |
| US5903884A (en) | Method for training a statistical classifier with reduced tendency for overfitting | |
| JP2795058B2 (ja) | 時系列信号処理装置 | |
| US5392363A (en) | On-line connected handwritten word recognition by a probabilistic method | |
| US6208971B1 (en) | Method and apparatus for command recognition using data-driven semantic inference | |
| US7382921B2 (en) | Training an on-line handwriting recognizer | |
| JP3088171B2 (ja) | 自己組織型パタ−ン分類システム及び分類方法 | |
| EP0627726B1 (en) | Pattern recognition with a tree structure used for reference pattern feature vectors or for HMM | |
| US20230186912A1 (en) | Speech recognition method, apparatus and device, and storage medium | |
| US5796863A (en) | Method for training an adaptive statistical classifier to balance unigram prior factors | |
| US5787395A (en) | Word and pattern recognition through overlapping hierarchical tree defined by relational features | |
| Biem | Minimum classification error training for online handwriting recognition | |
| EP0847041A2 (en) | Method and apparatus for speech recognition performing noise adaptation | |
| US5459809A (en) | Character recognition system and method therefor accommodating on-line discrete and cursive handwritten | |
| JP2023509257A (ja) | 多音字の発音を予測する方法、装置、設備、および記憶媒体 | |
| US6243695B1 (en) | Access control system and method therefor | |
| US6131089A (en) | Pattern classifier with training system and methods of operation therefor | |
| JP4066507B2 (ja) | 日本語文字認識誤り訂正方法及び装置、並びに、誤り訂正プログラムを記録した記録媒体 | |
| Watanabe et al. | Discriminative metric design for robust pattern recognition | |
| US7953594B2 (en) | Speech recognition method and apparatus using lexicon group tree | |
| CN114530145A (zh) | 语音识别结果纠错方法及装置、计算机可读存储介质 | |
| Anigbogu et al. | Hidden Markov models in text recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071109 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081109 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091109 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091109 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |