JP2991754B2 - 認識辞書作成方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、文字認識装置や音声認識装置などに用いら
れる認識辞書の作成方法に係り、特に、学習データを非
階層的な手法でクラスタリングすることによって認識辞
書を作成する方法に関する。

〔従来の技術及びその課題〕

文字認識装置などに用いられる認識辞書の作成法に、
まず、認識対象の各文字毎の平均特徴量などによって初
期辞書を作成し、この初期辞書を用いて全ての学習デー
タについて認識処理を行い、その認識結果の悪い文字に
対してクラスタリング処理を行って初期辞書を更新し、
認識辞書を作成する方法がある（例えば、特開昭64−36
388号公報参照）。

しかしながら、従来の方法においては、まずマラスリ
ング処理を認識結果が所定の条件を満たさない全ての文
字について一斉にクラスタリング処理を行い、辞書を作
成するため、認識辞書のレコード数の増加に対する認識
性能の向上率という問題があった。また、他のクラスタ
との関係を考慮に入れずにクラスタリング処理を行うた
め、認識性能の観点から見ると、必ずしも適当なクラス
タリング処理が行われるとは限らない。さらに、クラス
タリングによってある辞書を増やした場合の、他の文字
の認識への悪影響について考慮されていない。

本発明の目的は、できる限り少ない認識辞書レコード
数で性能の高い認識辞書を作成することにある。

本発明の他の目的は、ある文字の辞書レコードを更新
（増加）する場合に、他の文字の認識への悪影響を最小
にすることにある。

〔課題を解決するための手段〕

本発明は、学習データを非階層的な手法でクラスタリ
ングすることによって認識辞書を作成する方法におい
て、各文字毎の初期辞書を作成した後、この作成した辞
書を用いて学習データに対して認識処理を行い、その結
果、誤認識がもっとも多く発生した文字対の誤認元の学
習データあるいは誤認識がもっとも多く発生した文字の
学習データに対してクラスタリング処理を行い、このク
ラスタリングの結果得られたクラスタより、認識辞書に
登録する特徴量を作成し、認識辞書に登録する処理を繰
り返すことによって認識辞書を作成することを主たる特
徴とするものである。

〔作 用〕

まず、出来るかぎり少ない認識辞書レコード数で認識
性能を向上させるために、例えば最も誤認識が多発した
文字対の、誤認元の学習データに対してクラスタリング
処理を行う。例えば、手書き数字認識において、文字
“4"の文字“9"への誤認識が最も多く発生した場合に
は、文字“4"の学習データに対してクラスタリングを行
う。

つぎに、誤認元の学習データを非階層的な方法によっ
てクラスタリングを行う際に、認識性能の観点から見
て、最適なクラスタリングが行われるように、誤認元の
認識辞書の特徴量と、誤認先の認識辞書の内、最も誤認
識を発生させた辞書の特徴量を、初期シード点として設
定する。例えば、文字“4"の文字“9"への誤認識が最も
多く発生し、文字“4"の学習データに対してクラスタリ
ングを行う場合には、請求項（２）に示す方法では文字
“4"の認識辞書の特徴量と、文字“9"の内、最も誤認識
を発生させた認識辞書の特徴量を初期のシード点として
設定する。また、請求項（３）に示す方法では、“4"が
“9"以外の文字にも誤認識していた場合、例えば“4"が
“0"にも誤認識していた場合には、“4"の認識辞書の特
徴量と、文字“9"の内、最も誤認識を発生させた認識辞
書の特徴量および文字“0"の内、最も誤認識を発生させ
た認識辞書の特徴量を初期シード点として設定する。し
たがって、請求項（２）の示す方法に場合には、誤認元
の認識辞書のレコード数＋１のクラスタに分類される。
また、請求項（３）に示す方法の場合には、誤認元の認
識辞書のレコード数＋誤認先文字カテゴリ数のクラスタ
に分類される。

最後に、クラスタリングの結果得られたクラスタより
適当な方法によって、認識辞書に登録する特徴量を作成
し、認識辞書に登録する。この場合、請求項（４）に示
す方法では、誤認先の認識辞書の内、最も誤認識を発生
させた辞書の特徴量を、初期シード点として用いて作成
されたクラスタのみから、適当な方法によって認識辞書
に登録する特徴量を作成し、残りのクラスタについて
は、初期シード点（すなわち初期辞書の特徴量）をその
まま認識辞書に登録する。したがって、クラスタリング
による更新後の辞書は、クラスタリング以前の辞書に、
誤認先の認識辞書の内、最も誤認識を発生させた辞書の
特徴量を、初期シード点として用いて作成されたクラス
タより算出した特徴量のレコードを追加したものとな
る。

〔実施例〕

以下、本発明の一実施例について図面により説明す
る。

第１図は本発明の認識辞書作成方法を実現する機能ブ
ロック図を示したものである。第１図において、処理部
は、各文字毎の特徴量の平均によって初期辞書を作成す
る初期辞書作成部10、初期辞書を用いて全ての学習デー
タに対して、誤認識が最も多く発生した文字や文字対を
検出する誤認最多発文字／文字対検出部30、クラスタリ
ング処理を行う際のシード点を設定するシード点設定部
40、設定された初期クラスタを用いて非階層的方法によ
るクラスタリング処理を行うクラスタリング処理部50、
得られたクラスタから認識辞書用の特徴量を算出し、認
識辞書に登録する認識辞書作成部60よりなる。また、メ
モリは、辞書作成に用いるデータ（特徴量）があらかじ
め保存されている学習データ保存メモリ70、認識辞書が
格納される認識辞書メモリ80、認識部20の認識結果が格
納される認識結果メモリ90よりなる。

初めに、非階層的なクラスタリング手法について説明
する。ここでは、誤認識結果の情報をうまく利用するこ
とができるISODATA法について述べる。なお、これにつ
いては、例えば河口至商著「多変量解析入門II」（1978
年森北出版）第26頁〜第44頁に詳述されている。第２図
にISODATA法の簡単な処理の流れを示す。

１）初期条件として、指定した個数のシード点を設定す
る（このシード点の個数に分割される）。

２）各サンプルとシード点との距離を計算し、各サンプ
ルを最も近いシード点に割り当てる事によって、全サン
プルをシード点の個数のクラスタに分類する。

３）得られたクラスタの重心を新たなシード点とする。

４）収束条件を定めておき、その収束条件が満たされる
まで上記処理を繰り返す。

５）得られたクラスタを定められた規則にしたがって融
合、分離する。

本発明は、シード点の設定を誤認傾向に着目して行う
ものである。各サンプルと、シード点との距離は、以下
の式によって算出する。

クラスタの重心は、クラスタ内の特徴量の平均とす
る。具体的には以下の式で求める。

収束条件としては、１回のクラスタリングによるシー
ド点の移動距離（式１参照）の合計がある閾値（例えば
５）より小さい場合に処理の打ち切りを行う。

第３図はISODATA法の処理イメージを２次元で表わし
た図である。第３図中、301はサンプルの集合、302やそ
の他の丸印は辞書を示す。いま、Ａ−1,B−１が初期の
シード点（元の辞書と、誤認最多発辞書）であり、最初
のクラスタリングでは、誤認識されたサンプルがＢ−１
によるクラスタに分類される。その後、分類されたクラ
スタに基づいて順次シード点を更新していく。１回のク
ラスタリングによるシード点の移動が小さくなった時に
処理の打ち切りを行う。

次に、本発明による認識辞書作成方法の各実施例につ
いて説明する。

実施例１ これのフローチャートを第４図に示す。

処理1: 初期辞書作成部10において、学習データ保存メモリ70
の学習データについて、各文字毎に特徴量の平均を算出
し、それを初期辞書として認識辞書メモリ80に格納す
る。

処理2: 認識部20は、認識辞書メモリ80中の作成された初期辞
書を用いて、学習データ保存メモリ中の全ての学習デー
タ（サンプル）に対する認識処理を行い、その結果を認
識結果メモリ90に格納する。

第５図は、手書き数字０〜９（全サンプル数6160）に
ついて認識結果の一例を示したものである。第５図中、
縦軸が入力、横軸が出力で、両者の交わった部分の数字
が発生した誤認識の数を示している。例えば、縦軸の数
字“4"と横軸の数字“9"の交点の59は、数字“4"が数字
“9"に誤認識したサンプルは59存在したことを示してい
る。

処理3: 誤認識最多発文字／文字対検出部30は、認識結果メモ
リ90を参照して、認識処理の結果、誤認識が最も多く発
生した文字対を検出する。第５図の例においては、数字
“4"の数字“9"への誤認識が最も多く発生しているの
で、数字４と９の対を検出する。この場合、４が誤認
元、９が誤認先である。

処理4: シード点設定部40は、認識辞書メモリ80より、誤認元
の認識辞書（初期辞書）の特徴量と、誤認先の認識辞書
の内、最も誤認識を発生させた辞書の特徴量を検出し、
初期シード点（初期クラスタ）として設定する。第５図
の例では、文字“4"の認識辞書の特徴量と、文字“9"の
認識辞書の特徴量を、初期シード点として設定する。

処理:5 クラスタリング処理部50は、設定された初期クラスタ
を用いて、ISODATA法によるクラスタリングを行う。

処理:6 認識辞書作成部60は、得られたクラスタから、クラス
タ毎の平均の特徴量を作成し、それを辞書として認識辞
書メモリ80に登録する。

処理:7 次に、作成された辞書を用いて再び認識処理を行う。
認識処理の結果が所望の認識率を越えた場合に、認識辞
書作成処理を終了する。所望の認識率が達成されなかっ
た場合には、処理３以降を繰り返し行う。

上記説明では、誤認識の最も多く発生した文字対の誤
認元の学習データに対してクラスタリング処理を行う際
に、その初期シード点の設定時に、誤認元の認識辞書の
特徴量と、誤認先の辞書の内最も誤認識を発生させた認
識辞書の特徴量を初期のシード点として設定したが、誤
認元の認識辞書の特徴量と、誤認先のすべての認識辞書
の特徴量を初期のシードとして設定することも可能であ
る。例えば第５図の場合、処理４において、文字“4"の
認識辞書の特徴量と、文字“9"、“2"、“3"の認識辞書
の特徴量とを、初期シード点として設定するのである。

第６図に、数字“4"の数字“9"への誤認識が最も多く
発生している場合の初期クラスタの設定とクラスタリン
グ処理の開始の概念図を示す。なお、数字“4"の特徴量
と数字“9"の特徴量を初期シード点として設定する場合
は、誤認元の認識辞書のレコード数＋１のクラスタに分
類される。また、“4"が“9"以外の数字にも誤識され、
それらの内の、最も誤認識を発生させた認識辞書の特徴
量も初期シード点として設定する場合は、誤識元の認識
辞書のレコード数＋誤認先文字カテゴリ数のクラスタに
分類される。

実施例２ これのフローチャートを第７図に示す。

これは実施例１と認識辞書作成部60における処理（処
理６）が異なるのみで、それ以外は同じである。即ち、
実施例１では、クラスタリングの結果得られたシード点
全てを、誤認元の辞書のかわりとして、辞書に登録した
のに対し、本実施例２では、最も誤認を発生させた辞書
を初期のシード点として作成されたクラスタのシード点
（つまり新たに設けられたシード点）を新たに辞書に登
録し、他の辞書の変更は行わない。つまり、実施例２で
は、クラスタリング以前に存在した辞書の変更は行われ
ない。例えば、第５図の場合、認識辞書作成部60では、
文字“9"の認識辞書の特徴量を初期シード点として作成
されたクラスタ中の学習データの平均の特徴量を作成
し、それを認識辞書に追加する。

第８図に、実施例２の場合のクラスタの設定と認識辞
書への登録特徴量の関係を示す。また、第９図に、実施
例１と実施例２による辞書登録法の違いを示す。実施例
１では、辞書Ａ−ｎの他の文字への悪影響が懸念される
が、実施例２ではその懸念がない。

実施例３ これのフローチャートを第10図に示す。これも、実施
例１とは認識辞書作成部60における処理（処理６）が異
なるのみ、それ以外は同じである。即ち、実施例１で
は、クラスタリングの結果得られたシード点全てを、誤
認元の辞書のかわりとして、辞書に登録したが、本実施
例３では、最も誤認を発生させた辞書を初期のシード点
として作成されたクラスタのシード点を新たに辞書とし
て登録するとともに、文字特徴量の平均による辞書（あ
るいはそれの修正された辞書）を初期のシード点として
作成されたクラスタのシード点を特徴量の平均による辞
書のかわりに登録する。第11図に、実施例３における辞
書登録法を示す。

実施例４ これのフローチャートを第12図に示す。本実施例４
は、誤認最多発文字／文字対検出部30における処理（処
理３）が実施例１と異なるのみである。即ち、実施例１
では誤認最多発文字対を求め、誤認元の文字のサンプル
に関してクラスタリングを行ったが、本実施例４では、
誤認最多発文字を求め、誤認文字のサンプルに対してク
ラスタリングを行う。

シード点としては、誤認文字の辞書と、他の文字の辞
書毎に、その中で最も誤認文字の辞書に近い辞書を用い
る。つまり、シード点の個数は以下のようになる。

Sn＝Dm＋Cn−１ …（式３） Sn:シード点の個数 Dm:誤認文字の辞書数 Cn:認識対象文字数 ここで、他の文字の辞書毎に、その中で最も誤認文字
に近い辞書を用いたのは、誤認先の文字として現われて
いない文字の辞書に対しては、実施例１と同様に最も誤
認を発生させた辞書を選ぶ事が不可能である為である。
これらのシード点は、クラスタリングの最中に、その悪
影響としてそれらの文字に誤認識するサンプルが現われ
た場合に新たなクラスタを作成してその網影響を緩和す
るために用意される。第13図に、クラスタリングによる
悪影響の緩和の例を示す。

上記シード点を用いた場合には、クラスタリングの終
了時に、シード点以外のサンプルが１つも存在しないク
ラスタが残る可能性がある。実施例４では、これらのク
ラスタのシード点は、辞書に登録する際に無視する。つ
まり、得られたクラスタのうち、シード点以外のサンプ
ルが存在するクラスタのシード点全てを誤認文字の辞書
のかわりとして辞書に登録する。つまりクラスタリング
以前に存在した辞書も修正される。これは実施例１と同
様である。

実施例５ これのフローチャートを第14図に示す。本実施例５
は、認識辞書作成部60における処理（処理６）が実施例
４と異なるのみである。即ち、本実施例５では、シード
点以外のサンプルが存在するクラスタのシード点のう
ち、誤認文字の辞書によるシード点以外の（新たに作成
された）シード点全てを辞書に追加する。つまりクラス
タリング以前に存在した辞書の変更は行われない。これ
は、実施例２の辞書作成法と同様である。

〔発明の効果〕

以上の説明は明らかなように、本発明によれば、文字
認識装置などに用いられる認識辞書として、できるかぎ
り少ない認識辞書レコード数で性能の高い認識辞書を作
成することができ、また、ある文字の辞書レコードを更
新（増加）する場合に、他の文字の認識への悪影響を最
小にすることができるなどの効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例の機能ブロック図、第２図は
ISODATA法の概略フローチャート、第３図はISODATA法の
処理イメージを示す図、第４図は本発明の実施例１のフ
ローチャート、第５図は手書き数字の認識結果の一例を
示す図、第６図は実施例１による初期クラスタの設定と
クラスタリング処理を示す図、第７図は本発明の実施例
２のフローチャート、第８図は実施例２によるクラスタ
の設定と認識辞書登録を示す図、第９図は実施例１と２
の辞書作成法の違いを示す図、第10図は実施例３のフロ
ーチャート、第11図は実施例３の辞書作成法を示す図、
第12図は実施例４のフローチャート、第13図は実施例４
によるクラスタリングによる悪影響の緩和を示す図、第
14図は実施例５のフローチャートである。 10……初期辞書作成部、20……認識部、 30……誤認最多発文字／文字対検出部、 40……シード点設定部、50……クラスタリング処理部、
60……認識辞書作成部、 70……学習データ保存メモリ、80……認識辞書メモリ、
90……認識結果メモリ。

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】学習データを非階層的な手法でクラスタリ
   ングすることによって認識辞書を作成する方法におい
   て、各文字毎の初期辞書を作成した後、この作成した辞
   書を用いて学習データに対して認識処理を行い、その結
   果、誤認識がもっとも多く発生した文字対の誤認元の学
   習データに対してクラスタリング処理を行い、このクラ
   スタリングの結果得られたクラスタより、認識辞書に登
   録する特徴量を作成し、認識辞書に登録する処理を繰り
   返すことによって認識辞書を作成することを特徴とする
   認識辞書作成方法。
2. 【請求項２】請求項（１）記載の認識辞書作成方法にお
   いて、誤認識の最も多く発生した文字対の誤認元の学習
   データに対してクラスタリング処理を行う際に、その初
   期シード点の設定時に、誤認元の認識辞書の特徴量と、
   誤認先の辞書の内、最も誤認識を発生させた認識辞書の
   特徴量を初期のシード点として設定することを特徴とす
   る認識辞書作成方法。
3. 【請求項３】請求項（１）記載の認識辞書作成方法にお
   いて、誤認識の最も多く発生した文字対の誤認元の学習
   データに対してクラスタリング処理を行う際、その初期
   シード点の設定時に、誤認元の認識辞書の特徴量、誤認
   先の認識辞書の特徴量を初期のシード点として設定する
   ことを特徴とする認識辞書作成方法。
4. 【請求項４】請求項（１）、（２）もしくは（３）記載
   の認識辞書作成方法において、認識辞書に登録する特徴
   量を作成し、認識辞書の更新を行う際、初期辞書の特徴
   量は変更せず、新たに作成されたクラスタより得られる
   特徴量を追加することによって辞書の更新を行うことを
   特徴とする認識辞書作成方法。
5. 【請求項５】請求項（１）、（２）、（３）もしくは
   （４）記載の認識辞書作成方法において、誤認識がもっ
   とも多く発生した文字対の誤認元の学習データに対して
   クラスタリング処理を行うのに替えて、誤認識がもっと
   も多く発生した文字の学習データに対してクラスタリン
   グ処理を行うことを特徴とする認識辞書作成方法。