JPH1139432A - 文字認識方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、従来の多峰性の分布形状をもつ複雑
な密度関数を用いた場合に伴う演算量の増加を抑えると
ともに、次元圧縮の際にパターン分布の高次元性の為に
生じる適切なモデル当てはめの困難さを解消し、学習サ
ンプルに対してクラスタ解析等のアドホックな処理を行
わなくても、分布に応じた識別境界を自動的に決定する
ことを目的とする。 【解決手段】本発明は、予め与えられた文字パターンの
サンプルの集合から各カテゴリごとに確率密度関数を推
定し、推定された前記確率密度関数を用い、前記文字パ
ターンの属する各カテゴリを示す代表ベクトル値により
構成された回帰関数を求め、求められた前記回帰関数の
パラメータを近似した回帰関数値を求め、求められた回
帰関数値の分布に応じてカテゴリの識別境界を設定し、
設定された前記識別境界をもとに、入力された文字パタ
ーンのカテゴリの識別を行なうことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字パターンの分
布に応じた識別境界を自動的に決定する文字認識方法及
び装置に関する。

【０００２】

【従来の技術】文献「パターン認識：森健一監修、電子
情報通信学会、１９９３年」によると、ベイズ識別で代
表される統計的決定理論を用いた文字認識では、原文字
パターンから特徴抽出を経て変換された特徴パターンが
構成するパターン空間において、パターンベクトルの確
率密度関数（分布密度）が知られれば未知文字パターン
の類別を行なうことが出来る。従来の統計的決定理論で
は、確率密度関数として正規分布を仮定することが多か
った。

【０００３】しかしながら、この確率密度関数は特徴抽
出に応じて変化すると考えるのが自然であり、必ずしも
正規分布が適切な分布であるとは考えにくい。この視点
にたち、多峰性の分布を学習サンプルから推定してパタ
ーン認識を行なう手法が提案されているが、この手法で
は一般にパラメータ数が多くなり、認識率の割には認識
に関わる演算量が多くなり、実用的なシステムには不向
きであるという問題があった。

【０００４】また、部分空間法で代表されるように、学
習サンプルに対して主成分分析により次元圧縮を行う手
法は、パターン空間におけるパターンベクトルの分布に
対して超平面を当てはめるものであるが、一般には分布
の形状に応じて適切な当てはめモデルを導入した方がよ
り次元圧縮の効果が期待される。

【０００５】従って当てはめモデルを導入して適切な次
元圧縮を行おうとするには、用いる特徴に応じて事前に
パターン空間におけるパターンベクトルの分布を調べる
必要がある。しかしながらパターン空間は一般に高次元
空間であるため、分布の形状を調査することは大変難し
いという問題があった。

【０００６】一方、パターン空間において学習サンプル
からカテゴリの境界を表す識別関数を求め、これを元に
未知パターンの類別を行なう手法がある。この手法で
は、識別関数として線形関数あるいは区分的線形関数や
非線形関数を用いているが、これら識別関数の決定はあ
らかじめ学習サンプルをクラスタ解析することにより、
予め幾つかの部分群に分けるなどの操作を必要とするこ
とが多く、関数を決定することに対してアドホックなア
ルゴリズムを導入することが多く、処理が煩雑になると
ともに、得られた識別関数の最適性について議論するこ
とは難しかった。

【０００７】

【発明が解決しようとする課題】そこで本発明は、従来
の多峰性の分布形状をもつ複雑な密度関数を用いた場合
に伴う演算量の増加を抑えるとともに、次元圧縮の際パ
ターン分布の高次元性の為に生じる適切なモデル当ては
めの困難さを解消し、学習サンプルに対してクラスタ解
析等の処理を行わなくても、分布に応じた識別境界を自
動的に決定することを目的とする。

【０００８】

【課題を解決するための手段】本発明は、予め与えられ
た文字パターンのサンプルの集合の各カテゴリごとに確
率密度関数を推定し、推定された前記確率密度関数を用
い、前記文字パターンの属する各カテゴリを示す代表ベ
クトル値により構成された回帰関数を求め、求められた
前記回帰関数のパラメータを近似した回帰関数値を求
め、求められた回帰関数値の分布に応じてカテゴリの識
別境界を設定し、設定された前記識別境界をもとに、入
力された文字パターンのカテゴリの識別を行なうことを
特徴とするものである。

【０００９】

【発明の実施の形態】本発明は、離散的に与えられた文
字のサンプル集合からカテゴリ毎に少なくとも１つの連
続な確率密度関数を推定し、従来の回帰分析で必要だっ
た当てはめモデルを用いることなく、推定された密度関
数を用いるだけで、各カテゴリを指し示すよう付加され
た代表ベクトル値を回帰する回帰関数を求める。

【００１０】また、この回帰関数を少数パラメータで近
似することにより、認識処理に係わる演算量を軽減させ
るとともに、クラスタ解析等の処理を行うこと無しに、
学習サンプルに対する回帰関数値と代表ベクトルとの２
乗誤差を最小化させる自動学習により分布の形状に応じ
た識別境界を構成する。

【００１１】そして認識は、近似された回帰関数の未知
パターンに対するベクトル関数値を計算し、各成分値の
最大値をとる成分と１対１に対応したカテゴリへ未知パ
ターンの類別を行なうものである。以下、図面をもとに
本願発明を説明する。

【００１２】図１は、文字認識装置の全体構成図であ
る。前処理手段１は、スキャナーやタブレット等の入力
手段から入力された文字データの文字区切りやノイズ消
去、文字の大きさの正規化等を行う。

【００１３】認識手段２は、前処理手段１において処理
された文字列を、文字認識辞書４をもとにマッチング処
理を行い認識する。次に、後処理手段３は、認識手段２
において認識された文字列を、単語認識辞書５をもとに
認識単語を導き出し出力する。ここで、文字認識辞書４
と単語認識辞書５を１つの辞書として構成しても良い。

【００１４】本発明は、認識手段２における認識処理の
一部であり、図２に示したように４段階の手順からな
る。また認識に用いられる認識辞書は図３に示したよう
に４段回の手順を経て作成される。はじめに認識辞書作
成手順を説明する。

【００１５】確率変数｛ｘ、ｙ｝と確率密度ρ｛ｘ、
ｙ｝が与えられた時、ｙを回帰するｘに対する回帰関数
ｆ（ｘ）は一般回帰によると次式で求まる。（ここで、
ｘ，ｙ，ｆはベクトル値である。）

【００１６】

【数１】

【００１７】今、サンプルパターン数をＮ，このうちｉ
番目のパターンをｘｉ（ベクトル値）とし、このパター
ンの属するカテゴリを指標する指標ベクトルをｙｉと書
く。以下では、密度関数ρの具体例として、多次元正規
分布から構成される混合分布を用いるが、一般的には
［数１］の右辺の各積分が存在し、かつ右辺が有限とな
る如何なる密度関数ρを用いてもよい。混合分布を用い
た場合、密度関数ρは

【００１８】

【数２】 である。ここでＧ（ｘ，Σ）は平均が０、共分散行列を
Σとした多次元正規分布である。［数１］に［数２］を
代入すると、具体的に近似した回帰関数として

【００１９】

【数３】 が得られる。

【００２０】次に、回帰関数ｆをｍ組のパラメータ｛α
ｉ，βｉ，Σｉ｝（ｉは１，，，ｍ）を用いて近似する
（ここで、α，βはベクトル値）。これらｍ組のパラメ
ータ｛αｉ，βｉ，Σｉ｝のうち、αを第１のパラメー
タ、βを第２のパラメータ、Σを第３のパラメータとす
る。

【００２１】本実施例では、［数３］で表されたｆを直
接関数近似するのではなく、サンプルデータと近似され
た回帰関数ｆ＊との２乗誤差を最小にするパラメータの
組を求めることで近似を行なう。また、ｍ組のパラメー
タ｛αｉ，βｉ，Σｉ｝の内、簡単のためにΣ１＝Σ２
＝・・・＝Σｍ＝Σとし、Σの値は予め設定されている
ものとする。この場合、近似される回帰関数ｆ＊はｍ組
のパラメータ｛αｉ，βｉ｝（ｉは１，，，ｍ）を有す
る。この場合、サンプルデータと近似関数との２乗誤差
Ｅは、

【００２２】

【数４】 となる。そして、変分法によりＥ（｛αｉ，βｉ｝）を
最小にするパラメータの組は次式の連立方程式を満足す
る。

【００２３】

【数５】

【００２４】これらｍ組の連立方程式を各パラメータに
関して解けば２乗誤差を最小にする意味で最適なパラメ
ータが求まる。しかしこれらの連立方程式式は、一般に
は非線形連立方程式となり解析解を求めることは難し
い。

【００２５】また、各パラメータの次元が大きい場合、
数値的に連立方程式を解くことも困難である。ここでは
一例として最急降下法による数値解法を示す。最急降下
法では学習の進行の具合を調整する任意の正実数εを導
入して、次式のようにパラメータを逐次更新する。

【００２６】

【数６】

【００２７】

【数７】 ［数６］と［数７］でｆ＊を具体的に書き下すと、学習
アルゴリズムは次のようになる。

【００２８】

【数８】

【００２９】

【数９】 である。ここで、

【００３０】

【数１０】 および＜，＞はベクトルの内積を表す。

【００３１】学習はパラメータの初期値を適切に設定し
た後、上の更新規則で各パラメータを更新し、［数４］
で計算されるＥの減少率がある一定の閾値を割った時点
で終了させればよい。

【００３２】学習時のパラメータ初期値設定に関して
は、最適化問題が非線形最適化の場合は最適化アルゴリ
ズムによっては学習の効率化や解の最適性に影響するこ
とが知られており重要である。本実施例では一例とし
て、サンプルデータの重心を出発点とした代表パターン
選出する手順を示す。この処理は各カテゴリごとに独立
に行なう。

【００３３】まず、サンプルパターンから重心を求め
る。次に、サンプルパターンから各重心から最も近い代
表パターンを選出する。次に、各サンプルパターンと代
表パターンのユークリッド距離を計算し、ユークリッド
距離を合計し記憶する。次に、合計されたユークリッド
距離が最大となるサンプルパターンを代表パターンとす
る。そして、必要な代表パターン数が得られれば、これ
らを｛αｉ｝の初期値として登録し終了する。そうでな
ければ３に戻る。

【００３４】以上の手法以外に、例えばファジークラス
タリングやk-meanクラスタリング等の手法によりサンプ
ルデータから各カテゴリを代表する代表パターンを選出
し、｛αｉ｝の初期値としてもよい。

【００３５】認識用辞書には、｛αｉ，βｉ，Σｉ｝を
登録する。本実施例ではΣを共分散行列としたが、パラ
メータ数を減らす目的で、例えば、単位行列Ｉおよび正
実数σを用いて、

【００３６】

【数１１】 と表されるΣを用いることも出来る。また、指標べクト
ルの各成分とカテゴリを１対１に対応させ、対応した成
分の値を１、それ以外の成分を０と設定すると、｛β
ｉ｝を上記学習アルゴリズムで学習しなくてもよい。

【００３７】次に認識手順について説明する。まず、認
識辞書から｛αｉ，βｉ，Σｉ｝を読み込み、回帰関数
を［数３］の形式で再構成する。すなわち、未知のパタ
ーンをｘとして、

【００３８】

【数１２】 となる。

【００３９】今、カテゴリ数をｎとしたとき、未知のパ
ターンをｘに対する回帰関数ｆ（ｘ）のうち、ｉ番目の
カテゴリｃｉに対する成分をｆｃｉと書く。このときカ
テゴリへ類別はＣ（・）を類別演算として

【００４０】

【数１３】 である。

【００４１】そしてこの場合、回帰関数の各成分の値は
未知パターンｘが各カテゴリに属する確率を表すことを
次に示す。ここで、ｎ個のカテゴリのうち、ｉ番目のカ
テゴリｃｉに対する確率密度関数をρｃｉと書くと、回
帰関数ｆの各成分ｆｃｉは次式で表現される。

【００４２】

【数１４】

【００４３】この式からｆｃｉ（ｘ）の値は、あるｘに
おける全カテゴリの確率密度に対するｃｉカテゴリの確
率密度の比を表している。従ってこの密度比の大きさ
は、ｘにおける識別結果の信頼度（統計的な確からし
さ）を表している。従って、この値を用いて識別結果を
棄却するリジェクト処理が容易に行える。

【００４４】リジェクト処理としては、例えばある一定
の閾値を設け、この閾値よりも信頼度が低ければ識別結
果を棄却すればよい。図４は類別すべきカテゴリが３つ
ある場合の識別関数を説明する概念図である。この図で
はパターン空間は２次元であり、３つの大きな黒点は３
つのパラメータαを表している。また、ｆＡ，ｆＢ，ｆ
Ｃは回帰関数の各成分を表している。すなわち、

【００４５】

【数１５】 である。この時、識別境界は

【００４６】

【数１６】 を満足する。図中、太い実線で識別境界を示した。細い
実線および破線は等高線を表す。

【００４７】さて、［数１４］を用いて［数１６］に対
応する方程式を導き、確率密度関数として等方的で均一
な正規分布を仮定すると、識別境界上の関数値は３直線
の交点では１／３であり、交点から離れるにしたがって
次第に１／２に近付くことが示される。

【００４８】また、境界から離れた位置では距離が遠ざ
かるに従い各成分の値は１に漸近することが示される。
この例の場合リジェクト処理としては、例えば回帰関数
値の最大成分値が０．６未満の場合は識別結果を棄却す
ればよい。

【００４９】別なリジェクト処理例として、回帰関数値
の最大成分値だけではなく、最大成分値を含む複数の成
分値を用いることも出来る。例えば最大成分値と第二最
大成分値とからなる２次元ベクトルを構成し、これに対
して予め２次元の棄却領域を設け、この２次元ベクトル
が棄却領域内の値を取った場合は棄却するといった処理
を行なうことが考えられる。

【００５０】また、本願発明の別の実施形態として、予
め与えられた文字パターンのサンプルの集合の各カテゴ
リごとに確率密度関数を推定し、推定された前記確率密
度関数を用い、前記文字パターンの属する各カテゴリを
示す代表ベクトル値により構成された回帰関数を求め、
求められた前記回帰関数のパラメータを近似した回帰関
数値を求め、求められた回帰関数値の分布に応じてカテ
ゴリの識別境界を設定し、設定された前記識別境界をも
とに、入力された文字パターンのカテゴリの識別を行な
う手順で実現されるプログラムをコンピュータで読み込
み可能なフロッピィディスクやＣＤ−ＲＯＭなどの記録
媒体として実施することも可能である。

【００５１】

【発明の効果】以上説明したように本発明によれば、当
てはめモデルを用いることなく学習サンプルから推定さ
れた密度関数に基づいて識別関数を構成し、この識別関
数を適切なパラメータ数で近似することにより、認識に
係わる演算量を軽減させると共に分布に応じた識別境界
を自動学習により構成することができるものである。さ
らに、識別結果に対する統計的な信頼度を表すように回
帰関数を構成することが容易であり、これに伴い識別結
果を棄却するリジェクト処理が容易になる。

【図面の簡単な説明】

【図１】本願発明の一実施形態に関わる文字認識装置の
全体構成を示す図である。

【図２】本願発明の一実施形態に関わる文字認識装置の
認識手順を示す図である。

【図３】本願発明の一実施形態に関わる文字認識装置の
認識辞書を作成する手順を示す図である。

【図４】本願発明の一実施形態に関わる類別すべきカテ
ゴリが３つある場合の識別関数を説明する図である。

【符合の説明】

１ 前処理手段、 ２ 認識手段、 ３ 後処理手段、
４ 文字認識辞書 ５ 単語認識辞書

Claims (2)

【特許請求の範囲】
1. 【請求項１】予め与えられた文字パターンのサンプルの
   集合の各カテゴリごとに確率密度関数を推定し、 推定された前記確率密度関数を用い、前記文字パターン
   の属する各カテゴリを示す代表ベクトル値により構成さ
   れた回帰関数を求め、 求められた前記回帰関数のパラメータを近似した回帰関
   数値を求め、 求められた回帰関数値の分布に応じてカテゴリの識別境
   界を設定し、 設定された前記識別境界をもとに、入力された文字パタ
   ーンのカテゴリの識別を行なうことを特徴とする文字認
   識方法。
2. 【請求項２】予め与えられた文字パターンのサンプルの
   集合の各カテゴリごとに確率密度関数を推定する密度関
   数推定手段と、 この密度関数推定手段によって推定された前記確率密度
   関数を用い、前記文字パターンの属する各カテゴリを示
   す代表ベクトル値により構成された回帰関数を求める回
   帰関数算出手段と、 この回帰関数算出手段によって求められた前記回帰関数
   のパラメータを近似した回帰関数値を求める回帰関数値
   算出手段と、 この回帰関数値算出手段によって求められた回帰関数値
   の分布に応じてカテゴリの識別境界を設定する設定手段
   と、 この設定手段によって設定された前記識別境界をもと
   に、入力された文字パターンのカテゴリの識別を行なう
   識別手段とを有することを特徴とする文字認識装置。