JP3374762B2 - 文字認識方法及びその装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字画像から抽出
した特徴量を他の文字の特徴量と比較することにより文
字認識結果の信頼度を計算する方法及びそれを用いて、
誤認識の可能性のある文字を訂正する誤認識訂正方法に
関する。

【０００２】

【従来の技術】文字認識処理は、通常、文字単位で切り
出された文字画像から特徴量を抽出し、予め学習により
カテゴリ間の境界が形成された特徴量空間内での位置に
よって、文字画像のカテゴリを決定する。

【０００３】例えば、統計的手法を用いた手書き文字認
識の場合は、予め、各文字カテゴリ毎に、多数の筆記者
によって記入された文字画像を用意し、その文字画像か
ら抽出された特徴量が、全体として最もうまくカテゴリ
間が分離できるようにカテゴリ間境界が形成される。

【０００４】このようにして形成されたカテゴリ境界付
近では、しばしば次のような誤認識を生じる。

【０００５】異なる筆記者間の手書き文字の変動は非常
に大きいため、学習データにおいて、ある筆記者Ａの書
いたあるカテゴリ１の文字は、別の筆記者Ｂの書いた別
のカテゴリ２の文字と非常に類似している場合がある。

【０００６】当然、特徴量空間内においても、カテゴリ
１とカテゴリ２の境界付近では２つのカテゴリの特徴量
が混在する。

【０００７】このような場合、学習時には多数の筆記者
に記入された文字全体で最適になるようカテゴリ間境界
が形成される。つまり、局所的な境界全てにおいて、カ
テゴリを分離できるとは限らないということである。

【０００８】よって、認識時にはカテゴリ１，２の境界
付近で誤認識が起こる。このような問題に関して、特開
平8-50635号公報、特開平10-63785号公報では、筆記の
個人性を用いて、カテゴリ間境界付近の誤認識を検出・
修正する試みがなされている。

【０００９】特開平8-50635号公報に記載の方法は、誤
読文字の字形と正読文字の字形とを比較したとき、誤読
文字には何らかの不自然さが存在するという考え方に基
づいている。

【００１０】同一筆記者による手書き文字においては、
「同じカテゴリに属する文字は同じような字形であ
る」、「異なるカテゴリにも字形の間には相関が存在す
る」という２つの特性があるとし、認識処理で用いられ
る特徴量ベクトルを用いて字形ベクトルを算出し、着目
文字の字形ベクトルと他の文字の字形ベクトルとの比較
より上記２つの特性を反映した着目文字の「不自然さ」
を求め、誤読の検出に用いる。

【００１１】具体的には、着目する文字と同じカテゴリ
に認識された文字との関係を用いて不自然さを算出する
カテゴリ内検出と、着目する文字と異なるカテゴリに認
識された文字との関係を用いて不自然さを算出するカテ
ゴリ間検出とがある。

【００１２】この特許公開公報の実施例では、カテゴリ
内検出については、（数１）のような不自然さＱWを定
義している。

【００１３】

【数１】

【００１４】また、カテゴリ間検出について、（数２）
のような不自然さＱBを定義している。

【００１５】

【数２】

【００１６】また、特開平10-63785号公報の方法は、
「同一筆者でも同一文字カテゴリに複数の字形を筆記す
る」という調査結果に基づいている。

【００１７】まず、文字認識結果のカテゴリ毎に、認識
処理で用いられる特徴量ベクトルのクラスタリングを行
う。そして要素数の少ないクラスタを誤読文字からなる
クラスタと見なして抽出する。その誤読クラスタと最も
距離の近いクラスタを見つけ、それらのクラスタ間の距
離が閾値以下の場合に、要素数の少ないクラスタ内の要
素の文字カテゴリを統合相手クラスタの属する文字カテ
ゴリへと修正する。

【００１８】

【発明が解決しようとする課題】しかし、特開平8-5063
5号公報に記載の方法では、不自然さＱWがうまく働くた
めには、カテゴリａに認識された文字において、誤認識
文字数に対して正解文字数が十分大きくなくてはならな
い。また、ＱBを求めるためには、あらかじめ筆記者毎
の全文字カテゴリを備えた、膨大な文字データを必要と
する。

【００１９】また、特開平10-63785号公報に記載の方法
は、「認識対象の文書画像内に、カテゴリ毎に文字数が
十分な数だけ存在する」ということが必要条件である。
つまり、振込伝票のような、口座、金額欄合わせて２０
桁程度のものに対しては、全て同一人による手書き筆記
であったとしても、カテゴリ当たり十分な数が存在する
とは限らないため、この方法が有効であるとは言えな
い。

【００２０】また、これら２つの他にも、前もって筆記
者毎に文字サンプルを収集して、これに基づいて認識辞
書を作成するという方法を採ったり、入力文字の特徴を
抽出する際に、筆記者に合わせた補正をするものもある
が、筆記者毎にサンプルを収集するのは大変な手間を必
要とするし、筆記者の筆記特性も月日と共に少しずつ変
化していくことが考えられるので、実用的ではない。

【００２１】本発明は、予め筆記者毎のサンプル収集を
必要とすること無しに、手書き表記の振り込み伝票のよ
うな桁数の少ないものに対しても、文書画像内の筆記特
性を有効に利用した、信頼度計算方法および誤認識訂正
方法を提供することを目的とする。

【００２２】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、以下の構成を採る。

【００２３】請求項１記載の発明は、複数の文字画像を
含む文書画像内の前記文字画像を入力とし、認識対象の
全カテゴリのうち少なくとも１つ以上のカテゴリを認識
結果として出力する文字認識を行うステップと、前記文
字画像の形状を数値化した字形特徴量を抽出するステッ
プと、任意の文字に対して、前記文字の字形特徴量と他
の文字の字形特徴量間の類似度合と、前記文字の認識結
果と他の文字の認識結果が同一であるか異なっているか
ということにより、前記文字の認識結果の信頼性を表す
信頼度を算出するステップとを有する。

【００２４】請求項７記載の発明は、任意の文字に対し
て、前記文字と他の文字の関係が、前記類似度合が類似
であり、かつ、認識結果が互いに異なる文字の個数と、
前記類似度合が非類似であり、かつ、認識結果が互いに
等しい文字の個数と、前記類似度合がが類似であり、か
つ、認識結果が互いに等しい文字の個数とを求め、前記
個数をもとに信頼度を算出する。

【００２５】請求項８記載の発明は、任意の文字に対し
て、前記文字と他の文字との認識結果が同一の場合、前
記文字の字形特徴量と他の文字の字形特徴量間の類似度
に応じた信頼度Ｓ１を与え、前記文字と他の文字との認
識結果が異なる場合、前記文字の字形特徴量と他の文字
の字形特徴量間の類似度に応じた信頼度Ｓ２を与える。

【００２６】請求項１３記載の発明は、信頼度があらか
じめ定めた閾値よりも小さい文字に対しては認識結果
を、認識結果とは異なるカテゴリである修正カテゴリに
置換して、複数文字の信頼度を再計算し、前記再計算さ
れた信頼度がもとの信頼度よりも大きくなる場合に、認
識結果を前記修正カテゴリに決定する。

【００２７】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００２８】（実施の形態１）図１は、本発明の実施の
形態１に関わる文字認識装置の構成図である。

【００２９】図１において、画像入力部１，前処理部
２，文字画像記憶部３，特徴抽出部４，認識部５，同一
字体ブロック抽出部６，字形特徴抽出部７，類似度計算
部８，類似判定部９，類似情報記憶部１０，誤認識検出
部１１とで、文字認識装置を構成する。

【００３０】次にこのような文字認識装置の動作につい
て詳細に説明する。この文字認識装置は、あらかじめ多
数の学習データである文字画像から特徴抽出部４におい
て特徴量を抽出し、それらの特徴量から認識部５におけ
る、特徴量とカテゴリの対応付け（学習）を行ってお
く。

【００３１】認識時においては、複数の文字が印字、ま
たは、手書き表記された文書画像を、画像入力部１によ
り入力する。入力された文書の例（振込伝票）を図２に
示す。前処理部２においては、ノイズ除去、枠線除去の
後、認識対象の複数の文字を１文字単位の画像に切り出
し、切り出された文字画像は文字画像記憶部３に蓄えら
れる。

【００３２】特徴抽出部４では、文字画像から認識時に
用いる特徴量を抽出する。認識部５では、その特徴量を
用いて認識を行い、少なくとも１つ以上（本実施の形態
ではＮ＝１）の認識候補カテゴリを出力する。

【００３３】同一字体ブロック抽出部６では、文字画像
から得られる簡単な情報（本実施の形態では、文字幅、
文字高さ）により、入力された文字画像を、字体が同一
である文字のグループ（同一字体ブロック）に分類す
る。入力文字画像に対して、同一字体ブロックが求めら
れた結果の例を図３に示す。ここでいう文字の字体と
は、活字であるか手書き文字であるかということと、活
字であれば活字の字体の区別を含むものである。同一字
体ブロックに分類することの理由は、その後の誤認識検
出時に、文字の類似度合と認識カテゴリの関係により誤
認識の可能性がある文字を検出するわけであるが、手書
き文字と活字文字の場合、または、活字文字であっても
字体が異なる場合は、同一カテゴリの文字であっても文
字は類似していないため、これらの文字が混在した状態
で処理を行うと、その後の処理がうまく行かないためで
ある。本実施の形態では、活字文字であるならば文字
幅、高さはほぼ一定であると仮定し、文字幅、高さの分
散が予め定められた閾値以下の場合に活字であると決定
している。この時、手書き文字に関しては、１つの文書
内に書かれる手書き文字は、すべて同一の筆記者によっ
て記入されることを前提条件としている。

【００３４】同一字体ブロック抽出部６で同一字体ブロ
ックであると判断されたブロック毎に、ブロックに含ま
れる全ての文字に対して、字形特徴抽出部７で字形特徴
量が抽出される。

【００３５】類似度計算部８では、同一字体ブロック内
の全ての文字の組み合わせに対して、字形特徴量同士の
類似度を計算する。例えば、同一字体ブロックにＭ個の
文字が含まれているとすると、Ｍ文字の全ての組み合わ
せであるＭ・（Ｍ−１）／２個の類似度を計算する。本
実施の形態では、類似度に（数３）のような類似度を採
用する。

【００３６】

【数３】

【００３７】次に類似判定部９では、類似度計算部８で
求めた類似度が予め定めた閾値Ｔ1より大きければ”類
似”と判定し、予め定めた閾値Ｔ2より小さければ”非
類似”と判定する処理を行い、その結果を類似情報記憶
部１０に蓄える。

【００３８】また、誤認識検出部１１では、同一字体で
あると判断された文字のグループ内の各文字に対して、 Ａ．類似と判断され、認識結果の文字カテゴリが同一で
ある文字の数 Ｂ．類似と判断され、認識結果の文字カテゴリが異なる
文字の数 Ｃ．非類似と判断され、認識結果の文字カテゴリが同一
である文字の数 の各条件にあてはまる、同一グループ内の文字数をそれ
ぞれカウントする。ここでは、図４のように、[000120]
という数字の列を同一筆記者によって手書き筆記された
ものを認識した結果が[006120]であった場合について考
える。（３文字目は正解０に対して６と誤認識してい
る）このような文字画像と認識結果に対して、上記Ａ，
Ｂ，Ｃの条件にあてはまる文字数をカウントした例を図
５に示す。

【００３９】図５の結果を出したときの類似判定部９で
の判定結果は、１，２，３，６番目の文字のうちのどの
２文字も互いに類似と判定されており、４番目の文字と
１，２，３，６番目の文字は互いに非類似と判定されて
いる。その他の組み合わせは、類似、非類似とも判定さ
れていない組み合わせである。ここで、Ａを正のスコ
ア、Ｂ，Ｃを負のスコアと考えると、これらの合計スコ
アが最も低いものは３番目の文字（スコアは-3）であ
り、４，５番目の文字がスコア0、１，２，６番目の文
字がスコア1という順になる。よってこのスコアをもと
に、誤認識らしい文字を検出（リジェクト）することが
出来る（３番目の文字は実際に誤認識である）。

【００４０】以上のように、文字の字形同士の類似度合
と認識結果の関係から得られる情報Ａ，Ｂ，Ｃを用いて
スコアを算出することにより、他の文字との関係も考慮
した、信頼性の高いスコアを定義することが出来る。ま
た、そのスコアを参考にリジェクト文字を決定すること
により、高精度に誤認識の可能性がある文字を検出する
ことができる。

【００４１】なお、入力文書内の認識対象の文字が、す
べて同一の活字書体のみで印字される場合、もしくは、
すべて同一の筆記者により手書き筆記される場合は、同
一字体ブロック抽出部６は省略可能である。

【００４２】なお、字形特徴量は、本実施の形態では認
識部で使用する特徴量と別のものを字形特徴抽出部で求
めているが、認識部で使用する特徴量と同一のものでも
良いし、主成分分析などを用いて認識部で使用する特徴
量の次元を削減したものでもよい。

【００４３】なお、類似度計算部では、字形特徴量同士
について（数３）のような類似度を計算しているが、他
の類似度でもよい。または、特徴量間のユークリッド距
離、市街地距離、マハラノビス距離など他の距離尺度で
もよい。

【００４４】なお、類似度計算部で類似度ではなく距離
を求める場合は、類似判定部では、予め定めた閾値Ｔ1
よりも小さければ”類似”と判定し、予め定めた閾値Ｔ
2よりも大きければ”非類似”と判定してもよい。

【００４５】なお、スコアの計算方法は、Ａ，Ｂ，Ｃの
数値に重み付けをして加算したものでもよいし、前処理
部（文字切り出し部）で得られる切り出しスコア、認識
部で得られる認識スコアなどと重み付けをして加算し、
総合的なスコアとして用いてもよい。

【００４６】（実施の形態２）図６は、本発明の実施の
形態２に関わる文字認識装置の構成図である。実施の形
態１のときの類似判定部９がないほかは、実施の形態１
と同一の構成である。

【００４７】次にこのような文字認識装置の動作につい
て詳細に説明するが、類似度計算部８までの動作は、実
施の形態１と同様である。

【００４８】すなわち、同一字体ブロック抽出部６で同
一字体であると判断された文字ブロック毎に、ブロック
に含まれる全ての文字に対して字形特徴抽出部７で字形
特徴量が抽出され、類似度計算部８では、ブロックに含
まれる全ての文字間について（数３）の式に従って類似
度を求める。図４のような同一字体ブロックに含まれる
６個の文字画像について求めた類似度を図７に示す。こ
の類似度は類似情報記憶部１０に蓄えられる。

【００４９】誤認識検出部１１では、同一字体であると
判断された文字のグループ内の各文字に対して、次のよ
うなスコアを計算する。

【００５０】・着目文字と、認識結果が同一の文字全て
に対して、図８のような関数（類似度とスコアの関係を
表す）によりスコアを計算し、その平均Ｓaを求める ・着目文字と、認識結果が異なる文字全てに対して、図
９のような関数（類似度とスコアの関係を表す）により
スコアを計算し、その平均Ｓbを求める ・スコアＳaとスコアＳbの和Ｓを求め、着目文字のスコ
アとする例えば、１番目の文字のスコアＳは、認識結果
が同一の文字が２，６文字目の２文字であり、認識結果
が異なる文字が３，４，５文字目の３文字であるから、
下のようになる。

【００５１】 Ｓa＝{(200 x 0.92 x 0.92 - 100) + (200 x 0.91 x 0.91 - 100)} / 2 ＝67.45 Ｓb＝[{-400 x (0.94 - 0.5) x (0.94 - 0.5)} + 0 + {-400 x (0.62 - 0.5) x (0.62 - 0.5)] / 3 ＝-23.73... Ｓ＝Ｓa＋Ｓb＝ 67.45 + (-43.737) ＝39.72... このように、各文字に対してスコアを求めると、図１０
のようになる（ただし小数点以下は四捨五入してあ
る）。

【００５２】よってこのスコアをもとに、誤認識らしい
文字を検出（リジェクト）することが出来る（３番目の
文字は実際に誤認識である）。

【００５３】以上のように、文字の字形同士の類似度合
を反映したスコアを算出することにより、他の文字との
関係も考慮した、信頼性の高いスコアを定義することが
出来る。また、そのスコアを参考にリジェクト文字を決
定することにより、高精度に誤認識の可能性がある文字
を検出することができる。

【００５４】なお、入力文書内の認識対象の文字が、す
べて同一の活字書体のみで印字される場合、もしくは、
すべて同一の筆記者により手書き筆記される場合は、同
一字体ブロック抽出部６は省略可能である。

【００５５】なお、字形特徴量は、本実施の形態では認
識部で使用する特徴量と別のものを字形特徴抽出部で求
めているが、認識部で使用する特徴量と同一のものでも
良いし、主成分分析などを用いて認識部で使用する特徴
量の次元を削減したものでもよい。

【００５６】なお、類似度計算部では、字形特徴量同士
について（数３）のような類似度を計算しているが、他
の類似度でもよい。または、特徴量間のユークリッド距
離、市街地距離、マハラノビス距離など他の距離尺度で
もよい。

【００５７】なお、類似度計算部で類似度ではなく距離
を求める場合は、誤認識検出部では、類似度とスコアの
関数ではなく、距離とスコアの関数を用意しておけばよ
い。また、類似度とスコアの関数は、必ずしも図８，図
９のものでなくてもよく、次の条件を満たしているもの
ならば他の適当な関数でもよい。

【００５８】・認識結果が同一の文字であれば、類似度
が小さければ小さいスコアを、類似度が大きければ、大
きいスコアを与える単調増加の関数 ・認識結果が異なる文字であれば、類似度が小さければ
大きいスコアを、類似度が大きければ、小さいスコアを
与える単調減少の関数 なお、本実施の形態で計算されるスコアを、前処理部
（文字切り出し部）で得られる切り出しスコア、認識部
で得られる認識スコアなどと重み付けをして加算し、総
合的なスコアとして用いてもよい。

【００５９】（実施の形態３）図１１は、本発明の実施
の形態３に関わる文字認識装置の構成図である。構成に
関しては、誤認識検出部１１が誤認識修正部１２に変わ
ったほかは、実施の形態１と同様である。

【００６０】次にこのような文字認識装置の動作につい
て詳細に説明するが、類似情報記憶部１０までの動作
は、認識部５が、特徴抽出部４で抽出された特徴量を用
いて認識を行い複数（本実施の形態ではＮ＝３）の認識
候補カテゴリを出力すること以外は、実施の形態１と同
様である。

【００６１】誤認識修正部１２では、実施の形態１の誤
認識検出部１１の動作と同様に、同一字体であると判断
された文字ブロック内の各文字に対して、 Ａ．類似と判断され、認識結果の文字カテゴリが同一で
ある文字の数 Ｂ．類似と判断され、認識結果の文字カテゴリが異なる
文字の数 Ｃ．非類似と判断され、認識結果の文字カテゴリが同一
である文字の数 の各条件にあてはまる、同一グループ内の文字数をそれ
ぞれカウントする。図１２のような入力画像、認識結果
の場合に、第１候補の認識結果に対してそれぞれＡ，
Ｂ，Ｃをカウントした例を図１３に示す。ここで、図１
２は、[000120]という数字の列を同一筆記者によって手
書き筆記されたものを認識部の第１〜３候補の出力と共
に示した結果であり、３番目の文字が６に誤認識されて
いる他は全て第１候補で正解である。図１３は、そして
それぞれの文字の第１候補の認識結果に対してＡ，Ｂ，
Ｃの条件に当てはまる文字の個数をカウントしている。
因みに類似判定部での判定の結果は、１，２，３，６番
目の文字のうちのどの２文字も互いに類似と判定されて
おり、４番目の文字と１，２，３，６番目の文字は互い
に非類似と判定されている。その他の組み合わせは、類
似、非類似とも判定されていない組み合わせである。
Ａ，Ｂ，Ｃのそれぞれの条件に当てはまる文字の個数を
カウントしてあるが、Ａを正のスコア、Ｂ，Ｃを負のス
コアと考えると、これらの合計スコアが最も低いものは
３番目の文字（スコアは-3）であり、４，５番目の文字
がスコア0、１，２，６番目の文字がスコア1という順に
なる。

【００６２】このスコアが最も低いものが、予め定めた
閾値Ｔ以下（本実施の形態ではＴ＝−１）ならば、その
文字の認識結果を第２候補のものに置き換えて、再度
Ａ，Ｂ，Ｃの文字をカウントする。その結果を図１４に
示す。３番目の文字の認識結果を第２候補の”０”に変
えることで、負のスコアがなくなると共に全体のスコア
（例えば各文字のスコアの和）も向上している。すなわ
ち、単純な第１候補の認識結果の組み合わせよりは、今
回求めた、３番目の文字のみ第２候補を採用した組み合
わせの方が、認識の確からしさが増加したと考えられ
る。もし、別の認識候補カテゴリに変えた場合でも、ス
コアが改善しない場合は、その文字をリジェクトするこ
とも出来る。

【００６３】この様に、他の文字との関係（類似度合、
認識結果）から求めたスコアが低い文字の認識結果を置
き換えることで、誤認識らしい文字を修正することがで
きる。

【００６４】なお、入力文書内の認識対象の文字が、す
べて同一の活字書体のみで印字される場合、もしくは、
すべて同一の筆記者により手書き筆記される場合は、同
一字体ブロック抽出部６は省略可能である。

【００６５】なお、字形特徴量は、本実施の形態では認
識部で使用する特徴量と別のものを字形特徴抽出部で求
めているが、認識部で使用する特徴量と同一のものでも
良いし、主成分分析などを用いて認識部で使用する特徴
量の次元を削減したものでもよい。

【００６６】なお、類似度計算部では、字形特徴量同士
について（数３）のような類似度を計算しているが、他
の類似度でもよい。または、特徴量間のユークリッド距
離、市街地距離、マハラノビス距離など他の距離尺度で
もよい。

【００６７】なお、類似度計算部で類似度ではなく距離
を求める場合は、類似判定部では、予め定めた閾値Ｔ1
よりも小さければ”類似”と判定し、予め定めた閾値Ｔ
2よりも大きければ”非類似”と判定してもよい。

【００６８】なお、スコアの計算方法は、Ａ，Ｂ，Ｃの
数値に重み付けをして加算したものでもよいし、前処理
部（文字切り出し部）で得られる切り出しスコア、認識
部で得られる認識スコアなどと重み付けをして加算し、
総合的なスコアとして用いてもよい。

【００６９】なお、本実施の形態では、スコアが低い文
字の認識結果を、複数の認識結果を出力する認識部の認
識候補を利用して置換しているが、文字カテゴリ毎に予
め誤りやすいカテゴリを情報として保持している類似文
字テーブルのようなものを利用しても良い。

【００７０】（実施の形態４）図１５は、本発明の実施
の形態４に関わる文字認識装置の構成図である。構成に
関しては、誤認識検出部１１が誤認識修正部１２に変わ
ったほかは、実施の形態２と同様である。

【００７１】次にこのような文字認識装置の動作につい
て詳細に説明するが、類似情報記憶部１０までの動作
は、認識部５が、特徴抽出部４で抽出された特徴量を用
いて認識を行い複数（本実施の形態ではＮ＝３）の認識
候補カテゴリを出力すること以外は、実施の形態２と同
様である。

【００７２】誤認修正部１２では、実施の形態２の誤認
識検出部１１の動作と同様に、同一字体であると判断さ
れた文字のグループ内の各文字に対して、次のようなス
コアを計算する。ここで、認識結果とは、複数（候補数
Ｎ＝３）の認識候補カテゴリのうちのどれかを指すが、
最初は、全て第１候補を使用する。

【００７３】・着目文字と、認識結果が同一の文字全て
に対して、図８のような関数（類似度とスコアの関係を
表す）によりスコアを計算し、その平均Ｓaを求める ・着目文字と、認識結果が異なる文字全てに対して、図
９のような関数（類似度とスコアの関係を表す）により
スコアを計算し、その平均Ｓbを求める ・スコアＳaとスコアＳbの和Ｓを求め、着目文字のスコ
アとする ここでは、図１２のような文字イメージの集合が同一字
体ブロック抽出部６によって指定されたとし、類似度計
算部８では図７のような、文字同士の類似度が計算され
たとする。

【００７４】例えば、１番目の文字のスコアＳは、認識
結果が同一の文字が２，６文字目の２文字であり、認識
結果が異なる文字が３，４，５文字目の３文字であるか
ら、下のようになる。

【００７５】 Ｓa＝{(200 x 0.92 x 0.92 - 100) + (200 x 0.91 x 0.91 - 100)} / 2 ＝67.45 Ｓb＝[{-400 x (0.94 - 0.5) x (0.94 - 0.5)} + 0 + {-400 x (0.62 - 0.5) x (0.62 - 0.5)] / 3 ＝-23.73... Ｓ＝Ｓa＋Ｓb＝ 67.45 + (-43.737) ＝39.72... このように、各文字に対してスコアを求めると、図１６
のようになる（ただし小数点以下は四捨五入してあ
る）。スコアＳが最も低いものは３番目の文字（スコア
は-44）である。

【００７６】スコアが最も低いものが、予め定めた閾値
Ｔ以下（本実施の形態ではＴ＝−20）ならば、その文字
の認識結果を第２候補のものに置き換えて、再度スコア
計算を行う。

【００７７】例えば、１番目のスコアＳは、３文字目の
認識結果として第２候補である”０”が採用されたた
め、認識結果が同一の文字は、２，３，６文字目の３文
字であり、認識結果が異なる文字が４，５文字目の２文
字となるため、下のようになる。

【００７８】 Ｓa＝{(200 x 0.92 x 0.92 - 100) + (200 x 0.91 x 0.91 - 100) + (200 x 0 .94 x 0-.94 - 100)} / 3 ＝ 70.54 Ｓb＝[0 + {-400 x (0.62 - 0.5) x (0.62 - 0.5)] / 2 ＝ -2.88 Ｓ＝Ｓa＋Ｓb＝ 67.66 + (-2.88) ＝ 67.66 このように、各文字に対してスコアを求めると、図１７
のようになる。その結果を図１７に示す。３番目の文字
の認識結果を第２候補の”０”に変えることで、３文字
目のスコアが上がるだけでなく、全体のスコア（例えば
各文字のスコアの和）も向上している。すなわち、単純
な第１候補の認識結果の組み合わせよりは、今回求め
た、３番目の文字のみ第２候補を採用した組み合わせの
方が、認識の確からしさが増加したと考えられる。も
し、別の認識候補カテゴリに変えた場合でも、スコアが
改善しない場合は、その文字をリジェクトすることも出
来る。また、スコアの低い文字が複数ある場合は、１文
字ずつ認識候補を変えて、スコアの変化を見てやればよ
い。

【００７９】この様に、他の文字との関係（類似度合、
認識結果）から求めたスコアが低い文字の認識結果を置
き換えることで、誤認識らしい文字を修正することがで
きる。

【００８０】なお、入力文書内の認識対象の文字が、す
べて同一の活字書体のみで印字される場合、もしくは、
すべて同一の筆記者により手書き筆記される場合は、同
一字体ブロック抽出部６は省略可能である。

【００８１】なお、字形特徴量は、本実施の形態では認
識部で使用する特徴量と別のものを字形特徴抽出部で求
めているが、認識部で使用する特徴量と同一のものでも
良いし、主成分分析などを用いて認識部で使用する特徴
量の次元を削減したものでもよい。

【００８２】なお、類似度計算部では、字形特徴量同士
について（数３）のような類似度を計算しているが、他
の類似度でもよい。または、特徴量間のユークリッド距
離、市街地距離、マハラノビス距離など他の距離尺度で
もよい。

【００８３】なお、類似度計算部で類似度ではなく距離
を求める場合は、誤認識検出部では、類似度とスコアの
関数ではなく、距離とスコアの関数を用意しておけばよ
い。また、類似度とスコアの関数は、必ずしも図８，図
９のものでなくてもよく、次の条件を満たしているもの
ならば他の適当な関数でもよい。

【００８４】・認識結果が同一の文字であれば、類似度
が小さければ小さいスコアを、類似度が大きければ、大
きいスコアを与える単調増加の関数 ・認識結果が異なる文字であれば、類似度が小さければ
大きいスコアを、類似度が大きければ、小さいスコアを
与える単調減少の関数 なお、本実施の形態で計算されるスコアを、前処理部
（文字切り出し部）で得られる切り出しスコア、認識部
で得られる認識スコアなどと重み付けをして加算し、総
合的なスコアとして用いてもよい。

【００８５】なお、本実施の形態では、スコアが低い文
字の認識結果を、複数の認識結果を出力する認識部の認
識候補を利用して置換しているが、文字カテゴリ毎に予
め誤りやすいカテゴリを情報として保持している類似文
字テーブルのようなものを利用しても良い。

【００８６】

【発明の効果】以上のように、本発明は（請求項１記載
の発明の効果）、文字認識結果の信頼性を表す信頼度
を、注目文字だけでなく、注目文字と他の文字からそれ
ぞれ抽出した字形特徴量間の関係をも用いて求めること
で、文字同士が類似しているのに認識結果が異なる場合
や、文字同士が類似していないのに認識結果が同一の場
合は、信頼度が低くなることにより誤認識の可能性のあ
る文字を検出できる。

【００８７】また、予め筆記者毎の文字サンプルを集め
る必要もなく、認識対象の文書にカテゴリ当たりの文字
数が十分多くなくても動作する。

【００８８】また、本発明は（請求項７記載の発明の効
果）、注目文字の信頼度を求める際に、注目文字に対し
て、字形特徴量同士が類似と判断され、かつ、認識結果
が異なる文字の個数、および、字形特徴量同士が非類似
と判断され、かつ、認識結果が同一の文字の個数を負の
信頼度としてカウントし、字形特徴量同士が類似と判断
され、かつ、認識結果が同一の文字の個数を正の信頼度
としてカウントすることにより、簡単な方法で字形特徴
量間の関係を用いた信頼度を定義し、その信頼度をもと
に誤認識の可能性のある文字を検出することができる。

【００８９】また、本発明は（請求項８記載の発明の効
果）、注目文字の信頼度を求める際に、注目文字に対し
て、認識結果が同一の文字の場合は、字形特徴量間の類
似度に応じた信頼度Ｓ１を与え、認識結果が異なる文字
の場合は、字形特徴量間の類似度に応じた信頼度Ｓ２を
与えることにより、類似度の大きさを反映した、より精
度の高い信頼度を定義し、その信頼度をもとに誤認識の
可能性のある文字を検出することができる。

【００９０】また、本発明は（請求項１３記載の発明の
効果）、信頼度があらかじめ定めた閾値よりも小さい文
字に対しては認識結果を修正候補カテゴリに置換して信
頼度の再計算を行う。

【００９１】この信頼度の再計算については、認識結果
を置換した文字だけではなく、他の文字に対しても再計
算を行う。

【００９２】修正候補カテゴリが正解カテゴリの場合
は、認識結果を置換した文字の信頼度が上がるだけでな
く、認識結果と字形特徴量間の関係により他の文字の信
頼度も向上するため、修正候補カテゴリの正解可能性を
判断しやすい。

【００９３】よって、高精度に誤認識の可能性のある文
字カテゴリを訂正することができる。

【００９４】従って、本発明の信頼度計算方法、およ
び、誤認識訂正方法を帳票認識装置に用いることによ
り、高精度な認識が可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の構成を示すブロック図

【図２】本発明の実施の形態１で入力される文書画像の
一例を示す図

【図３】本発明の実施の形態１の同一字体ブロック抽出
部における判定結果の一例を示す図

【図４】本発明の実施の形態１の前処理部で切り出され
た文字画像と認識部で出力された認識結果の文字カテゴ
リの一例を示す図

【図５】本発明の実施の形態１の類似情報記憶部におけ
る字形同士の類似度合と認識結果の関係の一例を示す図

【図６】本発明の実施の形態２の構成を示すブロック図

【図７】本発明の実施の形態２の類似度計算部で計算さ
れた類似度の一覧を示す図

【図８】本発明の実施の形態２の誤認識検出部で、スコ
ア計算の際に利用される、認識結果が同一の場合の類似
度・スコア間の関数を示す図

【図９】本発明の実施の形態２の誤認識検出部で、スコ
ア計算の際に利用される、認識結果が異なる場合の類似
度・スコア間の関数を示す図

【図１０】本発明の実施の形態２の誤認識検出部で計算
された各文字のスコアを示す図

【図１１】本発明の実施の形態３の構成を示すブロック
図

【図１２】本発明の実施の形態３の前処理部で切り出さ
れた文字画像と認識部で出力された認識結果の文字カテ
ゴリの一例を示す図

【図１３】本発明の実施の形態３の類似情報記憶部にお
いて、全て第１候補の認識結果を用いた時の、字形同士
の類似度合と認識結果から求められるスコアを示す図

【図１４】本発明の実施の形態３の類似情報記憶部にお
いて、３文字目だけ第２候補の認識結果を用い、その他
は全て第１候補の認識結果を用いた時の、字形同士の類
似度合と認識結果から求められるスコアを示す図

【図１５】本発明の実施の形態４の構成を示すブロック
図

【図１６】本発明の実施の形態４の類似情報記憶部にお
いて、全て第１候補の認識結果を用いた時の、字形同士
の類似度合と認識結果から求められるスコアを示す図

【図１７】本発明の実施の形態４の類似情報記憶部にお
いて、３文字目だけ第２候補の認識結果を用い、その他
は全て第１候補の認識結果を用いた時の、字形同士の類
似度合と認識結果から求められるスコアを示す図

【符号の説明】

１ 画像入力部 ２ 前処理部 ３ 文字画像記憶部 ４ 特徴抽出部 ５ 認識部 ６ 同一字体ブロック抽出部 ７ 字形特徴抽出部 ８ 類似度計算部 ９ 類似判定部 １０ 類似情報記憶部 １１ 誤認識検出部 １２ 誤認識修正部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−187499（ＪＰ，Ａ) 特開 平２−300989（ＪＰ，Ａ) 文字毎に認識信頼度を付与した誤認識 を含むテキストからの検索手法，電子情 報通信学会技術研究報告 ＰＲＭＵ99− 72，日本，1999年 ９月16日，Ｖｏｌ. 99 Ｎｏ．305，ｐｐ．63−68 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82

Claims (17)

(57)【特許請求の範囲】
1. 【請求項１】 複数の文字画像を含む文書画像内の前記
   文字画像を入力とし、認識対象の全カテゴリのうち少な
   くとも１つ以上のカテゴリを認識結果として出力するこ
   とで文字認識を行うステップと、前記文字画像の形状を
   数値化した字形特徴量を抽出するステップと、前記複数
   の文字画像のうちの１文字と残りの文字画像のうちの１
   文字以上の文字との字形特徴量間の類似の度合および前
   記認識結果の相違をもとに前記文字の認識結果の信頼性
   を表す信頼度を算出するステップとを有することを特徴
   とする文字認識方法。
2. 【請求項２】 前記文字認識を行うステップが、文字画
   像から何らかの方法で特徴量を抽出し、前記特徴量をも
   とに出力するカテゴリを決定する場合、字形特徴量を抽
   出するステップは、前記特徴量、または、前記特徴量の
   一部を字形特徴量として出力することを特徴とする請求
   項１記載の文字認識方法。
3. 【請求項３】 前記字形特徴量を抽出するステップは、
   前記特徴量または前記特徴量の一部に主成分分析を行い
   次元圧縮を行ったものを字形特徴量として出力すること
   を特徴とする請求項２記載の文字認識方法。
4. 【請求項４】 前記類似度合を類似という第１の状態
   と、非類似という第２の状態と、そのどちらでもないと
   いう第３の状態のいずれかにより表すことを特徴とする
   請求項１、２又は３に記載の文字認識方法。
5. 【請求項５】 任意の文字に対して、前記文字の字形特
   徴量と他の文字の字形特徴量間の類似度が予め定めた閾
   値１よりも大きければ、前記類似度合を類似とし、予め
   定めた閾値２よりも小さければ、前記類似度合を非類似
   とすることを特徴とする請求項４記載の文字認識方法。
6. 【請求項６】 任意の文字に対して、前記文字の字形特
   徴量と他の文字の字形特徴量間の距離が予め定めた閾値
   １よりも小さければ、前記類似度合を類似とし、予め定
   めた閾値２よりも大きければ、前記類似度合を非類似と
   することを特徴とする請求項４記載の信頼度計算方法。
7. 【請求項７】 任意の文字に対して前記類似度合が類似
   でありかつ認識結果が異なる関係にある文字の個数と、
   前記類似度合が非類似でありかつ認識結果が等しい関係
   にある文字の個数と、前記類似度合が類似でありかつ認
   識結果が等しい関係にある文字の個数とを求め、前記個
   数をもとに信頼度を算出することを特徴とする請求項４
   から請求項６のいずれかに記載の文字認識方法。
8. 【請求項８】 任意の文字に対して、前記文字と他の文
   字との認識結果が同一の場合、前記文字の字形特徴量と
   他の文字の字形特徴量間の類似度に応じた信頼度Ｓ１を
   与え、前記文字と他の文字との認識結果が異なる場合、
   前記文字の字形特徴量と他の文字の字形特徴量間の類似
   度に応じた信頼度Ｓ２を与えることを特徴とする請求項
   １、２又は３に記載の文字認識方法。
9. 【請求項９】 任意の文字に対して、前記文字と他の文
   字との認識結果が同一の場合、前記文字の字形特徴量と
   他の文字の字形特徴量間の距離に応じた信頼度Ｓ１を与
   え、前記文字と他の文字との認識結果が異なる場合、前
   記文字の字形特徴量と他の文字の字形特徴量間の距離に
   応じた信頼度Ｓ２を与えることを特徴とする請求項１、
   ２又は３に記載の文字認識方法。
10. 【請求項１０】請求項１から請求項９のいずれかに記載
    の文字認識方法で得られる信頼度と、他の処理から得ら
    れる信頼度とを合わせて文字の信頼度を算出することを
    特徴とする文字認識方法。
11. 【請求項１１】 同一人によって筆記された文字画像の
    集合、および、同一書体によって印字された文字画像の
    集合を同一字種セットとして出力するステップを備え、
    前記同一字種セットに含まれる文字画像に対して、文字
    の信頼度を計算することを特徴とする請求項１から請求
    項１０のいずれかに記載の文字認識方法。
12. 【請求項１２】 請求項１から請求項１１のいずれかに
    記載の文字認識方法で得られる信頼度をもとにリジェク
    ト文字を決定することを特徴とするリジェクト文字決定
    方法。
13. 【請求項１３】 請求項１から請求項１１のいずれかに
    記載の文字認識方法において、信頼度があらかじめ定め
    た閾値よりも小さい文字に対しては認識結果を、前記認
    識結果とは異なるカテゴリである修正カテゴリに置換し
    て、複数文字の信頼度を再計算し、前記再計算された信
    頼度がもとの信頼度よりも大きくなる場合に、認識結果
    を前記修正カテゴリに決定することを特徴とする誤認識
    訂正方法。
14. 【請求項１４】 文字認識のステップが、認識結果とし
    て複数の候補のカテゴリを出力する場合、修正カテゴリ
    は、現在の信頼度を計算している候補と別の候補のカテ
    ゴリであることを特徴とする請求項１３に記載の誤認識
    訂正方法。
15. 【請求項１５】 予め誤認識しやすい文字同士の関係を
    保持した誤認識文字テーブルを有し、修正カテゴリは、
    前記誤認識文字テーブル中の文字であることを特徴とす
    る請求項１３に記載の誤認識訂正方法。
16. 【請求項１６】 請求項１から請求項１５のいずれかに
    記載の前記各ステップの機能を実行することを特徴とす
    る文字認識装置。
17. 【請求項１７】 請求項１から請求項１５のいずれかに
    記載の前記各ステップの機能をコンピュータに実行させ
    るプログラムを格納することを特徴とする記録媒体。