JP2991779B2

JP2991779B2 - 文字認識方法及び装置

Info

Publication number: JP2991779B2
Application number: JP2414876A
Authority: JP
Inventors: 啓嗣小島
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1990-06-11
Filing date: 1990-12-27
Publication date: 1999-12-20
Anticipated expiration: 2014-12-20
Also published as: DE4119091A1; JPH04211883A; US5966464A; DE4119091C2

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字認識方法及び装置
に係り、特に利用者による認識結果の評価や修正などを
容易にする文字認識方法及び装置に関する。

【０００２】

【従来の技術】文字認識装置は基本的に、入力パターン
とパターン辞書とを比較して相違度の小さいもの、また
は類似度の大きなものを認識結果として出力する。しか
し認識率１００％を実現することは事実上不可能であ
る。そうなると当然、認識結果の中には間違えた文字も
含まれるので、その修正を利用者が行なう必要がある。

【０００３】この修正作業の効率化のためには、認識結
果がどの程度信頼できるものかを装置利用者が容易に評
価できるようにするとよい。

【０００４】この目的を達成するため、パターン辞書と
の類似度に応じて認識結果の表示色を変化させる光学文
字認識装置が提案されている（例えば特公昭６１−６４
３０号公報）。

【０００５】また、認識中に文字のパターンまたは特徴
量を保存しておき、認識結果を修正した場合に、保存さ
れているパターンまたは特徴量を用いて認識のための辞
書の学習（更新、追加登録）を行う方式が考案されてい
る。

【０００６】

【発明が解決しようとする課題】近年、読み取り対象原
稿に用いられる書体や文字種が著しく増加し、また低品
質のコピー原稿なども読み取り対象となることが多くな
っていることから、パターンマッチングのみでは認識率
の向上に限界があることが分かり、切り出し技術、言語
処理などの後処理技術の研究が精力的に行なわれた。そ
の成果として、現在の文字認識装置は、最終的な認識結
果を得るまでの処理過程が複雑・多段階になっている。

【０００７】このような現在の文字認識装置では、従来
のようなパターンマッチングの類似度のみで認識結果の
確からしさを判断したのでは判断を誤る危険が大きい。

【０００８】また、認識結果の修正は、ある単位毎に認
識処理を中断して行なう方式と、原稿全面の認識処理が
終了した後に行なう方式とがある。いずれの方式であっ
ても、従来は、認識結果の修正時に辞書学習を行なう場
合、認識処理の開始から中断または終了までに対象とな
った全文字のパターンまたは特徴量を保存する。したが
って、原稿全面を一括して認識する方式の場合、極めて
大量のパターンまたは特徴量を保存しなければならず、
ＲＡＭや磁気ディスクの大きな記憶スペースを必要と
し、しかも、保存情報の大部分は辞書学習に利用されな
いため、極めて不経済である。他方、ある単位で認識処
理を中断して修正を行なう方式によれば、処理の単位を
小さくすることによりパターンまたは特徴量を保存する
ための記憶スペースを減らすことができるが、処理が小
さな単位毎に中断するために効率が非常に悪い。

【０００９】本発明の主たる目的は、認識結果の確信度
をより的確に決定し、利用者による認識結果の評価や修
正を容易にする文字認識方法及び装置を提供することに
ある。

【００１０】本発明の他の目的は、希望するような認識
結果が得られないことが明らかな場合に、処理を継続す
ることによる時間的な無駄を減らし、また利用者が必要
な処置を迅速に採り得るようにした文字認識装置を提供
することにある。

【００１１】本発明の更に他の目的は、処理過程のでき
る限りは早い時点で不適切な候補を排除し、あるいは処
理の方法やパラメータを変更するなどして処理の効率や
認識率を向上できる文字認識装置を提供することにあ
る。

【００１２】本発明の更に他の目的は、利用者が誤認識
の原因や必要な処置を容易に判断できるようにした文字
認識装置を提供することにある。

【００１３】本発明の更に他の目的は、認識処理の単位
が原稿全面というように大きい場合においても、辞書学
習のための文字のパターンまたは特徴量の保存に大きな
記憶スペースを必要とせず、また辞書の学習を効率的に
行う文字認識装置を提供することにある。

【００１４】

【課題を解決するための手段】請求項１の発明は、入力
された文字や記号の未知パターン（以下、文字パターン
と略称する）を認識するために複数段階の処理を施こし
て最終的な認識結果を得る文字認識方法において、前記
各段階の処理での認識結果の評価情報を取得し、前記評
価情報に基づいて、前記最終的な認識結果の確信度を決
定することを特徴とする。

【００１５】請求項２の発明は、請求項１の文字認識方
法において、個々の処理毎に確信度を求め、当該確信度
により前の処理までに求めた確信度を更新する操作を繰
り返して、最終的な認識結果に対する最終的な確信度を
決定することを特徴とする。

【００１６】請求項３の発明は、請求項１または２の文
字認識方法において、ある処理までの確信度を、その前
または後の処理に反映させることを特徴とする。

【００１７】請求項４の発明は、文字認識装置におい
て、認識対象の文字パターンを入力する手段と、入力さ
れた文字パターンを認識するために複数段階の処理を施
こして最終的な認識結果を求める処理手段と、各段階の
処理での認識結果の評価情報を取得し、該評価情報に基
づいて、前記最終的な認識結果の確信度を決定する手段
と、前記決定した確信度の情報を前記認識結果に付加し
て出力する手段とを有することを特徴とする。

【００１８】請求項５の発明は、請求項４の文字認識装
置において、確信度を決定する手段は、個々の処理毎に
確信度を求め、当該確信度により前の処理までに求めた
確信度を更新する操作を繰り返して、最終的な認識結果
に対する最終的な確信度を決定することを特徴とする。

【００１９】請求項６の発明は、請求項４または５の文
字認識装置において、出力される認識結果の視覚的な条
件を確信度に応じて変化させることを特徴とする。

【００２０】請求項７の発明は、請求項４または５の文
字認識装置において、確信度が一定レベル以下の認識結
果文字数を計数し、計数値が所定の閾値を越えたことを
検出して警告を発し、または処理を中断する手段を有す
ることを特徴とする。

【００２１】請求項８の発明は、請求項５の文字認識装
置において、ある処理において確信度が一定レベル以下
となった候補を後の処理の候補から外すための手段を有
することを特徴とする。

【００２２】請求項９の発明は、請求項５の文字認識装
置において、最終的な確信度とは別に個々の処理毎の確
信度の情報を保存する手段と、認識結果文字に関して前
記保存された個々の処理毎の確信度の情報に基づきメッ
セージを出力する手段を有することを特徴とする。

【００２３】請求項１０の発明は、請求項４または５の
文字認識装置において、認識対象文字のパターンまたは
その特徴量を保存するための記憶手段と、認識結果が修
正された場合に、修正された認識結果に対する確信度が
所定レベルのときに限り、前記記憶手段に保存されてい
る対応したパターンまたは特徴量を用いてパターンマッ
チング処理のための辞書の学習を実行する手段を有する
ことを特徴とする。

【００２４】

【作用】確信度とは、最終認識結果の文字がどの程度確
からしいかを表わすもので、０％から１００％の数値で
表わされたり、あるいは、その数値を何段階かに量子化
して表わさせる。例えば、次のＡ，Ｂ，Ｃの３ランクで
表わす。Ａランク：認識結果は正しい。Ｂランク：認識結果は怪しい（正しいか間違いか分から
ない）。Ｃランク：認識結果は間違い。

【００２５】本発明によれば、最終の認識結果を得るた
めの複数段階の処理により得られる情報（評価情報）に
基づき、総合的に確信度を決定する。例えば、パターン
マッチング処理から第一候補の評価値あるいは第一候補
と第二候補との評価値の差、パス選択処理からパス決定
時の評価値、ルール処理から、どのようなルールが適用
され修正されたかを表わす情報、言語処理から言語修正
の結果を表わす情報を集め、これらの情報（ここでは評
価情報と称す）を証拠として例えばデンプスター・シェ
ーファー（Ｄempster & Ｓhafer）の確率理論を使って
確信度を総合的に判断する。

【００２６】このような確信度の決定は、最終の処理段
階で、それまでの処理段階で得られた情報を集めて一括
して行なうか、あるいは各処理段階で得られた情報に基
づき候補の確信度を求め、これによって前処理段階まで
に求められた確信度を更新する操作を最終処理段階まで
繰り返すことにより行なう。

【００２７】このようにして決定される確信度は、パタ
ーン辞書との類似度のみによる場合に比べ、より的確な
ものとすることができ、また全く不適当な確信度となる
危険を大幅に減らすことができる。

【００２８】また、ある処理までの確信度を、その前ま
たは後の処理に反映させ、前または後の処理の方法やパ
ラメータ等を適正化することにより、認識率を向上し、
また修正作業の効率を改善することができる。

【００２９】そして、かかる確信度に応じて、認識結果
の表示または印刷の際に色や輝度などの視覚的条件を変
化させ、あるいは認識結果に対応させて文字または記号
を表示または印刷することにより、利用者は、認識結果
の確信度を容易に認識し、修正が必要な文字を素早く的
確に見つけ、その修正作業を効率よく行なうことができ
る。

【００３０】さらに、確信度があるレベル以下の文字
数、例えば確信度がＢランクとＣランクの文字数が所定
の閾値を越えた場合に警告（例えば警告音）を発生する
ことにより、装置利用者は現在読み取り中の原稿は間違
いが多いであろうと判断し、処理を停止させたり、ある
いは認識条件を変更して起動するといった、必要な処置
を素早くとることができる。また、このような場合、処
理を継続しても無駄になることが多いが、自動的に処理
を中断することにより、そのような時間的な無駄を減ら
すことができる。

【００３１】また、最終処理段階に至るまでの、ある処
理段階における確信度に基づき、正解の可能性が低い候
補をその段階で候補から外すことにより、その分だけ後
続処理段階の処理量を減らし、処理効率を上げることが
できる。

【００３２】最終的な確信度とは別に個々の処理段階毎
の確信度の情報を保存しておくことにより、その情報を
文字認識装置の保守等に活用することができ、また誤認
識文字の修正時に、関連した個々の処理段階毎の確信度
の情報に基づき、誤認識の原因や必要な処置等を利用者
に助言するためのメッセージを出力し、利用者による修
正作業や装置保守を容易にすることができる。

【００３３】さらに、認識結果の修正は確信度が低い文
字を中心に進めるわけであり、また辞書学習の必要度が
高いのは、確信度が低くなった文字についてである。確
信度が所定レベルより低く辞書学習の必要度が高い文字
についてのみ、パターンまたは特徴量を保存することに
より、限られた記憶スペースを用い必要なパターンまた
は特徴量の情報を保存できる。そして、修正時に、確信
度が低く辞書学習の必要度が高い文字に限って、保存さ
れたパターンまたは特徴量を利用し効率的に辞書学習を
行なうことができる。

【００３４】

【実施例】図１は本発明の第１の実施例に係る文字認識
装置の概略ブロック図である。図１において、スキャナ
ー１は原稿の画像を読み取り、２値データとして入力す
るもので、切り出し処理部２はその入力画像より文字の
画像を切り出す部分である。正規化処理部３は、切り出
された文字画像の歪みを補正するための正規化処理を行
なう部分である。パターンマッチング処理部４は、正規
化後の文字画像の特徴量を抽出しパターン辞書と比較し
て類似度または相違度を算出し、類似度が大きいまたは
相違度が小さい一つ以上の認識候補を決定する処理部で
ある。パス選択処理部５は、例えば日本語の場合、全角
で１文字なのか半角で２文字なのかなど最適な文字の組
み合わせを選択する処理部である。ルール処理部６は、
文字の行内での相対位置についての情報（例えば「・」
と「．」などの区別に関係）、文字の大きさの情報（正
規化するので、例えばＣとｃなどの大小文字の区別に関
係）、文字種の情報（例えばカタカナ文字列の中に漢数
字の「一」があったら、これはカタカナの長音記号
「ー」に修正する）などのルールによって、パターンマ
ッチングによる認識結果候補を修正する部分である。言
語処理部７は、ルール処理によって修正後の認識結果文
字列を形態素解析し、単語辞書と照合することにより誤
りを修正する部分である。この言語処理の結果が最終的
な認識結果で、利用者による修正の対象となる。

【００３５】確信度決定部９は、各処理部４〜７での処
理により得られる情報（評価情報）、例えば、パターン
マッチング処理部４から第一候補の評価値（例えば辞書
との距離を総輪郭数で除した値など）または第一候補と
第二候補との評価値の差、パス選択処理部５からパスを
決めるときの評価値、ルール処理部６から修正のために
適用されたルールの情報、言語処理部７から言語修正の
結果を表わす情報を集め、これらの情報（評価情報）を
証拠としてデンプスター・シェーファーの確率理論を使
って総合的に最終認識結果の確信度を決定する部分であ
る。具体的には、後述のように確信度をＡ，Ｂ，Ｃラン
クに量子化する。

【００３６】出力制御部８は、最終的認識結果のディス
プレイ１１による表示または印字装置１２による印刷を
制御する部分であるが、確信度決定部９により与えられ
た確信度の情報を認識結果に付加してディスプレイ１１
または印字装置１２より出力させるために、表示または
印刷される認識結果の視覚的条件を確信度に応じて変化
させる。

【００３７】具体的には、確信度がＡランクの文字は
黒、ＢランクとＣランクの文字は背景を黒で白抜きとし
たり、確信度により文字の輝度を変化させたり、背景色
を黒として、Ａランクの文字は白色、Ｂランクの文字は
黄色（注意を促す色）、Ｃランクの文字は赤色（警告を
表わす色）とするなど、確信度に応じて文字または背景
の色を変化させる。

【００３８】あるいは、背景色を黒とし、Ａランクの文
字は白色、Ｂランクの文字はシングル・アンダーライン
付きまたは淡い網掛け、Ｃランクの文字はダブル・アン
ダーライン付きまたは濃い網掛けにするというように、
確信度に応じて文字の装飾を変化させたり、背景色を黒
とし、Ａランクの文字は明朝体、Ｂランクの文字はゴシ
ック体、Ｃランクの文字は斜体という具合に、確信度に
応じて文字の書体を変化させる。

【００３９】または、文字に対応する画像の背景色を白
色、Ａランクの結果に対応する画像は黒色、Ｂランクの
結果に対応する画像は黄色、Ｃランクの結果に対応する
画像は赤色といった具合に、確信度に応じて認識結果の
文字に対応する画像の色を変化させる。

【００４０】あるいは、Ｂランクの文字の下にＢ、Ｃラ
ンクの文字の下にＣを並べて表示または印刷するという
ように、認識結果に対応付けて確信度を表わす文字もし
くは記号を出力する。

【００４１】装置制御部１０は装置全体の制御を司るほ
か、確信度が一定レベル以下の認識結果文字、例えばＢ
ランクとＣランクの文字の個数を計数し、計数値が所定
の閾値を越えたときに、処理を中断させるとともに、デ
ィスプレイ１１に付属したブザーを鳴動させるなどして
利用者に警告する。

【００４２】次に、確信度決定部９の処理内容を具体的
に説明する。この確信度決定部９での処理の流れを図２
に示す。

【００４３】前述のように、確信度決定部９はパターン
マッチング処理、パス選択処理、ルール処理、言語処理
の各処理段階から集めた情報（評価情報）を証拠とし
て、デンプスター・シェーファーの確率理論を使って総
合的に確信度を決定する。

【００４４】このデンプスター・シェーファーの確率理
論は、無知量を表わすことができ、断片的な情報（独立
な証拠）を集め合成できるという特徴があり、

【表１】のように、確率を「信用」「無知」「不信用」の領域に
わけて表わし、「信用」を下界確率、「信用＋無知」を
上界確率と呼ぶ。

【００４５】具体的には、まず、この文字は正しいとい
う仮説Ｈ１、この文字は間違いであるという仮説Ｈ２を
たて、集まった各証拠について擬似可能性分布（各仮説
に割り当てられた、その仮説が真である可能性の分布）
を求める。本実施例においては、図２に示すように、パ
ターンマッチング処理より集めた証拠である第一候補の
評価値に関する擬似可能性分布、同じく第一候補と第二
候補との評価値の差に関する擬似可能性分布、パス選択
処理より集めた証拠であるパス選択時の評価値の差に関
する擬似可能性分布、ルール処理から集めた証拠内容に
関する擬似可能性分布、言語処理より集めた修正内容に
関する擬似可能性分布を生成する。

【００４６】証拠が数値情報の場合、この擬似可能性分
布は例えばｙ＝−ｘ／３＋１００（ｙは擬似可能性分
布、ｘは数値情報の証拠）のような一次方程式による求
める。この式で、評価値が１００の場合、仮説Ｈ１の可
能性６７％、仮説Ｈ２の可能性３３％が求められる。

【００４７】証拠が数値情報でない場合は、ヒューリス
ティックに与える。例えば、あるルールを満足しなかっ
たという証拠の場合、仮説Ｈ１の可能性は２０％、仮説
Ｈ２の可能性は８０％というように予め決めておく。

【００４８】このようにして集めた各証拠についての擬
似可能性分布から、次に基本確率割り当てを求める。す
なわち、擬似可能性分布を「正しい」「無知」「間違
い」の各確率に振り分ける。

【００４９】例えば仮説Ｈ１の可能性が６７％、仮説Ｈ
２の可能性が３３％の場合は、

【表２】のようにする。

【００５０】また例えば、仮説Ｈ１の可能性が２０％、
仮説Ｈ２の可能性が８０％の場合、

【表３】のようにする。

【００５１】つぎにデンプスター（Ｄempster）の統合
規則により、基本確率を合成する。これは独立な証拠か
ら推論された基本確率を統合する方法であり、

【数１】ただし、ｍ１，ｍ２は基本確率ＨはＨ１またはＨ２またH1H2 H1H2はＨ１かＨ２であるという必ず真の仮説で表わされる。

【００５２】次に、下界確率と上界確率を求める。次の
陪審員のモデルを例に説明する。

【表４】この例では、有罪の下界確率は１５％、上界確率は７４％（=15+59 ）無罪の下界確率は２６％、上界確率は８５％（=26+59 ）となる。

【００５３】最後に、下界確率と上界確率から確信度の
ランクを決定する。その方法は様々考えられるが、もっ
とも簡単な方法としては例えば、仮説Ｈ２の上界確率か
ら次のような閾値によりＡ，Ｂ，Ｃのランクを決める。Ｈ２の上界確率が０〜１９正しい（Ａランク）Ｈ２の上界確率が２０〜７９怪しい（Ｂランク）Ｈ２の上界確率が８０〜１００間違い（Ｃランク）なお、下界確率と上界確率の２段階で確信度のランクを
決定してもよい。

【００５４】図３は本発明の第２の実施例に係る文字認
識装置の概略ブロック図である。図３において、スキャ
ナー１０１、切り出し処理部１０２、正規化処理部１０
３、パターンマッチング処理部１０４、ルール処理部１
０５、言語処理部１０６、出力制御部１０８、ディスプ
レイ１１３、印字装置１１４は図１に示した対応部分と
同じ部分である。

【００５５】確信度決定部１０７は、デンプスター・シ
ェーファーの確率理論を用い確信度を求める部分である
が、図１に示した確信度決定部９とは若干の相違があ
る。すなわち、この確信度決定部１０７においては、パ
ターンマッチング処理部１０４から第一候補の評価値
（例えば辞書との距離を総輪郭数で除した値）または第
一候補と第二候補との評価値の差の情報、ルール処理部
１０５から修正のために適用されたルールの情報、言語
処理部１０６から言語修正の結果を表わす情報を集め、
さらに切り出し処理部１０２からも文字間ピッチと文字
矩形幅等の情報を集める。そして、これら各処理段階で
集めた情報（評価情報）を証拠として、その処理段階で
の候補についての確信度を決定し、これによって前処理
段階までの確信度を更新し、この操作を最終処理段階す
なわち言語処理段階まで繰り返すことによって、最終的
認識結果に対する最終的な確信度を決定し、これを前述
のようなＡ，Ｂ，Ｃの３ランクに量子化する。

【００５６】文字数計数部１０９は、確信度決定部１０
７により決定された最終的な確信度が一定レベル以下の
認識結果文字、例えばＢランクとＣランクの文字の個数
を計数し、計数値が所定の閾値を越えたときに文字数超
過信号を出す。

【００５７】候補削除判定部１１０は、切り出し処理段
階で得られた情報に基づき確信度決定部１０７により得
られた各候補の確信度を一定の閾値と比較し、それを下
回る確信度の候補を削除候補と判定し削除信号を出力す
る。ここでは、対象処理段階として切り出し処理が選ば
れたが、他の処理段階を対象に選んでもよく、あるいは
２以上の処理段階を対象に選んでもよい。

【００５８】装置制御部１１２は、装置全体の制御を司
るほか、文字計数部１０９から文字数超過信号が出た場
合に処理を中断させるとともに、ディスプレイ１１３に
付属したブザー等を鳴動させて装置利用者に警告し、ま
た候補削除判定部１１０から削除信号が出た場合に該当
の候補を次の処理段階の候補から外す制御を行なう。

【００５９】確信度決定部１０７の処理内容を具体的に
説明する。また、各処理段階での確信度決定処理の流れ
を図５に示す。

【００６０】前述のように、確信度決定には処理段階か
ら得られた情報（評価情報）を証拠として、デンプスタ
ー・シェーファーの確率理論を使って行なう。より具体
的には、Ｈ１：第１候補、Ｈ２：第２候補，．．．，Ｈ
ｎ：第ｎ候補、というように、予め決まっている最大候
補数分の仮説Ｈｉをたてる。つまり、最終の認識結果文
字は１番目の候補なのか、２番目の候補なのか、といっ
た具合に考えて、それぞれの確率を求める。

【００６１】まず、各処理段階において、そこで集まっ
た各情報すなわち各証拠について擬似可能性分布（各仮
説に割り当てられた、その仮説が真である可能性の分
布）を求める。このときに、証拠が数値情報であればｙ
＝−ｘ／３＋１００のような一次方程式により擬似可能
性（ｙ）を求めること、証拠が数値情報でなければ擬似
可能性分布をヒューリスティックに与えることは、前述
の通りである。

【００６２】次に、仮説Ｈ１〜Ｈｎの擬似可能性分布を
用いて、consonant sequenceと呼ばれる仮説の列Ｈ１，
Ｈ２，．．．，Ｈｎを作り、基本確率割り当てへ変換す
る。すなわち、擬似可能性分布を「正しい」「無知」
「間違い」の各基本確率に振り分ける。基本確率は確信
度であるが、それより求められる下界確率と上界確率か
ら確信度を決定してもよい。

【００６３】もし、証拠が複数あるならば、前述のよう
にデンプスターの統合規則を使用し合成式（数１）によ
り各証拠について求めた各仮説の基本確率を合成する。

【００６４】このようにして各処理段階で得られた証拠
に基づいた各仮説の基本確率（確信度）が得られたら、
これを直前の処理段階までに得られている各仮説の基本
確率と前記合成式（数１）によって合成する（更新す
る）。当然、各仮説の下界確率と上界確率も求まる。

【００６５】最終段階すなわち言語処理では、決定した
確信度をランク付けする。このランク付けの方法は様々
考えられるが、最も簡単な方法は前述のような上界確率
と閾値との比較による方法である。

【００６６】以上の確信度決定処理について、文字認識
処理の流れに従ってより具体的に説明する。

【００６７】まず、切り出し処理で、図４に示すような
切り出し結果となったとする。図中の矩形は文字の候補
となる文字矩形を表わしている。そして、Ａ，Ｂ，Ｃの
矩形に注目した場合、Ａ矩形（全角文字）、ＢとＣの矩
形（半角文字）が文字の候補となり、それぞれについて
文字間ピッチや矩形の幅等の情報（証拠）から前述の確
率（確信度）がＡ矩形下界確率？％上界確率？％Ｂ矩形下界確率？％上界確率？％Ｃ矩形下界確率？％上界確率？％というように求められる。

【００６８】本実施例では、例えば下界確率または上界
確率が所定の閾値を下回った矩形は、次の処理段階の文
字候補から外す。

【００６９】なお、この段階の確信度より最も確からし
い一つの矩形だけを候補に決定することもできる。

【００７０】これらの矩形Ａ，Ｂ，Ｃのそれぞれについ
て（文字候補から除外されたものは当然含まれない）、
次のパターンマッチング処理（認識処理）で認識結果候
補群が得られるが、各矩形に対する第一候補の評価値、
第一候補と第二候補との評価値の差などの情報に基づ
き、Ａ矩形第１候補下界確率？％上界確率？％第２候補下界確率？％上界確率？％第３候補下界確率？％上界確率？％Ｂ矩形第１候補下界確率？％上界確率？％第２候補下界確率？％上界確率？％第３候補下界確率？％上界確率？％Ｃ矩形第１候補下界確率？％上界確率？％第２候補下界確率？％上界確率？％第３候補下界確率？％上界確率？％を求める。そして、前段の切り出し処理で求められた確
信度と合成することにより、確信度の更新を行なうこと
は前述の通りである。

【００７１】なお、この段階で各矩形の候補中の確信度
が予め定めた閾値以下の候補を、切り出し処理の場合と
同様に候補から除外することにより、処理時間の節減を
図ってもよい。さらに、この段階でＡ矩形であるか、
Ｂ，Ｃ矩形であるかを合成された確信度から判断するこ
ともできる。ここでは、Ａ矩形が文字の候補として選ば
れたものとして説明を進める。

【００７２】次のルール処理では、文字の位置、文字の
サイズ、文字種等の情報から各認識結果候補の確信度を
求め、パターンマッチング処理段階での確信度と合成
し、更新された確信度第１候補下界確率？％上界確率？％第２候補下界確率？％上界確率？％第３候補下界確率？％上界確率？％を求める。例えば文字の位置情報に関しては、対象画像
が行の中心辺りに位置しているならば「・」の確信度は
上昇するが、「．」「’」の確信度は下がることにな
る。

【００７３】次の言語処理では、どの候補が最も相応し
いかを単語辞書等を使って決定し、その結果に対して確
信度を求め、前処理段階の確信度と合成する。例えば単
語辞書との照合によれば、注目文字の第１候補と次の文
字の第２候補との組み合わせにより意味のある単語を形
成するときには、注目文字の第１候補と次の文字の第２
候補の確信度が上がる。したがって、言語処理を行なう
ためには、ある程度の長さの文字列が必要である。

【００７４】このようにして、例えば、第１候補下界確率８０％上界確率１５％第２候補下界確率３３％上界確率１０％第３候補下界確率１２％上界確率３３％のような最終的な確信度が得られるので、例えば下界確
率が最大の第１候補を最終的な認識結果として出力し、
その確信度には前述のような閾値処理によつてランク付
けをする。なお、候補の並びは、各処理段階で確信度の
高い順にソートしてもよいし、最終的な確信度の高い順
にソートしてもよい。

【００７５】また、複数の証拠がある場合の下界確率と
上界確率の求め方は、前記表４を用い陪審員のモデルを
例に説明したように、対応した基本確率を加算するだけ
でよい。なお、ここでは文字認識処理の場合であるか
ら、上記陪審員モデルでの説明中の「有罪」「分からな
い」「無罪」を「正しい」、「正しいか間違いか分から
ない」「間違い」と言い替えればよい。

【００７６】次に前記第２の実施例の変形例について説
明する。本変形例においては、前記第２実施例と同様に
確信度決定部１０７で切り出し処理、パターンマッチン
グ処理、ルール処理、言語処理（さらにはパス選択処
理）の各処理段階毎に確信度を求め、合成することによ
って最終的な確信度を決定するが、最終的な確信度とは
別に、各処理段階毎の確信度、すなわち各処理段階で得
られた情報を基に決定された確信度（数値あるいはラン
ク）をメモリに保存する。そして、ユーザーがディスプ
レイ１１３の画面上で認識結果文字に対する修正を指示
した場合、装置制御部１１２は、その文字に関する各処
理段階毎の確信度の情報を上記メモリより読み出し、そ
の情報を基にユーザーに対するメッセージ（助言）を作
成して出力制御部１０８へ渡しディスプレイ１１３の画
面に表示させる。

【００７７】例えば、確信度情報より、切り出し処理の
確からしさが他の処理段階に比べて怪しいと判断される
場合は「文字を正確に切り出すことができなかった可能
性があります。」というようなメッセージを、パターン
マッチング処理（認識処理）の確からしさが他の処理段
階に比べて怪しいと判断される場合は「認識した文字画
像をチェックしてください。」というようなメッセージ
を、後処理（ルール処理または言語処理）の確からしさ
が他の処理段階に比べて怪しいと判断される場合は「文
字列単位でチェックしてください。」あるいは「知識
（ルール）、単語辞書をチェックしてください。」とい
うようなメッセージを表示させる。

【００７８】このようなメッセージの表示により、ユー
ザーは誤認識文字の修正のみならず、その原因の判断が
容易になり必要な処置をとりやすくなる。

【００７９】また、前記第２（または第２）の実施例に
おいて、ある処理段階までの確信度に応じて、その前ま
たは後、あるいは前後の処理段階の処理方式あるいはパ
ラメータ等を複数ある中から最適なものを選択すること
も、認識率の向上、最終的な修正作業の効率向上に効果
がある。

【００８０】このような変形例を次に示す。前記第２の
実施例において、装置制御部１１２は、パターンマッチ
ング処理までの確信度が低い場合に、判断文字切り出し
処理での切り出し位置を変えて再度認識をしたり、ある
いはパターンマッチング処理内の前処理である特徴抽出
の方法を変更して再度認識をするように各部を制御す
る。前者は文字切り出し位置が不適切であるために認識
結果の確信度が低いと考えられるからであり、後者は認
識画像が前回の特徴抽出方法には適切でなかったと考え
られるからである。このように確信度の情報を前の処理
にフィードバックした場合、装置制御部１１２は、処理
方法またはパラメータを変えて試みた複数の認識結果よ
り確信度の高い結果を有効なものとして選択する。

【００８１】逆に、パターンマッチング処理までの確信
度が高い場合、その後の言語処理内の単語照合の際に結
果を変更させないように装置制御部１１２が制御する。
つまり、単語照合は一般的に、認識結果候補の組み合わ
せを予め用意されている単語辞書と照合するわけである
が、その際に確信度の高い文字は固定し、確信度の低い
文字の候補のみを入れ替え単語辞書と照合する。こうす
ることにより、単語の組み合わせ数が減り、処理時間の
短縮、認識率の向上につながる。このように、後の処理
に確信度の情報を活用する場合は、後の処理でのパラメ
ータ、条件、処理方法などを選択することが可能にな
る。

【００８２】図６は本発明の第３の実施例を示す概略ブ
ロック図である。２００は図１または図２に示した文字
認識装置本体と同様の構成にスキャナーを加えた部分で
あり、便宜上ここでは装置本体と呼ぶ。２０１は認識結
果等を表示するためのディスプレイである。

【００８３】２０２は装置本体２００内のパターンマッ
チング処理部で抽出された文字パターンの特徴量または
装置本体２００内の正規化処理部により正規化後の文字
パターンを保存するための保存メモリである。ただし、
ここでは保存メモリ２０２に文字パターンの特徴量が保
存されるものとして説明する。２０４は装置本体２００
内の確信度決定部より確信度ランクの情報を受けて、Ｂ
ランクとＣランクの場合に対応した文字パターンの特徴
量を保存メモリ２０２に保存させる制御を行う保存制御
部である。この保存制御部２０４による特徴量（または
パターン）の保存の処理の流れを図７に示す。

【００８４】２０６は図１または図３には示さなかった
が前記第１実施例または第２実施例においても当然に備
わっていた認識結果メモリであり、ここには認識結果デ
ータと確信度情報が記憶される。２１０は使用者が情報
を入力するためのキーボードであり、認識結果の修正時
の正解文字はここから入力される。２０８はキーボード
２１０からの入力に従って認識結果２０６内の認識結果
データを修正する修正処理部である。

【００８５】２１２は装置本体２００内のパターンマッ
チング処理部での認識処理に用いられる辞書を格納した
辞書メモリであり、これも当然に前記第１実施例または
第２実施例においても存在したものである。２１４は、
この辞書の学習を行うための学習処理部である。この学
習処理部２１４は、認識結果の修正が行なわれた時に、
修正処理部２０８より修正文字の確信度ランクの情報と
正解文字コードを渡されると、確信度ランクがＢランク
またはＣランクの場合に、修正文字の特徴量を保存メモ
リ２０２より読み出し、これを用いて辞書の学習処理を
実行する。

【００８６】なお、保存メモリ２０２に文字パターンを
保存する場合には、学習処理部２１４は辞書学習時に、
保存メモリ２０２より修正文字のパターンを読み込み、
その特徴量の抽出を学習処理部内部で行ない、あるい
は、装置本体２００内のパターンマッチング処理部に行
なわせ、得られた特徴量を辞書学習に用いる。

【００８７】

【発明の効果】以上詳細に説明した如く、本発明によれ
ば、認識対象の文字パターンについて、複数段階の認識
処理を施こして最終的な認識結果を得る文字認識処理に
おいて、認識結果の確信度をより的確に決定して、その
情報を認識結果に付加して利用者に知らせることができ
るため、利用者は認識結果の確信度を的確容易に認識
し、必要な修正作業を効率よく行なうことができるよう
になり、認識結果の確信度が低く、処理継続が無駄な場
合などに利用者は処理を停止させたり、あるいは認識条
件を変更して起動するといった、必要な処置を素早くと
ることができるようになり、また、このような場合に無
駄な処理の継続による時間の無駄を減らすことができ、
さらに個々の処理毎の確信度の情報に基づき誤認識の原
因や必要な処置等のメッセージを出力し、利用者の修正
作業や装置保守作業等を容易にし、またさらに、ある処
理までの確信度に応じて前または後の処理あるいは前後
の処理の方法やパラメータ等を自動的に切り替えること
により、認識率を向上し、あるいは修正作業を効率化す
ることができ、また、認識結果の修正時に効率よく辞書
学習を行うことができ、辞書学習に必要な文字パターン
または特徴量を保存するための記憶スペースを減らすこ
とができる等の効果が得られる。

【図面の簡単な説明】

【図１】第１の実施例に係る文字認識装置の概略ブロッ
ク図である。

【図２】第１の実施例における確信度決定処理の流れ図
である。

【図３】第２の実施例に係る文字認識装置の概略ブロッ
ク図である。

【図４】文字切り出し処理に関する説明図である。

【図５】第２の実施例における各処理段階での確信度決
定処理の流れ図である。

【図６】第３の実施例に係る文字認識装置の概略ブロッ
ク図である。

【図７】第３の実施例における特徴量またはパターンの
保存処理の流れ図である。

【図８】第３の実施例における辞書学習処理の流れ図で
ある。

【符号の説明】

１スキャナー２切り出し処理部３正規化処理部４パターンマッチング処理部５パス選択処理部６ルール処理部７言語処理部８出力制御部９確信度決定部１０装置制御部１１ディスプレイ１２印字装置１０１スキャナー１０２切り出し処理部１０３正規化処理部１０４パターンマッチング処理部１０５ルール処理部１０６言語処理部１０７確信度決定部１０８出力制御部１０９文字数計数部１１０候補削除判定部１１２装置制御部１１３ディスプレイ１１４印字装置２００装置本体２０２保存メモリ２０４保存制御部２０６認識結果メモリ２０８修正処理部２１０キーボード２１２辞書メモリ２１４学習処理部

Claims

(57)【特許請求の範囲】

【請求項１】入力された文字や記号の未知パターン
（以下、文字パターンと略称する）を認識するために複
数段階の処理を施こして最終的な認識結果を得る文字認
識方法において、前記各段階の処理での認識結果の評価情報を取得し、該
評価情報に基づいて、前記最終的な認識結果の確信度を
決定することを特徴とする文字認識方法。
【請求項２】個々の処理毎に確信度を求め、当該確信
度により前の処理までに求めた確信度を更新する操作を
繰り返して、最終的な認識結果に対する最終的な確信度
を決定することを特徴とする請求項１記載の文字認識方
法。
【請求項３】ある処理までの確信度を、その前または
後の処理に反映させることを特徴とする請求項１または
２記載の文字認識方法。
【請求項４】認識対象の文字パターンを入力する手段
と、入力された文字パターンを認識するために複数段階の処
理を施こして最終的な認識結果を求める処理手段と、前記各段階の処理での認識結果の評価情報を取得し、該
評価情報に基づいて、前記最終的な認識結果の確信度を
決定する手段と、前記決定した確信度の情報を前記認識結果に付加して出
力する手段と、を有することを特徴とする文字認識装置。
【請求項５】確信度を決定する手段は、個々の処理毎
に確信度を求め、当該確信度により前の処理までに求め
た確信度を更新する操作を繰り返して、最終的な認識結
果に対する最終的な確信度を決定することを特徴とする
請求項４記載の文字認識装置。
【請求項６】出力される認識結果の視覚的な条件を確
信度に応じて変化させることを特徴とする請求項４また
は５記載の文字認識装置。
【請求項７】確信度が一定レベル以下の認識結果文字
数を計数し、計数値が所定の閾値を越えたことを検出し
て警告を発し、または処理を中断する手段を有すること
を特徴とする請求項４または５記載の文字認識装置。
【請求項８】ある処理において確信度が一定レベル以
下となった候補を後の処理の候補から外すための手段を
有することを特徴とする請求項５記載の文字認識装置。
【請求項９】最終的な確信度とは別に個々の処理毎の
確信度の情報を保存する手段と、認識結果文字に関して
前記保存された個々の処理毎の確信度の情報に基づきメ
ッセージを出力する手段を有することを特徴とする請求
項５記載の文字認識装置。
【請求項１０】認識対象文字のパターンまたはその特
徴量を保存するための記憶手段と、認識結果が修正され
た場合に、修正された認識結果に対する確信度が所定レ
ベルのときに限り、前記記憶手段に保存されている対応
したパターンまたは特徴量を用いてパターンマッチング
処理のための辞書の学習を実行する手段を有することを
特徴とする請求項４または５記載の文字認識装置。