JP3345224B2

JP3345224B2 - パターン抽出装置、パターン再認識用テーブル作成装置及びパターン認識装置

Info

Publication number: JP3345224B2
Application number: JP20556495A
Authority: JP
Inventors: 聡直井; 眞紀矢吹
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-03-06
Filing date: 1995-08-11
Publication date: 2002-11-18
Anticipated expiration: 2015-08-11
Also published as: JPH08305796A; US5889887A; KR960035329A; US6052480A; KR100211856B1

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はパターン抽出装置に
係わり、特に手書き用文字認識装置のみならず、印刷文
字認識装置や図面認識装置における文字及び記号の切り
出し、画像中の罫線と物体、図形や文字との接触部分の
分離等のように、直線と文字や図形等の各種パターンと
が重なった画像から、該パターンを抽出するパターン抽
出装置に関する。

【０００２】すなわち、例えば、ＯＣＲ（Optical Char
acter Reader) 等の手書き文字認識装置において文字
枠、罫線等に接触した文字、図形等のパターンを抽出す
るためのパターン抽出装置に関する。

【０００３】手書き用の入出力装置として、手書き文字
認識装置の需要が増加している。この様な手書き文字認
識装置において個々の文字の高い認識率を実現するため
には、該文字認識の前処理である文字の切り出し処理が
正確に行われることが重要である。

【０００４】認識の対象となる文書としては、帳票等の
文字を書く位置や領域等が予め指定された文書がある。
この様な文書では、文字を書く位置を指定する枠等がド
ロップ・アウト・カラーでなく、黒枠等の罫線により記
入される文字と同じ色や濃度で予め印刷されている。従
って、文字が上記黒枠等のように予め指定された範囲内
にきれいに書かれていれば比較的高い認識率で自動認識
が可能であるが、文字が、少しでも指定範囲を越えて、
該指定範囲を示す枠又は罫線に接触したり、はみ出して
手書きされたりすると、文字の認識率が著しく低下する
という問題が生じていた。

【０００５】該認識率を向上させるためには、非ドロッ
プ・アウト・カラーで文字を書く位置が指定された帳票
等において、罫線、枠等に触れている文字、図形、記号
等から、該文字、図形、記号等だけを正確に切りだす処
理の正確度を高める必要がある。

【０００６】

【従来の技術】本出願人は、先に特願平５−１０３２５
７号にて図８４に示す如き第一の画像抽出方式を提案し
た。この方式において処理の対象となる入力パターン
は、予め極端な傾きや回転等に対して補正が施され、さ
らに雑音の除去及びかすれの穴埋め等の前処理が施され
た２値画像であり、該入力パターンを基に例えば黒枠の
帳票から枠を除去するものである。すなわち、例えば、
文字枠に関しては、横に細長い一行のブロック枠（文字
枠）が複数個あり、これらのブロック枠の中には、その
サイズ、位置及び傾きが分からないブロック枠も含まれ
ている。そして、このようなブロック枠に対して文字が
手書きされた場合に、該文字が該ブロック枠と接触した
り、または該ブロック枠からはみ出していても、該ブロ
ック枠だけを除去するものである。

【０００７】この第一の画像抽出方式は、図８４に示す
如く、連結パターン抽出部１、線分検出部２、直線検出
部３、枠検出部４、及び枠分離部５からなる。連結パタ
ーン抽出部１は、枠もしくは罫線等の直線部分と文字、
図形もしくは記号とから構成される入力パターンから画
素と画素が繋がっている連結パターンを抽出する。線分
検出部２は、細線化処理部を含み、隣接投影により該連
結パターン毎に一定の長さで線分又は直線の一部を検出
する。直線検出部３は、得られた複数の線分又は直線の
一部を統合して長い直線を検出する。枠検出部４は、得
られた複数の直線の間隔等により、ブロック枠を構成す
る直線を抽出する。枠分離部５は、該抽出した直線同士
の交点を求め、その交点情報を基に前記ブロック枠を一
文字毎の枠に分割して、該分割により得られたそれぞれ
の枠の幅を算出する。そして、それらの幅に従って連結
パターンから文字枠を分離する。

【０００８】他方、対象となる入力パターンから除去す
べき枠が上記以外の枠の場合には、例えば特開昭６２−
２１２８８８号公報や特開平３−１２６１８６号公報に
て提案されているような枠抽出方法も提案されている。
これらの枠抽出方法によれば、位置やサイズ等のフォー
マット情報及び傾きに関する情報を予め帳票データとし
て入力し、格納しておく。枠の除去は、これらの格納さ
れた情報に基づいて行われる。

【０００９】また、本出願人は、上記第一の画像抽出方
式以外にも、特開公報平６−３０９４９８において、枠
に接触した文字から文字のみを抽出する第二の画像抽出
方式を提案した。

【００１０】図８５は、この方式の全体構成を示すブロ
ック図である。同図において、枠抽出部１１は、枠に接
触している文字（枠接触文字）の２値画像から該枠（文
字枠）だけを抽出し、この文字枠を除去する。

【００１１】この処理により、上記枠接触文字の枠に接
触している文字線分の枠接触部分がかすれてしまい、該
文字線分が複数の部分に途切れてしまう。例えば、図８
６（ａ）に示すラベル”１”により連結されていた
「３」の２値画像の場合には、図８６（ｂ）に示すよう
に、文字枠２１が抽出・除去された結果、ラベル”
１”、”２”及び”３”が付与された３個の文字線分に
分割されてしまう。また、図８７（ａ）に示すラベル”
１”により連結されていた「７」の２値画像の場合に
は、図８７（ｂ）に示すように、文字枠２３が抽出・除
去された結果、ラベル”１”、”２”及び”３”が付与
された３個の文字線分に分割されてしまう。

【００１２】補完部１２は、上記途切れた文字線分につ
いて、各ラベルが付与された文字線分間の距離や方向性
等の幾何学的構造を評価して、それを補完する。これに
より、図８６（ｂ）に示す枠接触部分が途切れていた
「３」の２値画像が、図８６（ｃ）に示すように補完さ
れる。また、図８７（ｂ）に示す枠接触部分が途切れて
いた「７」の２値画像の場合には、図８７（ｃ）に示す
ようにラベル”１”が付与されていた部分とラベル”
２”が付与されていた部分との間が補完されるが、ラベ
ル”１”が付与されていた部分とラベル”３”が付与さ
れていた部分は、補完されない。

【００１３】再補完部１３は、枠に平行な文字線分が枠
に接触する場合に、該文字線分を補完する。この処理
は、予め、枠接触文字をラベリングによる連結性を用い
て抽出しておき、上記補完部１２により補完されたパタ
ーンと上記枠接触文字の連結性が一致することを検出す
ることにより、上記枠に平行な文字線分を補完する。

【００１４】これにより、図８７（ｃ）に示すようにラ
ベル”１”とラベル”２”の２つの文字線分に分かれて
いた「７」の２値画像が、図８７（ｄ）に示すように補
完される。

【００１５】このように、文字枠に接触した文字は、補
完部１２または再補完部１３によって復元される。上記
補完部１２及び上記再補完部１３から出力される補完パ
ターンと再補完パターンの両パターンは、認識文字の候
補として認識部１４に入力される。

【００１６】該認識部１４は、複数の文字カテゴリ辞書
を備えており、上記補完パターンまたは再補完パターン
を該各文字カテゴリ辞書と照合して、補完パターンと再
補完パターンの認識結果から相違度が最も小さい文字カ
テゴリのコードを出力する。すなわち、図８７に示す例
では、同図（ｃ）に示すパターンが「リ」の文字カテゴ
リに属すものと認識される。また、同図（ｄ）に示すパ
ターンが「７」の文字カテゴリに属すものと認識され
る。そして、「７」のほうが相違度が小さいと判断され
て、最終的に「７」と認識され、その文字コードが出力
される。

【００１７】

【発明が解決しようとする課題】ところで、本出願が先
に提案した第一の画像抽出方式では、以下のような問題
点があり、まだ改善の余地がある。第１に、対象とする
枠が一文字枠及び横一行のブロック枠以外の場合、即
ち、表形式のブロック枠やフリーフォーマット枠の場合
には、枠抽出処理を行うことができなかった。第２に、
線分検出部２は細線化処理部を内蔵し、該細線化処理部
により細線化処理を行うので、全体の処理時間が非常に
長かった。又、細線化処理を行うと、原画像の直線性が
失われてしまう。このため、例えば図８８（ａ）に示す
ような枠にまたがって「６」を書いた場合の原画像が細
線化により図８８(b) に示す曲線状のパターンとなり、
枠を直線として検出できないため、該枠の抽出が難しく
なるという問題があった。第３に、一つの文字が互いに
隣合う複数の一文字枠と接続してしまっている場合、探
索によって直線の途中が途切れていることが分かった時
点で、ブロック枠でも一文字枠でもないとみなして以降
の処理を行わなかったため、枠を抽出できなかった。第
４に、一文字枠を除去する場合、探索を行って枠抽出を
するため、探索に失敗して枠を抽出できないこともあっ
た。

【００１８】上記第４の問題点を、図８９に示す具体的
な例で説明する。Ａの場合、部分パターンの探索は、上
から下の方向へ、且つ、下の方向へ進めない場合は左ま
たは右に、例えば枠の幅に対応する所定の画素数分だけ
進むように行われるものとする。したがって、探索の開
始点がＡの場合には、その探索は図８９中で矢印６で示
すように良好に行われる。しかし、探索の開始点がＢの
場合は、部分パターンの探索を下の方向へ進めることは
できず、又、左右に所定の画素数分進んでも下の方向に
は部分パターンが存在しないので、図８９中で矢印７で
示す如く探索は失敗してしまう。従って、後者のような
場合には、枠を抽出することができない。

【００１９】他方、特開昭６２−２１２８８８号公報や
特開平３−１２６１８６号公報にて提案されているよう
な枠抽出方法では、対象とする枠が表形式のブロック枠
等であっても、枠の抽出が可能である。しかし、その反
面、位置やサイズ等のフォーマット情報及び傾きに関す
る情報を予め帳票データとして入力し、格納しておくこ
とが前提となっているので、処理が文字枠自体の凹凸や
僅かな傾きの影響を受け易いという問題点があった。す
なわち、例えば所定の位置からはみ出した文字枠は文字
とみなされて文字枠の抽出時に当該文字枠が抽出されな
かったり、逆に文字部分が文字枠の一部として抽出され
てしまったりするなどの問題があった。更に、ユーザが
帳票の全ての枠について、その情報を入力する必要があ
るため、該入力作業に非常に時間がかかり、ユーザの負
担が大きいという問題もあった。

【００２０】また、上記第二の画像抽出方式は、以下の
ような問題点があった。上述したように、この方式で
は、認識部１４により補完パターンまたは再補完パター
ンを、複数種の文字カテゴリの辞書に登録されている標
準パターンと照合して、相違度が最小のパターンの文字
コードを、認識結果として出力する。この場合、補完部
１２または再補完部１３により、枠接触文字の補完また
は再補完が確実に処理され、該枠接触文字の枠と接触し
た部分から文字線分のみを補完できればよいが、該文字
線分が部分的に補完できない場合があった。このような
例を、図９０に示す。

【００２１】この例の場合、同図（ａ）に示すように、
「２」の下線部分が枠２５に接触し、その接触部分がほ
ぼ完全に枠２５に重なっている。このような場合、枠抽
出部１１により、同図（ｂ）に示すように枠２５が除去
され、「２」の文字パターンがラベル”１”とラベル”
２”の２つの部分パターンタに分離される。そして、同
図（ｃ）に示すように、補完部１２により上記２つの部
分パターンが連結される。このような場合、「２」の下
線部分が再補完されないために、認識部１４が、「２」
の文字を、誤って「７」と認識してしまう可能性が高く
なる。

【００２２】また、枠接触文字において、その一部が枠
からはみ出すことなく、該枠に完全に重なってしまった
場合には、枠接触部分を補完部１２及び再補完部１３に
おいても補完することはできず、認識部１４において上
記枠接触文字を正しく認識することは、ほとんど不可能
であった。

【００２３】このため、例えば、特開公報平３−１２２
７８６号の「光学式文字読取装置」のように、枠に接触
または枠からはみ出した複数の枠接触文字のパターンに
ついて、枠除去後の部分パターンを辞書に記憶してお
き、この辞書を利用して枠接触文字の文字認識を行う方
式が提案されている。しかし、枠と文字の接触形態はほ
とんど無数に考えられることから、それらの部分パター
ンを全ての文字について記憶しておくためには、辞書の
記憶容量が膨大なものとなるという欠点がある。また、
辞書に記憶する部分パターンの数が増加するにつれ、該
辞書のアクセス回数が増加し、文字の認識速度が遅くな
るという欠点もある。

【００２４】また、さらに、特開公報平６−６２０４４
号の「光学式文字読取装置」のように、アンダーライン
領域や枠領域を除去し、これらの領域を除いた文字パタ
ーンを辞書に格納されている各文字カテゴリの標準文字
図形の２値パターン情報と比較・照合して文字を認識す
る方式が提案されている。しかし、この方式の場合、図
９０の例のように、枠に重なった部分を除去した残りの
文字パターンが他の文字カテゴリに類似してしまう場合
には、誤読してしまう。また、この方式では、アンダー
ライン領域または枠領域を除去して文字認識を行うのみ
で、文字が枠からはみ出した場合に文字の補完を行って
いない。したがって、文字が枠からはみ出した場合、誤
読率が高くなるという欠点がある。

【００２５】本発明は、上記問題点を改善するためにな
されたものであって、枠、罫線等の直線部分に触れてい
る文字、図形、記号等について、該枠、罫線等の直線部
分から文字、図形、記号等を構成する部分を正確に抽出
することにより、枠、罫線等の直線部分に接触した文
字、図形、記号等を正確に切り出すことができる画像抽
出装置を提供することを目的とする。また、枠、罫線等
の直線部分に接触したり、はみ出している文字の認識率
を高め、誤読率を減少させることを目的とする。

【００２６】

【課題を解決するための手段】図１〜図８に示す発明
は、直線とある形状のパターンとが重なっている画像か
ら該パターンのみを抽出するパターン抽出装置を前提と
する。

【００２７】図１は該発明の原理を説明する図である。
直線抽出手段３１は、直線とある形状のパターンとが重
なっている画像から該直線を抽出する。

【００２８】交点算出手段３２は、該直線抽出手段３１
によって抽出された直線と上記パターンとの交点を算出
する。仮画像抽出手段３３は、該交点算出手段３２によ
り得られた交点情報を基に、上記直線内の上記パターン
に該当する部分を想定して、該部分を仮画像として抽出
する。

【００２９】真画像抽出手段３４は、該仮画像抽出手段
３３によって抽出された仮画像から、上記パターンの画
像のみを真の画像として抽出する。図２は、前記真画像
抽出手段３４の一構成例を示す図である。

【００３０】真画像判断手段３５は、前記仮画像中の前
記パターンの画像に該当する部分である真の画像を判断
する。領域除去手段３６は、前記仮画像から、該真画像
判断手段３５によって真の画像と判断された以外の領域
を除去する。

【００３１】図３は、前記真画像判断手段３５の一構成
例を示す図である。テーブル３８は、仮画像の構造か
ら、該仮画像内の前記パターンの画像に対応する真の画
像のみを抽出するための情報を格納している。

【００３２】選択手段３９は、仮画像の構造を判定し、
上記テーブル４５を参照して該仮画像中のる前記パター
ンの画像に対応する真の画像を選択する。上記構成にお
いて、前記パターンが、文字パターンである場合、前記
テーブル４５は、例えば、文字の種類（例えば、「数
字」、「アルファベット」、「カナ」、「漢字」など）
別に個別に設けられる。

【００３３】次に、述べる図４〜図８の発明は、上記パ
ターンとして、文字パターンを対象とする発明である。
図４は、前記真画像判断手段３５の他の構成例を示す図
である。

【００３４】平均文字サイズ算出手段４１は、仮画像を
含む文字パターンの文字列から１文字のパターンの平均
サイズである平均文字サイズを算出する。選択手段４２
は、該平均文字サイズ算出手段４１によって算出された
平均文字サイズを基に、上記仮画像から、上記文字パタ
ーンの文字線分に該当する真の画像を選択する。

【００３５】図５は、前記選択手段４２の一構成例を示
す図である。しきい値設定手段４５は、前記平均文字サ
イズ算出手段４１によって算出された平均文字サイズを
基に、最大文字サイズと最小文字サイズを設定する。

【００３６】判定手段４６は、仮画像によって局所的に
対応付けられた文字パターンが、該しきい値設定手段４
１によって求められた最大文字サイズより大きい場合、
その文字パターンから上記局所的対応付け仮画像を除去
した場合に得られる複数のパターンの中に、上記最小文
字サイズより小さいパターンがあれば、該パターンと局
所的に対応付けられた仮画像を、真の画像と判定する。

【００３７】また、しきい値設定手段４５と判定手段４
６は、以下のような構成であってもよい。すなわち、し
きい値設定手段４５は、前記平均文字サイズ算出手段４
１によって算出された上記平均文字サイズを基に、最大
文字サイズを設定する。

【００３８】判定手段４６は、上記文字列中の文字パタ
ーンが、該しきい値設定手段４５によって設定された最
大文字サイズより大きい場合、その文字パターンを一文
字の真の画像と判定する。

【００３９】図６は、前記真画像判断手段３５の、さら
に他の構成例を示す図である。平均文字サイズ算出手段
４７は、前記パターンが文字パターンである場合、仮画
像を含む文字パターンの文字列から１文字のパターンの
平均サイズである平均文字サイズを算出する。

【００４０】第一の判定手段４８は、該平均文字サイズ
算出手段４７によって求められた平均文字サイズを基
に、前記文字列中の仮画像を含む文字パターンから、そ
の真の文字線分の画像を判定する。

【００４１】テーブル４９は、仮文字線分の画像から成
る仮画像の構造から、該仮画像内の真の文字線分の画像
のみを抽出するための情報を格納している。第二の判定
手段５０は、仮画像の構造を判定し、上記テーブル４９
を参照して該仮画像から真の文字線分の画像である真の
画像を判定する。

【００４２】図７は、前記真画像抽出手段３４の一構成
例を説明する図である。平均文字サイズ算出手段５１
は、前記パターンが文字パターンである場合、仮画像を
含む文字パターンの文字列から１文字のパターンの平均
サイズである平均文字サイズを算出する。

【００４３】領域除去手段５２は、該平均文字サイズ算
出手段５１によって求められた平均文字サイズを基に、
前記文字列中の前記仮画像を含む文字パターンから、該
文字パターンの画像である真の画像以外の領域を除去す
る。

【００４４】図８は、前記領域除去手段５２の一構成例
を示す図である。しきい値設定手段５３は、上記平均文
字サイズから最大文字サイズと最小文字サイズを設定す
る。

【００４５】仮画像除去手段５４は、仮画像によって局
所的に対応付けられた文字パターンが、該しきい値設定
手段５３によって求められた最大文字サイズより大きい
場合、その文字パターンから上記局所的対応付け仮画像
を除去した場合に得られる複数の文字パターンが全て上
記最小文字サイズ以上であれば、上記局所的対応付け仮
画像を除去する。

【００４６】図１に示す発明では、まず、直線抽出手段
１１が、直線とパターンが重なっている画像から該直線
のみを、抽出する。これによって、例えば、文字と枠や
罫線等の直線が重なっている画像から該枠や罫線等の直
線のみが抽出される。

【００４７】次に、交点算出手段１２が、上記抽出され
た直線と上記パターンとの交点を算出する。これによ
り、例えば、枠や罫線等に接触したり、はみ出したりし
ている文字において、該枠や罫線等と該文字の線分との
交点の座標が算出される。

【００４８】次に、仮画像抽出手段１３が、上記交点情
報を基に、上記直線中の上記パターンの画像を想定し、
これを仮画像として抽出する。この仮画像は、例えば、
上記交点間を接続する仮の文字線分（仮文字線分）から
構成される。

【００４９】真画像抽出手段１４は、該仮画像から上記
パターンの画像のみからなる真の画像を抽出する。従っ
て、直線と、文字、記号、または図形などのような各種
パターンが重なっている画像から、目的とするパターン
のみを正しく抽出（切りだす）ことが可能になる。

【００５０】すなわち、例えば、枠や罫線等に接触した
り、はみ出したりしている枠接触文字、さらには、表形
式の枠上でオーバーハングしている手書き文字などにつ
いて、該文字の上記枠や罫線内の画像を正しく抽出でき
る。。

【００５１】図９は、他の発明の原理を説明するブロッ
ク図（その９）である。パターン分離手段５５は、直線
とパターンとが接触している画像から該パターンのみを
分離・抽出する。尚、該接触は、パターンが直線からは
み出している状態も含む。以下の表現についても、同様
である。

【００５２】パターン認識手段５６は、該パターン分離
手段５５によって抽出されたパターンを認識する。信頼
度算出手段５７は、該パターン認識手段５６によって認
識されるパターンの信頼度を、前記直線と前記パターン
との接触状態毎に算出する。

【００５３】テーブル作成手段５８は、該信頼度算出手
段５７によって算出される信頼度が予め定められたしき
い値よりも小さい直線とパターンとの接触状態につい
て、該信頼度を前記パターン認識手段が誤って認識する
パターンと正しいパターンとの組み合わせから成るパタ
ーン対と共に記憶するテーブル５９を作成する。

【００５４】この図９に示す発明では、パターン分離手
段５５は、直線とパターンとが接触している画像から該
パターンのみを分離・抽出し、次に、パターン認識手段
５６が、該パターン分離手段５５によって抽出されたパ
ターンを認識する。

【００５５】続いて、信頼度算出手段５７が、該パター
ン認識手段５６によって認識されるパターンの信頼度
を、前記直線と前記パターンとの接触状態毎に算出した
後、テーブル作成手段５８が、該信頼度算出手段５７に
よって算出される信頼度が予め定められたしきい値より
も小さい直線とパターンとの接触状態について、該信頼
度を前記パターン認識手段が誤って認識するパターンと
正しいパターンとの組み合わせから成るパターン対と共
に記憶するテーブル５９を作成する。

【００５６】したがって、パターン認識手段５６による
パターン認識の信頼度を参照可能なテーブル５９を作成
できる。図１０は、さらに他の発明の原理を説明するブ
ロック図（その１０）である。

【００５７】パターン分離手段６１は、直線とパターン
とが接触している画像から該パターンのみを分離・抽出
する。パターン認識手段６２は、該パターン分離手段６
１によって抽出されたパターンを認識する。

【００５８】信頼度算出手段６３は、該パターン認識手
段６２によって認識されるパターンの信頼度を、前記直
線と前記パターンとの接触状態毎に算出する。再文字認
識手段６４は、該信頼度算出手段６３によって算出され
る信頼度が予め定められたしきい値よりも小さい直線と
パターンとの接触状態について、前記パターンの認識の
信頼度が向上する再認識の方法を学習する。

【００５９】テーブル作成手段６５は、該再文字認識手
段６４によって学習された再認識の方法を、前記パター
ン認識手段６２が誤って認識するパターンと正しいパタ
ーンとの組み合わせから成るパターン対と共に記憶する
テーブル６６を作成する。

【００６０】この図１０に示す発明では、まず、パター
ン分離手段６１が、直線とパターンとが接触している画
像から該パターンのみを分離・抽出し、次に、パターン
認識手段６２が、該パターン分離手段６１によって抽出
されたパターンを認識する。さらに、続いて、信頼度算
出手段６３が、該パターン認識手段６２によって認識さ
れるパターンの信頼度を、前記直線と前記パターンとの
接触状態毎に算出する。そして、学習手段６４が、該信
頼度算出手段６３によって算出される信頼度が予め定め
られたしきい値よりも小さい直線とパターンとの接触状
態について、前記パターンの認識の信頼度が向上する再
認識の方法を学習し、続いて、テーブル作成手段６５
が、該学習手段６４によって学習された再認識の方法
を、前記パターン認識手段６２が誤って認識するパター
ンと正しいパターンとの組み合わせから成るパターン対
と共に記憶するテーブル６６を作成する。

【００６１】したがって、パターン認識手段６２によっ
て認識されたパターンの信頼度を、参照可能なテーブル
６６を作成できる。図１１は、さらに、他の発明の原理
を説明するブロック図（その１１）である。

【００６２】文字分離手段７０は、枠または罫線等の直
線と文字とが接触している画像から該文字のみを分離・
抽出する。尚、上記直線と文字との接触は、該文字の一
部が該直線からはみ出している状態も含むものとする。
以下の表現についても、同様である。

【００６３】文字認識手段７１は、該文字分離手段７０
によって抽出された文字を認識する。信頼度算出手段７
２は、該文字認識手段７１によって認識される文字の信
頼度を、前記直線と文字との接触状態毎に算出する。

【００６４】テーブル作成手段７３は、該信頼度算出手
段７２によって算出される信頼度が予め定められたしき
い値よりも小さい直線と文字との接触状態について、該
信頼度を前記文字認識手段７１が誤って認識する文字と
正しい文字との組み合わせから成る文字対と共に記憶す
るテーブル７４を作成するこの図１１に示す発明では、
文字分離手段７０が、枠または罫線等の直線と文字とが
接触している画像から該文字のみを分離・抽出し、続い
て、文字認識手段７１が、該文字分離手段７０によって
抽出された文字を認識する。次に、信頼度算出手段７２
が、該文字認識手段７１によって認識される文字の信頼
度を、前記直線と文字との接触状態毎に算出する。そし
て、テーブル作成手段７３が、該信頼度算出手段７２に
よって算出される信頼度が予め定められたしきい値より
も小さい直線と文字との接触状態について、該信頼度
を、前記文字認識手段７１が誤って認識する文字と正し
い文字との組み合わせから成る文字対と共に記憶するテ
ーブル７４を作成するしたがって、文字分離手段７０に
よって認識された文字の信頼度を、参照可能なテーブル
７４を作成できる。

【００６５】図１２は、さらに、他の発明の原理を説明
するブロック図（その１２）である。文字分離手段７５
は、枠または罫線等の直線と文字とが接触している画像
から該文字のみを分離・抽出する。

【００６６】文字認識手段７６は、該文字分離手段７５
によって抽出された文字を認識する。信頼度算出手段７
７は、該文字認識手段７６によって認識される文字の信
頼度を、前記直線と文字との接触状態毎に算出する。

【００６７】再文字認識手段７８は、該信頼度算出手段
７７によって算出される信頼度が予め定められたしきい
値よりも小さい直線と文字との接触状態について、該文
字の認識の信頼度が向上する再認識の方法を学習する。

【００６８】テーブル作成手段７９は、該再文字認識手
段７８によって学習された再認識方法を、前記文字認識
手段が誤って認識する文字と正しい文字との組み合わせ
から成る文字対と共に記憶するテーブル８０を作成す
る。

【００６９】前記信頼度算出手段７７は、例えば、各文
字について、該各文字が枠もしくは罫線等の直線に接触
している様々の形態の画像パターンを生成する接触文字
生成手段と、該接触文字生成手段によって生成された画
像パターンに対する前記文字認識手段の文字の認識率を
調べ、該認識率を各文字の信頼度として設定する信頼度
設定手段とを備える。

【００７０】前記接触文字生成手段は、例えば、予め定
められた枠または罫線等の直線に、様々な形態に変化さ
せた各文字を重畳させて前記画像パターンを生成する。
また、前記接触文字生成手段は、例えば、各文字のサイ
ズを変化させて前記画像パターンを生成する。

【００７１】また、さらに、前記接触文字生成手段は、
各文字を、その重心を中心とする回転角度を変化させて
前記画像パターンを生成する。また、さらに、前記接触
文字生成手段は、予め定められた形態の各文字に、様々
な形態に変化させた枠または罫線等の直線を重畳させて
前記画像パターンを生成する。

【００７２】また、さらに、前記接触文字生成手段は、
枠または罫線等の直線を、その重心を中心とする回転角
度を変化させて前記画像パターンを生成する。また、さ
らに、前記接触文字生成手段は、枠または罫線等の直線
を、その幅のサイズを変化させて前記画像パターンを生
成する。

【００７３】また、さらに、前記接触文字生成手段は、
枠または罫線等の直線を、その幅のサイズを各位置によ
って変動させながら前記接触文字を生成する。また、さ
らに、前記接触文字生成手段は、様々な形態に変化させ
た各文字に、様々な形態に変化させた枠または罫線等の
直線を重畳させて、前記画像パターンを生成する。

【００７４】また、さらに、前記接触文字生成手段は、
文字の重心と、枠または罫線等の直線との重心の相対的
な位置関係を変化させて前記接触文字を生成する。この
図１２に示す発明では、文字分離手段７５が、枠または
罫線等の直線と文字とが接触している画像から該文字の
みを分離・抽出し、続いて、文字認識手段７６が、該文
字分離手段７５によって抽出された文字を認識する。次
に、信頼度算出手段７７が、該文字認識手段７６によっ
て認識される文字の信頼度を、前記直線と文字との接触
状態毎に算出する。続いて、再文字認識手段７８が、該
信頼度算出手段７７によって算出される信頼度が予め定
められたしきい値よりも小さい直線と文字との接触状態
について、該文字の認識の信頼度が向上する再認識の方
法を学習する。そして、テーブル作成手段７９が、該再
文字認識手段７８によって学習された再認識方法を、前
記文字認識手段が誤って認識する文字と正しい文字との
組み合わせから成る文字対と共に記憶するテーブル８０
を作成する。

【００７５】したがって、文字分離手段７５によって認
識された文字の信頼度を、参照可能なテーブル８０を作
成できる。図１３は、さらに、他の発明の原理を説明す
るブロック図（その１３）である。

【００７６】パターン分離手段８１は、直線とパターン
とが重なっている画像から上記パターンのみを分離・抽
出する。パターン認識手段８２は、該パターン分離手段
８１によって抽出されたパターンを認識する。

【００７７】信頼度算出手段８３は、該パターン認識手
段８２によって認識されるパターンの信頼度を、前記直
線と前記パターンとの重なり状態毎に算出する。再認識
手段８４は、該信頼度算出手段８３によって算出される
信頼度が予め定められたしきい値よりも小さい直線とパ
ターンとの重なり状態について、前記パターン認識手段
８２とは異なる手法により前記パターンを再認識する。

【００７８】また、図１３に示す他の発明は、前記パタ
ーン認識手段８２によって認識される信頼度が予め定め
られたしきい値よりも小さい直線とパターンとの重なり
状態について、前記パターンの認識の信頼度が向上する
パターンの再認識方法が登録されているテーブル８５
を、さらに備え、前記再認識手段８４は、上記テーブル
に登録されている再認識方法により前記再認識を行うよ
うに構成される。

【００７９】前記テーブル８５に登録されている再認識
方法は、前記パターン分離手段によって分離されたパタ
ーンの特定領域を用いて認識する方法である。前記パタ
ーンの特定領域は、例えば、前記パターンに外接する矩
形の分割領域である。

【００８０】図１３に示す発明では、パターン分離手段
８１が、直線とパターンとが重なっている画像から上記
パターンのみを分離・抽出し、続いて、パターン認識手
段８・が、該パターン分離手段８１によって抽出された
パターンを認識する。次に、信頼度算出手段８３が、該
パターン認識手段８２によって認識されるパターンの信
頼度を、前記直線と前記パターンとの重なり状態毎に算
出する。そして、再認識手段８４が、該信頼度算出手段
８３によって算出される信頼度が予め定められたしきい
値よりも小さい直線とパターンとの重なり状態につい
て、前記パターン認識手段８２とは異なる手法により前
記パターンを再認識する。

【００８１】したがって、パターン分離手段８１によっ
て認識されたパターンの信頼度が予め定められたしきい
値よりも小さい場合、別のパターン認識手法により該パ
ターンを再認識して、該パターンの認識率を高めること
ができる。

【００８２】また、図１３に示す他の発明では、再認識
手段８４が、前記パターン認識手段８２によって認識さ
れる信頼度が予め定められたしきい値よりも小さい直線
とパターンとの重なり状態について、前記パターンの認
識の信頼度が向上するパターンの再認識方法が登録され
ているテーブル８５を参照して、前記パターン認識手段
８２によって認識される信頼度が予め定められたしきい
値よりも小さいパターンについて、前記テーブルに登録
されている再認識方法により再認識を行う。

【００８３】したがって、前記パターン認識手段８２に
よって認識される信頼度が予め定められたしきい値より
も小さいパターンの認識率を向上できる。図１４は、さ
らに、他の発明の原理を説明するブロック図（その１
４）である。

【００８４】文字分離手段８６は、枠または罫線等の直
線と文字とが接触している画像から上記文字のみを分離
・抽出する。文字認識手段８７は、該文字分離手段８６
によって抽出された文字を認識する。

【００８５】信頼度算出手段８８は、該文字認識手段８
７によって認識される文字の信頼度を、前記直線と前記
文字との接触状態毎に算出する。再認識手段８９は、該
信頼度算出手段８８によって算出される信頼度が予め定
められたしきい値よりも小さい直線と文字との接触状態
について、前記文字認識手段８７とは異なる手法により
前記文字を再認識する。

【００８６】図１４に示す他の発明は、前記文字認識手
段８７によって認識される信頼度が予め定められたしき
い値よりも小さい直線と文字との接触状態について、前
記文字の認識の信頼度が向上する文字の再認識方法が登
録されているテーブル９０を、さらに備え、前記再認識
手段８９は、上記テーブル９０に登録されている再認識
方法により前記再認識を行う。

【００８７】前記テーブル９０に登録されている再認識
方法は、例えば、前記文字分離手段８６によって分離さ
れた文字の特定領域を用いて認識する方法である。前記
文字の特定領域は、前記文字に外接する矩形の分割領域
に含まれる領域である。

【００８８】また、さらに、他の発明は、例えば、前記
文字認識手段８７によって認識される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、前記文字認識手段が誤って認識しやすい文字と
正しい文字とが組み合わせられた文字対と、前記接触文
字の認識の信頼度が向上する文字の再認識方法が登録さ
れているテーブルを、さらに備え、前記再認識手段８９
は、前記文字認識手段８７によって認識された文字が上
記テーブル９０に登録されている文字対に含まれる場
合、前記テーブル９０に登録されている再認識方法によ
り前記再認識を行うように構成される。

【００８９】前記テーブル９０に登録されている認識方
法は、例えば、前記文字分離手段８７によって分離され
た文字の特定領域を用いて認識する方法である。前記文
字の特定領域は、例えば、前記文字に外接する矩形の分
割領域に含まれる領域である。

【００９０】また、さらに、他の発明は、前記文字認識
手段８７によって認識される信頼度が予め定められたし
きい値よりも小さい直線と文字との接触状態について、
該信頼度と、前記文字認識手段が誤認識しさすい文字と
正しい文字との組み合わせである文字対と、前記接触文
字の認識の信頼度が向上する文字の再認識方法が登録さ
れているテーブル９０を、さらに備え、前記再認識手段
８９は、前記文字認識手段８７によって認識された文字
が上記テーブル９０に登録されている文字対に含まれ、
かつ上記テーブル９０に登録されている前記文字認識手
段８７によるその文字の認識の信頼度が予め定められた
しきい値よりも小さい場合、前記テーブル９０に登録さ
れている認識方法により前記再認識を行う。

【００９１】前記テーブル９０に登録されている再認識
方法は、前記文字分離手段８６によって分離された文字
の特定領域を用いて認識する方法である。前記文字の特
定領域は、例えば、前記文字に外接する矩形の分割領域
に含まれる領域である。

【００９２】また、さらに、他の発明は、前記文字認識
手段８７によって認識される信頼度が予め定められたし
きい値よりも小さい直線と文字との接触状態について、
その接触状態の特徴を表すパラメータと、該信頼度と、
前記文字認識手段８７が誤認識し易い文字と正しい文字
の組み合わせから成る文字対と、前記接触文字の認識の
信頼度が向上する文字の認識方法が登録されているテー
ブル９０を、さらに備え、前記再認識手段８９は、上記
直線と文字との接触状態の特徴を表す各パラメータの値
を算出し、該パラメータと、前記文字認識手段８７によ
って認識された文字が上記テーブル９０に登録されてお
り、かつ上記テーブル９０に登録されている前記文字認
識手段８７によるその文字の認識の信頼度が予め定めら
れたしきい値よりも小さい場合、前記テーブル９０に登
録されている再認識方法により前記再認識を行う。

【００９３】前記テーブルに登録されている再認識方法
は、例えば、前記文字分離手段によって分離された文字
の特定領域を用いて認識する方法である。前記文字の特
定領域は、例えば、前記文字に外接する矩形の分割領域
に含まれる領域である。

【００９４】この図１４に示す発明では、文字分離手段
８６が、枠または罫線等の直線と文字とが接触している
画像から上記文字のみを分離・抽出し、続いて、文字認
識手段８７が、該文字分離手段８６によって抽出された
文字を認識する。次に、信頼度算出手段８８が、該文字
認識手段８７によって認識される文字の信頼度を、前記
直線と前記文字との接触状態毎に算出し、続いて、再認
識手段８９が、該信頼度算出手段８８によって算出され
る信頼度が予め定められたしきい値よりも小さい直線と
文字との接触状態について、前記文字認識手段８７とは
異なる手法により前記文字を再認識する。

【００９５】したがって、前記文字認識手段８７によっ
て認識される信頼度が予め定められたしきい値よりも小
さい文字の認識率を向上できる。また、図１４に示す他
の発明では、前記再認識手段８９が、前記文字認識手段
８７によって認識される信頼度が予め定められたしきい
値よりも小さい直線と文字との接触状態について、前記
文字の認識の信頼度が向上する文字の再認識方法が登録
されているテーブル９０を参照して、前記文字認識手段
８７によって認識される信頼度が予め定められたしきい
値よりも小さい文字について、上記テーブル９０に登録
されている再認識方法により再認識を行う。

【００９６】したがって、前記文字認識手段８７によっ
て認識される信頼度が予め定められたしきい値よりも小
さい文字の認識率を向上できる。また、さらに、図１４
に示す他の発明では、前記再認識手段８９が、前記文字
認識手段８７によって認識される信頼度が予め定められ
たしきい値よりも小さい文字について、前記文字認識手
段８７が誤って認識しやすい文字と正しい文字とが組み
合わせられた文字対と、前記接触文字の認識の信頼度が
向上する文字の再認識方法が登録されているテーブル９
０を参照して、前記文字認識手段８７によって認識され
た文字が上記テーブル９０に登録されている文字対に含
まれる場合、前記テーブル９０に登録されている再認識
方法により再認識する。

【００９７】したがって、前記文字認識手段８７によっ
て認識される信頼度が予め定められたしきい値よりも小
さい文字の認識率を向上できる。また、さらに、図１４
に示す他の発明では、前記再認識手段８９が、前記文字
認識手段８７によって認識される信頼度が予め定められ
たしきい値よりも小さい直線と文字との接触状態につい
て、該信頼度と、前記文字認識手段が誤認識しさすい文
字と正しい文字との組み合わせである文字対と、前記接
触文字の認識の信頼度が向上する文字の再認識方法が登
録されているテーブル９０を参照して、前記文字認識手
段８７によって認識された文字が上記テーブル９０に登
録されている文字対に含まれ、かつ上記テーブル９０に
登録されている前記文字認識手段８７によるその文字の
認識の信頼度が予め定められたしきい値よりも小さい場
合、上記文字を前記テーブル９０に登録されている認識
方法により再認識する。

【００９８】したがって、前記文字認識手段８７によっ
て認識される信頼度が予め定められたしきい値よりも小
さい文字の認識率を向上できる。また、さらに、図１４
に示す他の発明では、前記再認識手段８９が、前記文字
認識手段８７によって認識される信頼度が予め定められ
たしきい値よりも小さい直線と文字との接触状態につい
て、その接触状態の特徴を表すパラメータと、該信頼度
と、前記文字認識手段８７が誤認識し易い文字と正しい
文字の組み合わせから成る文字対と、前記接触文字の認
識の信頼度が向上する文字の認識方法が登録されている
テーブル９０を参照して、予め算出した上記直線と文字
との接触状態の特徴を表す各パラメータの値と、前記文
字認識手段８７によって認識された文字が上記テーブル
９０に登録されており、かつ上記テーブル９０に登録さ
れている前記文字認識手段８７によるその文字の認識の
信頼度が予め定められたしきい値よりも小さい場合に、
前記テーブル９０に登録されている再認識方法により前
記文字を再認識する。

【００９９】したがって、前記文字認識手段８７によっ
て認識される信頼度が予め定められたしきい値よりも小
さい文字の認識率を向上できる。

【０１００】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を説明する。図１５は、本発明の一実施例であ
る画像抽出装置のシステム構成を示すブロック図であ
る。本装置において、処理の対象となる入力パターン
は、予め極端な傾きや回転等に対して補正が施され、さ
らに雑音の除去、及びかすれの穴埋め等の前処理を施さ
れた２値画像であるものとする。又、本実施例では便宜
上黒枠の帳票から枠を除去するものとする。つまり、サ
イズ、位置及び傾きが分からない文字枠に対して手書き
文字が書かれており、文字が該文字枠と接触したり該文
字枠からはみ出していても該文字枠だけを除去する。処
理の対象となる文字枠は、図１６(a) に示す規則的な表
形式のブロック枠、同図(b) に示す不規則な表形式のブ
ロック枠、同図(c) に示すフリーフォーマット枠などで
ある。

【０１０１】連結パターン抽出部１０１には、上述した
極端な傾きや回転に対する補正、雑音の除去、及び「か
すれ」の穴埋め等の前処理が施された入力パターンが入
力される。連結パターン抽出部１０１内のラベリング部
は、この入力パターンについて、枠の位置に関係なく接
触文字の候補を選択するため、縦、横、斜め方向の８方
向のいずれかで繋がっている連結パターンをラベリング
により抽出する。この様な８連結によるラベリングで得
られる連結パターンは、（イ）文字が接触していない場
合の枠、（ロ）枠に接触していない文字或いは文字の一
部、又は（ハ）枠に接触している文字のいずれかであ
る。

【０１０２】尚、ラベリングで得られた連結パターンの
サイズは後の処理で必要となるので、ラベリングの処理
中にその連結パターンを矩形に近似する。そして、該矩
形の角の座標を求め、これをメモリに記憶しておく。

【０１０３】枠抽出部１０２は、該連結パターン抽出部
１０１によって抽出された連結パターンの中から、文字
枠に相当する直線を抽出する。この直線（枠）を抽出す
る際には、例えば、処理の高速化のために、先ず線幅の
太い直線（枠）を抽出し、これによって抽出できなかっ
た場合には次に線幅の細い直線（枠）を抽出する。

【０１０４】図１７は、枠抽出部１０２の一実施例のブ
ロック図である。投影部１０２ａは、連結パターン抽出
部１０１により抽出された部分パターンを水平方向及び
垂直方向に投影する。直線検出部１０２ｂは、該投影部
１０２ａにより得られた水平方向の投影情報及び垂直方
向の投影情報から水平線及び垂直線を検出する。第１の
４辺検出部１０２ｃは、該直線検出部１０２ｂにより検
出された直線から構成される矩形について、その４辺を
検出する。追跡部１０２ｄは、上記直線検出部１０２ｂ
及び第１の４辺検出部１０２ｃで検出できなかった線幅
の細い直線を求めるため、後述するｎランレングス手法
により線を追跡する。第２の４辺検出部１０２ｅは、該
追跡部１０２ｄにより求められた線幅の細い直線から構
成される矩形について、その４辺を検出する。枠抽出部
２２ｆは、４辺検出部２２ｃ，２２ｅで求められた矩形
情報から枠を抽出する。

【０１０５】続いて、上記構成の枠抽出部１０２の動作
を、より詳細に説明する。（Ａ）線幅の太い直線／枠の抽出枠のサイズが未知で、かつ、枠に文字が接触している場
合でも、安定に枠を抽出する必要がある。そこで、投影
部１０２ａは、ラベリングで得られた部分パターン毎に
投影をとる。そして、直線検出部１０２ｂにおいて、投
影値と部分パターンを矩形に近似して得られる縦横サイ
ズとの比を計算して、その比が所定の閾値以上であれば
長い直線であると判断する。

【０１０６】尚、この直線は、枠だけでなく文字のスト
ロークの場合もあるので、できるだけ最外郭の直線で矩
形らしさを満足する４辺に相当する直線を求める。図１
８は、連結パターン抽出部１０１でのラベリング処理に
より得られた部分パターンの水平方向及び垂直方向の投
影を示す図である。同図中、ラベリングにより得られた
部分パターン１４１は、横方向に長さＬｘ、縦方向に長
さＬｙを有する。また、部分パターンは、垂直方向ｉの
投影ＶＰ及び水平方向ｊの投影ＨＰを有する。

【０１０７】ここで、説明の便宜上、画像のサイズをｍ
列×ｎ行、同図に示す平面座標系での座標（ｉ，ｊ）の
濃度値をｆ（ｉ，ｊ）、ｉ行目の水平方向の投影をＰ_h
（ｉ）、ｊ列目の垂直方向の投影をＰ_v（ｊ）とする
と、Ｐ_h（ｉ）及びＰ_v（ｊ）は夫々次の（２）式及び
（３）式で表される。

【０１０８】

【数１】

【０１０９】直線検出部１０２ｂは、投影部１０２ａで
求められた水平方向の投影及び垂直方向の投影につい
て、連結パターン抽出部１０１で求められた部分パター
ンの矩形座標の矩形の縦横の長さＬｘ及びＬｙを用い
て、次の（４）式により縦の長さＬｘと水平方向の投影
Ｐ_h（ｉ）との比、又、次の（５）式により横の長さＬ
ｙと垂直方向の投影Ｐ_v（ｊ）との比を求め、これらの
比を閾値ＴＨ_Lと比較する。

【０１１０】

【数２】

【０１１１】そして、（４）式と（５）式における比が
閾値ＴＨ_L以上であれば、部分パターンが枠を構成する
直線の候補であるものとする。即ち、図２４に示すよう
に、抽出された部分パターンが矩形である場合には、そ
の直線部分の水平投影値Ｐ_h（ｉ）と垂直投影値Ｐ
_v（ｊ）が最も大きくなり、その縦横の長さＬｘとＬｙ
との比も大きくなるので、（４）式と（５）式により直
線部分を判別することができる。

【０１１２】図１９は、枠の構成要素を示し、枠は上
枠、下枠、左枠、及び右枠により構成されている。上枠
は、線分（直線）ｉ１及びｉ１１からなる。下枠は、線
分（直線）ｉ２及びＩ２２からなる。左枠は、線分（直
線）ｊ１及びｊ１１からなる。右枠は、線分（直線）ｊ
２及びｊ２２からなる。図２４に示すようにラベリング
により得られた部分パターンの矩形の縦横の長さを夫々
Ｌｘ，Ｌｙとしたとき、投影と長さの比が所定の閾値Ｔ
Ｈ_L以上であれば、該部分パターンを枠を構成する線分
（直線）の候補とする。

【０１１３】枠抽出部１０２ｆは、４辺検出部１０２ｃ
の検出結果に基づいて枠を抽出する。すなわち、４辺検
出部１０２ｃで直線部分が検出されると、該直線情報に
基づいて枠を抽出し、直線部分が検出されないと他の候
補に着目して枠を抽出する。

【０１１４】上記のように枠の骨格を構成する直線を求
めた後、その骨格線の前後に注目し、骨格線から連続し
て何本水平線の候補或いは垂直線の候補が存在するかを
計算し、その値を各辺の線幅の基準とする。

【０１１５】図２０(a) は、上記のようにして抽出され
た線幅の太い枠の一例を示す図である。同図(a) の例で
は、抽出された枠１５１に対して図中、破線で示す骨格
線１５２が得られている。また、各辺の線幅はこの例で
は２画素分である。（Ｂ）線幅の細い直線／枠の抽出上記した図２０(a) に示された線幅の太い直線／枠の抽
出処理では抽出できなかった部分パターンに注目して、
線幅の細い直線／枠の抽出を行う。

【０１１６】同図(b) は線幅の細い枠の一例を示す図で
あり、枠１５３及びその骨格線１５４が示されている。
線幅の細い枠には、同図に示す如く、線幅が１画素分程
度で、かつ、傾き等による凹凸が生じているパターンが
含まれる。同図に示す線幅の細い枠を安定に抽出するた
めに、本実施例では次のようにして枠を探索する。

【０１１７】即ち、枠の抽出には、図２１に示すよう
に、傾きによる凹凸が生じていても直線を検出できる
「ｎラインランレングス」と名付ける直線長を定義す
る。通常のランレングスでは、水平或いは垂直に連続し
ている画素数を計算するので、図２０(b) に示すような
凹凸が生じている長い直線では短い直線に分割されてし
まうが、図２１に示すｎラインランレングスでは、ある
ｎラインの間で８連結で接続するランレングスをｎライ
ンランレングスとして計算する。ｎの値は傾きの大きさ
で決定し、傾きが大きければ大きい程ｎを大きくする。
ｎ＝１の場合は、通常のランレングスに相当する。

【０１１８】図２１に示す例はｎ＝３の場合を示し、こ
の場合は凹凸が生じているにもかかわらず、７画素分の
水平線として直線を抽出することができる。枠抽出部１
０２ｆの追跡部１０２ｄは、連結パターン抽出部１０１
のラベリング部で得られた部分パターンの矩形座標より
矩形を構成する直線の両端及び中点等の複数の点から枠
の内部に垂線を下ろして部分パターンと接触した位置を
開始点として、上記ｎラインランレングスにより、開始
点より左右或いは上下方向へ部分パターンに沿って探索
する。

【０１１９】この様な手法を用いることにより、枠から
文字がはみ出していても、安定に線幅の細い直線を求め
ることができる。４辺検出部１０２ｃは、上記のように
して得られた直線の長さを、水平線の候補はＮｈｉ、垂
直線の候補はＮｖｊとする。又、連結パターン抽出部１
０１のラベリング部で求めた部分パターンの矩形座標の
矩形の縦横の長さＬｘ及びＬｙを用いて、次の（８）式
により縦の長さＬｘと水平線の候補の直線長Ｎｈｉとの
比、又は、次の（９）式により横の長さＬｙと垂直線の
候補の直線長Ｎｖｊとの比を求め、これらの比を閾値Ｔ
Ｈ_Lと比較する。

【０１２０】

【数３】

【０１２１】そして、（８）式と（９）式における比が
閾値ＴＨ_L以上であれば、各候補を、枠を構成する直線
の候補であるものとする。第１の４辺検出部１０２ｃ
は、直線検出部１０２ｂにより検出された水平線の候補
と垂直線の候補の中から、夫々最外郭の水平線候補ｉ
１，ｉ２及び垂直線の候補ｊ１，ｊ２に着目して、次の
（１０）式及び（１１）式を計算して閾値ＴＨ _L′と比
較する。

【０１２２】

【数４】

【０１２３】枠抽出部１０２ｆは、前記した場合と同様
に、第１の４辺検出部１０２ｃの検出結果に基づいて枠
を抽出する。つまり、第１の４辺検出部１０２ｃで直線
部分が検出されるとこれに基づいて枠を抽出し、直線部
分が検出されないと他の候補に着目して上記処理を繰り
返すことにより、枠を抽出する。具体的には、候補が上
記（１０）式、（１１）式を満足すれば枠を構成する直
線と見なし、満足しなければ他の候補に着目して上記処
理を繰り返す。尚、線幅の基準値は、枠抽出中に得られ
た最大と最小の位置座標の差として求める。

【０１２４】この様にして１つの文字枠を求めた後、抽
出された文字枠を全画像にわたってスキャンして、連結
パターン抽出部１０１により抽出された部分パターンと
のマッチングをとってから新たに文字枠を抽出すること
も可能である。

【０１２５】又、連結パターン抽出部１０１において求
めた部分パターンを近似した矩形と抽出された文字枠と
のサイズ比を算出し、算出したサイズ比が所定の閾値内
である部分パターンだけに絞り込んで、抽出済の文字枠
とのマッチングをとってから新たに文字枠を抽出するこ
とも可能である。

【０１２６】更に、抽出された文字枠のサイズ分だけ左
右或いは上下の範囲内に存在する部分パターンを抽出
し、抽出した全ての部分パターンが次に説明する属性付
加手段において文字だけからなるパターンであると判定
されている場合に、上記抽出された文字枠を文字パター
ンと判定し直す手段を設けても良い。この様な手段を設
けた場合、例えば「国」という漢字のように枠に相当す
る矩形部分を持つ文字であっても、文字の一部を誤って
枠として判定してしまうことを防ぐことができる。

【０１２７】枠交点算出部１０３は、該枠抽出部１０２
によって抽出された枠の内、文字が接触している枠につ
いて、該枠と該文字の線分との交点を算出する。該枠交
点算出部１０３は、例えば、図２２に示すように連結パ
ターン属性付加部１２３、接触度検出部１３１、枠分離
部１２４、２交点算出部１２５−２、及び３交点算出部
１２５−１等から構成される。

【０１２８】連結パターン属性付加部１２３は、連結パ
ターン抽出部１０１により抽出された連結パターンに対
して、枠抽出部１０２の抽出結果に基づいて、「枠」、
「文字パターン又はその一部」、または「枠と文字パタ
ーンあるいはその一部との接触パターン」（文字と枠と
の接触パターン）のいずれかの属性を付加する。

【０１２９】接触度検出部１３１は、上記「文字と枠と
の接触パターン」の属性が付加された連結パターンに対
して、「枠と文字の幅」及び「文字と枠の接触の度合
い」から“接触度”を検出する。すなわち、例えば、文
字幅が枠幅より大きく、文字と枠との接触が比較的少な
い場合には、接触度が小さいと判断する。他方、文字幅
と枠幅が略同じであるか、或いは文字と枠との接触が比
較的多い場合には、接触度が大きいと判断する。接触度
が小さい場合は、枠分離部１２４で枠を分離してから、
２交点算出部１２５−２で文字と枠との交点を算出す
る。又、接触度が大きい場合は、３交点算出部１２５−
１で文字と枠との交点を算出する。

【０１３０】３交点算出部１２５−１で３交点を算出し
て枠から文字線分を抽出した方がより正確に文字線分を
枠から抽出できるが、処理時間が長くなる。このため、
上記“接触度”を算出して、文字と枠との接触が複雑で
ある場合のみ、３交点算出部１２５−１で３交点を算出
し、それ以外は文字線分抽出処理を高速化するために２
交点算出部１２５−２で２交点を算出する。尚、このよ
うに２交点算出部１２５−２と３交点算出部１２５−１
の双方を設ける代わりに、いずれか一方のみを設けるよ
うにしてもよい。

【０１３１】枠分離部１２４は、上記連結パターン属性
付加部１２３で「枠」または「文字と枠との接触パター
ン」（接触文字パターン）という属性が付与された連結
パターンから枠を分離する。枠分離部１２４は、例えば
図２３に示すように、枠部分の辺の幅を算出する辺幅算
出部１２４ａ、枠を除去する枠除去部１２４ｂ、枠を除
去したパターンについて再びラベリングを施し、面積の
小さいパターンを雑音として除去する枠雑音除去部１２
４ｃ、および属性付加部１２４ｄからなる。上記属性付
加部１２４ｄは、連結パターン属性付加部１２３におい
て属性が付与されなかったパターンの内、枠を除去して
も残るパターンには「接触文字パターン」の属性を付加
し、枠を除去したら何も残らないパターンには「枠」だ
けの属性を付加する。（４）枠の分離辺幅算出部１２４
ａは、枠の外輪郭の凹凸と内輪郭の凹凸を考慮して、枠
抽出時に得られた線幅基準値＋２（外輪郭に＋１、内輪
郭に＋１）を線幅として求め、枠抽出において算出した
骨格線或いは抽出中の最大／最小の位置を基に枠の外輪
郭と内輪郭の座標値を決定する。

【０１３２】図２４は、線幅の太い枠と線幅の細い枠に
ついて、その骨格線、外輪郭、内輪郭、及び線幅を示す
図であり、「太い線」は外輪郭、「点線」は内輪郭、
「細い線」は骨格線を示す。同図(a) は線幅の太い枠を
示し、同図(b) は線幅の細い枠を示す。辺幅算出部１２
４ａは、同図に示すように、線幅の太い枠と線幅の細い
枠について枠の外輪郭と内輪郭の座標値を決定する。
尚、同図において、座標系は図２５に示すように設定さ
れている。

【０１３３】辺幅算出部１２４ａは、上枠の外輪郭及び
内輪郭のｉ座標がそれぞれｉ１，ｉ１１でその幅がｗ１
であると、上枠の枠座標を（ｉ１−１，ｉ１１＋１）、
その辺幅をｗ１＋２とする。又、下枠の外輪郭及び内輪
郭のｉ座標がそれぞれｉ２，ｉ２２でその幅がｗ２であ
ると、下枠の枠座標を（ｉ２＋１，ｉ２２−１）、その
辺幅をｗ２＋２とする。同様にして、左枠の外輪郭及び
内輪郭のｊ座標がそれぞれｊ１，ｊ１１で幅がｗ３であ
ると、左枠の枠座標を（ｊ１−１，ｊ１１＋１）、その
辺幅をｗ３＋２とする。更に、右枠の外輪郭及び内輪郭
のｊ座標がそれぞれｊ２，ｊ２２でその幅がｗ４である
と、右枠の枠座標を（ｊ２＋１，ｊ２２−１）、その辺
幅をｗ４＋２とする。

【０１３４】枠除去部１２４ｂは、辺幅算出部１２４ａ
によって求められた枠の外輪郭と内輪郭の座標値とを基
に、外輪郭と内輪郭の間に存在する枠のパターンを除去
する。

【０１３５】枠雑音除去部１２４ｃは、上述のようにし
て枠除去部１２４ｂによって枠が除去されたパターンに
対して再びラベリングを行い、各ラベル毎に面積が小さ
い等の特徴を抽出して、該抽出情報を基に枠の一部とし
て残存しているパターンを除去する。属性付加部１２４
ｄは、連結パターン属性付加部１２３で属性が付加され
なかったパターンに着目して、該パターンの内枠を除去
してもパターンが存在しているものは接触文字パターン
或いは文字の一部であることを示すパターンの属性を付
加し、枠を除去したらパターンがなくなるものは枠だけ
であることを示すパターンの属性を付加する。

【０１３６】尚、接触文字パターン或いは文字の一部
は、後述するように、枠内の文字部分を補間した後、他
の接触文字パターン或いは文字の一部と統合されるか、
それとも単独のパターンとするか判断される。

【０１３７】図２６は、３交点算出部１２５−１の一実
施例を示すブロック図である。前記接触度が大きく、文
字と枠との接触が複雑である場合、枠を分離しない状態
のままで、３交点算出部内１２５−１において枠と文字
との交点を算出する。

【０１３８】文字／枠交点算出部（文字と枠交点算出
部）２５１１は、接触文字パターン或いは文字の一部を
対象として、それらのパターンと枠との交点を算出す
る。即ち、枠分離部１２４において求められた枠の外輪
郭と内輪郭の線分に関する情報を用いて、外輪郭に対し
て１画素分、枠の外側方向にある第１の直線、内輪郭に
対して１画素分、枠の内側にある第２の直線を求め、こ
れらの第１及び第２直線と接触文字パターン或いは文字
の一部が交わる点で黒から白、或いは、白から黒に変化
する点を求め、これを“交点”（文字と枠との交点）と
して抽出する。そして、本実施例では、“文字と枠との
交点”を所定の線幅を有する文字と上記第１または第２
の直線とが交わる２点ｘ，ｙを用いて、（ｘ，ｙ）と表
現する。該ｘ，ｙは、上記直交ｉ−ｊ座標系において
は、（ｉ，ｊ）で表される。すなわち、上枠の外輪郭と
文字との交点、上枠の内輪郭と文字の交点、さらには下
枠、左枠及び右枠についても、それらの外輪郭と内輪郭
と文字との交点を算出する。

【０１３９】枠内文字の交点算出部２５１２は、全ての
文字と枠の交点に関してその位置から枠内方向へ文字線
分を探索して枠内の交点を算出すると共に、その文字線
分の面積を求める。ただし、文字線分の探索中に文字線
分が途切れてしまう場合には、算出された交点が文字と
枠との交点ではないと判定する。

【０１４０】次に、枠外文字の交点算出部２５１３は、
全ての文字と枠の交点に関してその位置から枠外方向へ
枠幅分程度まで文字線分を探索して、該文字線分の枠外
の交点を算出すると同時に、その探索した文字線分の面
積を求める。枠外方向とは、枠内方向とは反対の方向で
あり、枠から外側へ向かう方向を指し、枠外の交点と
は、枠から遠い交点を指す。文字／枠交点判定部（文字
と枠の交点判定部）２５１４は、文字／枠交点算出部２
５１１及び枠外文字の交点算出部２５１２でそれぞれ求
めた上記２つの文字線分の面積の和が所定の閾値以下で
あれば、文字線分を雑音とみなして除去すると共に、そ
の交点が文字と枠との交点ではないと判定する。

【０１４１】図２７は、上記２交点算出部１２５−２の
一実施例を示すブロック図である。接触度が小さい場
合、前記枠分離部１２４で枠を分離した後、２交点算出
部１２５−２で交点を算出する。文字／枠交点算出部２
５１１は、前記接触文字パターンについて枠と文字との
交点を算出する。枠外文字の交点算出部２５１２は、全
ての文字と枠の交点に関してその位置から枠外方向へ枠
幅分程度まで文字線分を探索して枠外の交点を算出する
と同時に、その探索した文字線分の面積を求める。

【０１４２】文字／枠交点判定部２５１３は、枠外文字
の交点算出部２５１２で求めた上記文字線分の面積が所
定の閾値以下であれば、文字線分を雑音とみなして除去
すると共に、その交点が文字と枠との交点ではないと判
定する。

【０１４３】交点対応付け部１０４は、交点枠算出部１
０３で得られた交点情報に基づいて、枠と接触している
文字線分の方向性を求める。また、枠の両側に接触して
いる２つの文字線分間の距離ｄ₁を求める。さらに、上
記方向性と、上記２つの文字線分間の距離ｄ₁、及び方
向に基づく文字線分の連続性の条件とにより、文字と枠
との各交点を対応付ける。この交点対応付け部１０４
は、例えば、３交点対応付け部と２交点対応付け部から
構成される。

【０１４４】３交点対応付け部は、前記３交点算出部１
２５−１で得られた「枠から遠い交点」、「文字と枠の
交点」及び「枠内交点」の３種類の交点情報に基づい
て、文字線分の方向性を求める。また、この方向性と、
文字線分と枠との交点から求められる前記２つの文字線
分間の距離ｄ₁、及び方向に基づく文字線分の連続性の
条件により、文字と枠との各交点を対応付ける。

【０１４５】２交点対応付け部は、２交点算出部１２５
−２で得られた「文字と枠の交点」及び「枠外交点」の
２種類の交点に基づいて、文字線分の方向性を求める。
又、この方向性と、枠外の交点とから求められる文字線
分間の距離、及び方向に基づく文字線分の連続性の条件
により、文字と枠との各交点を対応付ける。そして対応
付けられた交点同士を接続して前記枠分離部１２４によ
って文字枠が除去されたことによって分離された文字パ
ターンを修復する補間処理を行う。本実施例では、該文
字パターンを仮文字線分として取り扱う。

【０１４６】ここで、上記３交点対応付け部の処理をよ
り詳細に説明する。３交点対応付け部は、「枠から遠い
交点」、「枠内の交点」及び「文字と枠との交点」の３
種類の交点の位置情報から枠外の２つの文字線分の方向
性を算出し、それらの文字線分の方向が略同じであるこ
とが判明されれば文字と枠との交点間を対応付ける。方
向性が一致しない場合であっても、枠内の交点間の距離
に関する条件または連続性対応に関する条件が満足され
る場合には、文字と枠との交点間を対応付ける。この場
合、枠内の交点に対して対応付けの条件判定を行うの
で、文字と枠との交点間を正しく対応付けすることがで
きる。

【０１４７】図２８は、方向性が一致する場合の文字と
枠の交点間の対応付けを示す図であり、同図において、
ハッチング部分は帳票等から光学的に読み取られた黒画
素の画像、「黒丸」は枠と文字との交点、「黒三角形」
は枠から遠い交点、矢印Ｈ１，Ｈ２は方向性を表す。他
方、図２９は方向性が一致しない場合の文字と枠の交点
間の対応付けを示す図であり、同図中、ハッチング部分
は帳票等から光学的に読み取られた黒画素の画像、「黒
丸」は枠と文字との交点、「黒三角形」は枠から遠い交
点、矢印Ｈ１′，Ｈ２′は方向性を表す。

【０１４８】図２８の場合には、枠内の仮文字線分が対
角線方向に方向性があると判断される、図２９の場合に
は方向性無しと判断される。図３０は、前記３交点対応
付け部の処理の一実施例をより詳細に説明する図であ
り、該処理をソフトウェアで実現する場合のフローチャ
ートを示す。まず、３交点算出部１２５−１からの交点
等に関する情報を受け（ステップＳ６１）、次に、枠幅
をｗに設定する（ステップＳ６２）。続いて、文字と枠
との交点Ｐ₁₁（Ａ，Ｂ）、その枠内の交点Ｐ_1n（Ａ_n，
Ｂ_n）、及び枠から遠い交点Ｐ_1t（Ａｔ，Ｂｔ）から、
枠外の文字線分の一方のパターン（第１のパターン）の
方向性Ｈ１を求める（ステップＳ６３）。尚、交点Ｐ₁₁
（Ａ，Ｂ）は、交点Ｐ₁₁の左端の座標がＡ、右端の座標
がＢであることを示す。その他の交点Ｐ_1n，Ｐ_1tについ
ても同様であり、後記Ｐ₂₁，Ｐ_2n及びＰ_2tについても同
様である。さらに、文字と枠との交点Ｐ₂₁（Ｃ，Ｄ）、
その枠内の交点Ｐ_2n（Ｃ_n，Ｄ_n）、及び枠から遠い交
点Ｐ_2t（Ｃ_t，Ｄ_t）から、枠外の文字線分の他方のパ
ターン（第２のパターン）の方向性Ｈ２を求める。そし
て、上記２つの方向性Ｈ１とＨ２がほぼ同一とみなせる
か否かを判断する（ステップＳ６５）。このように、ス
テップＳ６３〜Ｓ６５で、枠外の２つの文字線分パター
ンの方向性が一致するか否かを確認する。

【０１４９】ステップＳ６５の判断結果がＮＯである
と、枠内の交点Ｐ_1nの中点Ｔ１を（Ａ _n＋Ｂ_n）／２を
演算することにより求める（ステップＳ６６）。さら
に、枠内の交点Ｐ_2nの中点Ｔ２を（Ｃ_n＋Ｄ_n）／２を
演算することにより求める（ステップＳ６７）。続い
て、枠内の交点Ｐ_1nとＰ_2nとの間の距離ＫＮをＡＢＳ
（Ｔ１−Ｔ２）より求める（ステップＳ６８）。尚、
“ＡＢＳ”は、（Ｔ１−Ｔ２）の値の絶対値を表す記号
である。次に、ＫＮ＜ｗであるか否か、すなわち、該枠
内の交点間の距離ＫＮが枠幅ｗより小さいか否かを判断
する（ステップＳ６９）。該ステップＳ６９の判断結果
がＮＯであると、上記２の交点Ｐ₁₁，Ｐ₂₁の左端と右端
間の距離Ｌ１，Ｌ２を、それぞれ（Ｃ−Ｂ），（Ａ−
Ｄ）を演算することにより求める（ステップＳ７０）。
そして、Ｌ１＞０であるか否か、すなわち、該距離Ｌ１
が“０”より大きいか否かを判断し（ステップＳ７
１）、該ステップＳ７１の判断結果がＹＥＳであると、
次にＬ１＜ｗ／２であるか否か、すなわち、該距離Ｌ１
が枠幅ｗの半分よりも短いか否かを判断する（ステップ
Ｓ７２）。ステップＳ７１またはステップＳ７２の判断
結果がＮＯの場合は、Ｌ２＞０であるか否か、すなわ
ち、上記距離Ｌ２が“０”より大きいか否かを判断する
（ステップＳ７３）。そして、該ステップＳ７３の判断
結果がＹＥＳであると、Ｌ２＜ｗ／２であるか否か、す
なわち、該距離Ｌ２が枠幅ｗの半分よりも短いか否かを
判断する（ステップＳ７４）。このようにステップＳ６
６〜Ｓ７４で、枠内の２つの交点Ｐ_1nとＰ_2n間の距離Ｋ
Ｎ並びに枠と文字線分との交点Ｐ₁₁とＰ₂₁間の距離Ｌ
１，Ｌ２と枠幅ｗとの距離関係を確認する。

【０１５０】ステップＳ７３或いはステップＳ７４の判
断結果がＮＯの場合は、Ａ_n＜Ｃ_n＜Ｂ_nであるか否か
を判断する（ステップＳ７５）。そして、該ステップＳ
７５の判断結果がＮＯの場合は、次に、Ａ_n＜Ｄ_n＜Ｂ
_nであるか否かを判断する（ステップＳ７６）。そし
て、該ステップＳ７６の判断結果がＮＯであると、処理
はステップＳ６３に戻る。このように、ステップＳ７５
及びステップＳ７６で、枠と文字との交点Ｐ₁₁，Ｐ₂₁の
位置情報Ａ，Ｂ，Ｃ，Ｄに基づいて、枠外の相対する２
つの文字線分について連続性対応の条件を満足するか否
かを確認する。

【０１５１】そして、上記ステップＳ６５，Ｓ６９，Ｓ
７２，Ｓ７４又はＳ７６の判断結果がＹＥＳの場合は、
後述する枠内文字抽出部１０５の処理へ移行する（ステ
ップＳ７７）。

【０１５２】３交点対応付け部が、上記図３０に示すフ
ローチャートの処理により、枠内の交点に対して対応付
けの条件判定を行うので、例えば、図３１及び図３２に
示すように文字と枠との交点を正しく対応付けすること
ができる。図３１は、枠内の交点により該対応付けが行
われる場合を示し、ハッチング部分は帳票等から光学的
に読み取られた黒画素の画像、「黒丸」は枠と文字との
交点、「黒四角形」は枠内の交点を示す。図３１(a)
は、帳票等から読み取られた実際の画像パターンを示
し、同図(b) は文字と枠との交点では対応付けられない
が、同図(c) に示すように、前記図３０のフローチャー
トのステップＳ７５で、Ａ_n＜Ｃ_n＜Ｂ_nの条件を満足
するので、枠内の交点により枠を介して対向している文
字と枠との２つの交点Ｐ₁₁（Ａ，Ｂ）とＰ₂₁（Ｃ，Ｄ）
が対応付けられることを示す。又、図３２は枠内の交点
により交点の対応付けが行われない場合を示し、ハッチ
ング部分は帳票等から光学的に読み取られた黒画素の画
像、「黒丸」は枠と文字との交点、「黒四角形」は枠内
の交点を示す。図３２(a) は実際のパターンを示し、同
図(b) は枠内の２つの交点Ｐ_1n（Ａ_n，Ｂ_n），Ｐ
_2n（Ｃ_n，Ｄ_n）の位置関係により枠を介して対向して
いる文字と枠との２つの交点Ｐ₁₁（Ａ，Ｂ）とＰ
₂₁（Ｃ，Ｄ）とが対応付けされないことを示す。尚、図
３１(c) 及び図３２(b) では、枠内交点Ａ_n，Ｂ_n，Ｃ
_n，Ｄ_nの位置を、説明が理解し易くなるように、これ
らの交点の位置を枠ｗの外周上にマッピングしている。

【０１５３】次に、前記２交点対応付け部の動作を詳細
に説明する。該２交点対応付け部は、枠から遠い交点と
文字と枠との交点の座標から枠を介して対向している２
つの文字線分のパターンの方向性を算出し、略同じ方向
が算出されれば上記２つの枠と文字との交点間を対応付
ける。また、方向性が一致しない場合であっても、文字
と枠との交点間の距離または連続性対応の条件を満足す
る場合には、上記２つの文字と枠との交点間を対応付け
る。

【０１５４】図３３は、該２交点対応付け部の処理の一
実施例をより詳細に説明する図であり、処理をソフトウ
ェアで実現する場合のフローチャートを示す。尚、Ｐ₁₁
（Ａ，Ｂ）、Ｐ_1t（Ａ_t，Ｂ_t）、Ｐ₂₁（Ｃ，Ｄ）、Ｐ
_2t（Ｃ_t，Ｄ_t）は、前述した図３０のフローチャート
に示すものと同一である。まず、２交点算出部１２５−
２から交点等に関する情報を入力し（ステップＳ８
１）、次に、枠幅をｗに設定する（ステップＳ８２）。
そして、枠の一端での文字と枠との交点Ｐ₁₁（Ａ，Ｂ）
と該交点Ｐ₁₁に対応する枠から遠い交点Ｐ_1t（Ａ_t，Ｂ
_t）とから、枠外の一方の文字線分のパターン（第１の
パターン）の方向性Ｈ１を求める（ステップＳ８３）。
続いて、枠の他端での文字と枠との交点Ｐ₂₁（Ｃ，Ｄ）
と該交点Ｐ₂₁に対応する枠から遠い交点Ｐ_2t（Ｃ_t，Ｄ
_t）とから、枠外の他方の文字線分のパターン（第２の
パターン）の方向性Ｈ２を求める（ステップＳ８４）。
そして、上記２つの方向性Ｈ１とＨ２がほぼ等しいとみ
なせるか否かを判断する（ステップＳ８５）。このよう
にして、ステップＳ８３〜Ｓ８５で、枠外の２つの文字
線分パターンの方向性の対応関係を確認する。

【０１５５】上記ステップＳ８５の判断結果がＮＯであ
ると、次に、文字と枠との交点Ｐ₁₁の中点Ｔ１の座標値
（Ａ＋Ｂ）／２を算出する（ステップＳ８６）。さら
に、文字と枠との交点Ｐ₂₂の中点Ｔ２の座標値（Ｃ＋
Ｄ）／２を算出する（ステップＳ８７）。さらに、上記
２つの交点Ｐ₁₁，Ｐ₂₂間の距離ＫであるＡＢＳ（Ｔ１−
Ｔ２）を算出する（ステップＳ８８）。“ＡＢＳ”は
（Ｔ１−Ｔ２）の絶対値を示す記号である。そして、次
にＫ＜ｗであるか否かを判断する（ステップＳ８９）。
該ステップＳ８９の判断結果がＮＯであると、上記２つ
の交点Ｐ₁₁，Ｐ₂₁の右端と左端間の距離Ｌ１，Ｌ２を、
それぞれ（Ｃ−Ｂ），（Ａ−Ｄ）を算出して求める。続
いて、Ｌ１＞０であるか否かを判断し（ステップＳ９
１）、該ステップＳ９１の判断結果がＹＥＳであると、
続いてＬ１＜ｗ／２であるか否かを判断する（ステップ
Ｓ９２）。ステップＳ９１またはステップＳ９２の判断
結果がＮＯの場合は、さらにＬ２＞０であるか否かを判
断する（ステップＳ９３）。ステップＳ９３の判断結果
がＹＥＳであると、次にＬ２＜ｗ／２であるか否かを判
断する（ステップＳ９４）。このように、ステップＳ８
６〜Ｓ９４で、上記枠と文字線分との交点Ｐ₁₁とＰ₂₁間
の距離Ｋ並びに上記２つの交点Ｐ₁₁，Ｐ₂₁の右端と左端
間の距離Ｌ１，Ｌ２と枠幅ｗとの距離関係を確認をす
る。

【０１５６】そして、上記ステップＳ９３またはステッ
プＳ９４の判断結果がＮＯの場合は、Ａ＜Ｃ＜Ｂである
か否かを判断する（ステップＳ９５）。そして、該ステ
ップＳ９５の判断結果がＮＯの場合は、さらにＡ＜Ｄ＜
Ｂであるか否かを判断する（ステップＳ９６）。該ステ
ップＳ９６の判断結果がＮＯであると、前記ステップＳ
８３に戻る。このようにステップＳ９５及びステップＳ
９６で、枠と文字との交点Ｐ₁₁，Ｐ₂₁の位置情報Ａ，
Ｂ，Ｃ，Ｄに基づいて、枠外の相対する２つの文字線分
について連続性対応の条件を満足するか否かを確認す
る。

【０１５７】そして、上記ステップＳ８５，Ｓ８９，Ｓ
９２，Ｓ９４又はＳ９６の判断結果がＹＥＳの場合は、
後述する枠内文字抽出部１０５内の枠内文字補間部１０
５１の処理へ移行する（ステップＳ９７）。

【０１５８】図９に示す枠内文字抽出部１０５は、前記
交点対応付け部１０４によって対応付けられた交点とに
よって規定される枠内中の画像を文字成分であると判断
する。そして、文字成分と判断されたものは抽出され、
それ以外は枠の画像であるとみなして除去する。これに
より、例えば、図３４(a) に示すパターンの場合、同図
(b) に示すように、枠内の画像から梨地で示す文字成分
１６１が暫定的に仮文字成分として抽出される。尚、図
３４において、ハッチング部分は帳票等から光学的に読
み取られた黒画素の画像、黒丸は文字と枠との交点を示
す。

【０１５９】図３５は、枠内文字抽出部１０５の処理の
一実施例をより詳細に説明する図であり、処理をソフト
ウェアで実現する場合のフローチャートを示す。枠内文
字抽出部１０５は、前記３交点対応付け部から上述のよ
うにして対応付けられた交点等に関する情報を入力し
（ステップＳ１０１）、該情報を基に、対応付けられた
交点Ｐ₁₁（Ａ，Ｂ）と交点Ｐ₂₁（Ｃ，Ｄ）間を通る直線
Ｌ１，Ｌ２を算出する（ステップＳ１０２）。続いて、
交点Ｐ₁₁を有する枠の一方の外周を形成する直線Ｌ３を
算出し（ステップＳ１０３）、さらに、交点Ｐ₂₁を有す
る枠の他方の外周を形成する直線Ｌ４を算出する（ステ
ップＳ１０４）。そして、枠内の黒画素で上記４本の直
線Ｌ１，Ｌ２，Ｌ３，Ｌ４によって囲まれているものが
あるか否かを判断する（ステップＳ１０５）。該ステッ
プＳ１０５の判断結果がＹＥＳ、すなわち該当する黒画
素が存在する場合は、該黒画素の集合を仮文字線分とし
て抽出し（ステップＳ１０６）、次に文字列抽出処理へ
移る（ステップＳ１０８）。他方、ステップＳ１０５の
判断結果がＮＯの場合は、枠を除去した後（ステップＳ
１０７）、上記ステップＳ１０８へ進む。

【０１６０】次に、上記枠内文字抽出部１０５内に設け
られた前記枠内文字補間部１０５１について説明する。
この枠内文字補間部１０５１は、主に前記２交点対応付
け部に対応して設けられ、交点が一対一に対応している
場合と、一対多に対応している場合とに分け、接触文字
パターン或いはその一部の交点間を滑らかに接続して、
枠を分離したことにより欠けた文字部分を仮文字線分と
して補間する。

【０１６１】図３６は、上記枠内文字補間部１０５１の
一実施例を示すブロック図である。同図に示す単純補間
部１０５１ａは、一対一に対応付けられた接触文字パタ
ーン或いはその一部の交点間を滑らかに接続して、仮文
字線分を生成する。一対一の補間の場合には、基本的に
は各交点間での文字線分の輪郭の方向ベクトルを算出し
て、方向ベクトルに従って各交点から直線を引き、その
直線と直線が交わる点で文字線分を結合する。又、方向
ベクトルを算出する手間を省くため、各対応付けた交点
間を接続し補間することもできる。

【０１６２】図３７は一対一の単純補間の例を示す図で
あり、同図の右側には補間すべき文字線分１７１ａ、１
７１ｂ、枠１７２が示され、同図の左側には補間された
文字線分１７３が示されている。ここでは、各対応付け
た交点間を接続し補間する場合を示している。同図に示
すように、文字線分１７１ａの枠１７２との接点の左端
の画素ａｋと文字線分１７１ｂの枠１７２との接点の左
端の画素ａ′ｋ及び文字線分１７１ａの枠１７２との交
点の右端の画素ｂｋと文字線分１７１ｂの枠１７２との
交点の右端の画素ｂ′ｋを、それぞれ２つの直線Ｌ_a，
Ｌ_bで接続し、枠１７２内の２つの直線Ｌ_a，Ｌ_b間で
囲まれる領域を黒画素１７４で埋めることにより、２つ
の文字線分１７１ａと１７１ｂを補間して、１つの文字
線分１７３を得ることができる。本実施例では、この枠
１７２内の文字線分１７３は、暫定的に仮文字線分とみ
なされる。

【０１６３】図３８は、単純補間部１０５１ａの処理の
一実施例をより詳細に説明する図であり、処理をソフト
ウェアで実現する場合のフローチャートを示す。以下、
説明を分かり易いものとするために、上述した図３７に
示す例を取り上げて説明する。同図において、ｆ（ｃ
ｃ，ｐ）は、補間により生成する黒画素を表し、（ｃ
ｃ，ｐ）は該黒画素の座標位置を示す。尚、ｃｃは前記
ｉ座標の値であり、ｐは前記ｊ座標の値である（図１９
参照）。

【０１６４】同図において、まず図３７に示す２つの画
素ａｋとａ′ｋを結ぶ直線Ｌ_a及び２つの画素ｂｋと
ｂ′ｋを結ぶ直線Ｌ_bを求める（ステップＳ１３１）。
次に、図３７において、各文字線分１７１ａ，１７１ｂ
について、枠１７２から該枠１７２の線分に対して垂直
方向に一画素分、文字線分１７１ａ，１７１ｂ側に離れ
た位置のｉ座標値を、それぞれｃ，ｃ′として求め、ｃ
≦ｃｃ≦ｃ′という範囲内にある全てのｉ座標値ｃｃに
対して、以下に述べるステップＳ１３２〜１３３の処理
を実行する。すなわち、まず、直線Ｌ_a，Ｌ_bそれぞれ
について、枠１７２内の直線ｉ＝ｃｃとの交点のｊ座標
ｐ_a，ｐ_bを求める（ステップＳ１３２）。続いてｊ方
向の座標値を示す変数ｐをｐ_a≦ｐ≦ｐ_bの範囲内で変
化させながら、上記条件式を満足する全ての座標値ｐに
ついて、（ｃｃ，ｐ）という画素位置にあるｆ（ｃｃ，
ｐ）画素を仮文字線分を構成する画素と設定する（ステ
ップＳ１３３）。このように、上記ステップＳ１３２及
びＳ１３３の処理は、ｃ≦ｃｃ≦ｃ′の範囲内でｃｃの
値を変化させながら繰り返され、最終的にｉ座標値がｃ
≦ｃｃ≦ｃ′かつｊ座標値がｐ_a≦ｐ≦ｐ_bという条件
を満足する全ての画素ｆ（ｃｃ，ｐ）が仮文字線分を構
成する画素として抽出される。

【０１６５】一対多の交点の補間の場合には、先ず、対
応直線の交差点算出部１０５１ｂにおいて、各文字線分
について、その輪郭の方向ベクトルを算出し、該方向ベ
クトルに従って各文字線分の枠との接点から直線を引
き、それの直線が互いに交わる交差点を算出する。尚、
方向ベクトルを算出する手間を省くため、各対応付けた
交点間を結ぶ直線で方向ベクトルを代用することもでき
る。

【０１６６】上述のように上記交差点算出部１０５１ｂ
において交差点を算出した後、その交差点が枠内にある
場合には、交差点枠内補間部１０５１ｃにより補間を行
う。図３９は、交差点枠内補間の例を示す図であり、同
図(a) には補間前の３つの文字線分１８１ａ，１８１
ｂ，１８１ｃと枠１８２が、また同図(b) には上記３つ
の文字線分１８１ａ，１８１ｂ，１８１ｃを補間するこ
とにより得られた文字線分１８３が示されている。ここ
では、前記交点対応付け部１０４によって対応付けられ
た各交点間（Ａ_kとＡ′_k，Ｂ_kとＢ′_k，Ｃ_kとＡ′
_k、及びＤ_kとＢ′_k間）を結ぶ４本の直線Ｌ₁，
Ｌ₂，Ｌ₃、及びＬ₄で方向ベクトルを代用した例を示
している。上記対応付けられた交点間を直線で結び、同
図(b) に示すように、それらの直線の交差点が枠１８２
内にある場合には、上記各交点間を結ぶ直線Ｌ₁，
Ｌ₂，Ｌ₃、及びＬ₄で囲まれる領域を黒画素１８４で
埋めて、文字線分１８３を生成する。

【０１６７】図４０は、上記対応直線の交差点算出部１
０５１ｂの処理の一実施例をより詳細に説明する図であ
り、処理をソフトウェアで実現する場合のフローチャー
トを示す。以下、説明を分かり易いものとするために、
上述した図３９に示す例を取り上げて説明する。

【０１６８】同図において、まず、前記交点対応付け部
１０４から入力される交点対応付け情報を基に一対多の
交点の補間であるか否かを判定する（ステップＳ１４
１）。そして、該ステップＳ１４１の判定結果がＹＥＳ
の場合は、図３９に示すような各対応付けられた交点間
を結ぶ直線Ｌ₁〜Ｌ_n（ｎ＝２，３，…）を算出する。
他方、上記ステップＳ１４１の判定結果がＮＯの場合
は、各交点での文字線分の輪郭の方向ベクトルＬＶ₁〜
ＬＶ_nを算出する。上記ステップＳ１４２又はＳ１４３
の後、交差点が枠１８２内にあるか否かを判定する（ス
テップＳ１４４）。該ステップＳ１４４の判定結果がＹ
ＥＳの場合、後述する交差点枠内補間部１０５１ｃの処
理へ進む（ステップＳ１４５）。他方、ステップＳ１４
４の判定結果がＮＯの場合、交差点が枠外にあるか否か
を判定する（ステップＳ１４６）。そして、該ステップ
Ｓ１４６の判定結果がＹＥＳであれば、後述する交差点
枠外補間部１０５１ｄの処理へ進む（ステップＳ１４
７）。一方、上記ステップＳ１４６の判定結果がＮＯで
あれば、後述する直線補間部１０５１ｅの処理へ進む
（ステップＳ１４８）。

【０１６９】図４１は、交差点枠内補間部１０５１ｃの
処理の一実施例をより詳細に説明する図であり、処理を
ソフトウェアで実現する場合のフローチャートを示す。
尚、図４１においては、前記図３９に示す枠１８２内の
交差点ＣＲＰ、すなわち２つの直線Ｌ₂とＬ₃の交点Ｃ
ＲＰの座標を（ｉｋ，ｊｋ）、枠１８２の内輪郭のｉ座
標（直線Ｌ₁と枠１８２との交点のｉ座標）の値をｉ
ｎ、枠１８２の外輪郭のｉ座標（直線Ｌ₄と枠１８２と
の交点のｉ座標）の値をｉｇ、文字線幅をｗ、及び枠１
８２の外輪郭のｉ座標より文字線幅ｗだけ内側（負の方
向）のｉ座標の値を（ｉｇ−ｗ）とする。さらに、変数
ｉ，ｐはそれぞれｉ座標、ｊ座標の値が設定される変数
であり、ｆ（ｉ，ｐ）は、座標（ｉ，ｐ）に位置する画
素の濃度値を表す。

【０１７０】図４１において、まず、後述するステップ
Ｓ１６２〜Ｓ１６５の処理を、ｉ座標の値が設定される
変数ｑの値をｉｎ≦ｑ＜ｉｋの範囲内で変化させながら
繰り返す。すなわち直線Ｌ₁，Ｌ₂と直線ｉ＝ｑとの交
点のｊ座標の値Ｐａ，Ｐｂを求め（ステップＳ１６
２）、ｊ座標の値が設定される変数Ｐの値をＰａ≦Ｐ≦
Ｐｂの範囲内で変化させながら、画素ｆ（ｉ，ｐ）を仮
文字線分を構成する黒画素と決定する（ステップＳ１６
３）。又、上記ステップＳ１６２及びＳ１６３と並行し
て次に述べるステップＳ１６４及びＳ１６５の処理を実
行する。

【０１７１】すなわち、直線Ｌ₃，Ｌ₄と直線ｉ＝ｑと
の交点のｊ座標Ｐａ，Ｐｂを求め（ステップＳ１６
４）、変数Ｐの値をＰａ≦Ｐ≦Ｐｂの範囲内で変化させ
て、画素ｆ（ｉ，ｐ）を仮文字線分を構成する黒画素に
設定する。そして、該ステップＳ１６２〜Ｓ１６５の処
理が全て終了すると今度は、変数ｑの値をｉｋ≦ｑ＜ｉ
ｇの範囲内で変化させながら、後述するステップＳ１６
６〜Ｓ１６７の処理を繰り返す。すなわち、直線Ｌ₁，
Ｌ₄と直線ｉ＝ｑとの交点のｊ座標Ｐａ，Ｐｂを求め
（ステップＳ１６７）、変数ｐの値をＰａ≦ｐ≦Ｐｂの
範囲内で変化させながら画素ｆ（ｑ，ｐ）を、仮文字線
分を構成する黒画素に設定する。

【０１７２】以上の処理により、図３９に示すように、
枠１８２内の仮文字線分１８３が補間処理により生成さ
れる。図４２は、交差点枠外補間部１０５１ｄの処理の
一実施例をより詳細に説明する図であり、処理をソフト
ウェアで実現する場合のフローチャートを示す。同図
中、上述した図４１中のステップと同一の処理を行うス
テップに対しては同一のステップ番号を付し、その説明
は省略する。

【０１７３】図４２のフローチャートはステップＳ１６
２〜Ｓ１６５の処理を、変数ｑの値をｉｎ≦ｑ＜ｉｇ−
ｗの範囲内で変化させながら繰り返し、また、ステップ
Ｓ１６６〜Ｓ１６７の処理を変数ｑの値をｉｇ−ｗ≦ｑ
＜ｉｇの範囲内で変化させながら繰り返す点を除けば、
処理は図４１のフローチャートの処理とほぼ同様であ
る。

【０１７４】図４３は、直線補間部１０５１ｅの処理の
一実施例をより詳細に説明する図であり、処理をソフト
ウェアで実現する場合のフローチャートを示す。同図
中、図４１と同一の処理を行うステップには同一のステ
ップ番号を付し、その説明は省略する。

【０１７５】図４３において、変数ｉの値を、ある特定
の値に固定して、ステップＳ１６２〜Ｓ１６３及びステ
ップＳ１６４〜１６５の処理を、変数ｐの値をｐ_a≦ｐ
≦ｐ _bの範囲内で変化させながら繰り返し、また、ステ
ップＳ１６６〜Ｓ１６７の処理を、変数ｑの値をｉｓ≦
ｑ＜ｉｓ＋ｗの範囲内で変化させながら実行する点を除
けば、処理は図４１の場合とほぼ同様である。

【０１７６】尚、対応付けが不可能な交点に対しては、
図４４に示すソフトウェア処理を行えば良い。同図中、
図４１に示されたステップと同一ステップには同一符号
を付し、その説明は省略する。

【０１７７】図４４において、ステップＳ１６１がな
く、ステップＳ１６６Ｃが変数ｑをｉｓ≦ｑ＜ｉｇの範
囲に設定する点を除けば、処理は図４１の場合とほぼ同
様である。

【０１７８】本実施例では、上述した処理により、枠に
接触して書かれた文字について該枠内の文字線分を暫定
的に“仮文字線分”として抽出する。続いて、このよう
な仮文字線分が抽出された文字を含む文字列から、平均
文字サイズ算出部１０６によって平均文字サイズを求め
る。この文字列としては、例えば帳票の横または縦一行
に書かれた文字列を採用する。また、フリーフォーマッ
ト枠内に書かれた文字列を採用してもよい。

【０１７９】図４５は、該平均文字サイズ算出部１０６
の一実施例を説明する図であり、処理をソフトウェアで
実現する場合のフローチャートである。平均文字サイズ
算出部１０６は、まず、前記枠内文字抽出部１０５によ
って抽出された各文字のサイズを求める。該文字には、
枠に接触していない文字以外に枠に接触しており、前記
仮文字線分を含む文字も含まれる。また、この文字サイ
ズ算出に際しては、例えば、連結パターン抽出部１０１
によって得られた各文字の連結情報を用いる。すなわ
ち、例えば、上記各文字の連結情報から得られる連結画
像を矩形近似して得られる該矩形の角の座標を用いて、
上記文字サイズを算出する（ステップＳ１７１）。

【０１８０】次に、前記枠内文字抽出部１０５によって
抽出された文字のラベル位置情報に基づいて文字列を抽
出する（ステップＳ１７２）。次に、上記抽出された各
文字列毎に、一文字の平均文字サイズＴＨを算出する
（ステップＳ１７３）。尚、帳票によっては、文字枠が
縦枠と横枠と混在している場合があるので、上記ステッ
プＳ１７３の前処理として該文字枠が縦枠または横枠の
いずれであるかを判定する処理を付け加えてもよい。ま
た、上記平均文字サイズＴＨは、例えば文字に外接する
矩形の水平方向及び垂直方向の２つのサイズ情報から成
る。

【０１８１】また、上記一文字の平均文字サイズＴＨの
算出は、例えば、以下のような方法により行う。まず、
対象となる文字列の文字数をｎ、該文字列中の各文字の
水平・垂直方向のサイズをそれぞれｊ〔ｍ〕，ｉ〔ｎ）
とする。また、上記平均文字サイズＴＨの水平・垂直方
向のサイズを、それぞれavecｊ，avecｉとする。

【０１８２】

【数５】

【０１８３】文字サイズ評価部１０７は、各文字列につ
いて、個々の抽出文字のサイズを該平均文字サイズ算出
部１０６によって求められた当該文字列の平均文字サイ
ズＴＨと比較する。そして、適当な文字サイズでないと
判断した文字パターンについて冗長な仮文字線分を含ん
でいるか否か判断し、該冗長な仮文字線については、こ
れを当該文字パターンから分離する。

【０１８４】図４６は、文字サイズ評価部１０７の一実
施例を説明する図であり、処理をソフトウェアで実現す
る場合のフローチャートである。文字サイズ評価部１０
７は、まず、前記平均文字サイズ算出部１０６よって求
められた平均文字サイズＴＨを基準として、最大文字サ
イズＴＨmax と最小文字サイズＴＨmin を算出する（ス
テップＳ１８１）。該最大文字サイズＴＨmax と該最小
文字サイズＴＨmin は共に抽出された文字パターンから
正しく文字を切り出すための閾値として用いられる。

【０１８５】上記最大文字サイズＴＨmax の算出は、例
えば、以下のようにして行う。ＴＨmaxj＝avej＋５もしくはＴＨmaxi＝avei＋５（尚、“５”は１画素の５倍の大きさを示す）または、ＴＨmaxj＝avecｊ×1.1 もしくはＴＨmaxi＝avei×1.
1 一方、上記最小文字サイズＴＨmin の算出は、例えば、
以下のようにして行う。

【０１８６】ＴＨminj＝avej−５もしくはＴＨmini＝avei−５（尚、“５”は１画素の５倍の大きさを示す）または、ＴＨminj＝avej×0.9 もしくはＴＨmini＝avei×0.9 このようにして求められた最大文字サイズ及び最小文字
サイズの一例を図４７に示す。同図において、二重枠で
示された矩形１９１が平均文字サイズＴＨを表す。ま
た、１本の実線で示された矩形１９２が平均文字サイズ
ＴＨmax を、破線で示された矩形１９３が最小文字サイ
ズＴＨmin を表す。

【０１８７】次に、文字列中の全ての文字について、以
下に述べるステップＳ１８３〜Ｓ１８７の処理を行う。
すなわち、まず、文字列から先頭の文字（文字パター
ン）を取り出し（ステップＳ１８２）、この文字パター
ンが最大文字サイズＴＨmax より大きいか否か判断する
（ステップＳ１８３）。そして、該文字パターンが該最
大文字サイズＴＨmax より大きければ（ステップＳ１８
３，ｙｅｓ）、該文字パターンに局所的対応付け箇所が
あるか否か評価する（ステップＳ１８４）。該局所的対
応付け箇所とは、前記枠内文字抽出部１０５によって枠
から抽出された仮文字線分の画像（局所的対応付け画
像）によりある枠を挟んで２つのパターンが連結された
部分のことである。

【０１８８】また、上記局所的対応付け箇所があるか否
かの判断は、前記交点対応付け部１０４によって得られ
る各交点（文字と枠との交点）についての他の交点との
対応付け情報を用いて行う。すなわち、上記文字パター
ンの枠との交点について、ある交点が他の交点と対応付
けられているならば、局所的対応付け箇所があると判断
する。

【０１８９】上記文字パターンにこのような局所的対応
付け箇所が無いと判断すると（ステップＳ１８４，ｎ
ｏ）、上記文字パターンを一文字であると判定し、ステ
ップＳ１８８へ進む。

【０１９０】このような文字パターンの判定例を図４８
(a) に示す。尚、図４８において斜線で示したパターン
がイメージ・スキャナ等によって読み取られた文字画像
２２１であり、ドットで示したパターンが前記枠内文字
抽出部１０５によって交点情報を用いて対応付けられた
局所的対応付け画像２２３である。この局所的対応付け
画像２２３は、前記仮文字線分に該当する。同図(a) に
示すように文字画像２２１が最大文字サイズＴＨmax よ
り大きく、かつ局所的対応付け画像２２３が無ければ、
該文字画像２２１を一文字とみなす。すなわち、この場
合には、平均よりも大きなサイズで“８”の文字が記入
されたものとみなされ、図４９(a) に示すように、
“８”の一文字が切り出される。

【０１９１】一方、前記ステップＳ１８４で上記文字パ
ターンにこのような局所的対応付け箇所が有ると判断す
ると（ステップＳ１８４，ｙｅｓ）、上記文字パターン
から上記局所的対応付け画像（仮文字線分の画像）２２
３を削除した場合に得られる各々のパターンの文字サイ
ズを算出する（ステップＳ１８５）。そして、該削除に
よって分離された各々のパターンのサイズが共に最小文
字サイズＴＨmin より大きいか否か判断し（ステップＳ
１８６）、いずれかのパターンのサイズが最小文字サイ
ズＴＨmin 以下であるならば、上記文字パターンから前
記局所的対応付け画像、すなわち冗長な仮文字線分を削
除して、上記文字パターンを複数のパターンに分離する
（ステップＳ１８７）。

【０１９２】該冗長な仮文字線分の解除は、具体的には
次のようにして行う。すなわち、該冗長な仮文字線分の
存在を決定していた交点対応付け部１０４により得られ
た該冗長仮文字線分を構成する交点間の対応関係を解除
する。

【０１９３】これにより、例えば、図４８(b) に示すよ
うに、枠を介して接触して手書きされた“５”と“３”
の２つの文字が、前記局所的対応付けが解除されること
によって図４９(b) に示すように正しく切り出される。

【０１９４】また、前記ステップＳ１８６で局所的対応
付け画像（仮文字線分の画像）２２３を分離することに
よって得られた複数の文字画像２２１の中に前記最小文
字サイズＴＨmin よりも小さいものがあれば（ステップ
Ｓ１８６，ｎｏ）、上記局所的対応付け画像２２３を文
字パターンの一部とみなすことによって、該文字パター
ンを一文字とみなす。

【０１９５】このような例を、図４８(c) に示す。同図
(c) において、局所的対応付け画像２２３を削除（解
除）して得られる文字画像２２１（破線の矩形枠で囲ま
れた部分）は最小文字サイズＴＨmin 以下である。した
がって、この場合、上記局所的対応付け画像２２３は真
の文字線分であるとみなす。これにより、最大文字サイ
ズＴＨmax よりも大きなサイズで枠の一部を飛び出して
手書きされた“ｄ”の一文字が、図４９(c) に示すよう
に正しく切り出される。

【０１９６】また、さらに、前記ステップＳ１８３で文
字パターン（局所的対応付け画像１２３が有る文字パタ
ーンも含む）が、最大文字サイズＴＨmax 以下であれ
ば、該文字パターンを一文字とみなす。

【０１９７】以上の上記ステップＳ１８３〜Ｓ１８７の
処理を、前記文字列中の全ての文字パターンに対して行
い、該全ての文字パターンに対して上記処理が終了した
と判断すると（ステップＳ１８８，ｎｏ）、図４６のフ
ローチャートに示す処理を終了する。

【０１９８】以上の処理によって、例えば、図５０
（ａ）に示すように「２」と「１」の文字がオ−バ−ハ
ング状態に手書きされることによって、枠内文字抽出部
１０５が上記二つの文字を同図（ｃ）に示すように誤っ
て一文字として抽出してしまう事態を防止できる。即
ち、この場合、まず、同図（ａ）に示す局所的対応付け
画像２２３によって対応付けられた文字パタ−ンは、最
大文字サイズＴＨmax よりも大きくかつ局所的対応付け
画像２２３が有ると判断される。次に、局所的対応付け
画像２２３を削除した場合、文字パタ−ン２２５が最小
文字サイズＴＨmin よりも小さいと判定され、この文字
パタ−ン２２５は交点と及び交点とによって対
応付けられる局所的対応付け画像２２３により上記
「２」の一部を構成する二つの文字パタ−ン２２６と２
２７と結合される。これにより、「２」の文字が正しく
切り出される。一方、局所的対応付け画像２２３が解除
された結果得られる「Ａ」の文字パタ−ン２２８は、最
小文字サイズＴＨmin よりも大きいので、一文字と判定
される。したがって、交点と及び交点とを接続
する局所的対応付け画像２２３は冗長な仮文字線分とし
て除去される。この結果、同図（ｂ）に示すように、
「２」と「Ａ」の二文字が正しく切りだされる。

【０１９９】図５１は、前記文字構造解析評価部１０８
の一実施例を説明する図であり、処理をソフトウェアで
実現する場合のフローチャートである。文字構造解析評
価部１０８は、予め外部記憶装置等に記憶されている文
字構造定義テーブルをメモリ上にロードする（ステップ
Ｓ２０１）。

【０２００】該文字構造定義テーブルは、例えば、「数
字」、「アルファベット」、「仮名」、「漢字」など
の、文字の種類に応じて作成されている。該文字構造定
義テーブルの一例を図５２に示す。

【０２０１】この例においては、仮画像の構造の型式を
表す型名として、「Ｎ型」，「逆Ｎ型」、及び「８の字
型」が登録されている。そして、これら各型名を有する
複数の仮文字線分から構成される仮画像の構造と、それ
に対応する真の文字線分から構成される真の画像の構造
に関する情報が登録されている。上記Ｎ型及び逆Ｎ型の
仮画像に対応する真の画像の構造は、図５２に示すよう
に１種類のみである。したがって、Ｎ型または逆Ｎ型の
仮画像に対してはこのテーブルを参照することによっ
て、該仮画像から真の文字線分のみを抽出して、真の画
像を得ることができる。これに対し、上記「８の字型」
の仮画像については、図５２に示すように真の画像の構
造は、２種類存在する。そして、実際の「８の字型」の
仮画像が、いずれの真の画像の方に対応するかは、前記
交点対応付け部１０４によって得られた仮文字線分の方
向性に関する情報によって決定される。

【０２０２】ここで、図５３を参照しながら、上記「８
の字型」の仮画像が有する２種類の方向性について説明
する。同図において、ドットパターンはイメージスキャ
ナ等によって読み取られた枠内抽出画像を示す。該「８
の字型」の仮画像は、ＡＢ，ＡＣ，ＢＤ、及びＣＤの４
個の仮文字線分によって構成される。この場合、仮文字
線分ＡＢは交点Ａ，Ｂによって対応付けられる線分であ
る。また、仮文字線分ＡＣ，ＢＤ、およびＣＤは、それ
ぞれ交点Ａ，Ｃ、交点Ｂ，Ｄ、及び交点Ｃ，Ｄによって
対応付けられる線分である。この場合、交点対応付け部
１０４によって得られる方向性情報によって交点ＡとＣ
及び交点ＢとＤの両方が対応付けられていれば、上記
「８の字型」の仮画像は、対角線方向に方向性対応付け
があると定義される。一方、上記のような対応付けがな
されていなければ、すなわち、例えば、交点ＡとＢ及び
交点ＡとＣが方向性条件を満足することによって対応付
けられていれば、上記「８の字型」の仮画像は、垂直・
平行方向に方向性対応付けがあると定義される。

【０２０３】上記ステップＳ２０１に続いて、交点対応
付け部１０４によって対応関係にあると判断された仮文
字線分と枠との交点とそのときの対応条件情報（方向性
に関する情報も含む）等を基に仮画像の構造を解析する
（ステップＳ２０２）。この仮画像の構造解析処理の詳
細は、後述する。

【０２０４】そして、この解析情報を、上記ステップＳ
２０１で設定したテーブルに登録されている該仮画像の
構造情報と比較・照合することにより、該仮画像の構造
の型名を評価する（ステップＳ２０３）。

【０２０５】そして、該評価により得られた該仮画像の
構造がその真の画像が一意的に決定されるものであるか
否か判別する（ステップＳ２０４）。すなわち、例え
ば、該仮画像の構造が図５２に示す「Ｎ型」または「逆
Ｎ型」と評価された場合には、その真の画像構造は一意
である（ステップＳ２０４，ｎｏ）。これに対し、図５
３に示す「８の字型」と評価された仮画像の場合には、
上述したようにその真の画像構造は、２種類想定される
ため、該真の画像構造は一意に決定されない（ステップ
Ｓ２０４，ｙｅｓ）。

【０２０６】上記ステップＳ２０４で前記テーブルから
当該仮画像に対応する真の画像が一意的に求まると（ス
テップＳ２０４，ｎｏ）、上記仮画像から該真の画像に
とっては不要となる仮文字線分を除去（解除）して、該
真の画像を得る（ステップＳ２０６）。

【０２０７】これにより、例えば、図５２に示す「Ｎ
型」または「逆Ｎ型」と評価された仮画像については、
対角線をなす仮文字線分が解除され、最終的に図５２に
示す真の画像が得られる。

【０２０８】図５４及び図５５は、それぞれ枠内文字抽
出部１０５によって抽出された枠内抽出画像すなわち仮
画像がＮ型、逆Ｎ型である場合に、上記ステップＳ２０
１〜Ｓ２０４、及びＳ２０６の処理により該仮画像から
真の画像を抽出することにより、正しい文字が切り出さ
れる具体例を示す図である。

【０２０９】図５４は、枠２３１に接触して書かれた
“３”が正しく切り出される例、図５５は、枠２３１に
接触して書かれた“９”が正しく切り出される例を示す
図である。尚、両図においてハッチング・パターン２３
２は真の文字線分の画像、ドット・パターン２３３は仮
文字線分、黒丸Ａ，Ｂ，Ｃ，Ｄ及びＡ′，Ｂ′，Ｃ′，
Ｄ′は真の文字線分２３２と枠２３１との交点である。

【０２１０】図５４に示す例の場合、仮画像２３３Ｎは
前記ステップＳ２０２〜Ｓ２０３の処理によりＮ型の仮
画像である判断される。すなわち、交点対応付け部１０
４によって得られた上記交点ＡとＢ、交点ＡとＣ、及び
交点ＣとＤとが対応付けられるという情報により、該判
断がなされる。そして、前記ステップＳ２０１で設定さ
れたテーブルを参照することによって図５４(a) に示す
仮画像２３３Ｎから対角線をなす仮文字線ＡＣのみを除
去し、同図(b) に示す“３”の文字画像を正しく切り出
す。

【０２１１】一方、図５５に示す例の場合、仮画像２３
３ＲＮは前記ステップＳ２０２〜Ｓ２０３の処理により
逆Ｎ型の仮画像であると判断される。すなわち、交点対
応付け部１０４によって得られた交点Ａ′とＢ′、交点
Ｂ′とＣ′、及び交点Ｃ′とＤ′とが対応付けられると
いう情報により、該判断がなされる。そして、前記ステ
ップＳ２０１で設定されたテーブルを参照することによ
って、図５５(a) に示す仮画像２３３ＲＮから対角線を
なす仮文字線分Ｂ′Ｃ′のみを除去し、同図(b) に示す
“９”の文字画像を正しく切り出す。

【０２１２】一方、上記ステップＳ２０４で前記テーブ
ルに当該仮画像に対応する真の画像が複数登録されてお
り、対応する真の画像が一意的に定まらない場合には
（ステップＳ２０４，ｙｅｓ）、前記仮画像における対
応付けられた仮文字線分と枠との交点の間の対応付け条
件を求める。この対応付け条件は、例えば、交点対応付
け部１０４によって得られる。そして、該対応付け条件
を前記テーブルに登録されている真の画像を一意に決定
するための条件と比較・照合して真の文字線分を一意に
決定し（ステップＳ２０５）、該決定に従って前記仮画
像から冗長な文字線分を解除（除去）して上記テーブル
に登録されている真の画像情報を求める（ステップＳ２
０６）。

【０２１３】これにより、例えば、当該仮画像の構造が
図５６に示すような「８の字型」であった場合には、前
記ステップＳ２０５で上記仮文字線分の方向性が垂直方
向または対角線方向のいずれにあるのか求められ、図５
２に示すテーブルに登録されている真の画像情報を一意
に決定する条件に従って、真の画像情報の構造が一意に
決定される。

【０２１４】ここで、図５６及び図５７を参照しなが
ら、本実施例により枠に接触して手書きされた文字から
真の文字線分のみが抽出される例を説明する。上記両図
において、ハッチングされた線分２４１が真の文字線分
を示す。また、図５６において、ドットパターンにより
構成される線分２４３ａ，２４３ｂが仮画像を示す。

【０２１５】図５６(a) は、“８”を手書きした際、該
“８”の交差箇所と枠が接触した場合の例であり、前記
枠内文字抽出部１０５により該枠から冗長な線分を含む
「８の字型」の仮画像２４３ａが抽出される。一方、図
５６(b) は、同様に“８”を手書きした際、該“８”の
下方部中央が枠と接触した場合の例であり、前記枠内文
字抽出部１０５により該枠から冗長な線分を含む「８の
字型」の仮画像２４３ｂが抽出される。

【０２１６】図５６(a) の場合、前記図４５のフローチ
ャートのステップＳ２０５で交点対応付け部１０４によ
り得られた交点間を対応付ける方向性情報を基に、前記
仮画像２４３ａは対角線方向に方向性があると判断さ
れ、次のステップＳ２０５で図５７(a) に示すような真
の文字線分２４１のみから成る“８”の文字画像が切り
出される。一方、図５６(b) の場合、上記ステップＳ２
０５で交点対応付け部１０４により得られた交点間を対
応付ける方向性情報を基に、前記仮画像２４３ｂは垂直
方向に方向性があると判断され、次のステップＳ２０５
で図５７(b) に示すような真の文字線分２４１のみから
成る“８”の文字画像が切り出される。

【０２１７】次に、上述した図４５のフローチャートの
ステップ２０２の処理を詳細に説明する。図５８は、あ
る文字が枠２４６に接触して書かれた場合における該接
触部分の拡大図である。この場合、４個の文字線分２４
７が枠２４６と交わっている。それぞれの文字線分２４
７と枠２４６との交点を〜とする。この場合、図５
９に示すフローチャートに示すアルゴリズムによって、
上記４個の各交点〜の他交点との対応関係情報か
ら、仮画像の構造型式を判断する。

【０２１８】すなわち、まず、交点対応付け部１０４に
よって得られた上記各交点〜についての他の交点と
の対応関係情報を基に、上記各交点〜について対応
付けられている他の交点数を数える（ステップＳ３０
１）。

【０２１９】次に、交点，，、及びと対応関係
にある交点数が、それぞれ“１”，“２”，“２”、及
び“１”となっているか否か判別する（ステップＳ３０
２）。そして、このような条件が満足されていれば（ス
テップＳ３０２，ＹＥＳ）、仮画像は“逆Ｎ型”である
と判断する（ステップＳ３０３）。

【０２２０】一方、上記ステップＳ３０２の条件が満足
されていなければ（ステップＳ３０２，ＮＯ）、続い
て、交点，，、及びと対応関係にある交点数
が、それぞれ、“２”，“１”，“１”、及び“２”と
なっているか判別する（ステップＳ３０４）。そして、
このような条件が満足されていれば（ステップＳ３０
４，ＹＥＳ）、仮画像が“Ｎ型”であると判断する（ス
テップＳ３０５）。

【０２２１】また、さらに、上記ステップＳ３０４の条
件が満足されていなければ（ステップＳ３０４，Ｎ
Ｏ）、さらに続いて、交点，，、及びと対応関
係にある交点数が、それぞれ、“２”，“２”，
“２”、及び“２”となっいるか判断する（ステップＳ
３０６）。そして、この条件が満足されていれば（ステ
ップＳ３０６，ＹＥＳ）、仮画像が“８の字型”である
と判断する（ステップＳ３０７）。

【０２２２】このように、文字と枠との交点数が４個で
ある場合には、図５８に示す位置付けにある各交点〜
について、それと対応関係にある他の交点の数を調べ
ることによって、仮画像の型が予め定義したＮ型、逆Ｎ
型、または８の字型のいずれかであるかを識別できる。

【０２２３】次に、前述した図４５のフローチャートの
ステップＳ２０５の処理の詳細を、図６０と図６１を参
照しながら説明する。図６０は交点対応付け部１０４に
よって対応付けられる図５８に示す４個の交点〜間
の対応関係を示す図である。

【０２２４】同図において、交点と、交点と、
交点と、及び交点とがそれぞれ対応付けられて
いる。この場合の対応条件としては、方向性または距離
がある。

【０２２５】図６１は、図６０に示す上記のような交点
対応付けがなされた８の字型の仮画像から真の文字線分
を抽出する処理を説明するフローチャートである。ま
ず、交点対応付け部１０４によって交点と及び交点
とが方向性の条件によって対応付けられているか否
か判別する（ステップＳ４０１）。そして、上記２つの
交点間が共に方向性の条件によって対応付けられていれ
ば（ステップＳ４０１，ＹＥＳ）、交点と、及び交
点との間の対応関係を解除する（ステップＳ４０
２）。これにより交点と、及び交点と間を接続
する仮文字線分が削除される。

【０２２６】一方、上記ステップＳ４０１で上記２つの
交点間の対応条件が方向性の条件でなければ（ステップ
Ｓ４０１，ＮＯ）、交点と、及び交点とが垂直
方向での方向性によって対応付けられていると判断し
て、交点と、交点と間の対応関係を解除する
（ステップＳ４０３）。これにより、交点と間及び
交点と間を接続する仮文字線分が削除される。

【０２２７】次に、上述した本実施例をオーバーハング
した手書き文字に適用した場合の具体例を説明する。ま
ず、図６２は、同図(a) に示すように枠２５０を介して
オーバーハングの状態に手書きされた「５」と「１」の
各文字が本実施例によって正しく切り出される例を示す
図である。同図(a) に示すように、オーバーハング状態
にある手書きされた「５」と「１」の文字は、枠２５０
との間に４個の交点を形成し、枠内文字抽出部１０５に
よって逆Ｎ字型の仮画像が抽出される。従って、この場
合、交点と及び交点と間の仮文字線分が真の文
字線分として抽出され、交点と間の仮文字線分は偽
の文字線分として解除される。この結果、同図(b) に示
すように「５」と「１」の文字が正しく切り出される。

【０２２８】一方、従来の場合には、全ての仮文字線分
がそのまま真の文字線分として抽出されるため、同図
(b) に示すように、誤って「３」と「９」の文字が切り
出される。

【０２２９】次に、図６３はオーバーハングによりＮ型
の仮画像が形成される２つの手書き文字の切り出しに本
実施例を適用した場合の一例を示す図である。同図(a)
においては、「４」と「ｊ」の２文字がオーバーハング
状態で手書きされており、枠内文字抽出部１０５はそれ
らの文字と枠２５０との４交点〜の対応関係情報か
らＮ型の仮画像を抽出する。したがって、この場合、交
点と間の仮文字線分が解除され、真の文字線分とし
て交点と間及び交点と間の文字線分が真の文字
線分として抽出される。この結果、同図(b) に示すよう
に、「４」と「ｊ」の２文字が正しく切り出される。一
方、従来であれば、同図(c) に示すように全ての仮文字
線分がそのまま真の文字線分として抽出され、「４」と
「ｊ」の２文字が１文字として切り出されてしまう。ま
たは、同図(d) に示すように枠２５０に接触して書かれ
た文字線分が削除されて「４」と「ｊ」を正しく切り出
すことができなかった。

【０２３０】次に、図６４は、オーバーハングにより８
の字型の仮画像が形成される２つの手書き文字の切り出
した本実施例を適用した場合の一例を示す図である。同
図(a) においては、「５」と「Ｔ」の２文字がオーバー
ハング状態で手書きされており、枠内文字抽出部１０５
はそれらの文字と枠２５０との４交点〜の対応関係
情報から８の字型の仮画像を抽出する。したがって、こ
の場合、交点と及び交点とが、例えば水平方向
の方向性によって対応付けられていれば、同図(b) に示
すように「５」と「Ｔ」の２文字が正しく切り出され
る。従来であれば、同図(c) に示すように偽の文字線分
（交点とを接続する文字線分及び交点とを接続
する文字線分）もそのまま真の文字線分として抽出され
てしまうので、「５」と「Ｔ」が連結されて１文字とし
て抽出されてしまう。または、文字枠１５０が単に削除
されてしまう結果、同図(d) に示すように、「５」と
「Ｔ」の２文字を正しく切り出せなかった。

【０２３１】上述した実施例は、本発明を文字と枠との
交点が枠の両端でいずれも２つづつある接触文字の切り
出しに適用した例であるが、本発明は、これ以外にも、
図６５(a) ，(b) に示すように文字と枠との交点が枠の
両端でそれぞれ２個、３個有る接触文字にも適用可能で
ある。この場合には、文字構造解析評価部１０８は、予
め図６６に示す形式のテーブルを用意する。図６６に示
すテーブルは、図６５(a) に示す仮画像から真の文字線
分を抽出するためのものである。図６６には「１型」〜
「６型」までの６種類の仮画像の構造が登録されてい
る。これらのうち、「２型」、「３型」、「５型」、及
び「６型」については、本テーブルを検索することによ
り一意的に真の文字線分から成る構造を決定することが
できる。一方、「１型」と「４型」については、交点
との枠水平方向サイズどちらが太いかによって、真の
文字線分の構造は２種類に分かれる。「１型」及び「４
型」とも、図６７(a) に示すように、交点の方が太い
ときには図６６中において左側に示された真の文字線分
の構造を選択し、一方、図６７(b) に示すように、交点
の方が太いときには図６６中において右側に示された
真の文字線分の構造を選択する。尚、図６５(b) に示す
仮画像の場合についても、同様にしてテーブルを作成す
ることができる。この場合には、仮画像の構造及びそれ
に対応する真の文字線分の構造として鏡面対称のものを
登録する。

【０２３２】また、次に示す実施例は、図６８に示すよ
うに、枠に接触して手書きされた文字が、該枠の両端で
共に３個の交点（〜と〜）を形成する場合に、
本発明を適用したものである。この場合、文字構造解析
評価部１０８には、図６９乃至図７１に示す内容のテー
ブルが予め登録される。

【０２３３】上記テーブルに登録される仮画像の形式は
全部で３８種類（１型〜３８型）あり、その真の文字線
分の構造が一意的に定まるものもあれば、２または３個
の真の文字線分の構造の中から１個を選択するものもあ
る。図６９乃至図７１中に示された３種類の文字線分の
構造を、左側から順に(a) ，(b) ，(c) と名付ける。

【０２３４】そして、下記の(1) 〜(3) の条件を基に、
上記テーブルから真の文字線分の構造を選択する。 (1) 交点と、交点とが方向性の対応条件で対応
関係にある場合は、(b) 、交点と、交点とが方
向性の対応条件で対応関係にある場合は、(c)、それ以
外では、(a) の構造 (2) 交点と、交点とが方向性の対応条件で対応
関係にある場合は、(b) 、それ以外では、(a) の構造 (3) 交点と、交点とが方向性の対応条件で対応
関係にある場合は、(c) 、それ以外では、(a) の構造尚、上記実施例では、テーブルを利用して、仮画像から
真の文字線分を抽出するようにしているが、本発明は、
これに限定されることなく、アルゴリズムのみより、上
記抽出処理を行うようにすることも可能であり、実装の
方法には、各種形態が適用できる。また、上記実施例で
は、主に、帳票等の文字枠から手書き文字を抽出する例
を取り扱っているが、本発明は、これに、限定されるも
のではなく、図面認識装置などの画像認識装置におい
て、直線と、文字、図形または記号などの各種パターン
とが接触した画像から，目的とするパターンを切り出す
（抽出する）技術にも適用可能なものである。

【０２３５】次に、説明する実施例は、枠や罫線などの
直線に接触したり、はみ出している枠接触文字を、部分
的に補完できない場合であっても、文字の認識率を向上
できる発明に係わるものである。

【０２３６】図７２は、このような実施例の一つである
信頼度テーブル作成装置（文字再認識用テーブル作成装
置）２７０のシステム構成を示すブロック図である。枠
抽出部２７１は、各文字カテゴリについて、複数のサン
プルの学習データを入力する。この学習データは、枠と
該枠に接触している文字（枠接触文字）とから構成され
る２値の画像データであり、該文字は予め知られている
ものである。また、各サンプルは、互いに枠と文字との
接触状態が異なるものである。枠抽出部２７１は、これ
らの学習データから枠の画像データのみを抽出し、それ
以外の文字を構成する画像データを補完部２７２に出力
する。

【０２３７】補完部２７２は、上記枠抽出部２７１によ
って除去された文字の画像データ（除去領域）を、例え
ば、前記補完部１２と同様な手法により補完する。再補
完部２７３は、該補完部２７２によって補完しきれなか
った除去領域を、例えば、前記再補完部１３と同様な手
法により補完する。

【０２３８】補完部２７２によって生成された補完パタ
ーンと再補完部２７３によって生成された再補完パター
ンは、文字認識部２７４に入力される。該文字認識部２
７４は、各文字カテゴリの複数サンプルの学習データに
ついて、上記補完パターンと再補完パターンを入力する
と、これらのパターンについて文字認識を実行する。そ
して、各学習データ毎の認識結果を信頼度テーブル作成
部２７５に出力する。

【０２３９】該信頼度テーブル作成部２７５は、上記文
字認識部２７４から出力される上記認識結果を予め与え
られている正解データと比較して、全サンプルデータに
対する認識率を得る。そして、この認識率を信頼度とし
て、また、誤読文字（誤って認識した文字）と正解の文
字の組み合わせを誤読文字対として信頼度テーブル２７
６に登録する。尚、上記誤読文字対は、例えば、文字コ
ードにより登録される。また、信頼度テーブル作成部２
７５は、上記学習データから枠と文字の接触状態の特徴
を示すパラメータを抽出して、これも上記信頼度テーブ
ル２７６に登録する。

【０２４０】このようにして、上記信頼度テーブル２７
６には各文字カテゴリについて、枠と文字の様々な接触
状態における該文字に対する上記文字認識部２７４の認
識率が、上記誤読文字対とともに登録される。

【０２４１】次に、図７３は、上記信頼度テーブル作成
装置２７０によって作成された信頼度テーブル２７６を
用いて枠接触文字の文字認識部を行う文字認識装置２８
０のシステム構成を示すブロック図である。

【０２４２】同図において、枠抽出部２８１は、枠と該
枠に接触している文字（枠接触文字）とから構成される
未知の２値画像データを入力し、この画像データから枠
の画像データを抽出する。そして、該枠の画像データが
抽出された文字パターンの画像データを補完部２８２に
出力する。

【０２４３】補完部２８２は、入力される文字パターン
の画像データについて、上記枠の画像データの抽出によ
って除去された画像データを復元する補完処理を行い、
この補完処理によって得られた画像データ（補完パター
ン）を再補完部２８３に出力する。

【０２４４】該再補完部２８３は、ラベリングによる連
結性等を用いて、上記補完部２８２が補完しきれなかっ
た部分を補完し、再補完パターンを生成する。文字認識
部２８４は、上記補完部２８２によって生成された補完
パターンと再補完部２８３によって生成された再補完パ
ターンのそれぞれに対して文字認識を実行する。そし
て、その認識結果を、文字コードにより再認識部２８５
に出力する。

【０２４５】該再認識部２８５は、上記文字コード以外
に前記未知の２値画像データを入力する。そして、この
画像データから枠と文字の接触状態の特徴を示すパラメ
ータを抽出し、この特徴パラメータと上記文字コードを
キー項目として、前記信頼度テーブル自動作成装置２７
０によって作成された信頼度テーブル２７６を参照し
て、上記文字認識部２８４によって認識された文字コー
ドの信頼度を調べる。そして、該信頼度が高い場合に
は、その文字コードを最終認識結果として出力する。一
方、上記信頼度が低い場合には、上記補完パターン、上
記再補完パターンまたは上記２値の未知画像データを用
いて、上記文字認識部２８４とは別の手法で該未知画像
データに含まれる枠接触文字の再認識を実行する。そし
て、該再認識により得られた文字コードを出力する。

【０２４６】図７４は、本発明の別の実施例である信頼
度テーブル作成装置（再文字認識用テーブル作成装置）
３００のシステム構成を示すブロック図である。変動種
類決定部３０１は、学習データである２値画像の文字パ
ターンを入力する。この学習データは、枠に接触してい
ない文字パターンとその文字コードからなる。該変動種
類決定部３０１は、この入力される学習データの文字パ
ターンに対して施すべき変動の種類を決定し、この決定
した変動の種類情報を、変動量決定部３０２及び信頼度
テーブル作成部３０６に出力する。この変動の種類は、
例えば、図７６に示すように「文字枠に対する文字の変
動」と「文字枠の変動」の２種類に大別される。該「文
字枠に対する文字の変動」には、例えば、「位置ず
れ」、「サイズ変動」及び「傾き変動」などがある。ま
た、「文字枠の変動」には、「傾き変動」、「枠幅変
動」、「サイズ変動」及び「枠の凹凸」などがある。

【０２４７】変動量決定部３０２は、上記変動種類決定
部３０１によって決定された変動の種類の操作量（変動
量）を決定し、この変動量情報を枠接触文字生成部３０
３と信頼度テーブル作成部３０６に出力する。本実施例
では、この変動量を表すパラメータとして以下のパラメ
ータを用いる。尚、垂直方向にｘ軸を，水平方向にｙ軸
を設定するものとする。１．文字枠に対する文字の変動位置ずれ：ｄｘ，ｄｙ。ｄｘ（図７５で黒丸で示した位
置）、ｄｙ（図７５で×で示した位置）は、それぞれ、
文字の重心と文字枠の重心の位置の差のｘ方向、ｙ方向
の大きさを表す。

【０２４８】サイズ変動：ｄｓｘ，ｄｓｙ。ｄｓｘ，ｄ
ｓｙは、それぞれ、文字のｘ方向、ｙ方向の大きさを表
す。傾き変動：ｄα。垂線に対する文字の傾き角度を表す。２．文字枠の変動傾き変動：ｆα。垂線に対する文字枠の傾き角度を表
す。

【０２４９】枠幅変動：ｗ。文字枠の幅を表す。サイズ変動：ｆｓｘ，ｆｓｙ。ｆｓｘ，ｆｓｙは、それ
ぞれ、文字のｘ方向、ｙ方向の大きさを表す。

【０２５０】枠の凹凸：ｆδ。ｆδは、例えば、ファク
シミリなどに印刷された文字枠の品質劣化等を考慮した
文字枠の凹凸を制御するパラメータである。例えば、文
字枠の周囲長をＬとすると、ｆδは、このサイズＬの配
列ｆδ〔Ｌ］として表現され、この配列の各要素ｆδ
〔ｉ］（ｉ＝１，２，３，…）は、乱数発生により決定
される−β〜＋βの範囲内の整数値をとる。

【０２５１】枠接触文字生成部３０３は、学習データに
対して、上記変動量決定部３０２によって決定された上
記変動種類決定部３０１によって決定された変動種類の
変動量を基に、上記学習データに対して操作Ｆ（ｄｘ，
ｄｙ，ｄｓｘ，ｄｓｙ，ｄα，ｗ，ｆｓｘ，ｆｓｙ，ｆ
α、ｆδ）を施し、上記学習データの枠接触文字を生成
する。図７５は、該枠接触文字生成部３０３が生成する
数字「７」の枠接触文字の例を示す図である。

【０２５２】枠接触文字生成部３０３は、同図（ａ）に
示すように「７」の学習データ３２０に対して変換操作
Ｆ（ｄｘ，ｄｙ，ｄｓｘ，ｄｓｙ，ｄα，ｗ，ｆｓｘ，
ｆｓｙ，ｆα、ｆδ）を施すことにより、同図（ａ）に
示すように，枠３３０に接触する「７］の枠接触文字を
生成する。すなわち、学習データ及びに文字枠に対して
変換操作Ｆ（ｄｘ，ｄｙ，ｄｓｘ，ｄｓｙ，ｄα，ｗ，
ｆｓｘ，ｆｓｙ，ｆα、ｆδ）を施し、該変換後の学習
データと枠を重ね合わせることにより、枠接触文字を生
成する。この場合、例えば、枠の方の重心の位置を固定
しながら該変換操作Ｆ（ｄｘ，ｄｙ，ｄｓｘ，ｄｓｙ，
ｄα，ｗ，ｆｓｘ，ｆｓｙ，ｆα、ｆδ）を実行する。

【０２５３】さらに、図７６は、上記枠接触文字生成部
３０３が、ｆｓｘ及びｆｓｙを固定して（枠の大きさを
固定して）、「３」の文字の学習データ（文字パター
ン）に対して生成する各種枠接触文字の例を示す図であ
る。

【０２５４】同図（ａ）は、変動の種類が”位置ずれ”
の場合の例であり、変動量がｄｘ＝０，ｄｙ＞０の場合
である。この場合、「３」の文字が枠の下にはみ出すこ
とになる（下位置変動）。また、同図（ｂ）は、変動の
種類がサイズ変動の場合の例であり、変動量がｄｓｘ＝
ｆｓｘ，ｄｓｙ＝ｆｓｙの場合である。この場合、
「３」の文字が枠の上下、左右に接触することになり、
「３」の外接矩形が枠に等しくなる。

【０２５５】さらに、同図（ｃ）は、変動の種類が”傾
き変動”の例であり、変動量がｄα＝１０度の場合であ
る。また、同図（ｄ）は、変動の種類が枠幅変化の例で
あり、変動量がｗ＝５の場合である。また、さらに、同
図（ｅ）は、変動の種類が、”枠の凹凸”の例であり、
変動量ｆδ〔Ｌ］の各要素ｆδ〔ｉ］を制御した場合で
ある。

【０２５６】上記図７６（ａ）に示すような”位置ず
れ”変動に対して有効となる変動量は、ｄｘ，ｄｙであ
る。同様に、同図（ｂ），（ｃ），（ｄ），（ｅ），
（ｆ）に示されている各変動に対して有効となる変動量
は、それぞれ、同図（ｂ），（ｃ），（ｄ），（ｅ），
（ｆ）に示されている変動量である。

【０２５７】枠接触文字分離部３０４は、上記枠接触文
字生成部３０３によって生成された枠接触文字から枠を
抽出・除去した後、該枠除去によって途切れた文字線分
間を補完または再補完することにより、上記枠接触文字
の２値画像から文字の２値画像のみをできる限り復元す
る。この処理は、例えば、本出願人が、以前出願した特
開平６−３０９４９８号の「画像抽出方式」に示された
方法により行う。尚、以後、補完により復元されたパタ
ーンを補完パターン、再補完により復元された文字パタ
ーンを再補完パターンと呼ぶことにする。そして、この
補完パターン及び再補完パターンを文字認識部３０５及
び再文字認識部５０５に出力する。

【０２５８】文字認識部３０５は、該枠接触文字分離部
３０４によって得られた文字パターンについて文字認識
を行い、認識した文字に対応するコード（文字コード）
を信頼度作成部３０６に出力する。この文字認識は、例
えば、「統計的手法による手書き数字認識」（「手書き
文字認識技術の過去、現在、未来」信学シンポジウム講
演論文集、ｐｐ３８−４５、１９９３年、４月）に記載
されている手法により行う。

【０２５９】信頼度テーブル作成部３０６は、該文字認
識部３０５から入力される文字コードと学習データの文
字コード（正解の文字コード）とを比較して、該文字認
識部３０５が、枠接触文字分離部３０４から出力される
補完パターンまたは再補完パターンから正しい文字を認
することができたか否か判断する。そして、図７７に示
す信頼度テーブル４００を作成する。

【０２６０】すなわち、上述のようにして、上記変動種
類決定部３０１、変動量決定部３０２及び枠接触文字生
成部３０３により、あるカテゴリの文字パターンの学習
データに対して複数の形態の枠接触文字を自動生成し、
枠接触文字分離部３０４がこの枠接触文字から枠を抽出
・除去して、補完パターンまたは再補完パターンを生成
し、該パターンについて文字認識部３０５が文字認識を
実行する。信頼度テーブル作成部３０６は、該文字認識
結果を学習データの正解の文字コードと比較することに
より、文字認識部３０５の文字認識結果の正解率を、信
頼度として算出する。また、さらに、その他の各カテゴ
リについても、文字パターンとその文字コードを学習デ
ータとして、この信頼度テーブル作成装置３００に入力
させ、上記のような処理を行って、上記信頼度を算出す
る。

【０２６１】以上のような処理を行うことにより、信頼
度テーブル作成部３０６は、変動量が、ｄｙ＝５，Ｗ＝
５等の”下位置ずれ”の「２」の枠接触文字の場合、枠
接触文字分離部３０４と文字認識部３０５とで構成され
る文字認識装置が、２３％の確率で、「２」を誤って
「７」と認識してしまうことを学習する。そして、誤読
文字対（２、７）及び信頼度７７％を、上記変動量ｄｙ
＝５，Ｗ＝５等と共に、信頼度テーブル４００に登録す
る。すなわち、この場合、文字認識部３０５が「７」と
認識したとしても、その信頼度は７７％であり、実際の
文字が「２」である可能性が２２％ある旨が信頼度テー
ブル４００に登録される。同様にして、他の誤読され易
い文字対についても、”変動量”、”枠の線幅”、”誤
読文字対”及び信頼度が、信頼度テーブル作成部３０６
によって信頼度テーブル４００に登録される。尚、誤読
文字対（Ｌ１，Ｌ２）は、実際は「Ｌ１」である文字が
「Ｌ２」に誤って認識されてしまう場合を示すものであ
る。また、上記Ｌ１，Ｌ２には、例えば、該当する文字
の文字コードが登録される。

【０２６２】信頼度テーブル４００には、図７７に示
す”下位置ずれ”変動以外にも、図７８に示すように”
文字枠に対する文字の傾き変動”（この場合、左枠接
触）などの図７６に示す各種変動について、各文字カテ
ゴリ毎に登録される。

【０２６３】すなわち、例えば、図７８に示すよう
に、”下位置ずれ”変動については、例えば、ｄｘ＝
「−３」〜「＋３」、ｄｙ＝５，ｗ＝５，ｄｓｙ＝１，
ｄα＝「−１０」〜「＋１０」、ｆα＝「−１０」〜
「＋１０」が登録される。このように、同じ”下位置ず
れ”変動であっても、信頼度テーブル４００に登録され
る変動量は、ｄｘ，ｄｙのみでなく、その他の変動量が
登録される場合がある。また、”左枠接触の文字枠に対
する文字の傾き変動”については、例えば、ｄｘ＝「−
３」〜「＋３」、ｄｙ＝「−３」〜「＋３」、ｗ＝５，
ｄｓｙ＝１，ｄα＝「−２０」〜「＋２０」、ｆα＝
「−１０」〜「＋１０」が登録される。この図７８に示
されているｄｘ，ｄｙ，ｄα、ｆαように、変動量の値
は特定値のみが設定される場合のみでなく、取りうる値
の範囲が設定される場合もあり得る。

【０２６４】再文字認識部３０７は、上記のようにして
作成された信頼度テーブル４００の各行の中で、信頼度
が予め定められたしきい値（例えば、９０％）以下の行
の誤読文字対（Ｌ１，Ｌ２）について、信頼度が該しき
い値以上となるような文字認識方法を、学習データの文
字パターンと枠接触文字生成部３０３によって生成され
た補完パターンもしくは再補完パターンとを用いて学習
する。

【０２６５】例えば、図７７に示すように、ｄｙ＝５，
ｗ＝５の”下位置ずれ”の状態の「２」の枠接触文字の
文字認識の信頼度は７７％であり、「７」と誤って認識
される確率が高いので、再文字認識部３０７は、枠接触
文字分離部３０４によって得られた補完パターンまたは
再補完パターンを、例えば、領域強調の手法により再認
識すれば認識率が向上することを学習する。

【０２６６】この（２、７）の誤読文字対の場合におけ
る領域強調の手法を図７９を参照しながら説明する。ま
ず、図７９（ａ）に示すように、補完パターンまたは再
補完パターンの外接矩形４１０を、縦の行がｍ個、横の
列がｎ個のｍ×ｎ個の分割領域に分割する。そして、同
図（ｂ）にハッチングで示すように、該外接矩形の上半
分のｍ／２×ｎ個の領域を特に強調して再度、文字認識
を行う。すなわち、該ｍ／２×ｎ個の領域の特徴パラメ
ータを抽出して、上記補完パターンまたは再補完パター
ンが「２」または「７」のいずれであるのか調べる。こ
れにより、認識度が９５％まで向上する。再文字認識部
３０７は、図７７に示すように、誤読文字対が（２、
７）の行に、再認識方法として「領域強調」を、再認識
領域として「ｍ／２×ｎ」を、さらに再認識信頼度とし
て「９５％」を登録する。

【０２６７】この領域強調の手法は、図８０（ａ）に示
すような枠接触文字の場合にも有効である。同図（ａ）
は、文字「２」の下部が文字枠４２０に接触している例
であるが、この場合、枠接触文字生成部３０３により、
同図（ｂ）に示すような「７」に類似する補完パターン
４２１が得られる。この補完パターン４２１に対して同
図（ｃ）に示す外接矩形４２２を算出する。この外接矩
形４２２は、上記図７９（ａ）に示す外接矩形４１０に
対応する。そして、再文字認識部３０５は、この外接矩
形４２２を、例えば、上記図７９（ｂ）と同様に、ｍ×
ｎ個の領域に分割した後、上半分のｍ／２×ｎ個の領域
を特に強調して文字認識すれば、上記補完パターン４２
１が「２」と認識される確率が高い、すなわち、正解率
（信頼度）が高くなることを学習し、枠接触による誤読
文字対（２、７）にたいする再認識方法として、上記領
域強調の手法を、信頼度テーブル作成部３０６を介して
信頼度テーブル４００に登録する。

【０２６８】また、再文字認識部３０７は、信頼度が上
記しきい値未満のその他の誤読文字対に対しても、信頼
度が向上する認識方法を学習し、その学習により得られ
た再認識方法及び再認識信頼度等を、信頼度テーブル作
成部３０６を介して信頼度テーブル４００に登録する。

【０２６９】尚、枠接触文字分離部３０４によって補完
パターンと再補完パターンの両パターンが得られる枠接
触文字については、補完パターンまたは再補完パターン
のいずれを再認識に用いるかを指定する情報を、再文字
認識部３０７の学習結果に基づいて、信頼度テーブル４
００に予め登録しておくようにしてもよい。このような
情報を登録しておくことにより、再認識処理を効率良
く、高速に行うことが可能になる。

【０２７０】また、再文字認識部３０７が、ある誤読文
字対に対して学習した結果得られた再認識信頼度がある
しきい値よりも小さい場合には、その誤読文字対を信頼
度テーブル４００に登録する対象から除外するようにし
てもよい。このことにより、信頼度テーブル４００の容
量を削減できると共に、後述する文字認識装置５００に
おいて、文字認識の信頼度が低い文字について再認識す
る際の信頼度テーブル４００の探索時間を短縮できる。

【０２７１】次に、図８１は、上記信頼度テーブル自動
作成装置３００によって作成された信頼度テーブル４０
０を用いて、未知の枠接触文字から正しい文字を認識す
る文字認識装置５００のシステム構成を示すブロック図
である。

【０２７２】枠接触文字分離部５０１は、文字枠と該文
字枠に接触して手書きされた文字（枠接触文字）の２値
画像データを入力する。そして、この枠接触文字から枠
を抽出し、この抽出によって除去された文字線分を補完
または再補完することにより上記手書き文字を復元す
る。この処理は、例えば、本出願人が以前出願した特開
平６−３０９４９８号の画像抽出方式に記載されている
方法により行う。そして、上記補完または再補完により
得られた補完パターンまたは再補完パターンを、変動種
類算出部５０２、文字認識部５０４及び再認識部５０５
に出力する。

【０２７３】変動種類算出部５０２は、該枠接触文字分
離部５０１により復元された補完パターンまたは再補完
パターンの外接矩形の位置情報と文字枠の位置情報や幅
情報などを基に、変動の種類を求める。すなわち、図７
４に示されているような”位置ずれ”、”サイズ変
動”、”傾き変動”などの文字枠に対する文字の変動、
または、”傾き変動”、枠幅変化”、”枠の凹凸”など
の文字枠の変動を求める。

【０２７４】変動量算出部５０３は、前記枠接触文字分
離部５０１によって得られた補完パターンもしくは再補
完パターンと、文字枠とから、該変動種類算出部５０２
によって求められた各変動の種類について、前記変動量
ｄｘ，ｄｙ，ｄｓｘ，ｄｓｙ，ｄα、ｗ，ｆｓｘ，ｆｓ
ｙ，ｆα、ｆδを算出する。例えば、ｄｘ，ｄｙは、補
完パターンもしくは再補完パターンの重心位置情報と文
字枠の重心位置情報とから算出する。また、ｄｓｘ，ｄ
ｓｙは、補完パターンもしくは再補完パターンの外接矩
形情報から算出する。また、ｆαは、例えば、本出願人
が平成６年２月２８日に出願した「文字切り出し回路、
及び文字切り出し方法」に記載されている方法により算
出する。また、さらに、ｗは上記枠接触文字分離部５０
１が文字枠を抽出した際に算出し、これを変動量算出部
５０３が入力する。また、ｆαは、例えば、文字枠の四
隅の位置座標を基に算出する。さらに、ｆδは、文字枠
の２値画像情報から算出する。

【０２７５】文字認識部５０４は、前記枠接触文字分離
部５０１によって復元された補完パターンまたは再補完
パターンについて文字認識を行い、その認識結果（文字
コード）を再認識部５０５に出力する。この文字認識
は、例えば、前述した木村、若林、大橋らによる「統計
的手法による手書き数字認識」の手法により行う。

【０２７６】再認識部５０５は、該文字認識部５０４か
ら入力される文字コード、変動種類算出部５０２から入
力される変動種類情報及び変動量算出部５０３から入力
される変動量情報を、キーとして信頼度テーブル４００
を検索する。そして、該キーに一致する変動種類情報、
変動量情報及び誤読文字対を有する行が信頼度テーブル
４００に登録されているか否か調べる。尚、この場合、
上記文字コードについては誤読文字対に登録されている
か否かを調べる。そして、上記キーに一致する行が存在
した場合には、該行に登録されている信頼度が前記しき
い値以上であるか否かを判別し、該しきい値未満であれ
ばその行に登録されている再認識方法に従って、枠接触
文字分離部５０１によって復元された補完パターンまた
は再補完パターンを再度、文字認識する。

【０２７７】すなわち、例えば、文字認識部５０４によ
って２値画像の未知データが「７」と認識され、さら
に、変動種類算出部５０２によって変動の種類として
「下位置ずれ」が、変動量算出部５０３によって該「下
位置ずれ」の変動量として「ｄｙ＝５」が算出されたと
する。再認識部５０５は、これらの情報をキーとして信
頼度テーブル４００を検索して、この場合の「７」の認
識の信頼度が７７％としきい値よりも低いことを知り、
該信頼度テーブル４００に登録されている再認識の方法
に従って、枠接触文字分離部５０１によって復元された
補完パターンまたは再補完パターンの上半分の領域（ｍ
／２×ｎ）だけを強調して再認識する。そして、例え
ば、上記２値画像の未知データ（未知の枠接触文字）の
枠に接触した文字が「２」であると再認識する。

【０２７８】一方、再認識部５０５は、信頼度テーブル
４００を検索して、文字認識部５０４によって認識され
た文字の信頼度がしきい値以上であった場合には、再認
識は行わず、該文字認識部５０４から入力される文字コ
ードをそのまま出力する。

【０２７９】次に、上記図７４の信頼度テーブル作成装
置３００の再文字認識部３０７の動作を、図８２のフロ
ーチャートを参照しながら説明する。このフローチャー
トは、再文字認識部３０７が領域強調の再認識方法を信
頼度テーブル４００に登録する場合の動作を説明するも
のである。

【０２８０】再文字認識部３０７は、信頼度テーブル作
成部３０６を介して、信頼度テーブル４００から信頼度
の低い誤読文字対のデータを取り出す。そして、この誤
読文字対の左側に登録されている文字について、２値の
学習データ（文字パターン）と枠接触文字分離部３０４
によって生成されたパターン（補完パターンまたは再補
完パターン）を入力する（Ｓ５０１）。

【０２８１】この補完パターンまたは再補完パターン
は、信頼度テーブル４００に登録されている変動量パラ
メータによって規定されるパターンであり、同一カテゴ
リであっても複数の形状のパターンを取りうる。

【０２８２】次に、上記学習データの文字パターン（以
後、第一のパターンと呼ぶ）と上記枠接触文字分離部３
０４によって生成されたパターン（以後、第二のパター
ンと呼ぶ）を、ｍ×ｎの領域に分割する（Ｓ５０２）。

【０２８３】そして、該ｍ×ｎの領域内のＸ×Ｙの部分
パターンについて文字認識を実行する。そして、この場
合の認識率ｚを求める（Ｓ５０３）。上記Ｘ×Ｙの部分
パターンは、再認識領域である。このとき、Ｘ，Ｙは、
それぞれ、ｍ×ｎの領域のＸ方向、Ｙ方向の長さを表す
変数であり、Ｘ≦ｍ，Ｙ≦ｎである。また、上記認識率
ｚは、上記Ｘ×Ｙの部分パターンを用いて文字認識を行
った際の、正解となる確率である。すなわち、上記第一
のパターンの部分パターンの文字認識結果を正解とみな
し、複数の上記第二のパターンの部分パターンに対する
文字認識結果を、上記第一のパターンの部分パターンの
文字認識結果と比較していくことにより、上記第二のパ
ターンの部分パターンの認識率ｚを求める。

【０２８４】続いて、認識率ｚが最大認識率ｍａｘより
も大きいか否かを判別する（Ｓ５０４）。該最大認識率
ｍａｘは、Ｘ×Ｙの部分パターンを変化させていった場
合における認識率ｚの最大値を記憶する変数であり、最
初はある初期値（例えば、「０」）が設定される。

【０２８５】そして、認識率ｚが最大認識率ｍａｘより
も大きければ（Ｓ５０４，ｙｅｓ）、該認識率ｚを最大
認識率ｍａｘに代入し（Ｓ５０５）、続いて、Ｘ，Ｙを
変更可能か否か調べる（Ｓ５０６）。上記ステップＳ５
０４で、認識率ｚが最大認識率ｍａｘ以下であれば、直
ちに、このステップＳ５０６に移行する。

【０２８６】このＸ，Ｙの変更操作は、例えば、Ｘ，Ｙ
の大きさの変更である。また、Ｘ×Ｙの部分パターンの
ｍ×ｎの領域内での位置変更操作を含んでいてもよい。
ステップＳ５０６で、Ｘ，Ｙを変更可能であると判別す
ると（Ｓ５０６，ｙｅｓ）、上記ステップＳ５０３に戻
り、上記Ｘ，Ｙの変更操作を行い、新たなＸ×Ｙの部分
パターンを決定し、この部分パターンに対して文字認識
を行う。

【０２８７】以上、述べたステップＳ５０３〜Ｓ５０６
の処理を、上記ステップＳ５０６でＸ，Ｙを変更できな
いと判別するまで（Ｓ５０６，ｎｏ）、繰り返す。そし
て、上記ステップＳ５０６でＸ，Ｙを変更できないと判
別すると（Ｓ５０６，ｎｏ）、最大識別率ｍａｘとその
最大識別率ｍａｘが得られたＸ×Ｙの部分パターンを、
それぞれ、再認識信頼度、再認識領域として信頼度テー
ブル４００に登録する。また、再認識方法として「領域
強調」を信頼度テーブル４００に登録する。

【０２８８】尚、上記ステップＳ５０７において、上記
最大識別率ｍａｘが、あるしきい値よりも小さい、また
は文字認識部３０５の認識率（信頼度テーブル４００に
登録さてている信頼度）よりも低くて、再認識の効果が
あまり得られない場合には、信頼度テーブル４００に対
する登録を中止するようにしてもよい。

【０２８９】上記図８２のフローチャートは、再文字認
識部３０７が「領域強調」の手法を用いて再文字認識の
方法を学習する例であるが、再文字認識部３０７は、
「領域強調」の手法以外についても、再文字認識の方法
を学習する。

【０２９０】次に、図８３は、文字認識装置５００の再
認識部５０５の動作を説明するフローチャートである。
再認識部５０５は、変動量算出部５０３から変動量を入
力すると、信頼度テーブル４００を探索し、該信頼度テ
ーブル４００内に該変動量に一致する変動量が登録され
ている行が存在するか否かを調べる（Ｓ６０１）。

【０２９１】これにより、例えば、下位置ずれ変動とな
っている「２」の文字について、その変動量としてｄｘ
＝５，ｗ＝５が入力されると、図７７に示す信頼度テー
ブル４００の最上位の行が検出される。

【０２９２】そして、上記変動量が一致する行が存在す
れば、それらの行の中に文字認識部５０４から入力され
る文字コード（文字認識コード）が誤読文字対に含まれ
ている行が存在するか否かを調べる（Ｓ６０２）。

【０２９３】これにより、上記下位置ずれ変動となって
いる「２」の文字の場合、上記最上位の行が検出され
る。そして、上記行が存在すれば、次に、その行に登録
されている再認識信頼度と信頼度とを比較し、該再認識
信頼度が該信頼度よりも大きいか否か判別する（Ｓ６０
３）。

【０２９４】これにより、上記下位置ずれ変動となって
いる「２」の文字の場合、上記最上位の行に登録されて
いる再認識信頼度、信頼度が、それぞれ、「９５％」、
「７７％」であり、該再認識信頼度が該信頼度よりも大
きいと判別される。

【０２９５】そして、該再認識信頼度が該信頼度よりも
大きければ（Ｓ６０３、ＹＥＳ），次に、該再認識信頼
度が予め定められたしきい値ｔｈ１よりも大きいか否か
を判別し（Ｓ６０４）、しきい値ｔｈ１よりも大きけば
（Ｓ６０４、ＹＥＳ）、信頼度テーブル４００の上記ス
テップＳ６０２で検出した行に登録されている「再認識
方法」及び「再認識領域」を参照する（Ｓ６０５）。

【０２９６】そして、枠接触文字分離部５０１から入力
される分離パターン（補完パターンまたは再補完パター
ンから、上記「再認識領域」を切り出し、この切り出し
た領域について上記「再認識方法」により文字認識を実
行する。そして、その文字認識により得られた文字コー
ドを出力する（Ｓ６０６）。

【０２９７】これにより、上記しきい値ｔｈ１が「９５
％」よりも小さければ、枠接触文字分離部５０１から入
力される上記下位置ずれ変動となっている「２」の文字
の補完パターンについて、上半分の「ｍ／２×ｎ」の領
域を用いた「領域強調」手法により、文字認識が再度実
行され、最終的に「２」の文字コードが出力される。

【０２９８】以上、説明したように本実施例によれば、
予め、各カテゴリの文字について、様々な形態での枠接
触文字の認識率を信頼度として、その枠接触の状態を示
すパターンと共に信頼度テーブル４００に登録しておく
と共に、さらに、認識率が向上する認識方法についても
該信頼度テーブル４００に登録しておくので、未知の枠
接触文字が入力された場合であっても、該信頼度テーブ
ル４００を参照することにより、その未知の枠接触文字
に対する認識結果の信頼度を把握でき、信頼度の低い場
合には、信頼度テーブル４００に登録されている再認識
の方法により、上記未知の枠接触文字を再認識すること
により、確実に認識の精度を向上させることが可能にな
る。また、上記パラメータを特定値ではなく、ある範囲
によって信頼度テーブル４００の容量を削減できると共
に、その検索速度を高速化できる。また、登録するパラ
メータの種類は、自由に選択できるので、ほとんど全て
の未知の枠接触文字に対応することができる。この場合
にも、信頼度テーブル４００の容量を、それほど、大き
くする必要はない。

【０２９９】上記実施例は、本発明の文字認識装置への
適用例であるが、本発明は、これに限定されることな
く、直線と図形や記号などの各種パターンとが接触して
いる画像から、目的とする画像を正確に抽出するパター
ン抽出装置や該パターン抽出装置によって抽出されたパ
ターンを認識するパターン認識装置など、その他の画像
認識に係わる様々な技術に適用可能なものである。

【０３００】

【発明の効果】以上詳細に説明したように、本発明によ
れば、直線とパターンが重なっている画像から該直線を
抽出した後、その直線と上記パターンとの交点を算出す
る。そして、該交点情報を基に上記直線内の上記パター
ンの画像を推定して、該画像をいったん、仮画像として
抽出する。そして、該仮画像から、例えば、予め経験的
に求められている情報等を基に、上記パターンの画像の
みを抽出する。

【０３０１】したがって、例えば、文字認識装置などに
おいて、表形式の枠上でオーバーハングした手書き文字
などを正しく切り出すことが可能になるので、文字の切
りだし処理の精度を向上させることがきる。また、文字
認識装置のみならず、図形認識装置などにおいても、目
的とする図形を正確に抽出することが可能になる。

【０３０２】また、本発明によれば、様々な形態で枠や
罫線等の直線に接触する枠接触文字の認識の信頼度を、
予め学習して、その認識の信頼度が登録されたテーブル
を作成するので、上記テーブルを参照することにより、
未知の枠接触文字を認識する際の信頼度を知ることがで
きる。

【０３０３】また、上記テーブルを参照することによ
り、認識の信頼度が低いことが分かった未知の枠接触文
字については、別の手法で再認識することにより、確実
に誤った認識を削減することができる。また、予め、信
頼度が向上する再認識の方法を学習しておき、この再認
識の方法を上記信頼度と共にテーブルに登録することに
より、信頼度の低い枠接触文字については上記テーブル
に登録されている再認識の方法により再認識を実行する
ことにより確実に認識の信頼度を向上させることができ
る。

【０３０４】また、上記の効果を、少ない容量のテーブ
ルにより、実現することができる。また、文字パターン
以外にも、図形や記号などの各種パターンの認識率の向
上にも応用できる。

【図面の簡単な説明】

【図１】本発明の原理を説明する図（その１）である。

【図２】本発明の原理を説明する図（その２）である。

【図３】本発明の原理を説明する図（その３）である。

【図４】本発明の原理を説明する図（その４）である。

【図５】本発明の原理を説明する図（その５）である。

【図６】本発明の原理を説明する図（その６）である。

【図７】本発明の原理を説明する図（その７）である。

【図８】本発明の原理を説明する図（その８）である。

【図９】本発明の原理を説明する図（その９）である。

【図１０】本発明の原理を説明する図（その１０）であ
る。

【図１１】本発明の原理を説明する図（その１１）であ
る。

【図１２】本発明の原理を説明する図（その１２）であ
る。

【図１３】本発明の原理を説明する図（その１３）であ
る。

【図１４】本発明の原理を説明する図（その１４）であ
る。

【図１５】本発明の一実施例である画像抽出装置のシス
テム構成を示すブロック図である。

【図１６】本実施例の処理対象となる文字枠の形式を示
す図である。

【図１７】枠抽出部の一実施例のブロック図である。

【図１８】連結パターン抽出部でのラベリング処理によ
り得られた部分パターンの水平方向及び垂直方向の投影
を示す図である。

【図１９】枠の構成要素を説明する図である。

【図２０】線幅の太い枠及び線幅の細い枠の例を示す図
である。

【図２１】ｎラインレングスを説明する図である。

【図２２】交点算出部の一構成例を示す図である。

【図２３】枠分離部の一構成例を示す図である。

【図２４】枠の骨格線、外輪郭、内輪郭、及び線幅を説
明する図である。

【図２５】本実施例における座標系を説明する図であ
る。

【図２６】３交点算出部の一構成例を説明する図であ
る。

【図２７】２交点算出部の一構成例を説明する図であ
る。

【図２８】方向性が一致する場合の文字と枠の交点間の
対応付けを示す図である。

【図２９】方向性が一致しない場合の文字と枠の交点間
の対応付けを示す図である。

【図３０】３交点対応付け部の処理の一例をより詳細に
説明するフローチャートである。

【図３１】上記図２４のフローチャートの処理により枠
内の交点により文字と枠との交点が対応付けられる例を
示す図である。

【図３２】上記図２４のフローチャートの処理により枠
内の交点により文字と枠との交点が対応付けられない例
を示す図である。

【図３３】２交点対応付け部の処理の一例をより詳細に
説明するフローチャートである。

【図３４】枠内文字抽出部によって仮文字線分として抽
出されるパターンの例を示す図である。

【図３５】枠内文字抽出部の処理の一例をより詳細に説
明するフローチャートである。

【図３６】枠内文字補間部の一構成例を示すブッロク図
である。

【図３７】一対一の単純補間の例を示す図である。

【図３８】単純補間部の処理の一例をより詳細に説明す
るフローチャートである。

【図３９】交差点内補間の例を示す図である。

【図４０】交差点算出部の処理の一例をより詳細に説明
するフローチャートである。

【図４１】交差点枠内補間部の処理の一例をより詳細に
説明するフローチャートである。

【図４２】交差点枠外補間部の処理の一例をより詳細に
説明するフローチャートである。

【図４３】直線補間部の処理の一例をより詳細に説明す
るフローチャートである。

【図４４】対応付けが不可能な交点に対する直線補間部
の処理の一例をより詳細に説明するフローチャートであ
る。

【図４５】平均サイズ算出部の一例をより詳細に説明す
るフローチャートである。

【図４６】文字サイズ評価部の処理を説明するフローチ
ャートである。

【図４７】最大文字サイズ及び最小文字サイズの一例を
示す図である。

【図４８】局所的対応付け箇所がある場合と無い場合の
文字パターンの例を示す図である。

【図４９】文字サイズ評価部によって、図４２に示す文
字パターンを正しく切りだす例を示す図である。

【図５０】オーバーハングにより、複数の文字が一文字
として切り出されることを、簡単に防止できる一例を示
す図である。

【図５１】文字構造解析評価部の処理を説明するフロー
チャートである。

【図５２】文字構造定義テーブルの一例を示す図であ
る。

【図５３】８の字型の仮画像の仮文字線分の構成を示す
図である。

【図５４】仮画像がＮ型であるときに正しく文字を切り
だせる例を示す図である。

【図５５】仮画像が逆Ｎ型であるときに正しく文字を切
りだせる例を示す図である。

【図５６】８の字型の仮画像が現れる枠と接触した文字
の例を示す図である。

【図５７】図５６に示す接触文字を正しく切りだす例を
示す例である。

【図５８】ある文字が枠に接触して書かれた場合の枠接
触部分の拡大図である。

【図５９】文字構造解析評価部が仮画像の形式を判断す
る処理を説明するフローチャートである。

【図６０】交点対応付け部によって対応付けられる図５
８に示す４個の交点間の対応関係を示す図である。

【図６１】図６０に示すように対応付けられた８の字型
の仮画像から真の文字線分を抽出する処理を説明するフ
ローチャートである。

【図６２】枠を介してオーバーハングの状態に手書きさ
れた「５」と「１」の文字が正しく切りだされる例を示
す図である。

【図６３】オーバーハングによりＮ型の仮画像が形成さ
れる２つの手書き文字を切りだす例を示す図である。

【図６４】オーバーハングにより８の字型の仮画像が形
成される２つの手書き文字を切りだす例を示す図であ
る。

【図６５】文字と枠の交点が枠の両端でそれぞれ２個、
３個有る接触文字の枠部分の拡大図である。

【図６６】図６５に示す構造の仮画像用のテーブルの構
成を示す図である。

【図６７】図６０に示すテーブルにおける複数構造時の
一意決定条件を説明する図である。

【図６８】文字と枠の交点が枠の両端で共に３個有る接
触文字の枠部分の拡大図である。

【図６９】図６８に示す構造の仮画像用のテーブルの構
成を示す図（その１）である。

【図７０】図６８に示す構造の仮画像用のテーブルの構
成を示す図（その２）である。

【図７１】図６８に示す構造の仮画像用のテーブルの構
成を示す図（その３）である。

【図７２】本発明の実施例である第一の信頼度テーブル
作成装置のシステム構成を示すブロック図である。

【図７３】本発明の実施例である第一の文字認識装置の
システム構成を示すブロック図である。

【図７４】本発明の実施例である第二の信頼度テーブル
作成装置のシステム構成を示すブロック図である。

【図７５】枠接触文字の生成方法を説明する図である。

【図７６】枠接触文字の生成例を示す図である。

【図７７】図７４の信頼度テーブル作成装置によって生
成される信頼度テーブルの概略構成を示す図である。

【図７８】上記信頼度テーブルに登録される変動種類の
他の例と変動量の他の例を示す図である。

【図７９】再認識方法の一方法である領域強調の一例を
説明するである。

【図８０】「２」の枠接触文字の場合に、その補完パタ
ーンの外接矩形を求める方法を説明する図である。

【図８１】本発明の実施例である第二の文字認識装置の
システム構成を示すブロック図である。

【図８２】図７４の再文字認識部の動作の一例を説明す
るフローチャートである。

【図８３】図８１の再認識部の動作の一例を説明するフ
ローチャートである。

【図８４】従来の画像抽出装置の構成を示すブロック図
である。

【図８５】従来の文字認識装置のシステム構成を示すブ
ロック図である。

【図８６】図８５の従来の文字認識装置における文字補
完の方法を説明する図である。

【図８７】図８５の従来の文字認識装置における文字再
補完の方法を説明する図である。

【図８８】細線化処理の問題点を説明する図である。

【図８９】従来技術における枠を抽出できない問題点を
説明する図である。

【図９０】図８５の従来の文字認識装置において正しく
文字補完を行えない例を説明する図である。

【符号の説明】

３１直線抽出手段３２交点算出手段３３仮画像抽出手段３４真画像抽出手段３５真画像判断手段３６領域除去手段３８、４９、５９、６６、７４、８０、８５、９０テ
ーブル３９、４２選択手段４１、４７、５１平均文字サイズ算出手段４５、５３しきい値設定手段４６判定手段４８第一の選択手段５０第二の選択手段５２領域除去手段５４仮画像除去手段５５、６１、８１パターン分離手段５６、６２、８２パターン認識手段５７、６３、７２、７７、８３信頼度算出手段５８、６５テーブル作成手段６４、７８再文字認識手段７０、７５、８６文字分離手段７１、７６、８７文字認識手段８４、８９再認識手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平６−309498（ＪＰ，Ａ) 特開平７−28937（ＪＰ，Ａ) 特開昭63−251874（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82 G06T 7/40

Claims

(57)【特許請求の範囲】

【請求項１】直線とある形状のパターンとが重なって
いる画像から該パターンのみを抽出するパターン抽出装
置において、直線とある形状のパターンとが重なっている画像から該
直線を抽出する直線抽出手段と、該直線抽出手段によって抽出された直線と上記パターン
との交点を算出する交点算出手段と、該交点算出手段により得られた交点情報を基に、上記直
線内の上記パターンに該当する部分を想定して、該部分
を仮画像として抽出する仮画像抽出手段と、該仮画像抽出手段によって抽出された仮画像から、上記
パターンの画像のみを真の画像として抽出する真画像抽
出手段と、を備え、前記真画像抽出手段は、前記仮画像中の前記パターンの画像に該当する部分であ
る真の画像を判断する真画像判断手段と、前記仮画像から、該真画像判断手段によって真の画像と
判断された以外の領域を除去する領域除去手段と、を備
え、前記真画像判断手段は、仮画像の構造から、該仮画像内の前記パターンの画像に
対応する真の画像のみを抽出するための情報が格納され
ているテーブルと、仮画像の構造を判定し、上記テーブルを参照して該仮画
像中の前記パターンの画像に対応する真の画像を選択す
る選択手段と、を備えたことを特徴とするパターン抽出装置。
【請求項２】前記パターンは、文字パターンであり、前記テーブルは、文字の種類別に個別に設けられている
こと、を特徴とする請求項１記載のパターン抽出装置。
【請求項３】直線とある形状のパターンとが重なって
いる画像から該パターンのみを抽出するパターン抽出装
置において、直線とある形状のパターンとが重なっている画像から該
直線を抽出する直線抽出手段と、該直線抽出手段によって抽出された直線と上記パターン
との交点を算出する交点算出手段と、該交点算出手段により得られた交点情報を基に、上記直
線内の上記パターンに該当する部分を想定して、該部分
を仮画像として抽出する仮画像抽出手段と、該仮画像抽出手段によって抽出された仮画像から、上記
パターンの画像のみを真の画像として抽出する真画像抽
出手段と、を備え、前記パターンは、文字パターンであり、前記真画像判断手段は、仮画像を含む文字パターンの文字列から１文字のパター
ンの平均サイズである平均文字サイズを算出する平均文
字サイズ算出手段と、該平均文字サイズ算出手段によって求められた平均文字
サイズを基に、前記文字列中の前記仮画像を含む文字パ
ターンから、その真の文字線分の画像を判定する第一の
判定手段と、仮文字線分の画像から成る仮画像の構造から、該仮画像
内の真の文字線分の画像のみを抽出するための情報が格
納されているテーブルと、仮画像の構造を判定し、上記テーブルを参照して該仮画
像から真の文字線分の画像である真の画像を判定する第
二の判定手段と、を備えたことを特徴とするパターン抽出装置。
【請求項４】直線とある形状のパターンとが重なって
いる画像から該パターンのみを抽出するパターン抽出装
置において、直線とある形状のパターンとが重なっている画像から該
直線を抽出する直線抽出手段と、該直線抽出手段によって抽出された直線と上記パターン
との交点を算出する交点算出手段と、該交点算出手段により得られた交点情報を基に、上記直
線内の上記パターンに該当する部分を想定して、該部分
を仮画像として抽出する仮画像抽出手段と、該仮画像抽出手段によって抽出された仮画像から、上記
パターンの画像のみを真の画像として抽出する真画像抽
出手段と、を備え、前記真画像抽出手段は、前記仮画像中の前記パターンの画像に該当する部分であ
る真の画像を判断する真画像判断手段と、前記仮画像から、該真画像判断手段によって真の画像と
判断された以外の領域を除去する領域除去手段と、を備
え、前記パターンは、文字パターンであり、前記真画像判断手段は、仮画像を含む文字パターンの文字列から１文字のパター
ンの平均サイズである平均文字サイズを算出する平均文
字サイズ算出手段と、該平均文字サイズ算出手段によって求められた平均文字
サイズを基に、前記文字列中の前記仮画像を含む文字パ
ターンから、その真の文字線分の画像を判定する第一の
判定手段と、仮文字線分の画像から成る仮画像の構造から、該仮画像
内の真の文字線分の画像のみを抽出するための情報が格
納されているテーブルと、仮画像の構造を判定し、上記テーブルを参照して該仮画
像から真の文字線分の画像である真の画像を判定する第
二の判定手段と、を備えたことを特徴とするパターン抽出装置。
【請求項５】直線とパターンとが接触している画像か
ら該パターンのみを分離・抽出するパターン分離手段
と、該パターン分離手段によって抽出されたパターンを認識
するパターン認識手段と、該パターン認識手段によって認識されるパターンの信頼
度を、前記直線と前記パターンとの接触状態毎に算出す
る信頼度算出手段と、該信頼度算出手段によって算出される信頼度が予め定め
られたしきい値よりも小さい直線とパターンとの接触状
態について、該信頼度を前記パターン認識手段が誤って
認識するパターンと正しいパターンとの組み合わせから
成るパターン対と共に記憶するテーブルを作成するテー
ブル作成手段と、を備えたことを特徴とするパターン再認識用テーブル作
成装置。
【請求項６】直線とパターンとが接触している画像か
ら該パターンのみを分離・抽出するパターン分離手段
と、該パターン分離手段によって抽出されたパターンを認識
するパターン認識手段と、該パターン認識手段によって認識されるパターンの信頼
度を、前記直線と前記パターンとの接触状態毎に算出す
る信頼度算出手段と、該信頼度算出手段によって算出される信頼度が予め定め
られたしきい値よりも小さい直線とパターンとの接触状
態について、前記パターンの認識の信頼度が向上する再
認識の方法を学習する再文字認識手段と、該再文字認識手段によって学習された再認識の方法を、
前記パターン認識手段が誤って認識するパターンと正し
いパターンとの組み合わせから成るパターン対と共に記
憶するテーブルを作成するテーブル作成手段と、を備えたことを特徴とするパターン再認識用テーブル作
成装置。
【請求項７】枠または罫線等の直線と文字とが接触し
ている画像から該文字のみを分離・抽出する文字分離手
段と、該文字分離手段によって抽出された文字を認識する文字
認識手段と、該文字認識手段によって認識される文字の信頼度を、前
記直線と文字との接触状態毎に算出する信頼度算出手段
と、該信頼度算出手段によって算出される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、該信頼度を前記文字認識手段が誤って認識する
文字と正しい文字との組み合わせから成る文字対と共に
記憶するテーブルを作成するテーブル作成手段と、を備えたことを特徴とするパターン再認識用テーブル作
成装置。
【請求項８】枠または罫線等の直線と文字とが接触し
ている画像から該文字のみを分離・抽出する文字分離手
段と、該文字分離手段によって抽出された文字を認識する文字
認識手段と、該文字認識手段によって認識される文字の信頼度を、前
記直線と文字との接触状態毎に算出する信頼度算出手段
と、該信頼度算出手段によって算出される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、該文字の認識の信頼度が向上する再認識の方法
を学習する再文字認識手段と、該再文字認識手段によって学習された再認識方法を、前
記文字認識手段が誤って認識する文字と正しい文字との
組み合わせから成る文字対と共に記憶するテーブルを作
成するテーブル作成手段と、を備えたことを特徴とするパターン再認識用テーブル作
成装置。
【請求項９】前記信頼度算出手段は、各文字について、該各文字が枠もしくは罫線等の直線に
接触している様々の形態の画像パターンを生成する接触
文字生成手段と、該接触文字生成手段によって生成された画像パターンに
対する前記文字認識手段の文字の認識率を調べ、該認識
率を各文字の信頼度として設定する信頼度設定手段と、を備えたことを特徴とする請求項８記載のパターン再認
識用テーブル作成装置。
【請求項１０】前記接触文字生成手段は、予め定められた枠または罫線等の直線に、様々な形態に
変化させた各文字を重畳させて前記画像パターンを生成
することを特徴とする請求項９記載のパターン再認識用
テーブル作成装置。
【請求項１１】前記接触文字生成手段は、各文字のサイズを変化させて前記画像パターンを生成す
ることを特徴とする請求項９記載のパターン再認識用テ
ーブル作成装置。
【請求項１２】前記接触文字生成手段は、各文字を、その重心を中心とする回転角度を変化させて
前記画像パターンを生成することを特徴とする請求項９
記載のパターン再認識用テーブル作成装置。
【請求項１３】前記接触文字生成手段は、予め定められた形態の各文字に、様々な形態に変化させ
た枠または罫線等の直線を重畳させて前記画像パターン
を生成することを特徴とする請求項９記載のパターン再
認識用テーブル作成装置。
【請求項１４】前記接触文字生成手段は、枠または罫線等の直線を、その重心を中心とする回転角
度を変化させて前記画像パターンを生成することを特徴
とする請求項１３記載のパターン再認識用テーブル作成
装置。
【請求項１５】前記接触文字生成手段は、枠または罫
線等の直線を、その幅のサイズを変化させて前記画像パ
ターンを生成することを特徴とする請求項１３記載のパ
ターン再認識用テーブル作成装置。
【請求項１６】前記接触文字生成手段は、枠または罫線等の直線を、その幅のサイズを各位置によ
って変動させながら前記接触文字を生成することを特徴
とする請求項１３記載のパターン再認識用テーブル作成
装置。
【請求項１７】前記接触文字生成手段は、様々な形態に変化させた各文字に、様々な形態に変化さ
せた枠または罫線等の直線を重畳させて、前記画像パタ
ーンを生成することを特徴とする請求項９記載のパター
ン再認識用テーブル作成装置。
【請求項１８】前記接触文字生成手段は、文字の重心と、枠または罫線等の直線との重心の相対的
な位置関係を変化させて前記接触文字を生成することを
特徴とする請求項９、１３または１７記載のパターン再
認識用テーブル作成装置。
【請求項１９】直線とパターンとが重なっている画像
から上記パターンのみを分離・抽出するパターン分離手
段と、該パターン分離手段によって抽出されたパターンを認識
するパターン認識手段と、該パターン認識手段によって認識されるパターンの信頼
度を、前記直線と前記パターンとの重なり状態毎に算出
する信頼度算出手段と、該信頼度算出手段によって算出される信頼度が予め定め
られたしきい値よりも小さい直線とパターンとの重なり
状態について、前記パターン認識手段とは異なる手法に
より前記パターンを再認識する再認識手段と、前記パターン認識手段によって認識される信頼度が予め
定められたしきい値よりも小さい直線とパターンとの重
なり状態について、前記パターンの認識の信頼度が向上
するパターンの再認識方法が登録されているテーブル
と、を備え、前記再認識手段は、上記テーブルに登録されている再認
識方法により前記再認識を行うこと、を特徴とするパターン認識装置。
【請求項２０】前記テーブルに登録されている再認識
方法は、前記パターン分離手段によって分離されたパタ
ーンの特定領域を用いて認識する方法であること、を特徴とする請求項１９記載のパターン認識装置。
【請求項２１】前記パターンの特定領域は、前記パタ
ーンに外接する矩形の分割領域であること、を特徴とする請求項２０記載のパターン認識装置。
【請求項２２】枠または罫線等の直線と文字とが接触
している画像から上記文字のみを分離・抽出する文字分
離手段と、該文字分離手段によって抽出された文字を認識する文字
認識手段と、該文字認識手段によって認識される文字の信頼度を、前
記直線と前記文字との接触状態毎に算出する信頼度算出
手段と、該信頼度算出手段によって算出される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、前記文字認識手段とは異なる手法により前記文
字を再認識する再認識手段と、前記文字認識手段によって認識される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、前記文字の認識の信頼度が向上する文字の再認
識方法が登録されているテーブルと、を備え、前記再認識手段は、上記テーブルに登録されている再認
識方法により前記再認識を行うこと、を特徴とするパターン認識装置。
【請求項２３】前記テーブルに登録されている再認識
方法は、前記文字分離手段によって分離された文字の特
定領域を用いて認識する方法であること、を特徴とする請求項２２記載のパターン認識装置。
【請求項２４】前記文字の特定領域は、前記文字に外
接する矩形の分割領域に含まれる領域であること、を特徴とする請求項２３記載のパターン認識装置。
【請求項２５】枠または罫線等の直線と文字とが接触
している画像から上記文字のみを分離・抽出する文字分
離手段と、該文字分離手段によって抽出された文字を認識する文字
認識手段と、該文字認識手段によって認識される文字の信頼度を、前
記直線と前記文字との接触状態毎に算出する信頼度算出
手段と、該信頼度算出手段によって算出される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、前記文字認識手段とは異なる手法により前記文
字を再認識する再認識手段と、前記文字認識手段によって認識される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、前記文字認識手段が誤って認識しやすい文字と
正しい文字とが組み合わせられた文字対と、前記接触文
字の認識の信頼度が向上する文字の再認識方法が登録さ
れているテーブルと、を備え、前記再認識手段は、前記文字認識手段によって認識され
た文字が上記テーブルに登録されている文字対に含まれ
る場合、前記テーブルに登録されている再認識方法によ
り前記再認識を行うこと、を特徴とするパターン認識装置。
【請求項２６】前記テーブルに登録されている再認識
方法は、前記文字分離手段によって分離された文字の特
定領域を用いて認識する方法であること、を特徴とする請求項２５記載のパターン認識装置。
【請求項２７】前記文字の特定領域は、前記文字に外
接する矩形の分割領域に含まれる領域であること、を特徴とする請求項２６記載のパターン認識装置。
【請求項２８】枠または罫線等の直線と文字とが接触
している画像から上記文字のみを分離・抽出する文字分
離手段と、該文字分離手段によって抽出された文字を認識する文字
認識手段と、該文字認識手段によって認識される文字の信頼度を、前
記直線と前記文字との接触状態毎に算出する信頼度算出
手段と、該信頼度算出手段によって算出される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、前記文字認識手段とは異なる手法により前記文
字を再認識する再認識手段と、前記文字認識手段によって認識される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、該信頼度と、前記文字認識手段が誤認識しやす
い文字と正しい文字との組み合わせである文字対と、前
記接触文字の認識の信頼度が向上する文字の再認識方法
が登録されているテーブルと、を備え、前記再認識手段は、前記文字認識手段によって認識され
た文字が上記テーブルに登録されている文字対に含ま
れ、かつ上記テーブルに登録されている前記文字認識手
段によるその文字の認識の信頼度が予め定められたしき
い値よりも小さい場合、前記テーブルに登録されている
再認識方法により前記再認識を行うこと、を特徴とするパターン認識装置。
【請求項２９】前記テーブルに登録されている再認識
方法は、前記文字分離手段によって分離された文字の特
定領域を用いて認識する方法であること、を特徴とする請求項２８記載のパターン認識装置。
【請求項３０】前記文字の特定領域は、前記文字に外
接する矩形の分割領域に含まれる領域であること、を特徴とする請求項２９記載のパターン認識装置。
【請求項３１】枠または罫線等の直線と文字とが接触
している画像から上記文字のみを分離・抽出する文字分
離手段と、該文字分離手段によって抽出された文字を認識する文字
認識手段と、該文字認識手段によって認識される文字の信頼度を、前
記直線と前記文字との接触状態毎に算出する信頼度算出
手段と、該信頼度算出手段によって算出される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、前記文字認識手段とは異なる手法により前記文
字を再認識する再認識手段と、前記文字認識手段によって認識される信頼度が予め定め
られたしきい値よりも小さい直線と文字との接触状態に
ついて、その接触状態の特徴を表すパラメータと、該信
頼度と、前記文字認識手段が誤認識し易い文字と正しい
文字の組み合わせから成る文字対と、前記接触文字の認
識の信頼度が向上する文字の認識方法が登録されている
テーブルと、を備え、前記再認識手段は、上記直線と文字との接触状態の特徴
を表す各パラメータの値を算出し、該パラメータと、前
記文字認識手段によって認識された文字が上記テーブル
に登録されており、かつ上記テーブルに登録されている
前記文字認識手段によるその文字の認識の信頼度が予め
定められたしきい値よりも小さい場合、前記テーブルに
登録されている再認識方法により前記再認識を行うこ
と、を特徴とするパターン認識装置。
【請求項３２】前記テーブルに登録されている再認識
方法は、前記文字分離手段によって分離された文字の特
定領域を用いて認識する方法であること、を特徴とする
請求項３１記載のパターン認識装置。
【請求項３３】前記文字の特定領域は、前記文字に外
接する矩形の分割領域に含まれる領域であること、を特徴とする請求項３１記載のパターン認識装置。