JPH06309498A - 画像抽出方式 - Google Patents

Abstract

(57)【要約】 【目的】 枠、罫線等の直線に触れている文字、図形、
記号から枠、罫線等の直線部分を正確に抽出・分離し
て、文字、図形、記号を高品位で復元すること。 【構成】 線幅の太い直線抽出部２、線幅の細い直線抽
出部３、枠検出部４は、連結パターン抽出部１において
抽出されたパターンから枠を検出する。属性付加部５
は、部分パターンに、文字（図形、記号を含む）、枠、
もしくは、文字と枠の接触パターンの属性を付け、分離
手段６は接触したパターンから枠を分離する。交点算出
部７は文字と枠との交点を算出し、算出された交点は交
点対応づけ部８により交点間が対応づけられる。補完部
９は対応づけられた交点に基づき、枠内の文字の領域を
求めて、求めた領域を補完する。連結性確認部１０は抽
出された文字のパターンに対して、パターンの連結性の
確認を行い、連結性が確認されたパターンは連結パター
ン統合部１１で統合され、文字が抽出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像抽出方式に係わり、
特にＯＣＲ等の手書き文字認識装置において文字枠、罫
線等に接触した文字、図形等を抽出するための画像抽出
方式に関する。

【０００２】手書き用の入出力装置として、手書き文字
認識装置の需要が増加している。この様な手書き文字認
識装置において個々の文字の高い認識率を実現するため
には、認識の前段階である文字の切出し処理が正確に行
われることが重要である。

【０００３】認識の対象となる文書としては、帳票等の
文字を書く位置を予め指定された文書がある。この様な
文書では、文字を書く位置を指定した枠等がドロップ・
アウト・カラーでなく、黒枠等の罫線と文字とが同じ色
や濃度で書かれている。従って、文字が指定した範囲内
にきれいに書かれていれば比較的高い認識率で自動認識
が可能であるが、手書き文字が少しでも指定範囲を越え
て指定範囲を示す枠又は罫線に接触したりはみだしたり
すると、認識率が著しく低下するという問題が生じてい
た。

【０００４】本発明は、上記問題に対して、罫線、枠等
に触れている文字、図形、記号等から文字、図形、記号
等だけを正確に抽出するための画像抽出方式に関するも
のである。つまり、本発明は、手書き用文字認識装置だ
けでなく、印刷文字認識装置や図面認識装置における文
字及び記号の切出し、画像中の罫線と物体、図形や文字
との接触部分の分離等のように、直線と広い意味での図
形が重なったパターンから図形だけを切り出す際に適用
することができる画像抽出方式に関する。

【０００５】

【従来の技術】従来から、文字枠と接触した文字から文
字だけを切り出す技術として、特開昭６３‐２５１８７
４号公報で提案されている如き接触文字の切出し方法
や、特開平３‐２３３７８７号公報で提案されている如
き文字画像抽出方式等が知られている。

【０００６】図６７は、従来の文字切出し方式の一例を
示すブロック図である。同図中、文字切出し方式は、枠
と文字との接触検出手段１８１と、文字と文字枠との接
触範囲を決定する接触範囲決定手段１８３と、矩形によ
り文字と文字枠とが重なった部分を補完する補完手段１
８４とからなる。接触検出手段１８１には、文字枠の位
置やサイズからなる枠位置データ１８２が供給される。

【０００７】文字を切り出す場合には、枠位置データ１
８２を予め帳票データとして格納しておく。接触検出手
段１８１は、枠位置データ１８２に基づいて、入力画像
の黒画素が文字枠の位置に接触しているか否かを調べ
る。又、接触範囲決定手段１８３は、入力画像が文字枠
と接触している箇所を結ぶ領域を文字枠内の文字部分と
決定し、補完手段１８４は、接触範囲決定手段１８３に
より決定された領域を文字領域であるとして矩形で塗り
つぶすことにより、文字を切出していた。

【０００８】

【発明が解決しようとする課題】ところで、上記従来方
式では、文字枠の位置や線幅が予めわかっていることが
前提条件である。このため、文字の切出しの精度は、文
字枠のわずかな傾きや凹凸の影響を受けやすい。即ち、
例えば文字枠の一部が所定の位置からはみ出している場
合、このはみ出した部分を文字と認識してしまい、この
部分が雑音として残存してしまった。又、文字と文字枠
部分との不要な連結が生じてしまい、切り出した文字の
品質が極端に悪くなることもあった。更に、文字枠の位
置や線幅の変動により、本来の文字部分の箇所が欠けて
しまうこともあった。

【０００９】又、従来方式における文字枠内の文字領域
の判定方法は、文字線分の連続性及び連結性を考慮して
おらず、局所的な矩形領域で穴埋めを行う単純な方法な
ので、切り出した文字の品質劣化は著しいものであっ
た。

【００１０】図６８は、上記従来方式により切り出した
文字パターンの一例を示す図である。同図中、（ａ）は
文字線分１９１と文字枠１９２との接触部分を示し、
（ｂ）は同図（ａ）より切り出した文字の一部を示す。

【００１１】図６８は、文字枠１９２が２画素分の幅を
持っているという前提で、文字枠１９２から文字線分１
９１を切り出した例を示している。同図（ａ）の文字枠
部分において、幅が２画素分である部分１９２ａは文字
枠部分として文字を切り出す際に除去されるが、幅が
「かすれ」等により２画素分の幅より狭い部分１９２ｂ
は文字枠部分として除去されない。このため、同図
（ａ）から切り出された文字線分には、「かすれ」等に
より文字枠の幅が２画素分より狭い文字枠部分が文字の
一部として残り、同図（ｂ）に示すように品質の悪い文
字線分が切り出されてしまう。

【００１２】図６９は、上記従来方式により切り出され
た文字の例を示す図である。上述の如く、従来方式では
文字線分の連続性及び連結性、文字の線幅、文字のサイ
ズ等を考慮していないため、同図（ａ）に示すように枠
を文字の一部として切り出したり、同図（ｂ）に示すよ
うに枠が２文字に接触している場合に枠で連結された２
文字を１文字として切り出したり、同図（ｃ）に示すよ
うに文字に付いた汚れ等を文字の一部として切り出した
りしてしまい、切り出した文字の品質低下が著しかっ
た。

【００１３】本発明は、上記従来技術の問題点を改善す
るためになされたものであって、枠、罫線等の直線部分
に触れている文字、図形、記号等から枠、罫線等の直線
部分を正確に抽出及び分離して、文字、図形、記号等を
正確に切り出すことにより、枠、罫線等の直線部分に接
触した文字、図形、記号等を高品位で復元することがで
き、これらの認識率を著しく向上させることができる画
像抽出方式を提供することを目的とする。

【００１４】

【課題を解決するための手段】上記の課題は、請求項１
記載の、枠もしくは罫線等の直線部分と文字、図形もし
くは記号から構成される画像から、文字、図形、記号を
抽出する画像抽出方式であって、枠もしくは罫線等の直
線部分と文字、図形もしくは記号とから構成される画像
から画素と画素が繋がっている部分パターンを抽出する
連結パターン抽出手段１と、該連結パターン抽出手段１
により抽出された部分パターンから、枠もしくは罫線等
の直線部分を抽出する直線抽出手段２，３，４と、該直
線抽出手段２，３，４，４１，４２，４３の抽出結果に
基づき、上記部分パターンを、文字、図形もしくは罫線
等の直線部分だけのパターンと、文字、図形もしくは記
号と枠もしくは罫線等の直線部分が接触したパターンと
に分類する属性付加手段５と、文字、図形もしくは記号
と枠もしくは罫線等の直線部分が接触したパターンから
枠もしくは罫線等の直線部分を分離する分離手段６とを
有する画像抽出方式によって達成される。

【００１５】上記課題は、請求項２１記載の、矩形で各
矩形が分離した枠と文字、図形もしくは記号とから構成
される画像から、枠を抽出する画像抽出方式において、
画像を構成するパターンから画素と画素が繋がっている
部分パターンを抽出する連結パターン抽出手段２１と、
抽出された各部分パターン毎に垂直方向と水平方向の投
影を求める手段２２ａと、部分パターンを矩形で近似
し、垂直方向の投影値と近似された矩形の垂直方向の長
さと、水平方向の投影値と近似された矩形の水平方向の
長さの夫々の比を求め、その比より枠を構成する直線の
候補を求める手段２２ｂと、上記直線の候補間の距離を
算出し、枠を構成する最外郭の直線を抽出すると共に、
上記最外郭の直線に隣接する直線の候補を求め、枠の各
辺の線幅を算出する手段２２ｃ，２２ｅと、各辺の最外
郭の直線の位置と、その線幅より枠を分離する手段２２
ｆとを有する画像抽出方式によっても達成される。

【００１６】上記の課題は、請求項２２記載の、矩形で
各矩形が分離した枠と文字、図形もしくは記号とから構
成される画像から、枠を抽出する画像抽出方式におい
て、画像を構成するパターンから画素と画素が繋がって
いる部分パターンを抽出する連結パターン抽出手段２１
と、部分パターンを矩形で近似し、近似された矩形を構
成する直線の両端、及び、中点等の複数の点から矩形内
部に垂線を下ろして部分パターンと接触した位置を開始
点として抽出し、抽出された開始点より、左右もしくは
上下に部分パターンに沿って探索する手段２２ａ，２２
ｂ，２２ｃ，２２ｄと、探索によって得られた直線の長
さと、上記近似矩形の各辺の長さの比を算出し、その比
より枠を構成する直線の候補を求める手段２２ｅと、上
記直線の候補間の距離を算出し、枠を構成する最外郭の
直線を抽出すると共に、上記最外郭の直線に隣接する直
線の候補を求め、枠の各辺の線幅を算出する手段２２ｄ
と、各辺の最外郭の直線の位置と、その線幅より枠を分
離する手段２２ｆとを有する画像抽出方式によっても達
成される。

【００１７】上記の課題は、請求項２５記載の、矩形で
各矩形が分離した枠と文字、図形もしくは記号とから構
成される画像から、枠を抽出する画像抽出方式におい
て、画像を構成するパターンから画素と画素が繋がって
いる部分パターンを抽出する連結パターン抽出手段２１
と、該連結パターン抽出手段２１により抽出された部分
パターンから枠を抽出する枠抽出手段２，３，４と、該
枠抽出手段２，３，４の抽出結果に基づき、上記部分パ
ターンを、文字、図形もしくは記号だけからなるパター
ンと、枠だけのパターンと、文字、図形もしくは記号と
枠が接触したパターンとに分類する属性付加手段５と、
抽出された枠のサイズ分だけ、左右、もしくは、上下の
範囲内に存在する部分パターンを抽出し、抽出した全て
の部分パターンが該属性付加手段５において、文字、図
形もしくは記号だけからなるパターンと判定されている
場合に、上記抽出された枠を文字、図形もしくは記号だ
けからなるパターンと判定し直す手段とを有する画像抽
出方式によっても達成される。

【００１８】上記の課題は、請求項２６記載の、枠もし
くは罫線等の直線部分と文字、図形もしくは記号とから
構成される画像から、傾きを持ったり、雑音を含んだ枠
もしくは罫線等の直線部分を抽出する画像抽出方式にお
いて、開始点の座標から傾きを考慮した垂直もしくは水
平区間を定め、その区間内で４連結或は８連結で繋がれ
たパターンを水平もしくは垂直に追跡して追跡できたパ
ターンの連続画素数を直線の長さとして換算する手段２
２ｄと、追跡してできたパターンをその連続画素数分の
長さを持つ直線部分として抽出する手段２２ｆとを有す
る画像抽出方式によっても達成される。

【００１９】上記の課題は、請求項２７記載の、一文字
ずつ枠で仕切られているブロック枠と、文字、図形もし
くは記号とから構成される画像から画素と画素が繋がっ
ている部分パターンを抽出する連結パターン抽出手段４
０と、該連結パターン抽出手段４０により抽出された部
分パターンから直線を検出する直線抽出手段４１，４２
と、該直線抽出手段４１，４２により検出された直線か
ら枠を構成する直線を検出する枠検出手段４３と、該枠
検出手段４３により検出された直線を部分パターンから
分離することにより文字、図形もしくは記号を切り出す
枠分離手段４４とを有し、該枠検出手段４３は、部分パ
ターン中の直線がその直線と垂直、かつ、部分パターン
の中で最外郭である直線に達しているか否かによりその
直線が枠を構成する直線の候補であるか否かを判断する
第１の手段と、該第１の手段により得られた枠を構成す
る直線の候補同士の間隔に応じて枠を構成する直線を決
定する第２の手段とを備えた画像抽出方式によっても達
成される。

【００２０】

【作用】請求項１記載の発明によれば、枠もしくは罫線
等の直線部分と文字、図形もしくは記号とから構成され
る画像から、枠もしくは罫線等の直線部分を確実に除去
することができ、高品質の文字、図形もしくは記号を抽
出することができる。このため、文字認識装置等におい
て、文字、図形、記号の認識率を著しく向上させること
ができる。

【００２１】請求項２１記載の発明によれば、頻度の多
い線幅の太い枠を高速に、かつ、正確に抽出できる。
又、枠に接触した文字、図形もしくは記号から、それら
の一部を削り取ることなく、枠だけを正確に分離するこ
とができ、文字、図形もしくは記号を高品位に復元する
ことができる。

【００２２】請求項２２記載の発明によれば、線幅の細
い枠を高速に、かつ、正確に抽出できる。又、枠に接触
した文字、図形もしくは記号から、それらの一部を削り
取ることなく、枠だけを正確に分離することができ、文
字、図形もしくは記号を高品位に復元することができ
る。

【００２３】請求項２５の発明によれば、例えば「国」
という漢字のように枠に相当する矩形部分を持つ文字の
一部を誤って枠として抽出することがなく、枠を安定し
て抽出することができる。

【００２４】請求項２６の発明によれば、凹凸のある直
線をも確実に抽出することが可能となる。

【００２５】請求項２７の発明によれば、傾きのあるブ
ロック枠であっても、文字枠を確実に、かつ、正確に抽
出することができる。

【００２６】

【実施例】図１は、本発明になる画像抽出方式の第１実
施例を示す図である。同図中、連結パターン抽出部１
は、枠もしくは罫線等の直線部分と文字、図形もしくは
記号とから構成される画像から画素と画素が繋がってい
る部分パターンを抽出する。線幅の太い直線抽出部２
は、連結パターン抽出部１において抽出された部分パタ
ーンの投影を求めることにより部分パターン毎に連結パ
ターンのサイズの縦、横の長さに相当する線幅の太い
枠、罫線等の直線を抽出する。線幅の細い直線抽出部３
は、線幅の太い直線抽出部２で抽出されなかった枠、罫
線等の直線を抽出する。枠抽出部４は、抽出された複数
の直線から枠を構成する４辺を抽出する。つまり、枠抽
出部４は、線幅の太い直線抽出部２或は線幅の細い直線
抽出部３で抽出された直線のうち、部分パターンの最外
郭の直線を求めることにより枠を検出する。連結パター
ン属性付加部５は、連結パターンに枠、罫線等の直線が
存在するかどうかを調べ、存在しなかったら文字、図形
もしくは記号又はその一部から構成されるパターン
（ハ）の属性を付加する。又、連結パターン属性付加部
５は、枠、罫線等の直線分離後、文字、図形もしくは記
号又はその一部の部分パターンが存在するか否かに応じ
て、枠、罫線等の直線パターン（ロ）の属性、枠、罫線
等の直線に接触した文字、図形もしくは記号又はその一
部のパターン（イ）の属性を付加する。

【００２７】分離部６は、枠、罫線等の直線の幅を算出
し、それに従って連結パターンから枠、罫線等の直線を
分離する。交点算出部７は、文字、図形もしくは記号と
枠、罫線等の直線が接する交点を算出する。交点対応付
け部８は、文字、図形もしくは記号を構成する線分間の
距離、方向に基づく線分の連続性の条件等により交点間
を対応付ける。補完部９は、交点対応付け部８において
対応付けられた交点間を接続することにより、枠、罫線
等の直線内の文字、図形もしくは記号の領域を補完す
る。連結性確認部１０は、補完部９において得られたパ
ターンが元々連結していたという情報を逆利用してパタ
ーンの連結性を確認する。

【００２８】連結性確認部１０で連結性が確認できない
場合には、交点対応付け部８の処理に戻り、交点の対応
付けの条件を拡張して対応付けを行う。そして、対応付
けられた交点について、補完部９で補完を行って、連結
性確認部１０で再度連結性の確認を行う。連結パターン
統合部１１は、文字、図形もしくは記号又はその一部か
ら構成されるパターン（ハ）の統合を行って、文字、図
形もしくは記号を抽出すると共に、補完部９において補
完された文字、図形もしくは記号のパターンと上記パタ
ーンを統合したときのサイズを考慮して両者を統合す
る。

【００２９】これにより、枠もしくは罫線等の直線部分
と文字、図形もしくは記号から構成される画像から、枠
もしくは罫線等の直線を確実に除去し、除去した部分を
正確に補完することにより、高品質の文字、図形もしく
は記号を抽出することができる。このため、文字認識装
置等において、文字、図形、記号等の認識率を著しく向
上させることができる。

【００３０】次に、本発明になる画像抽出方式の第２実
施例について、図２及び図３と共に説明する。図２及び
図３は、画像抽出方式の第２実施例を示すブロック図で
ある。本実施例では、本発明が黒枠の帳票から文字を切
り出す処理に適用されている。つまり、本実施例では、
１文字枠のサイズや位置がわからない矩形で分離した文
字枠が複数個あり、その文字枠に接触或はその文字枠か
らはみ出して手書き文字が書かれた場合に、文字及び文
字枠のパターンから文字部分だけを一文字、一文字切り
出す。

【００３１】本実施例では、画像抽出方式は図２に示す
連結パターン抽出部２１、直線／枠抽出部２２、連結パ
ターン属性付加部２３、枠分離部２４、文字／枠交点算
出部２５、図３に示す交点対応付け部３１、枠内文字補
完部３２、連結性確認部３３及び連結パターン統合部３
４からなる。

【００３２】図２において、連結パターン抽出部２１
は、前処理を施された入力パターン信号から８連結で繋
がっているパターンをラベリングにより抽出するラベリ
ング部２１ａを有する。「８連結」のパターンとは、
縦、横、斜めの８方向のいずれかで繋がっているパター
ンを言う。上記ラベリングには、一般的な手法を用いる
ことができる。本実施例では、ラベリング部２１ａで得
られる部分パターンは、文字が接触していない枠、枠に
接触していない文字或は文字の一部、又は枠に接触して
いる文字のいずれかである。これらの部分パターンを判
別して枠に接触している文字だけに注目するために、枠
を抽出する。又、ラベリングで得られた部分パターンの
サイズが後述する処理で必要となるので、部分パターン
を矩形に近似して得られる矩形の角の座標をラベリング
の処理中に算出しておく。

【００３３】直線／枠抽出部２２は、線幅の太い直線／
枠及び線幅の細い直線／枠を抽出する。図２に示す如
く、直線／枠抽出部２２は、投影部２２ａ、直線検出部
２２ｂ、４辺検出部２２ｃ、追跡部２２ｄ、４辺検出部
２２ｅ及び枠抽出部２２ｆを有する。

【００３４】投影部２２ａは、連結パターン抽出部２１
により抽出された部分パターンを水平方向及び垂直方向
に投影する。直線検出部２２ｂは、投影部２２ａで得た
水平方向の投影及び垂直方向の投影から水平線及び垂直
線を検出する。４辺検出部２２ｃは、直線検出部２２ｂ
により検出された直線からなる矩形の４辺を検出する。
追跡部２２ｄは、直線検出部２２ｂ及び４辺検出部２２
ｃで検出できなかった線幅の細い直線を求めるため、後
述するｎランレングス手法により線を追跡する。４辺検
出部２２ｅは、追跡部２２ｄにより求めた線幅の細い直
線からなる矩形より４辺を検出する。枠抽出部２２ｆ
は、４辺検出部２２ｃ，２２ｅで求めた矩形より枠を抽
出する。

【００３５】連結パターン属性付加部２３は、図２に示
す如く、連結パターン抽出部２１により抽出された連結
パターンについて、直線／枠抽出部２２の抽出結果に基
づいて、「枠」、「文字パターン又はその一部」及び
「枠と文字パターン又はその一部との接触パターン」の
属性を付加する属性付加部２３ａを有する。

【００３６】又、図２において、枠分離部２４は、連結
パターン属性付加部２３で枠或は文字と枠との接触パタ
ーンとして属性が付与された連結パターンから枠を分離
する。枠分離部２４は、枠部分の辺の幅を算出する辺幅
算出部２４ａ、枠を除去する枠除去部２４ｂ、枠を除去
したパターンについて再びラベリングを施し、面積の小
さいパターンを雑音として除去する枠雑音除去部２４ｃ
及び属性付加部２４ｄを有する。属性付加部２４ｄは、
連結パターン属性付加部２３において属性が付与されな
かったパターンに対して、枠を除去しても残るパターン
には接触文字パターンの属性を付加し、枠を除去したら
何も残らないパターンには枠だけの属性を付加する。

【００３７】文字／枠交点算出部２５は、図２に示す如
く、接触文字パターンについて枠と文字との交点を算出
する算出部２５ａを有する。

【００３８】又、図３において、交点対応付け部３１
は、文字枠を除去したことにより分離した文字パターン
について、文字と枠が接する交点を求め、文字線分間の
距離、文字線分の連続性等の条件により上記交点間を対
応付ける。交点対応付け部３１は、順序対応部３１ａ、
線幅算出部３１ｂ、距離対応部３１ｃ、連続性対応部３
１ｄ、再対応部３１ｅ及びサイズ確認部３１ｆを有す
る。順序対応部３１ａは、文字枠の外輪郭と内輪郭の交
点数が同じ場合に一対一の対応付けとして交点を順序通
りに対応付ける。線幅算出部３１ｂは、一対一に対応付
けた線分に注目して、一つの文字線分の外輪郭と内輪郭
の夫々の交点間の距離に基づき文字線分の線幅を算出す
る。距離対応部３１ｃは、外輪郭の交点数と内輪郭の交
点数とが異なる場合に、交点が一対多で対応するとして
交点間を距離に基づき対応付ける。連続性対応部３１ｄ
は、文字線分の連続性の条件に基づき交点間の対応をと
る。再対応部３１ｅは、後述する連結性確認部３３で連
結性が確認できなかった文字パターンについて再対応付
けを行う。サイズ確認部３１ｆは、交点が対応付けられ
た文字パターンのサイズを確認する。

【００３９】枠内文字補完部３２は、交点対応付け部３
１において対応付けられた交点等を接続し、文字枠を除
去したことにより分離した文字パターンを接続する。枠
内文字補完部３２は、図３に示す如く、単純補完部３２
ａ、交差点算出部３２ｂ、交差点枠内補完部３２ｃ、交
差点枠外補完部３２ｄ及び直線補完部３２ｅを有する。
単純補完部３２ａは、一対一対応の交点間を接続するこ
とにより補完する。交差点算出部３２ｂは、一対多対応
の交点及び再対応付けられた交点について、交点におけ
る文字線分の輪郭の方向ベクトルの交差点を算出する。
交差点枠内補完部３２ｃは、求めた交差点が枠の線幅内
の場合に交点間を接続する。交差点枠外補完部３２ｄ
は、求めた交差点が枠の線幅外の場合に交点間を接続す
る。直線補完部３２ｅは、交差点が算出できない場合
に、文字線分を枠に沿って直線で補完する。

【００４０】又、図３に示す連結性確認部３３は、枠内
文字補完部３２で補完された文字パターンの連結性を確
認するラベリング部３３ａを有する。尚、連結性確認部
３３で連結性が確認できない文字パターンは、前記した
ように交点対応付け部３１の再対応付け部３１ｅで再対
応付けされる。

【００４１】連結パターン統合部３４は、連結性確認部
３３で連結性が確認された文字パターン或は図２の連結
パターン属性付加部２３において文字パターンの属性が
付加された文字パターンを統合する。図３に示す如く、
連結パターン統合部３４は、連結パターン仮統合部３４
ａ、サイズ確認部３４ｂ及び連結パターン統合部３４ｃ
を有する。連結パターン仮統合部３４ａは、連結パター
ンの仮統合を行う。サイズ確認部３４ｂは、仮統合され
た文字パターンのサイズを確認する。連結パターン統合
部３４ｃは、サイズ確認部３４ｂにおいて確認されたサ
イズが適切でない場合に連結パターンを更に統合する。

【００４２】次に、本実施例における文字の切出し処理
について説明する。 （１）連結パターンの抽出 図２の連結パターン抽出部２１には、極端な傾きや回転
の補正、雑音の除去、「かすれ」の穴埋め等の前処理が
施された入力パターンが入力される。ラベリング部２１
ａは、この入力パターンについて、枠の位置に関係なく
接触文字の候補を選択するため、縦、横、斜め方向の８
方向のいずれかで繋がっているパターンをラベリングに
より抽出する。この様なラベリングで得られた部分パタ
ーンは、（イ）文字が接触していない場合の枠、（ロ）
枠に接触していない文字或は文字の一部、又は（ハ）枠
に接触している文字のいずれかである。

【００４３】尚、ラベリングで得られた部分パターンの
サイズは上述の如く後の処理で必要となるので、ラベリ
ングの処理中に部分パターンを矩形に近似して得られる
矩形の角の座標を求めておく。 （２）枠の抽出 上記のように抽出された連結パターンのうち、枠に接触
している文字だけに注目するため、枠抽出部２２におい
て枠を抽出する。枠を抽出する際、一般に抽出の頻度が
高く、高速に抽出を行う必要があるので、先ず線幅の太
い直線／枠を抽出し、これによって抽出できなかった場
合には次に線幅の細い直線／枠を抽出する。 （２ａ）線幅の太い直線／枠の抽出 枠のサイズが未知で、かつ、枠に文字が接触している場
合でも、安定に枠を抽出する必要がある。そこで、枠抽
出部２２の投影部２２ａは、ラベリングで得られた部分
パターン毎に投影をとる。そして、直線検出部２２ｂに
おいて、投影値と部分パターンを矩形に近似して得られ
る縦横サイズとの比を計算して、その比が所定のしきい
値以上であれば長い直線であると判断する。

【００４４】尚、この直線は、枠だけでなく文字のスト
ロークの場合もあるので、できるだけ最外郭の直線で矩
形らしさを満足する４辺に相当する直線を求める。

【００４５】図４は、ラベリング部２１ａでのラベリン
グで得られた部分パターンの水平方向の投影と垂直方向
の投影とを示す図である。同図中、ラベリングにより得
られた部分パターン４１は、横方向に長さＬｘ、縦方向
に長さＬｙを有する。又、部分パターンは、垂直方向の
投影４２及び水平方向の投影４３を有する。

【００４６】ここで、説明の便宜上、画像のサイズをｍ
列×ｎ行、座標（ｉ，ｊ）の濃度値をｆ（ｉ，ｊ）、ｉ
行目の水平方向の投影をＰh （ｉ）、ｊ列目の垂直方向
の投影をＰv （ｊ）とすると、Ｐh （ｉ）及びＰv
（ｊ）は夫々次の（１）式及び（２）式で表される。

【００４７】

【数１】

【００４８】直線検出部２２ｂは、投影部２２ａで求め
た水平方向の投影及び垂直方向の投影について、ラベリ
ング部２１ａで求めた部分パターンの矩形座標の矩形の
縦横の長さＬｘ及びＬｙを用いて、次の（３）式により
縦の長さＬｘと水平方向の投影Ｐh （ｉ）との比、又、
次の（４）式により横の長さＬｙと垂直方向の投影Ｐv
（ｊ）との比を求め、これらの比をしきい値ＴＨL と比
較する。

【００４９】 ［Ｐh （ｉ）／Ｌｘ］≧ＴＨL （３） ［Ｐv （ｊ）／Ｌｙ］≧ＴＨL （４） そして、（３）式と（４）式における比がしきい値ＴＨ
L 以上であれば、部分パターンが枠を構成する直線の候
補であるものとする。即ち、図４に示すように、抽出さ
れた部分パターンが矩形である場合には、その直線部分
の水平投影値Ｐh （ｉ）と垂直投影値Ｐv （ｊ）が最も
大きくなり、その縦横の長さＬｘとＬｙとの比も大きく
なるので、（３）式と（４）式により直線部分を判別す
ることができる。

【００５０】図５及び図６は、直線検出部２２ｂの処理
の一実施例をより詳細に説明する図である。図５は、枠
の構成要素を示し、枠は上枠と下枠と左枠と右枠とによ
り構成されている。上枠は、線分（直線）ｉ１及びｉ１
１からなる。下枠は、線分（直線）ｉ２及びｉ２２から
なる。左枠は、線分（直線）ｊ１及びｊ１１からなる。
右枠は、線分（直線）ｊ２及びｊ２２からなる。ラベリ
ングにより得られた部分パターンの矩形の縦横の長さを
夫々Ｌｘ，Ｌｙとすると、投影と長さとの比が所定のし
きい値ＴＨL 以上であれば、枠を構成する線分（直線）
の候補とする。

【００５１】図６は、直線検出部２２ｂの処理をソフト
ウェアで実現する場合のフローチャートを示す。同図
中、ステップＳ１〜Ｓ７は、水平線のうち上枠の候補を
検出する。ステップＳ１１〜Ｓ１７は、水平線のうち下
枠の候補を検出する。ステップＳ２１〜Ｓ２７は、垂直
線のうち左枠の候補を検出する。又、ステップＳ３１〜
Ｓ３７は、垂直線のうち右枠の候補を検出する。ここで
は、説明の便宜上、ステップＳ１〜Ｓ７の動作のみを説
明し、他のステップの説明は省略する。

【００５２】図５において、ステップＳ１はｉ＝０に設
定する。ステップＳ２は、［Ｐh （ｉ）／Ｌｘ］＜ＴＨ
L であるか否かを判定する。ステップＳ２の判定結果が
ＮＯであると、ステップＳ３でｉをインクリメントして
からステップＳ２へ戻る。他方、スッテップＳ２の判定
結果がＹＥＳであると、ステップＳ４はｉ１＝ｉに設定
する。次に、ステップＳ５は［Ｐh （ｉ）／Ｌｘ］≧Ｔ
ＨL であるか否かを判定する。ステップＳ５の判定結果
がＹＥＳであると、ステップＳ６でｉをインクリメント
してからステップＳ５へ戻る。他方、スッテップＳ５の
判定結果がＮＯであると、ステップＳ７でｉ１１＝ｉ−
１に設定、これらの動作により上枠の候補が得られる。

【００５３】下枠、左枠及び右枠の候補も、夫々ステッ
プＳ１１〜Ｓ１７、ステップＳ２１〜Ｓ２７及びステッ
プＳ３１〜Ｓ３７により同様にして得られる。尚、例え
ばステップＳ１３及びＳ１６は、ｉをデクリメントす
る。

【００５４】４辺検出部２２ｃは、直線検出部２２ｂに
より検出された水平線ｉの候補と垂直線ｊの候補の中か
ら、夫々最外郭の水平線候補ｉ１，ｉ２及び垂直線の候
補ｊ１，ｊ２に着目して、次の（５）式及び（６）式を
計算してしきい値ＴＨL'と比較する。

【００５５】 ｜ｉ１−ｉ２｜／Ｌｙ≧ＴＨL' （５） ｜ｊ１−ｊ２｜／Ｌｘ≧ＴＨL' （６） 図７は、４辺検出部２２ｃの処理の一実施例をより詳細
に説明する図であり、処理をソフトウェアで実現する場
合のフローチャートを示す。同図中、ステップＳ４１
は、上記（５）式が成立するか否かを判定する。ステッ
プＳ４１の判定結果がＹＥＳの場合、ステップＳ４２は
上記（６）式が成立するか否かを判定する。ステップＳ
４１又はＳ４２の判定結果がＮＯであると、処理は追跡
部２２ｄの処理へと進む。他方、ステップＳ４２の判定
結果がＹＥＳの場合、ステップＳ４３は部分パターンが
枠を構成する直線部分であるとみなして、直線部分を検
出する。

【００５６】枠抽出部２２ｆは、４辺検出部２２ｃの検
出結果に基づいて枠を抽出する。つまり、４辺検出部２
２ｃで直線部分が検出されるとこれに基づいて枠を抽出
し、直線部分が検出されないと他の候補に着目して上記
処理を繰り返すことにより、枠を抽出する。具体的に
は、候補が上記（５）式、（６）式を満足すれば枠を構
成する直線と見なし、満足しなければ他の候補に着目し
て上記処理を繰り返す。

【００５７】上記のように枠の骨格を構成する直線を求
めた後、その骨格線の前後に注目し、骨格線から連続し
て何本水平線の候補ｉ或は垂直線の候補ｊが存在するか
を計算し、その値を各辺の線幅の基準とする。

【００５８】図８（ａ）は、上記のようにして抽出され
た線幅の太い枠の一例を示す図である。同図中、抽出さ
れた枠５１に対して骨格線５２が得られ、各辺の線幅は
この例では２画素分である。 （２ｂ）線幅の細い直線／枠の抽出 上記した図８（ａ）の線幅の太い直線／枠の抽出処理に
おいて算出できなかった部分パターンに注目して、線幅
の細い直線／枠の抽出を行う。

【００５９】図８（ｂ）は線幅の細い枠の一例を示す図
であり、枠５３及びその骨格線５４を示す。線幅の細い
枠には、同図に示す如く、線幅が１画素分程度で、か
つ、傾き等による凹凸が生じているパターンが含まれ
る。同図に示す線幅の細い枠を安定に抽出するために、
本実施例では次のようにして枠を探索する。

【００６０】即ち、枠の抽出には、図９に示すように、
傾きによる凹凸が生じていても直線を検出できる「ｎラ
インランレングス」と名付ける直線長を定義する。

【００６１】通常のランレングスでは、水平或は垂直に
連続している画素数を計算するので、図８（ｂ）に示す
ような凹凸が生じている長い直線では短い直線に分割さ
れてしまうが、図９に示すｎラインランレングスでは、
あるｎラインの間で８連結で接続するランレングスをｎ
ラインランレングスとして計算する。ｎの値は傾きの大
きさで決定し、傾きが大きければ大きい程ｎを大きくす
る。ｎ＝１の場合は、通常のランレングスに相当する。

【００６２】図９はｎ＝３の場合を示し、この場合は凹
凸が生じているにもかかわらず、７画素分の水平線とし
て直線を抽出することができる。

【００６３】枠抽出部２２の追跡部２２ｄは、ラベリン
グ部２１ａで得られた部分パターンの矩形座標より矩形
を構成する直線の両端及び中点等の複数の点から枠の内
部に垂線を下ろして部分パターンと接触した位置を開始
点として、上記ｎラインランレングスにより、開始点よ
り左右或は上下方向へ部分パターンに沿って探索する。

【００６４】この様な手法を用いることにより、枠から
文字がはみ出していても、安定に線幅の細い直線を求め
ることができる。

【００６５】図１０及び図１１は、追跡部２２ｄの処理
の一実施例をより詳細に説明する図であり、処理をソフ
トウェアで実現する場合のフローチャートを示す。図１
０は水平方向のｎラインランレングスを求める処理を示
し、図１１は垂直方向のｎラインランレングスを求める
処理を示す。図１０及び図１１において、探索開始点を
（ｉｉ，ｊｊ）、水平線の長さをＮｈｉ、垂直線の長さ
をＮｖｊで表すものとする。

【００６６】図１０中、ステップＳ５１は、Ｎｈｉ＝
０、ｉ＝ｉｉ、ｊ＝ｊｊに設定する。ステップＳ５２
は、ｆ（ｉ＋１，ｊ）にラベルがあるか否かを判定す
る。ステップＳ５２の判定結果がＹＥＳであると、ステ
ップＳ５３でＮｈｉ及びｉをインクリメントしてから処
理をステップＳ５２へ戻す。他方、ステップＳ５２の判
定結果がＮＯであれば、ステップＳ５４で（ｊ＋１）≦
ｊｊ＋ｎ／２であるか否かを判定する。ステップＳ５４
の判定結果がＹＥＳであると、ステップＳ５５でｆ（ｉ
＋１，ｊ＋１）にラベルがあるか否かを判定する。ステ
ップＳ５５の判定結果がＹＥＳであれば、ステップＳ５
６でｊをインクリメントしてから処理をステップＳ５３
へ戻す。ステップＳ５４又はＳ５５の判定結果がＮＯの
場合、ステップＳ５７で（ｊ−１）≧ｊｊ−ｎ／２であ
るか否かを判定する。ステップＳ５７の判定結果がＹＥ
Ｓであると、ステップＳ５８でｆ（ｉ＋１，ｊ−１）に
ラベルがあるか否かを判定する。ステップＳ５８の判定
結果がＹＥＳであれば、ステップＳ５９でｊをデクリメ
ントしてから処理をステップＳ５３へ戻す。ステップＳ
５７又はＳ５８の判定結果がＮＯの場合は、水平方向の
ｎラインランレングスを求める処理は終了する。

【００６７】図１１中、ステップＳ６１は、Ｎｖｊ＝
０、ｉ＝ｉｉ、ｊ＝ｊｊに設定する。ステップＳ６２
は、ｆ（ｉ，ｊ＋１）にラベルがあるか否かを判定す
る。ステップＳ６２の判定結果がＹＥＳであると、ステ
ップＳ６３でＮｖｊ及びｊをインクリメントしてから処
理をステップＳ６２へ戻す。他方、ステップＳ６２の判
定結果がＮＯであれば、ステップＳ６４で（ｉ＋１）≦
ｉｉ＋ｎ／２であるか否かを判定する。ステップＳ６４
の判定結果がＹＥＳであると、ステップＳ６５でｆ（ｉ
＋１，ｊ＋１）にラベルがあるか否かを判定する。ステ
ップＳ６５の判定結果がＹＥＳであれば、ステップＳ６
６でｉをインクリメントしてから処理をステップＳ６３
へ戻す。ステップＳ６４又はＳ６５の判定結果がＮＯの
場合、ステップＳ６７で（ｉ−１）≧ｉｉ−ｎ／２であ
るか否かを判定する。ステップＳ６７の判定結果がＹＥ
Ｓであると、ステップＳ６８でｆ（ｉ−１，ｊ＋１）に
ラベルがあるか否かを判定する。ステップＳ６８の判定
結果がＹＥＳであれば、ステップＳ６９でｉをデクリメ
ントしてから処理をステップＳ６３へ戻す。ステップＳ
６７又はＳ６８の判定結果がＮＯの場合は、垂直方向の
ｎラインランレングスを求める処理は終了する。

【００６８】４辺検出部２２ｅは、上記のようにして得
られた直線の長さを、水平線の候補ｉはＮｈｉ、垂直線
の候補ｊはＮｖｊとする。又、ラベリング部２１ａで求
めた部分パターンの矩形座標の矩形の縦横の長さＬｘ及
びＬｙを用いて、次の（７）式により縦の長さＬｘと水
平線の候補Ｎｈｉとの比、又、次の（８）式により横の
長さＬｙと垂直線の候補Ｎｖｊとの比を求め、これらの
比をしきい値ＴＨL と比較する。

【００６９】 ［Ｎｈｉ／Ｌｘ］≧ＴＨL （７） ［Ｎｖｊ／Ｌｙ］≧ＴＨL （８） そして、（７）式と（８）式における比がしきい値ＴＨ
L 以上であれば、各候補を、枠を構成する直線の候補で
あるものとする。

【００７０】図１２は、４辺検出部２２ｅの処理の一実
施例をより詳細に説明する図であり、処理をソフトウェ
アで実現する場合のフローチャートを示す。同図中、水
平線の候補ｉはＮｈｉ、垂直線の候補ｊはＮｖｊである
ものとする。又、ラベリングの際に得られた部分パター
ンの矩形座標より、矩形の縦横の長さを夫々Ｌｘ，Ｌｙ
とする。同図（ａ）において、ステップＳ７１はＮｈｉ
／Ｌｘ≧ＴＨL であるか否かを判定する。ステップＳ７
１の判定結果がＹＥＳであれば、ステップＳ７２はこの
候補ｉが枠を構成する直線の候補として適切であると判
断する。他方、ステップＳ７１の判定結果がＮＯである
と、次の水平線の候補に対して処理を開始する。又、同
図（ｂ）において、ステップＳ７５はＮｖｊ／Ｌｙ≧Ｔ
ＨL であるか否かを判定する。ステップＳ７５の判定結
果がＹＥＳであれば、ステップＳ７６はこの候補ｊが枠
を構成する直線の候補として適切であると判断する。他
方、ステップＳ７５の判定結果がＮＯであると、次の垂
直線の候補に対して処理を開始する。

【００７１】４辺検出部２２ｃは、直線検出部２２ｂに
より検出された水平線ｉの候補と垂直線ｊの候補の中か
ら、夫々最外郭の水平線候補ｉ１，ｉ２及び垂直線の候
補ｊ１，ｊ２に着目して、次の（９）式及び（１０）式
を計算してしきい値ＴＨL'と比較する。

【００７２】 ｜ｉ１−ｉ２｜／Ｌｙ≧ＴＨL' （９） ｜ｊ１−ｊ２｜／Ｌｘ≧ＴＨL' （１０） 枠抽出部２２ｆは、前記した場合と同様に、４辺検出部
２２ｅの検出結果に基づいて枠を抽出する。つまり、４
辺検出部２２ｅで直線部分が検出されるとこれに基づい
て枠を抽出し、直線部分が検出されないと他の候補に着
目して上記処理を繰り返すことにより、枠を抽出する。
具体的には、候補が上記（９）式、（１０）式を満足す
れば枠を構成する直線と見なし、満足しなければ他の候
補に着目して上記処理を繰り返す。尚、線幅の基準値
は、枠抽出中に得られた最大と最小の位置座標の差とし
て求める。

【００７３】この様にして一つの文字枠を求めた後、抽
出された文字枠を全画像にわたってスキャンして、連結
パターン抽出部２１により抽出された部分パターンとの
マッチングをとってから新に文字枠を抽出することも可
能である。

【００７４】又、連結パターン抽出部２１において求め
た部分パターンを近似した矩形と抽出された文字枠との
サイズ比を算出し、算出したサイズ比が所定のしきい値
内の部分パターンだけに絞り込んで、抽出済の文字枠と
のマッチングをとってから新に文字枠を抽出することも
可能である。

【００７５】更に、抽出された文字枠のサイズ分だけ左
右或は上下の範囲内に存在する部分パターンを抽出し、
抽出した全ての部分パターンが次に説明する属性付加手
段において文字だけからなるパターンであると判定され
ている場合に、上記抽出された文字枠を文字パターンと
判定し直す手段を設けても良い。この様な手段を設けた
場合、例えば「国」という漢字のように枠に相当する矩
形部分を持つ文字であっても、文字の一部を誤って枠と
して判定してしまうことを防ぐことができる。

【００７６】（３）連結パターンへの属性付加 連結パターン属性付加部２３は、図２に示す如く、枠抽
出部２２における枠抽出の結果に基づいて各連結パター
ンを次の（イ）〜（ハ）ように分けて、枠パターンと文
字パターン及び文字の部分パターンとに夫々枠と文字の
属性を付加する属性付加部２３ａを有する。 （イ）文字と枠の接触パターン （ロ）枠パターン （ハ）文字及び文字の部分パターン 尚、枠が抽出できなかったパターンは、「文字パター
ン」或は「文字パターンの一部」という属性を付加す
る。又、上記のように属性を付加されたパターンは、後
述する連結パターン統合部３４で、そのパターン単独で
切り出すか、或は、文字パターンの一部と見なして他の
パターンと統合するか決められる。 （４）枠の分離 図２中、枠分離部２４の辺幅算出部２４ａは、枠の外輪
郭の凹凸と内輪郭の凹凸を考慮して、枠抽出時に得られ
た線幅基準値＋２（外輪郭にプラス１、内輪郭にプラス
１）を線幅として求め、枠抽出において算出した骨格線
或は抽出中の最大／最小の位置より枠の外輪郭と内輪郭
の座標値を決定する。

【００７７】図１３は、線幅の太い枠と線幅の細い枠の
骨格線、外輪郭、内輪郭、線幅を示す図であり、「太い
線」は外輪郭、「点線」は内輪郭、「細い線」は骨格線
を示す。同図（ａ）は線幅の太い枠を示し、同図（ｂ）
は線幅の細い枠を示す。辺幅算出部２４ａは、同図に示
すように、線幅の太い枠と線幅の細い枠について枠の外
輪郭と内輪郭の座標値を決定する。

【００７８】辺幅算出部２４ａは、座標系を図１４に示
すものとすると、上枠の外輪郭の座標が（ｉ１，ｉ１
１）で幅がｗ１であると、上枠の枠座標を（ｉ１−１，
ｉ１１＋１）、そして辺の幅をｗ１＋２とする。又、下
枠の外輪郭の座標が（ｉ２，ｉ２２）で幅がｗ２である
と、下枠の枠座標を（ｉ２＋１，ｉ２２−１）、そして
辺の幅をｗ２＋２とする。同様にして、左枠の外輪郭の
座標が（ｊ１，ｊ１１）で幅がｗ３であると、左枠の枠
座標を（ｊ１−１，ｊ１１＋１）、そして辺の幅をｗ３
＋２とする。更に、右枠の外輪郭の座標が（ｊ２，ｊ２
２）で幅がｗ４であると、右枠の枠座標を（ｊ２＋１，
ｊ２２−１）、そして辺の幅をｗ４＋２とする。

【００７９】図２の枠分離部２４の説明に戻ると、枠除
去部２４ｂは、辺幅算出部２４ａにおいて求めた枠の外
輪郭と内輪郭の座標値により、外輪郭と内輪郭の間に存
在するパターンを除去する。

【００８０】枠雑音除去部２４ｃは、枠を除去したパタ
ーンに対して再びラベリングを行い、各ラベル毎に面積
が小さい等の特徴により枠の一部として残存しているパ
ターンを除去する。

【００８１】属性付加部２４ｄは、連結パターン属性付
加部２３で属性が付加されなかったパターンに着目し
て、枠を除去してもパターンが存在しているものは接触
文字パターン或は文字の一部であることを示すパターン
の属性を付加し、枠を除去したらパターンがなくなるも
のは枠だけであることを示すパターンの属性を付加す
る。

【００８２】尚、接触文字パターン或は文字の一部は、
後述するように、枠内の文字部分を補完した後、連結パ
ターン統合部３４で他の接触文字パターン或は文字の一
部と統合されるか、それとも単独のパターンとするか判
断される。 （５）文字／枠交点算出 図２の文字／枠交点算出部２５においては、交点算出部
２５ａが接触文字パターン或は文字の一部を対象とし
て、そのパターンと枠の交点を算出する。即ち、枠分離
部２４において求めた外輪郭と内輪郭を使って、外輪郭
には１画素分外側の直線、内輪郭には１画素分内側の直
線を求め、その直線と接触文字パターン或は文字の一部
が交わる点で黒から白、或は、白から黒に変化する点を
求め、これを交点として抽出する。

【００８３】図１５は、交点算出部２５ａの処理の一実
施例をより詳細に説明する図であり、処理をソフトウェ
アで実現する場合のフローチャートを示す。この場合、
図１４と同じ座標系を用いて上枠の外輪郭の外側の座標
をｉｓ１、内輪郭の内側の座標をｉｕ１とし、下枠の外
輪郭の外側の座標をｉｓ２、内輪郭の内側の座標をｉｕ
１とし、左枠の外輪郭の外側の座標をｊｓ１、内輪郭の
内側の座標をｊｕ１とし、右枠の外輪郭の外側の座標を
ｊｓ２、内輪郭の内側の座標をｊｕ１として、以下の処
理を行う。

【００８４】図１５は上枠の外輪郭と文字の交点を算出
する処理を示す。同図中、ステップＳ８１は交点数Ｋを
Ｋ＝０に設定し、ステップＳ８２はｊをｊｓ１≦ｊ≦ｊ
ｓ２に設定する。つまり、ステップＳ８２の設定によ
り、以下のステップＳ８３〜Ｓ８９をｊ＝ｊｓ１〜ｊｓ
２について行う。ステップＳ８３は、ｆ（ｉｓ１，ｊ）
にラベルがないか否かを判定する。ｆ（ｉｓ１，ｊ）に
ラベルがなくステップＳ８３の判定結果がＹＥＳである
と、ステップＳ８４でｊを増加させてから処理をステッ
プＳ８３へ戻す。他方、ステップＳ８３の判定結果がＮ
Ｏであれば、ステップＳ８５で交点の左側の座標をｊに
設定する。又、ステップＳ８６は、ｆ（ｉｓ１，ｊ）に
ラベルがあるか否かを判定する。ステップＳ８６の判定
結果がＮＯであると、ステップＳ８７でｊを増加させて
から処理をステップＳ８６へ戻す。他方、ステップＳ８
６の判定結果がＹＥＳであれば、ステップＳ８８で交点
の右側の座標をｊに設定する。その後、ステップＳ８９
でＫを増加させる。ステップＳ８３〜Ｓ８９をｊ＝ｊｓ
１〜ｊｓ２について行った後、上枠の外輪郭と文字の交
点を算出する処理を終了する。

【００８５】尚、上枠の内輪郭と文字の交点の算出、下
枠、左枠及び右枠の外輪郭と内輪郭と文字の交点の算出
は、図１５と同様の処理により行えるので、本明細書で
はその図示及び説明は省略する。 （６）交点の対応付け 図３に示す交点対応付け部３１では、枠を分離すること
により連続性がなくなった接触文字パターン或は文字の
一部を補完するため、枠と文字パターン或は文字の一部
の交点間の対応付けを行う。交点の対応付けとしては、
交点の一対一の対応付け、一対多の対応付け、そして後
述する連結性確認部３３における連結性の確認に基づい
てフィードバックされて行われる再対応付けがある。再
対応付けについては、連結性確認部３３における連結性
の確認を説明した後で説明する。

【００８６】交点対応付け部３１の順序対応部３１ａ
は、外輪郭の交点と内輪郭の交点の交点数が同じ場合
に、一対一の対応付けとして捉え、順序通りに交点を対
応付ける。その際、対応付けた交点間の距離を求める。

【００８７】図１６は順序付け対応の例を示す。同図
中、「白丸」は文字線分８１ａ，８１ｂ，８２ａ，８２
ｂと枠部分８３の交点を示している。順序付け対応にお
いては、同図に示すように、一つの文字線分に存在する
２つの交点の中点を求め、外輪郭の中点と内輪郭の中点
のＸ軸方向の座標値の差ｄk ，ｄk+1 、或はＹ軸方向の
座標値の差を求める。座標値の差が、夫々外輪郭と内輪
郭との差から求められる枠の線幅Ｗにαの重み付けをし
た値以下の場合、それらの交点を対応付ける。

【００８８】図１７は、順序対応部３１ａの処理の一実
施例をより詳細に説明する図であり、処理をソフトウェ
アで実現する場合のフローチャートを示す。交点数を
Ｋ、図１６中の交点をａk ，ａk+1 ，ａ’k ，ａ’k+1
，ｂk ，ｂk+1 ，ｂ’k ，ｂ’k+1 とした場合、ステ
ップＳ９１はｋ番目の交点に対して０≦ｋ＜Ｋに設定す
る。ステップＳ９２は座標値の差ｄk をｄk ＝（ａ’k
＋ｂ’k ）／２−（ａk ＋ｂk ）／２より求める。ステ
ップＳ９３はｄk ≦Ｗ×αであるか否かを判定する。ス
テップＳ９３の判定結果がＮＯであると、ステップＳ９
４は交点の対応はないと判断する。他方、ステップＳ９
３の判定結果がＹＥＳの場合は、ステップＳ９５で交点
を対応付ける。以上のステップＳ９２〜Ｓ９５は、ｋ＝
０〜Ｋについて繰り返される。

【００８９】図３に戻って、交点対応付け部３１の線幅
算出部３１ｂは、順序対応部３１ａにおいて一対一に対
応付けられた線分に着目して、一つの文字線分に存在す
る２つの交点間の距離を外輪郭と内輪郭の夫々について
算出し、その平均値をとって、文字線分の線幅を求め
る。

【００９０】図１８は、線幅算出部３１ｂの処理の一実
施例をより詳細に説明する図であり、処理をソフトウェ
アで実現する場合のフローチャートを示す。同図中、ｎ
ｕｍは対になっている交点の数、ｓｕｍは対になってい
る交点間の線幅の合計、Ｗａｖは平均線幅を表す。

【００９１】図１８において、ステップＳ１０１はｓｕ
ｍ＝ｎｕｍ＝０に設定する。ステップＳ１０２はｋ番目
の交点に対して０≦ｋ＜Ｋに設定する。ステップＳ１０
３はｋ番目の交点に対応付けた交点が存在するか否かを
判定し、判定結果がＮＯであれば処理はステップＳ１０
５へ進む。他方、ステップＳ１０３の判定結果がＹＥＳ
であれば、ステップＳ１０４でｎｕｍを２増加すると共
に、ｓｕｍを（ｂk −ａk ＋１）（ｂ’k −ａ’k ＋
１）増加する。ステップＳ１０３及びＳ１０４は、ｋ＝
０〜Ｋについて繰り返される。その後、ステップＳ１０
５で平均線幅ＷａｖをＷａｖ＝ｓｕｍ／ｎｕｍより求
め、線幅算出処理を終了する。

【００９２】図３に戻って、交点対応付け部３１の距離
対応部３１ｃは、一対多で対応する交点について、距離
対応により対応付けを行う。又、連続性対応部３１ｄ
は、一対多で対応する交点について、連続性対応により
対応付けを行う。

【００９３】図１９は一対多の対応付けの一例を示す。
同図中、（ａ）は距離対応を取る場合、（ｂ）は連続性
対応を取る場合、（ｃ）は距離対応を取る場合を示す。
同図（ａ）から（ｃ）に行く程、対応付ける文字線分９
１ａと９１ｂ、文字線分９２ａと９２ｂ、９３ａと９３
ｂの距離は遠くなるが、（ａ）〜（ｃ）のどれか一つの
条件に適合すれば、交点の対応付けを行う。

【００９４】図１９（ａ）においては、文字線分９１ａ
〜９１ｃに存在する２つの交点の中点を求め、外輪郭の
中点と、内輪郭の中点間の距離ｄ３とｄ４を求める。次
に、枠９４の線幅Ｗと比較して、ｄ３≦Ｗ、或は、ｄ４
≦Ｗを満足すれば、満足する方の交点の対応付けを行
う。又、上記条件を満足する交点が複数ある場合には、
それらすべての対応付けを行う。この様な対応付けを行
うことにより、例えば手書き文字パターン「Ｈ」、
「＊」、「Ｕ」、「Ａ」は、同図（ａ）に示す如く補完
される。

【００９５】図１９（ｂ）は、連続性により交点の対応
付けを行う場合を示し、文字線分の距離が離れていた
り、内輪郭、或は、外輪郭の文字線分の線幅が太い場合
でも、文字線分間の方向性の連続性により対応付けを行
う。連続性による対応付けにおいては、各交点における
文字線分の輪郭の傾きを算出し、その傾きから連続性を
求めることができる。しかし、方向ベクトルの算出を簡
単にするため、文字線分の輪郭に沿ってある画素だけ遡
り、その座標値と交点の座標値より方向ベクトルを求め
ることができる。

【００９６】図１９（ｂ）は、説明を簡単にするため、
交点から枠の輪郭線に対して垂直なベクトルで代用した
例を示しており、図示の如く、交点数が少ない方の文字
線分９２ｃの交点から伸ばした方向ベクトルと、交点数
が多い方の枠輪郭との交点の位置と求める。こうして求
めた位置が文字線分９２ａ，９２ｂ内に属していたら、
再び、上記交点が属する文字線分の交点に着目して、そ
の交点での方向ベクトルを伸ばし、交点数が少ない方の
枠輪郭との交点位置を求め、それが同図に示すように文
字線分９２ｃに属していたら両者を対応付ける。

【００９７】上記のような連続性による対応付けを行う
ことにより、例えば手書き文字パターン「Ｈ」、
「＊」、「Ｕ」は、同図（ｂ）に示す如く補完される。

【００９８】図１９（ｃ）は、対応付ける文字線分９３
ａと９３ｂの距離が離れている場合に、距離により対応
付けを行う場合を示す。同図に示すように、外輪郭の交
点と内輪郭の交点の枠方向の距離差ｄ５，ｄ６を算出
し、その距離差ｄ５とｄ６が例えば枠幅の半分などのあ
るしきい値より小さい場合、即ち、ｄ５≦Ｗ／２、ｄ６
≦Ｗ／２の条件を満足する場合に対応付けを行う。

【００９９】上記のような距離による対応付けを行うこ
とにより、例えば手書き文字パターン「Ｈ」、「＊」
は、同図（ｃ）に示す如く補完される。

【０１００】尚、上記した図１９（ａ）、（ｂ）、
（ｃ）のいずれにおいても、１対２の対応付けを行って
いるが、どちらか片方だけで対応付けても良い。

【０１０１】図２０は、距離対応部３１ｃ及び連続性対
応部３１ｄの処理の一実施例をより詳細に説明する図で
あり、処理をソフトウェアで実現する場合のフローチャ
ートを示す。

【０１０２】図２０において、ステップＳ１１０は、外
枠の交点数をＫとすると、ｋ番目の交点に対して０≦ｋ
＜Ｋに設定する。又、ステップＳ１１１は、内枠の交点
数をＫ’とすると、ｋ’番目の交点に対して０≦ｋ’＜
Ｋ’に設定する。ステップＳ１１２は、外枠の交点と内
枠の交点間の距離ｄを｜（ｂk −ａk ＋１）−（ｂ’k
’−ａ’k ’＋１）｜に設定する。次に、ステップＳ
１１３は、ｄ≦Ｗであるか否かを判定する。ステップＳ
１１３の判定結果がＮＯであれば、ステップＳ１１４は
ａk ≦ｂk であるか否かを判定する。ステップＳ１１４
の判定結果がＮＯであれば、ステップＳ１１５はａk ≦
ｂ’k ’であるか否かを判定する。ステップＳ１１５の
判定結果がＮＯであれば、ステップＳ１１６はｂ’k'−
ｂk ≦Ｗ／２であるか否かを判定する。ステップＳ１１
６の判定結果がＮＯであれば、ステップＳ１１７はａk
−ａ’k ’≦Ｗ／２であるか否かを判定する。ステップ
Ｓ１１７の判定結果がＮＯであれば、ステップＳ１１８
は交点間の対応はないと判断して、処理は終了する。他
方、ステップＳ１１３〜Ｓ１１７の判定結果がＹＥＳで
あれば、ステップＳ１１９で交点間の対応付けが行われ
て、処理は終了する。尚、ステップＳ１１２〜Ｓ１１９
は、０≦ｋ＜Ｋ及び０≦ｋ’＜Ｋ’の範囲内で繰り返さ
れる。

【０１０３】ステップＳ１１２及びＳ１１３は、距離対
応部３１ｃの動作に対応しており、図１９（ａ）の条件
に相当する。又、ステップＳ１１４及びＳ１１５は、連
続性対応部３１ｄに対応しており、図１９（ｂ）の条件
に相当する。更に、ステップＳ１１６及びＳ１１７は、
距離対応部３１ｃの動作に対応しており、図１９（ｃ）
の条件に相当する。

【０１０４】再度図３の説明に戻ると、交点対応付け部
３１のサイズ確認部３１ｆは、対応付けの条件を満足し
たパターンに対して、対応付けてできるパターンのサイ
ズを求める。このサイズは、予めわかっている文字サイ
ズ又は直線／枠抽出部２２で計算した枠のサイズと比較
され、比較によって得られるサイズ比が大きすぎる場合
は交点の対応付けをしないようにする。

【０１０５】即ち、対応付けてできるパターンをラベリ
ングして矩形に近似し、矩形近似されたパターンと文字
サイズ或は一文字枠のサイズとの比を算出して、得られ
た比が所定のしきい値を越える場合には交点の対応付け
をキャンセルする。

【０１０６】図２１は、サイズ確認部３１ｆの処理の一
実施例をより詳細に説明する図であり、処理をソフトウ
ェアで実現する場合のフローチャートを示す。

【０１０７】図２１において、ステップＳ１２１は、Ｔ
ＡＩＯＵ≦ＭＡＸＭＯＪＩであるか否かを判定する。こ
こで、ＭＡＸＭＯＪＩは予め文字サイズがわかっている
場合の文字サイズ、又は、文字サイズがわかっていない
場合の枠抽出部２２で得た枠のサイズであり、ＴＡＩＯ
Ｕは交点の対応付けの条件を満足したパターンの対応付
け後のサイズである。ステップＳ１２１の判定結果がＹ
ＥＳであれば、ステップＳ１２２で交点の対応付けを行
い、処理を終了する。他方、ステップＳ１２１の判定結
果がＮＯであれば、ステップＳ１２３で交点の対応付け
をキャンセルし、処理を終了する。

【０１０８】交点対応付け部３１の再対応部３１ｅにつ
いては、後述する。 （７）枠内文字の補完 図３に示す枠内文字補完部３２においては、交点が一対
一に対応している場合と、一対多に対応している場合と
に分け、接触文字パターン或はその一部の交点間を滑ら
かに接続して、枠を分離したことにより欠けた文字部分
を補完する。

【０１０９】単純補完部３２ａは、一対一に対応付けら
れた接触文字パターン或はその一部の交点間を滑らかに
接続する手段である。一対一の補完の場合には、基本的
には各交点間での文字線分の輪郭の方向ベクトルを算出
して、方向ベクトルに従って各交点から直線を引き、そ
の直線と直線が交わる点で文字線分を結合する。又、方
向ベクトルを算出する手間を省くため、各対応付けた交
点間を接続し補完することもできる。

【０１１０】図２２は一対一の単純補完の例を示す図で
あり、補完する文字線分１０１ａ，１０１ｂ、枠１０２
及び補完された文字線分１０３を示す。ここでは、各対
応付けた交点間を接続し補完する場合を示している。同
図に示すように、文字線分１０１ａと文字線分１０１ｂ
の交点間を直線で接続し、その間を黒画素で埋めること
により、補完された文字線分１０３を得ることができ
る。

【０１１１】図２３は、単純補完部３２ａの処理の一実
施例をより詳細に説明する図であり、処理をソフトウェ
アで実現する場合のフローチャートを示す。

【０１１２】図２３において、ステップＳ１３１は、図
２２中、交点ａk とａ’k を結ぶ直線ｌａ及び交点ｂk
とｂ’k を結ぶ直線ｌb を求める。ステップＳ１３２
は、図２２において、枠１０２より１画素分文字側の座
標ｃ，ｃ’について、ｃc をｃ≦ｃc ≦ｃ’に設定す
る。直線ｌａと枠１０２の交点をｐａ、直線ｌｂと枠１
０２の交点をｐｂとすると、ステップＳ１３４はｐａ≦
ｐ≦ｐｂに設定すると共に、ｆ（ｃc ，ｐ）を文字にす
る。尚、ステップＳ１３３及びＳ１３４は、ｃc がｃ≦
ｃc ≦ｃ’の範囲内で繰り返される。

【０１１３】一対多の交点の補完の場合には、先ず、対
応直線の交差点算出部３２ｂにおいて、各交点での文字
線分の輪郭の方向ベクトルを算出し、方向ベクトルに従
って各交点から直線を引き、その直線と直線が交わる交
差点を算出する。尚、方向ベクトルを算出する手間を省
くため、各対応付けた交点間を結ぶ直線で方向ベクトル
を代用することもできる。

【０１１４】交差点算出部３２ｂにおいて交差点を算出
した後、その交差点が枠内にある場合には、交差点枠内
補完部３２ｃにより補完を行う。

【０１１５】図２４は、交差点枠内補完の例を示す図で
あり、補完前の文字線分１１１ａ，１１１ｂ，１１１
ｃ、枠１１２及び補完された文字線分１１３を示す。こ
こでは、各対応付けた交点間を結ぶ直線で方向ベクトル
を代用した例を示している。対応付けた交点間を直線で
結び、その交差点が枠１１２内にある場合には、同図に
示すように、交点を結ぶ直線間を黒画素で埋めることに
より、文字線分を補完する。

【０１１６】尚、交差点が枠外にある場合の補完及び直
線補完については、連結性確認部３３における連結性の
確認について説明した後で、再対応付けとして説明す
る。

【０１１７】図２５は、対応直線の交差点算出部３２ｂ
の処理の一実施例をより詳細に説明する図であり、処理
をソフトウェアで実現する場合のフローチャートを示
す。

【０１１８】図２５において、ステップＳ１４１は、一
対多の交点の補完であるか否かを判定する。ステップＳ
１４１の判定結果がＹＥＳの場合は、ステップＳ１４２
で図２４中、各対応付けた交点間を結ぶ直線ｌ１〜ｌ４
を算出する。他方、ステップＳ１４１の判定結果がＮＯ
の場合は、ステップＳ１４３で各交点での文字線分の輪
郭の方向ベクトルｌ１〜ｌ４を算出する。ステップＳ１
４２又はＳ１４３の後、ステップＳ１４４は交差点が枠
１１２内にあるか否かを判定する。ステップＳ１４４の
判定結果がＹＥＳの場合、ステップＳ１４５で後述する
交差点枠内補完部３２ｃの処理へ進む。他方、ステップ
Ｓ１４４の判定結果がＮＯの場合、ステップＳ１４６で
交差点が枠１１２外にあるか否かを判定する。ステップ
Ｓ１４６の判定結果がＹＥＳであれば、ステップＳ１４
７で後述する交差点枠外補完部３２ｄの処理へ進む。
又、ステップＳ１４６の判定結果がＮＯであれば、ステ
ップＳ１４８で直線補完部３２ｅの処理へ進む。 （８）連結性の確認及び再対応付け 連結性確認部３３においては、補完した接触文字パター
ン或はその一部に対して、ラベリング部３３ａにおいて
再びラベリングを行い連結性を確認する。

【０１１９】接触文字パターン或はその一部は元々連結
していたパターンであるので、補完することにより、一
つのパターンとして連結性が確認できれば、次の連結パ
ターン統合部３４での処理へ進む。

【０１２０】又、連結性が確認できなければ、枠除去に
より連結性がうしなわれたので、再びフィードバックし
て、交点対応付け部３１の再対応部３１ｅでの交点の再
対応付けを行う。尚、連結性が確認できないパターンの
うち、交点間を結ぶ直線が枠上に存在する場合だけ、再
対応付けを行うことにより、処理時間を短縮することが
できる。

【０１２１】連結性が確認できなかったパターンについ
て、再対応部３１ｅでは、対応付けられなかった交点の
中で、先ず、内輪郭に存在する交点間の対応付けを行
う。そのため、複数の内輪郭に存在する交点間の中で、
距離が近い交点間を対応付ける。対応付ける交点が一つ
しか存在しない場合には、既に対応付けた交点と対応付
ける。

【０１２２】内輪郭で対応付ける交点がない場合には、
外輪郭で対応付けられない交点に着目し、最も距離が近
い文字線分に対応付ける。

【０１２３】対応付けられたパターンについては、前記
したように、交点対応付け部３１のサイズ確認部３１ｆ
で新に生成されるパターンのサイズをチェックし、サイ
ズが確認できたら枠内文字補完部３２で補完を行う。更
に、再び連結性確認部３３で連結性を確認し、連結性が
確認できない場合には、上記のように再対応付けを行
う。この様な処理を連結性確認部３３で確認できるま
で、繰り返して行う。

【０１２４】図２６及び図２７は、再対応付けにおける
補完の例を示す図である。図２６（ａ）は枠内文字補完
部３２の交差点算出部３２ｂにおいて算出した交差点が
枠内である交差点枠内補完の例を示し、同図（ｂ）は交
差点が外枠である交差点枠外補完の例を示している。図
２７（ａ）は外輪郭の外側に文字線分がない場合の直線
補完の例を示し、同図（ｂ）は外輪郭の外側に文字線分
がある場合の直線補完の例を示している。又、図２６及
び図２７は、補完される文字線分１２１ａ，１２１ｂ，
１３１ａ，１３１ｂ，１３４ａ，１３４ｂ、枠１２２，
１３２、補完された文字線分１２４，１３３，１３５を
示す。

【０１２５】対応直線の交点算出部３２ｂで算出した交
差点が枠内の場合には、交差点枠内補完部３２ｃは、図
２６（ａ）に示すように、交差点算出部３２ｂで算出し
た交差点と文字線分１２１ａ，１２１ｂの交点を結ぶ直
線を、文字線分１２１ａ，１２１ｂの交点を延長した直
線、及び、外輪郭で囲まれた部分を文字領域と判定し
て、文字領域を黒画素で埋めて補完された文字線分１２
４を得る。

【０１２６】対応直線の交点算出部３２ｂで算出した交
差点が枠外の場合には、交差点枠外補完部３２ｄは、図
２６（ｂ）に示すように、文字線分１２１ａ，１２１ｂ
の交点から伸ばした直線により囲まれた部分を文字領域
と判定して補完し、更に、分割された文字領域を結合す
るため、外輪郭から直線で分割した文字領域の間を文字
の線幅に相当する幅で補完し、補完された文字領域を黒
画素で埋めて文字線分１２４を得る。

【０１２７】また、交差点算出部３２ｂで交差点を算出
できない場合には、直線補完部３２ｅにおいて、図２７
（ａ）に示すように、文字線分１３１ａ，１３１ｂの交
点を延長すると共に、延長した直線により形成される領
域を文字の線幅に相当する幅で補完して、これらの領域
を文字領域として黒画素で埋めて文字線分１３３を得
る。

【０１２８】更に、外輪郭の外側に交点が対応付けられ
た最も距離の近い文字線分がある場合には、図２７
（ｂ）に示すように、上記した手法により内輪郭の文字
線分を補完して、補完された文字線分１３４ａを得た
後、外輪郭の外側の文字線分１３４ｂの交点を延長した
直線と文字線分１３４ａで囲まれた領域を文字領域とし
て黒画素で埋めて文字線分１３５を得る。

【０１２９】以上のようにして文字線分を補完するが、
対応付けが不可能な交点において、例えば、内輪郭に一
つの文字線分しかない場合には、次のように交差点枠内
補完と交差点枠外補完を行う。

【０１３０】図２８は上記のような場合の補完例を示す
図である。同図中、（ａ）は交差点枠外補完の例、
（ｂ）は交差点枠内補完の例を示している。同図は、補
完される文字線分１４１，１４３及び枠１４２を示して
いる。

【０１３１】交差点が枠外、即ち、枠１４２の外側の場
合には、図２８（ａ）に示すように、文字線分１４１の
交点の延長線と枠１４２の外輪郭とで囲まれた領域を文
字領域として、黒画素で埋めて補完する。

【０１３２】他方、交差点が枠内、即ち、枠１４２の内
側の場合には、図２８（ｂ）に示すように、文字線分１
４３の交点の延長線で囲まれた領域を文字領域として、
黒画素で埋めて補完する。

【０１３３】図２９は、再対応部３１ｅの処理の一実施
例をより詳細に説明する図であり、処理をソフトウェア
で実現する場合のフローチャートを示す。

【０１３４】図２９において、ステップＳ１５１は、内
輪郭上の対応のない交点数ＩＮＴを設定する。ステップ
Ｓ１５２は、ＩＮＴ＞１であるか否かを判定し、判定結
果がＹＥＳであれば、ステップＳ１５３で距離の近い交
点間の対応付けを行い、処理を終了する。他方、ステッ
プＳ１５２の判定結果がＮＯであれば、ステップＳ１５
４でＩＮＴ＝１であるか否かを判定する。ステップＳ１
５４の判定結果がＹＥＳであれば、ステップＳ１５５で
既に対応付けた交点と対応付けを行い、処理を終了す
る。又、ステップＳ１５４の判定結果がＮＯであれば、
ステップＳ１５６で外輪郭上の対応のない交点の中で最
も距離の近い交点間を対応付けて、処理を終了する。

【０１３５】図３０は、交差点枠内補完部３２ｃの処理
の一実施例をより詳細に説明する図であり、処理をソフ
トウェアで実現する場合のフローチャートを示す。尚、
図３０及び後述する図３１〜図３３においては、図２４
中交差点と直線ｌ１とｌ２の交点を（ｉk ，ｊk ）、枠
１１２の内輪郭の座標をｉn 、枠１１２の外輪郭の座標
をｉg 、文字線幅をｗ、枠１１２の外輪郭より文字線幅
ｗ分内側の座標をｉg-w とする。

【０１３６】図３０において、ステップＳ１６１は、ｉ
をｉn ≦ｉ＜ｉk に設定する。ステップＳ１６２はｌ
１，ｌ２とｉとの交点をＰａ，Ｐｂに設定し、ステップ
Ｓ１６３はＰがＰａ≦Ｐ≦Ｐｂであればｆ（ｉ，Ｐ）は
文字とする。又、ステップＳ１６２及びＳ１６３と平行
してステップＳ１６４及びＳ１６５が行われる。ステッ
プＳ１６４はｌ３，ｌ４とｉとの交点をＰａ，Ｐｂに設
定し、ステップＳ１６５はＰがＰａ≦Ｐ≦Ｐｂであれば
ｆ（ｉ，Ｐ）は文字とする。上記ステップＳ１６２〜Ｓ
１６５は、ｉn ≦ｉ＜ｉk の範囲内で繰り返される。
又、ステップＳ１６６は、ｉをｉk ≦ｉ＜ｉg に設定す
る。ステップＳ１６７はｌ１，ｌ４とｉとの交点をＰ
ａ，Ｐｂに設定し、ステップＳ１６８はＰがＰａ≦Ｐ≦
Ｐｂであればｆ（ｉ，Ｐ）は文字とする。上記ステップ
Ｓ１６７及びＳ１６８は、ｉk ≦ｉ＜ｉg の範囲内で繰
り返され、その後処理を終了する。

【０１３７】図３１は、交差点枠外補完部３２ｄの処理
の一実施例をより詳細に説明する図であり、処理をソフ
トウェアで実現する場合のフローチャートを示す。同図
中、図３０と同一ステップには同一符号を付し、その説
明は省略する。

【０１３８】図３１において、ステップＳ１６１Ａがｉ
をｉn ≦ｉ＜ｉg-w に設定し、ステップＳ１６６Ａがｉ
をｉg-w ≦ｉ＜ｉg に設定する点を除けば、処理は図３
０の場合とほぼ同様である。

【０１３９】図３２は、直線補完部３２ｅの処理の一実
施例をより詳細に説明する図であり、処理をソフトウェ
アで実現する場合のフローチャートを示す。同図中、図
３０と同一ステップには同一符号を付し、その説明は省
略する。

【０１４０】図３２において、ステップＳ１６１がな
く、ステップＳ１６６Ｂがｉをｉs ≦ｉ＜ｉs+w に設定
する点を除けば、処理は図３０の場合とほぼ同様であ
る。

【０１４１】尚、対応付けが不可能な交点に対しては、
図３３の如きソフトウェア処理を行えば良い。同図中、
図３０と同一ステップには同一符号を付し、その説明は
省略する。

【０１４２】図３３において、ステップＳ１６１がな
く、ステップＳ１６６Ｃがｉをｉs ≦ｉ＜ｉg に設定す
る点を除けば、処理は図３０の場合とほぼ同様である。

【０１４３】尚、図３４は連結性確認部３３のラベリン
グ部３３ａの処理の一実施例をより詳細に説明する図で
あり、処理をソフトウェアで実現する場合のフローチャ
ートを示す。

【０１４４】図３４において、ステップＳ１７１はラベ
リングを行い、ステップＳ１７２はラベル数が１である
か否かを判定する。ステップＳ１７２の判定結果がＮＯ
であれば、ステップＳ１７３で現パターンを候補として
保存し、ステップＳ１７４による再対応部３１ｅでの再
対応処理へと進む。他方、ステップＳ１７２の判定結果
がＹＥＳの場合は、ステップＳ１７５による連結パター
ン統合部３４での統合処理へと進む。 （９）連結パターンの統合 連結パターン統合部３４においては、枠内文字補完部３
２で補完した接触文字パターンと、連結パターン属性付
加部２３において属性を付加された文字パターン或はそ
の一部を統合する。

【０１４５】枠が一文字枠である場合には、補完パター
ンと属性付けした文字パターン或はその一部の一部でも
同じ文字枠に属する場合には、統合することを考えて、
連結パターン仮統合部３４ａにおいて統合し、両者の統
合により得られたパターンのサイズをサイズ確認部３４
ｂで確認する。そして、そのサイズが適切であれば連結
パターン統合部３４ｃで統合し、適切でなければ統合し
ない。

【０１４６】即ち、抽出した一文字枠の位置に基づき、
部分パターンの一部が一文字枠の内部にあれば、それら
の部分パターンを一つの文字構成要素として統合し、統
合時に統合したパターンのサイズを求めて、それと一文
字枠のサイズとのサイズ比を計算し、計算値が所定のし
きい値の範囲内か否かを判定する。そして、サイズ比が
所定のしきい値内の場合には採用したパターンをそのま
ま採用し、所定のしきい値外の場合には、統合せずに元
の部分パターン毎に文字を切り出す。

【０１４７】本実施例においては、上記のようにして文
字を切り出しているので、従来において正確に切り出す
ことができなかった文字をも正確に切り出すことができ
る。

【０１４８】尚、図３５は連結パターン統合部３４の処
理の一実施例をより詳細に説明する図であり、処理をソ
フトウェアで実現する場合のフローチャートを示す。

【０１４９】図３５において、ステップＳ１８１は補完
した文字パターンと属性付けられた文字パターンを統合
し、ステップＳ１８２は統合した文字パターンのサイズ
を示すＴＯＵＧＯＵを設定する。ステップＳ１８３は、
ＴＯＵＧＯＵが一文字枠サイズ以下であるか否かを判定
する。ステップＳ１８３の判定結果がＮＯであれば、ス
テップＳ１８４は統合を行わず、処理を終了する。他
方、ステップＳ１８３の判定結果がＹＥＳであれば、ス
テップＳ１８５で統合を行ってから、処理を終了する。

【０１５０】図３６〜図３８は、本実施例により切り出
した文字パターンの例を示す図である。

【０１５１】図３６は、従来例の図６８で示した文字線
分を本実施例により切り出した例を示す。本実施例によ
れば、同図に示すように、枠１５２に接触した文字線分
１５１を枠１５２を除去して、正確に切り出すことがで
きる。

【０１５２】図３７は、従来例の図６９に示したパター
ンから本実施例により文字を切り出した例を示す。図３
７（ａ），（ｂ），（ｃ）に示すように、文字に接触し
た枠、文字に接触した汚れ等を正確に除去して文字のみ
を切り出すことができる。

【０１５３】図３８は、同図（ａ）に示す手書き文字の
２値画像から本実施例により文字パターンを切り出した
例を示す。同図（ｂ）から明らかな如く、本実施例によ
れば、同図（ａ）のように文字が枠に接触したり、枠か
らはみ出したりしていても、正確に文字を復元すること
ができる。

【０１５４】以上説明したように、本実施例において
は、罫線、枠等に触れている文字、図形、記号等から罫
線、枠等の直線部分を抽出・分離して文字、図形、記号
を抽出し、罫線、枠等の直線部分を文字、図形、記号か
ら分離したことにより文字、図形、記号が欠けた部分を
補完しているので、次のような特徴１）〜１６）を有す
る。

【０１５５】１）枠もしくは罫線等の直線部分と文字、
図形もしくは記号とから構成される画像から、枠もしく
は罫線等の直線を確実に除去し、除去した部分を正確に
補完することができるので、高品質の文字、図形もしく
は記号を抽出することができ、文字認識装置において、
文字、図形、記号の認識率を著しく向上させることがで
きる。又、従来のように、文字認識装置用の文字、図
形、記号等を枠内に書かなければならないという制約を
取り除くことができる。

【０１５６】２）連結性が確認できないパターンを交点
対応付け手段にフィードバックし、再度、交点の対応付
け、文字、図形、記号の領域の補完を行うことにより、
文字、図形、記号を高品質に復元することができ、又、
連結性が確認できるまで、復元パターンの候補を適応的
に増加させることが可能となり、確実に正解のパターン
を抽出することができる。

【０１５７】３）文字、図形もしくは記号と枠もしくは
罫線等の直線部分が接触したパターンの候補だけに対し
て連結成分を求めるようにしたり、連結性が確認できな
いパターンのうち、再対応付けを行う交点を、交点間を
結ぶ直線が枠もしくは罫線等の直線部分上にある場合に
限定するようにすることにより、処理速度を高速化する
ことができる。

【０１５８】４）一対一に対応する交点を、距離等の情
報に基づき対応付けることにより、誤った交点の対応付
けをすることなく、不適切なパターンの復元を避けるこ
とができる。

【０１５９】５）一対一に対応する交点を、交点の中点
間の距離、文字、図形もしくは記号を構成する部分の連
続性等を考慮して対応付けることにより、一対多に対応
する交点を確実に対応付けることができ、交点の対応漏
れによる復元パターンに欠けが生じることがなく、品質
の良いパターンを抽出することができる。

【０１６０】６）矩形近似されたパターンと文字、図形
もしくは記号のサイズ、或は、枠サイズとの比を算出
し、上記比が所定のしきい値を越える場合には、交点の
対応付けをキャンセルするようにすることにより、不適
切なパターンを抽出することがなく、高品質な文字を抽
出することができる。

【０１６１】７）文字、図形もしくは記号を構成する一
つの線分の交点における線分の輪郭線の傾きを求めて、
各交点を通り、輪郭線の傾きを持つ２つの直線の交差点
を求め、その交差点の位置に応じて、文字、図形もしく
は記号の領域を厳密に抽出することができ、高品質のパ
ターンを抽出することができる。

【０１６２】８）途切れた線分を補完するに際し、罫線
に沿って直線で補完すると共に、枠もしくは罫線等の直
線部分内の領域を、文字、図形、記号の線幅に相当する
直線で補完することにより、枠、罫線等の直線部分にお
ける文字、図形、記号のストロークが欠けている場合で
も、高品質な文字、図形もしくは記号を抽出することが
でき、又、部分的に線幅が広くなることがないので、高
品質のパターンを抽出することができる。

【０１６３】９）部分パターンの一部が枠の内部にあれ
ば、部分パターンを統合し、統合したパターンのサイズ
を求めて、そのサイズと枠のサイズとのサイズ比により
統合したパターンを採用するか否かを決定することによ
り、不適切なパターンを抽出することがない。

【０１６４】１０）交点が一対一に対応付けられた文
字、図形、記号を構成する線分について、枠もしくは罫
線等の直線部分を構成する内側と外側の２つの輪郭の夫
々における交点候補間の距離を算出し、算出した距離の
平均値を求めることにより、文字、図形、記号を構成す
る線分の平均線幅を算出することにより、文字、図形、
記号を構成する線分の幅を正確に求めることができる。

【０１６５】１１）枠もしくは罫線等の直線部分を分離
したパターンに対して、連結成分を求め、各連結成分の
面積に基づき、枠もしくは罫線等の直線部分の一部とし
て残った雑音を除去することにより、文字、図形、記号
を構成する線分と枠の一部を対応付けて不適切なパター
ンが復元されるのを避けることができる。

【０１６６】１２）傾きや、凹凸、未知サイズを考慮し
て、各部分パターン毎に投影を求め、その投影値と部分
パターンの近似矩形の縦、横の長さの比に基づき、枠を
構成する直線の候補を抽出することにより、頻度の高い
線幅の太い枠を高速に、かつ、正確に抽出することがで
きると共に、枠に接触した文字、図形もしくは記号か
ら、それらの一部を削り取ることなく、枠だけを正確に
分離することができ、文字、図形もしくは記号を高品位
に復元することができる。

【０１６７】１３）所定の開始点より、左右もしくは上
下に部分パターンに沿って探索し、探索によって得られ
た直線の長さと、上記近似矩形の各辺の長さの比によ
り、枠を抽出すると共に、枠の各辺の線幅を算出するこ
とにより、線幅の細い枠を正確に抽出することができ
る。

【０１６８】１４）抽出された枠を全画像にわたってス
キャンして、部分パターンとのマッチングを行い、新に
枠を抽出するようにしたり、部分パターンを矩形近似
し、近似された矩形と抽出された枠とのサイズ比を算出
し、算出したサイズ比が所定のしきい値内の部分パター
ンだけに絞り込んで、抽出済の枠とのマッチングを行っ
て、新に枠を抽出することにより、抽出が困難な枠をも
抽出することが可能となる。

【０１６９】１５）部分パターンから枠を抽出して、抽
出された枠のサイズ分だけ、左右、もしくは、上下の範
囲内に存在する部分パターンを抽出し、抽出した全ての
部分パターンが文字、図形もしくは記号だけからなるパ
ターンと判定されている場合に、上記抽出された枠を文
字、図形もしくは記号だけからなるパターンと判定し直
すようにすることにより、例えば、「国」という漢字の
ように枠に相当する矩形部分を持つ文字の一部を枠とし
て抽出することがなく、枠を安定して抽出することがで
きる。

【０１７０】１６）傾きを持ったり、雑音を含んだ枠も
しくは罫線等の直線部分を抽出する際、ｎラインランレ
ングス法を用いて直線部分として抽出することにより、
凹凸のある直線を確実に抽出することが可能となる。

【０１７１】ところで、図２の文字／枠交点算出部２５
で算出された交点を図３の交点対応付け部３１で対応付
ける際に、交点数が一対一の場合には、順序付け対応を
行うと、細い文字線分同士では、文字サイズの情報では
除去できず、枠に接触する隣り同士の文字まで対応付け
られてしまう。例えば、図３９（ａ）のように「１」と
「４」が枠の両側から接触している場合、枠の交点が一
対一であるため、交点間の距離が離れていても順序良く
対応付けられてしまう。このため、処理された文字は同
図（ｂ）に示すように、解読不能な文字となってしま
う。

【０１７２】又、図３の連結性確認部３３で連結性が確
認されるまでは、交点対応付け部３１での交点の対応付
けが繰り返される。しかし、探索する枠の順番に応じて
異なる結果が生じ、かつ、候補の中に正解が含まれてい
ない場合もある。例えば、図４０（ａ）の「５」が枠と
接触している画像に対して先ず左枠の連結性を求めた場
合、処理後の文字は同図（ｂ）に示すようになってしま
う。又、右枠の連結性を先に求めた場合、処理後の文字
は同図（ｃ）に示すようになってしまう。ところが、こ
の場合の正解は同図（ｄ）に示す文字である。

【０１７３】そこで、上記図３９及び図４０と共に説明
した問題を解決し得る、本発明になる画像抽出方式の第
３実施例について、以下に説明する。図４１は、第３実
施例の要部である交点対応付け部３１−１を示す。他の
部分は第２実施例と同じであるので、その図示及び説明
は省略する。本実施例では、交点間を文字線分の距離及
び傾きの連続性により対応付け、枠、罫線等の線幅に応
じて距離や連続性の判定基準を適応的に変化させる。

【０１７４】本実施例では、交点対応付け部３１−１
は、距離対応部３１ｃ、連続性対応部３１ｄ、線幅算出
部３１ｂ、サイズ確認部３１ｆ、連結性仮対応部３１
ｇ、交点間距離算出部３１ｈ、優先順位展開部３１ｉ及
び連結性対応部３１ｊからなる。距離対応部３１ｃに
は、文字／枠交点算出部２５の出力が供給される。他
方、連結性仮対応部３１ｇには、連結性確認部３３の出
力が供給される。又、サイズ確認部３１ｆ及び連結性対
応部３１ｊの出力は、枠内文字補完部３２へ供給され
る。

【０１７５】尚、本実施例では、黒枠を印刷された帳票
から文字を切り出す。つまり、文字枠のサイズや位置の
わからない文字枠に対して、接触或ははみ出して書かれ
た手書き文字から一文字一文字を切り出すものとする。
ただし、本実施例で対象となる入力パターンは、極端な
傾きや回転の補正、雑音除去及びかすれの穴埋め等の前
処理を施された２値画像である。

【０１７６】交点対応付け部３１−１は、交点対応付け
部３１と異なり、交点の対応付け数の違いに応じた対応
付け、つまり、一対一又は一対多に応じた交点の対応付
けは行わない。その代わり、距離対応と連続性対応で交
点の対応付けを行う。以下に説明する条件１と条件３は
距離対応の交点の対応付けを行う場合であり、条件２は
連続性対応の交点の対応付けを行う場合である。条件１
から条件３に変化するにつれて対応付ける文字線分間の
距離が遠なるが、交点の対応付けは、どれか一つの条件
に適合すれば行う。

【０１７７】距離対応部３１ｃは、交点が図１９（ａ）
と共に説明した条件１を満足するか否かを判定する。条
件１を満足すれば、交点の対応付けを行う。又、条件１
を満足する交点が複数存在すれば、それら全ての交点の
対応付けを行う。

【０１７８】条件１を満足しない交点については、連続
性対応部３１ｄで図１９（ｂ）と共に説明した条件２を
満足するか否かを判定する。条件２を満足すれば、交点
の対応付けを行う。

【０１７９】又、条件１又は２で対応付けられない交点
に関しては、距離対応部３１ｃで図１９（ｃ）と共に説
明した条件３を満足するか否かを判定する。条件３を満
足すれば、交点の対応付けを行う。

【０１８０】線幅算出部３１ｂは、１つの文字線分に存
在する２つの交点間の距離を外輪郭と内輪郭の夫々で算
出し、その平均を求めることにより文字線分の線幅を算
出する。

【０１８１】サイズ確認部３１ｆは、対応付けの条件を
満足したパターンに対して、対応付けてできるパターン
のサイズを求め、そのサイズと、予めわかっている文字
サイズ、又は、直線／枠抽出部２２で計算した枠のサイ
ズと比較され、比較によって得られるサイズ比が大きす
ぎる場合は交点の対応付けをしないようにする。図１６
で示したように、一つの文字線分に存在する２つの交点
の中点を求め、外輪郭の中点と内輪郭の中点のＸ軸方向
の座標値の差ｄk ，ｄk+1 、或はＹ軸方向の座標値の差
を求める。座標値の差が、夫々外輪郭と内輪郭との差か
ら求められる枠の線幅Ｗにαの重み付けをした値以下の
場合、それらの交点を対応付ける。

【０１８２】これにより、処理前の画像が図４２（ａ）
のような場合でも、処理後は同図（ｂ）に示すようにな
り、図３９と共に説明した問題は解決される。

【０１８３】他方、連結性仮対応部３１ｇは、連結性が
確認できない文字パターン或はその一部に対し、交点算
出部２５で算出された交点を用いて、外部から、或は、
図４３の如き優先順位に応じて、連結性が保たれるよう
な交点の対応付けを行う。

【０１８４】交点間距離算出部３１ｈは、各々の交点間
の距離を算出する。例えば、図４４（ａ）のような画像
から同図（ｂ）に示す線分が抽出されているとすると、
各線分には連結パターン抽出部２１において「イ」、
「ロ」、「ハ」の如きラベルが付けられている。図４４
（ｂ）の例では、交点間の距離はラベル「イ」と
「ロ」、「ロ」と「ハ」の間の２箇所について、夫々左
右の枠部分で算出される。この例では、ラベル「イ」と
「ロ」の間の距離は左枠部分で「３」、ラベル「ロ」と
「ハ」の間の距離は左枠部分で「４」である。同様に、
ラベル「イ」と「ロ」の間の距離は右枠部分で「４」、
ラベル「ロ」と「ハ」の間の距離は右枠部分で「２」で
ある。

【０１８５】優先順位展開部３１ｉは、図４３の優先順
位のテーブル３１０に従って交点の対応付けを決定す
る。この場合、優先順位展開部３１ｉはテーブル３１０
に「丸」印で示されたように、距離の小さい方の交点を
対応付ける。「×」印で示される対応条件は、優先順位
に寄与しない。尚、テーブル３１０の対応条件の設定は
図４３のものに限定されないことは言うまでもない。

【０１８６】連結性対応部３１ｊは、優先順位展開部３
１ｉで対応付けられた交点間を図４４（ｃ）に示すよう
に対応付ける。

【０１８７】その後は、上記の如く連結性が確認できた
場合と同様に、補完した接触文字パターン或はその一部
と、属性を付加された文字パターン或はその一部とを統
合する。

【０１８８】ところで、優先順位のテーブル３１０は、
図４５に示すように、文字の種類毎に優先順位を与える
ものでも良い。この場合、図４６（ａ）に示す画像から
は、文字の種類がアルファベットであれば、同図（ｂ）
に示す「Ｅ」が最終的に得られる。又、図４７（ａ）に
示す画像からは、文字の種類がカタカナであれば、同図
（ｂ）に示す「シ」が最終的に得られる。更に、図４７
（ａ）に示す画像からは、文字の種類が数字であれば、
同図（ｂ）に示す「７」が最終的に得られ、文字の種類
がひらがなであれば同図（ｃ）に示す「り」が得られ
る。尚、図４７（ａ）に示す画像からは、文字の種類が
カタカナであれば、同図（ｂ）に示す「ワ」又は「ク」
が最終的に得られる。

【０１８９】図４９は、連結性仮対応部３１ｇの処理の
一実施例をより詳細に説明する図であり、処理をソフト
ウェアで実現する場合のフローチャートを示す。

【０１９０】図４９において、ステップＳ２０１は対応
付けのない交点の数ＮＵＭを設定する。ステップＳ２０
２は、ＮＵＭ＞０であるか否かを判定し、判定結果がＮ
Ｏであれば処理を終了する。他方、ステップＳ２０２の
判定結果がＹＥＳであれば、ステップＳ２０３で交点の
仮対応を行い、処理を終了する。

【０１９１】図５０は、交点間距離算出部３１ｈの処理
の一実施例をより詳細に説明する図であり、処理をソフ
トウェアで実現する場合のフローチャートを示す。

【０１９２】図５０において、ステップＳ２１１は隣合
う仮対応の交点を（ａk ，ｂk ）、（ａk+1 ，ｂk+1 ）
に設定する。ステップＳ２１２は、交点間距離Ｌをａk+
1 −ｂk に設定し、処理を終了する。

【０１９３】図５１は、優先順位展開部３１ｉの処理の
一実施例をより詳細に説明する図であり、処理をソフト
ウェアで実現する場合のフローチャートを示す。

【０１９４】図５１において、ステップＳ２２１は優先
順位テーブル３１０又は優先順位ファイルを読み込む。
ステップＳ２２２は、交点の対応付けの条件を優先順位
テーブル３１０に基づいて決定する。ステップＳ２２３
は優先順位が文字の種類別に決定されているか否かを判
定し、判定結果がＮＯであれば処理を終了する。他方、
ステップＳ２２３の判定結果がＹＥＳの場合は、ステッ
プＳ２２４で文字の種類の情報があるか否かを判定し、
判定結果がＮＯであれば処理を終了する。ステップＳ２
２４の判定結果がＹＥＳであれば、ステップＳ２２５
で、文字の種類別に優先順位を設定し、処理を終了す
る。

【０１９５】図５２は、連結性対応部３１ｊの処理の一
実施例をより詳細に説明する図であり、処理をソフトウ
ェアで実現する場合のフローチャートを示す。

【０１９６】図５２において、ステップＳ２３１は文字
の種類別の対応付けか否かを判定し、判定結果がＹＥＳ
であればステップＳ２３２で文字の種類を判定する。ス
テップＳ２３１の判定結果がＮＯ場合、或は、ステップ
Ｓ２３２の後で、ステップＳ２３３が一番優先順位の高
い対応条件による対応付けにより文字パターンを生成す
る。ステップＳ２３４は、対応条件がＭ個（Ｍは複数）
あるか否かを判定し、判定結果がＮＯであれば処理を終
了する。他方、ステップＳ２３４の判定結果がＹＥＳの
場合は、ステップＳ２３５でＭをデクリメントし、対応
付けにより候補の文字パターンを生成する。ステップＳ
２３５は、Ｍ−１回行われ、その後処理は終了する。

【０１９７】ところで、従来の画像抽出方式で枠、罫線
等と接触する文字を抽出する場合には、枠、罫線等の位
置、サイズ等に関するフォーマット情報及び枠、罫線等
の傾きに関する情報を予め帳票データとしてユーザが入
力しておく必要があった。この様な技術は、例えば特開
昭６２−２１２８８８号公報及び特開平３−１２６１８
６号公報等にて提案されている。

【０１９８】これに対し、上記各実施例によれば、枠、
罫線等の位置やサイズに関する情報を予め入力しておく
必要はない。

【０１９９】しかし、上記各実施例では、直線の抽出は
図２に示す如き直線／枠抽出部２２で行われる。つま
り、画像抽出の対象が一文字枠の場合、ラベリングで得
られた部分パターン毎に縦横方向の投影を取り、その投
影値の部分パターンを矩形近似して得られる縦横のサイ
ズに対する比を計算し、所定のしきい値以上であれば長
い直線と判断する。このため、枠が比較的大きく傾いた
場合には上記比が小さくなってしまい、直線が検出でき
ない。又、枠が多少傾いている場合であっても、枠が大
きい場合にはやはり上記比が小さくなってしまうため、
直線が検出できない。従って、枠、罫線等が長い場合に
は、枠、罫線等の傾きに関する情報は予めユーザにより
入力されている必要がある。

【０２００】つまり、上記各実施例では、除去対象は一
文字枠のみであったが、横に長いブロック枠等を除去対
象とする場合には、枠、罫線等の傾きや回転が予め補正
されていることが前提となっており、図２の連結パター
ン抽出部２１へ入力される入力パターンは回転補正等の
前処理を施されている。このため、ユーザは枠、罫線等
の傾きに関する情報を予め枠、罫線等毎に入力しなけれ
ばならず、情報の入力に時間がかかると共に、ユーザへ
の負担も比較的大きい。

【０２０１】そこで、上記各実施例の問題をも解決し得
る実施例について次に説明する。図５３は、本発明にな
る画像抽出方式の第４実施例を示す図であり、処理の対
象となる入力パターンは、予め極端な傾きや回転の補
正、雑音の除去、かすれの穴埋め等の前処理を施された
２値画像であるものとする。又、本実施例では便宜上黒
枠の帳票から枠を除去するものとする。つまり、文字枠
に関しては、横に細長い一行のブロック枠が複数個あ
り、又、その枠のサイズ、位置及び傾きが分からないブ
ロック枠に対して手書き文字が書かれており、文字が枠
と接触したり枠からはみ出していても枠だけを除去す
る。

【０２０２】本実施例では、図５３に示す如く、連結パ
ターン抽出部４０と、線分検出部４１と、直線検出部４
２と、枠検出部４３と、枠分離部４４とが設けられてい
る。連結パターン抽出部４０は、枠もしくは罫線等の直
線部分と文字、図形もしくは記号とから構成される入力
パターンから画素と画素が繋がっている部分パターンを
抽出する。線分検出部４１は、隣接投影により連結パタ
ーン毎に一定長さで線分又は直線の一部を検出する。直
線検出部４２は、得られた複数の線分又は直線の一部を
統合して長い直線を検出する。枠検出部４３は、得られ
た複数の直線の間隔等により、文字枠を構成する直線を
抽出する。枠分離部４４は、枠と枠の交点によりブロッ
ク枠を一文字毎の枠に分割して夫々の枠の幅を算出し、
その幅に従って連結パターンから文字枠を分離する。

【０２０３】尚、枠を分離した後の処理としては、例え
ば図２に示した文字／枠交点算出部２５〜図３に示した
連結パターン統合部３４までの処理が考えられる。

【０２０４】連結パターン抽出部４０は、ラベリング部
４０ａからなる。複数のブロック枠が配置される位置の
相対的な関係に依存することなく各パターンを安定に抽
出するために、ラベリング部４０ａでは８連結で繋がっ
ているパターンをラベリングにより抽出する。このラベ
リングにより得られた部分パターンは、文字が接触して
いない場合の枠、枠に接触していない文字或は文字の一
部、文字の接触している枠のうち、いずれかである。そ
こで、これらの部分パターンを判別して枠を抽出する。
又、ラベリングで得られた部分パターンのサイズが後で
必要となるので、部分パターンを矩形近似して得られる
矩形の角の座標をラベリングの処理中に算出しておく。

【０２０５】線分検出部４１は、細線化部４１ａ、隣接
投影部４１ｂ、縦横線分検出部４１ｃ及び横線分探索部
４１ｄからなる。

【０２０６】細線化部４１ａは、ラベリングで得られた
部分パターン毎に細線化処理を行う。この細線化処理
は、線幅の太さを同じにして、枠だけに存在する長い直
線を抽出し易くするために行うものであり、細線化処理
自体としては、公知の技術を使用し得る。尚、部分パタ
ーンの細線化処理前の原パターンは、細線化されたパタ
ーンとは別に記憶しておき、後述する線分の探索時と枠
分離時とに使用する。

【０２０７】隣接投影部４１ｂは、細線化されたパター
ンを縦横複数に分割し、縦横夫々の分割範囲内で隣接投
影を算出して、ある一定の長さの線分或は直線の一部を
矩形近似により検出する。「隣接投影」とは、注目行又
は列の投影値に周囲の行又は列の投影値を足し合わせた
結果を、投影値とするものである。これにより、直線が
傾きによって複数行又は列にわたっていても、直線を検
出することができる。従って、隣接投影を用いることに
より、ブロック枠等の大きな枠で、かつ、枠が傾いてい
る場合であっても、枠を構成する直線を検出することが
可能である。例えば図５４に示すようにｉ行の投影値を
ｐ（ｉ）とすると、隣接投影値Ｐ（ｉ）は次の（１１）
式に基づいて算出できる。尚、図５４ではｊ＝１であ
る。又、列の投影値も行の投影値と同様に算出可能であ
る。

【０２０８】 Ｐ（ｉ）＝ｐ（ｉ−ｊ）＋ｐ（ｉ−ｊ＋１）＋・・・ ＋ｐ（ｉ）＋・・・＋ｐ（ｉ＋ｊ） （１１） 図５５は、隣接投影部４１ｂの処理の一実施例をより詳
細に説明する図であり、処理をソフトウェアで実現する
場合のフローチャートを示す。

【０２０９】図５５において、ステップＳ３０１は連結
パターン抽出部４０で得られた部分パターンを縦方向及
び横方向の複数の部分で分割する。ステップＳ３０２
は、縦横夫々の分割範囲内で投影を算出する。ステップ
Ｓ３０３は、算出された夫々の投影値に周囲の投影値を
加算する。更に、ステップＳ３０４は、上記（１１）式
に基づいて隣接投影値を算出する。

【０２１０】縦横線分検出部４１ｃは、隣接投影部４１
ｂで算出された隣接投影値と縦横夫々の分割長との比が
所定のしきい値以上である部分を直線の候補のある位置
とする。又、例えば図５６の部分ａのように、複数の行
又は列が続いて所定のしきい値以上となった場合は、そ
れらをまとめた矩形範囲に直線があるものとする。検出
された直線又は直線の一部は矩形近似されているため、
以後「矩形線分」と呼ぶ。

【０２１１】尚、隣接投影でなく通常の投影を用いる
と、傾いている長い直線は検出不能なため、部分パター
ンの分割数を多くし、分割長を短くする必要がある。し
かし、分割長が短くなると、文字を構成している短い直
線も多数検出されてしまう。これに対し、本実施例では
上記隣接投影を用いているので、比較的長い直線をも検
出可能である。

【０２１２】図５７は、縦横線分検出部４１ｃの処理の
一実施例をより詳細に説明する図であり、処理をソフト
ウェアで実現する場合のフローチャートを示す。

【０２１３】図５７において、ステップＳ３１１は隣接
投影部４１ｂで算出された隣接投影値と縦横夫々の分割
長との比が所定のしきい値以上であるか否かを判定す
る。ステップＳ３１１の判定結果がＮＯであれば、ステ
ップＳ３１２で線分が存在しないものと判断する。他
方、ステップＳ３１１の判定結果がＹＥＳであれば、ス
テップＳ３１３で線分が存在するものと判断する。この
場合、ステップＳ３１４はは存在すると判断された線分
が、その上下にある線分と接しているか否かを判定す
る。ステップＳ３１４の判定結果がＮＯであれば、ステ
ップＳ３１４は存在すると判断された線分を矩形線分と
する。他方、ステップＳ３１４の判定結果がＹＥＳであ
れば、ステップＳ３１６は存在すると判断された線分と
その上下にある線分とを統合し、ステップＳ３１７は統
合された線分を矩形線分とする。

【０２１４】横線分探索部４１ｄは、縦横線分検出部４
１ｃで検出された矩形線分のうち、横線分が途中で切れ
ていないかどうかを確かめるための探索を行う。探索の
開始点は、矩形線分のなかで一番細い部分とする。例え
ば図５８に「白丸」で示す中点等の一定の場所を開始点
とすると、同図に示す如く開始点が文字の部分であった
場合に探索が失敗する可能性が高いが、「黒丸」で示す
一番細い部分は文字である可能性が低いため、より確実
に探索を行うことができる。

【０２１５】図５９は、横線分探索部４１ｄの処理の一
実施例をより詳細に説明する図であり、処理をソフトウ
ェアで実現する場合のフローチャートを示す。

【０２１６】図５９において、ステップＳ３２１は縦横
線分検出部４１ｃで検出された矩形線分のうち、最も線
幅の細い部分を算出する。ステップＳ３２２は、算出さ
れた最も線幅の細い部分を開始点として、左右に探索を
開始する。ステップＳ３２３は探索を行い、ステップＳ
３２４は分岐点が存在するか否かを判定する。ステップ
Ｓ３２４の判定結果がＹＥＳであれば、ステップＳ３２
５で分岐点を記憶する。又、ステップＳ３２４の判定結
果がＮＯ或はステップＳ３２５の後で、ステップＳ３２
６が矩形線分の端に達したか否か、或は、探索が失敗し
たか否かを判定する。ステップＳ３２６の判定結果がＮ
Ｏであれば、処理はステップＳ３２３へ戻る。

【０２１７】他方、ステップＳ３２６の判定結果がＹＥ
Ｓの場合は、ステップＳ３２７で探索を終了し、ステッ
プＳ３２８で分岐点を記憶したか否かを判定する。ステ
ップＳ３２８の判定結果がＮＯであれば、処理は後述す
るステップＳ３３３へ進む。ステップＳ３２８の判定結
果がＹＥＳであれば、ステップＳ３２９で記憶されてい
る分岐点に戻って、ステップＳ３３０で探索を行う。ス
テップＳ３３１は、矩形線分の端に達したか否か、或
は、探索が失敗したか否かを判定する。ステップＳ３３
１の判定結果がＮＯであれば、処理はステップＳ３３０
へ戻る。他方、ステップＳ３３１の判定結果がＹＥＳで
あれば、ステップＳ２３２で探索を終了し、ステップＳ
３３３で探索の終了点が矩形線分の左右の端に達したか
否かを判定する。ステップＳ３３３の判定結果がＮＯで
あれば、ステップＳ３３４は矩形線分が横線分ではない
と判断する。又、ステップＳ３３３の判定結果がＹＥＳ
であれば、ステップＳ３３５は矩形線分が横線分である
と判断する。

【０２１８】図５３の説明に戻ると、直線検出部４２
は、線分統合部４２ａ、直線検出部４２ｂ、線分統合部
４２ｃ及び直線検出部４２ｂからなる。線分統合部４２
ａ及び直線検出部４２ｂは、横線分に対して設けられて
おり、線分統合部４２ｃ及び直線検出部４２ｂは縦線分
に対して設けられている。直線検出部４２は、図６０
（ａ）に示す線分ｙ，ｚのように、途中で途切れていな
い矩形線分同士が接触或は繋がっていれば、これらの矩
形線分を統合して長い直線とする。更に、図６０（ａ）
に示す線分ｘ，ｙのように、矩形線分が互いに繋がって
いなくても、垂直方向の距離が上記隣接投影の際加える
行又は列数ｊ以内であれば、これらの矩形線分を統合し
て長い直線とする。直線検出部４２ｂは、線分統合部４
２ａで統合された直線の長さと、部分パターンを近似す
る矩形の長さとの比が所定のしきい値以上であれば、横
枠を構成する直線の候補であると判断する。尚、直線検
出部４２ｂは、図６０（ｂ）に示すように、線分統合部
４２ａで統合された線分ｘの左上の座標と線分ｚの右上
の座標を結んだ直線の傾きから、統合された直線の傾
き、即ち、部分パターンの傾きを求める。この部分パタ
ーンの傾きは、後述する処理において用いられる。縦線
分については、線分統合部４２ｃ及び直線検出部４２ｂ
により、検出された全ての矩形線分について、上記線分
統合部４２ａ及び直線検出部４２ｂと同様な処理を行
う。つまり、線分統合部４２ｃは矩形線分の統合を行っ
て直線を検出し、直線検出部４２ｂは検出された直線を
矩形近似して縦枠を構成する直線の候補であると判断す
る。

【０２１９】図６１は、直線検出部４２の線分統合部４
２ａ及び線分統合部４２ｃの処理の一実施例をより詳細
に説明する図であり、処理をソフトウェアで実現する場
合のフローチャートを示す。

【０２２０】図６１において、ステップＳ３４１は検出
された矩形線分同士の距離を算出する。ステップＳ３４
２は、算出された距離が隣接投影の際加える行又は列数
以内であるか否かを判定する。ステップＳ３４２の判定
結果がＮＯであれば、ステップＳ３４３で矩形線分の統
合は行わないものとする。他方、ステップＳ３４２の判
定結果がＹＥＳであれば、ステップＳ３４４は矩形線分
の統合を行う。

【０２２１】再び図５３の説明に戻ると、枠検出部４３
は、横枠検出部４３ａ、探索部４３ｂ、線間隔算出部４
３ｃ、ヒストグラム作成部４３ｄ及び縦枠検出部４３ｅ
からなる。横枠検出部４３ａは、直線検出部４２の直線
検出部４２ｂで検出された横枠を構成する直線の候補か
ら、横枠を検出する。本実施例では、横一行、かつ、一
文字ずつ等間隔の枠を持つブロック枠を対象としている
ため、得られた横方向の直線の中で最外郭のものを横枠
とする。探索部４３ｂは、縦枠を検出するため、直線検
出部４２の直線検出部４２ｄで検出された縦枠を構成す
る直線の候補及び横枠検出部４３ａで検出された横枠に
基づいて、縦線分の探索を行う。具体的には、縦枠の候
補の直線が、横枠検出部４３ａで得られた上下の横枠ま
で達しているか、或は、途中で途切れていないかを、探
索により調べる。探索方法は、横線の場合と同様に、矩
形範囲内で一番細いところを開始点とする。探索の結
果、上下共に横枠に達している縦直線は縦枠の候補と
し、その他は文字の一部分とみなして省く。次に、線間
隔算出部４３ｃで、縦線の候補に残った縦直線同士の間
隔を算出する。又、ヒストグラム作成部４３ｄは、算出
された線間隔とその出現頻度をヒストグラムに示し、縦
枠検出部４３ｅは、著しく他と異なる間隔を形成する縦
直線を縦枠の候補から除外することにより、縦枠の候補
から除外されなかった縦直線を縦枠であるものとする。

【０２２２】図６２は、探索部４３ｂの処理の一実施例
をより詳細に説明する図であり、処理をソフトウェアで
実現する場合のフローチャートを示す。同図中、図５９
と実質的に同じステップには同一符号を付し、その説明
は省略する。

【０２２３】図６２において、ステップＳ３４２は、最
も細い部分を開始点として上下に探索を開始する。ステ
ップＳ３４６及びステップＳ３５１は、夫々上下の横枠
に達したか、或は、探索が失敗したか否かを判定する。
ステップＳ３５３は、探索終了点が上下の横枠に達した
か否かを判定する。ステップＳ３５３の判定結果がＮＯ
であればステップＳ３５４は縦枠の可能性がないと判断
し、判定結果がＹＥＳであればステップＳ３５５は縦枠
の可能性があると判断する。

【０２２４】次に、図５３の枠分離部４４の説明をす
る。枠分離部４４は、枠交点算出部４４ａ、一文字範囲
分離部４４ｂ、投影部４４ｃ、直線検出部４４ｄ、枠探
索部４４ｅ、辺幅算出部４４ｆ、枠除去部４４ｇ及び接
触文字補完部４４ｈとからなる。枠交点算出部４４ａ
は、枠検出部４３から得られた縦枠及び横枠から、縦枠
と横枠との交点を算出する。図６３に示す例では、交点
Ａ１，Ｂ１，Ａ２，Ｂ２，・・・を算出する。そして、
一文字範囲分離部４４ｂは、図６３に示すように、算出
した交点を用いて（Ａ１，Ａ２，Ａ３，Ａ４）、（Ｂ
１，Ｂ２，Ｂ３，Ｂ４）、・・・という具合に、左から
一文字ずつの範囲に分離して行く。この結果、夫々の分
離部分は一文字枠と同様になる。投影部４４ｃは、各分
離部分の投影を算出し、直線検出部４４ｄは、得られた
投影から直線を検出する。より具体的には、直線検出部
４４ｄは、各分離部分の各行及び列の投影値と各分離部
分を矩形近似して得た矩形との夫々の比を計算し、その
比より文字枠を構成する直線の候補を求める。枠探索部
４４ｅは、文字枠を構成する直線の候補の中から直線間
の距離を算出し、文字枠を構成する最外郭の直線を抽出
することにより、各文字枠を探索して文字枠の位置を求
める。辺幅算出部４４ｆは、最外郭の直線に隣接する候
補直線を求め、探索された文字枠の各辺の線幅を算出す
る。枠除去部４４ｇは、各辺の最外郭の直線の位置及び
算出された各辺の線幅に基づいての文字枠を一つずつ除
去する。接触文字補完部４４ｈは、文字枠が除去される
ことによって欠けてしまった文字部分を補完する。これ
により、文字枠を除去されて文字が一文字ずつ切り出さ
れて行く。

【０２２５】尚、枠が図６４のように傾いていると、各
枠の上下に除去されない部分ｒａ，ｒｂ，ｒｃ，ｒｄが
残ってしまうこともある。そこで、上記直線検出部４２
で求めた傾きが比較的大きい場合は、枠除去部４４ｇで
の枠の除去範囲を少し多めにしても良い。

【０２２６】図６５及び図６６は、本実施例により文字
を切り出した場合の一例を説明する図である。図６５
（ａ）は原パターンを示し、同図（ｂ）は図５３の枠分
離部４４の枠除去部４４ｇにより抽出された枠を示す。
図６６（ａ）は枠分離部４４の枠除去部４４ｇで枠を抽
出することにより切り出された文字を示し、同図（ｂ）
は枠分離部４４の接触文字補完部４４ｈにより補完され
た文字を示す。

【０２２７】以上説明したように、本実施例において
は、抽出された部分パターンのうち一文字ずつ枠で仕切
られているブロック枠に対し、各部分パターンから直線
を抽出し、抽出された直線が枠であるか否かを判断し、
文字領域を残して枠線を消去するので、次のような特徴
１）〜９）を有する。

【０２２８】１）ブロック枠が傾きを有していても、文
字枠だけを確実に除去することができる。

【０２２９】２）枠を抽出する際、枠を構成する直線の
候補同士の間隔と出現頻度を示すヒストグラムを作成
し、このヒストグラムのピークから著しく離れた間隔を
形成する直線を枠のこうほから除外することで、対象と
している枠がどの様な枠であるかという情報を必要とせ
ずに枠を抽出することができる。

【０２３０】３）ある行又は列の投影値に、その周囲の
行又は列の投影値を加えたものを、その行又は列の投影
値とする隣接投影を用いることで、傾きのある直線の検
出が可能となる。

【０２３１】４）直線を検出する際、隣接投影で加える
周囲の行又は列数を傾きによって変化させることで、確
実に直線の存在する範囲を指定することができる。

【０２３２】５）直線を検出する際、注目パターンの細
線化パターンについて隣接投影を行うことで、直線部分
を確実に検出することができる。

【０２３３】６）直線の存在する矩形範囲内を直線に沿
って探索する際、探索の開始点を文字部分でなく枠部分
とするために、矩形内のパターンが一番細いところを開
始点とすることで、確実に探索を行うことが可能とな
る。

【０２３４】７）直線を探索する際、分岐点を記憶して
おき、探索が失敗した場合には記憶しておいた分岐点に
戻って再び探索を行うことによって、確実に直線の探索
を行うことができる。

【０２３５】８）矩形近似された線分を統合し、直線を
検出することで、長さが分からない場合でも直線の検出
を確実に行うことができる。

【０２３６】９）検出された直線の傾きを求めることに
より、枠の除去を行う際、枠の除去幅を変化させること
が可能となり、枠の消し残し及び消しすぎを防止するこ
とができる。

【０２３７】

【発明の効果】以上説明したように、請求項１記載の発
明によれば、枠もしくは罫線等の直線部分と文字、図形
もしくは記号とから構成される画像から、枠もしくは罫
線等の直線部分を確実に除去することができ、高品質の
文字、図形もしくは記号を抽出することができる。この
ため、文字認識装置等において、文字、図形、記号の認
識率を著しく向上させることができる。

【０２３８】請求項２１記載の発明によれば、頻度の多
い線幅の太い枠を高速に、かつ、正確に抽出できる。
又、枠に接触した文字、図形もしくは記号から、それら
の一部を削り取ることなく、枠だけを正確に分離するこ
とができ、文字、図形もしくは記号を高品位に復元する
ことができる。

【０２３９】請求項２２記載の発明によれば、線幅の細
い枠を高速に、かつ、正確に抽出できる。又、枠に接触
した文字、図形もしくは記号から、それらの一部を削り
取ることなく、枠だけを正確に分離することができ、文
字、図形もしくは記号を高品位に復元することができ
る。

【０２４０】請求項２５の発明によれば、例えば「国」
という漢字のように枠に相当する矩形部分を持つ文字の
一部を誤って枠として抽出することがなく、枠を安定し
て抽出することができる。

【０２４１】請求項２６の発明によれば、凹凸のある直
線をも確実に抽出することが可能となる。

【０２４２】請求項２７の発明によれば、傾きのあるブ
ロック枠であっても、文字枠を確実に、かつ、正確に抽
出することができる。

【図面の簡単な説明】

【図１】本発明になる画像抽出方式の第１実施例を示す
ブロック図である。

【図２】本発明になる画像抽出方式の第２実施例を示す
ブロック図である。

【図３】本発明になる画像抽出方式の第２実施例を示す
ブロック図である。

【図４】部分パターンの水平方向と垂直方向の投影を示
す図である。

【図５】枠の構成要素を示す図である。

【図６】直線検出部２２ｂの処理を説明するフローチャ
ートである。

【図７】４辺検出部２２ｃの処理を説明するフローチャ
ートである。

【図８】線幅の太い枠及び線幅の細い枠の一例を示す図
である。

【図９】第２実施例における枠探索の手法を示す図であ
る。

【図１０】水平方向のｎラインランレングスを求める処
理を示すフローチャートである。

【図１１】垂直方向のｎラインランレングスを求める処
理を示すフローチャートである。

【図１２】４辺検出部２２ｅの処理を説明するフローチ
ャートである。

【図１３】線幅の太い枠と線幅の細い枠の骨格線、外輪
郭等を示す図である。

【図１４】辺幅算出部２４ａで用いる座標系を示す図で
ある。

【図１５】交点算出部２５ａの処理を説明するフローチ
ャートである。

【図１６】交点の順序付け対応の一例を示す図である。

【図１７】順序付け対応部３１ａの処理を説明するフロ
ーチャートである。

【図１８】線幅算出部３１ｂの処理を説明するフローチ
ャートである。

【図１９】交点の一対多の対応付けの一例を示す図であ
る。

【図２０】距離対応部３１ｃの処理を説明するフローチ
ャートである。

【図２１】サイズ確認部３１ｆの処理を説明するフロー
チャートである。

【図２２】一対一の単純補完の一例を示す図である。

【図２３】単純補完部３２ａの処理を説明するフローチ
ャートである。

【図２４】交差点枠内補完の一例を示す図である。

【図２５】対応直線の交差点算出部３２ｂの処理を説明
するフローチャートである。

【図２６】再対応付けにおける補完例を示す図である。

【図２７】再対応付けにおける補完例を示す図である。

【図２８】対応付けが不可能な交点における補完例を示
す図である。

【図２９】再対応部３１ｅの処理を説明するフローチャ
ートである。

【図３０】交差点枠内補完部３２ｃの処理を説明するフ
ローチャートである。

【図３１】交差点枠外補完部３２ｄの処理を説明するフ
ローチャートである。

【図３２】直線補完部３２ｅの処理を説明するフローチ
ャートである。

【図３３】対応付けが不可能な交点に対する処理を説明
するフローチャートである。

【図３４】ラベリング部３３ａの処理を説明するフロー
チャートである。

【図３５】連結パターン統合部３４の処理を説明するフ
ローチャートである。

【図３６】第２実施例による文字線分の切り出し例を示
す図である。

【図３７】第２実施例による文字パターンの切り出し例
を示す図である。

【図３８】第２実施例により手書き文字から文字パター
ンを切り出した例を示す図である。

【図３９】誤った一対一の順序対応付けを説明する図で
ある。

【図４０】連結性の確認による誤った対応付けを説明す
る図である。

【図４１】本発明になる画像抽出方式の第３実施例を示
すブロック図である。

【図４２】第３実施例における交点の対応付けを説明す
る図である。

【図４３】優先順位テーブルの一実施例を示す図であ
る。

【図４４】優先順位により連続性を保持するような交点
の対応付けを説明する図である。

【図４５】優先順位テーブルの他の実施例を示す図であ
る。

【図４６】文字の種類がアルファベットの場合の文字の
切り出しを説明する図である。

【図４７】文字の種類がカタカナの場合の文字の切り出
しを説明する図である。

【図４８】文字の種類が数字、カタカナ又はひらがなの
場合の文字の切り出しを説明する図である。

【図４９】連結性仮対応部３１ｇの処理を説明するフロ
ーチャートである。

【図５０】交点間距離算出部３１ｈの処理を説明するフ
ローチャートである。

【図５１】優先順位展開部３１ｉの処理を説明するフロ
ーチャートである。

【図５２】連結性対応部３１ｊの処理を説明するフロー
チャートである。

【図５３】本発明になる画像抽出方式の第４実施例を示
すブロック図である。

【図５４】隣接投影法を説明する図である。

【図５５】隣接投影部４１ｂの処理を説明するフローチ
ャートである。

【図５６】矩形線分の検出を説明する図である。

【図５７】縦横線分検出部４１ｃの処理を説明するフロ
ーチャートである。

【図５８】探索の開始点を説明する図である。

【図５９】横線分探索部４１ｄの処理を説明するフロー
チャートである。

【図６０】矩形線分の連結及び直線の傾きを説明する図
である。

【図６１】線分統合部４２ａ，４２ｃの処理を説明する
フローチャートである。

【図６２】探索部４３ｂの処理を説明するフローチャー
トである。

【図６３】一文字枠への分離を説明する図である。

【図６４】枠の除去範囲を説明する図である。

【図６５】第４実施例による枠の抽出を説明する図であ
る。

【図６６】第４実施例による文字の切り出し及び補完を
説明する図である。

【図６７】従来例を示すブロック図である。

【図６８】従来技術により切り出した文字パターンの一
例を示す図である。

【図６９】従来技術により切り出された文字例を示す図
である。

【符号の説明】

１，２１ 連結パターン抽出部 ２ 線幅の太い直線抽出部 ３ 線幅の細い直線抽出部 ４ 枠抽出部 ５，２３ 連結パターン属性付加部 ６ 分離部 ７ 交点算出部 ８，３１ 交点対応付け部 ９ 補完部 １０，３３ 連結性確認部 １１，３４，３４ｃ 連結パターン統合部 ２２ 直線／枠抽出部 ２２ａ 投影部 ２２ｂ 直線検出部 ２２ｃ，２２ｅ ４辺検出部 ２２ｄ 追跡部 ２２ｆ 枠抽出部 ２４ 枠分離部 ２４ａ 辺幅算出部 ２４ｂ 枠除去部 ２４ｃ 枠雑音除去部 ２４ｄ 属性付加部 ２５ 文字／枠交点座標算出部 ３１ａ 順序対応部 ３１ｂ 線幅算出部 ３１ｃ 距離対応部 ３１ｄ 連続性対応部 ３１ｅ 再対応部 ３１ｆ サイズ確認部 ３１ｇ 連結性仮対応部 ３１ｈ 交点間距離算出部 ３１ｉ 優先順位展開部 ３１ｊ 連結性対応部 ３２ 枠内文字補完部 ３２ａ 単純補完部 ３２ｂ 対応直線交差点算出部 ３２ｃ 交差点枠内補完部 ３２ｄ 交差点枠外補完部 ３２ｅ 直線補完部 ３４ａ 連結パターン仮統合部 ３４ｂ サイズ確認部 ４０ 連結パターン抽出部 ４１ 線分検出部 ４２ 直線検出部 ４３ 枠検出部 ４４ 枠分離部 ３１０ 優先順位テーブル

Claims (38)

【特許請求の範囲】
1. 【請求項１】 枠もしくは罫線等の直線部分と文字、図
   形もしくは記号から構成される画像から、文字、図形、
   記号を抽出する画像抽出方式であって、 枠もしくは罫線等の直線部分と文字、図形もしくは記号
   とから構成される画像から画素と画素が繋がっている部
   分パターンを抽出する連結パターン抽出手段（１）と、 該連結パターン抽出手段（１）により抽出された部分パ
   ターンから、枠もしくは罫線等の直線部分を抽出する直
   線抽出手段（２，３，４）と、 該直線抽出手段（２，３，４，４１，４２，４３）の抽
   出結果に基づき、上記部分パターンを、文字、図形もし
   くは罫線等の直線部分だけのパターンと、文字、図形も
   しくは記号と枠もしくは罫線等の直線部分が接触したパ
   ターンとに分類する属性付加手段（５）と、 文字、図形もしくは記号と枠もしくは罫線等の直線部分
   が接触したパターンから枠もしくは罫線等の直線部分を
   分離する分離手段（６）とを有する画像抽出方式。
2. 【請求項２】 文字、図形もしくは記号と枠もしくは罫
   線等の直線部分が接触したパターンから、文字、図形も
   しくは記号と枠もしくは罫線等の直線部分との交点を算
   出する交点算出手段（７）と、 該交点算出手段（７）により算出された交点間を対応付
   ける交点対応付け手段（８）と、 該交点対応付け手段（８）により対応付けられた交点に
   基づき、枠もしくは罫線等の直線部分内の文字、図形も
   しくは記号の領域を求めて、求めた領域を補完する補完
   手段（９）とを更に有する請求項１の画像抽出方式。
3. 【請求項３】 抽出された文字、図形もしくは記号のパ
   ターンに対して、パターンの連結性の確認を行い、連結
   性が確認されたパターンをそのまま抽出すると共に、連
   結性が確認できないパターンを前記交点対応付け手段
   （８）へフィードバックする連結性確認手段（１０）を
   更に有し、 前記交点対応付け手段（８）は、該連結性確認手段（１
   ０）によりフィードバックされたパターンに対して、再
   び、前記交点算出手段（７）により算出された交点を用
   いて交点の対応付けをする再対応付けを行い、 前記補完手段（９）は、該交点対応付け手段（８）によ
   り再対応付けをされた交点に基づき、枠もしくは罫線等
   の直線部分内の文字、図形もしくは記号の領域を求め
   て、求めた領域を補完する請求項２の画像抽出方式。
4. 【請求項４】 前記連結性確認手段（１０）は、文字、
   図形もしくは記号と枠もしくは罫線等の直線部分が接触
   したパターンの候補だけに対してラベリングを行い、連
   結成分を求める請求項３の画像抽出方式。
5. 【請求項５】 前記連結性確認手段（１０）は、連結性
   が確認できないパターンのうち、前記交点対応付け手段
   （８）で再対応付けを行う交点を、交点間を結ぶ直線が
   枠もしくは罫線等の直線部分上にある場合に限定する請
   求項３の画像抽出方式。
6. 【請求項６】 前記交点対応付け手段（８）は、 文字、図形、記号を構成する線分と枠もしくは罫線等の
   直線部分との連続する交点の中から上記線分の両端点を
   抽出して交点の対応付け候補とする手段と、 枠もしくは罫線等の直線部分を構成する内側と外側の２
   つの輪郭の夫々での交点の候補の点の数を計算し、候補
   点の数が一致した場合に、順序通り候補点間を対応付け
   て、対応付けた候補間の距離を算出する手段と、 枠もしくは罫線等の直線部分の線幅を求めてその線幅の
   値を基に、候補点間の距離を調べて対応付けを確認する
   手段とを備えた請求項３の画像抽出方式。
7. 【請求項７】 前記交点対応付け手段（８）は、 文字、図形、記号を構成する線分と枠もしくは罫線等の
   直線部分との連続する交点の中から上記線分の両端点を
   抽出して交点の対応付け候補とする第１の手段と、 枠もしくは罫線等の直線部分を構成する内側と外側の２
   つの輪郭の夫々での交点の候補の点の数を計算する第２
   の手段と、 上記候補点の数が一致しなかった場合に、文字、図形も
   しくは記号を構成する各線分の２つの交点の候補の中点
   を算出すると共に、枠もしくは罫線等の直線部分を構成
   する内側と外側の２つの輪郭の夫々で算出した中点間の
   距離を算出する第３の手段と、 求めた中点間の距離が、枠もしくは罫線等の直線部分の
   線幅の値により定まる所定のしきい値以内であれば、そ
   の中点間、及び、中点を構成した交点の候補を対応付け
   る第４の手段と、 該第４の手段により対応付けられなかった交点の候補に
   ついて、その候補点での文字、図形もしくは記号を構成
   する線分の傾き、或は、枠もしくは罫線等の直線部分と
   垂直に交わる直線を求め、候補点における上記線分の傾
   きに基づき、既に対応付けた交点の候補も含めて、上記
   線分の連続性により候補点間を対応付ける第５の手段
   と、 該第４の手段により対応付けができなかった交点の候補
   について、既に対応付けた交点の候補も含めて候補点間
   の最小距離を算出して、その最小距離が所定のしきい値
   以下の場合に、その候補点間を対応付ける第６の手段と
   を備えた請求項３の画像抽出方式。
8. 【請求項８】 前記交点対応付け手段（８）は、対応付
   けてできるパターンをラベリングして矩形近似し、矩形
   近似されたパターンと文字、図形もしくは記号のサイ
   ズ、或は、枠サイズとの比を算出し、上記比が所定のし
   きい値を越える場合には、交点の対応付けをキャンセル
   する請求項１〜７のうちいずれか一項の画像抽出方式。
9. 【請求項９】 前記補完手段（９）は、 前記交点対応付け手段（８）で対応付けた交点間を結ぶ
   直線を求め、直線の内部だけを文字、図形もしくは記号
   の領域と判断する手段と、 対応付けられなかった文字、図形もしくは記号を構成す
   る一つの線分の交点における上記線分の輪郭線の傾きを
   求め、上記各交点を通り、求めた輪郭線の傾きを持つ２
   つの直線を引いて、その直線の交差点を求める手段と、 その交差点が枠もしくは罫線等の直線部分の内部にあれ
   ば、上記２直線で囲まれた範囲内だけを文字、図形もし
   くは記号の領域とする手段と、 その交差点が枠もしくは罫線等の直線部分の外側にあれ
   ば、上記２直線と枠もしくは罫線等の直線部分の上記交
   点と反対側の外輪郭線で囲まれた範囲を文字、図形もし
   くは記号の領域と判断する手段とを備えた請求項２〜８
   のうちいずれか一項の画像抽出方式。
10. 【請求項１０】 前記補完手段（９）は、枠もしくは罫
    線等の直線部分内の領域を、文字、図形、記号の線幅に
    相当する直線で補完する請求項２〜９のうちいずれか一
    項の画像抽出方式。
11. 【請求項１１】 抽出した枠の位置に基づき、部分パタ
    ーンの一部が枠の内部にあるか否かを判定し、内部にあ
    れば、それらの部分パターンを一つの文字、図形もしく
    は記号の構成要素として統合し、統合したパターンのサ
    イズを求めて、そのサイズと枠のサイズ比を求め、求め
    たサイズ比が所定のしきい値の範囲内にあるか否かを判
    定し、上記しきい値内であれば統合したパターンを採用
    し、上記しきい値外であれば、統合せずに元の部分パタ
    ーン毎抽出する連結パターン統合手段（１１）を更に有
    する請求項１〜１０のうちいずれか一項の画像抽出方
    式。
12. 【請求項１２】 前記交点対応付け手段（８）は、交点
    が一対一に対応付けられた文字、図形、記号を構成する
    線分について、枠もしくは罫線等の直線部分を構成する
    内側と外側の２つの輪郭の夫々における交点候補間の距
    離を算出し、算出した距離の平均値を求めることによ
    り、文字、図形記号を構成する線分の平均線幅を算出す
    る手段を備えた請求項２〜１０のうちいずれか一項の画
    像抽出方式。
13. 【請求項１３】 前記分離手段（６）は、枠もしくは罫
    線等の直線部分と文字、図形もしくは記号が接触したパ
    ターンから枠もしくは罫線等の直線部分を分離したパタ
    ーンに対して、ラベリングにより連結成分を求め、各連
    結成分の面積に基づき、枠もしくは罫線等の直線部分の
    一部として残った雑音を除去する手段を備えた請求項１
    〜１０のうちいずれか一項の画像抽出方式。
14. 【請求項１４】 前記交点対応付け手段（８）は、 交点間を文字線分間の距離及び傾きの連続性により対応
    付ける手段と、 文字線分の線幅に応じて距離や連続性の判定基準を適応
    的に変化させる手段とを備えた請求項２の画像抽出方
    式。
15. 【請求項１５】 前記交点対応付け手段（８）は、 連結性が確認できない文字パターン或はその一部に対
    し、前記交点算出手段（７）で算出された交点を用い
    て、少なくとも異なるラベルの交点間の距離に応じて設
    定された優先順位に従って連結性が保たれるような交点
    の対応付けを行う手段を備えた請求項２の画像抽出方
    式。
16. 【請求項１６】 前記優先順位は、交点の対応条件をテ
    ーブルの形式に予め設定されている請求項１５の画像抽
    出方式。
17. 【請求項１７】 前記交点対応付け手段（８）は、 連結性が確認できない文字パターン或はその一部に対
    し、前記交点算出手段（７）で算出された交点を用い
    て、所定の優先順位に従って連結性が保たれるような交
    点の対応付けを行う手段を備えた請求項２の画像抽出方
    式。
18. 【請求項１８】 前記優先順位は、交点の対応条件を文
    字の種類に応じてテーブルの形式に予め設定されている
    請求項１７の画像抽出方式。
19. 【請求項１９】 前記直線抽出手段（４１，４２，４
    ３）は、 前記連結パターン抽出手段（１）により抽出された部分
    パターンのうち、一文字ずつ枠で仕切られているブロッ
    ク枠に対し、各部分パターンから直線部分を抽出する第
    １の手段と、 該第１の手段により抽出された直線部分が枠であるか否
    かを判断する第２の手段とを備えた請求項１の画像抽出
    方式。
20. 【請求項２０】 前記第２の手段は、前記第１の手段に
    より抽出された直線部分がその直線部分と垂直、かつ、
    部分パターンの中で最外郭である直線部分に達している
    か否かに応じて、その直線部分が枠の候補であるか否か
    を判断する請求項１９の画像抽出方式。
21. 【請求項２１】 矩形で各矩形が分離した枠と文字、図
    形もしくは記号とから構成される画像から、枠を抽出す
    る画像抽出方式において、 画像を構成するパターンから画素と画素が繋がっている
    部分パターンを抽出する連結パターン抽出手段（２１）
    と、 抽出された各部分パターン毎に垂直方向と水平方向の投
    影を求める手段（２２ａ）と、 部分パターンを矩形で近似し、垂直方向の投影値と近似
    された矩形の垂直方向の長さと、水平方向の投影値と近
    似された矩形の水平方向の長さの夫々の比を求め、その
    比より枠を構成する直線の候補を求める手段（２２ｂ）
    と、 上記直線の候補間の距離を算出し、枠を構成する最外郭
    の直線を抽出すると共に、上記最外郭の直線に隣接する
    直線の候補を求め、枠の各辺の線幅を算出する手段（２
    ２ｃ，２２ｅ）と、 各辺の最外郭の直線の位置と、その線幅より枠を分離す
    る手段（２２ｆ）とを有する画像抽出方式。
22. 【請求項２２】 矩形で各矩形が分離した枠と文字、図
    形もしくは記号とから構成される画像から、枠を抽出す
    る画像抽出方式において、 画像を構成するパターンから画素と画素が繋がっている
    部分パターンを抽出する連結パターン抽出手段（２１）
    と、 部分パターンを矩形で近似し、近似された矩形を構成す
    る直線の両端、及び、中点等の複数の点から矩形内部に
    垂線を下ろして部分パターンと接触した位置を開始点と
    して抽出し、抽出された開始点より、左右もしくは上下
    に部分パターンに沿って探索する手段（２２ａ，２２
    ｂ，２２ｃ，２２ｄ）と、 探索によって得られた直線の長さと、上記近似矩形の各
    辺の長さの比を算出し、その比より枠を構成する直線の
    候補を求める手段（２２ｅ）と、 上記直線の候補間の距離を算出し、枠を構成する最外郭
    の直線を抽出すると共に、上記最外郭の直線に隣接する
    直線の候補を求め、枠の各辺の線幅を算出する手段（２
    ２ｄ）と、 各辺の最外郭の直線の位置と、その線幅より枠を分離す
    る手段（２２ｆ）とを有する画像抽出方式。
23. 【請求項２３】 抽出された枠を全画像にわたってスキ
    ャンして、前記連結パターン抽出手段（２１）により抽
    出された部分パターンとのマッチングを行い、新に枠を
    抽出する手段を更に有する請求項２２又は２３の画像抽
    出方式。
24. 【請求項２４】 前記連結パターン抽出手段（２１）に
    より抽出された部分パターンを矩形近似し、近似された
    矩形と抽出された枠とのサイズ比を算出する手段と、 算出したサイズ比が所定のしきい値内の部分パターンだ
    けに絞り込んで、抽出済の枠とのマッチングを行って、
    新に枠を抽出する手段とを更に有する請求項２３の画像
    抽出方式。
25. 【請求項２５】 矩形で各矩形が分離した枠と文字、図
    形もしくは記号とから構成される画像から、枠を抽出す
    る画像抽出方式において、 画像を構成するパターンから画素と画素が繋がっている
    部分パターンを抽出する連結パターン抽出手段（２１）
    と、 該連結パターン抽出手段（２１）により抽出された部分
    パターンから枠を抽出する枠抽出手段（２，３，４）
    と、 該枠抽出手段（２，３，４）の抽出結果に基づき、上記
    部分パターンを、文字、図形もしくは記号だけからなる
    パターンと、枠だけのパターンと、文字、図形もしくは
    記号と枠が接触したパターンとに分類する属性付加手段
    （５）と、 抽出された枠のサイズ分だけ、左右、もしくは、上下の
    範囲内に存在する部分パターンを抽出し、抽出した全て
    の部分パターンが該属性付加手段（５）において、文
    字、図形もしくは記号だけからなるパターンと判定され
    ている場合に、上記抽出された枠を文字、図形もしくは
    記号だけからなるパターンと判定し直す手段とを有する
    画像抽出方式。
26. 【請求項２６】 枠もしくは罫線等の直線部分と文字、
    図形もしくは記号とから構成される画像から、傾きを持
    ったり、雑音を含んだ枠もしくは罫線等の直線部分を抽
    出する画像抽出方式において、 開始点の座標から傾きを考慮した垂直もしくは水平区間
    を定め、その区間内で４連結或は８連結で繋がれたパタ
    ーンを水平もしくは垂直に追跡して追跡できたパターン
    の連続画素数を直線の長さとして換算する手段（２２
    ｄ）と、 追跡してできたパターンをその連続画素数分の長さを持
    つ直線部分として抽出する手段（２２ｆ）とを有する画
    像抽出方式。
27. 【請求項２７】 一文字ずつ枠で仕切られているブロッ
    ク枠と、文字、図形もしくは記号とから構成される画像
    から画素と画素が繋がっている部分パターンを抽出する
    連結パターン抽出手段（４０）と、 該連結パターン抽出手段（４０）により抽出された部分
    パターンから直線を検出する直線抽出手段（４１，４
    ２）と、 該直線抽出手段（４１，４２）により検出された直線か
    ら枠を構成する直線を検出する枠検出手段（４３）と、 該枠検出手段（４３）により検出された直線を部分パタ
    ーンから分離することにより文字、図形もしくは記号を
    切り出す枠分離手段（４４）とを有し、 該枠検出手段（４３）は、部分パターン中の直線がその
    直線と垂直、かつ、部分パターンの中で最外郭である直
    線に達しているか否かによりその直線が枠を構成する直
    線の候補であるか否かを判断する第１の手段と、該第１
    の手段により得られた枠を構成する直線の候補同士の間
    隔に応じて枠を構成する直線を決定する第２の手段とを
    備えた画像抽出方式。
28. 【請求項２８】 前記枠検出手段（４３）の前記第２の
    手段は、枠を構成する直線同士の間隔の出現頻度を示す
    ヒストグラムを作成し、そのヒストグラムのピークから
    所定の値以上離れた間隔を形成する直線を候補から除外
    することにより枠を構成する直線を決定する請求項２７
    の画像抽出方式。
29. 【請求項２９】 前記枠分離手段（４４）は、 前記枠検出手段（４３）により検出された枠の交点を算
    出する手段と、 算出された交点を用いてブロック枠を一文字毎の範囲に
    分離する手段と、 分離された一文字毎の範囲の投影を得る手段と、 得られた投影から枠を構成する直線を検出する手段と、 各文字枠を探索して文字枠の位置を求める手段と、 探索された文字枠の各辺の線幅を算出する手段と、 算出された各辺の線幅に基づいての文字枠を一つずつ除
    去する手段と、 文字枠が除去されることによって欠けてしまった文字部
    分を補完する手段とを備えた請求項２７又は２８の画像
    抽出方式。
30. 【請求項３０】 前記直線抽出手段（４１，４２）は、 前記連結パターン抽出手段（４０）により抽出された部
    分パターンから、一定長さの線分或は直線の一部を矩形
    近似により検出する線分検出手段（４１）と、 該線分検出手段（４１）により検出さあれた矩形線分を
    統合して所定長さ以上の直線を検出する直線検出手段
    （４２）とを備えた請求項２７〜２９のうちいずれか一
    項の画像抽出方式。
31. 【請求項３１】 前記線分検出手段（４１）は、ある行
    又は列の投影値にその周囲の行又は列の投影値を加えた
    値を上記ある行又は列の投影値とすると共に、画像の傾
    きが予めわかっている場合はその傾きの大きさによって
    加える行又は列の数を決定する隣接投影法を用いる請求
    項３０の画像抽出方式。
32. 【請求項３２】 前記線分検出手段（４１）は、部分パ
    ターンを細線化して得たパターンを隣接投影することに
    より隣接投影値を得、前記直線検出手段（４２）は、隣
    接投影値と矩形近似した部分パターンの大きさとの比に
    応じて矩形近似された直線を検出する請求項３１の画像
    抽出方式。
33. 【請求項３３】 前記線分検出手段（４１）は、部分パ
    ターンを縦、横複数に分割し、縦、横夫々の分割範囲内
    で隣接投影を行うことで、直線を分割して複数の矩形近
    似された直線を抽出する手段を備えた請求項３０〜３２
    のうちいずれか一項の画像抽出方式。
34. 【請求項３４】 前記直線検出手段（４２）は、前記線
    分検出手段（４１）により抽出された矩形内のパターン
    を探索し、そのパターンの連結状態によって矩形内に直
    線が存在するか否かを確認すると共に、矩形内のパター
    ンが一番細いところを探索の開始点とする請求項３０〜
    ３３のうちいずれか一項の画像抽出方式。
35. 【請求項３５】 前記直線検出手段（４２）は、 前記線分検出手段（４１）により抽出された矩形内のパ
    ターンを探索し、そのパターンの連結状態によって矩形
    内に直線が存在するか否かを確認する手段と、 注目位置に対して探索方向に垂直なパターンへの繋がり
    を調べることで分岐点があればその分岐点を記憶し、探
    索が失敗した場合に記憶した分岐点に戻って再び探索を
    行う手段とを備えた請求項３０〜３３のうちいずれか一
    項の画像抽出方式。
36. 【請求項３６】 前記直線検出手段（４２）は、前記線
    分検出手段（４１）で抽出した矩形同士が重なっている
    か、或は、垂直方向の隣接投影の際加える行又は列の数
    より離れている場合は、それらを連結することにより直
    線を検出する請求項３１の画像抽出方式。
37. 【請求項３７】 前記直線検出手段（４２）は、連結さ
    れた矩形範囲の両端又は中点等の複数の点を結ぶ直線の
    傾きにより連結された直線の傾きを算出する手段を備え
    た請求項３０〜３６のうちいずれか一項の画像抽出方
    式。
38. 【請求項３８】 前記枠分離手段（４４）は、 前記枠検出手段（４３）により検出された枠の交点を算
    出する手段と、 算出された交点を用いてブロック枠を一文字毎の範囲に
    分離する手段と、 分離された一文字毎の範囲の投影を得る手段と、 得られた投影から枠を構成する直線を検出する手段と、 各文字枠を探索して文字枠の位置を求める手段と、 探索された文字枠の各辺の線幅を算出する手段と、 算出された各辺の線幅に基づいての文字枠を一つずつ除
    去する手段と、 文字枠が除去されることによって欠けてしまった文字部
    分を補完する手段とを備え、 該線幅を算出する手段は、前記直線検出手段（４２）に
    おいて算出された直線の傾きの大きさに従って線幅を変
    化させる請求項３７の画像抽出方式。