JP3058489B2 - 文字列抽出方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像から文字を認識す
る方法に関し、特に、入力画像から個別の文字領域およ
び文字列を抽出するための方法に関する。

【０００２】

【従来の技術】従来の文字抽出方法において、スキャナ
などの手段を用いて入力された画像（以下「原画像」と
称する）から、以下のように文字を取出している。ま
ず、原画像における水平方向または鉛直方向のうち、実
際の文字列の進む方向により近い方向（以下「文字列方
向」と呼ぶ）に、画像の黒点の累積をとる。黒点とは、
文字領域を構成する点のことである。そして、累積値の
小さな部分を文字列と文字列との間の空白部分として、
また累積値の大きな部分を文字列の存在する領域として
文字列の位置を決定する。このようにして得られた文字
列を分割することにより、文字を取出す。

【０００３】しかし、このような手法では、原画像の文
字列の傾きが大きい場合、黒点の累積値の大小の差が水
平方向と鉛直方向とであまり大きくならない。そのため
文字列を正確に抽出することは容易ではなく、個別の文
字を正確に取出すことも困難である。

【０００４】これに対し、個々の文字を構成すると見ら
れる文字の要素領域（以下「文字要素」と呼ぶ）を予め
抽出し、それらを統合することによって文字または文字
列を抽出する方法が考えられる。この方法においては、
文字を抽出する前段階として、個々の文字を構成すると
見られる文字要素を予め抽出する必要がある。

【０００５】文字要素として、黒点の連結領域を用いる
例が見られる。連結領域とは、画像の黒点の集合からな
る領域であって、その領域内のいかなる２点も、その領
域内のみを通る曲線によって接続され得るような黒点の
集合の領域をいう。このような場合、従来は連結領域を
画像から抽出してから、それに外接する長方形の座標を
求め、それによって文字要素を検出してきた。このよう
な従来の方法によれば、処理の途中において、画像中の
各黒点が、どの連結領域に属するかという情報を保持し
ておく必要がある。そのため、このような方法を用いる
と大容量のメモリが必要とされた。この処理を行なうた
めの専用のハードウェアも存在しているが、全体のシス
テムとしては高価なものになってしまう。

【０００６】また、このような手法では、文字要素の統
合が不十分であれば、単一の文字または文字列が分離さ
れてしまい、また統合が過剰であれば、異なる文字また
は文字列が単一の文字または文字列に誤って統合されて
しまうおそれがある。そのため最適な統合を行なうこと
は容易ではない。

【０００７】

【発明が解決しようとする課題】それゆえにこの発明の
目的は、原画像の傾きによる影響を可能な限り小さく
し、かつ安定した処理結果を得ることができる文字列抽
出方法を提供することである。

【０００８】

【課題を解決するための手段】請求項１に記載の文字列
抽出方法は、画像を読取り、連続する複数本のデジタル
走査線信号に変換するステップと、順次与えられる前記
デジタル走査線信号を順次分析し、先行する第１のデジ
タル走査線信号より以前の前記デジタル走査線信号によ
り表現される連結領域に外接する、外接枠の形状を特定
するための外接枠情報を得て、前記外接枠情報を保持す
るステップと、第１のデジタル走査線信号の直後に後続
する第２のデジタル走査線信号に含まれる連結線分領域
を検出し、前記連結線分領域と連結関係にある前記連結
領域の前記外接枠情報を更新するとともに、前記連結線
分領域のいずれとも連結関係にない前記連結領域の存在
を検出するたびに、その前記外接枠情報を逐次出力する
ステップと、前記画像の終了を検出して、保持されてい
る残りの前記外接枠情報を出力するステップと、任意の
２つの前記外接枠情報の間に、予め定める同値関係が成
立するか否かを調べることにより、各前記外接枠情報に
内接する前記連結領域を同値類に分類するステップと、
同一の同値類に属する前記連結領域を１つの文字列の構
成要素として抽出するステップとを含み、前記分類する
ステップは、前記連結領域に対応した要素を含む配列を
準備し、各前記要素に互いに異なる値を記憶させるステ
ップと、二つの前記要素の組合わせの全てに対して、前
記二つの要素に対応の前記連結領域が文字列方向と垂直
方向とで異なる基準で定義された互いに近いという関係
を満足するか否かを前記外接枠情報に基づいて判定し、
前記関係が満足されたときには所定の規則にしたがって
前記二つの要素の値が等しくなるように更新する処理を
繰り返すステップと、前記更新が全て終了したことに応
答して、その時点での対応の前記要素の値に基づいて、
前記連結領域を同値類に分類するステップとを含む。

【０００９】請求項２に記載の文字列抽出方法は、画像
から文字要素を抽出するステップと、抽出された各前記
文字要素に外接する、外接枠の形状を特定するための外
接枠情報の間に、予め定める同値関係が成立するか否か
を調べることにより前記文字要素を同値類に分類するス
テップと、同一の同値類に属する前記文字要素を１つの
文字列の構成要素として抽出するステップとを含み、前
記分類するステップは、前記文字要素に対応した要素を
含む配列を準備し、各前記要素に互いに異なる値を記憶
させるステップと、二つの前記要素の組合わせの全てに
対して、前記二つの要素に対応の前記文字要素が文字列
方向と垂直方向とで異なる基準で定義された互いに近い
という関係を満足するか否かを前記外接枠情報に基づい
て判定し、前記関係が満足されたときには所定の規則に
したがって前記二つの要素の値が等しくなるように更新
する処理を繰り返すステップと、前記更新が全て終了し
たことに応答して、その時点での対応の前記要素の値に
基づいて、前記文字要素を同値類に分類するステップと
を含む。

【００１０】

【００１１】

【作用】請求項１に記載の文字列抽出方法によれば、連
結領域の外接枠情報を得るためには、隣接する２つのデ
ジタル走査線信号の間で、連結線分領域の連結関係を調
べれば十分である。すべての画像について、各画素の属
する連結領域の情報を保持する必要がない。また、この
ようにして得られた外接枠情報を、数学的に同値類分解
と呼ばれる手法でコンピュータの配列処理を利用して分
類して各文字列の構成要素を抽出する。予め定める同値
関係が成立するか否かは、原画像の傾きからの影響をそ
れほど受けずに定められる。原画像が傾いていたとして
も、この同値関係により同値類に分類する手法によれ
ば、同一の行に存在する連結領域は同じ同値類に分類さ
れ、異なる行に属する連結領域は異なる同値類に分類さ
れる。また、各文字要素の間で同値関係を調べるため、
その結果は処理順序に依存しない。

【００１２】請求項２に記載の文字列抽出方法において
は、抽出された文字要素の間に同値関係が成立するか否
かを調べることにより、文字要素が同値類分解と呼ばれ
る手法によってコンピュータの配列処理を利用して分類
され各文字列の構成要素として抽出される。同値関係
は、原画像の傾きに関係なくその成否を調べることがで
きる。原画像が傾いていたとしても、この同値関係によ
り同値類に分類する手法によれば、同一の行に存在する
文字要素は同じ同値類に分類され、異なる行に属する文
字要素は異なる同値類に分類される。また、同値類分解
による処理結果は、処理順序に依存しない。

【００１３】

【００１４】

【実施例】図１３は、本発明を実施するための文字認識
装置のブロック図である。図１３を参照して、この文字
認識装置は、画像を走査して連続する複数本のデジタル
走査線信号に変換するための画像入力部１と、画像入力
部１により入力された画像から文字要素を抽出するため
の文字要素抽出部２と、抽出された各文字要素を分析
し、文字列を抽出するための文字列抽出部３と、抽出さ
れた文字列を個別の文字に分離することにより個別の文
字を抽出するための個別文字抽出部４と、予め用意され
た文字標準パターン８と、抽出された個別文字と文字標
準パターン８とをマッチングすることにより、入力され
た画像に含まれる個別の文字を認識するための文字マッ
チング部５と、文字マッチングにより得られた文字の認
識結果に対し、必要な修正や整形を加えるための認識結
果後処理部６と、後処理がされた認識結果を、使用者が
可読な形に変換して出力するための最終結果出力部７と
を含む。

【００１５】この文字認識装置は、コンピュータにより
実現される。そして、画像入力部１はスキャナにより、
最終結果出力部７はディスプレイにより、文字要素抽出
部２と文字列抽出部３と個別文字抽出部４と文字マッチ
ング部５と文字標準パターン８と認識結果後処理部６と
はすべて中央処理装置で実行されるプログラムにより実
現される。

【００１６】図１４を参照して、文字要素抽出部２は、
画像入力部１から入力される少なくとも１ライン分の画
像を記憶するための画像メモリ２１と、画像メモリ２１
に記憶された現在処理中のライン上の連結領域を検出
し、現ライン上の連結領域に関する情報を出力するため
の現ライン連結領域抽出部２２と、現ライン連結領域抽
出部２２により抽出された情報を格納し、次のラインに
対する処理のために一時記憶しておくための前ライン連
結領域メモリ２４と、現ライン連結領域抽出部２２によ
り抽出された現ライン上の連結領域に関する情報と、前
ライン連結領域メモリ２４に格納された１行前のライン
上の連結領域に関する情報に基づき、前ラインと現ライ
ンとの間の連結領域の連結関係をチェックし、互いに連
結関係にある、ライン上の連結領域に外接する長方形を
統合する処理を行なうための、連結関係チェック部２３
と、連結関係チェック部２３によって検出された、画像
上の連結領域に外接する長方形を特定するための座標を
記憶するとともに、処理途中で、それ以上他の領域と連
結することがないと判断された連結領域を表わす情報を
文字要素として出力するための外接長方形座標メモリ２
５とを含む。

【００１７】文字列抽出部３は、外接長方形座標メモリ
２５から与えられる文字要素の情報を順次記憶するため
の文字要素メモリ３１と、文字要素メモリ３１に記憶さ
れた文字要素の数と等しい数の要素を有する整数配列を
準備可能なラベルメモリ３５と、文字要素メモリ３１に
格納された文字要素の数に応じて、ラベルメモリ３５内
の整数配列｛Ｓｎ｝の値を初期化するためのラベル初期
化部３３と、文字要素メモリ３１に格納された文字要素
情報の任意の２つの組合せを取出し、各文字要素間に予
め定める同値関係が成り立つか否かを検査するための同
値関係検査部３２と、同値関係検査部３２によって同値
関係が成り立つと判断された文字要素間について、ラベ
ルメモリ３５に格納された、各文字要素に対応するラベ
ルの値を予め定める方法に従って更新するためのラベル
更新部３６と、文字要素メモリ３１に格納された文字要
素のすべての対に対して、同値関係検査が行なわれた
後、ラベルメモリ３５内において同じ値のラベルを有す
るような文字要素を同じ文字列に属する文字要素と判断
して文字要素メモリ３１から抽出するための同値ラベル
文字要素抽出部３４とを含む。

【００１８】図１３〜図１５に示される装置は原理的に
以下のように動作する。画像入力部１は、入力される画
像をスキャンし、複数本の走査線からなる画像信号に変
換して画像メモリ２１に順次与える。画像メモリ２１は
入力される画像信号のうち少なくとも１走査線分の信号
を順次格納する。現ライン連結領域抽出部２２は、画像
メモリ２１に格納された１ラインの画像データに基づ
き、処理中のライン上の連結領域を抽出し、抽出された
連結領域を表わす情報を連結関係チェック部２３と前ラ
イン連結領域メモリ２４とに与える。前ライン連結領域
メモリ２４には、１ライン前の連結領域を表わす情報が
格納されている。

【００１９】連結関係チェック部２３は、現ライン連結
領域抽出部２２から与えられる現ライン上の連結領域を
表わす情報と、前ライン連結領域メモリ２４に格納され
ている１ライン前の連結領域を表わす情報とに基づき、
現ラインと前ラインとに含まれる連結領域の間に連結関
係があるか否かをチェックする。チェックの結果連結関
係があると判断された場合には、外接長方形座標メモリ
２５に格納されている、前ラインの連結領域に外接する
長方形の座標に所定の処理を施し、現ライン連結領域を
前ラインまでの連結領域と統合する。この統合処理の詳
細については後述する。処理の途中で、外接長方形座標
メモリ２５に格納されている、前ラインまでの連結領域
のうち現ライン上の連結領域のいずれとも連結関係にな
いものについては、外接長方形座標メモリ２５はこれを
１つの文字要素としてその情報を文字要素装置３１に与
える。すべての画像に対する読込と以上の処理が終了し
たときには、外接長方形座標メモリ２５は、その時点で
格納されている残りの外接長方形座標を文字要素情報と
して出力する。

【００２０】文字要素メモリ３１は、外接長方形座標メ
モリ２５から与えられる文字要素情報を順次記憶する。
ラベル初期化部３３は、文字列抽出処理に先立って、ラ
ベルメモリ３５に準備された整数配列の値を、後述する
ような方法で初期化する。同値関係検査部３２は、文字
要素メモリ３１に格納された文字要素のすべての対につ
いて、各文字要素間に予め定める同値関係が成立するか
否かを調べる。同値関係が成立した場合には、ラベル更
新部３６は、互いに同値関係にある文字要素に対応して
準備された、ラベルメモリ３５内のラベルの値を、所定
の方法によって書換える。この方法については後に詳述
する。

【００２１】文字要素メモリ３１に格納された文字要素
のすべての対について、互いの間に同値関係が成立する
か否かの判断が終わった後、同値ラベル文字要素抽出部
３４は、ラベルメモリ３５に格納された各ラベルのう
ち、同一の値を有するラベルに対応する文字要素を、同
一の文字列に属する文字要素であると判断し、文字要素
メモリ３１から対応する文字要素を抽出し個別文字抽出
部４に与える。

【００２２】個別文字抽出部４は、与えられた文字列領
域を適宜分割して個々の文字を取出し、文字マッチング
部５に与える。文字マッチング部５は、文字標準パター
ン８に予め準備されている標準パターンと、処理対象と
なる文字との間の類似関係をマッチングによりチェック
し、最も類似度の高い標準パターンを、入力された文字
として認識する。認識結果後処理部６は、認識された結
果に対し、必要な修正や成形を加えて最終結果出力部７
に与える。最終結果出力部７は、認識された文字を使用
者に可読な形で出力する。

【００２３】本発明にかかる文字列抽出方法は文字列抽
出部３により、文字領域検出方法は文字要素抽出部２に
よりそれぞれ行なわれる。

【００２４】文字要素抽出部２、文字列抽出部３は前述
のようにそれぞれコンピュータプログラムによって実現
される。図１は文字列抽出方法を実現するためのプログ
ラムのフローチャートである。図２は、図１に示される
プログラムのうち、画像中の文字要素を取出すための処
理のフローチャートである。

【００２５】図１を参照して、ステップＳ１において、
原画像の原稿スキャンが行なわれる。制御はステップＳ
２に進む。

【００２６】ステップＳ２においては、入力された原画
像中の文字要素を取出す処理が行なわれる。この処理
は、図２に示されるようなプログラムにより実現され
る。

【００２７】図２を参照して、画像中の文字要素を取出
す処理のためのプログラムは、以下のような制御の構造
を有する。以下の説明において、入力画像は横ｍピクセ
ル、縦ｎピクセルからなる長方形の画像であるものとす
る。横方向にｘ軸、縦方向にｙ軸をとる。以下、この画
像中に認識される、１対の辺がｘ軸に、他の１対の辺が
ｙ軸に平行な長方形の座標を、（最小のｘ座標、最小の
ｙ座標）、（最大のｘ座標、最大のｙ座標）の２点の組
で表わす。以下、この座標をそれぞれ（ｓｘ、ｓｙ）、
（ｅｘ、ｅｙ）と書くものとする。この場合各座標は、
１ピクセルのｘ軸方向およびｙ軸方向の各辺の長さを１
としてとったものとする。

【００２８】上述の画像中において、２点（０、ｉ）
（ｍ−１、ｉ）を結ぶ、ｘ軸に平行な１ピクセル幅の直
線を考える。この直線をラインｉと呼ぶことにする。

【００２９】ラインｉ上の連結領域を、ラインｉに含ま
れる隣あった黒点を結んだものと定義する。特許請求の
範囲においては、ラインｉ上の連結領域を「連結線分領
域」と表現している。また、以下の説明において画像中
の連結領域とは、前述のように画像に含まれる黒点の集
合からなる領域であって、領域に含まれるいかなる２つ
の黒点も、その領域に含まれる他の黒点をたどっていく
ことにより互いに接続されるような領域をいうものと規
約する。

【００３０】（１） 図２を参照して、ステップＳ１１
において、画像のライン０上の各連結領域（ＣＬ_{0 j} と
する）を抽出する。ライン０上の連結領域ＣＬ_{0 j} に外
接し、１対の辺がｘ軸に、他の１対の辺がｙ軸に平行な
長方形を、連結領域ＣＬ_{0 j} が属する長方形とし、その
座標を所定の記憶領域に記憶する。すなわち、 ｓｘ＝ＣＬ_{0 j} の始点ｘ座標 ｅｘ＝ＣＬ_{o j} の終点ｘ座標 ｓｙ＝ＣＬ_{o j} の始点ｙ座標（＝０） ｅｙ＝ＣＬ_{0 j} の終点ｙ座標（＝０） とする。制御はステップＳ１２に進む。

【００３１】（２） ステップＳ１２において、以下の
繰返しを制御するための変数ｉに初期値「１」がセット
される。制御はＳ１３に進む。

【００３２】以下、ステップＳ１３〜Ｓ１７の処理が、
１≦ｉ≦ｎ−１となるｉについて順次行なわれる。

【００３３】（３） ステップＳ１３において、ライン
ｉ上の各連結領域（ＣＬ_{i j} とする）を抽出する。そし
てこの連結領域ＣＬ_{i j} を、連結領域ＣＬ_{i j} が属する
長方形とする。すなわち、この長方形を特定するための
座標は以下のようになる。

【００３４】ｓｘ＝ＣＬ_{i j} の始点ｘ座標 ｅｘ＝ＣＬ_{i j} の終点ｘ座標 ｓｙ＝ＣＬ_{i j} の始点ｙ座標（＝ｉ） ｅｙ＝ＣＬ_{i j} の終点ｙ座標（＝ｉ） 制御はステップＳ１４に進む。

【００３５】（４） ライン（ｉ−１）上の連結領域と
ラインｉ上の連結領域とについて、互いの連結関係を検
査する。連結関係が成立するか否かの判断は以下のよう
にして行なわれる。ライン（ｉ−１）上の連結領域ＣＬ
０の始点、終点の座標をそれぞれ（ｘ００，ｉ−１）、
（ｘ０１，ｉ−１）、ラインｉ上の連結領域ＣＬ１の始
点、終点の座標をそれぞれ（ｘ１０，ｉ）、（ｘ１１，
ｉ）とする。この場合、以下の関係が成り立つ場合に連
結領域ＣＬ０とＣＬ１とが連結であると判断すればよ
い。

【００３６】ｘ００≦ｘ１１かつｘ１０≦ｘ０１ ただし、上述の式は、１つの画素と連結関係になること
ができる画素が、その画素の上下および左右の画素のみ
に限られる、いわゆる「４連結」の場合に適用すべき式
である。もしも１つの画素に斜めに隣接する画素もこの
画素と連結になれるものとする、いわゆる「８連結」の
場合には、以下の式による必要がある。

【００３７】 ｘ００≦ｘ１１＋１かつｘ１０≦ｘ０１＋１ 要するに、一方のライン上の連結領域の始点のｘ座標
が、もう一方のライン上の連係領域の終点のｘ座標より
も大きくならないという条件が成り立てばよい。この条
件が成り立てば２つの連結領域が互いに連結関係にあ
り、この条件が成り立たない場合にはこれらは連結関係
にはないと判断される。検査の結果互いに連結なライン
（ｉ−１）、ラインｉ上の連結領域がある場合について
は、その属する長方形を統合する。複数の長方形を統合
する処理とは、以下のようにして新たな長方形の形状を
特定するための座標を定める処理をいう。

【００３８】ｓｘ＝ｍｉｎ｛統合する長方形のｓｘ｝ ｓｙ＝ｍｉｎ｛統合する長方形のｓｙ｝ ｅｘ＝ｍａｘ｛統合する長方形のｅｘ｝ ｅｙ＝ｍａｘ｛統合する長方形のｅｙ｝ 上述のように定められる座標を有する（ｓｘ、ｓｙ）、
（ｅｘ、ｅｙ）により特定される長方形Ｒをもって、統
合された長方形とする。そして、これらの連結領域はこ
のようにして得られた共通の長方形Ｒに属するものとす
る。制御はステップＳ１５に進む。

【００３９】（５） ステップＳ１５において、ライン
（ｉ−１）上の各連結領域が属する長方形であって、か
つステップＳ１４の処理の前後を通じて変化しなかった
ものを検出する。このような長方形が存在する場合、こ
の長方形が外接する画像中の連結領域は、ラインｉで途
切れていることになる。これ以降の処理でこの連結領域
に連結される他のライン上の連結領域は出現し得ない。
したがってこの長方形を特定するための座標は以降の処
理で変化することはない。そのためこの座標を最終結果
として出力することができる。出力時に、この連結領域
のｙ方向の境界座標ｅｙに値ｉ−１を代入してもよい。
仮に現在処理中のラインｉに黒点が１つも存在しないと
きには、ライン（ｉ−1 ）上の各連結領域が属する長方
形はすべて上述の条件に該当し、その座標を出力するこ
とができる。そしてそれ以降、連結領域に外接する長方
形を求めるための処理において、これら長方形を特定す
るための座標を記憶しておく必要はまったくない。制御
はステップＳ１６に進む。

【００４０】ステップＳ１６において、変数ｉの内容が
１インクリメントされる。制御はステップＳ１７に進
む。

【００４１】ステップＳ１７において、変数ｉの値が、
縦方向のピクセル数（総ライン数）ｎと等しいか否かの
判断が行なわれる。判断の答がＹＥＳであれば制御はス
テップＳ１８に進むが、それ以外の場合には制御はＳ１
３に進む。そして、前述のように（３）〜（５）の処理
が該当する変数ｉについて繰返される。

【００４２】（６） ステップＳ１８において、処理の
最後として、ライン（ｎ−１）上の黒点が属する長方形
の座標を出力する。この場合、この長方形の座標値ｅｙ
の値はｎ−１となる。

【００４３】以上のように図２に示されるようなフロー
に従って動作するプログラムを用いることにより、画像
中の各連結領域に外接する長方形の形状を特定するため
の座標を求めることができる。この場合、処理のために
必要な画像情報は、現在着目しているラインおよびその
１つ前のラインに含まれる各点についての情報のみであ
る。そして、２つ前のライン以前のラインに含まれる画
像中の点についての情報は一切不要である。そのため、
この方法によれば文字領域を検出する際に必要な記憶容
量を、従来のようにすべての画像についての情報を記録
する場合と比較してはるかに少なくすることができる。
また、最終結果として得られる外接長方形座標が処理途
中で順次出力されていく。そのため、この最終結果を入
力とする他の処理をこの処理と平行して行なうことが可
能となり、処理全体の速度を向上することも可能であ
る。

【００４４】図４〜図６は、図２に示される処理の途中
経過を示す、画像の模式図である。図４を参照して、ラ
イン（ｉ−１）上には、ライン（ｉ−１）上の連結領域
（連結線分領域）Ａ、Ｂが存在する。一方、ラインｉ上
には、ラインｉ上の連結領域（連結線分領域）Ｃ、Ｄ、
Ｅが存在する。連結領域の定義によれば、連結（線分）
領域Ａ、Ｃは互いに連結である。また、連結（線分）領
域Ｂ、Ｄ、Ｅも互いに連結である。

【００４５】図５および図６は、ライン（ｉ−１）上
の、互いに別々の連結領域が属する長方形が、ラインｉ
に対する処理において統合される様子を示す。図５を参
照して、ライン（ｉ−１）上の連結領域Ａ、Ｂは共通の
長方形Ｒ１に属する。またライン（ｉ−１）上の連結領
域Ｃは、長方形Ｒ１と異なる長方形Ｒ２に属する。

【００４６】図６を参照して、ラインｉ上に連結（線
分）領域Ｄが存在するものとする。連結（線分）領域Ｄ
は、ライン（ｉ−１）上の連結（線分）領域Ｂ、Ｃと連
結である。またこの場合、連結（線分）領域Ｄが属する
長方形自身は、連結領域Ｄそれ自身と同じ形である。前
述の処理に従って、ライン（ｉ−１）上の連結領域Ｂ、
Ｃが属する長方形Ｒ１、Ｒ２と、ラインｉ上の連結領域
Ｄが属する長方形（Ｄ自身）とを統合することにより、
図６に示される長方形Ｒ０が得られる。前述のようにラ
イン（ｉ−１）上の連結領域Ａ、Ｂは共通の長方形Ｒ１
に属するため、連結領域Ａも長方形Ｒ０に属することに
なる。

【００４７】このようにして順次各ライン上の連結領域
と、１ライン前の連結領域との連結関係を調べ、互いの
属する長方形を順次統合していくことにより、画像上の
文字要素が属する領域が分離・結合されていく。したが
って、各連結領域が、その属する長方形に従って分離・
結合されていくことになる。

【００４８】図７は、このようにして文字画像を、文字
要素である各連結領域に分離・結合した結果を示す。図
７に示されるように、文字画像「システ」が、その各文
字要素に分割されていく。

【００４９】再び図１を参照して、ステップＳ３〜Ｓ５
においては、この発明にかかる文字列抽出方法に従って
文字列を抽出する処理が行なわれる。この処理において
は、ステップＳ２において取出された各文字要素を、数
学的に「同値類分解」と呼ばれる方法で複数個の同値類
に分類する処理が行なわれる。同値類分解のために、本
実施例の場合には、２つの文字要素について、「互いに
近い」という関係を以下のように定義しておく。ただ
し、この「互いに近い」という関係自身は、必ずしも同
値関係にならない。

【００５０】２つの文字要素にそれぞれ長方形ａ、ｂが
外接しているものとする。２つの長方形ａ、ｂの文字列
方向の中心点間の文字方向の距離をＬ、長方形ａ、ｂの
文字列方向の長さをｓ_a 、ｓ_b とする。また、長方形
ａ、ｂ間の、文字列方向と垂直の方向の中心点間の、文
字列方向と垂直方向における距離をＨ、長方形ａ、ｂ
の、文字列方向と垂直方向の長さをそれぞれｈ_a 、ｈ_b
とする。この場合、２つの文字要素は、以下の式が同時
に成り立つときに、「互いに近い」と定義する。

【００５１】Ｌ≦ｍａｘ｛ｓ_a 、ｓ_b ｝＊ｃ０ Ｈ≦ｍａｘ｛ｈ_a 、ｈ_b ｝＊ｃ１ ただし、ｃ０、ｃ１はそれぞれ定数である。本実施例の
場合、定数ｃ０としては「４」程度、定数ｃ１としては
「０．５」程度を用いた。ただしこの値はあくまで一例
である。

【００５２】ステップＳ３において、整数配列｛Ｓｎ｝
を用意しておく。この整数配列｛Ｓｎ｝の要素の数は、
文字要素の数と同じである。そして、整数配列｛Ｓｎ｝
の各要素の値を、それぞれ互いに異なるように、すなわ
ちｉ≠ｊならＳ_i ≠Ｓ_j となるように初期化しておく。
たとえば、ｉ番目の要素Ｓｉの値をｉ（ｉ＝０、１、
２、…、ｎ）とすればよい。制御はステップＳ４に進
む。

【００５３】ステップＳ４においては、図３のフローチ
ャートに示す処理が行なわれる。ステップＳ４Ａにおい
て、画像中の、ステップＳ２によって取出された文字要
素から、２つの、互いに異なる文字要素の組合せを１回
ずつ取出す。ｉ番目の文字要素をＣｉと表わすことにす
れば、２つの文字要素の組合せは（Ｃｉ、Ｃｊ）（ｉ、
ｊ＝０、１、２、…、ｎ、ただしｉ≠ｊ）と表わされ
る。ステップＳ４Ｂにおいて、この組合せ（Ｃｉ、Ｃ
ｊ）が、前述の「互いに近い」という関係を満たすか否
かが判断される。判断の答がＹＥＳならば制御はステッ
プＳ４Ｃに、それ以外のときはステップＳ４Ｄにそれぞ
れ進む。ステップＳ４Ｄにおいては、文字要素Ｃｉ、Ｃ
ｊに対応する整数配列の要素Ｓｉ、Ｓｊの値を次のよう
に書換える。

【００５４】（ａ） Ｓｉ＜Ｓｊであれば、整数配列
｛Ｓｎ｝の要素のうち、値がＳｊの値に等しいものの値
をＳｉの値に書換える。この場合、Ｓｊの値もＳｉに書
換える。

【００５５】（ｂ） Ｓｉ＞Ｓｊであれば、整数配列
｛Ｓｎ｝の要素のうち、値がＳｉに等しい要素の値を、
Ｓｊの値に書換える。この場合、Ｓｉ自身の値もＳｊに
書換える。

【００５６】（ｃ）Ｓｉ＝Ｓｊであれば、何も行なわな
い。続いてステップＳ４Ｄにおいて、すべての文字要素
の組合せ（Ｃｉ、Ｃｊ）について処理が終わったか否か
の判断が行なわれる。判断の答がＮＯであれば制御は再
びステップＳ４Ａに戻り、さもなければこの部分の処理
は終了し、図１のステップＳ５の処理に進む。

【００５７】ステップＳ４においては、上述のような場
合分けに従った処理が、すべての文字要素の組合せ
（対）について行なわれる。すべての文字要素の組合せ
について処理をし終わった時点で、整数配列｛Ｓｎ｝の
要素のうち、その値が共通な要素に対応する文字要素
は、同じ文字列に属すると判断してよい。したがって、
ステップＳ５において、整数配列｛Ｓｎ｝の要素のうち
同じ値を有する要素に対応する文字要素を集めることに
より、文字列を抽出できる。

【００５８】上述の関係について若干の説明を付け加え
ておく。２つの文字要素Ｃｉ、Ｃｊが「互いに近い」こ
とをＣｉ〜Ｃｊと表わす。ある整数の組ｎ１、ｎ２、
…、ｎｋおよびｍ１、ｍ２について、次の式に示される
関係が成り立つものとする。

【００５９】Ｃｍ１〜Ｃｎ１〜Ｃｎ２〜…〜Ｃｎｋ〜Ｃ
ｍ２ これは、文字要素Ｃｍ１とＣｍ２とは必ずしも直接には
「互いに近い」という関係にはないが、一方から、それ
と「互いに近い」という関係にある文字要素を順次辿っ
ていくことによって、他方に到達できることを表わす。
もちろん、Ｃｍ１〜Ｃｍ２である場合もこれに含まれ
る。このような関係にあるＣｍ１、Ｃｍ２を「同じラベ
ルを持つ」と呼ぶものとする。

【００６０】定義により、このときＣｍ１からＣｍ２へ
の経路に現われるＣｎ１、Ｃｎ２、差Ｃｎｋのうちのい
かなる２つの文字要素の組合せもやはり「同じラベルを
持つ」という関係にあることになる。

【００６１】文字要素Ｃｍ１とＣｍ２とが「同じラベル
を持つ」という関係は、上記の説明中においては、ステ
ップＳ４における処理が終了したとき、整数配列｛Ｓ
ｎ｝の要素のうち、文字要素Ｃｍ１とＣｍ２とに対応す
る要素Ｓｍ１、Ｓｍ２の値が共通であるということによ
り表わされている。

【００６２】また、整数の組ｉ１、ｉ２、…、ｉｍ、ｊ
１、ｊ２、…、ｊｎ、およびｉ、ｊについて、以下の２
つの関係が成り立っているものとする。

【００６３】Ｃｉ１〜Ｃｉ２〜…〜Ｃｉｍ〜Ｃｉ Ｃｊ〜Ｃｊ１〜Ｃｊ２〜…〜Ｃｊｍ このことは、ステップＳ４の処理途中において、Ｃｉ
１、Ｃｉ２、…、Ｃｉｍに対応する整数配列｛Ｓｎ｝の
要素の値がＣｉに対応する要素Ｓｉの値に等しく、Ｃｊ
１，Ｃｊ２、…、Ｃｊｍに対応する要素の値がＣｊに対
応する要素Ｓｊの値に等しいという状態に対応する。

【００６４】このとき、Ｃｉ〜Ｃｊがわかったとする
と、次の関係が得られる。 Ｃｉ１〜Ｃｉ２〜…〜Ｃｉｍ〜Ｃｉ〜Ｃｊ〜Ｃｊ１〜Ｃ
ｊ２〜…〜Ｃｊｍ このことは、ステップＳ４Ｃ（図３参照）において、２
つの文字要素Ｃｉ、Ｃｊが「互いに近い」という関係を
満たすとき、それらに対応する整数配列｛Ｓｎ｝のう
ち、Ｓｉ＜ＳｊであればＳｊと同じ値の強さの値をＳｉ
の値に書換え、Ｓｉ＞Ｓｊであれば、Ｓｉと同じ値を持
つ要素の値をＳｊの値に書換えることで表わされてい
る。

【００６５】すでに述べたように、「互いに近い」とい
う関係は必ずしも数学的には同値関係ではないが、それ
を用いて定義した「同じラベルを持つ」という関係は同
値関係の一種である。

【００６６】上述のように定義した「同じラベルを持
つ」という関係は、数学的には同値関係の一種である。
文字要素を、互いの間でこの同値関係が成り立つか否か
によって分類していく方法は、数学でいう同値類分解と
呼ばれる作業である。同値類分解においては、処理結果
が処理順序によらないという著しい特徴がある。上述の
実施例の場合には、画像中の文字要素が「互いに近い」
かどうかを判定するために、２つの文字要素を取出す順
序がどのようなものであれ、得られる結果は同一であ
る。

【００６７】続いてステップＳ６において、ステップＳ
５までの処理で抽出された文字列は、文字列方向に適宜
分割することにより、個別の文字を取出す処理が行なわ
れる。制御はステップＳ７に進む。

【００６８】ステップＳ７においては、ステップＳ６で
得られた個別の文字と、予め準備されていた文字標準パ
ターン（図３参照）とをマッチングし、処理対象となる
文字と最も類似している文字標準パターンを認識結果と
して得る処理が行なわれる。制御はステップＳ８に進
む。

【００６９】ステップＳ８においては、ステップＳ７に
おいて認識された文字に対し、必要な修正や整形を行な
う認識結果後処理が行なわれる。制御はステップＳ９に
進む。

【００７０】ステップＳ９においては、ステップＳ８に
よって得られた最終認識結果を、使用者に可読な形、た
とえば印刷文字あるいはディスプレイ表示のような形で
出力する処理が行なわれる。そしてすべての文字につい
てステップＳ９までの処理が行なわれてこのプログラム
が終了する。

【００７１】図８〜図１２は、文字要素として画像中の
連結領域をとった場合に、本発明に従った方法によりど
のように文字列が抽出されるかを示す模式図である。以
下の説明中においては、文字要素Ｃｉに対応する、整数
配列｛Ｓｎ｝の要素をＳｉと表現する。

【００７２】図８を参照して、画像中の各文字要素（連
結領域）に与えられるＳｉが、それぞれ異なった値に初
期化される。この処理はステップＳ３において行なわれ
る。図８においては、全部で１２個の連結領域に０〜１
１という値がそれぞれ割り当てられる。

【００７３】図９を参照して、文字要素Ｃ０、Ｃ３は互
いに近いという関係を満たす。確認のために述べておく
と、前述の定義による「互いに近い」という関係は、画
像上においては、２つの連結領域が属する長方形の間の
距離が所定の値よりも小さい場合に成り立つと考えられ
る。文字要素Ｃ０、Ｃ３が互いに近いため、図１のステ
ップＳ４の処理に従い、Ｓ０、Ｓ３の値が比較される。
この場合はＳ０＜Ｓ３が成り立つ。すなわち、前述の条
件でいえば（ａ）が成立する。そのため、Ｓ３と共通の
値を持つＳｉの値をすべてＳ０の値に書換える。この場
合、Ｓ３に等しい値を持つようなＳｉは、Ｓ３の他には
存在しない。そのため、Ｓ０の値（０）に書換えられる
のは、Ｓ３のみである。書換えの結果が図９に示されて
いる。

【００７４】図１０は、引続き行なわれる処理の途中状
態を示す図である。図１０の状態となる以前に、文字要
素Ｃ０、Ｃ１、Ｃ３、Ｃ４が「互いに近い」という関係
にあることが確認され、それにしたがってＳｉが書換え
られている。さらに、図１０に示されるように、文字要
素Ｃ４、Ｃ８が「互いに近い」という関係を満たすこと
が確認されたものとする。このとき、Ｓ４＝０、Ｓ８＝
７であって、Ｓ４＜Ｓ８が成立する。前述の条件（ａ）
に従って、Ｓ８（＝７）に等しい値を持つＳｉを、すべ
てＳ４の値で書換える。その結果、図１１に示されるよ
うに、画像中の文字列「システム」に含まれる各文字要
素のすべてには、対応する整数として０が割り当てられ
る。

【００７５】図１２を参照して、画像中の「システム」
という文字列中の文字要素と、「メニュー」という文字
列中の文字要素とのいずれの間にも、「互いに近い」と
いう関係が成立しない。したがって、この画像中の任意
の２つの文字要素のすべての組合せについて上述の処理
を行なうことにより、最終結果として図１２に示される
ようなＳｉの値を得ることができる。画像中のすべての
文字要素は、前述のようにその文字要素に対応付けられ
ている整数の値によって分類される。図８〜図１２に示
される例では、各文字要素は対応する整数として０を持
つものと２を持つものとに分類され、それぞれ「システ
ム」、「メニュー」という文字列となる。

【００７６】ステップＳ６以下においては、図１２に得
られた結果の文字列から、その文字列を適宜分割するこ
とによって個別の文字を取出し、それぞれの文字をマッ
チングによって認識するという処理が行なわれる。

【００７７】以上述べたようにこの発明にかかる文字列
抽出方法においては、同値類分解という手法によって文
字列の抽出が行なわれた。同値類分解による処理結果は
その処理順序には依存せず、安定した処理結果を得るこ
とができる。また、隣接する文字要素の間では、前述の
「互いに近い」という関係に対して、画像の傾きが与え
る影響はごく微小である。画像の傾きが上述の文字列抽
出に対して与える影響は小さい。したがって、従来技術
による方法よりも、入力画像の傾きの広い範囲に対し
て、適性な文字列抽出が行なえるという効果がある。

【００７８】なお、この発明が上述の実施例に基づいて
説明されたが、この発明は必ずしも上述の実施例に限定
されるわけではない。たとえば、「互いに近い」という
関係の定義は、上述の説明中に挙げたものに限らず、２
つの文字要素が異なる文字列に属するときには一般に成
り立たず、２つの文字要素が同一の文字列に属しており
かつ隣合っているときに一般に成り立つようなものであ
ればどのように定めてもよい。

【００７９】また、上述の整数配列の要素の値の書換え
方法も、説明したような場合分け（ａ）〜（ｃ）に挙げ
られたもののみに限らない。たとえば、（ａ）〜（ｃ）
に挙げられた式中において、記号「＞」と「＜」とを入
れ換えても差し支えない。

【００８０】以上この発明を実施例に基づいて詳細に説
明したが、この発明は上述の実施例には限定されず、こ
れ以外にも様々な変形を加えて実施可能であることはい
うまでもない。

【００８１】

【発明の効果】以上のように請求項１に記載の文字列抽
出方法によれば、画像中の連結領域に外接する枠を特定
するための情報が、隣接する２つの走査線信号に含まれ
る連結線分領域の連結関係を調べることによって得られ
る。従来のように画像上のすべての画素につきどの連結
領域に属するかを記憶しておく必要がなく、必要な記憶
容量を大幅に減少することができる。また、得られた外
接枠情報の間に同値関係を成立するか否かをコンピュー
タの配列処理を用いて調べることにより、画像に含まれ
る連結領域が同値類に分類され、同一の同値類に属する
連結領域が１つの文字列を構成する要素として抽出され
る。この分類過程は処理順序に関係なく一定の結果が得
られ、原画像が傾いていても安定した処理結果を得るこ
とができる。その結果、少ない記憶容量で、安定した処
理結果を得ることができる、文字列抽出方法を提供する
ことができる。

【００８２】請求項２に記載の文字列抽出方法によれ
ば、抽出された文字要素の間に、予め定める同値関係が
成立するか否かをコンピュータの配列処理を用いて調べ
ることにより、文字要素を同値類に分類する処理が行な
われる。そして、同一の同値類に属する文字要素が、１
つの文字列を構成する要素として抽出される。同値関係
の正否に基づいて同値類に分類する処理は、その処理順
序に依存せず、原画像が傾いていても安定した処理結果
を得ることができる。

【００８３】

【図面の簡単な説明】

【図１】図１は、本発明にかかる文字列抽出方法を行な
うためのプログラムのフローチャートである。

【図２】図２は、図１に示される、画像中の文字要素を
取出す処理を実現するためのプログラムのフローチャー
トである。

【図３】図３は、図１に示される文字列を取出す処理を
実現するためのプログラムのフローチャートである。

【図４】図４は、画像中の２つの走査線に含まれるライ
ン上の連結領域間の連結関係を示す模式図である。

【図５】図５は、異なる連結領域に含まれる、ライン上
の連結領域およびそれら連結領域が属する長方形を示す
模式図である。

【図６】図６は、図５に示される２つの連結領域の属す
る長方形が、ラインｉ上の連結領域Ｄの存在によって互
いに長方形Ｒ０に融合される状態を示す模式図である。

【図７】図７は、画像から抽出される連結領域を示す模
式図である。

【図８】図８は、画像上の各連結領域に割り当てられる
整数値が初期化された状態を示す模式図である。

【図９】図９は、文字要素Ｃ０、Ｃ３の間に「互いに近
い」という関係が成り立つ場合の、文字列抽出の途中経
過を示す模式図である。

【図１０】図１０は、文字要素Ｃ４、Ｃ８が「互いに近
い」という関係を満たす場合の、画像の模式図である。

【図１１】図１１は、文字要素Ｃ４、Ｃ８に「互いに近
い」という関係が成り立った場合に、各文字要素に割り
当てられている整数値を更新した後の状態を示す模式図
である。

【図１２】図１２は、本発明にかかる文字列抽出方法に
より、文字列が抽出された結果を示す模式図である。

【図１３】図１３は、本発明にかかる文字列抽出方法を
適用した、文字認識装置のブロック図である。

【図１４】図１４は、文字要素抽出部２のより詳細な模
式的ブロック図である。

【図１５】図１５は、文字列抽出部３の、より詳細な模
式的ブロック図である。

【符号の説明】

１ 画像入力部 ２ 文字要素抽出部 ３ 文字列抽出部 ４ 個別文字抽出部 ５ 文字マッチング部 ６ 認識結果後処理部 ７ 最終結果出力部 ８ 文字標準パターン

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 安久 大阪市阿倍野区長池町22番22号 シャー プ株式会社内 (72)発明者 桑田 みな子 大阪市阿倍野区長池町22番22号 シャー プ株式会社内 (72)発明者 竹原 和宏 大阪市阿倍野区長池町22番22号 シャー プ株式会社内 (56)参考文献 特開 平３−198177（ＪＰ，Ａ) 特開 昭63−37489（ＪＰ，Ａ) 特開 平３−144873（ＪＰ，Ａ) 特開 昭63−204479（ＪＰ，Ａ) 特開 平３−150675（ＪＰ，Ａ)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 画像を読取り、連続する複数本のデジタ
   ル走査線信号に変換するステップと、 順次与えられる前記デジタル走査線信号を順次分析し、
   先行する第１のデジタル走査線信号より以前の前記デジ
   タル走査線信号により表現される連結領域に外接する、
   外接枠の形状を特定するための外接枠情報を得て、前記
   外接枠情報を保持するステップと、 第１のデジタル走査線信号の直後に後続する第２のデジ
   タル走査線信号に含まれる連結線分領域を検出し、前記
   連結線分領域と連結関係にある前記連結領域の前記外接
   枠情報を更新するとともに、前記連結線分領域のいずれ
   とも連結関係にない前記連結領域の存在を検出するたび
   に、その前記外接枠情報を逐次出力するステップと、 前記画像の終了を検出して、保持されている残りの前記
   外接枠情報を出力するステップと、 任意の２つの前記外接枠情報の間に、予め定める同値関
   係が成立するか否かを調べることにより、各前記外接枠
   情報に内接する前記連結領域を同値類に分類するステッ
   プと、 同一の同値類に属する前記連結領域を１つの文字列の構
   成要素として抽出するステップとを含み、 前記分類するステップは、 前記連結領域に対応した要素を含む配列を準備し、各前
   記要素に互いに異なる値を記憶させるステップと、 二つの前記要素の組合わせの全てに対して、前記二つの
   要素に対応の前記連結領域が文字列方向と垂直方向とで
   異なる基準で定義された互いに近いという関係を満足す
   るか否かを前記外接枠情報に基づいて判定し、前記関係
   が満足されたときには所定の規則にしたがって前記二つ
   の要素の値が等しくなるように更新する処理を繰り返す
   ステップと、 前記更新が全て終了したことに応答して、その時点での
   対応の前記要素の値に基づいて、前記連結領域を同値類
   に分類するステップとを含む、文字列抽出方法。
2. 【請求項２】 画像から文字要素を抽出するステップ
   と、 抽出された各前記文字要素に外接する、外接枠の形状を
   特定するための外接枠情報の間に、予め定める同値関係
   が成立するか否かを調べることにより前記文字要素を同
   値類に分類するステップと、 同一の同値類に属する前記文字要素を１つの文字列の構
   成要素として抽出するステップとを含み、 前記分類するステップは、 前記文字要素に対応した要素を含む配列を準備し、各前
   記要素に互いに異なる値を記憶させるステップと、 二つの前記要素の組合わせの全てに対して、前記二つの
   要素に対応の前記文字要素が文字列方向と垂直方向とで
   異なる基準で定義された互いに近いという関係を満足す
   るか否かを前記外接枠情報に基づいて判定し、前記関係
   が満足されたときには所定の規則にしたがって前記二つ
   の要素の値が等しくなるように更新する処理を繰り返す
   ステップと、 前記更新が全て終了したことに応答して、その時点での
   対応の前記要素の値に基づいて、前記文字要素を同値類
   に分類するステップとを含む、文字列抽出方法。