JP3442206B2 - 文字認識方法及び文字認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文字認識方法及び文
字認識装置に係り，特に，文字切り出し結果の不確定な
部分について，同一画像について文字切り出し結果を伝
搬させることにより，また，文字切り出し結果が確定し
ている画像との位置関係を用いて，文字切り出し結果が
不確定な画像の文字切り出し結果を確定することによ
り，文字切り出し結果の確度を向上させた文字認識方法
及び文字認識装置に関する。

【０００２】

【従来の技術】従来より，ＯＣＲ（Optical Character
Reader；光学式文字読取装置）においては，文字画像の
分離や接続のために文字の切り出しがうまく動作しない
場合がある。このように文字の切り出しが正常に動作し
ない場合には，認識結果を誤るだけでなく，認識結果の
修正作業も複雑となり，ユーザに対する負担の増加が著
しい。

【０００３】このような文字切り出しの問題に対処する
従来技術としては，例えば特開平１−１１４９９２号公
報に開示されているものがある。文字の行（列）方向に
対し垂直方向に投影を取り，黒画素の存在部分を矩形と
して切り出したサブ文字パターンを，所定の標準文字サ
イズを基に統合，分解処理して文字を切り出すものであ
る。このように，従来の分離／接続している文字画像を
統合／分割する文字切り出し方法としては，この従来例
のように画像の大きさを見て判断する方法が多い。

【０００４】

【発明が解決しようとする課題】このように上記従来の
文字切り出し方法にあっては，文字画像の大きさを見る
だけで統合／分割の判断を行う手法であるが，実際に
は，複数の画像を統合するかまたは統合しないか，或い
は，１つの画像を分割するかまたは分割しないかといっ
た判断は文字画像の大きさからだけでは判断できない場
合が多く，結果として，文字切り出し結果が不確定とな
る部分が多く，文字認識装置において正確な文字認識が
できないという問題点があった。

【０００５】本発明は，上記従来の問題点に鑑みてなさ
れたものであって，文字切り出し結果の不確定な部分に
ついて，同一画像について文字切り出し結果を伝搬させ
ることにより，文字切り出し結果の確度を向上させた文
字認識方法及び文字認識装置を提供することを目的とし
ている。

【０００６】また本発明の他の目的は，文字切り出し結
果が確定している画像との位置関係を用いて，文字切り
出し結果が不確定な画像の文字切り出し結果を確定する
ことにより，文字切り出し結果の確度を向上させた文字
認識方法及び文字認識装置を提供することである。

【０００７】

【課題を解決するための手段】上記課題を解決するため
に，本発明の第１の特徴の文字認識方法は，入力した文
書画像について，同一種画素の連結成分を抽出し，該連
結成分と外接し閉包する多角形領域を定める領域抽出ス
テップと，隣接または重合する前記複数の多角形領域に
ついて，該多角形領域の幾何学的な相対関係と所定規則
に基づいて前記複数の多角形領域の統合または分離を判
断し，該判断結果に基づいて多角形領域及び該多角形領
域に含まれる画素成分を文字切り出し結果の確定した画
像か不確定な画像かを判断する文字切り出しステップ
と，を具備し，前記文字切り出しステップでは，文字切
り出し結果の確定した画像と同一形状の画像の文字切り
出し結果について，文字切り出し結果の確定した画像と
して判断するものである。

【０００８】また，第２の特徴の文字認識方法は，入力
した文書画像について，同一種画素の連結成分を抽出
し，該連結成分と外接し閉包する多角形領域を定める領
域抽出ステップと，前記領域抽出ステップで定められた
多角形領域を参照して，行として該行内に含まれる多角
形領域を全て包含する行矩形，または，列として該列内
に含まれる多角形領域を全て包含する列矩形を抽出する
行または列切り出しステップと，前記行または列切り出
しステップで抽出された行矩形または列矩形に含まれ，
隣接または重合する前記複数の多角形領域について，該
多角形領域の幾何学的な相対関係と所定規則に基づいて
前記複数の多角形領域の統合または分離を判断し，該判
断結果に基づいて多角形領域及び該多角形領域に含まれ
る画素成分を文字切り出し結果の確定した画像か不確定
な画像かを判断する文字切り出しステップと，を具備
し，前記文字切り出しステップでは，文字切り出し結果
の確定した画像と同一形状の画像の文字切り出し結果に
ついて，文字切り出し結果の確定した画像として判断す
るものである。

【０００９】また，第３の特徴の文字認識方法は，請求
項１または２記載の文字認識方法において，前記文字切
り出しステップでは，文字切り出し結果の不確定な画像
について，該文字切り出し結果の不確定な画像と文字切
り出し結果の確定した画像との相対的位置関係に基づい
て，文字切り出し結果の確定した画像か不確定な画像か
を判断するものである。

【００１０】また，第４の特徴の文字認識方法は，請求
項１，２または３記載の文字認識方法において，前記文
字切り出しステップでは，文字切り出し結果の不確定な
画像について，該文字切り出し結果の不確定な画像の両
側が文字切り出し結果の確定した画像である場合には，
該文字切り出し結果の不確定な画像を文字切り出し結果
の確定した画像として判断するものである。

【００１１】また，第５の特徴の文字認識方法は，請求
項２，３または４記載の文字認識方法において，前記文
字切り出しステップでは，文字切り出し結果の不確定な
画像について，該文字切り出し結果の不確定な画像が前
記行矩形または前記列矩形の端部に位置し，一方の側が
文字切り出し結果の確定した画像である場合には，該文
字切り出し結果の不確定な画像を文字切り出し結果の確
定した画像として判断するものである。

【００１２】また，第６の特徴の文字認識方法は，請求
項１，２，３，４または５記載の文字認識方法におい
て，前記文字切り出しステップでは，文字切り出し結果
の確定した画像と同一形状の画像の文字切り出し結果に
ついて文字切り出し結果の確定した画像として判断する
際の同一形状の判断を，形状の大きさ，重心の位置及び
または複雑さに基づく類似度で行うものである。

【００１３】更に，第７の特徴の文字認識方法は，請求
項１，２，３，４，５または６記載の文字認識方法にお
いて，前記文字切り出しステップでは，文字切り出し結
果の確定した画像か不確定な画像かを判断を繰り返し行
い，新たに確定される文字切り出し結果の画像が無くな
ったときに該繰り返し処理を終了するものである。

【００１４】また，第１の特徴の文字認識装置は，入力
した文書画像について，同一種画素の連結成分を抽出
し，該連結成分と外接し閉包する多角形領域を定める領
域抽出手段と，隣接または重合する前記複数の多角形領
域について，該多角形領域の幾何学的な相対関係と所定
規則に基づいて前記複数の多角形領域の統合または分離
を判断し，該判断結果に基づいて多角形領域及び該多角
形領域に含まれる画素成分を文字切り出し結果の確定し
た画像か不確定な画像かを判断する文字切り出し手段
と，を具備し，前記文字切り出し手段は，文字切り出し
結果の確定した画像と同一形状の画像の文字切り出し結
果について，文字切り出し結果の確定した画像として判
断するものである。

【００１５】更に，第２の特徴の文字認識装置は，入力
した文書画像について，同一種画素の連結成分を抽出
し，該連結成分と外接し閉包する多角形領域を定める領
域抽出手段と，前記領域抽出手段で定められた多角形領
域を参照して，行として該行内に含まれる多角形領域を
全て包含する行矩形，または，列として該列内に含まれ
る多角形領域を全て包含する列矩形を抽出する行または
列切り出し手段と，前記行または列切り出し手段で抽出
された行矩形または列矩形に含まれ，隣接または重合す
る前記複数の多角形領域について，該多角形領域の幾何
学的な相対関係と所定規則に基づいて前記複数の多角形
領域の統合または分離を判断し，該判断結果に基づいて
多角形領域及び該多角形領域に含まれる画素成分を文字
切り出し結果の確定した画像か不確定な画像かを判断す
る文字切り出し手段と，を具備し，前記文字切り出し手
段は，文字切り出し結果の確定した画像と同一形状の画
像の文字切り出し結果について，文字切り出し結果の確
定した画像として判断するものである。

【００１６】

【発明の実施の形態】以下，本発明の文字認識方法及び
文字認識装置の概要について，並びに，本発明の文字認
識方法及び文字認識装置の一実施例について，順に図面
を参照して詳細に説明する。

【００１７】〔本発明の文字認識方法及び文字認識装置
の概要〕図１は本発明に係る文字認識装置の原理説明図
であり，図２は本発明に係る文字認識方法の処理手順を
説明する概略フローチャートである。尚，図２において
は，多角形領域を文字矩形とし，行として該行内に含ま
れる文字矩形を全て包含する行矩形のみを取り扱うもの
としている。

【００１８】本発明の第１の特徴の文字認識方法及び第
１の特徴の文字認識装置では，図１及び図２に示す如
く，先ず領域抽出ステップＳ２０１または領域抽出手段
１０１において，入力した文書画像１１１について，同
一種画素の連結成分を抽出し，該連結成分と外接し閉包
する多角形領域（文字矩形）を定め，次に文字切り出し
ステップＳ２０３〜２１１または文字切り出し手段１０
３において，隣接または重合する複数の多角形領域（文
字矩形）について，幾何学的な相対関係と所定規則に基
づいて多角形領域（文字矩形）の統合または分離を判断
（ステップＳ２０６）する（後に図３および図４を使っ
て詳述する）。また，該判断結果に基づいて多角形領域
及び該多角形領域に含まれる画素成分を文字切り出し結
果の確定した画像か不確定な画像かを判断するように
し，また，文字切り出し結果の確定した画像と同一形状
の画像の文字切り出し結果について，文字切り出し結果
の確定した画像として判断する（ステップＳ２０８及び
Ｓ２０９）ようにしている（後に図６ないし図９を使っ
て詳述する）。

【００１９】このように，幾何学的な相対関係と所定規
則に基づいて多角形領域（文字矩形）の統合または分離
を判断した後，文字切り出し結果の不確定な画像につい
ては，同一形状の画像について確定した文字切り出し結
果の画像を伝搬させ，また，文字切り出し結果が確定し
た画像との位置関係を用いて，文字切り出し結果が不確
定な画像の文字切り出し結果を確定していくことによ
り，文字切り出し結果の確度を向上させることができ
る。

【００２０】また，第２の特徴の文字認識方法及び第２
の特徴の文字認識装置では，図１及び図２に示す如く，
先ず領域抽出ステップＳ２０１または領域抽出手段１０
１において，入力した文書画像について，同一種画素の
連結成分を抽出し，該連結成分と外接し閉包する多角形
領域（文字矩形）を定め，次に行または列切り出しステ
ップＳ２０２または行または列切り出し手段１０２にお
いて，領域抽出ステップＳ２０１または領域抽出手段１
０１で定められた多角形領域（文字矩形）を参照して，
行として該行内に含まれる多角形領域（文字矩形）を全
て包含する行矩形，または，列として該列内に含まれる
多角形領域（文字矩形）を全て包含する列矩形を抽出
し，次に文字切り出しステップＳ２０３〜Ｓ２１１また
は文字切り出し手段１０３において，行または列切り出
しステップＳ２０２または行または列切り出し手段１０
２で抽出された行矩形または列矩形に含まれ，隣接また
は重合する複数の多角形領域（文字矩形）について，幾
何学的な相対関係と所定規則に基づいて多角形領域（文
字矩形）の統合または分離を判断し，該判断結果に基づ
いて多角形領域及び該多角形領域に含まれる画素成分を
文字切り出し結果の確定した画像か不確定な画像かを判
断するようにし，また，文字切り出し結果の確定した画
像と同一形状の画像の文字切り出し結果について，文字
切り出し結果の確定した画像として判断する（ステップ
Ｓ２０８及びＳ２０９）ようにしている。

【００２１】このように，幾何学的な相対関係と所定規
則に基づいて多角形領域（文字矩形）の統合または分離
を判断した後，行矩形または列矩形内で文字切り出し結
果の不確定な画像については，同一形状の画像について
確定した文字切り出し結果の画像を伝搬させ，また，文
字切り出し結果が確定した画像との位置関係を用いて，
文字切り出し結果が不確定な画像の文字切り出し結果を
確定していくことにより，文字切り出し結果の確度を向
上させることができる。

【００２２】また，第３の特徴の文字認識方法では，図
２に示す如く，文字切り出しステップＳ２０３〜Ｓ２１
１において，文字切り出し結果の不確定な画像につい
て，該文字切り出し結果の不確定な画像と文字切り出し
結果の確定した画像との相対的位置関係に基づいて，文
字切り出し結果の確定した画像か不確定な画像かを判断
する（ステップＳ２０８）のが望ましい。

【００２３】また，第４の特徴の文字認識方法では，図
２に示す如く，文字切り出しステップＳ２０３〜Ｓ２１
１において，文字切り出し結果の不確定な画像につい
て，該文字切り出し結果の不確定な画像の両側が文字切
り出し結果の確定した画像である場合には，該文字切り
出し結果の不確定な画像を文字切り出し結果の確定した
画像として判断する（ステップＳ２０８）のが望まし
い。

【００２４】また，第５の特徴の文字認識方法では，図
２に示す如く，文字切り出しステップＳ２０３〜Ｓ２１
１において，文字切り出し結果の不確定な画像につい
て，該文字切り出し結果の不確定な画像が前記行矩形ま
たは前記列矩形の端部に位置し，一方の側が文字切り出
し結果の確定した画像である場合には，該文字切り出し
結果の不確定な画像を文字切り出し結果の確定した画像
として判断する（ステップＳ２０８）のが望ましい。

【００２５】また，第６の特徴の文字認識方法では，図
２に示す如く，文字切り出しステップＳ２０３〜Ｓ２１
１において，文字切り出し結果の確定した画像と同一形
状の画像の文字切り出し結果について文字切り出し結果
の確定した画像として判断する際の同一形状の判断を，
形状の大きさ，重心の位置及びまたは複雑さに基づく類
似度で行う（ステップＳ２０８）のが望ましい。

【００２６】更に，第７の特徴の文字認識方法では，図
２に示す如く，文字切り出しステップＳ２０３〜Ｓ２１
１において，文字切り出し結果の確定した画像か不確定
な画像かを判断を繰り返し行い，新たに確定される文字
切り出し結果の画像が無くなったときに該繰り返し処理
を終了する（ステップＳ２１０，Ｓ２１１）のが望まし
い。

【００２７】〔実施例〕図１は本発明の一実施例に係る
文字認識装置の構成図である。同図において，本実施例
の文字認識装置は，矩形抽出部１０１，行切り出し部１
０２，文字切り出し部１０３，文字認識部１０４，パス
選択部１０５及びパターン辞書メモリ１０６を備えて構
成されている。

【００２８】矩形抽出部（領域抽出手段）１０１は，入
力した文書画像１１１について，同一種画素の連結成分
を抽出し，該連結成分と外接し閉包する矩形領域（文字
矩形）を定める。

【００２９】また行切り出し部（行または列切り出し手
段）１０２は，領域抽出手段１０１で定められた文字矩
形を参照して，行として該行内に含まれる文字矩形を全
て包含する行矩形を抽出する。

【００３０】また文字切り出し部（文字切り出し手段）
１０３は，行切り出し部１０２で抽出された行矩形に含
まれ，隣接または重合する文字矩形について，幾何学的
な相対関係と所定規則に基づいて文字矩形の統合または
分離を判断し，該判断結果に基づいて文字切り出し結果
の確定した画像か不確定な画像かを判断する。

【００３１】また文字認識部１０４は，切り出された文
字画像について，パターン辞書メモリ１０６を参照し
て，パターンマッチングを行う。更にパス選択部は，文
字切り出し結果の確定していない文字画像の認識結果を
参照して，一番もっともらしい組合せの認識結果を選択
する。

【００３２】以下では，本発明の特徴的な部分である文
字切り出し部１０３の動作を中心に，図２に示す概略フ
ローチャート及び各処理における具体例を参照しなが
ら，詳細に説明する。

【００３３】図２において，先ず，領域抽出ステップＳ
２０１では，入力した文書画像１１１について，黒画素
の連結成分を抽出し，該連結成分と外接する文字矩形を
求める。次に，行切り出しステップＳ２０２では，求め
られた文字矩形を参照して，行として該行内に含まれる
文字矩形を全て包含する行矩形を抽出する。

【００３４】次に，文字切り出しステップＳ２０３〜Ｓ
２１１では，行切り出しステップＳ２０２で抽出された
行矩形に含まれ，隣接または重合する文字矩形について
幾何学的な相対関係と所定規則に基づき統合／分離の判
断（以下，行内矩形の統合処理という；ステップＳ２０
３〜Ｓ２０７）を行い，該判断結果に基づいて文字切り
出し結果の確定した文字矩形か不確定な文字矩形かを判
断すると共に，確定した文字矩形を行矩形内で伝搬させ
ていく（以下，確定文字矩形の伝搬処理という；ステッ
プＳ２０８〜Ｓ２１０）。

【００３５】先ず，行内矩形の統合処理ステップＳ２０
３〜Ｓ２０７について説明する。ステップＳ２０３にお
いては，それぞれの文字矩形がどの行矩形に存在するか
を求める。具体的には，画像の左上を原点として，行矩
形Ｌｉの左上の座標を（Ｌｘｓ，Ｌｙｓ），右下の座標
を（Ｌｘｅ，Ｌｙｅ），文字矩形の左上座標を（Ｒｘ
ｓ，Ｒｙｓ），右下の座標を（Ｒｘｅ，Ｒｙｅ）とする
とき，次の条件式を全て満たす場合に，該文字矩形は行
矩形Ｌｉに属すると判断する。 Ｌｘｓ＜Ｒｘｓ Ｌｘｅ＞Ｒｘｅ Ｌｙｓ＜Ｒｙｓ Ｌｙｅ＞Ｒｙｅ （１）

【００３６】次にステップＳ２０４において，統合数カ
ウンタＣｉを”０”にリセットする。そしてステップＳ
２０５では，同一行矩形Ｌｉ内の文字矩形について，行
方向の重なりの度合を計算する。重なりの度合ＯＬａｐ
は，２つの文字矩形の行方向での重なりｖと，２つの文
字矩形の行方向の幅の小さい方の値であるＷから，次式
で算出される。 ＯＬａｐ＝ｖ／Ｗ （２）

【００３７】次に，ステップＳ２０６において，各文字
矩形の統合／分離が判断される。ここで，先ず２つの文
字矩形の重なり度合から，以下の３通りの統合矩形を生
成する。

【００３８】［重なりの度合が小さい場合］重なり度合
の下限をＯＬｔｈＬｏｗとするとき， ＯＬａｐ≦ＯＬｔｈＬｏｗ （３） を満たす場合には，２つの文字矩形を統合せず，そのま
まの文字矩形を統合矩形とした分離矩形とする。また，
ここで文字矩形の縦横比をＡｓ，縦横比Ａｓの下限をＡ
ｓｔｈＬｏｗ，縦横比Ａｓの上限をＡｓｔｈＵｐとする
とき， ＡｓｔｈＬｏｗ＜Ａｓ＜ＡｓｔｈＵｐ （４） を満たす場合には，該統合矩形を確定文字矩形とする。

【００３９】［重なりの度合が中程度の場合］重なり度
合の上限をＯＬｔｈＵｐとするとき， ＯＬｔｈＬｏｗ＜ＯＬａｐ＜ＯＬｔｈＵｐ （５） を満たす場合には，統合矩形と分離矩形の両方を統合矩
形とし，統合数カウンタＣｉをインクリメントする。

【００４０】［重なりの度合が大きい場合］ ＯＬｔｈＵｐ≦ＯＬａｐ （６） を満たす場合には，統合矩形のみを統合矩形とし，統合
数カウンタＣｉをインクリメントする。

【００４１】次にステップＳ２０７においては，ステッ
プＳ２０６の処理結果により統合数カウンタＣｉが”
０”でない場合には，ステップＳ２０４に戻り，”０”
である（新たに統合が行われなかった）場合には，確定
文字矩形の伝搬処理に進む。

【００４２】ここで，図３に示す具体例を参照して，行
内矩形の統合処理を具体的に説明する。文字矩形の抽出
結果が図３（ａ）であったとする。先ず図３（ｂ−イ）
に示す如く，文字画像「い」については，文字矩形３１
５及び３１６の重なりは無く（ｖ＝−１８），重なり度
合が小さい場合に相当して，文字矩形３１５及び３１６
は分離矩形とされる。

【００４３】また文字画像「お」については，図３（ｂ
−ロ）に示す如く，行方向の重なりｖ＝６で，Ｗ＝１１
であるため， ＯＬａｐ＝６／１１＞ＯＬａｐＵｐ（０．５） となって，重なり度合が大きい場合に相当して，文字矩
形３２５及び３２６は統合されて，統合矩形３２７が生
成される。

【００４４】更に文字画像「か」については，図３（ｂ
−ニ）に示す如く，行方向の重なりｖ＝１で，Ｗ＝１８
であるため， ＯＬａｐ＝１／１８＜ＯＬａｐＵｐ（０．５） となって，重なり度合が中程度の場合に相当して，文字
矩形３３５及び３３６がそれぞれ分離矩形とされると共
に，統合矩形３３７も生成される。

【００４５】以上の行内矩形の統合処理において，３つ
の場合分けを行うのは，同じ文字画像が，場合によって
（例えば，位置関係における１画素のずれで）統合され
たり分離されたり不確定となるのを防ぐためである。つ
まり，図４に示すように，重なり度合ＯＬａｐの値で統
合／分離の２つの場合分けを行ったときには，図４（ｂ
−イ）に示すように，本来同一画像と見なされるべきも
のが同一画像として扱われないといった不具合が発生す
る恐れがある。これに対して，上記３つの場合分けを行
う方法では，このような場合に対しても，図４（ｂ−
ロ）に示す如く，確実に対処することができる。

【００４６】次に，確定文字矩形の伝搬処理ステップＳ
２０８〜Ｓ２１０について説明する。同一行矩形内で両
隣の文字矩形が確定文字矩形である場合に，挟まれてい
る文字矩形を確定文字矩形と判断できる。また，確定文
字矩形と判断された文字矩形と同一形状の文字矩形も確
定文字矩形と判断できる。これらの判断処理を繰り返す
ことで，原稿（文書画像）上のより多くの文字矩形を確
定文字矩形として抽出することができる。

【００４７】先ず第１に，文字矩形の統合処理におい
て，統合された文字矩形と分離されたままの文字矩形の
両方を統合矩形として備えている文字画像について，統
合矩形または分離矩形の一方或いは何れかが確定文字矩
形と判断されている場合には，以下の条件に基づいて，
統合矩形または分離矩形の何れかを削除する。

【００４８】［条件Ａ］：統合された統合矩形を削除す
る場合 統合された統合矩形が確定文字矩形ではなく，分離され
たままの統合矩形が１つでも確定文字矩形のとき，或い
は，統合された統合矩形が確定文字矩形であって，且
つ，分離されたままの統合矩形が全て確定文字矩形のと
き，統合された統合矩形を削除する。

【００４９】例えば，図５（ｄ）では，分離されたまま
の統合矩形５２５が確定文字矩形であるので，条件Ａが
適用されて統合された統合矩形５２７は削除される。ま
た，図５（ｅ）では，統合された統合矩形５２７が確定
文字矩形であって，且つ，分離されたままの統合矩形５
２５及び５２６が確定文字矩形であるので，統合された
統合矩形５２７は削除される。

【００５０】［条件Ｂ］：分離されたままの統合矩形を
削除する場合 分離されたままの統合矩形と統合された統合矩形の何れ
か一方或いは両方が確定文字矩形で，条件Ａに適合しな
いとき，分離されたままの統合矩形を削除する。

【００５１】例えば，図５（ｂ）では，分離されたまま
の統合矩形５１６と統合された統合矩形５１７が確定文
字矩形であるので，条件Ｂが適用されて分離されたまま
の統合矩形５１５及び５１６は削除される。また，図５
（ｃ）では，統合された統合矩形５１７が確定文字矩形
であって，分離されたままの統合矩形５１５及び５１６
が不確定文字矩形であるので，分離されたままの統合矩
形５１５及び５１６は削除される。尚，図５（ａ）の場
合には，条件Ａ及び条件Ｂ共に適合せず，何れの統合矩
形も削除されない。

【００５２】次に第２の処理として，同一行矩形内で，
両隣の文字矩形が確定文字矩形である文字矩形を探す。
原稿上に該当する文字矩形が１つも存在しない場合に
は，以下の処理は行わない。尚，図２においては，処理
手順を分かり易くするために，ステップＳ２１０で新た
に確定した文字矩形があるか否かの判断で確定文字矩形
の伝搬処理の終了判断を行うようにしているが，当該第
２の処理のように前もって終了判断を行うとしてもよ
く，本質的な差異はない。

【００５３】次に第３の処理として，同一行矩形内で，
両隣の文字矩形が確定文字矩形である文字矩形を確定文
字矩形とする。

【００５４】次に第４の処理として，確定文字矩形と判
断された文字矩形と同一形状を持つ文字矩形で，単純矩
形でないものを確定文字矩形とし，第１の処理に戻る。

【００５５】ここで先ず，文字矩形が同一形状か否かの
判断について説明する。本実施例では以下の３つの判断
基準により同一／非同一の判断を行う。

【００５６】［判断基準１］：文字矩形の高さの差また
は幅の差の何れかが，高幅差のしきい値ＷＤｔｈよりも
大きい場合には，２つの文字画像は非同一とする。

【００５７】［判断基準２］：それぞれの文字画像の重
心を求め，画像の左上を基準とした重心の位置の差が，
重心差のしきい値ＳＴｔｈよりも大きい場合には，２つ
の文字画像は非同一とする。

【００５８】［判断基準３］：２つの文字画像の画像の
重心を合わせて排他的論理和を取った画像（ＥＯＲ画像
という）を作成し，該ＥＯＲ画像に対して，２×２のマ
スク処理を行い，２×２の領域内に３画素以上の黒画素
（２つの画像の画素値が異なる画素）が検出されたなら
２つの画像は非同一とし，また全ての２×２の領域につ
いて検出されなければ２つの文字画像は同一と判断す
る。

【００５９】またここで，単純矩形か否かの判断基準
は，以下の通りである。尚，単純矩形の場合には，確定
文字矩形の伝搬処理を行わないのは，単純矩形の場合，
確定文字矩形で文字として出現する場合と，統合されて
文字として出現する場合とが混在する可能性が高いから
である。例えば，文字画像「一」と「三」における横棒
などが典型的な例である。

【００６０】［単純矩形の判断基準］文字矩形の幅／高
さの大きい方をＬｒとし，文字矩形内の縦方向／横方向
のラインでランが２つ以上あるラインの数の合計をＮｒ
ｕｎとし，しきい値をＳｐｌｔｈとしたとき，次式を満
たすものは，単純矩形である。 Ｎｒｕｎ＜Ｌｒ×Ｓｐｌｔｈ （７）

【００６１】次に，図６から図１１までに示す具体例を
参照して，確定文字矩形の伝搬処理を説明する。尚，図
２の処理手順では，行単位で行矩形の統合処理及び確定
文字矩形の伝搬処理を行うようになっているが，以下で
は，文書単位で行矩形の統合処理の結果が得られたもの
として，確定文字矩形の伝搬処理を行う。後者の方が，
同一文字矩形の検出についてより効率的となる。

【００６２】先ず，図６は行矩形の統合処理によって得
られた結果である。不確定な文字矩形として，６０２，
６０８，６０９，６１１，６１５，６２１，６２６，６
２９，６３１，６３４及び６３９を含んでいる。

【００６３】図７において，文字矩形６０２の文字画像
「４」は，両側が確定文字矩形であるので，確定文字矩
形として判断される。また，文字矩形６１１の文字画像
「ト」は，行末であって一方の側が確定文字矩形６１０
であるので，確定文字矩形と判断される。更に，文字画
像「４」については，同一形状の画像が存在するので，
これらの文字矩形６１３及び６３９を確定文字矩形とす
る。尚，確定文字矩形と他の文字矩形との組み合わせと
なっている統合矩形６１５及び６３９について削除す
る。

【００６４】次に図８において，新たに文字矩形６１４
の文字画像「３」及び文字矩形６３７の文字画像「３」
が，両側が確定文字矩形となるので，これらを確定文字
矩形とする。

【００６５】更に図９において，文字矩形６０８の文字
画像「メ」，文字矩形６０９の文字画像「リ」について
は，他に統合矩形がないので，１文字の文字矩形として
確定する。また，文字画像「約」，「能」，「詳」及び
「くは」については，複数の統合矩形が重なり合ってい
るので，パス選択部１０５によるパス選択処理を行う。

【００６６】図１０は，本具体例の文字画像「約」につ
いてのパス選択処理の説明図である。それぞれの文字矩
形６１９，６２０及び６２１に含まれる文字画像につい
て，文字認識部１０４のパターン辞書メモリ１０６に基
づく認識処理が行われ，認識結果及び類似度が得られ
る。これらの類似度平均を算出し，分けた場合の類似度
平均よりも統合した場合の類似度が大きいので，統合し
たパスが選択され，認識結果”約”が選択されることと
なる。

【００６７】他の文字画像についても，同様のパス選択
処理がなされ，図１１に示すような結果が得られる。

【００６８】

【発明の効果】以上説明したように，本発明の第１の特
徴の文字認識方法及び第１の特徴の文字認識装置によれ
ば，先ず領域抽出ステップまたは領域抽出手段におい
て，入力した文書画像について，同一種画素の連結成分
を抽出し，該連結成分と外接し閉包する多角形領域を定
め，次に文字切り出しステップまたは文字切り出し手段
において，隣接または重合する複数の多角形領域につい
て，幾何学的な相対関係と所定規則に基づいて多角形領
域の統合または分離を判断し，該判断結果に基づいて多
角形領域及び該多角形領域に含まれる画素成分を文字切
り出し結果の確定した画像か不確定な画像かを判断する
ようにし，また，文字切り出し結果の確定した画像と同
一形状の画像の文字切り出し結果について，文字切り出
し結果の確定した画像として判断することとし，幾何学
的な相対関係と所定規則に基づいて多角形領域の統合ま
たは分離を判断した後，文字切り出し結果の不確定な画
像については，同一形状の画像について確定した文字切
り出し結果の画像を伝搬させ，また，文字切り出し結果
が確定した画像との位置関係を用いて，文字切り出し結
果が不確定な画像の文字切り出し結果を確定していくこ
ととしたので，文字切り出し結果の確度を向上させ得る
文字認識方法及び文字認識装置を提供することができ
る。

【００６９】また，第２の特徴の文字認識方法及び第２
の特徴の文字認識装置によれば，先ず領域抽出ステップ
または領域抽出手段において，入力した文書画像につい
て，同一種画素の連結成分を抽出し，該連結成分と外接
し閉包する多角形領域を定め，次に行または列切り出し
ステップまたは行または列切り出し手段において，領域
抽出ステップまたは領域抽出手段で定められた多角形領
域を参照して，行として該行内に含まれる多角形領域を
全て包含する行矩形，または，列として該列内に含まれ
る多角形領域を全て包含する列矩形を抽出し，次に文字
切り出しステップまたは文字切り出し手段において，行
または列切り出しステップまたは行または列切り出し手
段で抽出された行矩形または列矩形に含まれ，隣接また
は重合する複数の多角形領域について，幾何学的な相対
関係と所定規則に基づいて多角形領域の統合または分離
を判断し，該判断結果に基づいて多角形領域及び該多角
形領域に含まれる画素成分を文字切り出し結果の確定し
た画像か不確定な画像かを判断するようにし，また，文
字切り出し結果の確定した画像と同一形状の画像の文字
切り出し結果について，文字切り出し結果の確定した画
像として判断することとし，幾何学的な相対関係と所定
規則に基づいて多角形領域の統合または分離を判断した
後，行矩形または列矩形内で文字切り出し結果の不確定
な画像については，同一形状の画像について確定した文
字切り出し結果の画像を伝搬させ，また，文字切り出し
結果が確定した画像との位置関係を用いて，文字切り出
し結果が不確定な画像の文字切り出し結果を確定してい
くこととしたので，文字切り出し結果の確度を向上させ
得る文字認識方法及び文字認識装置を提供することがで
きる。

【００７０】また，第３の特徴の文字認識方法によれ
ば，文字切り出し結果の不確定な画像について，該文字
切り出し結果の不確定な画像と文字切り出し結果の確定
した画像との相対的位置関係に基づいて，文字切り出し
結果の確定した画像か不確定な画像かを判断することと
したので，文字切り出し結果の確度をより向上させ得る
文字認識方法を提供することができる。

【００７１】また，第４の特徴の文字認識方法によれ
ば，文字切り出し結果の不確定な画像について，該文字
切り出し結果の不確定な画像の両側が文字切り出し結果
の確定した画像である場合には，該文字切り出し結果の
不確定な画像を文字切り出し結果の確定した画像として
判断することとしたので，文字切り出し結果の確度をよ
り向上させ得る文字認識方法を提供することができる。

【００７２】また，第５の特徴の文字認識方法によれ
ば，，文字切り出し結果の不確定な画像について，該文
字切り出し結果の不確定な画像が行矩形または列矩形の
端部に位置し，一方の側が文字切り出し結果の確定した
画像である場合には，該文字切り出し結果の不確定な画
像を文字切り出し結果の確定した画像として判断するこ
ととしたので，文字切り出し結果の確度をより向上させ
得る文字認識方法を提供することができる。

【００７３】また，第６の特徴の文字認識方法によれ
ば，文字切り出し結果の確定した画像と同一形状の画像
の文字切り出し結果について文字切り出し結果の確定し
た画像として判断する際の同一形状の判断を，形状の大
きさ，重心の位置及びまたは複雑さに基づく類似度で行
うこととしたので，文字切り出し結果の確度をより向上
させ得る文字認識方法を提供することができる。

【００７４】更に，第７の特徴の文字認識方法によれ
ば，文字切り出し結果の確定した画像か不確定な画像か
を判断を繰り返し行い，新たに確定される文字切り出し
結果の画像が無くなったときに該繰り返し処理を終了す
ることとしたので，文字切り出し結果の確度をより向上
させ得る文字認識方法を提供することができる。

【図面の簡単な説明】

【図１】本発明に係る文字認識装置の原理説明図であ
り，本発明の一実施例に係る文字認識装置の構成図であ
る。

【図２】本発明に係る文字認識方法の処理手順を説明す
る概略フローチャートである。

【図３】実施例における行内矩形の統合処理を具体的に
説明する説明図である。

【図４】行内矩形の統合処理において３つの場合分けを
行う理由を説明する説明図である。

【図５】統合された統合矩形を削除する場合及び分離さ
れたままの統合矩形を削除する場合の具体例を説明する
説明図である。

【図６】確定文字矩形の伝搬処理の説明図（その１）で
あり，行矩形の統合処理によって得られた結果である。

【図７】確定文字矩形の伝搬処理の説明図（その２）で
ある。

【図８】確定文字矩形の伝搬処理の説明図（その３）で
ある。

【図９】確定文字矩形の伝搬処理の説明図（その４）で
ある。

【図１０】パス選択処理を説明する説明図である。

【図１１】確定文字矩形の伝搬処理の説明図（その５）
であり，認識結果である。

【符号の説明】

１０１ 矩形抽出部（領域抽出手段） １０２ 行切り出し部（行または列切り出し手段） １０３ 文字切り出し部（文字切り出し手段） １０４ 文字認識部 １０５ パス選択部 １０６ パターン辞書メモリ １１１ 文書画像入力 １１２ 認識結果出力

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 入力した文書画像について，同一種画素
   の連結成分を抽出し，該連結成分と外接し閉包する多角
   形領域を定める領域抽出ステップと，隣接または重合す
   る前記複数の多角形領域について，該多角形領域の幾何
   学的な相対関係と所定規則に基づいて前記複数の多角形
   領域の統合または分離を判断し，該判断結果に基づいて
   多角形領域及び該多角形領域に含まれる画素成分を文字
   切り出し結果の確定した画像か不確定な画像かを判断す
   る文字切り出しステップと，を有し，前記文字切り出し
   ステップでは，文字切り出し結果の確定した画像と同一
   形状の画像の文字切り出し結果について，文字切り出し
   結果の確定した画像として判断することを特徴とする文
   字認識方法。
2. 【請求項２】 入力した文書画像について，同一種画素
   の連結成分を抽出し，該連結成分と外接し閉包する多角
   形領域を定める領域抽出ステップと，前記領域抽出ステ
   ップで定められた多角形領域を参照して，行として該行
   内に含まれる多角形領域を全て包含する行矩形，また
   は，列として該列内に含まれる多角形領域を全て包含す
   る列矩形を抽出する行または列切り出しステップと，前
   記行または列切り出しステップで抽出された行矩形また
   は列矩形に含まれ，隣接または重合する前記複数の多角
   形領域について，該多角形領域の幾何学的な相対関係と
   所定規則に基づいて前記複数の多角形領域の統合または
   分離を判断し，該判断結果に基づいて多角形領域及び該
   多角形領域に含まれる画素成分を文字切り出し結果の確
   定した画像か不確定な画像かを判断する文字切り出しス
   テップと，を有し，前記文字切り出しステップでは，文
   字切り出し結果の確定した画像と同一形状の画像の文字
   切り出し結果について，文字切り出し結果の確定した画
   像として判断することを特徴とする文字認識方法。
3. 【請求項３】 前記文字切り出しステップでは，文字切
   り出し結果の不確定な画像について，該文字切り出し結
   果の不確定な画像と文字切り出し結果の確定した画像と
   の相対的位置関係に基づいて，文字切り出し結果の確定
   した画像か不確定な画像かを判断することを特徴とする
   請求項１または２記載の文字認識方法。
4. 【請求項４】 前記文字切り出しステップでは，文字切
   り出し結果の不確定な画像について，該文字切り出し結
   果の不確定な画像の両側が文字切り出し結果の確定した
   画像である場合には，該文字切り出し結果の不確定な画
   像を文字切り出し結果の確定した画像として判断するこ
   とを特徴とする請求項１，２または３記載の文字認識方
   法。
5. 【請求項５】 前記文字切り出しステップでは，文字切
   り出し結果の不確定な画像について，該文字切り出し結
   果の不確定な画像が前記行矩形または前記列矩形の端部
   に位置し，一方の側が文字切り出し結果の確定した画像
   である場合には，該文字切り出し結果の不確定な画像を
   文字切り出し結果の確定した画像として判断することを
   特徴とする請求項２，３または４記載の文字認識方法。
6. 【請求項６】 前記文字切り出しステップでは，文字切
   り出し結果の確定した画像と同一形状の画像の文字切り
   出し結果について文字切り出し結果の確定した画像とし
   て判断する際の同一形状の判断を，形状の大きさ，重心
   の位置及びまたは複雑さに基づく類似度で行うことを特
   徴とする請求項１，２，３，４または５記載の文字認識
   方法。
7. 【請求項７】 前記文字切り出しステップでは，文字切
   り出し結果の確定した画像か不確定な画像かを判断を繰
   り返し行い，新たに確定される文字切り出し結果の画像
   が無くなったときに該繰り返し処理を終了することを特
   徴とする請求項１，２，３，４，５または６記載の文字
   認識方法。
8. 【請求項８】 入力した文書画像について，同一種画素
   の連結成分を抽出し，該連結成分と外接し閉包する多角
   形領域を定める領域抽出手段と，隣接または重合する前
   記複数の多角形領域について，該多角形領域の幾何学的
   な相対関係と所定規則に基づいて前記複数の多角形領域
   の統合または分離を判断し，該判断結果に基づいて多角
   形領域及び該多角形領域に含まれる画素成分を文字切り
   出し結果の確定した画像か不確定な画像かを判断する文
   字切り出し手段と，を有し，前記文字切り出し手段は，
   文字切り出し結果の確定した画像と同一形状の画像の文
   字切り出し結果について，文字切り出し結果の確定した
   画像として判断することを特徴とする文字認識装置。
9. 【請求項９】 入力した文書画像について，同一種画素
   の連結成分を抽出し，該連結成分と外接し閉包する多角
   形領域を定める領域抽出手段と，前記領域抽出手段で定
   められた多角形領域を参照して，行として該行内に含ま
   れる多角形領域を全て包含する行矩形，または，列とし
   て該列内に含まれる多角形領域を全て包含する列矩形を
   抽出する行または列切り出し手段と，前記行または列切
   り出し手段で抽出された行矩形または列矩形に含まれ，
   隣接または重合する前記複数の多角形領域について，該
   多角形領域の幾何学的な相対関係と所定規則に基づいて
   前記複数の多角形領域の統合または分離を判断し，該判
   断結果に基づいて多角形領域及び該多角形領域に含まれ
   る画素成分を文字切り出し結果の確定した画像か不確定
   な画像かを判断する文字切り出し手段と，を有し，前記
   文字切り出し手段は，文字切り出し結果の確定した画像
   と同一形状の画像の文字切り出し結果について，文字切
   り出し結果の確定した画像として判断することを特徴と
   する文字認識装置。