JPH04104385A - 帳票識別処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、枠と文字の混在する帳票における帳票識別処
理装置に関する。

〔従来技術〕

■、被文字認識領域を抽出する従来手法としては、（ａ
）帳票中の枠は前もって排除しておき、予め登録してお
いた文字の記入領域の物理的な座標値を参照して、常に
決まったある一定の領域を抽出する手法（ＯＣＲに用い
られる）、（ｂ）ＩＮＮ両画像中ら線分や白画素の連結
特徴などを利用して枠の領域を抽出し、予め抽出するべ
き領域の位置、サイズを与えておき、画像から抽出され
た枠領域から条件にあったものを選択することにより被
文字認識領域を抽出する手法などがある。

■、＠票識別の従来手法としては、画像から得られた特
徴と、帳票種ごとの特徴辞書との距離計算を行なうこと
によって識別している。被文字認識領域抽出処理の前処
理として位置づけられ、この処理が完了した後、識別さ
れた帳票種のモデルに従って、被文字認識領域を抽出す
る。

〔発明が解決しようとする課題〕

しかしながら、前記１．の（ａ）の従来手法では、抽出
する領域の位置、サイズが固定されている帳票でないと
用いることができない。

また、前記１．の（ｂ）の手法では、従来手法（ａ）よ
りも領域の位置、サイズにおけるフォーマットの曖昧性
に対して柔軟であるが、被文字認識領域の決定を画像か
ら得られた特徴に委ねているため、入力画像の品質や特
徴抽出方法による依存度が高い。特徴抽出方法に依存し
ないエラーの検出や、そのリカバリー処理が必要である
。

また、前記被文字認識領域外をも含む画像−面から得た
画像特徴を利用して帳票種の識別をする■、の従来手法
では、抽出しようとする領域の外側のフォーマットが維
持されていないような帳票を識別する際、多数の無意味
な帳票種にカテゴリ分けしないと良い識別結果が得られ
ない。カテゴリ分けが適切でないと、帳票種を誤って識
別することになり、不適切なモデルを用いて被文字認識
領域を抽出することになるため抽出結果の誤りを生ずる
。

本発明の目的は、被文字認識領域の位置・サイズのフォ
ーマット規定が曖昧な帳票や、抽出領域外のフォーマッ
トが安定しない帳票に対しても柔軟に領域の実座標を抽
出でき、同時に帳票種を識別できる帳票識別処理装置を
提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本
明細書の記述及び添付図面によって明らかになるであろ
う。

〔課題を解決するための手段〕

前記目的を達成するために、本発明は、枠及び文字を含
む帳票を計算機で識別する処理装置において、画像から
枠領域を抽出する枠領域抽出手段と、画像から文字列領
域を抽出する文字列領域抽出手段と、前記両手段の対応
付けから得られた枠領域と文字領域の間の関係と予め帳
票種ごとにモデルとして定義されている枠領域・文字列
領域関係、及び夫々の領域の属性を照合する照合手段と
、この照合手段の結果から被文字認識領域の実座標を決
定する被文字認識領域実座標決定手段と、その被文字認
識領域の照合の度合いによって帳票種の識別をする帳票
種識別手段を備えたことを最も主要な特徴とする。

〔作　用〕

前述した手段によれば、枠及び文字が混在する帳票にお
いて、帳票イメージ画像から枠領域と文字列領域を抽出
し、両者の領域間の関係及び属性を、予め帳標種ごとに
モデルとして定義している抽出すべき領域の枠領域・文
字列領域間の関係及び属性と照合を行なうことにより、
モデルと実画像の対応をとって被文字認識領域の実座標
を決定する。そして、抽出された領域のみの照合度合い
によって帳票種の識別をする。

つまり、安定しない抽出すべき領域の外側の影響を極力
避けるため、抽出する領域内部の属性と抽出領域間の相
対関係（上下左右の相対方向関係）とを用いて照合を行
なう。そのためには、帳票識別をしてから領域抽出とい
うプロセスではなく、各帳票種の情報をモデルとして定
義し、その情報をトップダウンに用いて、各領域をその
内部状態のみによって照合を行ない、最も照合度合いの
高かったものをその帳票の帳票種とする方法が望ましい
。このような手法を採用すると、個々の領域をどのよう
な手法を用いて特定化するかが問題となる。枠と文字が
混在する帳票において抽出しようとする被文字認識領域
は、記入する人がその記入方法を間違えない限り、記入
位置の指定と、記入した実際の文字との関係が保存され
ているはずである。この関係は、帳票フォーマットの作
成者が文字記入位置の指定方法を設定した時点で、各帳
票種の被抽出領域に対して個々に決まるものであり、帳
票を構成するその関係は、比較的少数の有限個のタイプ
で表現できる。この枠・文字列関係タイプを用いて照合
を行なうことによって、被文字認識領域抽出の際の領域
の位置、サイズ等の曖昧性を特定化することや、特徴抽
出エラーの検出をすることができる。

また、文字の記入を促す視覚的なパターン（記入枠）を
記入欄形態とすると、同じ事柄を記入する欄でもいくつ
かの異なる記入形態を用いることができる。この枠・文
字関係タイプを用い、ヒユーリスティックなタイプ書換
規則を定義しておくことにより、記入欄形態の規定が曖
昧である帳票も同−帳票種として扱うことができる。つ
まり、少数のモデルで多様な帳票を吸収することができ
る。

〔発明の実施例〕

以下、本発明の一実施例を図面を用いて具体的に説明す
る。

第１図は、本発明の帳票識別処理装置の一実施例の概略
構成を示すブロック図、 第２図は、第１図の機能システムを示すブロック図、 第３図及び第４図は、第２図のフィールド候補生成部及
びフィールドマツチング部のそれぞれの処理手順を示す
フローチャート、 第５図は、照合に用いる枠・文字関係タイプを示す図、 第６図乃至第８図は、本実施例の帳票識別処理装置の動
作を説明するための図である。

第１図において、１は帳票上の画像を入力するための画
像入力装置、２は帳票識別を行なうための演算処理装置
、３は帳票識別を行なうためのメモリ、４は識別結果を
表示するデイスプレィである。

また、第２図において、１１は帳票のイメージ画像を抽
出するイメージリーダ、１２はイメージメモリ、１３は
帳票画像中から画像の特徴を抽出する画像特徴抽出部で
ある。１４は画像特徴から枠領域を生成する枠領域生成
部であり、１５は文字列領域を生成する文字列領域生成
部である。１６は帳票画像から得られた枠領域と文字列
領域から枠・文字関係タイプを決定してフィールド候補
を生成するフィールド候補生成部、１７はフィールド候
補ワーキングメモリ、１８はフォーマットメモリであり
、各帳票種のフォーマット情報（帳票モデル）は、この
フォーマットメモリ１８に格納されている。１９はフィ
ールド候補生成部１６の処理結果とフォーマットメモリ
１８の帳票モデルからその照合の確信度を計算するフィ
ールドマツチング部である。２０はその確信度から帳票
の種類を決定する帳票識別部である。

前記フィールド候補生成部１６の処理手順を第３図に従
って説明する。

まず、枠領域ナンバーを設定（初期化）シ（１０１）、
文字列領域ナンバーを設定（初期化）する（１０２）。

次に、枠領域・文字列領域に対応相はタイプを付与し、
フィールド候補を生成する（１０３）。

次に、タイプ付与ができたかをチエツクしく１０４）、
ＮＯであれば、枠領域・文字列領域の修正処理して（１
ｏ５）、ステップ１０１に戻り、ＹＥＳであれば、文字
列領域綿りかをチエツクする（１０６）。ステップ１０
６でＮｏであれば、次の文字列領域へ移り（１０７）、
ステップ１゜２に戻り、ＹＥＳであれば、枠領域終りか
をチエツクする（１０８）。ステップ１０８でＮｏであ
れば、次の枠領域へ移り（１０７）、ステップ１０２に
戻り、ＹＥＳであれば、フィールド候補生成部６の処理
は終了する。

次に、前記フィールドマツチング部１９の処理手順を第
４図に従って説明する。

まず、帳票モデルナンバーを設定（初期化）し（２０１
）、フィールドモデルナンバーを設定（初期化）Ｌ　（
２０２）　、フィールド候補ナンバーを設定（初期化）
する（２０３）。

次に、フィールドモデルナンバーとフィールド候補間の
確信度の計算を行なう（２０４）。次に、フィールド候
補路りかをチエツクしく２０５）、ＹＥＳであれば、ス
テップ２０７に進み、ＮＯであれば、次のフィールドモ
デルに移り（２０６）、ステップ２０４に戻る。ステッ
プ２０７でマツチするフィールド候補はないかをチエツ
クし、ＹＥＳであれば、枠・文字関係タイプ変換規則を
適用して修正しく２０８）、ステップ２０３に戻り、Ｎ
ｏであれば、フィールドモデル終りかをチエツクする（
２０９）。ステップ２０９でＹＥＳであれば、ステップ
２１１に進み、Ｎｏであれば、次のフィールドモデルに
移り（２１０）、ステップ２０３に戻る。

ステップ２１１では帳票確信度の計算を行ない、帳票モ
デル終りかをチエツクしく２１２）、ＮＯであれば、次
の帳票モデルへ移り（２１３）、ステップ２０２に戻り
、ＹＥＳであれば、フィールドマツチング部１９の処理
は終了する。

次に、本実施例の帳票識別処理装置の動作を説明する。

まず、初めに、与えられた帳票群を人間がいくつかのカ
テゴリに分類し、夫々のカテゴリに対し、予め抽出する
べき個々の領域におけるだいたいの位置、サイズ及び枠
・文字関係タイプをフィールドモデルとし、フィールド
間の相対方向関係（上下左右）をフィールド関係モデル
として登録しておく。これらのモデルが、帳票モデルを
構成している。帳票モデルは、第２図に示すフォーマッ
トメモリ１８に記憶しておく。

本実施例の帳票識別処理装置で扱う領域は、すべて長方
形の形をした矩形で表現する。

第２図に示すように、帳票上の画像をイメージリーダ１
１により読み取り、イメージメモリ１２に一時格納する
か又は直接画像特徴抽出部１３に入力する。画像特徴抽
出部１３では、識別する帳票の二値画像（第６図）から
、白画素連結成分（自速矩形）に外接する矩形、黒画素
連結成分に外接する矩形（黒連矩形）を抽出する（第７
図）。

但し、極端に小さな自速矩形、大きな黒連矩形は排除す
る。

前記画像特徴抽出部１３の出力は、枠領域生成部１４及
び文字列領域生成部１５に夫々入力され、枠領域生成部
１４により自速矩形は、そのまま枠領域候補とされる。

また、文字列領域生成部１５により、黒連矩形の下部（
横書きの場合）が直線上に並び、文字の高さが連続ｎ個
以上（ｎ＝２程度）異ならないようなものをグルーピン
グし文字列領域候補とし、その領域中の文字切り出しを
行ない、文字領域候補を生成し、文字数・文字ピッチを
抽出する。

また、極端にピッチが異なるものは、文字列領域候補を
再分割する。

そして、枠領域生成部１４及び文字列領域生成部１５の
出力は、フィールド候補生成部１６に入力され、ここで
、すべての枠領域候補と文字列領域候補を対応づけて（
第８図）、フィールド候補を生成し枠・文字関係タイプ
（第５図）を付与する。

第５図の（ａ）〜（ｅ）のタイプは以下のような意味を
示す。

（ａ）二枠中の文字列１行で、 Ｆ＜Ｌ　＊　Ｃ であるような組み合わせ。

但し、Ｆ：枠領域のＹ方向サイズ Ｌ二文字列領域のＹ方向サイズ Ｃ：定数（Ｃ＝３程度） （ｂ）：枠中に文字複数行存在し、行の幅、行のピッチ
が均一である組み合わせ。

（ｃ）〜（ｅ）：複数の枠で、プリミティブな意味をな
すフィールド。枠領域中の文 字列領域のつめ方による３形態。

（ｆ）二枠のみ （ｇ）二叉字列のみ まず、枠領域候補に対して行領域候補が包含関係にある
組み合わせに対して、枠領域内に文字列が１行存在する
ものと、複数行存在するものどに分ける。前者にタイプ
（ａ）を、後者にタイプ（ｂ）を付与し、フィールド候
補として登録する。次に、サイズが等しく底辺のそろっ
た瞬接する枠領域を統合し、その領域に対して文字列領
域の包含関係にあるものを抽出する。文字列領域を文字
に切り出した結果と統合する前の個々の枠領域の包含関
係を調べ、この関係を満足するものに対しタイプ（ｃ）
〜（ｅ）を付与する（（Ｃ）〜（ｅ）の夫々のタイプは
、文字がどちらの方向に詰まっているかによって判断す
る）。

ここで、枠と文字列とが包含関係にないものについて、
以下のような領域抽出不良によるエラーを考慮したいく
つかの修正を行なった上で、再度タイプの付与を行なう
。

■、サイズが等しく底辺のそろった（Ｙ座標が等しい）
枠領域にまたがっている文字列領域が存在する場合、そ
れらの枠領域を統合したものも追加する。

■、大幅にサイズの異なり、底辺のそろっていない、隣
接した枠領域にまたがる文字列領域がある場合は、枠領
域の隣接部で切断した文字列領域を追加する。

■０文字列領域の一部が枠領域に含まれているとき、含
まれている部分の枠領域と同形の枠領域をいくつか連結
して文字列領域を包含させる（第８図（ｄ））。

いずれのフィールド候補生成にも関与しなかった枠領域
、文字列領域をタイプ（ｆ）、（ｇ）として登録する。

尚、フィールド候補のデータベースは、枠領域、文字列
領域の位置、サイズ、文字領域中の文字数などの属性、
及び関係タイプがすべて同一であるようなものが登録さ
れた場合、一方が削除されるような機能をもっている。

次に、フィールドマツチング部１９で、各帳票種のフィ
ールドモデルとフィールド候補との間で照合を行なう。

フィールドモデルに記述されているフィールドの位置と
サイズから以下の式によって実効許容範囲を求める。尚
、定義する領域位置、サイズの許容度を算出するための
定数は予め設定されている。

ｄ　ｘ＝（１−ｆ　ｘ／ｉ　ｘ）＊Ｃ１＋Ｃ２ｄ　ｙ＝
（１−ｆ　ｙ／ｉ　ｙ）＊ｃ１＋ｃ２ｆＸ：定義されて
いるフィールドのＸ方向のサイズｆｙ：定義されている
フィールドのＸ方向のサイズ１Ｘ：基準となる帳票のＸ
方向のサイズｉｙ：基準となる帳票のＸ方向のサイズｄ
Ｘ：定義されているフィールドサイズに対するＸ方向の
拡張サイズ ｄｙ：定義されているフィールドサイズに対するＸ方向
の拡張サイズ ＣＩ、Ｃ２：定数 実効許容範囲は、定義されているフィールドのＸ方向の
左右に均等にｄｘを、また、Ｘ方向の上下に均等にａｙ
を膨張させた領域とする。

上記の実効許容範囲の矩形と重なるすべてのフィールド
候補に対して枠・文字関係パターンの照合を行なう。実
行許容範囲であっても、各フィールドにおいて、上下左
右のフィールド間の相対方向関係は、維持されていなけ
ればならない。また、夫々のフィールドモデルに一致し
たフィールド族補が、互いに重なっていないかどうかの
チエツク、既知の定性的情報のチエツク（文字数、文字
種）（第８図（Ｃ）二文字数不一致によるフィールド識
別）もここで行なう。これらの条件をクリアしたフィー
ルド候補に対して次式により確信度を付与する。一つの
モデルについて、複数のフィールドが一致した場合は、
このフィールド確信度が最大のものを一つ選択する。

ｍｃ＋、＋ｈ＝ａｄ＋、＋に／ａｆｋ ｆｃＩｊ＝ｍａｘ（ｍｃ、、ｌｘ、ｍｃ＋ｊｌ、ｍｃｌ
ｊｋ＋、ｍ　ＣＩｊｎ）　ａ　ｄ　：照合に用いたフィ
ールド候補と実効許　　　容範囲との重なり領域の面積 ａｆ：照合に用いたフィールド候補の面積ｍｃ：フィー
ルドモデルとフィールド候補を照合した結果得られた確
信度 ｆｃ：照合によるフィールドの確信度 ｉ：帳帳票番号 Ｊ：帳票種中ｉのフィールドモデル番号に：画像から抽
出されたフィールド候補番号ｎ：抽出されたフィールド
候補数 マツチングに失敗したとき、モデル側の枠・文字関係タ
イプについて、フィールドの指定形態の曖昧性を考慮し
て、いくっがのヒユーリスティックな変換規則などを適
用してマツチングを再度試みる。以下、変換規則の例を
示す。（ｃ）〜（ｅ）に対して、文字ごとの区切りのな
い（ａ）を代用する。

もしくは反対に、（ａ）に対して、（ｃ）〜（ｅ）を代
用する（第８図（ｂ））。（ａ）の指定に対して、（ｆ
）。

（ｇ）を代用する。

最後に、帳票識別部２０で、以下の式によって各帳票種
ごとの確信度を求め、この値が最も高かったものをもっ
て、その帳票種であると識別する。

１　□ ｄ　ｃ、ニーΣｆｃ＋ｐ ｆｃ：照合によるフィールドの確信度 ｎニー帳票中に定義されているフィールドモデル数ｄｃ
：帳票種ｌの確信度 Ｒｒ：　ｍａ　ｘ（ｄ　ｃ＋＋ｄ　Ｃａ、ｄ　ＣＩ＋”
’＋ｄ　ｃｎ）ｒはｍａｙによって選択された要素の添
字ｄｃ：照合した帳票種の確信度 ｎ：モデルに登録されている帳票種の数Ｒ：識別された
帳票種の確信度 ｒ：識別された帳票種（最大となったｄｃの添字ｉ）以
上の説明かられかるように、本実施例によれば、枠領域
と文字列領域の関係タイプを利用することにより、領域
抽出エラーの検出及び修正ができる。

また、曖昧な領域位置指定に対して類似サイズの枠領域
の誤抽出を減少させることができる。

フィールド照合の際、ヒユーリスティックに関係タイプ
の変換を行なうことにより、記入欄の形態の指定が曖昧
な帳票に対して対応できる。

以上、本発明を実施例にもとづき具体的に説明したが、
本発明は、前記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は言うまでもない。

〔発明の効果〕

以上、説明したように、本発明によれば、帳票のイメー
ジ画像から枠領域と文字列領域を抽出し、両者の領域間
の関係及び属性を、予め帳標種ごとにモデルとして定義
している抽出すべき領域の枠領域・文字列領域間の関係
及び属性と照合を行なうことにより、被文字認識領域の
位置・サイズのフォーマット規定が曖昧な帳票や、抽出
領域外のフォーマットが安定しない帳票に対しても柔軟
に領域の実座標を抽出でき、同時に帳票種を識別できる
。

【図面の簡単な説明】

第１図は、本発明の帳票識別処理装置の一実施例の概略
構成を示すブロック図、 第２図は、第１図の機能システムを示すブロック図、 第３図は、第２図のフィールド候補生成部の処理手順を
示すフローチャート、 第４図は、第２図のフィールドマツチング部の処理手順
を示すフローチャート、 第５図は、照合に用いる枠・文字関係タイプを示す図、 第６図乃至第８図は、本実施例の帳票識別処理装置の動
作を説明するための図である。 図中、１・・画像入力装置、２・・・演算処理装置、３
・・・メモリ、４・・・デイスプレィ、１１・・・イメ
ージリーダ、１２・・・イメージメモリ、１３・・・画
像特徴抽出部、１４・・・枠領域生成部、１５・・文字
領生成出部、１６・・フィールド候補生成部、１７・・
フィールド候補ワーキングメモリ、１８・・・フォーマ
ットメモリ、１９・・・フィールドマツチング部、２０
・・・帳票識別部。

Claims (1)

【特許請求の範囲】
1. （１）枠及び文字を含む帳票を計算機で識別する処理装
   置において、画像から枠領域を抽出する枠領域抽出手段
   と、画像から文字列領域を抽出する文字列領域抽出手段
   と、前記両手段の対応付けから得られた枠領域と文字領
   域の間の関係と予め帳票種ごとにモデルとして定義され
   ている枠領域・文字列領域関係、及び夫々の領域の属性
   を照合する照合手段と、この照合手段の結果から被文字
   認識領域の実座標を決定する被文字認識領域実座標決定
   手段と、その被文字認識領域の照合の度合いによって帳
   票種の識別をする帳票種識別手段を備えたことを特徴と
   する帳票識別装置。