JPS61193275A - 文書入力方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明は、表形式の文書上の文字を読み取る目的に好適
な文書処理方式における枠構造の抽出、確認手段に係シ
、特に書式全自動的に生成する場合に好適な発明に関す
る。

〔発明の背景〕

従来の文字読み取シ装ｆｉｔ（以下、ＯＣＲと略する）
では、読み取シ領域’ｔＯｃＲが感じない色（ドロップ
アウトカラー）ｔ−用いて印刷する必要がめり、印刷費
用が高価になる問題があった。さらに文字読み取シ領域
の位置を文書のエツジからの距離として記述し、その領
域の文字数や文字種・チェック方法などを指定する必要
がロシ、煩雑であった。以下、文字読み取シ領域の位置
情報や領域内の文字数や文字種・チェック方法などの情
報を書式情報と呼ぶ。文字認識機能は従来のように専用
ＯＣＲだけでなく、文書ファイルやＯＡ用ワークステー
ションなどにも要求されているが、上記の問題点が広い
普及を阻んでいた。

従来技術では、たとえば公開特許公報昭和５８−２０７
１８４号（昭和５８年１２月２日公開）において、入力
画像からあらかじめメモリ内に格納しておいた定形的な
画像を除去する方法、ならびに定形的な画像を用いて文
書の種類を識別する方法が開示されている。しかし、こ
の方法ではメモリに画像を記憶するのでメモリーが増大
し、また文書の変形（伸縮・回転・位置ずれなど）が生
じたとき正しく除去できないおそれがあった。かかる問
題点を解決する手段として入力文書の構造を自動的に理
解して文書の書式を自動的に生成することにより、対象
文書の範囲を拡大し、書式情報作成の手間を簡略化する
手段ｔ−特願昭５９−１８０５１７に開示したが、枠の
認識を誤った場合に゛誤って登録されてしまうなどの問
題があった。

〔発明の目的〕

本発明の目的は入力文書の構造を自動的に理解して文書
の書式を自動的に生成する手段において枠構造の抽出を
確実になし得る手段を提供することにある。

〔発明の概要〕

かかる目的を達成するために、本発明においては識別対
象文書の画像から枠部分を抽出し、枠として不確実な枠
が表われた時にこれを候補枠としてディスプレイ上に表
示し、マンマシン対話により除去または登録することに
よって枠構造の抽出を確実にするとともに、枠構造ｔｇ
識して枠に番号付けをし、番号の付いた枠と、６粋に対
応した文字認識結果を表示することによって帳票の書式
認識ｆ：確実にするものである。

〔発明の実施例〕

以下、本発明を図面を用いて詳細に説明する。

第１図は本発明の文書理解方式を実施する装置の構成を
示すブロック図である。装置の各部はバスｌに接続され
、全体の動作は制御部２によシ制御される。文書３上の
情報（文畳画像）は光電変換装置４によシ走査され、さ
らにディジタル化され、バスｌを介してメモリ５１に格
納される。メモリ５１は後述する５２，５３．５４とと
もにメモリ５の一部をなす。ディジタル化の際、公知の
高効率符号化処理を行ってもよく、これによシ文書画像
を記憶するメモリの記１容量を節約できる。

また、以下の説明では１画素１ビツトに二値化するもの
とするが、１画素を多値で表現してもよく、カラースキ
ャナによシ光電変換し上包情報を付与してもよい。

文書の処理には登録モードと識別モードとがある。□モ
ードの選択はキーボード６、ディスプレイ７を用いて制
御部２とマンマシン対話によシ行う。

まず、登録モードの場合を説明する。登録モ―ドの処理
の流れ図′ｆ！：第２図に示す。この処理は制御ｓ２の
ソフトウェアによシ実行される。第２図で、２０１は見
本文書画像の入力であシ、各文書類聾どとに見本文書を
用い、この見本文書上の画像をメモ′す５１の中に格納
する。２０２では見本文書画像に対し位置補正処理、傾
き補正処理などの正規化を行い、七の結果得ら几る画像
がメモリ５２に格納される。この正規化画像に対し、２
０３で線抽出処理が行われ、抽出された線パターンはメ
モリ５３に格納される。第３図は線パターン抽出の処理
内容を説明する囚であシ、（Ａ）のような入力画像から
水平方向の線抽出によ！１）（Ｂ）のような水平線パタ
ーンを得、同様に（Ａ）から垂直方向の線抽出によｊｌ
）　（Ｃ）のような垂直線パターンを得、（Ｂ’）と（
Ｃ）との論理和によシ（Ｄ）のような画像を得る。以後
（Ｄ）ｔ−線パターンと呼ぶ。線パターン抽出処理の詳
細については後述する。２０４では線バｉ−ンから輪郭
抽出によ〕輪郭上の座標点列を抽出す為。この座標点列
は輪郭の例数だけ得られる。以下では輪郭の中で内輪郭
だけを処理する。ここで内輪郭とは白地を取）囲む黒地
の境界であシ、白地を右側に黒地を左側に見るようにし
て輪郭を一周したとき時計回シに一周するような輪郭を
言う。２０５ではこの内輪郭の中から長方形をなす本の
を抽出する。長方形判定の詳細については後迷子る。以
後長方形をなす内輪郭を枠と呼ぶ。２０′６では枠の４
隅の座標を用いて枠の順序を左上から右下へと並べ換え
、枠に番号（枠番号）ｔ一つける。このようにして抽出
した長方形は、例えば帳票が傾いて光電変換装置４に入
力されると、第３図（Ｅ）に示すように実際の長方形Ｐ
ＩＦ２Ｐ３より細＜ＰＩＰ２’Ｐ３Ｐ４’のように抽出
される場合かめる。

−１後述するように線抽出の際のノイズを防ぐために、
抽出すべき線長に最小値を設定するが、線分ＰＩＰ２’
　、Ｐ３Ｐ４’がこの最小値に近い値の時には、これを
無条件に長方形とすると文字等の線分を含めたり、又は
逆に無条件に捨て去ると必要な長方形をおとした９して
、枠構造の抽出が不正確になる。同様に第３図（Ｆ）の
ように長方形の任意の辺が切断される場合も有る。そこ
で抽出した枠構造をディスプレイ７に表示し、１じ正の
有無を確認する。まず長方形の判定に曖昧性を持たせ、
長方形と決定出来ない枠については候補枠として枠表示
の際に他の枠と異なる色や破線による表示、または枠の
中あるいは周辺に候補枠であることを示す記号を付して
例えば第４因の如く表示する。セして表示された枠構造
を見て枠と認められる候補枠又は認められない候補枠に
対して登録又は削除の応答をキーボード６を介して行な
う。

さらにまた存在しない枠や、抜けてしまった枠が有る場
合には再試行を行なわせるようにキーボードを介してメ
ツセージを入力する。

次に抽出した枠が複数１１ｉｌｉＩあったとき、枠の間
の相互関係すなわち枠ｍと枠ｎの間の関係コードＣｍ　
ｎ　ｆ抽出２０７でする。関係コードＣｍｎの定義の例
を次に示す。

Ｃｍｎ＝０：以下の条件が全て不成立 ＝　１：ｍがｎを包含 ＝−ＩＨｎがｍを包含 ＝　２：ｍがｎの直上 ＝−２Ｈｍがｎ　（１）直下 ＝　３：ｍがｎの直圧 ＝−３；ｍがｎ　（１）直左 ＝　４二ｍがｎの上方 ＝−４：ｍがｎｔ−下方 ＝　５二ｍがｎの左方 ＝−５二ｍがｎの右方 ２０８では抽出した枠に対応する領域の画像を原画像か
ら取シ出し、順次この画像を文字認識部８に送って枠内
の文字を認識する。枠内部の画像のみを文字ｇ織部に送
るので非ドロップアウトカラーの表部分や枠外の不用部
分に妨害されることがなく、また帯状領域を対象とする
ので文字の切シ出し・認識が容易である。全ての枠の中
の文字を認識した後２０９では枠ｍの中の認識文字数Ｎ
ｍ１文字列Ｋｍ％関係コードＣｍ　ｎとを文書の構造に
関する知識と照合して、入力文書の構造を理解する。知
識は「ｉｆ％ｔｈｅｎ〜」形式、すなわち条件と結論と
により表現される。知識の例を次に示す。

ａ、ｂ、ｃは枠番号を示す。

１、（条件）Ｋａ＝−申請書” （結論）枠ａは項目枠 枠ａの項目名称＝１申請書” ２、（条件１Ｎａ＝Ｏ＆ Ｋｂ＝”申請書”＆ Ｃａｂ＝−３ （結論）枠ａは枠すに従属するデータ枠棒ａの属性＝１
氏名“ （Ｎａ＝０は空白を示す） ３、（条件）Ｎａ＝ｏ＆ ［ｂ＝１都道府県”＆ Ｃａｂ＝−４ ＫＣ＝”本籍”＆ ＣａＣ＝−３ （結論）枠ａは枠す、ｃに属するデータ枠棒ａの属性＝
６住所二部道府県” ４、（条件）　Ｋ　ａ　＝１昭和年月日”（結論）枠ａ
は独立なデータ枠 枠ａの単位名称＝“日時” 枠ａの属性＝１時間：年月日” ５、（条件ＩＮａ＝０ （結論）枠ａは独立な項目・データ枠 棒ａの項目名称＝１雑” 枠ａの属性＝１雑” ここで項目枠とは見出しとして使われる枠で、普通はデ
ータが記入さｎない。データ枠とは項目の内容を表す文
字（文字列）が記入される予定の枠をいい、属性とはそ
の枠に記入される文字の種類や限定範囲などをいう。上
記の知識の具体的な実現法はプログラムの「ｉｆ〜ｔｈ
ｅｎ〜」文としてかかれたサフルーチンであシ、知識と
の照合はａ、ｂのところにｍ、ｎｆ代入し、条件で成立
するか否かを調べた結果を外部に引数として与えればよ
い。条件が成立したときは結論も引数として外部に与え
る。知識たとえば１．の条件のａ、ｂにあてはまる枠番
号ｍ、ｎが見出されたとすれば、結論の枠査号ａのとこ
ろに枠番号ｍｆ代入したものを入力文書の構造データと
して盆碌する。構造データは上記の枠の関係コード、枠
の種類（項目枠、データ枠めるいは両者）、従属関係９
項目名称、属性コードとからなる。複数の知識に該当す
る場合には、−例として出現順序の早い知識を優先させ
ると決めればよい。最も優先度の低い知識として他の知
識にあてはまらないときの救済措置（上記の場合は５．
）を決めておけば、すべての枠についての構造が決定さ
れる。すべての枠について知識との照合が行われ構造を
決定した後、ディスプレイ７に枠と、それに付した枠番
号、および枠番号に対応した認識結果、さらに項目枠に
対応するデータ枠の枠番号を表示する。第５図に一例を
示す。ここでもし項目名称めるいはデータ枠番号に間違
いが有る場合、このまま構造データを出力装置９に書き
出すと、後述する識別モードの時の処理が誤ったものに
なる。このようなことを防止するために誤シがるる場合
にはキーボードを介して項目名称、データ枠番号の修正
を行なう。

構造データの登録が終了し、２１Ｏで構造データ及び枠
の物理データ（枠の４隅の座標など）、マスクデータを
出力装置９に誓き出す。マスクデータとは、データ枠の
中にあらかじめ印刷された文字（上記の４．における昭
和年月日などの単位名称に相当）の位置を示すものであ
る。構造データ。

枠の物理データ、マスクデー、ｊＩｔａ従来のＯＣＲ，
の書式データに相当する。書き出しに際してキーボード
６、ディスプレイ７ｔ−用いて、入力文書に対する識別
番号やファイル名称を入力する。

次に線パターン抽出処理の詳細を説明する。第６図は、
線パターンを抽出する処理をＰＡＤ形式で示す流れ図で
ある。線パターン抽出には水平線抽出と垂直線抽出とが
あるが、ここでは水平線抽出について述べ、垂直線抽出
については同様であるので省略する。第６図で６０１は
線抽出への入り口であり、メモリ５２に格納さ几ている
正規化画像Ｑが与えられる。Ｑは第３図（Ａ）のような
二次元データ Ｑ（ｉ＋　Ｊ　ｌ、（ｘ＝ｏ〜ｘ　　ｔｓ　Ｊ＝０〜Ｊ
　　Ｉ）として表現される。６０２でＩＩ′１６０３〜
６ｏ９の処理を走査線番号ｊについて繰ル返すことによ
シ、第３図（Ｂ）のような二次元パターンＡ（ｉ、ｊ）
を得る。ａ０３は初期化でめシＡ（ｉ、ｊ）を０にクリ
アし後述するＢｋＯとする。４０４は走査線の中で画素
数工だけ繰シ返すループである。

６０５はＱ（ｉｊｊ）が１か０かを判定し、ｌの場合に
は６０６で黒の遅炎Ｂｅカクントする。

Ｑ（ｉ、ｊ）が０の場合には、６０７の判定にょシその
前の画素までの遅炎Ｂが閾値εニジ大きいとき、６０８
で Ａ（ｉ−Ｂ、ｊ）〜Ａ（ｉ−１，ｊ） の８個の画素を１（黒）にする処理を行い、６ｏ９で遅
炎Ｂ’ｔリセットする。６１０〜６１１の処理は走査線
の最終点（ｉ＝Ｉ−１１において６０７以降と同様の処
理２行うものでるる。６０７の判定を加えたことによシ
する長さ以上の黒の水平線分があるときのみ線抽出が行
われるが、文書上に記入されている文字・記号は短い巌
分からなっているのでほとんど抽出されない。６１２は
この処理の出口でメ）、パターンＡ（ｉ、ｊ）を出力に
与え、メモリ５３に格納する。以上の説明から分かるよ
うに、パターンＡ（ｉ、ｊ）は線分の存在上反映したパ
ターンでおる。

次に長方形抽出処理の詳ａｋ説明する。第５図は、長方
形を抽出する処理の内容を示す図である。

内輪郭の座標は一次元データＸ（ｉ）、Ｙ（ｉ）として
表現される。輪郭点の中で（Ｘ（ｊ）＋Ｙ（ｉ））の最
大値と最小値、（Ｘ（ｉ）　−Ｙ（ｉｌ）の最大値と最
小値、を与える点を求めればこちらは第７図のＰ４．Ｐ
２．Ｐ３．Ｐｉに相当する。

ＰＩ−Ｐ４は枠が長方形の場合には４隅の点になる。Ｐ
ｉ−Ｐ２の間でＸの蛾大値と最小値を与える点を求めこ
れｉＱｌ　２．Ｑｌ　ｌとする。Ｐ２〜Ｐ３の間でＹの
最大値と最小値を与える点を求めこれ’１Ｑ２２．Ｑ２
１とする。他の辺についても同様にする。ＰＩ、Ｑｌｌ
、Ｑｌ２．Ｐ２の４点のＸ座標値の滉が小さいと＠、Ｐ
Ｌ−Ｐ２は直線であると判定し、他の３辺についても同
様に直線判定を行い、４辺が直線であるときこの枠は長
方形であると判定をする。

次に関係コード抽出処理の詳細全説明する。第８図は、
関係コードを抽出する処理をＰＡＤ形式で示す流れ図で
ある。第８図で８０１は入シロであり、メモリ５２に格
納されている枠の４隅の座標及び輪郭長几が与えられる
。枠ｍの４隅を（Ｘｉ　（ｍ）　、　Ｙｌ（ｍ）　）　
〜（Ｘ４（ｍ）　、　Ｙ４（ｍｌ　１とする。８０２，
８０３は枠番号ｍ、ｎに関する二重ループである。８０
４でＱｍｎに初期値Ｏを入れる。８０５の条件は枠ｍが
ｎを包含することを検出し、条件が成立するときはＣｍ
ｎにｌｆｔ。

Ｃｎｒｎに一１１ｃ代入する。以下同様に関係コードを
判定する。８０６は出口で関係コードからなる行列Ｃを
出力に与える。

以上で登録モードの説明を終了する。この登録モード処
理ｉｄ、りらかしめ行って構造データ等の書式情報を格
納しておくものとするが、次に述べる識別モード処理と
統合して行うことも可能である。

次に識別モードにおける入力対象文書の処理について説
明する。第９図に識別モードの処理の流れ図を示す。９
０１は入力文書の画像の取シ込み、９０２は正規化、９
０３は線パターンの抽出、９０４は輪郭抽出、９０５は
長方形抽出、９０６は枠順序付け、９０７は関係コード
抽出でメジ、第２図の２０２〜２０７と同様である。９
０８では見本文書の構造データ及び物理データを順次メ
モリ５３に読みだし、メモリ５４の入力文書の構造デー
タ及び物理データと比較し、入力文書がどの見本文書と
一致するかを決定する。この見本文書の構造データ及び
物理データを用いて入力文書の読み取りを以下のように
して行う。９０９は枠について以下の９１０〜９１７Ｔ
ｈ繰夛返し実行するループである。９１０はデータ枠に
ついてのみ読み取りを行う判定である。９１１ではこの
データ枠の内部の領域だけを抽出する。９１２ではマス
クデータに二りあらかじめ印刷された文字を消去する（
マスクデータが存在するときのみ行う）。

９１３では属性コードによシ定まる字種を選択し、認識
辞書（文字認識のための標準パターン）を設定する。９
１４では枠内部の文字を認識する。

９１５では属性コードによυ定まる単語辞書を選択し、
９１６で単語照合を行って文字認識結果の誤読あるいは
不読を修正する。９１７では文字認識結果と構造データ
中の必要な部分を編集し、出力装置９に書き出す。編集
の例として、たとえば、データ枠の属する項目枠の項目
名称が「申請者」でろ＃）（前記知識の２．に相当）、
この枠の認識結果が１山田穴部”であったと丁れば、１
申請者”＝“山田太部” のようにし、これをルコードとして書き出す。

また、独立な項目枠・データ枠で項目名称＝１日時”、
単位名称＝１昭和年月日”であり（知識４゜に相当）単
位名称の部分がマスクデータによシ消去されたため、認
識結果が５８５２９だったとすれば、編集出力は １日時”＝１昭和５８年５月２９日” とする。後者の例では認識部８から文字の位置座標を取
シ出し、マスクデータと座標の比較によシ位置を決定し
て編集する。

〔発明の効果〕

以上説明したごとく、本発明によれば入力文書の構造を
自動的に理解して文書の書式を自動的に生成する際に人
間による確認修正作業が加わるので自動生成の精度が高
まり、従来のように人間による書式情報の長時間の作成
作業を大幅に削減でき、黒色で印刷された表形式の文書
が読み取れるのでドロップアウトカラーで印刷し直す必
要がなく、準備作業の手間を簡略化でさるとともに、対
象文書の範囲を大幅に拡大することができる。

また本発明によれば、定形的な入力文書の種類を自動的
に識別してあらかじめ記憶した書式情報を用いることが
でき、異なる種類の定形的な文書の遅続読み取りが可能
となる。

【図面の簡単な説明】

第１図は本発明の実施例を示す図、第２．６゜８．９図
は第１図の制御部における処理を説明するための流れ図
、！３，４，５．７図は第２図における処理内容を説明
する図でめる。 ｌ・・・バス、２・・・制御部、３・・・文書、５・・
・メモリ、６・・・キーボード、７・・・ディスプレイ
、８・・・文字認識部、９・・・出力装置。 第　２　目 第　３　口 （Ａ）　　　　　　　　　　（Ｆ３） （リ　　　　　　　　　　　　　　（Ｄ）りｉ　　　　
３　　　１３　　　（Ｅ）′　　　第３０（Ｆ） ＶＪ＋ｒ；ａ 第　３　困

Claims (1)

1. 【特許請求の範囲】 １、文書画像を入力する手段と、上記文書画像から枠部
   分を抽出する手段と、上記枠部分の内部に存在する文字
   を識別する手段と、上記抽出した枠部分および枠構造認
   識結果を表示修正する手段とを具備したことを特徴とす
   る文書入力方式。 ２、上記特許請求範囲第１項記載の文書入力方式におい
   て枠部分が曖昧に抽出された時には曖昧な枠部分に曖昧
   性を示す情報を付加し、該情報に基づいて対話的に修正
   を行なう文書入力方式。 ３、上記特許請求範囲第１項記載の文書入力方式におい
   て枠部分に記号を付し、該記号に対応した部分の枠に記
   入された文字を、枠部分および上記記号に対応付け可能
   な如く表示し、該表示結果に基づき、枠構造および項目
   名称の修正を対話的に行なう文書入力方式。