JPH07107694B2

JPH07107694B2 - 文書処理装置

Info

Publication number: JPH07107694B2
Application number: JP59180517A
Authority: JP
Inventors: 康明中野; 浩道藤沢; 邦弘岡田; 修国崎; 俊従尾崎
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1984-08-31
Filing date: 1984-08-31
Publication date: 1995-11-15
Anticipated expiration: 2010-11-15
Also published as: US4933984A; JPS6159568A

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は文書処理装置に係り、特表形式の文書上の文字
を読み取る目的に好適な文書処理装置に関する。

〔発明の背景〕

従来の文字読み取り装置（以下、OCRと略する）では、
読み取り領域をOCRが感じない色（ドロツプアウトカラ
ー）を用いて印刷する必要があり、印刷費用が高価にな
る問題があつた。さらに文字読み取り領域の位置を文書
のエツジからの距離として記述し、その領域の文字数や
文字種・チエツク方法などを指定する必要があり、煩雑
であつた。以下、文字読み取り領域の位置情報や領域内
の文字数や文字種・チエツク方法などの情報を書式情報
と呼ぶ。文字認識機能は従来のように専用OCRだけでな
く、文書フアイルやOA用ワークステーシヨンなどにも要
求されているが、上記の問題点が広い普及を阻んでい
た。

従来技術では、たとえば公開特許公報昭和58−207184号
（昭和58年12月２日公開）において、入力画像からあら
かじめメモリ内に格納しておいた定形的な画像を除去す
る方法、ならびに定形的な画像を用いて文書の種類を識
別する方法が開示されている。しかし、この方法ではメ
モリに画像を記憶するのでメモリ量が増大し、また文書
の変形（伸縮・回転・位置ずれなど）が生じたとき正し
く除去できないおそれがあつた。

〔発明の目的〕

本発明の目的は、入力文書の構造を自動的に理解して文
書の書式を自動的に生成することにより、対象文書の範
囲を大幅に拡大するとともに、書式情報作成の手間を簡
略化する手段を提供することにある。

本発明の他の目的は、定形的な入力文書の種類を自動的
に識別してあらかじめ記憶した書式情報を用いることに
より、種類の異なる定形的な文書の連続読み取りを可能
とする手段を提供することにある。

〔発明の概要〕本発明は、項目の名称を示す文字が記入された項目枠と
上記項目の内容を表す文字が記入される予定のデータ枠
との二種類の枠を含む複数の枠を有する文書の画像を光
電変換し、光電変換した画像をディジタル化してディジ
タル画像を入力する手段と、上記ディジタル画像から線
パターンを抽出して上記複数の枠を抽出する手段と、抽
出した上記複数の枠の間の相対位置関係を抽出する手段
と、抽出した上記複数の枠に対応する領域を上記ディジ
タル画像より取り出して上記枠内に記入された文字を認
識する手段と、抽出した上記複数の枠の間の相対位置関
係および上記枠内に記入された文字を認識した結果を、
あらかじめ記憶している文書構造に関する知識群と参照
することによって、上記文書中に存在する枠の種類、枠
の属性、および複数の枠間の従属関係を含む文書構造を
同定する手段と、同定された上記文書構造を、上記ディ
ジタル画像として読み出された文書の書式情報として登
録する手段とを有することを特徴とする。

更に、上記の各手段に加え、抽出した上記複数の枠、及
び上記枠内に記入された文字を認識した結果を表示する
手段を有することも第２の特徴とする。

〔発明の実施例〕

以下、本発明を図面を用いて詳細に説明する。

第１図は本発明を実施する装置の構成を示すブロツク図
である。装置の各部はバス１に接続され、全体の動作は
制御部２により制御される。文書３上の情報（文書画
像）は光電変換装置４により走査され、さらにデイジタ
ル化され、バス１を介してメモリ51に格納される。メモ
リ51は後述する52,53,54とともにメモリ５の一部をな
す。デイジタル化の際、公知の高効率符号化処理を行つ
てもよく、これにより文書画像を記憶するメモリの記憶
容量を節約できる。また、以下の説明では１画素１ビツ
トに二値化するものとするが、１画素を多値で表現して
もよく、カラースキヤナにより光電変換して色情報を付
与してもよい。

文書の処理には登録モードと識別モードとがある。モー
ドの選択はキーボード６、デイスプレイ７を用いて制御
部２とマンマシン対話により行う。まず、登録モードの
場合を説明する。登録モードの処理の流れ図を第２図に
示す。この処理は制御部２のソフトウエアにより実行さ
れる。第２図で、201は見本文書画像の入力であり、各
文書類型ごとに見本文書を用い、この見本文書上の画像
をメモリ51の中に格納する。202では見本文書画像に対
し位置補正処理、傾き補正処理などの正規化を行い、そ
の結果得られる画像がメモリ52に格納される。この正規
化画像に対し、203で線抽出処理が行われ、抽出された
線パターはメモリ53に格納される。第３図は線パターン
抽出の処理内容を説明する図であり、（Ａ）のような入
力画像から水平方向の線抽出により（Ｂ）のような水平
線パターンを得、同様に（Ａ）から垂直方向の線抽出に
より（Ｃ）のような垂直線パターンを得、（Ｂ）と
（Ｃ）との論理和により（Ｄ）のような画像を得る。以
後（Ｄ）を線パターンと呼ぶ。線パターン抽出処理の詳
細については後述する。204では線パターンから輪郭抽
出により輪郭上の座標点列を抽出する。この座標点列は
輪郭の個数だけ得られる。以下では輪郭の中で内輪郭だ
けを処理する。ここで内輪郭とは白地を取り囲む黒地の
境界であり、白地に右側に黒地を左側に見るようにして
輪郭を一周したとき時計回りに一周するような輪郭を言
う。205ではこの内輪郭の中から長方形をなすものを抽
出する。長方形判定の詳細については後述する。以後長
方形をなす内輪郭を枠と呼ぶ。206では枠の４隅の座標
を用いて枠の順序を左上から右下へと並べ換える。207
では抽出した枠が複数個あつたとき、枠の間の相互関係
すなわち枠ｍと枠ｎの間の関係コードCmnを抽出する。
関係コードCmnの定義の例を次に示す。

Cmn＝ 0:以下の条件が全て不成立＝ 1:mがｎを包含＝−1:nがｍを包含＝ 2:mがｎの直上＝−2:mがｎの直下＝ 3:mがｎの直左＝−3:mがｎの直右＝ 4:mがｎの上方＝−4:mがｎの下方＝ 5:mがｎの左方＝−5:mがｎの右方 208では抽出した枠に対応する領域の画像を原画像から
取り出し、順次この画像を文字認識部８に送つて枠内の
文字を認識する。枠内部の画像のみを文字認識部に送る
ので非ドロツプアウトカラーの表部分や枠外の不用部分
に妨害されることがなく、また帯状領域を対象とするの
で文字の切り出し・認識が容易である。全ての枠の中の
文字を認識した後209では枠ｍの中の認識文字数Nm、文
字列Km、関係コードCmnとを文書の構造に関する知識と
照合して、入力文書の構造を理解する。知識は「if〜th
en〜」形式、すなわち条件と結論とにより表現される。
知識の例を次に示す。a,b,cは枠番号を示す。

1.（条件）Ka＝‘申請者’ （結論）枠ａは項目枠枠ａの項目名称＝‘申請者’ 2.（条件）Na＝０＆ Kb＝‘申請者’＆ Cab＝−３（結論）枠ａは枠ｂに従属するデータ枠枠ａの属性＝‘氏名’（Na＝０は空白を示す） 3.（条件）Na＝０＆ Kb＝‘都道府県’＆ Cab＝−４ Kc＝‘本籍’＆ Cac＝−３（結論）枠ａは枠b,cに属するデータ枠枠ａの属性＝‘住所：都道府県’ 4.（条件）Ka＝‘昭和年月日’ （結論）枠ａは独立なデータ枠枠ａは単位名称＝‘日時’ 枠ａの属性＝‘時間：年月日’ 5.（条件）Na＝０（結論）枠ａは独立な項目・データ枠枠ａの項目名称＝‘雑’ 枠ａの属性＝‘雑’ ここで項目枠とは見出しとして使われる枠で、普通はデ
ータが記入されない。データ枠とは項目の内容を表す文
字（文字列）が記入される予定の枠をいい、属性とはそ
の枠に記入される文字の種類や限定範囲などをいう。上
記の知識の具体的な実現法はプログラムの「if〜then
〜」文としてかかれたサブルーチンであり、知識との照
合はa,bのところにm,nを代入し、条件で成立するか否か
を調べた結果を外部に引数として与えればよい。条件が
成立したときは結論も引数として外部に与える。知識た
とえば1.の条件のa,bにあてはまる枠番号m,nが見出され
たとすれば、結論の枠番号ａのところに枠番号ｍを代入
したものを入力文書の構造データとして登録する。構造
データは上記の枠の関係コード、枠の種類（項目枠、デ
ータ枠あるいは両者）、従属関係、項目名称、属性コー
ドとからなる。複数の知識に該当する場合には、一例と
して出現順序の早い知識を優先させると決めればよい。
最も優先度の低い知識として多の知識にあてはまらない
ときの救済措置（上記の場合は5.）を決めておけば、す
べての枠についての構造が決定される。すべての枠につ
いて知識との照合が行われ構造が決定されると、構造デ
ータの登録が終了し、210で構造データ及び枠の物理デ
ータ（枠の４隅の座標など）、マスクデータを出力装置
９に書き出す。マスクデータとは、データ枠の中にあら
かじめ印刷された文字（上記の4.における昭和年月日な
どの単位名称に相当）の位置を示すものである。構造デ
ータ、枠の物理データ、マスクデータは従来のOCRの書
式データに相当する。書き出しに際してキーボード６、
デイスプレイ７を用いて、入力文書に対する識別番号や
フアイル名称を入力する。

次に線パターン抽出処理の詳細を説明する。第４図は、
線パターンを抽出する処理をPAD形式で示す流れ図であ
る。線パターン抽出には水平線抽出と垂直線抽出とがあ
るが、ここでは水平線抽出について述べ、垂直線抽出に
ついては同様であるので省略する。第４図で401は線抽
出への入り口であり、メモリ52に格納されている正規化
画像Ｑが与えられる。Ｑは第３図（Ａ）のような二次元
データＱ（i,j），（ｉ＝０〜Ｉ−1,j＝０〜Ｊ−１）として表現される。402では403〜409の処理を走査線番
号ｊについて繰り返すことにより、第３図（Ｂ）のよう
な二次元パターンＡ（i,j）を得る。403は初期化であり
Ａ（i,j）を０にクリアし後述するＢを０とする。404は
走査線の中で画素数Ｉだけ繰り返すループである。

405はＱ（i,j）が１か０かを判定し、１の場合には406
で黒の連長Ｂをカウントする。

Ｑ（i,j）が０の場合には、407の判定によりその前の画
素までの連長Ｂが閾値εより大きいとき、408でＡ（ｉ−B,j）〜Ａ（ｉ−1,j）のＢ個の画素を１（黒）にする処理を行い、409で連長
Ｂをリセツトする。410〜411の処理は走査線の最終点
（ｉ＝Ｉ−１）において407以降と同様の処理を行うも
のである。407の判定を加えたことにより十分長い黒の
水平線分があるときのみ線抽出が行われるが、文書上に
記入されている文字・記号は短い線分からなつているの
でほとんど抽出されない。412はこの処理の出口であ
り、パターンＡ（i,j）を出力に与え、メモリ53に格納
する。以上の説明から分かるように、パターンＡ（i,
j）は線分の存在を反映したパターンである。

次に長方形抽出処理の詳細を説明する。第５図は、長方
形を抽出する処理の内容を示す図である。内輪郭の座標
は一次元データＸ（ｉ）,Y（ｉ）として表現される。輪
郭点の中で（Ｘ（ｉ）＋Ｙ（ｉ））の最大値と最小値、
（Ｘ（ｉ）−Ｙ（ｉ））の最大値と最小値、を与える点
を求めればこちらは第５図にP4,P2,P3,P1に相当する。P
1〜P4は枠が長方形の場合には４隅の点になる。P1〜P2
の間でＸの最大値と最小値を与える点を求めこれをQ12,
Q11とする。P2〜P3の間でＹの最大値と最小値を与える
点を求めこれをQ22,Q21とする。他の辺についても同様
にする。P1,Q11,Q12,P2の４点のＸ座標値の差が小さい
とき、P1〜P2は直線であると判定し、他の３辺について
も同様に直線判定を行い、４辺が直線であるときこの枠
は長方形であると判定する。

次に関係コード抽出処理の詳細を説明する。第６図は、
関係コードを抽出する処理をPAD形式で示す流れ図であ
る。第６図で601は入り口であり、メモリ52に格納され
ている枠の４隅の座標及び輪郭長Ｒが与えられる。枠ｍ
の４隅を（X1（ｍ）,Y1（ｍ））〜（X4（ｍ）,Y4（ｍ））とする。602,603は枠番号m,nに関する二重ループであ
る。604でCmnに初期値０を入れる。605の条件は枠ｍが
ｎを包含することを検出し、条件が成立するときはCmn
に１を、Cnmに−１を代入する。以下同様に関係コード
を判定する。606は出口で関係コードからなる行列Ｃを
出力に与える。

以上で登録モードの説明を終了する。この登録モード処
理はあらかじめ行つて構造データ等の書式情報を格納し
ておくものとするが、次に述べる識別モード処理と統合
して行うことも可能である。

次に識別モードにおける入力対象文書の処理について説
明する。第７図に識別モードの処理の流れ図を示す。70
1は入力文書の画像の取り込み、702は正規化、703は線
パターンの抽出、704は輪郭抽出、705は長方形抽出、70
6は枠順序付け、707は関係コード抽出であり、第２図の
202〜207と同様である。708では見本文書の構造データ
及び物理データを順次メモリ53に読みだし、メモリ54の
入力文書の構造データ及び物理データと比較し、入力文
書がどの見本文書と一致するかを決定する。この見本文
書の構造データ及び物理データを用いて入力文書の読み
取りを以下のようにして行う。709は枠について以下の7
10〜717を繰り返し実行するループである。710はデータ
枠についてのみ読み取りを行う判定である。711ではこ
のデータ枠の内部の領域だけを抽出する。712ではマス
クデータによりあらかじめ印刷された文字を消去する
（マスクデータが存在するときのみ行う）。713では属
性コードにより定まる字種を選択し、認識辞書（文字認
識のための標準パターン）を設定する。714では枠内部
の文字を認識する。715では属性コードにより定まる単
語辞書を選択し、716で単語照合を行つて文字認識結果
の誤読あるいは不読を修正する。717では文字認識結果
と構造データ中の必要な部分を編集し、出力装置９に書
き出す。編集の例として、たとえば、データ枠の属する
項目枠の項目名称が「申請者」であり（前記知識の2.に
相当）、この枠の認識結果が‘山田太郎’であつたとす
れば、 ‘申請者’＝‘山田太郎’のようにし、これを１レコー
ドとして書き出す。また、独立な項目枠・データ枠で項
目名称＝‘日時’、単位名称＝‘昭和年月日’であり
（知識4.に相当）単位名称の部分がマスクデータにより
消去されたため、認識結果が58529だつたとすれば、編
集出力は ‘日時’＝‘昭和58年５月29日’ とする。後者の例では認識部８から文字の位置座標を取
り出し、マスクデータと座標の比較により位置を決定し
て編集する。

以上本発明の一実施例について説明した。本実施例に対
して通常の文字認識装置や図形処理装置で行われる処
理、たとえば枠の抽出結果の表示・修正、文字認識結果
の表示・修正などを付加することは容易に想像されよ
う。また、枠認識に際して線抽出や長方形決定の閾値を
複数個設け、自動判定の結果が困難なときはマンマシン
的に最適値を選択したり、二値化レベルを変えて再試行
うなどの変更を加えてもよい。さらに、識別モードにお
いて文書の種類があらかじめ決まつている場合はキーボ
ードから見本文書の番号を与えるようにして、構造デー
タなどの照合を省略してもよい。

なお、本実施例では文書から線パターンを抽出し、それ
から枠を抽出するとしたが原文書パターンから直接輪郭
を抽出し、それから枠を抽出するようにすることも可能
であり、この場合には枠以外の輪郭を後で他の処理たと
えば文字切り出しや文字認識に利用できる。

また、本実施例では文書構造の記述として枠形式のもの
に限定したが、実線あるいは破線などの罫線や、円など
を用いるように拡張することも可能である。たとえば実
線からなる罫線は、細長い外輪郭を抽出することで検出
でき、罫線の上方の領域を切り出すことによつて下線を
引いた表題文字の認識が可能である。円の検出は輪郭座
標系列を極座標表示し、この空間で直接検出すればよ
い。

また、枠の外部の文字も読み取つて、構造記述に利用す
ることもできる、色情報を利用し構造記述に色属性を付
加することも有効である。

さらに、文書から直接光電変換する場合に限定せず、画
像フアイルから読み出した文書画像に対しても適用でき
る。

〔発明の効果〕

以上説明したごとく、本発明によれば入力文書の構造を
自動的に理解して文書の書式を自動的に生成することが
可能で、従来のように人間による書式情報の作成作業が
不要であり、黒色で印刷された表形式の文書が読み取れ
るのでドロツプアウトカラーで印刷し直す必要がなく、
準備作業の手間を簡略化できるとともに、対象文書の範
囲を大幅に拡大することができる。

また本発明によれば、定形的な入力文書の種類を自動的
に識別してあらかじめ記憶した書式情報を用いることが
でき、異なる種類の定形的な文書の連続読み取りが可能
となる。

【図面の簡単な説明】

第１図は本発明の実施例を示す図、第2,4,6,7図は第１
図の制御部における処理を説明するための流れ図、第3,
5図は第２図における処理内容を説明する図である。１……バス、２……制御部、３……文書、５……メモ
リ、６……キーボード、７……デイスプレイ、８……文
字認識部、９……出力装置。

フロントページの続き (72)発明者国崎修神奈川県横浜市戸塚区吉田町292番地株式会社日立製作所マイクロエレクトロニクス機器研究所内 (72)発明者尾崎俊従神奈川県小田原市国府津2880番地株式会社日立製作所小田原工場内 (56)参考文献特開昭58−8385（ＪＰ，Ａ) 特開昭56−137480（ＪＰ，Ａ) 情報処理学会第21回全国大会講演論文集Ｐ．857−858，（1980) 信学論Ｖｏｌ．Ｊ69−ＤＮｏ．３Ｐ．400−409（1986) 昭和60年度電子通信学会総合全国大会講演論文集Ｓ10−２，Ｐ．６−289〜６− 290 ７ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＰｒｏｃｅｅｄｉｎｇｓＶｏｌｕｍｅ１Ｐ. 347−349，（1984)

Claims

【特許請求の範囲】

【請求項１】項目の名称を示す文字が記入された項目枠
と上記項目の内容を表す文字が記入される予定のデータ
枠との二種類の枠を含む複数の枠を有する文書の画像を
光電変換し、光電変換した画像をディジタル化してディ
ジタル画像を入力する手段と、上記ディジタル画像から線パターンを抽出して上記複数
の枠を抽出する手段と、抽出した上記複数の枠の間の相対位置関係を抽出する手
段と、抽出した上記複数の枠に対応する領域を上記ディジタル
画像より取り出して上記枠内に記入された文字を認識す
る手段と、抽出した上記複数の枠の間の相対位置関係および上記枠
内に記入された文字を認識した結果を、あらかじめ記憶
している文書構造に関する知識群と参照することによっ
て、上記文書中に存在する枠の種類、枠の属性、および
複数の枠間の従属関係を含む文書構造を同定する手段
と、同定された上記文書構造を、上記ディジタル画像として
読み出された文書の書式情報として登録する手段とを有
することを特徴とする文書処理装置。
【請求項２】項目の名称を示す文字が記入された項目枠
と上記項目の内容を表す文字が記入される予定のデータ
枠との二種類の枠を含む複数の枠を有する文書の画像を
光電変換し、光電変換した画像をディジタル化してディ
ジタル画像を入力する手段と、上記ディジタル画像から線パターンを抽出して上記複数
の枠を抽出する手段と、抽出した上記複数の枠の間の相対位置関係を抽出する手
段と、抽出した上記複数の枠に対応する領域を上記ディジタル
画像より取り出して上記枠内に記入された文字を認識す
る手段と、抽出した上記複数の枠、及び上記枠内に記入された文字
を認識した結果を表示する手段と、抽出した上記複数の枠の間の相対位置関係および上記枠
内に記入された文字を認識した結果を、あらかじめ記憶
している文書構造に関する知識群と参照することによっ
て、上記文書中に存在する枠の種類、枠の属性、および
複数の枠間の従属関係を含む文書構造を同定する手段
と、同定された上記文書構造を、上記ディジタル画像として
読み出された文書の書式情報として登録する手段とを有
することを特徴とする文書処理装置。