JP3351062B2 - 文書システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は様式や書式が相違する文
書の自動読取り、登録・蓄積、タイトル等の読取り項目
の修正、検索を行なう文書システムに係わる。

【０００２】

【従来の技術】文書の様式では、記載項目及び記載項目
の順番を規定するが、その絶対的な位置座標、寸法を規
定していない。文書の書式は、記載項目及び項目の順番
を規定するだけでなく、その絶対的な位置座標、寸法を
規定している。様式が定められた文書を準定型フォーマ
ット文書と言い、書式が定められた文書を定型フォーマ
ット文書と言う。

【０００３】従来の光学的文字認識装置では、文書の書
式をフォーマットデータとして予め設定することによ
り、定型フォーマット文書を読取ることができるが、様
式のみが規定されている文書、例えば、法令文書などの
準定型フォーマット文書は読取ることができなかった。

【０００４】なお、この種に関連する文書システムは、
特開昭５６−１１５７３号公報に述べられているよう
に、文書に予め入力すべき読取り項目を指示するマーク
記入領域を設け、当該領域に記入されたマークを読み取
ることによって、文書上の所定領域を読み取る方式が提
案されている。

【０００５】また、特開平４−１５７７５号公報に述べ
られているように、表構造検出するための方法としてヒ
ストグラフによる所定の長さで探索領域の番号を付けて
行なう方式がある。

【０００６】また、従来の読取り結果の修正は、情報処
理学会第４４回全国大会「手書き文字認識システムにお
ける誤認識修正インターフェースに関する考察」に、文
字認識のため機械が勝手に切り出した画像と認識結果を
表示するものが提案されている。

【０００７】

【発明が解決しようとする課題】上記従来技術は、マー
ク記入領域を付加するため当該記入領域の紙面上の占め
る面積が多くなり、読取り項目を増やすことができない
という問題があった。また、マーク記入領域を新たに用
意する必要があるため、既存の各種文書をそのまま読み
取ることができないという問題もあった。さらに、様式
が法令等で決められている文書では、従来のようにマー
ク記入領域を設けることは法令上様式が規定されている
ために認められず、マーク記入領域のない当該様式文書
を読み取ることはできないという問題があった。

【０００８】また、表構造検出するための方法としてヒ
ストグラフによる所定の長さで探索領域の番号を付けて
行なうと、罫線のノイズ、かすれや、画像の伸縮より影
響を受け易いので、番号が変わって誤認識をおこすと言
う問題があった。

【０００９】文字認識のため機械が勝手に切り出した画
像と認識結果を表示するため、文書としてのレイアウト
がなくなりユーザに使い勝手の良い物でなかった。

【００１０】本発明の第１の目的は、罫線の位置情報や
罫線の符号化によりシート識別を行なうことで準定型フ
ォーマット文書に対応することのできる文書システムを
提供することにある。

【００１１】本発明の第２の目的は、レイアウトがわか
る入力文書画像と認識結果を一体表示することでユーザ
にとって使い勝手の良い表示を行なうことのできる文書
システムを提供することにある。

【００１２】

【課題を解決するための手段】前記第１の目的を達成す
るために、本発明による文書システムは文書画像から縦
横の罫線を抽出し、その罫線の位置情報や長さの情報
と、識別辞書にある様式毎の識別情報によりシート識別
を行ない、識別辞書にある各様式毎の相対的読取り項目
領域の情報を基に読取りを行なうようにした。また文書
画像から縦横の罫線を抽出し、その罫線の位置関係で罫
線に符号を付けた情報と、識別辞書にある様式毎の識別
情報によりシート識別を行ない、識別辞書にある各様式
毎の罫線符号表された読取り項目領域の情報を基に読み
取り項目領域内部の文字を読取りを行なうようにした。

【００１３】前記第２の目的を達成するために、本発明
による文書システム読取りでの認識エラーのある入力文
書を判定し、認識した読取り項目の場所やフォントサイ
ズや認識文字などの修正情報を覚えて置き、入力された
文書で認識エラーとされた入力文書画像を一次的に登録
して置く、そして認識エラーと判定された文書を修正す
る際、入力文書画像と修正情報により修正表示レイアウ
トを生成し修正を行なうようにした。

【００１４】

【作用】以下、本発明の原理と動作を説明する。

【００１５】図１は文書画像を入力してシート識別を行
ない読取り項目の登録又は読取り項目と画像データを登
録する様子を示す。まず文書１の画像入力２を行ない、
横罫線及び縦罫線を抽出３する。次にシート識別４は抽
出した罫線と識別辞書６とマッチング５を行ない読取り
項目領域の抽出７を行い読取り項目領域座標求め、文書
画像より読取り項目領域座標範囲の文字抽出し文字認識
８を行ない読取り項目登録９を行なう。または読取り項
目登録９と画像登録１０の動作を行なう。

【００１６】図２は罫線の始点座標と長さでシート識別
を行なう様子を示す。文書１が画像入力２を行ない、入
力した文書から罫線を抽出し、抽出した罫線を縦罫線、
横罫線に分解した後、それぞれの罫線の始点２１と長さ
２２からなる罫線始点長さデータ２３を求める。そして
予め色々な様式毎のシートの識別データを登録した識別
辞書２８の、罫線の始点２４と長さ２５からなる識別フ
ォーマットデータ２６とのマッチング２７を行ない、様
式番号と読取り項目領域データよりなる識別結果２９を
識別辞書２８より抽出する動作を行なう。

【００１７】図３は図２のシート識別のマッチング２７
と図１の読取り項目領域抽出７の方法を説明する。

【００１８】まず入力された罫線始点長さデータ２３と
識別辞書２８の識別フォーマットデータ２６を比べて識
別辞書登録数誤差抽出３１を行う。識別辞書登録数誤差
抽出３１は罫線始点長さデータ２３の長さと識別辞書２
８にある識別フォーマットデータ２６の長さのそれぞれ
の合計を求めその値を比較する長さ誤差抽出３２、罫線
始点長さデータ２３の始点座標と識別辞書２８にある識
別フォーマットデータ２６の始点座標のそれぞれのＸ座
標を比較する始点座標誤差１抽出３３、罫線始点長さデ
ータ２３の始点座標と識別辞書２８にある識別フォーマ
ットデータ２６の始点座標のそれぞれのＹ座標を比較す
る始点座標誤差２抽出３４、罫線始点長さデータ２３と
識別辞書２８にある識別フォーマットデータ２６の各デ
ータ内で隣合う罫線の始点座標のＸ座標差の値を求め罫
線始点長さデータ２３の差と識別フォーマットデータ２
６差の値を比較する始点座標誤差３抽出３５、罫線始点
長さデータ２３と識別辞書２８にある識別フォーマット
データ２６の各データ内で隣合う罫線の始点座標のＹ座
標差の値を求め罫線始点長さデータ２３の差と識別フォ
ーマットデータ２６差の値を比較する始点座標誤差４抽
出３６が行なわれる。

【００１９】その結果、罫線始点長さデータ２３に対し
て最小誤差の識別フォーマットデータを求め識別辞書２
８を参照し、様式番号、読取り位置データ抽出３７する
動作を行なう。

【００２０】図４は罫線の符号化してシート識別を行な
うための罫線始点終点データより罫線を符号化し罫線関
係データを求める様子を示す。入力された罫線４１の始
点終点座標からなる罫線データ４２を基に階層符号化４
３を行ない、符号化された罫線４４のように各罫線毎に
符号を割り振った罫線符号データ４５を求める。その結
果各罫線に対しての符号は次の様になる。まず縦罫線に
ついて、ＩＤ番号１はｙ１、ＩＤ番号２はｙ１ー１、Ｉ
Ｄ番号３はｙ１ー１+１、ＩＤ番号４はｙ１ー２とな
る。また横罫線ついて、ＩＤ番号１はｘ１、ＩＤ番号２
はｘ２、ＩＤ番号３はｘ２＋１になる。そして罫線デー
タ４２と罫線符号データ４５より縦横の罫線に対して各
縦罫線上に対して横罫線の始点座標や終点座標の接続関
係と、各横罫線上に対して縦罫線の始点座標や終点座標
の接続関係を求め、その結果縦罫線の始点関係はｙ１に
対しｘ１、ｘ２、ｘ２＋１になり、終点関係はｙ１ー１
に対しｘ１と、ｙ１ー２に対しｘ２、ｘ２＋１の関係式
が抽出され、また横罫線の始点関係はｘ１に対しｙ１、
ｙ１ー１、ｙ１ー１＋１と、ｘ２に対しｙ１ー２にな
り、終点関係はｘ２に対しｙ１ー１、ｙ１ー１＋１と、
ｘ２＋１に対しｙ１、ｙ１ー２の関係式を抽出する罫線
関係データ４６作成する動作を行なう。

【００２１】図５は図４の符号化４３の方法を説明す
る。罫線の始点終点座標を基に、まずオーバーラップし
てない第１階層の罫線毎に番号付け５１を行なう。次に
第２階層以下の罫線は上位階層の罫線を探し、その罫線
より長さが長い場合その上位階層の罫線を探し、同じ場
合＋符号を付けて番号付けし、短い場合ー符号を付けて
番号付け５２を行なう。このオーバーラップ確認と階層
付けは、罫線４１を縦横の罫線に分けて説明する。縦罫
線は矢印５３の方向（Ｘ方向）に見てオーバーラップ確
認と階層付けする。横罫線は矢印５４の方向（Ｙ方向）
に見てオーバーラップ確認と階層付けする。これにより
第１階層は縦罫線５５、横罫線５６になり、第２階層以
下の階層は縦罫線５７、横罫線５８になる動作を行な
う。

【００２２】図６は図４で求めた罫線関係データ４６を
識別辞書とのマッチングを行なう様子を示す。罫線関係
データ４６と枠の構造番号、Ｄｏｎ’ｔＣａｒｅデー
タ、罫線関係データ、読取り枠符号より構成した辞書構
造６１からなる識別辞書６２の辞書Ａ６３と辞書Ｂ６４
を誤差算出方法６５によりマッチングを行なう。具体的
に誤差算出方法６５は関係数と関係式の誤差は１０、関
係式イコール部分は誤差１を与える。その結果、辞書Ａ
６３に対しては誤差＝０、辞書Ｂ６４に対しては誤差＝
５１の誤差値が抽出される。その結果誤差の一番小さい
辞書Ａ６３の構造番号１と読取り項目符号データ６６が
出力され、読取り項目符号データ６６は対象罫線抽出６
７、直線式による読取り項目領域抽出６８の動作を行な
う。

【００２３】図７はＤｏｎ’ｔＣａｒｅをデータを利用
してマッチングを行なう様子を示す。図４の罫線始点終
点データ４１にかすれ１本の場合７１は罫線関係データ
は７２になり、ノイズ１本の場合７３は罫線関係データ
７４になる。そして辞書Ａ６３のＤ＝ｙ１ー１＊よりｙ
１ー１とｙ１ー１以下の物はＤｏｎ’ｔＣａｒｅとして
マッチングを行なうと、罫線関係データ７２、７４のア
ンダーライン部分は無視されてマッチングを行ない、そ
の結果誤差はどちらの場合でも０になる動作を行なう。

【００２４】図８は入力された文書の読取り項目を自動
認識して、認識エラーがある場合の修正を行なう様子を
示す。文書１が入力され、自動認識８１より読取り項目
の文字を文字認識し、認識エラー判定８２より認識エラ
ーが有る場合、認識エラー画像データ、読取り項目の認
識文字やフォントサイズや読取り項目領域座標からなる
認識エラー情報を認識エラー画像データ・認識エラー情
報一時蓄積８３の動作を行なう。そして、読取りエラー
の文書を修正する場合に、読取り項目修正表示レイアウ
ト作成８４で修正画面作成し、画像・読取り項目一体表
示修正８５により修正作業を行ない、画像データ・読取
り項目情報登録８６を行なう。また認識エラー判定８２
より認識エラーが無い場合は蓄積装置８６に画像データ
・読取り項目情報登録８６の動作を行なう。

【００２５】図９は図８の修正時の表示方法の様子を示
す。文書画像９１上に認識結果ウィンドウ９２を読取り
位置の周辺に一体表示する。具体的に説明すると、読取
り項目１の文書画像部分９６の下に読取り項目１の認識
結果ウインドウ９７が表示され、読取り項目２の文書画
像部分９８の下に読取り項目２の認識結果ウインドウ９
９が表示された一体表示ａ９３は、ユーザ等の指示によ
り次の様に変化する。項目２の認識エラーの場合、読取
り項目２の文書画像部分９８の下に読取り項目２の認識
結果ウインドウ９９のみ表示した一体表示ｂ９４。また
は読取り項目２の文書画像部分９８を見やすくするた
め、読取り項目１の文書画像部分９６の上に読取り項目
１の認識結果ウインドウ９７が表示され、読取り項目２
の文書画像部分９８の下に読取り項目２の認識結果ウイ
ンドウ９９が表示された一体表示ｃ９５に変化する動作
を行なう。

【００２６】

【実施例】以下、本発明の実施例を詳細に説明する。図
１０は、本発明による文書システムの構成を示す図であ
る。本システムは、文書７９を画像データとして入力す
る画像入力装置１００、入力された文書の読取り項目を
認識する自動認識装置６００、文書の画像データおよび
読取り項目を登録する記憶装置２００、画像データおよ
びキャラクタウインドウを表示する表示装置３００、ユ
ーザからの指示を入力する外部指示入力装置４００、登
録された文書を検索する検索装置７００、これらの各装
置を制御する制御装置５００より構成される。

【００２７】図１１は、罫線の始点長さを利用した自動
認識システムのブロック図である。構成は、罫線情報抽
出手段である文書画像の黒ドットの連続すなわちランデ
ータを抽出するランデータ抽出装置６０１と、比較的長
いランデータから罫線データすなわち罫線の始点および
終点座標を抽出する罫線データ抽出装置６０２と、抽出
した罫線データを、識別辞書との照合を行なうための前
処理として補正する罫線データ正規化装置６０３と、正
規化された罫線データより罫線始点長さデータ抽出する
罫線始点長さデータ抽出装置６０４、入力された文書の
罫線始点長さデータと識別辞書装置６０６にある識別辞
書を基にシート識別を行なうシート識別装置６０５、識
別された結果より識別辞書装置６０６の読取り項目領域
データを基に読取り項目領域座標を抽出する読取り項目
領域抽出装置６０７、読取り項目領域座標を基にその領
域を文字認識する文字認識装置６０８より成る。

【００２８】次に、図１２、および図１、２、３、１
０、１１を用いて罫線の始点長さを利用した自動認識処
理フローを説明する。まず、図１２の画像入力Ａ１で
は、図１０に示す画像入力装置１００より文書７９を入
力し、制御装置５００で入力された文書画像を自動認識
装置６００に転送する。ランデータ抽出Ａ２では、文書
画像から連結した黒ドットの始点と終点座標を求めてラ
ンデータを作成し、ランの長さがあらかじめ設定された
値より長いランデータの抽出を行なう。

【００２９】これは、図１１のラン抽出装置６０１で実
行される。罫線データ抽出Ａ３は、ランデータをもとに
ランの接続を探索して連結されたランを一罫線（図１の
罫線抽出３に概要を示す）として、罫線の始点と終点の
座標、これらの座標値を用いた罫線の傾きを求め、始点
終点座標と傾きからなる罫線データ（詳細を図２の罫線
データ２３に示す）を抽出する。これは、図１１の罫線
データ抽出装置６０２装置で処理する。罫線データ正規
化Ａ４は、図２の罫線始点長さデータ２３を用いて文書
様式を識別するための前処理として、すなわち図１１の
識別辞書装置６０４との整合性をとるために、図２の識
別辞書２８にある正規化データをもとに、傾き、伸縮、
平行移動の補正を行なう。これは図１１の罫線データ正
規化装置６０２で行なう。具体的には、罫線データの傾
き補正は、罫線データ抽出Ａ３で求めた傾きを用いて各
罫線データの始点および終点座標を補正することにより
行なう。

【００３０】また、伸縮、平行移動の補正は、罫線デー
タの中から正規化データに登録された罫線と同じ罫線の
基準線を抽出し、罫線データ基準線と正規化データ基準
線を比較して、伸縮率と平行移動量を計算し補正する。
図１２の罫線始点長さデータ抽出Ａ５では、正規化され
た罫線データの始点および終点座標より罫線の始点座標
と長さを求める。これは、図１１の罫線始点長さデータ
抽出装置６０４で行なう。

【００３１】シート識別Ａ６では、正規化された罫線デ
ータと、識別辞書装置６０６（図１１）中の識別辞書２
８（図２）との間でシート識別のマッチング２７を行な
う（図２）。この処理は、図１１に示したシート識別装
置６０５で実行する。

【００３２】このマッチング方法の詳細を図３を用いて
説明する。まず、識別辞書２８に登録されている識別フ
ォーマットデータ２６の中から始点座標が近い罫線デー
タを選択し、長さ誤差抽出３２で、罫線始点長さデータ
２３と識別フォーマットデータ２６の長さのそれぞれの
合計を求めその値を比較する。

【００３３】次に、始点座標誤差１抽出３３で、罫線始
点長さデータ２３の始点座標と、識別辞書２８にある識
別フォーマットデータ２６の始点座標のそれぞれの横方
向座標（Ｘ座標という）を比較する。始点座標誤差２抽
出３４で、罫線始点長さデータ２３の始点座標と識別辞
書２８にある識別フォーマットデータ２６の始点座標の
それぞれの縦方向座標（Ｙ座標という）を比較する。始
点座標誤差３抽出３５で、罫線始点長さデータ２３と識
別辞書２８にある識別フォーマットデータ２６のそれぞ
れについて、隣合う罫線の始点座標のＸ座標に関する差
を求め、罫線始点長さデータ２３での差と、識別フォー
マットデータ２６での差を比較する。

【００３４】次に、始点座標誤差４抽出３６では、罫線
始点長さデータ２３と識別辞書２８にある識別フォーマ
ットデータ２６のそれぞれについて、隣合う罫線の始点
座標のＹ座標に関する差を求め、罫線始点長さデータ２
３での差と、識別フォーマットデータ２６での差を比較
する。

【００３５】以上の結果、図１２の読取り位置抽出Ａ７
では、罫線始点長さデータ２３に対して最小誤差となる
識別フォーマットデータを求めることができ、識別辞書
２８を参照することによって、様式番号・読取り項目領
域データ２９の様式番号Ｆ１、読取り項目領域の始点Ｘ
座標ＲＸ１、始点Ｙ座標ＲＸ２、始点座標からの長さＲ
Ｌ、始点座標からの幅ＲＷを求め、文書画像上の読取り
項目領域座標を抽出する。これらの読取り位置抽出処理
（図１の７）は、図１１の読取り項目領域抽出装置６０
７で実行される。

【００３６】次に、図１２の読取り項目文字認識Ａ８で
は、上記Ａ７により求めた読取り項目領域座標の文字を
文書画像より切り出して認識する。これは、図１１の文
字認識装置６０８で行なわれる。図１２の登録Ａ９で
は、読取り項目の文字情報、または画像データと読取り
項目を記憶装置２００（図１０）に登録する。

【００３７】次に、図１３を用いて、本発明の別な実施
例を説明する。

【００３８】図１３は罫線符号化を利用した自動認識シ
ステムのブロック図である。構成は、文書画像の黒ドッ
ト連続した始点終点座標ランデータを抽出するランデー
タ抽出装置６１１、長いランデータより始点終点座標か
らなる罫線データを抽出する罫線データ抽出装置６１
２、ランデータより枠の最小最大座標エリアからなる枠
ブロックデータを抽出する枠ブロック抽出装置６１３、
罫線符号化のため枠ブロック毎に罫線データを選択する
枠ブロック毎罫線データ抽出装置６１４、抽出した罫線
データの傾き補正を行ない補正を行なう罫線データ傾き
補正装置６１５、抽出した罫線データを識別辞書とのマ
ッチングを行なうための前処理として罫線の位置関係を
基に罫線を符号データを抽出する罫線符号化装置６１
６、罫線データと罫線符号データを基に罫線関係データ
を抽出する罫線関係抽出装置６１７入力された文書の罫
線関係データを基に罫線符号データと識別辞書装置６１
９にある識別辞書を基のシート識別を行なうシート識別
装置６１８、識別された結果より識別辞書装置６１９の
読取り項目符号データを基に読取り項目領域座標を抽出
する読取り項目領域抽出装置６２０、読取り項目領域座
標を基にその領域を文字認識する文字認識装置６２１よ
り成る。

【００３９】図１４を基に、図１、４、５、６、７、１
０、および図１３を用いての罫線符号化を利用した自動
認識処理フローを説明する。

【００４０】まず図１４の画像入力Ｂ１は図１０の文書
７９が画像入力装置１００より入力し、制御装置５００
は入力された文書画像を自動認識６００に転送する。

【００４１】次に図１４のランデータ抽出Ｂ２は、文書
画像より連結した黒ドットの始点と終点座標を調べてラ
ンデータを作成し、ランの長さを見てあらかじめ設定さ
れた長さより長いランデータの抽出を図１３のランデー
タ抽出装置６１１で行なう。

【００４２】図１４の罫線データ抽出Ｂ３は図１の罫線
抽出３として、長いランデータを基にランの接続を探索
して連結されたランを一罫線として、罫線の始点終点座
標と座標値より罫線の傾き値求め、始点終点座標と傾き
値からなる罫線データを抽出を、図１３の罫線データ抽
出装置６１２により行ない、罫線データを求める。

【００４３】図１４の枠ブロック抽出Ｂ４は入力された
ランデータを基に、ランの接続関係により黒ドットの輪
郭データを抽出し、この輪郭データより枠の輪郭データ
を選択し、枠の最小座標と最大座標のブロックエリアデ
ータよりなる枠ブロックデータ抽出を図１３の枠ブロッ
ク抽出装置６１３により行なう。

【００４４】次に図１４の枠ブロック毎罫線データ抽出
Ｂ５は、罫線データと枠ブロックデータを基に、罫線符
号化のため枠ブロック毎の罫線データを抽出を、図１３
の枠ブロック毎罫線データ抽出装置６１４で行なう。

【００４５】次に図１４の罫線データ傾き補正Ｂ６は、
図１３の枠ブロック毎罫線データ抽出６１４で求めた罫
線データに対して、罫線データ抽出装置６１２で求めた
傾き値により罫線データの始点終点座標を傾き補正を罫
線データ傾き補正装置６１５にて行ない図４の罫線デー
タ４２を求める。

【００４６】図１４の罫線符号化Ｂ７は罫線データ４２
をシート識別するための前処理として図１３の罫線符号
化装置６１６により図４の階層符号化４３を図５の方法
で以下のように行なう。罫線の始点終点座標を基に、ま
ずオーバーラップしてない第１階層の罫線毎に番号付け
５１を行なう。次に第２階層以下の罫線は上位階層の罫
線を探し、その罫線より長さが長い場合その上位階層の
罫線を探し、同じ場合＋符号を付けて番号付けし、短い
場合ー符号を付けて番号付け５２を行なう。このオーバ
ーラップ確認と階層付けは、罫線４１を縦横の罫線に分
けて説明する。縦罫線は矢印５３の方向（Ｘ方向）に見
てオーバーラップ確認と階層付けする。横罫線は矢印５
４の方向（Ｙ方向）に見てオーバーラップ確認と階層付
けする。これにより第１階層は縦罫線５５、横罫線５６
になり、第２階層以下の階層は縦罫線５７、横罫線５８
になる動作を行ない、その結果各罫線に対しての符号
は、縦罫線はＩＤ番号１はｙ１、ＩＤ番号２はｙ１ー
１、ＩＤ番号３はｙ１ー１+１、ＩＤ番号４はｙ１ー２
となり、横件線はＩＤ番号１はｘ１、ＩＤ番号２はｘ
２、ＩＤ番号３はｘ２＋１になる。罫線符号データ４５
を求める。

【００４７】図１４の罫線関係データ作成Ｂ８は識別辞
書装置６１９マッチングを行なうため図１３の罫線関係
抽出装置６１６により、罫線データ４２と罫線符号デー
タ４５より縦横の罫線に対して各縦罫線上に対して横罫
線の始点座標や終点座標の接続関係と、各横罫線上に対
して縦罫線の始点座標や終点座標の接続関係を求め、そ
の結果縦罫線の始点関係はｙ１に対しｘ１、ｘ２、ｘ２
＋１になり、終点関係はｙ１ー１に対しｘ１と、ｙ１ー
２に対しｘ２、ｘ２＋１の関係式が抽出され、また横罫
線の始点関係はｘ１に対しｙ１、ｙ１ー１、ｙ１ー１＋
１と、ｘ２に対しｙ１ー２になり、終点関係はｘ２に対
しｙ１ー１、ｙ１ー１＋１と、ｘ２＋１に対しｙ１、ｙ
１ー２の関係式を抽出する罫線関係データ４６を抽出す
る。

【００４８】次に図１４のシート識別Ｂ９は、この抽出
された罫線符号データ、罫線関係データと識別辞書装置
６１９を基にシート識別装置６１８で図１のシート識別
のマッチングを第６、７図の方法で以下のように行な
う。罫線関係データ４６と枠の構造番号、Ｄｏｎ’ｔＣ
ａｒｅデータ、罫線関係データ、読取り枠符号より構成
した辞書構造６１からなる識別辞書６２の辞書Ａ６３と
辞書Ｂ６４を誤差算出方法６５によりマッチングを行な
う。具体的に誤差算出方法６５は関係数と関係式の誤差
は１０、関係式イコール部分は誤差１を与える。その結
果、辞書Ａ６３対しては誤差＝０、辞書Ｂ６４対しては
誤差＝５１の誤差値が抽出される。またＤｏｎ’ｔＣａ
ｒｅマッチングは、図４の罫線始点終点データ４１にか
すれ１本の場合７１は罫線関係データは７２になり、ノ
イズ１本の場合７３は罫線関係データ７４になる。そし
て辞書Ａ６３のＤ＝ｙ１ー１＊よりｙ１ー１とｙ１ー１
以下の物はＤｏｎ’ｔＣａｒｅとしてマッチングを行な
うと、罫線関係データ７２、７４のアンダーライン部分
は無視されてマッチングを行ない、その結果誤差はどち
らの場合でも０になる動作し、最小誤差の辞書Ａ６３マ
ッチングする。

【００４９】その結果、図１４の読取り項目領域抽出Ｂ
１０を図１３の読取り項目領域抽出装置６２０より図１
の読取り位置抽出７として図６の識別辞書６２にある最
小誤差の辞書Ａ６３構造番号と読取り項目符号データ６
６より対象罫線抽出６７で読取り項目に当たる罫線デー
タを抽出し、直線式による文書画像上の読取り項目領域
座標を抽出する。

【００５０】図１４の読取り項目文字認識Ｂ１１は出力
された読取り項目領域座標の文字を文書画像より切り出
し図１１の文字認識装置６２１で認識し、図１４の登録
Ｂ１２の読取り項目の文字情報又は画像データと文字情
報を記憶装置２００に登録する。

【００５１】図１５は自動認識を行ない、読取り項目に
認識エラーのある文書を修正するシステムのブロック図
である。構成は、文書７９の画像データを入力する画像
入力装置８００、入力された文書の読取り項目を認識す
る自動認識装置８０７、自動認識の結果認識エラーを判
定する判定装置８０８、読取り項目の認識でエラーの有
った文書の画像データ一時的に記憶する一時記憶装置８
０２、読取り項目の認識でエラーの有った文書の読取り
項目の認識文字、フォントサイズ、読取り項目領域座標
から成る認識エラー情報を一時的に記憶する認識情報記
憶装置８０９、認識エラーの文書を修正する場合修正表
示のレイアウトを作成する修正表示レイアウト作成装置
８０３、画像データやキャラクタウインドウを表示する
表示装置８０４、ユーザからの指示を入力する外部指示
入力装置８０５、登録された文書を検索する検索装置８
１０、これらの各装置を制御する制御装置８０６より構
成される。

【００５２】次に第８、９、１５図を用いて入力された
文書の読取り項目を自動認識して、認識エラーがある場
合の修正方法を説明する。

【００５３】まず図１５の文書７９が画像入力装置８０
０より入力され、文書の読取り項目の文字を自動的に抽
出・認識を図８の自動認識８１が図１５の自動認識装置
８０７で行なわれる。この認識結果を図８の認識エラー
判定を図１５の判定装置８０８で行ない、図８の認識エ
ラー文書の画像データや認識エラー情報一時蓄積８３を
図１５の一時蓄積装置８０２、認識情報記憶装置８０９
に蓄積する。次に図８の読取り項目修正表示レイアウト
作成８５を、ユーザが図１５の外部指示入力装置８０５
より修正指示を入力し、制御装置８０６が修正表示レイ
アウト作成装置８０３に指示を与え、修正表示レイアウ
ト作成装置８０３は修正を行ない文書の画像データを一
時記憶装置８０２より、認識エラー情報を認識情報記憶
装置８０９より入力し、修正表示レイアウト作成装置８
０３は修正画面のレイアウトを作成する。この作成され
た修正画面を図８の画像・読取り項目一体表示修正８６
を図９の表示方法により、文書画像９１上に認識結果ウ
ィンドウ９２を読取り位置の周辺に一体表示する。また
読取り項目１の文書画像部分９４の下に読取り項目１の
認識結果ウインドウ９５が表示され、読取り項目２の文
書画像部分９６の下に読取り項目２の認識結果ウインド
ウ９７が表示された一体表示ａ９３は、ユーザ等の指示
により次の様に変化する。項目２の認識エラーの場合、
読取り項目２の文書画像部分９６の下に読取り項目２の
認識結果ウインドウ９７のみ表示した一体表示ｂ９４ま
たは読取り項目２の文書画像部分９６を見やすくするた
め、読取り項目１の文書画像部分９４の上に読取り項目
１の認識結果ウインドウ９５が表示され、読取り項目２
の文書画像部分９６の下に読取り項目２の認識結果ウイ
ンドウ９７が表示された一体表示ｃ９５に変化する表示
し修正を行なう。修正された文書の図８の画像データ・
読取り項目情報登録８６を図１５の記憶装置８０１に制
御装置８０６が登録する。図８の認識エラー８２のエラ
ー無しの場合は、図８の画像データ・読取り項目情報登
録８６を図１５の記憶装置８０１に制御装置８０６が登
録する。

【００５４】

【発明の効果】以上説明したごとく、本発明によれば、
自動認識における読取り項目を見つけるためのシート識
別を罫線の始点座標や長さ、または罫線に符号付けする
ことにより、準定型フォーマットの文書に対応でき、読
取り項目の修正時に画像と読取り項目の認識結果ウィン
ドウを一体表示することでユーザにとって使いやすい修
正が行なえる。

【図面の簡単な説明】

【図１】本発明の文書画像を入力してシート識別を行な
い読取り項目の登録又は読取り項目と画像データを登録
する様子を示す図、

【図２】本発明の罫線の始点座標と長さでシート識別を
行なう様子を示す図、

【図３】本発明の図２のシート識別のマッチングと読取
り項目領域抽出の方法を示す図、

【図４】本発明の罫線の符号化してシート識別を行なう
方式の罫線始点終点データより罫線を符号化し罫線関係
データを求める様子を示す図、

【図５】本発明の図４の符号化の方法を示す図、

【図６】本発明の図４で求めた罫線関係データを識別辞
書とのマッチングを行なう様子を示す図、

【図７】本発明のＤｏｎ’ｔＣａｒｅをデータを利用し
てマッチングを行なう様子を示す図、

【図８】本発明の入力された文書の読取り項目を自動認
識して、認識エラーがある場合の修正を行なう様子を示
す図、

【図９】本発明の図８の修正時の表示方法の様子を示す
図、

【図１０】本発明の一実施例の自動認識を説明するため
の文書システムの構成を示す図、

【図１１】本発明の一実施例の罫線の始点長さを利用し
た自動認識システムの構成を示す図、

【図１２】本発明の一実施例の罫線の始点長さを利用し
た自動認識のフローを示す図、

【図１３】本発明の一実施例の罫線の符号化を利用した
自動認識システムの構成を示す図、

【図１４】本発明の一実施例の罫線の符号化を利用した
自動認識のフローを示す図、

【図１５】本発明の一実施例の自動認識を行ない認識エ
ラーの有る文書を修正するシステムの構成を示す図。

【符号の説明】

１：文書、２：画像入力、３：罫線抽出、４：シート識
別、５：マッチング、６：識別辞書、７：読取り項目領
域抽出、８：文字認識、９：読取り項目登録、１０：画
像登録、２１：始点座標、２２：長さ、２３：罫線始点
長さデータ、２４：始点座標、２５：長さ、２６：識別
フォーマットデータ、２７：マッチング、２８：識別辞
書、２９：様式番号・読取り項目領域データ、３１：識
別辞書登録数誤差抽出、３２：長さ誤差抽出、３３：始
点座標誤差１抽出、３４：始点座標誤差２抽出、３５：
始点座標誤差３抽出、３６：始点座標誤差４抽出、３
７：様式番号・読取り項目領域データ抽出、４１：罫
線、４２：罫線データ、４３：階層符号化、４４：罫
線、４５：罫線符号データ、４６：罫線関係データ、５
１：第１階層番号付け、５２：第２階層以下番号付け、
５３：矢印、５４：矢印、５５：第１階層縦罫線、５
６：第１階層横罫線、５７：第２階層以下縦罫線、５
８：第２階層以下横罫線、６１：辞書構造、６２：識別
辞書、６３：辞書Ａ、６４：辞書Ｂ、６５：誤差算出方
法、６６：読取り項目符号データ、６７：対象罫線抽
出、６８：直線式による読む取り項目位置抽出、７１：
かすれ１本の場合、７２：罫線関係データ、７３：ノイ
ズ１本の場合、７４：罫線関係データ、８１：自動認
識、８２：認識エラー判定、８３：認識エラー画像デー
タ・認識エラー情報一時蓄積、８４：読取り項目修正表
示レイアウト作成、８５：画像・読取り項目一体表示修
正、８６：画像データ・読取り項目情報登録、９１：文
書画像、９２：認識結果ウインドウ、９３：一体表示
ａ、９４：一体表示ｂ、９５：一体表示ｃ、９６：読取
り項目１の文書画像、９７：読取り項目１の認識結果ウ
インドウ、９８：読取り項目２の文書画像、９９：読取
り項目２の認識結果ウインドウ、７９：文書、１００：
画像入力装置、２００：記憶装置、３００：表示装置、
４００：外部指示入力装置、５００：制御装置、６０
０：自動認識装置、７００：検索装置、６０１：ランデ
ータ抽出装置、６０２：罫線データ抽出装置、６０３：
罫線データ正規化装置、６０４：罫線始点長さデータ抽
出装置、６０５：シート識別装置、６０６：識別辞書装
置、６０７：読取り項目領域抽出装置、６０８：文字認
識装置、Ａ１：画像入力、Ａ２：ランデータ抽出、Ａ
３：罫線データ抽出、Ａ４：罫線データ正規化、Ａ５：
罫線始点長さデータ抽出、Ａ６：シート識別、Ａ７：読
取り項目領域抽出、Ａ８：読取り項目文字認識、Ａ９：
登録、６１１：ランデータ抽出、６１２：罫線データ抽
出装置、６１３枠ブロック抽出装置、６１４：枠ブロッ
ク毎罫線データ抽出装置、６１５罫線データ傾き補正装
置、６１６：罫線符号化装置、６１７：罫線関係データ
抽出装置、６１８：シート識別装置、６１９：識別辞
書、６２０：読取り項目領域抽出装置、６２１：文字認
識装置、Ｂ１：画像入力、Ｂ２：ランデータ抽出、Ｂ
３：罫線データ抽出、Ｂ４：枠ブロック抽出、Ｂ５：枠
ブロック毎罫線データ抽出、Ｂ６：罫線データ傾き補
正、Ｂ７：罫線符号化、Ｂ８：罫線関係データ作成、Ｂ
９：シート識別、Ｂ１０：読取り項目領域抽出、Ｂ１
１：読取り項目文字認識、Ｂ１２：登録、８００：画像
入力装置、８０１：記憶装置、８０２：一時記憶装置、
８０３：修正表示レイアウト作成装置、８０４：表示装
置、８０５：外部指示入力装置、８０６：制御装置、８
０７：自動認識装置、８０８：判定装置、８０９：認識
情報記憶装置、８１０検索装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 古賀 昌史 東京都国分寺市東恋ヶ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 栗野 清道 神奈川県小田原市国府津2880番地株式会 社日立製作所ストレージシステム事業部 内 (72)発明者 杉本 建行 神奈川県小田原市国府津2880番地株式会 社日立製作所ストレージシステム事業部 内 (56)参考文献 特開 平４−268685（ＪＰ，Ａ) 特開 平１−147786（ＪＰ，Ａ) 特開 平５−108792（ＪＰ，Ａ) 特開 平４−211883（ＪＰ，Ａ) 特開 平６−290251（ＪＰ，Ａ) 特開 昭63−155386（ＪＰ，Ａ) 特開 昭61−131082（ＪＰ，Ａ) 特開 昭61−54575（ＪＰ，Ａ) 特開 昭62−38984（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 文書画像を入力する画像入力装置と、前記
   画像入力装置により入力された文書画像の様式を識別
   し、所定の読取り枠領域を抽出し、前記読取り枠領域の
   文書画像から項目情報を文字コードとして認識する認識
   装置とを有する文書システムにおいて、 前記認識装置は、 入力される文書画像の文書の様式毎の罫線の始点につい
   ての始点座標データ、終点についての終点座標データ、
   前記始点座標データと前記終点座標データとの接続関係
   データ、及び、相互にオーバーラップしていない第１階
   層の罫線毎に付された番号と、第２階層以下の罫線に対
   して、オーバーラップしている上位階層の罫線より長さ
   が長い場合、前記オーバーラップしている上位階層の罫
   線と長さが同じ場合、または前記オーバーラップしてい
   る上位階層の罫線より長さが短い場合のそれぞれに決め
   られた規則に従って付された番号と、によって読取り枠
   を表す読取り枠符号データ、を有する複数の辞書を格納
   する識別辞書と、 前記画像入力装置により入力された文書画像の縦罫線お
   よび横罫線についての罫線データを抽出する罫線データ
   抽出装置と、 前記罫線データ抽出装置によって抽出された罫線データ
   に対して、相互にオーバーラップしていない第１階層の
   罫線毎に番号付けを行い、第２階層以下の罫線について
   は、オーバーラップしている上位階層の罫線を探し、前
   記オーバーラップしている上位階層の罫線より長さが長
   い場合、前記オーバーラップしている上位階層の罫線と
   長さが同じ場合、または前記オーバーラップしている上
   位階層の罫線より長さが短い場合のそれぞれに決められ
   た規則に従って番号付けを行う罫線符号化装置と、 前記罫線符号化装置によって前記第１階層の罫線に付け
   られた番号および前記第２階層以下の罫線に付けられた
   番号を用いて、前記罫線データ抽出装置によって抽出さ
   れた罫線データについての始点座標および終点座標の接
   続関係を抽出する罫線関係抽出装置と、 前記罫線関係抽出装置によって抽出された接続関係と、
   前記識別辞書に格納された複数の辞書が有する前記始点
   座標データと前記終点座標データとの接続関係データ
   と、を照合して、前記罫線関係抽出装置によって抽出さ
   れた接続関係との誤差のより少ない接続関係データを有
   する辞書を識別するものであり、さらに、前記罫線デー
   タ抽出装置によって抽出された罫線データにかすれまた
   はノイズがあった場合であっても、前記かすれまたはノ
   イズによって影響を生じさせる部分を無視して、前記識
   別辞書に格納された複数の辞書のうちの１つの辞書を識
   別するシート識別装置と、 前記シート識別装置によって識別された辞書に含まれた
   読取り枠符号データを抽出し、前記抽出された読取り枠
   符号データを基にして読取り枠領域座標を抽出する読取
   り枠領域抽出装置と、 前記読取り枠領域抽出装置によって抽出された読取り枠
   領域座標の文字コードを、前記画像入力装置により入力
   された文書画像から認識する文字認識装置とを有するこ
   とを特徴とする文書システム。
2. 【請求項２】 請求項１に記載の文書システムにおいて、 前記罫線符号化装置は、前記罫線データ抽出装置によっ
   て抽出された罫線データに対して、縦罫線は横方向座標
   順に、横罫線は縦方向座標順に番号を付するものである
   ことを特徴とする文書システム。
3. 【請求項３】 請求項１に記載の文書システムにおいて、 前記罫線符号化装置は、前記罫線データ抽出装置によっ
   て抽出された罫線データに対して、縦罫線は横方向座標
   順でかつ横罫線との接触関係で、横罫線は縦方向座標順
   でかつ縦罫線との接触関係で番号を付するものであるこ
   とを特徴とする文書システム。
4. 【請求項４】 請求項１に記載の文書システムにおいて、 前記罫線符号化装置は、前記罫線データ抽出装置によっ
   て抽出された罫線データに基づいて、縦罫線は縦方向座
   標でオーバーラップしていない罫線を抽出し、該抽出さ
   れた罫線に対して縦方向座標順に番号を付し、横罫線は
   横方向座標でオーバーラップしていない罫線を抽出し、
   該抽出された罫線に対して横方向座標順に番号を付すも
   のであることを特徴とする文書システム。
5. 【請求項５】 請求項１に記載の文書システムにおいて、 前記罫線符号化装置は、前記罫線データ抽出装置によっ
   て抽出された罫線データに対して、縦罫線は横方向順
   で、横罫線は縦方向順で、罫線の位置と長さを含んだ番
   号を付するものであることを特徴とする文書システム。
6. 【請求項６】 請求項１乃至５に記載の文書システムにお
   いて、 前記画像入力装置により入力された文書画像のデータか
   ら走査線毎の黒画素連結の始点と終点の座標を求めて、
   ランデータを作成するランデータ抽出装置とを有するこ
   とを特徴とする文書システム。
7. 【請求項７】 請求項１乃至５に記載の文書システムにお
   いて、 前記画像入力装置により入力された文書画像のデータか
   ら走査線毎の黒画素連結の始点と終点の座標を求めて、
   ランデータを抽出し、前記ランデータから所定の閾以下
   の短いランを除去した後、残ったランデータを抽出する
   ランデータ抽出装置とを有し、 前記罫線データ抽出装置は、前記残ったランデータの連
   結を行ない、罫線データとして抽出するものであること
   を特徴とする文書システム。
8. 【請求項８】 請求項１乃至７に記載の文書システムにお
   いて、 前記認識装置での文字認識誤りなどの認識エラーを判定
   する判定装置と、 前記認識装置によって認識された文字コードの位置およ
   びフォントサイズを記憶する認識情報記憶装置と、 前記判定装置で認識エラーと判定された文書画像を一次
   的に記憶する一次記憶装置と、 認識エラーと判定された文書画像の認識情報を修正する
   ための表示装置と、 該修正表示のために前記認識情報装置に記憶した情報を
   もとに表示レイアウトを生成する修正表示レイアウト作
   成装置と、 認識エラー無しと判定された文書画像と文字コード、お
   よび修正された文書画像と認識情報を記憶する記憶装置
   とを有し、 前記判定装置が認識エラーと判定した文書画像とその認
   識情報を記憶し、認識エラーと判定された文書画像の認
   識情報の修正時に、認識情報をもとに修正表示レイアウ
   トを作成し、文書画像と認識結果別ウインドウを一体表
   示することを特徴とする文書システム。
9. 【請求項９】 請求項８に記載した文書システムにおい
   て、表示装置に文書画像と認識結果別ウインドウを一体
   表示して修正を行なう際、認識結果別ウインドウの表示
   位置、表示サイズを変更する指示信号を入力する入力装
   置を有することを特徴とする文書システム。
10. 【請求項１０】 請求項８に記載した文書システムにおい
    て、前記修正表示レイアウト作成装置は、前記文字認識
    装置によって認識された文字コードが複数個ある場合、
    判定装置で認識エラーと判定された部分についてのみ認
    識結果別ウインドウと文書画像を一体表示するを有する
    ことを特徴とする文書システム。
11. 【請求項１１】 請求項８に記載した文書システムにおい
    て、前記修正表示レイアウト作成装置は、前記文字認識
    装置によって認識された文字コードが複数個ある場合、
    判定装置で認識エラーと判定された部分の認識結果別ウ
    インドウと、認識エラー無し判定された部分の認識結果
    別ウインドウとをそれぞれ背景の色を変えて文書画像と
    一体表示することを特徴とする文書システム。
12. 【請求項１２】 請求項８に記載した文書システムにおい
    て、前記修正表示レイアウト作成装置は、前記文字認識
    装置によって認識された文字コードが複数個ある場合、
    判定装置で認識エラーと判定された部分の認識結果別ウ
    インドウを反転表示して文書画像と一体表示することを
    特徴とする文書システム。