JPH08272900A

JPH08272900A - 文書読取装置

Info

Publication number: JPH08272900A
Application number: JP7096051A
Authority: JP
Inventors: Tetsuo Nakamura; 哲夫中村; Megumi Tsujita; 恵辻田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1995-03-29
Filing date: 1995-03-29
Publication date: 1996-10-18
Anticipated expiration: 2016-04-16
Also published as: JP3157414B2

Abstract

(57)【要約】【目的】表内に、更に文字データを含む表があった場
合でもその文字データを読み取ることのできる装置を得
る。【構成】レイアウト解析部２１は、表と文字とを含む
任意の文書の画像データから、表領域と、文字領域とを
識別して解析すると共に、解析した表領域中に、更に表
領域が存在した場合は、領域中に表領域が含まれなくな
るまで、領域解析を行う。レイアウトデータ確認・修正
部２３は、解析した表領域と文字領域とが識別可能に、
かつ、各領域の認識順序が識別可能に表示されるよう制
御すると共に、表示された領域または認識順序に対して
変更指示があった場合は、その領域または認識順序を変
更する。認識部２２は、レイアウト解析部２１で解析し
た文字領域中の文字を認識する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文書上に記録された表
と文字とイメージ（文字以外の図形、絵、写真および罫
線等）を読み取る文書読取装置に関する。

【０００２】

【従来の技術】従来より、表を含む文書上の文字を読み
取るための文書読取装置が開発されている。これらの読
取装置では、文書内の表の文字部分のみを認識してい
た。つまり、表内に文字以外の表、イメージがあって
も、文字のみを読み取っていた。

【０００３】

【発明が解決しようとする課題】しかし、以上述べた従
来の装置では、表内の文字以外の表、イメージを読み取
ることができなかった。例えば、表中に更に表が存在
し、その表中に文字があった場合、その文字を読み取る
ことはできなかった。このような点から、表内に、更に
文字データを含む表があった場合でもその文字データを
読み取ることのできる文書読取装置を実現が望まれてい
た。

【０００４】

【課題を解決するための手段】本発明の文書読取装置
は、表と文字とを含む任意の文書の画像データから、表
領域と、文字領域とを識別して解析すると共に、解析し
た前記表領域中に、更に表領域が存在した場合は、その
領域中に表領域が含まれなくなるまで、領域解析を行う
レイアウト解析部と、このレイアウト解析部で解析した
文字領域中の文字を認識する認識部とを備えたものであ
る。

【０００５】

【作用】本発明の文書読取装置においては、先ず、レイ
アウト解析部は、領域全体の表解析を行う。そして、解
析した表領域中に、更に表領域が存在した場合は、その
領域中に表領域が含まれなくなるまで、領域解析を行
う。表領域中に文字領域が存在した場合、認識部は文字
認識を行う。

【０００６】

【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。

【０００７】《実施例１》〈実施例１の構成〉図１は、本発明の文書読取装置の構
成を示すブロック図である。図の装置は、画像入力部
１、制御部２、表示部３、操作部４、メモリ５、出力部
６からなる。

【０００８】画像入力部１は、読取対象の文書を光学的
に走査し、文書上に記録された文字とイメージを光電変
換により画像信号に変換し、更にこの画像信号を二値の
画像データに変換するものである。

【０００９】制御部２は、画像入力部１〜プリンタ７の
制御を司るプロセッサであり、レイアウト解析部２１と
認識部２２とレイアウトデータ確認・修正部２３を構成
している。

【００１０】レイアウト解析部２１は、後述する画像メ
モリ５１内の画像データから黒画素の周辺分布ヒストグ
ラム等を利用して領域を抽出し、それぞれの領域の幾何
学的特徴等により領域を表、文字、およびイメージに識
別する機能を有している。即ち、表領域は罫線、周辺分
布ヒストグラム黒ブロック情報等を利用して表内のセル
を抽出し、この各セルを領域解析する。そして、前記の
各領域解析で抽出した文字領域は黒画素の周辺分布ヒス
トグラム等を利用して行を切り出し、各行から文字を切
り出す。更に、表領域と文字領域、行、文字、および表
内のセルの読み取りの順序を解析するといった機能を備
えている。

【００１１】尚、レイアウトデータは以上の領域、行、
文字、セル、およびその読み取り順序等で構成するもの
である。

【００１２】認識部２２は、レイアウトメモリ５２のレ
イアウトデータを読み出して、このレイアウトデータに
従い、認識部２２内にある認識辞書（標準的な文字の認
識特徴を記憶した認識辞書）と照合するパターンマッチ
ング等の手法を用い、画像メモリ１１から読み出した画
像データの文字画像を文字認識して文字コード（認識デ
ータ）に変換する機能を有している。

【００１３】レイアウトデータ確認・修正部２３は、後
述する画像メモリ５１から画像データを、レイアウトメ
モリ５２からレイアウトデータを読み出し、表示部３に
この画像データとレイアウトデータを重ねて表示させ、
操作部４より修正指示が行われた場合は、修正後のレイ
アウトデータをレイアウトメモリ５２に記憶させる機能
を有している。

【００１４】表示部３は、ＣＲＴ等からなり、また、操
作部４は、キーボード、マウス等からなるものである。
これら表示部３および操作部４は、画像入力部１、レイ
アウト解析部２１、認識部２２、レイアウトデータ確認
・修正部２３および出力部６の処理の開始指示、処理結
果（画像データ、レイアウトデータ、および認識デー
タ）の表示およびその確認・修正等オペレータとのイン
タフェースをとるための入出力を行うために設けられて
いる。

【００１５】メモリ５は、ＲＡＭ等の半導体メモリであ
り、その領域として画像メモリ５１、レイアウトメモリ
５２、認識メモリ５３を備えている。画像メモリ５１
は、画像入力部１から出力される二値の画像データを記
憶するメモリであり、レイアウトメモリ５２は、レイア
ウト解析部２１およびレイアウトデータ確認・修正部２
３から出力されるレイアウトデータを記憶するメモリ、
また、認識メモリ５３は、認識部２２から出力される認
識データを記憶するためのメモリである。

【００１６】出力部６は、文書データを記憶する磁気デ
ィスク装置、または文書データを印刷するプリンタ等か
らなるもので、制御部２が、画像メモリ５１から画像デ
ータ、レイアウトメモリ５２からレイアウトデータ、お
よび認識メモリ５３から認識データを読出し、この認識
データと画像データをレイアウトデータに従い、任意の
フォーマットの文書データに変換する等の処理を行った
データを出力するものである。

【００１７】〈実施例１の動作〉図２は、本発明の実施
例１の動作を示すフローチャートである。先ず、画像を
入力する（ステップＳ１）。即ち、画像入力部１によ
り、読み取り対象の文書を走査し、文書上に記録された
表、文字、およびイメージを光電変換により画像信号に
変換し、更にこの画像信号を二値の画像データに変換す
る。そして、制御部２は、この画像データを画像メモリ
５１に記憶させ、また、表示部３に表示させる。

【００１８】画像入力が終了すると、レイアウト解析部
２１によりレイアウトを解析する（ステップＳ２〜ステ
ップＳ８）。このレイアウト解析は、先ず、領域を解析
する（ステップＳ２）。即ち、レイアウト解析部２１
は、画像メモリ５１内の画像データを読み出し、この画
像データから領域を黒画素の周辺分布ヒストグラムを利
用して領域の外接枠（領域枠）を抽出し、この領域の種
類をそれぞれの領域の幾何学的特徴により表、文字、お
よびイメージに識別する。

【００１９】更に、文字領域はその黒画素の周辺分布ヒ
ストグラムを利用して縦書きか横書きかを判別する。こ
の判別結果で縦書きが多い場合、領域に右上から左下に
向かって読み取り順序を付ける。一方、横書きが多い場
合、領域に左上から右下に向かって読み取り順序を付け
る（文字領域がない場合、横書きが多い場合と同様に領
域に左上から右下に向かって読み取り順序を付ける）。
ここで、領域枠、領域種類、文字領域の縦／横書き、お
よび読み取り順序を領域データとする。

【００２０】領域解析が終了すると、領域データ内に表
領域がある場合、表解析（ステップＳ４）に進み、表領
域がない場合、行切り出し（ステップＳ７）に進む（ス
テップＳ３）。表解析（ステップＳ４）は、領域データ
内の表領域に対応する画像データの罫線、周辺分布ヒス
トグラム、黒ブロック情報を作成して表内のセルの外接
枠（セル枠）を抽出し、セルの読み取り順序を左上から
右下に向かって付ける。これらセル枠、読み取り順序を
表データとする。

【００２１】表解析を終了すると、前記各セルに対応す
る画像データを領域解析する（ステップＳ５）。動作は
ステップＳ２と同様である。各セルの領域解析が終了す
ると、各セルの領域データ内に表領域がある場合、表解
析（ステップＳ４）に進み、文字領域がない場合、行切
り出し（ステップＳ７）に進む（ステップＳ６）。即
ち、領域データに表領域がある限り、ステップＳ４〜Ｓ
６を繰り返す。

【００２２】行切り出し（ステップＳ７）は、前記領域
データ内の全文字領域について、この文字領域に対応す
る画像データから、前記文字領域の領域データの縦／横
書きに従い、周辺分布ヒストグラムを利用して行の外接
枠（行枠）を抽出し、この行の読み取り順序を縦書きの
場合に右から左に、横書きの場合に上から下に向かって
付ける。前記行枠、読み取り順序を行データとする。

【００２３】行切り出しを終了すると、前記全行データ
について文字切り出しを行う（ステップＳ８）。文字切
り出しは、行データに対応する画像データから、前記文
字領域の領域データの縦／横書きに従い、周辺分布ヒス
トグラムを利用して文字の外接枠（文字枠）を抽出し、
この文字の読み取り順序を縦書きの場合に上から下に、
横書きの場合に左から右に向かって付ける。前記文字
枠、読み取り順序を文字データとする。

【００２４】前記領域データ、表データ、行データ、お
よび文字データを合わせてレイアウトデータとし、この
レイアウトデータをレイアウトメモリ５２に記憶する。
次に、前述したレイアウト解析（領域解析、表解析）の
具体例を図面を用いて更に説明する。

【００２５】図３および図４は、領域解析、表解析結果
の具体例の説明図である。また、図５は、領域解析、表
解析で作成したレイアウトデータの構成説明図である。

【００２６】先ず、図３の（ａ）に示すような画像デー
タＬ１があるとする。そして、この画像データＬ１を領
域解析する（ステップＳ２）と、図３の（ｂ）の領域解
析結果を得る。ここで、図中のＬ２１は表領域、Ｌ２２
は文字領域、Ｌ２３はイメージ領域であり、また、読み
取り順序は、Ｌ２１→Ｌ２２→Ｌ２３で、このときのレ
イアウトデータは図５の（ｂ）領域データである。

【００２７】この図５の（ｂ）領域データに、図３に示
した表領域Ｌ２１があるので、ステップＳ３の判断で、
ステップＳ４の表解析に進み、その表領域Ｌ２１に対応
する画像データを表解析すると、図４の（ｃ）の表解析
結果を得る。図４のＬ３１，Ｌ３２，Ｌ３３，Ｌ３４が
セルで、この読み取り順序は、Ｌ３１→Ｌ３２→Ｌ３３
→Ｌ３４で、このときのレイアウトデータは図５の
（ｃ）表データである。

【００２８】次に、各セルに対応する画像データを領域
解析する（ステップＳ５）と、図４の（ｄ）の領域解析
結果を得る。図４のＬ４１は表領域、Ｌ４２１は文字領
域、Ｌ４２２はイメージ領域、Ｌ４３，Ｌ４４は文字領
域で、セルＬ３１，Ｌ３３，Ｌ３４は一つの領域なので
読み取り順序は特になし、セルＬ３２の読み取り順序は
Ｌ４２１→Ｌ４２２で、このときのレイアウトデータは
図５の（ｄ）領域データである。この図５の（ｄ）領域
データに図４の表領域Ｌ４１があるので、ステップＳ６
の判断で、ステップＳ４の表解析に進む。

【００２９】図４の表領域Ｌ４１に対応する画像データ
を表解析する（ステップＳ４）と、図４の（ｅ）の表解
析結果を得る。図４のＬ５１，Ｌ５２がセルで、この読
み取り順序はＬ５１→Ｌ５２で、このときのレイアウト
データは図５の（ｅ）表データである。次に各セルに対
応する画像データを領域解析する（ステップＳ５）と、
図４の（ｆ）の領域解析結果を得る。図４のＬ６１，Ｌ
６２は文字領域で、セルＬ５１，Ｌ５２は一つの領域な
ので読み取り順序は特になしで、このときのレイアウト
データは図５の（ｆ）領域データである。この図５の
（ｆ）領域データには表領域が存在しないため、ステッ
プＳ６では、次の行切り出し（ステップＳ７）に進む。

【００３０】行切り出し（ステップＳ７）、文字切り出
し（ステップＳ８）は、ステップＳ２〜Ｓ６で作成した
文字領域に対応する画像データから行と文字を切り出す
処理であり、この動作例を図３の文字領域Ｌ２２を例と
して次に説明する。

【００３１】図６は、行切り出しと文字切り出し結果の
説明図である。図７は、行切り出し、文字切り出しで作
成したレイアウトデータの構成説明図である。

【００３２】先ず、図６（ａ）の文字領域Ｌ２２（図３
の文字領域Ｌ２２と同一）に対応する画像データを行切
り出しする（ステップＳ７）と、図６（ｂ）の行切り出
し結果の行枠Ｋ１、Ｋ２、この読み取り順序のＫ１→Ｋ
２を作成し、このときのレイアウトデータは図７の
（ｂ）行データである。次に、図６（ｂ）の行Ｋ１、Ｋ
２に対応する画像データを文字切り出しする（ステップ
Ｓ８）と、図６（ｃ）の文字切り出し結果の文字Ｋ１
１，Ｋ１２，Ｋ２１，Ｋ２２，Ｋ２３，Ｋ２４、行Ｋ１
の文字読み取り順序のＫ１１→Ｋ１２、行Ｋ２の文字読
み取り順序のＫ２１→Ｋ２２→Ｋ２３→Ｋ２４を作成
し、このときのレイアウトデータは図７の（ｃ）文字デ
ータである。

【００３３】このように、他の全文字領域に対しても同
様な行切り出し、文字切り出しを行ってレイアウト解析
を終了する。

【００３４】レイアウト解析が終了すると、レイアウト
データの確認・修正を行う（ステップＳ９）。即ち、レ
イアウトデータ確認・修正部２３は、画像メモリ５１か
ら画像データ、レイアウトメモリ５２からレイアウトデ
ータを読み出し、表示部３にこの画像データとレイアウ
トデータを重ねて表示させる。オペレータはこの表示を
見て、レイアウトデータで修正が必要な部分を操作部４
を使って修正する。これにより、レイアウトデータ確認
・修正部２３は、修正後のレイアウトデータをレイアウ
トメモリ５２に記憶させる。

【００３５】レイアウトデータの確認・修正が終了する
と、認識部２２により文字認識を行う（ステップＳ１
０）。即ち、認識部２２は、レイアウトメモリ５２から
レイアウトデータ、画像メモリ５１から画像データを読
み出し、このレイアウトデータに従い画像データの文字
画像を認識部２２内にある認識辞書を用いたパターンマ
ッチングにより文字コードに変換する。そして、この文
字コードを認識データとする。また、この認識データを
認識メモリ５３に記憶する。

【００３６】認識が終了すると、認識部２２は、認識デ
ータの確認・修正を行う（ステップＳ１１）。即ち、認
識メモリ５３から認識データ、レイアウトメモリ５２か
らレイアウトデータ、および画像メモリ５１から画像デ
ータを読み出し、認識データの文字コードに対応した文
字と、画像データそのものの文字画像（イメージ）と
を、表示部３の画面上に表示させる。そして、オペレー
タは、この表示を見て、認識結果が正しいか否かを確認
し、誤りが有った場合は、操作部４から正解文字を入力
する等、認識データの確認・修正を行う。この修正後の
認識データは認識メモリ５３に記憶される。

【００３７】認識データの確認・修正が終了すると、出
力部６で、上記の認識、レイアウト、および画像データ
を変換して出力する（ステップＳ１２）。出力部６は、
画像メモリ５１から画像データ、レイアウトメモリ５２
からレイアウトデータ、および認識メモリ５３から認識
データを読み出し、この認識データと画像データをレイ
アウトデータに従い、任意のフォーマットの文書データ
に変換し、出力部内にある出力装置に出力する。尚、こ
の出力装置は、上述したように、文書データを記憶する
磁気ディスク装置または文書データを印刷するプリンタ
である。

【００３８】以上のように、図３に示した画像データＬ
１のように、表内に文字以外の表、イメージが記録され
た複雑な表を含む文書であっても、表解析→領域解析の
処理を領域データに表領域がある限り繰り返すことによ
って、文字読取を行うことができる。

【００３９】《実施例２》〈実施例２の構成〉この実施例２においては、図面上の
構成は同様であるため、その図示は省略するが、レイア
ウト解析部２１およびレイアウトデータ確認・修正部２
３の機能が異なっている。即ち、実施例２のレイアウト
解析部２１は、領域全体の解析から文字領域解析までの
解析結果の各レベルのウインドウを表示部３に順次表示
させると共に、任意のレベルのウインドウを含む画面に
は、そのレベルより上位レベルのウインドウを同時に表
示させる機能を備えている。

【００４０】また、レイアウトデータ確認・修正部２３
は、解析した表領域と文字領域とイメージ領域が識別可
能に、かつ、各領域の認識順序が識別可能に表示される
よう表示部３に対して制御を行うと共に、表示部３に表
示された領域または認識順序に対して操作部４より変更
指示があった場合は、領域または認識順序を変更し、そ
の変更データをレイアウトメモリ５２に記憶させる機能
を備えている。

【００４１】〈実施例２の動作〉ここでは、実施例２と
実施例１の異なる部分を述べる。ここで説明しない部分
は、実施例１と同一である。

【００４２】図８、図９は、実施例２のレイアウト解析
動作のフローチャートであり、これは、実施例１の図２
のステップＳ２〜Ｓ９に相当するものである。

【００４３】画像入力が終了すると、領域を解析する
（ステップＴ１）。これは実施例１のステップＳ２と同
様である。そして、解析した領域データをレイアウトメ
モリ５２に記憶する。

【００４４】領域解析が終了すると、レイアウトデータ
確認・修正部２３はこの領域データの確認・修正を行う
（ステップＴ２）。この確認・修正処理とは、表示部３
に、画像メモリ５１から読み出した画像データとレイア
ウトメモリ５２から読み出した領域枠を枠として、ま
た、読み取り順序を領域枠の近くに数字で、画像データ
と重ねて表示するものである。オペレータはこの表示を
見て、領域データで修正が必要な部分があれば、その部
分を操作部４を使って修正する。また、読み取り順序で
修正が必要であれば、その修正を操作部４より行う。そ
して、修正後の領域データはレイアウトメモリ５２に記
憶される。

【００４５】領域解析の確認・修正が終了し、次にステ
ップＴ３の領域データ内に表領域があるか否かの判断に
おいて、表領域があった場合は、次の表解析（ステップ
Ｔ４）に進み、表領域がない場合は、行、文字切り出し
（ステップＴ１２以降）へ進む。

【００４６】ステップＴ４の表解析は、実施例１の図２
のステップＳ４と同様であり、ここで解析した表データ
をレイアウトメモリ５２に記憶する。表解析が終了する
と、表データの確認・修正を行う（ステップＴ５）。即
ち、表示部３に、画像メモリ５１から読み出した画像デ
ータと、レイアウトメモリ５２から読み出したセル枠を
枠として、また、読み取り順序をセル枠の近くに数字
で、画像データと重ねて表示する。オペレータはこの表
示を見て、表データで修正が必要な部分があればその部
分を操作部４によって修正する。そして、修正後の表デ
ータをレイアウトメモリ５２に記憶する。

【００４７】次に、各セルについての領域解析を行う
（ステップＴ６、Ｔ７）。この動作は前記ステップＴ１
と同様である。続いて、ステップＴ７で解析した領域デ
ータの確認・修正を行う（ステップＴ８）。この動作は
ステップＴ２と同様である。ステップＴ９では、ステッ
プＴ７、Ｔ８で処理したセルが、そのセルが属する表の
最終セルで有るか否かを判断し、最終セルの場合はステ
ップＴ１１へ進み、最終セルでない場合はＫの値を＋１
して（ステップＴ１０）、次のセルの処理（ステップＴ
７、Ｔ８）へ進む。即ち、最終セルとなるまでステップ
Ｔ７〜Ｔ１０を繰り返す。

【００４８】ステップＴ１１では、ステップＴ２、Ｔ８
で確認・修正した領域データに表領域が有るか否かを判
断し、表領域が無い場合はステップＴ１２へ進み、表領
域が有る場合はステップＴ４に戻る。即ち、領域データ
から表領域が無くなるまで、上記各処理を実行する。

【００４９】ステップＴ１２〜Ｔ２１では、前記ステッ
プＴ１〜Ｔ１１で得た領域データのうち、文字領域につ
いて行、文字を切り出し、確認・修正を行う。

【００５０】先ず、文字領域についてその読み取り順序
に従い、領域解析で判別した縦書き／横書きから、文字
領域の黒画素の周辺分布ヒストグラムを用いて行切り出
しを行う（ステップＴ１２、Ｔ１３）。更に、行を、縦
書きの場合は右から左に、横書きの場合は上から下に向
かって読み取り順序を付け、この行データをレイアウト
メモリ５２に記憶する。

【００５１】次に、この行データを確認・修正する（ス
テップＴ１４）。即ち、表示部３に、画像メモリ５１か
ら読み出した画像データと、レイアウトメモリ５２から
読み出した行枠を枠として、また、読み取り順序を行枠
の近くに数字で、画像データと重ねて表示する。オペレ
ータはこの表示を見て、行データで修正が必要な部分を
操作部４を使って修正する。そして、修正後の行データ
はレイアウトメモリ５２に記憶される。

【００５２】そして、行についてその読み取り順序に従
い、領域解析で判別した縦書き／横書きに従って、行の
黒画素の周辺分布ヒストグラムを用いて文字切り出しを
行う（Ｔ１５、Ｔ１６）。更に、文字を縦書きの場合は
上から下に、横書きの場合は左から右に向かって読み取
り順序を付け、この文字データをレイアウトメモリ５２
に記憶する。

【００５３】次に、この文字データの確認・修正を行う
（ステップＴ１７）。即ち、この確認・修正処理は、上
述したように、表示部３に、画像メモリ５１から読み出
した画像データと、レイアウトメモリ５２から文字枠を
枠として、また、読み取り順序を文字枠の近くに数字
で、画像データと重ねて表示する。オペレータはこの表
示を見て、文字データで修正が必要な部分を操作部４を
使って修正する。修正後の文字データをレイアウトメモ
リ５２に記憶する。

【００５４】そして、文字切り出しした行がその属する
領域の最終行か否かを判断する（ステップＴ１８）。最
終行の場合、ステップＴ２０の処理へ進み、最終行でな
い場合、行の値ｎを＋１して（ステップＴ１９）、次の
行の文字切り出し（ステップＴ１６）に戻る。ステップ
Ｔ２０では、ステップＴ１３〜Ｔ１９で行切り出し、文
字切り出しした文字領域が最終文字領域か否かを判断す
る。最終文字領域の場合、文字認識へ進み、最終文字領
域でない場合、文字領域の値ｍを＋１して（ステップＴ
２１）、次の文字領域の行切り出し（ステップＴ１３）
に戻る。

【００５５】次に、上記のステップＴ２、Ｔ５、Ｔ８、
Ｔ１４およびステップＴ１７の確認・修正処理につい
て、具体例を用いて更に説明する。

【００５６】図１０〜図１２は、実施例２における具体
例の説明図である。例えば、図１０の（ａ）に示す画像
データＧ１を読み取る場合を説明する。領域解析（ステ
ップＴ１）が終了すると、領域ウインドウＧ２を表示す
る｛図１０（ｂ）｝。この領域ウインドウＧ２には、画
像データＧ１に重ねて表領域枠Ｇ２１、文字領域枠Ｇ２
２、イメージ領域枠Ｇ２３が表示されていると共に、こ
れらの枠上（左上）に、領域読み取り順序Ｇ２４、Ｇ２
５、Ｇ２６、文字領域の縦／横書きＧ２７が表示されて
いる。また、表領域枠Ｇ２１、文字領域枠Ｇ２２、およ
びイメージ領域枠Ｇ２３は、それぞれ表示色、枠線種を
変えて区別する。

【００５７】オペレータは、この表示を見て領域枠の位
置・大きさ、領域の種類（表、文字、イメージ）、領域
の読み取り順序（Ｇ２４、Ｇ２５、Ｇ２６で示す番
号）、文字領域の縦／横書き（Ｇ２７で示す「縦」
「横」の文字）等を、操作部４を使って確認・修正する
（ステップＴ２）。

【００５８】ステップＴ３では、領域Ｇ２１があるので
表解析（ステップＴ４）に進み、表解析が終了すると、
表ウインドウＧ３を表示する。表領域Ｇ２１に対応する
画像データに重ねてセル枠Ｇ３１、Ｇ３３、Ｇ３４、セ
ル読み取り順序Ｇ３５、Ｇ３６、Ｇ３７、Ｇ３８を表示
部３に表示する｛図１１の（ｃ）｝。オペレータはこの
表示を見て、セル枠の位置・大きさや、セルの読み取り
順序（Ｇ３５、Ｇ３６、Ｇ３７、Ｇ３８で示す番号）等
を操作部４を用いて確認・修正する（ステップＴ５）。

【００５９】次に、セルＧ３１の領域解析を行う（ステ
ップＴ７）。領域解析が終了すると、領域ウインドウＧ
４１を表示する。セルＧ３１に対応する画像データに重
ねて表領域枠Ｇ４１１、領域読み取り順序Ｇ４１２を、
表示部３に領域ウインドウＧ２と同様に表示し、操作部
４を使って領域データの確認・修正を行う。以下、セル
Ｇ３２、Ｇ３３、Ｇ３４について上記と同様に領域ウイ
ンドウＧ４２、Ｇ４３、Ｇ４４を表示し｛図１１の
（ｄ）｝、領域データの確認・修正を行う。

【００６０】上記の領域データには表領域Ｇ４１１があ
るのでステップＴ４に戻る。この表領域Ｇ４１１に対し
て、上記表ウインドウＧ３と同様に表ウインドウＧ５を
表示し｛図１２の（ｅ）｝、ここで、表データを、領域
ウインドウＧ４１（Ｇ４２、Ｇ４３、Ｇ４４）と同様
に、領域ウインドウＧ６１、Ｇ６２｛図１２の（ｆ）｝
で、領域データを確認・修正する。

【００６１】上記領域解析の確認・修正で得た文字領域
Ｇ２２、Ｇ４２１、Ｇ４３１、Ｇ４４１、Ｇ６１１、Ｇ
６２１について行を切り出し（ステップＴ１３）、この
行データを確認・修正し（ステップＴ１４）、更に、文
字を切り出し（ステップＴ１６）、この文字データを確
認・修正する（ステップＴ１７）。

【００６２】図１３は、文字領域Ｇ２２についての行、
文字データの確認・修正処理画面の説明図である。文字
領域Ｇ２２の行切り出しが終了すると、文字領域Ｇ２２
の行ウインドウＧ２２Ｌを表示し、文字領域Ｇ２２に対
応する画像データに重ねて行枠Ｈ１、Ｈ２、行読み取り
順序Ｈ３、Ｈ４を表示部３に表示する｛図１３
（ｂ）｝。オペレータは、この表示を見て行枠の位置・
大きさ、行の読み取り順序（Ｈ３、Ｈ４で示す番号）等
を操作部４を用いて確認・修正する（ステップＴ１
４）。

【００６３】行データの確認・修正が終了すると、行Ｈ
１の文字を切り出し（ステップＴ１６）、文字ウインド
ウＧ２２Ｃ１を表示する。行Ｈ１に対応する画像データ
に重ねて文字枠Ｈ１１、Ｈ１２、文字読み取り順序Ｈ１
３、Ｈ１４を表示部３に表示する｛図１３（ｃ）｝。オ
ペレータは、この表示を見て文字枠の位置・大きさ、文
字の読み取り順序（Ｈ１３、Ｈ１４で示す番号）等を操
作部４を使って確認・修正する（ステップＴ１７）。行
Ｈ２に対しても、文字ウインドウＧ２２Ｃ２を使って文
字データの確認・修正をする。

【００６４】図１４は、以上説明した各ウインドウの表
示順序の説明図である。このとき、下位ウインドウがど
の部分の処理をしているかオペレータに知らせるため、
下位ウインドウの表示時には上位ウインドウを表示した
ままとする。ここで、文字領域Ｇ４２１、Ｇ４３１、Ｇ
４４１、Ｇ６１１、Ｇ６２１に対する行ウインドウはＧ
４２１Ｌ、Ｇ４３１Ｌ、Ｇ４４１Ｌ、Ｇ６１１Ｌ、Ｇ６
２１Ｌ、文字ウインドウはＧ４２１Ｃ１、Ｇ４３１Ｃ１
とＧ４３１Ｃ２、Ｇ４４１Ｃ１とＧ４４１Ｃ２、Ｇ６１
１Ｃ１、Ｇ６２１Ｃ１である。

【００６５】図１５は、この一例を示す説明図である。
この例は、複数レベルのウインドウを同時表示する例
（図１４の表示順序の１１）を示している。尚、この例
は、一画面上にウインドウの重なりを無くした表示方法
であるが、ウインドウＧ２、Ｇ３といった各ウインドウ
の重なりを許した表示方法であっても良い。

【００６６】以上のレイアウトデータの確認・修正で
は、処理対象を領域、表、行、および文字の全部としな
くてもよい。例えば、文字切り出しは間違うことがない
場合、確認・修正を、領域、表、行のみとして文字は確
認・修正しないといった構成とすることも可能である。

【００６７】以上のように、上記実施例２では、表を含
む文書に対しても、レイアウトデータ（解析結果）の確
認・修正画面を、領域解析、表解析、行切り出しおよび
文字切り出しの各レベル毎に分離することにより、オペ
レータによる確認・修正操作が簡単になる。また、各レ
ベル毎に適切な拡大率で表示できるので、拡大率の切り
替えが不要で、操作が簡単になる。

【００６８】しかも、各画面を分離することによる下位
レベルの画面と上位レベルの画面との関連性の理解低下
も、下位レベルのウインドウを表示するときは、必ずそ
の上位レベルのウインドウを同時に表示するので避けら
れる。更に、全部のレイアウトデータを順番に確認・修
正するので、漏れがなくなり、また、上位のレベルを確
認・修正してから下位のレベルを処理するので、再処理
が不要である。

【００６９】《実施例３》〈実施例３の構成〉この実施例３においても、図面上の
構成は同様であるため、その図示は省略するが、レイア
ウト解析部２１とレイアウトデータ確認・修正部２３の
機能が異なっている。即ち、実施例３のレイアウト解析
部２１は、領域全体の解析から文字領域解析までの解析
結果の各レベルを表示部３に同時に表示させる機能を備
えている。

【００７０】また、レイアウトデータ確認・修正部２３
は、表示された各レベルの解析結果から任意のレベルが
選択された場合、そのレベルの修正指示画面を表示部３
に表示させ、表示されたレベルの領域または認識順序に
対して変更指示があった場合は、その領域または認識順
序を変更する機能を備えたものである。

【００７１】〈実施例３の動作〉ここでは、実施例３と
実施例１の異なる部分を述べる。ここで説明しない部分
は、実施例１と同一である。

【００７２】図１６および図１７は、実施例３の動作フ
ローチャートであり、これは、実施例１の図２のステッ
プＳ９に相当する部分の動作を示すものである。

【００７３】先ず、レイアウトデータを表示部３に表示
する（ステップＥ１）。図１８は、画像データＧ１のレ
イアウト解析後の表示例を示す説明図である。オペレー
タは、この画面を見て確認・修正が必要な部分を見つけ
る（ステップＥ２）。確認・修正が必要ない場合は認識
へ進む。必要な場合はステップＥ３へ進む。

【００７４】ステップＥ３は、確認・修正が必要なレベ
ルを領域全体（文書画像全体の領域データが処理対
象）、領域セル（表内セルの領域データが処理対象）、
表、行、または文字から一つ指定するステップである。
これは、表示部３の画面上に表示されたメニューから選
択することで指定する。図１９は、このメニュー画面の
説明図であり、ここでは、領域全体を指定した例を示し
ている。

【００７５】ステップＥ３において、領域全体を指定し
た場合はステップＥ４、領域セルを指定した場合はステ
ップＥ９、表を指定した場合はステップＥ１０、行を指
定した場合はステップＥ１４、文字を指定した場合はス
テップＥ１８へ進む。

【００７６】ステップＥ４では、領域データの確認・修
正を行う（図８のステップＴ２と同じ）。次にその修正
があったか否かを判定し（ステップＥ５）、修正があっ
た場合はその領域の種類を判定する（ステップＥ６）。
このステップＥ６において、表領域データに修正があっ
た場合、この修正によりセル、領域、行、文字データが
修正前と違ったものとなるため再処理する（ステップＥ
７）。また、この時、表の中に表が有る場合は再帰的に
処理する。ステップＥ６で文字領域に修正があった場
合、この修正により行、文字切り出しが修正前と違った
ものとなるため、再切り出しを行う（ステップＥ８）。
また、イメージの場合はそのまま次のステップに進む。

【００７７】上記ステップＥ３において、領域セルを指
定した場合、ステップＥ９では、レイアウトデータを表
示している表示部３と操作部４を用いてオペレータが確
認・修正が必要な領域を含むセル枠を指定する。そし
て、このセル内の領域データの確認・修正を行う（図８
のステップＴ８と同じ）。その後は、上記ステップＥ５
〜Ｅ８と同一処理を行う。

【００７８】上記ステップＥ３において、表を指定した
場合、ステップＥ１０では、レイアウトデータを表示し
ている表示部３と操作部４を用いてオペレータが確認・
修正が必要なセルを含む表領域枠を指定する。そして、
この表内の表データの確認・修正を行う（ステップＥ１
１：図８のステップＴ５と同じ）。次に、表データに修
正があったか否かを調べ（ステップＥ１２）、修正があ
った場合、この修正により領域、行、文字データが修正
前と違ったものとなるため再処理する（ステップＥ１
３）。

【００７９】上記ステップＥ３において、行を指定した
場合、ステップＥ１４では、レイアウトデータを表示し
ている表示部３と操作部４とを用いてオペレータが確認
・修正が必要な行を含む文字領域枠を指定する。その
後、この文字領域内の行データの確認・修正を行う（ス
テップＥ１５：図８のステップＴ１４と同じ）。次に、
行データに修正があった場合、この修正により文字デー
タが修正前と違ったものとなるため、再切り出しを行う
（ステップＥ１６、Ｅ１７）。

【００８０】上記ステップＥ３において、文字を指定し
た場合、ステップＥ１８では、レイアウトデータを表示
している表示部３と操作部４を用いてオペレータが確認
・修正が必要な文字を含む行枠を指定する。その後、こ
の行枠内の文字データの確認・修正を行う（ステップＥ
１９：図９のステップＴ１７と同じ）。そして、このス
テップＥ１９および、上記ステップＥ５、Ｅ１２、Ｅ１
６で修正がなかった場合は、ステップＥ２に戻る。

【００８１】一方、上記ステップＥ７、Ｅ８、Ｅ１３、
Ｅ１７の処理後およびステップＥ２０で修正があった場
合はステップＥ２１に進み、変更したレイアウトデータ
をレイアウトメモリ５２に書き込み、このレイアウトデ
ータ５１を、ステップＥ１に戻って表示する。

【００８２】以上のレイアウトデータの確認・修正で
は、処理対象を領域、表、行、および文字の全部としな
くてもよい。例えば、文字切り出しは間違うことがない
場合、確認・修正を領域、表、行のみとして文字は確認
・修正しないといった構成であってもよい。

【００８３】以上のように上記実施例３によれば、確認
・修正が必要な部分を指定できるので、全部のレイアウ
トデータを確認・修正せずに、確認・修正が必要な部分
だけで済み、処理を軽減することができる。

【００８４】《実施例４》〈実施例４の構成〉この実施例４においては、図面上の
構成は同様であるため、その図示は省略するが、レイア
ウトデータ確認・修正部２３の機能が、上記実施例２や
実施例３とは異なっている。即ち、実施例４のレイアウ
トデータ確認・修正部２３は、領域全体の解析から文字
領域解析までの解析結果の任意のレベルのウインドウを
表示部３に表示させる場合、上位レベルのウインドウ
中、対象となるレベルのデータが属するデータを他のデ
ータとは異なる表示とする機能を備えたものである。

【００８５】〈実施例４の動作〉上述した実施例２およ
び実施例３と同様であるが、特に、レイアウトデータ確
認・修正部２３がレイアウトデータの確認・修正ウイン
ドウを表示するとき、そのウインドウの上位レベルのウ
インドウで、そのデータが属するデータを他のデータと
異なる表示とする。この表示としては、枠のブリンク、
枠内の色の変更、網掛け、反転表示等がある。

【００８６】図２０および図２１は、その表示例であ
り、図２０は実施例２に適用した場合、図２１は実施例
３に適用した場合の説明図である。即ち、図２０の場合
は、各々のウインドウの上位ウインドウは矢印のように
なっている。尚、ここで、領域ウインドウと行ウインド
ウが共に「表読取」と網掛けされているが、これは表内
の文字が１行しかないためであり、複数行がある場合の
行ウインドウは、その内のいずれかの行が網掛けされ
る。

【００８７】また、図２１の場合は、レイアウトデータ
を表示したウインドウＣ１において、レベル指定で
「表」を指定して表Ｃ２を選択し、表ウインドウＣ３を
表示したものである。

【００８８】以上のように、上記実施例４によれば、オ
ペレータに対して異なるレベル間の従属関係が明確とな
り、確認・修正の誤りが少なくなる。

【００８９】尚、上記実施例２〜４では、枠の左上に、
読み取り順序や縦書き／横書きを表示するようにした
が、これに限定されるものではなく、枠を識別できる位
置であれば他の位置に表示するよう構成してもよい。

【００９０】

【発明の効果】以上説明したように、本発明の文書読取
装置によれば、表内に表が含まれている場合は、その領
域に表が含まれなくなるまで表解析と領域解析を繰り返
すようにしたので、表内に、更に文字データを含む表が
あった場合でもその文字データを読み取ることのでき
る。

【図面の簡単な説明】

【図１】本発明の文書読取装置の構成図である。

【図２】本発明の文書読取装置における実施例１の動作
フローチャートである。

【図３】本発明の文書読取装置における実施例１の解析
結果の具体例の説明図（その１）である。

【図４】本発明の文書読取装置における実施例１の解析
結果の具体例の説明図（その２）である。

【図５】本発明の文書読取装置における実施例１の領域
解析、表解析で作成したレイアウトデータの構成説明図
である。

【図６】本発明の文書読取装置における実施例１の行切
り出しと文字切り出し結果の説明図である。

【図７】本発明の文書読取装置における実施例１の行切
り出し、文字切り出しで作成したレイアウトデータの構
成説明図である。

【図８】本発明の文書読取装置における実施例２のレイ
アウト解析動作のフローチャート（その１）である。

【図９】本発明の文書読取装置における実施例２のレイ
アウト解析動作のフローチャート（その２）である。

【図１０】本発明の文書読取装置における実施例２の具
体例の説明図（その１）である。

【図１１】本発明の文書読取装置における実施例２の具
体例の説明図（その２）である。

【図１２】本発明の文書読取装置における実施例２の具
体例の説明図（その３）である。

【図１３】文字領域Ｇ２２についての行、文字データの
確認・修正処理画面の説明図である。

【図１４】本発明の文書読取装置における実施例２の各
ウインドウの表示順序の説明図である。

【図１５】本発明の文書読取装置における実施例２の表
示例を示す説明図である。

【図１６】本発明の文書読取装置における実施例３の動
作フローチャート（その１）である。

【図１７】本発明の文書読取装置における実施例３の動
作フローチャート（その２）である。

【図１８】本発明の文書読取装置における実施例３の表
示例の説明図である。

【図１９】本発明の文書読取装置における実施例３のメ
ニュー画面の説明図である。

【図２０】本発明の文書読取装置における実施例４の表
示例の説明図（その１）である。

【図２１】本発明の文書読取装置における実施例４の表
示例の説明図（その２）である。

【符号の説明】

３表示部４操作部２１レイアウト解析部２２認識部２３レイアウトデータ確認・修正部５１画像メモリ５２レイアウトメモリ５３認識メモリ

Claims

【特許請求の範囲】

【請求項１】表と文字とを含む任意の文書の画像デー
タから、表領域と、文字領域とを識別して解析すると共
に、解析した前記表領域中に、更に表領域が存在した場
合は、当該領域中に表領域が含まれなくなるまで、領域
解析を行うレイアウト解析部と、前記レイアウト解析部で解析した文字領域中の文字を認
識する認識部とを備えたことを特徴とする文書読取装
置。
【請求項２】請求項１に記載の文書読取装置におい
て、解析結果を表示する表示部と、指示入力を行う操作部と、解析した表領域と文字領域とが識別可能に、かつ、各領
域の認識順序が識別可能に表示されるよう前記表示部に
対して制御を行うと共に、当該表示部に表示された領域
または認識順序に対して前記操作部より変更指示があっ
た場合は、当該領域または認識順序を変更するレイアウ
トデータ確認・修正部とを備えたことを特徴とする文書
読取装置。
【請求項３】請求項２に記載の文書読取装置におい
て、領域全体の解析から文字領域解析までの解析結果の各レ
ベルのウインドウを表示部に順次表示させると共に、任
意のレベルのウインドウを含む画面には、当該レベルよ
り上位レベルのウインドウを同時に表示させるレイアウ
ト解析部とを備えたことを特徴とする文書読取装置。
【請求項４】請求項２に記載の文書読取装置におい
て、領域全体の解析から文字領域解析までの解析結果の各レ
ベルを表示部に同時に表示させるレイアウト解析部と、前記表示された各レベルの解析結果から任意のレベルが
選択された場合、当該レベルの修正指示画面を前記表示
部に表示させ、前記表示されたレベルの領域または認識
順序に対して変更指示があった場合は、当該領域または
認識順序を変更するレイアウトデータ確認・修正部とを
備えたことを特徴とする文書読取装置。
【請求項５】請求項３または４に記載の文書読取装置
において、領域全体の解析から文字領域解析までの解析結果の任意
のレベルのウインドウを表示部に表示させる場合、上位
レベルのウインドウ中、対象となるレベルのデータが属
するデータを他のデータとは異なる表示とするレイアウ
トデータ確認・修正部を備えたことを特徴とする文書読
取装置。