JPH0728934A

JPH0728934A - 文書画像処理装置

Info

Publication number: JPH0728934A
Application number: JP5192745A
Authority: JP
Inventors: Naohiro Amamoto; 直弘天本; Sadamasa Hirogaki; 節正広垣; Yoshitaka Hamaguchi; 佳孝濱口; Makoto Torigoe; 真鳥越
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1993-07-07
Filing date: 1993-07-07
Publication date: 1995-01-31

Abstract

(57)【要約】【目的】同一のレイアウトの文書を複数処理する場合
の処理効率を高める。【構成】同一のレイアウトの複数の文書を処理する際
に読取部１で最初の文書を読み取り、レイアウト情報作
成部２で領域分割を行ない、レイアウト情報を作成す
る。このレイアウト情報は、文書中の各分割領域につい
てその領域内の情報が文字、図形、写真等のいずれかを
示す情報である。このレイアウト情報は、レイアウト情
報格納部３に格納しておく。そして、それ以降の文書に
ついて領域分割を行なう場合はそのレイアウト情報を参
照して領域分割を行なう。これにより、複数の文書につ
いて各々領域分割を最初から繰り返すのではなく、最初
の領域分割の結果を利用した効率的な領域分割を行な
う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字認識装置（ＯＣ
Ｒ）やファクシミリ等に使用される文書画像処理装置に
関するものである。

【０００２】

【従来の技術】文字のほかに絵や写真等を含む文書中の
文字を認識する場合、文書画像中から文字の部分だけを
取り出さなければならない。このような文書画像の処理
を行なう装置が文書画像処理装置である。

【０００３】図２は、従来の文書画像処理の一例の説明
図である。文書画像から文字列領域及び枠領域を抽出
し、これらの領域の相関を求める。文字列領域と枠領域
との相関には、図２に示すようなものがある。図２にお
いて、文字列領域を実線の枠で示し、枠領域を破線の枠
で示す。例えば、図２（ａ）は、枠内に１つの文字列が
含まれる関係を示す。また、図２（ｂ）は、枠内に複数
の文字列が含まれる関係を示す。図２（ｃ）、（ｄ）、
（ｅ）は、複数の枠に文字列がまたがる関係を示す。図
２（ｆ）は、枠のみの場合を示す。図２（ｇ）は、文字
列のみの場合を示す。これらの領域の相関を予め定義さ
れているモデルの領域の相関と比較する。これにより、
特定のモデルを選び、そのモデルから文字認識を行なう
領域を決定する。そして、この文字認識を行なう領域の
照合の度合いによって帳票の種類を識別する。ここで、
照合の度合いとは、文字認識を行なう領域を文字列領域
とするモデルが複数ある場合、それらのモデルの数によ
って示される（例えば、特開平４−１０４３８５号公報
参照）。

【０００４】図３、図４は、文書画像処理の他の例の説
明図である。図３に示すように、２値化された画像デー
タから文字、図形等の領域を自動的に抽出する。このた
め、この画像データから、図４（ａ）、（ｂ）に示すよ
うに、予め定められた閾値以上の長さと幅を持つ空白帯
域を水平及び垂直方向のそれぞれに検出する。そして、
図４（ｃ）に示すように、検出された空白帯域を追跡し
て領域を検出し、これらの領域を矩形の組み合わせとし
て格納する（例えば、特開平４−１２０６７８号公報参
照）。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の技術には、次のような問題があった。図２に示
す第１の従来技術では、枠と文字とで構成されない文書
に関しては、処理することができなかった。例えば、論
文誌のような文書においては、文書のレイアウトはだい
たい決まっているが、そのレイアウトの制限内で文章と
図、文章と写真の組み合わせといったように構成要素が
さまざまとなる。従って、このような文書については、
文書画像処理を行なうことができないという問題があっ
た。図３及び図４に示す第２の従来技術では、レイアウ
トがある程度決まっている場合にも、レイアウトが未知
の文書と同様の処理を行なうので、同じ処理が繰り返し
行なわれて処理効率が悪いという問題があった。また、
同じような文書画像処理であっても、そのすべてが正常
に行なわれるとは限らず、エラーが生じる場合がある。
その場合、更に処理効率が悪くなるという問題があっ
た。

【０００６】本発明は、以上の点に着目してなされたも
ので、同様のレイアウトの文書を複数処理する場合の処
理効率を高めるようにした文書画像処理装置を提供する
ことを目的とするものである。

【０００７】

【課題を解決するための手段】本発明の文書画像処理装
置は、文字及び文字以外の情報の双方を含む複数の文書
のうちの一部の文書から当該文書中の文字の領域及び文
字以外の領域の配置状態を表わすレイアウト情報を作成
するレイアウト情報作成部と、当該レイアウト情報作成
部により作成した前記レイアウト情報を格納するレイア
ウト情報格納部と、当該レイアウト情報格納部に格納さ
れた前記レイアウト情報に基づいて前記複数の文書中の
文字の領域を抽出する領域抽出部とを備えたことを特徴
とするものである。

【０００８】

【作用】本発明の文書画像処理装置においては、同一の
レイアウトの複数の文書を処理する際に最初の文書を読
み取り、領域分割を行ない、レイアウト情報を作成す
る。このレイアウト情報は、文書中の各分割領域につい
てその領域内の情報が文字、図形、写真等のいずれかを
示す情報である。このレイアウト情報は、所定の格納部
に格納しておく。そして、それ以降の文書について領域
分割を行なう場合はそのレイアウト情報を参照して領域
分割を行なう。これにより、複数の文書について各々領
域分割を最初から繰り返すのではなく、最初の領域分割
の結果を利用した効率的な領域分割を行なう。

【０００９】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。図１は、本発明の文書画像処理装置の一実
施例のブロック図である。図示の装置は、読取部１、文
書画像処理装置１０、画像データ格納部１２、文字認識
部１３、認識結果格納部１４から成る。読取部１は、Ｃ
ＣＤラインセンサ等から成り、処理対象となる文書を主
走査方向には電気的に走査し、副走査方向には機械的に
走査して読み取る。この読取部１には、例えば、周知の
シートフィーダ（図示省略）が設けられている。このシ
ートフィーダにより第１ページ目の文書が読取部１に送
り込まれたとき、読取部１により読み取られた画像デー
タがレイアウト情報作成部２に入力される。一方、第２
ページ目以降の文書が読取部１に送り込まれたとき、読
取部１により読み取られた画像データが領域抽出部１１
に入力される。

【００１０】文書画像処理装置１０は、レイアウト情報
作成部２、レイアウト情報格納部３、領域抽出部１１か
ら成る。レイアウト情報作成部２は、例えば、前述した
図３、図４に示す従来の方法により文字領域、図形領域
等を抽出する。そして、例えば、これらの領域の黒画素
の濃度を検出し、その濃度が濃い領域は写真の領域、薄
い領域は図形の領域等の判定を行ない、その結果をレイ
アウト情報格納部３に格納する。尚、装置の操作者が各
領域が文字、図形、写真等のいずれの領域かを目で確認
してその結果をキーボード等から入力するようにしても
よい。また、装置の操作者が各領域を設定するようにし
てもよい。領域抽出部１１は、レイアウト情報格納部３
に格納されているレイアウト情報に従って、読取部１で
読み取られた文書画像のデータから文字、図形、写真等
の領域を抽出し、これらの画像データを画像データ格納
部１２に格納する。そして、これらの画像データのう
ち、文字の部分の画像データを文字認識部１３に送る。

【００１１】文字認識部１３は、領域抽出部１１から送
られた文字の部分の画像データを予め用意された辞書デ
ータと比較することにより文字認識を行なう。そして、
文字認識の結果得られた文字コードを認識結果格納部１
４に格納する。図５は、本発明の処理対象となる文書の
一例を示す図である。図示の文書は、第１欄５１と、第
２欄５２とから成る。第１欄５１の上側には、文書が記
載されており、下側には、写真が示されている。また、
第２欄５２の上側には、図形が示されており、下側には
文書が記載されている。

【００１２】図６は、レイアウト情報の一例を示す図で
ある。図６において、ｘｓ、ｙｓは、文書中の矩形領域
の左上の点の座標を示す。また、ｘｅ、ｙｅは、文書中
の矩形領域の右下の座標を示す。そして、flagは、その
領域の属性を示す。flagの値の“１”は文字（横書
き）、“２”は文字（縦書き）、“４”は図形、“８”
は写真、“１６”は罫線、“３２”は表を示す。そし
て、例えば、flagの値が“１３”というのは、“１＋４
＋８”を意味する。即ち、“１”、“４”、“８”のビ
ットが“１”で他のビットが“０”であることを意味す
る。これは、当該領域に、文字（横書き）、図形、写真
が含まれることを示す。また、例えば、flagの値が“３
７”というのは、“１＋４＋３２”を意味する。即ち、
“１”、“４”、“３２”のビットが“１”で他のビッ
トが“０”であることを意味する。これは、当該領域
に、文字（横書き）、図形、表が含まれることを示す。

【００１３】次に、上述した装置の動作を説明する。ま
ず、読取部１で読み取った第１ページ目の文書の画像か
らレイアウト情報作成部２でレイアウト情報を作成し、
レイアウト情報格納部３に格納する。次に、読取部１に
より第２ページ目以降の文書を読み取り、読み取った画
像データについて領域抽出部１１でレイアウト情報格納
部３に格納されているレイアウト情報を参照して領域の
抽出を行なう。例えば、図６に示す例では、（ｘｓ，ｙ
ｓ，ｘｅ，ｙｅ）＝（５０，１００，１６００，４６０
０）の領域には、文字（横書き）、図形、写真のみが含
まれていることが、flagの値“１３”によって示されて
いる。従って、この領域から文字（横書き）、図形、写
真のいずれかのデータを抽出する処理を行なう。これに
より、文書の全体について抽出処理を行なう必要がな
く、また、表などの他の構成要素を考慮する必要がな
く、抽出の際のエラーが少なくなる。

【００１４】尚、このようなレイアウト情報は、レイア
ウト情報作成部２で自動的に作成されたものを、必要に
応じてキーボードやマウス等により手動で修正したもの
でもよい。

【００１５】また、同様に、図６に示す例では、（ｘ
ｓ，ｙｓ，ｘｅ，ｙｅ）＝（１６５０，１００，３３０
０，４６００）の領域には、文字（横書き）、図形、表
のみが含まれていることが、flagの値“３７”によって
示されている。従って、この領域から文字（横書き）、
図形、表のいずれかのデータを抽出する処理を行なう。
そして、図や写真の領域の画像データは、画像データ格
納部１２に格納する。また、文字の領域の画像データ
は、文字認識部１３で文字認識を行ない、認識結果とし
て得られる文字コードを認識結果格納部１４に格納す
る。その後、読取部１で、次の文書を読み取る。この動
作は、読取部１のシートフィーダにより自動的に行なわ
れる。

【００１６】図７は、領域抽出部の処理手順を示すフロ
ーチャートである。まず、ステップＳ１では、レイアウ
ト情報を参照して領域分割の対象となる領域を求める。
次に、ステップＳ２では、ステップＳ１で求めた領域の
外接矩形を求め、この外接矩形をブロックとして抽出す
る。そして、ステップＳ３でステップＳ２で抽出したブ
ロックの属性（文字、図形、写真等）を判別する。この
属性の判別には、装置の操作者が介在するようにしても
よい。最後に、ステップＳ４では、文字ブロックから文
字領域を作成する。

【００１７】図８は、図７のステップＳ１の分割対象領
域作成処理の内容の説明図である。第１ページ目の文書
を読み取って得られるレイアウト情報と、第２ページ目
以降の文書を読み取って得られる読取画像との間には、
読取部１の誤差により、図８（ａ）に示すように、ずれ
が生じる。従って、図７のステップＳ１では、読取画像
とレイアウト情報とのずれを補正する処理を行なう。即
ち、図６に示すようなレイアウト情報に登録されている
矩形枠の各辺ごとに画像メモリ等に格納された画像デー
タを走査する。そして、走査ライン上に黒画素が１つで
も存在すれば、その枠を広げる方向に走査ラインを変更
する。この処理を繰り返すことにより、図８（ｂ）に示
すように、走査ライン上に黒画素が存在しなくなるよう
にする。

【００１８】もし、走査ライン上に黒画素が１つも存在
しない場合は枠を狭める方向に走査ラインを変更する。
そして、走査ライン上に黒画素が現われるまで処理を繰
り返す。以上の処理を矩形枠の４辺すべてについて行な
う。

【００１９】図９は、図７のステップＳ２のブロック抽
出処理の結果の説明図である。まず、読取画像と同じ大
きさで分割対象領域を黒く塗りつぶした（ブロック画
像）を用意する。次に、読取画像の各分割対象領域内を
縦及び横方向に走査し、空白部分を捜し出す。そして、
所定の閾値よりも長い空白部分が存在すれば、ブロック
画像でその空白部分に対応する部分を白くする。このブ
ロック画像において空白部分により囲まれた黒画素の集
合を１つのブロックとする。そして、各ブロックの外接
矩形を求める。

【００２０】また、図７のステップＳ３の属性判別処理
では、ブロック抽出処理で求めた各ブロックの属性を判
別する。この判別のとき、レイアウト情報に登録されて
いない属性を持つブロックが存在した場合は、読取画像
とレイアウト情報が一致しないことを示している。従っ
て、その読取画像をリジェクトし、アラーム等により警
告する。例えば、第１ページ目の文書により図６の上側
に示すレイアウト情報が得られ、第２ページ目以降のい
ずれかの文書中に表であると判別されるブロックが存在
する場合、第１ページ目の文書と違う種類の文書が混入
されている。従って、この場合は読取文書をリジェクト
し、アラーム等により警告する。

【００２１】図１０は、図７のステップＳ４の文字領域
作成処理の処理例の説明図である。図７のステップＳ４
の文字領域作成処理では、レイアウト情報のflagの文字
フラグが“１”になっている領域についてのみ処理を行
なう。分割対象領域に文字以外のブロックが存在する場
合はこのブロックと文字ブロックの座標値を比較する。
これにより、文字以外のブロックに対して文字ブロック
がその上下左右のいずれに位置しているかの判定を行な
う。そして、同じ位置に存在する文字ブロックをすべて
統合し、文字領域とする。

【００２２】次に、上述した処理で得られた文字領域に
文字以外のブロックが存在するか否かを判定し、存在す
ればこの文字領域について上記と同様の処理を繰り返
す。そして、文字領域に文字以外の領域が存在しなくな
るまでこの処理を繰り返す。また、分割対象領域に文字
ブロックのみが存在する場合は分割対象領域を文字領域
として出力する。ここで、文字以外の画像データは、画
像データ格納部１２に格納する。図７のステップＳ４の
文字領域作成処理で作成された文字領域は、文字認識部
１３で１文字単位に切り出され、文字認識を行なった
後、その結果として得られる文字コードが認識結果格納
部１４に格納される。

【００２３】以上のようにして、第１ページ目の文書に
ついて、文書画像処理を行なった結果得られたレイアウ
ト情報を参照して、第２ページ目以降の文書についての
文書画像処理を行なうことにより、同種の文書を処理す
る場合の処理効率を向上させることができる。尚、上述
した実施例においては、第１ページ目の文書のみに基づ
いてレイアウト情報を作成するようにしたが、本発明は
これに限定されるものではなく、第１ページ目から２ペ
ージ分あるいは３ページ分等、複数の文書の一部につい
てレイアウト情報を作成し、他の文書についてこのレイ
アウト情報を用いた文書画像処理を行なうすべての場合
について適用される。

【００２４】

【発明の効果】以上説明したように、本発明の文書画像
処理装置によれば、文書のレイアウトが一定の複数の文
書についての文書画像処理を連続して行なう場合、最初
に処理した文書により作成したレイアウト情報を参照し
て以後の文書を処理するようにしたので、次のような効
果がある。レイアウトが未知の場合の文書を処理する場
合と比較してより処理効率がよく、エラーが少なく、確
実な処理が可能となる。また、レイアウト情報に示され
ている矩形枠の各辺ごとに画像データを走査し、走査ラ
イン上の黒画素の有無によって走査ラインを変更するこ
とにより、読取部の誤差による読取画像とレイアウト情
報とのずれを補正することができる。更に、レイアウト
情報格納部に格納されたレイアウト情報と異なるレイア
ウトの文書を検出したときは、アラーム等により警告す
るようにすることにより、同種の文書の検出において、
異種の文書が混入された場合に、これを検出することが
できる。

【図面の簡単な説明】

【図１】本発明の文書画像処理装置の一実施例のブロッ
ク図である。

【図２】従来の文書画像処理の一例の説明図である。

【図３】文書画像処理の他の例の説明図（その１）であ
る。

【図４】文書画像処理の他の例の説明図（その２）であ
る。

【図５】本発明の処理対象となる文書の一例の説明図で
ある。

【図６】レイアウト情報の一例の説明図である。

【図７】領域抽出部の処理手順を説明するフローチャー
トである。

【図８】分割対象領域作成処理の内容の説明図である。

【図９】ブロック抽出処理の結果の説明図である。

【図１０】文字領域作成処理の処理例の説明図である。

【符号の説明】

１読取部２レイアウト情報作成部３レイアウト情報格納部１０文書画像処理装置１１領域抽出部１２画像データ格納部１３文字認識部１４認識結果格納部

───────────────────────────────────────────────────── フロントページの続き (72)発明者鳥越真東京都港区虎ノ門１丁目７番12号沖電気工業株式会社内

Claims

【特許請求の範囲】

【請求項１】文字及び文字以外の情報の双方を含む複
数の文書のうちの一部の文書から当該文書中の文字の領
域及び文字以外の領域の配置状態を表わすレイアウト情
報を作成するレイアウト情報作成部と、当該レイアウト情報作成部により作成した前記レイアウ
ト情報を格納するレイアウト情報格納部と、当該レイアウト情報格納部に格納された前記レイアウト
情報に基づいて前記複数の文書中の文字の領域を抽出す
る領域抽出部とを備えたことを特徴とする文書画像処理
装置。
【請求項２】前記領域抽出部は、前記レイアウト情報
が示す矩形枠の各辺ごとの画像データを走査し、走査ラ
イン上に黒画素が存在するときは、その黒画素が存在し
なくなるまで枠を広げる方向に走査ラインを変更し、走
査ライン上に黒画素が存在しないときは、黒画素が現わ
れるまで枠を狭める方向に走査ラインを変更することを
特徴とする請求項１記載の文書画像処理装置。
【請求項３】前記領域抽出部は、前記複数の文書のい
ずれかのレイアウトが前記レイアウト情報が示すレイア
ウトと異なる場合は、当該文書を排除し、レイアウトが
異なる文書が混入していることを警告することを特徴と
する請求項１記載の文書画像処理装置。