JPH06266889A

JPH06266889A - 文書認識装置

Info

Publication number: JPH06266889A
Application number: JP5077764A
Authority: JP
Inventors: Makoto Torigoe; 真鳥越; Sadamasa Hirogaki; 節正広垣; Naohiro Amamoto; 直弘天本; Yoshitaka Hamaguchi; 佳孝濱口
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1993-03-11
Filing date: 1993-03-11
Publication date: 1994-09-22

Abstract

(57)【要約】【目的】文書を構成する複数のイメージブロック間の
認識順序が、段組み等がされているため自動検出できな
いとき、オペレータが文書の認識順序を簡単な手段で指
定できる。【構成】オペレータが表示部２に表示された文書イメ
ージ３を読み、その流れをつかむと、マウス等から成る
ライン入力部６を用いて画面上に認識順指定ライン４を
書き込む。装置は、この認識順指定ライン４と重なるイ
メージブロックを順に検出し、その順に文字認識を進め
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば書籍や新聞紙面
等に記載された文書イメージを光学的に読み取り、文書
イメージ中の文字を文のつながりを考慮しながら認識
し、データとして取り込む文書認識装置に関する。

【０００２】

【従来の技術】各種の文書に記載された文字を読み取
り、これらを認識してデータベース化するために文字認
識装置が広く採用されている。ここで、例えば新聞紙面
のように写真や挿絵等を各所に配置した、いわゆる段組
みにより文書が記載された場合、文書を構成する各文字
の認識順序が問題となる。

【０００３】図２に、認識対象となる文書イメージ例説
明図を示す。書籍や新聞等の紙面には、例えばこの図に
示すようなレイアウトで文書が記載され、これを文書認
識装置を用いて読み取る場合には、その文書イメージ
は、例えば図に示すように、複数のイメージブロックＢ
１〜Ｂ６に切り分けて処理される。なお、これらのイメ
ージブロックＢ１〜Ｂ６の間には、写真等のイメージブ
ロックＦ１、Ｆ２が配置されている。

【０００４】文書認識装置は、例えばイメージブロック
Ｂ１を構成する文字１を順に認識して各文字を文字コー
ドに変換する。同様の処理を全てのイメージブロックＢ
１〜Ｂ６について行う。ここで、この文書は本来、Ｂ
１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６という順に読まれる
よう記載されているものとする。この場合、文書認識装
置の側では、予めその順序を知ることができない。そこ
で、全ての文字を認識した後、各イメージブロックごと
に単語認識を行いながら、隣接するイメージブロック間
の文法的なつながりを調べる。こうして、各イメージブ
ロックの認識順序を決定し、データとして取り込む。こ
の結果はオペレータに通知され、オペレータはその認識
順序に誤りがあれば、その都度これを訂正する。従来
は、以上のような構成の文書認識装置が開発されている
（特開平４−１６３６８１号公報）。

【０００５】

【発明が解決しようとする課題】ところで、文書の構造
やその記載の形式によっては、上記のような方法では容
易に各イメージブロック間の接続関係を自動検出できな
い場合がある。また、認識順序をオペレータが訂正する
場合の操作は、オペレータに負担をかけないよう、でき
るだけ容易であることが好ましい。即ち、図２の例の場
合、オペレータがキーボードを用いて認識順序をＢ１、
Ｂ２、Ｂ３…と入力するのでは作業が煩雑すぎる。本発
明は以上の点に着目してなされたもので、オペレータが
文書の認識順序を容易に指定することのできる構成の文
書認識装置を提供することを目的とするものである。

【０００６】

【課題を解決するための手段】本発明の文書認識装置
は、光学的に読み取った文書イメージを任意のイメージ
ブロックに切り分けて文字認識を行なう文字認識部と、
表示部に表示された前記イメージブロックを順に通過す
るような認識順指定ラインを入力するライン入力部と、
前記認識順指定ラインと前記イメージブロックとの重な
りを検出して、その認識順指定ラインの始点から終点に
向かって、前記イメージブロックに順序付けを行なう認
識順序設定部と、この認識順序設定部の順序付けに従っ
て、前記イメージブロックの読み取りデータを配列し
て、文書の認識処理を実行する認識処理部とを備えたこ
とを特徴とするものである。

【０００７】

【作用】この装置は、オペレータがディスプレイ等の表
示部に表示された文書を読み、その流れをつかむと、マ
ウス等から成るライン入力部を用いて画面上に認識順指
定ラインを書き込む。装置は、この認識順指定ラインの
始点から順に、これと重なるイメージブロックを検出
し、その順に文字認識を進める。なお、例えば、主走査
線方向に並んだ複数のイメージブロックは、指定がない
限りそのまま直接接続して配列する。認識順指定ライン
が複数あれば、例えば左側のラインについての処理が終
ると、それに続いて右側のラインと重なるイメージブロ
ックを配列する。

【０００８】

【実施例】以下、本発明を図の実施例を用いて詳細に説
明する。図１は、本発明の文書認識装置実施例を示すブ
ロック図である。図に示すように、本発明の装置は、例
えばブラウン管ディスプレイ等から成る表示部２に表示
された図に示すような構造の文書イメージ３について、
読み取りと文字認識を行う。この文書イメージ３は、既
に従来技術で説明したと同様に、複数のイメージブロッ
クＢ１〜Ｂ６に切り分けられて認識されるものとする。
これらのイメージブロックＢ１〜Ｂ６の間には、写真や
挿絵等から成るイメージブロックＦ１、Ｆ２が挿入され
ている。各イメージブロックに記載された図示しない多
数の文字は、この装置により、従来よく知られた方法で
認識され符号化される。図に示す装置の文字認識部５
は、この文字認識と符号化を行う部分である。

【０００９】本発明の装置には、この他に、ライン入力
部６、認識順序設定部７、認識順序バッファ８及び認識
処理部９が設けられている。ライン入力部６は、本発明
において新たに設けられたもので、マウス等のポインテ
ィングデバイスから構成される。このライン入力部６に
よって、表示部２に表示された文書イメージ３の上に認
識順指定ライン４が記入される構成となっている。この
実施例では、認識順指定ライン４がイメージブロックＢ
１、Ｂ２、Ｂ４、Ｂ５と重なるように１本記入され、更
に右側にもう１本の認識順指定ライン４がイメージブロ
ックＢ６と重なるように記入されている。

【００１０】認識順序設定部７は、上記のような認識順
指定ライン４と各イメージブロックＢ１〜Ｂ６との重な
りを検出し、オペレータの指定した順序に従って各イメ
ージブロックの符号化データを認識順序バッファ８に配
列していく処理を行う部分である。認識処理部９は、認
識順序設定部７により配列されたイメージブロックのデ
ータを受け入れ、文書全体を文法的に解析し、その文字
認識等の後処理を進める部分である。

【００１１】この図に示すような装置は、具体的には例
えば次のようなハードウェア構成により実現される。図
４に、本発明の装置実現のためのハードウェア例ブロッ
ク図を示す。この装置は、イメージリーダ１３、ディス
プレイ１４、外部記憶装置１５、ポインティングデバイ
ス１６を入出力インタフェース１７を介して接続し、バ
スライン１８に対しＣＰＵ１９、ＲＡＭ２０、ＲＯＭ２
１等を接続した構成のものである。ＣＰＵ１９は、この
装置全体の動作を制御するプロセッサであって、ＲＯＭ
２１には、後で説明するラインの入力処理や認識順序の
設定処理等を実行するためのプログラムが格納されてい
る。また、ＲＡＭ２０は、装置の動作パラメータ等を格
納するためのランダム・アクセス・メモリから構成され
る。

【００１２】イメージリーダ１３は、処理対象となる文
書の文書イメージを光学的に読み取るための装置であ
る。これは、図１に示す文字認識部５の一部を構成して
いる。また、ディスプレイ１４は文書を表示し、オペレ
ータの操作を促すための装置である。外部記憶装置１５
は、認識された文書に関する符号化データ等を格納する
ための記憶装置である。ポインティングデバイス１６
は、図１に示すライン入力部６の一部を構成するもの
で、マウスやデジタイザ等から構成される。本発明の装
置は、具体的には、このようなハードウェアから構成さ
れる。図１に示す認識順序設定部７は、実質的にはＲＯ
Ｍ２１に格納されたプログラムにより構成され、認識順
序バッファ８はＲＡＭ２０の一部に設定される。また、
認識処理部９は、ＲＯＭ２１に格納された認識処理のた
めのプログラムにより実現され、その結果が外部記憶装
置１５に格納される構成となっている。

【００１３】図３に、本発明の装置の前処理動作フロー
チャートを示す。まず、ステップＳ１において、装置は
文書を構成する全イメージブロックの読取りを行う。更
にステップＳ２において、これらの各イメージブロック
の文字認識を行う。次にステップＳ３において、各イメ
ージブロックごとの特徴単語の選択を行う。更にステッ
プＳ４において、その特徴単語のイメージブロック相互
間での比較分析を行う。即ち、例えばあるイメージブロ
ックを構成する末尾の部分の単語が、別のイメージブロ
ックを構成する先頭の単語とつながって意味のある単語
を構成するような場合、両イメージブロックは、直接接
続されるべきものと判断される。このような判断のため
の分析が行われる。

【００１４】ステップＳ５において、上記のような観点
からイメージブロック間の接続関係を決定し、ステップ
Ｓ６において、その決定が表示され、オペレータによる
検査が行われる。もし、ステップＳ７において、正常認
識されていないと判断された場合には、ステップＳ８に
移り、オペレータによる認識順序の指定が行われる。ス
テップＳ１〜ステップＳ６の処理自体は、従来も実施さ
れていたものであるが、ステップＳ８における認識順序
の指定に本発明の特徴がある。

【００１５】図５に、本発明の装置の主要動作フローチ
ャートを示す。本発明の装置においては、この図に示す
ような手順によって、容易にその認識順の指定が可能と
なる。まず、ステップＳ１において、図４に示した前処
理が実行される。そして、ステップＳ２において、認識
順指定が必要かどうかが判断される。正常認識されてい
れば、ステップＳ６の後処理にそのまま移る。しかしな
がら、認識順序の指定が必要な場合には、ステップＳ３
において、認識順指定ラインを入力する。この認識順指
定ラインは、先に説明したように、図１に示すようなラ
イン入力部６を用いて同図に示すような認識順指定ライ
ン４を始点１１から終点１２に向かって引くことにより
行われる。

【００１６】次に、ステップＳ４において、認識順序設
定部７が動作する。この具体的な動作は後で説明する
が、認識順序設定部７の動作により、ステップＳ５にお
いて、全てのイメージブロックの読み取りデータを一定
の順序付けに従って配列する。配列結果は認識順序バッ
ファ８に格納される。その後、ステップＳ６に移り、認
識処理部９による後処理が実行される。文字認識のため
の後処理としては、例えば文書を先頭から順に単語単位
に区切り、各単語を単語辞書と照合して、文字認識等の
誤りを修正していく処理があげられる。このような処理
の結果、最終的に自動的に正しく認識された文書データ
が得られる。

【００１７】図６に、上記の図５ステップＳ５における
認識順序設定部の動作フローチャートを示す。この図６
において、まずステップＳ１で認識順指定ラインの始点
から終点に向かってイメージブロックとの重なりを検出
する。即ち、図１に示す認識順指定ライン４の始点１１
から終点１２に向かう間、これと重なり合うイメージブ
ロックは、イメージブロックＢ１、Ｂ２、Ｂ４、Ｂ５と
いう順番になる。そこで、まず始めに、イメージブロッ
クＢ１を認識順序バッファ８に配列する（ステップＳ
２）。そして、次にステップＳ３において、検出された
イメージブロックの主走査線１０の方向にある別のイメ
ージブロックの検出を行う。

【００１８】即ち、イメージブロックＢ１の次に、イメ
ージブロックＢ２を認識順序バッファ８に配列した後、
そのイメージブロックＢ２を通る主走査線１０の方向に
別のイメージブロックがないかどうかを検出する。この
例では、イメージブロックＢ２の右側にイメージブロッ
クＢ３が存在する。

【００１９】通常、文書は上から下に、また左から右に
順に記載される。従って、この文書は、認識順指定ライ
ン４によって上から下に向かって順に読み込まれるべき
ものとした場合、たとえその認識順指定ライン４がイメ
ージブロックＢ３と重なり合っていなくても、一般的に
はイメージブロックＢ２の後にイメージブロックＢ３が
続くべきと考えられる。また、オペレータが、そのよう
な流れも認識順指定ライン４により指示しなければなら
ないとすれば、本発明の装置の操作が非常に複雑になっ
てしまう。従って、例えばオペレータが、この図に示す
ように、単に上から下に向かって認識順指定ライン４を
引いた場合には、自動的に主走査線１０の方向にある別
のイメージブロックＢ３も、その配列に取り込むように
している。

【００２０】しかしながら、もしオペレータが積極的に
その別のイメージブロックを別の順序で読むように指定
したとすれば、これを優先すべきである。従って、ステ
ップＳ４において、走査線１０方向に検出された別のイ
メージブロックに別の認識順指定ラインが重なっている
かどうかを判断する。もし、重なっていなければステッ
プＳ５に移り、その別のイメージブロックも認識順序バ
ッファに配列してしまう。それ以外の場合には、その別
のイメージブロックを除外して、ステップＳ６に移る。
ステップＳ６では、認識順指定ラインの終点かどうかを
判断する。終点でなければ、再びステップＳ１に移る。
そして、同一の認識順指定ライン４と重なり合う別のイ
メージブロックを検出する。

【００２１】また、ステップＳ６において、認識順指定
ラインの終点と判断された場合には、ステップＳ７に移
り、別の認識順指定ラインがあるかどうかが判断され
る。もし、別の認識順指定ラインがあれば、再びステッ
プＳ１に戻り、これまでの動作が繰り返される。なお、
特別の理由が無い限り、複数の認識順指定ラインがある
ときは、左側を優先させて処理する。従って、例えば２
本の認識順指定ラインに重なり合うイメージブロックが
あれば、左側の認識順指定ラインとの重なりにより認識
順序を決定する。

【００２２】上記のような処理の結果、例えば図１の例
では、イメージブロックＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５
の順に認識順序バッファ８にイメージブロックが配列さ
れ、更にその右側にある別の認識順指定ライン４と重な
り合うイメージブロックＢ６が最後に配列される。こう
して、全てのイメージブロックについての配列が終了す
ると、図１に示す認識処理部９が図５に示すステップＳ
６の後処理を実行する。

【００２３】本発明は以上の実施例に限定されない。上
記実施例においては、ライン入力部６をマウス等により
構成したが、これは例えばディスプレイと一体化された
タッチパネル等から構成してもよい。また、認識順指定
ライン４は、必ずしも連続したラインでなくてよい。た
だし、その認識順指定ライン４の入力順は装置側におい
て認識し、その入力順や配置に従って解析を行い、イメ
ージブロックを配列することが好ましい。もちろん、文
字イメージの読み取りやイメージブロックへの切り分け
等の方法や順序は、従来知られたどのような方法を採用
しても差し支えない。

【００２４】

【発明の効果】以上説明した本発明の文書認識装置は、
文書イメージが任意のイメージブロックにより切り分け
られるとき、表示部に表示された各イメージブロックを
順に通過するような認識順指定ラインをライン入力部に
より入力して、イメージブロックの順序付けを行うよう
にしたので、オペレータによるイメージブロックの順序
指定操作が極めて容易で、オペレータの負担が軽減され
る。

【図面の簡単な説明】

【図１】本発明の文書認識装置実施例を示すブロック図
である。

【図２】認識対象となる文書イメージ例説明図である。

【図３】本発明の装置実現のためのハードウェア例説明
図である。

【図４】本発明の装置の前処理動作フローチャートであ
る。

【図５】本発明の装置の主要動作フローチャートであ
る。

【図６】認識順序設定部の動作フローチャートである。

【符号の説明】

２表示部３文書イメージ４認識順指定ライン５文字認識部６ライン入力部７認識順序設定部８認識順序バッファ９認識処理部１０主走査線１１始点１２終点Ｂ１〜Ｂ６イメージブロック

フロントページの続き (72)発明者濱口佳孝東京都港区虎ノ門１丁目７番12号沖電気工業株式会社内

Claims

【特許請求の範囲】

【請求項１】光学的に読み取った文書イメージを任意
のイメージブロックに切り分けて文字認識を行なう文字
認識部と、表示部に表示された前記イメージブロックを順に通過す
るような認識順指定ラインを入力するライン入力部と、前記認識順指定ラインと前記イメージブロックとの重な
りを検出して、その認識順指定ラインの始点から終点に
向かって、前記イメージブロックに順序付けを行なう認
識順序設定部と、この認識順序設定部の順序付けに従って、前記イメージ
ブロックの読み取りデータを配列して、文書の認識処理
を実行する認識処理部とを備えたことを特徴とする文書
認識装置。