JPH07134750A - 文書画像認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 パーソナルコンピュータ等のソフトウェア程
度の処理能力を備える環境においても、段組や表形式と
いった複雑なレイアウト構造をもつ文書の読み取り結果
を効率良く修正可能な文書画像認識装置を提供する。 【構成】 文書全体を表示し、修正作業を行うブロック
の選択、既に誤り修正の終了したブロックの表示を行う
全体画像表示手段２と、ブロックの認識結果テキストを
表示しテキスト単位でのカーソル移動、選択、修正と下
線等の文字属性の表示及びリジェクトされた文字の表示
をする認識結果テキスト表示手段５と、文字画像単位で
のカーソル移動、ブロック単位の表示をするブロック画
像表示手段３と、候補文字の表示、候補文字からの選択
を行う候補文字表示手段４と、誤って抽出したブロック
の強制削除、挿入、分割、結合を行う機能と、未登録の
文字パターンを認識辞書に追加登録する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文書画像認識処理を行
う装置における誤り修正ユーザインタフェースに関す
る。

【０００２】

【従来の技術】イメージスキャナ等から得られる文書の
画像のレイアウト構造を解析し、文字、図、表といった
構成要素の分離、文章領域の文字コード化等を行う装置
の開発が行われている。既存の装置では認識処理を完全
に自動化することは困難であり、認識結果の人手による
修正作業が必要となる。

【０００３】修正作業を支援する装置として、原画像と
認識結果のテキスト画面とをディスプレイ上に同時に表
示し、両者を比較しながら修正作業を行う方式が幾つか
提案されている。

【０００４】このような誤り修正ユーザインタフェース
として、「画像処理方法及び装置」（特開平５−８１４
６７号公報）を例にとってその概要を説明する。この方
法では、イメージスキャナ等で読み取った文書画像に認
識処理を施し、文字コードからなる処理データを得る。
認識結果の修正を行う際に、原画像と処理データの位置
を対応付けて表示する。処理データ上で所望の位置を指
定した場合には、対応する原画像データの表示を行う。
このような修正画面を構成することにより、入力画像を
参照しながら処理データのテキストの修正作業を行うこ
とにより、個々の文字に対する原画像と処理データのテ
キストを対応付けての修正作業を可能にし、作業効率の
向上を実現できるとしている。

【０００５】

【発明が解決しようとする課題】従来の技術で述べた方
法では、修正作業をパーソナルコンピュータ等のソフト
ウェアで実現する場合、表示可能なドット数が少ない、
ＣＰＵの処理能力不足といった問題により、修正作業を
効率的に行うことができない。

【０００６】例えばこの方法によると、ユーザは表示さ
れる原画像から個々の文字を読み、認識結果テキストが
正解か否かを確認しなければならない。従って個々の文
字が読み取れる程度の解像度で原画像を表示する必要が
ある。しかし一方では、段組や表形式といった複雑なレ
イアウト構造をもつ文書の認識結果を修正する場合、段
組や表の項目といったレベルでの位置関係を確認しなが
ら修正作業を行う方が効率的である。これら２つの条件
を満たすためには、一般には高解像度ディスプレイ（例
えば数千×数千ドット）や画像を高速にスクロールする
機構などが必要となり、パーソナルコンピュータ等のソ
フトウェアによる処理では不十分であるという問題があ
った。

【０００７】そこで本発明の目的は、パーソナルコンピ
ュータ等のソフトウェア程度の処理能力を備える環境に
おいても、段組や表形式といった複雑なレイアウト構造
をもつ文書の読み取り結果を効率良く修正可能な文書画
像認識装置を提供することにある。

【０００８】

【課題を解決するための手段】本発明の文書画像認識装
置は、文書画像を入力する文書画像入力部と、文書画像
を図、段組、文字行、文字、表枠線、下線等の要素領域
に分割し、１つまたは複数個の前記要素領域をブロック
として構造化する際、各ブロックの包含関係及び上下又
は左右の配置関係に従って、前記ブロックの属性及びブ
ロック間の配置構造を階層的に決定し、記憶するレイア
ウト解析部と、前記レイアウト解析部より得られた個々
の文字画像から特徴抽出、認識辞書との照合を行い、候
補文字コードを得る文字認識部と、前記レイアウト解析
部と前記文字認識部の処理結果の修正を行う誤り修正ユ
ーザインタフェース部とから構成されることを特徴とす
る。

【０００９】

【作用】誤り修正の際に、全体の文書画像、修正中の領
域の近傍の画像、認識結果テキスト、認識候補文字群を
各々表示する窓を設け、かつ修正作業中の領域を明示し
た。またこれに文書画像認識処理の過程で抽出したレイ
アウト情報を利用することで、現在誤り修正作業を行っ
ている表の項目間、段間、行間等の各レベル間の移動を
可能とした。修正作業の終了した領域にマーキングする
ことで、未修正領域を明示した。以上により文書のレイ
アウトを意識しながら修正作業が可能となり、修正作業
の効率を向上させた。

【００１０】

【実施例】以下に、図面を用いて本発明の文書画像認識
装置の一実施例について説明する。

【００１１】図１は同実施例を示すブロック図である。

【００１２】文書画像入力部１０より入力された文書画
像は２値化処理を施され画像走査信号に変換される。図
３は入力文書画像の例であり、表とそのタイトルである
文字行から成っている。

【００１３】レイアウト解析部２０において、入力文書
画像を図、段組、文字行、文字、表枠線、下線等の要素
領域に分割し、１つまたは複数個の要素領域をブロック
として構造化し、各ブロックの包含関係及び上下又は左
右の配置関係に従って、ブロックの属性及びブロック間
の配置構造を階層的に決定し、記憶する。図４はブロッ
ク間の配置構造を表すブロック配置構造ツリーである。
同図各矩形はレイアウト階層構造のブロックでレイアウ
トのレベルを表す。矢印の無い線はブロックの包含関係
を表し、同一レベルにあるノードのブロック同士は等価
に扱われる。同図で連結成分の大きさ情報から通常の文
章部分と表部分は分離される。表部分に関しては表項目
の抽出を行う。表項目は連結成分をラベリングし、文字
より大きな大きさの閉領域を表項目として、表領域に内
接する矩形の頂点の座標値を記憶する。この処理を表部
分全領域に対して行い、全ての表項目を抽出する。その
後、各表項目間の上下左右といった相互の位置関係をポ
インタで表す。各表項目は上下左右の４方向に隣接する
表項目へのポインタを持っている。図４における矢印で
示したものがこれに相当する。また、各表項目領域はツ
リー構造においてノード「表」の子で、ツリー内での各
表項目領域は同じレベルを持つ。表項目内の文章、及び
表外の文章部分は、行抽出、文字切りだし処理が施され
る。具体的には、これらの処理は例えば「スプリット検
出法に基づく頁画像の構造解析」（電子通信学会技術研
究報告パターン認識と学習ＰＲＬ８５−１７，（１９８
５））によって実現することができる。この様な従来技
術を用いることで点在する文字から位置関係、文字の並
びの周期性を考慮した、文字行の抽出、文字の切りだし
が行われ、文章、行、文字の包含関係がツリー構造で表
現される。

【００１４】文字認識部３０においてはレイアウト解析
部２０において抽出されたレイアウトのツリー構造の葉
のノードに相当する各文字画像に特徴抽出処理を施し、
予め作成しておいた認識辞書と照合し文字コードを得
る。このとき、文字の照合を行った際の距離値の小さな
ものから数候補を候補文字群として記憶しておく。

【００１５】誤り修正ユーザインタフェース部４０は文
字認識部３０において変換された文字コードの誤りの修
正を行い、修正結果を出力する。図２は誤り修正ユーザ
インタフェース部の実施例を示すブロック図である。同
図を用いて誤り修正ユーザインタフェース部４０の一実
施例について説明する。

【００１６】全体画像表示手段２は文書画像全体を表示
し、修正を行うブロックの選択、及び修正中のブロック
の表示をブロックカーソルを用いてこれを移動させるこ
とで行う。誤り修正制御手段１はキーボード、マウス等
からの入力を受け付け、これに従い、全体画像表示手段
２におけるブロックカーソル移動信号を出力する。全体
画像表示手段２はレイアウト解析結果のツリーを参照し
ながらブロックカーソルを移動させる。

【００１７】図５は全体画像表示手段２において表示さ
れる全体画面の例を示す図である。（ａ）はブロックカ
ーソルで表の外部の文章領域を選択した状態、（ｂ）は
表内の項目領域を選択した状態を表す。

【００１８】ブロック画像表示手段３は全体画像表示手
段２で選択された修正ブロックに対応する原画像の表示
を行う。全体画像表示画面でブロックの選択信号がマウ
ス、キーボード等から誤り修正制御手段１に入力される
と誤り修正制御手段１はブロック画像表示信号をブロッ
ク画像表示手段３に出力する。ブロック画像表示手段３
はブロック画像表示信号を受信するとレイアウト解析結
果のツリーを参照して選択されているブロックに相当す
る位置の文書画像をディスプレイ上の一部に窓を開き表
示する。また、誤り修正制御手段１がブロック画像表示
倍率変更信号をキーボード、マウス等から受信すると、
誤り修正制御手段１はブロック画像表示倍率変更信号を
ブロック画像表示手段３に伝達し、ブロック画像表示手
段３は表示倍率を変えてブロック画像を表示し直す。

【００１９】認識結果テキスト表示手段５は全体画像表
示手段２で選択された修正ブロック部分からの文字認識
出力に相当する文字コードをテキストとして表示する。
全体画像表示画面でブロックの選択信号がマウス、キー
ボード等から誤り修正制御手段１に入力されると誤り修
正制御手段１は認識結果テキスト表示信号を認識結果テ
キスト表示手段５に出力する。認識結果テキスト表示手
段５は認識結果テキスト表示信号を受信するとレイアウ
ト解析結果のツリー、及び文字認識部の出力した文字コ
ード列を参照して選択されているブロックに相当する位
置の認識結果テキストをディスプレイ上の一部に窓を開
き表示する。認識結果テキスト上では、テキストカーソ
ルを移動して文字を選択し修正作業を行うが、テキスト
の移動はテキストカーソル移動信号がキーボード、マウ
ス等から誤り修正制御手段１に入力されたとき、誤り修
正制御手段１は認識結果テキスト表示手段５にテキスト
カーソル移動信号を伝達し、同信号を受信した認識結果
テキスト表示手段５は認識結果テキスト上でカーソルを
移動させる。テキストカーソル移動信号に同期して、誤
り修正制御手段はブロック画像表示手段３に対して、文
字画像カーソル移動信号を出力する。文字画像カーソル
移動信号を受信したブロック画像表示手段３はテキスト
上の対応する文字位置に相当する文字画像に文字画像カ
ーソルを移動させる。これにより認識結果テキスト表示
手段５で表示されるテキストカーソルと、ブロック画像
表示手段３で表示される文字画像カーソルとは連動し、
各々対応する文字を表示する。

【００２０】図６は全体画像表示手段２において表示さ
れる全体画面、ブロック画像表示手段３において表示さ
れるブロック画像画面、認識結果テキスト表示手段５に
おいて表示される認識結果テキスト画面の例を示す図で
ある。

【００２１】図７も図６と同様に、全体画面、ブロック
画像画面、認識結果テキスト表示画面の３つの例を示す
図である。ブロック画像画面に関し、（ａ）では原画像
を等倍表示し、（ｂ）では縮小表示した例を表す。

【００２２】候補文字表示手段４はテキストカーソルの
位置の文字に対する文字の認識候補文字を表示し、この
候補文字の中からの選択を可能とする。誤り修正制御手
段１はキーボード、マウス等より、候補文字表示信号を
受信すると、これを候補文字表示手段４に伝達する。同
信号を受信した候補文字表示手段４はテキストカーソル
及び文字画像カーソルのある位置の文字画像に対する文
字認識部３０の出力した候補文字群を参照して、候補文
字画面上に候補文字を表示する。誤り修正制御手段１は
候補文字画面から候補文字を選択する候補文字カーソル
選択信号を受信すると、これを候補文字表示手段４に伝
達する。候補文字表示手段４は同信号を受信すると、候
補文字画面上で候補文字カーソルを移動する。誤り修正
制御手段１がキーボード、マウス等から候補文字選択信
号を受信するとこれを候補文字表示手段４に伝達する。
これを受信した候補文字表示手段４は候補文字カーソル
のある位置の文字を現在修正中の文字と置き換える。

【００２３】図８は全体画像表示手段２において表示さ
れる全体画面、ブロック画像表示手段３において表示さ
れるブロック画像画面、認識結果テキスト表示手段５に
おいて表示される認識結果テキスト画面、更に候補文字
表示手段４において表示される候補文字画面の例を示す
図である。

【００２４】ブロック内の修正作業が終了すると、次の
ブロックへ修正作業を行うブロックの移動をすることに
なる。ここでブロックカーソル移動信号が誤り修正制御
手段１に入力されると、同信号を全体画像表示手段２に
伝達する。全体画像表示手段２は同信号によりブロック
カーソルを移動するが、このとき修正の終了したブロッ
クには例えば図９に示したように修正終了マークが付け
られる。

【００２５】図９は全体画像表示手段２において表示さ
れる全体画面、ブロック画像表示手段３において表示さ
れるブロック画像画面、認識結果テキスト表示手段５に
おいて表示される認識結果テキスト画面の例であり、全
体画面において修正済のブロックを表示した例を示す図
である。（ａ）から（ｂ）へと修正処理が進むことによ
り、修正済みのブロックが増えていることを表してい
る。

【００２６】以上の操作を全ブロックに対して行い、最
終的な文書の入力結果のテキストが完成する。

【００２７】さらに、認識結果テキスト表示画面におい
て、テキストカーソルを修正作業の終了した文字に合わ
せた状態で、誤り修正制御手段１に未登録文字追加登録
信号がキーボード、マウス等から入力されると、誤り修
正制御手段１はテキストカーソルの位置にある文字及び
それに対応する文字画像を認識辞書に登録する。

【００２８】

【発明の効果】本発明により、文書読み取り結果の修正
に要する時間を大幅に短縮することができる。例えば図
３のように、文書画像が表領域を含む場合、全体の画
像、近傍の画像、認識候補文字群の同時表示により、現
在修正中の文字及びその文字を含む領域が文書全体のど
の領域に属するかを修正作業中に随時把握することがで
きる。また、同じレベルに属するブロック間での移動、
例えば、表画像内においては表の項目間での移動を容易
に行うことができ、文書の構成を意識しながらの修正作
業が可能である。また、修正作業の終了した領域を明示
することで、未修正領域を明らかにできる。また、リジ
ェクト文字がテキスト表示画面に表示されることで、誤
認識候補文字の存在位置を明確にできる。ブロックの強
制的な分割、結合、削除、挿入機能により、誤って抽出
したブロックの修正が容易に行える。これらにより、大
幅な修正作業の効率の向上が実現できる。

【００２９】未登録文字の追加登録機能により、認識が
不可能な文字を認識可能とする。これに加えて、文字の
変形の顕著なフォントを新たなカテゴリとして追加登録
することにより、マルチフォントへの対応も可能であ
る。利用者の扱う文書のフォント、文字の種類により、
個人で認識辞書をカスタマイズすることが出来る。この
追加登録機能により認識率の向上が実現でき、修正作業
を更に低減することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる文字読み取り装置の
構成を示すブロック図である。

【図２】同実施例における誤り修正ユーザインタフェー
ス部の構成を示すブロック図である。

【図３】入力文書画像の例を表す図である。

【図４】レイアウト解析部において抽出するブロック間
の配置構造を表すツリーの一例を表す図である。

【図５】誤り修正ユーザインタフェース部において表示
される全体画面の例を表す図である。 （ａ）…ブロックカーソルで表外の文章を選択した状
態。 （ｂ）…ブロックカーソルで表項目領域を選択した状
態。

【図６】誤り修正ユーザインタフェース部において表示
される全体画面、ブロック画像画面、及び認識結果テキ
スト画面の例を表す図である。

【図７】誤り修正ユーザインタフェース部で表示される
全体画面、ブロック画像画面、及び認識結果テキスト画
面において、ブロック画像画面の表示倍率を変化させた
例を表す図である。 （ａ）…ブロック画像画面に原画像を等倍で表示した場
合。 （ｂ）…ブロック画像画面に原画像を縮小して表示した
場合。

【図８】誤り修正ユーザインタフェース部において表示
される全体画面、ブロック画像画面、認識結果テキスト
画面、及び候補文字画面の例を表す図である。

【図９】誤り修正ユーザインタフェース部で表示される
全体画面、ブロック画像画面、及び認識結果テキスト画
面において、全体画面上に既に誤り修正の終了したブロ
ックを表示した例を表す図である。 （ａ）…ブロックカーソルで−表項目領域を選択した状
態。 （ｂ）…（ａ）で選択した表項目修正終了後、ブロック
カーソルを他の表項目領域に移動した状態。

【符号の説明】

１０ 文書画像入力部 ２０ レイアウト解析部 ３０ 文字認識部 ４０ 誤り修正ユーザインタフェース部 １ 誤り修正制御手段 ２ 全体画像表示手段 ３ ブロック画像表示手段 ４ 候補文字表示手段 ５ 認識結果テキスト表示手段

Claims (2)

【特許請求の範囲】
1. 【請求項１】 文書画像を入力する文書画像入力部と、
   文書画像を図、段組、文字行、文字、表枠線、下線等の
   要素領域に分割し、１つまたは複数個の前記要素領域を
   ブロックとして構造化する際、各ブロックの包含関係及
   び上下又は左右の配置関係に従って、前記ブロックの属
   性及びブロック間の配置構造を階層的に決定し、記憶す
   るレイアウト解析部と、前記レイアウト解析部より得ら
   れた個々の文字画像から特徴抽出、認識辞書との照合を
   行い、候補文字コードを得る文字認識部と、前記レイア
   ウト解析部と前記文字認識部の処理結果の修正を行う誤
   り修正ユーザインタフェース部とから構成されることを
   特徴とする文書画像認識装置。
2. 【請求項２】 前記誤り修正ユーザインタフェース部
   は、 文書全体を表示し、その表示画面上で前記ブロック間で
   のカーソル移動とブロックの選択、前記選択されたブロ
   ックの表示、既に誤り修正の終了したブロックの表示を
   行う全体画像表示手段と、前記全体画像表示手段により
   選択されたブロックの認識結果テキストを表示し、テキ
   スト単位でのカーソル移動と選択、選択されたテキスト
   の修正、下線等の文字属性の表示、及びリジェクトされ
   た文字の表示を行う認識結果テキスト表示手段と、前記
   全体画像表示手段により選択されたブロックの画像を倍
   率を変えて表示し、文字画像単位でのカーソル移動と前
   記認識結果テキスト表示手段により選択された文字に対
   応する画像の表示をするブロック画像表示手段と、前記
   認識結果テキスト表示手段により選択された文字に対応
   する候補文字の表示、候補文字からの選択を行う候補文
   字表示手段と、キーボード、マウス等の入力デバイスか
   らの信号に従って、前記全体画像表示手段、前記ブロッ
   ク画像表示手段、前記認識結果テキスト表示手段及び前
   記候補文字表示手段に対するコマンドを出力すると共
   に、未登録の文字パターンを前記認識辞書に追加登録
   し、誤って抽出したブロックの強制削除、挿入、分割、
   結合を行う誤り修正制御手段とから構成されることを特
   徴とする請求項１記載の文書画像認識装置