JP2687902B2 - 文書画像認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は文書画像認識装置に関
し、特に文書の電子化管理のための文書画像を認識する
文書画像認識装置に関する。

【０００２】

【従来の技術】従来、この種の文書画像認識装置は、認
識の誤りの修正作業が不可欠である。修正作業の効率化
を図るために、文字認識結果の候補文字を表示して修正
する装置や、文字認識結果の誤り部分のみを字種を限定
して再認識する装置や、文字分離の誤り部分のみを文字
区切りの位置を修正して再認識する装置が提案されてい
る。

【０００３】この種の文書画像認識装置は、たとえば特
願平５−６２００８号明細書に記述されているように、
文字認識の過程で認識結果に誤りが生じた場合でも、正
解文字を手入力するかわりに候補の中から正解を選択し
て修正できる利点がある。

【０００４】以下に、特願平５−６２００８号明細書に
ついて、図６に示す説明図を用いて説明する。図６は、
ディスプレイ上に表示された文字候補の選択画面であ
る。修正範囲に指定した各文字画像について原認識結果
における上位の候補文字が出力される。正解文字は、カ
ーソルで指定することにより選択することができる。

【０００５】次に、字種を限定して再認識することによ
り認識結果の誤りを修正する例を、同じく特願平５−６
２００８号明細書について、図７に示す説明図を用いて
説明する。図７は、ディスプレイ上に表示された限定字
種再認識における修正候補の選択画面である。原イメー
ジ上で修正範囲を指定すると、修正メニューが表示され
る。図７に示すように原イメージでアルファベットであ
る文字が、ひらかなに認識される誤りが生じた場合に
は、“英字再認識”が適当であるので、カーソルで指定
すると指定部位の英字再認識が行われ文字認識結果の内
容を更新することができる。

【０００６】次に、文字分離誤りを文字区切りの位置を
変更して再認識し、認識結果の誤りを修正する例を、同
じく特願平５−６２００８号明細書について、図８に示
す説明図を用いて説明する。図８は、ディスプレイ上に
表示された文字区切り修正画面である。修正範囲として
図７で示したような“文字区切り修正”が選択される
と、図８に示すような文字区切り修正画面があらわれ、
文字の区切りの候補をカーソルで指定することができ
る。たとえば図８の縦の棒で実線はそこで文字が切れる
ことを、点線はそこで文字が切れないことを表し、カー
ソルで指定することにより文字の区切り位置を変更でき
る。

【０００７】このようにして、ユーザは文字認識結果の
修正や、文字区切りの修正、辞書の選択による再認識が
できる。

【０００８】

【発明が解決しようとする課題】この従来の文書画像認
識装置は、文字認識結果の修正する際に、正解である文
字候補を指定したり、文字区切りの誤りを修正したり、
辞書を限定して再認識して修正する等の個々の文字を修
正する機能は実現されているが、文書中に含まれている
表の項目欄の様な領域や、下線や傍線の配置などのレイ
アウト情報を修正する機能は実現されていない。つま
り、これまでの技術ではレイアウト情報の誤りが原因
で、文字や文字の並びの解釈に誤りが生じた場合はユー
ザが手修正によって正しいレイアウト解析結果を与える
必要があった。また、このようなレイアウト情報の認識
誤りの修正にかかる時間や負担が大きくなる。

【０００９】そこで、本発明の目的は、レイアウト誤り
の種別に対応したレイアウト誤りフラグを付加し、対応
したレイアウトの制約に基づいて再び解析をおこなう機
能を備えることによりレイアウト情報の修正にかかる時
間や負担を軽減可能な文書画像認識装置を提供すること
にある。

【００１０】

【課題を解決するための手段】本発明の文書画像認識装
置は、文書を量子化画像データとして入力する文書画像
入力部と、前記文書画像入力部から入力された文書画像
を格納する文書画像記憶部と、前記文書画像に対し図表
分離、表解析、段組分離、線分分離、行分離、文字分離
を施し、レイアウト情報を抽出するレイアウト解析部
と、前記レイアウト解析部において得られる前記レイア
ウト情報のうち、表項目を構成する罫線の輪郭の形状を
用いて表項目分離誤りである可能性が高い部分を判別
し、文字ピッチ、文字幅を用いた検証により線分分離誤
りを判別し、また、行ピッチ、行幅を用いた検証により
行分離誤りを判別し、それぞれに、誤りの種類を示すレ
イアウト誤りフラグを付加するレイアウト誤り候補検出
部と、前記レイアウト誤りフラグが付加されたレイアウ
ト情報を格納するレイアウト情報記憶部と、前記レイア
ウト解析部において得られた文字画像を認識し、文字コ
ードを得る文字認識部と、前記文字認識部で得られた文
字コードを格納する文字情報記憶部と、ユーザからのオ
ペレーションを入力する修正指示入力部と、表項目分離
誤りに対するレイアウト候補として領域分割方向と領域
分割数、線分分離誤りに対するレイアウト候補として線
分の方向、および、行分離誤りに対するレイアウト候補
として文字列の方向をあらかじめ格納し、前記レイアウ
ト情報記憶部と前記文書画像記憶部と前記文字情報記憶
部との各々の出力を入力し、前記レイアウト誤りフラグ
に対応する前記レイアウト候補と前記文書画像および前
記文字コードを表示情報として出力し、前記修正指示入
力部の出力に従い前記レイアウト候補の中から正しいレ
イアウト候補を選択して再解析情報として出力し、ま
た、前記修正指示入力部の出力に従い誤りのある文字コ
ードを修正する修正処理部と、前記修正処理部で指定さ
れた前記再解析情報に基づいて、前記レイアウト解析部
に対してレイアウト解析処理の再実行を起動する再解析
制御部と、前記修正処理部から出力された前記表示情報
を表示する画像表示部とを備える。

【００１１】

【実施例】次に、本発明について図面を参照して説明す
る。本発明の一実施例をブロックで示す図１を参照する
と、この実施例の文書画像認識装置は、文書を量子化画
像データとして入力する文書画像入力部１０と、文書画
像入力部１０から入力された文書画像を格納する文書画
像記憶部１と、この文書画像に対し図表分離、表解析、
段組分離、線分分離、行分離、文字分離を施し、レイア
ウト情報を抽出するレイアウト解析部２と、このレイア
ウト解析部２において得られるレイアウト情報のうち、
表項目を構成する罫線の輪郭の形状を用いて表項目分離
誤りである可能性が高い部分を判別し、文字ピッチ、文
字幅を用いた検証により線分分離誤りを判別し、また、
行ピッチ、行幅を用いた検証により行分離誤りを判別
し、それぞれに、誤りの種類を示すレイアウト誤りフラ
グを付加するレイアウト誤り候補検出部３と、このレイ
アウト誤りフラグが付加されたレイアウト情報を格納す
るレイアウト情報記憶部４と、レイアウト解析部２にお
いて得られた文字画像を認識し、文字コードを得る文字
認識部５と、この文字認識部５で得られた文字コードを
格納する文字情報記憶部６と、ユーザからのオペレーシ
ョンを入力する修正指示入力部８と、表項目分離誤りに
対するレイアウト候補として領域分割方向と領域分割
数、線分分離誤りに対するレイアウト候補として線分の
方向、および、行分離誤りに対するレイアウト候補とし
て文字列の方向をあらかじめ格納し、レイアウト情報記
憶部４と文書画像記憶部１と文字情報記憶部６との各々
の出力を入力し、レイアウト誤りフラグに対応するレイ
アウト候補と文書画像および文字コードとを表示情報と
して出力し、修正指示入力部８の出力に従いレイアウト
候補の中から正しいレイアウト候補を選択して再解析情
報として出力し、また、修正指示入力部８の出力に従い
誤りのある文字コードを修正する修正処理部７と、この
修正処理部７で指定された再解析情報に基づいて、レイ
アウト解析部２に対してレイアウト解析処理の再実行を
起動する再解析制御部９と、修正処理部７から出力され
た表示情報を表示する画像表示部２０とから構成され
る。

【００１２】レイアウト解析部２は、文書を文章領域、
図表領域の構成要素に分け、図表分離、表解析、段組分
離、線分分離、行分離、文字分離を施し、その配列関
係、包含関係をレイアウト誤り候補検出部３に送る。表
領域と判断された領域に対しては、たとえば、輪郭追跡
処理により表の項目欄を抽出し、表の項目欄の配置関
係、項目欄と記載事項の対応がレイアウト誤り候補検出
部３に送られる。文章領域と判断された領域に対して
は、文章領域を構成する行領域の抽出、行領域を構成す
る文字単位の領域の抽出が行われ、行の配置関係、文字
の配置関係がレイアウト誤り候補検出部３に送られる。
連結領域を用いた判別により下線や傍線が抽出された場
合は、線分の配置関係、線分と文字との対応が、レイア
ウト情報として出力され、レイアウト誤り候補検出部３
に送られる。

【００１３】レイアウト解析部２において得られたレイ
アウト情報のうち、表項目分離誤り、線分分離誤り、お
よび、行分離誤りである可能性が高い部分は、レイアウ
ト誤り候補検出部３にて判別され、それぞれに誤りの種
類を示すレイアウト誤りフラグが付加される。レイアウ
ト解析部２において、複数の表項目欄が一つの項目欄と
して抽出された場合、表項目を構成する罫線の輪郭の形
状を用いて検証を行い、その輪郭形状が矩形でなかった
り、上下左右に接する項目欄との大きさが著しく異なっ
ていた場合には、表項目分離誤りである可能性が高い部
分としてフラグが付加される。また、線分と文字が接触
して一つの固まりとして抽出された場合は、文字ピッチ
と文字幅を用いた検証を行い、文字ピッチ、文字幅が他
の平均的な文字ピッチ、文字幅より大きければ、その部
分を線分分離誤りである可能性が高い部分としてフラグ
が付加される。複数行が一行として抽出された場合は、
行ピッチと行幅を用いた検証を行い、行ピッチ、行幅が
他の平均的な行ピッチ、行幅より大きければ、行分離誤
りである可能性が高い部分としてフラグが付加される。
ここで、レイアウト誤りフラグを付加されたレイアウト
情報も、レイアウト情報記憶部４に記憶される。

【００１４】一方、レイアウト解析部２において、文字
領域と判断された文字画像は、文字認識部５で認識され
文字コードとして出力され、文字情報記憶部６に格納さ
れる。レイアウト誤りフラグを付加されたレイアウト情
報は、修正処理部７において、文書画像記憶部１から送
られた文書画像、および、文字情報記憶部６から送られ
た文字コードと対応付けられ、画像表示部２０に送られ
表示される。同時に、あらかじめ格納された、表項目分
離誤りに対応する領域分割方向と領域分割数の候補、線
分分離誤りに対応する線分の方向の候補、および、行分
離誤りに対応する文字列の方向の候補が、レイアウト候
補として画像表示部２０に送られ表示される。このと
き、修正処理部７では、修正指示入力部８において得ら
れたユーザのオペレーションの指示に従い、表示された
レイアウト候補の中から正しいレイアウト候補を選択す
る。また、文字情報が誤っていればこれを修正する。

【００１５】修正処理部７で選択されたレイアウト候補
は、再解析情報として再解析制御部９に送られる。再解
析制御部９は入力された再解析情報に基づき、該当する
領域のレイアウト解析の再実行命令を出力し、これを受
けてレイアウト解析部２は再解析を実行する。再解析の
結果は、一度目の解析結果と同様に、レイアウト誤り検
出部３、レイアウト情報記憶部４、文字認識部５、文字
情報記憶部６、および、修正処理部７を介して画像表示
部２０に表示される。

【００１６】図２および図３は表の項目分離誤りを修正
する例を示す図である。図２においては、表の項目欄を
仕切る線分に途切れが生じたため、レイアウト解析部２
において、２つの隣り合った項目欄が１つの項目欄とし
て抽出される。レイアウト誤り候補検出部３では、項目
欄の輪郭の形状を用いた検証によりレイアウト誤りフラ
グが付加されるため、文書画像および文字コードは図２
の様に画像表示部２０に表示される。また、修正処理部
７に格納されていたレイアウト誤りフラグに対応したレ
イアウト候補も表示される。このとき、項目欄は横に２
段に存在していると考えられるため、ユーザは修正指示
入力部８を介してレイアウト候補から、表項目分離で横
２段を選択する。再解析制御部９では、横に２段に分割
されるという再解析のための制約を加えることにより、
画素の投影情報を用いて図３のように領域を正しく分割
する。

【００１７】図４および図５は線分分離誤りを修正する
例を示す図である。図４においては、文字と線分に接触
が生じたため、レイアウト解析部２において、文字列と
下線が１つの固まりとして抽出される。そのため、一文
字として認識され正しい文字コードが得られていない。
レイアウト誤り候補検出部３では、文字ピッチと文字幅
を用いた検証によりレイアウト誤りフラグが付加される
ため、文書画像および文字コードは図４の様に画像表示
部２０に表示される。また、修正処理部７に格納されて
いたレイアウト誤りフラグに対応したレイアウト候補も
表示される。このとき、ユーザは修正指示入力部８を介
してレイアウト候補から、線分分離で下線付文字を選択
できる。再解析制御部９では、下線分離誤りの場合は、
下線と文字しか存在しないという再解析のための制約を
加えることにより、投影情報などを用いて図５のように
線分から文字を分離する。

【００１８】このようにして、誤りの種類に対応して再
びレイアウト解析を行い正しい結果を得ることができ
る。

【００１９】

【発明の効果】以上説明したように、本発明によれば、
レイアウト解析誤りの修正の際に、誤りの種類を選択し
て再びレイアウト解析を行い正しい結果を得ることがで
きるため、ユーザによる修正処理を著しく軽減すること
が可能である。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】この実施例の表項目分離誤りの修正操作を説明
するための図である。

【図３】この実施例の表項目分離誤り修正の完了を説明
するための図である。

【図４】この実施例の線分分離誤りの修正操作を説明す
るための図である。

【図５】この実施例の線分分離誤り修正の完了を説明す
るための図である。

【図６】従来例の誤認識箇所を修正する操作を説明する
ための図である。

【図７】従来例の文字候補選択における操作を説明する
ための図である。

【図８】従来例の文字区切り修正における操作を説明す
るための図である。

【符号の説明】

１ 文書画像記憶部 ２ レイアウト解析部 ３ レイアウト誤り候補検出部 ４ レイアウト情報記憶部 ５ 文字認識部 ６ 文字情報記憶部 ７ 修正処理部 ８ 修正指示入力部 ９ 再解析制御部 １０ 文書画像入力部 ２０ 画像表示部

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 文書を量子化画像データとして入力する
   文書画像入力部と、 前記文書画像入力部から入力された文書画像を格納する
   文書画像記憶部と、 前記文書画像に対し図表分離、表解析、段組分離、線分
   分離、行分離、文字分離を施し、レイアウト情報を抽出
   するレイアウト解析部と、 前記レイアウト解析部において得られる前記レイアウト
   情報のうち、表項目を構成する罫線の輪郭の形状を用い
   て表項目分離誤りである可能性が高い部分を判別し、文
   字ピッチ、文字幅を用いた検証により線分分離誤りを判
   別し、また、行ピッチ、行幅を用いた検証により行分離
   誤りを判別し、それぞれに、誤りの種類を示すレイアウ
   ト誤りフラグを付加するレイアウト誤り候補検出部と、 前記レイアウト誤りフラグが付加されたレイアウト情報
   を格納するレイアウト情報記憶部と、 前記レイアウト解析部において得られた文字画像を認識
   し、文字コードを得る文字認識部と、 前記文字認識部で得られた文字コードを格納する文字情
   報記憶部と、 ユーザからのオペレーションを入力する修正指示入力部
   と、 表項目分離誤りに対するレイアウト候補として領域分割
   方向と領域分割数、線分分離誤りに対するレイアウト候
   補として線分の方向、および、行分離誤りに対するレイ
   アウト候補として文字列の方向をあらかじめ格納し、前
   記レイアウト情報記憶部と前記文書画像記憶部と前記文
   字情報記憶部との各々の出力を入力し、前記レイアウト
   誤りフラグに対応する前記レイアウト候補と前記文書画
   像および前記文字コードを表示情報として出力し、前記
   修正指示入力部の出力に従い前記レイアウト候補の中か
   ら正しいレイアウト候補を選択して再解析情報として出
   力し、また、前記修正指示入力部の出力に従い誤りのあ
   る文字コードを修正する修正処理部と、 前記修正処理部で指定された前記再解析情報に基づい
   て、前記レイアウト解析部に対してレイアウト解析処理
   の再実行を起動する再解析制御部と、 前記修正処理部から出力された前記表示情報を表示する
   画像表示部とを備えることを特徴とする文書画像認識装
   置。