JP4055976B2

JP4055976B2 - 文書画像処理方法、文書画像処理装置及び記録媒体

Info

Publication number: JP4055976B2
Application number: JP21531499A
Authority: JP
Inventors: 秀明山形
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-07-29
Filing date: 1999-07-29
Publication date: 2008-03-05
Anticipated expiration: 2019-07-29
Also published as: JP2001043316A

Description

【０００１】
【発明の属する技術分野】
本発明は、文書画像処理の分野に係り、特に、文書画像上の文字の領域に対する文字認識処理を含む文書画像処理の分野に関する。
【０００２】
【従来の技術】
特開平１０−１９８７０５号公報には、文書画像を見出し（タイトル）、本文、写真、表等に領域分割し、見出しの領域と本文の領域に対して文字認識を行う技術が開示されている。特開平８−８７５２８号公報には、文書構造ごとに文字パターンの抽出を行い、文字認識結果を文書構造と対応付けして蓄積する技術が開示されている。また、特開平１０−１７７６４１号公報には、文書画像からテキスト領域を抽出して文字認識を行い、認識結果から選択した文字列を文書画像の検索のためのキーワードとして保存するが、その際に、文字の相対的サイズを計算してキーワードに対応付けて保存しておき、キーワード検索を行った場合に、キーワードに対応した文字の相対的サイズを検索結果の重み付けに利用する技術が開示されている。
【０００３】
【発明が解決しようとする課題】
例えば前記特開平１０−１７７６４１号公報に述べられているように、文字認識結果を検索用のキーワードとして利用するような文書画像処理においては、高い認識率が望まれる。しかし、これまでに実用化されている各種の文字認識系では、高い文字認識率を達成しようとすると処理時間が増加する傾向が一般に認められるため、やみくもに高認識率を得ようとすることは、処理速度が低下するため現実的ではない。
【０００４】
よって、本発明の目的は、文書画像上の文字認識対象領域に対する文字認識処理を含む文書画像処理において、文字認識精度と処理速度を両立させることにある。
【０００５】
【課題を解決するための手段】
文書のレイアウト構造に着目すると、文字認識の対象となる領域を、誤認識を極力排除したい領域と、多少の誤認識が許容される領域とに分けて扱ってよい場合が多い。例えば、文字認識結果を検索用キーワードとして利用することを想定した文書画像処理の場合、文書画像上のタイトル領域のような特定の領域は、その文字認識結果がキーワードとして利用される可能性が高いであろうから、誤認識を極力排除したい（文字認識結果の重要性が高い）領域であろう。また、タイトル領域のような、文書の内容に関連した重要な語句が記載された領域は、領域内の文字数が比較的少ないことが多い。さらに、キーワードとして利用されるような重要な語句は、拡大文字や色つき文字で記載されることも多い。
【０００６】
本発明は、そのような点に着目して前記目的を達成しようとするものであり、その主たる特徴は、文書画像上の個々の文字認識対象領域毎に、その文字認識処理に用いる文字認識系を低速だが高精度の第１の文字認識系あるいは低精度だが高速の第２の文字認識系から選択することであり、また、文字認識対象領域のレイアウト構造上の属性や、領域内の文字数、文字の大きさ、文字色を文字認識系の選択基準として利用することである。
【０００７】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施の形態を説明する。なお、説明の繰り返しを避けるため、添付図面中の複数の図面において、同一部分又は対応部分には同一の参照符号又は同様の参照符号を用いる。
【０００８】
図１に、本発明による文書画像処理装置のブロック構成の一例を示す。ここに示す文書画像処理装置は、画像入力部１００、レイアウト解析部１０２、文字認識部１０４、文字認識処理のために参照される文字認識用辞書１１２及び言語辞書１１４から構成される。文字認識用辞書１１２は１文字単位の文字認識のための辞書であり、言語辞書１１４は１文字単位の文字認識結果に対する後処理のために利用される単語等の言語知識を格納した辞書である。画像入力部１００は、イメージスキャナ等の画像入力機器を利用して文書原稿をスキャンし、その画像データを入力したり、記録媒体に予め記憶されている文書画像データを入力したり、あるいは、通信回線を介して外部より文書画像データを取り込んだりする部分である。なお、入力された文書画像データや、それに対する処理の過程で発生するデータを記憶するための記憶装置も当然に存在するが、図中には明示されていない。
【０００９】
レイアウト解析部１０２は、画像入力部１００によって入力された文書画像に対するレイアウト解析を行い、文書画像上の領域を文字認識対象領域（文字の領域）と、それ以外の図又は表の領域とに分類し、文字認識対象領域については、そのレイアウト構造上の属性であるヘッダ、フッタ、タイトル、本文等の識別も行う。また、文字認識対象領域については、必要に応じて、領域内の文字数、文字の大きさ、文字色も求める。本発明においては、レイアウト解析によって得られた文字認識対象領域の属性、文字数、文字の大きさ、文字色の情報は、文字認識対象領域に対する文字認識処理に使用する文字認識系の選択のために利用される。すなわち、レイアウト解析部１０２は、文書画像上の各文字認識対象領域を抽出する手段と、各文字認識対象領域に関し文字認識系の選択基準となる当該文字認識対象領域を特定する情報を取得するための手段とを含んでいる。
【００１０】
レイアウト解析に関しては、前記公開特許公報にも見られるように数多くの手法が提案されている。本発明においても、そのような公知の手法を利用し得る。例えば、扱う文書のレイアウトが固定している場合には、予め用意されたフォーマット情報中に指定されている座標値から、ヘッダ、タイトル、本文、フッタなどの領域とその属性を識別するような、よく知られた手法を利用し得る。フォーマットの異なる複数種類の文書を扱う場合には、例えば前記特開平１０−１９８７０５号公報に述べられているように、文字サイズなどに基づいて文書の種類を特定したうえで、その種類の文書に対応したフォーマット情報を利用して文書画像上の領域と属性の識別を行うような手法を利用してよい。
【００１１】
図４に、入力された文書画像とそのレイアウト解析結果の一例を示す。なお、より複雑なレイアウト解析を行って、図４に示す領域３のような図や表の領域の内部にある文字の領域なども独立した領域として抽出するようにしてもよい。
【００１２】
本発明によれば、文字認識部１０４は、複数種類の文字認識系と、それら複数の文字認識系の中から、個々の文字認識対象領域毎に、文字認識処理に使用するための文字認識系を選択する系選択部を具備する。ここに示す例では、文字認識系（１）１０６と文字認識系（２）１０８の２種類の文字認識系と、個々の文字認識対象領域毎に、その文字認識処理に使用するための文字認識系として文字認識系（１）１０６又は文字認識系（２）１０８を選択する系選択部１１０を具備する。ここでは、図３に示すように、一方の文字認識系（１）１０６は認識率は高いが低速のもの、もう一方の文字認識系（２）１０８は高速であるが認識率が低いものであるとして説明する。
【００１３】
このような本発明による文書画像処理装置は、専用のハードウェアとして実現してもよいし、一般的な構成のコンピュータ上でソフトウェアによって実現してもよい。後者の場合、レイアウト解析部１０２や文字認識部１０４の機能をコンピュータ上で実現させるためのプログラム、換言すれば、本発明による文書画像処理方法の処理ステップを実行させるためのプログラムが、コンピュータのメモリにロードされてＣＰＵにより実行される。そのようなプログラムが記録されたフロッピーディスク、ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ等の記録媒体も本発明に包含される。
【００１４】
なお、処理対象となる文書の種類はユーザ毎に異なる場合が多い。文書の種類が異なると、それに用いられるフォントや語句などに違いがある。したがって、複数のユーザが想定される場合には、文字認識用辞書１１２及び言語辞書１１４をユーザ別に用意する構成にすると、文字認識精度の面で一般に有利である。
【００１５】
また、本発明による文書画像処理装置は、その一部の構成要素間をネットワークを介して接続するような構成としてもよい。例えば図２に示すように、クライアント／サーバー・システム上に本発明による文書画像処理装置を構築し、サーバー１１６とネットワーク１２０を介して接続される各クライアント１１８に、ユーザ別の文字認識用辞書１１２及び言語辞書１１４を配置し、全ユーザに利用される文字認識部１０４とレイアウト解析部１０２をサーバー１１６に配置するような構成が可能である。このようにすると、各ユーザーが、その扱う文書の種類に応じた最適な文字認識用辞書１１２及び言語辞書１１４を文字認識処理に利用することが可能になるとともに、文字認識部１０４の機能向上などは、文字認識部１０４そのもの、又は、そのためのプログラムの更新だけで対応でき、多くのユーザが最新の文字認識部１０４を利用できるなどのメリットがある。なお、図２においては、画像入力部１００がクライアント１１８側に設けられているが、サーバー１１６側にも画像入力部を配置してもよい。
【００１６】
次に、上に述べたような本発明による文書画像処理装置において実行される文書画像処理の内容を図５のフローチャートを参照して説明する。
【００１７】
まず、画像入力部１００によって文書画像が入力される（テップ２００）。次に、レイアウト解析部１０２において、入力された文書画像に対するレイアウト解析が行われる（ステップ２０１）。このレイアウト解析によって、文書画像上の文字認識対象領域、図領域、表領域の分類が行われるとともに、各文字認識対象領域に関して、当該文字認識対象領域を特定する情報、すなわち、文字認識系の選択基準として利用される情報が得られる。この情報としては、前述のように、各文字認識対象領域の属性（ヘッダ、フッタ、タイトル、本文等の別）、文字数、文字の大きさ、文字色などである。ただし、その全てを必ずしも得る必要はなく、ステップ２０４で必要な情報だけを得れば足りる。
【００１８】
レイアウト解析が終了すると、レイアウト解析部１０２において、文書画像上の１つの領域を選択し（ステップ２０２）、その領域が図又は表の領域であるか調べる（ステップ２０３）。その領域が図領域又は表領域であるとき、つまり、その領域が文字認識対象領域でないときには、レイアウト解析部１０２はステップ２０２に戻って次の領域を選択する。
【００１９】
選択した領域が図領域でも表領域でもないとき、すなわち、その領域が文字認識対象領域であるときには、レイアウト解析部１０２は、文字認識部１０４に対し、その領域に関する文字認識系の選択基準としての情報を通知するとともに文字認識を指示する。文字認識部１０４の系選択部１１０は、通知された文字認識系選択基準としての情報に基づいて、その文字認識対象領域に対し使用すべき文字選択系を選択する（ステップ２０４）。そして、文字認識部１０４は、系選択部１１０によって選択された文字認識系（１）１０６又は文字認識系（２）１０８を使用して、その文字認識対象領域に対する文字認識処理を実行する（ステップ２０５，２０６）。
【００２０】
このような処理が、レイアウト解析処理により抽出された領域について順次行われ、全ての領域に対する処理が終わると（ステップ２０８，ｙｅｓ）、文字認識処理結果及びレイアウト解析結果が出力される（ステップ２０９）。この出力データは、例えば、文書のデータベース化やその検索などに利用される。
【００２１】
《実施例１》本発明の実施例１においては、文字認識対象領域の属性が文字認識系の選択基準として利用される。すなわち、その領域が文字認識対象領域であるときには、レイアウト解析部１０２は、文字認識部１０４に対し、その文字認識対象領域の属性を通知するとともに文字認識を指示する。文字認識部１０４においては、系選択部１１０で文字認識対象領域の属性がタイトルであるか調べ、タイトルならば高精度の文字認識系（１）１０６を選択し、タイトルでなければ高速の文字認識系（２）１０８を選択する。
【００２２】
図４に示した文書画像の場合、領域１は文字認識対象領域であり、その属性が「タイトル」であるので、高精度・低速の文字認識系（１）１０６が選択され、それを用いて文字認識処理が行われる。領域２の属性は本文であるので、高速の文字認識系（２）１０８が選択される。領域（３）は図の領域であるので、文字認識の対象とならない。領域（４）は属性が「フッタ」であるので高速の文字認識系（２）が選択される。このように、検索のためのキーワードとなるような誤認識を回避したいタイトル領域に対しては文字認識系（１）を用いることにより、高精度の文字認識結果を得られる。この高精度の文字認識では、低精度の文字認識に比べて１文字当たりの処理時間は増加するが、一般にタイトル領域の文字数は少ないので全体の処理時間に及ぼす影響は小さい。そして、タイトル以外の領域は高速の文字認識が行われるため、全体として高速の文字認識が可能である。なお、例えば、タイトル領域のほかに、文字数の少ないヘッダやフッタのような領域にたいしても、高精度な文字認識系（１）を選択させるようにすることも可能である。
【００２３】
《実施例２》本発明の実施例２においては、文字認識対象領域の文字数が、文字認識系の選択基準として利用される。この文字数は、領域内の厳密な文字の個数である必要はなく、例えば、領域内の黒画素の連結成分の個数でよい。このような文字数の検出は、文字認識処理の前に容易に算出可能である。文字認識部１０４の系選択部１１０は、レイアウト解析で検出された領域内の文字数を選択基準として、文字認識対象領域に対する文字認識処理に用いる文字認識系の選択を行う。すなわち、文字認識対象領域の文字数が所定の閾値より少ないか調べ、閾値より少ないならば高精度の文字認識系（１）１０６を選択し、閾値以上ならば高速の文字認識系（２）１０８を選択する。
【００２４】
ここで、各領域について図４に示すような文字数が検出されたとして、文字数の閾値を例えば１６とした場合、各文字認識対象領域に対する文字認識系の選択は次のようになる。領域１については、その文字数が１０であり、閾値の１６よりも少ないので、文字認識系（１）１０６が選択され、高精度の文字認識が行なわれる。領域１のような文字数の少ない領域は、キーワードとして利用される可能性が高いが、このように高精度の文字認識系を利用するため、誤認識を回避することができる。領域２と領域４については、その文字数が閾値の１６以上であるので、高速の文字認識系（２）１０８が選択され、高速の文字認識が行なわれる。このように文字数が多い領域は高速の文字認識が行われ、１文字あたりの処理時間が大きい高精度な文字認識は文字数が少ない領域に対してのみ行われるため、全体として高速の文字認識が可能である。
【００２５】
《実施例３》本発明の実施例３においては、文字認識対象領域の文字のサイズが文字認識系の選択基準として利用される。この文字のサイズは、領域内の厳密な文字のサイズである必要はなく、例えば、領域内の黒画素連結成分の幅と高さの最大値を検出し、その最大の幅と高さを持つ矩形の面積（画素数）を文字のサイズとすることができる。このような文字サイズの検出は、文字認識処理の前に容易に算出可能である。文字認識部１０４の系選択部１１０は、レイアウト解析で検出された領域内の文字サイズを選択基準として、文字認識対象領域に対する文字認識処理に用いる文字認識系の選択を行う。すなわち、文字認識対象領域の文字サイズ（画素数）が所定の閾値以上であるか調べ、閾値以上ならば高精度の文字認識系（１）１０６を選択し、閾値未満ならば高速の文字認識系（２）１０８を選択する。
【００２６】
ここで、各領域について図４に示すような文字サイズ（画素数）が検出されたとして、文字サイズの閾値を例えば１００とした場合、各文字認識対象領域に対する文字認識系の選択は次のようになる。領域１については、その文字サイズが１２８画素であり、閾値の１００画素以上であるので、文字認識系（１）１０６が選択され、高精度の文字認識が行なわれる。領域１のような文字サイズの大きな領域内の文字列は、一般にキーワードとして利用される可能性が高く誤認識を避ける必要性が高いが、高精度の文字認識系を利用することにより誤認識を回避することができる。領域２と領域４については、その文字サイズが閾値の１００画素未満であるので、高速の文字認識系（２）１０８が選択され、高速の文字認識が行なわれる。領域３は図領域であって文字認識処理の対象とならない。このように文字サイズの小さな領域は高速の文字認識が行われ、１文字あたりの処理時間が大きい高精度な文字認識は文字サイズが大きな領域に対してのみ行われるため、全体として高速の文字認識が可能である。
【００２７】
なお、文字サイズに関する閾値を、文書毎に適応的に決定してもよい。例えば、文書画像上の文字のサイズのヒストグラムを作成し、このヒストグラムに基づいて、適当な文字数に対して高精度な文字認識処理が行われるように、文字サイズに関する閾値を決定してもよい。
【００２８】
《実施例４》本発明の実施例４においては、文字認識対象領域の文字の色が、文字認識系の選択基準として利用される。一般的に、文字に特異な色の付けられている領域には、検索のためのキーワードとして利用されるような文字列が記載されている可能性が高く、その誤認識をできる限り回避したい。文字認識部１０４の系選択部１１０は、レイアウト解析で検出された領域内の文字色を選択基準として、文字認識対象領域に対する文字認識処理に用いる文字認識系の選択を行う。すなわち、文字認識対象領域の文字色が、特異な文字色であるか調べ、特異な文字色ならば高精度の文字認識系（１）１０６を選択し、特定な文字色でないならば高速の文字認識系（２）１０８を選択する。
【００２９】
ここで、各領域について図４に示すような文字色が検出されたとして、特異でない文字色を黒とした場合、各文字認識対象領域に対する文字認識系の選択は次のようになる。領域１と領域４については、その文字色が青又は緑であり、これは特異な文字色であるので、文字認識系（１）１０６が選択され、高精度の文字認識が行なわれる。特異な文字色が用いられた領域内の文字列は、キーワードとして利用される可能性が高いが、このように高精度の文字認識系を利用するため、誤認識を回避することができる。領域２については、その文字色が黒で特異な文字色ではないため、高速の文字認識系（２）１０８が選択され、高速の文字認識が行なわれる。領域３は図領域であって文字認識処理の対象とならない。このように、１文字あたりの処理時間が大きい高精度な文字認識は特異な文字色が用いられた領域に対してのみ行われ、特異でない文字色が用いられた領域に対しては高速な文字認識が行われるため、全体として高速の文字認識が可能である。
【００３０】
なお、ここでは、黒以外の色を特異な文字色としたが、特異な文字色（あるいは、特異でない文字色）を文書毎に適応的に決定してもよい。例えば、文書画像上の文字色の分布データを収集し、この分布データに基づいて、文字数の少ない１色又は複数色を特異な文字色として（あるいは、それ以外の文字色を特異でない文字色として）選び、その特異な文字色が用いられた領域に対して高精度な文字認識処理を行ってもよい。
【００３１】
《実施例５》本発明の実施例５においては、文字認識対象領域の属性、文字数、文字サイズ及び文字色の情報から、文字認識対象領域の重要度を総合的に評価し、その重要度を文字認識系の選択基準として用いる。すなわち、文字認識部１０４の系選択部１１０は、レイアウト解析部１０２から与えられた文字認識対象領域の属性、文字数、文字サイズ及び文字色から総合的に、その領域の重要度を評価し、重要度が高い場合には高精度の文字認識系（１）１０６を選択し、そうでない場合には高速の文字認識系（２）１０８を選択する。重要度の評価は、例えば、
（１）属性がタイトルならば５０点、タイトルでなければ０点
（２）文字数が２０以上ならば０点、２０未満ならば２０点
（３）文字サイズが１８級以上ならば１５点、１８級未満ならば０点
（４）文字色が黒ならば０点、黒以外ならば２０点
というように各項目のスコアを求め、４項目のスコアの合計を重要度と評価することができる。そして、その重要度（スコア合計）が例えば３５点以上ならば重要度が高いと判断する。文字数や文字サイズに関しては、計算式を用いてスコアを求めることも可能である。例えば文字サイズに関しては、その級数をＮとした場合に、そのスコアをＮとするような方法を用いてもよい。
【００３２】
なお、文字認識対象領域の属性、文字数、文字サイズ、文字色などから選択した２つ以上の項目の情報を用い、同様の方法で領域の重要度を総合的に評価して文字認識系を選択することも可能である。
【００３３】
【発明の効果】
本発明によれば、誤認識を回避したい領域には認識精度を優先した文字認識系を利用し、ある程度の誤認識が許容されるような領域に対しては処理速度を優先した文字認識系を利用するというように、個々の文字認識対象領域毎に文字認識系を使い分けることによって、認識精度と処理速度を両立させることが可能になる。例えば、文字認識結果を検索用キーワード等として利用される可能性が高いタイトル等の特定の領域や、拡大文字や特異な文字色が用いられたような領域に対しては、認識精度を優先した文字認識系を利用して所要の高い認識率を達成する一方で、それ以外の領域に対しては処理速度を優先した文字認識系を利用することにより、全体として高速処理を実現することが可能になる。
【図面の簡単な説明】
【図１】本発明による文書画像処理装置のブロック構成例を示すブロック図である。
【図２】クライアント／サーバー・システム上に構築した本発明による文書画像処理装置のブロック構成例を示すブロック図である。
【図３】文字認識系の処理速度と認識率の関係を説明する図である。
【図４】文書画像とそのレイアウト解析結果の一例を示す図である。
【図５】本発明による文書画像処理装置の処理フロー例を示すフローチャートである。
【符号の説明】
１００画像入力部
１０２レイアウト解析部
１０４文字認識部
１０６文字認識系（１）
１０８文字認識系（２）
１１０系選択部
１１２文字認識用辞書
１１４言語辞書
１１６サーバー
１１８クライアント
１２０ネットワーク

Claims

入力された文書画像をレイアウト解析して、文字認識対象領域、その他の領域に分類すると共に、文字認識対象領域について、当該文字認識対象領域を特定する情報を取得するステップと、
前記文字認識対象領域について、当該文字認識対象領域を特定する情報に基づいて、高精度で低速の第１の文字認識系あるいは低精度で高速の第２の文字認識系を選択するステップと、
前記文字認識対象領域に対して、前記選択された第１の文字認識系あるいは第２の文字認識系を適用して文字認識処理を行うステップと、
を有することを特徴とする文書画像処理方法。
文字認識対象領域を特定する情報は、タイトル、ヘッダ、本文を示す属性、文字数、文字の大きさ、あるいは文字色の情報からなり、
文字認識系を選択するステップは、文字認識対象領域の前記属性、文字数、文字の大きさ、あるいは文字色の情報に基づいて、低速だが高精度の第１の文字認識系あるいは低精度だが高速の第２の文字認識系を選択することを特徴とする請求項１記載の文書画像処理方法。
文字認識対象領域を特定する情報は、タイトル、ヘッダ、本文を示す属性、文字数、文字の大きさ、文字色の少なくとも２項目以上の情報からなり、
文字認識系を選択するステップは、文字認識対象領域の前記属性、文字数、文字の大きさ、文字色の少なくとも２項目以上の情報から当該文字認識対象領域の重要度を総合的に評価し、該評価した重要度に基づいて、低速だが高精度の第１の文字認識系あるいは低精度だが高速の第２の文字認識系を選択することを特徴とする請求項１記載の文書画像処理方法。
入力された文書画像をレイアウト解析して、文字認識対象領域、その他の領域に分類すると共に、文字認識対象領域について、当該文字認識対象領域を特定する情報を取得する手段と、
前記文字認識対象領域について、当該文字認識対象領域を特定する情報に基づいて、高精度で低速の第１の文字認識系あるいは低精度で高速の第２の文字認識系を選択する手段と、
前記文字認識対象領域に対して、前記選択された第１の文字認識系あるいは第２の文字認識系を適用して文字認識処理を行う手段と、
を有することを特徴とする文書画像処理装置。
文字認識対象領域を特定する情報は、タイトル、ヘッダ、本文を示す属性、文字数、文字の大きさ、あるいは文字色の情報からなり、
文字認識系を選択する手段は、文字認識対象領域の前記属性、文字数、文字の大きさ、あるいは文字色の情報に基づいて、低速だが高精度の第１の文字認識系あるいは低精度だが高速の第２の文字認識系を選択することを特徴とする請求項４記載の文書画像処理装置。
文字認識対象領域を特定する情報は、タイトル、ヘッダ、本文を示す属性、文字数、文字の大きさ、文字色の少なくとも２項目以上の情報からなり、
文字認識系を選択する手段は、文字認識対象領域の前記属性、文字数、文字の大きさ、文字色の少なくとも２項目以上の情報から当該文字認識対象領域の重要度を総合的に評価し、該評価した重要度に基づいて、低速だが高精度の第１の文字認識系あるいは低精度だが高速の第２の文字認識系を選択することを特徴とする請求項４記載の文書画像処理装置。
請求項１乃至３のいずれか１項に記載の文書画像処理方法の各ステップをコンピュータに実行させるためのプログラムが記録されたことを特徴とするコンピュータ読み取り可能記録媒体。