JP4869364B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

画像処理装置として、例えば画像に含まれる文字を認識する文字認識装置がある。文字認識装置において、複数の特徴量を用いて文字認識を行う技術の一つとして相互部分空間法という認識技術が提唱されている。この認識技術は１枚の文字画像の多様な特徴に着目して認識を行うものである（例えば非特許文献１参照）。

一方、文字画像には、１枚ごとに位置ずれや角度などによる変動要因が存在する。これに対応してパターン認識を行うための一つの手法として部分空間法という技術が公開されているが、その対応能力は必ずしも完全とはいえない（例えば非特許文献２参照）。

前田賢一、渡辺貞一「局所的構造を導入したパターン・マッチング法」、電子通信学会論文誌Vol.J68-D, No.3, 1985. 石井健一郎ほか「わかりやすいパターン認識」(1998)、オーム社

部分空間法では、例えば学習パターンの中に上述した変動要因が多く含まれていなければ、実用上は必ずしも大きな対応能力を発揮しないこともあり得る。また入力画像の変動が余りにも大きい場合、部分空間法といえども対応できず、認識精度が低下する。

本発明はこのような課題を解決するためになされたもので、文字画像から文字を認識する精度を向上することのできる画像処理装置および画像処理方法を提供することを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、文書画像が記憶されたメモリと、文字毎に予め準備した文字の特徴をｎ次元特徴ベクトル空間中の辞書部分空間で示したデータが格納された認識辞書と、前記メモリから読み出した文書画像に対して所定の前処理を施して文字画像を生成する前処理部と、前記前処理部より生成された文字画像に対して所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、前記パターン生成部により生成された複数の文字パターンからｍ個のｎ次元特徴ベクトルを抽出する特徴抽出部と、前記ｎ×ｍ個の特徴データから、入力部分空間を計算し、計算した前記入力部分空間を前記辞書部分空間と照合して、類似度の高い文字を前記認識辞書から選出する類似度計算部とを具備することを特徴とする。

本発明の画像処理方法は、文書画像が記憶されたメモリ、文字毎に予め準備した文字の特徴をｎ次元特徴ベクトル空間中の辞書部分空間で示したデータが格納された認識辞書、前処理部、パターン生成部、特徴抽出部、類似度計算部を有する画像処理装置による画像処理方法において、前記メモリから文書画像を前記前処理部が読み出し、読み出した前記文書画像に対して所定の前処理を施して文字画像を生成するステップと、前記文字画像に対して前記パターン生成部が所定の画像加工処理を行うことで複数の異なる文字パターンを生成するステップと、前記複数の文字パターンからｍ個のｎ次元特徴ベクトルを抽出するステップと、前記ｎ×ｍ個の特徴データから、入力部分空間を計算し、計算した前記入力部分空間を前記辞書部分空間と照合して、類似度の高い文字を前記認識辞書から選出するステップとを有することを特徴とする。

本発明によれば、文字画像から文字を認識する精度を向上することができる。

本発明の一実施形態の画像処理装置の構成を示す図である。 画像処理装置の動作を示すフローチャートである。 ４近傍ガウシアンフィルタを説明するための図である。 ８近傍ガウシアンフィルタを説明するための図である。

以下、図面を参照して、本発明の一つの実施の形態の画像処理装置を詳細に説明する。図１は画像処理装置の構成を示す図である。

図１に示すように、この実施形態の画像処理装置は、入力部１、コンピュータ２（以下「ＰＣ２」と称す）、出力部３などを有している。

入力部１は、カメラ・スキャナなどの外部入力装置であり、紙の文書(書類)からＣＣＤセンサなどにより光学的に読み取った文書画像をＰＣ２に入力する。表示部３は、例えばモニタなどの表示装置、プリンタなどの印刷装置であり、ＰＣ２から出力された認識結果のデータを出力（表示または印刷）する。

ＰＣ２は、メモリ１０、前処理部１１、パターン生成部１２、特徴抽出部１３、認識辞書１４、類似度計算部１５などを有している。これら各部はコンピュータのソフトウェアのモジュールとして実現される。なお、これら各部はハードウェアで構成しても良い。

メモリ１０は、オペレーティングシステム（ＯＳ）などのコンピュータ制御プログラムが読み込まれる領域として利用される他、上記各部の処理用の記憶領域として利用される。メモリ１０には例えば比較処理のための画像データや処理結果のデータなどが記憶される。

前処理部１１は、文字認識に使用する画像(文字画像)の部分的な切り出し、二値化、ノイズ除去、輪郭強調などの所定の前処理を行う。前処理部１１は、所定の前処理として、文字画像の部分的な切り出し、二値化、ノイズ除去、輪郭強調などのうちの少なくとも一つを行うものとする。これら個々の画像処理技術については、既知の技術のため詳細な説明は省略する。

パターン生成部１２は、前処理部１１で前処理済みの画像を拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換するなどの所定の画像加工処理を行って、元の文字画像を変動（変形または変質）させた新たな画像を生成する。パターン生成部１２は、所定の画像加工処理として、拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換のうちの少なくとも一つを行うものとする。

特徴抽出部１３は、パターン生成部１２により生成された個々の画像の特徴量（以下特徴データと称す）を抽出する。認識辞書１４には、予め複数（多く）の文字とその特徴データが対応して格納されている。

類似度計算部１５は、特徴抽出部１３により抽出された複数の特徴データと認識辞書１４に格納されている文字の特徴データとの類似度を演算により求める。演算とは、メモリ１０に記憶されている計算式（関数）にデータを入れる計算することをいう。

以下、図２のフローチャートおよび図３，図４を参照してこの画像処理装置の動作を説明する。

認識対象の文書をカメラ・スキャナなどの入力部１にセットして、デジタルカメラであれば撮影操作、またスキャナであればスキャン操作を行うと、入力部１により文書の画像が読み取られてＰＣ２へデジタル画像（これを「文書画像２１」と称す）として出力される。

入力部１から出力された文書画像２１がＰＣ２に入力されると、その文書画像２１は、前処理部１１により一旦、メモリ１０に記憶される（図２のステップＳ１０１）。

文書画像２１をメモリ１０に記憶した後、前処理部１１は、メモリ１０から文書画像２１を読み出し、読み出した文書画像２１に対して所定の前処理を施して文字画像２２を生成し（ステップＳ１０２）、メモリ１０に記憶する。所定の前処理とは、画像の部分切り出し、二値化、ノイズ除去、輪郭強調などの画像処理のうち，予め決められた処理である。

パターン生成部１２は、メモリ１０から文字画像２２を読み出し、読み出した文字画像２２（前処理済みの画像）に対して所定の画像加工処理を行うことで複数個の異なる文字パターン（図１の文字パターン２３〜２６）を生成し（ステップＳ１０３）、メモリ１０に記憶する。所定の画像加工処理とは、画像の拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換などの処理のうち予め決められた処理である。

特徴抽出部１３は、メモリ１０から複数の文字パターン２３〜２６を読み出し、読み出した文字パターン２３〜２６からそれぞれの特徴データを抽出し（ステップＳ１０４）、メモリ１０に記憶する。

類似度計算部１５は、メモリ１０から複数の特徴データを読み出し、読み出した複数の特徴データと認識辞書１４から読み出した文字２７の特徴データとを用いて類似度を計算し（ステップＳ１０５）、類似度の高い文字を認識辞書１４から選出（ステップＳ１０６）、つまりパターン認識処理を行い、認識結果の文字（テキストデータおよび認識元の文字画像２２）を表示部３へ出力し、表示部３の画面に表示する。

ここで、パターン生成部１２が行う文字パターンの生成処理（画像処理）について説明する。

パターン生成部１２は、前処理部１１で前処理済みの画像を拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換するなどの所定の画像加工処理を行って、元の文字画像２２を切り出し範囲内で変動（変形または変質）させて新たな画像を生成する。

画像拡張処理の一例として、例えば各画素について、その画素または上下左右４画素のうち１つ以上が黒ならばその画素も黒とするといった処理を行う。

画像収縮処理の一例として、例えば各画素について、その画素または上下左右４画素のうち１つ以上が白ならばその画素も白とする（収縮）といった処理を行う。

画像の回転および移動については、前処理済みの画像において座標ｘの画素値をｆ（ｘ）で表したとき、

で表されるＲｕ［ｆ］，Ｓｓ［ｆ］をそれぞれ、回転行列Ｕおよび移動量ｓをパラメータとする回転済み、または移動済み画像とすることができる。この処理によって、座標Ｕ^-1ｘ,（ｘ−ｓ）にあった黒点がｘにそれぞれ回転・平行移動する。

画像の回転については、例えば１０度刻みに９０度までといったようにして回転する。また画像の移動については、例えば前処理済画像の辺や対角線の長さを基準に、例えば１／４などといった比率を用いて移動する。

画像のぼかし、手ぶれ処理については、これらを実現する点拡がり関数（ＰＳＦ）を準備し、前処理済みの画像に畳み込み、それを再度二値化する。

ぼかしに対応するＰＳＦは、図３に示すように、中心画素とその周囲８方向に隣接する画素とを配置した９画素モデルにおいて、中心の画素を「２」としたときに、その上下左右の画素を「１」とし、斜め方向の画素を「０」とする４近傍ガウシアンフィルタがある。

また、この他、図４に示すように、中心画素とその周囲８方向に隣接する画素とを配置した９画素モデルにおいて、中心の画素を「４」としたときに、その上下左右の画素を「２」とし、斜め方向の画素を「１」とする８近傍ガウシアンフィルタなどを用いる。

手ぶれに対応するＰＳＦとしては、原点Ｏの近傍に一点Ｐを選び、

として作ることができる。ＰＳＦとして１（ｙ）を原画像ｆ（ｘ）に畳み込む処理は、

と表せる。上記ｈ（ｘ）が畳み込み処理後の画像である。

透視変換は、射影変換の名で広く知られており、一般的な射影幾何学の文献、例えば川又雄二郎「射影空間の幾何学（講座数学の考え方11）」(2001)、朝倉書店等に開示されている射影変換の技術を利用するものとする。

特徴抽出部１３が前処理済みの画像から特徴量を抽出する処理については以下に示す。

例えば、画像に前述の方法でぼかし処理を施した上で、ぼかし処理した画像を、画素値を成分とするベクトルとみなしてそのまま特徴量とする方法がある。

また、類似度計算部１５がパターン認識処理を行う方法および認識辞書１４の作成方法としては、ＣＬＡＦＩＣ法に基づいて認識辞書１４を作成した上で、複数の生成パターンの特徴量と、認識辞書１４に登録済の文字種との類似度を、相互部分空間法などを用いて計算する方法がある。

また、相互部分空間法を用いた類似度の計算方法としては、例えば特徴抽出部１３から入力された複数の特徴ベクトルｘ_１，…，Ｘ_ｍから行列

を計算し、その固有ベクトルをｕ_１，ｕ_ｍとした上で、０≦ｐ≦ｍ，０≦ｑ≦ｎとなる整数ｐ、ｑを選んだ上で、行列Ｕ_ｐ＝（ｕ_１，…ｕ_ｐ），Ｖ_ｑ＝（ｖ_１…ｖ_ｑ）を用いて定義される

の最大固有値ρ⁽¹⁾を求め、このρ⁽¹⁾を類似度とする方法がある。ただし、左肩のtは転置を表す。このときρ⁽¹⁾は、累乗法などの既存の方法を用いて計算することができる。ただし、ｖ₁ ，ｖ_n は辞書データであり、これは各文字種毎に予め準備した学習パターンｙ¹，…，ｙⁿを用いて行列

を計算し、その固有ベクトルをｖ₁ ，ｖ_n とすることで計算できる。

別の類似度計算方法として、特徴ベクトルを正規化したベクトル

から、個別類似度

を計算し、類似度統合関数σを用いて

と定まるρ⁽²⁾を類似度とすることができる。このとき、辞書の作成方法は上と同様でよい。

また類似度統合関数σの定め方としては、個別類似度のうち最大のものを選ぶ方法、個別類似度が大きい順にいくつかを選びこれを平均する方法、個別類似度全体の平均を取る方法などがある。また、選択した個別類似度に直接平均操作を施す代わりに、一度、単調増加関数を用いて個別類似度の差を強調してもよい。

そのためには、単調増加関数τを用いて、

などとする方法がある。ただし、ｒは１≦ｒ≦ｍとなる整数であり、ρ_t(s)は、ρ₁，…，ρ_mのうち大きいものからs番目の値である。さらに、τの例としては、

などが挙げられる。ただし、ρ₀ ，βは定数として適当なものを別途選ぶ。

類似度が顕著に高い文字種が存在しない場合、類似度計算部１５において、結果不明と判定し、これをリジェクトしてもよい。

このようにこの実施形態の画像処理装置によれば、認識対象の文字画像の文字（黒画素）について積極的に部分的な変動（黒画素を所定のルールでずらしたり太くしたりする等）を起こさせた複数の異なる文字パターンを生成し、これら文字パターンの特徴データの全体と認識辞書１４の特徴データとの類似度を計算する。つまり、元の文字画像からいくつかの変形文字パターンを作成した上で、それらが全体として持つ性質に着目して認識を行うので、文字認識精度を向上することができる。

なお、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。例えば各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現しても良い。
また上記プログラムを、コンピュータ読取可能なＣＤ−ＲＯＭなどの記憶媒体に記憶しておき、プログラムを記憶媒体からコンピュータに読み取らせることで実現してもよい。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現しても良い。

１…入力部、２…コンピュータ（ＰＣ）、３…表示部、１１…パターン生成部、１０…メモリ、１１…前処理部、１２…パターン生成部、１３…特徴抽出部、１４…認識辞書、１５…類似度計算部。

Claims (5)

1. 文書画像が記憶されたメモリと、
   文字毎に予め準備した文字の特徴をｎ次元特徴ベクトル空間中の辞書部分空間で示したデータが格納された認識辞書と、
   前記メモリから読み出した文書画像に対して所定の前処理を施して文字画像を生成する前処理部と、
   前記前処理部より生成された文字画像に対して所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、
   前記パターン生成部により生成された複数の文字パターンからｍ個のｎ次元特徴ベクトルを抽出する特徴抽出部と、
   前記ｎ×ｍ個の特徴ベクトルから、入力部分空間を計算し、計算した前記入力部分空間を前記辞書部分空間と照合して、類似度の高い文字を前記認識辞書から選出する類似度計算部と
   を具備することを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記前処理部は、
   所定の前処理として、前記文字画像の部分的な切り出し、二値化、ノイズ除去、輪郭強調などのうちの少なくとも一つを行うことを特徴とする。
3. 請求項１記載の画像処理装置において、
   前記パターン生成部は、
   所定の画像加工処理として、拡張・収縮・回転・移動・ぼかし・手ぶれ・透視変換のうちの少なくとも一つを行うことを特徴とする。
4. 文書画像が記憶されたメモリ、文字毎に予め準備した文字の特徴をｎ次元特徴ベクトル空間中の辞書部分空間で示したデータが格納された認識辞書、前処理部、パターン生成部、特徴抽出部、類似度計算部を有する画像処理装置による画像処理方法において、
   前記メモリから文書画像を前記前処理部が読み出し、読み出した前記文書画像に対して所定の前処理を施して文字画像を生成するステップと、
   前記文字画像に対して前記パターン生成部が所定の画像加工処理を行うことで複数の異なる文字パターンを生成するステップと、
   前記複数の文字パターンからｍ個のｎ次元特徴ベクトルを抽出するステップと、
   前記ｎ×ｍ個の特徴の特徴ベクトルから、入力部分空間を計算し、計算した前記入力部分空間を前記辞書部分空間と照合して、類似度の高い文字を前記認識辞書から選出するステップと
   を有することを特徴とする画像処理方法。
5. 文書画像が記憶されたメモリと、
   文字とその特徴データが対応して格納された認識辞書と、
   前記メモリから読み出した文書画像に対して所定の前処理を施して文字画像を生成する前処理部と、
   前記前処理部より生成された文字画像に対して所定の画像加工処理を行うことで複数の異なる文字パターンを生成するパターン生成部と、
   前記パターン生成部により生成された複数の文字パターンからｎ×ｍ個の特徴データを抽出する特徴抽出部と、
   前記ｎ×ｍ個の特徴データをｎ個ずつ組にして前記認識辞書の特徴データと照合してｍ個の個別類似度を算出し、前記個別類似度を類似度統合関数を用いて統合して前記認識辞書の特徴データとの類似度を算出し、前記類似度の高い文字を前記認識辞書から選出する類似度計算部と
   を具備することを特徴とする画像処理装置。

Images