JP5476884B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

文書の画像を用いて、その文書の種別を判定することが行われている。
これに関連する技術として、例えば、特許文献１には、帳票の種類を示すマークや記号の印刷を不要とし、イメージデータの伸縮を許容する帳票書式を識別するための帳票書式識別情報及び装置を提供することを目的とし、帳票データの基準となる罫線間隔を求め、該各罫線間隔を基準罫線間隔との比率で置き換えて正規化した結果を登録する書式情報登録手段と、入力データの基準となる罫線間隔を求め、各罫線間隔を基準罫線間隔との比率で置き換えて入力書式情報とする入力書式情報生成手段と、登録書式情報と入力書式情報とを照合し、入力データが登録書式情報中のどの書式であるかを識別する書式識別手段とを有することが開示されている。

また、例えば、特許文献２には、類似した表や手書き文字等外乱を含む表、罫線の切れた表、歪んだり傾いた表、拡大・縮小された表に対しても高精度の表照合を行い、文字読取領域位置を正確に算出する表を含む帳票処理装置を提供することを目的とし、表を含む帳票処理装置が罫線抽出手段、表構造解析手段、表フォーマットデータベース、表照合手段、フィールド位置探索手段、結果表示手段で構成され、罫線抽出手段では表を含む帳票が読み取られ、読み取った画像中の表領域に含まれる罫線が抽出され、表構造解析手段では抽出された罫線から表フォーマットが作成され、表フォーマットデータベースでは表フォーマットが格納され、表照合手段では前記罫線と表フォーマットとが照合され、フィールド位置探索手段では画像上の文字読取領域位置が算出され、結果表示手段では表照合結果及びフィールド位置探索結果が出力されることが開示されている。

また、例えば、特許文献３には、文字認識用ではない帳票であっても安定した仮想ページマークを生成し、安定した帳票の識別が可能な技術を提供することを課題とし、仮想ページマークの検出にあたって、帳票の中で安定して検出できるキー線分を予め定義し、このキー線分をベースに仮想ページマーク（外接矩形）を生成し、また、キー線分の検出には冗長性を持たせ、汚れ、欠け等によってキー線分が検出できなかった場合であっても代替線分を定義してこの代替線分をベースに仮想ページマークを生成し、選択するキー線分は（１）帳票のかすれに耐えられる太さを持つ線分であること、（２）帳票周囲から十分な距離を持った位置にあり、スキューや帳票端の欠けにも安定な線分であること、（３）帳票の原紙の折り目と重ならない線分であること、の条件に合致するものとすることが開示されている。

特開平０８−３１５０６８号公報 特開平０７−２８２１９３号公報 特開２００２−３６６８９５号公報

本発明は、記入が行われている文書の種別を判定するための前処理であって、文書の種別判定のための特徴量の抽出を行うようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、記入が行われていない文書の画像を受け付ける第１の画像受付手段と、前記第１の画像受付手段によって受け付けられた画像から記入領域を抽出する第１の記入領域抽出手段と、前記第１の画像受付手段によって受け付けられた画像の特徴量を抽出する第１の特徴量抽出手段と、前記第１の記入領域抽出手段によって抽出された記入領域に関する情報と前記特徴量抽出手段によって抽出された特徴量を記憶する記憶手段を具備し、前記第１の記入領域抽出手段は、前記第１の画像受付手段によって受け付けられた画像を、当該画像中の１文字ずつに該当する画素塊の大きさの平均値のブロックに分割し、該ブロック内に黒画素があるか否かを判定し、黒画素がない隣接するブロックを統合して、統合結果が矩形領域となるように記入領域を抽出することを特徴とする画像処理装置である。

請求項２の発明は、記入が行われた文書の画像を受け付ける第２の画像受付手段と、前記記憶手段に記憶されている記入領域に関する情報に基づいて、前記第２の画像受付手段によって受け付けられた画像から該記入領域を削除する記入領域削除手段と、前記記入領域削除手段によって削除された画像から特徴量を抽出する第２の特徴量抽出手段と、前記第２の特徴量抽出手段によって抽出された特徴量と前記記憶手段に記憶されている特徴量を比較して、前記第２の画像受付手段によって受け付けられた文書の種別を判定する判定手段を具備することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、記入が行われた文書の画像を受け付ける第３の画像受付手段と、前記記憶手段に記憶されている記入領域に関する情報に基づいて、前記第３の画像受付手段によって受け付けられた画像から該記入領域を抽出する第２の記入領域抽出手段と、前記第２の記入領域抽出手段によって抽出された記入領域を順序付けする順序付手段と、前記順序付手段によって順序付けされた記入領域を出力する出力手段を具備することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４の発明は、前記第２の記入領域抽出手段は、前記判定手段によって判定された文書の種別に基づいて、前記記憶手段に記憶されている記入領域に関する情報を取り出し、該記入領域を抽出することを特徴とする、請求項２に従属する請求項３に記載の画像処理装置である。

請求項５の発明は、コンピュータを、記入が行われていない文書の画像を受け付ける第１の画像受付手段と、前記第１の画像受付手段によって受け付けられた画像から記入領域を抽出する第１の記入領域抽出手段と、前記第１の画像受付手段によって受け付けられた画像の特徴量を抽出する第１の特徴量抽出手段と、前記第１の記入領域抽出手段によって抽出された記入領域に関する情報と前記特徴量抽出手段によって抽出された特徴量を記憶する記憶手段として機能させ、前記第１の記入領域抽出手段は、前記第１の画像受付手段によって受け付けられた画像を、当該画像中の１文字ずつに該当する画素塊の大きさの平均値のブロックに分割し、該ブロック内に黒画素があるか否かを判定し、黒画素がない隣接するブロックを統合して、統合結果が矩形領域となるように記入領域を抽出することを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、記入が行われている文書の種別を判定するための前処理であって、文書の種別判定のための特徴量の抽出を行うことができる。

請求項２の画像処理装置によれば、記入が行われた文書の画像であっても、その文書の種別を判定することができる。

請求項３の画像処理装置によれば、順序付けされた記入領域を出力することができる。

請求項４の画像処理装置によれば、不要な記入領域の抽出を抑制することができる。

請求項５の画像処理プログラムによれば、記入が行われている文書の種別を判定するための前処理であって、文書の種別判定のための特徴量の抽出を行うことができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 帳票特徴テーブルのデータ構造例を示す説明図である。 記入領域テーブルのデータ構造例を示す説明図である。 登録モジュールが行う処理例を示すフローチャートである。 帳票フォーム判定モジュールが行う処理例を示すフローチャートである。 記入領域出力モジュールが行う処理例を示すフローチャートである。 登録モジュールが行う処理例（１）を示す説明図である。 登録モジュールが行う処理例（１）を示す説明図である。 登録モジュールが行う処理例（２）を示す説明図である。 登録モジュールの対象画像と記入領域の例を示す説明図である。 帳票フォーム判定モジュールが行う処理例を示す説明図である。 記入領域出力モジュールが行う処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。

本実施の形態である画像処理装置は、図１に例示するように、登録モジュール１１０、帳票フォーム判定モジュール１３０、記入領域出力モジュール１５０を有している。
登録モジュール１１０は、画像受付モジュール１１２、記憶モジュール１１４、記入領域抽出モジュール１１６、特徴量抽出モジュール１１８を有している。

画像受付モジュール１１２は、文書の画像を受け付ける。画像を受け付けるとは、例えば、スキャナ、カメラ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値画像、多値画像（カラー画像を含む）であってもよい。なお、以下の説明においては、２値画像を例示して説明する。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。

また、画像の内容として、ビジネスに用いられる文書等であってもよい。ただし、記入が行われていない文書、記入が行われた文書を対象とする。記入が行われていない文書とは、書式が予め定められた文書であって、利用者による記入が行われるべきものであるが、その記入が未だ行われていない状態であるものをいう。いわゆるフォーム、テンプレート、ひな型といわれる文書であり、例えば、請求書、申請書等の書面である帳票等がある。以下、文書として帳票を用いて説明する。記入が行われた文書とは、記入が行われていない文書に対して利用者が記入したものである。なお、この記入は手書きであってもよいし、手書き以外の記入、例えば、記入が行われていない文書の文書データを用いてテキストデータ等を記入したものであってもよい。登録モジュール１１０における画像受付モジュール１１２は、記入が行われていない文書を受け取り、帳票フォーム判定モジュール１３０、記入領域出力モジュール１５０における画像受付モジュール１１２は、記入が行われた文書を受け取る。

記入領域抽出モジュール１１６は、画像受付モジュール１１２によって受け付けられた画像から記入領域を抽出する。そして、抽出した記入領域に関する情報を記憶モジュール１１４に記憶させる。記入領域とは、利用者によって記入が予定されている領域であって、物理的には、フォームの画像において予め定められた面積以上の空白領域である。記入領域抽出モジュール１１６は、この特徴を有する領域を抽出する。また、利用者によって空白領域から選択されたものであってもよい。なお、空白領域には、予め定められた値以下の濃度である領域を含めてもよい。
また、記入領域抽出モジュール１１６は、その記入領域の順序を決定してもよい。例えば、横書きの文書の場合、その記入領域の順序が左から右へ、上から下へとなるようにする。そのために、例えば、座標系として、画像の左上角を原点として、右方向へＸ座標の正方向、下方向にＹ座標の正方向としたものを用い、記入領域の左上角の座標を代表座標として説明する。代表座標が画像の左上にある記入領域を１番とし、その記入領域の代表座標のＹ座標と予め定められた範囲内にある記入領域を順に左から右へ（Ｘ座標順に）整列し、さらに、前述の範囲外にあり、残りの画像で代表座標が左上にある記入領域を次の順番とし、同様に順序付けを行うようにしてもよい。また、縦書きの文書の場合は、その記入領域の順序が上から下へ、右から左へとなるように、同等の処理を行う。

特徴量抽出モジュール１１８は、画像受付モジュール１１２によって受け付けられた画像の特徴量を抽出する。そして、抽出した特徴量を記憶モジュール１１４に記憶させる。その抽出した特徴量は、後に、帳票フォーム判定モジュール１３０が、文書の種別を判定するのに用いられるものである。文書の種別とは、例えば、帳票のフォームの種別のことである。例えば、画素塊の数、サイズ、分布（座標）等である。ここで、画素塊とは、４連結又は８連結で連続する画素領域を少なくとも含み、これらの画素領域の集合をも含む。これらの画素領域の集合とは、４連結等で連続した画素領域が複数あり、その複数の画素領域は近傍にあるものをいう。ここで、近傍にあるものとは、例えば、互いの画素領域が距離的に近いもの、文章としての１行から１文字ずつ切り出すように縦又は横方向に射影し、空白地点で切り出した画像領域、又は一定間隔で切り出した画像領域等がある。
なお、１つの画素塊として、１文字の画像となる場合が多い。したがって、画素塊の数は文字の数、画素塊の分布は文字の分布に該当することになる。ただし、実際に人間が文字として認識できる画素領域である必要はない。文字の一部分、文字を形成しない画素領域等もあり、何らかの画素の塊であればよい。

記憶モジュール１１４は、記入領域抽出モジュール１１６によって抽出された記入領域に関する情報と特徴量抽出モジュール１１８によって抽出された特徴量を記憶する。
記入領域抽出モジュール１１６によって抽出された記入領域に関する情報としては、例えば、記入領域テーブル３００がある。図３は、記入領域テーブル３００のデータ構造例を示す説明図である。記入領域テーブル３００は、文書として帳票を例示した場合であり、帳票ＩＤ欄３１０、記入領域ＩＤ欄３２０、記入領域位置欄３３０、記入領域サイズ欄３４０、順序欄３５０を有している。
帳票ＩＤ欄３１０は、その帳票を一意に識別する帳票ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶する。
記入領域ＩＤ欄３２０は、その帳票内における記入領域を一意に識別する記入領域ＩＤを記憶する。
記入領域位置欄３３０は、その記入領域の予め定められた位置（例えば左上角の座標）を記憶する。記入領域位置欄３３０は、Ｘ欄３３１、Ｙ欄３３２を有している。Ｘ欄３３１は、Ｘ座標を記憶する。Ｙ欄３３２は、Ｙ座標を記憶する。
記入領域サイズ欄３４０は、その記入領域のサイズを記憶する。記入領域サイズ欄３４０は、Ｗ欄３４１、Ｈ欄３４２を有している。Ｗ欄３４１は、その記入領域の幅を記憶する。Ｈ欄３４２は、その記入領域の高さを記憶する。
順序欄３５０は、その記入領域の順序を記憶する。

特徴量抽出モジュール１１８によって抽出された特徴量としては、例えば、帳票特徴テーブル２００がある。図２は、帳票特徴テーブル２００のデータ構造例を示す説明図である。帳票特徴テーブル２００は、文書として帳票を例示した場合であり、帳票ＩＤ欄２１０、帳票名欄２２０、サムネイル画像欄２３０、画像欄２４０、特徴量Ａ欄２５０、特徴量Ｂ欄２５２、特徴量Ｃ欄２５４等を有している。
帳票ＩＤ欄２１０は、帳票ＩＤを記憶する。
帳票名欄２２０は、その帳票の名称を記憶する。
サムネイル画像欄２３０は、その帳票画像のサムネイル画像（縮小画像）又はそのサムネイルが記憶されている位置（ファイル名、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）等）を記憶する。
画像欄２４０は、その帳票画像又はその帳票画像が記憶されている位置を記憶する。
特徴量Ａ欄２５０、２５２、２５４等は、その帳票画像の特徴量を記憶する。

帳票フォーム判定モジュール１３０は、画像受付モジュール１１２、記憶モジュール１１４、記入領域削除モジュール１３２、特徴量抽出モジュール１３４、フォーム判定モジュール１３６を有している。
記入領域削除モジュール１３２は、記憶モジュール１１４に記憶されている記入領域に関する情報に基づいて、画像受付モジュール１１２によって受け付けられた画像からその記入領域を削除する。つまり、記入が施された帳票から記入領域を削除（空白に）して、その帳票のフォームの状態にするものである。ただし、帳票フォーム判定モジュール１３０の画像受付モジュール１１２によって受け付けられた帳票の画像は、どのフォームであるのかは、この時点では不明であるので、記入領域テーブル３００内の帳票毎にこの削除処理を行う。

特徴量抽出モジュール１３４は、記入領域削除モジュール１３２によって削除された画像から特徴量を抽出する。登録モジュール１１０の特徴量抽出モジュール１１８と同等の特徴量抽出を行う。したがって、登録モジュール１１０と帳票フォーム判定モジュール１３０の間で、特徴量抽出モジュール１１８（１３４）を共有して用いてもよい。

フォーム判定モジュール１３６は、特徴量抽出モジュール１３４によって抽出された特徴量と記憶モジュール１１４に記憶されている特徴量を比較して、画像受付モジュール１１２によって受け付けられた文書の種別を判定する。文書の種別を判定するとは、記憶モジュール１１４に記憶されている特徴量に対応する文書とのマッチングを図ることである。つまり、帳票フォームの特徴量と、帳票フォーム判定モジュール１３０の画像受付モジュール１１２が受け付けた帳票の画像が、その帳票フォームに記入されたものだとした場合に、記入領域を削除した画像の特徴量とを比較する。
また、判定には、１つを選び出すことの他に、複数の候補を抽出すること、その認識の信頼度の高い候補から順に並べること等が含まれる。なお、このように判定の補充的なものも含み、最終的に利用者によって選択、確認等されてもよい。例えば、具体的には、比較した結果、その差分が予め定められた値以下である場合は、その帳票ＩＤを記入された帳票画像のフォームであると認識してもよい。また、その差分が小さい順（一致度が高い順）に、ディスプレイ等の表示装置にその帳票フォームのサムネイル（帳票特徴テーブル２００のサムネイル画像欄２３０）を提示し、利用者の操作に応じて選択してもよい。

記入領域出力モジュール１５０は、画像受付モジュール１１２、記憶モジュール１１４、記入領域抽出モジュール１５２、順序付モジュール１５４、出力モジュール１５６を有している。
記入領域抽出モジュール１５２は、記憶モジュール１１４に記憶されている記入領域に関する情報に基づいて、画像受付モジュール１１２によって受け付けられた画像からその記入領域を抽出する。記入領域削除モジュール１３２とは逆の処理を行うものである。また、記入領域抽出モジュール１５２は、フォーム判定モジュール１３６によって判定された文書の種別に基づいて、記憶モジュール１１４に記憶されている記入領域に関する情報を取り出し、その記入領域を抽出するようにしてもよい。つまり、帳票フォーム判定モジュール１３０による処理が終了した後に、記入領域出力モジュール１５０の処理を行うものである。

順序付モジュール１５４は、記入領域抽出モジュール１５２によって抽出された記入領域を順序付けする。つまり、記入領域テーブル３００の順序欄３５０を用いて、記入領域を順序付けする。
出力モジュール１５６は、順序付モジュール１５４によって順序付けされた記入領域を出力する。記入領域を出力するとは、例えば、文字認識装置へその記入領域を渡すこと、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること、ファックス等の画像送信装置で画像を送信すること、画像データベース等の画像記憶装置へ画像を書き込むこと、メモリーカード等の記憶媒体に記憶すること、他の情報処理装置へ渡すこと等が含まれる。

図４は、登録モジュール１１０が行う処理例を示すフローチャートである。
ステップＳ４００では、登録モジュール１１０が、登録処理を開始する。
ステップＳ４０２では、画像受付モジュール１１２が、未記入帳票（フォーム）を読み込む。
ステップＳ４０４では、記入領域抽出モジュール１１６が、空白領域（記入領域）を抽出する。空白領域の第１の抽出処理例として、図７、８の例を用いて説明する。

図７、図８は、記入領域抽出モジュール１１６が行う処理例（１）を示す説明図である。
図７（ａ）に例示する帳票画像（フォーム）７００は、ステップＳ４０２で読み込まれた画像である。申請書という帳票のフォームであり、各項目名称は記載されているが、記入はされていない。
記入領域抽出モジュール１１６は、帳票画像（フォーム）７００の横方向に計数した黒画素のヒストグラムである投影結果７１０を生成する。そして、投影結果７１０の谷部分（横方向に黒画素が予め定められた値以下の部分）の中間で帳票画像（フォーム）７００を分割する。つまり、図７（ｂ）に例示するように、帳票画像（フォーム）７００を、分割点７２１と分割点７２２とを結ぶ線、分割点７２３と分割点７２４とを結ぶ線、分割点７２５と分割点７２６とを結ぶ線、分割点７２７と分割点７２８とを結ぶ線、分割点７２９と分割点７３０とを結ぶ線で区切って、６つの領域に分割する。そして、それぞれの領域で縦方向に計数した黒画素のヒストグラムである投影結果７１１から投影結果７１６を生成する（図７（ｃ）参照）。

次に、縦方向に計数した黒画素のヒストグラムである投影結果７１１等の山部分（縦方向に黒画素が予め定められた値以上の部分）を囲むように、各領域を分割する。山部分を囲む領域とは、予め定められた値のマージンを取り、画素塊を囲むようにするものである。つまり、図８（ｄ）に例示するように、例えば、分割点７３１、７３２、７３４、７３５によって囲まれる領域（画素塊である「請求書」という文字を囲む領域）、分割点７２１、７３３、７２３、７３６によって囲まれる領域（画素塊である「日付」という文字を囲む領域）等を生成する。そして、それ以外の領域を空白領域として抽出する。つまり、例えば、帳票画像（フォーム）７００の左上角、分割点７３１、７２１、７３３によって囲まれる領域（図８（ｅ）に例示する記入領域候補７５１）、分割点７３２、帳票画像（フォーム）７００の右上角、分割点７３５、７２２によって囲まれる領域（図８（ｅ）に例示する記入領域候補７５２）、分割点７３３、７２２、７３６、７２４によって囲まれる領域（図８（ｅ）に例示する記入領域候補７５３）等である。

次に、空白領域の第２の抽出処理例として、図９を用いて説明する。
図９（ａ）に例示する帳票画像（フォーム）８００は、ステップＳ４０２で読み込まれた画像である。図７（ａ）に例示した帳票画像（フォーム）７００と同じものである。
記入領域抽出モジュール１１６は、帳票画像（フォーム）８００を予め定められたサイズのブロックに分割する。ここで、予め定められたサイズとしては、例えば、帳票画像（フォーム）８００内の画素塊のサイズを算出し、その平均サイズに基づいた値のサイズを採用するようにしてもよい。
そして、各ブロック内に黒画素があるか否かを判定する。図９（ｂ）に例示するものは、黒画素がないブロックには斜線をひき、黒画素があるブロックはそのままにしているものである。
次に、黒画素がないブロックを統合して、空白領域を抽出する。例えば、図９（ｃ）に例示するように、黒画素がないブロックで隣接するもの同士を統合して、その統合結果が矩形となるようにして、空白領域を抽出する。ただし、画素塊を囲むのに必要なブロックを統合したサイズ（横書き文書の場合は、その統合したブロック群の高さであり、縦書き文書の場合は、その統合したブロック群の幅）に応じて、空白領域を抽出する。例えば、図９（ｃ）に例示するように、記入領域候補８５６、８５７、８５８は、左側にある画素塊である「住所」、「金額」、「備考」という文字を囲むブロック群（２×２）の高さに応じて抽出したものである。

ステップＳ４０６では、記入領域抽出モジュール１１６が、利用者の操作に応じて、抽出した領域から不要な領域を削除する。ステップＳ４０４で抽出した空白領域を登録モジュール１１０のディスプレイ等の表示装置に表示し、利用者が不要な領域（記入領域ではない空白領域）を選択して、その選択した領域を削除する。例えば、図８（ｅ）に例示した記入領域候補７５１、７５２が削除対象の領域として選択され得る。
ステップＳ４０８では、記入領域抽出モジュール１１６が、抽出した領域（ステップＳ４０６で削除された領域以外の領域）を確定記入領域として記憶モジュール１１４（記入領域テーブル３００）に保存する。また、ステップＳ４０４で抽出した空白領域を記入領域テーブル３００に記憶してもよい。その場合、記入領域テーブル３００に有効領域情報（フラグ）を記憶する欄を付加して、確定記入領域に対応する、その欄にフラグを立てるようにしてもよい。つまり、その欄のフラグが立っている空白領域を確定記入領域として扱うようにする。

ステップＳ４１０では、記入領域抽出モジュール１１６が、読み取り画像をプレビュー用に記憶モジュール１１４（帳票特徴テーブル２００）に保存する。また、サムネイル画像を保存してもよい。
ステップＳ４１２では、特徴量抽出モジュール１１８が、未記入帳票の特徴量を抽出し、記憶モジュール１１４（帳票特徴テーブル２００）に保存する。
ステップＳ４９９では、登録モジュール１１０が、登録処理を終了する。

前述の記入領域抽出例では、罫線のない帳票（図１０（ａ）に例示する帳票画像（罫線なしフォーム）９００）で説明したが、罫線のある帳票（図１０（ｂ）に例示する帳票画像（罫線ありフォーム）９１０）を対象としてもよい。その場合、罫線によって囲まれた領域を取り出し、その領域内で、図７（ｃ）以降の処理で示したような処理を行うことによって、空白領域（図１０（ｃ）に例示する記入領域９５１から記入領域９５８）を抽出するようにしてもよい。

図５は、帳票フォーム判定モジュール１３０が行う処理例を示すフローチャートである。
ステップＳ５００では、帳票フォーム判定モジュール１３０が、フォーム判定処理を開始する。
ステップＳ５０２では、画像受付モジュール１１２が、記入された帳票を読み込む。
ステップＳ５０４では、記入領域削除モジュール１３２が、記憶モジュール１１４内に一致度を計算していない登録帳票があるか否かを判断する。ある場合はステップＳ５０６へ進み、それ以外の場合はステップＳ５１４へ進む。

ステップＳ５０６では、記入領域削除モジュール１３２が、登録帳票の確定記入領域のマスク画像を作成する。つまり、ステップＳ５０２で読み込まれた画像と同じサイズの空画像を用意し、記憶モジュール１１４内の記入領域テーブル３００に記憶されている確定記入領域の情報（記入領域位置欄３３０、記入領域サイズ欄３４０）を用いて、その確定記入領域に該当する空画像の領域内を黒画素で埋めた画像をマスク画像として作成する。

ステップＳ５０８では、記入領域削除モジュール１３２が、記入済み画像と反転マスク画像を合成する。まず、ステップＳ５０６で作成されたマスク画像を反転する。つまり、黒画素を白画素にし、白画素を黒画素にする。そして、ステップＳ５０２で読み込まれた画像と、反転したマスク画像との論理積（ＡＮＤ）をとる。これによって、その登録帳票における記入領域が削除された画像が生成される。この合成処理について図１１の例を用いて説明する。

図１１は、帳票フォーム判定モジュール１３０が行う処理例を示す説明図である。
図１１（ａ）に例示する帳票画像（記入あり）１０００は、ステップＳ５０２で読み込まれた画像である。申請書という帳票のフォームに記入が施された画像である。
図１１（ｂ）に例示する記入領域９５１から記入領域９５８は、フォーム判定された帳票の記入領域に基づいて作成されたマスク画像である。そして、このマスク画像を反転した反転マスク画像を生成する。
図１１（ｃ）に例示する帳票画像（記入領域削除）１０３０は、図１１（ａ）の帳票画像（記入あり）１０００と図１１（ｂ）のマスク画像を反転させた反転マスク画像とを合成した結果の画像である。つまり、記入領域が削除された画像が生成される。

ステップＳ５１０では、特徴量抽出モジュール１３４が、ステップＳ５０８で合成された画像から特徴量を抽出する。
ステップＳ５１２では、特徴量抽出モジュール１３４が、２つの特徴量（記憶モジュール１１４の帳票特徴テーブル２００内の特徴量とステップＳ５１０で抽出された特徴量）の一致度を計算し、記憶する。例えば、それぞれの特徴量を比較した差異の逆数を一致度とする。
ステップＳ５１４では、フォーム判定モジュール１３６が、一致度の高い帳票から順に提示する。つまり、ステップＳ５０２で読み込まれた画像に類似する記憶モジュール１１４（帳票特徴テーブル２００のサムネイル画像欄２３０又は画像欄２４０）内の登録帳票（フォーム）を類似する順に、帳票フォーム判定モジュール１３０のディスプレイ等の表示装置に表示する。そして、利用者の操作に応じて、登録帳票（フォーム）を確定してもよい。
ステップＳ５９９では、帳票フォーム判定モジュール１３０が、フォーム判定処理を終了する。

図６は、記入領域出力モジュール１５０が行う処理例を示すフローチャートである。このフローチャートは、図５に例示する処理が終了した後に行うものである。
ステップＳ６００では、記入領域出力モジュール１５０が、記入領域の抽出処理を開始する。
ステップＳ６０２では、記入領域抽出モジュール１５２が、フォーム判定モジュール１３６によるフォーム判定結果を用いて、該当帳票の確定記入領域のマスク画像を作成する。つまり、ステップＳ５０２で読み込まれた画像と同じサイズの空画像を用意し、記憶モジュール１１４内の記入領域テーブル３００に記憶されている該当帳票の確定記入領域の情報（記入領域位置欄３３０、記入領域サイズ欄３４０）を用いて、その確定記入領域に該当する空画像の領域内を黒画素で埋めた画像をマスク画像として作成する。

ステップＳ６０４では、記入領域抽出モジュール１５２が、記入済み画像とマスク画像を合成する。ステップＳ５０２で読み込まれた画像と、マスク画像との論理積（ＡＮＤ）をとる。これによって、その登録帳票における記入領域だけの画像が生成される。この合成処理について図１２の例を用いて説明する。

図１２は、記入領域出力モジュール１５０が行う処理例を示す説明図である。
図１２（ａ）に例示する帳票画像（記入あり）１０００は、ステップＳ５０２で読み込まれた画像である。
図１２（ｂ）に例示する記入領域９５１から記入領域９５８は、フォーム判定された帳票の記入領域に基づいて作成されたマスク画像である。
図１２（ｃ）に例示する帳票画像（記入領域）１１３０は、図１２（ａ）の帳票画像（記入あり）１０００と図１２（ｂ）のマスク画像とを合成した結果の画像である。つまり、記入領域だけが残された画像が生成される。

ステップＳ６０６では、順序付モジュール１５４が、記憶モジュール１１４内の順序付けの情報（記入領域テーブル３００の順序欄３５０）に基づいて、記入領域の順序付けを行う。
ステップＳ６０８では、出力モジュール１５６が、順序付けされた記入領域を出力する。
ステップＳ６９９では、記入領域出力モジュール１５０が記入領域の抽出処理を終了する。

図１３を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１３に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１３１７と、プリンタなどのデータ出力部１３１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３０１は、前述の実施の形態において説明した各種のモジュール、すなわち、記入領域抽出モジュール１１６、特徴量抽出モジュール１１８、記入領域削除モジュール１３２、特徴量抽出モジュール１３４、フォーム判定モジュール１３６、記入領域抽出モジュール１５２、順序付モジュール１５４等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３０２は、ＣＰＵ１３０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３０３は、ＣＰＵ１３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１３０４により相互に接続されている。

ホストバス１３０４は、ブリッジ１３０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１３０６に接続されている。

キーボード１３０８、マウス等のポインティングデバイス１３０９は、操作者により操作される入力デバイスである。ディスプレイ１３１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１３１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１３０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けた画像、サムネイル画像、帳票特徴テーブル２００、記入領域テーブル３００などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１３１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１３１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１３０７、外部バス１３０６、ブリッジ１３０５、及びホストバス１３０４を介して接続されているＲＡＭ１３０３に供給する。リムーバブル記録媒体１３１３も、ハードディスクと同等のデータ記録領域として利用可能である。

接続ポート１３１４は、外部接続機器１３１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１３１４は、インタフェース１３０７、及び外部バス１３０６、ブリッジ１３０５、ホストバス１３０４等を介してＣＰＵ１３０１等に接続されている。通信部１３１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１３１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１３１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１３に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１３に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１３に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

前述の実施の形態においては、登録モジュール１１０、帳票フォーム判定モジュール１３０、記入領域出力モジュール１５０が１つの筐体（画像処理装置）にある場合を示したが、それぞれを異なる筐体に設置してもよい。その場合、画像受付モジュール１１２はそれぞれの筐体に備えられる。そして、記憶モジュール１１４をそれぞれの筐体に備える場合は、その記憶する内容は、通信手段等を介して同等のものとするための複写モジュールを有している。また、記憶モジュール１１４は、いずれか１つ以上の筐体又は別の記憶装置に備えてもよいが、他の筐体から通信手段等を介して利用できるようにしてもよい。なお、登録モジュール１１０、帳票フォーム判定モジュール１３０、記入領域出力モジュール１５０の２つ以上の組み合わせ（例えば、帳票フォーム判定モジュール１３０と記入領域出力モジュール１５０）を１つの筐体に設置してもよい。
なお、各モジュールの処理内容として背景技術で説明した技術を採用してもよい。
また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１１０…登録モジュール
１１２…画像受付モジュール
１１４…記憶モジュール
１１６…記入領域抽出モジュール
１１８…特徴量抽出モジュール
１３０…帳票フォーム判定モジュール
１３２…記入領域削除モジュール
１３４…特徴量抽出モジュール
１３６…フォーム判定モジュール
１５０…記入領域出力モジュール
１５２…記入領域抽出モジュール
１５４…順序付モジュール
１５６…出力モジュール

Claims (5)

1. 記入が行われていない文書の画像を受け付ける第１の画像受付手段と、
   前記第１の画像受付手段によって受け付けられた画像から記入領域を抽出する第１の記入領域抽出手段と、
   前記第１の画像受付手段によって受け付けられた画像の特徴量を抽出する第１の特徴量抽出手段と、
   前記第１の記入領域抽出手段によって抽出された記入領域に関する情報と前記特徴量抽出手段によって抽出された特徴量を記憶する記憶手段
   を具備し、
   前記第１の記入領域抽出手段は、前記第１の画像受付手段によって受け付けられた画像を、当該画像中の１文字ずつに該当する画素塊の大きさの平均値のブロックに分割し、該ブロック内に黒画素があるか否かを判定し、黒画素がない隣接するブロックを統合して、統合結果が矩形領域となるように記入領域を抽出する
   ことを特徴とする画像処理装置。
2. 記入が行われた文書の画像を受け付ける第２の画像受付手段と、
   前記記憶手段に記憶されている記入領域に関する情報に基づいて、前記第２の画像受付手段によって受け付けられた画像から該記入領域を削除する記入領域削除手段と、
   前記記入領域削除手段によって削除された画像から特徴量を抽出する第２の特徴量抽出手段と、
   前記第２の特徴量抽出手段によって抽出された特徴量と前記記憶手段に記憶されている特徴量を比較して、前記第２の画像受付手段によって受け付けられた文書の種別を判定する判定手段
   を具備することを特徴とする請求項１に記載の画像処理装置。
3. 記入が行われた文書の画像を受け付ける第３の画像受付手段と、
   前記記憶手段に記憶されている記入領域に関する情報に基づいて、前記第３の画像受付手段によって受け付けられた画像から該記入領域を抽出する第２の記入領域抽出手段と、
   前記第２の記入領域抽出手段によって抽出された記入領域を順序付けする順序付手段と、
   前記順序付手段によって順序付けされた記入領域を出力する出力手段
   を具備することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の記入領域抽出手段は、前記判定手段によって判定された文書の種別に基づいて、前記記憶手段に記憶されている記入領域に関する情報を取り出し、該記入領域を抽出する
   ことを特徴とする、請求項２に従属する請求項３に記載の画像処理装置。
5. コンピュータを、
   記入が行われていない文書の画像を受け付ける第１の画像受付手段と、
   前記第１の画像受付手段によって受け付けられた画像から記入領域を抽出する第１の記入領域抽出手段と、
   前記第１の画像受付手段によって受け付けられた画像の特徴量を抽出する第１の特徴量抽出手段と、
   前記第１の記入領域抽出手段によって抽出された記入領域に関する情報と前記特徴量抽出手段によって抽出された特徴量を記憶する記憶手段
   として機能させ、
   前記第１の記入領域抽出手段は、前記第１の画像受付手段によって受け付けられた画像を、当該画像中の１文字ずつに該当する画素塊の大きさの平均値のブロックに分割し、該ブロック内に黒画素があるか否かを判定し、黒画素がない隣接するブロックを統合して、統合結果が矩形領域となるように記入領域を抽出する
   ことを特徴とする画像処理プログラム。

Images