JP4645186B2

JP4645186B2 - 画像処理装置

Info

Publication number: JP4645186B2
Application number: JP2004371529A
Authority: JP
Inventors: 俊哉小山
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-12-22
Filing date: 2004-12-22
Publication date: 2011-03-09
Anticipated expiration: 2024-12-22
Also published as: JP2006178753A

Description

本発明は、画像処理装置に係り、特に、入力された文書画像からタイトルやキーワードなどの文字列からなるインデックスを抽出する画像処理装置に関する。

従来、入力された文書画像をファイリングシステムなどに登録する際に、後で行われる文書画像の検索を容易にするために、タイトルやキーワード、日付などのインデックスを文書画像に付与して登録を行っている。

このインデックスの付与をオペレータの手入力により行うと非常に手間がかかるため、文書の種類をオペレータの操作により選択し、その文書の種類に応じたキーとなる部分の文字認識によりキーワードを自動的に抽出する電子ファイリングシステムが知られている（特許文献１）。
特開平６―１４９８８９号公報

しかしながら、特許文献１に記載の電子ファイリングシステムでは、自動的にインデックスを付与できる文書の種類が限られており、また、入力した文書画像がどの種類の文書に該当するかを選択するのに手間がかかる、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、入力された文書画像に応じてインデックス抽出領域を自動的に決定し、インデックスを自動的に抽出することができる画像処理装置を提供することを目的とする

上記の目的を達成するために本発明の画像処理装置は、インデックスを記録するインデックス記録領域の位置が予め定められた複数のフォーム画像と、前記インデックス記録領域の位置を示すインデックス領域情報とを対応させて記憶した記憶手段と、文字列を含む文書画像のレイアウト情報を算出し、前記レイアウト情報の類似度が閾値以上となるフォーム画像を前記記憶手段から検索し、前記レイアウト情報の類似度が閾値以上となるフォーム画像がなかった場合、前記文書画像の画像特徴量を算出し、前記画像特徴量の類似度が閾値以上となるフォーム画像を前記記憶手段から検索し、前記画像特徴量の類似度が閾値以上となるフォーム画像がなかった場合、前記文書画像の画素値の類似度を算出し、前記画素値の類似度が閾値以上となるフォーム画像を前記記憶手段から検索する検索手段と、前記文書画像における、前記検索されたフォーム画像の前記インデックス領域情報に対応する位置の文字列を前記文書画像のインデックスとして抽出する抽出手段と、を含んで構成されている。

本発明によれば、インデックスを記録するインデックス記録領域の位置が予め定められた複数のフォーム画像と、インデックス記録領域の位置を示すインデックス領域情報とを対応させて記憶し、文字列を含む文書画像との類似度が高いフォーム画像を記録したフォーム画像から検索し、文書画像における、検索されたフォーム画像のインデックス領域情報に対応する位置の文字列を文書画像のインデックスとして抽出する。

本発明では、入力された文書画像との類似度が高いフォーム画像のインデックス領域情報に対応する位置から文書画像のインデックスを抽出しているため、精度の高いインデックスを抽出することができる。

また、本発明に係る検索手段は、文字列を含む文書画像のレイアウト情報を算出し、前記レイアウト情報の類似度が閾値以上となるフォーム画像を前記記憶手段から検索し、前記レイアウト情報の類似度が閾値以上となるフォーム画像がなかった場合、前記文書画像の画像特徴量を算出し、前記画像特徴量の類似度が閾値以上となるフォーム画像を前記記憶手段から検索し、前記画像特徴量の類似度が閾値以上となるフォーム画像がなかった場合、前記文書画像の画素値の類似度を算出し、前記画素値の類似度が閾値以上となるフォーム画像を前記記憶手段から検索する。画像特徴量、レイアウト情報、及び画素値のそれぞれについて類似度を算出して、それぞれの類似度に優先順位をつけて、優先順位が高い類似度が所定値以上のフォーム画像を検索し、該当するフォーム画像がない場合には、次の優先順位の類似度が所定値以上のフォーム画像を検索することができる。

また、本発明に係る画像処理装置は、抽出手段により文字列が抽出された文書画像を、検索されたフォーム画像のインデックス領域情報と対応させて、フォーム画像として記憶手段に記憶させる記憶制御手段を更に備えることができる。これにより、記憶手段に記憶するフォーム画像の種類を自動的に増やすことができる。

以上説明したように、本発明の画像処理装置によれば、入力された文書画像との類似度が高いフォーム画像のインデックス領域情報に対応する位置から文書画像のインデックスを抽出しているため、精度の高いインデックスを自動的に抽出することができる、という効果が得られる。

以下、本発明の実施の形態について図面を参照して説明する。

図１に示すように、ファイリングシステム１０は、文字列を含む文書画像を読取るスキャナ１２と、文書画像に基づいて画像処理を行う画像処理システム１４とから構成されている。また、画像処理システム１４は、文書画像に基づいてインデックスを抽出するインデックス抽出サーバ１６と、フォーム画像が登録されているフォーム画像ＤＢサーバ１８とから構成されている。インデックス抽出サーバ１６には、各種プログラムやパラメータ等が記憶されたＲＯＭ２２、各種プログラムを実行するＣＰＵ２４、ＣＰＵ２４による各種プログラムの実行時におけるワークエリア等として用いられるＲＡＭ２６、インデックスが付与された文書画像を格納するためのＨＤＤ２８、スキャナインタフェース３０、入出力インタフェース３２、及びこれらを相互に接続するためのバス３４が設けられている。また、フォーム画像ＤＢサーバ１８には、ＣＰＵ３６、ＲＯＭ３８、ＲＡＭ４０、ＨＤＤ２０、入出力インタフェース４２、及びこれらを相互に接続するためのバス４４が設けられている。

フォーム画像ＤＢサーバ１８のＨＤＤ２０には、図２に示すような文字列を含まない複数のフォーム画像からなる画像ファイルと、複数のフォーム画像の画像特徴量からなる画像特徴ファイルと、複数のフォーム画像のレイアウト情報からなるレイアウト情報ファイルと、図２に示すようなインデックスの記録領域の位置を示す複数のインデックス領域情報からなるインデックス領域ファイルとが記憶されている。

インデックス抽出サーバ１６のスキャナインタフェース３０には、スキャナ１２が接続されており、インデックス抽出サーバ１６の入出力インタフェース３２とフォーム画像ＤＢサーバ１８入出力インタフェース４２とは、配線５０によって接続されている。なお、スキャナ１２は、従来公知の一般的構成を備えたものであればよく、本実施の形態では、スキャナ１２の一般的処理の説明を省略する。

次に、本発明の実施の形態の作用を説明する。

まず、スキャナ１２に文書がセットされると、スキャナ１２によって、例えば図２に示すような文書画像が読取られ、文書画像がインデックス抽出サーバ１６に入力される。

そして、インデックス抽出サーバ１６において、図３に示すインデックス抽出処理ルーチンが実行される。まず、ステップ１００において、文書画像がスキャナ１２から入力されたか否かを判定し、文書画像が入力されたと判定されると、ステップ１０２において、入力された文書画像と、文書画像に類似した画像を検索する命令をフォーム画像ＤＢサーバ１８へ送信する。

次に、フォーム画像ＤＢサーバ１８において実行される、図４に示す類似画像検索処理ルーチンを説明する。まず、ステップ１３０において、インデックス抽出サーバ１６からの文書画像及び検索命令を受信したか否かを判定する。受信したと判定されると、ステップ１３２において、文書画像のレイアウト情報を算出する。レイアウト情報は、例えば、文書画像内の文字列領域の位置、直線の位置、図形の位置、及び写真画像の位置の少なくとも１つをレイアウト情報として用いることができる。文字列領域の位置は、文書画像のｘ軸方向の投影ヒストグラムとｙ軸方向の投影ヒストグラムとを算出することにより特定することができる。また、直線や図形の位置は、文書画像をＨｏｕｇｈ変換処理することによりを特定することができ、写真画像の位置は、文書画像をフーリエ変換処理して周波数変換係数を算出することにより特定することができる。

次に、ステップ１３４において、ＨＤＤ２０のレイアウト情報ファイルから各フォーム画像のレイアウト情報を読込んで、読込んだレイアウト情報と、ステップ１３２において算出されたレイアウト情報とを比較して、レイアウト類似度を算出する。レイアウト類似度は、例えば、各レイアウト情報のパラメータ毎に差分を算出し、これらの差分を各パラメータの重要度に応じて重み付けをし、重み付けされた差分の２乗和の平方根を算出し、この算出値の逆数をとることにより算出することができる。

そして、ステップ１３６で、ステップ１３４において算出された類似度のうち、最もレイアウト類似度が大きいフォーム画像とのレイアウト類似度が予め定められた所定値以上か否かを判定することにより類似度が高いか否かを判定し、所定値以上であると判定されると、即ち類似度が高いと判定されると、ステップ１４８へ移行し、所定値未満であると判定されると、ステップ１３８へ移行する。なお、所定値は、フォーム画像と文書画像とのレイアウト類似度を算出し、類似度が高いか否かを人間の目により判断する実験により、統計的に決定すればよい。

ステップ１３８では、文書画像の画像特徴量を算出する。画像特徴量は、例えば、投影ヒストグラム、周波数変換係数、及び、図形情報の少なくとも一つをパラメータとして用いることができる。投影ヒストグラムは、文書画像のｘ軸方向の投影ヒストグラムとｙ軸方向の投影ヒストグラムとにより算出することができる。また、周波数変換係数は、文書画像をフーリエ変換処理することにより算出することができ、図形情報は、文書画像をＨｏｕｇｈ変換処理することにより直線や図形を抽出して算出することができる。そして、ステップ１４０では、ＨＤＤ２０の画像特徴ファイルから各フォーム画像の画像特徴量を読込んで、読込んだ画像特徴量とステップ１３８で算出された画像特徴量とを比較して、特徴類似度を算出する。特徴類似度は、例えば、各画像の画像特徴量の各パラメータ毎に差分を算出し、これらの差分をパラメータの重要度に応じて重み付けをし、重み付けされた差分の２乗和の平方根を算出し、この算出値の逆数をとることにより算出することができる。そして、ステップ１４２で、ステップ１４０において算出された特徴類似度のうち、最も特徴類似度が大きいフォーム画像との特徴類似度が予め定められた所定値以上か否かを判定することにより類似度が高いか否かを判定し、所定値以上であると判定されると、即ち類似度が高いと判定されると、ステップ１４８へ移行し、所定値未満であると判定されると、ステップ１４４へ移行する。

ステップ１４４では、ＨＤＤ２０の画像ファイルから各フォーム画像を読込んで、読込んだフォーム画像とステップ１３０で受信された文書画像との画素値による比較を行い、画素値類似度を算出する。画素値類似度は、例えば、ＨＤＤ２０の画像ファイルに記憶されているフォーム画像及び受信された文書画像の各画素の濃度を算出し、各画素毎に濃度の差分を算出し、差分値の総和の逆数をとることにより算出することができる。なお、画素値による比較の場合には、文書画像及び各フォーム画像において、文字列を取り除く画像処理を行ってから、画素値による比較を行い、画素値類似度を算出してもよい。

そして、ステップ１４６では、ステップ１４４で算出された画素値類似度のうち、最も画素値類似度が大きいフォーム画像との画素値類似度が予め定められた所定値以上か否かを判定することにより類似度が高いか否かを判定し、所定値以上であると判定されると、即ち類似度が高いと判定されると、ステップ１４８へ移行し、所定値未満であると判定されると、ステップ１５０において、類似度が所定値以上のフォーム画像が存在しないことを示すメッセージを作成し、この作成したメッセージを検索結果としてインデックス抽出サーバ１６へ送信して、類似画像検索処理ルーチンを終了する。

ステップ１４８では、ステップ１３６、１４２、又は１４６において最も類似度が大きいと判断されたフォーム画像に対応するインデックス領域情報をＨＤＤ２０のインデックス領域ファイルから読込んで、検索結果としてインデックス領域情報をインデックス抽出サーバ１６へ送信する。そして、ステップ１５２において、ステップ１３０で受信された文書画像に基づいて、文字列を取り除く画像処理を行って、フォーム画像を生成する。次のステップ１５４では、ステップ１４８で読込んだインデックス領域情報と対応させて、ステップ１５２で生成された文書画像のフォーム画像を画像ファイルに登録し、ステップ１３２で算出された文書画像のレイアウト情報をレイアウト情報ファイルに登録し、ステップ１３８で算出された文書画像の画像特徴量を画像特徴ファイルに登録して、類似画像検索処理ルーチンを終了する。

次に、図３のインデックス抽出処理ルーチンのステップ１０４において、インデックス抽出サーバ１６が、フォーム画像ＤＢサーバ１８からの検索結果を受信したか否かを判定し、受信したと判定されると、ステップ１０６において、検索結果としてインデックス領域情報を受信したか否かを判定する。インデックス領域情報を受信したと判定されると、ステップ１０８へ移行するが、類似度が所定値以上のフォーム画像が存在しないことを示すメッセージを受信したと判定されると、ステップ１１６で、インデックス入力ダイアログをインデックス抽出サーバ１６のディスプレイ（図示省略）に表示させ、ステップ１１８で、ユーザの操作によりインデックスが入力されたか否かを判定し、入力された判定が肯定されるとステップ１１４へ移行する。

ステップ１０８では、受信したインデックス領域情報に基づいて、文書画像のインデックス領域の位置を決定し、次のステップ１１０で、決定されたインデックス領域の位置の画像を文書画像から抽出する。そして、ステップ１１２で、ステップ１１０において抽出された画像に対して文字認識処理を行い、抽出された画像に表された文字をインデックスとして抽出する。

ステップ１１４では、ステップ１１２で抽出されたインデックス又はステップ１１８で入力されたインデックスと共に入力された文書画像をＨＤＤ２８に登録して、インデックス抽出処理ルーチンを終了する。

なお、フォーム画像ＤＢサーバ１８が実行する類似画像検索処理ルーチンにおいて、図５に示すように、レイアウト類似度、特徴類似度、及び画素値類似度の全てを考慮して類似画像を検索してもよい。以下にその場合の類似画像検索処理ルーチンについて説明する。上述した処理と同様の処理については同一の符号を付して詳しい説明を省略する。

まず、ステップ１３０において、インデックス抽出サーバ１６からの文書画像及び検索命令を受信したか否かを判定し、ステップ１３２で、文書画像のレイアウト情報を算出し、ステップ１３４において、ＨＤＤ２０のレイアウト情報ファイルに記憶されている各フォーム画像のレイアウト情報と、ステップ１３２において算出されたレイアウト情報とを比較して、レイアウト類似度を算出する。

そして、ステップ１３８で、文書画像の画像特徴量を算出し、ステップ１４０で、ＨＤＤ２０の画像特徴ファイルに記憶されている各フォーム画像の画像特徴量とステップ１３８で算出された画像特徴量とを比較して、特徴類似度を算出する。次のステップ１４４で、ＨＤＤ２０の画像ファイルに記憶されている各フォーム画像とステップ１３０で受信された文書画像との画素値による比較を行い、画素値類似度を算出する。

次のステップ１６０では、ステップ１３４、１４０、及び１４４で算出したレイアウト類似度、特徴類似度、及び画素値類似度を正規化し、正規化された各類似度に対して予め定められた重み付け係数をそれぞれに乗算し、重み付けされたレイアウト類似度、特徴類似度、及び画素値類似度を合計することにより総合類似度を算出する。そして、総合類似度に基づいて最も類似しているフォーム画像を決定する。

そして、ステップ１６２で、最も類似しているフォーム画像の総合類似度が予め定められた所定値以上か否かを判定することにより類似度が高いか否かを判定し、所定値未満であると判定されると、ステップ１５０において、類似度が所定値以上のフォーム画像が存在しないことを示すメッセージをインデックス抽出サーバ１６へ送信し、類似画像検索処理ルーチンを終了する。一方、所定値以上であると判定されると、即ち類似度が高いと判定されると、ステップ１４８で、最も類似しているフォーム画像に対応するインデックス領域情報をインデックス抽出サーバ１６へ送信し、ステップ１５２で、ステップ１３０で受信された文書画像に基づいて、フォーム画像を生成し、ステップ１５４では、生成された文書画像のフォーム画像と、文書画像のレイアウト情報と、文書画像の画像特徴量とを、ステップ１４８で読込んだインデックス領域情報と対応させてＨＤＤ２０に登録して、類似画像検索処理ルーチンを終了する。

以上説明したように、本発明の実施形態に係る画像処理システムによれば、入力された文書画像に類似したフォーム画像のインデックス領域情報に対応する位置から文書画像のインデックスを抽出しているため、精度の高いインデックスを抽出することができる。

また、入力された文書画像のフォーム画像を、検索された類似するフォーム画像のインデックス領域情報と対応させて、フォーム画像ＤＢサーバに登録することにより、フォーム画像の種類を自動的に増やすことができる。

なお、本発明に係る画像処理装置を、インデックス抽出サーバ及びフォーム画像ＤＢサーバからなる画像処理システムで実現する場合を例に説明したが、インデックス抽出サーバ及びフォーム画像ＤＢサーバの何れか一方で実現するように構成してもよい。

また、レイアウト類似度、特徴類似度、及び画素値類似度は、各類似度のパラメータ毎の差分の総和値の逆数をとって算出する場合を例に説明したが、逆数をとらないで、差分の総和値と予め定められた所定値とを比較して、類似度が高いか否かを判定してもよい。その場合には、差分の総和値が所定値以下であれば、類似度が高いと判定すればよい。

また、フォーム画像ＤＢサーバのＨＤＤにフォーム画像のレイアウト情報及び画像特徴量を予め記憶しておく場合を例に説明したが、類似度を算出する度に、ＨＤＤに記憶したフォーム画像からレイアウト情報及び画像特徴量を算出するようにしてもよい
また、フォーム画像ＤＢサーバに予め記憶しておく画像が文字列を含まないフォーム画像である場合を例に説明したが、文字列を含む文書画像をそのまま記憶し、文書画像に基づいたレイアウト情報及び画像特徴量をＨＤＤに予め記憶してもよい。

また、フォーム画像ＤＢサーバに予め記憶されている画像がフォーム画像のみである場合を例に説明したが、画像ではなくアプリケーション文書であってもよい。その場合には、画素値、レイアウト情報、及び画像特徴量を算出する場合に、アプリケーション文書を画像に展開してから算出処理を行えばよい。

本発明の実施の形態に係るファイリングシステムの構成を示す概略図である。本発明の実施の形態に係る文書画像、フォーム画像及びインデックス領域情報のイメージ図である。本発明の実施の形態に係るインデックス抽出サーバのインデックス抽出処理る−チンの内容を示すフローチャートである。本発明の実施の形態に係るフォーム画像ＤＢサーバの類似画像検索処理ルーチンの内容を示すフローチャートである。本発明の実施の形態に係るフォーム画像ＤＢサーバの類似画像検索処理ルーチンにおいて、レイアウト類似度、特徴類似度、及び画素値類似度の全てを考慮して類似画像を検索する場合の処理内容を示すフローチャートである。

符号の説明

１０ファイリングシステム
１２スキャナ
１４画像処理システム
１６インデックス抽出サーバ
１８サーバ
２０ＨＤＤ

Claims

インデックスを記録するインデックス記録領域の位置が予め定められた複数のフォーム画像と、前記インデックス記録領域の位置を示すインデックス領域情報とを対応させて記憶した記憶手段と、
文字列を含む文書画像のレイアウト情報を算出し、前記レイアウト情報の類似度が閾値以上となるフォーム画像を前記記憶手段から検索し、前記レイアウト情報の類似度が閾値以上となるフォーム画像がなかった場合、前記文書画像の画像特徴量を算出し、前記画像特徴量の類似度が閾値以上となるフォーム画像を前記記憶手段から検索し、前記画像特徴量の類似度が閾値以上となるフォーム画像がなかった場合、前記文書画像の画素値の類似度を算出し、前記画素値の類似度が閾値以上となるフォーム画像を前記記憶手段から検索する検索手段と、
前記文書画像における、前記検索されたフォーム画像の前記インデックス領域情報に対応する位置の文字列を前記文書画像のインデックスとして抽出する抽出手段と、
を含む画像処理装置。
前記抽出手段により文字列を抽出された文書画像を、前記検索されたフォーム画像の前記インデックス領域情報と対応させて、前記記憶手段に記憶させる記憶制御手段を更に備えた請求項１記載の画像処理装置。