JP5701181B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関し、特に、地紋等の背景要素を含む入力画像を扱う画像処理装置、画像処理方法及びコンピュータプログラムに関する。

領収書、証券、証明書等の文書には、複写等による偽造を防止するために、文字等の本来の画像の背景に地紋が印刷されているものがある。このような地紋が印刷された文書に対して、例えば印刷された画像に基づいて文書を仕分けたり、ＯＣＲ装置（光学式文字読取装置）を用いて文字を読み取る場合、文書に印刷された本来の画像と地紋とを正確に識別する必要がある。しかしながら、本来の画像の濃度と地紋の濃度は、文書によって異なり、本来の画像と地紋とを正確に識別するのは困難だった。

そこで、特許文献１には、小切手等の証券の画像データから背景模様を除去し証券記載事項だけを抽出する小切手読取装置が提案されている。この小切手読取装置は、証券をスキャンして得た原画像データ上で、周囲の他の画素より濃度の高い画素をより濃度が高くなるように修正し、周囲の他の画素より濃度の低い画素をより濃度が低くなるように修正する。そして小切手読取装置は、修正したデータの濃度分布のヒストグラムを作成し、高濃度範囲に存在する山と低濃度範囲に存在する山の間に二値化閾値を設定し、この二値化閾値を用いて二値化処理を行う。

また、特許文献２には、二値画像から背景パターンを除去するためのシステムが提案されている。このシステムは、二値画像を複数の画像領域に分割し、各画像領域について画像濃度値を計算し、各画像濃度値に対応する画像領域の数を計数し、最も画像領域の数の多い画像濃度値より低い画像濃度値を閾値として選択し、その閾値より低い画像濃度値を有する画像領域を０に設定する。

特開２００７−２８３６２号公報 米国特許６５０７６７０号公報

特許文献１に記載された小切手読取装置は、設定した二値化閾値を用いて二値化処理を行うことにより、証券をスキャンして得た原画像データから背景模様を除去することができる。しかしながら、特許文献１に記載された小切手読取装置は、スキャンして得た原画像データに背景模様が含まれることを前提としており、原画像データに背景模様が含まれるか否かを判別するものではない。そのため、特許文献１に記載された小切手読取装置を用いても、原画像データに背景模様が含まれるか否かを判別することはできず、例えば背景模様がある文書と背景模様がない文書とを仕分けることはできなかった。

また、特許文献２に記載されたシステムは、選択した閾値を用いて背景パターンを除去することができる。しかしながら、特許文献２に記載されたシステムも、二値画像に背景パターンが含まれるか否かを判別するものではない。そのため、特許文献２に記載されたシステムを用いても、二値画像に背景パターンが含まれるか否かを判別することはできず、背景パターンがある文書と背景パターンがない文書とを仕分けることはできない。

そこで、本発明の目的は、入力画像に背景要素があるか否かを高精度に判定することが可能な画像処理装置、画像処理方法及びそのような画像処理方法をコンピュータに実行させるコンピュータプログラムを提供することにある。

本発明に係る画像処理装置は、入力画像から画素を間引いた間引き画像を生成する間引き画像生成部と、間引き画像からエッジ画素を抽出するエッジ画素抽出部と、エッジ画素から孤立エッジ画素を抽出するエッジクラス抽出部と、孤立エッジ画素による孤立ヒストグラムを生成するヒストグラム生成部と、孤立ヒストグラムに基づいて、入力画像に背景要素があるか否かの判定を行う判定部と、を有する。

また、本発明に係る画像処理装置において、エッジクラス抽出部は、エッジ画素から連結エッジ画素をさらに抽出し、ヒストグラム生成部は、連結エッジ画素から連結ヒストグラムをさらに生成し、判定部は、孤立ヒストグラム及び連結ヒストグラムに基づいて、入力画像に背景要素があるか否かの判定を行うことが好ましい。

さらに、本発明に係る画像処理装置において、判定部は、連結ヒストグラムの収束の度合と孤立ヒストグラムの収束の度合の相互の関係に基づいて入力画像に背景要素があるか否かの判定を行うことが好ましい。

さらに、本発明に係る画像処理装置において、判定部は、連結ヒストグラムの最大値と孤立ヒストグラムの最大値の相互の関係に基づいて入力画像に背景要素があるか否かの判定を行うことが好ましい。

また、本発明に係る画像処理装置において、判定部は、孤立ヒストグラムの収束の度合に基づいて入力画像に背景要素があるか否かの判定を行うことが好ましい。

さらに、本発明に係る画像処理装置において、判定部は、孤立ヒストグラムの最大値に対する比率が所定以上となる範囲の大きさにより収束の度合を求めることが好ましい。

また、本発明に係る画像処理方法は、入力画像から画素を間引いた間引き画像を生成するステップと、間引き画像からエッジ画素を抽出するステップと、エッジ画素から孤立エッジ画素を抽出するステップと、孤立エッジ画素による孤立ヒストグラムを生成するステップと、孤立ヒストグラムに基づいて、入力画像に背景要素があるか否かの判定を行うステップと、を含む。

また、本発明に係るコンピュータプログラムは、入力画像から画素を間引いた間引き画像を生成するステップと、間引き画像からエッジ画素を抽出するステップと、エッジ画素から孤立エッジ画素を抽出するステップと、孤立エッジ画素による孤立ヒストグラムを生成するステップと、孤立ヒストグラムに基づいて、入力画像に背景要素があるか否かの判定を行うステップと、をコンピュータに実行させる。

本発明によれば、入力画像に背景要素があるか否かを高精度に判定することが可能な画像処理装置、画像処理方法及びそのような画像処理方法をコンピュータに実行させるコンピュータプログラムを提供することができる。

本発明を適用した画像処理システムの概略構成図である。 画像処理部の概略構成図である。 画像読取装置による判定処理の動作を示すフローチャートである。 間引き画像生成部により生成される輝度画像の例である。 図４に示す輝度画像に基づいて生成される間引き画像である。 （ａ）〜（ｄ）は、エッジ画素の抽出処理を説明するための模式図である。 エッジ画素をプロットした画像である。 隣接する画素について説明するための模式図である。 （ａ）、（ｂ）は、孤立ヒストグラムの例を示す図である。 図３に示すフローチャートに従って二値化した二値化画像である。 予め定められた二値化閾値を用いて二値化した二値化画像である。 （ａ）は、入力画像であり、（ｂ）は、二値化画像である。 判定処理の動作の他の例を示すフローチャートである。 （ａ）、（ｂ）は、孤立ヒストグラムと連結ヒストグラムの例である。 判定処理の動作のさらに他の例を示すフローチャートである。 他の画像処理システムの概略構成図である。

以下、本発明に係る画像処理装置、画像処理方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、本発明を適用した画像処理システムの概略構成を示す図である。図１に示すように、画像処理システム１は、画像読取装置１０と、情報処理装置２０とを有する。画像読取装置１０は、例えばイメージスキャナ、デジタルカメラ等であり、情報処理装置２０は、例えば画像読取装置１０に接続して用いられるパーソナルコンピュータ等である。

画像読取装置１０は、画像入力部１１と、第１画像メモリ部１２と、第１インターフェース部１３と、第１記憶部１４と、第１中央処理部１５と、画像処理部１６とを有する。以下、画像読取装置１０の各部について詳細に説明する。

画像入力部１１は、撮像対象物である原稿、風景、人物等を撮像する撮像センサを有する。この撮像センサは、１次元又は２次元に配列されたＣＣＤ、ＣＭＯＳ等の撮像素子と、撮像素子に撮像対象物の像を結像する光学系を備え、各撮像素子は、ＲＧＢ各色に対応するアナログ値を出力する。そして画像入力部１１は、撮像センサが出力した各アナログ値をデジタル値に変換して画素データを生成し、生成した各画素データから構成される画像データ（以下、入力画像と称する）を生成する。生成された入力画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲＧＢ値からなるカラー画像データとなる。なお、以下では、撮像対象物が原稿であるものとして説明する。

第１画像メモリ部１２は、不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク等の記憶装置を有する。第１画像メモリ部１２は、画像入力部１１と接続され、画像入力部１１により生成された入力画像を保存するとともに、画像処理部１６と接続され、画像処理部１６により入力画像に対して画像処理がなされた各種の処理画像を保存する。

第１インターフェース部１３は、例えばＵＳＢ等のシリアルバスに準じるインターフェース回路を有し、情報処理装置２０と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インターフェース部１３にフラッシュメモリ等を接続して第１画像メモリ部１２に保存されている画像データを保存するようにしてもよい。

第１記憶部１４は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶部１４には、画像読取装置１０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。

第１中央処理部１５は、画像入力部１１、第１画像メモリ部１２、第１インターフェース部１３、第１記憶部１４、及び画像処理部１６と接続され、これらの各部を制御する。第１中央処理部１５は、画像入力部１１の入力画像生成制御、第１画像メモリ部１２の制御、第１インターフェース部１３を介した情報処理装置２０とのデータ送受信制御、第１記憶部１４の制御、画像処理部１６による画像処理の制御等を行う。

画像処理部１６は、第１画像メモリ部１２に接続され、入力画像に地紋等の背景要素があるか否かを判定するとともに、入力画像に対して二値化処理を行う。この画像処理部１６は、第１中央処理部１５に接続され、第１中央処理部１５からの制御により予め第１記憶部１４に記憶されているプログラムに基づいて動作する。あるいは、画像処理部１６は、独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

情報処理装置２０は、第２インターフェース部２１と、第２画像メモリ部２２と、表示部２３と、第２記憶部２４と、第２中央処理部２５とを有する。以下、情報処理装置２０の各部について詳細に説明する。

第２インターフェース部２１は、画像読取装置１０の第１インターフェース部１３と同様のインターフェース回路を有し、情報処理装置２０と画像読取装置１０とを接続する。

第２画像メモリ部２２は、画像読取装置１０の第１画像メモリ部１２と同様の記憶装置を有する。第２画像メモリ部２２には、第２インターフェース部２１を介して画像読取装置１０から受信した画像データ及び各種の情報が保存される。

表示部２３は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインターフェース回路を有し、第２画像メモリ部２２と接続されて第２画像メモリ部２２に保存されている画像データをディスプレイに表示する。

第２記憶部２４は、画像読取装置１０の第１記憶部１４と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶部２４には、情報処理装置２０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。

第２中央処理部２５は、第２インターフェース部２１、第２画像メモリ部２２、表示部２３及び第２記憶部２４と接続され、これらの各部を制御する。第２中央処理部２５は、第２インターフェース部２１を介した画像読取装置１０とのデータ送受信制御、第２画像メモリ部２２の制御、表示部２３の表示制御、第２記憶部２４の制御等を行う。

図２は、画像処理部１６の概略構成を示す図である。図２に示すように画像処理部１６は、間引き画像生成部１０１、エッジ画素抽出部１０２、エッジクラス抽出部１０３、ヒストグラム生成部１０４、判定部１０５、閾値算出部１０８及び二値化処理部１０９を有する。さらに、判定部１０５は、特徴量抽出部１０６及び特徴量解析部１０７を有する。

図３は、画像読取装置１０による入力画像に地紋等の背景要素が含まれるか否かの判定処理及び二値化処理の動作を示すフローチャートである。以下、図３に示したフローチャートを参照しつつ、判定処理及び二値化処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶部１４に記憶されているプログラムに基づき主に第１中央処理部１５により画像読取装置１０の各要素と協同して実行される。

最初に、画像入力部１１は、撮像対象物（原稿）を撮影した入力画像を生成し、第１画像メモリ部１２に保存する（ステップＳ３０１）。

次に、画像処理部１６の間引き画像生成部１０１は、第１画像メモリ部１２に保存された入力画像を読み出し、入力画像の各画素のＲＧＢ値を輝度値に変換した輝度画像を生成し、第１画像メモリ部１２に保存する（ステップＳ３０２）。なお、各輝度値は、例えば以下の式により算出することができる。
輝度値＝０．３０×Ｒ値＋０．５９×Ｇ値＋０．１１×Ｂ値 （１）

次に、間引き画像生成部１０１は、輝度画像から水平方向及び垂直方向に画素を間引いた間引き画像を生成し、第１画像メモリ部１２に保存する（ステップＳ３０３）。

一般に、地紋等の背景要素を表す画像（以下、地紋画像と称する）は、模様、絵柄、文字等により表され、文字等の本来の画像（以下、実画像と称する）の濃度より低い一定の濃度で表される。地紋画像は、模様、絵柄等で表される場合、実画像より斜線又は曲線の成分を多く含み、文字で表される場合、その文字のサイズは実画像より小さい傾向にある。そのため、輝度画像から水平及び垂直方向に一定間隔で画素を間引くと、実画像と比較して、間引き後の地紋画像を構成する画素は分離し、不連続になる傾向にある。

そこで、間引き画像生成部１０１は、例えば、間引き画像が所定の画素数（例えば６４０画素）になるように画素を間引く。あるいは、間引き画像生成部１０１は、入力画像を水平及び垂直方向に所定割合で画素を間引いてもよい（例えば９９％の画素を間引く）。この場合、間引き画像の画素数は、入力画像のサイズ及び解像度に応じて異なる。

図４は、ステップＳ３０２で生成される輝度画像の例である。図４に示す輝度画像４００では、実画像として商品の品名等を表す文字が示され、地紋画像として実画像より低い濃度で表された波模様が示される。

図５は、図４に示す輝度画像４００からステップＳ３０３で生成される間引き画像である。図５に示すように、間引き画像５００では、図４に示す輝度画像４００とは異なり、地紋画像の波模様を構成する画素は、それぞれが分離し、不連続になっている。

次に、エッジ画素抽出部１０２は、第１画像メモリ部１２に保存された間引き画像を読み出し、間引き画像の各画素に対して二次差分フィルタ等のエッジ検出フィルタを適用してその出力値を画素値とするエッジ画像を生成する（ステップＳ３０４）。エッジ画素抽出部１０２が用いる二次差分フィルタの例を次式に示す。

なお、二次差分フィルタによる出力値はノイズの影響を強く受ける場合があるので、エッジ画素抽出部１０２は、エッジ画像の各画素に対して、さらに平均フィルタ、ガウシアンフィルタ等の平滑フィルタを適用してノイズの影響を低減するようにしてもよい。

次に、エッジ画素抽出部１０２は、エッジ画像を用いて間引き画像からエッジ画素を抽出する（ステップＳ３０５）。

図６（ａ）〜（ｄ）は、エッジ画素の抽出処理について説明するための図である。図６（ａ）、（ｃ）に示すグラフ６００、６２０は、エッジ画像において水平方向に隣接する画素の画素値を表し、図６（ｂ）、（ｄ）に示すグラフ６１０、６３０は、そのエッジ画像上の画素に対応する間引き画像上の画素の輝度値を表す。グラフ６００、６２０の横軸はエッジ画像上の水平位置を示し、縦軸は画素値を示す。また、グラフ６１０、６３０の横軸は間引き画像上の水平位置を示し、縦軸は輝度値を示す。

エッジ画素抽出部１０２は、まず、エッジ画像において水平方向に隣接する画素の画素値が正から負へ又は負から正へ符号変化する画素のうち、画素値が負である方の画素６０１、６２１を抽出する。次に、エッジ画素抽出部１０２は、抽出した画素６０１、６２１に対応する間引き画像上の画素６１１、６３１の水平方向の両隣の画素６１２及び６１３、画素６３２及び６３３の輝度値の差の絶対値（以下、隣接差分値と称する）６１４、６３４を算出する。そして、エッジ画素抽出部１０２は、算出した隣接差分値が閾値Wthを越えるか否かを判定し、隣接差分値が閾値Wthを越える場合、その間引き画像上の画素を水平エッジ画素とする。この閾値Wthは、例えば、人が画像上の輝度の違いを目視により判別可能な輝度値の差（例えば２０）に設定することができる。また、エッジ画素抽出部１０２は、エッジ画像及び間引き画像について垂直方向にも同様の処理を行い、垂直エッジ画素を抽出する。そして、エッジ画素抽出部１０２は、水平エッジ画素又は垂直エッジ画素の何れかとして抽出された画素をエッジ画素とする。あるいは、水平エッジ画素及び垂直エッジ画素の両方に抽出された画素をエッジ画素としてもよい。

次に、エッジクラス抽出部１０３は、エッジ画素抽出部１０２により抽出されたエッジ画素を、隣接するエッジ画素のない孤立エッジ画素と隣接するエッジ画素のある連結エッジ画素に分類する（ステップＳ３０６）。

図７は、ステップＳ３０５において図５に示す間引き画像５００から抽出されたエッジ画素をプロットした画像である。図７の画像７００に示されるように、各エッジ画素は、実画像又は地紋画像により、隣接する画素に対して輝度が変化するエッジ部分に抽出される。このエッジ画素は間引き画像から抽出されるため、地紋画像のエッジ部分に対応して抽出されるエッジ画素７０１は孤立する（エッジ画素に隣接する画素にはエッジ画素が含まれない）傾向にある。一方、実画像のエッジ部分に対応して抽出されるエッジ画素７０２は連結する（エッジ画素に隣接する画素にはエッジ画素が含まれる）傾向にある。そこで、エッジクラス抽出部１０３は、例えば、隣接するエッジ画素のないエッジ画素を孤立エッジ画素とし、隣接するエッジ画素のあるエッジ画素を連結エッジ画素とする。

図８は、隣接する画素について説明するための模式図である。図８に示すように、エッジクラス抽出部１０３は、画像８００の注目するエッジ画素８０１について、水平方向、垂直方向、斜め方向にそれぞれ隣接する八画素にエッジ画素が含まれるか否かを判定する。そして、エッジクラス抽出部１０３は、隣接する画素にエッジ画素が含まれないエッジ画素８０１を孤立エッジ画素とし、隣接する画素にエッジ画素が含まれるエッジ画素８０１を連結エッジ画素とする。あるいは、隣接する画素のうち所定数（例えば二画素）以上の画素がエッジ画素でないエッジ画素８０１を孤立エッジ画素とし、隣接する画素のうち所定数以上の画素がエッジ画素であるエッジ画素８０１を連結エッジ画素としてもよい。

次に、ヒストグラム生成部１０４は、間引き画像上の各孤立エッジ画素における、水平方向の隣接差分値及び垂直方向の隣接差分値のヒストグラム（以下、孤立ヒストグラムと称する）を生成する（ステップＳ３０７）。

図９（ａ）、（ｂ）は、孤立ヒストグラムの例を示す図である。図９（ａ）、（ｂ）の横軸は、間引き画像上の各エッジ画素の隣接差分値を示し、縦軸は、孤立ヒストグラムの分布値（分布数）を示す。図９（ａ）のグラフ９００には、地紋画像を含む入力画像について生成された孤立ヒストグラム９０１が示され、図９（ｂ）のグラフ９１０には、地紋画像を含まない入力画像について生成された孤立ヒストグラム９１１が示される。

次に、判定部１０５の特徴量抽出部１０６は、ヒストグラム生成部１０４により生成された孤立ヒストグラムに基づいて、入力画像に地紋画像が含まれるか否かを判定するための特徴量を算出する（ステップＳ３０８）。

ほとんどの孤立エッジ画素は、地紋画像と無地部分との境界に対応して抽出される。一方、一般に地紋画像の輝度値と無地部分の輝度値は、それぞれ一定の値をもつ。そのため、図９（ａ）に示すように、地紋画像を含む入力画像について生成された孤立ヒストグラム９０１は、地紋画像の輝度値と無地部分の輝度値との差を示す値の近傍において極値を一つだけ有し、かつ急速に収束する傾向にある。

そこで、特徴量抽出部１０６は、入力画像に地紋画像が含まれるか否かを判定するための特徴量として、孤立ヒストグラムの分布値における極値の個数と、孤立ヒストグラムの収束の度合を求める。ここでヒストグラムの収束の度合（以下、収束度と称する）とは、ヒストグラムの分布値が所定範囲に収束する速さ、つまりヒストグラムの分布値が所定値以下に収まるまでの隣接差分値の範囲の大きさのことをいう。

特徴量抽出部１０６は、例えば、孤立ヒストグラムの注目する隣接差分値における分布値が、両隣の隣接差分値の分布値より大きい場合に、その注目する隣接差分値における分布値を極値と判定する。あるいは、両隣の隣接差分値の分布値より所定以上（例えば注目する隣接差分値における分布値の１０％以上）大きい分布値を極値と判定してもよい。

また、特徴量抽出部１０６は、ヒストグラムの分布値について最大値に対する比率が所定以上となる範囲の大きさにより収束度を求める。例えば、特徴量抽出部１０６は、孤立ヒストグラムの分布値が最大値となる隣接差分値と、それ以上の隣接差分値では孤立ヒストグラムの分布値が最大値に対して比率Th0以下となる隣接差分値との差の絶対値の逆数を収束度として求める。例えば、この比率Th0は、１０％とすることができる。あるいは、特徴量抽出部１０６は、孤立ヒストグラムの分布値が最大値に対して比率Th0以上となる全範囲の大きさにより収束度を求めてもよい。その場合、特徴量抽出部１０６は、例えば、孤立ヒストグラムの分布値が最大値に対して比率Th0以上となる隣接差分値のうち最大の隣接差分値と最小の隣接差分値との差の絶対値の逆数を収束度として求める。また、特徴量抽出部１０６は、ヒストグラム生成部１０４が生成したヒストグラムに、平均フィルタ、ガウシアンフィルタ等の平滑フィルタを適用してノイズの影響を低減してからヒストグラムの収束度を求めてもよい。

次に、判定部１０５の特徴量解析部１０７は、特徴量抽出部１０６により算出された孤立ヒストグラムの特徴量に基づいて、入力画像に地紋画像が含まれるか否かを判定し、その判定した結果情報を第１画像メモリ部１２に保存する（ステップＳ３０９）。

特徴量解析部１０７は、孤立ヒストグラムにおける極値の個数が一つであり、かつ孤立ヒストグラムの収束度が閾値ThD以上である場合、入力画像に地紋画像が含まれると判定する。一方、特徴量解析部１０７は、孤立ヒストグラムにおける極値の個数が一つでない場合、又は孤立ヒストグラムの収束度が閾値ThD未満である場合、入力画像に地紋画像が含まれないと判定する。例えば、この閾値ThDは、１／２０とすることができる。

図９（ａ）に示す例では、孤立ヒストグラム９０１の分布値の最大値は２２０であり、その最大値に対応する隣接差分値は３２である。一方、分布値が最大値の１０％である２２以下となるのは、隣接差分値が４４以上の範囲である。この場合、収束度は、隣接差分値３２と隣接差分値４４の差の絶対値の逆数である１／１２となり、閾値ThD（１／２０）以上であるため、入力画像に地紋画像が含まれると判定される。

一方、図９（ｂ）に示す例では、孤立ヒストグラム９１１の分布値の最大値は２０であり、その最大値に対応する隣接差分値は３２である。一方、分布値が最大値の１０％である２以下となるのは、隣接差分値が１９２以上の範囲である。この場合、収束度は、隣接差分値３２と隣接差分値１９２の差の絶対値の逆数である１／１６０となり、閾値ThD未満であるため、入力画像に地紋画像が含まれないと判定される。

なお、特徴量解析部１０７は、孤立ヒストグラムにおける極値の個数が所定数（例えば二つ）以上である場合にその入力画像に地紋画像が含まれないと判定してもよい。あるいは、特徴量解析部１０７は、孤立ヒストグラムにおける極値の個数によらず、孤立ヒストグラムの収束度のみに基づいて入力画像に地紋画像が含まれるか否かを判定してもよい。

ステップＳ３０９において、特徴量解析部１０７によって入力画像に地紋画像が含まれると判定された場合、閾値算出部１０８は、輝度画像の二値化処理に用いる閾値（以下、地紋閾値と称する）を算出し、第１画像メモリ部１２に保存する（ステップＳ３１０）。

以下、地紋閾値の算出について説明する。閾値算出部１０８は、地紋閾値として、孤立ヒストグラムの分布値が０に収束するときの隣接差分値を求める。図９に示す孤立ヒストグラム９０１では、分布値が０に収束する点９０２の隣接差分値が地紋閾値となる。あるいは、閾値算出部１０８は、孤立ヒストグラムの分布値が所定値（例えば分布値の最大値の１０％）以下に収束するときの隣接差分値を地紋閾値としてもよい。

ステップＳ３０９において入力画像に地紋画像が含まれないと判定された場合、又はステップＳ３１０において地紋閾値が算出された場合、二値化処理部１０９は、第１画像メモリ部１２に保存された輝度画像を読み出して輝度画像の二値化処理を行い、二値化処理を行った二値化画像を第１画像メモリ部１２に保存する（ステップＳ３１１）。

以下、二値化処理について説明する。入力画像に地紋画像が含まれる場合、二値化処理部１０９は、二値化処理により輝度画像から実画像を残しつつ、地紋画像を消去する必要がある。前述した通り、地紋閾値は、孤立エッジ画素の隣接差分値、つまり地紋画像の輝度値と無地部分の輝度値の差に基づいて定められる。従って、輝度画像において水平方向又は垂直方向の隣接差分値が地紋閾値を越える場合、その領域には地紋画像より輝度値の高い画素によるエッジ、すなわち実画像によるエッジが存在すると考えられる。

そこで、二値化処理部１０９は、輝度画像の各画素について、水平方向及び垂直方向の隣接差分値を算出し、算出した隣接差分値の何れかが地紋閾値を越えるか否かを判定する。そして、二値化処理部１０９は、何れかの隣接差分値が地紋閾値を越える画素から所定範囲内にある画素（以下、近傍画素と称する）についてはその近傍画素の各輝度値に基づいて二値化閾値（以下、動的閾値と称する）を定め、動的閾値を用いて二値化処理を行う。二値化処理部１０９は、例えば、近傍画素の各輝度値の平均値を動的閾値とする。あるいは、近傍画素の各輝度値の最大値と最小値の平均値、又は近傍画素の各輝度値の中央値を動的閾値としてもよい。

一方、二値化処理部１０９は、近傍画素以外の画素については輝度画像内の全画素の輝度値に基づいて二値化閾値（以下、静的閾値と称する）を定め、静的閾値を用いて二値化処理を行う。二値化処理部１０９は、例えば、輝度画像内の全画素の輝度値の平均値を静的閾値とする。あるいは、輝度画像内の全画素の輝度値の最大値と最小値の平均値、又は輝度画像内の全画素の輝度値の中央値を静的閾値としてもよい。あるいは、二値化処理部１０９は、近傍画素以外の画素については全て０又は１になるように二値化してもよい。

また、入力画像に地紋画像が含まれない場合、二値化処理部１０９は、静的閾値を定め、輝度画像内の全画素について静的閾値を用いて二値化処理を行う。

次に、第１中央処理部１５は、第１画像メモリ部１２に保存された入力画像、結果情報及び二値化画像を第１インターフェース部１３を介して情報処理装置２０に送信し（ステップＳ３１２）、一連のステップを終了する。

第１中央処理部１５は、特徴量解析部１０７によって入力画像に地紋画像が含まれると判定されている場合、入力画像、結果情報及び二値化画像に加えて地紋閾値も情報処理装置２０に送信する。

一方、情報処理装置２０の第２中央処理部２５は、第２インターフェース部２１を介して画像読取装置１０から入力画像、結果情報及び二値化画像、又はこれらに加えて地紋閾値を受信すると、受信した各画像及び各情報を関連付けて第２画像メモリ部２２に保存する。これにより第２画像メモリ部２２には、結果情報又は地紋閾値により分類可能な入力画像及び二値化画像のデータベースが形成される。また、第２中央処理部２５は、利用者が目視確認できるように入力画像と二値化画像を関連付けて表示部２３に表示させる。

また、第２中央処理部２５は、結果情報又は地紋閾値に基づいて入力画像の仕分けを行ってもよい。これにより、情報処理装置２０は、帳票等の原稿を高精度に仕分けることができる。さらに、第２中央処理部２５は、二値化画像から文字を読み取り、文字データに変換してもよい。これにより、情報処理装置２０は、地紋画像が消去された二値化画像から高精度に文字データを抽出できる。あるいは、情報処理装置２０の第２インターフェース部２１に仕分け装置、ＯＣＲ装置等をさらに接続し、各画像及び各情報をこれらの装置に送信してもよい。これにより、外部の仕分け装置、ＯＣＲ装置等で入力画像の仕分け処理、文字の読取処理等を実施することができる。

以上詳述したように、図３に示したフローチャートに従って動作することによって、画像読取装置１０は、地紋画像のエッジ部分を孤立エッジ画素として精度よく抽出することが可能となり、入力画像に背景要素があるか否かを、孤立エッジ画素の隣接する画素間の輝度差に基づいて高精度に判定することが可能となった。

図１０は、図３に示すフローチャートに従って、図４に示す輝度画像４００を二値化した二値化画像の一例である。画像読取装置１０は、輝度画像４００に基づく間引き画像から波模様部分と無地部分の境界を孤立エッジ画素として抽出し、その孤立エッジ画素による孤立ヒストグラムに基づいて入力画像に地紋画像が含まれると判定する。そして、画像読取装置１０は、輝度画像４００から波模様部分を消去し、文字部分のみを残すように地紋閾値及び二値化閾値を定めて二値化画像１０００を生成する。

図１１は、図４に示す輝度画像４００を予め定められた二値化閾値を用いて二値化した二値化画像の一例である。この二値化閾値が波模様部分の輝度値より小さい場合、図１１に示すように波模様部分が消去されずに残る二値化画像１１００が生成される。

図１２（ａ）は、他の入力画像の一例であり、図１２（ｂ）は、その入力画像に基づく輝度画像を二値化した二値化画像である。図１２（ａ）の入力画像１２００には、濃度の低い手書き文字１２０１が表され、その上に蛍光ペンにより蛍光色１２０２が重ねて塗られている。画像読取装置１０は、入力画像１２００に基づく間引き画像から蛍光色１２０２と無地部分の境界を孤立エッジ画素として抽出し、その孤立エッジ画素による孤立ヒストグラムに基づいて入力画像に地紋画像が含まれると判定する。そして、画像読取装置１０は、輝度画像から手書き文字１２０１の周辺の蛍光色１２０２を消去しつつ、手書き文字１２０１を残すように地紋閾値及び二値化閾値を定めて二値化画像１２１０を生成する。このように、画像読取装置１０は、入力画像において文字等の実画像に色が塗られていたり、網掛けがされている場合でも、実画像を適切に抽出することが可能となる。

図１３は、判定処理及び二値化処理の動作の他の例を示すフローチャートである。以下、図１３に示したフローチャートを参照しつつ、判定処理及び二値化処理の動作の他の例を説明する。このフローチャートは、図１に示す画像読取装置１０において、前述した図３に示すフローチャートの代りに実行することが可能である。なお、以下に説明する動作のフローは、予め第１記憶部１４に記憶されているプログラムに基づき主に第１中央処理部１５により画像読取装置１０の各要素と協同して実行される。

図１３に示すフローチャートでは、図３に示すフローチャートと異なり、画像読取装置１０は、孤立ヒストグラムの収束度と連結エッジ画素のヒストグラムの収束度の相互の関係により入力画像に地紋画像が含まれるか否かを判定する。この相互の関係は、孤立ヒストグラムの収束度と、連結エッジ画素のヒストグラムの収束度の大小関係となる。図１３に示すステップＳ１３０１〜Ｓ１３０６、Ｓ１３１０〜Ｓ１３１２の処理は、図３に示すステップＳ３０１〜Ｓ３０６、Ｓ３１０〜Ｓ３１２の処理と同じであるため、説明を省略し、以下では、ステップＳ１３０７〜Ｓ１３０９の処理についてのみ説明する。

ステップＳ１３０７において、ヒストグラム生成部１０４は、孤立ヒストグラムを生成するとともに、間引き画像上の各連結エッジ画素における水平方向及び垂直方向の隣接差分値のヒストグラム（以下、連結ヒストグラムと称する）を生成する。

図１４（ａ）、（ｂ）は、孤立ヒストグラムと連結ヒストグラムの例を示す図である。図１４（ａ）、（ｂ）の横軸は、間引き画像上の各エッジ画素の隣接差分値を示し、縦軸は、連結ヒストグラムの分布値の最大値が１になるように正規化したヒストグラムの分布率を示す。図１４（ａ）のグラフ１４００には、地紋画像を含む入力画像について生成された孤立ヒストグラム１４０１及び連結ヒストグラム１４０２が示され、図１４（ｂ）のグラフ１４１０には、地紋画像を含まない入力画像について生成された孤立ヒストグラム１４１１及び連結ヒストグラム１４１２が示される。

次に、特徴量抽出部１０６は、ヒストグラム生成部１０４により生成された孤立ヒストグラム及び連結ヒストグラムに基づいて、入力画像に地紋画像が含まれるか否かを判定するための特徴量を算出する（ステップＳ１３０８）。

連結エッジ画素のほとんどは、実画像又は地紋画像のエッジに対応して抽出される。つまり、連結エッジ画素の隣接差分値のほとんどは、実画像の輝度値と無地部分の輝度値の差、地紋画像の輝度値と無地部分の輝度値の差、又は実画像の輝度値と地紋画像の輝度値の差のうちの何れかとなる。従って、図１４（ａ）に示すように、地紋画像を含む入力画像について生成された連結ヒストグラム１４０２は、広範囲にわたって分布する。つまり、連結ヒストグラム１４０２は、極値を一つ以上有し、かつ孤立ヒストグラム１４０１よりも収束度が低い傾向にある。そこで、特徴量抽出部１０６は、入力画像に地紋画像が含まれるか否かを判定するための特徴量として、孤立ヒストグラムと連結ヒストグラムの両方について収束度を算出する。収束度の算出については図３のフローチャートのステップＳ３０８で詳細に説明したので説明を省略する。

次に、特徴量解析部１０７は、孤立ヒストグラムの収束度が連結ヒストグラムの収束度以上であるか否かに基づいて、入力画像に地紋画像が含まれるか否かを判定し、その判定した結果情報を第１画像メモリ部１２に保存する（ステップＳ１３０９）。

特徴量解析部１０７は、孤立ヒストグラムの収束度が連結ヒストグラムの収束度以上である場合、入力画像に地紋画像が含まれると判定し、孤立ヒストグラムの収束度が連結ヒストグラムの収束度未満である場合、入力画像に地紋画像が含まれないと判定する。

以上詳述したように、図１３に示したフローチャートに従って動作することによって、画像読取装置１０は、入力画像に背景要素があるか否かを、孤立エッジ画素の分布と連結エッジ画素の分布の相互の関係に基づいて高精度に判定することが可能となった。

図１５は、判定処理及び二値化処理の動作のさらに他の例を示すフローチャートである。以下、図１５に示したフローチャートを参照しつつ、判定処理及び二値化処理の動作の他の例を説明する。このフローチャートは、図１に示す画像読取装置１０において、前述した図３、１３に示すフローチャートの代りに実行することが可能である。なお、以下に説明する動作のフローは、予め第１記憶部１４に記憶されているプログラムに基づき主に第１中央処理部１５により画像読取装置１０の各要素と協同して実行される。

図１５に示すフローチャートでは、図１３に示すフローチャートと異なり、画像読取装置１０は、孤立ヒストグラムの分布値の最大値と、連結ヒストグラムの分布値の最大値の相互の関係により入力画像に地紋画像が含まれるか否かを判定する。この相互の関係は、連結ヒストグラムの分布値の最大値に対する孤立ヒストグラムの分布値の最大値の割合が所定以上であるか否かにより規定される。図１５に示すステップＳ１５０１〜Ｓ１５０７、Ｓ１５１０〜Ｓ１５１２の処理は、図１３に示すステップＳ１３０１〜Ｓ１３０７、Ｓ１３１０〜Ｓ１３１２の処理と同じであるため、説明を省略し、以下では、ステップＳ１５０８、Ｓ１５０９の処理についてのみ説明する。

ステップＳ１５０８において、特徴量抽出部１０６は、入力画像に地紋画像が含まれるか否かを判定するための特徴量を求める。

地紋画像は、入力画像において一定以上の割合を占めるものと考えられ、間引き画像において地紋画像のエッジに対応して抽出される孤立エッジ画素は一定以上存在すると考えられる。そこで、特徴量抽出部１０６は、入力画像に地紋画像が含まれるか否かを判定するための特徴量として、連結ヒストグラムの分布値の最大値に対する、孤立ヒストグラムの分布値の最大値の割合（以下、最大分布率と称する）を求める。

次に、特徴量解析部１０７は、最大分布率が所定割合D_H以上であるか否かに基づいて、入力画像に地紋画像が含まれるか否かを判定する（ステップＳ１５０９）。特徴量解析部１０７は、最大分布率が所定割合D_H以上である場合、入力画像に地紋画像が含まれると判定し、最大分布率が所定割合D_H未満である場合、入力画像に地紋画像が含まれないと判定する。例えば、この所定割合D_Hは、３０％とすることができる。

あるいは、間引き画像全体の画素数に対する孤立ヒストグラムの分布値の最大値の割合を、入力画像に地紋画像が含まれるか否かを判定するための特徴量としてもよい。その場合、特徴量解析部１０７は、間引き画像全体の画素数に対する孤立ヒストグラムの分布値の最大値の割合が所定割合D_H2以上である場合、入力画像に地紋画像が含まれると判定し、その割合が所定割合D_H2未満である場合、入力画像に地紋画像が含まれないと判定する。例えば、この所定割合D_H2は、１０％とすることができる。

以上詳述したように、図１５に示したフローチャートに従って動作することによって、画像読取装置１０は、入力画像に背景要素があるか否かを、孤立エッジ画素の個数に基づいて高精度に判定することが可能となった。

なお、特徴量解析部１０７は、孤立ヒストグラムにおける極値の個数、孤立ヒストグラムの収束度、孤立ヒストグラムの収束度と連結ヒストグラムの収束度の関係、及び最大分布率による条件を任意に組み合わせて入力画像に地紋画像が含まれるか否かを判定してもよい。特徴量解析部１０７は、全ての条件が満たされたときに入力画像に地紋画像が含まれると判定し、何れかの条件が満たされないときに入力画像に地紋画像が含まれないと判定することにより、より高精度に地紋画像の有無を判定することができる。

図１６は、他の画像処理システム２の概略構成を示す図である。図１６に示す画像処理システム２と、図１に示す画像処理システム１との差異は、画像処理部を備える装置が異なる点である。すなわち、画像処理システム２では、画像読取装置３０ではなく、情報処理装置４０が画像処理部４６を有する。この画像処理部４６は、図１に示した画像読取装置１０の画像処理部１６と同様の機能を有する。

図１６に示す画像処理システム２では、前述した図３、１３、１５に示す処理とほぼ同様の処理を実行することができる。以下、図３のフローチャートに示される判定処理についてどのように適応されるかを説明する。画像処理システム２では、ステップＳ３０１の処理は、予め第１記憶部３４に記憶されているプログラムに基づき主に第１中央処理部３５により画像読取装置３０の各要素と協同して実行され、ステップＳ３０２〜Ｓ３１１の処理は、予め第２記憶部４４に記憶されているプログラムに基づき主に第２中央処理部４５により情報処理装置４０の各要素と協同して実行される。

ステップＳ３０１において、画像読取装置３０の画像入力部３１が入力画像を生成して第１画像メモリ部３２に保存し、第１中央処理部３５がその入力画像を第１インターフェース部３３を介して情報処理装置４０に送信する。一方、情報処理装置４０の第２中央処理部４５は、第２インターフェース部４１を介して画像読取装置３０から入力画像を受信すると、受信した入力画像を第２画像メモリ部４２に保存する。

ステップＳ３０２〜Ｓ３１１の処理は、情報処理装置４０の画像処理部４６によって実行される。これらの処理の動作は、画像処理システム１について説明した画像読取装置１０の画像処理部１６によって実行される場合と同様である。なお、画像処理システム２では、情報処理装置４０の画像処理部４６において判定処理及び二値化処理が実行されるので、ステップＳ３１２における各画像及び各情報の送信処理は省略される。

同様に、画像処理システム２に図１３、１５のフローチャートに示される判定処理が適用される場合、ステップＳ１３０１、Ｓ１５０１の処理は、予め第１記憶部３４に記憶されているプログラムに基づき主に第１中央処理部３５により画像読取装置３０の各要素と協同して実行され、ステップＳ１３０２〜Ｓ１３１１、Ｓ１５０２〜Ｓ１５１１の処理は、予め第２記憶部４４に記憶されているプログラムに基づき主に第２中央処理部４５により情報処理装置４０の各要素と協同して実行される。ステップＳ１３０１、Ｓ１５０１の処理の動作は、ステップＳ３０１の処理の動作と同様の動作となる。また、ステップＳ１３０２〜Ｓ１３１１、Ｓ１５０２〜Ｓ１５１１の処理は情報処理装置４０の画像処理部４６によって実行され、ステップＳ１３１２、Ｓ１５１２の処理は省略される。

このように、情報処理装置４０が画像処理部４６を備えて判定処理及び二値化処理を実行する場合も、画像読取装置が画像処理部を備えて判定処理及び二値化処理を実行する場合と同様の効果を得ることができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、画像読取装置と情報処理装置の機能分担は、図１及び図１６に示す画像処理システムの例に限られず、画像処理部内の各部を含めて画像読取装置及び情報処理装置の各部を画像読取装置と情報処理装置の何れに配置するかは適宜変更可能である。あるいは、画像読取装置と情報処理装置を一つの装置で構成してもよい。

また、図１に示す画像処理システム１において、画像読取装置１０の第１インターフェース部１３と、情報処理装置２０の第２インターフェース部２１を直接接続するのではなく、例えばインターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インターフェース部１３及び第２インターフェース部２１に、接続するネットワークの通信インターフェース回路を備える。

同様に、図１６に示す画像処理システム２においても、画像読取装置３０の第１インターフェース部３３と、情報処理装置４０の第２インターフェース部４１をネットワークを介して接続してもよい。その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置４０を分散して配置し、各情報処理装置４０が協同して、判定処理、二値化処理等の画像処理、画像データの保存等を分担するようにしてもよい。これにより、画像処理システム２は、複数の画像読取装置３０が生成した入力画像について、効率よく判定処理、二値化処理を実施できる。

１、２ 画像処理システム
１０、３０ 画像読取装置
１１、３１ 画像入力部
１２、３２ 第１画像メモリ部
１３、３３ 第１インターフェース部
１４、３４ 第１記憶部
１５、３５ 第１中央処理部
１６、４６ 画像処理部
２０、４０ 情報処理装置
２１、４１ 第２インターフェース部
２２、４２ 第２画像メモリ部
２３、４３ 表示部
２４、４４ 第２記憶部
２５、４５ 第２中央処理部
１０１ 間引き画像生成部
１０２ エッジ画素抽出部
１０３ エッジクラス抽出部
１０４ ヒストグラム生成部
１０５ 判定部
１０６ 特徴量抽出部
１０７ 特徴量解析部
１０８ 閾値算出部
１０９ 二値化処理部

Claims (8)

1. 入力画像から画素を間引いた間引き画像を生成する間引き画像生成部と、
   前記間引き画像からエッジ画素を抽出するエッジ画素抽出部と、
   前記エッジ画素から隣接するエッジ画素のない孤立エッジ画素を抽出するエッジクラス抽出部と、
   前記孤立エッジ画素と前記孤立エッジ画素に隣接する画素との間の輝度値の差分値のヒストグラムである孤立ヒストグラムを生成するヒストグラム生成部と、
   前記孤立ヒストグラムに基づいて、前記入力画像に背景要素があるか否かの判定を行う判定部と、
   を有することを特徴とする画像処理装置。
2. 前記エッジクラス抽出部は、前記エッジ画素から隣接するエッジ画素のある連結エッジ画素をさらに抽出し、
   前記ヒストグラム生成部は、前記連結エッジ画素と前記連結エッジ画素に隣接する画素との間の輝度値の差分値のヒストグラムである連結ヒストグラムをさらに生成し、
   前記判定部は、前記孤立ヒストグラム及び前記連結ヒストグラムに基づいて、前記入力画像に前記背景要素があるか否かの判定を行う、請求項１に記載の画像処理装置。
3. 前記判定部は、前記連結ヒストグラムの収束の度合と前記孤立ヒストグラムの収束の度合の相互の関係に基づいて前記入力画像に前記背景要素があるか否かの判定を行う、請求項２に記載の画像処理装置。
4. 前記判定部は、前記連結ヒストグラムの最大値と前記孤立ヒストグラムの最大値の相互の関係に基づいて前記入力画像に前記背景要素があるか否かの判定を行う、請求項２または３に記載の画像処理装置。
5. 前記判定部は、前記孤立ヒストグラムの収束の度合に基づいて前記入力画像に前記背景要素があるか否かの判定を行う、請求項１に記載の画像処理装置。
6. 前記判定部は、前記孤立ヒストグラムの最大値に対する比率が所定以上となる範囲の大きさにより前記収束の度合を求める、請求項５に記載の画像処理装置。
7. 入力画像から画素を間引いた間引き画像を生成するステップと、
   前記間引き画像からエッジ画素を抽出するステップと、
   前記エッジ画素から隣接するエッジ画素のない孤立エッジ画素を抽出するステップと、
   前記孤立エッジ画素と前記孤立エッジ画素に隣接する画素との間の輝度値の差分値のヒストグラムである孤立ヒストグラムを生成するステップと、
   前記孤立ヒストグラムに基づいて、前記入力画像に背景要素があるか否かの判定を行うステップと、
   を含むことを特徴とする画像処理方法。
8. 入力画像から画素を間引いた間引き画像を生成するステップと、
   前記間引き画像からエッジ画素を抽出するステップと、
   前記エッジ画素から隣接するエッジ画素のない孤立エッジ画素を抽出するステップと、
   前記孤立エッジ画素と前記孤立エッジ画素に隣接する画素との間の輝度値の差分値のヒストグラムである孤立ヒストグラムを生成するステップと、
   前記孤立ヒストグラムに基づいて、前記入力画像に背景要素があるか否かの判定を行うステップと、
   をコンピュータに実行させることを特徴とするコンピュータプログラム。