JP5939962B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本明細書で論じられる実施態様は、画像に含まれるノイズ強度の推定に関する。

従来、文書から文字情報を抽出する場合には、文書をスキャナ装置等で読み取ってデジタル画像を生成する。このように文書から生成したデジタル画像にはノイズが含まれることがある。デジタル画像に含まれるノイズを除去するために、メディアンフィルタ、平均フィルタ、ガウシアンフィルタ等のノイズ除去フィルタを使用することができる。

関連する技術として、Ｓ／Ｎ(Signal/Noise)比に依存した画像処理方法が知られている。画像処理方法は、画像の少なくとも１つの領域に対するＳ／Ｎ比を計算し、前記少なくとも１つのＳ／Ｎ比に基づいてフィルタパラメータを決定し、前記フィルタパラメータに基づいて画像の少なくとも１つの領域を処理する（特許文献１を参照）。

関連する他の技術として、画像信号処理装置が、画像入力素子によって獲得されかつカラー情報に基づいて複数領域に所定の画像処理を施すようになされた画像信号を分割する領域分割部と、領域分割部によって分割された画像信号の個々の領域に関して異なるノイズ削減処理を実行するノイズ削減部を含むことが知られている（特許文献２を参照）。

米国特許第７２４８７４９号明細書 米国特許出願公開第２０１０／０１８２４６１号明細書

文書から生成したデジタル画像から文字を抽出する抽出精度は、デジタル画像に含まれるノイズにより大きく左右される。このため、デジタル画像に含まれるノイズの強度を知ることが望ましい。

例えば、デジタル画像に含まれるノイズの強度に比べてノイズ除去効果が強すぎるフィルタを用いれば、画像内の文字情報も除去してしまうおそれがある。一方で、デジタル画像に含まれるノイズの強度に比べてノイズ除去効果が弱すぎるフィルタを用いればデジタル画像に含まれるノイズが十分に除去されないおそれがある。ノイズの強度情報は、例えばこのようなフィルタの選択に有用である。

本発明は、画像に含まれるノイズ強度を推定することを目的とする。

本発明の一側面に係る画像処理装置は、入力画像を複数の分割画像に分割する分割部と、複数の分割画像毎にノイズ除去前の分割画像とノイズ除去後の分割画像との間の差分画像を算出する差分画像算出部と、複数の分割画像毎にノイズ除去前の分割画像における画素強度と差分画像における画素強度との間の相対値を算出する相対値算出部と、複数の分割画像毎に算出される相対値の度数分布に含まれる、入力画像の下地領域における相対値の度数分布を検出する分布検出部と、下地領域における相対値の度数分布に応じてノイズ強度を推定する推定部を備える。

本発明の一側面に係る画像処理方法は、入力画像を複数の分割画像に分割し、複数の分割画像毎にノイズ除去前の分割画像とノイズ除去後の分割画像との間の差分画像を算出し、複数の分割画像毎にノイズ除去前の分割画像における画素強度と差分画像における画素強度との間の相対値を算出し、複数の分割画像毎に算出される相対値の度数分布に含まれる、入力画像の下地領域における相対値の度数分布を検出し、下地領域における前記相対値の度数分布に応じてノイズ強度を推定することを含む。

本発明の一側面に係るコンピュータプログラムは、入力画像を複数の分割画像に分割する処理と、複数の分割画像毎にノイズ除去前の分割画像とノイズ除去後の分割画像との間の差分画像を算出する処理と、複数の分割画像毎にノイズ除去前の分割画像における画素強度と差分画像における画素強度との間の相対値を算出する処理と、複数の分割画像毎に算出される相対値の度数分布に含まれる、入力画像の下地領域における相対値の度数分布を検出する処理と、下地領域における前記相対値の度数分布に応じてノイズ強度を推定する処理をコンピュータに実行させる。

本発明によれば、画像に含まれるノイズ強度を推定することができる。

画像処理システムのハードウエア構成図である。 画像処理部の機能構成の第１例の説明図である。 （Ａ）は入力画像の一例を示す図であり、（Ｂ）は入力画像の分割の説明図である。 （Ａ）〜（Ｃ）は、分割画像の例の説明図である。 ノイズ除去後の分割画像の一例を示す図である。 相対値の度数分布のヒストグラムの第１例を示す図である。 画像読取装置の動作の一例の説明図である。 ノイズ強度推定処理の第１例の説明図である。 （Ａ）〜（Ｃ）は、それぞれ比較的弱いノイズを含む入力画像と、その二値化画像と、ノイズ除去後に二値化された画像の例示を示す図である。 （Ａ）〜（Ｃ）は、それぞれ比較的強いノイズを含む入力画像と、その二値化画像と、ノイズ除去後に二値化された画像の例示を示す図である。 （Ａ）は相対値の度数分布のヒストグラムの第２例を示す図であり、（Ｂ）はローパスフィルタによるフィルタリング後のヒストグラムを示す図である。 相対値の度数分布のヒストグラムの第３例を示す図である。 相対値の度数分布のヒストグラムの第４例を示す図である。 （Ａ）及び（Ｂ）は、それぞれ相対値の度数分布のヒストグラムの第５例及び第６例を示す図である。 相対値の度数分布のヒストグラムの第７例を示す図である。 画像処理部の機能構成の第２例の説明図である。 （Ａ）は二値化画像の例を示す図であり、（Ｂ）は二値化画像で検出されたブロックの例を示す図であり、（Ｃ）はブロックの中心座標の例を示す図であり、（Ｄ）は中心座標を結ぶ近似直線の例を示す図である。 ノイズ強度推定処理の第２例の説明図である。 分割サイズ調整処理の一例の説明図である。

＜１．第１実施例＞
以下、本発明に係る画像処理装置、画像処理方法及びコンピュータプログラムの実施例について図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施例に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

＜１．１．ハードウエア構成＞
図１は、画像処理システムのハードウエア構成図である。画像処理システム１は、画像読取装置１０と、情報処理装置２０とを有する。画像読取装置１０は、例えばイメージスキャナ、デジタルカメラ等であり、情報処理装置２０は、例えば画像読取装置１０に接続して用いられるパーソナルコンピュータ等である。

画像読取装置１０は、画像入力部１１と、第１画像メモリ部１２と、第１インタフェース部１３と、第１記憶部１４と、第１中央処理部１５と、画像処理部１６とを有する。以下、画像読取装置１０の各部について詳細に説明する。

画像入力部１１は、撮像対象物である原稿、風景、人物等を撮像する撮像センサを有する。なお、以下では、撮像対象物が原稿であるものとして説明する。撮像センサは、１次元又は２次元に配列されたＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子と、撮像素子に撮像対象物の像を結像する光学系を備える。撮像素子は、各画素毎にＲＧＢ(Red‐Green‐Blue)の各色に対応するアナログ値を出力する。赤、緑及び青に対応する信号の値をそれぞれＲ値、Ｇ値及びＢ値と表記することがある。

画像入力部１１は、撮像素子から出力されるアナログ信号をデジタル信号に変換して画像データ（以下、ＲＧＢ画像と称する）を生成する。ＲＧＢ画像は、各画素のＲ値、Ｇ値及びＢ値を各々８ｂｉｔで表現するカラー画像データであってよい。

そして、画像入力部１１は、ＲＧＢ画像の各画素のＲ値、Ｇ値及びＢ値を輝度値及び色差値であるＹＵＶ値に変換した画像（以下、入力画像と称する）を生成し、第１画像メモリ部１２に保存する。なお、ＹＵＶ値を構成するＹ値、Ｕ値及びＶ値は、例えば以下の式により算出することができる。
Ｙ値＝ ０．３０×Ｒ値＋０．５９×Ｇ値＋０．１１×Ｂ値 （１）
Ｕ値＝−０．１７×Ｒ値−０．３３×Ｇ値＋０．５０×Ｂ値 （２）
Ｖ値＝ ０．５０×Ｒ値−０．４２×Ｇ値−０．０８×Ｂ値 （３）

第１画像メモリ部１２は、不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク等の記憶装置を有する。第１画像メモリ部１２は、画像入力部１１と接続され、画像入力部１１により生成された入力画像を保存する。第１画像メモリ部１２は、画像処理部１６と接続され、画像処理部１６が入力画像に画像処理を施して生成した画像を保存する。

第１インタフェース部１３は、ＵＳＢ(Universal Serial Bus)等のシリアルバスに準じるインタフェース回路を有し、情報処理装置２０と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インタフェース部１３にフラッシュメモリ等を接続して第１画像メモリ部１２に保存されている画像データを保存するようにしてもよい。また、第１インタフェース部１３は、無線回線を経由して情報処理装置２０と通信を行う無線インタフェース回路を備えてもよい。

第１記憶部１４は、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶部１４には、画像読取装置１０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。

第１中央処理部１５は、画像入力部１１、第１画像メモリ部１２、第１インタフェース部１３、第１記憶部１４、及び画像処理部１６と接続され、これらの各部を制御する。第１中央処理部１５は、画像入力部１１の入力画像生成制御、第１画像メモリ部１２の制御、第１インタフェース部１３を介した情報処理装置２０とのデータ送受信制御、第１記憶部１４の制御、画像処理部１６による画像処理の制御等を行う。

画像処理部１６は、第１画像メモリ部１２に接続され、入力画像に含まれるノイズ強度を推定する処理と、入力画像に含まれるノイズを除去する処理と、ノイズが除去された入力画像を二値化する二値化処理を行う。画像処理部１６は、第１中央処理部１５に接続され、第１中央処理部１５からの制御により予め第１記憶部１４に記憶されているプログラムに基づいて動作する。なお、画像処理部１６は、独立した集積回路、マイクロプロセッサ、ファームウェア等により実現されてもよい。

情報処理装置２０は、第２インタフェース部２１と、第２画像メモリ部２２と、表示部２３と、入力部２４と、第２記憶部２５と、第２中央処理部２６とを有する。以下、情報処理装置２０の各部について詳細に説明する。

第２インタフェース部２１は、画像読取装置１０の第１インタフェース部１３と同様のインタフェース回路を有し、情報処理装置２０と画像読取装置１０とを接続する。

第２画像メモリ部２２は、画像読取装置１０の第１画像メモリ部１２と同様の記憶装置を有する。第２画像メモリ部２２には、第２インタフェース部２１を介して画像読取装置１０から受信した画像データが保存される。

表示部２３は、液晶ディスプレイ、ＯＥＬＤ(organic electroluminescence display)等の表示装置と、表示装置に画像データを出力するインタフェース回路を有する。表示部２３は、第２画像メモリ部２２と接続されて第２画像メモリ部２２に保存されている画像データを表示装置に表示する。

入力部２４は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者の操作に応じた信号を第２中央処理部２６に出力する。

第２記憶部２５は、画像読取装置１０の第１記憶部１４と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶部２５には、情報処理装置２０の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。

第２中央処理部２６は、第２インタフェース部２１、第２画像メモリ部２２、表示部２３、入力部２４及び第２記憶部２５と接続され、これらの各部を制御する。第２中央処理部２６は、第２インタフェース部２１を介した画像読取装置１０とのデータ送受信制御、第２画像メモリ部２２の制御、表示部２３の表示制御、入力部２４の入力制御、第２記憶部２５の制御等を行う。

なお、図１に示すハードウエア構成は実施例の説明のための例示にすぎない。以下の動作を実行するものであれば、本明細書に記載される画像処理システム１は他のどのようなハードウエア構成を採用してもよい。

＜１．２．機能構成＞
図２は、画像処理部１６の機能構成の第１例の説明図である。画像処理部１６は、分割部３０と、差分画像算出部３１と、相対値算出部３２と、分布検出部３３と、推定部３４と、ノイズ除去部３５と、二値化部３６を備える。なお、図２の機能構成図は、画像処理部１６に関して本明細書で説明される機能に関係する構成を中心に示している。画像処理部１６は、図示の構成要素以外の他の構成要素を含んでいてよい。図１６の機能構成図も同様である。

分割部３０は、第１画像メモリ部１２に格納された入力画像を読み出し、入力画像を複数の分割画像に分割する。図３の（Ａ）は入力画像の一例の説明図である。例示の入力画像５０は文字を含み、文字は下地領域よりも画素強度が小さい画素で形成される。すなわち、文字は下地領域よりも明度が低く濃度が濃い。このような入力画像は、例えば白下地に黒い文字が印刷された原稿を画像入力部１１で撮像した場合に取得される。

図３の（Ｂ）は、分割部３０による入力画像５０の分割の説明図である。図３の（Ｂ）の破線は分割線を示す。１つの分割画像の幅方向の画素数はＷであり、高さ方向の画素数はＨである。参照符号Ｉ（Ｒ）は、入力画像５０から分割された各分割画像を参照するための参照符号であり、符号Ｒは、分割画像が取り出された領域を一意に指定する変数である。

図４の（Ａ）〜図４の（Ｃ）は、分割画像Ｉ（Ｒ）の例の説明図である。分割画像Ｉ（Ｒｉ）、Ｉ（Ｒｊ）及びＩ（Ｒｋ）は、入力画像５０内の異なる領域Ｒｉ、Ｒｊ及びＲｋから取り出された画像である。分割画像Ｉ（Ｒｉ）、Ｉ（Ｒｊ）及びＩ（Ｒｋ）は、元の入力画像５０から取り出された領域の違いによって、文字の画素を含む画像と下地領域の画素のみを含む画像とに分類される。

例えば、分割画像Ｉ（Ｒｉ）及びＩ（Ｒｊ）は、文字の画素５１と下地領域の画素５２の両方を含むのに対して、分割画像Ｉ（Ｒｋ）は、下地領域の画素５２のみを含む。また、文字の画素５１を含む分割画像Ｉ（Ｒｉ）及びＩ（Ｒｊ）の間でも、入力画像５０から取り出された位置によって文字の画素が占める割合が異なる。例えば、分割画像Ｉ（Ｒｉ）は、分割画像Ｉ（Ｒｊ）よりも多くの文字の画素５１に占められる。

図２を参照する。差分画像算出部３１は、所定のノイズ除去処理によって分割画像Ｉ（Ｒ）からノイズを除去された画像に相当するノイズ除去後の分割画像ＩＦ（Ｒ）を生成する。例えば、差分画像算出部３１は、分割画像Ｉ（Ｒ）それぞれにノイズ除去処理を施すことによってノイズ除去後の分割画像ＩＦ（Ｒ）を生成してよい。他の実施例では、ノイズ除去処理後の入力画像５０を、分割画像Ｉ（Ｒ）の分割と同様に分割することによりノイズ除去後の分割画像ＩＦ（Ｒ）を生成してもよい。

所定のノイズ除去処理は、所定強度のノイズを完全に除去する効果が期待できる程度の強さのノイズ除去処理であってよい。例えば、所定のノイズ除去処理は、下地領域に含まれる所定強度のノイズを完全に除去することができれば、ノイズ除去後の画像から文字情報の一部が欠落する程度の比較的強い効果を有する処理であってもよい。所定のノイズ除去処理は、例えばノイズ除去フィルタによるフィルタリングであってよい。図５は、ノイズ除去後の分割画像ＩＦ（Ｒ）の一例を示す図である。

差分画像算出部３１は、分割画像Ｉ（Ｒ）毎に（すなわち領域Ｒ毎に）、ノイズ除去前の分割画像Ｉ（Ｒ）とノイズ除去後の分割画像ＩＦ（Ｒ）との間の差分画像ＩＮ（Ｒ）を算出する。

相対値算出部３２は、分割画像Ｉ（Ｒ）毎に、ノイズ除去前の分割画像Ｉ（Ｒ）における画素強度と差分画像ＩＮ（Ｒ）における画素強度との間の相対値Ｔ（Ｒ）を算出する。分割画像Ｉ（Ｒ）における画素強度とは、分割画像Ｉ（Ｒ）に含まれる全部又は一部の画素から導出される、分割画像Ｉ（Ｒ）に含まれる全部の画素の画素強度を代表する代表値である。同様に、差分画像ＩＮ（Ｒ）における画素強度とは、差分画像ＩＮ（Ｒ）に含まれる全部又は一部の画素から導出される、差分画像ＩＮ（Ｒ）に含まれる全部の画素の画素強度を代表する代表値である。

例えば、分割画像Ｉ（Ｒ）の画素強度は、次の数１により、又は次式により算出される分割画像Ｉ（Ｒ）に含まれる画素の画素強度のパワースペクトルＰ１であってよい。Ｉ（Ｒ，ｍ，ｎ）は、分割画像Ｉ（Ｒ）内の座標（ｍ，ｎ）の画素の画素強度である。画像内に含まれる画素の画素強度のパワースペクトルとは、画像内に含まれる画素の二乗値の合計をいう。

例えば、差分画像ＩＮ（Ｒ）の画素強度は、次の数２により、又は次式により算出される差分画像ＩＮ（Ｒ）に含まれる画素の画素強度のパワースペクトルＰ２であってよい。ＩＦ（Ｒ，ｍ，ｎ）は、ノイズ除去後の分割画像ＩＦ（Ｒ）内の座標（ｍ，ｎ）の画素の画素強度である。

上記のパワースペクトルは、分割画像Ｉ（Ｒ）における画素強度及び差分画像ＩＮ（Ｒ）の画素強度の一例である。分割画像Ｉ（Ｒ）における画素強度及び差分画像ＩＮ（Ｒ）の画素強度を計算する他の計算式が使用されてもよい。例えば、分割画像Ｉ（Ｒ）における画素強度及び差分画像ＩＮ（Ｒ）の画素強度は、それぞれ分割画像Ｉ（Ｒ）内の画素の絶対値の合計及び差分画像ＩＮ（Ｒ）の内の画素の絶対値の合計であってもよい。

相対値算出部３２は、ノイズ除去前の分割画像Ｉ（Ｒ）における画素強度と差分画像ＩＮ（Ｒ）における画素強度の比に基づき相対値Ｔ（Ｒ）を算出する。例えば、相対値算出部３２は、次の数３により、又は次式により算出される相対値Ｔ（Ｒ）を算出する。数３の相対値Ｔ（Ｒ）は、ノイズ除去前の分割画像Ｉ（Ｒ）における画素強度と差分画像ＩＮ（Ｒ）における画素強度の比のデシベル表現である。

相対値Ｔ（Ｒ）は、他の計算式により算出されてもよい。例えば、相対値算出部３２は、ノイズ除去前の分割画像Ｉ（Ｒ）における画素強度と差分画像ＩＮ（Ｒ）における画素強度の比そのものを相対値Ｔ（Ｒ）として算出してもよい。

差分画像ＩＮ（Ｒ）はノイズ除去前の分割画像Ｉ（Ｒ）からノイズ除去後の分割画像ＩＦ（Ｒ）を差し引いたものであるから、差分画像ＩＮ（Ｒ）における画素強度は、分割画像Ｉ（Ｒ）に含まれるノイズ成分の強度を示すことが期待される。したがって、分割画像Ｉ（Ｒ）と差分画像ＩＮ（Ｒ）の相対値Ｔ（Ｒ）は、分割画像Ｉ（Ｒ）における信号対雑音比(SNR: signal noise ratio)を近似する。

分布検出部３３は、複数の分割画像Ｉ（Ｒ）毎に算出される相対値Ｔ（Ｒ）の度数分布のヒストグラムを生成する。図６は、相対値Ｔ（Ｒ）の度数分布のヒストグラムの第１例を示す図である。

下地領域に文字を含む入力画像の場合、度数分布が複数のまとまりを生じることが期待される。上述のとおり、文字の画素の画素強度は下地領域の画素の画素強度よりも小さい。したがって、図４の（Ａ）及び図４の（Ｂ）に示すような文字の画素を含む分割画像Ｉ（Ｒｉ）及びＩ（Ｒｊ）における画素強度は、図４の（Ｃ）に示すような下地領域の画素のみの分割画像Ｉ（Ｒｋ）における画素強度よりも小さい。この結果、分割画像Ｉ（Ｒｉ）及びＩ（Ｒｊ）について算出される相対値Ｔ（Ｒｉ）及びＴ（Ｒｊ）は、Ｉ（Ｒｋ）について算出される相対値Ｔ（Ｒｋ）よりも小さくなる。

このため、相対値Ｔ（Ｒ）の度数分布は、文字の画素を含む分割画像について算出された相対値の度数の分布６０と、下地領域の画素のみを含む分割画像について算出された相対値の度数の分布６１とに分離される。図６の例では、文字の画素を含む場合の相対値の度数は、下地領域の画素のみを含む場合の相対値の度数よりも、より小さい相対値の範囲６０に分布する。

分布検出部３３は、複数の分割画像Ｉ（Ｒ）毎に算出される相対値Ｔ（Ｒ）の度数分布に含まれる、下地領域における相対値Ｔ（Ｒ）の度数分布を検出する。例えば、分布検出部３３は、分布６０及び６１のうちより大きな相対値の範囲にある分布６１を、下地領域における相対値Ｔ（Ｒ）の度数分布として検出する。度数分布６１の検出方法は、後述の「２．下地領域における相対値の度数分布の検出処理」にてより詳しく例示する。

なお、下地領域よりも画素強度が大きな画素で文字が形成される場合、例えば、黒下地に白い文字が印刷された原稿から入力画像が取得される場合もある。このような場合には、文字の画素を含む場合の相対値の度数は、下地領域の画素のみを含む場合の相対値の度数よりも、より大きい相対値の範囲に分布する。分布検出部３３は、相対値が異なる範囲にある相対値の複数の分布のうち、より小さな相対値の範囲にある分布を、下地領域における相対値Ｔ（Ｒ）の度数分布として検出してよい。

推定部３４は、下地領域における相対値Ｔ（Ｒ）の度数分布６１に応じて入力画像に含まれるノイズ強度を推定する。例えば、推定部３４は、度数分布６１内において度数が極大値となる相対値ＴＮに基づいてノイズ強度を推定する。他の実施例では、推定部３４は度数分布６１内において度数が最大値となる相対値に基づいてノイズ強度を推定する。また他の実施例では、推定部３４は度数分布６１の分布範囲の中央の相対値に基づいてノイズ強度を推定する。

ノイズ除去部３５は、推定部３４により推定されたノイズ強度に応じて、ノイズ除去フィルタを選択する。例えば、ノイズ除去部３５は、相対値ＴＮに応じてノイズ除去フィルタを選択してよい。ノイズ強度が強い場合ほど、相対値ＴＮはより小さな値になる。したがって、ノイズ除去部３５は、相対値ＴＮがより小さい場合ほど、よりノイズ除去効果が高いノイズ除去フィルタを選択する。例えば、ノイズ除去部３５は、相対値ＴＮがより小さい場合ほどより効果が高いフィルタを、３×３平均フィルタ、３×３メディアンフィルタ、５×５平均フィルタ、５×５メディアンフィルタ…等の効果が異なるフィルタの中から選択する。

例えば、ノイズ除去部３５は、相対値ＴＮがより小さい場合ほどノイズ除去効果がより高くなるように、ガウシアンフィルタ等の適用フィルタのパラメータを調整する。ノイズ除去部３５は、選択されたノイズ除去フィルタにより入力画像のノイズを除去する。

二値化部３６は、ノイズ除去部３５によりノイズが除去された入力画像を二値化する。二値化部３６は、入力画像の二値化画像を第１画像メモリ部１２に格納する。第１中央処理部１５は、第１インタフェース部１３を介して、第１画像メモリ部１２に保存された入力画像及び二値化画像を情報処理装置２０に送信する。

なお、分割部３０、差分画像算出部３１及び相対値算出部３２の上記動作は、第１記憶部１４に記憶されたプログラムに基づき第１中央処理部１５と画像読取装置１０の各構成要素とが協働することにより実行される。分布検出部３３、推定部３４、ノイズ除去部３５及び二値化部３６の上記動作は、第１記憶部１４に記憶されたプログラムに基づき第１中央処理部１５と画像読取装置１０の各構成要素とが協働することにより実行される。

＜１．３．動作説明＞
図７は、画像読取装置１０の動作の一例の説明図である。ステップＳ１００において画像入力部１１は、撮像対象物（原稿）を撮影した入力画像を生成し、第１画像メモリ部１２に保存する。

ステップＳ１０１において画像処理部１６は、ノイズ強度推定処理を行うことにより入力画像に含まれるノイズ強度を推定する。ステップＳ１０２においてノイズ除去部３５は、推定されたノイズ強度に応じて、ノイズ除去フィルタを選択する。ステップＳ１０３においてノイズ除去部３５は、選択したノイズ除去フィルタにより入力画像のノイズを除去する。

ステップＳ１０４において二値化部３６は、ノイズ除去部３５によりノイズが除去された入力画像を二値化する。ステップＳ１０５において第１中央処理部１５は、入力画像及び二値化画像を情報処理装置２０に送信する。その後に動作は終了する。

図８は、図７のステップＳ１０１で実行されるノイズ強度推定処理の一例の説明図である。ステップＳ２００において分割部３０は、入力画像を複数の分割画像Ｉ（Ｒ）に分割する。ステップＳ２０１において差分画像算出部３１は、ノイズ除去フィルタで分割画像Ｉ（Ｒ）をフィルタリングすることによってノイズ除去後の分割画像ＩＦ（Ｒ）を生成する。

ステップＳ２０２において差分画像算出部３１は、ノイズ除去前の分割画像Ｉ（Ｒ）とノイズ除去後の分割画像ＩＦ（Ｒ）との間の差分画像ＩＮ（Ｒ）を算出する。ステップＳ２０３において相対値算出部３２は、ノイズ除去前の分割画像Ｉ（Ｒ）における画素強度と差分画像ＩＮ（Ｒ）における画素強度との間の相対値Ｔ（Ｒ）を算出する。

ステップＳ２０４において分布検出部３３は、複数の分割画像Ｉ（Ｒ）毎に算出される相対値Ｔ（Ｒ）の度数分布のヒストグラムを生成する。分布検出部３３は、ヒストグラムに基づき、複数の分割画像Ｉ（Ｒ）毎に算出される相対値Ｔ（Ｒ）の度数分布から下地領域における相対値Ｔ（Ｒ）の度数分布６１を検出する。

ステップＳ２０５において下地領域における相対値Ｔ（Ｒ）の度数分布６１に応じてノイズ強度を推定する。その後にノイズ強度推定処理は終了する。

＜１．４．実施例の効果＞
二値化処理前に一律の強度でノイズ除去処理を施すと、ノイズ除去効果が強すぎる場合に画像内の情報も除去され、ノイズ除去効果が弱すぎる場合にはノイズが十分に除去されない恐れがある。このため、従来の二値化処理では、二値化処理前にノイズ除去処理を行っていなかった。

図９の（Ａ）及び図９の（Ｂ）は、比較的弱いノイズを含む入力画像と、その二値化画像の例示を示す図である。図１０の（Ａ）及び図１０の（Ｂ）は、比較的強いノイズを含む入力画像と、その二値化画像の例示を示す図である。ノイズ除去処理を行わずに二値化処理を行ったため、図９の（Ｂ）及び図１０の（Ｂ）の二値化画像には多量のノイズが含まれている。

本実施例によれば、入力画像に含まれるノイズ強度を推定することができる。したがって、ノイズ強度に応じてノイズ除去処理の強度を変えることにより、二値化処理前にノイズ除去処理を実行することができるようになる。図９の（Ｃ）は、本実施例により図９の（Ａ）の入力画像のノイズ除去処理を行った後に二値化された画像の例示を示す図である。図１０の（Ｃ）は、本実施例により図１０の（Ａ）の入力画像のノイズ除去処理を行った後に二値化された画像の例示を示す図である。図９の（Ｃ）及び図１０の（Ｃ）の二値化画像は、下地領域のノイズが少なく文字情報の除去が少ないことがわかる。

また、本実施例によれば各分割画像Ｉ（Ｒ）における信号対雑音比をそれぞれ近似する相対値Ｔ（Ｒ）の中から、下地領域の画素のみを含む領域の相対値Ｔ（Ｒ）を抽出することができる。下地領域の画素のみを含む領域は、信号成分である文字情報を含まない。このため、本実施例によれば、下地領域の画素のみを含む領域の相対値Ｔ（Ｒ）から入力画像のノイズ強度そのものを推定することが可能になる。

＜２．下地領域における相対値の度数分布の検出処理＞
図１１の（Ａ）は、相対値Ｔ（Ｒ）の度数分布のヒストグラムの第２例を示す図である。なお、以下の説明では、下地領域よりも画素強度が小さい画素で文字が形成される場合について説明する。下地領域よりも画素強度が大きい画素で文字が形成される場合についても相対値の大小関係が逆であることを除き同様である。

相対値Ｔ（Ｒ）の度数分布のヒストグラムには、相対値Ｔ（Ｒ）の変化に伴う度数が細かく変動するものがある。このような度数分布の場合には、文字の画素を含む領域の相対値の度数がどの範囲に分布し、下地領域の画素のみを含む領域の相対値の度数がどの範囲に分布しているかの判定が難しくなる。また、下地領域の画素のみを含む領域の相対値の度数の分布に多数の極大値が生じるため、ノイズ推定の基準として使用する相対値の選択が難しくなる。

このため、推定部３４は、相対値Ｔ（Ｒ）の度数分布のヒストグラムに含まれる度数の細かい変動をローパスフィルタにより除去する。図１１の（Ｂ）は、ローパスフィルタによるフィルタリング後のヒストグラムを示す図である。度数の細かい変動が除去されることにより、文字の画素を含む領域の相対値の度数の分布６０と、下地領域の画素のみを含む領域の相対値の度数の分布６１との分離が明確になっている。また、下地領域の画素のみを含む領域の相対値の度数の分布６１のうち度数が最も高い相対値を極大点６２として検出しやすくなる。

なお、ローパスフィルタで度数分布のヒストグラムをフィルタリングすると極大点が移動する。推定部３４は、ローパスフィルタへ度数データを順方向に入力するフィルタリングと、度数データを逆方向に入力するフィルタリングの両方を行い、極大点の移動を相殺してもよい。

図１２は、相対値の度数分布のヒストグラムの第３例を示す図である。文字の画素を含む領域の相対値の度数の分布６０と下地領域の画素のみを含む領域の相対値の度数の分布６１とが分離している場合には、分布６０と分布６１との間に極小点７０が発生し、極小点７０での度数は他の極小点での度数よりも小さい。

推定部３４は、極小値が最小となる極小点７０を検出し、極小点７０よりも大きな相対値の範囲に、下地領域の画素のみを含む領域の相対値の度数の分布６１があると判断してよい。推定部３４は、極小点７０よりも小さな相対値の範囲に、文字の画素を含む領域の相対値の度数の分布６０があると判断してよい。

推定部３４は、極小点７０よりも大きな相対値の範囲内の極大点７１及び７２のうち何れか一方の相対値Ｔ（Ｒ）に基づいて、入力画像に含まれるノイズ強度を推定してよい。例えば、推定部３４は、極小点７０よりも大きな相対値の範囲内の複数の極大点７１及び７２のうち、より小さな相対値の極大点７１に基づいてノイズ強度を推定してよい。より小さな相対値の極大点７１に基づいてノイズ強度を推定することにより、より大きくノイズ強度を見積もって、効果の高いフィルタを選択することが可能になる。

図１３は、相対値の度数分布のヒストグラムの第４例を示す図である。文字の画素を含む領域の相対値の度数の分布６０と下地領域の画素のみを含む領域の相対値の度数の分布６１とが明瞭に分離されない場合がある。例えば、文字と下地領域との境界が明瞭でない場合にこのようなヒストグラムが生成されることがある。この場合に、極大点７３は、文字の画素を含む領域の相対値の度数の分布の極大点であるおそれがある。文字の画素を含む領域の相対値は、下地領域の画素のみを含む領域の相対値よりも小さい。このため、極大点７３に基づいてノイズ強度を推定すると、ノイズ強度が過大に見積もられ、強すぎるフィルタが選択されるおそれがある。

このため、推定部３４は、極大点７３での極大値Ｆに１未満の所定の係数Ｃを乗じた度数Ｆ２を決定し、度数Ｆ２に対応する相対値Ｔ（Ｒ）のうち、極大点７３よりも大きい相対値７４に基づいてノイズ強度を推定する。極大点７３よりも大きな相対値７４に基づいてノイズ強度を推定することで、ノイズ強度が過大に見積もられるおそれが低減する。

＜３．第２実施例＞
図１４の（Ａ）、図１４の（Ｂ）及び図１５は、相対値の度数分布のヒストグラムの第５例〜第７例を示す図である。これらのヒストグラムは、同一の入力画像を異なるサイズの分割画像Ｉ（Ｒ）に分割した場合に算出された相対値の度数分布を示す。図１４の（Ａ）は、分割画像Ｉ（Ｒ）の大きさが１０画素×１０画素である場合のヒストグラムを示す。図１４の（Ｂ）は、分割画像Ｉ（Ｒ）の大きさが３０画素×３０画素である場合のヒストグラムを示す。図１５は、分割画像Ｉ（Ｒ）の大きさが５０画素×５０画素である場合のヒストグラムを示す。

分割画像Ｉ（Ｒ）が大きく、入力画像に含まれる文字の文字間隔が狭いほど、分割画像Ｉ（Ｒ）が文字の画素を含む機会が増大する。したがって、図１４の（Ａ）、図１４の（Ｂ）及び図１５のヒストグラムに示すように、分割画像Ｉ（Ｒ）が大きいほど、下地領域の画素のみを含む領域の相対値の度数（分布６１の度数）が小さくなる。さらに、分割画像Ｉ（Ｒ）のサイズが入力画像の文字間隔よりも大きい場合には、下地領域の画素のみを含む領域がなくなることになる。このため、画像処理部１６は、入力画像に含まれる文字の文字間隔を検出し、検出された文字間隔に応じて入力画像を分割する分割サイズを調整する。

図１６は、画像処理部１６の機能構成の第２例の説明図である。図２の構成要素と同様の構成要素に図２で使用した参照符号と同じ参照符号を付し、同一の機能については説明を省略する。画像処理部１６は、間隔検出部３７と、サイズ調整部３８を備える。

間隔検出部３７は、入力画像に含まれる文字の文字間隔を検出する。間隔検出部３７による文字間隔の検出処理の一例を以下に説明する。以下の検出処理は例示であり、間隔検出部３７は、他の検出方法によって文字間隔を検出してもよい。

まず、間隔検出部３７は、処理に適した大きさに入力画像をリサイズした後、ノイズ除去フィルタによってノイズを除去する。間隔検出部３７は、ノイズ除去後の入力画像を二値化して二値化画像を得る。図１７の（Ａ）は、二値化画像の例を示す図である。

間隔検出部３７は、二値化画像をラベリングすることにより、連続した画素のブロック８０を１つの文字として検出する。図１７の（Ｂ）は二値化画像で検出されたブロック８０の例を示す図である。間隔検出部３７は、各ブロック８０の中心座標８１を検出する。図１７の（Ｃ）はブロック８０の中心座標８１の例を示す図である。

間隔検出部３７は、各中心座標を結ぶ近似直線８２及び８３を検出する。図１７の（Ｄ）は中心座標を結ぶ近似直線８２及び８３の例を示す図である。間隔検出部３７は、近似直線８２と８３との間隔Ｄからブロックの高さｈを引いた長さを文字間隔として検出する。

図１６を参照する。サイズ調整部３８は、間隔検出部３７により検出された文字間隔に応じて入力画像を分割画像Ｉ（Ｒ）に分割する際の分割サイズＷ及びＨを調整する。サイズ調整部３８は、分割サイズＷ及びＨが、少なくとも文字間隔よりも小さくなるように調整する。例えばサイズ調整部３８は、１未満の所定の定数を文字間隔に乗じた値を分割サイズＷ及びＨとしてよい。

なお、間隔検出部３７及びサイズ調整部３８の上記動作は、第１記憶部１４に記憶されたプログラムに基づき第１中央処理部１５と画像読取装置１０の各構成要素とが協働することにより実行される。

図１８は、図７のステップＳ１０１で実行されるノイズ強度推定処理の第２例の説明図である。ステップＳ３００において、画像処理部１６は、分割サイズ調整処理を行うことにより、入力画像に含まれる文字の文字間隔に応じて分割サイズＷ及びＨを調整する。ステップＳ３０１〜Ｓ３０６は、図８を参照して説明したステップＳ２００〜Ｓ２０５と同様である。

図１９は、図１８のステップＳ３００で実行される分割サイズ調整処理の一例の説明図である。ステップＳ４００において間隔検出部３７は、処理に適した大きさに入力画像をリサイズする。ステップＳ４０１において間隔検出部３７は、所定のノイズ除去フィルタによってノイズを除去する。ステップＳ４０２において間隔検出部３７は、ノイズ除去後の入力画像を二値化して二値化画像を得る。

ステップＳ４０３において間隔検出部３７は、二値化画像をラベリングすることにより、連続した画素のブロック８０を検出する。ステップＳ４０４において間隔検出部３７は、各ブロック８０の中心座標８１を検出する。ステップＳ４０５において間隔検出部３７は、各中心座標を結ぶ近似直線８２及び８３を検出する。

ステップＳ４０６において間隔検出部３７は、近似直線８２と８３との間隔Ｄからブロックの高さｈを引いた長さを文字間隔として検出する。ステップＳ４０７においてサイズ調整部３８は、間隔検出部３７により検出された文字間隔に応じて分割サイズＷ及びＨを調整する。

本実施例によれば、入力画像の文字間隔に応じて入力画像を分割する際の分割サイズを調整することができる。相対値Ｔ（Ｒ）の度数分布において下地領域の画素のみを含む領域の相対値の度数が過小になるおそれを低減できる。また、入力画像の文字間隔に応じて分割サイズを調整できるため、文字間隔に比べて分割サイズを過小であることによる過大な計算を回避できる。

１ 画像処理システム
１０ 画像読取装置
１１ 画像入力部
１２ 第１画像メモリ部
１５ 第１中央処理部
１６ 画像処理部
３０ 分割部
３１ 差分画像算出部
３２ 相対値算出部
３３ 分布検出部
３４ 推定部

Claims (9)

1. 入力画像を複数の分割画像に分割する分割部と、
   前記複数の分割画像毎にノイズ除去前の分割画像とノイズ除去後の分割画像との間の差分画像を算出する差分画像算出部と、
   前記複数の分割画像毎に前記ノイズ除去前の分割画像における画素強度と前記差分画像における画素強度との間の相対値を算出する相対値算出部と、
   前記複数の分割画像毎に算出される前記相対値の度数分布に含まれる、前記入力画像の下地領域における前記相対値の度数分布を検出する分布検出部と、
   下地領域における前記相対値の度数分布に応じてノイズ強度を推定する推定部と、
   を備えることを特徴とする画像処理装置。
2. 前記推定部は、下地領域における前記相対値の度数が極大値となる相対値に応じて、前記ノイズ強度を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記分布検出部は、前記複数の分割画像毎に算出される前記相対値の度数が最小の極小値となる相対値に応じて、下地領域における前記相対値の範囲を判定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記入力画像は、下地領域よりも画素強度が小さい画素で形成される文字を含み、
   前記分布検出部は、前記複数の分割画像毎に算出される前記相対値の度数が最小の極小値となる相対値よりも大きく、度数が極大値となる相対値に応じて、前記ノイズ強度を推定することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記推定部により推定されたノイズ強度に応じて選択されたノイズ除去処理により前記入力画像のノイズを除去するノイズ除去部を備えることを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記ノイズ除去部によりノイズが除去された前記入力画像を二値化する二値化部を備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記入力画像に含まれる文字の文字間隔を検出する間隔検出部と、
   検出された文字間隔に応じて前記分割画像のサイズを調整するサイズ調整部と、
   を備えることを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 入力画像を複数の分割画像に分割し、
   前記複数の分割画像毎にノイズ除去前の分割画像とノイズ除去後の分割画像との間の差分画像を算出し、
   前記複数の分割画像毎に前記ノイズ除去前の分割画像における画素強度と前記差分画像における画素強度との間の相対値を算出し、
   前記複数の分割画像毎に算出される前記相対値の度数分布に含まれる、前記入力画像の下地領域における前記相対値の度数分布を検出し、
   下地領域における前記相対値の度数分布に応じてノイズ強度を推定する、
   ことを特徴とする画像処理方法。
9. 入力画像を複数の分割画像に分割する処理と、
   前記複数の分割画像毎にノイズ除去前の分割画像とノイズ除去後の分割画像との間の差分画像を算出する処理と、
   前記複数の分割画像毎に前記ノイズ除去前の分割画像における画素強度と前記差分画像における画素強度との間の相対値を算出する処理と、
   前記複数の分割画像毎に算出される前記相対値の度数分布に含まれる、前記入力画像の下地領域における前記相対値の度数分布を検出する処理と、
   下地領域における前記相対値の度数分布に応じてノイズ強度を推定する処理と、
   をコンピュータに実行させることを特徴とするコンピュータプログラム。