JP5361556B2 - 画像処理装置及びその方法、並びに、コンピュータプログラムおよび記憶媒体 - Google Patents

Description

本発明は、画像処理装置およびその方法、並びに、コンピュータプログラムおよび記憶媒体に関し、例えば、画像の下地除去処理を行う画像処理に関するものである。

一般に、デジタルカラー複写機のコピー処理では、スキャナで読み取った原稿を忠実に再現させるため様々な画像処理が行われている。通常、原稿の紙の色すなわち下地部は純粋な白ではなく、わずかに色がついている場合がほとんどである。よって、そのままコピー処理を実行すると下地部まで色材を用いて忠実に再現してしまう。これによって色材の浪費が進むなど、様々な弊害の原因となる。

これに対して、原稿画像に含まれる下地色に応じた最適な画像処理として以下の処理が知られている。まず、スキャナで読み取った画像の輝度（または濃度）ヒストグラムを作成し、それを基に、原稿画像の下地（背景）の信号レベル（以下「下地レベル」と呼ぶ）を検出する。次に、画像信号から下地レベルを減算して、画像から下地を除去する処理を行う。

一般に、下地除去処理は、処理が搭載されるシステム構成によって大きく二通りに分類することができる。

図３は、一つめの下地除去処理を示すシステム構成の一例を示す図である。図３において、１０１はスキャナなどの画像読取部であり、原稿画像を読み取る。３０１はスキャナ画像処理部であり、画像読取部１０１で読み取った原稿画像に対して、図示しないシェーディング補正処理、フィルタ処理、および入力色補正処理などの画像処理を施す。１０３−３１は記憶部であり、スキャナ画像処理後の原稿画像１ページ分のコントーン画像情報を記憶する。３０２はプリンタ画像処理部であり、下地除去処理や、図示しない出力色補正処理、および中間調処理などの画像処理を施す。１０３−３２は記憶部であり、プリンタ画像処理後の原稿画像１ページ分のハーフトーン画像情報を記憶する。１０５はプリンタなどの画像出力部であり、記憶領域に記憶された画像情報を出力する。ここで、下地除去処理部３０３における下地除去処理は、読み取り原稿のコントーン画像情報を記憶領域１０３−３１に一時的に記憶しておき、記憶された原稿全面の画像情報を基に実行する。

本構成に係る従来の下地除去処理技術として、特許文献１、２などが挙げられる。特許文献１では、原稿を読み取った画像から下地レベルを検出し、同時に読み取った画像を記憶部に記憶し、検出した下地レベルに応じて最適なガンマ補正テーブルを作成し、ガンマ補正を行うことによって読み取った画像の下地を除去している。

また、特許文献２では、原稿のヒストグラムを作成しその情報を利用して下地レベルを検出し、検出した下地レベルを用いて下地除去処理を行うことで、原稿種別に適した下地除去処理を行っている。

図４は、二つ目の下地除去処理を示すシステム構成の一例を示す図である。図４において、１０１はスキャナなどの画像読取部であり、原稿画像を読み取る。３０１はスキャナ画像処理部であり、画像読取部１０１で読み取った原稿画像に対して、図示しないシェーディング補正処理、フィルタ処理、および入力色補正処理などの画像処理を施す。３０２はプリンタ画像処理部であり、下地除去処理や、図示しない出力色補正処理、および中間調処理などの画像処理を施す。１０３−４１は記憶部であり、プリンタ画像処理後の原稿画像１ページ分のハーフトーン画像情報を記憶する。１０５はプリンタなどの画像出力部であり、記憶領域に記憶された画像情報を出力する。上述した図３に示す一つめのシステム構成に比べ、コントーン画像１ページ分の記憶領域を必要としないため、低コストで実現できる。すなわち、図４の構成では画像処理途中でコントーン画像情報を記憶しておく記憶手段を持たないため、読み取りを進めながら逐次的に下地処理を実行することができる。

本構成に係る従来の下地除去処理技術として、特許文献３、４などが挙げられる。特許文献３では、読み取り原稿を読み取った画素から順に明度・色差情報へ分離し、明度成分に応じて白レベルを変化させ、色差成分については閾値を利用して色値の圧縮を試みている。これにより、背景色を無彩色に近づけている。

また、特許文献４では、読み取り原稿から読み取った画素を明度成分と色差成分に分離して、明度成分と閾値の大小を判定し、判定された画素数をカウントすることにより閾値を追従変動させる。色差成分に対しても同様に閾値との大小を判定し、判定された画素数をカウントすることで閾値を追従変動させる。

特開平６−２５３１３５号公報 特開平８−３０７７２２号公報 特開平６−１９７２１６号公報 特開２００８−０６０８３９号公報

しかしながら、特許文献１や特許文献２では、下地の除去方法として原稿のヒストグラムを利用するため、図３に示す、原稿１ページ分のコントーン画像情報を記憶することが可能なシステム構成上でしか実現することが出来ないという問題がある。近年、原稿の読み込み解像度の拡大化に伴い、必要な記憶装置の容量も増大する傾向にある。低価格化の競争が激化しているプリンタ・複合機市場において、記憶装置の容量はコストに影響を及ぼす大きな要因の一であり、本システム構成を用いるとコストダウンを実現するための障害となってしまう。

また、特許文献３では、色分解により明度成分と色差成分に分離し、明度成分の下地領域の色に応じた正規化、および閾値による色差成分の圧縮を行うことにより、下地領域と前景の分離を行わない限り、前景色も明度成分が高くなってしまう。そのため、全体的に画像が白濁する結果となってしまうと予想される。

また、特許文献４では、色分解により明度成分と色差成分に分離し、それぞれの成分に対して閾値を追従変動させている。明度成分、色差成分共に入力値と各々の閾値との差を比較しているが、背景（下地領域）と前景の明度が閾値推定に与える影響が同じ強さとなってしまう。すなわち、特許文献４では差分値に応じてカウンタ変動量を変えていない。そのため背景領域が少なく前景領域のほうが多い読み取り原稿においては、原稿全体に占める前景の影響が大きくなり、原稿の前景領域まで濃度が除去されてしまうおそれがある。読み取り原稿の種類が多岐にわたる複写機での使用において、読み取り原稿の種類によっては、誤って原稿の前傾領域の濃度が除去されてしまうことは問題である。

本発明は、下地レベルの推定に影響を与えるカウント変動量を、画像データの注目画素の明るさに基づいて画素毎に決定することにより、読み取り原稿の種類によらず安定した下地除去処理を行うことを目的とする。

本発明は、画像データにおける画素の明るさ成分と所定の閾値との差分量に応じて前記画像データの画素のカウント変動量を決定する変動量決定手段と、前記画像データの画素毎の前記カウント変動量を累積した結果に基づき、前記閾値を変動させる閾値変動手段と、前記閾値変動手段によって変動した後の閾値を、前記画素の下地レベルとして決定する下地レベル決定手段とを有することを特徴とする画像処理装置である。

本発明によれば、下地レベルの推定に影響を与えるカウント変動量を、画像データの注目画素の明るさに基づいて画素毎に決定することにより、読み取り原稿の種類によらず安定した下地除去処理を行うことが可能となる。また、閾値を追従変動させるためのカウンタ変動量を、画像データの明るさの成分と所定の閾値（下地レベル）との差分量によって決定する。これにより、注目画素が下地らしいかどうかを判断し、下地らしさに応じて閾値推定に与える影響度を段階的に切り替えることができる。

本実施形態に係る画像形成装置の概略構成を示すブロック図 本実施形態に係る画像形成装置の概観図 従来の画像形成装置の概略構成を示す詳細なブロック図 本実施形態に係る画像形成装置の概略構成を示す詳細なブロック図 本実施形態の下地除去処理のフロー図 カウント変動量を決定するために使用する領域分割例 カウント変動量を決定するために使用するテーブル例 閾値変動処理のフロー図 信号変換処理のフロー図 信号変換処理により得られる下地除去効果を示す図 カウント変動量を決定するために使用する他の領域分割例 カウント変動量を決定するために使用する他のテーブル例 実施形態３に係る平滑化処理のフロー図 平滑化フィルタを決定するために使用する領域分割例 平滑化フィルタを決定するために使用するテーブル例 実施形態４に係る平滑化処理のフロー図 平滑化フィルタを決定するために使用する他のテーブル例 実施形態５に係る平滑化処理のフロー図 平滑化フィルタを決定するために使用する他のテーブル例

（実施形態１）
以下、本発明を実施するための最良の形態について図面を用いて説明する。

図１は、本実施形態に係る画像形成装置の概略構成を示すブロック図である。
図１に示すように、本実施形態に係る画像形成装置は、画像読取部１０１、画像処理部１０２、記憶部１０３、ＣＰＵ１０４および画像出力部１０５を備える。本実施形態では、画像処理部１０２、記憶部１０３、ＣＰＵ１０４を含む装置を画像処理装置とする。

画像読取部１０１は、原稿の画像を読み取り、画像データを出力する。この画像読取部１０１は例えばスキャナである。

画像処理部１０２は、画像読取部１０１や、ＰＣ等の外部から入力される画像データを含む印刷情報に対して、画像処理を行う。より詳細には、図４に示すように、スキャナ画像処理部３０１とプリンタ画像処理部３０２に分けられる。スキャナ画像処理部３０１では、読み取った原稿画像に対して、図示しないシェーディング補正処理、フィルタ処理、および入力色補正処理などの画像処理が行われる。プリンタ画像処理部３０２では、下地除去処理３０３、図示しない出力色補正処理、および中間調処理などの画像処理が行われる。

シェーディング補正処理では、画像読取部１０１に取り付けられた白基準を絶対白レベルとして画素毎に正規化が行われる。しかし、読み取り原稿の下地の明度が白基準より低い場合は下地の明度が残ることになり、読み取り原稿の下地が残ってそれが印刷で再現されてしまい、出力画質劣化の一因となる。下地除去処理部３０３では、シェーディング補正処理で除去できなかった下地の信号値を飛ばすことで更なる画質向上を実現する。下地除去処理部３０３に関しては追って詳細を述べる。

画像処理部１０２で処理された画像データは、記憶部１０３へ格納される。記憶部１０３は、ＲＯＭ、ＲＡＭ、ハードディスク（ＨＤ）などを含む。ＲＯＭは、ＣＰＵ１０４が実行する各種の制御プログラムや図５に示す画像処理プログラムを格納する。ＲＡＭおよびＨＤは、ＣＰＵ１０４がデータや各種情報を格納する参照領域や作業領域として用いられる。

画像出力部１０５は、記録紙などの記録媒体にカラー画像を形成して出力する。この画像出力部１０５は後述のように例えば電子写真方式のプリンタである。

図２は、本実施形態に係る画像形成装置の概観図である。
図２において、画像読取部１０１では、原稿台ガラス２０３および原稿圧板２０２の間に、画像を読み取る原稿２０４が置かれる。原稿２０４がランプ２０５の光に照射されると、原稿２０４からの反射光は、ミラー２０６と２０７に導かれ、レンズ２０８によって３ラインセンサ２１０上に像が結ばれる。なお、レンズ２０８には赤外カットフィルタ２３１が設けられている。図示しないモータにより、ミラー２０６とランプ２０５を含むミラーユニットを速度Ｖで、ミラー２０７を含むミラーユニットを速度Ｖ／２で矢印の方向に移動する。つまり、３ラインセンサ２１０の電気的走査方向（主走査方向）に対して垂直方向（副走査方向）にミラーユニットが移動し、原稿２０４の全面を走査する。

３ラインのＣＣＤからなる３ラインセンサ２１０は、レッドＲを受光するＣＣＤ２１０−１、グリーンＧを受光するＣＣＤ２１０−２、およびブルーＢを受光するＣＣＤ２１０−３を備えている。このような構成で、入力される光情報を色分解して、フルカラー情報レッドＲ、グリーンＧおよびブルーＢの各色成分を読み取る。なお、３ラインセンサ２１０を構成するＣＣＤ２１０−１〜２１０−３はそれぞれ、８０００画素分の受光素子を有する。また、ＣＣＤ２１０−１〜２１０−３はそれぞれ、原稿台ガラス２０３に載置可能な原稿の最大サイズであるＡ３サイズの原稿の短手方向（２９７ｍｍ）を６００ＤＰＩの解像度で読み取ることができる。

標準白色板２１１は、３ラインセンサ２１０の各ＣＣＤ２１０−１〜２１０−３によって読み取ったデータを補正するためのものである。標準白板２１１は、可視光でほぼ均一の反射特性を示す白板である。

画像処理部１０２は、３ラインセンサ２１０から入力される画像信号を電気的に処理して、マゼンタＭ、シアンＣ、イエローＹ、およびブラックＫの各色成分信号を生成し、生成したＭＣＹＫの色成分信号を画像出力部１０５に送る。

画像出力部１０５において、画像読取部１０１から送られてくるＭ、Ｃ、Ｙ、および／またはＫの画像信号はレーザドライバ２１２へ送られる。レーザドライバ２１２は、入力される画像信号に応じて半導体レーザ素子２１３を変調駆動する。半導体レーザ素子２１３から出力されるレーザビームは、ポリゴンミラー２１４、ｆθレンズ２１５、およびミラー２１６を介して感光ドラム２１７を走査し、感光ドラム２１７上に静電潜像を形成する。

現像器は、マゼンタ現像器２１９、シアン現像器２２０、イエロー現像器２２１、およびブラック現像器２２２を備えている。４つの現像器が交互に感光ドラム２１７に接することで、感光ドラム２１７上に形成された静電潜像を対応する色のトナーで現像してトナー像を形成する。記録紙カセット２２５から供給される記録紙は、転写ドラム２２３に巻き付けられ、感光ドラム２１７上のトナー像が記録紙に転写される。

このようにしてＭ、Ｃ、Ｙ、およびＫの４色のトナー像が順次転写された記録紙は、定着ユニット２２６を通過することで、トナー像が定着された後、装置外へ排出される。

次に本実施形態に係る下地除去処理の詳細に関して説明する。なお、本処理への入力は画像読取部１０１や外部から入力される画像データであり、画像処理部１０２におけるプリンタ画像処理部３０２にある下地除去処理部３０３にて行われる。

図５に本実施形態に係る下地除去処理のフロー図を示す。ＣＰＵ１０４が、ＲＯＭ１０３に格納されている図５のフローチャートを実行するためのプログラムを読み出して実行することで、図５に示す処理が行われる。

なお、本処理は、画像読取部１０１より読み取られる原稿データが、読み取り順に１画素ずつ入力され、それに対応して１画素ずつ出力される逐次処理を想定している。以下、図５に示すフローチャートに沿って、各処理の詳細を説明する。

まず、Ｓ５０１において、注目画素のＲＧＢ情報が入力されると、下地除去処理部３０３は、ＲＧＢ情報を明るさの成分へ変換する。明るさの成分とは、例えば明度成分Ｌであり、以下の式により演算される。

但しこの演算は一例であり、この演算に限定されるものではなく、他の演算を用いてもよい。

また、明るさの成分は、ＣＩＥ Ｌａｂ空間のＬでもよいし、ＹＵＶ空間のＹでもよいし、Ｌｕｖ空間のＬでもよいし、ＹＣｂＣｒ空間のＹでもよい。

次に、Ｓ５０２において、下地除去処理部３０３は、Ｓ５０１で変換された明るさの成分に対して注目画素を含む複数の周辺画素の値から平滑化を行う。注目画素における明るさ成分と注目画素の周辺画素における明るさ成分とを用いて、例えば、平均演算を行うなど平滑化効果の得られるフィルタリング処理を行う。

なお、平滑化に用いるフィルタサイズおよび形状は、要求されるシステム構成に合わせて決定すればよい。例えば、複数ラインの遅延バッファが使用出来るのであれば注目画素を中心とするＮ×Ｎフィルタを用いたり、ラインバッファが使用出来ないのであれば、注目画素を先頭とするＮ×１フィルタを用いたりすればよい。但しこの方法は一例であり、このフィルタサイズおよび形状に限定されるものではない。

明るさの成分に対して平滑化を行うことで、注目画素の成分値をそのまま使用するよりも後述するカウント変動量決定手段（Ｓ５０４）の精度が向上し、それによってより安定した下地レベルの推定が実現される。

具体的には、注目画素の明るさの成分を平滑化することで、網点により面積階調表現された画像データやノイズが載っている画像データに対して、ノイズ成分などにより入力値が変動することを抑える効果がある。

次に、Ｓ５０３において、下地除去処理部３０３は、Ｓ５０２で平滑化した所定の成分に対して閾値との差分量を算出する。ここで述べる閾値とは、画素ごとに決定される所定成分に対応した閾値のことであり、ひとつ前の画素処理の結果を受けて決定されている値である。ある画素にて決定された閾値は、その画素における下地レベルとなる。閾値、すなわち下地レベルは画素毎に変化していく。最初の画素の処理を始める時は、適当な値（初期値）を設定しておくこととする。

差分量をＤｉｆ、入力値をＬ＿ｉｎ、閾値をｌｅｖｅｌ＿Ｌとすると、

となる。差分量Ｄｉｆのとり得る範囲は、入力の最大値をＭＡＸとすると、−ＭＡＸからＭＡＸの間となる。入力値と閾値の差分量を用いることで、読み取り原稿の種類や特性が異なっていても、また処理が進み閾値が変動していっても、閾値からの距離として相対的に一貫した基準による演算を行うことになり、安定した処理を行うことが出来る。全体的に明るい読み取り原稿は閾値が大きくなり、反対に暗い読み取り原稿は閾値が小さくなる。入力値の絶対量を判定の基準にすると、例えば明るい読み取り原稿の前景と暗い読み取り原稿の下地領域を区別することが困難となり、読み取り原稿の特性を考慮出来ず、読み取り原稿によっては処理が破綻し求める効果を発揮出来ない場合がある。一方、変動する読み取り原稿の閾値は注目画素の一つ前の画素までに推定された下地レベルであり、注目画素における読み取り原稿の特性を表している。入力値と閾値の差分量を用いることは、読み取り原稿の特性を排除することであり、例えば明るい読み取り原稿の前景と暗い読み取り原稿の下地領域は異なる値となり区別することが可能となる。つまり、相対的に一貫した基準による安定した処理を行うことが出来る。

次に、下地除去処理部３０３は、Ｓ５０３で算出した差分量をもとに、後述の閾値変動手段（Ｓ５０５）にて使用するためのカウント変動量を決定する（Ｓ５０４）。図６、および図７は、本実施形態におけるカウント変動量を決定する方法を説明するための図である。まず、差分量のとり得る範囲を任意の領域に分割し、注目画素における差分量Ｄｉｆがどの領域に属するか判定する。図６に例を示す。ここでは６つの領域に分割している。

となる。図７は、図６により分割された各領域に対して与えるカウント変動量を示したテーブルの一例である。図７の例では、差分量が小さくなるほど注目画素は下地の可能性が高いと見なし、カウント変動量が大きくなるように設定している。

また、差分量が大きくなるほど注目画素は下地ではない可能性が高いと見なし、カウント変動量が小さくなるように設定している。例えば、ある注目画素において、差分量が小さく図６に示すａｒｅａＬ１の領域内であるとき、図７のテーブルを参照すると、カウント変動量が４となっている。また、ある注目画素が、差分量が大きく図６に示すａｒｅａＬ３の領域内であるとき、図７のテーブルを参照すると、カウント変動量が１となっている。この例では、ａｒｅａＬ１の領域内に属する画素は、ａｒｅａＬ３の画素に比べ４倍下地らしいということになり、下地らしさの度合いが考慮された処理となっている。

差分量が大きい画素（例えば黒画素）が連続した後に、差分量が小さい画素（例えば下地）が処理対象画素になった場合、カウント変動量が大きく累積され、すぐに閾値が変動する。これにより、差分量が大きい画素（例えば黒画素）が閾値変動に及ぼす影響を軽減して、下地領域の下地飛ばし処理を行うことができる。

このように注目画素と注目画素近傍の画素の明るさが所定値よりも小さい場合（例えば黒画素が連続する場合）、注目画素と注目画素近傍の画素の明るさが所定値よりも大きい場合（例えば下地色の画素が連続する場合）よりも注目画素のカウント変動量を小さくする。

従来技術である特許文献４のように、入力値と閾値の差分量によらず、入力値が閾値以上か以下かに応じてカウント変動量を決定した場合、黒画素が連続した領域において閾値がかなり小さくなる。そして、連続した黒画素領域の隣のグレー画素（例えば、輝度１８０付近）の輝度値が閾値よりも大きくなってしまい、誤って下地領域と判定され前記グレー画素に対して下地飛ばし処理が行なわれてしまう問題があった。

この問題に対して、本願発明では、入力値と閾値の差分量に応じてカウント変動量を決定するため、入力値が小さい領域すなわち黒画素領域が連続した場合であっても、差分量が大きいためカウント変動量の増減が小さくなる。これにより、連続した黒画素領域においても閾値があまり変動せず、黒画素領域の隣のグレー画素領域の下地が誤って飛んでしまうことを防ぐことができる。

なお、閾値に比べて入力値の輝度値がかなり小さい画素（黒画素）が連続し、その後下地レベルに近い画素が連続する場合、黒画素と下地レベルの画素との境界において閾値を初期値に設定しなおしてもよい。

また、本実施形態では入力値と閾値の差分量に応じてカウント変動量を決定したが、差分量を使わずに入力値の値をもとにカウント変動量を決定してもよい。例えば、下地レベル（輝度２００付近）に近い入力値はカウント変動量を大きくし、輝度が低い画素（黒画素）や輝度が高い画素（白画素）はカウント変動量を小さくしてもよい。

なお、差分量の領域分割数やカウント変動量テーブルの各値はこれに限定されるものではない。設計対象となる画像読取部１０１の特性に応じて各設定値を調整することで、各装置に合った下地除去処理を実現することが出来る。Ｄｉｆ＝０のときは、入力値と閾値が釣り合った状態であるためカウント変動量を設定しない。詳細は後述する。

次に、下地除去処理部３０３は、Ｓ５０３にて算出した差分量、およびＳ５０４より決定したカウント変動量を使って、閾値を変動させる処理を行う（Ｓ５０５）。図８は、本実施形態における閾値変動処理のフローを示している。Ｓ５０４にて決定したカウント変動量をＣＮＴ、カウンタ変数をＣｏｕｎｔ＿Ｌ、カウンタ変数の上限をＬＩＭＩＴＵＰ、下限をＬＩＭＩＴＤＷＮ、閾値の追従限界をＢＬＡＣＫとする。ＢＬＡＣＫは、下地レベルの下限値である。ＬＩＭＩＴＵＰ、ＬＩＭＩＴＤＷＮ、ＢＬＡＣＫは予め設計者によって指定されている。また本実施形態においては、ｌｅｖｅｌ＿Ｌの初期値はＭＡＸとし、Ｃｏｕｎｔ＿Ｌの初期値は０とする。

まず、差分量Ｄｉｆの正負を判断する（Ｓ８０１）。その結果、差分量Ｄｉｆが０より大きければ（Ｓ８０１で＞０）、カウンタ変数Ｃｏｕｎｔ＿Ｌにカウント変動量ＣＮＴを加え更新する（Ｓ８０２）。カウント変数Ｃｏｕｎｔ＿Ｌは、画素毎のカウント変動量が累積され、更新されていく。続いて、更新されたＣｏｕｎｔ＿Ｌとカウンタ変数の上限ＬＩＭＩＴＵＰを比較する（Ｓ８０３）。その結果、Ｃｏｕｎｔ＿ＬがＬＩＭＩＴＵＰ（所定のカウント値）より大きければ（Ｓ８０３でＹＥＳ）、Ｃｏｕｎｔ＿Ｌをゼロクリアし（Ｓ８０４）、閾値ｌｅｖｅｌ＿Ｌをインクリメントする（Ｓ８０５）。一方、Ｃｏｕｎｔ＿ＬがＬＩＭＩＴＵＰより小さければ（Ｓ８０３でＮＯ）、Ｓ８０４および、Ｓ８０５のステップを行わず次へ進む。

一方、差分量Ｄｉｆが０より小さければ（Ｓ８０１で＜０）、カウンタ変数Ｃｏｕｎｔ＿Ｌにカウント変動量ＣＮＴを加え更新する（Ｓ８０６）。続いて、更新されたＣｏｕｎｔ＿Ｌとカウンタ変数の下限ＬＩＭＩＴＤＷＮを比較する（Ｓ８０７）。その結果、Ｃｏｕｎｔ＿ＬがＬＩＭＩＴＤＷＮより小さければ（Ｓ８０７でＹＥＳ）、Ｃｏｕｎｔ＿Ｌをゼロクリアし（Ｓ８０８）、閾値ｌｅｖｅｌ＿Ｌをデクリメントする（Ｓ８０９）。一方、Ｃｏｕｎｔ＿ＬがＬＩＭＩＴＤＷＮより大きければ（Ｓ８０７でＮＯ）、Ｓ８０８および、Ｓ８０９のステップを行わず次へ進む。

一方、差分量Ｄｉｆが０であれば（Ｓ８０１で０）、入力値と閾値は釣り合った状態であると言える。そのため、カウント変動に対して影響を与える必要がなく、カウンタ変数および、閾値の値を変更することなく次へ進む。図６に示した、Ｄｉｆ＝０のときにカウンタ変動量を設定しないのは、ここでカウンタ変動を行わないからである。

次のステップでは、閾値ｌｅｖｅｌ＿ＬとＭＡＸを比較する（Ｓ８１０）。閾値ｌｅｖｅｌ＿ＬがＭＡＸよりも大きければ（Ｓ８１０でＹＥＳ）、閾値をＭＡＸの値にクリップする（Ｓ８１１）。また、閾値ｌｅｖｅｌ＿ＬがＭＡＸより小さく（Ｓ８１０でＮＯ）、かつＢＬＡＣＫより小さいならば（Ｓ８１２でＹＥＳ）、閾値ｌｅｖｅｌ＿ＬをＢＬＡＣＫの値にクリップする（Ｓ８１３）。これにより、閾値がオーバーフローして結果が破綻しないようになり、また閾値の追従限界ＢＬＡＣＫよりも下がらないようにすることで、画像が飛びすぎることを防止することが出来る。

以上のステップを経て算出された閾値ｌｅｖｅｌ＿Ｌを、注目画素における下地レベルとして決定する（下地レベル決定）（Ｓ８１４）。

なお、差分量が大きい画素（例えば黒画素）が所定画素（例えば１００画素）以上連続した後は、閾値ｌｅｖｅｌ＿Ｌを初期値ＭＡＸに戻してもよい。

次に、下地除去処理部３０３は、Ｓ５０５において決定した閾値をもとに、入力ＲＧＢ情報信号を、下地除去処理が施された出力ＲＧＢ情報信号へ変換する（Ｓ５０６）。閾値を使用して下地除去効果を得るための演算式はいくつも知られており、本発明においてはどの演算式を用いてもよい。本実施形態では、一例として次の演算式を使用する。なお、入力ＲＧＢ情報信号をＲ＿ｉｎ、Ｇ＿ｉｎ、Ｂ＿ｉｎ、出力ＲＧＢ情報信号をＲ＿ｏｕｔ、Ｇ＿ｏｕｔ、Ｂ＿ｏｕｔとする。

図９は、本実施形態に係る信号変換を行うフロー図を示している。ＲＧＢそれぞれの信号に対して処理を行うが、図９はＲ信号についてのフロー図である。Ｇ信号、およびＢ信号は図示しないが同等の処理を行う。ここでは、代表としてＲ信号の処理について説明する。入力信号Ｒ＿ｉｎ、およびＳ５０５にて決定した閾値ｌｅｖｅｌ＿Ｌより、前述の下地除去演算式を用いて出力信号Ｒ＿ｏｕｔを演算する（Ｓ９０１）。

次のステップでは、出力信号Ｒ＿ｏｕｔとＭＡＸを比較する（Ｓ９０２）。出力信号Ｒ＿ｏｕｔがＭＡＸよりも大きければ（Ｓ９０２でＹＥＳ）、出力信号をＭＡＸの値にクリップする（Ｓ９０３）。また、出力信号Ｒ＿ｏｕｔがＭＡＸより小さく（Ｓ９０２でＮＯ）、かつ０より小さいならば（Ｓ９０６でＹＥＳ）、出力信号Ｒ＿ｏｕｔを０にクリップする（Ｓ９０６）。

以上のステップを経て変換された出力信号Ｒ＿ｏｕｔを、注目画素における出力Ｒ信号として決定する（Ｓ９０４）。

図１０は、信号変換（Ｓ５０６）によって得られる下地除去処理の効果を示す図である。入力輝度レベルに対する下地除去処理後の出力輝度は、閾値（下地レベル）のところで出力輝度レベルがＭＡＸになるように傾きが変化している。

最後に、Ｓ５０７において、処理の終了した注目画素が最終画素かどうかを判断し、最終画素でなければ（Ｓ５０７でＮＯ）、注目画素を次の画素へ変更して（Ｓ５０８）最初へ戻る。処理の終了した注目画素が最終画素であれば（Ｓ５０７でＹＥＳ）、全ての処理を終了する。

なお、Ｓ５０７でＮＯの場合、Ｓ５０３の差分量算出手段に戻ってもよい。この場合、Ｓ５０１およびＳ５０２において、画像データの全ての画素に対して、成分変換および平滑化が行われる。

本実施形態によれば、平滑化した入力成分と閾値の差分量によってカウンタの変動量を決定することで、注目画素が下地らしいかどうかを判断し閾値推定に与える影響度を段階的に切り替えることで、読み取り原稿の種類によらず安定した下地除去処理を実現する。

（実施形態２）
実施形態１において、下地除去処理部３０３は、平滑化した明度成分と閾値の差分量を用いてカウンタ変動量を決定した（Ｓ５０４）が、差分量を使用して判断するのに加え彩度成分を使用することで、より精度の高い閾値の推定を行うことが出来る。

以下、図５に示すフローチャートに沿って、各処理の詳細を説明する。
まず、Ｓ５０１において、下地除去処理部３０３は、実施形態１と同等の明度Ｌの算出と、さらに彩度成分Ｓの算出を行う。彩度成分Ｓは、例えば以下の式により演算される。
Ｓ＝ＭＡＸ（Ｒ，Ｇ，Ｂ）−ＭＩＮ（Ｒ，Ｇ，Ｂ）
但しこの演算は一例であり、この演算に限定されるものではなく、色味成分を表すものであれば他の演算を用いてもよい。

次に、Ｓ５０２の平滑化手段において、下地除去処理部３０３は、実施形態１と同様に明度成分に対して注目画素を含む複数の周辺画素の値から平滑化を行う。さらに彩度成分に対しても同様の手段で平滑化を行ってもよい。

次に、Ｓ５０３の差分量算出手段において、下地除去処理部３０３は、実施形態１と同様に明度成分と閾値の差分量を算出する。

次に、Ｓ５０４のカウント変動量決定手段において、下地除去処理部３０３は、明度成分差分量と彩度成分を用いる。図６、図１１、および図１２は、本実施形態におけるカウント変動量決定方法を説明するための図である。注目画素における差分量Ｄｉｆの領域判定は、図６に示す通りで、実施形態１と同等である。差分量Ｄｉｆに対する判定方法と同様に、彩度Ｓのとり得る範囲を任意の領域に分割し、注目画素における彩度Ｓがどの領域に属するか判定する。図１１に例を示す。なお、彩度Ｓのとり得る範囲は、０からＭＡＸの間である。すなわち、

となる。図１２は、差分量、および彩度がそれぞれ分割された各領域に対して与えるカウント変動量を示したテーブルの一例である。図１２の例では、差分量が小さく、かつ彩度が小さくなるほど注目画素が下地である可能性が高いと見なし、カウント変動量が大きくなるように設定している。また、差分量が大きく、かつ彩度が大きくなるほど注目画素が下地である可能性が低いと見なし、カウント変動量が小さくなるように設定している。例えば、ある注目画素において、差分量が小さく図６に示すａｒｅａＬ１の領域内であり、かつ彩度が小さく図１１に示すａｒｅａＳ１の領域内であるとき、図１２のテーブルを参照すると、カウント変動量が１０となっている。また、ある注目画素において、差分量が中程度で図６に示すａｒｅａＬ２の領域内であり、かつ彩度が中程度で図１１に示すａｒｅａＳ２の領域内であるとき、図１２のテーブルを参照すると、カウント変動量が３となっている。さらに、ある注目画素において、差分量が大きく図６に示すａｒｅａＬ３の領域内であり、かつ彩度が大きく図１１に示すａｒｅａＳ３の領域内であるとき、図１２のテーブルを参照すると、カウント変動量が０となっている。この例では、（ａｒｅａＬ１，ａｒｅａＳ１）に属する画素は、一番下地らしいとみなし、（ａｒｅａＬ２，ａｒｅａＳ２）の下地に比べ３倍程度下地らしいということになる。また、（ａｒｅａＬ３，ａｒｅａＳ３）に属する画素は、下地でない領域と見なしその画素はカウントしないようになっており、閾値変動に影響を与えないようになっている。なお、差分量の領域分割数やカウント変動量テーブルの各値はこれに限定されるものではない。設計対象となる画像読取部１０１の特性に応じて各設定値を調整することで、各画像処理装置に合った下地除去処理を実現することが出来る。

Ｓ５０５以降の処理は、実施形態１と同等であるため、説明を省略する。

本実施形態によれば、差分量、および彩度成分の両方を用いてカウント変動量を決定することで、より精度の高い閾値の推定を行うことが出来、その結果画像破綻の少ない安定した下地除去処理が可能となる。

（実施形態３）
実施形態１および実施形態２において、下地除去処理部３０３は、Ｓ５０２の平滑化手段で、注目画素を含む複数の周辺画素の値から平滑化を行っている。平滑化手段を工夫することで、より精度の高いカウント変動量の決定を行うことが出来る。

以下、本実施形態における各処理について図１３〜図１５を用いて詳細に説明する。

図１３は、本実施形態における平滑化手段のフローチャートを示している。本フローチャートへの入力は、Ｓ５０１において変換された注目画素の明るさ成分である。まず、下地除去処理部３０３は、Ｓ１３０１において、入力値に対して閾値との差分量を算出する。ここで述べる閾値とは、実施形態１で説明した閾値と同等であり、ひとつ前の画素処理の結果を受けて決定されている下地レベルである。

差分量をＤｉｆ、入力値をＬ＿ｉｎ、閾値をｌｅｖｅｌ＿Ｌとすると、

となる。差分量Ｄｉｆのとり得る範囲は、入力の最大値をＭＡＸとすると、−ＭＡＸからＭＡＸの間となる。

次に、下地除去処理部３０３は、Ｓ１３０１で算出した差分量をもとに、平滑化のためのフィルタのサイズおよび形状を決定する（Ｓ１３０２）。図１４、および図１５は、本実施形態におけるフィルタを決定する方法を説明するための図である。まず、差分量のとり得る範囲を任意の領域に分割し、注目画素における差分量Ｄｉｆがどの領域に属するか判定する。図１４に例を示す。ここでは５つの領域に分割している。

となる。図１５は、図１４により分割された各領域に対して適用するフィルタのサイズを示したテーブルの一例である。図１５の例では、差分量が小さければ注目画素は下地の可能性が高いと見なし、最大領域の７×７フィルタを適用する。また、差分量が大きくなるにつれ注目画素は下地の可能性が低くなってくると見なし、３×３、１×１フィルタと段々と適用させるフィルタサイズを小さく設定する。もちろんフィルタサイズだけでなく、フィルタの形状を設定してもよい。なお、差分量の領域分割数やフィルタサイズおよび形状の各値はこれに限定されるものではない。

注目画素の値のみでなく周辺画素値を含んだ平滑化を行う目的は、読み取り原稿の特性やノイズなどに影響を受けにくくするために安定した入力値を得るためである。そのため一般的にフィルタサイズは広いほうがより安定度が増してよいとされる。しかし、全ての画素において広いフィルタサイズを適用してしまうと、例えば文字や写真など高周波成分の多い領域においては、平滑化してしまうことでかえって精度が悪くなってしまう場合が考えられる。そのため、Ｓ１３０１で算出した差分量に応じて注目画素の下地らしさを判定し、低周波成分が多い下地の可能性が高い画素にはフィルタサイズを大きく、また高周波成分が多い下地の可能性が低い画素にはフィルタサイズを小さくする。そうすることで、注目画素の下地らしさに応じた精度の良い平滑化が実現できる。

次に、下地除去処理部３０３は、Ｓ１３０２において決定されたフィルタサイズおよび形状に基づき平滑化を行う（Ｓ１３０３）。平滑化の手段としては、例えば選択されたフィルタサイズ内全ての画素値より算出される明るさ成分の平均を求める方法などがある。また、フィルタの係数を設定し平滑化の強度を変更できるようにしてもよい。なお、平滑化の手段はこれに限定されるものではなく、平滑化効果が得られる方法であれば他の方法を用いてもよい。

Ｓ５０３以降の処理は、実施形態１もしくは実施形態２と同等であるため、説明を省略する。

本実施形態によれば、差分量によって平滑化手段にて適用するフィルタサイズおよび形状を切り替えることで、下地らしさに応じた精度の良い平滑化が実現でき、その結果、より安定した下地レベルの推定が可能となる。

（実施形態４）
実施形態３において、下地除去処理部３０３は、Ｓ５０２の平滑化手段で、明度成分と閾値の差分量を用いて平滑化のためのフィルタサイズを決定したが、属性情報を利用することも可能である。ここで述べる属性情報とは、スキャナ画像処理部３０１において行われる図示しない処理のひとつで、読み取った原稿データの各画素について文字領域か網点領域かを判別する属性判別処理によってフラグ化される情報のことである。属性情報を利用することで、図示しない色変換処理やシャープネス調整処理など各領域に合わせた個別の画像処理を適用し、画質を向上させることができる。

以下、本実施形態における各処理について図１６および図１７を用いて詳細に説明する。

図１６は、本実施形態における平滑化手段のフローチャートを示している。本フローチャートへの入力は、実施形態３と同等である。

まず、下地除去処理部３０３は、Ｓ１６０１において、属性情報を取得し、取得した属性情報をもとに平滑化のためのフィルタのサイズおよび形状を決定する。図１７は、属性情報に対して適用するフィルタのサイズを示したテーブルの一例である。図１７の例では、文字領域は１×１フィルタ、写真領域は３×３フィルタ、下地領域および網点領域は７×７フィルタを適用する。属性情報によってフィルタサイズを切り替える理由は、実施形態３と同等である。文字や写真など高周波成分の多い領域においてはフィルタサイズを小さくし、下地など低周波成分の多い領域においてはフィルタサイズを大きくする。さらに、網点領域は、濃淡が面積階調によって表現されているため、フィルタサイズを大きく設定することで、平滑化後の結果が実際に表現したい原稿の明るさ成分に近くなるようになる。また、網点の短い周期で入力値がバタつくことを抑制する効果があり、その後の処理が安定する。もちろんフィルタサイズだけでなく、フィルタの形状を設定してもよい。なお、属性情報の区分や適用するフィルタサイズおよび形状の各値はこれに限定されるものではない。

次に、下地除去処理部３０３は、Ｓ１６０１において決定されたフィルタサイズおよび形状に基づき平滑化を行う（Ｓ１６０２）。平滑化の手段は、実施形態３と同等である。

Ｓ５０３以降の処理は、実施形態１もしくは実施形態２と同等であるため、説明を省略する。

本実施形態によれば、平滑化手段に使用するフィルタサイズおよび形状を属性情報に応じて切り替えることで、各領域に応じた精度の良い平滑化が実現でき、その結果、より安定した下地レベルの推定が可能となる。

（実施形態５）
実施形態４において、下地除去処理部３０３は、Ｓ５０２の平滑化手段で、属性情報を用いて平滑化のためのフィルタサイズを決定したが、原稿タイプを利用することも可能である。ここで述べる原稿タイプとは、例えばユーザによって画像処理装置のＵＩから設定されたり、画像処理により自動判定されたりして指定される原稿の種別のことである。原稿の種別として、例えば、文字、写真、印画紙写真などがあり、画素単位でなくジョブもしくはページ単位で指定される情報である。

以下、本実施形態における各処理について図１８および図１９を用いて詳細に説明する。

図１８は、本実施形態における平滑化手段のフローチャートを示している。本フローチャートへの入力は、実施形態３と同等である。

まず、下地除去処理部３０３は、Ｓ１８０１において、原稿タイプ情報を取得し、取得した原稿タイプ情報をもとに平滑化のためのフィルタのサイズおよび形状を決定する。図１９は、原稿タイプ情報に対して適用するフィルタのサイズを示したテーブルの一例である。図１９の例では、文字タイプには１×１フィルタ、印画紙写真タイプおよび写真タイプには３×３フィルタを適用する。原稿タイプの情報はページもしくはジョブに対して一意に設定されており画素単位で切替えることができないため、決定されるひとつのフィルタを用いて入力画像データの全画素に対して平滑化のためのフィルタリング処理を行うことになる。文字タイプの原稿は、高周波成分が多いのでフィルタサイズを小さくし、印画紙写真タイプおよび写真タイプは、文字タイプほど高周波成分が多くないと予想されるため中程度のフィルタサイズを設定する。もちろんフィルタサイズだけでなく、フィルタの形状を設定してもよい。なお、原稿タイプ情報の区分や適用するフィルタサイズおよび形状の各値はこれに限定されるものではない。

次に、下地除去処理部３０３は、Ｓ１８０１において決定されたフィルタサイズおよび形状に基づき平滑化を行う（Ｓ１８０２）。平滑化の手段は、実施形態３と同等である。

Ｓ５０３以降の処理は、実施形態１もしくは実施形態２と同等であるため、説明を省略する。

本実施形態によれば、原稿タイプ情報によって平滑化手段にて適用するフィルタサイズおよび形状を切替えることで、特性の異なる原稿の種別に応じた精度の良い平滑化が実現でき、その結果、より安定した下地レベルの推定が可能となる。また、属性判別手段を持たない廉価なシステムにおいて、原稿タイプ情報のみから精度の良い平滑化を行うことで、低コストと高画質の両立を実現できる。

（他の実施形態）
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (18)

1. 画像データにおける画素の明るさ成分と所定の閾値との差分量に応じて前記画像データの画素のカウント変動量を決定する変動量決定手段と、
   前記画像データの画素毎の前記カウント変動量を累積した結果に基づき、前記閾値を変動させる閾値変動手段と、
   前記閾値変動手段によって変動した後の閾値を、前記画素の下地レベルとして決定する下地レベル決定手段と、
   を有することを特徴とする画像処理装置。
2. 前記変動量決定手段において、前記差分量が大きいほどカウント変動量を小さくすることを特徴とする請求項１記載の画像処理装置。
3. 前記閾値変動手段は、前記画像データにおいて前記カウント変動量を累積した結果が、所定のカウント値を超えた場合、前記閾値を変動させることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. さらに、前記明るさの成分を平滑化する平滑化手段を有し、
   前記変動量決定手段は、前記平滑化手段によって平滑化された明るさの成分と前記所定の閾値との差分量に応じて前記画像データの画素のカウント変動量を決定することを特徴とする請求項１記載の画像処理装置。
5. 前記平滑化手段は、前記画像データの注目画素と前記注目画素の周辺画素とを含む領域におけるフィルタリング処理であることを特徴とする請求項４記載の画像処理装置。
6. 前記変動量決定手段は、前記差分量および前記画像データの画素の彩度成分に応じて決定されることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記変動量決定手段は、前記差分量が大きく前記彩度成分が大きいほど、前記カウント変動量を小さくすることを特徴とする請求項６記載の画像処理装置。
8. 前記平滑化手段において、前記明るさの成分と前記所定の閾値との差分量に応じて、前記フィルタリング処理に用いるフィルタサイズを決定することを特徴とする請求項５記載の画像処理装置。
9. 前記平滑化手段において、前記画像データの画素毎に判別された属性情報に応じて、前記フィルタリング処理に用いるフィルタサイズを決定することを特徴とする請求項５記載の画像処理装置。
10. 前記平滑化手段において、前記画像データの原稿タイプ情報に応じて、前記フィルタリング処理に用いるフィルタサイズを決定することを特徴とする請求項５記載の画像処理装置。
11. 入力された画像データの画素の明るさ成分に応じて画素毎に下地レベルを変動させ、前記変動後の下地レベルを用いて各画素に対して下地飛ばし処理を行う画像処理装置において、
    前記画像データの注目画素の明るさ成分と閾値との差分量が大きいほど、前記注目画素に隣接する画素の下地レベルからの変動量が小さくなるように前記注目画素の下地レベルを決定する決定手段とを有することを特徴とする画像処理装置。
12. 前記決定手段において、前記差分量が大きいほど前記注目画素のカウント変動量が小さくなるようにカウント変動量を決定し、画素毎に決定されるカウント変動量を累積した結果が所定のカウント値を超えた場合、前記所定のカウント値を超えた画素の下地レベルを前記画素に隣接する画素の下地レベルから変動させることを特徴とする請求項１１に記載の画像処理装置。
13. 前記閾値は、前記注目画素に隣接する画素の下地レベルであることを特徴とする請求項１１に記載の画像処理装置。
14. 画像データにおける画素の明るさ成分と所定の閾値との差分量に応じて前記画像データの画素のカウント変動量を決定する変動量決定ステップと、
    前記画像データの画素毎の前記カウント変動量を累積した結果に基づき、前記閾値を変動させる閾値変動ステップと、
    前記閾値変動ステップによって変動した後の閾値を、前記画素の下地レベルとして決定する下地レベル決定ステップと、
    を有することを特徴とする画像処理方法。
15. 入力された画像データの画素の明るさ成分に応じて画素毎に下地レベルを変動させ、前記変動後の下地レベルを用いて各画素に対して下地飛ばし処理を行う画像処理方法において、
    前記画像データの注目画素の明るさ成分と閾値との差分量を算出し、前記差分量が大きいほど前記注目画素に隣接する画素の下地レベルからの変動量が小さくなるように前記注目画素の下地レベルを決定する決定ステップとを有することを特徴とする画像処理方法。
16. 前記決定ステップにおいて、前記差分量が大きいほど前記注目画素のカウント変動量が小さくなるようにカウント変動量を決定し、画素毎に決定されるカウント変動量を累積した結果が所定のカウント値を超えた場合、前記所定のカウント値を超えた画素の下地レベルを前記画素に隣接する画素の下地レベルから変動させることを特徴とする請求項１５に記載の画像処理方法。
17. 前記閾値は、前記注目画素に隣接する画素の下地レベルであることを特徴とする請求項１５に記載の画像処理方法。
18. 請求項１乃至１３のいずれか一項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images