JP3702956B2 - 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
単板式の固体撮像素子を利用して撮像された画像データ等に対して画像処理する画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
固体撮像素子を利用したデジタルスチルカメラ等においては、単板方式が採用されることが多い。この単板方式では、図２３（ａ）に示すように、固体撮像素子の各画素に対応してＲ，Ｇ，Ｂ（赤、緑、青）の各色の色フィルタが所定の割合でモザイク状に配設されており、特にＧの色フィルタは千鳥状に配設されて成分比が高くなっている。従って、固体撮像素子の各画素においては、Ｒ，Ｇ，Ｂのいずれか一色の色信号しか得られず、各色の色信号を得ることができない。そこで、各画素において直接的に得ることができない色信号を隣接する画素の色信号から補間演算してＲ，Ｇ，Ｂ全色の色信号を得て階調データに変換して出力し、この階調データに基づいてディスプレイに表示するなどしている。
【０００３】
例えば、図２３（ａ）において、矢印（→）で示す中段の色フィルタに着目する。そして、同図（ｂ）に示すように中央から左半分に光が当たっており（白色部分）、同中央から右半分には光が当たっていない（黒色部分）ものとする。ここにおいて、光があたっている状態の各色の色信号レベルを「１」とし、光が当たっていない状態の同色信号レベルを「０」とすると、ＲおよびＧの色信号レベルは、本来、同図（ｃ）に示す値になるはずである。
【０００４】
しかし、上述したように、Ｒの色フィルタからはＧの色信号は直接的には得られないし、Ｇの色フィルタからはＲの色信号は直接的に得られないため、Ｒの色フィルタに対応する画素のＧの色信号については、隣接する画素におけるＧの色信号を線形補間して得る。他方、Ｇの色フィルタに対応する画素のＲの色信号については、隣接する画素におけるＲの色信号を線形補間して得る。すると、各画素におけるＧおよびＲの色信号レベルは、それぞれ図２３（ｄ）および（ｅ）に示す値となる。図からも明らかなように、光が当たる領域と光が当たらない領域との境界付近の画素に偽の色信号が発生し、この偽の色信号により画像上に色にじみ（偽色と呼ぶこともある）が発生する。特に、この色にじみはグレイ・ホワイト間の境界に顕著に現れることが知られている。そこで、このような色にじみを低減するため、画像データを構成する全画素の色差データに対して平滑化フィルタ（ローパスフィルタ）を作用させて色にじみを目立たなくするなどしていた。
【０００５】
【発明が解決しようとする課題】
上述した従来の技術においては、次のような課題があった。
平滑化フィルタを作用させるということは、一つの画素の色成分を周辺画素に分散することに相当し、同画素を中心とした５×５画素等のマトリクス演算を行うことになる。例えば５×５画素のマトリクス演算を行う場合、一の画素につき５×５＝２５回の演算を行うことになる。従って、全画素を対象とした場合、２５×画素数という膨大な演算量となってしまって処理時間が多大となることがあった。
【０００６】
本発明は、上記課題にかんがみてなされたもので、画像データにおける色にじみを低減するにあたり、処理時間を短縮することが可能な画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体の提供を目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、各画素毎に複数の要素色のうちのいずれかの要素色に対応する階調値データだけが分配された元画像データを起源として、各画素毎に欠乏する要素色の階調値データを周辺画素の階調値データに基づいて補充して生成された画像データに対し、所定の画像処理を行う画像処理装置であって、各画素ごとに異なる要素色間での階調値の差分データを求め、互いに近接する画素間において同差分データの変化度合いが所定のしきい値よりも大きいときに色にじみ画素であると検出する色にじみ画素検出手段と、この検出された色にじみ画素を基準とする所定範囲の画素を対象として色にじみを低減する画像処理を実行する画像処理手段とを備えた構成としてある。
上記のように構成した請求項１にかかる発明においては、色にじみ画素検出手段が、各画素ごとに異なる要素色間での階調値の差分データを求め、互いに近接する画素間において同差分データの変化度合いが所定のしきい値よりも大きいときに色にじみ画素であると検出し、画像処理手段がこの検出された色にじみ画素を基準とする所定範囲の画素を対象として色にじみを低減する画像処理を実行する。
【０００８】
例えば、画像処理の対象となる画像データが、単板の固体撮像素子にて撮像されたドットマトリクス状の画素からなる場合、単板の固体撮像素子は複数要素色の色フィルタが非均一密度でモザイク状に配置されているため、均一密度となるように演算にて補充されるが、上述したようにこの演算の際に偽の色成分が生成されて色にじみが発生する。色にじみ画素検出手段は、このような色にじみが発生している色にじみ画素を検出し、画像処理手段は、同検出された色にじみ画素を基準とした所定範囲の画素を対象として色にじみを低減するように画像処理する。
【０００９】
ある画素について色にじみの有無を検出する際、当該画素についての要素色成分から画一的に色にじみの有無を検出することはできないため、周辺画素と比較して色にじみの有無を検出することになる。また、色にじみの発生は上記のような偽の要素色成分に起因するが、かかる偽の要素色成分は、固体撮像素子において各要素色の色フィルタが非均一密度で配置されていることから低密度の色フィルタに対する要素色成分について発生しやすいと言うことができる。
【００１０】
そこで、検出対象の画素と当該画素に近接する画素との間で低密度の色フィルタに対する要素色強度に着目し、この要素色強度の変化度合いに基づいて色にじみ画素を検出することができる。
【００１１】
ここにおいて、色にじみ画素を検出する具体的な手法の一例として、請求項２にかかる発明は、上記請求項１に記載の画像処理装置において、上記色にじみ画素検出手段は、各画素ごとに異なる要素色間の階調値の差分データを求めるにあたり上記元画像データにおける低密度の要素色と他の要素色との間の差分データを求める構成としてある。
【００１２】
上記のように構成した請求項２にかかる発明においては、上記色にじみ画素検出手段は、上記元画像データにおける低密度の要素色と他の要素色との間の差分データを求め、当該差分データの変化度合いに基づいて色にじみ画素を検出する。
【００１３】
例えば、図２３（ａ）の中段ラインのように、ＲおよびＧの色フィルタが交互に配置されていることが予め分かっている場合、低密度の色フィルタはＲであるから、基準の要素色成分としてＧを採用し、両者の差分ΔＲＧ＝｜ＲーＧ｜の変化度合いを隣接する画素間で調べる。すると、このΔＲＧの値は図２３（ｆ）に示すようになり、隣接する画素間でΔＲＧの変化度合いに着目すると、光が当たる領域と光が当たらない領域との境界付近の画素において「０．５」となり、このような画素を色にじみ画素として検出する。
【００１４】
要素色強度の差分の変化度合いに基づいて色にじみ画素を検出する手法としては、上述したものにとらわれる必要はなく、その一例として、請求項３にかかる発明は、請求項２に記載の画像処理装置において、上記色にじみ画素検出手段は、低密度の要素色が複数ある場合、互いに隣接するにおいて低密度の要素色に対する階調値データの差分の変化度合いに基づいて上記色にじみ画素を検出する構成としてある。
【００１５】
上記のように構成した請求項３にかかる発明においては、低密度の色フィルタが複数存在するような場合に、上記色にじみ画素検出手段は、互いに隣接する画素間においてそれぞれの低密度の要素色に対する階調値データの差分を求め、同差分の変化度合いに基づいて上記色にじみ画素を検出する。
【００１６】
すなわち、上述したように偽の要素色成分は低密度の色フィルタに対する要素色について顕著に現れるため、かかる低密度の色フィルタに対する要素色強度の差分に着目する。例えば、図２３（ａ）に示すように、全体に対してＧの色フィルタの密度が高く、ＲおよびＢの色フィルタの密度が低い場合、偽の要素色成分はＲ、Ｂで顕著に現れることになる。ここにおいて、同様に中段ラインに着目するものとし、この中段ラインの各画素におけるＢの色信号レベルを上段ライン側に隣接するＢの色フィルタから線形補間するものとする。すると、中段ラインの各画素におけるＢの色信号レベルは同図（ｄ）に示すものと同様になり、ＲとＢの色信号レベルの差分ΔＲＢ＝｜Ｒ−Ｂ｜＝ΔＲＧとなる。従って、隣接する画素間におけるΔＲＢの値も同図（ｆ）に示すようになるため、光が当たる領域と光が当たらない領域の境界付近の画素において同ΔＲＢの変化度合いは「０．５」となり、このような画素を色にじみ画素として検出する。
【００１７】
基準の要素色強度と低密度の要素色強度との差分の変化度合いに着目するか、あるいは低密度の要素色強度間の差分の変化度合いに着目するかにかかわらず、いずれの隣接画素間でかかる変化度合いを調べるかについては様々な態様が考えられる。例えば、水平方向、垂直方向および斜め方向の八方向に隣接する画素間で同変化度合いを調べるようにしてもよいし、適宜、比較方向を削減すれば演算量を低減することができる。上述した理由から低密度の色フィルタに対する画素においては、偽の要素色成分が発生している可能性が高いと言えるため、上記変化度合いを調べる場合、低密度の色フィルタに対する画素間で調べる方が好適である。そこで、請求項４にかかる発明は、上記請求項１〜請求項３のいずれかに記載の画像処理装置において、上記色にじみ画素検出手段は、隣接する画素のうち上記元画像データにおける低密度の要素色に対応して配置する画素との間における上記変化度合いに基づいて上記色にじみ画素を検出する構成としてある。
【００１８】
上記のように構成した請求項４にかかる発明においては、上記色にじみ画素検出手段は、隣接する画素のうち上記元画像データにおける低密度の要素色に対応して配置する画素との間で同変化度合いを調べて色にじみ画素を検出する。
【００１９】
一方、色にじみを低減する画像処理としては、検出された色にじみ画素を基準として所定サイズの平滑化フィルタを作用させるなどすれば実現可能であり、このような平滑化処理を行う際の好適な一例として、請求項５にかかる発明は、請求項１〜請求項４のいずれかに記載の画像処理装置において、上記画像処理手段は、上記色にじみ画素を基準とした所定範囲の画素を対象として要素色成分から輝度成分を減算した色差成分を平滑化処理し、元の要素色成分に戻す構成としてある。
【００２０】
上記のように構成した請求項５にかかる発明においては、上記画像処理手段は、検出された色にじみ画素を基準とした所定範囲の画素を対象として平滑化処理を行うが、色にじみには色差成分の平滑処理が有効であるため、各画素について要素色成分から輝度成分を減算した色差成分を平滑化処理し、その後、元の要素色成分に戻す。
【００２１】
また、平滑化処理によって画像のシャープさが失われることもあるので、請求項６にかかる発明は、請求項５に記載の画像処理装置において、上記画像処理手段は、上記色にじみ画素を基準とした所定範囲の各画素の輝度成分を参照して色にじみ画素の輝度成分を変化させることによってエッジ強調処理する構成としてある。
【００２２】
上記のように構成した請求項６にかかる発明においては、上記画像処理手段は、画像データに対して、上記色にじみ画素を基準とした所定範囲の各画素の輝度成分を参照して色にじみ画素の輝度成分を変化させることによってエッジ強調処理を行い、平滑化処理で失われたシャープさを補う。
【００２３】
このように、エッジ強調処理を行うとしても、上記平滑化処理を行わない領域までエッジ強調すると、同平滑化処理される領域の外側が不自然にエッジ強調されてしまうことも観念されるため、請求項７にかかる発明は、請求項６に記載の画像処理装置において、上記画像処理手段は、上記平滑化処理を行う範囲内の画素に対してエッジ強調処理する構成としてある。
【００２４】
上記のように構成した請求項７にかかる発明においては、上記画像処理手段は、シャープさが失われがちな上記平滑化処理を行う範囲内の画素に対してエッジ強調処理を行う。
【００２５】
ところで、平滑化処理を行うにあたり、すべての画像データにおいて、一律に同一範囲の平滑化処理を行うことは得策ではない。例えば、画像サイズの大きな画像データと画像サイズの小さな画像データの両者に対して同一範囲の平滑化処理を施したものとする。この場合、前者における平滑化処理の範囲が画像に対して占める割合と、後者における割合とは異なるため、前者において良好な結果が得られたとしても後者においては全体がぼやけすぎてしまうこともあり得る。そこで、請求項８にかかる発明は、請求項５〜請求項７のいずれかに記載の画像処理装置において、上記画像処理手段は、画像処理の対象となる上記画像データの画像サイズが大きい場合には、上記検出された色にじみ画素を基準とした所定範囲の画素を対象として平滑化処理を行う際に同平滑化処理をする範囲を大きくし、上記画像データの画像サイズが小さい場合には、上記色にじみ画素を基準とした所定範囲の画素を対象として平滑化処理を行う際に同平滑化処理をする範囲を小さくする構成としてある。
【００２６】
上記のように構成した請求項８にかかる発明においては、上記画像処理手段は、予め画像処理の対象となる画像データのサイズを検知し、当該画像データのサイズが大きければ平滑化処理する範囲を大きくするし、同画像データのサイズが小さければ平滑化処理する範囲を小さくする。具体的にはサイズの異なる複数の平滑化フィルタを保持しておき、画像サイズに応じて平滑化フィルタを使い分けるようにするなどすれば実現可能である。
【００２７】
また、色にじみを低減する別の手法の一例として請求項９にかかる発明は、請求項１〜請求項４のいずれかに記載の画像処理装置において、上記画像処理手段は、上記色にじみ画素を基準とした所定範囲の画素を対象として要素色成分から輝度成分を減算した色差成分にて中央の値を有する色差成分を当該色にじみ画素の色差成分に置換して元の要素色成分に戻す構成としてある。
【００２８】
上記のように構成した請求項９にかかる発明においては、上記画像処理手段は、検出された色にじみ画素を基準とした所定範囲の画素を対象として要素色成分から輝度成分を減算して得た色差成分を検出し、その中で中央の値を有する色差成分を色にじみ画素の色差成分に置き換え、その後に元の要素色成分に戻す。すなわち、色にじみ画素の色差成分を周辺画素の色差成分に置き換えることにより、色にじみを低減する。なお、所定範囲の画素を対象とした色差成分にて中央の値を選択する具体的な構成としては、所定のメジアンフィルタなどを適用すればよい。
【００２９】
色にじみ画素を基準とした所定範囲の画素を対象として上記の平滑化処理を行い、その後に上記のエッジ強調処理を行えば、平滑化処理によって失われたシャープさを補うことができる。しかし、経験的な見地からすると、色にじみ画素が画像の境界部分たるエッジ部分に発生している場合には、当該エッジ部分の画像がぼやけてしまうことがあった。かかる点にかんがみ、上記画像処理手段は、上記色にじみ画素がエッジ画素であるか否かを判断してエッジ画素である場合に同色にじみ画素を基準とした所定範囲の画素を対象として要素色成分から輝度成分を減算した色差成分にて中央の値を有する色差成分を当該色にじみ画素の色差成分に置換し、エッジ画素ではない場合に同色にじみ画素を基準とした所定範囲の画素を対象として要素色成分から輝度成分を減算した色差成分を平滑化処理し、その後に元の要素色成分に戻す構成としてもよい。
【００３０】
上記のように構成した場合、色にじみ画素が検出されると、画像処理手段は当該色にじみ画素がエッジ画素であるか否かを判断する。ここにおいて、エッジ画素であると判断した場合には上述したようにして色にじみ画素を基準とした所定範囲の画素を対象とした色差成分を検出し、その中で中央の値を有する色差成分を色にじみ画素の色差成分に置き換え、その後に元の要素色成分に戻す。他方、エッジ画素ではないと判断した場合には上述したようにして色にじみ画素を基準とした所定範囲の画素の色差成分を平滑化処理し、その後に元の要素色成分に戻す。
【００３１】
例えば、白・黒の境界部分に色にじみ画素が発生していた場合、当該色にじみ画素の色差成分が周辺画素の色差成分に置き換わって純粋に白または黒の画素となるため、色にじみは解消されつつも境界部分がぼやけてしまうことはない。また、エッジ画素であるか否かを判断するにあたっては、エッジ画素において隣接画素間で色差成分の変化度合いが大きくなることから、かかる色差成分の変化度合いと所定のしきい値とを比較し、同色差成分の変化度合いの方が大きい場合にエッジ画素と判断するなどすればよい。むろん、エッジ画素を輝度勾配の大きい画素として捉え、隣接画素間で輝度成分の変化度合いに基づいてエッジ画素を判断するようにしてもよい。
【００３２】
色にじみ画素を検出して当該色にじみ画素を基準とした所定範囲の画素について色にじみを低減する手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、請求項１０にかかる発明は、各画素毎に複数の要素色のうちのいずれかの要素色に対応する階調値データだけが分配された元画像データを起源として、各画素毎に欠乏する要素色の階調値データを周辺画素の階調値データに基づいて補充して生成された画像データに対し、所定の画像処理を行う画像処理方法であって、各画素ごとに異なる要素色間での階調値の差分データを求め、互いに近接する画素間において同差分データの変化度合いが所定のしきい値よりも大きいときに色にじみ画素であると検出し、この検出された色にじみ画素を基準とする所定範囲の画素を対象として色にじみを低減する画像処理を実行する構成としてある。
【００３３】
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【００３４】
ところで、上述したように色にじみ画素を検出して当該色にじみ画素を基準とした所定範囲の画素について色にじみを低減する画像処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【００３５】
発明の思想の具現化例として画像処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。その一例として、請求項１１にかかる発明は、各画素毎に複数の要素色のうちのいずれかの要素色に対応する階調値データだけが分配された元画像データを起源として、各画素毎に欠乏する要素色の階調値データを周辺画素の階調値データに基づいて補充して生成された画像データに対し、コンピュータに所定の画像処理を実行させる画像処理制御プログラムを記録した媒体であって、各画素ごとに異なる要素色間での階調値の差分データを求め、互いに近接する画素間において同差分データの変化度合いが所定のしきい値よりも大きいときに色にじみ画素であると検出する色にじみ画素検出機能と、この検出された色にじみ画素を基準とする所定範囲の画素を対象として色にじみを低減する画像処理を実行する画像処理機能とをコンピュータに実施させる構成としてある。
【００３６】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。
【００３７】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００３８】
【発明の効果】
以上説明したように本発明は、比較的簡易な演算手法によって色にじみ画素を検出し、当該色にじみ画素を基準とした所定範囲の画素を対象として色にじみを低減するようにしたため、演算量を削減して処理時間を短縮することが可能な画像処理装置を提供することができる。
【００３９】
また、請求項２にかかる発明によれば、低密度の要素色に着目すればよいため、容易に色にじみ画素を検出することができる。
【００４０】
すなわち、低密度の要素色と他の要素色との差分の変化度合いを調べればよいため、色にじみ画素の検出演算を容易に行うことができる。
【００４１】
さらに、請求項３にかかる発明によれば、低密度の要素色が複数ある場合、一律に低密度の要素色間での差分の変化度合いに着目すればよいため、色にじみ画素の検出演算を容易に行うことができる。
【００４２】
さらに、請求項４にかかる発明によれば、低密度の要素色の画素との間で上記差分の変化度合いを調べるようにしたため、より信頼性の高い検出を行うことができる。
【００４３】
さらに、請求項５にかかる発明によれば、平滑化処理により色にじみを低減するにあたり、色差成分を平滑化処理して元の要素色成分に戻せばよいため、演算を容易に行うことができる。
【００４４】
さらに、請求項６にかかる発明によれば、エッジ強調処理を行うようにしたため、平滑化処理による画像のシャープさの低下を補うことができる。
【００４５】
さらに、請求項７にかかる発明によれば、平滑化処理を行う範囲内の画素に対してエッジ強調処理を行うようにしたため、平滑化処理の範囲外の画素について不自然にシャープさが高まることはない。
【００４６】
さらに、請求項８にかかる発明によれば、処理対象となる画像のサイズに応じて平滑化処理する範囲を変化させるようにしたため、最適な範囲の平滑化処理を行うことができる。
【００４７】
さらに、請求項９にかかる発明によれば、所定範囲の画素の色差成分にて中央の値を色にじみ画素に援用するようにしたため、色にじみを低減することができる。
【００４８】
さらに、色にじみ画素がエッジ画素である場合に所定範囲の画素の色差成分にて中央の値を色にじみ画素に援用し、エッジ画素ではない場合に平滑化処理を施すようにする場合には、画像のエッジ部分がぼやけてしまうことがない。
【００４９】
さらに、請求項１０にかかる発明によれば、同様にして演算量を削減して処理時間を短縮することが可能な画像処理方法を提供することができ、請求項１１にかかる発明によれば、画像処理制御プログラムを記録した媒体を提供することができる。
【００５０】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
図１は、本発明の一実施形態にかかる画像処理装置を適用した画像処理システムをブロック図により示しており、図２は具体的ハードウェア構成例を概略ブロック図により示している。
図１において、画像入力装置１０は単板式のＣＣＤを利用して撮像した実画像などをドットマトリクス状の画素で表した画像データとして画像処理装置２０へ出力する。上述した原理から単板式のＣＣＤにて撮像された画像データには色にじみが発生し、画像処理装置２０は入力画像データにおいて色にじみ画素を検出して当該色にじみ画素を基準とした所定範囲で色にじみを低減するように画像処理して画像出力装置３０へ出力し、画像出力装置３０は画像処理された画像データをドットマトリクス状の画素で出力する。
【００５１】
画像処理装置２０は、色にじみ画素を検出することから色にじみ画素検出手段を備えているし、当該検出された色にじみを基準として色にじみを低減するように画像処理を行うことから画像処理手段をも備えていると言える。
【００５２】
画像入力装置１０の具体例は図２における単板式のＣＣＤを備えたフィルムスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当する。例えば、図３は同デジタルスチルカメラ１２の簡単なハードウェア構成例を概略ブロック図により示している。同図において、入射光は光学系１２ａを介してＣＣＤ１２ｂに受光される。このＣＣＤ１２ｂはＲ，Ｇ，Ｂ各色の色フィルタが各画素に対応して所定の割合で配置されており、駆動回路１２ｃにて各画素における色信号が出力される。出力された色信号はデジタル変換されて補間演算回路１２ｄに入力され、当該補間演算回路１２ｄにて各画素において直接得ることができない要素色成分についての色信号を周辺の画素からの線形補間演算により取得し、ＲＧＢの階調データとして画像メモリ１２ｅに保存する。
【００５３】
一方、画像処理装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とＣＤ−ＲＯＭドライブ２４とフロッピーディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【００５４】
本実施形態においては、画像入力装置１０としてのフィルムスキャナ１１やデジタルスチルカメラ１２が画像データとしてＲＧＢの階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は階調データとしてＣＭＹ（シアン、マゼンダ、イエロー）あるいはこれに黒を加えたＣＭＹＫの二値データを入力として必要とするし、ディスプレイ３２はＲＧＢの階調データを入力として必要とする。
【００５５】
一方、コンピュータ２１内ではオペレーティングシステム２１ａが稼働しており、プリンタ３１やディスプレイ３２に対応したプリンタドライバ２１ｂやディスプレイドライバ２１ｃが組み込まれている。また、画像処理アプリケーション２１ｄはオペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連携して所定の画像処理を実行する。従って、画像処理装置２０としてのこのコンピュータ２１の具体的役割は、ＲＧＢの階調データを入力し、色にじみ画素を検出して色にじみを低減するように画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹＫ）の二値データに変換してプリンタ３１に印刷させることになる。
【００５６】
このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、単板式のＣＣＤにて撮像されるとともに上述したように補間演算されて色にじみが発生した画像データに対して色にじみを低減するように画像処理を行うシステムに適用可能である。例えば、図４に示すように単板式のＣＣＤを備えたデジタルスチルカメラ１３ａ内に同様に画像処理する画像処理装置を組み込み、色にじみを低減した画像データを用いてディスプレイ３２ａに表示させたりプリンタ３１ａに印字させるようなシステムであっても良い。また、図５に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ３１ｂにおいては、単板式のＣＣＤを有するフィルムスキャナ１１ｂやデジタルスチルカメラ１３ｂ等を介して入力される画像データに対して色にじみを低減して画像処理するように構成することも可能である。
【００５７】
上述した色にじみ画素の検出と色にじみを低減する画像処理は、具体的には上記コンピュータ２１内にて図６などに示すフローチャートに対応した画像処理プログラムで行っている。
本実施形態において採用する色にじみの低減方法は、後述するように平滑化フィルタなどを作用させて行う点については従来と同様であるが、同平滑化フィルタなどを作用させる領域は色にじみ画素の周辺に限られることで従来とは異なる。ここで、処理対象となる画像データについて、図７（ａ）および（ｂ）に示すように二種類の画像サイズのビットマップを考え、両者に対して図中斜線部分で示す同一サイズの平滑化フィルタを作用させるものとする。画像サイズが異なるとは、画像データの各画素とＣＣＤの各画素が一対一で対応していれば、使用するＣＣＤの画素数に応じて画像サイズも当然に異なるが、同一画素数のＣＣＤを使用した場合であっても適宜伸縮して画像サイズが変更される場合もあり、かかる場合も含むものとする。
【００５８】
図からも明らかなように、同一サイズの平滑化フィルタを適用している限りにおいては、画像サイズが異なれば平滑化処理される領域が画像全体に対して占める割合も異なる。従って、あらゆる画像サイズの画像データに対して一律に同一サイズの平滑化フィルタを作用させてしまうと、図７（ａ）に示すように適当な大きさの領域が平滑化処理されることもあれば、同図（ｂ）に示すように平滑化処理される領域が画像全体に対して占める割合が大きくなってしまうことがある。平滑化処理するということは、画像をぼやけさせることに他ならないから、同図（ｂ）に示すものにおいては画像の大部分がぼやけてしまうことになりかねない。
【００５９】
そこで、本実施形態においては、図８に示すようにな３×３、５×５、７×７画素といった複数の異なるサイズの平滑化フィルタを保持しており、画像サイズに応じてこれらの平滑化フィルタを適宜使い分けるようにしている。ここで、ビットマップ画像の画像サイズを判定するにあたっては、画像の（ｈｅｉｇｈｔ）×（ｗｉｄｔｈ）を算出して画素数を求め、この算出された画素数を指標としてもよいが、本実施形態においては、次式で表されるＡに従って処理対象画像の画像サイズを判定する。
【００６０】
Ａ＝ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ） …（１）
ここにおいて、ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）はｈｅｉｇｈｔとｗｉｄｔｈのいずれか小さい方を意味する。そして、ステップＳ１１０では、
Ａ＜３００ならば、
３×３画素の平滑化フィルタ
３００≦Ａ≦６００ならば、
５×５画素の平滑化フィルタ
Ａ＞６００ならば、
７×７画素の平滑化フィルタ
というように分岐し、それぞれステップＳ１２２〜ステップＳ１２６にて用いる平滑化フィルタの種類をワークエリアに保存する。ワークエリアはコンピュータ２１内のＲＡＭであってもよいしハードディスク２２であってもよい。
【００６１】
ここでｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）を基準としているのは次のような理由による。平滑化フィルタのサイズが適当か否かを判断するにあたっては、本来的には全画素数に対して平滑化処理される画素数の割合で判断すればよい。しかしながら、例えば、同一画素数の画像データであっても図９（ａ）に示すビットマップ画像のように幅広の画像もあれば、同図（ｂ）に示すビットマップ画像のように高さ方向に比べて幅方向の長さが若干長い標準的な画像もある。仮に、処理対象画像の全画素数に応じて使用する平滑化フィルタを決定するものとすると、両者で同一の平滑化フィルタが選択されることになる。すると、後者においては同平滑化フィルタのサイズが適当であっても、前者においては高さ方向がほぼ全長にわたって平滑化されることがあり、このような場合、視覚的にはぼやけた印象を受ける。従って、ｈｅｉｇｈｔとｗｉｄｔｈのいずれか小さい方を基準とすれば、このような弊害を回避することができる。
【００６２】
図６のフローチャートを参照すると、図１０に示すようにドットマトリクス状の画素からなる画像データについて処理対象画素を水平方向に主走査しつつ垂直方向に副走査して移動させ、各画素について色にじみ画素であるか否かを判断している。
【００６３】
画像データがドットマトリクス状の画素から構成されている場合には、各画素ごとにＲＧＢの階調データ（「０」〜「２５５」）で表されている。ステップＳ１２２〜ステップＳ１２６にて使用する平滑化フィルタの種類をワークエリアに保存したら、次なるステップＳ１３０においては、対象画素とその周辺画素におけるＲおよびＢの階調データの差分ΔＲＢを算出する。このΔＲＢは、
ΔＲＢ＝｜Ｒ−Ｂ｜ …（２）
と表される。
【００６４】
本実施形態におけるＣＣＤは図２３（ａ）に示すように、各画素に対応してＲ，Ｇ，Ｂの各色の色フィルタがモザイク状に配置されるとともに、Ｇの色フィルタのみが千鳥状に配置されて密度が高くなっており、ＲおよびＢの色フィルタが低密度となっている。そして、各画素において直接的に得ることができない色信号を隣接する画素の色信号から線形補間演算してＲ，Ｇ，Ｂ全色の色信号を得て階調データに変換している。従って、確率からすれば補間演算の結果、ある画素において低密度のＲ，Ｂの階調データについて、本来の強度が得られなかったり、本来必要のない色成分が発生するなど偽の要素色成分により色にじみが発生するということができる。
【００６５】
また、色にじみは特に白・黒間の境界付近にて顕著に現れることが知られている。例えば、Ｒの色フィルタに対応する画素において白色を表現する場合、本来のＲＧＢの階調データは（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）となるところ、補間演算の結果（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，１２７）となったりする。ここにおいて、Ｇの色フィルタは高密度であるからＧ成分については補間演算により偽の要素色成分が発生する確率が小さく、他方、Ｒの成分は色フィルタから直接的に得ることができるため偽の色成分が発生することはない。本来的にはある画素において白を表現するならばΔＲＢは「０」となるし、黒を表現する場合もΔＲＢは「０」となるはずではあるが、色にじみ画素においてはこれに比べてΔＲＢの値が大きくなる傾向を示す。
【００６６】
むろん、画像データによってはもともとＲおよびＧの成分が高く、Ｂの成分が低い画素も当然に存在し得る。しかし、このような場合には各要素色成分は隣接画素においても保持され、当該画素から遠ざかるにつれてΔＲＢの値はなだらかに変化する場合が多い。これに対して、色にじみは原理的に画素単位で発生しつつ、かつ、互いに隣接する画素のいずれか一方が白または黒などの画素であるから、隣接画素間でΔＲＢの変化度合いが大きい画素を色にじみ画素としてもあながち間違ってはいないといえる。そこで、本実施形態においては、後述するようにして処理対象画素と周辺画素との間でΔＲＢの値の変化度合いを調べ、同変化度合いが大きい画素を色にじみ画素として検出する。むろん、Ｇの色フィルタは高密度であるから補間演算により偽の要素色成分が発生する可能性は低いと言えるため、この要素色成分を基準として（２）式を、
ΔＧＲ＝｜Ｇ−Ｒ｜ …（３）
ΔＧＢ＝｜Ｇ−Ｂ｜ …（４）
という式に代替することも可能である。
【００６７】
また、このようなΔＲＢの変化度合いを調べるにあたっては、低密度の色フィルタに対応する画素間で比較する方が好適である。すなわち、高密度の色フィルタに対応する画素と比べて低密度の色フィルタに対応する画素の方が偽の要素色成分が発生しやすいため、低密度の色フィルタに対応する画素間でΔＲＢの変化度合いを比較する方がより信頼性の高い検出を行うことができる。
【００６８】
実際の色にじみ画素の検出はステップＳ１４０にて行われ、このステップＳ１４０では上記のようにして算出したΔＲＢの周辺画素間での変化度合いから色にじみ画素か否かの判定を行う。このとき、図１１に示すように、処理対象画素を中心とするとともに、水平方向をｘ、垂直方向をｙとしたマトリクスを考え、
Ｅ＝４ΔＲＢ（ｘ，ｙ）−２ΔＲＢ（ｘ−１，ｙ−１）
−２ΔＲＢ（ｘ＋１，ｙ−１） …（５）
で表されるＥの値と所定のしきい値Ｔｈとの大小関係を比較する。そして、Ｅ≧Ｔｈの場合に色にじみ画素であると判断する。従って、上述したステップＳ１３０においては、判定対象の画素におけるΔＲＢ（ｘ，ｙ）を求めておくとともに、周辺画素のΔＲＢの値としてΔＲＢ（ｘ−１，ｙ−１）およびΔＲＢ（ｘ＋１，ｙ−１）を求めておくことになる。
【００６９】
Ｅ≧Ｔｈの判定基準に従って色にじみ画素を検出する意味は次のようになる。処理対象画素において色にじみが発生していると、当該画素とその周辺画素間のΔＲＢ値の変化度合いが大きくなるため（５）式を参照するとＥの値も大きくなり、所定のしきい値Ｔｈを越えた場合に色にじみ画素と判断する。また、（５）式および図１１を参照すると、判定対象の画素と斜め方向の画素とでΔＲＢの変化度合いを調べていることが容易に分かる。ここで、図２３（ａ）を参照すれば、判定対象の画素がＲに該当すれば斜め方向の画素はＢに該当し、判定対象の画素がＢに該当すれば斜め方向の画素はＲに該当するし、判定対象の画素がＧに該当すれば斜め方向の画素はＧに該当する。すなわち、判定対象の画素が低密度の要素色に対応する場合は、隣接する低密度の要素色に対応する画素との間でΔＲＢ値の変化度合いを調べ、判定対象の画素が高密度の要素色に対応する場合は、隣接する高密度の要素色に対応する画素との間でΔＲＢの変化度合いを調べていることになる。
【００７０】
従って、ステップＳ１３０，Ｓ１４０にて互いに隣接する画素間において低密度の色フィルタに対する要素色強度間の差分の変化度合いに基づいて色にじみ画素を検出しており、これらを実行するハードウェア構成とソフトウェアとによって色にじみ画素検出手段を構成することになる。
【００７１】
ステップＳ１４０にて色にじみ画素であるものと判断した場合には、ステップＳ１５０にて当該画素がエッジ画素か否かを判定する。エッジ画素であるか否かを判断するにあたっては、色差成分に基づいて行う手法が有効であるため、本実施形態においてはＲおよびＢの階調データから輝度成分Ｙを減算してそれぞれ色差成分Ｃ１，Ｃ２を求める。なお、この色差成分Ｃ１，Ｃ２は、
Ｃ１＝Ｒ−Ｙ …（６）
Ｃ２＝Ｂ−Ｙ …（７）
と表すことができる。
【００７２】
しかしながら、ＲＧＢの階調データは直接には輝度の値を持っておらず、輝度を求めるためにＬｕｖ表色空間に色変換することも可能であるが、演算量などの問題から得策ではない。このため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める次式の変換式を利用する。
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ …（８）
【００７３】
エッジ画素は画像の境界部分であるから、隣接する画素間で色差成分Ｃ１，Ｃ２の変化度合いが大きいといえるため、次の二つの判定基準のうちでいずれか一方を充足する場合にエッジ画素として判断することができる。
｜Ｃ１（ｘ，ｙ）−Ｃ１（ｘ−１，ｙ−１）｜≧Ｔｈ１
…（９）
｜Ｃ２（ｘ，ｙ）−Ｃ２（ｘ−１，ｙ−１）｜≧Ｔｈ２
…（１０）
なお、ここにおけるｘは水平方向の座標を示しており、ｙは垂直方向の座標を示している。
【００７４】
すなわち、（９）および（１０）式の意味するところは、図１２に示すように、当該色にじみ画素を中心としたドットマトリクス状の画素からなる画像データにおいて、隣接する斜め方向の画素間で色差成分Ｃ１，Ｃ２の変化度合いを求め、それぞれしきい値Ｔｈ１，Ｔｈ２以上あるか否かを判定していることに他ならない。そして、いずれか一方の判断基準を充足する場合にエッジ画素と判断していることになる。むろん、本来的には画素は図１３に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との間で色差成分Ｃ１，Ｃ２の変化度合いを求めるとともに、それぞれしきい値Ｔｈ１，Ｔｈ２との間で比較演算し、いずれか一つの比較演算にて色差成分Ｃ１またはＣ２の変化度合いがしきい値Ｔｈ１またはＴｈ２以上ある場合に色にじみ画素と判断すればよい。
【００７５】
このように色にじみ画素がエッジ画素であるか否かを判断するにあっては、色差成分Ｃ１，Ｃ２の変化度合いに基づいて行う手法が有効ではあるものの、一つの色にじみ画素について、隣接する八画素のそれぞれにおいて色差成分Ｃ１，Ｃ２についての比較演算を行わなければならないため、演算量が多大となって処理速度が低下してしまうことになりかねない。そこで、図１４に示すように縦横方向の四画素について比較演算を行ったり、あるいは図１５に示すように斜め方向の四画素について比較演算を行うようにし、演算量を低減するようにしてもかまわない。
【００７６】
また、エッジ画素であるか否かを輝度勾配の大小で判断するようにしてもよく、この場合には上述した（９）および（１０）式を次式に代替すればよい。
｜Ｙ（ｘ，ｙ）−Ｙ（ｘ−１，ｙ−１）｜≧Ｔｈ３
…（１１）
この（１１）式をエッジ画素の判断基準として用いれば、（９）および（１０）式を用いる場合に比べて演算量が半減されることは容易に分かることである。
【００７７】
ステップＳ１５０にて当該色にじみ画素がエッジ画素ではないものと判断した場合には、ステップＳ１５２で同色にじみ画素に対してステップＳ１２２〜ステップＳ１２６にて決定した平滑化フィルタを作用させて同色にじみ画素を基準とした所定範囲の画素に対して平滑化処理を行う。むろん、平滑化処理を行うにあたっては、色差成分の平滑化が有効であるため、本実施形態においては上記（６）、（７）式に基づいて算出した色差成分Ｃ１，Ｃ２に対して平滑化処理を施す。
【００７８】
ここで、平滑化フィルタを用いた平滑化処理について説明する。図８に示す各平滑化フィルタにおいて、中央の数値をマトリクス状の画像データにおける処理対象画素の色差成分Ｃ１，Ｃ２の重み付けとし、その周辺画素に対して同平滑化フィルタの升目における数値に対応した重み付けをして積算するのに利用される。この場合、すべての升目に「１」が立てられているため、平滑後の色差成分Ｃ１'は各升目の色差成分Ｃ１を合計して全升目数で除算して求め、平滑後の色差成分Ｃ２'も同様にして求められる。むろん、各升目に適宜重み付けを持たせるようにしてもかまわない。ただし、平滑化フィルタを作用させるとういことは、上述したようなマトリクス演算を行うことであるから、各升目に重み付けを持たせれば演算量も増加することになる。すなわち、本実施形態においては、平滑化フィルタの各升目に「１」を立てているため、各画素のデータを合計して升目数で除算すればよいが、各升目に重み付けがなされている場合には升目数だけ乗算演算と加算演算が必要になることから演算量が多大となる。
【００７９】
従来のように画像データの全画素を対象としてこのようなマトリクス演算を行うと、演算量が膨大となって多大な処理時間がかかってしまうことがある。従って、本実施形態のように色にじみ画素を検出して当該色にじみ画素の周辺について平滑化処理を行うようにすれば、大幅な演算量の削減が期待され、高速な画像処理を実現可能となる。
【００８０】
一方、ステップＳ１５０で当該色にじみ画素がエッジ画素であると判断した場合には、ステップＳ１５４で同色にじみ画素を中心として５×５画素のメジアンフィルタを作用させる。なお、実際に適用するメジアンフィルタのサイズは、必ずしも５×５画素である必要はなく、３×３画素のメジアンフィルタを適用するなど適宜変更可能である。そこで、説明の便宜上、３×３画素のメジアンフィルタを適用する場合について説明する。
【００８１】
例えば、図１６に示すように、色にじみ画素を中心とした３×３画素のドットマトリクスを考慮する。なお、各升目の値は色差成分Ｃ１の値を示しており、図中の斜め線がエッジ方向に相当する。ここで、３×３画素のメジアンフィルタを適用するということは、全九画素の色差成分Ｃ１の値を昇順または降順にソートし、中央の値を選択して色にじみ画素の色差成分Ｃ１と置き換えることを意味する。すなわち、同図に示すものにおいては、色差成分Ｃ１の値が「１０」の画素が六画素存在し、「４０」の画素が一画素存在し、「１００」の画素が三画素存在しているため、これらの値を仮に昇順にソートしたものとすると図１７に示すようになる。すると、同図からも明らかなように中央の値は「１０」となり、当該色にじみ画素の色差成分Ｃ１は「１０」となる。
【００８２】
一方、ここにおいて３×３画素の平滑化フィルタを作用させたものとすると、升目の合計値「３００」を画素数「９」で除算した値である「３３」が平滑化処理後の色差成分Ｃ１'となる。この平滑処理後の色差成分Ｃ１'は色にじみ画素に対して周辺画素の色差成分Ｃ１を平均化して加算したものであるから、滑らかな画像データとしていることになる。このようにして滑らかにしたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持ち、画像は滑らかにされて色にじみが目立たなくなるが、エッジ部分もぼやけた印象となってしまうため得策ではない。そこで、エッジ画素に対しては上述したメジアンフィルタを適用すればエッジ部分がぼやけないことは、上記の演算結果からも明らかである。
【００８３】
他方、図１６を参照すると、色差成分Ｃ１の値が「４０」の画素にて色にじみが発生していることが分かる。そこで、この色にじみ画素に対して３×３画素のメジアンフィルタを適用すると、隣接する八画素の中で七画素の色差成分の値が「１００」であり、一画素のみ色差成分の値が「１０」であるため、当該色にじみ画素の色差成分の値も「１００」に置き換わることになり、色にじみが低減されることが分かる。このように、メジアンフィルタはエッジ部分をぼやけさせないようにしつつ、色にじみを低減させる効果をも有しており、上記のステップＳ１５０にて当該色にじみ画素がエッジ画素であるか否かを判定する意味はかかる事由によるものである。
【００８４】
なお、ここで例示したメジアンフィルタは３×３画素であるが、むろん、本実施形態にて採用する５×５画素のメジアンフィルタの場合、全二十五画素の中で中央の値を選択すればよく、３×３画素の場合と全く同様に考えることができる。また、色差成分Ｃ１について例示したが、色差成分Ｃ２についても同様であることはいうまでもない。
【００８５】
ところで、平滑化フィルタとメジアンフィルタの演算速度を比べると、メジアンフィルタの方が比較的遅いため、メジアンフィルタを適用する場面は可能な限り抑えた方が処理速度上からも好適である。エッジ画素の判断基準として（９）および（１０）式を採用する場合、色差成分Ｃ１，Ｃ２のいずれか一方で同式を充足する場合もあれば、色差成分Ｃ１，Ｃ２の双方で同式を充足する場合もありうる。ここで、前者の場合において、双方の色差成分についてメジアンフィルタを適用する必要性はないし、処理速度の低下を招くことから、同式を充足する色差成分においてのみステップＳ１５４でメジアンフィルタを適用し、別の一方の色差成分についてはステップＳ１５２で平滑化フィルタを適用すれば処理速度を全体として向上させることができる。むろん、エッジ画素の判断基準として（１１）式を採用する場合には、いずれの色差成分の変化度合いが大きいかといったことは判断し得ないため、この場合にはステップＳ１５４で色差成分Ｃ１，Ｃ２の双方に対してメジアンフィルタを適用することになる。
【００８６】
上述したように、色にじみを低減するということは、画像を滑らかにして色にじみを目立たなくすることに他ならず、その部分がぼやけた印象となってしまうことも想定しうる。そこで、本実施形態においては、次なるステップＳ１６０にてエッジ強調処理を行う。
【００８７】
このエッジ強調処理は、強調前の各画素の輝度Ｙに対して強調後の輝度Ｙ'が
Ｙ'＝Ｙ＋（Ｙ−Ｙunsharp） …（１２）
として演算される。ここで、Ｙunsharp は色にじみ画素の画像データに対してアンシャープマスク処理を施したものであり、次にアンシャープマスク処理について説明する。本実施形態においては、図１８に示すように３×３、５×５、７×７画素からなる三種類のアンシャープマスクを備えており、それぞれステップＳ１２２〜Ｓ１２６で決定した平滑化フィルタのサイズに対応している。例えば、３×３画素の平滑化フィルタを選択したら、３×３画素のアンシャープマスクを選択することになる。これらのアンシャープマスクも上述した平滑化フィルタと同様に、中央の数値を各画素におけるＹ（ｘ，ｙ）の重み付けとし、その周辺画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。例えば、３×３画素のアンシャープマスクを使用する場合、
【００８８】
【数１】

なる演算式に基づいて積算する。この（１３）式において、「１３６」とは重み付け係数の合計値であり、サイズの異なる平滑化フィルタにおいては、それぞれ升目の合計値となる。すなわち、５×５画素であれば「４００」となるし、７×７画素であれば「９００」となる。また、Ｍｉｊはアンシャープマスクの升目に記載されている重み付け係数であり、Ｙ（ｘ，ｙ）は各画素における輝度成分である。さらに、ｉｊについてはアンシャープマスクに対して横列と縦列の座標値で示している。
【００８９】
Ｙunsharp （ｘ，ｙ）は色にじみ画素に対して周辺画素の重み付けを低くして加算したものであるから、この場合も同様にローパスフィルタをかけたものと同じ意味あいを持つ。従って、「Ｙ（ｘ，ｙ）−Ｙunsharp （ｘ，ｙ）」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分を「Ｙ（ｘ，ｙ）」に加えれば高周波成分を増したことになり、エッジが強調される結果となって画像のシャープさが向上する。
【００９０】
なお、これらのアンシャープマスクは図１８からも明らかなように、中央部にて最も重み付けが大きく、周縁に向かうにつれて徐々に重み付け係数が小さくなっている。従って、周縁側の重み付け係数が升目の合計値に与える影響はわずかであるといえる。一方、（１３）式等で示されるマトリクス演算は、処理対象画素の周囲の画素に対して、採用するアンシャープマスクの升目数だけ乗算演算と加算演算が必要になることから演算量が多大となることも観念される。そこで、本実施形態においては、予め周縁側の重み付け係数を省いて構成した３×３、５×５、７×７画素のアンシャープマスクを使用することにより演算量を削減して処理速度を高めるようにしている。
【００９１】
ところで、本実施形態においては、平滑化フィルタのサイズとアンシャープマスクのサイズを同一としているが、これは次のような理由による。例えば、図１９で示すビットマップ画像に図中斜線部分で示す領域に対して平滑化処理を行い、図中波線部分で示す領域に対してアンシャープマスク処理を行って輝度を強調したものとする。上述したように輝度を強調する意味は、平滑化処理されて失われたシャープさを補償するものであるから、平滑化領域の外側まで輝度を強調してしまうと、この外側の領域において不自然にシャープさが向上してしまうことが発生し得る。このため、本実施形態では平滑化フィルタとアンシャープマスクを同一サイズとしているが、むろん、前者に比べて後者のサイズが小さくなるようにしてもかまわない。
【００９２】
ステップＳ１６０では上記のようなエッジ強調処理を行うとともに、強調後の輝度Ｙ'と処理後の色差成分を用いつつ（６）〜（８）式に基づいてＲ'，Ｇ'，Ｂ'の階調データを得る。すなわち、ステップＳ１５２，Ｓ１５４にて色にじみを低減するとともに、ステップＳ１６０にて階調データを生成しており、これらを実行するハードウェア構成とソフトウェアとによって画像処理手段を構成することになる。
【００９３】
なお、ステップＳ１６０において、強調した輝度Ｙ'を使用することからＲ'，Ｇ'，Ｂ'の階調データが負の値となったり、「２５５」を越えるような値となることがある。しかし、階調幅としては、「０」〜「２５５」の範囲であるため、負の階調データは一律に「０」とし、「２５５」を越える階調データは一律に「２５５」とする。そして、次のステップＳ１７０にて処理対象画素を移動させ、ステップＳ１８０にて全画素について終了したと判断するまで同様の処理を繰り返す。
【００９４】
ところで、色にじみ画素を中心として平滑化フィルタを適用し、その後にエッジ強調処理を行えば、平滑化処理によって色にじみが低減され、エッジ強調処理によって平滑化処理で失われた画像のシャープさが補償される。従って、本来的には色にじみ画素がエッジ画素であるか否かを問わず、全ての色にじみ画素に対して一律にかかる処理を実行すればよく、このような構成としても効果を得ることができる。しかし、かかる構成においては、経験的な見地からエッジ部分がぼやけてしまうことがあったため、色にじみ画素がエッジ画素である場合にメジアンフィルタを適用したところ良好な結果を得ることができた。
【００９５】
ここで、本実施形態の平滑化処理およびエッジ強調処理の効果について、簡単な一次元のシミュレーションモデルを例示しつつ説明する。
図２０は、エッジ強調処理を行わない場合の一次元シミュレーションモデルにおいて各種のパラメータの値を示す表である。同図において、左端のＲ，Ｇ，ＢのマトリクスはＣＣＤの色フィルタ配列を示している。このマトリクスの右隣に示す「ＩＮ」は光の入射状況を示しており、「１（階調データは２５５）」ならば光があたっている、すなわち「白」を意味し、「０（階調データは０）」ならば「黒」を意味する。そして、ＣＣＤの各画素において、直接得ることができない色信号は隣接する画素の色信号から線形補間演算により得ているものとする。
【００９６】
ここで、本来二次元の配列で考察するべきではあるが、説明を簡略化するため、上記Ｒ，Ｇ，Ｂのマトリクスの中央縦列に着目する。この意味において、一次元のシミュレーションモデルという。すると、上述した原理から白・黒の境界付近にそれぞれＧ（Ｂ）＝０．５、Ｒ＝０．５というように偽の色信号が発生し、この偽の色信号が発生した画素が色にじみ画素として検出される。色にじみ画素が検出されると、（６）〜（８）式に従って色差成分Ｃ１およびＣ２が算出され、この色差成分Ｃ１，Ｃ２が平滑化処理されて色差成分Ｃ１'，Ｃ２'が得られる。なお、ここでは一次元の平滑化フィルタとして「1,1,1,1,1,1,1」を適用している。すなわち、処理対象画素の前後それぞれの三画素の画素値を合計して「７」で除算する。そして、得られた色差信号Ｃ１'，Ｃ２'を（６）〜（８）式に基づいて元の色信号に戻し、平滑処理後のＲ'，Ｇ'，Ｂ'が得られる。図からも明らかなように白・黒の境界付近の画素における（Ｒ'，Ｇ'，Ｂ'）はそれぞれ（０．７５，０．６１，０．６１）と、（０．２５，０．１１，０．１１）となり、本来の「ＩＮ」の値に近づいて色にじみが低減されたことがわかる。
【００９７】
また、図２１は、平滑化処理を行うとともに、平滑化フィルタと同一サイズのアンシャープマスクを用いてエッジ強調処理を行った場合の一次元シミュレーションモデルを同様に示している。この場合も色差成分Ｃ１，Ｃ２を求めて平滑化処理を行うことは上述したものと相違はないが、（６）〜（８）式を用いて元の色信号に戻す際に、「1,6,18,25,18,6,1」の重み付けを持たせた一次元のアンシャープマスクを利用して強調処理した輝度信号Ｙ'を使用する。すると、白・黒の境界付近の画素における（Ｒ'，Ｇ'，Ｂ'）はそれぞれ（０．８１，０．６７，０．６７）と、（０．１０，−０．０４，−０．０４）となる。むろん、ＲＧＢの信号値としてとり得る値は「０」〜「１」であるからから実際には後者のデータは（０．１０，０，０）となり、図２０に示すものに比べて色にじみがさらに解消されたことがわかる。
【００９８】
さらに、図２２は、平滑化フィルタよりも小さいサイズのアンシャープマスクを用いてエッジ強調処理を行った場合の一次元シミュレーションモデルを同様に示している。この場合、一次元の「1,11,25,11,1」という平滑化フィルタのサイズ（７桁）よりも小さい５桁のアンシャープマスクを使用している。そして、上述したものと同様にして演算を行うと、白・黒の境界付近の画素における（Ｒ'，Ｇ'，Ｂ'）はそれぞれ（０．７９，０．６５，０．６５）と、（０．１０，−０．０４，−０．０４）となる。このように、図２１に示すものに比べれば、色にじみの解消程度は劣るものの、図２０に示すものに比べれば色にじみがさらに解消されていることがわかる。
【００９９】
次に、上記構成からなる本実施形態の動作を説明する。
単板式のＣＣＤを有するデジタルスチルカメラ１２で撮像した実画像をコンピュータ２１に取り込んで、プリンタ３１にて印刷する場合を想定する。すると、まず、コンピュータ２１にてオペレーティングシステム２１ａが稼働しているもとで、画像処理アプリケーション２１ｄを起動させ、デジタルスチルカメラ１２から画像データを取り込む。画像データが同オペレーティングシステム２１ａを介して画像処理アプリケーション２１ｄに取り込まれたら、ステップＳ１１０にて（１）式に基づいて画像のサイズを判定するための指標値を取得するとともに、この指標値と所定のしきい値とを比較し、ステップＳ１２２〜ステップＳ１２６にて使用する平滑化フィルタおよびアンシャープマスクのサイズを決定してワークエリアに保存する。
【０１００】
そして、ステップＳ１３０にて処理対象画素を初期位置に設定し、（２）式に従って当該画素とその周辺画素におけるΔＲＢの値を算出する。その後、ステップＳ１４０にて（５）式に基づいて処理対象画素とその周辺画素との間で同ΔＲＢの値の変化度合いを調べ、所定のしきい値Ｔｈと比較して同変化度合いが大きい場合に色にじみ画素と判断する。
【０１０１】
色にじみ画素と判断されたら、ステップＳ１５０にて（６）〜（８）式に基づいて処理対象画素およびその周辺画素について色差成分Ｃ１，Ｃ２を算出し、（９）および（１０）式、あるいは（１１）式などの判定基準に従って当該色にじみ画素がエッジ画素であるか否かを判断する。ここで、エッジ画素ではないものと判断した場合には、ステップＳ１５２でステップＳ１２２〜ステップＳ１２６にてワークエリアに保存しておいたフィルタサイズに等しい平滑化フィルタを作用させる。すなわち、色差成分Ｃ１，Ｃ２のそれぞれにつき、平滑化フィルタの升目に対応する画素の色差成分を合計して升目数で除算することにより平滑化処理された色差成分Ｃ１'，Ｃ２'を得る。
【０１０２】
一方、ステップＳ１５０にて当該色にじみ画素がエッジ画素であると判断した場合には、ステップＳ１５４で同色にじみ画素を中心とした５×５画素のメジアンフィルタを作用させる。すなわち、色にじみ画素を中心とした全二十五画素の色差成分の値を昇順または降順にソートし、中央の値を選択して色にじみ画素の色差成分と置き換える。このとき、ステップＳ１５０にて（９）および（１０）式の判定基準を採用した場合には、色差成分Ｃ１，Ｃ２のそれぞれにて同式を充足する色差成分についてステップＳ１５４でメジアンフィルタを適用し、同式を充足しない色差成分についてはステップＳ１５２で上記の平滑化フィルタを適用する。むろん、ここにおいて双方の色差成分について同式を充足する場合にはステップＳ１５４で色差成分Ｃ１，Ｃ２の双方についてメジアンフィルタを適用する。他方、ステップＳ１５０にて（１１）式の判定基準を採用する場合には、ステップＳ１５４で色差成分Ｃ１，Ｃ２の双方に対してメジアンフィルタを適用することになる。
【０１０３】
その後、ステップＳ１６０にてステップＳ１２２〜Ｓ１２６で決定したサイズのアンシャープマスクを使用して処理対象画素およびその周辺画素について輝度成分Ｙの低周波成分Ｙunsharp を求めるとともに、元の輝度成分Ｙから同低周波成分Ｙunsharp を減算することにより高周波成分を求め、同元の輝度成分Ｙに当該高周波成分を加算して強調後の輝度成分Ｙ'を得る。具体的には、（１３）式などに基づいて演算を行うことになる。そして、この強調後の輝度成分Ｙ'と処理後の色差成分を用いつつ、（６）〜（８）式に基づいて平滑処理後のＲ'，Ｇ'，Ｂ'の階調データを得る。以上の処理をステップＳ１７０にて処理対象画素を移動させながらステップＳ１８０にて全画素について実行したと判断するまで繰り返す。
【０１０４】
全画素について実行し終えたら、画像処理された画像データをディスプレイドライバ２１ｃを介してディスプレイ３２に表示し、良好であればプリンタドライバ２１ｂを介してプリンタ３１にて印刷させる。すなわち、同プリンタドライバ２１ｂは色にじみが低減されたＲＧＢの階調データを入力し、所定の解像度変換を経てプリンタ３１の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをＲＧＢからＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データから二値データへ変換してプリンタ３１へ出力する。
【０１０５】
以上の処理により、デジタルスチルカメラ１２から取り込んだ実画像データは自動的に色にじみが発生している部分のみ色にじみを低減するように画像処理されてディスプレイ３２に表示された後、プリンタ３１にて印刷される。すなわち、色にじみが発生している部分のみ色にじみを低減するように画像処理するため、演算量を削減して高速な画像処理を実現することができる。
【０１０６】
このように、画像処理の中枢をなすコンピュータ２１はステップＳ１３０，Ｓ１４０にて低密度の要素色強度に基づいて処理対象画素が色にじみ画素か否かを判定するとともに、色にじみ画素と判定した場合にステップＳ１５０にてエッジ画素であるか否かを判断し、エッジ画素でない場合にはステップＳ１５２にて平滑化フィルタを作用させ、他方、エッジ画素である場合にはステップＳ１５４にてメジアンフィルタを作用させることにより、色にじみを低減すべく画像処理するようにしたため、演算量を削減して高速な画像処理を実行することができる。
【図面の簡単な説明】
【図１】 本発明の一実施形態にかかる画像処理装置を適用した画像処理システムのブロック図である。
【図２】 同画像処理装置の具体的ハードウェアのブロック図である。
【図３】 デジタルスチルカメラの簡単なハードウェア構成例を示すブロック図である。
【図４】 本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図５】 本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図６】 本発明の画像処理装置における色にじみ画素の判定と画像処理部分を示すフローチャートである。
【図７】 画像サイズと平滑化領域との関係を示す図である。
【図８】 ３×３、５×５および７×７画素の平滑化フィルタである。
【図９】 同一画素数の画像データにおいてｈｅｉｇｈｔとｗｉｄｔｈの関係を示す図である。
【図１０】 処理対象画素を移動させていく状態を示す図である。
【図１１】 要素色成分の変化度合いを斜め方向の隣接画素における差分値で求める場合の説明図である。
【図１２】 画像の変化度合いを斜め方向の隣接画素における差分値で求める場合の説明図である。
【図１３】 隣接する全画素間で画像の変化度合いを求める場合の説明図である。
【図１４】 隣接する画素間で画像の変化度合いを求める変形例の説明図である。
【図１５】 隣接する画素間で画像の変化度合いを求める別の変形例の説明図である。
【図１６】 色にじみ画素を含むエッジ部分の画像データにおいて各画素の色差成分値の一例を示す図である。
【図１７】 メジアンフィルタによる演算処理の一例を説明するための図である。
【図１８】 ３×３、５×５および７×７画素のアンシャープマスクである。
【図１９】 平滑化領域とエッジ強調領域との関係を示す図である。
【図２０】 エッジ強調処理を行わない場合の一次元シミュレーションモデルにおける各種パラメータの値を示す表である。
【図２１】 平滑化フィルタと同一サイズのアンシャープマスクを用いてエッジ強調処理を行った場合の一次元シミュレーションモデルにおける各種パラメータの値を示す表である。
【図２２】 平滑化フィルタよりも小さいサイズのアンシャープマスクを用いてエッジ強調処理を行った場合の一次元シミュレーションモデルにおける各種パラメータの値を示す表である。
【図２３】 色にじみの発生原理を説明するための図である。
【符号の説明】
１０…画像入力装置
２０…画像処理装置
２１…コンピュータ
２１ａ…オペレーティングシステム
２１ｂ…プリンタドライバ
２１ｃ…ディスプレイドライバ
２１ｄ…画像処理アプリケーション
２２…ハードディスク
２３…キーボード
２４…ＣＤ−ＲＯＭドライブ
２５…フロッピーディスクドライブ
２６…モデム
３０…画像出力装置

Claims (11)

1. 各画素毎に複数の要素色のうちのいずれかの要素色に対応する階調値データだけが分配された元画像データを起源として、各画素毎に欠乏する要素色の階調値データを周辺画素の階調値データに基づいて補充して生成された画像データに対し、所定の画像処理を行う画像処理装置であって、
   各画素ごとに異なる要素色間での階調値の差分データを求め、互いに近接する画素間において同差分データの変化度合いが所定のしきい値よりも大きいときに色にじみ画素であると検出する色にじみ画素検出手段と、
   この検出された色にじみ画素を基準とする所定範囲の画素を対象として色にじみを低減する画像処理を実行する画像処理手段とを具備することを特徴とする画像処理装置。
2. 上記請求項１に記載の画像処理装置において、上記色にじみ画素検出手段は、各画素ごとに異なる要素色間の階調値の差分データを求めるにあたり上記元画像データにおける低密度の要素色と他の要素色との間の差分データを求めることを特徴とする画像処理装置。
3. 上記請求項２に記載の画像処理装置において、上記色にじみ画素検出手段は、低密度の要素色が複数ある場合、互いに隣接する画素間において低密度の要素色に対する階調値データの差分の変化度合いに基づいて上記色にじみ画素を検出することを特徴とする画像処理装置。
4. 上記請求項１〜請求項３のいずれかに記載の画像処理装置において、上記色にじみ画素検出手段は、隣接する画素のうち上記元画像データにおける低密度の要素色に対応して配置する画素との間における上記変化度合いに基づいて上記色にじみ画素を検出することを特徴とする画像処理装置。
5. 上記請求項１〜請求項４のいずれかに記載の画像処理装置において、上記画像処理手段は、上記色にじみ画素を基準とした所定範囲の画素を対象として、要素色成分から輝度成分を減算して得た色差成分を平滑化処理し、元の要素色成分に戻すことを特徴とする画像処理装置。
6. 上記請求項５に記載の画像処理装置において、上記画像処理手段は、上記色にじみ画素を基準とした所定範囲の各画素の輝度成分を参照して色にじみ画素の輝度成分を変化させることによってエッジ強調処理することを特徴とする画像処理装置。
7. 上記請求項６に記載の画像処理装置において、上記画像処理手段は、上記平滑化処理を行う範囲内の画素に対してエッジ強調処理することを特徴とする画像処理装置。
8. 上記請求項５〜請求項７のいずれかに記載の画像処理装置において、上記画像処理手段は、画像処理の対象となる上記画像データの画像サイズが大きい場合には、上記検出された色にじみ画素を基準とした所定範囲の画素を対象として平滑化処理を行う際に同平滑化処理をする範囲を大きくし、上記画像データの画像サイズが小さい場合には、上記色にじみ画素を基準とした所定範囲の画素を対象として平滑化処理を行う際に同平滑化処理をする範囲を小さくすることを特徴とする画像処理装置。
9. 上記請求項１〜請求項４のいずれかに記載の画像処理装置において、上記画像処理手段は、上記色にじみ画素を基準とした所定範囲の画素を対象として要素色成分から輝度成分を減算して得た色差成分のうち、中央の値を有する色差成分を当該色にじみ画素の色差成分に置換して元の要素色成分に戻すことを特徴とする画像処理装置。
10. 各画素毎に複数の要素色のうちのいずれかの要素色に対応する階調値データだけが分配された元画像データを起源として、各画素毎に欠乏する要素色の階調値データを周辺画素の階調値データに基づいて補充して生成された画像データに対し、所定の画像処理を行う画像処理方法であって、
    各画素ごとに異なる要素色間での階調値の差分データを求め、互いに近接する画素間において同差分データの変化度合いが所定のしきい値よりも大きいときに色にじみ画素であると検出し、
    この検出された色にじみ画素を基準とする所定範囲の画素を対象として色にじみを低減する画像処理を実行することを特徴とする画像処理方法。
11. 各画素毎に複数の要素色のうちのいずれかの要素色に対応する階調値データだけが分配された元画像データを起源として、各画素毎に欠乏する要素色の階調値データを周辺画素の階調値データに基づいて補充して生成された画像データに対し、コンピュータに所定の画像処理を実行させる画像処理制御プログラムを記録した媒体であって、
    各画素ごとに異なる要素色間での階調値の差分データを求め、互いに近接する画素間において同差分データの変化度合いが所定のしきい値よりも大きいときに色にじみ画素であると検出する色にじみ画素検出機能と、
    この検出された色にじみ画素を基準とする所定範囲の画素を対象として色にじみを低減する画像処理を実行する画像処理機能とをコンピュータに実施させることを特徴とする画像処理制御プログラムを記録した媒体。

Images