JP5274697B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、撮影したカラー画像の色にじみを抑制する機能を備える画像処理装置及び画像処理方法に関する。

従来、カラー撮像が可能な撮像装置では、撮像素子に被写体の光学像を結像させる結像光学系の色収差により、画像の明るい部分の周囲に本来存在しない色が色にじみとして生じる場合がある。撮像装置による可視光カラー撮像では、結像光学系の中心波長である緑から離れた部分で色にじみが起きやすく、青や赤或いは双方が混じった紫色のアーチファクトがにじみ状に生じ、色にじみやパープルフリンジなどと呼ばれる。

撮像装置の結像光学系の色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に抑えることができる。しかし、近年、撮像装置（デジタルカメラ）の小型化が進み、撮像素子に用いる撮像センサの高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学系のみで十分に抑えることは困難となってきている。そこで、画像処理による上記アーチファクトの抑制が求められている。

色収差は横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は図１７に示すように結像位置が波長により像面に沿う方向にずれる現象である。また、縦色収差は図１８に示すように結像位置が波長により光軸に沿う方向にずれる現象である。横色収差に対しては、原色系のデジタル撮像系であれば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色プレーンに対し異なる歪曲を加える幾何変換により補正することができる（例えば、特許文献１参照）。

一方、縦色収差は、例えば可視光域の中心波長を担うＧ（緑）プレーンで合焦した画像においては、可視光域端部となるＲ（赤）プレーンやＢ（青）プレーンでは被写体に焦点が合わず不鮮明な画像（ピンボケ画像）となる。これは横色収差のような幾何変換では補正できない。色にじみは主に白とび（予め設定した信号の飽和領域）周辺に生じる特性を利用して、Ｇ（緑）プレーンの飽和している領域を探索し、その周辺の領域の画素を積分して補正量を算出し補正する方法が提案されている（例えば、特許文献２参照）。或いは、色にじみが生じるであろう領域での彩度を下げることにより色にじみを目立たなくする方法が提案されている（例えば、特許文献３参照）。

ＵＳＰ６７２４７０２Ｂ１ 特開２００７−１３３５９２号公報 特開２００１−１４５１１７号公報

撮像装置で撮像した画像の色にじみは主に白とび周辺に生じるが、白とびしていない領域にも観察者にとって違和感のある色にじみは生じる。例えば樹木の間の木漏れ日のような撮影シーンでは、白とびしていない青空の背景と木々の枝との境界に目立つ色にじみが生じる。

しかし、特許文献２に記載されているような白とび領域を探索しその周辺の領域の色にじみを補正する処理だけでは効果は不十分である。一方、特許文献３に記載されているような色にじみが生じるであろう領域の彩度を下げる処理は、色にじみの色を消し不自然さを減らす効果はあるが、被写体本来の色も影響を受け、色にじみの有無に拘らず処理対象
としてしまうという問題がある。

本発明の目的は、カラー画像における色にじみを画像処理により更に効果的に抑制することを可能とした画像処理装置及び画像処理方法を提供することにある。

上述の目的を達成するために、本発明は、複数のカラーフィルタを用いた撮像素子から得られた画像の少なくともいずれかのカラーフィルタに対応する色プレーンの信号レベル、あるいは、前記画像より生成される輝度プレーンの信号レベルが、いずれかの方向における予め定められた区間において、単調増加あるいは単調減少している領域を、色にじみが発生している領域と判定する判定手段と、前記判定手段により判定された領域の色にじみの強度を推定する推定手段と、推定された前記色にじみの強度に基づいて、前記色にじみの強度を減少させるための修正を前記画像に施す修正手段と、を有することを特徴とする。

本発明によれば、カラー画像における色にじみを画像処理により更に効果的に抑制することが可能となる。

本発明の実施の形態に係る画像処理装置としての撮像装置の要部の構成を示すブロック図である。 撮像装置の撮像素子が備える原色カラーフィルタにおける色要素の並びを示す図である。 撮像装置で撮像され生成されたカラー画像の明暗の境界部における青色にじみを示す図である。 撮像装置における画像処理による色にじみ除去処理を示すフローチャートである。 撮像装置における画像処理による単調増減判定処理を示すフローチャートを示す図である。 単調増減判定対象の画素区間が単調増減特性を持つ例を示す図である。 単調増減判定対象の画素区間が単調増減特性を持たない例を示す図である。 （ａ）〜（ｄ）は、注目画素を中心とした単調増減判定用の画素区間を示す図である。 （ａ）〜（ｈ）は、注目画素を端の点とした単調増減判定用の画素区間を示す図である。 画像内の３×３画素の領域を示す図である。 画像内の３×３画素の領域の各画素に対してローパスフィルタ処理を施した結果を示す図である。 各画素に対してローパスフィルタ処理を施したときの入力信号の変化の例を示す図である。 青色にじみの典型的な強度変化を示す図である。 Ｂプレーンの強度に対する非線形変換の特性を示す図である。 色度座標ａｂ面を示す図である。 単調増減判定結果によるＢプレーン内の３×３画素の領域を示す図である。 横色収差の発生原理を示す図である。 縦色収差の発生原理を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

まず、本発明の実施の形態の概要について説明する。

本実施の形態では、撮像装置により撮像した色にじみが発生しているカラー画像に対し、色にじみを効果的に除去すると共に本来の色を再現可能な画像処理技術を提供する。本実施の形態では、撮像装置は、カラー画像の色にじみ領域を判定する判定部、色にじみ領域の色にじみの強度を推定する推定部、その推定値を色にじみ領域の色にじみの強度から差し引く除去部を備える。更に、撮像装置は、過除去抑制部、空間演算部を備える。

判定部は、カラー画像を構成する複数の色プレーンのうち何れかの色プレーンの信号レベルが単調増加もしくは単調減少している領域を、色にじみが発生している色にじみ領域と判定する。また、判定部は、色にじみの除去対象とする色プレーンの除去量としての除去量プレーンに対してローパスフィルタ処理を行う。また、判定部は、判定を行う前の色プレーンにローパスフィルタ処理を施した後で判定を行う。

判定部で色にじみの領域を判定する方法としてはいくつかの方法が考えられるが、ここでは一定の画素区間の色にじみの強度の変化特性に基づいて判定を行う。色にじみは結像位置が波長により光軸に沿う方向にずれることで発生するため、例えば青色のにじみの場合は青色プレーン（以下Ｂプレーン）が焦点が合わない（ピンボケしている）ことになる。

ピンボケによる色にじみは一定の画素区間に渡って存在し、その際の色にじみの強度は画像のハイライト部からシャドウ部にかけて緩やかに減少していく特性を有する。従って、一定の画素区間の色にじみの強度変化が単調増加或いは単調減少の特性を有する場合を色にじみの領域と判定する。判定部により単調増加或いは単調減少の判定を行う領域は、カラー画像の注目画素を中心とした水平方向或いは垂直方向或いは斜め方向の画素区間、注目画素を端の点とした水平方向或いは垂直方向或いは斜め方向の画素区間、の何れかを含む。

推定部は、カラー画像を構成する複数の色プレーンの信号強度の差分に応じて、色にじみ領域の色にじみの強度を推定する。除去部は、推定部により推定された色にじみの強度の推定値を色にじみ領域の色にじみの強度から差し引く。即ち、除去部は、画像撮影時に用いた結像光学系における色収差が残存する波長域の色プレーンを色にじみ除去対象とし、当該色プレーンの色にじみ部分の強度を減算する。

過除去抑制部は、除去部によるカラー画像の色相変化を抑制することもできる。本実施の形態では、色にじみ除去対象とする色プレーンは、Ｂプレーンまたは赤色プレーン（以下Ｒプレーン）である。即ち、色にじみ除去対象とする色プレーンは、Ｂプレーン、Ｒプレーンのうちの少なくとも１つである。尚、カラー画像を撮影する際に用いられた結像光学系における色収差が残存する波長域の色味を示す色差プレーンＵ／Ｖを色にじみの除去対象とすることもできる。

色にじみは空間的な作用であるため、カラー画像から色にじみの画像強度を推定するために、空間演算部で空間演算を行う。空間演算部は、色プレーンにおける信号強度の傾斜を算出する。推定部は、空間演算部で算出した、色にじみ除去対象とする色プレーンの信号強度の傾斜と、色にじみ除去対象とする色プレーン以外の基準に設定した色プレーン（基準プレーン）の信号強度の傾斜の何れかを用いて色にじみ領域の色にじみの強度を推定する。

即ち、空間演算では、除去対象となる色プレーン以外にも、高い解像度が得られている色プレーンを基準プレーンとして参照する。基準プレーンは、画像撮影時に用いた結像光学系において色収差が良好に補正されている波長域の色プレーンや輝度を示す色プレーンであり、一般的には緑色プレーン（以下Ｇプレーン）や輝度プレーン（以下Ｙプレーン）である。空間演算としてはいくつかの種類が考えられるが、ここでは画像強度傾斜の算出を用いる。

画像強度傾斜とは、基準プレーンや除去対象となる色プレーンの信号強度の傾斜である。画像強度傾斜を計算した場合、推定部ではその画像強度傾斜に依存した値を出力する、この場合、単純に、画像強度傾斜に比例した値を出力とすることもできる。このようにして、除去すべき色にじみ量の推定値が得られる。しかし、この推定値は必ずしも正確ではなく、過不足が存在する。推定値が不足する場合、色にじみは除去されず、若干の色にじみが残る。

一方、推定値が過大となると、色プレーンの過除去となり色にじみの色相が反転してしまう。本願発明者らの実験によると、色プレーンの除去不足に比べ、色プレーンの過除去は著しく不自然な画像となる。そこで、色相反転を抑制するために、上述したように撮像装置が過除去抑制部を備えている。

過除去抑制部により、一定領域の色域の画素のみを除去部の除去対象とし、変化後の色域も一定領域に制限する。この２つの一定領域は同一である。特に、除去対象とする色プレーンを、該色プレーンの強度が参照する色プレーンの強度より大きい領域とすることもできる。上記のような画像処理方法によれば色にじみを軽減した画像を得ることができる。

次に、本発明の実施の形態の詳細について図１〜図１７を参照しながら説明する。

図１は、本発明の実施の形態に係る画像処理装置としての撮像装置の要部の構成を示すブロック図である。

図１において、撮像装置は、結像光学系１００、撮像素子１１０、Ａ／Ｄ変換部１２０、デモザイク部１３０、色にじみ除去部１４０、視覚補正部１５０、圧縮部１６０、記録部１７０を備えている。尚、色にじみ除去部１４０は、本発明の判定手段、推定手段、除去手段、空間演算手段を実現するための一例である。

被写界は、結像光学系１００を経て撮像素子１１０に結像する。撮像素子１１０は、一般的な原色カラーフィルタを備える単板カラー撮像素子として構成されており、被写体の光学像を光電変換することで複数の色信号から構成されるカラー画像を生成する。撮像素子１１０の原色カラーフィルタは、例えば各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタであり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮像する。

尚、本実施の形態では、撮像素子１１０をＲ、Ｇ、Ｂからなる原色系カラーフィルタにより構成しているが、これに限定されるものではない。撮像素子１１０を補色系カラーフィルタにより構成してもよい。補色系カラーフィルタの場合でも色変換処理により同様にＲ、Ｇ、Ｂの色プレーンからなるカラー画像を得ることができる。

単板カラー撮像素子として構成された撮像素子１１０は、３種類の色フィルタ（Ｒ、Ｇ、Ｂ）を図２に示すように画素毎に空間的に配列した構造であり、各画素では各々単一の色プレーンにおける強度を得ることしかできない。このため、撮像素子１１０からは色モザイク画像が出力される。Ａ／Ｄ変換部１２０は、撮像素子１１０からアナログ電圧として出力される色モザイク画像を、以降の画像処理に適するデジタルデータに変換する。

デモザイク部１３０は、デジタルデータに変換された色モザイク画像を補間手法により補間することで、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。尚、補間手法には単純な線形補間から下記の複雑な手法まで多くの方式が提案されているが、本発明は特定の補間手法に限定されるものではない。「E.Chaｎg, Ｓ.Cheung, and D.Paｎ,“Color filter array recovery using a threshold-based variable number ofgradients，”Proc. SPIE, vol. 3650, pp. 36-43, Jan.1999」。

デモザイク部１３０で生成されたカラー画像は、結像光学系１００の色収差により、Ｇプレーンに比してＢプレーンの解像度が劣る画像となる。このため、カラー画像における明暗の境界部では図３に示すように青がぼやけ、明部の周囲に青い縁取りのようなアーチファクト（青色にじみ）が生じる。図３の横軸は明度と暗度を示し、縦軸は像面強度（信号強度）を示す。Ｇプレーンに比してＲプレーンの解像度が劣る場合は赤がぼやける。

色にじみ除去部１４０は、画像処理によりカラー画像からアーチファクトを除去する。本実施の形態の画像処理方法はアーチファクトの除去処理に関わるものであり、後に詳しく説明する。視覚補正部１５０は、主として画像の見栄えを改善するための処理をカラー画像に対し行うものであり、例えばトーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像補正を行う。圧縮部１６０は、画像補正が行われたカラー画像をＪＰＥＧ等の方法で圧縮し、カラー画像を記録する際のサイズを小さくする。記録部１７０は、処理が行われたデジタル画像信号を記録媒体（フラッシュメモリ（Ｒ）等）に記録する。

尚、撮像装置の撮像素子１１０、Ａ／Ｄ変換部１２０、デモザイク部１３０、色にじみ除去部１４０、視覚補正部１５０、圧縮部１６０は、それぞれ別構成（別体）のデバイスから構成しても単一のデバイスから構成してもよい。即ち、実際には単一のマイクロプロセッサが撮像装置の複数の部分に対応する処理を行うこともある。

次に、上記構成を有する撮像装置における画像処理による色にじみ除去の動作について図４のフローチャートを参照しながら説明する。

図４は、撮像装置における画像処理による色にじみ除去処理を示すフローチャートである。

図４において、本処理は撮像装置の色にじみ除去部１４０がプログラムに基づき実行する。色にじみ除去部１４０による色にじみ除去処理は、空間演算ステップＳ１５１、領域判定ステップＳ１５２、推定ステップＳ１５３、過除去抑制ステップＳ１５４、及び除去ステップＳ１５５からなる。色にじみ除去処理では、色プレーン（Ｒプレーン、Ｇプレーン、Ｂプレーン）のうちＢプレーンを色にじみ除去対象とし、基準プレーンとしてＧプレーンを用いる。

まず、空間演算ステップＳ１５１では、色にじみ除去部１４０は、Ｂプレーン、Ｇプレーンに対するそれぞれの輝度傾斜Ｂlea、Ｇleaを、下式で示すように計算する。

ここで、Ｇ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、Ｇプレーン、Ｂプレーンにおける注目画素の右隣の画素値である。Ｇ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、Ｇプレーン、Ｂプレーンにおける注目画素の左隣の画素値である。Ｇ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、Ｇプレーン、Ｂプレーンにおける注目画素の下隣の画素値である。Ｇ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、Ｇプレーン、Ｂプレーンにおける注目画素の上隣の画素値である。

次に、領域判定ステップＳ１５２では、色にじみ除去部１４０は、Ｂプレーンの各画素に対して単調増減判定を行う。単調増減判定の詳細について図５のフローチャート、図６、図７を用いて説明する。

図５において、まず、色にじみ除去部１４０は、ＩＳＯ感度が高いかどうかを判定する（ステップＳ１５２０）。ＩＳＯ感度が高い場合は後述のステップＳ１５２１に移行し、ＩＳＯ感度が高くない場合はステップＳ１５２２に移行する。色にじみ除去部１４０は、デモザイク部１３０から入力された注目画素を中心とした時の縦・横・斜めの画素区間に対して入力信号の強度変化を解析する（ステップＳ１５２２）。更に、色にじみ除去部１４０は、上記の画素区間の入力信号の強度変化が単調増減の特性を持つかどうかを判定する（ステップＳ１５２３）。

判定の結果、上記の画素区間の入力信号の強度変化が単調増減の特性を有さない場合は、色にじみ除去部１４０は、注目画素を端の点とした時の縦・横・斜めの画素区間に対して入力信号の強度変化を解析する（ステップＳ１５２４）。更に、色にじみ除去部１４０は、上記の画素区間の入力信号の強度変化が単調増減の特性を持つかどうかを判定する（ステップＳ１５２５）。

図６に単調増減判定対象の画素区間が単調増減特性を持つ例、図７に単調増減判定対象の画素区間が単調増減特性を持たない例を示す。図６、図７に示すような強度変化を持つ入力信号に対して単調増減判定を行う。図６、図７にそれぞれ示す白い四角が注目画素である。

図６のように入力信号の強度変化が単調増減の特性を持つ画像に対しては、単調増減判定を行う画素区間内も単調増減の特性を持つため、色にじみ除去部１４０は、ステップＳ１５２２の解析の結果、単調増減の特性を有すると判定する（ステップＳ１５２３）。他方、図７のような入力信号の強度変化の特性を持つ画像に対しては、色にじみ除去部１４０は、単調増減の特性は有さないと判定する（ステップＳ１５２３）。

以上の判定を経て、上記の画素区間の入力信号の強度変化が単調増減の特性（単調増加の特性或いは単調減少の特性）を有していれば、色にじみ除去部１４０は、単調増減フラグを立てる（ステップＳ１５２７）。他方、上記の画素区間の入力信号の強度変化が単調増減の特性（単調増加の特性或いは単調減少の特性）を有していなければ、色にじみ除去部１４０は、単調増減フラグを立てない（ステップＳ１５２６）。

上述した単調増減判定をＢプレーンの各画素に対して適用する。その結果、色にじみ除去部１４０は、各画素において単調増減フラグが立っていれば「１」、単調増減フラグが立っていなければ「０」をそれぞれ対応させ、単調増減判定結果プレーンとして生成して保持し、後述の除去ステップＳ１５５で利用する。単調増減判定結果プレーンの利用方法の詳細については後述する。

次に、注目画素に対する単調増減判定を行う画素区間の設定方法を図８、図９を用いて説明する。図８（ａ）〜（ｄ）は注目画素を中心とした単調増減判定用の画素区間を示す。図９（ａ）〜（ｈ）は注目画素を端の点とした単調増減判定用の画素区間を示す。注目画素を中心とした画素区間の設定方法と注目画素を端の点とした画素区間の設定方法のうち、注目画素を中心とした画素区間の設定方法としては、図８（ａ）、（ｂ）に示すように注目画素を中心として水平／垂直方向に設定する方法が考えられる。

また、注目画素を中心とした画素区間の設定方法としては、図８（ｃ）、（ｄ）に示すように注目画素を中心として斜め方向に設定する方法が考えられる。即ち、斜め方向についても水平／垂直方向と同程度の距離の画素区間を設定すれば等方性を持たせることができる。この場合、斜め方向の角度は図示のように４５°の設定に限定されるものではなく、任意の角度を設定してもよい。その際の画素区間の距離ｄは以下の式で算出する。

ここで、ｘは水平方向を示し、θは水平からの角度を示す。

一方、画像におけるハイライト部周辺の色にじみやシャドウ部周辺の色にじみは、各々、飽和やノイズの影響を受けることで、色にじみが存在するにも関わらず、判定対象の画素区間内では単調増減の特性を持たず正しく判定できない場合がある。その場合は、図９に示すように注目画素を端の点として画素区間を設定する方法が効果的である。

以上のような方法で単調増減判定を行い、図８、図９に示す画素区間のいずれか１つでも単調増減の特性を持つ画素区間が存在すれば、色にじみ除去部１４０は、注目画素は単調増減の特性を持つ画素として判定する。

本実施の形態では、単調増減判定を行う対象として入力信号の強度を利用しているが、輝度傾斜を利用しても構わない。その場合は、一定の画素区間において輝度傾斜の変化が１回だけ反転する特性を持つ場合が色にじみであると判定することとなる。画素区間の画素数の適正値は、撮像装置のある撮影条件にて発生する色にじみのうち、最小の色にじみのにじみ幅に合わせるのが効果的である。

色にじみのにじみ幅は、撮像装置の撮影条件（絞り値、焦点距離、フォーカシング精度、画像面内におけるフォーカス位置ｖ、撮像素子上の座標等）により様々である。そのため、画素区間の画素数の適正値を、各種の撮影条件により発生する様々な色にじみの最小幅の色にじみに合わせることで、最小幅の色にじみを検出することが可能となる。最大幅の色にじみに関しては、最小幅の色にじみ用に合わせた画素区間を利用しても検出は可能である。

以上のように単調増減判定を行うことで、検出したい色にじみを抽出することが可能となる。しかし、高いＩＳＯ感度などの撮影条件によっては入力信号にノイズが乗りＳ／Ｎ比が低下し、その結果、色にじみが単調増減の特性を持たなくなることが考えられる。その際は、入力信号に対してデジタルフィルタによるフィルタリング処理を施す（以下「かける」）ことが有効である（ステップＳ１５２１）。本実施の形態ではデジタルフィルタをローパスフィルタとした場合を例にとる。

入力信号にローパスフィルタをかける方法としては幾つかの方法が考えられるが、例えば、注目画素の重み係数を隣接する画素の２倍の係数とする[１ ２ １]のローパスフィルタをかける例を示す。図１０に示すような画像内の３×３画素のある領域においてｐを注目画素としたとき、まず、[１ ２ １]のローパスフィルタを水平方向にかけると、注目画素は下式で表される。

隣接する画素も同様に計算すると図１１に示すようになる。次に、[１ ２ １]のローパスフィルタを垂直方向にかけると、注目画素は下式で表される。

ローパスフィルタをかけたときの入力信号の変化の一例を図１２に示す。図１２において横軸は画像上の断面（注目画素からの画素区間）であり、縦軸はプレーンの信号強度である。図示の実線はローパスフィルタをかけない場合、細かい破線は[１ ２ １]のロー
パスフィルタをかけた場合、粗い破線は[１ ４ ６ ４ １] のローパスフィルタをかけた
場合を示す。ここで、 [１ ４ ６ ４ １]は、注目画素と隣接する画素と更にもう１画素
分離れた画素にも重み係数をかけてローパスフィルタをかけることを意味する。

このようにして、ローパスフィルタをかけて入力信号を滑らかにすることで、色にじみが本来持つ単調増減の特性を際立たせることが可能となる。尚、本実施の形態ではローパスフィルタを水平→垂直の順番でかけたが、これに限定されるものではない。ローパスフィルタを垂直→水平の逆の順番でかけても構わない。また、２次元のローパスフィルタ係数を算出してローパスフィルタを水平・垂直同時にかけても構わない。

図４に戻り、推定ステップＳ１５３では、色にじみ除去部１４０は、カラー画像の各画素に対して、色にじみとなっている余計なＢプレーンの強度を推定する。図１３に青色にじみの典型的な強度変化を示す。図１３において横軸は画像上の断面であり、縦軸はＢプレーン及びＧプレーンの強度である。図１３では左端に飽和輝度を超える高輝度被写体が存在するとする。そして、本来明るくない光源周囲も、収差やフレアにより光源からにじんだ光により、強度変化の裾が指数関数的に拡がる。

基準プレーンであるＧプレーンであってもにじみは無いわけではなく、ある程度の拡がりが存在するが、それは色にじみ除去対象のＢプレーンに比べると小さい。また、撮像素子は一定の飽和レベル以上の強度を測定することはできない。このような強度変化において、色にじみ除去対象のＢプレーンの強度が基準プレーンであるＧプレーンの強度を上回ると青色にじみとなる。

本実施の形態では、色にじみ除去対象のＢプレーンの強度変化の傾きによりＢプレーンのにじみ量を推定する。そこで、Ｂプレーンの輝度傾斜Ｂleaの絶対値に係数ｋ１を乗じ
て第１の推定にじみ量Ｅ１とする。

Ｅ１＝ｋ１|Ｒlea|
ここで、ｋ１は正値である。ただし、Ｂプレーンが飽和している領域Ａ１では輝度傾斜は０になってしまい飽和前の輝度傾斜が得られない。

そこで、Ｂプレーンが飽和している領域Ａ１に対する推定にじみ量Ｅ２をＧプレーンの強度変化の輝度傾斜Gleaにより推定する。

Ｅ２＝ｋ２|Ｇlea|
ここで、ｋ２は正値である。

次に、Ｂプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換はＢプレーンが飽和しているかどうかを示すものであり、Ｂプレーンの強度が飽和している領域では飽和度Ｓが１となり、Ｂプレーンの強度が小さい領域では飽和度Ｓは０となる。飽和度Ｓは０、１の２値でもよいが、図１４に示すように飽和度Ｓは０〜１にかけて連続的に変化する値としてもよい。

そして、色にじみ除去部１４０は、上記の生成した飽和度Ｓにより、推定ステップＳ１５３で算出した推定にじみ量Ｅ１または推定にじみ量Ｅ２を選択する。即ち、飽和度Ｓが０、１の２値であれば新たな推定にじみ量Ｅを、
Ｅ＝Ｅ１ （Ｓ＝０の場合）
Ｅ＝Ｅ２ （Ｓ＝１の場合）
とする。また、飽和度Ｓが０〜１にかけて連続的に変化する値であれば、新たな推定にじみ量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。

次に、過除去抑制ステップＳ１５４では、色にじみ除去部１４０は、上記の推定にじみ量Ｅを修正し、実際に除去する量Ｅ’を決める。推定ステップＳ１５３で推定した推定にじみ量（除去量）は一定のモデルに沿ったものであり、実際のにじみ量とは必ずしも一致しない。

例えば同じＢプレーンに検出される光であっても波長４５０ｎｍの光と波長４００ｎｍ
の光ではにじみ方が変化するが、推定ステップＳ１５３ではこれを考慮していない。推定にじみ量（除去量）が過小である場合は、青色にじみの除去後も若干の青みが残る。一方、推定にじみ量（除去量）が過大である場合は、灰色の背景に対してＢプレーンを減らし過ぎ、黄緑色になる場合がある。

特に後者（黄緑色になる場合）は不自然で観察者に大きな違和感を与える。そこで、過除去抑制ステップＳ１５４では、一定の色相範囲内でのみ、にじみ除去が作用するよう制限する。このため、まず、色にじみ除去部１４０は、画素の色度を計算する。Ｒ、Ｇ、Ｂの各プレーンの強度に対し、

とする。

上記のａを横軸としｂを縦軸とする色度座標ａｂ面を図１５に示す。図示のように青色は色度座標ａｂ面の斜線で示す第４象限にある（尚、赤、黄、紫は第１象限、緑、白は第２象限、青緑は第３象限にある）。Ｂプレーンの強度から推定にじみ量Ｅを除去すると、Ｂ＝Ｂ−Ｅとなり、色度座標ａｂ面上では点線矢印のように左上方向へ移動する。矢印の始点が推定にじみ量Ｅの除去前の色度であり、終点が推定にじみ量Ｅの除去後の色度である。このことから、作用する色相範囲をａ＞０かつｂ＜０に制限すると、
Ｂ＞０.２２Ｒ＋０.６８Ｇ かつ Ｂ＞−１.８４Ｒ＋３.３０Ｇ
となる。

このため、過除去抑制ステップＳ１５４では、まず、上記式の条件を満たさない画素に対し、実際に除去する除去量Ｅ’＝０とし、色にじみ除去対象から外す。これにより、上記式の条件を満たさない画素は、色にじみの除去ステップＳ１５５において変化せず、画素値が影響を受けることがない。図１５では斜線で示す第４象限の領域のみが除去対象となる。

更に、上記式の条件を満たす画素に対しても、除去量Ｅ’を、
Ｅ’＝ｍｉｎ(Ｅ，Ｂ−(０.２２Ｒ＋０.６８Ｇ)，Ｂ−(−１.８４Ｒ＋３.３０Ｇ))
とする。除去量Ｅ’の除去による色度変化は図１５に実線矢印で示すように、第４象限内に留まるようになる。

尚、本実施の形態では色度座標ａｂ面の第４象限で制限したが、任意の角度で制限しても構わない。その際には、
Ｂ＞ｒ１・Ｇ＋ｒ２・Ｒかつ Ｂ＞ｒ３・Ｇ＋ｒ４・Ｒ
が条件となる。

ここで、ｒ１〜ｒ４は制限角θを用いて下記の式で算出される。色相制限は色度座標ａｂ面の原点を通る２本の直線で定義され、θ１、θ２はその２本の直線を表す角度である。

これにより、除去ステップＳ１５５により色相制限範囲を超えてＢプレーンが減少するのを防ぐことができる。以上のようにして算出した、色にじみ除去部１４０は、色にじみの除去対象とする色プレーンの除去量Ｅ’を除去量プレーンとして保持し、除去ステップＳ１５５に渡す。除去量プレーンに対しては上記のローパスフィルタ処理を行う。尚、本実施の形態では、色相制限に簡易的なa*b*平面を用いたが、３×３のＲＧＢ→ＹＵＶマトリクスを用いてuv平面にて色相制限処理を行っても構わない。

除去ステップＳ１５５では、色にじみ除去部１４０は、上記の除去量Ｅ’をＢプレーンの強度から差し引くことで新たなＢプレーンを作成する。色にじみ除去対象としては、領域判定ステップＳ１５２にて「１」の単調増減判定フラグを持つ画素のみとする。

従って、新たなＢプレーンの強度は、単調増減判定フラグが「１」ならば、
Ｂ＝Ｂ−Ｅ’
単調増減判定フラグが「０」ならば、
Ｂ＝Ｂ
となる。このように、Ｂプレーンを修正したカラー画像を色にじみ除去部１４０の出力として視覚補正部１５０に渡す。

さて、図１０に示した画像内の３×３画素のある領域における単調増減判定結果が、図１６に示すように隣接する画素で単調増減判定フラグの値が切り替わる場合を考える。このような場合、画素の境界部では除去量がばたつき（隣接する画素で除去される場合と除去されない場合が混在すること）、強度の変化が急峻になり、不自然で観察者に違和感を与える場合がある。そこで、このような場合には、生成した除去量プレーンに対してローパスフィルタをかける方法が有効である。

また、下記に示す式により単調増減判定結果プレーンを用いて色プレーンの各画素のゲインを算出し、除去量に乗算することで、境界部（単調増減判定結果プレーン）に対するスムージング処理を行ってもよい。

図１６に示す例では、画素ｐの除去量Ｅ’’は

となる。

以上の方法で、色にじみのみを違和感無く除去することが可能となる。

以上説明したように、本実施の形態によれば、撮像装置の色にじみ除去部１４０は、カラー画像を構成する複数の色プレーンのうち何れかの色プレーンの信号レベルが単調増加もしくは単調減少している領域を、色にじみが発生している色にじみ領域と判定する。更に、カラー画像を構成する複数の色プレーンの信号強度の差分に応じて、色にじみ領域の色にじみの強度を推定し、推定した色にじみの強度の推定値を色にじみ領域の色にじみの強度から差し引く。これにより、カラー画像における色にじみを画像処理により更に効果的に抑制することが可能となる。

〔他の実施の形態〕
本実施の形態では、撮像装置が撮像素子１１０、Ａ／Ｄ変換部１２０、デモザイク部１３０、色にじみ除去部１４０、視覚補正部１５０、圧縮部１６０、記録部１７０を備えた構成を例に挙げたが、これに限定されるものではない。撮像装置が撮像素子１１０〜記録部１７０のうち色にじみ除去部１４０を除く一部或いは全部を備える構成とし、色にじみ除去部１４０の機能を有する画像処理装置を撮像装置とは別個に設ける構成としてもよい。この場合は、撮像装置で撮影され記録媒体（半導体メモリ・磁気／光ディスク等）に格納されたカラー画像を画像処理装置に入力して画像処理を行う構成とすればよい。

また、本発明の目的は、以下の処理を実行することにより達成される。即ち、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はＣＰＵやＭＰ
Ｕ等)が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の
処理の一部または全部を行い、その処理により前述した実施の形態の機能が実現される場合も含まれる。

更に、前述した実施の形態の機能が以下の処理により実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

１００ 結像光学系
１１０ 撮像素子
１２０ Ａ／Ｄ変換部
１３０ デモザイク部
１４０ 色にじみ除去部
１５０ 視覚補正部
１６０ 圧縮部
１７０ 記録部

Claims (5)

1. 複数のカラーフィルタを用いた撮像素子から得られた画像の少なくともいずれかのカラーフィルタに対応する色プレーンの信号レベル、あるいは、前記画像より生成される輝度プレーンの信号レベルが、いずれかの方向における予め定められた区間において、単調増加あるいは単調減少している領域を、色にじみが発生している領域と判定する判定手段と、
   前記判定手段により判定された領域の色にじみの強度を推定する推定手段と、
   推定された前記色にじみの強度に基づいて、前記色にじみの強度を減少させるための修正を前記画像に施す修正手段と、を有することを特徴とする画像処理装置。
2. 前記判定手段は、前記いずれかのカラーフィルタに対応する色プレーンの信号レベル、あるいは、前記輝度プレーンの信号レベルに、ローパスフィルタを適用し、ローパスフィルタを適用した後の信号レベルが、予め定められた区間において、いずれかの方向に単調増加あるいは単調減少しているかを判定することを特徴とする請求項１記載の画像処理装置。
3. 前記推定手段は、前記判定手段により判定された領域の、前記いずれかのカラーフィルタに対応する色プレーンの信号レベルの強度と、前記いずれかのカラーフィルタとは異なるカラーフィルタに対応する色プレーンの信号レベルの強度との差に応じて、前記色にじみの強度を推定することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記推定手段は、前記判定手段により判定された領域の、少なくもいずれかのカラーフィルタに対応する色プレーンの信号レベルの傾斜に基づいて、前記色にじみの強度を推定することを特徴とする請求項１又は２記載の画像処理装置。
5. 複数のカラーフィルタを用いた撮像素子から得られた画像の少なくともいずれかのカラーフィルタに対応する色プレーンの信号レベル、あるいは、前記画像より生成される輝度プレーンの信号レベルが、いずれかの方向における予め定められた区間において、単調増加あるいは単調減少している領域を、色にじみが発生している領域と判定する工程と、
   前記色にじみが発生している領域の色にじみの強度を推定する工程と、
   推定された前記色にじみの強度に基づいて、前記色にじみの強度を減少させるための修正を前記画像に施す工程と、を有することを特徴とする画像処理方法。

Images