JP6143575B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、撮像により得られたカラー画像に含まれる色滲みを低減する画像処理技術に関する。

撮像によりカラー画像を生成する撮像系では、結像光学系（撮像光学系）の色収差によって、画像上の明るい部分の周囲に本来存在しない色が色滲みとして生じる。色滲みは、結像光学系の中心波長から離れた部分で生じやすい。例えば、可視光の撮像系では、青色や赤色あるいはこれらが混ざった紫色のアーティファクトが滲み状に生じ、これらが色滲みやパープルフリンジと呼ばれる。

色収差は異なる分散を持つレンズを複数組み合わせることにより、ある程度は光学的に抑えることができる。ただし、デジタルカメラ等の撮像装置における画像センサの高解像度化や結像光学系の小型化により、色収差を光学的な方法のみで十分に抑えることが困難となっている。そこで、画像処理によるこれらの色滲みの低減が求められている。

特許文献１，２には、入力されたカラー画像における色滲みの量を色成分ごとに推定し、その色滲み推定量を元のカラー画像から減算することで色滲みを低減する画像処理方法が開示されている。また、これらの特許文献には、カラー画像からの色滲みの過度の減算を抑制するために、色滲み推定量を補正することも開示されている。

特開２００８−１４７９８０号公報 特開２００８−１４７９８１号公報

しかしながら、特許文献１，２に開示された方法を用いて複数の色成分を含む色滲みを低減する場合に、色成分ごとの色滲み推定量の減算を色成分の順序を考慮せずに行うと、色相が反転して色滲みが低減された画像領域の色味が不自然になるおそれがある。言い換えれば、良好な色滲み低減効果が得られないおそれもある。

本発明では、複数の色成分を含む色滲みを、色相反転を生じさせずに良好に低減することができるようにした画像処理装置、画像処理方法および画像処理プログラムを提供する。

本発明の一側面としての画像処理装置は、複数の色成分を含むカラー画像における色成分ごとの色滲み量をカラー画像を構成する画素ごとに推定する推定手段と、該推定された色滲み量に基づいて、該カラー画像から色成分ごとの色滲みを低減する色滲み低減処理を行う処理手段と、画素ごとに色滲みの色相を求め、該色相に応じて色滲み低減処理を行う色成分の順序を決定する決定手段とを有することを特徴とする。

なお、撮像によりカラー画像を生成する撮像手段と、該カラー画像に対して色滲み低減処理を行う上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、複数の色成分を含むカラー画像を準備するステップと、該カラー画像における色成分ごとの色滲み量をカラー画像を構成する画素ごとに推定するステップと、該推定された色滲み量に基づいて、カラー画像から色成分ごとの色滲みを低減する色滲み低減処理を行うステップと、画素ごとに色滲みの色相を求め、該色相に応じて色滲み低減処理を行う色成分の順序を決定するステップとを有することを特徴とする。

さらに本発明の他の一側面としての画像処理プログラム（コンピュータプログラム）は、コンピュータに、複数の色成分を含むカラー画像を準備するステップと、該カラー画像における色成分ごとの色滲み量をカラー画像を構成する画素ごとに推定するステップと、該推定された色滲み量に基づいて、カラー画像から色成分ごとの色滲みを低減する色滲み低減処理を行うステップと、画素ごとに色滲みの色相を求め、該色相に応じて前記色滲み低減処理を行う色成分の順序を決定するステップとを含む処理を実行させることを特徴とする。

本発明によれば、複数の色成分を含む色滲みの色相に応じて色滲み低減処理を行う色成分の順序を決定することで、色相反転を生じさせずに良好に色滲みを低減することができる。

本発明の実施例１である画像処理装置を搭載した（画像処理方法を使用する）カラー撮像装置の構成を示す図。 原色カラーフィルタの分光透過率を示す図。 原色カラーフィルタにおける色要素の並びを示す図。 カラー画像における明暗の境界部に生ずる紫色の色滲みを示す図。 高輝度被写体に対する典型的な色成分プロファイルを示す図。 実施例１における色滲み低減処理を示すフローチャート。 上記画像処理動作における色滲み低減順序を決定する処理を示すフローチャート。 色度座標および色滲み対象領域を示す図。 非線形変換の特性を示す図。 Ｂ成分の色滲み低減処理による色度座標上の変化方向を示す図。 Ｂ成分の色滲み低減処理に制限を設けた場合の色度座標上の変化を示す図。 Ｒ成分の色滲み低減処理による色度座標上の変化方向を示す図。 Ｒ成分の色滲み低減処理に制限を設けた場合の色度座標上の変化を示す図。 実施例１による色滲み低減効果を色度座標上で表す図。 従来における色滲み低減効果を色度座標上で表す図。 本発明の実施例１である画像処理装置を搭載した（画像処理方法を使用する）カラー撮像装置の構成を示す図。 実施例２における色滲み低減処理を示すフローチャート。 本発明の実施例３である画像処理装置を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像処理装置を搭載した（すなわち画像処理方法を使用する）カラー撮像装置１００の構成を示している。カラー撮像装置１００は、結像光学系（撮像光学系）１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み低減部１５０と、視覚補正部１６０と、圧縮部１７０と、記録部１８０とを有する。写野（被写体）ｆとＲ，ＧおよびＢの光線は、カラー撮像装置１００の構成要素ではないが説明のために図１中に示している。

結像光学系１１０により形成された写野ｆの光学像（被写体像）は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成されるイメージセンサ１２０上に結像する。本実施例では、結像光学系１１０は、Ｒ（赤）波長域、Ｇ（緑）波長域およびＢ（青）波長域においてある程度の色収差が補正されているが、特にＧ波長域での色収差が良好に補正され、ＲおよびＢ波長域ではＧ波長域に比べて色収差が残存するものとする。

イメージセンサ１２０は、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサである。原色カラーフィルタ系は、図２に示すように、それぞれ６５０ｎｍ近傍（Ｒ波長域）、５５０ｎｍ近傍（Ｇ波長域）および４５０ｎｍ近傍（Ｂ波長域）に透過主波長帯を持つ３種類の色フィルタにより構成される。これら色フィルタが設けられた画素によってＲ、ＧおよびＢ波長域に対応する色成分が撮像（光電変換）される。単板カラーイメージセンサでは、色フィルタは図３に示すように画素ごとに空間的に配列されるため、各画素により単一の色成分の強度を得ることしかできない。このため、イメージセンサからは色モザイク画像が出力される。

なお、本実施例では、イメージセンサ１２０のカラーフィルタをＲ，ＧおよびＢからなる原色系カラーフィルタとする。ただし、Ｙｅ，Ｍｇ，ＣｙおよびＧｒからなる補色系カラーフィルタであってもよく、この場合は色変換処理によってＲ，ＧおよびＢの色成分を含むカラー画像が得られる。

ＡＤ変換部１３０は、イメージセンサ１２０からアナログ信号として出力された色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。

デモザイク部１４０は、デジタルデータとしての色モザイク画像に対して補間処理を行うことにより、全ての画素がＲＧＢの色情報を持つカラー画像を生成する。補間処理について、単純な線形補間から複雑な補間方法まで、その方法は問わない。結像光学系１１０、イメージセンサ１２０、ＡＤ変換部１３０およびデモザイク部１４０により撮像手段（撮像系）が構成される。

デモザイク部１４０で生成されたカラー画像は、結像光学系１１０の色収差によって、Ｇの色成分（緑成分：以下、Ｇ成分という）に比べてＲやＢの色成分（赤成分および青成分：以下それぞれ、Ｒ成分およびＢ成分という）の解像度が劣った画像となる。このため、明暗の境界部では、例えば図４に示すように赤や青がぼやけて、明部の周囲に赤や青あるいは両者が混ざった紫の縁取りのようなアーティファクトとしての色滲みが生じる。なお、結像光学系１１０の特性や画像中の光源の分光分布等によってＲ成分とＢ成分の滲みの程度は異なる。

色滲み低減部（推定手段、処理手段および決定手段）１５０は、画像処理装置として機能し、デモザイク部１４０で生成されたカラー画像である入力画像に対して空間的な演算を行って色滲み領域を抽出して該色滲み領域での色滲み量を推定する。そして、該色滲み推定量に対応する色成分量を入力画像から減算することで色滲みを低減する。この色滲み低減処理については後に詳しく説明する。

視覚補正部１６０は、色滲み低減処理後のカラー画像に対して、主として画像の見栄えを改善するための処理を行う。例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像補正処理を行う。

圧縮部１７０は、視覚補正部１６０から出力されたるカラー画像である出力画像に対して、ＪＰＥＧ等の方法で圧縮処理を行い、記録に適した記録容量とする。

記録部１８０は、圧縮部１７０にて圧縮処理が行われた画像を、フラッシュメモリ等の記録媒体に記録する。

なお、イメージセンサ１２０から記録部１８０をそれぞれ別々のデバイスとして構成してもよいし、単一のマイクロプロセッサより構成してもよい。

次に、本実施例において色滲み低減処理の対象とする色滲みについて説明する。図５には、複数の色成分としてのＲ、ＧおよびＢ成分を含むカラー画像（入力画像）における高輝度被写体に対するＲ、ＧおよびＢ成分の典型的なプロファイルの例を示す。図５の横軸は画像上での位置（例えば、水平方向での位置）を示し、縦軸はＲ、ＧおよびＢ成分の強度（画像強度または画素値）を示す。図５に示す例では、中心部に飽和レベルを超える高輝度被写体（例えば、光源）が存在する。このため、本来は明るくない高輝度被写体の周辺の領域も、収差やフレアにより高輝度被写体からに滲んだ光によってプロファイルの裾が拡がっている。滲みの強さは高輝度被写体の輝度に依存し、高輝度被写体から離れるに従って指数的に弱くなる。Ｇ成分も滲みが全くないわけではなく、ある程度の滲み（プロファイルの拡がり）が存在するが、ＲおよびＢ成分の滲みに比べて小さい。

また、イメージセンサ１２０は一定の飽和レベル以上の強度を測定することができない。このため、イメージセンサ１２０を用いた撮像により生成された画像には、本来の高輝度被写体より一回り大きくＲ、ＧおよびＢ成分が飽和することで、白い飽和領域（領域（１））が形成される。領域（１）よりも高輝度被写体から離れた領域（２）では、Ｇ成分は減衰していくが、ＲおよびＢ成分の飽和半径はさらに広いため、徐々にＧ成分とＲおよびＢ成分との強度差が大きくなる。したがって、領域（２）では、その外側に向かって白からマゼンタに変化して色味を増していく。

しかし、ＲおよびＢ成分も、それらの飽和半径に達すると減衰し始め、Ｇ成分とＲおよびＢ成分との強度差は小さくなっていき、紫の色滲みとなっていく。そして、Ｇ成分の裾の端よりも外側では、ＲおよびＢ成分のみが強度を持ち、より彩度の高い紫の色滲みへと変化していく。このうち、マゼンタや紫の色滲みは本来存在しない色滲みであり、輝度飽和領域の周辺の色として不自然なものとなる。

本実施例では、このようなＲおよびＢ成分によって発生する本来は存在しない紫の色滲み（紫滲み）、赤の色滲み（赤滲み）および青の色滲み（青滲み）を低減対象の色滲みとする。これらの不自然な色滲みを色滲み低減部１５０で低減（補正）することで自然な色味を有する出力画像を生成する。

次に、色滲み低減部１５０が行う処理（画像処理方法）について、図６に示したフローチャートを用いて説明する。この色滲み低減部１５０は、コンピュータとして、コンピュータプログラム（画像処理プログラム）に従って以下の処理を実行する。大まかな流れとしては、まずステップＳ１０１では、色滲み低減部１５０は、デモザイク部１４０から入力画像を取得する。これにより、処理対象となる入力画像を準備する。そして、色滲み低減部１５０は、入力画像において色滲み低減処理を行うか否かを判定する対象となる注目画素の座標（ｘ，ｙ）として、最初の画素の座標（０，０）を設定する。次に、ステップＳ１０２では、色滲み低減部１５０は、色滲み低減処理を行う色成分の順序を決定する。次に、ステップＳ１０３では、色滲み低減部１５０は、注目画素が色滲みに特有の色を示す色滲み画素であるか否かを判定し、色滲み画素でない場合はステップＳ１０６に進み、色滲み画素である場合はステップＳ１０４に進む。

ステップＳ１０４では、色滲み低減部１５０は、色滲み画素における色滲み推定量を算出する。このステップでは、色滲み低減部１５０は、色滲み低減処理を行う全ての色成分（本実施例では、Ｒ成分およびＢ成分）において、色成分ごとの色滲み推定量を算出する。そして、ステップＳ１０５では、色滲み低減部１５０は、ステップＳ１０２で決定した色成分の順序で、ステップＳ１０４で算出した色滲み推定量を用いて色滲み画素のうち色滲み成分を低減（望ましくは除去）する色滲み低減処理を行う。色滲み低減処理後の画素値（本実施例では、Ｒ成分およびＢ成分）で入力画像の画素値を書き換えずに、色滲み低減処理後の画素値を別途メモリに格納する。

次に、ステップＳ１０６およびステップＳ１０７では、色滲み低減部１５０は、注目画素のｘ座標およびｙ座標を変更して、入力画像の全画素についてステップＳ１０２からステップＳ１０５までの処理を繰り返す。

こうして入力画像のＧ成分と合わせてＲ成分およびＢ成分の色滲み成分が低減された出力画像が得られると、色滲み低減部１５０は、該出力画像を前述した視覚補正部１６０に送る。

本実施例では、色滲み低減部１５０は、前述したようにＲおよびＢ成分を色滲み低減処理の対象とし、Ｇ成分を基準色成分として用いるものとして以下、図６に示したステップＳ１０２〜Ｓ１０５のそれぞれの詳細を説明する。なお、色滲み低減処理の対象を必ずしもＲおよびＢ成分でなくてもよい。

図７のフローチャートには、色滲み低減部１５０がステップＳ１０２にて行う処理を示している。色滲み低減部１５０は、ステップＳ１５１１にて注目画素（ｘ，ｙ）の色相を算出する。色相の算出では、色滲み低減部１５０は、まずＲ，ＧおよびＢの各成分の強度に対して以下の式（１）で示す計算を行い、ＲＧＢ表色系をＸＹＺ表色系に変換する。

次に、色滲み低減部１５０は、式（１）で得られたＸ，ＹおよびＺを用いて、以下の式（２）により色度座標ａｂを定義する。なお、この色度座標ａｂはＬａｂ表色系を簡略化したものである。

続いて、色滲み低減部１５０は、式（２）により算出したａ，ｂを用いて、以下の式（３）により色相ｈを算出する。なお、本実施例では色度座標ａｂを用いる場合について説明するが、色度座標としてＬａｂ表色系やＹＵＶ表色系などの他の座標を用いてもよい。

色度座標ａｂとＲおよびＢ成分との対応関係について説明する。図８には、色度座標ａｂ面を示している。この色度座標ａｂ面では、青色は第４象限にあり、第１象限に向かうにつれて赤味が増して、紫やマゼンタになっていく。第１象限は、第２象限に向かうにつれて、マゼンタから赤に、さらに黄色になっていく。
次に、ステップＳ１５１２では、色滲み低減部１５０は、注目画素について算出した色相ｈが色滲みと考えられる色相であるか否か、つまりは注目画素が色滲み画素か否かを判定する。色滲みと判定する色相は、２つの色相角度ｈ_ｍｉｎ，ｈ_ｍａｘで指定する。注目画素の色相角度をｈとすると、

であれば、色滲みと考えられる色相であると判定する。本実施例ではＲおよびＢ成分を色滲み低減対象としているため、色相角度ｈは、赤〜紫〜青を含むようにｈ_ｍｉｎおよびｈ_ｍａｘを決定する。赤〜紫〜青を表す領域は、図８の色度座標ａｂ上ではおおよそ図中の斜線で囲まれた領域Ｆとなり、ここではｈ_ｍｉｎ＝−９０°およびｈ_ｍａｘ＝６０°とする。この領域Ｆは、色滲み対象をどの色にするかによって変化するもので、必ずしも斜線で表される領域に限定されるものではない。例えば、第３象限の一部の色相に対しても青滲みとみなしてもよい。

次に、ステップＳ１５１３では、色滲み低減部１５０は、さらなる色滲み画素か否かの判定を行う。ここでは、注目画素（ｘ，ｙ）において基準色成分であるＧ成分の強度が飽和していると考えられる場合は色滲み画素ではないと判定する。これは、高輝度被写体において基準となる色成分が飽和していれば、他の色成分も飽和している可能性が高いため、色滲みが発生しないと考えられるからである。「飽和」とは、各色成分の強度が０〜１の値を持つとすると、例えば閾値を０．９程度にして該閾値以上の強度を持つ場合をいう。このステップでの判定で注目画素が色滲み画素でないと判定した場合は、色滲み低減部１５０は、以下の処理を行わずに注目画素を次の画素に変更する（ステップＳ１０６，１０７）。

一方、ステップＳ１５１２およびＳ１５１３で注目画素が色滲み画素と判定した場合は、色滲み低減部１５０は、最後にステップＳ１５１４にて該色滲み画素における色滲みの色味を判定する。そして、その判定結果に応じて色滲み低減処理を行う色成分の順序（以下、色滲み低減順序という）を決定する。

ステップＳ１５１４において、色滲み低減部１５０は、色滲みの色味として赤味が強いか青味が強いかを判定する。具体的には、赤系と青系を分割する紫の色相ｈ_ｐを導入して、注目画素の色相ｈが色相ｈ_ｐを境として赤系と青系のどちら側にあるかで赤味が強いか青味が強いかを判定する。紫の色相ｈ_ｐは、ステップＳ１５１１で算出した色度座標ａｂにおいて、ある中間輝度でのＲ成分とＢ成分の値が等しくなるような色相を選べばよく、例えば−３０°程度が好適である。ただし、紫の色相ｈ_ｐは経験的に求めてもよく、色相ｈ_ｐの決定方法は特に限定されない。

以上の判定により、色度座標ａｂにおいて色相ｈが、

の範囲にある場合は、色滲みが青から青紫の色であって青味が強いと判定し、この場合はＲ成分よりも先にＢ成分の色滲み低減処理を行うように色滲み低減順序を決定する。
逆に、色相ｈが、

の範囲にある場合は、色滲みが赤から赤紫の色であって赤味が強いと判定し、この場合はＢ成分よりも先にＲ成分の色滲み低減処理を行うように色滲み低減順序を決定する。このように、本実施例では、色滲みの色相に含まれる少なくとも２つの色成分のうち他の色成分よりも強度が高い色成分に対して先に色滲み低減処理を行うよう色滲み低減順序を決定する。

次に、図６のステップＳ１０４で色滲み低減部１５０が行うＲおよびＢ成分の色滲み量の推定処理について説明する。色滲み量の推定方法としては、画像強度傾斜を利用する方法が挙げられる。
具体的には、Ｒ，ＧおよびＢ成分の画像強度傾斜をそれぞれ、∇Ｒ，∇Ｇおよび∇Ｂとすると、これらは、以下の式（７）により算出される。

ここで、
Ｒ（ｘ＋１，ｙ），Ｇ（ｘ＋１，ｙ）およびＢ（ｘ＋１，ｙ）はそれぞれ、Ｒ，ＧおよびＢ成分における注目画素の右隣の画素値である。

Ｒ（ｘ−１，ｙ），Ｇ（ｘ−１，ｙ）およびＢ（ｘ−１，ｙ）はそれぞれ、Ｒ，ＧおよびＢ成分における注目画素の左隣の画素値である。

Ｒ（ｘ，ｙ＋１），Ｇ（ｘ，ｙ＋１）およびＢ（ｘ，ｙ＋１）はそれぞれ、Ｒ，ＧおよびＢ成分における注目画素の下隣の画素値である。

Ｒ（ｘ，ｙ−１），Ｇ（ｘ，ｙ−１）およびＢ（ｘ，ｙ−１）はそれぞれ、Ｒ，ＧおよびＢ成分における注目画素の上隣の画素値である。

画像強度傾斜の演算においては、演算の範囲をより大きくしたり注目画素に対して斜めの位置にある画素も用いたりする等、他の演算方法を用いてもよい。

次に、色滲み低減部１５０は、算出した画像強度傾斜に基づいて色滲み量の推定値である色滲み推定量を算出する。

ここでは、以下の式（８）に示すように、Ｒ，ＧおよびＢ成分の画像強度傾斜∇Ｒ，∇Ｇおよび∇Ｂの絶対値に係数ｋ_Ｒ，ｋ_Ｇ，ｋ_Ｂを乗じて色滲み推定量Ｅ_Ｒ，Ｅ_Ｇ，Ｅ_Ｂを算出する。係数ｋ_Ｒ，ｋ_Ｇ，ｋ_Ｂは正の値で、３前後が好適である。

ＲおよびＢ成分が飽和している領域では画像強度傾斜が０になるため、飽和していない場合の画像強度傾斜を得ることができない。そこで、このような領域に対する画像強度傾斜をＧ成分の画像強度傾斜により算出する。このため、式（８）では、色滲み推定量Ｅ_Ｇを算出している。この色滲み推定量Ｅ_Ｇは後の処理で使用する。

次に、色滲み低減部１５０は、算出した画像強度傾斜を用いて再度、注目画素が色滲み画素か否かを判定する。この判定では、基準色成分と色滲み色成分との画像強度傾斜の比が閾値以上である場合に注目画素が色滲み画素であると判定し、求めた色滲み推定量を有効なものとする。逆に、上記比が閾値未満である場合は色滲み画素ではないと判定して、色滲み推定量を０とする。

Ｒ成分において、画像強度傾斜の比の閾値をα_ＲＧとすると、上記判定後の色滲み推定量Ｅ_Ｒ′は、

と表すことができる。また、上記判定後のＢ成分の色滲み推定量Ｅ_Ｂ′についても、画像強度傾斜の比の閾値をα_ＢＧとすると、

と表すことができる。

画像強度傾斜の比の閾値α_ＲＧおよびα_ＢＧは、結像光学系１１０の特性等に依存するが、２前後が好適である。

さらに、色滲み低減部１５０は、画像強度による補正を行うために、ＲおよびＢ成分の強度に対する非線形変換によって飽和度Ｓ_Ｒ，Ｓ_Ｂを求める。飽和度Ｓ _Ｒ ，Ｓ _Ｂ は、ＲおよびＢ成分が飽和しているか否かを示すものであり、ＲおよびＢ成分の強度が飽和している場合は１となり、ＲおよびＢ成分の強度が飽和していない場合は０となる。なお、飽和度Ｓ_Ｒ，Ｓ_Ｂは、このように０と１の２値でもよいが、図９に示すように０から１にかけて連続的に変化する値としてもよい。この場合、飽和度Ｓ_Ｒ，Ｓ_Ｂは、

と表すことができる。

そして、飽和度Ｓ_Ｒに応じて、新たな色滲み推定量Ｅ_Ｒ″を決定する。すなわち、飽和度Ｓ_Ｒが０と１の２値である場合は、新たな色滲み推定量Ｅ_Ｒ″として、以下のように色滲み推定量Ｅ_Ｒ′およびＥ_Ｇのうち一方を選択する。

とする。また、飽和度Ｓ_Ｒが０から１にかけて連続的に変化する値である場合は、新たな推定量Ｅ_Ｒ″を、

とする。
同様に、飽和度Ｓ_Ｂが０と１の２値である場合は、Ｂ成分の色滲み推定量Ｅ_Ｂ″として、

色滲み推定量Ｅ_Ｂ′およびＥ_Ｇのうち一方を選択する。また、飽和度Ｓ_Ｂが０から１にかけて連続的に変化する値である場合は、新たな色滲み推定量Ｅ_Ｂ″を、

とする。

これにより、高輝度領域周辺で色滲みと判定された領域において、ＲおよびＢ成分が飽和している場合にもＧ成分から推定した色滲み推定量を用いることで、ＲおよびＢ成分の推定量を求めることが可能となる。また、飽和度に連続値を用いることで高輝度領域周辺の推定量の急激な変化を抑制することが可能となり、より自然な色滲み低減結果を得ることができる。

以上説明した画像強度傾斜による色滲み推定量の算出方法は例にすぎず、他の算出方法を用いてもよい。

次に、図６のステップＳ１０５で色滲み低減部１５０が行う色滲み低減処理について説明する。色滲み低減処理では、先の色滲み量の推定処理において推定された色滲み推定量が大きすぎた結果、色滲み低減処理後に不自然な色の画像が生成されないように制限を設ける必要がある。この制限について、ステップＳ１５１１で算出した色度座標ａｂを用いて説明する。

まず、Ｂ成分の色滲み推定量Ｅ_Ｂ″に相当する強度成分（以下、単に色滲み推定量Ｅ_Ｂ″という）をＢ成分の強度から減算した場合、図１０に点線矢印で示すように、色度は左上方向に移動する。矢印の始点は除去前の色度であり、矢印の先端が色滲み推定量Ｅ_Ｂ″を除去した後の色度である。前述したように色度座標ａｂ上でおおよそ青色とみなされる領域は第４象限であり、色滲み推定量Ｅ_Ｂ″を除去した後の色度座標がこの領域を超えた場合には不自然な色となる。

例えば、灰色の背景に対してＢ成分を減らしすぎると黄緑色になり、観察者に違和感を与える。このことから、Ｂ成分において色滲みを低減する場合には、低減後の色相（色相角度）が第４象限、すなわちａ軸に対して−９０°から０°の範囲（以下、Ｂ色相制限範囲という）に収まるように色滲み推定量Ｅ_Ｂ″を制限（補正）するのが望ましい。

また、Ｒ成分の色滲み推定量Ｅ_Ｒ″に相当する強度成分（以下、単に色滲み推定量Ｅ_Ｒ″という）をＲ成分の強度から減算した場合、図１２に点線矢印で示すように、色度は左下方向に移動する。色度座標ａｂ上でおおよそ赤から赤紫とみなされる領域は、例えば図１２に示すようにａ軸に対して６０°をなす直線と、ａ軸に対して−４５°をなす直線とで囲まれた領域とすることができ、この領域を外れると不自然な色となる。したがって、Ｒ成分において色滲みを低減する場合には、低減後の色相（色相角度）が−４５°から６０°の範囲（以下、Ｒ色相制限範囲という）に収まるように色滲み推定量Ｅ_Ｒ″を制限（補正）するのが望ましい。

なお、色相制限範囲を設ける方法としては、本実施例のように色度座標ａｂを用いる方法に限定されず、他の方法を用いてもよい。

具体的な色度座標ａｂ上での色滲み低減処理の制限の方法について説明する。Ｂ色相制限範囲が−９０°から０°の範囲であるときにＢ成分の取り得る強度は、

となる。このため、色滲み低減後の色相角度がＢ色相制限範囲に収まるためのＢ成分用の補正色滲み推定量Ｅ_Ｂ’’’は、

を満足する必要がある。

同様に、Ｒ色相制限範囲が−４５°から６０°の範囲であるときにＲ成分の取り得る強度は、

となる。このため、色滲み低減後の色相角度がＲ色相制限範囲に収まるためのＲ成分用の補正色滲み推定量Ｅ_Ｒ’’’は、

を満足する必要がある。

こうして色相制限範囲による制限を受けた補正色滲み推定量Ｅ_Ｂ’’’，Ｅ_Ｒ’’’（に相当する強度成分）はそれぞれ、もとのＢ成分およびＲ成分の強度から減算される。これにより、不自然な色の変化を生じさせることなく、色滲みを低減（望ましくは除去）することができる。

もとのＢ成分の強度から補正色滲み推定量Ｅ_Ｂ’’’を減算すると、減算後のＢ成分の強度Ｂ′は、

となる。この減算による色度の変化は、図１１に実線矢印で示すように、Ｂ色相制限範囲（−９０°から０°の範囲であり、第４象限）内に留まる。

同様に、もとのＲ成分の強度から補正色滲み推定量Ｅ_Ｒ’’’を減算すると、減算後のＲ成分の強度Ｒ′は、

となる。この減算による色度の変化は、図１３に実線矢印で示すように、Ｒ色相制限範囲（−４５°から６０°の範囲）内に留まる。以上により、色滲み低減処理が終了する。

次に、色滲み低減処理を、ステップＳ１０２で決定した色滲み低減順序に従って行う手順について説明する。ここでは、ステップＳ１０５でＢ成分の色滲み低減処理を先に行い、次にＲ成分の色滲み低減処理を行う場合について説明するが、Ｒ成分の色滲み低減処理を先に行い、次にＢ成分の色滲み低減処理を行う場合も、各色成分での色滲み低減処理は同様に行われる。

まず、Ｂ成分の色滲み低減処理を行うために、前述した式（１８）を用いて補正色滲み推定量Ｅ_Ｂ’’’を算出する。次に、算出した補正色滲み推定量Ｅ_Ｂ’’’を式（２１）に代入してＢ成分の色滲み低減処理を行い、色滲み低減処理後のＢ成分Ｂ′を得る。

続いて、Ｒ成分の色滲み低減処理を行うために、前述した式（２０）を用いて補正色滲み推定量Ｅ_Ｒ’’’を算出する。次に、算出した補正色滲み推定量Ｅ_Ｒ’’’を式（２２）に代入してＲ成分の色滲み低減処理を行い、処理後のＲ成分Ｒ′を得る。 こうして、色滲み低減処理対象の全色成分に対する色滲み低減処理が終了したカラー画像は、図１に示した視覚補正部１６０に出力される。

次に、注目画素の色相とＲおよびＢ成分の色滲み低減順序との関係を、図１４を用いて説明する。ここでは、注目画素の色相（色度）が、色度座標ａｂ上で点Ｐの位置にあるとする。点Ｐでの色相ｈは、ｈ_ｍｉｎ≦ｈ≦ｈ_ｐであるので青紫系の色滲みを示す色相となる。この場合、本実施例では、Ｂ成分に対する色滲み低減処理を先に行う。点Ｐに対応するＢ成分の強度から色滲み推定量Ｅ_Ｂ″をそのまま減算すると色相は点Ｐ_Ｂへと移動するが、Ｂ色相制限範囲に対応した補正色滲み推定量Ｅ_Ｂ’’’の減算により、色相は点Ｐ_Ｂ′で止まる。その後、点Ｐ_Ｂ′に対応するＲ成分の強度から補正色滲み推定量Ｅ_Ｒ’’’を減算することで、色相は点Ｐ′へと移動する。点Ｐ′は、点Ｐに比べて色度座標ａｂの原点に大幅に近い位置にある。

一方、Ｂ成分に対する色滲み低減処理のみを行う場合は、図１４でも説明したが、図１５に示すように、点Ｐに対応するＢ成分の強度から補正色滲み推定量Ｅ_Ｂ’’’を減算することにより、色相は点Ｐ_Ｂ′に移動する。この場合、点Ｐ_Ｂ′は、点Ｐに比べて色度座標ａｂの原点からあまり変わらない距離に位置するため、彩度がほとんど変わらずに色相が変わったことになる。つまり、青紫系の色滲みがマゼンタ系の色滲みに変化したことになる。同様に、Ｒ成分に対する色滲み低減処理のみを行う場合は、図１５に示すように、点Ｐが点Ｐ_Ｒ′に移動し、青紫系の色滲みが青系の滲みに変化することになる。

さらに、ＲおよびＢ成分に対して並列的に（色滲み低減順序を決めずに）色滲み低減処理を行う場合、点Ｐの移動方向は、色度座標ａｂ上でＲおよびＢ成分に対する色滲み低減処理をそれぞれ単独で行った場合の移動方向を合成した方向となる。これにより、図１５に示すように、点Ｐは点Ｐ′に移動する。点Ｐ′は点Ｐに比べてやや原点に近づいているが、色滲みの低減の程度が少なく、残存した色滲みが目立つ。

図１４と図１５を比べて分かるように、注目画素（つまりは色滲み）の色相に応じて色滲み低減処理を行う色成分の順序を最適化することにより、色滲み低減処理後の色相（色度）を色度座標ａｂの原点に十分に近い座標へと移動させることができる。色度座標ａｂの原点に近づくほど無彩色に近づく。このため、本実施例によれば、複数の色成分を含む色滲みを低減する場合において、一部の色成分に対してのみ色滲み低減処理を行ったり色滲み低減順序の最適化を行わなかったりする場合に比べて、色相反転を生じさせずに良好に色滲みを低減することができる。

なお、色滲み低減処理後の色相（色度）を色度座標ａｂの原点にできるだけ近づけるための色滲み低減順序は、以下のように言うこともできる。すなわち、色滲みの色相に含まれる少なくとも２つの色成分のうち他の色成分よりも色滲み低減処理による色滲み低減量の最大値（許容値）が大きい色成分に対して先に色滲み低減処理を行う。図１４の例では、図１５に示す点Ｐから点Ｐ_Ｂ′までの図１１に矢印で示した方向での距離がＢ成分に対する色滲み低減量の最大値であり、点Ｐから点Ｐ_Ｒ′までの図１２に矢印で示した方向での距離がＲ成分に対する色滲み低減量の最大値である。そして、Ｂ成分に対する色滲み低減量の最大値の方がＲ成分に対する色滲み低減量の最大値よりも大きいので、Ｂ成分に対する色滲み低減処理を先に行うよう色滲み低減順序が決定される。

図１６には、本発明の実施例２である画像処理装置を搭載した（すなわち画像処理方法を使用する）カラー撮像装置２００の構成を示している。カラー撮像装置２００は、結像光学系（撮像光学系）２１０と、色分解プリズム２１５と、イメージセンサ２２０と、ＡＤ変換部２３０と、色滲み低減部２５０と、視覚補正部２６０と、圧縮部２７０と、記録部２８０とを有する。結像光学系２１０、色分解プリズム２１５、イメージセンサ２２０およびＡＤ変換部２３０により撮像手段（撮像系）が構成される。

本実施例において、イメージセンサ２２０は、実施例１と異なり３板式のイメージセンサである。結像光学系１１０からの光は、色分解プリズム２１５によってＲ光，Ｇ光およびＢ光に分解され、それぞれが対応するイメージセンサに導かれる。なお、この構成では、実施例１のイメージセンサ１２０に設けられていたカラーフィルタおよびデモザイク部１４０は不要となる。

また、本実施例の結像光学系２１０も、実施例１と同様に、Ｇ波長域において色収差が良好に補正されているが、Ｒ波長域およびＢ波長域では色収差が残存している。なお、３板式では各イメージセンサの前後位置を調整することにより、色収差を補正することも可能であるが、結像光学系２１０のズーム位置の変化等による収差変動に対応できないため、本実施例ではそのような調整は行わない。このため、Ｇ成分に比べてＲおよびＢ成分の解像度が劣り、３つの色成分を合成したカラー画像においては実施例１と同様に紫の縁取りのようなアーティファクトである色滲みが生じる。

ＡＤ変換部２３０は、３つのイメージセンサからアナログ電圧として出力されるＲ成分の入力画像、Ｇ成分の入力画像およびＢ成分の入力画像を、これ以降の画像処理に適したデジタルデータに変換する。

色滲み低減部（推定手段、処理手段および決定手段）２５０は、画像処理装置として機能し、各入力画像からアーティファクトを除去するための色滲み低減処理を行う。

視覚補正部２６０、圧縮部２７０および記録部２８０は、実施例１の視覚補正部１６０、圧縮部１７０および記録部１８０と同様の機能を有する。

このように構成されたカラー撮像装置２００において、色滲み低減部２５０は、コンピュータとして、コンピュータプログラム（画像処理プログラム）に従って、図１７のフローチャートに示す処理を実行する。本実施例でも、実施例１と同様に、ＲおよびＢ成分を色滲み低減対象とし、Ｇ成分を基準色成分として用いる。

まずステップＳ２０１では、色滲み低減部２５０は、ＡＤ変換部２３０からＧ、ＲおよびＢ成分の入力画像を取得する。これにより、処理対象となる入力画像を準備する。そして、色滲み低減部２５０は、入力画像において色滲み低減処理を行うか否かを判定する対象となる注目画素の座標（ｘ，ｙ）として、最初の画素の座標（０，０）を設定する。ここでの注目画素は、Ｇ、ＲおよびＢ成分の入力画像において互いに対応する画素である。

次に、ステップＳ２０２では、色滲み低減部２５０は、入力画像において互いに対応する注目画素の強度（画素値）から色相を判定する。そして、判定した色相に応じて、実施例１と同様に、Ｒ成分とＢ成分において色滲み低減処理を行う順序（色滲み低減順序）を決定する。

次に、ステップＳ２０３では、色滲み低減部２５０は、注目画素（合成画素）が色滲みに特有の色を示す色滲み画素であるか否かを判定し、色滲み画素でない場合はステップＳ２０６に進み、色滲み画素である場合はステップＳ２０４に進む。

ステップＳ２０４では、色滲み低減部２５０は、色滲み低減順序が先である色成分の色滲み画素における色滲み推定量を算出する。すなわち、色成分ごとの色滲み推定量を算出する。色滲み推定量の算出方法は、実施例１と同様に画像強度傾斜を用いる方法でもよいし、他の方法を用いてもよい。そして、ステップＳ２０５では、色滲み低減部２５０は、ステップＳ２０４で算出した色滲み推定量を用いて色滲み画素のうち色滲み成分を低減（望ましくは除去）する色滲み低減処理を行う。この際、実施例１と同様に、色相制限範囲を設けて過剰な低減処理を抑制する。

ステップＳ２０６およびステップＳ２０７では、色滲み低減部２５０は、注目画素のｘ座標およびｙ座標を変更して、入力画像の全画素についてステップＳ２０２からステップＳ２０５までの処理を繰り返す。

次にステップＳ２０８では、１回目の色滲み低減処理かどうか判定し、１回目であればステップＳ２０１に戻り、もう一度ステップＳ２０２からステップＳ２０７までを繰り返す。２回目の色滲み低減処理は、１回目に色滲み低減された画像に対して処理を行うことになる。
本実施例では、Ｒ、Ｂ成分両方の色滲みが生じている画素において、Ｂ成分が先に低減されると判定された場合には、１回目でＢ成分の色滲みが低減された後２回目に入力される画像ではＲ成分の色滲みが残存している。２回目の色滲み低減処理ではＲ成分の色滲みが低減され、Ｒ、Ｂ成分の色滲みが低減された画像が生成される。また、Ｒ、Ｂ成分の何れか一方のみの色滲みの場合は、他方に対してのステップＳ２０３での色滲み判定からステップ２０５での色滲み低減処理がスキップされるため単色の色滲み低減処理を行うこととなる。この際、２回目の色滲み低減量の推定処理が不要となり計算コストが削減できる効果がある。

こうして、Ｒ成分およびＢ成分の色滲み成分が低減された出力画像が得られると、色滲み低減部２５０は、該出力画像を前述した視覚補正部２６０に送る。

本実施例では、ステップＳ２０４（色滲み推定量の算出）とステップＳ２０５（色滲み低減処理）を異なる色成分における１組の対応注目画素に対して繰り返し行うようにしている。このため、単色の色滲みに対しても、いずれかの色成分の色滲み低減処理を実質的に行わないことで対応することができる。

実施例１，２では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。

図１８に示すように、パーソナルコンピュータ１４０２は、カラー撮像装置１４０１により生成された色滲み低減処理前の画像（入力画像）をケーブル通信、ワイヤレス通信および半導体メモリや光ディスク等の記録媒体を介して取り込む。そして、パーソナルコンピュータ１４０２は、画像処理プログラムに従って、実施例１，２と同様に色滲み低減順序の決定および色滲み推定量の算出を経て色滲み低減処理を行い、その結果得られた画像を出力する。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

良好に色滲みが低減された画像を生成できる画像処理装置や撮像装置を提供できる。

１００，２００ カラー撮像装置
１２０，２２０ イメージセンサ
１３０，２３０ ＡＤ変換部
１４０ デモザイク部
１５０，２５０ 色滲み低減部
１４０２ パーソナルコンピュータ

Claims (7)

1. 複数の色成分を含むカラー画像における色成分ごとの色滲み量を前記カラー画像を構成する画素ごとに推定する推定手段と、
   該推定された色滲み量に基づいて、前記カラー画像から色成分ごとの色滲みを低減する色滲み低減処理を行う処理手段と、
   前記画素ごとに前記色滲みの色相を求め、該色相に応じて前記色滲み低減処理を行う色成分の順序を決定する決定手段とを有することを特徴とする画像処理装置。
2. 前記決定手段は、前記色滲みの色相に含まれる少なくとも２つの色成分のうち他の色成分よりも強度が高い色成分に対して先に前記色滲み低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記色滲みの色相に含まれる少なくとも２つの色成分のうち他の色成分よりも前記色滲み低減処理による前記色滲みの低減量の最大値が大きい色成分に対して先に前記色滲み低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記カラー画像が、前記複数の色成分として赤成分、緑成分および青成分を含み、
   前記色滲み低減処理を行う色成分が、赤成分および青成分であることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 撮像によりカラー画像を生成する撮像手段と、
   前記カラー画像に対して前記色滲み低減処理を行う請求項１から４のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
6. 複数の色成分を含むカラー画像を準備するステップと、
   前記カラー画像における色成分ごとの色滲み量を前記カラー画像を構成する画素ごとに推定するステップと、
   推定された色滲み量に基づいて、前記カラー画像から色成分ごとの色滲みを低減する色滲み低減処理を行うステップと、
   前記画素ごとに前記色滲みの色相を求め、該色相に応じて前記色滲み低減処理を行う色成分の順序を決定するステップとを有することを特徴とする画像処理方法。
7. コンピュータに、
   複数の色成分を含むカラー画像を準備するステップと、
   前記カラー画像における色成分ごとの色滲み量を前記カラー画像を構成する画素ごとに推定するステップと、
   推定された色滲み量に基づいて、前記カラー画像から色成分ごとの色滲みを低減する色滲み低減処理を行うステップと、
   前記画素ごとに前記色滲みの色相を求め、該色相に応じて前記色滲み低減処理を行う色成分の順序を決定するステップとを含む処理を実行させるコンピュータプログラムであることを特徴とする画像処理プログラム。