JP5847471B2 - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、ビデオカメラやデジタルスチルカメラ等の撮像系により生成されたカラー画像の色滲みを低減する画像処理技術に関する。

上記のような撮像系により生成されたカラー画像のうち高輝度部分の周囲には、結像光学系（撮影光学系）の色収差に起因して、本来存在しない色が色滲みとして生じる場合がある。色滲みは、結像光学系の中心波長から離れた部分で発生しやすく、可視光カラー画像では、青色や赤色のアーティファクトもしくは双方が混ざった紫色のアーティファクト（パープルフリンジ）が滲み状に生ずる。

結像光学系の色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に抑えることができる。ただし、撮像センサの高解像度化と光学系の小型化とに伴い、色収差を光学のみで十分に抑えることは困難となってきている。このため、画像処理による色滲みの低減が求められている。

色収差は、例えば可視光域の中心波長を担うＧプレーンで合焦した画像において、可視光域の端部となるＲプレーンやＢプレーンではピントがぼける現象である。その補正方法としては、特許文献１や特許文献２にて開示されているように、輝度飽和領域からの距離や強度傾斜（輝度傾斜）に基づいて色滲み補正範囲を特定する方法がある。

特開２００８−１４７９８０号公報 特開２００８−１４７９８１号公報

しかしながら、輝度飽和領域からの距離のみに基づいて色滲み補正範囲を特定する方法では、飽和画素周辺における設定距離範囲内のすべての画素を色滲み画素として補正する。この場合、該距離範囲が適切に設定されていない場合や被写体の性質によっては
良好な補正結果が得られないおそれがある。また、強度傾斜にのみ基づいて色滲み補正範囲を特定する方法では、設定した強度傾斜条件を満たす画素をすべて色滲み画素として補正する。この場合、強度傾斜条件のみでは区別が不可能な色分布を持つ被写体や、ノイズによって局所的に強度傾斜条件を満たさない色滲みについては適切な補正が行われないおそれがある。

本発明は、色滲みを含むカラー画像において色滲み補正を行う範囲をより適切に特定できるようにした画像処理装置、撮像装置、画像処理方法および画像処理プログラムを提供する。

本発明の一側面としての画像処理装置は、撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出する傾斜算出手段と、強度傾斜が第１の閾値を用いた色滲み条件を満足する画素を色滲み候補画素と判定する第１の色滲み判定手段と、カラー画像における飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定する第２の色滲み判定手段とを有する。そして、第１および第２の色滲み判定手段はそれぞれ、第１および第２の閾値を、色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。

なお、カラー画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法（画像処理プログラム）は、撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出するステップと、強度傾斜が第１の閾値を用いた色滲み条件を満足する画素を色滲み候補画素と判定するステップと、カラー画像における飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定するステップとを有する。そして、第１および第２の閾値を、色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする。

本発明によれば、様々な色分布を持つ被写体を含む等、従来の色滲み補正方法では色滲み補正を行う範囲の特定が困難であったカラー画像に対しても、該範囲をより適切に特定することができ、この結果、より良好に色滲みが低減された画像を得ることができる。

本発明の実施例１である画像処理装置を搭載した撮像装置の構成を示すブロック図。 原色カラーフィルタの説明図。 カラーフィルタアレイの説明図。 実施例１における色滲み領域検出部の処理を示すフローチャート。 輝度差が大きい領域で青滲みが存在する場合のＧ，Ｂプレーンの値を説明する図。 輝度飽和領域からの距離を説明する図。 実施例１における色滲み強度推定部の構成を示すブロック図。 輝度差が大きい領域で赤滲みが存在する場合のＲ，Ｇプレーンの値を説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像処理装置を搭載したカラー撮像装置１００の構成を示している。

撮像装置１００は、結像光学系（撮影光学系）１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０とを有する。これら結像光学系１１０からデモザイク部１４０により撮像系が構成される。また、撮像装置１００は、色滲み領域検出部１５０と、色滲み強度推定部１６０と、色滲み除去部１７０とを有する。これら色滲み領域検出部１５０から色滲み除去部１７０により、画像処理装置が構成される。さらに、撮像装置１００は、視覚補正部１８０と、圧縮部１９０と、記録部２００とを有する。図１中に示した写野（被写体）ｆとＲ，Ｇ，Ｂの光線は撮像装置１００の構成要素ではないが、説明のために図１中に示している。

写野ｆからの光Ｒ，Ｇ，Ｂは、結像光学系１１０によってイメージセンサ１２０上に結像する。一般に、カラー撮像装置に装着される結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系１１０は、ＲとＧの波長域の縦色収差が良好に補正され、Ｂの波長域の縦色収差が残存している。このようにＢの波長域の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。

イメージセンサ１２０は、一般的な原色系カラーフィルタを備える単板カラーイメージセンサである。原色系カラーフィルタはそれぞれ、図２に示すように、６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類のカラーフィルタにより構成されており、それぞれＲ，Ｇ，Ｂの各バンドに対応する色プレーンを撮像する。

単板カラーイメージセンサでは、これらのカラーフィルタを図３に示すように画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度（輝度）を得ることしかできない。このためイメージセンサ１２０からは色モザイク画像が出力される。

なお、不図示の色分解プリズムを用いて入射光をＲ，Ｇ，Ｂの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。

ＡＤ変換部１３０は、イメージセンサ１２０からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。

デモザイク部１４０は、色モザイク画像を補間することによって、全ての画素がＲＧＢの色情報を有する入力画像としてのカラー画像を生成する。補間手法には単純な線形補間から複雑な手法まで多くの方式が提案されているが、いずれの補間手法を用いてもよい。

ここで生成されたカラー画像は、複数（Ｒ，Ｇ，Ｂの３つ）の色プレーンを有するが、結像光学系１１０の色収差によって、ＲプレーンやＧプレーンに比べてＢプレーンの解像度が劣る画像となる。このため、明暗の境界部では青がぼやけ、明部の周囲に青い縁取りのようなアーティファクトが生じる。

なお、本実施例では、イメージセンサ１２０のカラーフィルタをＲ，Ｇ，Ｂからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンからなるカラー画像が得られる。

色滲み領域検出部１５０、色滲み強度推定部１６０および色滲み除去部１７０では、Ｂプレーンを色滲み検出（色滲み判定）および色滲み除去の対象プレーンとし、基準プレーンとしてＧプレーンを用いる。

色滲み領域検出部１５０は、各種空間演算を行うことで色滲み領域に含まれる画素、すなわち色滲み画素を検出する。この色滲み領域検出部１５０での処理については、後に詳しく説明する。また、色滲み領域検出部１５０は、傾斜算出手段、第１の色滲み判定手段および第２の色滲み判定手段に相当する。

また、色滲み強度推定部１６０は、色滲み領域検出部１５０にて検出された色滲み画素に対して空間的な演算を行い、色滲み強度の推定量（以下、色滲み推定量という）を算出する。色滲み強度は、色滲み量ということもできる。色滲み除去部１７０は、色滲み強度推定部１６０にて算出された色滲み推定量を入力画像であるカラー画像から減算等の色滲み低減処理（色滲み補正処理）によって低減する。色滲み強度推定部１６０および色滲み除去部１７０は、処理手段に相当する。

視覚補正部１８０は、色滲み除去部１７０から出力された色滲みが低減されたカラー画像に対して、主として画像の見栄えを改善するための処理、例えばトーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調等の補正処理を行う。

圧縮部１９０は、視覚補正部１８０を経たカラー画像を、ＪＰＥＧ等の圧縮方法で画像圧縮処理を行い、記録のためのデータサイズを小さくする。圧縮された画像データは、記録部２００にてフラッシュメモリ等の記録媒体に記録される。

イメージセンサ１２０から記録部２００までの各部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。以下の説明では、少なくとも色滲み領域検出部１５０、色滲み強度推定部１６０および色滲み除去部１７０は、撮像装置１００に搭載された画像処理用コンピュータにより構成されるものとする。

次に、色滲み領域検出部１５０にて行われる処理（画像処理方法）を、図４のフローチャートを用いて説明する。この色滲み領域検出部１５０での処理（さらには色滲み強度推定部１６０および色滲み除去部１７０での処理）は、上述した画像処理用コンピュータが、コンピュータプログラム（画像処理プログラム）に従って実行する。このことは、後述する他の実施例でも同じである。

図４に示すように、色滲み領域検出部１５０の処理は、色滲み条件算出ステップＳ１５１、画像強度傾斜算出ステップＳ１５２および距離算出ステップＳ１５３により構成される。

図５には、高輝度被体に対するＢプレーンおよびＧプレーンの典型的なプロファイルを示す。図５において横軸は画像上の断面であり、縦軸はＢ，Ｇプレーンの強度（輝度）である。図５では、中心部に飽和輝度を超える高輝度被写体が存在する。そして本来明るくない高輝度被写体周囲も、収差やフレアにより高輝度被写体から滲んだ光によってプロファイルの裾が拡がる。この滲みの強さは、高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従って指数的に弱くなる。Ｇプレーンであっても滲みは全くないわけではなく、ある程度の拡がりが存在するが、それはＢプレーンに比べると小さい。また、イメージセンサは一定の飽和レベル以上の強度を測定することはできないので、飽和レベル以上の強度を有する領域のイメージセンサ出力は平坦になる。このため、本来の高輝度被写体より一回り大きくＧもＢも飽和し、白く飽和した領域（図５中の飽和領域）が形成される。飽和領域から距離が離れるに従ってＧは減衰していくが、Ｂの飽和領域の半径（以下、飽和半径という）はさらに広いため、徐々にＧとＢの強度差は大きくなり、水色として青みを増していく（図５中の領域（１））。しかし、Ｂの飽和半径からさらに距離が離れるに従いＢも減衰していき、ＧとＢの強度差は小さくなっていく（図５中の領域（２））。そして、Ｇの裾の端に達すると、その先はＢプレーンのみが強度を持ち、真っ青の滲みとなる。

このようなプロファイルを考慮し、本実施例は、色滲み画素は比較的輝度と彩度が高く、飽和画素の近傍に位置し、またＢプレーン上での強度傾斜（輝度傾斜）∇ＢとＧプレーン上での強度傾斜（輝度傾斜）∇Ｇの比に特徴を持つことに着目して青滲みを検出する。

色滲み条件算出ステップＳ１５１には、前述した色滲み画素の特徴をふまえ、強度傾斜に関する色滲み条件と距離に関する色滲み条件とを設定し、これらの色滲み条件を用いて色滲み画素を検出する。その中で、色滲み条件算出ステップＳ１５１では、各色滲み条件における閾値を算出する。

強度傾斜に関する色滲み条件として、本実施例においては、∇Ｂと∇Ｇとの関係（比）が閾値（第１の閾値）α以上である場合に、その強度傾斜を有する注目画素を色滲み候補画素として検出（判定）する。例として、閾値αを、

として計算する。ただし、Ｌ_１は注目画素における輝度、Ｃ_１は注目画素における彩度、α_０は基準となる輝度における閾値、α_Ｌ，α_Ｃは係数である。

このように、従来手法での定数閾値に比べて、輝度および彩度が高いほど閾値αが小さな値となるように変更することで、輝度および彩度が高い画素ほど色滲み候補画素として検出されやすくなる。このため、色滲み候補画素がノイズによって色滲み条件から漏れることを回避し、これに加えて飽和画素から離れたグラデーションを持つ被写体画素が色滲み候補画素として検出されることも抑制することができる。

また、距離に関する色滲み条件は、色滲み候補画素のうち注目画素の近傍の飽和画素を探索する際の該注目画素からの距離範囲を指定する。具体的には、注目画素から閾値（第２の閾値）β以下の距離に飽和画素がある場合（すなわち飽和画素からの距離が第２の閾値以下の場合）に該注目画素を色滲み画素として検出（判定）する。例として閾値βは、

として計算する。ただし、β_０は基準となる輝度における閾値、β_Ｌ，β_Ｃは係数である。

このように従来手法での定数閾値に比べて、輝度および彩度が高いほど閾値βが小さな値となるように変更することで、色滲み画素は、該画素の輝度と彩度が高いほどより近傍に飽和画素が存在するという条件を与える。このため、飽和画素から離れた輝度および彩度の高い被写体色の検出を抑制するほか、輝度および彩度が高い画素ほど計算量が低減される効果を与える。また、色滲みプロファイルの端部における輝度および彩度が小さい色滲み画素の検出漏れを低減することにより、高精度な色滲み検出が可能になる。

なお、上述した閾値αと閾値βの算出方法は例に過ぎず、他の算出方法を用いてもよい。例えば、輝度および彩度はそれらの少なくとも一方を用いればよく、例えば以下のように輝度のみを用いて、

と算出してもよい。

画像強度傾斜算出ステップＳ１５２では、Ｂプレーン上での強度傾斜マップおよびＧプレーン上での強度傾斜マップを計算する。強度傾斜∇Ｂ，∇Ｇは、

として計算する。ただし、
Ｇ（ｘ＋１，ｙ）とＢ（ｘ＋１，ｙ）はそれぞれ、ＧおよびＢプレーンにおける注目画素の右隣の画素の画素値であり、
Ｇ（ｘ−１，ｙ）とＢ（ｘ−１，ｙ）はそれぞれ、ＧおよびＢプレーンにおける注目画素の左隣の画素の画素値である。
Ｇ（ｘ，ｙ＋１）とＢ（ｘ，ｙ＋１）はそれぞれ、ＧおよびＢプレーンにおける注目画素の下隣の画素の画素値であり、
Ｇ（ｘ，ｙ−１）とＢ（ｘ，ｙ−１）はそれぞれ、ＧおよびＢプレーンにおける注目画素の上隣の画素の画素値である。

なお、上記強度傾斜∇Ｂ，∇Ｇの計算方法は例に過ぎず、他の計算方法を用いてもよい。例えば、より大きな画素範囲での強度傾斜を計算してもよい。

そして、画像強度傾斜算出ステップＳ１５２では、Ｂプレーン上での強度傾斜マップとＧプレーン上での強度傾斜マップとを用いて、注目画素の強度傾斜が、強度傾斜に関する色滲み条件を満足するか否かを判定する。本実施例においては、強度傾斜に関する色滲み条件を、

とする。すなわち、基準プレーン（Ｇプレーン）と対象プレーン（Ｂプレーン）における強度傾斜の比と閾値αとを比較する条件とする。

この判定を入力画像の全体にわたって（全画素のそれぞれを注目画素として）行い、強度傾斜に関する色滲み条件を満足する色滲み候補画素群を抽出する。すなわち、強度傾斜が閾値αを用いた色滲み条件を満足する注目画素を色滲み候補画素と判定する。

距離算出ステップＳ１５３では、基準となるＧプレーン上で強度が一定の閾値以上となる飽和画素領域を抽出（検出）する。そして、画像強度傾斜算出ステップＳ１５２にて抽出した色滲み候補画素ごとに、飽和画素領域のうち該色滲み候補画素に最も近い飽和画素（最近飽和画素）からの距離ｄを画素ピッチ単位で算出する。例えば、図６においてハッチングした画素領域を飽和画素領域とし、ハッチングしていない画素をそれぞれ色滲み候補画素とすると、距離ｄは各色滲み候補画素を示す枠内に記した数値となる。

さらに、距離算出ステップＳ１５３では、色滲み条件算出ステップＳ１５１にて算出された閾値βを用いた距離に関する色滲み条件を、

とする。そして、算出した距離ｄがこの色滲み条件を満足する色滲み候補画素（群）を色滲み画素（群）として判定する。

なお、本実施例にいう飽和画素とは、ＧおよびＢのうちいずれか一方の色プレーンに対して強度がある閾値以上となる画素として定義する。また、画素間の距離としては、正確なユークリッド距離に限らず、準ユークリッド(quansi-Euclidean)距離や、チェスボード距離、シティブロック距離で代用してもよい。

飽和画素の有無を探索する方法として、色滲み条件算出ステップＳ１５１によって算出された閾値β以内に含まれる画素において飽和画素の有無を検出し、飽和画素が存在した場合に注目画素（色滲み候補画素）を色滲み画素として判定してもよい。この場合も、「飽和画素を検出し、該飽和画素と色滲み候補画素との間の距離が第２の閾値以下である場合」に相当する。

色滲み強度推定部１６０では、色滲み領域検出部１５０において抽出された色滲み画素（色滲み画素群）に対して色滲み強度を推定する。図７のフローチャートには、色滲み強度推定部１６０での処理を示す。色滲み強度推定部１６０での処理は、推定ステップＳ１６１および領域判定ステップＳ１６２により構成される。

推定ステップＳ１６１では、カラー画像の各画素に対して、Ｂプレーンの色滲み強度の推定量（前述した色滲み推定量）を算出する。ここでは、Ｂが飽和しているかいないかによって異なるが、双方の場合に備えて２種類の色滲み推定量Ｅ_１，Ｅ_２を計算する。推定量Ｅ_１は、距離算出ステップＳ１５３で算出した飽和画素からの距離ｄを使用する。例えば、推定量Ｅ_１を、

として算出する。ただし、Ｒ_ｂは図５に示した領域（１）と領域（２）の境界上での強度傾斜比

である。また、Ｄ_ＧＢはＧプレーン上での飽和半径とＢプレーン上での飽和半径との差の絶対値である。ｋ_１は正の値の係数である。

なお、Ｂが飽和している領域では輝度傾斜は０になってしまい、飽和前の輝度傾斜が得られない。そこで、このような領域に対する推定量Ｅ_２を、Ｇの強度傾斜∇Ｇを用いて算出する。例えば、

とする。

領域判定ステップＳ１６２では、まず、Ｂプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この飽和度ＳはＢが飽和しているかどうかを示すものであり、Ｂの強度が飽和している領域では１を、Ｂの強度が小さい場合は０となる。そして、この飽和度ＳによってステップＳ１６１で算出したＥ_１又はＥ_２を選択する。すなわち、新たな推定量Ｅを、

とする。

なお、距離算出ステップＳ１５３の結果を用いずに推定量Ｅを算出してもよく、
Ｅ_１＝ｋ_１｜∇Ｂ｜
Ｅ_２＝ｋ_２｜∇Ｇ｜
としてもよい。ｋ_２は正の値の係数である。

このようにして算出した推定量Ｅは、色滲み除去部１７０に送られる。色滲み除去部１７０は、前述したように推定量Ｅを用いて色滲み低減処理を行い、色滲みが良好に補正された出力画像を生成する。

このように、本実施例によれば、被写体および青滲みの輝度や彩度といった特徴に応じて色滲み条件を変化させることにより、青滲みと被写体の青いグラデーションとを効果的に分離する。これにより、青滲みが低減された違和感のない出力画像（撮影画像）を得ることができる。また、結像光学系においてはＢバンドの縦色収差の制限を緩めることができ、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。

上記実施例では、本発明の画像処理方法を使用する（または画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって色滲み低減処理を行って、その結果得られた画像を出力する。

以上説明した実施例は代表的な例にすぎず、本発明の実施に際しては、種々の変形や変更が可能である。

良好に色滲みが低減されたカラー画像を出力可能な画像処理装置や撮像装置を提供できる。

１００ 撮像装置
１１０ 結像光学系
１２０ イメージセンサ
１５０ 色滲み領域検出部
１６０ 色滲み強度推定部
１７０ 色滲み除去部

Claims (6)

1. 撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出する傾斜算出手段と、
   前記強度傾斜が第１の閾値を用いた色滲み条件を満足する前記画素を色滲み候補画素と判定する第１の色滲み判定手段と、
   前記カラー画像における飽和画素を検出し、該飽和画素と前記色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定する第２の色滲み判定手段とを有し、
   前記第１および第２の色滲み判定手段はそれぞれ、前記第１および第２の閾値を、前記色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理装置。
2. 前記第１の閾値を用いた色滲み条件は、前記カラー画像を構成する複数の色プレーンのうち基準プレーンと色滲み判定の対象プレーンにおける強度傾斜の比と前記第１の閾値とを比較する条件であることを特徴とする請求項１に記載の画像処理装置。
3. 前記色滲み画素における色滲み強度の推定量を算出し、該色滲み画素に対して前記推定量を用いた色滲み低減処理を行う処理手段を有することを特徴とする請求項１または２に記載の画像処理装置。
4. カラー画像を生成する撮像系と、
   請求項１から３のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
5. 撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出するステップと、
   前記強度傾斜が第１の閾値を用いた色滲み条件を満足する前記画素を色滲み候補画素と判定するステップと、
   前記カラー画像における飽和画素を検出し、該飽和画素と前記色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定するステップとを有し、
   前記第１および第２の閾値を、前記色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理方法。
6. コンピュータに、
   撮像系により生成されたカラー画像における画素ごとの強度傾斜を算出するステップと、
   前記強度傾斜が第１の閾値を用いた色滲み条件を満足する前記画素を色滲み候補画素と判定するステップと、
   前記カラー画像における飽和画素を検出し、該飽和画素と前記色滲み候補画素との間の距離が第２の閾値以下である場合に、該色滲み候補画素を色滲み画素と判定するステップとを含む画像処理を実行させるが画像処理プログラムであって、
   前記第１および第２の閾値を、前記色滲み候補画素の輝度および彩度のうち少なくとも一方に応じて変更することを特徴とする画像処理プログラム。