JP5178421B2 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Description

本発明は、撮像により得られたカラー画像に含まれる色滲みを低減する画像処理技術に関する。

撮像により得られたカラー画像のうち高輝度部分の周囲には、結像光学系（撮像光学系）の色収差に起因して、本来存在しない色が色滲みとして生じる場合がある。色滲みは、結像光学系の中心波長から離れた波長領域で生じやすく、例えば、可視光カラー撮像では、青や赤、又は双方が混ざった紫色のアーチファクトが滲み状に生じる。特に紫色に対する色滲みは、パープルフリンジとも呼ばれる。

結像光学系の色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に抑えることができる。ただし、撮像センサの高解像度化と光学系の小型化とに伴い、色収差を光学系のみで十分に抑えることが困難になってきている。このため、画像処理による色滲みの低減が求められている。

色収差は、横色収差(倍率色収差)と縦色収差(軸上色収差)とに大別される。特許文献１には、縦色収差による色滲み量を推定し、該推定量を原画像から減算することで、色滲みを低減する画像処理方法が開示されている。この画像処理方法では、画像強度（輝度）の空間的傾斜を算出し、該傾斜度によって色滲みか否かを判定する。この判定では、例えばＲプレーンに対しては、

のように、注目画素に隣接する２画素について縦横方向に計４画素での差分を算出する。

図６、図７及び図８を用いて、特許文献１での色滲みの推定方法を簡単に説明する。図６は、高輝度光源を含む撮影画像の例を示す。該撮影画像内には、高輝度光源として高圧ナトリウムランプ等の道路照明（高輝度光源）が含まれ、その周辺に縦色収差による色滲み１００１が発生している。

図７には、撮影画像における高輝度光源（被写体）とその周辺に形成される輝度飽和領域及び色滲み領域を模式的に示している。撮像センサは、飽和レベル以上の強度を測定できないため、高輝度の被写体より一回り大きなＧとＢの飽和した白飽和領域が形成される。そして、白飽和領域の周囲に、Ｂが飽和してＧが減衰していくＢ飽和領域と、ＢとＧがともに減衰する水色滲み領域と、Ｇが消えてＢのみが強度を持つ真っ青滲み領域とが形成される。

このうち、青飽和領域、水色滲み領域及び真っ青滲み領域での青の色滲みが不自然に感じられる。

図８には、図７における被写体の中心を通る断面での画像強度プロファイルを示している。縦軸は強度であり、横軸は座標（画素位置）である。特許文献１では、図８の画像強度プロファイルに∇Ｂで示されるＢプレーンでの強度傾斜（輝度傾斜）を算出し、色滲み量を推定する。
特開２００８−１４７９８１号公報

しかしながら、特許文献１にて開示された画像処理方法では、例えば青色のグラデーションを有する被写体（青色に装飾照明された建物の壁面や夜空等）が画像に含まれる場合に、この被写体の青グラデーションを色滲みと誤判定する可能性がある。この場合、本来残すべき被写体の青色成分が除去されてしまう。

このことについて、図９及び図１０を用いて簡単に説明する。図９は、夜空を撮像した撮影画像の例を示している。地平線の近傍から天上へと徐々に暗くなる青色のグラデーション（被写体のグラデーションテクスチャ）１３０１〜１３０６が存在する。図１０は、図９に示した撮影画像中の破線での断面における画像強度プロファイルを示している。縦軸は強度であり、横軸は座標（画素位置）である。図１０では、被写体の青色グラデーションに対応して、ＧとＢの強度が傾斜を有している。

このような画像に対して強度傾斜∇Ｂを算出すると、図８に示した青の色滲みによる強度傾斜∇Ｂとほとんど同じ値となり、互いの区別がつかない。したがって、被写体の青色成分を青の色滲みと推定してしまい、撮影画像から除去してしまう。

本発明は、被写体のカラーグラデーションを色滲みと誤判定して被写体の本来の色成分が除去されることを回避できるようにした画像処理装置、画像処理方法及び撮像装置を提供する。

本発明の一側面しての画像処理装置は、撮像装置により得られたカラー原画像における強度傾斜を算出する傾斜演算部と、強度傾斜の変化の態様を表す情報に基づいて、原画像における色滲み画素と被写体テクスチャ画素とを判別する判別部と、強度傾斜に基づいて色滲み画素における色滲み推定量を算出し、色滲み画素に対して色滲み推定量を用いた色滲み低減処理を行う処理部とを有することを特徴とする。

また、本発明の他の一側面としての画像処理方法は、撮像装置により得られたカラー原画像における強度傾斜を算出するステップと、強度傾斜の変化の態様を表す情報に基づいて、原画像における色滲み画素と被写体テクスチャ画素とを判別するステップと、強度傾斜に基づいて色滲み画素における色滲み推定量を算出し、色滲み画素に対して色滲み推定量を用いた色滲み低減処理を行うステップとを有することを特徴とする。

なお、上記画像処理装置と、カラー原画像を得る撮像系とを有する撮像装置も本発明の他の一側面を構成する。

本発明によれば、原画像に含まれる色滲み画素と被写体テクスチャ画素とを判別することができるので、被写体の本来の色成分が誤って除去されることを回避しつつ、色滲みを低減することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例である画像処理装置を有する又は画像処理方法を使用するカラー撮像装置１００を示す。

カラー撮像装置１００は、結像光学系１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み除去部１５０とを有する。これら結像光学系１１０、イメージセンサ１２０、ＡＤ変換部１３０及びデモザイク部１４０により撮像装置１００における撮像系が構成される。

また、撮像装置１００は、視覚補正部１６０と、圧縮部１７０と、記録部１８０とを有する。

なお、図１中に示した写野９０（撮像領域、被写体）及びＲ（赤）光線９１，Ｇ（緑）光線９２，Ｂ（青）光線９３はカラー撮像装置１００の構成要素ではないが、説明のため図示する。

図１において、撮像された写野９０は、結像光学系１１０を経てイメージセンサ１２０上に結像する。一般に、カラー撮像装置に装着される結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系１１０は、ＲとＧの波長域の縦色収差が良好に補正され、Ｂの波長域の縦色収差が残存している。このようにＢの波長域の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。

イメージセンサ１２０は、一般的な原色系カラーフィルタを備える単板カラーイメージセンサである。原色系カラーフィルタはそれぞれ、６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類のカラーフィルタにより構成されており、それぞれＲ，Ｇ，Ｂの各バンドに対応する色プレーンを撮像する。

単板カラーイメージセンサでは、これらのカラーフィルタを画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度を得ることしかできない。このためイメージセンサ１２０からは色モザイク画像が出力される。

なお、不図示の色分解プリズムを用いて入射光をＲ，Ｇ，Ｂの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。

ＡＤ変換部１３０は、イメージセンサ１２０からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。

デモザイク部１４０は、色モザイク画像を補間することによって、全ての画素がＲＧＢの色情報を有するカラー画像を生成する。なお、この補間手法には単純な線形補間から、 E. Chang, S. Cheung, and D. Pan, “Color filter array recovery using a threshold-based variable number of gradients.” Proc. SPIE, vol. 3650, pp. 36-43, Jan.1999.にて紹介されている複雑な手法まで多くの手法が提案されている。本実施例における補間手法はこれら又はこれら以外のいずれでもよい。

なお、本実施例では、イメージセンサ１２０のカラーフィルタをＲ，Ｇ，Ｂからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンからなるカラー画像が得られる。

デモザイク部１４０で生成されたカラー画像におけるＢプレーン（青プレーン）の解像度は、結像光学系１１０の色収差によって、Ｇプレーン（緑プレーン）やＲプレーン（赤プレーン）に比べて劣っている。このため、図８に示すように、Ｇプレーンの像よりもＢプレーンの像がぼやけ、図７に示すように明部である被写体の周囲に青系の色滲み（Ｂ飽和、水色滲み及び真っ青滲み）が生じる。

色滲み除去部１５０は、カラー画像からこのような色滲みを除去（低減）する。色滲み除去部１５０での色滲み除去処理（色滲み低減処理）については、後で詳しく説明する。

視覚補正部１６０は、主として画像の見栄えを改善するように色滲みが除去（低減）されたカラー画像を処理する。例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像処理を行う。

処理の最後として、圧縮部１７０は、補正されたカラー画像をＪＰＥＧ等の方法で画像圧縮を行い、記録時のサイズを小さくする。

圧縮処理が行われたカラー画像は、記録部１８０にて、ハードディスク、ＤＶＤ、磁気テープ、フラッシュメモリ等の記録媒体に記録される
これらイメージセンサ１２０から記録部１８０までの処理部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。

次に、画像処理装置としての色滲み除去部１５０での処理（画像処理方法）を図２のフローチャートを用いて説明する。色滲み除去部１５０での処理は、空間演算ステップＳ１５１と、推定ステップＳ１５２と、領域判定ステップＳ１５３と、過除去抑止ステップＳ１５４と、除去ステップＳ１５５とを含む。該処理は、コンピュータプログラムにより実行される。

ここで、上記ステップＳ１５１〜Ｓ１５５は、色滲み除去部１５０の構成と考えることもできる。すなわち、空間演算ステップＳ１５１は、後述する傾斜演算部、曲率演算部及び判別部を構成し、推定ステップＳ１５２、領域判定ステップＳ１５３、過除去抑止ステップＳ１５４及び除去ステップＳ１５５は処理部を構成する。

本実施例では、Ｂプレーンを色滲み除去の対象となる色プレーンとし、Ｇプレーンを色滲み除去において参照する基準プレーンとする。ただし、ＧプレーンやＲプレーンに対しても同様に色滲み除去を行うことができる。

撮像装置１００のシャッターボタンが押されることに応じて生成されたカラー画像としての入力画像（カラー原画像：以下、単に原画像という）は、空間演算ステップＳ１５１に入力される。

空間演算ステップＳ１５１は、図３に示すように、原画像の強度傾斜を算出する傾斜演算ステップＳ１０２と、強度傾斜の変化の態様（仕方）を表す情報である、強度傾斜の曲率（以下、強度曲率という）を演算する曲率演算ステップＳ１０３とを有する。また、該ステップＳ１５１は、傾斜演算ステップＳ１０２で得られた強度傾斜と曲率演算ステップＳ１０３で得られた強度曲率とに基づいて、原画像における注目画素が色滲みを表す画素か被写体テクスチャを表す画素かを判別する判別ステップＳ１０４を有する。

なお、上記ステップＳ１０２〜Ｓ１０４は、色滲み除去部１５０の構成と考えることもできる。この場合、傾斜演算ステップＳ１０２により前述した傾斜演算部が構成され、曲率演算ステップＳ１０３により曲率演算部が構成される。また、判別ステップＳ１０４により、判別部が構成される。

傾斜演算ステップＳ１０２では、原画像におけるＢプレーン及びＧプレーンでの強度傾斜（輝度傾斜）∇Ｂ，∇Ｇを算出する。具体的には、図４に示す１次微分（グラディエント）フィルタ２０１，２０２を、注目画像とこれにｘ方向（水平方向）及びｙ方向（垂直方向）にて隣接する２画素の計３画素に適用して∇Ｂ，∇Ｇを算出する。∇Ｂ，∇Ｇの値は、

として表すことができる。

ここで、
Ｇ（ｘ＋１，ｙ）とＢ（ｘ＋１，ｙ）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の右隣の画素の値である。

Ｇ（ｘ−１，ｙ）とＢ（ｘ−１，ｙ）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の左隣の画素の値である。

Ｇ（ｘ，ｙ＋１）とＢ（ｘ，ｙ＋１）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の下隣の画素の値である。

Ｇ（ｘ，ｙ−１）とＢ（ｘ，ｙ−１）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の上隣の画素の値である。

一方、曲率演算ステップＳ１０３では、原画像におけるＢプレーンでの強度曲率ΔＢを算出する。具体的には、図５に示す２次微分（ラプラシアン）フィルタ３０１，３０２を、注目画像とこれにｘ方向及びｙ方向にて隣接する２画素の計３画素に適用してΔＢを算出する。ΔＢの値は、

として表すことができる。

判別ステップＳ１０４は、上記のように算出された∇Ｂ，ΔＢと、以下の論理式とに基づいて、注目画素が色滲みを表す画素（以下、色滲み画素という）か被写体テクスチャを表す画素（以下、被写体テクスチャ画素という）かを判別（判定）する。なお、∇Ｂ，ΔＢに付された_ｘと_ｙはそれぞれ、ｘ方向とｙ方向を示している。

（論理式）
（∇Ｂ_ｘ≠０かつΔＢ_ｘ＜０）又は（∇Ｂ_ｙ≠０かつΔＢ_ｙ＜０）：色滲み画素
それ以外：被写体テクスチャ画素
判別ステップＳ１０４での判別（判定）結果は、次の推定ステップＳ１５２に強度傾斜∇Ｂ，∇Ｇとともに渡される。

ここで、判別ステップＳ１０４での処理の物理的意味を、図８及び図１０を用いて説明する。

図８において、色滲みは、高輝度被写体を中心として狭い範囲で指数関数的に減衰することが経験的に解っている。一方、図１０に示すように、被写体のグラデーションテクスチャは、色滲みと比較して、極めて広い範囲にわたって強度傾斜を有している。このため、前述したような隣接３画素の狭い領域においては、被写体のグラデーションテクスチャは、ほぼ直線的に減衰し、図８及び図１０に示すように強度傾斜∇Ｂが同程度であっても、その曲率ΔＢが色滲みと被写体テクスチャとでは異なる。さらに、色滲みによる強度プロファイルは、下に凸の傾斜であるため、曲率（ラプラシアン）は負の符号を持つ。

したがって、被写体テクスチャ画素に対して色滲み画素は、「色滲みによる強度傾斜を有し（∇Ｂ≠０）、かつその傾きが下に凸の曲率を有する（ΔＢ＜０）」のように論理式に表すことができる。そして、Ｂプレーンにおいて、ｘ方向及びｙ方向のうちいずれかにおいて上記論理式に該当する注目画像を色滲み画素と判定する。

推定ステップＳ１５２では、原画像の各画素のうち、上記判別ステップＳ１０４にて色滲み画素と判定された画素についてのみ、色滲みとなっている余計なＢプレーンの強度である色滲み推定量を算出（推定）する。被写体テクスチャ画素と判定された画素については、例えば強制的に色滲み推定量を０として、その後の色滲み除去の対象とならないようにする。

色滲み推定量の推定手法は、Ｂが飽和しているかしていないかによって異なるが、双方の場合に備えて、推定ステップ１（Ｓ１５２ａ）及び推定ステップ２（Ｓ１５２ｂ）により２種類の色滲み推定量Ｅ_１，Ｅ_２を計算する。

図７において、Ｂが飽和していない水色領域及び真っ青領域においては、推定ステップ１（Ｓ１５２ａ）により色滲み推定量Ｅ_１を算出する。推定ステップ１は、以下の式で示すように、Ｂの強度傾斜∇Ｂの絶対値に対して係数ｋ_１を乗じて色滲み推定量Ｅ_１とする。

Ｅ_１＝ｋ_１・｜∇Ｂ｜
ここで、係数ｋ_１は正値であり、３前後が好ましい。

一方、Ｂが飽和している青飽和領域では、Ｂの強度傾斜は０になってしまい、飽和前の強度傾斜が得られない。このような領域の色滲み推定量Ｅ_２を推定ステップ２（Ｓ１５２ｂ）により算出する。推定ステップ２は、以下の式で示すように、Ｇの強度傾斜∇Ｇと、係数ｋ_２とを用いて色滲み推定量Ｅ_２を求める。

Ｅ_２＝ｋ_２・｜∇Ｇ｜
ここで、係数ｋ_２は正値であり、３前後が好ましい。

領域判定ステップＳ１５３では、まずＢプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この飽和度Ｓは、Ｂが飽和しているかどうかを示すものであり、Ｂの強度が飽和している領域では１になり、Ｂの強度が小さい領域では０となる。そして、この飽和度Ｓを用いて推定ステップＳ１５２で算出したＥ_１又はＥ_２を選択する。すなわち、新たな色滲み推定量Ｅを、

とする。なお、飽和度Ｓを０〜１において連続的に変化する値としてもよく、この場合は、新たな色滲み推定量Ｅを、
Ｅ＝（１−Ｓ）Ｅ_１＋ＳＥ_２
とする。

過除去抑制ステップＳ１５４では、色滲み推定量Ｅをさらに修正し、実際に除去する色滲み量である色滲み除去量Ｅ′を決める。推定ステップＳ１５２で推定した色滲み量は一定のモデルに沿ったものであり、実際の滲み量とは必ずしも一致しない。例えば、同じＢプレーンで検出される光であっても、波長４５０ｎｍの光と波長４００ｎｍの光では滲み方が変化するが、推定ステップＳ１５２ではこれを考慮していない。除去量が過小である場合、除去後も若干の青みが残る。

一方、除去量が過大であると、灰色の背景に対してＢを減らしすぎ、黄緑色になってしまう。特に、後者は不自然で、観察者に大きな違和感を与える。そこで、過除去抑制ステップＳ１５４では、一定の色相範囲内でのみ色滲み除去が作用するよう制限する。

このため、まず、画素の色度を計算する。Ｒ，Ｇ，Ｂの各プレーンの強度に対し、

とする。

この色度座標ａｂ面を図１１に示す。青色は第４象限にあり、Ｂプレーン強度から推定量Ｅを除去すると、点線矢印３２１のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が推定量Ｅを除去した後の色度である。

このことから、色滲み除去が作用する色相範囲をａ＞０、かつｂ＜０に制限すると、
Ｂ＞０．２２Ｒ＋０．６８Ｇ、かつＢ＞−１．８４Ｒ＋３．３０Ｇ
となる。

このため、ステップＳ１５４では、この条件を満たさない画素に対してＥ′＝０とし、除去対象から外す。これにより、これらの画素は除去ステップＳ１５５によって変化せず、色滲み除去部１５０によって画素値が影響を受けることがない。すなわち、この条件を満たす画素のみが除去対象となる。

さらに、条件を満たす画素に対しても色滲み除去量Ｅ′を、
Ｅ′＝min(E，B-(0.22R+0.68G)，B-(-1.84R+3.30G))
として、除去ステップＳ１５５に渡す。この色滲み除去量Ｅ′に対応する滲みの除去による色度変化は、図１１に実線矢印３２２で示すように、第４象限内に留まる。これにより、除去ステップＳ１５５により色相制限範囲を超えてＢが減少されるのを防ぐ。

除去ステップＳ１５５では、上記色滲み除去量Ｅ′をＢプレーンの強度から差し引いて、新たなＢプレーン強度を、
Ｂ＝Ｂ−Ｅ′
とする。

このようにして、色滲み推定量を用いた色滲み除去処理（色滲み低減処理）が行われる。こうしてＢプレーンを修正したカラー画像を、色滲み除去部１５０の出力として視覚補正部１６０に渡す。

本実施例によれば、原画像に含まれる被写体のカラーグラデーションと色滲みとを明確に判別することができるので、被写体の本来の色成分が誤って除去されることを回避しつつ、不要な色滲みを低減することができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

例えば、上記実施例では、結像光学系１１０から記録部１８０までの全部を備えたカラー撮像装置について説明した。しかし、カラー撮像装置とは別の装置として、少なくとも色滲み除去部（抽出部、推定部及び除去部）１５０を有する画像処理装置（パーソナルコンピュータ等）を構成してもよい。この場合、カラー撮像装置により撮像されて半導体メモリ、磁気／光ディスク等の記録媒体に格納されたカラー画像が画像処理装置に入力されるようにすればよい。また、カラー撮像装置と画像処理装置とをケーブルや無線ＬＡＮ等によって接続し、カラー撮像装置から画像処理装置に画像が送信されるようにしてもよい。

また、上記実施例では、互いに隣接する３画素内での強度傾斜と強度曲率に基づいて被写体テクスチャ画素と色滲み画素とを判別する場合について説明した。しかし、例えば、より多くの画素内での強度傾斜を求め、その分布（すなわち、強度傾斜の変化の態様を表す情報）に基づいて被写体テクスチャ画素と色滲み画素とを判別できるような場合は、強度曲率を用いずに該判別を行ってもよい。

本発明の実施例であるカラー撮像装置の構成を示すブロック図。 実施例における色滲み除去部での処理を示すフローチャート。 実施例における空間演算ステップでの処理を示すフローチャート。 実施例において用いられる１次微分フィルタを示す図。 実施例において用いられる２次微分フィルタを示す図。 高輝度光源と色滲みを含む撮影画像の例を示す図。 図６の撮影画像における高輝度光源とその周辺に形成される輝度飽和領域及び色滲み領域を模式的に示す図。 図７における被写体の中心を通る断面での画像強度プロファイルを示す図。 夜空を撮像した撮影画像の例を示す図。 図９の撮影画像中の破線での断面における画像強度プロファイルを示す図。 色滲み除去による色度図上の変化を説明する図。

符号の説明

９０ 写野
１０２ 傾斜演算ステップ
１０３ 曲率演算ステップ
１０４ 判別ステップ
１１０ 結像光学系
１２０ イメージセンサ
１３０ ＡＤ変換部
１４０ デモザイク部
１５０ 色滲み除去部
１５１ 空間演算ステップ
１５２ 推定ステップ
１５３ 領域判定ステップ
１５４ 過除去抑制ステップ
１５５ 除去ステップ
１６０ 視覚補正部
１７０ 圧縮部
１８０ 記録部

Claims (4)

1. 撮像装置により得られたカラー原画像における強度傾斜を算出する傾斜演算部と、
   前記強度傾斜の変化の態様を表す情報に基づいて、前記原画像における色滲み画素と被写体テクスチャ画素とを判別する判別部と、
   前記強度傾斜に基づいて前記色滲み画素における色滲み推定量を算出し、前記色滲み画素に対して前記色滲み推定量を用いた色滲み低減処理を行う処理部とを有することを特徴とする画像処理装置。
2. 前記情報として、前記強度傾斜の曲率を算出する曲率演算部を有し、
   前記判別部は、前記強度傾斜と前記曲率とに基づいて、前記原画像における色滲み画素と被写体テクスチャ画素とを判別することを特徴とする請求項１に記載の画像処理装置。
3. 撮像装置により得られたカラー原画像における強度傾斜を算出するステップと、
   前記強度傾斜の変化の態様を表す情報に基づいて、前記原画像における色滲み画素と被写体テクスチャ画素とを判別するステップと、
   前記強度傾斜に基づいて前記色滲み画素における色滲み推定量を算出し、前記色滲み画素に対して前記色滲み推定量を用いた色滲み低減処理を行うステップとを有することを特徴とする画像処理方法。
4. 被写体を撮像して画像を生成する撮像系と、
   請求項１または２に記載の画像処理装置とを有することを特徴とする撮像装置。