JP4986820B2

JP4986820B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP4986820B2
Application number: JP2007298281A
Authority: JP
Inventors: 信三内山; 保宏沢田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-11-16
Filing date: 2007-11-16
Publication date: 2012-07-25
Anticipated expiration: 2027-11-16
Also published as: US8115820B2; US20090128703A1; JP2009124580A

Description

フィルムカメラ、デジタルカメラ、ビデオカメラ等のカラー撮像装置で得た画像を、演算処理し、好適な画像を得る方法、プログラム、装置。特に、明るい像周辺の本来存在しない滲み状の色分布を目立たなくする画像処理に関する。

カラー撮像系では結像光学系の色収差により、画像上の明るい部分の周囲に本来存在しない青や赤、或いは双方が混じった紫色のアーチファクトが滲み状に生じる。これを色滲みもしくはパープルフリンジと称する。

色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に低減することができる。しかし、デジタルカメラの小型化が進行し、イメージセンサ（撮像素子）の高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学のみで十分に低減することが困難となってきている。このため、画像処理によるアーティファクトの低減が求められている。

色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は、図１に示すように、光源１０から発した光が結像光学系１１によって焦点面１２に結像するとき、波長４５０ｎｍ付近のＢ光線１３、波長５５０ｎｍ付近のＧ光線１４、波長６５０ｎｍのＲ光線１５の結像位置が像面方向にずれる現象である。縦色収差は、図２に示すように、光源２０から発した光が結像光学系２１によって焦点面２２に結像するとき、Ｂ光線２３、Ｇ光線２４、Ｒ光線２５の結像位置が光軸方向にずれる現象である。

横色収差に対しては、原色系のデジタル撮像系であれば、特許文献１にて開示されているように、ＲＧＢの各色プレーンに対して異なる歪曲を加える幾何変換によって補正される。

一方、縦色収差は、例えば可視光域の中心波長を担うＧプレーンで合焦した画像においては、可視光域の端部となるＲプレーンやＢプレーンにおいては非合焦画像となる現象である。これは、横色収差のような幾何補正では補正できず、特許文献２にて開示されているように、色滲みが生じる領域での彩度を下げることにより目立たなくする。また、特許文献３にて開示されているように、ＲＧＢの各色プレーンに対し、異なる輪郭強調処理を加えて補正することもできる。

また、動画撮像においても、特許文献４にて開示されているように、前回の動画像フレームを用いて色滲みの発生部を探索し、今回の動画像フレームにおける対象部位をある程度特定することで、その部位に対する色滲み低減処理を行うことができる。
米国特許第６，７２４，７０２明細書特開２００１−１４５１１７号公報特開２００３−０１８４０７号公報特開２００６−１３５７４４号公報

しかしながら、特許文献２にて開示されているように彩度を下げる処理は、輝度の強い画素に相応する色を他の色の輝度レベルまで落とす処理である。この処理は、色滲みの色を消して不自然さを減らす効果はあるが、場合によっては被写体の本来の色も影響を受け、色滲みの有無にかかわらず画像がグレーがかる。

また、特許文献３にて開示された処理は、デコンボリューション（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）及びその近似的な輪郭協調処理であるが、適切な結果を得るために必要な正確な収差関数を得にくいという問題がある。結像光学系のズーム位置、絞り値、フォーカス位置、レンズ個々の寸法及び組み立て状態といった膨大な撮像条件の１つ１つに対応する収差関数を正確に把握することは難しい。また、デコンボリューションは、イメージセンサの線形反応境域でしか用いることができず、飽和画素周囲の色滲みを低減できない。

さらにこれら従来の色収差低減処理を、移動する高輝度被写体を撮像して得られた動画像に適用すると、色収差低減処理をする／しないといった時系列の不連続な処理によって、不自然な動画像が得られ、これを鑑賞している人に違和感を与える。

特許文献４にて開示された色滲み低減処理では、計算負荷を削減するために、前回の動画像フレームを利用するが、不連続な色滲み低減処理による違和感を緩和する効果はない。

本発明は、結像光学系の色収差によって画像内の明るい部分の周囲に出現する色滲みを効果的に除去し、かつ本来の色を再現する画像処理を行えるようにした画像処理装置及び画像処理方法を提供する。さらに本発明は、動画像を構成するフレーム画像間の不連続な色滲み低減処理による不自然さを減らすことができる画像処理装置及び画像処理方法を提供する。

本発明の一側面としての画像処理装置は、第１のフレーム画像と該第１のフレーム画像よりも後に得られた第２のフレーム画像を用いてカラー動画像の色滲み低減処理を行う。該画像処理装置は、第１のフレーム画像に対する色滲み低減処理に用いられた第１の色滲み低減量を記憶する記憶部と、第２のフレーム画像に対する空間演算を行って該第２のフレーム画像における色滲み推定量を求める推定部と、第１の色滲み低減量と色滲み推定量との差が所定範囲内の値になるように第２のフレーム画像に対する色滲み低減処理に用いる第２の色滲み低減量を求める決定部とを有することを特徴とする。

また、本発明の他の一側面としての画像処理装置は、第１のフレーム画像と該第１のフレーム画像よりも後に得られた第２のフレーム画像を用いてカラー動画像の色滲み低減処理を行う。該画像処理装置は、第１のフレーム画像に対する色滲み低減処理によって得られた第１の画素値を記憶する記憶部と、第２のフレーム画像に対する空間演算を行って該第２のフレーム画像における色滲み推定量を求める第１の推定部と、該第２のフレーム画像に対する色滲み推定量を用いた色滲み低減処理によって得られる推定画素値を求める第２の推定部と、第１の画素値と推定画素値との差が所定範囲内の値になるように第２のフレーム画像に対する色滲み低減処理の結果として出力する第２の画素値を求める決定部とを有することを特徴とする。

また、本発明の他の一側面としての画像処理方法は、第１のフレーム画像と該第１のフレーム画像よりも後に得られた第２のフレーム画像を用いてカラー動画像の色滲み低減処理を行う。該方法は、第１のフレーム画像に対する色滲み低減処理に用いられた第１の色滲み低減量を記憶するステップと、第２のフレーム画像に対する空間演算を行って該第２のフレーム画像における色滲み推定量を求めるステップと、第１の色滲み低減量と色滲み推定量との差が所定範囲内の値になるように第２のフレーム画像の色滲み低減処理に用いる第２の色滲み低減量を求めるステップとを有することを特徴とする。

さらに、本発明の他の一側面としての画像処理方法は、第１のフレーム画像と該第１のフレーム画像よりも後に得られた第２のフレーム画像を用いてカラー動画像の色滲み低減処理を行う。該方法は、第１のフレーム画像に対する色滲み低減処理によって得られた第１の画素値を記憶するステップと、第２のフレーム画像に対する空間演算を行って該第２のフレーム画像における色滲み推定量を求めるステップと、該第２のフレーム画像に対して色滲み推定量を用いた色滲み低減処理によって得られる推定画素値を求めるステップと、第１の画素値と推定画素値との差が所定範囲内の値になるように第２のフレーム画像に対する色滲み低減処理の結果として出力する第２の画素値を求めるステップとを有することを特徴とする。

本発明によれば、結像光学系の色収差によって出現する色滲みを効果的に低減し、かつ本来の被写体の色を十分に再現することができる。しかも、本発明では、第２のフレーム画像に対する色滲み低減量又は色滲み低減処理後の画素値を、その前に色滲み低減処理がなされた第１のフレーム画像に対する色滲み低減量又は処理後の画素値から所定の範囲内の値になるように制限する。このため、本発明によれば、動画像を構成するフレーム画像間の不連続な色滲み低減処理による不自然さを減らすことができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図３には、本発明の実施例１である画像処理装置を搭載した又は画像処理方法を使用するカラー撮像装置１００を示す。

カラー撮像装置１００は、結像光学系１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み除去部１５０とを有する。また、撮像装置１００は、視覚補正部１６０と、圧縮部１７０と、記録部１８０とを有する。

なお、図３中に示した写野９０（撮像領域、被写体）及びＲ（赤）光線９１，Ｇ（緑）光線９２，Ｂ（青）光線９３はカラー撮像装置１００の構成要素ではないが、説明のため図示する。

図３において、撮像された写野９０は、結像光学系１１０を経てイメージセンサ１２０上に結像する。一般に、カラー撮像装置に装着される結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系１１０は、ＲとＧの波長域の縦色収差が良好に補正され、Ｂの波長域の縦色収差が残存している。このようにＢの波長域の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。

イメージセンサ１２０は、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサである。原色カラーフィルタ系は、図４に示すように、それぞれ６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類の色フィルタ４１，４２，４３により構成されており、それぞれＲ，Ｇ，Ｂの各バンドに対応する色プレーンを撮像する。

単板カラーイメージセンサでは、これらの色フィルタを図５に示すように画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度を得ることしかできない。このためイメージセンサ１２０からは色モザイク画像が出力される。

なお、不図示の色分解プリズムを用いて入射光をＲ，Ｇ，Ｂの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。

ＡＤ変換部１３０は、イメージセンサ１２０からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。

デモザイク部１４０は、色モザイク画像を補間することによって、全ての画素がＲＧＢの色情報を有するカラー画像を生成する。なお、この補間手法には単純な線形補間から、 E. Chang, S. Cheung, and D. Pan, “Color filter array recovery using a threshold-based variable number of gradients.” Proc. SPIE, vol. 3650, pp. 36-43, Jan.1999.にて紹介されている複雑な手法まで多くの手法が提案されている。本実施例における補間手法はこれら又はこれら以外のいずれでもよい。

なお、本実施例では、イメージセンサ１２０の色フィルタをＲ，Ｇ，Ｂからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンからなるカラー画像が得られる。

デモザイク部１４０で生成されたカラー画像におけるＢプレーン（青プレーン）の解像度は、結像光学系１１０の色収差によって、Ｒプレーン（赤プレーン）やＧプレーン（緑プレーン）に比べて劣っている。このため、図６に示すように、Ｒ，Ｇプレーンの像６１よりもＢプレーンの像６２がぼやけ、明部の周囲に青い縁取りのような色滲み６３が生じる。

色滲み除去部１５０は、カラー画像からこの青い縁取りのような色滲みを除去（低減）する。色滲み除去部１５０での色滲み除去処理（色滲み低減処理）については、後で詳しく説明する。

視覚補正部１６０は、主として画像の見栄えを改善するようにカラー画像を処理する。例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像処理を行う。

処理の最後として、圧縮部１７０は、補正されたカラー画像をＪＰＥＧ等の方法で画像圧縮を行い、記録時のサイズを小さくする。

圧縮処理が行われたカラー画像は、記録部１８０にて、ハードディスク、ＤＶＤ、磁気テープ、フラッシュメモリ等の記録媒体に記録される
これらイメージセンサ１２０から記録部１８０までの処理部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。

次に、色滲み除去部１５０での処理（画像処理方法）を図７のフローチャートを用いて説明する。色滲み除去部１５０は、空間演算ステップ１５１と，推定ステップ１５３と，領域判定ステップ１５２と、比較制限ステップ１５７と、過除去抑制ステップ１５４と、除去ステップ１５５と、画像処理値記憶ステップ１５６とを有する。

ここで、上記ステップ１５１〜１５７は、色滲み除去部１５０の構成と考えることもできる。画像処理値記憶ステップ１５６により記憶部が構成され、空間演算ステップ１５１と推定ステップ１５３とにより推定部が構成される。また、比較制限ステップ１５７により決定部が構成される。

本実施例では、Ｂプレーンを色滲みを除去する対象の色プレーンとし、Ｇプレーンを色滲み除去において参照する基準プレーンとする。

また、以下の説明において、撮像により得られるカラー動画像を構成する連続したフレーム画像群において、前回（直前回でなくてもよい）の処理の対象となったフレーム画像を第１のフレーム画像という。また、その後（今回）の処理の対象となるフレーム画像を第２のフレーム画像という。さらに、Ｂプレーン強度とは、Ｂプレーンでの画素値を表す。

図８には、高輝度な被写体の典型的なＢプレーンのプロファイル８１と、Ｇプレーンのプロファイル８２を示す。ＲはＧと同じプロファイルであるので、ここでの説明は省略する。図８の上側の図において、横軸は画像上の断面を示し、縦軸は強度を示す。また、中心部にイメージセンサの飽和レベルを超える高輝度被写体８３を持つ。高輝度被写体８３の周囲も、高輝度被写体８３から結像光学系１１０の収差やフレアによって滲んだ光によって強度分布を持つ。この強度分布は、高輝度被写体８３の強度に依存し、さらに高輝度被写体８３から離れるにしたがって指数関数的に弱くなる。Ｇプレーンの強度分布範囲は、Ｂプレーンに比べて小さい。

イメージセンサ１２０によって図８の上図に示す高輝度被写体８３を撮像すると、図８の下図に示すような画像が得られる。イメージセンサ１２０は、飽和レベル以上の強度を測定できないため、高輝度被写体８３より一回り大きなＧとＢの飽和した白飽和領域８４が形成される。そして、白飽和領域８４の周囲に、Ｂが飽和してＧが減衰していく水色飽和領域８５と、ＢとＧがともに減衰する水色領域８６と、Ｇが消えてＢのみが強度を持つ青領域８７とが形成される。

このうち、水色飽和領域８５、水色領域８６及び青領域８７の青滲みが不自然に感じられる。仮に、Ｂの滲みがＧと同程度であれば、滲みは高輝度被写体８３の色と認識され、自然な滲みとなる。

以上のように、滲みはイメージセンサ１２０の飽和レベルを超えた高輝度被写体８３の明るさを示す有益な画像表現である。

本実施例においては、このＢプレーンのプロファイルの傾きによって、カラー画像（第２のフレーム画像）におけるＢの滲み量を推定する（すなわち、推定滲み量を求める）。

空間演算ステップ１５１では、Ｂプレーン及びＧプレーンに対する輝度傾斜マップをそれぞれ∇Ｂ，∇Ｇとすると、∇Ｂ，∇Ｇを以下の式を用いた空間演算により計算する。

ここで、
Ｇ（ｘ＋１，ｙ）とＢ（ｘ＋１，ｙ）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の右隣の画素の値である。

Ｇ（ｘ−１，ｙ）とＢ（ｘ−１，ｙ）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の左隣の画素の値である。

Ｇ（ｘ，ｙ＋１）とＢ（ｘ，ｙ＋１）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の下隣の画素の値である。

Ｇ（ｘ，ｙ−１）とＢ（ｘ，ｙ−１）はそれぞれ、Ｇ及びＢプレーンにおける注目画素の上隣の画素の値である。

推定ステップ１５３ではカラー画像（第２のフレーム画像）の各画素に対して、色滲みとなっている余計なＢプレーンの強度を推定する。推定手法はＢが飽和しているか、していないかによって異なるが、双方の場合に備えて推定ステップ１（１５８）及び推定ステップ２（１５９）により２種類の色滲み推定量Ｅ_１，Ｅ_２を計算する。

Ｂが飽和していない水色領域８６及び青領域８７においては、推定ステップ１（１５８）により色滲み推定量Ｅ_１を算出する。推定ステップ１（１５８）は、以下の式で示すように、Ｂの輝度傾斜∇Ｂの絶対値に係数ｋ_１を乗じて色滲み推定量Ｅ_１とする。

ここで、ｋ_１は正値であり、３前後が好ましい。

一方、Ｂが飽和している水色飽和領域８５では、Ｂの輝度傾斜は０になってしまい、飽和前の輝度傾斜が得られない。このような領域の色滲み推定量Ｅ_２を推定ステップ２（１５９）により算出する。推定ステップ２（１５９）は、以下の式で示すように、Ｇの輝度傾斜∇Ｇによって推定滲み量Ｅ_２を定める。

ここで、ｋ_２は正値であり、３前後が好ましい。

領域判定ステップ１５２では、まずＢプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この飽和度Ｓは、Ｂが飽和しているかどうかを示すものであり、Ｂの強度が飽和している領域では１になり、Ｂの強度が小さい領域では０となる。そして、この飽和度Ｓを用いて推定ステップ１５３で算出したＥ_１又はＥ_２を選択する。すなわち、新たな色滲み推定量Ｅを、

とする。

比較制限ステップ１５７では、画像処理値記憶ステップ１５６にて記憶された前回の色滲み除去量（すなわち、第１のフレーム画像に対する色滲み低減処理に用いられた第１の色滲み量低減量）Ｅｐを色滲み推定量Ｅから差し引く。そして、その差し引いた後の値（差）が、下限値ｌ１から上限値ｌ２までの所定範囲内にあれば、過除去抑制ステップ１５４に色滲み推定量（すなわち、第２のフレーム画像に対する色滲み軽減処理に用いる第２の色滲み低減量）Ｅを渡す。

また、色滲み除去量Ｅｐを色滲み推定量Ｅから差し引いた後の値が下限値ｌ１より小さい場合は、色滲み除去量Ｅｐと下限値ｌ１の和（第２の色滲み低減量）を過除去抑制ステップ１５４に渡す。さらに、色滲み除去量Ｅｐを色滲み推定量Ｅから差し引いた後の値が上限値ｌ２より大きい場合は、色滲み除去量Ｅｐと上限値ｌ２の和（第２の色滲み低減量）を過除去抑制ステップ１５４に渡す。

このように、本実施例では、第２のフレーム画像に対する色滲み推定量（第２の色滲み低減量）Ｅを、この色滲み推定量Ｅと第１のフレーム画像に対する処理で使用した色滲み除去量（第１の色滲み低減量）Ｅｐとの差が所定範囲内となるように制限する。

ここで、本実施例では、後述するように、過除去抑制ステップ１５４にて、色滲み推定量（第２の色滲み低減量）Ｅを修正して実際に第２のフレーム画像であるカラー画像に適用する色滲み除去量Ｅ′を求める。しかし、本発明では、比較制限ステップ１５７で求められる色滲み推定量Ｅを、色滲み除去量Ｅ′とともに「第２のフレーム画像に対する色滲み軽減処理に用いる第２の色滲み低減量」に含める。なお、後述する過除去抑制ステップ１５４は必ずしも設ける必要はない。

また、上述した下限値ｌ１及び上限値ｌ２の絶対値を、高輝度被写体に距離が近いほど大きく設定するようにしてもよい。また、下限値ｌ１と上限値ｌ２をほぼ同じとしてもよいし、ある程度違えてもよい。

ここで、点滅する高輝度被写体９０１を撮像して得られた画像を、図９Ａ，９Ｂ，９Ｃに示す。また、典型的なＢプレーンのプロファイル９０２と、Ｇプレーンのプロファイル９０３を同図に示す。ＲはＧと同じプロファイルであるので、ここでの説明は省略する。

図９Ａ，９Ｂ，９Ｃの上図において、横軸は画像上の断面を示し、縦軸は強度を示す。図９Ｂに示すように、高輝度被写体９０１の周囲にも、結像光学系１１０の収差やフレアによって滲んだ光による強度分布が生じる。この強度分布は、高輝度被写体９０１の強度に依存し、さらに高輝度被写体９０１から離れるにしたがって指数関数的に弱くなり、青滲み領域９０４と水色滲み領域９０７が出現する。

高輝度被写体９０１が、時刻Ｔ１（図９Ａ）→時刻Ｔ２（図９Ｂ）→時刻Ｔ３（図９Ｃ）というように時間に伴って変化し、イメージセンサ１２０の飽和レベルを超えたり下回ったりする。この場合、青滲み領域９０４と水色滲み領域９０７が、図９Ａに示すように消滅したり、図９Ｂに示すように出現したり、図９Ｃに示すように縮小したりする。

このように変化する高輝度被写体９０１の近傍の地点９０５のＢプレーン強度、色滲み推定量、及び色滲み除去後のＢプレーン強度の時間変化をそれぞれ、図１０Ａ、１０Ｂ、１０Ｃに示す。

図１０Ａに示すように、高輝度被写体９０１の光強度が増すにしたがい、地点９０５のＢプレーン強度は増加し始め（１００１）、やがて飽和レベルに達する（１００２）。高輝度被写体９０１の光強度はさらに増加し、一定の値となる（１００３）が、この間、Ｂプレーン強度は飽和しているので変化しない。そして、高輝度被写体９０１の光強度は減少し（１００４）、Ｂプレーンの強度も飽和レベルを下回り（１００５）、さらに減少して地点９０５のＢプレーン強度が一定になる（１００６）。

この間、図１０Ｂに示すように、色滲み推定量を制限しない従来技術（１００７）では、地点９０５の色滲み推定量は、領域判定ステップ１５２による推定ステップ１（１５８）と推定ステップ２（１５９）との切り換え（１００２，１００５）によって急変する。一方、本実施例（１００８）では、色滲み推定量Ｅを前回の（第１のフレーム画像に対する）処理で用いられた色滲み除去量に対する差が所定範囲内の値になるように制限するので、色滲み推定量Ｅは緩やかに変化する。

この結果、図１０Ｃに示すように、従来技術（１００９）の場合は地点９０５の色滲み除去後のＢプレーン強度は、上記切り換え時（１００２，１００５）に急変し、観察者に違和感を与える。一方、本実施例（１０１０）では、地点９０５の色滲み除去後のＢプレーン強度は穏やかに変化し、観察者に違和感を与えにくい。

過除去抑制ステップ１５４では、上記比較制限ステップ１５７から渡された色滲み推定量Ｅをさらに修正し、実際に除去する色滲み量である色滲み除去量Ｅ′を決める。推定ステップ１５３で推定した色滲み量は一定のモデルに沿ったものであり、実際の滲み量とは必ずしも一致しない。例えば、同じＢプレーンで検出される光であっても、波長４５０ｎｍの光と波長４００ｎｍの光では滲み方が変化するが、推定ステップ１５３ではこれを考慮していない。除去量が過小である場合、除去後も若干の青みが残る。

一方、除去量が過大であると、灰色の背景に対してＢを減らしすぎ、黄緑色になってしまう。特に、後者は不自然で、観察者に大きな違和感を与える。そこで、過除去抑制ステップ１５４では、一定の色相範囲内でのみ色滲み除去が作用するよう制限する。

このため、まず、画素の色度を計算する。Ｒ，Ｇ，Ｂの各プレーンの強度に対し、

とする。

この色度座標ａｂ面を図１１に示す。青色は第４象限にあり、Ｂプレーン強度から推定量Ｅを除去すると、点線矢印３２１のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が推定量Ｅを除去した後の色度である。

このことから、色滲み除去が作用する色相範囲をａ＞０、かつｂ＜０に制限すると、
Ｂ＞０．２２Ｒ＋０．６８Ｇ、かつＢ＞−１．８４Ｒ＋３．３０Ｇ
となる。

このため、ステップ１５４では、この条件を満たさない画素に対してＥ′＝０とし、除去対象から外す。これにより、これらの画素は除去ステップ１５５によって変化せず、色滲み除去部１５０によって画素値が影響を受けることがない。すなわち、この条件を満たす画素のみが除去対象となる。

さらに、条件を満たす画素に対しても色滲み除去量Ｅ′を、
Ｅ′＝ｍｉｎ（Ｅ，Ｂ−（０．２２Ｒ＋０．６８Ｇ），Ｂ−（−１．８４Ｒ＋３．３０Ｇ））
として、除去ステップ１５５に渡す。この色滲み除去量Ｅ′に対応する滲みの除去による色度変化は、図１１に実線矢印３２２で示すように、第４象限内に留まる。これにより、除去ステップ１５５により色相制限範囲を超えてＢが減少されるのを防ぐ。

除去ステップ１５５では、上記色滲み除去量Ｅ′をＢプレーンの強度から減じて、新たなＢプレーン強度を、
Ｂ＝Ｂ−Ｅ′
とする。

画像処理値記憶ステップ１５６では、上記色滲み除去量Ｅ′をＥｐとして記憶し、これ以降の処理（第２のフレーム画像の後に得られるフレーム画像に対する処理）に備える。

このようにＢプレーンを修正したカラー画像を、色滲み除去部１５０の出力として視覚補正部１６０に渡す。

このように、本実施例によれば、明滅したり移動したりする高輝度被写体の青滲みが効果的に除去され、自然で違和感のないカラー動画像が得られる。

また、付随する結像光学系１１０においては、Ｂ波長域のおける縦色収差の制限を緩めることができるので、その他の収差補正を向上させたり、撮像装置を小型化したりすることができる。

次に、本発明の実施例２について説明する。実施例１では、色滲み推定量Ｅを制限したが、本実施例では、色滲み推定量を除去した後のＢプレーン強度（すなわち、色滲み低減処理後の第２のフレーム画像の画素値）を制限する。このため、図３に示したカラー撮像装置のうち色滲み除去部１５０で行われる処理が実施例１とは異なる。

本実施例の色滲み除去部１５０での処理を図１２のフローチャートを用いて説明する。色滲み除去部１５０は、空間演算ステップ１１５１と、推定ステップ１１５３と、領域判定ステップ１１５２と、除去推定ステップ１１５８と、比較制限ステップ１１５７とを有する。さらに、過除去抑制ステップ１１５４と、除去ステップ１１５５と、画像処理値記憶ステップ１１５６とを有する。

ここで、上記ステップ１１５１〜１１５８は、色滲み除去部１５０の構成と考えることもできる。画像処理値記憶ステップ１１５６により記憶部が構成され、空間演算ステップ１１５１と推定ステップ１１５３とにより第１の推定部が構成される。また、除去推定ステップ１１５８により第２の推定部が構成され、比較制限ステッ１プ１５７により決定部が構成される。

空間演算ステップ１１５１，推定ステップ１１５３，領域判定ステップ１１５２，過除去抑制ステップ１１５４及び除去ステップ１１５５での処理は、実施例１と同様である。ただし、過除去抑制ステップ１１５４及び除去ステップ１１５５で扱うのは、色滲み推定量ではなく、推定画素値としてのＢプレーン強度である。推定ステップ１１５３には、実施例１で説明したのと同様な推定ステップ１（２１５８）と推定ステップ２（２１５９）が設けられている。

除去推定ステップ１１５８は、第２のフレーム画像であるカラー画像のＢプレーン強度から、推定ステップ１１５３にて得られた色滲み推定量Ｅを差し引いて、色滲み除去後の推定画素値としてのＢプレーン強度を求める。

比較制限ステップ１１５７は、上記推定画素値としてのＢプレーン強度から、画像処理値記憶ステップ１１５６で記憶したＢプレーン強度（すなわち、第１のフレーム画像に対する色滲み軽減処理の結果得られた第１の画素値）Ｂｐを差し引く。そして、この差し引いた後の値（差）が、下限値ｌ３から上限値ｌ４までの所定範囲内にあれば、この推定画素値であるＢプレーン強度を、第２の画素値として過除去抑制ステップ１１５４に渡す。

また、上記差し引いた後の値が下限値ｌ３を下回った場合は、下限値ｌ３とＢプレーン強度Ｂｐの和であるＢプレーン強度（第２の画素値）を過除去抑制ステップ１１５４に渡す。さらに、該差し引いた後の値が上限値ｌ４を上回った場合は、上限値ｌ４とＢプレーン強度Ｂｐの和であるＢプレーン強度（第２の画素値）を過除去抑制ステップ１１５４に渡す。

このように、本実施例では、第２のフレーム画像に対する色滲み除去後に出力するＢプレーン強度（第２の画素値）を制限する。すなわち、第２のフレーム画像に対する色滲み除去後に得られると推定されるＢプレーン強度（推定画素値）と、第１のフレーム画像に対する色滲み除去によって得られたＢプレーン強度（第１の画素値）Ｂｐとの差が所定範囲内となるように制限する。

なお、本実施例でも、実施例１と同様に、過除去抑制ステップ１１５４にて第２の画素値としてのＢプレーン強度を修正して実際に出力するカラー画像の画素値を求める。しかし、本発明では、比較制限ステップ１１５７で求められるＢプレーン強度を、過除去抑制ステップ１１５４で修正されたＢプレーン強度とともに、「第２のフレーム画像に対する色滲み軽減処理の結果として出力する第２の画素値」に含める。なお、過除去抑制ステップ１１５４は必ずしも設ける必要はない。

また、上記下限値ｌ３及び上限値ｌ４の絶対値を、高輝度被写体に近いほど大きく設定するようにしてもよい。また、下限値ｌ３と上限値ｌ４をほぼ同じとしてもよいし、ある程度違えてもよい。

図９Ａ〜図９Ｃに示したようにその輝度が変化する高輝度被写体９０１の近傍地点９０５のＢプレーン強度、色滲み推定量、及び色滲み除去後のＢプレーン強度の時間変化をそれぞれ、図１３Ａ，１３Ｂ，１３Ｃに示す。

図１３Ａに示すように、高輝度被写体９０１の光強度が増すにしたがって、図９Ａに示す地点９０５のＢプレーン強度が増加し（１３０１）、やがて飽和レベルに達する（１３０２）。高輝度被写体９０１の光強度はさらに増加して一定の値となる（１３０３）が、Ｂプレーン強度は飽和しているので変化しない。そして、高輝度被写体９０１の光強度は減少し始め（１３０４）、Ｂプレーン強度も飽和レベルを下回り（１３０５）、さらに減少して地点９０５でのＢプレーン強度が一定になる（１３０６）。

この間、図１３Ｂに示すように、地点９０５の色滲み推定量は、領域判定ステップ１１５２による推定ステップ１（２１５８）と推定ステップ２（２１５９）との切り換え（１３０２，１３０５）により急変する。

この結果、従来技術（１３０７）の場合は、図１３Ｃに示すように、地点９０５の色滲み除去後のＢプレーン強度は、上記切り換え（１３０２，１３０５）によって急変し、観察者に違和感を与える。一方、本実施例（１３０８）では、地点９０５の色滲み除去後のＢプレーン強度は穏やかに変化し、観察者に違和感を与えにくい。

画像処理値記憶ステップ１１５６は、Ｂプレーン強度をＢｐとして記憶し、これ以降の処理（第２のフレーム画像の後に得られるフレーム画像に対する処理）に備える。

また、本実施例のカラー撮像装置は、少なくとも１つの色プレーンに対応する波長域の色収差を光学系によって抑え、その他の色収差を画像処理によって抑えるので、こららの組み合わせによって好適な画像を得ることができる。

次に、本発明の実施例３について説明する。本実施例では、実施例１で説明した色滲み推定量を制限するための下限値と上限値を空間演算結果に基づいて変更する例について説明する。

図９Ａ〜９Ｃに示した地点９０６は、地点９０５よりも高輝度被写体９０１に近く、色滲み推定量も大きい。色滲み推定量を制限する下限値と上限値を画像内で一定にした場合、図１４に示す色滲み除去前のＢプレーン強度１４０１と除去後のＢプレーン強度１４０２とを比較して分かるように、上限値に比べて小さな色滲みの地点９０５では十分に色滲みを取り除ける。しかし、上限値を超える大きな色滲みの地点９０６では、色滲みを十分に取り除けず、観察者に違和感を与えることがある。

高輝度被写体９０１からの距離と高輝度被写体９０１の明るさにより、空間演算ステップ１５１で計算した輝度傾斜（すなわち、空間演算値）∇Ｇ，∇Ｂは大きくなる。

本実施例では、高輝度被写体９０１からの距離と高輝度被写体９０１の明るさを、輝度傾斜∇Ｇ，∇Ｂに基づいて推定し、色滲み推定量を制限するための上限値及び下限値を変更する。すなわち、空間演算の結果に基づいて上限値及び下限値を変更する。これにより、高輝度被写体９０１に近い地点９０６の色滲み推定量の制限が緩和される。したがって、色滲み除去後のＢプレーン強度１４０３に示すように、地点９０５と同様に、色滲みを十分除去して観察者に違和感のない画像を提供できる。

また、実施例２における上限値と下限値についても、同様に、空間演算の結果に基づいて変更してもよい。

次に、本発明の実施例４について説明する。本実施例では、領域判定ステップ１５２で色滲み推定量を切り換えるときに限り色滲み推定量を比較制限することで、比較的速く移動したり点滅したりする高輝度被写体の色滲みを違和感なく除去する例について説明する。

図１５Ａには、色滲み除去前のＢプレーン強度の時間に伴う変化を示す。この図に示すように、地点９０５のＢプレーン強度が高輝度被写体９０１の比較的速い点灯１５０１や消灯１５０２によって急激に変化すると、色滲み推定量の制限によって、図１５Ｂに１５０３で示すように、色滲み推定量が時間とともに変化する。この結果、図１５Ｃに１５０５で示すように、色滲み除去後のＢプレーン強度の時間変化が急峻となり、観察者に違和感を与える。

本実施例では、領域判定ステップ１５２において推定ステップ１（１５８）と推定ステップ２（１５９）を切り換えるときに限り、色滲み推定量を制限する。これにより、高輝度被写体９０１が比較的速く点滅したときに、図１５Ｂに１５０４で示すように、それに追従した色滲み推定量が求められる。この結果、図１５Ｃに１５０６で示すように、色滲み除去後のＢプレーン強度の変化が緩やかとなり、観察者に違和感のない画像を提供できる。

また、上記実施例１〜４では、結像光学系１１０から記録部１８０までの全部を備えたカラー撮像装置について説明した。しかし、カラー撮像装置とは別の装置として、少なくとも色滲み除去部１５０を有する画像処理装置（パーソナルコンピュータ等）を構成してもよい。この場合、カラー撮像装置により撮像されて半導体メモリ、磁気／光ディスク等の記録媒体に格納されたカラー画像が画像処理装置に入力されるようにすればよい。また、カラー撮像装置と画像処理装置とをケーブルや無線ＬＡＮ等によって接続し、カラー撮像装置から画像処理装置に画像が送信されるようにしてもよい。

以下、上記実施例で説明した各ステップについて説明を補足する。
（１）空間演算ステップは、除去対象色プレーンと基準プレーンを参照し、除去対象色プレーンと基準プレーンの強度傾斜を演算する。基準プレーンは、結像光学系の色収差を良好に補正した波長域の強度を示す色プレーンや、輝度を示すプレーンであり、一般的にはＧプレーンやＹプレーンである。
（２）推定ステップは、強度傾斜（輝度傾斜）に依存した値を出力する。単純に、強度傾斜に比例した値を出力とすることもできる。また、除去対象色プレーン内の輝度飽和画素の有無により、色滲み推定量の推定方法を切り換えたり、複数の色滲み推定量から１つを選択したり、複数の色滲み推定量を補間したりすることもできる。
（３）除去ステップは、除去対象色プレーンの画像強度を減算する。除去対象となる色プレーンはＲプレーン又はＢプレーンでであるが、これらに対応する色味を表す色差プレーンＵ／Ｖとすることもできる。
（４）また、除去ステップの前段に、色滲み推定量に過不足があった場合に備えて、過除去抑制ステップを設けてもよい。過除去抑制ステップは、一定の色域の画素のみを除去対象とし、さらに、除去後に一定の色域に留まるようにする。この過除去抑制操作を、色相角を一定の角度内にすることにより実現してもよい。

また、除去対象色プレーンの強度が基準プレーンの強度より大きい画像範囲のみを除去対象としてもよい。推定量が不足すると、除去不足によって若干の色滲みが残る。一方、推定量が過大であると、過除去によって色滲みが除去された部分の色相が反転する。発明者の実験によれば、除去不足よりも過除去の画像の方が不自然に感じられる。また、多少除去不足として色滲みを残すと、被写体本来の明るさや色を識別しやすい。
（５）実施例１の比較制限ステップは、動画像フレーム（第２のフレーム画像）Ｂの色滲み推定量と、記憶していた動画像フレーム（第１のフレーム画像）Ａの処理に用いた色滲み除去量との差が所定範囲内である場合に、該色滲み推定量を次の処理に渡す。色滲み推定量が該所定範囲の上限を超えた場合には、上限値とフレームＡで用いた色滲み除去量との和を色滲み推定量として次の処理に渡す。また、色滲み推定量が該所定範囲の下限を下回った場合は、下限値とフレームＡで用いた色滲み除去量との和を色滲み推定量として次の処理に渡す。
（６）実施例２の比較制限ステップは、動画像フレームＢから色滲み推定量を除去した後の画素値と、記憶していた動画像フレームＡの画素値との差が所定範囲内である場合は、該色滲み推定量を除去した後の画素値を次の処理に渡す。画素値が該所定範囲の上限を超えた場合は、上限値と動画像フレームＡの画素値との和を、動画像フレームＢから色滲み推定量を除去した後の動画像フレームＢの画素値として次の処理に渡す。また、画素値が該所定範囲の下限を下回った場合は、下限値と動画像フレームＡの画素値との和を、動画像フレームＢから色滲み推定量を除去した後の動画像フレームＢの画素値として次の処理に渡す。
（７）上記所定範囲を、空間演算結果に基づいて変更してもよい。輝度傾斜が大きく、色滲み量が大きいと推定される場所では、色滲みをより多く除去（低減）するように、空間演算結果に基づいて上記所定範囲を変更する。
（８）また、空間演算ステップにおいて、画像内の高輝度被写体を探索し、推定ステップにて高輝度被写体からの距離により色滲み量を推定してもよい。また、空間演算ステップにて、画像内の高輝度被写体を探索し、推定ステップにて結像光学系で定まるポイントスプレッドファンクションから高輝度被写体のぼけ像を求め、これにより色滲み量を推定してもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

横色収差の説明図。縦色収差の説明図。本発明の実施例１であるカラー撮像装置の構成を示すブロック図。色フィルタの分光透過率を示すグラフ。色フィルタの配置を示す図。明暗境界での像強度を示す図。実施例１における色滲み除去部の処理を示すフローチャート。高輝度被写体のプロファイルの説明図。プロファイルの時間変化を示す説明図。プロファイルの時間変化を示す説明図。プロファイルの時間変化を示す説明図。実施例１において色滲み推定量を制限する効果を説明する図。実施例１において色滲み推定量を制限する効果を説明する図。実施例１において色滲み推定量を制限する効果を説明する図。色滲み除去による色度図上の変化を説明する図。本発明の実施例２における色滲み除去部の処理を示すフローチャート。実施例２において色滲み除去後のＢプレーン強度を制限する効果を説明する図。実施例２において色滲み除去後のＢプレーン強度を制限する効果を説明する図。実施例２において色滲み除去後のＢプレーン強度を制限する効果を説明する図。本発明の実施例３において、色滲み推定量を空間演算ステップにより変更する効果を説明する図。本発明の実施例４において、色滲み推定量の制限を推定ステップでの色滲み推定値の切り換え時に限定する効果を説明する図。実施例４において、色滲み推定量の制限を推定ステップでの色滲み推定値の切り換え時に限定する効果を説明する図。実施例４において、色滲み推定量の制限を推定ステップでの色滲み推定値の切り換え時に限定する効果を説明する図。

符号の説明

６１ＲとＧプレーンの像
６２Ｂプレーンの像
６３色滲み
８１Ｂプレーンのプロファイル
８２Ｇプレーンのプロファイル
８３高輝度被写体
８４白飽和領域
８５水色飽和領域
８６水色領域
８７青領域
９０写野
１１０結像光学系
１２０イメージセンサ
１３０ＡＤ変換部
１４０デモザイク部
１５０色滲み除去部
１５１，１１５１空間演算ステップ
１５２，１１５２領域判定ステップ
１５３，１１５３推定ステップ
１５４，１１５４過除去抑制ステップ
１５５，１１５５除去ステップ
１５６，１１５６画像処理値記憶ステップ
１５７，１１５７比較制限ステップ
１１５８除去推定ステップ
１６０視覚補正部
１７０圧縮部
１８０記録部
９０１高輝度被写体
９０２Ｂプレーンのプロファイル
９０３Ｇプレーンのプロファイル
９０４青滲み領域
９０５，９０６高輝度被写体の近傍地点
９０７水色滲み領域

Claims

第１のフレーム画像と該第１のフレーム画像よりも後に得られた第２のフレーム画像を用いてカラー動画像の色滲み低減処理を行う画像処理装置であって、
前記第１のフレーム画像に対する前記色滲み低減処理に用いられた第１の色滲み低減量を記憶する記憶部と、
前記第２のフレーム画像に対する空間演算を行って該第２のフレーム画像における色滲み推定量を求める推定部と、
前記第１の色滲み低減量と前記色滲み推定量との差が所定範囲内の値になるように前記第２のフレーム画像に対する前記色滲み低減処理に用いる第２の色滲み低減量を求める決定部とを有することを特徴とする画像処理装置。
第１のフレーム画像と該第１のフレーム画像よりも後に得られた第２のフレーム画像を用いてカラー動画像の色滲み低減処理を行う画像処理装置であって、
前記第１のフレーム画像に対する前記色滲み低減処理によって得られた第１の画素値を記憶する記憶部と、
前記第２のフレーム画像に対する空間演算を行って該第２のフレーム画像における色滲み推定量を求める第１の推定部と、
該第２のフレーム画像に対する前記色滲み推定量を用いた前記色滲み低減処理によって得られる推定画素値を求める第２の推定部と、
前記第１の画素値と前記推定画素値との差が所定範囲内の値になるように前記第２のフレーム画像に対する前記色滲み低減処理の結果として出力する第２の画素値を求める決定部とを有することを特徴とする画像処理装置。
前記決定部は、前記空間演算の結果に基づいて、前記所定範囲を変更することを特徴とする請求項１又は２に記載の画像処理装置。
第１のフレーム画像と該第１のフレーム画像よりも後に得られた第２のフレーム画像を用いてカラー動画像の色滲み低減処理を行う画像処理方法であって、
前記第１のフレーム画像に対する前記色滲み低減処理に用いられた第１の色滲み低減量を記憶するステップと、
前記第２のフレーム画像に対する空間演算を行って該第２のフレーム画像における色滲み推定量を求めるステップと、
前記第１の色滲み低減量と前記色滲み推定量との差が所定範囲内の値になるように前記第２のフレーム画像の前記色滲み低減処理に用いる第２の色滲み低減量を求めるステップとを有することを特徴とする画像処理方法。
第１のフレーム画像と該第１のフレーム画像よりも後に得られた第２のフレーム画像を用いてカラー動画像の色滲み低減処理を行う画像処理方法であって、
前記第１のフレーム画像に対する前記色滲み低減処理によって得られた第１の画素値を記憶するステップと、
前記第２のフレーム画像に対する空間演算を行って該第２のフレーム画像における色滲み推定量を求めるステップと、
該第２のフレーム画像に対して前記色滲み推定量を用いた前記色滲み低減処理によって得られる推定画素値を求めるステップと、
前記第１の画素値と前記推定画素値との差が所定範囲内の値になるように前記第２のフレーム画像に対する前記色滲み低減処理の結果として出力する第２の画素値を求めるステップとを有することを特徴とする画像処理方法。