JP5627215B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関し、特には色収差補正を行う画像処理装置及びその制御方法に関する。

デジタルカメラ等の撮像装置が様々な用途に使用されている。しかし、被写体像を結像するために用いられる撮像レンズが有する様々な収差は、被写体像の画質を低下させる要因となる。例えば倍率色収差は結像した被写体像に色ズレを発生させる要因となる。

撮像装置に用いられる撮像素子の画素数は年々増加しており、単位画素サイズが縮小傾向にあるため、従来では殆ど問題とならなかった程度の倍率色収差でも画質を低下させる主要因となってきている。

このような色ズレを画像処理により補正する技術として、補正すべき色ズレ量（すなわち補正量）を、補正対象の画像から取得する技術が提案されている。画像から色ズレ量を取得する技術として、画像のエッジ部分における各色成分間の相関を利用した方法がある。

例えば、特許文献１には、エッジに対応する各色成分の画素の距離の差分の合計が最小となる位置を探すことで色ズレ量を取得する方法が提案されている。また、特許文献２には、ＲＡＷデータからエッジを検出し、エッジ部分の２種類の色成分の配列の誤差が最小となる変位幅を色ずれ幅として求める方法が提案されている。

特開2000-299874号公報 特開2006-020275号公報

特許文献１，２に記載されるような、各色成分の相関を利用した色ズレ量取得方法では、図１（ａ）に示すような、にじみの発生しているエッジでは正しい色ズレ量を取得できない場合がある。その結果、エッジ部分の色相が補正前後で大きく変わってしまい、補正による効果が十分に得られない問題がある。

例えば、図１（ａ）に示すように、Ｇ（緑）成分とＲ（赤）成分に色ズレは無く、Ｇ成分（又はＲ成分）とＢ（青）成分に色ズレがあるとする。この場合、図１（ａ）の斜線部に相当する部分は黄色である。この色ズレを、特許文献１、２に記載されるような方法で取得した色ズレ量によって補正すると、補正後の画素値は例えば図１（ｂ）のようになり、斜線部に相当する部分は、過補正により青くなる。図１に示すエッジ部分は、補正前が黄色く、補正後は青くなるため、補正前後で比較すると観察者に大きな違和感を与えてしまう。これは、Ｂ成分を、Ｇ成分（又はＲ成分）との配列の誤差が最小となるように補正した結果、過補正された部分が生じたことによる。補正後のエッジ部分の色相を調整することでこの違和感を減少させる方法もあるが、本来の被写体の色調が変わってしまう可能性がある。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明は、倍率色収差の補正量を画像から取得する際に、補正前後でエッジ部分の色の変化を抑制しながら色ズレを適正に補正できる補正量を取得可能な画像処理装置及びその制御方法を提供する。

上述の目的は、複数の色プレーンで構成される撮像画像の色ズレを補正する画像処理装置であって、撮像画像の光学中心からの距離が異なる複数のエッジ部分における、複数の色プレーンのうちの第１の色プレーンに対する第２の色プレーンの色ズレの量を取得する取得手段と、複数のエッジ部分にて取得された色ズレの量から撮像画像の中心からの距離に基づく補正データを作成し、補正データを用いて前記第２の色プレーンの画素値を補正する補正手段とを有し、取得手段が、第１の色プレーンと第２の色プレーンとの間で、エッジ部分を含んだ注目領域内における複数の画素の色差を、第１の色プレーンの注目領域に対する第２の色プレーンの注目領域の位置を順次移動させながら求める色差演算手段を有し、色差演算手段が、第２の色プレーンを移動しない状態で求めた色差と第２の色プレーンを移動させた状態で求めた色差との変化の大きさが予め定められた範囲内となる第２の色プレーンの移動量のうちのいずれかを、注目領域に含まれる画素の色差の差分絶対値和に基づいて、第１の色プレーンに対する第２の色プレーンの色ズレの量として取得し、補正手段が、取得手段にて取得された複数のエッジ部分における色ズレの量と、複数のエッジ部分の撮像画像の中心からの距離とに基づいて、補正データを生成することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、倍率色収差の補正量を画像から取得する際に、補正前後でエッジ部分の色の変化を抑制しながら色ズレを適正に補正できる補正量を取得可能となる。

エッジ部分の色ズレを説明する図。 本発明の実施形態に係る画像処理装置の一例としての撮像装置の機能ブロック図。 本発明の実施形態に係る撮像装置の色ズレ補正処理を示すフローチャート。 （ａ）は像高毎に分割した領域の例を示す図、（ｂ）は補正データの例を示す図。 図３のＳ１０２における色ズレ量取得処理の詳細を説明するフローチャート。 本発明の実施形態における注目エッジ、注目領域、注目ラインの例を示す図 図５のＳ２０５及びＳ２１１における色差判定処理の詳細の一例と別の例を説明するフローチャート。 補正時の色差の例を示す図。 補正時の色ズレの例を示す図。 図５のＳ２０５及びＳ２１１における色差判定処理の詳細のさらに別の例を説明するフローチャート。

以下、図面を参照して本発明の好適かつ例示的な実施形態について説明する。なお、以下に説明する実施形態は、本発明の説明及び理解を容易にするため、ある特定の構成に基づいているが、本発明はそのような特定の構成に限定されない。

また、以下の実施形態では、ある２つの色成分（色プレーン）、例えばＧプレーンとＲプレーンの色ズレ量取得方法について説明するが、他の色プレーン間、すなわちＧプレーンとＢプレーンの色ズレ量についても同様に取得可能である。

＜第１の実施形態＞
図２は、本実施形態にかかる撮像装置１００の機能ブロック図である。
撮像装置１００は、結像光学系１０、撮像素子２０、Ａ／Ｄ変換部３０、色分離部４０、エッジ抽出部５０、色差演算部６１を含む補正データ作成部６０、補正部７０を有する。

結像光学系１０は、被写体像を撮像素子２０上に結像する。本実施形態において、撮像素子２０は、光電変換素子が２次元配列され、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の単位フィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が、光電変換素子の１つに１種類が対応するように２次元配列された構成を有する。これにより、光電変換素子の各々は、単位フィルタのいずれか１種類を透過した光を受光し、その強度を表す電気信号を出力する。従って、単板カラー撮像素子の光電変換素子の各々は、Ｒ，Ｇ，Ｂプレーンのうち１つの強度を出力することしかできない。このため撮像素子２０が出力する撮像画像は色モザイク画像である。

Ａ／Ｄ変換部３０では、撮像素子２０からアナログ電圧として出力される色モザイク画像を、以降の画像処理に適するデジタルデータへと変換する。
色分離部４０では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。

なお、この補間手法には、周辺の同じ色プレーンの画素の値に基づく補間や、隣接する異なる色プレーンの画素の値に基づく補間など、多くの方式が提案されているが、本実施形態においてはどのような補間手法を用いてもよい。

エッジ抽出部５０では生成されたカラー画像に対し、エッジの検出を行う。補正データ作成部６０はエッジ抽出部５０が検出したエッジの情報を元に、カラー画像から倍率色収差補正量を取得し、倍率色収差補正データを作成する。補正部７０では、補正データ作成部６０が作成した補正データを用い、カラー画像の倍率色収差を補正する。

（倍率色収差の補正処理−全体の手順）
図３は、倍率色収差の補正に係る、エッジ抽出部５０、補正データ作成部６０、補正部７０による処理の流れを示すフローチャートである。
まず、Ｓ１０１でエッジ抽出部５０が、色分離部４０が生成したカラー画像から、エッジを検出する。これは、結像光学系１０の倍率色収差による色ズレは、画像のエッジ部分に顕著に現れるためである。画像のエッジ検出には、Ｙ（輝度）プレーンを使用する。Ｙプレーンは、ＲＧＢプレーンから公知の式を用いて算出できる。あるいは、Ｇプレーンの値をＹプレーンとして用いてもよい。

なお、Ｓ１０１で検出するエッジは、光学中心からの動径方向で大きく画素値が変化するエッジに限定することで、精度の高い色ズレ量の取得が可能になる。また、Ｙプレーンにおいて、倍率色収差による色ズレは、にじみとなって現れるので、例えば、画素値の単調増加もしくは単調減少が所定数連続するような、ある程度幅のあるエッジを検出する。

Ｓ１０２で補正データ作成部６０は、Ｓ１０１で検出された各エッジに対し、色ズレ量を取得する。色ズレ量の取得動作の詳細は後述する。なお、Ｓ１０２において取得する色ズレの方向は、光学中心と各エッジの位置関係により、上／下方向、左／右方向、右斜め上／左斜め下方向、左斜め上／右斜め下方向の何れかとすることで処理を簡略化することができる。

Ｓ１０２で取得した色ズレ量は、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心方向へずれている場合に負の値とし、Ｇプレーンに対しＲプレーン（もしくはＢプレーン）が光学中心とは逆方向へずれている場合に正の値とする。

Ｓ１０３で補正データ作成部６０は、Ｓ１０１で検出された各エッジの像高と、Ｓ１０２で取得した各エッジの色ズレ量から、像高と色ズレの関係を求めることで補正データを作成する。ここで、像高とは、光学中心に相当する画素（以降、画像中心または光学中心という）からの距離である。

補正データ作成部６０がＳ１０３で行う補正データの作成手順について具体的に説明する。
（１）Ｓ１０１で検出されたエッジの像高をＬ、Ｓ１０２で取得された色ズレ量をＤとした場合、像高に対する色ズレ率Ｍを、Ｍ＝Ｄ／Ｌとして求める。
（２）図４（ａ）に示すように画像を像高毎に８つの領域（h1〜h8）に分割し、個々のエッジが属する領域を選別する。
（３）画像内で検出された個々のエッジに対して（１）、（２）の処理を行い、領域毎に色ズレ率Ｍの平均値を求め、領域毎の色ズレ率とする。
（４）図４（ｂ）に示したように、像高と、領域毎の色ズレ率とから、像高と色ズレ率の関係を表す高次の多項近似式Ｆ(l)を算出し、これを補正データとする。図４（ｂ）は三次の多項式により補正データを算出した例である。

なお、エッジ検出と色ズレ量取得は、カラー画像に含まれる全エッジに対して行っても良い。しかし、像高毎に分割した８つの領域の各々で、ある閾値以上の数の色ズレ率が集計された段階で、その領域に属するエッジの検出と色ズレ量取得を終了することにより、色ズレ率の信頼度を保ちながら処理の効率化を図ることが可能である。

また、像高毎に分割した８つの領域のうち、検出すべきエッジが見つかった領域のみを高次の多項近似式算出に使用することで、検出すべきエッジが見つからない領域があった場合でも、その領域に対する補正データの作成が可能となる。

Ｓ１０４で補正部７０は、Ｓ１０３で作成された補正データを使用して、カラー画像に対して色ズレの補正を適用する。
まず、補正部７０は、補正したいプレーン（Ｒプレーン、Ｂプレーン）の画素（Ｘ，Ｙ）において、画素（Ｘ，Ｙ）の像高Ｌから、補正データを用いて、色ズレ率Ｍを多項近似式Ｆ（l）を用いて求める。なお、画素の座標は、光学中心を原点（０，０）とする座標系で表すものとする。

次に、補正部７０は、色ズレ補正により生成する画素の座標（Ｘ１，Ｙ１）を以下のように求める。
Ｘ１＝Ｍ×Ｘ
Ｙ１＝Ｍ×Ｙ
そして、補正部７０は、補正したいプレーンにおいて座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらを、全画素について行うことで、色ズレ補正を行う。

（色ズレ量取得処理）
次に、Ｓ１０２における色ズレ量取得処理の詳細について、図５に示すフローチャートを用いて説明する。
なお、図５は、ＧプレーンとＢプレーンとの色ズレ量を取得する処理について示しているが、ＧプレーンとＲプレーンとの色ズレ量も同様にして取得することができる。従って、ＧプレーンとＲプレーンとの色ズレ量の取得を行う場合、以下の説明における「Ｂプレーン」を「Ｒプレーン」と読み替えればよい。

まず、Ｓ２０１における、補正前の差分絶対値和の取得について説明する。
差分絶対値和を取得する領域（以下、注目領域と呼ぶ）は、図６に示すように、色ズレ量を取得する注目エッジ部分を含んだ矩形領域とし、注目領域のサイズは注目エッジの幅と輝度変化量により設定することが好ましい。エッジの幅とは、エッジ検出を行うＹプレーンにおいて、その値が単調増加もしくは単調減少する連続した画素の数とする。例えば、注目領域を、エッジの幅の３倍〜５倍程度を１辺の長さとした正方形領域とすることで十分な効果が得られる。

補正データ作成部６０は、ＧプレーンとＢプレーンにおいて、それぞれの注目領域内の各画素Ｇｉ，Ｂｉ（ｉ＝１〜ｎ）に対し次式にて差分絶対値和Ｓ０を取得する。
Ｓ０＝｜Ｇ１−Ｂ１｜＋｜Ｇ２−Ｂ２｜＋…＋｜Ｇｎ−Ｂｎ｜

次に、Ｓ２０２における、補正前の色差取得について説明する。
色差を取得する領域（色差取得領域）は、図６に示すように、注目領域の中心を通る色ズレ量取得方向の１ライン（ｍ画素）とする（以下、注目ラインと呼ぶ）。この例では、注目領域が画像右上に位置しているので、色ズレ量を、右斜め上／左斜め下方向で取得する。

色差演算部６１は、ＧプレーンとＢプレーンにおいてそれぞれの注目ライン内の各画素Ｇｊ，Ｂｊ（ｊ＝０〜ｍ−１）に対し、以下の式によって色差Ｃ０［ｊ］を求め、画素毎の色差からなる色差配列Ｃ０［ｍ］を取得する。
Ｃ０［ｊ］＝Ｂｊ−Ｇｊ

なお、色差取得の際に、各注目ライン内の画素値を補正することでより精度の高い色差判定が可能となる。例えば、Ｇプレーンの注目ライン上の最大画素値と、Ｂプレーンの注目ライン上の最大画素値が一致するようにＢプレーンの注目ライン上の画素値を補正すればよい。この場合、色差演算部６１は、以下のように色差配列Ｃ０［ｍ］を取得することができる。
Ｇｍａｘ：Ｇプレーンの注目ライン上の最大画素値
Ｂｍａｘ：Ｂプレーンの注目ライン上の最大画素値
Ｇｊ’＝Ｇｍａｘ／Ｂｍａｘ×Ｇｊ
Ｃ０［ｊ］＝Ｂｊ−Ｇｊ’

Ｓ２０３で補正データ作成部６０は、Ｂプレーンの注目領域を、色ズレ量検出方向の光学中心側へ１画素移動する。図６の例で、Ｂプレーンの注目領域の左上角の画素の座標を（ｘ，ｙ）とすると、移動後の注目領域の左上角の画素の座標は（ｘ−１，ｙ−１）となる。

Ｓ２０４で色差演算部６１は、Ｂプレーンの移動後の注目領域内の注目ラインと、Ｇプレーンの注目ラインにおいて、Ｓ２０２と同様に画素毎に色差Ｃ［ｊ］を求め、画素毎の色差からなる色差配列Ｃ［ｍ］を取得する。
Ｓ２０５で、補正データ作成部６０は、取得した色差を判定する。

図７（ａ）は、Ｓ２０５における色差判定処理の詳細を示すフローチャートである。
補正データ作成部６０は、Ｓ２０２で取得された、補正前の色差配列Ｃ０［ｍ］の中から最大値、最小値を取得する（Ｓ３０１）。次に補正データ作成部６０は、定数Ｋを用意し、閾値Ｔｍａｘ、Ｔｍｉｎを次式にて定義する（Ｓ３０２）。
Ｃ０ｍａｘ：Ｓ２０２で取得した補正前の色差配列Ｃ０［ｍ］の中の最大値
Ｃ０ｍｉｎ：Ｓ２０２で取得した補正前の色差配列Ｃ０［ｍ］の中の最小値
Ｔｍａｘ＝Ｃ０ｍａｘ＋Ｋ
Ｔｍｉｎ＝Ｃ０ｍｉｎ−Ｋ
定数Ｋは、画像データがＲＡＷデータであるか、ＪＰＥＧデータであるかなどによって大きく異なるが、何れも画素の階調数により決定することが望ましい。例えば、１６３８３階調のＲＡＷデータの場合、定数Ｋは１００〜１５０程度で良い。また、２５５階調のＪＰＥＧ画像の場合、定数Ｋは１５〜２０程度で良い。

次に補正データ作成部６０は、Ｓ２０４で取得された色差配列Ｃ［ｍ］の中から最大値、最小値を取得し（Ｓ３０３）、Ｓ３０２で定義したＴｍａｘ、Ｔｍｉｎを用いて、以下の処理により色差がＯＫであるかＮＧであるかの判定を行う（Ｓ３０４）。
Ｃｍａｘ：Ｓ２０４で取得した色差配列Ｃ［ｍ］の中の最大値
Ｃｍｉｎ：Ｓ２０４で取得した色差配列Ｃ［ｍ］の中の最小値
−−（Ｓ３０４：ＣｍａｘがＴｍａｘ以下、かつ、ＣｍｉｎがＴｍｉｎ以上であればＯＫ、それ以外はＮＧと判定）−−
IF( (Tmax ≧ Cmax) AND (Cmin ≧ Tmin)){
RETURN OK;
}
ELSE{
RETURN NG;
}
−−−−−−−−

Ｔｍａｘ、Ｔｍｉｎ、Ｃ０［ｍ］、Ｃ［ｍ］の関係を図８に示す。図８（ａ）は補正前の色差配列Ｃ０［ｍ］と、設定されたＴｍａｘ、Ｔｍｉｎの関係を、図８（ｂ）はＢプレーンの注目領域を１〜３画素移動した場合の色差配列Ｃ［ｍ］とＴｍａｘ、Ｔｍｉｎの関係をそれぞれ示す。この例では、１画素移動時と２画素移動時はＯＫと判定されるが、３画素移動した場合はＮＧと判定される。

図８に対応させ、補正前と１〜３画素移動させた場合のエッジの色ズレ状態を図９（ａ）〜（ｄ）に示す。ＮＧと判定される３画素移動時には、Ｂプレーンの過補正が生じ、エッジの色が補正前の黄色から補正後には青に変わることがわかる。

図５に戻り、Ｓ２０６は、色差判定Ｓ２０５でＯＫと判定された場合のみ実行されるステップである。補正データ作成部６０は、Ｂプレーンの移動後の注目領域と、Ｇプレーンの注目領域において、Ｓ２０１と同様に差分絶対値和Ｓ［ｊ］を取得する。

Ｓ２０７で補正データ作成部６０は、予め設定した最大移動量まで注目領域を移動したかどうかを判定し、未だ最大移動量まで移動していない場合は、処理をＳ２０３に戻す。注目領域の最大移動量は、色ズレ量よりも大きな値にする必要があるが、過剰に大きな値とすると処理効率の低下を招く。経験的に、注目領域の一辺の長さ分（すなわち、エッジの幅の３〜５倍程度）を最大移動量とすれば十分である。

Ｓ２０５により色差がＮＧと判定された場合、もしくは、Ｓ２０７で注目領域を最大移動量まで移動させたと判定された場合は、補正データ作成部６０は、Ｓ２０８で注目領域をリセットする。これは、Ｓ２０３からＳ２０７において、Ｂプレーンの注目領域を光学中心方向へ順次移動させながら、色差の判定と差分絶対値和の取得を行った後、Ｂプレーンの注目領域を補正前の位置に戻す処理である。

Ｓ２０９からＳ２１３の処理は、Ｂプレーンの注目領域を、補正前の位置から光学中心とは逆方向へ順次移動させながら色差の判定と差分絶対値和の取得を行う処理である。それぞれのステップで行う処理は、注目領域の移動方向以外はＳ２０３からＳ２０７と同等であるため、説明を割愛する。

Ｓ２１４で補正データ作成部６０は、これまでに取得した差分絶対値和の中から最小となる値を探し、その時の注目領域の移動量を色ズレ量と決定する。この時、Ｇプレーンに対し、Ｒプレーン（もしくはＢプレーン）が光学中心方向へずれている場合は負の色ズレ量とし、Ｇプレーンに対し、Ｒプレーン（もしくはＢプレーン）が光学中心とは逆方向へずれている場合は正の色ズレ量とする。

このように、本実施形態では、差分絶対値和による画素値の類似度の判定だけで色ズレ量を決定するのではなく、過補正によるエッジ部分の色変化が生じるかどうかを色差の変化量から判定し、過補正とならない範囲内で色ズレ量を決定する。そのため、補正前後で違和感が無い適切な色ズレ量を取得することができる。

なお、本実施形態では、色ズレ量の取得精度を１画素としたが、Ｓ２１４において、最小の差分絶対値和を判定する際に、取得した差分絶対値和を補間することで、１画素未満の精度で色ズレ量を取得してもよい。あるいは、Ｓ２０３とＳ２０９において、注目領域内の画素間を補間することで１画素未満の単位で注目領域をずらすことで、１画素未満の精度で色ズレ量を取得してもよい。

さらに、本実施形態では、Ｓ２０２とＳ２１０における色差取得及び、Ｓ２０５とＳ２１１における色差判定を、一次元の注目ラインに対して行ったが、差分絶対値和の取得と同様の二次元の注目領域に対して行ってもよい。この場合も、Ｓ２０５とＳ２１１における色差の判定は、最小値や最大値の検出範囲が二次元になる以外、変更する必要なく実施できる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態は、Ｓ２０５及びＳ１１１で実施する色差判定の方法以外第１の実施形態と同様であるため、色差判定の方法についてのみ説明する。

図７（ｂ）は、第２の実施形態においてＳ２０５及びＳ２１１で実施する色差判定の詳細を説明するフローチャートである。
第２の実施形態における色差判定で、補正データ作成部６０は、
下記判定（Ｓ４０１，Ｓ４０２，Ｓ４０３）を、Ｃ０［ｊ］、Ｃ［ｊ］における全てのｊ（０〜ｍ−１）に対して行い（Ｓ４０４，Ｓ４０５）、ＮＧと判定される画素が存在するかを判定する。そして、補正データ作成部６０は、ＮＧと判定されるｊが無い場合は、色差がＯＫと判定する（Ｓ４０４，Ｓ４０５）。

Ｔａ ：色差判定閾値１
Ｔｂ ：色差判定閾値２
−−−（Ｓ４０１：補正前後で色差の符号の反転がないか？）−−−
IF((C0[j] ≧ 0 AND C[j] ≧ 0) OR (C0[j] ＜ 0 AND C[j] ＜ 0)){
−−−（Ｓ４０２：補正前後で色差の符号の反転がない場合、色差変化量が色差判定閾値１（Ｔａ）を超えればＮＧ判定）−−−
IF(|C[j]| - |C0[j]| ＞ Ta){
RETURN NG;
}
}
−−−（Ｓ４０３：補正前後で色差の符号の反転がある場合、補正後の色差絶対値が色差判定閾値２（Ｔｂ）を超えればＮＧ判定）−−−−
ELSE{
IF(|C[j]| ＞ Tb){
RETURN NG;
}
}
−−−−−−−−−−−−

色差判定閾値Ｔａ、Ｔｂは、画像データがＲＡＷデータであるか、ＪＰＥＧデータであるかなどによって大きく異なるが、何れも画素の階調数により決定することが望ましい。例えば、１６３８３階調のＲＡＷデータの場合、色差判定閾値Ｔａ，Ｔｂはいずれも１００〜１５０程度で良い。また、２５５階調のＪＰＥＧ画像の場合、色差判定閾値Ｔａ，Ｔｂはいずれも１５〜２０程度で良い。

本実施形態によれば、画素単位で色差の判定を行う。そのため、第１の実施形態の効果に加え、注目ライン上での色差の最大値もしくは最小値があまり変化しない場合でも、色差が大きく変わる画素が生じる補正を抑制することが可能になる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本実施形態は、Ｓ２０５及びＳ２１１で実施する色差判定の方法以外第１及び第２の実施形態と同様であるため、色差判定の方法についてのみ説明する。

図１０は、第３の実施形態においてＳ２０５及びＳ２１１で実施する色差判定の詳細を説明するフローチャートである。
まず、補正データ作成部６０は、色差演算部６１により、補正前の色差Ｃ０［ｍ］の正の総和と負の絶対値総和を求め（Ｓ５０１）、次に補正後の色差Ｃ［ｍ］の正の総和と、負の絶対値総和を求める（Ｓ５０２）。

そして、補正データ作成部６０は、下記判定（Ｓ５０３，Ｓ５０４，Ｓ５０５，Ｓ５０６，Ｓ５０７）により色差がＯＫかＮＧかを判定する。
Ｃ０ｐ ：補正前の色差Ｃ０［ｍ］の正の総和
Ｃ０ｍ ：補正前の色差Ｃ０［ｍ］の負の絶対値総和
Ｃ１ｐ ：補正後の色差Ｃ［ｍ］の正の総和
Ｃ１ｍ ：補正後の色差Ｃ［ｍ］の負の絶対値総和
Ｔ ：色差判定閾値

−−（Ｓ５０３：正の総和、負の絶対値総和とも、補正後が補正前より減少していればＯＫと判定）−−−
IF((C0p ≧ C1p) AND (C0m ≧ C1m)){
RETURN OK;
}
−−（Ｓ５０４：正の総和、負の絶対値総和とも、補正後が補正前より増加していればＮＧと判定）−−−
ELSE IF((C0p ＜ C1p) AND (C0m ＜ C1m)){
RETURN NG;
}
−−（Ｓ５０５，Ｓ５０７：補正後、正の総和は増加し、負の絶対値総和が減少している場合、正の総和の増加量が閾値以下ならＯＫ、閾値を超えればＮＧと判定）−−−
ELSE IF((C0p ＜ C1p) AND (C0m ≧ C1m)){
IF(C1p - C0p ＞ T){
RETURN NG;
}
ELSE{
RETURN OK;
}
}
−−（Ｓ５０５，Ｓ５０６：補正後、正の総和は増加せず、負の絶対値総和が増加している場合、負の絶対値総和の増加量が閾値以下ならＯＫ、閾値を超えればＮＧと判定）−−−
ELSE IF((C0p ≧ C1p) AND (C0m ＜ C1m)){
IF(C1m - C0m ＞ T){
RETURN NG;
}
ELSE{
RETURN OK;
}
}

色差判定閾値Ｔは、画像データがＲＡＷデータであるか、ＪＰＥＧデータであるかなどによって大きく異なるが、何れも画素の階調数及び注目領域の大きさにより決定することが望ましい。

本実施形態によれば、補正前後の色差の正の総和と負の絶対値の総和の増減に基づいて色差の判定を行う。そのため、注目領域全体の色差の傾向が補正前後でどのように変化するかという総合的な色差の変化に基づく判定がなされる。本実施形態においても、補正前後の色差の変化が大きくなる補正を抑制できるため、過補正を抑制することができる。

（その他の実施形態）
第１〜第３の実施形態で説明した色差の判定方法は、排他的なものではなく、それらを組み合わせて用いても良い。いずれかの判定方法を例えば画像の特徴などに応じて動的に選択する構成としてもよい。

さらに、上述の実施形態は、画像処理装置の一例としての、光学系や撮像素子を含む撮像装置に本発明を適用した構成について説明した。しかし、本発明において光学系や撮像素子は必須でない。撮像レンズを用いて撮像された、複数の色プレーンを有する任意の画像データから色ズレ量を取得可能であり、画像データの形式やデータの取得方法に制限はない。また、図２におけるＡ／Ｄ変換部３０、色分離部４０、エッジ抽出部５０、補正データ作成部６０及び補正部７０の少なくとも一部は、撮像装置１００の図示しない制御部を構成するコンピュータがソフトウェア的に実現してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 複数の色プレーンで構成される撮像画像の色ズレを補正する画像処理装置であって、
   前記撮像画像の光学中心からの距離が異なる複数のエッジ部分における、前記複数の色プレーンのうちの第１の色プレーンに対する第２の色プレーンの色ズレの量を取得する取得手段と、
   前記複数のエッジ部分にて取得された前記色ズレの量から前記撮像画像の中心からの距離に基づく補正データを作成し、前記補正データを用いて前記第２の色プレーンの画素値を補正する補正手段とを有し、
   前記取得手段が、前記第１の色プレーンと前記第２の色プレーンとの間で、エッジ部分を含んだ注目領域内における複数の画素の色差を、前記第１の色プレーンの注目領域に対する前記第２の色プレーンの注目領域の位置を順次移動させながら求める色差演算手段を有し、
   前記色差演算手段が、前記第２の色プレーンを移動しない状態で求めた色差と前記第２の色プレーンを移動させた状態で求めた色差との変化の大きさが予め定められた範囲内となる前記第２の色プレーンの移動量のうちのいずれかを、前記注目領域に含まれる画素の色差の差分絶対値和に基づいて、前記第１の色プレーンに対する前記第２の色プレーンの色ズレの量として取得し、
   前記補正手段が、前記取得手段にて取得された前記複数のエッジ部分における色ズレの量と、前記複数のエッジ部分の前記撮像画像の中心からの距離とに基づいて、前記補正データを生成することを特徴とする画像処理装置。
2. 前記色差演算手段が、前記第１の色プレーンと前記第２の色プレーンとの間で、前記注目領域内に設定した色差取得領域に含まれる画素毎の色差を求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記色差取得領域は、複数の画素を含むラインであることを特徴とする請求項２に記載の画像処理装置。
4. 前記色差演算手段は、前記第２の色プレーンの注目領域を、前記撮像画像の光学中心に近づく方向もしくは離れる方向に移動させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記補正手段が、前記取得手段にて取得された前記複数のエッジ部分における色ズレの量と、前記複数のエッジ部分の前記撮像画像の中心からの距離とに基づいて、前記色ズレと前記撮像画像の中心からの距離の関係を表す近似式を算出することによって、前記補正データを生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記取得手段が、
   前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差の最大値に対する、前記第２の色プレーンを移動した状態で求めた前記注目領域の色差の最大値の増加が予め定めた閾値以下であり、前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差の最小値に対する、前記第２の色プレーンを移動した状態で求めた前記注目領域の色差の最小値の減少が前記閾値以下であれば、前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた色差と、前記第２の色プレーンを移動させて求めた色差との変化の大きさが前記予め定められた範囲内であると判定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得手段が、
   前記注目領域で求められた画素毎の色差の各々が、
   （１）前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差と、前記第２の色プレーンを移動した状態で求めた前記注目領域の色差とで符号が反転しておらず、かつ色差の変化量が予め定めた閾値以下である、
   （２）前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差と、前記第２の色プレーンを移動した状態で求めた前記注目領域の色差とで符号が反転しており、前記第２の色プレーンを移動した状態で求めた前記注目領域の色差の絶対値が予め定めた閾値以下である、
   のいずれかを満たす場合、
   前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた色差と、前記第２の色プレーンを移動させて求めた色差との変化の大きさが予め定められた範囲内であると判定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記色差演算手段が、
   前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差の正の色差の総和と、負の色差の絶対値の総和と、前記第２の色プレーンを移動した状態で求めた前記注目領域の色差の正の色差の総和と、負の色差の絶対値の総和とを求め、
   前記取得手段が、
   （１）前記第２の色プレーンを移動した状態で求めた前記注目領域の色差の正の色差の総和と、負の色差の絶対値の総和のいずれもが、前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差の正の色差の総和と、負の色差の絶対値の総和に対して減少している、
   （２）前記第２の色プレーンを移動した状態で求めた前記注目領域の色差の正の色差の総和が前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差の正の色差の総和に対して増加し、前記第２の色プレーンを移動した状態で求めた前記注目領域の色差の負の色差の絶対値の総和が前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差の負の色差の絶対値の総和に対して減少しており、かつ、前記正の色差の増加量が予め定めた閾値以下である、
   （３）前記第２の色プレーンを移動した状態で求めた前記注目領域の色差の正の色差の総和が前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差の正の色差の総和に対して減少し、前記第２の色プレーンを移動した状態で求めた前記注目領域の色差の負の色差の絶対値の総和が前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた前記注目領域の色差の負の色差の絶対値の総和に対して増加しており、かつ、前記負の色差の絶対値の総和の増加量が予め定めた閾値以下である、
   のいずれかを満たす場合、
   前記色差演算手段が前記第２の色プレーンを移動しない状態で求めた色差と、前記第２の色プレーンを移動させて求めた色差との変化の大きさが予め定められた範囲内であると判定することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
9. 複数の色プレーンで構成される撮像画像の色ズレを補正する画像処理装置の制御方法であって、
   取得手段が、前記撮像画像の光学中心からの距離が異なる複数のエッジ部分における、前記複数の色プレーンのうちの第１の色プレーンに対する第２の色プレーンの色ズレの量を取得する取得工程と、
   補正手段が、前記複数のエッジ部分にて取得された前記色ズレの量から前記撮像画像の中心からの距離に基づく補正データを作成し、前記補正データを用いて前記第２の色プレーンの画素値を補正する補正工程とを有し、
   前記取得工程は、
   前記取得手段が、前記第１の色プレーンと前記第２の色プレーンとの間で、エッジ部分を含んだ注目領域内における複数の画素の色差を、前記第１の色プレーンの注目領域に対する前記第２の色プレーンの注目領域の位置を順次移動させながら求める色差演算工程を有し、
   前記取得工程において前記取得手段は、前記色差演算工程が前記第２の色プレーンを移動しない状態で求めた色差と前記第２の色プレーンを移動させた状態で求めた色差との変化の大きさが予め定められた範囲内となる前記第２の色プレーンの移動量のうちのいずれかを、前記注目領域に含まれる画素の色差の差分絶対値和に基づいて、前記第１の色プレーンに対する前記第２の色プレーンの色ズレの量として取得し、
   前記補正工程において前記補正手段は、前記取得工程で取得された前記複数のエッジ部分における色ズレの量と、前記複数のエッジ部分の前記撮像画像の中心からの距離とに基づいて、前記補正データを生成することを特徴とする画像処理装置の制御方法。
10. コンピュータを、請求項１乃至請求項８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images