JP4706635B2 - 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ - Google Patents

Description

本発明は、画像処理装置、画像処理プログラム、および電子カメラに関する。

一般に、電子カメラでは、撮影光学系の倍率色収差によって、撮像された画像データに色ズレを生じることが知られている。このような色ズレを、画像処理によって補正する技術が従来提案されている。

例えば、特許文献１の従来装置は、まず、画像のエッジ部分について色ズレを検出し、その色ズレに基づいて画像処理を行って倍率色収差を補正する。
また、特許文献２の従来装置は、画像の色コンポーネントごとに倍率調整を行い、色コンポーネント間の差分の最小点を探すことで、倍率色収差を補正する。
また、特許文献３には、動画撮影時などに発生する色ずれを補正する技術として、局所的に色ずれを検出する技術が記載されている。
特開２０００−２９９８７４号公報 特開２００２−３４４９７８号公報（図１，図３） 特許２５２８８２６号

ところで、単板式の撮像素子を搭載した電子カメラでは、撮像面にＲＧＢなどの色フィルタが配列され、画素単位に色成分一種類ずつを配置したＲＡＷデータが生成される。
電子カメラは、このＲＡＷデータの欠落色成分を色補間処理で生成することにより、画素ごとに全色揃った画像データを生成する。この色補間処理に伴って、画像データには偽色ノイズが発生する。この偽色ノイズを軽減するため、電子カメラは、画像データの色差成分に対して空間周波数ローパスフィルタを施す（以下、この処理を『色差ＬＰＦ』という）。
本願発明者は、この色差ＬＰＦや偽色の影響によって、特許文献１，２における収差量の検出や補正に弊害を生じることに気が付いた。以下、この弊害について説明する。

［色差ＬＰＦによる弊害］
空間周波数の高い画像領域（つまりエッジ部分や微細な絵柄部分）では、倍率色収差による色ズレが、細かな色差変化となって現れる。この細かな色差変化は、高域の色差成分となるため、上述した色差ＬＰＦによって除去される。その結果、空間周波数の高い画像領域では、色差ＬＰＦの処理よって倍率色収差の色ズレが軽減される。
一方、空間周波数の低い画像領域（緩やかに変化するグラデーション部分）では、倍率色収差による色ズレが、緩やかで低域の色差変化となって現れる。この低域の色差変化は、上述した色差ＬＰＦでは除去されずに、そのまま通過する。すなわち、空間周波数の低い画像領域では、色差ＬＰＦの処理を経ても倍率色収差の色ズレが残存する。
このように色差ＬＰＦを経ることによって、画面内において、倍率色収差の軽減された領域と、倍率色収差の残存した領域とが混在した状態（ムラ）となる。
上述した特許文献１，２は、倍率色収差による色ズレが画面中心（光軸中心）に対して点対称に発生することを前提とする。しかしながら、色差ＬＰＦを経ると、倍率色収差にはムラが生じ、この点対称性は簡単に崩れてしまう。このような状態で、収差量検出を行えば、検出結果に誤りが生じるようになる。

［偽色による弊害］
ところで、上述した倍率色収差の検出や補正に対する弊害を避けるために、色差ＬＰＦを外したり、弱めたりすると、今度は色補間時の偽色ノイズがそのまま残存するという問題を生じる。この場合、画面内には、倍率色収差による色ズレと、偽色ノイズとが複雑に混在した状態となる。このような状態でも、収差量の検出結果に誤りが生じるようになる。
特に、特許文献１，２では、倍率色収差の色ズレ補正を画面に対して一律に施すため、この誤りを避けることができない。そのため、色差ＬＰＦによって倍率色収差の色ズレが予め軽減されている領域では、色ズレ補正が過剰に作用し、しばしば逆方向の色ズレを生じてしまう。その結果、一段と複雑な偽色ノイズが生じてしまう。

［色ずれが中心点対称に発生していない場合の弊害］
また、特許文献１，２では、画像の画面中心を、撮影時に使用した撮影レンズの光軸とし、この光軸を中心として規則的に倍率色収差が発生することを前提としている。したがって、あおりレンズや手振れ補正機能付きレンズのように、倍率色収差の中心が画面中心からずれる場合には、これを補正することができない。また、処理対象の画像がトリミング後の画像であって、光軸に対応する位置がわからない場合も補正することができない。
なお、前述した特許文献３では、局所的に色ずれを検出する。しかし、補正を行う必要のない箇所でも検出を行うため、処理に時間がかかる。また、補正対象箇所の位置や構造によらず、すべての箇所で同じように色ずれを検出するため、余計な処理時間がかかる。さらに、補正が適切に行われない場合もある。

［本発明の目的］
そこで、本発明は、複数の色成分面を有する画像に対し、色ずれ補正を適正化するための技術を提供することを目的とする。
また、本発明は、画像の色ずれ補正に際して、色ずれの誤補正を監視するという新しいアイデアを提案することを目的とする。
また、本発明は、偽色などの影響を勘案することで、倍率色収差の色ずれを正しく検出する技術を提案することを目的とする。

本発明の画像処理装置は、複数の色成分面で表された画像に対して画像処理を施す画像処理装置であって、補正手段、および誤補正検出手段を備える。
この補正手段は、画像の取得時に用いられた光学系の収差によって画像に生じた色ずれを補正する。
一方、誤補正検出手段は、補正手段による補正前後の画像を比較して、補正手段による誤補正を判定する。

なお好ましくは、誤補正検出手段は、補正手段により色ずれが補正された補正画像の処理対象箇所の色差が、補正前の画像を基準に設定される許容範囲内にない場合を誤補正とすることを特徴とする。

また好ましくは、誤補正検出手段は、補正画像の色差を許容範囲内に制限することにより、誤補正を抑制することを特徴とする。

なお好ましくは、誤補正検出手段は、補正前の画像の処理対象箇所を含む局所域の色差、および所定の低彩度色差からなる群の最小色差から最大色差までを求めて、許容範囲とすることを特徴とする。

また好ましくは、補正手段は、誤補正検出手段が誤補正を判定すると、色ずれの補正のずらし幅を抑制することにより、誤補正を抑制することを特徴とする。

なお好ましくは、上記の光学系の収差は、倍率色収差であり、補正手段は、倍率色収差をうち消す方向に、色成分面の倍率調整（リサイズ）を行うことを特徴とする。

本発明の画像処理プログラムは、コンピュータを、本発明の画像処理装置として機能させることを特徴とする。

本発明の電子カメラは、本発明の画像処理装置と、被写体像を撮像して画像を生成する撮像部とを備える。この電子カメラでは、撮像部で生成された画像が画像処理装置で処理される。

本発明の画像処理装置は、単に色ずれを検出して補正するだけではなく、その色ずれの補正に伴い、補正前後の画像について比較を実施する。その比較結果から、色ずれの誤補正を判別する。
このように色ずれの誤補正発生を監視することによって、色ずれ補正を実施するだけでは対処できなった誤補正の問題に対して、警告や事後的な対処が可能になる。

例えば、誤補正箇所に限って色ずれ補正を修復するなどの対処が可能になる。
また例えば、誤補正箇所が所定数（所定面積）以上となった場合、その判定結果を参考材料にして、色ずれ補正を修正してやり直すなどの対処が可能になる。

特に、本発明の画像処理装置は、色ずれ補正の前後の色差変化に従って、誤補正を検出する。通常、色ずれが正しく補正されれば、色ずれ箇所の異常な色差は打ち消される方向に変化する。一方、色ずれが過剰に補正され、逆向きの色ずれが生じる場合には、色ずれ箇所の色差は逆符号に変化することが多い。そこで、色ずれの補正前後において色差変化を監視することによって、誤補正を一段と適確に判定することが可能になる。

なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。

第１の実施形態におけるプログラムを説明する流れ図である。 分割領域と動径方向の設定例を示す図である。 レベル変化箇所の検出を説明する図である。 倍率差のヒストグラム分布を示す図である。 逆向きの色ズレの軽減作用を説明する図である。 許容範囲による効果を説明する図である。 第２の実施形態における領域分割を説明する流れ図である。 変位ベクトルの算出を説明する図である。 コンピュータ１０の構成を示すブロック図である。 第３の実施形態の動作を示すフローチャートである。 色ずれ検出方向について説明する図である。 フィルタについて説明する図である。 エッジの幅の検出について説明する図である。 動径方向について説明する図である。 エッジの幅の検出について説明する図である。 第５の実施形態の動作を示すフローチャートである。 電子カメラの実施形態を示す図である。

《第１の実施形態》
図１は、画像処理プログラムによるコンピュータ動作を説明する流れ図である。この画像処理プログラムにより、コンピュータを、画像処理装置として機能させることができる。
以下、図１に示すステップ番号に沿って、第１の実施形態の動作を説明する。

［ステップＳ１］
コンピュータは、電子カメラで撮像された画像データ（以下『入力画像』という）を、記録媒体や通信インターフェースを経由して取り込む。この入力画像には、電子カメラ内において、色補間および色差ＬＰＦが既に施されている。

［ステップＳ２］
コンピュータは、入力画像の画面内に、撮影光学系の光軸中心を設定する。通常は、入力画像の画面中心を、この光軸中心としてデフォルト設定する。なお、コンピュータは、入力画像の付随情報（Exif情報など）から、光軸中心の位置を取得してもよい。特に、クロップ画像（トリミング等した部分画像）について光軸中心の位置を取得することが好ましい。
次に、コンピュータは、この光軸中心を原点にして入力画像を周方向に分割し、複数の分割領域と、各分割領域の動径方向を設定する。
図２は、この分割領域と動径方向の設定例を示す図である。この設定では、まず、入力画像を８個の分割領域Ｎ、ＮＥ、Ｅ、ＳＥ、Ｓ、ＳＷ、Ｗ、ＮＷに分割し、分割領域ごとに図示する矢印を動径方向とする。
続いて、コンピュータは、入力画像のＲＧＢ成分から輝度Ｙを下式などによって簡易に演算する。
Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３
コンピュータは、倍率色収差が視認可能な画面域（光軸中心から最大像高の５割以上離れた領域など）において、輝度Ｙの動径方向のレベル変化を算出する。
ここでは、動径方向を分割領域ごとに固定することで、下式に基づいた簡易演算を行うことが可能になる。
分割領域Ｎ ： gradY(x,y)＝Y(x,y-1)-Y(x,y)
分割領域ＮＥ： gradY(x,y)＝Y(x+1,y-1)-Y(x,y)
分割領域Ｅ ： gradY(x,y)＝Y(x+1,y)-Y(x,y)
分割領域ＳＥ： gradY(x,y)＝Y(x+1,y+1)-Y(x,y)
分割領域Ｓ ： gradY(x,y)＝Y(x,y+1)-Y(x,y)
分割領域ＳＷ： gradY(x,y)＝Y(x-1,y+1)-Y(x,y)
分割領域Ｗ ： gradY(x,y)＝Y(x-1,y)-Y(x,y)
分割領域ＮＷ： gradY(x,y)＝Y(x-1,y-1)-Y(x,y)
コンピュータは、求めたgradY(x,y)の絶対値が、所定値Ｔｈ（たとえば２５６階調データにおいて１０程度）以上を示す画素位置(x,y)を探索する。
このとき、コンピュータは、図３に示すような箇所において、明暗の変わり始める始点ａと、変わり終わる終点ｂとを求める。次に、コンピュータは、これらａｂの中間点ｃをレベル変化箇所として記憶し、ａｂ間の距離をエッジの太さとして記憶する。
なお、このレベル変化箇所の検出は、画面上において所定のサンプリング間隔を置いて離散的に実施してもよい。

［ステップＳ３］
コンピュータは、レベル変化箇所を中心に局所的なウィンドウを設定し、このウィンドウ内のＧ配列を取得する。さらに、コンピュータは、このウィンドウを動径方向に変位させた位置からＲ配列を取得する。次に、コンピュータは、Ｇ配列の平均値とＲ配列の平均値とが一致するようにＲ配列の各信号レベルを調整した後、Ｇ配列とＲ配列の要素単位の差分を取り、この差分の絶対値を累積加算して重ね合わせ誤差を求める。
コンピュータは、Ｇ配列に対するＲ配列の変位幅を変化させながら、重ね合わせ誤差が最小（または極小）となる変位幅を探索し、このときの変位幅をＲＧ成分間の色ズレ幅として記憶する。
なお、このとき、重ね合わせ誤差の値を内挿することにより、色ズレ幅を画素間隔以下の精度で求めることが好ましい。
また、ステップＳ２で求めたエッジ太さが太いほど、このウィンドウを広く設定することが好ましい。特に、ウィンドウの幅をエッジ太さの４倍程度に設定することが好ましい。このようなウィンドウ調整により、急峻なエッジと、緩やかなエッジの双方において、エッジ部分のレベル変化の特徴をウィンドウ内に収めることが可能となる。その結果、急峻なエッジと、緩やかなエッジの双方において、色ズレ幅を適切に検出することが可能になる。

［ステップＳ４］
コンピュータは、レベル変化箇所ごとに求めた色ズレ幅を、そのレベル変化箇所の像高（光軸中心からの動径）でそれぞれ割って、Ｒ面とＧ面の倍率差を算出する。

［ステップＳ５］
コンピュータは、レベル変化箇所ごとに求めた倍率差の度数を集計して、ヒストグラム分布を作成する。
図４は、このヒストグラム分布の一例を示す図である。図４に示す実線は、上述した色差ＬＰＦ後の入力画像について求めたヒストグラム分布である。この場合の最頻度値はほぼゼロの値をとる。これは、色差ＬＰＦによって倍率色収差の大部分が軽減されていることを示す。一方、この最頻度値から広がる裾野形状は非対称となり、図４ではマイナス側に偏った裾野形状を示す。この裾野形状の偏りは、残存する倍率色収差を示すものである。すなわち、残存する倍率色収差による倍率差がほぼ一様にマイナスの値をとるためである。したがって、求めるべき撮影光学系の真の倍率差は、この裾野形状の偏った側に存在する。
一方、図４に示す点線は、ＲＡＷデータ（色補間前および色差ＬＰＦ前のデータ）について、実験的に倍率差のヒストグラム分布をとったものである。このＲＡＷデータの場合、色差ＬＰＦによる倍率色収差の軽減作用を受けていないため、最頻度値を中心として裾野形状はほぼ対称形になり、ほぼ正規分布になると考えられる。この場合、最頻度値の値が、求めるべき撮影光学系の倍率差を示していると考えてよい。

［ステップＳ６］
しかしながら、電子カメラ側においてＲＡＷデータが保存されず、色差ＬＰＦ後の入力画像のみの場合には、実線ヒストグラムから倍率差を求める必要がある。そこで、改めて両ヒストグラムの特徴を比較すると、つぎのような経験則が見いだせる。
（１） まず、実線ヒストグラムの最大度数の２割程度に該当する裾野範囲を求め、この裾野範囲の上下限の内、絶対値の大きな方の倍率差の値を選択する。この処理により、ＲＡＷデータから得られる最頻度値の倍率差とほぼ等しい値を推定できる。
（２） また、ＲＡＷデータから求めた最頻度値の倍率差は、色差ＬＰＦ後の入力画像から求めた実線ヒストグラムの裾野形状の偏った側のほぼ中央の値にも等しい。
（３） さらに、実線ヒストグラムの偏りの少ない側を、最頻度値を中心に対称に折り返すことで色差ＬＰＦの影響を受けた箇所の倍率差バラツキを推定できる。これを実線ヒストグラムから減算することにより、倍率色収差の残存する箇所のみの倍率差バラツキを抽出することができる。この抽出された倍率差バラツキについて最頻度値や平均値や中央値などを求めることで、色差ＬＰＦの影響を受けない『真の倍率差』を推定することもできる。
コンピュータは、ここでは上記（１）（２）（３）のいずれかの推定方法に従って、色差ＬＰＦ後の実線ヒストグラムから撮影光学系の倍率差を算出し、Ｒ面の倍率差係数ｋとして記憶する。

［ステップＳ７］
このように求めたＲ面の倍率差係数ｋを用いて、コンピュータは、Ｒ面の倍率調整を行い、Ｇ面とＲ面の色ズレを補正する。
しかしながら、色差ＬＰＦの影響を受けた箇所にまで色ズレ補正を施すと、逆向きの色ズレを発生してしまう。そこで、コンピュータは、この逆向きの色ズレを抑制するため、色ズレ補正後の色差の許容範囲を定める。
この許容範囲の第１候補として、コンピュータは、入力画像の画素位置ごとに色差データＣｒを求める。この色差データＣｒは、入力画像の画素位置(x,y)ごとに
Ｃｒ＝Ｒ(x,y)−Ｇ(x,y)
を算出すればよい。

［ステップＳ８］
次に、コンピュータは、Ｒ面の倍率差係数ｋを用いて下式を算出し、Ｇ面の画素位置(x,y)ごとに、対応するＲ面の色ズレを変位ベクトル(dx,dy)として求める。
dx=-k(x-xo)
dy=-k(y-yo)
ただし、(xo,yo)は光軸中心である。
続いて、コンピュータは、Ｇ面の画素位置(x,y)と変位ベクトル(dx,dy)とから、倍率色収差によって変位したＲ画素の位置(x-dx,y-dy)を求め、参照位置とする。

［ステップＳ９］
次に、コンピュータは、入力画像の補間処理により、参照位置(x-dx,y-dy)における画素値Ｒ′，Ｇ′を算出する。
続いて、コンピュータは、上述した許容範囲の第２候補として、参照位置の色差Ｃｒ′を下式により算出する。
Ｃｒ′＝Ｒ′−Ｇ′

［ステップＳ１０］
さらに、コンピュータは、上述した許容範囲の第３候補として低彩度色差（ここでは色差ゼロ）を選択する。この低彩度色差は、逆向きの色ズレによって色差Ｃｒ、Ｃｒ′と異符号の色差が発生する可能性が高いために、補正後の色差を低彩度に制限しようとするものである。
そのため、低彩度色差は、色差ゼロに限らず、低彩度を示す色差であればよい。
コンピュータは、これら３つの候補を用いて、Ｇ画素位置ごとに許容範囲の上限および下限を次のように定める。
色差上限＝ｍａｘ（０，Ｃｒ，Ｃｒ′）
色差下限＝ｍｉｎ（０，Ｃｒ，Ｃｒ′）
なお、補正前画像から収集した画素位置(x,y)を含む局所域の色差と、低彩度色差とからなる色差群を収集し、この色差群の色差上限と色差下限とをもって許容範囲を決定してもよい。この許容範囲は、補正前画像から許容範囲を簡易に決定できるという利点がある。

［ステップＳ１１］
次に、コンピュータは、参照位置(x-dx,y-dy)の画素値Ｒ′と、画素位置(x,y)の画素値Ｇとから、色ズレ補正後に現れる色差(R'-G)を仮に求める。
コンピュータは、この色差(R'-G)を、ステップＳ１０で定めた色差上限および色差下限により制限する。このとき、この許容範囲から色差がはみ出す箇所が、色ずれ誤補正の検出箇所となる。
具体的には、
色差下限≦色差(R'-G)≦色差上限ならば、画素値Ｒ′を補正後のＲ成分Ｒoutとする。
色差下限＞色差(R'-G)ならば、下限の画素値（Ｇ＋色差下限）をＲ成分Ｒoutとする。
色差上限＜色差(R'-G)ならば、上限の画素値（Ｇ＋色差上限）をＲ成分Ｒoutとする。
コンピュータは、このような制限処理を、画素位置(x,y)ごとに実施することにより、
倍率色収差を補正し、かつ逆向きの色ズレを抑制したＲ面が完成する。
なお、Ｇ値を基準に色差下限および色差上限だけ振った幅で、Ｒ′値を制限する演算により、上記の誤補正の判定とその抑制とを同時に実施してもよい。
また、上記とは別の方法として、色差(R'-G)が許容範囲内にない場合には、その箇所について色ずれの補正幅を小さくして補正をやり直してもよい。また、許容範囲内にない箇所が一定量（一定面積）以上に発生した場合には、倍率差の値を小さくしてＲ面全体について色ずれ補正をやり直してもよい。

［ステップＳ１２］
次に、コンピュータは、入力画像のＢ成分についても同様の処理を実施し、色ズレ補正後のＢ成分Ｂoutを、画素位置(x,y)ごとに求める。

［ステップＳ１３］
コンピュータは、入力画像の元々のＧ成分、色ズレ補正で求めたＲ成分Ｒout、および同様の色ズレ補正で求めたＢ成分Ｂoutを、カラーコンポーネントとする出力画像を出力する。

《第１の実施形態の効果など》
図５は、本実施形態の作用効果を説明する図である。
まず、図５［Ａ］には、緩やかなエッジ（Ｒ，Ｇ）と、急峻なエッジ（Ｒ″，Ｇ″）を示す。これら両エッジの像高が等しければ、両エッジには倍率色収差による色ズレΔＣが等しく発生する。

図５［Ｂ］は、両エッジの色差をそれぞれ示したものである。この場合、色ズレΔＣによって、緩やかなエッジには、低域の色差変化（Ｒ−Ｇ）が現れる。一方、急峻なエッジには、色ズレΔＣによって、高域の色差変化（Ｒ″−Ｇ″）が現れる。

図５［Ｃ］は、この両方の色差変化に対して、色差ＬＰＦを施した結果である。この場合、緩やかなエッジでは、低域の色差変化が温存されてそのまま通過する。一方、急峻なエッジでは、高域の色差変化が色差ＬＰＦによって抑制される。

図５［Ｄ］は、色差ＬＰＦ後のＲＧ成分（図中のＲ１およびＧ）を示す。この場合、緩やかなエッジでは、色差ＬＰＦ前後のＲ成分Ｒ，Ｒ１はさほど変化せず、倍率色収差の色ズレΔＣがそのまま残存する。
一方、急峻なエッジでは、色差ＬＰＦの作用により高域の色差変化が抑制されるため、色差ＬＰＦ後のＲＧ成分（図中のＲ１″およびＧ″）の位相差が小さくなり、結果的に倍率色収差による色ズレが改善される。
このような理由から、色差ＬＰＦの完了後、空間周波数の低域箇所に倍率色収差が残存し、高域箇所では倍率色収差が軽減される。
このように、局所的な画像構造によって、画面内に倍率色収差のムラが生じる。そのため、図４に示す実線ヒストグラムは、単純な正規分布とはならず、ヒストグラムのバラツキに非対称な偏りが発生する。本実施形態のステップＳ６では、この非対称な偏りに着目することにより、本来は対称になるべき倍率差のバラツキ分布を推定し、その推定結果から真の倍率差（倍率差係数）を決定することに成功している。

図５［Ｅ］は、このように決定した倍率差係数を用いてＲ成分の色ズレΔＣを元の画素位置に戻した状態を示す。この場合、緩やかなエッジでは、図中のＲ２まで変位することにより、倍率色収差の除去に成功する。一方、急峻なエッジは、色差ＬＰＦの影響を受けているために、色ズレ補正が過剰に作用して図中のＲ２″まで変位し、逆向きの色ズレが発生してしまう。

図５［Ｆ］は、この色ズレ補正後の色差（Ｒ２−Ｇ）、および（Ｒ２″−Ｇ″）を示す。この場合、緩やかなエッジは、良好に色ズレが補正されるため、色ズレ補正の前後で色差（Ｒ２−Ｇ）は大きく変化しない。一方、急峻なエッジは、逆向きの色ズレが発生しているため、色ズレ補正の前後で色差（Ｒ２″−Ｇ″）は大きく変化する。この性質に着目して、本実施形態のステップＳ１０では色ズレ補正の前後で色差が大きく変化しないよう、許容範囲を定める。

図５［Ｇ］は、このように定められた許容範囲（図中の縦縞領域）を示す。緩やかなエッジでは、色ズレ補正の前後の色差変化が小さく、この許容範囲にほぼ収まるため、色ズレ補正の制限は積極的にはかからない。一方、急峻なエッジでは、逆向きの色ズレにより、色ズレ補正の前後の色差変化は大きく、この許容範囲によってその色差変化が積極的に制限される。

図５［Ｈ］は、色差制限を実施した色ズレ補正後の画像データである。緩やかなエッジでは、図中に示すＲ２とＧのように、色差制限が殆どかからず、良好な色ズレ補正がそのまま維持される。一方、急峻なエッジでは、図中に示すＲ３″とＧ″のように、色差制限がかかるために、色ズレ補正が弱くなる。その結果、逆向きの色ズレが抑制される。
なお、ここで説明した色差制限は、色差ＬＰＦ処理をされた画像に対してだけではなく、一般の画像の色ずれを補正するときの誤補正（特に過補正）を抑制する場合にも有効である。

図６は、色差の上限と下限をそれぞれmax（０，Ｃｒ，Ｃｒ′），min（０，Ｃｒ，Ｃｒ′）とした理由を説明する図である。
図６［Ａ］は、許容範囲の色差上限を仮にmax（０，Ｃｒ）とした場合に、画像構造が消滅してしまう一例である。この画像はＧ成分に変化がなく、Ｒ成分Ｒ１が局所的に大きく変動する。その結果、Ｒ成分Ｒ１のピーク箇所では色差も大きくなる。このＲ成分Ｒ１を図６［Ｂ］に示すように図面右方向にずらして補正すると、補正後の色差に新たなピークが生じる。この補正後の色差が大きなピークを持つのは、画像の構造に由来するものであり、偽色や副次的な色ずれによって生じるものではない。ここで、仮に色差上限max（０，Ｃｒ）とすると、許容範囲は図６［Ｃ］に示す斜線領域となり、補正後の色差は図６［Ｄ］に示すＲＧ成分のように消えてしまう。

このような画像構造の破壊を回避するためには、『参照位置の色差Ｃｒ′』または『近傍の局所域の色差群Ｃｒ』を許容範囲に反映させることが重要となる。このような工夫により、許容範囲は、図６［Ｅ］または図６［Ｆ］の斜線範囲となる。このような許容範囲では、補正後の色差ピークが保たれ、図６［Ｇ］に示すＲ２，Ｇのように画像構造が正しく保たれる。

同様にして、図６［Ｈ］は、許容範囲の色差下限をmin（０，Ｃｒ）とした場合に、画像構造が破壊される一例である。図６［I］は、許容範囲の色差上限をmax（０，Ｃｒ′）とした場合に、画像構造が破壊される一例である。図６［Ｊ］は、許容範囲の色差下限をmin（０，Ｃｒ′）とした場合に、画像構造が破壊される一例である。これらケースのいずれも、図６［Ａ］〜［Ｇ］と同様の手順で、補正後の画像構造が正しく保たれることを検証できる。

《第２の実施形態》
図７および図８は、第２の実施形態を説明する図である。
一般に、撮影光学系の光軸中心は、画像データの画面中心にほぼ位置する。そのため、通常は、画面中心に対して点対称に倍率色収差が生じる。
しかしながら、一部の撮影光学系（シフトレンズや手振れ補正レンズ）では、撮影光学系の光軸中心が、画像データの画面中心と必ずしも一致しない。また、電子カメラやコンピュータ上の処理で画像データをトリミング（クロッピング）することにより、撮影光学系の光軸中心と、画面データの画面中心とが一致しなくなるケースも想定される。また、万一にもレンズに製造誤差が発生すれば、倍率色収差が画面中心に対して点対称に生じない場合も懸念される。また、画像に生ずる色ずれは被写体の分光分布にも依存するため、領域ごとに異なった色ずれが生じる場合もある。このようなケースにおいて、画面中心に色ズレ補正を施すと、補正効果が若干低くなる。
そこで、第２の実施形態では、このように光軸中心が画面中心からずれているケースにおいても、有効な色ズレ補正を開示する。
以下、この第２の実施形態の動作を説明する。

（１） コンピュータは、上述したステップＳ２〜Ｓ４、あるいはステップＳ２１〜Ｓ２４の動作を実行し、８個の分割領域Ｎ、ＮＥ、Ｅ、ＳＥ、Ｓ、ＳＷ、Ｗ、ＮＷごとに色ズレの倍率差を算出する。

（２） 次に、コンピュータは、図７に示すように、これらの分割領域を３個ずつ組み合わせて、上側グループ（ＮＷ，Ｎ，ＮＥ）、右側グループ（ＮＥ，Ｅ，ＳＥ）、下側グループ（ＳＥ，Ｓ，ＳＷ）、左側グループ（ＳＷ，Ｗ，ＮＷ）に分類する。コンピュータは、これらの４つの分類ごとに、倍率差のヒストグラム解析を行い、４つの倍率差係数Ｋｎ，Ｋｅ，Ｋｓ，Ｋｗをそれぞれ求める。

（３） 続いて、コンピュータは、図１４に示すように、画面を右上，右下，左下，左上に区分する。コンピュータは、隣接グループの倍率差係数を組み合わせて、下式に従ってベクトル合成することにより、色ズレの変位ベクトル(dx,dy)を算出する。
右上：ｄｘ＝−ｋｅ（ｘ−ｘｏ）、ｄｙ＝−ｋｎ（ｙ−ｙｏ）
右下：ｄｘ＝−ｋｅ（ｘ−ｘｏ）、ｄｙ＝−ｋｓ（ｙ−ｙｏ）
左下：ｄｘ＝−ｋｗ（ｘ−ｘｏ）、ｄｙ＝−ｋｓ（ｙ−ｙｏ）
左上：ｄｘ＝−ｋｗ（ｘ−ｘｏ）、ｄｙ＝−ｋｎ（ｙ−ｙｏ）
ただし、(xo,yo)は画面中心である。

このように複数方向の倍率差係数をベクトル合成して使用する。このとき、各方向の倍率差係数が異なれば、上式の変位ベクトルの交差点すなわち光軸中心は、画面中心(xo,yo)からずれる。したがって、光軸中心が画面中心(xo,yo)からずれているケースであって、上記計算によって柔軟に対応することが可能となり、より適切かつ汎用的な変位ベクトルを算出することが可能になる。
なお、この変位ベクトル(dx,dy)を求めた後の動作については、第１の実施形態と同様であるため、ここでの説明を省略する。

《第３の実施形態》
第３の実施形態では、本発明の画像処理機能を備えたコンピュータを用いて説明を行う。
コンピュータ１０は、図９に示すように、制御部１，外部インタフェース部２，操作部３を備える。制御部１は、本発明の画像処理を行うためのプログラムを予め記録している。また、外部インタフェース部２は、所定のケーブルや無線伝送路を介して電子カメラなどの外部機器とのインタフェースをとる。また、操作部３は、不図示のキーボードやマウスなどを備える。

図９のような構成のコンピュータ１０において、外部インタフェース部２は、制御部１の指示にしたがって、不図示の電子カメラなどの外部機器から、画像を取り込み可能である。また、操作部３は、各種ユーザ操作を受け付ける。操作部３の状態は、制御部１によって検知される。
図１０は、色ずれ補正の大まかな流れを示す図である。以下、ステップ番号に沿って説明する。

［ステップＳ１０１］
コンピュータ１０はまず、外部インタフェース部２を介して、不図示の電子カメラなどの外部機器から画像を読み込む。なお、コンピュータ１０内の不図示の記録部に記録されている画像を読み込む（読み出す）ようにしても良い。このとき、読み込まれる画像は処理対象の画像であり、Ｒ，Ｇ，Ｂの色成分面を有する画像である。
ここでは、読み込む画像のｘ軸方向の画素数をＮｘ、ｙ軸方向の画素数をＮｙとし、原点を画像の四隅の何れかとする。

［ステップＳ１０２］
制御部１は、まず、エッジを検出する。エッジの検出は、まず、輝度Ｙを、例えば、Ｙ＝（Ｒ＋Ｇ＋Ｂ）÷３として求め、画像の全画素について輝度の微分を縦方向、横方向、斜め４５度方向、斜め１３５度方向の８方向について行う。この８方向は、図１１のａ〜ｈに示す方向である。また、輝度の微分は、ぞれぞれ図１２のａ〜ｈに示すフィルタを用いて行う。そして、８方向における輝度の微分の何れかが、所定値（例えば、２５６階調で１０程度）よりも大きい場合にその箇所をエッジとする。

制御部１は、以上の処理を画像全体について行い、エッジを検出する。
そして、検出したエッジの近傍に、数画素間隔で色ずれ方向検出箇所を設け、その箇所において上記で輝度の微分を求めた８方向のうち、輝度の微分が最も大きい方向をエッジの輝度の勾配方向とする。そして、このエッジの輝度の勾配方向を、後述する色ずれ検出方向とする。

次に、制御部１は、前述した輝度の勾配方向について、エッジの幅を検出する。図１３を用いて具体的に説明する。図１３（ａ）は処理対象の画像の全体図であり、図１３（ｂ）は、部分拡大図である。図１３中の画素Ａは前述した色ずれ検出箇所の一例を示す。なお、図１３は、輝度の勾配方向が、図１１の矢印ｄの方向である例を示す。図１３中の斜線部分は被写体領域を示す。

図１３に示すように矢印ｄの方向について、エッジの幅を検出する場合、画素Ａと、矢印ｄに沿って画素Ａに隣接する画素との微分を求める。次に、さらに隣接する画素間の微分を求め、ある画素Ｐ(ｐ)がエッジでなく、次の画素Ｐ(ｐ＋１)がエッジである場合、画素Ｐ(ｐ)を、画素Ｂとする（図１３参照）。さらに、反対方向についても同様の処理を行い、ある画素Ｐ(ｑ)がエッジであり、次の画素Ｐ(ｑ＋１)がエッジでない場合、画素Ｐ（ｑ）を、画素Ｃとする（図１３参照）。このようにして求められた画素Ｂおよび画素Ｃは、図１３に示すように、略エッジ端の画素に相当する。そして、制御部１は、画素Ｂと画素Ｃとの距離をエッジの幅とする。このエッジの幅に基づき、後述するウィンドウの大きさを決める。具体的には、ウィンドウの大きさを、エッジの幅の４倍程度にする。

さらに、制御部１は、画素Ａ，Ｂ，ＣにおいてＲの色差Ｃｒ＝（Ｒ−Ｇ）、Ｂの色差Ｃｂ＝（Ｂ−Ｇ）を求め、画素ＡのＣｒの絶対値が画素Ｂ，ＣのＣｒの絶対値よりも大きいか、または画素ＡのＣｂの絶対値が画素Ｂ，ＣのＣｂの絶対値よりも大きい場合に、画素Ａを色ずれを検出する対象とし、画素Ｂと画素Ｃとの間の領域を色ずれを補正する領域とする。ここでは、画素Ｂ，Ｃの色差の絶対値が、上記［１４］の「所定値」に対応する。すなわち、このような処理によりエッジ部分の彩度を見ることになり、色ずれの検出と補正の対象を画像のエッジに倍率色収差が発生した部分のみとすることができる。

［ステップＳ１０３］
次に、コンピュータ１０は、Ｇ成分の画像に対するＲ成分の画像の色ずれを検出する。なお、コンピュータは、Ｇ成分の画像に対するＢ成分の画像の色ずれも同様に検出する。
ここで、Ｇ成分の画像は、「複数の色成分面のうち、任意の色成分面の画像信号」に該当し、Ｒ成分の画像（Ｂ成分の画像）は、「任意の色成分面とは別の色成分面の画像信号」に該当する。

制御部１は、Ｇ成分の画像に対するＲ成分の画像の色ずれの検出を、ステップＳ１０２で定めた色ずれ検出箇所ごとに行う。制御部１は、まず、色ずれ検出箇所を中心として、ウィンドウを設ける。ウィンドウは正方形の領域とし、その一辺の長さはステップＳ１０２で求めたエッジの幅の４倍程度とする。そして、処理対象の画像のうち、Ｇ成分の画像から、ウィンドウの画像を取り出す。このＧ成分の画像から取り出したウィンドウの画像を「Ｇ成分ウィンドウ」と称する。

そして、Ｇ成分ウィンドウに対してｘ方向およびｙ方向にずらし量（ｄｘ，ｄｙ）だけずらした位置から、Ｒ成分の画像を取り出す。なお、取り出されるＲ成分の画像は、Ｇ成分ウィンドウからずらし量（ｄｘ，ｄｙ）だけずれた位置の画像であり、以下、「Ｒ成分ウィンドウ」と称する。

そして、Ｇ成分ウィンドウとＲ成分ウィンドウとの信号値の平均を求め、その値を差し引いて両者の平均信号値を揃える。そして、Ｇ成分ウィンドウとＲ成分ウィンドウとの信号値の差分の絶対値をウィンドウ全体について積分したものを、ＲとＧの重ね合わせ誤差とする。
以上をずらし量（ｄｘ，ｄｙ）を少しずつ変えながら繰り返し、ＲとＧの重ね合わせ誤差が最小（または極小）となるときのずらし量を、色ずれ検出値とし、この色ずれ検出値に基づいて倍率色収差検出値ｄ_minを決定する。このとき、３点内挿法などの演算を行うことよって、倍率色収差検出値ｄ_minを小数点以下の精度で検出するのが好ましい。

ここで、ずらし量（ｄｘ，ｄｙ）は、Ｓ２で求めた色ずれ検出方向に応じて条件付けられる。具体的には、色ずれ検出方向が横方向（図１１矢印ｃ、ｇ）の場合は、ｄｘ＝−ｄ_max・・・ｄ_max，ｄｙ＝０となり、縦方向（図１１矢印ａ、ｅ）の場合は、ｄｘ＝０，ｄｙ＝−ｄ_max・・・ｄ_maxとなり、斜め４５度方向（図１１矢印ｂ、ｆ）の場合は、ｄｘ＝ｄｙ，ｄｙ＝−ｄ_max・・・ｄ_maxとなり、斜め１３５度方向（図１１矢印ｄ、ｈ）の場合には、ｄｘ＝−ｄｙ，ｄｙ＝−ｄ_max・・・ｄ_maxとなる。

ここで、ｄ_maxは色ずれが検出される最大値であり、ｄ_max＝１０とすれば、ほとんどの色ずれに対応することができる。以上のようにｄｘとｄｙを決めると、ｄｘとｄｙをそれぞれ独立に−ｄ_maxからｄ_maxまで変えるよりもＲとＧの重ね合わせ誤差を求める回数が減り、処理を効率化できる。
なお、エッジ領域が画像の端および端に近い部分にあるときには、画像の周辺でその画像を折り返しコピーして画像を拡張し、同様の検出を行う。
制御部１は、以上説明した処理を、ステップＳ１０２で検出した色ずれ検出箇所ごとに行う。

［ステップＳ１０４］
次に、コンピュータ１０は、Ｇ成分の画像に対するＲ成分（Ｂ成分）の画像の色ずれを補正する
制御部１は、エッジ領域ごとに、Ｇ成分の画像に対するＲ成分の画像の色ずれの補正を行う。制御部１は、そのエッジ領域について、予め求めた倍率色収差検出値ｄ_minを読み出し、Ｇ成分の画像に対して、Ｒ成分の画像を、倍率色収差検出値ｄ_minが示す色ずれの方向と逆の方向に、倍率色収差検出値ｄ_minが示すずれ量だけ移動する。
なお、Ｒ成分の画像の移動が、小数点画素単位の場合は、バイキュービックやバイリニア等の既存の補間方法で中間値を生成するものとする。
制御部１は、以上説明した処理を、ステップＳ１０２で検出したエッジ領域ごとに行う。

［ステップＳ１０５］
最後に、コンピュータ１０は、ステップＳ１０１で読み込んだ画像のうち、Ｇ成分の画像（Ｇ成分の原画像）と、補正後のＲ成分の画像およびＢ成分の画像とを合成して、コンピュータ１０内の不図示の記録部に記録する。
まず、制御部１は、ステップＳ１０１で読み込んだ画像のうち、Ｇ成分の画像（Ｇ成分の原画像）と、ステップＳ１０４で補正したＲ成分の画像と、ステップＳ１０６で補正したＢ成分の画像とを合成して、コンピュータ１０内の不図示の記録部に記録する。
すなわち、Ｒ，Ｇ，Ｂの各色成分の画像のうち、輝度を担う色成分の画像であるＧ成分の画像に対して、もう一方の色成分の画像であるＲ成分の画像（またはＢ成分の画像）を移動して補正を行う。したがって、高周波成分が劣化することなく、画質（鮮鋭感）を保ったまま、倍率色収差を補正することができる。

＜変形例＞
・色ずれの検出を行った後に、検出した色ずれを評価し、評価の結果に基づいて倍率色収差の補正を行うようにしても良い。
制御部１は、エッジ領域ごとに倍率色収差検出値ｄ_minを求めた後に、エッジ領域内のある画素における倍率色収差検出値ｄ_minが、周囲の色ずれ検出箇所における倍率色収差検出値ｄ_minに比べて大きく異なる場合、その倍率色収差検出値ｄ_minを無効として、近傍の画素の倍率色収差検出値ｄ_minを代入して補正を行うようにしても良い。または、その倍率色収差検出値ｄ_minが、適切でないということをユーザに通知するようにしても良い。このように、検出した倍率色収差検出値ｄ_minを評価することにより、適切でない補正が行われるのを防ぐことができる。なお、評価は、エッジ領域内の各画素ごとに求めた倍率色収差検出値ｄ_minの標準偏差を求めることにより行い、その偏差値が３０以下か７０以上である場合には、その倍率色収差検出値ｄ_minを無効とするか、その倍率色収差検出値ｄ_minが、適切でないということをユーザに通知すると良い。
・エッジ領域内の各画素ごとに求めた倍率色収差検出値ｄ_minに対して、ローパスフィルタ処理を行ってから、補正を行うようにしても良い。特に、画像の特定の部分に対してのみ補正を行う場合、例えば、３×３の平均フィルタなどを用いてローパスフィルタ処理を行うことにより、補正量が不連続になって補正後の画像が悪化するのを防ぐことができる。
・補正前の画像と補正後の画像を比較して、誤補正を検出するようにしても良い。

制御部１は、例えば、Ｇ成分の画像に対するＲ成分の画像の色ずれを補正した場合に、Ｇ成分の画像と補正前のＲ成分の画像との信号値の差分を求め、さらに、Ｇ成分の画像と補正後のＲ成分の画像との信号値の差分を求め、２つの差分を比較する。Ｇ成分の画像と補正後のＲ成分の画像との信号値の差分の方が小さく、かつ、２つの差分が同符号である場合には、制御部１は、補正が正しく行われたと見なす。一方、Ｇ成分の画像と補正後のＲ成分の画像との信号値の差分の方が大きい場合には、制御部１は、誤補正が行われたと見なす。そして、制御部１は、求めた倍率色収差検出値ｄ_minに基づく補正よりも、補正度合いを小さくして、再び色ずれの補正を行う。

なお、このような色ずれの再補正を行う場合、元の画像に対して、色ずれの再補正を行っても良いし、一度色ずれの補正を行った後の画像に対して、逆方向に再補正を行うようにしても良い。また、補正度合いを小さくできない場合には、補正前の状態に戻しても良いし、色ずれの検出からやり直すようにしても良い。このように、誤補正の検出を行うことにより、より適切な補正を自動的に行うことができる。

以上説明したように、本実施形態によれば、複数の色成分（Ｒ，Ｇ，Ｂの各色成分）面で表された画像のうち、エッジ領域を検出して、エッジ領域ごとに、エッジの輝度の勾配方向を検出し、エッジ領域ごとに、そのエッジ領域の画像における任意の色成分面の画像信号と、任意の色成分面とは別の色成分面の画像信号との色ずれを、輝度の勾配方向について検出し、検出した色ずれを補正するエッジ領域ごとに補正する。

上述したように色補間後の画像は、色ずれ量にムラが生じ、エッジ領域ごとに色ずれ量が異なる。しかし、本実施形態のように画像からエッジ領域を選びだし、そのエッジ領域ごとに色ずれを検出して補正することにより、色補間後のような色ずれムラにも適切に対処することができる。
また、倍率色収差は、一般に、平坦部分には発生しにくく、エッジ部分に発生しやすい。したがって、エッジ領域を検出して、そのエッジ領域について色ずれの検出を行うことで、効率よく検出を行いつつ、色ずれの検出および補正にかかる処理時間を短縮することができる。

また、倍率色収差は、一般に、輝度の勾配方向に発生する場合に目立ちやすい。したがって、輝度の勾配方向を検出して、その方向について色ずれの検出を行うことで、検出の精度を落とさずに、色ずれの検出および補正にかかる処理時間を短縮することができる。また、この方法は、処理対象の画像がトリミングされた画像である場合などでも、倍率色収差検出値ｄ_minを求めることができる。

また、倍率色収差を検出する対象とされた領域と補正を行う領域を一致させることにより、局所的に発生する倍率色収差も適切に補正することができる。
したがって、上記各理由により、本実施形態によれば、処理対象の画像に発生した不規則な倍率色収差も、高精度かつ高速に補正することができる。

また、本実施形態によれば、エッジ領域ごとに、そのエッジ領域の画像の彩度を検出して、その彩度が所定値よりも高いか否かを判定し、彩度が所定値より高いと判定されると、色ずれを検出する。そのため、色ずれの検出と補正の対象は画像のエッジに倍率色収差が発生した部分のみとなり、処理が効率化される。さらに、被写体の彩度が高い領域のエッジは補正対象とはならないので、色ずれの誤検出による画像の劣化も抑えられる。

また、本実施形態によれば、エッジ領域の大きさを、エッジの幅に基づいて変更する。
一般に、くっきりとした画像（エッジの幅が狭い画像）では、色ずれの検出を行うのに適したエッジ領域の大きさは小さくて良い。一方、ピンぼけした画像（エッジの幅が広い画像）では、色ずれの検出を行うのに必要なエッジ領域の大きさはある程度大きくなければならない。したがって、エッジの幅が狭い場合には、エッジ領域の大きさを小さくし、エッジの幅が広い場合には、エッジ領域の大きさを大きくする。このようにエッジ領域の大きさを変更することにより、効率よく色ずれの検出を行うことができる。

《第４の実施形態》
以下、第４の実施形態について説明する。本実施形態では、第３の実施形態と同様に、本発明の画像処理装置が行う画像処理の機能を備えたコンピュータ１０を用いて説明を行う。なお、第４の実施形態は、第３の実施形態をより簡略化した実施形態である。
色ずれの補正の大まかな流れは第３の実施形態と同様である（図１０参照）。以下、第３の実施形態と異なるステップＳ１０２について説明する。

ステップＳ１０２において、制御部１は、エッジ領域を検出した後、輝度の勾配方向を検出する代わりに以下の処理を行う。
制御部１は、まず、処理対象の画像を、画像の中心を中心として、図１４に示すように８つの領域に分割し、エッジ領域がある領域に存在する場合には、その領域を代表する方向（矢印ａ〜ｈ）を、色ずれ検出方向とする。倍率色収差は、一般に、その画像が生成された際に用いられた光学系の光軸に対応する部分（処理対象の画像の中心に相当）を中心とした動径方向（図１４矢印ａ〜ｈの方向）に、発生することが多い。したがって、動径方向についてずらして色ずれの検出を行うことで、検出の精度を落とさずに、色ずれの検出にかかる処理時間を短縮することができる。

図１５を用いて具体的に説明する。図１５（ａ）は処理対象の画像の全体図であり、図１５（ｂ）は、部分拡大図である。図１５は、図１１の矢印ｄの方向に輝度の微分を求めている（エッジ領域が図１４領域ｄにある）例を示す。図１５中の斜線部分は被写体領域を示す。輝度Ｙは例えば、Ｙ＝（Ｒ＋Ｇ＋Ｂ）÷３とする。
図１５に示すように矢印ｄの方向に輝度の微分を求める場合、矢印ｄに沿って隣接する２画素の微分を求め、ある画素Ｐ(ｐ)がエッジでなく、次の画素Ｐ(ｐ＋１)がエッジである場合、画素Ｐ(ｐ)を、画素Ａとする（図１５参照）。さらに、続けて微分を行い、ある画素Ｐ(ｑ)がエッジであり、次の画素Ｐ(ｑ＋１)がエッジでない場合、画素Ｐ（ｑ）を、画素Ｂとする（図１５参照）。そして、最後に画素Ａと画素Ｂとの中点に相当する画素を、画素Ｃとする（図１５参照）。このようにして求められた画素Ａ〜画素Ｃは、図１５に示すように、画素Ａおよび画素Ｂは略エッジ端の画素を示し、画素Ｃは略エッジ境界上の画素を示す。

そして、画素Ａと画素Ｂとの距離をエッジの幅とする。このエッジの幅に基づき、エッジ領域の大きさを決める。具体的には、エッジ領域の大きさを、エッジの幅の４倍程度にする。
以下の各処理は、第３の実施形態と同様であるため説明を省略する。
以上説明したように、本実施形態によれば、複数の色成分（Ｒ，Ｇ，Ｂの各色成分）面で表された画像のうち、エッジ領域を検出して、エッジ領域ごとに、そのエッジ領域の画像における任意の色成分面の画像信号と、任意の色成分面とは別の色成分面の画像信号との色ずれを、画像が生成された際に用いられた光学系の光軸に対応する部分を中心とした動径方向について検出し、検出した色ずれを補正するエッジ領域ごとに補正する。
したがって、検出の精度を落とさずに、色ずれの検出および補正にかかる処理時間を短縮することができる。

《第５の実施形態》
以下、第５の実施形態について説明する。本実施形態では、第３の実施形態および第４の実施形態と同様に、本発明の画像処理装置が行う画像処理の機能を備えたコンピュータを用いて説明を行う。なお、第５の実施形態は、第３の実施形態および第４の実施形態で説明した倍率色収差の補正に加えて、色にじみを補正する実施形態である。

デジタルカメラ等で撮影を行う際、倍率色収差は色にじみの原因にもなる。例えば、Ｒのカラーフィルタに対応するＲ撮像素子が受光する波長の範囲は幅を持ち、異なる波長λ１とλ２がともにＲ撮像素子に受光される。したがって撮影レンズに倍率色収差があると、被写体の同一点から出たλ１とλ２の光がＲ撮像素子の異なる位置に結像するのでＲ成分の画像がぼけてしまい色にじみとなる。本実施形態では、この色にじみを補正する。
図１６は、この補正動作を説明する流れ図である。

［ステップＳ１１１〜Ｓ１１３］
第３の実施形態のステップＳ１０１〜１０４と同じ処理。

［ステップＳ１１４］
制御部１は、Ｇ成分の画像と補正前のＲ成分の画像との信号値の差分を求め、さらに、Ｇ成分の画像と補正後のＲ成分の画像との信号値の差分を求め、２つの差分を比較する。Ｇ成分の画像と補正後のＲ成分の画像との信号値の差分の方が小さく、かつ、２つの差分が同符号である場合には、制御部１は、補正が正しく行われたと見なす。一方、Ｇ成分の画像と補正後のＲ成分の画像との信号値の差分の方が大きい場合には、制御部１は、誤補正が行われたと見なす。そして、制御部１は、求めた倍率色収差検出値ｄ_minに基づく補正よりも、補正度合いを小さくして、再び色ずれの補正を行う。
なお、このような色ずれの再補正を行う場合、元の画像に対して、色ずれの再補正を行っても良いし、一度色ずれの補正を行った後の画像に対して、逆方向に再補正を行うようにしても良い。また、補正度合いを小さくできない場合には、補正前の状態に戻しても良いし、色ずれの検出からやり直すようにしても良い。

［ステップＳ１１５］
制御部１は、処理対象の画像全体についてＲ成分の色差Ｃｒを計算する。Ｃｒは例えば、（Ｒ−Ｇ）で与える。そして、上記で求めたＣｒの画像について、エッジ領域にローパスフィルタをかける。ローパスフィルタは、例えば、ある箇所の色差Ｃｒを、その箇所を中心とする正方形領域の加重平均値で置き換えるものとする。また、その正方形領域の広さを、ステップＳ１１３で求めた倍率色収差検出値ｄ_minに応じて決める。具体的には、上記正方形領域の一辺の長さを色ずれ検出値（単位：画素）の２〜４倍とする。
以上の処理を画像全体について行う。そして、処理後のＲの色差をＣｒ’とすると、補正後のＲ成分を、（Ｃｒ’＋Ｇ）で与える。
なお、同様の処理を、Ｂ成分についても実行する。

［ステップＳ１１６］
第３の実施形態のステップＳ１０５と同じ処理。
以上説明したように、本実施形態によれば、色ずれの補正を行った後に、エッジ領域ごとに、色差を平滑化する。一般に、倍率色収差が大きく発生するほど、色にじみの度合いも大きくなるので、このような処理を行うことにより、倍率色収差に加えて色にじみも除去することが可能となり、より画質を向上させることができる。
なお、上記で説明した方法によれば、倍率色収差に起因しない色にじみをも補正することが期待できる。

なお、上記した実施形態では、処理対象の画像がＲＧＢの色成分を含む例を示したが、シアン、マゼンダ、イエローなど別の表色系であっても良い。また、処理対象の画像に基づいて別の表色系の画像を生成し、これを処理対象の画像として同様の検出および補正を行うようにしても良い。
なお、上記した実施形態では、色ずれを検出して補正する画像処理装置について説明したが、色ずれの検出のみを行うようにしても良い。そして、このような色ずれを検出する画像処理装置を、レンズの製造工程における検品工程などに用いることができる。

《第６の実施形態》
第６の実施形態は、電子カメラの実施形態である。
図１７は、本実施形態の構成を示すブロック図である。
図１７において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。この撮像素子１３は、タイミングジェネレータ２２ｂの出力パルスによって動作が制御される。

この撮像素子１３で生成される画像は、Ａ／Ｄ変換部１５および信号処理部１６を介して、バッファメモリ１７に一時記憶される。
このバッファメモリ１７は、バス１８に接続される。このバス１８には、画像処理部１９、カードインターフェース２０、マイクロプロセッサ２２、圧縮伸張部２３、および画像表示部２４が接続される。この内、カードインターフェース２０は、着脱自在なメモリカード２１に対するデータの読み書きを行う。また、マイクロプロセッサ２２には、電子カメラ１１のスイッチ群２２ａからユーザー操作の信号が入力される。さらに、画像表示部２４は、電子カメラ１１の背面に設けられたモニタ画面２５に画像を表示する。
このような構成の電子カメラ１１は、マイクロプロセッサ２２および画像処理部１９によって、第１〜第５の実施形態の画像処理を実行する。
その結果、撮影レンズ１２の倍率色収差の影響を軽減した画像データを、電子カメラ１１内で作成することができる。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像処理装置、画像処理プログラム、および電子カメラなどに利用可能な技術である。

Claims (8)

1. 複数の色成分面で表された画像に対して画像処理を施す画像処理装置であって、
   前記画像の取得時に用いられた光学系の収差によって前記画像に生じた色ずれを補正する補正手段と、
   前記画像と、前記補正手段による補正前後の前記画像を比較して、前記補正手段による誤補正を判定する誤補正検出手段を備えた
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記誤補正検出手段は、
   前記補正手段により前記色ずれが補正された補正画像の処理対象箇所の色差が、補正前の前記画像を基準に設定される許容範囲内にない場合を誤補正とする
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記誤補正検出手段は、前記補正画像の色差を前記許容範囲内に制限することにより、前記誤補正を抑制する
   ことを特徴とする画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置において、
   前記誤補正検出手段は、補正前の前記画像の前記処理対象箇所を含む局所域の色差、および所定の低彩度色差からなる群の最小色差から最大色差までを求めて、前記許容範囲とする
   ことを特徴とする画像処理装置。
5. 請求項１または請求項２に記載の画像処理装置において、
   前記補正手段は、前記誤補正検出手段が誤補正を判定すると、前記色ずれの補正のずらし幅を抑制することにより、前記誤補正を抑制する
   ことを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
   前記光学系の収差は、倍率色収差であり、
   前記補正手段は、前記倍率色収差をうち消す方向に、前記色成分面の倍率調整（リサイズ）を行う
   ことを特徴とする画像処理装置。
7. コンピュータを、請求項１ないし請求項６のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。
8. 請求項１ないし請求項６のいずれか１項に記載の画像処理装置と、
   被写体像を撮像して画像を生成する撮像部とを備え、
   前記撮像部で生成された前記画像を前記画像処理装置で処理する
   ことを特徴とする電子カメラ。

Images