JP6415108B2 - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、カラー画像における色にじみを低減する画像処理方法に関する。

従来から、撮影光学系の色収差により、カラー画像の明るい部分の周囲に本来存在しない色が色にじみとして生じる場合がある。撮影光学系の色収差は、異なる分散を有する材料からなる複数のレンズを組み合わせることにより、ある程度光学的に低減することができる。しかし近年では、撮像装置の小型化が進み、撮像素子に用いられるセンサの高解像度化および撮影光学系の小型化が要求され、撮影光学系の構成により色収差を十分に抑制することは困難である。

色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は、結像位置が波長により像面に沿う方向にずれる現象である。縦色収差は、結像位置が波長により光軸に沿う方向にずれる現象である。特許文献１に開示されているように、横色収差は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色プレーンに対して異なる歪曲を加える幾何変換により補正することができる。一方、縦色収差は、上記幾何変換では補正できない。

特許文献２には、色にじみが主に白とび（予め設定した信号の飽和領域）周辺に生じる特性を利用して、Ｇ（緑）プレーンの飽和している領域を探索し、その周辺の領域の画素を積分して補正量を算出する方法が開示されている。特許文献３には、カラー画像における色プレーンの画素値が単調増加または単調減少している領域を色にじみ発生領域と判定し、色にじみを除去する方法が開示されている。

米国特許第６７２４７０２号 特開２００７−１３３５９２号公報 特開２００９−２６８０３３号公報

しかしながら、特許文献２に開示されている方法では、白とびしていない領域にも観察者にとって違和感のある色にじみが生じるため、色にじみの補正は不十分である。また特許文献３に開示されている方法によれば、白とびしていない領域の色にじみも補正が可能である。しかしながら、色にじみは、撮影光学系の収差により発生するため、コマ収差などの非対称な収差を有する撮影光学系では、被写体に対して色にじみが発生する方向や発生しない方向が存在する。被写体の色が色にじみと同系色の場合、本来は色にじみが発生しない方向でも被写体の色を色にじみとして誤判定し、被写体の本来の色を除去してしまう可能性がある。

また、色にじみをより効果的に低減させるには、光学系の製造ばらつきや偏芯調整などの影響による倍率色収差を考慮する必要がある。

そこで本発明は、カラー画像における色にじみを効果的に低減可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理方法は、撮影画像の倍率色収差を補正するステップと、前記倍率色収差を補正した撮影画像の色信号または輝度信号のレベルが所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出するステップと、撮影光学系の色にじみが発生する第２の方向に関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定するステップと、前記色にじみを低減するように、前記倍率色収差を補正した撮影画像を修正するステップとを有する。

本発明の他の側面としての画像処理装置は、撮影画像の倍率色収差を補正する補正手段と、前記倍率色収差を補正した撮影画像の色信号または輝度信号のレベルが所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出手段と、撮影光学系の色にじみが発生する第２の方向に関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定する判定手段と、前記色にじみを低減するように、前記倍率色収差を補正した撮影画像を修正する修正手段とを有する。

本発明の他の側面としての撮像装置は、光学像を光電変換して撮影画像を出力する撮像素子と、前記撮影画像の倍率色収差を補正する補正手段と、前記倍率色収差を補正した撮影画像の色信号または輝度信号のレベルが所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出手段と、撮影光学系の色にじみが発生する第２の方向に関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定する判定手段と、前記色にじみを低減するように、前記倍率色収差を補正した撮影画像を修正する修正手段と、を有する。

本発明の他の側面としての画像処理プログラムは、撮影画像の倍率色収差を補正するステップと、前記倍率色収差を補正した撮影画像の色信号または輝度信号のレベルが所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出するステップと、撮影光学系の色にじみが発生する第２の方向に関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定するステップと、前記色にじみを低減するように、前記倍率色収差を補正した撮影画像を修正するステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、カラー画像における色にじみを効果的に低減可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

本実施形態における画像処理装置のブロック図である。 本実施形態における画像処理方法を示すフローチャートである。 本実施形態における単調増減判定処理を示すフローチャートである。 本実施形態において、単調増減判定対象の画素区間が単調増減特性を有する場合の一例を示す図である。 本実施形態において、単調増減判定対象の画素区間が単調増減特性を有しない場合の一例を示す図である。 本実施形態において、注目画素を中心とした単調増減判定用の画素区間を示す図である。 本実施形態において、注目画素を端の点とした単調増減判定用の画素区間を示す図である。 本実施形態において、画像内の３×３画素の領域を示す図である。 本実施形態において、画像内の３×３画素の領域の各画素に対してローパスフィルタを適用した結果を示す図である。 本実施形態において、各画素に対してローパスフィルタを適用した場合の入力信号の変化の例を示す図である。 本実施形態において、対称な収差を有する撮影光学系の単調増減検出の例を示す図である。 本実施形態において、非対称な収差を有する撮影光学系の単調増減検出の例を示す図である。 本実施形態における光学情報の説明図である。 本実施形態において、光学情報および単調増減検出結果に基づいて色にじみ領域を判定する例を示す図である。 本実施形態における２次元の光学情報の説明図である。 本実施形態において、光学情報を用いた色にじみ判定処理を示す図である。 本実施形態における光学情報の算出方法の説明図である。 本実施形態において、青色にじみの典型的な画素値変化を示す図である。 本実施形態において、Ｂプレーンの画素値に対する非線形変換の特性図である。 本実施形態における色度座標ａｂ面を示す図である。 本実施形態において、単調増減判定結果によるＢプレーン内の３×３画素の領域を示す図である。 実施例１、３における撮像装置の構成図である。 実施例２における画像処理システムの構成図である。 本実施形態における倍率色収差（第１の倍率色収差）の補正処理（第１の補正処理）を示すフローチャートである。 本実施形態における倍率色収差の補正処理の説明図である。 本実施形態における非対称な倍率色収差（第２の倍率色収差）の補正処理（第２の補正処理）を示すフローチャートである。 本実施形態における非対称な倍率色収差（第２の倍率色収差）の補正処理の説明図である。 本実施形態における倍率色収差（第１の倍率色収差）の説明図である。 本実施形態における非対称な倍率色収差（第２の倍率色収差）の説明図である。 本実施形態における倍率色収差および非対称な倍率色収差の補正処理の説明図である。 実施例３における画像処理方法を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図１Ａおよび図１Ｂを参照して、本実施形態における画像処理装置および画像処理方法について説明する。図１Ａは、本実施形態における画像処理装置１００のブロック図である。図１Ｂは、本実施形態における画像処理方法（画像処理プログラム）のフローチャートである。図１Ｂの各ステップは、画像処理装置１００の指令に基づいて、すなわち画像処理装置１００の各手段により実行される。

図１Ａに示されるように、画像処理装置１００は、入力手段１０１、補正手段１０２（倍率色収差補正部）、検出手段１０３、判定手段１０４、修正手段１０５（色にじみ補正部）、出力手段１０６、および、記憶手段１０７を備えて構成される。まず、図１ＢのステップＳ１において、画像処理装置１００（入力手段１０１）は、撮影画像を入力画像として取得する。入力画像は、撮影光学系を介して撮像素子で受光することにより得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮影光学系の収差により劣化している。撮影光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。また、色温度を用いてもよい。撮影画像は、撮像装置と画像処理装置とを有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。

続いてステップＳ２において、画像処理装置１００（補正手段１０２）は、入力手段１０１を介して取得した入力画像（撮影画像）の倍率色収差（色ずれ）を補正する（倍率色収差補正工程）。本実施形態において、補正手段１０２は、倍率色収差の補正処理として、２つの処理（第１の補正処理および第２の補正処理）を実行する。第１の補正処理は、撮影光学系の色ごとの倍率（像の大きさ）の違いを補正する処理であり、設計値上で残存している倍率色収差（第１の倍率色収差）の補正処理である。本実施形態において単に倍率色収差という場合、第１の倍率色収差を意味する。第２の補正処理は、撮影光学系の製造工程で生じる設計値からのずれ分に相当する収差（第２の倍率色収差）を補正する処理である。本実施形態において、第２の倍率色収差を、便宜上、非対称な倍率色収差という。

（倍率色収差の検出と補正）
まず、図２７を参照して、設計値上で残存している倍率色収差（第１の倍率色収差）の補正について説明する。図２７は、第１の倍率色収差の説明図である。図２７（ａ）は倍率色収差が残存した入力画像の模擬図であり、図２７（ｂ）は図２７（ａ）の水平方向（ｘ方向）に沿った断面図である。図２７（ａ）において、ｘ軸は水平方向の位置、ｙ軸は垂直方向の位置、ｘ軸とｙ軸との交点は画像（入力画像）の中心をそれぞれ示している。図２７（ａ）、（ｂ）中の実線はＧプレーン、点線はＲプレーン、一点鎖線はＢプレーンをそれぞれ表している。

図２７（ａ）、（ｂ）において、光学系は共軸系で倍率色収差以外の収差は補正されており、元の像の強度の形状はＲＧＢで一致して倍率色収差の分だけずれているとする。この場合、図２７（ｂ）に示されるように低像高側（ｘ軸とｙ軸との交点側）では、ＲプレーンやＧプレーンよりもＢプレーンの画素値が高い。このため、低像高側の領域では、画像が青くにじんで見える（色にじみが発生しているように見える）。一方、高像高側（ｘ軸とｙ軸との交点の反対側）では、ＧプレーンやＢプレーンよりもＲプレーンの画素値が高い。このため、高像高側の領域では、画像が赤くにじんで見える（色にじみが発生しているように見える）。

このような状態で色にじみ補正を行うと、図２７（ａ）、（ｂ）に示されるように倍率色収差の影響により各色のプレーンがずれている状態であっても色にじみが発生しているものとして処理されてしまう。このため、色にじみ補正を正しく行うことができず、入力画像の色を本来の色に戻す（補正する）ことができない可能性がある。例えば、図２７（ａ）、（ｂ）の場合、ＲＧＢの形状がそろうまで色にじみ補正を行おうとすると、ＲＧＢが重なっている部分は内側の一部であるため、元の像の形状よりもエッジ部が削られてしまう場合がある。または、エッジ部が削れないようにＲＧＢの形状をＧプレーンに合わせようとすると、低像高側ではＲプレーンの画素値が低くなり、一方、高像高側ではＢプレーンの画素値が低くなる。この結果、色抜けが発生するなどの問題が生じうる。そこで本実施形態では、倍率色収差の補正処理後に、後述の色にじみ補正処理を行う。これにより、光学系により生じる被写体の色にじみを高精度かつ適切に補正することが可能となる。

次に、図２３および図２４を参照して、入力画像から倍率色収差を検出して補正する方法について説明する。図２３は、倍率色収差（第１の倍率色収差）の補正処理（第１の補正処理）を示すフローチャートである。図２３の各ステップは、図１ＢのステップＳ２の一部を構成する。図２４は、倍率色収差の補正処理の説明図である。

まず図２３のステップＳ１１において、画像処理装置１００（補正手段１０２）は、入力画像から、倍率色収差による色ずれが顕著に現れるエッジ（エッジ領域）を検出する。本実施形態において、補正手段１０２は、Ｙ（輝度）プレーンを用いてエッジを検出する。好ましくは、検出対象のエッジは、光学中心からの動径方向に大きく画素値の変化するエッジに限定される。これにより、高精度の色ずれ量を取得することができる。また、Ｙプレーンにおいて、倍率色収差による色ずれは、一つに混じり合って現れる。このため、画素値が単調増加または単調減少が複数画素続くような、ある程度の幅のあるエッジを検出対象とすることが好ましい。

続いてステップＳ１２において、補正手段１０２は、ステップＳ１１にて検出された各エッジ（エッジ領域）における色ずれ量を取得する。ここで、色ずれの方向として、光学中心と各エッジとの位置関係により、上／下方向、左／右方向、右斜め上／左斜め下方向、左斜め上／右斜め下方向のいずれかを適用することで、処理の簡略化を図ることができる。

各エッジにおける色ずれ量の取得には、色成分間の相関が用いられる。例えば、色成分間の差分絶対値の和を判定して色ずれ量を取得することができる。Ｇプレーンに対してＲプレーン（またはＢプレーン）を色ずれ方向に移動させながら、検出されたエッジ付近の画素において、色成分間の差分絶対値和が最小となる場所を探索する。ここで検出された差分絶対値和が最小となった位置から、Ｇプレーンに対するＲプレーン（またはＢプレーン）の色ずれ量を求めることが可能である。ステップＳ１２により求められる色ずれ量の符号は、Ｇプレーンに対してＲプレーン（またはＢプレーン）が光学中心方向へずれている場合には負とし、Ｇプレーンに対してＲプレーン（またはＢプレーン）が光学中心とは逆方向へずれている場合には正とする。

続いてステップＳ１３において、補正手段１０２は、ステップＳ１１にて検出された各エッジの像高、および、ステップＳ１２にて取得された各エッジの色ずれ量に基づいて、像高と色ずれ量との関係を求め、補正データを作成する。ここで、像高とは、光学中心に相当する画素（光学中心）からの距離である。補正データは、以下の手順により作成される。

まず、ステップＳ１１にて検出されたエッジの像高をＬ、ステップＳ１３にて取得された色ずれ量をＤとすると、以下の式（１）で表されるように、像高Ｌに対する色ずれ率Ｍが求められる。

Ｍ＝Ｌ／（Ｌ＋Ｄ） … （１）
続いて図２４（ａ）に示されるように、補正手段１０２は、入力画像を像高ごとに８つの領域（ｈ１〜ｈ８）に分割し、検出されたエッジが属する領域を判定する。そして補正手段１０２は、入力画像内で検出された複数のエッジついて、前述の色ずれ率Ｍの算出、および、エッジが属する領域の判定を行う。また補正手段１０２は、像高ごとに分割した８つの領域ごとに色ずれ率Ｍを集計し、領域ごとに色ずれ率Ｍの平均値を求め、各領域の色ずれ率を決定する。

続いて図２６（ｂ）に示されるように、補正手段１０２は、像高、および求めた色ずれ率に基づいて、像高と色ずれ率との関係を表す高次の多項近似式Ｆ（Ｌ）を求め、これを補正データとする。図２６（ｂ）は、三次の多項式により補正データを算出した例を示している。

なお、エッジの検出および色ずれ量の取得は、画面内の全てのエッジに対して行ってもよい。ただし、像高ごとに分割した８つの領域で、所定の閾値以上の数の色ずれ率が集計された段階で、エッジの検出および色ずれ量の取得を終了することにより、信頼度を保ちつつ処理の効率化を図ることができる。また、像高ごとに分割した８つの領域のうち、該当するエッジが見つかった領域のみを高次の多項近似式の算出に使用することで、該当するエッジが見つからない領域があった場合でも補正データの作成が可能となる。

続いて、図２３のステップＳ１４において、補正手段１０２は、ステップＳ１３にて作成された補正データを用いて色ずれ（倍率色収差）を補正する。まず補正手段１０２は、補正対象のプレーン（Ｒプレーン、Ｂプレーン）の画素(Ｘ，Ｙ)において、以下の式（２）で表されるように、画素(Ｘ，Ｙ)の像高Ｌから色ずれ率Ｍを求める。ここで、光学中心が(０，０)の座標系であるとする。

Ｍ＝Ｆ(Ｌ) … （２）
続いて補正手段１０２は、以下の式（３−１）、（３−２）で表されるように、色ずれ補正により生成する画素の座標(Ｘ１，Ｙ１)を求める。

Ｘ１＝Ｍ×Ｘ … （３−１）
Ｙ１＝Ｍ×Ｙ … （３−２）
補正手段１０２は、補正対象のプレーンにおいて、座標(Ｘ１，Ｙ１)に相当する画素値を、一般的な補間処理により生成し、画素(Ｘ，Ｙ)の画素値として設定する。これらの処理を全画素について行うことで、色ずれ補正が行われる。そしてステップＳ１５において、補正手段１０２は、補正画像を出力する。

（非対称な倍率色収差の検出と補正）
次に、図２８を参照して、撮影光学系の製造工程で生じる非対称な倍率色収差（第２の倍率色収差）の補正について説明する。図２８は、本実施形態における非対称な倍率色収差（第２の倍率色収差）の説明図である。図２８（ａ）は非対称な倍率色収差が残存した入力画像の模擬図、図２８（ｂ）は図２８（ａ）の水平方向（ｘ方向）に沿った断面図である。図２８（ａ）において、ｘ軸は水平方向の位置、ｙ軸は垂直方向の位置、ｘ軸とｙ軸との交点は画像（入力画像）の中心をそれぞれ示している。図２８（ａ）、（ｂ）中の実線はＧプレーン、点線はＲプレーン、一点鎖線はＢプレーンをそれぞれ表している。

図２８（ａ）、（ｂ）において、光学系は、製造時の形状誤差、または、レンズのチルトやシフトの影響により、完全な回転対称系から崩れた状態であると想定されている。また、図２７（ａ）、（ｂ）の場合と同様に、倍率色収差以外の収差が補正されており、元の像の強度の形状はＲＧＢの間で互いに一致し、倍率色収差の分だけずれているものとする。図２８のように非対称な倍率色収差の影響を受けた場合、色のにじみ方が画像の中心に対して対称である図２７の場合とは異なり、画像の中心に対して対称な位置に同じ強度および同じ色の物体があっても色のにじみ方は異なる。

図２８（ａ）、（ｂ）において、ｙ軸に対して左側の物体は、低像高側ではＲプレーンやＧプレーンもよりＢプレーンの画素値が高く、高像高側ではＧプレーンやＢプレーンよりもＲプレーンの画素値が高い。逆に、ｙ軸に対して右側の物体は、低像高側ではＧプレーンやＢプレーンよりもＲプレーンの画素値が高く、高像高側ではＲプレーンやＧプレーンよりもＢプレーンの画素値が高い。このように、非対称な倍率色収差により画像の中心に対して非対称に色にじみが発生する場合、図２７を参照して説明した前述の補正処理（第１の補正処理）のみでは、このような非対称な色にじみを補正することはできない。また、このような状態で後述の色にじみ補正を行うと、非対称な倍率色収差による色ずれを色にじみが発生しているとして処理され、正しく補正することができず、本来の色に戻すことができないということが生じ得る。

図２８のような場合、ＲＧＢの形状がそろうまで補正しようとすると、ＲＧＢが重なっている部分は内側の一部であるため、元の像の形状よりもエッジ部が削られてしまう。または、図２８の場合においてエッジ部が削れないようにＧプレーンに合わせようとすると、ｙ軸に対して左側の物体では低像高側でＲプレーン、高像高側でＢプレーンの画素値がＧプレーンの画素値よりも低くなり、色抜けなどが生じ得る。一方、図２８の場合において、右側の物体では低像高側でＢプレーン、高像高側ではＲプレーンの画素値がＧプレーンの画素値よりも低くなる。このため、前述のようにｙ軸に対して左側と対称な位置に同じ強度、同じ色の物体があったとしても、左側とは色のにじみ方や色抜けする色も異なる。また、非対称な倍率色収差の出方によっては、ｙ軸に対して片側が適切な補正ができていても、反対側が補正不足または補正過剰となることもある。

そこで本実施形態では、設計値上で残存している倍率色収差（第１の倍率色収差）、および、非対称な倍率色収差（第２の倍率色収差）を補正した後に、後述の色にじみ補正処理を行う。これにより、光学系により生じる被写体の色にじみを高精度かつ適切に補正することができる。

次に、図２５および図２６を参照して、入力画像から非対称な倍率色収差を検出して補正する方法について説明する。図２５は、非対称な倍率色収差（第２の倍率色収差）の補正処理（第２の補正処理）を示すフローチャートである。図２５の各ステップは、図１ＢのステップＳ２の一部を構成する。図２６は、非対称な倍率色収差の補正処理の説明図である。

まず図２５のステップＳ２１において、画像処理装置１００（補正手段１０２）は、入力画像から、倍率色収差による色ずれが顕著に現れるエッジ（エッジ領域）を検出する。エッジの検出には、Ｙ（輝度）プレーンが用いられる。

続いてステップＳ２２において、補正手段１０２は、ステップＳ２１にて検出された各エッジ（エッジ領域）に関して色ずれ量を取得し、補正量（撮影画像の複数の分割領域のそれぞれに対する補正量）を算出する。ここで、色ずれの方向として、光学中心と各エッジとの位置関係により、上／下方向、左／右方向、右斜め上／左斜め下方向、左斜め上／右斜め下方向のいずれかを適用して処理を簡略化する。各エッジにおける色ずれ量の取得については前述のとおりであるため、その説明は省略する。そしてステップＳ２３において、補正手段１０２は、ステップＳ２２にて算出した補正量を用いて、非対称な倍率色収差（倍率色収差の非対称性）を補正する。以下、ステップＳ２２、Ｓ２３の補正データの作成手順および補正の流れについて具体的に説明する。

まずステップＳ２２において、補正手段１０２は、図２６に示されるように画像を円周方向に４つの領域（Ａ〜Ｄ）に分割し、前述のエッジが属する領域を判定する。そして補正手段１０２は、画像内で検出された複数のエッジに関して分割された領域ごとに色ずれ量Ｄを集計し、領域ごとに色ずれ量Ｄの平均値を求め、各領域の色ずれ量を決定する。続いて補正手段１０２は、算出した領域ごとの色ずれ量Ｄを比較し、補正対象のプレーン（Ｒプレーン、Ｂプレーン）の補正量を決定する。

領域Ａ、領域Ｂ、領域Ｃ、領域Ｄの補正量（第１の補正量）をそれぞれＤａ、Ｄｂ、Ｄｃ、Ｄｄとすると、水平方向の補正量ＤＨ、垂直方向の補正量ＤＶ（第２の補正量）は、以下の式（４−１）、（４−２）のようにそれぞれ表される。

ＤＨ＝（Ｄｃ−Ｄａ）／２ … （４−１）
ＤＶ＝（Ｄｂ−Ｄｄ）／２ … （４−２）
本実施形態において、水平方向の補正量ＤＨは、領域Ａと領域Ｃの色ずれ量から算出され、垂直方向の補正量ＤＶは、領域Ｂと領域Ｄの色ずれ量から算出される。また本実施形態において、画像を円周方向に分割しているが、像高方向にも分割することで像高ごとに補正量を変化させて補正対象のプレーンを非線形にシフトすることが可能となる。

撮影光学系２０１が完全に回転対称な状態である場合、倍率色収差も画面の中心に対して回転対称に発生するため、ＤＨ＝０、ＤＶ＝０となる。一方、製造誤差などの影響により撮影光学系２０１の対称性が崩れると、倍率色収差も回転非対称となり、Ｄｃ＞Ｄａ（ＤＨ＞０）の場合、補正対象のプレーンを領域Ｃ側へシフトすることで補正を行う。一方、Ｄｃ＜Ｄａ（ＤＨ＜０）の場合、領域Ａ側へシフトすることで補正を行う。同様に垂直方向に関しても、Ｄｂ＞Ｄｄ（ＤＶ＞０）の場合、補正対象のプレーンを領域Ｂ側へシフトすることで補正を行い、Ｄｃ＜Ｄｄ（ＤＨ＜０）の場合、領域Ａ側へシフトすることで補正を行う。

続いてステップＳ２３において、補正手段１０２は、水平方向の補正量ＤＨ、および、垂直方向の補正量ＤＶを、製造誤差などにより発生する非対称な倍率色収差の補正データとして用い、色ずれを補正する。ここで、補正対象のプレーン（Ｒプレーン、Ｂプレーン）の画素を画素(Ｘ，Ｙ) とする。このとき、水平方向の補正量ＤＨ、および、垂直方向の補正量ＤＶを用いて、色ずれ補正により生成される画素の座標(Ｘ２，Ｙ２)は、以下の式（５−１）、（５−２）のように表すことができる。

Ｘ２＝Ｘ＋ＤＨ … （５−１）
Ｙ２＝Ｙ＋ＤＶ … （５−２）
なお、式（５−１）、（５−２）は、光学中心が(０，０)の座標系である。

補正手段１０２は、補正対象のプレーンにおいて座標(Ｘ２，Ｙ２)に相当する画素値を、一般的な補間処理により生成し、画素(Ｘ，Ｙ)の画素値とする。これらの処理を全画素について行うことで、色ずれ補正が行われる。本実施形態において、図２６に示されるように画像を４分割にして補正量を算出しているが、画像を８分割にして領域ごとの色ずれ量を取得し、その色ずれ量から補正量を算出して補正処理を行ってもよい。このようにステップＳ２３では、ステップＳ２２の補正量に基づいて算出された、撮影画像の中心（光軸中心、補正中心）に対する放射方向とは異なる方向の補正量（第２の補正量）を用いて、第２の倍率色収差を補正する。より好ましくは、放射方向とは異なる方向の補正量として、撮影画像の水平方向の補正量および垂直方向の補正量を用いて第２の倍率色収差を補正する。また本実施形態において、第１の補正量および第２の補正量は、撮影画像の中心に対して対称な第１の位置と第２の位置との間で互いに異なる。

画像から倍率色収差（第１の倍率色収差）および非対称な倍率色収差（第２の倍率色収差）を検出して補正する方法は、前述のとおりであるが、光学系の倍率色収差に関する設計値の情報を併用して補正処理を行ってもよい。設計値の情報を利用することで誤検出の低減または設計値を基準にした設計値からのずれ量として倍率色収差を取り扱うことができる。

続いてステップＳ３において、画像処理装置１００（検出手段１０３）は、カラー画像を構成する複数の色プレーンのうちいずれかの色プレーンの画素値（信号レベル）が単調増加または単調減少している領域を検出する。そして検出手段１０３は、検出した領域を色にじみ発生領域と仮判定する（単調増減検出工程）。単調増減検出工程において色にじみ発生領域を判定する方法としては、いくつかの方法が考えられる。本実施形態では、一定の画素区間（所定の区間）の色にじみの画素値の変化特性に基づいて判定を行う。

色にじみは、結像位置が波長により光軸に沿う方向にずれることで発生するため、例えば青色のにじみの場合、青色プレーン（Ｂプレーン）の焦点が合わない（ピンボケしている）ことになる。ピンボケによる色にじみは、一定の画素区間に渡って存在し、その際の色にじみの画素値変化は、画像のハイライト部からシャドウ部にかけて緩やかに減少する特性を有する。従って、一定の画素区間の色にじみの画素値変化が単調増加または単調減少の特性を有する場合、色にじみが発生している可能性があるため、色にじみ発生領域として仮判定する。

このように本実施形態において、撮像素子は、複数のカラーフィルタを備えている。そして検出手段１０３は、撮像素子から得られた画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル（画素値）が、所定の区間においていずれかの方向（第１の方向）に単調増加または単調減少している領域（第１の領域）を検出する。ただし本実施形態はこれに限定されるものではなく、色プレーンの信号レベルに代えて、例えば、撮像素子から得られた画像から生成される輝度プレーン（Ｙプレーン）の信号レベルが単調増加または単調減少している領域を検出するように構成してもよい。すなわち検出手段１０３は、倍率色収差を補正した撮影画像（収差補正画像）の色信号または輝度信号のレベル（色プレーンまたは輝度プレーンの信号レベル）が所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する。

ところで、実際には、撮影光学系がコマ収差などの非対称な収差を有する場合、撮影光学系により発生する色にじみは、被写体に対して発生する方向と発生しない方向が存在する。このため、単調増減のみから色にじみ発生領域を判定すると、被写体が色にじみと同系色である場合、被写体の色を色にじみと誤判定する可能性がある。従って、単調増減検出のみでは色にじみ発生領域を正しく判定することができない。

本実施形態において、単調増加または単調減少を検出する領域は、カラー画像の注目画素を中心とした水平方向、垂直方向、または、斜め方向の画素区間、注目画素を端の点とした水平方向、垂直方向、または、斜め方向の画素区間、のいずれかを含む。

単調増減の検出は、まず、色プレーンの画素値傾斜を計算することにより行われる。入力画像が、例えば、Ｇプレーン、Ｂプレーン、Ｒプレーンの３色の色プレーンで構成されている場合、Ｂプレーンを色にじみ除去対象とし、基準プレーンとしてＧプレーンを用いる。Ｂプレーン、Ｇプレーンに対するそれぞれの輝度傾斜Ｂｌｅａ、Ｇｌｅａは、以下の式（６）で表されるように算出される。

式（６）において、Ｇ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の右隣の画素値である。Ｇ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の左隣の画素値である。Ｇ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の下隣の画素値である。Ｇ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、それぞれ、Ｇプレーン、Ｂプレーンにおける注目画素の上隣の画素値である。本実施形態は、３色の色プレーンで説明するが、画像を構成する色プレーン数により任意の色プレーンで処理を行うことが可能である。

次に、図２乃至図４を参照して、単調増減検出工程の色にじみ発生領域の判定方法について説明する。図２は、本実施形態における単調増減判定処理（単調増減検出工程：ステップＳ３）を示すフローチャートである。図２の各ステップは、主に、画像処理装置１００（検出手段１０３）により実行される。まずステップＳ１５２０において、画像処理装置１００は、ＩＳＯ感度が高いか否か（ＩＳＯ感度が所定の感度よりも高いか否か）を判定する。ＩＳＯ感度が高い場合、ステップＳ１５２１に移行する。一方、ＩＳＯ感度が高くない場合、ステップＳ１５２２に移行する。

ステップＳ１５２２において、画像処理装置１００は、入力画像の注目画素を中心とした時の縦・横・斜めの画素区間（所定の区間）に対して、入力信号の画素値変化を解析する。そしてステップＳ１５２３において、画像処理装置１００は、上記画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定（検出）する。その判定の結果、上記の画素区間の入力信号の画素値変化が単調増減の特性を有さない場合、ステップＳ１５２４において、画像処理装置１００は、注目画素を端の点とした時の縦・横・斜めの画素区間に対して入力信号の画素値変化を解析する。そしてステップＳ１５２５において、画像処理装置１００は、上記の画素区間の入力信号の画素値変化が単調増減の特性を有するか否かを判定する。

図３は、単調増減判定対象の画素区間が単調増減特性を有する場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図４は、単調増減判定対象の画素区間が単調増減特性を有しない場合の一例を示す図であり、縦軸は画素値、横軸は距離をそれぞれ示している。図３および図４に示されるような画素値変化を有する入力信号に対して、画像処理装置１００は単調増減判定を行う。図３および図４のそれぞれ示される白い四角は注目画素である。

図３に示されるように、入力信号の画素値変化が単調増減の特性を有する画像は、単調増減判定を行う画素区間内において単調増減の特性を有する。このためステップＳ１５２２またはＳ１５２４の解析の結果、ステップＳ１５２３またはＳ１５２５において、画像処理装置１００は、画素区間内において単調増減の特性を有すると判定する。一方、図４に示されるような入力信号の画素値変化の特性を有する画像に対しては、単調増減の特性を有さないと判定する。

上記の画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性または単調減少の特性）を有している場合、ステップＳ１５２７において、画像処理装置１００は単調増減フラグを立てる。一方、上記の画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性または単調減少の特性）を有していない場合、ステップＳ１５２６において、画像処理装置１００は単調増減フラグを立てない。

上述した単調増減判定を、Ｂプレーンの各画素に対して適用する。その結果、各画素において単調増減フラグが立っていれば「１」、単調増減フラグが立っていなければ「０」をそれぞれ対応させ、単調増減判定結果プレーンとして生成して保持し、後述の色にじみ判定（図１のステップＳ４）で利用する。単調増減判定結果プレーンの利用方法の詳細については後述する。

次に、図５および図６を参照して、注目画素に対する単調増減判定を行う画素区間の設定方法について説明する。図５（ａ）〜（ｄ）は、注目画素を中心とした単調増減判定用の画素区間を示す図である。図６（ａ）〜（ｈ）は、注目画素を端の点とした単調増減判定用の画素区間を示す図である。注目画素を中心とした画素区間の設定方法および注目画素を端の点とした画素区間の設定方法のうち、注目画素を中心とした画素区間の設定方法としては、図５（ａ）、（ｂ）のように注目画素を中心として水平方向および垂直方向に設定する方法が考えられる。

また、注目画素を中心とした画素区間の設定方法としては、図５（ｃ）、（ｄ）に示されるように注目画素を中心として斜め方向に設定する方法が考えられる。すなわち、斜め方向についても水平方向または垂直方向と同程度の距離の画素区間を設定すれば、等方性を持たせることができる。この場合、斜め方向の角度は、図５（ｃ）、（ｄ）に示されるように水平方向または垂直方向に対して４５度の設定に限定される。ただし本実施形態はこれに限定されるものではなく、４５度以外の任意の角度を設定することができる。その際の画素区間の距離ｄは、以下の式（７）を用いて算出される。

式（７）において、ｘは水平方向、θは水平からの角度をそれぞれ示す。

一方、画像におけるハイライト部周辺の色にじみやシャドウ部周辺の色にじみは、それぞれ、飽和やノイズの影響を受けることにより、色にじみが存在するにも関わらず、判定対象の画素区間内では単調増減の特性を持たず正しく判定できない場合がある。その場合、図６に示されるように、注目画素を端の点として画素区間を設定する方法が効果的である。以上のような方法で単調増減判定を行い、図５および図６に示される画素区間のいずれか１つでも単調増減の特性を有する画素区間が存在する場合、注目画素は単調増減の特性を有する画素であると判定される。

本実施形態では、単調増減判定を行う対象として入力信号の画素値を利用しているが、輝度傾斜を利用しても構わない。その場合、一定の画素区間において輝度傾斜の変化が１回だけ反転する特性を有する場合が色にじみであると判定することが好ましい。画素区間の画素数の適正値は、撮像装置のある撮影条件にて発生する色にじみのうち、最小の色にじみのにじみ幅に合わせるのが効果的である。

色にじみのにじみ幅は、撮像装置の撮影条件（絞り値、焦点距離、フォーカシング精度、画像面内におけるフォーカス位置、撮像素子上の座標等）により様々である。そのため、画素区間の画素数の適正値を、各種の撮影条件により発生する様々な色にじみの最小幅の色にじみに合わせることで、最小幅の色にじみを検出することが可能となる。最大幅の色にじみに関しては、最小幅の色にじみ用に合わせた画素区間を利用しても検出は可能である。

以上のように単調増減判定を行うことにより、検出したい色にじみを抽出することが可能となる。ただし、高いＩＳＯ感度などの撮影条件によっては、入力信号にノイズが含まれることによりＳ／Ｎ比が低下し、その結果、色にじみが単調増減の特性を有しなくなることが考えられる。その場合、図２のステップＳ１５２１において、入力信号に対してデジタルフィルタによるフィルタリング処理を行うことが有効である。本実施形態では、デジタルフィルタをローパスフィルタとした場合について説明するが、これに限定されるものではない。

入力信号にローパスフィルタを適用する方法としては、幾つかの方法が考えられる。例えば、注目画素の重み係数を隣接する画素の２倍の係数とする［１ ２ １］のローパスフィルタを適用する場合について説明する。図７は、画像内の３×３画素の領域を示す図である。図７に示されるように画像内の３×３画素のある領域においてｐを注目画素としたとき、まず、［１ ２ １］のローパスフィルタを水平方向に適用する。このとき、注目画素は以下の式（８）のように表される。

Ｐ＝（ｄ・１＋ｐ・２＋ｅ・１）／４ … （８）
隣接する画素も同様に計算すると、図８に示されるようになる。図８は、画像内の３×３画素の領域の各画素に対してローパスフィルタを適用した結果を示す図である。続いて、［１ ２ １］のローパスフィルタを垂直方向に適用すると、注目画素は以下の式（９）のように表される。

ＰＰ＝（Ｂ・１＋Ｐ・２＋Ｇ・１）／４ … （９）
図９を参照して、ローパスフィルタを適用したときの入力信号の変化の一例について説明する。図９は、各画素に対してローパスフィルタを適用した場合の入力信号の変化の例を示す図である。図９において、横軸は距離（画像上の断面、すなわち注目画素からの画素区間）、縦軸はプレーンの画素値をそれぞれ示している。

図９中の実線はローパスフィルタを適用しない場合、細かい破線は［１ ２ １］のローパスフィルタを適用した場合、粗い破線は［１ ４ ６ ４ １］のローパスフィルタを適用した場合をそれぞれ示している。ここで、［１ ４ ６ ４ １］は、注目画素と隣接する画素と更にもう１画素分離れた画素にも重み係数をかけてローパスフィルタを適用することを意味する。このようにローパスフィルタを適用して入力信号を滑らかにすることで、色にじみが本来持つ単調増減の特性を際立たせることが可能となる。なお本実施形態では、ローパスフィルタを水平方向、垂直方向の順番で適用しているが、これに限定されるものではない。ローパスフィルタを逆の順番、すなわち垂直方向、水平方向の順番で適用しても構わない。また、２次元のローパスフィルタ係数を算出してローパスフィルタを水平方向および垂直方向に同時に適用することもできる。

図１Ｂに戻り、ステップＳ４において、画像処理装置１００（判定手段１０４）は、ステップＳ３にて検出手段１０３により色にじみ発生領域と仮判定された領域（第１の領域）が、色にじみ発生領域（第２の領域）であるか否かを判定する（色にじみ判定工程）。すなわち判定手段１０４は、撮影光学系の色にじみに関する光学情報および第１の領域に関する情報に基づいて、色にじみが発生している領域（第２の領域）を判定する。光学情報は、例えば、撮影光学系の色にじみが発生する第２の方向に関する情報（色にじみ発生方向の光学情報）である。本実施形態において、色にじみ発生領域は、入力画像を撮影した撮影光学系の色にじみ発生方向の光学情報を用いて判定される。

このように判定手段１０４は、第１の方向（信号レベルが単調増加または単調減少する方向）と第２の方向（撮影光学系の色にじみが発生する方向）とを比較することにより第２の領域を判定する。判定手段１０４は、例えば第１の方向と第２の方向とが互いに一致する場合、第１の領域（ステップＳ３にて検出された領域）が第２の領域（色にじみが発生している領域）であると判定する。

ここで、図１０および図１１を参照して、単調増減検出工程のみから、色にじみ領域を判定した場合の弊害について説明する。デジタルカメラなどの撮像装置により被写体を撮像して得られた画像には、撮影光学系の球面収差、コマ収差、像面湾曲、非点収差などに起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ぼけ成分は、光学的には、点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Ｏｐｔｉｃａｌ ＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）といい、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として、以下の式（１０）のように表される。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） … （１０）
式（１０）において、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部である。

このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。

図１０は、被写体の各点が球面収差のような対称にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図１０（ａ）は被写体の画素値断面、図１０（ｂ）は撮影光学系のＰＳＦ断面、図１０（ｃ）は撮影光学系で撮影された被写体の画素値断面を示している。図１０（ｂ）に示されるように、撮影光学系が対称な収差特性を有しＰＳＦが対称である場合、被写体の両側のエッジ断面は、両方とも劣化した画像として図１０（ｃ）の実線のように撮影される。図１０（ｃ）では、比較のため、図１０（ａ）に示される被写体の輝度断面を点線で示している。図１０（ｃ）の白い四角を注目画素として、単調増減判定を行うとすると、両エッジとも単調増減領域として判定される。また、色のにじみも実際に発生するため、色にじみ発生領域の判定としては正しく判定される。

図１１は、被写体の各点がコマ収差のような非対称にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図１１（ａ）は被写体の画素値断面、図１１（ｂ）は撮影光学系のＰＳＦ断面、図１１（ｃ）は撮影光学系で撮影された被写体の画素断面である。図１１（ｂ）に示されるように、撮影光学系が非対称な収差特性を有しＰＳＦが非対称である場合、特に片側のエッジのみ大きく劣化する光学特性では、被写体のエッジ断面は、片側のみ大きく劣化した画像として図１１（ｃ）の実線のように撮影される。このような撮影画像に対し単調増減検出を行うと、両エッジとも単調増減領域として判定されるが、実際に撮影光学系により発生する色にじみは片側のみであるため、被写体本来の色を色にじみとして判定してしまう弊害が発生する。単調増減のみで色にじみ補正を行うと被写体本来の色を除去することになり、不自然な画像となる場合がある。これを回避しようとすると補正が弱くなってしまう。

そこで本実施形態において、画像処理装置１００は、図１０（ｂ）や図１１（ｂ）に示されるような撮影光学系の色にじみ発生方向に関する光学情報を保持または取得する。そして画像処理装置１００は、単調増減検出の単調増減方向と色にじみ発生方向が一致した場合、色にじみ発生領域である判定する。ここで一致とは、厳密に一致する場合だけでなく実質的に一致である場合も含む意味である。

図１２を参照して、光学情報について説明する。図１２は、本実施形態における光学情報の説明図であり、撮影光学系のＰＳＦ断面および光学情報を示している。図１２（ａ）は、図１０（ｂ）に示される、撮影光学系のＰＳＦが対称な場合の光学情報である。図１２（ｂ）は、図１１（ｂ）に示される、撮影光学系のＰＳＦが非対称な場合の光学情報である。例えば、撮影光学系の収差により色にじみが発生する方向には１を持ち、発生しない場合は０を持つ。図１２（ａ）は、色にじみが対称に両側で発生するため光学情報は両側とも１の値を持つ。図１２（ｂ）では、色にじみが非対称に発生しており、左側エッジでは色にじみが発生しないため０、右側エッジでは色にじみが発生するため１の値を持つ。

図１３は、光学情報および単調増減検出結果に基づいて色にじみ領域を判定する例を示す図である。図１３（ａ）に示されるように、単調増減検出により、例えば、単調減少が検出された場合、その単調減少方向の光学情報を参照し、１を有していれば色にじみ補正領域と判定する。また、図１３（ｂ）に示されるように、単調減少方向の光学情報を参照し、０を有していれば被写体の色であると判定する。このように、撮影光学系の収差として色収差が発生する方向と、発生しない方向の情報を有することで、被写体の色と色にじみを正しく判定することができるため、色にじみ補正の精度を向上させることが可能となる。なお、色にじみの発生方向を１、発生しない方向を０としたが、発生の方向がわかればよく、０と１である必要はない。撮影光学系の収差は、像高により変化するため、複数の像高での光学情報を有しておくことで、高精度に補正を行うことが可能となる。補正値を持たない像高では、近傍の補正値より補間生成してもよい。また、撮影光学系の収差は、撮影条件（撮影光学系の焦点距離、被写体距離、絞り値（Ｆｎｏ））でも変化するため、撮影条件ごとに光学情報を記憶または取得することにより、高精度に補正を行うことが可能となる。

図１０および図１１では、光学情報を１次元の情報として説明したが、撮影画像が２次元配列のデータの場合、光学情報も２次元のデータとして保持してもよい。図１４は、光学情報が２次元である場合の説明図である。図１４（ｃ）は、光学情報を画面上下左右、斜め４５度、１３５度の８方向のデータとして保持する場合の例を示している。図１４では、撮影光学系の色のコマ収差が画面上方向に発生しており、その発生方向に１の光学情報を保持する。色にじみの発生しない方向には０を保持する。単調増減検出を前記８方向で行い、単調減少が検出された方向に光学情報の１が保持されていた場合に色にじみと判定される。単調減少が検出されても、検出された方向に光学情報の１が保持されていなければ被写体の色と判定を行う。

以上のように、画像処理装置１００は、撮影光学系の色にじみが発生する方向に関する光学情報を保持または取得する。好ましくは、画像処理装置１００は、光学情報を記憶する記憶手段１０７を有する。より好ましくは、記憶手段１０７は、撮影条件ごとに光学情報を記憶する。撮影条件は、撮影光学系の焦点距離、被写体距離、絞り値の少なくとも一つを含む。なお、記憶手段１０７は、画像処理装置１００の外部に設けられていてもよい。

そして、画像処理装置１００は、単調増減検出時に検出方向と光学情報を参照することにより、高精度に色にじみ領域を判定することが可能となる。なお、単調増減判定を単調減少方向で説明したが、単調増加方向を使用して色にじみ判定を行ってもよい。また、単調増減判定と光学情報の補正値を８方向で説明したが、８方向に限定されるものではない。精度を向上させるため、検出方向の数を増加させてもよい。または、光学情報に関するデータ量を削減するため、検出方向の数を減少させてもよい。

また画像処理装置１００は、光学情報として、色にじみ発生方向に加え、色にじみの強度に関する情報（色にじみの強度情報）を保持または取得するように構成してもよい。この場合、更に高精度に補正を行うことが可能となる。図１４（ｂ）に示されるように、一般に撮影光学系の収差による色にじみの発生量は方向により異なる。そこで、図１４（ｄ）に示されるように、色にじみの発生する方向に色にじみの発生量に関する色にじみの強度情報を追加してもよい。

続いて、図１５を参照して、色にじみ強度情報を用いた場合の色にじみ判定について説明する。図１５は、光学情報を用いた色にじみ判定処理を示す図であり、光学情報に色にじみ発生方向のみを持つ場合の例を示している。図中の四角で囲まれた注目画素１について色にじみ発生領域の判定を行う場合、まず、注目画素を中心に上下左右、斜め４５度、斜め１３５度の８方向について単調減少判定を行う。図１５（ａ）の場合、高輝度被写体が注目画素の下側に位置するため、注目画素１の単調減少が検出される方向は、上と右上、左上の３箇所が判定される。その３方向の光学情報は色にじみ発生方向を示す「１」であるため、この注目画素１は色にじみ発生領域と判定される。また、同様に注目画素２についても検出を行うと、単調減少方向は上、右上、右、右下が判定される。しかしながら、光学情報の色にじみ発生方向は、右下に発生しない方向を表す「０」を保持しているため、単調減少と光学情報より、最終的な注目画素２の色にじみ検出方向は、上、右上、右の３方向となる。注目画素１、注目画素２共に色にじみ発生が素と判定されるが、図１４（ｂ）に示されるように、撮影光学系の色にじみ発生量は方向により異なるため、注目画素１と注目画素２では、色にじみの発生量が異なっている。光学情報に強度情報を持たない場合、色にじみ量を判定できないため、このあとの色にじみ補正工程において補正の強さを変えて補正を行うことができない。よって、注目画素１にあわせて色にじみ補正を強くすると注目画素２では過補正となり、注目画素２にあわせて色にじみ補正を弱くすると注目画素１では、補正不足となってしまう。

そこで、図１４（ｄ）のように、光学情報に色にじみの発生方向と、その方向の色にじみ強度情報を追加することが好ましい。図１５（ａ）、（ｂ）は、光学情報に色にじみ強度情報も付加した場合の色にじみ領域の判定方法を示している。図１５（ｂ）の注目画素３では、単調減少判定にて上、左上、右上の３方向が判定されるが、光学情報の色にじみ強度もそれぞれ２、３、２と強い色にじみ強度と検出することができる。図１５（ｃ）の注目画素４においては、上、右上、左下の３方向が判定されるが、その方向の光学情報の色にじみ強度はそれぞれ３、２、１と注目画素３に対して弱い色にじみ強度が検出される。よって、例えば、検出された方向の色にじみ強度の平均値により、この後の色にじみ補正処理の補正の強さ（画像を修正する強度）を変更することで、色にじみの発生量が方向で異なる場合でもより正確な補正が可能となる。

注目画素３では色にじみ強度の平均値が約２．３であり、また、注目画素４では色にじみ強度の平均値が２．０となり、この値を使って補正の強さを変えることが可能となる。色にじみ強度の平均値を使用する説明を行ったが、これに限定されるものではない。例えば、色にじみ方向と検出された複数の方向の重心方向の色にじみ強度値を使用して色にじみ補正係数を変えてもよい。注目画素３では重心方向が上となるため色にじみ強度は３、注目画素４では重心方向が右上となるため色にじみ強度は２となり、この値を使って補正の強さを変えることが可能となる。重心方向を採用する場合、例えば上、右上、右、右下の４方向の重心を計算すると、重心方向に最も近い方向は右上、右の２方向となる場合がある。この場合、２方向の平均値、２方向のうち大きい方の色にじみ強度、または、２方向のうち小さいほうの色にじみ強度を用いるなどが考えられる。なお本実施形態において、平均値、重心方向を利用することについて説明したが、光学情報の色にじみ強度情報を任意に演算して色にじみ補正時の補正の強さを変えてもよい。

このように、好ましくは、画像処理装置１００（修正手段１０５）は、第１の方向と第２の方向とが複数の方向において互いに一致する場合、複数の方向における色にじみの強度に関する情報を演算して画像を修正する。より好ましくは、修正手段１０５は、第１の方向と第２の方向とが複数の方向において互いに一致する場合、複数の方向の重心方向における色にじみの強度に関する情報または平均値を用いて画像を修正する。

続いて、図１６を参照して、光学情報の算出方法について説明する。図１６は、光学情報の算出方法の説明図であり、光学情報として保持する任意の方向での、撮影光学系のＧプレーンのＰＳＦ断面（実線）とＢプレーンのＰＳＦ断面（点線）を示している。ここでは、Ｇプレーンを基準プレーンとし、Ｂプレーンの色にじみに関して光学情報を算出する方法について説明する。

撮影光学系の色収差により、Ｇプレーン、Ｂプレーンは、それぞれの波長帯での収差により、異なったＰＳＦ形状となる。また、倍率色収差により、Ｇプレーン、Ｂプレーンは、それぞれ、ずれた位置に結像するため、それぞれのＰＳＦのピーク位置も図１６（ａ）に示されるように、ずれた位置で算出される。倍率色収差による各色プレーンのずれは、従来から行われている、各色プレーンに対し異なる歪曲を加える幾何学変換により補正することができる。そのため、図１６（ｂ）に示されるように、Ｇプレーン、ＢプレーンのそれぞれのＰＳＦのピーク位置を一致させて、図の斜線部にあたる基準であるＧプレーンとＢプレーンのＰＳＦ面積差を色にじみ強度として採用する方法が考えられる。

図１６（ｂ）では、ピークよりも左側エッジの面積差よりも右側エッジの面積差が大きいため、右側エッジで大きく色にじみが発生することがわかる。この面積が小さければ色にじみは目立たないため、面積が小さい場合を色にじみが発生しない方向とすることができる。また、面積比より、色にじみ強度を決定することが可能となる。以上により、光学情報の色にじみが発生する方向や色にじみ強度を算出できるが、算出方法としてＰＳＦの面積差を使用する方法に限定されるものではない。例えば、図１６（ｂ）において、ＧプレーンとＢプレーンのエッジの傾き差を使用する方法が考えられる。色にじみが発生する場合、エッジの傾きは緩くなる傾向にあるため、傾き差などを利用することにより、光学情報を決定するなどしてもよい。

本実施例では、色にじみ強度を計算する際にピーク値を一致させる方法で説明しているが、ピーク値ではなくＰＳＦの重心が一致をさせて色にじみ強度を算出してもよい。このように本実施形態によれば、光学情報の色にじみ発生方向と、色にじみ強度情報を算出することができる。

図１Ｂに戻り、ステップＳ５において、画像処理装置１００（修正手段１０５）は、ステップＳ４にて判定手段１０４により色にじみ領域と判定された領域（第２の領域）に対し、色にじみを補正する処理（画像を修正する処理）を行う（色にじみ補正工程）。すなわち修正手段１０５は、色にじみを低減するように、倍率色収差を補正した撮影画像を修正する。

図１７は、青色にじみの典型的な画素値変化を示す図である。図１７において、横軸は距離（画像上の断面）であり、縦軸はＢプレーン及びＧプレーンの画素値である。図１７では、左端に飽和輝度を超える高輝度被写体が存在するものとする。そして、本来明るくない光源周囲も、収差やフレアにより光源からにじんだ光により、画素値変化の裾が指数関数的に拡がる。

基準プレーンであるＧプレーンでもにじみは無いわけではなく、ある程度の拡がりが存在する。しかし、それは色にじみ除去対象のＢプレーンに比べると小さい。また、撮像素子は一定の飽和レベル以上の画素値を測定することはできない。このような画素値変化において、色にじみ除去対象のＢプレーンの強度が基準プレーンであるＧプレーンの強度を上回ると、青色にじみとなる。

本実施形態では、画像処理装置１００は、色にじみ除去対象のＢプレーンの画素値変化の傾きによりＢプレーンのにじみ量を推定する。そこで、Ｂプレーンの輝度傾斜Ｂｌｅａの絶対値に係数ｋ１を乗じることにより、以下の式（１１）で表されるように第１の推定にじみ量Ｅ１とする。

Ｅ１＝ｋ１｜Ｂｌｅａ｜ … （１１）
式（１１）において、ｋ１は正値である。ただし、Ｂプレーンが飽和している領域Ａ１では画素値傾斜は０になってしまい飽和前の輝度傾斜が得られない。

そこで、Ｂプレーンが飽和している領域Ａ１に対する推定にじみ量Ｅ２を、以下の式（１２）に示されるように、Ｇプレーンの画素値変化の輝度傾斜Ｇｌｅａに基づいて推定する。

Ｅ２＝ｋ２｜Ｇｌｅａ｜ … （１２）
式（１２）において、ｋ２は正値である。

次に、Ｂプレーンの画素値に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換は、Ｂプレーンが飽和しているか否かを示すものであり、Ｂプレーンの強度が飽和している領域では飽和度Ｓが１となり、Ｂプレーンの強度が小さい領域では飽和度Ｓは０となる。飽和度Ｓは０、１の２値でもよいが、図１８に示されるように、飽和度Ｓは０〜１にかけて連続的に変化する値としてもよい。図１８は、Ｂプレーンの画素値に対する非線形変換の特性図である。

そして、上記の生成した飽和度Ｓにより、上記のように算出した推定にじみ量Ｅ１または推定にじみ量Ｅ２を選択する。即ち、飽和度Ｓが０、１の２値であれば新たな推定にじみ量Ｅを、
Ｅ＝Ｅ１ （Ｓ＝０の場合）
Ｅ＝Ｅ２ （Ｓ＝１の場合）
とする。また、飽和度Ｓが０〜１にかけて連続的に変化する値であれば、新たな推定にじみ量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。

次に、上記の推定にじみ量Ｅを修正し、実際に除去する量Ｅ’を決定する。推定にじみ量（除去量）は、一定のモデルに沿ったものであり、実際のにじみ量とは必ずしも一致しない。例えば、同じＢプレーンに検出される光であっても、波長４５０ｎｍの光と波長４００ｎｍの光ではにじみ方が変化するが、ステップＳ４（色にじみ判定工程）では、これを考慮していない。推定にじみ量（除去量）が過小である場合、青色にじみの除去後も若干の青みが残る。一方、推定にじみ量（除去量）が過大である場合、灰色の背景に対してＢプレーンを減らし過ぎ、黄緑色になる場合がある。

特に後者（黄緑色になる場合）は、不自然で観察者に大きな違和感を与える。そこで、ステップＳ５（色にじみ補正工程）では、一定の色相範囲内でのみ、にじみ除去が作用するよう制限する。このため、まずステップＳ５において、画素の色度を計算する。Ｒ、Ｇ、Ｂの各プレーンの強度に対し、以下の式（１３）が成立する。

図１９は、式（１３）のａを横軸とし、ｂを縦軸とする色度座標ａｂ面である。図１９に示されるように、青色は色度座標ａｂ面の斜線で示す第４象限にある（尚、赤、黄、紫は第１象限、緑、白は第２象限、青緑は第３象限にある）。Ｂプレーンの強度から推定にじみ量Ｅを除去すると、Ｂ＝Ｂ−Ｅとなり、色度座標ａｂ面上では点線矢印のように左上方向へ移動する。矢印の始点が推定にじみ量Ｅの除去前の色度であり、終点が推定にじみ量Ｅの除去後の色度である。このことから、作用する色相範囲をａ＞０かつｂ＜０に制限すると、以下の式（１４）が成立する。

Ｂ＞０．２２Ｒ＋０．６８Ｇ かつ Ｂ＞−１．８４Ｒ＋３．３０Ｇ … （１４）
このため、式（１４）を満たさない画素に対し、実際に除去する除去量Ｅ’＝０とし、色にじみ除去対象から外す。これにより、式（１４）を満たさない画素は、画素値が影響を受けることがない。図１９では、斜線で示す第４象限の領域のみが除去対象となる。

更に、式（１４）を満たす画素に対しても、除去量Ｅ’を、以下の式（１５）を満たすように設定する。

Ｅ’＝ｍｉｎ（Ｅ，Ｂ−（０．２２Ｒ＋０．６８Ｇ），Ｂ−（−１．８４Ｒ＋３．３０Ｇ）） … （１５）
これにより、除去量Ｅ’の除去による色度変化は、図１９中の実線矢印で示されるように、第４象限内に留まるようになる。

なお本実施形態において、色度座標ａｂ面の第４象限で制限したが、これに限定されるものではなく、任意の角度で制限してもよい。このとき、以下の式（１６）を満たす必要がある。

Ｂ＞ｒ１・Ｇ＋ｒ２・Ｒ かつ Ｂ＞ｒ３・Ｇ＋ｒ４・Ｒ … （１６）
式（１６）において、ｒ１〜ｒ４は制限角θを用いて、以下の式（１７）のように算出される。色相制限は、色度座標ａｂ面の原点を通る２本の直線で定義され、θ１、θ２はその２本の直線を表す角度である

これにより、色相制限範囲を超えてＢプレーンが減少するのを防ぐことができる。以上のようにして算出した、色にじみの除去対象とする色プレーンの除去量Ｅ’を除去量プレーンとして保持し、色にじみ補正処理を行う。除去量プレーンに対しては、上記のローパスフィルタを適用する。なお本実施形態では、色相制限に簡易的なａ＊ｂ＊平面を用いているが、これに限定されるものではなく、３×３のＲＧＢ→ＹＵＶマトリクスを用いてｕｖ平面にて色相制限処理を行っても構わない。

上記の除去量Ｅ’をＢプレーンの強度から差し引くことにより、新たなＢプレーンを作成する。色にじみ除去対象としては、色にじみ判定ステップＳ４にて色にじみ領域と判定された画素のみとする。従って、新たなＢプレーンの強度は、単調増減判定フラグが「１」ならば、
Ｂ＝Ｂ−Ｅ’
単調増減判定フラグが「０」ならば、
Ｂ＝Ｂ
となる。このように、図１のステップＳ６において、画像処理装置１００（出力手段１０６）は、Ｂプレーンを修正したカラー画像を出力画像として出力する。

ここで、図７に示される画像内の３×３画素のある領域における単調増減判定結果が、図２０に示されるように隣接する画素で単調増減判定フラグの値が切り替わる場合を考える。このような場合、画素の境界部では除去量がばたつき（隣接する画素で除去される場合と除去されない場合が混在すること）、画素値の変化が急峻になり、不自然で観察者に違和感を与える場合がある。そこで、生成した除去量プレーンに対してローパスフィルタを適用する方法が有効である。

また、以下の式（１８）により、単調増減判定結果プレーンを用いて色プレーンの各画素のゲインを算出し、除去量に乗算することで、境界部（単調増減判定結果プレーン）に対するスムージング処理を行ってもよい。

図２０に示す例では、画素ｐの除去量Ｅ’’は、以下の式（１９）のように表される。

以上の方法で、色にじみのみを違和感無く除去することが可能となる。

次に、図２１を参照して、本発明の実施例１における撮像装置について説明する。図２１は、本実施例における撮像装置２００の構成図である。撮像装置２００には、撮影画像の色にじみ補正処理（上述の画像処理方法）を行う画像処理プログラムがインストールされており、この色にじみ補正処理は撮像装置２００の内部の画像処理部２０４（画像処理装置）により実行される。

撮像装置２００は、撮影光学系２０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮影光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮影光学系２０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子２０２は、撮影光学系２０１を介して得られた被写体像（光学像）を光電変換して画像（撮影画像）を得る。すなわち被写体像は、撮像素子２０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ２０３によりデジタル信号に変換され、このデジタル信号は画像処理部２０４に入力される。

画像処理部２０４（画像処理装置１００に相当する）は、このデジタル信号に対して所定の処理を行うとともに、上述の色にじみ補正処理を行う。まず画像処理部２０４（撮影条件取得手段）は、状態検知部２０７から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部２０７は、システムコントローラ２１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮影光学系２０１に関する撮像条件情報は、撮影光学系制御部２０６から取得することもできる。なお、本実施例の色にじみ補正処理（画像処理方法）は、図１Ｂを参照して説明したとおりである。

図１ＢのステップＳ２において、補正手段１０２は、２つの倍率色収差の補正処理を実行する。前述のとおり、補正手段１０２は、設計段階で残存している倍率色収差（第１の倍率色収差）の補正と非対称な倍率色収差（第２の倍率色収差）の補正を行う。このように本実施形態において、両方の倍率色収差補正（第１の補正処理、第２の補正処理）の処理を実行するが、非対称な倍率色収差を補正した後に設計段階で残存している倍率色収差を補正するなど、２つの補正処理のいずれを先に行ってもよい。

または、２つの補正処理を並行して（同時にまたは同期間内に）実行することもできる。２つの補正処理を平行して実行する方法としては、例えば図２９に示されるように、画像の領域を円周方向と像高方向にそれぞれ分割し、各領域の色ずれ量からそれぞれの補正量を算出することができる。または、図１のステップＳ２では非対称な倍率色収差に対する補正（第２の補正処理）のみ実行し、設計段階で残存している倍率色収差の補正（第１の補正処理）は、ステップＳ５の色にじみ補正の際に行ってもよい。この場合、ステップＳ５において、倍率色収差による色のずれ分を考慮しつつ色にじみ補正処理を実行することになる。

撮影光学系２０１の色にじみ発生方向に関する光学情報は、記憶部２０８に保持されている。画像処理部２０４は、上記撮影条件に該当する光学情報を記憶部２０８より取得し、色にじみ補正処理を行い、その出力画像は、画像記録媒体２０９に所定のフォーマットで保存される。表示部２０５には、本実施例の色にじみ補正処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし本実施例はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部２０５に表示するように構成してもよい。

本実施例における一連の制御はシステムコントローラ２１０により行われ、撮影光学系２０１の機械的な駆動はシステムコントローラ２１０の指示に基づいて撮影光学系制御部２０６により行われる。撮影光学系制御部２０６は、Ｆナンバーの撮影状態設定として、絞り２０１ａの開口径を制御する。また撮影光学系制御部２０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ２０１ｂの位置を制御する。なお、絞り２０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置２００の仕様に応じて実行しなくてもよい。また、撮影光学系２０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を設けることができる。

次に、図２２を参照して、本発明の実施例２における画像処理システムについて説明する。図２２は、本実施例における画像処理システム３００の構成図である。なお、本実施例の色にじみ補正処理（画像処理方法）は、図１Ｂを参照して説明したとおりであるため、その説明は省略する。

図２２において、画像処理装置３０１（図１Ａの画像処理装置１００に相当する）は、本実施例の画像処理方法をコンピュータに実行させるための画像処理ソフトウエア３０６を搭載したコンピュータ機器である。撮像機器３０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体３０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。

画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像機器３０２、記憶媒体３０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置３０１に内蔵された記憶部に保存することもできる。出力機器３０５は、例えばプリンタである。また、ネットワークまたはＣＤ−ＲＯＭ３０７などの記憶媒体から画像処理ソフトウエア３０６を画像処理装置３０１にインストールすることもできる。

画像処理装置３０１には、モニタである表示機器３０４が接続されている。このため、ユーザは表示機器３０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウエア３０６は、本実施例の色にじみ補正処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。

なお、本実施例における画像処理を行うためのデータの内容や機器間での受け渡しなどに関する情報（補正情報）については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、適切に本実施例の補正処理を行うことが可能である。また、撮影光学系の色にじみ発生方向に関する光学情報は、本実施例の画像処理装置を搭載した機器の記録部から読み出す方法だけでなく、ネットワークを介して取得してもよく、または、ＰＣ、カメラ、レンズなどから情報を取得するように構成することもできる。

次に、本発明の実施例３における撮像装置について説明する。本実施例の撮像装置は、倍率色収差の補正方法が実施例１の補正方法と異なる。具体的には、実施例１では、画像処理部２０４は、取得した画像（入力画像）から補正量を算出するのに対し、本実施例では、補正量に関する情報を記憶部（記憶手段）などに予め記憶しておき、その情報を補正時に読み出して補正を行う。本実施例における撮像装置の他の構成は、図２２を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。

図３０を参照して、本実施例における画像処理方法（画像処理プログラム）について説明する。図３０の各ステップは、画像処理装置１００（画像処理部２０４）の指令に基づいて、すなわち画像処理装置１００の各手段により実行される。なお図３０のステップＳ３１、Ｓ３３〜Ｓ３７は、図１ＢのステップＳ１〜Ｓ６とそれぞれ同一であるため、それらの説明は省略する。

まずステップＳ３１において、画像処理装置１００（入力手段１０１）は、撮影画像（入力画像）を取得する。続いてステップＳ３２において、画像処理装置１００（補正手段１０２）は、記憶部（記憶手段１０７）に記憶されている倍率色収差の補正量に関する情報（倍率色収差補正情報）を取得する。記憶手段１０７に記憶されている補正量に関する情報は、チャートなどを用いて予め測定された情報であり、設計値の倍率色収差の量からの差分値（ずれ量）である。また補正量に関する情報は、測定した差分値であってもよいし、差分値に基づいて算出された近似値、または、補正時の補正を容易にするために加工された値を利用してもよい。また本実施例において、設計値の倍率色収差の量からの差分値を補正量としているが、これに限定されるものではなく、設計値の倍率色収差および非対称な倍率色収差の両方の情報を補正量として利用してもよい。

続いてステップＳ３３において、補正手段１０２は、ステップＳ３２にて取得した補正量に関する情報（倍率色収差補正情報）を用いて倍率色収差を補正する。取得した補正量に関する情報には、製造工程での発生する非対称な倍率色収差に関する情報が含まれているため、その情報に基づいて実施例１にて説明した補正処理を実施することで非対称性を低減することができる。以降のステップＳ３４〜Ｓ３７は、実施例１のステップＳ３〜Ｓ６とそれぞれ同様であるため、それらの説明は省略する。

このように本実施例では、補正量に関する情報を事前に測定する必要があるが、倍率色収差の補正に関する情報を予め保持しておくことにより、取得画像に対する演算量を減らすことができる。このため、本実施例の構成によれば、処理の高速化や処理負荷の軽減が可能となる。なお本実施例において、補正手段１０２は、ステップＳ３２にて設計値からの差分値を倍率色収差の補正情報として取得しているが、これに限定されるものではない。差分値に代えて倍率色収差そのものを測定して倍率色収差に関する情報を記憶部（記憶手段１０７）に保持し、その情報を倍率色収差の補正情報として用いてもよい。

好ましくは、各実施例の倍率色収差を補正するステップにおいて、撮影画像から倍率色収差を検出し、検出された倍率色収差に基づいて倍率色収差の補正量を決定する。または、好ましくは、各実施例の倍率色収差を補正するステップにおいて、予め記憶された倍率色収差の補正情報に基づいて倍率色収差の補正量を決定する。

好ましくは、倍率色収差を補正するステップにおいて、撮影光学系の設計値として含まれる第１の倍率色収差を補正する。また好ましくは、倍率色収差を補正するステップにおいて、撮影光学系の設計値からのずれに相当する第２の倍率色収差を補正する。

また各実施例は、以下の処理を実行することによっても実現される。即ち、上述の機能を実現するソフトウエア（プログラム）を、ネットワーク又はＣＤ−ＲＯＭなどの各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ、ＭＰＵなど）がプログラムを読み出して実行する処理である。

各実施例によれば、倍率色収差補正後の画像に対して、各色プレーンの画素値の単調増加または単調減少判定と結像光学系の色にじみ発生方向の情報を用いて色にじみを補正することにより、カラー画像の色にじみを効果的に補正することが可能となる。このため各実施例によれば、カラー画像における色にじみを効果的に低減可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 画像処理装置
１０２ 補正手段
１０３ 検出手段
１０４ 判定手段
１０５ 修正手段

Claims (20)

1. 撮影画像の倍率色収差を補正するステップと、
   前記倍率色収差を補正した撮影画像の色信号または輝度信号のレベルが所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出するステップと、
   撮影光学系の色にじみが発生する第２の方向に関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定するステップと、
   前記色にじみを低減するように、前記倍率色収差を補正した撮影画像を修正するステップと、を有することを特徴とする画像処理方法。
2. 前記倍率色収差を補正するステップにおいて、
   前記撮影画像から該倍率色収差を検出し、
   検出された前記倍率色収差に基づいて該倍率色収差の補正量を決定することを特徴とする請求項１に記載の画像処理方法。
3. 前記倍率色収差を補正するステップにおいて、予め記憶された倍率色収差の補正情報に基づいて該倍率色収差の補正量を決定することを特徴とする請求項１に記載の画像処理方法。
4. 前記倍率色収差を補正するステップにおいて、前記撮影光学系の設計値として含まれる第１の倍率色収差を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記倍率色収差を補正するステップは、
   前記撮影画像のエッジ領域を検出するステップと、
   前記エッジ領域における色ずれ量を取得するステップと、
   前記エッジ領域の像高および前記色ずれ量に基づいて補正データを作成するステップと、
   前記補正データを用いて前記第１の倍率色収差を補正するステップと、を有することを特徴とする請求項４に記載の画像処理方法。
6. 前記倍率色収差を補正するステップにおいて、前記撮影光学系の設計値からのずれに相当する第２の倍率色収差を補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理方法。
7. 前記倍率色収差を補正するステップは、
   前記撮影画像のエッジ領域を検出するステップと、
   前記エッジ領域の色ずれ量に基づいて、前記撮影画像の複数の分割領域のそれぞれに対する第１の補正量を算出するステップと、
   前記第１の補正量に基づいて算出された、前記撮影画像の中心に対する放射方向とは異なる方向の第２の補正量を用いて、前記第２の倍率色収差を補正するステップと、を有することを特徴とする請求項６に記載の画像処理方法。
8. 前記第２の倍率色収差を補正するステップにおいて、前記第１の補正量に基づいて算出された前記撮影画像の水平方向および垂直方向の前記第２の補正量を用いて、該第２の倍率色収差を補正することを特徴とする請求項７に記載の画像処理方法。
9. 前記第１の補正量は、前記撮影画像の中心に対して対称な第１の位置と第２の位置との間で互いに異なることを特徴とする請求項７または８に記載の画像処理方法。
10. 前記第２の領域を判定するステップにおいて、前記第１の方向と前記第２の方向とを比較することにより該第２の領域を判定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理方法。
11. 前記第２の領域を判定するステップにおいて、前記第１の方向と前記第２の方向とが互いに一致する場合、前記第１の領域が前記第２の領域であると判定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理方法。
12. 前記倍率色収差を補正した撮影画像を修正するステップにおいて、前記第１の方向と前記第２の方向とが複数の方向において互いに一致する場合、該複数の方向における色にじみの強度に関する情報を演算して前記撮影画像を修正することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理方法。
13. 前記倍率色収差を補正した撮影画像を修正するステップにおいて、前記第１の方向と前記第２の方向とが複数の方向において互いに一致する場合、該複数の方向の重心方向における色にじみの強度に関する情報を用いて前記撮影画像を修正することを特徴とする請求項１２に記載の画像処理方法。
14. 前記第２の領域を判定するステップにおいて、撮影条件ごとに記憶されている前記光学情報に基づいて該第２の領域を判定することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理方法。
15. 前記撮影条件は、前記撮影光学系の焦点距離、被写体距離、絞り値の少なくとも一つを含むことを特徴とする請求項１４に記載の画像処理方法。
16. 前記第１の領域を検出するステップにおいて、複数のカラーフィルタを備えた撮像素子から得られた前記撮影画像の少なくとも一つのカラーフィルタに対応する色プレーンの信号レベル、または、該撮影画像から生成される輝度プレーンの信号レベルが、前記所定の区間において前記第１の方向に単調増加または単調減少している前記第１の領域を検出することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理方法。
17. 撮影画像の倍率色収差を補正する補正手段と、
    前記倍率色収差を補正した撮影画像の色信号または輝度信号のレベルが所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出手段と、
    撮影光学系の色にじみが発生する第２の方向に関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定する判定手段と、
    前記色にじみを低減するように、前記倍率色収差を補正した撮影画像を修正する修正手段と、を有することを特徴とする画像処理装置。
18. 光学像を光電変換して撮影画像を出力する撮像素子と、
    前記撮影画像の倍率色収差を補正する補正手段と、
    前記倍率色収差を補正した撮影画像の色信号または輝度信号のレベルが所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出する検出手段と、
    撮影光学系の色にじみが発生する第２の方向に関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定する判定手段と、
    前記色にじみを低減するように、前記倍率色収差を補正した撮影画像を修正する修正手段と、を有することを特徴とする撮像装置。
19. 撮影画像の倍率色収差を補正するステップと、
    前記倍率色収差を補正した撮影画像の色信号または輝度信号のレベルが所定の区間において第１の方向に単調増加または単調減少している第１の領域を検出するステップと、
    撮影光学系の色にじみが発生する第２の方向に関する光学情報および前記第１の領域に関する情報に基づいて、該色にじみが発生している第２の領域を判定するステップと、
    前記色にじみを低減するように、前記倍率色収差を補正した撮影画像を修正するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
20. 請求項１９に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。