JP7051580B2 - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、撮像光学系の倍率色収差を撮像画像において補正可能な画像処理装置、撮像装置、画像処理方法および画像処理プログラムに関する。

デジタルカメラ等の撮像装置において被写体像を形成するために用いられる光学系の諸収差は、撮像画像の画質を低下させる。諸収差のうち倍率色収差は、撮像画像に色ずれを発生させる。以下の説明において、倍率色収差とは、色ごとの結像位置のずれ（色ずれ）であり、結像性能に起因するぼけとは異なり、画素ごとの被写体像の平行移動として表される。特許文献１には、撮像画像において画像中心からの動径方向（像高方向）に沿って検出される倍率色収差を画像処理によって補正する方法が開示されている。

近年、撮像装置に用いられる撮像素子の画素数が増加し、単位画素サイズが小さくなっており、従来では実質的に問題とならなかった程度の倍率色収差でも画質に影響を与えてしまう。例えば、光学系の製造誤差に起因する倍率色収差の変化が補正されないことにより、画質が低下する。特許文献２には、画像中心に対して回転対称な成分に対する補正量と画像全体で色ずれの量と方向が均一なシフトずれ成分に対する補正量とを算出して製造誤差起因の倍率色収差を補正する方法が開示されている。

特開２０１２－２３５３２号公報 特許第５５０５１３５号公報

光学系の製造誤差としては、光学系の光軸に対するレンズ（レンズ素子やレンズ群）の偏心や倒れ、レンズの光軸方向における平行な位置ずれおよびレンズ素子の形状や屈折率に起因する焦点距離ずれ等が挙げられる。レンズの偏心や倒れによって主に色ごとの被写体像のシフトずれが生じ、光軸方向に平行な位置ずれやレンズの焦点距離ずれによって主に色ごとの被写体像の倍率ずれが生じる。しかしながら、特許文献１にて開示された方法では、像高方向における変倍を行うことで補正を行うため、レンズの偏心や倒れにより生じる色ごとの被写体像の横ずれを補正することができない。

特許文献２にて開示された方法では、画面全体で均一に発生する倍率色収差の成分を考慮しているため、色ごとの被写体像のシフトずれを補正することができる。しかしながら、特許文献２にて開示された方法では、シフトずれ成分の検出を設計値や製造誤差に基づく倍率色収差が含まれる撮像画像から行っている。また、倍率色収差によるシフトずれ成分への影響を考慮していないため、シフトずれ成分のみが生じるサジタル方向エッジが撮像画像内に含まれていないと検出することができない。

したがって、これらの方法では、製造誤差に対応した高精度な倍率色収差の補正が困難である場合があった。

本発明は、撮像光学系の製造誤差に対応した高精度な倍率色収差の補正情報算出を、ロバストに実行可能な画像処理装置、撮像装置、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出する画像処理を行う画像処理装置であって、入力画像の複数の位置ごとの色ずれ量を検出する検出部と、検出部により検出された複数の位置ごとの色ずれ量の位置関係に基づいて、検出部により検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択する選択部と、一部の色ずれ量に基づいて補正情報を算出する算出部と、を有することを特徴とする。

本発明の他の側面としての画像処理方法は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出する画像処理を行う画像処理方法であって、入力画像から複数の位置ごとの色ずれ量を検出する検出ステップと、検出ステップにおいて検出された複数の位置ごとの色ずれ量の位置関係に基づいて、検出ステップにおいて検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択するステップと、少なくとも一部の色ずれ量に基づいて補正情報を算出するステップと、を有することを特徴とする。

本発明の他の側面としての画像処理プログラムは、光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出する画像処理を行う画像処理プログラムであって、入力画像から複数の位置ごとの色ずれ量を検出する検出ステップと、検出ステップにおいて検出された複数の位置ごとの色ずれ量の位置関係に基づいて、検出ステップにおいて検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択するステップと、少なくとも一部の色ずれ量に基づいて補正情報を算出するステップと、をコンピュータに実行させる。

本発明によれば、撮像光学系の製造誤差に対応した高精度な倍率色収差の補正情報算出を、ロバストに実行可能な画像処理装置、撮像装置、画像処理方法および画像処理プログラムを提供することができる。

製造誤差に起因する倍率色収差を説明する図である。 色ずれ量の検出結果を示す図である。 領域分割を示す図である。 実施例１の画像処理装置を備える撮像装置の構成を示すブロック図である。 実施例１の検出部の構成を示すブロック図である。 実施例１の倍率色収差補正のための画像処理を示すフローチャートである。 実施例２の倍率色収差補正のための画像処理を示すフローチャートである。 実施例２におけるエッジ検出方向を示す図である。 実施例３の画像処理装置を備える撮像装置の構成を示すブロック図である。 実施例３の倍率色収差補正のための画像処理を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、具体的な実施例の説明に先立って、撮像光学系（以下、単に光学系という）の製造誤差に起因して倍率色収差が発生するメカニズムについて説明する。光学系の製造誤差としては、光学系の光軸に対するレンズ（レンズ素子やレンズ群）の偏心や倒れ、レンズの光軸方向に平行な位置ずれおよびレンズ素子の形状や屈折率に起因した焦点距離ずれ等が挙げられる。

光学系が光軸に対して回転対称である場合、倍率色収差も回転対称に生じるが、レンズの偏心や倒れが生じると、偏心光学系に特有の回転非対称な倍率色収差が生じる。一部のレンズ群に偏心や倒れが生じると、光学系によって形成される像面が物体面を基準として光軸に直交する方向へシフトする。このとき、偏心したレンズ群の分散により波長ごとにシフト量が変わるため、色ごとに像面全体で均一な量と方向でシフトずれが生じる。

一方、レンズの光軸方向に平行な位置ずれおよびレンズ素子の形状や屈折率に起因した焦点距離ずれが生じると、被写体像の倍率や回転対称な収差成分が変化する。このとき、このようなずれを生じさせたレンズ群の分散によって波長ごとに変化量が変わるため、色ごとに回転対称な位置ずれが生じる。

実際の光学系では、複数のレンズによってそれぞれの色ずれが生じ、結果として複雑なパターンの倍率色収差が生じる。図１は、製造誤差に起因する倍率色収差を説明する図である。図１（Ａ）は、光軸に対して回転対称に設計された光学系に製造誤差を与えた場合の倍率色収差パターンの例を示している。図中に矢印で示される各ベクトルは、各ベクトルの始点位置での倍率色収差の量と方向を表す。撮像によりＲＧＢ画像を撮像画像として生成する場合、Ｒ－Ｇ間とＢ－Ｇ間とでそれぞれ異なるパターンが現れる。本来、回転対称の光学系では光軸中心と撮像面中心とが一致し、それを対称中心とした倍率色収差パターンが生じる。しかしながら、図１（Ａ）では、撮像面全域で対称性がない倍率色収差パターンが生じている。

図１（Ｂ）は、図１（Ａ）の倍率色収差パターンを設計値上の倍率色収差成分に基づいて補正した後の倍率色収差パターンを示している。設計値上の倍率色収差成分で補正した後でも、補正前と同様に、撮像面全域で対称性がない倍率色収差パターンが残っている。これが製造誤差に起因した倍率色収差成分に相当する。従来の製造誤差を考慮しない倍率色収差補正では、図１（Ｂ）に示されるように補正残りが生じるため、撮像画像の画質が低下する。

設計値上の倍率色収差成分で補正した後の倍率色収差パターンは、図１（Ｃ）に示される回転対称な成分と図１（Ｄ）に示される撮像面全体で均一な色ずれベクトルを持つシフトずれ成分との和として近似できる。例えば、製造誤差としてレンズの偏心や倒れのみを考えた場合、図１（Ｄ）に示されるシフトずれ成分は補正できるが、図１（Ｃ）に示される回転対称成分は補正後に残ってしまう。このように、製造誤差を含む実際の光学系の倍率色収差は、回転対称成分と撮像画像内で均一なシフトずれ成分との和として近似することができる。回転対称成分は、設計値上の成分と製造誤差に起因する成分との和である。製造誤差を含む実際の光学系の倍率色収差を補正することにより、図１（Ｅ）に示されるように、倍率色収差を高精度に補正することができる。

次に、倍率色収差を検出するアルゴリズムについて説明する。以下の説明では、撮像画像としての入力画像における２つの色成分（色プレーン）としてのＧプレーンとＲプレーン間での倍率色収差量（色ずれ量）の取得方法について説明するが、他の色プレーン間についても同様に取得することが可能である。まず、入力画像に対して、ＧプレーンとＲプレーンの色プレーン画像データを生成し、生成された各色プレーン画像データからエッジを検出する。エッジは、例えば、連続する画素において画素値が単調増加または単調減少し、隣接する画素値からの増加量または減少量が一定値以上の領域を探索することで検出することができる。

次に、検出されたエッジおよびその周辺を含む領域であるエッジ部において、色プレーン画像データ間の相関が最も大きくなる位置を探索することにより色ずれ量を取得する。例えば、Ｇプレーン画像データに対するＲプレーン画像データの位置を移動させながら、両色プレーン画像データ間での輝度値の差分の絶対値や二乗和が小さくなるような移動量を求め、これを色ずれ量とすればよい。なお、エッジ部ではエッジに平行な方向の色ずれは入力画像からは検出されないため、１次元方向の色ずれ量のみを取得すればよく、エッジに直交する方向の色ずれ量を求めることが好ましい。また、近傍で異なる向きのエッジから色ずれ量を取得することで、２次元の色ずれ量を取得することもできる。

エッジ部以外の領域では、色ずれ量の２次元探索が可能になるが、１次元探索と比較して処理負荷が大きくなってしまう。さらに、倍率色収差は、画像データのエッジに顕著に現れるため、エッジ部での検出が好ましい。

特許文献１にて開示された方法のように色ずれ方向が既知である場合、色ずれ方向に直交するエッジで、色ずれ方向に平行な方向に沿って色ずれ量を検出すれば、容易に色ずれ量を取得することができる。

一方、倍率色収差が回転対称成分とシフトずれ成分の和として表せる場合、入力画像の各位置でこれら２つの成分の和が検出される。検出されるエッジが入力画像内で分布が偏ることなく十分に存在している場合は各成分を分離することができるが、検出されるエッジの分布が画面内で十分でなかったり、偏って分布していたりする場合は各成分を正確に分離することができない。この場合の課題を、図２を用いて説明する。

図２は、色ずれ量の検出結果を示す図である。以下の説明では、図２（Ａ）に示されるように、入力画像２００においてほぼ等しい像高にありエッジ部を含む４つの領域２０１～２０４のそれぞれで同数のメリジオナル方向エッジが検出された場合を考える。なお、１つのエッジの複数位置で色ずれ量が検出されてもよく、同数のエッジとは、エッジが存在する数ではなく、各領域内での色ずれ量の検出数が等しいことを意味する。なお、以下の説明において「色ずれ量」は色ずれ量を示すベクトルの他に、色ずれが発生している点の座標（すなわち色ずれ量を示すベクトルの始点）の情報を含んでいてもよい。図２（Ｂ）に示されるように、領域２０１～２０４の像高における回転対称成分が動径方向外向きを正として色ずれ量＋ａで生じ、シフトずれ成分が水平方向右向きを正として色ずれ量＋ｂで生じているものとする。

図２（Ｃ）は、各領域での色ずれ量の検出結果を統合して得られる色ずれ量ヒストグラムを、動径方向外向きを正として示している。領域２０１，２０３では、シフトずれ成分はメリジオナル方向エッジに対して影響を与えない。したがって、検出される色ずれ量は、検出ばらつきがあるものの、＋ａの周辺に分布する。領域２０２では、シフトずれ成分と回転対称成分が同じ向きを向いているため、検出される色ずれ量はａ＋ｂの周辺に分布する。領域２０４では、シフトずれ成分と回転対称成分とが反対向きであるため、検出される色ずれ量はａ－ｂのまわりに分布する。したがって、回転対称成分は撮像面全域での平均から＋ａと算出され、シフトずれの水平成分は領域２０２，２０４で検出された色ずれ量と回転対称成分との差分から右向きに＋ｂと算出される。

図２（Ｄ）は、領域２０３，２０４に色ずれ量を検出できるエッジが存在しない場合の色ずれ量ヒストグラムを示している。領域２０３，２０４ではエッジが検出されないため、＋ａの周辺での度数分布が半数となり、ａ－ｂ周辺での度数分布がなくなっている。この場合、エッジが検出された領域２０１，２０２の平均からシフトずれ成分と回転対称成分を算出しようとすると、回転対称成分がａ＋ｂ／２となる。シフトずれ成分は、検出された色ずれ量と回転対称成分との差分から、右向きに＋ｂ／２、下向きに＋ｂ／２と算出される。このように算出された色ずれ量に基づいて倍率色収差を補正すると、領域２０１，２０２では正しく補正されるが、その他の領域２０３，２０４では誤って補正されてしまう。

精度良く色ずれを検出するために、色ずれの検出はエッジ部で行われるが、エッジ部以外でも色ずれは生じている。したがって、誤って検出された色ずれの量および方向で入力画像を補正すると、色ずれが悪化した補正画像が出力されてしまう。このように、色ずれを検出できるエッジが画面内で偏って分布している場合、シフトずれ成分および回転対称成分が一意に決まらず、検出エラーが生じる。

シフトずれ成分を先に算出する場合も同様の課題が生じる。図２（Ｅ）は、図２（Ｃ）と同じ検出結果を、水平右向きを正として示している。図２（Ｅ）では、メリジオナル方向エッジから水平成分が検出される領域２０２，２０４のみの度数分布を示している。シフトずれ成分は、領域２０２，２０４での平均から右向きに＋ｂと算出され、回転対称成分は領域２０１～２０４で検出された色ずれ量とシフトずれ成分との差分から、動径方向外向きに＋ａと算出される。

図２（Ｆ）は、図２（Ｄ）と同様に、領域２０３，２０４に色ずれ量を検出できるエッジが存在しない場合のヒストグラムを示している。領域２０４ではエッジが検出されないため、－ａ＋ｂ周辺の分布がなくなっている。この場合、エッジが検出された全ての領域２０１，２０２の平均からシフトずれ成分と回転対称成分を算出しようとすると、シフトずれ成分はａ＋ｂと算出される。領域２０２で検出された色ずれ量がａ＋ｂであることから、回転対称成分は０となる。さらに、領域２０１で検出される色ずれ量が動径方向外向きに＋ａの回転対称成分であることから、シフトずれ成分のうち垂直成分が上向き＋ａと算出される。このように色ずれを検出できるエッジが十分に存在しない場合、回転対称成分を先に算出した場合と同様に、検出エラーが生じる。

以上説明したように、倍率色収差が回転対称成分とシフトずれ成分とからなるとき、入力画像内に十分にエッジが存在しない場合に検出エラーが生じる。例えば、背景に空がある場合、画面上方でのエッジが検出されず、画面下方にエッジが偏って分布する場合がある。したがって、回転対称成分とシフトずれ成分からなる倍率色収差が生じた入力画像においてこれら２つの成分の両方を検出する場合、回転対称成分のみが生じた入力画像に対して倍率色収差を検出する場合とは異なる課題が生じ、検出精度も低下するおそれがある。

また、製造誤差を含む光学系に対して倍率色収差を精度良く補正するには、製造工程で回転対称成分およびシフトずれ成分を測定し、データテーブルとして保存（記憶）しておく方法もある。しかしながら、光学系の状態が変わるあらゆる撮像条件（ズーム位置、Ｆ値および撮影距離等）に対応しようとすると、製造工程での測定負荷が大きくなる。測定負荷を軽減するためには、離散的な撮像条件で測定し、補間によって所望の撮像条件における倍率色収差を算出することが考えられる。しかしながら、光学系によっては製造誤差に起因する、回転対称成分またはシフトずれ成分が撮像条件の変化に対して急激に変化する場合がある。このような場合、補間により十分な精度を得ることが困難となる。また、撮像時に撮像装置を横位置で構えるか縦位置で構えるかよってシフトずれ成分が変化する場合もある。このように、製造工程での測定によりあらゆる撮像条件に対応することは難しい。したがって、回転対称成分とシフトずれ成分の両方をデータテーブルとして保存しておく方法では、製造誤差を含む光学系に対して精度良く倍率色収差を補正することは難しい。

本実施形態に係る画像処理装置は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出（検出）する画像処理を行う。このような画像処理を行うことで、製造誤差に起因する倍率色収差の補正が可能となる。しかしながら、このようなモデルで近似できる倍率色収差を画像から検出するには、上述したような検出エラーの課題がある。

本実施形態では、検出された色ずれ量の位置関係に基づいて、補正情報を算出する際に使用する色ずれ量を選択する。検出された色ずれ量の位置関係は、各位置において色ずれ量が検出されているかどうかを示す検出情報を用いて判定される。検出情報は、上述の例でいえば、領域２０１、２０２、２０３、２０４のうちどの領域でエッジが検出されたか（または検出されなかったか）といった情報である。検出された色ずれ量の位置関係に基づいて倍率色収差の回転対称成分および非回転対称成分の色ずれ量（または補正量）を算出することで、精度良くかつロバストに倍率色収差を検出することができる。また、色ずれ量の検出においては検出値に閾値を設ける等の方法で検出エラーを判定する場合がある。エラーとなった検出値は補正情報の算出には用いられないため、検出されなかったものとして検出情報を取得する必要がある。すなわち、上述した情報を取得する際は、エッジ領域が存在しない場合に加えてエッジ領域はあるものの検出できない場合も考慮する必要がある。

非回転対称成分は、シフトずれ成分であることが好ましい。非回転対称成分をシフトずれ成分とすることは、偏心や倒れなどの製造誤差を持つ偏心光学系において、低次の偏心倍率色収差を考慮していることに相当する。低次の項に絞ることで、検出のロバスト性が向上し、また補正時の計算負荷を低減することができる。なお、非回転対称成分として、シフトずれ成分の他に回転非対称な歪曲収差が色ごとにずれることで、画面位置に応じて色ずれ量の異なる成分も生じる。

画像処理装置は、検出部、選択部および算出部を有する。検出部は、入力画像を複数に分割した領域ごとの色ずれ量を検出する。このように色ずれ量を検出することで、入力画像上の位置情報を離散的に扱うことができ、計算負荷を低減することができる。

選択部は、検出部により検出された複数の領域ごとの色ずれ量の位置関係に基づいて、検出部により検出された色ずれ量から少なくとも一部の色ずれ量を選択する。選択部によって用いられる色ずれ量の位置関係は、各領域において色ずれ量が検出されているかどうかを示す検出情報を用いて判定される。色ずれ量は多くのエッジから検出する必要があるため、エッジごとに情報を記憶すると記憶すべきデータの容量が大きくなってしまう。選択部が各領域において色ずれ量が検出されているかどうかを示す検出情報を取得するようにすることで、ロバストに補正情報を算出するための計算負荷を低減できる。

算出部は、選択部により選択された色ずれ量に基づいて補正情報を算出する。これにより、上述した検出エラーを解消し、シフトずれ成分および回転対称成分を精度良く一意に決定することができる。

図３は、入力画像３００を像高５分割かつ８方位に分割した場合の領域分割を示す図である。回転対称成分は、画面中心（または光軸中心）に対して点対称な領域同士で同じ大きさで反対向きの色ずれベクトルとなる。そのため、非回転対称成分がシフトずれ成分である場合、全領域における色ずれ量の総和をとることで点対称な領域同士の回転対称成分が相殺してシフトずれ成分を算出することができる。領域３０１でエッジの検出結果を取得できない場合、領域３０１以外の色ずれベクトルの総和をとり、シフトずれ成分を算出すると、領域３０４の回転対称成分が相殺されず、その分シフトずれ成分に検出エラーが生じる。そこで、領域３０１，３０４以外の検出結果の加算平均をとることで、回転対称成分が相殺されて小さい計算負荷で精度良くシフトずれ成分を算出することができる。同様に、領域３０２，３０５でエッジの検出結果を取得できない場合、それぞれと点対称な領域３０３，３０６の検出結果も除いて加算平均をとることで、小さい計算負荷で精度良くシフトずれ成分を算出することができる。なお、ここでの色ずれベクトルは上述したように動径方向に１次元検出した色ずれベクトルでもよく、アジムス方向も含めた２次元の色ずれベクトルでもよい。

先に回転対称成分を算出することもできる。この場合、動径方向に沿った色ずれ量をスカラー量として扱う。動径方向に沿った色ずれ量を考えると、シフトずれ成分は画面中心（または光軸中心）に対して点対称な領域同士で同じ大きさで符号が反対の色ずれ量となる。そこで、同じ像高に対応した８領域における色ずれ量の総和をとることで点対称な領域同士のシフトずれ成分が相殺して回転対称成分を算出することができる。領域３０１でエッジの検出結果を取得できない場合、領域３０１以外の同じ像高の領域における色ずれベクトルの総和をとり、回転対称成分を算出すると、領域３０４のシフトずれ成分が相殺されず、その分回転対称成分に検出エラーが生じる。そこで、領域３０１，３０４以外の検出結果の加算平均をとると、シフトずれ成分が相殺されて小さい計算負荷で精度良く回転対称成分を算出することができる。同様に、領域３０２，３０５でエッジの検出結果を取得できない場合、それぞれと点対称な領域３０３，３０６の検出結果も除いて加算平均をとることで、小さい計算負荷で精度良く回転対称成分を算出することができる。

上述の方法によって回転対称成分と非回転対称成分の一方を算出した後、算出した一方の影響を差し引いて考えることで他方の成分を分離できるため、検出結果のうち一部を選択せずとも容易に他方の成分を算出できる。以上により、計算負荷の大きい繰り返し演算などの最適化手法に基づいた最適解の探索を用いなくとも、精度良く回転対称成分と非回転対称成分に基づく倍率色収差を算出できる。

また、選択部は、検出結果の少なくとも一部を分布が線対称となるように選択して補正情報を算出することも可能である。分布が線対称、例えば、上下対称または左右対称となるように色ずれ量を選択することで、回転対称成分と非回転対称成分を分離することができる。回転対称成分の色ずれベクトルを水平成分および鉛直成分にベクトル分解すると、それぞれ左右対称、上下対称な領域同士で同じ大きさで反対向きの色ずれベクトルとなる。そこで、非回転対称成分がシフトずれ成分である場合、全領域における色ずれの総和をとることで線対称な領域同士の回転対称成分が相殺してシフトずれ成分を算出することができる。領域３０１でエッジの検出結果を取得できない場合、領域３０１以外の色ずれベクトルの総和をとり、シフトずれ成分を算出すると、回転対称成分のうち領域３０２の水平成分と領域３０３の鉛直成分が相殺されず、その分シフトずれ成分に検出エラーが生じる。水平成分は、領域３０１，３０２以外の検出結果の加算平均をとると、回転対称成分が相殺されて小さい計算負荷で精度良くシフトずれ成分の水平成分を算出することができる。鉛直成分は、領域３０１、３０３以外の検出結果の加算平均をとると、回転対称成分が相殺されて小さい計算負荷で精度良くシフトずれ成分の鉛直成分を算出することができる。また、領域３０５でエッジの検出結果を取得できない場合、鉛直成分には影響はないが、水平成分を算出する場合は左右対称な領域３０６の検出結果も除いて加算平均をとることで、小さい計算負荷で精度良くシフトずれ成分を算出することができる。

回転対称となるように検出結果を選択した場合と同様に、先に回転対称成分を算出することもできる。この場合、水平成分と鉛直成分を分けて回転対称成分を算出する。回転対称光学系が製造誤差によって偏心した場合、回転対称成分はアジムス成分を持たず、動径方向に沿った成分のみを持つ。その場合、先にシフトずれ成分を算出し、その後回転対称成分を算出することが好ましい。

上述の方法によって回転対称成分と非回転対称成分の一方を算出した後、算出した一方の影響を差し引いて考えることで他方の成分を分離できるため、検出結果のうち一部を選択せずとも容易に他方の成分を算出できる。

本実施形態では、補正情報を回転対称成分と非回転対称成分とからなるか、補正情報を回転対称成分のみからなるかを判定する判定部を有し、算出部は判定部による判定結果に基づいて補正情報を算出してもよい。以上により、計算負荷の大きい繰り返し演算などの最適化手法に基づいた最適解の探索を用いなくとも、精度良く回転対称成分と非回転対称成分に基づく倍率色収差を算出できる。通常、補正情報が回転対称成分と非回転対称成分とからなることで自由度が向上し、補正精度を向上させることができる。しかしながら、画面上方が空であったり、左右のいずれかに主被写体が配置され反対側の多くの領域でデフォーカスしていたりすることで、極端に画面の一方位で色ずれ量を検出できるエッジ部が少ない場合がありうる。このような場合には回転対称成分と非回転対称成分とからなると仮定することで、検出結果に対して自由度が上がりすぎて補正情報の算出結果が不安定になりうる。したがって、検出結果が得られた領域が少ない場合、補正情報を回転対称成分のみからなるとして算出することが好ましい。具体的には、検出結果が得られる領域が全体の６～８割以下、または検出結果のうち対称になるように選択される領域が４～６割以下になる場合、補正情報を回転対称成分のみからなるとすることが好ましい。

図４は、本実施例の画像処理装置を備える撮像装置１００の構成を示すブロック図である。撮像部は、撮像光学系１０１および撮像素子１０２を有する。撮像光学系１０１は、絞り１０１ａを有し、撮像素子１０２の撮像面上に光学像（被写体像）を結像（形成）する。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、撮像光学系１０１により結像された光学像を光電変換してアナログ撮像信号を出力する。なお、撮像光学系１０１は、撮像装置１００に一体に設けられていてもよいし、撮像装置１００に着脱可能な交換レンズ装置に設けられていてもよい。

Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されたアナログ撮像信号をデジタル撮像信号に変換する。画像処理部１０４は、Ａ／Ｄコンバータ１０３からのデジタル撮像信号に対して画像処理を行うことにより撮像画像としての入力画像を生成し、入力画像に対して撮像光学系１０１の製造誤差に起因する倍率色収差を補正する画像処理を行う。

画像処理部１０４は、検出部１０４ａ、取得部１０４ｂ、選択部１０４ｃ、算出部１０４ｄおよび補正部１０４ｄを有する。検出部１０４ａは、入力画像から回転対称成分とシフトずれ成分の両方からなる色ずれ量を検出する。図５は、検出部１０４ａの構成を示すブロック図である。検出部１０４ａは、図５に示されるように、エッジ検出部４０１および色ずれ量取得部４０２を有する。取得部１０４ｂは、検出部１０４ａの検出結果から、入力画像の複数の位置ごとに色ずれ量が検出されているかどうかを示す検出情報を取得する。選択部１０４ｃは、検出情報を用いて検出部１０４ａにより検出された色ずれ量の位置関係を判定し、位置関係に基づいて検出部１０４ａにより検出された色ずれ量から少なくとも一部の色ずれ量を選択する。算出部１０４ｄは、倍率色収差の補正情報を、回転対称成分と非回転対称成分とからなる補正情報として、選択部１０４ｃにより選択された色ずれ量に基づいて算出する。補正部１０４ｅは、補正情報に基づいて入力画像から倍率色収差を補正した補正画像を生成する。

画像処理部１０４で生成された補正画像としての出力画像または補正画像にさらに別の画像処理が加えられることで生成された出力画像は、半導体メモリや光ディスク等の画像記録媒体１０８に保存される。この際、出力画像ファイルに検出情報および補正情報を書き込んでもよい。また、出力画像を、表示部１０５に表示してもよい。

情報入力部１０９は、ユーザが所望の撮像条件（絞り値や露出時間等）を選択して入力する情報を検出して、システムコントローラ１１０にそのデータを供給する。撮像制御部１０６は、システムコントローラ１１０からの駆動命令に応じて撮像光学系１０１内の不図示のフォーカスレンズを移動させるとともに絞り１０１ａの絞り値、露出時間および撮像素子１０２の動作を制御することにより被写体像の撮像を行う。

状態検出部１０７は、システムコントローラ１１０からの撮像条件取得指示に応じて、その時点での撮像条件の情報を取得する。ここでの撮像条件には、絞り１０１ａの絞り値、ズーム位置、フォーカス位置、露出時間および撮像素子のＩＳＯ感度等を含む。

以下、図６を参照して、本実施例の倍率色収差補正のための画像処理（画像処理方法）について説明する。図６は、本実施例の倍率色収差補正のための画像処理を示すフローチャートである。本実施例では、画像処理部１０４がコンピュータプログラムとしての画像処理プログラムに従って本処理を実行する。なお、本処理を必ずしもコンピュータがソフトウェア上で行う必要はなく、少なくとも１つのプロセッサや回路が画像処理部１０４の各機能を実行してもよい。

ステップＳ１０１では、画像処理部１０４は、撮像画像としての入力画像を生成する。なお、本実施例では、画像処理部１０４は、入力画像を自ら生成することで取得するが、異なる処理部で生成された入力画像を取得するようにしてもよい。

ステップＳ１０２では、まず、画像処理部１０４（検出部１０４ａ）のエッジ検出部４０１は、ステップＳ１０１で取得した入力画像におけるメリジオナル方向エッジ（メリジオナル方向に近い方向でのエッジを含む）を検出する。次に、色ずれ量取得部４０２は、これらエッジを含む各エッジ部において、メリジオナル方向の色ずれ量としての倍率色収差量（回転対称成分とシフトずれ成分の合計量を示す倍率色収差情報）を取得（検出）する。そして、図３のように分割された画面上の各領域内で検出した色ずれ量を集計し、加算平均を各領域の代表値として採用する。なお、集計する前に各エッジの検出値に対して外れ値除去などのエラー回避処理を加えてもよい。また、算出された代表値を、閾値処理などによって検出値として採用できるかを判定してもよい。

ステップＳ１０３では、取得部１０４ｂは、ステップＳ１０２の検出結果から、入力画像の複数の位置ごとに色ずれ量が検出されているかどうかを示す検出情報を取得する。具体的には、取得部１０４ｂは、エッジ部が検出されなかったり、領域の代表値が不採用になったりした領域を示す情報を取得する。

ステップＳ１０４では、選択部１０４ｃは、取得部１０４ｂにより取得された検出情報を用いて検出部１０４ａにより検出された色ずれ量の位置関係を判定し、検出された色ずれ量の位置関係に基づいて、補正情報を算出する際に使用する領域を選択する。本実施例では、選択部１０４ｃは、回転対称になるように使用する領域を選択する。

ステップＳ１０５では、算出部１０４ｄは、選択部１０４ｃにより選択された領域の色ずれ量を同じ像高の領域ごとに平均化し、像高に対する色ずれ量の変化を多項式近似するなどの方法で算出する。これを回転対称成分とする。

ステップＳ１０６では、算出部１０４ｄは、まず、ステップＳ１０２で採用した領域ごとの代表値からステップＳ１０５で算出した回転対称成分を差し引く。次に、算出部１０４ｄは、全領域の色ずれベクトルの平均をとることで、シフトずれ成分の水平成分と鉛直成分を算出する。

ステップＳ１０７では、補正部１０４ｄは、撮像画像（入力画像）に対して、ステップＳ１０５で取得した回転対称成分およびステップＳ１０６で取得したシフトずれ成分を用いて倍率色収差を補正する補正処理を行う。

なお、本実施例では、回転対称成分を算出した後、シフトずれ成分を算出したが、シフトずれ成分を算出した後、回転対称成分を算出してもよい。

以上説明したように、本実施例によれば、撮像光学系の製造誤差に起因する倍率色収差が精度良く補正された補正画像を生成可能である。

本実施例の撮像装置の基本構成は、実施例１と同様である。図７は、本実施例の倍率色収差補正のための画像処理を示すフローチャートである。本実施例では、選択部１０４ｃは、線対称になるように使用する領域を選択する。

ステップＳ２０１では、画像処理部１０４は、撮像画像としての入力画像を生成する。なお、本実施例では、画像処理部１０４は、入力画像を自ら生成することで取得するが、異なる処理部で生成された入力画像を取得するようにしてもよい。

ステップＳ２０２では、画像処理部１０４（検出部１０４ａ）のエッジ検出部４０１は、ステップＳ２０１で取得した入力画像におけるメリジオナル方向エッジ（メリジオナル方向に近い方向でのエッジを含む）を検出する。すなわち、エッジ検出部４０１は、入力画像の領域ごとに図８（Ａ）の方向へ単調増加または単調減少するエッジを検出する。また、エッジ検出部４０１は、ステップＳ２０１で取得した入力画像におけるサジタル方向エッジ（サジタル方向に近い方向でのエッジを含む）を検出する。すなわち、エッジ検出部４０１は、入力画像の領域ごとに図８（Ｂ）の方向へ単調増加または単調減少するエッジを検出する。色ずれ量取得部４０２は、これらエッジを含む各エッジ部において、メリジオナル方向およびサジタル方向の色ずれ量としての倍率色収差量（回転対称成分とシフトずれ成分の合計量を示す倍率色収差情報）を取得（検出）する。そして、図３のように分割された画面上の各領域内で検出した色ずれ量を集計し、加算平均を各領域の代表値として採用する。なお、集計する前に各エッジの検出値に対して外れ値除去などのエラー回避処理を加えてもよい。また、算出された代表値を、閾値処理などによって検出値として採用できるかを判定してもよい。以上により、各領域での２次元的な色ずれベクトルが得られる。

ステップＳ２０３では、取得部２０４ｂは、ステップＳ２０２の検出結果から、入力画像の複数の位置ごとに色ずれ量が検出されているかどうかを示す検出情報を取得する。具体的には、取得部１０４ｂは、エッジ部が検出されなかったり、領域の代表値が不採用になったりした領域を示す情報を取得する。ただし、実施例１とは異なり、取得部１０４ｂは、水平成分、鉛直成分ごとに取得する。例えば、水平成分については、画像の水平方向ではサジタル方向エッジが検出されずとも、メリジオナル方向エッジが検出されていれば、検出値が取得されたことになる。一方、画像の斜め方向ではメリジオナル方向エッジとサジタル方向エッジがともに検出されていないと水平成分が算出できないため、メリジオナル方向エッジとサジタル方向エッジがともに検出された場合のみ検出値が取得されたことになる。同様に、鉛直成分については、画像の水平方向ではサジタル方向エッジが検出されていればよいが、画像の斜め方向ではメリジオナル方向エッジとサジタル方向エッジがともに検出される必要がある。

ステップＳ２０４では、選択部１０４ｃは、取得部１０４ｂにより取得された検出情報を用いて検出部１０４ａにより検出された色ずれ量の位置関係を判定し、検出された色ずれ量の位置関係に基づいて、補正情報を算出する際に使用する領域を選択する。本実施例では、選択部１０４ｃは、水平成分が検出された領域のうち、左右対称になるように使用する領域を選択する。また、選択部１０４ｃは、鉛直成分が検出された領域のうち、上下対称になるように使用する領域を選択する。

ステップＳ２０５では、算出部１０４ｄは、ステップＳ２０４で選択された上下対称となる領域について鉛直成分の加算平均をとることで、シフトずれ成分の鉛直成分を算出する。また、算出部１０４ｄは、ステップＳ２０４で選択された左右対称となる領域について水平成分の加算平均をとることで、シフトずれ成分の水平成分を算出する。

ステップＳ２０６では、算出部１０４ｄは、ステップＳ２０２で採用した領域ごとの代表値からステップＳ２０５で取得したシフトずれ成分を差し引く。その結果を同じ像高の領域ごとに平均化し、像高に対する色ずれ量の変化を多項式近似するなどの方法で算出する。これを回転対称成分とする。

ステップＳ２０７では、補正部１０４ｅは、ステップＳ２０１で得られた撮像画像（入力画像）に対して、ステップＳ２０５で取得したシフトずれ成分およびステップＳ２０６で取得した回転対称成分を用いて倍率色収差を補正する補正処理を行う。

なお、本実施例では、シフトずれ成分を算出した後、回転対称成分を算出したが、回転対称成分を算出した後、シフトずれ成分を算出してもよい。

以上説明したように、本実施例によれば、撮像光学系の製造誤差に起因する倍率色収差が精度良く補正された補正画像を生成可能である。

図９は、本実施例の画像処理装置を備える撮像装置１３０の構成を示すブロック図である。本実施例では、画像処理部１０４は、判定部１０４ｆを備える。判定部１０４ｆは、算出部１０４ｄが使用する領域の数によって回転対称成分とシフトずれ成分とからなる補正情報を算出するか、回転対称成分のみからなる補正情報を算出するかを判定する。すなわち、判定部１０４ｆは、補正情報に非回転対称成分を含ませるかどうかを判定する。他の構成は、実施例１と同様であるため、詳細な説明は省略する。

ステップＳ３０１～Ｓ３０４の処理はそれぞれ、実施例１の図６のステップＳ１０１～Ｓ１０４の処理と同じであるため、詳細な説明は省略する。

ステップＳ３０５では、判定部１０４ｆは、ステップＳ３０４で選択された算出部１０４ｃにより使用される領域の数が所定値より大きいかどうかを判定する。本実施例では、領域の全数の５割が所定値として設定されている。選択された領域の数が所定値より大きい場合、ステップＳ３０６に進み、選択された領域の数が所定値より小さい場合、ステップＳ３０９に進む。なお、選択された領域の数が所定値に等しい場合、いずれのステップに進むかは任意に設定可能である。

また、本実施例では、算出部１０４ｄにより使用される領域の数を用いて補正情報の算出方法を選択したが、本発明はこれに限定されない。例えば、エッジ部が検出された数を用いて補正情報の算出方法を選択してもよい。この場合、ステップＳ３０５の処理は、ステップＳ３０３の処理とステップＳ３０４の処理との間に実行されてもよい。

ステップＳ３０６～Ｓ３０８の処理はそれぞれ、実施例１の図６のステップＳ１０５～Ｓ１０７の処理と同じであるため、詳細な説明は省略する。

ステップＳ３０９では、算出部１０４ｃは、ステップＳ３０２で採用した領域ごとの代表値を同じ像高の領域ごとに平均化し、像高に対する色ずれ量の変化を多項式近似するなどの方法で算出する。これを回転対称成分とする。またシフトずれ成分を０とする。

なお、本実施例で説明した画像処理方法と実施例２で説明した画像処理方法とを組み合わせてもよい。この場合、水平成分および鉛直成分の算出に用いる領域の数などの情報を用いて判定部１０４ｅが判定し、シフトずれ成分を算出した後に回転対称成分が算出される。

以上説明したように、本実施例によれば、撮像光学系の製造誤差に起因する倍率色収差が精度良く補正された補正画像を生成可能である。
［その他の実施例]
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 撮像光学系（光学系）
１０４ 画像処理部（画像処理装置）
１０４ａ 検出部
１０４ｃ 選択部
１０４ｄ 算出部

Claims (11)

1. 光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出する画像処理を行う画像処理装置であって、
   前記入力画像の複数の位置ごとの色ずれ量を検出する検出部と、
   前記検出部により検出された複数の位置ごとの色ずれ量の位置関係に基づいて、前記検出部により検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択する選択部と、
   前記一部の色ずれ量に基づいて補正情報を算出する算出部と、を有することを特徴とする画像処理装置。
2. 前記選択部は、前記位置関係に基づいて、前記検出部により検出された複数の位置ごとの色ずれ量のうち、前記算出部による補正情報の算出に使用しない色ずれ量を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択部は、前記一部の色ずれ量の位置が回転対称となるように前記一部の色ずれ量を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択部は、前記一部の色ずれ量の位置が線対称となるように前記一部の色ずれ量を選択することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記非回転対称成分は、シフトずれ成分であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記選択部は、前記入力画像の複数の位置ごとに色ずれ量が検出されているかどうかを示す情報を用いて前記位置関係を判定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記補正情報に非回転対称成分を含ませるかどうかを判定する判定部を更に有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記補正情報に基づいて前記入力画像から倍率色収差を補正した補正画像を生成する補正部を更に有することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 光学系により形成された被写体像を撮像する撮像素子と、
   請求項１から８のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
10. 光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出する画像処理を行う画像処理方法であって、
    前記入力画像から複数の位置ごとの色ずれ量を検出する検出ステップと、
    前記検出ステップにおいて検出された複数の位置ごとの色ずれ量の位置関係に基づいて、前記検出ステップにおいて検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択するステップと、
    前記少なくとも一部の色ずれ量に基づいて補正情報を算出するステップと、を有することを特徴とする画像処理方法。
11. 光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出する画像処理を行う画像処理プログラムであって、
    前記入力画像から複数の位置ごとの色ずれ量を検出する検出ステップと、
    前記検出ステップにおいて検出された複数の位置ごとの色ずれ量の位置関係に基づいて、前記検出ステップにおいて検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択するステップと、
    前記少なくとも一部の色ずれ量に基づいて補正情報を算出するステップと、をコンピュータに実行させるための画像処理プログラム。
    

Images