JP6261676B1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】光学系の製造誤差に起因した倍率色収差を高精度かつロバストに補正する。【解決手段】画像処理装置１０４は、光学系１０１を用いた撮像により生成された入力画像に対して、回転対称成分およびシフトずれ成分からなる倍率色収差を補正する。該装置は、回転対称成分とシフトずれ成分のうち一方を第１の成分とし、他方を第２の成分とするとき、入力画像の取得前に取得されて保存された第１の成分に関する情報である第１の成分情報を取得し、入力画像に対して第１の成分情報を用いた第１の補正処理を行って第１の補正画像を生成する。また、第１の補正画像における色ずれ量を検出し、該色ずれ量から前記第２の成分に関する第２の成分情報を取得する。さらに、第１の補正画像に対して第２の成分情報を用いた第２の補正処理を行う又は入力画像に対して前記第１および前記第２の成分情報を用いた第２の補正処理を行って第２の補正画像を生成する。【選択図】図３

Description

本発明は、撮像光学系の倍率色収差を撮像画像において補正する画像処理技術に関する。

デジタルカメラ等の撮像装置において被写体像を形成するために用いられる光学系の諸収差は、撮像画像の画質を低下させる。諸収差のうち倍率色収差は、撮像画像に色ずれを発生させる。以下の説明において、倍率色収差とは、色ごとの結像位置のずれ（色ずれ）であり、結像性能に起因するぼけとは異なり、画素ごとの被写体像の平行移動として表される。特許文献１には、このような倍率色収差を撮像画像において検出して画像処理によって倍率色収差を補正する方法として、画像中心からの動径方向（像高方向）に倍率色収差を検出してから補正を行う方法が開示されている。

一方、撮像装置に用いられる撮像素子の画素数が増加して単位画素サイズが小さくなると、従来では実質的に問題とならなかった程度の倍率色収差でも画質に影響する。例えば、光学系の製造誤差に起因する倍率色収差の変化が補正されないことにより、画質が低下する。特許文献２には、製造誤差を含む光学系で生じる倍率色収差のうち画像中心に対して回転対称な成分に対する補正量と画像全体で色ずれの量と方向が均一なシフトずれ成分に対する補正量とを算出して製造誤差起因の倍率色収差を補正する方法が開示されている。

特開２０１２−２３５３２号公報 特許第５５０５１３５号公報

光学系の製造誤差としては、該光学系の光軸に対するレンズ（レンズ素子やレンズ群）の偏心や倒れ、レンズの光軸方向における平行な位置ずれおよびレンズ素子の形状や屈折率に起因する焦点距離ずれ等が挙げられる。レンズの偏心や倒れによって主に色ごとの被写体像のシフトずれが生じ、光軸方向に平行な位置ずれやレンズの焦点距離ずれによって主に色ごとの被写体像の倍率ずれが生じる。しかしながら、特許文献１にて開示された方法では、像高方向における変倍を行うことで補正を行うため、レンズの偏心や倒れにより生じる色ごとの被写体像の横ずれを補正することができない。

これに対して、特許文献２にて開示された方法では、画面全体で均一に発生する倍率色収差の成分を考慮しているため、色ごとの被写体像のシフトずれを補正することができる。 しかしながら、該方法では、シフトずれ成分の検出を設計値や製造誤差に基づく色の倍率ずれが含まれる撮像画像から行っている。このような検出を行う場合には、シフトずれ成分のみが生じるサジタル方向エッジが撮像画像内に含まれていないと検出することができない。サジタル方向エッジとは、サジタル方向に沿って輝度が変化するようなエッジを意味し、動径方向に沿って輝度が変化するメリジオナル方向エッジと直交する。また、サジタル方向エッジを検出する際に想定する角度から傾いたエッジも検出してしまうことで、回転対称成分である倍率ずれの成分も含まれる色ずれを検出してしまい、検出誤差が生じる。

本発明は、光学系の製造誤差に起因した倍率色収差を高精度かつロバストに補正することができる画像処理装置、画像処理方法等を提供する。

本発明の一側面としての画像処理装置は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行う。回転対称成分とシフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、入力画像の取得前に取得されて保存された第１の成分に関する第１の成分情報を取得する第１の取得部と、入力画像に対して第１の成分情報を用いた第１の補正処理を行って第１の補正画像を生成する第１の補正部と、第１の補正画像における色ずれ量を検出し、該色ずれ量から前記第２の成分に関する第２の成分情報を取得する第２の取得部と、第１の補正画像に対して第２の成分情報を用いた補正処理または入力画像に対して前記第１および前記第２の成分情報を用いた補正処理を行う第２の補正部とを有することを特徴とする。

なお、上記画像処理装置を含む撮像装置や、該撮像装置に着脱可能な交換レンズ装置であって第１の成分情報を保存している交換レンズ装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行う方法である。該方法は、回転対称成分とシフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、入力画像の取得前に取得されて保存された第１の成分に関する第１の成分情報を取得するステップと、入力画像に対して第１の成分情報を用いた第１の補正処理を行って第１の補正画像を生成するステップと、第１の補正画像における色ずれ量を検出し、該色ずれ量から第２の成分に関する第２の成分情報を取得するステップと、第１の補正画像に対して第２の成分情報を用いた補正処理または入力画像に対して第１および第２の成分情報を用いた補正処理を行うステップとを有することを特徴とする。

なお、コンピュータに上記画像処理装置としての動作を行わせるコンピュータプログラムとしての画像処理プログラムも本発明の他の一側面を構成する。

本発明によれば、光学系の製造誤差に起因した倍率色収差を高精度かつロバストに補正することができる。

本発明の実施例における製造誤差に起因する倍率色収差を説明する図。 実施例におけるエッジ部である色ずれを説明する図。 本発明の実施例１である画像処理装置の構成を示すブロック図。 実施例１における検出部の構成を示すブロック図。 実施例１における画像処理を示すフローチャート。 本発明の実施例２における画像処理を示すフローチャート。 本発明の実施例３における画像処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、撮像光学系（以下、単に光学系という）の製造誤差に起因して倍率色収差が発生するメカニズムについて説明する。前述したように、光学系の製造誤差には、該光学系の光軸に対するレンズ（レンズ素子やレンズ群）の偏心や倒れ、レンズの光軸方向に平行な位置ずれおよびレンズ素子の形状や屈折率に起因した焦点距離ずれ等がある。

光学系が光軸に対して回転対称である場合は、倍率色収差も回転対称に生じるが、レンズの偏心や倒れが生じると、偏心光学系に特有の回転非対称な倍率色収差が生じる。一部のレンズ群に偏心や倒れが生じると、光学系によって形成される像面が物体面を基準として光軸に直交する方向にシフトする。このとき、偏心したレンズ群の分散により波長ごとにシフト量が変わるため、色ごとに像面（撮像面）全体で均一な量と方向でシフトずれが生じる。

一方、レンズの光軸方向に平行な位置ずれおよびレンズ素子の形状や屈折率に起因した焦点距離ずれが生じると、被写体像の倍率や回転対称な収差成分が変化する。このとき、上記ずれを生じさせたレンズ群の分散によって波長ごとに変化量が変わるため、色ごとに回転対称な位置ずれが生じる。実際の光学系では、複数のレンズによってそれぞれの色ずれが生じ、結果として複雑なパターンの倍率色収差が生じる。このような倍率色収差パターンの例を図１（Ａ），（Ｂ）に示す。図１（Ａ）は、光軸に対して回転対称に設計された光学系に製造誤差を与えた場合の倍率色収差パターンの例を示している。図中に矢印で示す各ベクトルは、該ベクトルの始点位置での倍率色収差の量と方向を表す。撮像によりＲＧＢ画像を撮像画像として生成する場合は、Ｒ−Ｇ間とＢ−Ｇ間とでそれぞれ異なるパターンが現れる。本来、回転対称の光学系では光軸中心と撮像面中心とが一致し、それを対称中心とした倍率色収差パターンが生じる。しかし、図１（Ａ）では、撮像面全域で対称性がない倍率色収差パターンが生じている。

図１（Ｂ）は、図１（Ａ）の倍率色収差パターンを設計値上の倍率色収差成分に基づいて補正した後の倍率色収差パターンを示している。設計値上の倍率色収差成分で補正した後にも、補正前と同様に、撮像面全域で対称性がない倍率色収差パターンが残っている。これが製造誤差に起因した倍率色収差成分に相当する。従来の製造誤差を考慮しない倍率色収差補正では、図１（Ｂ）に示されるように補正残りが生じるため、撮像画像の画質が低下する。

この設計値上の倍率色収差成分で補正した後の倍率色収差パターンは、図１（Ｃ）に示すような回転対称な成分と図１（Ｄ）に示すような撮像面全体で均一な色ずれベクトルを持つシフトずれ成分との和として近似できる。例えば、製造誤差としてレンズの偏心や倒れのみを考えた場合には、図１（Ｄ）に示したシフトずれ成分は補正できるが、図１（Ｃ）に示した回転対称成分は補正後に残ることになる。このように、製造誤差を含む実際の光学系の倍率色収差は回転対称成分と撮像画像内で均一なシフトずれ成分との和として近似することができる。回転対称成分は設計値上の成分と製造誤差に起因する成分との和である。上記成分を考慮して補正することにより、図１（Ｅ）に示すように、製造誤差に起因した倍率色収差を補正することができる。なお、製造誤差が生じたレンズ以外でも、レンズ素子の偏心や倒れがある防振（像振れ補正）光学系や、ティルトシフトレンズに対しても同様の倍率色収差補正が可能である。

次に、倍率色収差を検出するアルゴリズムについて説明する。ここでは、撮像画像としての入力画像における２つの色成分（色プレーン）としてのＧプレーンとＲプレーン間での倍率色収差量（色ずれ量）の取得方法について説明するが、他の色プレーン間についても同様に取得することが可能である。まず、入力画像２００に対して、公知の手法によってＧプレーンとＲプレーンの色プレーン画像データを生成し、生成された各色プレーン画像データからエッジを検出する。エッジは、例えば連続する画素において画素値が単調増加または単調減少し、隣接する画素値の差（増加量または減少量）が一定値以上の領域を探索することで検出することができる。

次に、検出されたエッジおよびその周辺を含む領域であるエッジ部において、色プレーン画像データ間の相関が最も大きくなる位置を探索することにより色ずれ量を取得する。例えば、Ｇプレーン画像データに対するＲプレーン画像データの位置を移動させながら、両色プレーン画像データ間での輝度値の差分の絶対値や二乗和が小さくなるような移動量を求め、これを色ずれ量とすればよい。なお、エッジ部ではエッジに平行な方向の色ずれは入力画像からは検出されないため、１次元方向の色ずれ量のみを取得すればよく、該エッジに直交する方向の色ずれ量を求めることが好ましい。

エッジ部以外の領域では、色ずれ量の２次元探索が可能になるが、１次元探索と比較して処理負荷が大きくなってしまう。さらに、光学系の倍率色収差による色ずれは、画像データのエッジに顕著に現れるため、エッジ部での検出が好ましい。

先に説明した特許文献１にて開示された方法のように色ずれ方向が既知である場合には、色ずれ方向に直交するエッジで、色ずれ方向に平行な方向に沿って色ずれ量を検出すれば、容易に色ずれ量を取得することができる。

一方、倍率色収差が回転対称成分とシフトずれ成分の和として表せる場合は、入力画像の各位置で色ずれ方向がどちらであるかが未知である。この場合の課題を、図２（Ａ）〜（Ｄ）を用いて説明する。シフトずれ成分を検出するには、例えば特許文献２に開示されているように、図２（Ａ）に示す入力画像２００の画像中心から垂直方向にある領域２０１において水平方向に輝度が変化する垂直エッジでの色ずれ量を検出すればよい。このようなエッジでは、回転対称成分が生じる動径方向、すなわちメリジオナル方向がエッジに平行になるため、回転対称成分による色ずれが生じない。このため、シフトずれ成分の水平方向成分のみを検出することができる。ただし、一般的なエッジ部では色ずれ成分を検出することができない。このことを図２（Ｂ）に示す。

図２（Ｂ）には、高輝度部２０３と低輝度部２０４からなるエッジ部を拡大して示している。倍率色収差の影響によりＧプレーンに対するＲプレーンの色ずれ２０５が生じている。倍率色収差が図２（Ｂ）中の矢印のいずれの方向に生じていても、エッジ部は同様の画像となる。このため、色ずれ方向が未知であると、どの方向に色ずれが生じているかを特定することができない。

ここで、再びシフトずれ成分の水平成分の検出について考える。垂直エッジの検出は、上述したように画素値が水平方向に単調増加または単調減少し、隣接する画素値の差が一定値以上の領域を検出することで行われる。このような場合、図２（Ｃ）に示すような垂直方向からわずかに傾いたエッジも、画素値が水平方向に単調変化するために検出されることとなる。仮に光学系の製造誤差が小さくシフトずれ成分がない場合は、回転対称成分により真の倍率色収差２０６が生じる。しかし、このエッジを垂直エッジとして検出しているため、水平方向での検出を行うことで検出された倍率色収差２０７を真値としてみなす。つまり、実際には水平方向の色ずれ成分はないにもかかわらず、水平方向に色ずれがあるとの検出エラーが生じる。

同様に、図２（Ａ）中の領域２０２における垂直エッジで色ずれ成分の水平成分を検出することについて考える。ここでは、回転対称成分２０８とシフトずれ成分２０９との水平成分の和が検出されるはずである。このため、シフトずれ成分２０９の水平成分を予め取得していれば、回転対称成分を取得することができる。しかし、実際には検出された倍率色収差２０７には、シフトずれ成分２０９の垂直成分の影響が含まれる。

このように、倍率色収差の色ずれ方向が未知である場合は、エッジの傾きが想定される角度に対してずれることで検出エラーが生じる。色ずれ方向が未知となるのは、回転対称成分に加えてシフトずれ成分が存在することによるので、製造誤差の影響のみではなく、防振光学系やティルトシフトレンズで生じる倍率色収差でも同様である。また、検出エラーの大きさは、エッジの傾きの正接（tangent）に比例するため、該傾きが小さければ検出エラーも小さいが、冒頭で述べたような高精度の倍率色収差補正を行うには問題となる。さらに、回転対称成分には、製造誤差に起因する成分だけではなく、設計値上の成分も存在するため、大きい量になり易い。このため、比較的小さい製造誤差起因のシフトずれ成分の検出時に比較的大きい回転対称成分が混ざることで、エッジの傾きが小さくてもシフトずれ成分の検出に大きく影響する。

以上のことから本発明の実施例では、光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフトずれ成分からなる倍率色収差を補正する画像処理を行う。回転対称成分とシフトずれ成分のうち一方を第１の成分とし、他方を第２の成分とする。このとき、実施例では、入力画像の取得前に取得されて保存（記憶）された第１の成分に関する第１の成分情報を取得し、さらに第１の成分情報を用いて第２の成分に関する第２の成分情報を取得する。各成分情報は、各成分の量と方向を含む。そして、入力画像に対して第１の成分情報を用いた第１の補正処理を行って第１の補正画像を生成し、第１の補正画像における色ずれ量を検出して該色ずれ量から第２の成分に関する第２の成分情報を取得する。さらに、第１の補正画像に対して第２の成分情報を用いた第２の補正処理を行う又は入力画像に対して第１および第２の成分情報を用いた第２の補正処理を行うことにより第２の補正画像を生成する。

倍率色収差をその回転対称成分とシフトずれ成分とに基づいて補正することで、製造誤差に起因する成分を含めて倍率色収差の補正が可能となる。また、防振光学系やティルトシフトレンズに対応する倍率色収差も補正できる。ただし、このような回転対称成分とシフトずれ成分からなるモデルで近似できる倍率色収差を入力画像から検出するには、上述した検出エラーの問題がある。

そこで、本実施例では、例えば、入力画像の取得前、すなわち予め取得して保存した第１の成分情報を用いて入力画像を補正することで得られた第１の補正画像において色ずれ量を検出し、その色ずれ量から第２の成分情報を取得する。これにより第１の補正画像に残存した倍率色収差成分（第２の成分）をロバストに検出することができる。そして、この第２の成分を示す第２の成分情報と第１の成分情報とを用いて、上述した第２の補正処理を行うことで、製造誤差に起因する成分を含めて倍率色収差を高精度に補正することができる。予め取得して保存するとは、例えば、入力画像の取得に用いられた光学系の製造工程において取得して保存することを意味する。

第１の成分は回転対称成分であり、第２の成分はシフトずれ成分であることが好ましい。 第１の成分情報として予め保持された回転対称成分に関する情報を取得して上述した第１の補正処理を行うことで、第１の補正画像において検出される色ずれ量はシフトずれ成分のみで近似することができる。この場合、防振光学系やティルトシフトレンズでは光学素子のシフト方向から生じるシフトずれ成分の方向も分かる。このため、色ずれ量を正確に検出することができ、該色ずれ量からシフトずれ成分を正確に取得することができる。製造誤差を含む光学系では、シフトずれ成分の方向は未知であるが、回転対称成分がないことで、エッジが傾いていることによって生じる検出誤差を低減することができる。また、回転対称成分がない場合はサジタル方向エッジでなくてもシフトずれ成分を検出することができ、必ずしもエッジ部で色ずれ量を検出しなくてもよい。このため、第１の補正画像内にサジタル方向エッジがない場合でも回転対称成分とシフトずれ成分からなる倍率色収差を補正することができる。また、製造誤差を含む光学系では、第１の成分は製造誤差起因の成分を含まず、設計値上の成分のみでもよい。この場合は、第１の補正画像に回転対称成分が残存してしまうものの、回転対称成分の大半を補正できるため、エッジが傾いていることによって生じる検出誤差を低減することができる。

また、第１の成分がシフトずれ成分であり、第２の成分が回転対称成分であってもよい。第１の補正処理によりシフトずれ成分を補正した第１の補正画像を取得することで、該第１の補正画像において検出される色ずれ量は回転対称成分のみで近似できる。この場合、色ずれは動径方向にのみ生じるので、従来の回転対称光学系における場合と同様に、色ずれ量を正確に検出することができ、該色ずれ量から回転対称成分を正確に取得することができる。シフトずれ成分が存在する場合には同じ像高かつ画面位置の異なる２点で動径方向の色ずれ量を算出することで、回転対称成分と２点で等しいシフトずれ成分とを分離することできる。これに対して、シフトずれ成分が既に補正されていれば、各像高の１点でもエッジがあれば回転対称成分を取得することができる。このため、第１の補正画像の中心から複数の方位で色ずれ量を検出できるエッジを探す必要がなくなる。

また、入力画像の取得前に取得されて保存された第１の成分情報と第２の成分に関する第３の成分情報とを（例えばこれらの和として）取得し、第１の成分情報とともに第３の成分情報を用いて第１の補正処理を行ってもよい。つまり、第１の補正処理に第１の成分だけでなく第２の成分に関する情報を用いてもよい。例えば、製造誤差に起因する回転対称成分とシフトずれ成分の情報を用いて第１の補正処理を行ってもよいし、設計値上の回転対称成分と製造誤差に起因するシフトずれ成分の情報とを用いて第１の補正処理を行ってもよい。

さらに、第１の補正画像にて検出した色ずれ量から第１の成分に関する第４の成分情報と第２の成分情報とを（例えばこれらの和として）取得し、第２の成分情報とともに第４の成分情報を用いて第２の補正処理を行ってもよい。これにより、第１の補正画像にシフトずれ成分と回転対称成分の両方が残存していても、これらを第２の補正処理で補正することができる。ただし、これらの検出には上述した問題があるため、第１の補正画像では色ずれ量の大部分が補正されている必要がある。例えば、第１の補正画像において設計値上の回転対称成分が補正されていれば、検出誤差を低減しつつ製造誤差起因の回転対称成分とシフトずれ成分を検出することができる。また、第１の補正画像において、予め保存された設計値上の回転対称成分と製造誤差起因の回転対称およびシフトずれ成分が補正されていれば、環境光の光源色や経年劣化等によって第１の補正画像に残存した倍率色収差を補正してもよい。

また、第１の補正画像における色ずれ量の検出は、該第１の補正画像におけるエッジを検出し、検出されたエッジを含む領域としてのエッジ部における１つの色プレーンに対する他の色プレーンのずれ量を色ずれ量として検出すればよい。エッジ部では倍率色収差が顕著に現れるために該エッジ部での色ずれ量の検出精度は高く、検出時に１次元探索すればよいため処理も高速で行うことができる。また、この色ずれ量の検出を上述した構成において行うことで、検出誤差も回避または低減することができる。

また、製造誤差に起因する回転対称成分やシフトずれ成分は光学系の個体ごとに異なるため、第１の成分情報は上述したように光学系の製造工程において個別に測定して保存することが好ましい。また、製造工程以外でも、修理等の調整時に保存してもよい。入力画像からの検出では既知の課題や上述した検出エラーが生じるが、製造工程において理想的な測定環境で測定することで、これらの課題を解決することができる。

光学系が撮像装置に対して着脱可能な交換レンズ装置に設けられている場合には、該交換レンズ装置に第１の成分情報を保存するレンズ記憶部を設け、交換レンズ装置から画像処理装置やこれを備えた撮像装置に第１の成分情報が供給されるようにしてもよい。これにより、様々な光学系の第１の成分情報を画像処理装置や撮像装置が保存する必要をなくしつつ、交換レンズ装置が装着された撮像装置により取得された入力画像に対して製造誤差に起因する倍率色収差の補正が可能となる。

また、第１の成分情報を入力画像のヘッダ情報として保存しておき、画像処理装置やこれを備えた撮像装置は該ヘッダ情報から第１の成分情報を取得してもよい。これにより、画像処理装置やこれを備えた撮像装置に様々な撮像条件における第１の成分情報を保存しておくことが不要となる。

図３には、本発明の実施例１である画像処理装置を含む撮像装置の構成を示す。撮像部は、撮像光学系１０１および撮像素子１０２を含む。絞り１０１ａを含む光学系１０１は、不図示の被写体からの光を撮像素子１０２上に結像（形成）する。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、光学系１０１を介して形成された被写体像（光学像）を光電変換してアナログ撮像信号を出力する。

撮像素子１０２での光電変換により生成されたアナログ信号は、Ａ／Ｄコンバータ１０３でデジタル撮像信号に変換されて画像処理装置としての画像処理部１０４に出力される。画像処理部１０４は、デジタル撮像信号に対して一般に行われる画像処理を行うことにより撮像画像としての入力画像を生成し、該入力画像に対して光学系１０１の製造誤差に対応した倍率色収差を補正する画像処理を行う。

また、画像処理部１０４は、取得部（第１の取得部）１０４ａと、第１補正部（第１の補正部）１０４ｂと、検出部１０４ｃと、算出部１０４ｄと、第２補正部（第２の補正部）１０４ｅとを有する。取得部１０４ａは、倍率色収差の回転対称成分とシフトずれ成分のうち一方の成分の情報である第１の成分情報を、記憶部としてのＲＯＭ１１１から読み出す（さらに後述するように補間演算を行う）ことにより取得する。第１補正部１０４ｂは、後述する第１の補正処理を行うことで第１の補正画像を生成する。検出部１０４ｃは、第１の補正画像から色ずれ量を検出する。検出部１０４ｃは、図４に示すように、エッジ検出部３０１と、色ずれ量取得部３０２とを含む。

算出部１０４ｄは、検出部１０４ｃにより検出された色ずれ量から、倍率色収差の回転対称成分とシフトずれ成分のうち他方の成分の情報である第２の成分情報を算出する。検出部１０４ｃと算出部１０４ｄとにより第２の取得部が構成される。第２補正部１０４ｅは、後述する第２の補正処理を行うことで第２の補正画像を生成する。

画像処理部１０４で生成された第２の補正画像としての出力画像または第２の補正画像にさらに別の画像処理が加えられることで生成された出力画像は、半導体メモリや光ディスク等の画像記録媒体１０８に保存される。この際、出力画像ファイルに第１の成分情報および第２の成分情報を書き込んでもよい。また、出力画像を、表示部１０５に表示してもよい。

情報入力部１０９は、ユーザが所望の撮像条件（絞り値や露出時間等）を選択して入力する情報を検出して、システムコントローラ１１０にそのデータを供給する。撮像制御部１０６は、システムコントローラ１１０からの駆動命令に応じて光学系１０１内の不図示のフォーカスレンズを移動させるとともに絞り値、露出時間および撮像素子１０２の動作を制御することにより被写体像の撮像を行う。

状態検知部１０７は、システムコントローラ１１０からの撮像条件取得指示に応じて、その時点での撮像条件の情報を取得する。ここでの撮像条件には、光学系１０１の絞り値、ズーム位置、フォーカス位置、露出時間および撮像素子のＩＳＯ感度等を含む。なお、光学系１０１は、撮像装置（撮像素子１０２）に一体に設けられていてもよいし、撮像装置に対して交換可能な交換レンズ装置に設けられていてもよい。光学系１０１が交換レンズ装置に設けられている場合は、ＲＯＭ１１１が交換レンズ装置に設けられ、撮像装置内の取得部１０４ａが交換レンズ装置と撮像装置との間の通信を介して第１の成分量の情報を取得することができる。ただし、この場合でも、ＲＯＭ１１１の機能の少なくとも一部を撮像装置に設けてもよい。

図５のフローチャートには、本実施例における倍率色収差補正のための画像処理（画像処理方法）の流れを示している。メインコンピュータとしてのシステムコントローラ１１０および画像処理コンピュータとしての画像処理部１０４がコンピュータプログラムとしての画像処理プログラムに従って本処理を実行する。なお、本処理を必ずしもコンピュータがソフトウェア上で行う必要はなく、少なくとも１つのプロセッサや回路が画像処理部１０４の各機能を実行してもよい。

ステップＳ１０１では、システムコントローラ１１０は、光学系１０１および撮像素子１０２を含む撮像部を制御して被写体像の撮像を行わせ、画像処理部１０４に入力画像を生成させる。

ステップＳ１０２では、システムコントローラ１１０は、状態検知部１０７を通じて現在の撮像条件の情報を取得する。

ステップＳ１０３では、画像処理部１０４（取得部１０４ａ）は、ステップＳ１０２で取得された撮像条件に対応する第１の成分情報をＲＯＭ１１１から取得する。本実施例では、第１の成分情報として、倍率色収差のうち製造誤差に起因するシフトずれ成分の量と方向（以下、これらをまとめてシフトずれ成分量という）の情報を取得する。

ＲＯＭ１１１には、光学系１０１の製造工程（つまりは入力画像の取得前）に測定された複数の代表的な撮像条件でのシフトずれ成分量の情報がデータテーブルとして書き込まれている。画像処理部１０４は、現在の撮像条件に近い少なくとも２つの代表的な撮像条件でのシフトずれ成分量を用いて補間演算を行うことで、現在の撮像条件に対応するシフトずれ成分量を算出して取得する。シフトずれ成分量は、Ｒ−Ｇ間およびＢ−Ｇ間に対応する２次元のベクトルで表されるが、例えば交換レンズ装置にＲＯＭ１１１が設けられている場合は実寸でＲＯＭ１１１に記憶されている。この場合は、画像処理部１０４は、ＲＯＭ１１１から読み出したシフトずれ成分量を撮像素子１０２の画素サイズ情報から画素単位でのずれ量に変換する。

ステップＳ１０４では、画像処理部１０４（第１補正部１０４ｂ）は、ステップＳ１０３で取得したシフトずれ成分量を用いて、ステップＳ１０１で取得した入力画像に対してシフトずれ成分を補正する第１の補正処理（公知の補正処理でよい）を行う。これにより、第１の補正画像を生成する。

ステップＳ１０５では、画像処理部１０４（検出部１０４ｃ）のエッジ検出部３０１は、ステップＳ１０４で生成した第１の補正画像におけるメリジオナル方向エッジ（メリジオナル方向に近い方向でのエッジを含む）を検出する。そして、色ずれ量取得部３０２は、これらエッジを含む各エッジ部において、メリジオナル方向の色ずれ量を取得（検出）する。

ステップＳ１０６では、画像処理部１０４（算出部１０４ｄ）は、ステップＳ１０５で取得した色ずれ量を用いて回転対称成分量を算出する。具体的には、取得した色ずれ量を像高の一定範囲ごとに画像方位において平均して像高に対する色ずれ量の変化を多項式近似する。

ステップＳ１０７では、画像処理部１０４（第２補正部１０４ｅ）は、ステップＳ１０６で算出した回転対称成分量を用いて、ステップＳ１０４で生成された第１の補正画像に対して回転対称成分を補正する第２の補正処理（公知の補正処理でよい）を行う。これにより、第２の補正画像を生成する。

以上により、製造誤差に起因した倍率色収差を精度良く補正することができる。なお、ステップＳ１０７において画像処理部１０４（第２補正部１０４ｅ）は、ステップＳ１０３で取得したシフトずれ成分量とステップＳ１０６で算出した回転対称成分量との和を算出し、その算出結果を用いて入力画像に対して第２の補正処理を行ってもよい。これによっても、製造誤差に起因した倍率色収差が精度良く補正された第２の補正画像を得ることができる。

次に、本発明の実施例２についで説明する。本実施例における撮像装置の基本構成は実施例１の撮像装置と同じであり、共通する構成要素には実施例１と同符号を付す。図６のフローチャートには、本実施例における倍率色収差補正のための画像処理の流れを示している。本実施では、取得部１０４ａが第１の成分情報として回転対称成分量の情報をＲＯＭ１１１から取得し、検出部１０４ｃが第２の成分情報としてのシフトずれ成分量（方向を含む）を検出する。

ステップＳ２０１およびＳ２０２は、実施例１（図５）のステップＳ１０１およびＳ１０２と同じである。

ステップＳ２０３では、画像処理部１０４（取得部１０４ａ）は、ステップＳ２０２で取得された撮像条件に対応する回転対称成分量の情報をＲＯＭ１１１から取得する。実施例１と同様に、ＲＯＭ１１１には、光学系１０１の製造工程（つまりは入力画像の取得前）に測定された複数の代表的な撮像条件での回転対称成分量の情報がデータテーブルとして書き込まれている。画像処理部１０４は、現在の撮像条件に近い少なくとも２つの代表的な撮像条件での回転対称成分量の情報を用いて補間演算を行うことで、現在の撮像条件に対応する回転対称成分量を算出して取得する。交換レンズ装置にＲＯＭ１１１が設けられている場合の画素単位での変換については実施例１のステップＳ１０３と同様である。

ステップＳ２０４では、画像処理部１０４（第１補正部１０４ｂ）は、ステップＳ２０３で取得した回転対称成分量を用いて、ステップＳ２０１で取得した入力画像に対して回転対称成分を補正する第１の補正処理を行う。これにより、第１の補正画像を生成する。

ステップＳ２０５では、画像処理部１０４（検出部１０４ｃ）のエッジ検出部３０１は、ステップＳ２０４で生成された第１の補正画像における垂直エッジ（垂直に近いエッジを含む）と水平エッジ（水平に近いエッジを含む）を検出する。そして、色ずれ量取得部３０２は、垂直エッジを含む各エッジ部において水平方向の色ずれ量を取得（検出）する。また、色ずれ量取得部３０２は、水平エッジを含む各エッジ部において垂直方向の色ずれ量を取得（検出）する。第１の補正画像では回転対称成分は補正されているので、該画像上の任意の位置のエッジ部で色ずれ量を取得することができる。この際、検出精度を上げるために、入力画像におけるできるだけ広い領域で色ずれ量を取得することが好ましい。

ステップＳ２０６では、画像処理部１０４（算出部１０４ｄ）は、ステップＳ２０５で取得した色ずれ量を用いてシフトずれ成分量を算出する。具体的には、取得した水平方向の色ずれ量と垂直方向の色ずれ量のそれぞれの平均値に基づいて、２次元ベクトルとしてのシフトずれ成分量を算出する。

ステップＳ２０７では、画像処理部１０４（第２補正部１０４ｅ）は、ステップＳ２０６で算出したシフトずれ成分量を用いて、ステップＳ２０４で生成された第１の補正画像に対してシフトずれ成分を補正する第２の補正処理（公知の補正処理でよい）を行う。これにより、第２の補正画像を生成する。

以上により、製造誤差に起因した倍率色収差を精度良く補正することができる。なお、ステップＳ２０７にて画像処理部１０４（第２補正部１０４ｅ）は、ステップＳ２０３で取得した回転対称成分量とステップＳ２０６で算出したシフトずれ成分量との和を算出し、その算出結果を用いて入力画像に対して第２の補正処理を行ってもよい。これによっても、製造誤差に起因した倍率色収差が精度良く補正された第２の補正画像を得ることができる。

次に、本発明の実施例３について説明する。実施例１，２では、画像処理装置を内蔵した撮像装置について説明したが、本実施例では画像処理装置に相当するパーソナルコンピュータがこれにインストールされた画像処理プログラムに従って画像処理を実行する場合について説明する。図７のフローチャートには、本実施例における倍率色収差補正のための画像処理の流れを示している。

ステップＳ３０１では、パーソナルコンピュータ（以下、単にコンピュータという）は撮像装置により生成された撮像画像としての入力画像を、該撮像装置から有線または無線通信を介して又はインターネット等の回線を介して取得する。

ステップＳ３０２では、コンピュータは、ステップＳ３０１で取得した入力画像のヘッダ情報から該入力画像の撮像時における撮像条件の情報を取得する。

ステップＳ３０３では、コンピュータ（取得部）は、入力画像のヘッダ情報から、ステップＳ３０２で取得した撮像条件での光学系１０１の倍率色収差の設計値上および製造誤差に起因する倍率色収差量（回転対称成分量およびシフトずれ成分量）の情報を取得する。回転対称成分量およびシフトずれ成分量のうち一方が第１の成分情報に相当し、他方が第３の成分情報に相当する。この情報は、設計値上および製造誤差起因の倍率色収差量の情報としてレンズ記憶部に保存した交換レンズ装置から該情報を通信により得た撮像装置が画像ファイルのヘッダ情報に書き込んだものである。

ステップＳ３０４では、コンピュータ（第１の補正部）は、ステップＳ３０３で取得した設計値上および製造誤差に起因する回転対称成分量およびシフトずれ成分量からなる倍率色収差量を用いて、入力画像に対して倍率色収差を補正する第１の補正処理を行う。これにより、第１の補正画像を生成する。

ここで、理想的にはこの時点で倍率色収差は十分な精度で補正されている。しかし、実際には、光学系１０１の経年劣化等によって回転対称成分とシフトずれ成分からなる倍率色収差が第１の補正画像に残存している場合がある。このため、ステップＳ３０５では、コンピュータは、第１の補正画像からメリジオナル方向エッジを検出し、各エッジ部においてメリジオナル方向の色ずれ量を取得（検出）する。ここでは第１の補正画像に回転対称成分とシフトずれ成分がともに含まれていることを想定しているが、ステップＳ３０４で倍率色収差が概ね補正されているため、色ずれ量の検出誤差は少ない。

ステップＳ３０６では、コンピュータ（算出部）は、ステップＳ３０５で取得した色ずれ量を用いて、第１の補正画像に残存していた回転対称成分量とシフトずれ成分量とを算出する。これら回転対称成分量およびシフトずれ成分量のうち一方が第４の成分情報に相当し、他方が第２の成分情報に相当する。具体的には、像高に関する多項式で表した回転対称成分の各次数の係数と全画像領域で均一なシフトずれ成分の垂直成分および水平成分とを変数として、ステップＳ３０５で取得したメリジオナル方向の色ずれ量に合うように公知の最適化手法を実行する。

ステップＳ３０７では、コンピュータ（第２の補正部）は、ステップＳ３０６で算出した回転対称成分量とシフトずれ成分量とを用いて、第１の補正画像に対して倍率色収差を補正する第２の補正処理を行う。これにより、第２の補正画像が生成される。以上により、製造誤差に起因した倍率色収差を精度良く補正することができる。

本実施例によれば、交換レンズ装置に保存された倍率色収差情報のみを用いて製造誤差に起因する倍率色収差の補正を行うよりさらに精度良く、製造誤差に起因する倍率色収差を補正することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像光学系
１０２ 撮像素子
１０４ 画像処理部

Claims (15)

1. 光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行う画像処理装置であって、
   前記回転対称成分と前記シフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、前記入力画像の取得前に取得されて保存された前記第１の成分に関する第１の成分情報を取得する第１の取得部と、
   前記入力画像に対して前記第１の成分情報を用いた第１の補正処理を行って第１の補正画像を生成する第１の補正部と、
   前記第１の補正画像における色ずれ量を検出し、該色ずれ量から前記第２の成分に関する第２の成分情報を取得する第２の取得部と、
   前記第１の補正画像に対して前記第２の成分情報を用いた補正処理または前記入力画像に対して前記第１および前記第２の成分情報を用いた補正処理を行う第２の補正部と、を有することを特徴とする画像処理装置。
2. 前記第１の成分は前記回転対称成分であり、前記第２の成分は前記シフト成分であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の成分は前記シフト成分であり、前記第２の成分は前記回転対称成分であることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の取得部は、前記入力画像の取得前に取得されて保存された前記第２の成分に関する第３の成分情報を取得し、
   前記第１の補正部は、前記第１の成分情報とともに前記第３の成分情報を用いて補正処理を行うことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記第１の成分情報と前記第３の成分情報は、共に前記光学系の製造誤差に起因する倍率色収差に関する情報であることを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の成分情報と前記第３の成分情報のうち、一方は前記光学系の設計値上の倍率色収差に関する情報であり、他方は前記光学系の製造誤差に起因する倍率色収差のシフト成分に関する情報であることを特徴とする請求項４に記載の画像処理装置。
7. 前記第２の取得部は、前記色ずれ量から前記第１の成分に関する第４の成分情報を取得し、
   前記第２の補正部は、前記第２の成分情報とともに前記第４の成分情報を用いて補正処理を行うことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記第２の取得部は、
   前記第１の補正画像におけるエッジを検出し、
   検出された前記エッジを含む領域としてのエッジ部における１つの色プレーンに対する他の色プレーンのずれ量を前記色ずれ量として検出することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記第１の成分情報は、前記光学系の製造工程または調整時に取得されて保存された情報であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記光学系は、撮像装置に対して着脱可能な交換レンズ装置に設けられており、
    前記第１の取得部は、前記第１の成分情報を前記交換レンズ装置から取得することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記第１の取得部は、前記第１の成分情報を、前記入力画像のヘッダ情報から取得することを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
12. 光学系により形成された被写体像を撮像する撮像素子と、
    請求項１から１１のいずれか一項に記載の画像処理装置と、を有することを特徴とする撮像装置。
13. 光学系を有し、請求項１２に記載の撮像装置に対して着脱可能な交換レンズ装置であって、
    前記撮像装置に対して前記レンズ装置に保存された前記第１の成分情報を供給することを特徴とする交換レンズ装置。
14. 光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行う画像処理方法であって、
    前記回転対称成分と前記シフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、前記入力画像の取得前に取得されて保存された前記第１の成分に関する第１の成分情報を取得するステップと、
    前記入力画像に対して前記第１の成分情報を用いた第１の補正処理を行って第１の補正画像を生成するステップと、
    前記第１の補正画像における色ずれ量を検出し、該色ずれ量から前記第２の成分に関する第２の成分情報を取得するステップと、
    前記第１の補正画像に対して前記第２の成分情報を用いた補正処理または前記入力画像に対して前記第１および前記第２の成分情報を用いた補正処理を行うステップと、を有することを特徴とする画像処理方法。
15. コンピュータに、光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行わせるコンピュータプログラムであって、
    前記コンピュータに、
    前記回転対称成分と前記シフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、前記入力画像の取得前に取得されて保存された前記第１の成分に関する第１の成分情報を取得させ、
    前記入力画像に対して前記第１の成分情報を用いた第１の補正処理を行わせて第１の補正画像を生成させ、
    前記第１の補正画像における色ずれ量を検出させ、該色ずれ量から前記第２の成分に関する第２の成分情報を取得させ、
    前記第１の補正画像に対して前記第２の成分情報を用いた補正処理または前記入力画像に対して前記第１および前記第２の成分情報を用いた補正処理を行わせることを特徴とする画像処理プログラム。