JP6328182B2 - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、撮像光学系の倍率色収差を撮像画像において補正する画像処理技術に関する。

デジタルカメラ等の撮像装置において被写体像を形成するために用いられる光学系の諸収差は、撮像画像の画質を低下させる。諸収差のうち倍率色収差は、撮像画像に色ずれを発生させる。以下の説明において、倍率色収差とは、色ごとの結像位置のずれ（色ずれ）であり、結像性能に起因するぼけとは異なり、画素ごとの被写体像の平行移動として表される。特許文献１には、このような倍率色収差を撮像画像において検出して画像処理によって倍率色収差を補正する方法として、画像中心からの動径方向（像高方向）に倍率色収差を検出してから補正を行う方法が開示されている。

一方、撮像装置に用いられる撮像素子の画素数が増加して単位画素サイズが小さくなると、従来では実質的に問題とならなかった程度の倍率色収差でも画質に影響する。例えば、光学系の製造誤差に起因する倍率色収差の変化が補正されないことにより、画質が低下する。特許文献２には、製造誤差を含む光学系で生じる倍率色収差のうち画像中心に対して回転対称な成分に対する補正量と画像全体で色ずれの量と方向が均一なシフトずれ成分に対する補正量と算出して製造誤差起因の倍率色収差を補正する方法が開示されている。また、特許文献３には、製造誤差を含む光学系で生じる回転対称成分とシフトずれ成分をともに検出する際に、それぞれの関係にしたがって検出する方法が開示されている。

特開２０１２−２３５３２号公報 特許第５５０５１３５号公報 特開２０１５−２２６１５８号公報

光学系の製造誤差としては、該光学系の光軸に対するレンズ（レンズ素子やレンズ群）の偏心や倒れ、レンズの光軸方向における平行な位置ずれおよびレンズ素子の形状や屈折率に起因する焦点距離ずれ等が挙げられる。レンズの偏心や倒れによって主に色ごとの被写体像のシフトずれが生じ、光軸方向に平行な位置ずれやレンズの焦点距離ずれによって主に色ごとの被写体像の倍率ずれが生じる。しかしながら、特許文献１にて開示された方法では、像高方向における変倍を行うことで補正を行うため、レンズの偏心や倒れにより生じる色ごとの被写体像の横ずれを補正することができない。

これに対して、特許文献２にて開示された方法では、画面全体で均一に発生する倍率色収差の成分を考慮しているため、色ごとの被写体像のシフトずれを補正することができる。

しかしながら、該方法では、シフトずれ成分の検出を設計値や製造誤差に基づく色の倍率ずれが含まれる撮像画像から行っている。このような検出を行う場合には、色の倍率ずれによるシフトずれ成分への影響を考慮しない限り、シフトずれ成分のみが生じるサジタル方向エッジが撮像画像内に含まれていないと検出することができない。サジタル方向エッジとは、サジタル方向に沿って輝度が変化するようなエッジを意味し、動径方向に沿って輝度が変化するメリジオナル方向エッジと直交する。

さらに、特許文献３にて開示された方法では、サジタル方向エッジ以外のエッジでも、回転対称成分とシフトずれ成分とが相互に他方の成分に対するオフセットとなることを考慮してこれらを検出する。これにより、各成分の検出に利用できるエッジが増えて検出精度が向上する。しかしながら、検出されるエッジが撮像画像内で十分に存在していない場合は、一方の成分を他方の成分と区別できないために、各成分を精度良く推定することができない。したがって、もう一方の成分に対するオフセットを正確に考慮することもできない。このため、精度良く回転対称成分とシフトずれ成分を検出することができず、この結果、良好な補正を行うことができない。

本発明は、光学系の製造誤差に起因した倍率色収差を高精度かつロバストに補正することができる画像処理装置、画像処理方法等を提供する。

本発明の一側面としての画像処理装置は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行う。該装置は、回転対称成分とシフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、入力画像の取得前に取得されて保存された第１の成分に関する第１の成分情報を取得する第１の取得部と、入力画像および第１の成分情報を用いて第２の成分に関する第２の成分情報を取得する第２の取得部と、入力画像に対して第１の成分情報および第２の成分情報を用いた補正処理を行う補正部とを有することを特徴とする。

なお、上記画像処理装置を含む撮像装置や、該撮像装置に着脱可能な交換レンズ装置であって第１の成分情報を保存している交換レンズ装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行う方法である。該方法は、回転対称成分とシフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、入力画像の取得前に取得されて保存された第１の成分に関する第１の成分情報を取得し、入力画像および第１の成分情報を用いて第２の成分に関する第２の成分情報を取得し、入力画像に対して第１の成分情報および第２の成分情報を用いた補正処理を行うことを特徴とする。

なお、コンピュータに上記画像処理装置としての動作を行わせるコンピュータプログラムとしての画像処理プログラムも本発明の他の一側面を構成する。

本発明によれば、光学系の製造誤差に起因した倍率色収差を高精度かつロバストに補正することができる。

本発明の実施例における製造誤差に起因する倍率色収差を説明する図。 実施例における色ずれの検出結果を示す図。 実施例における第１の成分情報を差し引いた色ずれの集計結果を示す図。 本発明の実施例１である画像処理装置の構成を示すブロック図。 実施例１における検出部の構成を示すブロック図。 実施例１における画像処理を示すフローチャート。 本発明の実施例２における画像処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、撮像光学系（以下、単に光学系という）の製造誤差に起因して倍率色収差が発生するメカニズムについて説明する。前述したように、光学系の製造誤差には、該光学系の光軸に対するレンズ（レンズ素子やレンズ群）の偏心や倒れ、レンズの光軸方向に平行な位置ずれおよびレンズ素子の形状や屈折率に起因した焦点距離ずれ等がある。

光学系が光軸に対して回転対称である場合は、倍率色収差も回転対称に生じるが、レンズの偏心や倒れが生じると、偏心光学系に特有の回転非対称な倍率色収差が生じる。一部のレンズ群に偏心や倒れが生じると、光学系によって形成される像面が物体面を基準として光軸に直交する方向にシフトする。このとき、偏心したレンズ群の分散により波長ごとにシフト量が変わるため、色ごとに像面（撮像面）全体で均一な量と方向でシフトずれが生じる。

一方、レンズの光軸方向に平行な位置ずれおよびレンズ素子の形状や屈折率に起因した焦点距離ずれが生じると、被写体像の倍率や回転対称な収差成分が変化する。このとき、上記ずれを生じさせたレンズ群の分散によって波長ごとに変化量が変わるため、色ごとに回転対称な位置ずれが生じる。実際の光学系では、複数のレンズによってそれぞれの色ずれが生じ、結果として複雑なパターンの倍率色収差が生じる。このような倍率色収差パターンの例を図１（Ａ），（Ｂ）に示す。図１（Ａ）は、光軸に対して回転対称に設計された光学系に製造誤差を与えた場合の倍率色収差パターンの例を示している。図中に矢印で示す各ベクトルは、該ベクトルの始点位置での倍率色収差の量と方向を表す。撮像によりＲＧＢ画像を撮像画像として生成する場合は、Ｒ−Ｇ間とＢ−Ｇ間とでそれぞれ異なるパターンが現れる。本来、回転対称の光学系では光軸中心と撮像面中心とが一致し、それを対称中心とした倍率色収差パターンが生じる。しかし、図１（Ａ）では、撮像面全域で対称性がない倍率色収差パターンが生じている。

図１（Ｂ）は、図１（Ａ）の倍率色収差パターンを設計値上の倍率色収差成分に基づいて補正した後の倍率色収差パターンを示している。設計値上の倍率色収差成分で補正した後にも、補正前と同様に、撮像面全域で対称性がない倍率色収差パターンが残っている。これが製造誤差に起因した倍率色収差成分に相当する。従来の製造誤差を考慮しない倍率色収差補正では、図１（Ｂ）に示されるように補正残りが生じるため、撮像画像の画質が低下する。

この設計値上の倍率色収差成分で補正した後の倍率色収差パターンは、図１（Ｃ）に示すような回転対称な成分と図１（Ｄ）に示すような撮像面全体で均一な色ずれベクトルを持つシフトずれ成分との和として近似できる。例えば、製造誤差としてレンズの偏心や倒れのみを考えた場合には、図１（Ｄ）に示したシフトずれ成分は補正できるが、図１（Ｃ）に示した回転対称成分は補正後に残ることになる。このように、製造誤差を含む実際の光学系の倍率色収差は回転対称成分と撮像画像内で均一なシフトずれ成分との和として近似することができる。回転対称成分は設計値上の成分と製造誤差に起因する成分との和である。上記成分を考慮して補正することにより、図１（Ｅ）に示すように、倍率色収差を高精度に補正することができる。

次に、倍率色収差を検出するアルゴリズムについて説明する。ここでは、撮像画像としての入力画像における２つの色成分（色プレーン）としてのＧプレーンとＲプレーン間での倍率色収差量（色ずれ量）の取得方法について説明するが、他の色プレーン間についても同様に取得することが可能である。まず、入力画像２００に対して、公知の手法によってＧプレーンとＲプレーンの色プレーン画像データを生成し、生成された各色プレーン画像データからエッジを検出する。エッジは、例えば連続する画素において画素値が単調増加または単調現象し、隣接する画素値の差（増加量または減少量）が一定値以上の領域を探索することで検出することができる。

次に、検出されたエッジおよびその周辺を含む領域であるエッジ部において、色プレーン画像データ間の相関が最も大きくなる位置を探索することにより色ずれ量を取得する。例えば、Ｇプレーン画像データに対するＲプレーン画像データの位置を移動させながら、両色プレーン画像データ間での輝度値の差分の絶対値や二乗和が小さくなるような移動量を求め、これを色ずれ量とすればよい。なお、エッジ部ではエッジに平行な方向の色ずれは入力画像からは検出されないため、１次元方向の色ずれ量のみを取得すればよく、該エッジに直交する方向の色ずれ量を求めることが好ましい。

エッジ部以外の領域では、色ずれ量の２次元探索が可能になるが、１次元探索と比較して処理負荷が大きくなってしまう。さらに、光学系の倍率色収差による色ずれは、画像データのエッジに顕著に現れるため、エッジ部での検出が好ましい。

先に説明した特許文献１にて開示された方法のように色ずれ方向が既知である場合には、色ずれ方向に直交するエッジで、色ずれ方向に平行な方向に沿って色ずれ量を検出すれば、容易に色ずれ量を取得することができる。

一方、倍率色収差が回転対称成分とシフトずれ成分の和として表せる場合は、入力画像の各位置でこれら２つの成分の和が検出される。検出されるエッジが入力画像内で十分に存在している場合は各成分を分離することができるが、検出されるエッジの分布が画面内で十分でない場合は各成分を正確に分離することができない。この場合の課題を、図２（Ａ）〜（Ｄ）を用いて説明する。

例として、図２（Ａ）に示す入力画像２００においてほぼ等しい像高にある４つの領域（エッジ部）２０１〜２０４のそれぞれで同数のメリジオナル方向エッジが検出された場合を考える。なお、１つのエッジの複数位置で色ずれ量が検出されてもよく、同数のエッジとは、エッジが存在する数ではなく、各領域内での色ずれ量の検出数が等しいことを意味する。この例において、図２（Ｂ）に示すように、領域２０１〜２０４の像高における回転対称成分が動径方向外向きを正として色ずれ量＋ａで生じ、シフトずれ成分が水平方向右向きを正として色ずれ量ｂで生じているものとする。

各領域での色ずれ量の検出結果を統合して得られる度数分布を、動径方向外向きを正として図２（Ｃ）に示す。領域２０１，２０３ではメリジオナル方向エッジに対してシフトずれ成分が影響しない。したがって、検出される色ずれ量は、検出ばらつきがあるものの、＋ａの周辺に分布する。一方、領域２０２では、シフトずれ成分と回転対称成分が同じ向きを向いているため、検出される色ずれ量はａ＋ｂの周辺に分布する。また、領域２０４では、シフトずれ成分と回転対称成分とが反対向きであるため、検出される色ずれ量はａ−ｂのまわりに分布する。これらのことから、回転対称成分は撮像面全域での平均からａと算出され、シフトずれの水平成分は領域２０２，２０４で検出された色ずれ量と回転対称成分との差分から右向きに＋ｂと算出される。

領域２０３，２０４に色ずれ量を検出できるエッジが存在しない場合の色ずれ量ヒストグラムを図２（Ｄ）に示す。領域２０３，２０４ではエッジが検出されないため、ａの周辺での度数分布が半数となり、ａ−ｂ周辺での度数分布がなくなっている。この場合、エッジが検出された全領域２０１，２０２の平均からシフトずれ成分と回転対称成分を算出しようとすると、回転対称成分がａ＋ｂ／２となる。シフトずれ成分は、検出された色ずれ量と回転対称成分との差分から、右向きにｂ／２、下向きにｂ／２と算出される。このように算出された色ずれ量に基づいて倍率色収差を補正すると、領域２０１，２０２では正しく補正されるが、その他の領域２０３，２０４では誤って補正されてしまう。

精度良く色ずれを検出するために該検出はエッジ部で行うが、エッジ部以外でも色ずれは生じている。したがって、誤って検出された色ずれの量および方向で入力画像を補正すると、色ずれが悪化した補正画像が出力されてしまう。このように、色ずれを検出できるエッジが十分に存在しない場合は、シフトずれ成分および回転対称成分が一意に決まらず、検出エラーが生じる。

シフトずれ成分を先に算出する場合も同様の課題が生じる。この場合を図２（Ｅ）に示す。図２（Ｅ）では、図２（Ｃ）と同じ色ずれ量が検出されているが、水平右向きを正として表し、またメリジオナル方向エッジから水平成分が検出される領域２０２，２０４のみの度数分布を示している。シフトずれ成分は、領域２０２，２０４での平均から右向きにｂと算出され、回転対称成分は領域２０１〜２０４で検出された色ずれ量とシフトずれ成分との差分から、動径方向外向きに＋ａと算出される。

図２（Ｆ）には、図２（Ｄ）と同様に、領域２０３，２０４に色ずれ量を検出できるエッジが存在しない場合のヒストグラムを示す。領域２０４でエッジが検出されないため、−ａ＋ｂ周辺の分布がなくなっている。この場合、エッジが検出された全領域２０１，２０２の平均からシフトずれ成分と回転対称成分を算出しようとすると、シフトずれ成分はａ＋ｂと算出される。領域２０２で検出された色ずれ量がａ＋ｂであることから、回転対称成分は０となる。さらに、領域２０１で検出される色ずれ量が動径方向外向きに＋ａの回転対称成分であることから、シフトずれ成分のうち垂直成分が上向き＋ａと算出される。このように色ずれを検出できるエッジが十分に存在しない場合は、回転対称成分を先に算出した場合と同様に、検出エラーが生じる。

以上説明したように、倍率色収差が回転対称成分とシフトずれ成分とからなるとき、入力画像内に十分にエッジが存在しない場合に検出エラーが生じる。したがって、回転対称成分とシフトずれ成分からなる倍率色収差が生じた入力画像においてこれら２つの成分の両方を検出する場合は、回転対称成分のみが生じた入力画像に対して倍率色収差を検出する場合とは異なる課題が生じ、検出精度も低下するおそれがある。

また、製造誤差を含む光学系に対して倍率色収差を精度良く補正するには、製造工程で回転対称成分およびシフトずれ成分を測定し、データテーブルとして保存（記憶）しておく方法もある。しかし、光学系の状態が変わるあらゆる撮像条件（ズーム位置、Ｆ値、撮影距離等）に対応しようとすると、製造工程での測定負荷が大きくなる。測定負荷を軽減するためには、離散的な撮像条件で測定し、補間によって所望の撮像条件における倍率色収差を算出することが考えられる。しかし、光学系によっては製造誤差に起因する回転対称成分または製造誤差に起因するシフトずれ成分が急激に変化する場合がある。このような場合、一方の成分において補間により十分な精度が得られても、他方の成分では十分な精度を得ることが困難となる。

また、撮像時に撮像装置を横位置で構えるか縦位置で構えるかよってシフトずれ成分が変化する場合もある。このように、製造工程での測定によりあらゆる撮像条件に対応することは難しい。したがって、回転対称成分とシフトずれ成分の両方をデータテーブルとして保存しておく方法では、製造誤差を含む光学系に対して精度良く倍率色収差を補正することは難しい。

以上のことから本発明の実施例では、光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフトずれ成分からなる倍率色収差を補正する画像処理を行う。回転対称成分とシフトずれ成分のうち一方を第１の成分とし、他方を第２の成分とする。このとき、実施例では、入力画像の取得前に取得されて保存（記憶）された第１の成分に関する情報である第１の成分情報を取得し、さらに入力画像および第１の成分情報を用いて第２の成分に関する情報である第２の成分情報を取得する。各成分情報は、各成分の量と方向を含む。そして、入力画像に対して第１の成分情報および第２の成分情報を用いた補正処理を行って補正画像を生成する。

倍率色収差をその回転対称成分とシフトずれ成分とに基づいて補正することで、製造誤差に起因する成分を含めて倍率色収差の補正が可能となる。ただし、このような回転対称成分とシフトずれ成分からなるモデルで近似できる倍率色収差を入力画像から検出するには、上述した検出エラーの問題がある。

そこで、本実施例では、入力画像の取得前、すなわち予め取得して保存した第１の成分情報と入力画像から取得（検出）した倍率色収差情報とから第２の成分情報を算出することで、第１の成分とは異なる第２の成分をロバストに検出することができる。そして、この第２の成分情報と第１の成分情報とを用いて、入力画像に対する補正処理を行うことで、製造誤差に起因する成分を含めて倍率色収差を高精度に補正することができる。予め取得して保存するとは、例えば、入力画像の取得に用いられた光学系の製造工程において取得して保存することを意味する。

第１の成分情報を用いて第２の成分情報を取得するには、上述したように入力画像における倍率色収差を検出して倍率色収差情報を取得し、第１の成分情報と倍率色収差情報とを用いて前記第２の成分情報を算出すればよい。具体的には、倍率色収差情報（倍率色収差量）から第１の成分情報（第１の成分の量）を差し引けばよい。この場合は、入力画像に対して第１の成分情報および第２の成分情報を用いて補正処理を行う。

また、第１の成分情報を用いて第２の成分情報を取得する別の方法として、入力画像に対して第１の成分情報を用いた補正処理を行って中間補正画像を生成し、該中間補正画像において色ずれ量（第２の成分）を検出することで第２の成分情報を取得してもよい。この場合は、中間補正画像に対して第２の成分情報を用いた補正処理を行うことで最終的な補正画像を生成することができる。

第１の成分は回転対称成分であり、第２の成分はシフトずれ成分であることが好ましい。 第１の成分情報として予め保持された回転対称成分に関する情報を取得することで、未知の成分はシフトずれ成分のみとなる。これにより、検出された色ずれ量（倍率色収差量）における各成分の量を定めることができ、上述した検出エラーを回避して精度良くロバストに倍率色収差を検出することができる。

このとき、第１の成分情報は、光学系の設計値上の回転対称成分に関する情報のみであることが好ましい。これにより、製造工程での測定を行うことなく回転対称成分を取得することができる。製造誤差に起因する回転対称成分が実質的に影響しないような光学系を用いた撮像により生成された入力画像では、未知の成分はシフトずれ成分のみとなる。したがって、検出部の検出結果から取得した回転対称成分に基づいてシフトずれ成分を算出することで、上述した検出エラーを回避して精度良くロバストに倍率色収差を検出することができる。

また、第１の成分は、設計値上および製造誤差に起因する回転対称成分に関する情報であってもよい。これにより、未知の成分をシフトずれ成分のみにすることができる。製造誤差のある光学系を用いた撮像により生成された入力画像では、設計値上の回転対称成分に加えて、製造誤差に起因する回転対称成分と製造誤差に起因するシフトずれ成分とが生じる。すなわち、一般的には製造誤差に起因する倍率色収差だけで回転対称成分とシフトずれ成分とがあり、これらのうち一方を予め保存した値から取得しないと、上述した検出エラーが問題となる。そこで、未知の成分をシフトずれ成分のみとするには、設計値上および製造誤差に起因する回転対称成分を予め保存した情報から取得することが好ましい。回転対称成分のみを保存することで、シフトずれ成分を保存する必要がなくなり、保存データ量を低減することができる。この際、設計値上の回転対称成分と製造誤差に起因する回転対称成分との和として回転対称成分を保存する場合は、製造誤差に起因する倍率色収差を保存しつつ、製造誤差を考慮しない場合に対して保存データ量を増やさずに済む。

また、製造誤差に起因するシフトずれ成分を製造工程で測定して予め記憶した場合でも、光学系の特性や撮像条件（ズーム位置、Ｆ値、撮像距離等）や撮像時における撮像装置の姿勢等により測定値または測定値からの補間値が使用できない場合がある。このような場合に、予め取得した回転対称成分と検出した倍率色収差量とからシフトずれ成分を算出したり上記中間画像からシフトずれ成分を検出したりすることにより、検出エラーを回避して精度良くロバストに倍率色収差を検出することができる。この結果、製造誤差に起因する倍率色収差を高精度に補正することができる。

一方、第１の成分がシフトずれ成分であり、第２の成分が回転対称成分であってもよい。第１の成分として予め記憶したシフトずれ成分を取得することで、未知の成分は回転対称成分のみとなる。検出された倍率色収差量における各成分の量を定めることができ、上述した検出エラーを回避して精度良くロバストに倍率色収差を検出することができる。

この際、第１の成分情報は、光学系の製造誤差に起因するシフトずれ成分に関する情報であることが好ましい。これにより、未知の成分を回転対称成分のみにすることができる。製造誤差を含む光学系を用いた撮像により生成された入力画像においては、設計値上の回転対称成分に加えて、製造誤差に起因する回転対称成分と製造誤差に起因するシフトずれ成分とが生じる。すなわち、一般的には製造誤差に起因する倍率色収差だけで回転対称成分とシフトずれ成分とがあり、これらのうち一方を予め保存した値から取得しないと、上述した検出エラーが問題となる。そこで、未知の成分を回転対称成分のみとするには、製造誤差に起因するシフトずれ成分を予め保存した情報から取得することが好ましい。製造誤差に起因するシフトずれ成分のみを保存することで、回転対称成分を保存する必要がなくなり、保存データ量を低減することができる。シフトずれ成分は入力画面全体で色ずれの量と方向が均一であるため、像高によって異なる値をとる回転対称成分よりも少ない保存データ量で保存することができる。もちろん、設計上の回転対称成分および製造誤差起因の回転対称成分をともに保存する必要もないし、製造誤差起因の回転対称成分のみを記憶しなくともよい。後者の場合でも、設計上の回転対称成分と製造誤差起因の回転対称成分を別々に記憶する場合に比べて保存データ量を低減することができる。

また、製造誤差に関する回転対称成分を製造工程で測定して予め記憶した場合でも、光学系の特性や撮像条件（ズーム位置、Ｆ値、撮像距離等）や撮像時における撮像装置の姿勢等により測定値または測定値からの補間値を使用することができない場合がある。このような場合に、予め取得したシフトずれ成分に基づいて検出した倍率色収差量から回転対称成分を算出したり上記中間画像から回転対称成分を検出したりすることにより、上述した検出エラーを回避して精度良くロバストに倍率色収差を検出することができる。この結果、製造誤差に起因する倍率色収差を高精度に補正することができる。

また、製造誤差に起因する回転対称成分やシフトずれ成分は光学系の個体ごとに異なるため、第１の成分情報は上述したように光学系の製造工程において個別に測定して保存することが好ましい。また、製造工程以外でも、修理等の調整時に保存してもよい。入力画像からの検出では既知の課題や上述した検出エラーが生じるが、製造工程において理想的な測定環境で測定することで、これらの課題を解決することができる。

第１の成分情報は、補正対象としての入力画像とは異なる情報取得用画像から算出してもよい。入力画像とは異なる情報取得用画像とは、例えば、既定のチャートを被写体として撮像することにより得られた画像を含む。一般的には、倍率色収差は撮像時の光学系の撮像条件や環境光の色温度等に依存するため、補正対象としての入力画像から検出することが好ましい。しかし、倍率色収差が回転対称成分とシフトずれ成分からなる場合は、上述した検出エラーが生じやすく、入力画像によっては検出精度が低下したり検出エラーが生じたりする。例えば、入力画像内で十分にエッジが存在しない場合には検出エラーが生じる。また、エッジのコントラストや数が十分でないと検出精度が低下しやすく、色ずれしているように誤検出される色づきを持った被写体にも影響を受ける。そこで、第１の成分情報については、入力画像とは異なる画像として良好な検出が可能な情報取得用画像を用いて測定することが好ましい。

情報取得用画像としては、既知のチャートを撮像して得られた画像が好ましい。検出エラーは検出対象領域内に十分にエッジが存在しない場合に生じる。このため、既知のチャートを使用することで、十分なエッジが存在する情報取得用画像を得ることができる。また、チャート内にメリジオナル方向エッジ、サジタル方向エッジ、垂直方向に輝度が変化する水平エッジおよび水平方向に輝度が変化する垂直エッジを適当な位置と数で配置することが望ましい。これにより、測定したい倍率色収差の成分に沿った方向の色ずれ量を測定したり特定の成分を含まない色ずれ量を測定したりすることができ、上述した検出エラーを回避することができる。なお、情報取得用画像に対して非対称な倍率色収差を精度良く測定するため、チャートにはその全体において対称的にエッジを配置することが好ましい。製造誤差に起因する倍率色収差の成分は光学系の個体差に起因するので、このように理想的な環境で該成分を測定して保存しておくことで、その後の撮像により取得される一般的な撮像画像に対しても該成分の情報を適用することができる。

また、情報取得用画像は、入力画像を取得するための撮像に用いられる交換式の光学系（交換レンズ装置）とその撮像に用いられた撮像装置とは異なる撮像装置とを用いた撮像により取得された画像であることが好ましい。光学系の製造誤差に起因する倍率色収差の成分を測定するためには、測定対象となる光学系を用いた撮像により取得された情報取得用画像を使用する必要がある。このとき、光学系が交換式レンズ装置に設けられている場合は、光学系を取り付ける撮像装置は補正対象となる入力画像の取得に用いられる撮像装置とは異なっていてもよい。一般に製造誤差に起因する倍率色収差の成分は設計値上の成分よりも小さいため、より高精度に測定するには、入力画像の取得に用いられる撮像装置より高解像度、高階調および低ノイズ等の良好な撮像が行える撮像装置を用いるとよい。

また、第１の成分情報は、入力画像を取得するための撮像に用いられる光学系を構成する光学素子の光学構成（配置、屈折率および形状等）を測定することによって取得されることが好ましい。倍率色収差は本質的には光学系を構成する光学素子の配置、屈折率および形状等の光学構成によって決まる。このため、光学構成を測定することで第１の成分情報を予め取得して保存することができる。

また、検出した倍率色収差情報から第１の成分情報を差し引いて第２の成分情報を算出する場合は、入力画像における複数の位置で差し引いた結果を集計して得られた集計結果から第２の成分情報を算出することが好ましい。すなわち、複数の位置（エッジ部）で差し引いて得られた色ずれ量を集計して平均化等の統計処理を行って第２の成分情報を算出することで、上述した検出エラーを回避して精度良くロバストに倍率色収差を検出することができる。

また、上記集計結果に対してエラー回避処理を行ってもよい。エラー回避処理とは、集計結果に基づいて、検出のはずれ値を回避するための処理である。エラー回避処理には、検出した色ずれ量のヒストグラムにおいて平均値からの差分が所定の閾値より大きい検出値を除く処理や、ヒストグラムの分散が閾値より大きい場合に該ヒストグラムに対応する集計結果を使用しない処理等がある。回転対称成分とシフトずれ成分からなる倍率色収差が生じている場合は、検出された色ずれ量にはこれら２つの成分が含まれるため、図２（Ｃ）〜（Ｆ）に示したように検出値にばらつきが生じる。したがって、入力画像からの検出結果を単純に集計した場合には分散を利用したはずれ値回避ができない。

しかし、検出した倍率色収差情報から第１の成分情報を差し引いた結果を集計することで、第２の成分情報のみを集計することができ、はずれ値を回避することができる。例えば、倍率色収差情報（色ずれ量）の検出結果のヒストグラムである図２（Ｄ）において、第１の成分情報としてシフトずれ成分の情報を取得した場合を考える。このとき、取得したシフトずれ成分の情報を色ずれ量の検出結果から差し引くことで、図３（Ａ）に示すように回転対称成分のみの分布が得られる。同様に、図２（Ｆ）において第１の成分情報として回転対称成分の情報を取得し、色ずれ量の検出結果から差し引いた場合は、図３（Ｂ）に示すように、シフトずれ成分のみの分布が得られる。このように、１つの成分の情報のみに対する集計結果を得ることで、２つの成分が存在することによる検出結果のばらつきがなくなり、分散を利用したはずれ値回避が可能となる。

また、第１の成分情報がシフトずれ成分であり、第２の成分情報が回転対称成分である場合に、入力画像の取得前である製造工程等において予め取得されたエラー回避用回転対称成分の情報を用いて集計結果を補正することが好ましい。エラー回避用回転対称成分は、設計値上の回転対称成分である。また、製造誤差に起因する回転対称成分を取得できる場合は、エラー回避用回転対称成分として、設計値上と製造誤差に起因する回転対称成分の和を用いてもよい。

特許文献１には、色づき被写体を撮像して得られた入力画像での検出エラーを防ぐために、検出結果を設計値上の倍率色収差のデータに基づいて補正する方法が開示されている。しかし、倍率色収差にシフトずれ成分が含まれる場合は、検出された色ずれ量そのものを設計値上の倍率色収差のデータと比較できないため、設計値上の倍率色収差のデータに基づいて補正することができない。そこで、検出した色ずれ量から予め取得した第１の成分情報を差し引いて集計することで得られた集計結果をエラー回避用回転対称成分に基づいて補正することで、設計値成分のデータに基づく補正が可能となる。

光学系が撮像装置に対して着脱可能な交換レンズ装置に設けられている場合には、該交換レンズ装置に第１の成分情報を保存するレンズ記憶部を設け、交換レンズ装置から画像処理装置やこれを備えた撮像装置に第１の成分情報が供給されるようにしてもよい。これにより、様々な光学系の第１の成分情報を画像処理装置や撮像装置が保存する必要をなくしつつ、交換レンズ装置が装着された撮像装置により取得された入力画像に対して製造誤差に起因する倍率色収差の補正が可能となる。

また、第１の成分情報を入力画像のヘッダ情報として保存しておき、画像処理装置やこれを備えた撮像装置は該ヘッダ情報から第１の成分情報を取得してもよい。これにより、画像処理装置やこれを備えた撮像装置に様々な撮像条件における第１の成分情報を保存しておくことが不要となる。

図４には、本発明の実施例１である画像処理装置を含む撮像装置の構成を示す。撮像部は、撮像光学系１０１および撮像素子１０２を含む。絞り１０１ａを含む光学系１０１は、不図示の被写体からの光を撮像素子１０２上に結像（形成）する。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、光学系１０１を介して形成された被写体像（光学像）を光電変換してアナログ撮像信号を出力する。

撮像素子１０２での光電変換により生成されたアナログ信号は、Ａ／Ｄコンバータ１０３でデジタル撮像信号に変換されて画像処理装置としての画像処理部１０４に出力される。画像処理部１０４は、デジタル撮像信号に対して一般に行われる画像処理を行うことにより撮像画像としての入力画像を生成し、該入力画像に対して光学系１０１の製造誤差に対応した倍率色収差を補正する画像処理を行う。

また、画像処理部１０４は、取得部（第１の取得部）１０４ａと、検出部１０４ｂと、算出部１０４ｃと、補正部１０４ｄとを有する。取得部１０４ａは、倍率色収差の回転対称成分とシフトずれ成分のうち一方の成分の情報である第１の成分情報を、記憶部としてのＲＯＭ１１１から読み出す（さらに後述するように補間演算を行う）ことにより取得する。検出部１０４ｂは、入力画像から回転対称成分とシフトずれ成分の両方の合計量である倍率色収差量を検出する。検出部１０４ｂは、図５に示すように、エッジ検出部３０１と、色ずれ量取得部３０２とを含む。

算出部１０４ｃは、倍率色収差の回転対称成分とシフトずれ成分のうち他方の成分の情報である第２の成分情報を、取得部１０４ａが取得した第１の成分情報と検出部１０４ｂが検出した倍率色収差量とを用いて算出する。検出部１０４ｂと算出部１０４ｃとにより第２の取得部が構成される。補正部１０４ｄは、入力画像に対して第１の成分情報および第２の成分情報を用いた倍率色収差を補正する補正処理を行うことで補正画像を生成する。

画像処理部１０４で生成された補正画像としての出力画像または補正画像にさらに別の画像処理が加えられることで生成された出力画像は、半導体メモリや光ディスク等の画像記録媒体１０８に保存される。この際、出力画像ファイルに第１の成分情報および第２の成分情報を書き込んでもよい。また、出力画像を、表示部１０５に表示してもよい。

情報入力部１０９は、ユーザが所望の撮像条件（絞り値や露出時間等）を選択して入力する情報を検出して、システムコントローラ１１０にそのデータを供給する。撮像制御部１０６は、システムコントローラ１１０からの駆動命令に応じて光学系１０１内の不図示のフォーカスレンズを移動させるとともに絞り値、露出時間および撮像素子１０２の動作を制御することにより被写体像の撮像を行う。

状態検知部１０７は、システムコントローラ１１０からの撮像条件取得指示に応じて、その時点での撮像条件の情報を取得する。ここでの撮像条件には、光学系１０１の絞り値、ズーム位置、フォーカス位置、露出時間および撮像素子のＩＳＯ感度等を含む。なお、光学系１０１は、撮像装置（撮像素子１０２）に一体に設けられていてもよいし、撮像装置に対して交換可能な交換レンズ装置に設けられていてもよい。光学系１０１が交換レンズ装置に設けられている場合は、ＲＯＭ１１１が交換レンズ装置に設けられ、撮像装置内の取得部１０４ａが交換レンズ装置と撮像装置との間の通信を介して第１の成分情報を取得することができる。ただし、この場合でも、ＲＯＭ１１１の機能の少なくとも一部を撮像装置に設けてもよい。

図６のフローチャートには、本実施例における倍率色収差補正のための画像処理（画像処理方法）の流れを示している。メインコンピュータとしてのシステムコントローラ１１０および画像処理コンピュータとしての画像処理部１０４がコンピュータプログラムとしての画像処理プログラムに従って本処理を実行する。なお、本処理を必ずしもコンピュータがソフトウェア上で行う必要はなく、少なくとも１つのプロセッサや回路が画像処理部１０４の各機能を実行してもよい。

ステップＳ１０１では、システムコントローラ１１０は、光学系１０１および撮像素子１０２を含む撮像部を制御して被写体像の撮像を行わせ、画像処理部１０４に入力画像を生成させる。

ステップＳ１０２では、システムコントローラ１１０は、状態検知部１０７を通じて現在の撮像条件の情報を取得する。

ステップＳ１０３では、画像処理部１０４（取得部１０４ａ）は、ステップＳ１０２で取得された撮像条件に対応する第１の成分情報をＲＯＭ１１１から取得する。本実施例では、第１の成分情報として、倍率色収差のうち製造誤差に起因するシフトずれ成分の量と方向（以下、これらをまとめてシフトずれ成分量という）の情報を取得する。

ＲＯＭ１１１には、光学系１０１の製造工程（つまりは入力画像の取得前）に測定された複数の代表的な撮像条件でのシフトずれ成分量の情報がデータテーブルとして書き込まれている。画像処理部１０４は、現在の撮像条件に近い少なくとも２つの代表的な撮像条件でのシフトずれ成分量を用いて補間演算を行うことで、現在の撮像条件に対応するシフトずれ成分量を算出して取得する。シフトずれ成分量は、Ｒ−Ｇ間およびＢ−Ｇ間に対応する２次元のベクトルで表されるが、例えば交換レンズ装置にＲＯＭ１１１が設けられている場合は実寸でＲＯＭ１１１に記憶されている。この場合は、画像処理部１０４は、ＲＯＭ１１１から読み出したシフトずれ成分量を撮像素子１０２の画素サイズ情報から画素単位でのずれ量に変換する。

ステップＳ１０４では、画像処理部１０４（検出部１０４ｂ）のエッジ検出部３０１は、ステップＳ１０１で取得した入力画像におけるメリジオナル方向エッジ（メリジオナル方向に近い方向でのエッジを含む）を検出する。そして、色ずれ量取得部３０２は、これらエッジを含む各エッジ部において、メリジオナル方向の色ずれ量としての倍率色収差量（回転対称成分とシフトずれ成分の合計量を示す倍率色収差情報）を取得（検出）する。

ステップＳ１０５では、画像処理部１０４（算出部１０４ａ）は、ステップＳ１０４で取得した倍率色収差量からステップＳ１０３で取得したシフトずれ成分量を差し引く。これにより、等しい像高で等しい色ずれ量が得られる。この色ずれ量が、像高（位置）ごとの回転対称成分の量に相当する。算出部１０４ｃは、像高の一定範囲ごとに該色ずれ量を集計してその集計結果を取得する。

ステップＳ１０６では、算出部１０４ｃは、ステップＳ１０５で取得した色ずれ量の集計結果に基づいて、入力画像における各像高での回転対称成分量を算出する。具体的には、色ずれ量の集計結果を画像方位において平均して像高に対する色ずれ量の変化を多項式近似する等の公知の方法で各像高の回転対称成分量を算出する。算出部１０４ｃは、この算出結果に対して上述したエラー回避処理や設計値成分のデータに基づく補正を行い、第２の成分情報としての回転対称成分量を算出する。

ステップＳ１０７では、画像処理部１０４（補正部１０４ｄ）は、入力画像に対して、ステップＳ１０３で取得したシフトずれ成分量とステップＳ１０６で算出した回転対称成分量とを用いて倍率色収差を補正する補正処理（公知の補正処理でよい）を行う。以上により、製造誤差に起因する倍率色収差が精度良く補正された補正画像が生成される。

次に、本発明の実施例２についで説明する。本実施例における撮像装置の基本構成は実施例１の撮像装置と同じであり、共通する構成要素には実施例１と同符号を付す。図７のフローチャートには、本実施例における倍率色収差補正のための画像処理の流れを示している。本実施では、取得部１０４ａが第１の成分情報として回転対称成分量の情報をＲＯＭ１１１から取得し、検出部１０４ｂが第２の成分情報としてのシフトずれ成分量（方向を含む）を検出する。

ステップＳ２０１およびＳ２０２は、実施例１（図６）のステップＳ１０１およびＳ１０２と同じである。

ステップＳ２０３では、画像処理部１０４（取得部１０４ａ）は、ステップＳ２０２で取得された撮像条件に対応する回転対称成分量の情報をＲＯＭ１１１から取得する。実施例１と同様に、ＲＯＭ１１１には、光学系１０１の製造工程（つまりは入力画像の取得前）に測定された複数の代表的な撮像条件での回転対称成分量の情報がデータテーブルとして書き込まれている。画像処理部１０４は、現在の撮像条件に近い少なくとも２つの代表的な撮像条件での回転対称成分量の情報を用いて補間演算を行うことで、現在の撮像条件に対応する回転対称成分量を算出して取得する。交換レンズ装置にＲＯＭ１１１が設けられている場合の画素単位での変換については実施例１のステップＳ１０３と同様である。

ステップＳ２０４では、画像処理部１０４（検出部１０４ｂ）のエッジ検出部３０１は、ステップＳ２０１で取得した入力画像における垂直エッジ（またはこれに近いエッジ）と水平エッジ（またはこれに近いエッジ）を検出する。そして、色ずれ量取得部３０２は、垂直エッジを含む各エッジ部において水平方向の色ずれ量としての倍率色収差量（回転対称成分とシフトずれ成分の合計量を示す倍率色収差情報）を取得（検出）する。また、色ずれ量取得部３０２は、水平エッジを含む各エッジ部において垂直方向の色ずれ量としての倍率色収差量（回転対称成分とシフトずれ成分の合計量を示す倍率色収差情報）を取得（検出）する。この際、検出精度を上げるために、入力画像におけるできるだけ広い領域で色ずれ量を取得することが好ましい。

ステップＳ２０５では、画像処理部１０４（算出部１０４ｃ）は、ステップＳ２０４で取得した倍率色収差量からステップＳ２０３で取得した回転対称成分量を差し引く。これにより、入力画像全体で均一な色ずれ量が得られる。この色ずれ量がシフトずれ成分量に相当する。算出部１０４ｃは、この色ずれ量を入力画像全体で集計してその集計結果を取得する。

ステップＳ２０６では、算出部１０４ｃは、ステップＳ２０５で取得した色ずれ量の集計結果に基づいて、入力画像におけるシフトずれ成分量を算出する。具体的には、水平方向の色ずれ量と垂直方向の色ずれ量のそれぞれを平均した結果に基づいて２次元ベクトルとしてのシフトずれ成分量を算出する。算出部１０４ｃは、この算出結果に対して上述したエラー回避処理や設計値成分のデータに基づく補正を行い、第２の成分情報としてのシフトずれ成分量を算出する。

ステップＳ２０７では、画像処理部１０４（補正部１０４ｄ）は、入力画像に対して、ステップＳ２０３で取得した回転対称成分量とステップＳ２０６で算出したシフトずれ成分量とを用いて倍率色収差を補正する補正処理を行う。以上により、製造誤差に起因する倍率色収差が精度良く補正された補正画像が生成される。

次に、本発明の実施例３について説明する。実施例１，２では、画像処理装置を内蔵した撮像装置について説明したが、本実施例では画像処理装置に相当するパーソナルコンピュータがこれにインストールされた画像処理プログラムに従って画像処理を実行する場合について説明する。本実施例では、パーソナルコンピュータは、撮像装置により生成された撮像画像（入力画像）を、該撮像装置との有線／無線通信を介して又はインターネット等の回線を介して取得する。また、パーソナルコンピュータは、取得した撮像画像のヘッダ情報から、撮像時の撮像条件の情報を取得する。さらに、パーソナルコンピュータは、取得部１０４ａとして、撮像画像のヘッダ情報に書き込まれた撮像装置における撮像時の撮像条件での第１の成分情報（シフトずれ成分量または回転対称成分量）を取得する。撮像装置が交換レンズ装置を使用して撮像を行った場合は、該撮像装置は、設計値および製造誤差に対応する倍率色収差の情報を記憶した交換レンズ装置から第１の成分情報を取得して画像ファイルに書き込む。

これらの点以外の点は実施例１，２と同様であるので、説明を省略する。

以上説明した各実施例によれば、光学系の製造誤差に対応した高精度な倍率色収差補正をロバストに行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 撮像光学系
１０２ 撮像素子
１０４ 画像処理部

Claims (19)

1. 光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行う画像処理装置であって、
   前記回転対称成分と前記シフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、前記入力画像の取得前に取得されて保存された前記第１の成分に関する第１の成分情報を取得する第１の取得部と、
   前記入力画像および前記第１の成分情報を用いて前記第２の成分に関する第２の成分情報を取得する第２の取得部と、
   前記入力画像に対して前記第１の成分情報および前記第２の成分情報を用いた補正処理を行う補正部と、
   を有することを特徴とする画像処理装置。
2. 前記第２の取得部は、
   前記入力画像から前記入力画像における前記倍率色収差を検出して倍率色収差情報を取得し、
   前記第１の成分情報と前記倍率色収差情報とを用いて前記第２の成分情報を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の成分は前記回転対称成分であり、前記第２の成分は前記シフト成分であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の成分情報は、前記光学系の設計値上の倍率色収差に関する情報であることを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の成分情報は、前記光学系の設計値上の倍率色収差と前記光学系の製造誤差に起因する倍率色収差の回転対称成分に関する情報であることを特徴とする請求項３に記載の画像処理装置。
6. 前記第１の取得部は、前記光学系の設計値上の倍率色収差と、前記光学系の製造誤差に起因する倍率色収差の回転対称成分の和に関する情報を前記第１の成分情報として取得することを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の成分は前記シフト成分であり、前記第２の成分は前記回転対称成分であることを特徴とする請求項１または２に記載の画像処理装置。
8. 前記第１の成分情報は、前記光学系の製造誤差に起因するシフト成分に関する情報であることを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の成分情報は、前記光学系の製造工程または調整時に取得されて保存された情報であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記第２の取得部は、前記倍率色収差情報が示す倍率色収差量から前記第１の成分情報が示す前記第１の成分の量を差し引いて前記第２の成分情報を算出することを特徴とする請求項２に記載の画像処理装置。
11. 前記第２の取得部は、前記入力画像における複数の位置で前記倍率色収差量から前記第１の成分の量を差し引いた結果を集計して得られた集計結果を用いて前記第２の成分情報を算出することを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１の成分は前記シフト成分であり、前記第２の成分は前記回転対称成分であり、前記第２の取得部は、前記入力画像の取得前に取得されたエラー回避用の回転対称成分の情報を用いて前記集計結果を補正することを特徴とする請求項１１に記載の画像処理装置。
13. 前記エラー回避用の回転対称成分の情報は、前記光学系の設計値上の回転対称成分であることを特徴とする請求項１２に記載の画像処理装置。
14. 前記光学系は、撮像装置に対して着脱可能な交換レンズ装置に設けられており、
    前記第１の取得部は、前記第１の成分情報を前記交換レンズ装置から取得することを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
15. 前記第１の取得部は、前記第１の成分情報を、前記入力画像のヘッダ情報から取得することを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
16. 光学系により形成された被写体像を撮像する撮像素子と、
    請求項１から１５のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
17. 光学系を有し、請求項１６に記載の撮像装置に対して着脱可能な交換レンズ装置であって、
    前記第１の成分情報を保存し、前記撮像装置に対して前記第１の成分情報を供給することを特徴とする交換レンズ装置。
18. 光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行う画像処理方法であって、
    前記回転対称成分と前記シフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、前記入力画像の取得前に取得されて保存された前記第１の成分に関する情報である第１の成分情報を取得し、
    前記第１の成分情報を用いて前記第２の成分に関する情報である第２の成分情報を取得し、
    前記入力画像に対して前記第１の成分情報および前記第２の成分情報を用いた補正処理を行うことを特徴とする画像処理方法。
19. コンピュータに、光学系を用いた撮像により生成された入力画像に対して、回転対称成分およびシフト成分からなる倍率色収差を補正する画像処理を行わせるコンピュータプログラムであって、
    前記コンピュータに、
    前記回転対称成分と前記シフト成分のうち一方を第１の成分とし、他方を第２の成分とするとき、前記入力画像の取得前に取得されて保存された前記第１の成分に関する情報である第１の成分情報を取得させ、
    前記第１の成分情報を用いて前記第２の成分に関する情報である第２の成分情報を取得させ、
    前記入力画像に対して前記第１の成分情報および前記第２の成分情報を用いた補正処理を行わせることを特徴とする画像処理プログラム。