JP5517803B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、色ズレを適正に補正するための技術に関するものである。

従来、デジタルカメラ等の撮像装置は様々な用途に使用されている。しかし、被写体像を結像するために用いられる撮像レンズが有する様々な収差は、被写体像の画質を低下させる要因となる。例えば倍率色収差は結像した被写体像に色ズレを発生させる要因となる。また、撮像装置に用いられる撮像素子の画素数は年々増加しており、単位画素サイズが縮小傾向にあるため、従来では殆ど問題とならなかった程度の倍率色収差でも画質を低下させる主要因となってきている。

このような色ズレを画像処理により補正する技術として、補正すべき色ズレ量（即ち、補正量）を、補正対象の画像データから取得する技術が提案されている。画像データから色ズレ量を取得する技術として、画像データのエッジ部分における各色成分間の相関を利用した方法がある。

例えば、特許文献１には、エッジに対応する各色成分の画素の距離の差分の合計が最小となる位置を探すことで色ズレ量を取得する方法が提案されている。また、特許文献２には、ＲＡＷデータからエッジを検出し、エッジ部分の２種類の色成分の配列の誤差が最小となる変位幅を色ずれ幅として求める方法が提案されている。

特開２０００−２９９８７４号公報 特開２００６−２０２７５号公報

しかしながら、特許文献１、２に開示されるような、画像データから色ズレ量を取得する方法では、ノイズを多く含む画像データや、エッジに倍率色収差のような色が付いている被写体、又は、コントラストが低くエッジの検出が困難な画像データに対しては適切な色ズレ量を取得できない場合がある。その結果、取得した色ズレ量を使って倍率色収差の補正を行っても色ズレが改善されない場合や、被写体本来の色を失ってしまう致命的な誤補正となる場合がある。

また、レンズ設計データにより補正量を決定する方法もあるが、レンズの製造誤差や光源や被写体の色温度等の撮影条件によって正確な倍率色収差の補正量とならず、結果として補正不足や過補正の状態にしてしまうこともある。

そこで、本発明の目的は、色ズレを適正に補正可能な補正量を取得することにある。

本発明の画像処理装置は、撮像手段より出力された画像データの複数の領域における、前記画像データの一つの色プレーンに対する他の色プレーンのズレ量を取得する取得手段と、各領域の前記画像データの中心からの距離と、前記取得手段により取得された前記各領域のズレ量とに基づいて、前記画像データの中心からの距離に応じた第１の補正量を算出する第１の算出手段と、前記撮像手段におけるレンズの設計データに基づいて、前記レンズ固有の第２の補正量を算出する第２の算出手段と、前記第１の補正量と前記第２の補正量とに基づいて第３の補正量を算出する第３の算出手段と、前記第３の補正量に基づいて前記画像データを補正する補正手段とを有し、前記第３の算出手段は、前記第２の補正量と前記第３の補正量との差分を所定の範囲に収めることを特徴とする。

本発明によれば、色ズレを適正に補正可能な補正量を取得することができる。

本発明の実施形態に係る撮像装置１００の構成を示すブロック図である。 倍率色収差の補正に係る、エッジ抽出部、補正データ作成部及び補正部による処理の流れを示すフローチャートである。 画像データを像高毎に８つの領域に分割した状態を示す図である。 「画像解析により取得した補正量」、「レンズ補正データから取得した補正量」、それらの差分及び「最終的に利用する補正量」を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下に説明する実施形態は、本発明の説明及び理解を容易にするため、ある特定の構成に基づいているが、本発明はそのような特定の構成に限定されない。また、以下に説明する実施形態では、ある２つの色成分（色プレーン）、例えばＧプレーンとＲプレーンとの色ズレ量取得方法について説明するが、他の色プレーン間、例えばＧプレーンとＢプレーンとの色ズレ量についても同様に取得可能である。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置１００の構成を示すブロック図である。図１に示すように、本実施形態に係る撮像装置１００は、結像光学系１０、撮像素子２０、Ａ／Ｄ変換部３０、色分離部４０、エッジ抽出部５０、補正データ作成部６０及び補正部７０を有する。補正データ作成部６０は、補正量取得部ａ６１、補正量取得部ｂ６２及び補正量算出部６３を含む。なお、撮像装置１００は、本発明の画像処理装置の適用例となる構成である。

結像光学系１０は、被写体像を撮像素子２０上に結像する。本実施形態において、撮像素子２０は、光電変換素子が２次元配列され、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の単位フィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が、光電変換素子の１つに１種類が対応するように２次元配列された構成を有する。これにより、光電変換素子の各々は、単位フィルタのいずれか１種類を透過した光を受光し、その強度を表す電気信号を出力する。従って、単板カラー撮像素子の光電変換素子の各々は、Ｒ、Ｇ、Ｂプレーンのうち１つの強度を出力することしかできない。このため、撮像素子２０が出力する画像データは色モザイク画像データである。

Ａ／Ｄ変換部３０では、撮像素子２０からアナログ信号の色モザイク画像データを、以降の画像処理に適するデジタル信号の色モザイク画像データに変換する。色分離部４０では、色モザイク画像データを補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像データを生成する。なお、この補間手法には、バイリニア補間やバイキュービック補間など多くの方式が提案されているが、本実施形態においてはどのような補間手法を用いてもよい。

エッジ抽出部５０は、生成されたカラー画像データからエッジを検出する。補正データ作成部６０は、カラー画像データを解析することにより補正量を取得するとともに、レンズ設計データから補正量を取得し、それらの補正量を用いて最終的に使用する補正量を決定する。補正部７０は、補正データ作成部６０によって作成された補正量を用いて、カラー画像データの倍率色収差を補正する。

図２は、倍率色収差の補正に係る、エッジ抽出部５０、補正データ作成部６０及び補正部７０による処理の流れを示すフローチャートである。

先ずステップＳ１０１において、エッジ抽出部５０は、色分離部４０によって生成されたカラー画像データからエッジを検出する。これは、結像光学系１０の倍率色収差による色ズレは、画像データのエッジに顕著に現れるためである。画像データのエッジ検出にはＹ（輝度）プレーンを使用する。Ｙプレーンは、ＲＧＢプレーンから公知の式を用いて算出できる。なお、Ｇプレーンの値をＹプレーンとして用いてもよい。

なお、ステップＳ１０１で検出されるエッジは、光学中心からの動径方向で大きく画素値が変化するエッジに限定することで、精度の高い色ズレ量の取得が可能になる。また、Ｙプレーンにおいて、倍率色収差による色ズレはにじみとなって現れるので、例えば、画素値の単調増加又は単調減少が所定数連続するような、ある程度幅のあるエッジを検出する。

ステップＳ１０２において、補正量取得部ａ６１は、ステップＳ１０１で検出された各エッジにおける色ズレ量を取得する。色ズレ量の取得は、Ｇプレーンに対してＲプレーン（又はＢプレーン）間の相関が最も大きくなる位置を探すことにより行う。例えばＧプレーンに対するＲプレーンの位置を移動させながら、エッジにおけるＲプレーンの信号レベルとＧプレーンの信号レベルの差分の絶対値を求め、この絶対値が最小値となるときのＲプレーンの移動量を色ズレ量とすればよい。なお、ステップＳ１０２において取得される色ズレの方向は、光学中心と各エッジとの位置関係により、上／下方向、左／右方向、右斜め上／左斜め下方向、左斜め上／右斜め下方向の何れかとすることで処理を簡略化することができる。

ステップＳ１０２で取得された色ズレ量は、Ｇプレーンに対してＲプレーン（又はＢプレーン）が光学中心方向へずれている場合に負の値とし、Ｇプレーンに対してＲプレーン（又はＢプレーン）が光学中心とは逆方向へずれている場合に正の値とする。

ステップＳ１０３において、補正量取得部ａ６１は、ステップＳ１０１で検出された各エッジの像高と、ステップＳ１０２で取得された各エッジの色ズレ量とから、像高と色ズレとの関係を求めることで補正量を作成する。ここで像高とは、光学中心に相当する画素（以下、画像中心又は光学中心と称す）からの距離である。

ここで、補正量取得部ａ６１がステップＳ１０３で行う補正データの作成手順について具体的に説明する。
（１）補正量取得部ａ６１は、ステップＳ１０１で検出されたエッジの像高をＰ、ステップＳ１０２で取得された色ズレ量をＤとした場合、像高に対する色ズレ率ＭをＭ＝Ｐ／Ｄとして求める。
（２）補正量取得部ａ６１は、図３に示すように画像データを像高毎に８つの領域（ｈ１〜ｈ８）に分割し、個々のエッジが属する領域を選別する。
（３）補正量取得部ａ６１は、画像データ内で検出された個々のエッジに対して（１）、（２）の処理を行い、領域毎に色ズレ率Ｍの平均値を求め、領域毎の色ズレ率とする。
（４）補正量取得部ａ６１は、像高と領域毎の色ズレ率とから、像高と色ズレ率との関係を表す高次の多項近似式を算出し、これを「画像解析により取得した補正量」とする。なお、像高と色ズレ率との積を求めることによって、当該像高での色ズレ量が算出され、これを当該像高での補正量とすることができる。また、「画像解析により取得した補正量」は本発明の第１の補正量の適用例となる構成であり、この「画像解析により取得した補正量」を算出するための上述した処理は、本発明の第１の算出手段の処理例である。

なお、エッジの検出と色ズレ量の取得は、カラー画像データに含まれる全エッジに対して行ってもよい。また、像高毎に分割した８つの領域の各々で、所定の数のエッジ及びズレ量が取得され、当該所定の数の色ズレ率が集計された段階で、その領域に属するエッジの検出と色ズレ量の取得とを終了させるようにしてもよい。これにより、色ズレ率の信頼度を保ちながら処理の効率化を図ることが可能である。

また、補正量取得部ａ６１は、像高毎に分割した８つの領域のうち、検出すべきエッジが見つかった領域のみを高次の多項近似式の算出に使用する。これにより、検出すべきエッジが見つからない領域があった場合でも、その領域に対する補正量の作成が可能となる。

さらに、補正量取得部ａ６１は、像高毎に分割した８つの領域のうち、取得した色ズレ率のばらつきを判定し、信頼のおける領域のみを高次の多項近似式の算出に使用することで、補正量の信頼性を高めることができる。

ステップＳ１０４において、補正量取得部ｂ６２は、撮影時の被写体距離や焦点距離、絞り値等の撮影条件とレンズ設計データとに基づいて、レンズ固有の倍率色収差量を取得する。これを「レンズ設計データから取得した補正量」とする。なお、「レンズ設計データから取得した補正量」は本発明の第２の補正量の適用例となる構成であり、この「レンズ設計データから取得した補正量」を算出するための上述した処理は、本発明の第２の算出手段の処理例である。なお、この倍率色収差量は撮像装置１００の不図示のメモリが予め記憶しており、補正量取得部ｂ６２はこのメモリから倍率色収差量を読み出す。結像光学系１０を含むレンズユニットが撮像装置１００に対して着脱可能な構成である場合であれば、このレンズユニット内のメモリに倍率色収差量を予め記憶しておく構成としてもよい。あるいは、補正量取得部ｂ６２は記憶媒体や無線あるいは有線の通信を介して外部装置から倍率色収差量を取得するようにしてもよい。

図４（ａ）は、「画像解析により取得した補正量」と「レンズ設計データから取得した補正量」との例を示している。ステップＳ１０３で取得された「画像解析により取得した補正量」は、ノイズを多く含む画像データや、エッジに倍率色収差のような色が付いている被写体、又は、コントラストが低くエッジの検出が困難な画像データにおいては適切な値でない場合がある。従って、そのまま補正に使用しても、色ズレが改善されない場合や、被写体本来の色を失ってしまう致命的な誤補正となる場合がある。

ステップＳ１０４で取得された「レンズ設計データから取得した補正量」は、レンズの製造誤差や光源や被写体の色温度等の撮影条件によっては正確な倍率色収差の補正量とならないこともある。しかし、一般にレンズの製造誤差や光源や被写体の色温度等の撮影条件による影響は、「レンズ設計データから取得した補正量」の特性を大きく変えるほどではない。従って、補正に使用したい理想の補正量は、「レンズ設計データから取得した補正量」を中心にある範囲内でばらつくと考えることができる。本実施形態においては、「画像解析により取得した補正量」と「レンズ設計データから取得した補正量」との差分を判定、調整することで撮影した画像データに応じた適切な補正量を算出する。

ステップＳ１０５においては、補正量算出部６３は、「画像解析により取得した補正量」と「レンズ設計データから取得した補正量」との差分Ｄ（ｐ）を像高毎に算出する。
ｐを像高、Ａ＿ｉｍａｇｅ（ｐ）を「画像解析により取得した補正量」、Ａ＿ｄｅｓｉｇｎ（ｐ）を「レンズ設計データから取得した補正量」、Ｄ（ｐ）をＡ＿ｉｍａｇｅ（ｐ）からＡ＿ｄｅｓｉｇｎ（ｐ）を減算した値、Ｔ（ｐ）を差分判定用閾値とする。

ステップＳ１０６において、補正量算出部６３は、ステップＳ１０５で算出された差分Ｄ（ｐ）の絶対値と差分判定用閾値Ｔ（ｐ）を比較し、差分Ｄ（ｐ）が差分判定用閾値Ｔ（ｐ）よりも大きい場合には、差分Ｄ（ｐ）の値を差分判定用閾値Ｔ（ｐ）の値に置き換える。また、補正量算出部６３は、差分Ｄ（ｐ）が差分判定用閾値Ｔ（ｐ）の負の値である−Ｔ（ｐ）よりも小さい場合には、差分Ｄ（ｐ）の値を差分判定用閾値Ｔ（ｐ）の負の値である−Ｔ（ｐ）の値に置き換える。

差分判定用閾値Ｔ（ｐ）は、像高に応じて設定された閾値であり、例えば以下のように設定される。
Ｔ（ｐ）＝Ｋ×ｐ

図４（ｂ）は、調整前の差分Ｄ（ｐ）と差分判定用閾値Ｔ（ｐ）とを示しており、図４（ｃ）は調整後の差分Ｄ（ｐ）と差分判定用閾値Ｔ（ｐ）とを示している。Ｋの値は「レンズ設計データから取得した補正量」と実際に補正する補正量との差の許容範囲を示す値である。Ｋの値は、撮影に使用したレンズの製造誤差による倍率色収差量のばらつきや、光源や被写体の色温度等の撮影条件による影響を予めシミュレーションすることで決定できる。つまり、ステップＳ１０６では、補正量算出部６３は、「画像解析により取得した補正量」と「レンズ設計データから取得した補正量」との差分が想定される値よりも大きい部分は、「画像解析により取得された補正量」は正しくない可能性が高いと判断する。従って、補正量算出部６３は、想定される範囲内の差分を使用するようにする。即ち、補正量算出部６３は、調整前の差分Ｄ（ｐ）が、差分判定用閾値Ｔ（ｐ）によって設定される所定の範囲に収まるように調整する。ここでは、調整前の差分Ｄ（ｐ）において上記所定の範囲を超える部分については、その部分を上記所定の範囲の上限値又は下限値となるように調整している。

ステップＳ１０７において、補正量算出部６３は、調整された差分Ｄ（ｐ）を使用して「最終的に使用する補正量」Ａ（ｐ）を以下のように設定する。
Ａ（ｐ）＝Ａ＿ｄｅｓｉｇｎ（ｐ）＋Ｄ（ｐ）
従って、「最終的に使用する補正量」は図４（ｄ）のようになる。なお、「最終的に使用する補正量」は本発明の第３の補正量の適用例となる構成であり、この「最終的に使用する補正量」を算出するための上述した処理は、本発明の第３の算出手段の処理例である。

ステップＳ１０８において、補正部７０は、ステップＳ１０７で作成された補正量Ａ（ｐ）を使用して、Ｒプレーン（又はＢプレーン）に対して像高方向における変倍を行うことで倍率色収差の補正を行う。

このように本実施形態では、画像解析だけで補正量を決定するのではなく、レンズ設計データを考慮することで、色ズレを適正に補正可能な補正量を決定することができる。

次に、本発明の第２の実施形態について説明する。本実施形態は、ステップＳ１０６で実施される差分の調整方法以外は第１の実施形態と同様であるため、以下では本実施形態における差分の調整方法についてのみ説明する。

第２の実施形態において、ステップＳ１０６で実施される差分の調整は、像高により調整するエリアを分け、エリア毎に調整を行う。先ず図４（ｅ）のように差分が０になる位置により、像高をエリアａ１〜ａ３に分割する。エリアａ１とａ２のように差分が閾値内に収まっているエリアは、差分の調整は行わない。エリアａ３のように閾値を越える差分を含んでいるエリアは調整の対象とする。

補正量算出部６３は、エリアａ３の各像高で、以下の式で得られる値Ｇの最小値Ｇｍｉｎを探す。
Ｇ＝｜Ｔ（ｐ）｜／｜Ｄ（ｐ）｜

次に補正量算出部６３は、求めたＧｍｉｎをエリアａ３の差分に対して積算を行うことで、差分の調整を行う。
Ｄ（ｐ）＝Ｄ（ｐ）×Ｇｍｉｎ
この方法の調整後の差分を図４（ｆ）に示す。
なお、「最終的に利用する補正量」は第１の実施形態と同様に、Ａ（ｐ）＝Ａ＿ｄｅｓｉｇｎ（ｐ）＋Ｄ（ｐ）で求められる。
従って、「最終的に利用する補正量」は図４（ｇ）のようになる。

本実施形態では、像高により差分の調整エリアを分割して考え、分割されたエリア毎に差分に対してゲインをかけ、差分が差分判定用閾値Ｔ（ｐ）で設定される範囲に収まるように調整する。そのため、本実施形態では、ある像高で補正量が急激に変化する現象を低減することができ、自然な補正量を算出することが可能となる。

以上、本発明の好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：撮像装置、１０：結像光学系、２０：撮像素子、３０：Ａ／Ｄ変換部、４０：色分離部、５０：エッジ抽出部、６０：補正データ作成部、６１：補正量取得部ａ、６２：補正量取得部ｂ、６３：補正量算出部、７０：補正部

Claims (9)

1. 撮像手段より出力された画像データの複数の領域における、前記画像データの一つの色プレーンに対する他の色プレーンのズレ量を取得する取得手段と、
   各領域の前記画像データの中心からの距離と、前記取得手段により取得された前記各領域のズレ量とに基づいて、前記画像データの中心からの距離に応じた第１の補正量を算出する第１の算出手段と、
   前記撮像手段におけるレンズの設計データに基づいて、前記レンズ固有の第２の補正量を算出する第２の算出手段と、
   前記第１の補正量と前記第２の補正量とに基づいて第３の補正量を算出する第３の算出手段と、
   前記第３の補正量に基づいて前記画像データを補正する補正手段とを有し、
   前記第３の算出手段は、前記第２の補正量と前記第３の補正量との差分を所定の範囲に収めることを特徴とする画像処理装置。
2. 前記所定の範囲は、前記画像データの中心からの距離に応じて設定された範囲であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第３の算出手段は、前記第１の補正量と前記第２の補正量との差分を算出し、当該差分を所定の範囲に収めるように調整し、調整された差分と前記第２の補正量とに基づいて第３の補正量を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第３の算出手段は、前記差分が前記所定の範囲を超える場合、前記所定の範囲を超える前記差分の部分を前記所定の範囲の上限値又は下限値にすることを特徴とする請求項３に記載の画像処理装置。
5. 前記第３の算出手段は、前記差分が前記所定の範囲に収まるように前記差分に対してゲインをかけることを特徴とする請求項３に記載の画像処理装置。
6. 前記複数の領域は、前記撮像手段より出力された画像データから検出されたエッジであることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得手段は、所定の数のエッジを検出するとともに、前記所定の数のエッジに対応するズレ量を取得し、前記第１の算出手段は、前記所定の数の前記各エッジの前記画像データからの中心からの距離と、前記所定の数のエッジに対応するズレ量とに基づいて、前記画像データの中心からの距離に応じた前記第１の補正量を算出することを特徴とする請求項６に記載の画像処理装置。
8. 画像処理装置によって実行される画像処理方法であって、
   撮像手段より出力された画像データの複数の領域における、前記画像データの一つの色プレーンに対する他の色プレーンのズレ量を取得する取得ステップと、
   各領域の前記画像データの中心からの距離と、前記取得ステップにより取得された前記各領域のズレ量とに基づいて、前記画像データの中心からの距離に応じた第１の補正量を算出する第１の算出ステップと、
   前記撮像手段におけるレンズの設計データに基づいて、前記レンズ固有の第２の補正量を算出する第２の算出ステップと、
   前記第１の補正量と前記第２の補正量とに基づいて第３の補正量を算出する第３の算出ステップと、
   前記第３の補正量に基づいて前記画像データを補正する補正ステップとを含み、
   前記第３の算出ステップでは、前記第２の補正量と前記第３の補正量との差分を所定の範囲に収めることを特徴とする画像処理方法。
9. 撮像手段より出力された画像データの複数の領域における、前記画像データの一つの色プレーンに対する他の色プレーンのズレ量を取得する取得ステップと、
   各領域の前記画像データの中心からの距離と、前記取得ステップにより取得された前記各領域のズレ量とに基づいて、前記画像データの中心からの距離に応じた第１の補正量を算出する第１の算出ステップと、
   前記撮像手段におけるレンズの設計データに基づいて、前記レンズ固有の第２の補正量を算出する第２の算出ステップと、
   前記第１の補正量と前記第２の補正量とに基づいて、前記第２の補正量との差分が所定の範囲に収まる第３の補正量を算出する第３の算出ステップと、
   前記第３の補正量に基づいて前記画像データを補正する補正ステップとをコンピュータに実行させるためのプログラム。

Images