JP4816725B2 - 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 - Google Patents

Description

本発明は、倍率色収差を画像解析する技術に関する。

一般に、電子カメラでは、撮影光学系の倍率色収差によって、撮像された画像データに色ズレを生じることが知られている。この画像データの色ズレから倍率色収差を検出する技術が従来提案されている。
例えば、特許文献１では、画像データのＲ成分を様々な変倍率で変倍しながら、Ｇ成分との差分の最小点を探すことで、ＲＧ間の倍率色収差を求めている。
また、特許文献２では、画像データの色ズレを複数検出し、これら色ずれを、数式モデルでフィッティングすることにより、倍率色収差を検出している。
さらに、特許文献３には、画像データの色ズレを、最小二乗法によって１次式にフィッティングすることが開示されている。
特開２００２−３４４９７８号公報（図４） 特開２００２−３２０２３７号公報（段落００２４） 特開２００４−２８６６８４号公報（段落００５５）

通常、複雑変化する色ズレを正確にフィッティングするには、像高の３次式からなる倍率色収差モデルが使用される。しかし、３次の倍率色収差モデルを使用した場合、次のような弊害が生じる。

（１）色ズレの検出誤差の影響を受けやすい。
画像データから検出された色ズレには、倍率色収差に起因する色ズレの他に、被写体本来の色構造、色ノイズ、および偽色などの影響による検出誤差も含まれる。一方、３次式のフィッティングは自由度が高いため、これらの検出誤差に敏感に反応しやすい。そのため、倍率色収差の数式モデルのパラメータを間違った値として求めてしまう可能性が高い。

（２）像高に対して充分なサンプリング間隔で色ズレが検出できるとは限らない。
３次式の変曲点などを正しくフィッティングするためには、像高に対して適当なサンプリング間隔で色ズレを検出する必要がある。しかしながら、画像データによっては、平坦な画像構造が一定面積を占めるため、充分なサンプリング間隔で色ズレが検出できるとは限らない。この状態で３次式の近似を行うと、倍率色収差の数式モデルのパラメータを間違った値として求めてしまう可能性が高い。

（３）倍率色収差が、像高の３次式では近似できない場合がある。
倍率色収差による色ズレの一般的な傾向として、画像中央付近では像高に比例し、画像周辺部では像高に対して非線形に変化する場合がある。このような振る舞いは、必ずしも３次式では近似できるとは限らない。この状態で３次式の近似を行うと、倍率色収差の数式モデルのパラメータを間違った値として求めてしまう可能性が高い。

（４）非等方な倍率色収差が発生する場合がある。
レンズによっては、光軸中心に対して非対称な倍率色収差が発生する場合がある。一方、色ズレの検出誤差も非等方な成分となることが多い。そのため、非等方な倍率色収差と、非等方な検出誤差を弁別することは難しく、倍率色収差の数式モデルのパラメータを間違った値として求めてしまう可能性が高い。

本発明の目的は、このような問題点に鑑みて、画像データの色ズレ検出結果から倍率色収差を適正に推定することである。

本発明の画像処理装置は、画像データの色ズレ検出結果に倍率色収差モデルをフィッティングさせることにより、倍率色収差に起因して発生する画像の色成分の位置のズレを補正するための補正量を求める装置であって、画像取得部、色ズレ検出部、制御部、および補正量算出部を備える。
画像取得部は、画像データを取得する。
色ズレ検出部は、この画像データについて色ズレを検出する。
制御部は、色ズレ検出結果に基づいて前記フィッティングの信頼性を判定し、色ズレのフィッティングに適する倍率色収差モデルを選択する。
補正量算出部は、制御部で選択された倍率色収差モデルを用いて、色ズレ検出結果のフィッティングを行い、フィッティング結果に基づいて、倍率色収差に起因する画像の色成分の位置のズレの前記補正量を求める。
さらに、前記制御部は、前記倍率色収差モデルの選択肢として、（１）像高に対して非線形な倍率色収差をとる倍率色収差モデル（２）像高に対して線形な倍率色収差をとる倍率色収差モデルを少なくとも有する。
なお、制御部は、色ズレの検出個数、色ズレの検出バラツキ、および色ズレの検出像高からなる評価項目の少なくとも一つに基づいて、色ズレ検出結果のフィッティングの信頼性を評価判定する。制御部は、この信頼性に基づいて倍率色収差モデルを選択しても良い。
また、制御部は、色ズレ検出結果に基づいて、倍率色収差モデルのフィッティングの自由度を制限しても良い。
また、制御部は、画像中央領域と画像周辺領域とにおいて、異なる倍率色収差モデルを選択しても良い。
なお、制御部は、画像中央領域には、像高に対して線形な倍率色収差をとる倍率色収差モデルを選択し、画像周辺領域には、像高に対して非線形な倍率色収差をとる倍率色収差モデルを選択しても良い。
また、制御部は、色ズレ検出結果について像高範囲ごとの信頼性判定を行い、予め定められた信頼性の条件を満足する像高範囲を求めて、非線形なモデルを使用する画像周辺領域としても良い。
なお、補正量算出部は、色ズレ検出結果と倍率色収差モデルとのフィッティング誤差Δの評価関数ｅ（Δ）を小さくすることで、倍率色収差モデルを色ズレ検出結果にフィッティングしても良い。なお、この評価関数ｅ（Δ）は、フィッティング誤差が取りうる範囲のΔ１＜Δ２に対して、下式を満足することを特徴としても良い。
ｅ（Δ２）／ｅ（Δ１）＜（Δ２／Δ１）² ・・・［１］
また、補正量算出部は、色ズレ検出結果に倍率色収差モデルをフィッティングすることにより、等方的な倍率色収差に起因する画像の色成分の位置のズレの補正量（以下、大局的補正量）を求め、画像の領域ごとに、大局的補正量と色ズレ検出結果との誤差を調整する領域調整値を求め、大局的補正量と領域調整値とに基づいて、非等方な倍率色収差に起因する画像の色成分の位置のズレの補正量を求めても良い。
なお、上記の画像処理装置において、補正量算出部は、色ズレ検出結果を像高ごとの頻度分布に分類して２次元頻度マップを求め、倍率色収差モデルを２次元頻度マップにフィッティングすることにより、上述した補正量を求めても良い。
本発明の画像処理プログラムは、コンピュータを上記いずれかの画像処理装置として機能させるためのプログラムである。
本発明の電子カメラは、上記いずれかの画像処理装置と、被写体を撮像して画像データを生成する撮像部とを備える。この画像処理装置は、撮像部で生成された画像データについて、上述した補正量を求める。
本発明の画像処理方法は、画像データの色ズレ検出結果に倍率色収差モデルをフィッティングさせることにより、倍率色収差に起因して発生する画像の色成分の位置のズレを補正するための補正量を求める画像処理方法であって、画像データを取得する画像取得ステップと、前記画像データについて色ズレを検出する色ズレ検出ステップと、前記色ズレ検出結果に基づいて前記フィッティングの信頼性を判定し、前記色ズレのフィッティングに適する倍率色収差モデルを選択する制御ステップと、前記制御ステップで選択された前記倍率色収差モデルを用いて、前記色ズレ検出結果のフィッティングを行い、フィッティング結果に基づいて、倍率色収差に起因する画像の色成分の位置のズレの前記補正量を求める補正量算出ステップとを備え、前記制御ステップにおける処理では、前記倍率色収差モデルの選択肢として、（１）像高に対して非線形な倍率色収差をとる倍率色収差モデル（２）像高に対して線形な倍率色収差をとる倍率色収差モデルを少なくとも有する。

本発明では、色ずれの検出結果に従って、フィッティングに適した倍率色収差モデルを選択する。その結果、色ズレから倍率色収差を推定する際の誤りを低減することが可能になる。

本実施形態の画像処理装置１１を示すブロック図である。 画像処理装置１１の動作を説明するフローチャートである。 画面の分割パターンを示す図である。 電子カメラ２１を示すブロック図である。

《構成説明》
図１は、本実施形態の画像処理装置１１を示すブロック図である。
図１において、画像処理装置１１は、次のような構成要件を備えて構成される。
（１）画像取得部１２・・倍率色収差の検出対象である画像データを取り込む。
（２）色ズレ検出部１３・・画像データから色ズレを検出する。
（３）制御部１４・・色ズレ検出結果のバラツキなどから信頼性を求め、その信頼性に応じて倍率色収差モデルを選択する。
（４）補正量算出部１５は、制御部１４が選択した倍率色収差モデルを、色ズレ検出結果にフィッティングすることで、画像データに対する倍率色収差の補正量を求める。

なお、上述した構成要件を、コンピュータで画像処理プログラムを実行することによってソフトウェア的に実現してもよい。また、上述した構成要件を、演算回路などでハードウェア的に実現してもよい。

《動作説明》
図２は、画像処理装置１１の動作を説明するフローチャートである。以下、このフローチャートに基づいて動作を説明する。

ステップＳ１： 画像取得部１２は、ＲＧＢ色成分がベイヤ配列されたベイヤ画像を、画素（ｘ,ｙ）ごとに読み込む。ここでは、画素の座標空間を、x座標が大きいほど画面右側とし、y座標が大きいほど画面下側とする。

ステップＳ２： 色ズレ検出部１３は、ベイヤ画像のＲＧＢ色成分ごとに補間処理を施し、画素単位の欠落色成分を補い、画素単位にＲＧＢ色成分を有する補間画像を生成する。

ステップＳ３： 色ズレ検出部１３は、補間画像の画面座標に、撮影光学系の光軸中心（ｃｘ，ｃｙ）を設定する。デフォルト設定では、補間画像の画面中心を、この光軸中心とする。なお、色ズレ検出部１３が、入力画像の付随情報（Exif情報など）から、光軸中心（ｃｘ，ｃｙ）の座標値を取得してもよい。
色ズレ検出部１３は、この光軸中心（ｃｘ，ｃｙ）を中心にして、図３に示すように補間画像を周方向に分割し、複数の分割領域（図３に示すＮ，ＮＥ，Ｅ，ＳＥ，Ｓ，ＳＷ，Ｗ，ＮＷ）と、分割領域ごとの動径方向（図３に示す矢印方向）を設定する。

ステップＳ４： 続いて、色ズレ検出部１３は、補間画像の各画素のＲＧＢ色成分から、例えば、Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３などの簡易計算を行い、各画素の輝度Ｙを求める。次に、色ズレ検出部１３は、倍率色収差が視認可能な画面域（例えば、光軸中心から最大像高ｈmaxの４割以上離れた周辺域）において、輝度Ｙの動径方向のレベル変化 grad Y(x,y)を算出する。
ここでは、動径方向を分割領域ごとに固定設定することにより、動径方向のレベル変化を下式に基づいて簡易計算することができる。
分割領域Ｎ：gradY(x,y)=Y(x,y-1)-Y(x,y)
分割領域ＮＥ：gradY(x,y)=Y(x+1,y-1)-Y(x,y)
分割領域Ｅ：gradY(x,y)=Y(x+1,y)-Y(x,y)
分割領域ＳＥ：gradY(x,y)=Y(x+1,y+1)-Y(x,y)
分割領域Ｓ：gradY(x,y)=Y(x,y+1)-Y(x,y)
分割領域ＳＷ：gradY(x,y)=Y(x-1,y+1)-Y(x,y)
分割領域Ｗ：gradY(x,y)=Y(x-1,y)-Y(x,y)
分割領域ＮＷ：gradY(x,y)=Y(x-1,y-1)-Y(x,y)
色ズレ検出部１３は、求めたレベル変化 gradY(x,y)の絶対値が、所定値Ｔｈ（たとえば２５６階調データにおいて１０程度）以上を示す画素位置(x,y)を、動径方向のレベル変化箇所として探索する。なお、この探索は、例えば６画素おきなどの、適当な間隔を開けて行っても良い。

ステップＳ５： 色ズレ検出部１３は、ステップＳ４で検出されたレベル変化箇所を中心に局所的なウィンドウを範囲設定する。色ズレ検出部１３は、このウィンドウ内からＧ色成分の配列を取得する。
次に、色ズレ検出部１３は、このウィンドウを動径方向に所定幅だけずらした範囲からＲ色成分の配列を取得する。色ズレ検出部１３は、このＲ色配列の平均値が、Ｇ色配列の平均値に一致するように、Ｒ色配列のレベル補正を実施する。色ズレ検出部１３は、（Ｇ色配列）−（レベル補正後のＲ色配列）の絶対値和を求め、重ね合わせ誤差とする。
色ズレ検出部１３は、Ｒ色配列のずらし幅を動径方向に沿って増減させながら、重ね合わせ誤差が最小となるずらし幅を求めて、レベル変化箇所の色ズレとする。色ズレ検出部１３は、求めた色ズレを、レベル変化箇所の像高の値と共に一時記憶する。
なお、重ね合わせ誤差の値を内挿することにより、色ズレを画素間隔以下の精度で求めることが好ましい。

ステップＳ６： 補正量算出部１５は、ステップＳ５においてレベル変化箇所ごとに求めた（像高，色ズレ）の頻度を分割領域ごとにカウントして、２次元頻度マップを作成する。
例えば、２次元頻度マップは、像高０から最大像高ｈmaxまでを４０通りに分類し、−４画素から＋４画素までの色ズレを８０通りに分類して、合計３２００通りの区分ごとに頻度をカウントする。
なお、ステップＳ５の色ズレ検出のたびに、対応する分割領域の２次元頻度マップを更新することにより、（像高，色ズレ）の一時記憶に必要なバッファ容量を節約することが好ましい。

ステップＳ７： 補正量算出部１５は、分割領域ごとの２次元頻度マップを一つに統合することにより、画面全周の２次元頻度マップを作成する。また、分割領域Ｎ，ＮＥ、ＮＷの２次元頻度マップを合成することにより、画面上側の２次元頻度マップを作成する。同様に、分割領域Ｓ，ＳＥ、ＳＷの２次元頻度マップを合成することにより、画面下側の２次元頻度マップを作成する。さらに、分割領域Ｅ，ＮＥ、ＳＥの２次元頻度マップを合成することにより、画面右側の２次元頻度マップを作成する。同様に、分割領域Ｗ，ＮＷ、ＳＷの２次元頻度マップを合成することにより、画面左側の２次元頻度マップを作成する。

ステップＳ８： 制御部１４は、刻み幅Δｈを最大像高ｈmaxの１０分の１程度に設定し、
ｎ（ｈ）：像高ｈ〜ｈ＋Δｈの色ズレの検出回数
σ²（ｈ）：像高ｈ〜ｈ＋Δｈの色ズレの分散
を所定間隔の像高ｈ（例えば整数値のｈ）ごとに求める。
次に、制御部１４は、色ズレ検出結果の信頼性Ｅｃを、例えば下記の評価関数により像高範囲ごとに求める。

この評価関数［２］は、像高ｈ０以上の像高範囲において色ズレの検出個数が多いほど、大きな値を示す。また、評価関数［２］は、像高ｈ０以上の像高範囲において色ズレの検出バラツキが小さいほど、大きな値を示す。さらに、評価関数［２］は、像高ｈ０以上の像高範囲において色ズレの検出像高ｈが大きいほど、大きな値を示す。

ステップＳ９： 制御部１４は、ステップＳ８で求めた信頼性に基づいて下記の場合分けを行い、倍率色収差モデルを選択する。

（ケース１）非線形な倍率色収差モデル
制御部１４は、信頼性Ｅｃ（ｈ０＋１）＜ｔｈ１、かつＥｃ（ｈ０）＞ｔｈ１、かつｈ０＞ｔｈ_linearの三条件を満たす像高ｈ０が存在するか否かを判断する。
このとき、閾値ｔｈ_linearは、倍率色収差が線形変化する像高ｈの上限を示す閾値であり、予め実験的または統計的に設定される。例えば、閾値ｔｈ_linearは、４×Δｈ程度の値に設定される。
一方、閾値ｔｈ１は、画面周辺域の信頼性が倍率色収差の非線形性の推定に適するか否かを見極める閾値であり、予め実験的または統計的に設定される。例えば、閾値ｔｈ１は１０００程度の値に設定される。
これら三条件を満たす像高ｈ０が存在する場合、その像高ｈ０を折れ像高ｈ_twistの最大値とし、下記の非線形な倍率色収差モデルｆ_NL（ｈ）を選択する。

なお、ｆ（ｈ）中の未定パラメータｋ，ａ，ｈ_twistについては、後段のステップＳ１０において決定される。

（ケース２）線形な倍率色収差モデル
制御部１４は、ケース１の三条件を満足せず、かつＥｃ（ｔｈ_linear）＞ｔｈ２を満足する場合、像高に対して線形な倍率色収差モデルｆ_L（ｈ）＝ｋ×ｈを選択する。
なお、閾値ｔｈ２は、画面周辺域の信頼性が倍率色収差の線形性の推定に適するか否かを見極める閾値であり、予め実験的または統計的に設定される。例えば、閾値ｔｈ２は４００程度の値に設定される。

（ケース３）倍率色収差の推定中止
制御部１４は、ケース１およびケース２をいずれも満足しない場合、色ズレ検出結果は信頼性が低くて、倍率色収差の推定に不適であると判断する。この場合、制御部１４は、倍率色収差の推定および補正を中止する。

ステップＳ１０： 補正量算出部１５は、画面全周の色ズレ検出結果（画面全周の２次元頻度マップ）に、制御部１４の選択した倍率色収差モデルをフィッティングすることにより、倍率色収差モデルの未定パラメータを決定する。

（ケース１の倍率色収差モデルの場合）
補正量算出部１５は、［３］式の未定パラメータに、予め統計的に求めた正解に近いデフォルト値を初期設定する。
補正量算出部１５は、画面全周の色ずれ検出結果（２次元頻度マップ）から、検出像高ｈにおける色ズレ検出値と、検出像高ｈにおける［３］式の値ｆ_NL（ｈ）との差異を求め、フィッティング誤差Δとする。
補正量算出部１５は、フィッティング誤差Δを、下式の評価関数ｅ（Δ）でそれぞれ評価する。
ｅ（Δ）＝｜Δ｜
補正量算出部１５は、求めた評価関数ｅ（Δ）の値を全て足し合わせて、フィッティング評価値Ｅｆを求める。なお、２次元頻度マップを使用する場合は、マップ上の区分ごとに求めた評価関数ｅ（Δ）に、その区分の頻度数を乗することで、フィッティング評価値Ｅｆの演算量を低減することができる。
さらに、補正量算出部１５は、フィッティングの自由度を制限する非線形ペナルティ項Ｅ_NLを、下式によって求める。
Ｅ_NL＝Ｐ_NL×｜ａ｜×（ｈmax−ｈ０）
なお、Ｐ_NLは、非線形ペナルティ項の重み付けを決定する係数であり、非線形な推定誤りの発生度合いなどを考慮して、予め実験的または統計的に設定される。例えば、Ｐ_NLは３００程度の値に設定される。また、ｈ０は、上述した三条件を満足するｈ０である。
なお、一般的には、非線形ペナルティ項Ｅ_NLを、未定パラメータａがゼロ近傍の所定範囲内の値をとるときは小さな値にし、その所定範囲から外れるほど大きな値をとるようにしても良い。
補正量算出部１５は、未定パラメータｋ，ａ，ｈ_twistを適当な刻み幅で変化させながら、（Ｅｆ＋Ｅ_NL）を極小または最小にする未定パラメータｋ，ａ，ｈ_twistを決定する。
このとき、未定パラメータｈ_twistについては、信頼性の三条件を満足する像高ｈ０以下に制限する。この制限により、信頼性の条件を満足する像高ｈ_twist以上の画像周辺領域に対して、像高に対して非線形な倍率色収差を示す倍率色収差モデルが選択される。

（ケース２の倍率色収差モデルの場合）
補正量算出部１５は、線形な倍率色収差モデルｆ_L（ｈ）の未定パラメータｋに、予め統計的に求めた正解に近いデフォルト値を初期設定する。
補正量算出部１５は、画面全周の色ずれ検出結果（２次元頻度マップ）から、検出像高ｈにおける色ズレ検出値と、検出像高ｈにおけるｆ_L（ｈ）の値との差異を求めて、フィッティング誤差Δとする。
補正量算出部１５は、フィッティング誤差Δを、下式の評価関数ｅ（Δ）でそれぞれ評価する。
ｅ（Δ）＝｜Δ｜
補正量算出部１５は、求めた評価関数ｅ（Δ）の値を全て足し合わせて、フィッティング評価値Ｅｆを求める。なお、２次元頻度マップを使用する場合は、マップ上の区分ごとに求めた評価関数ｅ（Δ）に、その区分の頻度数を乗することで、フィッティング評価値Ｅｆの演算量を低減することができる。
補正量算出部１５は、未定パラメータｋを適当な刻み幅で変化させながら、フィッティング評価値Ｅｆを極小または最小にする未定パラメータｋを決定する。

ステップＳ１１： 補正量算出部１５は、フィッティング誤差Δの分割領域ごとのバラツキを判定し、倍率色収差の非等方的な調整を実施するか否かを判定する。
バラツキが誤差などの許容範囲内と見なせる場合、補正量算出部１５は、非等方的な調整を実施せず、領域ごとの領域調整値ｋｅ，ｋｓ，ｋｗ，ｋｎにゼロを代入して、ステップＳ１３に動作を移行する。
一方、バラツキが許容範囲を超える場合、補正量算出部１５は、非等方的な調整を実施するため、ステップＳ１２に動作を移行する。

ステップＳ１２： 補正量算出部１５は、画面右側の２次元頻度マップに基づいて、下式を算出し、右領域の領域調整値ｋｅを求める。
ｋｅ＝［（検出像高ｈの色ズレ検出値−検出像高ｈの倍率色収差モデルの値）の和］／（検出像高ｈの和）
補正量算出部１５は、同様の計算で、下領域、左領域、上領域についても領域調整値ｋｓ，ｋｗ，ｋｎをそれぞれ求める。

ステップＳ１３： 補正量算出部１５は、内部のメモリ領域上に、横方向の補正量マップΔｘ（ｘ,ｙ）と、縦方向の補正量マップΔｙ（ｘ,ｙ）を領域確保する。補正量算出部１５は、この補正量マップΔｘ，Δｙを次の計算処理によって完成させる。
まず、補正量算出部１５は、補正量を求める座標（ｘ,ｙ）の像高ｈを、光軸中心の座標（ｃｘ,ｃｙ）を用いて算出する。
ｈ＝［（ｘ−ｃｘ）²＋（ｙ−ｃｙ）²］^1/2
次に、補正量算出部１５は、下式に従って、画面の左右に場合分けして、Δｘ（ｘ,ｙ）を求める。

なお、式中のｆ（ｈ）には、ケース１ではｆ_NL（ｈ）を使用し、ケース２ではｆ_L（ｈ）を使用する。
同様に、補正量算出部１５は、下式に従って、画面の上下に場合分けして、Δｙ（ｘ,ｙ）を求める。

このような計算を、光軸中心を除いて画素単位に順次実施することにより、補正量マップΔｘ，Δｙが完成する。
なお、後述するように、ベイヤ画像のＲ画素について倍率色収差補正を実施する場合は、ベイヤ配列のＲ画素が存在する画素位置（ｘ，ｙ）に限って、補正量マップΔｘ，Δｙを作成すればよい。また、所定画素（３２画素など）おきの離散的なサンプル点について補正量マップを求め、サンプル点の間の値は補間して求めてもよい。さらに、離散的なサンプル点を中心とするブロックごとに同じ補正量を使用することで、サンプル点の間の補間処理を省いてもよい。このような処理により、補正量の演算処理を適宜に高速化することが好ましい。

ステップＳ１４： 補正量算出部１５は、ベイヤ画像のＲ色成分の座標（ｘ,ｙ）ごとに、倍率色収差のズレ位置（ｘ′,ｙ′）を、下式により算出する。
ｘ′＝ｘ＋Δｘ（ｘ,ｙ）
ｙ′＝ｙ＋Δｘ（ｘ,ｙ）
次に、補正量算出部１５は、ズレ位置（ｘ′,ｙ′）のＲ色成分を、ベイヤ画像のＲ色成分を補間して求める。この補間には、キュービック補間などの公知の補間技術が使用できる。補正量算出部１５は、座標（ｘ，ｙ）のＲ色成分を、ズレ位置（ｘ′,ｙ′）のＲ色成分補間値で順次に置き換えることにより、ベイヤ画像のＲ色成分について倍率色収差補正を完了する。

ステップＳ１５： 画像処理装置１１は、ステップＳ５〜Ｓ１４と同様の処理を、ベイヤ画像のＢ色成分についても実施する。
以上の処理により、倍率色収差の補正量および倍率色収差補正後のベイヤ画像を得ることできる。

《実施形態の効果など》
本実施形態では、色ズレ検出結果の信頼性が低いケース２では、フィッティングに誤りの生じにくい倍率色収差モデルを選択する。その結果、倍率色収差の補正量の誤りを低減することが可能になる。

また、色ズレ検出結果の信頼性が高いケース１では、倍率色収差をより正確にフィッティングできるように、自由度の高い倍率色収差モデルを選択する。その結果、倍率色収差の補正量が一段と正確になる。

さらに、本実施形態では、評価関数の［２］式を用いて、色ズレ検出結果の信頼性を判定する。この［２］式には、下記の評価項目が含まれる。
・色ズレの検出個数・・検出個数が少ないほど、倍率色収差モデルのフィッティングに不足し、信頼性が低くなる。
・色ズレの検出バラツキ・・検出バラツキが大きいほど、倍率色収差モデルのフィッティングが不正確になり、信頼性が低くなる。
・色ズレの検出像高・・検出像高が小さいほど、色ズレ幅が微小になるため、色ズレの検出精度が低くなる。そのため、検出像高が小さいほど、フィッティングの信頼性は低くなる。

これら３つの評価項目を組み合わせることによって、色ズレ検出結果についてフィッティングの信頼性を正確に評価することが可能になる。

また、本実施形態では、ケース１においても、画像中央領域に線形な倍率色収差モデルをあえて選択する。通常、画像中央領域では、倍率色収差は像高に対してほぼ線形に変化する。そのため、画像中央領域に対して線形な倍率色収差モデルを選択することにより、実態に近い倍率色収差の補正値を得ることができる。

さらに、本実施形態の［３］式では、像高ｈ_twistにおいて、２つの倍率色収差モデルを滑らかに連結する。また、色ズレ検出結果が不足する最大像高ｈmaxの近傍で、二階導関数がゼロに近くなる特性を与えている。これらの特性は、倍率色収差の実態に近いため、より実態に近い倍率色収差の補正値を得ることができる。

また、本実施形態では、ケース１において、三条件を満足する像高ｈ０以上の像高範囲を、信頼性を満足する像高範囲として求める。この像高範囲を含むようにｈ_twistを設定し、像高がｈ_twist以上を示す画像周辺領域に対して、非線形な倍率色収差モデルを選択する。この処理により、非線形な倍率色収差のフィッティングの信頼性が保証され、画像周辺領域における補正量の誤りを低減することが可能になる。

さらに、本実施形態では、色ズレ検出結果と倍率色収差モデルとのフィッティング誤差Δの評価関数として、最小二乗法の二乗誤差Δ²に代えて、ｅ（Δ）＝｜Δ｜を使用する。最小二乗法は、測定誤差が正規分布に従う場合に、良好なフィッティング結果が得られる。しかし、色ズレ検出結果の誤差には、画像構造や偽色などが含まれるため、正規分布には従わず、大きな測定誤差が高頻度かつ突発的に生じやすい。そのため、最小二乗法では、この大きな測定誤差に過剰反応してフィッティングが正しく行われないおそれが生じる。しかしながら、本実施形態の評価関数ｅ（Δ）＝｜Δ｜は、二乗誤差に比べて大きな測定誤差に過剰反応しないため、より適切な倍率色収差モデルのフィッティングが可能になる。

また、本実施形態では、非線形ペナルティ項を導入することにより、非線形性に係わる未定パラメータａの自由度を制限している。その結果、検出誤差による未定パラメータａの変動を抑制し、より実態に即した倍率色収差モデルのフィッティングを可能にしている。

さらに、本実施形態では、画面全周の色ズレ検出結果に、等方的な倍率色収差モデルをフィッティングさせることで、大局的な補正量を求める。さらに、この大局的補正量と、領域ごとの色ズレ検出結果とを比較することにより、倍率色収差の非等方性を反映する領域調整値を求める。この大局的補正量と領域調整値を領域別に合成することで、非等方な倍率色収差の補正量を適切に得ることができる。

また、本実施形態では、色ズレ検出結果を像高ごとの頻度分布に分類して２次元頻度マップを作成する。一般に、倍率色収差の補正量を正確に算出するためには、１００回〜数千回以上の色ズレ検出結果が必要となる。この色ズレ検出結果を逐一記憶すると、大きな記憶容量が必要となる。また、フィッティング処理を行う際の評価値算出の演算量も膨大になる。しかし、２次元頻度マップの使用により、類似した色ズレ検出結果を頻度数として記憶できるため、色ズレ検出結果の記憶容量を節約することができる。また、２次元頻度マップを用いたフィッティング処理では、マップ上の区分ごとに求めた評価関数ｅ（Δ）にその区分の頻度数を乗することにより、フィッティングの評価値の演算量を大幅に軽減することができる。

《実施形態の補足事項》
なお、上述した実施形態では、３つの評価項目（検出個数，検出バラツキ、検出像高）を組み合わせて、フィッティングの信頼性を評価している。しかしながら、実施形態はこれに限定されるものではない。３つの評価項目の少なくとも一つに基づいて、フィッティングの信頼性を評価してもよい。

また、上述した実施形態では、フィッティング誤差の評価関数ｅ（Δ）＝｜Δ｜を使用する。しかしながら、実施形態はこれに限定されるものではない。フィッティング誤差が取りうる範囲のΔ１＜Δ２に対して、下式を満足する評価関数ｅ（Δ）を使用すればよい。
ｅ（Δ２）／ｅ（Δ１）＜（Δ２／Δ１）² ・・・［１］
このような評価関数ｅ（Δ）であれば、最小二乗法の二乗誤差Δ²よりも大きな測定誤差の影響を受けにくいため、倍率色収差モデルの良好なフィッティングが可能になる。

さらに、上述した実施形態では、単体の画像処理装置１１について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、図４に示すように、画像処理装置１１を電子カメラ２１に搭載してもよい。この電子カメラ２１では、撮像部２２の撮像画像や保存画像に対して、画像処理装置１１が倍率色収差の補正量を求め、さらに倍率色収差補正を実施することができる。

なお、上述した実施形態では、非線形な倍率色収差モデルとして、１次式と３次式を連結した数式モデルを使用している。しかしながら、本実施形態は、この数式モデルに限定されるものではない。一般的には、非線形な数式モデルであればかまわない。

また、上述した実施形態では、ベイヤ画像を処理対象として倍率色収差の推定を行う。しかしながら、実施形態はこれに限定されるものではない。一般的には、色ズレを検出できる画像であれば、本発明が適用可能である。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像データの倍率色収差補正などに利用可能な技術である。

Claims (12)

1. 画像データの色ズレ検出結果に倍率色収差モデルをフィッティングさせることにより、倍率色収差に起因して発生する画像の色成分の位置のズレを補正するための補正量を求める画像処理装置であって、
   画像データを取得する画像取得部と、
   前記画像データについて色ズレを検出する色ズレ検出部と、
   前記色ズレ検出結果に基づいて前記フィッティングの信頼性を判定し、前記色ズレのフィッティングに適する倍率色収差モデルを選択する制御部と、
   前記制御部で選択された前記倍率色収差モデルを用いて、前記色ズレ検出結果のフィッティングを行い、フィッティング結果に基づいて、倍率色収差に起因する画像の色成分の位置のズレの前記補正量を求める補正量算出部とを備え、
   前記制御部は、
   前記倍率色収差モデルの選択肢として、
   （１）像高に対して非線形な倍率色収差をとる倍率色収差モデル
   （２）像高に対して線形な倍率色収差をとる倍率色収差モデル
   を少なくとも有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記制御部は、
   前記色ズレの検出個数、前記色ズレの検出バラツキ、および前記色ズレの検出像高からなる評価項目の少なくとも一つに基づいて、前記色ズレ検出結果のフィッティングの信頼性を評価判定し、前記信頼性に基づいて前記倍率色収差モデルを選択する
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記制御部は、
   前記色ズレ検出結果に基づいて、前記倍率色収差モデルのフィッティングの自由度を制限する
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記制御部は、
   画像中央領域と画像周辺領域とにおいて、異なる倍率色収差モデルを選択する
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記制御部は、
   画像中央領域には、像高に対して線形な倍率色収差をとる倍率色収差モデルを選択し、
   前記画像周辺領域には、像高に対して非線形な倍率色収差をとる倍率色収差モデルを選択する
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記制御部は、
   前記色ズレ検出結果について像高範囲ごとの信頼性判定を行い、予め定められた信頼性の条件を満足する像高範囲を求めて前記画像周辺領域とする
   ことを特徴とする画像処理装置。
7. 請求項１ないし請求項６のいずれか１項に記載の画像処理装置において、
   前記補正量算出部は、
   前記色ズレ検出結果と前記倍率色収差モデルとのフィッティング誤差Δの評価関数ｅ（Δ）を小さくすることで、前記倍率色収差モデルを前記色ズレ検出結果にフィッティングする
   ただし、前記評価関数ｅ（Δ）は、フィッティング誤差が取りうる範囲の任意のΔ１＜Δ２に対して下式を満足する
   ｅ（Δ２）／ｅ（Δ１）＜（Δ２／Δ１）² ・・・［１］
   ことを特徴とする画像処理装置。
8. 請求項１ないし請求項７のいずれか１項に記載の画像処理装置において、
   前記補正量算出部は、
   前記色ズレ検出結果に前記倍率色収差モデルをフィッティングすることにより、等方的な倍率色収差に起因する画像の色成分の位置のズレの補正量（以下、大局的補正量）を求め、
   前記画像の領域ごとに、前記大局的補正量と前記色ズレ検出結果との誤差を調整する領域調整値を求め、
   前記大局的補正量と前記領域調整値とに基づいて、非等方な倍率色収差に起因する画像の色成分の位置のズレの補正量を求める
   ことを特徴とする画像処理装置。
9. 請求項１ないし請求項８に記載の画像処理装置において、
   前記補正量算出部は、
   前記色ズレ検出結果を像高ごとの頻度分布に分類して２次元頻度マップを求め、前記倍率色収差モデルを前記２次元頻度マップにフィッティングすることにより、前記補正量を求める
   ことを特徴とする画像処理装置。
10. コンピュータを、請求項１ないし請求項９のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。
11. 請求項１ないし請求項９のいずれか１項に記載の画像処理装置と、
    被写体を撮像して画像データを生成する撮像部とを備え、
    前記画像処理装置は、前記撮像部で生成された前記画像データについて、前記補正量を求める
    ことを特徴とする電子カメラ。
12. 画像データの色ズレ検出結果に倍率色収差モデルをフィッティングさせることにより、倍率色収差に起因して発生する画像の色成分の位置のズレを補正するための補正量を求める画像処理方法であって、
    画像データを取得する画像取得ステップと、
    前記画像データについて色ズレを検出する色ズレ検出ステップと、
    前記色ズレ検出結果に基づいて前記フィッティングの信頼性を判定し、前記色ズレのフィッティングに適する倍率色収差モデルを選択する制御ステップと、
    前記制御ステップで選択された前記倍率色収差モデルを用いて、前記色ズレ検出結果のフィッティングを行い、フィッティング結果に基づいて、倍率色収差に起因する画像の色成分の位置のズレの前記補正量を求める補正量算出ステップとを備え、
    前記制御ステップにおける処理では、
    前記倍率色収差モデルの選択肢として、
    （１）像高に対して非線形な倍率色収差をとる倍率色収差モデル
    （２）像高に対して線形な倍率色収差をとる倍率色収差モデル
    を少なくとも有することを特徴とする画像処理方法。

Images