JP6021780B2 - 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法 - Google Patents

Description

本発明は、画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法に関する。

デジタルスチルカメラやデジタルビデオカメラにおいて、撮像素子の一部あるいは全部の画素に測距機能を有する画素（以下、「測距画素」ともいう。）を配置し、位相差方式で被写体までの距離を検出するようにした固体撮像素子が特許文献１に提案されている。測距画素は、複数の光電変換部を備え、撮影レンズの瞳上の異なる領域を通過した光束が、異なる光電変換部に導かれるように構成される。

各測距画素に含まれる光電変換部により生成された電気信号により、異なる瞳領域を通過した光束により生成される光像（以下、それぞれ「Ａ像」、「Ｂ像」ともいい、両像をまとめて「ＡＢ像」ともいう。）に基づく画像データ（以降、Ａ像に基づく画像をＡ画像、Ｂ像に基づく画像をＢ画像と呼ぶ。）を取得する。このＡ画像とＢ画像の相対的な位置ズレ量である像ズレ量（視差ともいう）を算出する。

像ズレ量の算出には、テンプレートマッチングと呼ばれる領域ベースの対応点探索技術が多く用いられる。テンプレートマッチングでは、Ａ画像またはＢ画像を基準画像として設定し、基準画像とは異なる他方の画像を参照画像として設定する。基準画像上に、注目点を中心とする基準領域（基準ウィンドウともいう）を設定すると共に、参照画像上にて注目点と対応する参照点に対しても参照領域（参照ウィンドウともいう）を設定する。参照点を順次移動させながら、基準領域内の画像と参照領域内の画像の相関が最も高くなる参照点を探索し、注目点と参照点の相対的な位置ズレ量を用いて像ズレ量の算出を行う。一般に、探索領域のサイズを小さくすると、局所演算に起因する像ズレ量の算出誤差が発生するため、比較的大きな領域サイズ（例えば、９画素×９画素など）が用いられている。

この像ズレ量を、変換係数を介してデフォーカス量に変換することで、被写体までの距離を算出できる。これによると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速高精度な測距が可能となる。

ここで、測定の際の距離精度は、像ズレ量を正確に求めることで向上する。像ズレ量の誤差が発生する要因として、光量バランスの崩れが挙げられる。光量バランスの崩れとは、撮影レンズのレンズ枠などによる光束のケラレや測距画素感度の角度特性などにより、Ａ像とＢ像の光量比が像高に応じて変化する現象である。

特許文献２では、撮影レンズ及び撮像素子を組み立てた後に均一照明を与えることで、Ａ像とＢ像の光量比が一定になる補正係数を算出し、像ズレ量算出時にこの補正係数を用いて画像データを補正する方法が提案されている。

また、特許文献３では、光量バランスの崩れを、Ａ像とＢ像の光量比を考慮した相互相関演算を行うことで補正する方法が提案されている。

特許第４０２７１１３号公報 特開平２−１８１１０８号公報 特開２００９−２５８２３１号公報

特許文献２にて開示された焦点検出方法では、結像光学系及び撮像素子を組み立てた後に補正係数を計測するため、製造誤差の影響を受けることなくＡ像とＢ像の光量比を補正し、像ズレ量の算出誤差を低減させることができる。

しかし、近年のデジタルカメラには光学式手ぶれ補正機能が搭載され、撮影レンズの光軸が、補正係数算出時と実際の撮影時とで異なる可能性がある。すなわち、予め取得した補正係数を用いる場合には、必ずしもＡ像とＢ像の光量バランスの崩れを良好に補正できるとは限らず、像ズレ量の算出精度が低下する恐れがある。また、撮影レンズと撮像素子を組み立てた後に補正係数を算出することは、調整工程が増えるために、製造コストが高くなる恐れもある。

特許文献３にて開示された焦点検出方法では、探索領域内の画像と参照領域内の画像の相関度を算出する際に、Ａ像とＢ像の光量比を考慮することにより光量バランスの崩れを補正し、像ズレ量の算出誤差を低減させることで測距精度を向上させている。

テンプレートマッチングにおいては、隣接する注目点間にて、設定される基準領域の範囲に重複領域が存在する。特許文献３にて開示された焦点検出方法では、相関度の算出毎にＡ像とＢ像の光量バランスの崩れを補正しているために、重複領域において光量比の補正を複数回行うことになり、従来の相関度算出に比べて演算量が多くなる。演算量の増加は、処理時間の増大や演算回路の大規模化による高コスト化の恐れがある。また、基準領域内に含まれるＡ像とＢ像のみを考慮して光量バランスの崩れを補正しているため、光ショットノイズなどに代表されるノイズの影響により、精度良く光量バランスを補正できない恐れがある。

そこで本発明は、少ない演算量にて、Ａ像とＢ像の光量バランスの崩れを補正することを目的とする。

本発明に係る画像データ処理装置は、結像光学系の第１の瞳領域を通過する第１の光束に基づく画素値の集合である第１の画像データと前記結像光学系の前記第１の瞳領域とは異なる第２の瞳領域を通過する第２の光束に基づく画素値の集合である第２の画像データとを取得する画像データ取得手段と、少なくとも一部の対応する画素位置で前記第１の画像データの画素値と前記第２の画像データの画素値との比を算出し、前記比の集合である画像データ比を算出する画像データ比算出手段と、前記画像データ比を近似した補正関数を算出する補正関数算出手段と、前記補正関数に基づき、前記第１の画像データと前記第２の画像データの少なくとも一方を補正する補正手段と、を備える

本発明に係る画像データ処理方法は、結像光学系の第１の瞳領域を通過する第１の光束に基づく画素値の集合である第１の画像データと前記結像光学系の第２の瞳領域を通過する第２の光束に基づく画素値の集合である第２の画像データとを取得する画像データ取得工程と、対応する画素位置で前記第１の画像データと前記第２の画像データとの比を算出し、前記比の集合である画像データ比を算出する画像データ比算出工程と、前記画像データ比を近似した補正関数を算出する補正関数算出工程と、前記補正関数に基づき、前記第１の画像データと前記第２の画像データの少なくとも一方を補正する補正工程と、を含む。

本発明によれば、少ない演算量にて、像ズレ量を高精度に算出することができ、高精度な距離算出が可能となる。

実施形態１に係るデジタルカメラの構成図 実施形態１における光電変換部が受光する光束を説明する図 実施形態１における距離算出手順のフローチャート 実施形態１における像ズレ量の算出方法を説明する図 実施形態１における変換係数の算出方法を説明する図 光電変換部の受光光量を説明する図 実施形態１における光量バランス補正処理のフローチャート 実施形態１における光量バランス補正処理を説明する図 実施形態１の変形例に係る光量バランス補正処理のフローチャート 実施形態１の変形例に係る光量バランス補正処理のフローチャート 実施形態１の変形例に係る光量バランス補正処理のフローチャート 実施形態１の変形例に係る撮像素子の構成図 実施形態２に係るデジタルカメラの構成図 実施形態２における光量バランス補正処理のフローチャート デジタルカメラの動作例を示すフローチャート

以下の説明では、本発明の距離算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の距離算出装置はデジタル距離計測器などにも適用することができる。

尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

［第1の実施形態］
以下、図を参照しながら本発明の第一の実施形態について詳細に説明する。

＜デジタルカメラの構成＞
図１（Ａ）は、本実施形態にかかるデジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離算出部１０２、画像生成部（不図示）、レンズ駆動制御部（不図示）が、カメラ筐体１３０の内部に配置されて構成される。距離算出装置１１０は、結像光学系１２０、撮像素子１０１、距離算出部１０２から構成される。距離算出部１０２は論理回路を用いて構成することができる。距離算出部１０２の別の形態として中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を撮像面である撮像素子１０１に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）、絞り（不図示）、光学式手ぶれ補正機構（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１０３を有する。光学式手ぶれ補正機構は、ジャイロ機構を備えた補正レンズから構成され、手ぶれを打ち消す方向に補正レンズを動作させることで、光軸のぶれを補正している。尚、図１（Ａ）中の１４０は結像光学系１２０の光
軸である。本実施形態ではｚ軸を光軸１４０と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸１４０と垂直とする。

ここで、このデジタルカメラ１００の動作例について説明しておく。ただし、以下は、あくまで一例であり本発明を限定するものではない。図１５はデジタルカメラ１００のメイン電源が入り、シャッターボタン（不図示）が所謂半押しされた後の動作フローを説明する図である。まず、ステップ１５０１にて結像光学系１２０の情報（焦点距離、絞り値など）を読み出し、メモリ部（不図示）に保存する。次に、ステップ１５０２、１５０３、１５０４の処理を行い、焦点調節を行う。すなわち、ステップ１５０２では、撮像素子１０１から出力される画像データに基づき、図３を用いて後述する被写体距離算出手順を用いてデフォーカス量を算出する。ステップ１５０３では、算出したデフォーカス量に基づき、結像光学系１２０が合焦状態かどうか判別する。合焦していない場合は、ステップ１５０４にて、レンズ駆動制御部によりデフォーカス量に基づき結像光学系１２０を合焦位置へ駆動したのち、ステップ１５０２へ戻る。ステップ１５０３にて合焦していると判定された場合は、ステップ１５０５にて、シャッターボタン（不図示）の操作によりシャッターがレリーズ（所謂全押し）されたか否かの判定を行う。レリーズされていないと判定された場合は、ステップ１５０２へ戻り、上述の処理を繰り返す。ステップ１５０５にてシャッターがレリーズされたと判定された場合には、撮像素子１０１から画像データを読み出し、メモリ部（不図示）に保存する。メモリ部に保存された画像データに現像処理を施すことで、観賞用画像を生成することができる。また、メモリ部に保存された画像データに、図３を用いて後述する被写体距離算出手順を適用することで、観賞用画像と対応した被写体距離画像（被写体距離分布）を生成することができる。

＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像データを生成する。以下、本実施形態の撮像素子１０１について、図１（Ｂ）を用いてより詳細に説明する。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の画素群１５０を複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され、構成されている。

＜距離計測の原理説明＞
本実施形態の画素群１５０を構成する各画素は、画素中の受光層（図２中の２０３）にｘｙ断面にて対称な断面形状を有する２つの光電変換部（１６１：第１の光電変換部、１６２；第２の光電変換部）が並置されている。撮像素子１０１内の第１の光電変換部及び第２の光電変換部が受光する光束について、図２を用いて説明する。

図２は、結像光学系１２０の射出瞳１０３と、撮像素子１０１中に配置される画素の代表例として緑画素１５０Ｇ１についてのみ示した概略図である。図２に示した画素１５０Ｇ１は、カラーフィルタ２０１、マイクロレンズ２０２、受光層２０３から構成され、受光層２０３内に第１の光電変換部１６１と第２の光電変換部１６２が含まれている。マイクロレンズ２０２は、射出瞳１０３と受光層２０３が共役関係になるように配置されている。その結果、図２に示すように、射出瞳１０３内の第１の瞳領域２６１を通過した光束２１０は第１の光電変換部１６１に入射し、第２の瞳領域２６２を通過した光束２２０は第２の光電変換部１６２に入射する。

各画素に設けられる複数の第１の光電変換部１６１は、受光した光束を光電変換して第
１の画像データを生成する。また同様に、各画素に設けられる複数の第２の光電変換部１６２は、受光した光束を光電変換して第２の画像データを生成する。第１の画像データから第１の瞳領域を主に通過した光束が撮像素子１０１上に形成する像（Ａ像）の強度分布を得ることができ、第２の画像データから第２の瞳領域を主に通過した光束が撮像素子１０１上に形成する像（Ｂ像）の強度分布を得ることができる。従って、第１の画像データと第２画像データの相対的な位置ズレ量は、Ａ像とＢ像の像ズレ量となる。この像ズレ量を後述の手法により算出し、変換係数を介して像ズレ量をデフォーカス量に変換することで、被写体までの距離を算出することができる。

＜距離算出手順の説明＞
以下、本実施形態の距離算出部１０２が行う距離算出手順について、図３を参照しながら詳細に説明する。

ステップＳ１では、撮像素子１０１によって第１の画像データ及び第２の画像データを取得し、距離算出部１０２に伝送する（画像取得処理）。

ステップＳ２では、第１の画像データと第２の画像データに基づき、光量バランスの崩れを補正する光量バランス補正処理を行う。ステップＳ２における光量バランス補正処理については、図７を用いて後述する。

ステップＳ３では、第１の画像データと第２の画像データに基づき、像ズレ量の算出を行う。像ズレ量の算出方法について、図４を用いて説明する。図４は像ズレ量の算出方法を説明する図であり、第１の画像データ４０１、第２の画像データ４０２、撮影被写体４００を示している。第１の画像データに対して、注目点４１０を設定し、注目点４１０を中心に基準領域４２０を設定する。一方、第２の画像データに対して、注目点４１０と対応する位置に参照点４１１を設定し、参照点４１１を中心に参照領域４２１を設定する。参照点４１１を所定の像ズレ量探索範囲内で順次移動させながら、基準領域４２０内の第１の画像データと参照領域４２１内の第２の画像データの相関値を算出し、最も相関の高い参照点４１１を注目点４１０の対応点とする。像ズレ量探索範囲は、距離算出を行いたい最大距離と最小距離から決めればよい。例えば最大距離は無限遠と設定し、最小距離は結像光学系１２０の最小撮影距離と設定し、最大距離と最小距離からそれぞれ求まる最大像ズレ量と最小像ズレ量の範囲を像ズレ量探索範囲とすればよい。注目点４１０と対応点間の相対的な位置シフト量が像ズレ量となる。注目点４１０を順次移動させながら対応点の探索を行うことで、第１の画像データ内の各データ位置（各画素位置）における像ズレ量を算出することができる。相関値の算出方法は公知の手法を用いることができ、例えば、基準領域内の各画素データと参照領域内の各画素データの差の２乗和を評価値とするＳＳＤと呼ばれる手法を用いることができる。

ステップＳ４では、変換係数を介して像ズレ量を像側デフォーカス量に変換している（デフォーカス量算出処理）。変換係数の算出方法について図５を用いて説明する。図５（Ａ）は、画素における受光感度の入射角度依存性を示している。横軸は画素へ入射する光の入射角度（ｘｚ面に射影した光線とｚ軸とが成す角度）、縦軸は受光感度を示している。実線５０１は、第１の光電変換部１６１の受光感度を示し、破線５０２は、第２の光電変換部１６２の受光感度を示している。この受光感度を、射出瞳１０３に投影し、射出瞳１０３上の受光感度分布として表現したのが図５（Ｂ）である。色が濃くなるほど受光感度が高いことを示している。図５（Ｂ）には、第１の光電変換部の受光感度分布の重心位置５１１と、第２の光電変換部の受光感度分布の重心位置５１２が示されている。重心位置５１１と重心位置５１２間の距離５１３は基線長と呼ばれ、像ズレ量を像側デフォーカス量に変換するための変換係数として用いられる。像ズレ量をｒ、基線長をｗ、撮像素子１０１から射出瞳１０３までの瞳距離をＬとしたとき像側デフォーカス量ΔＬは、数式１
を用いて像ズレ量を像側デフォーカス量に変換することができる。

なお、数式１以外の方法を用いて像ズレ量を像側デフォーカス量に変換してもよい。例えば、数式１にて基線長ｗが像ズレ量ｒに比べて十分大きいとの仮定に基づき、数式２によりゲイン値Ｇａｉｎを算出し、数式３に基づき像ズレ量を像側デフォーカス量に変換してもよい。

数式３を用いることで像ズレ量から像側デフォーカス量への変換を容易に行うことができ、被写体距離の算出に係る演算量を削減することができる。また、像ズレ量から像側デフォーカス量への変換に、変換用のルックアップテーブルを用いてもよい。この場合にも、被写体距離の算出に係る演算量を削減することができる。

なお、図２において、第１の瞳領域２６１はｘが負の領域とし、第２の瞳領域２６２はｘが正の領域とし、完全に分離した領域であるものとして説明した。しかしながら、実際には受光層２０３に到達する光は、光の回折現象により一定の拡がりを有するため、図５（Ｂ）に受光感度分布を示すように第１の瞳領域２６１と第２の瞳領域２６２は重複した領域を有することになる。本実施形態においては、便宜的に第１の瞳領域２６１と第２の瞳領域２６２を明確に区分した形で説明する。

ステップＳ５では、ステップＳ４にて算出した像側デフォーカス量を、結像光学系の結像関係に基づき被写体距離への変換を行う（被写体距離算出処理）。なお、被写体距離への変換は、他の手法によって行ってもよい。例えば、像側のデフォーカス量を物体側のデフォーカス量に変換し、結像光学系１２０の焦点距離に基づき算出される物体側のピント位置と物体側のデフォーカス量の和により被写体までの距離を算出してもよい。物体側のデフォーカス量は、像側のデフォーカス量と結像光学系１２０の縦倍率を用いて算出できる。

本実施形態の距離算出手順では、ステップＳ４にて像ズレ量を像側のデフォーカス量に変換した後、ステップＳ５にて像側のデフォーカス量を被写体距離に変換している。しかし、前述の通り、像側のデフォーカス量と物体側のデフォーカス量または像側のデフォーカス量と被写体距離は、結像光学系１２０の結像関係を用いて変換可能である。従って、本実施形態のステップＳ４及び／またはステップＳ５を用いず、像ズレ量を直接物体側デフォーカス量または被写体距離へ変換しても構わない。いずれの場合においても、像ズレ量を正確に算出することで、精度良くデフォーカス量（像側及び／または物体側）や被写体距離を算出することができる。

なお、本実施形態中では、ステップＳ５により像側のデフォーカス量を被写体距離に変換しているが、必ずしもステップＳ５を行う必要は無く、ステップＳ４にて距離算出手順を終了しても構わない。観賞用画像中の被写体のボケ量は像側のデフォーカス量に依存し
、像側のデフォーカス量が大きい被写体ほど、よりボケた画像が撮影される。このような画像に対して画像処理によってピント位置を調整するリフォーカス処理では、被写体距離への変換を行う必要はなく、像側のデフォーカス量があれば十分である。

＜光量バランスの崩れが発生する要因＞
次に、光量バランスの崩れが発生する要因について説明する。

第１の光電変換部１６１が受光する光量１と、第２の光電変換部１６２が受光する光量２は、結像光学系１２０のヴィネッティング（口径蝕）により像高に依存して変化し、一般に撮像素子１０１の周辺領域ほど受光光量は低下する。図６（Ａ）は、第１の光電変換部１６１が受光する光束と第２の光電変換部１６２が受光する光束のヴィネッティングを説明するための図である。第１の光電変換部１６１は、結像光学系１２０の射出瞳１０３上の第１の瞳領域２６１を通過した光束を受光し、第２の光電変換部１６２は、結像光学系１２０の射出瞳１０３上の第２の瞳領域２６２を通過した光束を受光する。

中心像高６０１に位置する第１の光電変換部１６１と第２の光電変換部１６２が受光する光束６２１と光束６２２に対しては、光軸１４０に対して対称にヴィネッティングが発生する。したがって、光量１と光量２の比は１になる（光量バランスの崩れは生じない）。

これに対し、周辺像高６０２に位置する第１の光電変換部１６１と第２の光電変換部１６２が受光する光束６３１と光束６３２に対しては、有効絞り６１０により光軸１４０に対して非対称にヴィネッティングが発生する。したがって、光量１と光量２の比が１とはならない（光量バランスの崩れが生じる）。

また、光量バランスの崩れは、第１の光電変換部１６１と第２の光電変換部１６２が図５（Ａ）に示すように入射角度依存性の高い感度特性を有することによっても発生する。図６（Ｂ）は、図５（Ａ）と同様に画素の受光感度入射角度特性を示しており、中心像高６０１と周辺像高６０２が受光する光束の角度範囲を説明するための図である。

中心像高６０１においては、光束６２１と光束６２２から構成される光束の主光線は、光軸と平行であるため、第１の光電変換部１６１と第２の光電変換部１６２は角度範囲６０３の光束を受光する。角度範囲６０３内では、第１の光電変換部１６１の受光感度を示す実線５０１の積分値（角度範囲６０３内の積分値）と第２の光電変換部１６２の受光感度を示す破線５０２の積分値（角度範囲６０３内の積分値）の比は１となる。すなわち、光量バランスの崩れは発生しない。

これに対し、周辺像高６０２においては、光束６３１と光束６３２から構成される光束の主光線は、光軸とは平行とならず、第１の光電変換部１６１と第２の光電変換部１６２は角度範囲６０４の光束を受光する。角度範囲６０４内では、第１の光電変換部１６１の受光感度を示す実線５０１の積分値（角度範囲６０４内の積分値）と第２の光電変換部１６２の受光感度を示す破線５０２の積分値（角度範囲６０４内の積分値）の比は１とはならない。すなわち、光量バランスの崩れが生じる。

本実施形態のデジタルカメラ１００においては、結像光学系１２０のヴィネッティングと光電変換部の入射角度依存性との影響により、周辺像高において光量１と光量２の比が１とはならない光量バランスの崩れが発生する。

ステップＳ３の像ズレ量の算出処理においては、基準領域４２０と参照領域４２１間の相関（すなわち類似度）を評価しているため、光量バランスが崩れた場合には、誤った参
照点４１１にて相関が高いと判定し、算出される像ズレ量に誤差が生じてしまう。

＜光量バランス補正処理についての詳細説明＞
以降、第１の画像データと第２の画像データの光量バランスの崩れを補正する処理（光量バランス補正処理）について、図７及び図８を参照しながら詳細に説明する。図７は本実施形態における光量バランス補正処理のフローチャートであり、図８は本実施形態における光量バランス補正処理を説明する図である。

ステップＳ２−１では、第１の画像データから第１の部分画像データを抽出し、第２の画像データから第２の部分画像データを抽出する処理を行う。図８（Ａ）に示すように、第１の画像データ８０１から第１のデータ範囲８２１に含まれる第１の画像データを抽出し、第１の部分画像データ８１１とする。同様に、第２の画像データ８０２から第２のデータ範囲８２２に含まれる第２の画像データを抽出し、第２の部分画像データ８１２とする。第２のデータ範囲は、第１の画像データ内の第１のデータ範囲と対応する位置（第１の画像データ内の第１のデータ範囲の位置と、第２の画像データ内の第２のデータ範囲の位置は、相対的に同じ位置）に設定する。図８（Ｂ）は、光量バランスの崩れが生じないときの第１の画像データを第１の参考画像データ（実線８０３）として示し、光量バランスの崩れが生じないときの第２の画像データを第２の参考画像データ（破線８０４）として示している。なお、横軸はｘ方向の像高（画素位置）を示し、図８（Ａ）中の一部の範囲８３０についてのみ示している。図８（Ｂ）においては、光量バランスの崩れが無いため、第１の参考画像データと第２の参考画像データは、ｘ方向に相対的に位置がシフトした画像データとなっている。一方、図８（Ｃ）には、図８（Ａ）中の範囲８３０に含まれる第１の部分画像データと第２の部分画像データを示す。図８（Ｂ）と図８（Ｃ）の比較から、光量バランスの崩れにより、第１の部分画像データのデータ値が低下していることが分かる。光量バランスの崩れを補正せずに、ステップＳ３の像ズレ量算出処理を行うと、誤った参照点にて相関が高いと判定し、算出される像ズレ量に誤差が生じることになる。

本実施形態では、第１のデータ範囲８２１を第１の画像データ８０１の一部範囲に限定しているが、第１のデータ範囲８２１を第１の画像データ８０１の全域に設定しても構わない。望ましくは、第１のデータ範囲８２１を第１の画像データ８０１の全域にすることで、後述のステップＳ２−３における補正関数の算出に用いるデータ数を多くすることができ、近似誤差を低減することができる。

ステップＳ２−２では、第１の部分画像データと第２の部分画像データの比である画像データ比の算出をする処理（画像データ比算出処理）を行う。第１の部分画像データをＰｉｍｇ１（ｘｐ，ｙｐ）、第２の部分画像データをＰｉｍｇ２（ｘｐ，ｙｐ）、画像データ比をＲｉｍｇ（ｘｐ、ｙｐ）としたとき、画像データ比Ｒｉｍｇは、数式４に従い算出することができる。

なお、ｘｐは部分画像データ中のｘ方向と対応する方向の座標値を示し、ｙｐは部分画像データ中のｙ方向と対応する方向の座標値を示している。

ステップＳ２−３では、画像データ比Ｒｉｍｇを近似した補正関数Ｆｎの算出処理を行う。本実施形態では、最小二乗法により補正関数Ｆｎを算出する。すなわち、像高（ｘおよび／またはｙ）を変数とするＮ次多項式（Ｎ次関数）の係数を最小二乗近似により算出
し、これらの係数を有し像高（画素位置）を変数とするＮ次関数で表される補正関数Ｆｎを採用する。なお、補正関数Ｆｎの算出は最小二乗法以外にもスプライン法を用いることもできる。また、Ｎは１以上の自然数であれば任意の値で構わない。Ｎの値を大きくするほど補正関数算出処理の計算量が多くなるので、必要な精度と計算量とを比較して適切なＮを採用すればよい。Ｎ＝５でも十分な精度の光量バランスの補正が行えるので、Ｎとしては５以下の自然数を採用するようにしてもよい。なお、画像データ比Ｒｉｍｇは奇関数となるので、Ｎとして奇数の自然数を採用することが計算量の観点から好ましい。

より具体的にＮ＝１とした時を例に説明する。本実施形態の撮像素子１０１では、第１の光電変換部１６１と第２の光電変換部１６２がｘ方向に並置されている。従って、本実施形態の距離算出装置１１０においては、Ａ像（第１の画像データを構成する被写体像）とＢ像（第２の画像データを構成する被写体像）の相対的な位置ズレ（像ズレ）はｘ方向に発生する。以上を考慮すると、光量バランスの崩れはｘ方向に主として発生する。従って、本実施形態においては補正関数Ｆｎをｘ方向の関数として数式５のように表わせる。

ＲｉｍｇとＦｎの差分二乗和が最小となるように、ａ（ｙ）とｂ（ｙ）を、ｙ座標毎に算出すればよい。また、係数ａ（ｙ）とｂ（ｙ）をｙ座標毎に算出するのではなく、ｙ座標に依存しない定数として算出しても構わない。

補正関数の別の形態としては、補正関数Ｆｎをｘ方向とｙ方向の関数として表しても構わない。例えば補正関数を３次関数で表現する場合には、数式６のように表し、各係数を公知の最小二乗法を用いて算出すればよい。なお、この場合も、補正関数Ｆｎをｙ座標に依存しない形式で算出しても構わない。

最小二乗法の手法としては公知の手法を用いることができ、例えばＱＲ分解法や特異値分解を用いることができる。また、光ショットノイズ等のノイズの影響を低減するために、画像データ比Ｒｉｍｇに公知の平滑化フィルタを施してから補正関数Ｆｎを算出しても構わない。平滑化フィルタとしては、移動平均フィルタやガウシアンフィルタを用いることができる。

図８（Ｄ）はステップＳ２−２及びステップＳ２−３を説明するための図である。図８（Ｄ）中の実線８３１は、数式４に従い算出した範囲８３０内の画像データ比Ｒｉｍｇを示しており、破線８４１はＮ＝３としてステップＳ２−３にて算出した範囲８３０内の補正関数Ｆｎである。なお、横軸はｘ方向の像高である。画像データ比はバラつきを持ったデータ列となるが、画像データ比をＮ次関数で近似することで、バラつきの影響を低減した補正関数を得ることができる。

ステップＳ２−４では、補正関数Ｆｎを用いて第１の画像データを補正する処理を行う。第１の補正画像データは、補正関数Ｆｎを用いて第１の画像データを補正した画像データであり、以下では、Ｃｉｍｇ１（ｘ、ｙ）と表す。また同様に、第１の画像データはＩｍｇ１（ｘ、ｙ）と表す。本実施形態では、第1の補正画像データＣｉｍｇ１を、数式７
に示すように、第１の画像データＩｍｇ１と補正関数Ｆｎの逆数に１を加えた関数（１＋１／Ｆｎ：第１の画像データ補正関数）との乗算処理を行って算出している。

ステップＳ２−５では、補正関数Ｆｎを用いて第２の画像データを補正する処理を行う。第２の補正画像データは、補正関数Ｆｎを用いて第２の画像データを補正した画像データであり、以下では、Ｃｉｍｇ２（ｘ、ｙ）と表す。また同様に、第２の画像データはＩｍｇ２（ｘ、ｙ）と表す。本実施形態では、第２の補正画像データＣｉｍｇ２を、数式８に示すように、第２の画像データＩｍｇ２と補正関数Ｆｎに１を加えた関数（１＋Ｆｎ：第２の画像データ補正関数）の乗算処理を行って算出している。

図８（Ｅ）は、ステップＳ２−４及びステップＳ２−５を説明するための図である。図８（Ｅ）中の実線８５１は、数式７に従い算出した範囲８３０内の第１の補正画像データＣｉｍｇ１を示しており、破線８５２は数式８に従い算出した範囲８３０内の第２の補正画像データＣｉｍｇ２を示している。なお、横軸はｘ方向の像高である。図８（Ｅ）と図８（Ｂ）の比較から、本実施形態の光量バランス補正処理を用いることで、光量バランスの崩れを補正することができる。ステップＳ３（図３）では、このように光量バランスが補正された第１の補正画像データＣｉｍｇ１と第２の補正画像データＣｉｍｇ２を用いて像ズレ量が算出される。

上述ステップＳ２−１からステップＳ２−５の光量バランス補正処理では、第１の画像データと第２の画像データから抽出した第１の部分画像データと第２の部分画像データの比（画像データ比）に基づき、補正関数を算出している。局所領域のみに着目した場合、画像データ比は、第１の画像データと第２の画像データの光量バランスの崩れの他に、被写体距離に依存した像ズレに起因した比となる。しかしながら、撮影された画像内には、複数の被写体（人物と背景など）が配置される。各被写体は異なる距離に配置されており、さらに様々な空間周波数成分を持つことに起因して本実施形態の画像データ比はバラつきを持ったデータ列となる。本実施形態の光量バランス補正処理では、画像データ比を近似した補正関数を算出することで、画像データ比に含まれる被写体距離に依存した像ズレの影響を緩和している。その結果、予め光量バランスを補正するためのデータを取得することなく、第１の画像データと第２の画像データとに基づき、光量バランスの崩れを補正している。また、局所領域ではなく、画像データ比内の広い領域に着目して画像データ比を近似した補正関数を算出してもよい。こうすることで、画像データ比に含まれる被写体距離に依存した像ズレの影響だけではなく、第１の画像データ及び第２の画像データに含まれるノイズの影響を緩和することができる。画像データ比に含まれる被写体距離に依存した像ズレの影響を緩和するためには、第１のデータ範囲を、前述したステップＳ３の像ズレ量算出処理にて用いた基準領域４２０よりも広い範囲にすることが望ましい。またより望ましくは、第１のデータ範囲を、基準領域４２０と所定の像ズレ量探索範囲を合わせた範囲よりも広くとることが望ましい。いずれの場合においても、局所演算に起因するノイズの影響を低減することができる。

本実施形態の光量バランス補正処理は、第１の画像データ及び第２の画像データに基づき補正関数を算出しているため、予め補正用のデータを取得する必要がない。従って、光学式手ぶれ補正機構により、結像光学系１２０の光軸が所定の位置からずれた場合においても、光量バランスの崩れを補正することができる。また、デジタルカメラ１００を組み立てた後に、光量バランスを補正するための補正係数を計測する必要が無いため、製造時
の調整工程を削減することができ、より低コストにデジタルカメラ１００を製造することができる。

ステップＳ３の像ズレ量算出処理では、注目点４１０を順次移動させながら対応点探索を行う際に、隣接する注目点の間では基準領域が重複する。本実施形態の被写体算出手順では、ステップＳ２にて光量バランスを補正した後に、ステップＳ３の像ズレ量算出処理を行っているため、重複する領域の光量バランス補正を複数回行うことなく、被写体距離の算出を行うことができる。その為、少ない演算量で被写体距離の算出を行うことができる。

本実施形態の被写体距離算出手順では、第１の補正画像データと第２の補正画像データに基づき、ステップＳ３（図３）にて像ズレ量算出処理を行うことで、光量バランスの崩れに起因する像ズレ量の誤算出を低減している。

＜光量バランス補正処理の変形例＞
光量バランス補正処理の具体的な詳細は、上記で説明した方法から変更することができる。例えば、補正関数に基づく補正画像データの算出方法や、補正関数自体の算出方法を変形することができる。まず、補正関数に基づく補正画像データ算出処理の変形例を説明し、次に、補正関数算出処理の変形例を説明する。

（補正画像データ算出方法の変形例）
本実施形態の光量バランス補正処理では、ステップＳ２−４にて第１の画像データを補正し、ステップＳ２−５にて第２の画像データを補正している。本実施形態の光量バランス補正処理の変形例として、第１の画像データ補正処理による第１の画像データの補正のみを行い、第２の画像データ補正処理を省略してもよい。この場合の第１の画像データ補正処理では、第１の補正画像データＣｉｍｇ１を、数式９に示すように、第１の画像データＩｍｇ１と補正関数Ｆｎの逆数との乗算処理によって算出する。

ステップＳ２−４，Ｓ２−５の処理の代わりに、上記第１の画像データ補正処理（数式９）により第１の補正画像データを算出する場合には、第１の補正画像データと第２の画像データ（補正なし）に基づき、ステップＳ３にて像ズレ量算出処理を行う。上記第１の画像データ補正処理（数式９）は、第１の画像データの光量を、第２の画像データに合わせることで、光量バランスの崩れを補正している。

また、本実施形態の変形例として、第２の画像データ補正処理による第２の画像データの補正のみを行い、第１の画像データ補正処理を省略してもよい。この場合の第２の画像データ補正処理では、第２の補正画像データＣｉｍｇ２を、数式１０に示すように、第２の画像データと補正関数Ｆｎとの乗算処理によって算出する。

ステップＳ２−４，Ｓ２−５の処理の代わりに、上記第２の画像データ補正処理（数式１０）により第２の補正画像データを算出する場合には、第１の画像データ（補正なし）と第２の補正画像データに基づき、ステップＳ３にて像ズレ量算出処理を行う。上記第２の画像データ補正処理（数式１０）は、第２の画像データの光量を、第１の画像データに
合わせることで、光量バランスの崩れを補正している。

上記変形例では、第１の画像データと第２の画像データのいずれか一方のみを補正し、他方の光量に合わせることで、光量バランスの崩れを補正している。いずれか一方の画像データのみ光量バランス補正処理を行うことで、光量バランスの補正に必要な演算量をより削減することができる。

（補正関数算出方法の変形例１）
以下では、図７を用いて説明した光量バランス補正処理とは一部が異なる光量バランス補正処理の別の形態について図９を用いて説明する。図９中のステップＳ２−１からステップＳ２−５は、図７を用いた説明と重複するため、以下では、新たに追加した処理であるステップＳ２−７からステップＳ２−９について説明する。

ステップＳ２−７は、補正関数Ｆｎと画像データ比Ｒｉｍｇの類似度を示す相関度を算出する処理（相関度算出処理）である。相関度は、２つのデータ間の相関の度合いを表す値であればよく、例えば補正関数Ｆｎと画像データ比Ｒｉｍｇの共分散を、それぞれの標準偏差で割った値である相関係数を用いることができる。ステップＳ２−３の説明と同様に、本実施形態の距離算出装置１１０においては、ｘ方向に像ズレが発生することを考慮すると、相関係数は、ｙ座標毎に算出しても構わない。

ステップＳ２−８は、ステップＳ２−７にて算出した相関度と所定の相関度判別閾値を比較し、相関度の高低を判別する処理（相関度判別処理）である。補正関数Ｆｎと画像データ比Ｒｉｍｇの相関度が相関度判別閾値（第２の閾値に相当）より小さいと判別された場合には、ステップＳ２−９の処理へ進み、相関度判別閾値以上（第２の閾値以上）であると判別された場合には、ステップＳ２−４の処理へと進む。

ステップＳ２−９は、補正関数Ｆｎの次数を繰り上げるための処理を行う。ステップＳ２−８にて相関度が低いと判別された場合には、補正関数Ｆｎの近似誤差が大きいと推定される。従って、ステップＳ２−９にて補正関数Ｆｎの次数Ｎをより大きい値に変更した後に、ステップＳ２−３の補正関数Ｆｎの算出処理を再度行う。例えば、ＮをＮ＋１へ繰り上げる処理を行う。ここで、Ｎの増加量は固定値（例えば、１や２）であってもよいが、ステップＳ２−７にて算出した相関度に応じて、次数の繰り上げ幅を変えることが望ましい。相関度に応じて増加量を変えることで、補正関数Ｆｎの近似誤差を小さくするために必要なステップＳ２−３の実行回数を少なくすることができ、演算量を低減することができる。このような手法の具体例として、以下のような方法を採用可能である。ステップＳ２−８の相関度を判別する閾値の１／２よりも相関度が小さい場合には、次数Ｎを４つ繰り上げる（例えば、次数Ｎが１である場合には、次数Ｎを５に変更して、ステップＳ２−３を再実行する）。一方、相関度が、ステップＳ２−８の相関度を判別する閾値の１／２以上であり、且つ閾値より小さい場合には、次数Ｎを２つ繰り上げる（例えば、次数Ｎが１である場合には、次数Ｎを３に変更して、ステップＳ２−３を再実行する）。

上記ステップＳ２−７からステップＳ２−９の処理をさらに行うことで、補正関数の近似誤差が低減し、より精度良く第１の画像データと第２の画像データの光量バランスを補正することができる。その結果、本実施形態の被写体距離算出手順における被写体距離算出誤差を低減することができる。

（補正関数算出方法の変形例２）
以下では、図７を用いて説明した光量バランス補正処理とは一部が異なる光量バランス補正処理の別の形態について図１０を用いて説明する。図１０中のステップＳ２−１からステップＳ２−５は、図７を用いた説明と重複するため、以下では、新たに追加した処理
であるステップＳ２−１０について説明する。

ステップＳ２−１０では、画像データ比Ｒｉｍｇから、光ショットノイズ等のノイズの影響や被写体距離に起因する像ズレの影響が大きいエラー値を除去する処理（近似点算出用データ生成処理）を、次のように行う。まず、画像データ比Ｒｉｍｇに微分フィルタを施して、微分画像データ比を算出する。そして、微分画像データ比の絶対値が所定の近似点判別閾値以下（第１の閾値以下）のデータ位置と対応する画像データ比内のデータ列のみを抽出し、新たに画像データ比を生成する。

上記ステップＳ２−１０の処理をさらに行うことで、補正関数の近似誤差が低減し、より精度良く第１の画像データと第２の画像データの光量バランスを補正することができる。その結果、本実施形態の被写体距離算出手順における被写体距離算出誤差を低減することができる。また、図１０に記載のステップＳ２−３においては、スプライン法（スプライン補間）により補正関数を算出してもよい。すなわち、エラー値を除去した後の画像データ比を、ｘ方向に複数の領域に区分し、Ｎ次のスプライン曲線を表すＮ次多項式を補正関数Ｆｎとしても構わない。

なお、図７を用いて説明した光量バランス補正処理に、図９に記載のステップＳ２−７からステップＳ２−９および図１０に記載のステップＳ２−１０の処理の両方を行うようにしても構わない。その際は、図１１に示すフローで処理を行うようにしてもよい。すなわち、ステップＳ２−９の代わりに、補正関数Ｆｎの次数を繰り上げる他に、近似点判別閾値の変更を追加したステップＳ２−９’を行っても構わない。ステップＳ２−９’を行った後は、ステップＳ２−１０またはステップＳ２−３のいずれかの処理へと戻る。

図１０及び図１１を用いて説明した光量バランス補正処理においては、画像データ比に対して微分フィルタを作用させることで、エラー値を検出し、除去している。エラー値は、画像データ取得時に生じる各種ノイズ（光ショットノイズ等）や像ズレに起因して生じるため、エラー値を除去することで、より精度よく補正関数を生成できる。その結果、第１の画像データと第２の画像データの光量バランスを良好に補正することができ、精度よく被写体距離を算出することができる。

＜撮像素子１０１の別の形態＞
本実施形態における撮像素子１０１の別の形態として、図１２（Ａ）に示すように、２種類の画素群１５０，１２５０を市松格子状に配列した構成としてもよい。画素群１５０は、第1の光電変換部１６１と第２の光電変換部１６２をｘ方向に配列した画素群である
。画素群１５０から得られる画像データに上記の距離算出処理を適用することで、ｘ方向に輝度変化する被写体の距離を算出することができる。画素群１２５０は、第１の光電変換部１６１と第２の光電変換部１６２をｙ方向に配列した画素群１２５０に配列した画素群である。画素群１２５０から得られる画像データに上記の距離算出処理を適用することで、ｙ方向に輝度変化する被写体の距離を算出することができる。

また、撮像素子１０１の別の形態として、図１２（Ｂ）に示すように、２種類の測距画素群を採用してもよい。第１の測距画素群は、第１の光電変換部（１６１）のみを有する画素（緑画素１５０Ｇ１、赤画素１５０Ｒ１、青画素１５０Ｂ１）から構成される画素群である。第２の測距画素群は、第２の光電変換部１６２のみを有する画素（緑画素１５０Ｇ２、赤画素１５０Ｒ２、青画素１５０Ｂ２）から構成される画素群である。図１２（Ｂ）に示すように第１の光電変換部１６１の面積を第２の光電変換部１６２よりも広くとる。各画素中の複数の第１の光電変換部１６１にて生成される画像データと各画素中の複数の第２の光電変換部１６２にて生成される画像データの差分データを前述の第１の画像データとすることで、被写体までの距離を算出することができる。

第１の光電変換部１６１により生成された画像データと第２の光電変換部１６２により生成された画像データとの間に、被写体の距離に応じた相対的な位置ズレが生じればよく、いずれの形態であっても被写体までの距離を算出することができる。

また、撮像素子１０１の別の形態として、図１２（Ｂ）に示す第１の測距画素群の第１の光電変換部（１６１）は、結像光学系の第１の瞳領域を通過する第１の光束のみを受光するように構成してもよい。この場合、第１の光電変換部１６１にて生成される画像データが第１の画像データとなる。

尚、測距画素を撮像素子１０１の全面に配置する必要はなく、測距画素を撮像素子１０１の一部領域にのみ配置し、他の領域については通常の撮像画素を配置する構成にしてもよい。撮影画素は、結像光学系１２０の射出瞳全体を通過する光束（第１および第２の光束）を受光および光電変換して撮影画像データを生成する光電変換部（第３の光電変換部）を備える。この場合、観賞用画像は、撮影画素から得られる画像データ（撮影画像データ）のみから生成してもよいし、撮影画素および測距画素から得られる画像データから生成してもよい。測距画素に比べて撮影画素は光電変換部の体積が大きいためにＳＮ比の高い像信号を取得することができる。測距画素が占める領域と撮像用画素が占める領域の面積比を必要に応じて設定することで、被写体距離の算出精度と観賞用画像の画質を両立することができる。

［第２の実施形態］
以下、図を参照しながら本発明の第二の実施形態について詳細に説明する。

以下の説明では、本発明の距離算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の距離算出装置はデジタル距離計測器に適用することができる。

尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

図１３において、１３００は本実施形態の距離算出装置１３１０を備えたデジタルカメラである。デジタルカメラ１３００は、結像光学系１２０、撮像素子１０１、距離算出部１０２、画像生成部（不図示）、レンズ駆動制御部（不図示）、補正関数格納メモリ部１３０１、撮影条件取得部１３０２が、カメラ筐体１３０の内部に配置され、構成される。距離算出装置１３１０は、結像光学系１２０、撮像素子１０１、距離算出部１０２、補正関数格納メモリ部１３０１、撮影条件取得部１３０２から構成される。

補正関数格納メモリ部１３０１には、過去の撮影時に算出した補正関数が撮影時の撮影条件と対応付けて格納されている。

結像光学系１２０は、デジタルカメラ１３００の撮影レンズであり、被写体の像を撮像面である撮像素子１０１に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）、絞り（不図示）、光学式手ぶれ補正機構（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１０３を有する。光学式手ぶれ補正機構は、ジャイロ機構を備えた補正レンズから構成され、手ぶれを打ち消す方向に補正レンズを動作させることで、光軸のぶれを補正している。撮影条件取得部１３０２は、結像光学系１２０の焦点距離情報、絞り値情報、光軸のぶれを補正した量（設定値からの光軸のシフト量）などの撮影条件情報を取得している。

＜光量バランス補正処理についての詳細説明＞
以降、本実施形態の光量バランス補正処理について、図１４を参照しながら詳細に説明する。なお、図１４中のステップＳ２−１からステップＳ２−５は、図７を用いた説明と重複するため、以降の説明ではステップＳ２−１１からステップＳ２−１４について説明する。

ステップＳ２−１１では、撮影条件取得部１３０２から撮影条件情報を取得する処理を行う。

ステップＳ２−１２は、撮影条件情報から、既に補正関数格納メモリ部１３０１に格納されている補正関数Ｆｎを使用可能か判別する処理である。第１の画像データ及び第２の画像データを取得した時の撮影条件と、補正関数格納メモリ部１３０１に格納されている補正関数Ｆｎを生成した時の撮影条件が異なる場合には、新たに補正関数Ｆｎを生成する必要があるとして、ステップＳ２−１の処理へ進む。一方、撮影条件が、補正関数格納メモリ部１３０１に格納されている補正関数Ｆｎを生成した時の撮影条件が略同一の場合には、ステップＳ２−１３へ進む。撮影条件情報としては、例えば、焦点距離、絞り値、光軸のシフト量を用いることができる。

ステップＳ２−１３は、補正関数格納メモリ部１３０１から補正関数Ｆｎを読みだす処理を行う。

ステップＳ２−１４は、ステップＳ２−３を経て算出した補正関数Ｆｎを、補正関数格納メモリ部１３０１へ撮影条件と共に格納する処理を行う。

本実施形態の距離算出装置１３１０は、距離算出部１０２内において、図１４を用いて説明した光量バランス補正処理を行っている。これによると、過去に同一の撮影条件がある場合には、その時に生成した補正関数を読み出し、再利用することで、補正関数の算出にかかる処理を低減し、より短時間での被写体距離算出を可能としている。

なお、本実施形態では、図１４の光量バランス補正処理を用いたが、図９や図１０を用いて説明した光量バランス補正処理に、上述のステップＳ２−１１からステップＳ２−１４の処理を加えた処理としても構わない。いずれの場合においても、補正関数を再利用することでより短時間での被写体距離算出を行うことができる。

上述した第１および第２の実施形態における距離算出装置の具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。

また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。よって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれ
も本発明の範疇に含まれる。

１０２ 距離算出部
１０３ 射出瞳
１１０ 距離算出装置
１２０ 結像光学系

Claims (16)

1. 結像光学系の第１の瞳領域を通過する第１の光束に基づく画素値の集合である第１の画像データと前記結像光学系の前記第１の瞳領域とは異なる第２の瞳領域を通過する第２の光束に基づく画素値の集合である第２の画像データとを取得する画像データ取得手段と、
   少なくとも一部の対応する画素位置で前記第１の画像データの画素値と前記第２の画像データの画素値との比を算出し、前記比の集合である画像データ比を算出する画像データ比算出手段と、
   前記画像データ比を近似した補正関数を算出する補正関数算出手段と、
   前記補正関数に基づき、前記第１の画像データと前記第２の画像データの少なくとも一方を補正する補正手段と、
   を備える、画像データ処理装置。
2. 前記画像データ比算出手段は、対応する画素位置で前記第１の画像データに含まれる第１の部分画像データと前記第２の画像データに含まれる第２の部分画像データとの比を算出し、前記画像データ比を算出する、
   請求項１に記載の画像データ処理装置。
3. 前記補正関数算出手段は、前記画像データ比に対して微分フィルタを作用させた微分画像データ比の絶対値が所定の第１の閾値以下である位置の前記画像データ比に含まれるデータのみを用いて、前記補正関数を算出する、
   請求項１または２に記載の画像データ処理装置。
4. 前記補正関数はＮ次関数（Ｎは自然数）である、
   請求項１から３のいずれか１項に記載の画像データ処理装置。
5. 前記補正関数と前記画像データ比との相関を示す相関度を算出し、
   前記相関度が、第２の閾値以上か否かを判別し、
   前記補正関数と前記画像データ比との相関度が前記第２の閾値よりも低いと判別された場合には、次数Ｎの値をより大きくして前記補正関数算出手段による前記補正関数の算出を再度行う、
   請求項４に記載の画像データ処理装置。
6. 前記補正関数と前記画像データ比との前記相関度が前記第２の閾値よりも低いと判別された場合には、前記相関度の値に応じて前記補正関数の算出を再実行する際の次数Ｎを設定する、
   請求項５に記載の画像データ処理装置。
7. 撮影条件と対応付けて予め定められた既定の補正関数を記憶する補正関数格納手段と、
   前記第１の画像データと前記第２の画像データを取得した際の撮影条件を取得する撮影条件取得手段と、
   を更に備え、
   前記補正手段は、前記撮影条件取得手段によって取得した撮影条件に対応する前記既定の補正関数が前記補正関数格納手段に記憶されている場合には、当該記憶されている補正関数を用いて補正を行い、そうでない場合には、前記補正関数算出手段によって算出された補正関数を用いて補正を行う、
   請求項１から６のいずれか１項に記載の画像データ処理装置。
8. 前記第１の瞳領域の面積のほうが前記第２の瞳領域の面積よりも広く、
   前記第１の瞳領域が前記第２の瞳領域を含んでいる、
   請求項１から７のいずれか１項に記載の画像データ処理装置。
9. 請求項１から７のいずれか１項に記載の画像データ処理装置と、
   前記補正手段により補正された画像データを用いて、前記第１の画像データと、前記第２の画像データと、の相対的な位置ズレ量である像ズレ量を算出する距離算出手段と、
   を備える距離算出装置。
10. 請求項８に記載の画像データ処理装置と、
    前記補正手段により補正された画像データを用いて、前記第２の画像データと、前記第１の画像データと前記第２の画像データとの差分データである第３の画像データと、の相対的な位置ズレ量である像ズレ量を算出する距離算出手段と、
    を備える距離算出装置。
11. 前記距離算出手段は、前記像ズレ量に基づき、デフォーカス量又は被写体までの距離を算出する、
    請求項９または１０に記載の距離算出装置。
12. 結像光学系と、
    前記結像光学系の第１の瞳領域を通過する第１の光束に基づく第１の画像データと前記結像光学系の第２の瞳領域を通過する第２の光束に基づく第２の画像データを取得する撮像素子と、
    請求項１から８のいずれか１項に記載の画像データ処理装置、または、請求項９から１１のいずれか１項に記載の距離算出装置と、
    を備える撮像装置。
13. 前記撮像素子は、前記第１の光束を光電変換して前記第１の画像データを生成する第１の光電変換部と前記第２の光束を光電変換して前記第２の画像データを生成する第２の光電変換部とを備える測距画素と、前記第１および第２の光束を光電変換して撮影画像データを生成する第３の光電変換部を備える撮影画素とを含む、
    請求項１２に記載の撮像装置。
14. 前記撮像素子は、前記第１の光束を光電変換して前記第１の画像データを生成する第１
    の光電変換部を備える第１の測距画素と、前記第２の光束を光電変換して前記第２の画像データを生成する第２の光電変換部を備える第２の測距画素と、前記第１および第２の光束を光電変換して撮影画像データを生成する第３の光電変換部を備える撮影画素とを含む、
    請求項１２に記載の撮像装置。
15. 結像光学系の第１の瞳領域を通過する第１の光束に基づく画素値の集合である第１の画像データと前記結像光学系の第２の瞳領域を通過する第２の光束に基づく画素値の集合である第２の画像データとを取得する画像データ取得工程と、
    対応する画素位置で前記第１の画像データと前記第２の画像データとの比を算出し、前記比の集合である画像データ比を算出する画像データ比算出工程と、
    前記画像データ比を近似した補正関数を算出する補正関数算出工程と、
    前記補正関数に基づき、前記第１の画像データと前記第２の画像データの少なくとも一方を補正する補正工程と、
    を含む、画像データ処理方法。
16. 請求項１５に記載の画像データ処理方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。

Images