JP6632406B2 - 距離算出装置、撮像装置、および距離算出方法 - Google Patents

Description

本発明は、画像に基づいて被写体距離を算出する距離算出装置に関する。

デジタルスチルカメラやデジタルビデオカメラにおいて、撮像素子の一部あるいは全部の画素に測距機能を有する画素（以下、「測距画素」ともいう）を配置し、位相差方式を用いて被写体までの距離を検出する技術が知られている。

このような方式では、測距画素に複数の光電変換部を配置し、撮影レンズの瞳上の異なる領域を通過した光束が、異なる光電変換部に導かれるように構成される。各測距画素に含まれる光電変換部が出力した信号により、異なる瞳領域を通過した光束によって生成された光像（以下、それぞれ「Ａ像」「Ｂ像」）を取得でき、Ａ像およびＢ像にそれぞれ基づいて複数の画像を取得することができる。なお、Ａ像に対応する瞳領域と、Ｂ像に対応する瞳領域は、瞳分割方向と呼ばれる軸に沿って互いに異なる方向に偏心している。

また、取得した複数の画像（以下、それぞれ「Ａ画像」「Ｂ画像」）の間には、瞳分割方向に沿って、デフォーカス量に応じた相対的な位置ズレが生じる。この位置ズレは、像ズレと呼ばれ、像ズレの量を像ズレ量と呼ぶ。像ズレ量を、所定の変換係数を介してデフォーカス量に変換することで、被写体までの距離を算出することができる。このような方式によると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速かつ高精度な測距が可能となる。

像ズレ量の算出には、一般的に、テンプレートマッチングと呼ばれる、領域ベースの対応点探索技術が用いられる。テンプレートマッチングでは、Ａ画像またはＢ画像の一方を基準画像とし、他方の画像を参照画像とする。また、基準画像上に、注目点を中心とする局所領域（以下、照合領域）を設定すると共に、参照画像上にも、注目点に対応する参照点を中心とする照合領域を設定する。そして、参照点を順次移動させながら、照合領域内のＡ画像とＢ画像との相関（すなわち類似度）が最も高くなる点を探索する。この点と、注目点との相対的な位置ズレ量によって、像ズレ量を算出する。

テンプレートマッチングを用いて像ズレ量を算出する場合、画像のコントラストに起因して、像ズレ量の算出誤差が大きくなるという問題が発生しうる。例えば、画像のコントラストが低い場合、類似度の変化が小さくなるため、対応点を正しく算出することができず、像ズレ量の算出誤差が大きくなる場合がある。

この問題を解決するため、特許文献１に記載の装置では、ステレオ画像に基づいて被写体までの距離を算出するとともに、算出した距離の信頼度を表す分布を生成している。そして、信頼度が低い領域がある場合には、信頼度が向上するように撮影条件を再度設定し、距離を再度算出している。
また、特許文献２に記載の装置では、デフォーカス量を算出することができない小領域が存在する場合に、当該領域についてデフォーカス量を補間することで、測距精度の低下を防いでいる。

特許第３８５５８１２号公報 特許第５０６６８５１号公報

前述した先行技術は、いずれも、被写体の条件によって、所望の効果が得られないケースが発生する。
例えば、特許文献１に記載の装置では、画像中の特定の軸方向にのみコントラストの変化があるような場合に、距離の信頼度を誤って算出してしまうケースが発生する。これは、瞳分割方向を考慮せずに、照合領域内に含まれる画像の分散値にのみに基づいてコントラストの変化量を算出していることに起因する。
また、特許文献２に記載の装置は、画像同士の相違度の変化量を示す傾きを用いているため、ノイズ耐性が低く、画像中のノイズが多い場合に、判定を誤るおそれがある。
すなわち、従来技術は、測距精度の向上という点において課題があった。

本発明は、このような従来技術の課題に鑑みてなされたものであり、距離情報とともに信頼度を算出する距離算出装置において、信頼度の精度を向上させる技術を提供することを目的とする。

上記課題を解決するための、本発明の第一の形態に係る距離算出装置は、
結像光学系が有する第一の瞳領域を通過した光束に基づいて生成された第一の画像と、
第二の瞳領域を通過した光束に基づいて生成された第二の画像と、に基づいて、被写体距離を算出する距離算出装置であって、前記第一の瞳領域の重心と、前記第二の瞳領域の重心は、第一の軸に沿って異なる位置にあり、前記第一の画像および第二の画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出手段と、前記第一の画像と前記第二の画像の少なくとも一方に設定された局所領域における、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出手段と、を有することを特徴とする。
また、本発明の第二の形態に係る距離算出装置は、
結像光学系が有する第一の瞳領域を通過した光束に基づいて生成された第一の画像と、第二の瞳領域を通過した光束に基づいて生成された第二の画像と、に基づいて、被写体距離を算出する距離算出装置であって、前記第一の瞳領域の重心と、前記第二の瞳領域の重心は、第一の軸に沿って異なる位置にあり、前記第一の画像および第二の画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出手段と、前記第一の画像と前記第二の画像の少なくとも一方に設定された局所領域におけるコントラストの変化量の大きさを表す値であるコントラスト評価値と、前記第一の画像と前記第二の画像の少なくとも一方に基づいて算出されたノイズ量推定値との比に基づき、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出手段と、を有することを特徴とする。
また、本発明の第三の形態に係る距離算出装置は、
結像光学系が有する射出瞳に内包された、複数の瞳領域を通過した光束に基づいて生成された複数の画像に基づいて、被写体距離を算出する距離算出装置であって、前記複数の画像の中から、対応する瞳領域の重心が、第一の軸に沿ってそれぞれ異なる位置にある二つの画像の組を生成する生成手段と、前記二つの画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出手段と、前記二つの画像の少なくとも一方に設定された局所領域における、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出手段と、を有することを特徴とする。
また、本発明の第四の形態に係る距離算出装置は、
結像光学系が有する射出瞳に内包された、複数の瞳領域を通過した光束に基づいて生成された複数の画像に基づいて、被写体距離を算出する距離算出装置であって、
前記複数の画像の中から、対応する瞳領域の重心が、第一の軸に沿ってそれぞれ異なる位置にある二つの画像の組を生成する生成手段と、
前記二つの画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出手段と、
前記二つの画像の少なくとも一方に設定された局所領域におけるコントラストの変化量の大きさを表す値であるコントラスト評価値と、前記二つの画像の少なくとも一方に基づいて算出されたノイズ量推定値との比に基づき、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出手段と、
を有することを特徴とする。

また、本発明の第一の形態に係る距離算出装置の制御方法は、
結像光学系が有する第一の瞳領域を通過した光束に基づいて生成された第一の画像と、第二の瞳領域を通過した光束に基づいて生成された第二の画像と、に基づいて、被写体距離を算出する距離算出装置が行う距離算出方法であって、前記第一の瞳領域の重心と、前記第二の瞳領域の重心は、第一の軸に沿って異なる位置にあり、前記第一の画像および第二の画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出ステップと、前記第一の画像と前記第二の画像の少なくとも一方に設定された局所領域における、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出ステップと、を含むことを特徴とする。
また、本発明の第二の形態に係る距離算出装置の制御方法は、
結像光学系が有する射出瞳に内包された、複数の瞳領域を通過した光束に基づいて生成された複数の画像に基づいて、被写体距離を算出する距離算出装置が行う距離算出方法であって、前記複数の画像の中から、対応する瞳領域の重心が、第一の軸に沿ってそれぞれ異なる位置にある二つの画像の組を生成する生成ステップと、前記二つの画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出ステップと、前記二つの画像の少なくとも一方に設定された局所領域における、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出ステップと、を含むことを特徴とする。
また、本発明の第三の形態に係る距離算出装置の制御方法は、
結像光学系が有する第一の瞳領域を通過した光束に基づいて生成された第一の画像と、第二の瞳領域を通過した光束に基づいて生成された第二の画像と、に基づいて、被写体距離を算出する距離算出装置が行う距離算出方法であって、
前記第一の瞳領域の重心と、前記第二の瞳領域の重心は、第一の軸に沿って異なる位置にあり、
前記第一の画像および第二の画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出ステップと、
前記第一の画像と前記第二の画像の少なくとも一方に設定された局所領域における、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出ステップと、
を含むことを特徴とする。
また、本発明の第四の形態に係る距離算出装置の制御方法は、
結像光学系が有する第一の瞳領域を通過した光束に基づいて生成された第一の画像と、第二の瞳領域を通過した光束に基づいて生成された第二の画像と、に基づいて、被写体距離を算出する距離算出装置が行う距離算出方法であって、
前記第一の瞳領域の重心と、前記第二の瞳領域の重心は、第一の軸に沿って異なる位置にあり、
前記第一の画像および第二の画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出ステップと、
前記第一の画像と前記第二の画像の少なくとも一方に設定された局所領域におけるコントラストの変化量の大きさを表す値であるコントラスト評価値と、前記第一の画像と前記第二の画像の少なくとも一方に基づいて算出されたノイズ量推定値との比に基づき、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出ステップと、
を含むことを特徴とする。

本発明によれば、距離情報とともに信頼度を算出する距離算出装置において、信頼度の精度を向上させることができる。

第一の実施形態に係るデジタルカメラおよび撮像素子の構成を示す図。 光電変換部と瞳領域、および、射出瞳と瞳領域との関係を説明する図。 第一の実施形態に係るデジタルカメラの処理フローチャート図。 被写体距離を算出する工程を説明する図。 コントラストの変化と像ズレ量を説明する第一の図。 コントラストの変化と像ズレ量を説明する第二の図。 第二の実施形態に係るデジタルカメラの処理フローチャート図。 第三の実施形態における撮像素子と射出瞳を説明する図。 第三の実施形態に係るデジタルカメラの処理フローチャート図。 第四の実施形態に係るデジタルカメラの処理フローチャート図。 第四の実施形態におけるノイズの近似方法を説明する図。 第五の実施形態に係るデジタルカメラの処理フローチャート図。 実施形態に係るデジタルカメラの処理フローチャート図。 第六の実施形態に係るデジタルカメラの処理フローチャート図。 変形例に係るデジタルカメラの構成を示す図。

（第一の実施形態）
以下、図面を参照しながら、本発明の第一の実施形態について詳細に説明する。
第一の実施形態は、本発明に係る距離算出装置を備えた撮像装置（デジタルカメラ）であるが、本発明はこれに限定されるものではない。なお、同一の構成要素には原則として
同一の符号を付して、説明を省略する。

図１（Ａ）は、第一の実施形態に係るデジタルカメラ１００の構成図である。
デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離算出部１０２、画像格納部１０４、画像生成部（不図示）、レンズ駆動制御部（不図示）を有している。このうち、結像光学系１２０、撮像素子１０１、距離算出部１０２、画像格納部１０４を、距離算出装置１１０と称する。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を撮像面である撮像素子１０１に形成する手段である。結像光学系１２０は、複数のレンズ群および絞りから構成され、撮像素子１０１から所定の距離だけ離れた位置に射出瞳１３０を形成する。なお、図１（Ａ）中の符号１４０は、結像光学系１２０の光軸であり、本実施形態では、Ｚ軸と平行な軸である。また、Ｘ軸とＹ軸は互いに垂直であり、かつ、光軸と垂直な軸である。

撮像素子１０１は、ＣＭＯＳ（相補型金属酸化膜半導体）や、ＣＣＤ（電荷結合素子）から構成されるイメージセンサである。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により電気信号に変換される。以下、撮像素子１０１について、図１（Ｂ）を用いてより詳細に説明する。
図１（Ｂ）は、撮像素子１０１のＸ−Ｙ断面図である。撮像素子１０１は、２×２の画素からなる画素群１５０を複数配列したものである。画素群１５０は、対角方向に、緑画素１５０Ｇ１および１５０Ｇ２を、他の二画素に、赤画素１５０Ｒおよび青画素１５０Ｂを配置している。

また、緑画素１５０Ｇ１および１５０Ｇ２、赤画素１５０Ｒ、および青画素１５０Ｂのそれぞれの画素は、複数の光電変換部を有している。
図１（Ｃ）は、画素群１５０のＩ−Ｉ’断面を模式的に示した図である。各画素は、受光層１８２と導光層１８１から構成される。受光層１８２には、受光した光を電気信号に変換するための二つの光電変換部（第一の光電変換部１６１および第二の光電変換部１６２）が配置される。また、導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１７０、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用および画素駆動用の配線（不図示）などが配置される。
なお、本実施形態では、撮像素子１０１は、デジタル変換した電気信号を出力するものとする。以下、一枚の画像に対応するデジタル信号の集合を、単に「画像」と称する。当該画像は、いわゆるＲＡＷ形式のデータであり、不図示の画像生成部によって現像されたのちにユーザに提供される。

距離算出部１０２は、画像生成部が生成した画像に基づいて、被写体までの距離（以下、被写体距離）を算出する手段である。詳細な処理の内容については後述する。なお、距離算出部１０２は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。
前述した手段がソフトウェアとして構成される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）

次に、本実施形態に係るデジタルカメラ１００が、画像を撮像する処理について、処理フローチャートである図１３を参照しながら説明する。図１３の処理は、デジタルカメラ１００のシャッターボタンが押されている間（半押しを含む）、不図示の制御部によって
実行される。
まず、ステップＳ１３０１にて、結像光学系１２０からレンズ情報（焦点距離、絞り値など）を読み出し、一時的に記憶する。

ステップＳ１３０２〜Ｓ１３０４は、被写体に対するフォーカシングを行う処理である。
まず、ステップＳ１３０２で、撮像素子１０１が出力した画像に基づいて、後述する距離算出処理によって、デフォーカス量と、算出した距離に対する信頼度（以下、距離信頼度）を算出する。
次に、ステップＳ１３０３で、算出したデフォーカス量ならびに距離信頼度に基づいて、結像光学系１２０が合焦状態にあるか否かを判別する。ここで、目的の被写体に合焦していない場合は、ステップＳ１３０４に遷移し、算出したデフォーカス量に基づいて、レンズ駆動制御部を制御し、結像光学系１２０を合焦位置へ駆動させる。
ステップＳ１３０３にて、目的の被写体に合焦していると判定された場合は、ステップＳ１３０５に遷移して、シャッターがレリーズ（全押し）されたか否かの判定を行う。レリーズされていないと判定された場合は、ステップＳ１３０２へ戻り、上述の処理を繰り返す。

ステップＳ１３０５にてシャッターがレリーズされたと判定された場合には、撮像素子１０１から画像を取得し、画像格納部１０４に保存する。
本実施形態に係るデジタルカメラ１００は、画像格納部１０４に保存された画像に対して、画像生成部が現像処理を施すことで、観賞用の画像を生成することができる。また、画像格納部１０４に保存された画像に対して、ステップＳ１３０２で実行したものと同様の距離算出処理を行うことで、観賞用画像に対応する距離画像と、当該距離画像に対応する信頼度の分布を生成することができる。

次に、撮像素子１０１が出力した画像に基づいて、被写体距離を算出する方法について説明する。
図２（Ａ）は、撮像素子１０１が備える、第一の光電変換部１６１および第二の光電変換部１６２が受光する光束について説明する図である。なお、図２（Ａ）では、結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される代表画素（緑画素１５０Ｇ１）のみを示している。
図２に示した画素１５０Ｇ１内のマイクロレンズ１７０は、射出瞳１３０と受光層１８２が光学的に共役関係になるように配置されている。その結果、射出瞳１３０に内包される第一の瞳領域２１０を通過した光束は、第一の光電変換部１６１に入射する。同様に、第二の瞳領域２２０を通過した光束は、第二の光電変換部１６２に入射する。

各画素に設けられた、複数の第一の光電変換部１６１は、受光した光束を光電変換して第一の画像を生成する。同様に、各画素に設けられた、複数の第二の光電変換部１６２は、受光した光束を光電変換して第二の画像を生成する。以降、第一の画像をＡ画像、第二の画像をＢ画像とも称する。
第一の画像から、第一の瞳領域を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができ、第二の画像から、第二の瞳領域を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。以降、前者をＡ像、後者をＢ像とも称する。

図２（Ｂ）は、光軸１４０と撮像素子１０１の交点から、結像光学系１２０の射出瞳１３０を見た図である。ここでは、第一の瞳領域２１０の重心位置を、第一の重心位置２１１で示し、第二の瞳領域２２０の重心位置を、第二の重心位置２２１で示している。
本実施形態においては、第一の重心位置２２１は、射出瞳１３０の中心から、第一の軸
２００に沿って偏心（シフト）している。一方、第二の重心位置２２１は、第一の軸２００に沿って、第一の重心位置２１１とは逆の方向に偏心（シフト）している。すなわち、第一の瞳領域と第二の瞳領域は、第一の軸に沿って互いに異なる方向に偏心している。

本実施形態においては、第一の光電変換部１６１は、緑画素１５０Ｇ１の中心点から、Ｘ軸（第一の軸）に沿って負方向にシフトしている。すなわち、第一の重心位置２１１は、第一の軸に沿って正方向に偏心している。
一方、第二の光電変換部１６２は、緑画素１５０Ｇ１の中心点から、Ｘ軸に沿って正方向にシフトしている。すなわち、第二の重心位置２２１は、第一の軸に沿って負方向に偏心している。

第一の画像と第二の画像の相対的な位置ズレ量は、Ａ像とＢ像との像ズレ量となる。像ズレ量は、デフォーカス量に応じた量となる。よって、第一の画像と第二の画像との間の像ズレ量を、後述する手法によって算出し、変換係数を介して像ズレ量をデフォーカス量に変換することで、被写体までの距離を算出することができる。

なお、図２においては、第一の瞳領域を、Ｘが正である領域とし、第二の瞳領域を、Ｘが負である領域として図示したが、実際には、受光層１８２に到達する光は、光の回折現象により、一定の拡がりを有する。また、受光層１８２内部におけるキャリアのクロストークによっても、一定の拡がりが発生する。
すなわち、Ｘが負である領域を通過した光束が、第一の光電変換部１６１に入射することがあり、Ｘが正である領域を通過した光束が、第二の光電変換部１６２に入射することがある。したがって、第一の瞳領域と第二の瞳領域は明確に区分することはできず、重複した領域を有することになる。しかし、本実施形態では、便宜的に、第一の瞳領域と第二の瞳領域が明確に区分されているものとして説明する。

次に、第一の画像と第二の画像を用いて、被写体の距離を算出する処理について、距離算出部１０２が行う処理フローチャートである図３（Ａ）を参照しながら説明する。
まず、ステップＳ１で、撮像素子１０１にて取得され、画像格納部１０４に格納されている第一の画像および第二の画像を取得する。

次に、ステップＳ２で、第一の画像と第二の画像との間の光量バランスを補正する処理を行う。光量バランスの補正方法については、公知の方法を用いることができる。例えば、予め均一な面光源を撮影した画像を保存しておき、当該画像を用いて、光量バランスを補正するための係数を算出することができる。

ステップＳ３は、第一の画像と第二の画像に基づいて、被写体の距離を算出する工程（距離算出工程）である。距離算出工程について、図３（Ｂ）および図４（Ａ）を用いて説明する。
図３（Ｂ）は、ステップＳ３にて行われる工程を詳細に説明する図である。
まず、ステップＳ３１で、第一の画像に対する、第二の画像の像ズレ量を算出する。像ズレ量の算出方法について、図４（Ａ）を参照して説明する。

図４（Ａ）では、符号４０１が第一の画像を表し、符号４０２が第二の画像を表す。また、Ｘ軸を第一の軸とする。
ステップＳ３１では、まず、基準となる画像として、第一の画像４０１を選択し、第一の画像４０１上に照合領域４２０を設定する。照合領域とは、注目点４１０を中心とする局所領域である。なお、照合領域４２０が小さい場合、局所演算に起因する像ズレ量の算出誤差が生じるため、照合領域は、９画素×９画素程度のサイズであることが好ましい。

次に、参照先の画像として第二の画像４０２を選択し、第二の画像４０２上に、同様に照合領域４２１を設定する。第二の画像に設定される照合領域は、参照点４１１を中心とする局所領域である。
そして、第一の軸（Ｘ軸）に沿って、参照点４１１を動かしながら、照合領域４２０内の画像（第一の画像）と、照合領域４２１内の画像（第二の画像）との相関を算出し、最も相関が高い参照点を対応点とする。そして、注目点４１０と対応点間の相対的な位置ズレ量を求め、像ズレ量とする。
このような処理を、注目点４１０を第一の軸に沿って順次移動させながら行うことで、第一の画像内の各画素位置における像ズレ量を算出することができる。なお、相関度の算出方法は公知の手法を用いることができる。例えば、画素値同士の差の二乗和を評価値とするＳＳＤ（Sum of Squared Difference）と呼ばれる手法を用いることができる。

次に、ステップＳ３２で、所定の変換係数を用いて、ステップＳ３１で取得した像ズレ量をデフォーカス量に変換する。デフォーカス量とは、撮像素子１０１から、結像光学系１２０による結像面までの距離である。
ここで、像ズレ量をｄ、変換係数である基線長をｗ、撮像素子１０１から射出瞳１３０までの距離をＬとすると、デフォーカス量ΔＬは、式（１）によって表すことができる。

なお、基線長ｗとは、図２（Ｂ）に示した、第一の重心位置２１１と第二の重心位置２２１との距離である。なお、本実施形態では、式（１）を用いて像ズレ量をデフォーカス量に変換するが、式（１）において、ｗ＞＞ｄと近似することができるため、式（２）のような式を用いてもよい。

ステップＳ３３では、ステップＳ３２にて算出したデフォーカス量を、被写体距離に変換する。デフォーカス量から被写体距離への変換は、結像光学系１２０の結像関係を用いて行うことができる。
ステップＳ３の処理によって、取得した画像に対する、被写体距離の分布（以下、距離画像）を得ることができる。

図３（Ａ）に戻り、説明を続ける。
ステップＳ４は、ステップＳ３にて算出した被写体距離の信頼度を表す分布（以下、信頼度画像）を算出する工程（信頼度算出工程）である。信頼度算出工程については、図３（Ｃ）および図４（Ｂ）を用いて説明する。図３（Ｃ）は、ステップＳ４にて行われる工程を詳細に説明する図である。

まず、ステップＳ４１で、第一の軸に沿って、コントラストの変化量を算出する。
コントラストの変化量を算出する方法について、図４（Ｂ）を用いて説明する。図４（Ｂ）は、第一の画像４０１と、当該画像に設定された注目点４１０および照合領域４２０を示した図である。
図４（Ｂ）では、ハッチングで示した領域４３０が一つの画素を表す。本例では、照合領域４２０は、Ｘ座標がＸpからＸqの範囲にあり、Ｙ座標がＹpからＹqの範囲にあるものとする。また、注目点４１０の座標が（Ｘc，Ｙc）であるものとする。

本実施形態では、コントラストの変化量として、照合領域４２０に含まれる第一の画像の画素値の分散を、第一の軸（すなわちＸ軸）に沿って、Ｙ座標ごとに算出する。
コントラストの変化量Ｃ（ｘ，ｙ）は、式（３）および式（４）によって表すことができる。なお、Ｉ（ｘ，ｙ）は、画素列中の位置（ｘ，ｙ）における第一の画像の画素値であり、Ｎｘは、照合領域４２０内に含まれるＸ軸方向の画素数である。
以下、Ｙ座標ごとに得られた、コントラストの変化量を第一の値と称する。

次に、ステップＳ４２で、第二の軸（すなわちＹ軸）方向に複数得られた、第一の値の代表値（以下、第二の値）を算出する。本実施形態では、第一の値の代表値として、第一の値の平均値を算出する。
すなわち、注目点４１０におけるコントラスト変化の代表値Ｃｏｎｆ（ｘ，ｙ）は、式５によって表すことができる。なお、Ｎｙは、照合領域４２０内に含まれるＹ方向の画素数である。

本実施形態では、このようにして求めた、コントラスト変化の代表値の集合（Ｃｏｎｆ）を、被写体距離に対応する距離信頼度とする。

ここで、第一の値の分散が大きいほど、第一の画像における、第一の軸方向のコントラストの変化が大きいことがわかる。さらに、第二の軸に沿って画素値の分散を平均化することで、照合領域４２０内に含まれる第一の画像の、像ズレ量算出に寄与するコントラスト変化量の大きさを算出することができる。

本実施形態に係る距離算出装置１１０では、第一の光電変換部１６１と第二の光電変換部１６２を、第一の軸であるＸ軸に沿って並置している。そのため、第一の画像と第二の画像は、第一の軸に沿って像ズレが生じる。
このような場合、Ｘ軸と平行な方向にコントラスト変化を有する被写体については、精度良く像ズレ量を検出することができるが、Ｘ軸と平行な方向のコントラスト変化が小さい被写体については、像ズレ量の検出誤差が大きくなる。
すなわち、コントラストの変化の大小に基づいて、像ズレ量の誤差を予測することができる。

図５を参照しながら、コントラストの変化と、像ズレ量との関係を説明する。
図５（Ａ）は、Ｘ軸と平行な方向にコントラスト変化を有する被写体５１０の輝度分布と、当該被写体を撮像して得られた第一の画像５１１および第二の画像５１２を示した図である。
また、図５（Ｂ）の実線は、第一の画像５１１の画素値を示し、破線は第二の画像の画素値を示している。図からもわかるように、被写体５１０がデフォーカス状態にある場合
、第一の画像５１１と第二の画像５１２は、Ｘ方向にずれた状態となっている。
被写体５１０は、Ｘ方向に輝度値のコントラスト変化があるため、図４（Ａ）を参照して説明したような対応点の探索方法を用いることで、像ズレ量を精度良く算出することができる。

一方、図５（Ｃ）は、Ｙ軸と平行な方向にコントラスト変化を有する被写体５２０の輝度分布と、当該被写体を撮像して得られた第一の画像５２１および第二の画像５２２を示した図である。
また、図５（Ｄ）も、図５（Ｂ）と同様に、第一の画像のＸ方向の画素値と、第二の画像のＸ方向の画素値を示したものであるが、図５（Ｄ）を見てわかるように、実線と破線が重なっている。これは、第一の画像と第二の画像との間の像ズレがＸ方向に生じているためである。したがって、このように、Ｘ方向にコントラスト変化が無い場合、像ズレ量を検出することが困難になる。

そこで、本実施形態では、まずステップＳ４１において、第一の軸（Ｘ軸）に沿って画素値の分散を算出することでコントラストの変化量（第一の値）を算出し、更に、ステップＳ４２において、第二の軸に沿って第一の値の平均値（第二の値）を算出している。そして、このようにして得られた第二の値を、距離に対する信頼度とする。

このような方法によって距離信頼度を算出すると、図５（Ａ）中の被写体５１０については、信頼度が高いという評価結果が得られ、図５（Ｃ）中の被写体５２０については、信頼度が低いという評価結果が得られる。すなわち、距離信頼度を正しく算出することができる。
一方で、特許文献１に開示されている信頼度の算出方法では、像ズレが生じる方向を考慮せずに、照合領域内に含まれるすべての画素値の分散を算出している。つまり、図５（Ａ）のような場合であっても、図５（Ｃ）のような場合であっても、分散が略等しい値となる。したがって、図５（Ｃ）のように、Ｙ方向にのみコントラスト変化を有する被写体を撮像すると、誤った距離信頼度が生成されるおそれがある。

また、信頼度を算出するための従来技術として、相関を用いたものがある。例えば、特許文献２に記載の装置では、相関値の最小値と、最小値近傍の相関値から算出した傾きの比を用いることで信頼度を算出している。このような場合、局所的なノイズが存在すると、相関値がばらつくため、傾きが大きく算出されたり、最小値が小さく算出されたりする恐れがある。

図６（Ａ）は、コントラスト比が２．０である被写体６１０の輝度分布と、当該被写体を撮像して得られた第一の画像６１１および第二の画像６１２を示した図である。また、図６（Ｂ）は、コントラスト比が１．２５である被写体６２０の輝度分布と、当該被写体を撮像して得られた第一の画像６２１および第二の画像６２２を示した図である。図６（Ａ）および図６（Ｂ）には、ともにＩＳＯ感度１００に相当するノイズが付加されている。

図６（Ｃ）は、被写体６１０と被写体６２０のそれぞれについて、横軸に参照点の移動量、縦軸にＳＳＤ（すなわち、画素値のの差の二乗和）を用いた相関値をとったグラフである。図６（Ｃ）中の実線６１３は、被写体６１０の相関値を表し、破線６２３は、被写体６２０の相関値を表している。なお、ここでは、ＳＳＤを用いているため、相関値の値が小さいほど相関が高いことを意味する。また、矢印６３０は像ズレ量の正解値を表し、矢印６４０は、被写体６１０の像ズレ量算出結果を表す。また、矢印６５０は、被写体６２０の像ズレ量算出結果を表している。図６（Ｃ）からわかるように、コントラスト比が高いほど、精度良く像ズレ量が算出できることが分かる。

表１は、本実施形態における信頼度算出工程によって算出された距離の信頼度と、特許文献２（以下、比較例）に記載されているような、相関値の最小値と、最小値近傍の傾きの比とを用いて算出した信頼度の大小関係を表した表である。
なお、本実施形態における距離信頼度は、値が大きいほど信頼度が高いことを示し、比較例では、値が小さいほど信頼度が高いことを示す。比較例では、被写体６２０について、像ズレ量の算出誤差が大きいにもかかわらず、高い距離信頼度が算出されている。これは、相関値の最小値近傍では、局所的なノイズの影響で、相関値の最小値近傍の傾きが大きく評価されてしまっていることに起因する。
一方で、本実施形態における距離信頼度の算出方法では、照合領域に含まれる画素値のＸ方向のコントラスト変化を、分散により評価しているため、局所的なノイズの影響を受けにくい。その結果、被写体６２０のように、コントラスト比が低い被写体を撮像すると、距離信頼度が低く算出される。

なお、本実施形態では、ステップＳ３で距離算出を行った後に、ステップＳ４で距離信頼度を算出しているが、ステップＳ３とステップＳ４を逆に実行してもよい。ステップＳ４をステップＳ３よりも前に実行することで、予め距離信頼度を取得することができる。また、予め取得した距離信頼度に基づいて、被写体距離を算出する際に用いるパラメータ（照合領域４２０のサイズ、対応点を探索する範囲など）を設定することができ、被写体距離の算出精度を高めることができる。

以上説明したように、本実施形態に係る距離算出装置では、第一の軸に沿って画素値の分散を算出することで、瞳分割方向である第一の軸に沿ってコントラスト変化量を算出する。さらに、第二の軸に沿ってコントラスト変化量の代表値を算出することで、照合領域内に含まれる第一の軸方向のコントラスト変化の大きさのみを評価する。
この結果、像ズレ量の算出に寄与するコントラスト変化のみを評価することができ、精度良く距離信頼度を算出することができる。さらに、照合領域内に含まれる画素を用いて統計的評価を行うことで、局所的なノイズの影響を低減することができる。

なお、本実施形態では、コントラストの変化量として、画素値の分散を算出しているが、コントラスト変化の大きさを評価することができれば、必ずしも分散を用いる必要はない。例えば、標準偏差、画素値の最大値と最小値の差分の絶対値、画素値を第一の軸方向に微分した結果の絶対値の最大値（あるいは平均値）などを用いてもよい。なお、ノイズの影響をより低減するため、統計的評価である分散または標準偏差を用いることが好ましい。

また、本実施形態では、第二の値として、第一の値の平均値を用いているが、照合領域内における第一の値の代表値を算出できれば、平均値以外を用いてもよい。例えば、総和、最大値、最小値、中央値、最頻値などを用いてもよい。
ただし、第二の値の算出方法は、像ズレ量を算出する際に用いた相関値演算方法と対応するものであることが望ましい。すなわち、像ズレ量演算時の相関値として、差分の絶対値の和や、差分の二乗和を用いる場合には、和に基づく演算である総和または平均値を用いることが望ましい。

また、本実施形態では、ステップＳ４にて、第一の画像のみを用いてコントラスト変化量を算出しているが、第一の画像と第二の画像の両方を用いてもよい。また、第一の画像と第二の画像を合成した第三の画像を生成し、第三の画像を用いてコントラスト変化量を算出してもよい。この場合、対応する画素位置の画素値の和または平均を用いて、第一の画像と第二の画像を合成すればよい。

（第二の実施形態）
第一の実施形態では、距離算出工程（ステップＳ３）を実行した後で、距離信頼度算出工程（ステップＳ４）を実行した。これに対し、第二の実施形態は、距離の算出と距離信頼度の算出を同一のステップで実行する実施形態である。
図７（Ａ）は、第二の実施形態における距離算出部１０２の処理フローチャートである。

第二の実施形態は、第一の実施形態における、ステップＳ３およびステップＳ４のかわりに、被写体距離と距離信頼度を同時に算出するステップＳ５が実行されるという点において、第一の実施形態と相違する。

以下、ステップＳ５で実行される処理の詳細について、図７（Ｂ）を用いて説明する。
ステップＳ３１については、第一の実施形態と同様であるため、説明は省略する。
本実施形態では、ステップＳ３１にて像ズレ量を算出した後で、第一の画像と第二の画像を合成した第三の画像を生成し、第三の画像を用いてコントラスト変化量を算出するステップ（ステップＳ５１）を実行する。

具体的には、まず、第一の画像に対して、ステップＳ３１で像ズレ量の算出に用いた注目点と照合領域を設定する。さらに、第二の画像に対して、ステップＳ３１で算出した対応点と、対応点を中心とする照合領域を設定する。そして、照合領域内に含まれる第一の画像と第二の画像の合成画像である第三の画像を生成する。なお、合成画像は、対応する画素同士の和、または平均を用いて生成すればよい。
そして、生成した第三の画像を用いて、ステップＳ４１と同様に、第一の軸に沿って第三の画像の分散を算出することで、第一の値を算出する。
なお、ステップＳ４２、ステップＳ３２、ステップＳ３３については、第一の実施形態と同様であるため説明は省略する。

このように、第二の実施形態では、第一の画像と第二の画像を合成した画像である第三の画像を用いてコントラストの変化量を算出する。これにより、像ズレ量を算出した際と近い条件でコントラストの変化量を算出することができるため、距離信頼度の算出精度を高めることができる。

また、撮像環境によっては、例えば、撮像素子１０１の周辺画角において、結像光学系の口径食（ヴィネッティング）が発生した場合など、第一の画像と第二の画像とでコントラストの変化量が異なるケースが発生し得る。一方、第二の実施形態では、第一の画像と第二の画像を統合したうえでコントラストの変化量を算出するため、このようなケースにおいても、距離信頼度の算出精度を確保することができる。

（第三の実施形態）
第一ないし第二の実施形態では、画素ごとに二つの光電変換部を用いた。これに対し、第三の実施形態は、画素ごとに四つの光電変換部を配置した実施形態である。

図８（Ａ）は、第三の実施形態における撮像素子８０１のＸＹ断面図である。第三の実
施形態における撮像素子８０１は、２×２の画素からなる画素群８５０を複数配列したものである。具体的には、対角方向に、緑画素８５０Ｇ１及び８５０Ｇ２を配置し、他の二画素に、赤画素８５０Ｒ及び青画素８５０Ｂを配置している。
また、各画素には、受光層に四つの光電変換部（第一の光電変換部８６１、第二の光電変換部８６２、第三の光電変換部８６３、第四の光電変換部８６４）が並置されている。

図８（Ｂ）は、光軸１４０と撮像素子８０１の交点から、結像光学系１２０の射出瞳１３０を見た図である。各画素に設けられる複数の第一の光電変換部は、第一の瞳領域８１０を通過した光束を光電変換し、第一の画像を生成する。また、第二の光電変換部、第三の光電変換部、第四の光電変換部も同様に、それぞれ、第二の瞳領域８２０、第三の瞳領域８３０、第四の瞳領域８４０を通過した光束を光電変換し、第二の画像、第三の画像、第四の画像を生成する。

図８（Ｂ）では、第一の瞳領域８１０の重心位置を第一の重心位置８１１、第二の瞳領域８２０の重心位置を第二の重心位置８２１で表している。また、第三の瞳領域８３０の重心位置を第三の重心位置８３１、第四の瞳領域８４０の重心位置を第四の重心位置８４１で表している。
また、第一の瞳領域と第四の瞳領域を結合した領域（以下、和領域）の重心位置を第五の重心位置８５１とし、第二の瞳領域と第三の瞳領域の和領域の重心位置を第六の重心位置８６１としている。さらに、第一の瞳領域と第二の瞳領域の和領域の重心位置を第七の重心位置８７１とし、第三の瞳領域と第四の瞳領域の和領域の重心位置を第八の重心位置８８１としている。

第三の実施形態では、合成する画像の組み合わせを変えることで、像ズレを発生させる方向を変えることができる。
例えば、第一の画像と第四の画像を合成した画像（第五の画像と称する）は、第一の瞳領域８１０と第四の瞳領域８４０を通過した光束が、撮像素子８０１上に形成する像の強度分布となる。また、第二の画像と第三の画像を合成した画像（第六の画像と称する）は、第二の瞳領域８２０と第三の瞳領域８３０を通過した光束が、撮像素子８０１上に形成する像の強度分布となる。

第五の画像に対応する和領域の重心位置８５１と、第六の画像に対応する和領域の重心位置８６１は、Ｘ軸に沿って互いに異なる方向に偏心している。したがって、像ズレはＸ軸に沿って発生する。このような場合、Ｘ軸を第一の軸とし、Ｙ軸を第二の軸とすることで、前述した距離信頼度の算出を行うことができる。

次に、Ｙ軸に沿って像ズレを発生させる方法について説明する。
第一の画像と第二の画像を合成した第七の画像は、第一の瞳領域８１０と第二の瞳領域８２０を通過した光束が撮像素子８０１上に形成する像の強度分布となる。また、第三の画像と第四の画像を合成した第八の画像は、第三の瞳領域８３０と第四の瞳領域８４０を通過した光束が撮像素子８０１上に形成する像の強度分布となる。
第七の画像に対応する和領域の重心位置８７１と、第八の画像に対応する和領域の重心位置８８１は、Ｙ軸に沿って互いに異なる方向に偏心している。したがって、像ズレはＹ軸に沿って発生する。このような場合、Ｙ軸を第一の軸とし、Ｘ軸を第二の軸とすることで、前述した距離信頼度の算出を行うことができる。
このように、合成する画像の組み合わせを変えることで、像ズレが発生する軸を変えることができる。

第三の実施形態は、像ズレが発生する軸に応じて、第一の軸と第二の軸を適宜設定して、距離信頼度を算出する。これにより、被写体のコントラストの方向に応じて、像ズレが
発生する軸を変えることができ、被写体までの距離を精度よく算出することができる。
例えば、図５（Ａ）における被写体５１０のように、被写体が、Ｘ方向にのみコントラスト変化を有する場合、第五の画像と第六の画像を用いて像ズレ量を算出する。この場合、像ズレがＸ軸に沿って発生するため、精度良く被写体までの距離を算出することができる。
また、図５（Ｂ）における被写体５２０のように、被写体が、Ｙ方向にのみコントラスト変化を有する場合、第七の画像と第八の画像を用いて像ズレ量を算出する。この場合、像ズレがＹ軸に沿って発生するため、精度良く被写体までの距離を算出することができる。

ただし、コントラストの変化がどの軸に沿って発生するかは、事前にはわからない。そこで、第三の実施形態では、合成する画像の組み合わせを複数生成し、各組み合わせについて、被写体距離と距離信頼度を算出したうえで、最も信頼度が高い被写体距離を選択する。この結果、精度よく被写体距離を算出することができる。

図９（Ａ）は、第三の実施形態における距離算出部１０２の処理フローチャートである。
ステップＳ１０１およびステップＳ１０２は、第一の実施形態におけるステップＳ１およびステップＳ２と同様であるが、処理対象の画像が二つではなく四つ（第一の画像〜第四の画像）であるという点において相違する。

ステップＳ１０６では、四つの画像を用いて、合成画像を生成する。具体的には、以下の四つの画像を生成する。
（１）第一の画像と第四の画像の互いに対応する位置にある画素値を平均化し、第五の画像を生成する。
（２）第二の画像と第三の画像の互いに対応する位置にある画素値を平均化し、第六の画像を生成する。
（３）第一の画像と第二の画像の互いに対応する位置にある画素値を平均化し、第七の画像を生成する。
（４）第三の画像と第四の画像の互いに対応する位置にある画素値を平均化し、第八の画像を生成する。

ステップＳ１０３は、第一の実施形態におけるステップＳ３と同様であるが、二パターンの距離画像を生成するという点において相違する。
具体的には、第五の画像と第六の画像を用いて第一の距離画像を生成し、また、第七の画像と第八の画像を用いて第二の距離画像を生成する。なお、距離画像の生成には、図３（Ｂ）の手順を用いることができる。

まず、第一の距離画像を生成するために、基準画像として第五の画像を選択し、参照画像として第六の画像を選択する。また、第二の距離画像を生成するために、基準画像として第七の画像を選択し、参照画像として第八の画像を選択する。
なお、第五の画像と第六の画像に基づいて算出した像ズレ量を、デフォーカス量に変換するための基線長は、第五の重心位置８５１と第六の重心位置８６１と間の距離となる。また、第七の画像と第八の画像に基づいて算出した像ズレ量を、デフォーカス量に変換するための基線長は、第七の重心位置８７１と第八の重心位置８８１との間の距離となる。

ステップＳ１０４は、距離信頼度を算出する工程である。本工程では、まず、第五の画像に基づき、第一の信頼度画像を算出する。さらに、第七の画像に基づき、第二の信頼度画像を算出する。信頼度画像を算出する方法には、図３（Ｃ）の手順を用いることができる。

ステップＳ１０７は、第一の距離画像と第二の距離画像を統合して、単一の距離画像（統合距離画像）を生成する工程である。本ステップでは、第一の信頼度画像と第二の信頼度画像を用いて、第一の距離画像と第二の距離画像を重み付け平均する。すなわち、第一の信頼度画像と第二の信頼度画像を比較し、信頼度の高い距離の比率がより高くなるように、第一の距離画像と第二の距離画像を平均化し、統合した距離画像を得る。

このように、第三の実施形態では、複数の画像を組み合わせて、複数の距離画像および信頼度画像を算出し、信頼度が高くなるように重み付けされた統合距離画像を算出する。これにより、被写体距離の算出精度をより高めることができる。

なお、第三の実施形態では、距離画像を複数算出し、信頼度画像に基づいて重み付けを行ったうえで距離画像を統合したが、信頼度画像を先に算出したうえで、算出結果を用いて距離画像を生成してもよい。
図９（Ｂ）は、処理フローチャートの変形例である。
本変形例では、ステップＳ１０４にて、合成画像の組み合わせごとに信頼度画像を算出し、ステップＳ１０３にて、信頼度の高い合成画像の組み合わせを用いて距離画像を生成する。このように、予め合成画像の組み合わせごとに信頼度画像を算出することで、ステップＳ１０３における演算量を削減することができる。

なお、第三の実施形態では、合成画像を組み合わせることで、Ｘ軸に沿って像ズレを発生させるパターンと、Ｙ軸に沿って像ズレを発生させるパターンについて説明したが、像ズレの方向は、Ｘ軸またはＹ軸に平行な方向でなくてもよい。例えば、Ｘ軸と４５度を成す軸に沿って像ズレを発生させるため、第一の画像と第三の画像の組み合わせや、第二と第四の画像の組み合わせなどを用いてもよい。いずれの場合においても、像ズレが発生する軸と平行な軸を第一の軸とし、第一の軸に対して垂直な軸を第二の軸とすればよい。
また、第一の画像と第二の画像を用いて像ズレを発生させることができれば、必ずしも合成画像を生成する必要はない。

（第四の実施形態）
第四の実施形態は、第一の実施形態と比較して、距離信頼度の算出方法が異なる実施形態である。

図１０（Ａ）は、第四の実施形態における距離算出部１０２の処理フローチャートであり、図１０（Ｂ）は、ステップＳ８で実行される処理の詳細を示したフローチャートである。
なお、ステップＳ１〜ステップＳ３、ステップＳ４１〜ステップＳ４２については、第一の実施形態と同様であるため説明は省略する。

ステップＳ８１は、ノイズ量を推定するステップである。
本ステップでは、予め均一な輝度分布を有する被写体を、デジタルカメラ１００にて撮影した場合に、撮像素子１０１において生じるノイズ量を推定する。具体的には、撮像素子によって発生するノイズを近似式によって表し、撮像面におけるノイズの分布を生成する。

撮像素子１０１おいて発生するノイズには、読み出しノイズ、光ショットノイズ、暗電流ショットノイズなどがある。ここでは、式（６）によってノイズ量を近似する。これにより、画素位置（ｘ，ｙ）におけるノイズ量推定値（Ｎ（ｘ，ｙ））を得ることができる。
なお、ＩＳＯはデジタルカメラ１００の撮影時のＩＳＯ感度であり、Ｉ（ｘ，ｙ）は、
画素位置（ｘ，ｙ）における第一の画像の画素値である。また、ＡおよびＢは、近似パラメータである。

図１１（Ａ）は、式（５）によって表されたノイズ量の推定結果の例を表したグラフである。なお、横軸が画素値であり、縦軸が、推定されたノイズ量である。
本例では、画素値が大きい場合に、一次関数に漸近し、画素値が小さい場合に、一次関数を外れ、近似パラメータＡに近づくような近似式を用いている。これは、画素値が大きいほど光ショットノイズの影響が支配的になり、画素値が小さいほど、読み出しノイズや暗電流ショットノイズの影響が大きくなるという理由による。

このように、撮像素子１０１にて生じるノイズ特性を考慮した近似式を用いることで、ノイズ量を精度よく近似することができる。なお、式（６）では、近似パラメータＡを定数としたが、撮影時の露光時間に関連する変数としてもよい。このようにすることで、暗電流ショットノイズの影響をより精度良く表すことができるようになる。

また、より簡易的にノイズ量を推定するために、式（７）を用いてもよい。
ｍａｘ（ａ，ｂ）は、ａとｂのうち大きい値を返す関数である。式（７）によるノイズ量の推定結果が、図１１（Ｂ）である。

ステップＳ８２では、ステップＳ４２にて算出したコントラスト変化量の代表値と、ステップＳ８１にて算出したノイズ量推定値を用いて、画像の信号対雑音比（画像Ｓ／Ｎ比）を算出し、算出したＳ／Ｎ比を距離信頼度として出力する。画像Ｓ／Ｎ比は、コントラスト変化量の代表値と、ノイズ量推定値の比を用いて算出することができる。

このように、第四の実施形態では、撮像画素において発生するノイズを近似したうえで画像Ｓ／Ｎ比を算出し、算出した画像Ｓ／Ｎ比を距離信頼度とする。
デジタルカメラにて、高感度撮影を行う場合や、高輝度の被写体を撮影する場合、画像に含まれるノイズ量が多くなる。そこで、画像Ｓ／Ｎ比に基づいて距離信頼度を算出することで、ノイズの影響を低減することができ、ノイズ量が多い場合においても、精度良く距離信頼度を算出することができる。

なお、本実施形態では、ステップＳ８２にて、位置（ｘ，ｙ）のノイズ量を推定するために、位置（ｘ，ｙ）にある画素の画素値を用いているが、照合領域内に含まれる画素の平均画素値を用いてノイズ量を推定してもよい。照合領域内における平均画素値を用いることで、像ズレ量の算出時に近い条件でノイズ量を推定することができるため、距離信頼度をより精度よく算出することができる。

なお、ノイズ量を近似するための式は、コントラスト変化量の評価方法に応じて適宜変更する必要がある。例えば、式（６）に示した近似式は、画素値の分散を用いて第一の値を算出する場合に好適に適用することができるが、画素値の標準偏差を用いる場合には、平方根関数に漸近する近似式を用いることが望ましい。

（第五の実施形態）
第五の実施形態は、生成した信頼度画像を用いて、生成した距離画像を補正する実施形
態である。

図１２（Ａ）は、第五の実施形態における距離算出部１０２の処理フローチャートであり、図１２（Ｂ）は、ステップＳ９で実行される処理の詳細を示したフローチャートである。
なお、ステップＳ１〜ステップＳ４については、第一の実施形態と同様であるため説明は省略する。

ステップＳ９は、被写体距離の分布を表す距離画像と、当該距離画像に対応する信頼度画像に基づいて、算出した距離画像を補正する工程である。
ステップＳ９１では、距離画像内に第一の画素位置を設定するとともに、第一の画素位置を中心とした参照領域を設定する。

ステップＳ９２では、第一の画素位置に対応する補正距離を算出する。具体的には、ステップＳ９１にて設定した参照領域内に含まれる被写体距離を、距離信頼度を用いて重み付け平均し、補正距離を算出する。そして、第一の画素位置を移動させながら補正距離を算出することで、補正後の距離画像を生成する。
式（８）は、距離画像を、信頼度画像で重み付け平均する方法を表した式である。

なお、Ｄｒ（ｘ，ｙ）は、距離画像中の位置（ｘ，ｙ）における被写体距離を表し、Ｄｃ（ｘ，ｙ）は、位置（ｘ，ｙ）における、補正後の被写体距離を表す。また、Ｃｏｎｆ（ｘ，ｙ）は位置（ｘ，ｙ）における距離信頼度を示す。

このように、第五の実施形態では、距離画像と信頼度画像を用いて重み付け平均を行い、補正後の距離画像を算出している。これにより、距離画像の算出誤差が小さい領域の比率を高くして平滑化することができる。この結果、より精度の高い被写体距離を得ることができる。

なお、本実施形態では、式（８）に示したように、距離信頼度の分布を用いて重み付け平均を行っているが、必ずしも重み付け平均を行う必要はない。例えば、予め設定した閾値を用いて、信頼度画像を、信頼度が有る領域と無い領域とに分け、信頼度が有る領域に対応する距離画像のみを用いて平均値を算出し、補正後の距離画像を算出してもよい。

また、本実施形態では、信頼度画像のみを用いて距離画像の補正を行ったが、例えば、式（９）のように、画像情報をさらに用いて補正を行うようにしてもよい。式（９）におけるＩｃ（ｘ，ｙ）は、位置（ｘ，ｙ）における画像情報である。画像情報とは、色相や輝度値（例えば、位置（ｘ，ｙ）を基準とした色差や輝度差）、コントラストの変化量（第二の値）などである。なお、第一の画素位置から離れるほど比率が低くなるように重み付け平均を行うようにしてもよい。

（第六の実施形態）
第六の実施形態は、第一の実施形態と比較して、距離信頼度の算出方法が異なる実施形態である。

図１４（Ａ）は、第六の実施形態における距離算出部１０２の処理フローチャートであり、図１４（Ｂ）は、ステップＳ１０で実行される処理の詳細を示したフローチャートである。なお、ステップＳ１〜ステップＳ３と、ステップＳ８１〜ステップＳ８２については、第四の実施形態と同様であるため、説明は省略する。

ステップＳ１０は、ステップＳ３にて算出した被写体距離に対応する信頼度画像を算出する工程（信頼度算出工程）である。
ステップＳ１０１では、コントラストの変化量を表す値（コントラスト評価値）を算出する。本実施形態においては、ステップＳ３１にて像ズレ量を算出した際の相関度を用いて、コントラスト評価値を算出する。具体的には、最も高い相関を得る対応点近傍の相関度から算出した傾きをコントラスト評価値とする。ステップＳ３１にて、相関度を評価するためにＳＳＤを用いた場合、対応点近傍の相関度を２次関数で近似することで、傾きを算出することができる。すなわち、以下の式（１０）を用いて傾きＳＬＯＰＥを算出することができる。

なお、式（１０）にて、Ｓは、ＳＳＤによる相関度である。Ｓ（０）は、最も高い相関を与える参照点の相関度であり、Ｓ（−１）とＳ（＋１）、最も高い相関を与える参照点から移動量が１画素少ない場合と１画素多い場合の相関度である。

ステップＳ８１は、ノイズ量を推定するステップである。第四の実施形態と同様に、式（６）または、式（７）のいずれかを用いて、ノイズ量を推定する。なお、本実施形態においては、ステップＳ３１にて相関度を評価するためにＳＳＤを用いた場合を例に説明を行う。ＳＳＤは、画素値同士の差の二乗和を評価値としているため、ステップＳ１０１にて算出するコントラスト評価値は、次数ｎ＝２を有すると言える。光ショットノイズは、フォトン数の平方根に比例すると近似できるため、画素値が大きい場合には、１次多項式で近似、または１次多項式に漸近する式を用いてノイズ量を推定している。

ステップＳ３１にて、ＳＳＤではなく、差の絶対値和を評価値として用いるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用い、相関度の傾きからコントラスト評価値を算出することもできる。この場合、コントラスト評価値は次数ｎ＝１を有する。従って、このような場合には、画素値が大きい場合に、平方根関数で近似、または平方根関数に漸近する式を用いてノイズ量を推定することが望ましい。すなわち、コントラスト評価値の次数をｎとし、定数Ａおよび定数Ｂをおいたとき、以下の式（１１）または式（１２）を用いてノイズ量推定値Ｎを算出することが望ましい。なお、値Ｉ（ｘ，ｙ）は、位置（ｘ，ｙ）における画像情報である。

なお、本実施形態においては、ステップＳ８１にて、位置（ｘ，ｙ）のノイズ量を推定するために、位置（ｘ，ｙ）にある画素の画素値を用いているが、照合領域内に含まれる画素の平均画素値を用いてノイズ量を推定してもよい。照合領域内における平均画素値を用いることで、像ズレ量の算出時に近い条件でノイズ量を推定することができるため、距離信頼度をより精度よく算出することができる。

本実施形態においては、ステップＳ８２にて、ステップＳ１０１にて算出したコントラスト評価値と、ステップＳ８１にて算出したノイズ量との比に基づき、距離信頼度を算出している。しかし、撮像画素において発生するノイズが多い場合には、ステップＳ１０１にて、相関度の傾きから算出されるコントラスト評価値が誤って算出される場合がある。従って、ステップＳ８１にて算出したノイズ量が、所定の閾値を超えた場合には、ステップＳ８２にて、比を算出せずに、距離信頼度が低いことを表す所定の値を距離信頼度としても構わない。そのようにすることで、距離信頼度が低いにも関わらず、距離信頼度が高いと誤判定することを防止することができる。

このように、第六の実施形態においては、撮像画素において発生するノイズを近似したうえで画像Ｓ／Ｎ比を算出し、算出した画像Ｓ／Ｎ比を距離信頼度とする。デジタルカメラにて、高感度撮影を行う場合や、高輝度の被写体を撮影する場合、画像に含まれるノイズ量が多くなる。そこで、撮像画素に含まれるノイズ量を、撮像画像から直接的に算出することで、より精度よくノイズ量を推定している。そのため、ノイズ量が多い場合においても、精度良く距離信頼度を算出することができる。

（変形例）
なお、実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む距離算出装置として実施することもできるし、距離算出装置の制御方法として実施することもできる。また、当該制御方法を距離算出装置に実行させるプログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、実施形態の説明では、本発明に係る距離算出装置を備えた撮像装置の一例として、デジタルカメラを例示したが、本発明はこれ以外に適用してもよい。例えば、デジタル距離計測器に適用してもよい。

また、実施形態の説明では、一つの結像光学系および一つの撮像素子を有するデジタルカメラを例示したが、例えば、図１５（Ａ）に示したデジタルカメラ１３００のように、結像光学系および撮像素子は二つであってもよい。
本例において、第一の結像光学系１３２０ａおよび第二の結像光学系１３２０ｂは、デジタルカメラ１３００の撮影レンズであり、被写体の像を、それぞれ撮像面である撮像素子１３０１ａおよび撮像素子１３０１ｂに形成する機能を有する。
第一の結像光学系１３２０ａは、複数のレンズ群、並びに絞りから構成され、撮像素子
１３０１ａから所定距離離れた位置に射出瞳１３３０ａを有する。また、第二の結像光学系１３２０ｂも同様に、複数のレンズ群、並びに絞りから構成され、撮像素子１３０１ｂから所定距離離れた位置に射出瞳１３３０ｂを有する。

図１５（Ｂ）は、光軸１３４０ａと撮像素子１３０１ａの交点から見た第一の結像光学系１３２０ａの射出瞳１３３０ａと、光軸１３４０ｂと撮像素子１３０１ｂの交点から見た第二の結像光学系１３２０ｂの射出瞳１３３０ｂを示す図である。
第一の瞳領域２１０は射出瞳１３３０ａに内包され、第二の瞳領域２２０は射出瞳１３３０ｂに内包されている。また、第一の瞳領域２１０の重心位置２１１（第一の重心位置）と第二の瞳領域２２０の重心位置２２１（第二の重心位置）は、第一の軸２００に沿って偏心（シフト）している。

デジタルカメラ１３００のように、複数の結像光学系並びに撮像素子を備えた撮像装置においても、例示した方法と同様の方法によって、被写体距離ならびに距離信頼度を算出することができる。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２０・・・結像光学系、１０１・・・撮像素子、１０２・・・距離算出部、１１０・・・距離算出装置

Claims (30)

1. 結像光学系が有する第一の瞳領域を通過した光束に基づいて生成された第一の画像と、第二の瞳領域を通過した光束に基づいて生成された第二の画像と、に基づいて、被写体距離を算出する距離算出装置であって、
   前記第一の瞳領域の重心と、前記第二の瞳領域の重心は、第一の軸に沿って異なる位置にあり、
   前記第一の画像および第二の画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出手段と、
   前記第一の画像と前記第二の画像の少なくとも一方に設定された局所領域における、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出手段と、
   を有する、距離算出装置。
2. 前記第一の値は、前記局所領域に含まれ、前記第一の軸に沿った画素列が有する画素値の分散である
   ことを特徴とする、請求項１に記載の距離算出装置。
3. 前記第一の値は、前記局所領域に含まれ、前記第一の軸に沿った画素列が有する画素値の最大値と最小値との差分である
   ことを特徴とする、請求項１に記載の距離算出装置。
4. 前記第一の値は、前記局所領域に含まれ、前記第一の軸に沿った画素列が有する画素値を、前記第一の軸に沿って微分した値の絶対値の和もしくは絶対値の平均である
   ことを特徴とする、請求項１に記載の距離算出装置。
5. 前記第二の値は、複数の前記第一の値の総和、平均値、中央値、最頻値のうちの少なくともいずれかである
   ことを特徴とする、請求項１から４のいずれか１項に記載の距離算出装置。
6. 結像光学系が有する第一の瞳領域を通過した光束に基づいて生成された第一の画像と、
   第二の瞳領域を通過した光束に基づいて生成された第二の画像と、に基づいて、被写体距離を算出する距離算出装置であって、
   前記第一の瞳領域の重心と、前記第二の瞳領域の重心は、第一の軸に沿って異なる位置にあり、
   前記第一の画像および第二の画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出手段と、
   前記第一の画像と前記第二の画像の少なくとも一方に設定された局所領域におけるコントラストの変化量の大きさを表す値であるコントラスト評価値と、前記第一の画像と前記第二の画像の少なくとも一方に基づいて算出されたノイズ量推定値との比に基づき、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出手段と、
   を有する、距離算出装置。
7. 前記局所領域に含まれる前記第一の画像と前記第二の画像の少なくとも一方の画像の画素値が大きいほど、前記ノイズ量推定値が大きくなる
   ことを特徴とする、請求項６に記載の距離算出装置。
8. 画素位置（ｘ，ｙ）における前記第一の画像と前記第二の画像の少なくとも一方の画素値に基づく値Ｉ（ｘ，ｙ）と、定数Ａと、定数Ｂと、前記コントラスト評価値の次数ｎと、をおいた場合に、式
   
   によって、画素位置（ｘ，ｙ）における前記ノイズ量推定値Ｎ（ｘ，ｙ）を算出する
   ことを特徴とする、請求項６に記載の距離算出装置。
9. 画素位置（ｘ，ｙ）における前記第一の画像と前記第二の画像の少なくとも一方の画素値に基づく値Ｉ（ｘ，ｙ）と、定数Ａと、定数Ｂと、前記コントラスト評価値の次数ｎと、をおいた場合に、式
   
   によって、画素位置（ｘ，ｙ）における前記ノイズ量推定値Ｎ（ｘ，ｙ）を算出する
   ことを特徴とする、請求項６に記載の距離算出装置。
10. 前記画素位置（ｘ，ｙ）における、前記第一の画像と前記第二の画像の少なくとも一方の画素値に基づく値であるＩ（ｘ，ｙ）は、
    前記画素位置（ｘ，ｙ）における被写体距離を算出する際に用いた、前記局所領域に含まれる画素値の平均値である
    ことを特徴とする、請求項８または９に記載の距離算出装置。
11. 前記信頼度算出手段は、
    前記第一の軸に沿った前記局所領域に含まれる前記第一の画像と前記第二の画像の少なくとも一方の画像のコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸に沿って複数算出し、
    複数の前記第一の値を代表する値である第二の値をコントラスト評価値とする
    ことを特徴とする、請求項６から１０のいずれか１項に記載の距離算出装置。
12. 前記コントラスト評価値は、前記第一の画像の前記局所領域、前記第二の画像の前記局所領域、又は、前記第一の画像と前記第二の画像の合成画像の局所領域において、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸と交差する第二の
    軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて算出される、
    ことを特徴とする請求項６から１１のいずれか１項に記載の距離算出装置。
13. 前記第一の値は、前記第一の軸に沿った画素列が有する画素値の分散、前記第一の軸に沿った画素列が有する画素値の最大値と最小値との差分、前記第一の軸に沿った画素列が有する画素値を前記第一の軸に沿って微分した値の絶対値の和、もしくは、絶対値の平均、のうちの少なくともいずれかである、
    ことを特徴とする請求項１２に記載の距離算出装置。
14. 前記第二の値は、複数の前記第一の値の総和、平均値、中央値、最頻値、のうちの少なくともいずれかである、
    ことを特徴とする請求項１２または１３に記載の距離算出装置。
15. 前記距離算出手段は、前記算出した信頼度に基づいて、被写体距離を算出する際に用いるパラメータを設定する
    ことを特徴とする、請求項１から１４のいずれか１項に記載の距離算出装置。
16. 前記距離算出手段が算出した被写体距離を、算出した信頼度に基づいて補正する補正手段をさらに有する
    ことを特徴とする、請求項１から１５のいずれか１項に記載の距離算出装置。
17. 前記距離算出手段は、前記第一の画像と第二の画像に基づいて、被写体距離の分布を表す距離画像を生成し、
    前記信頼度算出手段は、前記被写体距離の信頼度の分布を表す信頼度画像を生成し、
    前記補正手段は、前記距離画像および信頼度画像に、第一の画素位置を含む参照領域を設定し、前記参照領域に含まれる被写体距離を、前記参照領域に含まれる信頼度に基づいて重み付け平均し、得られた結果を用いて、前記第一の画素位置に対応する被写体距離を補正する
    ことを特徴とする、請求項１６に記載の距離算出装置。
18. 前記補正手段は、前記参照領域に対応する、画素の輝度、画素の色相、第二の値の少なくともいずれかにさらに基づいて重み付け平均を行い、得られた結果を用いて、前記第一の画素位置に対応する被写体距離を補正する
    ことを特徴とする、請求項１７に記載の距離算出装置。
19. 第一の結像光学系をさらに有し、
    前記第一の瞳領域と前記第二の瞳領域は、前記第一の結像光学系の射出瞳に内包される
    ことを特徴とする、請求項１から１８のいずれか１項に記載の距離算出装置。
20. 第一の結像光学系と第二の結像光学系をさらに有し、
    前記第一の瞳領域は、前記第一の結像光学系の射出瞳に内包され、前記第二の瞳領域は、前記第二の結像光学系の射出瞳に内包される
    ことを特徴とする、請求項１から１８のいずれか１項に記載の距離算出装置。
21. 結像光学系が有する射出瞳に内包された、複数の瞳領域を通過した光束に基づいて生成された複数の画像に基づいて、被写体距離を算出する距離算出装置であって、
    前記複数の画像の中から、対応する瞳領域の重心が、第一の軸に沿ってそれぞれ異なる位置にある二つの画像の組を生成する生成手段と、
    前記二つの画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体
    距離を算出する距離算出手段と、
    前記二つの画像の少なくとも一方に設定された局所領域における、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出手段と、
    を有する、距離算出装置。
22. 前記生成手段は、前記第一の軸の方向を変更しながら、前記二つの画像の組を複数生成し、
    前記距離算出手段は、被写体距離の分布を表す距離画像を前記画像の組ごとに生成し、
    前記信頼度算出手段は、生成した距離画像ごとに、前記被写体距離の信頼度の分布を表す信頼度画像を生成し、
    前記複数の信頼度画像に基づき、前記複数の距離画像を統合した統合距離画像を生成する統合手段をさらに有する
    ことを特徴とする、請求項２１に記載の距離算出装置。
23. 前記生成手段が生成する二つの画像の組に含まれる画像は、前記射出瞳に内包された複数の領域をそれぞれ通過した光束に基づいて生成された複数の画像を結合して得られる画像である
    ことを特徴とする、請求項２２に記載の距離算出装置。
24. 結像光学系が有する射出瞳に内包された、複数の瞳領域を通過した光束に基づいて生成された複数の画像に基づいて、被写体距離を算出する距離算出装置であって、
    前記複数の画像の中から、対応する瞳領域の重心が、第一の軸に沿ってそれぞれ異なる位置にある二つの画像の組を生成する生成手段と、
    前記二つの画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出手段と、
    前記二つの画像の少なくとも一方に設定された局所領域におけるコントラストの変化量の大きさを表す値であるコントラスト評価値と、前記二つの画像の少なくとも一方に基づいて算出されたノイズ量推定値との比に基づき、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出手段と、
    を有する、距離算出装置。
25. 結像光学系と、前記結像光学系を通過した光束に基づいて画像を生成する撮像手段と、
    請求項１から２４のいずれか１項に記載の距離算出装置と、
    を有する撮像装置。
26. 結像光学系が有する第一の瞳領域を通過した光束に基づいて生成された第一の画像と、第二の瞳領域を通過した光束に基づいて生成された第二の画像と、に基づいて、被写体距離を算出する距離算出装置が行う距離算出方法であって、
    前記第一の瞳領域の重心と、前記第二の瞳領域の重心は、第一の軸に沿って異なる位置にあり、
    前記第一の画像および第二の画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出ステップと、
    前記第一の画像と前記第二の画像の少なくとも一方に設定された局所領域における、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出ステップと、
    を含む、距離算出方法。
27. 結像光学系が有する第一の瞳領域を通過した光束に基づいて生成された第一の画像と、第二の瞳領域を通過した光束に基づいて生成された第二の画像と、に基づいて、被写体距離を算出する距離算出装置が行う距離算出方法であって、
    前記第一の瞳領域の重心と、前記第二の瞳領域の重心は、第一の軸に沿って異なる位置にあり、
    前記第一の画像および第二の画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出ステップと、
    前記第一の画像と前記第二の画像の少なくとも一方に設定された局所領域におけるコントラストの変化量の大きさを表す値であるコントラスト評価値と、前記第一の画像と前記第二の画像の少なくとも一方に基づいて算出されたノイズ量推定値との比に基づき、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出ステップと、
    を含む、距離算出方法。
28. 結像光学系が有する射出瞳に内包された、複数の瞳領域を通過した光束に基づいて生成された複数の画像に基づいて、被写体距離を算出する距離算出装置が行う距離算出方法であって、
    前記複数の画像の中から、対応する瞳領域の重心が、第一の軸に沿ってそれぞれ異なる位置にある二つの画像の組を生成する生成ステップと、
    前記二つの画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出ステップと、
    前記二つの画像の少なくとも一方に設定された局所領域における、前記第一の軸に沿ったコントラストの変化量を表す第一の値を、前記第一の軸とは異なる第二の軸方向に複数算出し、複数の前記第一の値を代表する値である第二の値に基づいて、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出ステップと、
    を含む、距離算出方法。
29. 結像光学系が有する射出瞳に内包された、複数の瞳領域を通過した光束に基づいて生成された複数の画像に基づいて、被写体距離を算出する距離算出装置が行う距離算出方法であって、
    前記複数の画像の中から、対応する瞳領域の重心が、第一の軸に沿ってそれぞれ異なる位置にある二つの画像の組を生成する生成ステップと、
    前記二つの画像にそれぞれ設定された局所領域に含まれる画素を比較することで被写体距離を算出する距離算出ステップと、
    前記二つの画像の少なくとも一方に設定された局所領域におけるコントラストの変化量の大きさを表す値であるコントラスト評価値と、前記二つの画像の少なくとも一方に基づいて算出されたノイズ量推定値との比に基づき、前記局所領域に対応する被写体距離の信頼度を算出する信頼度算出ステップと、
    を含む、距離算出方法。
30. 請求項２６から２９のいずれか１項に記載の距離算出方法の各ステップをコンピュータに実行させるプログラム。