JP6590463B2 - 距離算出装置 - Google Patents

Description

本発明は、距離算出装置に関し、特に、デジタルカメラやデジタルビデオカメラなどの撮像装置等に用いられる距離算出装置などに関するものである。

デジタルスチルカメラやデジタルビデオカメラにおいて、撮像素子の一部あるいは全部の画素に測距機能を有する画素（以下、「測距画素」ともいう。）を配置し、位相差方式で被写体までの距離を検出するようにした固体撮像素子が特許文献１に提案されている。測距画素は、複数の光電変換部を備え、撮影レンズの瞳上の異なる領域を通過した光束が、それぞれ、異なる光電変換部に導かれるように構成される。各測距画素に含まれる光電変換部で得た画像信号により、異なる瞳領域を通過した光束により生成される光像（以下、それぞれ「Ａ像」、「Ｂ像」ともいい、両像をまとめて「ＡＢ像」ともいう。）を取得する。そして、このＡ像とＢ像の相対的な位置ズレ量（変位量ともいう）である視差量を算出する。この視差量を、変換係数を介してデフォーカス量に変換することで、被写体までの距離を算出できる。これによると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速高精度な測距が可能となる。

ここで、測定の際の距離精度は、視差量を精度よく求めることで向上する。視差量の算出誤差が発生する要因として、撮影レンズのレンズ枠等による光束のケラレや測距画素感度の角度特性等により、Ａ像とＢ像の光量比が像高に応じて変化する所謂光量バランスの崩れの他に、Ａ像とＢ像の像形状が非対称な形状になることが挙げられる。前者の要因に対しては、特許文献２では、光量バランスの崩れを、Ａ像とＢ像の光量比を考慮した相互相関演算を行うことで補正する方法が提案されている。

特許第４０２７１１３号明細書 特開２００９−２５８２３１号公報

本発明は、後者の要因による視差量の誤差を低減することを目的とする。そして、それをもって高精度の距離算出が可能な距離算出装置等を提供することができる。

本発明の距離算出装置は、被写体に対する１つの結像光学系の瞳上の異なる領域を介して少なくとも２つの異なる視点にて取得した複数の視差画像信号を生成する撮像部と、前記撮像部で生成した複数の視差画像信号の間の視差量の算出を行い、前記視差量に基づき被写体距離の算出を行う距離算出部を備えた距離算出装置である。前記距離算出部は、前記複数の視差画像信号のうち１つを基準画像信号として第１の対象範囲の信号要素に基づき第１の重心位置を算出し、前記視差画像信号のうち基準画像信号とは異なる視差画像信号のうち１つを参照画像信号として前記第１の対象範囲と対応する位置から変位させた位置の第２の対象範囲に含まれる信号要素と前記基準画像信号の前記第１の対象範囲に含まれる信号要素とを合成した合成信号に基づき第２の重心位置を算出する重心位置算出工程と、前記第１の重心位置と前記第２の対象範囲の位置の変位量を変化させながら算出した複数の前記第２の重心位置の比較に基づいて複数の前記第２の対象範囲の位置の変位量から第１の変位量の値を算出する変位量算出工程と、前記第１の変位量の値から前記視差量を算出する視差算出工程と、を実行する。より具体的には、例えば、前記距離算出部は、前記基準画像信号に基づき算出される重心位置と、前記基準画像信号と前記参照画像信号の和信号に基づき算出される重心位置と、を用いて視差量の算出を行う。また本発明の他の距離算出装置は、被写体に対する１つの結像光学系の瞳上の異なる領域を介して少なくとも２つの異なる視点にて取得した複数の視差画像信号を生成する撮像部と、前記撮像部で生成した複数の視差画像信号の間の視差量の算出を行い、前記視差量に基づき被写体距離の算出を行う距離算出部を備えた距離算出装置であって、前記距離算出部は、前記複数の視差画像信号のうちの１つの基準画像信号の第１の対象範囲に含まれる信号要素に基づき算出される重心位置と、前記視差画像信号のうち基準画像信号とは異なる視差画像信号のうちの１つの参照画像信号の前記第１の対象範囲に含まれる信号要素に基づき算出される重心位置と、の差分である第１の重心位置差を算出するとともに、前記基準画像信号の、前記第１の対象範囲と対応する位置から変位させた位置である第２の対象範囲に含まれる信号要素と前記参照画像信号の前記第１の対象範囲に含まれる信号要素とを合成した合成信号に基づき算出される重心位置と、前記参照画像信号の、前記第１の対象範囲と対応する位置から前記第２の対象範囲の変位量の絶対値が等しく符号が逆の値だけ変位させた位置である第３の対象範囲に含まれる信号要素と前記基準画像信号の前記第１の対象範囲に含まれる信号要素とを合成した合成信号に基づき算出される重心位置と、の差分である第２の重心位置差を算出する重心位置差算出工程と、前記第２の対象範囲の位置と前記第３の対象範囲の位置の変位量を変化させながら算出した複数の前記第１の重心位置差と前記第２の重心位置差の比較に基づいて複数の前記第２の対象範囲の位置の変位量から第１の変位量の値を算出する変位量算出工程と、前記第１の変位量の値から前記視差量を算出する視差算出工程と、を実行する。

また、本発明の変位量演算方法は、被写体に対する第１の視点にて取得した視差画像信号である第１の信号において、第１の対象範囲に含まれる第１の部分信号を抽出し、被写体に対する第２の視点にて取得した視差画像信号である第２の信号において、前記第１の対象範囲と対応する位置から第１の変位量だけ変位させた位置に配置される第２の対象範囲に含まれる第２の部分信号を抽出し、前記第１の変位量を変化させることで変化する、前記第１の部分信号を含む信号と前記第２の部分信号を含む信号との相対的な変位量を演算する変位量演算方法である。そして、前記第１の部分信号の重心位置である第１の重心位置と、前記第１の部分信号に前記第２の部分信号を加算した第３の部分信号を算出した後に前記第３の部分信号の重心位置である第２の重心位置を算出し、前記第１の重心位置と前記第２の重心位置とが等しくなる前記第１の変位量を算出して、視差画像信号の間の視差を算出する。本発明の別の変位量演算方法は、被写体に対する第１の視点にて取得した視差画像信号である第１の信号及び被写体に対する第２の視点にて取得した視差画像信号である第２の信号において、それぞれ、第１の対象範囲に含まれる第１の部分信号及び第２の部分信号を抽出し、前記第１の信号において、前記第１の対象範囲と対応する位置から第１の変位量だけ変位させた位置に配置される第２の対象範囲に含まれる第３の部分信号を抽出し、前記第２の信号において、前記第１の対象範囲と対応する位置から前記第１の変位量と絶対値が等しく逆符号の第２の変位量だけ変位させた位置に配置される第３の対象範囲に含まれる第４の部分信号を抽出し、前記第１の変位量を変化させることで変化する、前記第１及び第２の部分信号を含む信号と前記第１、第２、第３、及び第４の部分信号を含む信号との相対的な変位量を演算する変位量演算方法である。そして、前記第１の部分信号の重心位置と前記第２の部分信号の重心位置との差分である第１の重心位置差を算出し、前記第３の部分信号と前記第２の部分信号の和の重心位置と、前記第４の部分信号と前記第１の部分信号の和の重心位置と、の差分である第２の重心位置差を算出し、前記第１の重心位置差と前記第２の重心位置差とが等しくなる前記第１の変位量を算出して、視差画像信号の間の視差を算出する。

本発明では、Ａ像とＢ像の像形状の非対称性に起因する誤差を低減して視差量を高精度に算出することができ、高精度な距離算出が可能となる。

本発明の距離算出装置を備えたデジタルカメラを説明する図。 画素への入射光束について説明する図。 距離算出手順について説明する図。 視差量算出工程について説明する図。 変換係数の算出方法を説明する図。 変位量の算出方法を説明する図。 視差量の誤差を低減できる理由を説明する図。 数値例１を説明する図。 実施例１における撮像素子の別の形態について説明する図。 視差量算出工程について説明する図。 数値例２を説明する図。 カメラの動作例を説明するフローチャート図。

本発明では、被写体に対する少なくとも２つの異なる視点にて取得した視差画像信号の１つを基準画像信号と設定し、視差画像信号のうち基準画像信号と設定した視差画像信号とは異なる視差画像信号を参照画像信号と設定する。そして、基準画像信号と参照画像信号とを一次形式で含む合成信号に基づき算出される重心位置を用いて、視差画像信号の間の視差の算出を行う。これにより、Ａ像とＢ像の像形状の非対称性により生じる視差量などの算出誤差を低減できて、視差画像信号に基づき被写体の距離情報を高精度に算出することができる。基準画像信号と参照画像信号に対して如何なる対象範囲を設定し、対象範囲が設定された基準画像信号と参照画像信号を如何なる一次形式で組み合わせて異なる合成信号を作成するかは、被写体の信号成分の重心間距離を直接算出するという観点から、決める。従って、後述する実施例における異なる合成信号の作成方法は、あくまで例示であって、本発明はこれらに限定されるものではない。

以下、図を用いて本発明の距離算出装置、距離算出方法等について説明する。その際、実施の形態にて、距離算出装置を備えた撮像装置の一例としてデジタルカメラを用いて説明するが、本発明の適用はこれに限定するものではない。例えば、デジタルビデオカメラやライブビューカメラ等の撮像装置、デジタル距離計測器などに用いることができる。また以下、図を用いて説明するが、全ての図において原則として同一の機能を有するものは同一の符号を付け、その繰り返しの説明はなるべく省略する。

（実施例１）
本発明の距離算出装置の実施例１を備えたデジタルカメラの説明をする。
＜デジタルカメラの構成＞
図１（Ａ）は本発明の距離算出装置を備えたデジタルカメラ１００の概略図である。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離算出部１０２、画像生成部（不図示）がカメラ筐体１３０の内部に配置され、構成される。距離算出装置１１０は、結像光学系１２０、撮像素子１０１、距離算出部１０２を含む。距離算出部１０２は論理回路を用いて構成することができる。距離算出部１０２の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。ここで、距離算出装置と後述する画像生成部が撮影筺体の内部に格納されていてもよい。また、距離算出装置に含まれる撮像素子及び距離算出部と画像生成部が撮影筐体の内部に格納され、結像光学系がレンズ筐体の内部に格納されて、撮影筐体とレンズ筐体を接続する接続部を備える構成にすることもできる。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の画像を撮像面である撮像素子１０１に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）及び絞り（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１０３を有する。結像光学系１２０の光軸１４０は、本実施例中ではｚ軸と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

ここで、このデジタルカメラ１００の動作例について説明しておく。ただし、以下は、あくまで一例である。図１２はデジタルカメラ１００のメイン電源が入り、シャッターボタン（不図示）が所謂半押しされた後の動作フローを説明する図である。まず、ステップ１２０１にて結像光学系１２０の情報（焦点距離、絞り値など）を読み出し、メモリ部（不図示）に保存する。次に、ステップ１２０２、１２０３、１２０４の処理を行い、焦点調節を行う。すなわち、ステップ１２０２では、撮像素子１０１から出力される被写体像信号に基づき、図３を用いて後述する被写体距離の算出手順を用いてデフォーカス量を算出する。ステップ１２０３では、算出したデフォーカス量に基づき、結像光学系１２０が合焦状態かどうか判別する。

合焦していない場合は、ステップ１２０４にて、デフォーカス量に基づき結像光学系１２０を合焦位置へ駆動したのち、ステップ１２０２へ戻る。ステップ１２０３にて合焦していると判定された場合は、ステップ１２０５にて、シャッターボタン（不図示）の操作によりシャッターがレリーズ（所謂全押し）されたか否かの判定を行う。レリーズされていないと判定された場合は、ステップ１２０２へ戻り、上述の処理を繰り返す。ステップ１２０５にてシャッターがレリーズされたと判定された場合には、撮像素子１０１から被写体像信号を読み出し、メモリ部（不図示）に保存する。メモリ部に保存された被写体像信号に現像処理を施すことで、観賞用画像を生成することができる。また、メモリ部に保存された被写体像信号に、図３を用いて後述する被写体距離の算出手順を適用することで、観賞用画像と対応した被写体距離画像（被写体距離分布）を生成することができる。

＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、電気信号（以下、被写体像信号ともいう。）に変換される。以下、本実施例の撮像素子１０１について、図１（Ｂ）を用いてより詳細に説明する。図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の画素群１５０を複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１、１５０Ｇ２が配置され、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置されて、構成されている。さらに、画素群１５０を構成する各画素は、画素中の受光層（図２中の２０３）に、ｘｙ断面にて対称な断面形状を有する２つの光電変換部（光電変換部１６１と光電変換部１６２）が並置されている。すなわち、撮像部は、結像光学系と、結像光学系の撮像面に配置される撮像素子と、を備え、撮像素子は、第１の光電変換部と第２の光電変換部を備えた測距画素が複数配列されて構成される。

＜距離計測の原理説明＞
撮像素子１０１内の光電変換部１６１及び光電変換部１６２が受光する光束について、図２を用いて説明する。図２は、結像光学系１２０の射出瞳１０３と、撮像素子１０１中に配置される画素の代表例の緑画素１５０Ｇ１と、についてのみ示した概略図である。図２に示した画素１５０Ｇ１は、カラーフィルタ２０１、マイクロレンズ２０２、受光層２０３から構成され、受光層２０３内に光電変換部１６１と光電変換部１６２が含まれている。マイクロレンズ２０２は、射出瞳１０３と受光層２０３が共役関係になるように配置されている。その結果、図２に示すように、射出瞳１０３内の瞳領域２６１を通過した光束２１０は光電変換部１６１に入射し、瞳領域２６２を通過した光束２６２を通過した光束２２０は光電変換部１６２に入射する。

光電変換部１６１及び光電変換部１６２は、それぞれが受光した光束を光電変換して視差を有する被写体像信号（いわゆる視差画像信号）を生成する。本明細書中の説明では、視差画像信号の一方を被写体像信号１（光電変換部１６１にて生成される信号）とし、他方を被写体像信号２（光電変換部１６２にて生成される信号）とする。被写体像信号１と被写体像信号２は、それぞれ、互いに異なる瞳領域２６１と瞳領域２６２を通過した光束を主に受光した２つの光電変換部の出力から生成された画像信号となる。被写体像信号１から、瞳領域２６１を主に通過した光束が撮像素子１０１上に形成する像（Ａ像）の強度分布を得ることができ、被写体像信号２から、瞳領域２６２を主に通過した光束が撮像素子１０１上に形成する像（Ｂ像）の強度分布を得ることができる。従って、被写体像信号１と被写体像信号２の相対的な位置ズレ量は、Ａ像とＢ像の視差量となる。こうして、第１の光電変換部は、結像光学系の第１の瞳領域を通過した光束による第１の視差画像信号を生成し、第２の光電変換部は、結像光学系の第２の瞳領域を通過した光束による第２の視差画像信号を生成する。そして、次に述べる如く、距離算出部にて、第１の視差画像信号と第２の視差画像信号に基づき被写体までの距離を算出する。

前記視差量は、後述の手法により算出し、後述の式１を介してデフォーカス量に変換することができる。また、結像光学系１２０の焦点距離に基づき、撮像素子１０１と光学的に共役な関係にある物体側のピント位置を算出することができる。さらに、結像光学系１２０の倍率関係に基づき像側のデフォーカス量を物体側のデフォーカス量に変換することができる。結像光学系１２０から物体側のピント位置までの距離と物体側のデフォーカス量の和を算出することで、被写体までの距離を算出することができる。このように、デフォーカス量を算出することで、被写体までの距離を算出することができる。

以上の構成の本実施例では、視差算出部は、基準画像信号に基づき算出される重心位置と、基準画像信号と前記参照画像信号の和信号に基づき算出される重心位置と、を用いて視差の算出を行う。より具体的には、視差算出部は、次の工程を実行して視差を算出する。
（１）基準画像信号に対して第１の対象範囲を設定し、参照画像信号に対して、第１の対象範囲と対応する位置から第１の変位量だけ変位させた位置に第２の対象範囲を設定する対象範囲設定工程
（２）基準画像信号の第１の対象範囲に含まれる信号要素に基づき第１の重心位置を算出し、基準画像信号の第１の対象範囲に含まれる信号要素と参照画像信号の第２の対象範囲に含まれる信号要素との和に基づき第２の重心位置を算出する重心位置算出工程
（３）第１の重心位置と第２の重心位置が等しくなる第１の変位量の値を算出する変位量算出工程

＜距離算出手順の説明＞
以下、本実施例の被写体距離の算出手順について、図３を参照しながらより詳細に説明する。ステップＳ１では、撮像素子１０１にて被写体像信号１及び被写体像信号２を取得し、距離算出部１０２に伝送する。このとき、撮像素子１０１がＮ行×Ｍ列の画素数を有する際には、Ｎ×Ｍ個のデータを有する信号が距離算出部１０２に伝送される。ステップＳ２では、被写体像信号１と被写体像信号２に基づき、視差量の算出を行う。ステップＳ２における視差量の算出工程については図４を用いて後述する。

ステップＳ３では、変換係数を介して視差量を像側デフォーカス量に変換する。変換係数の算出方法については図５を用いて説明する。図５（Ａ）は、画素の受光感度入射角度特性を示している。横軸は、画素へ入射する光の入射角度、縦軸は受光感度を示している。実線５０１は、光電変換部１６１の受光感度を示し、破線５０２は、光電変換部１６２の受光感度を示している。この受光感度を、射出瞳１０３に投影し、受光感度分布として表現したのが図５（Ｂ）である。色が濃くなるほど受光感度が高いことを示している。図５（Ｂ）において、光電変換部１６１の受光感度分布の重心位置５１１と光電変換部１６２の受光感度分布の重心位置５１２間の距離５１３は基線長と呼ばれ、視差量を像側デフォーカス量に変換するための変換係数として用いられる。視差量をｒ、基線長をｗ、撮像素子１０１から射出瞳１０３までの瞳距離をＬとしたとき像側デフォーカス量ΔＬは次の式１で表される。
ΔＬ＝ｒ・Ｌ／（ｗ−ｒ） 式１

式１を用いて視差量を像側デフォーカス量に変換することができる。なお、本実施例では式１を用いて視差量を像側デフォーカス量に変換したが、式１にて基線長ｗが視差量ｒに比べて十分大きいとの仮定に基づき、次のようにしてもよい。次の式２でゲイン値Ｇａｉｎを算出する。
Ｇａｉｎ＝Ｌ／ｗ 式２
そして、次の式３に基づき視差量を像側デフォーカス量に変換する。
ΔＬ＝Ｇａｉｎ・ｒ 式３
式３を用いることで視差量から像側デフォーカス量への変換を容易に行うことができ、被写体距離の算出に係る演算量を削減することができる。また、視差量から像側デフォーカス量への変換に、変換用のルックアップテーブルを用いてもよい。この場合にも、被写体距離の算出に係る演算量を削減することができる。

ステップＳ４では、ステップＳ３にて算出した像側デフォーカス量を、結像光学系の焦点距離及び倍率関係に基づき被写体距離の算出を行う。すなわち、前述したように、結像光学系の倍率関係に基づき像側デフォーカス量を物体側のデフォーカス量に変換し、結像光学系から物体側のピント位置までの距離と物体側のデフォーカス量の和を算出することで、被写体までの距離を算出する。

光電変換部１６１が受光する光量１と光電変換部１６２が受光する光量２は、像高に依存して変化し、一般に撮像素子１０１の周辺領域ほど受光光量は低下する。さらに光電変換部１６１と光電変換部１６２が入射角度依存性の高い感度特性を有することに起因して、光量１と光量２の比は撮像素子１０１の面内にて一定とはならず、像高に応じて変化する。その為、本実施例の被写体距離の算出手順のステップＳ１にて被写体像信号を取得した後、被写体像信号１と被写体像信号２の相対的な強度比を補正する処理を加えてもよい。強度比を補正する処理を加えることで、より高精度に視差量の算出を行うことができる。強度比の補正方法としては、予め取得したｘｙ面内で一様な輝度分布を有する被写体の像信号を用いて補正する方法がある。または、被写体像信号１と被写体像信号２をそれぞれＮ次微分（Ｎは１以上の整数。望ましくは１次微分）した後、Ｎ次微分した被写体像信号を用いて視差量の算出を行う方法を用いてもよい。

次に、図４を用いてステップＳ２の視差量算出工程について詳細に説明する。尚、図４の説明においては、被写体像信号１を基準画像信号、被写体像信号２を参照画像信号として説明を行う。ステップＳ２−１では、被写体像信号１に対して、視差量の算出に用いる画素範囲である対象範囲１を設定する。ｘ方向の対象範囲をｉｘｍｉｎからｉｘｍａｘまでとし、ｙ方向の対象範囲をｉｙｍｉｎからｉｙｍａｘまでとする。

ステップＳ２−２では、対象範囲１に含まれる信号要素の重心位置である重心位置１の算出を行う。被写体像信号１をＳ１とし、重心位置１をＧ１としたとき、次の数１で表される式４を用いて重心位置１を算出することができる。

ステップＳ２−３では、変位量１の設定を行う。変位量１の初期値は予め設定した値を用い、ステップＳ２−３を行う毎に変位量１に１を加える。ステップＳ２−４では、被写体像信号２に対して、ステップＳ２−１と同様に対象範囲２を設定する。対象範囲２は、対象範囲１と同じ領域サイズであり、且つ対象範囲１と対応する位置から変位量１だけ変位した位置に対象範囲を設定する。具体的には、ｘ方向の対象範囲をｉｘｍｉｎ−ｋからｉｘｍａｘ−ｋまでとし、ｙ方向の対象範囲をｉｙｍｉｎからｉｙｍａｘまでとする。ここで、ｋは変位量１である。撮像素子１０１内の光電変換部１６１と光電変換部１６２は、ｘ軸に沿って交互に配置している。すなわち、瞳領域２６１と瞳領域２６２はｘ方向に分割されている。被写体像信号１と被写体像信号２はｘ方向に視差が発生することが、撮像素子１０１の構成から分かるため、変位量１をｘ方向にのみ設定している。変位量１は、瞳領域２６１と瞳領域２６２が分割されている方向に沿って設定することが望ましい。仮にｘ軸と角度θを成す方向に、瞳領域が分割されている場合には、変位量１をｘ軸と角度θを成す方向に設定する。具体的には、ｘ方向の対象範囲をｉｘｍｉｎ−ｋ×ｃｏｓθからｉｘｍａｘ−ｋ×ｃｏｓθとし、ｙ方向の対象範囲をｉｙｍｉｎ−ｋ×ｓｉｎθからｉｙｍａｘ−ｋ×ｓｉｎθと設定すればよい。

ステップＳ２−５では、対象範囲１に含まれる信号要素と対象範囲２に含まれる信号要素の和信号の重心位置である重心位置２の算出を行う。被写体像信号１をＳ１とし、被写体像信号２をＳ２とし、重心位置２をＧ２としたとき、数２で表される式５により重心位置２を算出することができる。式５において、合成信号とは、基準画像信号Ｓ１と参照画像信号Ｓ２の和信号である。

ステップＳ２−６では、重心位置１と重心位置２の差分値を算出し、予め設定した閾値よりも大きい場合にはステップＳ２−７へ進み、小さい場合には再度ステップＳ２−３へ戻る判定処理を行う。

ステップＳ２−７では、重心位置１と重心位置２が等しくなる変位量１の算出を行う。図６は、横軸に変位量１、縦軸に重心位置１と重心位置２の差分（重心位置差＝Ｇ１−Ｇ２）をとったグラフである。一点鎖線６０１は、ステップＳ２−６の判定に用いる閾値を示している。変位量がｋ１とｋ２の間で、重心位置差が０となっている。従って、変位量ｋ１とｋ２の時の重心位置差を用いて線形補間により重心位置差＝０となる変位量ｋ０を算出することができる。尚、１次関数の最小二乗法によるフィッティングを用いて変位量ｋを算出してもよい。また、重心位置１と重心位置２の差分値を二乗し（または絶対値をとり）、２次関数（または１次関数）の最小二乗フィッティングや補間演算を用いて極小値を与える変位量ｋを算出しても構わない。

ステップＳ２−８では、ステップＳ２−７にて算出した重心位置１と重心位置２が等しくなる変位量ｋ０を、視差量に変換する。変位量ｋ０は単位が画素となっている。従って、変位量ｋ０に撮像素子１０１の画素周期ｐを乗じることで、変位量ｋ０を長さの単位である視差量に変換している。尚、本実施例では前述のステップＳ３にて説明した基線長を算出する際に、基線長の単位を長さ（ミリメートル）として算出しているために、ステップＳ２−７にて算出した変位量ｋ０を長さの単位に変換している。基線長について、予め画素周期ｐで除した単位系を用いる場合には、ステップＳ２−８は必ずしも必要ではなく、ステップＳ２−７にて算出した変位量ｋ０を視差量とすればよい。

本実施例の被写体距離の算出手順では、デジタルカメラ１００にて取得した被写体像信号の任意箇所の被写体距離を取得することを目的にステップＳ２−１にて対象範囲１の設定を行っている。しかし、予め被写体距離を取得する像高が決まっている場合には、ステップＳ２−１を省き、ステップＳ２−２の処理から視差量の算出処理を行って構わない。なお、ステップＳ２−６では、図６に示すように、単位変位量１あたりの重心位置１と重心位置２の差分値変化が正の値となる場合について判定処理を行っている。差分値変化が負の値となる場合については、ステップＳ２−６では、予め設定した閾値よりも小さい場合にはステップＳ２−７へ進み、大きい場合には再度ステップＳ２−３へ戻る判定処理を行う。例えば、被写体像信号１を参照画像信号、被写体像信号２を基準画像信号と設定した場合に、重心位置１と重心位置２の差分値変化は負になる。

本実施例の被写体距離の算出手順では、重心位置１と重心位置２が等しくなるという条件を用いることで、簡易な演算で像形状の非対称性に起因する視差量の誤差を低減し、高精度の被写体距離の算出を行うことができる。こうして、変位量算出工程では、第１の重心位置と第２の重心位置の差分値を評価値として設定し、評価値が０となる第１の変位量の値を算出する。一方、画像は、被写体像信号１と被写体像信号２の和を画像生成部にて算出することで生成することができる。

本実施例における撮像素子１０１の別の形態として、図９（Ａ）に示す構成としてもよい。ここでは、光電変換部１６１と光電変換部１６２をｘ方向に配列した画素群１５０と、光電変換部１６１と光電変換部１６２をｙ方向に配列した画素群９５０を、千鳥格子状に配列した構成としている。また、撮像素子１０１の別の形態として、図９（Ｂ）に示す構成としてもよい。光電変換部１６１のみを持つ画素（緑画素１５０Ｇ１、赤画素１５０Ｒ１、青画素１５０Ｂ１）で構成される画素群と、光電変換部１６２のみを持つ画素（緑画素１５０Ｇ２、赤画素１５０Ｒ２、青画素１５０Ｂ２）で構成される画素群で撮像素子１０１を構成する。図９（Ｂ）に示すように光電変換部１６１の面積を光電変換部１６２よりも広くとり、光電変換部１６１にて生成される被写体像信号と光電変換部１６２にて生成される被写体像信号の差分信号を後述の被写体像信号１とする。このことで、被写体までの距離を算出することができる。光電変換部１６１による被写体像信号と光電変換部１６２による被写体像信号との間に、被写体の距離に応じた相対的な位置ズレが生じればよく、いずれの形態であっても被写体までの距離を算出することができる。つまり、ここでは、撮像素子は、第１の光電変換部を備えた第１の測距画素と、第２の光電変換部を備えた第２の測距画素と、が複数配列されて構成される。第１の光電変換部は、結像光学系の第１の瞳領域を通過した光束による第１の視差画像信号を生成し、第２の光電変換部は、結像光学系の第２の瞳領域を通過した光束による第２の視差画像信号を生成する。そして、距離算出部にて、第１の視差画像信号と第２の視差画像信号に基づき被写体までの距離を算出する。

尚、光電変換部１６１による被写体像信号と光電変換部１６２による被写体像信号との間に、被写体の距離に応じた相対的な位置ズレを生じさせる機能を有する画素（測距画素）を撮像素子１０１の全面に配置する必要はない。撮像素子１０１の一部領域にのみ配置し、他の領域については通常の撮像用画素を配置する構成にしてもよい。測距画素に比べて撮像用画素は光電変換部の体積が大きいためにＳＮ比の高い像信号を取得することができる。測距画素が占める領域と撮像用画素が占める領域の面積比を必要に応じて設定することで、被写体距離の算出精度と画質を両立することができる。つまり、ここでは、撮像素子が結像光学系を通過した光束による撮影用画像信号を生成する撮像画素をさらに備え、画像生成部は、第１の被写体像信号及び第２の被写体像信号と、撮影用画像信号の少なくとも一方に基づき画像を生成することができる。なお、本実施例においては積分を数値積分する際に、矩形積分を用いて説明したが、数値積分の方法はこれに限るものではなく、台形積分を用いても構わない。

＜像形状の非対称性に起因する視差量の誤差を低減できる理由の説明＞
次に、本実施例の被写体距離の算出手順により、像形状に非対称性が生じた場合においても視差量の誤差を低減できる理由について図７を用いて説明する。図７（Ａ）は、被写体像信号１を示しており、図７（Ｂ）は被写体像信号２を示している。図７（Ａ）、（Ｂ）共に横軸にｘ方向の像高、縦軸に信号強度を示している。図７（Ａ）と図７（Ｂ）から、被写体像信号１をＳ１とし、被写体像信号２をＳ２とする。
Ｓ１（ｘ）＝Ｓ１０（ｘ）＋ＤＣ
Ｓ２（ｘ）＝Ｓ２０（ｘ）＋ＤＣ 式６

式６のように、被写体像信号１（または、被写体像信号２）は、ＤＣとして表した背景を示す信号成分に被写体の信号成分Ｓ１０（またはＳ２０）が足された信号であると考えることができる。本発明の距離算出装置１１０において被写体までの距離を算出するためには、ＤＣを除いた信号成分であるＳ１０とＳ２０の重心間距離である視差量を算出する必要がある。しかしながら、一般には背景成分と被写体成分を分離することは困難であるためＤＣは未知数となる。重心位置１の算出式である数式４と重心位置２の算出式である式５に式６を代入することで数３で表される式７を得ることができる。

式７において、Ｓ１０の対象範囲内における積分値とＳ２０の対象範囲内における積分値が等しいとき、Ｇ１とＧ２が等しくなる変位量ｋは、次の数４で表される式８と表される。

すなわち、Ｇ１とＧ２が等しくなる変位量ｋは、信号成分Ｓ１０と信号成分Ｓ２０の重心間距離（重心位置差）と等しくなる。従って、Ｇ１＝Ｇ２の条件を用いることで、背景成分であるＤＣの影響をキャンセルすることができ、被写体の信号成分であるＳ１０とＳ２０の視差量を算出することができる。こうして、変位量算出工程では、第１の重心位置と第２の重心位置の差分値を評価値として設定し、評価値が０となる第１の変位量の値を算出する。

従来提案されている視差量の算出方法では、信号成分Ｓ１０とＳ２０の形状が同じであると仮定して、相互相関演算により視差量の算出を行っていた。しかしながら、図７（Ａ）、（Ｂ）に示すように被写体像信号１と被写体像信号２が並進対称性を有さない場合には、信号成分Ｓ１０とＳ２０が同じ形状であるという仮定を満たさないために、視差量の算出誤差が生じていた。一方、本実施例の被写体距離の算出手順では、被写体の信号成分の重心間距離を直接算出している。その為、レンズ枠などによる光束のケラレにより被写体像信号１と被写体像信号２が並進対称性を有さない場合にも、視差量を高精度に算出することができる。

＜数値例１＞
数値例１を用いて、本実施例の距離算出装置１１０の被写体距離の算出手順を用いることで視差量の算出誤差を低減可能であることを示す。被写体は、反射率２％の背景部に反射率９０％の白線が配置された図８（Ａ）にｘｙ平面図を示す被写体８００を用いた。被写体８００を、像側のデフォーカス量が−０．２ｍｍとなる位置に配置し、本実施例のデジタルカメラ１０１で取得した被写体像信号に対して、前述の相対的な信号強度比の補正処理を行った被写体像信号１と被写体像信号２を示したのが図８（Ｂ）である。図８（Ｂ）においては、ｘ方向の像高を横軸にとり、縦軸に規格化した像信号強度をとり、示している。実線８０１は被写体像信号１であり、破線８０２は被写体像信号２である。図８（Ｂ）から、被写体像信号１と被写体像信号２の形状は、光束のケラレにより並進対称性を有さず、非対称な形状であることが分かる。

図８（Ｃ）は、横軸に変位量（ステップＳ２−３の変位量１）をとり、縦軸に重心位置差または相互相関値をとった図である。◆印８０３が本実施例による重心位置差であり、□印８０４は従来の相互相関演算を用いて算出した相互相関値である。本実施例の被写体距離の算出手順のステップＳ２−６において、重心位置１と重心位置２が等しくなる（すなわち、重心位置差＝０）となる変位量を算出すると、−１３．２０画素となる。一方、相互相関演算から算出した変位量は−１４．１５画素となる。それぞれの変位量を、視差量に変換した後、像側のデフォーカス量を算出すると、次のようになる。
本実施例：−０．２００［ｍｍ］
相互相関演算：−０．２１４［ｍｍ］
従来の相互相関演算を用いた場合には、視差量の算出誤差が−０．９５画素と大きい。一方、本実施例の距離算出装置では、視差量の算出誤差が０．００５画素程度と非常に小さく、高精度に視差量を算出できている。その為、本実施例の距離算出装置１１０では像側のデフォーカス量を高精度に算出することができる。被写体距離は像側のデフォーカス量と対応するため、本実施例の距離算出装置１１０においては、簡易な演算で高精度に被写体距離を算出することができる。

（実施例２）
次に、実施例１とは、距離算出手順の異なる本発明の実施例２について詳細に説明する。以下の説明では、実施例１と同様に本発明の距離算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。本実施例のデジタルカメラ１００は、実施例１と同一の構成を有し、距離算出部１０２にて行う視差量の算出工程が異なる。以下、図を用いて距離算出手順について詳細に説明する。

＜距離算出手順の説明＞
本実施例の被写体距離の算出手順について、図１０を参照しながら詳細に説明する。本実施例の被写体距離の算出手順は、実施例１とはステップＳ２の視差量の算出工程が異なる。以下、図１０を用いて本実施例の視差量算出工程について説明する。ステップＳ２−１１では、被写体像信号１に対して、対象範囲１の設定を行う。さらに被写体像信号２に対して、被写体像信号１の対象範囲１と対応する位置に対象範囲１を設定する。対象範囲１については、ステップＳ２−１と同様の範囲とする。

ステップＳ２−１２では、対象範囲１に含まれる被写体像信号１の重心位置と対象範囲１に含まれる被写体像信号２の重心位置の重心位置差である重心位置差１の算出を行う。被写体像信号１をＳ１、被写体像信号２をＳ２、重心位置差１をＧｄｆ１としたとき、次の数５で表される式９を用いて重心位置差１を算出することができる。

ステップＳ２−１３では、変位量１及び変位量２の設定を行う。変位量１の初期値は予め設定した値を用い、ステップＳ２−１３を行う毎に変位量１に１を加える。変位量２は、変位量１に−１を乗じた値であり、変位量１と変位量２は絶対値が等しく符号が逆の値となる。ステップＳ２−１４では、被写体像信号１に対して、対象範囲２の設定を行う。対象範囲２は、対象範囲１と同じ領域サイズであり、且つ対象範囲１から変位量１だけ変位した位置に対象範囲２を設定する。具体的には、ｘ方向の対象範囲をｘｍｉｎ＋ｋからｘｍａｘ＋ｋまで、ｙ方向の対象範囲をｙｍｉｎからｙｍａｘまでとする。

ステップＳ２−１５では、被写体像信号２に対して、対象範囲３の設定を行う。対象範囲３は、対象範囲１と同じ領域サイズであり、且つ対象範囲１から変位量２だけ変位した位置に対象範囲３を設定する。具体的には、ｘ方向の対象範囲をｘｍｉｎ−ｋからｘｍａｘ−ｋまでとし、ｙ方向の対象範囲をｙｍｉｎからｙｍａｘまでとする。尚、ステップＳ２−１４とステップＳ２−１５においては、変位量１及び変位量２をｘ方向に設定しているが、ｙ方向のみ、またはｘ方向とｙ方向の両方に設定しても構わないが、視差が発生する方向を考慮して設定することが望ましい。

ステップＳ２−１６では、対象範囲２に含まれる被写体像信号１の信号要素と対象範囲１に含まれる被写体像信号２の信号要素の和信号（合成信号）の重心位置３の算出を行う。さらに、対象範囲３に含まれる被写体像信号２の信号要素と対象範囲１に含まれる被写体像信号１の信号要素の和信号（合成信号）の重心位置４の算出を行う。次に、重心位置３と重心位置４の重心位置差である重心位置差２の算出を行う。重心位置差２をＧｄｆ２とし、被写体像信号１と被写体像信号２をステップＳ２−１２と同様にＳ１、Ｓ２としたとき、次の数６で表される式１０を用いて重心位置差２を算出することができる。

ステップＳ２−１７では、重心位置差１と重心位置差２の差分値が、予め設定した閾値よりも大きい場合にはステップＳ２−１８へ進み、そうでない場合にはステップＳ２−１３へ戻る判定処理を行う。

ステップＳ２−１８では、重心位置差１と重心位置差２が等しくなる変位量１の算出を行う。重心位置差１と重心位置差２が等しくなる変位量１の算出には、ステップＳ２−７と同様に線形補間を用いる手法や、１次関数または２次関数の最小二乗フィッティングを用いる手法を適用することができる。尚、変位量１の絶対値と変位量２の絶対値は等しい値であることを考慮すると、変位量２を変えながら重心位置差２の算出をしても構わない。ステップＳ２−８は、図４に示すステップＳ２−８と同様の処理を行う。

本実施例の被写体距離の算出手順では、重心位置差１と重心位置差２が等しくなるという条件を用いることで、簡易な演算で像形状の非対称性に起因する視差量の誤差を低減し、高精度の被写体距離の算出を行うことができる。以上の如く、本実施例では、視差算出部は次の工程を実行して視差を算出する。対象範囲設定工程では、基準画像信号と参照画像信号に対して第１の対象範囲を設定し、基準画像信号に対して第１の対象範囲と対応する位置から第１の変位量だけ変位させた位置に第２の対象範囲を設定する。そして、参照画像信号に対して第１の対象範囲と対応する位置から第１の変位量と絶対値が等しく符号が逆の値である第２の変位量だけ変位させた位置に第３の対象範囲を設定する。変位量算出工程では、基準画像信号の第１の対象範囲に含まれる信号要素に基づき算出される重心位置と、参照画像信号の第１の対象範囲に含まれる信号要素に基づき算出される重心位置と、の差分である第１の重心位置差を算出する。それとともに、基準画像信号の第２の対象範囲に含まれる信号要素と参照画像信号の第１の対象範囲に含まれる信号要素との和に基づき算出される重心位置を求める。また、参照画像信号の第３の対象範囲に含まれる信号要素と基準画像信号の第１の対象範囲に含まれる信号要素との和に基づき算出される重心位置を求める。そして、これらの重心位置の差分である第２の重心位置差を算出する。変位量算出工程では、第１の重心位置差と第２の重心位置差が等しくなる第１の変位量の値を算出する。

式９の右辺第一項をＧＳ２、式９の右辺第二項をＧＳ１とする。さらに、式１０の右辺第一項をＧＳ３、式９の右辺第二項をＧＳ４とする。Ｇｄｆ１＝Ｇｆｄ２のとき、次の式１１ようになる。
Ｇｄｆ１−Ｇｆｄ２＝（ＧＳ２−ＧＳ１）−（ＧＳ３−ＧＳ４）
＝（ＧＳ４−ＧＳ１）−（ＧＳ３−ＧＳ２）＝０ 式１１

式１１の（ＧＳ４−ＧＳ１）は、実施例１の重心位置差（Ｇ２−Ｇ１）と等しい形式である。また式１１の（ＧＳ３−ＧＳ２）は、実施例１においては、基準画像信号を被写体像信号２とし、参照画像信号を被写体像信号１としたときの重心位置差（Ｇ２−Ｇ１）と等しくなる。

本実施例の被写体距離の算出手順においては、被写体像信号１を基準画像信号とした場合と、被写体像信号２を基準画像信号とした場合の視差量を平均化した視差量が算出される。従って、実施例１の距離算出手順に比べて、被写体像信号にノイズ成分が付加された場合でも、視差量の算出誤差を低減することができる。

＜数値例２＞
数値例２を用いて、本実施例の距離算出装置１１０の被写体距離の算出手順を用いることで視差量の算出誤差を低減可能なことを示す。被写体及び被写体の配置位置は、数値例１と同じ設定を用いる。従って、本実施例のデジタルカメラ１００にて取得した被写体像信号１と被写体像信号２は図８（Ｂ）と同じ像信号となる。

図１１は、重心位置差２と重心位置差１の差分（重心位置差とする）と相互相関値を示した図である。◆印で示した８０３は実施例１の被写体距離の算出手順を用いた重心位置差であり、□印で示した８０４は従来の相互相関演算により算出した相互相関値である。■印で示した１１０１は、本実施例の被写体距離の算出手順を用いた重心位置差である。本実施例の被写体距離の算出手順により算出した像側のデフォーカス量は−０．２００ｍｍであり、実施例１と同様に高精度に被写体距離を算出することができる。

図１１から、◆印８０３に比べて、■印１１０１は傾きの大きい１次関数でフィッティングすることができる。その為、被写体の照度が低く、撮像素子１０１にて被写体像信号にノイズ成分が付加された場合でも、傾きが大きいために、１１０１により算出される視差量は、８０３と比較して視差量の算出精度を高く保つことができる。

（他の実施形態）
本発明の目的は、以下の実施形態によって達成することもできる。即ち、前述した実施例の機能（距離算出部などの機能）を実現するソフトウェアのプログラムコードを格納した記憶ないし記録媒体を、距離算出装置に供給する。そして、その距離算出部のコンピュータ（またはＣＰＵ、ＭＰＵなど）が記憶媒体に格納されたプログラムコードを読み出し上記機能を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラム、これを格納した記憶媒体は本発明を構成することになる。詳細には、本発明の変位量演算方法は以下の如き方法と捉えることができる。被写体に対する第１の視点にて取得した視差画像信号である第１の信号において、第１の対象範囲に含まれる第１の部分信号を抽出する。また、被写体に対する第２の視点にて取得した視差画像信号である第２の信号において、第１の対象範囲と対応する位置から第１の変位量だけ変位させた位置に配置される第２の対象範囲に含まれる第２の部分信号を抽出する。そして、第１の変位量を変化させることで変化する、第１の部分信号を含む信号と第２の部分信号を含む信号との相対的な変位量を演算する。より詳細には、第１の部分信号の重心位置である第１の重心位置と、第１の部分信号に第２の部分信号を加算した第３の部分信号を算出した後に第３の部分信号の重心位置である第２の重心位置を算出する。そして、第１の重心位置と第２の重心位置とが等しくなる第１の変位量を算出して、視差画像信号の間の視差を算出する。このように、前記プログラムは、被写体に対する少なくとも２つの異なる視点にて取得した視差画像信号に基づき被写体までの距離を算出するためのプログラムであって、前記変位量演算方法をコンピュータに実行させるプログラムである。

本発明の別の変位量演算方法は以下の如き方法と捉えることができる。被写体に対する第１の視点にて取得した視差画像信号である第１の信号及び被写体に対する第２の視点にて取得した視差画像信号である第２の信号において、それぞれ、第１の対象範囲に含まれる第１の部分信号及び第２の部分信号を抽出する。そして、第１の信号において、第１の対象範囲と対応する位置から第１の変位量だけ変位させた位置に配置される第２の対象範囲に含まれる第３の部分信号を抽出する。また、第２の信号において、第１の対象範囲と対応する位置から第１の変位量と絶対値が等しく逆符号の第２の変位量だけ変位させた位置に配置される第３の対象範囲に含まれる第４の部分信号を抽出する。こうして、第１の変位量を変化させることで変化する、第１及び第２の部分信号を含む信号と第１、第２、第３、及び第４の部分信号を含む信号との相対的な変位量を演算する。より詳細には、第１の部分信号の重心位置と第２の部分信号の重心位置との差分である第１の重心位置差を算出し、第３の部分信号と第２の部分信号の和の重心位置と、第４の部分信号と第１の部分信号の和の重心位置と、の差分である第２の重心位置差を算出する。そして、第１の重心位置差と第２の重心位置差とが等しくなる第１の変位量を算出して、視差画像信号の間の視差を算出する。前記プログラムは、こうした変位量演算方法をコンピュータに実行させるプログラムとすることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行うこともある。その処理によって前述した実施例の機能が実現される場合も本発明に含まれる。更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も本発明に含まれる。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローに対応するプログラムコードが格納されることになる。

本発明のデジタルカメラなどへの適用を考えると、本発明は、被写体像を撮像する撮像部とは別に距離算出を専用で行う距離算出装置（一眼レフカメラ等で用いられる）と共に、撮像部を用いて距離算出をも行う所謂撮像面測距に好適な装置と捉えることもできる。上述した様に、本発明の距離算出装置における距離算出部は、半導体素子を集積化した集積回路を用いて構成することができ、ＩＣ、ＬＳＩ、システムＬＳＩ、マイクロ処理ユニット（ＭＰＵ）、中央演算装置（ＣＰＵ）等で構成することができる。距離算出部をマイクロ処理ユニットや中央演算装置（ＣＰＵ）等で構成する場合には、距離算出部は、コンピュータとして捉えることが可能である。本発明のプログラムは、所定の結像光学系と、所定の撮像部、コンピュータと、を備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離算出が可能なものとなすことができる。本発明のコンピュータは、記録媒体の他、インターネットを通じて頒布することも可能である。

本発明により検出される距離を用いて、撮像装置にて得られる画像と対応する距離分布（距離マップ）を生成することができる。また、画像内の被写体のボケ量はデフォーカス量に依存するので、得られた画像に対して距離分布に基づく処理を行うことで、任意のボケ付加処理、撮影後のリフォーカス処理（任意の位置にピントを合わせる処理）等の画像処理などを適切に行うことができる。

１００・・デジタルカメラ（撮像装置）、１０１・・撮像素子（撮像部）、１０２・・距離算出部、１０３・・射出瞳、１１０・・距離算出装置、１２０・・結像光学系、１６１、１６２・・光電変換部、１５０・・画素群

Claims (15)

1. 被写体に対する１つの結像光学系の瞳上の異なる領域を介して少なくとも２つの異なる視点にて取得した複数の視差画像信号を生成する撮像部と、前記撮像部で生成した複数の視差画像信号の間の視差量の算出を行い、前記視差量に基づき被写体距離の算出を行う距離算出部を備えた距離算出装置であって、
   前記距離算出部は、
   前記複数の視差画像信号のうち１つを基準画像信号として第１の対象範囲の信号要素に基づき第１の重心位置を算出し、前記視差画像信号のうち基準画像信号とは異なる視差画像信号のうち１つを参照画像信号として前記第１の対象範囲と対応する位置から変位させた位置の第２の対象範囲に含まれる信号要素と前記基準画像信号の前記第１の対象範囲に含まれる信号要素とを合成した合成信号に基づき第２の重心位置を算出する重心位置算出工程と、前記第１の重心位置と前記第２の対象範囲の位置の変位量を変化させながら算出した複数の前記第２の重心位置の比較に基づいて複数の前記第２の対象範囲の位置の変位量から第１の変位量の値を算出する変位量算出工程と、前記第１の変位量の値から前記視差量を算出する視差算出工程と、を実行することを特徴とする距離算出装置。
2. 前記距離算出部は、更に
   前記基準画像信号に対して第１の対象範囲を設定し、前記参照画像信号に対して、前記第１の対象範囲と対応する位置から変位させた位置に第２の対象範囲を設定する対象範囲設定工程を実行し、
   前記重心位置算出工程は、前記基準画像信号の前記第１の対象範囲に含まれる信号要素に基づき第１の重心位置を算出し、前記基準画像信号の前記第１の対象範囲に含まれる信号要素と前記参照画像信号の前記第２の対象範囲に含まれる信号要素との和に基づき第２の重心位置を算出し、
   前記変位量算出工程は、前記第２の対象範囲の位置の変位量を変化させながら前記第１の重心位置と前記第２の重心位置が等しくなる前記第１の変位量の値を算出することを特徴とする請求項１に記載の距離算出装置。
3. 被写体に対する１つの結像光学系の瞳上の異なる領域を介して少なくとも２つの異なる視点にて取得した複数の視差画像信号を生成する撮像部と、前記撮像部で生成した複数の視差画像信号の間の視差量の算出を行い、前記視差量に基づき被写体距離の算出を行う距離算出部を備えた距離算出装置であって、
   前記距離算出部は、
   前記複数の視差画像信号のうちの１つの基準画像信号の第１の対象範囲に含まれる信号要素に基づき算出される重心位置と、前記視差画像信号のうち基準画像信号とは異なる視差画像信号のうちの１つの参照画像信号の前記第１の対象範囲に含まれる信号要素に基づき算出される重心位置と、の差分である第１の重心位置差を算出するとともに、前記基準画像信号の、前記第１の対象範囲と対応する位置から変位させた位置である第２の対象範囲に含まれる信号要素と前記参照画像信号の前記第１の対象範囲に含まれる信号要素とを合成した合成信号に基づき算出される重心位置と、前記参照画像信号の、前記第１の対象範囲と対応する位置から前記第２の対象範囲の変位量の絶対値が等しく符号が逆の値だけ変位させた位置である第３の対象範囲に含まれる信号要素と前記基準画像信号の前記第１の対象範囲に含まれる信号要素とを合成した合成信号に基づき算出される重心位置と、の差分である第２の重心位置差を算出する重心位置差算出工程と、前記第２の対象範囲の位置と前記第３の対象範囲の位置の変位量を変化させながら算出した複数の前記第１の重心位置差と前記第２の重心位置差の比較に基づいて複数の前記第２の対象範囲の位置の変位量から第１の変位量の値を算出する変位量算出工程と、前記第１の変位量の値から前記視差量を算出する視差算出工程と、を実行することを特徴とする距離算出装置。
4. 前記距離算出部は、更に
   前記基準画像信号と前記参照画像信号に対して第１の対象範囲を設定し、前記基準画像信号に対して前記第１の対象範囲と対応する位置から変位させた位置に第２の対象範囲を設定し、前記参照画像信号に対して前記第１の対象範囲と対応する位置から前記第２の対象範囲の変位量の絶対値が等しく符号が逆の値だけ変位させた位置に第３の対象範囲を設定する対象範囲設定工程を実行し、
   前記重心位置差算出工程は、
   前記基準画像信号の前記第１の対象範囲に含まれる信号要素に基づき算出される重心位置と、前記参照画像信号の前記第１の対象範囲に含まれる信号要素に基づき算出される重心位置と、の差分である第１の重心位置差を算出するとともに、前記基準画像信号の前記第２の対象範囲に含まれる信号要素と前記参照画像信号の前記第１の対象範囲に含まれる信号要素との和に基づき算出される重心位置と、前記参照画像信号の前記第３の対象範囲に含まれる信号要素と前記基準画像信号の前記第１の対象範囲に含まれる信号要素との和に基づき算出される重心位置と、の差分である第２の重心位置差を算出し、
   前記変位量算出工程は、
   前記第１の重心位置差と前記第２の重心位置差が等しくなる前記第１の変位量の値を算出することを特徴とする請求項３に記載の距離算出装置。
5. 前記変位量算出工程は、前記第１の重心位置と前記第２の重心位置の差分値、または前記第１の重心位置差と前記第２の重心位置差の差分値、を評価値として設定し、前記評価値が０となる前記第１の変位量の値を算出することを特徴とする請求項１乃至４の何れか１項に記載の距離算出装置。
6. 前記距離算出部は、前記視差量に基づいてデフォーカス量を求め、前記デフォーカス量を用いて前記被写体距離を算出することを特徴とする請求項１乃至５の何れか１項に記載の距離算出装置。
7. 前記撮像部は、前記結像光学系の撮像面に配置される撮像素子を備え、前記撮像素子は、第１の光電変換部と第２の光電変換部を備えた測距画素が複数配列されて構成され、
   前記第１の光電変換部は、前記結像光学系の第１の瞳領域を通過した光束による第１の視差画像信号を生成し、前記第２の光電変換部は、前記結像光学系の第２の瞳領域を通過した光束による第２の視差画像信号を生成し、
   前記距離算出部にて、前記第１の視差画像信号と前記第２の視差画像信号に基づき前記視差量を算出することを特徴とする請求項１乃至６の何れか１項に記載の距離算出装置。
8. 前記撮像部は、前記結像光学系の撮像面に配置される撮像素子を備え、前記撮像素子は、第１の光電変換部を備えた第１の測距画素と、第２の光電変換部を備えた第２の測距画素と、が複数配列されて構成され、
   前記第１の光電変換部は、前記結像光学系の第１の瞳領域を通過した光束による第１の視差画像信号を生成し、前記第２の光電変換部は、前記結像光学系の第２の瞳領域を通過した光束による第２の視差画像信号を生成し、
   前記距離算出部にて、前記第１の視差画像信号と前記第２の視差画像信号に基づき前記視差量を算出することを特徴とする請求項１乃至６の何れか１項に記載の距離算出装置。
9. 請求項７または８に記載の距離算出装置と画像生成部を備えた撮像装置であって、前記画像生成部は、前記第１の視差画像信号と前記第２の視差画像信号に基づき画像を生成することを特徴とする撮像装置。
10. 請求項７または８に記載の距離算出装置であって前記撮像素子が前記結像光学系を通過した光束による撮影用画像信号を生成する撮像画素をさらに備える距離算出装置と、画像生成部を備えた撮像装置であって、
    前記画像生成部は、前記第１の視差画像信号及び前記第２の視差画像信号と、前記撮影用画像信号の少なくとも一方に基づき画像を生成することを特徴とする撮像装置。
11. 前記距離算出装置と前記画像生成部が撮影筺体の内部に格納されていることを特徴とする請求項９または１０に記載の撮像装置。
12. 請求項７または８に記載の距離算出装置であって前記撮像素子が前記結像光学系を通過した光束による撮影用画像信号を生成する撮像画素をさらに備える距離算出装置と、画像生成部を備えた撮像装置であって、
    前記画像生成部は、前記第１の視差画像信号及び前記第２の視差画像信号と、前記撮影用画像信号の少なくとも一方に基づき画像を生成し、
    前記距離算出装置に含まれる前記撮像素子及び前記距離算出部と、前記画像生成部が撮影筐体の内部に格納され、前記結像光学系がレンズ筐体の内部に格納され、前記撮影筐体と前記レンズ筐体を接続する接続部を備えたことを特徴とする撮像装置。
13. 被写体に対する結像光学系の瞳上の一部の領域に基づく第１の視点にて取得した視差画像信号である第１の信号において、第１の対象範囲に含まれる第１の部分信号を抽出し、被写体に対する結像光学系の瞳上の前記一部の領域とは異なる領域に基づく第２の視点にて取得した視差画像信号である第２の信号において、前記第１の対象範囲と対応する位置から第１の変位量だけ変位させた位置に配置される第２の対象範囲に含まれる第２の部分信号を抽出し、前記第１の変位量を変化させることで変化する、前記第１の部分信号を含む信号と前記第２の部分信号を含む信号との相対的な変位量を演算する演算方法であって、
    前記第１の部分信号の重心位置である第１の重心位置と、前記第１の部分信号に前記第２の部分信号を加算した第３の部分信号を算出した後に前記第３の部分信号の重心位置である第２の重心位置を算出し、前記第１の重心位置と前記第２の重心位置とが等しくなる前記第１の変位量を算出し、前記第１の変位量から前記視差画像信号の間の視差を算出し、前記視差を像側デフォーカス量に変換し、像側デフォーカス量に基づき被写体距離の算出を行う、ことを特徴とする演算方法。
14. 被写体に対する結像光学系の瞳上の一部の領域に基づく第１の視点にて取得した視差画像信号である第１の信号及び被写体に対する結像光学系の瞳上の前記一部の領域とは異なる領域に基づく第２の視点にて取得した視差画像信号である第２の信号において、それぞれ、第１の対象範囲に含まれる第１の部分信号及び第１の対象範囲に含まれる第２の部分信号を抽出し、前記第１の信号において、前記第１の対象範囲と対応する位置から第１の変位量だけ変位させた位置に配置される第２の対象範囲に含まれる第３の部分信号を抽出し、前記第２の信号において、前記第１の対象範囲と対応する位置から前記第１の変位量と絶対値が等しく逆符号の第２の変位量だけ変位させた位置に配置される第３の対象範囲に含まれる第４の部分信号を抽出し、前記第１の変位量を変化させることで変化する、前記第１及び第２の部分信号を含む信号と前記第１、第２、第３、及び第４の部分信号を含む信号との相対的な差分量を演算する演算方法であって、
    前記第１の部分信号の重心位置と前記第２の部分信号の重心位置との差分である第１の重心位置差を算出し、前記第３の部分信号と前記第２の部分信号の和の重心位置と、前記第４の部分信号と前記第１の部分信号の和の重心位置と、の差分である第２の重心位置差を算出し、前記第１の重心位置差と前記第２の重心位置差とが等しくなる前記第１の変位量を算出し、前記第１の変位量から前記視差画像信号の間の視差を算出し、前記視差を像側デフォーカス量に変換し、像側デフォーカス量に基づき被写体距離の算出を行う、ことを特徴とする演算方法。
15. 被写体に対する少なくとも異なる視点にて取得した視差画像信号に基づき被写体距離の算出を行うためのプログラムであって、
    請求項１３または１４に記載の演算方法を実行する手段としてコンピュータを機能させることを特徴とするプログラム。