JP6091318B2 - 測距装置およびその制御方法 - Google Patents

Description

本発明は測距装置に関し、特にデジタルスチルカメラやデジタルビデオなどに用いられる距離測定機能に関するものである。

デジタルスチルカメラやデジタルビデオカメラのＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）用途において、視差のついた視差像を取得しステレオ測距を行う手法が知られている。異なる瞳領域を通過した光束により生成される光像（以下、それぞれ「Ａ像」、「Ｂ像」ともいい、両像をまとめて「ＡＢ像」ともいう）を取得する。このＡ像とＢ像の相対的な位置ズレ量である像ズレ量（視差ともいう）を算出し測距を行う。
このとき、対象である被写体が遠方ならびに近方を同時に含む被写体の場合には像ズレ量と遠近の対応が不明瞭となり、正確な測距演算を行うことができない。また、周期的なパターンを有する被写体も像ズレ量の解が複数求まり正確な測距演算を行うことができない。

測距装置にとって苦手なこれらの被写体に対し、特許文献１では被写体像のパターンマッチングにより遠近パターンであるかどうか判定するステップを採用し、被写体のパターンに応じて測距演算を行う画素領域を変更する手法が開示されている。特許文献２では周期パターンに対し瞳領域数を３つ以上にして検出角を小さくし、後段にて合成した像ズレ量を用い距離を算出する手法が開示されている。

特開２０１１−００７８６７号公報 特開２００８−３０４８０８号公報

特許文献１では、視差像を取得するセンサの画素領域を複数のブロックに分割して、競合する被写体のデフォーカス量をそれぞれ算出するように設定に変更する手法が開示されている。しかしながらセンサ画素領域の設定の具体的な決定方法について開示されておらず、設定変更後にも遠近パターンのデフォーカス量を分離できていない可能性が残存している。精度の向上には繰り返しの設定変更が必要となり、高速高精度な測距を行うことは難しい。

特許文献２では瞳領域を３つ以上に分割設定しそれらの像ズレ量を算出することで周期パターンによる偽合焦を排除する手法が開示されている。しかしながら瞳領域の分割設定値の具体的な決定方法が開示されておらず、周期パターンによる偽合焦を排除できていない可能性が残存している。精度の向上には繰り返しの分割設定値の変更が必要となり高速高精度な測距を行うことは難しい。

本発明は上記の従来技術の課題を解決するためになされたものであり、その目的は、高速かつ高精度に測距が可能な測距技術を提供することにある。

本発明の第一の態様は、
第一の視点の第一の像信号と第二の視点の第二の像信号を取得する像信号取得手段と、
距離検出領域における前記第一の像信号と、前記距離検出領域をシフトさせた領域における前記第二の像信号との相関値を、複数のシフト量に対して求める相関値取得手段と、
前記相関値に基づいて、複数の暫定シフト量を取得する暫定シフト量取得手段と、
前記複数の暫定シフト量に対応する像回復フィルタを用いて、前記第一の像信号または前記第二の像信号の少なくともいずれかを像回復する像回復手段と、
前記像回復処理に伴うコントラスト変化を解析するコントラスト解析手段と、
前記コントラスト解析の結果に基づいて、前記距離検出領域内の複数の画素について距離を決定する距離決定手段と、
を備え、
前記暫定シフト量取得手段は、前記相関値の極値を与える第一のシフト量を決定し、前記第一のシフト量を含む所定のシフト量の範囲である第一の範囲を複数の第二の範囲に分割し、それぞれの第二の範囲について暫定シフト量を取得する、
測距装置である。

本発明の第二の態様は、
第一の視点の第一の像信号と第二の視点の第二の像信号を取得する像信号取得ステップと、
距離検出領域における前記第一の像信号と、前記距離検出領域をシフトさせた領域における前記第二の像信号との相関値を、複数のシフト量に対して求める相関値取得ステップと、
前記相関値に基づいて、複数の暫定シフト量を取得する暫定シフト量取得ステップと、
前記複数の暫定シフト量に対応する像回復フィルタを用いて、前記第一の像信号または前記第二の像信号の少なくともいずれかを像回復する像回復ステップと、
前記像回復処理に伴うコントラスト変化を解析するコントラスト解析ステップと、
前記コントラスト解析の結果に基づいて、前記距離検出領域内の複数の画素について距離を決定する距離決定ステップと、
を備え、
前記暫定シフト量取得ステップでは、前記相関値の極値を与える第一のシフト量を決定し、前記第一のシフト量を含む所定のシフト量の範囲である第一の範囲を複数の第二の範囲に分割し、それぞれの第二の範囲について暫定シフト量を取得する、
測距方法である。

本発明によれば、高速かつ高精度な測距が可能となる。特に周期パターンを有する被写体や遠近を含む被写体に対し測距を行う際、高速かつ高精度に測距を行うことができる。

実施例にかかる測距装置の構成を示す図 実施例にかかる測距装置の処理を示すフローチャート 近接する被写体を対象とする測距を説明する図（実施例１） 暫定シフト量の決定方法を説明する図（実施例１） 像回復処理後のコントラスト変化を示す図（実施例１） 暫定シフト量の決定方法の変形例を説明する図 距離決定処理の詳細を示すフローチャート（実施例２，３） 周期被写体を対象とする測距を説明する図（実施例２） 暫定シフト量の決定方法を説明する図（実施例２） 像回復処理後のコントラスト変化を示す図（実施例２） 遠近競合被写体を対象とする測距を説明する図（実施例３） 暫定シフト量の決定方法を説明する図（実施例３） 像回復処理後のコントラスト変化を示す図（実施例３） 距離検出領域の再設定を説明する図（実施例４） 撮像面測距装置の構成を示す図（実施例５） 撮像素子が受光する光束を説明する図（実施例５） ステレオ測距の方法を説明する図

以下、図を用いて本発明の実施形態における測距装置について説明する。全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

本実施形態の説明の前に、ステレオ測距の一般的な方法について簡単に説明する。被写体について視差のついた二つの像信号を取得する。以下では、これら二つの像をＡ像およびＢ像と称する。例えば、図１７Ａに示すようにｘ方向にのみ明暗の分布を持つ被写体１７０２が存在した場合、図１７Ｂのように視差を持ったＡ像１７４１とＢ像１７４２が取得できる。

被写体１７０２の距離を算出するために、Ａ像とＢ像の間の視差（像ズレ量ともいう）を求める。像ズレ量の算出にはＡ像とＢ像の相関演算を行う。相関演算は公知の手法を用いることができ、例えば以下の数式１を用いて相関値Ｓ（ｋ）を算出する。

Ａ（ｉ）およびＢ（ｉ）は画素領域［ｉ］におけるＡ像およびＢ像の信号強度を表し、相関値Ｓ（ｋ）が極小値１７０３をとるｋより像ズレ量を算出する。画素領域［ｉ］はＡ像およびＢ像が含まれるよう設定され、像ズレ量の算出精度を鑑みて適宜決定する。

このようにして求まった像ズレ量と視点間の基線長とに対して三角測量の原理を適用して、被写体までの距離を算出する。

上述の一般的なステレオ測距では、被写体によっては精度よく距離測定が行えない場合がある。例えば、距離の異なる被写体同士が近接している場合は精度のよい測定が行えない。図３Ａに示すような、被写体３１１と被写体３１２からなる被写体パターン３０２が存在する場合を考える。被写体パターン３０２は、ｘ方向に明暗を持つ被写体３１１と被写体３１２からなる。被写体３１１と被写体３１２はｘ方向に互いに近接しており、ｚ方向に異なる座標に存在する。図３Ｂは、このような被写体パターン３０２をステレオカメラで撮影した場合のＡ像３４１およびＢ像３４２を示す。

Ａ像３４１およびＢ像３４２を対象とした相関値演算の結果を図３Ｃに示す。距離測定領域内に被写体３１１のみが含まれる場合には、その相関値Ｓ（ｋ）は点線３５１となる。同様に、距離測定領域内に被写体３１２のみが含まれる場合は、その相関値Ｓ（ｋ）は点線３５２となる。しかしながら、距離測定領域内に被写体３１１と被写体３１２が存在する場合には、実線３０３で示す相関値が得られる。これは、被写体３１１と被写体３１２がｘ方向において近接しているため、点線で示すそれぞれの相関値の極小が相互作用により埋もれてしまうためである。

このように、被写体が近接して相関値の極小が埋もれてしまう場合には、実際には距離が異なる被写体に対して、一つの距離が求められてしまうことになる。すなわち、精度のよい距離測定が実施できない。

（実施例１）
＜構成＞
図１は、本実施形態にかかるステレオ撮影装置（測距装置）１００の構成を示す。ステレオ撮影装置１００は、視差のついた第一の視点の第一の画像信号（Ａ像）と第二の視点の第二の画像信号（Ｂ像）を取得し、Ａ像およびＢ像の間の視差に基づいて被写体までの距離を算出する。

ステレオ撮影装置１００は、結像光学系１２１，１２２、受光素子アレイ１３１，１３２、Ａ像信号取得部１３３、Ｂ像信号取得部１３４、距離算出部１３５を備える。結像光学系１２１，１２２は、一つまたは複数の光学素子から構成され、それぞれ第一の視点１５１および第二の視点１５２からの像（Ａ像およびＢ像）を受光素子アレイ１３１，１３２に結像する。受光素子アレイ１３１，１３２は複数の受光素子からなり、第一および第二の視点の画像信号をそれぞれ出力する。以下、受光素子アレイ１３１が出力する信号を第一の画像信号、受光素子アレイ１３２が出力する信号を第二の画像信号とも称する。Ａ像信号取得部１３３は受光素子アレイ１３１から第一の画像信号を取得し、距離算出部１３５へ出力する。Ｂ像信号取得部１３４は受光素子アレイ１３２から第二の画像信号を取得し、距離算出部１３５へ出力する。距離算出部１３５は、第一および第二の画像信号に基づいて、被写体までの距離を算出する。距離算出部１３５は、ＤＳＰなどのマイクロプロセッサやメモリなどを有する。メモリに格納されたプログラムをマイクロプロセッサが実行することにより、相関値取得部１３６、暫定シフト量取得部１３７、像回復部１３８、コントラスト解析部１３９、距離決定部１４０の機能が実現される。これらの機能部は、ＡＳＩＣなどの専用のハードウェア回路によって実装されても構わないし、ソフトウェアとハードウェアの組合せにより実装されても構わない。

＜処理＞
図２は、本実施形態にかかるステレオ撮影装置１００が実行する距離測定処理の制御の流れを示すフローチャートである。以下、図２のフローチャートにしたがって、ステレオ撮影装置１００が行うステレオ測距について説明する。

〈ステレオ視差像の取得および相関値演算〉
ステップＳ２０１において、ステレオ撮影装置１００は視差のついたＡ像・Ｂ像の２つの画像を取得する。物体面１０１から出た第一の光束１１１は結像光学系１２１を介して受光素子１３１に結像し第一の視点１５１の第一の画像信号（Ａ像）を形成する。同様に、物体面１０１から出た第二の光束１１２は結像光学系１２２を介して受光素子１３２に結像し第二の視点１５２の第二の画像信号（Ｂ像）を形成する。Ａ像信号取得部１３３が受光素子アレイ１３１の第一の画像信号を読み出し、Ｂ像信号取得部１３４が受光素子アレイの第二の画像信号を読み出す。これらの信号は、距離算出部１３５に入力される。

以下の説明では、物体面１０１に図３Ａのようなｘ方向にのみ明暗の分布を持つ被写体３０２が存在する場合を例に説明する。なお、本実施形態にかかる測距処理は図３Ａに示すような特定の被写体の場合のみに有効なわけではなく、任意の被写体に対して有効である点に留意されたい。図３Ａに示す被写体３０２を撮影した場合は、図３Ｂのように視差を持ったＡ像３４１とＢ像３４２が取得される。

ステップＳ２０２において、相関値取得部１３６は、Ａ像３４１およびＢ像３４２に対して相関演算を行う。すなわち、相関値取得部１３６は、距離検出領域におけるＡ像と、この距離検出領域を所定量シフトさせた領域におけるＢ像との相関値を、複数のシフト量に対して求める。なお、距離検出領域は、所定の大きさの領域であり、像ズレ量の算出精度や処理速度を考慮して適宜決定すればよい。

相関値は、画像同士の類似度を表す指標であれば、任意のものを採用可能である。例えば以下の数式１により表される相関値Ｓ（ｋ）を採用することができる。

ここで、Ａ（ｉ）およびＢ（ｉ）は画素領域［ｉ］におけるＡ像およびＢ像の信号強度を表わす。

数式１に示す相関値Ｓ（ｋ）を採用する場合は、相関値Ｓ（ｋ）が小さいほど画像同士の相関が高いことを表す。図３Ｃは、図３Ｂに示すＡ像３４１およびＢ像３４２を対象とした相関演算の結果を示す。被写体３１１，３１２のそれぞれの相関値３５１，３５２の極小は、相互作用により埋もれてしまい、シフト量ごとの相関値は実線３０３のようになる。

〈暫定像ズレ量の算出〉
ステップＳ２０３〜Ｓ２０５において、暫定シフト量取得部１３７は、複数の暫定シフト量（暫定像ズレ量）を取得する。ステップＳ２０３では、暫定シフト量取得部１３７は、相関値演算の結果に基づいて、第一の暫定シフト量を取得する。具体的には、相関値Ｓ（ｋ）が極小値を与えるシフト量（相関が極大となるシフト量）を、第一の暫定シフト量として決定する。相関値演算の結果が図３Ｃに示すものの場合には、相関値Ｓ（ｋ）が極小値をとるｋ＝ｋｂが第一の暫定シフト量として決定される。

次いで、暫定シフト量取得部１３７は、相関値演算の結果と第一の暫定シフト量に基づいて、複数の第二の暫定シフト量を決定する。より具体的には、ステップＳ２０４において、暫定シフト量取得部１３７は、第一の暫定シフト量を含むようにシフト量ｋの範囲（第一の範囲）を決定し、この範囲を複数の第二の範囲に分割する。そして、ステップＳ２０５において、暫定シフト量取得部１３７は、各第二の範囲に対して第二の暫定シフト量を決定する。

図４を参照して、具体的に説明する。図４のうち、ｋｂが第一の暫定シフト量である。暫定シフト量取得部１３７は、第一の暫定シフト量ｋｂを含み、相関値Ｓ（ｋ）が閾値４０１以下となるシフト量ｋの範囲として、第一の範囲４０２を決定する。閾値４０１は、結像光学系や基線長の値、被写体像信号のコントラストや明るさから決まる測距算出精度に基づいて決定する。次に、設定した分割値に基づき第一の範囲４０２内を複数の第二の範囲４１１，４１２，４１３に分割する。本実施例では、第一の範囲４０２を等分割して、第二の範囲４１１，４１２，４１３を得る。ここでは、分割値は「３」としたが精度と計算量の負荷を鑑みて適宜設定すればよい。暫定シフト量取得部１３７は、領域３１１から３１３の中央値を第二の暫定シフト量ｋ１、ｋ２、ｋ３として決定する。

〈像回復・コントラスト解析・距離の決定〉
ステップＳ２０６では、像回復部１３８が、第二の暫定シフト量ｋ１，ｋ２，ｋ３に対応する像回復フィルタを用いて、像回復処理を実施する。具体的には、像回復部１３８は、第二の暫定シフト量ｋ１，ｋ２，ｋ３に対応する距離Ｌ１、Ｌ２、Ｌ３を、公知の手法を用いてそれぞれ算出する。算出された距離Ｌ１からＬ３をもとに、像回復で用いられる最適な像回復フィルタをそれぞれ選定される。像回復は公知の手法により行えばよい。例えば、距離Ｌ１，Ｌ２，Ｌ３に応じた点像分布関数をフーリエ変換し、得られた関数の逆数を逆フーリエ変換した関数を像回復フィルタとして採用し、Ａ像３４１に畳込み演算す
ることで行う。像回復処理は、Ａ像またはＢ像の少なくともいずれか一方に対して行えばよい。

なお、像回復フィルタは距離（Ｌ１，Ｌ２，Ｌ３）に応じて決定されるが、距離は第二の暫定シフト量（ｋ１，ｋ２，ｋ３）に応じて決定されるので、像回復フィルタは第二の暫定シフト量に応じて決定されると表現することもできる。

図５Ａ〜図５Ｃは、像回復を行った結果を示す。図５Ａは、Ａ像３４１に対し距離Ｌ１に対応した像回復フィルタを用いて像回復を行った結果を示す。同様に、図５Ｂは距離Ｌ２に対応したフィルタによる像回復の結果を示し、図５Ｃは距離Ｌ３に対応したフィルタによる像回復の結果を示す。

最適な像回復フィルタはピント面からのデフォーカス量により異なる。よって、被写体の位置に対して適切なフィルタを選定した場合には像回復後のコントラストは高くなる。逆に不適切なフィルタを選定した場合には像回復後のコントラストは低くなる。

そこで、ステップＳ２０７では、像回復フィルタの正当性ひいては算出した距離の正当性を判断するために、コントラスト解析部１３９が、像回復による画像信号のコントラスト変化を解析する。コントラスト解析部１３９は、距離検出領域内の被写体ごとに、像回復処理によるコントラストの変化を解析する。コントラストの変化は、画像信号を微分し、像回復処理前後での画像信号のエッジ部の傾き（鮮鋭度）の変化を判定することで取得できる。

被写体像信号５０２は、図５Ａに示すように、距離Ｌ１に対応するフィルタを用いた像回復によりコントラストが最も高くなる。また、被写体像信号５０１は、図５Ｃに示すように、距離Ｌ３に対応するフィルタを用いた像回復により、コントラストが最も高くなる。

ステップＳ２０８で、距離決定部１４０は、コントラスト解析の結果を基に被写体ごとの距離を決定する。図５Ａに示すように距離Ｌ１に対応するフィルタを用いた像回復処理により被写体像信号５０２のコントラストが最も高くなるため、被写体３１２の距離はＬ１と決定される。また同様に、図５Ｃに示すように距離Ｌ３に対応するフィルタを用いた像回復処理により被写体像信号５０１のコントラストが最も高くなるため、被写体３１１の距離はＬ３と決定される。なお、ここでは距離決定部１４０が被写体ごとに距離を決定すると説明したが、どの画素がどの被写体に対応するかを判断する必要はない。すなわち、距離決定部１４０は、距離検出領域内の所定のサブ領域ごとに、各フィルタを用いた像回復処理前後でのコントラスト変化に基づいて距離を決定すればよい。

以上のように、本実施例によれば、相関演算の結果では互いの信号に埋もれ正確な像ズレ量（シフト量）が算出できない場合でも測距動作を行うことができる。

＜変形＞
ステップＳ２０２の相関演算において、相関値として数式１に示す指標を用いたが、この手法に限る必要はない。正の極値をとる相関値を採用してもよい。この場合、相関値が極大値（最大値）をとるｋの値を第一の暫定シフト量として決定すればよい。また、正負の値をとり、値ゼロが最も高い相関を表す相関値を採用してもよい。この場合の第一および第二の暫定シフト量の決定方法について図６を参照して説明する。第一の暫定シフト量は、ゼロ点を与える値ｋとして決定される。そして、閾値６０１（プラス側とマイナス側で値（絶対値）は同じでもよいし異なっていてもよい）により第一の範囲６１１を決定する。この第一の範囲６１１を分割し第二の範囲を決定し、各範囲について第二の暫定シフ
ト量を求める。

また、暫定シフト量取得手段はＡ像とＢ像の相対的位置ずれ量（変位量）を求める手段であればよく、上記の実空間で距離検出領域をシフトさせる方法の他にもフーリエ変換を用いた位相空間での計算手法で求めても良い。これは暫定シフト量の算出精度を向上できる点で好適である。

上記の説明では、第一の範囲を等分割して第二の範囲を得ているが、必ずしも等分割とする必要はなく、非等分割であってもよい。また、第二の範囲の中央値を、その範囲についての第二の暫定シフト量としているが、これ以外の値を第二の暫定シフト量としてもよい。例えば、第二の範囲内の相関値の平均値（中央値でもよい）を与えるシフト量を第二の暫定シフト量として決定してもよい。あるいは、第二の範囲の上限や下限、あるいは中央値以外の所定の値を第二の暫定シフト量として決定してもよい。

像回復に用いるフィルタは、予め記憶しておいたものを使用してもよいし、その都度計算して求めてもよい。予め記憶しておいたリストから選出する手法は計算量の負荷を低減する目的に好適である。また、像回復フィルタを結像光学系の光学情報に基づき算出する手法は像回復の精度を向上し、ひいては測距精度を向上できる点で好適である。像回復フィルタとしては、点像分布関数や線像分布関数を基に生成した像回復フィルタを用いることができる。回復フィルタとして点像分布関数を基に生成することは高精度な像回復が行える点で好適である。また、像回復フィルタとして線像分布関数を基に生成することは被写体が一軸方向にのみコントラストを有するものである場合、精度の確保しつつ計算の高速化が図れるので好適である。また、ウィーナーフィルタの手法を用いて生成した画像回復フィルタを用いることも、画像回復時にノイズ成分の影響を抑制する効果が得られるので好適である。また、Ａ像の点像分布関数または線像分布関数をＢ像に（Ｂ像の点像分布関数または線像分布関数をＡ像に）畳込むことで像回復を行う手段も計算量を抑制できる観点から好適である。

像回復処理は、Ａ像またはＢ像のいずれか一方のみに行ってもよいし、これらの両方に対して行ってもよい。像回復をＡ像もしくはＢ像一方のみに行いコントラスト解析を行うことは計算量の負荷を低減する点で好適である。また、Ａ像とＢ像の両方に像回復を行いコントラスト解析を行うことは測距精度を向上できる点で好適である。

コントラスト解析を、像回復前の画像信号も用いて像回復処理前後でのコントラストの変化を検出するようすることは、距離測定の精度を向上できる点で好適である。

コントラストの変化を解析するためには、鮮鋭度の変化を判断する以外にも、例えば、リンギングの変化を判断してもよい。コントラスト解析を、画像信号間の微分や差分により鮮鋭度変化の比較によって行うことは、計算量の増加を防ぎながら精度良く距離を判定できるので好適である。また、コントラスト解析を、被写体像信号の高周波成分の増加を検出するリンギングの変化を比較することによって行うことは、より高精度な距離算出を行うことができるので好適である。

一つの距離検出領域について距離算出を行う場合を例に説明したが、距離検出領域を変えながら上記の処理をくり返すことで、画像全体に対して距離を測定することができる。

本実施例では、ステレオ測距装置（測距装置）が撮像光学系や撮像素子を有し、自らが撮影した画像に基づいて測距を行っているが、測距対象となる画像の取得方法は任意であってよい。例えば、メモリに格納された視差画像を取得して、これらの視差画像に基づいて測距動作を行ってもよい。また、ネットワーク経由で視差画像を取得して測距動作を行
ってもよい。

（実施例２）
本実施例は、視差像から得られる相関値に複数の極値がある場合に好適に適用可能なステレオ撮影装置（測距装置）である。本実施例にかかるステレオ撮影装置の構成は、実施例１（図１）やその変形例と同様であるため説明を省略する。実施例１等と比較すると、暫定シフト量取得部１３７および距離決定部１４０の処理内容が異なるので、主にこれらの機能部の処理について説明する。

本実施例にかかるステレオ装置撮影１００によって、図８Ａに示すような被写体パターン８０２を撮影する場合を考える。被写体パターン８０２はｘ方向に明暗を持つ被写体８１１，８１２，８１３から成る。被写体８１１，８１２，８１３はｘ方向において互いに近接しており、ｚ方向においては等しい座標に存在する。つまりｘ方向に周期的な形状を持った被写体パターンである。図８Ｂは、撮影されるＡ像８４１（実線）とＢ像８４２（点線）を示す図である。Ａ像８４１およびＢ像８４２に対して実施例１と同様の相関演算（ステップＳ２０２）を行うと、図８Ｃに示すような結果が求まる。注目している被写体が周期的なパターンを有するため、本来の視差を表す像ズレ量以外に相関値の極値が複数存在する。

暫定シフト量取得部１３７は、相関値が極値を与える複数のシフト量を、第一の暫定シフト量として決定する（ステップＳ２０３）。図８Ｃの例では、相関値に５つの極値があるので、第一の暫定シフト量は５つ取得される。暫定シフト量取得部１３７は、図９に示すように、これら５つの第一の暫定シフト量を含み、相関値が閾値９０１以下となる第一の範囲９１１を決定し、この第一の範囲９１１を分割値に従って第二の範囲に分割する（ステップＳ２０４）。ここでは、分割値をｎ（２以上の整数）とする。この分割値ｎは予め定められた値であってもよいし、取得される第一の暫定シフト量に応じて決定される値であってもよい。

暫定シフト量取得部１３７は、各第二の範囲の中央値ｋ１〜ｋｎを第二の暫定シフト量として決定する（ステップＳ２０５）。像回復部１３８は、ｋ１〜ｋｎに対応した暫定像ズレ量を算出し、各暫定像ズレ量に基づく距離Ｌ１〜Ｌｎに対応した像回復フィルタを用いて被写体像信号の像回復を行う（ステップＳ２０６）。図１０Ａ〜図１０Ｃは順に、第一の範囲９１１中に含まれるｋｂ、ｋｃ、ｋｄに基づく距離Ｌｂ、Ｌｃ、Ｌｄに対応したフィルタを用いてＡ像８４１を像回復した結果を示す。信号１００１は被写体８１１に対応し、信号１００２は被写体８１２に、信号１００３は被写体８１３に対応する。コントラスト解析部１３９は、像回復前後でのコントラストの変化を解析する（Ｓ２０７）。

距離決定部１４０は、コントラスト解析の結果をもとに被写体の距離を決定する（Ｓ２０８）。距離決定部１４０が行う距離決定処理の本実施例における詳細な処理を、図７のフローチャートに示す。まず、ステップＳ２０３において決定される第一の暫定シフト量が複数存在するか判定する（Ｓ７０１）。第一の暫定シフト量が複数存在し（Ｓ７０１−ＹＥＳ）、かつ、像回復の結果コントラストが高くなる像回復フィルタが同じものである場合（Ｓ７０２−ＹＥＳ）は、被写体が周期被写体であると判断できる。被写体パターン８０２の場合は、像回復の結果が図１０Ａ〜図１０Ｃに示すようになり、距離Ｌｃに対応した像回復フィルタを用いた場合に信号１００１〜１００３のコントラストが同時に最も高くなる。一方、他の距離に対応する像回復フィルタを用いた場合にはコントラストはそれほど高くならない。よって被写体パターン８０２は、周期パターンを有する被写体であると判断でき、距離測定領域内の被写体全てについて一つの距離Ｌｃを決定することができる。

このようにして周期パターンを有する被写体の測距を行う場合、相関演算の結果からでは正確な距離が算出できない場合でも測距動作を行うことができる。

さらに像回復処理後のコントラストが向上した画像信号を用いて再度相関演算を行い、最大の相関を与える像ズレ量に基づいて距離検出を行うことも好ましい。距離検出領域内には等しい距離にある被写体のみが存在するので、従来と同様の測距方法によって精度の良い距離検出が可能となる。また、コントラストが向上した画像信号を用いることで、距離検出の精度が向上する。

（実施例３）
本実施例は、実施例２と同様のステレオ撮影装置１００である。本実施例にかかるステレオ撮影装置１００にて、図１１Ａに示すような被写体パターン１１０２を撮影する場合を説明する。被写体パターン１１０２は、ｘ方向に明暗を持つ被写体１１１１，１１１２から成る。被写体１１１１，１１１２はｚ方向において異なる座標に存在する。つまり遠方と近方を同時に持った被写体パターンである。図１１Ｂは、撮影されるＡ像１１４１とＢ像１１４２を示す図である。Ａ像１１４１およびＢ像１１４２に対して実施例１と同様の相関演算（ステップＳ２０２）を行うと、図１１Ｃに示すような結果が求まる。被写体パターン１１０２は、図３に示す被写体パターン３０２よりも被写体間の距離が離れているため、２つの極値ｋ３，ｋ４が得られている。

暫定シフト量取得部１３７は、相関値が極値を与える複数のシフト量を、第一のシフト量として決定する（ステップＳ２０３）。図１１Ｃの例では、ｋ３，ｋ４の２つのシフト量が第一の暫定シフト量として決定される。このとき注目している被写体が遠方と近方を同時に含むため、相関演算から求まるｋ３およびｋ４の値のどちらが遠方もしくは近方の距離に対応しているか判別できない。

暫定シフト量取得部１３７は、図１２に示すように、これらの第一の暫定シフト量を含み、閾値１２０１以下となる第一の範囲を決定し、この第一の範囲を分割値に従って第二の範囲に分割する（ステップＳ２０４）。ここでは、分割値をｎ（２以上の整数）とする。

暫定シフト量取得部１３７は、各第二の範囲の中央値ｋ１〜ｋｎを第二の暫定シフト量として決定する（ステップＳ２０５）。像回復部１３８は、ｋ１〜ｋｎに対応した暫定像ズレ量を算出し、各暫定像ズレ量に基づく距離Ｌ１〜Ｌｎに対応した像回復フィルタを用いてＡ像の像回復を行う（Ｓ２０６）。図１３Ａは、ｊｐとｊｐ+１で示される範囲内の
ｋｐに基づく暫定像ズレ量に対応した距離Ｌｐを用いた像回復の結果を示す。同様に図１１Ｂは、ｊｑとｊｑ+１で示される範囲内のｋｑに基づく暫定像ズレ量に対応した距離Ｌ
ｑを用いた像回復の結果を示す。信号１３０１は被写体１１１１に対応し、信号１３０２は被写体１１１２に対応する。コントラスト解析部１３９は、像回復前後でのコントラストの変化を解析する（Ｓ２０７）。

距離決定部１４０は、コントラスト解析の結果をもとに被写体の距離を決定する（Ｓ２０８）。図１３Ａに示すように、被写体１３０２のコントラストが最も高くなるのは、距離Ｌｐに対応する像回復フィルタを用いた場合である。また、図１３Ｂに示すように、被写体１３０１のコントラストが最も高くなるのは、距離Ｌｑに対応する像回復フィルタを用いた場合である。このように、距離検出領域内の被写体によって、最もコントラストが高くなる像回復フィルタが異なる（Ｓ７０２−ＮＯ）ので、距離決定部１４０は距離検出領域内に距離の異なる被写体が存在すると判定する（Ｓ７０４）。そして、コントラスト解析の結果に基づいて、被写体１３０２の距離をＬｐと決定し、被写体１３０１の距離をＬｑと決定する。

このように注目する被写体中に遠方と近方を同時に含む場合でも相関演算を用いて精度良く測距動作を行える。

さらに像回復処理後のコントラストが向上した距離に応じた各画像信号を用いて再度相関演算を行い、最大の相関を与える像ズレ量に基づいて距離検出を行うことも好ましい。等しい距離にある被写体のみを対象とし、かつ、コントラストが向上した画像信号を用いることで、距離検出の精度が向上する。

（実施例４）
本実施例は、上記実施例１〜３に対する変形例である。実施例１〜３の方法に従って注目する被写体の距離を算出した後に、算出された距離に基づいて距離測定領域を再設定して再び距離検出を行う。これにより周期パターンを有する被写体と遠近を含む被写体を分離できる効果が得られる。

図１４Ａに示す被写体パターン１４０２を撮影する場合を考える。図１４Ｂ，１４Ｃは像回復処理（Ｓ２０５）後の像信号を表す。図１４Ｂは、被写体１４１１の距離に対応した像回復後のＡ像であり、図１４Ｃは、被写体１４１４の距離に対応した像回復後のＡ像である。被写体１４１１の像信号１４２１は図１４Ｂの場合にコントラストが高くなっており、被写体１４１４の像信号１４２２は図１４Ｃの場合にコントラストが高くなっている。したがって、実施例１，２に示す方法により、被写体ごと（領域ごと）の距離が求められる。

本実施例では、このようにして求められた距離に基づいて、距離検出領域を再設定する。具体的には、距離の等しい被写体が存在する領域を一つの距離検出領域として再設定する。図１４Ｂ，図１４Ｃの例では、求められた距離が領域１４３１内では等しいので、領域１４３１が一つの距離検出領域として再設定される。同様に、求められた距離が領域１４３２内では等しいので、領域１４３２が別の距離検出領域として再設定される。

本実施例では、このようにして再設定された距離検出領域に対して、相関演算を用いた公知の手法による距離算出を行う。すなわち、再設定された距離検出領域に対して種々のシフト量について相関演算を行い、最も高い相関を与えるシフト量に基づいて、距離を決定する。

このように、各被写体を分離して、適切な画素領域を距離検出領域として設定できる。また、被写体を分離することにより相関演算の結果が互いの相互作用によって値が変わってしまうことを防ぐことができる。よって、相関演算の精度が向上することから測距精度の向上も図れる。以上により、被写体同士の影響を排除した相互演算を効果的に行うことができ、測距精度の向上が図れる。

（実施例５）
本実施例は、瞳分割により視差のついた画像を取得する撮像面測距装置である。撮像面測距により、測定系をコンパクトにできる。

＜デジタルカメラの構成＞
図１５Ａは、本実施例にかかる距離算出装置を備えたデジタルカメラ１５００を示す。デジタルカメラ１５００は、結像光学系１５２０、撮像素子（受光素子）１５０１、距離算出部１５０２、画像生成部（不図示）が、カメラ筐体１５３０の内部に配置されて構成される。距離算出装置１５１０は、結像光学系１５２０、撮像素子１５０１、距離算出部１５０２から構成される。距離算出部１５０２は論理回路を用いて構成することができる
。距離算出部１５０２の別の形態として中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

結像光学系１５２０は、デジタルカメラ１５００の撮影レンズであり、被写体の像を撮像面である撮像素子１５０１に形成する機能を有する。結像光学系１５２０は複数のレンズ群（不図示）及び絞り（不図示）から構成され、撮像素子１５０１から所定距離離れた位置に射出瞳１５０３を有する。なお、図１５Ａ中の１５４０は結像光学系１５２０の光軸である。

＜撮像素子の構成＞
撮像素子１５０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。結像光学系１５２０を介して撮像素子１５０１上に結像した被写体像は、撮像素子１５０１により光電変換され、電気信号（被写体像信号ともいう）に変換される。ここで、少なくとも一部の撮像素子は、結像光学系の射出瞳上の重複を許す異なる領域から形成される第一および第二の光束を受光するように、受光面が二つ以上の領域に分割されている。

以下、本実施例の撮像素子１５０１について、図１５Ｂを用いてより詳細に説明する。図１５Ｂは、撮像素子１５０１のｘｙ断面図である。撮像素子１５０１は、２行×２列の画素群１５５０を複数配列することで構成される。画素群１５５０は、対角方向に緑画素１５５０Ｇ１及び１５５０Ｇ２、他の２画素に赤画素１５５０Ｒ及び青画素１５５０Ｂが配置されて構成されている。さらに、画素群１５５０を構成する各画素は、画素中の受光層（図１６中の１６０３）にｘｙ断面にて対称な断面形状を有する２つの光電変換部（光電変換部１５６１と光電変換部１５６２）が並置されている。

＜撮像面測距＞
撮像素子１５０１内の光電変換部１５６１及び光電変換部１５６２が受光する光束について、図１６を用いて説明する。図１６は、結像光学系１５２０の射出瞳１５０３と、撮像素子１５０１中に配置される画素の代表例として緑画素１５５０Ｇ１についてのみ示した概略図である。図１６に示した画素１５５０Ｇ１は、カラーフィルタ１６０１、マイクロレンズ１６０２、受光層１６０３から構成され、受光層１６０３内に光電変換部１５６１と光電変換部１５６２が含まれている。マイクロレンズ１６０２は、射出瞳１５０３と受光層１６０３が共役関係になるように配置されている。その結果、図１６に示すように、射出瞳１５０３内の瞳領域１６６１を通過した光束１６１０は光電変換部１５６１に入射し、瞳領域１６６２を通過した光束１６２０は光電変換部１５６２に入射する。

このようにしてひとつの結像光学系の射出瞳上の異なる領域を通る第一の光束と第二の光束を撮像素子面上の異なる領域で受光することにより視差像（Ａ像およびＢ像）を取得する。距離算出部１５０２の構成および処理内容は、実施例１〜４と同様であるためここでは説明を省略する。

このような構成および測距動作原理をもつ撮像面測距素子ならびにこれを備えた撮影装置に本発明を適応した場合、周期的パターンを有する被写体や、遠方ならびに近方を含む被写体、近接したパターンを有する被写体に対して高精度に測距を行うことができる。

１３３ Ａ像信号取得部 １３４ Ｂ像信号取得部
１３６ 相関値取得部 １３７ 暫定シフト量取得部 １３８ 像回復部
１３９ コントラスト解析部 １４０ 距離決定部

Claims (16)

1. 第一の視点の第一の像信号と第二の視点の第二の像信号を取得する像信号取得手段と、
   距離検出領域における前記第一の像信号と、前記距離検出領域をシフトさせた領域における前記第二の像信号との相関値を、複数のシフト量に対して求める相関値取得手段と、
   前記相関値に基づいて、複数の暫定シフト量を取得する暫定シフト量取得手段と、
   前記複数の暫定シフト量に対応する像回復フィルタを用いて、前記第一の像信号または前記第二の像信号の少なくともいずれかを像回復する像回復手段と、
   前記像回復手段による像回復処理に伴うコントラスト変化を解析するコントラスト解析手段と、
   前記コントラスト解析手段によるコントラスト解析の結果に基づいて、前記距離検出領域内の複数の画素について距離を決定する距離決定手段と、
   を備え、
   前記暫定シフト量取得手段は、前記相関値の極値を与える第一のシフト量を決定し、前記第一のシフト量を含む所定のシフト量の範囲である第一の範囲を複数の第二の範囲に分割し、それぞれの第二の範囲について暫定シフト量を取得する、
   測距装置。
2. 前記距離決定手段は、前記距離検出領域内の被写体ごとに、前記像回復処理によって当該被写体のコントラストが最も高くなる像回復フィルタに対応する暫定シフト量に基づいて、当該被写体の距離を決定する、
   請求項1に記載の測距装置。
3. 前記相関値の極値を与える第一のシフト量が複数存在する場合、
   前記暫定シフト量取得手段は、これら複数の第一のシフト量を含む所定のシフト量の範囲を前記第一の範囲として決定する、
   請求項１または２に記載の測距装置。
4. 前記第一の範囲は、前記第一のシフト量を含み、相関値の閾値に基づいて決定される範囲である、
   請求項１〜３のいずれか１項に記載の測距装置。
5. 前記距離決定手段は、前記像回復処理に伴うコントラストの変化が前記距離検出領域の
   全体で同一の場合は、前記距離検出領域内に周期被写体が存在すると判断し、そうでない場合は、前記距離検出領域内に距離の異なる複数の被写体が存在すると判断する、
   請求項１〜４のいずれか１項に記載の測距装置。
6. 前記距離決定手段は、前記像回復処理に伴うコントラストの変化が前記距離検出領域の全体で同一の場合は、前記距離検出領域に対して一つの距離を決定する、
   請求項１〜５のいずれか１項に記載の測距装置。
7. 前記距離決定手段は、前記像回復処理に伴うコントラストの変化が前記距離検出領域の全体で同一の場合は、コントラストが最も高くなる像回復フィルタによる像回復処理後の像信号を対象として、前記相関値取得手段により相関値を求め、極値を与えるシフト量に基づいて、前記距離検出領域における距離を決定する、
   請求項６に記載の測距装置。
8. 前記距離決定手段によって、前記距離検出領域内に距離の異なる被写体が存在すると判断された場合には、
   距離の等しい被写体が存在する領域を距離検出領域として再設定し、
   再設定された距離検出領域を対象として、前記相関値取得手段、前記暫定シフト量取得手段、前記像回復手段、前記コントラスト解析手段、および前記距離測定手段による処理を行って距離を決定する、
   請求項１〜７のいずれか１項に記載の測距装置。
9. 前記距離決定手段によって、前記距離検出領域内に距離の異なる被写体が存在すると判断された場合には、
   距離の等しい被写体が存在する領域を距離検出領域として再設定し、
   再設定された距離検出領域を対象として、前記相関値取得手段により相関値を求め、極値を与えるシフト量に基づいて、当該再設定された距離検出領域の距離を決定する、
   請求項１〜７のいずれか１項に記載の測距装置。
10. 前記暫定シフト量取得手段は、前記第二の範囲の中央値を、当該第二の範囲についての暫定シフト量として取得する、
    請求項１〜９のいずれか１項に記載の測距装置。
11. 前記像回復手段は、前記暫定シフト量に基づいて求められる距離に対応する像回復フィルタを用いて、像回復を行う、
    請求項１〜１０のいずれか１項に記載の測距装置。
12. 前記コントラスト解析手段は、前記像回復処理前後での前記距離検出領域内の鮮鋭度の変化を解析する、
    請求項１〜１１のいずれか１項に記載の測距装置。
13. 前記コントラスト解析手段は、前記像回復処理前後での前記距離検出領域内のリンギングの変化を解析する、
    請求項１〜１１のいずれか１項に記載の測距装置。
14. 前記像信号取得手段は、
    結像光学系と、
    複数の受光素子であって、少なくとも一部の受光素子は、前記結像光学系の射出瞳上の重複を許す異なる領域から形成される第一の光束および第二の光束をそれぞれ受光するように、受光面が二つ以上の領域に分割された受光素子と、
    を備え、
    受光面が分割された受光素子からの出力を元に、前記第一の像信号および前記第二の像信号を取得する、
    請求項１〜１３のいずれか１項に記載の測距装置。
15. 第一の視点の第一の像信号と第二の視点の第二の像信号を取得する像信号取得ステップと、
    距離検出領域における前記第一の像信号と、前記距離検出領域をシフトさせた領域における前記第二の像信号との相関値を、複数のシフト量に対して求める相関値取得ステップと、
    前記相関値に基づいて、複数の暫定シフト量を取得する暫定シフト量取得ステップと、
    前記複数の暫定シフト量に対応する像回復フィルタを用いて、前記第一の像信号または前記第二の像信号の少なくともいずれかを像回復する像回復ステップと、
    前記像回復ステップにおける像回復処理に伴うコントラスト変化を解析するコントラスト解析ステップと、
    前記コントラスト解析ステップにおけるコントラスト解析の結果に基づいて、前記距離検出領域内の複数の画素について距離を決定する距離決定ステップと、
    を含み、
    前記暫定シフト量取得ステップでは、前記相関値の極値を与える第一のシフト量を決定し、前記第一のシフト量を含む所定のシフト量の範囲である第一の範囲を複数の第二の範囲に分割し、それぞれの第二の範囲について暫定シフト量を取得する、
    測距方法。
16. 請求項１５に記載の測距方法の各ステップをコンピュータに実行させるプログラム。

Images