JP6214322B2 - 距離検出装置、撮像装置および距離検出方法 - Google Patents

距離検出装置、撮像装置および距離検出方法 Download PDF

Info

Publication number
JP6214322B2
JP6214322B2 JP2013214950A JP2013214950A JP6214322B2 JP 6214322 B2 JP6214322 B2 JP 6214322B2 JP 2013214950 A JP2013214950 A JP 2013214950A JP 2013214950 A JP2013214950 A JP 2013214950A JP 6214322 B2 JP6214322 B2 JP 6214322B2
Authority
JP
Japan
Prior art keywords
signal
correction
pupil
distance
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013214950A
Other languages
English (en)
Other versions
JP2015078855A (ja
Inventor
聖雄 池本
聖雄 池本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013214950A priority Critical patent/JP6214322B2/ja
Publication of JP2015078855A publication Critical patent/JP2015078855A/ja
Application granted granted Critical
Publication of JP6214322B2 publication Critical patent/JP6214322B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、距離検出装置、撮像装置および距離検出方法に関する。
デジタルスチルカメラやビデオカメラに適用可能な距離検出技術として、撮像素子の一部の画素に測距機能を持たせ、位相差方式で検出するようにした距離検出技術が知られている。この画素は、結像光学系の瞳上の一部の領域を通過した光束を受光するように構成される。瞳上の異なる領域を通過した光束により生成される2つの像のズレ量を推定し、デフォーカス量を算出することによって、測距が行われる。この方式によると、従来のコントラスト方式とは異なり、距離を測定するためにレンズを動かす必要が無いため、高速高精度な測距が可能となる。また、各画素の受光部で取得した信号は、撮影画像を生成するための画像信号として用いることができ、撮像と同時に測距が可能となる。
特許文献1には、撮像素子の対角像高(画角の対角方向)において、光学系のケラレにより瞳形状が変形し、基線長及び2つの像のズレ方向が斜め方向になることが記載されている。また、水平方向に焦点検出領域を設定し、像ズレ量を検出すると精度が悪化することが記載されている。この問題に対処するために、特許文献1には、像ズレ方向と同じ、斜め方向に焦点検出領域を設定し、像ズレ量を検出する構成が記載されている。
特開2010−130013号公報
一般的に撮像素子の各画素に蓄積された電気信号は、水平あるいは垂直方向に読み出され、撮像素子の外部に出力される。特許文献1に開示された構成において、斜め方向に焦点検出領域を設定すると、水平あるいは垂直方向の広い範囲で読み出した信号の中から焦点検出領域に相当する信号を抽出する処理が必要となる。また、斜め方向の像ズレ量を高精度に演算するための処理が必要になる。これらの要因によって、測距速度あるいは測距精度の面で十分な性能が得られない恐れがある。
本発明は、上記課題に鑑み、光学系のケラレによる誤差を低減し、高速かつ高精度な測距が可能な距離検出装置を提供することを目的とする。
本発明に係る距離検出装置は、被写体の像を結像する光学系と、前記光学系の射出瞳を通過した光束に基づく信号を取得する撮像素子と、前記信号に基づいて前記被写体までの距離を算出する演算手段と、を備えた距離検出装置であって、前記撮像素子は、前記射出瞳の中心から第1の方向および該第1の方向と垂直な第2の方向に偏心した第1の瞳領域を通過した光束に基づく第1の信号と、前記射出瞳の中心から前記第1の瞳領域とは逆方向に偏心した第2の瞳領域を通過した光束に基づく第2の信号と、前記第2の方向における重心位置が前記第1の瞳領域の重心位置とは異なる第3の瞳領域を通過した光束に基づく第3の信号と、を取得する信号取得手段を備え、前記演算手段は、前記第1の信号と前記第3の信号とを異なる割合で加減算することにより第1の補正信号を生成する信号補正処理と、前記第1の補正信号と前記第2の信号に基づいて前記第1の方向における像ズレ量を算出し、当該像ズレ量に基づいて前記被写体までの距離を算出する距離算出処理と、
を行うことを特徴とする。
本発明に係る距離検出方法は、被写体の像を結像する光学系と、前記光学系の射出瞳を通過した光束に基づく信号を取得する撮像素子と、前記信号に基づいて前記被写体までの距離を算出する演算手段と、を備えた距離検出装置が行う距離検出方法であって、前記射出瞳の中心から第1の方向および該第1の方向と垂直な第2の方向に偏心した第1の瞳領域を通過した光束に基づく第1の信号と、前記射出瞳の中心から前記第1の瞳領域とは逆方向に偏心した第2の瞳領域を通過した光束に基づく第2の信号と、前記第2の方向における重心位置が、前記第1の瞳領域の重心位置とは異なる第3の瞳領域を通過した光束に基づく第3の信号と、を取得する信号取得処理と、前記第1の信号と前記第3の信号とを異なる割合で加減算することにより第1の補正信号を生成する信号補正処理と、前記第1の補正信号と前記第2の信号に基づいて前記第1の方向における像ズレ量を算出し、当該像ズレ量に基づいて前記距離を算出する距離算出処理と、を含むことを特徴とする。
本発明によれば、光学系のケラレによる誤差を低減し、高速かつ高精度に測距が可能な距離検出装置を提供することができる。
距離検出装置の概略構成図。 測距画素の各受光部における受光感度特性および瞳領域。 距離演算部が行う処理のフローチャート。 瞳形状の変形により像ズレ方向が斜めになることを示す図。 信号補正処理(第1の実施形態)を説明する図。 補正係数調整処理における領域区分を示す図。 距離演算部が行う処理(変形例)のフローチャート。 撮像素子(第1の実施形態)の構成図。 測距画素の構成図。 撮像素子(第2の実施形態)の構成と瞳領域を示す図。 信号補正処理(第2の実施形態)を説明する図。 撮像素子の構成の変形例を示す図。 撮像素子(第3の実施形態)の構成図。 信号補正処理(第3の実施形態)を説明する図。
以下の説明では、本発明の距離検出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。例えば、本発明の距離検出装置はデジタル距離計測器などにも適用することができる。
尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。
[第1の実施形態]
本実施形態にかかる距離検出装置は、結像光学系の瞳上の異なる領域を通過した光束により生成される2つの像を表す信号を用いて距離検出を行う。本実施形態にかかる距離検出装置は、これら2つの信号を異なる割合で加算した補正信号を使用して、距離算出を行う。
図1及び図2を参照して本実施形態における距離検出装置について説明する。図1(a)は、距離検出装置100を構成する結像光学系105と撮像素子106を中心に示した
模式図である。図1(b)は、本実施形態の距離検出装置の全体的な構成例を示す模式図である。図1(c)は、撮像素子の一例を示す模式図である。図1(d)は撮像素子の一部を拡大して示した図である。
以下の説明では、z軸を結像光学系105の光学軸と平行にとる。また、x軸を、撮像素子106面と平行な方向、かつ、像ズレ量の検出を行う方向(第1の方向)にとる。y軸は、撮像素子106面と平行な方向、かつ、x方向に垂直な方向(第2の方向)にとる。
図1(a)に示すように、結像光学系105は外界の被写体の像を撮像素子106の面上に結像する。
撮像素子106は、結像光学系105の射出瞳を透過した光束に基づく信号を取得する。撮像素子106は、図1(c)(d)に示すように複数の画素107を備え、複数の画素107のうちの一部に測距画素108を備える。測距画素108は、2行2列に配列された4つの受光部101、102、103、104を含む。受光部101は、測距画素108内の−x方向および−y方向に位置する。受光部102は、測距画素内108内の+x方向および+y方向に位置し、受光部101の対角方向に位置する。受光部103は、測距画素108内の−x方向および+y方向に位置し、受光部101とy方向に隣接する。受光部104は、測距画素108内の+x方向および−y方向に位置し、受光部101とx方向に隣接する。測距画素108は、x方向における複数の位置に配置されている。各受光部で受光した光束は電気信号に変換される。更に各画素には、取得した電気信号を距離演算部109に出力する手段として、フローティングディフュージョン(FD)部、ゲート電極、配線等が構成される。各受光部、FD部、ゲート電極、配線等は、測距用の電気信号を取得する信号取得手段に相当する。画素107及び108で取得した信号は、各画素の観賞用画像生成用の信号として用いることができる。
距離検出装置100は、図1(b)に示すように、取得した信号に基づいて被写体までの距離を算出するための距離演算部109を備える。距離演算部109は、例えば、CPU、メモリを含む信号処理基板で構成され、CPUがプログラムを実行することによりその機能を実現する。距離検出装置100は、読み出した信号あるいは演算結果を記録するための記録装置110を備えている。図1(b)に示す距離検出装置100に、光学系105の合焦のための駆動機構、シャッター、観賞用画像生成手段、画像確認用の液晶等のディスプレイ等を付加することでデジタルカメラ(撮像装置)として捉えられる。
(瞳透過率分布・瞳重心・瞳領域の定義)
本実施形態においては、画素の大きさに対して、結像光学系105と撮像素子106の間の距離が長い。このため、結像光学系105の射出瞳120上の異なる位置を通過した光束は、異なる入射角の光束として撮像素子106の面上に入射する。受光部には、射出瞳120の形状や撮像素子上における受光部の位置に応じて、所定の角度範囲121からの光束が入射する。各角度で入射した光束に対する受光部の感度特性を、角度に応じて射出瞳上に射影したときの射出瞳上の感度分布を瞳透過率分布と呼ぶ。このときの瞳透過率分布の重心位置を瞳重心と呼ぶ。瞳重心は、以下の式1で算出することができる。
式1において、rは射出瞳上の座標であり、tは受光部の瞳透過率分布を表し、積分範囲は射出瞳上の領域である。
Figure 0006214322
また、受光部で受光される光束が通過する領域のうち、瞳重心を含み、受光部の感度が高い角度範囲から入射する光束が通過する射出瞳120上の領域を瞳領域と呼ぶ。
図2(a)(b)(c)(d)におけるグラフ101a、102a、103a,104aは、各受光部101、102、103、104の受光感度の角度特性を示す図である。図2(a)(b)は、xz平面内において各角度で入射した光束に対する各受光部の角度特性を示したものである。図2(a)(b)の横軸はxz平面内における入射光束とz軸が成す角度を示し、縦軸は感度を表している。図2(c)(d)は、yz平面内において各角度で入射した光束に対する各受光部の角度特性を示したものである。図2(c)(d)の横軸はyz平面内における入射光束とz軸が成す角度を示し、縦軸は感度を表している。
図2(e)(f)(g)(h)は、撮像素子106の対角像高(一例として図1(c)の対角像高125)に位置する測距画素108に対応する射出瞳120を示した図である。破線で示した領域101t、102t、103t、104tは、各受光部で受光される光束が通過する領域を示す。点101g、102g、103g、104gは瞳重心を示す。領域101d、102d、103d、104dは各受光部の瞳領域を示している。
瞳領域101dは、射出瞳120の中心から+x方向(第1の方向)及び+y方向(第2の方向)に偏心した瞳領域である。受光部101(第1の受光部)は、主として瞳領域101d(第1の瞳領域)を通過した光束を受光するように構成され、この光束に基づく電気信号である第1の信号S101が得られる。
瞳領域102dは、射出瞳120の中心から瞳領域101dとは逆方向(−x及び−y方向)に偏心した瞳領域である。受光部102(第2の受光部)は、主として瞳領域102d(第2の瞳領域)を通過した光束を受光するように構成され、この光束に基づく第2の信号S102が得られる。
瞳領域103dは、x方向においては瞳領域101dと同じ方向(+x方向)に偏心している。瞳領域103dは、y方向において瞳領域101dとは異なる位置にある瞳領域であり、本実施形態においては、y方向において瞳領域101dとは反対方向(−y方向)に偏心した領域である。受光部103(第3の受光部)は、主として瞳領域103d(第3の瞳領域)を通過した光束を受光するように構成され、この光束に基づく第3の信号S103が得られる。
瞳領域104dは、x方向においては瞳領域102dと同じ方向(−x方向)に偏心している。瞳領域104dは、y方向において瞳領域102dとは異なる位置にある瞳領域であり、本実施形態においては、y方向において瞳領域102dとは反対方向(+y方向)に偏心した領域である。受光部104(第4の受光部)は、主として瞳領域104d(第4の瞳領域)を通過した光束を受光するように構成され、この光束に基づく第4の信号S104が得られる。
各信号S101、S102、S103、S104は、撮像素子106上の複数の位置にある測距画素108の各受光部で取得される。
距離演算部109は、図3に示すフローに従って、被写体までの距離を算出する手段である。距離演算部109は、図3に示す処理に先立って、撮像素子106の各受光部から第1〜第4の信号S1〜S4を取得する信号取得処理を行う。
距離演算部109は、信号補正処理130において、信号S101を第1の信号S1、信号S103を第3の信号S3とし、式2のように、異なる割合で加減算(加算または減算)することにより、補正信号CS1(第1の補正信号)を生成する。そして、信号S102を第2の信号S2、信号S104を第4の信号S4とし、式3のように、異なる割合で加減算することにより、補正信号CS2(第2の補正信号)を生成する。
Figure 0006214322
Figure 0006214322
ここで、α1、α2、α3、α4は補正係数であり、補正係数α1とα3、α2とα4とは互いに異なる実数とする。
なお、2つの信号を異なる割合で加算するとは、互いに等しくない正の実数の補正係数を各信号に掛けて足し合わせることを意味する。また、2つの信号を異なる割合で減算するとは、互いに等しくない正の実数の補正係数を掛けて引き算することを意味する。換言すると、絶対値が互いに異なる正および負の補正係数を各信号に掛けて足し合わせることを意味する。また、2つの信号を異なる割合で加減算するとは、上記の2つの演算の両方を含む。すなわち、絶対値が互いに等しくない補正係数(正または負の実数)を各信号に掛けて足し合わせることを意味する。
本実施形態においては、各補正係数は正の実数とする。すなわち、補正信号CS1は、信号S1及びS3を異なる割合で加算することにより生成され、補正信号CS2は、信号S2及びS4を異なる割合で加算することにより生成される。複数の位置に配置した測距画素108のそれぞれについて、このような信号補正処理を行い、補正信号CS1とCS2を作成する。
距離演算部109は、距離算出処理131において、一対の補正信号CS1とCS2のx方向(第1の方向)におけるズレ量から、被写体の距離を算出する。一対の信号のズレ量は、公知の方法により求められる。例えば、一対の信号のうち、片方の信号をx方向にずらしながら相関演算を行い、最も相関が高いときのズレ量を算出することで求められる。このように求めたズレ量から、公知の方法により、デフォーカス量を求め、被写体の距離を算出することができる。
上記に示した信号取得手段及び距離演算部109を備えた距離検出装置100を用いることで、光学系のケラレによる誤差を低減し、x方向の1方向のみの計算で像ズレ量を高精度に算出することができる。また、信号の読み出し手法は、公知の手法を用いることができる。これらにより、高速かつ高精度に像ズレ量を検出し、測距することができる。
(原理)
本実施形態にかかる距離検出装置100により、高速かつ高精度な像ズレ量の検出と測距が可能となる理由を述べる。
デフォーカス量(距離)は、一対の信号の像ズレ量から算出される。基線長は、一対の信号を生成する光束が通過する瞳領域の瞳重心を結ぶ線であり、一対の信号のずれる方向
は、基線長が伸びる方向と同じ方向となる。
図4は、信号補正処理130を用いない場合の、射出瞳120の一例を表したものである。図4(a)(b)は撮像素子の中央(図1(c)の領域124)、図4(d)(e)は対角像高(図1(c)の領域125)から見た射出瞳120を表している。撮像素子の中央から対角像高になるにつれて、結像光学系の枠によるケラレの影響がx方向及びy方向で非対称になるため、射出瞳120の形状は非対称になる。信号S101と信号S103、信号S102と信号S104を、同じ割合で加算することで得られる信号をそれぞれS911、S912とする。信号S911に対応する瞳領域911dは、瞳領域101dと103dを同じ割合で加算した領域で表され、信号S912に対応する瞳領域912dは、瞳領域102dと104dを同じ割合で加算した領域で表される。瞳形状が対称な中央像高では、瞳領域911dの瞳重心911gと瞳領域912dの瞳重心912gとは、y方向において同じ位置(x軸上)となり、基線長913が伸びる方向はx方向となる。図4(c)のように、信号S911とS912のズレる方向は、x方向となる。一方、瞳形状が非対称になると、各瞳重心の位置が変わり、瞳重心911gと瞳重心912gとは、y方向(第2の方向)において異なる位置になる。このため、基線長913の方向は斜め方向(xy方向)となり、図4(f)のように、信号S911とS912のズレる方向は、斜め方向となる。x方向(第1の方向)に向かって信号S911とS912の像ズレ量を算出すると、算出誤差が大きくなり、測距精度が悪化する。
図5(a)(b)(c)は、本実施形態(信号補正処理130を行う場合)の対角像高(図1(c)の領域125)における射出瞳120の一例を示した図である。補正信号CS1に対応する瞳領域111dは、瞳領域101dと103dに補正係数α1及びα3を乗じた領域を加算した領域で表される。瞳重心111gは、瞳重心101gと103gの間の、補正係数α1及びα3に応じた位置となる。同様に、補正信号CS2に対応する瞳領域112dは、瞳領域102dと104dに補正係数α2及びα4を乗じた領域を加算した領域で表される。瞳領域112dの瞳重心112gは、瞳重心102gと104gの間の、補正係数α2及びα4に応じた位置となる。
信号補正処理130において、瞳重心111g、112gのy座標成分y111gとy112gが等しくなるように、各補正係数α1、α2、α3、α4を設定する。y座標成分y111g、y112gは、式4、式5で表される。
Figure 0006214322
Figure 0006214322
ここで、T101、T102、T103、T104は射出瞳120上における各受光部の瞳透過率分布の積分値である。y101g、y102g、y103g、y104gは、各瞳重心101g、102g、103g、104gのy座標成分である。式4と式5に基づき、各補正係数を設定することで、瞳重心のy座標成分y111gとy112gを等しくすることができる。
なお、図5では瞳重心111g及び112gのy座標が射出瞳120の中心のy座標と一致する場合を示しているが、上述のようにこれらの瞳重心のy座標が一致するように補正すればよい。すなわち、補正後の瞳重心のy座標の値は任意であって構わない。
また、y111g=y112gを満たすように各補正係数を設定することが望ましいが、必ずしもこの条件を満たさなくても良い。補正後の瞳重心のy方向における差分が、第1〜第4の信号を同じ割合で加算した場合の瞳重心の差分よりも小さくなるように補正係数を設定すればよい。すなわち、|y111g−y112g|<|(T101・y101g+T103・y103g)/(T101+T103)−(T102・y102g+T104・y104g)/(T102+T104)|を満たすように補正係数を設定すればよい。このようにすることで、第1と第3の信号および第2と第4の信号を同じ割合で加算する場合よりも、y方向への像ズレ量を少なくできる。
例えば、図5の例においては、瞳領域101dの方が瞳領域103dよりも領域が広く高感度であることから、α1をα3よりも小さい値とする。また、瞳領域102dの方が瞳領域104dよりも領域が広く高感度であることから、α2をα4よりも小さい値に設定する。これにより、瞳重心111gと112gのy方向における位置の差が減少し、基線長113の方向はx方向となり、図5(d)のように、補正信号CS1とCS2のズレる方向はx方向となる。距離算出処理131において、x方向(第1の方向)の1方向のみの計算で補正信号CS1とCS2の像ズレ量を高精度に検出することができる。また、信号の読み出しは、公知の手法を用いることができる。これらにより、高速かつ高精度な測距が可能となる。
なお、式4、5の右辺の分母(α1・T101+α3・T103)、(α2・T102+α4・T104)は、各補正信号に対応する瞳透過率分布の積算値であり、補正信号CS101、CS102の強度を決定する式である。
両式の分母の値が同じになるように、各補正係数を決定することが望ましい。あるいは、各補正信号を各式の分母の値で規格化(除算)してもよい。あるいは、どちらかの補正信号に両式の分母の値の比を乗算してもよい。補正信号CS101とCS102の信号強度を揃えることができ、両信号間の像ズレ量を高精度に求めることができ、高精度な測距が可能となる。
(補正処理に用いる2つの信号の瞳領域の関係)
なお、2つの信号を加算することにより補正信号を生成する(各補正係数が正の実数となる)本実施形態においては、両信号の瞳領域は、第1の方向(x方向)において同じ方向に偏心した領域であることが望ましい。すなわち、瞳領域101dと103dは射出瞳120の中心からいずれも+x方向に偏心した領域、瞳領域102dと104dは−x方向に偏心した領域であることが望ましい。加算して得られる瞳領域111dは+x方向に、瞳領域112dは−x方向に偏心した領域となり、補正信号の基線長が確保され、測距精度の低下を回避することができる。
(補正処理の変形例)
上記の例では像ズレ量の算出に2つの補正信号CS1およびCS2を用いているが、これ以外の信号に基づいて像ズレ量を算出しても構わない。例えば、像ズレ量の算出に用いる2つの信号のうち、一方については2つの受光部から得られる信号を同じ割合で加算した信号として、他方を上記式2または3に基づいて生成した信号としてもよい。例えば、一方の信号は信号S2及びS4を同じ割合で加算した信号(S2+S4)とし、他方の信号は式2に基づく補正信号CS1として、両信号の瞳領域の重心のy座標が一致するように式2の補正係数α1、α3を決定する。このような補正係数α1、α3は、式4、式5においてα2=α4=1とおいて、y座標成分y111gとy112gが等しいという条件の下に決定できる。なお、信号S1とS3を同じ割合で加算した信号と、式3に基づく補正信号CS2とを採用しても構わない。このような構成でも、前述と同様の効果を得ることができ、高速かつ高精度な測距が可能となる。
また、補正信号CS1と、第2の信号S2(あるいは第4の信号S4)から像ズレ量を算出しても構わない。これは、上記の補正係数をα2=1、α4=0(あるいは、α2=0、α4=1)とした場合と同様である。この際は、補正信号CS1の瞳重心のy座標位置が第2の信号S2に対応する瞳重心102g(あるいは第4の信号S4に対応する瞳重心104g)のy座標位置と等しくなるように、補正係数α1およびα3を設定すればよい。このような処理を採用する場合には、測距画素108は、第4の受光部104(あるいは第2の受光部102)を備えていなくてもよい。また、同様に、補正信号CS2と、第1の信号S1(あるいは第3の信号S3)から像ズレ量を算出しても構わない。
(補正係数)
信号補正処理130において、補正係数を調整する補正係数調整処理を行うことが望ましい。各瞳領域は、射出瞳120の形状と各受光部に入射する光の角度範囲及び各受光部の感度特性によって決まる。これらは、結像光学系105の状態や撮像素子106と射出瞳120の距離や各受光部(信号取得手段)の撮像素子106上の位置に応じて変化する。したがって、射出瞳120の形状、または射出瞳120と撮像素子106との間の距離、または各受光部の撮像素子106上の位置の少なくともいずれかに基づいて、補正係数を調整する補正係数調整処理を行うことが望ましい。
図6のように撮像素子106を複数の領域140に区分し、領域毎に補正係数を調整する。各領域の補正係数は、射出瞳120の形状、撮像素子106と射出瞳120の距離、各領域の代表的な位置に基づいて算出される。上記項目に応じて補正係数を適切に設定することができ、高精度な補正信号を生成できる。あるいは、各受光部を含む測距画素108毎に補正係数を設定することで、より高精度な補正信号を生成することができる。また、上記項目に応じて予め計算しておいた補正係数をメモリに記録しておき、状況に応じてメモリ上の補正係数を読み出し、使用してもよい。状況に応じて補正係数を計算する処理が不要となり、高速に補正信号を生成することができる。
射出瞳の形状は、測距画素の撮像素子上での位置が対角像高になるほど(撮像素子の隅に近いほど)、光学系の焦点距離が短いほど、撮像素子と射出瞳の距離が近くなるほど、非対称になる。射出瞳が非対称になるほど、補正信号を生成する2つの信号に対応する瞳領域の面積比(小さい方の面積に対する他方の面積の比)が大きくなり、信号強度の比(弱い方の信号強度に対する他方の信号強度の比)が大きくなる。これらの項目に応じて、射出瞳が非対称になるほど、補正係数α1とα3の比や補正係数α2とα4の比が大きくなるように、補正係数を調整することが望ましい。なお、補正係数α1とα3あるいはα2とα4のうちどちらを大きくするかは、測距画素の撮像素子上での位置(4隅のいずれに最も近いか)によって決まる。したがって、補正係数調整処理では、まず、補正係数α1とα3およびα2とα4のどちらを大きくするかを測距画素の撮像素子上の位置で決定する。そして、測距画素の撮像素子上の位置が撮像素子の隅に近いほど、光学系の焦点距離が短くなるほど、射出瞳と撮像素子の間の距離が短くなるほど、補正係数α1とα3の比およびα2とα4の比を大きくする。このように各受光部の位置に応じて補正係数を適切に調整することができる。
以上のような補正係数の調整を行うことで、補正信号を高速あるいは高精度に生成でき、より高速かつ高精度な測距を行うことが可能となる。
各画素に、赤又は緑又は青の光のみを選択的に透過するカラーフィルタを配置してもよい。各色に対応する信号を取得することができ、カラー画像を生成することが出来る。
いずれかの色に対応する信号のみ、あるいは、全色の信号を用いて、補正信号を生成し
、測距してもよい。被写体の色に応じて適切な信号を選択することで、高品質な信号のみを用いて測距することができ、高精度な測距が可能となる。
各受光部に入射する光の波長分布は、カラーフィルタの透過スペクトルや被写体光の波長分布で決定される。入射光の波長分布が変わると、受光部の感度特性が変化し、瞳領域が変化する。被写体光の波長分布は、各色の信号の強度を比較することで推定することができる。入射光の波長分布に応じて補正係数を調整することが望ましい。前述の補正係数調整処理において、各色の信号ごとに、カラーフィルタの透過スペクトルに応じて補正係数を調整してもよい。あるいは、推定した被写体光の波長分布に応じて、補正係数を調整してもよい。このような補正係数の調整を行うことで、高精度な補正信号を生成でき、より高精度な測距を行うことが可能となる。
(基線長補正)
距離算出処理131は、補正基線長を用いて距離を算出する補正基線長算出処理を含むことが好ましい。基線長の補正によって、より高精度な測距が可能となる。
補正基線長は、図5における、補正信号CS1とCS2に対応する瞳重心111gと112g間の距離113を算出することで求められる。
まず、各受光部の角度特性と各補正係数と射出瞳120の形状や位置情報から瞳透過率分布を求め、瞳透過率分布から瞳重心111gと112gを算出する。
次に、補正基線長W´に相当する、射出瞳120上の瞳重心間の距離123を、式6より算出する。
Figure 0006214322
このようにして求めた補正基線長W´と補正信号より算出したズレ量から、式7により、デフォーカス量を求め、被写体の距離を算出する。
Figure 0006214322
式7において、ΔLはデフォーカス量、rはズレ量、Lは射出瞳120と撮像素子106までの距離、W´は補正基線長を表している。
このようにすることでより正確な基線長を用いてズレ量からデフォーカス量を算出することで、より高い精度で距離を算出することができる。
距離算出処理131において、他の方式で距離を算出してもよい。例えば、ズレ量とデフォーカス量を結び付ける変換係数を予め算出しておき、検出したズレ量と変換係数を用いてデフォーカス量を算出してもよい。撮影条件や撮像面上における受光部の位置に応じて基線長を算出する演算を省くことができ、高速な測距が可能となる。
(像形状修正処理)
距離演算手段において、更に補正信号の像形状を修正するための信号修正処理を行ってもよい。
補正信号CS1とCS2は、被写体の光量分布fと、補正点像分布関数P1´、P2´
を用いて式8、式9のように記述することができる。*は畳み込み積分を表している。
Figure 0006214322
Figure 0006214322
結像光学系105の光学特性、各受光部の角度特性、射出瞳120の形状や位置によって決まる点像分布関数をP1、P2、P3、P4とする。
式8及び式9における補正点像分布関数P1´、P2´は、式10、式11のように記述することができる。各係数α1、α2、α3、α4は信号補正処理130で用いた補正係数である。
Figure 0006214322
Figure 0006214322
点像分布関数Pは、射出瞳120の位置や形状、各受光部の角度特性によって決定される。結像光学系105による光束のケラレがあると、点像分布関数P1とP2、P3とP4は異なる関数となる。補正点像分布関数P1´とP2´は、異なる関数となり、補正信号CS1とCS2の像形状は互いに異なる形状となる。
信号修正処理132を含むフローを図7に示す。信号修正処理132は、まず一対の補正信号CS1とCS2から、公知の手段によって、暫定デフォーカス量を算出する。
次に、暫定デフォーカス量と既知の情報である各受光部の角度特性及び射出瞳120の情報を元に、像修正フィルタとして、式10及び式11に示す関数P1´、P1´を作成する。
補正信号CS1、CS2に、像修正フィルタP2´、P1´をそれぞれ畳み込み積分することで、修正信号MS1(第1の修正信号)、MS2(第2の修正信号)を作成する。このとき、畳み込み積分の基準点は各補正信号及び像修正フィルタの重心位置とする。
修正信号の像形状は式12、式13で表される。
Figure 0006214322
Figure 0006214322
式12及び式13のように、両修正信号の像形状は、関数P1´*P2´で決まり、概略同じ形状となる。
距離算出処理131では、修正信号MS1、MS2を用い、公知の手法によって、デフォーカス量および被写体の距離を算出する。
本発明にかかる信号修正処理を含む測距演算により、補正信号の像形状を修正することができ、像形状の違いによるズレ量の算出誤差を低減することができる。ズレ量の検出精度が向上し、より高精度に距離を算出することができる。
なお、像修正フィルタP1´、P2´は、デフォーカス量に応じて変化する関数である。修正信号MS1とMS2を用いて求めたデフォーカス量を元に、再度像修正フィルタを作成し、この像修正フィルタを用いて修正像を作成し、デフォーカス量を求めてもよい。より正解値に近いデフォーカス量を元に、像修正フィルタを作成することで、像修正フィルタの形状誤差が小さくなる。そして、修正信号の形状誤差が低減し、ズレ量およびデフォーカス量の算出精度が向上し、測距精度が向上する。また、前述の暫定デフォーカス量は、同じ割合で2つの信号を加算して得られる信号S911とS912あるいは信号S101、S102、S103、S104のいずれかを用いて求めてもよい。この像修正フィルタを用いて修正像を作成し、デフォーカス量を求めてもよい。より簡便な方法で暫定デフォーカス量を求めることで、より高速な測距が可能となる。
なお、信号修正処理は本実施形態の処理に限定されるものではない。例えば、式10及び式11の関数の逆関数(P1´)−1及び(P2´)−1を導出し、それぞれの補正信号CS1、CS2に畳み込み積分することで、信号修正処理を行ってもよい。
また、ここでの説明では、信号修正処理は、2次元の点像分布関数を用いた処理例を示したが、1次元(x方向)の線像分布関数を用いて修正を行ってもよい。計算負荷を減らすことができ、より高速に修正信号を生成することができる。あるいは、射出瞳120の情報や信号取得手段の特性に基づき、他の信号修正処理を行ってもよい。
(画素配置例)
本実施形態では、信号取得手段である測距画素108を撮像素子106の一部の画素に配置した例について示したが、この配置に限定されるものではない。例えば、図8のように、全画素に測距画素108を配置してもよい。このような構成にすることで、高解像度かつ高精度の距離画像と、高画質な撮像画像を同時に取得することができる。
本実施形態では、x方向に像ズレ量を検出する構成例について示したが、y方向に像ズレ量の検出を行っても良い。この場合、y方向が第1の方向、x方向が第2の方向となる。y方向の検出を行う場合、図8のy方向の複数の位置にある測距画素108で取得した信号を使用する。信号補正処理130の式2及び式3において、第1の信号S1として信号S101、第2の信号S2として信号S102を用いて補正信号CS1を生成する。そして、第3の信号として受光部104で取得した信号S104を、第4の信号S4として受光部103で取得した信号S103を用いて補正信号CS2を生成する。補正信号CS1とCS2とを用いて距離算出処理131にて前述と同様の処理を行うことで高精度に測距することができる。このような構成にすると、y方向にコントラストの変化がある被写体の測距が可能となる。被写体のコントラスト変化の方向に応じて、測距の方向を決定し、測距演算処理を適切に行うことで、xあるいはy方向のみにコントラスト変化を有する被写体であっても高速・高精度に測距することができる。
あるいは、x方向又はy方向に数画素の間隔を空けて、測距画素108を離散的に配置しても良い。このような構成でも本発明の効果を得ることができる。
本実施形態における測距画素108のように、画素内に複数の受光部を配置した構成とすると、撮像素子106上で互いに近い距離で取得した信号を用いて補正信号を生成することができる。被写体の異なる場所から出た光束が各受光部に入射することが低減し、各
受光部で取得した信号の品質が向上する。高品質な補正信号を生成でき、高精度な測距が可能となる。
(信号取得手段の構成例:マイクロレンズ型、導波路型)
本実施形態における信号取得手段である測距画素108の構成例を図9に示す。図9(a)(c)は受光部101を通るxz断面図、図9(b)(d)は受光部101を通るyz断面図を示したものである。
図9(a)(b)のように、測距画素108は、マイクロレンズ150と、半導体等で構成された基板151と、基板151中に設けられた受光部101、102、103、104とから構成されている。受光部101、102、103、104では、異なる瞳領域101d、102d、103d、104d(図2(b))を通過した光束が、それぞれ受光部101、102、103、104で効率良く受光される。マイクロレンズ150の曲率や各受光部までの距離を調整することにより、各受光部の角度特性及び瞳領域を制御することができる。このような構成により、各受光部101、102、103、104で各信号S101、S102、S103、S104を取得することができ、前述の演算手段により距離を算出することができる。
あるいは測距画素108は、図9(c)(d)のように構成してもよい。各画素には、基板151の光入射側(+z側)にコア160とクラッド161からなる導波路が配置され、基板151内に受光部101、102、103、104が配置されている。コア160およびクラッド161は、撮像する波長帯域で透明な材料で形成され、コア160は、クラッド161より高い屈折率を有する材料で形成される。これによりコア160内に光を閉じ込めて伝播させることができる。各瞳領域を通過し、各画素に入射した光束は、導波路を伝播し各受光部に導かれる。このような構成により、各受光部101、102、103、104で各信号S101、S102、S103、S104を取得することができ、前述の演算手段により距離を算出することができる。このような構成とすることで、画素サイズが小さい撮像素子を用いた場合でも、入射光を効率良く受光することができる。
あるいは、基板151中にコアおよびクラッドからなる導波路を設けた、裏面入射型の構成としてもよい。このような構成にすると、基板の裏側から入射した光(+z方向に伝播する光)が検出される。配線等は基板151の表側に配置することができ、入射光の伝播が、配線等によって妨げられるのを回避することができる。また、配線等による空間的制約が軽減され、入射光を光電変換部に効率良く導くことができる。
(測距結果の利用法)
本実施形態の距離検出装置100の測距結果は、例えば、結像光学系105の焦点検出に用いることができる。本実施形態の距離検出装置100によって、高速かつ高精度に被写体の距離を測定することができ、被写体と結像光学系105の焦点位置とのズレ量を知ることができる。結像光学系105の焦点位置を制御することで、被写体に対して高速かつ高精度に焦点位置を合わせることができる。
あるいは、撮像素子106の全面にこのような受光部を配置し、撮像素子上の複数の領域ごとに、取得した信号を用いて距離を算出することで、距離画像を取得することができる。
本実施形態の距離検出装置を備えてデジタルスチルカメラ、デジタルビデオカメラ等の撮像装置を構成でき、距離検出装置の距離検出結果に基づき、光学系の焦点検出を行うことができる。
(採用し得るその他の構成)
本実施形態の距離検出装置における撮像素子は具体的には、CMOSセンサ(相補型金属酸化物半導体を用いたセンサ)や、CCDセンサ(電荷結合素子を用いたセンサ)等の固体撮像素子を用いることができる。
本実施形態の距離検出装置における演算手段は、半導体素子を集積化した集積回路を用いて構成することができ、IC、LSI、システムLSI、マイクロ処理ユニット(MPU)、中央演算装置(CPU)等で構成することができる。
本発明は、距離検出装置の他にコンピュータプログラムをも包含する。
本発明のコンピュータプログラムは、前述の信号補正処理及び距離算出処理により距離を算出するために、コンピュータに所定の工程を実行させるものである。演算手段111をマイクロ処理ユニットや中央演算装置等で構成する場合には、演算手段111は、コンピュータとして捉えることが可能である。
本発明のプログラムは、所定の結像光学系と、所定の撮像素子と、コンピュータと、を備えた距離検出装置またはカメラ等撮像装置のコンピュータにインストールされる。インストールされたプログラムがコンピュータによって実行されることで上記の機能が実現し、距離検出装置または撮像装置を高精度の距離検出が可能なものとなすことができる。
本発明のプログラムは、記録媒体の他、インターネットを通じて頒布することも可能である。
[第2の実施形態]
本実施形態では、信号補正処理において、2つの信号を異なる割合で減算して生成した補正信号を使用して距離検出を行う。なお、2つの信号を異なる割合で減算するとは、それぞれの信号に異なる重み付け係数(正の実数)を掛けた上で減算することである。
本実施形態にかかる距離検出装置の構成は、第1の実施形態(図1(a)(b))と同様である。ただし、本実施形態においては、撮像素子の構成、および距離演算部の処理内容が第1の実施形態と異なる。以下、第1の実施形態と異なる部分について主に説明する。
本実施形態における撮像素子206の構成を図10(a)に示す。撮像素子206は、複数の画素207を備える。撮像素子206は、画素207の一部として、受光部201、202を含む測距画素208(第1の測距画素)と、受光部203、204を含む測距画素209(第2の測距画素)とをそれぞれ複数備える。受光部203、204は、xy断面において同一の形状を有し、測距画素208の中心を挟んでx方向に並置される。また、受光部203、204は、xy断面において同一の形状を有し、測距画素209の中心を挟んでy方向に並置される。
図10(b)(c)(d)(e)は、撮像素子206の対角像高に位置する画素208,209に対応する射出瞳120を示した図である。破線で示した領域201t、202t、203t、204tは、それぞれ対応する受光部201、202、203、204で受光される光束が通過する領域を示す。点201g、202g、203g、204gは瞳重心を示す。領域201d、202d、203d、204では各受光部の瞳領域を示している。
瞳領域201dは、基本的に射出瞳120の中心から+x方向(第1の方向)に偏心し
ており、また、射出瞳形状の変形により+y方向(第2の方向)にも偏心している。瞳領域202dは、射出瞳120の中心から瞳領域201dとは逆方向(−x及び−y方向)に偏心した瞳領域である。瞳領域203dは、基本的に射出瞳120の中心から+y方向に偏心しており、また、射出瞳形状の変形により+x方向にも偏心している。本実施形態においては、瞳領域203dは、y方向に関して瞳領域201dと同じ向き(+y方向)に偏心しており、瞳領域203dの方が瞳領域201dよりも偏心量が多い。瞳領域204dは、基本的に射出瞳120の中心から−y方向に偏心しており、また、射出瞳形状の変形により−x方向にも偏心している。本実施形態においては、瞳領域204dは、y方向に関して瞳領域202dと同じ向き(−y方向)に偏心しており、瞳領域204dの方が瞳領域202dよりも偏心量が多い。各受光部201、202、203、204で、信号S201、S202、S203、S204が取得される。
本実施形態における距離演算部109は、第1の実施形態と同様に信号補正処理130、距離算出処理131(図3)を実行する。本実施形態では、距離算出処理131の内容が第1の実施形態と異なるので、以下で説明する。信号補正処理130において、信号S201を第1の信号S1、信号S202を第2の信号S2として用いる。信号S203を第3の電気信号S3とし、信号S204を第4の電気信号S4として用いる。そして、式2及び式3において、α1及びα2を正の実数、α3及びα4を負の実数とする。つまり、信号S201からS203を所定の割合で減算することにより、信号CS1(第1の補正信号)を生成し、信号S202からS204を所定の割合で減算することにより、信号CS2(第2の補正信号)を生成する。距離算出処理131で、これらの補正信号CS1とCS2を用いて距離を算出することで、前述と同様に高速かつ高精度に測距することができる。
(原理)
図11は撮像素子の対角像高における射出瞳の一例を表したものである。
補正信号CS1に対応する瞳領域211dは、瞳領域201dと203dを補正係数α1及びα3に応じて減算した領域で表される。瞳領域201dよりも+y方向に偏心している瞳領域203dの透過率分布が、瞳領域201dの透過率分布から減算されるので、瞳重心211gは瞳重心201gから−y方向にシフトする。同様に、補正信号CS2に対応する瞳領域212dは、瞳領域202dと204dを補正係数α2及びα3に応じて減算した領域で表される。瞳領域202dよりも−y方向に偏心している瞳領域204dの透過率分布が、瞳領域202dの透過率分布から減算されるので、瞳重心212gは、瞳重心202gから+y方向にシフトする。
信号補正処理130において、補正係数α1、α2、α3、α4を適切に調整することにより、瞳重心211gと212gのy方向の位置の差が減少し、基線長213の方向をx方向と平行にすることができる。補正信号CS1とCS2のy方向(第2の方向)のずれを減少することができる。前述と同様に、距離算出処理131において、x方向(第1の方向)の1方向のみの計算で、一対の補正信号CS1とCS2の像ズレ量を高精度に算出できる。また、信号像ズレ量の算出は、公知の手法を用いることができる。これらにより、高速かつ高速な測距が可能となる。
なお、本実施形態のように、補正係数α1、α2が正の実数、補正係数α3、α4が負の実数の場合、式14及び式15の範囲の値とすることが望ましい。t201、t202、t203、t204は、各受光部201、202、203、204の瞳透過率分布である。min()は、()内の最小値を求める関数である。X及びYは射出瞳120上の座
標である。
Figure 0006214322
Figure 0006214322
各受光部の瞳透過率分布に補正係数を掛け、加減算することにより得られる分布を補正瞳透過率分布と呼ぶ。補正信号は補正瞳透過率分布を有する受光部で取得した信号に相当する。補正係数α3及びα4を式14及び式15で示す範囲外に設定すると、補正瞳透過率分布の一部に負の感度が生じる。負の感度で受光した信号は、負の値となり、正の感度で受光した正の値を有する信号と相殺される。補正信号は、一部の光束の情報が欠落した信号となる。これにより、補正信号より検出されるズレ量に誤差が生じ、測距誤差が生じる。補正係数を式14及び式15で示す範囲の値とすることで、補正信号の誤差を減少させ、ズレ量の検出誤差を低減し、更に高精度な測距が可能となる。
なお、図11では瞳重心211g及び212gのy座標が射出瞳120の中心のy座標と一致する場合を示しているが、上述のようにこれらの瞳重心のy座標が一致するように補正すれば補正すればよい。すなわち、補正後の瞳重心のy座標の値は任意であって構わない。
(補正処理に用いる2つの信号の瞳領域の関係)
本実施形態においては、2つの信号を減算することにより補正信号を生成する(補正係数α3、α4が負の実数となる)。この際、瞳領域103d、104dは、第1の方向(x方向)に関して、それぞれ第1、第2の信号の瞳領域101d、102dよりも瞳中心120に近い領域あるいは逆側に偏心した領域であることが望ましい。この条件を満たす場合は、補正後の瞳領域211d及び212dがそれぞれ+x方向及び−x方向に偏心するため、補正信号の基線長が確保され測距精度の低下を回避することができる。
(信号取得手段の配置間隔)
本実施形態における信号取得手段である測距画素208と209は、撮像素子上で互いに近傍に隣接して配置することが望ましい。互いに離れた位置に配置すると、各受光部に、異なる被写体からの光束が入射する。入射光束に差があると、各受光部で取得した信号により生成される補正信号に誤差が含まれ、測距結果に誤差が生じる。測距画素208と209は、互いに近傍に配置することが望ましい。測距画素208と209は、3画素以内に隣接して配置することがより望ましい。測距画素208と209は、直接隣接して配置することが更に望ましい。
本実施形態のように、各画素に含まれる受光部の数を減らすと、各受光部の領域を広くすることができ、画素サイズが小さい撮像素子でも、各受光部を容易に作製することができる。また、各受光部で受光される光束が増加するため、S/Nの良い信号を取得することができ、より高精度な測距が可能となる。
本実施形態における信号取得手段である測距画素208、209は、第1の実施形態のように、各画素にマイクロレンズと複数の受光部を設けることで構成することが出来る。あるいは、各画素に導波路と複数の受光部を設けることで構成してもよい。
(信号取得手段の変形例)
測距画素(信号取得手段)の構成は前述と異なる構成にしてもよい。例えば、図12に示す構成にしてもよい。図12(a)は撮像素子206の一部を示す図であり、図12(b)(c)は各画素のxz断面図、図12(d)(e)はyz断面図である。信号取得手段は、4つの画素241、242、243、244で構成される。各画素には、マイクロレンズ150とそれぞれ受光部251、252、253、254が構成される。受光部251は、測距画素241内に、−x方向に偏心して配置され(中心が測距画素241の中心よりも−x方向に位置して配置されている)。受光部252は、測距画素242内に、+x方向に偏心して配置される。受光部251と252のxy断面形状は同一である。また、受光部253は、測距画素243内に、+y方向に偏心して配置される。受光部254は、測距画素244内に、+y方向に偏心して配置される。受光部253と254のxy断面形状は同一である。更に、各画素には入射した光束の一部を遮光する遮光部材255が配置される。画素241、242、243、244では、それぞれ瞳領域201d、202d、203d、204dからの光束が受光され、それ以外の瞳領域からの光束は遮光部材255により遮光される。このような構成により、各受光部251、252、253、254で、各信号S201、S202、S203、S204を取得することができる。前述と同様に、距離演算手段にて補正信号を生成し、補正信号を用いて距離を算出することで、高速かつ高精度な測距が可能となる。
(信号補正処理の変形例)
なお、実施形態1と同様に、本実施形態の構成における各受光部で取得した信号を加算することにより補正信号を生成してもよい。
図10(b)(c)(d)(e)のように、瞳領域204dは、y方向において、瞳領域201dとは異なる位置にある領域であり、瞳領域201dとは反対方向(−y方向)に偏心した領域である。瞳領域203dは、y方向において、瞳領域202dとは異なる位置にある領域であり、瞳領域202dとは反対方向(+y方向)に偏心した領域である。
実施形態1の信号補正処理130において、受光部201で取得した信号S201を第1の信号S1、受光部204で取得した信号S204を第3の電気信号S3とし、式2に基づき補正信号CS1を生成する。そして、受光部202で取得した信号S202を第2の信号S2、受光部203で取得した信号S203を第4の電気信号S4とし、式3に基づき補正信号CS2を生成する。距離演算部131にて補正信号を用いて距離を算出することで、前述と同様に高速かつ高精度な測距を行うことができる。
[第3の実施形態]
本実施形態の距離検出装置300は、結像光学系105と撮像素子306と距離演算部109を備えている。
本実施形態の距離検出装置を構成する信号取得手段の構成例を図13に示す。図13(a)は撮像素子306の一部を示した図であり、画素241と画素243と画素315を配置して構成されている。画素241及び243は、それぞれ瞳領域201d及び203dからの光束を受光するものであり、前述(図12(a)(b))と同様の構成を有している。画素315には受光部305が設けられている。受光部305は、射出瞳領域の全域を通過した光束を受光するように構成されている。受光部305は、図13(b)のように画素面の略全域に配置される。画素315は、マイクロレンズ301、基板151、受光部305が図に示すように配置されて構成される。画素315は、更に、読み出し手段(不図示)を備えており、これにより、受光部305の蓄積電荷を電気信号として距離演算部109に出力する。
受光部251、253ではそれぞれ信号S201、S203が取得される。受光部305で取得した信号S305から信号S201を減算して得られる信号を信号S302とする(S302=S305−S201)。信号S302は、図14(a)のように、射出瞳の瞳領域251d以外の瞳領域302dからの光束に基づく信号であり、前述の瞳領域202dに対応する信号となる。信号S305から信号S203を減算して得られる信号を信号S304とする(S304=S305−S203)。信号S304は、図14(b)のように、射出瞳の瞳領域253d以外の瞳領域304dからの光束に基づく信号であり、前述の瞳領域204dに対応する信号となる。
距離演算部109において、信号S201を信号S1(第1の信号)とし、信号S203を信号S3(第3の信号)として用いる。そして、信号S302を信号S2(第2の信号)とし、信号S304を信号S4(第4の信号)として用いる。これらの信号を用いて、前述と同様の手法で測距することで、高速かつ高精度に測距することができる。
このような構成とすることで、実施形態2の構成と比べて、各信号を取得するための受光部を減らすことができ、撮像素子106の構成を簡素化することができる。また、受光部305は、受光部S202、204よりも広い瞳領域からの光束を受光する高感度な受光部であり、この信号を用いて生成される信号S302、S304は、信号S202、S204よりもS/Nが良い信号となる。このような信号を用いて補正信号を生成することで、補正信号の品質が向上し、測距精度及び撮影画像の品質を向上することができる。
上述した各実施形態における距離演算部の具体的な実装は、ソフトウェア(プログラム)による実装と、ハードウェアにより実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ(マイコン、CPU、MPU、FPGA等)のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するASIC等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。
また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体(つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体)から、上記コンピュータに提供される。よって、上記コンピュータ(CPU、MPU等のデバイスを含む)、上記方法、上記プログラム(プログラムコード、プログラムプロダクトを含む)、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
100 距離検出装置
105 光学系
106 撮像素子
109 距離演算手段
120 射出瞳

Claims (24)

  1. 被写体の像を結像する光学系と、前記光学系の射出瞳を通過した光束に基づく信号を取得する撮像素子と、前記信号に基づいて前記被写体までの距離を算出する演算手段と、を備えた距離検出装置であって、
    前記撮像素子は、
    前記射出瞳の中心から第1の方向および該第1の方向と垂直な第2の方向に偏心した第1の瞳領域を通過した光束に基づく第1の信号と、
    前記射出瞳の中心から前記第1の瞳領域とは逆方向に偏心した第2の瞳領域を通過した光束に基づく第2の信号と、
    前記第2の方向における重心位置が前記第1の瞳領域の重心位置とは異なる第3の瞳領域を通過した光束に基づく第3の信号と、
    を取得する信号取得手段を備え、
    前記演算手段は、
    前記第1の信号と前記第3の信号とを異なる割合で加減算することにより第1の補正信号を生成する信号補正処理と、
    前記第1の補正信号と前記第2の信号に基づいて前記第1の方向における像ズレ量を算出し、当該像ズレ量に基づいて前記被写体までの距離を算出する距離算出処理と、
    を行う、
    ことを特徴とする距離検出装置。
  2. 前記信号補正処理は、以下の式1に基づき、前記第1の補正信号を生成する処理である、
    ことを特徴とする請求項1に記載の距離検出装置。
    Figure 0006214322
    ただし、CS1は前記第1の補正信号、S1とS3は前記第1と第3の信号であり、α1とα3は補正係数であり、互いに異なる実数である。
  3. 前記信号取得手段は、前記第2の方向における重心位置が前記第2の瞳領域の重心位置とは異なる第4の瞳領域を通過した光束に基づく第4の信号をさらに取得し、
    前記信号補正処理は、前記第2の信号と前記第4の信号とを異なる割合で加減算することにより、第2の補正信号を生成する処理を含み、
    前記距離算出処理は、前記第1の補正信号と前記第2の補正信号の前記第1の方向における像ズレ量を算出し、当該像ズレ量に基づいて前記被写体までの距離を算出する処理である、
    ことを特徴とする請求項1または2に記載の距離検出装置。
  4. 前記信号補正処理は、以下の式1および式2に基づき、前記第1の補正信号および前記第2の補正信号を生成する処理である、
    ことを特徴とする請求項3に記載の距離検出装置。
    Figure 0006214322
    ただし、CS1は前記第1の補正信号、CS2は前記第2の補正信号、S1、S2、S3、S4はそれぞれ前記第1、第2、第3、第4の信号であり、α1、α2、α3、α4は補正係数であり、α1とα3は互いに異なる実数であり、α2とα4は互いに異なる実数である。
  5. 前記第1の補正信号に対応する瞳重心の前記第2の方向における位置と、前記第2の補正信号に対応する瞳重心の前記第2の方向における位置は、等しい、
    ことを特徴とする請求項4に記載の距離検出装置。
  6. 前記補正係数α、α、α、αは、以下の式3を満たす実数である、
    ことを特徴とする請求項5に記載の距離検出装置。
    Figure 0006214322
    ただし、T101、T102、T103、T104はそれぞれ前記第1、第2、第3、第4の信号に対応する瞳透過率分布の前記射出瞳上における積分値であり、y101g、y102g、y103g、y104gはそれぞれ前記第1、第2、第3、第4の信号に対応する瞳重心の前記第2の方向における位置である。
  7. 前記信号補正処理は、前記射出瞳の形状、または前記射出瞳と前記撮像素子との間の距離、または前記信号取得手段の前記撮像素子上の位置の少なくともいずれかに基づいて、前記補正係数を調整する補正係数調整処理を含む、
    ことを特徴とする請求項4から6のいずれか1項に記載の距離検出装置。
  8. 前記補正係数調整処理では、前記信号取得手段の前記撮像素子上の位置に応じて、前記補正係数α1とα3およびα2とα4のどちらを大きくするかを決定し、前記信号取得手段の位置が撮像素子の隅に近いほど、または前記光学系の焦点距離が短くなるほど、または前記射出瞳と前記撮像素子の距離が短くなるほど、前記補正係数α1とα3の比(小さい方に対する大きい方の比)または前記補正係数α2とα4の比が大きくなるように、前記補正係数を調整する、
    ことを特徴とする請求項7に記載の距離検出装置。
  9. 前記第3の瞳領域は、前記第2の方向において前記射出瞳の中心から前記第1の瞳領域とは逆方向に偏心した領域であり、
    前記第4の瞳領域は、前記第2の方向において前記射出瞳の中心から前記第2の瞳領域とは逆方向に偏心した領域であり、
    前記補正係数α1、α2、α3、α4はいずれも正の実数である、
    ことを特徴とする請求項4から8のいずれか1項に記載の距離検出装置。
  10. 前記第3の瞳領域は、前記第1の方向において前記射出瞳の中心から前記第1の瞳領域と同じ方向に偏心した領域であり
    前記第4の瞳領域は、前記第1の方向において前記射出瞳の中心から前記第2の瞳領域と同じ方向に偏心した領域である、
    ことを特徴とする請求項9に記載の距離検出装置。
  11. 前記第3の瞳領域は、前記第2の方向に関して前記射出瞳の中心から前記第1の瞳領域と同じ方向に偏心しており、その偏心量は前記第1の瞳領域よりも多く、
    前記第4の瞳領域は、前記第2の方向に関して前記射出瞳の中心から前記第2の瞳領域と同じ方向に偏心しており、その偏心量は前記第2の瞳領域よりも多い、
    前記補正係数α1およびα2は正の実数であり、α3およびα4は負の実数である、
    ことを特徴とする請求項4から8のいずれか1項に記載の距離検出装置。
  12. 前記第3の瞳領域は、前記第1の方向に関して前記第1の瞳領域よりも前記射出瞳の中
    心に近い位置もしくは前記第1の瞳領域とは逆方向に偏心した領域であり、
    前記第4の瞳領域は、前記第1の方向に関して前記第2の瞳領域よりも前記射出瞳の中心に近い位置もしくは前記第2の瞳領域とは逆方向に偏心した領域である、
    ことを特徴とする請求項11に記載の距離検出装置。
  13. 前記撮像素子は、2行2列に配列された第1、第2、第3および第4の受光部を備える測距画素を複数備えており、
    前記信号取得手段は、複数の測距画素の前記第1、第2、第3および第4の受光部から、それぞれ前記第1、第2、第3および第4の信号を取得する、
    ことを特徴とする請求項4から12のいずれか1項に記載の距離検出装置。
  14. 前記撮像素子は、前記第1の方向に並置された第1および第2の受光部を備える第1の測距画素と、前記第2の方向に並置された第3および第4の受光部を備える第2の測距画素とをそれぞれ複数備えており、
    前記信号取得手段は、複数の第1の測距画素の前記第1および第2の受光部から、それぞれ前記第1および第2の信号を取得し、複数の第2の測距画素の前記第3および第4の受光部から、それぞれ前記第3および第4の信号を取得する、
    ことを特徴とする請求項4から12のいずれか1項に記載の距離検出装置。
  15. 前記第1および第2の測距画素は、3画素以内に隣接して配置される、
    ことを特徴とする請求項14に記載の距離検出装置。
  16. 前記撮像素子は、前記第1の方向に偏心して配置された第1の受光部を備える第1の測距画素と、前記第2の方向に偏心して配置された第3の受光部を備える第2の測距画素と、画素面の略全域に配置された第5の受光部を備える第3の測距画素とをそれぞれ複数備えており、
    前記信号取得手段は、第1の測距画素の前記第1の受光部から前記第1の信号を取得し、第3の測距画素の前記第5の受光部から取得される信号から第1の測距画素の前記第1の受光部から取得される信号を減算することで前記第2の信号を取得し、第2の測距画素の前記第3の受光部から前記第3の信号を取得し、第3の測距画素の前記第5の受光部から取得される信号から第2の測距画素の前記第3の受光部から取得される信号を減算することで前記第4の信号を取得する、
    ことを特徴とする請求項4から12のいずれか1項に記載の距離検出装置。
  17. 前記第1、第2および第5の測距画素は、互いに3画素以内に隣接して配置される、
    ことを特徴とする請求項16に記載の距離検出装置。
  18. 前記演算手段は、前記第1および第2の補正信号に対応する瞳透過率分布に基づいて補正基線長を算出する補正基線長算出処理を更に実行し、
    前記距離算出処理は、前記補正基線長と前記像ズレ量とを用いて前記距離を算出する、
    ことを特徴とする請求項4から17のいずれか1項に記載の距離検出装置。
  19. 前記演算手段は、以下の式3および式4で表わされる第1および第2の修正フィルタを生成し、前記第1の補正信号に第2の修正フィルタを、前記第2の補正信号に第1の修正フィルタを、それぞれ畳み込み積分することにより、第1の修正信号と第2の修正信号とを生成する信号修正処理を更に実行し、
    前記距離算出処理では、前記第1の補正信号および第2の補正信号に代えて前記第1および前記第2の修正信号を用いて前記像ズレ量を算出する、
    ことを特徴とする請求項4から18のいずれか1項に記載の距離検出装置。
    Figure 0006214322
    ただし、P1´およびP2´は前記第1および第2の修正フィルタ、P1、P2、P3、P4は、それぞれ前記第1、第2、第3、第4の信号を取得する前記信号取得手段と前記光学系によって決まる点像分布関数、α1、α2、α3、α4は前記補正係数である。
  20. 請求項1から19のいずれか1項に記載の距離検出装置と、
    前記撮像素子から得られる信号から被写体の画像を生成する画像生成手段と、
    を備える、撮像装置。
  21. 前記撮像装置は、前記距離検出装置の距離検出結果に基づき、前記光学系の焦点検出を行う、
    ことを特徴とする請求項20に記載の撮像装置。
  22. 前記撮像装置は、前記距離検出装置の距離検出結果に基づき、距離画像を取得する、
    ことを特徴とする請求項20に記載の撮像装置。
  23. 被写体の像を結像する光学系と、前記光学系の射出瞳を通過した光束に基づく信号を取得する撮像素子と、前記信号に基づいて前記被写体までの距離を算出する演算手段と、を備えた距離検出装置が行う距離検出方法であって、
    前記射出瞳の中心から第1の方向および該第1の方向と垂直な第2の方向に偏心した第1の瞳領域を通過した光束に基づく第1の信号と、前記射出瞳の中心から前記第1の瞳領域とは逆方向に偏心した第2の瞳領域を通過した光束に基づく第2の信号と、前記第2の方向における重心位置が、前記第1の瞳領域の重心位置とは異なる第3の瞳領域を通過した光束に基づく第3の信号と、を取得する信号取得処理と、
    前記第1の信号と前記第3の信号とを異なる割合で加減算することにより第1の補正信号を生成する信号補正処理と、
    前記第1の補正信号と前記第2の信号に基づいて前記第1の方向における像ズレ量を算出し、当該像ズレ量に基づいて前記距離を算出する距離算出処理と、
    を含む、ことを特徴とする距離検出方法。
  24. 前記信号取得処理は、前記第2の瞳領域とは前記第2の方向において異なる位置にある第4の瞳領域を通過した光束に基づく第4の信号を取得する処理をさらに含み、
    前記信号補正処理は、前記第2の信号と前記第4の信号とを異なる割合で加減算することにより、第2の補正信号を生成する処理を含み、
    前記距離算出処理は、前記第1の補正信号と前記第2の補正信号の前記第1の方向における像ズレ量を算出する処理を含む、
    ことを特徴とする請求項23に記載の距離検出方法。
JP2013214950A 2013-10-15 2013-10-15 距離検出装置、撮像装置および距離検出方法 Active JP6214322B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013214950A JP6214322B2 (ja) 2013-10-15 2013-10-15 距離検出装置、撮像装置および距離検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013214950A JP6214322B2 (ja) 2013-10-15 2013-10-15 距離検出装置、撮像装置および距離検出方法

Publications (2)

Publication Number Publication Date
JP2015078855A JP2015078855A (ja) 2015-04-23
JP6214322B2 true JP6214322B2 (ja) 2017-10-18

Family

ID=53010394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013214950A Active JP6214322B2 (ja) 2013-10-15 2013-10-15 距離検出装置、撮像装置および距離検出方法

Country Status (1)

Country Link
JP (1) JP6214322B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204943B2 (en) 2016-08-10 2019-02-12 Canon Kabushiki Kaisha Image sensor, method of manufacturing the same, and camera with pixel including light waveguide and insulation film

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3212335B2 (ja) * 1991-12-25 2001-09-25 セコム株式会社 受動形測距装置
JP4984491B2 (ja) * 2005-10-31 2012-07-25 株式会社ニコン 焦点検出装置および光学システム
JP5489641B2 (ja) * 2008-11-11 2014-05-14 キヤノン株式会社 焦点検出装置及びその制御方法
JP2012107956A (ja) * 2010-11-16 2012-06-07 Nikon Corp 距離情報取得装置、撮像装置および構造化開口ユニット
JP6150497B2 (ja) * 2012-11-12 2017-06-21 キヤノン株式会社 検出装置、及び、プログラム

Also Published As

Publication number Publication date
JP2015078855A (ja) 2015-04-23

Similar Documents

Publication Publication Date Title
JP6202927B2 (ja) 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法
JP6335423B2 (ja) 情報処理装置および情報処理方法
JP6021780B2 (ja) 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
JP5963514B2 (ja) 測距装置、測距方法及び撮像システム
JP6214271B2 (ja) 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体
JP6150497B2 (ja) 検出装置、及び、プログラム
WO2015128908A1 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
JP6116151B2 (ja) 距離検出装置
JP6381422B2 (ja) 距離検出装置、撮像装置、および距離検出方法
JP6173549B2 (ja) 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
JP6214322B2 (ja) 距離検出装置、撮像装置および距離検出方法
US9402069B2 (en) Depth measurement apparatus, imaging apparatus, and method of controlling depth measurement apparatus
JP7057090B2 (ja) 測距装置および測距方法
JP2016066995A (ja) 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
JP2014153494A (ja) 測距装置
JP6082212B2 (ja) 撮像素子及びそれを用いた測距装置
JP2012022147A (ja) 位相差検出用情報取得装置、位相差検出装置、撮像装置
JP2015015704A (ja) 測距装置、撮像装置及び測距装置の制御方法
JP6207243B2 (ja) 測距装置、撮像装置及び測距装置の制御方法
JP6590463B2 (ja) 距離算出装置
JP5932361B2 (ja) 距離情報検出装置、距離情報検出方法、及びカメラ
JP2015014732A (ja) 距離検出装置及び距離検出方法
JP2013051466A (ja) 撮像装置及び撮像方法
JP2013051467A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170919

R151 Written notification of patent or utility model registration

Ref document number: 6214322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151