JP6234087B2 - 距離検出装置及び距離検出方法 - Google Patents

Description

本発明は、距離検出装置、撮像装置及び距離検出方法に関する。

デジタルスチルカメラやデジタルビデオカメラなどの撮像装置に適応可能な距離検出技術として、位相差方式による距離検出技術が知られている。この方式では、撮像素子の少なくとも一部の画素に測距機能を有する画素（以下、「測距画素」ともいう）を配置する。測距画素は、例えば特許文献１に記載されているようにマイクロレンズと光電変換部で構成される。あるいは、測距画素は導波路と光電変換部で構成される。これらの構成により、結像光学系の瞳上の異なる領域を通過した光束が異なる光電変換部に導かれる。各測距画素の光電変換部で得た信号に基づいて異なる瞳領域を通過した光束による像のズレ量を検出し、変換係数を介して像ズレ量をデフォーカス量に変換することで、被写体までの距離を算出することができる。

前述の変換係数は、結像光学系の瞳形状や測距画素の分光感度特性などで決定され、被写体の色に応じて変動する。特許文献１には、この変動を補正する手法が記載されている。赤用と青用の撮像画素の信号の差を、赤・青・緑用の３種類の画素信号の和で規格化し、係数を掛けたものを補正項（ａ×（Ｒ−Ｂ）／（Ｒ＋Ｇ＋Ｂ））とする。測距画素の緑光に対する変換係数に補正項を加えることで補正し、補正した変換係数を用いてデフォーカス量を算出することが記載されている。

特許第５０４５８０１号公報

導波路で構成された測距画素の場合、変換係数は、被写体光が中央波長（緑）から周辺波長（青もしくは赤）になるにつれて増大する。特許文献１における補正項は、被写体光の波長が短波長から長波長になるにつれて単調増加する。そのため、導波路で構成された測距画素を用いる場合には、変換係数を適切に補正することができず、正確なデフォーカス量を算出することができない。

本発明は、上記課題に鑑み測距画素を用いた距離検出において、変換係数が被写体の色に応じて変動する場合であっても、高精度な測距が可能な距離検出技術の提供を目的とする。

本発明の第１の態様は、距離検出装置であって、
結像光学系を通過した可視光を含む光束を導波路部材を介して光電変換部で受光する撮像素子であって、分光感度が互いに異なる複数種類の画素を含み、前記画素の少なくとも一部の画素は、前記導波路部材によって前記結像光学系の第１の瞳領域を通過した光束と第２の瞳領域を通過した光束を分離して前記光電変換部で受光されるように構成され、前記結像光学系の第１の瞳領域を通過した光束に基づく第１の信号と、前記結像光学系の第２の瞳領域を通過した光束に基づく第２の信号とを生成する測距画素である、撮像素子と、
前記結像光学系のデフォーカス量に基づいて距離を検出する演算処理部であって、
前記第１の信号と前記第２の信号に各々依拠する第１の像と第２の像の相対的位置ずれを表す像ズレ量を算出する像ズレ量算出処理と、
前記像ズレ量を前記結像光学系のデフォーカス量に変換するための補正変換係数を、定数である基準変換係数と、前記複数種類の画素から取得される補正信号に基づいて所定の算出式にしたがって求められる補正パラメータとに基づいて決定する変換係数算出処理と、
前記像ズレ量と前記補正変換係数とを用いて距離の算出を行う距離算出処理と、
を行う、演算処理部と、
を備え、
前記補正パラメータは、前記光束の波長に応じて変化するパラメータであり、前記複数種類の画素で受光する波長帯域のうちの可視光波長領域の中央付近の波長に対して最大値または最小値をとるパラメータである、
ことを特徴とする。

本発明の第２の態様は、結像光学系を通過した可視光を含む光束を導波路部材を介して光電変換部で受光する撮像素子であって、分光感度が互いに異なる複数種類の画素を含み、前記画素の少なくとも一部の画素は、前記導波路部材によって前記結像光学系の第１の瞳領域を通過した光束と第２の瞳領域を通過した光束を分離して前記光電変換部で受光されるように構成され、前記結像光学系の第１の瞳領域を通過した光束に基づく第１の信号と、前記結像光学系の第２の瞳領域を通過した光束に基づく第２の信号とを生成する測距画素である、撮像素子を有する距離検出装置が行う距離検出方法であって、
前記第１の信号と前記第２の信号に各々依拠する第１の像と第２の像の相対的位置ずれを表す像ズレ量を算出する像ズレ量算出ステップと、
前記像ズレ量を前記結像光学系のデフォーカス量に変換するための補正変換係数を、定数である基準変換係数と、前記複数種類の画素から取得される補正信号に基づいて所定の算出式にしたがって求められる補正パラメータとに基づいて決定する変換係数算出ステップと、
前記像ズレ量と前記補正変換係数とを用いて距離の算出を行う距離算出ステップと、
を含み、
前記変換係数算出ステップにおいて、前記補正パラメータは、前記光束の波長に応じて変化するパラメータであり、前記複数種類の画素で受光する波長帯域のうちの可視光波長領域の中央付近の波長に対して最大値または最小値をとるパラメータとして算出される、
ことを特徴とする。

本発明によれば、測距画素を用いた距離検出において、変換係数が被写体の色に応じて変化する場合であっても、変換係数を適切に補正し高精度な測距が可能となる。

実施例１における距離検出装置１００の概略図 実施例１における測距画素１１０の角度特性の一例を示す図 実施例１における距離検出方法のフローチャート 実施例１における効果を示す図 実施例１における効果を示す図 実施例２における撮像素子２００の概略図 実施例２における距離検出方法のフローチャート

以下、図を用いて、本発明の実施例における距離検出装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。また、本発明の距離検出装置を備えた撮像装置は、以下に示す実施例に限定されるものではない。例えば、デジタルカメラ、デジタルビデオカメラや、ライブビューカメラ等の撮像装置や、デジタル距離計測器等に適用することができる。

（実施例１）
＜構成＞
図１（ａ）は、本実施例に係る距離検出装置１０２を備えた撮像装置１００を示す模式図である。撮像装置１００は、結像光学系１０１と、距離検出装置１０２を備えて構成されている。距離検出装置１０２は、撮像素子１０３と演算処理部１０４とメモリ１０５を有している。

図１（ｂ）は、撮像素子１０３を示す概要図である。撮像素子１０３は、測距画素１１０Ｇ、撮像画素１２０Ｒ、１２０Ｇ、１２０Ｂから構成されている（以下、撮像画素１２０Ｒ、１２０Ｇ、１２０Ｂをまとめて「画素１２０」と呼ぶ）。図１（ｃ）は、各画素の構成を示す模式図である。各画素は、マイクロレンズ１１１、カラーフィルタ１２２Ｒ、１２２Ｇ、１２２Ｂ、導波路１１３、光電変換部１１０Ｇａ、１１０Ｇｂ、１２３Ｒ、１２３Ｇ、１２３Ｂから構成されている。カラーフィルタ１２２Ｒ、１２２Ｇ、１２２Ｂは、それぞれ赤、緑、青の波長帯域の光が最も透過する媒質で構成されている。画素１２０Ｒ、１２０Ｇ、１２０Ｂは、分光感度が互いに異なり、それぞれ、赤光（第１の波長）、緑光（第２の波長）、青光（第３の波長）を取得する画素となっている。画素１２０Ｒ、１２０Ｇ、１２０Ｂは、例えば図１（ｄ）に示す分光感度１２１Ｒ、１２１Ｇ、１２１Ｂを有している。導波路１１３のコア１１４およびクラッド１１５は、撮像する波長に対して透明な材料で形成される。例えば、酸化シリコン、窒化シリコン、有機材料などで形成される。コア１１４は、クラッド１１５より高い屈折率を有する材料で形成される。基板１２４は、検出する波長帯域で吸収を有する材料、例えばＳｉであり、イオン打ち込みなどで、内部の少なくとも一部の領域に各光電変換部が形成される。各画素は、図示しない配線を備えている。

測距画素１１０Ｇの光電変換部１１０Ｇａ及び１１０Ｇｂには、それぞれ射出瞳１３０の異なる領域（第１の瞳領域１３１ａ及び第２の瞳領域１３１ｂ）を通過した光束が入射する。光電変換部１１０Ｇａ及び１１０Ｇｂは、第１の瞳領域１３１ａ及び第２の瞳領域１３１ｂを通過した光束に各々依拠する第１の信号及び第２の信号を取得する。光電変換部１２３Ｒ、１２３Ｇ、１２３Ｂでは信号Ｒｓ、Ｇｓ、Ｂｓが取得される。各光電変換部が取得した信号は、演算処理部１０４に伝送される。信号Ｒｓ、Ｇｓ、Ｂｓは、各画素１２０Ｒ、１２０Ｇ、１２０Ｂの画像形成用の信号として使用することができる。

被写体１０６の像は、結像光学系１０１を介して撮像素子１０３に結像される。図１（ａ）では射出瞳１３０を通過した光束が結像面１０７で焦点を結び、焦点がデフォーカスした状態を示している。尚、デフォーカスとは、結像面１０７が、撮像面（受光面）と一致せず、光軸１０８方向にズレた状態のことをいう。デフォーカス量は、撮像素子１０３の撮像面と結像面１０７との間の距離を示す。本実施例に係る距離検出装置では、このデフォーカス量に基づいて被写体１０６の距離が検出される。測距画素１１０Ｇの各光電変換部で取得した、第１の信号に依拠する像が第１の像、第２の信号に依拠する像が第２の像となる。第１の像と第２の像との相対的位置ズレを示す像ズレ量ｒと、デフォーカス量ΔＬとは、（式１）の関係を有している。

（式１）において、Ｗは基線長、Ｌは撮像素子（撮像面）１０３から、射出瞳１３０までの距離である。

図２（ａ）は、測距画素１１０Ｇの感度を示す模式図であり、横軸は光線が光軸（図１（ａ）の光軸１０８）となす入射角度、縦軸は感度を示している。実線１４０ａは第１の瞳領域１３１ａからの光束を主として受光する光電変換部１１０Ｇａの感度、破線１４０
ｂは第２の瞳領域１３１ｂからの光束を主として受光する光電変換部１１０Ｇｂの感度をそれぞれ示している。図２（ａ）に示した画素感度を測距画素１１０Ｇから射出瞳１３０上に射影にすると、図２（ｂ）に示す瞳感度分布情報が得られる。図２（ｂ）で、色が濃い領域ほど高い感度を有している。各光電変換部の瞳感度分布の重心位置１４１ａ、１４１ｂの間の長さが基線長Ｗとなる。

（式１）は、比例係数Ｋを用いて、（式２）のように書くことができる。

像ズレ量をデフォーカス量に変換する係数を以下「変換係数」と呼ぶ。変換係数は、例えば、前述の比例係数Ｋあるいは基線長Ｗのことを言う。図２に示した測距画素１１０Ｇの感度特性（角度特性）に波長依存性（分光感度特性）があると、変換係数は被写体の色（被写体光波長）に応じて変動する。

本実施例においては、演算処理部１０４が、画素１２０が取得した信号（以下、変換係数の算出に用いる信号を「補正信号」と呼ぶ）を所定の算出式に代入することにより補正変換係数を算出する、変換係数算出処理を行う。そして、補正変換係数を用いて前記デフォーカス量を算出する距離算出処理が行われる。

＜距離検出手法＞
演算処理部１０４における演算フローを踏まえた本実施例に係る距離算出処理のフローチャートの一例を図３に示す。以下、（式２）に基づく被写体の距離算出方法を、フローチャートを参照して説明する。

ステップＳ１８１の像ズレ量算出処理では、第１の像と第２の像間の相対的な位置ズレ量である像ズレ量の算出を行う。像ズレ量の算出は公知の手法を用いることができる。例えば（式３）を用いて、第１の像と第２の像の像信号データＡ（ｉ）、Ｂ（ｉ）を用いて相関値Ｓ（ｊ）を算出する。

（式３）において、Ｓ（ｊ）はシフト量ｊにおける２つの像の相関度を示す相関値、ｉは画素番号、ｊは２つの像の相対的なシフト量である。ｐ及びｑは、相関値Ｓ（ｊ）の算出に用いる対象画素範囲を示している。相関値Ｓ（ｊ）の極小値を与えるシフト量ｊを求めることで像ズレ量を算出することができる。なお、像ズレ量の算出方法は、本実施例の方法に限定されるものではなく、他の公知の手法を用いてもよい。

ステップＳ１８２の変換係数算出処理では、補正変換係数Ｋ´を（式４）にしたがって算出する。

（式４）において、Ｋ_０は基準変換係数、αは補正係数、Ｐは補正パラメータを表わしている。基準変換係数Ｋ_０及び補正係数αは、測距画素１１０Ｇの分光感度特性及び補正パラメータの算出式に応じて予め決定される定数である。補正パラメータＰは、補正信号
と予め定義された算出式（算出方法）とにより求まり、測距対象となる被写体光の波長に応じて変動する変数である。また、補正パラメータＰは、画素１２０Ｒ、１２０Ｇ、１２０Ｂで受光する光の波長帯域の中央付近の波長の光に対して、最大値あるいは最小値をとる変数である。なお、中央付近の波長とは、ここでは画素１２０Ｇの分光感度ピークを含む所定の範囲の波長である。例えば、画素１２０Ｂ及び１２０Ｇの分光感度ピークの平均値以上、かつ、画素１２０Ｇ及び１２０Ｒの分光感度ピークの平均値以下とすることができる。

補正パラメータＰは、例えば（式５）の算出式で求められる。

（式５）で、Ｒｓ、Ｇｓ、Ｂｓは補正信号であり、測距画素１１０Ｇの近傍の複数の画素で取得したそれぞれの信号１２０Ｒｓ、１２０Ｇｓ、１２０Ｂｓを平均した平均信号である。すなわち、補正パラメータＰは、３種類の画素の信号の和を、異なる分光感度を有する複数種類（ここでは３種類）の画素のうち中央の波長帯域に高い感度を有する画素（画素１２０Ｇ）から取得した信号で除算したものとして決定される。（式５）の括弧内のように、画素１２０Ｇから取得した信号を、複数種類（３種類）の画素１２０Ｒ、１２０Ｇ、１２０Ｂで取得した信号の和で規格化することで、補正パラメータＰは、入射光の強度（被写体の明るさ）によらず、波長分布に応じて値が決まる変数となる。（式５）より算出される補正パラメータＰは、上記規格化された値の逆数であり、中央付近の波長（本実施例では緑の波長）の光に対して、最小値をとる。

ステップＳ１８３の距離算出処理では、Ｓ１８１とＳ１８２にて算出した像ズレ量ｒと補正変換係数Ｋ´を用いて、（式６）の距離算出式よりデフォーカス量ΔＬを算出する。

本実施例によると、Ｓ１８２の補正係数算出処理を行うことで、被写体の色に応じて正確な変換係数を得ることができ、像ズレ量からデフォーカス量への変換誤差を低減し、高精度な距離算出が可能となる。

＜高精度の距離検出が可能となる理由＞
本実施例に係る距離検出装置により、高精度の距離算出が可能となる理由について説明する。

図４（ａ）は、測距画素１１０Ｇの基線長Ｗ（破線１５０）及び比例係数Ｋ（実線１５１）の波長依存性を模式的に示した図である。図のように、被写体光が撮像素子１０３で受光する波長帯域の中央波長（５５０ｎｍ付近）から周辺波長（４００ｎｍあるいは７００ｎｍ）になると、基線長Ｗは短くなり、比例係数Ｋは大きくなる。

導波路を低次の導波モード光で伝搬させると、コア１１４の一部の領域に電場が局在する。そこで、中央波長の光に対して、導波路１１３の形状、構成する媒質を適切に選択することにより、異なる入射方向の光を分離できる。すなわち、適切な設計により、瞳領域１３１ａ及び１３１ｂを通過した光束を、コア１１４の片側に局在させて伝搬させ、それぞれ光電変換部１１０Ｇａ、１１０Ｇｂに導くことができる。これにより、瞳分割を行い、測距機能を実現している。

波長が短くなると、導波路内で存在できる導波モードの数が増加し、低次及び高次の導波モードで伝搬する。高次の導波モードで伝搬する光は、複雑な電場分布を有しており、コア１１４内で電場が広がりやすく、光電変換部１１０Ｇａと１１０Ｇｂの両方に入射しやすくなる。そのため、異なる瞳領域を通過した光束を異なる光電変換部に導きにくくなり、瞳分離性能が劣化する。一方、波長が長くなると、電場の局在領域が大きくなるため、片方の光電変換部のみに電場を導くことが難しくなり、瞳分割性能が劣化する。また、波長が長い光ほど、基板内（Ｓｉ）で吸収されにくく、近傍画素に入射した光束の一部がＳｉ内を伝播し、クロストーク光として光電変換部に到達する。クロストーク光には、射出瞳の様々な領域を通過した光束が含まれるため、瞳分割性能が劣化する。これらの要因により、被写体光が中央波長から周辺波長になると、基線長Ｗが短くなり、比例係数Ｋが大きくなる。

本実施例では、Ｓ１８２にて、補正信号を用いて補正変換係数を算出する。図４（ｂ）（ｃ）に、（式５）の補正パラメータＰを用いて、比例係数に相当する補正変換係数を算出する例を示す。補正パラメータＰは、（式５）より、図４（ｂ）の実線１５２のように、中央波長において最小値となる。図４（ｃ）において実線１５３で示すように、基準変換係数Ｋ_０を測距画素の中央波長に対する変換係数（比例係数）（縦軸に１５８として表す）よりも小さな値に設定する。そして、補正係数αを正の適切な値に設定する。そうすると、（式４）で算出される補正変換係数Ｋ’（破線１５４）は、測距画素１１０Ｇの変換係数（実線１５１）に近い値となる。被写体の色に応じて、正確な変換係数を得ることができ、ステップＳ１８３にてより高精度な距離算出が可能となる。

＜補正パラメータの算出式＞
補正パラメータの算出式は、（式５）に限定されるものではない。例えば、（式７）、（式８）の算出式でもよい。あるいは、測距画素１１０Ｇの変換係数の波長依存性に応じて、更に複雑な算出式を用いても良い。

図５（ａ）（ｂ）に、（式７）の補正パラメータを用いて、比例係数に相当する補正変換係数を算出する例を示す。補正パラメータは、図５（ａ）の実線１５５のように、中央波長において最大値となる。図５（ｂ）において実線１５６で示すように、基準変換係数Ｋ_０を、測距画素の中央波長に対する変換係数（縦軸に１５８で表す）よりも大きな値に設定する。そして、補正係数αを負の適切な値に設定する。そうすると、（式４）で算出される変換係数（破線１５７）は、測距画素１１０Ｇの変換係数（実線１５１）に近い値となる。（式８）を用いた場合も同様である。被写体の色（波長）に応じて、適切な変換係数を得ることができ、ステップＳ１８３にてより高精度な距離算出が可能となる。

更に、補正変換係数は、（式９）のように複数の補正パラメータを用いて算出してもよい。

（式９）において、βは補正係数、Ｑは補正パラメータを表わしている。補正係数βは、測距画素１１０Ｇの分光感度特性及び補正パラメータＱの算出式に応じて予め決定される定数である。Ｑは、補正パラメータＰとは異なる補正パラメータである。複数の補正パラメータを用いることで、より適切な変換係数を得ることができる。

あるいは、補正パラメータＱは、測距対象となる被写体光の波長分布に応じて変動する変数であり、画素１２０で受光する光の波長帯域が高波長になるにしたがって単調増加あるいは単調減少する変数であってもよい。補正パラメータＱは、例えば（式１０）や（式１１）で求められる。

図５（ｃ）は、補正パラメータＰの算出式として（式７）を用い、補正パラメータＱの算出式として（式１０）を用いた場合の、変換係数を算出する例を示す。補正パラメータＰのみを用いた場合（図５（ｂ））では、周辺波長において算出される変換係数（破線１５７）と正解値１５１との差が大きくなる場合がある。そこで、高波長になるにつれて単調増加する補正パラメータＱおよび適切な補正係数βを採用することで、算出される変換係数（実線１５９）を正解値１５１により近づけることができる。

このように、補正パラメータＰに加えて、入射光の波長に対する変動が大きく異なる補正パラメータＱを用いることで、より適切な変換係数を得ることができる。なお、補正パラメータＱとして、上記以外にも、Ｒｓ、Ｒｓ−Ｇｓ、Ｂｓ−ＧｓなどをＲｓ＋Ｇｓ＋Ｂｓで除算したものを採用しても良い。これらはいずれも被写体光の波長の変化に応じて単調増加あるいは単調減少するパラメータである。また、補正パラメータＰと補正パラメータＱの算出式は、任意に組合せることが可能である。

これらの方法により、被写体の波長分布に応じて正確な変換係数を得ることができ、より高精度な測距が可能となる。

＜補正信号＞
測距画素１１０Ｇ及び周辺の撮像画素１２０に入射する光の波長分布は、画素の位置に応じてバラつきが生じる。これは、例えば、デフォーカスによって測距対象の被写体の周辺にある物体からの光束の一部が入射することで生じる。あるいは、結像光学系の色収差によっても生じる。

補正パラメータの算出に用いる補正信号は、距離算出に用いる第１の信号あるいは第２の信号を取得する測距画素１１０Ｇに出来るだけ近い位置にある画素で取得した信号を用いることが望ましい。望ましくは、測距画素１１０Ｇの最近傍にある撮像画素１２０で取得した信号を用いることが望ましい。あるいは、補正信号として、測距画素１１０Ｇで取得した第１の信号及び第２の信号の和信号を用いてもよい。例えば、測距画素１１０Ｇで取得した信号の和（第１の信号＋第２の信号）を、補正信号Ｇｓとして使用することがで
きる。これにより、測距信号を生成する光と出来るだけ同じ、または同じ波長分布を有する光に基づく補正信号を用いて補正変換係数を算出することでき、正確な変換係数を算出することができる。

また、製造誤差によって、同種類の画素間で特性がバラつき、取得信号にバラつきが生じる場合がある。補正信号は、同種類の複数の撮像画素１２０Ｒ、１２０Ｇ、１２０Ｂあるいは測距画素１１０Ｇで取得した信号の平均信号を用いることが望ましい。前述の入射光の波長分布のバラつきの影響や製造誤差によるバラつきの影響を低減することができ、より正確な変換係数を算出することができる。

あるいは、補正信号は、像ズレ量を算出する第１の像および第２の像を構成する第１の信号及び第２の信号のうち、所定の閾値以上の信号を取得する測距画素１１０Ｇの近傍にある撮像画素１２０で取得した信号を選択的に用いても良い。あるいは測距画素１１０Ｇで取得した信号のうち、所定の閾値以上の信号を選択的に用いても良い。暗い被写体の測距を行う際に、Ｓ／Ｎが悪い信号を除いて、補正パラメータを算出することで、より正確に変換係数を算出できる。

あるいは、補正信号は、輝度レベルが同じ領域あるいは色相が同じ領域における撮像画素１２０あるいは測距画素１１０Ｇの信号を選択的に用いても良い。被写体からの同じ波長分布を有する光束に基づく信号を補正信号として用いることができ、補正パラメータ及び変換係数を、より精度よく算出することができる。

これらの方法により、被写体の波長分布に応じた変換係数を適切に算出することができ、より高精度な距離検出が可能となる。

＜算出式・係数＞
補正パラメータの算出式は、（式５）や（式７）のような、緑光を取得する画素１２０Ｇの取得信号Ｇｓあるいはその逆数１／Ｇｓに比例する式が望ましい。ベイヤー配列において、画素１２０Ｇは、他の画素１２０Ｒや１２０Ｂよりも密に配置される。撮像素子１０３上の多くの場所で信号を取得することができ、前述の画素位置に応じたバラつきの影響を緩和し、正確な信号を取得することができる。また、人の眼の感度が高い緑波長付近の被写体光を、他の画素よりも正確に受光することができ、補正パラメータの値が適切に算出でき、高精度な距離検出が可能となる。

変換係数及びその波長依存性は、結像光学系１０１の焦点距離や絞りあるいは像高（撮像素子上における測距する位置）などの測距条件に応じて変化する。

変換係数算出処理における基準変換係数、補正係数、補正パラメータの算出式は、例えば以下のように決定する。所定の測距条件において、既知の距離にあり、波長分布が異なる様々な被写体を撮影する。各被写体から取得した信号より、像ズレ量と所定の算出式より補正パラメータを算出する。各被写体の実際の距離と、像ズレ量及び補正変換係数から求まる距離が近くなるように、基準変換係数及び補正係数の調整を行う。あるいは各被写体信号より、幾つかの算出式に基づいて補正パラメータを算出する。各算出式において基準変換係数及び補正係数を調整し、正解距離が求まる算出式及び各係数を選択してもよい。あるいは複数の測距条件において正解距離が求まるように、算出式及び各係数を決定してもよい。あるいは、同様の手法を、結像光学系１０１や距離検出装置１０２の設計値を元にした数値シミュレーションで行い、決定してもよい。

補正パラメータの算出式及び基準変換係数及び補正係数は、前述の測距条件に応じて異なる算出式及び係数を用いてもよい。例えば、幾つかの測距条件における基準変換係数及
び補正係数の数値データを予めメモリ１０５に保持しておき、測距時の条件に応じて、適時読み出して使用してもよい。あるいは、各係数を焦点距離や絞り、像高（撮像素子上の測距位置）等を変数とする２次関数で近似する。そして、２次関数の係数をメモリ１０５に格納しておき、測距時の条件に応じて、適宜係数を読み出し、基準変換係数及び補正係数を算出してもよい。また、各測距条件において、補正変換係数の算出式より求まる補正変換係数値をメモリに保持しておき、補正パラメータの値に応じて、補正変換係数の値を適時読み出してもよい。

これらの手法により、測距時の条件に応じて、適切な算出式及び基準変換係数及び補正係数を用いることができ、より正確に変換係数を算出し、高精度な距離の算出が可能となる。

＜他の変換係数＞
以上の説明では、（式２）に基づき、比例係数に相当する補正変換係数Ｋ´を算出し、距離を算出する手法について説明したが、他の補正変換係数を算出し、距離を算出しても良い。例えば、（式１）に基づき、基線長に相当する補正変換係数Ｗ´を算出し、距離を算出してもよい。補正基線長Ｗ´及びデフォーカス量は（式１２）及び（式１３）より算出できる。

（式１２）において、Ｗ_０は基準基線長（基準変換係数）、α_ｗは補正定数、Ｐは前述の（式５）や（式７）等の補正パラメータである。基準基線長Ｗ_０及び補正定数α_ｗは、測距画素１１０Ｇの分光感度特性や補正パラメータの算出式に応じて予め決定される定数である。前述と同様に、基準基線長Ｗ_０、補正係数α_ｗ、補正パラメータＰの算出式を適切に設定することで、被写体の波長分布に応じて変動する基線長を精度よく算出することができる。そして、（式１３）より高精度な距離検出が可能となる。

＜採用し得るその他の構成＞
本実施例に係る距離検出装置における撮像素子は、具体的には、ＣＭＯＳセンサ（相補型金属酸化物半導体を用いたセンサ）や、ＣＣＤセンサ（電荷結合素子を用いたセンサ）等の固体撮像素子を用いることができる。

また、本実施例では、可視の波長帯域光による距離検出装置の構成例を示したが、紫外光や赤外光など他の波長帯域光による距離検出装置を構成してもよい。また、本実施例では、３色の画素を採用しているが、４色以上の画素を採用しても構わない。

本実施例に係る距離検出装置を備えて構成されるデジタルカメラ（撮像装置）１００では、測距画素（１１０ＧＡ，１１０ＧＢ）と、撮影対象である被写体の画像取得用の撮像を司る光電変換部からなる画素（以下、「撮像画素」ともいう。）と、を同じ面（例えば同一平面）に並置した構成とすることができる。この場合、並置の仕方は、撮像装置に持たせる機能を考慮して適宜選択される。例えば、測距画素と撮像画素とを互い違いに配置する（市松模様状）手法や、行列状に配された撮像画素をクロス状（十文字状、Ｘ状、Ｈ状等）に測距画素で置き換えた手法等を採用することができる。また、測距画素自体を撮像画素として用いることもできる。すなわち、デジタルカメラ１００は、撮像画素のみか
ら被写体像信号を取得しても良いし、撮像画素および測距画素の両方から被写体像信号を取得しても良い。

本発明の距離検出装置１００の測距結果は、例えば、結像光学系１０１の焦点検出に用いることができる。本発明の距離検出装置１００によって、高速かつ高精度に被写体の距離を測定することができ、被写体と結像光学系１０１の焦点位置とのズレ量を知ることができる。結像光学系１０１の焦点位置を制御することで、被写体に対して高速かつ高精度に焦点位置を合わせることができる。あるいは、撮像素子１０３の複数の領域にこのような測距画素を配置し、領域毎に取得した信号を用いて距離を算出することで、距離画像を取得することができる。

本実施例に係る距離検出装置における演算処理部は、半導体素子を集積化した集積回路を用いて構成することができ、ＩＣ、ＬＳＩ、システムＬＳＩ、マイクロ処理ユニット（ＭＰＵ）、中央演算装置（ＣＰＵ）等で構成することができる。

本発明は、距離検出装置の他に、距離検出方法およびプログラムをも包含する。本発明のプログラムは、被写体の像を結像する結像光学系と、前記結像光学系の第１の瞳領域を通過した光束に基づく第１の信号と、前記結像光学系の第２の瞳領域を通過した光束に基づく第２の信号と、を生成する撮像素子と、前記被写体までの距離を検出するためのコンピュータと、を備えた撮像装置の前記コンピュータに、上記で説明した制御方法を実行させるものである。

ここで、説明する撮像装置は、例えば、図１（ａ）で上述したデジタルスチルカメラ１００であり、撮像素子としての撮像素子１０３と、演算処理部１０４と、メモリ１０９を有して構成されている。

演算処理部１０４をマイクロ処理ユニットや中央演算装置等で構成する場合には、演算処理部は、コンピュータとして捉えることが可能である。本発明のプログラムは、撮像素子によって生成された第１の像信号と第２の像信号とを用いて被写体までの距離を検出するためのコンピュータに所定の処理を実行させるものである。そして、本発明のプログラムは、前記コンピュータに、分光感度が異なる複数の画素で取得した補正信号に基づいて補正変換係数を算出する、変換係数算出処理を実行させるものである。さらに、前記コンピュータに前記補正変換係数と、前記第１の信号と前記第２の信号に各々依拠する第１の像と第２の像との相対的位置ズレを示す像ズレ量とを用いてデフォーカス量を算出する距離算出処理を実行させるものである。

本発明のプログラムは、所定の結像光学系と、所定の撮像素子と、コンピュータと、を備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離検出が可能なものとなすことができる。

本発明のプログラムは、光ディスクや不揮発性半導体メモリなどの非一時的なコンピュータ可読記録媒体に格納して頒布する他、インターネットなどのネットワークを通じて頒布することも可能である。

さらに本願発明は、演算処理装置として捉えることもできる。この演算処理装置は、被写体の像を結像する結像光学系の第１の瞳領域を通過した光束に基づく第１の信号と、前記結像光学系の第２の瞳領域を通過した光束に基づく第２の信号と、を生成する撮像素子を備えた撮像装置に特定の距離を検出するための演算処理を施すものである。

特定の距離の検出は、撮像素子の撮像面と、前記第１の瞳領域及び第２の瞳領域を通過
した前記光束の結像面と、の距離を示すデフォーカス量に基づいて前記被写体までの距離を検出することと捉えることができる。

この演算処理装置は、分光感度が異なる複数の画素で取得した補正信号に基づき補正変換係数を算出する変換係数算出処理を行う。

さらに前記変換係数と、前記第１の信号と前記第２の信号に各々依拠する第１の像と第２の像との相対的位置ズレを示す像ズレ量とを用いて、前記デフォーカス量を算出する距離算出処理を行うものである。

（実施例２）
本例では、図１を用いて説明した撮像装置１００における撮像素子１０３及び演算処理部１０４における処理の別の構成例を図６及び図７に示す。図６（ａ）に示すように、撮像素子２００は、測距画素２０１Ｒ、２０１Ｇ、２０１Ｂが並置されて構成されている。各画素は、図６（ｂ）に示すように、マイクロレンズ１１１、カラーフィルタ１２２Ｒ、１２２Ｇ、１２２Ｂ、導波路１１３、光電変換部２０２ａ、２０２ｂ、２０３ａ、２０３ｂ、２０４ａ、２０４ｂで構成されている。測距画素２０１Ｒ、２０１Ｇ、２０１Ｂは、分光感度が互いに異なり、それぞれ、主として赤光、緑光、青光を取得する画素となっている。各画素は、図示しない配線を備えている。

各一対の光電変換部２０１Ｒａと２０１Ｒｂ、２０１Ｇａと２０１Ｇｂ、２０１Ｂａと２０１Ｂｂは、それぞれ射出瞳１３０の異なる領域を通過した光束からの光束を受光し、それぞれ一対の信号を取得する。以下、各画素で取得した一対の信号をそれぞれ信号２０１Ｒｓ、２０１Ｇｓ、２０１Ｂｓと呼ぶ。各光電変換部で取得した信号は、演算処理部１０４に伝送される。各画素で取得した一対の信号は、各画素の画像形成用の信号として使用することができる。

演算処理部１０４におけるフローチャートの一例を図７に示す。

ステップＳ２２０の画素選択処理では、像ズレ量算出に用いる測距画素を、測距画素２０１Ｒ、２０１Ｇ、２０１Ｂから選択する。

ステップＳ２２１の像ズレ量算出処理では、ステップＳ２２０で選択した画素の信号に依拠する第１の像と第２の像間の像ズレ量の算出を行う。像ズレ量の算出は公知の手法を用いることができる。

ステップＳ２２２の変換係数算出処理では、補正変換係数を前述の算出式（例えば（式４））より算出する。このとき、補正パラメータの算出式及び基準変換係数及び補正係数は、Ｓ２２０の画素選択処理で選択した、測距画素の種類に応じて異なる算出式及び係数を設定する。

ステップＳ２２３の距離算出処理では、Ｓ２２１とＳ２２２にて算出した像ズレ量と補正変換係数を用いて、デフォーカス量を算出する。

Ｓ２２２にて、測距画素の種類（Ｒ，Ｇ，Ｂ）に応じて、最適な算出式及び各係数を用いることで、各測距画素の補正変換係数を正確に算出することができる。これらの処理により、被写体の色に応じて、正確な像ズレ量と変換係数を得ることができ、高精度な距離算出が可能となる。

なお、Ｓ２２０の画素選択処理では、互いに近傍の測距画素２０１Ｒ、２０１Ｇ、２０
１Ｂで取得した一対の信号２０１Ｒｓ、２０１Ｇｓ、２０１Ｂｓの強度を比較し、もっとも強度が大きい（Ｓ／Ｎが良い）信号を取得する測距画素を選択してもよい。測距信号の比較は、例えば、撮像素子２００上の所定の領域内において、各測距画素で取得した信号の総和あるいは最大値を比較する。あるいは、各測距画素で距離を算出し、最も信頼度が高い信号で算出した値を採用してもよい。信頼度は、例えば、各信号の強度やコントラスト等で評価でき、強いほど高くなる。これらの手法により、被写体の色に応じて、最も高精度に算出される距離値を採用することができ、高精度な測距が可能となる。

なお、本実施例で説明した内容は、上記の形態に制限されるものではなく、実施例１において記載した様々な補正変換係数の算出方法及び距離算出方法を適用可能である。

１０２ 距離検出装置
１０３ 撮像素子
１１０Ｇ 測距画素
１０４ 演算処理部

Claims (20)

1. 結像光学系を通過した可視光を含む光束を導波路部材を介して光電変換部で受光する撮像素子であって、分光感度が互いに異なる複数種類の画素を含み、前記画素の少なくとも一部の画素は、前記導波路部材によって前記結像光学系の第１の瞳領域を通過した光束と第２の瞳領域を通過した光束を分離して前記光電変換部で受光されるように構成され、前記結像光学系の第１の瞳領域を通過した光束に基づく第１の信号と、前記結像光学系の第２の瞳領域を通過した光束に基づく第２の信号とを生成する測距画素である、撮像素子と、
   前記結像光学系のデフォーカス量に基づいて距離を検出する演算処理部であって、
   前記第１の信号と前記第２の信号に各々依拠する第１の像と第２の像の相対的位置ずれを表す像ズレ量を算出する像ズレ量算出処理と、
   前記像ズレ量を前記結像光学系のデフォーカス量に変換するための補正変換係数を、定数である基準変換係数と、前記複数種類の画素から取得される補正信号に基づいて所定の算出式にしたがって求められる補正パラメータとに基づいて決定する変換係数算出処理と、
   前記像ズレ量と前記補正変換係数とを用いて距離の算出を行う距離算出処理と、
   を行う、演算処理部と、
   を備え、
   前記補正パラメータは、前記光束の波長に応じて変化するパラメータであり、前記複数種類の画素で受光する波長帯域のうちの可視光波長領域の中央付近の波長に対して最大値または最小値をとるパラメータである、
   距離検出装置。
2. 前記演算処理部は、前記変換係数算出処理において、下記の式にしたがって前記補正変換係数を決定する、
   請求項１に記載の距離検出装置。
   

   

   ここで、Ｋは前記補正変換係数、Ｋ_０は前記基準変換係数、αは補正係数、Ｐは前記補
   正パラメータであり、基準変換係数Ｋ_０および補正係数αは前記測距画素の分光感度特性と前記補正パラメータの算出式とに基づいて決定される定数である。
3. 前記複数種類の画素は、それぞれ第１、第２、第３の波長帯域において高い感度を有する３種類の画素である、
   請求項１または２に記載の距離検出装置。
4. 前記補正パラメータは、前記３つの波長帯域のうちの中央の波長帯域において高い感度を有する画素から取得した信号を、前記３種類の画素の信号の和で除算することによって求められる、
   請求項３に記載の距離検出装置。
5. 前記補正パラメータは、前記３種類の画素の信号の和を、前記３つの波長帯域のうちの中央の波長帯域において高い感度を有する画素から取得した信号で除算することによって求められる、
   請求項３に記載の距離検出装置。
6. 前記基準変換係数は、前記中央付近の波長の光に対する前記測距画素の変換係数とは異なる値である、
   請求項１乃至５のいずれか１項に記載の距離検出装置。
7. 前記補正信号は、前記測距画素の近傍の前記複数種類の画素で取得した信号である、
   請求項１乃至６のいずれか１項に記載の距離検出装置。
8. 前記補正信号の少なくとも一つは、前記測距画素で取得した信号である、
   請求項１乃至７のいずれか１項に記載の距離検出装置。
9. 前記補正信号は、前記複数種類の画素の各々の種類の画素において、複数の画素で取得した信号を平均した平均信号である、
   請求項１乃至８のいずれか１項に記載の距離検出装置。
10. 前記基準変換係数または前記補正係数は、前記結像光学系の焦点距離または絞りあるいは前記測距画素の前記撮像素子上における位置に応じて異なる値として決定される、
    請求項１乃至９のいずれか１項に記載の距離検出装置。
11. 前記補正パラメータは、前記結像光学系の焦点距離または絞りあるいは前記測距画素の前記撮像素子上における位置に応じて異なる算出式にしたがって決定される、
    請求項１乃至１０のいずれか１項に記載の距離検出装置。
12. 前記演算処理部は、前記変換係数算出処理において、前記複数種類の画素から取得される補正信号に基づいて決定される第２の補正パラメータも用いて前記補正変換係数を算出し、
    前記第２の補正パラメータは、前記複数種類の画素で受光する波長帯域が高波長になるしたがって単調増加または単調減少するパラメータである、
    請求項１乃至１１のいずれか１項に記載の距離検出装置。
13. 前記変換係数算出処理において、下記の式にしたがって前記補正変換係数を決定する、
    請求項１２に記載の距離検出装置。
    

    

    ここで、Ｋは前記補正変換係数、Ｋ_０は前記基準変換係数、αは補正係数、βはαと異なる補正係数、Ｐは前記補正パラメータ、Ｑは前記第２の補正パラメータであり、基準変換係数Ｋ_０および補正係数αは前記測距画素の分光感度特性と前記補正パラメータの算出式とに基づいて決定される定数であり、補正係数βは前記測距画素の分光感度特性と前記第２の補正パラメータの算出式に基づいて決定される定数である。
14. 前記距離算出処理は、前記補正変換係数と、前記像ズレ量と、を用いて前記デフォーカス量を算出する処理である、
    請求項１乃至１３のいずれか１項に記載の距離検出装置。
15. 前記距離算出処理は、前記補正変換係数と、前記結像光学系の射出瞳と前記撮像素子との距離と、前記像ズレ量と、を用いて前記デフォーカス量を算出する処理である、
    請求項１乃至１３のいずれか１項に記載の距離検出装置。
16. 前記複数種類の画素の各画素に、前記測距画素が配置され、
    前記算出式または前記基準変換係数または前記補正係数は、該測距画素の種類に応じて異なる算出式または係数である、
    請求項１乃至１５のいずれか１項に記載の距離検出装置。
17. 請求項１乃至１６のいずれか１項に記載の距離検出装置を備え、
    前記複数種類の画素から得られる信号から被写体像信号を生成する、
    撮像装置。
18. 前記撮像装置は、デジタルスチルカメラであることを特徴とする請求項１７に記載の撮像装置。
19. 前記撮像装置は、デジタルビデオカメラであることを特徴とする請求項１７に記載の撮像装置。
20. 結像光学系を通過した可視光を含む光束を導波路部材を介して光電変換部で受光する撮像素子であって、分光感度が互いに異なる複数種類の画素を含み、前記画素の少なくとも一部の画素は、前記導波路部材によって前記結像光学系の第１の瞳領域を通過した光束と第２の瞳領域を通過した光束を分離して前記光電変換部で受光されるように構成され、前記結像光学系の第１の瞳領域を通過した光束に基づく第１の信号と、前記結像光学系の第２の瞳領域を通過した光束に基づく第２の信号とを生成する測距画素である、撮像素子を有する距離検出装置が行う距離検出方法であって、
    前記第１の信号と前記第２の信号に各々依拠する第１の像と第２の像の相対的位置ずれを表す像ズレ量を算出する像ズレ量算出ステップと、
    前記像ズレ量を前記結像光学系のデフォーカス量に変換するための補正変換係数を、定数である基準変換係数と、前記複数種類の画素から取得される補正信号に基づいて所定の算出式にしたがって求められる補正パラメータとに基づいて決定する変換係数算出ステップと、
    前記像ズレ量と前記補正変換係数とを用いて距離の算出を行う距離算出ステップと、
    を含み、
    前記変換係数算出ステップにおいて、前記補正パラメータは、前記光束の波長に応じて変化するパラメータであり、前記複数種類の画素で受光する波長帯域のうちの可視光波長領域の中央付近の波長に対して最大値または最小値をとるパラメータとして算出される、
    距離検出方法。

Images