JP6172978B2 - 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮像光学系の互いに異なる瞳領域を通過する光束を用いて焦点検出を行う撮像装置に関する。

従来から、位相差検出方式を利用した焦点検出方法が知られている。位相差検出方式では、レンズの射出瞳を通過した光束を分割し、分割光束を一組の焦点検出用センサによりそれぞれ受光する。そして、その分割光束の受光量に応じて出力される信号のずれ量、すなわち光束の分割方向の相対的位置ずれ量に基づいて、合焦に要するレンズの駆動量を求める。従って、焦点検出用センサにより一度蓄積動作を行えば、ピントずれの量および方向が得られるため、高速な焦点調節動作が可能となる。

特許文献１には、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与する構成が開示されている。これらの画素を焦点検出画素として、受光部の感度領域が偏心されていない撮像画素の間に所定の間隔で配置し、位相差方式による焦点検出を行う。また、焦点検出画素の配置領域は撮像画素の欠損部となるため、周辺の撮像画素から得られる情報を用いて画像情報を補間する。

特許文献２には、撮像素子の一部の画素の受光部を分割することで瞳分割機能を付与する構成が記載されている。また、分割された受光部の出力を個別に処理することで位相差方式による焦点検出を行うとともに、分割された受光部の出力を合算することにより撮像信号として用いる構成が開示されている。

特許文献３には、口径食（ケラレ）の影響を考慮して像を斜め方向に加算することにより、画面周辺まで焦点検出を可能とする構成が開示されている。

特開２０００−１５６８２３号公報（段落００７５〜００７９、図３、図４等） 特開２００１−３０５４１５号公報（段落００５２〜００５６、図７、図８等） 特開２０１０−１４００１３号公報

しかしながら、前記各特許文献の構成では、一次元の像を用いて焦点検出を行っているため、繰り返し模様の被写体像に弱く、像生成時の加算方向と被写体に含まれる斜め線成分の影響による誤差が残る。このため、特に画面周辺における焦点検出精度が劣化してしまう。

そこで本発明は、被写体形状やケラレの影響を受けにくい高精度な焦点検出が可能な撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、撮像光学系の互いに異なる瞳領域を通過する光束から一対の像信号を生成する複数の焦点検出画素を備えた撮像素子と、前記撮像素子における焦点検出領域の位置情報および前記撮像光学系に関する情報に基づいて、前記複数の焦点検出画素の基線長および瞳分離方向を検出する検出手段と、前記一対の像信号を用いて前記瞳分離方向における位相差を算出する算出手段とを有し、前記算出手段は、複数の領域のそれぞれにおいて、前記複数の焦点検出画素から、前記一対の像信号として、所定の方向に瞳分離した第１の信号と第２の信号とをそれぞれ取得し、前記複数の領域のうち第１の領域から取得された前記第１の信号と、該複数の領域のうち該第１の領域を基準として前記瞳分離方向に位置する第２の領域から取得された前記第２の信号とに基づく相関演算により前記位相差を算出する。

本発明の他の側面としての撮像システムは、撮像光学系と前記撮像装置とを有する。

本発明の他の側面としての信号処理装置は、撮像光学系の互いに異なる瞳領域を通過する光束から一対の像信号を生成する像信号生成手段と、焦点検出領域の位置情報および前記撮像光学系に関する情報に基づいて、焦点検出部の基線長および瞳分離方向を検出する検出手段と、前記一対の像信号を用いて前記瞳分離方向における位相差を算出する算出手段とを有し、前記算出手段は、複数の領域のそれぞれにおいて、前記複数の焦点検出画素から、前記一対の像信号として、所定の方向に瞳分離した第１の信号と第２の信号とをそれぞれ取得し、前記複数の領域のうち第１の領域から取得された前記第１の信号と、該複数の領域のうち該第１の領域を基準として前記瞳分離方向に位置する第２の領域から取得された前記第２の信号とに基づく相関演算により前記位相差を算出する。

本発明の他の側面としてのプログラムは、撮像光学系の互いに異なる瞳領域を通過する光束から一対の像信号を生成するステップと、焦点検出領域の位置情報および前記撮像光学系に関する情報に基づいて、焦点検出部の基線長および瞳分離方向を検出するステップと、前記一対の像信号を用いて前記瞳分離方向における位相差を算出するステップと、を情報処理装置に実行させるプログラムであって、前記位相差を算出するステップは、複数の領域のそれぞれにおいて、前記複数の焦点検出画素から、前記一対の像信号として、所定の方向に瞳分離した第１の信号と第２の信号とをそれぞれ取得するステップと、前記複数の領域のうち第１の領域から取得された前記第１の信号と、該複数の領域のうち該第１の領域を基準として前記瞳分離方向に位置する第２の領域から取得された前記第２の信号とに基づく相関演算により前記位相差を算出するステップとを含む。

本発明の他の側面としての記憶媒体は、前記プログラムを格納している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、被写体形状やケラレの影響を受けにくい高精度な焦点検出が可能な撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体を提供することができる。

実施例１、２における撮像装置のブロック図である。 本実施形態（実施例１）における撮像素子の画素の断面図である。 実施例２における撮像素子の画素の断面図である。 実施例２における撮像素子の画素配列図である。 本実施形態（実施例１）における撮像素子の瞳強度分布を示す図である。 本実施形態において、撮像素子から見たレンズの位置関係およびケラレ形状を示す図である。 本実施形態における瞳強度分布とケラレ形状との関係図である。 本実施形態における撮像素子（画面）上の位置と瞳分離状態との関係図である。 実施例１における撮像装置による撮影の流れを示すフローチャートである。 本実施形態において、焦点検出視野内にチェック模様の被写体が映っている状況を示す図である。 本実施形態における斜め方向の瞳分離と斜め線との関係図である。 実施例１における相関演算方法の説明図である。 実施例２における相関演算方法の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、図２を参照して、本実施形態における撮像素子の画素構造について説明する。図２は、本実施形態における撮像素子の画素の断面図である。図２において、２０１はマイクロレンズ、２０２はカラーフィルタ、２０３は配線層（半導体配線層）、および、２０５、２０４はそれぞれ光電変換部である。このように、一つのマイクロレンズ２０１に対して二つの光電変換部２０４、２０５を備えることにより、左右に瞳分離した像（Ａ像、Ｂ像）を得ることができる。また、光電変換部２０４の出力と光電変換部２０５の出力とを加算すると、通常の画素出力と等価な出力が得られる。本実施形態では、光電変換部２０４、２０５の出力を加算して得られた画素値を用いて撮像信号を作成する。

続いて、図５を参照して、撮像素子の瞳強度分布について説明する。図５（ａ）は、光電変換部２０４の瞳強度分布を示すグラフであり、横軸は画素に対する光の入射角、縦軸は光電変換の感度である。図５（ａ）に示されるように、０度の入射角を基準として、左側において強い感度が得られる。また図５（ｂ）は、入射角を平面にとり、感度を色の濃さで表現している図である。図５（ｂ）中の点は感度の重心であり、光電変換部２０４の感度重心は、中心よりも左側に偏心している。また、光電変換部２０５の重心（不図示）は、中心よりも右側に偏心している。本実施例において、この２つの重心（光電変換部２０４の重心と光電変換部２０５の重心）の間の距離に基づいて基線長が決定される。

続いて、図６を参照して、ケラレ（口径食）について説明する。図６（ａ）は撮像素子から見たレンズの位置関係を示す図、図６（ｂ）はケラレ形状を示す図である。図６（ａ）において、６０１は撮像素子面、６０６はレンズの後枠、６０５はレンズの前枠をそれぞれ示している。撮像素子の中央（撮像素子の中心位置）から見ると、レンズの前枠、絞り、後枠は光軸ＯＡを中心とした同心円として並ぶため、最も半径の小さい絞り（絞り枠）により光束が遮られる。したがって、撮像素子の中心位置では、絞りの形状が光量や瞳重心の偏心などに影響するということになる。

一方、撮像素子の対角付近における位置６０２では、絞り以外に、レンズの前枠６０５およびレンズの後枠６０６によっても光束が遮られる。６０４は、レンズの前枠６０５およびレンズの後枠６０６を射出瞳（射出瞳面６０３）に投影して形成されたケラレ形状である。図６（ｂ）において、ケラレ形状６０４は斜線で示されている。撮像素子上の対角付近における位置６０２から見ると、ケラレ形状６０４はレモン型であることがわかる。

続いて、図７を参照して、Ａ像およびＢ像の瞳強度分布とケラレ形状との関係について説明する。図７は、瞳強度分布とケラレ形状との関係図であり、Ａ像、Ｂ像の瞳強度分布にケラレ形状６０４を重ねて、実質的に光が通過できる部分の感度重心を示している。図７において、７０１はＡ像の重心、７０２はＢ像の重心である。

斜めに傾いたレモン型のケラレ形状６０４により、Ａ像は図７の下側のみ受光可能であり、Ｂ像は上側のみ受光可能であり、重心７０１、７０２はそれぞれ上下に偏心している。すなわち、画素構造としての瞳強度分布は、左右に瞳分離しているにもかかわらず、ケラレ形状６０４により実際には斜め方向に瞳分離していることになる。このように、斜め方向に瞳分離しているため、デフォーカス量に応じて斜め方向に位相差が生じる。したがって、横方向の位相差のみを検出しても正しいデフォーカス量を算出することができない可能性がある。

続いて、図８を参照して、撮像素子（画面）上の位置と瞳分離状態の関係について説明する。図８は、撮像素子（画面）上の位置と瞳分離状態との関係図である。図８において、光軸中心付近の位置８０１では、瞳が左右に分離されている瞳分離状態であるため、横方向の位相差を検出すれば正しくデフォーカス量を検出することができる。

位置８０３では、ケラレ形状がレモン型になっているが、瞳分離方向は横方向であるために、横方向の位相差のみを検出すればよい。ただし、ケラレの影響により位置８０１の場所よりも基線長は短い。また、位置８０２では、斜め方向に瞳分離してしまうため、斜め方向の位相差を検出しなければならない。また位置８０４では、位置８０２とは逆方向である斜め方向に瞳分離している。このように、撮像素子上の位置およびレンズの射出窓の状態に依存して、瞳分離方向および基線長は変化する。

次に、図１１を参照して、被写体としての斜め方向の線に対して、斜め方向に瞳分離している場合について説明する。図１１（ａ）は、焦点検出視野に対して斜めの線の被写体が存在する場合の例である。１１０１は焦点検出視野、ＡはＡ像として投影された被写体、ＢはＢ像として投影された被写体である。基線長は斜め方向であるため、焦点ずれによりＡ像とＢ像とが互いにずれて投影されている。Ａ像とＢ像の間で互いにずれた距離（像ずれ量１１０２）と、焦点検出視野により捉えられた像ずれ量１１０３とは異なる。このように、図１１（ａ）に示される例では、実際の像ずれ量１１０２よりも大きな像ずれ量１１０３が検出される。

図１１（ｂ）は、図１１（ａ）と同じ焦点ずれおよび像ずれ量１１０２を有する。ただし図１１（ｂ）において、被写体としての斜めの線の角度が図１１（ａ）とは異なる。図１１（ｂ）に示される被写体は、図１１（ａ）の被写体と比べて逆方向に傾いた被写体であるため、検出された像ずれ量１１０３は極端に小さくなっている。また、図１１（ｃ）に示される被写体は、Ｖ字型となっている。図１１（ｄ）は、図１１（ｃ）に示されるＶ字型の被写体を焦点検出視野１１０４、１１０５が捉えた像を示している。１１０４はＡ像、１１０５はＢ像である。図１１（ｄ）の状態では、Ａ像とＢ像とが一致する像ずれ量を検出することはできない。

続いて、図１０を参照して、縦方向に画素を加算する場合の問題点について説明する。図１０は、焦点検出視野内にチェック模様の被写体が映っている状況を示す図である。図１０において、１００１は焦点検出視野である。１００７、１００８、１００９、１０１０は、二点鎖線１００２、１００３、１００４、１００５で示される部分のそれぞれの像信号波形である。像信号波形１００７、１００８、１００９、１０１０は、それぞれ、エッジ部分（輝度エッジ）を含むため、瞳分離像同士の位相差を正しく検出することができる。１００６は、焦点検出視野内の信号を加算平均して得られた像である。１０１１は、像１００６の像信号波形である。焦点検出視野内の信号の加算前に存在していた輝度エッジは、加算後の像信号波形１０１１において消失している。

図１０および図１１を参照して説明したとおり、本実施形態では、一次元像の相関演算ではなく二次元像の相関演算が適している。二次元像の相関演算に関し、一次元の相関演算と同様に、ＳＡＤと呼ばれる差の絶対値の総和を用いて行う方法が、動きベクトル検出や画像圧縮技術で実用化されている。このため、ソフトウェアよりもハードウェア処理に適したアルゴリズムである。本実施形態は、斜め方向の位相差を検出するため、二次元画像の動きベクトル検出と同じ手法が用いられる。以下、本実施形態における具体的な実施例について説明する。

まず、図１を参照して、本発明の実施例１における焦点ずれ検出装置（撮像装置）について説明する。図１は、本実施例における撮像装置１００のブロック図である。撮像装置１００において、１０１はフォーカスレンズや絞り機構を備えたレンズユニット（撮像光学系）である。なお本実施例において、撮像装置１００（撮像装置本体）とレンズユニット１０１とは一体的に構成されているが、これに限定されるものではない。本実施例は、撮像装置本体と、撮像装置本体に対して着脱可能なレンズユニットとにより構成された撮像システムにも適用可能である。

１０２は、例えば図２に示される画素構造を備えた撮像素子（像信号生成手段）であり、撮像光学系を介して得られた被写体像（光学像）を光電変換する。撮像素子１０２は、前述のように、レンズユニット１０１（撮像光学系）の互いに異なる瞳領域を通過する光束から一対の像信号を生成する複数の焦点検出画素を備えている。１０３はＡ／Ｄ変換器であり、撮像素子１０２の出力信号（アナログ信号）をデジタル信号に変換する。

１０４はＡＢ像加算部であり、Ａ／Ｄ変換器１０３の出力信号である分割画素からの像信号（Ａ像信号およびＢ像信号）を加算する。ＡＢ像加算部１０４の出力は、ベイヤー配列などの一般的な撮像素子の出力との互換性を有する。１０５は信号処理部（像信号処理回路）であり、ＡＢ像加算部１０４から出力された像信号に対して所定の信号処理を行う。１０６は記録メディアであり、撮影画像（信号処理部１０５から出力された画像信号）を記録する。

１０７はＡＢ像分離部であり、Ａ／Ｄ変換器１０３から点順次方式で送られるＡ像信号およびＢ像信号を分離して同期する。１０８は相関演算部（算出手段）である。相関演算部１０８は、ＡＢ像分離部１０７から出力されたＡ像信号およびＢ像信号（一対の像信号）をそれぞれ１画面分蓄積し、焦点検出領域における相関演算を行い像ずれ量を算出する。すなわち相関演算部１０８は、一対の像信号を用いて瞳分離方向（像ずれ方向）における位相差を算出する。

１０９は制御マイコン（制御部）であり、撮像装置１００のシステム全体の制御を行う。制御マイコン１０９は、ＡＦ視野位置（焦点検出領域）およびケラレ情報（撮像光学系に関する情報）を瞳分離状態検出部１１０に出力する。瞳分離状態検出部１１０は、これらの情報に基づいて基線長および瞳分離角度（瞳分離方向）を検出（算出）し、基線長および瞳分離角度を制御マイコン１０９に出力する。また、制御マイコン１０９は、ＡＦ視野位置およびずれ探索方向に関する情報を相関演算部１０８に出力する。そして相関演算部１０８は、その情報に基づいて算出された像ずれ量を制御マイコン１０９へ出力する。

１１０は、瞳分離状態検出部（検出手段）である。瞳分離状態検出部１１０は、撮像素子１０２における焦点検出領域の位置情報およびレンズユニット１０１に関する情報（ケラレ情報）に基づいて、複数の焦点検出画素の基線長および瞳分離方向を検出する。

次に、図９を参照して、本実施例の撮像装置１００による撮影の流れ（撮像装置の制御方法）について説明する。図９は、撮像装置１００による撮影の流れ（撮影シーケンス）を示すフローチャートである。図９の各ステップは、主に、制御マイコン１０９の指令に基づいて実行される。

まずステップＳ９００において、撮像装置１００は撮影シーケンスを開始し、ステップＳ９０１において焦点検出用（ＡＦ用）の露光およびキャプチャーを行う。このとき、撮像素子１０２で露光した信号をＡ／Ｄ変換器１０３によりＡ／Ｄ変換を行う。そして、ＡＢ像分離部１０７により分離されたＡ像信号およびＢ像信号が相関演算部１０８に取り込まれる。なお、ステップＳ９０１において、ＡＢ像加算部１０４、信号処理部１０５、および、記録メディア１０６は動作しない。

続いてステップＳ９０２において、制御マイコン１０９は、絞り、前枠、後枠の半径およびセンサ（撮像素子１０２）からの距離、すなわちレンズユニット１０１（撮像光学系）に関する情報を設定する。この情報は、制御マイコン１０９により算出されるが、ユーザにより指定されるものであってもよい。そして制御マイコン１０９は、瞳分離状態検出部１１０に対して、絞り、前枠、後枠の半径およびセンサからの距離（撮像光学系に関する情報）を転送する。本実施例において、撮像光学系に関する情報は、撮像光学系の大きさ（絞り、レンズの前枠および後枠の半径）と撮像素子１０２からの距離とに基づく情報（射出窓情報）であるが、これらに限定されるものではない。

続いてステップＳ９０３において、制御マイコン１０９は、焦点ずれ量検出エリア（焦点検出領域）を設定する。そして制御マイコン１０９は、相関演算部１０８および瞳分離状態検出部１１０に対して、焦点ずれ検出エリア情報（焦点検出領域に関する情報）を転送する。

続いてステップＳ９０４において、瞳分離状態検出部１１０は、撮像素子１０２における焦点検出領域の位置情報および撮像光学系に関する情報に基づいて、複数の焦点検出画素（焦点検出部）の基線長および瞳分離方向を検出（算出）する。本実施例において、焦点検出領域の位置情報は、焦点検出領域の像高情報（画像すなわち撮像素子の中心（光軸中心）からの高さに関する情報）である。このように瞳分離状態検出部１１０は、射出窓情報および瞳強度分布を用いて基線長および瞳分離方向を算出する。

具体的には、瞳分離状態検出部１１０は、図６に示される位置６０２、レンズの前枠６０５、および、レンズの後枠６０６に関する情報（撮像光学系に関する情報）に基づいて、射出瞳面６０３に射影したケラレ形状６０４を幾何学計算により算出する。そして瞳分離状態検出部１１０は、射出瞳面６０３に投影した瞳強度分布をケラレ形状６０４でカットして感度の重心を求める。

Ａ像およびＢ像の瞳強度分布に基づいて感度の重心をそれぞれ求めると、基線長および瞳分離方向が算出される。すなわち複数の焦点検出画素の基線長は、複数の焦点検出画素における瞳強度分布と撮像光学系に関する情報とに基づいて決定される複数の焦点検出画素の感度の重心の距離から算出される。ここで、瞳分離方向とは、複数の焦点検出画素の感度の重心を結ぶ線に平行な方向である。瞳分離状態検出部１１０により算出された基線長および瞳分離角度は、制御マイコン１０９に出力される。

続いてステップＳ９０５において、制御マイコン１０９は、位相ずれ方向（瞳分離方向）を指定して、相関演算部１０８は一対の像信号を用いて瞳分離方向における位相差を検出（算出）する。このとき制御マイコン１０９は、相関演算部１０８に対して瞳分離方向（瞳分離角度）を設定し、その瞳分離方向に探査を行うように指令する。相関演算部１０８は、制御マイコン１０９により設定された瞳分離角度を用いて相関演算を行う。

ここで、図１２を参照して、瞳分離方向（瞳分離角度）を用いた相関演算について説明する。図１２は、本実施例における相関演算方法の説明図である。図１２（ａ）において、「Ａ」はＡ像視野（Ａ像画素）に投影されているＶ字の被写体であり、ＢはＢ像視野（Ｂ像画素）に投影された同一被写体である。１１０１はＡ像視野である。図１２（ｂ）は、Ａ像視野１１０１に投影された像を抜き出した図である。

従来、Ｂ像もＡ像視野１１０１を利用していたが、本実施例の相関演算では、Ａ像視野１１０１に対応した部分を探索するのに、図１２（ａ）中の点線部分の視野に対して順次相関演算を行い、一致度を評価していく。本実施例において、Ａ像視野に対してＢ像視野が斜め方向にずれていき、その方向は瞳分離方向、または、瞳分離方向に応じて決定される方向である。矢印１１０２は、瞳分離に伴って像が実際にずれている方向およびその距離を示している。本実施例では、矢印１１０２の方向（瞳分離方向）に沿って一対の像信号の一致度が最大となる場所を探索する。１２０１は、Ａ像視野１１０１との一致度が最大となるＢ像視野である。

図１２（ｂ）は、Ａ像視野１１０１、および、Ａ像視野１１０１との一致度が最も高いＢ像視野１２０１のそれぞれにおいて像投影された像を示している。なお、一致度が高くなる場所の前後の相関量を用いてサブピクセル単位での位相差を求めることは、周知の位相差方式と同様である。相関演算部１０８は、このようにして得られた位相差に対して基線長に応じて決定される係数を乗算することにより、焦点ずれ量（像ずれ量）を算出することができる。

続いて、図９のステップＳ９０６において、制御マイコン１０９は、全ての焦点検出エリア（焦点検出領域）に対する位相差検出が完了したか否かを判定する。全ての焦点検出エリアに対する位相差検出が完了していない場合、ステップＳ９０３に戻り、ステップＳ９０３〜Ｓ９０６を繰り返す。一方、ステップＳ９０６にて全ての焦点検出エリアに対する位相差検出が完了したと判定された場合（像ずれ量を取得した場合）、ステップＳ９０７に進む。

ステップＳ９０７において、制御マイコン１０９は、被写体（主被写体）に対する焦点位置を検出し、レンズユニット１０１を移動させてフォーカス制御を行う。すなわち制御マイコン１０９（制御手段）は、相関演算部１０８により算出された像ずれ量が小さくなるようにフォーカス制御を行う。続いてステップＳ９０８において、制御マイコン１０９は、ＡＢ像加算部１０４、信号処理部１０５、および、記録メディア１０６などを制御して、撮影動作を行う。

このように本実施例では、光学条件に基づいてケラレ（口径食）の影響、基線長、および、瞳分離方向を算出する。そして、算出されたケラレの影響、基線長、および、瞳分離方向に応じて、位相ずれ検出方向を決定して位相差検出を行う。

次に、本発明の実施例２における焦点ずれ検出装置（撮像装置）について説明する。まず、図３を参照して、本実施例における撮像素子の画素構造について説明する。図３は、本実施例における撮像素子の画素の断面図である。２０１はマイクロレンズ、２０２はカラーフィルタ、２０３は配線層である。３０１は、通常の像信号の生成に用いられる画素（撮像画素）である。３０３は、焦点検出信号の生成に用いられる画素（焦点検出画素）である。３０２は、配線層２０３を画素の上部まで伸ばして遮光する遮光部である。図３に示される画素３０３は、右側の開口部３０５からのみ光が入射するため、画素３０３の左側においては感度が無い状態となり、瞳が偏心した状態である。

図４は、本実施例における撮像素子を正面から見た画素配列図である。３０１は通常の画素（撮像画素）、３０３、３０４は焦点検出信号を生成する画素（焦点検出画素）である。本実施例の撮像素子は、瞳分離された画素（焦点検出画素）が離散的に配置されている点で、実施例１の撮像素子とは異なる。本実施例においても、実施例１と同様に、ケラレ（口径食）による影響があり、像高やレンズの位置や大きさに応じて瞳分離状態が変化する。

続いて、図１３を参照して、本実施例における相関演算について説明する。図１３は、本実施例における相関演算方法の説明図である。図１３（ａ）は、離散的に配置された焦点検出画素、および、Ａ像画素とＢ像画素に投影されたＶ字被写体を示している。１３０１は、Ａ像画素の視野である。１３０２は、Ｂ像画素の視野である。本実施例における視野（像）は二次元（二次元像）である。ただし本実施例において、焦点検出画素は離散的に配置されているため、実際に得られるＡ像およびＢ像は、撮像画像に対して縮小画像のように小さな像となる。

図１３（ｂ）は、本実施例における探索方向を示している。本実施例では、Ａ像視野に対してＢ像視野の一致度の高い場所を探索する場合、予め算出された瞳分離方向を用いるのではなく、縦方向と横方向の一定幅の組み合わせを探索範囲としている。すなわち本実施例の相関演算部１０８（算出手段）は、第１の方向および第１の方向と異なる第２の方向に沿って一対の像信号の一致度が最大となる場所を探索し、二次元の相関演算を行うことにより、位相差および位相差の方向を算出する。

このような探索方法を用いることにより、動きベクトル検出回路と共通の回路を時分割で使い分けることができる。このため、回路規模を削減することが可能となる。また、例えば図９のステップＳ９０４の算出結果を待つことなく探索を開始することができるため、並列演算による実行時間の短縮も可能である。

好ましくは、制御マイコン１０９（判定手段）は、二次元の相関演算を行って位相差を検出した後、位相差の方向が瞳分離方向と一致するか否かを判定する。本実施例では、二次元の相関演算を行うことにより、一次元の相関演算と比較して誤検出の確率を小さくすることができるが、瞳分離状態（瞳分離方向）を利用して誤検出が生じたことを検出することが好ましい。このように本実施例では、二次元の相関演算を用いて検出された位相差を、瞳分離状態の検出結果と照合してエラー判定を行う。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、各実施例における相関演算方法としてＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いているが、これに限定されるものではなく、位相差を検出可能な別の相関値を用いても同様の効果が得られる。また各実施例では、焦点ずれ検出の結果、フォーカシングレンズを駆動して被写体に焦点を合わせる、いわゆるオートフォーカス機能の一部として用いているが、距離マップ取得の手段としてもよく、その結果、得られる距離別の測光や測色などに応用してもよい。また各実施例では、撮像装置により相関演算方法を実行しているが、これに限定されるものではなく、撮像済みのデータを処理するパーソナルコンピュータなどの後処理装置（信号処理装置）での距離マップ作成技術に応用してもよい。そして制御マイコン１０９（制御手段）は、例えば、記像ずれ量に基づいて被写体の奥行き方向に関する情報を画像に付加する。

また各実施例では、一対の像信号を生成する像信号生成手段として撮像素子を用いて瞳分離を行っているが、これに限定されるものではない。例えば、一つの撮像レンズからの光束を、リレーレンズを用いて分光および瞳分離を行うシステムにおいても、各実施例と同様の効果が得られる。また各実施例では、幾何学計算により瞳分離状態（瞳分離方向）を検出しているが、レンズの制御に対応させて予め算出されたテーブルを用いても同様の効果が得られる。

また、各実施例の機能を実現する手順が記述されたソフトウェアのプログラムを、記憶媒体から直接あるいは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステムまたは装置に供給し、そのプログラムを実行する場合も本発明に含まれる。従って、本発明の機能処理をコンピュータで実現するために、コンピュータに供給、インストールされるプログラムコード自体も本発明に含まれる。すなわち、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給（格納）する記憶媒体としては、例えば、ハードディスク、磁気テープ等の磁気記憶媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

上記各実施例によれば、被写体形状やケラレ（口径食）の影響を受けにくい高精度な焦点検出が可能な撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体を提供することができる。

１０１…撮像レンズ
１０２…撮像素子
１０８…相関演算部
１１０…瞳分離状態検出部

Claims (15)

1. 撮像光学系の互いに異なる瞳領域を通過する光束から一対の像信号を生成する複数の焦点検出画素を備えた撮像素子と、
   前記撮像素子における焦点検出領域の位置情報および前記撮像光学系に関する情報に基づいて、前記複数の焦点検出画素の基線長および瞳分離方向を検出する検出手段と、
   前記一対の像信号を用いて前記瞳分離方向における位相差を算出する算出手段と、を有し、
   前記算出手段は、
   複数の領域のそれぞれにおいて、前記複数の焦点検出画素から、前記一対の像信号として、所定の方向に瞳分離した第１の信号と第２の信号とをそれぞれ取得し、
   前記複数の領域のうち第１の領域から取得された前記第１の信号と、該複数の領域のうち該第１の領域を基準として前記瞳分離方向に位置する第２の領域から取得された前記第２の信号とに基づく相関演算により前記位相差を算出することを特徴とする撮像装置。
2. 前記焦点検出領域の位置情報は、該焦点検出領域の像高情報を含み、
   前記撮像光学系に関する情報は、該撮像光学系の大きさおよび前記撮像素子からの距離に基づく射出窓情報を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記複数の焦点検出画素の基線長は、該複数の焦点検出画素における瞳強度分布と前記撮像光学系に関する情報とに基づいて決定される該複数の焦点検出画素の感度の重心の距離から算出されることを特徴とする請求項１または２に記載の撮像装置。
4. 前記瞳分離方向は、前記複数の焦点検出画素の感度の重心を結ぶ線に平行な方向であることを特徴とする請求項３に記載の撮像装置。
5. 前記算出手段は、前記基線長に応じて決定される係数を前記位相差に対して乗算することにより像ずれ量を算出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記算出手段により算出された前記像ずれ量が小さくなるように、フォーカス制御を行う制御手段を更に有することを特徴とする請求項５に記載の撮像装置。
7. 前記算出手段は、前記瞳分離方向に沿って、前記第１の領域から取得された前記第１の信号と前記第２の領域から取得された前記第２の信号との一致度が最大となる該第２の領域を探索することにより前記位相差を算出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記算出手段は、第１の方向および該第１の方向と異なる第２の方向に沿って、前記第１の領域から取得された前記第１の信号と前記第２の領域から取得された前記第２の信号との一致度が最大となる該第２の領域を探索し、二次元の相関演算を行うことにより、前記位相差および該位相差の方向を算出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
9. 前記位相差の方向が前記瞳分離方向と一致するか否かを判定する判定手段を更に有することを特徴とする請求項８に記載の撮像装置。
10. 撮像光学系と、
    請求項１乃至９のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
11. 撮像光学系の互いに異なる瞳領域を通過する光束から一対の像信号を生成する像信号生成手段と、
    焦点検出領域の位置情報および前記撮像光学系に関する情報に基づいて、焦点検出部の基線長および瞳分離方向を検出する検出手段と、
    前記一対の像信号を用いて前記瞳分離方向における位相差を算出する算出手段と、を有し、
    前記算出手段は、
    複数の領域のそれぞれにおいて、前記複数の焦点検出画素から、前記一対の像信号として、所定の方向に瞳分離した第１の信号と第２の信号とをそれぞれ取得し、
    前記複数の領域のうち第１の領域から取得された前記第１の信号と、該複数の領域のうち該第１の領域を基準として前記瞳分離方向に位置する第２の領域から取得された前記第２の信号とに基づく相関演算により前記位相差を算出することを特徴とする信号処理装置。
12. 前記算出手段は、前記基線長に応じて決定される係数を前記位相差に対して乗算することにより像ずれ量を算出することを特徴とする請求項１１に記載の信号処理装置。
13. 前記像ずれ量に基づいて被写体の奥行き方向に関する情報を画像に付加する制御手段を更に有することを特徴とする請求項１２に記載の信号処理装置。
14. 撮像光学系の互いに異なる瞳領域を通過する光束から一対の像信号を生成するステップと、
    焦点検出領域の位置情報および前記撮像光学系に関する情報に基づいて、焦点検出部の基線長および瞳分離方向を検出するステップと、
    前記一対の像信号を用いて前記瞳分離方向における位相差を算出するステップと、を実現する手順が記述されているプログラムであって、
    前記位相差を算出するステップは、
    複数の領域のそれぞれにおいて、前記複数の焦点検出画素から、前記一対の像信号として、所定の方向に瞳分離した第１の信号と第２の信号とをそれぞれ取得するステップと、
    前記複数の領域のうち第１の領域から取得された前記第１の信号と、該複数の領域のうち該第１の領域を基準として前記瞳分離方向に位置する第２の領域から取得された前記第２の信号とに基づく相関演算により前記位相差を算出するステップと、を含むことを特徴とするプログラム。
15. 請求項１４に記載のプログラムを格納していることを特徴とする記憶媒体。