JP6305454B2 - 撮像装置 - Google Patents

Description

本発明は、被写体像を光電変換する撮像素子からの出力を用いて撮影光学系の焦点検出を行う撮像装置に関する。

上記のような撮像装置は、撮影光学系の射出瞳における互いに異なる２つの領域（以下、瞳領域という）を通った光束により形成された一対の被写体像を、撮像素子上に設けられた焦点検出用の複数の画素により光電変換し、これら画素から一対の像信号を得る。そして、該一対の像信号の相関演算によってこれら像信号の相対的位置ずれ量（像ずれ量）である位相差を算出し、該位相差から撮影光学系の焦点状態を示すデフォーカス量を算出する。このような焦点検出方式は、撮像面位相差検出方式とも称される。

特許文献１，２にて開示された撮像装置では、１つの焦点検出画素に対して集光作用を有する１つのマイクロレンズと２つに分割されたフォトダイオード（以下、ＰＤという）とを設け、該２つのＰＤが２つの瞳領域からの光束を受光するように構成されている。このような焦点検出画素を撮像素子に複数設けることで、上述した一対の像信号を得ることができる。

また、特許文献３，４にて開示された撮像装置では、ＰＤの前に設けられた配線層の開口の画素中心に対する偏り方向が互いに異なる２つの焦点検出画素群を撮像素子に設け、該２つの焦点検出画素群が２つの瞳領域からの光束を受光することで一対の像信号を得る。

このような撮像面位相差検出方式において、各像信号は、撮像素子上に２次元（複数の画素行×複数の画素列）の画素領域として設けられた焦点検出領域から得ることが望ましい。１画素行のみからなる焦点検出領域では、良好な焦点検出を行うには狭すぎるためである。このため、特許文献４にて開示されているように、各画素行に含まれる複数の画素の出力を該画素行が延びる方向に射影して画素行ごとの出力を生成する。そして、画素行ごとの出力を画素列が延びる方向に並べて２次元の焦点検出領域から１次元の像信号を生成することができる。また、同特許文献には、画素行ごとに一対の像信号を生成して該一対の像信号の位相差（像ずれ量）を算出し、複数の画素行の像ずれ量を加算することで、２次元の焦点検出領域の像ずれ量を得る方法も開示されている。

特開２００１−０８３４０７号公報 特開２００１−２５０９３１号公報 特許第３５９２１４７号公報 特開２０１０−１５２１６１号公報

しかしながら、特許文献４にて開示された像信号の生成方法のうち前者の方法では、２次元に配置された画素からの出力が１次元の出力に圧縮されてしまうため、斜め線等の特定の被写体に対する焦点検出性能が低下する。また、後者の方法では、画素行ごとに像ずれ量を演算する必要があり、上述した特定の被写体に対する焦点検出性能はある程度確保されるものの、多くの演算時間を要する。

本発明は、画素が２次元に配置された焦点検出領域にて焦点検出を行う場合に、演算時間の増加を抑えつつ、様々な被写体に対して良好な精度で焦点検出を行えるようにした撮像装置を提供する。

本発明の一側面としての撮像装置は、マイクロレンズに対して少なくとも第１の方向に撮影光学系を通過した対の被写体像を受光するための二つの光電変換部が形成された画素を複数有するとともに、前記複数の画素を前記第１の方向および当該第１の方向に直交する第２の方向に配置することによって画素領域を形成し、撮影光学系を通過した被写体像に基づく表示用画像信号及びデフォーカス量検出用信号を前記画素ごとに取得可能な撮像素子と、前記撮像素子のうち、前記画素領域において前記第１の方向に並んだ前記画素により構成される画素ラインを前記第２の方向に複数含む領域を焦点検出領域とし、該焦点検出領域における前記画素ラインに含まれる画素からの前記デフォーカス量検出用信号を用いて、対の像信号を生成する信号生成手段と、前記焦点検出領域において生成された複数の対の像信号を用いて前記撮影光学系のデフォーカス量を算出する演算手段とを有し、前記演算手段は、前記焦点検出領域において生成されたそれぞれの前記複数の対の像信号の第１の相関データを生成するとともに、当該生成した複数の第１の相関データを組み合わせて第２の相関データを生成し、該第２の相関データから前記デフォーカス量を算出することを特徴とする。

本発明の他の一側面としての焦点検出方法は、マイクロレンズに対して少なくとも第１の方向に撮影光学系を通過した対の被写体像を受光するための二つの光電変換部が形成された画素を複数有するとともに、前記複数の画素を前記第１の方向および当該第１の方向に直交する第２の方向に配置することによって画素領域を形成し、撮影光学系を通過した被写体像に基づく表示用画像信号及びデフォーカス量検出用信号を前記画素ごとに取得可能な撮像素子を有する撮像装置における焦点検出方法であって、前記撮像素子のうち、前記画素領域において前記第１の方向に並んだ前記画素により構成される画素ラインを前記第２の方向に複数含む領域を焦点検出領域とし、該焦点検出領域における前記画素ラインに含まれる画素からの前記デフォーカス量検出用信号を用いて、対の像信号を生成する生成ステップと、前記焦点検出領域において生成された複数の対の像信号を用いて前記撮影光学系のデフォーカス量を算出する演算ステップとを有し、前記演算ステップにおいて、前記焦点検出領域において生成されたそれぞれの前記複数の対の像信号の第１の相関データを生成するとともに、当該生成した複数の第１の相関データを組み合わせて第２の相関データを生成し、該第２の相関データから前記デフォーカス量を算出することを特徴とする。

本発明によれば、画素が２次元に配置された焦点検出領域において、演算時間の増加を抑えつつ、様々な被写体に対して良好な精度で焦点検出（デフォーカス量の算出）を行うことができる。

本発明の実施例１である撮像装置に用いられる撮像素子の構成を示す図。 実施例１における撮像素子上の１画素の構成を示す図。 実施例１における撮像素子上の画素アレイを示す図。 実施例１における撮像素子上への結像の様子を示す図。 実施例１における位相差検出方式での一対の像信号の関係を説明する図。 実施例１における撮像素子上の焦点検出領域を示す図。 実施例１における焦点検出演算処理を示すフローチャート。 実施例１における第２の相関データと焦点状態との関係を示す図。 本発明の実施例２における撮像素子上の焦点検出領域を示す図。 本発明の実施例３における撮像素子上の焦点検出領域を示す図。 実施例３における焦点検出演算処理を示すフローチャート。 実施例３の変形例における焦点検出演算処理を示すフローチャート。 本発明の実施例４である撮像装置の構成を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例である撮像装置において用いられる撮像素子の構成を示している。撮像素子１００には、第１の方向である水平方向と該第１の方向に直交する第２の方向である垂直方向とにそれぞれ複数の画素がマトリクス（行列）状に配置された画素アレイ１０１が設けられている。以下の説明において、水平方向に直線状に並んだ画素のまとまりを画素行（画素ライン）といい、垂直方向に直線状に並んだ画素のまとまりを画素列という。すなわち、画素アレイ１０１は、水平方向に複数並んだ画素により構成される画素行を、垂直方向に複数含む。

撮像素子１００は、画素アレイ１０１において垂直方向に並んだ複数の画素行のうち１つを選択する垂直選択回路１０２と、画素アレイ１０１において水平方向に並んだ複数の画素列のうち１つを選択する水平選択回路１０４とを含む。また、撮像素子１００は、画素アレイ１０１内の画素のうち垂直選択回路１０２によって選択された画素の信号（画素信号）を読み出す読み出し回路１０３と、各回路の動作モード等を外部から決定するためのシリアルインターフェイス１０５とを含む。読み出し回路１０３は、画素信号を蓄積するメモリと、ゲインアンプと、ＡＤ変換器等を画素列ごとに有する。なお、撮像素子１００は、図示された構成要素以外にも、垂直選択回路１０２、水平選択回路１０４および信号読み出し部１０３にタイミング信号を供給するタイミングジェネレータや、画素信号の読み出しを制御する制御回路等も備えている。

このように構成された撮像素子１００において、垂直選択回路１０２は複数の画素行のうち１つの画素行を順次選択し、読み出し回路１０３はその選択された画素行に含まれる画素の出力である画素信号を読み出す。水平選択回路１０４は、読み出し回路１０３が読み出した画素信号を画素列ごとに順次選択する。

図２には、撮像素子１００に設けられた１つの画素の構成を示している。画素２０１は、１つのマイクロレンズ２０２と、２つのフォトダイオード（以下、ＰＤという）２０３，２０４とを有する。なお、画素は、図示された構成要素以外にも、ＰＤからの信号を読み出し回路１０３に読み出すための画素増幅アンプ、画素行を選択する選択スイッチおよびＰＤからの信号をリセットするリセットスイッチ等を備えている。ＰＤ２０３，２０４からの画素信号をそれぞれ用いて生成された一対の像信号の位相差を算出することで、位相差検出方式の焦点検出を行うことができる。

図３には、画素アレイ１０１の一部を拡大して示している。画素アレイ１０１には、図２で示した画素を、２次元アレイ状に複数配置して構成されており、これにより２次元画像の生成を可能とする。３０１，３０２，３０３，３０４はそれぞれ画素である。３０１Ｌ，３０２Ｌ，３０３Ｌ，３０４Ｌが、図２で示したＰＤ２０３に相当するＰＤであり、３０１Ｒ，３０２Ｒ，３０３Ｒ，３０４Ｒが、図２で示したＰＤ２０４に相当するＰＤである。３０５は１つの画素行を示している。

図３に示した画素アレイ１０１を有する撮像素子１００における受光について、図４を用いて説明する。図４には、撮像装置に一体に又は交換可能に設けられた撮影光学系の射出瞳４０６を通過した光束が撮像素子１００に入射している状態を示している。４０１は画素アレイの断面を示している。４０２はマイクロレンズであり、４０３はカラーフィルタである。４０４，４０５はフォトダイオードであり、それぞれ図２に示したＰＤ２０３，２０４に相当する。４０６は撮影レンズの射出瞳を示す。

ここでは、射出瞳からマイクロレンズ４０２を有する画素に入射する光束の中心を光軸４０９とする。射出瞳からの光束は、光軸４０９を中心として撮像素子１００に入射する。４０７，４０８は撮影光学系の射出瞳のうち互いに異なる領域（以下、瞳領域という）を示している。瞳領域４０７を通過した光束の最外周の光線を４１０，４１１で示し、瞳領域４０８を通過した光束の最外周の光線を４１２，４１３で示す。図４から分かるように、射出瞳を通過した光束のうち、光軸４０９よりも上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。このように、ＰＤ４０４，４０５はそれぞれ、互いに異なる瞳領域を通過した一対の光束（つまりは、これら一対の光束により形成された一対の被写体像）を受光する。

図２および図４には、１つのマイクロレンズに対して２つのＰＤが設けられている画素構成を示したが、１つの画素に光軸に対して一方の側に偏りを持った１つのＰＤを設け、その隣の画素に光軸に対して反対側に偏りを持った１つのＰＤを設けてもよい。これら２つの画素を一対の画素として用い、それぞれの出力である画素信号から生成された一対の像信号を用いることで、撮像面位相差検出方式の焦点検出が可能である。その他、マイクロレンズの片側に入射する光束を遮光層によって遮ることで、ＰＤに偏りを持たせたと同じ効果を得るようにしてもよい。このように、撮像素子は、互いに異なる瞳領域からの光束を受光する１つ又は一対の画素を２次元配置したものであればよい。

次に、図５を用いて焦点検出について説明する。本実施例では、撮像素子１００（画素アレイ１０１）の一部に、水平方向に延びる複数の画素行が垂直方向に複数配置された画素領域としての焦点検出領域を設定する。そして、該焦点検出領域の各画素に含まれる２つのＰＤにより、互いに異なる瞳領域からの一対の光束により形成された一対の被写体像（以下、２像ともいう）を光電変換することで一対の像信号を得る。

各画素行は、２像をそれぞれ光電変換する２つのＰＤ列を含むとみなすことができる。以下の説明において、焦点検出に関しては個々のＰＤを画素として扱い、２つのＰＤ列をＡライン画素およびＢライン画素という。

図５の上部には、焦点検出領域のうち１つの画素行に含まれるＡライン画素とＢライン画素を示しており、その下に、（ａ）合焦状態、（ｂ）前ピン状態および（ｃ）後ピン状態での一対の像信号を示す。

図３に示した画素行３０５のうち、画素（ＰＤ）３０１Ｌ，３０２Ｌ，３０３Ｌ，３０４ＬによりＡライン画素が形成され、画素（ＰＤ）３０１Ｒ，３０２Ｒ，３０３Ｒ，３０４ＲによりＢライン画素が形成される。

Ａライン画素およびＢライン画素からの出力により形成される一対の像信号の間隔は、撮影光学系の焦点状態（合焦状態、前ピン状態および後ピン状態）によって変化する。そして、撮影光学系が前ピン状態または後ピン状態にある場合には、一対の像信号の間隔が合焦状態の間隔に一致するように撮影光学系に含まれるフォーカスレンズを移動させる。つまり、フォーカスレンズの移動量は、撮影光学系のデフォーカス量に対応する２像の相対的なずれ量（位相差：以下、像ずれ量という）から計算して求めることができる。

次に図６および図７を用いて、像ずれ量の演算方法について説明する。図６（ａ），（ｂ）には、撮像素子１００上での焦点検出領域を示す。図６（ａ）に示す焦点検出領域６０２は、点６０１を領域中心として、Ｘ方向（水平方向）にｐ列からｑ列までの画素列を有し、Ｙ方向（垂直方向）にｒ行からｓ行までの画素行（画素ライン）を含む領域である。この焦点検出領域は、−ｉｍａｘから＋ｉｍａｘの間で水平方向にシフトすることができ、この結果、実質的に焦点検出が可能な領域は該シフト量も含んだ領域６０３となる。

図６（ｂ）には、図６（ａ）に示した焦点検出領域６０３とは異なる焦点検出領域を示している。図６（ｂ）に示すように焦点検出領域を移動させることで、撮像素子１００（つまりは撮影画面）上における任意の領域で焦点検出を行うことが可能である。

図７のフローチャートには、図６に示した焦点検出領域から得られる像信号から、フォーカスレンズ移動量に対応するデフォーカス量を求める焦点検出演算の流れを示している。この演算は、撮像装置に設けられた演算部（演算手段）が、コンピュータプログラムに従って実行する。

焦点検出演算をスタートした演算部は、ステップＳ７０１にて最初の画素行Ｙ＝ｒを選択する。次にステップＳ７０２にて、演算部は、Ｉｙ＝−Ｉｍａｘを設定する。ここではＹ＝ｒであるので、ｒ行のＡライン画素およびＢライン画素での像ずれ量を求める。以下の説明において、Ａライン画素上に形成された被写体像およびその光電変換により得られた像信号をそれぞれ、Ａ像およびＡ像信号といい、Ｂライン画素上に形成された被写体像およびその光電変換により得られた像信号をそれぞれ、Ｂ像およびＢ像信号という。

次にステップＳ７０３にて、演算部は、Ｂ像信号をＩｙ画素に相当するシフト量だけシフトする。次にステップＳ７０４にて、演算部は、以下の式（１）を用いて、Ａ像信号とシフト後のＢ像信号との相関値を求める。

ただし、Ａｘ，Ｂｘはそれぞれ、指定した画素行のＡライン画素およびＢライン画素における座標ｘの画素の出力（画素値）を示す。このように、相関値Ｃ（Ｉｙ）は、Ｉｙ画素に相当するシフト量だけ相対的にシフトしたＡ像信号とＢ像信号との差の絶対値の総和として表される。

なお、相関値Ｃ（Ｉｙ）を、以下の式（２）で求めてもよい。

式（２）では、Ｂライン画素から得られたＢ像信号だけでなく、Ａライン画素から得られたＡ像信号もＢ像信号とは逆方向にシフトさせて、それらの差の絶対値の総和を求めている。具体的には、Ａ像信号をＩｙ画素に相当するシフト量だけシフトし、Ｂ像信号を−Ｉｙ画素に相当するシフト量だけシフトする。この場合も、相関値Ｃ（Ｉｙ）は、相対的にシフトしたＡ像信号とＢ像信号との差の絶対値の総和として表される。

また、相関値Ｃ（Ｉｙ）を、以下の式（３）により、Ａ像信号とＩｙ画素に相当するシフト量だけシフトしたＢ像信号（相対的にシフトしたＡ像信号とＢ像信号）のうち大きい方の画素値の総和を求めることで算出してもよい。

ただし、ｍａｘ（Ａ，Ｂ）は、ＡとＢのうち大きい方を選択することを表す。さらに、式は記載しないが、ＡとＢのうち小さい方を選択する演算でも相関値を求めることが可能である。このように、相関値の演算方法は、どのような方法であってもよい。

次にステップＳ７０５では、演算部は、Ｉｙ＋１をＩｙに代入する（すなわち、Ｂ像信号をＩｙ画素からさらに１画素多くシフトさせる）。そして、ステップＳ７０６では、演算部は、ＩｙがＩｍａｘより大きいか否かを判定し、大きい場合はステップＳ７０７に進み、ＩｙがＩｍａｘ以下であればステップＳ７０３，Ｓ７０４，Ｓ７０５を繰り返す。ステップＳ７０７に進む場合は、１画素行においてＩｙが−Ｉｍａｘから＋ＩｍａｘとなるまでＢ像信号をシフトしたときのそれぞれのシフト位置（Ｉｙ）での相関値の集合である第１の相関データＣ（Ｉｙ）が求まっている。第１の相関データは、１つの画素行におけるシフト量に応じた相関値の変化を示す波形データとして得られる。

次にステップＳ７０７では、演算部は、Ｃ（Ｉｙ）＋Ｃ（Ｉ）をＣ（Ｉ）に代入する。さらに、ステップＳ７０８では、演算部は、Ｙ＋１をＹに代入する。そして、ステップＳ７０９では、演算部は、Ｙがｓより大きいか否かを判定し、大きい場合はステップＳ７１０に進み、そうでない場合はステップＳ７０２に戻る。このようにして、Ｙがｓになるまで、ｒ行からｓ行の各画素行にて算出した第１の相関データＣ（Ｉｙ）を相互に加算することで、ｒ行からｓ行の全画素行の相関データである第２の相関データＣ（Ｉ）を求める。

ステップＳ７１０では、演算部は、第２の相関データＣ（Ｉ）のうち最も相関があるＩを求める。これについて、図８（ａ）〜（ｃ）を用いて説明する。図８（ａ）〜（ｃ）において、第２の相関データＣ（Ｉ）は相対的にシフト量ＩだけずれたＡ像信号とＢ像信号の相関値を示している。式（１），（２）のように画素信号の差の絶対値の総和として相関値を求める場合は、第２の相関データＣ（Ｉ）の値が最も低いＩが最も相関があるＩである。

図８（ａ）に示す合焦状態では、第２の相関データＣ（Ｉ）のうち最も相関があるＩ、すなわち第２の相関データＣ（Ｉ）の出力が最も低いＩは、０である。また、図８（ｂ），（ｃ）に示す前ピン状態および後ピン状態では、第２の相関データＣ（Ｉ）のうち最も相関があるＩは、０からそのデフォーカス方向に応じた方向にシフトしたＩとなる。このシフト量Ｉは、位相差である像ずれ量と等価である。したがって、演算部は、最も相関があるＩを求めることで、ｒ行からｓ行におけるＡライン画素およびＢライン画素上での像ずれ量を算出する。

次にステップＳ７１１では、演算部は、像ずれ量（シフト量Ｉ）を撮影光学系のデフォーカス量Ｌに換算し、処理を終了する。この後、演算部は、図示はしないが、デフォーカス量Ｌに基づいて算出したレンズ移動量だけフォーカスレンズを移動させて、合焦状態を得る。

このように、本実施例によれば、焦点検出領域内の各画素行にて第１の相関データを算出し、焦点検出領域内の全画素行の第１の相関データを加算して第２の相関データを生成する。これにより、第２の相関データから最も相関のある像ずれ量を求める処理が１回で済み、焦点検出演算に要する時間を減らすことができる。

なお、図２および図３に示した各画素（２つのＰＤを含む画素）は、焦点検出の際に用いられるだけではなく、記録／表示用の静止画像や動画像（フレーム画像）の生成にも用いられる。具体的には、図２に示したＰＤ２０３，２０４からの画素信号を別々に撮像素子１００から読み出し、これら画素信号を加算することで、撮像用の１画素の画素信号を生成することができ、さらにこの画素信号を用いて画像を生成することが可能である。

次に、本発明の実施例２について、図９を用いて説明する。図９には、Ｘ方向にて画素列ｐ〜ｑを有し、かつＹ方向にて画素行ｒからｓを有する焦点検出領域６０２と、最大シフト量Ｉｍａｘとによって決まる実質的な焦点検出領域６０３のサイズを、条件に応じて変更することができることを示している。

図９（ｂ）で示す焦点検出領域６０２，６０３は、図９（ａ）に示す焦点検出領域６０２，６０３に対して狭く設定されている。この焦点検出領域のサイズの変更は、撮影光学系の焦点状態やＦ値等の撮像条件のうち少なくとも一方に依存してＡ，Ｂ像間の像ずれ量やＡ，Ｂ像の大きさが変化することに対応することを目的としている。例えば、Ｆ値が小さく、焦点状態が大ぼけ状態であるときは、像の大きさおよび像ずれ量とも大きいため、図９（ａ）に示すように、焦点検出領域６０２，６０３を大きく設定する。一方、Ｆ値が大きく、焦点状態があまり大きなぼけ状態でないときは、像の大きさおよび像ずれ量とも小さいので、図９（ｂ）に示すように、焦点検出領域６０２，６０３を小さく設定する。

焦点検出領域のサイズの変更は、撮像装置による静止画撮像においては１枚の静止画像の撮像ごとに行い、動画撮像においては１フレーム画像の撮像ごとに行うことが好ましい。また、動画撮像において、Ｆ値等の撮像条件が変更された際や被写体が動いた際にサイズ変更を行うことが好ましい。

次に、本発明の実施例３について、図１０を用いて説明する。実施例２では、１枚の静止画像の１回の撮像ごとおよび動画の１フレーム画像の撮像ごとに焦点検出領域のサイズを水平および垂直方向に変更する場合について説明した。しかし、画素行が並ぶ垂直方向であれば、撮像を経ることなく（すなわち、１回の静止画撮像内および１フレーム画像の撮像内において）、様々な撮像条件に応じて焦点検出領域のサイズを変更することも可能である。

図１０には、撮像素子１００上に設定された実質的な焦点検出領域６０３が、垂直方向に複数の領域（以下、分割領域という）１００１，１００２，１００３に分割された状態を示している。各分割領域は、複数の画素行と複数の画素列を含む。そして、これらの分割領域１００１，１００２，１００３のそれぞれから、実施例１にて説明した第２の相関データＣ（Ｉ）であるＣ１（Ｉ），Ｃ２（Ｉ）およびＣ３（Ｉ）を求め、これらからデフォーカス量Ｌを求める。

本実施例における焦点検出演算の流れについて、図１１のフローチャートを用いて説明する。この演算は、撮像装置に設けられた演算部が、コンピュータプログラムに従って実行する。

焦点検出演算をスタートした演算部は、ステップＳ１１０１にて、ｎ＝１を設定し、最初の分割領域１００１を選択する。ｎは分割領域１００１，１００２，１００３に対して与えられた番号である。

続いて演算部は、ステップＳ７０１〜Ｓ７０９において実施例１の同ステップと同じ処理を行って、最初の分割領域１００１の各画素行の第１の相関データＣ１（Ｉｙ）を算出する。そして、演算部は、各画素行の第１の相関データＣ１（Ｉｙ）を分割領域１００１の全画素行にわたって加算した第２の相関データＣ１（Ｉ）を求める。なお、ステップＳ７０７では、Ｃｎ（Ｉｙ）＋Ｃｎ（Ｉ）をＣｎ（Ｉ）に代入する。

ステップＳ７０９では、演算部は、Ｙがｓ（ｎ）より大きいか否かを判定する。ｓ（ｎ）は、ｎ番目の分割領域におけるｓ行の画素行である。Ｙがｓ（ｎ）になるまで、各画素行にて算出した第１の相関データＣｎ（Ｉｙ）を全画素行において加算することで、ｎ番目の分割領域の第２の相関データＣｎ（Ｉ）を求めることができる。Ｙがｓ（ｎ）より大きい場合はステップＳ１１０２に進み、Ｙがｓ（ｎ）以下の場合はステップＳ７０１に戻る。

ステップＳ１１０２では、演算部は、ｎ＋１をｎに代入し、さらにステップＳ１１０３では、ｎが３より大きいか否かを判定する。ｎが３以下である場合は、演算部は、次の分割領域を選択し、ステップＳ７０１〜Ｓ７０９の処理を行って該次の分割領域の第２の相関データ（Ｃ２（Ｉ），Ｃ３（Ｉ））を求める。こうして、ステップＳ１１０３でｎが３より大きくなると、演算部は、ステップＳ１１０４に進む。

ステップＳ１１０４では、演算部は、３つの分割領域１００１，１００２，１００３の第２の相関データＣｎ（Ｉ）であるＣ１（Ｉ），Ｃ２（Ｉ），Ｃ３（Ｉ）から最適な第２の相関データ（以下、最適相関データという）Ｃ（Ｉ）を生成する。具体的には、Ｆ値が小さいときには、Ｃ１（Ｉ），Ｃ２（Ｉ），Ｃ３（Ｉ）の全てを加算して最適相関データＣ（Ｉ）を生成する。また、Ｆ値が大きいときには、Ｃ２（Ｉ）のみを使用して最適相関データＣ（Ｉ）を生成する。

次にステップＳ７１０およびステップＳ７１１では、演算部は、実施例１で説明したように、最適相関データＣ（Ｉ）から最も相関があるＩ（像ずれ量）を求め、該Ｉからデフォーカス量Ｌを算出する。

分割領域１００１，１００２，１００３の第２の相関データＣ１（Ｉ），Ｃ２（Ｉ），Ｃ３（Ｉ）からデフォーカス量Ｌを求める別の方法について、図１２のフローチャートを用いて説明する。ここでは、図１１中のステップＳ１１０４以降の処理に代わる処理について説明する。

ステップＳ１１０３までの処理で第２の相関データＣ１（Ｉ），Ｃ２（Ｉ），Ｃ３（Ｉ）が求まると、演算部は、ステップＳ１２０１に進む。ステップＳ１２０１では、演算部は、分割領域（特定の分割領域）１００２の第２の相関データＣ２（Ｉ）から最も相関があるシフト量ＩであるＩ２、すなわち分割領域１００２での像ずれ量を求める。シフト量Ｉ２の求め方は実施例１のステップＳ７１０にて説明した方法と同じである。

次にステップＳ１２０２では、演算部は、シフト量Ｉ２が所定範囲内に入っているか否かを判定する。例えば、シフト量が小さいときは、Ｆ値が大きい、もしくはデフォーカス量Ｌが小さいときである。シフト量が小さく所定範囲内に入っているときは、ステップＳ１２０３に進み、演算部は、Ｉ２をＩ（最も相関のあるＩ）に代入する。この後、ステップＳ７１１に進み、演算部は、該Ｉからデフォーカス量Ｌを算出する。

一方、シフト量が大きいときは、Ｆ値が小さく、デフォーカス量Ｌが大きいときである。シフト量が大きく所定範囲内に入っていないときは、演算部は、ステップＳ１２０４に進み、Ｉ２をＩに代入する。このときには、焦点検出領域は大きく設定する方が適切であるので、ステップＳ１２０４では、演算部は、第２の相関データＣ１（Ｉ），Ｃ２（Ｉ），Ｃ３（Ｉ）を相互に加算して、最適相関データＣ（Ｉ）を生成する。そして、演算部は、ステップＳ７１０およびステップＳ７１１に進み、最適相関データＣ（Ｉ）から最も相関があるＩ（像ずれ量）を求め、該Ｉからデフォーカス量Ｌを算出する。このように本実施例では、まず分割領域１００２にて生成された第２の相関データから像ずれ量を得る。そして、該像ずれ量に応じて、デフォーカス量を算出するために用いる第２の相関データを、分割領域１００２にて生成された第２の相関データとするか分割領域１００１〜１００３のそれぞれにて生成された第２の相関データとするかを切り替える。

本実施例によれば、像ずれ量（シフト量Ｉ）に応じて、画素行が並ぶ方向にて焦点検出領域のサイズを１回の静止画撮像内および１フレーム画像の撮像内において変更することができる。また、本実施例では、焦点検出領域を分割して設定された分割領域内の各画素行にて第１の相関データを算出し、これらを該分割領域の全画素行にわたって加算することで該分割領域の第２の相関データを生成する。そして、これら第２の相関データを用いて最も相関のある像ずれ量（シフト量Ｉ）を求める。このため、像ずれ量（シフト量Ｉ）を求める処理が１回で済み、焦点検出演算に要する時間を減らすことができる。

なお、上記実施例１〜３では、画素行ごとに生成した第１の相関データを全画素行にわたって加算して第２の相関データを生成する場合について説明したが、画素列ごとに生成した第１の相関データを全画素列にわたって加算して第２の相関データを生成してもよい。また、実施例３は、焦点検出領域を画素列が並ぶ方向（水平方向）に複数に分割する場合も適用することができる。

図１３には、上述した実施例１〜３にて説明した演算部を搭載した（すなわち、焦点検出演算を行う）撮像装置としてのデジタルカメラについて説明する。図１３において、１３０１は被写体からの光束に被写体像を形成させる撮影レンズ部（撮影光学系）である。撮影レンズ部１３０１は、変倍レンズ、フォーカスレンズおよび絞りを含み、これらレンズおよび絞りは、後述する全体制御・演算部１３０９からの指令を受けたレンズ駆動部１３０２によって駆動される。

１３０３はメカニカルシャッタであり、全体制御・演算部１３０９からの指令を受けたシャッタ駆動部１３０４によって駆動される。１３０５は撮影レンズ部１３０１により形成された被写体像を光電変換する撮像素子であり、実施例１〜３における撮像素子１００に相当する。

１３０６は撮像素子１３０５からの出力信号に対して各種処理を行う撮像信号処理回路である。撮像信号処理回路（信号生成手段）１３０６は、撮像素子１３０５のうち焦点検出領域の画素から出力された画素信号から、画素行ごとに一対の像信号を生成する。

１３０７は撮像素子１３０５および撮像信号処理回路１３０６に、タイミング信号を出力するタイミング発生回路である。１３０９はカメラ全体の動作の制御を司るとともに、実施例１〜３にて説明した演算部として機能する全体制御・演算部である。１３０８は撮像信号処理回路１３０６にて生成された画像を一時的に記憶するメモリであり、１３１０は半導体メモリ等の記録媒体１３１１に対する画像の記録や読み出しを行う記録媒体インターフェース部である。記録媒体１３１１は、カメラに対して着脱が可能である。１３１２は各種情報や画像を表示する表示部である。

このように構成されたデジタルカメラにおいて、メイン電源が投入されると、コントロール系の電源がオンし、さらに撮像信号処理回路１３０６等の撮像系回路の電源がオンされる。

次に図示しないレリーズボタンが操作されると、全体制御・演算部１３０９は、撮像素子１３０５上の焦点検出領域内の各画素行に対して撮像信号処理回路１３０６により生成された一対の像信号を用いて焦点検出およびデフォーカス量の演算を行う。そして、全体制御・演算部１３０９は、演算結果に基づいてフォーカスレンズの移動量を算出し、レンズ駆動部１３０２を通じて該移動量だけフォーカスレンズを移動させて合焦状態を得る。

合焦状態が確認された後、全体制御・演算部１３０９は、撮像動作を開始する。全体制御・演算部１３０９は、撮影信号処理回路１３０６に、撮像素子１３０５からの出力信号に対して画像処理を行わせて撮影画像（静止画又は動画）を生成させる。撮影画像は、記録媒体インターフェース部１３１０を介してメモリ１３１１に書き込まれる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

良好な焦点検出が可能なデジタルカメラやビデオカメラ等の撮像装置を提供できる。

１００ 撮像素子
２０１，３０１〜３０４ 画素
２０３，２０４，３０１Ｌ〜３０４Ｌ，３０１Ｒ〜３０４Ｒ フォトダイオード

Claims (8)

1. マイクロレンズに対して少なくとも第１の方向に撮影光学系を通過した対の被写体像を受光するための二つの光電変換部が形成された画素を複数有するとともに、前記複数の画素を前記第１の方向および当該第１の方向に直交する第２の方向に配置することによって画素領域を形成し、撮影光学系を通過した被写体像に基づく表示用画像信号及びデフォーカス量検出用信号を前記画素ごとに取得可能な撮像素子と、
   前記撮像素子のうち、前記画素領域において前記第１の方向に並んだ前記画素により構成される画素ラインを前記第２の方向に複数含む領域を焦点検出領域とし、該焦点検出領域における前記画素ラインに含まれる画素からの前記デフォーカス量検出用信号を用いて、対の像信号を生成する信号生成手段と、
   前記焦点検出領域において生成された複数の対の像信号を用いて前記撮影光学系のデフォーカス量を算出する演算手段とを有し、
   前記演算手段は、
   前記焦点検出領域において生成されたそれぞれの前記複数の対の像信号の第１の相関データを生成するとともに、当該生成した複数の第１の相関データを組み合わせて第２の相関データを生成し、
   該第２の相関データから前記デフォーカス量を算出することを特徴とする撮像装置。
2. 前記演算手段は、前記焦点検出領域を前記第２の方向に複数に分割して得られる分割領域ごとに前記第２の相関データを生成し、該複数の分割領域にて生成した前記第２の相関データを用いて前記デフォーカス量を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記演算手段は、前記複数の分割領域のうち特定の分割領域にて生成された前記第２の相関データから得られる前記対の像信号のずれ量に応じて、前記デフォーカス量を算出するために用いる前記第２の相関データを、前記特定の分割領域にて生成された前記第２の相関データとするか前記複数の分割領域のそれぞれにて生成された前記第２の相関データとするかを切り替えることを特徴とする請求項２に記載の撮像装置。
4. 前記焦点検出領域のサイズを、前記撮影光学系の焦点状態、前記撮影光学系のＦ値、および被写体の動きのうち少なくとも一方に応じて変更することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記マイクロレンズに対して少なくとも第１の方向に形成された二つの光電変換部は、前記撮影光学系の射出瞳のうち互いに異なる領域を通過した光束を光電変換し、
   前記画素は前記画素領域において、第1の方向および第２の方向に連続に配置されることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. マイクロレンズに対して少なくとも第１の方向に撮影光学系を通過した対の被写体像を受光するための二つの光電変換部が形成された画素を複数有するとともに、前記複数の画素を前記第１の方向および当該第１の方向に直交する第２の方向に配置することによって画素領域を形成し、撮影光学系を通過した被写体像に基づく表示用画像信号及びデフォーカス量検出用信号を前記画素ごとに取得可能な撮像素子と、
   前記撮像素子のうち、前記画素領域において前記第１の方向に連続して並んだ前記画素により構成される画素ラインを前記第２の方向に複数含む領域を焦点検出領域とし、該焦点検出領域を複数の領域に分割した分割領域におけるデフォーカス量検出用信号に基づいて前記撮影光学系のデフォーカス量を算出する演算手段とを有し、
   前記演算手段は、
   前記分割領域においてそれぞれ対の像信号の第１の相関データを生成するとともに、当該生成した相関データを演算することによって第２の相関データを生成し、
   前記第２の相関データに基づき前記デフォーカス量を算出することを特徴とする撮像装置。
7. 前記各画素ごとに取得される前記表示用画像信号を処理して記録する記録手段をさらに備え、
   前記表示用画像信号は前記二つの光電変換部で光電変換された信号を加算することによって生成されることを特徴とする請求項1から６のいずれか1項に記載の撮像装置。
8. マイクロレンズに対して少なくとも第１の方向に撮影光学系を通過した対の被写体像を受光するための二つの光電変換部が形成された画素を複数有するとともに、前記複数の画素を前記第１の方向および当該第１の方向に直交する第２の方向に配置することによって画素領域を形成し、撮影光学系を通過した被写体像に基づく表示用画像信号及びデフォーカス量検出用信号を前記画素ごとに取得可能な撮像素子を有する撮像装置における焦点検出方法であって、
   前記撮像素子のうち、前記画素領域において前記第１の方向に並んだ前記画素により構成される画素ラインを前記第２の方向に複数含む領域を焦点検出領域とし、該焦点検出領域における前記画素ラインに含まれる画素からの前記デフォーカス量検出用信号を用いて、対の像信号を生成する生成ステップと、
   前記焦点検出領域において生成された複数の対の像信号を用いて前記撮影光学系のデフォーカス量を算出する演算ステップとを有し、
   前記演算ステップにおいて、
   前記焦点検出領域において生成されたそれぞれの前記複数の対の像信号の第１の相関データを生成するとともに、当該生成した複数の第１の相関データを組み合わせて第２の相関データを生成し、
   該第２の相関データから前記デフォーカス量を算出することを特徴とする焦点検出方法。