JP5917205B2 - 撮像装置 - Google Patents

Description

本発明は、撮像面に焦点検出用の画素を有する撮像素子を用いて位相差方式の焦点検出を行う撮像装置に関するものである。

従来、撮像装置の焦点制御のための焦点検出の方法として、焦点検出素子を用いた位相差方式の焦点検出、撮像素子の画像のコントラスト成分を用いたコントラスト方式、など様々な方法が提案されている。また、撮像素子中の画素が撮像レンズの異なる瞳面の光を受光する構成をとることによって、撮像と同時に位相差方式の焦点検出を行う技術がある。

特許文献１においては、１つの画素の中にある、１つのマイクロレンズで集光されるフォトダイオード（以下ＰＤ）を分割することによって、各々のＰＤが撮像レンズの異なる瞳面の光を受光するように構成されている。それによって、２つのＰＤの出力を比較することにより、撮像レンズでの焦点検出を行っている。

また、特許文献２においては、ＰＤの前面にある配線層を画素によって変更することで、撮像レンズの異なる瞳面の光を受光するように構成されている。これらの技術では、撮像レンズの異なる瞳面の光を受光した各々のＰＤの信号から像ずれ量の検出すなわち位相差検出を行い、像ずれ量からピントのずれ量を計算することで、焦点の検出を行っている。

特許文献３においては、特許文献２の方法と、コントラスト方式の併用によって、焦点検出を行っている。

コントラスト方式の焦点検出の場合、焦点検出に使用する領域を小さくとれば、被写体のピントずれ量が小さいときに、精度があがるが、ＳＮが悪化してしまう課題がある。そして、ピントのずれ量が大きいときには、ぼけた像が焦点検出領域内に入らなくなってしまう。また、焦点検出に使用する領域を大きくとれば、ＳＮはよくなるが、複数の被写体が焦点検出領域内に入り込みやすくなり、遠い被写体と近い被写体が焦点検出領域内に混在する、いわゆる遠近競合によって、誤検知してしまう可能性が大きくなってしまう。位相差方式においても遠近競合は発生するが、コントラスト方式は撮像素子で像を取得するため、像の大きさは、被写体の大きさだけでなく、ピントのずれ量いわゆる像のぼけの大きさに大きさにも依存し、像のぼけ具合によっても最適な焦点検出領域を選択する必要がある。

特開２００１−０８３４０７号公報 特開２０１０−１５２１６１号公報 特開２００９−１１５８９３号公報

ところで、撮像素子で位相差方式の焦点検出を行う場合も、像のぼけによる大きさがピントのずれ量にも依存する。特に、撮影レンズの射出瞳の分割範囲が広ければ広いほどその影響は顕著である。

特許文献１のようなＰＤで分割するタイプの撮像素子上での位相差検出は、ＰＤの出力を撮影画像にも使用するので、射出瞳の分割範囲は、撮影画像に最適化され、焦点検出用に小さくすることが出来ない。その際に、焦点検出領域の大きさは、遠近競合を少なくするために条件に応じて最適にする必要がある。そのためには、例えば動画などの連続記録時は、一度被写体までのピントのずれ量を測定して、次のフレームで前のフレームの情報に基づいて焦点検出領域の大きさを変えることが考えられる。ところが、フレーム間で焦点検出領域の大きさを切り替える方式では、被写体が動いたときに、像の大きさが変わってしまい誤検知してしまうという課題が発生する。この課題を解決するためには、１フレームで複数の焦点検出領域の大きさからピントのずれ量を算出する必要がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像面に焦点検出用画素を有する撮像素子を用いて位相差方式の焦点検出を行う場合の、遠近競合による誤焦点検出を低減することである。

本発明に係わる撮像装置は、被写体像を光電変換する複数の画素部を有し、該複数の画素部のそれぞれが、１つのマイクロレンズと複数の光電変換部とを備える撮像素子と、前記撮像素子からの出力に基づいて、撮影光学系の互いに異なる領域を通過した光に対応する第１の画像信号と第２の画像信号とを取得し、さらに、前記撮像素子内の焦点検出演算範囲に対応する領域から焦点検出領域までシフトさせて、前記焦点検出領域内の前記第１の画像信号と前記第２の画像信号の相関波形を求める制御手段とを備え、前記制御手段は、前記焦点検出演算範囲を、ｍ個（ｍは２以上の整数）の領域に分割し、該ｍ個の領域のそれぞれについて、前記焦点検出領域内での第１の画像信号と前記第２の画像信号の相関波形を求め、前記ｍ個の領域のうち、主被写体の存在する領域から得られた前記相関波形から、被写体の像ずれ量を算出し、該像ずれ量に基づいて得られたピントずれ量でレンズを駆動制御する第１の場合と、前記ｍ個の領域のうち中央の領域を含む複数の領域から算出された相関波形の加算を行って加算された相関波形を生成し、該加算された相関波形から被写体の像ずれ量を算出し、該像ずれ量に基づいて得られたピントずれ量でレンズを駆動制御する第２の場合と、を有することを特徴とする。

本発明によれば、撮像面に焦点検出用画素を有する撮像素子を用いて位相差方式の焦点検出を行う場合の、遠近競合による誤焦点検出を低減することが可能となる。

本発明の一実施形態の撮像素子の全体構成を概略的に示す図。 一実施形態の撮像素子の１画素の概略構成を示す図。 一実施形態の撮像素子の画素アレイを概略的に示す図。 物体の結像関係を模式的に示す図。 位相差方式の焦点検出を模式的に説明する図。 一実施形態の撮像素子の焦点検出範囲を概略的に示す図。 一実施形態の焦点検出演算を示すフローチャート。 一実施形態の焦点検出演算のサブルーチンを示すフローチャート。 相関波形とピントの関係を概略的に示す図。 一実施形態の焦点検出演算のサブルーチンを示すフローチャート。 一実施形態の焦点検出領域と被写体の像の関係を模式的に示す図。 一実施形態の焦点検出領域と被写体の像の関係を模式的に示す図。 一実施形態の焦点検出領域と被写体の像の関係を模式的に示す図。 一実施形態の撮像装置の概略構成を示す図。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１は本発明の一実施形態に係わる撮像素子の概略構成を示す図である。図１において撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４とを備える。また、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す読み出し回路１０３と、各回路の動作モードなどを外部から決定するためのシリアルインターフェイス１０５も備える。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。なお、撮像素子１００は、図示された構成要素以外にも、例えば、垂直選択回路１０２、水平選択回路１０４、信号読み出し部１０３等にタイミングを提供するタイミングジェネレータ或いは制御回路等を備える。

典型的には、垂直選択回路１０２は、画素アレイ１０１の複数の行を順に選択して読み出し回路１０３に読み出す。水平選択回路１０４は、読み出し回路１０３に読みだされた複数の画素信号を列毎に順に選択する。

図２は、撮像素子１００の１画素の概略構成を示す図である。２０１は画素を表す。一つの画素は、マイクロレンズ２０２を有する。また、一つの画素は、光電変換部であるフォトダイオード（以下ＰＤ）をＰＤ２０３とＰＤ２０４の二つ有する。なお、画素は、図示された構成要素以外にも、例えば、ＰＤの信号を列読み出し回路１０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。

図３は画素アレイ１０１を表す図である。画素アレイ１０１は、２次元の画像を提供するために、図２で示すような画素を複数２次元アレイ状に配列して構成される。３０１、３０２、３０３、３０４は画素である。３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌが図２で示すところのＰＤ２０３であり、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒが図２で示すところのＰＤ２０４である。

図３のような画素構成を有する撮像素子１００における受光の様子について、図４を用いて説明する。

図４は撮影レンズの射出瞳から出た光束が撮像素子１００に入射する概念図である。４０１は画素アレイの断面を示す。４０２はマイクロレンズ、４０３はカラーフィルター、４０４、４０５はフォトダイオードである。ＰＤ４０４、ＰＤ４０５が各々図２で示すところの、ＰＤ２０３、ＰＤ２０４である。４０６は撮影レンズの射出瞳を示す。

ここでは、マイクロレンズ４０２を有する画素に対して、射出瞳から出た光束の中心を光軸４０９とする。射出瞳から出た光は、光軸４０９を中心として撮像素子１００に入射する。４０７、４０８は撮影レンズの射出瞳の一部領域を表す。射出瞳の一部領域４０７を通過する光の最外周の光線を４１０、４１１で示し、射出瞳の一部領域４０８を通過する光の最外周の光線を４１２、４１３で示す。この図からわかるように、射出瞳から出る光束のうち、光軸４０９を境にして、上側の光束はＰＤ４０５に入射され、下側の光束はＰＤ４０４に入射される。つまり、ＰＤ４０４とＰＤ４０５は各々、撮影レンズの射出瞳の別の領域の光を受光している。図２、図４において、一つのマイクロレンズに対し、ＰＤが２つある構成を示しているが、本構成に限らず、ある画素は片側のＰＤ、隣の画素は反対側のＰＤのみという構成でも、位相差検出は可能である。他にも、遮光層などで、マイクロレンズ２０２の片側から入る光を遮る構成でも位相差検出は可能である。本実施形態は撮影レンズの射出瞳から出る光束の情報を別々に取得可能な構成で２次元に配置された画素を有する素子であれば、説明した構成に限らない。

撮像素子で撮影レンズの射出瞳の別の領域の像が得られる特性を生かして、位相差の検知を行う。図５、図６、図７を用いて、２像のずれ量からレンズを駆動するまでの処理について説明する。

図５を用いて焦点検出の概略について説明を行う。図５の上部は、撮像素子の焦点検出領域の１行に配置された画素配置を示し、下部は各ピント位置での像を示している。図５（ａ）は合焦状態、図５（ｂ）は前ピン状態、図５（ｃ）は後ピン状態を示す。

撮像素子は、撮像レンズの異なる射出瞳からの光を受光するＡライン画素とＢライン画素が２次元状に配置されている。図３を用いて説明すると、行３０５のうち、３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌの画素でＡライン画素を形成し、３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒの画素でＢライン画素を形成する。Ａライン、Ｂラインの出力画像は、図５から分かるように、合焦状態、前ピン状態及び後ピン状態の何れであるかによりに２像の間隔が異なる。

像間隔が合焦状態の間隔になるように、撮像レンズのフォーカス用レンズを移動させて、ピントを合わせる。つまりフォーカス用レンズの移動量は、２像のずれ量から計算して求めることができる。

図６は撮像素子上での焦点検出演算の領域を示す図である。図６（ａ）は、撮像素子の画面内の焦点検出に使用する領域の範囲を示している。焦点検出領域中心６０１を中心にして、焦点検出演算範囲６０２は、Ｘ方向がｐ列からｑ列、Ｙ方向がｒ行からｓ行の範囲を示している。シフト量は−ｉｍａｘから＋ｉｍａｘまでである。焦点検出可能な焦点検出領域はシフト量も含んだ６０３となる。この焦点検出領域内でＡラインの出力（第１の画像信号）とＢラインの出力（第２の画像信号）を比較する。図６（ｂ）は、焦点検出領域が図６（ａ）と異なる領域の焦点検出を行うときの焦点検出領域を示している。図６（ｂ）のように焦点検出領域をずらすことで、画面上の任意の場所で焦点検出演算を行うことが可能である。

本実施形態は、焦点検出演算範囲６０２をＸ方向にｍ個（ｍは２以上の整数）に分割する。図６（ｃ）を用いて説明する。図６（ｃ）は焦点検出演算範囲６０２を５分割にした模式図である。ｐ列からｐ＋ｎ−１列までの焦点検出演算範囲６０４、ｐ＋ｎ列からｐ＋２ｎ−１列までの焦点検出演算範囲６０５、ｐ＋２ｎ列からｐ＋３ｎ−１列までの焦点検出演算範囲６０６、ｐ＋３ｎ列からｐ＋４ｎ−１列までの焦点検出演算範囲６０７、ｐ＋４ｎ列からｑ列までの焦点検出演算範囲６０８に分割している。焦点検出演算範囲６０４から６０８までの５つの焦点検出演算を行うためのシフト量は全て同じであり−ｉｍａｘから＋ｉｍａｘまでである。図６（ｄ）に示すように、焦点検出演算範囲６０４の焦点検出領域は、シフト量も含んだ焦点検出領域６０９となる。この領域でＡラインの出力とＢラインの出力を比較する。他の焦点検出演算範囲についても同様に−ｉｍａｘから＋ｉｍａｘまでシフトさせた焦点検出領域を有する。焦点検出演算範囲６０５の焦点検出領域は６１０であり、焦点検出演算範囲６０６の焦点検出領域は６１１であり、焦点検出演算範囲６０７の焦点検出領域は６１２であり、焦点検出演算範囲６０８の焦点検出領域は６１３である。

図７は、焦点検出演算を行い、レンズを駆動するまでの処理を示すフローチャートである。ここでは図６（ｃ）で示したようにＸ方向に焦点検出演算範囲を５分割した場合について説明する。焦点検出演算がスタートすると、Ｓ７０１でＸ方向に５分割した焦点検出演算範囲における５つの焦点検出領域の相関波形であるＣｍ（Ｉ）を各々求めるサブルーチンに入る。Ｓ７０１のサブルーチンについて、図８を用いて説明を行う。

図８は撮像素子から得られた像データから、相関波形Ｃｍ（Ｉ）を図６（ｄ）で示す各々の焦点検出領域毎に求める相関波形算出の流れを示す、フローチャートである。図８を用いて、図６（ｄ）で説明した各々の焦点検出領域の相関波形算出の説明を行う。

相関波形算出がスタートすると、Ｓ８０１で最初の行Ｙ＝ｒを選択する。次にＳ８０２でＩｙ＝−Ｉｍａｘにする。ここではＹ＝ｒ行なので、ｒ行での像ずれ量を求める。次に、Ｓ８０３で焦点検出領域ｍ＝１を選択する。ここでは、５分割にしているので、ｍ＝１が焦点検出演算範囲６０４での焦点検出領域である６０９を示す。同様に、ｍ＝２が焦点検出領域６１０を示し、ｍ＝３が焦点検出領域６１１を示し、ｍ＝４が焦点検出領域６１２を示し、ｍ＝５が焦点検出領域６１３を示す。

次にＳ８０４でＢ像の画素のデータをＩｙ画素シフトする。次にＳ８０５でＡ像と、Ｂ像のＩｙ画素シフト時の相関値を求める。具体的には、相関値は以下の式で算出されるように、ＡラインとＢラインの各画素での像の差の絶対値を求めることで算出される。

ここで、Ａｘ、Ｂｘは指定した行での、各々Ａライン、Ｂラインのｘ座標の出力を示す。つまり、Ｃｍ（Ｉｙ）は、焦点検出領域ｍにおけるＢラインをＩｙ画素シフトさせたときのＡラインとＢラインの差の絶対値の総和を求めている。

また、相関値は上述した式だけでなく、例えば以下のような式でも求められる。

上記の式では、Ｂラインのデータだけをシフトするのではなく、Ａラインのデータも同時に逆方向にシフトして、差の絶対値の総和を求めている。その際にはＳ８０３はＡラインの像データをＩｙ画素シフトし、Ｂラインの像データを−Ｉｙ画素シフトする。

また、相関値はＡラインとＢラインの差の絶対値以外にも、以下のように各画素の大きい画素値を算出する式でも求めることが可能である。

ここで、ｍａｘ（Ａ、Ｂ）はＡとＢの大きい方を選択することを表す。式を記載しないが、ＡとＢの小さい方を選択する演算でも相関値を求めることが可能である。

上述したように、本実施形態では、Ｓ８０５における相関値を求める方法を特に限定するわけではない。

次に、Ｓ８０６でｍ＋１をｍに代入する（次の焦点検出領域を選択する）。Ｓ８０７でｍ＞５、すなわち、ｍ＝１から５までのすべての領域でＹ＝ｒ行のＩｙ画素シフトさせた場合の相関値が求まっている場合は、Ｓ８０８に進む。

次に、Ｓ８０８でＩｙ＋１をＩｙに代入する（１画素ずらす）。Ｓ８０９でＩｙ＞ＩｍａｘならＳ８１０に進み、ＩｙがＩｍａｘ以下であれば、Ｓ８０３からＳ８０８までを繰り返す。Ｓ８１０に進むときには、Ｉｙが−Ｉｍａｘから＋Ｉｍａｘまでの１行分の相関値の集合である相関波形Ｃｍ（Ｉｙ）が５つの焦点検出領域分求まっている。

次にＳ８１０では、Ｃｍ（Ｉｙ）＋Ｃｍ（Ｉ）をＣｍ（Ｉ）に代入する。Ｓ８１１でＹ＋１をＹに代入し（１行進む）、Ｓ８１２でＹ＞ｓならば、相関波形の算出を終了し、そうでなければＳ８０２に戻る。ここで、Ｓ８１０では、各行のＣｍ（Ｉｙ）を加算して、Ｃｍ（Ｉ）を生成し、それをｒからｓまでの各行分繰り返すことで、各行の相関波形Ｃｍ（Ｉｙ）から全行加算された相関波形Ｃｍ（Ｉ）をｍ＝１から５まで求めている。つまり、相関波形の算出が終了したときには、Ｘ方向に５つに分割した焦点検出演算範囲の各々の焦点検出領域における相関波形が各々算出されている。

図９は上述した相関波形を模式的に示す図である。図９で示すように、相関波形Ｃｍ（Ｉ）はシフト量ＩずらしたときのＡラインとＢラインの相関値を示し、相関値を求めるのに差の絶対値の総和を行っている場合には相関波形Ｃｍ（Ｉ）の出力が最もひくい場所のＩが最も相関があるＩである。図９（ａ）で示すように、合焦時には、相関波形Ｃｍ（Ｉ）のうち、最も相関があるＩ、すなわち相関波形Ｃｍ（Ｉ）の出力が最もひくい場所のＩ＝０である。図９（ｂ）、図９（ｃ）で示すように、ピントがずれているときには、ずれている量に基づいた像ずれがＩとなる。つまりシフト量は像ずれ量と等価であり、シフト量Ｉ＝像ずれ量Ｉと考えられる。

ここでの説明では、まず各焦点検出領域におけるＩｙシフト時の相関値を算出した。次にＩｙを−Ｉｍａｘから＋Ｉｍａｘまで変更し、１行分の相関値の集合である相関波形Ｃｍ（Ｉｙ）を求めた。次にＹ方向をｒからｓまでずらし、複数行の相関波形Ｃｍ（Ｉｙ）からＣｍ（Ｉ）を求める。以上の順番で相関波形算出を行ったが、本発明では相関波形算出の順番は限定するものではない。ただし、ここで説明したように、１行ずつ相関波形を算出し、加算していくことで、すべての画像データが揃うまで、演算を待つ必要がなく、撮像素子を読み出しながら、１行分のデータが揃った時点で演算を行うことが可能である。

焦点検出演算でＳ７０１のサブルーチンが終了すると、次にＳ７０２に進む。Ｓ７０２ではＳ７０１で求めた複数の焦点検出領域の相関波形Ｃｍ（Ｉ）から、最適な像ずれ量Ｉを求めるサブルーチンを行う。Ｓ７０２のサブルーチンについて、図１０を用いて説明する。

図１０はＳ７０１で求めた５つの焦点検出領域の相関波形Ｃｍ（Ｉ）から最適な像ずれ量Ｉを求めるフローチャートを示す。

像ずれ量を算出する演算が開始されると、Ｓ１００１で５つの焦点検出演算範囲のうち、焦点検出領域中心６０１を含む領域である焦点検出演算範囲６０６の焦点検出領域６１１の相関波形であるＣ３（Ｉ）から最も相関があるＩ３を求める。最も相関があるＩ３を求める方法は、上述したように、Ｃ３（Ｉ）のうちもっとも出力が低いＩ３を算出する。

次にＳ１００２で、Ｉ３の絶対値と第１の閾値Ｉｔｈ１を比較する。Ｉ３の絶対値がＩｔｈ１に比べて小さい場合は、合焦に近い状態であり、Ｓ１００３に進む。Ｉ３の絶対値がＩｔｈ１に比べて小さい場合は、Ｉ３が最適な像ずれ量Ｉであるので、Ｓ１００３でＩ３をＩに代入する。図１１を用いて説明を行う。

図１１は、撮像素子の焦点検出領域とＡライン、Ｂラインでの像を模式的に示す図である。図１１（ａ）は図６で示した焦点検出演算範囲６０２と５つの焦点検出演算範囲６０４から６０８の位置関係とシフト量Ｉｍａｘを含んだ焦点検出領域６０３を示す図である。図１１（ｂ）は焦点検出演算範囲６０６と焦点検出演算範囲６０６における焦点検出領域６１１を示す図である。

図１１（ｃ）は、焦点検出領域６０３の中心にある被写体にピントがあっている場合の像について、上部にＡラインの像、下部にＢラインの像を示す図である。主被写体の存在するＡラインＢライン各々の像と、主被写体以外のＡラインＢライン各々の像を示している。

主被写体にピントがあっているときおよび比較的あっているときには、像のずれ量は０もしくは０に近く、その際には主被写体以外の被写体の影響を低減するために、像を検出する焦点検出演算範囲は極力小さくする。そのために、焦点検出演算範囲６０６の焦点検出領域６１１のみを使用する。すなわち、Ｓ１００２でＩ３の絶対がＩｔｈ１より小さい場合に、Ｓ１００３でＩ３を像ずれ量Ｉとして使用する。そうするとこで、主被写体以外の被写体の影響を抑える、つまり遠近競合を抑えることが可能となる。

Ｓ１００２でＩ３の絶対値がＩｔｈ１以上（閾値以上）の場合はＳ１００４に進み、Ｉ３の絶対値とＩｔｈ２を比較する。Ｉｔｈ１＜Ｉｔｈ２である。Ｉ３の絶対値がＩｔｈ１以上であり、Ｉｔｈ２より小さい場合は、像のずれ量が中程度の場合である、その場合はＳ１００５に進む。像のずれ量が中程度の場合、Ｓ１００５で、５つの焦点検出演算範囲のうち中央に近い３つの領域、焦点検出演算範囲６０５、６０６、６０７を使用する。各々の焦点検出領域６１０、６１１、６１２の各々の相関波形である、Ｃ２（Ｉ）、Ｃ３（Ｉ）、Ｃ４（Ｉ）を加算し、あらたな相関波形Ｃ（Ｉ）を算出する。

図１２を用いて主被写体のピントが中程度にずれている場合について説明を行う。図１２は、撮像素子の焦点検出領域とＡライン、Ｂラインでの像を模式的に示す図である。図１２（ａ）は図６で示した焦点検出演算範囲６０２と５つの焦点検出演算範囲６０４から６０８の位置関係とシフト量Ｉｍａｘを含んだ焦点検出領域６０３を示す図である。図１２（ｂ）は焦点検出演算範囲１２０１とシフト量Ｉｍａｘを含んだ焦点検出領域１２０２を示す図である。ここで、焦点検出演算範囲１２０１は、焦点検出演算範囲６０５、６０６、６０７を足した大きさと同じ大きさである。

図１２（ｃ）は、焦点検出領域６０３の中心にある被写体のピントが中程度にずれている場合の像について、上部にＡラインの像、下部にＢラインの像を示す図である。主被写体のＡラインＢライン各々の像と、主被写体以外のＡラインＢライン各々の像を示している。

主被写体のピントがずれているときには、像がぼけて、さらにＡラインとＢラインでずれているので、図１１で説明したような焦点検出演算範囲６０６および焦点検出領域６１１だけでは、焦点検出領域が狭すぎて主被写体の像ずれ量の検知精度が下がってしまう。そこで、焦点検出演算範囲を１２０１のように少し広げて、主被写体の像ずれを正確に検出し、かつ遠近競合が発生しにくくする必要がある。焦点検出演算範囲１２０１は、焦点検出演算範囲６０５、６０６、６０７を足した大きさと同じ大きさである。従って、焦点検出領域６１０、６１１、６１２の各々の相関波形のＣ２（Ｉ）、Ｃ３（Ｉ）、Ｃ４（Ｉ）を加算したものは、焦点検出演算範囲１２０１の焦点検出領域１２０２からもとめた相関波形Ｃ（Ｉ）と一致する。

すなわち、Ｓ１００４でＩ３の絶対がＩｔｈ１以上でありＩｔｈ２より小さい場合に、Ｓ１００５でＣ２（Ｉ）、Ｃ３（Ｉ）、Ｃ４（Ｉ）の加算を行い、そこで得られたＣ（Ｉ）は焦点検出領域１２０２に相当するＣ（Ｉ）となる。

Ｓ１００４でＩ３の絶対値がＩｔｈ２より大きい場合は像のずれ量が大きい場合であり、その場合はＳ１００６に進む。像のずれ量が大きい場合は、Ｓ１００６で５つの焦点検出領域すべての相関波形であるＣ１（Ｉ）、Ｃ２（Ｉ）、Ｃ３（Ｉ）、Ｃ４（Ｉ）Ｃ５（Ｉ）を加算し、あらたな相関波形Ｃ（Ｉ）を算出する。

図１３を用いて主被写体のピントが大きくずれている場合について説明を行う。図１３は、撮像素子の焦点検出領域とＡライン、Ｂラインでの像を模式的に示す図である。図１３（ａ）は図６で示した焦点検出演算範囲６０２と５つの焦点検出演算範囲６０４から６０８の位置関係とシフト量Ｉｍａｘを含んだ焦点検出領域６０３を示す図である。

図１３（ｂ）は焦点検出演算範囲６０２とシフト量Ｉｍａｘを含んだ焦点検出領域６０３を示す図である。ここで、焦点検出演算範囲６０２は、焦点検出演算範囲６０４、６０５、６０６、６０７、６０８を足した大きさと同じ大きさである。図１３（ｃ）は、焦点検出領域６０３の中心にある被写体のピントが大きくずれている場合の像について、上部にＡラインの像、下部にＢラインの像を示す図である。主被写体のＡラインＢライン各々の像と、主被写体以外のＡラインＢライン各々の像を示している。

主被写体のピントが大きくずれているときには、像がさらにぼけて、さらにＡラインとＢラインでずれている。従って、図１１で説明したような焦点検出領域６１１や図１２で説明した焦点検出領域１２０２だけでは、焦点検出演算範囲が狭すぎて主被写体の像ずれ量の検知精度が下がってしまう。そこで、焦点検出演算範囲６０２のように焦点検出演算範囲を最大限広げて、主被写体の像ずれを正確に検出する必要がある。焦点検出演算範囲６０４、６０５、６０６、６０７、６０８は焦点検出演算範囲６０２を５分割したものなので、焦点検出演算範囲６０４、６０５、６０６、６０７、６０８を足した大きさは焦点検出演算範囲６０２と同じ大きさである。焦点検出領域６０９、６１０、６１１、６１２、６１３の各々の相関波形のＣ１（Ｉ）、Ｃ２（Ｉ）、Ｃ３（Ｉ）、Ｃ４（Ｉ）、Ｃ５（Ｉ）を加算したものは、焦点検出領域６０３からもとめた相関波形Ｃ（Ｉ）と一致する。

すなわち、Ｓ１００４でＩ３の絶対がＩｔｈ２以上の場合は、Ｓ１００６でＣ１（Ｉ）、Ｃ２（Ｉ）、Ｃ３（Ｉ）、Ｃ４（Ｉ）、Ｃ５（Ｉ）の加算を行い、そこで得られたＣ（Ｉ）は焦点検出領域６０３に相当するＣ（Ｉ）となる。

次に、Ｓ１００７では相関波形Ｃ（Ｉ）のうち、最も相関があるＩを求める。上述した処理により、最適な像ずれ量Ｉが求まり、処理を終了する。

焦点検出演算でＳ７０２が終了すると、Ｓ７０３に進む。Ｓ７０３では、Ｓ７０２で求めた最適な像のずれ量Ｉを換算することで、ピントのずれ量Ｌを求める。像ずれ量Ｉからピントのずれ量Ｌへの換算は、Ｆ値毎の係数を乗算したり、加算したりすることで可能である。次にＳ７０４では、Ｓ７０３で算出したピントずれ量Ｌに基づいてレンズを駆動し、焦点検出演算を終了する。

以上述べたように、焦点検出演算範囲を複数に分割し、分割された焦点検出演算範囲の各々の焦点検出領域から求めた相関波形Ｃｍ（Ｉ）を最適に加算することで、１フレームの中で複数の大きさの焦点検出領域を適切に選択することが可能となり、遠近競合を防ぐことができる。

最初から、焦点検出演算範囲６０６、１２０１、６０２について、相関演算を行い、それを適宜選択することによっても、同様の効果が得られる。ただし、その場合は、焦点検出演算範囲を複数に分割し、分割された各々の焦点検出演算範囲における焦点検出領域から求めた相関波形Ｃｍ（Ｉ）を最適に加算する場合に比べて、演算規模の大きい相関演算が増えてしまうことになる。その結果、ハードウェアやソフトウェアの規模を増大させてしまう。つまり、本実施形態では、１フレームの中で複数の大きさの焦点検出領域を適切に選択することが可能となり、遠近競合を防ぐことができるだけでなく、ハードウェアやソフトウェアの規模も抑える効果も得られる。

なお、本実施形態の説明では、焦点検出演算範囲を５分割にしたが、特に５分割に制限するものではなく、３分割や７分割、８分割等でもよい。

また、本実施形態の説明では焦点検出演算範囲を分割した複数の焦点検出演算範囲が各々同じ大きさとして説明したが、分割された焦点検出演算範囲のシフト量が同じであれば、分割された焦点検出演算範囲の大きさは同じでなくてもよい。例えば、中央の焦点検出演算範囲だけ他の焦点検出演算範囲に比べて大きくしたり、小さくしたりすることも可能である。

また、主被写体は焦点検出領域の中心にあるものとして説明したので、Ｓ１００２、Ｓ１００４ではＩ３の絶対値と閾値を比較したが、主被写体の位置に応じて、変更してもよい。例えば主被写体を焦点検出領域の中央から少しずれた位置で検出する場合にはＩ２やＩ４の絶対値と比較してもよい。

また、主被写体の像ずれ量はＦ値に応じて変わるので、閾値Ｉｔｈ１、Ｉｔｈ２は、Ｆ値に応じて変えることも可能である。

図１４に基づいて、上記で説明した実施形態の撮像素子を撮像装置であるデジタルカメラに適用した場合の一について詳述する。

図１４において、１４０１は被写体像を撮像素子１４０５に結像させるレンズ部（撮影光学系）で、レンズ駆動装置１４０２によってズーム制御、フォーカス制御、絞り制御などがおこなわれる。１４０３はメカニカルシャッターでシャッタ駆動装置１４０４によって制御される。１４０５はレンズ部１４０１で結像された被写体像を画像信号として取り込むための撮像素子、１４０６は固体撮像素子１４０５より出力される画像信号に各種の補正を行ったり、データを圧縮したりする撮像信号処理回路である。１４０７は固体撮像素子１４０５、撮像信号処理回路１４０６に、各種タイミング信号を出力する駆動部であるタイミング発生回路、１４０９は各種演算と撮像装置全体を制御する制御回路、１４０８は画像データを一時的に記憶するためのメモリ、１４１０は記録媒体に記録または読み出しを行うためのインターフェース、１４１１は画像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記録媒体、１４１２は各種情報や撮影画像を表示する表示部である。

次に、前述の構成における撮影時のデジタルカメラの動作について説明する。

メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路１４０６などの撮像系回路の電源がオンされる。それから、図示しないレリーズボタンが押されると、撮像素子１４０５からのデータを元に上述した焦点検出演算を行い、焦点検出結果に基づいて被写体までの距離の演算を行う。焦点検出演算は撮像信号処理回路１４０６で行ってもよいし、制御回路の１４０９で行ってもよい。その後、レンズ駆動装置１４０２によりレンズ部を駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズ部を駆動し焦点検出を行う。

そして、合焦が確認された後に撮影動作が開始される。撮影動作が終了すると、固体撮像素子１４０５から出力された画像信号は撮像信号処理回路１４０６で画像処理をされ、制御回路１４０９によりメモリに書き込まれる。撮像信号処理回路１４０６では、並べ替え処理、加算処理やその選択処理が行われる。メモリ１４０８に蓄積されたデータは、制御回路１４０９の制御により記録媒体制御Ｉ／Ｆ部１４１０を通り半導体メモリ等の着脱可能な記録媒体１４１１に記録される。また、図示しない外部Ｉ／Ｆ部を通り直接コンピュータ等に入力して画像の加工を行ってもよい。

Claims (6)

1. 被写体像を光電変換する複数の画素部を有し、該複数の画素部のそれぞれが、１つのマイクロレンズと複数の光電変換部とを備える撮像素子と、
   前記撮像素子からの出力に基づいて、撮影光学系の互いに異なる領域を通過した光に対応する第１の画像信号と第２の画像信号とを取得し、さらに、前記撮像素子内の焦点検出演算範囲に対応する領域から焦点検出領域までシフトさせて、前記焦点検出領域内の前記第１の画像信号と前記第２の画像信号の相関波形を求める制御手段とを備え、
   前記制御手段は、前記焦点検出演算範囲を、ｍ個（ｍは２以上の整数）の領域に分割し、該ｍ個の領域のそれぞれについて、前記焦点検出領域内での第１の画像信号と前記第２の画像信号の相関波形を求め、
   前記ｍ個の領域のうち、主被写体の存在する領域から得られた前記相関波形から、被写体の像ずれ量を算出し、該像ずれ量に基づいて得られたピントずれ量でレンズを駆動制御する第１の場合と、前記ｍ個の領域のうち中央の領域を含む複数の領域から算出された相関波形の加算を行って加算された相関波形を生成し、該加算された相関波形から被写体の像ずれ量を算出し、該像ずれ量に基づいて得られたピントずれ量でレンズを駆動制御する第２の場合と、を有することを特徴とする撮像装置。
2. 前記ｍ個の領域のシフト量はすべて同じであることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記ｍ個の領域のうち、主被写体の存在する領域から得られた前記相関波形から、被写体の像ずれ量を算出し、該像ずれ量が閾値より小さい場合には、該像ずれ量に基づいてピントずれ量を求め、前記像ずれ量が閾値以上である場合には、前記加算された相関波形から被写体の像ずれ量を算出し、該像ずれ量に基づいてピントずれ量を求めることを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記閾値を前記撮影光学系のＦ値に応じて変更することを特徴とする請求項３に記載の撮像装置。
5. 前記画素部は、前記撮影光学系により結像された被写体像を光電変換することを特徴とする請求項１に記載の撮像装置。
6. １つのマイクロレンズと複数の光電変換部により、前記撮影光学系の射出瞳を分割することを特徴とする請求項１に記載の撮像装置。

Images