JP6631002B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

マイクロレンズの背後に配置された一対の光電変換部により光電変換された一対の像信号間の像ズレ量（位相差）を検出することにより、撮影レンズの焦点調節状態（デフォーカス量）を検出する、いわゆる瞳分割型位相差検出方式の焦点検出装置が知られている。そして、このような一対の像信号間の像ズレ量の検出を所定のフレーム時間間隔で行ないながら、フレーム毎の焦点検出画素の信号を過去の複数フレームに亘って記憶しておき、記憶した過去複数フレームに亘る焦点検出画素の信号を加算して時間積算することにより、時間積算によりレベルが高まった信号を用いて焦点検出を行なう技術も知られている（特許文献１参照）。

特開２００８−８５７３８号公報

しかしながら、従来技術では、過去の複数フレームに亘るフレーム毎の焦点検出画素の信号を記憶するため、大きなメモリ容量を必要とするという問題があった。

本発明の一態様による撮像装置は、被写体像を形成し、絞りを有する光学系の瞳の第１の領域を通過した光を検出し第１信号を出力する第１画素と、前記光学系の瞳の前記第１の領域とは異なる第２の領域を通過した光を検出し第２信号を出力する第２画素とを、所定方向に沿って配列した焦点検出ラインを有し、所定の時間間隔で撮像し前記第１信号及び第２信号を出力するイメージセンサと、複数の前記第１信号からなる信号列と複数の前記第２信号からなる信号列との関係を示す相関情報を演算する演算部と、前記光学系の絞り値に変化がないと、異なる時刻で出力された信号に基づく前記相関情報を、前記相関情報の時間積算値から算出される前記第１信号及び前記第２信号の関係を示す値が所定の値以上になるまで積算して前記相関情報の時間積算値を算出する時間積算部と、前記時間積算部で算出された前記時間積算値に基づいて前記光学系の焦点調節状態を検出する焦点検出部と、を備える。

本発明によれば、メモリ容量を抑えて適切に焦点検出を行なうことができる。

第一の実施形態による焦点検出装置を含むデジタルカメラの構成を例示する図である。 ボディ制御部の要部を説明するブロック図である。 撮影画面上における焦点検出位置の一例を示す図である。 撮像画素および焦点検出画素のレイアウトを示す図である。 色フィルタの配列を示す図である。 マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を説明する図である。 撮像画素が受光する撮影光束の様子を説明する図である。 図８(a)〜図８(c)は、シフト量ｋと相関量Ｃ(ｋ)との関係を例示する図である。 デジタルカメラの焦点検出動作を含む撮像動作を示すフローチャートである。 第二の実施形態によるデジタルカメラの焦点検出動作を含む撮像動作を示すフローチャートである。

以下、図面を参照して説明する。
（第一の実施形態）
図１は、第一の実施形態による焦点検出装置を含むデジタルカメラ２０１の構成を例示する図である。デジタルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とで構成される。交換レンズ２０２は、マウント部２０４を介してカメラボディ２０３に装着される。
なお、レンズ交換式カメラを例に説明するが、レンズ一体型カメラであってもよい。

＜交換レンズ＞
交換レンズ２０２は、例えばズームレンズ２０８、フォーカシングレンズ２１０、防振レンズ２０９、絞り２１１、レンズ制御部２０６、およびレンズ操作部２１５を含む。

レンズ制御部２０６は、不図示のレンズＣＰＵ、メモリ、駆動制御回路などから構成される。レンズ制御部２０６は、焦点距離を変更するためのズームレンズ２０８の駆動制御、焦点調節のためのフォーカシングレンズ２１０の駆動制御、像ぶれ抑制のための防振レンズ２０９の駆動制御、絞り２１１の開口径調節のための駆動制御を行なうとともに、ズームレンズ２０８、フォーカシングレンズ２１０、防振レンズ２０９および絞り２１１の状態検出などを行なう。この他、レンズ制御部２０６は後述するボディ制御部２１４との間で通信を行い、レンズ情報やカメラ情報などを送受信する。

レンズ操作部２１５はズーム環などを含み、操作量に応じた操作信号をレンズ制御部２０６へ送出する。

＜カメラボディ＞
カメラボディ２０３は、撮像素子（イメージセンサ）２１２、ボディ制御部２１４、およびボディ操作部２１６などを有している。撮像素子２１２は、被写体像を撮像して光電変換信号を出力する。撮像素子２１２には、複数の撮像画素３１０（図４）が二次元状に配置されるとともに、焦点検出位置に対応する位置に複数の焦点検出画素３１１（図４）が組み込まれている。本説明では、撮像画素３１０による光電変換信号を画像信号と呼び、焦点検出画素３１１による光電変換信号を焦点検出信号と呼ぶ。撮像素子２１２の詳細については後述する。ボディ操作部２１６は、シャッターボタンやメニュースイッチなどを含み、各操作内容に応じた操作信号をボディ制御部２１４へ送出する。

図２は、ボディ制御部２１４の要部を説明するブロック図である。ボディ制御部２１４は、ボディＣＰＵ２２２、内部メモリ２２３、撮像素子制御部２２０、および焦点検出演算回路２２１を含む。撮像素子制御部２２０は、撮像素子２１２およびＡ／Ｄ変換部２１７を駆動して、撮像素子２１２による撮像制御と、撮像素子２１２からの画像信号および焦点検出信号の読み出し制御とを行う。Ａ／Ｄ変換部２１７は、撮像素子２１２から読み出された光電変換信号をデジタル信号に変換する。焦点検出演算回路２２１は、焦点検出信号に基づく焦点検出用の一対の像信号を用いて、像ズレ検出演算（焦点調節状態を検出する焦点検出処理）を行う。

ボディＣＰＵ２２２は、レリーズ操作前は、焦点検出演算回路２２１による像ズレ検出演算と、像ズレ検出演算結果に基づく交換レンズ２０２のフォーカシングレンズ２１０の駆動（すわなち自動焦点調節：ＡＦ）とを繰り返し行わせるとともに、画像信号に基づくライブビュー画像を液晶表示器２１８に表示させる。ライブビュー画像は、撮像素子２１２によって所定のフレームレート（例えば３０フレーム／秒）で取得されるモニター用画像のことをいう。ボディＣＰＵ２２２は、レリーズ操作されると撮像素子２１２に撮影画像を取得させ、撮影画像に対する信号処理や記録処理などのカメラ動作を制御する。

また、ボディＣＰＵ２２２は、ボディ−レンズ通信部２１３（図１）を介してレンズ制御部２０６（図１）と通信を行う。液晶表示器２１８は、例えばカメラボディ２０３の背面に設けられた画像表示部材であり、上記ライブビュー画像やメニュー操作画面などを表示する。

内部メモリ２２３は、焦点検出演算回路２２１による像ズレ検出演算で用いられる相関データなどを記憶する。焦点検出演算回路２２１は、像ズレ検出演算において内部メモリ２２３に記憶された過去フレームの相関データを参照する。相関データは、過去の複数フレーム分が記憶可能である。相関データの詳細については後述する。

＜カメラ動作の概要＞
交換レンズ２０２を通過した光束は、撮像素子２１２の受光面上に被写体像を形成する。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号とがボディ制御部２１４へ送られる。

焦点検出演算回路２２１は、撮像素子２１２の焦点検出画素３１１（図４）からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ制御部２０６へ送る。ボディＣＰＵ２２２は、撮像素子２１２の撮像画素３１０（図４）からの画像信号と、各焦点検出画素３１１に配置された一対の光電変換部１３、１４からの焦点検出信号をそれぞれ加算処理した信号と、に所定の処理を施して記録用の画像データを生成する。また、ボディＣＰＵ２２２は、上述したライブビュー画像を液晶表示器２１８に表示させる。さらに、ボディＣＰＵ２２２は、レンズ制御部２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。

交換レンズ２０２において、レンズ制御部２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズームレンズ２０８と、フォーカシングレンズ２１０の位置と、絞り２１１の絞り値と、を検出し、これらのレンズ位置と絞り値とに応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値とに応じたレンズ情報を選択したりする。

レンズ制御部２０６は、カメラボディ２０３から受信したデフォーカス量に基づいて合焦に必要なレンズ駆動量およびレンズ駆動方向を算出し、算出結果に応じてフォーカシングレンズ２１０を駆動する。また、レンズ制御部２０６は、カメラボディ２０３から受信した絞り値に応じた開口状態へ絞り２１１を駆動する。

焦点検出演算回路２２１による最新フレームの焦点検出信号に対する像ズレ検出演算が終了すると、算出された相関データが内部メモリ２２３に記憶される。内部メモリ２２３は例えばＦＩＬＯ（first in last out）のスタック構造になっており、内部メモリ２２３において直近の過去の所定複数フレーム分の相関データが順次更新記録される。

＜ＡＦエリア＞
図３は、撮影画面上における焦点検出位置の一例を示す図である。焦点検出位置は、焦点検出演算回路２２１が像ズレ検出演算に用いる一対の像をサンプリングする領域（ＡＦエリア）の位置である。図３において、矩形の撮影画面１００上の略中央にＡＦエリア１０１が配置される。撮像素子２１２の撮像面には、ＡＦエリア１０１に対応する位置に焦点検出画素３１１（図４）が配列される。

図４、図５は撮像素子２１２の構成を例示する正面図であり、撮像素子２１２上のＡＦエリア１０１内を拡大して示したものである。図４は撮像画素３１０および焦点検出画素３１１のレイアウトを示す。図４において、撮像素子２１２上で、撮像画素３１０および焦点検出画素３１１が混在して二次元正方格子状に稠密に配列される。水平方向に伸びる複数の画素ラインに焦点検出画素３１１が１画素おきに配置されることによって、焦点検出画素ラインＬ１〜Ｌ８が形成される。

図５は図４に示す撮像画素３１０および焦点検出画素３１１に配置される色フィルタの配列を示す。撮像画素３１０および焦点検出画素３１１には、ベイヤー配列の規則に従って色フィルタ、赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢが配置されている。赤色フィルタＲ、緑色フィルタＧ、および青色フィルタＢは、それぞれ異なる波長において高い分光感度を示す。焦点検出画素３１１は、例えば青色フィルタＢが配置される行において緑色フィルタＧの位置に対応する。

図４において、撮像画素３１０は、矩形のマイクロレンズ１０と、不図示の遮光マスクで受光領域を制限された光電変換部１１とを有する。焦点検出画素３１１は、矩形のマイクロレンズ１０と、撮像画素３１０の光電変換部１１を垂直方向に延在する素子分離領域１５により２分割して得られる一対の光電変換部１３および１４と、から構成される。なお、簡潔に表すため、図４において色フィルタの色表示を省略している。

撮像画素３１０は、マイクロレンズ１０により、最も明るい交換レンズ２０２の射出瞳径（例えばＦ１．０）を通過する撮影光束を光電変換部１１がすべて受光するような形状に設計される。また、焦点検出画素３１１は、マイクロレンズ１０により、交換レンズ２０２の射出瞳のうちの、一対の光電変換部１３および１４の並び方向と平行に並ぶ一対の領域を通過する一対の焦点検出光束を、光電変換部１３、１４がそれぞれ受光するような形状に設計される。

図６は、マイクロレンズ１０を用いた瞳分割型位相差検出方式の焦点検出光学系の構成を説明する図である。ＡＦエリア１０１のうちの水平方向の焦点検出画素ラインＬ１（図４）に配置された撮影光軸９１の近傍の隣接する３つの焦点検出画素３１１、および２つの撮像画素３１０を模式的に拡大して示す。図６において、射出瞳９０は、交換レンズ２０２（図１）の予定結像面に配置されたマイクロレンズ１０から前方に距離ｄの位置に設定されている。この距離ｄは、マイクロレンズ１０の曲率および屈折率、マイクロレンズ１０と光電変換部１３、１４との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。図６には他に、交換レンズの光軸９１、マイクロレンズ１０、光電変換部１３、１４、焦点検出画素３１１、撮像画素３１０、焦点検出光束７３、７４が示されている。

測距瞳９３は、遮光マスクの開口部により受光領域が制限された光電変換部１３がマイクロレンズ１０により投影されることによって形成される。同様に、測距瞳９４は、遮光マスクの開口部により受光領域が制限された光電変換部１４がマイクロレンズ１０により投影されることによって形成される。一対の測距瞳９３、９４は光軸９１を通る垂直線に対して線対称な形状となっている。一対の測距瞳９３、９４は上述した一対の領域に対応する。マイクロレンズ１０により、一対の光電変換部１３および１４と上述した一対の領域、すなわち一対の測距瞳９３および９４とが互いに共役関係となる。

ＡＦエリア１０１の水平方向の焦点検出画素ラインＬ１〜Ｌ８に配置された全ての焦点検出画素３１１において、一対の光電変換部１３、１４は焦点検出画素ラインを構成する焦点検出画素と同一の水平方向に並んでいる。一対の光電変換部１３、１４は、それぞれに対応して一対の光電変換部１３、１４の並び方向と同一の方向に並ぶ一対の測距瞳９３、９４から各マイクロレンズに到来する一対の焦点検出光束７３および７４を受光する。各焦点検出画素ラインを構成する複数の焦点検出画素３１１の各々に含まれる一対の光電変換部１３および１４が、一対の焦点検出光束７３および７４を受光すると、光電変換により、一対の焦点検出光束７３および７４による一対の像に対応する一対の光電変換信号（像信号）を、所定フレーム間隔毎に繰り返し出力する。

以上のような構成により、光電変換部１３は、測距瞳９３を通過して焦点検出画素３１１のマイクロレンズ１０に向かう焦点検出光束７３によりマイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、光電変換部１４は、測距瞳９４を通過して焦点検出画素３１１のマイクロレンズ１０に向う焦点検出光束７４によりマイクロレンズ１０上に形成される像の強度に対応した信号を出力する。

水平方向の焦点検出画素ラインＬ１に配列された焦点検出画素３１１において、各焦点検出画素３１１の光電変換部１３、１４の出力を測距瞳９３および測距瞳９４のそれぞれに対応した出力グループにまとめる。このことによって、測距瞳９３および測距瞳９４をそれぞれ通過する焦点検出用光束７３、７４が水平方向の焦点検出画素ラインＬ１に含まれる複数の焦点検出画素３１１の配列上に形成する一対の像の強度分布に関する情報が得られる。

上記焦点検出演算回路２２１は、この情報に対して像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で水平方向の焦点検出画素ラインＬ１における水平方向の一対の像の像ズレ量を検出する。

同様に、焦点検出演算回路２２１は、水平方向の焦点検出画素ラインＬ２〜Ｌ８にそれぞれ配列された焦点検出画素３１１の光電変換部１３、１４の出力を用いて、各焦点検出画素ラインにおける水平方向の一対の像の像ズレ量を検出する。

焦点検出演算回路２２１はさらに、検出した像ズレ量に対して、一対の測距瞳９３、９４の重心間隔と測距瞳距離との比例関係に応じた変換演算を行うことによって、予定結像面に対する現在の結像面の偏差（デフォーカス量）を算出する。具体的には、光軸９１に垂直な面内における像ズレ量に対し所定の変換係数を乗ずることによりデフォーカス量、すなわち光軸９１の方向における結像面と予定結像面との偏差を算出する。所定の変換係数は、測距瞳距離ｄを測距瞳９３、９４の重心間隔で除した値として得られる。

図７は、図４の撮像素子２１２の撮像画素３１０が受光する撮影光束の様子を、図６と比較して説明する図である。水平方向の焦点検出画素ラインＬ１（図４）に隣接する水平方向の撮像画素ラインに配置された撮影光軸９１近傍の隣接する５つの撮像画素３１０を模式的に拡大して示す。なお、図６と重複する部分は同一符号を付して説明を省略する。

図７において、撮像画素３１０は、マイクロレンズ１０とその背後に配置された光電変換部１１等から構成される。光電変換部１１に近接して配置された遮光マスクの開口部の形状が、マイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上に投影される。その投影形状は、測距瞳９３、９４に略外接する領域９５を形成する。光電変換部１１は、領域９５を通過してマイクロレンズ１０へ向かう撮影光束７１によってマイクロレンズ１０上に形成される像の強度に対応した信号を出力する。すなわち、複数の撮像画素３１０が、交換レンズ２０２を通過する被写体からの撮影光束７１を受光すると、光電変換により、被写体像に対応する光電変換信号（被写体像信号）を所定フレーム間隔毎に繰り返し出力する。

＜相関データ＞
焦点検出演算回路２２１が行う像ズレ検出演算処理（相関演算処理、位相差検出処理）の詳細について説明する。焦点検出画素３１１の配列上に形成される一対の像は、測距瞳９３、９４が交換レンズ２０２の絞り開口でけられて光量バランスが崩れている可能性がある。このため、焦点検出演算回路２２１は、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出用の一対の像信号Ａ１_ｎ（Ａ１_１，…，Ａ１_Ｍ）、Ａ２_ｎ（Ａ２_１，…，Ａ２_Ｍ）に対し、例えば特開２００７−３３３７２０号公報に開示された公知の相関演算式である次式（１）を用いて相関量Ｃ(ｋ)を演算する。Ｍは信号数である。
Ｃ(ｋ)＝Σ｜Ａ１_ｎ・Ａ２_{ｎ＋１＋ｋ}−Ａ２_ｎ＋ｋ・Ａ１_ｎ＋１｜ …（１）

式（１）において、Σ演算は変数ｎについて累積される。変数ｎは、像ずらし量ｋに応じてＡ１_ｎ、Ａ１_ｎ＋１、Ａ２_ｎ＋ｋ、Ａ２_{ｎ＋１＋ｋ}のデータが存在する範囲に限定される。像ずらし量ｋは整数であり、一対の像信号を構成する信号列のデータ間隔を単位とした相対的シフト量である。

図８(a)〜図８(c)は、シフト量ｋ（横軸）と相関量Ｃ(ｋ)との関係を例示する図である。上式（１）の演算結果は、図８(ａ)に示すように、一対の像信号の相関が高いシフト量（図８の例ではｋ＝２）において相関量Ｃ(ｋ)が極小（小さいほど相関度が高い）になる。焦点検出演算回路２２１は、次式（２）〜次式（５）による３点内挿の手法を用いて、極小値Ｃ(Ｘ)を与えるシフト量Ｘを求める。
Ｘ＝ｋ＋Ｄ／ＳＬＯＰ …（２）
Ｃ(Ｘ)＝ Ｃ(ｋ)−｜Ｄ｜ …（３）
Ｄ＝｛Ｃ(ｋ-１)−Ｃ(ｋ+１)｝／２ …（４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋ+１)−Ｃ(ｋ)，Ｃ(ｋ-１)−Ｃ(ｋ)｝ …（５）

焦点検出演算回路２２１は、次式（６）により、連続的な相関量Ｃ(ｋ)の極小値Ｃ（Ｘ）を与えるシフト量Ｘを、像ズレ量ｓｈｆｔに換算する。
ｓｈｆｔ＝ＰＹ・Ｘ …（６）

式（６）において、係数ＰＹは、焦点検出画素ラインＬ１〜Ｌ８を構成する焦点検出画素３１１の画素ピッチ、すなわち撮像素子２１２に配列された画素の画素ピッチの２倍の値となる。

＜相関データの時間積算＞
一般に、一対の像信号の相関度が低い場合、内挿された相関量の極小値Ｃ(Ｘ)が大きくなり、ＳＬＯＰの値が小さくなる。本実施形態では、一対の像信号の相関度が低い場合において異なるフレーム間で相関データを加算する。焦点検出演算回路２２１は、異なるフレームを構成し（取得タイミングが異なる）、かつ同じＡＦエリア１０１（図３）に対応する焦点検出画素ラインにおける一対の像信号に基づく相関量Ｃ(ｋ)を加算する。すなわち、各フレームにおいてＡＦエリア１０１（図３）に対応する焦点検出画素ラインＬ１〜Ｌ８ごとの相関量Ｃ(ｋ)をそれぞれ算出しておき、異なるフレーム間で、対応する焦点検出画素ラインに基づいて算出された相関量Ｃ(ｋ)を積算する。このような積算は、時間的に離れたフレーム間で、対応するＡＦエリア１０１に配置された焦点検出画素ラインに基づく各相関量Ｃ(ｋ)を積算することから、以後時間積算と呼ぶ。

図８(a)は、フレームＦの焦点検出画素ラインＬ１に基づいて算出された相関量Ｃ(ｋ)を例示する図である。また、図８(b)は、１つ前のフレーム(Ｆ−１)の焦点検出画素ラインＬ１に基づいて算出された相関量Ｃ(ｋ)を例示する図である。焦点検出演算回路２２１は、フレームＦに基づいて算出された相関量Ｃ(ｋ)（図８(a)）におけるＳＬＯＰの値が所定値より小さい場合に、図８(a)に示す相関量Ｃ(ｋ)に対し、フレーム(Ｆ−１)に基づいて算出された相関量Ｃ(ｋ)（図８(b)）を積算する。

焦点検出演算回路２２１は、上記積算後の相関量Ｃ(ｋ)（図８(c)）におけるＳＬＯＰの値が所定値を超えた場合は、当該積算後の相関量Ｃ(ｋ)に基づいて上記像ズレ量ｓｈｆｔを算出する。

焦点検出演算回路２２１は、上記積算後の相関量Ｃ(ｋ)（図８(c)）におけるＳＬＯＰの値が所定値を超えない場合は、上記積算後の相関量Ｃ(ｋ)に対し、さらに１つ前のフレーム(Ｆ−２)に基づいて算出された相関量Ｃ(ｋ)を積算する。

以降同様に、焦点検出演算回路２２１は、上記積算後の相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値を超えるまで、さらに過去のフレーム(Ｆ−ｎ)に基づいて算出された相関量Ｃ(ｋ)を積算する。時間積算を行うと、時間積算前に比べてＳＬＯＰの値が大きくなる。

焦点検出演算回路２２１は、相関データの時間積算を行うため、過去フレームに基づいて算出した相関量Ｃ(ｋ)を上述した内部メモリ２２３に記憶させておく。例えば、ＡＦエリア１０１（図３）に対応する焦点検出画素ラインＬ１〜Ｌ８ごとの相関量Ｃ(ｋ)をそれぞれ記憶させる。相関データの時間積算に用いるフレーム数ｎの最大値を、例えば８フレームとすると、８ライン×直近の８フレーム分の相関量Ｃ(ｋ)が、内部メモリ２２３に順次更新記録される。内部メモリ２２３には、上記相関データを記憶するために必要な記憶容量を、あらかじめ確保しておく。なお、上記ＡＦエリア１０１以外の他のＡＦエリアを設けて、これらの複数のＡＦエリアに関して時間積算処理を並行して行う場合には、並行して時間積算処理するＡＦエリアの数に応じた内部メモリ２２３の記憶容量を確保しておく。

＜フローチャートの説明＞
図９は、デジタルカメラ（撮像装置）２０１の焦点検出動作を含む撮像動作を示すフローチャートである。ボディ制御部２１４（ボディＣＰＵ２２２）は、デジタルカメラ２０１のボディ操作部２１６を構成する電源スイッチが電源オン操作されると、図９による処理を起動させる。図９のステップＳ１０において、ボディ制御部２１４（撮像素子制御部２２０）は、撮像素子２１２の周期動作を開始させてステップＳ２０へ進む。これにより、撮像素子２１２が所定のフレームレートでモニター用画像の取得を開始する。

ステップＳ２０において、ボディ制御部２１４（撮像素子制御部２２０）は、撮像素子２１２から最新フレームの画像信号および焦点検出信号を読み出してステップＳ３０へ進む。ステップＳ３０において、ボディ制御部２１４（焦点検出演算回路２２１）は、焦点検出信号（一対の像信号）に基づいて、焦点検出画素ラインごとに上述した相関演算を行ってステップＳ５０へ進む。

ステップＳ５０において、ボディ制御部２１４（焦点検出演算回路２２１）は時間積算が必要か否かを判定する。焦点検出演算回路２２１は、例えば、相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値より小さい場合に、ステップＳ５０を肯定判定してステップＳ５２へ進む。焦点検出演算回路２２１は、相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値を超えている場合には、ステップＳ５０を否定判定してステップＳ６０へ進む。

ステップＳ５２において、ボディ制御部２１４（焦点検出演算回路２２１）は時間積算が可能か否かを判定する。焦点検出演算回路２２１は、例えば、静止した被写体を撮像しており、かつ交換レンズ２０２の状態が変化していない（絞り値、フォーカシングレンズ２１０の位置、ズームレンズ２０８の位置が同じ）場合に、ステップＳ５２を肯定判定してステップＳ５４へ進む。焦点検出演算回路２２１は、静止した被写体を撮像していない、または交換レンズ２０２の状態が変化している場合には、ステップＳ５２を否定判定してステップＳ２０へ戻る。静止した被写体か否かは、例えば、前後のフレーム間において被写体の動きがあるか否かで判断する。

ステップＳ５４において、ボディ制御部２１４（焦点検出演算回路２２１）は、相関データの時間積算を行ってステップＳ５６へ進む。ステップＳ５６において、ボディ制御部２１４（焦点検出演算回路２２１）は、相関データの時間積算の結果、一対の像信号の相関度が所定の条件を満たしたか否かを判定する。焦点検出演算回路２２１は、相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値を超えた場合にＯＫを判定し、ステップＳ６０へ進む。焦点検出演算回路２２１は、相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値を超えていない場合にはステップＳ５６を否定判定し、ステップＳ５４へ戻る。ステップＳ５４へ戻る場合は、積算後の相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値を超えるように、前フレームにおいて算出された相関量Ｃ(ｋ)を積算する。
なお、時間積算する場合のフレーム数の上限は、例えば８フレームに制限するなど、適宜設定して構わない。

ステップＳ６０において、ボディ制御部２１４（焦点検出演算回路２２１）は、デフォーカス量を算出してステップＳ７０へ進む。デフォーカス量は、ボディＣＰＵ２２２からレンズ制御部２０６へ送信される。これにより、レンズ制御部２０６がフォーカシングレンズ２１０をデフォーカス量に応じて駆動する。

ステップＳ７０において、ボディ制御部２１４（ボディＣＰＵ２２２）は合焦しているか否かを判定する。ボディ制御部２１４は、デフォーカス量が所定値以下の場合にステップＳ７０を肯定判定してステップＳ８０へ進み、デフォーカス量が所定値を超えている場合には、ステップＳ７０を否定判定してステップＳ２０へ戻る。ステップＳ２０へ戻る場合は、上述した処理を繰り返す。

ステップＳ８０において、ボディ制御部２１４（ボディＣＰＵ２２２）は、レリーズ操作されたか否かを判定する。ボディＣＰＵ２２２は、ボディ操作部２１６を構成するシャッターボタン（不図示）の操作を検出するとステップＳ８０を肯定判定してステップＳ９０へ進む。ボディＣＰＵ２２２は、ボディ操作部２１６を構成するシャッターボタン（不図示）の操作を検出しない場合は、ステップＳ８０を否定判定してステップＳ２０へ戻る。ステップＳ２０へ戻る場合は、上述した処理を繰り返す。

ステップＳ９０において、ボディ制御部２１４（ボディＣＰＵ２２２）は撮影画像を取得させる。すなわち、ボディＣＰＵ２２２はレンズ制御部２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御絞り値（撮影者により設定されたＦ値または自動露出演算により決定したＦ値）にする。交換レンズ２０２の絞り駆動が終了した時点で、ボディ制御部２１４（撮像素子制御部２２０）は、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１１から画素データを読み出す。

ボディ制御部２１４（ボディＣＰＵ２２２）は、各焦点検出画素３１１に配置された一対の光電変換部１３、１４の読み出し信号を加算し、撮像画素３１０からの読み出し信号とともに画像データとする。ボディ制御部２１４（ボディＣＰＵ２２２）は、画像データに所定の画像処理を行って記録用の画像データを生成し、不図示の記録媒体に記録するとステップＳ１００へ進む。

ステップＳ１００において、ボディ制御部２１４（ボディＣＰＵ２２２）は、終了操作が行われたか否かを判定する。ボディ制御部２１４は、例えばボディ操作部２１６が電源オフ操作された場合にステップＳ１００を肯定判定して図９による処理を終了する。ボディ制御部２１４は、ボディ操作部２１６が電源オフ操作されない場合には、ステップＳ１００を否定判定してステップＳ１０へ戻る。

上述した第一の実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ２０１は、水平方向に配列された複数の焦点検出画素３１１からなる焦点検出画素ラインＬ１（〜Ｌ８）を有し、焦点検出画素ラインＬ１（〜Ｌ８）が光電変換により一対の焦点検出光束による一対の像に対応する一対の像信号を所定のフレーム間隔で出力する撮像素子２１２と、一対の像信号の相関データをフレームごとに演算する焦点検出演算回路２２１と、焦点検出演算回路２２１で演算された相関データをフレーム間で積算して相関データの時間積算値を算出する焦点検出演算回路２２１と、焦点検出演算回路２２１で算出された相関データの時間積算値に基づいて、交換レンズ２０２の焦点調節状態を検出する焦点検出演算回路２２１と、を備える。これにより、焦点検出画素ラインから出力された信号列をフレーム間で積算する場合に比べて、メモリ容量を抑え、適切に焦点検出を行なうことができる。相関データは、一対の像信号の像ズレ量を示す相関度のデータである（図８）。

（２）一対の像信号の状態（例えば相関量Ｃ(ｋ)におけるＳＬＯＰの値）に基づいて、焦点検出演算回路２２１により相関データの時間積算値を算出するか否かを決定する焦点検出演算回路２２１を備えるようにしたので、常に相関データの時間積算値を算出する場合に比べて、処理の負担を軽減できる。

（３）一対の像が静止した被写体に対応するか否かに基づいて、焦点検出演算回路２２１により相関データの時間積算値を算出するか否かを決定する焦点検出演算回路２２１を備えるようにしたので、相関データをフレーム間で積算することが適さない移動被写体の場合には、無駄な時間積算を避けられる。

（４）交換レンズ２０２の状態が変化しているか否かに基づいて、焦点検出演算回路２２１により相関データの時間積算値を算出するか否かを決定する焦点検出演算回路２２１を備えるようにしたので、相関データをフレーム間で積算することが適さない場合において無駄な時間積算を避けられる。

（５）焦点検出画素３１１はそれぞれ、一対の焦点検出光束を受光する一対の光電変換部１３、１４を有するので、画素内に光電変換部１３、１４のうち一方のみが配される場合に比べて上記像信号が高精細で得られるから、焦点調節状態の検出精度も高まる。

（第二の実施形態）
第二の実施形態では、一対の像信号の相関度が低い場合に、近接する焦点検出画素ライン間で相関データを加算する手法を組み合わせる。
＜相関データの空間積算＞
焦点検出演算回路２２１は、同一フレームを構成し（取得タイミングが略同じ）、かつ同じＡＦエリア１０１（図３）に対応する他の焦点検出画素ラインにおける一対の像信号に基づいて算出された相関量Ｃ(ｋ)を加算する。すなわち、同一フレームの水平方向の焦点検出画素ラインＬ１〜Ｌ８でそれぞれ算出された相関量Ｃ(ｋ)を積算する。このような積算は、同一フレームにおいて空間的に異なる位置に配置された焦点検出画素ライン（例えばＬ１〜Ｌ８）に基づく各相関量Ｃ(ｋ)を積算するものであるので、以後空間積算と呼ぶ。

図８(a)を、あるフレームにおいて焦点検出画素ラインＬ１に基づいて算出された相関量Ｃ(ｋ)とみなす。また、図８(b)を、あるフレームにおいて焦点検出画素ラインＬ２に基づいて算出された相関量Ｃ(ｋ)とみなす。焦点検出演算回路２２１は、焦点検出画素ラインＬ１に基づいて算出された相関量Ｃ(ｋ)（図８(a)）におけるＳＬＯＰの値が所定値より小さい場合に、図８(a)に示す相関量Ｃ(ｋ)に対し、焦点検出画素ラインＬ２に基づいて算出された相関量Ｃ(ｋ)（図８(b)）を積算する。

焦点検出演算回路２２１は、上記積算後の相関量Ｃ(ｋ)（図８(c)）におけるＳＬＯＰの値が所定値を超えた場合は、当該積算後の相関量Ｃ(ｋ)に基づいて上記像ズレ量ｓｈｆｔを算出する。

焦点検出演算回路２２１は、上記積算後の相関量Ｃ(ｋ)（図８(c)）におけるＳＬＯＰの値が所定値を超えない場合は、上記積算後の相関量Ｃ(ｋ)に対し、積算に用いた焦点検出画素ラインＬ２に近接する焦点検出画素ラインＬ３に基づく相関量Ｃ(ｋ)をさらに積算する。

以降同様に、焦点検出演算回路２２１は、上記積算後の相関量Ｃ(ｋ)（図８(c)）におけるＳＬＯＰの値が所定値を超えるまで、異なる位置に配置された焦点検出画素ラインに基づく各相関量Ｃ(ｋ)を積算する。空間積算を行うと、空間積算前に比べてＳＬＯＰの値が大きくなる。

空間積算を行った焦点検出演算回路２２１は、当該積算後の相関量Ｃ(ｋ)に基づいて上記像ズレ量ｓｈｆｔを算出する。

＜フローチャートの説明＞
図１０は、第二の実施の形態におけるデジタルカメラ（撮像装置）２０１の焦点検出動作を含む撮像動作を示すフローチャートである。第一の実施形態の図９と比べて、ステップＳ３０とステップＳ５０との間で空間積算を行う点が異なるので、この相違点を中心に説明する。

相関演算（ステップＳ３０）後に進むステップＳ５０において、ボディ制御部２１４（焦点検出演算回路２２１）は空間積算が必要か否かを判定する。焦点検出演算回路２２１は、相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値より小さい場合に、ステップＳ４０を肯定判定してステップＳ４２へ進む。焦点検出演算回路２２１は、相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値を超えている場合には、ステップＳ４０を否定判定してステップＳ５０へ進む。

ステップＳ４２において、ボディ制御部２１４（焦点検出演算回路２２１）は空間積算が可能か否かを判定する。焦点検出演算回路２２１は、同一フレームの同じＡＦエリア１０１（図３）における複数の焦点検出画素ライン（例えばＬ１〜Ｌ８）で、同じ被写体を撮像している場合に、ステップＳ４２を肯定判定してステップＳ４４へ進む。焦点検出演算回路２２１は、同じ被写体を撮像していない場合には、ステップＳ４２を否定判定してステップＳ２０へ戻る。同じ被写体か否かは、例えば、被写体色（ＲＧＢの色成分比）が同じか否かに基づいて、または画像構造の方向が同じか否かに基づいて判断する。

ステップＳ４４において、ボディ制御部２１４（焦点検出演算回路２２１）は、相関データの空間積算を行ってステップＳ４６へ進む。ステップＳ４６において、ボディ制御部２１４（焦点検出演算回路２２１）は、相関データの空間積算の結果、一対の像信号の相関度が所定の条件を満たしたか否かを判定する。焦点検出演算回路２２１は、相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値を超えた場合にＯＫを判定し、ステップＳ５０へ進む。焦点検出演算回路２２１は、相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値を超えていない場合にはステップＳ４６を否定判定し、ステップＳ４４へ戻る。ステップＳ４４へ戻る場合は、積算後の相関量Ｃ(ｋ)におけるＳＬＯＰの値が所定値を超えるように、他の焦点検出画素ラインに基づいて算出された相関量Ｃ(ｋ)を積算する。
なお、空間積算する場合のライン数の上限は、上述したＬ１〜Ｌ８の８ラインに限らず、ＡＦエリア１０１を構成する焦点検出画素ライン数に応じて適宜設定して構わない。

以上説明した第二の実施形態によれば、第一の実施形態の作用効果に加えて、以下の作用効果が得られる。すなわち、撮像素子２１２は、焦点検出画素ラインを複数ライン有し、複数ラインの焦点検出画素ラインＬ１〜Ｌ８がそれぞれ一対の像信号をフレーム間隔で出力し、焦点検出演算回路２２１は、複数ラインの焦点検出画素ラインＬ１〜Ｌ８に対してそれぞれ相関データを演算し、演算された複数ラインの相関データをそれぞれ積算して空間積算値を算出する焦点検出演算回路２２１を備える。さらに焦点検出演算回路２２１は、算出された空間積算値をフレーム間で積算して相関データの時間積算値を算出し、焦点検出演算回路２２１は、算出された時間積算値に基づいて、交換レンズ２０２の焦点調節状態を検出する。これにより、焦点検出画素ラインから出力された信号列をフレーム間で積算する場合に比べてメモリ容量を抑えつつ、空間積算と合わせて、適切に焦点検出を行なうことができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
上述した説明では、一対の像信号の状態として相関量Ｃ(ｋ)におけるＳＬＯＰ（式（５））の値に着目し、ＳＬＯＰの値が所定値より小さい場合には、ＳＬＯＰの値が所定値を超えるように相関データの空間積算または時間積算を行う例を説明した。一対の像信号の状態は、ＳＬＯＰの代わりにΔＣに基づいて判断してもよい。ΔＣは、図８(a)〜図８(c)に示すように、相関量Ｃ(ｋ)における定常値と極小値Ｃ(Ｘ)との差である。変形例１において、ボディ制御部２１４（焦点検出演算回路２２１）は、相関量Ｃ(ｋ)におけるΔＣの値が所定値より小さい場合には、ΔＣの値が所定値を超えるように、相関データの空間積算または時間積算を行う。

（変形例２）
一対の像信号の状態を、その信号レベル（すなわち焦点検出信号のレベル）に着目して判断してもよい。変形例２において、ボディ制御部２１４（焦点検出演算回路２２１）は、焦点検出信号のレベル（平均値または最大値）と目標レベルとの差に基づいて相関データの空間積算または時間積算を行うか否かの判断をする。つまり、ボディ制御部２１４（焦点検出演算回路２２１）は、焦点検出信号のレベル（平均値または最大値）と目標レベルとの差が所定値より大きい場合には、上記差が所定値以内に収まるように相関データの空間積算または時間積算を行う。

（変形例３）
上述した説明では、図４に例示するように、焦点検出画素３１１においてそれぞれ一対の光電変換部１３、１４が設けられる、いわゆる２ＰＤ構造の例を説明した。焦点検出画素の構成は、特許文献１に開示されているように、１つの焦点検出画素に一対の光電変換部のうちの一方が設けられる１ＰＤ構造にしてもよい。

一般に、２ＰＤ構造の方が１ＰＤ構造に比べて集積度を高められる。集積度を高くすると、第二の実施形態において同じ被写体を撮像しているか否かを判定するステップＳ４２において、画像構造の方向を判定する際の判定精度が高まる。つまり、画素内に２つの光電変換部１３、１４を有することで、画素内の１つの光電変換部のみで受光する場合に比べて画像構造の方向を精細に判定できる。焦点検出演算回路２２１は、画像構造の方向が同じ（すなわち同じ被写体を撮像している）場合において空間積算を行い、異なる場合においては空間積算をしない。

（変形例４）
撮像素子２１２の例として、ＡＦエリア１０１に対応する位置にのみ焦点検出用画素３１１が配置される例を説明したが、撮像面の全域に焦点検出用画素３１１が配置されるように構成してもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１３、１４…光電変換部
１０１…ＡＦエリア
２０１…デジタルカメラ
２０２…交換レンズ
２０３…カメラボディ
２１２…撮像素子
２１４…ボディ制御部
２２０…撮像素子制御部
２２１…焦点検出演算回路
２２２…ボディＣＰＵ
２２３…内部メモリ
３１０…撮像画素
３１１…焦点検出画素
Ｌ１〜Ｌ８…焦点検出画素ライン

Claims (5)

1. 被写体像を形成し、絞りを有する光学系の瞳の第１の領域を通過した光を検出し第１信号を出力する第１画素と、前記光学系の瞳の前記第１の領域とは異なる第２の領域を通過した光を検出し第２信号を出力する第２画素とを、所定方向に沿って配列した焦点検出ラインを有し、所定の時間間隔で撮像し前記第１信号及び第２信号を出力するイメージセンサと、
   複数の前記第１信号からなる信号列と複数の前記第２信号からなる信号列との関係を示す相関情報を演算する演算部と、
   前記光学系の絞り値に変化がないと、異なる時刻で出力された信号に基づく前記相関情報を、前記相関情報の時間積算値から算出される前記第１信号及び前記第２信号の関係を示す値が所定の値以上になるまで積算して前記相関情報の時間積算値を算出する時間積算部と、
   前記時間積算部で算出された前記時間積算値に基づいて前記光学系の焦点調節状態を検出する焦点検出部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記相関情報は、複数の前記第１信号からなる信号列と複数の前記第２信号からなる信号列とのズレ量に対する、前記第１信号からなる信号列と複数の前記第２信号からなる信号列との相関度を示す情報である撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記イメージセンサは複数の前記焦点検出ラインを有し、
   前記複数の前記焦点検出ラインの前記相関情報をそれぞれ記憶する記憶部を有する撮像装置。
4. 請求項１または２に記載の撮像装置において、
   前記イメージセンサは複数の前記焦点検出ラインを有し、前記複数の焦点検出ラインはそれぞれ前記第１信号及び前記第２信号を前記所定の時間間隔で出力し、
   前記演算部は、前記複数の焦点検出ラインに対してそれぞれ前記相関情報を演算し、
   前記演算部で演算された前記複数の前記相関情報のうち任意の数の複数の前記相関情報を積算して空間積算値を算出する空間積算部を備え、
   前記時間積算部は、異なる複数の時刻の撮像に基づく複数の前記空間積算値を、前記空間積算値の時間積算値から算出される、前記第１信号及び前記第２信号の関係を示す値が所定の値以上になるまで積算して時間積算値を算出し、
   前記焦点検出部は、前記時間積算部で算出された前記時間積算値に基づいて、前記光学系の焦点調節状態を検出する撮像装置。
5. 請求項１から４のいずれか一項に記載の撮像装置において、
   前記第１画素、および前記第２画素はそれぞれ、一対の焦点検出光束を受光する一対の光電変換部を有する撮像装置。

Images