JP5893412B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、デジタルカメラに代表される撮像装置およびその制御方法に関し、特にオートフォーカス（以下ＡＦ）技術に関するものである。

従来、オートフォーカス技術として、位相差検出方式とコントラスト検出方式とが広く用いられており、前者はデジタル一眼レフカメラに、後者はコンパクトデジタルカメラに用いられることが多い。そして、コントラスト検出方式は厳密な合焦が可能である反面、レンズを微小駆動しながら合焦位置を探索するため、焦点ずれ量が直ちに求まる位相差検出方式と比較して、合焦までに時間がかかるという特性があった。

そのため、コントラスト検出方式を高速化するための提案がなされている。特許文献１では、異なる瞳領域を通過した像を取得し、瞳位置に応じて像ずらしを行いながら加算することで、レンズ駆動せずに、異なるレンズ位置（合焦距離）に対応する像を再構成し、再構成画像のコントラスト評価値を用いる方法が開示されている。また、特許文献２では、画素を間引いてコントラスト評価値を計算することにより、評価値の計算を高速化する方法が開示されている。

特開平７−１９９０５２号公報 特開２００８−１９９４７７号公報

しかしながら、上述の特許文献に開示された技術では、依然として焦点検出の速度が十分でない場合があった。
例えば特許文献１記載の技術では、再構成された像に対してコントラスト評価値を求めるため、再構成に必要な画素の取得、並び替え処理に要する時間によって合焦速度が低下する場合がある。また、特許文献２記載の技術では、取得した像から評価値を計算するのは高速化されるが、レンズ駆動により複数の像を取得する必要があるので、画像の取得に要する時間によって合焦速度が低下する場合がある。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明の目的は、コントラスト検出方式のオートフォーカスを高速化することにある。

上述の目的を達成するため、本発明による撮像装置は、複数の画素を有する撮像素子と、複数の画素の各々に入射する光束を、撮影光学系の特定の瞳領域を通過する光束に制限する瞳分割手段と、複数の画素の値を、仮想の撮像面の位置および画素に光束が入射する角度に応じて並び替え、異なる瞳領域を通過した光束が入射する画素の値を加算することにより得られる画素から画像を再構成する像生成手段と、再構成された画像から合焦位置を探索するための評価値を得る取得手段と、を有し、像生成手段により複数の仮想の撮像面の位置に対応した複数の画像を再構成し、複数の再構成された画像から取得手段によって得られる評価値を用いて合焦位置を探索する撮像装置であって第１のサンプリング間隔で合焦位置を探索した後、当該探索に基づき、第１のサンプリング間隔より狭い第２のサンプリング間隔で合焦位置の探索を行い、像生成手段は、第２のサンプリング間隔での合焦位置の探索に用いる画像の画素数よりも、第１のサンプリング間隔での合焦位置の探索に用いる画像の画素数の方が少なくなるように再構成を行うことを特徴とする。

本発明によれば、コントラスト検出方式のオートフォーカスを高速化することができる。

本発明の実施形態に係る撮像装置の動作を説明するフローチャート 本発明の実施形態に係る撮影装置の構成例を示す図 本発明の実施形態に係る撮影装置の光学系の構成例を示す模式図 本発明の実施形態における像の再構成および間引き動作を説明するための模式図 本発明の実施形態における粗調動作と微調動作、およびＡＦ評価値の関係を説明するための模式図 本発明の実施形態における像の再構成および間引き動作を説明するための模式図 本発明の実施形態に適用可能な光学系の他の構成例を示す模式図

以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。
図２は、本発明の実施形態に係る撮影装置の一例としてのレンズ交換式デジタルカメラの機能構成例を示すブロック図である。以下の説明においては、カメラ本体とレンズとをあわせてカメラシステムと呼ぶ。また、カメラ本体を単にカメラと呼ぶ。

カメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系３、撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ８、表示部９を含み、制御系は、カメラ制御部５、操作検出部１０、およびレンズ制御部１２、レンズ駆動部１３を含む。レンズ駆動部１３は、撮影光学系３に含まれるフォーカスレンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する。例えばＣＭＯＳイメージセンサである撮像素子６の表面にはマイクロレンズが格子状に配置されたマイクロレンズアレイ（ＭＬＡ）が設けられている。ＭＬＡは本実施形態において、瞳分割機能を提供する。ＭＬＡの機能や配置の詳細については図３を用いて後述する。

後述するように、撮像素子６の出力からコントラスト評価値や被写体輝度が得られるので、これらの値に基づいて撮影光学系３のフォーカスレンズや絞りを駆動することで、被写体像を撮像素子６に結像させたり、撮像素子６の露光量を適切に制御することができる。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路、コーデック回路等を有しており、記録用の画像を生成することができる。

メモリ８は記憶素子および記憶素子を読み書きするために必要な処理回路を備えている。メモリ８は、図示しない記録部へ出力を行うとともに、表示部９に出力する画像を保存する。また、メモリ８は、予め定められた方法を用いて符号化された画像、動画、音声などを保存する。

カメラ制御部５は例えばＣＰＵ、ＲＯＭ、ＲＡＭなどを有するプログラマブルなプロセッサであり、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、カメラシステム全体の動作を制御する。例えば、不図示のシャッタボタンの押下を操作検出部１０が検出すると、カメラ制御部５は、撮像素子６の駆動、画像処理部７の動作などを制御する。さらにカメラ制御部５は、液晶ディスプレイなどである表示部９への情報表示を制御する。

カメラ制御部５は撮像素子６の出力から画像処理部７が求めた被写体輝度に基づいて、適切な露光量を得るための撮像条件（絞り値、シャッタスピード、撮像感度など）を決定する。また、カメラ制御部５は、撮像素子６の出力から画像処理部７が求めたＡＦ評価値に基づいてフォーカスレンズの駆動方向や駆動量を決定する。カメラ制御部５は、電気接点１１を介してレンズ制御部１２にフォーカスレンズの駆動および絞り値に関する指示を出力する。レンズ制御部１２はこの指示に応じてレンズ駆動部１３を適切に制御する。さらにレンズ制御部１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にレンズ駆動部１３を介してブレ補正レンズを適切に制御する。

図３は、本実施形態のカメラ１における撮影系の要部構成例を説明する図である。本実施形態では、光束の位置と角度の情報（光線空間（ライトフィールド）情報と呼ばれることもある）を取得する。特に、角度情報を取得するために、撮影光学系３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。

図３（ａ）は撮像素子６とＭＬＡ２０との関係例を示す模式図である。図３（ｂ）は撮像素子６の画素とＭＬＡ２０のレンズとの対応例を示す模式図である。図３（ｃ）はＭＬＡ２０によって、ＭＬＡ２０の下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。

図３（ａ）に示すように撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図３（ａ）はカメラ１の側面および正面からＭＬＡ２０を見た状態を示しており、カメラ１の正面（レンズ２を取り付ける側）から見ると、ＭＬＡ２０は撮像素子６上の画素を覆うように配置される。なお、図３（ａ）ではＭＬＡ２０が複数のマイクロレンズで構成されることを模式的に示すためにレンズを大きく記載しているが、実際には図３（ｂ）を用いて説明するように、マイクロレンズは画素の数倍程度の大きさである。

図３（ｂ）は図３（ａ）のカメラ正面から見た図を一部拡大した図である。図３（ｂ）における格子状の枠の各々は、撮像素子６の１画素を示している。一方、ＭＬＡ２０を構成する各マイクロレンズは円２０ａ，２０ｂ，２０ｃ，２０ｄで示している。

図３（ｂ）から明らかなように、１つのマイクロレンズに対し、複数の画素が割り当てられており、図３（ｂ）の例では、４行×４列＝１６個の画素が１つのマイクロレンズに対応するように配置されている。すなわち、マイクロレンズは縦４画素、横４画素の１６画素分の大きさを有し、射出瞳領域を１６分割している。

図３（ｃ）は撮像素子６を、ＭＬＡ２０を構成する１つのマイクロレンズの光軸を含み、かつ撮像素子の長手方向が図の左右方向になる面で切断した図である。図３（ｃ）の２１、２２、２３、２４は撮像素子６の画素（１つの光電変換部）を示している。一方図３（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図３（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図３（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図３（ｃ）の画素２１、２２、２３、２４は図３（ｂ）の２１ａ、２２ａ、２３ａ、２４ａとそれぞれ対応する位置関係にある。図３（ｃ）に示すように、ＭＬＡ２０によって各画素は撮影光学系３の射出瞳面上の特定の領域と対応するように設計されている。図３（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４がそれぞれ対応している。すなわち、画素２１には撮影光学系３の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、射出瞳面上での通過領域の位置と、撮像素子６上の位置との関係から、各画素に入射する光束の角度の情報を取得することが可能となる。

図３に示した撮影光学系を用いて、撮像素子６の出力信号からＡＦ評価値を得る処理について図１、図４及び図５を用いて説明する。

図１は本発明のＡＦ評価値を得るためのフローチャートである。図１（ａ）はＡＦ評価値を得る全体の動作を、図１（ｂ）は像シフト処理を、図１（ｃ）は像生成処理を、図１（ｄ）はコントラスト評価処理をそれぞれ示している。

本実施形態では、像シフト処理、像生成処理、コントラスト評価処理、相関計算処理はいずれもカメラ制御部５がソフトウェア的に実現するものとする。しかし、カメラ制御部５の制御を受けた画像処理部７がこれら処理の少なくとも１つをハードウェア及びソフトウェアの少なくとも一方を用いて実現してもよい。

図１（ａ）に示すＡＦ評価値取得動作は、例えば、図２の操作検出部１０が撮影者からの特定の動作（例えばレリーズボタンの押下）を検出した時に開始される。
Ｓ２でカメラ制御部５は、撮像素子６を予め定められた時間露光し、画像処理部７を通じて画像データを取得する。カメラ制御部５は、この時の露光量と画像データの輝度情報とから、適切な撮影条件を決定する自動露出制御を実行してもよい。

Ｓ３からＳ１１はループを形成している。Ｓ３はＡＦ評価値を用いた合焦評価を複数の回数に分けて行うループを形成している。ここで、複数回のループのうち、最初は粗く、その後精密に再構成面の位置調整（合焦位置の探索）を行う。再構成面の位置を粗く調整する動作を粗調、精密に調整する動作を微調と呼ぶことにする。

Ｓ４でカメラ制御部５は、現在の調整が粗調か微調かに応じて、加算すべき画素を決定する。具体的には、粗調の場合は、Ｓ５以下の処理で画素を間引きながら評価を行う。この時、加算された後の１画素には少なくとも２つの異なる瞳領域の情報が入るようにする。

Ｓ３からＳ１１のループにおいて、精度の粗い合焦位置探索を行ってから精度の細かい合焦位置探索とを行う粗密スキャンを行うことで合焦動作の高速化が可能となる。このような操作を行わずに、精度の細かい合焦位置探索のみを行った場合、非常に多くのループ処理回数が必要となる。一方で、粗密スキャンでは、粗調時にはＡＦ評価値の粗く大まかなピークを探索して、微調時には粗調で求めたピーク近傍で細かく再構成面の位置を変更してＡＦ評価値のピークを探索する。そのため、より少ないループ処理回数で合焦位置を探索することができる。

Ｓ５からＳ９はループを形成しており、評価位置（ＡＦ評価値を取得する再構成面の位置、）を、予め与えられた初期位置から所定の単位量ずつずらしながら、予め定められた終了位置までＡＦ評価値を計算する。初期位置は粗調時と微調時で異なるように設定することができる。また、Ｓ５でカメラ制御部５は、粗調時は微調時よりも単位量を大きく設定する。

Ｓ６でカメラ制御部５は、像シフト処理を行う。像シフト処理の詳細は図１（ｂ）を用いて後述する。
Ｓ７でカメラ制御部５は像生成処理を行う。像生成手処理の詳細は図１（ｃ）を用いて後述する。
Ｓ８でカメラ制御部５はコントラスト評価処理を行う。コントラスト評価処理の詳細は図１（ｄ）を用いて後述する。

Ｓ１０でカメラ制御部５は、Ｓ８で得られた結果（Ｓ８はＳ５からＳ９のループ内なので、異なるフォーカスレンズ位置に対応した複数の評価値が得られる）を基に、合焦位置を決定する。すなわち、カメラ制御部５は、ＡＦ評価値が最も高くなるフォーカスレンズ位置を合焦位置として決定する。このように、Ｓ１０でカメラ制御部５は、Ｓ６の像シフト処理におけるシフト量を変化させながらＳ８で取得したコントラスト評価値に基づいて合焦位置を決定する。

このように、本実施形態によれば、撮像素子６の読み出しはＳ２で１回行われるのみであるが、複数のフォーカスレンズ位置に対応したＡＦ評価値を得ることが可能である。

図１（ｂ）を用いて像シフト処理の詳細を説明する。
Ｓ２２からＳ２６はループを形成している。Ｓ２２でカメラ制御部５は、瞳分割数に応じた数だけループ計算を実行する。本実施形態では図３（ｂ）に示したように瞳分割数は１６なので、１６のそれぞれの瞳位置に応じた計算がなされる。図５を用いて後述するように、像の再構成を考えると同じ再構成面であっても入射角度が異なると（射出瞳が十分遠い場合には、通過する瞳領域が異なることとほぼ同義）像をシフトさせる量が異なる。そのため、瞳位置に応じた計算を行う。

Ｓ２４でカメラ制御部５は、瞳位置情報に基づいて、評価位置に対応する各瞳領域での像シフト量を計算する。瞳位置情報は、各画素がどの瞳領域の光束を受光しているかを特定可能な情報であり、例えば各画素とＭＬＡとの対応関係であってよい。

Ｓ２５でカメラ制御部５は、瞳位置情報に基づいて、同じ入射角の光束を受光している（同じ瞳領域からの光束を受光している）画素をシフトさせる。例えば図３（ｂ）では、画素２４ａと２４ｂが同じ入射角の光束を受光している。このように、同じ入射角の光束を受光する画素が、ＭＬＡを構成する個々のマイクロレンズに対応した画素群の中に１つずつ存在している。
Ｓ２５における画素シフト処理の詳細については、図４を用いて後述する。

次に、図１（ｃ）を用いて像生成処理の動作の詳細を説明する。
Ｓ３２でカメラ制御部５は、Ｓ３６での加算に用いるメモリ領域のデータを初期化する（全データを０にする）。この時のメモリ領域は画素値のＡ／Ｄ変換ビット数と、瞳分割数に応じて決定することができる。各領域には、画素値と、瞳分割の位置を表す値とが記憶できれば良い。例えば画素値が８ビット長にＡ／Ｄ変換され、瞳分割数が１６（４ビット）の場合、各メモリアドレスに１２ビット以上のデータを格納できればデータの桁あふれを考慮する必要が無い。

Ｓ３３からＳ３７はループを形成している。Ｓ３３でカメラ制御部５は、ＭＬＡを構成するマイクロレンズの数に応じたループ計算を実行する。例えば、図３に示した例では、撮像素子の有効画素数／１６（瞳分割数）がマイクロレンズの数となる。

Ｓ３４からＳ３７はループを形成している。Ｓ３４でカメラ制御部５は、瞳分割数に応じた数だけループ計算を実行する。

Ｓ３５でカメラ制御部５は、加算を行う画素か否かを判断する。図１（ａ）のＳ４で説明したように、粗調か微調かに応じて画素が加算すべき画素かどうかが決定されている。現在の画素が加算すべき画素と決定されているときはＳ３６に進み加算される。その他の場合はＳ３７に進む。シフト量が画素の整数倍でない場合は、Ｓ３６において、シフト後の画素の重なりの大きさに応じて画素値を減じてから加算すればよい像生成処理の詳細については、図５を用いて後述する。

次に、図１（ｄ）を用いてコントラスト評価処理の詳細を説明する。
Ｓ４２でカメラ制御部５は、コントラスト評価を行う評価点の数と、評価枠の大きさを設定する。評価点数は多い方が評価精度が高くなるが、評価に要する時間が増加するため、処理能力や評価に用いることのできる時間などに応じて予め決定しておくことができる（ユーザが設定可能としてもよい）。一方、評価枠を大きくすると局所的にはあまりパターンを有していない（コントラストの低い）テクスチャであっても合焦可能となるが、距離の異なる被写体の像を同時に評価するいわゆる遠近競合の発生確率が増加する。従って、評価枠の大きさも、予め決定しておくことができる。

Ｓ４３でカメラ制御部５は、評価枠内の画素値に対してフィルタ処理を行う。粗調時にはより低周波成分に着目したフィルタリングを行い、微調時には粗調時に比べて高周波に着目したフィルタリングを行うとよい。そのようにすることで、グローバルミニマムではなくローカルミニマムを検出する可能性を低減しつつ、合焦精度を向上することが可能となる。

Ｓ４４からＳ４７はループを形成している。Ｓ４４でカメラ制御部５は、Ｓ４２で決定された評価点数に対応した評価値を得るように繰り返し演算を行う。

Ｓ４５でカメラ制御部５は、フィルタ処理された評価枠中の一ラインの最大値をピークホールドする。

Ｓ４６でカメラ制御部５は、評価枠に含まれる各ラインについてＳ４５でピークホールドされた一ラインの最大値を合計することにより、評価枠に対応するＡＦ評価値を計算する。

なお、本実施形態ではこのような方法でＡＦ評価値を得たが、合焦度合に応じて変動する評価値であれば、他の値を評価値として計算してもよい。例えば、隣接画素出力差の二乗和である二次コントラスト評価値を、隣接画素出力差の絶対和である一次コントラストの二乗で除算し、輝度値を無次元化した評価値を用いることができる。

次に、図４を用いて像シフト処理、像生成処理、及び加算画素選択処理について具体的に述べる。
図４（ａ）に示す撮像面は、撮像素子６の撮像面であり、受光素子の受光面に相当する。再構成面（１）〜（３）は、画素の値を並び替えることによって再構成した、仮想の撮像面をそれぞれ示している。

図４（ａ）のように間引きを行わずに、像生成処理における１画素を生成する際（微調時）には、瞳分割数分画素を足し合わせれば良い。例として、図４（ａ）では、画素１＋画素２＋画素３＋画素４により、１画素に入射した光の角度方向の積分値を得ることができる。つまり、画素１＋画素２＋画素３＋画素４で得られる信号を、像生成処理での１画素として扱う。これにより、ＭＬＡを持たない一般的な撮像装置と同様の像を生成することができる。

仮想の撮像面である再構成面における像を復元（生成）するには、図４に示したように入射角度に応じて像をシフトさせたのち、同様の画素加算処理を行えば良い。これにより、再構成面（１）〜（３）で撮像した場合の像を生成することができる。

一方、粗調時には、図４（ｂ）、（ｃ）に示すように画素を間引いて画素加算処理を行う。ここで、瞳分割数をＮ、間引きを１／ｎでおこなう際には、Ｎ×ｎ個の画素を、像生成処理における１画素として取り扱えば、間引きなしの時と同様に、加算後の１画素に全ての瞳情報を含めることができる。

図４では１次元的に示しているので瞳分割数Ｎ＝４である。図４（ｂ）はｎ＝２であるので、撮像素子６の８画素を像生成処理での１画素として、図４（ｃ）ではｎ＝４であるので撮像素子６の１６画素を像生成手段出力での１画素として扱えば良い。このように、間引きに応じて、像生成処理で１画素としてとして扱う画素の数（領域の大きさ）は変化する。したがって、像生成処理によって得られる画像の画素数もしくは解像度は、間引きによって変化する。

一方で、Ｓ４における加算画素決定処理では、像生成処理で１画素として取り扱うために加算する画素（あるいは、加算しない（すなわち、間引く）画素）を決定する。具体的には、少なくとも２つの異なる瞳領域から受光した光束の情報が加算されるように、加算する画素を決定すればよい。

これは図４の例では、異なる瞳領域に対応する画素１から画素４のうち、少なくとも２種類の画素の加算結果が像生成処理で１画素として扱われるように加算画素を決定することに対応する。

各瞳分割領域の情報が少なくとも一つずつ加算されるように入るように加算画素を決定することができる。これは図４の例では、画素１〜画素４が少なくとも１つずつ加算された結果が、像生成処理で１画素として扱われるように加算画素を決定することに対応する。このように加算画素を決定することで、全ての瞳領域の情報を得ることができ、高精度な合焦結果を得ることができる。例えば、図４（ｂ）、（ｃ）では画素１〜４が一つずつ加算されて１画素を形成するように加算画素（あるいは間引き画素）が決定されている。

別の例としては、図４（ｄ）のように、画素１〜４が二つずつ加算されるように加算画素を決定してもよい。

次に、図５および図６を用いて粗微調動作の有用性について述べる。図５は横軸にフォーカスレンズ位置、縦軸にＡＦ評価値をとった図である。縦軸のＡＦ評価値が高いほど、フォーカスレンズが合焦位置に近いことを示す。図５のように粗微調（粗調により第１のサンプリング間隔で大まかなピークを探索した後、ピーク近傍で第１のサンプリング間隔より狭い第２のサンプリング間隔で微調を行う）の動作を行う場合には、微調よりも粗調時に画素間引き率を高くする。また、ＡＦ評価値を求めるフォーカスレンズ位置の間隔は、粗調時で１０〜２５ＦΔ（Ｆ：Ｆナンバー、Δ：２０μｍ程度）、微調時では１〜５ＦΔ程度が望ましい。そうすることで、高速かつ精度の良いコントラストＡＦを行うことができる。これを本実施形態の再構成面の位置を変化させることで行うＡＦ処理に対応させると、図５の横軸のフォーカスレンズの位置は再構成面の位置に対応する。

また、図６（ａ）のように粗調時には再構成面（１）、（４）、（５）のように間引き画素および加算画素を多くし、微調時には再構成面（２）、（３）のように間引き画素および加算画素を少なくすることで、同じ効果を得ることができる。これは、合焦位置の探索の進行に伴って、再構成する画像の解像度を増加させることと同義である。また、図６（ａ）では、図４に比べて１画素と見なす画素内で画素１〜４を含みつつランダムに間引いている。このようにすることで、図４の各例のような単純間引きに比べて間引き前のサンプリング周波数を維持することができる。
図４及び図６（ａ）の例では縦方向の１次元の間引きの例を示したが、図６（ｂ）のように２次元でランダムに間引くようにしてもよい。このようにすることで、間引きを行いながらも、縦、横両方向のサンプリング周波数を維持した画像の取得を行うことができる。

次に図７を用いて本実施形態に適用可能な別の光学系の例について説明する。図７は物体（被写体）からの光束が撮像素子６上に結像する状態を模式的に示した図である。図７（ａ）は図３で説明した光学系と対応しており、撮影光学系３の結像面近傍にＭＬＡ２０を配置した例である。図７（ｂ）は撮影光学系３の結像面よりも物体寄りにＭＬＡ２０を配置した例である。図７（ｃ）は撮影光学系３の結像面よりも物体から遠い側にＭＬＡ２０を配置した例である。

図７において、図３と共通する構成については同じ参照数字を付し、重複する説明を省略する。５１は物体平面であり、５１ａ，５１ｂは物体平面上の任意の点である。５２は撮影光学系３の瞳平面を、６１，６２，７１，７２，７３，８１，８２，８３，８４はＭＬＡ２０上の特定のマイクロレンズをそれぞれ示している。

また、図７（ｂ）および（ｃ）においては、図７（ａ）との対応関係を明確にするために、仮想的な撮像素子６ａ及び仮想的なＭＬＡ２０ａを示した。また、物体平面上の点５１ａから瞳平面５２の領域３１および３３を通過する光束を実線で、物体平面上の点５１ｂから瞳平面５２の領域３１および３３を通過する光束を破線で図示した。

図７（ａ）の例では、図３でも説明したように、撮影光学系３の結像面近傍にＭＬＡ２０を配置することで、撮像素子６と撮影光学系の瞳平面５２が共役の関係にある。さらに、物体平面５１とＭＬＡ２０が共役の関係にある。このため物体平面５１上の点５１ａからの光束はマイクロレンズ６１に、点５１ｂからの光束はマイクロレンズ６２に到達し、領域３１から３５それぞれを通過した光束はマイクロレンズに対応するように設けられた画素に到達する。

図７（ｂ）の例では、ＭＬＡ２０によって撮影光学系３からの光束を結像させ、その結像面に撮像素子６を設けている。このように配置することで、物体平面５１と撮像素子６は共役の関係にある。物体平面５１上の点５１ａから瞳平面５２の領域３１を通過した光束はマイクロレンズ７１に到達し、点５１ａから瞳平面上の領域３３を通過した光束はマイクロレンズ７２に到達する。また、物体平面５１上の点５１ｂから瞳平面５２の領域３１を通過した光束はマイクロレンズ７２に到達し、点５１ｂから瞳平面５２の領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。このように、物体平面からの光束は、その出射位置と、通過する瞳領域に応じて撮像素子６の撮像面における異なる位置に結像する。これらを、仮想的な撮像素子６ａの撮像面における位置に並べなおせば、図７（ａ）の撮像面で得られる情報と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図７（ｃ）の例では、ＭＬＡ２０で撮影光学系３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼ぶ）、その再結像面に撮像素子６の撮像面を配置する。このように配置することで、物体平面５１と撮像素子６は共役の関係となる。物体平面５１上の点５１ａから瞳平面５２の領域３１を通過した光束はマイクロレンズ８２に到達し、点５１ａから瞳平面５２の領域３３を通過した光束はマイクロレンズ８１に到達する。また、物体平面５１の点５１ｂから瞳平面５２の領域３１を通過した光束はマイクロレンズ８４に到達し、点５１ｂから瞳平面５２の領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。

図７（ｂ）の場合と同様に、撮像素子６で得られた画素の信号を、仮想的な撮像素子６ａの撮像面における位置に並べなおせば、図７（ａ）の撮像面で得られる情報と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

なお、図７ではＭＬＡ（位相変調素子）を用いて瞳分割を行い、光束の位置情報と角度情報を取得する構成例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の構成も利用可能である。例えば、基本パターンの繰り返しから構成されるパターンマスク（ゲイン変調素子）をＭＬＡの代わりに用いる構成であってもよい。

以上に説明したように、本実施形態によると、撮像素子において異なる瞳領域を通過した光束の情報をもとに再構成した画像からＡＦ評価値を求めるので、ＡＦ評価値の算出に必要な撮影回数および画像処理負荷を低減することができる。また、異なるフォーカスレンズ位置に対応する画像を再構成により求めるため、フォーカスレンズを駆動する必要が無く、高速な処理が可能となる。また、粗調時には微調時よりも解像度を低下させた画像を再構成することにより、ＡＦ評価値の算出負荷を低減することができ、合焦位置の探索に要する時間をさらに短縮することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (5)

1. 複数の画素を有する撮像素子と、
   前記複数の画素の各々に入射する光束を、撮影光学系の特定の瞳領域を通過する光束に制限する瞳分割手段と、
   前記複数の画素の値を、仮想の撮像面の位置および画素に光束が入射する角度に応じて並び替え、異なる瞳領域を通過した光束が入射する画素の値を加算することにより得られる画素から画像を再構成する像生成手段と、
   前記再構成された画像から合焦位置を探索するための評価値を得る取得手段と、を有し、
   前記像生成手段により複数の仮想の撮像面の位置に対応した複数の画像を再構成し、該複数の再構成された画像から前記取得手段によって得られる前記評価値を用いて合焦位置を探索する撮像装置であって、
   前記撮像装置は、第１のサンプリング間隔で合焦位置を探索した後、当該探索に基づき、前記第１のサンプリング間隔より狭い第２のサンプリング間隔で前記合焦位置の探索を行い、
   前記像生成手段は、前記第２のサンプリング間隔での前記合焦位置の探索に用いる画像の画素数よりも、前記第１のサンプリング間隔での前記合焦位置の探索に用いる画像の画素数の方が少なくなるように前記再構成を行うことを特徴とする撮像装置。
2. 前記像生成手段は、異なる瞳領域を通過した光束が入射する画素の値を加算して得られる画素から画像を再構成することを特徴とする請求項１記載の撮像装置。
3. 前記像生成手段は、瞳分割された瞳領域の各々を通過した光束が入射する画素の値を加算して得られる画素から画像を再構成することを特徴とする請求項１または請求項２記載の撮像装置。
4. 前記像生成手段は、瞳分割された瞳領域の各々を通過した光束が少なくとも１つずつ加算されるように、かつ加算前の画素の一部がランダムに間引かれるように、加算する画素を決定し、該決定した画素の値を加算して得られる画素から前記再構成を行うことを特徴とする請求項１乃至請求項３にいずれか１項に記載の撮像装置。
5. 複数の画素を有する撮像素子と、
   前記複数の画素の各々に入射する光束を、撮影光学系の特定の瞳領域を通過する光束に制限する瞳分割手段と、を有する撮像装置の制御方法であって、
   前記複数の画素の値を、仮想の撮像面の位置および画素に光束が入射する角度に応じて並び替え、異なる瞳領域を通過した光束が入射する画素の値を加算することにより得られる画素から画像を再構成する像生成工程と、
   前記再構成された画像から合焦位置を探索するための評価値を得る取得工程と、
   前記像生成工程により複数の仮想の撮像面の位置に対応した複数の画像を再構成し、該複数の再構成された画像から前記取得工程によって得られる評価値を用いて合焦位置を探索する制御工程とを有し、
   前記制御工程では、第１のサンプリング間隔で合焦位置を探索した後、当該探索に基づき、前記第１のサンプリング間隔より狭い第２のサンプリング間隔で前記合焦位置の探索を行い、
   前記像生成工程では、前記第２のサンプリング間隔での前記合焦位置の探索に用いる画像の画素数よりも、前記第１のサンプリング間隔での前記合焦位置の探索に用いる画像の画素数の方が少なくなるように前記再構成を行うことを特徴とする撮像装置の制御方法。