JP6021306B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、被写体像を光電変換する撮像素子を有する撮像装置およびその制御方法に関し、特に撮像素子から出力される光電変換信号に基づくオートフォーカス（以下ＡＦ）制御装置および方法に関する。

従来、デジタルカメラなどでのピント調整のためのオートフォーカス制御として、例えば主にデジタル一眼レフカメラで使用される位相差ＡＦ制御とコンパクトカメラなどに使用されるコントラストＡＦ制御がある。これらのＡＦ制御の特徴は、例えば位相差ＡＦでは高速なピント調整が可能であること、またコントラストＡＦでは厳密なピント合わせが可能であることである。

例えば、特許文献１には、位相差ＡＦセンサの信号に基づいてコントラスト評価を行う方法が開示されている。また、特許文献２には、異なる瞳領域を通過した光束を個別に受光可能な撮像素子を使用し、撮像素子から出力された撮像信号を用いて（即ち撮像後に）ピント調整を行った画像を生成する手法が開示されている。

特開平７−１９９０５２号公報 特開２００７−４４７１号公報

しかしながら、上述の特許文献に開示された従来技術では、十分なピント精度が得られず、狙った被写体にピントが合わない像しか得られない場合がある。すなわち特許文献１では、コントラスト計算を行うセンサと撮像を行うセンサが異なっているので必ずしもピント精度を向上できない場合がある。特許文献２では、撮像後にピント位置を変化させた像を得ることができるが、ピントを正確に変化させることができる範囲には限界があり、それを超えた場合には正常に像を得ることが困難となる。

そこで、本発明の目的は、撮像素子に入射する異なる瞳領域を通過した光束の情報に基づいて位相差ＡＦとコントラストＡＦを同時に実現することで、高速かつ合焦精度の高いＡＦを行うことを可能にした撮像装置を提供することである。

本発明によれば、複数のマイクロレンズと、複数のマイクロレンズのそれぞれに複数の光電変換部が対応して画像信号を出力する撮像素子とを含み、さらに一度の撮像で得られた複数のマイクロレンズのそれぞれに対応する複数の光電変換部からの画像信号をシフトして、ピント位置の異なる複数の画像を生成する像生成手段と、像生成手段により生成された、一度の撮像で得られたピント位置の異なる複数の画像のそれぞれのコントラストの評価値を計算するコントラスト評価手段と、複数のマイクロレンズのそれぞれに対応する複数の光電変換部から得られる画像信号間の位相差を計算して画像間の相関の評価値を計算する相関計算手段と、コントラスト評価手段により計算されたコントラストの評価値と相関計算手段により計算された相関の評価値から被写体のピント評価値を決定するピント評価手段とを備え、ピント評価手段は、相関の評価値に基づくピント位置情報が前記コントラストの評価値を算出可能な範囲外の場合には、前記相関の評価値に基づいて前記被写体のピント評価値を決定し、前記相関の評価値に基づくピント位置情報が前記コントラストの評価値を算出可能な範囲内の場合には、前記コントラストの評価値に基づいて被写体のピント評価値を決定する。

本発明によれば、高速かつ合焦精度の高いＡＦ制御を可能にする撮像装置を提供することができる。

本発明の実施形態に係わる撮影装置のシステム構成を示すブロック図 本発明の第１の実施例に係わる撮影装置の光学系の概念図 本発明の第１の実施例に係わるＡＦ制御のフローチャートを示す図 本発明の第１の実施例に係わるＡＦ制御のフローチャートを示す図 コントラストＡＦの動作を説明するための光学系の概念図 像の再構成動作を説明するための概念図 本発明に適用可能な光学系の概念図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１から図７を参照して、本発明の第1の実施例に係わる撮影装置を説明する。

図１は本発明に係わる撮影装置としてのデジタルカメラのシステム構成を示すブロック図である。本システム１００はカメラ１０１およびレンズ１０２からなり、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は撮影光学系１０３ 、撮像素子１０６を含み、画像処理系は画像処理部１０７を含む。また、記録再生系はメモリ手段１０８、表示手段１０９を含み、制御系はカメラシステム制御回路１０５、操作検出部１１０、およびレンズシステム制御回路１１２、レンズ駆動手段１１３を含む。レンズ駆動手段１１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系は、被写体からの光（光学像）を、撮影レンズを有する撮影光学系１０３を介して撮像素子１０６の撮像面に結像する光学処理系である。撮影素子１０６の表面(受光面)にはマイクロレンズが格子状に配置され、いわゆるマイクロレンズアレイ（以下 ＭＬＡ）を形成している。ＭＬＡは本実施例において瞳分割手段を構成する。ＭＬＡの機能や配置の詳細については図２を用いて後述するが、この瞳分割手段があるために、撮影素子１０６の出力信号からピント評価量／適当な露光量が得られるので、この情報に基づいて適切に撮影光学系１０３が調整される。これにより、適切な光量の被写体光を撮像素子１０６に露光することおよび撮像素子１０６の近傍で被写体像が結像することが可能となる。

画像処理部１０７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を画像処理により生成することができる。また、本発明の要部である、像シフト手段、像生成手段、コントラスト評価手段、相関計算手段等を含めることもできる。（本実施例ではこれらの要素はカメラシステム制御内に制御プログラムとして構成されている。）

メモリ部１０８は、実際にデータを記憶する記憶部だけではなく、記録に必要な処理回路を備えている。メモリ部１０８は、記録部へ出力を行うとともに、表示手段１０９に出力する像を生成、保存する。また、メモリ部１０８ は、予め定められた方法を用いて画像、動画、音声などの圧縮処理も行う。

カメラシステム制御回路１０５は、撮像の際のタイミング信号などを生成して出力するとともに、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路１１０が検出して、撮像素子１０６の駆動(光電変換)、画像処理部１０７の動作、メモリ部１０８の圧縮処理などを制御する。さらにカメラシステム制御回路１０５、表示手段１０９によって液晶モニタ等に情報表示を行うための情報表示装置の各セグメントの状態をも制御する。

制御系による光学系の調整動作について説明する。カメラシステム制御回路１０５には画像処理部１０７が接続されており、撮像素子１０６からの画像信号に基づいて撮影条件に適切な焦点位置、絞り位置を求める。カメラシステム制御回路１０５は、電気接点１１１を介してレンズシステム制御回路１１２に指令を送信し、レンズシステム制御回路１１２は指令に従いレンズ駆動手段１１３を制御する。さらにレンズシステム制御回路１１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動手段１１３を介して手ぶれ補正レンズを制御する。

次に、図２は本実施例における撮影光学系の要部を説明する図である。本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのマイクロレンズに対して複数の画素を対応させる。

図２（ａ）は撮像素子１０６とＭＬＡ２２０の対応関係を概念的に示す図である。図２（ｂ）は撮像素子１０６の画素とＭＬＡ２２０との対応を示す概念図である。図２（ｃ）はＭＬＡ２２０によってＭＬＡの下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。

図２（ａ）に示すように、撮像素子１０６上にはＭＬＡ２２０が設けられており、ＭＬＡ２２０の前側主点は撮影光学系１０３の結像面近傍になるように配置されている。図２（ａ）は撮像素子１０６の側面図と、ＭＬＡ２２０の正面図を示しており、ＭＬＡ２２０のレンズが撮像素子１０６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡ２２０を構成する各マイクロレンズを見やすくするために大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。（実際の大きさについては図２（ｂ）を用いて説明する。）

図２（ｂ）は図２（ａ）のＭＬＡ２２０の正面図の一部を拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子１０６の各画素を示している。一方、ＭＬＡ２２０を構成する各マイクロレンズは太い円２２０ａ，２２０ｂ，２２０ｃ，２２０ｄで示した。図２（ｂ）から明らかなように、マイクロレンズ１つに対して複数の画素が割り当てられており、図２（ｂ）の例では、５行x５列＝２５個の画素グループが１つのマイクロレンズに対して設けられている。すなわち各マイクロレンズの大きさは画素の大きさの５倍x５倍の大きさである。

図２（ｃ）は撮像素子１０６を、マイクロレンズの光軸を含み撮像素子の長手方向（Ｘ方向）が図の横方向になるように切断したときの一つのマイクロレンズについての切断面を示す図である。図２（ｃ）の２２１、２２２、２２３、２２４、２２５は撮像素子１０６の画素（１つの光電変換部）を示している。一方、図２（ｃ）の上方に示した図は撮影光学系１０３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面（Ｘ−Ｙ面）は図２（ｃ）の紙面垂直方向（ｙ方向）と平行になるが、説明のために投影方向を変化させている。また、図２（ｃ）については説明を簡単にするために、１次元の投影／信号処理について説明する。即ち、瞳分割が２３１−２３５だけの一次元であり、対応する画素配列も、例えば図４（ｂ）の２２１ａ−２２５ａだけの一次元とする。この仮定は図６の説明においても適用する。実際の装置での２次元の投影／信号処理への拡張は容易にできる。

図２（ｃ）の画素２２１、２２２、２２３、２２４、２２５は図２（ｂ）の２２１ａ、２２２ａ、２２３ａ、２２４ａ、２２５ａとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、マイクロレンズ２２０によって各画素は撮影光学系１０３の射出瞳面上の特定の射出瞳領域と共役になるように設計されている。図２（ｃ）の例では画素２２１と領域２３１が、画素２２２と領域２３２が、画素２２３と領域２３３が、画素２２４と領域２３４が、画素２２５と領域２３５がそれぞれ対応している。すなわち画素２２１には撮影光学系１０３の射出瞳面上の領域２３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子１０６上の位置関係から入射光束の角度の情報を取得することが可能となる。

本実施例に示した撮影光学系を利用して、撮像素子１０６の出力信号からピント評価値を得る処理について図３、図４、図５及び図６を用いて説明する。

図３および図４は本発明のピント評価値を得るためのフローチャートである。図３（ａ）はピント評価値を得るための動作の全体を、図３（ｂ）は像シフト手段の動作を、図３（ｃ）は像生成手段の動作のフローチャートをそれぞれ示している。これらの処理はカメラシステム制御回路１０５が図示しない記憶装置から各制御プログラムをロードして実行することで達成される。以下、図３（ａ）から各ステップ順に説明する。

ステップＳ３０１はピント評価値取得動作の開始を示している。例えば、図１の撮像装置の操作検出部１１０が撮影者からの特定の操作を検出した時（例えばレリーズボタンの押下）に撮影動作が開始されることに該当する。

ステップＳ３０２は、カメラシステム制御回路１０５の制御の下で撮像素子１０６を撮影条件に従って露光して読み出し（Ａ／Ｄ変換）を行なってデータ(被写体の撮像信号)を取得することに対応する。なお、この時の露光時間と露光量から撮影における露出量を計算することもできるが、本発明の要部ではないので説明は割愛する。

ステップＳ３０３からステップＳ３０８はループを形成している。ステップＳ３０３ではピント評価位置（図６を用いて後述する画像の再構成位置に対応）を予め与えられた初期値から予め決められた所定の位置（ステップ）だけずらしながら予め与えられた終了値まで計算を行う。ループ中に得られた評価値のうちの最良のものからピント評価値が決定され、対応する評価位置がピント位置として得られる。

ステップＳ３０４では、カメラシステム制御回路１０５が像シフト手段を動作させて像シフト量を得る。像シフト手段の動作の詳細は図３（ｂ）のフローチャートを用いて後述する。

ステップＳ３０５では、カメラシステム制御回路１０５が像生成手段を動作させて像生成を行なう。像生成手段の動作の詳細は図３（ｃ）のフローチャートを用いて後述する。

ステップＳ３０６では、カメラシステム制御回路１０５がコントラスト評価手段を動作させてコントラスト評価値を得る。コントラスト評価手段の動作の詳細は図４（ａ）のフローチャートを用いて後述する。

ステップＳ３０７では、カメラシステム制御回路１０５が相関計算手段を動作させて相関値を得る。相関計算手段の動作の詳細は図４（ｂ）のフローチャートを用いて後述する。

ステップＳ３０９では、カメラシステム制御回路１０５がピント評価手段を動作させてピント評価値を得る。ピント評価手段の動作の詳細は図４（ｃ）のフローチートを用いて後述する。

結果として、撮像素子１０６の読み出しはステップＳ３０２で１回のみ行うことでコントラスト評価値を含むピント評価値を得ることができ、処理の高速化が可能となる。

次に、図３（ｂ）のフローチャートを用いて像シフト手段の動作を詳細に説明する。

ステップＳ３２１は像シフト手段の動作開始を示している。

ステップＳ３２２からステップＳ３２６はループを形成している。ステップＳ３２２では瞳分割数に応じた数（一つのマイクロレンンズに対応する撮像素子の画素の数）だけループ計算が実行される。例えば、図２に示した例では２５に分割されていたので(二次元)、２５のそれぞれの瞳位置に応じた像シフト量の計算がなされる。図６を用いて後述するように、像の再構成において同じ再構成面であっても入射角度が異なると（射出瞳が十分遠い場合には、通過する瞳領域が異なることとほぼ同義）像をシフトさせる量が異なる。これを像生成に反映させるためのループである。

ステップＳ３２３ではステップＳ３２４からのデータをもとに、評価位置に対応する各瞳領域でのシフト量を計算する。ステップＳ３２４には、各画素とＭＬＡとの対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。

ステップＳ３２５ではステップＳ３２３の情報をもとに同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。同じ入射角の光線を得ている画素は例えば図２の２２５ａと２２５ｂが該当する。このような画素がＭＬＡを構成するマイクロレンズの数だけ存在している。

ステップＳ２７において、本処理ルーチンの呼び出し元のステップＳ４に戻る。

像シフト手段については、後で図６を用いてさらに具体的に説明する。

図３（ｃ）のフローチャートを用いて像生成手段の動作の詳細を説明する。

ステップＳ３３１は像生成手段の動作開始を示している。

ステップＳ３３２では、ステップＳ３３５での加算のための領域のデータを初期化（０で埋める）する。この時のデータ領域の大きさはＭＬＡの数だけあれば良く、データの諧調は元のデータの諧調と瞳分割数の積を格納できるだけあれば都合がよい。例えば元のデータが8bitで25分割の場合、13bit （> 8bit + log₂25）あれば演算処理でのデータの桁あふれを考慮する必要が無くなる。

ステップＳ３３３からステップＳ３３７はループを形成している。ステップＳ３３３ではＭＬＡを構成するマイクロレンズの数に応じて（即ち各マイクロレンズについて）ループ計算が実行される。例えば、図２に示した例では、元の撮像素子の画素数÷25（瞳分割数）がマイクロレンズの数となる。

ステップＳ３３４からステップＳ３３６はループを形成している。ステップＳ３３４では、瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置からの光束がステップＳ３３５で加算される。シフト量が画素の整数倍でない場合は、加算Ｓ３３５において、適宜内分して加算する。（例えば、重なっている面積に応じて適宜加算する。）これにより、各評価位置での像が再生される。生成された画像の画像データはカメラシステム制御回路１０５の制御によりメモリ１０８または図示しない他の記憶手段に記憶される。これにより、生成画像の再生、表示が可能となる。

ステップＳ３３８において、本処理ルーチンの呼び出し元のステップＳ３０５に戻る。

像生成手段についても、あとで図６を用いてさらに具体的に説明する。

図４（ａ）のフローチャートを用いてコントラスト評価手段の動作の詳細を説明する。ステップＳ４４１はコントラスト評価手段の動作開始を示している。

ステップＳ４４２では、コントラスト評価を行う評価点の数と、評価枠の大きさ（例えば評価点を中心とする枠）を設定する。評価点数は多くなると画面全体を覆うことが可能となるが評価に時間がかかるという問題がある。ユーザーの設定などにより適宜設定する。一方、評価枠を大きくすると局所的にはあまりパターンを有していないテクスチャであってもピントを合わせることが可能となるが、大きすぎると距離の異なる被写体の像を同時に評価するいわゆる遠近競合が発生してしまう。これらの問題を解決できるように評価枠の大きさを適宜設定する。

ステップＳ４４３からステップＳ４５１はループを形成している。ステップＳ４４３では、ステップＳ４４２で決定された評価点に対応した評価値を得るように繰り返し演算を行う。

ステップＳ４４４からステップＳ４４６はループを形成している。ステップＳ４４４では、ステップＳ４４２で決定された各評価枠内の画素について一次コントラスト演算を行う。一次コントラスト演算はステップＳ４４５にあるようにΣ｜S_i - S_i-1｜で計算する。ここで、S_iはi番目の像生成手段から出力された輝度を示している。このようにすることで隣接画素間の輝度差を積分することができる。ただしこのステップの説明においては、説明を明瞭にするために画像が１次元的に配置されている場合に対応する式を示す。２次元の画像においては、縦横両方向の輝度差を積分しても良いし、適宜一方向の輝度差のみを積分しても良い。

ステップＳ４４７からステップＳ４４９はループを形成している。ステップＳ４４７では、ステップＳ４４２で決定された評価枠内の画素について二次コントラスト演算を行う。二次コントラスト演算はステップＳ４４８にあるようにΣ(S_i - S_i-1)²で計算する。このステップの説明においても、説明を明瞭にするために画像が１次元的に配置されている場合に対応する式を示す。

図５はピント位置を変更した時のS_iの変化の概念図を示す。図５（ｂ）が最も良いピント状態であり、図５（ａ）および図５（ｃ）はピントがぼけている状態である。また図５に矢印で示したようにピント位置を変化させると、輝度の変化値が大きくなる個所（＝コントラストが高い個所、図５（ｂ））が現れその前後ではコントラストが低くなる。ただし、コントラストが小さくなった場合でも隣接画素の輝度差の積分（＝一次コントラスト）はあまり大きく変化しない。図５ではS_i-3からS_i+3までの一次コントラストの積分はほぼS_i-3とS_i+3の差になりピント位置に対して大きくは変化しない。一方で二次コントラストはピント位置に応じて大きく変化する。

そこでステップＳ４５０では、二次コントラストを一次コントラストの二乗で割ることでコントラスト評価値としている。このようにすることで輝度に対して正規化されるとともに、ピント位置に応じた被写体のコントラスト評価値を得ることができる。

本実施例では上記のような方法でコントラスト評価値を得たが、ピント変動にともなうコントラスト評価値であれば他の計算方法にすることも可能である。

ステップＳ４５２において、本処理ルーチンの呼び出し元のステップＳ３０６に戻る。

図４（ｂ）のフローチャートを用いて相関計算手段の動作の詳細を説明する。

ステップＳ４６１は相関計算手段の動作開始を示している。

ステップＳ４６２では、ステップＳ４４２と同様に評価を行う評価点の数と、評価枠の大きさを設定する。

ステップＳ４６３からステップＳ４６８はループを形成している。ステップＳ４６３では、ステップＳ４６２で決定された各評価点に対応した評価値を得るように繰り返し演算を行う。

ステップＳ４６４からステップＳ４６６はループを形成している。ステップＳ４６４では、ステップＳ４６２で決定された評価枠内の画素について相関計算を行う。相関計算はステップＳ４６５にあるようにΣ｜A_i - B_i｜で計算する。ここで、A_iは特定の瞳領域を通過したi番目の画素の輝度を示している。B_iはA_iとは異なる瞳領域を通過したi番目の画素の輝度を示している。例えば図２において、画素２２２に対応する画素のみ並べたものをA_i、画素２２４に対応する画素のみ並べたものをB_iとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すればよい。

上記のように設定することで、異なる瞳領域を通過した画像間の相関を計算でき、いわゆる位相差AFに基づく評価量を得ることができる。ステップＳ４６７では、得られた相関値を評価量として格納する。

上記に示したΣ｜A_i - B_i｜という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分の絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分２乗値を加算する方法など他の計算方法によって相関計算を行っても良い。

ステップＳ４６９において、本処理ルーチンの呼び出し元のステップＳ３０７に戻る。

図４（ｃ）のフローチャートを用いてピント評価手段の動作の詳細を説明する。ステップＳ４７１はピント評価手段の動作開始を示している。

ステップＳ４７２では図３（ａ）のステップＳ３０３からＳ３０８のループで得られた相関計算の最良位置を求め、相関計算手段による最良ピント位置を求める。図４（ｂ）のステップＳ４６５に示した相関量においては、最小になる個所が最良のピント位置として得られる。

ステップＳ４７４ではステップＳ４７３から与えられるコントラスト評価の限界値を超えていないかの判定を行う。これは、図６を用いて後述する像の再構成は、角度情報を取得するための光学設計から決まる再構成可能な範囲が決まっており、これを超えていないかを判定するためである。

超えている場合には、ステップＳ４７５に進んでピント評価値として相関最良から得られた位置を用いる。

超えていない場合にはステップＳ４７６に進んで、コントラストの最良位置を求め、コントラスト評価手段による最良ピント位置を求める。図４（ａ）ステップＳ４５０に示した式では最大となる個所が最良のピント位置として得られる。ステップＳ４７７に進んでピント評価値としてコントラスト最良から得られた位置を用いる。カメラシステム制御回路１０５は、得られたピント評価値からレンズ駆動指令を生成して電気接点１１１を介してレンズシステム制御回路１１２に送信する。レンズシステム制御回路１１２は、受信したレンズ駆動指令に基づきレンズ駆動部１１３を制御してレンズ１０３を駆動する。

ステップＳ４７８において、本処理ルーチンの呼び出し元のステップＳ３０９に戻る。

次に図６において像シフトおよび像生成を概念的に示し、像の再構成によるコントラスト計算の有用性を説明する。

図６において、図６（ｂ）は実際に撮像素子６が存在して画像を取得した面を、図６（ａ）は図６（ｂ）よりも物体側の再構成面（再構成面１）を、図６（ｃ）は図６（ｂ）よりも物体側から遠い側の再構成面（再構成面２）をそれぞれ示している。なお上述のように同図においては、説明を明瞭にするために瞳分割方向および画素配列はそれぞれ一次元としている。

図６（ｂ）において、X_1,i、X_2,i、X_3,i、X_4,i、X_5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズX_iに入射して得られたデータ（画像データ）を示している。すなわち、添え字のうち前半は通過する瞳領域を、後半はマイクロレンズの番号を示している。物理的な位置との関係においては、X_1,iは図４（ｃ）の２２１領域から得られるデータを、X_2,iは図４（ｃ）の２２２領域から得られるデータを、以下添え字の３、４、５は領域２２３、２２４、２２５に対応していることを示している。

取得面での画像を生成するためには、図６（ｂ）に示すように、マイクロレンズX_iに入射したデータ（輝度）を加算すればよい。具体的には、S_i = X_1,I + X_2,i + X_3,i + X_4,i + X_5,iでX_iに入射した光の角度方向の積分値を得ることができる。これをすべてのマイクロレンズについて行なことにより通常のカメラと同様の像が生成される。

次に再構成面１での像の生成方法を考える。図２で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはX_1,iのように瞳領域の添え字が１のものは図６の右側の図において６４１で示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ６４２，６４３，６４４，６４５に対応しているとする。この時再構成面１でのマイクロレンズX_iに入射した光束は、取得面においては、X_i-2からX_i+2(一次元)に分散して入射していることになる。より具体的には、X_1,i-2、X_2,i-1、X_3,i、X_4,i+1、X_5,i+2に分散している。X_iに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良いことが分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフトし、瞳領域の添え字が２のものは右に１画素シフトし、瞳領域の添え字が３のものはシフトなしとする。また、瞳領域の添え字が４のものは左に１画素シフトし、瞳領域の添え字が５のものは左に２画素シフトする。これにより入射角度に応じたシフトを与えることができる。その後は、図６（ａ）に示す縦方向の加算によって再構成面１でのデータを得ることができる。具体的には、S_i = X_1,i-2 + X_2,i-1 + X_3,i + X_4,i+1 + X_5,i+2で再構成面１において、X_iに入射した光の角度方向の積分値を得ることができる。これにより再構成面での画像が得られる。

ここで、再構成面１において、X_iに輝点があったとすると、取得面においてはX_1,i-2、X_2,i-1、X_3,i、X_4,i+1、X_5,i+2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びX_iに輝点が生成されコントラストの高い像が得られる。すなわち像を再構成してコントラストを計算することで、いわゆるコントラストＡＦを行うことが可能となる。

また、図６（ｃ）から分かるように、再構成面２においても再構成面と全く同様の方法で像を生成することができる。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。

次に、図７を用いて本実施例に適用可能な別の光学系の例について説明する。図７は物体（被写体）からの光線が撮像素子１０６上に結像する状態を概念的に示した図である。図７（ａ）は図２で説明した光学系に対応しており、撮影光学系１０３の結像面近傍にＭＬＡ２２０を配置した例である。図７（ｂ）は撮影光学系１０３の結像面よりも物体寄りにＭＬＡ２２０を配置した例である。図７（ｃ）は撮影光学系１０３の結像面よりも物体から遠い側にＭＬＡ２２０を配置した例である。

図７において、１０６は撮像素子を、２２０はＭＬＡを、２３１から２３５は図２で用いた瞳領域を、７５１は物体平面を、７５１ａ，７５１ｂは物体上の適当な点を、７５２は撮影光学系の瞳平面を示している。また、７６１、７６２、７７１，７７２，７７３，７８１，７８２，７８３，７８４はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図７（ｂ）および（ｃ）に示した１０６ａは仮想的な撮像素子を、２２０ａは仮想的なＭＬＡを示している。これらは、図７（ａ）との対応関係を明確にするための参考として示した。また、物体上の点７５１ａから出て瞳平面上の領域２３１および２３３を通過する光束を実線で、物体上の点７５１ｂから出て瞳平面上の領域２３１および２３３を通過する光束を破線で図示した。

図７（ａ）の例では、図２でも説明したように、撮影光学系１０３の結像面近傍にＭＬＡ２２０を配置することで、撮像素子１０６と撮影光学系の瞳平面７５２が共役の関係にある。さらに、物体平面７５１とＭＬＡ２２０が共役の関係にある。このため被写体上の点７５１ａから出た光束はマイクロレンズ７６１に、７５１ｂを出た光束はマイクロレンズ７６２に到達し、領域２３１から２３５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図７（ｂ）の例では、マイクロレンズ２２０で撮影光学系１０３からの光束を結像させ、その結像面に撮像素子１０６を設ける。このように配置することで、被写体平面７５１と撮像素子１０６は共役の関係にある。被写体上の点７５１ａから出で瞳平面上の領域２３１を通過した光束はマイクロレンズ７７１に到達し、被写体上の点７５１ａから出で瞳平面上の領域２３３を通過した光束はマイクロレンズ７７２に到達する。被写体上の点７５１ｂから出で瞳平面上の領域２３１を通過した光束はマイクロレンズ７７２に到達し、被写体上の点７５１ｂから出で瞳平面上の領域２３３を通過した光束はマイクロレンズ７７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように被写体上の点は、瞳平面上の通過領域によって、撮像素子の異なる位置にそれぞれ結像される。これらを、仮想的な撮像面１０６ａ上の位置に並べなおせば、図７（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができ、瞳分割手段としての機能が達成される。

図７（ｃ）の例では、マイクロレンズ２２０で撮影光学系１０３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子１０６を設ける。このように配置することで、被写体平面７５１と撮像素子１０６は共役の関係にある。被写体上の点７５１ａから出で瞳平面上の領域２３１を通過した光束はマイクロレンズ７８２に到達し、被写体上の点７５１ａから出で瞳平面上の領域２３３を通過した光束はマイクロレンズ７８１に到達する。被写体上の点７５１ｂから出で瞳平面上の領域２３１を通過した光束はマイクロレンズ７８４に到達し、被写体上の点７５１ｂから出で瞳平面上の領域２３３を通過した光束はマイクロレンズ７８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図７（ｂ）と同様に、仮想的な撮像面１０６ａ上の位置に並べなおせば、図７（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができ、瞳分割手段としての機能が達成される。

図７ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

本実施例によると、異なる瞳領域を通過した光束から撮像素子によって得られた情報を用いて位相差ＡＦとコントラストＡＦを同時に実現することで高速かつピント精度の高いＡＦを可能にした撮像装置を提供することが出来る。即ち、従来技術において正常に像を得ることが困難な場合にも、本発明の２種類のＡＦの評価値を用いたピント評価値の生成により正常な焦点制御が可能となる。しかも、光束の情報を得るために必要な撮像動作は（撮像素子の蓄積、読み出し）一回だけ行なえばよいため、合焦制御動作のさらなる高速化が可能となる。

上述した実施形態において図３−４に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して制御系のＣＰＵが実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図３−４に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリとしては、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体が可能である。さらには、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されたメモリでもよい。

また、図３−４に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた場合である。このプログラムの指示に基づき、機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本件発明に含まれる。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含む。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (13)

1. 複数のマイクロレンズと、前記複数のマイクロレンズのそれぞれに複数の光電変換部が対応して画像信号を出力する撮像素子とを含む撮像装置において、
   一度の撮像で得られた前記複数のマイクロレンズのそれぞれに対応する複数の前記光電変換部からの画像信号をシフトして、ピント位置の異なる複数の画像を生成する像生成手段と、
   前記像生成手段により生成された、一度の撮像で得られた前記ピント位置の異なる複数の画像のそれぞれのコントラストの評価値を計算するコントラスト評価手段と、
   前記複数のマイクロレンズのそれぞれに対応する複数の光電変換部から得られる画像信号間の位相差を計算して画像間の相関の評価値を計算する相関計算手段と、
   前記コントラスト評価手段により計算された前記コントラストの評価値と前記相関計算手段により計算された前記相関の評価値から被写体のピント評価値を決定するピント評価手段と、を備え、
   前記ピント評価手段は、前記相関の評価値に基づくピント位置情報が前記コントラストの評価値を算出可能な範囲外の場合には、前記相関の評価値に基づいて前記被写体のピント評価値を決定し、前記相関の評価値に基づくピント位置情報が前記コントラストの評価値を算出可能な範囲内の場合には、前記コントラストの評価値に基づいて前記被写体のピント評価値を決定することを特徴とする撮像装置。
2. 前記像生成手段は、前記マイクロレンズに対応する各光電変換部と前記撮像素子に被写体の光学像を結像させる撮影レンズの射出瞳領域との対応関係に基づいて、前記マイクロレンズに対応する光電変換部ごとに前記シフトのシフト量を決定し、
   前記シフト量に基づいた演算処理を前記画像信号に施して前記ピント位置の異なる複数の画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記ピント位置情報とは、前記相関の評価値から得られる前記被写体の最良のピント位置の情報であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記複数のマイクロレンズは前記撮像素子の受光面に配置されたレンズアレイであり、前記レンズアレイは、前記撮像素子の受光面に形成されている複数の画素を前記複数のマイクロレンズのそれぞれに対応して複数の画素グループに分割し、前記マイクロレンズは対応する画素グループの各画素を、前記撮像素子に被写体の光学像を結像させる撮影レンズの異なる射出瞳領域からの光束に対応させることを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 複数の前記ピント評価位置を予め設定する設定手段を備え、前記ピント評価手段は前記設定手段により設定される各ピント評価位置に対応して計算された前記コントラストの評価値と前記相関の評価値から前記被写体のピント評価値を決定することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記像生成手段により生成された前記画像を記憶する記憶手段および前記記憶手段に記憶された画像を表示する表示手段をさらに備えることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 複数のマイクロレンズと、前記複数のマイクロレンズのそれぞれに複数の光電変換部が対応して画像信号を出力する撮像素子とを含む撮像装置の制御方法において、
   一度の撮像で得られた前記複数のマイクロレンズのそれぞれに対応する複数の前記光電変換部からの画像信号をシフトして、ピント位置の異なるピント評価位置に対応する複数の画像を生成するステップと、
   前記像生成ステップにより生成された、一度の撮像で得られた前記ピント位置の異なる複数の画像のそれぞれのコントラストの評価値を計算するステップと、
   前記複数のマイクロレンズのそれぞれに対応する複数の光電変換部から得られる画像信号間の位相差を計算して画像間の相関の評価値を計算するステップと、
   前記コントラスト評価ステップにより計算された前記コントラストの評価値と前記相関計算ステップにより計算された前記相関の評価値から被写体のピント評価値を決定するステップと、を備え、
   前記ピント評価ステップは、前記相関の評価値に基づくピント位置情報が前記コントラストの評価値を算出可能な範囲外の場合には、前記相関の評価値に基づいて前記被写体のピント評価値を決定し、前記相関の評価値に基づくピント位置情報が前記コントラストの評価値を算出可能な範囲内の場合には、前記コントラストの評価値に基づいて前記被写体のピント評価値を決定することを特徴とする制御方法。
8. 前記像生成ステップは、前記マイクロレンズに対応する各光電変換部と前記撮像素子に被写体の光学像を結像させる撮影レンズの射出瞳領域との対応関係に基づいて、前記マイクロレンズに対応する光電変換部ごとに前記シフトのシフト量を決定し、
   前記シフト量に基づいた演算処理を前記画像信号に施して前記ピント位置の異なる複数の画像を生成することを特徴とする請求項７に記載の制御方法。
9. 前記ピント位置情報とは、前記相関の評価値から得られる前記被写体の最良のピント位置の情報であることを特徴とする請求項７または８に記載の制御方法。
10. コンピュータを、
    複数のマイクロレンズと、前記複数のマイクロレンズのそれぞれに複数の光電変換部が対応して画像信号を出力する撮像素子とを含む撮像装置の制御方法において、
    一度の撮像で得られた前記複数のマイクロレンズのそれぞれに対応する複数の前記光電変換部からの画像信号をシフトして、ピント位置の異なる複数の画像を生成する像生成手段、
    前記像生成手段により生成された、一度の撮像で得られた前記ピント位置の異なる複数の画像のそれぞれのコントラストの評価値を計算するコントラスト評価手段、
    前記複数のマイクロレンズのそれぞれに対応する複数の光電変換部から得られる画像信号間の位相差を計算して画像間の相関の評価値を計算する相関計算手段、
    前記コントラスト評価手段により計算された前記コントラストの評価値と前記相関計算手段により計算された前記相関の評価値から被写体のピント評価値を決定するピント評価手段、として機能させ、
    前記ピント評価手段は、前記相関の評価値に基づくピント位置情報が前記コントラストの評価値を算出可能な範囲外の場合には、前記相関の評価値に基づいて前記被写体のピント評価値を決定し、前記相関の評価値に基づくピント位置情報が前記コントラストの評価値を算出可能な範囲内の場合には、前記コントラストの評価値に基づいて前記被写体のピント評価値を決定するプログラム。
11. 請求項１０のプログラムを記録したコンピュータが読み取り可能な記録媒体。
12. コンピュータを、請求項１乃至６のいずれか一項に記載の撮像装置の各手段として機能させるプログラム。
13. コンピュータを、請求項１乃至６のいずれか一項に記載の撮像装置の各手段として機能させるプログラムを格納した記録媒体。

Images