JP4823169B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特に撮像素子からの出力に基づいて焦点検出を行う撮像装置に関する。

撮像装置に用いられている撮像素子を構成する一部の画素の光学特性を他の画素と異ならせて、該一部の画素からの出力に基づいて焦点検出を行う撮像装置が特許文献１にて開示されている。

特許文献１にて開示された撮像装置では、撮像素子の一部に互いに対をなす焦点検出画素を複数配置する。ここで、図４には、画素行列のうち一部の行に焦点検出画素を配置した撮像素子の画素配置例を示す。

図４において、Ｒ，Ｇ，Ｂはそれぞれ、赤フィルタ、緑フィルタ、青フィルタが配置された通常の撮像画素である。また、Ｓ１，Ｓ２は第１及び第２の焦点検出画素であり、撮像画素とは光学特性が異なる。

図５には、第１の焦点検出画素Ｓ１の構造を示す。図５において、第１の焦点検出画素の光入射側には、マイクロレンズ５０１が形成されている。５０２はマイクロレンズ５０１を形成するための平面を構成する平滑層である。

５０３は遮光層であり、第１の焦点検出画素Ｓ１の光電変換領域５０４の中心Ｏに対して一方向に偏心した絞り開口部を有する。

また、図６には、第２の焦点検出画素Ｓ２の構造を示す。図６において、第２の焦点検出画素の光入射側には、マイクロレンズ６０１が形成されている。６０２はマイクロレンズ６０１を形成するための平面を構成する平滑層である。

６０３は遮光層であり、第２の焦点検出画素Ｓ２の光電変換領域６０４の中心Ｏに対して、第１の焦点検出画素Ｓ１に設けられた遮光層５０３とは反対方向に偏心した絞り開口部を有する。すなわち、第１及び第２の焦点検出画素Ｓ１，Ｓ２の遮光層５０３，６０３は、各マイクロレンズの光軸を挟んだ対称な位置に絞り開口部を有する。

このような構成によれば、撮像光学系を第１の焦点検出画素Ｓ１から見た場合と第２の焦点検出画素Ｓ２から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。

図４において、第１の焦点検出画素Ｓ１を含む行と第２の焦点検出画素Ｓ２を含む行には、撮像素子の画素数が多くなるにつれてより近似した２像が形成されるようになる。撮像光学系が被写体に対してピントが合っている状態では、第１の焦点検出画素Ｓ１を含む行と第２の焦点検出画素Ｓ２を含む行から得られる出力（像信号）は互いに一致する。

これに対し、撮像光学系のピントがずれているならば、第１の焦点検出画素Ｓ１を含む行と第２の焦点検出画素Ｓ２を含む行から得られる像信号には位相差が生じる。そして、該位相差の方向は、前ピン状態と後ピン状態とで逆になる。

図７Ａ及び図７Ｂには、ピント状態と位相差との関係を示す。これらの図においては、図４に示した両焦点検出画素Ｓ１，Ｓ２を互いに近づけて、それぞれをＡ，Ｂとして示している。また、撮像画素は省略している。

被写体上の特定点からの光束は、焦点検出画素Ａに対応する分割瞳を通って該焦点検出画素Ａに入射する光束ΦＬａと、焦点検出画素Ｂに対応する分割瞳を通って該焦点検出画素Ｂに入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体上の同一点から入射しているため、撮像光学系のピントが合った状態では、図７Ａに示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、第１の焦点検出画素Ａ（Ｓ１）を含む行と第２の焦点検出画素Ｂ（Ｓ２）を含む行からそれぞれ得られる像信号は互いに一致する。

しかし、図７Ｂに示すように、ｘだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。したがって、第１の焦点検出画素Ａ（Ｓ１）を含む行と第２の焦点検出画素Ｂ（Ｓ２）を含む行からそれぞれ得られる像信号には位相差が生じる。

以上のことを利用して、特許文献１にて開示された撮像装置は撮像素子を用いた焦点検出を行う。

ただし、このように焦点検出画素を含む撮像素子を用いて静止画を取得する場合に、焦点検出画素の位置に相当する画素データが欠損する。焦点検出画素で得られた信号を静止画用の画像信号として用いると、焦点検出画素の視野が通常の撮像画素の視野とは異なるために、焦点検出画素からの信号とその周辺の画素からの信号との連続性が失われ、良好な画像を取得できない。

このような問題を解決するため、特許文献１にて開示された撮像装置では、焦点検出画素からの信号に相当する像信号を、その周辺画素の像信号を用いて補間するようにしている。
特開２０００−１５６８２３号公報

しかしながら、特許文献１にて開示されているように、焦点検出画素の像信号をその周辺画素の像信号で補間すると、該周辺画素によって取得される画像が、他の領域の画素によって取得される画像に比べて鮮鋭度が低くなる場合がある。

また、空間周波数の低い被写体像を受光する場合、焦点検出画素の視野とその周辺の撮像画素の視野との違いから、周辺の撮像画素からの像信号に対する焦点検出画素からの像信号の連続性が低くなる。このため、焦点検出画素の位置の像信号を、周辺の撮像画素からの像信号に基づいて補間するのが好ましい。この場合、被写体像の空間周波数が低いので、補間処理による鮮鋭度の低下は目立ち難い。

一方、空間周波数の高い被写体像を受光する場合、焦点検出画素の位置の像信号は周辺の撮像画素からの像信号に対してもともと連続性が低い。このため、補間処理をすることによる鮮鋭度の低下が目立ってしまう。したがって、焦点検出画素の数が多くなるにつれて、補間処理による鮮鋭度の低い画像領域が増加し、得られる画像の品位が低下してしまう。

本発明は、撮像素子内での焦点検出画素の数が多くなっても、高い鮮鋭度の画像を取得できるようにした撮像装置及びその制御方法を提供する。

本発明の一側面としての撮像装置は、撮像光学系からの光束により形成された被写体像を光電変換する第１の画素群、及び撮像光学系からの光束のうち分割された光束を光電変換する複数の焦点検出画素を含む第２の画素群を有する撮像素子と、第２の画素群からの出力に基づいて撮像光学系の焦点状態を検出する焦点検出手段と、第１の画素群上に形成された被写体像の空間周波数成分を検出する周波数成分検出手段と、撮像素子からの出力により得られる画像のうち第２の画素群に対応する部分画像を第１の画素群の出力に基づいて生成する画像生成手段とを有する。さらに、該撮像装置は、焦点検出手段によって焦点状態が検出された場合は、該検出された焦点状態に応じて画像生成手段に部分画像を生成させるか否かを切り換え、焦点検出手段によって焦点状態が検出されない場合は、周波数成分検出手段により検出された空間周波数成分に応じて画像生成手段に部分画像を生成させるか否かを切り換える制御手段を有することを特徴とする。

また、本発明の他の一側面としての撮像装置の制御方法は、撮像光学系からの光束により形成された被写体像を光電変換する第１の画素群、及び撮像光学系からの光束のうち分割された光束を光電変換する複数の焦点検出画素を含む第２の画素群を有する撮像素子を備えた撮像装置の制御方法である。該制御方法は、第２の画素群からの出力に基づいて撮像光学系の焦点状態を検出するステップと、第１の画素群上に形成された被写体像の空間周波数成分を検出するステップと、撮像素子からの出力により得られる画像のうち第２の画素群に対応する部分画像を第１の画素群の出力に基づいて生成するステップとを有する。さらに、該制御方法は、焦点状態が検出された場合は、該検出された焦点状態に応じて部分画像を生成させるか否かを切り換え、焦点状態が検出されない場合は、検出された空間周波数成分に応じて部分画像を生成させるか否かを切り換えるステップとを有することを特徴とする。

本発明では、撮像光学系の焦点状態及び被写体像の空間周波数成分のうち一方に応じて、第２の画素群に対応する部分画像を生成させるか否かを切り換える。このため、例えば、被写体像の空間周波数が高い場合やそのような空間周波数が得られる焦点状態の場合に上記部分画像を生成させないようにすることで、撮像素子内の焦点検出画素の数が多くなっても、高い鮮鋭度の画像を取得することが可能である。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例である撮像装置としてのデジタルカメラの構成を示す。

カメラ１００は、被写体から光束により被写体像を形成する撮像光学系１０１と、該撮像光学系１０１に含まれるフォーカスレンズ（図示せず）の位置を制御するレンズ制御部１０２と、撮像光学系１０１からの入射光量を調節する絞り１０３とを有する。さらに、カメラ１００は、撮像光学系１０１からの光束によって被写体像がその受光面上に形成されるＣＭＯＳセンサにより構成される光電変換素子としての撮像素子１０４を備えている。

撮像素子１０４は、それぞれＲ，Ｇ，Ｂのうちいずれか１色のカラーフィルタを有し、撮像光学系１０１により形成される被写体像を光電変換する複数の撮像画素により構成される撮像画素群（第１の画素群）１０５を有する。撮像画素群１０５は、被写体画像を生成するために用いられる像信号を出力する。また、撮像素子１０４は、撮像光学系１０１の焦点状態の検出（焦点検出）に用いられる一対の像信号を出力する焦点検出画素群（第２の画素群）１０６を有する。

焦点検出画素群１０６は、後述する瞳分割光学系１０７により瞳分割された光束を光電変換する、それぞれ複数の第１及び第２の焦点検出画素を含む。複数の第１の焦点検出画素により第１の位相差センサが構成され、複数の第２の焦点検出画素により第２の位相差センサが構成される。そして、第１の位相差センサは、上記一対の像信号のうち一方の像信号を出力し、第２の位相差センサは、上記一対の像信号のうち他方の像信号を出力する。

さらに、撮像素子１０４は、第１の位相差センサと第２の位相差センサとに、撮像光学系１０１からの光束のうち瞳分割した光束をそれぞれ入射させるための瞳分割光学系１０７を備えている。

ここで、図２には、本実施例に用いられる撮像素子１０４の画素配列を示している。図２において、焦点検出画素群１０６における第１の焦点検出画素をＳ１とし、第２の焦点検出画素をＳ２として示している。

第１及び第２の焦点検出画素Ｓ１，Ｓ２の構造はそれぞれ、図５及び図６に示した構造と同様である。すなわち、第１及び第２の焦点検出画素Ｓ１，Ｓ２に設けられた遮光層が、瞳分割光学系１０７としてのマイクロレンズの光軸を挟んだ対称な位置に絞り開口部を有する構造を有している。

図２において、第１の焦点検出画素Ｓ１が離散的に挿入された画素行が第１の位相差センサを構成する。また、第１の位相差センサに対して所定間隔（図２では１画素分の間隔）をあけて配置され、第２の焦点検出画素Ｓ２が離散的に挿入された画素行が第２の位相差センサを構成する。そして、これら第１及び第２の位相差センサを含む１つの焦点検出画素群（第２の画素群）が１つの焦点検出エリアを形成する。図２では、撮像素子１０４の上部と下部にそれぞれ第１の焦点検出エリア及び第２の焦点検出エリアが配置されている。

図１に示すように、カメラ１００は、各焦点検出エリアの第１及び第２の位相差センサから出力される一対の像信号の位相差を相関演算を用いて求める焦点検出部（焦点検出手段）１０８を有する。

ここで、「第１及び第２の位相差センサ（言い換えれば焦点検出画素群１０６）から出力される一対の像信号」とは、基本的には、焦点検出画素Ｓ１，Ｓ２の出力信号のみから生成された一対の像信号である。ただし、焦点検出画素群全体の出力信号から一対の像信号を生成してもよい。

焦点検出部１０８は、さらに該位相差に基づいて、その焦点検出エリアに像が形成されている被写体に対する撮像光学系１０１の焦点状態を示すデフォーカス量を算出する。

なお、本実施例では、焦点検出部１０８でデフォーカス量の算出まで行う場合について説明するが、焦点検出部１０８では像信号の位相差を演算し、後述するカメラ制御部１１７で該位相差に基づいてデフォーカス量を算出するようにしてもよい。また、本実施例では、焦点状態をデフォーカス量として説明するが、位相差を焦点状態として扱ってもよい。

このようにして、焦点検出部１０８は、各焦点検出エリアで個別に焦点検出（デフォーカス量の算出）を行う。

焦点検出画素群１０６（第１及び第２の焦点検出画素Ｓ１，Ｓ２）では、図５及び図６からも分かるように、画素ごとに設けられた遮光層によって視野が制限されており、またカラーフィルタが設けられていない。したがって、焦点検出画素群１０６からの像信号のレベルは、撮像画素群１０５のうち焦点検出画素群１０６の近傍に位置する複数の画素（以下、近傍画素群という）から出力される像信号のレベルと異なって（例えば、低くなって）しまう。

このため、カメラ１００は、焦点検出画素群１０６からの像信号を近傍画素群の像信号のレベルに近づけるために、焦点検出画素群１０６からの像信号に対するゲインを調整するゲイン調整部１１１を有する。

また、カメラ１００は、近傍画素群（撮像画素群１０５）からの像信号に含まれる特定の周波数成分（高周波成分）の強度を検出する空間周波数検出部（周波数成分検出手段）１０９を有する。該高周波成分は、近傍画素群上（第１の画素群上）に形成される被写体像の空間周波数成分を表す。

さらに、カメラ１００は、判定切換部１１０を有する。判定切換部１１０は、焦点検出画素群１０６を用いて検出された焦点状態に応じて後述する画素補間部１１２で補間処理を行うか否かと、空間周波数検出部１０９により検出された高周波成分の強度に応じて画素補間部１１２で補間処理を行うか否かとを切り換える。判定切換部１１０と後述するカメラ制御部１１７とにより制御手段が構成される。

画素補間部（画像生成手段）１１２は、焦点検出画素群１０６に対応する画像データを近傍画素群の出力に基づいて補間して生成する。言い換えれば、画素補間部１１２は、撮像素子１０４からの出力により得られる画像全体の中で、焦点検出画素群１０６に対応する部分画像を撮像画素群１０５（近傍画素群）の出力に基づいて生成する。

「焦点検出画素群１０６に対応する画像データ（部分画像）」は、焦点検出画素群１０６全体をカバーする領域に対する画像データであってもよいし、焦点検出画素Ｓ１，Ｓ２ごとの画像データであってもよい。

また、カメラ１００は、撮像画素群１０５から出力される像信号に対して、ガンマ補正、ホワイトバランス調整、表示用のリサンプリング及び画像圧縮符号化等の画像処理を行う画像処理部１１３を有する。

さらに、カメラ１００は、画像処理部１１３から出力された画像データ（静止画データ）を表示する表示部１１４と、該画像データを半導体メモリや光ディスク等の記録媒体に記録する記録部１１５を有する。また、カメラ１００は、使用者の操作入力を受け付ける操作部１１６と、カメラ１００全体を制御するカメラ制御部１１７とを有する。

カメラ制御部１１７は、焦点検出部１０８から得られるデフォーカス量に基づいて、合焦を得るためのフォーカスレンズの駆動量を算出する。算出された駆動量はレンズ制御部１０２に出力され、レンズ制御部１０２は該駆動量に基づいてフォーカスレンズを移動させる。このようにしてオートフォーカス（ＡＦ）が行われ、撮像光学系１０１の合焦状態を得ることができる。

図３には、本実施例のカメラ１００（主としてカメラ制御部１１７）の動作を示す。この動作は、カメラ制御部１１７内の不図示のメモリに格納されたコンピュータプログラムに従って実行される。

カメラ制御部１１７は、操作部１１６からのＡＦ指令信号（例えば、レリーズボタンの半押し操作によって出力される信号）が入力されることにより、ステップＳ３０１から動作を開始する。なお、ここでは、特に説明をしないが、ＡＦ動作と並行して露出演算等の撮像準備動作が行われているものとする。

ステップＳ３０１にて、カメラ制御部１１７は、撮像素子１０４における焦点検出画素群１０６での電荷蓄積を開始させる。そして、電荷蓄積の完了後、カメラ制御部１１７は、焦点検出画素群１０６から像信号を焦点検出部１０８に対して出力させる。焦点検出部１０８では、前述したようにデフォーカス量を算出してカメラ制御部１１７に出力する。カメラ制御部１１７は、前述したようにフォーカスレンズの駆動量を算出してレンズ制御部１０２に出力し、フォーカスレンズを合焦位置に向けて移動させる。

フォーカスレンズの移動後、被写体像の変化によって露出条件が変化していることが考えられるため、新しいフォーカスレンズ位置にて露出演算を再度行う。その後、ステップＳ３０２に進む。

ステップＳ３０２では、カメラ制御部１１７は、操作部１１６から撮像指令信号（例えば、レリーズボタンの全押し操作によって出力される信号）が入力されたか否かを判定する。撮像指令信号が未入力である場合は、本ステップの判定を繰り返す。一方、撮像指令信号が入力された場合は、ステップＳ３０３に進む。

ステップＳ３０３では、カメラ制御部１１７は、被写体画像を取得する撮像のために、撮像素子１０４に撮像画素群１０５および焦点検出画素群１０６での電荷蓄積を開始させる。蓄積完了後、カメラ制御部１１７は、撮像画素１０５の像信号を空間周波数検出部１０９と画素補間部１１２に出力させ、焦点検出画素群１０６の像信号を焦点検出部１０８とゲイン調整部１１１に出力させる。この出力後、ステップＳ３０４に進む。

ステップＳ３０４では、カメラ制御部１１７は、カウンタを初期化する（ｎ＝１）。カウンタの数値ｎは、撮像素子１０４上に設けられたｎ個の焦点検出エリアの番号に対応する。

ステップＳ３０５では、カメラ制御部１１７及び判定切換部１１０は、第ｎの焦点検出エリアにおいて焦点検出ができたか否かを判定する。焦点検出画素から得られる像信号の位相差に基づいてデフォーカス量を求める焦点検出方法では、繰り返しパターン模様を有する被写体に対しては正しく焦点検出できない場合がある。正しく焦点検出できない場合は、デフォーカス量に応じた画像データ補間の可否の判定ができない。このため、本実施例では、このような場合には、空間周波数検出部１０９で検出された高周波成分の検出結果に応じた画像データ補間の可否判定を行う。これは、高周波成分の強度が高いということは、撮像光学系１０１のデフォーカス量が小さいとみなすことができるからである。

第ｎの焦点検出エリアで焦点検出ができた場合はステップＳ３０６に進み、焦点検出ができなかった（されなかった）場合はステップＳ３１１に進む。

ステップＳ３０６では、カメラ制御部１１７は、第ｎの焦点検出エリアにおけるデフォーカス量を焦点検出部１０８から取得し、該デフォーカス量が所定の閾値（第１の所定値）より小さいか否かを判定する。該判定は、第ｎの焦点検出エリアに形成された被写体像の空間周波数が、この焦点検出エリア（焦点検出画素群１０６）に対応する画像データを生成するための画素補間部１１２による画像データ補間を行うことで良好な全体画像が得られる値か否かの判定でもある。

ここで、多くの場合、デフォーカス量が大きい状態での像信号（被写体像）には高周波成分が少ない（コントラストが低い）。逆に、デフォーカス量が小さい状態（合焦状態に近い状態）での像信号には高周波成分が多い（コントラストが高い）。そして、前述したように、画素補間部１１２による画像データ補間を被写体像の空間周波数が低い状態で行う場合は画像の鮮鋭度の低下が目立たないが、被写体像の空間周波数が高い状態で行うと鮮鋭度の低下が目立つ。

そこで、本実施例では、焦点検出ができた場合は、デフォーカス量の大小に応じて画素補間部１１２による画像データ補間を行うか否かを切り換える。すなわち、デフォーカス量が閾値より小さい場合は画像データ補間を行わずにステップＳ３０７に進み、デフォーカス量が閾値より大きい場合は画像データ補間を行うためにステップＳ３０９に進む。

ステップＳ３０７では、カメラ制御部１１７は、第ｎの焦点検出エリア（以下、第ｎの焦点検出画素群１０６という）の平均像信号と近傍画素群の平均像信号とを比較する。そして、これらの信号レベルが同じ又は同じとみなせる範囲まで近づくように、ゲイン調整部１１１に第ｎの焦点検出画素群１０６の像信号にかけるゲインを調整させる。なお、画素群の平均像信号の比較に代えて、像信号のピーク値を比較してもよい。こうしてゲインを調整した後、ステップＳ３０８に進む。

ステップＳ３０８では、カメラ制御部１１７は、ステップＳ３０７でゲイン調整された第ｎの焦点検出画素群１０６の像信号を、撮像画素群１０５の像信号における第ｎの焦点検出画素群１０６に対応する領域（又は位置）に挿入する。これにより、撮像画素群１０５からの像信号に基づく画像と第ｎの焦点検出画素群１０６からの像信号（ゲイン調整後の像信号）に基づく部分画像とが合成された合成画像データが生成される。カメラ制御部１１７は、合成画像データを画像処理部１１３に出力する。その後、ステップＳ３１３に進む。

一方、ステップＳ３０９では、カメラ制御部１１７は、画素補間部１１２に、第ｎの焦点検出画素群１０６の近傍画素群の像信号に基づいて、第ｎの焦点検出画素群１０６に対応する補間用部分画像データを補間演算によって生成させる。すなわち、画素補間部１１２は、撮像素子１０４からの出力により得られる画像全体のうち、第ｎの焦点検出画素群１０６に対応する部分画像を撮像画素群１０５（近傍画素群）の出力に基づいて生成する。

ここで、本実施例では、撮像画素群１０５のカラーフィルタ配置の周期性から、焦点検出画素Ｓ１，Ｓ２に対して緑成分の画素信号を補間する必要がある。したがって、図２における焦点検出画素Ｓ１，Ｓ２に斜め方向にて隣接する緑成分の画素の信号に基づいて、焦点検出画素Ｓ１，Ｓ２の位置に相当する画素信号を生成する。補間に用いる近傍画素としては、上述した焦点検出画素Ｓ１，Ｓ２に対して斜め方向に隣接する緑成分の画素に限らない。すなわち、さらに位置が離れた緑成分の画素も用い、信号レベルの位置的変化からエッジ検出を行って、被写体像のエッジ位置を考慮した補間演算を行ってもよい。

補間用部分画像データが生成された後、ステップＳ３１０に進む。

ステップＳ３１０では、カメラ制御部１１７は、ステップＳ３０９で生成された第ｎの焦点検出画素群１０６に対する補間用部分画像データの像信号を、撮像画素群１０５の像信号における第ｎの焦点検出画素群１０６に対応する領域（又は位置）に挿入する。これにより、撮像画素群１０５からの像信号に基づく画像と第ｎの焦点検出画素群１０６に対する補間用部分画像とが合成された合成画像データが生成される。カメラ制御部１１７は、合成画像データを画像処理部１１３に出力する。その後、ステップＳ３１３に進む。

また、ステップＳ３１１では、カメラ制御部１１７は、空間周波数検出部１０９に、第ｎの焦点検出画素群１０６に対する近傍画素群の像信号から高周波成分を検出させる。

そして、ステップＳ３１２では、カメラ制御部１１７は、ステップＳ３１１で検出された高周波成分の強度が所定の閾値（第２の所定値）より高いか否かを判定する。

前述したように、高周波成分の強度が閾値より高い（コントラストが高い）場合は、撮像光学系１０１のデフォーカス量が小さいとみなせるので、ステップＳ３０５で焦点検出ができ、ステップＳ３０６でデフォーカス量が閾値より小さい場合と同様に扱う。一方、高周波成分の強度が閾値より低い（コントラストが低い）場合は、撮像光学系１０１のデフォーカス量が大きいとみなせるので、ステップＳ３０５で焦点検出ができ、ステップＳ３０６でデフォーカス量が閾値より大きい場合と同様に扱う。

つまり、検出強度が閾値より高い場合は、画像データ補間を行わずにステップＳ３０７に進み、検出強度が閾値より低い場合は、画像データ補間を行うためにステップＳ３０９に進む。

ステップＳ３１３では、カメラ制御部１１７は、全て（ｎ個）の焦点検出エリアに対してステップＳ３０５〜Ｓ３１２の処理を完了したか否かを判定する。まだ全ての焦点検出エリアに対して処理が終わっていなければ、ステップＳ３１４に進み、カウンタ値を１増やしてステップＳ３０５に戻る。これにより、次の焦点検出エリアに対する上記処理が行われる。一方、全ての焦点検出エリアに対して上記処理を終えていれば、ステップＳ３１５に進む。

ステップＳ３１５では、カメラ制御部１１７は、画像処理部１１３に、合成画像データに対するガンマ補正、ホワイトバランス調整、表示用のリサンプリング及び画像圧縮符号化を行わせる。画像処理部１１３は、これらの処理が施された画像データを表示部１１４に出力する。表示部１１４は、撮像された画像をユーザに確認させるため、該画像データを表示する。

また、画像処理部１１３は、上記処理が施された画像データを記録部１１５へも出力する。記録部１１５は、該画像データを記録媒体に記録する。

以上のような動作により、撮像素子１０４内に設けられる焦点検出画素の数が多くても、高い鮮鋭度を有する良好な画像を取得することができる。

以上説明した実施例は代表的な例にすぎず、本発明の実施に際しては、実施例に対して種々の変形や変更が可能である。

本発明の実施例であるデジタルカメラの構成を示すブロック図。 実施例における撮像画素群と焦点検出画素群の配列を示す図。 実施例のカメラの動作を示すフローチャート。 撮像画素群と焦点検出画素群の配列を示す図。 第１の焦点検出画素の構造を示す図。 第２の焦点検出画素の構造を示す図。 焦点状態（合焦状態）に応じた像信号の位相差を説明するための模式図。 焦点状態（前ピン状態）に応じた像信号の位相差を説明するための模式図。

符号の説明

１００ デジタルカメラ（撮像装置）
１０１ 撮像光学系
１０５ 撮像画素群
１０６ 焦点検出画素群
１０７ 瞳分割光学系
１０９ 空間周波数検出部
１１０ 判定切換部
１１１ ゲイン調整部
１１２ 画素補間部
１１３ 画像処理部
１１７ カメラ制御部
５０１，６０１ マイクロレンズ
５０３，６０３ 遮光層
５０４，６０４ 光電変換領域

Claims (4)

1. 撮像光学系からの光束により形成された被写体像を光電変換する第１の画素群、及び前記撮像光学系からの光束のうち分割された光束を光電変換する複数の焦点検出画素を含む第２の画素群を有する撮像素子と、
   前記第２の画素群からの出力に基づいて前記撮像光学系の焦点状態を検出する焦点検出手段と、
   前記第１の画素群上に形成される被写体像の空間周波数成分を検出する周波数成分検出手段と、
   前記撮像素子からの出力により得られる画像のうち前記第２の画素群に対応する部分画像を前記第１の画素群の出力に基づいて生成する画像生成手段と、
   前記焦点検出手段によって前記焦点状態が検出された場合は、該検出された焦点状態に応じて前記画像生成手段に前記部分画像を生成させるか否かを切り換え、前記焦点検出手段によって前記焦点状態が検出されない場合は、前記周波数成分検出手段により検出された空間周波数成分に応じて前記画像生成手段に前記部分画像を生成させるか否かを切り換える制御手段とを有することを特徴とする撮像装置。
2. 前記制御手段は、
   前記焦点状態としてのデフォーカス量が第１の所定値より小さい場合は前記画像生成手段に前記部分画像を生成させず、該デフォーカス量が前記第１の所定値より大きい場合は前記画像生成手段に前記部分画像を生成させ、
   前記空間周波数成分の強度が第２の所定値より高い場合は前記画像生成手段に前記部分画像を生成させず、前記空間周波数成分の強度が前記第２の所定値より低い場合は前記画像生成手段に前記部分画像を生成させることを特徴とする請求項１に記載の撮像装置。
3. 前記第２の画素群からの出力に対するゲイン調整を行う調整手段を有し、
   前記制御手段は、前記画像生成手段に前記部分画像を生成させない場合は、前記調整手段に前記ゲイン調整を行わせることを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像光学系からの光束により形成された被写体像を光電変換する第１の画素群、及び前記撮像光学系からの光束のうち分割された光束を光電変換する複数の焦点検出画素を含む第２の画素群を有する撮像素子を備えた撮像装置の制御方法であって、
   前記第２の画素群からの出力に基づいて前記撮像光学系の焦点状態を検出するステップと、
   前記第１の画素群上に形成された被写体像の空間周波数成分を検出するステップと、
   前記撮像素子からの出力により得られる画像のうち前記第２の画素群に対応する部分画像を前記第１の画素群の出力に基づいて生成するステップと、
   前記焦点状態が検出された場合は、該検出された焦点状態に応じて前記部分画像を生成させるか否かを切り換え、前記焦点状態が検出されない場合は、前記検出された空間周波数成分に応じて前記部分画像を生成させるか否かを切り換えるステップとを有することを特徴とする撮像装置の制御方法。