JP5207893B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特に、顔等の特定被写体の検出機能を有する撮像装置に関する。

撮像装置に用いられている撮像素子を構成する一部の画素の光学特性を他の画素と異ならせて、該一部の画素からの出力に基づいて焦点検出を行う撮像装置が特許文献１にて開示されている。

特許文献１にて開示された撮像装置では、撮像素子の一部に互いに対をなす焦点検出画素を複数配置する。ここで、図４には、画素行列のうち一部の行に焦点検出画素を配置した撮像素子の画素配置例を示す。

図４において、Ｒ，Ｇ，Ｂはそれぞれ、赤フィルタ、緑フィルタ、青フィルタが配置された通常の撮像画素である。また、Ｓ１，Ｓ２は撮像素子内に離散的に配置された第１及び第２の焦点検出画素であり、撮像画素とは光学特性が異なる。

図５には、第１の焦点検出画素Ｓ１の構造を示す。図５において、第１の焦点検出画素の光入射側には、マイクロレンズ５０１が形成されている。５０２はマイクロレンズ５０１を形成するための平面を構成する平滑層である。

５０３は遮光層であり、第１の焦点検出画素Ｓ１の光電変換領域５０４の中心Ｏに対して一方向に偏心した絞り開口部を有する。

また、図６には、第２の焦点検出画素Ｓ２の構造を示す。図６において、第２の焦点検出画素の光入射側には、マイクロレンズ６０１が形成されている。６０２はマイクロレンズ６０１を形成するための平面を構成する平滑層である。

６０３は遮光層であり、第２の焦点検出画素Ｓ２の光電変換領域６０４の中心Ｏに対して、第１の焦点検出画素Ｓ１に設けられた遮光層５０３とは反対方向に偏心した絞り開口部を有する。すなわち、第１及び第２の焦点検出画素Ｓ１，Ｓ２の遮光層５０３，６０３は、各マイクロレンズの光軸を挟んだ対称な位置に絞り開口部を有する。

このような構成によれば、撮像光学系を第１の焦点検出画素Ｓ１から見た場合と第２の焦点検出画素Ｓ２から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。

図４において、第１の焦点検出画素Ｓ１を含む行と第２の焦点検出画素Ｓ２を含む行には、撮像素子の画素数が多くなるにつれてより近似した２像が形成されるようになる。撮像光学系が被写体に対してピントが合っている状態では、第１の焦点検出画素Ｓ１を含む行と第２の焦点検出画素Ｓ２を含む行から得られる出力（像信号）は互いに一致する。

これに対し、撮像光学系のピントがずれているならば、第１の焦点検出画素Ｓ１を含む行と第２の焦点検出画素Ｓ２を含む行から得られる像信号には位相差が生じる。そして、該位相差の方向は、前ピン状態と後ピン状態とで逆になる。

図７（ａ）及び（ｂ）には、ピント状態と位相差との関係を示す。これらの図においては、両焦点検出画素Ｓ１，Ｓ２を互いに近づけて、それぞれをＡ，Ｂの点として示している。また、撮像画素は省略している。

被写体上の特定点からの光束は、焦点検出画素Ａに対応する分割瞳を通って該焦点検出画素Ａに入射する光束ΦＬａと、焦点検出画素Ｂに対応する分割瞳を通って該焦点検出画素Ｂに入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体上の同一点から入射しているため、撮像光学系のピントが合った状態では、図７（ａ）に示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、第１の焦点検出画素Ａ（Ｓ１）を含む行と第２の焦点検出画素Ｂ（Ｓ２）を含む行からそれぞれ得られる像信号は互いに一致する。

しかし、図７（ｂ）に示すように、ｘだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。したがって、第１の焦点検出画素Ａ（Ｓ１）を含む行と第２の焦点検出画素Ｂ（Ｓ２）を含む行からそれぞれ得られる像信号には位相差が生じる。

以上のことを利用して、特許文献１にて開示された撮像装置は撮像素子を用いた位相差検出方式でのフォーカス制御を行う。

また、特許文献２には、撮像素子からの出力を用いた位相差検出方式のフォーカス制御とコントラスト検出方式のフォーカス制御とを行うことが可能な撮像装置が開示されている。
特開２０００−１５６８２３号公報 特開２００１−３０５４１５号公報

ところで、最近の撮像装置には、生成した画像内に存在する顔を画像認識技術により検出する、いわゆる顔認識機能を有するものがある。撮像装置は、撮像範囲のうち顔認識機能によって検出された顔を含む領域に自動的にピントを合わせたり、該顔を含む領域をモニタ上に拡大表示したりする。

そして、前述したように撮像画素と焦点検出画素とを含む撮像素子を備えた撮像装置においても、撮像画素からの出力を用いて顔認識を行うことができる。

しかしながら、撮像画素は、焦点深度が浅いため、撮像光学系のデフォーカス量が大きい状態では顔認識が難しい。このため、顔認識を正確に行うためには、撮像光学系内の絞りをある程度絞り込んで焦点深度を深くする必要がある。

本発明は、撮像光学系のデフォーカス量が大きい状態でも顔等の特定被写体の検出を行えるようにした撮像装置及びその制御方法を提供する。

本発明の一側面としての撮像装置は、撮像光学系からの光束により形成された被写体像を光電変換する撮像素子であって、第１の画素群及び該第１の画素群よりも焦点深度が深い構造を有する第２の画素群を有する撮像素子と、第１の画素群からの出力を用いて表示又は記録用画像を生成する画像生成手段と、第１の画素群からの出力を用いて生成された第１の被写体検出用画像から特定被写体を検出できない場合に、第２の画素群からの出力を用いて生成された第２の被写体検出用画像から検出された特定被写体を用いてオートフォーカス処理を行う被写体検出手段とを有することを特徴とする。

また、本発明の他の一側面としての制御方法は、撮像光学系からの光束により形成された被写体像を光電変換する撮像素子であって、第１の画素群及び該第１の画素群よりも焦点深度が深い構造を有する第２の画素群を有する撮像素子を備えた撮像装置に適用される。該制御方法は、第１の画素群からの出力を用いて表示又は記録用画像を生成するステップと、第１の画素群からの出力を用いて生成された第１の被写体検出用画像から特定被写体を検出できない場合に、第２の画素群からの出力を用いて生成された第２の被写体検出用画像から検出された特定被写体を用いてオートフォーカス処理を行うステップとを有することを特徴とする。

本発明によれば、第１の画素群よりも焦点深度が深い第２の画素群を、顔等の特定被写体を検出するための画素として用いるので、撮像光学系のデフォーカス量が大きい状態でも特定被写体の検出を行うことが可能となる。このため、特定被写体の検出を可能とするために撮像光学系の絞りを絞り込む動作を不要することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例である撮像装置としてのデジタルカメラの構成を示す。カメラ１００は、被写体から光束により被写体像を形成する撮像光学系１０１と、該撮像光学系１０１に含まれるフォーカスレンズ（図示せず）の位置を制御するレンズ制御部１０２と、撮像光学系１０１からの入射光量を調節する絞り１０３とを有する。さらに、カメラ１００は、撮像光学系１０１からの光束によって被写体像がその受光面上に形成されるＣＭＯＳセンサにより構成される光電変換素子としての撮像素子１０４を備えている。

撮像素子１０４は、それぞれＲ，Ｇ，Ｂのうちいずれか１色のカラーフィルタを有し、撮像光学系１０１により形成される被写体像を光電変換する複数の撮像画素により構成される撮像画素群（第１の画素群）１０５を有する。撮像画素群１０５は、被写体画像を生成するために用いられる撮像信号を出力する。また、撮像素子１０４は、撮像光学系１０１の焦点状態の検出（焦点検出）に用いられる一対の像信号を出力する焦点検出画素群（第２の画素群）１０６を有する。

焦点検出画素群１０６は、後述する瞳分割光学系１０７により瞳分割された光束を光電変換する、それぞれ複数の第１及び第２の焦点検出画素を含む。複数の第１の焦点検出画素により第１の位相差センサが構成され、複数の第２の焦点検出画素により第２の位相差センサが構成される。第１の位相差センサは、上記一対の像信号のうち一方の像信号を出力し、第２の位相差センサは、上記一対の像信号のうち他方の像信号を出力する。

さらに、撮像素子１０４は、第１の位相差センサと第２の位相差センサとに、撮像光学系１０１からの光束のうち瞳分割した光束をそれぞれ入射させるための瞳分割光学系１０７を備えている。

ここで、図２には、本実施例に用いられる撮像素子１０４の画素配列を示している。図２において、焦点検出画素群１０６における第１の焦点検出画素をＳ１とし、第２の焦点検出画素をＳ２として示している。

第１及び第２の焦点検出画素Ｓ１，Ｓ２の構造はそれぞれ、図５及び図６に示した構造と同様である。すなわち、第１及び第２の焦点検出画素Ｓ１，Ｓ２に設けられた遮光層が、瞳分割光学系１０７としてのマイクロレンズの光軸を挟んだ対称な位置に絞り開口を有する構造を有している。言い換えれば、第１及び第２の焦点検出画素Ｓ１，Ｓ２は、画素中心に対して互いに反対側に偏心した絞り開口を有する。

このように遮光層によって開口が絞られた第１及び第２の焦点検出画素Ｓ１，Ｓ２は、撮像画素群１０５の各画素に比べて焦点深度が深い。つまり、焦点検出画素群１０６（第１及び第２の焦点検出画素Ｓ１，Ｓ２）は、撮像画素群１０５に比べて焦点深度が深い構造を有する。

図２において、第１の焦点検出画素Ｓ１が離散的に挿入された画素行が第１の位相差センサを構成する。また、第１の位相差センサに対して所定間隔（図２では１画素分の間隔）をあけて配置され、第２の焦点検出画素Ｓ２が離散的に挿入された画素行が第２の位相差センサを構成する。そして、これら第１及び第２の位相差センサを含む１つの焦点検出画素群（第２の画素群）が１つの焦点検出エリアを形成する。図２では、撮像素子１０４の上部と下部にそれぞれ第１の焦点検出エリア及び第２の焦点検出エリアが配置されている。

カメラ１００は、各焦点検出エリアの第１及び第２の位相差センサから出力される一対の像信号の位相差（像ずれ量）を相関演算を用いて求める焦点検出部（焦点検出手段）１０８を有する。

ここで、「第１及び第２の位相差センサ（言い換えれば焦点検出画素群１０６）から出力される一対の像信号」とは、基本的には、焦点検出画素Ｓ１，Ｓ２の出力信号のみから生成された一対の像信号である。ただし、焦点検出画素群全体の出力信号から一対の像信号を生成してもよい。

焦点検出部１０８は、さらに該位相差に基づいて、その焦点検出エリアに像が形成されている被写体に対する撮像光学系１０１の焦点状態を示すデフォーカス量を算出する。

なお、本実施例では、焦点検出部１０８でデフォーカス量の算出まで行う場合について説明するが、焦点検出部１０８では像信号の位相差を演算し、後述するカメラ制御部１１７で該位相差に基づいてデフォーカス量を算出するようにしてもよい。また、本実施例では、焦点状態をデフォーカス量として説明するが、位相差を焦点状態として扱ってもよい。

このようにして、焦点検出部１０８は、各焦点検出エリアで個別に焦点検出（デフォーカス量の算出）を行う。

焦点検出画素群１０６（第１及び第２の焦点検出画素Ｓ１，Ｓ２）では、図５及び図６からも分かるように、画素ごとに設けられた遮光層によって視野が制限されており、またカラーフィルタが設けられていない。したがって、焦点検出画素群１０６からの像信号のレベルは、撮像画素群１０５のうち焦点検出画素群１０６の近傍に位置する複数の画素（以下、近傍画素群という）から出力される撮像信号のレベルと異なってしまう。

このため、カメラ１００は、焦点検出画素群１０６からの像信号を近傍画素群の撮像信号のレベルに近づけるために、焦点検出画素群１０６からの像信号に対するゲインを調整するゲイン調整部１１１を有する。

また、カメラ１００は、近傍画素群（撮像画素群１０５）からの撮像信号に含まれる特定の周波数成分（高周波成分）の強度を検出する空間周波数検出部（周波数成分検出手段）１０９を有する。該高周波成分は、近傍画素群上（第１の画素群上）に形成される被写体像の空間周波数成分を表す。

さらに、カメラ１００は、判定切換部１１０を有する。判定切換部１１０は、焦点検出画素群１０６を用いて検出された焦点状態に応じて後述する画素補間部１１２で補間処理を行うか否かと、空間周波数検出部１０９により検出された高周波成分の強度に応じて画素補間部１１２で補間処理を行うか否かとを切り換える。

画素補間部１１２は、焦点検出画素群１０６に対応する画像データを近傍画素群の出力に基づいて補間して生成する。言い換えれば、画素補間部１１２は、撮像素子１０４からの出力により得られる画像全体の中で、焦点検出画素群１０６に対応する部分画像を撮像画素群１０５（近傍画素群）の出力に基づいて生成する。

「焦点検出画素群１０６に対応する画像データ（部分画像）」は、焦点検出画素群１０６全体をカバーする領域に対する画像データであってもよいし、焦点検出画素Ｓ１，Ｓ２ごとの画像データであってもよい。

また、カメラ１００は、画像処理部１１３を有する。画像処理部１１３には、後述するように、撮像画素群１０５からの撮像信号により得られた画像データを画素補間部１１２で補間処理することで生成される合成画像データが入力される。画像処理部１１３は、合成画像データに対して、ガンマ補正、ホワイトバランス調整、表示用のリサンプリング及び画像圧縮符号化等の画像処理を行い、表示又は記録用の画像データ（表示又は記録用画像）を生成する。画素補間部１１２及び画像処理部１１３により画像生成手段が構成される。

さらに、カメラ１００は、画像処理部１１３から出力された画像データ（静止画データ）を表示する表示部１１４と、該画像データを半導体メモリや光ディスク等の記録媒体に記録する記録部１１５を有する。また、カメラ１００は、使用者の操作入力を受け付ける操作部１１６と、カメラ１００全体を制御する制御手段としてのカメラ制御部１１７とを有する。

カメラ制御部１１７は、焦点検出部１０８から得られたデフォーカス量に基づいて、合焦を得るためのフォーカスレンズの駆動量を算出する。算出された駆動量はレンズ制御部１０２に出力され、レンズ制御部１０２は該駆動量に基づいてフォーカスレンズを移動させる。このようにして位相差ＡＦ（フォーカス制御）が行われ、撮像光学系１０１の合焦状態を得ることができる。

また、カメラ制御部１１７は、後述する顔検出処理を行う被写体検出手段としても機能する。

図３には、本実施例のカメラ１００（主としてカメラ制御部１１７）の動作（制御方法）を示す。この動作は、カメラ制御部１１７内の不図示のメモリに格納されたコンピュータプログラムに従って実行される。

カメラ制御部１１７は、操作部１１６からのＡＦ指令信号（例えば、レリーズボタンの半押し操作によって出力される信号）が入力されることにより、ステップＳ３０１から動作を開始する。なお、ここでは、特に説明をしないが、ＡＦ動作と並行して露出演算等の撮像準備動作が行われているものとする。

ステップＳ３０１にて、カメラ制御部１１７は、ＡＦ動作を行う。具体的には、カメラ制御部１１７は、撮像素子１０４における焦点検出画素群１０６での電荷蓄積を開始させる。そして、電荷蓄積の完了後、カメラ制御部１１７は、焦点検出画素群１０６から像信号を焦点検出部１０８に対して出力させる。焦点検出部１０８では、前述したようにデフォーカス量を算出してカメラ制御部１１７に出力する。カメラ制御部１１７は、前述したようにフォーカスレンズの駆動量を算出してレンズ制御部１０２に出力し、フォーカスレンズを合焦位置に向けて移動させる。

フォーカスレンズの移動後、被写体像の変化によって露出条件が変化していることが考えられるため、新しいフォーカスレンズ位置にて露出演算を再度行う。その後、ステップＳ３０２に進む。

ステップＳ３０２では、カメラ制御部１１７は、操作部１１６から撮像指令信号（例えば、レリーズボタンの全押し操作によって出力される信号）が入力されたか否かを判定する。撮像指令信号が未入力である場合は、本ステップの判定を繰り返す。一方、撮像指令信号が入力された場合は、ステップＳ３０３に進む。

ステップＳ３０３では、カメラ制御部１１７は、被写体画像を取得する撮像のために、撮像素子１０４に撮像画素群１０５および焦点検出画素群１０６での電荷蓄積を開始させる。蓄積完了後、カメラ制御部１１７は、撮像画素１０５の撮像信号を空間周波数検出部１０９と画素補間部１１２に出力させ、焦点検出画素群１０６の像信号を焦点検出部１０８とゲイン調整部１１１に出力させる。この出力後、ステップＳ３０４に進む。

ステップＳ３０４では、カメラ制御部１１７は、カウンタを初期化する（ｎ＝１）。カウンタの数値ｎは、撮像素子１０４上に設けられたｎ個の焦点検出エリアの番号に対応する。

ステップＳ３０５では、カメラ制御部１１７及び判定切換部１１０は、第ｎの焦点検出エリアにおいて焦点検出ができたか否かを判定する。焦点検出画素１０６から得られる像信号の位相差に基づいてデフォーカス量を求める場合、繰り返しパターン模様を有する被写体に対しては正しく焦点検出できない場合がある。正しく焦点検出できない場合は、デフォーカス量に応じた画像データ補間の可否の判定ができない。

このため、本実施例では、このような場合には、空間周波数検出部１０９で検出された高周波成分の検出結果に応じた画像データ補間の可否判定を行う。これは、高周波成分の強度が高いということは、撮像光学系１０１のデフォーカス量が小さいとみなすことができるからである。

第ｎの焦点検出エリアで焦点検出ができた場合はステップＳ３０６に進み、焦点検出ができなかった場合はステップＳ３１１に進む。

ステップＳ３０６では、カメラ制御部１１７は、第ｎの焦点検出エリアにおけるデフォーカス量を焦点検出部１０８から取得し、該デフォーカス量が所定の閾値（第１の所定値）より小さいか否かを判定する。該判定は、第ｎの焦点検出エリアに形成された被写体像の空間周波数が、この焦点検出エリア（焦点検出画素群１０６）に対応する画像データを生成するための画素補間部１１２による画像データ補間を行うことで良好な全体画像が得られる値か否かの判定でもある。

ここで、多くの場合、デフォーカス量が大きい状態での像信号（被写体像）には高周波成分が少ない（コントラストが低い）。逆に、デフォーカス量が小さい状態（合焦状態に近い状態）での像信号には高周波成分が多い（コントラストが高い）。そして、前述したように、画素補間部１１２による画像データ補間を被写体像の空間周波数が低い状態で行う場合は画像の鮮鋭度の低下が目立たないが、被写体像の空間周波数が高い状態で行うと鮮鋭度の低下が目立つ。

そこで、本実施例では、焦点検出ができた場合は、デフォーカス量の大小に応じて画素補間部１１２による画像データ補間を行うか否かを切り換える。すなわち、デフォーカス量が閾値より小さい場合は画像データ補間を行わずにステップＳ３０７に進み、デフォーカス量が閾値より大きい場合は画像データ補間を行うためにステップＳ３０９に進む。

ステップＳ３０７では、カメラ制御部１１７は、第ｎの焦点検出エリア（以下、第ｎの焦点検出画素群１０６という）の平均像信号と近傍画素群の平均撮像信号とを比較する。そして、これらの信号レベルが同じ又は同じとみなせる範囲まで近づくように、ゲイン調整部１１１に第ｎの焦点検出画素群１０６の像信号にかけるゲインを調整させる。なお、像信号及び撮像信号の平均値の比較に代えて、像信号及び撮像信号のピーク値を比較してもよい。こうしてゲインを調整した後、ステップＳ３０８に進む。

ステップＳ３０８では、カメラ制御部１１７は、ステップＳ３０７でゲイン調整された第ｎの焦点検出画素群１０６の像信号を、撮像画素群１０５の撮像信号における第ｎの焦点検出画素群１０６に対応する領域（又は位置）に挿入する。これにより、撮像画素群１０５からの撮像信号に基づく画像と第ｎの焦点検出画素群１０６からの像信号（ゲイン調整後の像信号）に基づく部分画像とが合成された合成画像データが生成される。カメラ制御部１１７は、合成画像データを画像処理部１１３に出力する。その後、ステップＳ３１３に進む。

一方、ステップＳ３０９では、カメラ制御部１１７は、画素補間部１１２に、第ｎの焦点検出画素群１０６の近傍画素群からの撮像信号に基づいて、第ｎの焦点検出画素群１０６に対応する補間用部分画像データを補間演算によって生成させる。すなわち、画素補間部１１２は、撮像素子１０４からの出力により得られる画像全体のうち、第ｎの焦点検出画素群１０６に対応する部分画像を撮像画素群１０５（近傍画素群）の出力に基づいて生成する。

ここで、本実施例では、撮像画素群１０５のカラーフィルタ配置の周期性から、特に焦点検出画素Ｓ１，Ｓ２に対して緑成分の画素信号を補間する必要がある。したがって、図２における近傍画素群のうち焦点検出画素Ｓ１，Ｓ２に斜め方向にて隣接する緑成分の画素の信号に基づいて、焦点検出画素Ｓ１，Ｓ２の位置に相当する画素信号を生成する。補間に用いる周辺画素としては、上述した焦点検出画素Ｓ１，Ｓ２に対して斜め方向に隣接する緑成分の画素に限らない。すなわち、さらに位置が離れた緑成分の画素も用い、信号レベルの位置的変化からエッジ検出を行って、被写体像のエッジ位置を考慮した補間演算を行ってもよい。

補間用部分画像データが生成された後、ステップＳ３１０に進む。

ステップＳ３１０では、カメラ制御部１１７は、ステップＳ３０９で生成された第ｎの焦点検出画素群１０６に対する補間用部分画像データの信号を、撮像画素群１０５の撮像信号における第ｎの焦点検出画素群１０６に対応する領域（又は位置）に挿入する。これにより、撮像画素群１０５からの撮像信号に基づく画像と第ｎの焦点検出画素群１０６に対する補間用部分画像とが合成された合成画像データが生成される。カメラ制御部１１７は、合成画像データを画像処理部１１３に出力する。その後、ステップＳ３１３に進む。

また、ステップＳ３１１では、カメラ制御部１１７は、空間周波数検出部１０９に、第ｎの焦点検出画素群１０６に対する近傍画素群の撮像信号から高周波成分を検出させる。

そして、ステップＳ３１２では、カメラ制御部１１７は、ステップＳ３１１で検出された高周波成分の強度が所定の閾値（第２の所定値）より高いか否かを判定する。

前述したように、高周波成分の強度が閾値より高い（コントラストが高い）場合は、撮像光学系１０１のデフォーカス量が小さいとみなせるので、ステップＳ３０５で焦点検出ができ、ステップＳ３０６でデフォーカス量が閾値より小さい場合と同様に扱う。一方、高周波成分の強度が閾値より低い（コントラストが低い）場合は、撮像光学系１０１のデフォーカス量が大きいとみなせるので、ステップＳ３０５で焦点検出ができ、ステップＳ３０６でデフォーカス量が閾値より大きい場合と同様に扱う。

つまり、検出強度が閾値より高い場合は、画像データ補間を行わずにステップＳ３０７に進み、検出強度が閾値より低い場合は、画像データ補間を行うためにステップＳ３０９に進む。

ステップＳ３１３では、カメラ制御部１１７は、全て（ｎ個）の焦点検出エリアに対してステップＳ３０５〜Ｓ３１２の処理を完了したか否かを判定する。まだ全ての焦点検出エリアに対して処理が終わっていなければ、ステップＳ３１４に進み、カウンタ値を１増やしてステップＳ３０５に戻る。これにより、次の焦点検出エリアに対する上記処理が行われる。一方、全ての焦点検出エリアに対して上記処理を終えていれば、ステップＳ３１５に進む。

ステップＳ３１５では、カメラ制御部１１７は、画像処理部１１３に、合成画像データに対するガンマ補正、ホワイトバランス調整、表示用のリサンプリング及び画像圧縮符号化を行わせる。画像処理部１１３は、これらの処理が施された画像データを表示部１１４に出力する。表示部１１４は、撮像により得られた画像をユーザに確認させるため、該画像データを表示する。

また、画像処理部１１３は、上記処理が施された画像データを記録部１１５へも出力する。記録部１１５は、該画像データを記録媒体に記録する。

次に、上述したステップＳ３０１での位相差ＡＦのためにカメラ制御部１１７が行う顔検出（顔認識）処理について、図９に示すフローチャートを用いて説明する。図８には、図２に示した撮像素子１０４の全体と、該撮像素子１０４上に形成された被写体像を示している。

ステップＳ４０１で本処理がスタートすると、カメラ制御部１１７は、ステップＳ４０２で撮像画素群１０５を選択する。そして、ステップＳ４０３で、カメラ制御部１１７は、撮像画素群１０５からの出力（撮像信号）に基づいて画像データ（第１の被写体検出用画像：以下、撮像画素画像という）を生成する。カメラ制御部１１７は、この撮像画素画像から特定被写体としての顔を検出する処理を行う。顔の検出処理は、パターン認識等の公知の画像認識技術を用いて行われる。

次に、ステップＳ４０４では、カメラ制御部１１７は、撮像画素画像において顔を検出できたか否かを判定する。顔を検出できた場合はステップＳ４０５に進み、顔検出ＯＫとの決定をする。そして、ステップＳ４０６に進む。

一方、顔を検出できなかった場合（例えば、撮像光学系１０１のデフォーカス量が大きく、撮像画素群１０５上に形成された被写体像が大きくぼけることで顔検出が不能である場合）は、ステップＳ４０７に進む。

ステップＳ４０７では、カメラ制御部１１７は、焦点検出画素群１０６を選択する。焦点検出画素群１０６は、撮像画素群１０５に比べて離散的に配置されており、顔の詳細の検出まではできないが、顔の輪郭程度は検出可能な解像度を有する。また、焦点検出画素群１０６を用いて顔検出を行う場合は、肌色のような色情報を用いずに顔検出を行う必要がある。

ステップＳ４０８では、カメラ制御部１１７は、焦点検出画素群１０６からの出力を用いて画像データ（第２の被写体検出用画像：以下、焦点検出画素画像という）を生成し、該焦点検出画素画像から顔を検出する処理を行う。

ステップＳ４０９では、カメラ制御部１１７は、焦点検出画素画像において顔を検出できたか否かを判定する。顔を検出できた場合はステップＳ４０５に進み、顔検出ＯＫとの決定をする。

一方、顔を検出できなかった場合は、ステップＳ４１０に進む。ステップＳ４１０では、カメラ制御部１１７は、顔検出不能（ＮＧ）と決定し、ステップＳ４０６に進む。
ステップＳ４０６では、カメラ制御部１１７はＡＦシーケンスへと移行する。

ＡＦシーケンスにおいては、先のステップＳ４０５で顔検出ＯＫと決定された場合は、カメラ制御部１１７は、焦点検出画素群１０６のうち顔を光電変換した焦点検出画素からの出力に基づいて位相差ＡＦを行う。また、ステップＳ４１０で顔検出ＮＧと決定された場合は、カメラ制御部１１７は、焦点検出画素群１０６のうち所定の焦点検出画素（例えば、撮像素子１０４の中心部の焦点検出画素）からの出力に基づいて位相差ＡＦを行う。

以上説明したように、本実施例では、焦点検出画素群を顔検出用画素として用いる。焦点検出画素は、撮像画素よりも焦点深度が深いため、撮像光学系１０１のデフォーカス量が大きい場合でも、焦点検出画素によってぼけの少ない顔を検出することができる。これにより、従来のように顔検出のために撮像光学系の絞りをある程度絞り込む動作を不要とすることができる。

なお、上記実施例では、特定被写体として顔を検出する場合について説明したが、特定被写体は顔以外の被写体であってもよい。

また、以上説明した実施例は代表的な例にすぎず、本発明の実施に際しては、実施例に対して種々の変形や変更が可能である。

本発明の実施例であるデジタルカメラの構成を示すブロック図。 実施例における撮像画素群と焦点検出画素群の配列を示す図。 実施例のカメラの動作を示すフローチャート。 撮像画素群と焦点検出画素群の配列を示す図。 第１の焦点検出画素の構造を示す図。 第２の焦点検出画素の構造を示す図。 焦点状態（合焦状態及び前ピン状態）に応じた像信号の位相差を説明するための模式図。 実施例のカメラにおける撮像素子を示す図。 実施例のカメラにおける顔検出シーケンスを示すフローチャート。

符号の説明

１００ デジタルカメラ（撮像装置）
１０１ 撮像光学系
１０５ 撮像画素群
１０６ 焦点検出画素群
１０７ 瞳分割光学系
１０９ 空間周波数検出部
１１０ 判定切換部
１１１ ゲイン調整部
１１２ 画素補間部
１１３ 画像処理部
１１７ カメラ制御部
５０１，６０１ マイクロレンズ
５０３，６０３ 遮光層
５０４，６０４ 光電変換領域

Claims (4)

1. 撮像光学系からの光束により形成された被写体像を光電変換する撮像素子であって、第１の画素群及び該第１の画素群よりも焦点深度が深い構造を有する第２の画素群を有する撮像素子と、
   前記第１の画素群からの出力を用いて表示又は記録用画像を生成する画像生成手段と、
   前記第１の画素群からの出力を用いて生成された第１の被写体検出用画像から特定被写体を検出できない場合に、前記第２の画素群からの出力を用いて生成された第２の被写体検出用画像から検出された特定被写体を用いてオートフォーカス処理を行う被写体検出手段とを有することを特徴とする撮像装置。
2. 前記第２の画素群は、画素中心に対して互いに反対側に偏心した絞り開口を有する複数の画素を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の画素群のうち前記特定被写体を光電変換する画素からの出力に基づいて、前記撮像光学系のフォーカス制御を行う制御手段を有することを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像光学系からの光束により形成された被写体像を光電変換する撮像素子であって、第１の画素群及び該第１の画素群よりも焦点深度が深い構造を有する第２の画素群を有する撮像素子を備えた撮像装置の制御方法であって、
   前記第１の画素群からの出力を用いて表示又は記録用画像を生成するステップと、
   前記第１の画素群からの出力を用いて生成された第１の被写体検出用画像から特定被写体を検出できない場合に、前記第２の画素群からの出力を用いて生成された第２の被写体検出用画像から検出された特定被写体を用いてオートフォーカス処理を行うステップとを有することを特徴とする撮像装置の制御方法。