JP5963606B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮影光学系により結像される被写体像を光電変換する撮像素子により取得される画像信号を使用して、焦点検出を行う撮像装置及びその制御方法に関するものである。

デジタルカメラやビデオカメラにおいては、ＣＣＤやＣＭＯＳ等の撮像素子からの出力信号を利用し、被写体のコントラスト評価値に応じた信号を検出して合焦させるコントラスト検出式のオートフォーカス（以下、ＡＦ）方法が一般的である。この方法では、フォーカスレンズを所定の移動範囲にわたって光軸方向に移動させながら被写体のコントラスト評価値を順次検出（ＡＦスキャン動作）し、コントラスト評価値が最大となるフォーカスレンズ位置を合焦位置として検出する。

また、撮像素子からの出力信号を利用し、撮影範囲内に含まれる人物の顔を検出する顔検出処理を実行し、検出された顔に対してピントが合うように合焦制御を行う撮像装置が知られている。

特許文献１には、顔検出を行い、コントラスト検出式ＡＦを行うもので、検出された顔検出領域の中からＡＦ対象領域（焦点検出領域）を決定する方法が開示されている。検出される顔の大きさに応じて、ＡＦ対象領域の大きさを変更することにより、背景の影響を低減し高精度な焦点検出を実現することが可能である。

また、特許文献２には、顔検出を行い、顔の内部に主ＡＦ対象領域を設定し、その周辺に補助ＡＦ領域を設定する方法が開示されている。主ＡＦ対象領域は、顔の内部に設定されるため、背景の影響を受けにくいという利点がある。

特開２００９−９８３１７号公報 特開２０１１−３９４６０号公報

しかしながら、上述の特許文献１に開示された従来技術では、ＡＦ対象領域に顔の輪郭を含むため、スキャン動作中に、ＡＦ対象領域に顔の輪郭が出たり入ったりすることにより、コントラスト評価値が影響を受け、焦点検出精度を損ねてしてしまう。特に顔の明るさより背景の方が明るい逆光の状況では、その影響が顕著である。

一方で、特許文献２に開示された従来技術では、検出された顔検出領域の内部にＡＦ対象領域を設定するため、ＡＦスキャン動作中のＡＦ対象領域への顔の輪郭の出入りの影響は低減されるが、比較的大きな顔の動きがあった場合には、影響を受けてしまう。ＡＦスキャン動作中の顔の動きの影響を低減するために、ＡＦ対象領域をより小さくすることが考えられるが、小さくするとＡＦ対象領域から得られるコントラスト評価値の情報量が減るため、低照度、低コントラストなどの環境での合焦精度の悪化を招いてしまう。

また、上述の特許文献１、特許文献２では、顔の輪郭の中で、よりコントラスト評価値に影響を与える顔の輪郭の方向については、言及されていない。

そこで、本発明の目的は、ＡＦスキャン動作中における被写体の動きがあった場合にも高精度な焦点検出を行うことを可能にした焦点検出装置を有する撮像装置及びその制御方法を提供することである。

上記目的を達成するために、本発明は、撮影光学系により結像された被写体像を撮像する撮像素子と、前記撮像素子の撮像面内で被写体の顔検出領域に焦点検出領域を設定する焦点検出領域設定手段と、前記撮像素子で光電変換して得られた画像信号に基づいて、前記撮像素子の撮像面内に設定された焦点検出領域での被写体のＡＦ評価方向のコントラストを示すＡＦ評価値を求め、前記ＡＦ評価値に基づいて前記焦点検出領域での被写体の合焦位置を検出する焦点検出手段と、前記画像信号に基づいて前記撮像面内の前記ＡＦ評価方向に対する前記顔の２つの目を結んだ第１の方向の傾きに関する情報を取得する被写体情報取得手段と、を有する撮像装置であって、
前記焦点検出領域設定手段は、前記被写体の顔の傾きの大きさに関係なく、前記ＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第１の伸縮率が前記ＡＦ評価方向と直交する第２の方向の顔検出領域の長さに対する焦点検出領域の長さの第２の伸縮率よりも小さくなるように設定することを特徴とする。

本発明によれば、ＡＦスキャン動作中における被写体の顔の傾きに変化があった場合にも高精度な焦点検出を行うことを可能にした焦点検出装置を有する撮像装置及びその制御方法を提供することができる。

図３における焦点検出領域設定のサブルーチンを説明するフローチャート図である。 本発明の実施例１に係わる電子カメラの構成を示すブロック図である。 本発明の実施例１における顔領域でのＡＦ動作を示すフローチャート図である。 本発明の実施例１における焦点検出領域の設定を説明する図である。 本発明の実施例１における焦点検出領域の設定のためのデータテーブルの例を説明する図である。 図３における焦点検出領域の選択のサブルーチンを説明するフローチャート図である。 本発明の実施例２における焦点検出領域の設定を説明する図である。

（実施例１）
以下に、本発明の好ましい実施例１を、図１〜図６に基づいて詳細に説明する。図２は、本発明の実施例にかかわる焦点検出装置を有する撮像装置の概略構成例を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラやデジタルビデオカメラを含むが、これに限るものではなく、入射する光学像をエリアセンサなどの２次元配列された撮像素子を用いて光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。

図２において、１０３は後述する撮像素子１０８上に被写体像を結像させるための撮影光学系としての撮影レンズであり、１０４は撮影レンズの一部を構成し撮像素子１０８上に焦点を合わせるためのフォーカスレンズである。１０５は焦点検出手段としてのＡＦ処理部である。

１０８は被写体からの反射光を電気信号に変換する（光電変換する）撮像素子である。１０９は撮像素子１０８の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に非線形増幅を行う非線形増幅回路を含むＡ／Ｄ変換部である。１１０は画像処理部である。１１７は画像表示の他、操作補助のための表示やカメラ状態の表示、撮影時には撮影画面と焦点検出領域を表示する操作表示部である。

１２３は画像処理部１１０で処理された画像信号を用いて被写界中から顔検出を行い、検出した一つ又は複数の顔情報（位置・大きさ・信頼度・顔の向き・顔の検出数）をシステム制御部（以下、ＣＰＵ）１１５に送る顔検出モジュールである。顔検出モジュール１２３は、被写体情報取得手段である。なお、顔の検出方法は、本発明の主眼点ではないため詳細な説明は省略する。

次に、図３のフローチャート及び図４を参照しながら、本実施例の電子カメラにおける顔検出時のＡＦ動作について説明する。ステップＳ１では、顔検出モジュール１２３から得られる顔情報（位置、大きさ、顔の検出数）に基づき主被写体判定を行い、焦点検出領域を設定する。焦点検出領域の設定は、ＡＦ処理部１０５が行い、ＡＦ処理部１０５は、焦点検出領域設定手段である。

ここで、図４を参照しながら本実施例における焦点検出領域の設定方法の特徴について説明する。図４に示すように、顔検出モジュール１２３により検出した画面内における顔検出領域の内部に焦点検出領域を設定する。撮影画面５００内の人物３０１、３０２、３０３、３０４に対して、顔の存在する領域として検出された顔検出領域３０１ａ、３０２ａ、３０３ａ、３０４ａ（点線）として示している。さらに、各顔検出領域３０１ａ、３０２ａ、３０３ａ、３０４ａ（点線）に対して、設定した焦点検出領域３０１ｂ、３０２ｂ、３０３ｂ、３０４ｂ（実線）として示している。

各人物３０１から３０４の顔検出領域の大きさに合わせて、顔検出領域３０１ａから３０４ａは設定されている。特に人物３０４は、顔検出領域が小さいため、顔検出領域３０１ａから３０３ａに比べて、小さい顔検出領域３０４ａが設定されている。また、人物３０１から３０３は、撮影画面５００内で顔の向きが異なるように配置されている。本実施例では、人物３０１から３０４のように、顔の向きや大きさに合わせて、顔検出領域に対する焦点検出領域の縦横それぞれの長さを変更する。焦点検出領域の設定方法の詳細については、後述する。

ステップＳ１の手順については、図１を用いて後述する。ステップＳ２では、ステップＳ１で設定した各焦点検出領域でＡＦスキャン（焦点検出動作）を行い、ステップＳ３へと進む。ＡＦスキャンでは、フォーカスレンズ１０４をスキャン開始位置からスキャン終了位置まで所定量ずつ移動させながら、各フォーカスレンズ位置におけるＡＦ評価値をＣＰＵ１１５へ記憶していく。

ここで、例えば、スキャン開始位置を無限遠、スキャン終了位置をＡＦスキャン可能な範囲の至近端とする。ステップＳ３では、ステップＳ２で得られたＡＦ評価値のピーク位置（極大位置）を演算により算出し、ステップＳ４へと進む。ステップＳ４では各焦点検出領域のピーク位置の合焦判定（合焦状態判定）を行い、ステップＳ５へ進む。

ここでは、フォーカスレンズ位置に対するＡＦ評価値の極大値の有無を判定し、極大値が存在する場合のフォーカスレンズ位置を算出する。更に、極大値近傍のＡＦ評価値の変化曲線の信頼性を評価する。この信頼性評価は、求められたＡＦ評価値が、被写体の光学像が撮像素子１０８上に結像したために極大値をとったのか、その他の外乱により極大値をとったのかを判定する。

合焦判定の詳細な方法としては、例えば、特開２０１０−０７８８１０号公報の図１０から図１３で説明されているような方法を用いればよい。

つまり、合焦状態を示すＡＦ評価値が山状になっているか否かを、ＡＦ評価値の最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、および傾斜している部分の勾配から判断する。これにより、合焦判定を行うことができる。

ステップＳ５では合焦位置を決めるための焦点検出領域を選択する（焦点検出領域選択動作）。ステップＳ５の手順については図６を用いて後述する。ステップＳ６では、ステップＳ５で焦点検出領域を選択したかどうかを調べ、選択した焦点検出領域があればステップＳ７へ、選択した焦点検出領域がなければステップＳ９へ進む。

ステップＳ７では、選択した焦点検出領域のピーク位置を合焦位置としてフォーカスレンズ１０４を駆動してステップＳ８へ進む。ステップＳ８では、操作表示部１１７の画像表示部に、合焦枠を表示してＡＦ動作を終了する。ここで、合焦枠とは画像領域内でどこの領域が合焦しているかを示すための枠である。例えば、顔が合焦している場合は顔の領域に枠を表示する。また、合焦しているという状態が判別しやすいように枠に合焦を示す色（例えば緑色など）をつけて表示する。

ステップＳ９では、ＡＦ処理部１０５がフォーカスレンズ１０４を、顔検出モジュール１２３により検出した顔の大きさから推定した人物の距離に対応するフォーカスレンズ位置（以下、顔推定位置という）へ駆動し、ステップＳ１０へ進む。ステップＳ１０では、操作表示部１１７の画像表示部に、非合焦枠を表示してＡＦ動作を終了する。ここで、非合焦枠とは非合焦時に画像領域内で被写体の存在する領域または所定の領域に表示する枠であり、非合焦であるという状態が判別しやすいように合焦枠とは異なる色の枠（例えば黄色など）を設定する。

次に、図１のフローチャートを参照しながら図３のステップＳ１における焦点検出領域設定の動作について説明する。ここでは、図３で示した顔検出領域に対して、焦点検出領域を各顔に設定する。

まず、ステップＳ１０１では顔検出モジュール１２３から、検出した顔情報（検出数、位置、大きさ、傾き）を取得し、ステップＳ１０２へ進む。ステップＳ１０２では、顔の数をカウントする変数ｉを０に初期化し、ステップＳ１０３へ進む。

ステップＳ１０３では、検出された顔検出領域（点線）に対する焦点検出領域（実線）の大きさを算出する。算出方法について、図４を用いて詳細に説明する。図４の撮影画面５００は、撮像素子１０８と対応し、ＡＦ処理部１０５は、図中Ｘ方向をＡＦ評価方向として、コントラスト情報をＡＦ評価値として算出する。

一般に、人の顔においては、毛髪、眉毛、目など黒色部や、鼻や口などの開口による印影部のコントラストが高く、ＡＦ評価値は大きくなる。そのため、焦点検出領域に、こういった高コントラスト部を含むように設定することが望ましい。

また、顔部と背景のコントラストが高い場合にも、顔輪郭部のＡＦ評価値は大きくなる。しかしながら、顔の輪郭を焦点検出領域が含む場合には、背景の影響による遠近競合が発生する場合がある。このような顔とその周囲の背景を含む焦点検出領域における遠近競合としては、遠方の背景の絵柄にピントが合ってしまう場合や、顔の輪郭部である耳付近にピントが合い撮影者が意図する人物の目周辺にピントが合わない場合などが考えられる。

そのため、公知の技術として、焦点検出領域として顔の輪郭を含まないような領域を設定することで、ＡＦスキャン中に顔が動いた場合にも顔の輪郭がＡＦ評価値に与える影響を低減することが知られている。

しかし、焦点検出領域を小さく設定すると、上述の顔の高コントラスト部が焦点検出領域に含まれにくくなってしまう。

そこで、本実施例では、人の顔の内部の高コントラスト部をなるべく含みながら、顔の輪郭の影響を受けにくい焦点検出領域の設定を行う。具体的には、ＡＦ評価方向に対して、ＡＦ評価値に影響が大きい顔の輪郭が存在する方向の顔検出領域に対する焦点検出領域の伸縮率を小さく設定する。また、一方で、ＡＦ評価方向（Ｘ方向）に対して、ＡＦ評価値に影響が小さい方向の顔の輪郭が存在する方向の顔検出領域に対する焦点検出領域の伸縮率を大きく設定する。

つまり、焦点検出領域設定手段は、被写体の顔の傾きの大きさに関係なく、ＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第１の伸縮率が前記ＡＦ評価方向と直交する第２の方向の顔検出領域の長さに対する焦点検出領域の長さの第２の伸縮率よりも小さくなるように設定している。

また、検出された顔の大きさが小さい場合、顔の内部だけでは、ＡＦ評価値が十分に大きな値として得られないことや、顔の内部の耳や目などが被写界深度内に入ることを鑑みて、焦点検出領域に顔の輪郭を含むように設定する。焦点検出領域の設定方法の詳細は後述する。

人物３０１は、２つの目を結ぶ直線が、ＡＦ評価方向に対して直交する場合を示している。第１の方向としての２つの目を結ぶ直線の方向は、Ｙ方向と対応している。人物３０１に関して、顔の横方向は、Ｙ方向と対応し、顔の縦方向は、Ｘ方向と対応する。ＡＦ評価方向の顔の輪郭である顎部や頭部の輪郭は、ＡＦ評価方向と直交しているため、ＡＦ評価値に与える影響が大きい。一方で、左右の耳部の輪郭は、ＡＦ評価方向と略平行であるため、顔の輪郭部が焦点検出領域に侵入しても、ＡＦ評価方向のコントラストは検出されず、ＡＦ評価値に与える影響は小さい。

人物３０１の焦点検出領域３０１ｂは、顔検出領域３０１ａの顔の縦方向（Ｘ方向）の伸縮率に対して、顔検出領域３０１ａの顔の横方向（Ｙ方向）の伸縮率を大きく設定する。また、焦点検出領域３０１ｂの重心位置は、統計的に顔の内部の高コントラスト部を多く含むように設定すればよい。焦点検出領域の伸縮率や重心位置の情報は、ＣＰＵ１１５が記憶している。

図５に、ＣＰＵ１１５に記憶された焦点検出領域を設定する際に用いるデータテーブルの例を示している。図５の通り、顔の大きさに対して閾値を設け、焦点検出領域設定用のパラメータを区分している。これは、上述の通り、顔検出領域の大きさが小さい場合の情報量の不足や顔検出領域内部（耳と目など）での遠近競合の影響の小ささを鑑みて、区分している。顔の大きさの閾値Ａとしては、顔検出領域の対角線の長さや４辺の長さ、顔検出領域の面積などを用いて設定する。

顔の大きさを表現する量としては、上述のものに限らず、その他の量を用いて表現してもよい。また、閾値は１種類に限らず、複数の閾値を設定してもよい。その場合、ＣＰＵ１１５内の記憶容量が増えるが、よりきめ細やかに遠近競合の影響などを分類し対応することができる。

図５において、Ｓ１０１で得られた顔情報の一部である顔の傾き情報を用いて、使用する焦点検出領域設定用のパラメータを選択する。図５では、傾きの種類を０度、４５度、９０度を中心とした３種類に区分している。顔の傾きが１８０度、２２５度、２７０度の場合には、それぞれ、０度、４５度、９０度の場合の伸縮率を用いて、焦点検出領域の重心位置の補正量の正負を反転して用いることで代用できる。

また、顔が左右対称であることを前提とすると、顔の傾きが４５度の場合と１３５度の場合は、同じ値を用いればよい。また、傾きの区分数は図５の３種類に限らない。区分数を増やすと、ＣＰＵ１１５内の記憶容量が増えるが、よりきめ細やかに遠近競合の影響などを分類し対応することができる。

人物３０１は、顔の大きさが閾値Ａより大きく、傾きが略９０度であるため、伸縮率ｘ３、ｙ３と重心位置ｐ３を用いて、焦点検出領域を設定する。人物３０１の顔検出領域３０１ａのＸ方向の長さ、Ｙ方向の長さをＸａ（３０１），Ｙａ（３０１）とし、重心位置をＰａ（３０１）とすると、焦点検出領域のＸ方向の長さ、Ｙ方向の長さをＸｂ（３０１），Ｙｂ（３０１）と重心位置Ｐｂ（３０１）は、下記の式にて算出される。
Ｘｂ（３０１）＝ｘ３×Ｘａ（３０１） ・・・（式１）
Ｙｂ（３０１）＝ｙ３×Ｙａ（３０１） ・・・（式２）
Ｐｂ（３０１）＝Ｐａ（３０１）＋ｐ３ ・・・（式３）

上記の式を用いて、焦点検出領域を設定することにより、顔の輪郭の影響を受けにくく、かつ、顔の内部の高コントラスト部を多く含むＡＦ評価値を得ることができる。

人物３０２は、２つの目を結ぶ直線が、ＡＦ評価方向（Ｘ方向）に対して略平行の場合を示している。２つの目を結ぶ直線の方向は、Ｘ方向と対応している。人物３０２に関して、顔の横方向は、Ｘ方向と対応し、顔の縦方向は、Ｙ方向と対応する。ＡＦ評価方向の顔の輪郭である左右の耳部の輪郭は、ＡＦ評価方向と直交しているため、ＡＦ評価値に与える影響が大きい。

一方で、顎部や頭部の輪郭は、ＡＦ評価方向と略平行であるため、顔の輪郭部が焦点検出領域に侵入しても、ＡＦ評価方向のコントラストは検出されず、ＡＦ評価値に与える影響は小さい。人物３０２の焦点検出領域３０２ｂは、顔検出領域３０２ａの顔の横方向（Ｘ方向）の伸縮率に対して、顔検出領域３０２ａの顔の縦方向（Ｙ方向）の伸縮率を大きく設定する。また、焦点検出領域３０２ｂの重心位置は、統計的に顔の内部の高コントラスト部を多く含むように設定すればよい。

人物３０２は、顔の大きさが閾値Ａより大きく、傾きが略０度であるため、伸縮率ｘ１、ｙ１と重心位置ｐ１を用いて、焦点検出領域を設定する。焦点検出領域の算出に用いる式は、上述の式１から式３と同様である。

人物３０３は、２つの目を結ぶ直線が、ＡＦ評価方向に対して略４５度傾いている場合を示している。この場合には、人物３０３の焦点検出領域３０３ｂは、顔検出領域３０３ａの顔の斜め方向（Ｘ方向）の伸縮率に対して、それと直交する顔検出領域３０３ａの顔の斜め方向（Ｙ方向）の伸縮率を大きく設定する。また、焦点検出領域３０３ｂの重心位置は、統計的に顔の内部の高コントラスト部を多く含むように設定すればよい。

つまり、被写体情報取得手段は、撮像面内の被写体の顔の位置に関する情報を取得しており、焦点検出領域設定手段は、被写体の傾きの大きさに応じて、前記被写体の顔の位置に関する情報から求められた前記焦点検出領域の重心位置を変更している。

人物３０３は、顔の大きさが閾値Ａより大きく、傾きが略２２５度であるため、伸縮率ｘ２、ｙ２と重心位置−ｐ２を用いて、焦点検出領域（実線）を設定する。焦点検出領域の算出に用いる式は、上述の式１から式３と同様である。

以上のように、顔の大きさが閾値Ａより大きい場合に、顔の傾きの大きさに応じて、伸縮率と重心位置を変更することにより、人物３０１、３０２、３０３の顔に対して、横長の長方形、縦長の長方形、４５度傾いた長方形の焦点検出領域を設定する。

人物３０４は、人物３０２と同様に、２つの目を結ぶ直線が、ＡＦ評価方向に対して平行の場合で、顔検出領域３０４ａが、顔検出領域３０２ａよりも小さい場合を示している。人物３０４の焦点検出領域３０４ｂは、顔検出領域３０４ａの顔の横方向（Ｘ方向）の伸縮率に対する顔検出領域３０４ａの顔の縦方向（Ｙ方向）の伸縮率の比が、顔検出領域３０２ａの顔の横方向（Ｘ方向）の伸縮率に対する顔検出領域３０２ａの顔の縦方向（Ｙ方向）の伸縮率の比に比べて、小さくなるよう、設定する。

つまり、被写体情報取得手段は、撮像面内の被写体の顔の大きさに関する情報を取得しており、焦点検出領域設定手段は、被写体の顔検出領域の大きさが所定の閾値より小さい場合に被写体の顔検出領域の大きさが所定の閾値より大きい場合に比べて、第１の伸縮率及び第２の伸縮率の少なくとも１つを大きく設定している。

人物３０４は、顔の大きさが閾値Ａより小さく、傾きが略０度であるため、伸縮率ｘ４、ｙ４と重心位置ｐ４を用いて、焦点検出領域を設定する。焦点検出領域の算出に用いる式は、上述の式１から式３と同様である。

上述の通り、顔検出領域３０４ａ（点線）の大きさが小さいことから、顔の耳と目の遠近競合は発生せず、顔内部の高コントラスト部から得られる情報量が少ないと判断され、顔の輪郭を含むような伸縮率を設定されている。その際には、背景の絵柄による遠近競合の発生しない範囲で、適宜、焦点検出領域３０４ｂ（実線）を広く設定することにより、高精度な焦点検出を行うことができる。

また、顔の輪郭を含んだ焦点検出領域を設定するため、焦点検出領域３０２ｂのように図中で縦長の長方形にする必要はなく、より縦横比が１に近い、言い換えると、正方形に近い縦長の長方形となる焦点検出領域を設定すればよい。

また、顔の耳と目の遠近競合が発生するか否かは、耳と目が被写界深度内に含まれているかにより決まる。被写界深度は、撮影光学系の焦点距離、撮影光学系のＦ値、被写体の距離、許容錯乱円径により算出される。そのため、撮影光学系の情報から被写界深度を求めて、それに応じて、図５で示している顔の大きさの閾値Ａを変更してもよい。これにより、被写体の顔内部が被写界深度内であるか否かを正確に判断することができ、適切な焦点検出領域の設定を行うことができる。

図１のフローチャートの説明に戻る。顔の位置、大きさ、傾きの情報に基づいて、ｉ番目の顔の内部に焦点検出領域を設定し、ステップＳ１０４へ進む。ステップＳ１０４では、ｉをインクリメントしてステップＳ１０５へ進む。ステップＳ１０５では、ｉが顔の検出数に等しいかどうかを調べ、等しくない場合はステップＳ１０３へ戻り、等しい場合はステップＳ１０６に進む。

ステップＳ１０６では、顔検出領域の位置および大きさから、撮影者が主被写体として意図している顔を推定し、検出された顔の優先度の設定を行う。ここで、画像領域内でもっとも中央付近にありかつ顔サイズが所定以上の顔を主顔とし、それ以外の検出した顔を副顔とする。つまり、検出した複数の顔の中から主被写体として選んだ顔が主顔である。主顔の焦点検出領域は合焦位置決定のために使用する。副顔の焦点検出領域は合焦位置決定のためには使用しないが、合焦表示時に副顔の主領域のピーク位置と合焦位置が所定範囲内であるかを調べ、副顔のピーク位置と合焦位置が所定範囲内である場合は画像領域内の副顔の領域にも合焦枠を表示する。

また、副顔は、主顔がＡＦスキャン後の合焦判定で、合焦不能と判定された場合に、合焦位置決定のために用いる。そのため、副顔についても、画像領域内の中央からの距離と顔サイズから、優先度を決定しておく。

図４の状況では、主顔として焦点検出領域３０２ａとする。その他の焦点検出領域を副顔とする。副顔の優先度は、焦点検出領域３０３ａ、３０１ａ、３０４ａの順に設定する。ステップＳ１０６で、主顔、副顔の設定を終えると本処理を終了する。

次に、図６のフローチャートを参照しながら、図２のステップＳ４における焦点検出領域の選択の動作について説明する。ここでは、ステップＳ１で設定された焦点検出領域の主顔と副顔の優先順位の順に、合焦判定結果に基づき合焦可能であるかを判定し、焦点検出に用いる焦点検出領域の最終決定を行う。

ステップＳ５０１では、主顔として設定された焦点検出領域が合焦可能であるか否かを、合焦判定結果に基づき判定する。合焦可能である場合には、主顔として設定された焦点検出領域を合焦位置決定のための領域として設定し、焦点検出領域の選択の処理を終了する。

ステップＳ５０１で、主顔の領域で合焦不可能と判断された場合には、ステップＳ５０２に進み、副顔の数をカウントする変数ｉを０に初期化し、ステップＳ５０３へ進む。ステップＳ５０３では、変数ｉにより、優先度の高い副顔から順に合焦可能か否かを判定する。

ここで、合焦可能と判断された副顔の焦点検出領域が見つかると、その焦点検出領域を合焦位置決定のための領域として設定し、焦点検出領域の選択の処理を終了する。ステップＳ５０３で合焦不可能と判断された場合には、ステップＳ５０４に進み、ｉをインクリメントしてステップＳ５０５へ進む。ステップＳ５０５では、ｉが顔の検出数‐１に等しいかどうかを調べ、等しくない場合はステップＳ５０３へ戻り、等しい場合は、全ての焦点検出領域で、合焦不能と判断し、焦点検出領域の選択の処理を終了する。

以上の実施例では、被写体の合焦状態の変化を、フォーカスレンズ１０４の移動により実現したが、合焦状態の変化を実現する方法についてはこれに限らない。例えば、フォーカスレンズ群ではなく撮像素子を移動させることにより実現してもよい。また、特開２０１１−１１３１７４号公報のように、光線の入射角度情報（ライトフィールド情報）を取得できる撮像装置で、再構成処理により合焦状態の変化を実現してもよい。

以上説明したように、本実施例によれば、ＡＦスキャン動作中における被写体の動きがあった場合にも、顔の大きさ、傾きに応じて焦点検出領域を適切に設定することにより、高精度な焦点検出を行うことを可能となる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（実施例２）
以下、図７を参照して、本発明の実施例２について説明する。実施例１との主な違いは、ＡＦ評価方向が複数ある場合の焦点検出領域の設定方法の違いである。上述の実施例１では、ＡＦ評価方向が１つ（図４のＸ方向）であったため、被写体パターンが垂直方向のみにコントラストがある場合には、ＡＦスキャンによるＡＦ評価値の変化が現れず、焦点検出を行えない。

こういった場合にもコントラスト検出式のＡＦを行うために、特開２００７−５７７６３号公報に、撮像素子の複数の画素部を、２つの方向に走査して出力された信号に対して、それぞれコントラスト評価を行う方法が開示されている。これにより、被写体パターンが垂直方向のみにコントラストがある場合でも、焦点検出を行うことができる。

しかしながら、特開２００７−５７７６３号公報では、コントラスト検出を行う２つの方向の焦点検出領域の設定方法については言及していない。

実施例２では、ＡＦ評価方向が２方向あり、人物の顔に対して焦点検出領域を設定する場合に、各々のＡＦ評価方向に適した焦点検出領域を設定する。これにより、ＡＦスキャン中の被写体の移動などの影響を受けずに、より高精度な焦点検出を行うことができる。

なお、実施例１における焦点調節装置を有する撮像装置のブロック図（図２）、ＡＦ動作を説明する図（図１、図３、図６）、焦点検出領域の設定のためのデータテーブルの例を説明する図（図５）、に関しては、実施例２においても同様の構成であり、同様の動作を行うため、説明は省略する。

実施例２で行う処理内容が、実施例１とは異なる図１のステップＳ１０３で行う焦点検出領域の設定方法について、図７を用いて説明する。

図７の撮影画面５００は、撮像素子１０８と対応し、ＡＦ処理部１０５は、図中Ｘ方向を第１のＡＦ評価方向、図中Ｙ方向を第２のＡＦ評価方向として、コントラスト情報を第１のＡＦ評価値、第２のＡＦ評価値として算出する。２つの方向のＡＦ評価をする方法としては、上述の特開２００７‐５７７６３号公報に開示されている方法を用いればよい。また、２つの方向のＡＦ評価をする方法として、撮像素子の画素部を１方向に走査し、顔検出領域内の出力を一度記憶し、ＡＦ評価方向に合わせて、画像を回転してもよい。

上述の通り、高精度な焦点検出のためには、人の顔の内部の高コントラスト部をなるべく含みながら、顔の輪郭の影響を受けにくい焦点検出領域の設定を行う必要がある。そのため、実施例１と同様に、ＡＦ評価方向に対して、ＡＦ評価値に影響が大きい顔の輪郭が存在する方向の顔検出領域に対する焦点検出領域の伸縮率を小さく設定する。

また、一方で、ＡＦ評価方向に対して、ＡＦ評価値に影響が小さい方向の顔の輪郭が存在する方向の顔検出領域に対する焦点検出領域の伸縮率を大きく設定する。実施例２では、ＡＦ評価方向が、Ｘ方向、Ｙ方向の２方向あるため、それぞれの方向に適した焦点検出領域の形状を設定する。

つまり、実施例２において、焦点検出手段は、第１のＡＦ評価値に基づいて前記被写体の合焦位置を検出する場合、第１のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第１の伸縮率が第２のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第２の伸縮率より小さい第１の焦点検出領域を用い、第２のＡＦ評価値に基づいて被写体の合焦位置を検出する場合、第２のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第３の伸縮率が第１のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第４の伸縮率よりも小さい第２の焦点検出領域を用いる。

人物４００は、２つの目を結ぶ直線が、第１のＡＦ評価方向（Ｘ方向）に対して略平行で、第２のＡＦ評価方向（Ｙ方向）に対して直交する場合を示している。第１の方向としての２つの目を結ぶ直線の方向は、Ｘ方向と対応している。人物４００に関して、顔の横方向は、Ｘ方向と対応し、顔の縦方向は、Ｙ方向と対応する。

第１のＡＦ評価方向の顔の輪郭である左右の耳部の輪郭は、ＡＦ評価方向と直交しているため、ＡＦ評価値に与える影響が大きい。一方で、顎部や頭部の輪郭は、ＡＦ評価方向と略平行であるため、顔の輪郭部が焦点検出領域に侵入しても、ＡＦ評価方向のコントラストは検出されず、ＡＦ評価値に与える影響は小さい。

第２のＡＦ評価方向の顔の輪郭である顎部や頭部の輪郭は、ＡＦ評価方向と直交しているため、ＡＦ評価値に与える影響が大きい。一方で、左右の耳部の輪郭は、ＡＦ評価方向と略平行であるため、顔の輪郭部が焦点検出領域に侵入しても、ＡＦ評価方向のコントラストは検出されず、ＡＦ評価値に与える影響は小さい。

人物４００の第１のＡＦ評価方向の焦点検出領域４００ｂ−１は、顔検出領域４００ａの顔の縦方向（Ｙ方向）の伸縮率に対して、顔検出領域４００ａの顔の横方向（Ｘ方向）の伸縮率を小さく設定する。また、焦点検出領域４００ｂ−１の重心位置は、統計的に顔の内部の高コントラスト部を多く含むように設定すればよい。焦点検出領域の伸縮率や重心位置の情報は、ＣＰＵ１１５が記憶している。

人物４００の第２のＡＦ評価方向（Ｙ方向）の焦点検出領域４００ｂ−２は、顔検出領域４００ａの顔の縦方向（Ｙ方向）の伸縮率に対して、顔検出領域４００ａの顔の横方向（Ｘ方向）の伸縮率を大きく設定する。また、焦点検出領域４００ｂ−２の重心位置は、統計的に顔の内部の高コントラスト部を多く含むように設定すればよい。焦点検出領域の伸縮率や重心位置の情報は、ＣＰＵ１１５が記憶している。

このように１つの顔検出領域に対して、ＡＦ評価方向に合わせて焦点検出領域を異なる領域として設定することにより、各々の焦点検出領域は、顔の輪郭の影響を受けにくくなり、高精度な焦点検出を行うことができる。

図３のステップＳ１以降で、２つの焦点検出領域４００ｂ−１、４００ｂ−２で得られるＡＦ評価値は重みづけをして加算するなどして、顔検出領域４００ａに対応した１つのＡＦ評価値を算出すればよい。

また、２つの焦点検出領域４００ｂ−１、４００ｂ−２で得られるＡＦ評価値の利用方法は、これに限らない。例えば、各々の焦点検出領域を独立したものとして扱ってもよい。各々の焦点検出領域で得られたＡＦ評価値に対して、図１のステップＳ４の合焦判定を行い、合焦可能な焦点検出領域から主顔など優先度の高い焦点検出領域を選択し焦点調節を行えばよい。その際に、１つの顔領域に対して、２つの焦点検出領域とも合焦判定結果として合焦可能であった場合には、お互いの焦点検出位置をＡＦ評価値の大きさなどで重みづけして１つの焦点検出位置を算出すればよい。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ 撮影レンズ
１０５ ＡＦ処理部
１０８ 撮像素子
１１５ システム制御部（ＣＰＵ）
１２３ 顔検出モジュール

Claims (7)

1. 撮影光学系により結像された被写体像を撮像する撮像素子と、前記撮像素子の撮像面内で被写体の顔検出領域に焦点検出領域を設定する焦点検出領域設定手段と、前記撮像素子で光電変換して得られた画像信号に基づいて、前記撮像素子の撮像面内に設定された焦点検出領域での被写体のＡＦ評価方向のコントラストを示すＡＦ評価値を求め、前記ＡＦ評価値に基づいて前記焦点検出領域での被写体の合焦位置を検出する焦点検出手段と、前記画像信号に基づいて前記撮像面内の前記ＡＦ評価方向に対する前記顔の２つの目を結んだ第１の方向の傾きに関する情報を取得する被写体情報取得手段と、を有する撮像装置であって、
   前記焦点検出領域設定手段は、前記被写体の顔の傾きの大きさに関係なく、前記ＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第１の伸縮率が前記ＡＦ評価方向と直交する第２の方向の顔検出領域の長さに対する焦点検出領域の長さの第２の伸縮率よりも小さくなるように設定していることを特徴とする撮像装置。
2. 前記被写体情報取得手段は、前記撮像面内の被写体の顔の位置に関する情報を取得しており、前記焦点検出領域設定手段は、前記被写体の傾きの大きさに応じて、前記被写体の顔の位置に関する情報から求められた前記焦点検出領域の重心位置を変更する請求項１に記載の撮像装置。
3. 前記被写体情報取得手段は、前記撮像面内の被写体の顔の大きさに関する情報を取得しており、前記焦点検出領域設定手段は、前記被写体の顔検出領域の大きさが所定の閾値より小さい場合に前記被写体の顔検出領域の大きさが所定の閾値より大きい場合に比べて、前記第１の伸縮率及び前記第２の伸縮率の少なくとも１つを大きく設定する請求項１又は２に記載の撮像装置。
4. 前記被写体情報取得手段は、前記撮像面内の被写体の顔の大きさに関する情報を取得しており、前記焦点検出領域設定手段は、前記被写体の顔検出領域の大きさが所定の閾値より小さい場合に前記被写体の顔検出領域の大きさが所定の閾値より大きい場合に比べて、前記第１の伸縮率と前記第２の伸縮率の比を１に近くする請求項１乃至３の何れか一項に記載の撮像装置。
5. 撮影光学系により結像された被写体像を撮像する撮像素子と、前記撮像素子の撮像面内で被写体の顔検出領域に焦点検出領域を設定する焦点検出領域設定手段と、前記撮像素子で光電変換して得られた画像信号に基づいて、前記撮像素子の撮像面内に設定された焦点検出領域での被写体の第１のＡＦ評価方向のコントラストを示す第１のＡＦ評価値及び前記焦点検出領域での被写体の第１のＡＦ評価方向と直交する第２のＡＦ評価方向のコントラストを示す第２のＡＦ評価値を求め、前記第１のＡＦ評価値又は前記第２のＡＦ評価値に基づいて前記焦点検出領域での被写体の合焦位置を検出する焦点検出手段と、を有する撮像装置であって、
   前記焦点検出手段は、前記第１のＡＦ評価値に基づいて前記被写体の合焦位置を検出する場合、前記第１のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第１の伸縮率が前記第２のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第２の伸縮率より小さい第１の焦点検出領域を用い、
   前記第２のＡＦ評価値に基づいて前記被写体の合焦位置を検出する場合、前記第２のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第３の伸縮率が前記第１のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第４の伸縮率よりも小さい第２の焦点検出領域を用いることを特徴とする撮像装置。
6. 撮影光学系により結像された被写体像を撮像する撮像素子の撮像面内で被写体の顔検出領域に焦点検出領域を設定する焦点検出領域設定工程と、前記撮像素子で光電変換して得られた画像信号に基づいて、前記撮像素子の撮像面内に設定された焦点検出領域での被写体のＡＦ評価方向のコントラストを示すＡＦ評価値を求め、前記ＡＦ評価値に基づいて前記焦点検出領域での被写体の合焦位置を検出する焦点検出工程と、前記画像信号に基づいて前記撮像面内の前記ＡＦ評価方向に対する前記顔の２つの目を結んだ第１の方向の傾きに関する情報を取得する被写体情報取得工程と、を有する撮像装置の制御方法であって、
   前記焦点検出領域設定工程は、前記被写体の顔の傾きの大きさに関係なく、前記ＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第１の伸縮率が前記ＡＦ評価方向と直交する第２の方向の顔検出領域の長さに対する焦点検出領域の長さの第２の伸縮率よりも小さくなるように設定することを特徴とする撮像装置の制御方法。
7. 撮影光学系により結像された被写体像を撮像する撮像素子の撮像面内で被写体の顔検出領域に焦点検出領域を設定する焦点検出領域設定工程と、前記撮像素子で光電変換して得られた画像信号に基づいて、前記撮像素子の撮像面内に設定された焦点検出領域での被写体の第１のＡＦ評価方向のコントラストを示す第１のＡＦ評価値及び前記焦点検出領域での被写体の第１のＡＦ評価方向と直交する第２のＡＦ評価方向のコントラストを示す第２のＡＦ評価値を求め、前記第１のＡＦ評価値又は前記第２のＡＦ評価値に基づいて前記焦点検出領域での被写体の合焦位置を検出する焦点検出工程と、を有する撮像装置の制御方法であって、
   前記焦点検出工程は、前記第１のＡＦ評価値に基づいて前記被写体の合焦位置を検出する場合、前記第１のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第１の伸縮率が前記第２のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第２の伸縮率より小さい第１の焦点検出領域を用い、
   前記第２のＡＦ評価値に基づいて前記被写体の合焦位置を検出する場合、前記第２のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第３の伸縮率が前記第１のＡＦ評価方向の顔検出領域の長さに対する焦点検出領域の長さの第４の伸縮率よりも小さい第２の焦点検出領域を用いることを特徴とする撮像装置の制御方法。

Images