JP5950664B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置およびその制御方法に関し、特に自動焦点検出機能を有する撮像装置およびその制御方法に関する。

人物を撮影する際には人物の顔、それも目に合焦させるのが一般的であるが、マニュアルフォーカスで目に合焦させることは容易でない。最近のカメラはオートフォーカス機能を有するが、自動で目に合焦するわけではない。自動で目に合焦させるためには、視野に含まれる被写体の顔、さらには目を検知する必要がある。

画像から人物の顔や目を検知する方法として、顔の領域をテンプレート画像として記憶し、探索対象の画像内でテンプレート画像と最も相関の高い領域を、対応する顔の領域とする（テンプレートマッチング）方法がある。例えば、テンプレート画像と検索対象画像の部分画像の対応する位置の画素値の差分の総和を、部分画像の切り出し位置を変えながら順次求め、総和が最も小さくなる位置の部分画像を、テンプレート画像と最も相関の高い領域と判断する。

一方、特許文献１には、様々な特徴量をもとにブースティングにより学習した検出器を用いて画像から人物の顔や目を検知する方法が提案されている（特許文献１）。

特開２０１０−９２１９９号公報

テンプレートマッチングは計算が単純なため高速な処理が可能であり、動画撮影時や連写時においても、各フレーム（コマ）に対して実行できる。しかし、画素値の差の総和による判定であるため、探索された部分画像のどこに目があるのか、口があるのか、という詳細な位置情報を求めることはできない。

一方、特許文献１に記載された方法では、顔の中の目や口の位置を検知可能であるが、顔を検知するための計算量が膨大である。そのため、処理能力が高くない一般的な撮像装置で実行した場合、シャッタレスポンスの低下を招いたり、動画撮影時や連写時には適用できないといった状況が想定される。

このように、従来の技術では、例えば動画フレームや連写撮影される各コマのように、短い周期で撮影される複数の画像について顔および顔の中の目を検知することができなかった。そのため、自動的かつ高速に、顔や目に合焦させることはできなかった。このような従来技術の課題は、人物の顔に限定されず、被写体の特定の部分に対する自動合焦制御一般に当てはまるものである。

本発明はこのような従来技術の課題を解決し、被写体の特定の部分に自動的かつ高速に、合焦させることが可能な撮像装置およびその制御方法を提供することを目的とする。

上述の目的は、撮像素子と、撮像素子により得られた画像中の特定の被写体の領域における特定の部分の位置を検出する第１の検出手段と、第１の検出手段よりも少ない演算量で、撮像素子により得られた画像中の特定の被写体の領域の位置を検出する第２の検出手段と、複数の測距点から焦点検出を行う測距点を選択する選択手段と、選択された測距点に対して自動焦点検出を行う自動焦点検出手段と、を有し、選択手段は、第１の検出手段が検出した特定の被写体の領域における特定の部分の位置の情報を用いて、第２の検出手段が検出した特定の被写体の領域の位置から画像中の特定の部分の位置を特定し、特定した位置に基づいて、特定の部分に対応する測距点を選択する、ことを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、被写体の特定部分に自動的かつ高速に合焦させることが可能な撮像装置およびその制御方法が提供できる。

本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラの側断面図 本発明の実施形態に係るデジタル一眼レフカメラの機能構成例を示すブロック図 本発明の実施形態に係るデジタル一眼レフカメラにおける測距点配置の例を示す図 図２のＡＦ制御部、システム制御部、およびＡＥ制御部の処理手順と相互関係を説明するための図 本発明の実施形態における詳細顔検出処理で得られる顔、目、およびテンプレート画像の位置関係の例を示す図 本発明の実施形態に係るデジタル一眼レフカメラにおけるテンプレート画像生成処理および被写体追尾処理の手順を示すフローチャート

以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタル一眼レフカメラ（ＤＳＬＲ）の主要な構成部品の配置例を示す側断面図である。ＤＳＬＲは、本体２０１と本体２０１の前面に装着される撮影レンズ２０２を有する。撮影レンズ２０２は交換可能であり、また本体２０１と撮影レンズ２０２は、不図示のレンズマウントにより機械的および電気的に接続される。撮影レンズ２０２の中には、フォーカシングレンズ２１３と絞り２１４があり、レンズマウント接点群２１５を介した、本体２０１による電気的な制御に従って動作する。

メインミラー２０３はハーフミラーであり、背面にはサブミラー２０４が設けられている。図示した、ミラーアップされていない状態では、撮影レンズ２０２からの光束の一部を反射して上方のファインダー光学系へ入射させ、透過光をサブミラー２０４で反射して下方のＡＦ装置２０５へ入射させる。露光時などミラーアップされた状態では、光路から退避する。

ＡＦ装置２０５は位相差検出方式のＡＦセンサである。撮影レンズ２０２の二次結像面を、ＡＦ装置２０５が有する焦点検出ラインセンサ上に形成することによって、撮影レンズ２０２のデフォーカス量と焦点方向を検出し、検出結果をもとにフォーカシングレンズ２１３を駆動して自動焦点調節を行う。位相差検出方式による合焦制御については公知であり、本発明とは直接関係しないため、ＡＦ装置２０５の詳細な構成や合焦制御についての説明は省略する。なお、本実施形態において、ＡＦ装置２０５は図３に示すような複数の測距点（焦点検出領域）を有するものとする。

ピント板２０６はファインダー光学系としての撮影レンズ２０２の予定結像面に配置された透過型の液晶ディスプレイであり、撮影レンズ２０２が形成する視野の光学像に、測距点などの情報を重畳表示する。ユーザは、アイピース２０９からファインダー光路変更用のペンタプリズム２０７を通じてピント板２０６を観察することにより、撮影される視野や測距点を確認することができる。

ＡＥ装置２０８は、被写体の明るさを観測するため、複数の画素を持つＡＥセンサで光学ファインダー像を補助画像データに変換する。ＡＥセンサは画素数を除いて撮像素子２１１と同様の構成であってよいが、主に被写体輝度の検出に用いられるためＡＥセンサと呼ぶ。ＡＥ装置２０８は、生成された補助画像データを用いて、被写体の明るさ検出と露出演算を行う。本実施形態において測光センサは図３に撮像範囲として示した領域を観測しており、必要に応じて複数の補助画像データを加算することで、低照度被写体に対するダイナミックレンジを拡大することができる。

本実施形態においては、補助画像データを用いて被写体の顔検出処理を行うものとする。ただし、動画撮影中（記録用の動画撮影中およびライブビュー表示用の動画撮影中）や、ＡＥセンサを持たない撮像装置においては、撮像素子２１１で撮影した画像を用いて顔検出処理を行ってもよい。

撮像素子２１１はＣＭＯＳイメージセンサやＣＣＤイメージセンサなどであり、光電変換素子を有する画素が複数配列されている。メインミラー２０３およびサブミラー２０４を撮影光路から退避させ、フォーカルプレーンシャッタ２１０を開くことにより、撮像素子２１１が露光され、被写体光学像が撮影される。

なお、本明細書では、撮像素子２１１による撮影を本撮影、ＡＥ装置２０８のＡＥセンサによる撮影を補助撮影と呼ぶ。また、本撮影によって生成される画像を本画像、補助撮影によって生成される画像を補助画像と呼ぶ。

ディスプレイ２１２は例えば液晶ディスプレイ（ＬＣＤ）であり、ライブビュー画像を表示して電子ビューファインダーとして用いたり、各種の設定値、撮影情報、装置情報、ＧＵＩ画面、撮影済み画像などの表示に用いたりする。

図２は、本実施形態のＤＳＬＲの機能的な構成例を示すブロック図である。なお、図１と同じ構成要素については、同一符号を付してある。

操作部３０１は、ユーザが本体２０１や撮影レンズ２０２に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０６に出力する。操作部３０１は、レリーズボタンの押下量によってＳＷ１信号とＳＷ２信号を送信する。具体的には、レリーズボタンが半分程度押下されるとＳＷ１信号を、レリーズボタンがさらに所定量押されるとＳＷ２信号を、それぞれシステム制御部３０６に出力する。なお、ＳＷ１信号が出力されるレリーズボタンの押下状態を「半押し」、ＳＷ２信号が出力されるレリーズボタンの押下状態を「全押し」と呼ぶ。また、レリーズボタンの半押し状態が維持されている状態を「ＳＷ１保持状態」と呼び、全押し状態が維持されている状態を「ＳＷ２保持状態」と呼ぶ。また、操作部３０１は、レリーズボタンの押下量がＳＷ１信号を送信するに満たない状態になるとＳＷ１解除信号を、ＳＷ２信号を送信するに満たない状態になるとＳＷ２解除信号を、それぞれシステム制御部３０６に出力する。

上述の通り、ＡＦ装置２０５は位相差検出方式による自動焦点検出および、焦点検出結果に基づく、フォーカシングレンズ２１３の合焦位置への駆動（自動焦点調節）を行う。ＡＦ装置２０５は、ＡＦ制御部３０４および測距センサ３０５で構成される。測距センサ３０５は例えば図３に示す６１点の測距点配置に対応するラインセンサで構成され、サブミラー２０４を介して入射される光を電気信号に変換し、各測距点に対して一対の像信号をＡＦ制御部３０４に出力する。ＡＦ制御部３０４は、測距センサ３０５から出力された一対の像信号の位相差に基づいて、図３に示す各測距点のデフォーカス量を計算し、合焦させる測距点を１つ選択する。そして、各測距点のデフォーカス量をデータとして持つデフォーカスマップと、選択した測距点の位置情報をシステム制御部３０６に出力する。システム制御部３０６は、選択測距点位置およびデフォーカスマップに基づいて焦点調節演算を行い、選択された測距点に合焦するようにフォーカシングレンズ２１３の位置を制御する。

ＡＥ装置２０８は自動露出演算および被写体追尾を行う。ＡＥ装置２０８はＡＥ制御部３０２および測光センサ３０３で構成される。ＡＥ制御部３０２は測光センサ３０３から読み出した補助画像データに基づいて自動露出演算を行い、結果をシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２から出力された自動露出演算の結果に基づいて、絞り２１４の値（開口の大きさ）を制御し、本体２０１に入射する光量を調節する。

また、ＳＷ１保持状態および連写中において、ＡＥ制御部３０２は測光センサ３０３から順次取得した補助画像データを用いて被写体の検出および検出した被写体の追尾を行い、被写体の位置情報をシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２から出力された被写体の位置情報をＡＦ制御部３０４に出力する。

ＡＦ制御部３０４は、システム制御部３０６から出力された被写体の位置もしくはその近傍にある測距点のデフォーカス量を計算し、計算結果をあらかじめ設定された閾値と比較する。比較の結果デフォーカス量が閾値以下であれば、システム制御部３０６に出力する選択測距点位置データを、ＡＦ制御部３０４が各測距点におけるデフォーカス量に基づいて選択した測距点から、被写体またはその近傍にある測距点に更新する。

システム制御部３０６は、操作部３０１からＳＷ２信号が出力されると、メインミラー２０３（およびサブミラー２０４）をアップし、光路から退避させる。そして、フォーカルプレーンシャッタ２１０を駆動し、撮像素子２１１を自動露出演算の結果に基づく時間、露光する。露光時間が終了すると、システム制御部３０６は、メインミラー２０３（およびサブミラー２０４）をダウンさせる。

撮像素子２１１は露光時間中に撮影レンズ２０２を通して入射する光を各画素で電気信号に変換して画像データを生成し、システム制御部３０６へ出力する。システム制御部３０６は撮像素子２１１から出力された画像データに対して所定の画像処理などを適用し、ディスプレイ２１２で表示させたり、画像記憶装置３０７へ書き込んだりする。

続いて、本実施形態におけるＤＳＬＲの動作について説明する。
図４は、ＡＦ制御部３０４、システム制御部３０６、ＡＥ制御部３０２の動作シーケンスを示す図であり、前半がＳＷ１保持状態における動作シーケンスを、後半がＳＷ２保持状態の動作シーケンスを示している。なお、図４は各制御部における処理の手順や動作のタイミングを示すことを目的としたものであり、異なる制御部が行う処理はもちろん、同一の制御部が行う処理であっても、処理ブロックの大きさ（高さ）と処理時間の長さとはなんら関連性を有さない。

Ｓ４０１は、レリーズボタンが半押しされ、操作部３０１からシステム制御部３０６へＳＷ１信号が出力されたタイミングを示している。ＳＷ１信号の入力を受けたシステム制御部３０６はＡＦ制御部３０４へＡＦ開始信号Ｄ０１を出力し、ＡＦ制御部３０４は動作を開始する。

Ｓ４０３でＡＦ制御部３０４は、測距センサ３０５に蓄積を行わせる。
Ｓ４０４でＡＦ制御部３０４は、測距センサ３０５から像信号を読み出す。
Ｓ４０５でＡＦ制御部３０４は、ユーザが任意に選択した測距点について、読み出した像信号に基づく焦点検出演算を行う。あるいは、ＡＦ制御部３０４は、読み出した像信号に基づいて複数の測距点に対して被写体の距離情報を求め、最至近の距離情報が得られた測距点を選択して焦点検出演算を行う。ＡＦ制御部３０４は、デフォーカスマップと選択測距点位置情報を含んだ焦点演算結果信号Ｄ０２をシステム制御部３０６に出力する。

Ｓ４４２でシステム制御部３０６は、選択された測距点に合焦するように、焦点演算結果信号Ｄ０２に基づいてフォーカシングレンズ２１３を駆動し、焦点調節を行う。焦点調節が完了すると、システム制御部３０６は、ＡＦ開始信号Ｄ０３をＡＦ制御部３０４に、ＡＥ開始信号Ｄ０４をＡＥ制御部３０２に、それぞれ出力する。

Ｓ４０６でＡＥ制御部３０２は、ＡＥ開始信号Ｄ０４を受信すると測光センサ３０３による補助撮影を行う。補助撮影は、ＡＦ開始信号Ｄ０３を受信したＡＦ制御部３０４による測距センサ３０５の蓄積と同時に開始されるため、測距センサ３０５および測光センサ３０３で得られる像信号は同じタイミングで撮影されたものとなる。

測光センサ３０３による補助画像の撮影は、露光（電荷蓄積）時間を２回に分割し、２回行う。そして、第２の検出手段としてのＡＥ制御部３０２は、１回目の撮影で得られた画像を、予め記憶しておいたテンプレート画像を用いたテンプレートマッチングによる被写体追尾に用いる。またＡＥ制御部３０２は、２回目の撮影で得られた画像と１回目の撮影で得られた画像とを加算し、本来の露光時間に対応した補助画像を生成し、補助画像に基づいて露出演算を行う。このように、補助撮影を２回の撮影に分けて行い、１回目の撮影で得られた画像を用いて被写体追尾処理を開始することで、１回の撮影で補助画像を得る場合よりも被写体追尾処理の開始を早めることができ、結果を早く得ることができる。以下、この処理についてさらに説明する。

Ｓ４０７でＡＥ制御部３０２は、Ｓ４０６において測光センサ３０３で１回目の撮影を行って得られた画像データを読み出し、輝度信号および色差信号を持つ画像データを生成する。

Ｓ４０８でＡＥ制御部３０２は被写体追尾処理を行う。ＡＥ制御部３０２は、過去に実行した追尾テンプレート生成処理（Ｓ４１３）で生成されたテンプレート画像を追尾対象画像とし、Ｓ４０７で生成した画像データとテンプレートマッチングを行う。そして、生成した画像中における追尾対象の位置（被写体座標）を検出する。

詳細な処理の説明は後述するが、Ｓ４１３で生成されたテンプレート画像がＳ４１２の詳細顔検出処理で得られた顔の座標から生成されたものであれば、ＡＥ制御部３０２は、テンプレートマッチングによって検出された被写体座標を顔の座標とする。また、ＡＥ制御部３０２は、過去に実行したＳ４１２で計算された顔と目の座標差分情報から、今回検出した顔領域における目の位置を算出し、顔と両目の座標を被写体追尾結果Ｄ０５としてシステム制御部３０６に出力する。一方、テンプレート画像が選択測距点位置に基づいて生成されたものであれば、ＡＥ制御部３０２は、テンプレートマッチングによって検出された被写体座標だけを被写体追尾結果Ｄ０５としてシステム制御部３０６に出力する。

つまり、テンプレート画像が詳細顔検出処理の結果に基づいて生成されたものである場合、テンプレート画像の生成時に用いた詳細顔検出処理の結果に基づき、テンプレートマッチングで検出された追尾対象の領域内における顔や目の座標の情報を得ることができる。このように、本実施形態では、詳細顔検出処理が完了するごとに、詳細顔検出処理に基づいてテンプレート画像を生成し、また顔の座標と目の座標との関係を記憶しておく。そのため、高速に処理可能なテンプレートマッチングを用いても、信頼できる目や顔の位置の情報を得ることが可能であり、動画撮影時や連写時においても各フレーム（コマ）について目や顔に合焦制御することが可能になる。

被写体追尾結果Ｄ５は、システム制御部３０６で中継され、被写体追尾結果Ｄ０６としてＡＦ制御部３０４に通知される。なお、テンプレート画像が生成されていない場合、Ｓ４０８の被写体追尾処理は省略される。

Ｓ４０９でＡＥ制御部３０２は、測光センサ３０３による２回目の撮影を行い、Ｓ４１０で測光センサ３０３から画像データを読み出す。そしてＡＥ制御部３０２は、Ｓ４１１で１回目と２回目の撮影で得られた画像データを加算して補助画像を生成し、補助画像に基づいて露出演算を行う。露出演算結果Ｄ０８としてシステム制御部３０６に出力する。システム制御部３０６は露出演算結果Ｄ０８に基づき絞り値とシャッタ速度を決定し、絞り２１４を制御する。

一方、システム制御部３０６がＡＥ開始信号Ｄ４と同時に出力したＡＦ開始信号Ｄ０３を受け取ったＡＦ制御部３０４は、上述したようにＳ４０３〜Ｓ４０５の処理を実行する。

Ｓ４１４でＡＦ制御部３０４は、システム制御部３０６を通じて、被写体追尾結果Ｄ０６を受け取る。被写体追尾結果Ｄ０６が顔および目の位置を含む場合、目の位置もしくはその近傍の測距点を選択する。被写体追尾結果Ｄ０６が目の位置を含まない場合、もしくは目の位置または目の位置から所定範囲内に測距点がなければ、ＡＦ制御部３０４は顔の位置について同様の測距点探索を行う。被写体追尾結果Ｄ０６が目の位置を含まない場合は、被写体追尾処理に用いられたテンプレート画像が、詳細顔検出処理の結果に基づいて生成されていない場合である。目および顔の位置のいずれについても測距点が見つからない場合、ＡＦ制御部３０４はＳ４０５で選択した測距点を用いる。ＡＦ制御部３０４は、デフォーカスマップと選択測距点位置情報を含んだ焦点演算結果信号Ｄ０７をシステム制御部３０６に出力する。なお、選択測距点位置は具体的な測距点の位置を表す情報であってもいいが、測距点ごとの位置に関する情報が別途利用できる場合には、測距点番号など、測距点を特定できる情報であってもよい。

システム制御部３０６は焦点演算結果信号Ｄ０７に含まれる選択測距点位置情報とデフォーカスマップとに基づいて焦点調節を行う。また、システム制御部３０６は、焦点演算結果信号Ｄ０７に含まれる選択測距点位置情報と、以前の選択測距点位置情報とから、選択測距点が変更されたかどうかを判別する。そして、システム制御部３０６は、選択測距点が変更（再選択）されていれば、測距点再選択フラグをＴＲＵＥに、選択測距点が変更（再選択）されていなければ、測距点再選択フラグをＦＡＬＳＥにする。システム制御部３０６は、焦点演算結果信号Ｄ０７に含まれる選択測距点位置情報と、測距点再選択フラグをデータＤ１０としてＡＥ制御部３０２に通知する。

Ｓ４１２で、第１の検出手段としてのＡＥ制御部３０２は、画像中に含まれる顔と目の詳細な検出（詳細顔検出処理）を行う。ここでの検出は、テンプレートマッチングよりも精度が良く、目の検出が可能な公知かつ任意の検出アルゴリズムを用いて実行することができ、またその詳細は本発明と直接関係しないので詳細な説明を省略する。

概要を述べれば、事前に学習させた検出器を用いる。顔の含まれるサンプル画像を十分な量用意し、それらから特徴量を抜き出す。特徴量としては、輝度差を用いたＨａａｒ−ｌｉｋｅ特徴量やエッジを抜き出すＥＯＨ特徴量などを用いることができる。これらの特徴量から検出器をＡｄａＢｏｏｓｔなどの学習アルゴリズムによって学習させておく。

例えばＨａａｒ−Ｌｉｋｅ特徴量を用いる場合、Ｓ４１２でＡＥ制御部３０２は補助画像を積分画像に変換し、各検出器のためのブロックに、平均輝度の差を算出して検出器に乗じることによって、顔の位置およびサイズと、目の位置とを求める。

顔の大きさ、顔の中心の座標と、顔の中心を原点とした座標系における目の座標をＡＥ制御部３０２で記憶する。各座標の位置関係の例を図５に示す。

なお、Ｓ４１２で実行する詳細顔検出処理のステップは処理時間を有するため、動画撮影時の各フレームや、連写時の各コマに実施されるわけではない。Ｓ４１２の処理に進んだ際に、過去に撮影したフレームやコマに対する詳細顔検出処理が継続中であれば、現フレーム（コマ）における詳細顔検出は行わずに、次のステップへと進む。

Ｓ４１３で生成手段としてのＡＥ制御部３０２は、データＤ１０とＳ４１２で検出した顔の座標に基づいて追尾テンプレート生成処理を行う。Ｓ４１２で顔を検出できていれば、検出した顔の画像をテンプレート画像とする。これにより、Ｓ４１２で行われた詳細顔検出処理の結果が次のフレームやコマにおける被写体追尾に利用される。顔の領域とテンプレート画像との関係例を図５に示す。また、詳細顔検出処理で顔が検出できていなければ、ＡＥ制御部３０２はデータＤ１０で通知された座標を中心とした所定の範囲をテンプレート画像とする。この処理の詳細については後述する。

このＳ４０３からＳ４１４までの処理（Ｓ４４２の焦点調節処理終了後の処理）を動画フレームまたは連写撮影された静止画のコマごとに繰り返すことで、カメラはフレーム（コマ）ごとに、ＡＦ制御、ＡＥ制御、および、被写体追尾処理を行うことが可能となる。

Ｓ５０１においてＳＷ２信号の出力が開始されると、システム制御部３０６は、繰り返し処理におけるＳ４１１の露出演算を終えてから、本撮影処理を開始する。すなわち、Ｓ５０２でシステム制御部３０６はメインミラー２０３（およびサブミラー２０４）をアップさせて光路から退避させる。また、直前に得られた、露出演算結果ならびに選択測距点に対するデフォーカス量とに応じて、フォーカシングレンズ２１３の駆動および絞り２１４、フォーカルプレーンシャッタ２１０の制御を行い、Ｓ５０３で本撮影を実行する。その後、Ｓ５０４でシステム制御部３０６は、メインミラー２０３（およびサブミラー２０４）をダウンさせる。

また、システム制御部３０６は、ＳＷ２信号の出力が開始されると、ＡＦ制御部３０４にレリーズ開始信号Ｄ１１、ＡＥ制御部３０２にレリーズ開始信号Ｄ１２を出力する。レリーズ開始信号Ｄ１１およびＤ１２を受信したＡＦ制御部３０４およびＡＥ制御部３０２は、その時点で行っていた処理を中断する。そして、システム制御部３０６はミラーダウン動作Ｓ５０４を完了した際にＳＷ２信号が出力されていれば、ＡＦ制御部３０４へＡＦ開始信号Ｄ０３を出力し、ＡＥ制御部３０２へＡＥ開始信号Ｄ０４を出力する。そして、連写の２コマ目の本撮影処理が開始される。２コマ目からはＳ４０３ならびにＳ４０６の処理から開始される。

なお、Ｓ５０２からＳ５０４の処理と並行して、ＡＥ制御部３０２ではＳ４１２の詳細顔検出を行っており、Ｓ４１３では検出した顔を新たなテンプレート画像として記憶する。このように、本撮影時も、測光センサ３０３による補助画像を２回の撮影に分けて実行することにより、レリーズボタンが全押しされてから顔の位置を被写体追尾処理により特定し、検出された顔や目に対応した測距点を選択するまでの処理時間を短縮できる。

続いて、Ｓ４０８における被写体追尾処理および、Ｓ４１３におけるテンプレート画像生成処理について、図６のフローチャートを用いて説明する。
まず、Ｓ４１３におけるテンプレート画像生成処理について図６（ａ）を用いて説明する。図６（ａ）はテンプレート生成処理の手順を示したフローチャートである。

Ｓ１０１でＡＥ制御部３０２は、データＤ１０に基づいて、Ｓ４０７で生成した画像（１回目の撮影で得られた画像）データからテンプレートとして抽出する領域を決定する。測距点再選択フラグがＴＲＵＥの場合には、直前に実行したＳ４０８の被写体追尾処理で検出した結果に基づく測距点が選択されている。そのため、ＡＥ制御部３０２は、被写体追尾処理で得られた位置を中心とする所定の大きさ並びに形状の領域をテンプレート領域に設定する。一方、測距点再選択フラグがＦＡＬＳＥの場合、データＤ１０に含まれる選択測距点位置を中心とする所定の大きさ並びに形状の領域をテンプレート領域に設定する。
被写体追尾処理の結果が測距点の選択に採用されていない場合、追尾用のテンプレート画像としては不適切であるため、このような分岐処理を行う。

Ｓ１０２でＡＥ制御部３０２は、テンプレート領域内の画素の色分布を計算し、追尾対象の特徴色を検出する。特徴色の検出は例えば以下のように行うことができる。まず、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さを０〜７の８段階に分割したＲＧＢヒストグラム空間を用意する。このＲＧＢヒストグラム空間は８×８×８の５１２のブロック（座標）を持つ。そして、テンプレート領域内の各画素の色信号をＲＧＢ色データに変換し、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの強さに基づいてＲＧＢヒストグラム空間の対応するブロック（座標）に分類する。これをテンプレート領域内の全ての画素について行い、５１２のブロックのうち最も度数の多いブロックに対応する色（ＲＧＢ）を、追尾対象の特徴色とする。

Ｓ１０８でＡＥ制御部３０２は画像からテンプレート領域を切り出し、追尾処理用のテンプレート画像とする。
Ｓ１０９でＡＥ制御部３０２は、テンプレート画像内の画素について、特徴色を有する画素を高輝度に、他の色の画素は低輝度に変換した輝度画像を生成し、最終的なテンプレート画像とする。
Ｓ４０８の被写体追尾処理ではこのテンプレート画像を用いてテンプレートマッチングを行う。これにより、追尾対象の特徴色を強調した状態で輝度画像によるテンプレートマッチングを行うことができるため、単純なカラー画像によるテンプレートマッチングを行うよりも演算負荷を小さくできる。

続いて、Ｓ４０８の被写体追尾処理について図６（ｂ）で説明する。
図６（ｂ）は被写体追尾処理のフローチャートである。
Ｓ１２１でＡＥ制御部３０２は、測光センサ３０３からＳ４０７で生成したカラー画像データから、前のフレーム（コマ）に対するテンプレート生成処理（Ｓ４１３）で抽出された特徴色の画素を高輝度に、他の色の画素を低輝度に変換した輝度画像を生成する。

Ｓ１２２では、前のフレーム（コマ）に対するテンプレート生成処理（Ｓ４１３）で作成したテンプレート画像を用いたテンプレートマッチングにより、輝度画像の中でテンプレート画像と最も相関の高い領域を検出対象として検出する。

ＡＥ制御部３０２は、検出した追尾対象の位置を被写体追尾結果Ｄ５に含めてシステム制御部３０６に出力する。システム制御部３０６は追尾対象の位置を被写体追尾結果Ｄ０６としてＡＦ制御部３０４に出力する。

ＡＦ制御部３０４は、測距点再選択処理Ｓ４１４において、被写体追尾結果Ｄ０６で通知された追尾対象位置を含む測距点あるいは近傍（所定範囲内）の測距点を探索する。そして、該当する測距点があれば、その測距点を新たな選択測距点とする再選択処理を行う。

以上説明したように、本実施形態では、特徴量を検出した高精度に顔および目を検出する詳細顔検出処理が完了していれば、その結果に基づいてテンプレート画像を生成し、テンプレートマッチングによる被写体追尾処理に利用する。そのため、信頼度の高いテンプレート画像を用いた、高速な被写体追尾処理が可能である。さらに、テンプレート画像生成時に、テンプレート画像における目や顔の位置を記憶しておくことにより、テンプレートマッチングにより検出された追尾対象の画像領域内における顔や目の位置の情報を得ることができる。従って、高速なテンプレートマッチングと、顔や目に対する自動合焦制御とを両立させることが可能となる。
また、詳細顔検出処理が完了する毎にテンプレート画像を更新するので、顔や目の位置についての情報の信頼性を維持することができる。

また、テンプレートマッチングに用いる画像を、本来の撮影時間より短い時間の撮影で得られた画像とすることにより、被写体追尾処理の開始タイミングを早めることができる。さらに、テンプレートマッチングを、テンプレート画像の特徴色を強調した輝度画像により行うため、テンプレートマッチングの演算量を低減することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、顔や目以外であっても、被写体が有する特徴的な部分に対する自動合焦制御に同様に適用することができる。

また、例えば、被写体の位置を認識する手法に関しては、テンプレートマッチングによる被写体追尾だけでなく、色情報を用いた追尾を用いても良い。他にも、オプティカルフローを利用した動体解析や、エッジ検出によるシーン認識技術を用いても良い。
また、顔検出の方法についても用いる特徴量は画像内の輝度差を用いるＨａａｒ−ｌｉｋｅ特徴量によらず、エッジ方向を用いるＥＯＨ特徴量や、Ｅｄｇｅｌｅｔ特徴量など、センサの画像の特性など目的によって適宜選択することができる。

また、測光センサ３０３で補助画像を得る際の補助撮影を２回の撮影に分けることにより、顔に応じた測距点を選択するまでの処理時間を短縮することができる構成を例にあげて説明を行ったが、１回の補助撮影で補助画像を生成してもよい。フレームごとに１回の蓄積を行い、この蓄積された画像から追尾処理によって顔の位置を特定し、詳細顔検出にて検出した顔領域に対する目の位置の情報を用いることで、追尾処理によって顔の位置のどこに目が位置するかを算出する構成であってもよい。

また、測光センサ３０３で得られた画像を用いて追尾処理や詳細顔検出処理を行う構成でなくてもよい。ライブビュー画像のような表示用画像や、記録用画像を生成するための撮像素子で得られた画像に対して追尾処理や詳細顔検出処理を行う構成であってもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 撮像素子と、
   前記撮像素子により得られた画像中の特定の被写体の領域における特定の部分の位置を検出する第１の検出手段と、
   前記第１の検出手段よりも少ない演算量で、前記撮像素子により得られた画像中の前記特定の被写体の領域の位置を検出する第２の検出手段と、
   複数の測距点から焦点検出を行う測距点を選択する選択手段と、
   前記選択された測距点に対して自動焦点検出を行う自動焦点検出手段と、を有し、
   前記選択手段は、前記第１の検出手段が検出した前記特定の被写体の領域における前記特定の部分の位置の情報を用いて、前記第２の検出手段が検出した前記特定の被写体の領域の位置から画像中の前記特定の部分の位置を特定し、該特定した位置に基づいて、前記特定の部分に対応する測距点を選択する、
   ことを特徴とする撮像装置。
2. 前記第１の検出手段は、前記画像の特徴量に基づいて、前記特定の被写体の領域における前記特定の部分の位置を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記第２の検出手段は、画像間の相関演算により前記特定の被写体の領域の位置を検出することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記第２の検出手段は、前記第１の検出手段の検出結果に基づいて生成されたテンプレート画像を用いたテンプレートマッチングにより前記特定の被写体の領域の位置を検出することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記テンプレート画像を生成する生成手段をさらに有し、
   前記生成手段は、前記第１の検出手段により前記特定の被写体の領域における前記特定の部分の位置が検出されている場合には前記第１の検出手段の検出結果に基づいて前記テンプレート画像を生成し、前記第１の検出手段により前記特定の被写体の領域における前記特定の部分の位置が検出されていない場合には、前記選択手段が選択した測距点の位置を用いて前記テンプレート画像を生成することを特徴とする請求項４記載の撮像装置。
6. 前記特定の被写体が顔であり、前記特定の部分が目であることを特徴とする請求項１乃至請求項５の何れか１項に記載の撮像装置。
7. 撮像素子と、
   前記撮像素子により得られた画像中の特定の被写体の領域における特定の部分の位置を検出する第１の検出手段と、
   前記第１の検出手段よりも少ない演算量で、前記撮像素子により得られた画像中の前記特定の被写体の領域の位置を検出する第２の検出手段と、
   を有する撮像装置の制御方法であって、
   選択手段が、前記第１の検出手段が検出した前記特定の被写体の領域における前記特定の部分の位置の情報を用いて、前記第２の検出手段が検出した前記特定の被写体の領域の位置から画像中の前記特定の部分の位置を特定し、該特定した位置に基づいて、複数の測距点から前記特定の部分に対応する測距点を選択する選択工程と、
   自動焦点検出手段が、前記選択された測距点に対して自動焦点検出を行う自動焦点検出工程と、
   を有することを特徴とする撮像装置の制御方法。

Images