JP4218720B2 - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、目的とする被写体に対して正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。

昨今の多くのスチルカメラやビデオカメラなどの撮像装置には、被写体に対するフォーカスを自動的に合わせるオートフォーカス（ＡＦ）機構が搭載されている。さらに、近年、オートフォーカス（ＡＦ）機能を備えたカメラにおいて、画面内の複数のエリアを測距し、その中から最も撮影者に近いもの、画面の中央に近いものといった様々な優先順付けの結果として最適なエリア選び出し、そのエリアに対してピントが合うようにレンズを駆動する機能、いわゆる「マルチＡＦ」、「多点測距ＡＦ」が広く採用されている。この機能を適用することで主要被写体が必ずしも画面の中央に存在しない場合においても、撮影者が特別な操作をすることなしに主要被写体に対する適切なピント合わせが可能となる。

しかし、このようなマルチＡＦや多点測距ＡＦも万能ではなく、すべての構図に対して万能に機能するわけではない。一般的なカメラの撮影においては人間が主要被写体になるケースが非常に多いが、撮影画像における人物の位置は多様であり様々な構図がある。そもそも撮像装置における測距エリアが設定されていない位置に目的被写体がいるケースもある。このような場合、マルチＡＦや多点測距ＡＦを適用しても人物に対するフォーカスは適切に行われない。

このような問題を解決するため、例えば特許文献１では、撮像装置における取得画像から肌色情報を検出し、その領域を顔の位置と仮定してそこに対して測距する方法を提案している。これによりどのような構図であっても人物にピントが合うカメラが実現可能となる。しかしながらこの方法には、顔の検出性能が十分に発揮されない例えば明るい環境や、暗い環境において十分な機能を発揮しにくいという弱点がある。

さらに、特許文献２では、肌色情報からの顔位置推定ではなく、人物の顔検出を実施して人物の検出精度を向上させる構成を開示している。さらには口、鼻、目といったパーツを検出し、それらのパーツを測距する方法を提案している。しかしながら、口、鼻、目を検出された際に、どこを測距するかを選ぶのはカメラではなく、カメラの使用者に選択させる構成であり、ユーザ操作が必要となり簡単な撮影を実現するものとはなっていない。また、ユーザがパーツ選択決定処理を行なっている間にシャッターチャンスを逃してしまう可能性がある。

カメラによる取得画像に基づいて顔検出を行なって顔の測距を行なう構成とする場合、カメラの取得画像における顔領域が小さすぎると手ぶれや被写体ぶれの影響を受けやすくなるという問題があり、また、顔の輝度差を検出する方式のＡＦ（オートフォーカス）を採用している場合には、輝度差が検出されにくくなるという根本的な問題も存在する。

このような問題を解決する構成として、特許文献３では、顔の大きさに応じて測距領域を変化させる方法を提案している。顔が所定の大きさよりも大きい場合で、かつ目が検出されていたら目を内部に含んだ領域を測距領域とする、顔が所定の大きさよりも小さい場合には、顔を包含するような大きい枠を設定する方法である。しかしながら、この方法によると、顔が小さい場合にズームを使用した撮影を実施すると背景にピントが合ってしまい、顔に対するピントがずれるという問題が発生することがある。
特開２００４−２１９４６１号公報 特開２００３−１０７３３５号公報 特開２００４−３１７６９９号公報

本発明は、このような状況に鑑みてなされたものであり、目的とする被写体に対する正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。

より、具体的には、本発明は、顔検出機能を利用し、顔領域に測距枠を設定するとともに、顔以外の体領域にも測距枠を設定して、これらの測距枠を適用した正確な合焦位置決定処理を実現する撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
撮像装置における入力画像から顔領域の検出を実行する顔検出部と、
前記顔検出部において検出された顔領域に基づいて、顔領域を含む顔領域対応測距枠と、顔内部の一部領域を含む顔内部領域対応測距枠と、体領域を含む体領域対応測距枠の設定処理を実行する測距枠設定部と、
前記測距枠設定部の設定した前記３種類の測距枠の各々を適用して各測距枠対応合焦位置を検出し、検出した各測距枠対応合焦位置情報の照合に基づいて最終的な合焦位置の決定処理を実行するフォーカス制御部と、
を有することを特徴とする撮像装置にある。

さらに、本発明の撮像装置の一実施態様において、前記測距枠設定部は、前記顔検出部の検出した顔領域情報に基づいて、顔全体を含む顔領域対応測距枠、顔内部の一部領域を含む顔内部領域対応測距枠、顔以外の体領域を含む体領域対応測距枠、上記３種類の測距枠の設定位置および大きさを決定して各測距枠を設定する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、複数の異なる測距枠各々について、フォーカスレンズの移動に伴うコントラスト変化を計測して、各測距枠対応の合焦位置を算出し、算出された各測距枠対応の合焦位置の照合に基づいて最終的な合焦位置の決定を行なう構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、前記測距枠設定部の設定した複数の測距枠内部の画像のコントラストを検証し、低コントラストの画像データである場合は、その測距枠を適用して算出した合焦位置情報を無効として、最終的な合焦位置算出には適用しない構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、少なくとも２つの異なる測距枠対応合焦位置が予め設定された許容範囲内の差分以内で一致する場合、該一致点を合焦位置として決定する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記フォーカス制御部は、
（ａ）顔全体を含む顔領域対応測距枠を適用した測距結果から得られる合焦位置、
（ｂ）顔内部の一部領域を含む顔内部領域対応測距枠を適用した測距結果から得られる合焦位置、
（ｃ）顔以外の体領域を含む体領域対応測距枠を適用した測距結果から得られる合焦位置、
上記３種類の測距枠対応合焦位置を照合し、すべての測距枠対応合焦位置が予め設定された許容範囲内の差分以内で一致する場合、あるいは、少なくとも２つの異なる測距枠対応合焦位置が予め設定された許容範囲内の差分以内で一致する場合、該一致点を合焦位置として決定する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、記フォーカス制御部は、前記顔検出部の検出した顔領域の大きさから算出される顔までの距離情報と、前記複数の測距枠を適用した測距結果から得られる複数の合焦位置とを比較照合し、前記距離情報から求められる合焦位置と、前記複数の合焦位置のいずれかとの差分が予め定めた許容範囲内にある場合には、前記測距枠を適用した測距結果から得られる合焦位置を最終的な合焦位置として決定する処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記顔検出部は、継続的に撮像装置の入力画像からの顔領域検出を実行する構成であり、撮像装置の制御部は、前記顔検出部において顔領域検出に成功した場合は、検出画像の輝度または色情報の少なくともいずれかを含む画像情報をメモリに保存し、顔領域検出に失敗した場合は、撮像装置の動きの有無を検証し、顔検出失敗画像と、過去の顔検出成功画像との輝度または色情報の少なくともいずれかを含む画像情報の比較検証に基づいて、顔検出失敗画像における顔領域の位置として、過去の顔検出成功画像における顔領域の位置を適用可能か否かを示すフラグを設定してメモリに記録する処理を実行する構成を有し、前記測距枠設定部は、顔検出失敗時に、前記フラグを参照して、過去の顔検出成功画像における顔領域の位置が適用可能であることが確認された場合、過去の顔検出成功画像における顔領域情報を適用した測距枠設定処理を実行する構成であることを特徴とする。

さらに、本発明の撮像装置の一実施態様において、前記顔検出部が撮像装置の入力画像に複数の顔領域を検出した場合、前記測距枠設定部は、予め設定された優先順位に従って測距枠設定対象の人物を順次選択する処理を行なう構成であることを特徴とする。

さらに、本発明の第２の側面は、
撮像装置においてオートフォーカス制御を実行する撮像装置制御方法であり、
顔検出部において、撮像装置における入力画像から顔領域の検出を実行する顔検出ステップと、
測距枠設定部において、前記顔検出ステップにおいて検出された顔領域に基づいて、顔領域を含む顔領域対応測距枠と、顔内部の一部領域を含む顔内部領域対応測距枠と、体領域を含む体領域対応測距枠の設定処理を実行する測距枠設定ステップと、
フォーカス制御部において、前記測距枠設定ステップで設定した前記３種類の測距枠の各々を適用して各測距枠対応合焦位置を検出し、検出した各測距枠対応合焦位置情報の照合に基づいて最終的な合焦位置の決定処理を実行するフォーカス制御ステップと、
を有することを特徴とする撮像装置制御方法にある。

さらに、本発明の第３の側面は、
撮像装置においてオートフォーカス制御を実行させるコンピュータ・プログラムであり、
顔検出部において、撮像装置における入力画像から顔領域の検出を実行させる顔検出ステップと、
測距枠設定部において、前記顔検出ステップにおいて検出された顔領域に基づいて、顔領域を含む顔領域対応測距枠と、顔内部の一部領域を含む顔内部領域対応測距枠と、体領域を含む体領域対応測距枠の設定処理を実行させる測距枠設定ステップと、
フォーカス制御部において、前記測距枠設定ステップで設定した前記３種類の測距枠の各々を適用して各測距枠対応合焦位置を検出し、検出した各測距枠対応合焦位置情報の照合に基づいて最終的な合焦位置の決定処理を実行させるフォーカス制御ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成では、撮像装置において取得される画像データから顔領域を検出し、検出された顔領域に基づいて、顔領域を含む顔領域対応の測距枠と、顔領域以外の体領域を含む体対応測距枠を設定し、これらの複数の測距枠を適用して、それぞれの測距枠対応の合焦位置を算出し、算出した複数の測距枠対応の合焦位置データを使用して最終的な合焦位置を決定する構成としたので、背景情報に基づく合焦位置設定エラーや低コントラストに基づく合焦位置設定エラーなどの合焦エラーが防止され、正確な合焦位置を決定することが可能となる。

以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。本発明は、目的とする被写体に対して正確なオートフォーカス（ＡＦ）を可能とする構成を開示するものである。本発明の詳細について、以下の項目に従って説明する。
１．撮像装置の構成
２．フォーカス制御および顔検出処理の概要
３．顔および体に測距枠を設定したフォーカス制御処理
４．撮像装置の機能構成

［１．撮像装置の構成］
まず、図１、図２を参照して、本発明の撮像装置の構成について説明する。図１は、本発明の撮像装置１０の外観を示す図である。図１（ａ）は、撮像装置１０の上面図、（ｂ）は正面図、（ｃ）は背面図である。（ａ）上面図のレンズ部分は断面図として示してある。撮像装置１０は、電源スイッチ１１、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ１２、撮像装置によって撮影される画像（スルー画像）や操作情報などを表示するモニタ１３、撮像素子（ＣＣＤ）としてのイメージャ１４、ズーム制御を行うためのズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮像装置によって撮影される画像（スルー画像）を確認するためのビューファインダ１７、フォーカス調整において駆動されるフォーカスレンズ１８、ズーム調整に際して駆動されるズームレンズ１９、撮影モードを設定するためのモードダイアル２０、フォーカスレンズ１８を駆動するためのフォーカスレンズモータ（Ｍ１）２１、ズームレンズ１９を駆動するためのズームレンズモータ（Ｍ２）２２を有する。

被写体画像は、ビューファインダ１７およびモニタ１３に表示される。ビューファインダ１７およびモニタ１３は例えばＬＣＤによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ１７またはモニタ１３を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ１２を押すことで画像の記録処理が実行されることになる。

図２を参照して本発明の撮像装置１００の内部構成について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。フォーカスレンズ１０１、ズームレンズ１０２を介する入射光は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子１０３に入力し、撮像素子１０３において光電変換される。光電変換データは、アナログ信号処理部１０４に入力され、アナログ信号処理部１０４においてノイズ除去等の処理がなされ、Ａ／Ｄ変換部１０５においてデジタル信号に変換される。Ａ／Ｄ変換部１０５においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス１１５に記録される。さらに、モニタ１１７、ビューファインダ（ＥＶＦ）１１６に表示される。モニタ１１７、ビューファインダ（ＥＶＦ）１１６には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。

操作部１１８は、図１を参照して説明したカメラ本体にあるレリーズスイッチ１２、ズームボタン１５、各種の操作情報を入力する操作ボタン１６、撮影モードを設定するためのモードダイアル２０等を含む操作部である。制御部１１０は、ＣＰＵを有し、撮像装置の実行する各種の処理の制御を予めメモリ（ＲＯＭ）１２０などに格納されたプログラムに従って実行する。メモリ（ＥＥＰＲＯＭ）１１９は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ（ＲＯＭ）１２０は、制御部（ＣＰＵ）１１０が使用するプログラムや演算パラメータ等を格納する。メモリ（ＲＡＭ）１２１は、制御部（ＣＰＵ）１１０において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ１１１は、撮像装置の傾き、揺れなどを検出する。検出情報は、制御部（ＣＰＵ）１１０に入力され手ぶれ防止などの処理が実行される。

モータドライバ１１２は、フォーカスレンズ１０１に対応して設定されたフォーカスレンズ駆動モータ１１３、ズームレンズ１０２に対応して設定されたズームレンズ駆動モータ１１４を駆動する。垂直ドラバ１０７は、撮像素子（ＣＣＤ）１０３を駆動する。タイミングジェネレータ１０６は、撮像素子１０３およびアナログ信号処理部１０４の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。

顔検出部１３０は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔を検出する。顔検出情報は、制御部１１０に送られ、制御部１１０では、検出された顔情報に基づいて、検出された顔の領域にオートフォーカス（ＡＦ）のための測距枠（検波枠とも呼ばれる）を設定し、フォーカス制御を行なう。本発明の撮像装置では、検出された顔の領域に測距枠を設定するのみではなく、顔領域から推定される人物の体の領域を推定し、体の領域にも測距枠を設定して、これら複数の測距枠に基づいてフォーカス制御を実行してフォーカス位置を決定する。

［２．フォーカス制御および顔検出処理の概要］
次に、本発明の撮像装置において適用される以下の処理について説明する。
（ａ）コントラスト測定に基づくフォーカス制御処理
（ｂ）顔領域の検出処理

（ａ）コントラスト測定に基づくフォーカス制御処理
まず、本発明の撮像装置において適用するコントラスト測定に基づくフォーカス制御処理について、図３を参照して説明する。コントラスト測定に基づくフォーカス制御は、レンズを介して取得された撮像データのコントラストの高低を判断してフォーカス位置を決定する手法である。このオートフォーカス（ＡＦ）手法は、例えば特開平１０−２１３７３７に記載されている。

ビデオカメラやスチルカメラにおいて取得される画像のコントラストの大小情報を用いてフォーカス制御を行う。例えば、撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定する。この領域は測距枠（検波枠）と呼ばれる。この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。

具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、フォーカスレンズを複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタに代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示すＡＦ評価値を得る。このとき、あるフォーカス位置でピントが合った被写体が存在する場合、フォーカスレンズ位置に対するＡＦ評価値は図３のような曲線を描く。この曲線のピーク位置Ｐ１、すなわち画像のコントラスト値が最大となる位置が合焦位置である。この方式では、デジタルカメラの撮像素子であるイメージャに写った画像の情報のみをもとに合焦動作を行うことができ、撮像光学系の他に測距光学系を持つ必要がないことから、今般デジタルスチルカメラにおいて広く行われている。

本発明の撮像装置では、図２に示す顔検出部１３０において検出された顔領域に設定された測距枠と、顔領域から推定される体領域にも別の測距枠を設定して、これらの複数の測距枠各々について、コントラスト判定に基づいてフォーカス位置の決定処理を行なう。この処理構成については、後段で詳細に説明する。

（ｂ）顔領域の検出処理
次に、本発明の撮像装置の顔検出部１３０において実行する顔領域の検出処理について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開２００４−１３３６３７に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔３次元直交座標系のＸＹＺ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。

縮小された画像に対して２次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになる。本発明の撮像装置では、この顔領域に１つの測距枠を設定し、さらにその顔領域に基づいて体領域を推定して、体領域にも別の測距枠を設定して、コントラスト判定に基づくオートフォーカスを行なう。

なお、上述のテンプレートマッチングにより顔領域が決定されると、顔の大きさも実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交３軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離の推定を実行してオートフォーカス制御を行うことで、フォーカスレンズの動作範囲（Ｒｆ）を小さく設定することが可能となる。

具体的な顔までの距離の算出方法について図４を参照して説明する。図４には、被写体位置３０１、フォーカスレンズ３０２、撮像素子３０３を示している。被写体位置３０１には人物の顔が存在する。顔の大きさ（顔の幅）はＷｆである。

顔の実際の大きさ（Ｗｆ）が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離（Ｄｆ）、すなわち、フォーカスレンズ３０２から被写体位置３０１までの被写体距離（Ｄｆ）は以下の式で求めることができる。 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）・・・（式１．１）
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ

人間の顔の大きさ基準値（Ｗｒｅｆ）は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値（Ｗｒｅｆ）を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。

［３．顔および体に測距枠を設定したフォーカス制御処理］
次に、本発明の撮像装置において実行する顔および体に測距枠を設定したフォーカス制御処理について説明する。

本発明の撮像装置の１つの特徴は、撮像装置において取得されている画像（スルー画）からの顔検出を行い、顔領域に測距枠を設定するとともに、顔領域から体領域を推定して、体領域にも測距枠を設定して、これらの測距枠を適用してコントラスト判定に基づくフォーカス位置の決定を行なうことである。

図５を参照して測距枠の設定構成について説明する。図５（ａ），（ｂ）に示す画像は、撮像装置において継続的に取得されている画像（スルー画）を示しており、図５（ａ）は、顔領域のみに測距枠を設定した例である。すなわち、顔検出部において検出された顔領域にフォーカス位置計測用の測距枠３５１を設定した例である。このように顔領域に測距枠を設定する構成は従来からある。

このように、顔領域全体に測距枠３５１を設定した場合、測距枠３５１の中に背景が混ざることは十分に起こりえる。このような場合「背景ひかれ」という人物にピントが合わずに背景のピントが合ってしまう問題を引き起こす。すなわち、測距枠３５１の内部におけるレンズ駆動に伴うコントラストの変化を測定してフォーカス位置を決定する処理を行なうことになるが、顔のコントラストは他の被写体（背景）に比べて輝度コントラストが低い傾向にあるので、顔の測距情報が、他の情報に埋没してしまうのである。すなわち、測距枠が大きいとＡＦの失敗を引き起こすことになる。

このような「背景ひかれ」を防止するため、顔の内側に測距枠を設定することが考えられるが、このように検出された顔の内側に測距枠を設定する場合、目や口といった特徴点を含む測距枠が設定されれば、コントラスト変化を測定可能となるが、このような特徴点を含まない測距枠が設定された場合、ローコントラストとなり、レンズ駆動に伴うコントラストの変化が現れにくくなり、ピントが合わせられない現象が起こる。また、測距枠が小さい場合には、手ぶれや被写体ぶれによるピント位置の誤判断も多くなる。従って測距枠は小さすぎてもＡＦの失敗につながるという問題がある。

このような問題は、検出された顔領域にのみ測距枠を設定してコントラスト変化に基づくフォーカス位置探索を行おうとすることから発生する問題である。この問題を解決する１つの手法としては、１つの測距枠ではなく、複数個所の測距枠を設定して複数の測距枠に基づいて測距した結果を総合的に判断してピントが最も合う位置を検出する方法がある。

しかしながら、例えば、複数の異なる顔の内部領域に複数の測距枠を設定したフォーカス位置探索を行なう場合、以下の問題が発生する。
＊顔の内部を狙うＡＦの性能は、顔の検出精度、顔のパーツ認識精度に左右されやすい。
＊顔内部で狙えるバーツは少なく、ずれると頬のようなローコントラスト面になる。
これらの問題があり、顔内部のパーツを含む複数の測距枠を設定しても、良好な結果が得られる可能性は高くないと判断される。

そこで、本発明の撮像装置では、測距枠を配置する対象を顔領域と、顔以外の領域、例えば、人物の顔以外の体に測距枠を設定して、これらの測距枠に基づくコントラスト測定によるフォーカス位置決定を行なう。人物の衣服は、顔の肌色と異なり、模様を持つ場合が多く、コントラストの変化を検出し易い場合が多く、より正確なフォーカス位置検出が可能となると考えられるからである。

例えば図５（ｂ）に示すように、顔領域に対する測距枠３７１の他、体領域に対する測距枠３７２を設定し、それぞれの測距枠において、先に、図３を参照して説明したレンズ位置駆動に対応するコントラスト変化を検出して検出したコントラスト結果に基づいてフォーカス位置を決定する。

なお、例えば図６に示すように、
（ａ）顔領域に対する測距枠３８１、
（ｂ）体領域に対応する測距枠３８２、
（ｃ）顔内部領域に対応する測距枠３８３、
これらの複数の測距枠を設定して、それぞれの測距枠３８１〜３８３において、先に、図３を参照して説明したレンズ位置駆動に対応するコントラスト変化を検出して検出したコントラスト結果に基づいてフォーカス位置を決定する構成としてもよい。

図７以下を参照して、図６に示す３箇所の測距枠を設定したオートフォーカス制御処理の詳細について説明する。図７は、図６に示す３箇所の測距枠を設定したオートフォーカス制御処理を実行する場合の撮像装置の動作シーケンスを説明するフローチャートである。

ステップＳ１０１において、顔検出処理を実行する。この処理は図２に示す顔検出部１３０の処理として実行され、先に説明したようにテンプレートマッチング等の手法を用いて実行される。測距枠の設定はシャッターが押された（半押し）ことが検出された場合に実行される（ステップＳ１０２でＹｅｓ）。シャッターを押されるまでは、ステップＳ１０１の顔検出を繰り返し実行して待機する。顔検出を継続的に実行することで、シャッターが押されてから顔検出を開始する必要が排除でき、処理時間を短縮することができる。すなわち、シャッターラグを短くすることができる。なお、シャッターをおされてから顔検出をする構成としてもよく、この場合でもシャッターラグ以外のＡＦ性能は変わらない。

ステップＳ１０２においてシャッター押下が確認されると、ステップＳ１０３において顔が検出されているか否かを判定する。顔が検出されている場合は、ステップＳ１０７に進み、検出された顔に測距枠を設定し、さらに、ステップＳ１０８において、顔の内側に測距枠を設定する。

さらに、ステップＳ１０９において、撮像装置において取得されている画像の画角内に体が存在するか否かを判定して、体が存在すると判定した場合は、ステップＳ１１０に進み、体に測距枠を設定する。ステップＳ１０９の体が存在するか否かの判定処理、およびステップＳ１１０における体の測距枠の設定手法については、後段で詳細に説明する。

ステップＳ１１１では、設定した測距枠を適用したオートフォーカス（ＡＦ）処理を実行する。すなわち、先に図３を参照して説明したようにレンズ駆動に基づくコントラスト変化を検出し、フォーカス位置（合焦位置）を決定する。まず、複数の測距枠各々について、個別の合焦位置を決定し、その後、これらの複数の合焦位置に基づいて最終的な合焦位置を決定する。この処理の具体的シーケンスについては後述する。

ステップＳ１１１におけるオートフォーカス処理が完了すると、ステップＳ１１２において、オートフォーカス制御が終了したことを示す合焦枠を撮像装置のモニタやビューファインダに表示する。

なお、ステップＳ１０３において、顔が検出されていないと判定された場合は、ステップＳ１０４に進み、過去の顔検出履歴情報を参照して、過去フレームにおいて顔検出情報が残っている場合は、その過去フレーム対応の顔検出領域を用いて、ステップＳ１０７以下で各測距枠の設定を行う。

本発明の撮像装置では、継続的に取得されている画像について、継続的に顔検出処理を実行しており、予め設定された期間におけるフレーム対応の顔検出情報を保持する構成としている。測距枠の設定を実行しようとするタイミングにおいて顔検出に失敗した場合でも、直前の検出情報の有無を判定し、顔の検出情報が存在する場合は、その検出情報に基づく測距枠の設定を行う。例えば、顔の向きが変わったなどの要因で顔が検出されなくなってしまった時、顔はまだそこにあると判断し、前回まで検出されていた結果を用いて測距枠の設定を行う。

ステップＳ１０４において、顔の検出履歴も無いと判定した場合は、ステップＳ１０５において、従来手法を適用し、「マルチＡＦ」、「多点測距ＡＦ」や、画面中央部に測距エリアを設定してフォーカス制御を行い、ステップＳ１０６において、フォーカス制御の終了を示す合焦枠を撮像装置のモニタやビューファインダに表示する。

本発明の撮像装置では、ステップＳ１０３において顔の検出がなされなかった場合、ステップＳ１０４において顔検出履歴の有無を判定して、履歴がある場合は、その履歴情報を適用して測距枠を設定する構成となっているが、この顔検出履歴の有無の判定を可能とするため、顔の検出処理に際して、顔検出履歴フラグの設定を行う構成としている。この顔検出履歴フラグの設定シーケンスについて図８に示すフローチャートを参照して説明する。

図８に示すフローチャートは制御部の制御の下、顔検出部の顔検出情報を用いて実行される。顔検出部による顔検出処理は例えば予め定められたフレーム間隔で継続的に繰り返し実行されており、この図８に示す処理も、各検出処理タイミングにおいて繰り返し実行される。

まず、ステップＳ１５１において、顔検出部において顔検出処理に成功した場合は、ステップＳ１５２に進み、少なくとも検出された顔領域に含まれる画像データの輝度、色情報がメモリに記録される。ステップＳ１５１において、顔検出部における顔検出処理に成功しなかった場合は、ステップＳ１５３に進み、過去の顔検出成功時から現在に至るまでにパン・チルトが実行されたか否かを判定する。例えば、取得画像の変化の解析や、図２に示すジャイロ１１１によって撮像装置のパン・チルトの実行の有無を検出する。

パン・チルトが実行されていない場合は、ステップＳ１５４に進み、過去の顔検出成功時の画像に対応してメモリに記録されている少なくとも検出された顔領域の輝度、色情報と、顔検出に失敗した最新の画像の対応する領域の輝度・色情報を比較する。これらの両者の画像の輝度・色情報に変化がない場合、顔検出に成功したフレーム画像と、顔検出に失敗した最新のフレーム画像とに大きな変化がないと判断し、ステップＳ１５５において、過去の顔検出成功時のフレーム画像を適用して顔領域の推定が可能であることを示すフラグ、すなわち顔検出履歴フラグを［１］を最新のフレーム画像に対応する履歴フラグとして設定する。

顔検出履歴フラグが［１］の場合は、過去の顔検出成功時の画像と同一位置に顔領域があるとの推定が可能であることを示す。一方、ステップＳ１５３において、過去の顔検出成功時から現在に至るまでにパン・チルトが実行されたと判定された場合、あるいは、ステップＳ１５４において、過去の顔検出成功時の画像に対応してメモリに記録されている顔領域の輝度、色情報と、顔検出に失敗した最新の画像の対応する領域の輝度・色情報とに変化が認められた場合は、顔検出に失敗したフレーム画像と、過去の顔検出に成功したフレーム画像とは異なる画像である可能性が高く、過去のフレーム画像の顔領域に相当する位置は、現在のフレームの顔領域として推定することができないと判定して、ステップＳ１５６に進み、過去の顔検出成功フレームの顔領域位置情報を適用できないことを示すフラグ、すなわち、顔検出履歴フラグ［０］を最新のフレーム画像に対応する履歴フラグとして設定する。

顔検出履歴フラグ［１］が設定されている場合、図７のステップＳ１０４において、顔検出履歴ありと判定され、過去の顔検出成功フレームにおいて検出された顔領域に顔が存在すると推定して、ステップＳ１０７移行において、その推定顔領域に基づいて、各測距枠の設定が実行される。

一方、顔検出履歴フラグ［０］が設定されている場合は、過去の顔検出成功フレームの情報は適用できないと判断して、ステップＳ１０７以下の測距枠設定処理を実行せずにステップＳ１０５に進み、従来手法を適用し、「マルチＡＦ」、「多点測距ＡＦ」や、画面中央部に測距エリアを設定してフォーカス制御を行う。

このように、本発明の撮像装置では、カメラがパン、チルトして撮影シーンが変化したか否か、画像の輝度、色情報の変化を観察し、過去の顔検出成功時と変化がないと判定した場合は、その過去のフレームにおいて検出された顔領域に現在も顔が存在すると推定して顔領域その他に対する測距枠の設定を行う。この構成により顔検出部の検出エラーに対しても安定した処理が可能となる。すなわち顔の向きが変わったなどの要因で一時的に顔が検出されなくなってしまった場合でも、過去の検出情報の信頼性の判定を行なった上で処理を実行することができる。

次に、図７に示すフローにおけるステップＳ１０９の処理、すなわち、撮像装置の取得画像に含まれる体領域が測距枠の設定可能な大きさを持つか否かを判定する処理の具体例について図９を参照して説明する。

撮像装置において取得された画像から、顔領域が特定されても、必ずしも測距枠を設定するに十分な体領域が画像に含まれるとは限らない。例えば、図９（ａ）に示すように、大きな体領域が画像内に存在する場合は、体領域に対応する測距枠設定が可能となるが、図９（ｂ）に示すように、画像内に存在する体領域が小さい場合は、体領域に対応する測距枠設定ができない。測距枠は、レンズの移動に対応するコントラストの変化を検出する領域として設定されるものであり、ある大きさが必要となる。この判定処理を図７のステップＳ１０９において実行する。このステップＳ１０９の詳細シーケンスについて、図９に示すフローチャートを参照して説明する。

ステップＳ２０１において、顔と画角下端間の距離［Δｄ］を算出する。図９（ａ），（ｂ）に示す距離［Δｄ］である。次に、ステップＳ２０２において、［Δｄ］と予め設定された閾値との比較を実行する。具体的な処理例について説明する。
検出された顔の縦の長さを［ｆｘｖ］とし、
顔の下端から画角の下端までの距離を［Δｄ］とする。
このとき、以下の式が満足されるか否かを判定する。
ｆｘｖ×ｋ＜Δｄ
（ただし、ｋ＝０．５〜１．０程度）

上記式を満足する場合は、ステップＳ２０３に進み、体領域に対応する測距枠の設定が可能であると判定し、上記式を満足しない場合は、ステップＳ２０４に進み、体領域に対応する測距枠の設定が不可能であると判定する。

ステップＳ２０３に進み、体領域に対応する測距枠の設定が可能であると判定した場合は、図７におけるステップＳ１０９の判定でＹｅｓと判定したことに相当し、ステップＳ１１０において体に対応する測距枠設定して、ステップＳ１１１で、顔領域、顔内部領域、体領域の３つの測距枠に基づく測距処理を実行してフォーカス位置の決定を行なう。一方、ステップＳ２０４に進み、体領域に対応する測距枠の設定が不可能であると判定した場合は、図７におけるステップＳ１０９の判定でＮｏと判定したことに相当し、ステップＳ１１０の体に対応する測距枠設定は省略して、ステップＳ１１１に進み、顔領域、顔内部領域の２つの測距枠に基づく測距処理を実行してフォーカス位置の決定を行なう。

次に、図７に示すフローにおける測距枠の設定処理、すなわち、
＊ステップＳ１０７の顔領域対応測距枠の設定、
＊ステップＳ１０８の顔内部領域対応測距枠の設定、
＊ステップＳ１１０の体領域対応測距枠の設定、
これらの測距枠設定処理の詳細について、図１０を参照して説明する。

ステップＳ１０７の顔領域対応測距枠の設定は、以下のようにして実行する。
顔の縦の長さを［ｆｘｖ］、
顔の横の長さを［ｆｘｈ］
とすると、
顔領域を内接する矩形領域として、
ｆｘｖ×ｆｘｈの矩形領域を設定して、これを顔領域対応の測距枠とする。図１０に示す顔領域対応測距枠３９１である。

ステップＳ１０８の顔内部領域対応測距枠の設定は、以下のようにして実行する。
顔の縦の長さを［ｆｘｖ］、
顔の横の長さを［ｆｘｈ］
とすると、
・縦の長さ＝０．５×ｆｘｖ、
・横の長さ＝０．５×ｆｘｈ、
・中心座標＝顔全体の測距領域の中心座標
この矩形領域を顔内部領域対応の測距枠とする。図１０に示す顔内部領域対応測距枠３９２である。

ステップＳ１１０の体内部領域対応測距枠の設定は、以下のようにして実行する。
顔の縦の長さを［ｆｘｖ］、
顔の横の長さを［ｆｘｈ］
とすると、
・縦の長さ＝０．８×ｆｘｖ、
・横の長さ＝０．６×ｆｘｈ、
・体に対して垂直方向の中心座標＝顔全体の測距領域の中心座標（垂直方向）＋（体の測距領域の縦の長さ／２）＋ｆｘｖ
・体に対して水平方向の中心座標＝顔全体の中心座標（水平方向）
この矩形領域を体領域対応の測距枠とする。図１０に示す体領域対応測距枠３９３である。

図７のフローにおけるステップＳ１１１ではこれらの測距枠を適用した測距処理、すなわちレンズ移動に対応するコントラストの変化を検出してフォーカス位置を決定する。しかし、全ての測距枠の測距結果、すなわちコントラスト変化情報が有効に利用可能となるとは限らない。たとえば、輝度が十分でない場合などには、測距結果データは利用できない場合がある。すなわち、測距したデータが使用可能かどうかを、顔全体、顔内部、体ごとに設定した測距枠ごとに判断する。この判断シーケンスについて、図１１に示すフローを参照して説明する。評価のポイントは輝度のコントラスト信号が十分に変化するかどうかである。輝度のコントラストが十分に得られない場合、ローコントラストと呼ばれ、明確な輝度コントラストの最大点が存在しないためにピントが合う位置を知ることが不可能となる。

図１１に示すフローは、図７に示すフローのステップＳ１１１のＡＦ（オートフォーカス）実行処理の一部を構成する。すなわち、各測距枠を適用して実行した測距データの有効性を判定する処理として実行される。まず、ステップＳ３０１において、顔領域対応の測距枠を適用して得られた測距データの有効性を判定する。具体的には、顔領域対応の測距枠内のデータがローコントラストであるか否かを判定し、ローコントラストであると判定した場合は、ステップＳ３０２に進み、顔領域対応の測距枠を適用して得られた測距結果データは利用すべきでないと判断し、データを無効とする。

次に、ステップＳ３０３において、顔内部領域対応の測距枠を適用して得られた測距データの有効性を判定する。具体的には、顔内部領域対応の測距枠内のデータがローコントラストであるか否かを判定し、ローコントラストであると判定した場合は、ステップＳ３０４に進み、顔内部領域対応の測距枠を適用して得られた測距結果データは利用すべきでないと判断し、データを無効とする。

次に、ステップＳ３０５において、体領域対応の測距枠が設定されているか否かを判定し、設定されている場合は、ステップＳ３０６に進み、体領域対応の測距枠を適用して得られた測距データの有効性を判定する。具体的には、体領域対応の測距枠内のデータがローコントラストであるか否かを判定する。

ステップＳ３０５において、体領域対応の測距枠が設定されていない場合、または、ステップＳ３０６において、ローコントラストであると判定した場合は、ステップＳ３０７に進み、体領域対応の測距枠を適用して得られた測距結果データは利用すべきでないと判断し、データを無効とする。

次に、図１２に示すフローを参照して、具体的なフォーカス位置（合焦位置）の決定シーケンスについて説明する。図１２に示すフローは、図７に示すフローのステップＳ１１１のオートフォーカス処理の詳細処理である。なお、図１２に示す処理フローは、
顔領域対応測距枠に基づく測距結果、
顔内部領域対応測距枠に基づく測距結果、
体領域対応測距枠に基づく測距結果、
これらの測距結果がすべて有効であった場合の処理例であり、
Ａ：顔領域対応測距枠に基づく測距結果から得られる合焦位置、
Ｂ：顔内部対応測距枠に基づく測距結果から得られる合焦位置、
Ｃ：体領域対応測距枠に基づく測距結果から得られる合焦位置、
として処理シーケンスを説明している。
いずれかの測距結果が利用できない場合は、Ａ，Ｂ，Ｃのいずれかを省いた処理として実行されることになる。

繰り返しになるが、顔領域対応の顔全体を測距対象とした場合、背景に惹かれてしまうリスクがある。顔の内部を測距した場合、ローコントラストになってしまうか、手ぶれ被写体ぶれの影響で見当違いの位置に測距結果が出現するリスクがある。また、体の測距枠を利用した場合、服装によってはローコントラスト、もしくは背景にひかれてしまうリスクがある。ただし、顔に比べて一般的に衣服の方がコントラストが高い場合が多く背景引かれは発生しにくい。なお、最終合焦位置決定処理では、ローコントラストと判定されている測距領域は、結果の信頼性が不十分のため、評価の対象としない。

図１２に示すフローの各ステップについて説明する。まず、ステップＳ４０１において、顔、顔内部、体各領域対応の測距枠を適用したコントラスト測定に基づく合焦位置がすべて一致しているか否かを判定する。

Ａ、Ｂ、Ｃが一致した場合、顔内部対応の測距枠に基づく合焦位置と顔全体の顔領域対応測距枠に基づく合焦位置が一致していることから、顔領域対応測距枠に基づく合焦位置は背景引かれによるエラーを発生させていないことを示しており、また体領域対応測距枠に基づいて計測された合焦位置と、顔内部領域対応測距枠に基づいて計測された合焦位置とが一致していることから、顔内部領域対応測距枠に基づいて計測された合焦位置の信頼性が高い、すなわち、手ぶれや被写体ぶれの影響をほとんど受けていないと判定できる。すなわち測距結果の信頼性が極めて高い。ここで、一致するとは、差分が一定の範囲内にあるということであり、最小で０、最大で被写界深度内となる。すなわち、ステップＳ４０１では、
Ａ≒Ｂ≒Ｃ
上記式が成立するか否かを判定する。
上記式が成立する場合は、ステップＳ４１１に進み、この一致点を合焦位置とする。

なお、被写界深度とは、撮影した場合にぼけを発生させない範囲を定義する情報である。図１３を参照して被写界深度について説明する。図１３（ａ）に示すように、被写体５０１の像が、アイリス５０２、レンズ５０３を介してイメージャ５０４に結像する。このとき、像のぼけが認識されない範囲を許容錯乱円５０５として設定すると、この許容錯乱円に基づいて、被写体までの距離の許容誤差が被写界深度］Ｒａ］として算出できる。

被写体位置：Ｄｆ
許容錯乱円径:ｄ
Ｆ値（絞り）：Ｆ
レンズ焦点距離：ｆ
とすると、
被写界深度Ｒａ、すなわち、
前方被写界深度（Ｒａｎ）〜後方被写界深度（Ｒａｆ）は以下の式によって定義される。
Ｒａ＝（Ｄｆ^２×ｄ×ｆ）／（ｆ^２＋Ｄｆ×ｄ×Ｆ）〜（Ｄｆ^２×ｄ×ｆ）／（ｆ^２−Ｄｆ×ｄ×Ｆ）

ステップＳ４０１では、Ａ，Ｂ，Ｃの合焦位置が上記被写界深度内の誤差を含む場合も一致と判定する。すなわち、
Ａ≒Ｂ≒Ｃ
上記式が成立するか否かを判定する。

ステップＳ４０１において、
Ａ≒Ｂ≒Ｃ
上記式が成立しないと判定した場合は、ステップＳ４０２に進み、
Ａ：顔領域対応測距枠に基づく測距結果から得られる合焦位置、
Ｂ：顔内部対応測距枠に基づく測距結果から得られる合焦位置、
これらの２つが一致するか否か、すなわち、
Ａ≒Ｂ
上記式が成立するか否かを判定する。
上記式が成立する場合は、ステップＳ４１１に進み、この一致点を合焦位置とする。

この場合は、ＡとＢが一致し、Ｃが一致しないケースである。体が測距できない位置にあった場合や、体の前に別の被写体があった場合、または衣服がローコントラストなどの場合はこのケースに該当するが、ＡとＢが一致していることから、顔全体が背景引かれしていない可能性が高い。Ａ≒Ｂ≒Ｃの場合ほどは信頼性は高くないものの、ＡとＢの測距データは信用に足ると判断できる。

ステップＳ４０２において、
Ａ≒Ｂ
上記式が成立しないと判定した場合は、ステップＳ４０３に進み、
Ｂ：顔内部対応測距枠に基づく測距結果から得られる合焦位置、
Ｃ：体領域対応測距枠に基づく測距結果から得られる合焦位置、
これらの２つが一致するか否か、すなわち、
Ｂ≒Ｃ
上記式が成立するか否かを判定する。
上記式が成立する場合は、ステップＳ４１１に進み、この一致点を合焦位置とする。

この場合は、ＢとＣが一致するケースであるが、これはＡが背景ひかれを起こしている可能性が高い。しかしながら、ＢとＣが一致することから、Ｂの顔内部の測距データが手ぶれや被写体ぶれを起こしている可能性は低いといえ、この場合も、ＢとＣの測距データは信用に足ると判断できる。

ステップＳ４０３において、
Ｂ≒Ｃ
上記式が成立しないと判定した場合は、ステップＳ４０４に進み、顔検出部において検出された顔の大きさから顔までの距離［Ｄｆ］を推定する。この推定処理は、先に図４を参照して説明した通りであり、
人間の顔の大きさ基準値：Ｗｒｅｆ
撮像素子の幅：Ｗｉ
焦点距離：ｆ
撮像画像における人の顔の大きさのピクセル数（撮像素子検出値）：Ｗｆ
人の顔検出に使用した画像の大きさのピクセル数（撮像素子検出値）：Ｗｗ
としたとき、被写体距離（Ｄｆ）を以下の式で求める。 Ｄｆ＝Ｗｒｅｆ×（ｆ／Ｗｉ）×（Ｗｗ／Ｗｆ）

次に、ステップＳ４０５において、被写体距離（Ｄｆ）に対応する被写界深度［Ｒａ］を算出する。被写界深度［Ｒａ］は、先に図１３を参照して説明した通りであり、ある１つの被写体距離に対して許容される誤差を規定するデータに相当する。

ステップＳ４０６では、
Ａ：顔領域対応測距枠に基づく測距結果から得られる合焦位置、
Ｃ：体領域対応測距枠に基づく測距結果から得られる合焦位置、
これらＡとＣが一致するか否かを判定する。すなわち、
Ａ≒Ｃ
上記式が成立するか否かを判定する。

上記式が成立する場合、ステップＳ４０７に進み、顔検出部において検出された顔の大きさに基づく顔までの距離［Ｄｆ］に対応する被写界深度［Ｒａ］内にＡ≒Ｃに相当する位置があるか否かを判断する。存在する場合は、ステップＳ４１１に進み、Ａ≒Ｃに相当する位置を合焦位置とする。ＡとＣが一致している場合、これは両者ともに背景ひかれを起こしてしまっている可能性があるが、ＡとＣの一致点がＲａ内にあれば、背景ひかれし、顔にピントが合わないという状況ではないというということが推測される。この場合、ＡとＣの一致点を合焦位置とみなすものである。

ステップＳ４０７において、顔検出部において検出された顔の大きさに基づく顔までの距離［Ｄｆ］に対応する被写界深度［Ｒａ］内にＡ≒Ｃに相当する位置がないと判断された場合は、測距枠に基づく測距結果から得られる合焦位置は有効なものではないと判断し、ステップ４１０に進み、合焦失敗と判断する。この場合は、合焦エラーのメッセージ表示を行なうか、あるいは、予め設定されたデフォルト位置に合焦位置を設定する処理を行なって処理を終了する。

また、ステップＳ４０６において、
Ａ：顔領域対応測距枠に基づく測距結果から得られる合焦位置、
Ｃ：体領域対応測距枠に基づく測距結果から得られる合焦位置、
これらＡとＣが一致しないと判定した場合は、ステップＳ４０８に進み、顔検出部において検出された顔の大きさに基づく顔までの距離［Ｄｆ］に対応する被写界深度［Ｒａ］内にＡまたはＢまたはＣいずれかの合焦位置があるか否かを判断する。存在する場合は、ステップＳ４０９に進み、優先順位を、Ｂ，Ｃ，Ａの順、すなわち、
Ｂ：顔内部対応測距枠に基づく測距結果から得られる合焦位置、
Ｃ：体領域対応測距枠に基づく測距結果から得られる合焦位置、
Ａ：顔領域対応測距枠に基づく測距結果から得られる合焦位置、
上記順番として、合焦位置を決定する。これは、背景ひかれの可能性の少ない順に優先付けを行なっているものである。

ステップＳ４０８において、顔検出部において検出された顔の大きさに基づく顔までの距離［Ｄｆ］に対応する被写界深度［Ｒａ］内にＡ，Ｂ，Ｃいずれかの合焦位置もないと判断された場合は、測距枠に基づく測距結果から得られる合焦位置は有効なものではないと判断し、ステップ４１０に進み、合焦失敗と判断する。この場合は、合焦エラーのメッセージ表示を行なうか、あるいは、予め設定されたデフォルト位置に合焦位置を設定する処理を行なって処理を終了する。

このように、本発明の撮像装置では、顔領域以外に体領域に測距枠を設定し、複数の測距枠に基づく測距結果データを総合的に勘案して合焦位置を算出する構成としたので、より正確な合焦処理、すなわちオートフォーカス制御が実現される。

なお、上述した実施例では、撮像装置において取得される画像における１人の人物に対する処理として説明したが、例えば取得画像に複数の人物が含まれる場合には、画像に含まれる複数の人物に優先順位を設定して設定した優先順位に従って処理を行なうことが可能である。

優先順位に基づく処理シーケンスについて、図１４に示すフローを参照して説明する。まず、ステップＳ５０１において、取得画像に含まれる複数の人物に対する優先順位を決定する。例えば顔の大きさ、画像の中心からの近さなど、予め設定したルールに従って優先順位を設定する。

次に、ステップＳ５０２において、優先順位の高い人物像を選択して、ステップＳ５０３において合焦位置（オートフォーカス位置）の決定処理を実行する。この決定シーケンスは、先に図１２を参照して説明したシーケンスに従った処理として実行する。

次に、ステップＳ５０４において、合焦位置の決定に成功したか否かを判定し、成功した場合は処理を終了し、失敗した場合は、ステップＳ５０５において、次の優先順位の人物を選択して、選択した人物を対象としてステップＳ５０３において合焦位置（オートフォーカス位置）の決定処理を実行する。この決定シーケンスは、先に図１２を参照して説明したシーケンスに従った処理として実行する。このように、優先順位に従って、合焦処理を順次、実行する。

［４．撮像装置の機能構成］
最後に、図１５を参照して本発明の撮像装置において実行される処理を行なうための機能構成について説明する。上述した処理は、先に図２を参照して説明したハードウェア構成を適用して、主に制御部１１０の制御の下に実行されるプログラムに従って実行される。図１５は、この処理を実行する際に適用する機能を中心として説明するためのブロック図である。

撮像装置において取得された画像情報７００は、図２を参照して説明した撮像素子、デジタル信号処理部等を介して顔検出部７０１に入力される。顔検出部７０１では、前述したように、例えば顔の輝度分布情報を記録したテンプレートの実画像へのマッチング処理によって、画像情報７００から顔領域を特定して検出する。測距枠設定部７０２は、顔検出部７０１において検出された顔領域の情報に基づいて、顔領域を含む顔領域対応測距枠と、体領域を含む体領域対応測距枠の設定処理を実行する。すなわち、
顔全体を含む顔領域対応測距枠、
顔内部の一部領域を含む顔内部領域対応測距枠、
顔以外の体領域を含む体領域対応測距枠、
これらの３種類の測距枠の設定位置および大きさを決定してこれらの測距枠を設定する。

フォーカス制御部７０３は、測距枠設定部７０２の設定した上記３種類の測距枠の各々を適用して各測距枠対応合焦位置を検出し、検出した各測距枠対応合焦位置情報の照合に基づいて最終的な合焦位置の決定処理を実行する。すなわち、複数の異なる測距枠各々について、フォーカスレンズの移動に伴うコントラスト変化を計測して、各測距枠対応の合焦位置を算出し、算出された各測距枠対応の合焦位置の照合に基づいて最終的な合焦位置の決定を行なう。なお、この際に、複数の測距枠内部の画像のコントラストを検証し、低コントラストの画像データである場合は、その測距枠を適用して算出した合焦位置情報を無効として、最終的な合焦位置算出には適用しない。

フォーカス制御部の最終的なフォーカス位置の決定処理は、先に図１２を参照して説明したシーケンスに従って実行される。すなわち、
（ａ）顔全体を含む顔領域対応測距枠を適用した測距結果から得られる合焦位置、
（ｂ）顔内部の一部領域を含む顔内部領域対応測距枠を適用した測距結果から得られる合焦位置、
（ｃ）顔以外の体領域を含む体領域対応測距枠を適用した測距結果から得られる合焦位置、
上記３種類の測距枠対応合焦位置を照合し、すべての測距枠対応合焦位置が予め設定された許容範囲内の差分以内で一致する場合、あるいは、少なくとも２つの異なる測距枠対応合焦位置が予め設定された許容範囲内の差分以内で一致する場合、該一致点を合焦位置として決定する処理を実行する。

さらに、フォーカス制御部７０３は、顔検出部７０１の検出した顔領域の大きさから算出される顔までの距離情報と、複数の測距枠を適用した測距結果から得られる複数の合焦位置とを比較照合し、顔検出部７０１の検出した顔領域の大きさから算出される距離情報から求められる合焦位置と、測距枠を適用して算出した合焦位置のいずれかとの差分が予め定めた許容範囲内にある場合には、測距枠を適用した測距結果から得られる合焦位置を最終的な合焦位置として決定する処理を実行する。

また、先に、図８を参照して説明したように、顔検出部７０１は、継続的に撮像装置の入力画像からの顔領域検出を実行し、制御部７０４は、顔検出部７０１において顔領域検出に成功した場合は、検出画像の輝度または色情報の少なくともいずれかを含む画像情報をメモリ７０５に保存し、顔領域検出に失敗した場合は、撮像装置の動きの有無を検証し、顔検出失敗画像と、過去の顔検出成功画像との輝度または色情報の少なくともいずれかを含む画像情報の比較検証に基づいて、顔検出失敗画像における顔領域の位置として、過去の顔検出成功画像における顔領域の位置を適用可能か否かを示すフラグを設定してメモリ７０５に記録する処理を実行する。測距枠設定部７０２は、顔検出失敗時に、フラグを参照して、過去の顔検出成功画像における顔領域の位置が適用可能であることが確認された場合、過去の顔検出成功画像における顔領域情報を適用した測距枠設定処理を実行する。

なお、先に図１４を参照して説明したように、顔検出部７０１が撮像装置の入力画像に複数の顔領域を検出した場合、測距枠設定部７０２は、予め設定された優先順位に従って測距枠設定対象の人物を順次選択する処理を行なう。

なお、上述した実施例では、撮像装置としてデジタルスチルカメラを想定して説明したが、人物の撮影を行う機器であれば、ビデオカメラやカメラつき携帯電話など形態の異なる機器にも本発明は適用可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成では、撮像装置において取得される画像データから顔領域を検出し、検出された顔領域に基づいて、顔領域を含む顔領域対応の測距枠と、顔領域以外の体領域を含む体対応測距枠を設定し、これらの複数の測距枠を適用して、それぞれの測距枠対応の合焦位置を算出し、算出した複数の測距枠対応の合焦位置データを使用して最終的な合焦位置を決定する構成としたので、背景情報に基づく合焦位置設定エラーや低コントラストに基づく合焦位置設定エラーなどの合焦エラーが防止され、正確な合焦位置を決定することが可能となる。

本発明の撮像装置の外観構成例について説明する図である。 本発明の撮像装置のハードウェア構成例について説明する図である。 フォーカス制御における合焦動作として実行されるレンズ駆動、ＡＦ評価値取得処理例について説明する図である。 顔の大きさに基づく被写体距離算出処理について説明する図である。 フォーカス制御のための測距枠の設定例について説明する図である。 フォーカス制御のための測距枠の設定例について説明する図である。 測距枠の設定およびオートフォーカス制御シーケンスについて説明するフローチャートを示す図である。 顔検出履歴フラグの設定シーケンスについて説明するフローチャートを示す図である。 体領域対応の測距枠設定可否判定処理および処理シーケンスについて説明する図である。 各領域対応の測距枠設定処理例について説明する図である。 各測距枠の測距結果データの有効性判定処理シーケンスについて説明するフローチャートを示す図である。 各測距枠の測距結果データを利用した合焦位置決定処理シーケンスについて説明するフローチャートを示す図である。 被写界深度について説明する図である。 複数の人物に対する優先順位設定に基づく処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る撮像装置の構成、機能について説明するブロック図である。

符号の説明

１０ 撮像装置
１１ 電源スイッチ
１２ レリーズスイッチ
１３ モニタ
１４ イメージャ
１５ ズームボタン
１６ 操作ボタン
１７ ビューファインダ
１８ フォーカスレンズ
１９ ズームレンズ
２０ モードダイアル
２１ フォーカスレンズモータ（Ｍ１）
２２ ズームレンズモータ（Ｍ２）
１００ 撮像装置
１０１ フォーカスレンズ
１０２ ズームレンズ
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ Ａ／Ｄ変換部
１０６ タイミングジェネレータ（ＴＡ）
１０７ 垂直ドライバ
１０８ デジタル信号処理部
１１０ 制御部
１１１ ジャイロ
１１２ モータドライバ
１１３，１１４ モータ
１１５記録デバイス１１５
１１６ ビューファインダ（ＥＶＦ）
１１７ モニタ
１１８ 操作部
１１９ メモリ（ＥＥＰＲＯＭ）
１２０ メモリ（ＲＯＭ）
１２１ メモリ（ＲＡＭ）
３０１ 被写体位置
３０２ フォーカスレンズ
３０３ 撮像素子
３５１ 測距枠
３７１，３７２ 測距枠
３８１〜３８３ 測距枠
３９１ 顔領域対応測距枠
３９２ 顔内部領域対応測距枠
３９３ 体領域対応測距枠
５０１ 被写体
５０２ アイリス
５０３ レンズ
５０４ イメージャ
５０５ 許容錯乱円
７００ 画像情報
７０１ 顔検出部
７０２ 測距枠設定部
７０３ オートフォーカス制御部
７０４ 制御部
７０５ メモリ

Claims (11)

1. 撮像装置における入力画像から顔領域の検出を実行する顔検出部と、
   前記顔検出部において検出された顔領域に基づいて、顔領域を含む顔領域対応測距枠と、顔内部の一部領域を含む顔内部領域対応測距枠と、体領域を含む体領域対応測距枠の設定処理を実行する測距枠設定部と、
   前記測距枠設定部の設定した前記３種類の測距枠の各々を適用して各測距枠対応合焦位置を検出し、検出した各測距枠対応合焦位置情報の照合に基づいて最終的な合焦位置の決定処理を実行するフォーカス制御部とを有し、
   ことを特徴とする撮像装置。
2. 前記測距枠設定部は、
   前記顔検出部の検出した顔領域情報に基づいて、
   上記３種類の測距枠の設定位置および大きさを決定して各測距枠を設定する構成であることを特徴とする請求項１に記載の撮像装置。
3. 前記フォーカス制御部は、
   複数の異なる測距枠各々について、フォーカスレンズの移動に伴うコントラスト変化を計測して、各測距枠対応の合焦位置を算出し、算出された各測距枠対応の合焦位置の照合に基づいて最終的な合焦位置の決定を行なう構成であることを特徴とする請求項１に記載の撮像装置。
4. 前記フォーカス制御部は、
   前記測距枠設定部の設定した複数の測距枠内部の画像のコントラストを検証し、低コントラストの画像データである場合は、その測距枠を適用して算出した合焦位置情報を無効として、最終的な合焦位置算出には適用しない構成であることを特徴とする請求項１に記載の撮像装置。
5. 前記フォーカス制御部は、
   少なくとも２つの異なる測距枠対応合焦位置が予め設定された許容範囲内の差分以内で一致する場合、該一致点を合焦位置として決定する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
6. 前記フォーカス制御部は、
   （ａ）顔全体を含む顔領域対応測距枠を適用した測距結果から得られる合焦位置、
   （ｂ）顔内部の一部領域を含む顔内部領域対応測距枠を適用した測距結果から得られる合焦位置、
   （ｃ）顔以外の体領域を含む体領域対応測距枠を適用した測距結果から得られる合焦位置、
   上記３種類の測距枠対応合焦位置を照合し、すべての測距枠対応合焦位置が予め設定された許容範囲内の差分以内で一致する場合、あるいは、少なくとも２つの異なる測距枠対応合焦位置が予め設定された許容範囲内の差分以内で一致する場合、該一致点を合焦位置として決定する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
7. 前記フォーカス制御部は、
   前記顔検出部の検出した顔領域の大きさから算出される顔までの距離情報と、前記複数の測距枠を適用した測距結果から得られる複数の合焦位置とを比較照合し、前記距離情報から求められる合焦位置と、前記複数の合焦位置のいずれかとの差分が予め定めた許容範囲内にある場合には、前記測距枠を適用した測距結果から得られる合焦位置を最終的な合焦位置として決定する処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
8. 前記顔検出部は、
   継続的に撮像装置の入力画像からの顔領域検出を実行する構成であり、
   撮像装置の制御部は、
   前記顔検出部において顔領域検出に成功した場合は、検出画像の輝度または色情報の少なくともいずれかを含む画像情報をメモリに保存し、
   顔領域検出に失敗した場合は、撮像装置の動きの有無を検証し、顔検出失敗画像と、過去の顔検出成功画像との輝度または色情報の少なくともいずれかを含む画像情報の比較検証に基づいて、顔検出失敗画像における顔領域の位置として、過去の顔検出成功画像における顔領域の位置を適用可能か否かを示すフラグを設定してメモリに記録する処理を実行する構成を有し、
   前記測距枠設定部は、
   顔検出失敗時に、前記フラグを参照して、過去の顔検出成功画像における顔領域の位置が適用可能であることが確認された場合、過去の顔検出成功画像における顔領域情報を適用した測距枠設定処理を実行する構成であることを特徴とする請求項１に記載の撮像装置。
9. 前記顔検出部が撮像装置の入力画像に複数の顔領域を検出した場合、
   前記測距枠設定部は、
   予め設定された優先順位に従って測距枠設定対象の人物を順次選択する処理を行なう構成であることを特徴とする請求項１に記載の撮像装置。
10. 撮像装置においてオートフォーカス制御を実行する撮像装置制御方法であり、
    顔検出部において、撮像装置における入力画像から顔領域の検出を実行する顔検出ステップと、
    測距枠設定部において、前記顔検出ステップにおいて検出された顔領域に基づいて、顔領域を含む顔領域対応測距枠と、顔内部の一部領域を含む顔内部領域対応測距枠と、体領域を含む体領域対応測距枠の設定処理を実行する測距枠設定ステップと、
    フォーカス制御部において、前記測距枠設定ステップで設定した前記３種類の測距枠の各々を適用して各測距枠対応合焦位置を検出し、検出した各測距枠対応合焦位置情報の照合に基づいて最終的な合焦位置の決定処理を実行するフォーカス制御ステップと、
    を有することを特徴とする撮像装置制御方法。
11. 撮像装置においてオートフォーカス制御を実行させるコンピュータ・プログラムであり、
    顔検出部において、撮像装置における入力画像から顔領域の検出を実行させる顔検出ステップと、
    測距枠設定部において、前記顔検出ステップにおいて検出された顔領域に基づいて、顔領域を含む顔領域対応測距枠と、顔内部の一部領域を含む顔内部領域対応測距枠と、体領域を含む体領域対応測距枠の設定処理を実行させる測距枠設定ステップと、
    フォーカス制御部において、前記測距枠設定ステップで設定した前記３種類の測距枠の各々を適用して各測距枠対応合焦位置を検出し、検出した各測距枠対応合焦位置情報の照合に基づいて最終的な合焦位置の決定処理を実行させるフォーカス制御ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。