JP7138199B2 - 顔領域検出装置、撮像装置、顔領域検出方法、及び顔領域検出プログラム - Google Patents

Description

本発明は、顔領域検出装置、撮像装置、顔領域検出方法、及び顔領域検出プログラムに関する。

撮像画像から被写体の一部である顔を検出する機能を備えた撮像装置が知られている。この機能によって顔が検出されると、検出された顔を囲う顔枠を撮像画像に重畳して表示し、この顔枠内の対象画像にピントを合わせたり、露出制御を行ったりすることで、その顔にとって好適な条件で撮像することができる。また、撮像画像からの顔検出に失敗した場合には、直前に検出された顔をテンプレート画像として記憶し、このテンプレート画像に類似する領域を撮像画像から探索し、探索された領域を顔領域として検出する追尾機能も知られている（特許文献１－３参照）。

特開２０１０－１３０４９３号公報 特開２０１１－０２９８２２号公報 特開２０１８－００４９１６号公報

上述した追尾機能において、基準とするテンプレート画像のサイズが大きくなると、このテンプレート画像に類似する領域の探索に時間がかかり、追尾性能が低下する。特許文献１－３には、追尾処理の負荷を軽減することについては考慮されていない。

本発明は、上記事情に鑑みてなされたものであり、顔領域の検出処理を軽負荷にて行うことができる顔領域検出装置、撮像装置、顔領域検出方法、及び顔領域検出プログラムを提供することを目的とする。

本発明の顔領域検出装置は、撮像素子から出力される撮像画像から顔領域を検出する顔領域検出装置であって、第一の撮像画像から検出された上記顔領域を基準画像として、上記第一の撮像画像よりも後に出力された第二の撮像画像から、上記基準画像の一部である特定画像に類似する類似領域を探索し、上記第二の撮像画像における上記類似領域を含む上記基準画像と同じサイズの第一領域を顔領域として検出する追尾処理部を備え、上記基準画像における上記特定画像の位置と、上記第一領域における上記類似領域の位置とは一致しているものである。

本発明の撮像装置は、上記顔領域検出装置と、上記撮像素子と、を備えるものである。

本発明の顔領域検出方法は、撮像素子から出力される撮像画像から顔領域を検出する顔領域検出方法であって、第一の撮像画像から検出された上記顔領域を基準画像として、上記第一の撮像画像よりも後に出力された第二の撮像画像から、上記基準画像の一部である特定画像に類似する類似領域を探索し、上記第二の撮像画像における上記類似領域を含む上記基準画像と同じサイズの第一領域を顔領域として検出する追尾処理ステップを備え、上記基準画像における上記特定画像の位置と、上記第一領域における上記類似領域の位置は一致しているものである。

本発明の顔領域検出プログラムは、撮像素子から出力される撮像画像から顔領域を検出する顔領域検出プログラムであって、第一の撮像画像から検出された上記顔領域を基準画像として、上記第一の撮像画像よりも後に出力された第二の撮像画像から、上記基準画像の一部である特定画像に類似する類似領域を探索し、上記第二の撮像画像における上記類似領域を含む上記基準画像と同じサイズの第一領域を顔領域として検出する追尾処理ステップをコンピュータに実行させるためのものであり、上記基準画像における上記特定画像の位置と、上記第一領域における上記類似領域の位置は一致しているものである。

本発明によれば、顔領域の検出処理を軽負荷にて行うことができる顔領域検出装置、撮像装置、顔領域検出方法、及び顔領域検出プログラムを提供することができる。

本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。 図１に示すデジタルカメラ１００のシステム制御部１１の機能ブロック図である。 システム制御部１１による追尾処理の具体例を説明するための模式図である。 システム制御部１１の動作を説明するためのフローチャートである。 図４に示すステップＳ４の詳細を示すフローチャートである。 システム制御部１１の追尾処理の具体例の変形例を説明するための模式図である。 図４に示すステップＳ４の追尾処理の変形例を示すフローチャートである。 図１に示すデジタルカメラ１００のシステム制御部１１の機能ブロックの変形例を示す図である。 図１に示すデジタルカメラ１００のシステム制御部１１の機能ブロックの変形例を示す図である。 誤追尾の判定処理の変形例を説明するための模式図である。 本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。 図１１に示すスマートフォン２００の構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。

図１に示すデジタルカメラは、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。

レンズ装置４０は、デジタルカメラ１００に着脱可能なものであってもよいし、デジタルカメラ１００と一体化されたものであってもよい。

撮像レンズ１と絞り２は撮像光学系を構成し、撮像光学系は光軸方向に移動可能なフォーカスレンズを少なくとも含む。

このフォーカスレンズは、撮像光学系の焦点を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが光軸方向に移動することで、フォーカスレンズの主点の位置が光軸方向に沿って変化し、被写体側の焦点位置の変更が行われる。なお、フォーカスレンズとしては、電気的な制御により、光軸方向の主点の位置を変更可能な液体レンズが用いられてもよい。

レンズ装置４０のレンズ制御部４は、デジタルカメラ１００のシステム制御部１１と有線又は無線によって通信可能に構成される。

レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを駆動してフォーカスレンズの主点の位置を変更したり、絞り駆動部９を介して絞り２の開口量を制御したりする。

デジタルカメラ１００は、更に、撮像光学系を通して被写体を撮像するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の撮像素子５と、撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するアナログデジタル変換回路７と、を備える。

アナログ信号処理部６及びアナログデジタル変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びアナログデジタル変換回路７は、撮像素子５と一体化されていてもよい。

撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって電気信号（画素信号）に変換して出力する。撮像素子５の各画素から出力される画素信号の集合を以下では撮像画像という。

デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像画像として出力させる。

システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、プログラムを実行して処理を行う各種のプロセッサである。

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

更に、このデジタルカメラ１００の電気制御系は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）から構成されるメインメモリ１６と、メインメモリ１６へのデータ記憶及びメインメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、アナログデジタル変換回路７から出力される撮像画像に対しデジタル信号処理を行ってＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の各種フォーマットにしたがった撮像画像データを生成するデジタル信号処理部１７と、記憶媒体２１へのデータ記憶及び記憶媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ又は液晶ディスプレイ等で構成される表示部２３と、表示部２３の表示を制御する表示制御部２２と、を備える。

記憶媒体２１は、デジタルカメラ１００に内蔵されるフラッシュメモリ等の半導体メモリ又はデジタルカメラ１００に着脱可能な可搬型の半導体メモリ等である。

メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示すデジタルカメラ１００のシステム制御部１１の機能ブロック図である。

システム制御部１１は、顔領域検出プログラムを含むプログラムを実行することで、顔検出部１１Ａ、追尾処理部１１Ｂ、及び表示制御部１１Ｃとして機能する。本明細書におけるシステム制御部１１は、顔領域検出装置を構成する。

顔検出部１１Ａは、ライブビュー画像表示等のための動画撮像時において撮像素子５から出力される撮像画像から、人物又は動物の顔を示す顔領域を検出する顔検出処理を行う。

追尾処理部１１Ｂは、顔領域の検出対象となる撮像画像に対する顔検出処理によって顔領域の検出が失敗（顔領域が検出できない状態）となった場合に、以下の追尾処理を行う。

追尾処理は、検出対象となる撮像画像（第二の撮像画像とする）よりも前に撮像素子５から出力された第一の撮像画像から検出されていた顔領域を基準画像として設定し、第二の撮像画像から、この基準画像の一部である特定画像に類似する類似領域を探索し、第二の撮像画像におけるこの類似領域を含み且つ基準画像と同じサイズの第一領域を顔領域として検出する処理である。なお、第一の撮像画像から検出されていた上記の顔領域とは、顔検出処理又は追尾処理のどちらかによって得られたものである。

表示制御部１１Ｃは、顔検出部１１Ａと追尾処理部１１Ｂのいずれかによって、検出対象となる撮像画像から顔領域が検出された場合には、この撮像画像にその顔領域を示す枠を重畳させた画像を表示部２３に表示させる。

図３は、システム制御部１１による追尾処理の具体例を説明するための模式図である。図３には、図中の左から右に移動する人物を撮像素子５により撮像して得られた第一の撮像画像Ｇ１と第二の撮像画像Ｇ２が示されている。第二の撮像画像Ｇ２は、第一の撮像画像Ｇ１よりも後に撮像素子５から出力されたものである。

図３の例では、第一の撮像画像Ｇ１から顔検出処理によって顔領域３０が検出されているものとする。第二の撮像画像Ｇ２から顔検出処理によって顔領域が検出できなかった場合には、追尾処理部１１Ｂは、第一の撮像画像Ｇ１から検出された顔領域３０を基準画像として設定する。そして、追尾処理部１１Ｂは、この基準画像のうちの一部（図３の例では、基準画像の中心に設定された基準画像よりも狭い領域）を特定画像３１として決定する。追尾処理部１１Ｂは、第二の撮像画像Ｇ２から、この特定画像３１と類似する類似領域３３を探索し、類似領域３３を含み且つ基準画像と同じサイズの第一領域３２を顔領域として検出する。

追尾処理部１１Ｂは、基準画像（顔領域３０）における特定画像３１の位置と、第一領域３２における類似領域３３の位置とが一致する（換言すると、第一領域３２と類似領域３３との位置関係が、基準画像と特定画像３１との位置関係と一致する）ように、第一領域３２の位置を決定する。これにより、類似領域３３の探索に要する処理負荷を軽減しながら、顔領域３０と一致する第一領域３２を顔領域として検出することを可能としている。

図４は、システム制御部１１の動作を説明するためのフローチャートである。図５は、図４に示すステップＳ４の詳細を示すフローチャートである。

動画撮像が開始された後、撮像素子５から顔領域の検出対象となる第二の撮像画像の出力がなされると、顔検出部１１Ａが、この第二の撮像画像から顔領域を検出する顔検出処理を行う（ステップＳ１）。顔検出処理の結果、第二の撮像画像から顔領域が検出された場合（ステップＳ２：ＹＥＳ）には、顔領域ありの結果がメモリに保存される（ステップＳ３）。一方、顔検出処理の結果、第二の撮像画像から顔領域が検出されなかった場合（ステップＳ２：ＮＯ）には、ステップＳ４において追尾処理が行われる。

図５に示すように、追尾処理においては、まず、追尾処理部１１Ｂが、第二の撮像画像よりも前に出力された第一の撮像画像に対し、顔検出処理又は追尾処理によって顔領域が検出されているか否かを判定する（ステップＳ４１）。

ステップＳ４１の判定がＮＯとなった場合には、追尾処理が不可のため、追尾処理部１１Ｂは、第二の撮像画像には顔領域なしと判定し、その結果をメモリに保存する（ステップＳ４８）。一方、ステップＳ４１の判定がＹＥＳとなった場合には、追尾処理部１１Ｂは、第一の撮像画像から検出された顔領域の画像を基準画像として設定する（ステップＳ４２）。

次に、追尾処理部１１Ｂは、設定した基準画像の一部を特定画像として決定し、第二の撮像画像から、この特定画像と類似する類似領域を探索する（ステップＳ４３）。

ステップＳ４３の探索の結果、類似領域があった場合（ステップＳ４４：ＹＥＳ）には、追尾処理部１１Ｂは、第二の撮像画像においてこの類似領域を含む上記の第一領域を設定し（ステップＳ４５）、設定した第一領域を顔領域と判定し、顔領域ありの結果をメモリに保存する（ステップＳ４６）。

ステップＳ４３の探索の結果、類似領域がなかった場合（ステップＳ４４：ＮＯ）には、追尾処理部１１Ｂは、第二の撮像画像には顔領域なしと判定し、その結果をメモリに保存する（ステップＳ４８）。なお、追尾処理部１１Ｂは、ステップＳ２の判定がＮＯとなり且つステップＳ４４の判定がＮＯとなる状態が１回発生した場合にステップＳ４８の処理を行うのではなく、この状態が一定回数連続して発生した場合にステップＳ４８の処理を行うようにしてもよい。

図４のステップＳ３とステップＳ４の後、表示制御部１１Ｃは、メモリに保存された最新の顔領域の検出結果の情報を参照し、顔領域がありの場合（ステップＳ５：ＹＥＳ）には、第二の撮像画像に顔領域を示す枠を重畳させた画像を表示部２３に表示させる（ステップＳ７）。表示制御部１１Ｃは、顔領域がなしの場合（ステップＳ５：ＮＯ）には、顔領域を示す枠を重畳させない第二の撮像画像を表示部２３に表示させる（ステップＳ６）。動画撮像中は以上の処理が繰り返される。

以上のように、デジタルカメラ１００によれば、図３に例示したように、過去に検出された顔領域３０と類似する第一領域３２を第二の撮像画像Ｇ２から探索（追尾）するにあたり、過去に検出された顔領域３０よりも狭い領域の特定画像３１を使って類似領域３３を探索し、この類似領域３３の位置から、第一領域３２を決定している。このため、第二の撮像画像Ｇ２から、顔領域３０に類似する第一領域３２を追尾するために要するシステム制御部１１の処理負荷を軽減することができる。この結果、顔検出処理を高速化したり、システム制御部１１のコストを下げたりすることができる。

なお、図３の例において、追尾処理部１１Ｂは、基準画像（顔領域３０）における特定画像３１を、基準画像の中心に設定するものとしたが、これに限らない。例えば、追尾処理部１１Ｂは、基準画像を解析し、その解析結果に基づいて、基準画像のどの部分を特定画像とするかを決定してもよい。具体的には、追尾処理部１１Ｂは、基準画像のコントラスト値を求め、その基準画像において、このコントラスト値が予め決められた閾値を超える部分を特定画像として決定する。

図６は、基準画像における特定画像の設定例の変形例を説明するための模式図である。図６の例では、基準画像として設定された顔領域３０のうち、コントラスト値が閾値以上となっている人物の眼の領域が特定画像３１として決定される。そして、この特定画像３１と類似する類似領域３３が第二の撮像画像Ｇ２から探索され、この類似領域３３を含む第一領域３２が顔領域として検出される。

このように、コントラストが高い部分を特定画像３１とすることで、類似領域３３の探索精度を高めることができ、顔領域である第一領域３２の検出精度を高めることができる。

なお、ここでは、基準画像におけるコントラスト値が閾値以上となる部分を特定画像としたが、基準画像から眼を検出し、検出した眼を含む部分を特定画像として決定してもよい。

図７は、図４に示すステップＳ４の追尾処理の変形例を示すフローチャートである。図７に示すフローチャートは、ステップＳ４５とステップＳ４６の間に、ステップＳ５１、ステップＳ５２、及びステップＳ５３が追加された点を除いては、図４と同じである。図７において図４と同じ処理には同一符号を付して説明を省略する。なお、この変形例の動作においては、撮像素子５として、上記の複数の画素に位相差検出用画素を含むものが用いられるものとしている。

ステップＳ４５の後、追尾処理部１１Ｂは、顔領域が検出済みの第一の撮像画像から設定した基準画像に含まれる位相差検出用画素の信号に基づいて、この基準画像に含まれる被写体の第一の距離情報Ｌ１を算出する（ステップＳ５１）。更に、追尾処理部１１Ｂは、検出対象となる第二の撮像画像に設定した第一領域に含まれる位相差検出用画素の信号に基づいて、この第一領域に含まれる被写体の第二の距離情報Ｌ２を算出する（ステップＳ５２）。

次に、追尾処理部１１Ｂは、第一の距離情報Ｌ１と第二の距離情報Ｌ２の差の絶対値が予め決められた距離閾値を超えるか否かを判定する（ステップＳ５３）。第一の距離情報Ｌ１と第二の距離情報Ｌ２の差の絶対値が大きくなる場合とは、第一の撮像画像の顔領域に含まれる被写体と、第二の撮像画像から検出された顔領域（第一領域）に含まれる被写体とが大きく異なる状態になっている可能性がある場合を意味する。つまり、この差の絶対値が大きいと、第一領域に顔ではない物体が含まれており、誤追尾が発生している可能性があると判断することができる。

そこで、追尾処理部１１Ｂは、第一の距離情報Ｌ１と第二の距離情報Ｌ２の差の絶対値が上記距離閾値を超えている場合（ステップＳ５３：ＹＥＳ）には、ステップＳ４５にて設定した第一領域は非顔領域であると判定し、ステップＳ４８に処理を移行する。一方、追尾処理部１１Ｂは、第一の距離情報Ｌ１と第二の距離情報Ｌ２の差の絶対値が上記距離閾値以下であれば（ステップＳ５３：ＮＯ）、ステップＳ４６に処理を移行し、ステップＳ４５にて設定した第一領域を顔領域であると判定する。

以上のように、図７に示す変形例によれば、顔ではない被写体への誤追尾が発生したか否かを判定することができ、顔領域の検出精度を高めることができる。この結果、顔ではない物体に露出又は焦点が合うといったことを防ぐことができ、撮像画質の品質を向上させることができる。

図８は、図１に示すデジタルカメラ１００のシステム制御部１１の機能ブロックの変形例を示す図である。システム制御部１１は、顔領域検出プログラムを含むプログラムを実行することで、顔検出部１１Ａ、追尾処理部１１Ｂ、表示制御部１１Ｃ、及び予測部１１Ｄとして機能する。この変形例では、追尾処理部１１Ｂが図７に示す動作を行う。

図８に示すシステム制御部１１の予測部１１Ｄは、図７のステップＳ４２にて基準画像を設定した第一の撮像画像と、それよりも前に撮像素子５から出力される１つ又は複数の撮像画像とに基づいて、この第一の撮像画像から検出された顔領域に含まれる顔の上記撮像光学系の光軸方向の動きを予測する。

図８に示すシステム制御部１１の追尾処理部１１Ｂは、予測部１１Ｄによって予測された顔の動きが第一の値の場合には、この動きが第一の値よりも大きい第二の場合よりも、上記の距離閾値を小さくする。

第一の距離情報Ｌ１と第二の距離情報Ｌ２との差は、基準画像と第一領域とにそれぞれ同一の顔が含まれており、且つ、この顔が撮像光学系の光軸方向に移動している場合にも大きくなる。そのため、上記のように、予測部１１Ｄによって顔の光軸方向の動きを予測し、その動きが大きいと判断できる場合には、その顔の動き分を加味して距離閾値を大きくする。このようにすることで、誤追尾が発生しているか否かの判定を高精度に行うことができる。

図９は、図１に示すデジタルカメラ１００のシステム制御部１１の機能ブロックの変形例を示す図である。システム制御部１１は、顔領域検出プログラムを含むプログラムを実行することで、顔検出部１１Ａ、追尾処理部１１Ｂ、表示制御部１１Ｃ、及び合焦制御部１１Ｅとして機能する。この変形例では、追尾処理部１１Ｂが図７に示す動作を行う。

図９に示すシステム制御部１１の合焦制御部１１Ｅは、顔検出部１１Ａ又は追尾処理部１１Ｂによって撮像画像から検出された顔領域の画像に基づいて、撮像光学系の合焦制御を行う。

図９に示すシステム制御部１１の追尾処理部１１Ｂは、図７のステップＳ５３において、第一の距離情報Ｌ１と第二の距離情報Ｌ２との差の絶対値が距離閾値を超えた場合には、顔を含まない可能性の高い第一領域に基づいて合焦制御が行われないように、次にステップＳ５３の処理を行ってステップＳ５３の判定がＮＯとなるまでの間は、撮像光学系の合焦状態をそれまでの状態に固定する。

図９の変形例によれば、第二の撮像画像に含まれる顔領域に遮蔽物が一時的に侵入した場合であっても、その遮蔽物に合焦されてしまうのを防ぐことができる。そして、この遮蔽物が無くなった場合には、ステップＳ５３の判定がＮＯとなって、遮蔽物の無い顔領域に瞬時に合焦させることができる。したがって、被写体の顔とデジタルカメラ１００との間に遮蔽物が瞬間的に入るようなケースにおいても、その顔に焦点を合わせ続けることが可能となる。

なお、図９の変形例は、図８の変形例と組み合わせることも可能である。

図７から図９に示す変形例において、追尾処理部１１Ｂは、第一の撮像画像のうちの基準画像に含まれる被写体の第一の距離情報Ｌ１と、第二の撮像画像のうちの第一領域に含まれる被写体の第二の距離情報Ｌ２との差に基づいて、誤追尾の有無を判定するものとした。

この変形例として、追尾処理部１１Ｂは、図１０に示すように、第一の撮像画像Ｇ１のうちの基準画像（顔領域３０）の周囲の枠状の領域３４の位相差検出用画素の信号に基づいて、この領域３４に含まれる被写体の第三の距離情報Ｌ３を算出し、第二の撮像画像Ｇ２のうちの第一領域３２の周囲の枠状の領域３５の位相差検出用画素の信号に基づいて、この領域３５に含まれる被写体の第四の距離情報Ｌ４を算出し、第三の距離情報Ｌ３と第四の距離情報Ｌ４との差に基づいて、誤追尾の有無を判定してもよい。

具体的には、追尾処理部１１Ｂは、図７のステップＳ４５とステップＳ５１の間において、第三の距離情報Ｌ３と第四の距離情報Ｌ４との差の絶対値が上記の距離閾値を超えるか否かを判定する。そして、この絶対値が距離閾値を超える場合には、第二の撮像画像Ｇ２に設定した第一領域３２が非顔領域であると判定し、この絶対値が距離閾値以下の場合には、ステップＳ５１以降の処理を行う。

このように、顔領域である基準画像の周囲にある被写体の距離と、顔領域として判定される第一領域の周囲にある被写体の距離の差に基づいて、第二の撮像画像における誤追尾の有無を判定することで、実際の顔領域に遮蔽物が侵入する前のタイミングにて誤追尾を検出することができる。

なお、図３、図６、図１０の例では、顔領域を矩形の領域としたが、顔領域は、顔を含む円、楕円、台形、菱形、星形等の他の形状とすることも可能である。

次に、本発明の撮像装置の実施形態としてスマートフォンの構成について説明する。

図１１は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。

図１１に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。

また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド機構を有する構成を採用したりすることもできる。

図１２は、図１１に示すスマートフォン２００の構成を示すブロック図である。

図１２に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。

また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータ等の送受信、ウェブデータ又はストリーミングデータ等の受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）又は文字情報等を表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等を表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指又は尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１２に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０１の大きさ等に応じて適宜設計されるものである。

さらにまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等が挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５又はマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。

また、図１１に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチ等を用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１１に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指等で押下されるとオンとなり、指を離すとバネ等の復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラム及び制御データ、アプリケーションソフトウェア、通信相手の名称又は電話番号等を対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータ等を一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。

なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４等）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）等）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるパーソナルコンピュータ、イヤホン等がある。

外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達したり、スマートフォン２００の内部のデータが外部機器に伝送されるようにしたりすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０又は外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサ等を備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向又は加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラム及び制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信又はデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能、電子メールの送受信を行う電子メール機能、又はウェブページを閲覧するウェブブラウジング機能等がある。

また、主制御部２２０は、受信データ又はダウンロードしたストリーミングデータ等の画像データ（静止画像又は動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。

画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

さらに、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコン又はスクロールバー等のソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。

なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像等について、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作と上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付けたりする。

さらに、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域又はソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。

ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指等によって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２０、記憶媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。

カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることができる。

図１１に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示したり、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用したりすることができる。

また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。さらには、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断したり、現在の使用環境を判断したりすることもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等を付加して記憶部２１２に記憶したり、外部入出力部２１３又は無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、顔領域の検出を軽負荷にて行うことができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

（１）

撮像素子から出力される撮像画像から顔領域を検出する顔領域検出装置であって、

第一の撮像画像から検出された上記顔領域を基準画像として、上記第一の撮像画像よりも後に出力された第二の撮像画像から、上記基準画像の一部である特定画像に類似する類似領域を探索し、上記第二の撮像画像における上記類似領域を含む上記基準画像と同じサイズの第一領域を顔領域として検出する追尾処理部を備え、

上記基準画像における上記特定画像の位置と、上記第一領域における上記類似領域の位置とは一致している顔領域検出装置。

（２）

（１）記載の顔領域検出装置であって、

上記追尾処理部は、上記基準画像に含まれる被写体の第一の距離情報と、上記第一領域に含まれる被写体の第二の距離情報との差が予め決められた距離閾値を超える場合には、上記第一領域が非顔領域であると判定する顔領域検出装置。

（３）

（２）記載の顔領域検出装置であって、

上記第一の撮像画像と、それよりも前に上記撮像素子から出力される上記撮像画像とに基づいて、上記第一の撮像画像の上記顔領域に含まれる顔の、上記撮像素子に被写体像を結像させるための撮像光学系の光軸方向の動きを予測する予測部を備え、

上記追尾処理部は、上記距離閾値を上記予測部により予測された上記動きに基づいて制御する顔領域検出装置。

（４）

（３）記載の顔領域検出装置であって、

上記追尾処理部は、上記動きが第一の値の場合には、上記動きが第一の値よりも大きい第二の場合よりも、上記距離閾値を小さくする顔領域検出装置。

（５）

（２）から（４）のいずれか１つに記載の顔領域検出装置であって、

上記撮像画像から検出された上記顔領域に基づいて、上記撮像素子に被写体像を結像させるための撮像光学系の合焦制御を行う合焦制御部を備え、

上記合焦制御部は、上記差が上記距離閾値を超えた場合には、上記撮像光学系の合焦状態を予め決められた時間固定する顔領域検出装置。

（６）

（１）記載の顔領域検出装置であって、

上記追尾処理部は、上記第一の撮像画像における上記基準画像の周囲の領域に含まれる被写体の第三の距離情報と、上記第二の撮像画像における上記第一領域の周囲の領域に含まれる被写体の第四の距離情報との差が予め決められた距離閾値を超える場合には、上記第一領域が非顔領域であると判定する顔領域検出装置。

（７）

（１）から（６）のいずれか１つに記載の顔領域検出装置であって、

上記追尾処理部は、上記基準画像の解析結果に基づいて上記特定画像を決定する顔領域検出装置。

（８）

（７）記載の顔領域検出装置であって、

上記追尾処理部は、上記基準画像のコントラスト値を求め、上記基準画像において上記コントラスト値が予め決められた閾値を超える部分を上記特定画像として決定する顔領域検出装置。

（９）

（１）から（８）のいずれか１つに記載の顔領域検出装置と、

上記撮像素子と、を備える撮像装置。

（１０）

撮像素子から出力される撮像画像から顔領域を検出する顔領域検出方法であって、

第一の撮像画像から検出された上記顔領域を基準画像として、上記第一の撮像画像よりも後に出力された第二の撮像画像から、上記基準画像の一部である特定画像に類似する類似領域を探索し、上記第二の撮像画像における上記類似領域を含む上記基準画像と同じサイズの第一領域を顔領域として検出する追尾処理ステップを備え、

上記基準画像における上記特定画像の位置と、上記第一領域における上記類似領域の位置は一致している顔領域検出方法。

（１１）

（１０）記載の顔領域検出方法であって、

上記追尾処理ステップは、上記基準画像に含まれる被写体の第一の距離情報と、上記第一領域に含まれる被写体の第二の距離情報との差が予め決められた距離閾値を超える場合には、上記第一領域が非顔領域であると判定する顔領域検出方法。

（１２）

（１１）記載の顔領域検出方法であって、

上記第一の撮像画像と、それよりも前に上記撮像素子から出力される上記撮像画像とに基づいて、上記第一の撮像画像の上記顔領域に含まれる顔の、上記撮像素子に被写体像を結像させるための撮像光学系の光軸方向の動きを予測する予測ステップを備え、

上記追尾処理ステップは、上記距離閾値を上記予測ステップにより予測された上記動きに基づいて制御する顔領域検出方法。

（１３）

（１２）記載の顔領域検出方法であって、

上記追尾処理ステップは、上記動きが第一の値の場合には、上記動きが第一の値よりも大きい第二の場合よりも、上記距離閾値を小さくする顔領域検出方法。

（１４）

（１１）から（１３）のいずれか１つに記載の顔領域検出方法であって、

上記撮像画像から検出された上記顔領域に基づいて、上記撮像素子に被写体像を結像させるための撮像光学系の合焦制御を行う合焦制御ステップを備え、

上記合焦制御ステップは、上記差が上記距離閾値を超えた場合には、上記撮像光学系の合焦状態を予め決められた時間固定する顔領域検出方法。

（１５）

（１０）記載の顔領域検出方法であって、

上記追尾処理ステップは、上記第一の撮像画像における上記基準画像の周囲の領域に含まれる被写体の第三の距離情報と、上記第二の撮像画像における上記第一領域の周囲の領域に含まれる被写体の第四の距離情報との差が予め決められた距離閾値を超える場合には、上記第一領域が非顔領域であると判定する顔領域検出方法。

（１６）

（１０）から（１５）のいずれか１つに記載の顔領域検出方法であって、

上記追尾処理ステップは、上記基準画像の解析結果に基づいて上記特定画像を決定する顔領域検出方法。

（１７）

（１６）記載の顔領域検出方法であって、

上記追尾処理ステップは、上記基準画像のコントラスト値を求め、上記基準画像において上記コントラスト値が予め決められた閾値を超える部分を上記特定画像として決定する顔領域検出方法。

（１８）

撮像素子から出力される撮像画像から顔領域を検出する顔領域検出プログラムであって、

第一の撮像画像から検出された上記顔領域を基準画像として、上記第一の撮像画像よりも後に出力された第二の撮像画像から、上記基準画像の一部である特定画像に類似する類似領域を探索し、上記第二の撮像画像における上記類似領域を含む上記基準画像と同じサイズの第一領域を顔領域として検出する追尾処理ステップをコンピュータに実行させるためのものであり、

上記基準画像における上記特定画像の位置と、上記第一領域における上記類似領域の位置は一致している顔領域検出プログラム。

本発明は、特にデジタルカメラ又はスマートフォン等に適用して利便性が高く、有効である。

１ 撮像レンズ

２ 絞り

４ レンズ制御部

５ 撮像素子

６ アナログ信号処理部

７ アナログデジタル変換回路

８ レンズ駆動部

９ 絞り駆動部

１０ 撮像素子駆動部

１１ システム制御部

１１Ａ 顔検出部

１１Ｂ 追尾処理部

１１Ｃ 表示制御部

１１Ｄ 予測部

１１Ｅ 合焦制御部

１４ 操作部

１５ メモリ制御部

１６ メインメモリ

１７ デジタル信号処理部

２０ 外部メモリ制御部

２１ 記憶媒体

２２ 表示制御部

２３ 表示部

２４ 制御バス

２５ データバス

４０ レンズ装置

Ｇ１ 第一の撮像画像

３０ 顔領域

３１ 特定画像

Ｇ２ 第二の撮像画像

３２ 第一領域

３３ 類似領域

３４、３５ 領域

２００ スマートフォン

２０１ 筐体

２０２ 表示パネル

２０３ 操作パネル

２０４ 表示入力部

２０５ スピーカ

２０６ マイクロホン

２０７ 操作部

２０８ カメラ部

２１０ 無線通信部

２１１ 通話部

２１２ 記憶部

２１３ 外部入出力部

２１４ ＧＰＳ受信部

２１５ モーションセンサ部

２１６ 電源部

２１７ 内部記憶部

２１８ 外部記憶部

２２０ 主制御部

ＳＴ１～ＳＴｎ ＧＰＳ衛星

Claims (18)

1. 撮像素子から出力される撮像画像から顔領域を検出する顔領域検出装置であって、
   第一の撮像画像から検出された前記顔領域を基準画像として、前記第一の撮像画像よりも後に出力された第二の撮像画像から、前記基準画像の一部である特定画像に類似する類似領域を探索し、
   前記第二の撮像画像に、前記特定画像に類似する前記類似領域があると判定された場合に、前記第二の撮像画像における前記類似領域を含む第一領域を顔領域として設定する追尾処理部を備え、
   前記追尾処理部は、前記第一領域が前記基準画像と同じサイズで、かつ、前記第一領域における前記類似領域の位置が、前記基準画像における前記特定画像の位置と一致するように、前記第一の撮像画像における前記基準画像及び前記特定画像の位置関係を用いて前記第一領域を設定する顔領域検出装置。
2. 請求項１記載の顔領域検出装置であって、
   前記追尾処理部は、前記基準画像に含まれる被写体の第一の距離情報と、前記第一領域に含まれる被写体の第二の距離情報との差が予め決められた距離閾値を超える場合には、
   前記第一領域が非顔領域であると判定する顔領域検出装置。
3. 請求項２記載の顔領域検出装置であって、
   前記第一の撮像画像と、それよりも前に前記撮像素子から出力される前記撮像画像とに基づいて、前記第一の撮像画像の前記顔領域に含まれる顔の、前記撮像素子に被写体像を結像させるための撮像光学系の光軸方向の動きを予測する予測部を備え、
   前記追尾処理部は、前記距離閾値を前記予測部により予測された前記動きに基づいて制御する顔領域検出装置。
4. 請求項３記載の顔領域検出装置であって、
   前記追尾処理部は、前記動きが第一の値の場合には、前記動きが第一の値よりも大きい第二の場合よりも、前記距離閾値を小さくする顔領域検出装置。
5. 請求項２から４のいずれか１項記載の顔領域検出装置であって、
   前記撮像画像から検出された前記顔領域に基づいて、前記撮像素子に被写体像を結像させるための撮像光学系の合焦制御を行う合焦制御部を備え、
   前記合焦制御部は、前記差が前記距離閾値を超えた場合には、前記撮像光学系の合焦状態を予め決められた時間固定する顔領域検出装置。
6. 請求項１記載の顔領域検出装置であって、
   前記追尾処理部は、前記第一の撮像画像における前記基準画像の周囲の領域に含まれる被写体の第三の距離情報と、前記第二の撮像画像における前記第一領域の周囲の領域に含まれる被写体の第四の距離情報との差が予め決められた距離閾値を超える場合には、前記第一領域が非顔領域であると判定する顔領域検出装置。
7. 請求項１から６のいずれか１項記載の顔領域検出装置であって、
   前記追尾処理部は、前記基準画像の解析結果に基づいて前記特定画像を決定する顔領域検出装置。
8. 請求項７記載の顔領域検出装置であって、
   前記追尾処理部は、前記基準画像のコントラスト値を求め、前記基準画像において前記コントラスト値が予め決められた閾値を超える部分を前記特定画像として決定する顔領域検出装置。
   
9. 請求項１から８のいずれか１項記載の顔領域検出装置と、
   前記撮像素子と、を備える撮像装置。
10. 撮像素子から出力される撮像画像から顔領域を検出する顔領域検出方法であって、
    第一の撮像画像から検出された前記顔領域を基準画像として、前記第一の撮像画像よりも後に出力された第二の撮像画像から、前記基準画像の一部である特定画像に類似する類似領域を探索し、前記第二の撮像画像に、前記特定画像に類似する前記類似領域があると判定された場合に、前記第二の撮像画像における前記類似領域を含む第一領域を顔領域として設定する追尾処理ステップを備え、
    前記追尾処理ステップは、前記第一領域を前記基準領域と同じサイズで、かつ、前記第一領域における前記類似領域の位置が、前記基準画像における前記特定画像の位置と一致するように、前記第一の撮像画像における前記基準画像及び前記特定画像の位置関係を用いて前記第一領域を設定する顔領域検出方法。
11. 請求項１０記載の顔領域検出方法であって、
    前記追尾処理ステップは、前記基準画像に含まれる被写体の第一の距離情報と、前記第一領域に含まれる被写体の第二の距離情報との差が予め決められた距離閾値を超える場合には、前記第一領域が非顔領域であると判定する顔領域検出方法。
12. 請求項１１記載の顔領域検出方法であって、
    前記第一の撮像画像と、それよりも前に前記撮像素子から出力される前記撮像画像とに基づいて、前記第一の撮像画像の前記顔領域に含まれる顔の、前記撮像素子に被写体像を結像させるための撮像光学系の光軸方向の動きを予測する予測ステップを備え、
    前記追尾処理ステップは、前記距離閾値を前記予測ステップにより予測された前記動きに基づいて制御する顔領域検出方法。
13. 請求項１２記載の顔領域検出方法であって、
    前記追尾処理ステップは、前記動きが第一の値の場合には、前記動きが第一の値よりも大きい第二の場合よりも、前記距離閾値を小さくする顔領域検出方法。
14. 請求項１１から１３のいずれか１項記載の顔領域検出方法であって、
    前記撮像画像から検出された前記顔領域に基づいて、前記撮像素子に被写体像を結像させるための撮像光学系の合焦制御を行う合焦制御ステップを備え、
    前記合焦制御ステップは、前記差が前記距離閾値を超えた場合には、前記撮像光学系の合焦状態を予め決められた時間固定する顔領域検出方法。
15. 請求項１０記載の顔領域検出方法であって、
    前記追尾処理ステップは、前記第一の撮像画像における前記基準画像の周囲の領域に含まれる被写体の第三の距離情報と、前記第二の撮像画像における前記第一領域の周囲の領域に含まれる被写体の第四の距離情報との差が予め決められた距離閾値を超える場合には、前記第一領域が非顔領域であると判定する顔領域検出方法。
16. 請求項１０から１５のいずれか１項記載の顔領域検出方法であって、
    前記追尾処理ステップは、前記基準画像の解析結果に基づいて前記特定画像を決定する顔領域検出方法。
17. 請求項１６記載の顔領域検出方法であって、
    前記追尾処理ステップは、前記基準画像のコントラスト値を求め、前記基準画像において前記コントラスト値が予め決められた閾値を超える部分を前記特定画像として決定する顔領域検出方法。
18. 撮像素子から出力される撮像画像から顔領域を検出する顔領域検出プログラムであって、
    第一の撮像画像から検出された前記顔領域を基準画像として、前記第一の撮像画像よりも後に出力された第二の撮像画像から、前記基準画像の一部である特定画像に類似する類似領域を探索し、前記第二の撮像画像に、前記特定画像に類似する前記類似領域があると判定された場合に、前記第二の撮像画像における前記類似領域を含む第一領域を顔領域として検出する追尾処理ステップをコンピュータに実行させるためのものであり、
    前記追尾処理ステップは、前記第一領域を前記基準領域と同じサイズで、かつ、前記第一領域における前記類似領域の位置が、前記基準画像における前記特定画像の位置と一致するように、前記第一の撮像画像における前記基準画像及び前記特定画像の位置関係を用いて前記第一領域を設定する顔領域検出プログラム。

Images