JP5265337B2 - 撮像装置 - Google Patents

Description

本発明は、顔検出機能を搭載した撮像装置に関する。

撮像された画像データに対して、顔を抽出する顔検出機能が、デジタルカメラに搭載されるようになってきている。この顔検出機能では、所定周期で得られる全体の画像データから被写体の顔と思われる領域の画像データを抽出してその画像データから顔の位置や大きさの情報を得る。

そして、これらの情報を利用して、ＡＦやＡＥパラメータ決定が制御される。このように、被写界のどこに顔の位置があるかという情報や顔の大きさがどのくらいかという情報は撮像装置にとって適切なＡＦやＡＥパラメータ決定を行うために有効な情報になる（例えば、特許文献１参照）。

また、顔を検出することによって、被写体が暗く撮影されてしまうような逆光シーンにおいても、顔又は顔近傍の明るさを考慮した撮影が可能となり、被写体をより適正に撮影することができる。
特開２００７−１８８１２６号公報

しかしながら、強い逆光のときに露出が低くなりすぎると、顔が黒くつぶれてしまい顔を見つけること自体が困難になり「顔検出により被写体を適正に撮影する」という機能を果たすことができなくなるおそれがある。

そこで、顔検出のたびに露出を何駒が取得し、その中かから顔検出処理を行う方法も考えられるが、複数の画像に対し顔検出処理を行うことは、処理時間が増大になりタイムラグが増加したり、動画の場合はフレームレートが落ちることになり、見栄え上良くない。

そこで、本発明では、撮影環境に影響されることなく顔検出を行い、その顔検出結果により被写体を適正に撮影することが可能な撮像装置を提供することを目的とする。

上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の撮影装置は、被写体からの光を結像する撮影レンズと、前記撮影レンズにより結像される像に対応する電気信号を出力する撮像素子と、前記電気信号に基づいて、画像データを生成する生成手段と、前記画像データにおいて人物の顔を示す参照画像データと類似する類似画像データを抽出する抽出手段と、前記類似画像データが前記被写体の顔であるか否かの類似度の大きさを複数の基準値と比較して、前記類似画像データが前記被写体の顔であるか否かを判断する判断手段と、前記判断手段により前記被写体の顔と判断された類似画像データを利用して、前記撮像素子の露出を制御する露出制御手段と、前記判断手段により前記類似画像データが前記被写体の顔であると判断する一の基準値よりも小さく、且つ、前記類似画像データが前記被写体の顔でないと判断される他の基準値よりも大きいとき、前記撮像素子の露出を補正する露出補正値を設定するために、前記抽出された類似画像データの出力の大きさが第１の所定値以下であるか否か、及び、前記第１の所定値よりも大きい第２の所定値以上であるか否かを判定する類似画像出力判定手段と、前記類似画像出力判定手段により前記抽出された類似画像データの出力の大きさが前記第１の所定値以下であると判定された場合、前記撮像素子の出力が高くなるように前記露出補正値を設定し、前記類似画像出力判定手段により前記抽出された類似画像データの出力の大きさが前記第２の所定値以上であると判定された場合、前記撮像素子の出力が低くなるように前記露出補正値を設定して前記撮像素子の露出を制御する露出値を変更する制御手段とを備える。

また、前記判断手段は、前記参照画像データと前記類似画像データとの類似度に応じて、前記類似画像データを前記被写体の顔と判断するように構成してもよい。
また、前記判断手段は、前記抽出手段により前回抽出された前記類似画像データの位置を中心とする一致条件判定領域内に、前記抽出手段により今回抽出された前記類似画像データの位置が入っているとき、その類似画像データを前記被写体の顔と判断するように構成してもよい。

また、上記撮像装置において、前記撮影レンズと前記撮像素子との間に設けられるシャッタを備え、前記制御手段は、前記判断手段により前記類似画像データが前記被写体の顔と判断されず、かつ、前記シャッタの露光時間が所定時間以下のとき、前記シャッタの露光時間を前記所定時間よりも長くするように構成してもよい。

本発明によれば、顔検出機能を備える撮像装置において、撮影環境に影響されることなく顔検出を行い、その顔検出結果により被写体を適正に撮影することができる。

以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の撮像装置を示す図である。なお、図１に示す撮像装置は一眼レフカメラである。

図１に示す撮像装置は、ボディユニット１００と、交換可能なレンズユニット２００と、フラッシュユニット１８０と、撮影した画像データを記録する記録メディア１３１とを備えて構成されている。なお、記録メディア１３１は、各種の半導体メモリカードや外付けのハードディスクドライブ（ＨＤＤ）などの外部記録媒体であり、通信コネクタ１３０を介してボディユニット１００と通信可能で、かつ、交換可能に装着される。

レンズユニット２００は、撮影レンズ２１０ａ、２１０ｂと、絞り２０３と、レンズ駆動機構２０４と、絞り駆動機構２０２と、レンズ制御用マイクロコンピュータ（以下、Ｌμｃｏｍという）２０１とを備えて構成されている。なお、レンズユニット２００は、ボディユニット１００の前面に設けられた不図示のレンズマウントを介して着脱自在であり、一眼レフカメラでは交換可能な構成になっている。

撮影レンズ２１０ａ、２１０ｂは、それぞれ、レンズ駆動機構２０４内に備えられている不図示のＤＣモータにより光軸方向に駆動される。
絞り２０３は、絞り駆動機構２０２内に備えられている不図示のステッピングモータにより駆動される。

Ｌμｃｏｍ２０１は、レンズ駆動機構２０４や絞り駆動機構２０２などの駆動を制御する。
ボディユニット１００は、ボディ制御用マイクロコンピュータ（以下、Ｂμｃｏｍという）１０１と、画像処理ＩＣ１０２と、顔検出ＩＣ１０３と、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４と、撮像素子駆動ＩＣ１１０と、撮像素子１１１と、フォーカルプレーン式のシャッタ１２０と、シャッタ駆動制御回路１２１と、通信コネクタ１３０と、液晶モニタ１４０と、カメラ操作スイッチ１５０と、通信コネクタ１６０とを備えて構成されている。なお、撮像素子１１１、撮像素子駆動ＩＣ１１０、ＳＤＲＡＭ１０４、液晶モニタ１４０、及び通信コネクタ１３０を介した記録メディア１３１が画像処理ＩＣ１０２に接続されており、電子撮像機能と電子記録表示機能を実現している。また、不図示の電源の電圧は各回路に必要とする電圧に変換されて供給される。

レンズユニット２００内の撮影レンズ２１０ａ、２１０ｂ及び絞り２０３を介して入射される不図示の被写体からの光束は、シャッタ１２０を通り撮像素子１１１結像される。撮像素子１１１は、撮像素子駆動ＩＣ１１０により動作制御され、被写体像をアナログ電気信号に光電変換する。このアナログ電気信号は、撮像素子駆動ＩＣ１１０により画像処理ＩＣ１０２が処理するためのデジタル電気信号に変換される。このデジタル電気信号は、画像処理ＩＣ１０２により画像データに変換される。

画像処理ＩＣ１０２は、後述する顔検出処理を行う顔検出ＩＣ１０３とＢμｃｏｍ１０１とに接続さている。
Ｂμｃｏｍ１０１は、連写時の撮影間隔を計測するためのタイマを備えるとともに、撮像装置全体の動作制御を行う制御手段、計数手段、モード設定手段、検出手段、判定手段、演算手段などの機能を備えている。また、Ｂμｃｏｍ１０１は、通信コネクタ１６０、シャッタ駆動制御回路１２１、液晶モニタ１４０、カメラ操作ＳＷ１５０、及び不図示の電源に接続されている。なお、Ｂμｃｏｍ１０１とＬμｃｏｍ２０１とは、レンズユニット２００をボディユニット１００へ装着することにより、通信コネクタ１６０を介して互いに通信可能に電気的接続がなされる。そして、Ｌμｃｏｍ２０１はＢμｃｏｍ１０１からの制御信号により動作し、本実施形態の撮像装置が一眼レフカメラのデジタルカメラとして稼動する。

シャッタ駆動制御回路１２１は、シャッタ１２０における不図示の先幕及び後幕の動作を制御するとともに、Ｂμｃｏｍ１０１との間で、シャッタの開閉動作の制御信号及び先幕の走行完了時の信号の授受を行う。

液晶モニタ１４０は、本実施形態の撮像装置の動作状態を表示出力によりユーザに告知するためのものである。
カメラ操作スイッチ１５０は、撮影動作の実行を指示するためのレリーズボタン、撮影
モードを連写モードや通常撮影モードなどに切り替えるためのモード変更スイッチ、ＡＥＬＡＦＬボタン、及び電源のオン、オフを切り替えるためのパワースイッチなどユーザが本実施形態の撮像装置を操作するために必要な複数の操作手段で構成される。

フラッシュユニット１８０は、フラッシュ制御用マイクロコンピュータ１８３と、閃光発光部１８１と、発光制御回路１８２と、不図示の電池と、フラッシュ用通信コネクタ１８５とを備えて構成され、フラッシュ用通信コネクタ１８５を介してボディユニット１００に通信可能に装着される。

次に、本実施形態の撮像装置の「撮影動作」について説明する。
まず、Ｂμｃｏｍ１０１からの制御信号により画像処理ＩＣ１０２の動作が制御され、撮像素子駆動ＩＣ１１０からのデジタル電気信号が画像処理ＩＣ１０２に入力されると、画像処理ＩＣ１０２は、画像データに変換して一時記録用メモリであるＳＤＲＡＭ１０４に記録する。なお、ＳＤＲＡＭ１０４は、画像処理ＩＣ１０２の画像処理のためのワークエリアとしても使用される。

次に、シャッタ駆動制御回路１２１は、Ｂμｃｏｍ１０１から制御信号を受け取ると、シャッタ１２０の開閉動作を制御する。また、所定のタイミングで、Ｂμｃｏｍ１０１からフラッシュ用通信コネクタ１８５を介してフラッシュ制御用マイクロコンピュータ１８３及び発光制御回路１８２に対し、フラッシュを発光させるための発光信号を出力する。このときに撮像素子１１１から出力されるアナログ電気信号は、デジタル電気信号に変換された後、画像データに変換される。

そして、その画像データは、所定の画像処理が施されるとともに、ＪＰＥＧ圧縮処理により圧縮され記録メディア１３１に記録される。
次に、本実施形態の撮像装置のライブビュー（以下、ＬＶという）動作について説明する。なお、露光は、例えば、１秒当たり３０枚程度の割合で連続的に行うものとする。

撮像素子駆動ＩＣ１１０から次々に出力されるデジタル電気信号が画像処理ＩＣ１０２により画像データに変換され液晶モニタ１４０に出力される。これにより、被写体の動画像が液晶モニタ１４０に表示される。このような表示動作は、「ＬＶ動作」と呼ばれている。

なお、「撮影動作」から「ＬＶ動作」に切り替える場合は、例えば、カメラ操作スイッチ１５０のＬＶボタンをユーザが操作するように構成してもよい。
また、「ＬＶ動作」時において、撮影レンズ２１０ａ、２１０ｂからの光束は常に撮像素子１１１に導かれているので、被写体に対するＡＦやＡＥパラメータ決定を、デジタル電気信号に基づいて画像処理ＩＣ１０２に行わせることができる。以下、「ＬＶ動作」時のＡＦを「ＬＶＡＦ」といい、「ＬＶ動作」時のＡＥパラメータ決定を「ＬＶＡＥ」という。

次に、本実施形態の撮像装置の顔検出処理について説明する。
まず、「ＬＶ動作」時に得られる画像データは、画像処理ＩＣ１０２により顔検出処理に必要な画像データに変換されＳＤＲＡＭ１０４に逐次記録される。

次に、ＳＤＲＡＭ１０４に記録された画像データは、図２に示すように、顔検出ＩＣ１０３により所定範囲の調査領域をラスタスキャン方向にスキャンされて、図３Ａ〜図３Ｃに示すような予め用意された参照画像データと類似度が高い調査領域（類似画像データ）を探す。例えば、図４に示すように、人物の顔の画像データと重なる調査領域Ａは９９％になり、お面を付けた人物の顔の画像データと重なる調査領域Ｂは４０％になり、窓枠の
画像データと重なる調査領域Ｃは５％になる。

そして、参照画像データと類似度が高い調査領域、例えば、上記調査領域Ａがあると、その調査領域の位置、大きさ、及び類似度などを示す顔検出データをＢμｃｏｍ１０１に送る。

この顔検出処理は、「ＬＶ動作」中に繰り返して行われ、Ｂμｃｏｍ１０１に送られる顔検出データに基づいて「ＬＶＡＦ」及び「ＬＶＡＥ」が行われる。
次に、本実施形態の撮像装置における顔検出データに基づく「ＬＶＡＦ」について説明する。

まず、Ｂμｃｏｍ１０１は、顔検出データの位置に対応する画像データにおいてコントラストが最も大きくなる位置を探す。
そして、Ｂμｃｏｍ１０１は、その位置に撮影レンズ２１０ａ、２１０ｂのピント（焦点）が合うように制御信号をＬμｃｏｍ２０１に送る。

次に、本実施形態の撮像装置における顔検出データに基づく「ＬＶＡＥ」について図５Ａ及び図５Ｂを用いて説明する。
まず、Ｂμｃｏｍ１０１は、「ＬＶ動作」時に取得された画像データに対して、図５Ａのように、５列７行の測光領域を設定する。

次に、Ｂμｃｏｍ１０１は、各測光領域に対して測光を行う。図５Ｂは図５Ａの各測光領域に対する測光結果の一例を示しており、ＡＰＥＸ（Ａｄｄｉｔｉｖｅ Ｓｙｓｔｅｍ
ｏｆ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｏｓｕｒｅ）値におけるＢＶ（Ｂｒｉｇｈｔｎｅｓｓ Ｖａｌｕｅ）値で測光結果を示している。図５Ｂの例では、背景と重なる測光領域のＢＶ値は５になっており、人物の顔と重なる測光領域のＢＶ値は４になっている。すなわち、人物の顔と重なる測光領域は背景と重なる測光領域よりも一段暗くなっている。

そして、Ｂμｃｏｍ１０１は、測光結果に基づいて、露出制御を行う。例えば、Ｂμｃｏｍ１０１は、人物の顔と重なる測光領域のＢＶ値に基づいて、又は、人物の顔と重なる測光領域のＢＶ値と背景と重なる測光領域のＢＶ値との加重平均に基づいて、露出制御を行う。

次に、本実施形態の撮像装置における「ＬＶ動作」から「撮影動作」までの一連の動作について説明する。
図６は、本実施形態の撮像装置における「ＬＶ動作」から「撮影動作」までの一連の動作を説明するためのフローチャートである。

まず、ユーザによりカメラ操作スイッチ１５０が操作されて「ＬＶ動作」が開始すると、Ｂμｃｏｍ１０１は、シャッタ駆動制御回路１２１に制御信号を送りシャッタ１２０を開く（ＳＴＥＰ１−１０）。すると、撮像素子１１１に被写界の光が投影される。

次に、Ｂμｃｏｍ１０１は、絞り２０３を制御する（ＳＴＥＰ１−２０）。
次に、Ｂμｃｏｍ１０１は、「ＬＶＡＥ」を行い、撮像素子１１１に投影される被写体像のＢＶ値を求める（ＳＴＥＰ１−３０）。なお、後述するＳＴＥＰ１−６０で被写体の顔の位置情報と大きさ情報が取得されている場合は、それらの情報を使って「ＬＶＡＥ」を行う。

次に、Ｂμｃｏｍ１０１は、ＳＴＥＰ１−３０で求めたＢＶ値に基づいて、撮像素子１
１１に入射される光量が適切な量になるように、すなわち、撮像素子１１１の露出が適切な露出になるように、レンズの絞り量、シャッタ１２０の速度、撮像素子１１１の感度などを設定する（ＳＴＥＰ１−４０）。ここでは、被写界深度を深くし、顔検出処理が行い易いようにするために、絞り２０３をＦ５．６などの値に設定する。被写界深度が浅いと、ピントが合っていない領域がボケるため顔検出処理が行い難い。そのため、ピントが合う領域を広げるために、絞り２０３を絞っておく。

次に、Ｂμｃｏｍ１０１は、撮像素子１１１に投影された被写体像の画像データを画像処理ＩＣ１０２で取得させ、その画像データをＳＤＲＡＭ１０４に格納する（ＳＴＥＰ１−５０）。

次に、Ｂμｃｏｍ１０１は、顔検出ＩＣ１０３により、ＳＤＲＡＭ１０４に格納した画像データから被写体の顔を検出させて、その被写体の顔の位置情報と大きさ情報を取得する（ＳＴＥＰ１−６０）。

次に、Ｂμｃｏｍ１０１は、ＳＴＥＰ１−６０で所得した被写体の顔の位置情報と大きさ情報に基づいて、ＬＶＡＦによるピント合わせを行う（ＳＴＥＰ１−７０）。なお、ＳＴＥＰ１−６０で被写体の顔の位置情報と大きさ情報が取得されなかった場合は、一般的なＬＶＡＦを行い、所定エリア内で被写体と思われるエリア（例えば、画面中央部）にピントを合わせる。

次に、Ｂμｃｏｍ１０１は、ＳＴＥＰ１−７０でピントを合わせた後に取得した画像データを液晶モニタ１４０に表示させる（ＳＴＥＰ１−８０）。これにより、ユーザは、液晶モニタ１４０を見ながら構図、ピント、及び露出などを確認することができる。

次に、Ｂμｃｏｍ１０１は、カメラ操作スイッチ１５０から送られてくるレリーズボタンの状態を示す信号に基づいて、ユーザによりレリーズボタンが押されたか否かを判断する（ＳＴＥＰ１−１００）。

レリーズボタンが押されていないと判断した場合（ＳＴＥＰ１−１００がＮｏ）、Ｂμｃｏｍ１０１は、ＳＴＥＰ１−３０〜ＳＴＥＰ１−８０を再度行う。２回目以降のＳＴＥＰ１−４０では、１回目のＳＴＥＰ１−６０及びＳＴＥＰ１−７０により被写体の顔にピントが合わされているため、絞り２０３をより開放側にすることができる。これにより、被写界深度が浅くなるため、２回目以降のＳＴＥＰ１−７０において、より正確にピントを合わせることができる。

一方、レリーズボタンが押されたと判断した場合（ＳＴＥＰ１−１００がＹｅｓ）、Ｂμｃｏｍ１０１は、シャッタ１２０を閉じて先幕と後幕を走行準備待機状態にさせる（ＳＴＥＰ１−１７０）。

次に、Ｂμｃｏｍ１０１は、ＳＴＥＰ１−３０で得たＢＶ値に基づいて、撮像素子１１１に適切な光量の光束が入射されるようにするための絞り値及びシャッタ１２０の開状態時間を求めるとともに（ＳＴＥＰ１−１８０）、撮像素子１１１の感度設定を行う（ＳＴＥＰ１−１９０）。

次に、Ｂμｃｏｍ１０１は、ＳＴＥＰ１−１８０で求めた開状態時間分、シャッタ１２０を開き（ＳＴＥＰ１−２００）、本露出を行う（ＳＴＥＰ１−２１０）。
そして、Ｂμｃｏｍ１０１は、ＳＴＥＰ１−２１０で得られた画像データに対して画像処理ＩＣ１０２において画像処理を行わせ（ＳＴＥＰ１−２２０）、その画像データを記録メディア１３１に記録し（ＳＴＥＰ１−２３０）、撮影動作を終了する。

次に、顔検出処理について説明する。
図７は、上記ＳＴＥＰ１−６０における顔検出処理の動作を説明するためのフローチャートである。

まず、顔検出ＩＣ１０３は、上述したように、ＳＤＲＡＭ１０４に記録されている画像データに対して調査領域でスキャンを行い（ＳＴＥＰ２−１０）、図３Ａ〜図３Ｃの参照画像データとの類似度が所定値以上である調査領域を検出して、その検出した調査領域における位置情報（ＸＹ座標）、大きさ情報（直径）、及び類似度を取得する（ＳＴＥＰ２−２０）。なお、類似度の計算方法は、従来から様々な方法が実現されており、本実施形態では説明を省略する。図８Ａに示す画像データは、露出が適正であり調査領域Ｄの類似度が高くなっている。一方、図８Ｂに示すように、太陽の影響で露出が適正に設定されず被写体の顔がアンダーに撮影され被写体の顔が黒くつぶれてしまうと、調査領域Ｄの類似度が下がってしまう。

次に、顔検出ＩＣ１０３は、ＳＴＥＰ２−２０で検出した調査領域の類似度が８０％以上であるか否かを判断する（ＳＴＥＰ２−３０）。
類似度が８０％以上であると判断した場合（ＳＴＥＰ２−３０がＹｅｓ）、顔検出ＩＣ１０３は、ＳＴＥＰ２−２０で検出した調査領域を被写体の顔であると判断し、その調査領域の位置情報、大きさ情報、及び類似度をＢμｃｏｍ１０１に送り（ＳＴＥＰ２−４０）、顔検出処理を終了する。例えば、図８Ａに示す調査領域Ｄの類似度が９０％とすると、顔検出ＩＣ１０３は、調査領域Ｄの位置情報、大きさ情報、及び類似度をＢμｃｏｍ１０１に送る。Ｂμｃｏｍ１０１は、その調査領域Ｄの位置情報や大きさ情報に基づいて、ＬＶＡＥやＬＶＡＦを行う。

一方、類似度が８０％以上でないと判断した場合（ＳＴＥＰ２−３０がＮｏ）、顔検出ＩＣ１０３は、ＳＴＥＰ２−２０で検出した調査領域の類似度が３０％以上であるか否かを判断する（ＳＴＥＰ２−５０）。

類似度が３０％以上でないと判断した場合（ＳＴＥＰ２−５０がＮｏ）、顔検出ＩＣ１０３は、ＳＴＥＰ２−２０で検出した調査領域が被写体の顔でないと判断して顔検出処理を終了する。

一方、類似度が３０％以上であると判断した場合（ＳＴＥＰ２−５０がＹｅｓ）、顔検出ＩＣ１０３は、ＳＴＥＰ２−２０で検出した調査領域に対応する撮像素子１１１の出力が所定値Ａ以下であるか否かを判断する（ＳＴＥＰ２−６０）。

撮像素子１１１の出力が所定値Ａ以下であると判断した場合（ＳＴＥＰ２−６０がＹｅｓ）、顔検出ＩＣ１０３は、撮像素子１１１の出力が高くなるように、上記ＳＴＥＰ１−４０で得られる露出を補正するための露出補正値を設定する（ＳＴＥＰ２−７０）。

例えば、最高１Ｖまで出力される撮像素子１１１において、ＳＴＥＰ２−２０で検出した調査領域に対応する撮像素子１１１の出力が０．３Ｖであった場合、撮像素子１１１の出力が０．６Ｖになるように、すなわち、調査領域が１段明るくなるように、露出補正値（撮像素子１１１の感度を倍にさせるための露出補正値や撮像素子１１１の露光時間を倍にさせるための露出補正値など）を設定する。すなわち、図９Ａに示すように、強い逆光などにより、顔１、２のうち顔２だけが黒くつぶれてしまい顔２が検出されない場合において、顔２の顔検出精度保証範囲に入るように露出が補正され、顔１、２を共に検出することができるようになる。そのため、上記所定値Ａは、例えば、複数の顔検出精度保証範囲の下限値のうちの最も大きい値に対応する撮像素子１１１の出力とする。これにより、
ＳＴＥＰ１−３０で求められたＢＶ値により定められる絞り２０３の絞り値をＡＶ、シャッタ１２０の露光時間をＴＶ、撮像素子１１１の感度をＳＶとすると、ＳＶ＋ＢＶ値＝ＡＶ＋ＴＶの関係により、Ｂμｃｏｍ１０１がＳＴＥＰ１−４０において補正後のＳＶ＝補正前のＳＶ＋（ＳＴＥＰ２−７０で設定された露出補正値）を計算することで、次のＳＴＥＰ１−５０で取得される画像データが明るくなる。そして、画像データに対して再度ＳＴＥＰ２−１０においてスキャンが行われると、ＳＴＥＰ２−８０で類似度が８０％以上であると判断される可能性が高くなる。もし、再度、類似度が８０％以上でないと判断され、ＳＴＥＰ２−６０で撮像素子１１１の出力が所定値Ａ以下であると判断されると、ＳＴＥＰ２−７０で再び露出補正値が設定される。このときの露出補正値は、固定値であってもよいし、前回よりも類似度が上がった場合に撮像素子１１１の出力がさらに高くなるように変更してもよい。これにより、逆光により調査領域が被写体の顔として認識されなかった場合に、その調査領域の露出量を増やして明るくすることができ、その調査領域における類似度を高くすることができる。なお、撮像素子１１１の出力をデジタル値に変換し、そのデジタル値に応じて露出補正値を設定するか否かを判断してもよい。例えば、撮像素子１１１の出力が１０２４段階で表される場合において、撮像素子１１１の出力が６０段階とすると、１２０段階になるように、露出補正値を設定する。また、露出補正値を設定した後、調査領域の類似度が８０％以上であると判断した場合は、ＳＴＥＰ１−５０で画像データを取得した後、露出補正値をゼロに戻す。

一方、撮像素子１１１の出力が所定値Ａ以下でないと判断した場合（ＳＴＥＰ２−６０がＮｏ）、顔検出ＩＣ１０３は、ＳＴＥＰ２−２０で検出した調査領域に対応する撮像素子１１１の出力が所定値Ｂ以上であるか否かを判断する（ＳＴＥＰ２−８０）。

撮像素子１１１の出力が所定値Ｂ以上であると判断した場合（ＳＴＥＰ２−８０がＹｅｓ）、顔検出ＩＣ１０３は、撮像素子１１１の出力が低くなるように、上記ＳＴＥＰ１−４０で得られる露出を補正するための露出補正値を設定する（ＳＴＥＰ２−９０）。例えば、上記所定値Ｂは、複数の顔検出精度保証範囲の上限値のうちの最も小さい値に対応する撮像素子１１１の出力とする。

ここで、撮像素子１１１の各画素が左上から一画素ずつ逐次積分される場合で、かつ、５０Ｈｚの周期で暗くなる照明の下で撮影を行なった場合に得られる画像データには、図１０に示すように、黒い縞模様が表れる。これは、蛍光灯など商用電源の照明において、商用電源周波数の５０Ｈｚや６０Ｈｚで瞬間的に輝度が変化するフリッカと呼ばれる現象である。例えば、瞬間的な輝度変化の時間が１ｍｓであり、この輝度変化が２０ｍｓ間隔で生じる場合、シャッタ１２０の露光時間が１／１５と長いと、６６ｍｓに輝度変化が３回生じるため、瞬間的な輝度変化が３／６６に平均化されるが、シャッタ１２０の露光時間が１／２５０以上と短くなると、４ｍｓに輝度変化が１回生じるため、瞬間的な輝度変化が１／４しか平均化されず、黒い縞模様がより目立ってしまう。

そこで、ＳＴＥＰ２−２０で検出した調査領域に対応する撮像素子１１１の出力が所定値Ｂ以上でないと判断した場合（ＳＴＥＰ２−８０がＮｏ）、顔検出ＩＣ１０３は、シャッタ１２０の露光時間が１／１５以上であるか否かを判断する（ＳＴＥＰ２−１００）。

露光時間が１／１５以上であると判断した場合（ＳＴＥＰ２−１００がＹｅｓ）、顔検出ＩＣ１０３は、露光時間がより長くなって露出が適正露出からずれる分撮像素子１１１の感度が小さくなるように、又は、露光時間がより長くなって露出が適正露出からずれる分絞り２０３が絞られるように、Ｂμｃｏｍ１０１に露出設定値を送る（ＳＴＥＰ２−１１０）。これにより、フリッカの影響を緩和させて、再度ＳＴＥＰ２−３０で類似度が８０％以上であるか否かを判断させることができるので、調査領域が被写体の顔であると判断される可能性を高くすることができる。なお、シャッタ１２０の露光時間をより長くし
てフリッカの影響を緩和させた後、調査領域の類似度が８０％以上であると判断した場合は、その露光時間を維持させておく必要がある。例えば、ＳＴＥＰ２−９０の動作が行われたとき、そのことを示すフラグをセットし、そのフラグがセットされているときは露光時間の高速側に制限がかかるように構成する。

図７のフローチャートによれば、本来調査領域に被写体の顔が存在するにもかかわらず、不適切な露出やフリッカの影響により、その調査領域に被写体の顔が存在しないと判断されてしまっても、露出を補正したりフリッカの影響を緩和させて顔検出判断を再度行っているため、再度の顔検出判断時に調査領域に被写体の顔が存在していると判断され易くすることができる。これにより、露出を補正したりフリッカの影響を無くした後に、類似度が８０％以上の調査領域を検出してしまえば、その調査領域のＢＶ値に基づいてＳＴＥＰ１−３０において画像データ全体に対してＬＶＡＥが行われるため、その後に取得される画像データ内の被写体をアンダー又はオーバーにさせ難くすることができる。すなわち、撮影環境の影響を受けずに顔検出精度を向上させることができるので、その顔検出の情報を使って被写体を適正に撮影することができる。

図１１は、上記ＳＴＥＰ１−６０における他の顔検出処理の動作を説明するためのフローチャートである。
まず、顔検出ＩＣ１０３は、上述したように、ＳＤＲＡＭ１０４に記録されている画像データに対して調査領域でスキャンを行い（ＳＴＥＰ２−１０）、類似度が所定値以上である調査領域を１以上検出して顔検出リストをつくる（ＳＴＥＰ２−２０）。なお、類似度の計算方法は、従来から様々な方法が実現されており、本実施形態では説明を省略する。また、以下、類似度が所定値以上である調査領域の数を顔検出数という。また、図１２は、顔検出リストの一例を示す図である。図１２に示す顔検出リストの各顔検出データには、ＳＴＥＰ２−２０で検出された調査領域の通し番号を示す顔番号ｋ、調査領域の中心のＸ座標を示すＮｅｗＸ［ｋ］、調査領域の中心のＹ座標を示すＮｅｗＹ［ｋ］、調査領域の縦及び横のそれぞれの画素数を示すＮｅｗＳｉｚｅ［ｋ］、類似度を示すＮｅｗＲ［ｋ］、及び調査領域のＢＶ値を示すＦａｃｅＢＶ［ｎ］がそれぞれ格納されているものとする。また、図１２に示す顔検出リストは、類似度が所定値以上の調査領域を３つまで検出することが可能なものとする。

次に、顔検出ＩＣ１０３は、顔検出数がゼロであるか否かを判断する（ＳＴＥＰ２−３０）。
顔検出数がゼロでないと判断した場合（ＳＴＥＰ２−３０がＮｏ）、顔検出ＩＣ１０３は、顔番号ｋに１を入力する（ＳＴＥＰ２−４０）。すなわち、顔検出リスト内の顔番号１に対応する顔検出データについて以下の動作が行われる。

次に、顔検出ＩＣ１０３は、Ｆ＿ＮｏＬｉｓｔにゼロを入力する（ＳＴＥＰ２−５０）。上記Ｆ＿ＮｏＬｉｓｔは、顔番号ｋに対応する顔検出データが顔追跡リストにまだ存在しない新規の顔検出データであるかを示すためのフラグであり、Ｆ＿ＮｏＬｉｓｔが１のときの顔番号ｋに対応する顔検出データは新規の顔検出データを示す。また、上記顔追跡リストとは、顔検出処理の結果として顔検出ＩＣ１０３からＢμｃｏｍ１０１に送られる顔検出データである。図１３は、顔追跡リストの一例を示す図である。図１３に示す顔追跡リストの各顔検出データには、顔番号ｎ、Ｘ［ｎ］、Ｙ［ｎ］、Ｓｉｚｅ［ｎ］、Ｒ［ｎ］、抽出条件の成立回数を示すＧｅｔＣｏｕｎｔ［ｎ］、消失回数を示すＬｏｓｔＣｏｕｎｔ［ｎ］、更新フラグを示すＦ＿Ｎｅｗ［ｎ］、及びＦａｃｅＢＶ［ｎ］がそれぞれ格納されており、それぞれの初期値はゼロとする。また、図１３に示す顔追跡リストには、９つの顔検出データを格納することが可能なものとする。

次に、顔検出ＩＣ１０３は、顔番号ｎに１を入力する（ＳＴＥＰ２−６０）。すなわち
、顔番号１に対応する顔検出データについて以下の動作が行われる。
次に、顔検出ＩＣ１０３は、「顔番号ｎのＧｅｔ＿ｃｏｕｎｔ［ｎ］が１以上で、かつ、Ｆ＿ｎｅｗ［ｎ］がゼロ」であるか否かを判断する（ＳＴＥＰ２−８０）。「顔番号ｎのＧｅｔ＿ｃｏｕｎｔ［ｎ］が１以上で、かつ、Ｆ＿ｎｅｗ［ｎ］がゼロ」であるとは、顔番号ｋの顔検出データが顔番号ｎの顔検出データとして顔追跡リストに登録されたが、その顔検出データが更新されていないことを示している。

「顔番号ｎのＧｅｔ＿ｃｏｕｎｔ［ｎ］が１以上で、かつ、Ｆ＿ｎｅｗ［ｎ］がゼロ」であると判断した場合（ＳＴＥＰ２−８０がＹｅｓ）、顔検出ＩＣ１０３は、顔番号ｎに対して抽出条件１が成立するか否かを判断する（ＳＴＥＰ２−９０）。例えば、顔検出ＩＣ１０３は、上記抽出条件１である以下の式１０、２０、３０、５０が全て成立するかを判断する。なお、式１０、２０、３０は、顔番号ｋの顔検出データが顔番号ｎの顔検出データと一致するか否かを判断するためのものであり、式５０は、人物の顔であるか否かを判断するためのものである。また、式１０、２０は、調査領域のＸ［ｎ］、Ｙ［ｎ］が図１４に示す一致条件判定領域内に存在しているか否かを判断するためのものである。

NewX[k]−(0.4×Size[n])≦X[n]≦NewX[k]＋(0.4×Size[n]) −式１０
NewY[k]−(0.4×Size[n])≦Y[n]≦NewY[k]＋(0.4×Size[n]) −式２０
NewSize[k]×0.8≦Size[n]≦NewSize[k]×1.2 −式３０
(NewR[k]＋R[n])/2≧ 666 −式５０
顔番号ｎの顔検出データに対して抽出条件１が成立すると判断した場合（ＳＴＥＰ２−９０がＹｅｓ）、顔検出ＩＣ１０３は、顔番号ｎの顔検出データに対して更新処理を行った後（ＳＴＥＰ２−１４０）、顔番号ｎに１０を入力し（ＳＴＥＰ２−１５０）、ＳＴＥＰ２−７０に進む。例えば、顔検出ＩＣ１０３は、上記更新処理として、Ｘ［ｎ］に（ＮｅｗＸ［ｋ］＋Ｘ［ｎ］）／２を、Ｙ［ｎ］に（ＮｅｗＹ［ｋ］＋Ｙ［ｎ］）／２を、Ｓｉｚｅ［ｎ］に（ＮｅｗＳｉｚｅ［ｋ］＋Ｓｉｚｅ［ｎ］）／２を、Ｒ［ｎ］に（ＮｅｗＲ［ｋ］＋Ｒ［ｎ］）／２を、Ｌｏｓｔ＿Ｃｏｕｎｔ［ｎ］にゼロを、Ｆ＿Ｎｅｗ［ｎ］に１を、ＦａｃｅＢＶ［ｎ］に（ＮｅｗＦａｃｅＢＶ［ｋ］＋ＦａｃｅＢＶ［ｎ］）／２をそれぞれ入力するとともに、Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］に１を加算する。なお、Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］は、後述の演算により３よりも大きくならないように設定される。

このように、顔検出データを更新する際、前回検出された顔検出データと今回検出された顔検出データとで今回検出された顔検出データに重みをおいた加重平均を行うことにより、顔検出データの更新に伴って液晶モニタ１４０内で被写体の顔にピントが合っていることを示す枠のずれ量を少なくすることができる。これにより、ノイズや被写体の移動などの影響でＸ座標、Ｙ座標、及び大きさが変化してもその液晶モニタ１４０内の枠が震えるように見えることが抑えられる。

また、「顔番号ｎのＧｅｔ＿ｃｏｕｎｔ［ｎ］が１以上で、かつ、Ｆ＿ｎｅｗ［ｎ］がゼロ」ではないと判断した場合（ＳＴＥＰ２−８０がＮｏ）、又は、顔番号ｎの顔検出データに対して抽出条件１が成立しないと判断した場合（ＳＴＥＰ２−９０がＮｏ）、顔検出ＩＣ１０３は、露出補正値を設定してＢμｃｏｍ１０１に出力する（ＳＴＥＰ２−９５）。

ここで、図１５は、ＳＴＥＰ２−９５における露出補正値の設定動作を説明するためのフローチャートである。
まず、顔検出ＩＣ１０３は、上記ＳＴＥＰ２−２０で検出した各調査領域において、撮像素子１１１の出力が所定値Ａ以下であるか否かを判断する（ＳＴＥＰ３−１０）。

撮像素子１１１の出力が所定値Ａ以下の調査領域があると判断した場合（ＳＴＥＰ３−
１０がＹｅｓ）、顔検出ＩＣ１０３は、撮像素子１１１の出力が高くなるように、上記ＳＴＥＰ１−４０で得られる露出を補正するための露出補正値を設定する（ＳＴＥＰ３−２０）。例えば、所定値Ａは、複数の顔検出精度保証範囲の下限値のうちの最も大きい値に対応する撮像素子１１１の出力とする。また、撮像素子１１１の出力が所定値Ａ以下と判断された顔検出データのうち、Ｘ［ｎ］及びＹ［ｎ］が画像データ全体の中心の座標により近く、かつ、Ｓｉｚｅ［ｎ］がより大きい顔検出データを優先度が高いものとし、全ての顔検出データに優先順位をつける。そして、最も優先順位が高い顔検出データに対応する撮像素子１１１の出力が高くなるように、露出補正値を設定する。このとき、撮像素子１１１の出力が所定値以下でない顔検出データに対応する被写体の顔がオーバーにならないように、露出補正値の大きさを細かく設定する。例えば、優先度が最も高い顔検出データのＦａｃｅＢＶ［ｎ］が１段高くなるように露出補正値を設定した際に、他の顔検出データのＦａｃｅＢＶ［ｎ］がオーバーになる場合、優先度が最も高い顔検出データのＦａｃｅＢＶ［ｎ］が０．５段高くなるように露出補正値を設定し、他の顔検出データのＦａｃｅＢＶ［ｎ］がまだオーバーになる場合、優先度が最も高い顔検出データのＦａｃｅＢＶ［ｎ］が０．２５段高くなるように露出補正値を設定する。これにより、複数の被写体の顔を考慮した露出補正処理を行うことができる。

一方、撮像素子１１１の出力が所定値Ａ以下の調査領域がないと判断した場合（ＳＴＥＰ３−１０がＮｏ）、顔検出ＩＣ１０３は、上記ＳＴＥＰ２−２０で検出した各調査領域において、撮像素子１１１の出力が所定値Ｂ以上であるか否かを判断する（ＳＴＥＰ３−３０）。

撮像素子１１１の出力が所定値Ｂ以上の調査領域があると判断した場合（ＳＴＥＰ３−３０がＹｅｓ）、顔検出ＩＣ１０３は、撮像素子１１１の出力が低くなるように、上記ＳＴＥＰ１−４０で得られる露出を補正するための露出補正値を設定する（ＳＴＥＰ３−４０）。例えば、所定値Ｂは、複数の顔検出精度保証範囲の上限値のうちの最も小さい値に対応する撮像素子１１１の出力とする。

一方、撮像素子１１１の出力が所定値Ｂ以上の調査領域がないと判断した場合（ＳＴＥＰ３−３０がＮｏ）、顔検出ＩＣ１０３は、シャッタ１２０の露光時間が１／１５以上であるか否かを判断する（ＳＴＥＰ３−５０）。

露光時間が１／１５以上であると判断した場合（ＳＴＥＰ３−５０がＹｅｓ）、顔検出ＩＣ１０３は、露光時間がより長くなって露出が適正露出からずれる分撮像素子１１１の感度が小さくなるように、又は、露光時間がより長くなって露出が適正露出からずれる分絞り２０３が絞られるように、Ｂμｃｏｍ１０１に露出設定値を送る（ＳＴＥＰ３−６０）。これにより、フリッカの影響を緩和させて、再度の顔検出処理を行うことができるので、調査領域が被写体の顔であると判断される可能性を高くすることができる。

なお、図７に示すフローチャートと同様に、露出を補正した後、顔検出データが取得された場合は、ＳＴＥＰ１−５０で画像データを取得した後、露出補正値をゼロに戻す。また、シャッタ１２０の露光時間をより長くしてフリッカの影響を緩和させた後、顔検出データが取得された場合は、その露光時間を維持させておく必要がある。

図１５に示すフローチャートによれば、図７に示すフローチャートと同様に、本来調査領域に被写体の顔が存在するにもかかわらず、不適切な露出やフリッカの影響により、その調査領域に被写体の顔が存在しないと判断されてしまっても、露出を補正したりフリッカの影響を緩和させて顔検出判断を再度行っているため、再度の顔検出判断時に調査領域に被写体の顔が存在していると判断され易くすることができる。これにより、画像データ内の被写体をアンダー又はオーバーにさせ難くすることができる。すなわち、撮影環境の
影響を受けずに顔検出精度を向上させることができるので、その顔検出の情報を使って被写体を適正に撮影することができる。

また、複数の被写体の顔が存在しても、顔検出の精度を上げることができるため、正確な顔検出データを用いて各調査領域に優先順位をつけることができる。
次に、図１１に示すフローチャートにおいて、顔番号ｎが１０であるか否かを判断する（ＳＴＥＰ２−１００）。

顔番号ｎが１０であると判断した場合（ＳＴＥＰ２−１００がＹｅｓ）、顔検出ＩＣ１０３は、Ｆ＿ＮｏＬｉｓｔに１を入力する（ＳＴＥＰ２−１２０）。すなわち、顔番号ｎが１０である場合、顔番号ｋに対応する顔検出データはまだ顔追跡リストに登録されていない新規の顔検出データであると判断され、Ｆ＿ＮｏＬｉｓｔに１が入力される。

次に、顔検出ＩＣ１０３は、顔番号ｎに１を加算し（ＳＴＥＰ２−１３０）、顔番号ｎが１０よりも小さいか否かを判断する（ＳＴＥＰ２−７０）。また、顔番号ｎが１０でないと判断した場合（ＳＴＥＰ２−１００がＮｏ）も、顔検出ＩＣ１０３は、顔番号ｎに１を加算し（ＳＴＥＰ２−１３０）、顔番号ｎが１０よりも小さいか否かを判断する（ＳＴＥＰ２−７０）。

顔番号ｎが１０よりも小さいと判断した場合（ＳＴＥＰ２−７０がＹｅｓ）、顔検出ＩＣ１０３は、ＳＴＥＰ２−８０に戻る。このループ動作により、顔追跡リストに格納されている全ての顔検出データに対して抽出条件１が成立しているか否かの判断が行われ、抽出条件１が成立していると判断された場合、その顔検出データの更新が行われる。

顔番号ｎが１０よりも小さくないと判断した場合（ＳＴＥＰ２−７０がＮｏ）、すなわち、顔追跡リスト内の顔番号１〜９それぞれに対して抽出条件１が成立しているか否かの判断が全て終わった場合、顔検出ＩＣ１０３は、Ｆ＿ＮｏＬｉｓｔが１であるか否かを判断する（ＳＴＥＰ２−１６０）。

Ｆ＿ＮｏＬｉｓｔが１であると判断した場合（ＳＴＥＰ２−１６０がＹｅｓ）、顔検出ＩＣ１０３は、顔番号ｎに１を入力し（ＳＴＥＰ２−１７０）、Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］がゼロであるか否かを判断する（ＳＴＥＰ２−１９０）。

Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］がゼロであると判断した場合（ＳＴＥＰ２−１９０がＹｅｓ）、すなわち、顔番号ｎの顔検出データに何も情報が入力されていない場合、顔検出ＩＣ１０３は、顔番号ｋの顔検出データを顔番号ｎの顔検出データに登録した後（ＳＴＥＰ２−２１０）、顔番号ｎに１０を入力し（ＳＴＥＰ２−２２０）、ＳＴＥＰ２−１８０に進む。例えば、顔検出ＩＣ１０３は、上記登録処理として、Ｘ［ｎ］にＮｅｗＸ［ｋ］を、Ｙ［ｎ］にＮｅｗＹ［ｋ］を、Ｓｉｚｅ［ｎ］にＮｅｗＳｉｚｅ［ｋ］を、Ｒ［ｎ］にＮｅｗＲ［ｋ］を、Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］に１を、Ｌｏｓｔ＿Ｃｏｕｎｔ［ｎ］にゼロを、Ｆ＿Ｎｅｗ［ｎ］に１を、ＦａｃｅＢＶ［ｎ］にＦａｃｅＢＶ［ｋ］をそれぞれ入力する。

一方、Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］がゼロでないと判断した場合（ＳＴＥＰ２−１９０がＮｏ）、すなわち、顔番号ｎの顔検出データにすでに情報が入力されている場合、顔検出ＩＣ１０３は、顔番号ｎに１を加算し（ＳＴＥＰ２−２００）、その顔番号ｎが１０よりも小さいか否かを判断する（ＳＴＥＰ２−１８０）。

顔番号ｎが１０よりも小さいと判断した場合（ＳＴＥＰ２−１８０がＹｅｓ）、顔検出ＩＣ１０３は、ＳＴＥＰ２−１９０に戻る。このループ動作により、顔追跡リストにおけ
る顔番号１〜９のうち、まだ顔検出データが格納されていないところに、顔番号ｋの顔検出データが格納される。

一方、顔番号ｎが１０よりも小さくないと判断した場合（ＳＴＥＰ２−１８０がＮｏ）、顔検出ＩＣ１０３は、顔番号ｋに１を加算し（ＳＴＥＰ２−４１）、その顔番号ｋが顔検出数に１を加算した数よりも小さいか否かを判断する（ＳＴＥＰ２−４２）。

同様に、Ｆ＿ＮｏＬｉｓｔが１でないと判断した場合（ＳＴＥＰ２−１６０がＮｏ）、顔検出ＩＣ１０３は、顔番号ｋに１を加算し（ＳＴＥＰ２−４１）、その顔番号ｋが顔検出数に１を加算した数よりも小さいか否かを判断する（ＳＴＥＰ２−４２）。

顔番号ｋが顔検出数に１を加算した数よりも小さいと判断した場合（ＳＴＥＰ２−４２がＹｅｓ）、顔検出ＩＣ１０３は、ＳＴＥＰ２−５０に戻る。このループ動作により、顔検出リストの各顔検出データに対して、それぞれ、顔追跡リストの顔検出データとして更新すべきものであるのか、又は、顔追跡リストに新たに登録すべきものであるのかが判断される。

一方、顔番号ｋが顔検出数に１を加算した数よりも小さくないと判断した場合（ＳＴＥＰ２−４２がＮｏ）、顔検出ＩＣ１０３は、消失処理を行う。
また、顔検出数がゼロであると判断した場合（ＳＴＥＰ２−３０がＹｅｓ）、顔検出ＩＣ１０３は、消失処理を行う。

図１６は、消失処理を説明するためのフローチャートである。
まず、顔検出ＩＣ１０３は、顔番号ｎに１を入力する（ＳＴＥＰ２−２３０）。すなわち、顔追跡リストの顔番号１の顔検出データに対して以下の動作が行われる。

次に、顔検出ＩＣ１０３は、顔番号ｎのＧｅｔ＿Ｃｏｕｎｔ［ｎ］がゼロであるか否かを判断する（ＳＴＥＰ２−２５０）。
顔番号ｎのＧｅｔ＿Ｃｏｕｎｔ［ｎ］がゼロでないと判断した場合（ＳＴＥＰ２−２５０がＮｏ）、顔検出ＩＣ１０３は、Ｆ＿Ｎｅｗ［ｎ］がゼロであるか否かを判断する（ＳＴＥＰ２−２６０）。

Ｆ＿Ｎｅｗ［ｎ］がゼロであると判断した場合（ＳＴＥＰ２−２６０がＹｅｓ）、顔検出ＩＣ１０３は、Ｌｏｓｔ＿Ｃｏｕｎｔ［ｎ］に１を加算し（ＳＴＥＰ２−２７０）、ＳＴＥＰ２−２８０に進む。Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］がゼロでなく、かつ、Ｆ＿Ｎｅｗ［ｎ］がゼロである場合とは、顔番号ｎに顔検出データが登録されたが、更新はされなかった場合であり、すなわち、今回の顔検出処理において、前回の顔検出処理で検出された顔を見失った場合である。また、次回の顔検出処理においてＳＴＥＰ２−１４０で顔検出データが更新されると、Ｌｏｓｔ＿Ｃｏｕｎｔ［ｎ］はゼロになるため、連続して顔を見失ったときのみ、ＳＴＥＰ２−２７でＬｏｓｔ＿Ｃｏｕｎｔ［ｎ］が１ずつ加算されていく。

一方、Ｆ＿Ｎｅｗ［ｎ］がゼロでないと判断した場合（ＳＴＥＰ２−２６０がＮｏ）、顔検出ＩＣ１０３は、Ｌｏｓｔ＿Ｃｏｕｎｔ［ｎ］が２であるか否かを判断する（ＳＴＥＰ２−２８０）。

Ｌｏｓｔ＿Ｃｏｕｎｔ［ｎ］が２であると判断した場合（ＳＴＥＰ２−２８０がＹｅｓ）、すなわち、顔番号ｎに対応する顔を２回見失った場合、顔検出ＩＣ１０３は、Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］及びＬｏｓｔ＿Ｃｏｕｎｔ［ｎ］にそれぞれゼロを入力して顔番号ｎの顔検出データを初期値に戻し（ＳＴＥＰ２−２９０）、ＳＴＥＰ２−３００に進む。

一方、Ｌｏｓｔ＿Ｃｏｕｎｔ［ｎ］が２でないと判断した場合（ＳＴＥＰ２−２８０がＮｏ）、顔検出ＩＣ１０３は、顔番号ｎに１を加算し（ＳＴＥＰ２−３００）、その顔番号ｎが１０よりも小さいか否かを判断する（ＳＴＥＰ２−２４０）。

同様に、Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］がゼロであると判断した場合（ＳＴＥＰ２−２５０がＹｅｓ）、顔検出ＩＣ１０３は、顔番号ｎに１を加算し（ＳＴＥＰ２−３００）、その顔番号ｎが１０よりも小さいか否かを判断する（ＳＴＥＰ２−２４０）。

顔番号ｎが１０よりも小さいと判断した場合（ＳＴＥＰ２−２４０がＹｅｓ）、顔検出ＩＣ１０３は、ＳＴＥＰ２−２５０に戻る。このループ動作により、顔追跡リストの各顔検出データに対して、それぞれ、消失させるか否かの判断が行われる。

一方、顔番号ｎが１０よりも小さくないと判断した場合（ＳＴＥＰ２−２４０がＮｏ）、顔検出ＩＣ１０３は、顔検出処理を終了し、顔追跡リストをＢμｃｏｍ１０１に送る。
そして、Ｂμｃｏｍ１０１は、顔検出ＩＣ１０３から送られた顔検出データのうち、Ｇｅｔ＿Ｃｏｕｎｔ［ｎ］が２以上の顔検出データ、すなわち、２回以上更新された顔検出データに基づいて、「ＬＶＡＦ」及び「ＬＶＡＥ」を行う。

これにより、ノイズや被写体の顔の向き又は表情の変化などの影響により顔検出データが更新されないときが１回あっても、２回以上更新されていれば、表示モニタ１４０内の枠が表示され続けるので、その枠が点滅して見えることが抑えられる。

また、ノイズなどの影響により新規に顔検出データが顔追跡リストに格納されても、２回以上更新されなければ、被写体の顔として判断されないため、顔検出処理の誤判断を抑えることができる。

また、図１１のフローチャートによれば、過去の顔情報と加重平均をとっているため、ノイズなどの影響による顔情報の繰返しバラツキが表示されて見栄えが悪くなることも抑えられる。

なお、上記実施形態では、図７のＳＴＥＰ２−７０及びＳＴＥＰ２−９０、又は、図１５のＳＴＥＰ３−２０及びＳＴＥＰ３−４０において、複数の顔にそれぞれ対応する全ての顔検出精度保証範囲にＳＴＥＰ１−４０で設定される露出が入るように、露出が補正される構成であるが、図７のＳＴＥＰ２−７０及びＳＴＥＰ２−９０、又は、図１５のＳＴＥＰ３−２０及びＳＴＥＰ３−４０において、被写体の顔として検出されなかったが被写体の顔と疑わしい調査領域に対して、図１７Ａに示すように、画像処理ＩＣ１０２におけるＪＰＥＧ圧縮処理に用いられるγ曲線Ａを、より傾きが大きいγ曲線Ｂに変更する。

これにより、図１７Ｂに示すように、逆光の撮影シーンで被写体の顔がアンダーに撮影されるところを、図１７Ａに示すように、γ曲線の傾きを大きくすることにより、被写体の顔の部分の階調を上げることができるため、図１７Ｃに示すように、被写体の顔がアンダーにならないように撮影することができる。そのため、再度の顔検出判断時に調査領域に被写体の顔が存在していると判断され易くすることができる。すなわち、撮影環境の影響を受けずに顔検出精度を向上させることができるので、その顔検出の情報を使って被写体を適正に撮影することができる。

本発明の実施形態の撮像装置を示す図である。 顔検出処理時のスキャン動作を示す図である。 参照画像データの一例を示す図である。 参照画像データの一例を示す図である。 参照画像データの一例を示す図である。 類似度が互いに異なる各調査領域を示す図である。 測光領域の一例を示す図である。 図５Ａの各測光領域に対する測光結果の一例を示す図である。 本実施形態の撮像装置における「ＬＶ動作」から「撮影動作」までの一連の動作を説明するためのフローチャートである。 ＳＴＥＰ１−６０における顔検出処理の動作を説明するためのフローチャートである。 液晶モニタに表示される画像データの一例を示す図である。 液晶モニタに表示される画像データの一例を示す図である。 液晶モニタに表示される画像データの一例を示す図である。 顔１、２のそれぞれの顔検出精度保証範囲を示す図である。 フリッカの影響を受けた画像データの一例を示す図である。 ＳＴＥＰ１−６０における他の顔検出処理の動作を説明するためのフローチャートである。 顔検出リストの一例を示す図である。 顔追跡リストの一例を示す図である。 一致条件判定領域を示す図である。 ＳＴＥＰ２−９５における露出補正値の設定動作を説明するためのフローチャートである。 消失処理の動作を説明するためのフローチャートである。 γ曲線を示す図である。 液晶モニタに表示される画像データの一例を示す図である。 液晶モニタに表示される画像データの一例を示す図である。

符号の説明

１００ ボディユニット
１０１ ボディ制御用マイクロコンピュータ
１０２ 画像処理ＩＣ
１０３ 顔検出ＩＣ
１０４ ＳＤＲＡＭ
１１０ 撮像素子駆動ＩＣ
１１１ 撮像素子
１２０ シャッタ
１２１ シャッタ駆動制御回路
１３０ 通信コネクタ
１３１ 記録メディア
１４０ 液晶モニタ
１５０ カメラ操作スイッチ
１６０ 通信コネクタ
１８０ フラッシュユニット
１８１ 閃光発光部
１８２ 発光制御回路
１８３ フラッシュ制御用マイクロコンピュータ
１８５ フラッシュ用通信コネクタ
２００ レンズユニット
２０２ 絞り駆動機構
２０３ 絞り
２０４ レンズ駆動機構
２１０ａ 撮影レンズ
２１０ｂ 撮影レンズ

Claims (4)

1. 被写体からの光を結像する撮影レンズと、
   前記撮影レンズにより結像される像に対応する電気信号を出力する撮像素子と、
   前記電気信号に基づいて、画像データを生成する生成手段と、
   前記画像データにおいて人物の顔を示す参照画像データと類似する類似画像データを抽出する抽出手段と、
   前記類似画像データが前記被写体の顔であるか否かの類似度の大きさを複数の基準値と比較して、前記類似画像データが前記被写体の顔であるか否かを判断する判断手段と、
   前記判断手段により前記被写体の顔と判断された類似画像データを利用して、前記撮像素子の露出を制御する露出制御手段と、
   前記判断手段により前記類似画像データが前記被写体の顔であると判断する一の基準値よりも小さく、且つ、前記類似画像データが前記被写体の顔でないと判断される他の基準値よりも大きいとき、前記撮像素子の露出を補正する露出補正値を設定するために、前記抽出された類似画像データの出力の大きさが第１の所定値以下であるか否か、及び、前記第１の所定値よりも大きい第２の所定値以上であるか否かを判定する類似画像出力判定手段と、
   前記類似画像出力判定手段により前記抽出された類似画像データの出力の大きさが前記第１の所定値以下であると判定された場合、前記撮像素子の出力が高くなるように前記露出補正値を設定し、前記類似画像出力判定手段により前記抽出された類似画像データの出力の大きさが前記第２の所定値以上であると判定された場合、前記撮像素子の出力が低くなるように前記露出補正値を設定して前記撮像素子の露出を制御する露出値を変更する制御手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記判断手段は、前記参照画像データと前記類似画像データとの類似度に応じて、前記類似画像データを前記被写体の顔と判断する
   ことを特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置であって、
   前記判断手段は、前記抽出手段により前回抽出された前記類似画像データの位置を中心とする一致条件判定領域内に、前記抽出手段により今回抽出された前記類似画像データの位置が入っているとき、その類似画像データを前記被写体の顔と判断する
   ことを特徴とする撮像装置。
4. 請求項１又は請求項２に記載の撮像装置であって、
   前記撮影レンズと前記撮像素子との間に設けられるシャッタを備え、
   前記制御手段は、前記判断手段により前記類似画像データが前記被写体の顔と判断されず、かつ、前記シャッタの露光時間が所定時間以下のとき、前記シャッタの露光時間を前記所定時間よりも長くする
   ことを特徴とする撮像装置。