JP4911165B2 - 撮像装置、顔検出方法及びプログラム - Google Patents

Description

本発明は、撮像装置、被写体の顔領域の検出方法、及び、プログラムに関する。

従来より、撮像画像における人物の顔部分を認識し、該認識した人物の顔部分に対して所定の画像処理を行うことが知られている。例えば、特許文献１には、継続的に入力される撮像画像とプライバシー保護の観点から予め所定の画像処理を施した撮像画像とを比較し、大きく変化していなければ肌色領域を抽出し、抽出した肌色領域から顔部を抽出し、抽出した顔部における目部分の位置を含む所定の領域に人の個人識別を不能とする所定の画像加工処理を施す技術が記載されている。

特開２００２−４９９１２号公報（第５〜６頁、図６〜７）

上記の特許文献１の技術においては、継続的に入力される撮像画像について顔を検出し、所定の画像加工処理を施す技術が開示されているが、継続的に入力される画像に対し、継続的に顔検出処理や画像加工処理を施す必要があるため、これらの処理にかかる負担が大きいという問題点が生じる。また、上記特許文献１は、調査対象領域に固定的に設置され、予め決められた画角を撮影することを想定しているが、手持ちの撮像装置に上記の機能を搭載した場合、カメラ本体の傾き等による画角の変化や撮像画像の画素数等により顔領域の検出にかかる速度や精度に障害がおきるという問題点も予期される。

本発明は、このような問題点に鑑みてなされたものであり、撮像された画像における顔領域の検出を良好に行えるようにすることを目的とする。

本発明の請求項１記載の発明は、撮像手段と、前記撮像手段によって撮像された第１の画像から画素を間引いた間引き画像を生成する生成手段と、前記生成手段によって生成された間引き画像から人物の顔領域を検出する顔検出手段と、前記顔領域の情報を記憶する記憶手段と、前記撮像手段によって記録用の第２の画像の撮像を指示する指示手段と、前記指示手段による指示に応じて前記撮像手段に前記第２の画像を撮像させる撮像制御手段と、前記記憶手段によって記憶された顔領域の情報に基づき、前記第２の画像から顔領域を検出するように前記顔検出手段を制御する顔検出制御手段と、を備えたことを特徴とする。

また、請求項２記載の発明は、前記撮像手段は、周期的に前記第１の画像を撮像する第１の撮像制御手段と、前記第２の画像を記録用に撮像する第２の撮像制御手段と、を備え、前記生成手段は前記第１の撮像制御手段により周期的に撮像される前記第１の画像から前記間引き画像を順次生成し、前記記憶手段は、前記生成手段によって順次生成される間引き画像から前記顔検出手段によって検出された顔領域の情報を更新させながら記憶し、前記顔検出制御手段は、前記記憶手段に記憶された情報に基づき、前記第２の画像から顔領域を検出するように前記顔検出手段を制御することを特徴とする。

また、請求項３記載の発明は、前記顔検出制御手段は、前記第２の画像の撮像直前に前記記憶手段に記憶された情報に基づき、前記第２の画像から顔領域を検出するように前記顔検出手段を制御することを特徴とする。

また、請求項４記載の発明は、前記第２の画像を撮像すると、前記記憶手段に前記情報が記憶されているか否かを判断する第１の判断手段を更に備え、前記顔検出制御手段は、前記第１の判断手段により前記情報が記憶されていると判断された場合に、前記第２の画像から顔領域を検出するように前記検出手段を制御することを特徴とする。

また、請求項５記載の発明は、前記第１の判断手段によって、前記記憶手段に前記情報が記憶されていないと判断された場合、前記第２の画像を撮像時に、ストロボ光が発光されたか否かを判断する第２の判断手段と、を更に備え、前記顔検出制御手段は、前記第２の判断手段によってストロボ光が発光されたと判断された場合は、前記第２の画像から顔領域を検出するように前記顔検出手段を制御することを特徴とする。

また、請求項６記載の発明は、前記顔検出手段によって、前記間引き画像から前記顔領域を複数検出した場合、前記記憶手段は前記顔検出手段によって複数検出された顔領域それぞれの情報を記憶し、前記顔検出制御手段は、前記記憶手段に複数記憶されている情報に基づき前記第２の画像から顔領域を検出するように前記顔検出手段を制御することを特徴とする。

また、請求項７記載の発明は、前記顔検出手段によって、前記間引き画像から前記顔領域を複数検出した場合は、前記間引き画像における画角中央からの近さ、または、検出された顔領域の大きさの少なくとも一方に基づいて、前記検出された複数の顔領域の中から、情報を選択する選択手段を備え、前記顔検出制御手段は、前記選択手段によって選択された情報を前記検出手段の制御に用いることを特徴とする。

また、請求項８記載の発明は、前記情報には、前記顔検出手段によって前記間引き画像から検出された顔領域の角度、位置、及び大きさのうち、少なくとも１つを示す情報が含まれることを特徴とする。

また、請求項９記載の発明は、第１の画像を撮像するステップと、この撮像された第１の画像から画素を間引いた間引き画像を生成するステップと、この間引き画像から人物の顔領域を検出するステップと、前記生成された間引き画像から前記検出された顔領域の情報を記憶するステップと、前記撮像手段によって記録用の第２の画像の撮像を指示するステップと、この指示に応じて前記撮像手段に前記第２の画像を撮像させる撮像制御ステップと、前記記憶された情報に基づき、前記第２の画像から顔領域を検出するステップと、を含むことを特徴とする。
また、請求項１０記載の発明は、撮像装置が備えるコンピュータを、前記撮像手段によって撮像された第１の画像から画素を間引いた間引き画像を生成する生成手段、前記生成手段によって生成された間引き画像から人物の顔領域を検出する顔検出手段と、前記顔領域の情報を記憶する記憶手段、前記撮像手段によって記録用の第２の画像の撮像を指示する指示手段、前記指示手段による指示に応じて前記撮像手段に前記第２の画像を撮像させる撮像制御手段、前記記憶手段によって記憶された顔領域の情報に基づき、前記第２の画像から顔領域を検出するように前記顔検出手段を制御する顔検出制御手段として機能させることを特徴とする。

本発明によれば、撮像された画像における顔領域の検出を良好に行うことができる。

以下、本発明の一実施の形態を図に従って説明する。図１は、本実施形態に係るデジタルカメラ１の概略構成を示すブロック図である。

すなわちデジタルカメラ１は撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。

撮影レンズ２は、図示しない複数のレンズ群から構成され、フォーカスレンズ２Ａを少なくとも有する。そして、フォーカスレンズ２Ａにはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ２Ａを光軸方向に沿って駆動させるフォーカスモータ、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータを駆動させるフォーカスモータドライバから構成されている（図示略）。

ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。このＣＣＤ５上の画像検出素子と略同数の画素からなる画像（信号）を、本明細書ではフルサイズ画像（信号）と呼ぶことにする。また、後述するように、画像表示部１５で表示できる解像度はフルサイズ画像に比べて低く、また、ライブビュー画像の更新処理速度を速くする必要もあるので、ＣＣＤ５が出力し、後述のＡ／Ｄ変換器にてデジタル信号に変換されてバッファメモリ領域に一時記憶された画像信号については画像生成部９がその画素数を減じ、解像度を落とした間引き画像を生成し、出力する。この解像度を落とした画像（信号）を本明細書では、ライブビュー画像（信号）と呼ぶ。

ユニット回路８には、ＴＧ（Timing Generator）７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。

画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データをＤＲＡＭ１３のバッファメモリ領域に一時記憶させ、一時記憶された画像信号からライブビュー画像、フルサイズ画像を生成する。
また、ＣＰＵ１０の指示に応じ、画像生成部９は、フルサイズ画像から検出された顔領域に対して所定の画像処理を行う。具体的には、撮像された顔領域に対して、人物の目の中の充血を軽減するような補正を行う充血軽減処理、肌の血色を改善するよう補正する美肌処理および血色改善処理、ぽっちゃりした頬やえらの張った頬をほっそりさせる補正を行う頬リフトアップ処理の複数種の補正内容からなる美顔処理を施す。
また、美顔処理には、上記の補正処理以外にもフラッシュ発光時の赤目状態を除去するフラッシュ赤目除去処理が含まれている。
尚、上述した美顔処理は、画像処理の技術分野においては公知の技術であるので、ここでは詳細な説明を省略する。

ＣＰＵ１０は、ＣＣＤ５への撮像制御、バッファメモリ領域に記憶されたフルサイズ画像の画像データを圧縮してフラッシュメモリ１４に記録する記録処理、バッファメモリ領域に記憶されたライブビュー画像の画像データを表示する表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。

特に、ＣＰＵ１０は、ＴＧ７を制御してドライバ６に対し、ＣＣＤ５を周期的に駆動させることにより複数の画像データを得、この複数の画像データよりライブビュー画像を生成させるためにＤＲＡＭ１３に出力するよう制御する第１の撮像制御部１０１、後述するシャッタボタンの全押し検出による記録指示の検出に応答し、その時点で撮像されたフルサイズ画像をＤＲＡＭ１３に一時的に記憶させる第２の撮像制御部１０２、ライブビュー画像、及び、フルサイズ画像内にある顔領域を検出し、検出した顔領域の情報（角度、位置、大きさ）を後述するＤＲＡＭ１３の検出結果記憶領域１３１に記憶させる顔検出部１０３、及び、検出結果記憶領域１３１に記憶されている顔領域の情報に基づいてフルサイズ画像の画像データから顔領域を検出するよう顔検出部１０３を制御する顔検出制御部１０４を有する。

なお、顔検出部１０３における顔検出処理は、例えば、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳、顔全体の輪郭等の特徴データ）と画像データとを比較照合することにより、所定値以上で顔の特徴データと一致する領域を顔領域であると検出する。また顔の特徴データは、−９０度、０度、＋９０度の３種類の角度の特徴データが予め記憶されている。ＣＰＵ１０は、顔検出部１０３によってライブビュー画像から顔領域を検出すると、検出した顔領域の角度、ライブビュー画像における顔領域の位置、及び、ライブビュー画像に対する顔領域の大きさを検出した顔領域の情報として顔領域の数に相当する分だけ検出結果記憶領域１３１に記憶させる。尚、検出した顔領域の情報は、フルサイズ画像の画像データと対応付けて記憶させるようにしても良い。

図２は、顔検出部１０３に予め記憶されている３種類の角度（−９０度、０度、＋９０度）の特徴データを模式的に示したものである。ここで、顔検出部１０３が３種類の角度の特徴データを予め記憶しているのは、顔画像を含むフルサイズ画像を撮像する場合、一般的な横長の撮像画角で撮像する場合と、デジタルカメラ１を回転させ、ポートレート撮影のような縦長の撮像画角で撮影する場合を想定しているためである。

また、顔検出制御部１０４は、フルサイズ画像の画像データ内にある顔領域を検出する際に、検出結果記憶領域１３１に記憶されている検出された顔領域の情報に基づいて顔検出部１０３を制御する。例えば、検出された顔領域の情報のうち、−９０度の角度情報が記憶されている場合は、フルサイズ画像の画像データ内にある顔領域を検出する際に、−９０度の顔の特徴データを使用して顔領域を検出するように顔検出部１０３を制御する。つまり、フルサイズ画像の画像データに対して行われる顔検出処理は、ライブビュー画像から検出された顔領域の角度で行われる。

キー入力部１１は、シャッタボタン、モード切替キー、十字キー、ＳＥＴキー、キャンセルキー等の複数の操作キーを含み、撮影者のキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は該プログラムに従い動作する。

ＤＲＡＭ１３は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリ領域（不図示）、ＣＰＵ１０のワーキングメモリとして使用するワーキングメモリ領域（不図示）、及び、ＣＰＵ１０の顔検出部１０３から送られてきた検出した顔領域の角度、ライブビュー画像における位置、及び、ライブビュー画像に対する大きさを記憶する検出結果記憶領域１３１を備える。
フラッシュメモリ１４は、圧縮されたフルサイズ画像の画像データを保存する記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮像待機状態にあるときには、画像生成部９によって周期的に生成されるライブビュー画像を表示し、記録画像の再生時には、フラッシュメモリ１４から読み出され、伸張されたフルサイズ画像を縮小表示する。

実施の形態におけるデジタルカメラ１の動作を図３のフローチャートに従って説明する。
ユーザ（撮影者）のモード切替キーの操作により撮像モードに設定されると、第１の撮像制御部１０１は、ＣＣＤ５に所定のフレームレートで順次被写体を撮像させる処理を開始させ、ＣＣＤ５により順次撮像され画像生成部９によって生成された輝度色差信号のフレーム画像データ（ＹＵＶデータ）をＤＲＡＭ１３のバッファメモリ領域に記憶させていき、該記憶されたフレーム画像データにから画素数を間引いたライブビュー画像を生成し、画像表示部１５に表示させていくという、いわゆるライブビュー表示を開始する（ステップＳ１）。

次いで、ＣＰＵ１０の顔検出部１０３は、生成されたライブビュー画像に対して、顔領域を検出する顔検出処理を行う。このとき、顔検出部１０３は、撮像されたライブビュー画像の全領域（画角の全範囲）内に人物の顔部分に該当する顔領域があるか否かを検出する（ステップＳ２）。

また、この顔検出処理は、図２で示した−９０度、０度、＋９０度の３種類の角度の特徴データと所定値以上で一致する領域を顔領域として検出する。

図４（Ａ）、（Ｂ）は、表示されたライブビュー画像及び顔検出枠の様子の一例を示す図である。なお、図４（Ｂ）は、図４（Ａ）の１回前に表示されたライブビュー画像である。
図４（Ａ）、（Ｂ）を見るとわかるように、ライブビュー画像として、被写体（人）２１、被写体（人）２２、被写体（人）２３が撮像されて表示されており、ライブビュー画像に重ねて、検出された顔領域に顔検出枠が表示されているのがわかる。つまり、被写体２１、被写体２２、被写体２３のそれぞれの顔が検出され、該顔に顔検出枠が表示されている。

次いで、ＣＰＵ１０はステップＳ２で顔領域が検出されたか否かを判断し（ステップＳ３）、顔領域が検出されたと判断した場合は（ステップＳ３でＹＥＳ）、ステップＳ４に移り、顔領域が検出されなかったと判断した場合は（ステップＳ３でＮＯ）、ステップＳ５に移る。

ステップＳ４に進むと、ＣＰＵ１０の顔検出部１０３は、検出した顔領域の情報をバッファメモリ領域の検出結果記憶領域１３１に記憶、更にこの記憶を更新する処理を行う。この検出した顔領域の情報とは、該検出した顔領域の角度、ライブビュー画像における位置、及び、ライブビュー画像における大きさのことをいう。また、記憶の更新とは検出結果記憶領域１３１の空き容量がなくなるまでライブビュー画像から検出した顔領域の情報を順次記憶させていき、空き容量が無くなると、新たなライブビュー画像から検出した顔領域の情報を検出結果記憶領域１３１に記憶されている複数の顔領域の情報のうち一番古い顔領域の情報に上書きして更新することをいう。これにより、順次撮像されるライブビュー画像のうち、直近に撮像されたライブビュー画像から検出された顔領域の情報から、所定時間前までのライブビュー画像から検出された顔領域の情報が検出結果記憶領域１３１に記憶されることになる。

ここでは、図４（Ａ）において検出された被写体（人）２１、被写体（人）２２、被写体（人）２３の各顔領域の角度は０度であるので、検出した各顔領域の位置、大きさに加えて、角度が０度という情報が検出結果記憶領域１３１に記憶されることになる。
なお、説明の簡略化のため、本実施形態では、図４（Ａ）の１つ前のライブビュー画像である図４（Ｂ）についての顔検出処理が既に終了しており、図４（Ｂ）から検出された顔領域の情報と、直近のライブビュー画像である図４（Ａ）から検出された顔領域の情報が検出結果記憶領域１３１に記憶されたものとする。

次いで、ＣＰＵ１０は、ユーザによってシャッタボタンが全押しされたか否かを判断する。この判断は、シャッタボタンの全押し操作に対応して記録指示信号が送られてきたか否かにより判断する（ステップＳ５）。

ステップＳ５で、シャッタボタンが全押しされていないと判断すると（ステップＳ５でＮＯ）、全押しされるまでステップＳ２に戻る。これにより、ＣＣＤ５により順次撮像された各ライブビュー画像に対して顔検出処理が行なわれ、直近に生成されたライブビュー画像から検出された顔領域の情報から、所定時間前（所定枚数前）までのライブビュー画像から検出された顔領域の情報が検出結果記憶領域１３１に記憶更新されていくことになる。なお、ステップＳ２〜ステップＳ５までの動作は、次のフレーム画像データが撮像されるまでに終了するものとする。

一方、ステップＳ５で、シャッタボタンが全押しされたと判断すると、第２の撮像制御部１０２は、その時点で撮像したフルサイズ画像の画像データをバッファメモリ領域に一時記憶させる（ステップＳ６）。
ここで、図４（Ｂ）は、ステップＳ６での処理により撮像されたフルサイズ画像を示すものである。
次いで、ＣＰＵ１０は、検出結果記憶領域１３１に検出された顔領域の情報が記憶されているか否かを判断する（ステップＳ７）。つまり、シャッタボタンが全押しされる直前から所定時間前までに撮像されたライブビュー画像から顔領域が検出され、検出結果記憶領域１３１に記憶されていたか否かを判断する。

ステップＳ７において、検出結果記憶領域１３１に検出された顔領域の情報が記憶されていると判断すると（ステップＳ７でＹＥＳ）、記憶されている顔領域のうち、最も優先度の高い顔領域を１つ選択する（ステップＳ８）。つまり、検出結果記憶領域１３１に記憶されている顔領域の情報、即ち、シャッタボタン全押し直前から所定時間前（所定枚数前）までの各フレーム画像データに対する顔検出によって得られた顔領域情報のうち、角度と対応付けて記憶されたライブビュー画像における顔領域の位置、及び、ライブビュー画像に対する顔領域の大きさに基づいて、優先度が最も高い顔領域を選択することになる。

この顔領域の情報の優先度とは、検出された顔領域の位置についてはライブビュー画像における画角中央からの近さ、検出された顔領域の大きさについては、ライブビュー画像に対する顔領域の大きさ等を総合的に考慮し、各顔領域について定まる。つまり、ライブビュー画像に対する顔検出処理により検出された各顔領域のうち、画角中央に近い位置から検出された顔領域ほど優先度は高くなり、また、ライブビュー画像に対する顔検出処理により検出された各顔領域のうち、顔領域の大きさが大きい顔領域ほど、優先度は高くなる。

ここで、記憶されている顔領域の情報は、図４（Ａ）、（Ｂ）のライブビュー画像から検出された、被写体（人）２１、被写体（人）２２、図４（Ａ）、被写体（人）２３の顔領域の情報である。この検出された各顔領域の大きさに差は無いが、図４（Ａ）の被写体（人）２２から検出された顔領域が最も画角中央に近いので、この顔領域が最も優先度の高い顔領域として選択される。

次に、ＣＰＵ１０の顔検出制御部１０４は、フルサイズ画像の画像データ内から顔領域を検出する際に、ステップＳ８で選択された顔領域の角度に基づいて顔検出部１０３を制御し、顔検出処理を行う（ステップＳ９）。つまり、ステップＳ８において選択された顔領域は０度のものであるので、０度という角度が選択されたことになり、フルサイズ画像内から顔領域を検出する際には０度の顔の特徴データのみを使用して顔領域を検出するように顔検出部１０３を制御する。つまり、ライブビュー画像では３種類の角度（−９０度、０度、＋９０度）の特徴データを用いて顔検出処理を実行したが、フルサイズ画像に対して実行される顔検出処理は、ライブビュー画像から検出された顔領域のうち、最も優先度の高い顔領域の角度で行われる。

次に、フルサイズ画像から顔領域が検出されたか否かを判断し（ステップＳ１２）、顔領域が検出されたと判断すると（ステップＳ１２でＹＥＳ）ステップＳ１３に進む。

一方、ステップＳ７において、ＣＰＵ１０が検出結果記憶領域１３１に検出された顔領域の情報が記憶されていない、つまり、シャッタボタン全押し直前のライブビュー画像から所定時間前までのライブビュー画像において顔領域が検出されていないと判断すると（ステップＳ７でＮＯ）、シャッタボタン全押し際にストロボ光が発光されたか否かを判断する（ステップＳ１０）。

そして、ストロボ光が発光されていたと判断すると（ステップＳ１０でＹＥＳ）、フルサイズ画像に対して３種類の角度（−９０度、０度、＋９０度）で顔検出処理を行い（ステップＳ１１）、ステップＳ１２に進む。

ステップＳ１１において、フルサイズ画像に対して３種類の角度で顔検出処理を行うのは、ストロボ光が発光されていた場合、暗所での撮像である可能性が高いからである。つまり、ライブビュー画像の撮像時にはストロボ光が発光されないため、ライブビュー画像は暗く、たとえライブビュー画像上に人物の顔領域があったとしても、検出されていない可能性が高い。また、通常、夜景を撮像する際にはシャッタボタンの全押しが無ければストロボ光は発光されないため、ストロボ光を発光した場合は、人物の顔領域を検出できる可能性が高いためである。

なお、ステップＳ１０においてストロボ光が発光されていないと判断された場合は（ステップＳ１０）、人物を含まない撮像である可能性が高いため、顔検出処理を行わない。

次に、ステップＳ１２において、フルサイズ画像から顔領域が検出されたと判断すると（ステップＳ１２でＹＥＳ）、ＣＰＵ１０は画像生成部９によって、フルサイズ画像における当該検出された顔領域に対して所定の画像処理を行う。具体的には、充血軽減処理、美肌処理、血色改善処理、歯美白処理、開眼処理、頬リフトアップ処理、及びフラッシュ赤目除去処理を実行し、新たな画像を生成し、生成した画像データをフラッシュメモリ１４に記憶してステップＳ１に戻る（ステップＳ１３）。
また、ストロボ光が発光されていなかったと判断された場合（ステップＳ１０でＮＯ）、及び顔領域が検出されなかったと判断された場合（ステップＳ１２でＮＯ）は、ＣＰＵ１０は、撮像されたフルサイズ画像の画像データを圧縮してフラッシュメモリ１４に記録して、ステップＳ１に戻る。
なお、撮像モード中にモード切替キーの操作により他のモードが設定された場合は、撮像モードを終了する。

以上のように、実施の形態においては、記録指示から所定時間前に生成されたライブビュー画像から顔領域を検出し、その検出した顔領域の角度、位置、及び大きさ等の情報が記憶されている場合は、この記憶された顔領域に基づき顔検出処理を行うため、フルサイズ画像に対する顔検出処理の処理時間や処理負担を軽減させることができ、良好な顔検出処理を行うことができる。
また、記憶されている情報が複数の顔領域にかかる場合は、最も優先度の高い顔領域の情報でフルサイズ画像から顔検出処理を行うため、検出を要しない顔領域がフルサイズ画像に含まれていても、顔検出処理の処理時間や処理負担を軽減させることができ、良好な顔検出処理を行うことができる。
さらに、ライブビュー画像から顔領域を検出できなかった場合であっても、記録指示に際しストロボ光の発光を伴っていた場合は、この記録指示時のフルサイズ画像の画像データから複数の角度で顔検出を行うようにしたので、夜景撮影等、撮影環境における光量不足によりライブビュー画像から十分に顔検出を行うことができない場合であっても、フルサイズ画像から確実な顔検出処理を行うことができる。
さらにまた、ライブビュー画像から顔領域を検出できなかった場合で、且つ、記録指示に際しストロボ光の発光を伴っていなかった場合は、撮像されている画像には顔領域が含まれていないと判断してフルサイズ画像を記録するので、不必要な顔検出処理の実行を防ぐことができる。

［変形例］
上記実施の形態は以下のような変形例も可能である。

（０１）図５は、図３のフローを変形したものである。上記実施の形態においては、ステップＳ７で顔領域の情報が記憶されていると判断された場合に、記憶されている顔領域のうち、最も優先度が高い顔領域の角度を選択するようにしたが、図５に示したように、ステップＳ７で顔領域の情報が記憶されていると判断すると、記憶されている顔領域の角度から、各顔領域についての角度情報を取得し（ステップＳ２８）、取得した全ての角度でフルサイズ画像に対して顔検出処理を行う（ステップＳ２９）ようにしてもよい。これにより、フルサイズ画像に複数の角度の顔領域が存在する場合であっても、全ての顔領域を検出することが可能となる。

（０２）また、上記実施の形態においては、記録指示検出から所定時間前までの各ライブビュー画像から検出された顔領域の情報を記憶更新し、記憶された顔領域のうち、最も優先度が高い顔領域の角度を選択するようにしたが、記録指示撮像されたライブビュー画像から検出された顔領域のうち、最も優先度の高い顔領域の角度を選択するようにしてもよい。
また、記録指示直前から所定時間前までの各ライブビュー画像から検出された顔領域の情報のうち、最も優先度の高い顔領域の情報を選択するようにしてもよい。

（０３）また、上記実施の形態においては、顔領域の情報の優先度は、ライブビュー画像における画角中央からの近さ、ライブビュー画像に対する顔領域の大きさを総合的に考慮して定まるようにしたが、その他の要素を考慮して定まるようにしてもよい。
例えば、予め特定の人物の顔画像を一乃至複数記憶する手段を備え、ライブビュー画像からこの特定の人物の顔領域が検出されたか否か、検出された特定の人物の顔領域の数等を考慮して定まるようにしてもよい。

（０４）また、記憶されている顔領域の位置、大きさ、角度のうち、１つ以上の条件に基づいてフルサイズ画像から顔領域を検出してもよい。

（０５）また、上記実施の形態においては、フルサイズ画像から顔領域が検出されなかった場合は（図３のステップＳ１２でＮＯ）、画像処理を行わないものとしたが、顔領域の情報が記憶されていて（図３のステップＳ７でＹＥＳ）、且つ、フルサイズ画像から顔領域が検出されなかった場合は（図３のステップＳ１２でＮＯ）、当該記憶されている顔領域の情報をフルサイズ画像における顔領域の情報としてもよい。
つまり、静止画撮像直前のライブビュー画像では、顔領域が検出され、且つ、フルサイズ画像から顔領域が検出されなかった場合においては、静止画撮像直前のライブビュー画像から検出された顔領域の情報を、フルサイズ画像から検出された顔領域の情報として扱うようにしてもよい。

（０６）また、上記実施の形態においては、ライブビュー画像から顔領域を検出する際に、３種類の角度（−９０度、０度、＋９０度）の特徴データを用いて顔検出処理を行うようにしたが、より多くの角度の特徴データを用いて顔検出処理を行うようにしてもよい。
また、角度だけでなく、顔の向き（上下左右の向き）に対応した特徴データを用いてライブビュー画像から顔検出処理を行うようにし、フルサイズ画像に対する顔検出処理では、ライブビュー画像で検出した顔の向きの特徴データを用いて顔検出処理を行うようにしてもよい。

（０７）上記実施の形態は、上記変形例（０１）〜（０６）を任意に組み合わせた態様であってもよい。

（０８）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられものであって、添付の特許請求の範囲を限定する趣旨のもでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。

最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像し、所定の被写体を検出することができる機器であれば適用可能である。

本発明の実施の形態のデジタルカメラ１のブロック図である。 予め記憶されている３種類の角度の特徴データを模式的に示した図である。 実施の形態のデジタルカメラ１の動作を示すフローチャートである。 ライブビュー画像から検出された顔領域を示す図である。 変形例におけるデジタルカメラ１の動作を示すフローチャートである。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス
１０１ 第１の撮像制御部
１０２ 第２の撮像制御部
１０３ 顔検出部
１０４ 顔検出制御部
１３１ 検出結果記憶領域

Claims (10)

1. 撮像手段と、
   前記撮像手段によって撮像された第１の画像から画素を間引いた間引き画像を生成する生成手段と、
   前記生成手段によって生成された間引き画像から人物の顔領域を検出する顔検出手段と、
   前記顔領域の情報を記憶する記憶手段と、
   前記撮像手段によって記録用の第２の画像の撮像を指示する指示手段と、
   前記指示手段による指示に応じて前記撮像手段に前記第２の画像を撮像させる撮像制御手段と、
   前記記憶手段によって記憶された顔領域の情報に基づき、前記第２の画像から顔領域を検出するように前記顔検出手段を制御する顔検出制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記撮像手段は、
   周期的に前記第１の画像を撮像する第１の撮像制御手段と、
   前記第２の画像を記録用に撮像する第２の撮像制御手段と、
   を備え、
   前記生成手段は前記第１の撮像制御手段により周期的に撮像される前記第１の画像から前記間引き画像を順次生成し、
   前記記憶手段は、前記生成手段によって順次生成される間引き画像から前記顔検出手段によって検出された顔領域の情報を更新させながら記憶し、
   前記顔検出制御手段は、前記記憶手段に記憶された情報に基づき、前記第２の画像から顔領域を検出するように前記顔検出手段を制御することを特徴とする請求項１記載の撮像装置。
3. 前記顔検出制御手段は、前記第２の画像の撮像直前に前記記憶手段に記憶された情報に基づき、前記第２の画像から顔領域を検出するように前記顔検出手段を制御することを特徴とする請求項２記載の撮像装置。
4. 前記第２の画像を撮像すると、前記記憶手段に前記情報が記憶されているか否かを判断する第１の判断手段を更に備え、
   前記顔検出制御手段は、前記第１の判断手段により前記情報が記憶されていると判断された場合に、前記第２の画像から顔領域を検出するように前記検出手段を制御することを特徴とする請求項３に記載の撮像装置。
5. 前記第１の判断手段によって、前記記憶手段に前記情報が記憶されていないと判断された場合、前記第２の画像を撮像時に、ストロボ光が発光されたか否かを判断する第２の判断手段と、を更に備え、
   前記顔検出制御手段は、前記第２の判断手段によってストロボ光が発光されたと判断された場合は、前記第２の画像から顔領域を検出するように前記顔検出手段を制御することを特徴とする請求項４記載の撮像装置。
6. 前記顔検出手段によって、前記間引き画像から前記顔領域を複数検出した場合、前記記憶手段は前記顔検出手段によって複数検出された顔領域それぞれの情報を記憶し、
   前記顔検出制御手段は、前記記憶手段に複数記憶されている情報に基づき前記第２の画像から顔領域を検出するように前記顔検出手段を制御することを特徴とする請求項１記載の撮像装置。
7. 前記顔検出手段によって、前記間引き画像から前記顔領域を複数検出した場合は、前記間引き画像における画角中央からの近さ、または、検出された顔領域の大きさの少なくとも一方に基づいて、前記検出された複数の顔領域の中から、情報を選択する選択手段を備え、
   前記顔検出制御手段は、前記選択手段によって選択された情報を前記検出手段の制御に用いることを特徴とする請求項１記載の撮像装置。
8. 前記情報には、前記顔検出手段によって前記間引き画像から検出された顔領域の角度、位置、及び大きさのうち、少なくとも１つを示す情報が含まれることを特徴とする請求項１記載の撮像装置。
9. 第１の画像を撮像するステップと、
   この撮像された第１の画像から画素を間引いた間引き画像を生成するステップと、
   この間引き画像から人物の顔領域を検出するステップと、
   前記生成された間引き画像から前記検出された顔領域の情報を記憶するステップと、
   前記撮像手段によって記録用の第２の画像の撮像を指示するステップと、
   この指示に応じて前記撮像手段に前記第２の画像を撮像させる撮像制御ステップと、
   前記記憶された情報に基づき、前記第２の画像から顔領域を検出するステップと、
   を含むことを特徴とする顔検出方法。
10. 撮像装置が備えるコンピュータを、
    前記撮像手段によって撮像された第１の画像から画素を間引いた間引き画像を生成する生成手段、
    前記生成手段によって生成された間引き画像から人物の顔領域を検出する顔検出手段と、
    前記顔領域の情報を記憶する記憶手段、
    前記撮像手段によって記録用の第２の画像の撮像を指示する指示手段、
    前記指示手段による指示に応じて前記撮像手段に前記第２の画像を撮像させる撮像制御手段、
    前記記憶手段によって記憶された顔領域の情報に基づき、前記第２の画像から顔領域を検出するように前記顔検出手段を制御する顔検出制御手段
    として機能させることを特徴とするプログラム。

Images