JP5113669B2 - 撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置、その制御方法及びプログラムに関する。

従来、デジタルスチルカメラなどの撮像装置では、人物の顔へ焦点や露出を合わせる、又は、ＥＶＦ（電子ビューファインダ）表示を行う際に顔枠を表示するために、撮像画像から顔検出を行うものがある。顔検出に関する従来技術としては特許文献１が知られている。特許文献１には、入力画像と、目、鼻、口等の顔の特徴点を示す顔パターン情報とのパターンマッチング結果に基づいて入力画像中から人物の顔を検出することが記載されている。撮像装置では、顔パターン情報を予めメモリに記憶しておき、そのメモリから読み出した顔パターン情報と逐次撮像した撮像画像とのパターンマッチングを行うことで継続的な顔検出を行っている。
特開平０９−２５１５３４号公報

撮像装置のメモリには、ユーザが撮像装置を正姿勢で構えた状態の撮像画像から顔検出を行うことを前提とした顔パターン情報が記憶されている。ここでいう正姿勢とは、撮像装置の筐体背面に設けられたモニタの長辺が地面と水平であって、かつ、その筐体上部に設けられたレリーズボタンが上を向く姿勢など、通常、ユーザが撮像装置を把持して撮像する際の撮像装置の姿勢である。撮像装置では、正姿勢から多少ずれた場合であっても顔検出が可能となるように、撮像画像あるいは顔パターン情報が示す特徴点の座標を回転させながら、その都度パターンマッチングを行っている。

しかしながら、撮像画像あるいは顔パターン情報を回転させながらのパターンマッチングには処理に時間がかかるため、顔検出が可能な正姿勢からの撮像装置の傾き範囲には制限がある。このため、撮像装置の姿勢が顔検出可能な姿勢範囲から外れた場合、時間をかけてパターンマッチングを行っても顔検出できない。

例えば、図６（ａ）→図６（ｂ）→図６（ｃ）で示したように撮像装置の姿勢が変化した場合を例示して説明する。図６（ａ）は撮像装置が顔検出が可能な正姿勢である場合を例示する概念図である。図６（ｂ）は撮像装置が正姿勢からの顔検出が可能な程度に傾いた姿勢である場合を例示する概念図である。図６（ｃ）は撮像装置が縦姿勢である場合を例示する概念図である。

従来技術では、図６（ａ）、（ｂ）までは正姿勢から継続した顔検出を行うことができた。しかしながら、図６（ｂ）から図６（ｃ）に撮像装置の姿勢が変化した際には、時間をかけてパターンマッチングしても顔検出できない。

本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、撮像装置の処理負荷を軽減しながら、顔領域の検出を安定して行うことのできる撮像装置、その制御方法及びプログラムの提供を目的とする。

上記目的は、被写界像を逐次撮像し、撮像画像を出力する撮像手段と、予め設定された顔パターン情報に基づいて、撮像手段が出力する撮像画像から顔領域を検出する第１の顔領域検出手段と、撮像手段が出力する撮像画像における動体領域を、撮像画像より前に撮像手段が出力した撮像画像を用いて検出し、撮像画像より前に撮像手段が出力した撮像画像において第１の顔領域検出手段で検出された顔領域の情報に基づいて、動体領域の中から顔領域を検出する第２の顔領域検出手段と、自装置の姿勢を検出する姿勢検出手段と、姿勢検出手段により検出された自装置の姿勢が予め設定された範囲内の姿勢であるか否かを判定し、自装置の姿勢が予め設定された範囲内の姿勢である場合には第１及び第２の顔領域検出手段のうち少なくとも第１の顔領域検出手段を用いて顔領域を検出し、自装置の姿勢が予め設定された範囲内の姿勢でない場合には第１の顔領域検出手段を用いずに第２の顔領域検出手段を用いて顔領域を検出するように第１及び第２の顔領域検出手段を制御する制御手段と、を備えることを特徴とする撮像装置によって達成される。

また、上記目的は、被写界像を逐次撮像して撮像画像を出力する撮像手段と、予め設定された顔パターン情報に基づいて、撮像手段が出力する撮像画像から顔領域を検出する第１の顔領域検出手段と、撮像手段が出力する撮像画像における動体領域を、撮像画像より前に撮像手段が出力した撮像画像を用いて検出し、撮像画像より前に撮像手段が出力した撮像画像において第１の顔領域検出手段で検出された顔領域の情報に基づいて、動体領域の中から顔領域を検出する第２の顔領域検出手段と、自装置の姿勢を検出する姿勢検出手段と、制御手段とを有する撮像装置の制御方法であって、制御手段が、姿勢検出手段により検出された自装置の姿勢が予め設定された範囲内の姿勢であるか否かを判定し、自装置の姿勢が予め設定された範囲内の姿勢である場合には第１及び第２の顔領域検出手段のうち少なくとも第１の顔領域検出手段を用いて顔領域を検出し、自装置の姿勢が予め設定された範囲内の姿勢でない場合には第１の顔領域検出手段を用いずに第２の顔領域検出手段を用いて顔領域を検出するように第１及び第２の顔領域検出手段を制御する制御工程を有することを特徴とする撮像装置の制御方法によっても達成される。

本発明によれば、撮像装置の処理負荷を軽減しながら、顔領域の検出を安定して行うことができる。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

本実施形態では、撮像装置としてデジタルスチルカメラを用いた場合を例示して説明する。図１は、本実施形態に係る撮像装置１の機能的構成を模式的に示すブロック図である。先ず、図１を参照して撮像装置１の構成について説明する。

操作手段としての操作部１０１は、撮像装置１のユーザが撮像装置１に対して各種の指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１の中には、ユーザから静止画又は動画の撮像指示を受け付けるシャッタースイッチも含まれている。このシャッタースイッチが半押しの場合には信号ＳＷ１が操作部１０１から制御部１０２に対して通知される。また、シャッタースイッチが全押しされている場合には信号ＳＷ２が操作部１０１から制御部１０２に対して通知される。

制御手段としての制御部１０２は、撮像装置１の各部の動作を中央制御する。具体的には、制御部１０２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される。制御部１０２は、ＣＰＵがＲＡＭの作業領域に展開したプログラムデータを順次実行することで、上記中央制御を実現する。ＣＰＵが実行するプログラムデータは、ＲＯＭに記憶されている。例えば、制御部１０２は、操作部１０１からの指示に応じて各部を制御する。

ＣＣＤ部１０３（Charge Coupled Device）は、レンズ１０８ａ、露出機構１０９ａを介して入射される光（被写界像）を受け、その光量に応じた電荷を出力する。ＣＣＤ部１０３は、制御部１０２の制御の下、逐次駆動することで被写界像を逐次撮像する撮像手段である。なお、本実施形態では、撮像手段は、ＣＣＤである構成を例示したが、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであってもよい。

Ａ／Ｄ変換部１０４は、ＣＣＤ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号を出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。例えば、画像処理部１０５は、Ａ／Ｄ変換部１０４から受けたディジタル画像信号を、ＹＵＶ画像信号に変換して出力する。

第１の顔領域検出手段としての顔検出部１０６は、予め設定された顔パターン情報に基づいて、ＣＣＤ部１０３により逐次撮像された撮像画像から顔領域を検出する。具体的には、顔検出部１０６は、Ａ／Ｄ変換部１０４から受けたディジタル画像信号から、顔領域の検出を行い、検出された顔領域に係る情報を制御部１０２に通知する。顔領域の検出によって得られる情報には、ＣＣＤ部１０３上における顔の位置、顔の範囲、顔の信頼度（顔の形としての確からしさ）などがある。顔領域の検出の方法としては、従来技術で説明したように、予め目、鼻、口等の顔パターン情報を予め記憶しておいて、ＣＣＤ部１０３による撮像画像とのパターンマッチングによって顔領域を検出する方法が用いられる。

表示部１０７は、小型液晶画面などにより構成されており、画像処理部１０５による処理済みの画像データに従った画像を表示する。例えば、表示部１０７は、ＣＣＤ部１０３により逐次撮像された画像を表示するＥＶＦ表示を行う。

ＡＦ処理部１０８（ＡＦ：自動焦点調整）は、ＣＣＤ部１０３における焦点調整を行う。具体的には、ＡＦ処理部１０８は、制御部１０２の制御の下、モータなどの駆動部（図示しない）に制御信号を出力してレンズ１０８ａの光軸に沿った位置を調節することでＣＣＤ部１０３に結像する被写界像の焦点調整を行う。同様に、ＡＥ処理部１０９（ＡＥ：自動露出調整）は、制御部１０２の制御の下、駆動部に制御信号を出力して露出機構１０９ａにおける絞りの開口量を調整することで露出調整を行う。

ＥＦ処理部１１０は、制御部１０２の制御の下、フラッシュ部１１１の発光を制御する。具体的には、制御部１０２は、フラッシュが必要と判断した場合にＥＦ処理部１１０にフラッシュオンを指示する。ＥＦ処理部１１０は、フラッシュオンの指示を受けるとフラッシュ部１１１を制御してフラッシュ発光を行う。

フォーマット変換部１１２は、画像処理部１０５から出力されたディジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３は、フォーマット変換部１１２から受けたフォーマット変換済みの画像データを、撮像装置１内のメモリや、撮像装置１に挿入されている外部メモリ（いずれも図示しない）などに記録する処理を行う。

外部接続部１１４は、撮像装置１をＰＣ（パーソナルコンピュータ）やプリンタといった外部装置に接続するためのインターフェースである。

第２の顔領域検出手段としての動体検出部１１５は、ＣＣＤ部１０３により逐次撮像された撮像画像から動体を検出し、顔検出部１０６で過去に検出された顔領域の情報に基づいて検出された動体の中から顔領域の検出を行う。具体的には、動体検出部１１５は、ＣＣＤ部１０３により逐次撮像された複数フレームの撮像画像を複数領域に分割し、フレーム画像間で比較することで検出された動体領域の動きベクトルを記憶する。動体検出部１１５は、この記憶された動きベクトルから、撮像画像内に動体がいるかを判別し、その位置、範囲、量を算出する。動体検出部１１５は、角速度センサを用いて撮像装置１自体の動作も算出する。そして、分割された複数領域の中から、その前のフレームで顔領域として判定されていた領域とマッチング度が最も高い領域を、新たな顔領域として検出する。例えば、動体検出部１１５は、動体領域を常時検出し、その動きベクトルの記憶を行っており、顔検出部１０６による顔領域の検出ができた直近のフレームで顔領域として判定された領域とマッチング度が最も高い領域を、新たな顔領域として検出する。

姿勢検出手段としての姿勢検出部１１６は、重力センサ（詳細は後述する）を用いて撮像装置１の鉛直方向や水平方向に対する傾斜、すなわち自装置の姿勢を検出して制御部１０２へ出力する。制御部１０２では、姿勢検出部１１６からの出力に基づいて、自装置の姿勢が前述した正姿勢からどの程度傾いているかを判定する。

ここで、撮像装置１を用いて撮像を行う場合において、制御部１０２が制御して行う撮像装置１の動作について説明する。

先ず、撮像装置１のユーザが、操作部１０１に含まれている電源スイッチをオンにすると、制御部１０２はこれを検知して電源部（図示しない）を制御し、撮像装置１を構成する各部に電源供給を開始させる。撮像装置１を構成する各部に電源が供給されるとシャッターが開くので、ＣＣＤ部１０３には、レンズ１０８ａ、露出機構１０９ａを介して光が入光することになる。撮像装置１では、制御部１０２の制御の下、ＣＣＤ部１０３において被写界像を光電変換した電荷の読み出しが行われ、読み出されたアナログ画像信号はＡ／Ｄ変換部１０４に出力される。

Ａ／Ｄ変換部１０４は、制御部１０２の制御の下、ＣＣＤ部１０３から読み出されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。

次に、画像処理部１０５は、制御部１０２の制御の下、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種画像処理を行い、処理済みのディジタル画像信号を出力する。

次に、顔検出部１０６は、Ａ／Ｄ変換部１０４から受けたディジタル画像信号が示す画像から、顔を検出し、検出した顔領域の位置や範囲など、顔領域に係る情報（顔情報）を制御部１０２に通知する。

さらに、ここで処理されたディジタル信号は動体検出部１１５に渡され、動体検出部１１５は動体検出を行う。本実施形態では、動体検出部１１５は、時系列的に並んだ２枚のフレーム画像を比較し、その差分情報から被写体/背景の動体情報（動作量、位置、範囲）を検出する。そして、画像の差分情報から各領域の動きベクトルを求め、それよりも前のいずれかのフレーム画像で顔検出部１０６によって顔領域であると判定された領域を基準として、それまで検出された動きベクトルを合成する。これにより、動体検出部１１５は、最新のフレーム画像での顔領域の位置を判定して顔領域の検出を継続して行う。

顔検出部１０６と動体検出部１１５の両方から、新たなフレーム画像での顔領域が判定できたと仮定する。この場合は、相対的に顔以外の領域を顔領域として判定してしまう誤判定の可能性の少ない顔検出部１０６にて検出された顔領域の検出結果を、動体検出部１１５にて判定された顔領域よりも優先すべきである。

しかしながら、顔が傾いていた場合には、顔検出部１０６において検出できる顔の傾き範囲が制限されているため、顔検出部１０６が顔領域を検出できない場合が生じる。このような場合には、上述したように、それよりも前の過去のフレーム画像から顔領域の情報が得られているならば、その顔領域の位置に対して、新たな画像から得られた動きベクトルを加味することで、新たな顔領域の位置を検出することが可能となる。そして新たな画像から得られた動きベクトルを加味して、新たな顔領域を検出する処理を繰り返すことで、一度顔検出部１０６で顔領域を検出することができれば、その後に顔検出部１０６で顔領域を検出できなくとも顔領域の検出を継続することができる。

このような特性を考慮して、本実施形態では、制御部１０２は、姿勢検出部１１６の出力から撮像装置１の姿勢を判断して、顔検出部１０６による顔領域の検出と、動体検出部１１５による動体検出を用いた顔領域の検出とを切り換えて行う。これにより、撮像装置１では、継続的で安定した顔領域の検出を行うことが可能となる。すなわち、顔検出部１０６により顔検出ができる姿勢範囲を超えるほど撮像装置１が大きく傾いたと判定された場合には、顔検出部１０６による顔検出を行わずに、動体検出部１１５による動体検出を用いた顔領域の検出へと切り替え、スムーズな顔領域の検出を行う。また、撮像装置１の姿勢が顔検出部１０６による顔検出ができる姿勢範囲を越えないまでも大きく傾いた際に、動体検出部１１５による顔領域の検出に切り替える場合は、顔検出部１０６での処理時間が増大することを防止できる。

なお、本実施形態では、撮像装置１の傾きが正姿勢に対して３０度以内であれば、顔検出部１０６による顔領域の検出を選択し、３０度を越えた範囲外であれば動体検出部１１５による動体検出を用いた顔領域の検出を選択する。すなわち、ＣＣＤ部１０３による撮像画像から顔検出部１０６における顔領域の検出を行う撮像装置１の姿勢は、正姿勢に対して３０度以内とする。なお、顔検出部１０６による顔領域の検出を選択する撮像装置１の傾き範囲は、顔検出部１０６の処理速度や、求められる顔検出頻度によって自由に変更できるものである。例えば、顔検出部１０６の処理速度が早いほど、正姿勢に対してより広い範囲まで撮像装置１が傾く際に顔検出部１０６にて顔検出をしたとしてもそれほど処理時間は延びないであろう。また、顔検出頻度が少なくても良いのであれば、正姿勢に対してより広い範囲まで撮像装置１が傾く際に顔検出部１０６にて顔検出をしたとしても許容される。

次に、画像処理部１０５は、制御部１０２の制御の下、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種画像処理を行い、処理済みのディジタル画像信号を表示部１０７などに出力する。表示部１０７は、画像処理部１０５で処理された画像データに従った画像を表示する。

また、制御部１０２は、画像処理部１０５で処理された画像データに基づいて、ＡＦ処理部１０８を制御してＣＣＤ部１０３に結像される被写界像の焦点調整を行うべくレンズ１０８ａを動作させる。具体的には、制御部１０２は、画像処理部１０５で処理された画像データのコントラスト値が最大となるようにレンズ１０８ａを動作させる。なお、制御部１０２は、顔検出部１０６又は動体検出部１１５により顔検出が行われている場合は、検出された顔のコントラスト値が最大となるようにレンズ１０８ａを動作させることで、顔への焦点調整を行う。

また、制御部１０２は、画像処理部１０５で処理された画像データに基づいて、ＡＥ処理部１０９を制御してＣＣＤ部１０３に結像される被写界像の露出調整を行うべく露出機構１０９ａの絞りを動作させる。具体的には、制御部１０２は、画像処理部１０５で処理された画像データの輝度値を算出し、予め設定された適正な輝度値と比較して暗い場合には絞りを開放し、明るい場合にはより絞るように露出機構１０９ａを制御する。なお、制御部１０２は、顔検出部１０６又は動体検出部１１５により顔検出が行われている場合は、検出された顔の輝度値が適正な輝度値となるように、上述した露出機構１０９ａの絞り動作を行う。

そして、制御部１０２は、操作部１０１のシャッタースイッチから信号ＳＷ１の通知（即ち、シャッタースイッチの半押しの通知）を受けていない限りは、上記処理を繰り返す。

一方、シャッタースイッチの操作により、制御部１０２が信号ＳＷ１の通知を受けると、制御部１０２は、この時点における画像を用いたＡＦ、ＡＥ処理を行い、撮影に最適な焦点位置および露出設定条件を取得する。

そして、制御部１０２は、シャッタースイッチの操作により信号ＳＷ２の通知（即ち、シャッタースイッチの全押しの通知）を受けていない限りは、処理を信号ＳＷ１の通知前に戻し、上記処理を繰り返す。

一方、制御部１０２は、操作部１０１のシャッタースイッチの操作により信号ＳＷ２の通知を受けると、フラッシュを発光するか否かの判断を行う。フラッシュを発光するか否かは、操作部１０１を用いて予め設定しておき、その設定データを読み取ることで判断するようにしても良いし、また周囲の暗さを検知し自動的に判断するようにしても良い。

この判断の結果、フラッシュの発光を行う場合には、制御部１０２はＥＦ処理部１１０を制御し、フラッシュ部１１１にプリ発光を行わせ、発光量の算出、ＥＦ枠の重み付けなどの処理を行う。そして、制御部１０２は、プリ発光により計算された本発光量でフラッシュ部１１１を発光させ、ＣＣＤ部１０３による撮影を行う。なお、フラッシュ非発光の場合には、制御部１０２は、上述した調光制御無しに以下に述べる処理に移行する。

本撮影にて、外界からの光がレンズ１０８ａ、露出機構１０９ａを介してＣＣＤ部１０３に入光して被写界像が結像されるので、ＣＣＤ部１０３には、結像された被写界像に応じて光電変換された電荷が溜まる。制御部１０２は、ＣＣＤ部１０３に溜まった電荷の読み出しを行い、Ａ／Ｄ変換部１０４にアナログ画像信号として出力させる。Ａ／Ｄ変換部１０４は、ＣＣＤ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。

次に、画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。フォーマット変換部１１２は、画像処理部１０５から出力されたディジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３は、フォーマット変換された画像データを所定のメモリに記録する処理を行う。

次に、姿勢検出部１１６からの出力に基づいて制御部１０２が行う顔検出切替制御について説明する。図２は、制御部１０２が行う処理内容を示すフローチャートである。

先ず、制御部１０２は、ＣＣＤ部１０３による被写界像の逐次撮像を開始して、ライブ画（撮像画像）を露光し（Ｓ２０１）。露光されたライブ画をＣＣＤ部１０３から読み出す（ステップＳ２０２）。

次いで、制御部１０２は、姿勢検出部１１６の重力センサの出力により、鉛直方向や垂直方向に対する現在のカメラの傾斜状態を取得する（Ｓ２０３）。図３に示すように、姿勢検出部１１６の重力センサ１１６ａは、円い空洞の中に球体１１６ｂが入っている構成となっている。球体１１６ｂは、撮像装置１の姿勢に伴い空洞内における位置が変わる。従って、重力センサ１１６ａでは、球体１１６ｂの空洞内における位置を検出することで、撮像装置１の鉛直方向や水平方向に対する傾斜が検出可能である。例えば、正姿勢の撮像装置１において位置Ｐ１にあった球体１１６ｂは、縦撮りなどにより撮像装置１の右側を地面方向に向けることで位置Ｐ２に移動する。このように、球体１１６ｂが位置Ｐ２へ移動したことを検出することで、制御部１０２は、縦撮り状態と判断し、検出処理、画像処理に反映させる。

なお、本実施形態では、姿勢検出部１１６における撮像装置１の姿勢検出を重力センサ１１６ａによって行っているが、これに限定しない。例えば、撮像装置１の姿勢検出は、ジャイロセンサ等の他の姿勢差検出センサなどで行ってもよい。

また、図４に示すように、顔検出部１０６による人物Ｈ１の顔検出には正姿勢に対する撮像装置１の傾き角度に制限があり、その傾き角度は本実施形態において３０度となっている。顔検出部１０６による顔検出は、撮像装置１の姿勢が予め設定された範囲内である場合に行われ、その範囲は本実施形態において正姿勢から３０度以内である。従って、撮像装置１の正姿勢に対する傾き角度が３０度以内である場合は、顔検出部１０６による顔領域の検出が行われる。しかしながら、６０度、９０度のように撮像装置１を傾けていくと、顔検出部１０６による検出可能範囲を越えてしまう、又は、処理に時間が掛かってしまうため、顔検出部１０６では顔領域の検出ができなくなる。

本件では、制御部１０２は、撮像装置１の姿勢が顔検出部１０６による顔領域の検出を行う範囲外の姿勢を姿勢検出部１１６の出力から検出し（Ｓ２０４：ＮＯ）、動体検出部１１５の動体検出を用いた顔領域の検出へ移行する（Ｓ２０６）。具体的には、制御部１０２は、撮像装置１の姿勢変化の過程で顔検出部１０６による顔検出が消失した画像領域を基準領域として取得する。次いで、制御部１０２は、動体検出部１１５によりその基準領域と周辺の比較を行い、最も相関が取れている場所を被写体移動地点と判断し、基準領域の再設定することで継続した顔領域の検出を行う。これにより、撮像装置１では、正姿勢に対する撮像装置１の姿勢が３０度以内から６０度、９０度まで変化し、顔検出部１０６による顔領域の検出が未検出や処理に時間が掛かる場合に、動体検出部１１５の動体検出を用いた顔検出へ切り替える。従って、撮像装置１では、顔領域の検出に関する処理負荷を軽減しながら、顔領域の検出を安定して行うことが可能となる。

また、制御部１０２は、撮像装置１の姿勢が顔検出部１０６による顔領域の検出が可能な範囲内の姿勢に再び戻った場合（Ｓ２０４：ＹＥＳ）には、動体検出部１１５の動体検出による顔領域の検出から顔検出部１０６による顔検出へ切り替える（Ｓ２０５）。

制御部１０２は、シャッタースイッチがユーザにより半押しされて信号ＳＷ１が制御部１０２に出力されるまで、撮像装置１の姿勢により顔検出部１０６又は動体検出部１１５による顔領域の検出を切り替えて行う（Ｓ２０４、２０５、２０６、Ｓ２０７）。

ただし、撮像装置１の姿勢が顔検出部１０６の検出可能範囲外に傾いた場合であっても、それよりも前のフレーム画像から動体検出部１１５によって顔領域が検出できていないのであれば、動体検出部１１５による検出に切り換えないようしてもよい。なぜなら、検出対象となる顔領域を検出することができていないため、動体検出部１１５による顔領域の検出に切り換えたとしても、検出対象となる顔領域が特定できていないためである。

そして、制御部１０２は、信号ＳＷ１が入力された場合、ＡＥ制御にて検出された顔に適正な露出を設定し（Ｓ２０８）、ＡＦ制御にて検出された顔にピントを合わせる（Ｓ２０９）。次いで、制御部１０２は、信号ＳＷ２が入力された場合、Ｓ２０８のＡＥ制御、Ｓ２０９のＡＦ制御により設定した撮像情報にてＣＣＤ部１０３の本露光を行う（Ｓ２１１）。なお、Ｓ２１１における本露光は、ＡＥ制御にて検出された顔に適正に設定された露出のみを用いて行ってもよい。同様に、Ｓ２１１における本露光では、ＡＦ制御にて検出された顔にピント合わせが行われるのみであってもよい。従って、この本露光では、撮像装置１の姿勢が変化する場合であっても、上記安定した顔検出によるＡＥ制御及びＡＦ制御の少なくとも一方が行われるため、適正露光でピント調整された顔画像の撮像を行うことが可能となる。

なお、撮像装置１の姿勢が顔検出部１０６の検出可能範囲内である場合の処理を、顔検出部１０６による顔領域の検出と、動体検出部１１５の動体検出を用いた顔領域の検出を、併用するように変更しても構わない。
予め記憶した顔パターン情報とパターンマッチングを行う顔検出部１０６による顔領域の検出は、２枚のフレーム画像から動きベクトルを求める動体検出部１１５の顔領域の検出に比較して、検出精度は高いが処理時間は長くなる。そのため、顔検出部１０６による顔領域の検出と、動体検出部１１５による顔領域の検出を完全に切り替えてしまうと、撮像装置１の姿勢によって顔領域の検出に要する時間に差が生じてしまうことになる。
そこで、顔検出部１０６による顔領域の検出結果が更新されるまでの間は、動体検出部１１５による顔領域の検出結果を用いて顔領域を特定することで、撮像装置１の姿勢が予め設定された範囲内であっても、顔領域の検出速度を維持することが可能となる。

［変形例］
次に、撮像装置１の姿勢ごとに顔領域の検出を行うための複数の顔パターン情報が顔検出部１０６に予め設定されている場合について説明する。なお、既に説明した構成や動作と同じ部分（構成やＳ２０１〜Ｓ２０３の動作）についてはその説明を省略し、以下の説明は、異なる処理部分についてのみとする。

変形例では、顔検出部１０６には、撮像装置１が正姿勢（第１の姿勢）の時の撮像画像から顔検出を行うための第１の顔パターン情報に加えて、他の姿勢の時の撮像画像から顔検出を行うための顔パターン情報が予め設定されている。具体的には、顔検出部１０６には、撮像装置１が正姿勢に対して９０度右側に回転した縦姿勢（第２の姿勢）による撮像画像から顔検出を行うための第２の顔パターン情報が予め設定されている。また、顔検出部１０６には、９０度左側に回転した縦姿勢（第３の姿勢）による撮像画像から顔検出を行うための第３の顔パターン情報が予め設定されていてもよい。

また、上述した第１〜第３の姿勢のそれぞれにおいて、顔検出部１０６で顔検出を行う撮像装置１の姿勢の範囲は各姿勢から３０度以内に設定されている。すなわち、変形例では、顔検出部１０６は、第１〜第３の姿勢の時の撮像画像において、３０度傾いた顔までを検出するものとする。そして、撮像装置１の姿勢が、第１〜第３の顔パターン情報のいずれを用いても顔検出部１０６で顔検出できず、顔検出部１０６で顔検出を行う範囲外である場合に（Ｓ２０４：ＮＯ）、制御部１０２は動体検出部１１５を用いて顔検出を行う（Ｓ２０６）。

また、制御部１０２は、姿勢検出部１１６の出力により、撮像装置１の姿勢を検出する。次いで、制御部１０２は、撮像装置１の姿勢が前述した顔検出部１０６で顔検出を行ういずれかの範囲内の姿勢であり、その範囲に対応した第１〜第３の顔パターン情報のいずれかを用いて顔検出部１０６における顔検出ができるか否かを判定する（Ｓ２０４）。そして、制御部１０２は、顔検出部１０６における顔検出ができると判定した場合（Ｓ２０４：ＹＥＳ）、そのいずれかの顔パターン情報を、顔検出部１０６が用いる顔パターン情報に決定して、顔領域の検出を行う（Ｓ２０５）。例えば、制御部１０２は、姿勢検出部１１６により撮像装置１の姿勢が縦姿勢（第２の姿勢）であると判断した場合、その姿勢に対応した第２の顔パターン情報を用いて顔検出部１０６における顔検出を行う。姿勢検出部１１６により撮像装置１の姿勢が正姿勢や第３の姿勢であると判断した場合も同様に、制御部１０２は、正姿勢や第３の姿勢に対応した第１の顔パターン情報や第２の顔パターン情報を用いた顔検出部１０６における顔検出に切り替える。

具体的には、図５に示すように、顔検出部１０６による人物Ｈ２の顔領域の検出には検出可能な正姿勢に対する撮像装置１の傾き角度に制限があり、その傾き角度は変形例において３０度となっている。従って、撮像装置１の正姿勢に対する傾き角度が３０度以内である場合は、顔検出部１０６による顔領域の検出が可能である。しかしながら、６０度まで撮像装置１を傾けていくと顔検出部１０６による検出可能範囲を越えてしまう。そこで、制御部１０２は、動体検出部１１５による動体検出に切り替えて顔領域の検出を継続して行う。また、９０度まで撮像装置１を傾けていくと、第２の顔パターン情報による顔検出部１０６における顔領域の検出が可能となるため、制御部１０２は、顔検出部１０６による顔領域の検出に戻す。

制御部１０２は、シャッタースイッチがユーザにより半押しされて信号ＳＷ１が制御部１０２に出力されるまで、撮像装置１の姿勢により顔検出部１０６又は動体検出部１１５による顔領域の検出を切り替えて行う（Ｓ２０４、２０５、２０６、Ｓ２０７）。

そして、制御部１０２は、信号ＳＷ１が入力された場合、ＡＥ制御にて検出された顔に適正な露出を設定し（Ｓ２０８）、ＡＦ制御にて検出された顔にピントを合わせる（Ｓ２０９）。次いで、制御部１０２は、信号ＳＷ２が入力された場合、Ｓ２０８のＡＥ制御、Ｓ２０９のＡＦ制御により設定した撮像情報にてＣＣＤ部１０３の本露光を行う（Ｓ２１１）。

以上のように、撮像装置１では、自装置の姿勢に応じて顔検出部１０６又は動体検出部１１５を用いた顔領域の検出を切り替えることで、顔領域の検出に関する処理負荷を軽減しながら、顔領域の検出を安定して行うことができる。

なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本実施形態に係る撮像装置の機能的構成を模式的に示すブロック図である。 制御部が行う処理内容を示すフローチャートである。 姿勢検出部における姿勢検出の構成を例示した概略図である。 撮像装置の継続的な顔検出の概要を例示する概念図である。 変形例における撮像装置の継続的な顔検出の概要を例示する概念図である。 （ａ）は、撮像装置が顔検出が可能な正姿勢である場合を例示する概念図であり、（ｂ）は、撮像装置が正姿勢からの顔検出が可能な程度に傾いた姿勢である場合を例示する概念図であり、（ｃ）は、撮像装置が縦姿勢である場合を例示する概念図である。

符号の説明

１ 撮像装置
１０１ 操作部
１０２ 制御部
１０３ ＣＣＤ部
１０４ Ａ／Ｄ変換部
１０５ 画像処理部
１０６ 顔検出部
１０７ 表示部
１０８ ＡＦ処理部
１０８ａ レンズ
１０９ ＡＥ処理部
１０９ａ 露出機構
１１０ ＥＦ処理部
１１１ フラッシュ部
１１２ フォーマット変換部
１１３ 画像記録部
１１４ 外部接続部
１１５ 動体検出部
１１６ 姿勢検出部

Claims (6)

1. 被写界像を逐次撮像し、撮像画像を出力する撮像手段と、
   予め設定された顔パターン情報に基づいて、前記撮像手段が出力する撮像画像から顔領域を検出する第１の顔領域検出手段と、
   前記撮像手段が出力する撮像画像における動体領域を、該撮像画像より前に前記撮像手段が出力した撮像画像を用いて検出し、該撮像画像より前に前記撮像手段が出力した撮像画像において前記第１の顔領域検出手段で検出された顔領域の情報に基づいて、前記動体領域の中から顔領域を検出する第２の顔領域検出手段と、
   自装置の姿勢を検出する姿勢検出手段と、
   前記姿勢検出手段により検出された自装置の姿勢が予め設定された範囲内の姿勢であるか否かを判定し、前記自装置の姿勢が前記予め設定された範囲内の姿勢である場合には前記第１及び第２の顔領域検出手段のうち少なくとも前記第１の顔領域検出手段を用いて顔領域を検出し、前記自装置の姿勢が前記予め設定された範囲内の姿勢でない場合には前記第１の顔領域検出手段を用いずに前記第２の顔領域検出手段を用いて顔領域を検出するように前記第１及び第２の顔領域検出手段を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記第２の顔領域検出手段は、前記撮像画像の各々について、直近に撮像された撮像画像を用いて前記動体領域を検出して当該動体領域の動きベクトルを記憶し、直近に前記第１の顔領域検出手段で検出された顔領域の情報と、直近に前記第１の顔領域検出手段が顔領域を検出した撮像画像の後に撮像された撮像画像について記憶された前記動きベクトルとから、最新の撮像画像における顔領域を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記顔パターン情報が複数設定され、前記顔パターン情報の各々には、その顔パターン情報を用いて前記第１の顔領域検出手段で顔検出を行う前記自装置の姿勢の範囲が対応づけられており、
   前記制御手段は、対応付けられた姿勢の範囲に前記姿勢検出手段が検出した自装置の姿勢が含まれる前記顔パターン情報を、前記第１の顔領域検出手段が用いる顔パターン情報に決定することを特徴とする請求項１又は２に記載の撮像装置。
4. ユーザから撮像指示を受け付ける操作手段を更に備え、
   前記制御手段は、前記操作手段が撮像指示を受け付けた場合、前記第１の顔領域検出手段又は前記第２の顔領域検出手段により検出された顔領域が適切に撮像されるように、前記撮像手段の露出調整及び焦点調整の少なくとも一方を制御することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 被写界像を逐次撮像して撮像画像を出力する撮像手段と、
   予め設定された顔パターン情報に基づいて、前記撮像手段が出力する撮像画像から顔領域を検出する第１の顔領域検出手段と、
   前記撮像手段が出力する撮像画像における動体領域を、該撮像画像より前に前記撮像手段が出力した撮像画像を用いて検出し、該撮像画像より前に前記撮像手段が出力した撮像画像において前記第１の顔領域検出手段で検出された顔領域の情報に基づいて、前記動体領域の中から顔領域を検出する第２の顔領域検出手段と、
   自装置の姿勢を検出する姿勢検出手段と、制御手段とを有する撮像装置の制御方法であって、
   前記制御手段が、前記姿勢検出手段により検出された自装置の姿勢が予め設定された範囲内の姿勢であるか否かを判定し、前記自装置の姿勢が前記予め設定された範囲内の姿勢である場合には前記第１及び第２の顔領域検出手段のうち少なくとも前記第１の顔領域検出手段を用いて顔領域を検出し、前記自装置の姿勢が前記予め設定された範囲内の姿勢でない場合には前記第１の顔領域検出手段を用いずに前記第２の顔領域検出手段を用いて顔領域を検出するように前記第１及び第２の顔領域検出手段を制御する制御工程を有することを特徴とする撮像装置の制御方法。
6. 前記撮像装置が有するコンピュータに、請求項５に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。

Images