JP5219697B2 - 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理装置の制御方法及びプログラムに関する。

近年、デジタルスチルカメラなどの撮像装置では、撮像画像から被写体の一部である顔部分を顔領域として検出する顔検出機能を備えたものが普及している。また、撮像装置では、撮像した動画像において、フレーム画像間の相関から取得した動きベクトルを用いて被写体の動きを検出することで、顔検出機能により検出された顔領域を被写体の動きにあわせて追尾している。撮像装置では、動画像において顔検出機能による顔領域の検出ができない期間に、上述した動きベクトルを用いた顔領域の追尾を補間することで、被写体の動きに合わせた顔領域の追従性を向上させている。このため、本撮像時には、被写体の動きに合わせて追尾された顔領域に適した条件（フォーカスや露出など）で撮像することが可能となっている。

上述したフレーム画像間の相関から取得した動きベクトルを用いて被写体の動きを追尾するための技術としては、特許文献１が知られている。特許文献１では、過去の動きベクトルの履歴を用いて動きベクトルを予測する方法が開示されている。
特開２００７−２６７２４１号公報

しかしながら、従来技術では、顔検出機能により別被写体の顔部分を新たな顔領域として検出した場合、それ以前に検出されていた被写体の動きと別被写体の動きとが混合し、新たな顔領域を別被写体の動きに合わせて追従させることができなかった。

本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、動画像において被写体の動きに合わせて顔領域を追従させている際に別被写体の顔領域を検出した場合であっても、別被写体の動きにあわせて顔領域を追従可能とする技術を提供することである。

上記目的は、被写体を撮像した動画像を取得する取得手段と、前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、を有する画像処理装置であって、前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定手段と、前記判定手段により前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新手段と、を備え、前記判定手段は、前記直近に検出された顔領域の位置と、前記最後に検出された顔領域の位置との差分から前記顔領域が予め設定された量以上移動したと判定される場合に、前記異なる被写体であると判定することを特徴とする本発明による画像処理装置によって達成される。

また、上記目的は、被写体を撮像した動画像を取得する取得手段と、前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、を有する画像処理装置の制御方法であって、前記画像処理装置の判定手段が、前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定工程と、前記画像処理装置の更新手段が、前記判定工程において前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新工程と、を含み、前記判定手段は前記判定工程において、前記直近に検出された顔領域の位置と、前記最後に検出された顔領域の位置との差分から前記顔領域が予め設定された量以上移動したと判定される場合に、前記異なる被写体であると判定することを特徴とする本発明による画像処理装置の制御方法によっても達成される。

本発明によれば、動画像において被写体の動きに合わせて顔領域を追従させている際に別被写体の顔領域を検出した場合であっても、別被写体の動きにあわせて顔領域を追従可能とすることができる。

以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。

図１は、本実施形態に係る撮像装置１００の構成を示すブロック図である。図１に示すように、撮像装置１００は、被写体を撮像した静止画や動画像データを取得する取得手段として、撮像レンズ１０、シャッター１２、撮像素子１４、Ａ／Ｄ変換器１６を有する。撮像レンズ１０は、被写体を撮像素子１４の撮像面に結像させるための光学レンズである。シャッター１２は、絞り羽根などにより絞り調整が可能なシャッターである。撮像素子１４は、ＣＣＤやＣＭＯＳイメージセンサなどであり、撮像面において結像された被写体像を電気信号に変換する。Ａ／Ｄ変換器１６は、撮像素子１４から出力されたアナログ信号をデジタル信号に変換する。

タイミング発生部１８は、メモリ制御部２２及び中央制御部５０の制御の下、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。画像処理部２０は、Ａ／Ｄ変換器１６から出力された画像データ或いはメモリ制御部２２から出力された画像データに対して所定の画素補間処理や色変換処理などの画像処理を行う。また、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果を中央制御部５０に出力する。具体的には、画像処理部２０は、画像のコントラスト値や輝度値などの演算結果を中央制御部５０に出力する。中央制御部５０では、画像処理部２０から出力された演算結果に基づいて露光制御部４０、測距制御部４２に対する制御を行う。例えば、中央制御部５０は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに、画像処理部２０では、撮像した画像データの色情報を用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

メモリ制御部２２は、中央制御部５０の制御の下、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長部３２を制御する。具体的には、メモリ制御部２２は、Ａ／Ｄ変換器１６から出力された画像データを画像処理部２０を介して画像表示メモリ２４又はメモリ３０へ書き込む書込制御を行う。

画像表示メモリ２４は、画像表示部２８で表示する画像データを一時記憶するメモリである。Ｄ／Ａ変換器２６は、デジタル信号をアナログ信号に変換する。画像表示部２８は、例えばＴＦＴを用いたＬＣＤ等の表示装置である。撮像装置１００では、中央制御部５０の制御の下、画像表示メモリ２４に一時記憶された画像データがＤ／Ａ変換器２６を介してアナログ信号の画像データに変換されて画像表示部２８により表示される。なお、撮像装置１００では、中央制御部５０の制御の下、撮像素子１４で撮像した画像データを画像表示部２８で逐次表示することで、電子ファインダ機能を実現することが可能となる。また、画像表示部２８は、中央制御部５０の制御の下、表示をＯＮ／ＯＦＦすることが可能となっている。従って、表示をＯＦＦにした場合には、撮像装置１００の電力消費量を大幅に低減することが可能となる。

メモリ３０は、撮像した静止画像データや動画像データを格納するＲＡＭ（Random Access Memory）などであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、撮像装置１００では、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合でも、高速かつ大量の画像データの書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、中央制御部５０の作業領域としても使用される。具体的には、記憶手段としてのメモリ３０は、後述する中央制御部５０の処理において検出された動きベクトルや、その動きベクトルを蓄積した履歴情報などを作業領域に記憶する。

圧縮・伸長部３２は、中央制御部５０の制御の下、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等により画像データの圧縮（データの符号化）又は画像データの伸長（データの復号化）を行う。例えば、圧縮・伸長部３２は、メモリ３０格納された画像データを読み込んで圧縮処理又は伸長処理を行い、処理後のデータをメモリ３０に書き込む。

復号部３４は、撮像してメモリ３０の所定領域に記憶した画像データに対して必要に応じて暗号化処理を行うと共に、暗号化処理を行ってメモリ３０の所定領域に記憶した画像データを再生表示する際に復号化処理を行う。

露光制御部４０は、中央制御部５０の制御の下、シャッター１２を制御する。例えば、露光制御部４０は、フラッシュ４８と連携してシャッター１２を制御することで、フラッシュ調光を行う。測距制御部４２は、中央制御部５０の制御の下、撮像レンズ１０のフォーカシングを制御する。具体的には、測距制御部４２は、撮像レンズ１０におけるフォーカスレンズのレンズ位置に関する駆動制御を行う。例えば、ＴＴＬ方式を用いる場合は、撮像した画像データを画像処理部２０で演算した演算結果に基づいて中央制御部５０が露光制御部４０、測距制御部４２を制御する。ズーム制御部４４は、中央制御部５０の制御の下、撮像レンズ１０のズーミングを制御する。具体的には、ズーム制御部４４は、撮像レンズ１０におけるズームレンズのレンズ位置に関する駆動制御を行う。バリア制御部４６は、中央制御部５０の制御の下、覆い部材（バリア）により撮像レンズ１０を保護する保護手段１０２におけるバリアの開閉を制御する。

フラッシュ４８は、中央制御部５０の制御の下で発光することで被写体に補助光を照射する。フラッシュ４８は、ＡＦ時において被写体に補助光を照射する投光機能や被写体へ照射する光量の調整を行うフラッシュ調光機能などを有してもよい。

中央制御部５０は、メモリ５２に記憶されたプログラムデータを読み出してメモリ３０の作業領域に展開し、その展開したプログラムデータとの協働により撮像装置１００全体の動作を制御する。具体的には、メモリ５２は、中央制御部５０が実行するプログラムデータ、中央制御部５０の動作用の定数や変数などを予め記憶する。

表示部５４は、中央制御部５０の制御に基づいて文字、画像などを表示するＬＣＤやＬＥＤなどであり、撮像装置１００の動作状態やメッセージなどを表示する。また、表示部５４は、中央制御部５０の制御に基づいて音声出力を行うスピーカを含む構成であってもよく、撮像装置１００の動作状態やメッセージなどを音声出力してもよい。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数箇所設置されている。また、表示部５４は、その一部が光学ファインダ１０４内に設置されている。

表示部５４の表示内容でＬＣＤ等に表示するものとしては、シングルショット/連写撮像表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。更には、フラッシュ表示、赤目緩和表示、マクロ撮像表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示などを表示してもよい。また、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信I/F動作表示、日付け・時刻表示、外部コンピュータとの接続状態を示す表示なども表示してよい。

同様に光学ファインダ１０４内に表示するものとしては、合焦表示、撮像準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッタースピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等がある。また、ＬＥＤ等に表示するものとしては、合焦表示、撮像準備完了表示、手振れ警告表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示等がある。更には、記録媒体書き込み動作表示、マクロ撮像設定通知表示、二次電池充電状態表示等を表示してもよい。また、ランプ等に表示するものとしては、セルフタイマー通知ランプ、等がある。このセルフタイマー通知ランプはAF補助光と共用して用いてもよい。

不揮発性メモリ５６は、電気的に消去・記録が可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）、フラッシュメモリ等であってよい。

メインスイッチ６０は、撮像装置１００の電源オン、電源オフの各モードを切り替え指示をユーザから受け付ける。また、撮像装置１００に接続された各種付属装置の電源オン、電源オフの各モードも合わせた切り替え指示をユーザから受け付けてもよい。

第１シャッタースイッチ６２は、シャッターボタン（図示しない）の操作途中で中央制御部５０に入力される第１シャッタースイッチ信号ＳＷ１がＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始指示をユーザから受け付ける。第２シャッタースイッチ６４は、シャッターボタンの操作完了で中央制御部５０に入力される第２シャッタースイッチ信号ＳＷ２がＯＮとなり、撮像処理の動作開始の指示をユーザから受け付ける。なお、撮像処理は、中央制御部５０の制御の下で行われる露出、現像、記録の一連の処理である。露出処理は、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む処理である。現像処理は、メモリ３０に書き込まれた画像データを読み出して画像処理部２０やメモリ制御部２２での演算を行って、演算後の画像データをメモリ３０に書き込む処理である。記録処理は、メモリ３０から演算後の画像データを読み出し、圧縮・伸長部３２で圧縮を行い、記録媒体２００に画像データを書き込む処理である。

操作部７０は各種ボタンやタッチパネル等であり、ユーザからの操作指示を受け付ける。具体的には、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン等がある。また、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮像画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、画像表示ON/OFFボタン、圧縮モードスイッチがあってもよい。また、撮像直後に撮像した画像データを画像表示部２８を用いて自動再生表示するクイックレビュー機能を設定するクイックレビュースイッチや、撮像、再生、通信を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えスイッチがあってもよい。また、撮像及び或いは再生及び或いは通信を実行する際に各種機能の決定及び実行を設定する決定/実行スイッチ等があってよい。また、表示部５４として背面液晶パネルと覗き込み型の内部表示器などがある場合、それぞれの表示先における表示設定の切り替え指示をユーザから受け付けるためのDISPボタン等があってもよい。

なお、圧縮モードスイッチは、JPEG（Joint Photographic Expert Group）圧縮の圧縮率の選択、或いは撮像素子の信号をそのままディジタル化して記録媒体に記録するCCDRAWモードの選択をユーザから受け付ける。JPEG圧縮モードは、例えばノーマルモードとファインモードが用意されている。撮像装置１００のユーザは、撮像した画像のデータサイズを重視する場合はノーマルモードを、撮像した画像の画質を重視する場合はファインモードを、それぞれ選択して撮像を行うことが出来る。

JPEG圧縮モードでは、撮像素子１４から画像データを読み出してＡ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、メモリ３０に書き込む。次いで、メモリ３０に書き込まれた画像データを読み出し、圧縮・伸長部３２により設定した圧縮率で圧縮し、必要に応じて復号部３４により所定の暗号化処理を行った後、記録媒体２００に記録を行う。CCDRAWモードでは、撮像素子１４の色フィルタの画素配列に応じて、ライン毎にそのまま画像データを読み出して、Ａ／Ｄ変換器１６、メモリ制御部２２を介して、メモリ３０に書き込む。次いで、メモリ３０に書き込まれた画像データを読み出し、必要に応じて復号部３４により所定の暗号化処理を行った後、記録媒体２００に記録を行う。

モードダイアル７２は、自動撮像モード、撮像モード、パノラマ撮像モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードの切り替え指示をユーザから受け付ける。

姿勢検知センサ７５は、ジャイロセンサや重力センサなどであり、撮像装置１００の姿勢が縦位置、横位置であるか検知する。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等（図示しない）により構成される。電源制御部８０は、中央制御部５０の制御の下、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果に基づいてＤＣ−ＤＣコンバータを制御して必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

コネクタ８２、８４は、電源制御部８０と電源部８６を接続する。電源部８６は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−ｉｏｎ電池等の二次電池、ＡＣアダプター等であり、撮像装置１００へ電力を供給する。

Ｉ／Ｆ部９０は、中央制御部５０の制御の下、メモリカードやハードディスク等の記録媒体と通信接続する。コネクタ９２は、メモリカードやハードディスク等の記録媒体とＩ／Ｆ部９０とを物理的に接続する。

保護手段１０２は、撮像レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。光学ファインダ１０４は、撮像レンズ１０と撮像素子１４の間において撮像素子１４での露出時に跳ね上げられる鏡やペンタプリズムを用いて撮像レンズ１０から入射される光をスクリーンに投射し、被写体像を光学的に表示する。撮像装置１００では、光学ファインダ１０４を用いることで、画像表示部２８による電子ファインダ機能を使用すること無しに撮像を行うことが可能である。また、光学ファインダ１０４内においては、前述した表示部５４の一部が設けられる構成であってもよい。

通信部１１０は、中央制御部５０の制御の下、アンテナ１１２により携帯電話通信網などを介した通信を行う。具体的には、通信部１１０は、TDMA方式やCDMA方式、W-CDMA方式、PHS方式等の通信機能を有する。なお、TDMAとは、Time Division Multiple Accessの略語である。また、CDMAとは、Code Division Multiple Accessの略語である。また、W-CDMAとは、Wideband Code Division Multiple Accessの略語である。また、PHSとは、Personal Handyphone Systemの略語である。アンテナ１１２（或いはコネクタ）は、携帯電話通信網などの基地局と無線通信（有線通信の場合はコネクタ）を行う。

通信部１１４は、中央制御部５０の制御の下、アンテナ１１６によりBluetooth（登録商標）などの無線通信を行う。また、通信部１１４は、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN等の有線通信、IrDAなどの赤外線通信、光通信等の各種通信方式での通信機能を有する構成としても良い。なお、ＵＳＢはUniversal Serial Bus、ＩＥＥＥはInstitute of Electrical and Electronics Engineersの略語である。また、ＳＣＳＩはSmall Computer System Interface、ＬＡＮはLocal Area Networkの略語である。また、IrDAはInfrared Data Associationの略語である。アンテナ１１６（或いはコネクタ）は、上述した各種通信方式で他の機器と無線通信（有線通信の場合はコネクタ）を行う。

記録媒体２００は、メモリカードやハードディスク等である。記録媒体２００は、記録部２０２、Ｉ／Ｆ部２０４、コネクタ２０６を有する。記録部２０２は半導体メモリや磁気ディスク等である。Ｉ／Ｆ部２０４は、撮像装置１００と通信接続して記録部２０２へのデータ書き込みや記録部２０２からのデータ読み出しを行う。コネクタ２０６は、コネクタ９２と物理的に接続する。なお、記録媒体２００は、本実施形態では撮像装置１００に内蔵される構成として説明するが、外付け型であってもよい。

上述したように、撮像装置１００は、中央制御部５０の制御の下、撮像素子１４で被写体を撮像した動画像データに所定の画像処理を施して記録媒体２００への記録や画像表示部２８への表示を行う画像処理装置でもある。

次に、中央制御部５０の制御の下で行われる撮像装置１００の動作について説明する。図２は、撮像装置１００の全体的な動作を示すフローチャートである。

モードダイアル７２が操作され電源がオンに切り替わり処理が開始されると、Ｓ２０１において中央制御部５０はフラグや制御変数等を初期化する。続いて、Ｓ２０２において、中央制御部５０は、記録媒体２００に記録されているファイルに関する管理処理を開始する。

次に、Ｓ２０３、Ｓ２０５、Ｓ２０７において、中央制御部５０は、メインスイッチ６０の設定位置を判断する。メインスイッチ６０が静止画記録モードに設定されていた場合、中央制御部５０は、Ｓ２０３からＳ２０４へ進み、静止画記録モード処理を実行する。Ｓ２０４の静止画記録モード処理の詳細は図３を参照して後述する。また、メインスイッチ６０が動画記録モードに設定されていた場合、中央制御部５０は、Ｓ２０３、Ｓ２０５を経てＳ２０６へ進み、動画記録モード処理を実行する。また、メインスイッチ６０が再生モードに設定されていた場合、中央制御部５０は、Ｓ２０３、Ｓ２０５、Ｓ２０７を経てＳ２０８へ進み、再生モード処理を実行する。

また、メインスイッチ６０がその他のモードに設定されていた場合、中央制御部５０は、Ｓ２０９へ進み、選択されたモードに応じた処理を実行する。その他のモードとしては、記録媒体２００に格納されたファイルの送信を行う送信モード処理、外部機器からファイルを受信して記録媒体２００に格納する受信モード処理がなどが含まれる。

次いで、Ｓ２０４、Ｓ２０６、Ｓ２０８、Ｓ２０９のうちのメインスイッチ６０によって設定されたモードに対応した処理を実行した後、中央制御部５０は、Ｓ２１０の処理を行う。Ｓ２１０において、中央制御部５０はモードダイアル７２の設定位置を判定する。モードダイアル７２が電源オンに設定されていた場合、中央制御部５０は、Ｓ２０３に処理を戻す。一方、モードダイアル７２が電源オフに設定されていた場合、中央制御部５０は、Ｓ２１０からＳ２１１へ進み、終了処理を行う。終了処理において、中央制御部５０は、例えば以下の処理を行う。すなわち、画像表示部２８の表示を終了状態に変更し、保護手段１０２を閉じて撮像部を保護し、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源供給が不要な部分への電源を遮断する。Ｓ３１１の終了処理が完了すると、中央制御部５０は、本処理を終了し、電源をＯＦＦ状態へ移行する。

図３は図２のＳ２０４における静止画記録モード処理を示すフローチャートである。尚、図３に示される静止画記録モード処理は、メインスイッチ６０により他のモードへの切替が行われた場合やモードダイアル７２がＯＦＦにセットされた場合に、割り込み処理等により終了するものとする。

図３に示すように、静止画記録モード処理が開始されると、中央制御部５０は、Ｓ３０１において撮像モードを確定する。撮像モードの確定は、次の（１）或いは（２）を中央制御部５０が行うことでなされる。（１）では、不揮発性メモリ５６より前回の静止画記録モード終了時における撮像モードを取得してメモリ５２に格納する。（２）では、ユーザにより操作部７０が操作されて撮像モードの設定入力があった場合に、その設定入力された撮像モードをメモリ５２に格納する。

ここで、撮像モードとは、撮像シーンに適したシャッター速度や絞り値、フラッシュ発光状態、感度設定等を組み合わせて実現されるモードのことである。本実施形態では、撮像装置１００は次の撮像モードを有する。
・オートモード：このモードでは、撮像装置１００の各種パラメータが、計測された露出値に基づいて撮像装置１００に組み込まれたプログラムにより自動的に決定される。
・マニュアルモード：このモードでは、撮像装置１００の各種パラメータをユーザが自由に変更可能である。
・シーンモード：このモードでは、撮像シーンに適したシャッター速度や絞り値、フラッシュ発光状態、感度設定等の組み合わせが自動で設定される。

尚、シーンモードには次のようなモードが含まれる。
・ポートレートモード：このモードは、背景をぼかして人物を浮き立たせるようにして人物撮像に特化したモードである。
・夜景モード：このモードは、人物にフラッシュ光をあて背景を遅いシャッター速度で記録することで夜景シーンに特化した撮像を行うモードである。
・風景モード：このモードは、広がりのある風景シーンに特化した撮像を行うモードである。
・ナイト＆スナップモード：このモードは、三脚なしで夜景と人物をきれいに撮るのに適したモードである。
・キッズ＆ペットモード：このモードは、よく動き回る子供やペットをシャッターチャンスを逃さずに撮像可能にしたモードである。
・新緑＆紅葉モード：このモードは、新緑等の木々や葉を色鮮やかに撮像するのに適したモードである。
・パーティーモード：このモードは、蛍光灯や電球のもとで、手振れを抑えて被写体に忠実な色味で撮像するモードである。
・スノーモード：このモードは、雪景色をバックにしても人物が暗くならず、青みも残さず撮像するモードである。
・ビーチモード：このモードは、太陽光の反射の強い海面や砂浜でも、人物などが暗くならずに撮像可能なモードである。
・花火モード：このモードは、打ち上げ花火を最適な露出で鮮やかに撮像するためのモードである。
・水族館モード：このモードは、屋内の水槽内の魚などを撮像するのに適した感度、ホワイトバランス、色味を設定するモードである。
・水中モード：このモードは、水中に最適なホワイトバランスに設定し、青みを押さえた色合いで撮像するモードである。

Ｓ３０１において撮像モードが確定すると、中央制御部５０は、Ｓ３０２において、撮像素子１４で撮像した画像データを画像表示部２８に表示するスルー表示（電子ビューファインダ表示）を行い、Ｓ３３０に進む。Ｓ３３０では、中央制御部５０は追尾フラグをＯＦＦに初期化する。追尾フラグはフレーム間の動きベクトル（動き情報）を用いて顔検出結果を補間するか否かを示すフラグであり、追尾フラグがＯＮであれば補間処理をすべく動きベクトルを取得する処理が行われる。動きベクトルとは、後述する複数フレーム間（例えば現在のフレームと過去のフレーム間）の相関から、そのフレーム間において所定の画像領域がどの程度移動したかを示すベクトル量である。例えば、予め顔領域が検出されている場合には、その顔領域に関する動きベクトルを検出することで、顔領域が複数フレーム間にどのような動きを示すかを検出することができる。

続いてＳ３０３において、中央制御部５０は、電源制御部８０を用いて電池等により構成される残容量や、記録媒体２００の有無や残容量が撮像装置１００の動作に問題があるか否かを判定する。問題があるならば、中央制御部５０は、Ｓ３０４において、画像表示部２８を用いて画像や音声により所定の警告表示を行い、処理をＳ３０１に戻す。

記録媒体２００の状態に問題が無いならば、Ｓ３０５において、中央制御部５０は、必要に応じてＡＦに関する設定を更新する。ＡＦ設定は、操作部７０に含まれるメニューボタンを押すことで画像表示部２８に表示されるメニュー画面（図示しない）や、操作部７０に含まれるＡＦ枠設定用の操作部材を操作することでユーザが任意に設定可能である。

Ｓ３０５のＡＦ設定としては、中央一枠をＡＦエリアとする「中央」、ＡＦエリアを操作部７０に含まれる操作部材によってユーザが任意の位置に移動可能な「アクティブ」などがある。また、９枠のＡＦエリアを設定し合焦動作を行う「ＡｉＡＦ」、検出した顔位置に応じてＡＦエリアを設定する「顔優先」等もある。また、ユーザが焦点調整を行うマニュアルフォーカスへの切替、マニュアルフォーカス時に焦点調整しやすいようにスルー表示に部分拡大表示を重畳表示する「ＭＦ拡大表示」の設定もここで行う。

中央制御部５０は、ＡＦ枠設定が「顔優先」であるか否かを判定し（Ｓ３０６）、「顔優先」でなければＳ３０９に進む。ＡＦ枠設定が「顔優先」である場合はＳ３０７に進む。Ｓ３０７において、中央制御部５０は、スルー表示される画像の顔領域に対応して重畳表示する顔枠の更新処理を行う。この顔枠更新処理については図４を参照して後述する。

続いてＳ３０９において、中央制御部５０は、第１シャッタースイッチ信号ＳＷ１がＯＮしているか否かを判定する。第１シャッタースイッチ信号ＳＷ１がＯＦＦの場合、中央制御部５０は、処理をＳ３０５に戻し、上記Ｓ３０５、Ｓ３０６を繰り返して行う。一方、第１シャッタースイッチ信号ＳＷ１がＯＮの場合、中央制御部５０は、Ｓ３１１の処理を行う。

Ｓ３１１において、中央制御部５０は、測光処理を行って絞り値及びシャッター時間（シャッタースピード）を決定し、露光調整を行う。尚、測光処理において、中央制御部５０は、必要であればフラッシュの設定も行う。このとき、中央制御部５０は、Ｓ３０７において設定された顔枠の範囲で測光を行うようにすることも可能である。次いで、Ｓ３１２において、中央制御部５０は、測距処理を行って撮像レンズ１０の焦点を被写体に合わせる焦点調整を行い、Ｓ３１４へ進む。尚、測距処理においても、中央制御部５０は、Ｓ３０７において設定された顔枠の範囲で測距を行うようにすることが可能である。すなわち、中央制御部５０では、顔枠の範囲において露光調整や焦点調整の少なくとも一方を制御してよい。この場合、撮像装置１００は、顔枠として検出された領域に対する露光調整や焦点調整を行った撮像画像を取得することができる。

次に、中央制御部５０は、第１シャッタースイッチ信号ＳＷ１と第２シャッタースイッチ信号ＳＷ２のＯＮ／ＯＦＦ状態を判定する（Ｓ３１４、Ｓ３１５）。第１シャッタースイッチ信号ＳＷ１がＯＮした状態で第２シャッタースイッチ信号ＳＷ２がＯＮになると、中央制御部５０の処理はＳ３１４からＳ３１６へ進む。第１シャッタースイッチ信号ＳＷ１がＯＦＦになると（第２シャッタースイッチ信号ＳＷ２がＯＮせずに、更に第１シャッタースイッチ信号ＳＷ１も解除された場合）、中央制御部５０の処理はＳ３１５からＳ３０５へ戻る。また、第１シャッタースイッチ信号ＳＷ１がＯＮ、第２シャッタースイッチ信号ＳＷ２がＯＦＦの間、中央制御部５０では、Ｓ３１４、Ｓ３１５の処理が繰り返される。

第２シャッタースイッチ信号ＳＷ２がＯＮになると、Ｓ３１６において、中央制御部５０は、画像表示部２８の表示状態をスルー表示から固定色表示状態に設定する。そして、Ｓ３１７において、中央制御部５０は、露光処理や現像処理を含む撮像処理を実行する。尚、露光処理では、画像処理部２０を経て得られた画像データ、或いはＡ／Ｄ変換器１６からメモリ３０に画像データが書き込まれる。また、現像処理では、中央制御部５０が、必要に応じてメモリ３０に書き込まれた画像データを読み出して各種処理を行う。この撮像処理の詳細は図５を参照して後述する。

次に、中央制御部５０は、Ｓ３１８おいて、画像表示部２８に対し撮像処理で得られた画像データのクイックレビュー表示を行う。クイックレビューとは、撮像画像の確認のために、被写体の撮像後の記録媒体への記録前に、予め決められた時間（レビュー時間）だけ画像データを画像表示部２８に表示する処理である。クイックレビュー表示後、Ｓ３１９において、中央制御部５０は撮像処理で得られた画像データを画像ファイルとして記録媒体２００に対して書き込む記録処理を実行する。

Ｓ３１９の記録処理が終了すると、Ｓ３２０において、中央制御部５０は、第２シャッタースイッチ信号ＳＷ２のＯＮ／ＯＦＦ状態を判定する。第２シャッタースイッチ信号ＳＷ２がＯＮの場合、中央制御部５０は、Ｓ３２０の判定を繰り返し、第２シャッタースイッチ信号ＳＷ２がＯＦＦになるのを待つ。この間、中央制御部５０は、画像表示部２８における上記クイックレビューの表示を継続させる。即ち、Ｓ３１９の記録処理が終了した際には、第２シャッタースイッチ６４が放されるまで画像表示部２８におけるレックレビュー表示が継続される。このように構成することにより、ユーザは、シャッターボタンの全押し状態を継続することで、クイックレビューを用いた撮像画像の確認を入念に行うことが可能となる。

ユーザがシャッターボタンを全押し状態にして撮像を行った後、シャッターボタンから手を放すなどして全押し状態が解除され、第２シャッタースイッチ信号ＳＷ２がＯＦＦになると、中央制御部５０の処理はＳ３２０からＳ３２１へ進む。Ｓ３２１において、中央制御部５０は、予め定められたレビュー時間（ミニマムレビュー時間）が経過したか否かを判定し、レビュー時間が経過していればＳ３２２に進む。

Ｓ３２２において、中央制御部５０は、画像表示部２８の表示状態をクイックレビュー表示からスルー表示状態に戻す。この処理により、クイックレビュー表示によって撮像画像を確認した後、画像表示部２８の表示状態は次の撮像のために撮像素子１４からの画像データを逐次表示するスルー表示状態に自動的に切り替わることになる。

そして、Ｓ３２３において、中央制御部５０は、第１シャッタースイッチ信号ＳＷ１のＯＮ／ＯＦＦを判定し、第１シャッタースイッチ信号ＳＷ１がＯＮの場合はＳ３１４へ、ＯＦＦの場合はＳ３０５へ処理を戻す。即ち、シャッターボタンの半押し状態が継続している（第１シャッタースイッチ信号ＳＷ１がＯＮ）場合は、中央制御部５０はＳ３１４へ処理を戻して次の撮像に備える。一方、シャッターボタンが放された状態（第１シャッタースイッチ信号ＳＷ１がＯＦＦ）であったならば、中央制御部５０は、Ｓ３０５へ処理を戻して一連の撮像動作を終えて撮像待機状態に戻る。

図４は図３のＳ３０７における顔枠更新処理を示すフローチャートである。図４に示すように、顔枠更新処理が開始されると、顔検出手段としての中央制御部５０は、撮像素子１４により逐次撮像された動画像のフレーム画像から被写体の顔領域を検出する顔検出処理を開始する（Ｓ４００）。顔検出処理は、予めメモリ５２などに設定された顔の特徴点を示す顔パターン情報を参照し、フレーム画像内から顔の特徴点と一致する領域を顔領域として検出する処理である。顔検出処理は、処理に時間がかかるため、予め設定されたフレーム数に一回の割合で間欠的に行われる。また、顔検出処理が終了した場合には、フレーム画像において検出された顔領域に関する顔検出結果が出力される。なお、被写体の顔が横方向を向いている場合などには顔領域の検出ができないことがあるが、この場合は失敗したことを示す顔検出結果が出力される。

次いで、Ｓ４０１において、中央制御部５０は、画像表示メモリ２４或いはメモリ３０に記憶された最新（直近）の撮像画像が更新されたか否かを判定する。具体的には、Ｓ４０１では撮像素子１４により逐次撮像された動画像のフレーム画像が更新されたか否かが判定され、フレーム画像が更新される度にＳ４０２以下の顔枠更新処理が行われることとなる。更新されていない場合、中央制御部５０は、顔枠更新処理（Ｓ３０７）を終了する。この場合、画像表示部２８の表示は更新されない。直近の撮像画像が更新されている場合は動きベクトルや顔座標を取得するべく以下の処理を行う。

Ｓ４０２において、中央制御部５０は、追尾フラグがＯＮになっているか否かを判定し、追尾フラグがＯＦＦになっていればＳ４０８に進む。

追尾フラグがＯＮである場合（Ｓ４０２）、中央制御部５０は直近の動きベクトルを取得する（Ｓ４０３）。動きベクトルの検出処理は後述するＳ４２７で行われ、画像表示メモリ２４或いはメモリ３０に記憶された直近の撮像画像が更新された後では、直近の動きベクトルが更新されているものとする。

続いて、中央制御部５０は、動きベクトルを用いた顔領域の追尾処理を終了するか否かを判断する（Ｓ４０４）。Ｓ４０４において追尾処理の終了と判断する場合としては、例えば、Ｓ４０３で取得した動きベクトルの信頼性が低い場合であり、フレームレートが低下して動きベクトルを求めるための２枚のフレーム画像の時間差が大きくなる場合などが含まれる。

Ｓ４０５において、中央制御部５０は、Ｓ４０４の判断を参照して顔領域の追尾処理を終了するか否かを判定する。追尾を終了する場合、中央制御部５０は、追尾フラグをＯＦＦにした後（Ｓ４０６）、動きベクトルを蓄積した履歴情報を初期化して（Ｓ４０７）、Ｓ４０８に進む。追尾を終了しない場合（Ｓ４０５）、中央制御部５０はそのままＳ４０８に進む。

Ｓ４０８では、中央制御部５０は、撮像画像から被写体の顔領域を検出した顔検出結果がまだ更新されていないか否かを判定する。顔検出は、後述するＳ４２５でスタートされ、画像表示メモリ２４或いはメモリ３０に記憶された直近の撮像画像から被写体の顔領域を検出して行われる。顔検出処理には時間がかかる場合があり、直近の顔検出結果がこの時点で出てきているとは限らないため、Ｓ４０８では直近の顔検出結果が更新されているか否かをチェックしている。なお、この顔検出結果の更新には、顔検出に失敗したという更新も含まれる。

直近の顔検出結果が更新されていない場合（Ｓ４０８：ＹＥＳ）、中央制御部５０は追尾フラグが有効になっているか否かを判定する（Ｓ４０９）。追尾フラグがＯＦＦである場合、中央制御部５０はＳ４２６に進む。この場合、画像表示部２８の表示は更新されない。

追尾フラグがＯＮになっている場合（Ｓ４０９：ＹＥＳ）、中央制御部５０は取得した動きベクトルを用いて顔枠の座標計算を行う（Ｓ４１０）。Ｓ４１０では、例えばx軸方向の座標を考えた場合、動きベクトルの履歴をdX1,dX2,…,dXn、動きベクトルの履歴の平均をAvg(dX1,dX2,…,dXn)とし、次のように顔枠の中心座標Xを求める。なおy軸方向についても同様である。
X += Avg(dX1,dX2,…,dXn)

ここで、中心座標Xの算出には、直近の動きベクトルではなく、動きベクトルの履歴の平均を用いている。従って、動きベクトルを用いて被写体の動きに合わせた顔領域の追跡を行っている際に、追跡中の顔の前を別の顔が横切る場合であっても、別の顔を誤追尾してしまう問題を軽減できる。また、Ｓ４１０の顔計算処理においては、直近の動きベクトルをその履歴を用いて修正していると考えることもできる。

Ｓ４１０における顔枠計算を終えたら、修正手段としての中央制御部５０は動きベクトルの履歴に直近の動きベクトルを追加して、被写体の動きに合わせた顔枠の位置修正を行う（Ｓ４１１）。次いで、中央制御部５０は、画像表示部２８の顔枠表示の更新処理を行って（Ｓ４１２）、Ｓ４２６に進む。また、Ｓ４０８の判定により、Ｓ４１０〜Ｓ４１２の処理は、顔検出結果が更新されていないフレーム、すなわち、顔検出により被写体の顔領域を検出しないフレームについて行われる処理である。

Ｓ４０８において顔検出結果が更新されていると判定した場合、中央制御部５０は、Ｓ４１３において直近の顔検出結果を取得する。顔検出結果としては、検出された顔領域の中心座標、サイズ（幅、高さ）、検出個数、信頼性係数などが取得できる。また、顔領域が検出されなかった場合はその旨（例えば検出個数＝０）が検出結果として取得できる。

中央制御部５０は、Ｓ４１３で取得した顔検出結果を参照し、顔が検出されたのか、それとも顔の検出に失敗したのかを判定する（Ｓ４１４）。中央制御部５０は、顔が検出されていればＳ４１５へ、検出されていなければＳ４１９に進む。

顔が検出されている場合（Ｓ４１４：ＹＥＳ）、中央制御部５０は、Ｓ４１５で追尾フラグをＯＮにし、動きベクトルの履歴更新処理を行う（Ｓ４１６）。この動きベクトルの履歴更新処理は図６を参照して後述する。Ｓ４１６での更新処理を終えた後、中央制御部５０はＳ４１７に進む。

Ｓ４１０にて動きベクトルを用いて顔枠を設定する際には、直近の動きベクトルと動きベクトルの履歴の平均を参照したが、Ｓ４１７では、中央制御部５０は、Ｓ４１３で取得した直近の顔検出結果のみを参照して検出された顔領域の位置に顔枠を設定する。動きベクトルは複数フレーム間の相関から求める値であるため、顔に類似している顔以外の領域を顔枠として設定してしまう可能性が十分に考えられる。そのため、上述したように、誤検出を防止するという理由から動きベクトルの履歴を用いて顔枠を設定する必要がある。これに対し、顔の特徴点と一致する領域を顔領域として検出する顔検出処理では、顔以外の領域を顔として誤検出する可能性が低いため、直近に検出された顔領域の位置に対してそのまま顔枠を設定する。また、Ｓ４１７では中央制御部５０は画像表示部２８の顔枠表示を更新する。なお、説明を判りやすくするため、複数の顔が検出された場合でも主顔と判断された顔のみに顔枠を設定するものとして説明する。撮像装置１００では、Ｓ４１５で追尾フラグをＯＮにすることで、Ｓ４１７で設定する顔枠部分に対応した動きベクトルを取得するようになる。

続いて、中央制御部５０は、Ｓ４１３で取得した直近の顔検出結果をメモリ３０の作業領域などに記憶する（Ｓ４１８）。すなわち、Ｓ４１８は、顔検出により被写体の顔領域が検出できたフレームについてのみ行われる。ここで記憶した顔検出結果は、検出された顔が前回検出された顔と同一か否かを判断するための情報として用いられる。メモリ３０の作業領域には、顔検出結果に含まれる顔の特徴量を記憶してもよいし、顔認証のために顔領域の画像を切り出して記憶してもよい。また、説明を判りやすくするため、主顔の顔検出結果のみ記憶するものとして説明する。Ｓ４１８での処理を終えた後、中央制御部５０はＳ４２５に進む。

なお、Ｓ４１４で顔が検出されていなかった場合、中央制御部５０は、追尾フラグがＯＮか否かを判定する（Ｓ４１９）。追跡フラグがＯＦＦであれば、中央制御部５０は、画像表示部２８の顔枠を消去し（Ｓ４２０）、Ｓ４２５に進む。

Ｓ４１９で追尾フラグがＯＮである場合、中央制御部５０は取得した動きベクトルを用いて顔枠の座標計算を行う（Ｓ４２２）。この顔枠に関する計算処理はＳ４１０と同様である。

Ｓ４１０、Ｓ４１７、Ｓ４２２の処理により、顔枠座標Xは次のようになる。なお、直近の顔検出結果から得られる顔領域の中心座標をXf、動きベクトルの履歴をdX1,dX2,…,dXn、動きベクトルの履歴の平均をAvg(dX1,dX2,…,dXn)とする。
顔が検出された場合：X = Xf
動きベクトルで計算する場合：X += Avg(dX1,dX2,…,dXn)

顔枠計算を終えた後（Ｓ４２２）、修正手段としての中央制御部５０は、動きベクトルの履歴に直近の動きベクトルを追加して被写体の動きに合わせた顔枠の位置修正を行う（Ｓ４２３）。次いで、中央制御部５０は、画像表示部２８の顔枠表示の更新処理を行い（Ｓ４２４）、Ｓ４２５に進む。また、Ｓ４１４の判定により、Ｓ４２２〜Ｓ２４２の処理は、顔検出により被写体の顔領域が検出できなかったフレームについて行われる処理である。

Ｓ４２５において、中央制御部５０は、画像表示メモリ２４或いはメモリ３０に記憶された直近の撮像画像に対して次の顔検出処理を開始し、Ｓ４２６に進む。

Ｓ４２６では、中央制御部５０は追尾フラグがＯＮか否かを判定する。追尾フラグがＯＮであれば、動き検出手段としての中央制御部５０は、画像表示メモリ２４或いはメモリ３０に記憶された直近の（現在の）撮像画像と１フレーム前の（過去の）撮像画像を用いて次の動きベクトルを求める処理を開始する（Ｓ４２７）。具体的には、顔領域の位置をフレーム相関を求める範囲に設定し、２枚の画像の相関から新たな顔領域の位置及び動きベクトルを算出する。顔領域の位置が求まらない状況においては、Ｓ４２１で追尾フラグがＯＦＦに設定されているので動きベクトルを求めない。Ｓ４２７の処理を終えた後、中央制御部５０は、顔枠更新処理（Ｓ３０７）を終了する。また、Ｓ４２６で追尾フラグがＯＦＦであった場合は、Ｓ４２７の処理を行うことなく、顔枠更新処理（Ｓ３０７）を終了する。従って、中央制御部５０は、被写体の顔領域を検出しないフレーム、又は、被写体の顔領域が検出できなかったフレームと過去のフレーム間の相関から、顔領域が求められる状況において、顔領域の動きを示す動きベクトルを検出することが可能となる。

図５は図３のＳ３１７における撮像処理を示すフローチャートである。図５に示すように、撮像処理が開始されると、中央制御部５０は、Ｓ５０１において、撮像開始時にその日時をシステムタイマより取得し、メモリ５２に記憶する。続いて、中央制御部５０は、Ｓ５０２において、メモリ５２に記憶されている測光データに従い、絞り機能を有するシャッター１２を絞り値に応じて開放する。こうして、撮像素子１４では露光が開始される（Ｓ５０３）。

Ｓ５０４において、中央制御部５０は、測光データに従って撮像素子１４の露光終了を待つ。露光終了時刻に到達すると、Ｓ５０５において、中央制御部５０はシャッター１２を閉じる。そして、Ｓ５０６において、中央制御部５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６から画像処理部２０を介してメモリ３０に画像データを書き込む。また、Ｓ５０６では、Ａ／Ｄ変換器１６から直接メモリ３０に画像データを書き込んでもよい。以上、Ｓ５０１〜Ｓ５０６が撮像装置１００における露光処理に対応する。

続いて、Ｓ５０７において、中央制御部５０は、必要に応じて、メモリ３０に書き込まれた画像データを読み出して画像処理を順次施す。この画像処理は、例えば、ホワイトバランス処理や、圧縮・伸長部３２を用いた圧縮処理等が含まれる。処理を終えた画像データはメモリ３０に書き込まれる。そして、Ｓ５０８において、中央制御部５０は、メモリ３０から画像データを読み出し、これを圧縮・伸長部３２を用いて伸張し、画像表示部２８の表示用にリサイズする。そして、リサイズされた画像データを画像表示部２８に表示するべくＤ／Ａ変換器２６に転送する。一連の処理を終えたならば、撮像処理を終了する。

図６は、図４のＳ４１６における動きベクトルの履歴更新処理を示すフローチャートである。図６に示すように、処理が開始されると、中央制御部５０は、Ｓ６０１において、Ｓ４１３で取得された直近の顔検出結果と、Ｓ４１８で既に記憶されていた顔検出結果を比較して、直近の顔検出結果で別被写体の顔検出が行われたか否かを判定する。

具体的には、Ｓ４１３で取得された直近の顔検出結果から得られる顔領域の座標と、Ｓ４１８で既に記憶されていた直近の顔領域の座標との差が予め設定された閾値以下か否かを判定する。この場合は、顔検出が行われたフレーム間において顔領域が予め閾値として設定された量以上移動したと判定される場合に、別被写体の顔を検出したと判定されることとなる。

また、Ｓ６０１では、Ｓ４１３で取得された直近の顔検出結果から得られる顔領域の座標と、直近のフレームにおける顔枠の座標との差が予め設定された閾値以下か否かを判定してもよい。この場合は、顔検出が行われたフレームにおいて検出された顔領域の位置と、直近のフレームまで顔枠が表示されていた位置が予め閾値として設定された量以上移動したと判定される場合に、別被写体の顔を検出したと判定されることとなる。

また、Ｓ６０１では、Ｓ４１３で取得された直近の顔検出結果から得られる顔領域の座標と、直近のフレームにおける顔枠の座標との差が予め設定された閾値以下か否かを判定してもよい。この場合は、顔検出が行われたフレームにおいて検出された顔領域の位置と、直近のフレームまで顔枠が表示されていた位置が予め閾値として設定された量以上移動したと判定される場合に、別被写体の顔を検出したと判定されることとなる。

また、Ｓ６０１では、Ｓ４０３で取得された直近の動きベクトルであり、直近の顔領域の動き量と、蓄積された動きベクトルの履歴の平均であり、顔領域の平均の動き量の差が予め設定された閾値以下か否かを判定してもよい。この場合は、直近の顔領域の動き量が、顔領域の平均の動き量に対して予め閾値として設定された量以上変化した場合に、別被写体の顔を検出したと判定されることとなる。

Ｓ６０２において座標（又は類似度）の差が閾値以下であった場合、判定手段としての中央制御部５０は、動きベクトル履歴を初期化することなく動きベクトルの履歴更新処理（Ｓ４１６）を終了する。なお、Ｓ６０２において座標の差が閾値以下でなかった場合、中央制御部５０はＳ６０３に進む。Ｓ６０３において、更新手段としての中央制御部５０は、メモリ３０の作業領域に記憶している動きベクトルの履歴を初期化し、動きベクトルの履歴更新処理（Ｓ４１６）を終了する。

すなわち、動きベクトルの履歴更新処理では、直近の顔検出結果から得られる主顔と、直近の顔検出処理により設定されていた主顔との距離が遠いのであれば、これらは同じ顔でないと判定している。また、直近の顔検出結果から得られる主顔の位置が、直近のフレームまで顔枠が検出された位置とずれる場合に、これらは同じ顔ではないと判定している。また、直近の顔検出結果から得られる主顔と、直近の顔検出結果から得られる主顔が類似していない場合に、これらは同じ顔ではないと判定している。そして、違う顔のベクトル履歴が顔枠位置に反映されることのないようＳ６０３でベクトル履歴を初期化している。

例えば、直近の顔検出結果から得られる主顔の位置と、以前の顔検出処理による主顔の位置又は直前のフレームまで顔枠が検出された位置との差分が小さい場合に、同一の人物として動きベクトルの履歴を保持する。また、その差分が大きければ別の人物として動きベクトルの履歴を初期化する。また、それまでに検出した顔の目、鼻、口等の形状を示す特徴点と、新たに検出した顔の特徴点との類似度を比較し、その差分が小さければ同一の人物として動きベクトルの履歴を保持する。また、類似度の差分が大きければ別の人物として動きベクトルの履歴を初期化する。

ここで、図７を参照して画像表示部２８の表示例を説明する。図７（ａ）〜図７（ｆ）は０フレーム目から５フレーム目までの画像表示部２８の表示例を示す概念図である。図７において、顔枠２８ａは撮像画像から検出された被写体の顔領域に対応した顔枠表示である。また、顔検出処理は、３フレームに１回行われるものとする。従って、第０フレーム（図７（ａ））と第３フレーム（図７（ｄ））は顔検出処理により顔枠２８ａが更新されたフレームである。また、その他のフレームは、動きベクトルを用いて顔枠２８ａが更新されたフレームであり、第０フレームと第３フレームの顔検出結果を補間しているフレームである。また、第ｉフレームにおける直近の顔検出結果の顔領域の中心座標をXfi、直近の動きベクトルをdXi、表示する顔枠の中心座標をXiとする。

まず、第０フレーム（図７（ａ））では、被写体の顔が正面を向いているため、顔検出処理により顔領域が検出される。この場合はＳ４１７において、顔検出処理により検出された顔領域の中心座標が、顔領域の中心座標Xf0、顔枠の中心座標X0として設定される。

次に、第１フレーム（図７（ｂ））では、顔検出処理が行われないため顔検出結果が更新されず、Ｓ４１０の処理により動きベクトルdX1を用いて顔枠の中心座標X1を算出している。また、仮に顔検出処理が行われた場合であっても、被写体の顔が横を向いているため顔検出は失敗し、Ｓ４２２の処理により動きベクトルを用いて顔枠の座標が算出されることとなる。

第２フレーム（図７(c)）でも同様に、Ｓ４１０の処理により動きベクトルを用いて顔枠の座標が算出される。なお、第２フレームでは、直近の動きベクトルdX2だけでなく、過去の動きベクトル履歴（dX1）も用いて顔枠の中心座標X2が算出される。

第３フレーム（図７(d)）では、顔検出処理が行われ、正面向きの別被写体の顔領域が検出される。従って、Ｓ４１７において、顔検出処理により検出された別被写体の顔領域の中心座標が、顔領域の中心座標Xf3、顔枠の中心座標X3として設定される。

ここで、第３フレームにおいては動きベクトルの履歴更新処理（Ｓ４１６）が行われた際に動きベクトルの履歴が初期化されている。具体的には、直近の顔領域の中心座標Xf3と、前のフレームの顔枠の中心座標X2とを比較して、その位置の差が予め設定された閾値より大きいため、動きベクトルの履歴が初期化される。また、第０フレームの顔検出結果と第３フレームの顔検出結果に基づいて、互いの顔領域の画像を比較し、２つのフレームで検出している顔が別の顔に変わったと判定されたため、動きベクトルの履歴が初期化される。

第４フレーム（図７(ｅ））、第５フレーム（図７（ｆ））では、第１フレーム、第２フレームと同様に、Ｓ４１０の処理により動きベクトルとその履歴を用いて顔枠の座標が算出される。なお、第３フレームにおいて別被写体の顔領域を検出した際に、それ以前の被写体に関する動きベクトルの履歴は初期化されている。従って、第４、５フレームにおける顔枠の座標を算出する際には以前の被写体の動きが影響することはない。

顔検出結果が別被写体の顔領域に更新された第３フレームにて動きベクトルの履歴を初期化しない場合は、第４フレーム、第５フレームの顔枠の座標が不正になる。図７（ａ）〜図７（ｆ）の場合、第１フレーム、第２フレームの右向きのベクトル履歴が影響し、第４フレーム、第５フレームの顔枠の座標が右にずれてしまうことになる。具体的には、第４フレームのAvg(dX1,dX2,dX4)、第５フレームのAvg(dX1,dX2,dX4,dX5)が、dX1、dX2により右向きとなる。しかしながら、第３フレームにおける動きベクトルの履歴更新処理（Ｓ４１６）により、以前の被写体に関する動きベクトルの履歴が初期化されることで、図７のような場合であっても、被写体に対して正しく顔枠を表示することができる。

なお、顔検出処理にて新たに顔領域が検出された際には、それまでの動きベクトルの履歴とは無関係に顔枠を設定するのであるから、顔検出処理にて新たな顔領域が検出される度に、動きベクトルの履歴を初期化するという方法も考えられる。しかしながら、本実施形態に係る撮像装置１００は、新たに検出された顔領域の位置と、直近のフレームで顔枠が表示されていた位置が閾値よりも近い場合には、動きベクトルの履歴を維持するようにしている。以下に、その理由を説明する。

図８は、新たに検出された顔領域の位置と直近のフレームで顔枠が表示されていた位置が閾値よりも近い場合に、動きベクトルの履歴を維持したときの画像表示部２８の表示例を示す。図９は、同様の場合に動きベクトルの履歴を維持しないときの画像表示部２８の表示例を示す。図８（ａ）〜図８（ｆ）は０フレーム目から５フレーム目までの画像表示部２８の表示例を示す概念図である。また、図７を参照して説明した表示例と同様に、画像表示部２８には顔領域に対応した顔枠２８ａが表示される。また、顔検出処理は３フレームに１回行われるものとし、顔検出処理が行われないフレームでは動きベクトルを用いて顔検出結果が補間される。また、第iフレームにおける最新の顔検出結果の顔領域の中心座標をXfi、最新の動きベクトルをdXi、表示する顔枠の中心座標をXiとする。

まず、第０フレーム（図８（ａ））では、被写体の顔が正面を向いているため、顔検出処理により顔領域が検出される。この場合はＳ４１７において、顔検出処理により検出された顔領域の中心座標が、顔領域の中心座標Xf0、顔枠の中心座標X0として設定される。

次に、第１フレーム（図８（ｂ））では、顔検出処理が行われないため顔検出結果が更新されず、Ｓ４１０の処理により動きベクトルdX1を用いて顔枠の中心座標X1を算出している。また、仮に顔検出が行われた場合であっても、被写体の顔が横を向いているため顔検出は失敗し、Ｓ４２２の処理により動きベクトルを用いて顔枠の座標が算出されることとなる。

第２フレーム（図８（ｃ））でも同様に、Ｓ４１０の処理により動きベクトルを用いて顔枠の座標が算出される。なお、第２フレームでは、最新の動きベクトルdX2だけでなく、過去の動きベクトル履歴（dX1）も用いて顔枠の中心座標X2が算出される。

第３フレーム（図８（ｄ））では、顔検出処理が行われ、第０フレームで検出された被写体と同一の被写体の正面向きの顔領域が検出される。従って、Ｓ４１７において、過去の動きベクトル履歴（dX1、dX2）とは無関係に、顔検出処理により検出された顔領域の中心座標が、顔領域の中心座標Xf3、顔枠の中心座標X3として設定される。

ここで、第３フレームにおいては、動きベクトルの履歴更新処理（Ｓ４１６）が行われた際に、動きベクトルの履歴がリセットされることなく保持される。具体的には、最新の顔領域の中心座標Xf3と、前のフレームの顔枠の中心座標X2とを比較して、その位置の差が予め設定された閾値より小さいため、動きベクトルの履歴がリセットされない。また、第０フレームの顔検出結果と第３フレームの顔検出結果に基づいて、互いの顔領域の画像を比較し、２つのフレームで検出している顔が同一の顔だと判定されたため、動きベクトルの履歴がリセットされない。

第４フレーム（図８（ｅ））、第５フレーム（図８（ｆ））では、第１フレーム、第２フレームと同様に、Ｓ４１０の処理により動きベクトルとその履歴を用いて顔枠の座標が算出される。なお、第３フレームにおいて顔領域を検出した際に、第１、第２フレームで右向きであった動きベクトルの履歴はリセットされない。従って、第４、第５フレームで別被写体が左に横切り、第５フレームで最新の動きベクトルdX5が左向きであったとしても、第１、第２フレームにおける動きベクトルの履歴から右向きに動く以前の被写体に対して顔枠を表示することができる。

なお、図８と同様な場面において、顔検出結果が更新された場合に必ず動きベクトル履歴を初期化してしまう場合の画像表示部２８の表示は図９に示すとおりである。すなわち、第３フレーム（図９（ｄ））では、顔検出処理によって新たな顔領域が検出され、動きベクトルの履歴が初期化される。第４フレーム（図９（ｅ））では、動きベクトルの履歴が無いため、左に横切る別被写体による直近の動きベクトル（dX4）を用いて顔枠の中心座標X4が算出される。第５フレーム（図９（ｆ））では、直近の動きベクトル（dX5）と過去の動きベクトル（dX4）を用いて顔枠の中心座標X5が算出される。しかしながら、直近の動きベクトル（dX5）も過去の動きベクトル（dX4）も左に横切る別被写体から得られた動きベクトルであるために、顔枠が右向きに動く以前の被写体から完全に外れてしまう。

本実施形態では、動きベクトルの履歴更新処理（Ｓ４１６）において、顔検出結果に応じて動きベクトルの履歴に関して初期化／保持を切り替えることによって、例えば図７に示すように被写体の動きに合わせて正しく顔枠を表示することが可能となる。

なお、上記実施形態では、Ｓ４２７における動きベクトルの検出処理の結果算出される顔位置と動きベクトルのうち、動きベクトルについて履歴の操作を行っている（Ｓ４０７、Ｓ４１１、Ｓ４２３、Ｓ６０４）。そして、動きベクトルの履歴を用いて顔枠の位置を設定している（Ｓ４１０、Ｓ４２２）。しかしながら、動きベクトルの検出処理の結果算出される顔位置について履歴をとり、この顔位置の履歴を用いて同様に顔枠の位置を設定することも可能である。

また、上記実施形態では、Ｓ６０２において、直近の顔領域の座標と、直前のフレームの顔枠の座標との差分に応じて動きベクトルの履歴を初期化するか否かを判定する場合を例示している。しかしながら、直近の顔座標から求めた動きベクトルと、動きベクトルの履歴の差分に応じて動きベクトルの履歴を初期化するか否かを判定してもよい。この場合、顔の位置があまり変わらなかったとしても、動きベクトルの向きが変わった場合などに動きベクトルの履歴を初期化することができる。これは、検出した顔がそれまでと同じような動きをする（動く方向が変わらない）のであれば、それまでに検出した顔と同一の顔を検出しているとみなしている。また、検出した顔がそれまでと異なる動きをするのであれば、それまでに検出した顔と新たに検出した顔とが別のものであると判定して、動きベクトルの履歴を初期化しようとするものである。

なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。

（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

図１は、本実施形態に係る撮像装置の構成を示すブロック図である。 撮像装置の全体的な動作を示すフローチャートである。 静止画記録モード処理を示すフローチャートである。 顔枠更新処理を示すフローチャートである。 撮像処理を示すフローチャートである。 動きベクトルの履歴更新処理を示すフローチャートである。 （ａ）は０フレーム目の画像表示部の表示例を示す概念図であり、（ｂ）は１フレーム目の画像表示部の表示例を示す概念図であり、（ｃ）は２フレーム目の画像表示部の表示例を示す概念図であり、（ｄ）は３フレーム目の画像表示部の表示例を示す概念図であり、（ｅ）は４フレーム目の画像表示部の表示例を示す概念図であり、（ｆ）は５フレーム目の画像表示部の表示例を示す概念図である。 （ａ）は０フレーム目の画像表示部の表示例を示す概念図であり、（ｂ）は１フレーム目の画像表示部の表示例を示す概念図であり、（ｃ）は２フレーム目の画像表示部の表示例を示す概念図であり、（ｄ）は３フレーム目の画像表示部の表示例を示す概念図であり、（ｅ）は４フレーム目の画像表示部の表示例を示す概念図であり、（ｆ）は５フレーム目の画像表示部の表示例を示す概念図である。 （ａ）は０フレーム目の画像表示部の表示例を示す概念図であり、（ｂ）は１フレーム目の画像表示部の表示例を示す概念図であり、（ｃ）は２フレーム目の画像表示部の表示例を示す概念図であり、（ｄ）は３フレーム目の画像表示部の表示例を示す概念図であり、（ｅ）は４フレーム目の画像表示部の表示例を示す概念図であり、（ｆ）は５フレーム目の画像表示部の表示例を示す概念図である。

符号の説明

１００ 撮像装置
１０ 撮像レンズ
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生部
２０ 画像処理部
２２ メモリ制御部
２４ 画像表示メモリ
２６ Ｄ／Ａ変換器
２８ 画像表示部
３０ メモリ
３２ 圧縮・伸長部
３４ 復号部
４０ 露光制御部
４２ 測距制御部
４４ ズーム制御部
４６ バリア制御部
４８ フラッシュ
５０ 中央制御部
５２ メモリ
５４ 表示部
５６ 不揮発性メモリ
６０ メインスイッチ
６２ 第１シャッタースイッチ
６４ 第２シャッタースイッチ
７０ 操作部
７２ モードダイアル
８０ 電源制御部
１０４ 光学ファインダ
２００ 記録媒体

Claims (9)

1. 被写体を撮像した動画像を取得する取得手段と、
   前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、
   前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、
   前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、
   前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、
   を有する画像処理装置であって、
   前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定手段と、
   前記判定手段により前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新手段と、
   を備え、
   前記判定手段は、前記直近に検出された顔領域の位置と、前記最後に検出された顔領域の位置との差分から前記顔領域が予め設定された量以上移動したと判定される場合に、前記異なる被写体であると判定することを特徴とする画像処理装置。
2. 被写体を撮像した動画像を取得する取得手段と、
   前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、
   前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、
   前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、
   前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、
   を有する画像処理装置であって、
   前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定手段と、
   前記判定手段により前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新手段と、
   を備え、
   前記判定手段は、前記直近に検出された顔領域の位置と、前記修正手段により直近に修正された前記顔領域の位置との差分から前記顔領域が予め設定された量以上移動したと判定される場合に、前記異なる被写体であると判定することを特徴とする画像処理装置。
3. 被写体を撮像した動画像を取得する取得手段と、
   前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、
   前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、
   前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、
   前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、
   を有する画像処理装置であって、
   前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定手段と、
   前記判定手段により前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新手段と、
   を備え、
   前記動き検出手段は、前記顔検出手段による前記被写体の顔領域を検出しないフレーム、又は、前記顔検出手段により前記被写体の顔領域が検出できなかったフレームと、該フレームよりも過去のフレームとのフレーム間の相関から前記顔領域の動きを示す動き情報を検出することを特徴とする画像処理装置。
4. 前記修正手段は、前記顔検出手段により前記被写体の顔領域が検出できたフレームについては前記顔領域の位置修正を行わず、前記顔検出手段による前記被写体の顔領域を検出しないフレーム、又は、前記顔検出手段により前記被写体の顔領域が検出できなかったフレームにおける前記顔領域の位置修正を行うことを特徴とする請求項３に記載の画像処理装置。
5. 被写体を撮像するための撮像手段と、
   請求項１乃至４のいずれか一項に記載の画像処理装置と、
   前記画像処理装置により検出された前記被写体の顔領域に応じて前記撮像手段の露光調整及び焦点調整の少なくとも一方を制御する制御手段と、
   を備えることを特徴とする撮像装置。
6. 被写体を撮像した動画像を取得する取得手段と、
   前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、
   前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、
   前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、
   前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、
   を有する画像処理装置の制御方法であって、
   前記画像処理装置の判定手段が、前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定工程と、
   前記画像処理装置の更新手段が、前記判定工程において前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新工程と、
   を含み、
   前記判定手段は前記判定工程において、前記直近に検出された顔領域の位置と、前記最後に検出された顔領域の位置との差分から前記顔領域が予め設定された量以上移動したと判定される場合に、前記異なる被写体であると判定することを特徴とする画像処理装置の制御方法。
7. 被写体を撮像した動画像を取得する取得手段と、
   前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、
   前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、
   前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、
   前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、
   を有する画像処理装置の制御方法であって、
   前記画像処理装置の判定手段が、前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定工程と、
   前記画像処理装置の更新手段が、前記判定工程において前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新工程と、
   を含み、
   前記判定手段は前記判定工程において、前記直近に検出された顔領域の位置と、前記修正手段により直近に修正された前記顔領域の位置との差分から前記顔領域が予め設定された量以上移動したと判定される場合に、前記異なる被写体であると判定することを特徴とする画像処理装置の制御方法。
8. 被写体を撮像した動画像を取得する取得手段と、
   前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、
   前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、
   前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、
   前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、
   を有する画像処理装置の制御方法であって、
   前記画像処理装置の判定手段が、前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定工程と、
   前記画像処理装置の更新手段が、前記判定工程において前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新工程と、
   を含み、
   前記動き検出手段は、前記顔検出手段による前記被写体の顔領域を検出しないフレーム、又は、前記顔検出手段により前記被写体の顔領域が検出できなかったフレームと、該フレームよりも過去のフレームとのフレーム間の相関から前記顔領域の動きを示す動き情報を検出することを特徴とする画像処理装置の制御方法。
9. コンピュータを、請求項１乃至４のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images