JP6486132B2

JP6486132B2 - 撮像装置およびその制御方法、並びにプログラム

Info

Publication number: JP6486132B2
Application number: JP2015027508A
Authority: JP
Inventors: 近藤　浩; 浩近藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-02-16
Filing date: 2015-02-16
Publication date: 2019-03-20
Anticipated expiration: 2035-02-16
Also published as: JP2016152439A

Description

本発明は、撮像装置およびその制御方法、並びにプログラムに関し、特に、複数の撮像部を有し、被写体及び撮影者の双方の顔検出を行うことが可能な撮像装置およびその制御方法、並びにプログラムに関する。

デジタルカメラでは、表示装置にライブ画像を表示させた状態で撮影待機中に被写体像の顔の特徴を示す領域から顔の位置や大きさをさまざまな被写体検出アルゴリズムにより検出する顔検出技術が実用化されている。この顔検出技術を利用して主被写体と判定した領域に対して、測距枠や測光枠を設定することによって、それらの枠に対してオートフォーカス（ＡＦ）制御、自動露出（ＡＥ）制御等を実施することも可能となっている。

近年では、被写体側だけでなく撮影者側にも撮像部を配置し、被写体とともに撮影者の表情も撮影するようなデジタルカメラも現れてきている。例えば、特許文献１では、撮影モードに応じて、被写体の表情に加えて撮影者の表情を撮影のトリガとする提案がなされており、各々の撮像部により得られた双方の画像から表情を検出するために、２つの状態検出部を持つ構成となっている。

特開２０１１−５５２５１号公報

上述した複数の撮像部を有する従来のデジタルカメラでは、被写体と撮影者の双方の顔検出を同時に行うために複数の顔検出回路を備えていることから、コストアップや消費電力の増加につながるという問題がある。そこで、単一の顔検出回路に対して、複数の撮像部から被写体の画像と撮影者の画像を時分割入力することで対応するシステムも考えられる。

しかしながら、複数の撮像部が互いに非同期で動作するため、被写体の画像と撮影者の画像を時分割入力しようとしても、顔検出回路へ入力可能なタイミングが限られてしまい、非効率で、顔検出に時間がかかってしまうおそれがある。

本発明は、上記問題に鑑みてなされたものであり、被写体及び撮影者双方の画像に対して、安価な構成で効率的に顔検出を行うことができる撮像装置およびその制御方法、並びにプログラムを提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、被写体を撮像する第１の撮像手段と、前記第１の撮像手段と非同期に動作し、撮影者を撮像する第２の撮像手段と、前記第１の撮像手段により得られた第１の画像および前記第２の撮像手段により得られた第２の画像に対して信号処理を行う信号処理手段と、前記信号処理が行われた前記第１の画像および前記第２の画像のいずれか一方または双方を一時保存する記憶手段と、前記第１の画像および前記第２の画像から被写体もしくは撮影者の顔を検出する顔検出処理を行う顔検出手段と、前記顔検出手段に対して、前記第１の撮像手段から直接あるいは前記記憶手段を経て得られる第１の画像と前記第２の撮像手段から前記記憶手段を経て得られる第２の画像を時分割で入力する制御手段とを備え、前記制御手段は、前記第１の画像に対しては、前記第１の画像に対する信号処理および前記第１の画像が前記記憶手段に一時保存されたタイミングの少なくともいずれかに応じて、前記顔検出手段に前記顔検出処理を開始させ、前記第２の画像に対しては、前記第１の画像に対する前記検出処理が完了したタイミングに応じて、前記顔検出手段に前記顔検出処理を開始させることを特徴とする。

本発明によれば、複数の撮像手段で撮像された各々の画像からの顔情報の検出を低コストかつ有効に行うことができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。撮像装置におけるメインカメラとサブカメラからの画像に対して時分割により顔検出を行う処理のフローチャートである。図２の処理において、メインカメラ画像とサブカメラ画像の顔検出割合を２：１に設定して時分割処理する場合の顔検出回路への入力タイミングを時系列で表したシーケンス図である。メインカメラ画像とサブカメラ画像の顔検出割合を１：２に設定して時分割処理する場合の顔検出回路への入力タイミングを時系列で表したシーケンス図である。

以下、本発明の実施形態を図面を参照して詳細に説明する。

図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。

撮像装置１００は、ズームレンズ１１０、自装置の動きによる像ブレを補正するためのシフトレンズ１１１、焦点調節用フォーカスレンズ１１２、これらのレンズ群を透過した光束を遮断するメカニカルシャッタ１１３、当該光束を調節する絞り１１４を備える。

また、撮像装置１００は、被写体を撮影するメインカメラ（第１の撮像手段）の撮像素子１１５、撮像素子１１５の駆動やサンプリングに必要なタイミングパルスを発生するタイミング発生部１１６を備える。

さらに、撮像装置１００は、以下の各部を備える。

画像処理部１１７は、撮像素子１１５の駆動用の同期信号を発生するＳＳＧ回路や、前処理回路、ＡＦ評価値演算回路、顔検出回路、輝度積分回路、信号処理回路、画像合成回路、縮小回路、ラスタブロック変換回路、及び圧縮回路を有する。ここで、これらの詳細について説明する。

画像処理部１１７において、ＳＳＧ回路は、タイミング発生部１１６から撮像駆動用のクロック信号を受けて、水平及び垂直同期信号を発生し、タイミング発生部１１６と撮像素子１１５に出力する。前処理回路は、入力画像を行単位で輝度積分回路と信号処理回路とに分配する。また、前処理回路は、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路は、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストを表す所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。顔検出回路は、入力画像の中から複数の人物の顔の特徴抽出を行い、それらの位置情報、サイズ情報を取得する。

また、画像処理部１１７において、輝度積分回路は、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。信号処理回路は、撮像素子１１５の出力データに色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２３にＹＵＶ形式の画像データを形成する。また、信号処理回路は、生成するＹＵＶ形式の画像データの輝度信号（Ｙ）をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。

画像合成回路は、メモリ部１２３に形成された複数のＲＧＢ形式の撮像画像、あるいはその撮像画像に対して信号処理を施した複数のＹＵＶ形式の画像データを入力し、画像データに対し画素単位で設定された係数を乗じて加算することにより合成画像を生成する。縮小回路は、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直方向に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路は、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２３がバッファメモリとして用いられて実現される。圧縮回路は、バッファメモリでブロックスキャン画像データに変換されたＹＵＶ画像データを動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。

撮像装置１００において、露出制御部１１８は、メカニカルシャッタ１１３、および絞り１１４を制御する。レンズ制御部１１９は、ズームレンズ１１０、焦点調節用フォーカスレンズ１１２を光軸上に沿って移動させ、被写界像を撮像素子１１５上に結像させる。また、レンズ制御部１１９は、不図示の角速度センサと加速度センサの出力に応じてシフトレンズ１１１を駆動し、撮像装置の手ブレを光学的に補正する。

レリーズスイッチ１２０は、静止画の撮影指示を行うためのスイッチである。動画記録スイッチ１８０は、動画の撮影指示を行うためのスイッチである。

システム制御部１２１は、ＣＰＵとそのインターフェース回路、ＤＭＡＣ（Ｄｉｒｅｃｔ・Ｍｅｍｏｒｙ・Ａｃｃｅｓｓ・Ｃｏｎｔｒｏｌｌｅｒ）、バスアービター等で構成される。ＣＰＵが実行するプログラムは、フラッシュメモリ１２２に記憶されている。また、メモリ部１２３は、ＤＲＡＭ等からなり、各処理途中のデータを一時保存する他、フラッシュメモリ１２２内のプログラムもこちらに展開され使用される。

Ｉ／Ｆ１２４は、記録媒体２００との通信を制御するインターフェースである。コネクタ１２５は、記録媒体２００と接続を行うコネクタである。

マイクロフォン１２７（音声入力手段）は、入力された音声を音声信号に変換する。Ａ／Ｄ変換部１２８は、マイクロフォン１２７の音声出力をデジタル音声信号に変換する。音声処理部１２９は、デジタル音声データに所定の音声処理を施し、音声ビットストリームを出力する。

電源制御部１３０は、電源コネクタ１３１を介して、一次電池あるいは二次電池あるいはＡＣアダプター等からなる電源１３２に接続し、不図示の電池検出回路、ＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

上記各部の制御はシステム制御部１２１で行われる。

再生回路１５０は、画像処理部１１７で生成され、メモリ部１２３に記憶された画像データを表示用画像に変換してモニタ１５１（表示装置）に転送する。再生回路１５０では、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号に変換生成して、モニタ１５１に出力される。このように、撮像素子からの画像データを逐次処理して表示することによってＥＶＦが実現される。

サブカメラモジュール１６２は、撮影者側に向けられたサブカメラレンズ１６１を備え、撮影者を撮影するためのサブカメラ（第２の撮像手段）である。このサブカメラモジュール１６２は、単独でタイミング発生、信号処理、画像処理、露出制御等を行う機能を有しており、タイミング発生部１１６、画像処理部１１７、露出制御部１１８を使用しなくても現像済み画像を出力することができる。ただし、メインカメラ側とのバランスを考慮して、システム制御部１２１からの指示により、ある程度の制御が行えるよう構成されている。

記録媒体２００は、半導体メモリ等から構成される記録部２０１と、撮像装置１００との間の通信を制御するＩ／Ｆ２０２と、撮像装置１００と接続を行うコネクタ２０３とから構成される。

図２は、撮像装置１００におけるメインカメラとサブカメラからの画像に対して時分割により顔検出を行う処理のフローチャートである。なお、本処理は、システム制御部１２１がフラッシュメモリ１２２等から読み出したプログラムを実行することにより実現される。

前提条件として、メインカメラの動画は１２８０ｘ７２０画素の３０ｆｐｓ、サブカメラの動画は６４０ｘ４８０の３０ｆｐｓとして、それぞれの撮像素子より、非同期で読み出されるものとする。メインカメラとサブカメラは同一のフレームレートであるため、メモリ部１２３（ＤＲＡＭ）へのバッファリングなしで時分割の顔検出処理を行うことは事実上不可能である。このため、本実施形態では、メイン側をオンフライで、サブ側をＤＲＡＭバッファリング処理とする。そして、メインカメラからの画像（以下、「メインカメラ画像」とする）を顔検出回路に入力する割合（顔検出割合）とサブカメラからの画像（以下、「サブカメラ画像」とする）を顔検出回路に入力する顔検出割合を２：１に設定するものとする（図３参照）。

また、上記画像処理部１１７内のＳＳＧ回路、タイミング発生部１１６の制御によりフレームレート３０ｆｐｓにて撮像されたメインカメラ画像（第１の画像）は、画像処理部１１７内の前処理回路で前処理、信号処理回路で現像処理が実施される。また、記録画素数に合わせ縮小回路にて縮小処理が行われる。一方、サブカメラ画像（第２の画像）は、サブカメラモジュール１６２内で順次現像処理が実行される。現像済画像は、順次ＤＲＡＭに一時保存されるように制御がなされているものとする。

まず初期設定として、システム制御部１２１は、メインカメラの顔検出割合ＭＮを２、サブカメラの顔検出割合ＳＮを１に設定する（Ｓ２０１）。次に、システム制御部１２１は、メインカメラの顔検出処理カウント用変数ＭＣＮＴおよびサブカメラの顔検出処理カウント用変数ＳＣＮＴにそれぞれ０を代入する（Ｓ２０２）。

次に、システム制御部１２１は、ライブビュー表示または動画撮影の終了有無の判定を行い（Ｓ２０３）、終了指令が来ていないと判定した場合はＳ２０４へ進む。一方、終了指令が来ていた場合には、本処理を終了する。

Ｓ２０４では、システム制御部１２１は、メインカメラ画像の１画面分の現像処理が完了したかを判定し、完了した場合には、顔検出回路に現像済み画像を入力して、メインカメラ画像の顔検出処理を実行させる（Ｓ２０５）。

次に、システム制御部１２１は、変数ＭＣＮＴに１を加算し（Ｓ２０６）、顔検出割合の設定値ＭＮと変数ＭＣＮＴとを比較して（Ｓ２０７）、ＭＮ＞ＭＣＮＴであればＳ２０３へ戻り、ＭＮ＝ＭＣＮＴとなった場合はＳ２０８へ進む。

Ｓ２０８では、システム制御部１２１は、メモリ部１２３（ＤＲＡＭ）に保存された現像済みの最新のサブカメラ画像を顔検出回路に入力して、サブカメラ画像の顔検出処理を実行させる。

次に、システム制御部１２１は、変数ＳＣＮＴに１を加算し（Ｓ２０９）、顔検出割合の設定値ＳＮと変数ＳＣＮＴとを比較して（Ｓ２１０）、ＳＮ＞ＳＣＮＴであればＳ２０５へ戻り、ＳＮ＝ＳＣＮＴとなった場合はＳ２０２へ戻る。

図３は、図２の処理において、メインカメラ画像とサブカメラ画像の顔検出割合を２：１に設定して時分割処理する場合の顔検出回路への入力割合を時系列で表したシーケンス図である。

メインカメラ画像およびサブカメラ画像のフレームレートは、いずれも３０ｆｐｓであるが、互いに非同期で動作しているため、撮像素子からの読み出しタイミングは異なっている。

本実施形態では、メインカメラ画像とサブカメラ画像の顔検出割合を２：１としたため、図３からもわかるようにメインカメラ画像の顔検出回路への入力数の割合が高くなっている。実際のユースケースにおいても、通常サブカメラ側の画像は撮影者であり、多くの場合一人であって大きな動きはあまりないため、サブカメラ画像の顔検出回路への入力数の割合を下げておいても問題ないといえる。むしろメインカメラで撮影される被写体となる人物の動きや表情の変化を迅速に捉えることができるというメリットがある。

また、本実施形態では、メインカメラ画像については画像処理部１１７による現像直後のＤＲＡＭにバッファリングされたばかりの画像が使用されるのに対して、サブカメラ画像はＤＲＡＭにバッファリングされた現像処理済み画像のうちの最新のものが使用される。つまり、メインカメラ画像に対する顔検出処理は、メインカメラ画像についての現像処理後のバッファリング完了のタイミングに合わせて開始される。これに対し、サブカメラ画像に対する顔検出処理は、サブカメラ画像についてのバッファリング完了のタイミングに合わせて開始されるわけではない。メインカメラ画像についての所定回数の顔検出が完了した際に、ＤＲＡＭにすでにバッファリングされているサブカメラ画像の中から、最後にバッファリングされたサブカメラ画像が読み出されて顔検出処理が開始される。その点で、メインカメラ画像については、撮像素子からの読み出しに対する顔検出処理の遅れ時間がサブ画像よりも小さくなるようにしてリアルタイム性を向上させている。さらに、顔検出回路に対して、メインカメラ画像またはサブカメラ画像が間断なく入力される構成であることから、顔検出回路を時間的に無駄なく利用することが可能である。さらに、サブカメラ画像に対する顔検出処理の時間が長引いて、次のメインカメラ画像についての現像処理の開始が遅れる可能性がある場合には、そのサブカメラ画像に対する顔検出処理を強制終了するようにしてもよい。こうすることで、メインカメラ画像に対しては常に遅延なく顔検出処理を開始することができるようになる。

本実施形態では、メインカメラ画像のメモリ部１２３へのバッファリング完了とともに顔検出処理を開始しているが、サブカメラ画像のメモリ部１２３への書き込み完了をトリガにして顔検出を開始する構成であってもよい。あるいは、メインカメラ画像は、メモリ部１２３へのバッファリングと並行して、顔検出回路へ直接に入力され、顔検出処理が実行されるようにしてもよい。

次に、図２のＳ２０１を変更し、ＭＮ←１，ＳＮ←２を設定した場合、時分割処理におけるメインカメラ画像とサブカメラ画像の顔検出割合は１：２となる。

図４は、メインカメラ画像とサブカメラ画像の顔検出割合を１：２に設定して時分割処理する場合の顔検出回路への入力タイミングを時系列で表したシーケンス図である。

図４からもわかるように、メインカメラ画像とサブカメラ画像の顔検出割合を１：２としたため、サブカメラ画像の顔検出回路への入力数が高くなっている。そこで、メインカメラ側に人がいない場合、すなわちメインカメラ画像から検出された顔の検出数がゼロとなって所定時間経過した場合に、システム制御部１２１により、図示の設定に切り替えてやれば、サブカメラ側の検出精度を向上させることができる。なお、サブカメラ側に人がいない場合（例えば自動撮影等）でも、同様の方法で設定を切り替える構成であってもよい。

メインカメラ画像とサブカメラ画像の顔検出割合の設定切り替えは、サブカメラ画像を優先させるような撮影モードが選択された場合、あるいはマイクロフォン１２７から得られる音声レベルに応じて切り替えることも可能である。撮影状況に応じて図４に示した設定に切り替えることにより、サブカメラ側の人物の動きや表情の変化を迅速に捉えることができるというメリットがある。

また、本実施形態では、顔検出数や撮影モード、音声レベルに応じて、メインカメラ画像とサブカメラ画像の顔検出割合を変更しているが、撮影状況に応じて変更することも可能である。例えば、メインカメラの静止画撮像前のフレーミング中は、図３に示したシーケンスにより、メインカメラ画像の顔検出回路への入力数を増加させる。そして、メインカメラ側の静止画撮像後の所定の時間だけ、図４のシーケンスに従い、サブカメラ画像の顔検出回路への入力数を増加させた顔検出時分割処理に変更する。このような制御を行うことによって、撮像前はメインカメラ優先、撮像直後はサブカメラ優先の顔検出処理を実現することが可能である。

以上説明したように、単一の顔検出回路に対して、メインカメラ画像とサブカメラ画像を時分割で入力する場合に、顔検出回路に入力するメインカメラ画像とサブカメラ画像の単位時間あたりの割合を、所定の条件に応じて変更する。これにより、被写体及び撮影者双方の画像に対して、効率的に顔検出を行うことができ、複数の撮像手段で撮像された各々の画像からの顔情報の検出を低コストかつ有効に行うことができる。

なお、上述した実施の形態の処理は、各機能に具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

また、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００撮像装置
１１５撮像素子
１１６タイミング発生部
１１７画像処理部
１２１システム制御部
１２３メモリ部
１６１サブカメラレンズ
１６２サブカメラモジュール

Claims

被写体を撮像する第１の撮像手段と、
前記第１の撮像手段と非同期に動作し、撮影者を撮像する第２の撮像手段と、
前記第１の撮像手段により得られた第１の画像および前記第２の撮像手段により得られた第２の画像に対して信号処理を行う信号処理手段と、
前記信号処理が行われた前記第１の画像および前記第２の画像のいずれか一方または双方を一時保存する記憶手段と、
前記第１の画像および前記第２の画像から被写体もしくは撮影者の顔を検出する顔検出処理を行う顔検出手段と、
前記顔検出手段に対して、前記第１の撮像手段から直接あるいは前記記憶手段を経て得られる第１の画像と前記第２の撮像手段から前記記憶手段を経て得られる第２の画像を時分割で入力する制御手段とを備え、
前記制御手段は、前記第１の画像に対しては、前記第１の画像に対する信号処理および前記第１の画像が前記記憶手段に一時保存されたタイミングの少なくともいずれかに応じて、前記顔検出手段に前記顔検出処理を開始させ、前記第２の画像に対しては、前記第１の画像に対する前記検出処理が完了したタイミングに応じて、前記顔検出手段に前記顔検出処理を開始させることを特徴とする撮像装置。
前記制御手段は、前記顔検出手段に入力する前記第１の画像と前記第２の画像の単位時間あたりの割合を、所定の条件に応じて変更することを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記顔検出手段に入力する前記第１の画像と前記第２の画像の単位時間あたりの割合を、前記第１の画像から検出された顔の検出数または前記第２の画像から検出された顔の検出数の変化に応じて変更することを特徴とする請求項２記載の撮像装置。
前記制御手段は、前記第１の画像から検出された顔の検出数または前記第２の画像から検出された顔の検出数がゼロになって所定時間が経過した後に変更することを特徴とする請求項３に記載の撮像装置。
前記制御手段は、前記顔検出手段に入力する前記第１の画像と前記第２の画像の単位時間あたりの割合を、撮影モードに応じて変更することを特徴とする請求項２記載の撮像装置。
音声を入力する音声入力手段をさらに備え、
前記制御手段は、前記顔検出手段に入力する前記第１の画像と前記第２の画像の単位時間あたりの割合を、前記音声入力手段に入力される音声レベルに応じて変更することを特徴とする請求項２記載の撮像装置。
前記第１の撮像手段による静止画撮像前では、前記顔検出手段に入力する前記第２の画像の単位時間あたりの割合に対して、前記第１の画像の単位時間あたりの割合を増加させ、
前記第１の撮像手段による静止画撮像後の所定時間だけ、前記顔検出手段に入力する前記第１の画像の単位時間あたりの割合に対して、前記第２の画像の単位時間あたりの割合を増加させることを特徴とする請求項２記載の撮像装置。
被写体を撮像する第１の撮像手段と、前記第１の撮像手段と非同期に動作し、撮影者を撮像する第２の撮像手段と、前記第１の撮像手段により得られた第１の画像および前記第２の撮像手段により得られた第２の画像に対して信号処理を行う信号処理手段と、を備える撮像装置の制御方法であって、
前記信号処理が行われた前記第１の画像および前記第２の画像のいずれか一方または双方を記憶手段に一時保存する記憶工程と、
前記第１の画像および前記第２の画像から被写体もしくは撮影者の顔を検出する顔検出手段に対して、前記第１の撮像手段から直接あるいは前記記憶手段を経て得られる第１の画像と前記第２の撮像手段から前記記憶手段を経て得られる第２の画像を時分割で入力する制御工程を備え、
前記制御工程は、前記第１の画像に対しては、前記第１の画像に対する信号処理および前記第１の画像が前記記憶手段に一時保存されたタイミングの少なくともいずれかに応じて、前記顔検出手段に顔検出処理を開始させ、前記第２の画像に対しては、前記第１の画像に対する前記顔検出処理が完了したタイミングに応じて、前記顔検出手段に前記顔検出処理を開始させることを特徴とする制御方法。
請求項８に記載の制御方法をコンピュータに実行させるためのコンピュータに読み取り可能なプログラム。