JP5660306B2 - 撮像装置、プログラム、及び撮像方法 - Google Patents

Description

本発明は、撮像画像中の被写体を追尾して認識を行う撮像装置、プログラム、及び撮像方法に関する。

近年、デジタルスチルカメラやビデオカメラなどの撮像装置にあっては、人物を撮影するケースが多いことから撮影画像内の被写体の顔を検出する顔検出機能が備えられており、撮影画像内の被写体の顔を検出すると、その顔にピントを合わせたり、顔の色を美しくするために露出やホワイトバランスを調整したりするようにしている。
この種の技術としては、従来、例えば、撮像画像内の人物の顔が検出された場合に、その画像内の顔の明るさを適正化する露出制御を行うようにした技術が開示されている（特許文献１参照）。

特開２００７−２０１９７９号公報

しかしながら、上述の顔検出機能を撮影中に動作させることで夜間や逆光などのときに人物の顔が暗く映ってしまことを防ぐことができ、人物の顔に照準が合った綺麗な撮影が可能となるが、一般的に動作負荷が大きく、消費電力も大きくなってしまうという問題があった。この消費電力に関する問題は、顔検出技術に代表される被写体認識技術全般にいえることでもあった。

本発明の課題は、消費電力の大きい被写体認識機能を撮影中に動作させる場合にその被写体認識機能の動作を必要最小限に抑制できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、
撮像画像中の被写体を追尾して認識を行う被写体認識手段と、
前記撮像画像の手ブレ方向を検出する手ブレ検出手段と、
前記手ブレ検出手段により検出された過去のブレ方向と今回のブレ方向とから、将来のブレ方向が予測可能か否かを判別する判別手段と、
前記判別手段によりブレ方向が予測可能と判別された場合に、前記被写体認識手段を停止する制御を行う制御手段と、
を備えることを特徴とする。

請求項１に従属する発明として、
前記手ブレ検出手段は、撮像画像のブレ量を更に検出し、
前記判別手段は、前記手ブレ検出手段により検出されたブレ量が所定の値以下か否かを更に判別し、
前記制御手段は、前記判別手段によりブレ量が所定の値以下と判別された場合に、前記被写体認識手段を停止する制御を更に行う、
ようにしたことを特徴とする、請求項２記載の発明であってもよい。

請求項２に従属する発明として、
前記被写体認識手段により認識された被写体認識データを蓄積して記憶する記憶手段と、
前記制御手段により前記被写体認識手段を停止する制御が行われた際に、前記記憶手段に記憶されている被写体認識データ及び前記手ブレ検出手段により検出されたブレ量及び方向から最新の被写体認識データを予測する予測手段と、
を更に備える、
ようにしたことを特徴とする、請求項３記載の発明であってもよい。

請求項１に従属する発明として、
前記被写体認識手段により認識された被写体認識データを蓄積して記憶する記憶手段と、
前記制御手段により前記被写体認識手段を停止する制御が行われた際に、前記記憶手段に記憶されている直前の被写体認識データを最新の被写体認識のデータとして取得するデータ取得手段と、
を更に備える、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。

請求項１に従属する発明として、
前記被写体認識手段により認識された被写体認識データを蓄積して記憶する記憶手段と、
前記制御手段により前記被写体認識手段を停止する制御が行われた際に、前記記憶手段に記憶されている複数の被写体認識データを平均化して最新の被写体認識データとして算出するデータ取得手段と、
を更に備える、
ようにしたことを特徴とする、請求項５記載の発明であってもよい。

上述した課題を解決するために請求項６記載の発明は、
撮像画像中の被写体を追尾して認識を行う被写体認識手段と、
前記撮像画像の手ブレ量を検出する手ブレ検出手段と、
前記撮像画像中の被写体のブレ量を検出する被写体ブレ検出手段と、
前記手ブレ検出手段により検出されたブレ量及び前記被写体ブレ検出手段により検出されたブレ量から総合ブレ量を算出するブレ量算出手段と、
前記ブレ量算出手段により算出された総合ブレ量が所定の値以下か否かを判別する判別手段と、
前記判別手段により総合ブレ量が所定の値以下と判別された場合に、前記被写体認識手段を停止する制御を行う制御手段と、
を備えることを特徴とする。

請求項６に従属する発明として、
前記手ブレ検出手段は、前記撮像画像中の手ブレ方向を更に検出し、
前記被写体ブレ検出手段は、前記撮像画像中の被写体のブレ方向を更に検出し、
前記判別手段は、前記手ブレ検出手段により検出されたブレ方向及び前記被写体ブレ検出手段により検出されたブレ方向から将来のブレ方向が予測可能か否かを更に判別し、
前記制御手段は、前記判別手段によりブレ方向が予測可能と判別された場合に、前記被写体認識手段を停止する制御を更に行う、
ようにしたことを特徴とする、請求項７記載の発明であってもよい。

請求項７に従属する発明として、
前記被写体認識手段により認識された被写体認識データを蓄積して記憶する記憶手段と、
前記制御手段により前記被写体認識手段を停止する制御が行われた際に、前記記憶手段に記憶されている被写体認識データ、前記手ブレ検出手段により検出されたブレ量及び方向並びに前記被写体ブレ検出手段により検出されたブレ量及び方向から最新の被写体認識データを予測する予測手段と、
を更に備える、
ようにしたことを特徴とする、請求項８記載の発明であってもよい。

請求項１又は６に従属する発明として、
前記被写体認識手段は、撮像画像中の被写体の顔を検出する顔検出機能である、
ことを特徴とする、請求項９記載の発明であってもよい。

また、上述した課題を解決するために請求項１０記載の発明は、
コンピュータに対して、
撮像画像中の被写体を追尾して認識を行う機能と、
前記撮像画像の手ブレ方向を検出する機能と、
前記検出された過去のブレ方向と今回のブレ方向とから、将来のブレ方向が予測可能か否かを判別する機能と、
前記ブレ方向が予測可能と判別された場合に、前記被写体認識を停止する制御を行う機能と、
を実現させるためのプログラム、であることを特徴とする。

また、上述した課題を解決するために請求項１１記載の発明は、
コンピュータに対して、
撮像画像中の被写体を追尾して認識を行う機能と、
前記撮像画像の手ブレ量を検出する機能と、
前記撮像画像中の被写体のブレ量を検出する機能と、
前記検出された手ブレ量及び前記検出された被写体のブレ量から総合ブレ量を算出する機能と、
前記算出された総合ブレ量が所定の値以下か否かを判別する機能と、
前記総合ブレ量が所定の値以下と判別された場合に、前記被写体認識を停止する制御を行う機能と、
を実現させるためのプログラム、であることを特徴とする。
また、上述した課題を解決するために請求項１２記載の発明は、
撮像装置における撮像方法であって、
撮像画像中の被写体を追尾して認識を行う処理と、
前記撮像画像の手ブレ方向を検出する処理と、
前記検出された過去のブレ方向と今回のブレ方向とから、将来のブレ方向が予測可能か否かを判別する処理と、
前記ブレ方向が予測可能と判別された場合に、前記被写体認識を停止する制御を行う処理と、
を含むことを特徴とする。
また、上述した課題を解決するために請求項１３記載の発明は、
撮像装置における撮像方法であって、
撮像画像中の被写体を追尾して認識を行う処理と、
前記撮像画像の手ブレ量を検出する処理と、
前記撮像画像中の被写体のブレ量を検出する処理と、
前記検出された手ブレ量及び前記検出された被写体のブレ量から総合ブレ量を算出する処理と、
前記算出された総合ブレ量が所定の値以下か否かを判別する処理と、
前記総合ブレ量が所定の値以下と判別された場合に、前記被写体認識を停止する制御を行う処理と、
を含むことを特徴とする。

本発明によれば、消費電力の大きい被写体認識機能を撮影中に動作させる場合にその被写体認識機能の動作を必要最小限に抑制することができ、それだれ消費電力を削減することか可能となる。

撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。 記憶部３内の顔検出フラグＦを説明するための図。 電源投入に伴って実行開始されるデジタルカメラの全体動作のうち、第１実施形態の特徴的な動作を示したフローチャート。 第２実施形態のデジタルカメラの特徴的な動作を示したフローチャート。 第３実施形態のデジタルカメラの特徴的な動作を示したフローチャート。 図５の動作に続くフローチャート。

（実施形態１）
以下、図１〜図３を参照して本発明の第１実施形態を説明する。
図１は、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
デジタルカメラ（撮像装置）は、静止画像のほかに動画像の撮影も可能なコンパクトカメラで、静止画撮影又は動画撮影中に撮影画像（静止画撮影にあってはスルー画像）内の被写体（例えば、人物、ペットなど）の顔を検出する顔検出機能を有し、制御部１を中核としている。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラ（以下、カメラと略称する）の全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図３に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部Ｍ１と、撮像済み画像（静止画像、動画像）を保存する画像記憶部Ｍ２、撮影時にフレーム単位で複数フレーム分のデータを蓄積可能なフレームメモリＭ３を有するほか、このカメラが動作するために必要となる各種の情報（例えば、後述する顔検出フラグＦなど）を一時的に記憶するワーク領域を有する構成となっている。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態においては所定の外部サーバ側の記憶領域を含むものであってもよい。

表示部４は、例えば、高精細液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、電気泳動型ディスプレイ（電子ペーパ）のいずれかを使用し、画像を高精細に表示するもので、撮像された画像（スルー画像：ライブビュー画像）を表示するファインダ画面（モニタ画面）として機能したり、保存済み画像を表示する再生画面として機能したりする。なお、この表示部４の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン（タッチ画面）を構成するようにしてもよい。

操作部５は、図示省略したが、シャッタ操作、動画撮影操作、露出やシャッタスピードなどの撮影条件の設定操作、撮影済み画像の再生を指示する再生操作などを行う押しボタン式の各種のキーを備えたもので、制御部１は、この操作部５からの入力操作信号に応じた処理として、例えば、撮影処理、撮影条件の設定、再生処理、データ入力処理などを行う。なお、シャッタボタンは、２段押し構造となっており、静止画撮影時に半押し操作では撮影準備、全押し操作では本撮影を行って撮影画像を保存するようにしている。

撮像部６は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、静止画像のほかに動画像の撮影も可能となっている。この撮像部６には、絞り部、撮像素子、光学系駆動部、照明用のストロボ、アナログ処理回路、信号処理回路などが備えられている。この撮像部６と制御部１とは、オートフォーカス処理（ＡＦ処理）、ズーム処理、露出調整処理（ＡＥ処理）を実行したり、撮像部６からの画像データに対して各種の画像処理としてホワイトバランス調整・色補間処理を実行したり、画像処理として収差補正処理を行ったり、画像をＪＰＥＧ形式などの画像形式に圧縮する圧縮処理を実行したり、この圧縮データを伸長復元する復元処理などを実行したりする。

顔検出部７は、撮影画像（静止画撮影にあってはスルー画像）中の被写体を追尾して認識する被写体認識機能を構成するもので、最大フレームレート（例えば、３００ｆｐｓ）で撮像部６から撮像画像を取り込み、フレーム単位毎に撮影画像を解析しながら被写体（例えば、人物やペットなど）の顔の輪郭や顔を形成するバーツ（目、口、鼻、額など）の形や位置関係などを総合的に判断して、被写体の顔を検出すると共に、複数フレームにわたって連続的に登場する同一被写体の顔を追尾するようにしている。このように顔検出部７は、撮影画像を解析することにより撮影画像内の被写体の顔を検出し、この顔検出部７により検出（認識）された被写体認識データ（顔検出データ）を最新のデータとしてフレームメモリＭ３に蓄積するようにしている。なお、この顔検出部７は、撮影時に任意に動作させることが可能であり、ユーザ操作により顔検出部７を動作状態（オン状態）とさせるか停止状態（オフ状態）とさせるかをユーザ操作により任意に選択可能となっている。

ここで、制御部１は、撮影時に顔検出部７がオン状態されている状態において撮影画像を取得して、被写体の顔を検出すると共に、検出した被写体の顔にピントを合わせたり、顔の色を美しくするために露出やホワイトバランスを調整したり制御を行うようにしているが、このような顔検出機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。この場合、顔検出部７は、静止画撮影時に限らず、動画撮影時にオン状態とするようにしてもよい。すなわち、静止画を撮影する場合、シャッタボタンの半押し操作で被写体の顔検出に応じてピントや露出などを調整する処理が行われ。また、動画撮影時には、被写体の顔を追跡検出しながらピントや露出などを調整し続ける処理が行われる。

手ブレ検出部８は、カメラ撮影時の横ブレ、縦ブレ、前後のブレ、横方向の回転ブレ、上下方向の回転ブレなどを検出するもので、例えば、ジャイロセンサ又はジャイロセンサと加速度センサとを組み合わせた構成となっている。制御部１は、この手ブレ検出部８からの検出結果に基づいて手ブレ量及び手ブレ方向を特定し、この手ブレ量及び手ブレ方向に応じて手ブレ補正機能を動作させるようにしているが、この手ブレ補正機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。なお、被写体ブレ検出部９は、第２及び第３実施形態で使用するものであるため、後述するものとする。

上述した顔検出部７が動作している顔検出オン状態において、制御部１は、手ブレ量が所定の値以下か否かを判別し、所定の値以下であれば、顔検出部７を停止させるようにしている。つまり、撮影時に手ブレが発生した場合に手ブレ量が所定値以下であれば、その間、顔検出部７を停止したとしても直前に検出した顔を最新の顔として認識することができ、顔検出に影響を与えることがないために、手ブレ量が所定値以下であることを条件に、顔検出部７を停止させるようにしている。なお、上述の所定値は、顔検出に影響を与えることがない範囲内の値であり、ユーザ操作により任意に設定可能としてもよい。

更に、顔検出部７が動作している顔検出オン状態において、制御部１は、フレームメモリＭ３に蓄積されている過去複数フレーム分のブレ方向に基づいて将来のブレ方向が予測可能か否かを更に判別し、ブレ方向が予測可能であれば、顔検出部７を停止させるようにしている。つまり、撮影時に手ブレが発生した場合に将来のブレ方向が予測可能であれば、その間、顔検出部７を停止したとしても最新の顔を認識することができ、顔検出に影響を与えることがないために、ブレ方向が予測可能であることを条件に、顔検出部７を停止させるようにしている。なお、ブレ方向が予測可能であるか否かは、例えば、複数フレームにわたって被写体の動く方向が略同一で、かつブレ量も略同一か否かに基づいて判断するようにしており、動く方向及びブレ量が略同一であれば、予測可能としている。

図２は、記憶部３内の顔検出フラグＦを説明するための図である。
顔検出フラグＦは、静止画撮影時や動画撮影時にその画像中の被写体の顔を検出するために顔検出部７が動作状態（顔検出オン状態）にあるか否かなどを示すフラグであり、その値は、“０”、“１”、“２”に変更される。ここで、顔検出フラグＦの値が“０”のときには、顔検出部７が非動作状態（顔検出オフ状態）にあることを示している。また、顔検出フラグＦの値が“１”のときには、顔検出部７が動作状態（顔検出オン状態）にあることを示している。顔検出フラグＦの値が“２”のときには、顔検出部７の動作を一時停止させている態（顔検出一時停止状態）にあることを示し、顔検出部７が動作している状態において、上述したように手ブレ量が所定値以下の場合やブレ方向が予測可能な場合に一時停止状態となる。

次に、第１実施形態におけるカメラの動作概念を図３に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは、後述する他の実施形態でも同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図３は、デジタルカメラの全体動作のうち、本実施形態の特徴的な動作を示したフローチャートで、電源投入に伴って実行開始される。
先ず、制御部１は、所定メモリの内容をクリアしたり、記憶部３のワーク領域内の顔検出フラグＦを“０（顔検出オフ状態）”としたりするなどの初期化処理を実行した後（ステップＡ１）、撮影操作が行われたかを調べたり（ステップＡ２）、顔検出部７の起動を指示する起動操作が行われたかを調べたり（ステップＡ３）、その他の操作が行われたかを調べたりしながら（ステップＡ５）、操作待ち状態となる。

顔検出部７の起動を指示する起動操作が行われたときには（ステップＡ３でＹＥＳ）、上述の顔検出フラグＦを“１（顔検出オン状態）”にする処理（ステップＡ４）を行った後、上述のステップＡ２に戻る。また、撮影操作や起動操作以外のその他の操作が行われたときには（ステップＡ５でＹＥＳ）、例えば、露出やシャッタスピードなどの撮影条件の設定操作、撮影済み画像の再生を指示する再生操作などが行われたときには、その操作に応じた処理として、例えば、撮影条件設定処理、画像再生処理などを行い（ステップＡ６）、その後、上述のステップＡ２に戻る。なお、その他の操作として、電源オフ操作が行われたときには、図示しないが、電源オフ処理を行った後に、このフローの終了となる。

いま、撮影操作として、静止画撮影ではシャッタボタンの半押し操作、動画撮影では動画撮影開始ボタンが操作されたときには（ステップＡ２でＹＥＳ）、顔検出フラグＦは、“１”（顔検出オン状態）であるかを調べ（ステップＡ７）、その値が“０”であれば（ステップＡ７でＮＯ）、後述するステップＡ９に移るが、“１”であれば（ステップＡ７でＹＥＳ）、ステップＡ８に移り、顔検出オン状態にある顔検出部７が撮像部６から取得した撮影画像（スルー画像）を解析することにより撮影画像内の被写体の顔を検出すると、この顔検出部７により検出（認識）された被写体認識データ（顔検出データ）を最新のデータとしてフレームメモリＭ３に蓄積する処理を行う。

そして、次のステップＡ９では、手ブレ検出部８からの検出結果に基づいてフレーム間のブレ量及びブレ方向を検出し、この検出したブレ量は所定の値以下であるかを調べる（ステップＡ１０）。いま、ブレ量が所定値以下であれば（ステップＡ１０でＹＥＳ）、顔検出フラグＦの値が“１”であるかを調べ（ステップＡ１１）、“１”でなければ（ステップＡ１１でＮＯ）、顔検出フラグＦは“０”又は“２（顔検出一時停止状態）”であるから、後述するステップＡ２３に移るが、“１”であれば（ステップＡ１１でＹＥＳ）、顔検出部７の動作を停止させると共に（ステップＡ１２）、それに応じて顔検出フラグＦの値を“１”から“２（顔検出一時停止状態）”に変更する（ステップＡ１３）。そして、フレームメモリＭ３に蓄積されている直前の被写体認識データ（顔検出データ）を最新の被写体認識データ（顔検出データ）として採用した後（ステップＡ１４）、この最新の顔検出データに基づいて撮影条件（例えば、露出、ピントなど）を自動調整する処理を行う（ステップＡ２３）。その後、ステップＡ２４に移る。

また、検出したブレ量が所定値を超えている場合には（ステップＡ１０でＮＯ）、次のステップＡ１５に移り、フレームメモリＭ３に蓄積されている過去複数フレーム分のブレ方向と、今回検出したブレ方向から将来のブレ方向を予測することが可能か否かを判別する。この場合、過去複数フレーム分のブレ方向と、今回検出したブレ方向が略同一であれば、将来のブレ方向が予測可能であると判断する。いま、予測が可能であれば（ステップＡ１５でＹＥＳ）、顔検出フラグＦの値が“１”であるかを調べ（ステップＡ１６）、“１”でなければ（ステップＡ１６でＮＯ）、顔検出フラグＦは“０”又は“２”であるから、後述するステップＡ２３に移るが、“１”であれば（ステップＡ１６でＹＥＳ）、顔検出部７の動作を停止させると共に（ステップＡ１７）、それに応じて顔検出フラグＦの値を“１”から“２（顔検出一時停止状態）”に変更する（ステップＡ１８）。

次に、フレームメモリＭ３に蓄積されている過去複数フレーム分の被写体認識データ（顔検出データ）と、検出したブレ量及びブレ方向から最新の被写体認識データ（顔検出データ）を予測する処理を行う（ステップＡ１９）。この場合、複数フレームにわたって略同一の方向及びブレ量から最新の顔検出データを予測する。そして、最新の顔検出データに基づいて撮影条件（例えば、露出、ピントなど）を自動調整する処理（ステップＡ２３）を行った後、ステップＡ２４に移る。

一方、検出したブレ量が所定値を超えている場合で（ステップＡ１０でＮＯ）、かつ、将来のブレ方向の予測が不可能な場合には（ステップＡ１５でＮＯ）、次のステップＡ２０に移り、顔検出フラグＦが“２（顔検出一時停止状態）”であるかを調べる。ここで、顔検出部７の動作が一時停止している状態において、検出したブレ量が所定値を超え、かつ、そのブレ方向が予測不可能なときには（ステップＡ１０でＮＯ、ステップＡ１５でＮＯ、ステップＡ２０でＹＥＳ）、顔検出部７の動作を再開させる（ステップＡ２１）。そして、顔検出フラグＦを“２（顔検出一時停止状態）”から“１（顔検出オン状態）”に復帰（ステップＡ２２）させた後、ステップＡ２４に移る。

このステップＡ２４では、撮影終了操作が行われたかを調べ、撮影終了操作が行われなければ（ステップＡ２４でＮＯ）、その他の撮影操作が行われたかを調べる（ステップＡ２６）。ここで、いずれの操作も行われなければ（ステップＡ２４でＮＯ、ステップＡ２６でＮＯ）、上述のステップＡ７に戻るが、その他の操作としてズームや露出などの調整操作などが行われたときには（ステップＡ２６でＹＥＳ）、操作に応じた処理として、ズームや露出などの調整処理（ステップＡ２７）を行った後、上述のステップＡ７に戻る。また、撮影終了操作として、静止画撮影ではシャッタボタンの全押し操作、動画撮影では動画撮影終了ボタンが操作されたときには（ステップＡ２４でＹＥＳ）、撮影画像の圧縮や保存などの撮影終了処理（ステップＡ２５）を実行した後、上述のステップＡ２に戻る。

以上のように、第１実施形態において制御部１は、顔検出部７が動作している顔検出オン状態において、手ブレ量が所定の値以下か否かを判別し、所定の値以下であれば、顔検出部７を停止させるようにしたので、消費電力の大きい顔検出機能を撮影中に動作させる場合にその顔検出機能の動作を必要最小限に抑制することができ、それだけ消費電力を削減することか可能となる。

手ブレ量が所定の値以下の場合に、顔検出部７の動作を停止させるほか、手ブレ検出部８の検出結果に応じた手ブレ方向から将来のブレ方向が予測可能であれば、顔検出部７の動作を停止させるようにしたので、顔検出部７の動作を停止させる機会が多くなり、更なる低消費電力化を図ることができる。

フレームメモリＭ３に蓄積されている複数フレーム分の顔検出データと、検出したブレ量及びブレ方向から最新の顔検出データを予測するようにしたので、顔検出部７の動作を停止させている間でも適切な顔検出データを得ることができる。

フレームメモリＭ３に蓄積されている直前の顔検出データを最新の顔検出データとするようにしたので、顔検出部７の動作を停止させている間でも適切な顔検出データを得ることができる。

なお、上述した第１実施形態においては、フレームメモリＭ３に蓄積されている直前の顔検出データを最新の顔検出データとするようにしたが、フレームメモリＭ３に蓄積されている複数フレーム分の顔検出データを平均化して顔検出データとして算出するようにしてもよい。これによって顔検出部７の動作を停止させている間でも適切な顔検出データを得ることができる。

（第２実施形態）
以下、この発明の第２実施形態について図４を参照して説明する。
なお、上述した第１実施形態においては、静止画撮影時又は動画撮影時において手ブレ検出部８の検出結果に応じて顔検出部７の動作を停止させるようにしたが、この第２実施形態においては、静止画撮影時において手ブレ検出部８に代わって被写体ブレ検出部９を使用し、この静止画撮影中に被写体ブレ検出部９の検出結果に応じて顔検出部７の動作を停止させるようにしたものである。ここで、両実施形態において基本的に同一の動作の場合は、その説明を簡略化すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

被写体ブレ検出部９は、静止画撮影時にフレーム単位毎に撮像画像（スルー画像）を解析することにより撮像画像中の被写体（例えば、人物、ペットなど）のブレ量及びブレ方向を検出するもので、例えば、撮影画像を構成する各画素の輝度値を検出し、直前フレームの画像からの輝度値の変化状態に基づいて被写体の動き（ブレ）として、そのブレ量及びブレ方向を検出するようにしている。制御部１は、静止画撮影時に被写体ブレ検出部９からの検出結果に応じて被写体ブレ補正機能を動作させるようにしているが、この被写体ブレ補正機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

第２実施形態において制御部１は、被写体ブレ検出部９の検出結果に応じて静止画撮影時に顔検出部７の動作を停止させるようにしているが、その際、顔検出部７が動作している顔検出オン状態において、制御部１は、被写体のブレ量が所定値以下か否かを判別し、所定値以下であれば、顔検出部７を停止させるようにしている。更に、顔検出部７が動作している顔検出オン状態において、制御部１は、フレームメモリＭ３に蓄積されている過去複数フレーム分のブレ方向に基づいて将来のブレ方向が予測可能か否かを更に判別し、ブレ方向が予測可能であれば、顔検出部７を停止させるようにしている。

図４は、第２実施形態の特徴的な動作を示したフローチャートで、電源投入に伴って実行開始される。第２実施形態においては、手ブレ検出部８に代わって被写体ブレ検出部９を使用した点が、第１実施形態と相違する点であり、その他は基本的に同一であるため、第１実施形態と基本的に同一の部分は簡単に説明するものとする。
先ず、制御部１は、所定メモリの内容をクリアしたり、記憶部３のワーク領域内の顔検出フラグＦを“０（顔検出オフ状態）”としたりするなどの初期化処理を実行した後（ステップＢ１）、シャッタボタンの半押し操作が行われたかを調べたり（ステップＢ２）、顔検出部７の起動を指示する起動操作が行われたかを調べたり（ステップＢ３）、その他の操作が行われたかを調べたりしながら（ステップＢ５）、操作待ち状態となる。

いま、顔検出部７の起動を指示する起動操作が行われたときには（ステップＢ３でＹＥＳ）、上述の顔検出フラグＦを“１”にする処理（ステップＢ４）を行った後、上述のステップＢ２に戻る。また、その他の操作が行われたときには（ステップＢ５でＹＥＳ）、その操作に応じた処理（ステップＢ６）を行った後、上述のステップＢ２に戻る。また、いま、シャッタボタンの半押し操作が行われた場合に（ステップＢ２でＹＥＳ）、顔検出フラグＦが“０”であれば（ステップＢ７でＮＯ）、後述するステップＢ９に移るが、“１”であれば（ステップＢ７でＹＥＳ）、次のステップＢ８に移り、顔検出オン状態にある顔検出部７が撮像部６から取得した撮影画像（スルー画像）を解析することにより撮影画像内の被写体の顔を検出すると、この顔検出部７により検出（認識）された顔認識データ（顔検出データ）を最新のデータとしてフレームメモリＭ３に蓄積する処理を行う。

そして、次のステップＢ９では、被写体ブレ検出部９からの検出結果に基づいてフレーム間のブレ量及びブレ方向を検出し、この検出したブレ量が所定値以下であれば（ステップＢ１０でＹＥＳ）、顔検出フラグＦの値が“１”であることを条件に（ステップＢ１１でＹＥＳ）、顔検出部７の動作を停止させると共に（ステップＢ１２）、それに応じて顔検出フラグＦの値を“１”から“２（顔検出一時停止状態）”に変更する（ステップＢ１３）。そして、フレームメモリＭ３に蓄積されている直前の顔検出データを最新の顔検出データとして採用した後（ステップＢ１４）、この最新の顔検出データに基づいて撮影条件を自動調整する処理を行う（ステップＢ２３）。その後、ステップＢ２４に移る。

また、検出したブレ量が所定値を超えていれば（ステップＢ１０でＮＯ）、次のステップＢ１５に移り、将来のブレ方向が予測可能か否かを判別し、予測可能であれば（ステップＢ１５でＹＥＳ）、顔検出フラグＦの値が“１”であることを条件に（ステップＢ１６でＹＥＳ）、顔検出部７の動作を停止させると共に（ステップＢ１７）、それに応じて顔検出フラグＦの値を“１”から“２（顔検出一時停止状態）”に変更する（ステップＢ１８）。次に、フレームメモリＭ３に蓄積されている過去複数フレーム分の顔検出データと、検出したブレ量及びブレ方向から最新の顔検出データを予測する処理を行う（ステップＢ１９）。

そして、最新の顔検出データに基づいて撮影条件を自動調整する処理（ステップＢ２３）を行った後、ステップＢ２４に移る。一方、検出したブレ量が所定値を超えている場合で（ステップＢ１０でＮＯ）、かつ将来のブレ方向の予測が不可能な場合には（ステップＢ１５でＮＯ）、顔検出フラグＦが“２”であることを条件に（ステップＢ２０でＹＥＳ）、顔検出部７の動作を再開させる（ステップＢ２１）。そして、顔検出フラグＦを“２（顔検出一時停止状態）”から“１（顔検出オン状態）”に復帰（ステップＢ２２）させた後、ステップＢ２４に移る。

このステップＢ２４では、シャッタボタンの全押し操作が行われたかを調べ、全押し操作が行われなければ（ステップＢ２４でＮＯ）、上述のステップＢ７に戻るが、全押し操作が行われたときには（ステップＢ２４でＹＥＳ）、撮影画像の圧縮や保存などの撮影終了処理（ステップＢ２５）を実行した後、上述のステップＢ２に戻る。

以上のように、第２実施形態において制御部１は、被写体ブレ検出部９の検出結果に応じたブレ量が所定値以下の場合に、顔検出部７の動作を停止させるようにしたので、消費電力の大きい顔検出機能を撮影中に動作させる場合にその顔検出機能の動作を必要最小限に抑制することができ、それだけ消費電力を削減することか可能となる。

被写体のブレ量が所定の値以下の場合に、顔検出部７の動作を停止させるほか、被写体ブレ検出部９の検出結果に応じたブレ方向から将来のブレ方向が予測可能であれば、顔検出部７の動作を停止させるようにしたので、顔検出部７の動作を停止させる機会が多くなり、更なる低消費電力化を図ることができる。

フレームメモリＭ３に蓄積されている複数フレーム分の顔検出データと、検出した被写体のブレ量及びブレ方向から最新の顔検出データを予測するようにしたので、顔検出部７の動作を停止させている間でも適切な顔検出データを得ることができる。

フレームメモリＭ３に蓄積されている直前の顔検出データを最新の顔検出データとするようにしたので、顔検出部７の動作を停止させている間でも適切な顔検出データを得ることができる。

なお、上述した第２実施形態においては、フレームメモリＭ３に蓄積されている直前の顔検出データを最新の顔検出データとするようにしたが、フレームメモリＭ３に蓄積されている複数フレーム分の顔検出データを平均化して顔検出データとして算出するようにしてもよい。これによって顔検出部７の動作を停止させている間でも適切な顔検出データを得ることができる。

（第３実施形態）
以下、この発明の第３実施形態について図５及び図６を参照して説明する。
なお、上述した第１実施形態においては、静止画撮影時又は動画撮影時に手ブレ検出部８の検出結果に応じて顔検出部７の動作を停止させるようにしたが、この第３実施形態においては、静止画撮影時に手ブレ検出部８及び被写体ブレ検出部９の検出結果に応じて顔検出部７の動作を停止させるようにしたものである。ここで、第１及び第３実施形態において基本的に同一の動作の場合は、その説明を簡略化すると共に、以下、第３実施形態の特徴部分を中心に説明するものとする。

第３実施形態において制御部１は、顔検出部７が動作している顔検出オン状態において、手ブレ検出部８及び被写体ブレ検出部９の検出結果に応じて手ブレに被写体のブレを加えた総合ブレ量を算出し、この総合ブレ量が所定の値以下であるか否かを判別し、所定値以下であれば、顔検出部７を停止させるようにしている。更に、顔検出部７が動作している顔検出オン状態において、制御部１は、フレームメモリＭ３に蓄積されている過去複数フレーム分の手ブレ方向と被写体のブレ方向に基づいて将来のブレ方向が予測可能か否かを更に判別し、ブレ方向が予測可能であれば、顔検出部７を停止させるようにしている。

図５及び図６は、第３実施形態の特徴的な動作を示したフローチャートで、電源投入に伴って実行開始される。なお、第３実施形態においては、手ブレ検出部８及び被写体ブレ検出部９を使用した点が、第１実施形態と相違する点であり、その他は基本的に同一であるため、第１実施形態と基本的に同一の部分は簡単に説明するものとする。
先ず、制御部１は、所定メモリの内容をクリアしたり、記憶部３のワーク領域内の顔検出フラグＦを“０（顔検出オフ状態）”としたりするなどの初期化処理を実行した後（図５のステップＣ１）、シャッタボタンの半押し操作が行われたかを調べたり（ステップＣ２）、顔検出部７の起動を指示する起動操作が行われたかを調べたり（ステップＣ３）、その他の操作が行われたかを調べたりしながら（ステップＣ５）、操作待ち状態となる。いま、顔検出部７の起動を指示する起動操作が行われたときには（ステップＣ３でＹＥＳ）、上述の顔検出フラグＦを“１”にする処理（ステップＣ４）を行った後、ステップＣ２に戻る。また、その他の操作が行われたときには（ステップＣ５でＹＥＳ）、その操作に応じた処理（ステップＣ６）を行った後、上述のステップＣ２に戻る。

いま、シャッタシャッタボタンの半押し操作が行われた場合に（ステップＣ２でＹＥＳ）、顔検出フラグＦが“０”であれば（ステップＣ７でＮＯ）、後述するステップＣ９に移るが、“１”であれば（ステップＣ７でＹＥＳ）、ステップＣ８に移り、顔検出オン状態にある顔検出部７が動作し、撮像部６から取得した撮影画像（スルー画像）を解析することにより撮影画像内の被写体の顔を検出すると、この顔検出部７により検出（認識）された顔認識データ（顔検出データ）を最新のデータとしてフレームメモリＭ３に蓄積する処理を行う。

そして、手ブレ検出部８からの検出結果に基づいてフレーム間のブレ量及びブレ方向を検出すると共に（ステップＣ９）、被写体ブレ検出部９からの検出結果に基づいてフレーム間のブレ量及びブレ方向を検出し（ステップＣ１０）、この検出したフレーム間の手ブレ量と被写体のブレ量との総合ブレ量を算出する（ステップＣ１１）。ここで、フレーム間の手ブレ量をΔｄ１とし、フレーム間の被写体のブレ量をΔｄ２とし、かつ重み付き係数をｇ１、ｇ２とすると、手ブレ量と被写体のブレ量との総合ブレ量は、次式にしたがって算出される。
Δｄ１＊ｇ１＋Δｄ２＊ｇ２

これによって算出した総合ブレ量が所定の値以下であるかを調べ（図６のステップＣ１２）、所定値以下であれば（ステップＣ１２でＹＥＳ）、
顔検出フラグＦの値が“１”であることを条件に（ステップＣ１３でＹＥＳ）、顔検出部７の動作を停止させると共に（ステップＣ１４）、それに応じて顔検出フラグＦの値を“１”から“２（顔検出一時停止状態）”に変更する（ステップＣ１５）。そして、フレームメモリＭ３に蓄積されている直前の顔検出データを最新の顔検出データとして採用した後（ステップＣ１６）、この最新の顔検出データに基づいて撮影条件を自動調整する処理を行う（ステップＣ２５）。その後、ステップＣ２６に移る。

また、上述のように算出した総合ブレ量が所定値を超えていれば（ステップＣ１２でＮＯ）、次のステップＣ１７に移り、将来のブレ方向が予測可能か否かを判別し、予測可能であれば（ステップＣ１７でＹＥＳ）、顔検出フラグＦの値が“１”であることを条件に（ステップＣ１８でＹＥＳ）、顔検出部７の動作を停止させると共に（ステップＣ１９）、それに応じて顔検出フラグＦの値を“１”から“２（顔検出一時停止状態）”に変更する（ステップＣ２０）。次に、フレームメモリＭ３に蓄積されている過去複数フレーム分の顔検出データと、算出した総合ブレ量及び総合ブレ方向（例えば、手ブレ方向と被写体ブレの方向との中間的な方向）から最新の顔検出データを予測する処理を行う（ステップＣ２１）。

そして、最新の顔検出データに基づいて撮影条件を自動調整する処理（ステップＣ２５）を行った後、ステップＣ２６に移る。一方、算出した総合ブレ量が所定値を超えている場合で（ステップＣ１２でＮＯ）、かつ将来のブレ方向の予測が不可能な場合には（ステップＣ１７でＮＯ）、顔検出フラグＦが“２”であることを条件に（ステップＣ２２でＹＥＳ）、顔検出部７の動作を再開させると共に（ステップＣ２３）、顔検出フラグＦを“２（顔検出一時停止状態）”から“１（顔検出オン状態）”に復帰（ステップＣ２４）させた後、ステップＣ２６に移る。

このステップＣ２６では、シャッタボタンの全押し操作が行われたかを調べ、全押し操作が行われなければ（ステップＣ２６でＮＯ）、図５のステップＣ７に戻るが、全押し操作が行われたときには（ステップＣ２６でＹＥＳ）、撮影画像の圧縮や保存などの撮影終了処理（ステップＣ２７）を実行した後、図５のステップＣ２に戻る。

以上のように、第３実施形態において制御部１は、顔検出部７が動作している顔検出オン状態において、手ブレ検出部８及び被写体ブレ検出部９の検出結果に応じて手ブレに被写体ブレに加えた総合ブレ量を算出し、この総合ブレ量が所定の値以下であるか否かを判別し、所定値以下であれば、顔検出部７を停止させるようにしたので、より高い精度で顔検出の停止タイミングを決定することができ、低消費電力化を更に図ることができる。

総合ブレ量が所定の値以下の場合に、顔検出部７の動作を停止させるほか、被写体ブレ検出部９の検出結果に応じたブレ方向から将来のブレ方向が予測可能であれば、顔検出部７の動作を停止させるようにしたので、顔検出部７の動作を停止させる機会が多くなり、更なる低消費電力化を図ることができる。

フレームメモリＭ３に蓄積されている複数フレーム分の顔検出データと、算出した総合ブレ量及びブレ方向から最新の顔検出データを予測するようにしたので、顔検出部７の動作を停止させている間でも適切な顔検出データを得ることができる。

なお、上述した第３実施形態においては、フレームメモリＭ３に蓄積されている直前の顔検出データを最新の顔検出データとするようにしたが、フレームメモリＭ３に蓄積されている複数フレーム分の顔検出データを平均化して顔検出データとして算出するようにしてもよい。これによって顔検出部７の動作を停止させている間でも適切な顔検出データを得ることができる。

また、上述した第３実施形態においては、フレーム間の手ブレ量と被写体のブレ量との総合ブレ量を算出する場合に、上述したΔｄ１＊ｇ１＋Δｄ２＊ｇ２の式にしたがって算出するようにしたが、手ブレ量と被写体のブレ量との平均値を総合ブレ量としてもよい。また、総合ブレ方向の算出も平均値に限らない。

上述した各実施形態においては、顔検出結果に基づいて撮影条件（露出やピントなど）を調整する場合を示したが、これに限らず、例えば、顔を検出した際に、予め登録されている被写体画像と比較することにより人物などの被写体を特定する被写体特定処理を行うようにしてもよい。

また、上述した各実施形態においては、人物、ペットなどの顔を検出するようにしたが、これに限らず、例えば、服装を認識したり、商品や建物を認識したりしてもよく、被写体認識全般に利用可能である。

また、上述した各実施形態においては、静止画撮影及び動画撮影が可能な撮像装置としてコンパクトカメラに適用した場合を示したが、カメラ機能付きの携帯電話機・ＰＤＡ・音楽プレイヤーなどであってもよい。

その他、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 制御部
３ 記憶部
４ 表示部
５ 操作部
６ 撮像部
７ 顔検出部
８ 手ブレ検出部
９ 被写体ブレ検出部
Ｆ 顔検出フラグ
Ｍ１ プログラム記憶部
Ｍ３ フレームメモリ

Claims (13)

1. 撮像画像中の被写体を追尾して認識を行う被写体認識手段と、
   前記撮像画像の手ブレ方向を検出する手ブレ検出手段と、
   前記手ブレ検出手段により検出された過去のブレ方向と今回のブレ方向とから、将来のブレ方向が予測可能か否かを判別する判別手段と、
   前記判別手段によりブレ方向が予測可能と判別された場合に、前記被写体認識手段を停止する制御を行う制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記手ブレ検出手段は、撮像画像のブレ量を更に検出し、
   前記判別手段は、前記手ブレ検出手段により検出されたブレ量が所定の値以下か否かを更に判別し、
   前記制御手段は、前記判別手段によりブレ量が所定の値以下と判別された場合に、前記被写体認識手段を停止する制御を更に行う、
   ようにしたことを特徴とする請求項１記載の撮像装置。
3. 前記被写体認識手段により認識された被写体認識データを蓄積して記憶する記憶手段と、
   前記制御手段により前記被写体認識手段を停止する制御が行われた際に、前記記憶手段に記憶されている被写体認識データ及び前記手ブレ検出手段により検出されたブレ量及び方向から最新の被写体認識データを予測する予測手段と、
   を更に備える、
   ようにしたことを特徴とする請求項２記載の撮像装置。
4. 前記被写体認識手段により認識された被写体認識データを蓄積して記憶する記憶手段と、
   前記制御手段により前記被写体認識手段を停止する制御が行われた際に、前記記憶手段に記憶されている直前の被写体認識データを最新の被写体認識のデータとして取得するデータ取得手段と、
   を更に備える、
   ようにしたことを特徴とする請求項１記載の撮像装置。
5. 前記被写体認識手段により認識された被写体認識データを蓄積して記憶する記憶手段と、
   前記制御手段により前記被写体認識手段を停止する制御が行われた際に、前記記憶手段に記憶されている複数の被写体認識データを平均化して最新の被写体認識データとして算出するデータ取得手段と、
   を更に備える、
   ようにしたことを特徴とする請求項１記載の撮像装置。
6. 撮像画像中の被写体を追尾して認識を行う被写体認識手段と、
   前記撮像画像の手ブレ量を検出する手ブレ検出手段と、
   前記撮像画像中の被写体のブレ量を検出する被写体ブレ検出手段と、
   前記手ブレ検出手段により検出されたブレ量及び前記被写体ブレ検出手段により検出されたブレ量から総合ブレ量を算出するブレ量算出手段と、
   前記ブレ量算出手段により算出された総合ブレ量が所定の値以下か否かを判別する判別手段と、
   前記判別手段により総合ブレ量が所定の値以下と判別された場合に、前記被写体認識手段を停止する制御を行う制御手段と、
   を備えることを特徴とする撮像装置。
7. 前記手ブレ検出手段は、前記撮像画像中の手ブレ方向を更に検出し、
   前記被写体ブレ検出手段は、前記撮像画像中の被写体のブレ方向を更に検出し、
   前記判別手段は、前記手ブレ検出手段により検出されたブレ方向及び前記被写体ブレ検出手段により検出されたブレ方向から将来のブレ方向が予測可能か否かを更に判別し、
   前記制御手段は、前記判別手段によりブレ方向が予測可能と判別された場合に、前記被写体認識手段を停止する制御を更に行う、
   ようにしたことを特徴とする請求項６記載の撮像装置。
8. 前記被写体認識手段により認識された被写体認識データを蓄積して記憶する記憶手段と、
   前記制御手段により前記被写体認識手段を停止する制御が行われた際に、前記記憶手段に記憶されている被写体認識データ、前記手ブレ検出手段により検出されたブレ量及び方向並びに前記被写体ブレ検出手段により検出されたブレ量及び方向から最新の被写体認識データを予測する予測手段と、
   を更に備える、
   ようにしたことを特徴とする請求項７記載の撮像装置。
9. 前記被写体認識手段は、撮像画像中の被写体の顔を検出する顔検出機能である、
   ことを特徴とする請求項１又は６記載の撮像装置。
10. コンピュータに対して、
    撮像画像中の被写体を追尾して認識を行う機能と、
    前記撮像画像の手ブレ方向を検出する機能と、
    前記検出された過去のブレ方向と今回のブレ方向とから、将来のブレ方向が予測可能か否かを判別する機能と、
    前記ブレ方向が予測可能と判別された場合に、前記被写体認識を停止する制御を行う機能と、
    を実現させるためのプログラム。
11. コンピュータに対して、
    撮像画像中の被写体を追尾して認識を行う機能と、
    前記撮像画像の手ブレ量を検出する機能と、
    前記撮像画像中の被写体のブレ量を検出する機能と、
    前記検出された手ブレ量及び前記検出された被写体のブレ量から総合ブレ量を算出する機能と、
    前記算出された総合ブレ量が所定の値以下か否かを判別する機能と、
    前記総合ブレ量が所定の値以下と判別された場合に、前記被写体認識を停止する制御を行う機能と、
    を実現させるためのプログラム。
12. 撮像装置における撮像方法であって、
    撮像画像中の被写体を追尾して認識を行う処理と、
    前記撮像画像の手ブレ方向を検出する処理と、
    前記検出された過去のブレ方向と今回のブレ方向とから、将来のブレ方向が予測可能か否かを判別する処理と、
    前記ブレ方向が予測可能と判別された場合に、前記被写体認識を停止する制御を行う処理と、
    を含むことを特徴とする撮像方法。
13. 撮像装置における撮像方法であって、
    撮像画像中の被写体を追尾して認識を行う処理と、
    前記撮像画像の手ブレ量を検出する処理と、
    前記撮像画像中の被写体のブレ量を検出する処理と、
    前記検出された手ブレ量及び前記検出された被写体のブレ量から総合ブレ量を算出する処理と、
    前記算出された総合ブレ量が所定の値以下か否かを判別する処理と、
    前記総合ブレ量が所定の値以下と判別された場合に、前記被写体認識を停止する制御を行う処理と、
    を含むことを特徴とする撮像方法。
    
    

Images