JP4323559B2 - 撮像装置および方法並びにプログラム - Google Patents

Description

本発明は、撮像により画像データを取得してメモリカード等の記憶手段に記憶するデジタルカメラ等の撮像装置、撮像装置における撮像方法並びに撮像方法をコンピュータに実行させるためのプログラムに関するものである。

従来より、ストロボを用いて撮影を行う場合において、人間の目が赤色または金色に光って写ってしまう、いわゆる赤目現象が問題となっている。この赤目現象は、目の瞳孔を通過したストロボの光が網膜部分で反射され、この反射光がフィルムに写ることによって発生する。

このような赤目を自動的に検出して補正するための各種システムが提案されている。とくに、デジタルカメラを用いて取得した画像データに対して、デジタルカメラ内において赤目の補正を行うようにした撮像装置も各種提案されている（例えば特許文献１〜３参照）。
特開平１０−２３３９２９号公報 特開平１１−１２７３７１号公報 特開２０００−３０５１４１号公報

しかしながら、赤目補正処理は、まず画像データにより表される画像から人物の顔を検出し、さらに顔から目の位置の検出および赤色を黒色に補正する処理を行う必要があるため、パソコンと比較して処理能力が非常に小さいデジタルカメラにおいては処理に長時間を要する。このため、撮影後取得した画像をデジタルカメラの液晶モニタに表示したり、次の撮影を行うことを可能とする等の次の動作を行うまでの待ち時間が長くなってしまうという問題がある。

本発明は上記事情に鑑みなされたものであり、デジタルカメラ等の撮像装置において、撮像により取得した画像データに赤目補正処理等の所定の画像処理を施すに際し、画像処理の時間を短縮することを目的とする。

本発明による撮像装置は、被写体を撮像して画像データを取得する撮像手段と、
前記画像データを含む各種表示を行う表示手段と、
撮像動作を行うためのレリーズ手段と、
前記画像データを含む各種情報を記憶する記憶手段と、
該撮像手段により前記被写体を撮像し続けて前記被写体の動画像を取得して前記表示手段に表示する撮像制御手段とを備えた撮像装置において、
前記動画像を構成する一のフレームに人物の顔が含まれるか否かの判定を、所定時間間隔にて該判定が肯定されるまで行う顔判定手段と、
該顔判定手段により顔が含まれると判定された場合に、該顔が含まれると判定されたフレームからの顔の位置の検出を行う顔検出手段と、
前記検出した顔の位置を前記記憶手段に記憶し、前記所定時間経過後の次フレームに前記顔が含まれるか否かの判定を行い、該判定が肯定された場合に前記顔の位置の検出を行い、該検出した新たな顔の位置を前記記憶手段に記憶されている顔の位置に代えて該記憶手段に記憶し、前記レリーズ手段により撮像動作が行われるまで、さらに前記所定時間経過後の次フレームに顔が含まれるか否かの判定、該顔が含まれると判定された場合における顔の位置の検出および新たな顔の位置の前記記憶手段への記憶を行い、前記レリーズ手段により撮像動作が行われたときのフレームまたは該フレームに時間的に前および／または後の複数のフレームを前記画像データとして前記記憶手段に記憶するよう、前記撮像手段、前記顔判定手段、前記顔検出手段および前記記憶手段を制御する制御手段とを備えたことを特徴とするものである。

デジタルカメラ等の撮像装置により撮影を行う場合、レリーズ手段により撮像動作を行うまでは、表示手段には被写体の動画像が表示される。この動画像は１秒当たり１５〜３０のフレームからなるものである。したがって、「所定時間」とは、隣接するフレーム間の時間、５フレーム間の時間あるいは１０フレーム間の時間のようにあらかじめ定めたフレーム間の時間とすることができる。

なお、本発明による撮像装置においては、前記次フレームと前記顔が含まれると判定されたフレームとを参照して、該２つのフレーム間の画像の変化量が所定値を超えるか否かを判定する変化量判定手段をさらに備えるものとし、
前記制御手段を、該変化量判定手段により前記変化量が所定値以下であると判定された場合、前記次フレームにおける前記記憶手段に記憶された顔の位置およびその近傍の領域においてのみ前記顔が含まれるか否かの判定を行い、前記変化量判定手段により前記変化量が所定値を超えると判定された場合、前記次フレームに前記顔が含まれるか否かの判定を行うよう前記顔判定手段を制御する手段としてもよい。

「２つのフレーム間の画像の変化量」とは、２つのフレームの間でシーンが切り替わったか否かを判断することが可能な変化量を意味し、具体的にはフレーム間の画像の画素値の平均値の差の絶対値、ヒストグラム形状の差等を用いることができる。ここで、２つのフレーム間においてシーンが切り替わった場合、２つのフレーム間の画像の変化量は比較的大きくなり、シーンが切り替わらない場合には２つのフレーム間の画像の変化量はそれほど大きくならない。したがって、「所定値」としては、シーンが切り替わったか否かを区別できる程度の値を用いることができる。なお、「所定値」は、実際にシーンが切り替わった２つのフレーム間の変化量を算出することにより実験的に求めればよい。

また、本発明による撮像装置においては、前記撮像動作が行われた後、前記記憶手段に記憶された顔の位置を参照して、前記画像データに顔に関連する所定の画像処理を施す画像処理手段をさらに備えるようにしてもよい。

「顔に関連する所定の画像処理」としては、画像データにより表される画像から検出した顔に対して施す処理であればいかなる処理をも用いることができる。例えば、赤目補正処理、顔に対するノイズの抑制処理、濃度補正処理、および階調補正処理の少なくとも１つの処理等の顔の画質を向上させる処理の他、検出した顔について目を閉じているか否かを判定し、目を閉じている場合には撮像動作が行われたときに取得したフレームに時間的に前および／または後のフレームから目を閉じていない顔を含むフレームを選択する処理、笑顔であるか否かを判定し、笑顔でない場合には撮像動作が行われたときに取得したフレームに時間的に前および／または後のフレームから笑顔のフレームを選択する処理等を「顔に関連する所定の画像処理」として用いることができる。

本発明による撮像方法は、被写体を撮像して画像データを取得する撮像手段と、
前記画像データを含む各種表示を行う表示手段と、
撮像動作を行うためのレリーズ手段と、
前記画像データを含む各種情報を記憶する記憶手段と、
該撮像手段により前記被写体を撮像し続けて前記被写体の動画像を取得して前記表示手段に表示する撮像制御手段とを備えた撮像装置における撮像方法において、
前記動画像を構成する一のフレームに人物の顔が含まれるか否かの判定を、所定時間間隔にて該判定が肯定されるまで行い、
該顔が含まれると判定された場合に、該顔が含まれると判定されたフレームからの顔の位置の検出を行い、
前記検出した顔の位置を前記記憶手段に記憶し、前記所定時間経過後の次フレームに前記顔が含まれるか否かの判定を行い、該判定が肯定された場合に前記顔の位置の検出を行い、該検出した新たな顔の位置を前記記憶手段に記憶されている顔の位置に代えて該記憶手段に記憶し、前記レリーズ手段により撮像動作が行われるまで、さらに前記所定時間経過後の次フレームに顔が含まれるか否かの判定、該顔が含まれると判定された場合における顔の位置の検出および新たな顔の位置の前記記憶手段への記憶を行い、前記レリーズ手段により撮像動作が行われたときのフレームまたは該フレームに時間的に前および／または後の複数のフレームを前記画像データとして前記記憶手段に記憶することを特徴とするものである。

なお、本発明による撮像方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、撮像時には撮像手段により取得された被写体の動画像が表示手段に表示される。そして、動画像を構成するフレームに人物の顔が含まれるか否かの判定が所定時間間隔にてこの判定が肯定されるまで行われる。顔が含まれると判定されると、顔が含まれると判定されたフレームから顔の位置が検出され、検出された顔の位置が記憶手段に記憶される。

次いで、所定時間経過後の次のフレームに顔が含まれるか否かの判定が行われ、判定が肯定されると顔の位置の検出が行われ、検出された新たな顔の位置が、すでに記憶されている顔の位置に代えて記憶手段に記憶される。そしてレリーズ手段により撮像動作が行われるまで、所定時間経過後の次のフレームに顔が含まれるか否かの判定、顔が含まれると判定された場合における顔の位置の検出および新たな顔の位置の記憶手段への記憶が行われる。レリーズ手段により撮像動作が行われると、そのときのフレームまたはこのフレームに時間的に前および／または後の複数のフレームが画像データとして記憶手段に記憶される。

ここで、撮像時には構図を決めてからレリーズ手段を駆動させるまでに数秒の時間を要し、その間には被写体は動かないことが多い。このため、所定時間間隔でフレームに顔が含まれるか否かの判定、含まれると判定された場合の新たな顔の位置の検出および新たな顔の位置の記憶手段への記憶を行うことにより、記憶手段に記憶された顔の位置は、撮像動作により取得した画像データにより表される画像に含まれる顔の位置と対応することとなる。したがって、撮像により取得した画像データに対して顔に関連する所定の画像処理を施す際には、画像データにより表される画像から顔を検出する処理を行わなくてもよいこととなる。このため、画像処理の時間を短縮することができ、これにより、撮像により取得した画像データを表示手段に表示したり、次の画像を撮像可能とするまでの待ち時間を少なくすることができ、その結果、待ち時間が長くなることによる撮影者のストレスを軽減することができる。

また、次フレームと顔が含まれると判定されたフレームとを参照して、２つのフレーム間の画像の変化量が所定値を超えるか否かを判定し、変化量が所定値以下である場合には次フレームにおける記憶手段に記憶された顔の位置およびその近傍の領域においてのみ顔が含まれるか否かの判定を行うことにより、２つのフレーム間においてシーンが切り替わらない場合には、次フレームの全領域に対して顔が含まれるか否かの判定処理を行う必要がなくなる。したがって、顔が含まれるか否かの判定のための処理時間を短縮することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の撮像装置の実施形態であるデジタルカメラの構成を示す概略ブロック図である。図１に示すように、デジタルカメラ１には、被写体像を受光面に結像させて光電変換し、画像データとして出力する撮像部１０と、デジタルカメラ１全体の制御を行うとともに画像データのサンプリングタイミング制御、画像データの記録制御および表示制御等の各種制御を行うＣＰＵ１２と、アナログ情報の画像データをデジタルの画像データに変換するＡ／Ｄ変換器１４と、画像サイズの変更、赤目補正、シャープネス補正、ガンマ補正、コントラスト補正およびホワイトバランス補正等の画像処理を行う画像処理部１６と、ストロボ１８と、ストロボ１８の操作を制御するストロボ制御部２０と、撮像動作を行うためのレリーズボタン、撮影モード等のデジタルカメラ１のモードの切り替え等を行うモード切替スイッチを含む、撮影者であるユーザが各種情報を入力する際に用いる入力部２２と、入力部２２から入力された各種情報のインターフェースであるＩ／Ｏ２４とが設けられいてる。

また、デジタルカメラ１には、画像データをＪＰＥＧやモーションＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２６と、メモリカードスロット２８に着脱可能に装着されたメモリカード３０に画像データを記録したり読み出したりするために画像データを変換するカードインターフェース３２とが設けられている。メモリカード３０は、半導体、磁気記録および光記録に代表される着脱可能な記録媒体である。

また、デジタルカメラ１には、後述するような画像データにより表される画像に顔が含まれるか否かの判定、この判定が肯定された場合の顔の位置の検出、顔の位置の記憶等の各種処理を行うためのプログラムを含むＣＰＵ１２の動作プログラムや各定数が記憶されているＲＯＭおよびプログラム実行時の作業領域となる記憶手段であるＲＡＭにより構成されているシステムメモリ３４と、タイマ撮影時に駆動されるタイマ３６と、現在の時刻を刻むカレンダ時計３８と、画像データ等の各種表示を行うためのＬＣＤ４０と、画像データをＬＣＤ４０に表示するためのＤ／Ａ変換等を行うＬＣＤ制御部４２と、ＣＰＵ１２から指令される表示用の画像データを一時的に記憶しておくＶＲＡＭ等で構成されているフレームメモリ４４とが設けられている。フレームメモリ４４には、レリーズボタンを押下することにより被写体の撮影を行う撮影モードが設定されている場合において、１秒間に３０枚の画像データがフレームとして入力され、これにより撮影時にはＬＣＤ４０に被写体の動画像が表示される。また、この状態においてユーザがレリーズボタンを押下することにより撮像動作が行われると、ＣＰＵ１２が撮像動作が行われたときの画像データに対して赤目補正処理を施し、処理が施された画像データをＬＣＤ４０に表示するとともに、メモリカード３０に記録する。

そしてＣＰＵ１２が、顔が含まれるか否かの判定、顔の位置の検出等を実行するプログラムをシステムメモリ３４から読み出して実行することにより、ＣＰＵ１２が撮像制御手段、顔判定手段、顔検出手段、制御手段および変化量判定手段として機能する。

ＣＰＵ１２は、撮影モードが設定されている場合において、以下に示すように、動画像を構成する一のフレームに対して顔を識別する処理を行うことにより顔が含まれるか否かの判定を行うプログラムを実行して、一のフレームに顔が含まれるか否かの判定を行う。

ＣＰＵ１２は、顔の識別に用いる第１の特徴量Ｃ１を一のフレームＦｒｉから算出するとともに、第２の特徴量Ｃ２を後述するようにフレームＦｒｉから抽出された顔候補内の画像から算出する。具体的には、第１の特徴量Ｃ１として、フレームＦｒｉの勾配ベクトルの方向を、第２の特徴量Ｃ２として顔候補内の画像の勾配ベクトル（すなわち方向および大きさ）を算出する。以下、勾配ベクトルの算出について説明する。まず、ＣＰＵ１２は、フレームＦｒｉに対して図２（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施してフレームＦｒｉにおける水平方向のエッジを検出する。また、ＣＰＵ１２は、フレームＦｒｉに対して図２（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施してフレームＦｒｉにおける垂直方向のエッジを検出する。そして、フレームＦｒｉ上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図３に示すように、各画素における勾配ベクトルＫを算出する。

そして、この勾配ベクトルＫの方向を第１の特徴量Ｃ１とする。具体的には勾配ベクトルＫの所定方向（例えば図３におけるｘ方向）を基準とした０から３５９度の値を第１の特徴量Ｃ１とする。

なお、このようにして算出された勾配ベクトルＫは、図４（ａ）に示すような人物の顔の場合、図４（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫの大きさは口よりも目の方が大きくなる。

ここで、第２の特徴量Ｃ２は顔候補内においてのみ算出される。また、第２の特徴量Ｃ２の勾配ベクトルＫの大きさは正規化される。この正規化は、顔候補内の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が顔候補内の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを補正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図５（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図５（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図５（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図５（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。

ここで、デジタルカメラ１を用いて撮影を行う際には、照明の明るさや照明の方向が撮影時の条件に応じて様々であるため、明るさや照明の方向はフレームＦｒｉ毎に異なる。このように明るさや照明の方向が異なるフレームＦｒｉのそれぞれについてそのまま勾配ベクトルＫを求めていたのでは、同じ顔であるのに目の位置における勾配ベクトルの大きさが異なってしまい、顔候補が顔であるか否かを精度よく識別することができない。この場合、勾配ベクトルＫの大きさをフレームＦｒｉの全体について正規化すればよいが、正規化は演算量が多いため処理に時間がかかる。このため、本実施形態においては、フレームＦｒｉの全体ではなく、顔候補についてのみ第２の特徴量の正規化を行うことにより、演算量を低減して処理時間を短縮している。

なお、ＣＰＵ１２は、後述するようにフレームＦｒｉおよび顔候補の変形の各段階において第１および第２の特徴量Ｃ１，Ｃ２を算出する。

システムメモリ３４には、顔の識別のための第１および第２の参照データＲ１，Ｒ２が記憶されている。第１の参照データＲ１は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における第１の特徴量Ｃ１の組み合わせに対する識別条件を規定したものである。また、第２の参照データＲ２は、サンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における第２の特徴量Ｃ２の組み合わせに対する識別条件を規定したものである。

第１および第２の参照データＲ１，Ｒ２中の、各画素群を構成する各画素における第１および第２の特徴量Ｃ１，Ｃ２の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。

なお、本実施形態においては、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図６に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、垂直に立った顔を基準として平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。ここで、顔が垂直に立った状態において上下方向における目の位置はすべてのサンプル画像において同一である。なお、図６においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。

ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、第１および第２の参照データＲ１，Ｒ２を参照して顔候補または顔であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔候補または顔のみである。フレームＦｒｉに含まれる可能性がある顔のサイズは一定ではないため、顔候補が含まれるか否かあるいは顔候補が顔であるか否かを識別する際には、後述するようにフレームＦｒｉを拡大縮小して、サンプル画像のサイズに適合するサイズの顔を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、フレームＦｒｉのサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。

また、フレームＦｒｉに含まれる可能性がある顔は、図７（ａ）に示すように平面上の回転角度が０度のみではなく、図７（ｂ）、（ｃ）に示すように回転している場合もある。しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図７（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。

このため、本実施形態においては、顔であることが分かっているサンプル画像として、図６に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、第１および第２の参照データＲ１，Ｒ２の学習に許容度を持たせるようにしたものである。これにより、フレームＦｒｉを、拡大率として１１／９単位で段階的に拡大縮小すればよいため、フレームＦｒｉのサイズを例えば拡大率として１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図７（ｂ）、（ｃ）に示すように回転している顔も識別することができる。

以下、図８のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。なお、ここでは第２の参照データＲ２の学習について説明する。

学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。なお、顔であることが分かっているサンプル画像は、１つのサンプル画像につき両目の中心位置が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたものを用いる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳ１）。

次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（ステップＳ２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における第２の特徴量Ｃ２の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における第２の特徴量Ｃ２の組み合わせについてのヒストグラムを識別器として使用する。

図９を参照しながらある識別器の作成について説明する。図９の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における第２の特徴量Ｃ２の組み合わせが求められ、そのヒストグラムが作成される。ここで、第２の特徴量Ｃ２は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）⁴通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。

組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９⁴通りとなるため、第２の特徴量Ｃ２のデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素（同様に参照符号Ｐ１〜Ｐ４を用いる）が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図９の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する第２の特徴量Ｃ２の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する第２の特徴量Ｃ２の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における第２の特徴量Ｃ２の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。

続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（ステップＳ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。

次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。

ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。

次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（ステップＳ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。

続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。

以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における第２の特徴量Ｃ２の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（ステップＳ７）、これにより第２の参照データＲ２の学習を終了する。

そして、上記と同様に識別器の種類と識別条件とを求めることにより第１の参照データＲ１の学習がなされる。

なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における第１および第２の特徴量Ｃ１，Ｃ２の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図９の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。なお、第１および第２の参照データＲ１，Ｒ２は、熟練した技術者により経験的に定められたものであってもよい。

ＣＰＵ１２は、複数種類の画素群を構成する各画素における第１の特徴量Ｃ１の組み合わせのすべてについて第１の参照データＲ１が学習した識別条件を参照して、各々の画素群を構成する各画素における第１の特徴量Ｃ１の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合してフレームＦｒｉに顔候補が含まれるか否かを識別する。この際、第１の特徴量Ｃ１である勾配ベクトルＫの方向は第１の参照データＲ１を学習した場合と同様に例えば４値化される。本実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行うものとする。例えば、識別ポイントの総和が正の値である場合にはフレームＦｒｉには顔候補が含まれると判断し、負の値である場合には顔候補は含まれないと判断する。なお、第１の識別部８が行うフレームＦｒｉに顔候補が含まれるか否かの識別を第１の識別と称する。

ここで、フレームＦｒｉのサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、ＣＰＵ１２は、図１０に示すように、フレームＦｒｉを縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１０においては縮小する状態を示す）、各段階において拡大縮小されたフレームＦｒｉ上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小されたフレームＦｒｉ上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否かの識別を行うことにより、フレームＦｒｉに顔候補が含まれるか否かを識別する。

なお、第１および第２の参照データＲ１，Ｒ２の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、フレームＦｒｉおよび顔候補の拡大縮小時の拡大率は１１／９とすればよい。また、第１および第２の参照データＲ１，Ｒ２の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、フレームＦｒｉおよび顔候補は３０度単位で３６０度回転させればよい。

ここで、ＣＰＵ１２は、フレームＦｒｉおよび顔候補の拡大縮小および回転という変形の各段階において第１および第２の特徴量Ｃ１，Ｃ２を算出する。

そして、フレームＦｒｉに顔候補が含まれるか否かの識別を拡大縮小および回転の全段階のフレームＦｒｉについて行い、一度でも顔候補が含まれると識別された場合には、フレームＦｒｉには顔候補が含まれると識別し、顔候補が含まれると識別された段階におけるサイズおよび回転角度のフレームＦｒｉから、識別されたマスクＭの位置に対応する３０×３０画素の領域を顔候補として抽出する。

さらにＣＰＵ１２は、抽出した顔候補上において、上記と同様に顔候補を段階的に拡大縮小しつつ回転させることにより変形し、顔候補の変形の各段階において、複数種類の画素群を構成する各画素における第２の特徴量Ｃ２の組み合わせのすべてについて第２の参照データＲ２が学習した識別条件を参照して、各々の画素群を構成する各画素における第２の特徴量Ｃ２の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔候補が顔であるか否かを識別する。この際、第２の特徴量Ｃ２である勾配ベクトルＫの方向は４値化され大きさは３値化される。本実施形態では、すべての識別ポイントを加算して、その加算値の正負によって識別を行うものとする。例えば、識別ポイントの総和が正の値である場合には顔候補が顔であると判断され、負の値である場合には顔候補は顔でないと判断される。なお、顔候補が顔であるか否かの識別を第２の識別と称する。

そして、第１の識別においてフレームＦｒｉに顔候補が含まれないと識別した場合、および第１の識別においてフレームＦｒｉに顔候補が含まれると識別しても第２の識別によりその顔候補が顔でないと識別した場合に、フレームＦｒｉには顔が含まれないと判定する。この場合、所定時間後（例えば１０フレーム後）のフレームＦｒｉ＋１に対して、上記と同様に第１および第２の識別を行って、顔が含まれるか否かの判定を行う。

一方、第２の識別により第１の識別により識別した顔候補が顔であると識別した場合、フレームＦｒｉには顔が含まれると判定する。そして、顔が含まれると判定すると、識別されたマスクＭの位置に対応する３０×３０画素の領域の四隅の座標値を求める。ここで、顔の識別時にはフレームＦｒｉを拡大縮小していることから、元のサイズのフレームＦｒｉについて、３０×３０画素の領域の四隅の座標値に対応する４つの座標値を求めることにより顔の位置を検出し、これを顔の位置を表す情報Ｐｉとしてシステムメモリ３４に記憶する。したがって、本実施形態においては、顔の位置を表す情報Ｐｉは、フレームＦｒｉに含まれる顔を囲む矩形の四隅の座標値となる。なお、顔の位置を表す情報Ｐｉとしてはこれに限定されるものではなく、マスクＭの対角線の交点の中心位置の座標およびこれを中心とする円の半径の大きさを顔の位置を表す情報Ｐｉとして用いてもよい。

さらに、ＣＰＵ１２は顔の位置を表す情報Ｐｉをシステムメモリ３４に記憶した後、所定時間後（例えば１０フレーム後）のフレームＦｒｉ＋１およびフレームＦｒｉの画像の変化量を算出する。具体的には、フレームＦｒｉ，Ｆｒｉ＋１のそれぞれの全画素について画素値を加算し、これを全画素数により除算することによる画素値の平均値（以下Ｍｉ，Ｍｉ＋１とする）を算出する。そして、この平均値Ｍｉ，Ｍｉ＋１の差の絶対値｜ΔＭ｜を変化量として算出する。そして、変化量｜ΔＭ｜が所定の閾値Ｔｈ１を超えたか否かを判定する。

ここで、２つのフレームＦｒｉ，Ｆｒｉ＋１間においてシーンが切り替わった場合、２つのフレーム間の画像の変化量｜ΔＭ｜は比較的大きくなり、シーンが切り替わらなかった場合には２つのフレーム間の画像の変化量｜ΔＭ｜はそれほど大きくならない。したがって、閾値Ｔｈ１としては、シーンが切り替わったか否かを区別できる程度の値を用いることができる。なお、閾値Ｔｈ１は、実際にシーンが切り替わった２つのフレーム間の変化量を算出することにより経験的に求めればよい。

そして、変化量｜ΔＭ｜が閾値Ｔｈ１以下の場合には、２つのフレームＦｒｉ，Ｆｒｉ＋１についてはシーンは切り替わっていないものとして、システムメモリ３４に記憶された顔の位置の情報Ｐｉを読み出し、フレームＦｒｉ＋１については、フレームＦｒｉについて検出した顔の位置およびその近傍の領域についてのみ、顔が含まれるか否かの判定を行う。具体的には、図１１に示すように、顔の位置の情報ＰｉはフレームＦｒｉに含まれる顔を囲む四隅の座標値であるため、この四隅の座標値により規定される矩形領域Ａｉを中心とし、サイズがこの矩形領域Ａｉの１．２倍程度の矩形領域Ａｉ＋１において、顔が含まれるか否かの判定を行う。なお、この際の顔が含まれるか否かの判定は、上記第１および第２の識別の双方を行ってもよく、第２の識別のみを行ってもよい。

そして、ＣＰＵ１２は、顔が含まれると判定すると、フレームＦｒｉの場合と同様に、顔の位置を表す情報Ｐｉ＋１を求め、これを顔の位置を表す情報Ｐｉに代えてシステムメモリ３４に記憶する。

一方、変化量｜ΔＭ｜が閾値Ｔｈ１を超えた場合には、２つのフレームＦｒｉ，Ｆｒｉ＋１についてはシーンは切り替わったものとして、フレームＦｒｉ＋１の全体に対して、上記と同様に顔が含まれるか否かの判定を行う。なお、変化量｜ΔＭ｜が閾値Ｔｈ１以下の場合において、顔が含まれると判定されなかった場合にも、２つのフレームＦｒｉ，Ｆｒｉ＋１についてはシーンは切り替わったものとして、フレームＦｒｉ＋１の全体に対して、上記と同様に顔が含まれるか否かの判定を行う。

ＣＰＵ１２は、上記顔が含まれるか否かの判定、顔が含まれると判定した場合の新たな顔の位置を表す情報Ｐｉ＋１のシステムメモリ３４への記憶を、ユーザがレリーズボタンを駆動して撮像動作を行うまで繰り返し行う。そして、ユーザがレリーズボタンを押下して撮像動作を行うと、撮像動作が行われたときに取得された画像データに対して、赤目補正処理を施す。

赤目補正処理は、例えば上記特許文献１に記載されている手法を用いることができる。具体的には、画像データにより表される画像から人物の顔を検出し、検出した顔の範囲内において赤色の画素値を有する画素を検出し、その画素の画素値を黒色に変更する。ここで、本実施形態においては、撮像動作が行われた際にシステムメモリ３４に記憶されている顔の位置の情報Ｐｉにより、顔の位置を特定することができるため、画像データにより表される画像から人物の顔を検出する処理を行う必要がなくなる。したがって、顔の位置の情報Ｐｉにより表される矩形領域Ａｉ内の画像についてのみ、赤色の画素値となる画素の検出および、赤色画素が検出された場合のその画素の黒色への変更の処理を行えばよいこととなる。

次いで、本実施形態において行われる処理について説明する。図１２および図１３は本実施形態において行われる処理を示すフローチャートである。まず、ユーザによりデジタルカメラ１のモードが撮影モードに切り替えられることにより処理が開始され、まず、ＣＰＵ１２は、顔が含まれるか否かの判定を行うフレームを最初のフレームＦｒｉ（ｉ＝１）に設定し（ステップＳ１１）、フレームＦｒｉに顔が含まれるか否かの判定処理を行う（ステップＳ１２）。

図１４は顔が含まれるか否かの判定処理のフローチャートである。まず、ＣＰＵ１２は、フレームＦｒｉの拡大縮小および回転の各段階において、フレームＦｒｉの勾配ベクトルＫの方向を第１の特徴量Ｃ１として算出する（ステップＳ３１）。そして、システムメモリ３４から第１の参照データＲ１を読み出し（ステップＳ３２）、フレームＦｒｉに顔候補が含まれるか否かの第１の識別を行う（ステップＳ３３）。

ステップＳ３３が肯定されると、ＣＰＵ１２はフレームＦｒｉから顔候補を抽出する（ステップＳ３４）。なお、複数の顔候補を抽出してもよい。次いで、ＣＰＵ１２は顔候補の拡大縮小および回転の各段階において顔候補から第２の特徴量Ｃ２を算出し（ステップＳ３５）、第２の特徴量Ｃ２を正規化する（ステップＳ３６）。そして、システムメモリ３４から第２の参照データＲ２を読み出し（ステップＳ３７）、顔候補が顔であるか否かの第２の識別を行う（ステップＳ３８）。

ステップＳ３８が肯定されると、ＣＰＵ１２はフレームＦｒｉに顔が含まれると判定し（ステップＳ３９）、処理を終了する。

ステップＳ３３およびステップＳ３８が否定されると、フレームＦｒｉには顔が含まれないと判定し（ステップＳ４０）、処理を終了する。

顔が含まれないと判定すると、ＣＰＵ１２は所定時間後の次のフレームに処理対象を変更し（ｉ＝ｉ＋１、ステップＳ１３）、ステップＳ１２に戻る。顔が含まれると判定すると、顔の位置を検出し（ステップＳ１４）、顔の位置を表す情報Ｐｉをシステムメモリ３４に記憶する（ステップＳ１５）。そして、ＣＰＵ１２はユーザがレリーズボタンを押下することにより撮像動作を行ったか否かを判定する（ステップＳ１６）。

ステップＳ１６が否定されると、ＣＰＵ１２は所定時間後の次のフレームに処理対象を変更し（ステップＳ１７）、フレームＦｒｉ＋１およびフレームＦｒｉの画像の変化量｜ΔＭ｜を算出し（ステップＳ１８）、変化量｜ΔＭ｜が閾値Ｔｈ１を超えるか否かを判定する（ステップＳ１９）。ステップＳ１８が肯定されると、２つのフレームＦｒｉ，Ｆｒｉ＋１についてはシーンは切り替わったものとして、フレームＦｒｉ＋１の全体に対して、上記と同様に顔が含まれるか否かの判定を行うべく、ステップＳ１２に戻る。

ステップＳ１９が否定されると、２つのフレームＦｒｉ，Ｆｒｉ＋１についてはシーンは切り替わっていないものとして、システムメモリ３４に記憶された顔の位置の情報Ｐｉを読み出し（ステップＳ２０）、フレームＦｒｉ＋１については、フレームＦｒｉについて検出した顔の位置およびその近傍の領域についてのみ、顔が含まれるか否かの判定を行う（ステップＳ２１）。顔が含まれないと判定すると、ステップＳ１３に戻る。顔が含まれると判定すると、ステップＳ１４に戻って顔の位置を検出し、ステップＳ１５において顔の位置を表す情報Ｐｉをシステムメモリ３４に記憶する。

ステップＳ１６が肯定されると、撮像動作が行われたときに取得された画像データに対して赤目補正処理を施す（ステップＳ２２）。そして、赤目補正処理が施された画像データをＬＣＤ４０に表示し（ステップＳ２３）、さらにメモリカード３０に記録し（ステップＳ２４）、撮像の処理を終了する。

ここで、デジタルカメラ１を用いて撮影を行う際には、構図を決めてからレリーズボタンを押下するまでに数秒の時間を要し、その間には被写体は動かないことが多い。このため、所定時間間隔でフレームに顔が含まれるか否かの判定、含まれると判定された場合の新たな顔の位置の検出および新たな顔の位置のシステムメモリ３４への記憶を行うことにより、システムメモリ３４に記憶された顔の位置は、撮像動作により取得した画像データにより表される画像に含まれる顔の位置と対応することとなる。したがって、撮像により取得した画像データに対して赤目補正処理を施す際には、顔の位置の情報Ｐｉを用いることにより、画像データにより表される画像から顔を検出する処理を行わなくてもよいこととなる。このため、本実施形態によれば、赤目補正処理の時間を短縮することができ、これにより、撮像により取得した画像データをＬＣＤ４０に表示したり、次の画像を撮像可能とするまでの待ち時間を少なくすることができ、その結果、待ち時間が長くなることにより撮影者のストレスを軽減することができる。

また、２つのフレームＦｒｉ，Ｆｒｉ＋１間の画像の変化量｜ΔＭ｜が閾値Ｔｈ１を超えるか否かを判定し、変化量｜ΔＭ｜が閾値Ｔｈ１以下である場合にはフレームＦｒｉ＋１におけるシステムメモリ３４に記憶された顔の位置およびその近傍の領域においてのみ顔が含まれるか否かの判定処理を行うことにより、２つのフレームＦｒｉ，Ｆｒｉ＋１間においてシーンが変化しない場合には、フレームＦｒｉ＋１の全体に対して顔が含まれるか否かの判定処理を行う必要がなくなる。したがって、顔が含まれるか否かの判定のための処理時間を短縮することができる。

なお、上記実施形態においては、フレームＦｒｉ，Ｆｒｉ＋１間の画像の変化量｜ΔＭ｜として、フレームＦｒｉ,Ｆｒｉ＋１の画素値の平均値を用いているが、図１５（ａ），（ｂ）に示すようにフレームＦｒｉ，Ｆｒｉ＋１の画素値と頻度との関係を表すヒストグラムＨｉ，Ｈｉ＋１を求め、ヒストグラムＨｉ，Ｈｉ＋１の形状の差（すなわち図１５（ｃ）に示す斜線部分の面積）を変化量として用いてもよい。この場合、変化量があらかじめ定めた閾値（Ｔｈ２とする）を超えるか否かを判定することにより、シーンが切り替わったか否かを判定すればよい。

また、上記実施形態においては、撮像動作により取得した画像データに赤目補正処理を施しているが、画像から人物の顔を検出し、検出した顔に対するノイズを抑制する処理や濃度および階調を変更する処理のように、顔の画質を向上させる処理を施すようにしてもよい。この場合においても、システムメモリ３４に記憶された顔の位置を表す情報Ｐｉを用いることにより、顔を検出する処理を行う必要がなくなるため、処理時間を短縮することができる。

また、上記実施形態においては、撮像動作により１つの画像データのみを取得しているが、撮像動作時に取得された画像データに対応するフレームに時間的に前後する複数のフレームを１つの画像データとして取得してもよい。例えば、図１６に示すように撮影モード設定時には１秒間に３０枚のフレームが順次取得されているが、撮像動作が行われたときに取得されるフレーム（以下基準フレームＦｒｓとする）に時間的に前後する複数フレーム（ここでは７フレーム）を１つの画像データとして取得してもよい。また、基準フレームＦｒｓに時間的に前のみまたは後のみの複数フレームを１つの画像データとして取得してもよいことはもちろんである。

このように、複数フレームを画像データとして取得する場合、基準フレームＦｒｓに含まれる顔について目を閉じているか否かを判定し、目を閉じている場合には、複数のフレームから目を閉じていない顔を含むフレームを選択する処理を行うようにしてもよい。また、基準フレームＦｒｓに含まれる顔について笑顔であるか否かを判定し、笑顔でない場合には、複数のフレームから笑顔を含むフレームを選択する処理を行うようにしてもよい。

ここで、目を閉じているか否かの判定あるいは笑顔であるか否かの判定は、画像から顔を検出する必要があるが、本発明においては、システムメモリ３４に記憶された顔の位置の情報Ｐｉを用いることにより、顔を検出する処理を行う必要がなくなるため、目を閉じているか否かの判定あるいは笑顔であるか否かの判定を行うための処理時間を短縮することができる。

なお、本実施形態においては、フレームＦｒｉに顔が含まれるか否かの判定処理を、マシンラーニングの手法による学習により得られた参照データＲ１，Ｒ２を用いて行っているが、顔のテンプレートを用いてフレームＦｒｉにテンプレートに適合する形状が含まれるか否かを判定する等、他の手法を用いてもよいことはもちろんである。

本発明の撮像装置の実施形態であるデジタルカメラの構成を示す概略ブロック図 （ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図 勾配ベクトルの算出を説明するための図 （ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図 （ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図 顔であることが分かっているサンプル画像の例を示す図 顔の回転を説明するための図 参照データの学習手法を示すフローチャート 識別器の導出方法を示す図 フレームの段階的な変形を説明するための図 変化量が閾値以下の場合に顔が含まれるか否かの判定処理を行う範囲を説明するための図 本実施形態において行われる処理を示すフローチャート（その１） 本実施形態において行われる処理を示すフローチャート（その２） 顔が含まれるか否かの判定処理のフローチャート ヒストグラムの形状の差を変化量とする処理を説明するための図 撮像動作に時間的に前後するフレームを画像データとする処理を説明するための図

符号の説明

１ デジタルカメラ
１０ 撮像部
１２ ＣＰＵ
２２ 入力部
３４ システムメモリ
４０ ＬＣＤ

Claims (8)

1. 被写体を撮像して画像データを取得する撮像手段と、
   モードを撮影モードに切り替えるモード切替手段と、
   前記画像データを含む各種表示を行う表示手段と、
   撮像動作を行うためのレリーズ手段と、
   前記画像データを含む各種情報を記憶する記憶手段と、
   該撮像手段により前記被写体を撮像し続けて前記被写体の動画像を取得して前記表示手段に表示する撮像制御手段とを備えた撮像装置において、
   前記動画像を構成する一のフレームに人物の顔が含まれるか否かの判定を、所定時間間隔にて該判定が肯定されるまで行う顔判定手段と、
   該顔判定手段により顔が含まれると判定された場合に、該顔が含まれると判定されたフレームからの顔の位置の検出を行う顔検出手段と、
   前記検出した顔の位置を前記記憶手段に記憶し、前記所定時間経過後の次フレームに前記顔が含まれるか否かの判定を行い、該判定が肯定された場合に前記顔の位置の検出を行い、前記レリーズ手段により撮像動作が行われるまで、さらに前記所定時間経過後の次フレームに顔が含まれるか否かの判定、該顔が含まれると判定された場合における顔の位置の検出および新たな顔の位置の前記記憶手段への記憶を行い、前記レリーズ手段により撮像動作が行われたときのフレームまたは該フレームに時間的に前および／または後の複数のフレームを前記画像データとして前記記憶手段に記憶するよう、前記撮像手段、前記顔判定手段、前記顔検出手段、および前記記憶手段を制御する制御手段と、
   前記複数のフレームから笑顔を含むフレームを選択する画像処理手段とを備えたことを特徴とする撮像装置。
2. 前記次フレームと前記顔が含まれると判定されたフレームとを参照して、該２つのフレーム間の画像の変化量が所定値を超えるか否かを判定する変化量判定手段をさらに備え、
   前記制御手段は、該変化量判定手段により前記変化量が所定値以下であると判定された場合、前記次フレームにおける前記記憶手段に記憶された顔の位置の近傍およびその領域においてのみ前記顔が含まれるか否かの判定を行い、前記変化量判定手段により前記変化量が所定値を超えると判定された場合、前記次フレームに前記顔が含まれるか否かの判定を行うよう前記顔判定手段を制御する手段であることを特徴とする請求項１記載の撮像装置。
3. 被写体を撮像して画像データを取得する撮像手段と、
   モードを撮影モードに切り替えるモード切替手段と、
   前記画像データを含む各種表示を行う表示手段と、
   撮像動作を行うためのレリーズ手段と、
   前記画像データを含む各種情報を記憶する記憶手段と、
   該撮像手段により前記被写体を撮像し続けて前記被写体の動画像を取得して前記表示手段に表示する撮像制御手段とを備えた撮像装置における撮像方法において、
   前記動画像を構成する一のフレームに人物の顔が含まれるか否かの判定を、所定時間間隔にて該判定が肯定されるまで行い、
   該顔が含まれると判定された場合に、該顔が含まれると判定されたフレームからの顔の位置の検出を行い、
   前記検出した顔の位置を前記記憶手段に記憶し、前記所定時間経過後の次フレームに前記顔が含まれるか否かの判定を行い、該判定が肯定された場合に前記顔の位置の検出を行い、前記レリーズ手段により撮像動作が行われるまで、さらに前記所定時間経過後の次フレームに顔が含まれるか否かの判定、該顔が含まれると判定された場合における顔の位置の検出および新たな顔の位置の前記記憶手段への記憶を行い、前記レリーズ手段により撮像動作が行われたときのフレームまたは該フレームに時間的に前および／または後の複数のフレームを前記画像データとして前記記憶手段に記憶し、
   前記複数のフレームから笑顔を含むフレームを選択することを特徴とする撮像方法。
4. 被写体を撮像して画像データを取得する撮像手段と、
   モードを撮影モードに切り替えるモード切替手段と、
   前記画像データを含む各種表示を行う表示手段と、
   撮像動作を行うためのレリーズ手段と、
   前記画像データを含む各種情報を記憶する記憶手段と、
   該撮像手段により前記被写体を撮像し続けて前記被写体の動画像を取得して前記表示手段に表示する撮像制御手段とを備えた撮像装置における撮像方法をコンピュータに実行させるためのプログラムにおいて、
   前記動画像を構成する一のフレームに人物の顔が含まれるか否かの判定を、所定時間間隔にて該判定が肯定されるまで行う手順と、
   該顔が含まれると判定された場合に、該顔が含まれると判定されたフレームからの顔の位置の検出を行う手順と、
   前記検出した顔の位置を前記記憶手段に記憶し、前記所定時間経過後の次フレームに前記顔が含まれるか否かの判定を行い、該判定が肯定された場合に前記顔の位置の検出を行い、前記レリーズ手段により撮像動作が行われるまで、さらに前記所定時間経過後の次フレームに顔が含まれるか否かの判定、該顔が含まれると判定された場合における顔の位置の検出および新たな顔の位置の前記記憶手段への記憶を行い、前記レリーズ手段により撮像動作が行われたときのフレームまたは該フレームに時間的に前および／または後の複数のフレームを前記画像データとして前記記憶手段に記憶する手順と、
   前記複数のフレームから笑顔を含むフレームを選択する手順とをコンピュータに実行させるためのプログラム。
5. 被写体を撮像して画像データを取得する撮像手段と、
   モードを撮影モードに切り替るモード切替手段と、
   前記画像データを含む各種表示を行う表示手段と、
   撮像動作を行うためのレリーズ手段と、
   前記画像データを含む各種情報を記憶する記憶手段と、
   該撮像手段により前記被写体を撮像し続けて前記被写体の動画像を取得して前記表示手段に表示する撮像制御手段とを備えた撮像装置において、
   前記動画像を構成する一のフレームに人物の顔が含まれるか否かの判定を、所定時間間隔にて該判定が肯定されるまで行う顔判定手段と、
   該顔判定手段により顔が含まれると判定された場合に、該顔が含まれると判定されたフレームからの顔の位置の検出を行う顔検出手段と、
   前記検出した顔の位置を前記記憶手段に記憶し、前記所定時間経過後の次フレームに前記顔が含まれるか否かの判定を行い、該判定が肯定された場合に前記顔の位置の検出を行い、前記レリーズ手段により撮像動作が行われるまで、さらに前記所定時間経過後の次フレームに顔が含まれるか否かの判定、該顔が含まれると判定された場合における顔の位置の検出および新たな顔の位置の前記記憶手段への記憶を行い、前記レリーズ手段により撮像動作が行われたときのフレームまたは該フレームに時間的に前および／または後の複数のフレームを前記画像データとして前記記憶手段に記憶するよう、前記撮像手段、前記顔判定手段、前記顔検出手段および前記記憶手段を制御する制御手段とを備えたことを特徴とする撮像装置。
6. メモリーカードを着脱自在に保持するスロット部とを更に備え、
   前記記憶手段が、前記撮像装置の本体内に設けられた内部メモリと、前記スロット部に保持されたメモリーカードとを有し、前記顔の位置を表す情報を前記内部メモリに記憶することを特徴とする請求項５記載の撮像装置。
7. 被写体を撮像して画像データを取得する撮像手段と、
   モードを撮影モードに切り替えるモード切替手段と、
   前記画像データを含む各種表示を行う表示手段と、
   撮像動作を行うためのレリーズ手段と、
   前記画像データを含む各種情報を記憶する記憶手段と、
   該撮像手段により前記被写体を撮像し続けて前記被写体の動画像を取得して前記表示手段に表示する撮像制御手段とを備えた撮像装置における撮像方法において、
   前記動画像を構成する一のフレームに人物の顔が含まれるか否かの判定を、所定時間間隔にて該判定が肯定されるまで行い、
   該顔が含まれると判定された場合に、該顔が含まれると判定されたフレームからの顔の位置の検出を行い、
   前記検出した顔の位置を前記記憶手段に記憶し、前記所定時間経過後の次フレームに前記顔が含まれるか否かの判定を行い、該判定が肯定された場合に前記顔の位置の検出を行い、前記レリーズ手段により撮像動作が行われるまで、さらに前記所定時間経過後の次フレームに顔が含まれるか否かの判定、該顔が含まれると判定された場合における顔の位置の検出および新たな顔の位置の前記記憶手段への記憶を行い、前記レリーズ手段により撮像動作が行われたときのフレームまたは該フレームに時間的に前および／または後の複数のフレームを前記画像データとして前記記憶手段に記憶することを特徴とする撮像方法。
8. 被写体を撮像して画像データを取得する撮像手段と、
   モードを撮影モードに切り替えるモード切替手段と、
   前記画像データを含む各種表示を行う表示手段と、
   撮像動作を行うためのレリーズ手段と、
   前記画像データを含む各種情報を記憶する記憶手段と、
   該撮像手段により前記被写体を撮像し続けて前記被写体の動画像を取得して前記表示手段に表示する撮像制御手段とを備えた撮像装置における撮像方法をコンピュータに実行させるためのプログラムにおいて、
   前記動画像を構成する一のフレームに人物の顔が含まれるか否かの判定を、所定時間間隔にて該判定が肯定されるまで行う手順と、
   該顔が含まれると判定された場合に、該顔が含まれると判定されたフレームからの顔の位置の検出を行う手順と、
   前記検出した顔の位置を前記記憶手段に記憶し、前記所定時間経過後の次フレームに前記顔が含まれるか否かの判定を行い、該判定が肯定された場合に前記顔の位置の検出を行い、前記レリーズ手段により撮像動作が行われるまで、さらに前記所定時間経過後の次フレームに顔が含まれるか否かの判定、該顔が含まれると判定された場合における顔の位置の検出および新たな顔の位置の前記記憶手段への記憶を行い、前記レリーズ手段により撮像動作が行われたときのフレームまたは該フレームに時間的に前および／または後の複数のフレームを前記画像データとして前記記憶手段に記憶する手順とをコンピュータに実行させるためのプログラム。

Images