(実施形態1)
本実施形態では、検出した顔領域の位置情報を記憶しておき、検出した顔領域を対象としたAF(オートフォーカス)を実行して撮影する動作を、検出した顔毎に順次繰り返すことにより、検出した顔の人物全員に対して最適な合焦位置で撮影してぼけのない画像を得る例について述べる。
図1は、本発明に係る撮像装置の一実施例としてのデジタルカメラの外観を示す図であり、ここでは主として正面(図1(a))及び背面(図1(b))の外観を示す。デジタルカメラ100は、図1(a)に示すように正面側に撮像レンズ1および距離センサー2を有している。また、デジタルカメラ100の背面には、図1(b)に示すように、モードダイアル3、液晶画面4、カーソルキー5、SETキー6、メニューキー10等が設けられている。また、上面にはシャッターキー8および電源ボタン9が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ(以下、パソコン)やモデム等の外部装置とUSBケーブルに接続する場合に用いるUSB端子接続部が設けられている。なお、距離センサー2は必須ではない。また、後述する実施形態4では距離センサー2は不要である。
図2は本実施形態に係わるデジタルカメラの電気的構成の一実施例を示すブロック図であり、デジタルカメラ100は、撮像部31、画像データ処理部32、顔領域検出部33、システム制御部35、一時記憶メモリ36、画像表示部37、記録部38、外部入出力部40、操作部41、測距部42および位置情報記憶メモリ43を備えている。撮像部31および画像データ処理部32は本発明の画像取得部を構成する。また、オートフォーカス機能、および静止画撮影モードや動画撮影モード等の撮影機能とそれらの撮影機能の下選択可能な本発明に基づく顔認識によるオートブラケティング撮影モードを有している。
撮像部31は、撮影レンズ1のほか、図3に示すように、基本モードである撮像モードにおいてズームレンズ1−1を移動させて光学ズーム動作を行わせるズーム駆動制御部31−1やフォーカスレンズ1−2を移動させて合焦動作を行わせる合焦制御手段としてのAF駆動制御部31−2等を含むレンズ駆動系31−3と、撮像素子31−5、信号変換部31−6、撮像タイミング制御部31−7、撮像素子駆動制御部31−8等を含む撮像系31−9を有しており、撮像レンズ1を経由し、撮像レンズの撮像光軸後方に配置された撮像素子に入射した被写体光像は撮像素子31−5によって光電変換され撮像信号(アナログ)として出力される。撮像素子31−5の出力信号は信号変換部31−6で相関二重サンプリングおよびゲイン調整され、A/D変換によりデジタル信号に変換される。A/D変換された撮像信号は所定の周期で画像データ処理部32に送られる。撮像素子31−5は、被写体の二次元画像を撮像するCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像デバイスであり、典型的には毎秒数十フレームの画像を撮像する。なお、撮像素子はCMOSに限定されない。
画像データ処理部32は、信号変換部31−6から出力されたデジタル信号(画像データ)に対して画像補間処理及びγ補正処理を含むカラープロセス処理を行ってデジタル値の輝度信号Y及び色差信号Cb、Crを生成し、DRAM等の一時記憶メモリ36にバス30を介してDMA転送する。
顔領域検出部33は、顔認識によるオートブラケティング撮影モード時に、一時記憶メモリ36に取り込まれた1フレーム分の画像データの中から人物の顔領域を検出し、検出した顔領域の位置情報、例えば、顔領域の四隅の座標または中心位置の座標、をバス30を介してシステム制御部35に送出する。顔領域の検出方法として、例えば特許文献1(特開平2002−51255号公報)に記載の技術等のような公知の技術を適宜用いることができる。なお、この顔領域検出処理のために専用の回路を設けてもよいし、システム制御部35で顔領域検出用プログラムを実行させるようにしてもよい。また、顔領域検出部33を、後述する実施形態4のように、画像を所定の方向から走査しながら顔領域を検出するように構成してもよい。
システム制御部35は、デジタルカメラ100全体の制御動作を司るものであり、CPU若しくはMPU(以下、CPU)と、該CPUで実行される動作プログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるRAM等により構成されている。また、システム制御部35は画像データ処理部32からの画像データ(輝度及び色差信号)のDRAM等の一時記憶メモリ36へのDMA転送終了後に、この輝度及び色差信号を一時記憶メモリ36から読出し、画像表示部39の表示用バッファメモリに書き込むよう制御する。
また、システム制御部35は、顔認識によるオートブラケティング撮影モード時に、顔領域検出部33から受け取る顔画像の位置情報を基に合焦位置を決定する合焦位置決定手段として機能し、合焦位置データをAF駆動制御部31−2に送出する。また、AF駆動制御部31−2に合焦時に撮像指示を撮像部31に送出する。
更に、システム制御部35は、顔認識によるオートブラケティング撮影モード時に、一時記憶メモリ36に一時記憶されている複数の撮影画像からそれぞれ主要被写体部分を抽出して合成画像を生成する画像合成手段として機能する。
一時記憶メモリ36はDRAM等で構成され、オートブラケティング撮影モード時にはその一部の領域を画像データ処理部32から取得する撮影画像を一時的に記憶するバッファメモリとして用いることができる。
画像表示部37はVRAM等の表示用バッファメモリ、表示制御部、及び液晶画面4を有し、システム制御部35の制御下で表示用バッファメモリに書き込まれた上記輝度及び色差信号を表示制御部を介して定期的に読み出し、これらのデータを基にビデオ信号を生成して上記液晶画面4に出力する。
記録部38は、画像データの圧縮または伸張を行うデータ圧縮伸張部と、DRAM等のバッファメモリから転送されるデータの記録媒体39への書き込みや記録媒体39からの読み出しを行うコントローラ等から構成されている。記録媒体39は内蔵メモリ(フラッシュメモリ)や光ディスク、あるいは着脱可能なメモリーカード等の書き換え可能な記録媒体からなり記録部38によって書き込まれた画像データや撮像情報等を保存記録する。
外部入出力部40は、デジタルカメラ100とUSBケーブル等の接続手段やインターネット等の通信ネットワークによりデジタルカメラ100に接続する外部装置との間で画像データやプログラム等を入出力する際の入出力インターフェィス等からなる。
操作部41は、図1に示したモードダイアル3、カーソルキー5、SETキー6、シャッターキー8、電源ボタン9、およびメニューキー等のキーと、それらのキーが操作されると操作されたキーの操作信号を生成してシステム制御部35に送出するキー処理部等から構成されている。
モードダイアル3は撮像モードや再生モードの選択を行うものである。ユーザはモードダイアル3を操作して、静止画撮像モード、顔認識によるオートブラケティング撮影モード、マクロ撮像モード、連写モード、速写モード、・・、動画撮像モード等の撮像モードや再生モードを選択することができる。顔認識によるオートブラケティング撮影モードは静止画撮像モードまたは動画撮影モード下で表示される処理選択メニューで選択できる。なお、モードダイアル3でオートブラケティング撮影モードを選択できるように構成してもよい。
カーソルキー5はモード設定やメニュー選択等に際して液晶画面4に表示されるメニューやアイコン等をカーソルでポイント(指定)する際に操作するキーであり、カーソルキー5の操作によりカーソルを上下又は左右に移動させることができる。また、SETキー6はカーソルキー5によってカーソル表示されている項目を選択設定する際に押されるキーである。またSETキー6を確認キーとして用いることもできる。
シャッターキー8は、撮像時にレリーズ操作を行うもので、2段階のストロークを有しており、システム制御部35はシャッターキー8の1段目の操作(半押し状態)でオートフォーカス(AF)と自動露出(AE)を行わせるための合焦指示信号を発生し、2段目の操作(全押し状態)で撮像処理を行うための撮像指示信号を発生する。
測距部42は、撮像時に距離センサー2から受け取る距離情報を基に顔領域検出部33で検出した各顔領域とカメラとの距離を取得してシステム制御部35に送出する。距離センサー2は必須でなく、検出された各顔領域とカメラとの距離は、例えば、特許文献1(特開平2002−51255号公報)に記載の技術等のような公知の技術を適宜用いて取得することができる。
位置情報記憶メモリ43は、例えば、図5に示すように、顔領域検出部33で検出した各顔領域の位置情報に測距部42で取得したそれぞれの顔領域とカメラの距離を対応付けて記憶したメモリからなり、検出された顔領域の位置情報(例えば、フレーム上の四隅の座標値)43−1とその顔領域とカメラとの距離43−2を対応付けた位置情報データ43−5が検出された顔領域の数だけ記憶される。なお、位置情報記憶メモリ43は専用のメモリでもよいが、例えば、システム制御部35のRAM等のワークメモリに確保した所定の領域を位置情報記憶メモリ43として用いるようにしてもよいし、一時記憶メモリ36に確保した所定の領域を位置情報記憶メモリ43として用いるようにしてもよい。
図4は本発明のオートブラケティングによる撮影の説明図である。図4(a)はデジタルカメラ100の視野内の被写体光像から取得した、5人の人物41〜人物45が被写体として含まれるフレーム画像40を示す。デジタルカメラ100は、フレーム画像40内の人物41〜46の顔領域をそれぞれ検出する。そして、前記検出した各顔領域の位置情報を取得し、それを前記位置情報記憶メモリ43に記憶する。前記位置情報記憶メモリ43に前記各顔領域の位置情報を記憶すると、所定の順に従って、前記位置情報記憶メモリ43に記憶された位置情報を読み出すとともに、前記読み出した位置情報、つまり、顔領域に対して合焦させて撮影を行う。具体的には、まず、図4(b)に示すように人物41の顔領域に対応した位置情報を前記位置情報記憶メモリ43から読み出し、そこに合焦させて撮影を行なう。次に、人物42の顔領域に対応した位置情報を前記位置情報記憶メモリ43から読み出し、そこに合焦させて撮影を行なう。同様の動作を図4(d)〜図4(f)に示すように人物43〜人物45にも行って順次撮影する。つまり、前記位置情報記憶メモリ43に記憶されている位置情報としての顔領域を読み出すとともに、そこに合焦させて撮影を行なうといったことを、前記位置情報記憶メモリ43に記憶されている位置情報毎に、前記位置情報記憶メモリ43に記憶されている位置情報全てに対して行う。
これにより、人物41を主要被写体とした撮影画像、人物42を主要被写体とした撮影画像、・・・、人物45を主要被写体とした撮影画像、の各主要被写体についてぼけのない5枚の撮影画像を得ることができる。
尚、図4(b)〜図4(f)において、太線で表示している人物像は主要被写体(つまり、合焦対象人物)を示し、細線や破線で表示している人物像は主要被写体以外の人物を示し、細線および破線表示で画像がぼけている状態を示している。
図6は、本実施形態に係わる顔認識によるオートブラケティング撮影時のシステム制御部35による制御動作例を示すフローチャートであり、デジタルカメラ100に本発明の顔認識によるオートブラケティング撮影機能を実現させるためのプログラムを説明するためのものである。以下、図1〜図6に基づいて説明する。
デジタルカメラ100の電源キー9がオンのとき、ユーザがモードダイアル3を操作して静止画撮影モードを選択すると液晶画面4に表示される処理選択メニューの中からオートブラケティング撮影モードを選択することができる。システム制御部35は操作部41からの信号を調べ、オートブラケティング撮影モードが選択された場合はステップS2に進み、他のモードが選択された場合は選択されたモードの処理を行う(ステップS1)。
オートブラケティング撮影モードが選択された場合は、システム制御部35は撮影用の各種初期設定を行った後(ステップS2)、撮像部31および画像データ処理部32を制御してその時点のズーム値に対応した焦点距離でAE処理を実行させ、撮影レンズ1を介して取り込んだ被写体光像から画像データを得ると共に自動ホワイトバランス(AWB)処理により光源の色に対応したホワイトバランスになるように調整を施した上で、所定の周期で1フレーム分の画像データを得て一時記憶メモリ36にDMA転送し、一時記憶メモリ36に取り込んだ画像データから画素数を間引いたビデオスルー画像データで画像記憶部37の表示用バッファを書き換えて液晶画面4にスルー画像を表示する(ステップS3)。ユーザはスルー表示されている画像を見てフレーミングを行って好適な構図の画像を画面内に収めるようにできる。
システム制御部35は、顔領域検出部33を制御して一時記憶メモリ36に定期的に取り込まれる1フレーム分の画像のうちの一つをサンプリング画像とし、そのサンプリング画像からの顔領域検出処理を開始させる(ステップS4)。前記サンプリング画像は、例えば、シャッターキー8の2段目が操作(全押し状態)されたときに取り込まれる1フレーム分の画像とすることができる。
顔領域検出処理においてシステム制御部35は、顔領域検出部33からの信号を調べて顔領域を検出したか否かを判定し、顔領域を検出した場合はステップS6に進み、そうでない場合はステップS8に進む(ステップS5)。
具体的には、システム制御部35は、顔領域検出部33から位置情報を取得すると顔領域の中心位置を算出して測距部42に送り、検出した顔領域とカメラとの距離を測定させて測距部42からその顔領域とカメラとの距離を取得し(ステップS6)、検出した顔領域の位置情報とその顔領域とカメラとの距離を対応付けて図5に示したような位置情報記憶メモリ43に追加記憶する(ステップS7)。そして、サンプリング画像の全画像領域に対して、顔領域検出部33による顔領域検出処理が終わるまでステップS4〜S7の動作を繰り返す(ステップS8)。尚、図示していないが、顔領域が検出される度に、当該サンプリング画像における顔領域の数をカウントするカウント値がインクリメントされる。
顔領域検出部33による顔検出処理が終わると顔領域のカウント値を調べ、顔領域の数が1以上の場合はステップS10に進み、そうでない場合、つまり、サンプリング画像から顔領域が一つも検出できなかった場合はその旨のメッセージ、例えば、「オートブラケティング撮影できませんでした」を出力して通常撮影モードに移行する(ステップS9)。
システム制御部35は、位置情報記憶メモリ43に記憶されている位置情報データのうち、例えば、顔領域とカメラとの距離が最も近い顔領域の位置情報を取り出してその位置情報を基に合焦エリアを決定する(ステップS10)。
そして、AF駆動制御部31−2を介してフォーカスレンズ1−2を順次移動させて、各フォーカスレンズ1−2位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する(ステップS11)。次に、検出した合焦位置にAF駆動制御部31−2を介してフォーカスレンズ1−2を移動させることで、位置情報記憶メモリ43に記憶されている顔領域の位置、つまり、サンプリング画像の顔領域のうちでカメラとの距離が一番近い顔領域を主要被写体として合焦させる(ステップS12)。換言すると、システム制御部35は、前記合焦エリアをオートフォーカス対象エリアにしてオートフォーカスを行うことで、前記合焦エリアにある被写体が主要被写体として合焦するように制御している。
このように所定の顔領域に合焦すると、システム制御部35は、撮像部31および画像データ処理部32からなる画像取得部を制御して最初の1枚の撮像を実行する。つまり、その時点で直ちに画像データ処理部32から一時記憶メモリ36への経路を停止してスルー画像取得時とは異なる本撮影時の撮像素子駆動方式への切り替えを実行するとともに、この本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像を主要被写体となった顔領域の位置情報に関連付けて一時記憶メモリ36に確保された撮影画像記憶領域に記憶する(ステップS13)。
次に、システム制御部35は、位置情報記憶メモリ43に記憶されている各位置情報データのうち、例えば、顔領域とカメラとの距離が次に近い顔領域の位置情報を取り出してその位置情報を基に合焦エリアを決定する(ステップS14)。
そして、AF駆動制御部31−2を介してフォーカスレンズ1−2を順次移動させて、各フォーカスレンズ1−2位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する(ステップS15)。次に、検出した合焦位置にAF駆動制御部31−2を介してフォーカスレンズ1−2を移動させることで、位置情報記憶メモリ43に記憶されている顔領域の位置情報、つまり、サンプリング画像の顔領域のうちで前回に主要被写体となった顔領域の次にカメラとの距離が近い顔領域を主要被写体として合焦させる(ステップS16)。
次の顔領域に合焦すると、システム制御部35は、撮像部31および画像データ処理部32からなる画像取得部を制御して次の1枚の撮像を実行する。つまり、本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像をその主要被写体の顔領域の位置情報に関連付けて一時記憶メモリ36に確保された撮影画像記憶領域に追加記憶する(ステップS17)。
また、システム制御部35は検出した全ての顔領域、つまり、位置情報記憶メモリ43記憶されている全ての位置情報データについて上記ステップS14の合焦位置決定からステップS17の撮影の動作を繰り返し、全ての顔領域についてステップS14〜ステップS17の動作が終わると(ステップ18)、システム制御部36は記録部38を制御して一時記憶メモリ36の撮影画像記憶領域に記憶していた各撮影画像に順次データ圧縮処理を施させ、各撮影画像の圧縮画像データを各撮影画像の主要被写体の顔領域の位置情報と関連付けて記録媒体39に順次記録させ、オートブラケティング撮影を終了する(ステップS19)。
上記図6のフローチャートに示した動作により、デジタルカメラ100は検出した顔領域の位置情報をメモリに記憶しておき、順次検出した顔領域にピントを合わせて撮影するので、検出された人物のうちで最初の撮影対象人物の撮影から最後の撮影対象人物を撮影するまでの間に時間差が生じてカメラと被写体との距離関係が多少変化してもカメラの視野内の各人物をそれぞれ主要被写体として最適な焦点位置で撮影することができる。つまり、被写体の人数分だけ画像を得ることができるとともに、それぞれの画像は、それぞれにおける主要被写体についてぼけのない画像として得ることができる。
上記図6に示したフローチャートでは、検出した全ての顔領域への合焦および撮影が終了すると、ステップS19で一時記憶メモリ36の撮影画像記憶領域に記憶されていた各撮影画像を取り出してそれぞれ記録媒体39に記録するようにしたので、記録媒体39には検出された顔領域の数、つまり、人物の数だけ各人物を主要被写体とした撮影画像が記録されるが、ステップS19で各撮影画像のうち主要被写体部分を合成して記録媒体39に記録するようにしてもよい。また、ステップS19で人物の数だけ各人物を主要被写体とした撮影画像を記録した後、それらの画像を順次再生して主要被写体部分を合成して液晶画面4に表示するようにしてもよい。
以下、具体的に説明する。図7はオートブラケティング撮影した複数の画像から合成画像を生成する場合の制御動作例を示すフローチャートであり、図6のフローチャートのステップS19の記録処理を下記ステップS19−1〜S19−3で置き換えたものである。また、図4(g)は、図4(b)〜図4(f)に示した画像中の各主要被写体像を抽出して合成した画像の例である。
図7のステップS18で、全ての顔領域について合焦および撮影が終わったと判定されると、システム制御部36は一時記憶メモリ36の撮影画像記憶領域に記憶していた順次撮影画像を取り出し、その撮影情報と関連付けて記憶されている顔領域の位置情報の位置情報から各撮影画像の主要被写体部分を抽出し(ステップS19−1)、抽出した各主要被写体部分を合成した合成画像を生成し(ステップS19−2)、記録部38を制御して生成した合成画像に圧縮処理を施させ、合成画像の圧縮画像データを記録媒体39に順次記録させ、オートブラケティング撮影を終了する(ステップS19−3)。なお、ステップS19−2で撮影画像の主要被写体部分を抽出する際に、近傍の背景も一緒に抽出し、ステップS19−3で背景も一緒に合成することが望ましい。
上記図7のフローチャートに示した動作により、複数の人物の顔領域を検出して撮影した画像を合成し、記録できるので、全ての人物にピントが合った画像を記録することができる。
図8は、記録媒体に記録した複数の撮影画像から合成画像を生成して表示する場合の制御動作例を示すフローチャートであり、図6のフローチャートのステップS19の次に、下記ステップS20〜S24を付加するようにしたものである。
図8で、システム制御部36は記録部38を制御して、記録媒体39に記録されている一連の各撮影画像の圧縮画像データを読み出して伸張処理を施して再生し、一時記憶メモリ36に確保されている再生画像記憶領域に記憶し(ステップS20)、さらに、圧縮画像データに関連付けて記録媒体39に記録されている各撮影画像の主要被写体の顔領域の位置情報を取得して(ステップS21)、取得した位置情報を基に各再生画像から主要被写体部分を抽出し(ステップS22)、抽出した主要被写体部分を合成した合成画像を生成し(ステップS23)、画像表示部37を制御して生成した合成画像を液晶画面4に表示させる(ステップS24)。なお、ステップS22で再生画像の主要被写体部分を抽出する際に近傍の背景も一緒に抽出し、ステップS23で背景も一緒に合成することが望ましい。
上記図8のフローチャートに示した動作により、複数の人物の顔領域を検出して撮影した画像を合成し、表示できるので、全ての人物にピントが合った画像を表示することができる。
(実施形態2)
本実施形態では、所定のサンプリング画像から検出した顔領域の特徴を予め抽出して記憶しておき、撮影する毎に、そのときに撮影されている撮影画像から前記予め記憶されている特徴を有する領域を検出してその領域を対象としたAFを実行して撮影する動作を、前記予め記憶されている特徴を有する顔領域毎に順次繰り返すことにより、検出した顔の人物全員に対して最適な合焦位置で撮影する例について述べる。
図9は、本実施形態に係るデジタルカメラの電気的構成の一実施例を示すブロック図である。なお、デジタルカメラ200の外観構成は図1に示したデジタルカメラ100の外観構成と同様である。また、デジタルカメラ200の電気的構成は図2に示したデジタルカメラ100の電気的構成に、特徴抽出部34および顔データ登録メモリ44を追加し、測距部42および位置情報記憶メモリ43を削除した構成であり、特徴抽出部34および特徴登録メモリ44以外の構成、つまり、撮像部31〜顔領域検出部33、および制御部35〜操作部41の電気的構成および機能はデジタルカメラ100の電気的構成および機能と同様である。また、制御部35は特徴抽出部34から受け取る顔領域の特徴を顔データ登録メモリに登録する顔データ登録手段として機能し、特徴抽出部34および顔データ登録メモリ44と制御部35は本発明の登録画像領域検出手段を構成する。
特徴抽出部34は、顔領域検出部33で検出された各顔領域を正規化し、正規化した顔の特徴を抽出してバス30を介してシステム制御部35に送出する。特徴抽出部34によって抽出された特徴は、顔データ登録手段としてのシステム制御部35によって、例えば、図10に示すような顔データ登録メモリ44に順次記憶される。特徴の抽出技術は、公知の技術、例えば前述した特許文献3(特開平2002−251380号公報)に記載の特徴抽出技術等)を適宜用いることができる。顔領域の正規化は、例えば、顔部分の輪郭、傾き、顔の向き等を、拡大若しくは縮小、傾き角度調整、回転、等の処理によって行うことができる。また、特徴の一致不一致の判定には、例えば、メモリに記憶し各特徴と検出した各顔領域の顔の特徴の差分から距離(距離自乗平均)を求め、距離が所定の閾値以下の場合一致し、閾値未満の場合不一致と判定することができる。また、なお、この特徴抽出処理のために専用の回路を設けてもよいし制御部35で特徴抽出用プログラムを実行させるようにしてもよい。
顔データ登録メモリ44には、例えば、図10(a)に示すように、特徴抽出部34で抽出した各顔領域の特徴44−1を検出された顔領域の数だけ記憶する。また、特徴登録メモリ44は専用のメモリでもよいが、例えば、システム制御部35のRAM等のワークメモリに確保した所定の領域を特徴登録メモリ44として用いるようにしてもよいし、一時記憶メモリ36に確保した所定の領域を特徴登録メモリ44として用いるようにしてもよい。また、顔領域の特徴44−1して、特徴抽出部34で抽出した顔領域の特徴と比較して類似判定を行うための登録済み特徴が記憶されており、例えば、図10(b)に示すように顔の各部位(目、鼻、口、耳、額顎、・・・等)の位置44−1−1や各部位のサイズ44−1−2、各部分の角度44−1−3、顔の各部位間の相対関係(例えば、左右の目の間隔や、顔の横サイズとの比率等)44−1−4等のデータを含んでいる。
本実施形態によるオートブラケティングの概要を前述した図4を用いて説明図する。デジタルカメラ100は、まず、所定のサンプリング画像から検出した各顔領域の各特徴を顔データ登録メモリ44に記憶しておく。前記サンプリング画像は、例えば、シャッターキー8の2段目が操作(全押し状態)されたときに取り込まれる1フレーム分の画像とすることができる。次に、その後に取り込まれる1フレーム分の画像を新たなサンプリング画像として取得し、前記新たなサンプリング画像に基づいてフレーム画像40内の人物の顔領域を検出する。そして、例えば、人物の顔領域を検出すると、検出した顔領域の特徴と顔データ登録メモリ44に登録されている例えば人物41に対応する特徴とを比較し、特徴が一致した場合に、図4(b)に示すように人物41の顔領域を合焦エリアとし、そこに合焦させ撮影を行なう。この撮影が終了すると、再び新たなサンプリング画像を取得し、前記新たなサンプリング画像に基づいてフレーム画像40内の人物の顔領域を検出する。そして、例えば、人物の顔領域を検出すると、検出した顔領域の特徴と顔データ登録メモリ44に登録されている未だ撮影の実行されていない例えば人物42に対応する特徴とを比較し、特徴が一致した場合に、図4(c)に示すように人物42の顔領域を合焦エリアとし、そこに合焦させ撮影を行なう。このように、新たなサンプリング画像を順次取得する毎に、同様の動作を人物43〜人物45に対しても行なうことで、図4(d)〜図4(f)に示すように人物43〜人物45の顔領域に合焦させた撮影をも実行する。これにより、人物41を主要被写体とした撮影画像、人物42を主要被写体とした撮影画像、・・・、人物45を主要被写体とした撮影画像、の各主要被写体についてぼけのない5枚の撮影画像を得ることができる。
尚、前記合焦エリアの検出は、必ずしも各サンプリング画像から顔領域を検出した後に前記検出した顔領域の特徴と顔データ登録メモリ44に記憶されている顔領域の特徴とを比較する必要はなく、前記各サンプリング画像の各領域における特徴量を算出し、前記各サンプリング画像の各領域における特徴量と顔データ登録メモリ44に記憶されている所定の顔領域の特徴とを比較することで、前記各サンプリング画像に対して顔データ登録メモリ44に記憶されている所定の顔領域の特徴を有する領域を直接的に検出する構成としてもよい。
図11は、本実施形態に係わるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。以下、図1、および図9〜図11に基づいて説明する。なお、図11でステップT1〜T3の動作は図6に示したフローチャートのステップS1〜S3と同様であるため図示および説明を省略する。
図11で、図示しないステップT1〜T3の動作後、システム制御部35は、顔領域検出部33を制御して一時記憶メモリ36に定期的に取り込まれる所定の1フレーム分の画像を対象とする顔領域検出処理を開始させる(ステップT4)。前記顔領域検出処理が実行される所定の1フレーム分の画像としてのサンプリング画像は、例えば、シャッターキー8の2段目が操作(全押し状態)されたときの1フレーム分の画像とすることができる。
顔領域検出処理においてシステム制御部35は、顔領域検出部33からの信号を調べて対象のフレームから顔領域を検出したか否かを判定し、顔領域を検出した場合はステップT6に進み、顔領域を検出しなかった場合はステップT9に進む(ステップT5)。
顔領域検出部33で顔領域を検出すると、システム制御部35は、特徴抽出部34を制御して顔領域検出部33が検出した顔領域を正規化してからその正規化された顔領域の特徴を抽出させ(ステップT6)、抽出された特徴を顔領域検出部33が検出した顔領域の顔データとして顔データ登録メモリ44に登録(追加記憶)する(ステップT7)。そして、サンプリング画像の全画像領域に対する顔領域検出部33による顔領域検出処理が終わるまでステップT4〜T7の動作を繰り返す(ステップT8)。尚、顔領域が検出される度に、当該サンプリング画像における顔領域の数をカウントする顔領域カウント値がインクリメントされる。尚、顔データ登録メモリ44に記憶される顔データは、複数の異なる画像から検出された各画像における顔領域の特徴であってもよい。何れにしても、顔データ登録メモリ44に予め顔領域の特徴が顔データとして記憶される構成となっていればよい。
システム制御部35は、顔領域検出部33による顔検出処理が終わると顔領域の数を調べ、顔領域の数が1以上の場合はステップT10に進み、そうでない場合、つまり、サンプリング画像から顔領域が一つも検出できなかった場合はその旨のメッセージ、例えば、「オートブラケティング撮影できませんでした」を出力して通常撮影モードに移行する(ステップT9)。
システム制御部35は、顔データ登録メモリ44に記憶されている顔領域の特徴の先頭アドレスを指定するための顔データカウンタに1を設定する(ステップT10)。そして、顔領域検出部33を制御して一時記憶メモリ36に定期的に取り込まれる1フレーム分の画像を新たなサンプリング画像として走査しながら顔データ登録メモリ44に登録されているi番目の顔領域の特徴と一致する顔領域を検出する顔領域検出処理を開始させる(ステップT11)。ここで、iは顔データカウンタの値である。
システム制御部35は、顔領域検出部33からの信号を調べてi番目の顔領域の特徴と一致する顔領域を検出したか否かを判定し、i番目の顔領域の特徴と一致する顔領域を検出した場合はステップT15に進む(ステップT12)。i番目の顔領域の特徴と一致する顔領域を検出しない場合は1フレーム分の画像の全画像領域に対する走査を終了するまで上記ステップT11、T12の動作を繰り返し(ステップT13)、1フレーム分の画像の全画像領域に対する走査が終了すると顔データカウンタに1を加えた値が顔データ登録メモリ44に登録されている顔データの数以下か否かを調べ、顔データの数以下の場合はステップT11に戻り、顔データの数以上、つまり、顔データ登録メモリ44に登録されている顔データの数分の走査を終了した場合はステップT20に進む(ステップT14)。
顔領域検出部33がi番目の顔領域の特徴と一致する顔領域を検出すると、システム制御部35は検出された顔領域の位置情報を取得し、取得した位置情報を基に合焦エリアを決定する(ステップT15)。
そして、AF駆動制御部31−2を介してフォーカスレンズ1−2を順次移動させて、各フォーカスレンズ1−2位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する(ステップT16)。次に、検出した合焦位置にAF駆動制御部31−2を介してフォーカスレンズ1−2を移動させることで、i番目の顔領域の特徴と一致する顔領域を主要被写体として合焦させる(ステップT17)。
その顔領域に合焦すると、システム制御部35は、撮像部31および画像データ処理部32からなる画像取得部を制御してi番目の顔領域の特徴と一致する顔領域を主要被写体とした撮像を実行する。つまり、本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像をその主要被写体の顔領域の位置情報に関連付けて一時記憶メモリ36に確保された撮影画像記憶領域に追加記憶する(ステップT18)。そして、撮影した画像の数をカウントする顔データカウンタiに1を加え、顔データカウンタiが顔領域カウント値以下であれば、ステップT11に戻る(ステップT19)。
一方、顔データカウンタiが顔領域カウント値を超えたときには、システム制御部36は記録部38を制御して一時記憶メモリ36の撮影画像記憶領域に記憶していた各撮影画像に順次データ圧縮処理を施させ、各撮影画像の圧縮画像データを各撮影画像の主要被写体の顔領域の位置情報と関連付けて記録媒体39に順次記録させ、オートブラケティング撮影を終了する(ステップT20)。
上記図11のフローチャートに示した動作により、デジタルカメラ100は所定のサンプリング画像から検出した顔領域の特徴を記憶しておき、例えば、その後に定期的に取り込まれる新たなサンプリング画像としてのフレーム画像から前記記憶した特徴と一致する顔領域を検出する毎に検出した顔領域にピントを合わせて撮影するので、検出された人物のうちで最初の撮影対象人物の撮影から最後の撮影対象人物を撮影するまでの間に時間差が生じて、その間に被写体人物が撮像面に対して動いてしまうような位置関係の変化があってもカメラの視野内の各人物をそれぞれ主要被写体として最適な焦点位置で撮影することができる。つまり、被写体の人数分だけ画像を得ることができるとともに、それぞれの画像は、それぞれにおける主要被写体についてぼけのない画像として得ることができる。
また、本実施形態においても、実施形態1と同様、ステップT21で各撮影画像のうち主要被写体部分を合成して記録媒体39に記録するようにできる。また、ステップT21で人物の数だけ各人物を主要被写体とした撮影画像を記録した後、それらの画像を順次再生して主要被写体部分を合成して液晶画面4に表示することができる。
<実施形態3>
上記実施形態2では所定のサンプリング画像から検出した各顔領域の特徴を一括して登録しておき、撮影する毎に新たなサンプリング画像を取得し、前記新たなサンプリング画像からそのときに撮影対象とされている主要被写体と同じ特徴を有する領域を検出してその領域を対象としたAFを実行して撮影するようにしたが、本実施形態では、撮影済みの主要被写体の顔領域の特徴を撮影の実行とともに順次メモリに登録するようにし、顔領域の特徴が登録された被写体をその後の撮影対象としないようにし、顔領域の特徴が登録されていない顔領域のみを主要被写体として撮影対象とするように構成した例について説明する。つまり、撮影した顔領域の特徴を登録するとともに、顔領域の特徴が登録されていない顔領域がなくなるまで撮影が繰り返される例について説明する。
本実施形態では撮像装置の外観構成は実施形態2と同様でよく、回路構成は顔データ登録メモリ44に登録する顔データの登録タイミングが異なるほかは実施形態2と同様でよい。本実施形態では、顔データ登録メモリ44には、撮影毎に検出する顔領域から抽出した顔領域の特徴44−1を各主要被写体の撮影後に記憶する。
本実施形態によるオートブラケティングの概要を前述した図4を用いて説明図する。デジタルカメラ200は、サンプリング画像としての所定のフレーム画像40内で人物41の顔領域を、例えば、とりあえず1箇所検出すると、図4(b)に示すようにその人物41の顔領域に合焦させて撮影を行ない、検出した人物41の顔領域の特徴を顔データ登録メモリ44に登録する。顔データ登録メモリ44に検出された1箇所の顔領域に対応する顔領域の特徴が1顔領域分として登録されると、次いで、新たなサンプリング画像を取得し、前記新たなサンプリング画像から、例えば、人物42の顔領域を検出する。この場合、検出された人物42の顔領域の特徴が顔データ登録メモリに登録されている特徴と異なる場合にのみ図4(c)に示すようにその人物42の顔領域に合焦させて撮影を行ない、検出した顔領域の特徴を顔データ登録メモリ44に登録する。つまり、前記新たなサンプリング画像から人物41の顔領域を検出したときには、人物41の顔領域の特徴は、既に顔データ登録メモリに登録されているので、人物41を対象として合焦させた撮影は行わず、次の顔領域の検出結果として人物42の顔領域が検出される。そして、人物42の顔領域に合焦させた撮影が行われ、人物42の顔領域の特徴が顔データ登録メモリ44に登録される。同様に、更に新たなサンプリング画像を取得し、前記新たなサンプリング画像から人物43の顔領域を検出すると、検出された顔領域の特徴が顔データ登録メモリ44に登録されている特徴と異なる場合にのみ図4(d)に示すようにその人物43の顔領域に合焦させて撮影を行なう。同様の動作を人物44、人物45にも行って図4(e)、図4(f)に示すように人物44、人物45の顔領域に合焦して順次撮影する。これにより、人物41を主要被写体とした撮影画像、人物42を主要被写体とした撮影画像、・・・、人物45を主要被写体とした撮影画像、の各主要被写体についてぼけのない5枚の撮影画像を得ることができる。
図12は、本実施形態に係わるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。以下、図1、図9、図10、および図12に基いて説明する。なお、図12でステップU1〜U3の動作は図11に示したフローチャートのステップT1〜T3と同様であるため図示および説明を省略する。
図12で、図示しないステップU1〜U3の動作後、システム制御部35は、顔データ登録メモリ44をクリアしてから、顔データ登録メモリ44に記憶されている顔領域の特徴の先頭アドレスを指定するための顔データカウンタに1を設定する(ステップU4)。ここで、iは顔データカウンタの値である。
次に、顔領域検出部33を制御して一時記憶メモリ36に定期的に取り込まれる所定の1フレーム分の画像をサンプリング画像として走査しながら顔領域を検出する顔領域検出処理を開始させる(ステップU5)。前記サンプリング画像は、例えば、シャッターキー8の2段目が操作(全押し状態)されたときに取り込まれる1フレーム分の画像とすることができる。
顔領域検出部33が最初の顔領域を検出するとステップU7に進み、1フレーム分の画像領域を走査しても最初の顔領域を検出できない場合はその旨のメッセージ、例えば、「オートブラケティング撮影できませんでした」を出力して通常撮影モードに移行する(ステップU6)。
顔領域検出部33が最初の顔領域を検出すると、システム制御部35は、特徴抽出部34を制御して顔領域検出部33が検出した顔領域を正規化してからその正規化された顔領域の特徴を抽出させ(ステップU7)、抽出された特徴を顔領域検出部33が検出した1番目の顔領域の顔データとして顔データ登録メモリ44の1番目の位置に登録(記憶)する(ステップU8)。
システム制御部35は、顔領域検出部33によって検出されたi番目の顔領域の位置情報を取得し、取得した位置情報を基に合焦エリアを決定する(ステップU9)。
そして、AF駆動制御部31−2を介してフォーカスレンズ1−2を順次移動させて、各フォーカスレンズ1−2位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する(ステップU10)。次に、検出した合焦位置にAF駆動制御部31−2を介してフォーカスレンズ1−2を移動させることで、i番目の顔領域を主要被写体として合焦させる(ステップU11)。
その顔領域に合焦すると、システム制御部35は、撮像部31および画像データ処理部32からなる画像取得部を制御してi番目の顔領域を主要被写体とした撮像を実行する。つまり、本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像をその主要被写体の顔領域の位置情報に関連付けて一時記憶メモリ36に確保された撮影画像記憶領域のi番目の位置に記憶する(ステップU12)。
次に、システム制御部35は、顔データカウンタに1を加えて顔データカウンタの値を更新する(ステップU13)。
そして、新たなサンプリング画像を取得し、顔領域検出部33が前記新たなサンプリング画像から、例えば、とりあえず顔領域を1箇所検出するとステップU15に進む。尚、1フレーム中の残りの全画像領域を走査しても残りの顔領域を検出することができなかった場合は走査ステップU17に進む(ステップU14)。
顔領域検出部33が顔領域を1箇所検出すると、システム制御部35は、特徴抽出部34を制御して顔領域検出部33が検出した顔領域を正規化してからその正規化された顔領域の特徴を抽出させる(ステップU15)。
システム制御部35は、顔データ登録メモリ44に登録済みの各顔領域の特徴と特徴抽出部34によって抽出されたi+1個目の顔領域の特徴を比較し、顔領域の特徴が一致しない場合にはステップU8に戻り、一致した場合はステップU17に進む(ステップU16)。
システム制御部35は、顔領域検出部33が1フレーム分の全画像領域を走査済みの場合はステップU18に進み、全画像領域の走査が終わっていない場合はステップU14に戻る(ステップU17)。
つまり、上述したような所定のタイミングで順次取得されるサンプリング画像に対して、1フレーム分の全画像領域を走査しても、顔データ登録メモリ44に登録されている顔領域の特徴と異なる顔領域が抽出されなくなると(ステップU17)、システム制御部36は記録部38を制御して一時記憶メモリ36の撮影画像記憶領域に記憶していた各撮影画像に順次データ圧縮処理を施させ、各撮影画像の圧縮画像データを各撮影画像の主要被写体の顔領域の位置情報と関連付けて記録媒体39に順次記録させ、オートブラケティング撮影を終了する(ステップU18)。
上記図12のフローチャートに示した動作により、デジタルカメラ200は、撮影する毎に、その顔領域の特徴をメモリに登録し、顔領域の特徴がメモリに登録されている特徴と同じ顔領域を検出すると撮影を禁止し、登録されていない顔領域を検出した場合にのみその顔領域を対象としたAFを実行して撮影するので、最初の撮影対象人物の撮影から最後の撮影対象の人物の撮影までの間に、撮影対象人物の増減や、例えば、左右の人物が入れ替わる等の撮像面に対する人物の位置関係の変化が生じても、カメラの視野内の各人物をそれぞれ主要被写体として最適な焦点位置で撮影することができる。つまり、被写体の人数分だけ画像を得ることができるとともに、それぞれの画像は、それぞれにおける主要被写体についてぼけのない画像として得ることができる。
(実施形態4)
上記実施形態1では、カメラと顔領域との距離によって撮影順序を順序付け、検出した顔領域を対象としてAFを実行して撮影する動作を撮影順序の順に顔領域毎に繰り返すようにし、実施形態3では撮影する毎に、撮影した主要被写体の顔データ(顔領域の特徴)を登録し、次の撮影対象は顔データが登録されていない顔領域の被写体人物を主要被写体としてAFを実行して撮影するようにしたが、カメラと顔領域を距離によって順序付けたり、撮影済みの被写体の顔データを登録しなくても、フレーム画像内で検出した顔の人物全員に対してそれぞれ最適な合焦位置で撮影することができる。
図13は、本実施形態に係るデジタルカメラの電気的構成の一実施例を示すブロック図である。なお、デジタルカメラ300の外観構成は図1に示したデジタルカメラ100のから距離センサー2を除いた構成である。また、デジタルカメラ300の電気的構成は図示のように、図2に示したデジタルカメラ100の電気的構成から測距部42および位置情報記憶メモリ43を削除した構成であり、撮像部31〜顔領域検出部33、および制御部35〜操作部41の電気的構成および機能はデジタルカメラ100の電気的構成および機能と同様である。すなわち、本実施形態では、デジタルカメラ300は、画像を所定の方向から走査しながら顔領域を検出し、顔領域を検出する毎にその顔領域に合焦させて撮影するので、実施形態1〜3のように距離センサー2、測距部42および位置情報記憶メモリ43または顔データ登録メモリ44を備えていなくてもよい。
本実施形態によるオートブラケティングの概要を前述した図4を用いて説明図する。顔領域検出部33がフレーム画像40を、所定の方向、例えば、画面の左から右に向かって順次顔領域の走査を行うとすると、デジタルカメラ300は、まず、所定のサンプリング画像から図4(b)に示すように一番左の人物41の顔領域を検出するとその顔領域に合焦させて撮影を行ない、次に、左から2番目の人物41の顔領域を検出するとその顔領域に合焦させて撮影を行なう。同様の動作を図4(d)〜図4(f)に示すように人物43〜人物45にも行って順次撮影する。これにより、人物41を主要被写体とした撮影画像、人物42を主要被写体とした撮影画像、・・・、人物45を主要被写体とした撮影画像、の各主要被写体についてぼけのない5枚の撮影画像を得ることができる。撮影中において、特に撮像面に対して主要被写体の位置変化がないと想定される場合に有効である。
図14は、本実施形態に係わる顔認識によるオートブラケティング撮影時のシステム制御部による制御動作例を示すフローチャートである。以下、図1〜図5、および図15に基いて説明する。なお、図14でステップV1〜V3の動作は図6に示したフローチャートのステップS1〜S3と同様であるため図示および説明を省略する。
図14で、図示しないステップV1〜V3の動作が終了すると、システム制御部35は、顔領域検出部33を制御して一時記憶メモリ36に定期的に取り込まれる1フレーム分の画像を所定の方向に向かって走査する顔領域検出処理を開始させる(ステップV4)。
システム制御部35は、顔領域検出部33からの信号を調べて1フレーム分の全画像領域について走査を終了したか否かを判定し、全画像領域について走査を終了した場合はステップV10に進む(ステップV5)
顔領域検出部33が顔領域を検出すると、システム制御部35は、顔領域検出部33によって検出された顔領域の位置情報を取得し、取得した位置情報を基に合焦エリアを決定する(ステップV6)。
そして、AF駆動制御部31−2を介してフォーカスレンズ1−2を順次移動させて、各フォーカスレンズ1−2位置における前記決定した合焦エリアの合焦評価値を算出し、算出した各合焦評価値に基づいて前記決定した合焦エリアにおける合焦位置を検出する(ステップV7)。次に、検出した合焦位置にAF駆動制御部31−2を介してフォーカスレンズ1−2を移動させることで、検出した顔領域を主要被写体として合焦させる(ステップV8)。
その顔領域に合焦すると、システム制御部35は、撮像部31および画像データ処理部32からなる画像取得部を制御して合焦した主要被写体の撮像を実行する。つまり、本撮影時の撮像素子駆動方式で撮影画像を取得する。そして、取得した撮影画像をその主要被写体の顔領域の位置情報に関連付けて一時記憶メモリ36に確保された撮影画像記憶領域に追加記憶し、ステップV5に戻る(ステップV9)。
また、1フレーム分の画像の全ての領域について走査が終わると、システム制御部36は一時記憶メモリ36の撮影画像記憶領域にオートブラケティング撮影画像が記録されているか否か、つまり、少なくとも1枚のオートブラケティング撮影がなされたか否かを調べ、撮影画像が記録されている場合はステップV11に進み、記録されていない場合、つまり、オートブラケティング撮影がなされなかった場合はその旨のメッセージ、例えば、「オートブラケティング撮影できませんでした」を出力して通常撮影モードに移行する(ステップV10)。
一時記憶メモリ36の撮影画像記憶領域にオートブラケティング撮影画像が記録されている場合は、システム制御部35は、記録部38を制御して一時記憶メモリ36の撮影画像記憶領域に記憶していた各撮影画像に順次データ圧縮処理を施させ、各撮影画像の圧縮画像データを各撮影画像に関連付けられて記憶されている位置情報と関連付けて記録媒体39に順次記録させ、オートブラケティング撮影を終了する(ステップV11)。
図14のフローチャートに示した動作により、デジタルカメラ100は画像を所定の方向から走査し、顔領域を検出する毎に顔領域に合焦させて撮影を行なう動作を繰り返すので、位置情報を記録したり、特徴をメモリに登録する必要がないことから、カメラの回路構成や制御動作が実施形態1や実施形態3の場合よりも簡単で済む。また、所定の方向から走査して顔領域を検出する毎に顔領域に合焦させて撮影を行なうので、検出された人物のうちで最初の撮影対象人物の撮影から最後の撮影対象人物を撮影するまでの間に撮影対象人物の増減や各人物の位置関係の変化が生じてもカメラの視野内の各人物をそれぞれ主要被写体として最適な焦点位置で撮影することができる。つまり、被写体の人数分だけ画像を得ることができるとともに、それぞれの画像は、それぞれにおける主要被写体についてぼけのない画像として得ることができる。
また、図6、図11、図12、図14、および図7、図8のフローチャートに示した処理はシステム制御部35が予めフラッシュメモリ等のプログラムメモリに記憶されたプログラムに従って実行する場合を例として説明したが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部をネットワークを介して受信して実現するようにしてもよい。
以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。また、上記実施例では静止画撮影モード下でオートブラケティング撮影モードを実行する場合について説明したが、本発明の適用範囲は静止画撮影時に限定されず、動画撮影モードや高速連写モード時にも適用できる。また、撮像装置という用語はデジタルカメラに限定されるものではなく、撮像素子を介して画像を撮影する手段を備えた装置、例えば、カメラ付携帯電話機等を含む。