JP4750063B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は特定被写体検出機能を備えた連写可能な撮像装置、特に顔などの特定被写体を複数検出して、フラッシュ発光を含む露出制御を行う連写可能な撮像装置および方法に関するものである。

近年、顔を検出する技術を利用し、デジタルカメラのプレビュー表示やストロボ測光や露出制御、オートフォーカス制御等の種々な制御をするカメラが提案されている（特許文献１〜特許文献５参照）。特許文献１に開示されたカメラにおいては、顔検出処理部によって検出された顔を少なくとも１つ選択し、選択された顔を含むようにプレビュー画面上で拡大表示させることができる。

特許文献２には、複数の顔が検出された場合に、顔の位置情報を利用して、焦点・露出制御を行い、撮像画像データを取得するカメラについて開示されている。

特許文献３には、画面内の人物の位置および範囲に拘らず、人物を適正露光とすることが可能な自動露光機能を備えたカメラ（撮像装置）が開示されている。特許文献３のカメラは、画像データの中から人物の顔を検出し、この検出された人物の顔を測光し、この測光結果に基づいて露光量を算出し、この露光量に基づいて露出制御を行うものである。

特許文献４には、ストロボ機能を備えた撮像装置において、入力された画像データの中から人物の顔を検出し、人物の顔の検出結果に基づき、ストロボ発光手段を制御するカメラが開示されている。

特許文献５には、顔検出技術を利用するのではなく、コントラスト法により合焦動作を行い、撮像距離の異なる複数の被写体に対して連続して撮像するカメラが開示されている。
特開２００５−１０２１７５号公報 特開２００５−８６６８２号公報 特開２００３−１０７５５５号公報 特開２００３−１０７５６７号公報 特開２００３−１１４３７８号公報

しかしながら、従来の顔などの特定被写体の検出を行う画像処理回路を備えたデジタルカメラには、下記の如き種々の問題がある。第１には、複数の特定被写体が検出された場合に、どの特定被写体を基準にして適正に自動露出等の撮像条件を制御して画像データを取得するべきか決定することができないという問題がある。また第２には、複数の特定被写体を検出し、その特定被写体の数だけ連写撮像をする場合に、どのタイミングでフラッシュ発光すべきかという問題がある。また、特許文献５のように特定被写体検出ではなく、コントラスト法によりピーク値を算出するカメラは、近くにあるコントラストの高い物体等にも自動焦点が合ってしまうなどの、特定被写体の誤認識等の問題が生じる。

したがって、特定被写体毎に応じて適切に撮像条件を制御し、かつ適切にフラッシュ発光を制御することが望まれている。

本発明は上記事情に鑑みなされたものであり、連写して撮像する際に、複数の特定被写体を検出し、検出された特定被写体毎に応じた適切な撮像条件を制御し、かつ適切なフラッシュ発光制御を実現することの可能な撮像装置および方法を提供することを目的とするものである。

本発明による撮像装置は、本撮像前に被写体を表すスルー画像データを取得する撮像手段と、撮像手段から取得されたスルー画像データから特定被写体を検出する特定被写体検出手段と、特定被写体検出手段により検出された特定被写体毎に、本撮像時におけるフラッシュ発光の制御を含む撮像条件を制御する撮像条件制御手段と、本撮像時にフラッシュ光を発光可能なフラッシュ発光手段とを備え、前記撮像手段が、少なくとも検出された特定被写体の数の本撮像画像データを、特定被写体毎に撮像条件を変えて、連写して取得することにより本撮像するものであることを特徴とするものである。

本発明の撮像方法は、本撮像前に被写体を表すスルー画像データを取得し、取得されたスルー画像データから特定被写体を検出し、検出された特定被写体毎に本撮像時のフラッシュ発光の制御を含む撮像条件を決定し、少なくとも検出された特定被写体の数の本撮像画像データを特定被写体毎に決定された撮像条件で、連写して取得することを特徴とするものである。

ここで「スルー画像データ」とは、本撮像の静止画像データを取得する指示がなされる前に、撮像手段により連続して撮像されている画像である。具体的には、デジタルカメラにおいてレリーズボタンを押下する前には、デジタルカメラのモニタに動画像のように画像が表示されるが、その動画像を構成する１つのフレームがスルー画像データに対応するものである。ここでいうスルー画像データとは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵが撮像手段に事前撮像を実行させた結果、フレームメモリに格納された画像データをも含むものである。

また「特定被写体」とは、スルー画像データに含まれる部分的な画像領域で、スルー画像データによって表される画像中に含まれる特定の構造、形状、色等を持つ画像領域を意味する。特定被写体としては、例えば、人物の顔、胴体、手、足の他、人物以外の動物の顔、などを表す画像が挙げられる。

「特定被写体検出手段」は、特定被写体らしさを示す評価値である位置、大きさ、向き、傾き、彩度、色相のうちいずれか一つに基づき特定被写体を自動的に検出するものである。

「撮像条件」は、少なくともフラッシュ発光のオンオフを含む発光量と、自動露出の設定値を意味するものである。更に、自動焦点に関する設定値や撮像素子感度の設定値を条件付けるものであってもよい。

「撮像条件制御手段」は、本撮像時におけるフラッシュ発光の制御を含む撮像条件を制御するものである。自動露出の設定値が所定の値以下の場合には、フラッシュ発光が作動するように制御し、更に、フラッシュ発光量に応じて、前記撮像条件の自動露出の設定値および／または撮像素子感度の設定値を再設定するものであってもよい。また、自動露出の設定値が所定の値よりも大きい場合に、フラッシュ発光を停止するように制御し、更に、フラッシュ発光を停止することに応じて、少なくとも前記撮像条件の撮像素子感度の設定値を再設定するようにしてもよい。

「フラッシュ発光の制御」とは、フラッシュ発光手段が、例えばキセノン管等であるとすると、キセノン管等のフラッシュ発光量をゼロを含んでどの程度にするかを制御することを意味する。発光量がゼロのときは、フラッシュをオフすること、すなわちフラッシュ発光手段の発光を停止することを意味する。

本発明の撮像装置および方法によれば、本撮像前に取得されたスルー画像データから特定被写体を検出し、検出された特定被写体毎に本撮像時のフラッシュ発光の制御を含む撮像条件を決定し、少なくとも検出された特定被写体の数の本撮像画像データを特定被写体毎に決定された撮像条件で、連写して取得するものであるから、特定被写体毎に適した本撮像画像データを複数ほぼ同時に取得することができる。

従来技術では、特定被写体を検出し、撮像条件を変えて単写撮像により画像データを取得するカメラは提案されている。しかし、本発明は、連写撮像時に、検出された特定被写体毎に撮像条件を変えて本撮像画像データを一度に取得することができる。

また、検出された特定被写体が人物の顔領域の場合、人間が画像データを見る際に最も気にするのが顔といわれているが、その顔領域を基準として最適な撮像条件を制御することで、撮像された複数人のユーザにとって、それぞれ好ましい画像データを一度に得ることが可能になるという効果がある。

更に、自動露出に関する設定値が低い特定被写体を本撮像する際、フラッシュ発光するように制御することにより、特定被写体への光量確保ができるという効果がある。

また、フラッシュ発光の対象にならないその他の特定被写体、すなわち十分に明るい特定被写体を基準に本撮像画像データを取得するときは、自動露出に関する設定値や撮像素子感度に関する設定値を再設定するのが好ましく、それによって最適な撮像条件で画像データを取得することができるという効果がある。

一方、他の特定被写体に比べ自動露出に関する設定値が最も低いが、ある程度の自動露出に関する設定閾値より大きい場合はフラッシュ発光を行わないようにすることができるので、フラッシュ発光による電量の無駄が省け、かつ、白とび等の画質不調が生じないという効果がある。

また、自動露出に関する設定値が確保できているため、設定値が大きい特定被写体領域順に撮像条件を変えて連続して本撮像画像データを取得する場合には、時間の変遷により環境光が変移する可能性があるので、早めに自動露出に関する設定値が高い特定被写体の本撮像画像データを優先して得ることができるという効果がある。

また、半押し及び全押しの二段階操作が可能な撮像指示手段と、スルー画像データを表示する表示手段と、特定被写体検出手段により検出された特定被写体を囲む追跡枠を前記表示手段に表示する追跡枠表示手段とを設けた場合には、どの特定被写体に対して最適な本撮像画像データを連写により取得できるか、ユーザが本撮像前に目で確認することが可能になる。

以下、本発明の撮像装置の実施形態を、図面を参照して詳細に説明する。

図１及び図２は、デジタルカメラの一例を示すものであり、それぞれ背面側及び前面側から見た外観図である。デジタルカメラ１の本体１０の背面には、図１に示す如く、撮像者による操作のためのインターフェースとして、動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６が設けられ、更に撮像のためのファインダ１７、撮像並びに再生のためのモニタ１８及びレリーズボタン１９が設けられている。

動作モードスイッチ１１は、静止画撮像モード、動画撮像モード、再生モード、の各動作モードを切り替えるためのスライドスイッチである。メニュー／ＯＫボタン１２は、押下される毎に通常撮像モード、フラッシュ発光モード、特定被写体検出モード、特定被写体検出連写モード、セルフタイマーＯＮ／ＯＦＦ、記録画素数や撮像素子感度等の設定を行うための各種メニューをモニタ１８に表示させたり、モニタ１８に表示されたメニューに基づく選択・設定を決定したりするためのボタンである。

ズーム／上下レバー１３は、上下方向に倒すことによって、撮像時には望遠／広角の調整が行われ、各種設定時にはモニタ１８に表示されるメニュー画面中のカーソルが上下に移動して表示される。左右ボタン１４は、各種設定時にモニタ１８に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。

Ｂａｃｋ（戻る）ボタン１５は、押下されることによって各種設定操作を中止し、モニタ１８に１つ前の画面を表示するためのボタンである。表示切替ボタン１６は、押下することによってモニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。ファインダ１７は、ユーザが被写体を撮像する際に構図やピントを合わせるために覗くためのものである。ファインダ１７から見える被写体像は、本体１０の前面にあるファインダ窓２３を介して映し出される。

レリーズボタン１９は、半押し及び全押しの二段階操作が可能な操作ボタンであり、レリーズボタン１９を押下すると、後述の操作系制御部７４を介して半押し信号又は全押し信号をＣＰＵ７５へ出力する。

以上説明した各ボタンやレバー等の操作によって設定された内容は、モニタ１８中の表示や、ファインダ１７内のランプ、スライドレバーの位置等によって確認可能となっている。また、モニタ１８には、撮像の際に被写体確認用のスルー画像データが表示される。

これにより、モニタ１８は電子ビューファインダとして機能する他、撮像後の静止画や動画の再生表示、各種設定メニューの表示を行う。ユーザによってレリーズボタン１９が半押し操作されると、後述する自動露出処理（以下、ＡＥ処理という）、フラッシャ発光量制御処理や自動焦点処理（以下、ＡＦ処理という）、撮像素子感度（以下、ＩＳＯ感度という）自動設定が行われ、レリーズボタン１９が全押し操作されると、ＡＥ処理、フラッシャ発光量制御処理やＡＦ処理、ＩＳＯ感度制御から出力された撮像条件に基づいて撮像が行われ、モニタ１８に表示された画像が撮像画像として記録される。

なお、後述する撮像条件制御部７９は、ＡＥ処理部６３、フラッシュ発光量制御部８１、ＡＦ処理部６２、ＩＳＯ感度制御部６４から構成される。また、撮像条件制御部７９で算出される撮像条件とは、ＡＥ処理部６３で算出される自動露出に関する設定値、フラッシュ発光量制御部８１で算出される所定のフラッシュ発光量、またＡＦ処理部６２の自動焦点に関する設定値やＩＳＯ感度制御部６４のＩＳＯ感度の設定値に関する条件である。

更に、本体１０の前面には、図２に示す如く、撮像レンズ２０、レンズカバー２１、電源スイッチ２２、ファインダ窓２３、フラッシュライト２４及びセルフタイマーランプ２５が設けられ、側面にはメディアスロット２６が設けられている。

撮像レンズ２０は、被写体像を所定の結像面上（本体１０内部にあるＣＣＤ又はＣＭＯＳ等）に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー２１は、デジタルカメラ１の電源がオフ状態のとき、再生モードであるとき等に撮像レンズ２０の表面を覆い、汚れやゴミ等から撮像レンズ２０を保護するものである。

電源スイッチ２２は、デジタルカメラ１の電源のオン／オフを切り替えるためのスイッチである。フラッシュライト２４は、レリーズボタン１９が押下され、本体１０の内部にあるシャッタが開いている間に、撮像に必要な光を被写体に対して瞬間的に発光するためのものである。セルフタイマーランプ２５は、セルフタイマーによって撮像する際に、シャッタの開閉タイミングすなわち露光の開始及び終了を被写体に知らせるためのものである。

また、メニュー／ＯＫボタン１２により特定被写体検出連写モード又は通常連写モードが設定されている場合は、連写撮像中の本撮像時に一度だけフラッシュライト２４が発光する。フラッシュライト２４はキセノン管により構成されているが、キセノン管以外のフラッシュ発光手段であってもよい。

メディアスロット２６は、メモリカード等の外部記録メディア７０が充填されるための充填口であり、外部記録メディア７０が充填されると、データの読み取り／書き込みが行われる。

図３にデジタルカメラ１の機能構成を示すブロック図を示す。図３に示す如く、デジタルカメラ１の操作系として、前述の動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下レバー１３、左右ボタン１４、Ｂａｃｋ（戻り）ボタン１５、表示切替ボタン１６、レリーズボタン１９、電源スイッチ２２と、これらのスイッチ、ボタン、レバー類の操作内容をＣＰＵ７５に伝えるためのインターフェースである操作系制御部７４が設けられている。

また、撮像レンズ２０を構成するものとして、フォーカスレンズ２０ａ及びズームレンズ２０ｂが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部５１、ズームレンズ駆動部５２によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部５１は、ＡＦ処理部６２から出力されるフォーカス駆動量データに基づいてフォーカスレンズ２０ａをステップ駆動する。ズームレンズ駆動部５２は、ズーム／上下レバー１３の操作量データに基づいてズームレンズ２０ｂのステップ駆動を制御する。

絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ処理部６３から出力される絞り値データに基づいて絞り５４の絞り径の調整を行う。

シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、レリーズボタン１９の押下信号と、ＡＥ処理部６３から出力されるシャッタ速度データとに応じてシャッタ５６の開閉の制御を行う。

上記光学系の後方には、撮像素子であるＣＣＤ（撮像手段）５８を有している。ＣＣＤ５８は、多数の受光素子がマトリクス状に配置されてなる光電面を有しており、光学系を通過した被写体像が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出して画像信号として出力する。各画素における電荷の蓄積時間（即ち露出時間）は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。

またＩＳＯ感度制御部６４が算出したＩＳＯ感度の設定値をＣＣＤ制御部５９に出力する。そのＩＳＯ感度の設定値に基づき、ＣＣＤ制御部５９は、ＣＣＤ５８のＩＳＯ感度を自動的に調整するように制御する。

ＣＣＤ５８が出力する画像像信号は、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）と、画像信号をデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。そしてデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に入力されて、レリーズボタン１９の操作と、シャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、アナログ信号処理６０の処理の同期が取られる。

フラッシュ制御部７３は、フラッシュ発光量制御部８１で算出した所定のフラッシュ発光量分のフラッシュを発光すべく、フラッシュライト２４（フラッシュ発光手段）の発光動作を制御する。またフラッシュ発光量制御部８１で算出したフラッシュ発光量がゼロの場合は、フラッシュライト２４が発光動作を停止したままであるように制御する。

画像入力コントローラ６１は、上記アナログ信号処理部６０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ６８に書き込む。このフレームメモリ６８は、画像データに対して後述の各種デジタル画像処理を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）から構成されている。

表示制御部７１は、フレームメモリ６８に格納された画像データをスルー画像データとしてモニタ１８に表示させるためのものであり、例えば、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換して、モニタ１８に出力する。スルー画像データは、撮像モードが選択されている間、所定時間間隔で取得されてモニタ１８に表示される。また、表示制御部７１は、外部記録メディア７０に記憶され、メディア制御部６９によって読み出された画像ファイルに含まれる画像データに基づいた画像をモニタ１８に表示させる。

枠表示部（追跡枠表示手段）７８は、表示制御部７１を介してモニタ１８に所定の大きさの枠を表示させるものである。ここで図４Ａ、図４Ｂにモニタ１８の表示の一実施例を示す。枠表示部７８は、図４Ｂに示す如く、レリーズボタン１９が半押しされることで、後述の特定被写体検出部６６によって検出された特定被写体を囲む追跡枠Ｆ１〜Ｆ４を表示させる。追跡枠は、この検出された特定被写体の動きに追従して動いて表示され、例えば人物が遠方へ移動したときには、顔の大きさに合わせて枠は小さく表示され、近方へ移動したときには枠は大きく表示されるようにしてもよい。またレリーズボタンが半押しする前から特定被写体検出部６６により顔検出をしてもよく、かつ検出された顔に対して、枠表示部７８により追跡枠をモニタ１８に表示させてもよい。

特定被写体検出部（特定被写体検出手段）６６は、顔領域を検出する際に顔領域らしさを示す評価値である位置、大きさ、向き、傾き、彩度、色相のうちいずれか一つに基づき顔領域を自動的に検出する処理である。

例えば、特開２００６−２０２２７６号（以下、参考文献１という）の手法を用いることができる。参考文献１の手法は、顔の追跡は、動きベクトル、特徴点検出等の公知の手法や学習データに対してリサンプリングの際に重みを逐次的に更新していき，できた機械を最後に学習機械に対する重みをつけて足し合わせて統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたマシンラーニング手法を利用するものであることが考えられる。例えば、平均フレームモデルを実際の顔画像に嵌め込み、平均フレームモデル上の各ランドマークの位置を、顔から検出された相対応するランドマークの位置に合致するように移動することによって平均フレームモデルを変形させて顔のフレームモデルを構築するのに際し、マシンラーニング手法により、所定のランドマークであることが分かっている複数のサンプル画像上の点における輝度プロファイルと、該ランドマークではないことが分かっている複数のサンプル画像上の点における輝度プロファイルとに対して学習を行って得た識別器および各識別器に対する識別条件を用いて、顔画像から当該ランドマークを示す点の位置を検出する手法である。また、特開２００４−３３４８３６号（以下、参考文献２という）の手法を用いることも可能である。参考文献２の手法は、画像データから一定の大きさの画像データを切り出し、各切出画像データと特徴部分画像データの照合データとを比較して前記処理対象画像中に前記特徴部分画像が存在するか否かを検出する画像データの特徴部分抽出方法を使用する手法である。なお、特開２００７−１１９７０号（以下、参考文献３という）の手法のように人物の顔領域以外に、動物の顔等を特定被写体として検出してもよい。

ＡＥ処理部６３は、スルー画像データに基づいて撮像条件を決定する。本明細書では、レリーズボタン１９が半押しされることによって発生する半押し信号を検出したＣＰＵ７５がＣＣＤ５８によってフレームメモリ６８に格納された画像データもスルー画像データと呼ぶ。このフレームメモリ６８に格納されたスルー画像データに基づき撮像条件を決定する。

ＡＦ処理部６２は、枠表示部７８によって表示された追跡枠Ｆ１〜Ｆ４内に対して焦点位置を検出し、フォーカスレンズ駆動量データを出力する。本実施の形態においては、焦点位置の検出方法としては、例えば、ピントが合った状態では画像の合焦評価値（コントラスト値）が高くなるという特徴を利用して、合焦位置を検出するパッシブ方式が適用される。なお図示しない測距センサによる測距結果を使用するアクティブ方式を適用してもよい。

ＡＥ処理部６３は、枠表示部７８によって表示された追跡枠Ｆ１〜Ｆ４内に対して被写体輝度を測定し、測定した被写体輝度に基づいて絞り値やシャッタ速度等を決定し、絞り値データやシャッタ速度データを出力する。

画像処理部６７は、本撮像画像データに対してガンマ補正、シャープネス補正、コントラスト補正、色補正等の画質補正処理を施すと共に、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本撮像画像データとは、レリーズボタン１９が全押しされることによってＣＣＤ５８から画像信号が出力され、アナログ信号処理部６０、画像入力コントローラ６１経由でフレームメモリ６８に格納された画像データに基づいた画像である。

本画像の画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、スルー画像データの画素数は本撮像画像データより少なくてもよく、例えば、本撮像画像データの１／１６程度の画素数で取り込まれてもよい。

撮像条件制御部（撮像条件制御手段）７９は、追跡枠内の特定被写体の撮像条件が最適となるように上述のＡＥ処理部６３による自動露出の設定値（以下、ＡＥ値という）とフラッシュ発光量制御部８１のフラッシュ発光量を制御するものである。撮像条件制御部７９は、上述のＡＦ処理部６２やＩＳＯ感度制御部６４からも構成される。なお、撮像条件制御部８２はＣＰＵ７５の機能の一部とすることができる。

撮像条件制御部７９内におけるＡＥ処理部６３によって算出されたＡＥ値が所定の値以下の場合には、フラッシュ発光量制御部８１で所定のフラッシュ発光量を算出する。フラッシュ発光量制御部８１で算出されたフラッシュ発光量に関するデータをフラッシュ制御部７３に出力する。それによりフラッシュライト２４が所定のフラッシュ発光量の発光をするように、フラッシュ制御部７３においてフラッシュライト２４を制御するものである。フラッシュ発光量制御部８１で算出された所定のフラッシュ発光量に応じて、ＡＥ処理部６３のＡＥ値を再設定することが可能である。また、フラッシュ発光量制御部８１で算出された所定のフラッシュ発光量に応じて、ＩＳＯ感度制御部６４のＩＳＯ感度の設定値を再設定してもよい。

撮像条件制御部８２内におけるＡＥ処理部６３によって算出されたＡＥ値が所定の値よりも大きい場合には、フラッシュ発光量制御部８１において発光量をゼロと算出する。発光量がゼロである場合、フラッシュ発光量制御部８１が発光量に関するデータをフラッシュ制御部７３に出力し、フラッシュライト２４がフラッシュ発光を停止するようにフラッシュ制御部７３が制御するものである。更に、フラッシュライト２４のフラッシュ発光を停止することに応じて、ＩＳＯ感度制御部６４のＩＳＯ感度の設定値を再設定することが可能である。

圧縮／伸長処理部６５は、画像処理部６７によって画質補正等の処理が行われた画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、各種データ形式に基づいて付帯情報が付加される。またこの圧縮／伸長処理部６５は、再生モードにおいては外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部７１に出力され、表示制御部７１は画像データに基づいた画像をモニタ１８に表示する。

メディア制御部（記録手段）６９は、図２におけるメディアスロット２６に相当し、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。ＣＰＵ７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。またＣＰＵ７５は図示しない内部メモリに画像ファイルを記録する記録手段としても機能する。

またデータバス７６は、画像入力コントローラ６１、各種処理部６２〜６４、７９、８１、特定被写体検出部６６、フレームメモリ６８、各種制御部６９、７１、枠表示部７８及びＣＰＵ７５に接続されており、このデータバス７６を介して各種信号、データの送受信が行われる。

次に、以上の構成のデジタルカメラ１において撮像時に行われる処理について説明する。図５Ａ、図５Ｂはデジタルカメラ１の一連の処理フローチャートである。まず図５Ａに示す如く、ＣＰＵ７５は、動作モードスイッチ１１の設定に従って、動作モードが特定被写体検出連写モードであるか否か判断する（ステップＳＴ１）。特定被写体検出連写モードでない場合（ステップＳＴ１；通常撮像）、通常の単写撮像が行われる（ステップＳＴ１４）。一方、ステップＳＴ１において動作モードが特定被写体検出連写モードであると判別された場合（ステップＳＴ１；特定被写体検出連写）、表示制御部７１はスルー画像データの表示制御を行う（ステップＳＴ２）。レリーズボタン１９が半押しされたか否かを判別し（ステップＳＴ３）、レリーズボタン１９が半押しされていない場合（ステップＳＴ３；ＮＯ）には、ユーザは意図する特定被写体を検出する意思が無いので、ＣＰＵ７５は処理をステップＳ２へ移行し、ユーザによりレリーズボタン１９が半押しされて特定被写体を検出したいというユーザの意思が確認されるまでステップＳＴ２以降の処理を繰り返す。

一方、ステップＳ３にてレリーズボタン１９が半押しされている場合（ステップＳＴ３；ＹＥＳ）には、ＣＰＵ７５は意図する特定被写体すなわち所望する人物の顔検出処理をしたいというユーザ意思があると判断して、特定被写体検出部８０が図４Ａに表示される顔を検出する（ステップＳＴ４）。スルー画像データの表示とは、フレームメモリ６８に格納された画像データをモニタ１８に表示する処理であり、枠表示部７８が、図４Ｂに示す如く、モニタ１８に追跡枠Ｆ１〜Ｆ４を表示する（ステップＳＴ４）。なお、Ｆ５は特定被写体検出部６６によって、検出されなかった顔の一例である。検出されなかった顔の例としては、横顔や片方の目しか撮像出来なかった等が考えられる。しかし、特定被写体検出部８０が横顔検出可能な横顔検出処理部、または目に依存しない顔検出処理部の場合は、上述した例とは異なりＦ５の顔についても検出可能となる。

このようにレリーズボタン１９の半押し操作と連動して複数の特定被写体の検出を行うことにより、撮像を指示する（レリーズボタン１９の全押し操作）操作ボタンと同じ操作部を使用して特定被写体の検出を行うことができ、時間的余裕がない撮像時においても、特定被写体の検出と撮像指示とを円滑に素早く操作できるので、撮像のタイミングを逃し難くすることができる。

そしてＣＰＵ７５は、特定被写体検出部６６が顔を検出したか否かを判別する（ステップＳＴ５）。特定被写体の検出がされなかったと判別された場合（ステップＳ５；ＮＯ）、通常の単写撮像に切り替わる（ステップＳＴ１４）。

一方、ステップＳＴ５にて顔の検出が成功したことがわかると（ステップＳＴ５；ＹＥＳ）、顔の数をカウントすべく、ＣＰＵ７５が特定被写体検出部６６によって検出された顔の数を撮像条件制御部７９に記憶する（ステップＳＴ６）。

次に特定被写体検出部６６によって検出された顔に基づきＡＥ処理部６３が、ＡＥ値を算出する（ステップＳＴ７）。具体的には以下のようにＡＥ値を算出する。

特定被写体検出部６６で検出された顔の中から最もＡＥ値が低い顔を、基準顔として選定する。ＡＥ値を算出手法として、例えば、以下の手法を用いる。

図６Ａは、中央重点測光時の重みに関するフィルタの一例である。図６Ｂは、顔検出時の重みを表すフィルタの一例である。まず中央重点測光時におけるＡＥ値について説明すると、各スルー画像データの各エリアの測光値をＡＥｉとし、各エリアの重みＷｉ、中央重点測光時の測光値ＡＥ１は式（１）のようになる。

ＡＥ１＝Σ（ＡＥｉ×Ｗｉ）／ΣＷｉ・・・（１）
図６Ａには、エリア毎に重み値が付加されている。重み値は画像データの中央ほど値が大きい。というのも通常の撮像される画像データにおいて、中央ほど重要な特定被写体が存在する可能性が高いといわれている。そこで、中央エリアほど、ＡＥ値が高まるように重み値が設定されている。

またに顔重点測光値おけるＡＥ値について説明すると、顔重点測光値ＡＥ２は式（２）のようになる。なお、顔検出時の各エリアの重みをＷｆｉとする。

ＡＥ２＝Σ（ＡＥｉ×Ｗfｉ）／ΣＷfｉ・・・（２）
図６ＢのＴ１は顔検出されたエリアを示す枠である。画像データにおいて、顔が検出されたエリアというのは、視認するユーザにとって経験的に注視される傾向にある。よって、Ｔ１に顔が検出されたエリアに対しては、重み値を高めるようにフィルタの設定がなされている。なお、図６Ｃは、顔検出された人物顔と図６Ｂのフィルタを畳み重ねた模式図である。このように顔が検出されたエリアに対しての重み値が高く設定される。

顔検出時の顔重点ＡＥ値を算出するためには、式（３）を用いる。

ＡＥ＝（αＡＥ１＋βＡＥ２）／（α＋β）・・・（３）
α：β＝１：１ ・・・（４）
αとβは中央重点測光の場合と顔検出の場合どちらを重視するかを決める係数である。例えば、式（４）で示すように中央重点測光の場合と顔検出の場合を同等に扱うように設定すると、式（３）に式（４）の係数比を代入することで、中央重点測光の場合と顔検出の場合を同等に考慮したＡＥ値が算出される。このように特定被写体検出部６６によって検出された顔に基づきＡＥ処理部６３が、ＡＥ値を算出できる（ステップＳＴ７）。

ＡＥ処理部６３が、全ての顔のＡＥ値を求めることで、自動露出設定が完了した場合（ステップＳＴ８；ＹＥＳ）、撮像条件制御部７９において撮像条件設定を行う（ステップＳＴ９）。

この撮像条件設定（ステップＳＴ９）は、図５Ｂのフローチャートに基づいて設定されたものであり、上記の撮像条件制御部７９に記憶されている。以下では、この撮像条件の設定過程について説明する。

特定被写体検出部６６で検出された顔の中から最もＡＥ値が低い顔を基準顔として選択する。図４Ｂの模式図であれば、検出されたＦ１〜Ｆ４の顔全てに対してのＡＥ値を算出する。例えば、Ｆ４の顔のＡＥ値が最も低くなるとして、後述の説明を行う。

特定被写体検出部６６で検出された顔が最も低いＡＥ値であるか否かを判別する（ステップＳＴ２１）。最もＡＥ値が低い顔は、顔部分が暗い顔であるから、フラッシュ発光が必要なため、特定被写体の光量確保の観点からフラッシュ発光量制御部８１にて所定の発光量を算出する必要性がある。最もＡＥ値が低い顔であるＦ４の場合（ステップＳＴ２１；ＹＥＳ）、ＡＥ値がフラッシュ発光閾値以下であるか否かを判別する（ステップＳＴ２２）。

図７Ａ、図７Ｂはフラッシュ発光閾値を示す模式図である。図７Ａには、図４Ｂで検出されたＦ１〜Ｆ４内の顔に対してのＡＥ値とフラッシュ発光閾値の関係が示されている。図７Ａのように最もＡＥ値が低いＦ４がフラッシュ発光閾値以下である場合は（ステップＳＴ２２；ＹＥＳ）、フラッシュ発光量制御部８１によりＦ４内の顔のＡＥ値に基づいてフラッシュ発光量を算出する（ステップＳＴ２３）。同時にＡＦ処理部６２において、自動焦点に関する設定値（以下、ＡＦ値という）をＦ４内の顔のＡＥ値を基準に設定する（ステップＳＴ２３）。

ＡＦ値の算出手法について、図８、図９を用いて詳細に述べる。図８は図９の家族を算出した際のＡＦ積算値とフォーカスパルス数との関係を示したものである。まず、ＡＦサーチを行い、顔の各エリアに対応する積算値を算出し、各顔に最適なフォーカスパルス数を求める。

例えば、図９は家族の誕生日会を撮像した画像データ例である。Ｆ５〜Ｆ８は特定被写体検出部６６によって検出された顔であるとする。撮像したデジタルカメラを基準として、Ｆ５の父親は最も遠くに存在する。Ｆ８の姉が最も近くに存在する状態である。四名の距離的な関係を述べると、デジタルカメラを基準として、Ｆ５＞Ｆ６＞Ｆ７＞Ｆ８のような距離の関係である。

ＡＦ処理部６２は、フォーカスレンズ２０ａを焦点調整範囲ないで至近から無限遠（又は無限遠から至近）の方向にステップ駆動で移動させ、移動毎に合焦評価値（ＡＦ積算値）を算出する。特定被写体検出部６６により検出された各顔の顔領域に対応する合焦評価値を求め、図８に示す如く、顔毎に求められた合焦評価値から、該評価値が最大となるフォーカスレンズ位置（焦点位置）を検出し、該位置にフォーカスレンズ２０ａを移動させるためのフォーカスパルス数（フォーカス駆動量）を求めることによりＡＦ値を決定する。図８のＰ１は図９のＦ５である父、図８のＰ２は図９のＦ６である母、図８のＰ３は図９のＦ７である長男、図８のＰ４は図９のＦ８である長女に対応する。

検出された顔のＡＥ値に基づいて、ＡＥ値とフラッシュの発光量を調整する（ステップＳＴ２３）。次にフラッシュ発光量制御部８１によって算出された発光量に基づき、ＡＥ処理部６３にてＡＥ値の再設定を行う（ステップＳＴ２４）。

また、フラッシュ発光量制御部８１によって算出された発光量に基づき、ＩＳＯ感度制御部６４のＩＳＯ感度の設定値を再設定する（ステップＳＴ２４）。通常、デフォルトで設定されたＩＳＯ感度の設定値に基づき、ＣＣＤ制御部５９にてＣＣＤ５８を制御して撮像する。しかし、ＩＳＯ感度制御部６４にてフラッシュ発光量制御部８１によって算出された発光量を考慮してＩＳＯ感度を自動調整することを可能とする。

全ての顔の撮像条件制御が終了すれば（ステップＳＴ２５）、撮像条件設定は終了する（ステップＳＴ２５；ＹＥＳ）。なお、全ての顔に対して、撮像条件を設定していない場合は、ＳＴ２１に戻る（ステップＳＴ２５；ＮＯ）。

また、図７Ｂも、図４Ｂで検出されたＦ１〜Ｆ４内の顔に対してのＡＥ値とフラッシュ発光閾値の関係が示されている。ＡＥ値がフラッシュ発光値より大きい場合（ステップＳＴ２２；ＮＯ）、設定されたＡＥ値のまま、上述で説明したＡＦ値を調整する（ステップ２６）。というのもＡＥ値がある程度高い顔に対して、フラッシュ発光は不要であるからである。フラッシュ発光を停止するように制御することで、フラッシュによる電量の無駄が省けかつ、本撮像画像データの顔部分に対する白とび等の画質不調が生じないようにすることが可能である。

更にＦ４以外の顔であるため、フラッシュ発光量制御部８１にてフラッシュ発光量は無しとして制御されることから、フラッシュ作動は停止する。フラッシュ作動が停止することを考慮して、ＩＳＯ感度制御部６４のＩＳＯ感度の設定値を自動調整することを可能とする（ステップＳＴ２７）。

次にＣＰＵ７５は、レリーズボタン１９が半押し解除されたか否かを判別し（ステップＳＴ１０）、レリーズボタン１９が半押し解除されたと判別すると（ステップＳＴ１０；ＹＥＳ）、ステップＳＴ２へ処理を移行し、ユーザにより特定被写体の検出するための指示信号があるまでスルー画像データを表示する（ステップＳＴ２）。

特定被写体の検出に成功した後に、モニタ１８に特定した被写体を囲む追跡枠Ｆ１〜Ｆ４を表示させることにより、ユーザは自分が特定した特定被写体を視認できるので、特定被写体の検出を間違えたときには、例えば上記のようにレリーズボタン１９の半押しを解除することによってすぐに特定被写体を検出し直すことができる。

一方、ステップＳＴ１０にてＣＰＵ７５が、レリーズボタン１９が半押し解除されていないと判別すると（ステップＳＴ１０；ＹＥＳ）、続いてレリーズボタン１９が全押しされた（ステップＳＴ１１）場合、ＣＰＵ７５は、ユーザが現在の追跡状態での撮像を許可したと判断して、撮像条件制御部７９で算出された追跡枠Ｆ１〜Ｆ４内の撮像条件で制御し（ステップＳＴ９）、Ｆ１〜Ｆ４の特定被写体（顔）毎に撮像条件を変えながらＣＣＤ５８が連写により本撮像を行う。

その際、撮像条件制御部７９に記憶された顔の数分の連写撮像を行っても良い。さらには顔検出数（Ｎ人）よりも多くのショット数の連写撮像する際、Ｎショットは特定被写体毎に撮像条件を変えて撮像するが、残りのショット数はデフォルトの撮像条件で本撮影してもよい。

本撮像の際、ＡＥ値が最も明るい特定被写体（顔）順に撮像条件制御部７９の撮像条件を制御し、連写による本撮像を行ってもよい。時間の経過により特定被写体（顔）が明るい状態から暗い状態に変遷することも考えられるので、早期にＡＥ値が高い特定被写体（顔）の本撮像画像データを優先して得ることが可能となるからである。

そして本撮像が行われると（ステップＳＴ１１）、本撮像により取得された本画像に対して画像処理部６７が画像処理を施す（ステップＳＴ１２）。なお、このとき画像処理が施された本画像データに対してさらに圧縮／伸長処理部６７によって圧縮処理が施され画像ファイルが生成されてもよい。

次にＣＰＵ７５は、画像処理が施された本画像をモニタ１８に表示する処理を行う（ステップＳＴ１２）ともに外部記録メディア７０に記録する（ステップＳＴ１３）。図１０のように連写による本撮像のため、記録された本撮像画像データ毎に追い番号を振って記録してもよい。

上記のようなデジタルカメラ１及びデジタルカメラ１を使用した撮像方法によれば、特定被写体を検出してからその特定被写体毎の撮像条件で本撮像画像データを取得することができる。

尚、上述の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明したが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、電子撮像機能を備えた他の電子機器に対しても適用可能である。

デジタルカメラの背面図 デジタルカメラの前面図 デジタルカメラの機能ブロック図 デジタルカメラのモニタ表示の一実施例を示す図（その１） デジタルカメラのモニタ表示の一実施例を示す図（その２） デジタルカメラの一連の処理フローチャート（その１） デジタルカメラの一連の処理フローチャート（その２） 中央重点測光時のフィルタ重み値 顔検出時のフィルタ重み値 顔検出時のフィルタ重み値と顔検出された被写体とを畳み重ねた模式図 フラッシュ発光閾値を示す概念図（その１） フラッシュ発光閾値を示す概念図（その２） ＡＦ積算値とフォーカスレンズ位置に関するグラフ デジタルカメラのモニタ表示の一実施例を示す図（その３）

符号の説明

１ デジタルカメラ（撮像装置）
１８ モニタ（表示手段）
１９ レリーズボタン（撮像指示手段）
６２ ＡＦ処理部
６３ ＡＥ処理部
６４ ＩＳＯ感度制御部
６７ 画像処理部
６６ 特定被写体検出部（特定被写体検出手段）
６９ メディア制御部
７０ 外部記録メディア
７１ 表示制御部（表示制御手段）
７８ 枠表示部（追跡枠表示手段）
７９ 撮像条件制御部（撮像条件制御手段）

Claims (8)

1. 本撮像前に被写体を表すスルー画像データを取得する撮像手段と、
   該撮像手段により取得されたスルー画像データから特定被写体を検出する特定被写体検出手段と、
   該特定被写体検出手段により検出された特定被写体毎に、本撮像時におけるフラッシュ発光の制御を含む撮像条件を制御する撮像条件制御手段と、
   本撮像時にフラッシュ光を発光可能なフラッシュ発光手段と、
   前記特定被写体検出手段により検出された特定被写体毎に、該特定被写体毎のスルー画像データに基づいて自動露出の設定値を算出する自動露出設定値算出手段とを備え、
   前記撮像条件制御手段が、最も低い自動露出の設定値の特定被写体については、該自動露出の設定値がフラッシュ発光閾値以下である場合フラッシュ発光するように撮像条件を設定し、最も低い自動露出の設定値の特定被写体以外の各特定被写体については、フラッシュ発光を停止し撮像素子感度を調整して撮像条件を設定するものであり、
   前記撮像手段が、少なくとも検出された前記特定被写体の数の本撮像画像データを、前記特定被写体毎に設定された各撮像条件で、連写して取得することにより本撮像するものであることを特徴とする撮像装置。
2. 前記撮像条件が、前記特定被写体検出手段により検出された特定被写体毎のスルー画像データに基づいて制御される、自動露出の設定値およびフラッシュ発光量を含むものであることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像条件が、前記特定被写体検出手段により検出された特定被写体毎のスルー画像データに基づいて制御される、自動焦点の設定値をさらに含むものであることを特徴とする請求項２に記載の撮像装置。
4. 前記撮像条件制御手段が、フラッシュ発光量に応じて、前記撮像条件の自動露出の設定値および／または撮像素子感度の設定値を再設定することを特徴とする請求項２または３に記載の撮像装置。
5. 前記撮像手段が、前記自動露出の設定値が大きい前記特定被写体の順に、本撮像を取得するものであることを特徴とする請求項２〜４のいずれか１項に記載の撮像装置。
6. 前記特定被写体が顔であり、前記特定被写体検出手段が顔領域らしさを示す評価値に基づいて顔を検出するものであることを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 半押し及び全押しの二段階操作が可能な撮像指示手段と、
   前記取得されたスルー画像データを表示する表示手段と、
   前記特定被写体検出手段により検出された前記特定被写体を囲む追跡枠を前記表示手段に表示する追跡枠表示手段と、をさらに備え、
   前記撮像条件制御手段が、前記撮像指示手段の半押し操作に応答して、前記追跡枠表示手段により表示された追跡枠内の特定被写体毎のスルー画像データ領域に基づいて前記撮像条件を制御するものであることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. 撮像装置によって実行される撮像方法であって、
   本撮像前に被写体を表すスルー画像データを取得し、
   取得された前記スルー画像データから特定被写体を検出し、
   検出された特定被写体毎に、該特定被写体毎のスルー画像データに基づいて自動露出の設定値を算出し、
   検出された特定被写体毎に、最も低い自動露出の設定値の特定被写体については、該自動露出の設定値がフラッシュ発光閾値以下である場合フラッシュ発光するように撮像条件を設定し、最も低い自動露出の設定値の特定被写体以外の各特定被写体については、フラッシュ発光を停止し撮像素子感度を調整して撮像条件を設定し、
   少なくとも検出された前記特定被写体の数の本撮像画像データを、前記特定被写体毎に設定された各撮像条件で、連写して取得することにより本撮像することを特徴とする撮像方法。