以下、本発明にかかる撮像装置の一実施形態を、図面を参照して詳細に説明する。尚、以下の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きPDA等、電子撮像機能を備えた他の電子機器に対しても適用可能である。
図1及び図2は、デジタルカメラの一例を示すものであり、それぞれ背面側及び前面側から見た斜視図である。デジタルカメラ1の本体10の背面には、図1に示す如く、撮影者による操作のためのインターフェースとして、動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下矢印レバー13、左右矢印ボタン14、Back(戻る)ボタン15、表示切替ボタン16が設けられ、更に撮影のためのファインダ17及び撮影並びに再生のための液晶モニタ(表示手段)18が設けられている。また本体10の上面には、シャッタボタン(撮像指示手段)19が設けられている。
動作モードスイッチ11は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。
メニュー/OKボタン12は、押下される毎に撮影モード、フラッシュ発光モード、顔検出連写モード、セルフタイマーON/OFF、記録画素数や感度等の設定を行うための各種メニューを液晶モニタ18に表示させたり、液晶モニタ18に表示されたメニューに基づく選択・設定を確定させたりするためのボタンである。顔検出連写モードは、顔検出機能を使用して被写体を連写するモードである。なおメニュー/OKボタン12により、撮影モードを露出やホワイトバランスを全て自動で設定するためのオートモード、及びマニュアルで設定するためのマニュアルモードに設定可能である。
ズーム/上下矢印レバー13は、上下方向にレバーを倒すことによって、撮影時には望遠/広角の調整を行い、各種設定時に液晶モニタ18に表示されるメニュー画面中のカーソルを上下に移動して表示させるためのレバーである。左右矢印ボタン14は、各種設定時に液晶モニタ18に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。
Back(戻る)ボタン15は、押下されることによって各種設定操作を中止し、液晶モニタ18に1つ前の画面を表示するためのボタンである。表示切替ボタン16は、押下されることによって液晶モニタ18の表示のON/OFF、各種ガイド表示、文字表示のON/OFF等を切り替えるためのボタンである。
ファインダ17は、撮影者が被写体を撮影する際に構図やピントを合わせるために覗くためのものである。ファインダ17から見える被写体像は、本体10の前面にあるファインダ窓23を介して映し出される。
以上説明した各ボタン及びスイッチ等の操作によって設定された内容は、液晶モニタ18中の表示や、ファインダ17内のランプ、スライドレバーの位置等によって確認可能となっている。
また液晶モニタ(表示手段)18は、撮影の際に被写体確認用のスルー画像が表示されることにより、電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。
更に、本体10の前面には、図2に示す如く、撮影レンズ20、レンズカバー21、電源スイッチ22、ファインダ窓23、フラッシュライト24及びセルフタイマーランプ25が設けられ、側面にはメディアスロット26が設けられている。
撮影レンズ20は、被写体像を所定の結像面上(本体10内部にあるCCD等)に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー21は、デジタルカメラ1の電源がオフ状態のとき、再生モードであるとき等に撮影レンズ20の表面を覆い、汚れやゴミ等から撮影レンズ20を保護するものである。
電源スイッチ22は、デジタルカメラ1の電源のON/OFFを切り替えるためのスイッチである。フラッシュライト24は、シャッタボタン19が押下され、本体10の内部にあるシャッタが開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。
セルフタイマーランプ25は、セルフタイマーによって撮影する際に、シャッタの開閉タイミングすなわち露光の開始及び終了を被写体に知らせるためものである。メディアスロット26は、メモリカード等の外部記録メディア70が充填されるための充填口であり、外部記録メディア70が充填されると、データの読み取り/書き込みが行われる。
図3にデジタルカメラ1の機能構成を示すブロック図を示す。図3に示す如く、デジタルカメラ1の操作系として、前述の動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下矢印レバー13、左右矢印ボタン14、Back(戻り)ボタン15、表示切替ボタン16、シャッタボタン19、電源スイッチ22と、これらのスイッチ、ボタン、レバー類の操作内容をCPU75に伝えるためのインターフェースである操作系制御部74が設けられている。
また、撮影レンズ20を構成するものとして、フォーカスレンズ20a及びズームレンズ20bが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部51、ズームレンズ駆動部52によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部51は、AF処理部62から出力されるフォーカス駆動量データに基づいてフォーカスレンズ20aをステップ駆動する。ズームレンズ駆動部52は、ズーム/上下矢印レバー13の操作量データに基づいてズームレンズ20bのステップ駆動を制御する。
絞り54は、モータとモータドライバとからなる絞り駆動部55によって駆動される。この絞り駆動部55は、AE(自動露出)処理部63から出力される絞り値データに基づいて絞り54の絞り径の調整を行う。
シャッタ56は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部57によって駆動される。シャッタ駆動部57は、シャッタボタン19の押下により発生する信号と、AE処理部63から出力されるシャッタ速度データとに応じてシャッタ56の開閉の制御を行う。
上記光学系の後方には、撮影素子であるCCD58を有している。CCD58は、多数の受光素子がマトリクス状に配置されてなる光電面を有しており、光学系を通過した被写体光が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ(不図示)と、RGB各色のフィルタが規則的に配列されてなるカラーフィルタアレイ(不図示)とが配置されている。
CCD58は、CCD制御部59から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を1ラインずつ読み出してシリアルなアナログ画像信号として出力する。各画素における電荷の蓄積時間、即ち露出時間は、CCD制御部59から与えられる電子シャッタ駆動信号によって決定される。またCCD58はCCD制御部59により、予め設定された大きさのアナログ撮像信号が得られるように、ゲインすなわちISO感度が調整されている。
そして上記光学系及びCCD58、CCD制御部59を含めて撮像部(撮像手段)100が構成される。
CCD58が出力するアナログ画像信号は、アナログ信号処理部60に入力される。このアナログ信号処理部60は、アナログ画像信号のノイズ除去を行う相関2重サンプリング回路(CDS)と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ(AGC)と、アナログ画像信号をデジタル画像データに変換するA/Dコンバータ(ADC)とからなる。そしてこのデジタル信号に変換されたデジタル画像データは、画素毎にRGBの濃度値を持つCCD−RAWデータである。
タイミングジェネレータ72は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部57、CCD制御部59、アナログ信号処理部60に入力されて、シャッタボタン19の操作と、シャッタ56の開閉、CCD58の電荷取り込み、アナログ信号処理60の処理の同期が取られる。フラッシュ制御部73は、フラッシュ24の発光動作を制御する。
画像入力コントローラ61は、上記アナログ信号処理部60から入力されたCCD−RAWデータをフレームメモリ66に書き込む。このフレームメモリ66は、画像データに対して後述の各種デジタル画像処理(信号処理)を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うSDRAM(Synchronous Dynamic Random Access Memory)が使用される。
表示制御部71は、フレームメモリ66に格納された画像データをスルー画像として液晶モニタ18に表示させるためのものであり、例えば、輝度(Y)信号と色(C)信号を一緒にして1つの信号としたコンポジット信号に変換して、液晶モニタ18に出力する。スルー画像は、撮影モードが選択されている間、所定時間間隔で取得されて液晶モニタ18に表示される。また、表示制御部71は、外部記録メディア70に記憶され、メディア制御部67によって読み出された画像ファイルに含まれる画像データに基づいた画像を液晶モニタ18に表示させる。
AF(自動焦点)処理部62及びAE(自動露出)処理部63は、プレ画像に基づいて撮像条件を決定する。このプレ画像とは、シャッタボタンが半押しされることによって発生する半押し信号を検出したCPU75がCCD58にプレ撮像を実行させた結果、フレームメモリ66に格納された画像データにより表される画像である。
AF処理部62は、プレ画像に基づいて焦点位置を検出して合焦設定値(フォーカス駆動量)を決定し、フォーカス駆動量データを出力する(AF処理)。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が適用される。
AE処理部63は、プレ画像に基づいて被写体輝度(測光値)を測定し、測定した被写体輝度に基づいて絞り値及びシャッタスピード等の露出設定値を決定し、絞り値データ及びシャッタスピードデータを出力する(AE処理)。
AWB処理部64は、画像データに対して撮影時の光源による色味の違い、すなわちホワイトバランスを自動調整する(AWB処理)ものであり、被写体及び/又は光源の色温度を測定し、各色(R,G,B)に対するゲイン値(WBゲイン値)を決定する。
顔検出部(対象物検出手段)69は、フレームメモリ66に格納された画像データから人物の顔を検出するためのものであり、顔検出連写モードが選択されているときにONに設定される。顔検出部69は、具体的には、顔に含まれる顔の特徴、すなわち顔らしさを有する領域(例えば肌色を有する、目を有する、顔の形状を有する等)を顔領域として算出するものであり、画像データの各領域毎に取得される顔らしさを表す顔評価値が所定の閾値よりも大きい値であるときに、顔があると判断する。
なお「顔評価値」とは顔らしさを表す数値であり、例えば口らしさ、目らしさ、鼻らしさ等を総合的に評価して定量化したものである。例えば公知のテンプレートマッチング方式を使用する場合には、テンプレートと画像データとのマッチング程度に応じてこの顔評価値は決定される。顔らしさの算出方法としては、例えば、本出願人が先に出願した「特開2004−334836」に記載の特徴部分抽出方法を使用することができる。
また顔検出部69は、単写モードが選択されているときには、例えば図示しない顔検出ボタンによって顔検出のON/OFFを設定するようにしてもよいし、メニュー/OKボタン12等によって顔検出のON/OFFを選択するようにしてもよいし、適宜変更可能である。
本実施形態では、人物の顔を検出するものとして以下説明するが、動物の顔や自動車等、特徴点すなわちその対象物らしさを有するものであれば別の対象物を検出するようにしてもよい。そして顔検出がONに設定された場合には常時スルー画像から顔の検出処理が行われる。
枠表示部77は、顔検出部69により検出された顔をそれぞれ囲む枠を液晶モニタ18に表示させるものである。
撮像条件決定部(撮像条件決定手段)80は、顔検出部69により検出された顔毎に撮像条件を決定する。詳しくは検出された顔毎に、AF処理部62及びAE処理部63にそれぞれ顔の画像領域に基づいて合焦設定値及び露出設定値を決定させると共に、CCD58のISO感度の設定値を決定することにより、検出された顔の個数分、それぞれの顔に適切な撮像条件を決定する。なおISO感度の設定値は予め設定された値を使用することが可能である。
撮像設定部(撮像設定手段)81は、撮像条件決定部80により決定された撮像条件に基づいて撮像が行われるように、撮像部100を設定するものであり、合焦設定値に基づいてフォーカスレンズ駆動部51を制御すると共に、露出設定値に基づいて、絞り駆動部55及びシャッタ駆動部57を制御する。またISO感度の設定値に基づいてCCD制御部59を制御する。なおこの撮像設定部81はCPU75の機能の一部としてもよい。
連写制御部(連写制御手段)82は、撮像条件決定部80により決定された撮像条件を、顔毎に変えながら被写体を連写するように撮像部100を制御する。
枠制御部(枠制御手段)87は、連写中に現在の撮像が照準されている顔を囲む枠の表示形式を変更するものである。なおこの枠制御部87については後で詳細に説明する。
バッファ記憶部(バッファ記憶手段)83は、図3に示す各構成要素のデータの流れの速度の違いや、動作時刻の違いを補正するための記憶手段である。なおバッファ記憶部83については後で詳細に説明する。
画像処理部(画像処理手段)68は、本画像の画像データに対してガンマ補正処理(γ処理)、シャープネス補正(シャープネス処理)、色補正処理、コントラスト補正等の画質補正処理を施すと共に、CCD−RAWデータを、RGBの原色信号を正確な色再現性のある新たなRGB信号に色補正するリニアマトリックス演算処理(LMTX処理)、及び、輝度信号であるYデータと、青色色差信号であるCbデータ及び赤色色差信号であるCrデータとからなるYCデータに変換するYC処理を行う。また上述のAWB処理部64にホワイトバランスのゲイン値(WBゲイン値)を決定させる。
尚、この本画像とは、シャッタボタン19が全押しされることによって実行される本撮影において、CCD58から取り込まれ、アナログ信号処理部60、画像入力コントローラ61経由でフレームメモリ66に格納された画像データによる画像である。本画像の画素数の上限はCCD58の画素数によって決定されるが、例えば、撮影者が設定可能な画質設定(ファイン、ノーマル等の設定)により、記録画素数を変更することができる。一方、スルー画像やプレ画像の画素数は本画像より少なくてもよく、例えば、本画像の1/16程度の画素数で取り込まれてもよい。
圧縮/伸長処理部65は、画像処理部68によって画質補正等の処理が行われた本画像の画像データに対して、例えばJPEG等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、Exif形式等に基づいて、撮影日時などの付帯情報が格納されたタグが付加される。またこの圧縮/伸長処理部65は、再生モードにおいては外部記録メディア70から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部71に出力され、表示制御部71は画像データに基づいた画像を液晶モニタ18に表示する。
メディア制御部(記録手段)67は、図2におけるメディアスロット26に相当し、外部記録メディア70に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。なおこの書き込み時に、書き込まれる画像ファイルに対応する情報をタグに付加して記録する。この情報としては、顔検出連写モードで撮像された画像であることや、連写において何番目に撮像された画像であるか、顔が検出された領域等が考えられる。また画像ファイルに記録されたタグの情報はExif規格に対応したアプリケーションソフト等で利用可能である。なお本実施形態の記録手段としてもメディアスロット26は、画像データを外部記録メディア70に記憶するものとしたが本発明はこれに限られるものではなく、記録手段は、内部メモリ85に記憶するものであってもよい。
内部メモリ85は、デジタルカメラ1において設定される各種定数、及び、CPU75が実行するプログラム等を格納する。なおこの内部メモリ85は上述のフレームメモリ66及びバッファ記憶部83を含んでもよい。
ファイル名生成部86は、本撮像された画像データに、連写された順にファイル番号を付与する。
CPU75は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ1の本体各部を制御する。またデータバス76は、画像入力コントローラ61、各種処理部62〜65、68、フレームメモリ66、各種制御部67、71、82、87、顔検出部69、枠表示部77、撮像条件決定部80、撮像設定部81、バッファ記憶部83、内部メモリ85、ファイル名生成部86及びCPU75に接続されており、このデータバス76を介して各種信号、データの送受信が行われる。
次に、以上の構成のデジタルカメラ1において撮影時に行われる処理について説明する。図4はデジタルカメラ1の一連の処理のフローチャート、図5は画像処理のフローチャートである。まず図4Aに示す如く、CPU75は、動作モードスイッチ11の設定に従って、動作モードが撮影モードであるか再生モードであるか判別する(ステップS1)。再生モードの場合(ステップS1;再生)、再生処理が行われる(ステップS2)。この再生処理は、メディア制御部67が外部記録メディア70に記憶された画像ファイルを読み出し、画像ファイルに含まれる画像データに基づいた画像を液晶モニタ18に表示させるための処理である。再生処理が終了したら、図4Bに示す如く、CPU75はデジタルカメラ1の電源スイッチ22によってオフ操作がなされたか否かを判別し(ステップS32)、オフ操作がなされていたら(ステップS32;YES)、デジタルカメラ1の電源をオフし、処理を終了する。オフ操作がなされていなかったら(ステップS32;NO)、ステップS1へ処理を移行する。
一方、ステップS1において動作モードが撮影モードであると判別された場合(ステップS1;撮影)、表示制御部71がスルー画像の表示制御を行う(ステップS3)。スルー画像の表示とは、フレームメモリ66に格納された画像データ液晶モニタ18に表示する処理である。次に、CPU75は顔検出連写モードがONされているか否かを判別する(ステップS4)。顔検出連写モードがONされていない場合には(ステップS4;NO)、CPU75はデジタルカメラ1が単写モードであると判断する(ステップS5)。
次にCPU75はシャッタボタン19が半押しされたか否かを判別し(ステップS6)、シャッタボタン19が半押しされていなければ、CPU75はシャッタボタン19が半押しされるまでステップS6の処理を繰り返す。
一方、シャッタボタン19が半押しされている場合には(ステップS6;YES)、AE処理部63及びAF処理部62は被写体中央領域をAE/AF領域に設定し、このAE/AF領域に基づいてAE処理及びAF処理を行って露出設定値及び合焦設定値を決定する(ステップS7)。そして撮像設定部81が、決定された合焦設定値に基づいてフォーカスレンズ駆動部51を制御すると共に、決定された露出設定値に基づいて、絞り駆動部55及びシャッタ駆動部57を制御することにより撮像部100を設定する(ステップS8)。
次に、ステップS8にて撮像部100の設定が行われると、CPU75はシャッタボタン19が全押しされたか否かを判別し(ステップS9)、シャッタボタン19が全押しされていない場合には(ステップS9;NO)、CPU75はシャッタボタン19の半押しが解除されたか否かを判別する(ステップS10)。そしてシャッタボタン19の半押しが解除されていなければ(ステップS10;NO)、CPU75は処理をステップS9へ移行し、シャッタボタン19の半押しが解除されていれば(ステップS10;YES)、CPU75は処理をステップS3へ移行してステップS3以降の処理を繰り返す。
一方、ステップS9にてシャッタボタン19が全押しされている場合には(ステップS9;YES)、撮像部100が被写体の本撮像を行う(ステップS11)。そして本撮像により生成されたアナログ画像信号をアナログ信号処理部60がデジタル画像データに変換し、画像入力コントローラ61を介してフレームメモリ66に本画像データとして格納する信号処理を行って(ステップS12)、図4Bに示す如く、画像処理部68が本画像データに対して画像処理を施す(ステップS30)。なおステップS30以降の処理については後で詳細に説明する。
また図4Aに示す如く、ステップS4にて顔検出連写モードがONにされている場合には(ステップS4;YES)、顔検出部69がスルー画像から上述の方法にて顔の検出を開始して顔領域を検出し(ステップS13)、検出された顔の数Nをカウントする(ステップS14)。ここで図6に液晶モニタ18の表示の一例を示す。図6に示す如く、撮影視野内に、例えば父P1、母P2、長男P3、長女P4の4人の顔が存在するときには顔の数Nは4をカウントする。
このとき顔毎に算出される顔評価値は、それぞれ顔と対応させて内部メモリ85に記憶しておく。本実施形態では顔評価値が最も高い人物を父P1とし、以下母P2、長男P3、長女P4の順に低くなる。
そして次に枠表示部77が、検出された顔毎に、父P1の顔を囲む枠F1、母P2の顔を囲む枠F2、長男P3の顔を囲む枠F3、長女P4の顔を囲む枠F4を液晶モニタ18に表示させる(ステップS15)。このとき図5に示す如く、内部メモリ85に記憶された顔評価値が最も高い人物Pの顔を囲む枠F、本実施形態では父P1の顔を囲む枠F1を点線にて表示してもよい。
次に、図4Aに示す如く、CPU75はシャッタボタン19が半押しされたか否かを判別し(ステップS16)、シャッタボタン19が半押しされていない場合には(ステップS16;NO)、CPU75は処理をステップS13へ移行してステップS13以降の処理を繰り返し行う。
一方、シャッタボタン19が半押しされている場合には(ステップS16;YES)、顔検出部69がプレ画像から再度、上記と同様に顔の検出を行い(ステップS17)、検出された顔の数Nを再度カウントして(ステップS18)、枠表示部77が液晶モニタ18に枠Fを表示させる(ステップS19)。
そして次に撮像条件決定部80が、検出された顔毎に撮像条件を決定する(ステップS20)。ここで検出された顔に基づく撮像条件の決定方法について説明する。先ず本撮像時の露出設定値の決定方法について以下説明する。図7は露出設定値を決定するときの、各領域における重み付けパターンの一例であり、(a)は中央領域をAE領域に設定したとき(中央重点測光時)、(b)は顔領域をAE領域に設定したとき(顔重点測光時)の一例である。
AE処理部63は、プレ画像を例えば8×8の64個の領域に分割し、分割された領域毎に被写体輝度を測光して測光値EVi(i=1〜64)を算出して、算出された測光値EViに重み付けを行って露出値EVを算出する。重み付けは、予め内部メモリ85に記憶された図7(a)に示す中央重点測光用の重み付けパターン及び図7(b)に示す顔重点測光用の重み付けパターンに従って行われる。なお図7(b)中の枠F内は検出された顔領域とする。
中央重点測光時の重み付けは、図7(a)に示す如く、画像の中央部が大きな値であり、周辺に向かうにつれて小さな値になるように設定されて、露出値EV1は下記式(1)により演算される。なおWiは、中央重点測光用の重み付けパターンにおける各領域の重みである。
EV1=Σ(EVi×Wi)/ΣWi・・・(1)
一方、顔重点測光時の重み付けは、図7(b)に示す如く、検出された顔に最適な露出値を決定するときに、検出された顔領域が大きな値になるように設定されて、露出値EV2は下記式(2)により演算される。なおWfiは顔重点測光用の重み付けパターンにおける各領域の重みである。
EV2=Σ(EVi×Wfi)/ΣWfi・・・(2)
そして本撮像時の露出設定値は、下記式(3)に示す如く、上記式(1)により算出される露出値EV1と上記式(2)により算出される露出値EV2とに重みを付けた重み付け平均値により算出される露出値EVに基づいて決定する。
EV=(αEV1+βEV2)/(α+β)・・・(3)
なおα及びβはα+β≧1の整数であり、例えば顔が検出されたときには、α=0とする。
このとき露出設定値を決定すると共に、ISO感度の設定値を調整することにより、顔領域が最適な明るさとなるようにしてもよい。
次に本撮像時の合焦設定値の決定方法について以下説明する。図8に、顔領域毎の積算値(合焦評価値)のグラフを示す。
AF処理部62は、フォーカスレンズ20aを焦点調節範囲内で至近から無限遠(又は無限遠から至近)の方向にステップ駆動で移動させながら、移動毎に合焦評価値(積算値)を算出して、顔検出部69により検出された各顔の顔領域に対応する合焦評価値を求めて、図8に示す如く、顔毎に求められた合焦評価値から、該評価値が最大となるフォーカスレンズ位置(焦点位置)を検出し、該位置にフォーカスレンズ20aを移動させるためのフォーカスパルス数(フォーカス駆動量)を求めることにより合焦設定値を決定する。なお本実施形態では図8に示すように長女P4、長男P3、母P2、父P1の順に遠方に向かって位置する。
上述のようにして、検出された4人の顔毎つまり4つの撮像条件が決定される。
そしてステップS20にて撮像条件が決定されると、図4Bに示す如く、CPU75は、シャッタボタン19が全押しされたか否かを判別し(ステップS21)、全押しされていない場合には(ステップS21;NO)、CPU75は、シャッタボタン19が半押し解除されているか否かを判別する(ステップS22)。そしてシャッタボタン19が半押し解除されている場合には(ステップS22;YES)、図4Aに示す如く、CPU75はステップS3へ処理を移行して、ステップS3以降の処理を繰り返す。またシャッタボタン19が半押し解除されていない場合には(ステップS22;NO)、CPU75はステップS21へ処理を移行して、シャッタボタン19が全押しされるまで待機する。
一方、ステップS21にてシャッタボタン19が全押しされた場合には(ステップS21;YES)、CPU75はNに1を設定し(ステップS23)、連写制御部82が、撮像条件決定部80により決定された撮像条件を、顔毎に変えながら被写体を連写するように撮像部100を制御して撮像部100が被写体の連写を開始する。このとき連写制御部82は、ステップS13にて内部メモリ85に記憶された顔評価値が高い順、すなわち父P1、母P2、長男P3、長女P4の順に、撮像条件が照準されるように撮像設定部81により撮像部100を設定して連写を行う。
このように、最も顔評価値が高い人物P(父P1)に照準された撮像条件での撮像を先に行うことにより、最も顔らしい画像に対して、撮像条件の決定から撮像までに要する時間を最も短くし、撮像時に横顔になってしまう等により撮像が失敗する可能性を低減することができる。
連写は、先ず撮像設定部81がステップS20にて決定された1つ目の撮像条件(本実施形態では父P1に照準された撮像条件)に基づいて撮像部100を設定する(ステップS24)。そしてこのように設定された撮像部100が被写体の撮像を行う(ステップS25)と共に、枠制御部87がこの撮像における撮像条件で照準されている顔(本実施形態では父P1の顔)を囲む枠Fの表示形式を変更する(ステップS25’)。ここで図9に枠の表示形式の変更例を示す。
本実施形態では1つ目の撮像条件は、父P1の顔に照準するように決定されているので、父P1の囲む枠F1を、母P2の顔を囲む枠F2、長男P3の顔を囲む枠F3、長女P4の顔を囲む枠F4とは別の形式にする。具体的には、図9Aに示す如く、父P1の枠F1を点線で表示し、母P2の枠F2、長男P3の枠F3、長女P4の枠F4を実線で表示する。
なお本発明は上記に限られるものではなく、現在の撮像における撮像条件で照準されている顔を囲む枠Fが区別できれば、例えば、図9Bに示す如く、父P1の枠F1を太い実線で表示し、母P2の枠F2、長男P3の枠F3、長女P4の枠F4を枠F1よりも細い実線で表示してもよいし、図9Cに示す如く、枠Fの近傍に、例えば連写の順番を示す番号すなわち本実施形態では父P1は「1」、母P2は「2」、長男P3は「3」、長女P4は「4」とする数字を表示して、「1」を大きな数字で表示し、「2」「3」「4」を「1」よりも小さな数字で表示してもよい。また父P1の枠F1を、母P2の枠F2、長男P3の枠F3、長女P4の枠F4とは異なる色で表示してもよい。
このように表示形式を変更することにより、ユーザが連写時に現在どの顔に照準の合った撮像が行われているのかを容易に確認することができる。
そして次に図4Bに示す如く、ステップS25の撮像により得られた画像データを、アナログ信号処理部60にてデジタル画像データに変換後、一旦バッファ記憶部83に格納する(ステップS26)。次にCPU75はステップS18にてカウントされた顔の数N分の撮像が行われたか否かを判別する(ステップS27)。
カウントされた顔の数N分の撮像が行われていない場合には(ステップS27;NO)、CPU75はNをN+1に設定し(ステップS28)、ステップS24へ処理を移行して、ステップS24以降の処理を繰り返す。ここで図10に撮像が行われてから画像データが外部記録メディア70に記憶されるまでのタイムシーケンスを示す。
上述のようにステップS24からステップS26の撮像とバッファ記憶の処理を、図10のT41〜T48に示す如く、検出された顔毎すなわち撮像条件毎に繰り返し行う。このときステップS25’の枠Fの表示形式の変更は、現在の撮像条件が照準されている人物Pの顔を囲む枠Fの表示形式を上記のようにして変更する。すなわち表示形式が変更される枠Fは撮像毎に替わることになる。
そしてカウントされた顔の数N分の撮像が行われた後で(ステップS27;YES)、ファイル名生成部86が連写された順にファイル番号(1、2、3、4)を生成して(ステップS29)、画像処理部68がバッファ記憶部83に記憶された4つの画像データに対してそれぞれ画像処理を施す(ステップS30)。
ここでデジタルカメラ1における画像処理について説明する。画像処理は、図5に示す如く、先ず画像処理部68が、AWB処理部64に最初の撮像(本実施形態では父P1に撮像条件が照準された撮像)により得られた画像データに対して上述したようにAWB処理を行わせ(ステップS40)、ホワイトバランス(WB)ゲイン値を算出させる(ステップS41)。
次に画像処理部68は、上記最初の撮像(本実施形態では父P1に撮像条件が照準された撮像)により得られた画像データ及び2番目以降の撮像(本実施形態では母P2、長男P3、長女P4に撮像条件が照準された撮像)により得られた画像データに対してガンマ補正処理(γ処理)、シャープネス補正(シャープネス処理)、色補正処理、コントラスト補正等の画質補正処理を施すと共に、リニアマトリックス演算処理(LMTX処理)、YC処理を施す信号処理を行う(ステップS42)。
このとき2番目以降の撮像(本実施形態では母P2、長男P3、長女P4に撮像条件が照準された撮像)により得られた画像データに対しては、ステップS41にて算出されたWBのゲイン値を使用する。
このようにWBのゲイン値すなわち画像処理条件を共通化することにより、信号処理を高速化できると共に、連写により得られた複数の本画像データに対する色再現性を安定化することができる。
そして上記のように画像処理が行われると(ステップS30)、図4Bに示す如く、メディア制御部67が、画像処理が施された画像データをステップS29にて生成されたファイル名で外部記録メディア70に記録する(ステップS31)。なお画像処理が施された本画像データに対してはさらに圧縮/伸長処理部65によって圧縮処理が施されて、上述のExif形式等に基づいて画像ファイルが生成される。
このとき図10のT49〜T52に示す如く、ステップS30とステップS31の画像処理とメディア記録の処理は上記と同様に検出された顔毎に繰り返し行う。
上述のようにバッファ記憶部83に一旦画像データを格納することにより、被写体の連写を高速で行うことができる。
そしてCPU75は電源スイッチ22によってオフ操作がなされたか否かを判別し(ステップS32)、オフ操作がなされていたら(ステップS32;YES)、デジタルカメラ1の電源をオフし、処理を終了する。オフ操作がなされていなかったら(ステップS32;NO)、ステップS1へ処理を移行し、ステップS1以降の処理を繰り返す。このようにしてデジタルカメラ1による撮影は行われる。
以上により本実施形態のデジタルカメラ1及びデジタルカメラ1を使用した撮像方法によれば、検出された顔に対して、顔毎にそれぞれ適切な撮像条件での撮像を行うことができると共に、顔毎に照準のあった、検出された顔と同じ数の画像を記録できることにより、2つ以上の顔すなわちユーザが意図する複数の顔に対してそれぞれ適切な撮像条件で撮像された画像を取得することができ、さらにユーザが連写時に現在どの人物Pの顔に照準の合った撮像が行われているのかを確認することができる。
なお本実施形態のデジタルカメラ1は、ファイル名生成部86が上述したタイミングにてファイル名を生成したが本発明はこれに限られるものではなく、撮像の順番にファイル名が生成されていれば、例えば撮像毎にファイル名を生成し、当該撮像により得られた画像データと対応させてバッファ記憶部83に記憶させておいてもよい。
また本実施形態のデジタルカメラ1は、上述のように画像処理部68が、連写により得られた画像データに対する画像処理条件として、ホワイトバランス(WB)のゲイン値を共通化したが、本発明はこれに限られるものではなく、前記画像処理条件としてリニアマトリックス演算処理、γ処理、YC処理、シャープネス処理、色補正処理のいずれか1つ以上のパラメータ設定値を共通化してもよい。
この場合、WBのゲイン値と同様に最初の撮像により得られた画像データに対して上記の処理を行うことにより、共通化される上記パラメータ設定値を決定する。こうすることにより、信号処理速度をさらに高速化することが可能となる。なお上記処理全てのパラメータ設定値を共通化することにより、より信号処理の高速化を向上できる。
なお撮像条件決定部80によって各顔毎に決定された撮像条件において、ISO感度の設定値が異なる値である場合には、シャープネス処理のパラメータ設定値は上記のような共通化はせずに、ISO感度の設定値に基づいて各顔毎に調整する。
また本実施形態のデジタルカメラ1は、上述のように連写制御部82が、顔評価値が高い順に被写体を連写するように撮像部100を制御したが、本発明はこれに限られるものではなく、例えばAF処理部82により検出された焦点位置が現在のフォーカスレンズ20aの位置から近い順に前記連写を行うように撮像部100を制御してもよい。
つまり図8に示すように顔領域に対応する合焦評価値が求められたときに、現在のフォーカスレンズ20aの位置が最も至近側である場合には、至近側に位置する人物から、すなわち長女P4、長男P3、母P2、父P1の順に連写を行い、現在のフォーカスレンズ20aの位置が最も遠方側である場合には、遠方側に位置する人物から、すなわち父P1、母P2、長男P3、長女P4の順に連写を行う。
こうすることによりフォーカスレンズ20aの駆動量を少なくすることができるので、連写に要する時間を短縮できると共に安定した連写を行うことができる。
次に本発明にかかる第二の実施形態のデジタルカメラ1−2について図面を参照して詳細に説明する。図11は本実施形態のデジタルカメラ1−2の機能構成を示すブロック図である。なお本実施形態のデジタルカメラ1−2は、上述した実施形態のデジタルカメラ1と概略同様な構成であるため、同様の箇所は同符号で示して説明を省略し、異なる箇所についてのみ説明する。
本実施形態のデジタルカメラ1−2は上記実施形態のデジタルカメラ1に、トリミング部(トリミング手段)88とインデックス表示部(インデックス表示手段)89をさらに備えたものである。
トリミング部88は、連写により得られた2つ以上の画像データにおいて、それぞれの画像データから撮像条件が照準されている人物Pの顔領域をトリミングする。
インデックス表示部89は、上記トリミング部88によりトリミングされた2つ以上の画像データを液晶モニタ18にインデックス形式で表示する。
次に、以上の構成のデジタルカメラ1−2において撮影時に行われる処理について説明する。図12はデジタルカメラ1−2の一連の処理のフローチャート、図13はインデックス表示の一例を示す図である。なお図12A、図12Bにおいて、図4A、図4Bと同様の処理は同じステップ番号で示して説明を省略し、異なる処理についてのみ説明する。
デジタルカメラ1−2は、図12Bに示す如く、ステップS30の画像処理後に、撮像後にその撮像画像を液晶モニタ18に表示するいわゆるポストビューとして、トリミング部88が画像処理の施された複数の画像データ(本実施形態では4つ)から、それぞれ撮像条件が照準されている人物Pの顔領域をトリミングして、図13に示す如く、トリミングされた画像を略同じ大きさで液晶モニタ18にインデックス表示する(ステップS31’)と共に、メディア制御部67が、上記実施形態と同様にして画像処理が施された画像データをステップS29にて生成されたファイル名で外部記録メディア70に記録する(ステップS31)。なおこの記録も上記実施形態と同様にExif形式により行われる。
そしてこの記録処理が終了すると、上記インデックス表示を終了させて、表示制御部71が液晶モニタ18にスルー画像を表示する。上記のようにしてデジタルカメラ1−2による撮影は行われる。
このようにポストビューにおいて最適な撮像条件で撮像された顔領域画像を略同じ大きさでインデックス表示することにより、撮像条件が照準された顔の画像を容易に確認することができる。また外部記録メディア70に記録された画像ファイルを読み出して液晶モニタ18に表示(再生処理)するときには、タグに記録された前記情報を利用して上記のようにインデックス表示させることができる。
次に本発明にかかる第三の実施形態のデジタルカメラ1−3について図面を参照して詳細に説明する。図14は本実施形態のデジタルカメラ1−3の機能構成を示すブロック図、図15は、撮像が行われてから画像データが外部記録メディア70に記憶されるまでのタイムシーケンスを示す図である。なお本実施形態のデジタルカメラ1−3は、上述した実施形態のデジタルカメラ1と概略同様な構成であるため、同様の箇所は同符号で示して説明を省略し、異なる箇所についてのみ説明する。
本実施形態のデジタルカメラ1−3は上記実施形態のデジタルカメラ1に、バッファ処理部90をさらに備えたものである。また上記実施形態のデジタルカメラ1のバッファ記憶部83は上述のように4つの画像データを格納可能であったが、本実施形態のデジタルカメラ1−2のバッファ記憶部83’は、一例として3つの画像データを格納可能とする。
バッファ処理部90は、連写時にバッファ記憶部83’が記憶容量を超えたとき、すなわち図15のT41〜T46に示す如く3人の顔分の撮像及びバッファ記憶の処理が行われた後で、T47の4つ目の撮像条件での撮像により得られた画像データに対して、T48’にてアナログ信号処理部60にてデジタル画像データに変換後、画像処理部68により画像処理を施し、メディア制御部67によりファイル名生成部86にて生成されたファイル名(本実施形態では4)で画像処理が施された画像データを外部記録メディア70に記録して、その後で、図15のT49〜T51に示す如く、1〜3つ目の撮像条件での撮像により得られバッファ記憶部83’に格納された画像データに対して、連写された順(1、2、3)に画像処理とメディア記録の処理を施すように画像データを処理する。
次に、以上の構成のデジタルカメラ1−3において撮影時に行われる処理について説明する。図16はデジタルカメラ1−3の一連の処理のフローチャートである。なお図16A、図16B、図16Cにおいて、図4A、図4Bと同様の処理は同じステップ番号で示して説明を省略し、異なる処理についてのみ説明する。
デジタルカメラ1−3は、図16Bに示す如く、ステップS26の処理後に、CPU75はバッファ記憶部83’の記憶容量分の撮像が行われたか否かを判別し(ステップS60)、記憶容量分の撮像が行われていない場合には(ステップS60;NO)、CPU75はNをN+1に設定し(ステップS61)、ステップS24へ処理を移行して、ステップS24以降の処理を繰り返す。
そしてステップS24からステップS26の撮像とバッファ記憶の処理を、図15のT41〜T46に示す如く、検出された顔毎すなわち撮像条件毎に繰り返し行い、記憶容量分の撮像が行われた後で(ステップS60;YES)、CPU75はNをN+1に設定し(ステップS62)、撮像設定部81がステップS20にて決定された撮像条件(本実施形態では4つ目の撮像条件)に基づいて撮像部100を設定する(ステップS63)。
そしてこのように設定された撮像部100が被写体の撮像を行う(ステップS64)と共に枠制御部87が上記実施形態と同様に、この撮像における撮像条件で照準されている顔を囲む枠Fの表示形式を変更する(ステップS64’)。
そして次に、ファイル名生成部86が連写された順のファイル番号(本実施形態では4)を生成して(ステップS65)、画像処理部68がこの撮像により得られた画像データに対して画像処理を施す(ステップS66)。
このとき画像処理は、図5に示す如く、画像処理部68がAWB処理部64に最初の撮像(本実施形態では父P1に撮像条件が照準された撮像)により得られた画像データつまりバッファ記憶部83’に記憶されている画像データに対して上述のAWB処理を行わせ(ステップS40)、ホワイトバランス(WB)ゲイン値を算出させる(ステップS41)。
そして、画像処理部68は、ステップS64の撮像により得られた画像データに対して、ステップS42で算出されたWBゲイン値を使用し、さらにガンマ補正処理(γ処理)、シャープネス補正(シャープネス処理)、色補正処理、コントラスト補正等の画質補正処理を施すと共に、リニアマトリックス演算処理(LMTX処理)、YC処理を施す信号処理を行う(ステップS42)。
そして、図16Cに示す如く、メディア制御部67が、画像処理が施された画像データをステップS65にて生成されたファイル名で外部記録メディア70に記録する(ステップS67)。
このとき画像処理が施された本画像データに対してさらに圧縮/伸長処理部65によって圧縮処理が施されて画像ファイルが生成され、この記録も上記実施形態と同様にExif形式により行われる。
そして次にCPU75は、ステップS18にてカウントされた顔の数N分の撮像が行われたか否かを判別し(ステップS68)、カウントされた顔の数N分の撮像が行われていない場合には(ステップS68;NO)、図16Bに示す如く、CPU75はステップS62へ処理を移行して、ステップS62以降の処理を繰り返す。このとき例えばカウントされた顔の数が6つであった場合には、ステップS63の撮像設定からステップS67のメディア記録までの処理は検出された顔毎(4,5,6)に繰り返し行われる。
そして図16Cに示す如く、カウントされた顔の数N分の撮像が行われた後で(ステップS68;YES)、ファイル名生成部86が連写された順にファイル番号(1、2、3)を生成して(ステップS29’)、画像処理部68がバッファ記憶部83’に記憶された3つの画像データに対してそれぞれ画像処理を施して(ステップS30’)、メディア制御部67が、画像処理が施された画像データをステップS29’にて生成されたファイル名で外部記録メディア70に記録する(ステップS31’)。
このとき図14のT49〜T51に示す如く、ステップS30’とステップS31’の画像処理とメディア記録の処理は上記と同様に検出された顔毎に繰り返し行う。なおこのときステップS30’の画像処理は、上記と同様にステップS66にて算出されたWBゲイン値を使用する。
また画像処理が施された本画像データに対してはさらに圧縮/伸長処理部65によって圧縮処理が施されて画像ファイルが生成され、この記録も上記実施形態と同様にExif形式により行う。
このようにバッファ処理部90を備えることにより、バッファ記憶部83’の記憶容量を超える枚数の連写を行う場合でも、円滑に画像データを処理することができ連写の速度を向上させることができる。
なお本実施形態のデジタルカメラ1−3は、ファイル名生成部86が上述したタイミングにてファイル名を生成したが本発明はこれに限られるものではなく、撮像の順番にファイル名が生成されていれば、例えば撮像毎にファイル名を生成し、当該撮像により得られた画像データと対応させてバッファ記憶部83’に記憶させておいてもよい。
また本実施形態のデジタルカメラ1−3は、上記第二の実施形態のトリミング部88とインデックス表示部89とをさらに備えるものであってもよい。
次に本発明にかかる第四の実施形態のデジタルカメラ1−4について図面を参照して詳細に説明する。図17は本実施形態のデジタルカメラ1−4の機能構成を示すブロック図である。なお本実施形態のデジタルカメラ1−4は、上記第一の実施形態のデジタルカメラ1と概略同様な構成であるため、同様の箇所は同符号で示して説明を省略し、異なる箇所についてのみ説明する。
本実施形態のデジタルカメラ1−4は、図17に示す如く、第一の実施形態のデジタルカメラ1の機能構成に、顔検出部69により検出された顔の大きさを検出する大きさ検出部91をさらに備えている。
本実施形態のデジタルカメラ1−4は、第一の実施形態のデジタルカメラ1とは、連写制御部82が撮像部100に被写体を連写させる順番が異なり、本実施形態の連写制御部82−4は、上記大きさ検出部91により検出された顔の大きさ順に、例えば顔の大きい順、父P1、母P2、長男P3、長女P4(図5参照)の順に照準された撮像条件で、撮像部100に被写体を連写させる。
このように、最も顔の大きい人物P(父P1)に照準された撮像条件での撮像を先に行うことにより、最も顔の大きいすなわちユーザが所望する可能性の高い顔に対して、撮像条件の決定から撮像までに要する時間を最も短くし、撮像時に横顔になってしまう等により撮像が失敗する可能性を低減することができる。
なお本実施形態のデジタルカメラ1−4は、上記第二の実施形態のバッファ処理部90及び/又は上記第三の実施形態のトリミング部88とインデックス表示部89とをさらに備えるものであってもよい。
次に本発明にかかる第五の実施形態のデジタルカメラ1−5について図面を参照して詳細に説明する。図18は本実施形態のデジタルカメラ1−5の機能構成を示すブロック図である。なお本実施形態のデジタルカメラ1−5は、上記第一の実施形態のデジタルカメラ1と概略同様な構成であるため、同様の箇所は同符号で示して説明を省略し、異なる箇所についてのみ説明する。
本実施形態のデジタルカメラ1−5は、図18に示す如く、第一の実施形態のデジタルカメラ1の機能構成に、顔検出部69により検出された顔の位置情報を検出する位置情報検出部92をさらに備えている。
本実施形態のデジタルカメラ1−5は、上記実施形態と同様に第一の実施形態のデジタルカメラ1とは連写制御部82が撮像部100に被写体を連写させる順番が異なり、本実施形態の連写制御部82−5は、上記位置情報検出部92により検出された顔の位置情報により前記連写の順番を決定し、該順番にて撮像部100に被写体を連写させる。
ここで図19に顔の位置情報の検出方法を説明する図を示す。図19(a)は液晶モニタ18の表示の一例であり、図19(b)は位置情報を示す表示の一例である。
位置情報検出部92は、図19(a)に示す如く、撮影視野すなわち液晶モニタ18の中心Cを検出する。そして図19(b)に示す如く、各顔を囲む枠Fのそれぞれの中心点を検出し、該検出された中心点から液晶モニタ18の中心Cまでの距離dをそれぞれ算出する。本実施形態では、中心Cから父P1を囲む枠F1の中央点までの距離をd1とし、同様に母P1の距離をd2、長男P3の距離をd3、長女P4の距離をd4とする。このとき図19(b)は、d1>d2>d3>d4となる。
そして連写制御部83−5は、この距離dの値が小さい順、すなわち長女P4、長男P3、母P2、父P1の順に照準された撮像条件で、撮像部100に被写体を連写させる。
次に、以上の構成のデジタルカメラ1−5において撮影時に行われる処理について説明する。図20はデジタルカメラ1の一連の処理のフローチャートである。なお図20A、図20Bは、図4A、図4Bと概略同様であるため、同様の処理は同じステップ番号で示して説明を省略し、異なる処理についてのみ説明する。
デジタルカメラ1−5は、図20Aに示す如く、ステップS20にて撮像条件が決定されると、位置情報検出部92が上述のようにして、父P1、母P2、長男P3、長女P4の距離d1、d2、d3、d4をそれぞれ算出する(ステップS20’)。そして次に図20Bに示す如く、CPU75はシャッタボタン19が全押しされたか否かを判別し(ステップS21)、シャッタボタン19が全押しされた場合には(ステップS21;YES)、CPU75はNに1を設定し(ステップS23)、連写制御部82−5が、撮像条件決定部80により決定された撮像条件を、顔毎に変えながら被写体を連写するように撮像部100を制御して撮像部100が被写体の連写を開始する。このとき連写制御部82−5は、ステップS20’にて算出された距離dの値が小さい順、すなわち長女P4、長男P3、母P2、父P1の順に、撮像条件が照準されるように撮像設定部81により撮像部100を設定して連写を行う。このようにしてデジタルカメラ1−5による撮影が行われる。
このように、最も撮像画像の中央近くに位置する人物P(長女P4)に照準された撮像条件での撮像を先に行うことにより、最も中央に近いすなわちユーザが所望する可能性の高い顔に対して、撮像条件の決定から撮像までに要する時間を最も短くし、撮像時に横顔になってしまう等により撮像が失敗する可能性を低減することができる。
なお本実施形態のデジタルカメラ1−5は、上記第二の実施形態のバッファ処理部90及び/又は上記第三の実施形態のトリミング部88とインデックス表示部89とをさらに備えるものであってもよい。
また本発明の撮像装置は、上述した実施形態のデジタルカメラに限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。