図1は、本発明の一実施形態に係るデジタルカメラ100の電気系を主とする全体構成を示すブロック図である。撮像素子1は、図示しない撮影レンズによって形成された被写体像を画像信号に光電変換し、画像信号をAD変換して後、画像データとして出力する。撮像素子1としては、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の二次元固体撮像素子等が使用される。
TG(Timing Generator)3は、後述するCPU11からの制御信号を受け、撮像素子1から画像信号の読出しを行う。TG3による読出しの制御では、ライブビュー表示中は、VGA規格程度の画素数に基づく画像信号を出力し、静止画撮影時や連写撮影時には、全画素数に基づく画像信号を出力する。
ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)10内には、CPU(Central Processing Unit:中央演算処理装置)11、並び替え部13、切り替えスイッチ14、AF評価値算出部15、画像処理部17、圧縮処理画像ファイル化部19が設けられている。CPU11は、TG3、並び替え部13、AF評価値算出部15、画像処理部17、圧縮処理画像ファイル化部19に接続され、図示しない不揮発性のメモリに記憶されたプログラムに従ってデジタルカメラ100の全体制御を行う。
並び替え部13は、撮像素子1から出力されたフル画素相当の画像データを入力し、間引き処理等によって、VGA規格相当の画像データにリサイズし、この画像データをDRAM5およびAF評価値算出部15に出力する。並び替え部13の動作の一例として、例えば、撮像素子1のフル画素数が1200万画素(画像サイズ4000×3000とする)とすると、VGA規格相当の画像サイズにリサイズするためには、水平・垂直方向についてそれぞれ約1/6の画素数に間引くように並び替える処理を行う。
なお、並び替え部13は、撮像素子1から出力されたフル画素相当の画像データを入力し、画素加算(画素混合)処理により、リサイズしてもよい。また、並び替え部13がリサイズする画像サイズは、SVGA規格その他、ライブビュー表示させる表示素子やEVF(電子ビューファインダ)の仕様等に合わせた画像サイズとしてもよい。この場合は、AF評価値算出部15(後述する画像処理部17の被写体追尾、顔検出も同様)への入力信号としての画像サイズも、並び替え部13におけるリサイズした画像サイズに一致させることは勿論である。
また、撮像素子1が、間引き読出し、加算読出しモードを有する場合には、撮像素子1より出力され、並び替え部13に入力される画像データは、フル画素相当だけでなく、間引き読出しや加算読出しされる画像データとすることも可能である。将来的に、撮像素子1の画素数が膨大な数値となる場合であっても、上述の方法により対応することができる。
スイッチ14は、撮像素子1とAF評価値算出部15の間に接続され、CPU11からの制御信号に基づいてオンオフする。ライブビュー表示時には、CPU11は、スイッチ14をオンとし、撮像素子1からの画像データを、並び替え部13を介することなく、AF評価値算出部14に出力させる。一方、連写撮影時には、CPU11は、スイッチ14をオフとし、撮像素子1からの画像データを、並び替え部13によってVGA規格相当の画像データに変換した後に、AF評価値算出部15に出力させる。
AF評価値算出部15は、並び替え部13またはスイッチ14から画像データを入力し、AF評価値を算出する。AF評価値算出部15は、入力した画像データの中から高周波成分を抽出し、これをAF評価値(コントラスト値)としてCPU11に出力する。前述したように、撮像素子1の前には、被写体像を形成するための撮影レンズが配置されている。CPU11は、AF評価値算出部15によって算出されたAF評価値(コントラスト値)がピークとなるように、撮影レンズのピント位置を調節し、自動焦点調節を行う。
DRAM(Dynamic Random Access Memory)5は、揮発性のメモリであり、撮像素子1および並び替え部13に接続され、画像データを一時記憶する。一時記憶のための領域としては、第1の領域と、第2の領域が設けられている。後述するように(図9のS185、S189参照)、第1の領域は、撮影動作時に全画素から読み出した画像データを一時記憶するための領域であり、第2の領域は、並び替え部13によってリサイズした画像データを一時記憶するための領域である。DRAM5は、一時記憶した画像データを画像処理部17に出力する。
画像処理部17は、DRAM5に一時記憶された画像データを入力し、画像処理を行う。画像処理部17は、入力した画像データに対して、デジタル的増幅(デジタルゲイン調整処理)、色補正、ガンマ(γ)補正、コントラスト補正、白黒・カラーモード処理、ライブビュー表示用処理といった各種の画像処理を行う。また、画像処理部17は、DRAM5に一時記憶されたライブビュー表示用の画像データ、または記録メディア9から読み出された画像データに対して表示用画像信号を生成する。
また、画像処理部17は、ライブビュー表示用程度の低容量の画像データを用いて被写体追尾を行う。被写体追尾は、前回と今回の画像データを比較し、一致していない部分、すなわち移動した被写体が存在するか否か、また移動被写体が存在した場合には、その位置を検出する。さらに、画像処理部17は、ライブビュー表示用程度の低容量の画像データを用いて顔検出を行う。顔検出は、予め、人物等の目、鼻、口等のパーツを多数、記憶しておき、これら記憶されたパーツと一致するか否かを判定することにより、人物等の顔の在否を検出する。顔が存在した場合には、その位置も検出する。
TFT7は、画像処理部17に接続された大画面の液晶パネルであり、カメラの背面等に配置される。ユーザは、TFT7の画面に表示されるライブビュー画像や再生画像等の観察を行うことができる。なお、液晶パネルに限らず、例えば、有機EL等の画像表示用の表示パネルであればよい。
圧縮処理画像ファイル化部19は、画像処理部17から画像データを入力し、JPEG方式やTIFF方式等で圧縮し、画像ファイルを生成する。また、記録メディア9から読み出した画像データを伸張する。なお、画像圧縮はJPEG方式やTIFF方式に限らず、他の圧縮方法も適用できる。記録メディア9は、圧縮処理画像ファイル化部19によって圧縮された静止画や連写画像の画像データを記録するための記録媒体である。
次に、図2を用いて、本実施形態におけるライブビュー表示と連写時の自動焦点調節動作について説明する。図2に示すタイミングチャートにおいて、上段は撮像素子1の垂直同期信号を示し、その下の段は、撮像素子1の露光タイミングと読出しタイミングを示す。その下の段は、DRAM5の一時記憶データを示し、その下の段はTFT7の表示内容を示し、その下の段はAF評価値算出を示し、最下段は、AF評価値の取得を示す。
時刻t1〜t11までは、ライブビュー表示中を示し、時刻t11から右側は連写撮影中を示す。図示しないレリーズ釦の半押しを行うとデジタルカメラ100は撮影準備状態に入り、ライブビュー表示とAF動作を実行する。連写モードを設定した状態で、撮影者がレリーズ釦の半押し状態からさらにレリーズ釦を押し込み全押し状態とすると、デジタルカメラ100は連写撮影を開始する。
今、時刻t1において撮像素子1の垂直同期信号がLレベルとなると、撮像素子1は露光動作を開始する。撮像素子1の電子シャッタはローリングシャッタであり、画素列毎に露光開始と露光終了がずれており、画素列毎に露光動作が終わると、引き続き読出し動作を行う。露光動作の領域(符号21a参照)と読出しの領域(符号21b参照)は、タイミングチャート上では菱形形状となる。
符号21bは画像データの読出しを示しており、撮像素子1より読み出された画像データは、DRAM5に一時記憶される(符号31参照)。DRAM5に一時記憶された画像データと同じ画像データは、スイッチ14を介してAF評価値算出部15にも出力され、AF評価値算出部15は、AF評価値(コントラスト値)を算出する(符号51参照)。この算出されたAF評価値はCPU11が取得し(符号61参照)、CPU11は、取得したAF評価値に基づいて撮影レンズの自動焦点調節動作を実行する。
また、前回の露光動作に伴う読出し動作(符号21b参照)が終了すると、このDRAM5に一時記憶された画像データ(符号31参照)は、画像処理部17によって画像処理が行われ、画像処理された画像データに基づいて、TFT7にライブビュー表示がなされる(符号41参照)。
このように、時刻t1〜t2の間において、撮像素子1から読み出された画像データを用いて、デジタルカメラ100は、AF評価値を算出すると共に自動焦点調節を行い(符号51、61参照)、また、TFT7にライブビュー表示を行う(符号41参照)。同様に、時刻t2〜t3の間に読み出された画像データ(符号32参照)を用いて、AF評価値を算出し自動焦点調節を行い(符号52、62参照)、TFT7にライブビュー表示を行う(符号42参照)。以後、時刻t11まで、この動作を繰り返す。
次に、レリーズ釦が全押しされると(時刻t11のタイミング)、撮影動作に移る。まず、撮像素子1の全画素に対してリセット動作を行い、全画素に対して同時に露光(露出)を開始する(符号25a参照)。露光開始後、手動もしくは自動で設定されたシャッタ秒時の時間が経過すると(t12のタイミング)、機械式のシャッタにより全画素、同時に露光を停止する。露光動作が停止すると、次に、各画素から画像信号の読出しを開始する(符号25b参照)。画像信号の読出し時間は、全画素の画像信号を読み出すために、ライブビュー表示時に比較すると時間がかかる。
符号25bの期間に読み出された画像データは、DRAM5に一時記憶され(符号35参照)、一方、これと同等の画像データは並び替え部13にも出力される。並び替え部13は、前述したように、ライブビュー表示に使用する画像データと同等の画像データ(例えば、VGA規格相当のデータ)に変換する(符号35a参照)。並び替え部13によって変換された画像データは、AF評価値算出部15によってAF評価値が算出される(符号55参照)。CPU11はAF評価値を取得すると(符号65参照)、このAF評価値に応じた処理を行う。この処理については、図3を用いて後述する。
時刻t11〜時刻t21の間において1コマ目の連写撮影が行われると、時刻t21から2コマ目の連写撮影を行う。このときは、1コマ目の連写撮影時にDRAM5に一時記憶した画像データ(符号35a参照)を用いてTFT7に連写撮影時の画像を表示する(符号47、48、49参照)。また、2コマ目の連写撮影時に読み出された画像データに基づいて、並び替え部13はライブビュー表示用の画像データと同等の画像データを生成する(符号36a参照)。この画像データを用いて、AF評価値算出部15はAF評価値を算出し(符号56参照)、CPU11はAF評価値を取得し(符号66参照)、AF評価値に応じて処理を行う。
次に、図3を用いて、符号65、66において行われるAF評価値に応じた処理について説明する。この図3は、横軸に時間をとり、縦軸にAF評価値(コントラス値)をとり、AF評価値の遷移状態を示す。また、基準評価値L1はAF評価値がピークとなったときの評価値であり、撮影レンズが合焦位置に達した際のAF評価値である。L2は閾値1であり、L3は閾値2である。閾値1および閾値2は、基準AF評価値に対して、所定の割合となるように定める。図3において、時刻T1から時刻T8まではライブビュー表示中であり、この間、CPU11はAF評価値を取得すると、このAF評価値に基づいて撮影レンズの自動焦点調節を行うので、ピントが次第に合っていく。図3に示す例では、時刻T8において合焦状態となる。
また、時刻T8から連写撮影が開始され、時刻T9、時刻T10、・・・、時刻T13において、それぞれ静止画の画像を取得し、またAF評価値算出部15によってAF評価値を算出する。時刻T8、T9、T10においては、AF評価値は基準AF値L1であるが、その後、次第にAF評価値は低下し、時刻T12では第1の閾値L2よりも低下し、時刻T13では第2の閾値L3よりも低下している。本実施形態においては、AF評価値が第1の閾値L2よりも低下すると、警告表示を行い、第2の閾値L3よりも低下すると、連写撮影を中断し、自動焦点調節動作を実行する。なお、第1の閾値L2は、例えば、合焦時L1からピント許容範囲の半分程度に相当するピントずれ量に設定することにより警告するための判定値とする。また、第2の閾値L3は、例えば合焦時L1からピント許容範囲に相当するピントずれ量に設定することにより、撮影を禁止するための判定値とする。
このように、連写撮影時には、撮像素子1から読み出された全画素の画像データを、並び替え部13によって、ライブビュー表示用の画像データと同等の画像データに変換する。そして、変換された画像データを用いてAF評価値を算出し、このAF評価値に応じた処理を行うようにしている。
次に、本実施形態における動作を、図4ないし図11に示すフローチャートを用いて説明する。これらのフローチャート(後述する本実施形態の変形例の図14に示すフローチャートも含めて)は、図示しないメモリに記憶されたプログラムに従ってCPU11によって実行される。
図4は、メインフローを示す。このメインフローは、デジタルカメラ100に電源電池が装填された場合、もしくは、パワースイッチがオンとなった際に、実行される。メインフローに入ると、まず、電装システムの初期化を行い(S1)、メカ機構の初期化を行う(S3)。
メカ機構の初期化を行うと、またはスリープ状態から復帰すると、撮像手段の初期化を行う(S5)。撮像手段としては、撮像素子1、TG3とこれらの周辺回路を指し、このステップでは、これらの回路の初期化を行う。なお、スリープ状態は、所定時間の間、ユーザがデジタルカメラのスイッチを操作しない場合に、CPU11のクロック速度を低下させ、特定の操作部材のみ割り込み可能とし、消費電力を低下させた状態をいう。
撮像手段の初期化を行うと、次に、撮像素子1の間引き読出しを開始する(S7)。ここでは、ライブビュー表示のために、TG3によって撮像素子1から、とびとびの画素毎に画像信号を読み出す。続いて、表示手段の初期化を行い(S9)、ライブビュー表示を開始する(S11)。ここでは、撮像素子1から読み出された画像データを一旦、DRAM5に一時記憶し、画像処理部17によって画像処理を行った後に、TFT7にライブビュー表示を行う。
ライブビュー表示を開始すると、次に、スイッチ操作監視用タイマの初期化を行う(S13)。前述したように、所定期間、スイッチ操作がなされないとスリープ状態に入るが、このステップでは、所定期間の計時用のタイマの初期化を行う。
タイマの初期化を行うと、次に、スイッチ操作が有ったか否かを判定し(S15)、この判定の結果、スイッチ操作が有った場合には、操作されたスイッチに応じた処理を実行する(S17)。このスイッチ操作毎の処理の詳細な動作については、図5を用いて後述する。操作スイッチ毎の処理を行うと、ステップS13に戻る。
一方、ステップS15における判定の結果、スイッチ操作がなされていなかった場合には、次に、被写体追尾演算を行う(S19)。ここでは、画像処理部17が、ライブビュー表示用に読み出し、DRAM5に記憶された画像データを用いて、人物等の被写体の動きを検出する。この被写体追尾演算を行うことにより、被写体に対して自動焦点調節や自動露出制御を可能とする。
被写体追尾演算を行うと、次に、顔検出演算を行う(S21)。ここでは、画像処理部17が、ライブビュー表示用に読み出し、DRAM5に記憶された画像データを用いて、画像の中に人物の顔が含まれているか、また含まれている場合にその位置等を検出する。
顔検出演算を行うと、次に、ライブビュー用画像処理を行い(S23)、ライブビュー表示を更新する(S25)。続いて、ライブビュー用画像を用いて、ライブビュー測光動作を行い(S27)、ライブビューの露出演算と露出条件の更新を行う(S29)。ここでは、被写体輝度に応じて、TFT7に表示するライブビュー表示が適正露光となるように、ローリングシャッタのシャッタ速度や撮像素子1のISO感度を制御する。
次に、所定時間スイッチ操作がないか否かを判定する(S31)。ここでは、ステップS13において初期化したタイマが、所定時間に達したか否かを判定する。スイッチ操作がなされると、ステップS17においてスイッチ操作に応じた処理を行った後に、ステップS13においてタイマが初期化される。しかし、所定時間の間、スイッチ操作が何もなされないと、タイマ時間が経過し、ステップS31において、所定時間スイッチ操作が無いと判定される。
ステップS31における判定の結果、所定時間スイッチ操作無しでなかった場合には、ステップS15に戻る。一方、判定の結果、所定時間スイッチ操作無しであった場合には、スリープ状態に入る(S33)。スリープ状態に入ると、前述したように、低消費電力モードとなり、特定の操作部材が操作されると、スリープ状態から復帰し、ステップS5から動作を再開する。
次に、ステップS17におけるスイッチ操作毎の動作について、図5に示すフローチャートを用いて説明する。スイッチ操作毎のフローに入ると、まず、パワースイッチの操作が有ったか否かの判定を行う(S41)。この判定の結果、パワースイッチが操作された場合には、次に、メカ機構のパワーオフ処理を行い(S43)、電装システムのパワーオフ処理を行い(S45)、電源オフ状態(Halt)となる。電源オフ状態となると、デジタルカメラのCPU11は動作を停止し、再度、パワースイッチが操作されると図4のパワーオンからステップS1の処理を開始する。
一方、ステップS41における判定の結果、パワースイッチの操作がなかった場合には、次に、1Rスイッチに操作があったか否かの判定を行う(S49)。1Rスイッチは、レリーズ釦の半押し操作に応じてオンとなるスイッチであり、このステップでは、1Rスイッチがオンとなかった否かに基づいて判定する。
ステップS49における判定の結果、1Rスイッチの操作が有った場合には、レリーズシーケンスを行う(S51)。ここでは、AF処理等の撮影準備動作を実行し、またレリーズ釦の全押し操作がなされると、撮影動作を実行する。このレリーズシーケンスの詳しい動作については、図6を用いて後述する。
一方、ステップS49における判定の結果、1Rスイッチの操作がなかった場合には、次に、モード操作スイッチの操作が有ったか否かを判定する(S53)。モード操作スイッチは、連写撮影モードや単写撮影モード等の撮影モードを選択するための操作スイッチである。この判定の結果、モードスイッチの操作が行われていた場合には、モード変更を行う(S55)。この判定の結果、モードスイッチの操作が行われていた場合には、操作に応じてモード変更を行う。この結果、連写撮影モードが設定される場合がある。また、連写モードとしは、通常の連写モード以外に、本実施形態においては、連写モード2も設定可能である。連写モード2は、非合焦状態といえる程度に、AF評価値が低くなると、連写撮影を中断し、自動焦点調節を行って合焦状態になると連写撮影を再開するモードである。
ステップS51において、レリーズシーケンスを実行すると、またはステップS55において、モード変更を行うと、またはステップS53における判定の結果、モードスイッチの操作がなされなかった場合には、次に、カメラの状態変更を行う(S57)。カメラの状態変更を行うと、元のフローに戻る。
次に、ステップS51におけるレリーズシーケンスの動作について、図6に示すフローチャートを用いて説明する。レリーズシーケンスのフローに入ると、まず、被写体追尾情報の保存を行う(S61)。ステップS19において被写体追尾演算を行っており、この演算結果を保存する。被写体追尾情報を保存すると、次に、顔情報の保存を行う(S63)。ステップS21において顔検出演算を行っており、この演算結果を保存する。
顔情報の保存を行うと、次に、AF制御を行う(S65)。ここでは、AF評価値検出のための検出エリアを設定し、設定された検出エリア内の高周波成分がピークとなるように、撮影レンズを移動させる。このAF制御の詳しい動作については、図7に示すフローチャートを用いて後述する。なお、このステップS65のAF制御は、ステップS63の顔情報の保存が終わったとき以外にも、AF再起動により実行される場合がある。このAF再起動は、後述するように、連写撮影時にAF評価値が第2の閾値L3よりも低下し、非合焦状態といえる場合に、連写撮影を中断し、撮影レンズの自動焦点調節を再開する場合である(図11に示すフローチャート参照)。
AF制御を行うと、次に、2Rスイッチの操作がなされたか否かを判定する(S67)。2Rスイッチは、レリーズ釦の全押し操作に応じてオンとなるスイッチであり、このステップでは、2Rスイッチがオンとなかった否かに基づいて判定する。ユーザは、構図を決め、シャッタチャンスと判断するとレリーズ釦の全押し操作を行うので、2Rスイッチがオンの場合には、撮影動作に移行し、一方、2Rスイッチがオフの場合には、撮影準備状態を続行する。
ステップS67における判定の結果、2Rスイッチがオンではなかった場合には、次に、被写体追尾演算を行い(S69)、顔検出検算を行う(S71)。画像処理部17が被写体追尾演算と顔検出演算を行う。撮影準備状態においても被写体が移動し、また画像中の顔の在否やその位置が変化することから、情報を更新するための演算を行う。
顔検出演算を行うと、続いて、ステップS23と同様にライブビュー用画像処理を行い(S73)、ステップS25と同様にライブビュー表示変更を行う(S75)。そして、ステップS27と同様にライブビュー測光動作を行い(S77)、ステップS29と同様に露出演算と露出条件更新を行う(S79)。
露出演算と露出条件の更新を行うと、次に、ステップS49と同様に、1Rスイッチがオンか否かの判定を行う(S81)。ユーザは、撮影準備状態を続行する場合には、レリーズ釦を半押し状態で保持しており、一方、撮影準備状態を終了する場合には、レリーズ釦から手を離す。そこで、このステップでは、1Rスイッチの状態を検出することにより、撮影準備状態を続行するか否かを判定する。この判定の結果、1Rスイッチがオンであれば、ステップS67に戻り、一方、1Rスイッチがオフの場合には、元のフローに戻る。
ステップS67における判定の結果、2Rスイッチの操作がなされた場合には、次に、測光動作を行う(S83)。撮影時における露出制御値、すなわち、シャッタ、絞り等を決定するために、撮像素子1からの画像データに基づいて測光値を求める。続いて、露出演算を行う(S85)ここでは、ステップS83において求めた測光値に基づいて露出制御値を決定する。
続いて露光動作を行う(S87)。ここでは、図2の時刻t11、t12において説明したように、撮像素子1の全画素に対してリセット動作を行い、全画素、同時に露光(露出)を開始し、手動もしくは自動で設定されたシャッタ秒時の時間が経過すると、機械式のシャッタにより全画素、同時に露光を停止する。
露光動作を行うと、次に画像読出しを行う(S89)。ここでは、TG3によって各画素から画像信号の読出しを行う(図2の符号25b参照)。この画像読出しの詳しい動作については、図9に示すフローチャートを用いて後述する。
画像読出しを行うと、次に画像処理を行い(S91)、画像保存を行う(S93)。読み出された画像データは、DRAM5に一時記憶され(図2の符号35参照)、一時記憶された画像データは、画像処理部17によって画像処理された後、圧縮処理画像ファイル化部19によって画像ファイルが生成され、記録メディア9に保存される。
画像処理および画像保存を行うと共に、ピント評価を行う(S95)。ここでは、並び替え部13によって出力されたライブビュー表示に使用する画像データと同等の画像データ(図2の符号35a参照)を用いて、被写体追尾演算、顔検出演算、およびAF評価値を算出する。このピント評価の詳しい動作については、図10に示すフローチャートを用いて後述する。
ピント評価を行うと、次に、メカ機構パワーオフ処理を行う(S97)。続いて、連写モードか否かの判定を行う(S99)。モード変更があると、ステップS53、S55において、判定されて記憶されている。ここでは、設定されたモードが連写モードであるか否を判定する。
ステップS99における判定の結果、連写モードであれば、ステップS83に戻り、静止画の撮影を繰り返す。一方、判定の結果、連写モードでなければ、静止画を1コマ撮影したことから、撮影動作を終了し、元のフローに戻る。
次に、ステップS65におけるAF制御の動作について、図7に示すフローチャートを用いて説明する。AF制御のフローに入ると、まず、AF評価値検出エリア設定を行う(S101)。本実施形態においては、撮像素子1により出力された画像データの全域についてAF評価値を演算するのではなく、検出エリアを定め、この検出エリア内の画像データに基づいてAF表示価値を演算する。このAF評価値検出エリア設定の詳しい動作については、図8に示すフローチャートを用いて後述する。
AF評価値検出エリアの設定を行うと、レンズ駆動の方向を決定する(S121)。前述したように、本実施形態における自動焦点調節は、AF評価値(コントラスト値)がピークとなるように撮影レンズを移動させる方式である。ここでは、予め決められた方向(至近側か無限側のいずれか)をレンズ駆動方向とする。但し、連写撮影中にAF評価値が低下したために連写撮影を中断した場合には、撮影レンズの移動方向を算出できることから、この場合には、連写撮影中の駆動方向とする。
レンズ駆動の方向を決定すると、次に、レンズ駆動を開始し(S123)、AF評価値の取得を開始する(S125)。前述したように、撮像素子1により出力されたライブビュー表示と同程度の容量の画像データを用いて、AF評価値演算部15がAF評価値を算出し、CPU11はこの評価値を取得する(図2の符号61参照)。
AF評価値を取得すると、次に、AF評価値が増加したか否かを判定する(S127)。ここでは、ステップS125において取得したAF評価値と、前回、取得したAF評価値を比較することにより、判定する。この判定の結果、AF評価値が増加していなかった場合には、レンズ駆動方向を反転させる(S129)。ここでは、AF評価値のピークから離れた方向に撮影レンズが移動していることから、レンズ駆動方向反転させる。
ステップS129においてレンズ駆動方向を反転させると、またはステップS127における判定の結果、AF評価値が増加した場合には、次に、AF評価値のピークを検出し(S131)、ピーク検出できたか否かを判定する(S133)。AF評価値のピークは、AF評価値が増加から減少に反転する間にあることから、ここでは、AF評価値の反転があったか否かに応じて判定する。この判定の結果、ピーク検出できなかった場合には、ステップS131に戻り、撮影レンズの駆動を続行する。
一方、ステップS133における判定の結果、ピークを検出した場合には、合焦位置の算出を行う(S135)。ここでは、AF評価値のピーク前後の撮影レンズの3点の位置を用い、補間演算を行う等により、AF評価値のピークに対応する撮影レンズの合焦位置を算出する。合焦位置を算出すると、合焦位置へレンズを駆動する(S137)。
続いて、AF制御の履歴を保存する(S139)。履歴として、AF評価値を算出したタイミング毎に撮影レンズの駆動方向・駆動量とAF評価値を記憶する。AF履歴を保存すると、閾値1および閾値2を算出する(S141)。閾値1および閾値2は、合焦に達した際のAF評価値を基準として算出する。閾値1、2を算出すると元のフローに戻る。
次に、ステップS101におけるAF評価値検出エリア設定の動作について、図8に示すフローチャートを用いて説明する。AF評価値検出エリアのフローに入ると、まず、スポットAFのデフォルトエリアの設定を行う(S151)。ここでは、検出エリアのデフォルトエリアとして、画面中央のスポットエリアを設定する。
デフォルトエリアを設定すると、次に、ユーザ設定情報の確認を行う(S153)。ここでは、自動焦点調節を行うにあたって、ユーザがAF評価値検出エリアを設定している場合があり、AF評価値検出エリアが設定されているか否かを確認する。続いて、ユーザ設定情報が有るか否かの判定を行う(S155)。ステップS153における確認に基づいて判定する。この判定の結果、ユーザ設定情報が有る場合には、AF評価値検出エリアをユーザ設定位置に変更する(S157)。
ステップS157においてAF評価値検出エリアを変更すると、またはステップS155における判定の結果、ユーザ設定情報がなかった場合には、次に、マルチAFか否かの判定を行う(S159)。マルチAFは、複数の測距エリアの中から、被写体追尾情報または顔検出情報等に基づいて、いずれか1つの測距エリアを検出する方式である。
ステップS159における判定の結果、マルチAFであった場合には、次に、マルチAFのデフォルトエリアの設定を行う(S161)。マルチAFが設定されている場合には、測距エリアを複数あることから、ここでは、例えば、画面中央の測距エリアをデフォルトエリアとして設定する。続いて、被写体追尾情報の確認を行う(S163)。前述したステップS19、S69において、被写体追尾を行っており、これらのステップで取得した被写体追尾情報を確認する。
被写体の追尾情報の確認を行うと、次に、追尾情報が有るか否かの判定を行う(S165)。この判定の結果、追尾情報が有った場合には、AF評価値検出エリアを追尾被写体位置に変更する(S167)。追尾被写体の存在するエリアをAF評価値検出エリアに設定する。
ステップS167においてAF評価値エリアの変更を行うと、またはステップS165における判定の結果、追尾情報がなかった場合には、次に、顔検出情報の確認を行う(S169)。前述したステップS21、S71において、顔検出を行っており、これらのステップで取得した顔情報を確認する。
顔検出情報の確認を行うと、次に、顔情報が有るか否かの判定を行う(S171)。この判定の結果、顔情報が有った場合には、AF評価値検出エリアを最優先顔位置に変更する(S173)。顔情報が1つしかない場合には、その顔の有る位置をAF評価値検出エリアにする。また、顔情報が複数、存在する場合には、最優先顔位置を、AF評価値検出エリアにする。最優先顔位置としては、顔の位置や大きさに基づいて決定する。
ステップS173においてAF評価値検出エリアを変更すると、またはステップS171における判定の結果、顔情報がなかった場合には、またはステップS159における判定の結果、マルチAFでなかった場合には、元のフローに戻る。
次に、ステップS89における画像読出しの動作について、図9に示すフローチャートを用いて説明する。画像読出しのフローに入ると、まず、撮像素子1の制御変更を行い(S181)、全画素の読出しを開始する(S183)。ここでの画像読出しは、レリーズ釦が全押しされ、撮影動作に移行した状態で行う。すなわち、撮影動作に移行する前は、TG3によってライブビュー表示用に間引かれた画素の画像信号を読出しているが、撮影動作に移行すると、TG3によって全画素の画素信号を読み出す。このステップでは、TG3によって全画素の画像信号を読み出すように撮像素子1の制御を変更し、全画素の画像信号を読み出す。
全画素の読出しを開始すると、次に、全画素に基づく画像データをDRAM5の第1の領域へ格納する(S185)。続いて、全画素に基づく画像データのリサイズを行う(S187)。ここで、ステップS185−S189はフローチャートに記載する都合上、順序のある処理で示しているが、ハードウエアにより並行処理されるものである。このステップS187において、全画素データの読出しに並行して、全画素に基づく画像データのリサイズを行う。すなわち、撮影動作時には、撮像素子1から出力される全画素に基づく画像データは、DRAM5に出力される以外に、並び替え部13にも出力される。並び替え部13は、入力した画像データに対して、間引き処理を行い、ライブビュー表示用の画像データと同程度にリサイズした画像データを生成する。全画素データのリサイズ処理により生成されるリサイズ画像データを、リサイズ処理と並行してDRAM5の第2の領域に格納する(S189)。これは、図2の符号35aに対応する。
続いて、リサイズ画像のライブビュー表示を行う(S191)。DRAM5に格納されたリサイズ画像の画像データは、画像処理部17によって画像処理された後、TFT7において表示される。これは、図2の符号47、48、49に対応する。このTFT7への表示より、ユーザは撮影画像を確認することができる。特に、連写撮影時には、被写体の動きに応じた画像を簡単に確認することが可能となる。リサイズ画像のライブビュー表示を行うと、元のフローに戻る。
次に、ステップS95におけるピント評価の動作について、図10に示すフローチャートを用いて説明する。ピント評価のフローに入ると、まず、前回AF評価値検出エリアをリサイズ画像に設定する(S201)。前述したようにリサイズ画像は、DRAM5の第2の領域に格納されている。この格納されたリサイズ画像の画像データに対して、ステップS101において設定されたAF評価値検出エリアを設定する。
前回AF評価値検出エリアの設定を行うと、次に、リサイズ画像から被写体追尾演算を行う(S203)。ここでは、画像処理部17は、DRAM5の第2の領域に格納された画像データを用いて、被写体追尾の演算を行う。続いて、リサイズ画像から顔検出演算を行う(S205)。ここでは、画像処理部17は、第2の領域に格納された画像データを用いて、顔検出演算を行う。
続いて、追尾情報および顔情報の確認を行い(S207)、有効な情報が有るか否かの判定を行う(S209)。連写撮影時には、連写コマ数が増えていくにつれて、追尾被写体や顔の位置が移動していく場合がある。このステップでは、このような移動があるか否かを判定する。
ステップS209における判定の結果、有効な情報が有った場合には、次に、リサイズ画像のAF評価値検出エリアの更新を行う(S211)。ステップS201において、AF評価値検出エリアをリサイズ画像に設定したが、有効な情報に基づいて、AF評価値検出エリアの更新を行う。
AF評価値検出エリアの更新を行うと、または、ステップS209における判定の結果、有効な情報がなかった場合には、次に、リサイズ画像からAF評価値の取得を行う(S213)。ここでは、AF評価値算出部15は、並び替え部13によって生成したリサイズ画像のAF評価値検出エリアに対応する画像データの高周波成分に基づいてAF評価値を算出し(図2の符号55参照)、CPU11はAF評価値を取得する(図2の符号65参照)。
なお、図10のフローチャートの流れ上、ステップS213として記載しているが、AF評価値算出部15によるAF評価値演算は、ハードウエア処理により実行され、図9のフローチャート「画像読出し」のステップS187の「全画素データのリサイズ(間引き処理)」の動作と並行処理される。ただし、ステップS211のリサイズ画像のAF評価値検出エリアの更新」にて更新が発生した場合は、DRAM5の第2領域に格納されたリサイズ画像を用いて、更新されたAF評価値検出エリアの画像データよりAF評価値の演算をやり直す。
AF評価値を取得すると、次に、AF評価値が閾値1(図3のL2参照)よりも小さいか否かを判定する(S215)。この判定の結果、AF評価値が閾値1よりも小さかった場合には、次に、AF評価値が閾値2(図3のL3参照)よりも小さいか否かを判定する(S217)。この判定の結果、AF評価値が閾値2よりも小さかった場合には、連写停止フラグをセットし(S221)、一方、AF評価値が閾値2よりも大きかった場合には、警告表示フラグをセットする(S219)。
ステップS219において警告表示フラグをセットすると、またはステップS221において連写停止フラグをセットすると、またはステップS215における判定の結果、AF評価値が閾値1よりも大きかった場合には、次に、連写継続判定を行う(S223)。ここでは、セットされているフラグに応じた処理を行う。この連写継続判定の詳細については、図11に示すフローチャートを用いて後述する。連写継続判定を行うと、元のフローに戻る。
次に、ステップS223における連写継続判定の動作について、図11に示すフローチャートを用いて説明する。連写継続判定のフローに入ると、まず、警告表示フラグが1であるか否か、すなわち警告表示フラグがセットされているか否かを判定する(S231)。この判定の結果、警告表示フラグが1であれば、警告表示を行う(S233)。ここでは、例えば、TFT7に撮影レンズのピントがずれてきている旨を警告表示する。これ以外にも、視覚的または聴覚的な表示を行ってもよい。
警告表示を行うと、次に、連写モード2が設定されているか否かを判定する(S235)。ユーザは連写モード2を設定可能であることから(S55参照)、このステップでは設定されているモードに基づいて判定する。この判定の結果、連写モード2が設定されていた場合には、次に、連写停止フラグが1であるか、すなわち、連写停止フラグがセットされているか否かを判定する(S237)。
ステップS237における判定の結果、連写停止フラグが1でなかった場合、またはステップS235における判定の結果、連写モード2が設定されていなかった場合、またはステップS231における判定の結果、警告表示フラグが1でなかった場合には、元のフローに戻る。
一方、ステップS237における判定の結果、連写停止フラグが1であった場合には、次に、警告表示フラグをクリアし(S239)、連写停止フラグをクリアする(S241)。これらのフラグをクリアすると、AF再起動を行う。前述したように、AF再起動を行うと、ステップS65(図6参照)にジャンプし、再度、AF制御を行って、撮影レンズの自動焦点調節を行う。撮影レンズが合焦状態になり、レリーズ釦が全押しされていると、ステップS83〜S99において、連写撮影を再開する。
このように、本発明の一実施形態においては、静止画の連写動作において、撮像素子1から出力された静止画の画像データの記録を行うと共に、ライブビュー表示用と同程度の画素数のリサイズ画像の画像データを生成し、これを基にしてAF評価値を算出している。このため、連写撮影動作中の焦点調節動作の追従性を向上させることができる。
また、本発明の一実施形態においては、連写撮影中にリサイズした画像をライブビュー表示している。このため、連写撮影中に撮影画像を確認することができて便利である。さらに、本発明の一実施形態においては、AF評価値が低下してくると、そのレベルに応じて、警告表示を行い、また連写撮影を中断し自動焦点調節動作を行ってから連写撮影を再開する等、AF評価値に応じた処理を行っている。AF評価値に応じて適切なピント合わせを行うことができる。
次に、本発明の一実施形態におけるAF制御の変形例について、図12ないし図14を用いて説明する。本発明の一実施形態において、図7に示すフローチャートにおいて、AF制御を行っている。連写撮影時に連写を中断しAF制御を再開した場合、連写撮影中のレンズの駆動方向に駆動しているだけである。それに対して、本変形例においては、ライブビュー表示中に取得したAF評価値の履歴と、連写撮影中に取得したAF評価値の履歴に基づいて、駆動方向および予測駆動量を算出し、撮影レンズの駆動を行うようにしている。
図12( a)は、ライブビュー表示中のデジタルカメラ100の自動焦点調節におけるピント位置の変化を示し、図12(b)は、ライブビュー表示から連写撮影の開始後における被写体101の移動を示し、図12(c)は、ライブビュー表示中および連写撮影中におけるAF評価値の変化を示す。
ライブビュー表示中に、デジタルカメラ100が自動焦点調節を開始すると、図12に示す例では、被写体101は位置P5にいるが、撮影レンズの最初のフォーカス位置は位置P1である。デジタルカメラ100は、AF評価値が高くなるように、所謂山登り法によって、撮影レンズを駆動すると、撮影レンズのフォーカス位置は、位置P2→位置P3→位置P4→位置P5→位置P6→位置P5と変化する。このときのAF評価値の変化を図12(c)に示す。時刻T21において、位置P1がフォーカス位置であり、以後、位置P2→位置P3→位置P4→位置P5と変化するにつれて、AF評価値は高くなり、時刻T25〜時刻T27における位置P5および位置P6は、合焦とみなすことができる。
撮影レンズが合焦になり、ユーザが連写撮影を開始すると、図12(b)に示すように、被写体101が次第に、デジタルカメラ100に近づいて来る場合がある。図12(b)の例では、連写開始時には、被写体101は、位置P5にいるが、位置P5→位置P4→位置P3→位置P2→位置P1と変化する。図12(c)に示すように、時刻T31では、ピントが合っていることから、AF評価値は高く、以後、時刻の経過と共に被写体が近付いて来るにつれ、AF評価値は低下する。
このように、被写体101がデジタルカメラ100に近づいてくると次第に撮影レンズのピントが外れ、AF評価値は第2の閾値L3より低くなり、連写を中断し、自動焦点調節(AF制御)を行うことになる。今、時刻T33、位置P3でAF制御を再開する場合を想定する。図12(a)において、位置P3と位置P5の間のデフォーカス1が、図12(c)において、撮影レンズの駆動量(x[pls])に相当するとする。ここで、駆動量x[pls]は、撮影レンズの駆動に応じて発生するエンコーダのパルス数とする。
連写撮影の中断時におけるデフォーカス2の絶対値が、ほぼデフォーカス1と同じであるならば、図12(c)に示すように、撮影レンズのピント位置をx[pls]相当だけ近距離側に移動させることにより、撮影レンズを合焦させることが分かる。すなわち、連写撮影の中断した際のAF評価値と、合焦時のAF評価値の差からデフォーカスを算出する。そして、この算出されたデフォーカスと、ライブビュー表示時における同等のデフォーカスを探し、そのときの撮影レンズの駆動量(x[pls])を求めることができれば、連写中断時における合焦位置までの撮影レンズの駆動量(x[pls])を予測することができる。
なお、ライブビュー表示時の撮影レンズの駆動方向と、連写撮影時の被写体の移動方向によっては、撮影レンズの駆動量(言い換えると、合焦位置)を推測できる場合とできない場合がある。この関係を図13に示す。図13から分かるように、ライブビュー表示の際に撮影レンズが近距離側から遠距離側にピント合わせのために移動し、かつ連写撮影時に被写体が遠距離側から近距離側に移動している場合には、合焦位置を推測することができる。
同様に、ライブビュー表示の際に撮影レンズが遠距離側から近距離側にピント合わせのために移動し、かつ連写撮影時に被写体が近距離側から遠距離側に移動している場合には、合焦位置を推測することができる。これ以外の場合には、撮影レンズの駆動方向が近距離側か遠距離側のいずれにあるかは、推測することができるが、その駆動量までは推測ができない。
次に、本変形例の動作について、図14に示すAF制御のフローチャートを用いて説明する。このフローチャートは、図7に示すAF制御のフローチャートにおいて、ステップS121を省略し、代わりにステップS103〜S111を追加したものであり、それ以外は同じである。そこで、この相違点を中心に説明する。
AF制御のフローに入ると、まず、AF評価値検出エリアの設定を行う(S101)。このステップの詳細は図8を用いて説明した通りである。次に、ステップS163と同様に、ステップS19、S69において取得した被写体追尾情報を確認する(S103)。続いて、AF制御履歴の確認を行う(S105)。AF制御を行うとそのときのAF制御の履歴、すなわち、合焦位置に達するまでの撮影レンズの駆動方向・駆動量、AF評価値が保存されているので(図7のS139参照)、これを確認する。
AF制御の履歴を確認すると、次に、レンズ駆動の方向を決定する(S107)。ライブビュー表示時の撮影レンズの駆動方向と、連写撮影時の被写体の移動方向に基づいて、図13に示すように、レンズ駆動の方向を推測できる。レンズ駆動の方向を決定すると、次に、合焦位置の推測を行う(S109)。図13に示す関係から、合焦位置を推測できるか否かを判定する。
ステップS109における判定の結果、合焦位置の推測が可能な場合には、x[pls]だけレンズ駆動を設定する(S111)。ここでは、ステップS405において確認したAF制御の履歴を用いて合焦位置を推測し、撮影レンズの駆動を行う。すなわち、ライブビュー表示時に同じデフォーカスであった位置を検索し、合焦位置からその位置までの撮影レンズの駆動量(x[pls])を合焦位置までの推測値とし、このx[pls]だけ撮影レンズ駆動を設定する。
ステップS111において撮影レンズをx[pls]駆動すると、またはステップS109における判定の結果、合焦位置の推測が不可の場合には、次に、レンズ駆動を開始する(S123)。このステップS123以降の動作は、図7と同様であることから、詳しい説明は省略する。
このように、本変形例においては、連写撮影時に、AF評価値が低下して連写撮影を中断しAF制御を再開した場合に、ライブビュー表示時および連写撮影時におけるAF制御の履歴を用いて、合焦位置の推測を行っている。このため、連写撮影を中断しても、迅速に、AF制御を行い、連写撮影を再開することが可能となる。
以上説明したように、本発明の一実施形態および変形例においては、静止画記録用の画像データを読み出すと共に、この読み出された画像データを表示用の画像データと同等の容量の画像データを生成し、この生成された画像データに基づいてAF評価値を検出している。このため、AF評価を迅速に行うことができ、連写撮影動作中の焦点調節動作の追従性を向上させることができる。
また、本発明の一実施形態および変形例においては、生成された表示用の画像データと同等の容量の画像データに基づいて、連写撮影中に画像を表示している。このため、連写撮影動作中における被写体像を容易に観察することができる。
なお、本発明の一実施形態および変形例においては、連写撮影動作中にTG3は全画素の画像信号を読み出すようにしていたが、これに限らず、設定されている記録画素数に応じた画素の画像信号を読み出すようにしてもよい。
また、本発明の一実施形態および変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、静止画の連写撮影を行うことが可能な撮影機器であれば、本発明を適用することができる。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。