JP6257186B2 - 撮像装置、撮像方法およびプログラム - Google Patents

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、撮像方法およびプログラムに関する。

近年、デジタルカメラ等の撮像装置において、撮像素子の撮像面に被写体像を撮像する撮像画素と位相差検出方式の焦点検出用画素（以下、「ＡＦ画素」という）とをそれぞれ規則的に配置し、撮像用画素から出力される撮像信号を用いてコントラスト方式の焦点検出処理（以下、「コントラストＡＦ処理」という）またはＡＦ画素から出力される焦点信号を用いて位相差検出方式の焦点検出処理（以下、「位相差ＡＦ処理」という）を行う技術が知られている（特許文献１参照）。この技術では、位相差ＡＦ処理を行う場合、１フレーム期間において撮像画素およびＡＦ画素にそれぞれ交互に撮像を実行させることによって、被写体像の撮像と位相差ＡＦ処理を並行して行う。

特開２０１３−３５０１号公報

ところで、上述した特許文献１では、被写体の輝度が低い場合、撮像画素の露出時間を長くすることによって、撮像画像の画質が低下することを防止している。しかしながら、上述した特許文献１では、撮像素子のフレームレートを維持した状態で撮像画素の露出時間を長くした場合、ＡＦ画素の露出時間が短くなることによって、ＡＦ画素から出力される焦点信号の情報量が少なくなることで、位相差ＡＦ処理の精度が低下するという問題点があった。これに対して、位相差ＡＦ処理の精度を維持するため、撮像画素およびＡＦ画素の露出時間を長くした場合、撮像素子のフレームレートが低下するという問題点があった。

本発明は、上記に鑑みてなされたものであって、撮像素子のフレームレートを低下させることなく、精度の高い位相差ＡＦ処理を行うことができる撮像装置、撮像方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、撮像面に被写体像の撮像信号を生成する撮像画素と焦点を検出するための焦点信号を生成する焦点検出用画素とを２次元状に配置した撮像素子であって、前記撮像画素からの前記撮像信号の出力および前記焦点検出用画素からの前記焦点信号の出力を所定のフレームレートで順次読み出す撮像素子と、前記撮像画素から出力される前記撮像信号に基づいて、１フレーム期間における前記撮像画素および前記焦点検出用画素の露出時間の比率を制御する露出時間制御部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記露出時間制御部は、前記焦点検出用画素の露出時間を前記撮像画素の露出時間より短くすることを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記撮像面に前記被写体像を結像する光学系と、前記焦点検出用画素から連続的に出力される前記焦点信号を時系列に沿って順次加算する焦点信号加算部と、前記焦点信号加算部が加算した前記焦点信号に基づいて、位相差検出方式による前記光学系の焦点を調整する位相差焦点処理を行う位相差焦点処理部と、をさらに備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、時間的に生成時間が隣接する２つの前記撮像信号それぞれに対応する２つの撮像画像の各画素のズレ量を算出するズレ量算出部と、前記ズレ量算出部が算出した前記ズレ量が予め設定された閾値を超えたか否かを判定するズレ量判定部と、をさらに備え、前記焦点信号加算部は、前記ズレ量判定部が前記閾値を超えたと判定した場合、加算した前記焦点信号を消去することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、時間的に生成時間が隣接する２つの前記撮像信号それぞれに対応する２つの撮像画像における前記被写体像の移動量を算出する像移動量算出部をさらに備え、前記露出時間制御部は、前記移動量算出部が算出した前記移動量に基づいて、前記比率を制御することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記撮像信号に基づいて、前記焦点検出用画素の露出に必要な必要露出時間および前記１フレーム期間において前記焦点検出用画素の露出が可能な許容露出時間を算出する露出時間算出部と、前記露出時間算出部が算出した前記必要露出時間が前記許容露出時間より長いか否かを判定する露出時間判定部と、をさらに備え、前記焦点信号加算部は、前記露出時間判定部によって前記必要露出時間が前記許容露出時間より長いと判定された場合、前記焦点信号を加算することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記撮像信号に基づいて、コントラスト方式によって前記光学系の焦点を調整するコントラスト焦点処理を行うコントラスト焦点処理部と、前記位相差焦点処理部による焦点領域を指示する指示信号の入力を受け付ける入力部と、前記入力部が入力を受け付けた前記指示信号に応じた前記焦点領域に対応する前記撮像面に前記焦点検出用画素があるか否かを判定する領域判定部と、をさらに備え、前記コントラスト焦点処理部は、前記領域判定部によって前記焦点領域に対応する前記撮像面に前記焦点検出用画素がないと判定された場合、前記コントラスト焦点処理を行うことを特徴とする。

また、本発明にかかる撮像方法は、撮像面に被写体像の撮像信号を生成する撮像画素と焦点を検出するための焦点信号を生成する焦点検出用画素とを２次元状に配置した撮像素子であって、前記撮像画素からの前記撮像信号の出力および前記焦点検出用画素からの前記焦点信号の出力を所定のフレームレートで順次読み出す撮像素子を備えた撮像装置が実行する撮像方法であって、前記撮像画素から出力される前記撮像信号に基づいて、１フレーム期間における前記撮像画素および前記焦点検出用画素の露出時間の比率を制御する露出時間制御ステップを含むことを特徴とする。

また、本発明にかかるプログラムは、撮像面に被写体像の撮像信号を生成する撮像画素と焦点を検出するための焦点信号を生成する焦点検出用画素とを２次元状に配置した撮像素子であって、前記撮像画素からの前記撮像信号の出力および前記焦点検出用画素からの前記焦点信号の出力を所定のフレームレートで順次読み出す撮像素子を備えた撮像装置に、前記撮像画素から出力される前記撮像信号に基づいて、１フレーム期間における前記撮像画素および前記焦点検出用画素の露出時間の比率を制御する露出時間制御ステップを実行させることを特徴とする。

本発明によれば、露出制御部が撮像画素から出力される撮像信号に基づいて、１フレーム間における撮像画素および焦点検出用画素の露出時間の比率を制御するので、撮像素子のフレームレートを低下させることなく、精度の高い位相差ＡＦ処理を行うことができるという効果を奏する。

図１は、本発明の一実施の形態にかかる撮像装置の機能構成を示すブロック図である。 図２は、本発明の一実施の形態にかかる撮像装置のフラッシュメモリにおけるフレームレート情報記録部が記録する撮影モードとフレームレートとの関係を示す図である。 図３は、本発明の一実施の形態にかかる撮像装置が実行する処理の概要を示すフローチャートである。 図４は、図３のＡＦ処理の概要を示すフローチャートである。 図５は、図４のＡＦ画素許容露出時間Ｔmax算出処理の概要を示すフローチャートである。 図６は、像移動量算出部が算出したＡＦ対象領域における像の移動量が閾値以上である場合の垂直同期信号と撮像素子の露出時間との関係を示す図である。 図７は、像移動量算出部が算出したＡＦ対象領域における像の移動量が閾値以上でない場合の垂直同期信号と撮像素子の露出時間との関係を示す図である。 図８は、本発明の一実施の形態にかかる撮像装置にＨＤＲモードが設定されている場合において、像移動量算出部が算出したＡＦ対象領域における像の移動量が閾値以上であるときの垂直同期信号と撮像素子の露光時間との関係を示す図である。 図９は、本発明の一実施の形態にかかる撮像装置にＨＤＲモードが設定されている場合において、像移動量算出部が算出したＡＦ対象領域における像の移動量が閾値以上でない場合の垂直同期信号と撮像素子の露光時間との関係を示す図である。 図１０は、図４のＡＦ画素情報フレーム加算処理の概要を示すフローチャートである。 図１１は、本発明の一実施の形態にかかる撮像装置のズレ量算出部が算出するＡＦ画素のズレ量を算出する算出方法の概要を模式的に示す図である。 図１２は、本発明の一実施の形態にかかる撮像装置の焦点信号加算部による焦点信号のＡＦ画素加算処理の概要を示す模式図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

図１は、本発明の一実施の形態にかかる撮像装置の機能構成を示すブロック図である。図１に示す撮像装置１は、本体部２と、本体部２に着脱自在であり、所定の視野領域から光を集光するレンズ部３と、を備える。

まず、本体部２について説明する。本体部２は、シャッタ４と、シャッタ駆動部５と、撮像素子６と、信号処理部７と、Ａ／Ｄ変換部８と、シフトステージ９と、画像処理部１０と、ＡＥ処理部１１と、測距処理部１２と、画像圧縮展開部１３と、顔検出部１４と、像移動量算出部１５と、状態検出部１６と、ＡＦ処理部１７と、入力部１８と、表示部１９と、表示駆動部２０と、メモリＩ／Ｆ２１と、記録媒体２２と、ＳＤＲＡＭ２３と、Ｆｌａｓｈメモリ２４と、本体通信部２５と、バス２６と、制御部２７と、を備える。

シャッタ４は、レンズ部３を介して撮像素子６へ入射した光像を露光状態または遮光状態に設定する。シャッタ４は、フォーカルプレーンシャッタ等の機械式のシャッタを用いて構成される。

シャッタ駆動部５は、制御部２７の制御のもと、シャッタ４を駆動する。シャッタ駆動部５は、ボイスコイルモータやステッピングモータ等を用いて構成される。

撮像素子６は、レンズ部３によって集光された光を受光して光電変換を行うことによって電気信号（画像データ）を出力する複数の画素が２次元状に配列されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いて構成される。具体的には、撮像素子６は、撮像面に被写体像の撮像信号を生成する撮像画素と焦点を検出するための焦点信号を生成する焦点検出用画素とを２次元状に配置される。撮像素子６は、制御部２７の制御のもと、所定のフレームレート、たとえば３０ｆｐｓで連続的に画像データを生成して信号処理部７へ出力する。具体的には、撮像素子６は、撮像画素からの撮像信号の出力およびＡＦ画素からの焦点信号の出力を所定のフレームレートで順次読み出す。撮像素子６は、レンズ部３によって集光された光を受光する受光部６１と、受光部６１から画像信号を読み出す読み出し部６２と、読み出し部６２が受光部６１から電気信号を読み出す際のタイミングを参照する垂直同期信号を所定の周期で読み出し部６２へ出力するタイミングジェネレータ６３（以下、「ＴＧ６３」という）と、を有する。

受光部６１は、撮像素子６の撮像面に被写体像の撮像信号（以下、「画像データ」という）を生成する撮像画素６１ａと、撮像装置１が位相差検出方式によってレンズ部３の焦点を調整する像面位相差ＡＦ処理を行う際に用いられる焦点信号（以下、「ＡＦ画像データ」という）を生成するＡＦ画素６１ｂ（焦点検出用画素）と、を有する。

撮像画素６１ａは、フォトダイオード（photodiode）や増幅回路等を用いて構成される。撮像画素６１ａは、レンズ部３から入射された被写体像を受光して光電変換を行うことによって画像データを生成する。

ＡＦ画素６１ｂは、フォトダイオードや増幅回路等を用いて構成され、受光部６１の撮像面に所定の間隔および所定の領域内に設けられる。たとえば、ＡＦ画素６１ｂは、受光部６１の受光面におけるＡＦ領域または中央領域に所定の間隔で設けられる。

読み出し部６２は、ＴＧ６３から入力される垂直同期信号に基づいて、受光部６１に蓄積された画像データおよびＡＦ画像データを読み出して信号処理部７へ出力する。読み出し部６２は、撮像画素６１ａから画像データを読み出す撮像画素読み出し部６２ａと、ＡＦ画素６１ｂからＡＦ画像データを読み出すＡＦ画素読み出し部６２ｂと、を有する。

ＴＧ６３は、制御部２７の制御のもと、所定の周期で読み出し部６２へ垂直同期信号を出力する。ＴＧ６３は、制御部２７の制御のもと、垂直同期信号の周期が設定される。この意味で、ＴＧ６３は、電子シャッタとして機能する。

信号処理部７は、制御部２７の制御のもと、撮像素子６から入力された画像データ（撮像信号）およびＡＦ画像データに対して、所定のアナログ処理を施してＡ／Ｄ変換部８へ出力する。具体的には、信号処理部７は、制御部２７の制御のもと、画像データおよびＡＦ画像データに対して、ノイズ低減処理およびゲインアップ処理等を行う。

Ａ／Ｄ変換部８は、信号処理部７から入力される画像データおよびＡＦ画像データ（アナログ信号）に対してＡ／Ｄ変換を行うことによって、デジタルな画像データおよびＡＦ画像データに変換し、バス２６を介してＳＤＲＡＭ２３へ出力する。

シフトステージ９は、撮像素子６を保持するとともに、撮像素子６を移動させて撮像装置１に生じる手ブレを抑制する。具体的には、シフトステージ９は、撮影時における撮影者の手ブレを補正するため、制御部２７の制御のもと、撮像素子６をＸ軸方向、Ｙ軸方向およびＺ軸周りの回転方向に機械的に移動させる。たとえば、シフトステージ９は、撮像素子６をレンズ部３の光軸Ｏに直交するＸＹ平面、レンズ部３の光軸Ｏと平行をなすＸＺ平面およびレンズ部３の光軸Ｏと平行をなすＹＺ平面を回転または移動させることによって、撮像装置１に生じる手ブレを補正する。ここで、手ブレとは、撮影者が撮像装置１を用いて撮影する際に撮像装置１に生じる振動である。シフトステージ９は、撮像素子６を保持する保持枠および複数のアクチュエータ、たとえばボイスコイルモータまたは圧電素子等を用いて構成される。

画像処理部１０は、バス２６を介してＳＤＲＡＭ２３から画像データをフレーム毎に取得し、取得した画像データ（ＲＡＷデータ）に対して、各種の画像処理を行って処理済みの画像データを生成する（現像処理）。この処理済みの画像データは、バス２６を介してＳＤＲＡＭ２３に出力される。具体的には、画像処理部１０は、画像データに対して、少なくともオプティカルブラック（ＯＢ）減算処理、画像データの色味を調整するホワイトバランス（ＷＢ）調整処理、カラーマトリックス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。なお、画像処理部１０は、撮像素子６がベイヤー配列の場合に画像データの同時化処理を行う。

ＡＥ処理部１１は、バス２６を介してＳＤＲＡＭ２３に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１１は、画像データから輝度成分を抽出して、被写体輝度を算出し、算出した被写体輝度に基づいて、たとえば絞り値（Ｆ値）の設定値、シャッタスピード等を決定することで撮像装置１の自動露出を行う。

測距処理部１２は、バス２６を介してＳＤＲＡＭ２３から画像データを取得し、取得した画像データに基づいて、撮像装置１から被写体までの距離を測定する測距演算処理を行い、この測定結果を制御部２７へ出力する。

画像圧縮展開部１３は、バス２６を介してＳＤＲＡＭ２３から画像処理部１０が画像処理を施した画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データを、メモリＩ／Ｆ２１を介して記録媒体２２へ出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１３は、バス２６およびメモリＩ／Ｆ２１を介して記録媒体２２に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２３へ出力する。

顔検出部１４は、バス２６を介してＳＤＲＡＭ２３から画像データを取得し、取得した画像データに対応する撮像画像内においてパターンマッチングを行うことにより、被写体の顔を検出する。なお、顔検出部１４は、犬や猫等の動物（ペット）の顔を検出してもよい。

像移動量算出部１５は、バス２６を介してＳＤＲＡＭ２３から時間的に生成時間が隣接する２つの画像データ（２フレーム）を取得し、取得した２つの画像データそれぞれに対応する２つの撮像画像に含まれる被写体の像移動量を算出する。具体的には、像移動量算出部１５は、隣接する２つの撮像画像にそれぞれ含まれる被写体の像ズレを検出することによって、被写体の像移動量および移動方向を算出する。

状態検出部１６は、撮像装置１に生じる加速度および角速度を検出することによって、撮像装置１に生じる手ブレや状態を検出し、この検出結果を制御部２７へ出力する。たとえば、状態検出部１６は、撮影者が撮像装置１を用いて撮影する際に生じる各軸の加速度および角速度を手ブレとして検出する。状態検出部１６は、各軸方向の加速度成分をそれぞれ検出する３軸の加速度センサおよびジャイロセンサ等を用いて構成される。

ＡＦ処理部１７は、バス２６を介してＳＤＲＡＭ２３に記憶された画像データまたはＡＦ画像データに基づいて、撮像装置１の自動焦点の調整を行う自動焦点処理を行う。ＡＦ処理部１７は、撮像領域内における複数の焦点検出領域で行うマルチＡＦ方式および撮像領域内おける所定の焦点検出領域で行うスポットＡＦ方式および顔検出部１４が検出した被写体の顔領域に対して焦点を検出する顔ＡＦ方式のいずれかを行う。ＡＦ処理部１７は、コントラストＡＦ処理部１７１と、位相差ＡＦ処理部１７２と、を有する。

コントラストＡＦ処理部１７１は、画像データから、輝度成分信号について、空間周波数での高周波成分の信号を取り出し、この高周波成分の信号に対してＡＦ演算処理、（つまり画像のコントラスト度合いを数値化して検出する）を行うことによって、撮像装置１の合焦評価を決定して、撮像装置１の自動焦点の調整を行うコントラスト方式のコントラストＡＦ処理を行う。

位相差ＡＦ処理部１７２は、バス２６を介してＳＤＲＡＭ２３に記憶されたＡＦ画像データを取得し、取得したＡＦ画像データに基づいて、撮像装置１の自動焦点の調整を行う。たとえば、位相差ＡＦ処理部１７２は、ＡＦ画像データに基づいて、被写体までの測距演算処理を行うことによってレンズ部３のデフォーカス量を算出し、この算出結果に従って撮像装置１の自動焦点の調整を行う位相差ＡＦ処理（像面位相差ＡＦ方式）を行う。

入力部１８は、撮像装置１の電源状態をオン状態またはオフ状態に切り換える電源スイッチ１８１と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズスイッチ１８２と、記録媒体２２が記録する画像データを削除する削除信号の入力を受け付ける削除スイッチ１８３と、撮像装置１の各種設定を切り換える操作スイッチ１８４と、撮像装置１の各種設定を表示部１９に表示させるメニュースイッチ１８５と、記録媒体２２に記録された画像データに対応する画像を表示部１９に表示させる再生スイッチ１８６と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画スイッチ１８７と、外部からの接触を検出し、この検出した位置に応じた位置信号の入力を受け付けるタッチパネル１８８と、を有する。

レリーズスイッチ１８２は、外部からの押圧により進退可能であり、半押しされた場合に撮影準備動作を指示するファーストレリーズ信号（以下、「１ｓｔレリーズ信号」という）の入力を受け付ける一方、全押しされた場合に静止画撮影を指示するセカンドレリーズ信号（以下、「２ｎｄレリーズ信号」という）の入力を受け付ける。操作スイッチ１８４は、メニュー画面等における選択設定を行う上下左右の各方向スイッチと、メニュー画面等における各方向スイッチによる操作を決定する決定スイッチ（ＯＫスイッチ）とを有する。なお、操作スイッチ１８４は、ダイヤルスイッチ等を用いて構成してもよい。

タッチパネル１８８は、表示部１９の表示領域に重畳して設けられ、外部からの物体のタッチを検出し、この検出したタッチ位置に応じた位置信号（座標位置を示す信号）を制御部２７に出力する。また、タッチパネル１８８は、ユーザが表示部１９で表示される情報、たとえばアイコン画像やサムネイル画像に基づいてタッチした位置（座標位置）を検出し、この検出したタッチ位置に応じて撮像装置１が行う動作を指示する指示信号や画像を選択する選択信号の入力を受け付けてもよい。一般に、タッチパネル１８８としては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。

表示部１９は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成され、撮像素子６が生成した画像データに対応するライブビュー画像または記録媒体２２に記録された画像データに対応する撮影画像を表示する。また、表示部１９は、撮像装置１の操作情報、撮影に関する撮影条件を設定するメニュー画面、および撮像領域内における焦点領域（ＡＦスポット）等を表示する。

表示駆動部２０は、バス２６を介してＳＤＲＡＭ２３に記憶された画像データまたは記録媒体２２に記録された画像データを取得し、取得した画像データに対応する画像を表示部１９に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒間）だけ表示する確認表示、記録媒体２２に記録された画像データに対応する画像を再生する再生表示、および撮像素子６が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。

記録媒体２２は、本体部２の外部から装着されるメモリカード等を用いて構成され、メモリＩ／Ｆ２１を介して本体部２に着脱自在に装着される。記録媒体２２は、画像処理部１０または画像圧縮展開部１３が処理を施した画像データを記録する、または記録された画像データを出力する。

ＳＤＲＡＭ２３は、バス２６を介してＡ／Ｄ変換部８から入力された画像データ（ＲＡＷデータ）、画像処理部１０から入力された画像処理が施された画像データおよび撮像装置１の処理中の情報を一時的に記憶する。たとえば、ＳＤＲＡＭ２３は、信号処理部７、Ａ／Ｄ変換部８およびバス２６を介して撮像素子６の撮像画素６１ａが１フレーム毎に順次出力する画像データを一時的に記憶する画像データ記憶部２３１と、撮像素子６のＡＦ画素６１ｂが１フレーム毎に順次出力するＡＦ画像データを一時的に記憶するＡＦ画像データ記憶部２３２と、を有する。

Ｆｌａｓｈメモリ２４は、プログラム記録部２４１とフレームレート情報記録部２４２と、を有する。プログラム記録部２４１は、撮像装置１を動作させるための各種プログラム、本実施の形態にかかるプログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１０による画像処理の動作に必要な各画像処理のパラメータ等を記録する。フレームレート情報記録部２４２は、撮像装置１が実行する撮影モード毎の撮像素子６のフレームレート情報を記録する。具体的には、図２に示すように、フレームレート情報記録部２４２は、撮影モードフレームレート表Ｋ１を記録する。撮影モードフレームレート表Ｋ１には、各撮影モードと許容最低フレームレートとが対応付けて記録されている。たとえば、撮影モードフレームレート表Ｋ１には、撮影モードが静止画モードの場合、許容採点フレームレートとして６０ｆｐｓが対応付けて記録されている。

本体通信部２５は、本体部２に装着されるレンズ部３に制御信号等の通信を行うための通信インターフェースである。

バス２６は、撮像装置１の各構成部を接続する伝送路を用いて構成される。バス２６は、撮像装置１の内部で発生した各種データを撮像装置１の各種構成部に転送するための通信経路である。

制御部２７は、バス２６を介して入力部１８からの指示信号またはレリーズ信号に応じて撮像装置１を構成する各部に対応する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部２７は、ＣＰＵ（Central Processing Unit）等を用いて構成される。

ここで、制御部２７の詳細な構成について説明する。制御部２７は、露出時間算出部２７１と、位相差ＡＦ領域判定部２７２と、輝度算出部２７３と、像移動量判定部２７４と、ズレ量算出部２７５と、ズレ量判定部２７６と、露出時間制御部２７７と、露出時間判定部２７８と、焦点信号加算部２７９と、撮像制御部２８０と、表示制御部２８１と、を有する。

露出時間算出部２７１は、バス２６を介してＳＤＲＡＭ２３から画像データを取得し、取得した画像データに基づいて、撮像画素６１ａの露出時間を算出する。また、露出時間算出部２７１は、バス２６を介してＳＤＲＡＭ２３から画像データを取得し、取得した画像データに基づいて、ＡＦ画素６１ｂの露出に必要な必要露出時間および撮像素子６の１フレーム間においてＡＦ画素６１ｂの露出が可能な許容露出時間を算出する。

位相差ＡＦ領域判定部２７２は、入力部１８から入力されたＡＦ処理部１７による焦点領域に対応する撮像素子６の受光面にＡＦ画素６１ｂがあるか否かを判定する。

輝度算出部２７３は、バス２６を介してＳＤＲＡＭ２３から画像データを取得し、取得した画像データに基づいて、画像データの輝度を算出する。

像移動量判定部２７４は、像移動量算出部１５が算出した２つの撮像画像における被写体像の移動量が予め設定された閾値以上であるか否かを判定する。

ズレ量算出部２７５は、時間的に生成時間が隣接する２つのＡＦ画像データそれぞれに対応する２つのＡＦ画像の各画素のズレ量を算出する。

ズレ量判定部２７６は、ズレ量算出部２７５が算出したズレ量が予め設定された閾値を超えたか否かを判定する。

露出時間制御部２７７は、撮像画素６１ａから出力される画像データ（撮像信号）に基づいて、１フレーム間における撮像画素６１ａおよびＡＦ画素６１ｂ（焦点検出用画素）の露出時間（露光時間）の比率を制御する。具体的には、露出時間制御部２７７は、ＡＦ画素６１ｂの露出時間を撮像画素６１ａの露出時間より短くする制御を行う。

露出時間判定部２７８は、露出時間算出部２７１が算出した必要露出時間が許容露出時間より長いか否かを判定する。

焦点信号加算部２７９は、ＡＦ画素６１ｂから連続的に出力されるＡＦ画像データを時系列に沿って順次加算してＳＤＲＡＭ２３のＡＦ画像データ記憶部２３２に蓄積して記憶する。

撮像制御部２８０は、レリーズスイッチ１８２から２ｎｄレリーズ信号が入力された場合、撮像装置１における撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部５の駆動によって撮像素子６が出力した画像データに対し、信号処理部７、Ａ／Ｄ変換部８および画像処理部１０が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部２８０の制御のもと、画像圧縮展開部１３で圧縮され、バス２６およびメモリＩ／Ｆ２１を介して記録媒体２２に記録される。

表示制御部２８１は、表示部１９の表示態様を制御する。具体的には、表示制御部２８１は、表示駆動部２０を駆動し、画像処理部１０が画像処理を施した画像データに対応するライブビュー画像を表示部１９に表示させる。

以上の構成を有する本体部２に対して、音声入出力機能、フラッシュ機能および電子ビューファインダ（ＥＶＦ）等を具備させてもよい。

つぎに、レンズ部３の構成について説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。

光学系３１は、一または複数のレンズを用いて構成され、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｏ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。

絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。

レンズ操作部３５は、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。

レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きそれぞれを決定するための制御用プログラム、光学系３１のレンズ特性および各種パラメータを含むレンズ情報を記録する。

レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２５と通信を行うための通信インターフェースである。

レンズ制御部３８は、ＣＰＵ等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３８は、レンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。なお、レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ部３のピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信するようにしてもよい。

以上のように構成された撮像装置１が実行する処理について説明する。図３は、撮像装置１が実行する処理の概要を示すフローチャートである。

図３に示すように、まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。撮像制御部２８０は、撮像画素読み出し部６２ａに撮像画素６１ａから画像データを読み出させてＳＤＲＡＭ２３へ出力させる撮像を実行する（ステップＳ１０２）。

続いて、ＡＥ処理部１１は、ＡＥ処理を実行する（ステップＳ１０３）。具体的には、ＡＥ処理部１１は、ＳＤＲＡＭ２３から撮像画素読み出し部６２ａによって撮像画素６１ａから読み出された画像データを取得し、取得した画像データに基づいて、撮像装置１の露出条件、たとえばＩＳＯ感度、絞り値（Ｆ値）およびシャッタスピードを設定するＡＥ処理を実行する。

その後、露出時間算出部２７１は、ＡＥ処理部１１が設定した露出条件に基づいて、撮像装置１の１フレームの露出時間を算出する（ステップＳ１０４）。

続いて、撮像装置１の撮影領域内における被写体の測光が完了している場合（ステップＳ１０５：Ｙｅｓ）、撮像装置１は、ステップＳ１０６へ移行する。これに対して、撮像装置１の撮像領域内における被写体の測光が完了していない場合（ステップＳ１０５：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。

ステップＳ１０６において、画像処理部１０は、ＳＤＲＡＭ２３から撮像画素読み出し部６２ａによって撮像画素６１ａから読み出された画像データを取得し、取得した画像データに対して画像処理を行う。

続いて、画像処理部１０は、画像処理を施した画像データをＳＤＲＡＭ２３の画像データ記憶部２３１に一時記憶させる（ステップＳ１０７）。

その後、顔検出部１４は、画像処理部１０が画像処理を施した画像データをＳＤＲＡＭ２３から取得し、取得した画像データに対応する画像に対して被写体の顔を検出する顔検出処理を実行する（ステップＳ１０８）。

続いて、像移動量算出部１５は、ＳＤＲＡＭ２３の画像データ記憶部２３１に記憶された時間的に隣接する２つの画像データに基づいて、画像間における被写体の像移動量を算出する（ステップＳ１０９）。

その後、表示制御部２８１は、ＳＤＲＡＭ２３の画像データ記憶部２３１が記録する撮像画素読み出し部６２ａによって撮像画素６１ａから読み出された画像データに対応するライブビュー画像を表示部１９に表示させる（ステップＳ１１０）。

続いて、撮像装置１に設定された撮影モードが動画モードである場合（ステップＳ１１０：Ｙｅｓ）、撮像制御部２８０は、画像データ記憶部２３１に記録された画像処理部１０によって画像処理が施された画像データを動画（動画データ）として記録媒体２２に記録する（ステップＳ１１２）。ステップＳ１１２の後、撮像装置１は、ステップＳ１１３へ移行する。これに対して、撮像装置１に設定された撮影モードが動画モードでない場合（ステップＳ１１０：Ｎｏ）、撮像装置１は、ステップＳ１１３へ移行する。

続いて、レリーズスイッチ１８２から１ｓｔレリーズ信号が入力された場合（ステップＳ１１３：Ｙｅｓ）、撮像装置１は、撮像領域内における被写体に焦点を自動的に合わせるＡＦ処理を実行する（ステップＳ１１４）。なお、ＡＦ処理の詳細は後述する。ステップＳ１１４の後、撮像装置１は、ステップＳ１１５へ移行する。これに対して、レリーズスイッチ１８２から１ｓｔレリーズ信号が入力されていない場合（ステップＳ１１３：Ｎｏ）、撮像装置１は、ステップＳ１１５へ移行する。

その後、レリーズスイッチ１８２から２ｎｄレリーズ信号が入力された場合（ステップＳ１１５：Ｙｅｓ）、撮像制御部２８０は、撮像素子６に静止画撮影を実行させ（ステップＳ１１６）、画像処理部１０が画像処理を施した画像データに対して画像圧縮展開部１３が圧縮処理を施した画像データを記録媒体２２に記録する（ステップＳ１１７）。ステップＳ１１７の後、撮像装置１は、ステップＳ１１８へ移行する。これに対して、レリーズスイッチ１８２から２ｎｄレリーズ信号が入力されていない場合（ステップＳ１１５：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。

ステップＳ１１８において、電源スイッチ１８１が操作され、撮像装置１の電源がオフになった場合（ステップＳ１１８：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、電源スイッチ１８１が操作されず、撮像装置１の電源がオフになっていない場合（ステップＳ１１８：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。

ステップＳ１０１において、撮像装置１に撮影モードが設定されていない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合、撮像装置１に再生モードが設定されているとき（ステップＳ１１９：Ｙｅｓ）、撮像装置１は、記録媒体２２に記録された画像データに対応する画像を表示部１９に表示させる再生表示処理を実行する（ステップＳ１２０）。ステップＳ１２０の後、撮像装置１は、ステップＳ１１８へ移行する。

ステップＳ１１９において、撮像装置１に再生モードが設定されていないとき（ステップＳ１１９：Ｎｏ）、撮像装置１は、ステップＳ１１８へ移行する。

つぎに、図３のステップＳ１１４で説明したＡＦ処理について説明する。図４は、ＡＦ処理の概要を示すフローチャートである。

図４に示すように、ＡＦ処理部１７は、撮像装置１の撮像領域内におけるＡＦ対象領域を選択する（ステップＳ２０１）。具体的には、ＡＦ処理部１７は、操作スイッチ１８４から入力された指示信号に応じた撮像領域内における所定のスポット領域（ＡＦ領域）または全領域、或いはタッチパネル１８８から入力された位置信号に応じた撮像領域内における領域をＡＦ対象領域として選択する。

続いて、位相差ＡＦ領域判定部２７２は、ＡＦ処理部１７が選択したＡＦ対象領域が像面位相差ＡＦ可能領域であるか否かを判定する（ステップＳ２０２）。位相差ＡＦ領域判定部２７２がＡＦ処理部１７によって選択されたＡＦ対象領域が像面位相差ＡＦ可能領域であると判定した場合（ステップＳ２０２：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０３へ移行する。これに対して、位相差ＡＦ領域判定部２７２がＡＦ処理部１７によって選択されたＡＦ対象領域が像面位相差ＡＦ可能領域でないと判定した場合（ステップＳ２０２：Ｎｏ）、撮像装置１は、後述するステップＳ２１３へ移行する。

ステップＳ２０３において、輝度算出部２７３は、ＳＤＲＡＭ２３に記憶された画像データに基づいて、ＡＦ処理部１７によって選択されたＡＦ領域の輝度を算出する（ステップＳ２０３）。

続いて、露出時間算出部２７１は、輝度算出部２７３が算出した輝度に基づいて、ＡＦ画素６１ｂの必要露出時間Ｔafを算出する（ステップＳ２０４）。

その後、撮像装置１は、１フレーム間においてＡＦ画素６１ｂの許容可能な露出時間を算出するＡＦ画素許容露出時間Ｔmax算出処理を実行する（ステップＳ２０５）。

図５は、図４のステップＳ２０５のＡＦ画素許容露出時間Ｔmax算出処理の概要を示すフローチャートである。

図５に示すように、露出時間算出部２７１は、は、現在の撮像装置１に設定された撮影モードに対応するフレームレート情報をフレームレート情報記録部２４２から取得する（ステップＳ３０１）。

続いて、撮像装置１に設定された撮影モードが静止画撮影モードの場合（ステップＳ３０２：Ｙｅｓ）、像移動量判定部２７４は、像移動量算出部１５が算出したＡＦ対象領域における像の移動量が閾値以上であるか否かを判定する（ステップＳ３０３）。ここで、閾値とは、撮影者の手ブレによって撮像装置１に生じる振幅がほぼない状態を示す値である。像移動量判定部２７４が像移動量算出部１５によって算出されたＡＦ対象領域における像の移動量が閾値以上であると判定した場合（ステップＳ３０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ３０４へ移行する。これに対して、像移動量判定部２７４は、像移動量算出部１５によって算出されたＡＦ対象領域における像の移動量が閾値以上でないと判定した場合（ステップＳ３０３：Ｎｏ）、撮像装置１は、後述するステップＳ３０５へ移行する。

ステップＳ３０４において、露出時間算出部２７１は、ＡＦ画素許容露出時間Ｔmaxを算出する。具体的には、露出時間算出部２７１は、以下の式（１）によってＡＦ画素許容露出時間Ｔmaxを算出する。
Ｔmax＝（１／Ｆ）×（１／２） ・・・（１）
なお、Ｆは、撮像装置１に設定された撮影モードのフレームレートを示す。

図６は、像移動量算出部１５が算出したＡＦ対象領域における像の移動量が閾値以上である場合の垂直同期信号と撮像素子６の露出時間との関係を示す図である。図６において、図６（ａ）が垂直同期信号の立ち上がりタイミング（読み出しタイミング）を示し、図６（ｂ）が撮像素子６における撮像画素６１ａとＡＦ画素６１ｂの露出時間（露光時間）を示す。

図６に示すように、露出時間算出部２７１は、たとえば撮像装置１に静止画撮影モードが設定されている場合、ＡＦ画素許容露出時間Ｔmaxが１フレームあたりの露出時間（１／Ｆ）の半分（１／２）となるように算出する。

ステップＳ３０５において、露出時間算出部２７１は、ＡＦ画素許容露出時間Ｔmaxを算出する。具体的には、露出時間算出部２７１は、以下の式（２）によってＡＦ画素許容露出時間Ｔmaxを算出する。
Ｔmax＝（１／Ｆ）×（１／４） ・・・（２）
なお、Ｆは、撮像装置１に設定された撮影モードのフレームレートを示す。

図７は、像移動量算出部１５が算出したＡＦ対象領域における像の移動量が閾値以上でない場合の垂直同期信号と撮像素子６の露出時間との関係を示す図である。図７において、図７（ａ）が垂直同期信号の立ち上がりタイミング（読み出しタイミング）を示し、図７（ｂ）が撮像素子６における撮像画素６１ａとＡＦ画素６１ｂの露出時間を示す。

図７に示すように、露出時間算出部２７１は、たとえば撮像装置１に静止画撮影モードが設定されている場合、ＡＦ画素許容露出時間Ｔmaxが１フレームあたりの露出時間（１／Ｆ）の４分の１となるように算出する。

ステップＳ３０２において、撮像装置１に設定された撮影モードが静止画撮影モードでない場合（ステップＳ３０２：Ｎｏ）において、撮像装置１に設定された撮影モードが動画撮影モードであるとき（ステップＳ３０６：Ｙｅｓ）、撮像装置１は、ステップＳ３０３へ移行する。これに対して、撮像装置１に設定された撮影モードが静止画撮影モードでない場合（ステップＳ３０２：Ｎｏ）において、撮像装置１に設定された撮影モードが動画撮影モードでないとき（ステップＳ３０６：Ｎｏ）、撮像装置１は、後述するステップＳ３０７へ移行する。

ステップＳ３０７において、撮像装置１に設定された撮影モードがＨＤＲモードである場合（ステップＳ３０７：Ｙｅｓ）、撮像装置１は、ステップＳ３０８へ移行する。ここで、ＨＤＲモードとは、互いに露出の異なるフレームを交互に取り込むモードである。これに対して、撮像装置１に設定された撮影モードがＨＤＲモードでない場合（ステップＳ３０７：Ｎｏ）、撮像装置１は、図４のＡＦ処理へ戻り、ステップＳ２０６へ移行する。

ステップＳ３０８において、像移動量判定部２７４は、像移動量算出部１５が算出したＡＦ対象領域における像の移動量が閾値以上であるか否かを判定する。像移動量判定部２７４が像移動量算出部１５によって算出されたＡＦ対象領域における像の移動量が閾値以上であると判定した場合（ステップＳ３０８：Ｙｅｓ）、撮像装置１は、後述するステップＳ３０９へ移行する。これに対して、像移動量判定部２７４は、像移動量算出部１５によって算出されたＡＦ対象領域における像の移動量が閾値以上でないと判定した場合（ステップＳ３０８：Ｎｏ）、撮像装置１は、後述するステップＳ３１０へ移行する。

ステップＳ３０９において、露出時間算出部２７１は、ＡＦ画素許容露出時間Ｔmaxを算出する。具体的には、露出時間算出部２７１は、上述の式（１）によってＡＦ画素許容露出時間Ｔmaxを算出する。

図８は、撮像装置１にＨＤＲモードが設定されている場合において、像移動量算出部１５が算出したＡＦ対象領域における像の移動量が閾値以上であるときの垂直同期信号と撮像素子６の露出時間との関係を示す図である。図８において、図８（ａ）が垂直同期信号の立ち上がりタイミング（読み出しタイミング）を示し、図８（ｂ）が撮像素子６における撮像画素６１ａとＡＦ画素６１ｂの露出時間（露光時間）を示す。

図８に示すように、露出時間算出部２７１は、撮像装置１にＨＤＲモードが設定されている場合において、像移動量算出部１５が算出したＡＦ対象領域における像の移動量が閾値以上であるとき、ＡＦ画素許容露出時間Ｔmaxが１フレームあたりの露出時間（１／ｆｐｓ）の半分（１／２）となるように算出する。さらに、露出時間算出部２７１は、撮像画素６１ａにおける暗フレーム（ＬＶ_S）および明フレーム（ＬＶ_l）それぞれの露出時間を算出する。なお、露出時間制御部２７７は、撮像画素６１ａにおける相対的に露出時間が短い暗フレーム（ＬＶ_S）および相対的に露出時間が長い明フレーム（ＬＶ_l）それぞれの露出時間の比率は、適宜制御することができ、たとえば暗フレーム（ＬＶ_S）および明フレーム（ＬＶ_l）が同じであってもよい。

ステップＳ３１０において、露出時間算出部２７１は、像移動量算出部１５によって算出されたＡＦ対象領域における像の移動量が閾値以上でない場合のＡＦ画素許容露出時間Ｔmaxを算出する。具体的には、露出時間算出部２７１は、上述した式（２）によって、ＡＦ画素許容露出時間Ｔmaxを算出する。

図９は、撮像装置１にＨＤＲモードが設定されている場合において、像移動量算出部１５が算出したＡＦ対象領域における像の移動量が閾値以上でない場合の垂直同期信号と撮像素子６の露光時間との関係を示す図である。図９において、図９（ａ）が垂直同期信号の立ち上がりタイミング（読み出しタイミング）を示し、図９（ｂ）が撮像素子６における撮像画素６１ａとＡＦ画素６１ｂの露光時間を示す。

図９に示すように、露出時間算出部２７１は、撮像装置１にＨＤＲモードが設定されている場合において、像移動量算出部１５が算出したＡＦ対象領域における像の移動量が閾値以上でないとき、ＡＦ画素許容露出時間Ｔmaxが１フレームあたりの露出時間（１／Ｆ）の（１／４）となるように算出する。さらに、露出時間算出部２７１は、撮像画素６１ａにおける暗フレーム（ＬＶ_S）および明フレーム（ＬＶ_l）それぞれの露出時間を算出する。

ステップＳ３０４、ステップＳ３０５、ステップＳ３０９およびステップＳ３１０の後、撮像装置１は、図４のＡＦ処理へ戻り、ステップＳ２０６へ移行する。

図４に戻り、ステップＳ２０６以降の説明を続ける。
ステップＳ２０６において、露出時間判定部２７８は、露出時間算出部２７１が算出したＡＦ画素６１ｂの必要露出時間ＴafがＡＦ画素許容露出時間Ｔmaxより大きいか否かを判定する。具体的には、露出時間判定部２７８は、１回の撮像でＡＦ画素６１ｂの露出時間が足りるか否かを判定する。露出時間判定部２７８が露出時間算出部２７１によって算出されたＡＦ画素６１ｂの必要露出時間ＴafがＡＦ画素許容露出時間Ｔmaxより大きいと判定した場合（ステップＳ２０６：Ｙｅｓ）、撮像装置１は、ステップＳ２０７へ移行する。これに対して、露出時間判定部２７８が露出時間算出部２７１によって算出されたＡＦ画素６１ｂの必要露出時間ＴafがＡＦ画素許容露出時間Ｔmaxより大きくないと判定した場合（ステップＳ２０６：Ｎｏ）、撮像装置１は、後述するステップＳ２１２へ移行する。

ステップＳ２０７において、撮像装置１は、ＡＦ画素６１ｂから連続的に出力されるＡＦ画像データのフレームを時系列に沿って順次加算することによって、ＡＦ処理部１７による像面位相差ＡＦ処理を行う際のＡＦ画像データを生成するＡＦ画素フレーム加算処理を実行する。

図１０は、図４のステップＳ２０７のＡＦ画素情報フレーム加算処理の概要を示すフローチャートである。

図１０に示すように、ズレ量算出部２７５は、ＡＦ画像データ記憶部２３２に記録された時間的に隣接する２つのＡＦ画像データに基づいて、各ＡＦ画素６１ｂのズレ量を算出する（ステップＳ４０１）。

図１１は、ズレ量算出部２７５が算出するＡＦ画素６１ｂのズレ量を算出する算出方法の概要を模式的に示す図である。図１１に示すように、ズレ量算出部２７５は、時間的に生成時間が隣接する２つのＡＦ画像データそれぞれに対応する２つのＡＦ画像データＡＦ１，ＡＦ２における所定のＡＦ画素６１ｂ、たとえばＡＦ画素６１ｂ１のズレ量を算出する。図１１においては、ズレ量算出部２７５は、ＡＦ画素６１ｂ１のズレ量を２画素として算出する（図１１（ａ）→図１１（ｂ））。なお、図１１においては、説明を簡略化するため、ズレ量算出部２７５は、水平方向（ｘ軸方向）の画素のズレ量を算出していたが、垂直方向（ｙ軸方向の画素のズレ量も算出する。また、ズレ量算出部２７５は、時間的に隣接する２つのＡＦ画像データそれぞれに対応する２つのＡＦ画像の各ＡＦ画素６１ｂのズレ量を算出し、この算出したズレ量の平均値をＡＦ画素６１ｂのズレ量として算出してもよい。

続いて、ズレ量判定部２７６がズレ量算出部２７５によって算出されたＡＦ画素６１ｂのズレ量がｎ画素未満であると判定した場合（ステップＳ４０２：Ｙｅｓ）、撮像制御部２８０は、状態検出部１６が検出した撮像装置１に生じた加速度および角速度に基づいて、シフトステージ９を駆動させて撮像素子６を移動させる（ステップＳ４０３）。これにより、像ブレを防止することができる。

その後、露出時間制御部２７７は、露出時間算出部２７１が算出したＡＦ画素許容露出時間ＴmaxでＡＦ画素６１ｂに撮像を実行させる（ステップＳ４０４）。具体的には、露出時間制御部２７７は、ＴＧ６３が出力する垂直同期信号の周期をＡＦ画素許容露出時間Ｔmaxに設定してＡＦ画素６１ｂの露出時間を制御することによって、ＡＦ画素読み出し部６２ｂにＡＦ画素６１ｂからＡＦ画像データを読み出させる。

ステップＳ４０２において、ズレ量判定部２７６がズレ量算出部２７５によって算出されたＡＦ画素６１ｂのズレ量がｎ画像未満でないと判定した場合（ステップＳ４０２：Ｎｏ）、露出時間制御部２７７は、は、露出時間算出部２７１が算出したＡＦ画素許容露出時間ＴmaxでＡＦ画素６１ｂに撮像を実行させる（ステップＳ４０５）。なお、ｎ画素は、撮像素子６の総画素数の１％程度である。ステップＳ４０５の後、撮像装置１は、ステップＳ４０６へ移行する。

続いて、ズレ量判定部２７６がズレ量算出部２７５によって算出されたＡＦ画素６１ｂのズレ量がｍ画素未満（ｎ＜ｍ）と判定した場合（ステップＳ４０６：Ｙｅｓ）、焦点信号加算部２７９は、ＡＦ画素加算処理を実行する（ステップＳ４０７）。なお、ｍ画素は、撮像素子６の総画素数の１０％程度である。

図１２は、焦点信号加算部２７９によるＡＦ画像データ（焦点信号）のＡＦ画素加算処理の概要を示す模式図である。図１２において、図１２（ａ）が垂直同期信号の立ち上がりタイミング（読み出しタイミング）を示し、図１２（ｂ）が撮像素子６における撮像画素６１ａとＡＦ画素６１ｂの露光時間を示し、図１２（ｃ）が焦点信号加算部２７９による加算処理のタイミングを示す。

図１２に示すように、焦点信号加算部２７９は、ＡＦ画素６１ｂから出力されたＡＦ画像データを時系列に沿って順次加算する加算処理を実行する。具体的には、図１２（ｃ）に示すように、焦点信号加算部２７９は、ＡＦ画像データＡＦ１とＡＦ画像データＡＦ２とを加算してＡＦ画像データＡＦ１２を生成し、この加算した結果をＡＦ画像データ記憶部２３２に出力して記憶させる。その後、焦点信号加算部２７９は、ＡＦ画像データＡＦ２とＡＦ画像データＡＦ３とを加算してＡＦ画像データＡＦ２３を生成する。このように、焦点信号加算部２７９は、ＡＦ画像データが必要露出時間Ｔafに到達するまで、ＡＦ画像データを時系列に沿って順次加算する。なお、図１２においては、焦点信号加算部２７９は、２フレーム分のＡＦ画像データのみを加算しているが、必要露出時間Ｔafに到達するまで、ＡＦ画像データを時系列に沿って順次加算する。ステップＳ４０７の後、撮像装置１は、図４のＡＦ処理へ戻り、ステップＳ２０８へ移行する。

続いて、ズレ量判定部２７６がズレ量算出部２７５によって算出されたＡＦ画素６１ｂのズレがｍ画素未満でないと判定した場合（ステップＳ４０６：Ｎｏ）において、ＡＦ画素６１ｂのズレがｕ画素未満（ｎ＜ｍ＜ｕ）であると判定したとき（ステップＳ４０８：Ｙｅｓ）、画像処理部１０は、ズレ量算出部２７５が算出したズレ量に基づいて、時間的に生成時間が隣接する２つのＡＦ画像の位置合わせ処理を実行する（ステップＳ４０９）。具体的には、画像処理部１０は、時間的に隣接する２つのＡＦ画像の各ＡＦ画素ＡＦ６１ｂが一致するようにＡＦ画像の位置合わせを行う。なお、ｕ画素は、撮像素子６の総画素数の１０％以上である。ステップＳ４０８の後、撮像装置１は、ステップＳ４０７へ移行する。

ステップＳ４０６において、ズレ量判定部２７６がズレ量算出部２７５によって算出されたＡＦ画素６１ｂのズレがｍ画素未満でないと判定した場合（ステップＳ４０６：Ｎｏ）において、ＡＦ画素６１ｂのズレがｕ画素未満でないと判定したとき（ステップＳ４０８：Ｎｏ）、焦点信号加算部２７９は、ＡＦ画像データ記憶部２３２に蓄積された過去のＡＦ画像データの加算情報を消去する（ステップＳ４１０）。ステップＳ４１０の後、撮像装置１は、ステップＳ４０７へ移行する。

図４に戻り、ステップＳ２０８以降の説明を続ける。
ステップＳ２０８において、輝度算出部２７３は、ＡＦ画像データ記憶部２３２に記録されたＡＦ画像データに基づいて、ＡＦ画像データのコントラストを検出する。

続いて、ＡＦ画像データにコントラストがある場合（ステップＳ２０９：Ｙｅｓ）、測距処理部１２は、輝度算出部２７３が検出したコントラストに基づいて、撮像装置１からＡＦ領域内における被写体までの距離に関する測距情報を演算する測距演算処理を実行する（ステップＳ２１０）。

その後、位相差ＡＦ処理部１７２は、焦点信号加算部２７９によってＡＦ画像データ記憶部２３２に加算されて蓄積されたＡＦ画像データに基づいて、レンズ駆動部３２を駆動させて光学系３１の光軸Ｏに沿って移動させることにより、位相差ＡＦ方式の撮像装置１のピントを調整する位相差ＡＦ処理を実行する（ステップＳ２１１）。ステップＳ２１１の後、撮像装置１は、図３のメインルーチンへ戻る。

ステップＳ２０９において、ＡＦ画像データにコントラストがない場合（ステップＳ２０９：Ｎｏ）、撮像装置１は、図３のメインルーチンへ戻る。

ステップＳ２１３において、ＡＦ処理部１７は、撮像画素６１ａから出力される撮像画像データのコントラストに基づいて、撮像装置１の焦点を被写体に対して自動的に合焦させるコントラストＡＦ処理を実行する（ステップＳ２１３）。ステップＳ２１３の後、撮像装置１は、ステップＳ２１１へ移行する。

以上説明した本発明の一実施の形態によれば、露出時間制御部２７７が撮像画素６１ａから出力される画像データに基づいて、１フレーム期間における撮像画素６１ａおよびＡＦ画素６１ｂの露出時間の比率を制御するので、撮像素子６のフレームレートを低下させることなく、精度の高い位相差ＡＦ処理を行うことができる。

また、本発明の一実施の形態によれば、露出時間制御部２７７がＡＦ画素６１ｂの露出時間を撮像画素６１ａの露出時間より短くするので、被写体像が暗い場合であっても、撮像画素６１ａの露光時間が長くなるので、表示部１９が表示するライブビュー画像を高画質にすることができる。

また、本発明の一実施の形態によれば、位相差ＡＦ処理部１７２が焦点信号加算部２７９によって加算されたＡＦ画像データに基づいて、位相差ＡＦ処理を実行するので、被写体に対して精度の高いピント合わせを行うことができる。

また、本発明の一実施の形態によれば、露出時間制御部２７７が像移動量算出部１５によって算出された被写体像の移動量に基づいて、１フレーム期間における撮像画素６１ａおよびＡＦ画素６１ｂの露出時間の比率を制御することによって、撮像装置１に手ブレが生じている場合には、ＡＦ精度を優先する一方、手ブレが低下した場合には、ライブビュー画像の画質を優先するので、撮影条件に適した位相差ＡＦ処理を提供することができる。

また、本発明の一実施の形態によれば、焦点信号加算部２７９がズレ量判定部によって予め閾値を超えたと判定された場合、ＡＦ画像データ記憶部２３２に加算して記憶したＡＦ画像データを消去し、ズレ量が大きいＡＦ画像データを使用せず、位相差ＡＦ処理を行うので、精度の高い焦点合わせを行うことができる。

また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、たとえばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。

また、本発明にかかる撮像装置に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本発明にかかる撮像装置に実行させるプログラムは、ネットワーク経由でダウンロードしてＦｌａｓｈメモリや記録媒体等に記録させてもよい。さらに、本発明にかかる撮像装置および画像処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本発明にかかる撮像装置に実行させるプログラムは、オンラインストア等のネットワーク経由で販売または提供を行ってもよい。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１ 撮像装置
２ 本体部
３ レンズ部
４ シャッタ
５ シャッタ駆動部
６ 撮像素子
７ 信号処理部
８ Ａ／Ｄ変換部
９ シフトステージ
１０ 画像処理部
１１ ＡＥ処理部
１２ 測距処理部
１３ 画像圧縮展開部
１４ 顔検出部
１５ 像移動量算出部
１６ 状態検出部
１７ ＡＦ処理部
１８ 入力部
１９ 表示部
２０ 表示駆動部
２１ メモリＩ／Ｆ
２２ 記録媒体
２３ ＳＤＲＡＭ
２４ Ｆｌａｓｈメモリ
２５ 本体通信部
２６ バス
２７ 制御部
６１ 受光部
６１ａ 撮像画素
６１ｂ ＡＦ画素
６２ 読み出し部
６３ タイミングジェネレータ
１７１ コントラストＡＦ処理部
１７２ 位相差ＡＦ処理部
２３１ 画像データ記憶部
２３２ ＡＦ画像データ記憶部
２４１ プログラム記録部
２４２ フレームレート情報記録部
２７１ 露出時間算出部
２７２ 領域判定部
２７３ 輝度算出部
２７４ 像移動量判定部
２７５ ズレ量算出部
２７６ ズレ量判定部
２７７ 露出時間制御部
２７８ 露出時間判定部
２７９ 焦点信号加算部
２８０ 撮像制御部
２８１ 表示制御部

Claims (8)

1. 撮像面に被写体像の撮像信号を生成する撮像画素と焦点を検出するための焦点信号を生成する焦点検出用画素とを２次元状に配置した撮像素子であって、前記撮像画素からの前記撮像信号の出力および前記焦点検出用画素からの前記焦点信号の出力を所定のフレームレートで順次読み出す撮像素子と、
   時間的に生成時間が隣接する２つの前記撮像信号それぞれに対応する２つの撮像画像における前記被写体像の移動量を算出する像移動量算出部と、
   前記像移動量算出部が算出した前記移動量に基づいて、１フレーム期間における前記撮像画素の露出時間および前記焦点検出用画素の露出時間の比率を制御する露出時間制御部と、
   を備えたことを特徴とする撮像装置。
2. 前記露出時間制御部は、前記焦点検出用画素の露出時間を前記撮像画素の露出時間より短くすることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像面に前記被写体像を結像する光学系と、
   前記焦点検出用画素から連続的に出力される前記焦点信号を時系列に沿って順次加算する焦点信号加算部と、
   前記焦点信号加算部が加算した前記焦点信号に基づいて、位相差検出方式による前記光学系の焦点を調整する位相差焦点処理を行う位相差焦点処理部と、
   をさらに備えたことを特徴とする請求項１または２に記載の撮像装置。
4. 時間的に生成時間が隣接する２つの前記焦点信号それぞれに対応する２つのＡＦ画像の各画素のズレ量を算出するズレ量算出部と、
   前記ズレ量算出部が算出した前記ズレ量が予め設定された閾値を超えたか否かを判定するズレ量判定部と、
   をさらに備え、
   前記焦点信号加算部は、前記ズレ量判定部が前記閾値を超えたと判定した場合、加算した前記焦点信号を消去することを特徴とする請求項３に記載の撮像装置。
5. 前記撮像信号に基づいて、前記焦点検出用画素の露出に必要な必要露出時間および前記１フレーム期間において前記焦点検出用画素の露出が可能な許容露出時間を算出する露出時間算出部と、
   前記露出時間算出部が算出した前記必要露出時間が前記許容露出時間より長いか否かを判定する露出時間判定部と、
   をさらに備え、
   前記焦点信号加算部は、前記露出時間判定部によって前記必要露出時間が前記許容露出時間より長いと判定された場合、前記焦点信号を加算することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像信号に基づいて、コントラスト方式によって前記光学系の焦点を調整するコントラスト焦点処理を行うコントラスト焦点処理部と、
   前記位相差焦点処理部による焦点領域を指示する指示信号の入力を受け付ける入力部と、
   前記入力部が入力を受け付けた前記指示信号に応じた前記焦点領域に対応する前記撮像面に前記焦点検出用画素があるか否かを判定する領域判定部と、
   をさらに備え、
   前記コントラスト焦点処理部は、前記領域判定部によって前記焦点領域に対応する前記撮像面に前記焦点検出用画素がないと判定された場合、前記コントラスト焦点処理を行うことを特徴とする請求項４に記載の撮像装置。
7. 撮像面に被写体像の撮像信号を生成する撮像画素と焦点を検出するための焦点信号を生成する焦点検出用画素とを２次元状に配置した撮像素子であって、前記撮像画素からの前記撮像信号の出力および前記焦点検出用画素からの前記焦点信号の出力を所定のフレームレートで順次読み出す撮像素子を備えた撮像装置が実行する撮像方法であって、
   時間的に生成時間が隣接する２つの前記撮像信号それぞれに対応する２つの撮像画像における前記被写体像の移動量を算出する像移動量算出ステップと、
   前記像移動量算出ステップにおいて算出した前記移動量に基づいて、１フレーム期間における前記撮像画素の露出時間および前記焦点検出用画素の露出時間の比率を制御する露出時間制御ステップと、
   を含むことを特徴とする撮像方法。
8. 撮像面に被写体像の撮像信号を生成する撮像画素と焦点を検出するための焦点信号を生成する焦点検出用画素とを２次元状に配置した撮像素子であって、前記撮像画素からの前記撮像信号の出力および前記焦点検出用画素からの前記焦点信号の出力を所定のフレームレートで順次読み出す撮像素子を備えた撮像装置に、
   時間的に生成時間が隣接する２つの前記撮像信号それぞれに対応する２つの撮像画像における前記被写体像の移動量を算出する像移動量算出ステップと、
   前記像移動量算出ステップにおいて算出した前記移動量に基づいて、１フレーム期間における前記撮像画素の露出時間および前記焦点検出用画素の露出時間の比率を制御する露出時間制御ステップと、
   を実行させることを特徴とするプログラム。

Images