JP6412826B2 - 撮像装置 - Google Patents

Description

この発明は、位相差画素出力を用いて測距演算をする撮像装置に関する。

撮像面に配置された位相差画素の位相差画素出力を用いて測距演算を行い、当該測距演算の結果に基づき焦点を検出する手法が知られている。測距演算では、位相差画素出力がセンサ出力レンジに対して小さい場合、演算誤差が大きくなることで測距性能が低下する。このため、一定の位相差画素出力を確保する必要がある。

しかしながら、一般に位相差画素出力は、表示又は記録に用いられる記録画素出力に比べ半分以下程度である。したがって、位相差画素出力を記録画素出力程度に確保するために種々の手法が提案されている。

例えば、特許文献１に記載の技術は、画素生成のために用いられる撮像行の電荷の蓄積制御と位相差画素を有する焦点検出行の電荷の蓄積制御とを１フレーム内で独立して行うようにしている。

また、特許文献２に記載の技術は、撮像素子により生成された画素データのうち、最新の画素データに含まれる最新の焦点検出データに、少なくとも１つの焦点検出データを加算する加算処理を行って加算焦点検出データを算出するようにしている。

特許第５３１９３４７号公報 特許第５５６５１０５号公報

上述した特許文献１は、位相差画素について十分な蓄積時間を確保できるものの、撮像面内の位相差画素について同一の蓄積時間で電荷を蓄積するようにしている。したがって、位相差画素の特性による出力レベルの差に起因する白とび（飽和）、又は黒つぶれ（出力不足）する領域が発生する可能性がある。また、特許文献２は、加算処理を加算データの最大値が閾値を超えるまで繰り返すようにしているため、最大値をとる位相差画素以外の位相差画素については、十分な出力レベルが確保できず、測距性能を確保できない可能性がある。

また、位相差画素出力と、記録画素出力とを別々のフレームで抽出する手法も考えられるが、当該手法によると表示又は記録用のフレームが離散的となり、表示又は記録用のデータ品質を保てない可能性がある。

本発明は、上記事情に鑑みてなされたもので、表示又は記録用のデータ品質を保ちつつ、測距性能を確保することが可能な撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の第１の態様の撮像装置は、複数の記録画素と、上記各記録画素に対して受光部の開口の一部を遮蔽された複数の位相差画素とを有する撮像素子と、上記撮像素子の撮像動作のフレーム毎に、上記各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた画素データを読出す読出し手段と、上記読出されたフレーム毎の位相差画素の画素データについて、現在フレーム及び過去フレームにおける同一座標の画素データを加算する加算手段と、上記各位相差画素の特性と、上記各位相差画素に対応する位相差画素データとに応じて、上記加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定する判定手段と、上記判定の結果、上記加算された位相差画素データに基づき焦点検出動作を実行すると判定された場合、上記加算手段により加算された位相差画素データを適用し、否の場合、上記現在フレームの位相差画素データを適用して焦点検出動作を実行する焦点検出手段と、を有することを特徴とする。

本発明によれば、表示又は記録用のデータ品質を保ちつつ、測距性能を確保することが可能な撮像装置を提供することができる。

この発明の第１の実施形態に係る撮像装置の機能構成の一例を示すブロック図である。 第１の実施形態における撮像素子の画素配列の一例を示す模式図である。 第１の実施形態における正面から見た受光部を示す模式図である。 第１の実施形態における測距演算部の機能構成の一例を示すブロック図である。 第１の実施形態における画素データ加工部の機能構成の一例を示すブロック図である。 第１の実施形態における画素データが記憶される記憶領域の一例を説明するための模式図である。 第１の実施形態における画素データが記憶される記憶領域の一例を説明するための模式図である。 第１の実施形態における撮像装置の動作の一例を示すフローチャートである。 第１の実施形態における撮像装置の動作の一例を示すタイミングチャートである。 第１の実施形態における加算演算の一例を示す模式図である。 第１の実施形態における加算演算の一例を示す模式図である。 第１の実施形態における撮像装置の動作の一例を示すタイミングチャートである。 第１の実施形態における光学フィルタの分光特性の一例を示す模式図である。 この発明の第２の実施形態に係る動作の一例を示すフローチャートである。 第２の実施形態における像高による出力レベルの違いを示す模式図である。 第２の実施形態における相関演算の一例を示す模式図である。 第２の実施形態における光源の出力変動と、測距エリアにおける蓄積動作及び出力走査のタイミングチャートとの関係を示す模式図である。 第２の実施形態における測距エリアにおけるＴ／Ｂ画素の出力レベルの変化の一例を示す模式図である。 本発明の各実施形態に適用可能な読出し方式の一例を示す模式図である。

以下、本発明に関わる各実施形態について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラと言う。）の構成を示すブロック図である。図１に示すカメラ１は、レンズ１１と、レンズ駆動部１２と、撮像素子１３と、撮像素子シフト部１４と、撮像素子駆動部１５と、ＣＰＵ(Central Processing Unit)１６と、メモリ部１７と、表示部１８と、記録部１９と、操作部２０と、測距演算部２１と、露出演算部２２と、フリッカ演算部２３と、画像処理部２４と、データ・制御バス２５と、を備えている。

レンズ１１は、図示しない被写体からの像を撮像素子１３の受光面上に結像させるための光学系である。このレンズ１１は、フォーカスレンズ及びズームレンズ等の複数のレンズや、絞りを有している。

レンズ駆動部１２は、ＣＰＵ１６からの制御信号に基づいて、レンズ１１の焦点調節、絞りの開口径制御等を行う。

撮像素子１３は、画素を構成するフォトダイオード（以下、受光部と言う。）が２次元的に配置されて構成されている。撮像素子１３を構成する受光部は、マイクロレンズによって集光された光の受光量に応じた電荷を生成する。受光部で発生した電荷は、各受光部に接続されているキャパシタに蓄積される。このキャパシタに蓄積された電荷が撮像素子駆動部１５によって画素信号として出力される。画素信号は、図示しない撮像回路によってノイズ低減処理やゲイン調整等の処理がなされた後、デジタル形式の画像信号（以下、画素データと言う。）として出力される。ここで、撮像素子１３は、電子シャッタ機能を有していることが望ましい。電子シャッタ機能とは、撮像素子１３の露出時間を露出演算部２２の演算結果に基づいて電子的に制御する機能である。電子シャッタとしては、後述する撮像素子１３の駆動方式に応じて、ローリングシャッタやグローバルシャッタ等の種々の電子シャッタが適用可能である。

また、画素を構成する受光部の前面には、ベイヤ配列のカラーフィルタが配置されている。ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素とが交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素とが交互に配置されたラインと、を有している。なお、カラーフィルタの配置は、ベイヤ配列に限らず、補色フィルタ（緑：Ｇ、イエロー：Ｙ、マゼンタ：Ｍｇ、シアン：Ｃｙ）等の他の光学フィルタによる異なる配列等も適宜適用可能である。

ここで、本実施形態における撮像素子１３は、位相差ＡＦ（Auto Focus）を実施可能な構成として、記録又は表示のための撮像画像を取得するための複数の記録画素（通常画素、又は撮像用画素）と、焦点検出をするための複数の位相差画素（焦点検出用画素）と、を有する。図２は、本実施形態における撮像素子１３の画素配列を示した図である。図２に示すように、位相差画素１００２ｒ，ｌ，ｔ，ｂは、記録画素１００１に対して離散的に配置される。位相差画素１００２ｒ，ｌ，ｔ，ｂと記録画素１００１とは、マイクロレンズの集光率、及びマイクロレンズから受光部までの距離が同じであるように構成される。位相差画素１００２ｒ，ｌ，ｔ，ｂは、記録画素１００１よりも受光部の開口の位置をずらすか、又は光軸中心と開口中心とをずらした構成とすることによって、受光部の一部を物理的に遮蔽する構成となっている。位相差画素１００２ｒ，ｌ，ｔ，ｂの遮光領域の向きは、被写体の縦線、横線のどちらを検知するかによって異なる。この検知方向に応じて、位相差画素は、それぞれ左右方向（Ｒ／Ｌ）、上下方向（Ｔ／Ｂ）に開口される。図２では、左方向に開口した位相差画素１００２ｌと、右方向に開口した位相差画素１００２ｒとが、同色画素（図２ではＧｒ画素）上に、垂直方向に沿って（図２では３画素分離れて）配置されている。また、上方向に開口した位相差画素１００２ｔと、下方向に開口した位相差画素１００２ｂとが、同色画素（図２ではＢ画素）上に、水平方向に沿って（図２では３画素分離れて）配置されている。

また、位相差画素は、図３に示すように、デフォーカス量の大きい場合と小さい場合とのいずれの状況でも測距できるように構成されている。具体的には、開口率の異なる画素が各遮光向きに対してそれぞれ配置されている。図３は、受光部を正面から見た場合の模式図であり、丸部がマイクロレンズ１００３を示し、四角部が受光部の受光領域１００４を示している。なお、受光領域のハッチング領域は、遮光されていることを示している。ここで図３（Ａ）は、小デフォーカス用の遮光率の小さい右側開口画素を、図３（Ｂ）は、大デフォーカス用の遮光率の大きい右側開口画素を示している。このように、位相差画素は、入射光量が制限されているため、画素データの出力レベルは減衰する。例えば、位相差画素データ（焦点検出用画素データ）の出力レベルは、遮光面積比を５０％とすると、飽和露光時の記録画素データ（撮像用画素データ）の出力レベルの１／１４〜１／２０程度まで減衰する。

なお、本実施形態では、撮像素子駆動部１５の駆動方式としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）方式を適用した例について説明しているが、ＣＭＯＳ方式に限らず、ＣＣＤ（Charge Coupled Device）方式も適宜適用可能である。

撮像素子シフト部１４は、ＣＰＵ１６からの制御信号に基づいて、撮像素子１３をその受光面と平行な平面内で物理的に移動させ、手ぶれ等を補正する。

撮像素子駆動部１５は、ＣＰＵ１６からの制御信号に基づいて駆動し、撮像素子１３に蓄積された電荷を画素信号として読出す。読み出された画素信号は、デジタル形式の画素データに変換され、データ・制御バス２５を介してメモリ部１７に送信され記憶される。

本実施形態における撮像素子駆動部１５による電荷の読出し方式では、撮像素子１３の撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて画素データが得られる。

ＣＰＵ１６は、レンズ駆動部１２によるレンズ１１の駆動制御、並びに撮像素子シフト部１４及び撮像素子駆動部１５による撮像素子１３の駆動制御等のカメラ１の各種シーケンスを統括的に制御する。ＣＰＵ１６は、データ・制御バス２５を介して、メモリ部１７、表示部１８、記憶部１９、操作部２０、測距演算部２１、露出演算部２２、フリッカ演算部２３、及び画像処理部２４と相互に接続されており、制御指令の送信やデータ等の授受を行うことが可能である。

メモリ部１７は、各部から読取／書込可能な記憶媒体であり、カメラ１内部で発生した各種のデータを一時的に記憶するための作業メモリとして動作する。メモリ部１７は、例えば、撮像素子駆動部１５によって撮像素子１３から読出された画素データを記憶する。

表示部１８は、例えば液晶ディスプレイであり、画像処理部２４によって処理された画像データに基づく静止画像、動画像、及び表示画像等の各種の画像を表示する。

記録部１９は、例えばカメラ１に着脱自在になされたメモリカードであって、画像処理部２４によって圧縮された画像データを含む画像ファイル等が記録される。

操作部２０は、例えば電源ボタン、シャッタボタン、再生ボタン、各種入力キー等の操作部材である。また、操作部２０は、測距演算部２１による焦点検出動作が実行される焦点検出エリアを設定するための操作部材を含んでもよい。撮影者により操作部２０の操作がなされると、ＣＰＵ１６は、その操作に対応したシーケンスを実行する。

測距演算部２１は、図４に示すように、位相差画素抽出部２１１と、画素データ加工部２１２と、測距演算処理部２１３と、位相差画素フレームメモリ２１４と、を備えている。測距演算部２１は、ＣＰＵ１６からの制御信号に基づき、フレーム毎の位相差画素データを読出し、当該フレーム毎の位相差画素データに基づいて焦点検出動作を実行する機能を有する。測距演算部２１の機能構成については、後で詳述する。

露出演算部２２は、操作部２０からの入力等に基づき、撮像素子１３の露出量を算出する。露出演算部２２は、当該算出結果を撮像素子駆動部１５にＣＰＵ１６を介して送信する。

フリッカ演算部２３は、メモリ部１７に記憶された記録画素データを読出し、当該記録画素データに基づき、フリッカを検出する。フリッカ演算部２３は、フリッカが検出されると、当該フリッカを解消するための制御情報を演算し、当該演算結果を撮像素子駆動部１５にＣＰＵ１６を介して送信する。

画像処理部２４は、メモリ部１７に記憶された記録画素データを読出し、当該記録画素データに基づき、各種の画像処理を施して画像データを生成する。例えば画像処理部２４は、静止画像の記録の際には、静止画記録用の画像処理を施して静止画像データを生成する。同様に、画像処理部２４は、動画像の記録の際には、動画記録用の画像処理を施して動画像データを生成する。更に、画像処理部２４は、ライブビュー表示時には、表示用の画像処理を施して表示用画像データを生成する。

次に、測距演算部２１の機能構成について、図４を参照しながら説明する。位相差画素抽出部２１１は、撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す。位相差画素抽出部２１１は、開口方向等の条件毎にラスタ順に位相差画素データを読出すことにより、座標の対応関係をフレーム間で保持しつつ最小限のメモリサイズに抑えて読出す。したがって、位相差画素抽出部２１１は、読出したフレーム毎の位相差画素データの位相差画素特性についても、関連付けて読出すことが可能である。位相差画素抽出部２１１は、読出したフレーム毎の位相差画素データを画素データ加工部２１２に送信し、位相差画素フレームメモリ２１４に書込む。なお、位相差画素抽出部２１１は、撮像素子駆動部１５により読出された画素データを直接受信し、当該受信した画素データから位相差画素データを読出すようにしてもよい。

画素データ加工部２１２は、判定部２１２１と、位相差画素演算部２１２２と、を備えている。画素データ加工部２１２は、現在フレームの位相差画素データをラスタ順に位相差画素抽出部２１１から受信し、対応する過去フレームの位相差画素データを位相差画素フレームメモリ２１４から受信する。画素データ加工部２１２は、現在フレーム及び過去フレームの位相差画素データを加工することによって焦点検出動作に適用する位相差画素データを生成し、測距演算処理部２１３に送信する。

判定部２１２１は、現在フレームの位相差画素データをラスタ順に受信すると、各位相差画素の特性と、各位相差画素に対応する位相差画素データとに応じて、位相差画素演算部２１２２による演算結果に基づき焦点検出動作を実行するか否かを判定する。ここでの演算は、現在フレームと過去フレームとの位相差画素データの加算である。判定部２１２１は、判定の結果、加算結果に基づき焦点検出動作を実行すると判定した場合、例えば、位相差画素演算部２１２２により加算される過去フレームのフレーム数を含む演算情報を決定する。判定部２１２１は、演算情報及び現在フレームの位相差画素データを位相差画素演算部２１２２に送信する。また、判定部２１２１は、加算結果に基づき焦点検出動作を実行しないと判定した場合、現在フレームの位相差画素データを位相差画素フレームメモリ２１４に送信する。

位相差画素演算部２１２２は、演算情報と、現在フレームの位相差画素データとをラスタ順に受信すると、当該演算情報内のフレーム数に基づき、演算に使用する数の過去フレームの対応する位相差画素データを位相差画素フレームメモリ２１４から受信する。位相差画素演算部２１２２は、位相差画素抽出部２１１によって読出されたフレーム毎の位相差画素データについて、現在フレーム及び過去フレームにおける同一座標の焦点検出データを加算する。位相差画素演算部２１２２は、加算された位相差画素データを位相差画素フレームメモリ２１４に送信する。

なお、位相差画素演算部２１２２は、減算、乗算、除算の機能を有していてもよく、判定部２１２１の判定結果に応じて、各種の演算を複合的に実行してもよい。この場合、判定部２１２１が生成する演算情報は、更に、加算演算以外の演算の有無、複数の演算を実行する順番を示す演算式等を含む。例えば、過去フレームのフレーム数を“１”とし、演算式を「（現在フレーム＋過去フレーム）／２」とする演算情報は、現在フレームと、１フレーム分の過去フレームとの加算平均を示す。なお、乗算の機能は、例えば位相差画素データをゲインアップする場合に使用する。また、減算の機能は、例えばフレーム間における出力差を評価することによって、フレーム間で被写体が移動した度合いを推定する場合に使用する。

なお、画素データ加工部２１２内の具体的な構成は、図５に示すように、ＳＥＬ（セレクタ）２１２３，２１２５，２１２７と、加減処理部２１２４と、乗除処理部２１２６と、を備えるように構成されてもよい。ここで、各ＳＥＬ２１２３，２１２５，２１２７は、上述の判定部２１２１と同等の機能を備えていてもよく、加減処理部２１２４及び乗除処理部２１２６は、上述の位相差画素演算部２１２２と同等の機能を備えていてもよい。例えば、ＳＥＬ２１２３は、各位相差画素データを位相差画素抽出部２１１から受信すると、加算演算及び／又は減算演算を実行するか否かを判定する。ＳＥＬ２１２３は、加算演算及び／又は減算演算を実行すると判定した位相差画素データを加減処理部２１２４に送信し、否の場合、ＳＥＬ２１２５に送信する。加減処理部２１２４は、位相差画素データをＳＥＬ２１２３から受信すると、過去フレームにおける同一の座標の位相差画素データを読出し、加算演算及び／又は減算演算を実行する。加減処理部２１２４は、演算を実行した位相差画素データをＳＥＬ２１２５に送信する。ＳＥＬ２１２５は、位相差画素データを受信すると、乗算演算及び／又は除算演算を実行するか否かを判定する。ＳＥＬ２１２５は、乗算演算及び／又は除算演算を実行すると判定した位相差画素データを乗除処理部２１２６に送信し、否の場合、ＳＥＬ２１２７に送信する。乗除処理部２１２６は、位相差画素データをＳＥＬ２１２５から受信すると、過去フレームにおける同一の座標の位相差画素データを読出し、乗算演算及び／又は除算演算を実行する。乗除処理部２１２６は、演算を実行した位相差画素データをＳＥＬ２１２７に送信する。ＳＥＬ２１２７は、位相差画素データを受信すると、当該位相差画素データに基づいて焦点検出動作を実行するか否かを判定する。ＳＥＬ２１２７は、焦点検出動作を実行すると判定した場合、当該位相差画素データを位相差画素フレームメモリ２１４に送信する。

ここで、図４の説明に戻る。測距演算処理部２１３は、画素データ加工部２１２による判定及び演算が終了すると、画素データ加工部２１２から位相差画素フレームメモリ２１４に書込まれた加工後の位相差画素データを読出す。測距演算処理部２１３は、判定部２１２１による判定の結果、加算された位相差画素データに基づき焦点検出動作を実行すると判定された場合、位相差画素演算部２１２２により加算された位相差画素データを適用し、焦点検出動作を実行する。また、測距演算処理部２１３は、判定部２１２１による判定の結果、加算された位相差画素データに基づき焦点検出動作を実行しないと判定された場合、当該現在フレームの位相差画素データを適用して焦点検出動作を実行する。測距演算処理部２１３は、焦点検出動作の実行結果をＣＰＵ１６に送信する。

ここで、本実施形態における測距演算処理は、Ｒ／Ｌ開口画素、及びＴ／Ｂ開口画素による画素データのペア間で生じる位相差を検出することで実行される。ただし、検出される位相差は、Ｒ／Ｌ，Ｔ／Ｂのいずれの場合も１画素ずつのペア間の位相差だけでなく、測距エリア内等の所定の範囲内における複数の画素のペア間の位相差の平均値を用いる。

位相差画素フレームメモリ２１４は、各部２１１，２１２，２１３から読出し／書込み可能なメモリであり、Ｒ開口画素保持部２１４１と、Ｌ開口画素保持部２１４２と、Ｔ開口画素保持部２１４３と、Ｂ開口画素保持部２１４４と、を備えている。各開口画素保持部２１４１−２１４４は、開口方向等の条件毎にラスタ順に位相差画素抽出部２１１で分類されて読出された位相差画素データを、座標情報とフレーム単位で対応付けて記憶する。すなわち、Ｒ開口画素保持部２１４１は右開口画素、Ｌ開口画素保持部２１４２は左開口画素、Ｔ開口画素保持部２１４３は上開口画素、Ｂ開口画素保持部２１４４は下開口画素の位相差画素データを、それぞれ記憶する。また、各開口画素保持部２１４１−２１４４は、位相差画素抽出部２１１によって遮光率の違い等のその他の位相差画素特性に応じて更に分類された位相差画素データを記憶してもよい。位相差画素フレームメモリ２１４は、位相差画素演算部２１２２の要求に応じて過去フレームの位相差画素データを読出し、位相差画素演算部２１２２に送信する。位相差画素フレームメモリ２１４は、画素データ加工部２１２から送信された加工後の位相差画素データを記憶し、測距演算処理部２１３からの要求に応じて測距演算処理部２１３に送信する。なお、位相差画素フレームメモリ２１４は、測距演算部２１内に限らず、メモリ部１７内に併設されてもよい。

ここで、本実施形態において読出された画素データが格納されるメモリ内の記憶領域の例を、図６及び図７に示す。図６の例では、あるフレームの画素データは、記録画素と位相差画素との区別なく、水平同期信号２０１１をトリガとして、１行目に配置された画素の画素データから順に、１行毎に撮像素子１３から読出され、順次記憶領域に書込まれる。また、次のフレームの画素データは、垂直同期信号２０１２をトリガとして、再度１行目から順に、１行毎に撮像素子１３から読出され、記憶領域に書込まれる。図６では、記憶領域２０１３は、画素配列の行及び列に対応する座標が割当てられた領域を示している。ここで、記憶領域２０１３の左端及び上端に示される番号は、それぞれ画素配列の行番号及び列番号に対応している。記憶領域２０１３内の空白の記憶領域２０１３ａは、記録画素データの記憶領域であることを示している。また、Ｌ，Ｒ，Ｔ，Ｂ等の文字の付された記憶領域２０１３ｂは、それぞれ左右上下方向に開口された位相差画素データの記憶領域であることを示している。記憶領域２０１３内には、垂直同期信号２０１２をトリガとして１フレームの画素データの格納が開始され、水平同期信号２０１１をトリガとして１行毎に画素データが格納される。位相差画素データは、各位相差画素が遮光されている左右上下（Ｌ，Ｒ，Ｔ，Ｂ）の向き、遮光率、光学フィルタの種類等の位相差画素特性に更に関連付けて記憶領域２０１３ｂに格納されてもよい。

図７では、記憶領域２０１４，２０１５に記録画素データと位相差画素データとを分けて格納する例を示している。図７の例では、あるフレームの画素データは、水平期間の前半においては記録画素の画素データのみから読出され、順次記憶領域に書込まれる。また、図７の例では、あるフレームの画素データは、水平期間の後半においては位相差画素の画素データのみから読出され、順次記憶領域に書込まれる。図７では、記憶領域２０１４ａは、図６と同様に記録画素データが記憶される領域であることを示している。一方、記憶領域２０１４ｂは、位相差画素データが記憶される領域ではなく、周囲の隣接する同色画素の記録画素データにより補間された値Ｘ（ｎ）が記録画素データとして記憶される領域であることを示している。位相差画素データは、水平期間の前半において、例えば、撮像素子１３に設けられるラインメモリに一時的に保持される。ラインメモリに保持された位相差画素データは、同一行の記録画素データが記憶領域２０１４に格納された後に読出され、記憶領域２０１５ｂに格納される。位相差画素データが格納される領域以外の記憶領域２０１５ａには、ダミーデータＤが格納される。いずれにしても、本実施形態において読出された画素データは、画素配列の座標と対応付けられて記憶される。また、当該画素配列の座標は、位相差画素データの遮光向き、遮光率、光学フィルタの種類といった位相差画素特性とも関連付けられて記憶される。

次に、以上のように本実施形態の撮像装置の具体的な動作を説明する。図８は、撮像装置による焦点検出動作の処理を示すフローチャートである。図８における各処理は、主に測距演算部２１及び画像処理部２４によって実行される。また図８は、例えば静止画撮影モード中に操作部２０のシャッタボタンを半押し状態にした場合に開始されるが、動画撮影時やライブビュー時においても開始されてもよい。なお、図８における各処理に伴い、カメラ１は、一例として図９に示すタイミングチャートにしたがって動作する。すなわち、カメラ１は、ＣＭＯＳセンサ方式にしたがい撮像素子駆動部１５を駆動し、ローリング読出しによって撮像素子１３に蓄積された電荷から画素データを読出すものとして以下に説明する。

まず始めに、ＣＰＵ１６は、図９（Ａ）に示す垂直同期信号及び図９（Ｂ）に示す水平同期信号を撮像素子駆動部１５に送信する。

次に、撮像素子駆動部１５は、図９（Ｃ）に示すように、撮像素子１３における電荷の蓄積、及び画素データの出力走査を実行する。具体的には、撮像素子駆動部１５は、時刻Ｔ０から電子シャッタの制御を行う。撮像素子１３の受光部は、この制御によって撮像素子１３上に配置された画素の上部から下部の順に１行ずつ時間をずらしながら一定時間露光される。撮像素子駆動部１５は、露光終了後の時刻Ｔ１において画素データの出力を開始する。ここで、図９では、位相差画素は、記録画素の配置された範囲のうち、受光面の上下端を除く範囲に配置されている。したがって、記録画素データＦ１は、図９（Ｄ）に示すように、時刻Ｔ１から時刻Ｔ４の期間で出力され、位相差画素データＺ１は、図９（Ｅ）に示すように、時刻Ｔ２から時刻Ｔ３の期間で出力される。カメラ１は、このような時刻Ｔ０から時刻Ｔ４における一連の動作をフレーム毎に繰り返し実行し、フレーム番号ｎにおける記録画素データＦｎ及び位相差画素データＺｎを順次出力する。

位相差画素抽出部２１１は、撮像素子１３の撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す（ＳＴ１１０）。図９では、位相差画素抽出部２１１は、フレーム番号“１”において出力された位相差画素データＺ１を読出し、位相差画素フレームメモリ２１４に記憶すると共に、画素データ加工部２１２に送信する。この時、位相差画素フレームメモリ２１４には、過去フレームの画素データとして、フレーム番号“０”の位相差画素データＺ０が少なくとも記憶されている。

判定部２１２１は、各位相差画素の特性と、各位相差画素に対応する位相差画素データとに応じて、加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定する（ＳＴ１２０）。

具体的には、判定部２１２１は、加算された位相差画素データに基づき焦点検出動作を実行すると判定した場合（ＳＴ１２０；ｙｅｓ）、現在フレームの位相差画素データＺ１を位相差画素演算部２１２２に送信する。位相差画素演算部２１２２は、過去フレームの位相差画素データを位相差画素フレームメモリ２１４から受信し、各フレーム間における同一座標の位相差画素データを加算する（ＳＴ１３０）。位相差画素演算部２１２２は、当該加算された位相差画素データを位相差画素フレームメモリ２１４に送信する。一方、判定部２１２１は、加算された位相差画素データに基づき焦点検出動作を実行しないと判定した場合（ＳＴ１２０；ｎｏ）、現在フレームにおける位相差画素データを位相差画素フレームメモリ２１４に送信する。画素データ加工部２１２は、全ての位相差画素についてステップＳＴ１２０−１３０が実行されるまで、ステップＳＴ１２０−ＳＴ１３０を繰り返し実行する（ＳＴ１４０）。

なお、図９の例では、判定部２１２１は、全ての位相差画素データについて、加算すると判定している場合を想定している。したがって、位相差画素演算部２１２２は、図９（Ｆ）に示すように、位相差画素データＺ１と、１フレーム前の位相差画素データＺ０とを加算して位相差画素データＳ１を生成している。

ここで、図９に示す加算演算の例は、撮像素子１３の画素配列上で考えると、図１０に示すように、同一座標に配置された位相差画素の画素データ同士について加算演算が実行されている。ここで、各画素配列２０１６−２０１８の位相差画素データの数値は、それぞれフレーム番号“０”、フレーム番号“１”、及びフレーム番号“０”とフレーム番号“１”とを加算演算した場合の値を示している。また、各画素配列２０１６−２０１８上の空白の領域は、記録画素であることを示し、数値が付された領域は、当該数値の位相差画素データが出力された位相差画素であることを示している。なお、実際の加算演算時は、位相差画素抽出部２１１は、図１１に示すように、位相差画素データのみをラスタ順、又は開口向き順等の所定の順に並び替えた状態で記憶領域から読出している。ここで、各記憶領域２０１９−２０２１の数値は、それぞれフレーム番号“０”、フレーム番号“１”、及びフレーム番号“０”とフレーム番号“１”とを加算演算した場合の値を示している。また、読出された位相差画素データは、必要に応じて遮光向き、遮光率、光学フィルタの種類といった位相差画素特性とも関連付けられている。したがって、位相差画素演算部２１２２は、予め定められた位相差画素の座標配置や、開口向き、遮光率、及び光学フィルタ種別等の位相差画素特性との対応関係を保ちつつ、最小限のメモリ領域でフレーム間の演算を実行することができる。

測距演算処理部２１３は、位相差画素フレームメモリ２１４から加工後の位相差画素データを読出す。測距演算処理部２１３は、当該加工後の位相差画素データに基づき、加算された位相差画素データに基づき焦点検出動作を実行すると判定された位相差画素には、加算された位相差画素データを適用する。また、測距演算処理部２１３は、加算された位相差画素データに基づき焦点検出動作を実行しないと判定された位相差画素には、現在フレームの位相差画素データを適用して、最終的に焦点検出動作を実行する（ＳＴ１５０）。

画像処理部２４は、焦点検出動作が実行されたフレームにおいて出力された記録画素データを受信し、画像処理を施して画像データを生成する。表示部１８は、生成された画像データを例えば液晶ディスプレイに表示する（ＳＴ１６０）。

また、ＣＰＵ１６は、測距演算処理部２１３によって検出された焦点に関する情報に基づき、レンズ駆動部１２に制御信号を送信し、以降のフレームにおいて焦点調節制御を実行させる。また、ＣＰＵ１６は、撮像素子駆動部１５に制御信号を送信し、焦点調節後の記録画素データを出力するよう制御する。画像処理部２４は、焦点調節された記録画素データを受信し、画像処理を施して画像データを生成する。表示部１８は、焦点調節された画像データを例えば液晶ディスプレイに表示する。

次に、上述したステップＳＴ１２０−ＳＴ１５０における位相差画素の特性と、当該位相差画素に対応する位相差画素データとに応じた判定動作及び演算動作の詳細について説明する。

判定部２１２１は、各位相差画素データの大きさに応じて、判定動作を実行してもよい。具体的には、判定部２１２１は、現在フレームの位相差画素データが所定の閾値未満の場合、過去フレームにおける同一座標の位相差画素データと加算された位相差画素データに基づき焦点検出動作を実行すると判定する。また、判定部２１２１は、現在フレームの位相差画素データの大きさに応じて、加算する過去フレームのフレーム数を決定してもよい。例えば、現在フレームの位相差画素データの大きさが所望の値の１／３程度であった場合、判定部２１２１は、演算情報として過去フレームのフレーム数を“２”と設定し、位相差画素演算部２１２２に送信する。図１２は、過去の２フレームと、現在フレームとの加算を行う場合のタイミングチャートであり、図１２（Ａ）−（Ｅ）は、図９（Ａ）−（Ｅ）と同じである。この場合、位相差画素演算部２１２２は、図１２（Ｆ）に示すように、現在フレームのフレーム番号が“２”の時、過去の２フレームにおける位相差画素データＺ０，Ｚ１を、現在フレームの位相差画素データＺ２と加算し、位相差画素データＳ１を算出する。

また、判定部２１２１は、現在フレームの位相差画素データが所定の閾値以上の場合、当該位相差画素データについて、加算演算を実行しないと判定してもよい。また、判定部２１２１は、位相差画素データが飽和近傍である場合には、予め除算を行ったうえで、フレーム加算を実行すると判定してもよい。

また、判定部２１２１は、各位相差画素の特性として、各位相差画素の遮光率の特性に応じて判定動作を実行してもよい。一般に、位相差画素の遮光率が小さい場合、遮蔽される光は少量であるため、測距精度が確保できる程度の位相差画素データの出力が得られる。一方、遮光率が大きい場合、受光部に達する光が大幅に遮蔽されるため、十分な出力が得られない場合がある。したがって、判定部２１２１は、判定対象の位相差画素データに対応する位相差画素の遮光率が大きい場合、過去フレームにおける同一座標の位相差画素データと加算された位相差画素データに基づき焦点検出動作を実行すると判定する。一方、判定部２１２１は、遮光率が小さい場合、位相差画素データを加算しないと判定してもよく、ノイズ除去を目的として、加算平均に基づき焦点検出動作を実行すると判定してもよい。

また、判定部２１２１は、各位相差画素の受光部の前面に配置された光学フィルタの特性に応じて、判定動作を実行してもよい。各位相差画素は、図１３に示すように、波長帯によって異なる分光特性を有するＧ，Ｂ，Ｒフィルタが配置されている。Ｇフィルタ分光特性３００１は、比較的広い波長帯を透過する。したがって、Ｇフィルタが配置された位相差画素は、被写体からの反射光が青、赤成分であっても測距精度が確保できる程度の位相差画素データが得られる。一方、Ｂフィルタ分光特性３００２は、赤成分等の長波長帯の透過率が低いため、Ｂフィルタが配置された位相差画素は、長波長領域の被写体の場合に十分な出力が得られない場合がある。同様に、Ｒフィルタ分光特性３００３は、青成分等の短波長帯の透過率が低いため、Ｒフィルタが配置された位相差画素は、短波長領域の被写体の場合に十分な出力が得られない場合がある。したがって、判定部２１２１は、Ｇフィルタが配置された位相差画素データについては加算しないと判定し、Ｂ，Ｒフィルタが配置された位相差画素データについては加算すると判定する。また、判定部２１２１は、光学フィルタの種類毎に位相差画素データの平均値を算出し、当該平均値が所定の閾値未満の場合は、加算フレームの位相差データを用いて測距演算を行うよう判定してもよい。また、判定部２１２１は、現フレームの記録画素データをメモリ部１７から読出し、当該記録画素データにおけるＲ，Ｇ，Ｂの出力レベルを基に、加算演算を行うか否かを判定してもよい。

以上説明したように、第１の実施形態においては、位相差画素抽出部２１１は、撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す。判定部２１２１は、上記各位相差画素の特性と、上記各位相差画素に対応する位相差画素データとに応じて、現在フレーム及び過去フレームにおける同一座標について加算された位相差画素データに基づき、焦点検出動作を実行するか否かを判断するようにしている。これにより、記録画素及び位相差画素の画素データを出力するフレームを分離することなく、測距演算の確度を上げることができる。したがって、記録画素出力の連続性を損なうことなく焦点検出動作を実行することができる。また、動画像モードのように記録画素によるフレームを連続して出力する必要がある場合にも、位相差画素の蓄積時間を稼ぐために位相差画素読出しフレームを伸長する必要がなく、スムーズな表示が可能となる。加えて、位相差画素部のみ、独立した電子シャッタ回路を設けることなく、測距演算の確度を上げることができる。したがって、撮像回路の複雑化、開口率の低下、追加回路の寄生容量増加等による画素の読出し応答性低下を抑えることにより、出力段差や残像等の隣接画素に対しての性能劣化を防ぐことができる。また、フレーム内の位相差画素に対して個別に加算するか否かを判断することができるため、白とびや黒つぶれする位相差画素出力をなくすことができる。また、フィルタ構成が記録画素と異なる構成となることによる集光率の悪化や、感度が高すぎることによる隣接する記録画素への漏れこみといった副作用をなくすことができる。

また、判定部２１２１は、各位相差画素データの出力に応じて、加算された位相差画素データに基づき、焦点検出動作を実行するか否かを判定するようにしている。これにより、出力の低い位相差画素データであっても、十分な測距演算に必要な出力を確保することができる。特に、ライブビューや動画時等のように、センサの高速化に伴ってセンサ出力の階調を落とす運用がなされる場合においても、複数の過去フレームの出力を加算することで、測距演算誤差を抑えることができる。

また、判定部２１２１は、各位相差画素の遮光率の特性に応じて、加算された位相差画素データに基づき、焦点検出動作を実行するか否かを判定するようにしている。これにより、入射光量が大幅に制限されている位相差画素と、あまり制限されていない位相差画素とで、測距演算誤差に差が生じないようにすることができる。

また、判定部２１２１は、各位相差画素の受光部の前面に配置された光学特性フィルタの特性に応じて、加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定するようにしている。これにより、被写体の反射光の波長帯によって生じる位相差画素データの減衰によらず、測距演算精度を確保することができる。また、位相差画素データの出力を得るためにカラーフィルタを配置せずに、透明フィルタを配置する構成によることなく、測距演算精度を確保することができる。

また、画像処理部２４は、測距演算部２１によって焦点検出動作を実行して得られたフレームにおける記録画素データを読出し、画像データを生成する。表示部１８は、生成された画像データに基づき、表示動作を実行するようにしている。これにより、表示又は記録用のデータ品質を保ちつつ、測距性能を確保することが可能な撮像装置を提供することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。上述の第１の実施形態は、位相差画素データの大きさや、位相差画素の遮光率、光学フィルタの特性等の位相差画素特性の違いといった、撮像素子全域にわたって適用可能な条件に応じて、フレーム加算を実行するか否かを判定するようにしている。しかしながら、実際の焦点検出動作の実行に際しては、焦点検出を実行する領域をより限定することで、より精確な焦点検出を実行する場合も考えられる。第２の実施形態は、上述の第１の実施形態に加え、焦点検出動作が実行される測距エリアが更に設定される場合において、当該設定された測距エリア内の位相差画素について、フレーム加算を実行するか否かを判定するようにした例である。ここで、第２の実施形態は、測距エリアの設定動作及び判定動作以外は第１の実施形態と同様である。したがって、カメラの構成や、上記第１の実施形態と異なる動作以外の動作については、説明を省略する。

図１４は、第２の実施形態における撮像装置による焦点検出動作を示すフローチャートである。まず始めに、操作部２０は、ユーザからの操作を受けて焦点検出動作を実行する測距エリアを設定する（ＳＴ２１０）。操作部２０は、当該設定された測距エリアに関する情報をＣＰＵ１６に送信する。ＣＰＵ１６は、設定された測距エリアに基づき、焦点検出動作に係る動作シーケンスを実行する。

ＣＰＵ１６は、露出演算部２２の演算結果に基づく制御信号を撮像素子駆動部１５に送信する。撮像素子１３及び撮像素子駆動部１５は、撮像素子１３における露出による電荷の蓄積、及び画素データの出力走査を実行する。

位相差画素抽出部２１１は、撮像素子１３の撮像動作のフレーム毎に、各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す（ＳＴ２２０）。判定部２１２１は、各位相差画素の特性と、各位相差画素に対応する位相差画素データとに応じて、加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定する。また、判定部２１２１は、位相差画素が含まれる焦点検出エリアに応じて、加算された位相差画素データに基づき焦点検出動作を実行するか否かを判定する（ＳＴ２３０）。

具体的には、判定部２１２１は、加算された位相差画素データに基づき焦点検出動作を実行すると判定した場合（ＳＴ２３０；ｙｅｓ）、現在フレームの位相差画素データＺ１を位相差画素演算部２１２２に送信する。位相差画素演算部２１２２は、過去フレームの位相差画素データを位相差画素フレームメモリ２１４から受信し、各フレーム間における同一座標の位相差画素データを加算する（ＳＴ２４０）。位相差画素演算部２１２２は、当該加算された位相差画素データを位相差画素フレームメモリ２１４に送信する。一方、判定部２１２１は、加算された位相差画素データに基づき焦点検出動作を実行しないと判定した場合（ＳＴ２３０；ｎｏ）、現在フレームにおける位相差画素データを位相差画素フレームメモリ２１４に送信する。画素データ加工部２１２は、測距エリア内の全ての位相差画素についてステップＳＴ２３０−２４０が実行されるまで、ステップＳＴ２３０−ＳＴ２４０を繰り返し実行する（ＳＴ２５０）。

測距演算処理部２１３は、位相差画素フレームメモリ２１４から加工後の位相差画素データを読出す。測距演算処理部２１３は、当該加工後の位相差画素データに基づき、加算された位相差画素データに基づき焦点検出動作を実行すると判定された位相差画素には、加算された位相差画素データを適用する。また、測距演算処理部２１３は、加算された位相差画素データに基づき焦点検出動作を実行しないと判定された位相差画素には、現在フレームの位相差画素データを適用して焦点検出動作を実行する（ＳＴ２６０）。

画像処理部２４は、焦点検出動作が実行されたフレームにおいて出力された記録画素データを受信し、画像処理を施して画像データを生成する。表示部１８は、生成された画像データを例えば液晶ディスプレイに表示する（ＳＴ２７０）。

また、ＣＰＵ１６は、測距演算処理部２１３によって検出された焦点に関する情報に基づき、レンズ駆動部１２に制御信号を送信し、以降のフレームにおいて焦点調節制御を実行する。また、ＣＰＵ１６は、撮像素子駆動部１５に制御信号を送信し、焦点調節後の記録画素データを出力するよう制御する。画像処理部２４は、焦点調節された記録画素データを受信し、画像処理を施して画像データを生成する。表示部１８は、焦点調節された画像データを液晶ディスプレイに表示する。

次に、上述したステップＳＴ２３０−ＳＴ２６０における焦点検出動作が実行される測距エリアに応じた判定動作及び演算動作の詳細について説明する。

判定部２１２１は、位相差画素が含まれる測距エリア（焦点検出エリア）に応じて、判定動作を実行してもよい。具体的には、判定部２１２１は、測距エリアにおける各位相差画素の像高に応じて判定動作を実行してもよい。

図１５は、撮像素子１３と像高との相関関係の一例を示した図である。図１５（Ａ）は、領域Ｄを光軸中心相当領域として、記録画素配置領域４００１内の位相差画素配置領域４００２を光軸からの距離（像高）に応じて水平方向に領域Ａ−Ｇのように区分けした様子を示している。ここで、領域Ａ−Ｇにおける記録画素データ及び位相差画素データの出力レベルは、像高を横軸とした場合、図１５（Ｂ）のように表される。すなわち、記録画素データ出力４００３は、マイクロレンズの入射角特性、瞳位置等のレンズ特性パラメタに起因して、光軸からの距離が離れている領域Ａ及びＧの方が光軸に近い領域Ｄよりも出力レベルが低下する。一方、位相差画素データは、出力レベルの変化の様子が開口向きによって異なる。すなわち、右開口位相差画素データ出力４００４ｒは、左側の領域Ａにおいて出力レベルが低下し、左開口位相差画素データ出力４００４ｌは、右側の領域Ｇにおいて出力レベルが低下する。このように、同一の像高における位相差画素は、その開口向きにおいて出力レベルの大きさに差が生じる。測距演算では、図１５（Ｃ）に示すように、相関演算を実行する際に、Ｒ／Ｌ，Ｔ／Ｂのペアにおける位相差画素データの出力差をゲインアップ等によって補正する。図１５（Ｃ）の例では、右開口位相差画素データ出力４００４ｒ及び左開口位相差画素データ出力４００４ｌは、画素データ出力が均一化されて、補正後右開口位相差画素データ出力４００５ｒ及び補正後左開口位相差画素データ出力５００５ｌとなっている。しかしながら、上述のように出力レベルに大きな差が生じる場合、ゲインアップによると出力差の補正が正しく実行できず、結果として測距精度が低下する要因となる。

したがって、判定部２１２１は、焦点検出動作が実行される対象の測距エリアが含まれる像高領域に応じて、予め記憶された各像高における出力相対比に関する情報に基づき、Ｒ／Ｌ又はＴ／Ｂの出力レベルを均一化するか否かを判定する。判定部２１２１は、出力レベルを均一化すると判定した場合、Ｒ／Ｌ又はＴ／Ｂの位相差画素のうち、出力が低い方の画素データをフレーム毎に加算するように判定する。また、判定部２１２１は、出力が高いほうの画素データについては、フレーム毎に加算した後、平均値を算出するように判定するようにしてもよい。

また、判定部２１２１は、測距エリアにおける垂直開始座標及び垂直終了座標の間の走査時間と、蓄積時間とに応じて判定動作を実行してもよい。

図１６は、受光面に配置された位相差画素の開口向きと、相関演算時に相関を取る焦点検出画素データとの関係の一例を示した図である。図１６では、左右上下に開口位相差画素が配置された領域の画素データを、それぞれＬ，Ｒ，Ｔ，Ｂとして示している。ここで、図１６の例では、Ｔ／Ｂ画素による相関演算は、行方向（垂直方向）に算出された位相差画素データ（Ｔ１，Ｂ１）、（Ｔ２，Ｂ２）、（Ｔ３，Ｂ３）、（Ｔ４，Ｂ４）に対して実行される。このように、Ｔ／Ｂ画素において相関演算が実行される場合、異なる時間帯において露光された位相差画素同士で相関演算が実行される。このため、光源の出力に時間変動がある場合、各位相差画素データ間における出力に差が生じる。測距演算処理部２１３は、このような位相差画素データを適用して焦点検出動作を実行すると、光源の時間変化による出力変動を、被写体成分と誤認識してしまう可能性がある。

一方、Ｒ／Ｌ画素による相関演算は、列方向（水平方向）に算出された位相差画素データ（Ｒ１，Ｌ１）、（Ｒ２，Ｌ２）、（Ｒ３，Ｌ３）、（Ｒ４，Ｌ４）に対して実行される。したがって、Ｒ／Ｌ画素において相関演算が実行される場合、同じ時間において露光された位相差画素同士で相関演算が実行されるため、光源の出力に時間変動がある場合においても、各位相差画素データ間における出力の差は小さい。

このように、例えばフリッカ等に代表される光源のちらつきによって光源の明暗が変動する場合、このフリッカ成分によって主にＴ／Ｂ方向開口画素の測距演算に影響が出る可能性がある。また、例えば、夜景やイルミネーション等のＬＥＤ（Light Emitting Diode）光源は、１００Ｈｚ等のフリッカ成分を含むうえに、局所的に光源が存在するため、フリッカ演算部２３によるフリッカ検出そのものが判断できない場合がある。

ここで、フリッカ成分によって測距エリア内の位相差画素出力が変動する様子を説明する一例として、測距エリアの垂直走査開始から垂直走査終了までの走査時間及び蓄積時間の関係と、時間変動する光源出力との関係を図１７，１８に示す。図１７（Ａ），（Ｂ）は、行方向に分布した複数の測距エリア（Ｈ１−Ｈ５又はＨ’１−Ｈ’３）における蓄積及び出力走査を示すタイミングチャートと、光源出力５００１の時間変動との関係を示す模式図である。光源出力５００１の時間変動は、輝度が周期的に変化していることを示している。また、図１８は、図１７（Ｂ）の測距エリア内のＴ／Ｂ方向開口画素に蓄積される光源出力５００１が変動する様子を示す模式図である。なお、図１８内の各画素配置領域５００２，５００３は、隣接するフレームにおける測距エリアＨ’１を含む行を示している。なお、図１８では、光源出力５００１が強い時間帯に電荷が蓄積された行を白く示し、光源出力５００１が弱い時間帯に電荷が蓄積された行をハッチングして示している。

図１７（Ａ）における測距エリアＨ１では、時刻Ｔ１０−Ｔ３０において上部（垂直開始座標）の行の蓄積を実行し、時刻Ｔ２０−Ｔ４０において下部（垂直終了座標）の行の蓄積を実行している。ここで、時刻Ｔ１０−Ｔ３０及び時刻Ｔ２０−Ｔ４０における光源出力５００１の変動は、大半の時間帯が重複しており、いずれも高い出力が継続している。

一方、図１７（Ｂ）における測距エリアＨ’１では、時刻Ｔ’１０−Ｔ’３０において垂直開始座標の行の蓄積を実行し、時刻Ｔ’２０−Ｔ’４０において垂直終了座標の行の蓄積を実行している。また、次のフレームでは、時刻Ｔ’５０−Ｔ’７０において垂直開始座標の行の蓄積を実行し、時刻Ｔ’６０−Ｔ’８０において垂直終了座標の行の蓄積を実行している。ここで、時刻Ｔ’１０−Ｔ’３０における光源出力５００１の変動は、比較的弱い出力が継続している。したがって、図１８の画素配置領域５００２のうち垂直開始座標の行は、光源出力５００１が弱い時間帯に電荷が蓄積されている。一方、時刻Ｔ’２０−Ｔ’４０における光源出力５００１の変動は、比較的強い出力が継続している。したがって、図１８の画素配置領域５００２のうち垂直終了座標の行は、光源出力５００１が強い時間帯に電荷が蓄積されている。このような場合、測距エリアＨ’１内のＴ／Ｂ画素出力は、フリッカ成分による影響を受け、相関演算時の精度が劣化する。これは、測距エリアＨ’１内の位相差画素配置行数分に読出しに要する時間Ｔ’３０−Ｔ’４０が、蓄積時間Ｔ’１０−Ｔ’３０に対して同等か、長いためである。

このようなフリッカ成分の影響は、複数のフレーム毎に変動して現れる。例えば、図１８において、時刻Ｔ’５０−Ｔ’７０における光源出力５００１の変動は、比較的強い出力が継続している。したがって、図１８の次フレームの画素配置領域５００３のうち垂直開始座標の行は、光源出力５００１が強い時間帯に電荷が蓄積されている。一方、時刻Ｔ’６０−Ｔ’８０における光源出力５００１の変動は、比較的弱い出力が継続している。したがって、図１８の次フレームの画素配置領域５００３のうち垂直終了座標の行は、光源出力５００１が強い時間帯に電荷が蓄積されている。すなわち、フリッカ成分によって発生する測距エリア内の行毎の位相差画素データの変動は、フレーム毎に加算又は加算平均することによって平滑化することができる。

したがって、判定部２１２１は、以下に示す条件式が成立する場合、Ｔ／Ｂの位相差画素の画素データをフレーム毎に加算するように判定することにより、フリッカ成分の影響を平滑化する。

（測距エリア内の位相差画素配置行数分の読出しに要する時間）≧蓄積時間
また判定部２１２１は、上述の条件式が成立する場合、Ｔ／Ｂの位相差画素の画素データをフレーム毎に加算した後、加算したフレーム数で割ることで加算平均を算出するように判定してもよい。

以上説明したように、第２の実施形態においては、焦点検出動作が実行される焦点検出エリアを設定し、各位相差画素が含まれる上記設定された焦点検出エリアに応じて判定するようにしている。これにより、設定された焦点検出エリアの像高に応じて加算処理を行うか否かを判定するので、第１の実施形態の効果に加え、像高に応じて変動する出力レベルを補正することができる。したがって、表示又は記録用のデータ品質を保ちつつ、測距性能を確保することが可能な撮像装置を提供することができる。

具体的には、測距演算では、Ｒ／Ｌ，Ｔ／Ｂのペアとなる位相差画素データの出力差を補正し、Ｒ／Ｌ，Ｔ／Ｂ間の相関演算を実行する。しかしながら、位相差画素は、設定された測距エリアの像高と、当該測距エリア内の位相差画素の開口向きに応じて、Ｒ／Ｌ、又はＴ／Ｂ間の出力が不均一となってしまうため、測距演算の精度が劣化してしまう。従来技術では、出力を均一化するためにＲ／Ｌ、又はＴ／Ｂ間の位相差画素データの一方に対してゲインを付加している。このため、従来技術では、出力の低い像高領域においては、ゲインを付加することによりデータが離散的になり、測距演算精度に影響を与える可能性がある。また、従来技術では、データ内のノイズもゲインによって増幅されるという影響もある。これに対し、第２の実施形態では、開口向きによる出力の不均一に対して位相差画素毎に加算するか否かを判定することにより、出力が低い像高領域はフレーム毎に出力を加算することで出力レベルを確保することができる。また、フレーム間で出力を加算するので、ノイズの影響を軽減しつつ、Ｒ／Ｌ、又はＴ／Ｂ間の出力を均一化することができる。

また、上記設定された焦点検出エリア内における垂直開始座標及び垂直終了座標の間の走査時間と、蓄積時間とに応じて判定するようにしている。これにより、ローリングシャッタ制御で１行毎にリセット処理、読出し処理が実行される場合においてＴ／Ｂ画素に生じるフリッカの影響を低減することができる。また、グローバルシャッタ制御においても、フレーム間で生じ得るフリッカの影響による出力レベルの変動を低減することができる。

以上各実施形態に基づいて本発明を説明したが、本発明は上述した各実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能である。

例えば、本発明の各実施形態における電荷の読出し方式は、上述の例に限らず、図１９（Ａ）に示す如き記録画素出力及び位相差画素出力のフレームを分離する方式や、図１９（Ｂ）に示す如き位相差画素のみ独立した電子シャッタを設ける方式についても適宜適用可能である。

また、本発明の各実施形態における判定動作は、演算量の増加を軽減するために、加算するフレーム数を予め決定してもよい。具体的には、判定部２１２１は、加算するフレーム数を２のべき乗とすることで、演算量の増加を軽減してもよい。

また、本発明の各実施形態における判定動作は、フレーム間で被写体が移動した場合を考慮して実行してもよい。例えば、画素データ加工部２１２は、フレーム間で同一の被写体が撮像された位相差画素データの座標が異なる場合、同一の被写体が撮像された位相差画素データ同士について演算を実行してもよい。具体的には、判定部２１２１は、焦点検出動作を実行すると判定した場合、現在フレームと過去フレームとの間の被写体のずれ量を算出してもよい。判定部２１２１は、算出したフレーム間の被写体のずれ量に基づき、フレーム間において同一の特徴を有する位相差画素の対応関係を決定してもよい。位相差画素演算部２１２２は、当該決定された対応関係に基づき、加算演算を実行してもよい。

また、第１の実施形態において示された判定動作及び第２の実施形態において示された判定動作は、それぞれ単独で実施する場合に限らず、任意に組み合わせて実施可能である。具体的には、判定部２１２１は、位相差画素データの出力と、遮光率の特性と、光学フィルタの特性と、測距エリアと、垂直開始座標及び垂直終了座標の間の走査時間と蓄積時間と、に応じた判定を複合的に実行してもよい。位相差画素演算部２１２２は、当該複合的に実行された判定の結果に応じて少なくとも加算を含む演算を実行してもよく、測距演算処理部２１３は、当該演算結果を適用して、最終的に焦点検出動作を実行してもよい。

また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…カメラ、１１…レンズ、１２…レンズ駆動部、１３…撮像素子、１４…撮像素子シフト部、１５…撮像素子駆動部、１６…ＣＰＵ、１７…メモリ部、１８…表示部、１９記録部、２０…操作部、２１…測距演算部、２２…露出演算部、２３…フリッカ演算部、２４…画像処理部、２５…データ・制御バス、２１１…位相差画素抽出部、２１２…画素データ加工部、２１３…測距演算処理部、２１４…位相差画素フレームメモリ、１００１…記録画素、１００２ｒ，１００２ｌ，１００２ｔ，１００２ｂ…位相差画素、１００３…マイクロレンズ、１００４…受光領域、２０１１…水平同期信号、２０１２…垂直同期信号、２０１３，２０１４，２０１５…記憶領域、２０１６，２０１７，２０１８…画素配列、２０１９，２０２０，２０２１…位相差画素配列の記憶領域、２１２１…判定部、２１２２…位相差画素演算部、２１２３，２１２５，２１２７…ＳＥＬ、２１２４…加減処理部、２１２６…乗除処理部、２１４１…Ｒ開口画素保持部、２１４２…Ｌ開口画素保持部、２１４３…Ｔ開口画素保持部、２１４４…Ｂ開口画素保持部、３００１…Ｇフィルタ分光特性、３００２…Ｂフィルタ分光特性、３００３…Ｒフィルタ分光特性、４００１…記録画素配置領域、４００２…位相差画素配置領域、４００３…記録画素データ出力、４００４ｌ…左開口位相差画素データ出力、４００４ｒ…右開口位相差画素データ出力、４００５ｌ…補正後左開口位相差画素データ出力、４００５ｒ…補正後右開口位相差画素データ出力、５００１…光源出力、５００２，５００３…画素配置領域。

Claims (7)

1. 複数の記録画素と、前記各記録画素における受光部の開口の一部を遮蔽された複数の位相差画素とを有する撮像素子と、
   前記撮像素子の撮像動作のフレーム毎に、前記各位相差画素について同一の蓄積時間で蓄積動作を実行させて得られた位相差画素データを読出す読出し手段と、
   前記読出されたフレーム毎の位相差画素データについて、現在フレーム及び過去フレームにおける同一座標の位相差画素データを加算する加算手段と、
   前記各位相差画素の特性と、前記位相差画素に対応する位相差画素データとに応じて、前記加算された位相差画素データに基づく焦点検出動作を実行するか否かを判定する判定手段と、
   前記判定の結果、前記加算された位相差画素データに基づき焦点検出動作を実行すると判定された場合、前記加算手段により加算された位相差画素データを適用し、否の場合、前記現在フレームの位相差画素データを適用して焦点検出動作を実行する焦点検出手段と、
   を有することを特徴とする撮像装置。
2. 前記判定手段は、前記各位相差画素データの大きさに応じて判定することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記各位相差画素の遮光率の特性に応じて判定することを特徴とする請求項１に記載の撮像装置。
4. 前記各位相差画素は、前記受光部の前面に異なる特性の光学フィルタが配置され、
   前記判定手段は、前記位相差画素の光学フィルタの特性に応じて判定すること
   を特徴とする請求項１に記載の撮像装置。
5. 前記撮像素子内において、前記焦点検出動作が実行される焦点検出エリアを設定する焦点検出エリア設定手段を有し、
   前記判定手段は、前記位相差画素が含まれる前記設定された焦点検出エリアに応じて判定すること
   を特徴とする請求項１に記載の撮像装置。
6. 前記撮像素子内において、前記焦点検出動作が実行される焦点検出エリアを設定する焦点検出エリア設定手段を有し、
   前記判定手段は、前記設定された焦点検出エリア内における垂直開始座標及び垂直終了座標の間の走査時間と、前記蓄積時間と、に応じて判定すること
   を特徴とする請求項１に記載の撮像装置。
7. 前記撮像素子の撮像動作のフレーム毎に得られた記録画素データに基づいて、表示動作を実行する表示手段を有し、
   前記読出し手段は、前記記録画素データを更に読出し、
   前記表示手段は、前記焦点検出動作が実行されたフレームで得られた前記記録画素データに基づいて、表示動作を実行すること
   を特徴とする請求項１に記載の撮像装置。