JP5990008B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、デジタルカメラやビデオカメラ等、撮像素子を用いる撮像装置およびその制御方法に関し、特には焦点検出機能を有する撮像素子を用いる撮像装置およびその制御方法に関する。

撮像装置は一般に自動焦点検出（ＡＦ）機能を有している。従来、コントラスト検出方式と位相差検出方式によるＡＦが知られている。位相差検出方式はコントラスト検出方式よりも高速な焦点検出が可能であるが、瞳分割機能を有する専用のセンサが必要であったため、比較的大きくまた高価な撮像装置で用いられてきた。しかし、近年、撮像素子が有する画素の一部に瞳分割機能を付与することにより、専用センサを用いずに位相差検出方式によるＡＦ（位相差ＡＦ）を実現可能な撮像素子が提案されている。

特許文献１には、動画撮影時（ライブビュー表示用の動画撮影を含む）に、短周期のリフレッシュ動作と低輝度被写体に対する焦点検出を両立させるため、過去の複数回の読み出しで記憶した焦点検出用画素信号を加算して焦点検出する方法を提案している。なお、特許文献１では、焦点検出用画素信号を過去のフレームに遡って順に加算して得られる加算信号のピーク値が所定の閾値以上になるように焦点検出用画素信号の加算数を設定している。

一方、撮像素子を構成する画素には、製造過程などにおいて欠陥が生じる場合がある。画素欠陥には例えば、出力信号が大きくなる白キズ、出力信号が小さくなる黒点、入力光強度に対する出力信号のリニアリティー不良等がある。焦点検出用画素に欠陥がある場合、その出力を用いる焦点検出結果の精度が低下する。

特許文献２には、撮像素子に設定されたピント調節領域の画素に欠陥がある場合には、欠陥がある画素から所定の方向に移動した、欠陥のない位置の画素の領域をピント調節領域として設定することが開示されている。

特開２００８−８５７３８号公報 特開２００１−１７７７５６号公報

しかしながら、特許文献２の方法では、ユーザが設定したピント調節領域が欠陥のある画素を含んでいる場合、ピント調節領域の位置が変更されてしまうという問題がある。この問題に対処するため、焦点検出の精度が許容できる範囲で、欠陥のある焦点検出用画素を、欠陥レベルに応じて焦点検出に使用することが考えられる。しかしこの場合、特許文献１記載の構成を適用しようとすると、適切な加算数を決定することが難しくなる。これは、欠陥画素の出力信号が加算数を決定するピーク値に影響を及ぼす可能性があるためである。

なお、欠陥画素の出力信号が加算された焦点検出用画素信号に含まれる場合、ピーク値に限らず、ボトム値やコントラスト値など、焦点検出用画素信号から得られる像の特徴量の算出結果も欠陥画素の出力信号に影響される可能性がある。そのため、像の特徴を捉えることが困難となる。

本発明はこのような従来技術の課題に鑑みなされたものであり、焦点検出用画素に欠陥がある場合でも、焦点検出用画素から得られる信号を用いた焦点検出精度への影響を抑制可能な撮像装置及びその制御方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、位相差検出方式の焦点検出に用いる１対の焦点検出用信号を生成するための複数の焦点検出用画素が配置された撮像素子と、複数の焦点検出用画素のうち欠陥画素以外の出力から得られる特徴量と、複数の焦点検出用画素のうち欠陥画素以外および欠陥レベルが予め定められたレベルより低い欠陥画素の出力と、に基づいて、１対の焦点検出用信号を生成する生成手段と、１対の焦点検出用信号の像ずれ量からデフォーカス量を算出する算出手段と、を有することを特徴とする。

このような構成により、本発明によれば、焦点検出用画素に欠陥がある場合でも、焦点検出用画素から得られる信号を用いた焦点検出精度への影響を抑制可能な撮像装置及びその制御方法を提供することができる。

本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの機能構成例を示す図本発明実施形態のカメラの構成図である。 本発明の実施形態における撮像素子の一部の構成例を示すブロック図 本発明の実施形態における撮像素子の撮像用画素の構造例を示す平面図および断面図 本発明の実施形態における撮像素子の焦点検出用画素の構造例を示す平面図および断面図 本発明の実施形態における撮像素子の焦点検出用画素の構造例を示す平面図および断面図 本発明の実施形態における撮像素子の、焦点検出領域に対応する領域の画素配置例を示す図 本発明の実施形態における焦点検出領域の設定例を示す図 本発明の実施形態に係るカメラの全体動作を説明するフローチャート 図８のＳ９０１で行う焦点検出処理動作を説明するフローチャート 図９のＳ９０４で行う加算処理を説明するための模式図 図８のＳ１１０１で行う動画撮影動作を説明するフローチャート

以下、図面を参照して、本発明の例示的な実施形態を詳細に説明する。
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ１００（以下、単にカメラ１００という）の機能構成例を示す図である。

第１レンズ群１０１は撮像光学系（結像光学系）の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ１０２は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ１０２の背面（撮像素子側）に配置された第２レンズ群１０３は、シャッタ１０２と一体となって光軸に沿って前後に可能であり、第１レンズ群１０１とともにズーム機能を実現する。

第３レンズ群１０５はフォーカスレンズであり、光軸に沿って前後に移動可能である。光学ローパスフィルタ１０６は、撮像素子１０７の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子１０７は２次元ＣＭＯＳイメージセンサとその周辺回路で構成される。本実施形態において、撮像素子１０７は、横方向にｍ個、縦方向にｎ個の複数の受光素子が２次元配列され、その上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーイメージセンサである。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。

ズームアクチュエータ１１１は、ズーム駆動回路１２９の制御に従い、不図示のカム筒を回動して第１レンズ群１０１と第３レンズ群１０５の少なくとも一方を光軸に沿って駆動して、ズーム（変倍）機能を実現する。シャッタアクチュエータ１１２は、シャッタ駆動回路１２８の制御に従い、シャッタ１０２の開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。
フォーカスアクチュエータ１１４は、フォーカス駆動回路１２６の制御に従い、第３レンズ群１０５を光軸に沿って駆動する。

フラッシュ１１５は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するＬＥＤを備えた照明装置であってもよい。ＡＦ補助光出力部１１６は、所定の開口パターンを有するマスクの像を投稿レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、カメラ１００全体の動作を制御し、図示しない演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶されたプログラムを実行して、カメラ１００が有する各種回路を制御し、ＡＦ、ＡＥ、画像処理、記録等、カメラ１００の機能を実現する。

フラッシュ制御回路１２２は、撮像動作に同期してフラッシュ１１５を点灯制御する。補助光駆動制御回路１２３は、焦点検出動作時にＡＦ補助光出力部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の動作を制御するとともに、撮像素子１０７から読み出した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、画像信号に対してγ変換、色補間、ＪＰＥＧ符号化などの画像処理を適用する。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動することにより第３レンズ群１０５を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路１２８は、シャッタアクチュエータ１１２を駆動してシャッタ１０２の開口径及び開閉タイミングを制御する。ズーム駆動回路１２９は、例えば操作スイッチ群１３２に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１はＬＣＤ等であり、カメラ１００の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。記録媒体１３３は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。

（撮像素子の構成）
次に、撮像素子１０７、及び撮像素子１０７を構成する撮像用画素と焦点検出用画素について説明する。
図２は、撮像素子１０７の一部の構成例を示すブロック図である。なお、図２では、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。光電変換部２０１は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。なお、以下の説明では、撮像素子１０７にＸ方向にｍ個、Ｙ方向ｎ個の光電変換部２０１が二次元配置されているものとし、光電変換部２０１の各々を特定する場合には、PD_mnと表記する。ここでｍ＝０，１・・・，ｍ−１、ｎ＝０，１・・・，ｎ−１である。なお、図２では、図が煩雑にならないよう、一部の光電変換部２０１にのみアドレスを示している。

スイッチ２０２は、光電変換部２０１ごとに設けられ、光電変換部２０１の出力を選択する。スイッチ２０２は、垂直走査回路２０８により、一行ごとに選択される。
ラインメモリ２０３は、光電変換部２０１の出力を一時的に記憶するためのであり、垂直走査回路により選択された、一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。
スイッチ２０４は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲＳＴにリセットするためのスイッチであり、信号ＨＲＳＴにより制御される。

ラインメモリ２０３のｍ個の出力の各々にはスイッチ２０５（Ｈ₀〜Ｈ_m-1）が設けられている。後述する水平走査回路２０６によってスイッチ２０５をＨ₀から順次走査することで、スイッチ２０５を通じてラインメモリ２０３に記憶された光電変換部２０１の出力が水平出力線に順次出力され、一行分の光電変換出力が読み出される。

水平走査回路２０６は、スイッチ２０５を順次オンにして、ラインメモリ２０３に記憶された光電変換部２０１の出力を順次、水平出力線に出力させる。信号ＰＨＳＴはデータ入力、ＰＨ１、ＰＨ２はシフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる。水平走査回路２０６のＰＨ１、ＰＨ２にシフトクロックを入力してＰＨＳＴを順次シフトさせることにより、スイッチ２０５をＨ₀からＨ_m-1の順で順次オンすることができる。ＳＫＩＰは、水平走査回路２０６に間引き読み出しの設定を行うための制御端子入力である。ＳＫＩＰにＨレベルの信号を入力することにより、水平走査回路２０６の走査を所定間隔でスキップさせることが可能であり、それによって間引き読み出しを実現する。

垂直走査回路２０８はＶ₀からＶ_n-1を順次出力することにより、光電変換部２０１に接続されたスイッチ２０２をラインごとに選択する。垂直走査回路２０８においても、水平走査回路２０６と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定ＳＫＩＰにより制御される。制御入力に対する動作は水平走査回路２０６と同様であるので詳細説明は省略する。

（画素の構造）
図３および図４は、撮像用画素と焦点検出用画素の構造例を示す図である。本実施形態の撮像素子１０７は、２行×２列の４画素を１単位として、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列の画素配置が採用されている。そして、このようなベイヤー配列の画素群の一部の画素を、焦点検出用画素としている。焦点検出用画素は、離散的に配置され、位相差検出方式の焦点検出に用いる焦点検出用信号を生成するために用いられる。

図３（ａ）は２行×２列の撮像用画素の平面図である。上述の通り、ベイヤー配列では対角方向に２つのＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこのような２行×２列の配列が撮像素子１０７の全体にわたって繰り返される。

図３（ｂ）は、図３（ａ）のＡ−Ａ断面と、撮影光学系からの光路を示す図である。
ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦ_ＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦ_ＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは画素の光電変換部２０１を模式的に示したもの、ＣＬはＣＭＯＳイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部ＰＤの有効面積は大面積に設計される。また、図３（ｂ）ではＲ画素の入射光束について図示したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造を有する。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図４（ａ）は、焦点検出用画素対を含む２行×２列の画素の平面図である。記録もしくは表示用の画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方で緑色以外の色の画素、すなわちＲ画素もしくはＢ画素は、色情報（色差情報）を取得する画素であるが、人間の画像認識特性は色情報に鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素の位置に焦点検出用画素対Ｓ_ＨＡ及びＳ_ＨＢを配置している。

図４（ｂ）は、図４（ａ）のＡ−Ａ断面（すなわち、焦点検出用画素対の断面）と、撮影光学系からの光路を示す図である。
マイクロレンズＭＬと、光電変換部ＰＤは図３（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像信号として利用しないため、色分離用カラーフィルタの代わりに無色透明なフィルタＣＦ_Ｗ（Ｗｈｉｔｅ）が配置される。また、画素で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏心している。すなわち、焦点検出用画素対を構成する焦点検出用画素Ｓ_ＨＡと焦点検出用画素Ｓ_ＨＢの開口は、互いに異なる方向に偏心している。

具体的には、焦点検出用画素Ｓ_ＨＡの開口部ＯＰ_ＨＡは右側に偏心しているため、撮影光学系ＴＬの左側の射出瞳ＥＰ_ＨＡを通過した光束を受光する。同様に、焦点検出用画素Ｓ_ＨＢの開口部ＯＰ_ＨＢは左側に偏心しているため、撮影光学系ＴＬの右側の射出瞳ＥＰ_ＨＢを通過した光束を受光する。水平方向に規則的に配列した複数の焦点検出用画素Ｓ_ＨＡで取得した輝度波形をＡ像波形（第１の像波形）とする。また、水平方向に規則的に配列した複数の焦点検出用画素Ｓ_ＨＢで取得した輝度波形をＢ像波形（第２の像波形）とする。これらＡ像波形とＢ像波形の相対位置を検出し、像のずれ量に対して変換係数を乗じることで被写体像のピントずれ量（デフォーカス量）を算出できる。

図５は、本実施形態において、撮影レンズの垂直方向（縦方向）に瞳分割を行なって、位相差検出方式の焦点検出に用いる焦点検出用信号を生成するための焦点検出用画素の配置と構造の例を示す。
図５（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図４（ａ）と同様に、Ｇ画素は撮像用画素として残し、ＲとＢの画素位置に焦点検出用画素対ＳＶＣ及びＳＶＤを配置している。

図５（ｂ）は、図５（ａ）のＡ−Ａ断面（すなわち、焦点検出用画素対の断面）と、撮影光学系からの光路を示す図である。
図４（ｂ）との比較から分かるように、図５（ｂ）の画素は瞳分離方向が縦方向になっていること以外、焦点検出用画素の構造は共通である。すなわち、焦点検出用画素Ｓ_ＶＣの開口部ＯＰ_ＶＣは垂直方向下側に偏倚しているため、撮影レンズＴＬの上側の射出瞳ＥＰ_ＶＣを通過した光束を受光する。同様に、焦点検出用画素Ｓ_ＶＤの開口部ＯＰ_ＶＤは垂直方向上側に偏倚しているため、撮影レンズＴＬの下側の射出瞳ＥＰ_ＶＤを通過した光束を受光する。

垂直方向に規則的に配列した複数の焦点検出用画素Ｓ_ＶＣで取得した被写体像をＣ像波形とする。また、垂直方向に規則的に配列した複数の焦点検出用画素Ｓ_ＶＤで取得した被写体像をＤ像波形とする。これらＣ像波形とＤ像波形の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。

図６は、焦点検出領域に対応する撮像素子の領域における撮像用画素および焦点検出用画素の配置例を示した図である。Ｇは緑フィルタが配置された画素（Ｇ画素）、Ｒは赤フィルタが配置された画素（Ｒ画素）、Ｂは青フィルタが配置された画素（Ｂ画素）である。図中のＳ_ＨＡは、画素部の開口を水平方向に偏倚させて（画素部の中心位置に対してずらして）形成された焦点検出用の画素である。また、Ｓ_ＨＢは、画素の開口部をＳ_ＨＡ画素とは、逆方向に偏倚させて形成された画素である。画素Ｓ_ＨＡの出力値から得られる焦点検出用画素信号と、画素Ｓ_ＨＢの出力値から得られる焦点検出用画素信号とから、水平方向の像ずれ量を検出する。図６では、Ｓ_ＨＡ、Ｓ_ＨＢ画素の白抜き部分が、偏倚した画素の開口位置を模式的に示している。なお、本発明に用いることのできる画素構成としてはこれに限らず、イエロー、マゼンタ、シアンなどの補色のフィルタを用いることも、その配列を自由に構成することもできる。その構成の中で、瞳領域が互いに逆方向に偏倚している一対の焦点検出用画素があれば本発明を適用できる。

図７は、撮像画面（または撮像素子の有効画素領域）上の焦点検出領域の設定例を示す図である。ここで、焦点検出領域は６つの領域に区切られて図示されているが、個々の領域に含まれる画素は図６に示した配置を有するものとする。本実施形態では焦点検出領域を撮像画面の中央に複数設定しており、それぞれの焦点検出領域に結像された被写体像から、焦点検出領域に配置された焦点検出用画素で像をサンプリングしている。

図８〜図１１は、本実施形態に係るカメラ１００の動作を説明するためのフローチャートである。以下、先に説明した各図も参照しながら、本実施形態に係るカメラ１００の動作を説明する。なお、図８〜図１１に示す各ステップで実行される処理は、特に異なる説明がなされている場合を除き、ＣＰＵ１２１がプログラムを実行してカメラ１００の各部を制御することによりソフトウェア的に実現されるものとして説明する。しかしながら、ＣＰＵ１２１の動作として説明される処理の一つ以上が、プログラマブルロジックやＡＳＩＣ、ディスクリートな電子回路などといったハードウェアによって実施されてもよいことに留意すべきである。

まず、図８を参照して、カメラ１００の全体的な動作を説明する。この動作は、例えばユーザがカメラ１００の電源スイッチをオン操作することによって開始される。
Ｓ８０２においてＣＰＵ１２１は、カメラ１００内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。

Ｓ８０４においてＣＰＵ１２１は、カメラ１００をライブビューモードにセットすることで、撮像素子１０７に周期的な撮像動作（動画撮影）を開始させ、表示器１３１へのライブビュー画像表示を行う。

Ｓ８０５でＣＰＵ１２１は、絞り制御信号を絞りシャッタ駆動回路１２８に送信し、絞りシャッタアクチュエータ１１２を通じて絞り１０２の開口径を撮影絞り値に設定する。なお、撮影絞り値は、測光センサ（不図示）により測光した被写界輝度と予め記憶されたプログラム線図などによってＣＰＵ１２１が自動的に決定した絞り値であってよい。あるいは、操作スイッチ群１３２を通じてユーザが手動で設定した絞り値であってもよい。

Ｓ８０６でＣＰＵ１２１は、例えば操作スイッチ群１３２に含まれるレリーズスイッチが半押しされたことにより焦点検出動作の開始が指示されたか否かを判定する。そして、ＣＰＵ１２１は、焦点検出動作の開始が指示されるまで待機し、指示されるとＳ９０１の焦点検出処理を実行する。

図９に示すフローチャートを参照して、Ｓ９０１における、ライブビュー動作中における焦点検出動作を説明する。
本実施形態では、焦点検出を行なう際に、焦点検出領域内に存在する焦点検出用画素のうち、欠陥画素を除いた焦点検出用画素群から得られる１対の像信号（焦点検出信号）の特徴量を求める。ここで、焦点検出信号の特徴量とは、焦点検出信号の最大値、最小値、コントラスト値など、焦点検出信号から得られる像の特徴を定量的に評価する量を示す。

Ｓ９０２でＣＰＵ１２１は、焦点検出領域に配置された焦点検出用画素に欠陥画素が含まれているかどうか判定する。なお、欠陥画素の位置に関する情報は、予めＣＰＵ１２１の内部メモリ等に記憶されており、ＣＰＵ１２１は、この情報に基づいて焦点検出領域内の焦点検出用画素が欠陥画素か否かを判定することができる。ただし、欠陥画素かどうかの判定は、画素の出力信号に基づいて行うなど、他の方法で行ってもよい。

Ｓ９０３でＣＰＵ１２１は、撮影されている動画の現フレームにおける焦点検出用画素の出力信号を内部メモリに記憶する。なお、記憶する出力信号は、撮像素子から読み出したアナログ信号値をＣＰＵ１２１が有するＡ／Ｄ変換器により変換したデジタル値（画素データ）であってよい。

Ｓ９０４でＣＰＵ１２１は、内部メモリに記憶した焦点検出用画素の画素データを読み出し、加算処理を行なう。この加算処理について図１０を参照して説明する。本実施形態では、フォーカスレンズ（第３レンズ群１０５）が合焦位置に移動する間も並行して焦点検出動作が可能であり、図１０では時間経過に伴ってフォーカスレンズが合焦位置に近づいている様子を示している。

図１０の最上部に、時間経過を動画像のフレーム画像の読出し期間Ｔｓと、フレーム画像の読み出しサイクルで示している。現フレームの読み出しサイクルがｎであり、従って現フレームの読み出し期間はｎＴｓとなる。読み出された最新のフレーム画像データによって表示を順次更新することにより動画像を表示する。

各フレーム画像中の焦点検出用画素の出力信号（画素データ）は、読み出しサイクルごとにＣＰＵ１２１の内部メモリに個別に記憶される。例えば、読み出しサイクルｎ（現フレーム）で読み出された焦点検出用画素の画素データは、種類ごとに焦点検出用画素データ群ａ（ｎ）として記憶される。

上述の通り、焦点検出用画素にはＳ_ＨＡ、Ｓ_ＨＢ及び／又はＳ_ＶＣ、Ｓ_ＶＤがあり、Ｓ_ＨＡ群とＳ_ＨＢ群、Ｓ_ＶＣ群とＳ_ＶＤ群が対で用いられる。本実施形態では図６に示したようにＳ_ＨＡ、Ｓ_ＨＢの焦点検出用画素が焦点検出領域に配置されているため、各フレーム画像で焦点検出領域ごとにＳ_ＨＡ群とＳ_ＨＢ群から１対の画素データ群が得られる。各画素データ群から１つの像信号（焦点検出用画素信号）が得られ、Ｓ_ＨＡ群から得られる像信号とＳ_ＨＢ群から得られる像信号の位相差をデフォーカス量として検出する。

本実施形態では、同じ焦点検出用画素群から得られた過去の焦点検出用画素信号（あるいは像信号）を、必要に応じて１フレーム数にわたって加算する。この加算フレーム数は、各焦点検出用画素群の画素データ（または焦点検出用画素データ群から得られる焦点検出用画素信号）の最大値と最小値の差分（ピーク値−ボトム値：以下ＰＢ値と称す）の小さい方に基づいて制御する。この制御の詳細については後で述べる。

本実施形態においてＣＰＵ１２１は、ＰＢ値を算出する際に、Ｓ９０２で欠陥画素であると判定された焦点検出用画素の座標（位置）を参照する。焦点検出用画素群に欠陥画素が含まれていない場合、ＣＰＵ１２１は、１対の画素データ群のそれぞれについてＰＢ値を算出する。一方、焦点検出用画素群に欠陥画素が含まれる場合、ＣＰＵ１２１は、欠陥画素を除いた焦点検出用画素の値から、各画素データ群もしくは各焦点検出用画素信号についてＰＢ値を算出する。ここで算出した、各画素データ群の最大値、最小値、ＰＢ値は後で使用するため、内部メモリにフレームごとに記憶しておく。

ここでは、ＰＢ値の小さい方の画素データ群（像信号）をａ（ｎ）として説明をする。ＰＢ値の小さい方の画素データ群から画素データの加算数（以下、フレーム加算数）が決定すると、ＰＢ値の大きい方の画素データ群についても同様の加算を行う。

フレーム加算数の決定方法について説明する。まず、ＣＰＵ１２１は、現フレームの焦点検出用画素信号のＰＢ値と予め定められたしきい値ＰＢｔｈとを比較する。そして、ＰＢ値がしきい値より大きい、すなわちＰＢ＞ＰＢｔｈであれば、過去のフレーム画像から得られた焦点検出用画素信号を加算することなく、現フレームの焦点検出用画素信号を加算画素信号とする。図１０の例では、現フレームで得られた焦点検出用画素信号ａ（ｎ）のＰＢ値がしきい値ＰＢｔｈを超えているため、ａ（ｎ）をそのまま加算画素信号Ａ（ｎ）としている。

一方、現フレームの焦点検出用画素信号のＰＢ値がしきい値以下、すなわちＰＢ≦ＰＢｔｈの場合、ＣＰＵ１２１は直前のフレーム画像から得られた焦点検出用画素信号を現フレーム画像から得られた焦点検出用画素信号に加算する。そしてＣＰＵ１２１は、加算信号のＰＢ値を算出する。加算信号のＰＢ値が依然としてＰＢｔｈを超えていない場合、ＣＰＵ１２１は加算信号のＰＢ値がＰＢｔｈを超えるまで、さらに過去のフレーム画像から得られた焦点検出用画素信号の加算と、加算信号のＰＢ値の算出ならびにＰＢｔｈとの比較を順次行う。

ＣＰＵ１２１は加算信号のＰＢ値がＰＢｔｈを超えた時点で加算処理を終了し、加算処理後の信号を加算画素信号とする。図１０の例では、焦点検出画素信号ｂ（ｎ−１）のＰＢ値がしきい値ＰＢｔｈを超えていないため、ＣＰＵ１２１は前フレームで取得した焦点検出用画素信号ｃ（ｎ−２）をｂ（ｎ−１）に加算する。加算信号ｂ（ｎ−１）＋ｃ（ｎ−２）のＰＢ値はしきい値ＰＢｔｈを超えるため、ｂ（ｎ−１）＋ｃ（ｎ−２）を加算画素信号Ｂ（ｎ−１）とする。

また、本実施形態ではフレーム加算数に上限を設け、上限数加算しても加算信号のＰＢ値がしきい値を超えない場合には、上限数を加算した結果を加算画素信号とする。本実施形態ではフレーム加算数の上限数を３としている。図１０の例では、焦点検出画素信号ｃ（ｎ−２）のＰＢ値がＰＢｔｈを超えないため、前フレームの焦点検出用画素信号ｄ（ｎ−３）を加算するが、依然としてＰＢ値がＰＢｔｈを超えない。そのため、ＣＰＵ１２１はさらに前フレームの焦点検出用画素信号ｅ（ｎ−４）を加算する。得られた加算信号ｃ（ｎ−２）＋ｄ（ｎ−３）＋ｅ（ｎ−４）のＰＢ値は依然ＰＢｔｈを超えないが、ＣＰＵ１２１は加算上限数である３フレーム分の焦点検出用画素信号を加算したｃ（ｎ−２）＋ｄ（ｎ−３）＋ｅ（ｎ−４）を加算画素信号Ｃ（ｎ−２）とする。

なお、以下の説明においては、各フレーム画像に対応する加算画素信号を焦点検出用信号と称す。
Ｓ９０５でＣＰＵ１２１は、１対の焦点検出用信号の正規化を行なう。焦点検出用画素は、図５および図６に示した構造を有するため、配置位置の像高や、製造誤差などによるマイクロレンズＭＬの光軸ずれなどによって、１対の焦点検出用信号に出力差が生じる。Ｓ９０５で行なう正規化処理は、デフォーカス量の算出に用いる１対の焦点検出用信号の出力差を補正する処理であり、焦点検出用信号の最大値を揃えるようゲインを調節する。Ｓ９０５でＣＰＵ１２１は、Ｓ９０４で得られた１対の焦点検出用信号の最大値が一致するよう、一方の焦点検出用信号に正又は負のゲインを適用する。

次にＳ９０６、Ｓ９０７でＣＰＵ１２１は、Ｓ９０５で正規化された１対の焦点検出用信号に対してデジタルフィルタを適用し、相関演算に不要な周波数成分を除去する。具体的にはまず焦点検出用信号のコントラスト値を求め、コントラスト値に応じて予め定められた種類のデジタルフィルタを適用する。例えば、コントラスト値が高い場合には高周波成分を残す特性を有するバンドバスフィルタを、コントラスト値が低い場合には高周波成分を除去する特性を有するバンドパスフィルタを用いることができる。ここで、コントラスト値は、焦点検出用画素群の隣接する画素の出力差の絶対値の和から算出する１次コントラストや、隣接する画素間における出力差の２乗和から算出する２次コントラストを用いることができる。

Ｓ９０６でＣＰＵ１２１は、焦点検出用信号のコントラスト値を算出する。本実施形態では、ＰＢ値の算出と同様、コントラスト値の算出についても欠陥画素である焦点検出用画素の出力値を用いない。

ＣＰＵ１２１は、焦点検出用画素群に欠陥画素がなければ、１対の焦点検出用信号を構成する画素データの値から、上述したコントラスト値をそれぞれ算出する。
一方、焦点検出用画素群に欠陥画素がある場合、ＣＰＵ１２１は欠陥画素を除いた焦点検出用画素のデータを用いて焦点検出用信号ごとにコントラスト値を算出する。

Ｓ９０７でＣＰＵ１２１は個々の焦点検出用信号について、Ｓ９０６で算出された像のコントラスト値に対応するデジタルフィルタを選択する。通常、個々の焦点検出用信号のコントラスト値はほぼ等しいが、ここでは平均値に応じた１つのデジタルフィルタを選択して１対の焦点検出用信号に適用する。

Ｓ９０８でＣＰＵ１２１は、Ｓ９０７でフィルタ処理された１対の焦点検出信号に対して相関演算処理を行ない、焦点検出用信号の像ずれ量（位相差）を算出する。

Ｓ９１０でＣＰＵ１２１は、相関演算処理により得られた像ずれ量に予め用意された変換係数を乗じてデフォーカス量を算出する。

Ｓ９１１でＣＰＵ１２１は合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が合焦近傍として予め規定された所定値以内か否か判定する。合焦近傍でないと判定された場合、ＣＰＵ１２１は処理をＳ９１２へ進め、デフォーカス量をフォーカス駆動回路１２６へ送信し、フォーカスアクチュエータ１１４を通じてフォーカスレンズ（第３レンズ群１０５）を駆動する。

Ｓ９１１において合焦近傍であると判定された場合、ＣＰＵ１２１は処理をＳ９１３に進め、例えば表示器１３１に表示されているライブビュー画像に重畳させて合焦表示を行ない、焦点検出処理を終了する。

図８に戻って、Ｓ８０７でＣＰＵ１２１は、操作スイッチ群１３２の動画撮影開始スイッチがオンされたか否かを判定する。ＣＰＵ１２１は、動画撮影開始スイッチがオンされていない場合は処理をＳ９０１に戻して再度焦点検出処理を行い、オンされた場合は処理をＳ１１０１に進めて動画撮影処理を実行する。

図１１に示すフローチャートを参照して、動画撮影処理を説明する。
Ｓ１１０２でＣＰＵ１２１は撮像素子１０７から画像読み出しが行う。次に、Ｓ９０１で、ＣＰＵ１２１は上述した焦点検出処理を行う。Ｓ１１０３でＣＰＵ１２１はＳ８０５と同様にして露出条件を決定する測光処理を行う。測光終了後、Ｓ１１０４においてＣＰＵ１２１は、記憶しているフォーカスレンズ位置を更新する。

Ｓ１１０５でＣＰＵ１２１は、Ｓ１１０２で撮像素子１０７から読み出した画像に対し、焦点検出用画素の位置に対応する画素データを周辺の撮像画素データを用いて補間した後、現像処理を行い、フレーム画像データを生成する。そして、Ｓ１１０６でＣＰＵ１２１は動画記録処理を行う。

Ｓ１１０７でＣＰＵ１２１は操作スイッチ群１３２を通じて動画記録の終了が指示されたか（あるいは、他の動画記録終了条件が満たされたか）否かを判定する。動画記録の終了が指示されていない場合、ＣＰＵ１２１は処理をＳ１１０２に戻し、次のフレーム画像の読み出しを行う。Ｓ１１０７において動画記録の終了が指示されていれば、動画撮影処理を終了し、一連の撮影動作を終了する。

以上説明したように、本実施形態によれば、撮像素子に配置され、焦点検出用信号を生成するための複数の焦点検出用画素が欠陥画素を含む場合には、欠陥画素を除く焦点検出用画素の出力信号から焦点検出信号の特徴量を算出する。そのため、欠陥画素の出力信号が特徴量に与える影響を抑制することが可能となり、結果として焦点検出誤差を低減することができる。

（変形例）
上述の実施形態では、欠陥画素でない焦点検出用画素の出力信号から得た焦点検出信号によって焦点検出信号の特徴量を算出することで、欠陥画素の出力信号が特徴量に与える影響を抑制した。しかし、欠陥画素であるために利用しなかった焦点検出用画素がある場合、焦点検出信号を構成する画素データ数が減るため、コントラスト値のように各画素データの値が影響する特徴量には、欠陥画素を使用しなかったことによる誤差が発生する。

そのため、特徴量の算出時に一時的に、欠陥画素の出力信号の代わりに周囲の焦点検出用画素のデータを用いて補間演算した欠陥画素位置の画素データを用いて、焦点検出信号の特徴量を算出するようにしてもよい。焦点検出信号の特徴量を算出する際に、欠陥画素の推定出力信号を周辺の焦点検出用画素の出力信号を補間することで求めて用いることにより、画素データ数の減少による誤差を低減することが可能である。

また、焦点検出用画素が離散的に配置されている場合はサンプリングピッチが粗くなるので、特に空間周波数の高い被写体などにおいては、欠陥画素の出力信号を精度良く推定することは難しい。そのため、欠陥画素の欠陥レベルが予め定められたレベルより低い場合、デフォーカス量に影響が大きな相関演算処理を行う場合には、補間によって推定された信号値ではなく、欠陥画素の出力信号値を用いるようにしてもよい。

本変形例に係る焦点検出動作は、Ｓ９０３とＳ９０４の間で、欠陥画素の焦点検出用画素の推定出力信号値を周囲の欠陥画素でない焦点検出用画素の出力信号値の補間により算出するＳ１２０１の処理を実行することを除き、図９を用いて説明した処理と同様である。

ただし、Ｓ９０４の加算処理においては、欠陥画素の推定値と欠陥画素以外の焦点検出用画素の値とから得られる焦点検出用画素信号に対してＰＢ値を算出する。
また、Ｓ９０８での相関演算処理には、欠陥画素の出力信号を使用するため、フレーム加算数が決定した後は、推定値の代わりに欠陥画素の（実際の）値を用いて得られる焦点検出用信号に対して加算処理を適用する。

以上説明した実施形態は代表的な例にすぎず、本発明の実施に際しては、実施形態に対して種々の変形や変更が可能である。

Claims (5)

1. 位相差検出方式の焦点検出に用いる１対の焦点検出用信号を生成するための複数の焦点検出用画素が配置された撮像素子と、
   前記複数の焦点検出用画素のうち欠陥画素以外の出力から得られる特徴量と、前記複数の焦点検出用画素のうち欠陥画素以外および欠陥レベルが予め定められたレベルより低い欠陥画素の出力と、に基づいて、前記１対の焦点検出用信号を生成する生成手段と、
   前記１対の焦点検出用信号の像ずれ量からデフォーカス量を算出する算出手段と、を有することを特徴とする撮像装置。
2. 前記複数の焦点検出用画素は、複数の第１の焦点検出用画素と複数の第２の焦点検出用画素を含み、
   前記特徴量が、前記複数の第１の焦点検出用画素のうち欠陥画素以外の出力から得られる第１の焦点検出用画素信号もしくは前記複数の第２の焦点検出用画素のうち欠陥画素以外の出力から得られる第２の焦点検出用画素信号のピーク値、ボトム値であり、
   前記生成手段は、前記ピーク値とボトム値との差が予め定められたしきい値以下の場合、前記差が前記しきい値を超えるまで、前記複数の第１の焦点検出用画素のうち欠陥画素以外および欠陥レベルが予め定められたレベルより低い欠陥画素の出力から得られる第３の焦点検出用画素信号および前記複数の第２の焦点検出用画素のうち欠陥画素以外および欠陥レベルが予め定められたレベルより低い欠陥画素の出力から得られる第４の焦点検出用画素信号ごとに、過去に得られた焦点検出用画素信号を加算する加算処理を行い、加算処理後の前記第３の焦点検出用画素信号および加算処理後の前記第４の焦点検出用画素信号を用いて前記１対の焦点検出用信号を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記１対の焦点検出用信号のコントラスト値を検出する検出手段をさらに有し、
   前記生成手段は、コントラスト値が高いほど高周波成分を残すようなフィルタを前記１対の焦点検出用信号に適用することを特徴とする請求項１または２に記載の撮像装置。
4. 前記複数の焦点検出用画素のうち欠陥画素の出力を、前記複数の焦点検出用画素のうち、該欠陥画素の周囲の、欠陥画素以外の出力から推定する推定手段をさらに有し、
   前記生成手段は、前記特徴量として、前記複数の焦点検出用画素のうち欠陥画素以外の出力と、前記推定手段により推定された出力とから得られる特徴量を用いることを特徴とする請求項１に記載の撮像装置。
5. 位相差検出方式の焦点検出に用いる１対の焦点検出用信号を生成するための複数の焦点検出用画素が配置された撮像素子を有する撮像装置の制御方法であって、
   生成手段が、前記複数の焦点検出用画素のうち欠陥画素以外の出力から得られる特徴量と、前記複数の焦点検出用画素のうち欠陥画素以外および欠陥レベルが予め定められたレベルより低い欠陥画素の出力と、に基づいて、前記１対の焦点検出用信号を生成する生成工程と、
   算出手段が、前記１対の焦点検出用信号の像ずれ量からデフォーカス量を算出する算出工程と、を有することを特徴とする撮像装置の制御方法。

Images