JP6559021B2 - 撮像装置およびその制御プログラム - Google Patents

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特に撮像素子を用いて位相差検出方式による焦点検出を行う撮像装置に関する。

上記のような撮像装置に撮影画像を取得するために設けられる撮像素子には、撮像光学系の焦点検出を行うために被写体像の像ずれ量（位相差）を検出する機能を備えた複数の画素（以下、位相差検出画素という）を有するものがある。ただし、位相差検出画素が欠陥画素を含むと、良好な位相差検出が行えずに高精度な焦点検出を行えない場合がある。

特許文献１には、焦点検出の精度が確保される範囲で欠陥画素を利用することができるように、絞りの設定値に応じて欠陥画素を利用するか否かを選択する撮像装置が開示されている。特許文献２には、欠陥画素である位相差検出画素からの画素信号を、欠陥画素ではない位相差検出画素からの画素信号を用いて補正する撮像装置が開示されている。特許文献３には、焦点検出を行う画素領域（ピント調節領域）に欠陥画素が含まれる場合に、この欠陥画素を含むピント調整領域から所定方向に移動した、欠陥画素を含まないピント調節領域を設定する撮像装置が開示されている。

特開２０１３−００３２８２号公報 特開２００９−１６３２２９号公報 特開２００１−１７７７５６号公報

しかしながら、特許文献１にて開示された撮像装置では、絞りの設定値でのみ欠陥画素を利用するか否かを選択するため、撮像素子の光学的な製造ばらつきや撮像光学系の射出瞳距離の変動の焦点検出への影響が考慮されていない。また、特許文献２にて開示された撮像装置では、位相差検出画素が撮像素子上に離散的に配置されているとサンプリングピッチが粗くなるため、特に空間周波数の高い被写体を撮像する際に正確に欠陥画素の画素信号を補正することが難しい。また、特許文献３にて開示された撮像装置では、ピント調節領域の変更によってユーザが望まない被写体にピント調節がされてしまうおそれがある。

さらに、欠陥画素である位相差検出画素が、撮影画像を取得するための撮像画素を兼ねている場合がある。この場合に、該欠陥画素から位相差検出用の信号を読み出すときと撮影画像用の信号を読み出すときとでは、その信号を補正処理の対象とするか否かを判定する信号レベルが異なることがある。

本発明は、欠陥画素を位相差検出（焦点検出）や撮影画像の取得に有効利用することができるようにした撮像装置を提供する。

本発明の一側面としての撮像装置は、撮像光学系により形成された被写体像を複数の画素により光電変換する撮像素子と、該複数の画素からの出力信号を用いて表示または記録用の画像信号を生成するとともに、該複数の画素のうち位相差検出画素群からの出力信号を用いて撮像光学系の焦点状態に応じた位相差を有する位相差像信号を生成する信号生成手段と、位相差像信号から位相差を検出する位相差検出手段と、該位相差を用いて撮像光学系のフォーカス制御を行うフォーカス制御手段と、撮像素子に含まれる欠陥画素に関する情報を記憶した記憶手段と、位相差検出画素群に欠陥画素が含まれている場合に、位相差像信号および画像信号に対して欠陥画素対応処理を行うことが可能な処理手段とを有する。そして、処理手段は、欠陥画素に関する情報を用いて、位相差像信号および画像信号のそれぞれに対して、欠陥画素対応処理を行うか否かを別々に選択することを特徴とする。

また、本発明の他の一側面としての制御プログラムは、撮像光学系により形成された被写体像を複数の画素により光電変換する撮像素子を有する撮像装置のコンピュータに、該複数の画素からの出力信号を用いて表示または記録用の画像信号を生成する画像生成処理と撮像光学系のフォーカス制御を行うフォーカス制御処理とを行わせるコンピュータプログラムである。フォーカス制御処理は、複数の画素のうち位相差検出画素群からの出力信号を用いて撮像光学系の焦点状態に応じた位相差を有する位相差像信号を生成し、位相差像信号から位相差を検出し、該位相差を用いてフォーカス制御を行う処理である。該プログラムは、コンピュータに、撮像素子に含まれる欠陥画素に関する情報を取得させ、位相差検出画素群に欠陥画素が含まれている場合に、位相差像信号および画像信号に対して欠陥画素対応処理を行うことを可能とし、欠陥画素に関する情報を用いて、位相差像信号および画像信号のそれぞれに対して、欠陥画素対応処理を行うか否かを別々に選択させることを特徴とする。

また、本発明の他の一側面としての撮像装置は、撮像光学系により形成された被写体像を複数の画素により光電変換する撮像素子と、該複数の画素のうち位相差検出画素群からの出力信号を用いて撮像光学系の焦点状態に応じた位相差を有する位相差像信号を生成する信号生成手段と、位相差像信号から位相差を検出する位相差検出手段と、該位相差とデフォーカス変換係数とを用いて撮像光学系のデフォーカス量を算出し、該デフォーカス量に応じて撮像光学系のフォーカス制御を行うフォーカス制御手段と、撮像素子に含まれる欠陥画素に関する情報を記憶した記憶手段と、位相差検出画素群に欠陥画素が含まれている場合に、位相差像信号に対して欠陥画素対応処理を行うことが可能な処理手段とを有する。そして、フォーカス制御手段は、撮像光学系の状態および位相差検出画素群の位置に応じてデフォーカス変換係数を設定する。処理手段は、欠陥画素に関する情報を用いてデフォーカス変換係数に対する閾値を設定し、デフォーカス変換係数と閾値とを比較した結果に応じて欠陥画素対応処理を行うか否かを選択することを特徴とする。

また、本発明の他の一側面としての制御プログラムは、撮像光学系により形成された被写体像を複数の画素により光電変換する撮像素子を有する撮像装置のコンピュータに、該複数の画素からの出力信号を用いて撮像光学系のフォーカス制御を行うフォーカス制御処理を行わせるコンピュータプログラムである。フォーカス制御処理は、複数の画素のうち位相差検出画素群からの出力信号を用いて撮像光学系の焦点状態に応じた位相差を有する位相差像信号を生成し、位相差像信号から位相差を検出し、該位相差とデフォーカス変換係数とを用いて撮像光学系のデフォーカス量を算出し、該デフォーカス量に応じて撮像光学系のフォーカス制御を行う処理である。該プログラムは、コンピュータに、撮像素子に含まれる欠陥画素に関する情報を取得させ、位相差検出画素群に欠陥画素が含まれている場合に、位相差像信号に対して欠陥画素対応処理を行うことを可能とし、撮像光学系の状態および位相差検出画素群の位置に応じてデフォーカス変換係数を設定させ、欠陥画素に関する情報を用いてデフォーカス変換係数に対する閾値を設定させる。そして、デフォーカス変換係数と閾値とを比較した結果に応じて欠陥画素対応処理を行うか否かを選択させることを特徴とする。

本発明によれば、欠陥画素を位相差検出（フォーカス制御）や画像信号の取得に有効利用することができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１の撮像装置に用いられる撮像素子の１画素の構成を示す図。 上記撮像素子の画素アレイの一部を示す正面図。 射出瞳と上記撮像素子が受光する光との関係を示す模式図。 上記撮像素子の画素の回路を示す図。 実施例１における撮像素子の駆動パターンを示すタイミングチャート。 実施例１におけるフォーカス制御処理を示すフローチャート。 実施例１におけるＡＦ画素行が欠陥画素を含む場合の画素信号を示す図。 実施例１における欠陥画素対応処理を示すフローチャート。 実施例１における画素のケラレを説明する図。 実施例１における位相差検出用光束の重心間隔を説明する図。 実施例１における画素のケラレを説明する別の図。 実施例１における位相差検出用光束の重心間隔を説明する別の図。 本発明の実施例２における欠陥画素対応処理を示すフローチャート。 実施例２における欠陥信号レベルと変換係数閾値との関係を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１であるデジタルスチルカメラやデジタルビデオカメラ等の撮像装置の構成を示している。撮像装置は、光学鏡筒１０１と、撮像素子１０２と、駆動回路１０３と、信号処理部１０４と、圧縮伸張部１０５とを有する。また、撮像装置は、位相差検出部１０６と、制御部１０７と、発光部１０８と、操作部１０９と、画像表示部１１０と、画像記録部１１１と、記憶部１１２と、温度検出部１１３とを有する。

光学鏡筒１０１は、被写体からの光を撮像素子１０２上に結像させる撮像光学系（図示せず：以下、撮像レンズという）を収容する。撮像レンズは、焦点調節を行うフォーカスレンズおよびフォーカスレンズの駆動を制御するフォーカス制御回路を含むフォーカス機構部１０１１と、変倍を行う変倍レンズおよび変倍レンズの駆動を制御するズーム制御回路を含むズーム機構部１０１２とを有する。また、撮像レンズは、撮像素子１０２に入射する光量を調整する絞り機構部１０１３と、撮像素子１０２の露光量を制御するシャッタ機構部１０１４も有する。フォーカス機構部１０１１、ズーム機構部１０１２、絞り機構部１０１３およびシャッタ機構部１０１４は、制御部１０７からの制御信号に応じて動作する。なお、光学鏡筒１０１は、撮像装置に一体に設けられていてもよいし、着脱（交換）可能に設けられていてもよい。

撮像素子１０２は、ＣＭＯＳセンサ等により構成され、複数の画素を含む画素部と、該画素部からのアナログ出力信号をデジタル出力信号に変換するＡＤコンバータ（図示せず）とを有する。撮像素子１０２は、制御部１０７からの制御信号に応じて動作する駆動回路１０３によって駆動されて露光（電荷蓄積）および信号出力（読み出し）を行い、上記デジタル出力信号としての撮像信号を出力する。

信号処理部１０４は、制御部１０７により制御され、撮像素子１０２の全画素から得られる撮像信号に対して、ホワイトバランス調整処理や色補正処理を行って表示または記録用の画像信号を生成する画像生成処理を行う。また、信号処理部１０４は、撮像信号から検出される被写体の明るさに応じて絞り値やシャッタ速度を設定するＡＥ（auto exposure）処理も行う。さらに、信号処理部（信号生成手段）１０４は、撮像素子１０２における後述するＡＦ画素行からの撮像信号を用いて、互いに対をなす位相差像信号を生成する。対の位相差像信号は、撮像レンズの焦点状態（デフォーカス量）に対応する位相差を有する。

圧縮伸張部１０５は、制御部１０７により制御され、信号処理部１０４からの画像信号に対してＪＰＥＧ方式等の静止画データフォーマットにより圧縮符号化処理を行う。また、圧縮伸張部１０５は、制御部１０７から供給された静止画像の符号化データを伸張復号化処理する。圧縮伸張部１０５は、ＭＰＥＧ方式等によって動画像の圧縮符号化／伸張復号化処理を行ってもよい。

位相差検出部１０６は、信号処理部１０４により生成された対の位相差像信号を取得し、該対の位相差像信号に対して相関演算を行うことによりこれら位相差像信号の位相差を検出（算出）する。そして、検出した位相差を制御部１０７に送る。制御部１０７は、位相差に基づいて撮像レンズの焦点状態を示すデフォーカス量を算出する。さらに、制御部１０７は、算出したデフォーカス量から、合焦状態を得るために必要なフォーカスレンズの駆動量（以下、フォーカス駆動量という）を算出し、該フォーカス駆動量を含むフォーカス制御信号をフォーカス機構部１０１１に送る。フォーカス機構部１０１１は、制御部１０７からのフォーカス制御信号に従い、フォーカス駆動量だけフォーカスレンズを移動させる。これにより、撮像面位相差検出方式によるフォーカス制御としてのＡＦ（autofocus）が行われる。

制御部１０７は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成されるマイクロコンピュータであり、ＲＯＭに記憶されたコンピュータプログラムを実行することにより撮像装置の全体を制御する。本実施例の制御部１０７は、撮像レンズのフォーカス制御を行うフォーカス制御手段および後述する欠陥画素対応処理を行う処理手段として機能する。

発光部１０８は、信号処理部１０４でのＡＥ処理において被写体の明るさが暗いと判定された場合に被写体に対して照明光を照射する。

操作部１０９は、シャッタレリーズボタン等の各種操作キー、レバー、ダイヤル等を含み、ユーザによる入力操作に応じた操作信号を制御部１０７に出力する。

画像表示部１１０は、ＬＣＤ等の表示デバイスやこれに対するインタフェース回路等を含み、制御部１０７から供給される画像信号を表示用フォーマットに変換する等して画像を表示デバイスに表示させる。

画像記録部１１１は、撮像装置に対して着脱が可能な半導体メモリ、光ディスク、ＨＤＤ、磁気テープ等により構成され、圧縮伸張部１０５により符号化された画像データファイルを制御部１０７から受け取って記憶する。また、画像記録部１１１は、制御部１０７からの読み出し制御信号に応じて画像データファイルを読み出して、制御部１０７に出力する。

記憶部１１２は、撮像装置における制御情報や撮像装置の個体ごとに製造／調整工程で調整された補正データ等を記憶する。さらに、記憶部１１２は、撮像素子１０２内の欠陥画素に関する情報（以下、欠陥画素情報という）を記憶している。欠陥画素情報は、欠陥画素のアドレス（座標）を示す情報と、欠陥画素から出力される信号のレベルを示す情報を含む。

温度検出部１１３は、撮像装置内における撮像素子１０２や制御部１０７等の電子部品の温度を検出し、検出した温度の情報を制御部１０７に送る。

図２には、本実施例における撮像素子１０２の１画素の構成を示している。画素２０１は、１つのマイクロレンズ２０２と、光電変換素子としての２つのフォトダイオード（ＰＤ）２０３，２０４とを有する。さらに、画素２０１は、ＰＤ２０３とＰＤ２０４のそれぞれの信号を読み出す転送スイッチ２０５，２０６と、ＰＤ２０３またはＰＤ２０４の信号を一時的に蓄積するフローティングディフュージョン（ＦＤ）２０７とを有する。画素２０１は、図示された構成要素以外にも後述する複数の構成要素を備えている。

図３には、撮像素子１０２における画素配列を示している。撮像素子１０２には、２次元画像を取得するために、複数の画素を２次元アレイ状に配列している。各画素は図２に示す構成を有する。例えば画素３０１，３０２，３０３，３０４において、３０１Ｌ，３０２Ｌ，３０３Ｌ，３０４Ｌは図２に示したＰＤ２０３に対応し、３０１Ｒ，３０２Ｒ，３０３Ｒ，３０４Ｒは図２に示したＰＤ２０４に対応する。

図３に示した画素配列を有する撮像素子１０２には、図４に示すように、撮像レンズの射出瞳を通過した光束が入射する。図４において、４０１は各画素の断面を示す。断面４０１に示すように、各画素は、マイクロレンズ２０２、ＰＤ２０３およびＰＤ２０４に加えて、カラーフィルタ４０３を有する。中央のマイクロレンズ２０２を有する画素に対して、射出瞳４０６からの光束の中心を光軸４０９とする。射出瞳４０６からの光束は、光軸４０９を中心として撮像素子１０２に入射する。４０７，４０８は撮像レンズの射出瞳４０６のうち一部の領域（以下、瞳領域という）を示す。瞳領域４０７からの光束のうち最外周の光線を４１０，４１１で示し、瞳領域４０８からの光束のうち最外周の光線を４１２，４１３で示す。

図４に示すように、射出瞳４０６からの光束のうち、光軸４０９を境にして上側の光束はＰＤ２０４に入射し、下側の光束はＰＤ２０３に入射する。つまり、ＰＤ２０３とＰＤ２０４はそれぞれ、射出瞳４０６における互いに異なる瞳領域４０７，４０８からの光束を受光する。この構成により、瞳分割が行われる。

図３に示す画素行３０５に含まれる画素３０１，３０２，３０３，３０４において、一方の瞳領域からの光束により形成される被写体像（Ａ像）を光電変換するＰＤ２０３に対応するＰＤ３０１Ｌ，３０２Ｌ，３０３Ｌ，３０４Ｌから得られる信号をＡ像信号とする。また、他方の射出瞳からの光束により形成される被写体像（Ｂ像）を光電変換するＰＤ２０４に対応するＰＤ３０１Ｒ，３０２Ｒ，３０３Ｒ，３０４Ｒから得られる信号をＢ像信号とする。Ａ像信号とＢ像信号は、前述した互いに対をなす位相差像信号に相当する。

図５には、図２に示した画素の等価回路の構成を示す。ここでは、模式的に３列１行分の画素の等価回路を示している。図５において、図２と同じ構成要素には同じ参照符号を付している。画素２０１の転送スイッチ２０５，２０６はそれぞれ、転送パルスφＴＸ１，φＴＸ２によって駆動され、それぞれ対応するＰＤ２０３，２０４で発生した光電荷をＦＤ２０７に転送する。ＦＤ２０７は電荷を一時的に蓄積するバッファとしての役割を有する。５０１はソースフォロアとして機能する増幅ＭＯＳアンプであり、５０２は垂直選択パルスφＳＥＬによって画素を選択する選択スイッチである。ＦＤ２０７、増幅ＭＯＳアンプ５０１および垂直出力線５０３に接続された不図示の定電流源からフローティングディフュージョンアンプが構成される。

選択スイッチ５０２で選択された画素のＦＤ２０７の信号電荷は、フローティングディフュージョンアンプにより電圧に変換されて、垂直出力線５０３に出力され、読み出し回路１０３に読み出される。５０４はリセットパルスφＲＥＳを受けてＶＤＤによりＦＤ２０７をリセットするリセットスイッチである。

上述したように、ＰＤ２０３，２０４はそれぞれに対応する転送スイッチ２０５，２０６を有するが、画素中の回路においてＦＤ２０７以降で信号読み出しに用いる回路は共有する。このような構成にすることで、画素の縮小化を図ることができる。また、図示したように転送パルスφＴＸ１，φＴＸ２を提供する配線は各行に配列された画素により共有される。

次に、撮像素子１０２の駆動方法について、撮像素子１０２の駆動パターンを示す図６のタイミングチャートを用いて説明する。図６には、１画素行分の信号を読み出し回路１０３に読み出す駆動における駆動パターンを示している。

まず、時間ｔ６０１の間にリセットパルスφＲＥＳと転送パルスφＴＸ１，φＴＸ２とが同時に高電位（以下、Ｈと記す）に設定される。これにより、リセットスイッチ５０４と転送スイッチ２０５，２０６がオンとなり、ＰＤ２０３，ＰＤ２０４およびＦＤ２０７の電位が初期電位ＶＤＤにリセットされる。その後、転送パルスφＴＸ１，φＴＸ２が低電位（以下、ＬＯと記す）に設定されると、ＰＤ２０３およびＰＤ２０４において電荷蓄積が始まる。

次に、電荷蓄積時間に基づいて決められる所定時間が経過した後、時間ｔ６０３において選択パルスφＳＥＬがＨに設定されて選択スイッチ５０２がオンになることで読み出し行が選択され、１画素行分の信号の読み出し動作が行われる。また同時にリセットパルスφＲＥＳがＬＯに設定されて、ＦＤ２０７のリセットが解除される。

時間ｔ６０３のうち時間ｔ６０４の間にφＴＮがＨに設定されると、読み出し回路１０３によりＦＤ２０７のリセット信号であるＮ信号が読み出されて記録される。なお、図示はしないが、読み出し回路１０３は、φＴＮ、φＳ１およびφＳ２の制御に基づいて、ＦＤ２０７の電位を垂直出力線５０３を介して読み出して記録する。

次に、時間ｔ６０３のうち時間ｔ６０５の間に転送パルスφＴＸ１とφＳ１とが同時にＨに設定されて転送スイッチ２０５がオンになることで、ＰＤ２０３の光信号とノイズ信号の加算信号である第１ＰＤ信号とが読み出し回路１０３により読み出されて記録される。

次に、リセットスイッチ５０４をオンしない状態で、時間ｔ６０３のうち時間ｔ６０６の間に転送パルスφＴＸ１，φＴＸ２とφＳ２とが同時にＨに設定されることで、転送スイッチ２０５，２０６がオンになる。これにより、ＰＤ２０３の光信号とＰＤ２０４の光信号とノイズ信号とが混合された加算信号である第２ＰＤ信号が読み出し回路１０３よりに読み出されて記録される。時間ｔ６０５において一度転送パルスφＴＸ１がオンに設定されてＰＤ２０３の信号がＦＤ２０７に読み出されているので、時間ｔ６０６では転送パルスφＴＸ１はオフ状態でもよい。また、厳密には、時間ｔ６０１の終了から時間ｔ６０６の終了までが電荷蓄積時間ｔ６０２となる。なお、転送パルスφＴＸ２をＨに設定してＰＤ２０４をリセットするタイミングを、時間ｔ６０５と時間ｔ６０６との時間差分、遅らせてもよい。

以上の動作で読み出し回路１０３により読み出されたＮ信号、第１ＰＤ信号および第２ＰＤ信号に基づいて、第１ＰＤ信号からノイズ信号を差分したＡ像信号と、第２ＰＤ信号からノイズ信号を差分した画像信号とが撮像素子１０２から出力される。この画像信号はＰＤ２０３とＰＤ２０４の信号を合成した信号（Ａ＋Ｂ像信号）であるので、該画像信号からＡ像信号を減算することでＢ像信号を生成することができる。

次に、本実施例の撮像装置において行われるフォーカス制御のための処理（フォーカス制御処理）について、図７のフローチャートを用いて説明する。制御部１０７は、コンピュータプログラムである制御プログラムに従って、このフォーカス制御処理を行う。なお、ここでは、画像表示部１１０に電子ファインダ画像（ライブビュー画像）としての表示用画像信号または記録用画像信号を生成する画像生成処理を行いながら撮像面位相差検出方式ＡＦを行う場合について説明する。

まず、ステップＳ７０１では、制御部１０７は、操作部１０９におけるＡＦ開始ボタンがＯＮ操作されたか否かを判定し、ＯＮ操作された場合にはステップＳ７０２へ進む。なお、ＡＦ開始ボタンがＯＮ操作されたか否かの判定に代えて、電子ファインダ画像の表示や動画像の記録を開始したか否かを判定してもよい。

ステップＳ７０２では、制御部１０７は、光学鏡筒１０１における撮像レンズの各種設定情報（レンズ情報）を取得する。

次に、ステップＳ７０３では、制御部１０７は、位相差検出部１０６に、撮像素子１０２のＡＦ画素行からの撮像信号に基づいて信号処理部１０４により逐次生成される位相差像信号（Ａ像信号およびＢ像信号）を取得させる。本実施例では、位相差検出部１０６に、上述したようにＡ＋Ｂ像信号からのＡ像信号の減算によってＢ像信号を生成させる。

次に、ステップＳ７０４では、制御部１０７は、位相差像信号および画像信号に対する欠陥画素対応処理の選択処理を行う。欠陥画素対応処理およびその選択処理については後に詳しく説明する。

次に、ステップＳ７０５では、制御部１０７は、位相差検出部１０６に、Ａ像信号およびＢ像信号に対する相関演算を行わせて、これらＡ像およびＢ像信号の位相差を検出させる。さらに、制御部１０７は、位相差に基づいて撮像レンズのデフォーカス量を算出する。

次に、ステップＳ７０６では、制御部１０７は、ステップＳ７０４で算出したデフォーカス量に基づいてフォーカス駆動量を算出する。

続いてステップＳ７０７では、制御部１０７は、フォーカス駆動量を含むフォーカス制御信号をフォーカス機構部１０１１に送り、フォーカスレンズを駆動させる。これにより、ＡＦを完了する。

なお、この後は、ステップＳ７０１からの処理を繰り返し行ったり、被写体の状況の変化を検出して再度、該処理を行ったりしてもよい。

次に、図８および図９を用いて、ステップＳ７０４で行う欠陥画素対応処理の選択処理について説明する。本実施例では、撮像素子１０２の全画素のうちＡＦにより撮像レンズのピントを合わせる目標である被写体の光学像（被写体像）の少なくとも一部を光電変換して位相差像信号を生成するための撮像信号を出力する２以上の画素の集合を位相差検出画素群とする。位相差検出画素群は、ユーザの選択操作に応じて又は制御部１０７が所定のアルゴリズムによって撮像画面内にて選択される焦点検出領域に対応する２以上の画素である。そして、以下の説明では、位相差検出画素群を水平方向に１列に並んだ２以上の画素からなる画素行とし、この画素行をＡＦ画素行という。

選択処理では、制御部１０７は、ＡＦ画素行に欠陥画素が含まれるか否かを判定する。そして、ＡＦ画素行に欠陥画素が含まれている場合に、その欠陥画素の信号レベルに応じて、位相差像信号と画像信号に対する欠陥画素対応処理を行うか否かを選択する。欠陥画素対応処理は、詳しくは後述するが、位相差像信号または画像信号に対する補正処理やＡＦ画素行の変更処理を含む。

図８には欠陥画素が位相差検出に与える影響を示し、図９のフローチャートには選択処理の流れを示している。

ＡＦ画素行において、図８（ａ）に示すような信号波形のＡ像信号（点線）およびＢ像信号（実線）が得られたとする。図８（ａ）の横軸はＡＦ画素行における画素番号（画素Ｎｏ）を示し、縦軸はＡ像およびＢ像信号の値（ＡＤカウント数）を示している。

Ａ像信号とＢ像信号は本来は同波形を有する信号である。しかし、例えばＡＦ画素行に含まれる１画素のうちＡ像信号を生成するためのＰＤに欠陥があると、Ｂ像信号とは異なる波形のＡ像信号が得られる。このような画素を欠陥画素という。欠陥画素がなければ、Ａ像信号とＢ像信号は一致するので、Ａ像信号とＢ像信号の位相差は０となり、結果としてデフォーカス量も０である。しかし、欠陥画素があると、その欠陥画素の位置と信号レベルとに応じてＡ像信号とＢ像信号の位相差が０に対して変化し、この変化した位相差分がデフォーカス量の誤差となる。

本実施例の撮像装置の製造工程では、図３に示す画素配列を有する撮像素子１０２に対して欠陥画素の有無を撮像装置への組み付け前にチェックする。仮にそのチェックで欠陥画素が発見された場合には、その欠陥画素の位置と信号レベルとを含む欠陥画素情報を記憶部１１２に記憶する。このときの信号レベルは、撮像素子１０２に全く光が入射しないダーク状態での信号レベルである。ダーク状態での信号レベルは本来は０であるが、欠陥画素では常に０からオフセットした信号レベルの信号が出力される。以下の説明において、欠陥画素から出力される信号を欠陥画素信号という。

本実施例においては、各画素のＰＤ２０３とＰＤ２０４のそれぞれから別々に得る対の位相差像信号に対する欠陥画素情報と、ＰＤ２０３とＰＤ２０４のそれぞれからの信号を合成して得る画像信号に対する欠陥画素情報とを分けて記憶部１１２に記憶する。なお、位相差像信号に対する欠陥画素情報として、ＰＤ２０３の欠陥画素情報とＰＤ２０４の欠陥画素情報とを分けて記憶部１１２に記憶してもよい。また、画像信号に対する欠陥画素の信号レベルとして、ＰＤ２０３とＰＤ２０４からの信号を足し合わせた信号レベルを記憶してもよい。

以下の説明において、欠陥画素の信号レベルを欠陥信号レベルという。本実施例では、欠陥信号レベルを位相差像信号のコントラスト（位相差像信号の最大値と最小値の差）で除した値、つまりコントラストに対する比率で表現する。これは、位相差を求めるための相関演算は一般に位相差像信号のコントラストに大きく依存するため、欠陥画素の影響を考えるには、欠陥信号レベルをコントラストに対する比率に換算した方が都合が良いからである。位相差像信号のコントラストは、ここではＡ像信号に対して欠陥画素が存在し、Ｂ像信号に対しては欠陥画素が存在しない場合を想定しているため、Ｂ像信号を用いてコントラストを計算する。

図８（ａ）に示す画素Ｎｏがｉ＝０〜６４の全６５画素から得られるＢ像信号の値をＢ（ｉ）とすると、コントラストＰＢは、位相差像信号の最大値Ｍａｘ｛Ｂ（ｉ）｝と最小値Ｍｉｎ｛（Ｂｉ）｝を用いて、
ＰＢ＝Ｍａｘ｛Ｂ（ｉ）｝−Ｍｉｎ｛（Ｂｉ）｝
で計算される。なお、Ａ像信号に対して欠陥画素が存在せず、Ｂ像信号に対して欠陥画素が存在する場合は、Ａ像信号の値Ａ（ｉ）を用いてコントラストＰＢを算出すればよい。

予め記憶部１１２に欠陥画素情報の一部として記憶された欠陥信号レベルをｎとするとき、正規化された欠陥信号レベルＳ＿ｌｖｌは、
Ｓ＿ｌｖｌ＝ｎ／ＰＢ
で求められる。

Ａ像信号に対して１画素だけ存在する欠陥画素の欠陥信号レベルＳ＿ｌｖｌ＝＋４０［％］であるとする。図８（ｂ）には、この欠陥画素が上記全６５画素のうち各画素Ｎｏの位置に存在する場合に最終的に得られるデフォーカス量が真のデフォーカス量（＝０）に対してどれだけずれるか（誤差を有するか）を示している。

図８（ｂ）から分かるように、欠陥信号レベルが一定（＋４０％）であっても、欠陥画素がどの画素Ｎｏの位置に存在するかによって、デフォーカス量の誤差が異なる。例えば、図８（ｂ）に示した例では、Ｓ＿ｌｖｌ＝＋４０［％］の場合のデフォーカス量の最大誤差は、欠陥画素が画素Ｎｏ＝３０および３７の位置に存在する場合の±５０［μｍ］である。このデフォーカス量の最大誤差が分かっていれば、実際に行われるＡＦの誤差（以下、実ＡＦ誤差という）が撮像装置に求められるＡＦ精度の範囲（以下、要求ＡＦ精度範囲という）内に収まる欠陥信号レベルが決まる。

図９において、選択処理を開始した制御部１０７は、ステップＳ７０４１において、撮像素子１０２のうちＡＦ画素行に欠陥画素が存在するか否かを記憶部１１２に記憶されている位相差像信号に対する欠陥画素情報を用いて判定する。ＡＦ画素行に欠陥画素が存在しない場合は、制御部１０７は、そのまま位相差像信号および画像信号の使用を許可して本処理を終了する。一方、ＡＦ画素行に欠陥画素が存在する場合はステップＳ７０４２に進む。

ステップＳ７０４２では、制御部１０７は、欠陥画素の欠陥信号レベルＳ＿ｌｖｌが位相差用閾値（所定値）より高いか否か、すなわち欠陥画素を用いた場合の実ＡＦ誤差が要求ＡＦ精度範囲から逸脱するか否かを判定する。欠陥信号レベルが位相差用閾値より高い場合は、その欠陥信号レベルが、その欠陥画素からの欠陥画素信号を含む位相差像信号の補正が必要となる信号レベル（以下、位相差欠陥補正レベルという）であるとしてステップＳ７０４３に進む。一方、欠陥信号レベルＳ＿ｌｖｌが閾値と同じかより低く、欠陥信号レベルが位相差欠陥補正レベルではない（実ＡＦ誤差が要求ＡＦ精度範囲に収まる）場合は、ステップＳ７０４４に進む。

ステップＳ７０４３では、制御部１０７は、記憶部１１２に記憶されている画像信号に対する欠陥画素情報を用いて、画像信号に対する補間補正処理を行うか否かを判定（選択）する。

ここで、画像信号に対する欠陥画素情報には、欠陥画素の位置と信号レベルの情報に加えて、温度、撮像素子１０２の感度および露出時間に応じた画像信号用閾値を示すテーブルが含まれる。画像信号用閾値は、これよりも高い欠陥信号レベルを、それを有する欠陥画素信号を含む画像信号の補正が必要となる信号レベル（以下、画像欠陥補正レベル）と判定するために用いられる。制御部１０７は、温度検出部１１３から得られる撮像素子１０２の動作温度、ユーザ操作等により感度指定された場合の撮像素子１０２の感度およびＡＥ処理により設定されたシャッタ速度（露光時間）に応じた画像欠陥補正レベルを上記テーブルから読み出す。そして、欠陥画素の欠陥信号レベルが画像欠陥補正レベルである場合はステップＳ７０４５に進み、該欠陥信号レベルが画像欠陥補正レベルではない場合はステップＳ７０４６に進む。

ステップＳ７０４５では、制御部１０７は、位相差像信号と画像信号の双方に対して補間補正処理を行うか、またはＡＦ画素行を欠陥画素を含まない画素行に変更する処理を行う一方で画像信号に対して補間補正処理を行うかする。ＡＦ画素行の変更処理を行った場合は、制御部１０７は、信号処理部１０４に変更後のＡＦ画素行からの撮像信号を用いて新たな位相差像信号を生成させる。

補間補正処理は、欠陥画素の周辺に存在する正常な画素の信号値を用いて欠陥画素の補正後の信号値を計算することで行う。また、ＡＦ画素行の変更処理は、欠陥画素の近傍の画素行（例えば、欠陥画素に隣接する画素行）であって欠陥画素を含まない画素行に変更することで行う。この後、制御部１０７は、本処理を終了する。

ステップＳ７０４６では、制御部１０７は、位相差像信号に対して補間補正処理を行い、画像信号に対する補正処理は行わずに画像信号を出力する処理を行う。そして、本処理を終了する。

また、ステップＳ７０４４では、制御部１０７は、ステップＳ７０４３と同様に、画像信号を補正する（欠陥画素の欠陥信号レベルが画像欠陥補正レベルである）か否かを判定する。そして、欠陥画素の欠陥信号レベルが画像欠陥補正レベルである場合はステップＳ７０４７に進む。一方、欠陥信号レベルが画像欠陥補正レベルではない場合は、画像信号に対する補正処理を行わずに画像信号を出力する処理を行い、本処理を終了する。

ステップＳ７０４７では、制御部１０７は、ステップＳ７０４５で説明した画像信号に対する補間補正処理のみを行い、位相差像信号に対する補正処理を行わずに該位相差像信号を位相差検出部１０６に出力して位相差を検出させる処理を行う。そして、本処理を終了する。

このように本実施例では、欠陥画素信号を含む位相差像信号と画像信号のそれぞれに対して、別々の欠陥信号レベルの閾値（位相差用および画像信号用閾値）を用いて、位相差像信号と画像信号に対して別々に欠陥画素対応処理を行うか否かを判定（選択）する。このため、位相差像信号と画像信号とで欠陥画素対応処理の対象とすべき欠陥信号レベル（位相差欠陥補正レベルと画像欠陥補正レベル）が異なっている場合に、位相差像信号と画像信号のそれぞれに対して適切な欠陥画素対応処理を行うことができる。

次に、本発明の実施例２である撮像装置について説明する。本実施例では、ＡＦ画素列（位相差検出画素群）に欠陥画素が存在する場合に、焦点検出（つまりはＡＦ）の精度が許容される範囲で欠陥画素を有効利用する。

本実施例の撮像装置の構成は実施例１（図１）に示した撮像装置と同じであり、本実施例において実施例１との共通する構成要素には実施例１と同符号を付して説明に代える。また、本実施例におけるフォーカス制御処理の基本的な流れは、実施例１（図７）に示したものと同じである。ただし、図７のステップＳ７０４で行われる欠陥画素対応処理の選択処理が実施例１とは異なる。また本実施例における欠陥画素対応処理は、位相差像信号に対する補正処理またはＡＦ画素行の変更処理である。

本実施例において、制御部（フォーカス制御手段および処理手段）１０７は、位相差検出部１０６から得られる位相差に対してデフォーカス変換係数を乗じることで撮像レンズのデフォーカス量を算出する。本実施例では、このデフォーカス変換係数に応じて焦点検出の精度が許容できる範囲で欠陥画素を有効利用することが可能な撮像装置について説明する。

図１０および図１１には、デフォーカス変換係数の求め方を示している。撮像素子１０２には、光学鏡筒１０１内においてフォーカスレンズや変倍レンズ等のレンズを保持するレンズ保持枠１０４０，１０４１および絞り機構部１０１３内の光学絞り等の構成部材によって制限された光束が入射する。

図１０には、撮像素子の中央付近の画素（以下、中央画素という）に対して射出瞳面１００１の位置にある光学絞りによって光束が制限されている（ケラレが生じている）様子を示している。図１０において、１００３は撮像レンズの予定結像面に位置する撮像素子を示し、１００４は予定結像面からずれた位置（デフォーカス量１０２９に対応する位置）にある撮像素子を示している。１００５は撮像レンズの光軸であり、１００６は撮像素子１００３上での光軸位置を示している。また、１００７，１００８は光学絞りによって制限された光束（以下、制限光束という）のうち最外周の光線を示し、１００９，１０２０は光学絞りによって制限されていない光束（以下、非制限光束という）のうち最外周の光線を示している。また、制限光束（１００７，１００８）のうち位相差検出用光束を１０２１，１０２２で示し、これら位相差検出用光束１０２１，１０２２の重心をそれぞれ１０２５，１０２６で示す。さらに、非制限光束（１００９，１０２０）のうち位相検出用光束を１０２３，１０２４で示し、これら位相検出用光束１０２３，１０２４の重心をそれぞれ１０２７，１０２８で示す。

図１１には、中央画素における射出瞳面１００１でのケラレによる入射光束の重心位置の変化を示している。図１１において、１０３３，１０３４はそれぞれ、中央画素に入射する制限光束（１００７，１００８）および非制限光束（１００９，１０２０）が通過する瞳領域を示す。また、１０３５は図２に示したＰＤ２０３に対するＡ像を形成する光束の入射角特性を示し、１０３６は図２に示したＰＤ２０４に対するＢ像を形成する光束の入射角特性を示す。ＰＤ２０３，２０４には、円形の瞳領域１０３３，１０３４を通過した上記光束の一部である位相差検出用光束が、入射角特性１０３５，１０３６の内側に等高線で示した感度分布をＰＤ２０３，２０４に与えるように入射する。このため、位相差検出用光束に対するＰＤ２０３，２０４の感度分布の重心をそれぞれ求めることで、位相差検出用光束が制限光束である場合と非制限光束である場合とでの上記重心の間隔を求めることができる。ＰＤ２０３，２０４の感度分布および撮像レンズの口径の情報を測定または計算により求めて記憶しておくことで、これらの情報を用いて、位相差からデフォーカス量を算出するためのデフォーカス変換係数を求めることができる。

図１０においてデフォーカス量１０２９をＤＥＦとし、撮像素子１００３から射出瞳面１００１までの距離１０３０をＬとする。また、制限光束（１００７，１００８）のうちＰＤ２０３，２０４に入射する位相差検出用光束による感度分布の重心１０２６，１０２５の間隔をＧ１とし、該位相差検出用光束により形成されるＡ像とＢ像の像ずれ量（位相差）をＰＲＥＤ１（１０３１）とする。さらに、非制限光束（１００９，１０２０）のうちＰＤ２０３，２０４に入射する位相差検出用光束による感度分布の重心１０２８，１０２７の間隔をＧ２とし、該入射光束により形成されるＡ像とＢ像の像ずれ量（位相差）をＰＲＥＤ２（１０３２）とする。そして、位相差ＰＲＥＤ１，ＰＲＥＤ２をデフォーカス量に変換するためのデフォーカス変換係数をそれぞれＫ１，Ｋ２とするとき、以下の式によってデフォーカス量が求まる。

ＤＥＦ＝Ｋ１×ＰＲＥＤ１
ＤＥＦ＝Ｋ２×ＰＲＥＤ２
デフォーカス変換係数Ｋ１，Ｋ２はそれぞれ、以下の式によって求まる。

Ｋ１＝Ｌ／Ｇ１（光束が制限されているとき）
Ｋ２＝Ｌ／Ｇ２（光束が制限されていないとき）
上記式において、Ｇ１＜Ｇ２であることからＫ１＞Ｋ２となる。これは、一般に位相差検出用光束が制限されているほど、デフォーカス変換係数Ｋの値が大きくなることを意味する。

位相差を検出する画素が光軸位置近傍にない場合は、射出瞳面１００１以外の位置にある光学絞りによって位相差検出用光束のケラレが生じる。また、光学絞りよりＦ値が明るい場合でも撮像レンズにおける光学絞り以外のレンズ保持枠に対応した射出瞳によって光束のケラレが発生する。

図１２には、撮像素子の中央（光軸位置）から離れた像高に位置する画素（以下、周辺画素という）に対して、レンズ保持枠によって制限された光束が入射する様子を示している。図１２において、１１０３は撮像レンズの予定結像面に位置する撮像素子を示し、１１０４は予定結像面からずれた位置（デフォーカス量１１２９に対応する位置）にある撮像素子を示している。１１０５は撮像レンズの光軸であり、１１０６は撮像素子１１０３上での光軸位置を示す。１１０７は撮像素子１００３に最も近い位置にあるレンズ保持枠１１４０により制限された制限光束のうち最外周の光線を示し、１１０８は被写体に最も近い位置にあるレンズ保持枠１１４１により制限された制限光束の最外周の光線を示している。また、制限光束（１１０７）のうち位相差検出用光束を１１２１で示し、この位相差検出用光束１１２１の重心を１１２５で示す。制限光束（１１０８）のうち位相差検出用光束を１１２２で示し、この位相差検出用光束１１２２の重心を１１２６で示す。

図１３には、周辺画素における射出瞳面１１０１でのケラレによる入射光束の重心位置の変化を示している。図１３において、１１３３は周辺画素に入射する制限光束（１１０７，１１０８）が通過する瞳領域を示す。１１３５は図２に示したＰＤ２０３に対するＡ像を形成する光束の入射角特性を示し、１１３６は図２に示したＰＤ２０４に対するＢ像を形成する光束の入射角特性を示す。ＰＤ２０３、ＰＤ２０４には、瞳領域１１３３の内側を透過した光束の一部である位相差検出用光束が、入射角特性１１３５，１１３６の内側に等高線で示した感度分布をＰＤ２０３，２０４に与えるように入射する。このため、位相差検出用光束に対するＰＤ２０３，２０４の感度分布の重心をそれぞれ求めることで、位相差検出用光束がレンズ保持枠によって制限されている場合の上記重心の間隔を求めることができる。ＰＤ２０３，２０４の感度分布および撮像レンズの口径の情報を測定または計算により求めて記憶しておくことで、これらの情報を用いて、位相差からデフォーカス量を算出するためのデフォーカス変換係数を求めることができる。

図１２においてデフォーカス量１１２９をＤＥＦとし、撮像素子１１０３から射出瞳面１１０１までの距離１１３０をＬとする。また、制限光束（１１０７，１１０８）のうちＰＤ２０３，２０４に入射する位相差検出用光束による感度分布の重心１１２６，１１２５の間隔をＧ３とし、該位相差検出用光束により形成されるＡ像とＢ像の像ずれ量（位相差）をＰＲＥＤ３（１１３１）とする。そして、位相差ＰＲＥＤ３をデフォーカス量に変換するためのデフォーカス変換係数をそれぞれＫ３とするとき、以下の式によってデフォーカス量が求まる。

ＤＥＦ＝Ｋ３×ＰＲＥＤ３
また、デフォーカス変換係数Ｋ３は、以下の式により求められる。

Ｋ３＝Ｌ／Ｇ３
本実施例では、撮像素子上において位相差検出に用いられる画素の位置（像高）に応じてレンズ保持枠により位相差検出用光束が制限される場合について説明している。しかし、その他にも、撮像レンズの像面からズーム機構部１０１２やフォーカス機構部１０１１に含まれるレンズが形成する光学像（射出瞳）までの距離である射出瞳距離の変化によっても位相差検出用光束が制限される位置が変化する。また、撮像レンズの口径の違い、さらには撮像素子１０２の製造ばらつきによる画素の感度分布の個体差によっても、位相差検出用光束が制限される位置が変化する。

図１０〜図１３を用いて説明したように、光学絞りの絞り値や光束が制限される位置等の光束制限条件の変化によって、位相差をデフォーカス量に変換するためのデフォーカス変換係数が変化する。すなわち、位相差ＰＲＥＤに対するデフォーカス量の敏感度は、光束が制限されることにより変化する。位相差検出（焦点検出）時の撮像レンズの絞り値が大きいほど、また撮像素子上での光軸位置からの像高が高くなるほど、デフォーカス変換係数の値は大きくなり、位相差ＰＲＥＤに対するデフォーカス量の敏感度が高くなる。さらに、撮像素子１０２における光学的な製造ばらつきに起因する画素への入射光線角度の変化により撮像面内として感度分布が個体ごとに変わる。そのため、捉える光束が個体ごとに変化することによっても、位相差ＰＲＥＤに対するデフォーカス量の敏感度が高くなる。

次に、本実施例において図７でのステップＳ７０４で行う選択処理の流れについて、図１４のフローチャートを用いて説明する。

選択処理を開始した制御部１０７は、ステップＳ１２０１において、撮像素子１０２のうちＡＦ画素行に欠陥画素が存在するか否かを記憶部１１２に記憶されている位相差像信号に対する欠陥画素情報を用いて判定する。ＡＦ画素行に欠陥画素が存在しない場合は、制御部１０７は、そのまま位相差像信号および画像信号の使用を許可して本処理を終了する。一方、ＡＦ画素行に欠陥画素が存在する場合はステップＳ１２０２に進む。

ステップＳ１２０２では、撮像条件である撮像レンズの状態、すなわち絞り値や射出瞳距離を確認する。

次に、ステップＳ１２０３では、制御部１０７は、撮像素子１０２（撮像面）上でのＡＦ画素行の位置（像高）を確認する。

そして、ステップＳ１２０４では、制御部１０７は、ステップＳ１２０２で取得した撮像条件およびステップＳ１２０３で取得したＡＦ画素行の像高に基づいて、デフォーカス変換係数Ｋを選択する。

ここで、制御部１０７は、その内部のメモリ（または外部のメモリ）に、絞り値、射出瞳距離およびＡＦ画素行の像高に応じたデフォーカス変換係数をテーブルデータとして記憶（保持）している。このテーブルデータである係数テーブルは、例えば以下のように作成される。まず、撮像装置の製造／調整工程において、その個体ごとに、絞り値および射出瞳距離を変えながら撮像素子１０２における各像高の画素の感度分布を検出（測定）する。次に、予め用意された複数の感度分布に対応するデフォーカス変換係数から、検出された感度分布に対応するデフォーカス変換係数を選択して、絞り値、射出瞳距離およびＡＦ画素行の像高に応じたデフォーカス変換係数を得る。そして、これらデフォーカス変換係数をテーブル化することで上記係数テーブルが作成される。

前述したように光束のケラレによって射出瞳面における位相差検出用光束の重心の位置がずれるため、制御部１０７は、ステップＳ１２０２，Ｓ１２０３で得た撮像条件およびＡＦ画素行の像高を確認する。そして、撮像条件およびＡＦ画素行の像高に応じたデフォーカス変換係数Ｋを、メモリに記憶されている係数テーブルから選択する。

ステップＳ１２０５では、制御部１０７は、ステップＳ１２０４で選択したデフォーカス変換係数Ｋと変換係数閾値Ｋｔｈとを比較し、デフォーカス変換係数Ｋが変換係数閾値Ｋｔｈより大きいか否かを判定する。これにより、欠陥画素の影響による位相差のばらつき量（つまりは実ＡＦ誤差）が要求ＡＦ精度範囲に収まるか否かを確認する。変換係数閾値Ｋｔｈの決定方法については後述する。デフォーカス変換係数Ｋが変換係数閾値Ｋｔｈより大きい場合は、実ＡＦ誤差が要求ＡＦ精度範囲に収まらないとしてステップＳ１２０６に進む。一方、デフォーカス変換係数Ｋが変換係数閾値Ｋｔｈと同じかそれよりも小さい場合は、実ＡＦ誤差が要求ＡＦ精度範囲に収まるとして、欠陥画素対応処理を行うことなく本処理を終了する。

ステップＳ１２０６では、制御部１０７は、位相差像信号に対する補間補正処理を行うか、またはＡＦ画素行を欠陥画素を含まない画素行に変更する処理を行って信号処理部１０４に新たに位相差像信号を生成させるかする。補間補正処理は、欠陥画素の周辺に存在する正常な画素の信号値を用いて欠陥画素の補正後の信号値を計算することで行う。また、ＡＦ画素行の変更は、欠陥画素の近傍の画素行（例えば、欠陥画素に隣接する画素行）であって欠陥画素を含まない画素行に変更することで行う。この後、制御部１０７は、本処理を終了する。

図１５を用いて、実施例１で説明した欠陥信号レベルＳ＿ｌｖｌとデフォーカス変換係数Ｋとの関係から変換係数閾値Ｋｔｈを決定する方法について説明する。位相差から算出されるデフォーカス量の誤差は、欠陥画素による位相差への影響の大きさとデフォーカス変換係数Ｋとを乗じたものとなる。このため、要求ＡＦ精度範囲内に収まるデフォーカス量の誤差（つまりは実ＡＦ誤差）に対応する欠陥信号レベルＳ＿ｌｖｌに応じて変換係数閾値Ｋｔｈが決まる。

図１５の縦軸はＡＦ画素行に含まれる欠陥画素の信号レベルである欠陥信号レベルＳ＿ｌｖｌを示し、横軸にデフォーカス変換係数Ｋを示している。図中の白い菱形の点を結んだ直線は、各欠陥信号レベルＳ＿ｌｖｌにおいて要求ＡＦ精度範囲内に収まるデフォーカス量の最大誤差を算出させるデフォーカス変換係数Ｋ、つまりは変換係数閾値Ｋｔｈを示している。例えば、欠陥画素レベルＳ＿ｌｖｌが４０％である場合は、要求ＡＦ精度範囲内に収まるデフォーカス量の最大誤差を算出させるデフォーカス変換係数はＫ７となるため、制御部１０７は、変換係数閾値ＫｔｈとしてＫ７を設定する。

制御部１０７は、全ての欠陥信号レベルに対応する変換係数閾値Ｋｔｈをメモリに記憶してもよい。また、図１５中に白い菱形の点で示した離散的な複数の欠陥信号レベル（以下、特定欠陥信号レベルという）に対応する複数の変換係数閾値Ｋｔｈのみをメモリに記憶してもよい。この場合において、特定欠陥信号レベルに対応する変換係数閾値Ｋｔｈを設定するときには、メモリに記憶された複数の変換係数閾値Ｋｔｈの中から該特定欠陥信号レベルに対応する変換係数閾値Ｋｔｈを読み出す。また、特定欠陥信号レベル以外の欠陥信号レベル（以下、非特定欠陥信号レベルという）に対する変換係数閾値Ｋｔｈを設定する場合には、その非特定欠陥信号レベルに近い２つの特定欠陥信号レベルに対応する２つの変換係数閾値Ｋｔｈを用いた線形補間演算する。これにより、非特定欠陥信号レベルに対応する変換係数閾値Ｋｔｈを求める。

このように、本実施例では、撮像素子１０２の光学的な製造ばらつき、撮像条件（絞り値、射出瞳距離）およびＡＦ画素行の像高に応じて異なるデフォーカス変換係数を設定する。そして、該デフォーカス変換係数と変換係数閾値Ｋｔｈとを比較した結果に応じて欠陥画素対応処理を行うか否かを判定（選択）する。具体的には、デフォーカス変換係数が欠陥画素の信号レベルに応じて設定された変換係数閾値Ｋｔｈより大きい場合、すなわち撮像装置に要求されるＡＦ精度が保証できない場合に限って欠陥画素対応処理を行う。これにより、デフォーカス変換係数が変換係数閾値Ｋｔｈより小さくて欠陥画素の影響による位相差の誤差に対するデフォーカス量の誤差の敏感度が低い状況においては欠陥画素を有効利用して焦点検出（つまりはＡＦ）を行うことができる。一方、デフォーカス変換係数が変換係数閾値Ｋｔｈより大きくて欠陥画素の影響による位相差の誤差に対するデフォーカス量の誤差の敏感度が高い状況においては、欠陥画素の影響を抑えて又は排除して良好な精度で焦点検出を行うことができる。

なお、上記各実施例では、位相差像信号に対する欠陥画素対応処理として補間補正処理やＡＦ画素行の変更処理を行う場合について説明した。しかし、これらの処理以外の欠陥画素対応処理として、欠陥画素を含むＡＦ画素行のうち欠陥画素を除いた正常画素のみで位相差信号を生成する補正処理を行ってもよい。例えば、正常画素同士の加算処理または平均処理によって補正された位相差像信号を生成するようにしてもよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０２ 撮像素子
１０４ 信号処理部
１０６ 位相差検出部
１０７ 制御部
１１２ 記憶部

Claims (13)

1. 撮像光学系により形成された被写体像を複数の画素により光電変換する撮像素子と、
   前記複数の画素からの出力信号を用いて表示または記録用の画像信号を生成するとともに、前記複数の画素のうち位相差検出画素群からの出力信号を用いて前記撮像光学系の焦点状態に応じた位相差を有する位相差像信号を生成する信号生成手段と、
   前記位相差像信号から前記位相差を検出する位相差検出手段と、
   前記位相差を用いて前記撮像光学系のフォーカス制御を行うフォーカス制御手段と、
   前記撮像素子に含まれる欠陥画素に関する情報を記憶した記憶手段と、
   前記位相差検出画素群に前記欠陥画素が含まれている場合に、前記位相差像信号および前記画像信号に対して欠陥画素対応処理を行うことが可能な処理手段とを有し、
   前記処理手段は、前記欠陥画素に関する情報を用いて、前記位相差像信号および前記画像信号のそれぞれに対して、前記欠陥画素対応処理を行うか否かを別々に選択することを特徴とする撮像装置。
2. 前記欠陥画素に関する情報は、該欠陥画素の位置の情報と該欠陥画素の信号レベルの情報とを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記処理手段は、前記位相差検出画素群に前記欠陥画素が含まれている場合に、前記欠陥画素の信号レベルが所定値より大きいか否かの判定によって前記欠陥画素対応処理を行うか否かを選択し、
   前記位相差像信号に対する前記判定と前記画像信号に対する前記判定において別々の前記所定値を用いることを特徴とする請求項２に記載の撮像装置。
4. 前記欠陥画素対応処理は、前記位相差像信号または前記画像信号を補正する処理および前記位相差検出画素群を変更する処理のうち一方であることを特徴とする請求項１に記載の撮像装置。
5. 撮像光学系により形成された被写体像を複数の画素により光電変換する撮像素子を有する撮像装置のコンピュータに、前記複数の画素からの出力信号を用いて表示または記録用の画像信号を生成する画像生成処理と前記撮像光学系のフォーカス制御を行うフォーカス制御処理とを行わせるコンピュータプログラムであり、
   前記フォーカス制御処理は、前記複数の画素のうち位相差検出画素群からの出力信号を用いて前記撮像光学系の焦点状態に応じた位相差を有する位相差像信号を生成し、前記位相差像信号から前記位相差を検出し、前記位相差を用いて前記フォーカス制御を行う処理であり、
   前記プログラムは、前記コンピュータに、
   前記撮像素子に含まれる欠陥画素に関する情報を取得させ、
   前記位相差検出画素群に前記欠陥画素が含まれている場合に、前記位相差像信号および前記画像信号に対して欠陥画素対応処理を行うことを可能とし、
   前記欠陥画素に関する情報を用いて、前記位相差像信号および前記画像信号のそれぞれに対して、前記欠陥画素対応処理を行うか否かを別々に選択させることを特徴とする撮像装置の制御プログラム。
6. 撮像光学系により形成された被写体像を複数の画素により光電変換する撮像素子と、
   前記複数の画素のうち位相差検出画素群からの出力信号を用いて前記撮像光学系の焦点状態に応じた位相差を有する位相差像信号を生成する信号生成手段と、
   前記位相差像信号から前記位相差を検出する位相差検出手段と、
   前記位相差とデフォーカス変換係数とを用いて前記撮像光学系のデフォーカス量を算出し、該デフォーカス量に応じて前記撮像光学系のフォーカス制御を行うフォーカス制御手段と、
   前記撮像素子に含まれる欠陥画素に関する情報を記憶した記憶手段と、
   前記位相差検出画素群に前記欠陥画素が含まれている場合に、前記位相差像信号に対して欠陥画素対応処理を行うことが可能な処理手段とを有し、
   前記フォーカス制御手段は、前記撮像光学系の状態および前記位相差検出画素群の位置に応じて前記デフォーカス変換係数を設定し、
   前記処理手段は、
   前記欠陥画素に関する情報を用いて前記デフォーカス変換係数に対する閾値を設定し、
   前記デフォーカス変換係数と前記閾値とを比較した結果に応じて前記欠陥画素対応処理を行うか否かを選択することを特徴とする撮像装置。
7. 前記処理手段は、前記デフォーカス変換係数が前記閾値より小さい場合は前記欠陥画素対応処理を行わず、前記デフォーカス変換係数が前記閾値より大きい場合は前記欠陥画素対応処理を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記撮像光学系の状態は、前記撮像光学系の絞り値および射出瞳距離を含むことを特徴とする請求項６または７に記載の撮像装置。
9. 前記フォーカス制御手段は、前記撮像光学系の状態、前記位相差検出画素群の位置および前記位相差検出画素群の感度分布に応じて前記デフォーカス変換係数を設定することを特徴とする請求項６から８のいずれか一項に記載の撮像装置。
10. 前記欠陥画素に関する情報は、該欠陥画素の位置の情報と該欠陥画素の信号レベルの情報とを含むことを特徴とする請求項６から９のいずれか一項に記載の撮像装置。
11. 前記処理手段は、前記欠陥画素の信号レベルに応じて前記閾値を設定することを特徴とする請求項１０に記載の撮像装置。
12. 前記欠陥画素対応処理は、前記位相差像信号または画像信号を補正する処理および前記位相差検出画素群を変更する処理のうち一方であることを特徴とする請求項６から１１のいずれか一項に記載の撮像装置。
13. 撮像光学系により形成された被写体像を複数の画素により光電変換する撮像素子を有する撮像装置のコンピュータに、前記複数の画素からの出力信号を用いて前記撮像光学系のフォーカス制御を行うフォーカス制御処理を行わせるコンピュータプログラムであり、
    前記フォーカス制御処理は、前記複数の画素のうち位相差検出画素群からの出力信号を用いて前記撮像光学系の焦点状態に応じた位相差を有する位相差像信号を生成し、前記位相差像信号から前記位相差を検出し、前記位相差とデフォーカス変換係数とを用いて前記撮像光学系のデフォーカス量を算出し、該デフォーカス量に応じて前記撮像光学系のフォーカス制御を行う処理であり、
    前記プログラムは、前記コンピュータに、
    前記撮像素子に含まれる欠陥画素に関する情報を取得させ、
    前記位相差検出画素群に前記欠陥画素が含まれている場合に、前記位相差像信号に対して欠陥画素対応処理を行うことを可能とし、
    前記撮像光学系の状態および前記位相差検出画素群の位置に応じて前記デフォーカス変換係数を設定させ、
    前記欠陥画素に関する情報を用いて前記デフォーカス変換係数に対する閾値を設定させ、
    前記デフォーカス変換係数と前記閾値とを比較した結果に応じて前記欠陥画素対応処理を行うか否かを選択させることを特徴とする撮像装置の制御プログラム。