JP5322561B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、デジタルスチルカメラ、ビデオカメラなどの撮像装置に関する。

従来、デジタルスチルカメラ、ビデオカメラなどのように、固体撮像装置を備えたカメラシステムは、静止画及び動画を一枚以上の撮像素子で撮影してメモリなどの記録手段に記録している。

これらのカメラシステムには、撮像素子の撮像領域の一部を、撮像以外の機能に使用しているものがある。

例えば、特開２０００−２９２６８６号公報（特許文献１）では、撮像素子の一部の画素の受光部を２分割することで瞳分割機能を付与している。そして、これらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を可能としている。

一方、撮像素子を構成する画素の中には、製造過程などにおいて、欠陥が生じる場合がある。この欠陥には、例えば画素の出力信号が大きくなる白キズ、出力信号が小さくなる黒点、出力信号のリニアリティー不良等がある。

焦点検出領域として設定された画素に、これらの欠陥がある場合は、焦点検出結果に誤差が生じてしまう。

そこで、特開２００１−１７７７５６号公報（特許文献２）では、焦点検出領域として設定された画素に欠陥が含まれている場合、焦点検出領域全体を移動することで、画素の欠陥の影響を軽減している。
特開２０００−２９２６８６号公報 特開２００１−１７７７５６号公報

しかしながら、上記の特許文献１に開示されているカメラでは、焦点検出領域として設定された画素に、欠陥がある場合は、焦点検出結果に誤差が生じてしまうため、その欠陥のある撮像素子を廃棄処分する場合があった。

撮像素子は、カメラシステムの中でも高価なものであるため、焦点検出領域として設定された画素に欠陥がある場合に廃棄してしまうと、例えば撮像装置やカメラシステムの製造コストを引き上げる問題が生じる。

また、上記特許文献２に開示されているカメラでは、欠陥画素を避けるように、焦点検出領域を移動してしまうため、撮影者の意図する被写体とは別の被写体に対して焦点を合わせてしまう場合があった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像素子の撮像領域の一部の画素を撮像以外の目的に使用する場合に、その画素に欠陥があった場合でも、その画素の機能の低下を回避できようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影光学系を介して入射した被写体光を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置され、前記撮影光学系の射出瞳を分割した一部の領域を通過した光束を受光する複数の焦点検出用画素であって、第１の焦点検出用画素と第２の焦点検出用画素が対をなすように構成された第１の焦点検出用画素群と第２の焦点検出用画素群とを有する複数の焦点検出用画素とを有する撮像素子と、前記第１の焦点検出用画素群から得られる像と前記第２の焦点検出用画素群から得られる像の相関演算を行い、当該像の位相差に基づいて焦点ずれ量を検出する焦点検出手段と、を備え、前記焦点検出手段は、前記対をなす第１の焦点検出用画素と第２の焦点検出用画素の一方に欠陥画素が存在する場合に、前記対をなす第１の焦点検出用画素と第２の焦点検出用画素の両方を除外した前記第１の焦点検出用画素群と前記第２の焦点検出用画素群の出力信号に基づく像の相関演算の結果に応じて、当該像の位相差に基づいて焦点ずれ量を検出することを特徴とする。
また、本発明に係わる撮像装置の制御方法は、撮影光学系を介して入射した被写体光を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置され、前記撮影光学系の射出瞳を分割した一部の領域を通過した光束を受光する複数の焦点検出用画素であって、第１の焦点検出用画素と第２の焦点検出用画素が対をなすように構成された第１の焦点検出用画素群と第２の焦点検出用画素群とを有する複数の焦点検出用画素とを有する撮像素子を備えた撮像装置の制御方法であって、前記第１の焦点検出用画素群から得られる像と前記第２の焦点検出用画素群から得られる像の相関演算を行い、当該像の位相差に基づいて焦点ずれ量を検出する焦点検出工程を備え、前記焦点検出工程では、前記対をなす第１の焦点検出用画素と第２の焦点検出用画素の一方に欠陥画素が存在する場合に、前記対をなす第１の焦点検出用画素と第２の焦点検出用画素の両方を除外した前記第１の焦点検出用画素群と前記第２の焦点検出用画素群の出力信号に基づく像の相関演算の結果に応じて、当該像の位相差に基づいて焦点ずれ量を検出することを特徴とする。

本発明によれば、撮像素子の撮像領域の一部の画素を撮像以外の目的に使用する場合に、その画素に欠陥があった場合でも、その画素の機能の低下を回避することが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明の各実施形態に共通するカメラの構成を示す図であり、撮像素子を備えたカメラ本体と撮影光学系が一体となったデジタルカメラを示している。

図１において、１０１は撮影光学系（撮影レンズ）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用のシャッタで、その開口径を調節することにより撮影時の光量調節を行なうほか、静止画撮影時には露光秒時を調節する機能も備える。１０３は第２レンズ群である。そしてシャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍（ズーミング）を行う。

１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減する機能を果たす。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。この撮像素子１０７は、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサである。

１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１１１及び第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２はシャッタアクチュエータで、シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間の制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

１１５は撮影時に被写体を照明するための電子フラッシュであり、キセノン管を用いた閃光照明装置が通常用いられるが、連続発光するＬＥＤを用いた照明装置でも良い。１１６はＡＦ補助光投光装置で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいはコントラストの低い被写体に対する焦点検出能力を向上させる。

１２１はＣＰＵで、カメラ本体の種々の制御を司る。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動する。そして、ＡＦ（オートフォーカス）、ＡＥ（自動露出）、撮影処理、画像処理、記録処理等の一連の動作を実行する。

１２２はフラッシュ制御回路で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光投光装置１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７を駆動するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像信号に対して、γ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動させて焦点調節を行なう。１２８はシャッタ駆動回路で、シャッタアクチュエータ１１２を駆動してシャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。

１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備えて構成される。１３３はフラッシュメモリ等からなる着脱可能なメモリで、撮影済み画像を記録する。

図２は、撮像素子１０７の概略的な回路構成図を示す図で、特開平０９−０４６５９６号報等に開示された技術を用いて製造される。

図２は、２次元Ｃ−ＭＯＳエリアセンサの２列×４行の画素の範囲を示しているが、撮像素子として利用する場合は、図２に示した画素を多数配置し、高解像度画像の取得を可能としている。本実施形態においては、画素ピッチが２μｍ、有効画素数が横３０００列×縦２０００行＝６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍの撮像素子として説明を行なう。

図２において、１はＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、２はフォトゲート、３は転送スイッチＭＯＳトランジスタ、４はリセット用ＭＯＳトランジスタ、５はソースフォロワアンプＭＯＳトランジスタ、６は水平選択スイッチＭＯＳトランジスタ、７はソースフォロワの負荷ＭＯＳトランジスタ、８は暗出力転送ＭＯＳトランジスタ、９は明出力転送ＭＯＳトランジスタ、１０は暗出力蓄積容量Ｃｔｎ、１１は明出力蓄積容量Ｃｔｓ、１２は水平転送ＭＯＳトランジスタ、１３は水平出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。

図３は、各画素部の断面を示す図である。

図３において、１７はＰ型ウェル、１８はゲート酸化膜、１９は一層目ポリＳｉ、２０は二層目ポリＳｉ、２１はｎ+フローティングディフュージョン部（ＦＤ）である。ＦＤ部２１は別の転送ＭＯＳトランジスタを介して別の光電変換部と接続される。図３においては、２つの転送ＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ配線でＦＤ部２１を接続しても良い。

次に、図４のタイミングチャートを用いて撮像素子の動作について説明する。このタイミングチャートは全画素独立出力の場合のタイミングを示す図である。

まず垂直走査回路１６からのタイミング出力によって、制御パルスφＬをハイとして垂直出力線をリセットする。また制御パルスφＲ０，φＰＧ００，φＰＧｅ０をハイとし、リセット用ＭＯＳトランジスタ４をオンとし、フォトゲート２の一層目ポリＳｉ１９をハイとしておく。時刻Ｔ０において、制御パルスφＳ０をハイとし、選択スイッチＭＯＳトランジスタ６をオンさせ、第１、第２ラインの画素部を選択する。次に制御パルスφＲ０をローとし、ＦＤ部２１のリセットを止め、ＦＤ部２１をフローティング状態とする。そして、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとした後、時刻Ｔ１において制御パルスφＴｎをハイとし、ＦＤ部２１の暗電圧をソースフォロワ動作で蓄積容量Ｃｔｎ１０に出力させる。

次に、第１ラインの画素の光電変換出力を行うため、第１ラインの制御パルスφＴＸ００をハイとして転送スイッチＭＯＳトランジスタ３を導通した後、時刻Ｔ２において制御パルスφＰＧ００をローとして下げる。この時フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ部２１に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφＴＸはパルスではなくある固定電位でもかまわない。

時刻Ｔ２でフォトダイオードの光電変換部１からの電荷がＦＤ部２１に転送されることにより、ＦＤ部２１の電位が光に応じて変化することになる。この時ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、ＦＤ部２１の電位を時刻Ｔ３において制御パルスφＴｓをハイとして蓄積容量Ｃｔｓ１１に出力する。この時点で第１ラインの画素の暗出力と光出力はそれぞれ蓄積容量Ｃｔｎ１０とＣｔｓ１１に蓄積されおり、時刻Ｔ４の制御パルスφＨＣを一時ハイとして水平出力線リセットＭＯＳトランジスタ１３を導通して水平出力線をリセットし、水平転送期間において水平走査回路１５の走査タイミング信号により水平出力線に画素の暗出力と光出力を出力させる。この時、蓄積容量Ｃｔｎ１０とＣｔｓ１１の差動増幅器１４によって、差動出力Ｖｏｕｔを取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。また画素３０−１２、３０−２２の光電荷は画素３０−１１、３０−２１と同時に夫々の蓄積容量Ｃｔｎ１０とＣｔｓ１１に蓄積されるが、その読み出しは水平走査回路１５からのタイミングパルスを１画素分遅らして水平出力線に読み出して差動増幅器１４から出力させる。

本実施形態では、差動出力Ｖｏｕｔをチップ内で生成する構成を示しているが、チップ内に含めず、外部で従来のＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路を用いるように構成しても同様の効果が得られる。

蓄積容量Ｃｔｓ１１に明出力を出力した後、制御パルスφＲ０をハイとしてリセット用ＭＯＳトランジスタ４を導通しＦＤ部２１を電源ＶＤＤにリセットする。第１ラインの水平転送が終了した後、第２ラインの読み出しを行う。第２ラインの読み出しは、制御パルスφＴＸｅ０、制御パルスφＰＧｅ０を同様に駆動させ、制御パルスφＴｎ、φＴｓに夫々ハイパルスを供給して、蓄積容量Ｃｔｎ１０とＣｔｓ１１に夫々光電荷を蓄積し、暗出力及び明出力を取り出す。以上の駆動により、第１、第２ラインの読み出しが夫々独立に行える。この後、垂直走査回路を走査させ、同様に第２ｎ＋１，第２ｎ＋２（ｎ＝１，２，…）の読み出しを行えば全画素独立出力が行える。即ち、ｎ＝１の場合は、まず制御パルスφＳ１をハイとし、次にφＲ１をローとし、続いて制御パルスφＴｎ、φＴＸ０１をハイとし、制御パルスφＰＧ０１をロー、制御パルスφＴｓをハイ、制御パルスφＨＣを一時ハイとして画素３０−３１，３０−３２の画素信号を読み出す。続いて、制御パルスφＴＸｅ１，φＰＧｅ１及び上記と同様に制御パルスを印加して、画素３０−４１，３０−４２の画素信号を読み出す。

図５乃至図７は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素（機能画素）が所定の規則で分散配置される。

図５は、撮像用画素の配置と構造を示す図である。

図５（ａ）は２行×２列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこの２行×２列の構造が繰り返し配置される。

図５（ｂ）は、図５（ａ）における断面Ａ−Ａを示している。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤ（Ｐｈｏｔｏ Ｄｉｏｄｅ）は図３で説明したＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬ（Ｃｏｎｔａｃｔ Ｌａｙｅｒ）はＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬ（Ｔａｋｉｎｇ Ｌｅｎｓ）を通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰ（Ｅｘｉｔ Ｐｕｐｉｌ）と光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図５（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束（光量子）を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図６は、撮影光学系の水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。ここで水平方向あるいは横方向とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図６（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。記録もしくは観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲもしくはＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素に置き換える。これを図６（ａ）においてＳＨＡ及びＳＨＢで示す。

図６（ｂ）は、図６（ａ）における断面Ａ−Ａを示している。マイクロレンズＭＬと、光電変換部ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＨＡの開口部ＯＰＨＡは右側に偏倚しているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＨＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＨＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とし、画素ＳＨＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）を検出することができる。

なお、上記画素ＳＨＡ及びＳＨＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるよう、撮影光学系の垂直方向（縦方向）にも瞳分割を行なう画素も備えている。

図７は、撮影光学系の垂直方向（換言すると上下方向もしくは縦方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す図である。ここで垂直方向あるいは上下あるいは縦横方向とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、この光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。図７（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図６（ａ）と同様に、Ｇ画素は撮像用画素として残し、ＲとＢの画素を焦点検出用画素としている。これを図７（ａ）においてＳＶＣ及びＳＶＤで示す。

図７（ｂ）は、図７（ａ）の断面Ａ−Ａを示しているが、図６（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図７（ｂ）の画素は瞳分離方向が縦方向になっているだけで、画素の構造としては変わらない。すなわち、画素ＳＶＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＶＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素ＳＶＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とし、画素ＳＶＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）を検出することができる。

図８乃至図１０は、上記の図５乃至図７で説明した撮像用画素と焦点検出用画素の配置規則を説明する図である。

図８は撮像用画素の間に焦点検出用画素を離散的に配置する場合の、最小単位の配置規則を説明するための図である。

図８において、１０行×１０列＝１００画素をひとつのブロックと定義する。そして一番左上のブロックＢＬＫ（１，１）において、一番左下のＲ画素とＢ画素を、水平方向に瞳分割を行なう１組の焦点検出用画素ＳＨＡ及びＳＨＢで置き換える。

その右隣りのブロックＢＬＫ（１，２）においては、同じく一番左下のＲ画素とＢ画素を、垂直方向に瞳分割を行なう１組の焦点検出用画素ＳＶＣ及びＳＶＤで置き換える。また、最初のブロックＢＬＫ（１，１）の下に隣接したブロックＢＬＫ（２，１）の画素配列は、ブロックＢＬＫ（１，２）と同一とする。そして、その右隣りのブロックＢＬＫ（２，２）の画素配列は、先頭のブロックＢＬＫ（１，１）と同一とする。

この配置規則を普遍的に表現すると、ブロックＢＬＫ（ｉ，ｊ）において、ｉ＋ｊが偶数なら水平瞳分割用の焦点検出用画素を配置し、ｉ＋ｊが奇数なら垂直瞳分割用の焦点検出用画素を配置することになる。そして、図８の２×２＝４ブロック、すなわち２０行×２０列＝４００画素の領域を、ブロックの上位の配列単位として、クラスタと定義する。

図９は、前述したクラスタを単位とした配置規則を説明するための図である。

図９において、２０行×２０列＝４００画素で構成された一番左上のクラスタをＣＳＴ（ｕ，ｗ）＝ＣＳＴ（１，１）とする。そして、このクラスタＣＳＴ（１，１）においては、各ブロックの一番左下のＲ画素とＢ画素を、焦点検出用画素ＳＨＡ及びＳＨＢ、もしくはＳＶＣ及びＳＶＤで置き換える。

その右隣りのクラスタＣＳＴ（１，２）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１，１）に対して上方向に２画素分シフトした位置に配置する。また、最初のクラスタＣＳＴ（１，１）の下に隣接したクラスタＣＳＴ（２，１）においては、ブロック内における焦点検出用画素の配置を、クラスタＣＳＴ（１，１）に対して右方向に２画素分シフトした位置に配置する。以上の規則を繰り返し適用すると図９に示した配置が得られる。

この配置規則を普遍的に表現すると以下のようになる。なお、焦点検出用画素の座標は、図６もしくは図７で示したＧ画素を含む４画素を一つの単位（ペア）とし、そのうちの左上の画素の座標で規定する。また各ブロック内の座標は左上を（１，１）とし、下方向と右方向を正とする。

以上の定義を適用すると、クラスタＣＳＴ（ｕ，ｗ）において、各ブロック内の焦点検出用画素ペアの水平座標は２×ｕ−１となり、垂直座標は１１−２×ｗとなる。そして、図９の５×５＝２５クラスタ、すなわち１００行×１００列＝１万画素の領域を、クラスタの上位の配列単位として、フィールドと定義する。

図１０は、前記フィールドを単位とした配置規則を説明するための図である。図１０において、１００行×１００列＝１万画素で構成された一番左上のフィールドをＦＬＤ（ｑ，ｒ）＝ＦＬＤ（１，１）とする。そして本実施形態では、すべてのフィールドＦＬＤ（ｑ，ｒ）は先頭フィールドＦＬＤ（１，１）と同様の配列となっている。そこで、ＦＬＤ（１，１）を水平方向に３０個、垂直方向に２０個配列すると、３０００列×２０００行＝６００万画素の撮像領域は６００個のフィールドで構成されることになる。そして撮像領域全面に渡って焦点検出用画素を均一に分布させることができる。

次に、図１１乃至図１４を用いて、焦点検出時の画素のグループと信号加算方法（演算処理方法）について説明する。

図１１は、撮影光学系によって形成された被写体像の、横ずれ方向の焦点検出を行なう場合の画素グループ化方法を説明する図である。

横ずれ方向の焦点検出とは、図６で説明した、撮影光学系の射出瞳を横方向（左右方向、水平方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。

図１１に示す画素配列は図９で説明したものであるが、焦点検出の際には、横方向に１ブロック、縦方向に１０ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして、本実施形態では、横方向に並んだ３０セクションで、１つの焦点検出領域を構成する。すなわち、１００行×３００列＝３万画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域をＡＦエリアと定義する。ここで、１つのセクション内においては、横方向における一方の瞳分割を行なう画素ＳＨＡが５個、他方の瞳分割を行なう画素ＳＨＢも５個含まれている。そこで本実施形態においては、５個のＳＨＡの出力を加算処理して加算値を算出し、位相差演算用の一方の画像信号（Ａ像と称する）の１ＡＦ画素とする。同様に、５個のＳＨＢの出力を加算処理して加算値を算出し、位相差演算用の他方の画像信号（Ｂ像と称する）の１ＡＦ画素とする。

図１２は、一つのセクションにおける、被写体像の捕捉能力を説明するための図である。

図１２（ａ）は図１１の左端のセクションを切り出したものである。そして下端に示された水平線ＰＲＪｈは、焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向に延伸した第１の射影軸（Ｐｒｏｊｅｃｔｉｏｎ Ｌｉｎｅ）、右端に示された垂直線ＰＲＪｖは、瞳分割方向と直交する方向に延伸した第２の射影軸である。ここで、１つのセクション内の画素ＳＨＡはすべて加算され、ＳＨＢも加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｈに射影すると、画素ＳＨＡとＳＨＢが交互に緻密に並ぶことがわかる。このときの、瞳分割方向の射影軸ＰＲＪｈにおける画素ＳＨＡの配列ピッチをＰ１とすると、Ｐ１＝ＰＨｈ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｈにおける画素ＳＨＢの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。

一方、１つのＡＦ画素に含まれる受光部を瞳分割方向と直交方向の射影軸ＰＲＪｖに射影すると、画素ＳＨＡとＳＨＢはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｖにおける画素ＳＨＡの配列ピッチをＰ２とすると、Ｐ２＝ＰＨｖ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＨＢの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。

すなわち、本実施形態におけるＡＦ画素は、上記のグループ化前の分散特性は、瞳分割方向とこれに直交する方向の配置上のピッチが等しいが、グループ化する際のグループ形状を長方形とすることで、瞳分割方向のサンプリング誤差を低減している。具体的には、１セクションの瞳分割方向の最大寸法Ｌ１は１０画素、瞳分割と直交する方向の最大寸法Ｌ２は１００画素としている。すなわち、セクション寸法をＬ１＜Ｌ２とすることで、瞳分割方向のサンプリング周波数Ｆ１を高周波（密）に、これと直交する方向のサンプリング周波数Ｆ２を低周波（疎）としている。

図１２（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像（図１２（ｂ）にハッチングで示した像）が投影された場合の画像捕捉能力を図１２（ｂ）を用いて説明する。

図１２（ｂ）において、ＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｈ（１）内では、ブロックＢＬＫ（３，１）とブロックＢＬＫ（５，１）に含まれる焦点検出用画素が被写体像を捕捉する。なお、被写体像の最小寸法は、撮影光学系１０１の収差と撮像素子１０７の前面に配置された光学的ローパルフィルタ１０６の特性で決まるが、通常は非常に細い線でも２画素以上の幅になる。従って、本実施形態の１つのセクション内では、最低でも各１個ずつの画素ＳＨＡとＳＨＢで画像を捕捉することになり、捕捉洩れは生じない。

一方、図１２（ｂ）のＬＩＮＥｈは、撮像素子１０７上に投影された細い横線を表わし、その幅は前述のＬＩＮＥｖと同様に画素換算で４画素、画像の実寸では幅８μｍになっている。この時には、横線ＬＩＮＥｈはブロックＢＬＫ（５，１）にかかっているが、焦点検出用画素ＳＨＡ及びＳＨＢには捕捉されない。しかしながら、このセクションＳＣＴｈ（１）は、縦線のごとく横方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、横線のごとく縦方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても実害はない。

図１３は、撮影光学系によって形成された被写体像の、縦ずれ方向の焦点検出を行なう場合の画素のグループ化方法を説明する図である。縦ずれ方向の焦点検出とは、図７で説明した、撮影光学系の射出瞳を縦方向（上下方向、すなわち垂直方向）に分割するための焦点検出用画素を用いて、位相差式焦点検出を行なうことを指す。すなわち、図１１で説明した技術を９０度回転したものに相当する。

図１３に示す画素配列も図９で説明したものであるが、焦点検出の際には、横方向に１０ブロック、縦方向に１ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして、本実施形態では、縦方向に並んだ３０セクションで、１つの焦点検出領域を構成する。すなわち、３００行×１００列＝３万画素の領域が１つの焦点検出領域となる。この１つの焦点検出領域も図１１と同様にＡＦエリアと定義する。ここで、１つのセクション内においては、縦方向における一方の瞳分割を行なう画素ＳＶＣが５個、他方の瞳分割を行なう画素ＳＶＤも５個含まれている。そこで本実施形態においては、５個のＳＶＣの出力を加算して、位相差演算用の一方の画像信号（Ｃ像と称する）の１ＡＦ画素とする。同様に、５個のＳＶＤの出力を加算して、位相差演算用の他方の画像信号（Ｄ像と称する）の１ＡＦ画素とする。

図１４は、一つのセクションにおける被写体像の捕捉能力を説明するための図で、図１２の手法を９０度回転したものと等価である。

図１４（ａ）は図１３の上端のセクションを切り出したものである。そして右端に示された垂直線ＰＲＪｖは、焦点検出用画素ＳＶＣ及びＳＶＤの瞳分割方向に延伸した第３の射影軸、下端に示された水平線ＰＲＪｈは、瞳分割方向と直交する方向に延伸した第４の射影軸である。図１４（ａ）においても、１つのセクション内の画素ＳＶＣはすべて加算され、ＳＶＤも加算される。そこで、１セクションを１ＡＦ画素と見なした場合、１ＡＦ画素に含まれる受光部を瞳分割方向の射影軸ＰＲＪｖに射影すると、画素ＳＶＣ及びＳＶＤが交互に緻密に並ぶことがわかる。このときの、瞳分割方向の射影軸ＰＲＪｖにおける画素ＳＶＣの配列ピッチをＰ１とすると、Ｐ１＝ＰＶｖ＝２（単位は画素）となる。ピッチの代わりに空間周波数Ｆ１で表わすと、Ｆ１＝０．５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＶＤの配列ピッチもＰ１＝２（単位は画素）、空間周波数表記ではＦ１＝０．５（単位は画素／画素）となる。

一方、１ＡＦ画素に含まれる受光部を瞳分割方向と直交方向の射影軸ＰＲＪｈに射影すると、画素ＳＶＣとＳＶＤはまばらに並ぶことがわかる。このときの、射影軸ＰＲＪｈにおける画素ＳＶＣの配列ピッチをＰ２とすると、Ｐ２＝ＰＶｈ＝２０（単位は画素）となる。ピッチの代わりに空間周波数Ｆ２で表わすと、Ｆ２＝０．０５（単位は画素／画素）となる。同様に射影軸ＰＲＪｖにおける画素ＳＶＤの配列ピッチも、Ｐ２＝２０（単位は画素）、空間周波数表記ではＦ２＝０．０５（単位は画素／画素）となる。

以上のごとく、図１４におけるＡＦ画素のサンプリング特性は、瞳分割方向を基準に考えると、図１２と同様の特性、すなわちＦ１＞Ｆ２となっている。これは、図１４のセクションにおいても、瞳分割方向のセクション寸法Ｌ１と、これと直交する方向の寸法Ｌ２を、Ｌ１＜Ｌ２としたからである。

図１４（ａ）で説明したＡＦ画素（一つのセクション）に、細線の被写体像（図１４（ｂ）にハッチングで示した像）が投影された場合の画像捕捉能力を図１４（ｂ）を用いて説明する。

図１４（ｂ）において、ＬＩＮＥｈは、撮像素子１０７上に投影された細い横線を表わし、その幅は画素換算で４画素、画像の実寸では幅８μｍになっている。この時、セクションＳＣＴｖ（１）内では、ブロックＢＬＫ（１，４）とブロックＢＬＫ（１，６）に含まれる焦点検出用画素が被写体像を捕捉する。

一方、図１４（ｂ）のＬＩＮＥｖは、撮像素子１０７上に投影された細い縦線を表わし、その幅は前述のＬＩＮＥｈと同様に画素換算で４画素、画像の実寸では幅８μｍになっている。この時には、縦線ＬＩＮＥｖはブロックＢＬＫ（１，６）にかかっているが、焦点検出用画素ＳＶＣ及びＳＶＤには捕捉されない。しかしながら、セクションＳＣＴｖ（１）は、横線のごとく縦方向に輝度分布を有する被写体について焦点検出を行なうためのものである。従って、縦線のごとく横方向に輝度分布を有する被写体については、焦点検出用画素による像の捕捉洩れが生じても実害はない。

図１５は、本実施形態における撮像素子の瞳分割状況を概念的に説明する図である。ＴＬは撮影光学系、１０７は撮像素子、ＯＢＪは被写体、ＩＭＧは被写体像である。

撮像用画素は図５で説明したように、撮影光学系の射出瞳全域ＥＰを通過した光束を受光する。一方、焦点検出用画素は図６及び図７で説明したように、瞳分割機能を有している。具体的には、図６の画素ＳＨＡは撮像面からレンズ後端を見て左側の瞳を通過した光束、すなわち図１５の瞳ＥＰＨＡを通過した光束を受光する。同様に画素ＳＨＢ、ＳＶＣ及びＳＶＤはそれぞれ瞳ＥＰＨＢ、ＥＰＶＣ、及びＥＰＶＤを通過した光束を受光する。そして、焦点検出用画素は、図１０で説明したように撮像素子１０７の全領域に渡って分布しているため、撮像領域全域で焦点検出も可能となっている。

図１６は、焦点検出時に取得した画像と焦点検出領域を説明する図である。

図１６において、撮像面に形成された被写体像には、中央に人物、左側に近景の樹木、右側に遠景の山並みが写っている。そして本実施形態においては、焦点検出用画素は、横ずれ検出用の画素ペアＳＨＡ及びＳＨＢと、縦ずれ検出用の画素ペアＳＶＣ及びＳＶＤが、図１０に示したように撮像領域全域に渡って均等な密度で配置されている。そして横ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１１及び図１２で示したようにグループ化処理する。また、縦ずれ検出の際には、位相差演算のためのＡＦ画素信号を図１３及び図１４で示したようにグループ化処理する。よって、撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための測距領域を設定可能である。

図１６においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心に横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）と、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）が設定される。ここで添え字のｈは水平方向を表わし、（ｘ１，ｙ１）及び（ｘ３，ｙ３）は焦点検出領域の左上隅の座標を表わす。そして、焦点検出領域ＡＦＡＲｈ（ｘ１，ｙ１）の各セクション内に含まれる５個の焦点検出用画素用ＳＨＡを加算し、これを３０セクションに渡って連結した位相差検出用のＡ像信号がＡＦＳＩＧｈ（Ａ１）である。また、同様に各セクションの５個の焦点検出用画素用ＳＨＢを加算し、これを３０セクションに渡って連結した位相差検出用のＢ像信号がＡＦＳＩＧｈ（Ｂ１）である。そして、Ａ像信号ＡＦＳＩＧｈ（Ａ１）とＢ像信号ＡＦＳＩＧｈ（Ｂ１）の相対的な横ずれ量を公知の相関演算によって計算することで、被写体の焦点ずれ量（デフォーカス量）を求めることができる。

焦点検出領域ＡＦＡＲｖ（ｘ３，ｙ３）についても同様に焦点ずれ量を求める。そして、横ずれ用及び縦ずれ用の焦点検出領域で検出した２つの焦点ずれ量を比較し、信頼性の高い値を採用すればよい。

一方、画面左側の樹木の幹部は、縦線成分が主体、すなわち横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断され、横ずれ検知のための焦点検出領域ＡＦＡＲｈ（ｘ２，ｙ２）が設定される。また、画面右側の山並み稜線部は、横線成分が主体、すなわち縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断され、縦ずれ検知のための焦点検出領域ＡＦＡＲｖ（ｘ４，ｙ４）が設定される。

以上のごとく本実施形態においては、横ずれ及び縦ずれ検出のための焦点検出領域が画面の任意位置に設定可能であるため、被写体の投影位置や輝度分布の方向性が様々であっても、常に正確な焦点検出が可能である。

図１７乃至図１９は、本実施形態に関わるカメラの焦点調節及び撮影工程を説明するためのフローチャートである。先に説明した図１から図１６の各図を参照しながら、図１７以降の制御フローを説明する。

図１７は第１の実施形態のカメラの動作を示すメインフローチャートである。

撮影者がカメラの電源スイッチをオン操作すると、ステップＳ１０１においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップＳ１０２では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１０３では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。

ステップＳ１０４では、プレビュー用動画像に顔が存在するか否かを認識する。そして、撮影領域に顔が存在していると認識された場合には、ステップＳ１０５からステップＳ１０６に移行し、焦点調節モードを顔ＡＦモードに設定する。ここで顔ＡＦモードとは、撮影領域の顔に焦点を合わせるＡＦモードを指す。

一方撮影領域に顔が存在していない場合はステップＳ１０５からステップＳ１０７に移行し、焦点調節モードを多点ＡＦモードに設定する。ここで多点ＡＦモードとは、撮影領域を例えば３×５＝１５分割し、各分割領域で焦点検出を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域を合焦させるモードを指す。

ステップＳ１０６あるいはステップＳ１０７でＡＦモードを決定したら、ステップＳ１０８で焦点検出領域を決定する。ステップＳ１０９では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１０２に戻り、撮像素子駆動からステップＳ１０８の焦点検出領域の決定を繰り返し実行する。

ステップＳ１０９で撮影準備スイッチがオン操作されるとステップＳ１１０に移行し、焦点検出サブルーチンを実行する。

図１８は焦点検出サブルーチンのフローチャートである。メインフローのステップＳ１０９から当サブルーチンのステップＳ１１０にジャンプすると、続くステップＳ１３１においては、メインルーチンのステップＳ１０８で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。

ステップＳ１３２では、焦点検出領域における図１１もしくは図１３で説明したセクション内の欠陥画素を検出する。なお、欠陥画素の位置に関する情報は、予めメモリ１３３等に記憶されており、ＣＰＵ１２１は、この情報に基づいてセクション内に欠陥画素があるかないかを判定するものとする。これは、後に説明する第２乃至第４の実施形態においても同様である。

そして、焦点検出用画素に欠陥画素がない場合は、ステップＳ１３３からステップ１３４に移行し、セクション内の全ての焦点検出用画素を加算し、ＡＦ画素信号を得る。

一方、焦点検出用画素に欠陥画素がある場合は、ステップＳ１３３からステップＳ１３５に移行し、セクション内において、欠陥画素を除いた焦点検出用画素の加算演算を行なう。

ステップＳ１３６では、セクション内における欠陥画素の数に応じた補正係数Ｋ（補正値）により、ステップＳ１３５で演算した加算結果の補正を行なう。

ここで、セクション内に含まれる焦点検出用画素数をＮ、セクション内に含まれる欠陥画素数をＭとすると、補正係数Ｋを次式で表わす。

Ｋ＝Ｎ／（Ｎ−Ｍ）
加算結果には、欠陥画素信号が含まれていないため、欠陥画素が存在しないセクションの加算結果よりも信号が小さくなる。そこで、補正係数Ｋにより、加算結果を補正することで、欠陥画素の影響を軽減している。

図１１もしくは図１３で説明した各セクションは、水平方向に瞳分割を行なうための焦点検出用画素が５画素、垂直方向に瞳分割を行なうための焦点検出用画素が５画素で構成されている。例えば、水平方向に瞳分割を行なうための焦点検出用画素の５画素の内、1つの欠陥画素が含まれていた場合は、欠陥画素を含まない４つの画素の信号について加算演算を行なう。そして、補正係数Ｋ＝５／（５−１）＝１．２５を加算結果に乗算することで、補正を行なう。ステップＳ１３３からステップＳ１３６の動作は、焦点検出領域内の全てのセクションについて行なう。

ステップＳ１３７では、ステップＳ１３４およびステップＳ１３６での演算結果を基に、相関演算用の２像の信号を得る。具体的には、図１６に示したＡＦＳＩＧｈ（Ａ１）とＡＦＳＩＧｈ（Ｂ１）、あるいはＡＦＳＩＧｖ（Ｃ３）とＡＦＳＩＧｖ（Ｄ３）等の対の信号を創生する。

ステップＳ１３８では得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を計算する。ステップＳ１３９では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。

ステップＳ１４０では、上記の信頼性の高い検出結果からピントずれ量を演算し、図１７のメインフロー内のステップＳ１１１にリターンする。

図１７のステップＳ１１１では、図１８のステップＳ１４０で計算した焦点ずれ量が許容値以下か否かを判断する。そして焦点ずれ量が許容値以上である場合は、非合焦と判断し、ステップＳ１１２でフォーカスレンズを駆動し、その後ステップＳ１１０からステップＳ１１２を繰り返し実行する。そしてステップＳ１１１にて合焦状態に達したと判定されると、ステップＳ１１３にて合焦表示を行ない、ステップＳ１１４に移行する。

ステップＳ１１４では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１１４にて撮影待機状態を維持する。ステップＳ１１４で撮影開始スイッチがオン操作されるとステップＳ１１５に移行し、撮影サブルーチンを実行する。

図１９は撮影サブルーチンのフローチャートである。

撮影開始スイッチが操作されると、ステップＳ１１５にジャンプする。続くステップＳ１６１ではシャッタアクチュエータ１１２を駆動し、露光時間を規定するシャッタ１０２の開口制御を行なう。ステップＳ１６２では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ１６３では読み出した画像信号の欠損画素補間を行なう。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。

ステップＳ１６４では、画像のγ補正、エッジ強調等の画像処理をおこない、ステップＳ１６５において、メモリ１３３に撮影画像を記録する。ステップＳ１６６では、表示器１３１に撮影済み画像を表示し、図１７のメインフローにリターンする。

図１７のメインフローに戻り、一連の撮影動作を終了する。

以上説明したように、第１の実施形態によれば、ステップＳ１３２からステップＳ１３６で説明したように、焦点検出領域のセクション内の欠陥画素を検出し、欠陥画素が存在している場合は、欠陥画素を含まない画素信号により加算結果を演算し、さらに、欠陥画素の数に応じた補正係数にて、加算結果を補正している。これにより、欠陥画素がある程度存在する場合においても、適正な相関演算用の２像の信号を生成し、焦点検出することが可能となる。

（第２の実施形態）
第１の実施形態では、焦点検出領域のセクション内に欠陥画素が存在している場合に、欠陥画素を含まない焦点検出用画素信号を加算し、さらに欠陥画素の数に応じた補正係数を用いてその加算結果を補正している。

これに対し、第２の実施形態では、第１の実施形態とは異なる欠陥画素処理を行なう。

図２０を用いて第２の実施形態の動作について説明する。

図２０のフローチャートは、第１の実施形態の図１８に示すフローチャートに対応する。つまり、図１７のメインシーケンスのステップＳ１１０である焦点検出サブルーチンに対応する。

まず、ステップＳ２３１では、メインルーチンのステップＳ１０８で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。

ステップＳ２３２では、焦点検出領域におけるセクション内の欠陥画素を検出する。

そして、焦点検出用画素に欠陥が無い場合は、ステップＳ２３３からステップＳ２３４に移行し、セクション内の全ての焦点検出用画素の信号を加算平均して加算平均値を算出し、ＡＦ画素信号を得る。

一方、焦点検出用画素に欠陥が有る場合は、ステップＳ２３３からステップＳ２３５に移行し、セクション内において、欠陥画素を除いた焦点検出用画素の信号について加算平均してＡＦ画素信号を得る。

例えば、図１３で説明したセクションにおいて、水平方向に瞳分割を行なうための焦点検出用画素の５画素に１つの欠陥画素が含まれていた場合は、欠陥画素を含まない４つの画素の信号について加算演算を行なう。そして、４画素による平均演算を行なう。

ステップＳ２３６では、ステップＳ２３４およびステップＳ２３５で演算したＡＦ画素信号に基づいて、相関演算用の２像の信号を得る。ステップＳ２３７では得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を計算する。ステップＳ２３８では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。

ステップＳ２３９では、上記の信頼性の高い検出結果からピントずれ量を演算し、図１７のメインフロー内のステップＳ１１１にリターンする。

以上説明したように、第２の実施形態によれば、ステップＳ２３２からステップＳ２３５で説明したように、焦点検出領域のセクション内の欠陥画素を検出し、欠陥画素が存在している場合は、欠陥画素を含まない焦点検出用画素の信号を加算平均している。これにより、欠陥画素がある程度存在する場合においても、適正な相関演算用の２像の信号を生成し、焦点検出することが可能となる。

（第３の実施形態）
第３の実施形態では、第１及び第２の実施形態とは異なる欠陥画素処理を行なう。

図２１を用いて第３の実施形態の動作について説明する。

図２１のフローチャートは、第１の実施形態の図１８に示すフローチャートに対応する。つまり、図１７のメインシーケンスのステップＳ１１０である焦点検出サブルーチンに対応する。

まず、ステップＳ３３１では、メインルーチンのステップＳ１０８で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。

ステップＳ３３２では、焦点検出領域におけるセクション内の欠陥画素を検出する。

そして、焦点検出用画素に欠陥が無い場合は、ステップＳ３３３からステップＳ３３４へ移行し、セクション内の全ての焦点検出用画素の信号を加算しＡＦ画素信号を得る。

一方、焦点検出用画素に欠陥が有る場合は、ステップＳ３３３からステップＳ３３５へ移行し、欠陥画素に対応した欠陥行（または欠陥列）の代わりに使用する代替行（または代替列）を設定する。ここで、代替行について図２２および図２３、図１２を用いて詳細に説明する。

図２２は、図１１で説明したセクション構造である。ここでは、ブロックＢＬＫ（３，３）のＡ像に対応した焦点検出用画素が欠陥であるものとする。

図２３は、ブロックＢＬＫ（３，３）を含むセクションを切り出した図である。

図２３の下端に示された水平線ＰＲＪｈ、つまり焦点検出用画素ＳＨＡ及びＳＨＢの瞳分割方向に延伸した第１の射影軸に注目する。

欠陥画素が存在しない場合は、図１２で説明したように、画素ＳＨＡとＳＨＢが交互に密に並ぶ。

一方、図２３のように欠陥画素が存在する場合は、信号の一部が欠落してしまう。したがって、空間周波数が高い被写体（細線など）の検出能力が落ちてしまう。

そこで、ブロックＢＬＫ（３，３）と同種の検出位置に対応した新たなブロックをセクションに加える。

図２２において、欠陥画素を含む行、ブロックＢＬＫ（３，１）からＢＬＫ（３，３０）をセクション内の演算から除外する。そして、焦点検出領域近傍で、かつブロックＢＬＫ（３，３）と同種の検出位置に対応した行、つまりブロックＢＬＫ（１３，１）からＢＬＫ（１３，３０）をセクション内の加算演算に加える。

ステップＳ３３６では、セクション内において、欠陥行（または欠陥列）を除き、代替行（または代替列）の焦点検出用画素の信号を加えて加算演算して、ＡＦ画素信号を得る。

ステップＳ３３７では、ステップＳ３３４あるいはステップＳ３３６で演算したＡＦ画素信号に基づいて、相関演算用の２像の信号を得る。ステップＳ３３８では得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を計算する。ステップＳ３３９では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。

ステップＳ３４０では、上記の信頼性の高い検出結果からピントずれ量を演算し、図１７のメインフロー内のステップＳ１１１にリターンする。

以上説明したように、第３の実施形態によれば、ステップＳ３３２からステップＳ３３６で説明したように、焦点検出領域内の欠陥画素を検出し、欠陥画素が存在している場合は、欠陥画素を含む欠陥行（または欠陥列）を演算から除外する。さらに、代替行（または代替列）として欠陥行（または欠陥列）と同じ検出位置に対応した代替行（または代替列）を設定することで、空間周波数の高い細線などの被写体像においても、適正な相関演算用の２像の信号を生成し、焦点検出することが可能となる。

（第４の実施形態）
第１乃至第３の実施形態で説明したカメラシステムは、撮像素子の撮像領域の一部を、焦点検出用領域として機能させている。

これに対し、第４の実施形態のカメラシステムでは、撮像素子の撮像領域の一部を、測光用領域として機能させる。

図２４及び図２５を用いて第４の実施形態の構成について説明する。

図２４は、測光用画素の配置と構造を示す図である。

図２４（ａ）は、測光用画素を含む２行×２列の画素の平面図である。記録もしくは観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲもしくはＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、ＲとＢの画素を測光用画素に置き換える。これを図２４（ａ）においてＳＢＲ及びＳＤＫで示す。

図２４（ｂ）は、図２４（ａ）における断面Ａ−Ａを示す図である。マイクロレンズＭＬと、光電変換部ＰＤは図５（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、測光用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）が配置される。

また、測光用画素は、それぞれ異なる大きさの瞳を設定するため、配線層ＣＬの開口部の大きさが異なっている。具体的には、画素ＳＢＲの開口部ＯＰＢＲは小さく、撮影光学系ＴＬの光軸付近の狭い射出瞳ＥＰＢＲを通過した光束を受光する。一方、画素ＳＤＫの開口部ＯＰＤＫは通常の撮像画素と同じ大きさであり、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。

よって、画素ＳＢＲ、画素ＳＤＫを規則的に配列し、それぞれの画素群で取得した輝度信号を使い分けることによって、被写体を広い階調で測光することができる。

図２で説明した撮像素子は、入射光量に対して線形信号として出力される。このような、撮像素子の場合、一般的には輝度の分解能は２５６階調程度であり、一回の露光条件で、±４段分の輝度範囲しか測光できない。

そこで、異なる開口の大きさを持つ画素ＳＢＲ、ＳＤＫを用意することで、明るい部分を開口の狭いＳＢＲ画素で測光し、暗い部分を開口の広いＳＤＫ画素で測光することで、±４段分より広い範囲の輝度を測光できるようにしている。

撮像用画素と測光用画素の配置規則は、図８乃至図１０で説明した撮像用画素と焦点検出用画素の配置規則と同じであり、焦点検出用画素ＳＨＡとＳＶＣに相当する位置に測光用画素ＳＢＲを配置し、撮像用画素ＳＨＢとＳＶＤに相当する位置に測光用画素ＳＤＫを配置する。配置規則の単位であるブロックおよびクラスタ、フィールドについても図８乃至図１０で説明した撮像用画素と焦点検出用画素の配置規則と同じである。

図２５に示す画素配列において、測光の際に、横方向に１ブロック、縦方向に１０ブロックの合計１０ブロックを１つのグループとし、これをセクションと定義する。そして、本実施形態では、横方向に並んだ３０セクションで、１つの測光領域を構成する。すなわち、１００行×３００列＝３万画素の領域が１つの測光領域となる。この１つの測光領域をＡＥエリアと定義する。ここで、１つのセクション内においては、高輝度側の測光を行なう画素ＳＢＲが１０個、低輝度側の測光を行なう画素ＳＤＫも１０個含まれている。そこで本実施形態においては、１０個のＳＢＲの出力を加算して、高輝度用測光信号の１ＡＥ画素とする。同様に、１０個のＳＤＫの出力を加算して、低輝度側測光用信号の１ＡＥ画素とする。

図２６乃至図２８は、本発明の第４の実施形態に関わるカメラの露出調節及び撮影工程を説明するためのフローチャートである。

図２６は、第４の実施形態のカメラのメインフローチャートである。

撮影者がカメラの電源スイッチをオン操作すると、ステップＳ４０１においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップＳ４０２では撮像素子１０７の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ４０３では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。

ステップＳ４０４では、プレビュー用動画像に顔が存在するか否かを認識する。そして、撮影領域に顔が存在していると認識された場合には、ステップＳ４０５からステップＳ４０６に移行し、顔ＡＦ・ＡＥモードに設定する。ここで顔ＡＦ・ＡＥモードとは、撮影領域の顔に対して、焦点検出および測光を行うことを指す。

一方、撮影領域に顔が存在していない場合はステップＳ４０５からステップＳ４０７に移行し、多点ＡＦ・ＡＥモードに設定する。ここで多点ＡＦ・ＡＥモードとは、撮影領域を例えば３×５＝１５分割し、各分割領域で焦点検出と測光を行ない、焦点検出結果と被写体の輝度情報から主被写体を類推し、その領域に対して焦点検出および測光を行うモードを指す。

ステップＳ４０６あるいはステップＳ４０７でＡＦ・ＡＥモードを決定したら、ステップＳ４０８で焦点検出・測光領域（ＡＦ・ＡＥ領域）を決定する。

続くステップＳ４０９では、ステップＳ４０８で決定したＡＥ領域に対して測光サブルーチンを実行する。

図２７は、測光サブルーチンのフローチャートである。メインフローのステップＳ４０８からこのサブルーチンのステップＳ４０９にジャンプする。

続くステップＳ４２１では、メインルーチンのステップＳ４０８で決定した測光領域に含まれる測光用画素を読み出す。

ステップＳ４２２では、図２５で説明したセクション構造に基づき、セクション内の欠陥画素を検出する。

そして、測光用画素に欠陥が無い場合は、ステップＳ４２３からステップＳ４２４に移行し、セクション内の高輝度用測光画素の信号を加算平均し、高輝度用ＡＥ画素信号を得る。同様に、セクション内の低輝度用ＡＥ画素の信号についても同様の演算を行い、低輝度用ＡＥ画素信号も得る。

一方、測光用画素に欠陥が有る場合は、ステップＳ４２３からステップＳ４２５に移行し、セクション内において、欠陥画素を除いた高輝度用ＡＥ画素の信号を加算平均し、高輝度用ＡＥ画素信号を得る。さらに、セクション内の低輝度用ＡＥ画素の信号についても同様の演算を行い、低輝度用ＡＥ画素信号も得る。

ステップＳ４２６では、ステップＳ４２４あるいはステップ４２５で得られたＡＥ画素信号から被写体輝度分布を生成する。ここで、被写体輝度分布の生成方法について図２５及び図２９を用いて説明する。

図２５で説明した画素ＳＢＲの開口は、ＳＤＫの開口よりも７段分小さく設定されている。そのため、ＳＢＲ画素から演算した高輝度用ＡＥ画素信号は、ＳＤＫ画素から演算した低輝度用ＡＥ画素信号に対して、同一輝度を測光した場合７段分シフトした値となる。

図２９は、ＡＥ画素信号と輝度段数比の対応表である。低輝度用ＡＥ画素信号１２８が最適露出値とすると、高輝度用ＡＥ画素信号が大きくなるほど、露出オーバーになる。一方、低輝度用ＡＦ画素信号が小さくなるほど、露出アンダーになる。この対応表により、被写体輝度分布を生成する。

ステップＳ４２７では、ステップ４２６で生成した被写体輝度分布から次回撮影用の露出量を決定して図２６のメインフロー内のステップ４１０にリターンする。

図２６のステップ４１０では、撮影準備スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ４０２に戻り、撮像素子駆動からステップＳ４０９の測光サブルーチン動作を繰り返し実行する。

ステップＳ４１０で撮影準備スイッチがオン操作されるとステップＳ４１１に移行し、ＡＦ動作を実行する。ここでは、撮像素子１０７に結像される被写体像の高周波成分を抽出し、第３レンズ群１０５を駆動ながらその高周波成分がもっとも高くなる位置を合焦位置とする、所謂コントラスト検出方式のＡＦ動作を行なう。

続くステップＳ４１２では、合焦表示を行ない、ステップＳ４１３に移行する。

ステップＳ４１３では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ４１３にて撮影待機状態を維持する。ステップＳ４１３で撮影開始スイッチがオン操作されるとステップＳ４１４に移行し、撮影サブルーチンを実行する。

図２８は撮影サブルーチンのフローチャートである。

撮影開始スイッチが操作されると、ステップＳ４３５では、図２７の測光サブルーチン中のステップＳ４２７で決定した露出量を基に、シャッタ１０２を駆動し、露光時間を規定する開口制御を行なう。ステップＳ４３６では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ４３７では読み出した画像信号の欠損画素補間を行なう。すなわち、測光用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を創生する。

ステップＳ４３８では、画像のγ補正処理、エッジ強調処理等の画像処理を行い、ステップＳ４３９において、メモリ１３３に撮影画像を記録する。ステップＳ４４０では、表示器１３１に撮影済み画像を表示し、図２６のメインフローにリターンする。

図２６のメインフローに戻ると、一連の撮影動作を終了する。

以上説明したように、第４の実施形態によれば、図２７のステップＳ４２２からステップＳ４２５で説明したように、測光領域のセクション内の欠陥画素を検出し、欠陥画素が存在している場合は、欠陥画素を含まない画素信号を加算平均している。これにより、欠陥画素がある程度存在する場合においても、適正な被写体輝度分布を生成し、測光することが可能となる。

本発明の第１の実施形態に係わるデジタルカメラの構成を示す図である。 撮像素子の回路図である。 撮像素子の画素部の断面図である。 撮像素子の駆動タイミングチャートである。 第１の実施形態における撮像素子の撮像用画素の平面図と断面図である。 第１の実施形態における撮像素子のＡＦ用画素の平面図と断面図である。 第１の実施形態における撮像素子の他のＡＦ用画素の平面図と断面図である。 第１の実施形態における撮像素子の最小単位の画素配列の説明図である。 第１の実施形態における撮像素子の上位単位の画素配列の説明図である。 第１の実施形態における撮像素子の全領域における画素配列の説明図である。 第１の実施形態における横ずれ焦点検出時の画素のグループ化方法の説明図である。 第１の実施形態における横ずれ焦点検出時の画像サンプリング特性の説明図である。 第１の実施形態における縦ずれ焦点検出時の画素のグループ化方法の説明図である。 第１の実施形態における縦ずれ焦点検出時の画像のサンプリング特性の説明図である。 第１の実施形態における撮像素子の瞳分割状況を説明する概念図である。 第１の実施形態における焦点検出領域の説明図である。 第１の実施形態におけるメイン制御フローチャートである。 第１の実施形態における焦点検出サブルーチンのフローチャートである。 第１の実施形態における撮影サブルーチンのフローチャートである。 第２の実施形態における焦点検出サブルーチンのフローチャートである。 第３の実施形態における焦点検出サブルーチンのフローチャートである。 第３の実施形態における欠陥画素処理の説明図である。 第３の実施形態における欠陥画素が存在する場合の画像のサンプリング特性の説明図である。 第４の実施形態における撮像素子のＡＥ用画素の平面図と断面図である。 第４の実施形態における測光時の画素のグループ化方法の説明図である。 第４の実施形態におけるメイン制御フローチャートである。 第４の実施形態における測光サブルーチンのフローチャートである。 第４の実施形態における撮影サブルーチンのフローチャートである。 第４の実施形態におけるＡＥ画素信号と輝度比の対応表である。

符号の説明

１０１ 第１レンズ群
１０２ シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ 光学的ローパスフィルタ
１０７ 撮像素子
１１４ フォーカスアクチュエータ
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１３１ 表示器
１３２ 操作スイッチ群
１３３ メモリ

Claims (5)

1. 撮影光学系を介して入射した被写体光を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置され、前記撮影光学系の射出瞳を分割した一部の領域を通過した光束を受光する複数の焦点検出用画素であって、第１の焦点検出用画素と第２の焦点検出用画素が対をなすように構成された第１の焦点検出用画素群と第２の焦点検出用画素群とを有する複数の焦点検出用画素とを有する撮像素子と、
   前記第１の焦点検出用画素群から得られる像と前記第２の焦点検出用画素群から得られる像の相関演算を行い、当該像の位相差に基づいて焦点ずれ量を検出する焦点検出手段と、を備え、
   前記焦点検出手段は、前記対をなす第１の焦点検出用画素と第２の焦点検出用画素の一方に欠陥画素が存在する場合に、前記対をなす第１の焦点検出用画素と第２の焦点検出用画素の両方を除外した前記第１の焦点検出用画素群と前記第２の焦点検出用画素群の出力信号に基づく像の相関演算の結果に応じて、当該像の位相差に基づいて焦点ずれ量を検出することを特徴とする撮像装置。
2. 前記焦点検出手段は、前記欠陥画素を除外した前記複数の焦点検出用画素の出力信号の加算値を算出すると共に、該加算値に前記欠陥画素の数に応じた補正値を掛けた値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記焦点検出手段は、前記欠陥画素を除外した前記複数の焦点検出用画素の出力信号の加算平均値を算出することを特徴とする請求項１に記載の撮像装置。
4. 前記焦点検出手段は、前記欠陥画素を除外した前記複数の焦点検出用画素の出力信号と、前記欠陥画素の近傍の焦点検出用画素の出力信号とを加算することを特徴とする請求項１に記載の撮像装置。
5. 撮影光学系を介して入射した被写体光を光電変換して画像信号を生成するための複数の撮像用画素と、該複数の撮像用画素の間に離散的に配置され、前記撮影光学系の射出瞳を分割した一部の領域を通過した光束を受光する複数の焦点検出用画素であって、第１の焦点検出用画素と第２の焦点検出用画素が対をなすように構成された第１の焦点検出用画素群と第２の焦点検出用画素群とを有する複数の焦点検出用画素とを有する撮像素子を備えた撮像装置の制御方法であって、
   前記第１の焦点検出用画素群から得られる像と前記第２の焦点検出用画素群から得られる像の相関演算を行い、当該像の位相差に基づいて焦点ずれ量を検出する焦点検出工程を備え、
   前記焦点検出工程では、前記対をなす第１の焦点検出用画素と第２の焦点検出用画素の一方に欠陥画素が存在する場合に、前記対をなす第１の焦点検出用画素と第２の焦点検出用画素の両方を除外した前記第１の焦点検出用画素群と前記第２の焦点検出用画素群の出力信号に基づく像の相関演算の結果に応じて、当該像の位相差に基づいて焦点ずれ量を検出することを特徴とする撮像装置の制御方法。

Images