JP4967296B2

JP4967296B2 - 撮像素子、焦点検出装置、および、撮像システム

Info

Publication number: JP4967296B2
Application number: JP2005290188A
Authority: JP
Inventors: 洋介日下
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-10-03
Filing date: 2005-10-03
Publication date: 2012-07-04
Anticipated expiration: 2025-10-03
Also published as: JP2007103590A

Description

本発明は、撮影画像の取得と例えば焦点検出などの撮影条件（状態）の取得とを行える撮像素子、これを備えた焦点検出装置、および、撮像システムに関する。

撮影画像用の画素セルを撮像素子の基板上に２次元的に配置して、その中に焦点検出用の画素セルを所定のレイアウトで配置することが提案されている（例えば特許文献１,２を参照）。また、特許文献１では、位相差検出方式の焦点検出を例に、その画素セルを撮影画像用の画素セルと同じサイズにしている。特許文献２では、コントラスト検出方式の焦点検出を例に、その画素セルを撮影画像用の画素セルより小さなサイズにしている。
特開２００３−２５００８０号公報特開２００４−３６１６１１号公報

しかし、上記の撮像素子では、焦点検出用の画素セルのサイズが撮影画像用の画素セルと同じ（または撮影画像用の画素セルより小さい）ため、低輝度時に焦点検出の応答性が低下するという問題があった。また、この問題は、焦点検出用の画素セルに限らず、測距用や測光用などの画素セルを配置する場合にも同様に発生し得る。
本発明の目的は、撮影条件を取得する（例えば焦点検出や測距などを行う）際の低輝度時の応答性を改善できる撮像素子、焦点検出装置、および、撮像システムを提供することにある。

本発明の一態様は、撮影光学系による像を撮像する撮像素子であって、入射光を集光する第１のマイクロレンズと、該第１のマイクロレンズにより集光された光に応じて電荷を生成する第１の光電変換部とを含む撮像用の第１の画素セルと、入射光を集光する第２のマイクロレンズと、該第２のマイクロレンズにより集光された光に応じて電荷を生成する第２の光電変換部とを含む焦点検出用の第２の画素セルとを備え、前記第１の画素セルの形状は正方形であり、前記第２の画素セルの形状は短辺の長さが前記正方形の一辺の長さと同じであり、長辺の長さが前記正方形の一辺の長さの整数倍である長方形であり、基板上に前記第１の画素セルが２次元的に配置され、前記第２の画素セルは、隣接した前記第１の画素セル複数個に置き換えられて配置されるとともに、前記長方形の長辺の方向に配列されることを特徴とする。

本発明の他の態様は、撮影光学系による像を撮像する撮像素子であって、入射光を集光する第１のマイクロレンズと、該第１のマイクロレンズにより集光された光に応じて電荷を生成する第１の光電変換部とを含む撮像用の第１の画素セルと、入射光を集光する第２のマイクロレンズと、該第２のマイクロレンズにより集光された光に応じて電荷を生成する第２の光電変換部とを含む焦点検出用の第２の画素セルと、入射光を集光する第３のマイクロレンズと、該第３のマイクロレンズにより集光された光に応じて電荷を生成する複数の第３の光電変換部とを含む焦点検出用の第３の画素セルとを備え、前記第１の画素セルと前記第３の画素セルのセルサイズは同一であり、前記第２の画素セルのセルサイズは、前記第１の画素セルのセルサイズの２以上の整数倍であり、基板上に前記第１の画素セルが２次元的に配置され、前記第２の画素セルは、隣接した前記第１の画素セル複数個に置き換えられて配置され、前記第３の画素セルは、前記第１の画素セルに置き換えられて配置されることを特徴とする。

本発明のさらに他の態様は、撮影光学系による像を撮像する撮像素子であって、入射光を集光する第１のマイクロレンズと、該第１のマイクロレンズにより集光された光に応じて電荷を生成する第１の光電変換部とを含む撮像用の第１の画素セルと、入射光を集光する第２のマイクロレンズと、該第２のマイクロレンズにより集光された光に応じて電荷を生成する第２の光電変換部とを含み、前記第１の画素セルに比べてセルサイズが大きい焦点検出用の第２の画素セルとを備え、基板上に前記第１の画素セルと前記第２の画素セルとが２次元的に配置され、前記第２の画素セルのそれぞれは、複数の前記第２の光電変換部を含み、前記複数の第２の光電変換部のそれぞれは、前記第２のマイクロレンズを介して前記撮影光学系の射出瞳と共役であるとともに、前記複数の第２の光電変換部のうち２つは対を成し、前記対を成す２つの第２の光電変換部には、それぞれ異なる色のフィルタが配置されることを特徴とする。

本発明によれば、撮影条件（状態）を取得する（例えば焦点検出や測距や測光などを行う）際の低輝度時の応答性を改善することができる。

以下、図面を用いて本発明の実施形態を詳細に説明する。
（第１実施形態）
ここでは、撮影画像の取得と焦点検出に関わる情報の取得とを行える撮像素子について説明する。また、位相差検出方式の焦点検出を例に説明する。焦点検出に関わる情報とは、撮影画像を取得する際の各種条件（撮影条件）の１つであって、撮像素子の物体側に配置される撮影光学系のデフォーカス量に相当する。撮影光学系が合焦状態（理想的にはデフォーカス量＝０）のとき、撮像素子上には鮮明な被写体像が形成される。

第１実施形態の撮像素子１０は、図１(ａ)に示す撮影画像用の画素セル１１と図１(ｂ)に示す焦点検出用の画素セル１２とを、図１(ｃ)に示すレイアウトで、基板上に配置したものである。図１(ｃ)では、分かりやすくするため、１つの画素セル１１,１２にそれぞれハッチングを付した。図１(ａ)〜(ｃ)は、撮影光学系の側から見た模式図である。なお、撮像素子１０には、画素セル１１,１２の他、不図示の垂直走査回路や水平走査回路なども設けられる。

本実施形態では、画素セル１１,１２の形状をそれぞれ正方形状とする。また、焦点検出用の画素セル１２は撮影画像用の画素セル１１に比べてセルサイズが大きく、１個の画素セル１２の大きさの中に４個の画素セル１１を稠密に配置できるような大きさとなっている。つまり、焦点検出用の画素セル１２のセルサイズは、撮影画像用の画素セル１１のセルサイズの４倍である。この場合、画素セル１２の一辺の長さＡ₁₂は、画素セル１１の一辺の長さＡ₁₁の２倍である。

撮像素子１０の基板上において、撮影画像用の画素セル１１は２次元的に略稠密に配置され、その中に焦点検出用の画素セル１２が周期的に埋め込まれている。画素セル１１の配置は略正方格子状である。
撮影画像用の画素セル１１（図１(ａ)）には、円形状のマイクロレンズ１３と、矩形状の光電変換部１４とが設けられる。マイクロレンズ１３は、入射光を集光して光電変換部１４に導く光学要素である。光電変換部１４は、マイクロレンズ１３により集光された光に応じて電荷を生成するフォトダイオードである。また図示省略したが、マイクロレンズ１３と光電変換部１４との間には、ＲＧＢのうち何れか１つの色フィルタが配置される。そして、複数の画素セル１１の色フィルタは所定のＲＧＢ配列（例えばベイヤー配列）となっている。

なお、この画素セル１１では、撮影光学系の射出瞳の大きさ（つまり撮影光学系の絞り径）に比例した出力を得ることができるように、マイクロレンズ１３のパワーを設定している。そのためには、射出瞳の大きさに拘わらず、射出瞳の全体からの光束を光電変換部１４に導く必要があり、絞り径を最大（例えばＦ１.４など）にしたときの射出瞳の大きさを基準にしてマイクロレンズ１３のパワーが設定される。

焦点検出用の画素セル１２（図１(ｂ)）には、円形状のマイクロレンズ１５と、矩形状の２つの光電変換部１６,１７とが設けられる。マイクロレンズ１５は、入射光を集光して光電変換部１６,１７に導く光学要素である。光電変換部１６,１７は、それぞれ、マイクロレンズ１５により集光された光に応じて電荷を生成するフォトダイオードである。これら２つの光電変換部１６,１７は対を成し、マイクロレンズ１５を用いた位相差検出方式の焦点検出に用いられる。

また、図２の断面図から分かる通り、一対の光電変換部１６,１７は、それぞれ、基板２２の表面ｐ＋層２３とｎ層２４とで構成される。基板２２の表面上にはゲート絶縁膜２５(ＳｉＯ₂膜)が形成される。なお、このような断面構造は、上記した撮影画像用の画素セル１１も同様である。そして、焦点検出用の画素セル１２において、一対の光電変換部１６,１７とマイクロレンズ１５との間には、焦点検出に不要な赤外光を除去するために、赤外カットフィルタ２１が配置される。ちなみに、一対の光電変換部１６,１７には色フィルタが設けられないため、可視光の全波長領域の光束が入射することになる。

さらに、この画素セル１２では、位相差検出方式の焦点検出を実現するために、マイクロレンズ１５を介して、一対の光電変換部１６,１７と撮影光学系の射出瞳とが共役になっている。つまり、マイクロレンズ１５のパワーは、一対の光電変換部１６,１７を撮影光学系の射出瞳に投影できるように設定されている。
このような共役関係を図示すると、図３(ａ)のようになる。図３(ａ)では射出瞳１８を太い点線で示した。射出瞳１８を撮影光学系(不図示)の光軸１９の方向から見ると、図３(ｂ)のように略円形状である。射出瞳１８の中の領域８Ａ,８Ｂは、一対の光電変換部１６,１７がマイクロレンズ１５によって投影された領域であり、略矩形状である。

また、領域８Ａ,８Ｂは、光軸１９を中心に略対称に配置される。そして、射出瞳１８のうち領域８Ａを通過した光束は一方の光電変換部１６に入射し、領域８Ｂを通過した光束は他方の光電変換部１７に入射する。つまり、射出瞳１８を通過する光束を２分割して光電変換部１６,１７に導くことができる（瞳分割方式）。
なお、位相差検出方式の焦点検出の際には、一対の領域８Ａ,８Ｂが射出瞳１８から部分的にはみ出すと、一対の光電変換部１６,１７に導かれる光束（焦点検出に用いる光束）の一部がけられ、焦点検出の精度が悪化する。したがって、焦点検出用の画素セル１２では、射出瞳１８の大きさ（つまり撮影光学系の絞り径）に拘わらず、射出瞳１８の中に一対の領域８Ａ,８Ｂが収まるように、マイクロレンズ１５のパワーを設定している。そのため、絞り径が最小（例えばＦ２.８やＦ５.６）のときの射出瞳１８の大きさを基準にしてマイクロレンズ１５のパワーが設定される。

さらに、本実施形態では、マイクロレンズ１３,１５を円形状とし（図１(ａ),(ｂ)）、それぞれの開口サイズ（直径）が画素セル１１,１２の一辺の長さＡ₁₁,Ａ₁₂と等しくなるように構成した。したがって、上記のように画素セル１２の一辺の長さＡ₁₂を画素セル１１の一辺の長さＡ₁₁より長くすることで、焦点検出用のマイクロレンズ１５の開口サイズを撮影画像用のマイクロレンズ１３の開口サイズより大きくすることができる。そして、開口サイズを大きくした分だけ開口面積も大きくすることができ、マイクロレンズ１５を介して多くの光束を一対の光電変換部１６,１７に入射させることができる。

また、上記した撮影画像用の画素セル１１の光電変換部１４に蓄積された電荷と、焦点検出用の画素セル１２の一対の光電変換部１６,１７に蓄積された電荷とは、例えば図４に示すＭＯＳ型の回路構成によって読み出すことができる。図４には、画素セル１１の４×４画素分（つまり１２個の画素セル１１および１個の画素セル１２）と、その読み出し回路とを示す。

なお、焦点検出用の画素セル１２は２つの光電変換部１６,１７を有するため、画素セル１２の回路部分は撮影画像用の画素セル１１の２個分に相当する。また、画素セル１２のセルサイズは画素セル１１の４倍に相当するため、画素セル１２の回路部分に隣接して、画素セル１１の２個分に相当する箇所３０(１),３０(２)が空きとなる。これらの箇所３０(１),３０(２)をダミーとしてもよい。

撮影画像用の画素セル１１の光電変換部１４と、焦点検出用の画素セル１２の一対の光電変換部１６,１７とは、各々、転送スイッチ用のＭＯＳトランジスタ３１と、リセット用のＭＯＳトランジスタ３２と、ソースフォロワアンプ用のＭＯＳトランジスタ３３と、水平選択スイッチ用のＭＯＳトランジスタ３４とを介して、垂直出力線Ｖに接続されている。また、ＭＯＳトランジスタ３１,３２,３４は、各々、制御線Ｒ,Ｐ,Ｓを介して、垂直走査回路４１に接続されている。垂直走査回路４１は、ＭＯＳトランジスタ３１,３３などのオン／オフを制御する。

さらに、垂直出力線Ｖの一端には、負荷用のＭＯＳトランジスタ３５が接続されると共に、出力蓄積容量３７と水平転送用のＭＯＳトランジスタ３８とを介して、水平出力線Ｈが接続されている。また、水平出力線Ｈの一端には、出力アンプ４３が接続されている。さらに、ＭＯＳトランジスタ３８には、水平走査回路４２が接続されている。ＭＯＳトランジスタ３５は、ＭＯＳトランジスタ３３と同様のソースフォロワを構成し、制御線Ｌを介して、不図示の制御回路に接続されている。なお、水平走査回路４２は、ＭＯＳトランジスタ３８のオン／オフを制御する。

光電変換部１４,１６,１７に電荷を蓄積する際には、まず、制御線Ｌをハイレベルにして垂直出力線Ｖをリセットし、その後、制御線Ｌをローレベルにする。次いで、垂直走査回路４１が制御線Ｒ,Ｐをハイレベルにして光電変換部１４,１６,１７をリセットし、その後、制御線Ｒ,Ｐをローレベルにする。この動作によって光電変換部１４,１６,１７は所定電位にリセットされ、光電変換部１４,１６,１７への電荷の蓄積が開始される。

そして光電変換部１４,１６,１７の電荷を読み出す際には、まず、垂直走査回路４１が制御線ＰをハイレベルにしてＭＯＳトランジスタ３１をオンとし、光電変換部１４,１６,１７の電荷をＭＯＳトランジスタ３３のゲートに印加する。さらに、制御線ＳをハイレベルにしてＭＯＳトランジスタ３４をオンとし、この水平ラインの電荷を読み出し対象として選択する。このとき、ＭＯＳトランジスタ３３は、そのゲートに印加された電荷量に応じて増幅信号を発生し、垂直出力線Ｖを介して出力蓄積容量３７に出力する。

出力蓄積容量３７に蓄積された各出力は、水平走査回路４２からＭＯＳトランジスタ３８への走査タイミング信号により、ＭＯＳトランジスタ３８を介して水平出力線Ｈに転送される。さらに、水平出力線Ｈを介して出力アンプ４３に転送され、出力アンプ４３における信号の増幅を経て外部に読み出される。
このようにして読み出された画素セル１１の出力は、光電変換部１４に蓄積された電荷に起因し、第１実施形態の撮像素子１０を備えた撮像システムにおいて、撮影画像の表示などに用いられる。また、画素セル１２の出力は、一対の光電変換部１６,１７に蓄積された電荷に起因し、第１実施形態の撮像素子１０を備えた焦点検出装置および撮像システムにおいて、位相差検出方式の焦点検出などに用いられる。

画素セル１２の出力に基づいて位相差検出方式の焦点検出を行う場合、複数の画素セル１２の一方の光電変換部１６に関わる出力から第１の被写体像を取り込むと共に、他方の光電変換部１７に関わる出力から第２の被写体像を取り込み、この２つの被写体像の位置的位相差（つまり一対の光電変換部１６,１７の並び方向の位置ずれ量）を例えば相関演算によって求める。そして、この位相差を撮影光学系のデフォーカス量（つまり光軸方向の位置ずれ量）に換算することにより、焦点検出に関わる情報を生成する。

第１実施形態の撮像素子１０では、焦点検出用の画素セル１２のセルサイズを撮影画像用の画素セル１１のセルサイズより大きくするため、焦点検出用のマイクロレンズ１５の開口サイズを撮影画像用のマイクロレンズ１３の開口サイズより大きくすることができ、その分だけ開口面積も大きくすることができる。
したがって、焦点検出用の画素セル１２を撮影画像用の画素セル１１と同じセルサイズ（または画素セル１１より小さいセルサイズ）にする場合と比較し、マイクロレンズ１５を介して多くの光束を一対の光電変換部１６,１７に入射させることができる。その結果、低輝度時においても通常の電荷蓄積時間で焦点検出に必要な出力レベルを確保でき、低輝度時の応答性を改善することができる。

さらに、第１実施形態の撮像素子１０では、高画素化に伴って、撮影画像用の画素セル１１のセルサイズを縮小した場合（例えば波長オーダーまで縮小した場合）においても、撮影画像用の画素セル１１のマイクロレンズ１３と比較して焦点検出用の画素セル１２のマイクロレンズ１５の開口サイズを大きく確保でき、マイクロレンズ１５における回折の影響を軽減することができる。

ここで、マイクロレンズ１５の開口サイズと、マイクロレンズ１５における回折の影響との関係を説明するために、回折シミュレーション（図５〜図９）を行った。シミュレーションの条件は、Ｆ２.８に対応する円形状の射出瞳１８を想定し（図５(ａ)）、撮影光学系の光軸１９を原点とするＸＹ座標系を想定し、射出瞳１８からマイクロレンズ１５までの距離を１００ｍｍとし、射出瞳１８に共役な矩形状の光電変換部１６（図５(ｂ)）の大きさをＸ＝−２〜−１２ｍｍ,Ｙ＝−１０〜１０ｍｍとした。この大きさは、図５(ａ)に示す回折像８Ｃのように、回折の影響が全くない理想的な場合に、光電変換部１６が射出瞳１８に略内接して投影される大きさである。また、波長を５００ｎｍとした。

さらに、マイクロレンズ１５を円形状として（図１(ｂ)参照）、マイクロレンズ１５の開口サイズ（直径）を２０μｍ,１０μｍ,４μｍ,２μｍとした場合、各結果を図６〜図９に示す。図６(ａ)〜図９(ａ)は、各開口サイズのマイクロレンズ１５による光電変換部１６の回折像８Ｃの概略形状である。図６(ｂ)〜図９(ｂ)は、各回折像８ＣのＹ＝０における強度分布である。

図６(ａ),(ｂ)のように、マイクロレンズ１５の開口サイズ（直径）が２０μｍの場合には、回折の影響が少なく、回折像８Ｃの大部分（約９６％）は、Ｆ２.８の射出瞳１８の内部に収まっている。
また、図７(ａ),(ｂ)のように、マイクロレンズ１５の開口サイズ（直径）が１０μｍの場合は、回折の影響が増加し、回折像８Ｃの一部（裾野）がＦ２.８の射出瞳１８からはみ出す。射出瞳１８の内部に含まれる部分は約９２％である。

また、図８(ａ),(ｂ)のように、マイクロレンズ１５の開口サイズ（直径）が４μｍの場合は、回折の影響がさらに増加し、回折像８Ｃのエッジがだれて、回折像８Ｃの周辺部がＦ２.８の射出瞳１８からはみ出す。射出瞳１８の内部に含まれる部分は約８１％である。
また、図９(ａ),(ｂ)のように、マイクロレンズ１５の開口サイズ（直径）が２μｍの場合は、回折の影響がさらに増加し、回折像８Ｃは円形状に広がり、回折像８Ｃの約半分がＦ２.８の射出瞳１８からはみ出す。射出瞳１８の内部に含まれる部分は約６０％である。

このシミュレーションから分かるように、マイクロレンズ１５の開口サイズ（直径）が２０μｍ以下になると、マイクロレンズ１５の投影性能が悪化して、射出瞳１８に投影される回折像８Ｃの形状が回折の影響により崩れ始め、回折像８Ｃの一部が射出瞳１８の外側に広がり始める。そして、マイクロレンズ１５の開口サイズが小さくなるほど回折の影響は大きくなり、図９(ａ),(ｂ)のような直径２μｍでは回折像８Ｃの約半分が射出瞳１８の外側にはみ出てしまう。

すなわち、マイクロレンズ１５における回折の影響は、その開口サイズ（直径）が２０μｍより小さいときに顕著化する。このため、撮影画像用の画素セル１１のマイクロレンズ１３の開口サイズ（直径）が２０μｍより小さい場合に、このマイクロレンズ１３と比較して焦点検出用の画素セル１２のマイクロレンズ１５の開口サイズを大きく確保することが特に有効であり、マイクロレンズ１５における回折の影響を確実に軽減することができる。

そして、マイクロレンズ１５における回折の影響を軽減できれば、マイクロレンズ１５によって射出瞳１８に投影される一対の領域８Ａ,８Ｂ（図３）のうち、射出瞳１８の内部に含まれる部分を増加させる（例えば図８→図６）ことができ、焦点検出に用いる光束のけられを抑制できる。このため、上記した２つの被写体像の強度分布形状を略一致させることができ、２つの被写体像の位置的位相差を求める際の演算（例えば相関演算）の誤差を小さくすることができる。したがって、高画素化に伴って焦点検出精度が低下する事態を回避できる。

さらに、マイクロレンズ１５の開口サイズ（直径）を２０μｍより大きくしたときには、マイクロレンズ１５によって一対の光電変換部１６,１７を正確に射出瞳１８に投影することができ（図５(ａ)参照）、つまり、射出瞳１８の中に一対の領域８Ａ,８Ｂが収まるように投影することができ、焦点検出に用いる光束のけられを無くして良好な焦点検出の精度を維持できる。

また、第１実施形態の撮像素子１０では、焦点検出用の画素セル１２のセルサイズを、撮影画像用の画素セル１１のセルサイズの４倍とした（図１参照）ので、撮影画像用の画素セル１１のみから撮像素子を構成した場合の基本的な回路構成と比較して大幅な変更を行う必要がない。このため、焦点検出用の画素セル１２のセルサイズを大きくした場合でも、撮像素子１０の回路構成が容易になる。さらに、マイクロレンズ１５の作製も容易に行える。また、撮像素子１０の動作制御にも特別な変更は必要ない。

（第２実施形態）
ここでは、図１０〜図１２を参照し、上記の撮像素子１０（図１〜図４）を備えた撮像システム４０について説明する。
第２実施形態の撮像システム４０には、図１０に示す通り、撮影光学系４１、絞り４２、撮像素子１０、信号処理部４３、ＡＤ変換部４４、信号処理部４５、メモリ部４６、タイミング発生部４７、制御部４８、インターフェース(ＩＦ)４９,５０、および、操作部５１が設けられる。

撮影光学系４１は、撮像素子１０の撮像面上に被写体像を形成するレンズ群からなり、フォーカシング用のレンズを含む。絞り４２は、撮影光学系４１を通過する光束の光量を調整する。撮像素子１０は、撮影光学系４１による被写体像を撮像し、撮影画像用の信号や焦点検出用の信号を出力する。
信号処理部４３は、撮像素子１０の出力を増幅するゲイン可変アンプやゲイン値を補正するゲイン補正回路などを含む。ＡＤ変換部４４は、信号処理部４３を経た後の信号（アナログ信号）をデジタル信号に変換する。信号処理部４５は、ＡＤ変換部４４から出力されるデータに各種の補正を行う。メモリ部４６は、信号処理部４５を経た後のデータを一時的に記憶する。

また、タイミング発生部４７は、撮像素子１０と信号処理部４３,４５とＡＤ変換部４４とに対して各種のタイミング信号を出力する。制御部４８は、各種の演算と撮像システム４０の全体的な制御を行う。ＩＦ４９は、着脱可能な記録媒体９Ａに対するデータの記録や読み出しを行う。記録媒体９Ａは、例えば半導体メモリなどである。ＩＦ５０は、外部コンピュータ(不図示)などとの通信を行う。操作部５１は、外部からの操作に応じた指令を制御部４８に出力する。

第２実施形態の撮像システム４０の動作（図１１）を説明する。
まず（ステップＳ１）、メイン電源がオンされた後、コントロール系の電源がオンされ、ＡＤ変換部４４などの撮像系回路の電源がオンされる。その後、制御部４８は、露光量を制御するために、絞り４２を開放にする。撮像素子１０からの出力は、信号処理部４３とＡＤ変換部４４と信号処理部４５とを経た後、メモリ部４６に格納される。

そして、焦点調節（ステップＳ２〜Ｓ４）が開始されると、まず、メモリ部４６に格納されたデータのうち、焦点検出用の画素セル１２の出力に相当するデータを用いて、位相差検出方式の焦点検出を行う（ステップＳ２）。つまり、例えば周知の相関演算によって上記した２つの被写体像の位置的位相差を求めて、撮影光学系４１のデフォーカス量を算出する。

次に（ステップＳ３）、このデフォーカス量に基づいて撮影光学系４１が合焦状態か否かを判定し、まだ合焦状態でない場合には（ステップＳ３がＮｏ）、デフォーカス量に基づいて撮影光学系４１のフォーカシング用のレンズを駆動し、合焦位置に向けて移動させる（ステップＳ４）。その後、ステップＳ２の処理に戻り、デフォーカス量がゼロとなるまで焦点調整（ステップＳ２〜Ｓ４）の動作を繰り返す。

そして、撮影光学系４１が合焦状態であると判定された場合は（ステップＳ３Ｙｅｓ）、ステップＳ５の処理に進み、操作部５１のレリーズボタンが押されたことを検知すると、撮影動作を実行する（ステップＳ６）。すなわち、撮像素子１０からの出力をＡＤ変換部４４など介してメモリ部４６に格納する。
次に、制御部４８は、ステップＳ６の撮影動作によってメモリ部４６に格納されたデータのうち、撮影画像用の画素セル１１の出力に相当するデータを用いて、画像信号を生成する（ステップＳ７）。撮像素子１０の画素セル１１の位置での画像信号は、その画素セル１１のデータに基づいて生成される。また、焦点検出用の画素セル１２の位置での画像信号は、その画素セル１２の周囲の画素セル１１のデータに基づいて補間処理によって生成される。

画像信号の生成について一例を説明する。ここでは、複数の画素セル１１の色フィルタのＲＧＢ配列が、図１２(ａ)のようなベイヤー配列であるとする。この場合、画素セル１１の位置での１画素分の画像信号は、隣接する４個の画素セル１１（例えばＧ11ａ,Ｂ11,Ｒ11,Ｇ11ｂ）の出力から、次の式(１)〜(４)にしたがって生成することができる。
式(１)〜(４)では各画素セル１１の出力をＩ(Ｇ11ａ),Ｉ(Ｂ11),Ｉ(Ｒ11),Ｉ(Ｇ11ｂ)とした。式(１)は、画像信号の輝度成分Ｉy11である。式(２)〜(４)は、それぞれ、画像信号の緑色成分Ｉg11,赤色成分Ｉr11,青色成分Ｉb11である。ｋ１〜ｋ３は所定の係数である。

Ｉy11＝ｋ１×［Ｉ(Ｇ11ａ)＋Ｉ(Ｇ11ｂ)］＋ｋ２×Ｉ(Ｒ11)＋ｋ３×Ｉ(Ｂ11)…(１)
Ｉg11＝［Ｉ(Ｇ11ａ)＋Ｉ(Ｇ11ｂ)］／Ｉy11…(２)
Ｉr11＝Ｉ(Ｒ11)／Ｉy11…(３)
Ｉb11＝Ｉ(Ｂ11)／Ｉy11…(４)
さらに、画素セル１２の位置での１画素分の画像信号は、次のような補間処理によって生成することができる。まず、画素セル１２の位置に、図１２(ｂ)に示す４個の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）が配置されていると考え、画素セル１２の周囲４方向の画素セル１１（Ｇ12ａ,Ｇ21ａ,Ｇ23ａ,Ｇ32ａ,…など）の出力を次の式(５)〜(８)に代入して、図１２(ｂ)の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）の出力に相当するデータを求める。式(５)〜(８)の計算は平均化処理に相当する。

Ｉ(Ｇ22ａ)＝［Ｉ(Ｇ12ａ)＋Ｉ(Ｇ21ａ)＋Ｉ(Ｇ23ａ)＋Ｉ(Ｇ32ａ)］／４…(５)
Ｉ(Ｇ22ｂ)＝［Ｉ(Ｇ12ｂ)＋Ｉ(Ｇ21ｂ)＋Ｉ(Ｇ23ｂ)＋Ｉ(Ｇ32ｂ)］／４…(６)
Ｉ(Ｒ22)＝［Ｉ(Ｒ12)＋Ｉ(Ｒ21)＋Ｉ(Ｒ23)＋Ｉ(Ｒ32)］／４…(７)
Ｉ(Ｂ22)＝［Ｉ(Ｂ12)＋Ｉ(Ｂ21)＋Ｉ(Ｂ23)＋Ｉ(Ｂ32)］／４…(８)
そして、式(５)〜(８)の結果を用い、次の式(９)〜(１２)にしたがって、画素セル１２の位置での１画素分の画像信号を生成することができる。式(９)は、画像信号の輝度成分Ｉy22である。式(１０)〜(１２)は、それぞれ、画像信号の緑色成分Ｉg22,赤色成分Ｉr22,青色成分Ｉb22である。

Ｉy22＝ｋ１×［Ｉ(Ｇ22ａ)＋Ｉ(Ｇ22ｂ)］＋ｋ２×Ｉ(Ｒ22)＋ｋ３×Ｉ(Ｂ22)…(９)
Ｉg22＝［Ｉ(Ｇ22ａ)＋Ｉ(Ｇ22ｂ)］／Ｉy22…(１０)
Ｉr22＝Ｉ(Ｒ22)／Ｉy22…(１１)
Ｉb22＝Ｉ(Ｂ22)／Ｉy22…(１２)
このようにして画像信号の生成（図１１のステップＳ７の処理）が終わると、これらのデータもメモリ部４６に書き込まれる。そして、次の撮影動作のために、ステップＳ２の処理に戻って焦点検出などの処理を繰り返す。一方、メモリ部４６に格納された画像信号（輝度成分,緑色成分,赤色成分,青色成分）は、制御部４８の制御によりＩＦ４９を介して記録媒体９Ａに記録される。また、ＩＦ５０を介して外部のコンピュータなどに出力し、画像信号の加工を行ってもよい。

このように、第２実施形態の撮像システム４０では、撮像素子１０に設けた焦点検出用の画素セル１２の出力に基づいて、撮影光学系４１の焦点検出を行う（図１１のステップＳ２）。したがって、低輝度時であっても応答性良く、かつ精度良く、撮影光学系４１の焦点調節を行うことができる。その結果、低輝度時であっても迅速にピントの合った撮影画像を得ることができる。

さらに、第２実施形態の撮像システム４０では、焦点検出用の画素セル１２の位置での画像信号を補間処理によって生成するため、画素セル１２の一対の光電変換部１６,１７に色フィルタを設けなくても、良好な撮影画像を得ることができる。
（変形例１）
ここでは、画素セル１２の位置での画像信号の生成の変形例について説明する。

図１２(ｂ)に示す４個の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）の出力を補間処理によって求める際、画素セル１２の周囲８方向の画素セル１１（Ｇ11ａ,Ｇ12ａ,Ｇ13ａ,Ｇ21ａ,Ｇ23ａ,Ｇ31ａ,Ｇ32ａ,Ｇ33ａ…など）の出力を用いて、上記の式(５)〜(８)と同様の平均化処理を行ってもよい。さらに、平均化処理の際に、画素セル１２と周囲の画素セル１１との相対位置に応じた重み付けを行ってもよい。このような処理を行えば、補間処理の精度が向上する。

また、画素セル１２の位置での画像信号のうち輝度成分Ｉy22を生成する際、補間処理によって求めた４個の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）の出力ではなく、画素セル１２の出力を用いてもよい。例えば、画素セル１２の一対の光電変換部１６,１７の各出力をＩ(Ｗ22ａ),Ｉ(Ｗ22ｂ)とし（図１２(ｃ)）、これらを次の式(１３)に代入すれば、輝度成分Ｉy22を生成することができる。ｋ４は所定の係数である。

Ｉy22＝ｋ４×［Ｉ(Ｗ22ａ)＋Ｉ(Ｗ22ｂ)］…(１３)
この場合、画像信号の各色成分Ｉg22,Ｉr22,Ｉb22は、上記の式(１０)〜(１２)に、画素セル１２の出力から求めた輝度成分Ｉy22（式(１３)）と、補間処理によって求めた４個の画素セル１１（Ｇ22ａ,Ｂ22,Ｒ22,Ｇ22ｂ）の出力とを代入することで、生成される。

このように、画素セル１２の位置での画像信号の輝度成分Ｉy22を画素セル１２の出力に基づいて生成することによって、輝度成分Ｉy22や各色成分Ｉg22,Ｉr22,Ｉb22を生成する際の正確性が向上する。
（第３実施形態）
ここでは、上記の撮像素子１０（図１〜図４）を備えた撮像システム４０の具体例として、図１３のデジタルスチルカメラ６０の説明を行う。

デジタルスチルカメラ６０は、交換レンズ６１とカメラボディ６２とで構成され、マウント部６３により結合される。
交換レンズ６１には、撮影光学系(６４,６５)、絞り６６、駆動部６７,６８、および、レンズＣＰＵ６９が設けられる。撮影光学系(６４,６５)は、フォーカシング用のレンズ６５を含む。駆動部６７はフォーカシング用のレンズ６５を駆動する。駆動部６８は絞り６６を駆動する。レンズＣＰＵ６９は駆動部６７,６８の動作を制御する。

カメラボディ６２には、撮像素子１０、焦点検出部７１、ボディＣＰＵ７２、液晶表示素子７３、接眼レンズ７４、および、液晶駆動部７５が設けられる。撮像素子１０は、交換レンズ６１の撮影光学系(６４,６５)の予定結像面に配置される。焦点検出部７１は、撮像素子１０の画素セル１２の出力に基づいて撮影光学系(６４,６５)の焦点検出を行う。ボディＣＰＵ７２は、デジタルスチルカメラ６０の全体的な動作制御を行う。液晶表示素子７３と接眼レンズ７４は、液晶ビューファインダを構成する。液晶駆動部７５は、ボディＣＰＵ７２の指示にしたがって液晶表示素子７３を駆動する。

ボディＣＰＵ７２とレンズＣＰＵ６９は、マウント部６３に設けられた電気接点７６を介して、各種情報（開放Ｆ値などのレンズ特性の情報,レンズ駆動のための焦点調節の情報,絞り制御のための情報）を伝達する。
第３実施形態のデジタルスチルカメラ６０において、焦点検出部７１は、撮像素子１０の画素セル１２の出力に基づいて撮影光学系(６４,６５)の焦点検出を行うと、ボディＣＰＵ７２に対し、撮影光学系(６４,６５)の焦点調節状態を表すデフォーカス量を出力する。ボディＣＰＵ７２は、デフォーカス量に基づいて撮影光学系(６４,６５)が合焦状態か否かを判定し、非合焦の場合には、レンズＣＰＵ６９に対してデフォーカス量に応じたレンズ駆動情報を出力する。

レンズＣＰＵ６９は、そのレンズ駆動情報に基づいて駆動部６７を制御し、フォーカシング用のレンズ６５を合焦位置に向けて移動させる。
また、ボディＣＰＵ７２は、撮像素子１０の画素セル１１の出力に基づいて画像信号を生成し、この画像信号を液晶駆動部７５に出力して、液晶ビューファインダの液晶表示素子７３に撮影画像を表示させる。このとき、上記と同様の補間処理などを行い、焦点検出用の画素セル１２の位置での画像信号を生成して表示させることが好ましい。

このように、第３実施形態のデジタルスチルカメラ６０では、撮像素子１０の焦点検出用の画素セル１２の出力に基づいて、交換レンズ６１の撮影光学系(６４,６５)の焦点検出を行う。したがって、低輝度時であっても応答性良く、かつ精度良く、撮影光学系(６４,６５)の焦点調節を行うことができる。その結果、低輝度時であっても迅速にピントの合った撮影画像を得ることができる。

（第４実施形態）
ここでは、図１４〜図１６を参照し、焦点検出用の２種類の画素セルを備えた撮像素子の例を説明する。
第４実施形態の撮像素子８０には、図１(ａ),(ｂ)に示す画素セル１１,１２の他に、図１４(ａ)に示す画素セル８１が設けられる。つまり、撮像素子８０には、撮影画像用の画素セル１１と、焦点検出用の２種類の画素セル１２,８１とが設けられる。図１(ａ),(ｂ)に示す画素セル１１,１２の構成や動作は上記と同じであり、ここでの説明を省略する。

図１４(ｂ)には画素セル１１,１２,８１のレイアウトを示す。撮像素子８０の基板上において、撮影画像用の画素セル１１は２次元的に略稠密に配置され（正方格子状）、その中に焦点検出用の一方の画素セル１２が周期的に埋め込まれ、焦点検出用の他方の画素セル８１が所定領域に略稠密に配置されている。
図１４(ａ)に示す画素セル８１は、画素セル１１,１２と同様、正方形状である。また、この画素セル８１は、焦点検出用の画素セル１２とはセルサイズが異なり、撮影画像用の画素セル１１とセルサイズが等しい。画素セル８１の一辺の長さＡ₈₁は、画素セル１１の一辺の長さＡ₁₁と等しい。つまり、新たに設けた焦点検出用の画素セル８１は、既に説明した焦点検出用の画素セル１２より小型である。以下の説明では、必要に応じて、小型の画素セル８１、大型の画素セル１２と言う。

小型の画素セル８１には、円形状のマイクロレンズ８２と、矩形状の２つの光電変換部８３,８４とが設けられる。マイクロレンズ８２は、入射光を集光して光電変換部８３,８４に導く光学要素であり、その開口サイズ（直径）が画素セル８１の一辺の長さＡ₈₁と等しい。光電変換部８３,８４は、それぞれ、マイクロレンズ８２により集光された光に応じて電荷を生成するフォトダイオードである。これら２つの光電変換部８３,８４は対を成し、マイクロレンズ８２を用いた位相差検出方式の焦点検出に用いられる。このため、一対の光電変換部８３,８４は、マイクロレンズ８２を介して撮影光学系(不図示)の射出瞳と共役に配置される（図３参照）。

また、画素セル８１の断面構造（図１５）は、上記の画素セル１２の断面構造（図２）と同様であり、光電変換部８３,８４が基板２２の表面ｐ＋層２３とｎ層２４とで構成され、基板２２の表面上にゲート絶縁膜２５が形成され、光電変換部８３,８４とマイクロレンズ８２との間に赤外カットフィルタ２１が配置される。
さらに、この画素セル８１では、一対の光電変換部８３,８４が基板２２のＰ型ウエルのフローティングディフュージョン(ＦＤ)部２Ａを挟んで形成される。そして、このＦＤ部２Ａを介して、一対の光電変換部８３,８４に蓄積された電荷を個別に（または加算して）読み出すため、ゲート絶縁膜２５の上に転送スイッチ用のＭＯＳトランジスタ８５,８６が設けられる。また、ＭＯＳトランジスタ８５,８６は、図１６に示す制御線Ｐ',Ｐ''を介して垂直走査回路(不図示)に接続される。

このため、垂直走査回路によるＭＯＳトランジスタ８５,８６のオン／オフに応じて、一対の光電変換部８３,８４に蓄積された電荷を個別に（または加算して）ＦＤ部２Ａに転送することができる。例えば、一方のＭＯＳトランジスタ８５を選択的にオンすれば、これに対応する光電変換部８３の電荷のみが選択的にＦＤ部２Ａに転送される。また、両方のＭＯＳトランジスタ８５,８６を同時にオンすれば、一対の光電変換部８３,８４の電荷が同時にＦＤ部２Ａに転送され、そこで加算される。

さらに、ＦＤ部２Ａは、リセット用のＭＯＳトランジスタ８７を介して制御線Ｒ'に接続され、ソースフォロワアンプ用のＭＯＳトランジスタ８８と水平選択用のＭＯＳトランジスタ８９とを介して制御線Ｓ'および垂直出力線Ｖに接続される。このため、ＦＤ部２Ａに転送された電荷は、ＭＯＳトランジスタ８８を介して増幅され、ＭＯＳトランジスタ８９を介して垂直出力線Ｖに転送される。

図１６に示した回路構成は小型の画素セル８１の１個分に相当し、この画素セル８１は撮影画像用の画素セル１１と同じセルサイズである。このため、画素セル８１の回路部分を図４の回路構成に組み込む際には、画素セル１１の回路部分と置き換えればよい。なお、図１６の制御線Ｐ',Ｐ'',Ｒ',Ｓ'は、それぞれ、図４の制御線Ｐ,Ｒ,Ｓと共通または独立に設けられる。

第４実施形態の撮像素子８０では、焦点検出用の２種類の画素セル１２,８１を有するため、様々な撮影条件に応じて２種類の画素セル１２,８１を使い分け、撮影条件に適した焦点検出を行うことができる。例えば低輝度時に焦点検出の応答性を確保したい場合には、大型の画素セル１２の出力を用いることが好ましい。また、高輝度時に焦点検出の精度を高めたい場合には、小型の画素セル８１の出力を用いることが好ましい。小型の画素セル８１は、検出ピッチが細かいため、細かい被写体に好適である。

さらに、第４実施形態の撮像素子８０では、大型の画素セル１２のセルサイズを撮影画像用の画素セル１１のセルサイズ４倍とし、小型の画素セル８１のセルサイズを画素セル１１のセルサイズと等しくしたので、撮影画像用の画素セル１１のみから撮像素子を構成した場合の基本的な回路構成と比較して大幅な変更を行う必要がない。このため、撮像素子８０の回路構成が容易になる。また、マイクロレンズ１５,８２の作製も容易に行える。

（第５実施形態）
ここでは、図１７のフローチャートを参照して、第４実施形態の撮像素子８０を備えた撮像システム（図１０,図１３参照）の動作を説明する。図１７に示す動作手順は、上記の図１１のステップＳ２に代えて、ステップＳ１１〜Ｓ１３を設けたものである。ここでは、焦点調節（ステップＳ１１〜Ｓ１３,Ｓ３,Ｓ４）の説明を行う。

ステップＳ１１では、撮像システムに設けられた測光センサ(不図示)の出力に基づいて、被写体の輝度が所定値より小さいか否かを判定する。そして、輝度が所定値より小さい場合には（ステップＳ１１がＹｅｓ）、低輝度性能が高い大型の画素セル１２の出力を用いて焦点検出を行う（ステップＳ１３）。一方、輝度が所定値以上の場合には（ステップＳ１１がＮｏ）、焦点検出精度が高い小型の画素セル８１の出力を用いて焦点検出を行う（ステップＳ１２）。

したがって、第５実施形態の撮像システムでは、低輝度時に応答性良く焦点調節を行うことができ、かつ、高輝度時に精度良く焦点調節を行うことができる。また、このような使い分けを自動で行うことができる。
なお、高輝度時には、大小２つのセルサイズの画素セル１２,８１を両方使用して焦点検出を行ってもよい。

（変形例２）
ここでは、セルサイズの異なる２種類の焦点検出用の画素セル１２,８１（図１４）を、手動やカメラの各種設定や交換レンズの特性などに応じて切り換える例を説明する。
焦点調節モードに応じて切り換える際は、ワンショットＡＦ（合焦後にレンズをロックするモード）のときに焦点検出精度を優先して小型の画素セル８１を選択し、コンティニュアスＡＦ（合焦後もレンズをロックせずに被写体の前後の動きに追従してレンズ駆動を継続するモード）のときに応答性を優先して大型の画素セル１２を選択することが考えられる。

静止画／動画の撮影モードに応じて切り換える際は、静止画撮影モード（スチル画像を撮影するモード）のときに焦点検出精度を優先して小型の画素セル８１を選択し、動画撮影モード（ビデオ画像を撮影するモード）のときに応答性を優先して大型の画素セル１２を選択することが考えられる。
単写／連写の撮影モードに応じて切り換える際は、単写モード（画像を１枚ずつ撮影するモード）のときに焦点検出精度を優先して小型の画素セル８１を選択し、連写モード（画像を連続して撮影するモード）のときに応答性を優先して大型の画素セル１２を選択することが考えられる。

ポートレート／スポーツの撮影モードに応じて切り換える際は、ポートレート撮影モード（静止している被写体を撮影するのに適した撮影モード）のときに焦点検出精度を優先して小型の画素セル８１を選択し、スポーツ撮影モード（移動する被写体を撮影するのに適した撮影モード）のときに応答性を優先して大型の画素セル１２を選択することが考えられる。

撮影時の絞り値に応じて切り換える際は、絞り値が所定値より明るいときに焦点検出精度を優先して小型の画素セル８１を選択し、所定値より暗いときに応答性を優先して大型の画素セル１２を選択することが考えられる。
撮影倍率に応じて切り換える際は、撮影倍率が所定値より小さいときに焦点検出精度を優先して小型の画素セル８１を選択し、所定値より大きいときに応答性を優先して大型の画素セル１２を選択することが考えられる。

装着された交換レンズの開放Ｆ値に応じて切り換える際は、開放Ｆ値が所定値より明るいときに焦点検出精度を優先して小型の画素セル８１を選択し、所定値より暗いときに応答性を優先して大型の画素セル１２を選択することが考えられる。
装着された交換レンズの焦点距離に応じて切り換える際は、焦点距離が所定値より短いときに焦点検出精度を優先して小型の画素セル８１を選択し、所定値より長いときに応答性を優先して大型の画素セル１２を選択することが考えられる。

ストロボの不使用／使用に応じて切り換える際は、ストロボを使用せずに撮影するときに焦点検出精度を優先して小型の画素セル８１を選択し、ストロボを使用して撮影するときに応答性を優先して大型の画素セル１２を選択することが考えられる。
三脚などの使用／不使用に応じて切り換える際は、三脚などにカメラを固定して撮影するときに焦点検出精度を優先して小型の画素セル８１を選択し、三脚などにカメラを固定せずに手持ちで撮影するときに応答性を優先して大型の画素セル１２を選択することが考えられる。

（変形例３）
ここでは、上記の撮像素子１０（図１(ｃ)），撮像素子８０（図１４(ｂ)）における各画素セルのレイアウトの変形例について説明する。
図１８のように、撮影画像用の画素セル１１を略稠密に配置して、その中に焦点検出用の画素セル１２を１列おきにずらして千鳥状に配置してもよい。このようなレイアウトの場合、被写体像のパターン（例えば線状パターン）のサイズが画素セル１２の配列ピッチＤ１,Ｄ２と同程度であっても、その位置に拘わらず焦点検出を行うことができる。

図１９のように、撮影画像用の画素セル１１を略稠密に配置して、その中の所定領域に焦点検出用の画素セル１２を略稠密に配置してもよい。このようなレイアウトの場合は、被写体像のパターン（例えば点状パターン）のサイズが画素セル１２の配列ピッチＤ１と同程度であっても、その位置に拘わらず焦点検出を行うことができる。
図２０のように、撮影画像用の画素セル１１を略稠密に配置して、その中の所定領域に焦点検出用の画素セル１２を略稠密に配置し、かつ行ごとに半ピッチずらして配置してもよい。この場合、被写体像のパターン（例えば線状パターンや点状パターン）のサイズが画素セル１２の配列ピッチＤ３,Ｄ１と同程度であっても、その位置に拘わらず焦点検出を行うことができる。

図２１のように、上記の画素セル１２とはセルサイズの異なる画素セル２６を焦点検出用として設け、この画素セル２６の一辺の長さＡ₂₆を撮影画像用の画素セル１１の一辺の長さＡ₁₁の２.５倍としてもよい。画素セル２６のセルサイズは画素セル１１の６.２５倍である。図２１では、撮影画像用の画素セル１１を略稠密に配置して、その中の所定領域に画素セル２６を略稠密に配置した。このように、焦点検出用の画素セルのセルサイズは撮影画像用の画素セル１１の整数倍に限らず、自由に設定することができる。回折の影響の緩和効果が不足している場合には、焦点検出用の画素セルと撮影画像用の画素セル１１とのセルサイズの比を適当に調整することで、所望の効果を得ることができる。

図２２のように、縦横比の異なる画素セル２７を焦点検出用として設け、この画素セル２７の横方向の一辺の長さＡ₂₇を撮影画像用の画素セル１１の一辺の長さＡ₁₁の２倍とし、縦方向の長さＡ₂₈を画素セル１１の長さＡ₁₁に等しくしてもよい。画素セル２７のセルサイズは画素セル１１の２倍である。焦点検出用の画素セル２７の縦方向の長さＡ₂₇が撮影画像用の画素セル１１と等しいため、画像信号を生成する際に補間処理を行っても、画像品質を維持できる。また、画素セル２７を配置することにより回路構成を変更する必要がない。

図２３のように、撮影画像用の画素セル１１を略稠密に配置した中の所定領域に、焦点検出用の２種類の画素セル１２,８１（図１４参照）を略稠密に配置して、大型の画素セル１２を１列おきにずらして千鳥状に配置し（図１８参照）、その間に小型の画素セル８１を略稠密に配置してもよい。
図２４のように、撮影画像用の画素セル１１を略稠密に配置した中に、焦点検出用の画素セル１２を線枠状に配列してもよい。この場合、撮像システムの液晶ビューファインダの画面上には、画素セル１１の出力に基づいて撮影画像を表示すると共に、画素セル１２の位置を焦点検出領域（フォーカスフレーム）として撮影画像に重畳して表示することが好ましい。フォーカスフレーム表示は、例えば固定データによって行われる。このように画素セル１２の位置をフォーカスフレームとして表示するので、画素セル１２の位置での画像信号を周囲の画素セル１１の出力などから補間処理によって生成する必要がない。

（変形例４）
ここでは、焦点検出用の画素セルの光電変換部の変形例について説明する。
図２５に示す焦点検出用の画素セル９０のように、４つの光電変換部９１〜９４を設けてもよい。この場合、４つの光電変換部９１〜９４のうち任意の２つを選択的に組み合わせて一対の光電変換部とし、位相差検出方式の焦点検出に用いることができる。位相差検出方式の焦点検出では、上記した２つの被写体像の位置的位相差（つまり一対の光電変換部の並び方向の位置ずれ量）を例えば相関演算によって求める。このため、選択した一対の光電変換部の並び方向に応じて、異なる方向での焦点検出を行える。

例えば、図中横方向の焦点検出を行う場合、光電変換部９１,９３の各出力、または、光電変換部９２,９４の各出力が用いられる。また、光電変換部９１,９２の加算出力と光電変換部９３,９４の加算出力とを用いてもよい。縦方向の焦点検出を行う場合、光電変換部９１,９２の各出力、または、光電変換部９３,９４の各出力が用いられる。また、光電変換部９１,９３の加算出力と光電変換部９２,９４の加算出力とを用いてもよい。左上がり斜め方向の焦点検出の場合、光電変換部９１,９４の各出力が用いられる。右上がり斜め方向の焦点検出の場合、光電変換部９２,９３の各出力が用いられる。このように、１種類の画素セル９０で多方向の焦点検出が可能となる。

さらに、図２６に示す焦点検出用の画素セル１００のように、６つの光電変換部１０１〜１０６を設け、それぞれにＲＧＢのうち何れか１つの色フィルタを設けてもよい。この場合、焦点検出の方向（図中横方向）に沿って並ぶ２つの光電変換部１０１,１０４は同じＲ色成分とし、光電変換部１０２,１０５は同じＧ色成分とし、光電変換部１０３,１０６は同じＢ色成分とする。

画素セル１００を用いて位相差検出方式の焦点検出を行う場合には、焦点検出の方向に垂直な方向に沿って並ぶ３つの光電変換部１０１〜１０３の加算出力を求めると共に、光電変換部１０４〜１０６の加算出力を求め、これら２つの加算出力から上記した２つの被写体像の位置的位相差（ここでは図中横方向の位置ずれ量）を例えば相関演算によって求める。

また、画素セル１００の位置での画像信号を生成する際には、焦点検出の方向に沿って並ぶ２つの光電変換部１０１,１０４の加算出力（Ｒ色成分）を求めると共に、光電変換部１０２,１０５の加算出力（Ｇ色成分）を求め、さらに、光電変換部１０３,１０６の加算出力（Ｂ色成分）を求める。そして、これら３つの加算出力を、上記の補間処理によって求められる各色成分（式(５)〜(８)）の代わりに、式(９)〜(１２)に代入すればよい。

同様に、図２７に示す焦点検出用の画素セル１１０のように、６つの光電変換部１１１〜１１６を焦点検出の方向（図中横方向）に沿って並べ、それぞれにＲＧＢのうち何れか１つの色フィルタを設けてもよい。この場合、画素セル１１０の中心に対して対称な２つの光電変換部１１３,１１４は同じＲ色成分とし、光電変換部１１２,１１５は同じＧ色成分とし、光電変換部１１１,１１６は同じＢ色成分とする。

画素セル１１０を用いて位相差検出方式の焦点検出を行う場合には、焦点検出の方向にに沿って並ぶ３つの光電変換部１１１〜１１３の加算出力を求めると共に、光電変換部１１４〜１１６の加算出力を求め、これら２つの加算出力から上記した２つの被写体像の位置的位相差（ここでは図中横方向の位置ずれ量）を例えば相関演算によって求める。
また、画素セル１１０の位置での画像信号を生成する際には、画素セル１１０の中心に対して対称な２つの光電変換部１１３,１１４の加算出力（Ｒ色成分）を求めると共に、光電変換部１１２,１１５の加算出力（Ｇ色成分）を求め、さらに、光電変換部１１１,１１６の加算出力（Ｂ色成分）を求める。そして、これら３つの加算出力を、上記の補間処理によって求められる各色成分（式(５)〜(８)）の代わりに、式(９)〜(１２)に代入すればよい。

したがって、画素セル１００（または画素セル１１０）の位置での画像信号を生成する際に、画素セル１００（または画素セル１１０）の周囲の撮影画像用の画素セル１１の出力から補間する必要がなくなり、画素セル１００（または画素セル１１０）を大きな領域内に略稠密に配置しても画像品質が低下しない。
また、画素セル１００（または画素セル１１０）を用いて焦点検出を行う際、ＲＧＢの各色成分の出力を加算せずに、各色成分ごとに焦点検出を行ってもよい。このようにすることで、撮影光学系に色収差がある場合でも、正確な焦点検出が可能となる。また、同じ明るさでも色の変化がある被写体に対して焦点検出が可能となる。さらに、焦点検出に使用する色成分を手動または自動で選択し、選択された色成分の出力で焦点検出を行ってもよい。このようにすることで、特定の色の被写体について選択的に焦点検出を行うことが可能となる。

さらに、図２７の画素セル１１０を用いて焦点検出を行う場合、装着された交換レンズの開放Ｆ値に応じて、焦点検出に使用する色成分を変更してもよい。例えば、外側に位置するＢ色成分の光電変換部１１１,１１６は、撮影光学系の射出瞳の外側を通過した光束を取り込むため、開放Ｆ値が所定値より明るいレンズを装着した場合や、高い焦点検出精度が必要な場合に使用することが好ましい。内側に位置するＲ色成分の光電変換部１１３,１１４は、射出瞳の中心付近を通過した光束を取り込むため、開放Ｆ値が所定値より暗いレンズを装着した場合や、デフォーカス量が大きくなるレンズ（焦点距離の長いレンズ）を装着した場合に使用することが好ましい。

また、上記例では、焦点検出用の画素セルの一対の光電変換部１６,１７,９１〜９４,…をそれぞれ矩形状としたが、本発明はこれに限定されない。例えば、図２８に示す画素セル１２０のように、一対の光電変換部１２１,１２２をそれぞれ略半円形状とし、２つ合わせて略円形状となるようにすることが考えられる。この場合、撮影光学系の射出瞳（所定のＦ値）の内部の光束を無駄なく光電変換部１２１,１２２に取り込み、焦点検出に利用できる。このため、焦点検出時の光量確保の点で有利となる。なお、光電変換部１２１,１２２の大きさ自体は光量確保とは無関係である。

（変形例５）
ここでは、画素セルのマイクロレンズ１３,１５,…の変形例について説明する。
上記例では、マイクロレンズ１３,１５の開口サイズ（直径）が画素セル１１,１２の一辺の長さＡ₁₁,Ａ₁₂と等しい例を説明したが、本発明はこれに限定されない。マイクロレンズの開口サイズが画素セルの一辺の長さより小さくても構わない。この場合、撮影画像用の画素セルと焦点検出用の画素セルとが同じセルサイズでも、撮影画像用の画素セルにおけるマイクロレンズの開口サイズより、焦点検出用の画素セルにおけるマイクロレンズの開口サイズを大きくすることで、上記と同様の効果を得ることができる。

また、上記例では、マイクロレンズを正方形状の画素セルに内接するような円形状としたが、本発明はこれに限定されない。例えば図２９(ａ),(ｂ)に示す通り、画素セルよりも大きな円形状の４方向の部分（ハッチング部）を切り落とし、正方形状の中心部分を切り出して、画素セルと同じ形状に成形したマイクロレンズを用いてもよい。撮影画像用および焦点検出用のマイクロレンズに適用できる。この場合、マイクロレンズの開口サイズは正方形状の一辺の長さに相当する。このようにすることで、撮像素子に入射する光束を無駄なく撮影や焦点検出などに利用することが可能となる。

さらに、図２２のような縦横比の異なる焦点検出用の画素セル２７では、図２９(ｃ)のように、画素セル２７より大きな円形状の上下２方向の部分（ハッチング部）を１／４ずつ切り落とし、長方形状の中心部分を切り出して、画素セル２７と同じ形状に成形したマイクロレンズを用いてもよい。この場合でも、撮像素子に入射する光束を無駄なく焦点検出に利用することが可能となる。

また、上記例では、画素セルへの入射光を集光して光電変換部に導く光学要素としてマイクロレンズを用いたが、本発明はこれに限定されない。マイクロレンズの代わりに、屈折率分布型の光学要素や反射型の光学要素を用いてもよい。ただし、マイクロレンズは製造が容易なため、コスト面で有利である。
さらに、上記例では、撮影画像用の画素セルにもマイクロレンズなどの光学要素を設けたが、これを省略した場合にも本発明を適用できる。

（変形例６）
ここでは、その他の変形例について説明する。
上記例では、正方形状の画素セルを正方格子状に配置したが、本発明はこれに限定されない。画素セルが長方形状や六角形状の場合にも本発明を適用できる。画素セルが六角形状の場合には、一行ごとに半ピッチずらして２次元ハニカム状に配置することが考えられる。焦点検出用の画素セルは、隣接する複数の撮影画像用の画素セルに置き換えて配置すればよい。

また、上記例では、位相差検出方式の焦点検出用の画素セルを例に説明したが、本発明はこれに限定されない。その他、コントラスト検出方式の焦点検出用の画素セルを設ける場合にも、本発明を適用できる。コントラスト検出方式の場合、画素セルの光電変換部は１つでよいが、２つ以上の光電変換部の出力を加算しても構わない。
さらに、上記例では、撮影画像用の画素セルと焦点検出用の画素セルを備えた撮像素子の例を説明したが、本発明はこれに限定されない。焦点検出用の画素セルの代わりに（または焦点検出用の画素セルと組み合わせて）測距用や測光用や調光用などの画素セルを配置する場合にも、本発明を適用できる。測距用や測光用や調光用などの画素セルであっても、そのセルサイズを撮影画像用の画素セルより大きくすることで、低輝度時の応答性を改善できる。

測距用の画素セルを備えた撮像素子としては、例えば、パルス変調されたレーザ光などを被計測物に照射したときに、被計測物からの反射光を各画素セルごとに検知するようなものが考えられる（国際公開９７／０１１１１号公報）。被計測物までの距離を計測するためには、各画素セルごとに光の往復時間を計測し、これを距離に換算する。
被写体輝度を測定する測光用の画素セル、または、被写体から反射されるストロボ光を検出する調光用の画素セルには、測光用または調光用の特殊なフィルタ（視感度フィルタなど）を配置したり、非破壊でリアルタイムに蓄積電荷量をモニタできる特別な回路構成が付加されている。このような特別な回路構成を測光用または調光用の画素セルに付加する場合には、測光用または調光用の画素セルを撮影画像用の画素セルより大きくすることで、１画素あたりのチップ面積を広くすることができ、回路レイアウト上、有利になる。

また、上記例では、撮影画像用の画素セルを２次元的に配置し、その中に撮影条件の取得用（焦点検出用,測距用,測光用,調光用など）の画素セルを配置したが、本発明はこれに限定されない。撮影画像用の画素セルを１次元的に配置し、その中に撮影条件の取得用の画素セルを配置してもよい。
さらに、上記例では、ＭＯＳ型の撮像素子（回路構成の図４を参照）を例に説明したが、本発明はこれに限定されない。その他、ＣＣＤ型の撮像素子でも本発明を適用できる。

また、上記例では、撮像システムの具体例としてデジタルスチルカメラ（図１３参照）の説明を行ったが、本発明はこれに限定されない。その他、上記の撮像素子をデジタル顕微鏡や監視カメラなどの撮像システムに組み込む場合にも本発明を適用できる。

第１実施形態の撮像素子１０の構成を示す図である。画素セル１２の断面構造を示す図である。一対の光電変換部１６,１７と射出瞳１８との共役関係を説明する図である。撮像素子１０の回路構成を示す図である。回折シミュレーションの条件を説明する図である。回折シミュレーションの結果（マイクロレンズ１５の開口サイズが２０μｍの場合）を説明する図である。回折シミュレーションの結果（マイクロレンズ１５の開口サイズが１０μｍの場合）を説明する図である。回折シミュレーションの結果（マイクロレンズ１５の開口サイズが４μｍの場合）を説明する図である。回折シミュレーションの結果（マイクロレンズ１５の開口サイズが２μｍの場合）を説明する図である。第２実施形態の撮像システム４０の構成を示すブロック図である。撮像システム４０の動作手順を示すフローチャートである。撮像素子１０における画像信号の生成を説明する図である。第３実施形態のデジタルスチルカメラ６０の構成を示す概略図である。第４実施形態の撮像素子８０の構成を示す図である。画素セル８１の断面構造を示す図である。画素セル８１の回路構成を示す図である。第５実施形態の撮像システムの動作手順を示すフローチャートである。画素セルのレイアウトの変形例を示す図である。画素セルのレイアウトの変形例を示す図である。画素セルのレイアウトの変形例を示す図である。画素セルのレイアウトの変形例を示す図である。画素セルのレイアウトの変形例を示す図である。画素セルのレイアウトの変形例を示す図である。画素セルのレイアウトの変形例を示す図である。焦点検出用の画素セルの光電変換部の変形例を示す図である。焦点検出用の画素セルの光電変換部の変形例を示す図である。焦点検出用の画素セルの光電変換部の変形例を示す図である。焦点検出用の画素セルの光電変換部の変形例を示す図である。マイクロレンズの変形例を示す図である。

符号の説明

１０,８０撮像素子；１１,１２,２６,２７,８１,９０,１００,１１０,１２０画素セル；１３,１５,８２マイクロレンズ；１４,１６,１７,８３,８４,９１〜９４,１０１〜１０６,１１１〜１１６,１２１,１２２光電変換部；１８射出瞳；
４０撮像システム；４１,６４,６５撮影光学系；６０デジタルスチルカメラ

Claims

撮影光学系による像を撮像する撮像素子であって、
入射光を集光する第１のマイクロレンズと、該第１のマイクロレンズにより集光された光に応じて電荷を生成する第１の光電変換部とを含む撮像用の第１の画素セルと、
入射光を集光する第２のマイクロレンズと、該第２のマイクロレンズにより集光された光に応じて電荷を生成する第２の光電変換部とを含む焦点検出用の第２の画素セルとを備え、
前記第１の画素セルの形状は正方形であり、
前記第２の画素セルの形状は短辺の長さが前記正方形の一辺の長さと同じであり、長辺の長さが前記正方形の一辺の長さの整数倍である長方形であり、
基板上に前記第１の画素セルが２次元的に配置され、
前記第２の画素セルは、隣接した前記第１の画素セル複数個に置き換えられて配置されるとともに、前記長方形の長辺の方向に配列される
ことを特徴とする撮像素子。
請求項１に記載の撮像素子において、
前記第２の光電変換部は、一対の光電変換部からなり、
前記一対の光電変換部は前記第２のマイクロレンズにより、前記撮影光学系の射出瞳と共役であるとともに、前記一対の光電変換部は、前記第２の画素セルにおいて、前記長方形の長辺の方向に配列される
ことを特徴とする撮像素子。
請求項１または請求項２に記載の撮像素子において、
基板上に前記第１の画素セルが正方格子状に２次元稠密に配置される
ことを特徴とする撮像素子。
撮影光学系による像を撮像する撮像素子であって、
入射光を集光する第１のマイクロレンズと、該第１のマイクロレンズにより集光された光に応じて電荷を生成する第１の光電変換部とを含む撮像用の第１の画素セルと、
入射光を集光する第２のマイクロレンズと、該第２のマイクロレンズにより集光された光に応じて電荷を生成する第２の光電変換部とを含む焦点検出用の第２の画素セルと、
入射光を集光する第３のマイクロレンズと、該第３のマイクロレンズにより集光された光に応じて電荷を生成する複数の第３の光電変換部とを含む焦点検出用の第３の画素セルとを備え、
前記第１の画素セルと前記第３の画素セルのセルサイズは同一であり、
前記第２の画素セルのセルサイズは、前記第１の画素セルのセルサイズの２以上の整数倍であり、
基板上に前記第１の画素セルが２次元的に配置され、
前記第２の画素セルは、隣接した前記第１の画素セル複数個に置き換えられて配置され、
前記第３の画素セルは、前記第１の画素セルに置き換えられて配置される
ことを特徴とする撮像素子。
撮影光学系による像を撮像する撮像素子であって、
入射光を集光する第１のマイクロレンズと、該第１のマイクロレンズにより集光された光に応じて電荷を生成する第１の光電変換部とを含む撮像用の第１の画素セルと、
入射光を集光する第２のマイクロレンズと、該第２のマイクロレンズにより集光された光に応じて電荷を生成する第２の光電変換部とを含み、前記第１の画素セルに比べてセルサイズが大きい焦点検出用の第２の画素セルとを備え、
基板上に前記第１の画素セルと前記第２の画素セルとが２次元的に配置され、
前記第２の画素セルのそれぞれは、複数の前記第２の光電変換部を含み、
前記複数の第２の光電変換部のそれぞれは、前記第２のマイクロレンズを介して前記撮影光学系の射出瞳と共役であるとともに、
前記複数の第２の光電変換部のうち２つは対を成し、
前記対を成す２つの第２の光電変換部には、それぞれ異なる色のフィルタが配置される
ことを特徴とする撮像素子。
請求項１〜３、５の何れか１項に記載の撮像素子と、
前記第２の画素セルの出力に基づいて前記撮影光学系の焦点調節状態を検出する検出部と、
を備えることを特徴とする焦点検出装置。
請求項４に記載の撮像素子と、
前記第２の画素セルの出力と前記第３の画素セルの出力との少なくとも一方に基づいて前記撮影光学系の焦点調節状態を検出する検出部と、
を備えることを特徴とする焦点検出装置。
請求項６または請求項７に記載の焦点検出装置と、
前記撮像素子の物体側に配置される撮影光学系と、
を備えることを特徴とする撮像システム。
請求項８に記載の撮像システムにおいて、
前記第１の画素セルの出力に基づいて撮影画像を表示すると共に、前記第２の画素セルの位置を、前記検出部が焦点検出を行う領域として前記撮影画像に重畳して表示する表示部をさらに備えた
ことを特徴とする撮像システム。
請求項８に記載の撮像システムにおいて、
前記第１の画素セルの位置での画像信号を、該第１の画素セルの出力に基づいて生成すると共に、前記第２の画素セルの位置での画像信号を、該第２の画素セルの周囲に位置する前記第１の画素セルの出力に基づく補間処理で生成する生成部をさらに備えた
ことを特徴とする撮像システム。
請求項１０に記載の撮像システムにおいて、
前記生成部は、前記第２の画素セルの位置での画像信号を生成する際、該画像信号の各色成分を前記補間処理によって生成し、前記画像信号の輝度成分を前記第２の画素セルの出力に基づいて生成する
ことを特徴とする撮像システム。