JP6463010B2 - 撮像素子および撮像装置 - Google Patents

Description

本発明は、撮像面に位相差方式で焦点検出を行うための焦点検出用画素を配置した撮像素子、およびこの撮像素子を有する撮像装置に関する。

撮像素子の一部に位相差方式で焦点検出を行うための焦点検出用画素を配置した撮像素子は、従来から知られている。例えば、特許文献１には、焦点検出用画素として、右側からの被写体光束を画素に入射するようにした右開口画素（Ｒ画素と略称する）と、左側からの被写体光束を画素に入射するようにした左開口画素（Ｌ画素と略称する）を、水平方向に配置した撮像素子が開示されている。

特開２０１３−２５７４９４号公報

特許文献１においては、焦点検出用画素の遮光パターンの特性は１種類のみであることから、遮光パターンは合焦近傍でピント精度が高くなるよう設計される。しかし、撮影レンズの位置が合焦位置から大きく外れ、大デフォーカス状態（大ボケ状態ともいう）の場合には、被写体像の輝度パターンがはっきりせず、デフォーカス量を検出できなくなる。特に、撮影レンズの開口Ｆ値が小さい明るいレンズでは発生しやすい。

ＡＦ動作中に、撮影レンズの絞りを絞り込めば、被写体像の輝度パターンをはっきりさせることができるが、絞り駆動のために時間がかかり、ＡＦ時間が長くなってしまう。また、大デフォーカス状態検出用の焦点検出用画素の遮光パターンと、合焦近傍検出用の焦点検出用画素の遮光パターンを配置することによって上述の課題を解決する方法が考えられる。しかし、複数の遮光パターンの焦点検出用画素を配置するにあたって、画質性能を確保することが困難である。特にＧ画素（緑色フィルタを配置した画素）の位置に配置した焦点検出用画素に複数の遮光パターンを配置すると、焦点検出用画素の補正処理を行うことができなくなってしまう。

本発明は、このような事情を鑑みてなされたものであり、画質性能を確保し、かつ大デフォーカス状態であっても迅速に焦点検出の可能な撮像素子および撮像装置を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像素子は、複数の撮像用画素と、該撮像用画素とは受光部の開口の位置がずれている複数の焦点検出用画素と、上記撮像用画素と焦点検出用画素に対応して配置される複数の色フィルタを有する撮像素子において、第１の方向に開口の位置がずれている第１の焦点検出用画素を、上記撮像用画素の第１の色フィルタに対応する位置に配置し、上記第１の方向に開口の位置がずれているとともに、上記第１の焦点検出用画素と開口率の異なる第２の焦点検出用画素を、上記第１の色フィルタに対応する位置に配置し、上記第１の方向と直交する第２の方向に開口の位置がずれており、かつ開口の位置が異なる第３の焦点検出用画素を、上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に配置し、動画画像データを生成するために画素信号を混合して読み出して出力する画素混合読み出し部を有し、上記画素混合読み出し部は、上記第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、混合する画素範囲に含まれる上記第１の焦点検出用画素の出力と上記第２の焦点検出用画素の出力を混合しないで読み出し、上記第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、混合する画素範囲に含まれる上記第３の焦点検出用画素の出力を混合して読み出す。

第２の発明に係る撮像素子は、上記第１の発明において、上記第２の焦点検出用画素の開口率は、上記第１の焦点検出用画素の開口率よりも小さい。
第３の発明に係る撮像素子は、上記第１又は第２の発明において、上記第２の焦点検出用画素は、所定の画素ピッチで列状に配置されている。

第４の発明に係る撮像素子は、上記第１乃至第３の発明において、上記撮像用画素の上記第１の色フィルタに対応する位置であって、上記第１の焦点検出用画素、または第２の焦点検出用画素が配置される位置には上記第２の色フィルタが配置される。

第５の発明に係る撮像素子は、上記第１乃至第４の発明において、上記画素混合読み出し部は、混合した結果を、加算した上記撮像用画素および上記第３の焦点検出用画素の数で除算して出力を生成する。
第６の発明に係る撮像素子は、上記第１乃至第５の発明において、上記第１の色フィルタは青色または赤色であり、上記第２の色フィルタは緑色である。

第７の発明に係る撮像装置は、複数の撮像用画素と該撮像用画素とは受光部の開口の位置がずれている複数の焦点検出用画素を含む撮像素子を有する撮像装置において、撮影画面内に焦点検出領域を設定する焦点検出領域設定部を有し、上記撮像素子は、第１の方向に開口の位置がずれている第１の焦点検出用画素を、上記撮像用画素の第１の色フィルタに対応する位置に配置し、上記第１の方向に開口の位置がずれていると共に、上記第１の焦点検出用画素と開口率の異なる第２の焦点検出用画素を、上記第１の色フィルタに対応する位置に配置し、上記第１の方向と直交する第２の方向に開口の位置がずれており、かつ開口の位置が異なる第３の焦点検出用画素を、上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に配置し、動画画像データを生成するために画素信号を混合して読み出して出力する画素混合読み出し部を有し、上記画素混合読み出し部は、上記第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、混合する画素範囲に含まれる上記第１の焦点検出用画素の出力と上記第２の焦点検出用画素の出力を混合しないで読み出し、上記第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、混合する画素範囲に含まれる上記第３の焦点検出用画素の出力を混合して読み出し、上記焦点検出領域設定部は、上記第２の焦点検出用画素の位置が、上記焦点検出領域の隙間または上記焦点検出領域の境界付近となるように設定する。

第８の発明に係る撮像装置は、上記第７の発明において、上記撮像素子は、上記撮影画面の周辺部に比較して中央部により高い密度で、上記第２の焦点検出用画素を配置している。

本発明によれば、画質性能を確保し、かつ大デフォーカス状態であっても迅速に焦点検出の可能な撮像素子および撮像装置を提供することができる。

本発明の一実施形態に係る撮像素子の画素配列を示す平面図である。 本発明の一実施形態に係る撮像素子において、ＲＬ画素とＢＴ画素の配置関係を示す平面図である。 本発明の一実施形態に係る撮像素子において、通常の焦点検出用画素と大デフォーカス状態時の焦点検出用画素の配置、および開口部の形状を示す図である。 本発明の一実施形態に係る撮像素子の焦点検出用画素の特性を示すグラフである。 本発明の一実施形態における撮像素子において、画素の配置を示す図である。 本発明の一実施形態に係る撮像素子において、混合読み出しを説明する図である。 本発明の一実施形態に係る撮像素子において、大デフォーカス状態時の焦点検出用画素の配置を示す図である。 本発明の一実施形態に係る撮像素子を適用したデジタルカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係る撮像素子を適用したデジタルカメラの動作を示すフローチャートである。

以下、本発明の一実施形態として撮像素子に適用した例について説明する。本実施形態に係る撮像素子は、概略、画素遮光型の像面位相差ＡＦ機能を有しており、水平画素列（ＲＬ画素列）を４画素ピッチ以上の間隔で配置しており（詳しくは図１等参照）、更に、垂直画素列（ＴＢ画素列）も４画素ピッチ以上の間隔で配置している。このＴＢ画素列は、ＲＬ画素列をちょうど９０度回転させた間隔で配置している（詳しくは図２（ｂ）参照）。

また、Ｇ画素以外の画素（Ｂｂ画素またはＲｒ画素）に配置に配置した焦点検出用画素において、遮光率を２種類以上、異ならせている（詳しくは、図３、図４等参照）。この２種類の遮光率の内、一方の遮光率は、合焦近傍での性能を確保するための画素であり、他方の遮光率は、大デフォーカス状態にて、デフォーカス量を検出するための画素である。また、焦点検出用画素は、撮像面の有効領域の全体に面上に配置し、同一ピッチで焦点検出用画素を配置し、そのうちの一部の画素（Ｔ２画素、Ｂ２画素）を大デフォーカス用の画素とし、ライン状に配置する（詳しくは、図３（ｅ）、図７等参照）。

また、大デフォーカス用の焦点検出用画素（Ｔ２画素、Ｂ２画素）を配置したＡＦ画素列は、混合読み出し時にスキップして読み出す制御する（混合読み出しについては、図６参照）。大デフォーカス用の焦点検出用画素（Ｔ２画素、Ｂ２画素）は、ＡＦ測距エリアの隙間または境界付近に配置する（詳しくは、図７参照）。大デフォーカス用の焦点検出用画素は、画面の中央付近は密に配置し、更に、画面内の外側にも配置する（詳しくは、図７参照）。大デフォーカス用の焦点検出用画素は、Ｇ画素以外に配置した焦点検出用画素にはいちする。

図１は、撮像素子２１における撮像用画素と焦点検出用画素の配置を示す。図１においては、右側が開口している焦点検出用画素（Ｒ画素）と、左側が開口している焦点検出用画素（Ｌ画素）を横方向（水平方向）に４画素ピッチの間隔で配置した例である。なお、図１においては、４画素ピッチの間隔であるが、４画素ピッチ以上の間隔があればよい。これは、焦点検出用画素を４画素ピッチ未満で配置すると、画質性能を保つことが困難となるためである。

図１において、Ｒ画素またはＬ画素は、焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合にＧ画素（Ｇフィルタを有する撮像用画素）が配置される位置の一部に配置している。Ｒ画素またはＬ画素を配置しない場合には、２×２画素の範囲内に、２つのＧ画素（緑色フィルタの配置された撮像用画素）がはす向かいに配置され、他のはす向かいの位置に１つのＢｂ画素（青色フィルタが配置された撮像用画素）と１つのＲｒ画素（赤色フィルタが配置された撮像用画素）が配置されている。

そして、図１において、焦点検出用画素を含まない通常のベイヤー配列の撮像素子の場合にＧ画素が配置される位置（ｘ１、ｙ１）、（ｘ５、ｙ１）、（ｘ９、ｙ１）、（ｘ１３、ｙ１）、・・・、（ｘ３、ｙ９）、（ｘ７、ｙ９）、（ｘ１１、ｙ９）、（ｘ１５、ｙ９）、・・・にＲ画素が配置され、また位置（ｘ１、ｙ５）、（ｘ５、ｙ５）、（ｘ９、ｙ５）、（ｘ１３、ｙ５）、・・・、（ｘ３、ｙ１３）、（ｘ７、ｙ１３）、（ｘ１１、ｙ１３）、（ｘ１５、ｙ１３）、・・・にＬ画素が配置されている。このように、Ｒ画素とＬ画素は、焦点検出用画素を含まない通常の撮像素子のＧ画素が配置される一部の位置に、横方向（水平方向）に４画素おきに配置されている。

また、焦点検出を行うにあたって、Ｒ画素とＬ画素のそれぞれ１画素ずつ用いて位相差を算出してもよいが、本実施形態においては、撮像素子２１の縦方向（垂直方向）の所定範囲内（Ｒｓｕｍａｒｅａ内）のＲ画素の出力を加算し、１画素の画像データとして扱う。同様に、撮像素子２１の縦方向（垂直方向）の所定範囲内（Ｌｓｕｍａｒｅａ内）のＬ画素の出力を加算し、１画素の画像データとして扱う。この所定範囲内におけるＲ画素の加算値とＬ画素の加算値の横方向（水平方向）の変化から位相差を算出する。

また、所定の範囲内（ＲｓｕｍａｒｅａとＬｓｕｍａｒｅａ）において、ｙ方向に異なる位置のＲ画素をｘ方向に２画素ずらして配置している。すなわち、位置（ｘ、ｙ１）、（ｘ５、ｙ１）、・・・のＲ画素に対して、横方向に２画素ずらした（ｘ３、ｙ９）、（ｘ７、ｙ９）、・・・にもＲ画素を配置している。これは、サンプリングピッチ（図１の例では４画素）に対して焦点検出用画素をより密に配置することで、ＡＦ精度を確保するためである。Ｌ画素についても、同様の配置としている。

次に、図２を用いて、Ｔ画素とＢ画素の配置について説明する。図２（ａ）は、図１に示した画素配列と同じである。この図２（ａ）の右下隅Ｏを中心として時計回りに９０度回転し、Ｂｂ画素の位置にＢ画素とＴ画素を配置すると、図２（ｂ）の画素配置を得る。そして、図２（ａ）に示すＲ画素およびＬ画素と、図２（ｂ）に示すＴ画素とＢ画素を重ね合わせると、図２（ｃ）に示すように、ＲＬ画素（Ｒ画素とＬ画素の両方を指す場合の略称）およびＴＢ画素（Ｔ画素とＢ画素の両方を指す場合の略称）の画素配置を得る。

例えば、位置（ｘ１、ｙ１）のＲ画素を、位置Ｏを中心に９０度回転し（位置（ｘ１６、ｙ１））、図２（ａ）の配置のＢｂ画素に対応させるため左斜め下へ１画素分移動すると、（ｘ１５、ｙ２）の位置になり、この位置にＢ画素を配置する。また位置（ｘ１、ｙ５）のＬ画素を、位置Ｏを中心に９０度回転し（位置（ｘ１２、ｙ１））、図２（ａ）の配置のＢｂ画素に対応させるため左斜め下へ１画素分移動すると、（ｘ１１、ｙ２）の位置になり、この位置にＴ画素を配置する。

このように、本実施形態における画素配置（図２（ｃ）に示す）は、ＲＬ画素の水平画素列を４画素ピッチ以下の間隔で配置し、更に、ＴＢ画素の垂直画素列は、ＲＬ画素列と同様の画素ピッチであり、ＲＬ画素列を丁度９０度回転させた間隔で配置している。また、ＴＢ画素の位置は、本来は、Ｂｂ画素の位置にあり、青色フィルタに代えて緑色または透明の色フィルタに置き換える。

次に、図３を用いて、通常時に使用する焦点検出用画素と大デフォーカス状態時に使用する焦点検出用画素について説明する。図３（ａ）は、通常時に使用する焦点検出用画素（ＲＬ画素、ＴＢ画素）の配置を示す。図３（ａ）における通常の焦点検出用画素の配置は、図２（ｃ）の画素配置と実質的に同一であるが、説明の都合上、座標系を変更している。図３（ａ）と図２（ｃ）の座標の対応は以下のようになっている。図３（ａ）から図２（ｃ）への対応を→で示すと、（ｘ１、ｙ１）→（ｘ９、ｙ１）、（ｘ１、ｙ１６）→（ｘ９、ｙ１６）、（ｘ８、ｙ１）→（ｘ１６、ｙ１）、（ｘ８、ｙ１６）→（ｘ１６、ｙ１６）となっている。

図３（ｂ）に、通常の焦点検出用画素の内のＴ画素とＢ画素の遮光部材の形状を示す。遮光部材２１ａは、Ｂ画素の開口形状（遮光形状）を示す。すなわち、遮光部材２１ａは、下側からの被写体光束が焦点検出用画素（Ｂ画素）に入射するようにするために、上側からの被写体光束を遮光している。一方、図３（ｂ）に示す遮光部材２１ｂは、Ｔ画素の開口（遮光形状）を示す。すなわち、遮光部材２１ｂは、上側からの被写体光束が焦点検出用画素（Ｔ画素）に入射するようにするために、下側からの被写体光束を遮光している。

図３（ｃ）は、大デフォーカス状態時に使用する焦点検出用画素（ＲＬ画素、Ｔ２画素、Ｂ２画素）の配置を示す。図３（ｃ）における大デフォーカス時に使用する焦点検出用画素の配置は、ＲＬ画素については、図３（ａ）と同じである。しかし、図３（ａ）におけるＢ画素とＴ画素の位置には、図３（ｃ）に示すように、Ｂ２画素とＴ２画素が配置される。

図３（ｄ）に、大デフォーカス状態時に使用する焦点検出用画素であるＴ２画素とＢ２画素の開口形状を示す。遮光部材２１ｃは、Ｂ２画素の開口形状（遮光形状）を示す。すなわち、遮光部材２１ｃは、下側から光軸中心近くを通った被写体光束が焦点検出用画素（Ｂ２画素）に入射するようにするために、上側からの被写体光束と、光軸から離れた下側からの被写体光束を遮光している。図示の如く、上側半分と下側の一部分に遮光部が設けてある。この遮光部材２１ｃによるＢ２画素の感度特性については、図４を用いて後述する。

一方、図３（ｄ）に示す遮光部材２１ｄは、Ｔ２画素の開口（遮光形状）を示す。すなわち、遮光部材２１ｄは、上側から光軸中心近くを通った被写体光束が焦点検出用画素（Ｔ２画素）に入射するようにするために、下側からの被写体光束と、光軸から離れた上側からの被写体光束を遮光している。図示の如く、下側半分と上側の一部分に遮光部が設けてある。この遮光部材２１ｄによるＴ２画素の感度特性については、図４を用いて後述する。

図３（ｅ）は、通常時の焦点検出用画素（ＲＬ画素、ＴＢ画素）が配置される領域と、大デフォーカス状態時検出用の焦点検出用画素（ＲＬ画素、Ｔ２画素、Ｂ２画素）が配置される領域を示す。すなわち、図３（ｅ）は、撮像素子２１の撮像面の全域を示している。そして、領域２１ｍには、ＴＢ画素を垂直画素列に配置した通常時用の焦点検出用画素を配置している。また、領域２１ｎには、Ｔ２画素、Ｂ２画素を垂直画素列（図３（ｅ）の例では、６列）に配置した大デフォーカス用の焦点検出用画素を配置している。なお、焦点検出用画素を配置した領域２１ｎとＡＦ測距エリアの関係については、図７を用いて後述する。

本実施形態においては、通常時の焦点検出用画素（Ｔ画素、Ｂ画素）と、大デフォーカス時の焦点検出用画素（Ｔ２画素、Ｂ２画素）は、同一ピッチ、同一周期で配置している。このため、後述するように、撮像素子２１から混合読み出しを行う際に、スキップしやすくなる。また、大デフォーカス時の焦点検出用画素（Ｔ２画素、Ｂ２画素）は、撮像素子２１の撮像面の略中央付近に密に配置し、周辺部では疎に配置している。これは、後述するように、撮像素子２１を撮像装置に組み込んだ際に、一般に、撮影画面中央付近にＡＦ領域が集中しており、大デフォーカス時の焦点検出用画素（Ｔ２画素、Ｂ２画素）を、周辺部より中央部を密に配置することにより、ＡＦ領域との一致度を上げることができるからである。

次に、図４を用いて、通常時の焦点検出用画素（Ｒ画素、Ｌ画素）と、大デフォーカス時の焦点検出用画素（Ｔ２画素、Ｂ２画素）の、特性について説明する。まず、図４（ａ）は、通常の撮像用画素の感度変化と、焦点検出用画素（Ｒ画素、Ｌ画素）の感度変化を示す。このグラフにおいて、横軸は被写体光束の入射角度を示しており、入射角度０度は、撮像面に垂直な入射角度である。また縦軸は、規格化感度（ａ．ｕ．：ａｒｂｉｔｒａｒｙ ｕｎｉｔ）を示す。

図４（ａ）から分かるように、通常の撮像用画素の感度Ｎは、入射角度の全域で感度を有し、入射角度０度を中心として略左右対称である。また焦点検出用画素であるＲ画素の感度Ｒ１は、入射角度がマイナス側で感度を有し、入射角度θｒ１付近で感度の最大値となる。また、撮像用画素の感度Ｎとは、Ｒ画素の感度が最大値となる角度よりマイナス側では、差が小さい。さらに、Ｒ画素の感度は、入射角度がプラス側で小さく、入射角度がθｒ０より大きい角度では感度最小値とみなせる。

また、焦点検出用画素であるＬ画素の感度Ｌ１は、入射角度がプラス側で感度を有し、入射角度θｌ１付近で感度の最大値となる。また、撮像用画素の感度Ｎとは、Ｌ画素の感度が最大値となる角度よりプラス側では、差が小さい。さらに、Ｌ画素の感度は、入射角度がマイナス側で小さく、入射角度がθｌ０より小さい角度では感度最小値とみなせる。

このように、Ｒ画素とＬ画素の感度特性は、入射角度０度付近を中心として、Ｒ画素とＬ画素の感度のピーク間の範囲ＰＬ１で左右対称となっている。また、入射角度０度付近で両画素の感度値はクロスしており、図４（ａ）の例では、クロスポイント角度における感度値は０．５程度となっており、またクロスポイント付近における両感度の傾きの絶対値は略等しい。

図４（ｂ）は、通常の撮像用画素の感度変化と、大デフォーカス時の焦点検出用画素（Ｔ２画素、Ｂ２画素）の感度変化を示す。このグラフにおいても、図４（ａ）と同様に、横軸は被写体光束の入射角度を示しており、入射角度０度は、画素の略中心である。また縦軸は、規格化感度（ａ．ｕ．：ａｒｂｉｔｒａｒｙ ｕｎｉｔ）を示す。

図４（ｂ）においても、通常の撮像用画素の感度Ｎは、図４（ａ）と同様の形状を示す。大デフォーカス時の焦点検出用画素であるＢ２画素の感度Ｂ２は、入射角度がマイナス側で感度を有し、入射角度θｂ２付近で感度値がピークとなる。また、大デフォーカス時の焦点検出用画素であるＴ２画素の感度Ｔ２は、入射角度がプラス側で感度を有し、入射角度θｔ２付近で感度値がピークとなり、Ｂ２画素のピーク値と略同じである。

このように、Ｂ２画素とＴ２画素の感度特性は、入射角度０度付近を中心として、Ｂ２画素とＴ２画素の感度のピーク間の範囲ＰＬ２で左右対称となっている。また、入射角度０度付近で両画素の感度値はクロスしており、図４（ｂ）の例では、クロスポイントにおける感度値は０．５より小さくなっており、通常時に比較すると、クロスポイント角度における感度値は低くなっている。またクロスポイント付近における両感度の傾きの絶対値は略等しく、その角度は、通常時に比較すると、小さくなっている。

したがって、大デフォーカス時は通常時に比較すると、ピーク間の角度範囲が狭くなり、ピーク感度値が低くなり、クロスポイント角度における感度値も低くなり、さらにクロスポイント角度における傾きも小さくなっている。このため、大デフォーカス状態であっても、Ｔ２画素およびＢ２画素からの信号を使用することにより、上側からの被写体光束と、下側からの被写体光束の差が生じやすくなり、デフォーカス量を算出することが可能となる。

次に、図５を用いて、本実施形態における撮像用画素、焦点検出用画素（Ｒ画素、Ｌ画素、Ｔ画素、Ｂ画素、Ｔ２画素、Ｂ２画素）の配置の一例を示す。図５の例では、縦方向（垂直方向）に１６画素、横方向（水平方向）に６４画素分の配置例を示している。焦点検出用画素は、図３（ｅ）を用いて説明したように、同一ピッチで画面全体に面上に配置されており（図の例では、４画素ピッチ）、そのうちの一部の画素（Ｔ画素とＢ画素）を大デフォーカス用の画素（Ｔ２画素、Ｂ２画素）に置き換えてライン上に配置している。

すなわち、図５に示す例では、Ｔ画素とＢ画素は、例えば、お互いに４画素離れているｘ３列とｘ７列、ｘ１１列とｘ１５列、ｘ５１列とｘ５５列、ｘ５９列とｘ６３列に配置している。またＴ２画素とＢ２画素は、お互いに４画素離れているｘ１９列とｘ２３列、ｘ２７列とｘ３１列、ｘ３５列とｘ３９列、ｘ４３列とｘ４７列に配置している。図５に示す垂直方向に配置されたＴ２画素とＢ２画素は、複数列、設けられており、図３（ｅ）に示した領域２１ｎの１つの領域内に、これらの複数列の画素列が配置される。

次に、焦点検出用画素の読み出しについて説明する。焦点検出用画素は、以下の２点について、通常の撮像用画素とは特性が異なるため、静止画の画質を確保するために補正処理を行う。
（ｉ） 焦点検出用画素は、通常の撮像用画素と比べて、３０％〜８０％程度、遮光されているため、撮像用画素と比較して光量が異なる（光量が３０％〜８０％程度減少する）
（ｉｉ） ピントずれた被写体像が撮像素子面に入射すると、位相がずれている（この特性を利用して、デフォーカス量を検出するが、画質の観点からみると、位相ずれが問題となる）。

基本的には、ＲＬ画素およびＴＢ画素に対して、上述の２つの異なる特性に対して補正処理が必要である。この補正方法は、特開２０１３−２５７４９４および特開２０１３−１０６１２４に詳しく述べられているので、ここでは説明を省略する

上述したように、静止画撮影の際の画素データに対しては、補正処理を行うが、ライブビュー表示中や動画記録中の画素データの読み出しの際には、混合読み出しを行い、静止画撮影の場合とは異なる処理を行う。この混合読み出しについて、図６を用いて説明する。

前述したように、本実施形態において、ＴＢ画素は、焦点検出用画素を含まない撮像素子の場合のＢｂ画素の位置に配置している。混合読み出しの際には、焦点検出用画素のＴＢ画素をスキップして読み出すようにする。これは、Ｂｂ画素は、色情報としての寄与度は高いが、輝度情報としての寄与度が低いため、一部のＢｂ画素情報が欠落しても、動画の場合には画質として十分成立するからである。このように、ＲＬ画素に関しては混合読み出しの対象とするが、ＴＢ画素に関して画素読み出しの際にスキップすることにより、複雑な補正処理を行わずに、動画の画質を確保できる。

図６に示す例は、画素混合読み出し時の画素混合について説明するための画素配置と混合する画素ブロックを示している。なお、図６（ａ）に示す画素配置は、図３（ａ）に示す画素配置と実質的に同一であるが、説明の都合上、座標系を変更している。図６（ａ）と図３（ａ）の座標の対応は以下のようになっている。図６（ａ）から図３（ａ）への対応を→で示すと、（ｘ１、ｙ１）→（ｘ１、ｙ１６）、（ｘ１、ｙ１６）→（ｘ１、ｙ１）、（ｘ８、ｙ１）→（ｘ８、ｙ１６）、（ｘ８、ｙ１６）→（ｘ８、ｙ１）となっている。４画素混合読み出しは、隣接する垂直方向の同色２ライン分の水平方向の同色２画素の計４画素を混合して１ライン分の画素列を読み出す方式である。なお、図６に示す例では、図の下側のライン（画素）を読み出す場合を示している。

図６（ａ）は、４画素混合読み出し動作について説明するための撮像素子２１における一部の領域の画素配置を示している。撮像素子２１の画素を、図６（ａ）に示すように、エリアＡ、Ｂ、Ｃ、Ｄに分けると、各エリア内においては、通常の焦点検出用画素を含まない撮像素子の配置とは、ＲＬ画素の配置とＴＢ画素の配置が異なる。

図６（ｂ）は図６（ａ）の中のエリアＡ（位置（ｘ１、ｙ１３）、（ｘ４、ｙ１３）、（ｘ１、ｙ１６）、（ｘ４、ｙ１６）で囲まれた矩形の範囲）の拡大図である。４画素混合読み出しを行う場合には、この範囲の画素（画素ブロック）について各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（１）〜（４）より求める。

なお、各エリア内での座標の表示は、図６（ｂ）に示すように、左下隅の画素位置をＧｒ（０，０）とし、水平方向右側へ順に、Ｒｒ（１，０）、Ｇｒ（２，０）、Ｒｒ（３，０）とし、垂直方向の上をＢｂ（０，３）と表す。なお、この座標の取り方は、図６（ｃ）（ｄ）（ｅ）においても同じである。

Ｇｒ_mix1＝｛Ｇｒ（０，０）：Ｒ＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４ ・・・（１）
Ｒｒ_mix1＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４ ・・・（２）
Ｇｂ_mix1＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４ ・・・（３）
Ｂｂ_mix1＝｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，３）｝／３ ・・・（４）

図６（ｂ）から分かるように、Ｇｒ混合画素（緑色混合画素）、Ｇｂ混合画素（緑色混合画素）、およびＲｒ混合画素（赤色混合画素）は、エリアＡ内の同色の４画素の画素データを加算し、４で除算することにより、混合値を算出している（式（１）〜（３）参照）。この場合、式（１）に示すように、Ｇｒ混合画素データを求めるにあたっては、Ｒ画素（位置Ｇｒ（０，０））も加算対象としている。一方、Ｂｂ混合画素（青色混合画素）は、式（４）に示すように、エリアＡ内の同色３画素の画素データを加算し、Ｂｂ（２，１）にあるＴ画素については加算対象とせずに、他の３つの同色画素のみで混合値を算出している。

図６（ｃ）は図６（ａ）の中のエリアＢ（位置（ｘ５、ｙ１３）、（ｘ８、ｙ１３）、（ｘ５、ｙ１６）、（ｘ８、ｙ１６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（５）〜（８）より求める。

Ｇｒ_mix2＝｛Ｇｒ（０，０）：Ｒ＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４ ・・・（５）
Ｒｒ_mix2＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４ ・・・（６）
Ｇｂ_mix2＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４ ・・・（７）
Ｂｂ_mix2＝｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，３）｝／３ ・・・（８）

図６（ｄ）は図６（ａ）の中のエリアＣ（位置（ｘ９、ｙ１３）、（ｘ１２、ｙ１３）、（ｘ９、ｙ１６）、（ｘ１２、ｙ１６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（９）〜（１２）より求める。

Ｇｒ_mix3＝｛Ｇｒ（０，０）：Ｒ＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４ ・・・（９）
Ｒｒ_mix3＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４ ・・・（１０）
Ｇｂ_mix3＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４ ・・・（１１）
Ｂｂ_mix3＝｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，１）｝／３ ・・・（１２）

図６（ｅ）は図６（ａ）の中のエリアＤ（位置（ｘ１３、ｙ１３）、（ｘ１６、ｙ１３）、（ｘ１３、ｙ１６）、（ｘ１６、ｙ１６）で囲まれた矩形の範囲）の拡大図である。この範囲の画素について混合読み出しを行う場合には、各ＲＧＢ画素（ベイヤー配列の場合の赤色、緑色、青色画素）のデータは下記式（１３）〜（１６）より求める。

Ｇｒ_mix4＝｛Ｇｒ（０，０）：Ｒ＋Ｇｒ（２，０）＋Ｇｒ（０，２）＋Ｇｒ（２，２）｝／４ ・・・（１３）
Ｒｒ_mix4＝｛Ｒｒ（１，０）＋Ｒｒ（３，０）＋Ｒｒ（１，２）＋Ｒｒ（３，２）｝／４ ・・・（１４）
Ｇｂ_mix4＝｛Ｇｂ（１，１）＋Ｇｂ（３，１）＋Ｇｂ（１，３）＋Ｇｂ（３，３）｝／４ ・・・（１５）
Ｂｂ_mix4＝｛Ｂｂ（０，１）＋Ｂｂ（０，３）＋Ｂｂ（２，１）｝／３ ・・・（１６）

図６（ｃ）〜（ｅ）の場合も、図６（ｂ）と同様であり、Ｇｒ混合画素（緑色混合画素）、Ｇｂ混合画素（緑色混合画素）、およびＲｒ混合画素（赤色混合画素）は、エリアＢ〜Ｄ内の同色の４画素の画素データを加算し、４で除算することにより、混合値を算出している。この場合、Ｇｒ混合画素データを求めるにあたっては、Ｒ画素（位置Ｇｒ（０，０））も加算対象としている（式（５）、（９）、（１３）参照）。一方、Ｂｂ混合画素（青色混合画素）は、エリアＢ内の同色３画素の画素データを加算し、Ｂｂ（２，１）にあるＢ画素については加算対象とせずに、他の３つの同色画素のみで混合値を算出している（式（８）参照）。また、エリアＣ、Ｄ内では、Ｂｂ混合画素（青色混合画素）は、同色３画素の画素データを加算し、Ｂｂ（２，３）にあるＴ画素またはＢ画素については加算対象とせずに、他の３つの同色画素のみで混合値を算出している（式（１２）、（１６）参照）。

次に、図７を用いて、ＡＦ測距エリアと大デフォーカス時の焦点検出用画素の配置について説明する。図７（ａ）（ｂ）において、各矩形部分がＡＦ測距エリアであり、図７（ａ）は、２１ｍ（図３（ｅ））の左上を基準として、エリア（１，１）から（１１，１１）まで、ＡＦ測距エリアが１１×１１に分割されている場合を示し、図７（ｂ）は、エリア（１，１）から（１３，１３）まで、ＡＦ測距エリアが１３×１３に分割されている場合を示す。

図７（ａ）に示すＡＦ測距エリアが１１×１１に分割されている例においても、また、図７（ｂ）に示すＡＦ測距エリアが１３×１３に分割されている例においても、大デフォーカス時の焦点検出用画素（Ｔ２画素およびＢ２画素）は、垂直方向に延びる領域２１ｎ１〜２１ｎ６に配置されている。図７（ａ）（ｂ）から分かるように、これらの領域２１ｎ１〜２１ｎ６は、いずれもＡＦ測距エリアの境界付近に位置させている。

通常用の焦点検出用画素（Ｔ画素、Ｂ画素）は、合焦点付近において高精度となるように設計されているに対して、大デフォーカス時用の焦点検出用画素（Ｔ２画素、Ｂ２画素）は合焦点付近では検出精度が十分高いわけではない。従って、ＡＦ測距エリア内には、なるべく通常用の焦点検出用画素を配置することが望ましい。これに対して、大デフォーカス時用の焦点検出用画素は、大雑把なデフォーカス量とデフォーカス方向を検出できれば十分であることから、ＡＦ測距エリアとＡＦ測距エリアの隙間、または境界付近でも十分である。一方、ＡＦ測距エリアの区分けの仕方は、デジタルカメラの設計上の思想に基づき、適宜行われる。すなわち、ＡＦ測距エリアを微細に分ける場合や、大まかに分ける等、種々の設計思想に基づいて区分けがなされる。

そこで、本実施形態においては、ＡＦ測距エリアは、１１×１１、１３×１３等、カメラの機種によってＡＦ測距エリアの区分けが異なっても、大デフォーカス時用の焦点検出用画素（Ｔ２画素、Ｂ２画素）は、大体、ＡＦ測距エリアの隙間、または境界付近となる位置に配置している。この場合、撮像面の中央付近は、通常、ＡＦ測距エリアが密に配置されることから、大デフォーカス時用の焦点検出用画素が配置される領域２１ｎ２〜２１ｎ５の配置も密にし、周辺では疎にしている。これは、例えば、ＡＦエリア配置を１１×１１（図７（ａ））や１３×１３（図７（ｂ））にする場合のどちらのＡＦエリア配置であっても、ＡＦエリアと大デフォーカス検出用の焦点検出用画素（Ｔ２画素、Ｂ２画素）とを適切な位置関係とするためである。一般に、ＡＦエリアは画面中心を基準として配置が決められるので、画面中央付近においては異なる配置のＡＦエリアの大きさの差がある程度小さければ、ＡＦエリアの境界とＴ２画素、Ｂ２画素との位置のずれは小さい。例えば、図７の２種類のＡＦエリア配置の場合に、Ｔ２画素、Ｂ２画素ともに共通の配置であっても、２１ｎ２から２１ｎ５では、ＡＦエリアの横側の境界とＴ２画素、Ｂ２画素との位置のずれは小さく適切な位置関係が成り立つ。しかしながら、２１ｎ１から２１ｎ２の間、２１ｎ５から２１ｎ６の間では、異なるＡＦエリア配置の間でＡＦエリアの大きさの差によりＡＦエリアの横側の境界のずれが大きくなる。このため、一方のＡＦエリア配置に合わせてＴ２画素、Ｂ２画素を配置すると、他方のＡＦエリア配置において２１ｎ１から２１ｎ２の間や２１ｎ５から２１ｎ６の間のＡＦエリアの内部の中央付近にＴ２画素、Ｂ２画素が位置することとなる。そうすると、２１ｎ１から２１ｎ２の間や２１ｎ５から２１ｎ６の間に位置するＡＦエリアのＡＦ精度が低下するという問題が生ずる。このような問題を解消するために、図７の２１ｎ１から２１ｎ２の間、２１ｎ５から２１ｎ６の間にはＴ２画素、Ｂ２画素を配置しないようにしている。また、Ｔ２画素、Ｂ２画素は、大デフォーカス検出用の画素であるので、画面全面に密に配置することは効果的ではない。

このように、本実施形態においては、焦点検出用画素を含まない通常の撮像素子のＢｂ画素の位置に焦点検出用画素であるＴ画素とＢ画素を配置しており、このＴ画素とＢ画素の位置に大デフォーカス検出用のＴ２画素とＢ２画素を配置している。Ｇ画素以外のＢｂ画素やＲｒ画素の位置に配置した焦点検出用画素は、図６を用いて説明したように、混合読み出し時にスキップして読み出すようにしているので、遮光率が変化していても問題がない。そこで、Ｂｂ画素やＲｒ画素に配置した焦点検出用画素に対して、遮光率を異ならせ、大デフォーカスでもデフォーカス量やデフォーカス方向を検出できるようにしている。

次に、図８を用いて、本実施形態に係る撮像素子２１を組み込んだデジタルカメラについて説明する。図８は、本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態に係るカメラは、交換レンズ鏡筒１０とカメラ本体２０から構成されている。本実施形態においては、交換レンズ鏡筒１０とカメラ本体２０を別体に構成しているが、一般的なコンパクトカメラのように一体に構成しても勿論かまわない。

交換レンズ鏡筒１０内には、撮影レンズ１１が配置されている。撮影レンズ１１は、被写体Ｓの光学像を形成するための複数の光学レンズから構成される。また、交換レンズ鏡筒１０内には、アクチュエータ１２およびレンズ制御部１３が設けられている。レンズ制御部１３は、カメラ本体２０内のＡＦ演算部２３から、焦点ずれ方向と焦点ずれ量を受信し、これらの情報に基づいて、アクチュエータ１２の制御を行う。アクチュエータ１２は、撮影レンズ１１を光軸方向に移動し、ピント合わせを行う。

カメラ本体２０内には、撮像素子２１、画像処理部２２、ＡＦ演算部２３、記録部２４、表示部２５が設けられている。

撮像素子２１は、撮影レンズ１１の光軸上であって、被写体像の結像位置付近に配置されている。撮像素子２１は、被写体像（光学像）を電気信号に変換する光電変換部を有する複数の画素を備えている。すなわち、撮像素子２１は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。これらの複数のフォトダイオードが、前述の複数の画素に対応する。

また、撮像素子２１の複数の画素は、図１ないし図７を用いて説明したように、画素へ入射する光束の入射方向を制限するよう構成された焦点検出用画素（ＲＬ画素、ＴＢ画素、Ｔ２画素、Ｂ２画素）と、画素へ入射する光束が焦点検出用画素よりも制限されないように構成された撮像用画素を含んでいる。撮像素子２１は、焦点検出用画素と撮像用画素から出力される画素値を画像処理部２２およびＡＦ演算部２３に出力する。

画像処理部２２は、撮像用画素と焦点検出用画素（但し、ＴＢ画素、Ｔ２画素、Ｂ２画素は含まれず、ＲＬ画素のみ）からの混合画素値を入力し、ライブビュー表示用画像および動画記録用画像のための画像処理を行う。また、撮像用画素と焦点検出用画素からの画素値を入力し、静止画記録用の画像処理を行う。また、画像処理部２２は、記録用に処理された画像データを記録部２４に出力し、ライブビュー表示用に画像処理された画像データを表示部２５に出力する。

記録部２４は、電気的書き換え可能な不揮発性メモリを有し、記録用の画像データを入力し、記録する。表示部２５は、ライブビュー表示用の画像データや再生用の画像データを入力し、ＬＣＤや有機ＥＬ等の表示パネルに画像データに基づくライブビュー画像や再生画像の表示を行う。

ＡＦ演算部２３は、画素値の内、焦点検出用画素（ＲＬ画素、ＴＢ画素、Ｔ２画素、Ｂ２画素）からの画素値を入力し、位相差ＡＦ法によって焦点ずれ方向と焦点ずれ量を演算する。

なお、画素値の混合は、撮像素子２１から読み出す際に、画素混合を行ってもよく、また撮像素子２１から読み出した画素値を用いて、画像処理部２２またはＡＦ演算部２３において、デジタル演算で画素混合を行ってもよい。

本実施形態においては、撮像素子２１、画像処理部２２、またはＡＦ演算部２３等のいずれか又はいずれかの各部が協働して、画素信号を混合して読み出す画素混合読み出し部の機能を設ける。この画素混合読み出し部は、第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には（例えば、Ｂｂ画素またはＲｒ画素を混合読み出しする場合）、第１の焦点検出用画素（例えば、Ｔ画素やＢ画素）と第２の焦点検出用画素（例えば、Ｔ２画素やＢ２画素）の出力を混合しないで読み出すようにする（例えば、図３、図４Ａ、図４Ｂ参照）。

また、本実施形態においては、ＡＦ演算部２３等に、撮影画面内に焦点検出領域を設定する焦点検出領域設定部の機能を設ける。焦点検出領域設定部としては、撮影者が操作部を介して手動で焦点検出領域（図７のＡＦ測距領域参照）を設定してもよく、また、最至近の被写体が存在する領域や、人物の顔等を焦点検出領域として自動的に設定するようにしてもよい。

次に、図９に示すフローチャートを用いて、カメラの動作について説明する。このフローチャートは、不揮発性のメモリに記憶されたプログラムに従って、画像処理部２２またはＡＦ演算部２３内に設けられたＣＰＵ（Central Processor Unit）等の制御部によってカメラ内の各部を制御することによって実行される。

カメラの電源がオンとなると、図９に示すフローチャートがスタートする。スタートすると、まず、スルー画（ライブビュー表示用画像データ）の取り込みを行う（Ｓ１）。ここでは、図６を用いて説明したように、撮像素子１から通常の撮像用画素と焦点検出用画素（ＴＢ画素、Ｔ２画素、Ｂ２画素を除く）から混合読み出しを行う。

スルー画取り込みを行うと、次に、ＡＦ画素補正処理を行う（Ｓ３）。ここでは、焦点検出領域の焦点検出用画素のＲＬ画素に対して、補正処理を行う。すなわち、焦点検出用画素は、開口が制限されているため、画素値が小さくなってしまう。通常の撮像用画素と同程度のレベルとなるように、補正を行う。焦点検出用画素であるＲＬ画素の出力値はＧ画素の画素混合出力値に含まれているので、不図示のＲＬ画素を混合しないＧ画素の混合画素出力値や、撮影レンズ１１の光学特性に応じた像高位置に基づく補正データ等を使用して補正処理を行う。

ＡＦ画素補正処理を行うと、次に、スルー画表示（ライブビュー表示）を行う（Ｓ５）。ここでは、ステップＳ１において読み出し、ステップＳ３において補正処理された画像データを用いて、画像処理部２２が表示部２５にスルー画表示を行う。

スルー画表示を行うと、次に、１ｓｔレリーズ押し下げか否かの判定を行う（Ｓ７）。ここでは、レリーズ釦の半押し操作、すなわち１ｓｔレリーズ押し下げが行われたか否かを、レリーズ釦の半押し操作でオンオフするスイッチの状態に基づいて判定する。この判定の結果、１ｓｔレリーズが押し下げされていない場合には、ステップＳ１に戻る。

一方、ステップＳ７における判定の結果、１ｓｔレリーズが押し下げされた場合には、ＡＦ用露光を行う（Ｓ９）。ここでは、焦点検出領域の焦点検出用画素（ＲＬ画素、ＴＢ画素、Ｔ２画素、Ｂ２画素）に適正露光となるように露光制御を行い、撮像素子２１からＲＬ画素、ＴＢ画素、Ｔ２・Ｂ２画素の画素値の加算値（図１参照）を読み出す。

ＡＦ用露光を行うと、次に、ピントずれ量の検出を行う（Ｓ１１）。ここでは、焦点検出領域の焦点検出用画素（ＲＬ画素およびＴＢ画素）の画素値の加算値（Ｒｓｕｍａｒｅａ内のＲ画素の出力の加算値、Ｌｓｕｍａｒｅａ内のＬ画素の出力の加算値）を用いて、撮影レンズ１１のピントずれ方向（デフォーカス方向）およびピントずれ量（デフォーカス量）を算出する。なお、大デフォーカスの場合には、まず、大デフォーカス用の焦点検出用画素（Ｔ２画素、Ｂ２画素）を用いて、大まかなピントずれ方向（デフォーカス方向）およびピントずれ量（デフォーカス量）を算出する。

ピントずれ量を検出すると、次に、合焦状態か否かを判定する（Ｓ１３）。ここでは、ステップＳ１１において算出されたピントずれ量が所定範囲内（合焦とみなせる範囲）に入っているか否かに基づいて判定する。

ステップＳ１３における判定の結果、合焦状態でない場合には、フォーカスレンズ駆動を行う（Ｓ１５）。ここでは、ステップＳ１１において算出したピントずれ量、ピントずれ方向に基づいて、レンズ制御部１３がアクチュエータ１２を介して、撮影レンズ１１を合焦位置に移動させる。フォーカスレンズ駆動を行うと、ステップＳ１に戻る。

ステップＳ１３における判定の結果、合焦状態の場合には、２ｎｄレリーズ押し下げか否かを判定する（Ｓ１７）。撮影者は、スルー画を観察し、シャッタチャンスと判断するとレリーズ釦の全押し、すなわち２ｎｄレリーズ押し下げを行う。そこで、このステップでは、レリーズ釦の全押し操作でオンオフするスイッチの状態に基づいて判定する。この判定の結果、２ｎｄレリーズが押し下げされていない場合には、ステップＳ１に戻る。

ステップＳ１７における判定の結果、２ｎｄレリーズ押し下げの場合には、本露光を行う（Ｓ１９）。ここでは、予め定められた露出制御値に従って撮像素子２１による露光動作を行う。この露光が終わると、撮像素子２１から全画素（通常の撮像用画素および焦点検出用画素）の画素値を読み出し、画像処理部２２が静止画の画像データを生成する。この画像データの生成にあたって、焦点検出用画素からの画素値は補正処理を行う。画像データが生成されると、記録部２４に記録する。

本露光が終わると、次に、カメラ電源オフか否かを判定する（Ｓ２１）。ここでは、カメラの電源スイッチの状態に基づいて判定する。この判定の結果、電源オフでない場合には、ステップＳ１に戻る。一方、電源オフの場合には、終了処理をしたのち、電源オフ状態になる。

以上説明したように、本発明の一実施形態における撮像素子２１は、複数の撮像用画素と、この撮像用画素とは受光部の開口の位置がずれている複数の焦点検出用画素（ＲＬ画素、ＴＢ画素、Ｔ２・Ｂ２画素）と、撮像用画素と焦点検出用画素に対応して配置される複数の色フィルタを有している。また、この撮像素子２１は、第１の方向（例えば、図３（ａ）（ｃ）の縦方向）に開口の位置がずれている第１の焦点検出用画素（例えば、ＴＢ画素）を、撮像用画素の第１の色フィルタ（例えば、青色フィルタまたは赤色フィルタ）に対応する位置に配置し、第１の方向に開口の位置がずれているとともに、第１の焦点検出用画素と開口率の異なる第２の焦点検出用画素（例えば、Ｔ２・Ｂ２画素）を、第１の色フィルタに対応する位置に配置している。このため、画質性能を確保し、かつ大デフォーカス状態であっても迅速に焦点検出することができる。すなわち、第１の色フィルタに対応する位置に焦点検出用画素を配置していることから、画質性能を確保することができ、また第１の焦点検出用画素と開口率の第２の焦点検出用画素を配置していることから、大デフォーカス状態であっても迅速に焦点検出を行うことができる。

また、本発明の一実施形態においては、第２の焦点検出用画素（Ｔ２・Ｂ２画素）の開口率は、第１の焦点検出用画素（ＴＢ画素）の開口率よりも小さい（例えば、図３（ｂ）（ｄ）参照）。このため、第２の焦点検出用画素を用いて大デフォーカス状態であってもデフォーカス量の検出を容易に行うことができる。

また、本発明の一実施形態においては、第２の焦点検出用画素（Ｔ２・Ｂ２画素）は、所定の画素ピッチで列状に配置されている（例えば、図３（ｃ）、図５等参照）。このため、画素を読み出す際に、特別な処理を行うことなく、他の焦点検出用画素と同じように読み出すことができる。

また、本発明の一実施形態においては、第１の方向（例えば、図３（ａ）（ｃ）の縦方向）と直交する第２の方向（例えば、図３（ａ）（ｃ）の横方向）に開口の位置がずれている第３の焦点検出用画素（例えば、ＲＬ画素）を、撮像用画素の第１の色フィルタと異なる第２の色フィルタ（例えば、緑色フィルタ）に対応する位置に配置している。このため、第２の方向においてデフォーカス量を検出しやすい被写体に対してもピント合わせを行うことができる。

また、本発明の一実施形態においては、第１の色フィルタは青色または赤色である。本実施形態においては、第１及び第２の焦点検出用画素を、青色または赤色フィルタの位置に配置しており、これらの色フィルタは人間の視感度が低く、画質に影響を与え難いことから、この位置に焦点検出用画素を配置しても画質を確保することができる。

また、本発明の一実施形態においては、撮像素子２１は、第１の方向に開口の位置がずれている第１の焦点検出用画素（例えば、ＴＢ画素）を、撮像用画素の第１の色フィルタ（例えば、青色フィルタまたは赤色フィルタ）に対応する位置に配置し、第１の方向に開口の位置がずれていると共に、第１の焦点検出用画素と開口率の異なる第２の焦点検出用画素（例えば、Ｔ２・Ｂ２画素）を、第１の色フィルタに対応する位置に配置し、第２の焦点検出用画素を、焦点検出領域に相当する撮像素子の領域には配置しない（例えば、図７参照）。このため、焦点検出領域に、合焦点近傍において高精度の第１の焦点検出用画素を配置することができる。

また、本発明の一実施形態においては、撮像素子２１は、撮影画面の周辺部に比較して中央部により高い密度で、第２の焦点検出用画素を配置している（例えば、図７参照）。中央部には多くの焦点検出領域が設定されており、このような構成を採用することにより、設定された焦点検出領域に応じた測距を行うことができる。

なお、本発明の一実施形態においては、本発明の一実施形態に係る撮像素子おいては、画素ピッチは４画素ピッチであったが、これに限られない。また、画素は直交する２方向に沿って配置されていたが、これに限られない。また、ＲＬ画素、ＴＢ画素、Ｔ２・Ｂ２画素は、ＲＧＢ画素のいずれに配置するかは、図示の例に限られない。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、撮像素子を組み込む機器であればよい。

また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ：Personal Digital Assist）、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、異なる光学システムを採用する撮影のための機器であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・交換レンズ鏡筒、１１・・・撮影レンズ、１２・・・アクチュエータ、１３・・・レンズ制御部、２０・・・カメラ本体、２１・・・撮像素子、２１ａ〜２１ｄ・・・遮光部材、２１ｍ・２１ｎ・・・領域、２１ｎ１〜２１ｎ６・・・領域、２２・・・画像処理部、２３・・・ＡＦ演算部、２４・・・記録部、２５・・・表示部

Claims (8)

1. 複数の撮像用画素と、該撮像用画素とは受光部の開口の位置がずれている複数の焦点検出用画素と、上記撮像用画素と焦点検出用画素に対応して配置される複数の色フィルタを有する撮像素子において、
   第１の方向に開口の位置がずれている第１の焦点検出用画素を、上記撮像用画素の第１の色フィルタに対応する位置に配置し、
   上記第１の方向に開口の位置がずれているとともに、上記第１の焦点検出用画素と開口率の異なる第２の焦点検出用画素を、上記第１の色フィルタに対応する位置に配置し、上記第１の方向と直交する第２の方向に開口の位置がずれており、かつ開口の位置が異なる第３の焦点検出用画素を、上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に配置し、
   動画画像データを生成するために画素信号を混合して読み出して出力する画素混合読み出し部を有し、
   上記画素混合読み出し部は、
   上記第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、混合する画素範囲に含まれる上記第１の焦点検出用画素の出力と上記第２の焦点検出用画素の出力を混合しないで読み出し、
   上記第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、混合する画素範囲に含まれる上記第３の焦点検出用画素の出力を混合して読み出す、
   ことを特徴とする撮像素子。
2. 上記第２の焦点検出用画素の開口率は、上記第１の焦点検出用画素の開口率よりも小さいことを特徴とする請求項１に記載の撮像素子。
3. 上記第２の焦点検出用画素は、所定の画素ピッチで列状に配置されていることを特徴とする請求項１又は２に記載の撮像素子。
4. 上記撮像用画素の上記第１の色フィルタに対応する位置であって、上記第１の焦点検出用画素、または第２の焦点検出用画素が配置される位置には上記第２の色フィルタが配置されることを特徴とする請求項１乃至３の何れか１項に記載の撮像素子。
5. 上記画素混合読み出し部は、混合した結果を、加算した上記撮像用画素および上記第３の焦点検出用画素の数で除算して出力を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 上記第１の色フィルタは青色または赤色であり、上記第２の色フィルタは緑色であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 複数の撮像用画素と該撮像用画素とは受光部の開口の位置がずれている複数の焦点検出用画素を含む撮像素子を有する撮像装置において、
   撮影画面内に焦点検出領域を設定する焦点検出領域設定部を有し、
   上記撮像素子は、
   第１の方向に開口の位置がずれている第１の焦点検出用画素を、上記撮像用画素の第１の色フィルタに対応する位置に配置し、
   上記第１の方向に開口の位置がずれていると共に、上記第１の焦点検出用画素と開口率の異なる第２の焦点検出用画素を、上記第１の色フィルタに対応する位置に配置し、
   上記第１の方向と直交する第２の方向に開口の位置がずれており、かつ開口の位置が異なる第３の焦点検出用画素を、上記撮像用画素の上記第１の色フィルタと色が異なる第２の色フィルタに対応する位置に配置し、
   動画画像データを生成するために画素信号を混合して読み出して出力する画素混合読み出し部を有し、
   上記画素混合読み出し部は、
   上記第１の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、混合する画素範囲に含まれる上記第１の焦点検出用画素の出力と上記第２の焦点検出用画素の出力を混合しないで読み出し、
   上記第２の色フィルタに対応する撮像用画素の出力を混合して読み出す場合には、混合する画素範囲に含まれる上記第３の焦点検出用画素の出力を混合して読み出し、
   上記焦点検出領域設定部は、上記第２の焦点検出用画素の位置が、上記焦点検出領域の隙間または上記焦点検出領域の境界付近となるように設定する、
   ことを特徴とする撮像装置。
8. 上記撮像素子は、上記撮影画面の周辺部に比較して中央部により高い密度で、上記第２の焦点検出用画素を配置していることを特徴とする請求項７に記載の撮像装置。

Images