JP5698555B2 - 撮像素子、撮像装置 - Google Patents

Description

本発明は、ベイヤー配列された３色の画素を有し画素加算読み出しが可能な撮像素子と、該撮像素子を用いた撮像装置と、に関する。

近年、被写体像を撮像するための撮像素子上に、撮影用の画素（撮影画素）とは別に焦点検出用の画素（焦点検出画素）を設けて、別途の位相差ＡＦ用センサを用いることなく位相差ＡＦを行うことができるようにする技術が提案されている。

一方、撮像しながら、その撮影画像を撮像装置の背面に設けられたＬＣＤパネル等の表示装置に表示させるライブビュー機能は、６０フレーム／秒の撮像フレームレートとＬＣＤパネルのリフレッシュレートがあれば滑らかな動きの動画表示が得られることが知られている。しかし、近年のデジタルカメラ等には例えば１２Ｍ（メガ）ピクセルの撮像素子が搭載されており、こうした多画素の撮像素子から全画素を読み出そうとしても、例えば１秒当たり数フレーム程度のフレームレートしか得ることができず、滑らかな動きのライブビュー画像が得られるとは言い難い。

そこで、近年の撮像装置では、撮像素子から読み出す画素数を減少させることにより、フレームレートを上げる技術を採用することが一般的となっている。こうした技術の代表例としては、画素間引き読み出しと、画素加算読み出しとが知られている。

前者の画素間引き読み出しは、例えば、複数ラインに１ラインの割合で、かつ１ライン上において複数画素に１画素の割合で、選択した画素のみを読み出すことにより、読み出す画素数を減少させる技術である。

また、後者の画素加算読み出しは、水平方向および／または垂直方向に隣接する同色の画素同士の画素信号を撮像素子内において加算し、撮像素子から読み出す画素数を減少させる技術である。

これら２種類の技術を比較すると、画素間引き読み出しには、フレームレートを上げたことによる露光時間短縮で光電変換量が減りＳ／Ｎ比が低下するという課題と、画素間引きしたことによるサンプリング折り返しでモアレが出るという課題と、があるために、画素間引き読み出しよりも画素加算読み出しの方が画質的に優れていると考えられる。

上述した焦点検出画素を備えた撮像素子を用いて、瞳分割位相差方式の焦点検出を行う場合にも、上述したライブビューと同様に画素加算読み出しの技術を導入することにより、ＡＦ速度を向上する効果や、ライブビューと同時にＡＦを行い得る効果などを期待することができる。

このような焦点検出画素を備えた撮像素子において、画素加算読み出しを行うようにした技術として、例えば特開２００９−１３０５８１号公報に記載の技術が挙げられる。該公報に記載の技術の概要を、図２０および図２１を参照して説明する。ここに、図２０は従来の撮像素子上に設けられた焦点検出画素の配置を示す図、図２１は従来の撮像素子における画素加算読み出しの方法を説明するための図である。

図２０に示すように、撮影画素が縦横に配列された撮像素子の、あるライン上に、結像光学系の射出瞳の第１の瞳領域（ここに、第１の瞳領域を瞳Ａということにする）を通過した光束を受光する画素（瞳Ａ焦点検出画素）と、射出瞳の第２の瞳領域（同様に、第２の瞳領域を瞳Ｂということにする）を通過した光束を受光する画素（瞳Ｂ焦点検出画素）と、を１画素の撮影画素を挟み込みながら（つまり、１画素置きに）交互に配置する。ここに、１画素置きに配置する理由は、図２０においてカラーフィルタがベイヤー配列された撮像素子を想定しており、同一ライン上における同色画素は１画素置きに存在するためである。

この図２０に示したような撮像素子から加算読出を行う場合には、図２１に示すように行う。ここに図２１は、撮像素子が原色ベイヤー配列の撮像素子であって、青（Ｂ）画素が配列されたライン上のＧ画素（Ｇｂ画素）の位置に、瞳Ａ焦点検出画素Ｓａおよび瞳Ｂ焦点検出画素Ｓｂが交互に配設された例を示している。

まず、撮影画素のみが配置されたラインについては、Ｒ画素とＧ画素とを隣接する同色毎にそれぞれ３画素加算して読み出す。一方、焦点検出画素が配置されたラインについては、瞳Ａ焦点検出画素Ｓａと瞳Ｂ焦点検出画素Ｓｂとを隣接する同色（同一種類）毎にそれぞれ２画素加算して読み出し、青（Ｂ）画素については読み出しを行わない。

このような読み出しにより、瞳Ａおよび瞳Ｂの焦点検出画素データを読み出すことが可能となっている。そして、読み出される総画素数が全画素数の１／３になるために、全画素を読み出す場合に比して３倍のフレームレートを達成することが可能になる利点がある。

特開２００９−１３０５８１号公報

しかしながら、上記特開２００９−１３０５８１号公報に記載の技術では、焦点検出画素が配置されたラインには撮影画素であるＢ画素が存在するにも関わらず、該ラインからは撮影画素の画素データが読み出されることがない。従って、焦点検出画素が配置されたラインからは画像データを得ることができず、近傍の他のラインの画像データを用いて補間等を行うしかないが、その補間精度も低下してしまうことになる。

加えて、焦点検出画素が配置されたラインと配置されていないラインとでは、加算する画素位置の組み合わせが異なるために、画素加算可能な一般的な撮像素子（本発明に係る図６参照）を利用することができず、専用の撮像素子や駆動回路、信号処理回路、製造ライン等を開発することが必要となり、費用が嵩むことになってしまう。

さらに、該公報に記載の技術では、焦点検出画素が配置されたラインからは撮影画素データが得られないために、該ラインの数を最小化する必要がある。このために、瞳Ａ焦点検出画素と瞳Ｂ焦点検出画素とは同一ライン上に配置されている。すなわち、該公報に記載の技術には、焦点検出画素の配置条件に制限事項が存在し、瞳Ａ焦点検出画素と瞳Ｂ焦点検出画素とを異なる行に配置するといった自由な配置を行うことができない。つまり、焦点検出画素を斜め方向に配置すると、水平方向のエッジパターンと垂直方向のエッジパターンとの何れも検出することが可能となる利点があることが知られているが、該公報に記載の技術ではこのような利点を享受することができない。

本発明は上記事情に鑑みてなされたものであり、焦点検出画素の配置が比較的自由であり、特殊な読み出しを要することのない焦点検出可能な撮像素子と、該撮像素子を用いた撮像装置と、を提供することを目的としている。

上記の目的を達成するために、本発明のある態様による撮像素子は、ベイヤー配列された３色の画素を有し、一水平ライン上において一連に隣接する同一色画素同士のｎ（ｎは２以上の整数）画素加算を上限とする画素加算読み出しが可能な撮像素子において、一水平ライン上において一連に隣接するｎ個のＸ（ここに、Ｘはベイヤー配列された３色の内の何れか１色）画素に相当する画素位置に配設された焦点検出画素でなる第１の画素群を単位として、複数の単位に対して、各単位に含まれる各焦点検出画素に、該焦点検出画素の中心から一方向へ偏心して設けられた第１の偏心マスクと、上記第１の画素群が設けられた水平ラインと、同一の、またはＸ画素が存在する水平ラインとして隣接する、一水平ライン上において一連に隣接するｎ個のＸ画素に相当する画素位置に配設された焦点検出画素でなり、かつ該第１の画素群とは焦点検出画素を共有せず、かつ水平ライン方向における一方向側の位置が該第１の画素群と対をなして隣接する第２の画素群を単位として、複数の単位に対して、各単位に含まれる各焦点検出画素に、該画素の中心から他方向へ偏心して設けられた第２の偏心マスクと、を具備し、上記一単位の第１の偏心マスクと、上記一単位の第２の偏心マスクとは、何れも、加算可能な画素数が１種類であるときには該加算可能な画素数の、２倍の画素数の上記水平ライン方向の画素列を基本周期として、該基本周期の１以上の整数倍を周期として配置され、加算可能な画素数が複数種類であるときには全種類の該加算可能な画素数の最小公倍数の、２倍の画素数の上記水平ライン方向の画素列を基本周期として、該基本周期の１以上の整数倍を周期として配置されている。

また、本発明の他の態様による撮像装置は、上述の撮像素子と、上記撮像素子上に被写体像を形成する結像光学系と、上記第１の画素群からの出力により形成される第１の画像と、上記第２の画素群からの出力により形成される第２の画像と、の位相差を検出する位相差検出部と、を具備したものである。

本発明の撮像素子、撮像装置によれば、焦点検出可能でありながら、焦点検出画素の配置が比較的自由であり、特殊な読み出しを要することがない。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における位相差検出部の構成を示すブロック図。 上記実施形態１における撮影画素および焦点検出画素の第１の構成例を示す図。 上記実施形態１における撮影画素および焦点検出画素の第２の構成例を示す図。 上記実施形態１における撮影画素および焦点検出画素の第３の構成例を示す図。 上記実施形態１において、撮像素子における撮影画素のみで構成されるラインの水平３画素加算読み出しを説明するための図。 上記実施形態１において、撮像素子における焦点検出画素を含むラインの水平３画素加算読み出しを説明するための図。 上記実施形態１において、撮像素子上における焦点検出画素および撮影画素の画素構成を示す図。 上記実施形態１において、全画素読み出し時に画素種別信号に基づき瞳分離部により抽出される焦点検出画素を示す図。 上記実施形態１の画像処理部において全画素読み出し時に撮影画像として処理される画素信号を示す図。 上記実施形態１において、全画素読み出し時に瞳分離部により抽出された焦点検出画素の内、位相差算出部における相関演算に用いられる焦点検出画素を示す図。 上記実施形態１において、２画素加算読み出し時に撮像素子から出力される画像信号の画素構成を示す図。 上記実施形態１において、焦点検出画素の画素データを含む２画素加算画素を抽出したときの様子を示す図。 上記実施形態１の画像処理部において２画素加算読み出し時に撮影画像として処理される画素信号を示す図。 上記実施形態１において、２画素加算読み出し時に位相差算出部における相関演算に用いられる焦点検出画素を示す図。 上記実施形態１において、３画素加算読み出し時に撮像素子から出力される画像信号の画素構成を示す図。 上記実施形態１において、３画素加算読み出し時に位相差算出部における相関演算に用いられる焦点検出画素を示す図。 上記実施形態１の画像処理部において３画素加算読み出し時に撮影画像として処理される画素信号を示す図。 本発明の実施形態２において、撮像素子における焦点検出画素を含むラインの水平３画素加算読み出しを説明するための図。 従来の撮像素子上に設けられた焦点検出画素の配置を示す図。 従来の撮像素子における画素加算読み出しの方法を説明するための図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１８は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

本実施形態の撮像装置は、例えばＡＦ機能を有するデジタルカメラ等として構成されたものであり、図１に示すように、結像光学系１と、撮像部２と、位相差検出部６と、フォーカス制御部７と、画像処理部１０と、を備えている。

結像光学系１は、光学的な被写体像を撮像部２内の後述する撮像素子３上に結像するための対物光学系であり、図示しない光学絞りや、焦点位置を調節するためのフォーカスレンズを含んで構成されている。

撮像部２は、撮像素子３と、撮像素子駆動部４と、画素種別信号出力部５と、を備えている。

撮像素子３は、結像光学系１により結像された光学的な被写体像を光電変換して画像信号を生成し出力するものである。この撮像素子３は、被写体像を画素単位で光電変換するようになっており、複数の画素が例えば図８に示すように撮像面上に２次元マトリクス状に配列されている。ここに、撮像素子３上に設けられた画素としては、撮影用の画素（撮影画素）と、焦点検出用の画素（焦点検出画素）とがある。そして、本実施形態においては、撮影画素が３色の画素（ここでは特に、原色系のＲ画素とＧ画素とＢ画素）でなり、これら３色の撮影画素がベイヤー配列されていることを想定している。さらに、本実施形態においては、焦点検出画素が、結像光学系１の射出瞳を異なる２つの瞳領域に区分した（すなわち、瞳分割した）内の、第１の瞳領域（ここに、第１の瞳領域を瞳Ａということにする）と第２の瞳領域（同様に、第２の瞳領域を瞳Ｂということにする）とを各通過した光束を受光する瞳Ａ焦点検出画素と瞳Ｂ焦点検出画素とでなることを想定している。従って、被写体上のある点から発せられた光は、瞳Ａを通過して瞳Ａ焦点検出画素に到達する一方、瞳Ｂを通過して瞳Ｂ焦点検出画素に到達することになる。そして、この撮像素子３は、一水平ライン上において一連に隣接する同一色画素同士のｎ（ｎは２以上の整数であり、本実施形態においては後述するようにｎ＝３）画素加算を上限とする画素加算が可能であり、さらに、垂直方向においても画素加算が可能であって、画素加算された結果を読み出すことができるように構成されたものとなっている。

ここで、図３〜図５を参照して、撮像素子３上に構成された撮影画素および焦点検出画素の構成例を説明する。

まず、図３は、撮影画素および焦点検出画素の第１の構成例を示す図である。

撮影画素３０と瞳Ａ焦点検出画素３０Ａと瞳Ｂ焦点検出画素３０Ｂとは、何れも、半導体基板３１内に不純物をドープして形成されたフォトダイオード３２と、半導体基板３１上に形成された遮光マスク３３およびマイクロレンズ３５と、を有しており、深部から表層へ向かって、光電変換部層ＰＤ、遮光マスク層ＳＭ、マイクロレンズ層ＭＬが形成された積層構造となっている。

遮光マスク３３には、フォトダイオード３２に各対応する位置に開口３４が形成されている。そして、マイクロレンズ３５は、フォトダイオード３２と開口３４とを結ぶ線上に配置されている。このとき、撮影画素３０はフォトダイオード３２の中心と結像光学系１の射出瞳の中心とを結ぶ線（１点鎖線で示す線）上にマイクロレンズ３５の中心が位置するように構成されているのに対して、瞳Ａ焦点検出画素３０Ａは該線からマイクロレンズ３５Ａの中心が一方向にずれて位置するように構成され、瞳Ｂ焦点検出画素３０Ｂは該線からマイクロレンズ３５Ｂの中心が他方向にずれて位置するように構成されている。

こうして、図３に示す例においては、マイクロレンズ３５Ａ，３５Ｂの位置を遮光マスク３３の開口３４に対してずらすことにより、画素の中心から一方向および他方向へ偏心して設けられた第１および第２の偏心マスクを構成し、瞳Ａ焦点検出画素３０Ａおよび瞳Ｂ焦点検出画素３０Ｂを形成している。

次に、図４は、撮影画素および焦点検出画素の第２の構成例を示す図である。

この図４に示す例においても、各画素の積層構造は図３に示したものと同様であり、撮影画素３０の構成も図３に示したものと同様である。ただし、この図４に示す例においては、瞳Ａ焦点検出画素３０Ａと瞳Ｂ焦点検出画素３０Ｂとの何れについても、マイクロレンズ３５は、その中心が、フォトダイオード３２の中心と結像光学系１の射出瞳の中心とを結ぶ線上に位置するように構成されている。さらに、瞳Ａ焦点検出画素３０Ａはマイクロレンズ３５を通過した光束の一方側を遮光するように開口３４Ａが形成され、瞳Ｂ焦点検出画素３０Ｂはマイクロレンズ３５を通過した光束の他方側を遮光するように開口３４Ｂが形成されている。

こうして、図４に示す例においては、遮光マスク３３に形成された開口３４Ａ，３４Ｂの範囲を一方側および他方側に制限することにより、画素の中心から一方向および他方向へ偏心して設けられた第１および第２の偏心マスクを構成し、瞳Ａ焦点検出画素３０Ａおよび瞳Ｂ焦点検出画素３０Ｂを形成している。

続いて、図５は、撮影画素および焦点検出画素の第３の構成例を示す図である。

この図５に示す撮像素子は、深部から表層へ向かって、光電変換部層ＰＤ、配線層ＷＬ、マイクロレンズ層ＭＬが形成された積層構造となっている。そして、半導体製造プロセスによりこのような積層構造に形成された撮像素子に対して、半導体製造プロセスによることなく形成された光学部材である平板状の遮光マスクガラス３７を貼設することにより、遮光マスクガラス層ＭＧをさらに設けた構造となっている。

ここに、配線層ＷＬには遮光機能を備えた配線パターン３６が形成され、この配線パターン３６はフォトダイオード３２に各対応する位置に開口３６ａが形成されている。

また、遮光マスクガラス３７の例えばマイクロレンズ３５に対向する側の面には、開口３９，３９Ａ，３９Ｂを有する遮光マスク３８が形成されている。ただし、撮影画素３０に対して形成された開口３９は結像光学系１からマイクロレンズ３５へ入射する光束をけることがないように構成されているのに対して、瞳Ａ焦点検出画素３０Ａに対して形成された開口３９Ａは結像光学系１からマイクロレンズ３５へ入射する光束の一方側を遮光するように構成され、瞳Ｂ焦点検出画素３０Ｂに対して形成された開口３９Ｂは結像光学系１からマイクロレンズ３５へ入射する光束の他方側を遮光するように構成されている。

こうして、図５に示す例においては、図３に示した遮光マスク３３を、半導体製造プロセスによることなく形成された遮光マスクガラス３７上の遮光マスク３８として構成し、遮光マスク３８に設けられた開口３９Ａ，３９Ｂの範囲を一方側および他方側に制限することにより、画素の中心から一方向および他方向へ偏心して設けられた第１および第２の偏心マスクを構成して、瞳Ａ焦点検出画素３０Ａおよび瞳Ｂ焦点検出画素３０Ｂを形成している。このような構成によれば、半導体製造プロセスにより製造されるのは通常の撮像素子と同一となるために、半導体製造プロセスを変更する必要がなく、製造コストを低減することができる。加えて、新規の専用撮像素子の開発が不要となって開発コストの大幅な低減を図ることができるとともに、実績のある撮像素子３を使用することができ、安定した性能が得られる利点がある。また、半導体製造プロセスが終了した後の状態の撮像素子を、通常撮像素子と焦点検出機能付き撮像素子とに区別する必要がないために、管理コストを大幅に低減することも可能となる。

図１の説明に戻って、撮像素子駆動部４は、撮像素子３を駆動制御するものである。すなわち、撮像素子駆動部４は、全画素読出モード、水平２画素加算読出モード、水平３画素加算読出モード等の内の何れかの読出モードを撮像素子３に設定し、水平同期信号ＨＤと垂直同期信号ＶＤとを撮像素子３へ出力して、該撮像素子３上に上述したように配列された複数の画素を所定の順序で駆動するようになっている。従って、画像信号は、読み出された画素順に、画素単位の画像信号（画素データ）として撮像素子３から出力されることになる。さらに、撮像素子駆動部４は、撮像素子３へ設定した読出モードと、撮像素子３へ出力している水平同期信号ＨＤおよび垂直同期信号ＶＤとに基づいて、撮像素子３から読み出されている画素位置の情報である読出位置情報と読出モードとを画素種別信号出力部５へ出力すると共に、相関演算を行うタイミングを示す相関タイミング信号と読出モードとを位相差検出部６へ出力するようになっている。

ここに、撮像素子駆動部４から画素種別信号出力部５へ出力される読出位置情報は、例えば、マトリクス状に配列された複数の画素の位置に対応した、所定のタイミングを有するパルス信号である。

また、撮像素子駆動部４は、上述したような制御信号（垂直同期信号、水平同期信号、読出位置情報、読出モード、相関タイミング信号）のそれぞれを、図示しないレリーズボタンの操作に同期して出力するようになっている。

画素種別信号出力部５は、撮像素子駆動部４からの読出位置情報および読出モードに基づいて、撮像素子３から画素単位で順次出力される画像信号の種類を示す画素種別信号を生成し、位相差検出部６へ出力する回路である。ここに、画素種別信号は、焦点検出画素信号と瞳種別信号とを含んでいる。前者の焦点検出画素信号は、撮像素子３から出力されている画素データが、焦点検出画素の信号であることを示す信号である。また、後者の瞳種別信号は、撮像素子３から出力されている画素データが、瞳Ａ焦点検出画素と瞳Ｂ焦点検出画素との何れの画素からのものであるかを示す信号である。画素種別信号出力部５は、焦点検出画素信号を、画像処理部１０へも出力するようになっている。

この画素種別信号出力部５は、例えば、読出位置情報のパルス信号をカウントするカウンタと、読出モードに応じた焦点検出画素の位置に対応する値を保持する記憶部と、を備えて構成され、カウント値が所定値（すなわち、読出モードに応じた焦点検出画素の位置に対応する値）になったときに、焦点検出画素信号と瞳種別信号とを出力する。

位相差検出部６は、瞳Ａ焦点検出画素に結像されている被写体像（第１の画素群からの出力により形成される第１の画像）と、瞳Ｂ焦点検出画素からの画像信号に結像されている被写体像（第２の画素群からの出力により形成される第２の画像）と、の位相差を検出するためのものである。ここに図２は、位相差検出部６の構成を示すブロック図である。

図２に示すように、位相差検出部６は、瞳分離部２１と、相関演算制御部２２と、位相差算出部２３と、を備えている。

瞳分離部２１には、撮像素子３からの画像信号と、画素種別信号出力部５からの焦点検出画素信号および瞳種別信号とが入力される。相関演算制御部２２には、撮像素子駆動部４からの相関タイミング信号が入力される。位相差算出部２３には、撮像素子駆動部４からの読出モードが入力される。

瞳分離部２１は、入力された画素データが焦点検出画素の信号であることを焦点検出画素に基づき判定し、さらに、瞳Ａ焦点検出画素と瞳Ｂ焦点検出画素との何れの信号であるかを瞳種別信号に基づき判別して、焦点検出画素であると判定されたときにのみ、判別結果に応じて分類した画素データを位相差算出部２３へ出力する。

一方、相関演算制御部２２は、相関タイミング信号に基づいて、相関演算を行うことができるだけの画素データが位相差算出部２３に蓄積されたことを確認し、蓄積されたことが確認されたら空間位置をずらしながらの相関演算を位相差算出部２３に行わせるための相関演算制御信号を位相差算出部２３へ出力する。

位相差算出部２３は、図示しないバッファを備えており、瞳分離部２１からの瞳Ａ焦点検出画素データと瞳Ｂ焦点検出画素データとをそれぞれ区分して蓄積する。ここに、撮像素子３上における測距点は、１点、もしくは複数点設けられるのが一般的であるが、各測距点内には、複数の瞳Ａ焦点検出画素と、これら複数の瞳Ａ焦点検出画素と対をなす複数の瞳Ｂ焦点検出画素とが配置されている。従って、１つの測距点に対する相関演算は、その１つの測距点内の焦点検出画素からの画素データが全て蓄積された後に行われ、このタイミングを示すのが上述した相関タイミング信号、ひいては相関演算制御信号である。そして、位相差算出部２３は、相関演算制御信号に基づいて、バッファに蓄積されている複数の瞳Ａ焦点検出画素データと複数の瞳Ｂ焦点検出画素データとに対して、相関値を算出する相関演算を行う。この相関演算は、相関演算制御信号に基づいて、瞳Ａ焦点検出画素データと複数の瞳Ｂ焦点検出画素データとの相対的な空間位置をずらしながら、複数回に渡って行われる。さらに、位相差算出部２３は、複数回の演算により得られた複数の相関値に基づいて、補間演算等も行いながら、最も高い相関値を示す空間位置ずれ量を算出する。このとき、この空間位置ずれ量は、読出モードに応じて変化する画素ピッチを考慮して算出される。位相差算出部２３は、こうして算出された最も高い相関値を示す空間位置ずれ量を位相差として、位相差信号を後述するデフォーカス量算出部８へ出力する。

フォーカス制御部７は、デフォーカス量算出部８とフォーカスレンズ駆動部９とを備えており、位相差検出部６により検出される位相差を０に近付けるように結像光学系１を駆動するものである。

すなわち、デフォーカス量算出部８は、位相差検出部６からの位相差信号に基づきデフォーカス量を算出して、フォーカスレンズ駆動部９へ出力する。

フォーカスレンズ駆動部９は、デフォーカス量算出部８により算出されたデフォーカス量に応じて、撮像素子３に結像される被写体像が合焦状態となるように、結像光学系１内のフォーカスレンズを駆動する。これにより、撮像装置のＡＦ機能が実現される。撮像装置には図示しない操作部（例えば、デジタルカメラのレリーズボタン）が設けられており、この操作部からの操作信号により撮影処理の実行が指示されると、その実行時に焦点検出が行われてＡＦ機能が実行される。

画像処理部１０は、撮影処理の実行により得られた撮像素子３からの撮像信号に対して画像処理を行うものである。この画像処理部１０により行われる画像処理には、焦点検出画素の補間処理も含まれる。すなわち、焦点検出画素は、撮影用の画素として使用することができないために、画像処理部１０に含まれる補間回路が、焦点検出画素の位置の画素データを、周囲の撮影画素の画素データを用いて補間して生成する処理を行う。この画像処理部１０により生成された画像データは、図示しない記録媒体等に記録されたり、図示しない表示装置に表示されたりするようになっている。

次に、図６は、撮像素子３における撮影画素のみで構成されるラインの水平３画素加算読み出しを説明するための図である。

原色ベイヤー配列は、よく知られているように、２×２画素の画素ブロック内に、対角方向にＧ画素を２画素配置し、残る対角の一方にＢ画素を他方にＲ画素をそれぞれ配置して、このような画素ブロックを敷き詰めた構成となっている。そして、この図６に付した数字は、画素ブロックを区別するためのものとなっている。このような画素構成では、あるラインにはＧ画素とＢ画素のみが交互に配列され、このラインに隣接するラインにはＲ画素とＧ画素のみが交互に配列されることになる。そこで、Ｂ画素が配置されたラインのＧ画素をＧｂと記載し、Ｒ画素が配置されたラインのＧ画素をＧｒと記載している。

このような画素配置において、水平３画素加算読み出しは同一の水平ライン上において一連に隣接する３つの同一色画素同士の画素加算として行われる。すなわち、図６に示す例においては、Ｇｂ１＋Ｇｂ２＋Ｇｂ３により画素加算後のＧｂ画素が生成され、Ｂ１＋Ｂ２＋Ｂ３により画素加算後のＢ画素が生成され、Ｒ１＋Ｒ２＋Ｒ３により画素加算後のＲ画素が生成され、Ｇｒ１＋Ｇｒ２＋Ｇｒ３により画素加算後のＧｒ画素が生成される。この画素加算方法は、現在製造され販売されている撮像素子において広く普及している一般的な方法である。

なお、図６においては水平３画素加算読み出しを説明したが、本実施形態の撮像素子３は、加算読み出しとしてさらに、水平２画素加算読み出し、水平２画素および垂直２画素を加算した合計４画素加算読み出し、水平３画素および垂直３画素を加算した合計９画素加算読み出し、を行うことができることを想定している。ここに、水平２画素加算読み出しにおいては、２水平ライン毎に１水平ラインの割合で読み出す間引き読み出し、水平３画素加算読み出しにおいては、３水平ライン毎に１水平ラインの割合で読み出す間引き読み出し、をそれぞれ行い得るようにしても構わない。

このように本実施形態では、一水平ライン上において一連に隣接する同一色画素同士の３画素加算を上限とする画素加算読み出しが可能であることを想定している。

ただし、撮像素子３が、水平ｎ（ｎは２以上の整数）画素加算および垂直ｍ（ｍは２以上の整数）画素加算の合計ｎ×ｍ画素加算読み出し、を行うことができるより一般的な構成であっても、本実形態の構成は同様にして適用することができる。

続いて、図７は、撮像素子３における焦点検出画素を含むラインの水平３画素加算読み出しを説明するための図である。

この図７には、Ｇｂ画素に相当する位置に焦点検出画素が配置される例を示している（ただし、Ｇｒ画素に相当する位置に焦点検出画素が配置されても勿論構わない）。ここに、焦点検出画素は、Ｇｂ１〜Ｇｂ３に相当する位置に第１の画素群である瞳Ａ焦点検出画素Ｓａ１〜Ｓａ３が配置され、Ｇｂ４〜Ｇｂ６に相当する位置に第１の画素群と対をなして隣接する第２の画素群である瞳Ｂ焦点検出画素Ｓｂ４〜Ｓｂ６が配置されている。このように瞳Ａ焦点検出画素と瞳Ｂ焦点検出画素とは、撮像素子３の各測距点上に画素群の対として複数形成されており、１つの画素群が３画素で構成されているのは、本実施形態における撮像素子３の水平ライン上における画素加算読み出しが３画素加算を上限としているためである。

なお、より一般には、瞳Ａ焦点検出画素を構成する第１の偏心マスクは、一水平ライン上において一連に隣接するｎ個のＸ（ここに、Ｘはベイヤー配列された３色の内の何れか１色）画素に相当する画素位置に配設された焦点検出画素でなる第１の画素群を単位として、複数の単位に対して、各単位に含まれる各焦点検出画素に、該焦点検出画素の中心から一方向へ偏心して設けられている。

また、瞳Ｂ焦点検出画素を構成する第２の偏心マスクは、第１の画素群が設けられた水平ラインと、同一の、またはＸ画素が存在する水平ラインとして隣接する、一水平ライン上において一連に隣接するｎ個のＸ画素に相当する画素位置に配設された焦点検出画素でなり、かつ該第１の画素群とは焦点検出画素を共有せず、かつ水平ライン方向における一方向側の位置が該第１の画素群と対をなして隣接する第２の画素群を単位として、複数の単位に対して、各単位に含まれる各焦点検出画素に、該画素の中心から他方向へ偏心して設けられている。

このような焦点検出画素を含む画素配置においても、水平３画素加算読み出しは、図６に示したような撮影画素のみで構成されるラインと全く同様に、同一の水平ライン上において一連に隣接する３つの同一色画素同士の画素加算として行われる。従って、図７に示す例においては、Ｓａ１＋Ｓａ２＋Ｓａ３により画素加算後のＳａ画素が生成され、Ｂ１＋Ｂ２＋Ｂ３により画素加算後のＢ画素が生成され、Ｒ１＋Ｒ２＋Ｒ３により画素加算後のＲ画素が生成され、Ｇｒ１＋Ｇｒ２＋Ｇｒ３により画素加算後のＧｒ画素が生成される。同様に、Ｓｂ４＋Ｓｂ５＋Ｓｂ６により画素加算後のＳｂ画素が生成され、Ｂ４＋Ｂ５＋Ｂ６により画素加算後のＢ画素が生成され、Ｒ４＋Ｒ５＋Ｒ６により画素加算後のＲ画素が生成され、Ｇｒ４＋Ｇｒ５＋Ｇｒ６により画素加算後のＧｒ画素が生成される。

このように、本実施形態の構成によれば、広く普及している一般的な画素加算方法によって、焦点検出画素の画素加算読み出しを行うことができる。

続いて、図８〜図１０を参照して、全画素読み出しを行うときの焦点検出画素について説明する。なお、図８〜図１８までは、画素配列が分かり易くなるように、水平方向の画素並びを示す数字を参照用に付している。

まず、図８は、撮像素子３上における焦点検出画素および撮影画素の画素構成を示す図である。

この図８に示した画素構成は、図７に示した画素構成と同様であるが、一単位の第１の偏心マスクを構成する３つの瞳Ａ焦点検出画素Ｓａと、一単位の第２の偏心マスクを構成する３つの瞳Ｂ焦点検出画素Ｓｂとが、水平ライン方向に、２４画素を周期として配置されている。

ここに、本実施形態においては、水平方向に可能な画素加算は、２画素加算および３画素加算の２種類である。そして、これらの画素数の最小公倍数は６であるために、この６の２倍の１２画素を基本周期として、この基本周期の例えば２倍の２４画素を周期として一単位の第１の偏心マスクおよび一単位の第２の偏心マスクを配置したものである。

このように、一単位の第１の偏心マスクと、一単位の第２の偏心マスクとは、何れも、加算可能な画素数が１種類であるときには該加算可能な画素数の、複数種類であるときには全種類の該加算可能な画素数の最小公倍数の、２倍の画素数の上記水平ライン方向の画素列を基本周期として、該基本周期の１以上の整数倍を周期として配置されるようになっている。

次に、図９は、全画素読み出し時に画素種別信号に基づき瞳分離部２１により抽出される焦点検出画素を示す図である。

図示のように瞳分離部２１は、画素種別信号出力部５からの焦点検出画素信号および瞳種別信号に基づいて、画像信号から瞳Ａ焦点検出画素Ｓａと瞳Ｂ焦点検出画素Ｓｂとを分離する。

また、図１０は、画像処理部１０において、全画素読み出し時に撮影画像として処理される画素信号を示す図である。

画像処理部１０は、画素種別信号出力部５からの焦点検出画素信号に基づいて、画像信号中に含まれる焦点検出画素の位置を取得し、焦点検出画素以外の画素、すなわち撮影画素の画素信号のみを撮影画像の基礎データとする。そして、画像処理部１０の補間回路は、焦点検出画素の位置の画素データを、周囲の撮影画素の画素データを用いて補間し、欠落画素のない画像信号を生成する。

続いて、図１１は、全画素読み出し時に瞳分離部２１により抽出された焦点検出画素の内、位相差算出部２３における相関演算に用いられる焦点検出画素を示す図である。結像光学系１により結像される被写体像が合焦している場合には、ある画素に結像される被写体像は、瞳Ａを通過して結像された被写体像であっても、瞳Ｂを通過して結像された被写体像であっても、同一の被写体部分の像となる。一方、結像光学系１により結像される被写体像が合焦から外れて行くにつれて、ある画素に結像される被写体像は、瞳Ａを通過して結像された被写体像である場合と、瞳Ｂを通過して結像された被写体像である場合とで、次第にずれが大きくなることになる。相関演算はこのような原理を利用して行われるために、相関演算を行う際に一対をなす瞳Ａ焦点検出画素Ｓａと瞳Ｂ焦点検出画素Ｓｂとは、空間的な位置が接近していることが望ましい。そこで、画像信号が全画素読み出しにより得られたものである場合には、この図１１に示すように、対をなす、３つの瞳Ａ焦点検出画素Ｓａと３つの瞳Ｂ焦点検出画素Ｓｂとの内の、空間的に最も近い１画素ずつを、位相差算出部２３における相関演算に用いるようにしている。

次に、図１２〜図１４を参照して、２画素加算読み出しを行うときの焦点検出画素について説明する。ここに、図１２は２画素加算読み出し時に撮像素子３から出力される画像信号の画素構成を示す図、図１３は焦点検出画素の画素データを含む２画素加算画素を抽出したときの様子を示す図、図１４は画像処理部１０において２画素加算読み出し時に撮影画像として処理される画素信号を示す図、図１５は２画素加算読み出し時に位相差算出部２３における相関演算に用いられる焦点検出画素を示す図である。

まず、撮像素子３上における画素配列は、上述した図８に示したものと同様である。

図８に示した画素配列の内の、例えば番号５のＧ画素と番号７のＳａ画素とは２画素加算され、図１２における番号３の混交された画素（Ｇ＋Ｓａ）となるために、この画素は焦点検出画素としても撮影画素としても用いることができない。同様に、図８における番号１７のＳｂ画素と番号１９のＧ画素も２画素加算され、図１２における番号９の混交された画素（Ｇ＋Ｓｂ）となるために、この画素も焦点検出画素と撮影画素との何れとしても用いることができない。

一方、図８における番号９のＳａ画素と番号１１のＳａ画素、番号１３のＳｂ画素と番号１５のＳｂ画素は、２画素加算により、図１２における番号５のＳａ画素および番号７のＳｂ画素の画素にそれぞれなるために、焦点検出画素として用いることができる。

従って、図１５に示すように、位相差算出部２３における相関演算には、図１２における番号５のＳａ画素および番号７のＳｂ画素の画素データ等が用いられる。

また、画像処理部１０の補間回路は、焦点検出画素の画素データを含む２画素加算画素の位置（図１４における番号３，５，７，９，１５，１７，１９，２１の画素位置）の画素データを、周囲の２画素加算の撮影画素の画素データを用いて補間し、欠落画素のない画像信号を生成することになる。このとき、２画素加算読み出しから得られる画像信号の総画素数は、全画素読み出しから得られる画像信号の総画素数の１／２となる。

続いて、図１６〜図１８を参照して、３画素加算読み出しを行うときの焦点検出画素について説明する。ここに、図１６は３画素加算読み出し時に撮像素子３から出力される画像信号の画素構成を示す図、図１７は３画素加算読み出し時に位相差算出部２３における相関演算に用いられる焦点検出画素を示す図、図１８は画像処理部１０において３画素加算読み出し時に撮影画像として処理される画素信号を示す図である。

上述したように、撮像素子３上における画素配列は図８に示したものと同様である。

図８における番号７，９，１１の各Ｓａ画素、番号１３，１５，１７の各Ｓｂ画素は、３画素加算により、図１６における番号３のＳａ画素および番号５のＳｂ画素にそれぞれなる。

従って、図１７に示すように、位相差算出部２３における相関演算には、図１６における番号３のＳａ画素および番号５のＳｂ画素の画素データ等が用いられる。

また、画像処理部１０の補間回路は、３画素加算された焦点検出画素の位置（図１８における番号３，５，１１，１３の画素位置）の画素データを、周囲の３画素加算の撮影画素の画素データを用いて補間し、欠落画素のない画像信号を生成することになる。このとき、３画素加算読み出しから得られる画像信号の総画素数は、全画素読み出しから得られる画像信号の総画素数の１／３となる。

このようにして、全画素読み出しの画像信号から生成された画像は例えば静止画像として用いられ、２画素加算読み出し、３画素加算読み出し、あるいは垂直方向の加算も含めた４画素加算読み出し、９画素加算読み出し等の画像信号から生成された画像は例えば動画像やライブビュー画像として用いられることになる。

なお、上述においては、撮像素子３上にベイヤー配列された３色の画素として、原色系のＲ，Ｇ，Ｂ画素を例に挙げたが、本発明はこれに限定されるものではない。

また、焦点検出画素は、カラーフィルタが設けられた画素を利用して作成しても良いが、カラーフィルタがない画素として作成しても構わない。前者の場合にはカラーフィルタの構造を変えなくて良い利点があり、後者の場合には焦点検出画素の画素感度を向上することができる利点がある。

このような実施形態１によれば、ベイヤー配列された３色の画素と、焦点検出画素とをを有し、一水平ライン上において一連に隣接する同一色画素同士のｎ（ｎは２以上の整数）画素加算を上限とする画素加算読み出しが可能な撮像素子において、焦点検出画素についても、特殊な読み出しを要することなく画素加算読み出しすることが可能となる。従って、専用の読み出し方式が必要な撮像素子や駆動回路、信号処理回路、製造ライン等を開発することが不要となり、開発費用を低減することが可能となる。特に、図５に示したような構成の撮像素子を用いる場合には、より顕著にこの効果を奏することができる。

そして、焦点検出画素が配置されたラインであっても、撮影画素データ（図７に示した例では、Ｂ画素データ）を得ることができるために、撮影画素データが全く得られないラインが生じることはなく、焦点検出画素が配置されるラインの最小化を迫られることがない。従って、焦点検出画素を、上述した従来の技術に比較して自由に配置することが可能となる。
［実施形態２］

図１９は本発明の実施形態２を示したものであり、撮像素子３における焦点検出画素を含むラインの水平３画素加算読み出しを説明するための図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

上述したように、本発明によれば、焦点検出画素を比較的自由に配置することができる。そこで本実施形態は、撮像素子３上に画素群の対として形成される瞳Ａ焦点検出画素と瞳Ｂ焦点検出画素とを、隣接する異なるラインに配置したものとなっている。

まず、撮像装置の構成や撮影画素のみが配置されたラインにおける加算読み出しは、実施形態１において図１〜図６を参照したものと同様である。従って、本実施形態においても、一水平ライン上において一連に隣接する同一色画素同士の３画素加算を上限とする画素加算読み出しが可能であることを想定している。

次に、本実施形態における焦点検出画素の配置は、例えば図１９に示すようになっている。

すなわち、この図１９には、Ｇｂ１〜Ｇｂ３に相当する位置に瞳Ａ焦点検出画素Ｓａ１〜Ｓａ３が配置され、Ｇｒ４〜Ｇｒ６に相当する位置に瞳Ｂ焦点検出画素Ｓｂ４〜Ｓｂ６が配置される例を示している（ただし、Ｇｂ１〜Ｇｂ３に相当する位置に瞳Ｂ焦点検出画素Ｓｂ１〜Ｓｂ３が配置され、Ｇｒ４〜Ｇｒ６に相当する位置に瞳Ａ焦点検出画素Ｓａ４〜Ｓａ６が配置されても勿論構わない）。

このような焦点検出画素を含む画素配置においても、水平３画素加算読み出しは、図６に示したような撮影画素のみで構成されるラインと全く同様に、同一の水平ライン上において一連に隣接する３つの同一色画素同士の画素加算として行われる。従って、図１９に示す例においては、Ｓａ１＋Ｓａ２＋Ｓａ３により画素加算後のＳａ画素が生成され、Ｂ１＋Ｂ２＋Ｂ３により画素加算後のＢ画素が生成され、Ｒ１＋Ｒ２＋Ｒ３により画素加算後のＲ画素が生成され、Ｇｒ１＋Ｇｒ２＋Ｇｒ３により画素加算後のＧｒ画素が生成される。同様に、Ｇｂ４＋Ｇｂ５＋Ｇｂ６により画素加算後のＧｂ画素が生成され、Ｂ４＋Ｂ５＋Ｂ６により画素加算後のＢ画素が生成され、Ｒ４＋Ｒ５＋Ｒ６により画素加算後のＲ画素が生成され、Ｓｂ４＋Ｓｂ５＋Ｓｂ６により画素加算後のＳｂ画素が生成される。

このように、本実施形態の構成においても、上述した実施形態１の構成と同様に、広く普及している一般的な画素加算方法によって、焦点検出画素の画素加算読み出しを行うことができる。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、焦点検出画素を斜め方向に配置することができるために、水平方向のエッジパターンと垂直方向のエッジパターンとの何れも検出することが可能となる利点を享受することができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…結像光学系
２…撮像部
３…撮像素子
４…撮像素子駆動部
５…画素種別信号出力部
６…位相差検出部
７…フォーカス制御部
８…デフォーカス量算出部
９…フォーカスレンズ駆動部
１０…画像処理部
２１…瞳分離部
２２…相関演算制御部
２３…位相差算出部
３０…撮影画素
３０Ａ，Ｓａ…瞳Ａ焦点検出画素
３０Ｂ，Ｓｂ…瞳Ｂ焦点検出画素
３１…半導体基板
３２…フォトダイオード
３３…遮光マスク
３４…開口
３４Ａ…開口（第１の偏心マスク）
３４Ｂ…開口（第２の偏心マスク）
３５…マイクロレンズ
３５Ａ…マイクロレンズ（第１の偏心マスク）
３５Ｂ…マイクロレンズ（第２の偏心マスク）
３６…配線パターン
３６ａ…開口
３７…遮光マスクガラス（光学部材）
３８…遮光マスク
３９…開口
３９Ａ…開口（第１の偏心マスク）
３９Ｂ…開口（第２の偏心マスク）

Claims (7)

1. ベイヤー配列された３色の画素を有し、一水平ライン上において一連に隣接する同一色画素同士のｎ（ｎは２以上の整数）画素加算を上限とする画素加算読み出しが可能な撮像素子において、
   一水平ライン上において一連に隣接するｎ個のＸ（ここに、Ｘはベイヤー配列された３色の内の何れか１色）画素に相当する画素位置に配設された焦点検出画素でなる第１の画素群を単位として、複数の単位に対して、各単位に含まれる各焦点検出画素に、該焦点検出画素の中心から一方向へ偏心して設けられた第１の偏心マスクと、
   上記第１の画素群が設けられた水平ラインと、同一の、またはＸ画素が存在する水平ラインとして隣接する、一水平ライン上において一連に隣接するｎ個のＸ画素に相当する画素位置に配設された焦点検出画素でなり、かつ該第１の画素群とは焦点検出画素を共有せず、かつ水平ライン方向における一方向側の位置が該第１の画素群と対をなして隣接する第２の画素群を単位として、複数の単位に対して、各単位に含まれる各焦点検出画素に、該画素の中心から他方向へ偏心して設けられた第２の偏心マスクと、
   を具備し、
   上記一単位の第１の偏心マスクと、上記一単位の第２の偏心マスクとは、何れも、加算可能な画素数が１種類であるときには該加算可能な画素数の、２倍の画素数の上記水平ライン方向の画素列を基本周期として、該基本周期の１以上の整数倍を周期として配置され、加算可能な画素数が複数種類であるときには全種類の該加算可能な画素数の最小公倍数の、２倍の画素数の上記水平ライン方向の画素列を基本周期として、該基本周期の１以上の整数倍を周期として配置されていることを特徴とする撮像素子。
2. 水平ライン単位での間引き読み出しをさらに行い得ることを特徴とする請求項１に記載の撮像素子。
3. 上記同一色画素同士の画素加算読み出しは、さらに、上記水平ライン方向に交差する垂直方向にも可能であることを特徴する請求項１に記載の撮像素子。
4. 上記第１の偏心マスクおよび上記第２の偏心マスクは、撮像素子の半導体製造プロセスにより形成されたものであることを特徴とする請求項１に記載の撮像素子。
5. 上記第１の偏心マスクおよび上記第２の偏心マスクを構成する遮光マスクが形成された光学部材をさらに具備し、
   上記光学部材を、半導体製造プロセスが終了した後の状態の撮像素子に取り付けることにより製造することを特徴とする請求項１に記載の撮像素子。
6. 請求項１に記載の撮像素子と、
   上記撮像素子上に被写体像を形成する結像光学系と、
   上記第１の画素群からの出力により形成される第１の画像と、上記第２の画素群からの出力により形成される第２の画像と、の位相差を検出する位相差検出部と、
   を具備したことを特徴とする撮像装置。
7. 上記結像光学系は、焦点位置を調節可能であり、
   上記位相差検出部により検出される位相差を０に近付けるように上記結像光学系を駆動するフォーカス制御部をさらに具備したことを特徴とする請求項６に記載の撮像装置。

Images