JP3774597B2

JP3774597B2 - 撮像装置

Info

Publication number: JP3774597B2
Application number: JP25892199A
Authority: JP
Inventors: 康夫須田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-09-13
Filing date: 1999-09-13
Publication date: 2006-05-17
Anticipated expiration: 2019-09-13
Also published as: EP1085751A2; EP1085751B1; EP1085751A3; JP2001083407A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカラーカメラまたはビデオムービーカメラなどの固体撮像素子が適用された撮像装置に関するものである。
【０００２】
【従来の技術】
デジタルカラーカメラでは、レリーズボタンの押下に応動して、ＣＣＤやＣＭＯＳセンサなどの固体撮像素子に被写界像を所望の時間露光し、これより得られた１つの画面の静止画像を表わす画像信号をデジタル信号に変換して、ＹＣ処理などの所定の処理を施して、所定の形式の画像信号を得る。撮像された画像を表わすデジタルの画像信号は、それぞれの画像毎に、半導体メモリに記録される。記録された画像信号は、随時読み出されて表示または印刷可能な信号に再生され、モニタなどに出力されて表示される。
【０００３】
従来よりデジタルカラーカメラでは撮像装置を利用して焦点検出を行っている。ここにはコントラスト検出方式の焦点検出が用いられている。コントラスト検出方式の焦点調節とは撮像光学系によって形成された物体像の先鋭度を固体撮像素子の出力を所定の関数で評価することによって求め、関数値が極値をとるように撮像光学系の光軸上位置を調節するものである。評価関数としては、隣接する輝度信号の差の絶対値を焦点検出領域内で加算するものや、隣接する輝度信号の差の２乗を焦点検出領域内で加算するもの、あるいはＲ、Ｇ、Ｂの各画素信号について隣接する信号の差を同様に処理するもの等がある。
【０００４】
一般に、このようなコントラスト検出方式の焦点検出においては、撮像光学系の光軸上位置を僅かに移動させながら評価関数値を求めていくために、合焦するまでの焦点調節にかなりの時間を要するという問題がある。
【０００５】
また、ＵＳＰ４４１０８０４に開示されているように、一対あるいは二対の受光部を２次元的に配列したマイクロレンズアレイ毎に設け、このマイクロレンズによって受光部を撮像光学系の瞳に投影することで瞳を分割する、いわゆる位相差検出方式の焦点検出装置を組み込んだ撮像装置もある。位相差検出方式とは撮像光学系の瞳の異なる部分を通過した２光束を用いて物体像をそれぞれ形成し、二つの物体像間の位置的位相差を撮像素子の出力に基づいて検出し、これを撮像光学系のデフォーカス量に換算するものである。
【０００６】
位相差検出方式の焦点検出ではデフォーカス量を求めることができるので、コントラスト検出方式に比して合焦するまでの時間を大幅に短縮することができるという利点がある。
【０００７】
【発明が解決しようとする課題】
しかしながら、ＵＳＰ４４１０８０４に開示されている構造の固体撮像素子にあっては、撮像光学系の瞳の一部分を通った光束で形成される一対あるいは二対の画像が出力されるために、これらを物体像の撮像性能という視点で評価した場合には、極めて低品位の画像と言うことになる。これは、特にピントが合っていない背景や前景において、偏心した光束による不自然な像のボケが生じるためである。
【０００８】
そのために、本発明の目的は、高速に撮像のための調整を行いかつ、高品位な画像出力を得ることのできる撮像装置を提供することである。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の一手段として、各々が、射出瞳の第１の領域からの光束を光電変換する第１の光電変換部と、射出瞳の第２の領域からの光束を光電変換する第２の光電変換部と、前記第１の光電変換部及び前記第２の光電変換部とに共通に設けられた増幅手段と、前記第１の光電変換部の信号を前記増幅手段に転送する第１の転送手段と、前記第２の光電変換部の信号を前記増幅手段に転送する第２の転送手段とを含む複数の画素と、前記第１の光電変換部の信号と前記第２の光電変換部の信号とを前記増幅手段の入力部で混合し、前記増幅手段から混合信号を出力する第１の動作と、前記第１の光電変換部の信号と前記第２の光電変換部の信号とを前記増幅手段から選択的に出力する第２の動作とを制御する駆動手段と、を有することを特徴とする撮像装置を提供する。
【００１６】
【発明の実施の形態】
（第１の実施の形態）
まず、第１の実施の形態について説明する。
【００１７】
図１は、本実施の形態の撮像光学系の構成図であって、撮像素子を用いる撮像装置のズーム光学系である。同図の左手が物体側、右手が像面側となっている。同図において、撮像光学系２４は、負レンズ、正レンズ、正レンズからなる正の第１群（ｇｒｐ１）、負レンズ、負と正の接合レンズからなる負の第２群（ｇｒｐ２）、絞りＳＴ、正レンズからなる正の第３群（ｇｒｐ３）、負と正の接合レンズからなる第４群（ｇｒｐ４）により構成される。また、Ｆ１は赤外線（１Ｒ）カットフィルター、ＬＰＦは光学ローパスフィルター、Ｌ１は撮像光学系２４の光軸である。
【００１８】
図中に矢印で示すように、ズーミングによって焦点距離が広角から望遠に向かうに従い、負の第２群ｇｒｐ２が像面側へ、正の第４群ｇｒｐ４が被写体側へと同時に動く。
【００１９】
撮像光学系２４は、図示しないレンズ駆動機構を持ち、モーターとギア列を用いて負の第２群ｇｒｐ２を光軸方向に移動させて、被写体像が撮像素子１００上でピントを結ぶように焦点調節する。
【００２０】
図２７は撮像装置の斜視図である。同図において、２０１は撮像光学系２４のうち、絞りＳＴよりも物体側にある第１群（ｇｒｐ１）と第２群（ｇｒｐ２）とをまとめて示した前方レンズ群、２０２は撮像光学系２４のうち、絞りＳＴよりも像面側にある第３群（ｇｒｐ３）、第４群（ｇｒｐ４）、光学ローパスフィルターＬＰＦをまとめて示した後方レンズ群であり、絞りＳＴの開口を通過した光束によって撮像素子１００上に被写体像を形成する。絞りＳＴは軸Ｌ２を中心にして回転し、不図示のモーターの駆動力によって選択的に４つのポジションをとる。また、絞りＳＴには２０４から２０８で示した５つの開口が設けられ、開口２０４，２０５，２０６は撮像のための開口、開口２０７と２０８は大デフォーカス検出開口である。
【００２１】
次に、本実施の形態に用いる撮像素子１００について説明する。
【００２２】
撮像素子１００は、増幅型撮像素子の１つであるＣＭＯＳプロセスコンパチブルののセンサ（以降ＣＭＯＳセンサと略す）である。このタイプのセンサはＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳＯＮＥＬＥＣＴＲＯＮＤＥＶＩＣＥ，ＶＯＬ４１，ＰＰ４５２〜４５３，１９９４などの文献で発表されている。
【００２３】
ＣＭＯＳセンサの特長の１つに、受光部のＭＯＳトランジスタと周辺回路のＭＯＳトランジスタを同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できるということが挙げられる。
【００２４】
図２は、撮像素子１００内のエリアセンサ部の回路構成図である。同図は、２列×２行画素の２次元エリアセンサを示したものであるが、実際は、図４に示すように１９２０列×１０８０行等と画素数を多くし、実用的な解像度を得る。なお、図４に示す６１から６７は後述する焦点検出領域である。焦点検出領域を縦型に配置してヒトなどの縦長の物体内の輝度分布を捉えやすくしている。
【００２５】
図２において、１および５１はＭＯＳトランジスタゲートとゲート下の空乏層からなる第１、第２の光電変換部、２および５２はフォトゲート、３および５３は転送スイッチＭＯＳトランジスタ、４はリセット用ＭＯＳトランジスタ、５はソースフォロワアンプＭＯＳトランジスタ、６は垂直選択スイッチＭＯＳトランジスタ、７はソースフォロワの負荷ＭＯＳトランジスタ、８は暗出力転送ＭＯＳトランジスタ、９は明出力転送ＭＯＳトランジスタ、１０は暗出力蓄積容量Ｃ_TN、１１は明出力蓄積容量Ｃ_TS、１２および５４は垂直転送ＭＯＳトランジスタ、１３および５５は垂直出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は垂直走査部、１６は水平走査部である。
【００２６】
本実施の形態のエリアセンサ部の特徴は１画素に２つの光電変換部を構成し、従来各光電変換部毎に設けていたフローティングディフュージョン領域（以降、ＦＤ領域）とソースフォロワアンプを２つの光電変換部に１個だけ形成し、２つの光電変換領域をＭＯＳトランジスタスイッチを介してそのＦＤ領域に接続したことである。
【００２７】
したがって、２つの光電変換部の電荷を同時、または、別々にフローティングディフュージョン部へ転送でき、ＦＤ領域に接続した転送ＭＯＳトランジスタのタイミングだけで、２つの光電変換部の信号電荷の加算、非加算を簡単に行うことができる。この構造を利用して、撮像光学系の射出瞳全体からの光束による光電変換出力を行う第１の出力モードと、撮像レンズの射出瞳の一部からの光束による光電変換出力を粉鵜第２の出力モードとを制御している。画素レベルで信号の加算を行う第１の出力モードでは、信号を読み出した後で加算する方式に比べてノイズの少ない信号を得ることができる。
【００２８】
図３に受光部（例えば３０−１１）の断面図を示す。なお、受光部３０−２１、３０−１２、３０−２２等も同一の構造である。
【００２９】
同図において、１７はｐ型ウェル、１８、５８はゲート酸化膜、１９、５９は一層目ポリＳｉ、２０、５０は二層目ポリＳｉ、２１はｎ＋フローティングディフュージョン領域である。
【００３０】
ＦＤ領域２１は転送ＭＯＳトランジスタ３、５３を介して第１光電変換部１および第２光電変換部５１と接続される。なお、同図では、第１光電変換部１と第２光電変換部５１を離して描いたが、実際にはその境界部は極めて小さく、実用上は第１小手部１と第２光電変換部５１は接しているとみなして良い。以降、隣接した第１光電変換部と第２光電変換部をひとまとめにして受光部と呼ぶことにする。
【００３１】
２２は特定の波長域の光を透過するカラーフィルター、２３は撮像光学系２４からの光束を効率的に第１、第２光電変換部に導くためのマイクロレンズである。
【００３２】
図５は画素とカラーフィルターの配置を示す平面図である。ここでは４列×４行のみを抜き出して示している。受光部とＭＯＳトランジスタを含む各画素はほぼ正方形にレイアウトされ、格子状に隣接して配置されている。図２を用いて先に説明した受光部３０−１１、３０−２１、３０−１２、３０−２２は画素７０−１１、７０−２１、７０−１２、７０−２２内に位置し、ここでは７２−１１、７２−２１、７２−１２、７２−２２として表している。
【００３３】
また、このエリアセンサ部は、各画素にＲ（赤色）Ｇ（緑色）Ｂ（青色）のカラーフィルターを交互に配して、４画素が一組となる所謂ベイヤー配列を形成している。ベイヤー配列では、観察者が画像を見たときに強く感じやすいＧの画素をＲやＢの画素よりも多く配置する事で、総合的な像性能を上げている。一般に、この方式の撮像素子では、輝度信号は主にＧから生成し、色信号はＲ、Ｇ、Ｂから生成する。
【００３４】
前述したように１画素はそれぞれ２つの光電変換部を有している。図に付した、Ｒ、Ｇ、Ｂは赤色、緑色、青色のカラーフィルターを備えた光電変換部であることを、ＲＧＢに続く１あるいは２は、第１光電変換部か第２光電変換部かの区別を表している。例えば、Ｒ１は赤色カラーフィルターを備えた第１光電変換部であり、Ｇ２は緑色カラーフィルターを備えた第２光電変換部を意味する。
【００３５】
さらに、各画素において受光部の占める割合はおおよそ数１０％程度であって、撮像光学系２４から射出した光束を有利に利用するためには、各受光部毎に集光用レンズを設けて、受光部以外に到達しようとする光を受光部に偏向することが必要となる。
【００３６】
図６はこのために撮像素子前面に設けたマイクロレンズと受光部との位置関係を示す平面図である。マイクロレンズ７１−１１から７１−４４は受光部の中心と光軸とがおおよそ一致した軸対称型の球面レンズあるいは非球面レンズであって、各々矩形の有効部を持ち、光入射側を凸形状として格子状に密に並べられている。図７はこのマイクロレンズを斜めから見た表面状態を表す図である。
【００３７】
次に、このマイクロレンズの作用について詳述する。
【００３８】
図８はエリアセンサ部の断面図である。撮像光学系２４は図の左側に位置し、撮像光学系２４を射出した光束は、１ＲカットフィルターＦ１、光学ローパスフィルターＬＰＦを通って、先ずマイクロレンズ７１−１１、７１−２１、７１−３１、７１−４１に入射する。各マイクロレンズの後方にはカラーフィルターが配置され、ここで所望の波長域のみが選択されて７２−１１から７２−４１の各受光部に到達する。カラーフィルターは図５を用いて説明したようにベイヤー配列を構成しており、ＲＧＢの３種がある。また、ベイヤー配列であることから、断面に現れるのはこのうちの２種であって、２２Ｇが緑色透過カラーフィルター、２２Ｒが赤色透過カラーフィルターである。
【００３９】
各マイクロレンズのパワーは撮像素子の各受光部を撮像光学系２４の射出瞳に投影するように設定されている。このとき、各受光部の投影像が撮像光学系の絞り開放時の射出瞳よりも大きくなるように投影倍率を設定し、受光部に入射する光量と撮像光学系の絞りＳＴの開度との関係をおおよそ線形にする。こうすれば、被写体輝度、撮像素子の感度が与えられたときに、フィルムカメラと同様の手法で絞り値とシャッター速度を算出することができる。つまり、入射光量が絞り開口面積に比例するようになり、ＡＰＥＸ方式の演算が成り立つ。フィルムカメラと同じように一般の露出計を用いて露光量を算出することができて、撮影操作は極めて容易である。
【００４０】
また、焦点検出のための光束が絞りＳＴの開度に応じて変化するために撮像光束と焦点検出光は常に一致し、合焦検出結果は収差レベルで撮像光学系の実際の最良解像位置によく合致すると言う利点がある。撮像光学系２４によって形成された物体像がマイクロレンズ上に位置するとき、撮像素子１００から得られる画像は最もシャープになる。
【００４１】
なお、撮像光学系２４は主光線の撮像素子への入射角が０度となるようにテレセントリック系とするのがマイクロレンズによる瞳投影輝度の点で望ましいが、小型化、ズーム比の高倍率化の要求から完全なテレセントリック系にならない場合もある。この際には、マイクロレンズと受光部とを僅かに偏心させ、偏心量を撮像光学系の光軸から受光部までの距離の関数とすればよい。一般には、この偏心量を距離に応じて単調に増加させれば、画面周辺の受光部も撮像光学系２４の射出瞳上に正しく投影できるようになる。
【００４２】
図９（ａ）、（ｂ）は理解を容易にするために、図８に示した受光部７２−１１について、第１光電変換部に入射する光束と、第２光電変換部に入射する光束のそれぞれを分けて示した図である。第１光電変換部に入射する光束を示す図９（ａ）では、図の下方からの光束が第１光電変換部Ｇ１に入射し、第２光電変換部に入射する光束を示す図９（ｂ）では、図の上方からの光束が第２光電変換部Ｇ２に入射していることが分かる。
【００４３】
したがって、撮像素子全体では第２光電変換部に入射する光束は図１０に示すようになる。エリアセンサ部のいずれの位置に入射する光束も、絞りＳＴの上半分を通過する光束である。一方、撮像素子全体の第１光電変換部に入射する光束は撮像レンズの光軸Ｌ１を対称軸として上下を反転したものとして考えればよい。すなわち、射出瞳の分割の様子は図２９のようになる。図において、２１０は絞りＳＴが開放状態の時の撮像光学系２４の射出瞳であって、絞りＳＴの開口２０４を後方レンズ群２０２を通して見た虚像である。２１１は撮像素子１００の第１光電変換部に入射する光束が通過する射出瞳上の第一の領域、２１１は撮像素子１００の第２光電変換部に入射する光束が通過する射出瞳上の第二の領域である。
【００４４】
また、２１５，２１６は絞りＳＴを絞り込んだときの射出瞳であって、絞りＳＴの開口２０５，２０６を後方レンズ群２０２を通して見た虚像である。絞りＳＴを絞り込んだときは、第一の領域２１１と第二の領域２１２のそれぞれが絞り込みの状態に応じて小さくなるが、第１光電変換部から得られた画像信号と第２光電変換部から得られた画像信号は、何れも撮像光学系２４の射出瞳をほぼ２分割した半光束から形成される。
【００４５】
以上のような光学系にあっては、例えば撮像素子１００よりも手前に物体像が形成されているとき、射出瞳の上側を通る半光束は撮像素子１００上で下側にシフトし、射出瞳の下側を通る半光束は上側にシフトする。つまり、撮像光学系２４の瞳の半分ずつを通った光束で形成される一対の画像信号は物体像の結像状態に応じて図５、６、８の上下方向に位相がシフトしたものとなる。このように、本実施の形態では、被写体からの像を２つの像に分割する分割手段として、２つの光電変換部に１つのマイクロレンズを設ける構成を示したが、他の構成であっても被写体からの像を２つの像に分割できる構成のものであればよい。
【００４６】
撮像素子を用いて画像情報を取り込む場合、その離散的な像のサンプリングに起因して、物体上の空間的輝度分布の高周波成分に対してその周波数とは別の低周波の「折り返しノイズ」と呼ばれるノイズ画像が発生する。これはデジタルカラーカメラではいわゆる「色モワレ」となる。さらに、撮像素子の出力を用いて位相差検出方式の焦点検出を行う際には、この「折り返しノイズ」があると物体像の位相情報が画像出力に正しく反映されないことから、デフォーカス量の検出精度を劣化させる。
【００４７】
ここで用いる撮像素子１００の画素のピッチをＰとすると、図１２に示すように、緑色透過カラーフィルター（Ｇ）を備えた画素のピッチは上下左右方向にそれぞれ２Ｐ、対角方向に√２Ｐ、また、青色透過フィルター（Ｂ）を備えた画素のピッチと赤色透過フィルター（Ｒ）を備えた画素のピッチは上下左右方向にそれぞれ２Ｐ、対角方向に２√２Ｐである。さらに、焦点検出に用いる縦方向のＧ同士間、Ｂ同士間、Ｒ同士間の画素ピッチはいずれも２Ｐである。
【００４８】
仮にピッチＰ＝０．００２５ｍｍと想定し、上下左右方向に対して考えると、ナイキスト周波数νｎはνｎ＝１／（２×２Ｐ）＝１００である。したがって、撮像素子１００のレスポンス特性は、Ｒ，Ｇ，Ｂ共に図１１のようになる。同図において、横軸が空間周波数、縦軸がレスポンスであり、レスポンスが一旦ゼロになった後の高周波側の持ち上がりが「折り返しノイズ」である。
【００４９】
こういった不具合を防ぐために、物体の高周波成分が光学像レベルで撮像素子に至らないようにする必要がある。「折り返しノイズ」の発生を抑えるために、水晶より成る光学ローパスフィルターＬＰＦを撮像光学系２４と撮像素子１００との間に配置し、ナイキスト周波数νｎでＭＴＦ（ｍｏｄｕｌａｔｉｏｎｔｒａｎｓｆｅｒｆｕｎｃｔｉｏｎ，変調伝達関数）が０に近づくように光学ローパスフィルターＬＰＦの特性を設定すれば、ほぼこの目的は達せられる。
【００５０】
ただし、水晶の複屈折特性を利用した光学ローパスフィルターＬＰＦでは、必ずしもナイキスト周波数νｎでＭＴＦが０になるとは限らないので、焦点検出のために有害な高い周波数成分を取り込むこともある。しかしながら、ＲとＢの像のサンプリングは半ピッチシフトしていること、ＧについてはＲとＢの関係のように半ピッチシフトした系列があることから、Ｒ，Ｂ、それにＧの２つの系列のそれぞれに焦点検出出力を求め、これらを平均すれば、十分な焦点検出精度を得ることが可能である。
【００５１】
さらには、ピントが合っているときには、一対の信号に均等に位相エラーが乗るため、この現象が生じても焦点検出誤差にはならない。このことは、仮に一つの焦点検出出力しか得られず、平均することができなかった場合でも、最終的なピントだけは保証できることを意味している。
【００５２】
また、このような光学ローパスフィルターの特性として、平均平板である光学ローパスフィルターＬＰＦに入射した一本の光線は、二本に分離した平行光線として射出する。入射光と射出光が平行であれば、マイクロレンズによる各受光部の撮像光学系２４の射出瞳への投影は２Ｐ程度のボケを生じるだけで、実際上問題にならない。なお、光学ローパスフィルターに入射した一本の光線が、拡散して射出するタイプの光学ローパスフィルターも知られているが、このタイプでは入射光が平行でないので、マイクロレンズによる各受光部の撮像光学系２４の射出瞳への投影は大きく崩れてしまい、焦点検出系は機能しない。
【００５３】
図１３は、撮像素子１００の周辺回路を含む内部構成を示したブロック図である。撮像素子１００内には、タイミング発生部１０１、エリアセンサ部１０２、画素の出力を選択する垂直走査部１０３および水平走査部１０４、アナログ信号処理部１０５、アナログ／デジタル変換を行うＡ／Ｄ変換部１０６、デジタル化された信号を出力信号に変換するデジタル信号処理部１０７、デジタル画像信号を外部に出力し、また外部からのコマンドデータを受け取るインターフェイス部１０８が設けられている。
【００５４】
エリアセンサ部１０２は上述したＣＭＯＳセンサである。
【００５５】
タイミング発生部１０１は、外部からの基準周波数であるマスタークロックを元に、各画素で光電変換された画像信号を読み出すためのタイミング信号を発生し、垂直および水平走査部１０３、１０４が、このタイミング信号に従って所要の走査制御を行って、各画素内で光電変換された電荷を読み出す。なお、タイミング発生部１０１から垂直同期信号と水平同期信号を外部に出力し、撮像素子外でタイミング信号が必要なシステム用に、同期信号を供給する。
【００５６】
アナログ信号処理部１０５はエリアセンサ部１０２から読み出された画像信号をノイズ低減処理、増幅処理、ガンマ処理、クランプ処理してＡ／Ｄ変換部１０６に出力するためのものである。Ａ／Ｄ変換部１０６はこの画像信号をデジタル信号に変換して出力し、デジタル信号処理部１０７は、Ａ／Ｄ変換部１０６にてデジタル変換された画像信号をインターフェイス部１０８に出力する。
【００５７】
インターフェイス部１０８はデジタル信号処理部１０７から出力されるデジタル画像信号を撮像素子１００の外部に出力する。
【００５８】
また、撮像素子１００は、外部からコマンド対応で撮像素子１００のモードや出力信号形態、信号出力タイミングなどをコントロールでき、外部からインターフェイス部１０８に所要のコマンドを与えると、インターフェイス部１０８が受けたコマンド対応の制御を行うように各構成要素を制御する。
【００５９】
撮像素子１００は撮像レンズの射出瞳全体からの光束による光電変換出力を行う第１の出力モードと、撮像レンズの射出瞳の一部からの光束による光電変換出力を行う第２の出力モードとを制御可能である。
【００６０】
次に、撮像のための調整である焦点検出のための画像出力について説明する。図８、図９、図１０を用いて説明したように、焦点検出用画像は第２の出力モードによって形成された一対の物体像を実質的に同一タイミングで光電変換し、第１の光電変換部からの画像信号と第２の光電変換部からの画像信号とに分けて独立に出力したものである。
【００６１】
焦点検出領域に投影されている被写体像がデフォーカスしていると、これらの画像信号は瞳の分割方向に位相がシフトしたものとなる。したがって、焦点検出領域を撮像光学系の瞳の分割方向を長手方向とした長方形にすれば、長く連続した画像信号を用いて位相シフト量を検出することとなって、よりシフト量検出の正確さを増すことができる。
【００６２】
焦点検出用画像を簡単に得るため、先に説明したデジタル信号処理部１０７のコマンドの一つとして出力位置指定コマンドを用意する。図１４に信号処理１０７ｅ、…、ｎとして示したのが出力位置指定コマンドであって、エリアセンサ部１０２の撮像領域のうち、図４に示した焦点検出領域６１から６７の何れか、あるいは、これらの組み合わせを指定する。また、あらかじめ定められた焦点検出領域から選択するのではなく、トラックボールなどのポインティングデバイスを用意することにより、数１００程度の焦点検出領域から幾つかを任意に指定するようにしてもよい。
【００６３】
その指定された特定領域を含むラインについては焦点検出用として電荷蓄積レベルが最適化された画像を出力するように構成する。焦点検出領域内で適切な信号レベルを得るため、焦点検出領域別に電子シャッタ設定を行う。ＣＣＤ型の撮像素子は全ての画素の電荷蓄積時間が同じであるが、撮像素子１００はＣＭＯＳセンサの特長を生かして、画素単位、あるいはライン単位、あるいはブロック単位での読み出しを行う構造をとることが容易にでき、さらに、蓄積時間の始まりと終りを単位毎に異ならせることができる。ここでは垂直ライン単位に電荷蓄積時間を変えるものとし、焦点検出領域内の画像がＡ／Ｄ変換レンジを有効に使えるようにする。
【００６４】
図１５を用いて電子シャッタ機能を説明する。画面を図１５（ａ）のように垂直ライン順次で画素を読み出す場合は、図１５（ｂ）に示すように、まず最初に各画素に蓄積されている無効電荷をリセットし、有効蓄積動作を開始する。一定時間経過の後に画素を読み出して、次段の信号処理部に画像信号を与える。有効蓄積動作は、垂直ライン毎にタイミングが異なるが、蓄積時間は実質的に同一である。
【００６５】
画面全体について電荷蓄積時間を短くする場合は、図１５（ｃ）に示すように無効電荷をリセットする画素リセットのタイミングを、時間的に後ろにずらすことで、有効蓄積動作時間を短縮でき、電子シャッタ動作がなされる。この動作は、インターフェイス部１０８が受けた電子シャッタコマンドで、タイミング発生部１０１のモードを切り替えればよい。
【００６６】
また、垂直ライン単位で有効蓄積動作時間を設定する場合は、図１５（ｄ）のようになる。図１５（ｄ）は、仮に焦点検出領域が２列目にあるとして、２列目の信号レベルを適切にすべく有効蓄積時間を他のラインとは異ならせた例である。
【００６７】
なお、このようにして得られた焦点検出用画像は、前述のように第２の出力モードによる半光束ずつの一対の画像であって、しかも、他のラインとは蓄積時間が異なるものとなるが、信号処理上これらを加算して、さらに蓄積時間の差を打ち消すようなゲインを掛ければ、他のラインと同一条件の上方を信号処理上で簡易的に作成することができる。したがって、撮像した画像をモニターに表示する場合には、このような処理を加えることによって、焦点検出を行いつつ、画像全体の情報を得ることが可能である。
【００６８】
では次に、図２、３に戻って、撮像素子の電荷蓄積動作の詳細を述べる。
【００６９】
先ず、フォトゲート２、５２の下に空乏層を拡げるため制御パルスφＰＧ₀₀、φＰＧｅ₀ に正の電圧を印加する。ＦＤ部２１は蓄積中、ブルーミング防止のため制御パルスφＲ₀ をハイにして電源Ｖ_DDに固定しておく。光子ｈνが照射されフォトゲート２、５２の下でキャリアが発生すると、フォトゲート２、５２の下の空乏層中に電子が蓄積されていき、正孔はＰ型ウェル１７を通して排出される。
【００７０】
光電変換部１とＦＤ部２１の間には転送ＭＯＳトランジスタ３によるエネルギー障壁が、光電変換部５１とＦＤ部２１の間には転送ＭＯＳトランジスタ５３によるエネルギー障壁がそれぞれ形成されている。このため、光電荷蓄積中は電子フォトゲート２、５２の下に存在する。この後、水平走査部を走査させ、同様に電気蓄積動作を行えば全光電変換部について電荷の蓄積が成される。
【００７１】
読み出し状態になると転送ＭＯＳトランジスタ３あるいは５３下の障壁をなくし、フォトゲート２や５２の下の電子をＦＤ部２１へ完全に転送させる様に制御パルスφＰＧ₀₀、φＰＧｅ₀ 、制御パルスφＴＸ₀₀、φＴＸｅ₀ を設定する。
【００７２】
図１６のタイミングチャートを用いて撮像素子の読み出し動作を説明する。このタイミングチャートは２つの光電変換部を独立に出力する第２の出力モードの場合であって、焦点検出用画像の読み出しに用いる。
【００７３】
まず、水平走査部１６からのタイミング出力によって、制御パルスφＬをハイとして水平出力線をリセットする。また、制御パルスφＲ₀ ，φＰＧ₀₀，φＰＧｅ₀ をハイとし、リセット用ＭＯＳトランジスタ４をオンとし、フォトゲート２の一層目ポリＳｉ１９をハイとしておく。時刻Ｔ₀ において、制御パルスφＳ₀ をハイとし、選択スイッチＭＯＳトランジスタ６をオンさせ、受光部３０−１１を選択する。次に制御パルスφＲ₀ をローとし、ＦＤ領域２１のリセットを止め、ＦＤ領域２１をフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとした後、時刻Ｔ₁ において制御パルスφＴ_N をハイとし、ＦＤ領域２１の暗電圧をソースフォロワ動作で蓄積容量Ｃ_TN１０に出力される。
【００７４】
次に、第１光電変換部の光電変換出力を行うため、第１光電変換部の制御パルスφＴＸ₀₀をハイとして転送スイッチＭＯＳトランジスタ３を導通した後、時刻Ｔ₂ において制御パルスφＰＧ₀₀をローとして下げる。この時フォトゲート２の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをＦＤ領域２１に完全転送させるような電圧関係が好ましい。
【００７５】
時刻Ｔ₂ でフォトダイオードの光電変換部１からの電荷がＦＤ領域２１に転送されることにより、ＦＤ領域２１の電位が光に応じて変化することになる。この時ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、ＦＤ領域２１の電位を時刻Ｔ₃ において制御パルスφＴ_S をハイとして蓄積容量Ｃ_TS１１に出力する。この時点で第１光電変換部の暗出力と光出力はそれぞれ蓄積容量Ｃ_TN１０とＣ_TS１１に蓄積されており、時刻Ｔ₄ の制御パルスφＨＣを一時ハイとして垂直出力線リセットＭＯＳトランジスタ１３と５５を導通して垂直出力線をリセットシ、垂直転送期間において垂直走査部１５の走査タイミング信号により垂直出力線に画素の暗出力と光出力を出力させる。蓄積容量Ｃ_TN１０とＣ_TS１１の作動増幅器１４によって、差動出力Ｖ_OUT を取れば、画素のランダムノイズ、固定パターンノイズを除去したＳ／Ｎの良い信号が得られる。
【００７６】
なお、受光部３０−１２の光電荷は受光部３０−１１と同時に夫々の蓄積容量Ｃ_TNとＣ_TSに蓄積されるが、その読み出しは垂直走査部１５からのタイミングパルスを１受光部分遅らせて垂直出力線に読み出して差動増幅器１４から出力される。１受光部分のタイミングパルスの差であるので、両者の蓄積時間は実質的に同一とみなせる。
【００７７】
次に、蓄積容量Ｃ_TS１１に明出力を出力した後、制御パルスφＲ₀ をハイとしてリセット用ＭＯＳトランジスタ４を導通しＦＤ領域２１を電源ＶＤＤにリセットする。
【００７８】
第１光電変換部の垂直転送が終了した後、第２光電変換部の読み出しを行う。第２光電変換部の読み出しは、制御パルスφＲ₀ をローとし、ＦＤ領域２１のリセットを止め、ＦＤ領域２１をフローティング状態とし、ソースフォロワアンプＭＯＳトランジスタ５のゲート・ソース間をスルーとした後、時刻Ｔ５において制御パルスφＴ_N をハイとし、ＦＤ領域２１の暗電圧をソースフォロワ動作で蓄積容量Ｃ_TN１０に出力させる。
【００７９】
第２光電変換部の光電変換出力を行うため、第２光電変換部の制御パルスφＴＸｅ₀ をハイとして転送スイッチＭＯＳトランジスタ５３を導通した後、時刻Ｔ６において制御パルスφＰＧｅ０をローとして下げる。
【００８０】
時刻Ｔ６でフォトダイオードの光電変換部２からの電荷がＦＤ領域２１に転送されることにより、ＦＤ領域２１の電位が光に応じて変化することになる。この時ソースフォロワアンプＭＯＳトランジスタ５がフローティング状態であるので、ＦＤ領域２１の電位を時刻Ｔ７において制御パルスφＴ_S をハイとして蓄積容量Ｃ_TS１１に出力する。この時点で第２光電変換部の暗出力と光出力は夫々蓄積容量Ｃ_TN１０とＣ_TS１１に蓄積されており、時刻Ｔ８の制御パルスφＨＣを一時ハイとして垂直出力線リセットＭＯＳトランジスタ１３と５５を導通して垂直出力線をリセットし、垂直転送期間において垂直走査部１５の走査タイミング信号により垂直出力線に画素の暗出力と光出力を出力させる。この時、蓄積容量Ｃ_TN１０とＣ_TS１１の差動増幅器１４によって、差動出力Ｖ_OUT を得る。
【００８１】
以上の駆動により、第１、第２光電変換部の読み出しが夫々独立に行える。
【００８２】
この後、水平走査部を走査させ、同様に読み出し動作を行えば全光電変換部の独立出力が得られる。即ち、次の列の場合、まず制御パルスφＳ₁ をハイとし、次にφＲ₁ をローとし、続いて制御パルスφＴ_N 、φＴＸ₀₁をハイとし、制御パルスφＰＧ₀₁をロー、制御パルスφＴ_S をハイ、制御パルスφＨＣを一時ハイとして受光部３０−２１、３０−２２の第１光電変換部の信号を読み出す。続いて、制御パルスφＴＸｅ₁ 、φＰＧｅ₁ 及び上記と同様に制御パルスを印加して、受光部３０−２１、３０−２２の第２光電変換部の信号を読み出す。
【００８３】
１画素の２つの光電変換部に夫々ソースフォロワを設けず、２つの光電変換部に１つのソースフォロワを設けたことにより、ソースフォロワアンプＭＯＳトランジスタ５、選択スイッチＭＯＳトランジスタ６、リセットＭＯＳトランジスタ４を従来の半分にすることができる。これにより、画素の光電変換部の開口率が向上し、画素の集積化による微細化が実現できて、焦点検出のために利用することが極めて容易となる。また、ＦＤ領域２１を２つの光電変換部で共有化させることにより、ソースフォロワアンプＭＯＳトランジスタ５のゲート部分の容量を増やさず済むため、感度の低下を防ぐことができる。
【００８４】
次に、第１および第２の光電変換部の信号をＦＤ領域２１において加算することにより、対物レンズの全瞳からの光束に基づく信号を出力する第１の出力モードについて説明する。この動作モードは通常の撮像素子での画像出力に相当する。
【００８５】
第１および第２の光電変換部の信号を加算する場合のタイミングチャートを図１７に示す。非加算モードの図１６では制御パルスφＴＸ₀₀と制御パルスφＴＸｅ₀ 、制御パルスφＰＧ₀₀と制御パルスφＰＧｅ₀ のタイミングをずらしていたが、加算の場合は同じタイミングとする。即ち、受光部３０−１１の第１光電変換部と第２光電変換部とから同時に読み出すために、まず制御パルスφＴ_N をハイとして水平出力線からノイズ成分を読み出し、制御パルスφＴＸ₀₀と制御パルスφＴＸｅ₀ を、および制御パルスφＰＧ₀₀と制御パルスφＰＧｅ₀ を、夫々同時にハイ、ローとして、ＦＤ領域２１に転送する。これにより、同時刻に上下２つの光電変換部の信号をＦＤ領域２１で加算することが可能となる。画像レベルでの信号の加算であるため、アンプノイズの影響を受けず、信号読み出し後の加算では得られない高Ｓ／Ｎの画像となる。
【００８６】
以上のように、図１６のタイミングによる読み出しによれば撮影レンズの焦点検出を行うための焦点検出用画像を、図１７のタイミングによれば全光束を用いた通常の画像を出力することができる。すなわち、転写スイッチＭＯＳトランジスタ３、５３、ソースフォロワアンプＭＯＳトランジスタ５および転送スイッチＭＯＳトランジスタ５、５３へのパルスタイミングを制御する垂直走査部１５により構成される制御手段によって、射出瞳の第１の領域からの光束を光電変換する第１の光電変換部と、第２の領域からの光束を光電変換する第２の光電変換部からの信号を加算、非加算で読み出す。言い換えると、撮像レンズの射出瞳全体からの光束による光電変換出力を行う第１の出力モードと、撮像レンズの射出瞳の一部からの光束による光電変換出力を行う第２の出力モードとを制御可能である。
【００８７】
第１の出力モードによれば、不自然な像のボケが生じることはなく、元々撮像光学系の瞳の全光束を使った画像を得るように設計された撮像素子で得られる画像と同レベルのＳ／Ｎ的に優れた高品位画像を得ることができる。
【００８８】
さて、焦点検出のための信号処理について説明する。図１８は焦点検出領域６１の拡大図である。他の焦点検出領域６２、６３、６４、６５、６６、６７も同様の構造である。図１９から図２６はインターフェイス部１０８から出力された画像のデジタル信号を表す図である。
【００８９】
同図に示すように、焦点検出領域６１は１２個の受光部で構成された画素列を２組備えている。画素列８２は受光部８０−１、８０−２、・・・・、８０−１２で構成され、画素列８３は受光部８１−１、８１−２、・・・・、８１−１２で構成されている。エリアセンサ部１０２のカラーフィルターはベイヤー配列をなしているので、各画素列には２種類のカラーフィルターが交互に配列されることになる。そこで、焦点検出のために、各画素列をカラーフィルターの種類で分類し、さらに、夫々から、第１光電変換部からの信号と第２光電変換部からの信号とからなる１対の画像信号を生成する。したがって、焦点検出領域６１からは全部で４対の画像信号ができる。なお、前述のように一つの焦点検出領域については実質的に一律の蓄積時間とする。
【００９０】
図１９から図２２はこの４対の画像信号を示している。
【００９１】
図１９は画素列８２のうち緑色カラーフィルターを備えた受光部８０−１、８０−３、…、８０−１１からの画像信号で、８４はＧ１で示した第１光電変換部の信号、８５はＧ２で示した第２光電変換部の信号である。
【００９２】
図２０は画素列８３のうち緑色カラーフィルターを備えた受光部８１−２、８１−４、…、８１−１２からの画像信号で、８６はＧ１で示した第１光電変換部の信号、８７はＧ２で示した第２光電変換部の信号である。
【００９３】
図２１は画素列８２のうち赤色カラーフィルターを備えた受光部８０−２、８０−４、…、８０−１２からの画像信号で、８８はＲ１で示した第１光電変換部の信号、８９はＲ２で示した第２光電変換部の信号である。
【００９４】
図２２は画素列８３のうち青色カラーフィルターを備えた受光部８１−１、８１−３、…、８１−１１からの画像信号で、９０はＢ１で示した第１光電変換部の信号、９１はＢ２で示した第２光電変換部の信号である。
【００９５】
これらは、撮像光学系２４によって焦点検出領域６１上に成された被写体像が、オレンジ色と黄色の濃淡である場合の例で、図１９と図２０に示した緑色のコントラストが高く、図２１に示した赤色は低コントラストであるものの強度は強く、さらに、図２２に示した青色はコントラストも強度も低くなっている。図は物体像がデフォーカスした状態を示し、矢印Ａ、Ｂで示すように第１光電変換部の信号と第２光電変換部の信号とは位相がシフトしていることが分かる。
【００９６】
また、図２３から図２６は被写体像にピントがあった状態での信号であり、図１９から図２２に示した信号が撮像光学系２４の第２群ｇｒｐ２の移動によって、それぞれ変化する様子を表している。
【００９７】
図２３は画素列８２のうち緑色カラーフィルターを備えた受光部８０−１、８０−３、…、８０−１１からの画像信号で、１８４はＧ１で示した第１光電変換部の信号、１８５はＧ２で示した第２光電変換部の信号である。
【００９８】
図２４は画素列８３のうち緑色カラーフィルターを備えた受光部８１−２、８１−４、…、８１−１２からの画像信号で、１８６はＧ１で示した第１光電変換部の信号、１８７はＧ２で示した第２光電変換部の信号である。
【００９９】
図２５は画素列８２のうち赤色カラーフィルターを備えた受光部８０−２、８０−４、…、８０−１２からの画像信号で、１８８はＲ１で示した第１光電変換部の信号、１８９はＲ２で示した第２光電変換部の信号である。
【０１００】
図２６は画素列８３のうち青色カラーフィルターを備えた受光部８１−１、８１−３、…、８１−１１からの画像信号で、１９０はＢ１で示した第１光電変換部の信号、１９１はＢ２で示した第２光電変換部の信号である。
【０１０１】
物体にピントがあった状態では、第１光電変換部の信号と第２光電変換部の信号とは位相が一致する。したがって、一対の信号の同一性を判定することで合焦検知を行うことができる。さらには、相関演算を用いた公知の手法を用いて位相シフト量を検出することにより、デフォーカス量を求めることができる。得られたデフォーカス量を結像光学系２４の第２群ｇｒｐ２を駆動すべき量に換算すれば、自動焦点調節が可能である。レンズの駆動量をあらかじめ知ることができるので、通常、合焦位置までのレンズ駆動はほぼ一回で済み、極めて高速な焦点調節が実現できる。
【０１０２】
また、ここでは色分解した信号を用いたが、色分解しない場合はこれらを足しあせた信号を得ることに相当するために低コントラストになりやすく、この結果、検出不能状態に陥りやすい。これに対して、色分解した信号を用いれば、ここに示したようにＲＧＢすべての信号に高いコントラストが現れるとは限らないが、逆にＲＧＢの何れかには高コントラストな信号が得られ、ほとんどの場合焦点検出が可能となる。
【０１０３】
なお、撮像素子１００には光学ローパスフィルターＬＰＦを通過した物体像が入射しているものの、光学系の特性上、焦点検出系のナイキスト周波数νｎ＝１（２×２Ｐ）を上回る高周波成分を全く取り込まないわけではない。したがって、物体のパターンによっては物体像の位相が信号の位相に反映されず、焦点検出結果には若干の誤差が含まれることがある。
【０１０４】
像の位相差がない場合には、一対の信号に均等に位相エラーが乗るため、この現象が生じても焦点検出誤差にはならない。すなわち、図２３、図２４にあるような信号では、合焦判定に誤差は生じないが、図１９、図２０にあるような信号では、デフォーカス量検出に誤差が生じるということになる。
【０１０５】
図１８より分かるように、信号８４、８５に対して信号８６、８７は被写体像のサンプリング位置が半ピッチずつずれているため、信号８４、８５から算出された焦点検出結果と、信号８６、８７から算出された焦点検出結果を平均して最終的な焦点検出結果を得ることで、焦点検出誤差を低減することができ、上記の不具合を解決することができる。
【０１０６】
同様に、信号８８、８９に対して信号９０、９１は被写体のサンプリング位置が半ピッチずれているため、信号８８、８９から算出された焦点検出結果と、信号９０、９１から算出された焦点検出結果を平均して最終的な焦点検出結果を得ることで、焦点検出誤差を低減することができる。この場合には赤色と青色に注目した焦点検出結果を平均することになり、結果的に撮像光学系２４の色収差をも平均することになって好ましい。
【０１０７】
また、信号８４、８５から算出された焦点検出結果、信号８６、８７から算出された焦点検出結果、信号８８、８９から算出された焦点検出結果、信号９０、９１から算出された焦点検出結果のうち、信頼性が高いものだけを選択して平均すれば、より高い終点検出精度を得ることが可能である。例えば、図２１や図２２の場合のように低コントラストな信号では、その焦点検出結果を焦点調節に用いないようにすればよい。
【０１０８】
以上は、第１光電変換部の信号と第２光電変換部の信号とは位相のみがシフトした関係にあることを前提に説明してきた。この前提が成り立つのは、比較的デフォーカス量が小さい場合である。次に、大デフォーカスへの対応について説明する。
【０１０９】
図２７に示した撮像装置において、絞りＳＴには２０４から２０８で示した５つの開口が設けられ、開口２０４，２０５，２０６は撮像のための開口、開口２０７と２０８は大デフォーカス検出用開口である。撮像時は、撮影する物体の輝度に応じて自動的に開口２０４，２０５，２０６のうちの一つが選択される。あるいは、使用者が任意に開口２０４，２０５，２０６のうちの一つを選択するようにしても良い。開口の大きさを小さくするにしたがって、すなわち、開口２０４よりも開口２０５を、開口２０５よりも開口２０６を選択すると、被写界側でピントが合う範囲が深くなるとともに、電子シャッタによる電荷蓄積時間は長くなる。
【０１１０】
撮像素子上に設けられたマイクロレンズは撮像素子の各受光部を撮像光学系２４の射出瞳に投影するが、撮像素子１００の各受光部に入射する光量と絞りＳＴの開度との関係を線形にするために、そのパワーは各受光部の投影像が撮像光学系の絞り開放時の射出瞳よりも大きくなるように設定してある。すなわち、絞りＳＴ上で受光部の投影像と開口とを比較すると、受光部の投影像は最も大きい開口２０４よりもさらに大きい。こうすれば、撮像素子への入射光量が絞りの開口面積におおよそ比例し、被写体輝度、撮像素子の感度が与えられたときに、フィルムカメラと同様の手法で絞り値とシャッター速度を算出することができる。つまり、入射光量が絞りの開口面積に比較するようになり、ＡＰＥＸ方式の演算が成り立つ。
【０１１１】
先に図２８を用いて説明したように開口２０４，２０５，２０６の何れを用いて撮像した場合でも、形成された画像は円を２分割した半光束によるものとなる。一般に、物体像は点像と物体の輝度パターンのコンボルーションで与えられるが、物体像のデフォーカス量が大きくなると、点像には射出瞳の形が現れてくる。この結果、画像には円を２分割した形のボケが重畳することになる。
【０１１２】
一対の焦点検出用画像の形成が平行移動で重なる形状の一対の射出瞳を介して成されていれば、個々の瞳形状がどういうものであっても、第１光電変換部の信号と第２光電変換部の信号の関係は位相のみがシフトしたものになる。ところが、この撮像装置の場合、射出瞳上の第一の領域２１１と第二の領域２１２の形状は互いに裏返しの関係であって、平行移動で重なるわけではない。したがって、画像に重畳するボケ形状も同様に裏返しの関係になり、第１光電変換部の信号と第２光電変換部の信号は形状を異ならせながら位相がシフトしたものになってしまう。大デフォーカス時には画像の位相差検出がうまく行かず、デフォーカス量検出誤差は大きい。
【０１１３】
また、大デフォーカス時にデフォーカス量検出誤差を大きくする他の要因として、マイクロレンズの製造誤差が挙げられる。前述のように、マイクロレンズは受光部を撮像光学系の射出瞳に投影している。仮に、この投影位置が画素でバラバラであると、デフォーカス時の位相シフト量が画素毎に異なることになってしまう。この影響はデフォーカス量が大きいほど深刻である。しかしながら、マイクロレンズは非常に微細であるために、実際にはある程度の製造ばらつきを許容せざるを得ない。
【０１１４】
そこで、大デフォーカス検出時には、大デフォーカス検出用である絞りＳＴの開口２０７と２０８を用いる。この場合、射出瞳の分割の様子は図３０のようになる。図において、２１０，２１４は絞り開口２０７，２０８を後方レンズ群２０２を通して見た虚像であって、開口２０７と２０８によって形成された射出瞳上の第三の領域と第四の領域である。
【０１１５】
第三の領域２１３は第一の領域２１１に含まれ、第四の領域２１４は第二の領域２１２に含まれ、したがって、開口２０７と２０８が射出瞳の形状を決めることになる。第１光電変換部へは開口２０７を通過した光束が入射し、第２光電変換部へは開口２０８を通過した光束が入射する。
【０１１６】
第一の領域２１１と第二の領域２１２はマイクロレンズによる瞳投影精度の影響を受けるが、第三の領域２１３と第四の領域２１４はマイクロレンズによる瞳投影精度の影響を受けない。したがって、マイクロレンズの製造誤差があって画素毎に第一の領域２１１と第二の領域２１２の位置が揺らいでいたとしても、開口２０７と２０８を使えば、確定した第三の領域２１３と第四の領域２１４を得ることができる。
【０１１７】
ここで開口２０７と２０８を例えば楕円や円とすれば、平行移動で重なる同一の形状であるために、第１光電変換部の信号と第２光電変換部の信号の関係は完全に位相のみがシフトしたものとなる。しかも、マイクロレンズの製造誤差の影響を受けない。したがって、大デフォーカスであってもデフォーカス量の検出誤差を極めて小さく抑えることが可能である。また、開口２０７と２０８の重心の入射高さを開放絞り径の０．７倍程度に選べば、一般的な球面収差特性を有する撮像光学系について最良解像までのデフォーカス量を収差レベルで正確に検出することができる。
【０１１８】
なお、撮像光学系２４の第２群ｇｒｐ２と第４群ｇｒｐ４が光軸方向に動いて、ズーム動作が行われると、一般には開放Ｆナンバーが変化するが、開放絞りに対する開口２０７と２０８の重心位置の関係は一定の比率を維持するので、開口２０７と２０８の重心の入射高さはズーム位置に関わらず常に開放絞り径の０．７倍程度になって都合がよい。
【０１１９】
物体にピントがあっている可能性が低い初回の焦点調節動作時には、先ず開口２０７と２０８を使用して、仮に大デフォーカスであってもこれに対応できる焦点調節と物体観察用のモニター表示を行い、これに続く２回目以降の焦点調節動作では開口２０４，２０５，２０６の何れかを用いて残る焦点調節とモニター表示を行うとともに、続く撮像に備えるように撮像装置のシーケンスを構成すると良い。
【０１２０】
この撮像装置では撮像光学系のデフォーカス量を検出するための専用の焦点検出装置を必要としないので、光路分割のためのミラーやプリズムが要らない。したがって、撮像系を小型化することができる。
【０１２１】
（第２の実施の形態）
第２の実施の形態について説明する。
【０１２２】
図３０は、本実施の形態のエリアセンサ部回路構成図である。本実施の形態においては、光電変換部にフォトゲートを用いず、ｐｎフォトダイオードを用いたことを特徴とし、それ以外の点については、第１の実施の形態と同じである。
【０１２３】
２つの光電変換部の電荷を同時、または、別々にフローティングディフュージョン部へ転送でき、ＦＤ領域に接続した転送ＭＯＳトランジスタのタイミングだけで、２つの光電変換部の信号電荷の加算、非加算を簡単に行うことができる。この構造を利用して、撮像レンズの射出瞳全体からの光束を受光する第１の受光モードと、撮像レンズの射出瞳の一部からの光束を受光する第２の受光モードとを切り替え可能としている。
【０１２４】
図３０において、３０１および３５１はｐｎフォトダイオードからなる第１、第２光電変換部、３０３および３５３は転送スイッチＭＯＳトランジスタ、３０４はリセット用ＭＯＳトランジスタ、３０５はソースフォロワアンプＭＯＳトランジスタ、３０６は垂直選択スイッチＭＯＳトランジスタ、３０７はソースフォロワの負荷ＭＯＳトランジスタ、３０８は暗出力転送ＭＯＳトランジスタ、３０９は明出力転送ＭＯＳトランジスタ、３１０は暗出力蓄積容量Ｃ_TN、３１１は明出力蓄積容量Ｃ_TS、３１２および３５４は垂直転送ＭＯＳトランジスタ、３１３および３５５は垂直出力線リセットＭＯＳトランジスタ、３１４は差動出力アンプ、３１５は垂直走査部、３１６は水平走査部である。
【０１２５】
図３１に受光部（例えば３３０−１１）の断面図を示す。なお、受光部３３０−２１、３３０−１２、３３０−２２等も同一の構造である。
【０１２６】
同図において、３１７はＰ型ウェル、３１８、３５８はゲート酸化膜、３２０、３５０はポリＳｉ、３２１はｎ＋フローティングディフュージョン領域である。
【０１２７】
３４０と３９０はｎ層であり完全空乏化できる濃度である。ＦＤ領域３２１は転送ＭＯＳトランジスタ３０３、３５３を介して第１光電変換部３０１および第２光電変換部３５１と接続される。制御パルスφＴＸにより発生した電荷をＦＤ部３２１へ完全転送させ、制御パルスφＴＸにより信号の加算、非加算が可能である。なお、同図では、第１光電変換部３０１と第２光電変換部３５１を離して描いたが、実際にはその境界部は極めて小さく、実用上は第１光電変換部３０１と第２光電変換部３５１は接しているとみなして良い。
【０１２８】
３２２は特定の波長の光を透過するカラーフィルター、３２３は撮像光学系３２４からの光束を効率的に第１、第２光電変換部に導くためのマイクロレンズである。
【０１２９】
撮像素子の電荷蓄積動作について述べる。先ず、ＦＤ部３２１は蓄積中、ブルーミング防止のため制御パルスφＲ₀ をハイにして電源Ｖ_DDに固定しておく。光子ｈνが照射されるとｐｎフォトダイオード３０１、３５１に電子が蓄積されていき、正孔はＰ型ウェル３１７を通して排出される。
【０１３０】
光電変換部３０１とＦＤ部３２１の間には転送ＭＯＳトランジスタ３０３によるエネルギー障壁が、光電変換部５１とＦＤ部２１の間には転送ＭＯＳトランジスタ５３によるエネルギー障壁がそれぞれ形成されている。このため、光電荷蓄積中は電子ｐｎフォトダイオード３０１、３５１に存在する。この後、水平走査部を走査させ、同様に電荷蓄積動作を行えば全光電変換部について電荷の蓄積が成される。
【０１３１】
読み出し状態になると転送ＭＯＳトランジスタ３０３あるいは３５３下の障壁をなくし、ｐｎフォトダイオード３０１、３５１の電子をＦＤ部３２１へ完全に転送させる様に制御パルスφＴＸ₀₀、φＴＸｅ₀ を設定する。
【０１３２】
図１６のタイミングチャートからφＰＧ₀₀、φＰＧｅ₀ を除いたものを用いることにより、２つの光電変換部を独立に出力する第２の受光モードによる、焦点検出用画像の読み出しが可能である。
【０１３３】
まず、制御パルスφＲ₀ をハイとしてＦＤ部３２１を電源Ｖ_DDにリセットし、制御パルスφＳ₀ をハイとして暗出力を蓄積容量３１０に蓄積し、次に制御パルスφＴＸ₀₀をハイとして、ｐｎフォトダイオード３０１に蓄積された光電荷をソースフォロワＭＯＳトランジスタ３０５、選択スイッチＭＯＳトランジスタ３０６を介して蓄積容量３１１に転送して、ノイズ成分を差動増幅器３１４によってキャンセルし、第１光電変換部の画像信号Ｖ_OUT を出力する。
【０１３４】
制御パルスφＲ₀ をハイとしてＦＤ部３２１を電源Ｖ_DDにリセットし、次に制御パルスφＴＸｅ₀ をハイとして、ｐｎフォトダイオード３５１に蓄積された光電荷をソースフォロワＭＯＳトランジスタ３０５、選択スイッチＭＯＳトランジスタ３０６を介して蓄積容量３１１に転送し、ノイズ成分を差動増幅器３１４によってキャンセルし、第２光電変換部画像信号Ｖ_OUT を出力する。
【０１３５】
また、図１７によるタイミングチャートからφＰＧ_00,φＰＧｅ₀ を除いた制御パルスを供給することで、２つのｐｎフォトダイオード３０１と３５１の電荷を加算した第１の受光モードによる画像信号の読み出しを行うことができる。
【０１３６】
（第３の実施の形態）
第３の実施の形態について説明する。
【０１３７】
第１及び第２の実施の形態では、２つの光電変換部に１つのソースフォロワアンプＭＯＳトランジスタを設け、フローティングディフュージョン領域で電荷の加算を行っていたが、本実施の形態では、図３２に示すように、１つの光電変換部に１つのソースフォロワアンプＭＯＳトランジスタを設け、画素外で加算を行うものである。
【０１３８】
１列毎に２つの容量４０１、４０２を設け、垂直シフトレジスタによりトランジスタ４０３、トランジスタ４０４に同時にパルスを出力することによって、容量４０１、４０２からの信号を同時に出力線４０５に出力し、加算を行う。そして、トランジスタ４０３、トランジスタ４０４に順次パルスを出力することによって１画素ずつの出力を行う。
【０１３９】
また、図３３は、図３２の点線部分を他の回路構成にしたものである。図３２に示すように、出力線４０６にトランジスタ４０７を設け、そのトランジスタのＯＮ、ＯＦＦによって、加算、非加算を行っても良い。
【０１４０】
（第４の実施の形態）
第４の実施の形態について説明する。
【０１４１】
図３４に基づいて、前述で説明した第１又は第２の実施の形態の撮像素子をスチルカメラ等の撮像装置に適用した場合について詳述する。
【０１４２】
図３３において、５０１はレンズのプロテクトとメインスイッチを兼ねるバリア、５０２は被写体の光学像を撮像素子１００に結像させるレンズ、５０３はレンズ５０２を通った光量を可変するための絞り、１００はレンズ５０２で結像された被写体を画像信号として取り込むための撮像素子、５０８は撮像素子４、信号処理部５０７に、各種タイミング信号を出力するタイミング発生部、５０９は各種演算と撮像装置全体を制御する全体制御・演算部、５１０は画像データを一時的に記憶する為のメモリ部、５１１は記録媒体に記録または読み出しを行うためのインターフェース部、５１２は画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体、５１３は外部コンピュータ等と通信する為のインターフェース部である。
【０１４３】
次に、前述の構成における撮像時の撮像装置の動作について説明する。
【０１４４】
バリア５０１がオープンされるとメイン電源がオンされ、次にコントロール系の電源がオンされる。それから、露光量を制御する為に、全体制御・演算部５０９は絞り５０３を開放にし、撮像素子５０４から出力された信号は信号処理部７に入力される。そのデータを基に露出の演算を全体制御・演算部５０９で行う。この測光を行った結果により明るさを判断し、その結果に応じて全体制御・演算部５０９は絞りを制御する。
【０１４５】
次に、撮像素子１００から出力された第１及び第２の実施の形態で説明した非加算信号をもとに、高周波成分を取り出し被写体までの距離の演算を全体制御・演算部９で行う。その後、レンズを駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズを駆動し測距を行う。
【０１４６】
そして、合焦が確認された後に本露光が始まる。露光が終了すると、撮像素子１００から出力された第１及び第２の実施の形態で説明した加算信号は信号処理部５０７を通り色補正等がなされ全体制御・演算部５０９によりメモリ部に書き込まれる。その後、メモリ部５１０に蓄積されたデータは、全体制御・演算部９の制御により記録媒体制御Ｉ／Ｆ部を通り半導体メモリ等の着脱可能な記録媒体５１２に記録される。また、外部Ｉ／Ｆ部５１３を通り直接コンピュータ等に入力して画像の加工を行ってもよい。
【０１４７】
以上の第１から第３の実施の形態では、光電変換部からの信号の加算を撮像素子内で行っているものを示したが、例えば図３４で示した例えば信号処理部５０７等の撮像素子外で行うような構成にしてもよい。
【０１４８】
【発明の効果】
本発明により、高速に撮像のための調整を行えるとともに、高品位な画像出力を得ることが出来る。
【０１４９】
以上で説明した、第１及び第２の実施の形態による撮像装置では、以下の効果を有する。
【０１５０】
（１）撮像素子による位相差検出方式の焦点検出が可能となって、検出デフォーカス量に基づく高速な焦点調整を実現することができる。
【０１５１】
（２）同時に、元々撮像光学系の瞳の全光束を使った画像を得るように設計された撮像素子で得られる画像と同レベルのＳ／Ｎ的に優れた高品位画像を得ることができた。
【０１５２】
（３）しかもこの際、不自然な像のボケが生じることはない。
【０１５３】
（４）撮像光学系のデフォーカス量を検出するための専用の焦点検出装置を必要としないので、光路分割のためのミラーやプリズムが要らない。したがって、撮像系を小型化することができる。
【図面の簡単な説明】
【図１】撮像光学系の構成図である。
【図２】撮像素子１００内のエリアセンサ部の回路構成図である。
【図３】受光部の断面図である。
【図４】撮像領域と焦点検出領域の説明図である。
【図５】画素とカラーフィルターの配置を示す平面図である。
【図６】マイクロレンズと受光部との位置関係を示す平面図である。
【図７】マイクロレンズを斜めから見た表面状態を表す図である。
【図８】エリアセンサ部の断面図である。
【図９】（ａ）、（ｂ）は、第１光電変換部に入射する光束と、第２光電変換部に入射する光束を各々示した図である。
【図１０】第２光電変換部に入射する光束を表す図である。
【図１１】撮像素子１００のレスポンス特性を表す図である。
【図１２】画素のピッチを説明するための図である。
【図１３】撮像素子１００の周辺回路を含む内部構成を示したブロック図である。
【図１４】出力位置指定コマンドを説明するための図である。
【図１５】（ａ）、（ｂ）、（ｃ）、（ｂ）は電子シャッタ機能を説明する図で、（ａ）は垂直ライン順次で画素を読み出す場合の説明図、（ｂ）は蓄積時間を実質的に同一とする場合のタイミングチャート、（ｃ）は画面全体について電荷蓄積時間を短くする場合のタイミングチャート、（ｄ）は２列目の信号レベルを他のラインとは異ならせた場合のタイミングチャートである。
【図１６】第１および第２の光電変換部の信号を独立に読み出す場合のタイミングチャートである。
【図１７】第１および第２の光電変換部の信号を加算する場合のタイミングチャートである。
【図１８】焦点検出領域６１の拡大図である。
【図１９】画素列８２のうち緑色カラーフィルターを備えた受光部８０−１、８０−３、…、８０−１１からの画像信号を示す図である。
【図２０】画素列８３のうち緑色カラーフィルターを備えた受光部８１−２、８１−４、…、８１−１２からの画像信号を示す図である。
【図２１】画素列８２のうち赤色カラーフィルターを備えた受光部８０−２、８０−４、…、８０−１２からの画像信号を示す図である。
【図２２】画素列８３のうち青色カラーフィルターを備えた受光部８１−１、８１−３、…、８１−１１からの画像信号を示す図である。
【図２３】画素列８２のうち緑色カラーフィルターを備えた受光部８０−１、８０−３、…、８０−１１からの画像信号を示す図である。
【図２４】画素列８３のうち緑色カラーフィルターを備えた受光部８１−２、８１−４、…、８１−１２からの画像信号を示す図である。
【図２５】画素列８２のうち赤色カラーフィルターを備えた受光部８０−２、８０−４、…、８０−１２からの画像信号を示す図である。
【図２６】画素列８３のうち青色カラーフィルターを備えた受光部８１−１、８１−３、…、８１−１１からの画像信号を示す図である。
【図２７】撮像装置の斜視図である。
【図２８】射出瞳の分割の様子を表す説明図である。
【図２９】大デフォーカス検出時の射出瞳の分割の様子を表す説明図である。
【図３０】撮像素子１００内のエリアセンサ部の回路構成図である。
【図３１】受光部の断面図である。
【図３２】撮像素子１００内のエリアセンサ部の回路構成図である。
【図３３】撮像素子１００内のエリアセンサ部の回路構成図である。
【図３４】撮像素子を用いた撮像装置を表す図である。
【符号の説明】
１、５１ＭＯＳトランジスタゲートとゲート下の空乏層からなる第１、第２光電変換部
２、５２フォトゲート
３、５３転送スイッチＭＯＳトランジスタ
２３マイクロレンズ
２４撮像光学系
１００撮像素子
２０７、２０８大デフォーカス検出用開口
２１０、２１５、２１６射出瞳
２１１、２１２射出瞳上の第一の領域と第二の領域
２１３、２１４射出瞳上の第三の領域と第四の領域
ＳＴ絞り

Claims

各々が、射出瞳の第１の領域からの光束を光電変換する第１の光電変換部と、射出瞳の第２の領域からの光束を光電変換する第２の光電変換部と、前記第１の光電変換部及び前記第２の光電変換部とに共通に設けられた増幅手段と、前記第１の光電変換部の信号を前記増幅手段に転送する第１の転送手段と、前記第２の光電変換部の信号を前記増幅手段に転送する第２の転送手段とを含む複数の画素と、
前記第１の光電変換部の信号と前記第２の光電変換部の信号とを前記増幅手段の入力部で混合し、前記増幅手段から混合信号を出力する第１の動作と、前記第１の光電変換部の信号と前記第２の光電変換部の信号とを前記増幅手段から選択的に出力する第２の動作とを制御する駆動手段と、
を有することを特徴とする撮像装置。
請求項１に記載の撮像装置において、前記複数の画素の各々に一つずつマイクロレンズが設けられ、前記マイクロレンズを介して前記射出瞳の第１の領域からの光束が第１の光電変換部に結像し、前記マイクロレンズを介して前記射出瞳の第２の領域からの光束が第２の光電変換部に結像することを特徴とする撮像装置。
請求項１又は請求項２に記載の撮像装置において、前記複数の画素で得られた信号を前記第２の動作により取得するとともに、取得した信号に基づき焦点調整動作を行うように制御し、前記焦点調整動作により設定された撮像条件に基づき前記複数の画素で得られた信号を前記第１の動作により取得するとともに、取得した信号に対して信号処理手段で色補正を行うように制御する制御手段を有することを特徴とする撮像装置。