JP7100518B2 - 固体撮像素子及び撮像装置 - Google Patents

Description

本発明は、固体撮像素子及び撮像装置に関する。

従来、アバランシェフォトダイオード（ＡＰＤ：Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏ Ｄｉｏｄｅ）を用いることによって単一光子の検出を行う技術が提案されている。降伏電圧（ブレークダウン電圧）より大きい逆バイアス電圧が印加されたアバランシェフォトダイオードに単一光子が入射すると、キャリアが生成され、アバランシェ増倍が起こり、大きな電流が発生する。この電流に基づいて、単一光子を検出することが可能となる。このようなアバランシェフォトダイオードは、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）と呼ばれる。特許文献１は、アバランシェフォトダイオードが受光素子に備えられた光検出器を開示する。また特許文献２は、光電変換素子で生成された電荷を蓄積する蓄積容量と、蓄積容量の電圧が基準電圧と一致するとパルスを出力する比較器と、このパルスにより導通して蓄積容量の電圧をリセットするトランジスタとを各画素が備えるイメージセンサを開示する。

特開２０１４－８１２５３号公報 特開２０１５－１７３４３２号公報

しかしながら、ＳＰＡＤを用いて画像取得と測距のいずれをも実現しようとした場合には、回路規模の増大を招いてしまう。
本発明の目的は、回路規模を抑制しつつ画像取得と測距とを実現し得る固体撮像素子及び撮像装置を提供することにある。

実施形態の一観点によれば、複数の画素を有する固体撮像素子であって、複数の画素のそれぞれが、光子の受光に応じてパルス信号を発するセンサ部と、センサ部から発せられるパルス信号が入力されるローパスフィルタと、ローパスフィルタの出力と閾値とを比較する比較器と、発光部が光を発しない際にセンサ部から発せられるパルス信号のパルス数をカウントする第１のモードでの動作と、所定信号のパルス数をカウントする第２のモードであって、パルス数が発光部から光が発せられたタイミングからの経過時間に依存する第２のモードでの動作とを選択的に切り換えるように構成されたカウンタと、を有し、カウンタは、第２のモードで動作する場合、発光部から光が発せられたタイミングから比較器の出力が反転するタイミングまでの所定信号のパルス数をカウントする、ことを特徴とする固体撮像素子が提供される。

本発明によれば、回路規模を抑制しつつ画像取得と測距とを実現し得る固体撮像素子及び撮像装置を提供することができる。

第１実施形態による固体撮像素子を示す図である。 第１実施形態による固体撮像素子の動作を示すタイミングチャートである。 第１実施形態による固体撮像素子を示す図である。 撮像装置を示すブロック図である。 第２実施形態による固体撮像素子を示す図である。 第２実施形態による固体撮像素子の動作を示すタイミングチャートである。 第３実施形態による固体撮像素子に備えられた画素アレイの各領域を概念的に示す図である。 第３実施形態による固体撮像素子を示す図である。 第３実施形態による固体撮像素子の動作を示すタイミングチャートである。 補正処理に用いられるルックアップテーブルの例を示す図である。 第３実施形態による撮像装置の動作を示すフローチャートである。 第４実施形態に係る単位画素に関する図である。 第５実施形態に係る単位画素に関する図である。 第５実施形態における制御信号のタイミングチャートの例を示す図である。 第６実施形態に係る単位画素に関する図である。

本発明の実施の形態について図面を用いて以下に説明する。なお、本発明は以下の実施形態に限定されるものではなく、適宜変更可能である。

［第１実施形態］
第１実施形態による固体撮像素子及び撮像装置について図１乃至図４を用いて説明する。図１は、本実施形態による固体撮像素子を示す図である。
図１に示すように、本実施形態による固体撮像素子１００は、垂直走査部１０１と、タイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１０２と、列メモリ１０３と、水平走査部１０４とを備えている。
また、固体撮像素子１００には、画素アレイ１３０が備えられている。画素アレイ１３０には、複数の画素１１０を含む単位画素１４０が複数備えられている。図１には、画素アレイ１３０に備えられた複数の単位画素１４０のうちの１つの単位画素１４０が図示されている。固体撮像素子１００は、行列状、即ち、マトリクス状に配された複数の画素１１０を備えている。
なお、ここでは、説明の簡略化のため、４つの画素１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが図示されているが、実際には多数の画素１１０が画素アレイ１３０に備えられている。また、画素一般について説明する際には、符号１１０を用い、個々の画素について説明する際には、符号１１０ａ～１１０ｄを用いることとする。

タイミングジェネレータ１０２は、制御部４０４（図４参照）から供給される制御信号等に基づいて、固体撮像素子１００の各部を制御するための信号を生成する。タイミングジェネレータ１０２には、制御部４０４から同期信号ＶＤ等が供給される。
タイミングジェネレータ１０２は、垂直走査部１０１、列メモリ１０３、及び、水平走査部１０４の各々に対して各種の信号等を供給する。また、タイミングジェネレータ１０２は、各々の画素１１０に対して、各種の制御信号を供給する。タイミングジェネレータ１０２は、固体撮像素子１００の各部を制御する制御部として機能し得る。

各々の画素１１０には、ＳＰＡＤ１１１と、クエンチング素子１１２と、インバータ１１３と、カウンタ１１４と、入力選択スイッチ１１５と、画素メモリ１１６とがそれぞれ備えられている。また、各々の画素１１０には、ＮＡＮＤ素子１１７と、ＡＮＤ素子１１８と、ＬＰＦ（ローパスフィルタ）１１９と、比較器（ＣＭＰ）１２０と、転送スイッチ１２１と、読み出しスイッチ１２２と、ＳＲラッチ回路１２３と、遅延回路１２４とが備えられている。

ＳＰＡＤ１１１のアノードは接地電位に接続されており、ＳＰＡＤ１１１のカソードはクエンチング素子（クエンチング抵抗）１１２の一端に接続されている。クエンチング素子１１２の他端にはバイアス電圧Ｖｂｉａｓが印加される。ＳＰＡＤ１１１には、クエンチング素子１１２を介してＳＰＡＤ１１１の降伏電圧より大きいバイアス電圧Ｖｂｉａｓが印加される。このため、ＳＰＡＤ１１１はガイガーモードで動作する。
即ち、ＳＰＡＤ１１１に単一光子（フォトン）が入射するとアバランシェ増倍現象を引き起こす。これにより、アバランシェ電流が生じ、クエンチング素子１１２において電圧降下が生ずる。クエンチング素子１１２は、ＳＰＡＤ１１１のアバランシェ増倍現象を停止されるための抵 抗素子である。ここでは、ＭＯＳトランジスタの抵抗成分を利用してクエンチング素子１１２が構成されている。
アバランシェ増倍現象によってアバランシェ電流が生じると、クエンチング素子１１２において電圧降下が生じ、ＳＰＡＤ１１１に印加されるバイアス電圧が降下する。バイアス電圧が降伏電圧まで降下するとアバランシェ増倍現象が停止する。その結果、アバランシェ電流が流れなくなり、ＳＰＡＤ１１１には、再びバイアス電圧Ｖｂｉａｓが印加される。ＳＰＡＤ１１１のカソードと、クエンチング素子１１２の一端と、インバータ１１３の入力端子とは、ノードＰＬＳａにおいて互いに接続されている。インバータ１１３の出力端子と、入力選択スイッチ１１５の一方の入力端子と、ＬＰＦ１１９の入力端子とは、ノードＰＬＳｄにおいて互いに接続されている。
ＳＰＡＤ１１１に単一光子が入射すると、上記のような現象が生ずるため、ノードＰＬＳａにおいて電圧変化が生じる。インバータ１１３は、ノードＰＬＳａにおける電圧変化に応じてパルス信号ＰＬＳを生成し、生成したパルス信号ＰＬＳをノードＰＬＳｄに出力する。こうして、波形整形されたパルス信号ＰＬＳがインバータ１１３から出力される。
このように、センサ部３０３（図３参照）においては、ＳＰＡＤ１１１に単一光子が入射すると、単一光子の受光頻度に応じた頻度でインバータ１１３からパルス信号ＰＬＳが出力される。バイアス電圧Ｖｂｉａｓは、例えば＋２０Ｖ程度とすることができるが、これに限定されるものではない。例えば、ＳＰＡＤ１１１のアノードを負の電位に接続してもよい。

ノードＰＬＳｄとカウンタ１１４の入力端子とが接続されるように入力選択スイッチ１１５が設定されている場合には、インバータ１１３から出力されるパルス信号ＰＬＳのパルス数がカウンタ１１４によってカウントされる。カウンタ１１４のビット（ｂｉｔ）幅は、例えば１６である。ビット幅が１６のカウンタ１１４がカウント可能な上限値、即ち、カウント上限値は、０ｘＦＦＦＦ（１０進数で６５５３５）である。
カウンタ１１４によるパルス信号ＰＬＳのカウント値を、撮像カウント値と称することとする。撮像カウント値は、インバータ１１３から出力されるパルス信号ＰＬＳのパルス数をカウントすることにより得られるものであるため、ＳＰＡＤ１１１の受光量に依存する。

入力選択スイッチ１１５の他方の入力端子には、タイミングジェネレータ１０２から供給される所定周期のクロック信号（所定信号）ＣＬＫが入力される。クロック信号ＣＬＫがカウンタ１１４の入力端子に供給されるように入力選択スイッチ１１５が設定されている場合には、クロック信号ＣＬＫのパルス数がカウンタ１１４によってカウントされる。
入力選択スイッチ１１５は、タイミングジェネレータ１０２から供給される制御信号ＣＬＫ＿ｓｅｌによって制御される。制御信号ＣＬＫ＿ｓｅｌがＬｏｗレベルの際には、インバータ１１３から出力されるパルス信号ＰＬＳがカウンタ１１４の入力端子に入力されるように、入力選択スイッチ１１５が設定される。
制御信号ＣＬＫ＿ｓｅｌがＨｉｇｈレベルの際には、クロック信号ＣＬＫがカウンタ１１４の入力端子に入力されるように、入力選択スイッチ１１５が設定される。カウンタ１１４によるクロック信号ＣＬＫのカウント値を、測距カウント値と称することとする。測距カウント値は、所定周期のクロック信号ＣＬＫをカウントすることにより得られるものであるため、経過時間に比例する。

カウンタ１１４のリセット端子には、タイミングジェネレータ１０２から供給されるリセット信号（リセットパルス）ＲＥＳが入力される。カウンタ１１４のカウント値は、リセット信号ＲＥＳによって０ｘ０にリセットされる。リセットが解除されると、カウンタ１１４は、カウントを開始する。後述する発光部４０９（図４参照）が発光するタイミングでリセット信号ＲＥＳを供給するようにすれば、発光タイミングからの経過時間を把握することが可能となる。

カウンタ１１４のイネーブル端子には、カウンタ１１４を動作させるか否かを制御するためのイネーブル信号ＥＮＡＢＬＥが、ＡＮＤ素子１１８を介してタイミングジェネレータ１０２から供給される。イネーブル信号ＥＮＡＢＬＥは、ＡＮＤ素子１１８の一方の入力端子に入力される。カウンタ１１４のイネーブル端子がＨｉｇｈレベルの際には、カウンタ１１４はカウント動作を行い、カウンタ１１４のイネーブル端子がＬｏｗレベルの際には、カウンタ１１４はカウント動作を停止する。
ＡＮＤ素子１１８の他方の入力端子には、ＮＡＮＤ素子１１７から出力される信号が供給される。ＮＡＮＤ素子１１７の一方の入力端子には、制御信号ＣＬＫ＿ｓｅｌが供給され、ＮＡＮＤ素子１１７の他方の入力端子には、比較器１２０から出力される信号が供給される。ＮＡＮＤ素子１１７は、制御信号ＣＬＫ＿ｓｅｌと、比較器１２０から出力される信号との否定論理積を出力する。
イネーブル信号ＥＮＡＢＬＥがＨｉｇｈレベルであり、且つ、ＮＡＮＤ素子１１７の出力がＨｉｇｈレベルである場合にのみ、ＡＮＤ素子１１８の出力はＨｉｇｈレベルとなり、カウンタ１１４がカウント動作する。従って、イネーブル信号ＥＮＡＢＬＥがＨｉｇｈレベルの際には、カウンタ１１４が動作するか否かは、ＮＡＮＤ素子１１７から出力される信号のみによって確定される。
制御信号ＣＬＫ＿ｓｅｌがＨｉｇｈレベルであり、且つ、比較器１２０の出力がＨｉｇｈレベルである場合にのみ、ＮＡＮＤ素子１１７の出力はＬｏｗレベルとなる。従って、イネーブル信号ＥＮＡＢＬＥがＨｉｇｈレベルの際には、制御信号ＣＬＫ＿ｓｅｌがＨｉｇｈレベルである場合にのみ、カウンタ１１４を動作させるか否かが比較器１２０の出力によって制御される。
即ち、イネーブル信号ＥＮＡＢＬＥがＨｉｇｈレベルの際には、カウンタ１１４によって測距カウント値が得られる場合のみ、カウンタ１１４を動作させるか否かが比較器１２０の出力によって制御される。制御信号ＣＬＫ＿ｓｅｌがＬｏｗレベルである場合、即ち、カウンタ１１４によって撮像カウント値が得られる場合には、イネーブル信号ＥＮＡＢＬＥがＨｉｇｈレベルであれば、カウンタ１１４は常にカウント動作を行い得る。

インバータ１１３から出力されるパルス信号ＰＬＳは、高周波を遮断するＬＰＦ１１９を介して比較器１２０の一方の入力端子に供給される。なお、ＬＰＦ１１９は、公知の構成のＬＰＦを適宜用い得る。例えば、ＲＣ回路によってＬＰＦを構成してもよいし、ＬＣ回路によってＬＰＦを構成してもよい。また、オペアンプがＬＰＦに備えられていてもよい。

画素１１０における受光量が少ない場合には、時間的に疎なパルス信号ＰＬＳがＬＰＦ１１９に入力されるため、ＬＰＦ１１９の出力電圧は比較的低くなる。一方、画素１１０における受光量が多い場合には、時間的に密なパルス信号ＰＬＳがＬＰＦ１１９に入力されるため、ＬＰＦ１１９の出力電圧は比較的高くなる。

比較器１２０の他方の入力端子の電圧は、第１の閾値Ｖｔｈ１に設定されている。比較器１２０は、ＬＰＦ１１９の出力電圧の変化に基づいて、画素１１０の受光量の変化をリアルタイムに検出し得る。ＬＰＦ１１９の出力電圧が第１の閾値Ｖｔｈ１よりも小さい場合には、比較器１２０からＬｏｗレベルの信号が出力され、ＬＰＦ１１９の出力電圧が第１の閾値Ｖｔｈ１以上である場合には、比較器１２０からＨｉｇｈレベルの信号が出力される。このため、画素１１０の受光量が大きくなった際には、ＮＡＮＤ素子１１７とＡＮＤ素子１１８とを介してカウンタ１１４のカウント動作が停止される。
この後、画素１１０の受光量が低下した場合においても、ＳＲラッチ回路１２３はＱ端子をＨｉｇｈレベルに維持する。このため、カウンタ１１４のカウント動作の停止は、カウンタ１１４のリセット端子に入力されるリセット信号ＲＥＳがＨｉｇｈレベルとなるまで維持される。こうして、発光部４０９が発光するタイミングと、被写体によって反射された光が画素１１０によって受光されるタイミングとの差に応じた測距カウント値が得られる。距離に関する情報の一例である光飛行時間ｔＴＯＦは、以下のような式（１）によって求め得る。
ｔＴＯＦ＝測距カウント値／クロック信号ＣＬＫの周波数 ・・・（１）
光飛行時間ｔＴＯＦと光速ｃとに基づいて、被写体までの距離Ｄを以下のような式（２）に基づいて求め得る。光速ｃは、２９９７９２４５８ｍ／ｓである。
Ｄ＝ｃ×ｔＴＯＦ／２ ・・・（２）

光の往復時間は、１ｍ当たり０．３３３ｎｓと極めて短い。このため、十分な時間分解能を得るためのクロック信号ＣＬＫの周波数は、例えば１ＧＨｚを超える。なお、このような高い周波数のクロック信号ＣＬＫを用いなくても、例えば、位相の異なる複数のクロック信号のＨｉｇｈ／Ｌｏｗ状態を元に変換する時間－デジタル変換器（ＴＤＣ：Ｔｉｍｅ－Ｔｏ－Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を用いることによって、時間分解能を向上することは可能である。ＴＤＣは、例えばカウンタ１１４に備えられ得る。本実施形態によれば、光飛行時間ｔＴＯＦに基づいて、被写体までの距離を迅速に求めることが可能である。

このように、本実施形態では、カウンタ１１４の入力端子に入力される信号を切り換えることによって、画像を取得する撮像モードと、距離に関する情報を取得する測距モードとを切り換え得る。なお、ＬＰＦ１１９、比較器１２０、発光部４０９は、測距モードにおいては動作させることを要するが、撮像モードにおいては動作させることを要しない。このため、撮像モードにおいて、ＬＰＦ１１９、比較器１２０及び発光部４０９に供給する電流を制限することにより、消費電力を低減するようにしてもよい。

転送スイッチ１２１には、タイミングジェネレータ１０２によって生成される制御パルスＭＥＭが供給される。全ての画素１１０に備えられた転送スイッチ１２１に対して同じタイミングで制御パルスＭＥＭが供給される。転送スイッチ１２１は、制御パルスＭＥＭがＨｉｇｈレベルとなった際にＯＮ状態となる。転送スイッチ１２１がＯＮ状態になると、カウンタ１１４のカウント値が画素メモリ１１６に転送される。
画素メモリ１１６は、カウンタ１１４から供給されるカウント値を一時的に格納する。読み出しスイッチ１２２をＯＮ状態とすることによって、画素メモリ１１６に格納されたカウント値が、信号線１０５を介して、列メモリ１０３に書き込まれる。

垂直走査部１０１には、水平方向に延在する複数の制御線が接続されている。垂直走査部１０１は、これらの制御線に読み出し信号（読み出しパルス）ＲＥＡＤを順次供給する。読み出し信号一般について説明する際には、符号ＲＥＡＤを用い、個々の読み出し信号について説明する際には、符号ＲＥＡＤｎ、ＲＥＡＤｎ＋１を用いることとする。読み出し信号ＲＥＡＤｎは、第ｎ番目の行に位置する制御線に印加される読み出し信号である。
読み出し信号ＲＥＡＤｎ＋１は、第ｎ＋１番目の行に位置する制御線に印加される読み出し信号である。同じ行に位置する複数の画素１１０には、同じ制御線を介して読み出し信号ＲＥＡＤが供給される。読み出し信号ＲＥＡＤは、読み出しスイッチ１２２に供給される。読み出しスイッチ１２２は、読み出し信号ＲＥＡＤｎがＨｉｇｈレベルになるとＯＮ状態となる。

列メモリ１０３には、垂直方向に延在する複数の信号線（垂直信号線、出力信号線）１０５が接続されている。なお、信号線一般について説明する際には、符号１０５を用い、個々の信号線について説明する際には、符号１０５ａ，１０５ｂを用いることとする。ここでは、説明の簡略化のため、２つの信号線１０５が図示されているが、信号線１０５は列毎に備えられており、多数の信号線１０５が固体撮像素子１００に備えられている。
画素メモリ１１６から出力される信号が、読み出しスイッチ１２２、出力部１２５及び信号線１０５を介して、列メモリ１０３に出力される。読み出しスイッチ１２２は、垂直走査部１０１から供給される読み出し信号ＲＥＡＤがＬｏｗレベルの際にはＯＦＦ状態となり、読み出し信号ＲＥＡＤがＨｉｇｈレベルの際にはＯＮ状態となる。
垂直走査部１０１から供給される読み出し信号ＲＥＡＤによって選択される行に位置する複数の画素１１０からそれぞれ出力される信号値、即ち、画素信号値（カウント値）が、信号線１０５をそれぞれ介して列メモリ１０３に書き込まれる。列メモリ１０３は、各々の画素１１０から読み出された画素信号値をそれぞれ保持する。

画素メモリ１１６のリセット端子には、読み出し信号ＲＥＡＤを遅延回路１２４によって遅延されることにより得られる信号が供給される。遅延回路１２４は、例えば２つのインバータを直列に接続することによって構成されている。画素メモリ１１６から出力される信号が読み出しスイッチ１２２を介して列メモリ１０３に格納された後に、遅延回路１２４から供給される信号によって画素メモリ１１６がリセットされる。
水平走査部１０４は、列メモリ１０３に保持された各々の画素信号値を、出力線Ｏｕｔｐｕｔを介して信号処理部４０２（図４参照）に順次出力する。

図２は、本実施形態による固体撮像素子１００の動作を示すタイミングチャートである。ここでは、複数の画素１１０のうちの画素１１０ａの動作に着目して説明する。タイミングｔ２０１からタイミングｔ２０６までの期間は、同期信号ＶＤの周期に対応する期間である１Ｖ期間である。
タイミングｔ２０１からタイミングｔ２１１までの期間は、１フレームの期間である１フレーム期間である。タイミングｔ２０３からタイミングｔ２０５までの期間は、画素１１０が撮像モードで動作する期間である。タイミングｔ２０６からタイミングｔ２１１までの期間は、画素１１０が測距モードで動作する期間である。

タイミングｔ２０１において、同期信号（同期パルス）ＶＤがＨｉｇｈレベルになると、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＨｉｇｈレベルにする。これにより、各々の画素１１０のカウンタ１１４と、各々の画素１１０のＳＲラッチ回路１２３とがリセットされる。なお、同期信号ＶＤは、タイミングｔ２０２においてＬｏｗレベルに戻る。

タイミングｔ２０３において、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＬｏｗレベルにするとともに、イネーブル信号ＥＮＡＢＬＥをＨｉｇｈレベルにする。リセット信号ＲＥＳがＬｏｗレベルになると、カウンタ１１４のリセットが解除され、イネーブル信号ＥＮＡＢＬＥがＨｉｇｈレベルになると、カウンタ１１４は、インバータ１１３から出力されるパルス信号ＰＬＳのカウントを開始する。これにより、撮像モードでの動作が開始される。
タイミングｔ２０３からタイミングｔ２０５までの期間は、撮像モードで動作する期間である。当該期間においては、図１を用いて上述したように、ＳＰＡＤ１１１に単一光子が入射すると、ＳＰＡＤ１１１によって信号が生成され、波形整形されたパルス信号ＰＬＳがインバータ１１３から出力される。カウンタ１１４は、インバータ１１３から出力されるパルス信号ＰＬＳの数をカウントする。
タイミングｔ２０５の直前のタイミングｔ２０４において、制御パルスＭＥＭがＨｉｇｈレベルとなる。制御パルスＭＥＭがＨｉｇｈレベルになると、転送スイッチ１２１がＯＮ状態となり、カウンタ１１４のカウント値が画素メモリ１１６に格納される。従って、タイミングｔ２０３からタイミングｔ２０４までにカウントされたパルス信号ＰＬＳの数が、撮像カウント値となる。

タイミングｔ２０５からタイミングｔ２０６までの期間においては、列メモリ１０３に保持された画素信号値が出力線Ｏｕｔｐｕｔを介して信号処理部４０２に順次出力される。具体的には、タイミングｔ２０５において、第０番目の行に位置する複数の画素１１０に垂直走査部１０１から供給される読み出し信号ＲＥＡＤ０がＨｉｇｈレベルとなる。
読み出し信号ＲＥＡＤ０がＨｉｇｈレベルになると、第０番目の行に位置する複数の画素１１０によってそれぞれ取得された撮像カウント値が、列メモリ１０３に書き込まれる。この後、読み出し信号ＲＥＡＤ０を遅延回路１２４によって遅延されることにより得られる信号が画素メモリ１１６のリセット端子に供給され、これにより画素メモリ１１６がリセットされる。
水平走査部１０４は、第０番目の行に位置する複数の画素１１０によって取得されるとともに列メモリ１０３に格納された画素信号値を、出力線Ｏｕｔｐｕｔを介して信号処理部４０２に順次出力する。こうして、第０番目の行に位置する複数の画素１１ ０からの撮像カウント値の読み出しが完了する。
この後、同様にして、各々の行に位置する複数の画素１１０から撮像カウント値が順次読み出される。こうして、全ての行からの撮像カウント値が読み出され、１フレーム分の撮像カウント値の読み出しが完了する。

タイミングｔ２０６からタイミングｔ２１１までの期間は、測距モードで動作する期間である。タイミングｔ２０６からタイミングｔ２１０までの期間においては、制御信号ＣＬＫ＿ｓｅｌがＨｉｇｈレベルに設定され、カウンタ１１４の入力端子にクロック信号ＣＬＫが入力される。
タイミングｔ２０７からタイミングｔ２０８までの期間においては、発光部４０９を発光させるための発光制御信号がＨｉｇｈレベルに設定されるとともに、リセット信号ＲＥＳがＨｉｇｈレベルに設定される。これにより、撮像カウント値が保持されているカウンタ１１４がリセットされる。

この後、被写体によって反射された光が固体撮像素子１００の撮像面に達する。被写体によって反射された光が固体撮像素子１００の撮像面に達すると、パルス信号ＰＬＳの時間間隔が狭くなる。パルス信号ＰＬＳの時間間隔が狭くなると、ＬＰＦ１１９から出力される信号の電圧が上昇する。
タイミングｔ２０９において、ＬＰＦ１１９から出力される信号の電圧が第１の閾値Ｖｔｈ１以上になり、比較器１２０からＨｉｇｈレベルの信号が出力される。制御信号ＣＬＫ＿ｓｅｌがＨｉｇｈレベルであるため、比較器１２０からＨｉｇｈレベルの信号が出力されると、ＮＡＮＤ素子１１７から出力される信号はＬｏｗレベルとなる。
ＮＡＮＤ素子１１７から出力される信号がＬｏｗレベルになると、ＡＮＤ素子１１８から出力される信号はＬｏｗレベルになり、カウンタ１１４のイネーブル端子はＬｏｗレベルとなる。タイミングｔ２０７とタイミングｔ２０９との間の時刻差は、被写体までの距離に比例する。タイミングｔ２０７とタイミングｔ２０９との時間差に応じた測距カウント値がカウンタ１１４によって取得される。

タイミングｔ２１０からタイミングｔ２１１までの期間においては、制御パルスＭＥＭがＨｉｇｈレベルとなる。制御パルスＭＥＭがＨｉｇｈレベルになると、転送スイッチ１２１がＯＮ状態となり、カウンタ１１４のカウント値が画素メモリ１１６に格納される。従って、タイミングｔ２０７からタイミングｔ２０９までにカウントされたパルス信号ＰＬＳの数が、測距カウント値となる。
タイミングｔ２１１以降においては、各々の行から画素信号値が順次読み出される。各々の行に位置する複数の画素１１０から測距カウント値が順次読み出される。こうして、全ての行からの測距カウント値が読み出され、１フレーム分の測距カウント値の読み出しが完了する。

なお、タイミングｔ２１０において同期信号ＶＤをＨｉｇｈレベルとし、当該フレームの次のフレームの撮影を開始するようにしてもよい。また、測距カウント値に基づいて求められる被写体距離に変化が生じた場合には、次のフレームの撮影に先立って、光学系（撮像光学系）４０１（図４参照）の焦点位置を調節するようにしてもよい。また、第１の閾値Ｖｔｈ１の値に応じた検出遅れが比較器１２０において生じ得るため、被写体までの距離を測距カウント値に基づいて求める際に、第１の閾値Ｖｔｈ１の値に応じた補正を行うようにしてもよい。

本実施形態による固体撮像素子１００は、カウンタ１１４と画素メモリ１１６とを含む計数部３０４に多ビットのデータが保持されるため、回路規模が大きくなる傾向がある。しかし、撮像モードにおけるカウント動作と測距モードにおけるカウント動作とを同じ計数部３０４を用いて行い得るため、回路規模の過度な増大を抑制し得る。

図３は、本実施形態による固体撮像素子を示す図である。図３（ａ）は、本実施形態による固体撮像素子を示す斜視図である。図３（ａ）に示すように、固体撮像素子１００は、２つの基板（半導体チップ）３０１，３０２を積層することによって構成されている。図３（ｂ）は、本実施形態による固体撮像素子１００に備えられている画素を示している。図３（ｂ）においては、固体撮像素子１００に備えられた複数の画素１１０のうちの１つの画素１１０が抜き出して示されている。

図３（ａ）に示すように、固体撮像素子１００は、光学系４０１によって形成される光学像を受光する基板（上部基板）３０１と、主としてデジタル系の回路を備える基板（下部基板）３０２とから構成されている。図３（ｂ）に示すように、画素１１０は、センサ部（受光部、画素部）３０３と計数部３０４とによって構成されている。画素１１０のうちのセンサ部３０３が基板３０１に形成されている。
画素１１０のうちの計数部３０４が基板３０２に形成されている。複数のセンサ部３０３が、基板３０１に行列状に配列されている。複数の計数部３０４が、基板３０２に行列状に配列されている。複数のセンサ部３０３の各々と、これらのセンサ部３０３に対応する複数の計数部３０４の各々とが、互いに電気的に接続されている。こうして、複数の画素１１０がマトリクス状に配されている。

センサ部３０３には、ＳＰＡＤ１１１と、クエンチング素子１１２と、インバータ１１３とが備えられている。センサ部３０３にインバータ１１３が備えられているため、波形整形されたパルス信号ＰＬＳがセンサ部３０３から計数部３０４に伝送される。
従って、センサ部３０３から計数部３０４への伝送は比較的ロバストである。計数部３０４には、入力選択スイッチ１１５と、カウンタ１１４と、転送スイッチ１２１と、画素メモリ１１６と、ＮＡＮＤ素子１１７と、ＡＮＤ素子１１８と、ＬＰＦ１１９と、比較器１２０と、読み出しスイッチ１２２とが備えられている。計数部３０４には、ＳＲラッチ回路１２３と、遅延回路１２４とが更に備えられている。

垂直走査部１０１と、タイミングジェネレータ１０２と、列メモリ１０３と、水平走査部１０４とは、基板３０１の周辺回路部３０５又は基板３０２の周辺回路部３０６とのうちのいずれかに備えられている。ここでは、垂直走査部１０１と、タイミングジェネレータ１０２と、列メモリ１０３と、水平走査部１０４とが、基板３０２の周辺回路部３０６に配置されている場合を例に説明する。

このように、本実施形態では、センサ部３０３が基板３０１に形成されており、計数部３０４が基板３０２に形成されている。回路規模が大きい計数部３０４が、センサ部３０３が備えられている基板３０１とは別個の基板３０２に備えられているため、センサ部３０３の面積を十分に確保することができる。このため、センサ部３０３の開口面積を十分に確保することができる。

なお、固体撮像素子１００の構造は、上記に限定されるものではない。目的や用途に応じて固体撮像素子１００の構造を適宜変更し得る。例えば、３つ以上の基板を積層することにより固体撮像素子１００を構成してもよいし、１つの基板によって固体撮像素子１００を構成してもよい。複数の基板（半導体チップ）の各々は、異なるプロセスルールに従って製造するようにしてもよい。また、信号処理を行うための別の回路や、フレームメモリ等を、基板３０２に設けるようにしてもよい。例えば、ノイズ低減処理を施す信号処理回路や、撮像された被写体の検出等を行う検出回路等を、基板３０２に設けるようにしてもよい。

図４（ａ）は、本実施形態による撮像装置４００を示すブロック図である。撮像装置４００は、固体撮像素子１００、信号処理部４０２、メモリ４０３、制御部４０４、操作部４０５、表示部４０６、記録部４０７、光学系駆動部４０８、及び、発光部４０９を備え ている。撮像装置４００には、光学系４０１が備えられる。光学系４０１は、撮像装置４００に着脱可能であってもよいし着脱不能であってもよい。

光学系４０１には、フォーカスレンズ、ズームレンズ、及び、絞り等が備えられている。光学系４０１は、被写体の光学像を形成し、形成した光学像を固体撮像素子１００の撮像面に入射する。固体撮像素子１００は、光学系４０１によって形成される光学像を上記のようにして撮像する。
固体撮像素子１００は、画素信号値を複数の画素１１０の各々から順次読み出し、読み出した画素信号値を信号処理部４０２に順次出力する。撮像モードにおいては、固体撮像素子１００から撮像カウント値が出力され、測距モードにおいては、固体撮像素子１００から測距カウント値が出力される。

信号処理部４０２は、固体撮像素子１００から出力される撮像カウント値又は測距カウント値に対して順次処理を行う。例えば、信号処理部４０２は、上記の式（１）及び（２）に基づいて、各被写体までの距離を算出することにより、２次元的な距離データである距離マップを取得し得る。
また、信号処理部４０２は、撮像カウント値に対して、補正処理等を行い得る。こうして、画像、即ち、画像データが生成される。かかる画像は、静止画像であってもよいし、動画像を構成するフレームであってもよい。信号処理部４０２は、画像を生成する過程において、信号の並べ替え、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正、解像度変換、データ圧縮等を更に行うこともできる。

メモリ４０３は、信号処理部４０２が演算処理等を行う際に用いられる。メモリ４０３としては、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やフラッシュメモリ等を用い得る。メモリ４０３は、連続撮影の際には、バッファメモリとしても用い得る。
制御部（全体制御・演算部）４０４は、本実施形態による撮像装置４００の全体の制御を司る。制御部４０４には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が備えられている。また、制御部４０４は、信号処理部４０２によって処理された画像信号を、メモリ４０３や表示部４０６に出力する。制御部４０４は、信号処理部４０２から供給される静止画像又は動画像を記録部４０７や表示部４０６に供給する。

操作部４０５は、ボタン、スイッチ、電子ダイヤル等の操作部材によって構成される。ユーザ等が操作部４０５を操作すると、操作内容に応じた信号が操作部４０５から制御部４０４に供給される。表示部４０６は、制御部４０４から供給される画像を表示する。記録部（記録制御部）４０７には、不図示の記録媒体が装着される。かかる記録媒体としては、例えば、メモリカード等が用いられる。なお、記録媒体として、ハードディスク等が用いられてもよい。光学系駆動部４０８は、光学系４０１に備えられたフォーカスレンズ、ズームレンズ、絞り等の制御を行うためのものである。

制御部４０４は、信号処理部４０２から供給される距離マップと、予め設定された測距モードとに基づいて、光学系４０１に備えられたフォーカスレンズを光学系駆動部４０８により駆動することで、オートフォーカス処理を行う。測距モードとしては、例えば中央重点測距、主要被写体重点測距等が挙げられるが、これに限定されるものではない。
なお、外部装置と通信するための有線又は無線による通信インターフェースを、撮像装置４００が更に備えるようにしてもよい。この場合、撮像装置４００は、当該通信インターフェースを介して、生成した画像等を外部装置等に送信したり、外部装置から制御信号等を受信したりすることが可能となる。

発光部４０９は、測距モードにおいて用いられる光源である。発光部４０９は、例えば可視光領域の光を発する。発光部４０９は、制御部４０４から供給される発光制御信号が Ｈｉｇｈレベルになると発光を開始し、当該発光制御信号がＬｏｗレベルになると発光を終了する。
このように、本実施形態によれば、カウンタ１１４は、センサ部３０３から発せられるパルス信号ＰＬＳのパルス数をカウントする第１のモードで動作し得る。また、カウンタ１１４は、発光部４０９から光が発せられたタイミングからの経過時間に応じたクロック信号ＣＬＫのパルス数をカウントする第２のモードでも動作し得る。このため、本実施形態によれば、回路規模を抑制しつつ画像取得と測距とを実現し得る固体撮像素子及び撮像装置を提供することができる。

［第２実施形態］
第２実施形態による固体撮像素子及び撮像装置について図４（ｂ）、図５及び図６を用いて説明する。図１乃至図４に示す第１実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

本実施形態による固体撮像素子５００は、Ｒ画素１１０ａとＢ画素１１０ｄとを測距モードで動作させている際に、Ｇ画素１１０ｂ、１１０ｃを撮像モードで動作させ得るものである。また、本実施形態による固体撮像素子５００は、Ｒ画素１１０ａとＢ画素１１０ｄとを撮像モードで動作させている際に、Ｇ画素１１０ｂ、１１０ｃを測距モードで動作させ得るものである。

図４（ｂ）は、本実施形態による撮像装置４００を示すブロック図である。図４（ｂ）に示すように、発光部４０９は、Ｒ（赤色）に対応する波長の光を発するＲ発光部４０９Ｒと、Ｇ（緑色）に対応する波長の光を発するＧ発光部４０９Ｇと、Ｂ（青色）に対応する波長の光を発するＢ発光部４０９Ｂとを備えている。Ｒ発光部４０９Ｒの発光波長は、例えば６００ｎｍ台である。Ｇ発光部４０９Ｇの発光波長は、５００ｎｍ台である。Ｂ発光部４０９Ｂの発光波長は、例えば４００ｎｍ台である。

図５は、本実施形態による固体撮像素子５００を示す図である。画素１１０ａは、Ｒの透過波長域を備えたカラーフィルタが備えられたＲ画素であり、画素１１０ｂ、１１０ｃは、Ｇの透過波長域を備えたカラーフィルタが備えられたＧ画素である。画素１１０ｄは、Ｂの透過波長域を備えたカラーフィルタが備えられたＢ画素である。このように、固体撮像素子５００の画素アレイには、ベイヤ配列の画素１１０が備えられている。
固体撮像素子５００には、制御信号ＣＬＫ＿ｓｅｌ＿Ｇをタイミングジェネレータ１０２から画素１１０に供給するための配線と、制御信号ＣＬＫ＿ｓｅｌ＿ＲＢをタイミングジェネレータ１０２から画素１１０に供給するための配線とが備えられている。制御信号ＣＬＫ＿ｓｅｌ＿ＲＢは、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられた入力選択スイッチ１１５に供給される。
また、制御信号ＣＬＫ＿ｓｅｌ＿ＲＢは、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたＮＡＮＤ素子１１７の一方の入力端子にも供給される。制御信号ＣＬＫ＿ｓｅｌ＿Ｇは、Ｇの画素であるＧ画素１１０ｂ、１１０ｃにそれぞれ備えられた入力選択スイッチ１１５に供給される。また、制御信号ＣＬＫ＿ｓｅｌ＿Ｇは、Ｇ画素１１０ｂ、１１０ｃにそれぞれ備えられたＮＡＮＤ素子１１７の一方の入力端子にも供給される。

図６は、本実施形態による固体撮像素子５００の動作を示すタイミングチャートである。タイミングｔ６０１からタイミングｔ６１３までの期間は、同期信号ＶＤの周期に対応する期間である１Ｖ期間である。タイミングｔ６０３からタイミングｔ６０８までの期間は、Ｇ画素１１０ｂ、１１０ｃを撮像モードで動作させ、Ｒ画素１１０ａ及びＢ画素１１０ｄを測距モードで動作させる期間である。タイミングｔ６０８からタイミングｔ６１３までの期間は、Ｒ画素１１０ａ及びＢ画素１１０ｄを撮像モードで動作させ、Ｇ画素１１０ｂ、１１０ｃを測距モードで動作させる期間である。

タイミングｔ６０１において、同期信号ＶＤがＨｉｇｈレベルになる。タイミングｔ６０２において、同期信号ＶＤは、Ｌｏｗレベルに戻る。
タイミングｔ６０３において、制御部４０４は、Ｒ発光部４０９Ｒを発光させるためのＲ発光制御信号と、Ｂ発光部４０９Ｂを発光させるためのＢ発光制御信号とをＨｉｇｈレベルに設定する。これにより、Ｒ発光部４０９ＲとＢ発光部４０９Ｂとが発光開始する。
また、タイミングｔ６０３において、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＨｉｇｈレベルにする。これにより、各々の画素１１０のカウンタ１１４と、各々の画素１１０のＳＲラッチ回路１２３とがリセットされる。
また、タイミングｔ６０３において、タイミングジェネレータ１０２は、制御信号ＣＬＫ＿ｓｅｌ＿ＲＢをＬｏｗレベルからＨｉｇｈレベルに変化させる。これにより、Ｒ画素１１０ａとＢ画素１１０ｄとにおいて、クロック信号ＣＬＫがカウンタ１１４の入力端子に入力されるように、入力選択スイッチ１１５が設定される。これにより、Ｒ画素１１０ａとＢ画素１１０ｄとは、測距モードで動作し得るようになる。
また、タイミングｔ６０３において、タイミングジェネレータ１０２は、制御信号ＣＬＫ＿ｓｅｌ＿ＧをＨｉｇｈレベルからＬｏｗレベルに変化させる。これにより、Ｇ画素１１０ｂ、１１０ｃにおいて、インバータ１１３から出力されるパルス信号ＰＬＳがカウンタ１１４の入力端子に入力されるように、入力選択スイッチ１１５が設定される。これにより、Ｇ画素１１０ｂ、１１０ｃが、撮像モードで動作し得るようになる。

タイミングｔ６０４において、制御部４０４は、Ｒ発光部４０９Ｒを発光させるためのＲ発光制御信号と、Ｂ発光部４０９Ｂを発光させるためのＢ発光制御信号とをＬｏｗレベルに設定する。これにより、Ｒ発光部４０９ＲとＢ発光部４０９Ｂとが発光を停止する。
また、タイミングｔ６０４において、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＬｏｗレベルにするとともに、イネーブル信号ＥＮＡＢＬＥをＨｉｇｈレベルにする。リセット信号ＲＥＳがＬｏｗレベルになると、カウンタ１１４のリセットが解除され、イネーブル信号ＥＮＡＢＬＥがＨｉｇｈレベルになると、カウンタ１１４は、カウント動作を開始する。
Ｒ発光部４０９ＲとＢ発光部４０９Ｂとから発せられた光が被写体によって反射され、固体撮像素子５００の撮像面に配された画素１１０に達する。被写体によって反射された光が固体撮像素子５００の撮像面に配された画素１１０に達すると、Ｒ画素１１０ａとＢ画素１１０ｄとにおいて、パルス信号ＰＬＳの時間間隔が狭くなる。
Ｒ画素１１０ａとＢ画素１１０ｄとにおいて、パルス信号ＰＬＳの時間間隔が狭くなると、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたＬＰＦ１１９から出力される信号の電圧が上昇する。そして、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたＬＰＦ１１９から出力される信号の電圧が、タイミングｔ６０５において第１の閾値Ｖｔｈ１以上となる。これにより、Ｒ画素１１０ａとＢ画素１１０ｄとに備えられた比較器１２０から出力される信号がＨｉｇｈレベルに反転する。
タイミングｔ６０３とタイミングｔ６０５との間の時刻差は、被写体までの距離に比例する。制御信号ＣＬＫ＿ｓｅｌ＿ＲＢはＨｉｇｈレベルとなっている。このため、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられた比較器１２０から出力される信号がＨｉｇｈレベルに反転すると、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたＮＡＮＤ素子１１７から出力される信号はＬｏｗレベルとなる。
Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたＮＡＮＤ素子１１７から出力される信号がＬｏｗレベルになると、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたＡＮＤ素子１１８から出力される信号はＬｏｗレベルとなる。また、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたＮＡＮＤ素子１１７から出力される信号がＬｏｗレベルになると、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたカウンタ１１４のイネーブル端子はＬｏｗレベルとなる。
こうして、タイミングｔ６０３とタイミングｔ６０５との時間差に応じた測距カウント値が、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたカウンタ１１４によって取得される。なお、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられた比較器１２０から出力される信 号は、タイミングｔ６０６においてＬｏｗレベルとなる。
一方、Ｇ画素１１０ｂ、１１０ｃにおいては、タイミングｔ６０４において、カウンタ１１４が、インバータ１１３から出力されるパルス信号ＰＬＳのカウントを開始する。Ｇ画素１１０ｂ、１１０ｃに備えられたＳＰＡＤ１１１に光子が入射すると、当該ＳＰＡＤ１１１によって信号が生成され、波形整形されたパルス信号ＰＬＳがインバータ１１３から出力される。Ｇ画素１１０ｂ、１１０ｃに備えられたカウンタ１１４は、Ｇ画素１１０ｂ、１１０ｃに備えられたインバータ１１３から出力されるパルス信号ＰＬＳの数をカウントする。

タイミングｔ６０８の直前のタイミングｔ６０７において、制御パルスＭＥＭがＨｉｇｈレベルとなる。制御パルスＭＥＭがＨｉｇｈレベルになると、転送スイッチ１２１がＯＮ状態となり、カウンタ１１４のカウント値が画素メモリ１１６に格納される。従って、Ｒ画素１１０ａとＢ画素１１０ｄの各々に備えられたカウンタ１１４により得られたカウント値が、Ｒ画素１１０ａとＢ画素１１０ｄの各々における測距カウント値となる。また、Ｇ画素１１０ｂ、１１０ｃの各々に備えられたカウンタ１１４により得られたカウント値が、Ｇ画素１１０ｂ、１１０ｃにおける撮像カウント値となる。

タイミングｔ６０８において、制御部４０４は、Ｇ発光部４０９Ｇを発光させるためのＧ発光制御信号をＨｉｇｈレベルに設定する。これにより、Ｇ発光部４０９Ｇが発光開始する。また、タイミングｔ６０８において、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＨｉｇｈレベルにする。これにより、各々の画素１１０のカウンタ１１４と、各々の画素１１０のＳＲラッチ回路１２３とがリセットされる。
また、タイミングｔ６０８において、タイミングジェネレータ１０２は、制御信号ＣＬＫ＿ｓｅｌ＿ＲＢをＨｉｇｈレベルからＬｏｗレベルに変化させる。これにより、Ｒ画素１１０ａとＢ画素１１０ｄとにおいて、インバータ１１３から出力されるパルス信号ＰＬＳがカウンタ１１４の入力端子に入力されるように、入力選択スイッチ１１５が設定される。これにより、Ｒ画素１１０ａとＢ画素１１０ｄとは、撮像モードで動作し得るようになる。
また、タイミングｔ６０８において、タイミングジェネレータ１０２は、制御信号ＣＬＫ＿ｓｅｌ＿ＧをＬｏｗレベルからＨｉｇｈレベルに変化させる。これにより、Ｇ画素１１０ｂ、１１０ｃにおいて、クロック信号ＣＬＫがカウンタ１１４の入力端子に入力されるように、入力選択スイッチ１１５が設定される。これにより、Ｇ画素１１０ｂ、１１０ｃが、測距モードで動作し得るようになる。

タイミングｔ６０８以降においては、各々の行から画素信号値が順次読み出される。Ｒ画素１１０ａ及びＢ画素１１０ｄからは測距カウント値が読み出され、Ｇ画素１１０ｂ、１１０ｃからは撮像カウント値が読み出される。こうして、全ての行からのこれらのカウント値が読み出される。

タイミングｔ６０９において、制御部４０４は、Ｇ発光部４０９Ｇを発光させるためのＧ発光制御信号をＬｏｗレベルに設定する。これにより、Ｇ発光部４０９Ｇが発光を停止する。また、タイミングｔ６０９において、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＬｏｗレベルにする。リセット信号ＲＥＳがＬｏｗレベルになると、カウンタ１１４のリセットが解除され、カウンタ１１４は、カウント動作を開始する。
Ｇ発光部４０９Ｇから発せられた光が被写体によって反射され、固体撮像素子１００の撮像面に配された画素１１０に達する。被写体によって反射された光が固体撮像素子１００の撮像面に達すると、Ｇ画素１１０ｂ、１１０ｃにおいて、パルス信号ＰＬＳの時間間隔が狭くなる。Ｇ画素１１０ｂ、１１０ｃにおいて、パルス信号ＰＬＳの時間間隔が狭くなると、Ｇ画素１１０ｂ，１１０ｃにそれぞれ備えられたＬＰＦ１１９から出力される信号の電圧が上昇する。
そして、Ｇ画素１１０ｂ，１１０ｃにそれぞれ備えられたＬＰＦ１１９から出力される信号の電圧が、タイミングｔ６１０において第１の閾値Ｖｔｈ１以上となる。これにより、Ｇ画素１１０ｂ，１１０ｃに備えられた比較器１２０から出力される信号がＨ ｉｇｈレベルとなる。
タイミングｔ６０８とタイミングｔ６１０との間の時刻差は、被写体までの距離に比例する。制御信号ＣＬＫ＿ｓｅｌ＿ＧはＨｉｇｈレベルとなっている。このため、Ｇ画素１１０ｂ，１１０ｃにそれぞれ備えられた比較器１２０からＨｉｇｈレベルの信号が出力されると、Ｇ画素１１０ｂ，１１０ｃにそれぞれ備えられたＮＡＮＤ素子１１７から出力される信号はＬｏｗレベルとなる。
Ｇ画素１１０ｂ，１１０ｃにそれぞれ備えられたＮＡＮＤ素子１１７から出力される信号がＬｏｗレベルになると、Ｇ画素１１０ｂ，１１０ｃにそれぞれ備えられたＡＮＤ素子１１８から出力される信号はＬｏｗレベルとなる。また、Ｇ画素１１０ｂ，１１０ｃにそれぞれ備えられたＮＡＮＤ素子１１７から出力される信号がＬｏｗレベルになると、Ｇ画素１１０ｂ、１１０ｃにそれぞれ備えられたカウンタ１１４のイネーブル端子はＬｏｗレベルとなる。こうして、タイミングｔ６０８とタイミングｔ６１０との時間差に応じた測距カウント値が、Ｇ画素１１０ｂ、１１０ｃにそれぞれ備えられたカウンタ１１４によって取得される。
なお、Ｇ画素１１０ｂ、１１０ｃに備えられた比較器１２０から出力される信号は、タイミングｔ６１１においてＬｏｗレベルとなる。一方、Ｒ画素１１０ａとＢ画素１１０ｄとにおいては、タイミングｔ６０９において、カウンタ１１４が、インバータ１１３から出力されるパルス信号ＰＬＳのカウントを開始する。Ｒ画素１１０ａとＢ画素１１０ｄとに備えられたＳＰＡＤ１１１に光子が入射すると、当該ＳＰＡＤ１１１によって信号が生成され、波形整形されたパルス信号ＰＬＳがインバータ１１３から出力される。Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたカウンタ１１４は、Ｒ画素１１０ａとＢ画素１１０ｄとにそれぞれ備えられたインバータ１１３から出力されるパルス信号ＰＬＳの数をカウントする。

タイミングｔ６１３の直前のタイミングｔ６１２において、制御パルスＭＥＭがＨｉｇｈレベルとなる。制御パルスＭＥＭがＨｉｇｈレベルになると、転送スイッチ１２１がＯＮ状態となり、カウンタ１１４のカウント値が画素メモリ１１６に格納される。
従って、Ｒ画素１１０ａとＢ画素１１０ｄの各々に備えられたカウンタ１１４により得られたカウント値が、Ｒ画素１１０ａとＢ画素１１０ｄの各々における撮像カウント値となる。また、Ｇ画素１１０ｂ、１１０ｃの各々に備えられたカウンタ１１４により得られたカウント値が、Ｇ画素１１０ｂ、１１０ｃにおける測距カウント値となる。
タイミングｔ６１３以降においては、各々の行から画素信号値が順次読み出される。Ｒ画素１１０ａ及びＢ画素１１０ｄからは撮像カウント値が読み出され、Ｇ画素１１０ｂ、１１０ｃからは測距カウント値が読み出される。こうして、全ての行からのこれらのカウント値が読み出される。

このように、本実施形態によれば、Ｒ画素１１０ａとＢ画素１１０ｄとを測距モードで動作させている際に、Ｇ画素１１０ｂ、１１０ｃを撮像モードで動作させる。一方、Ｒ画素１１０ａとＢ画素１１０ｄとを撮像モードで動作させている際に、Ｇ画素１１０ｂ、１１０ｃを測距モードで動作させる。このように、本実施形態によれば、測距モードでの動作と撮像モードでの動作を並列的に実行し得る。

［第３実施形態］
第３実施形態による固体撮像素子及び撮像装置を図４（ｃ）及び図７乃至図１１を用いて説明する。図１乃至図６に示す第１又は第２実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による固体撮像素子は、赤外光を検出し得る画素８１０ｃが備えられているものである。

図４（ｃ）は、本実施形態による撮像装置４００を示すブロック図である。図４（ｃ）に示すように、本実施形態による撮像装置４００は、赤外光を発する赤外発光部４０９ＩＲを備えている。

図７は、本実施形態による固体撮像素子８００に備えられた画素アレイ８３０の各領域を概念的に示す図である。図７に示すように、画素アレイ８３０は、複数の領域Ａｒｅａ（ｐ，ｑ）を含む。１つの領域Ａｒｅａ（ｐ，ｑ）には、複数の単位画素８４０（図８参照）が形成されている。単位画素８４０は、２行×２列で配された４つの画素８１０ａ～８１０ｄ（図８参照）を含む。図７には、画素アレイ８３０が６４個の領域Ａｒｅａ（ｐ，ｑ）に分割されている場合が例として示されているが、これに限定されるものではない 。

図８は、本実施形態による固体撮像素子８００を示す図である。固体撮像素子８００には、複数の画素８１０を含む単位画素８４０が複数備えられている。図８には、画素アレイ８３０に備えられた複数の単位画素８４０のうちの１つの単位画素８４０が図示されている。１つの単位画素８４０は、上述したように、４つの画素８１０を含む。
画素一般について説明する際には、符号８１０を用い、個々の画素について説明する際には、符号８１０ａ～８１０ｄを用いることとする。画素８１０ｃの構成は、図１を用いて上述した第１実施形態における固体撮像素子１００に備えられた画素１１０ｃの構成と同様である。制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）は、領域Ａｒｅａ（ｐ，ｑ）内に位置する画素８１０ｃに供給される。制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）は、画素８１０ａ、８１０ｂ、８１０ｄには供給されない。

画素８１０ａ、８１０ｂ、８１０ｄには、入力選択スイッチ１１５が備えられていない。このため、画素８１０ａ、８１０ｂ、８１０ｄに備えられたカウンタ１１４の入力端子に入力される信号は、インバータ１１３から出力されるパルス信号ＰＬＳのみである。従って、画素８１０ａ、８１０ｂ、８１０ｄは撮像モードでのみ動作する。また、画素８１０ａ、８１０ｂ、８１０ｄには、ＡＮＤ素子１１８と、ＮＡＮＤ素子１１７とが備えられていない。このため、画素８１０ａ、８１０ｂ、８１０ｄに備えられたカウンタ１１４をイネーブルにするか否かは、イネーブル信号ＥＮＡＢＬＥのみによって制御される。
また、画素８１０ａ、８１０ｂ、８１０ｄにおいては、ＳＲラッチ回路１２３のＱ端子から出力される信号は、カウンタ１１４から供給されるカウント値とともに、画素メモリ１１６に供給される。また、画素８１０ａ、８１０ｂ、８１０ｄに備えられた比較器１２０の一方の入力端子には、画素８１０ｃに備えられた比較器１２０と同様に、ＬＰＦ１１９から出力される信号が入力される。
画素８１０ａ、８１０ｂ、８１０ｄに備えられた比較器１２０の他方の入力端子には、第１の閾値Ｖｔｈ１とは異なる第２の閾値Ｖｔｈ２が供給される。画素８１０ａ、８１０ｂ、８１０ｄにおいては、ＬＰＦ１１９の出力電圧が第２の閾値Ｖｔｈ２よりも小さい場合に、比較器１２０からＬｏｗレベルの信号が出力される。画素８１０ａ、８１０ｂ、８１０ｄにおいては、ＬＰＦ１１９の出力電圧が第２の閾値Ｖｔｈ２以上である場合に、比較器１２０からＨｉｇｈレベルの信号が出力される。
これにより、画素８１０ａ、８１０ｂ、８１０ｄに備えられたＳＲラッチ回路１２３のＱ端子はＨｉｇｈレベルとなる。この後、画素８１０ａ、８１０ｂ、８１０ｄの受光量が低下した場合においても、画素８１０ａ、８１０ｂ、８１０ｄに備えられたＳＲラッチ回路１２３のＱ端子はＨｉｇｈレベルを維持する。

画素８１０ｃは、赤外光を透過するカラーフィルタが備えられた画素、即ち、ＩＲ画素である。画素８１０ａは、Ｒ画素であり、Ｒ（赤色）に対応する所定波長域の光を透過するとともに赤外光を透過しないカラーフィルタが備えられている。画素８１０ｂは、Ｇ画素であり、Ｇ（緑色）に対応する所定波長域の光を透過するとともに赤外光を透過しないカラーフィルタが備えられている。
画素８１０ｄは、Ｂ画素であり、Ｂ（青色）に対応する所定波長域の光を透過するとともに赤外光を透過しないカラーフィルタが備えられている。即ち、本実施形態における単位画素８４０は、ベイヤ配列を基本としつつ、ベイヤ配列の単位画素を構成する２つのＧ画素のうちの１つがＩＲ画素によって置き換えられた単位画素である。
本実施形態では、ＩＲ画素８１０ｃが備えられているため、Ｒ画素８１０ ａ、Ｇ画素８１０ｂ及びＢ画素８１０ｄを用いて撮像を行いつつ、ＩＲ画素８１０ｃを用いて測距を行い得る。また、主要被写体が位置する領域である主要被写体領域内のＩＲ画素８１０ｃのみを測距モードで動作させるようにすることにより、可視光画像のみならず、赤外光画像をも取得することが可能となる。なお、主要被写体の検出には、公知の顔検出技術等を用いてもよい。

図９は、本実施形態による固体撮像素子８００の動作を示すタイミングチャートである。タイミングｔ９０１からタイミングｔ９０７までの期間は、同期信号ＶＤの周期に対応する期間である１Ｖ期間である。また、タイミングｔ９０７からタイミングｔ９１３までの期間も、同期信号ＶＤの周期に対応する期間である１Ｖ期間である。
図９には、第１番目のフレームの取得と、第２番目のフレームの取得とに対応するタイミングチャートが示されている。第１番目のフレームの取得においては、例えば、全てのＲ画素８１０ａ、Ｇ画素８１０ｂ及びＢ画素８１０ｄを撮像モードで動作させるとともに、全てのＩＲ画素８１０ｃを測距モードで動作させる。第２番目のフレームの取得においては、例えば主要被写体領域内に位置するＩＲ画素８１０ｃを測距モードで動作させるとともに、当該ＩＲ画素８１０ｃ以外の全ての画素８１０を撮像モードで動作させる。

タイミングｔ９０１において、同期信号ＶＤがＨｉｇｈレベルになる。タイミングｔ９０２において、同期信号ＶＤは、Ｌｏｗレベルに戻る。
タイミングｔ９０３において、制御部４０４は、赤外発光部４０９ＩＲを発光させるための赤外発光制御信号をＨｉｇｈレベルに設定する。これにより、赤外発光部４０９ＩＲが発光開始する。また、タイミングｔ９０３において、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＨｉｇｈレベルにする。これにより、各々の画素８１０のカウンタ１１４と、各々の画素８１０のＳＲラッチ回路１２３とがリセットされる。
また、タイミングｔ９０３において、タイミングジェネレータ１０２は、全ての領域Ａｒｅａ（ｐ，ｑ）にそれぞれ供給される制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）をＬｏｗレベルからＨｉｇｈレベルに変化させる。これにより、画素アレイ８３０に備えられた全てのＩＲ画素８１０ｃにおいて、クロック信号ＣＬＫがカウンタ１１４の入力端子に入力されるように、入力選択スイッチ１１５が設定される。これにより、画素アレイ８３０に備えられた全てのＩＲ画素８１０ｃが、測距モードで動作し得るようになる。

タイミングｔ９０４において、制御部４０４は、赤外発光部４０９ＩＲを発光させるための赤外発光制御信号をＬｏｗレベルに設定する。これにより、赤外発光部４０９ＩＲが発光を停止する。また、タイミングｔ９０４において、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＬｏｗレベルにするとともに、イネーブル信号ＥＮＡＢＬＥをＨｉｇｈレベルにする。リセット信号ＲＥＳがＬｏｗレベルになると、カウンタ１１４のリセットが解除され、イネーブル信号ＥＮＡＢＬＥがＨｉｇｈレベルになると、カウンタ１１４は、カウント動作を開始する。
赤外発光部４０９ＩＲから発せられた赤外光が被写体によって反射され、固体撮像素子８００の撮像面に配された画素８１０に達する。被写体によって反射された光が固体撮像素子１００の撮像面に配された画素８１０に達すると、ＩＲ画素８１０ｃにおいて、パルス信号ＰＬＳの時間間隔が狭くなる。ＩＲ画素８１０ｃにおいて、パルス信号ＰＬＳの時間間隔が狭くなると、ＩＲ画素８１０ｃに備えられたＬＰＦ１１９から出力される信号の電圧が上昇する。
そして、ＩＲ画素８１０ｃに備えられたＬＰＦ１１９から出力される信号の電圧が、タイミングｔ９０５において第１の閾値Ｖｔｈ１以上となる。これにより、ＩＲ画素８１０ｃに備えられた比較器１２０から出力される信号がＨｉｇｈレベルとなる。
タイミングｔ９０３とタイミングｔ９０５との間の時刻差は、被写体までの距離に比例する。制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）はＨｉｇｈレベルとなっている。このため、ＩＲ画素８１０ｃに備えられた比較器１２０からＨｉｇｈレベルの信号が出力されると、ＩＲ画素８１０ｃに備えられたＮＡＮＤ素子１１７から出力される信号はＬｏｗレベルとなる。
ＩＲ画素８１０ｃに備えられたＮＡＮＤ 素子１１７から出力される信号がＬｏｗレベルになると、ＩＲ画素８１０ｃに備えられたＡＮＤ素子１１８から出力される信号はＬｏｗレベルとなる。また、ＩＲ画素８１０ｃにそれぞれ備えられたＮＡＮＤ素子１１７から出力される信号がＬｏｗレベルになると、ＩＲ画素８１０ｃに備えられたカウンタ１１４のイネーブル端子はＬｏｗレベルとなる。
こうして、タイミングｔ９０３とタイミングｔ９０５との時間差に応じた測距カウント値が、ＩＲ画素８１０ｃに備えられたカウンタ１１４によって取得される。なお、ＩＲ画素８１０ｃに備えられた比較器１２０から出力される信号は、タイミングｔ９０６においてＬｏｗレベルとなる。

一方、Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄにおいては、タイミングｔ９０４において、カウンタ１１４が、インバータ１１３から出力されるパルス信号ＰＬＳのカウントを開始する。
Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄに備えられたＳＰＡＤ１１１に光子が入射すると、当該ＳＰＡＤ１１１によって信号が生成され、波形整形されたパルス信号ＰＬＳがインバータ１１３から出力される。
Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄに備えられたカウンタ１１４は、Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄに備えられたインバータ１１３から出力されるパルス信号ＰＬＳの数をカウントする。

タイミングｔ９０７において、同期信号ＶＤがＨｉｇｈレベルになるとともに、制御パルスＭＥＭがＨｉｇｈレベルになる。制御パルスＭＥＭがＨｉｇｈレベルになると、転送スイッチ１２１がＯＮ状態となり、カウンタ１１４のカウント値が画素メモリ１１６に格納される。
従って、Ｒ画素８１０ａ、Ｇ画素８１０ｂ及びＢ画素８１０ｄの各々に備えられたカウンタ１１４により得られたカウント値が、Ｒ画素８１０ａ、Ｇ画素８１０ｂ及びＢ画素８１０ｄの各々における撮像カウント値となる。また、ＩＲ画素８１０ｃに備えられたカウンタ１１４により得られたカウント値が、ＩＲ画素８１０ｃにおける測距カウント値となる。

タイミングｔ９０８において、制御部４０４は、赤外発光部４０９ＩＲを発光させるための赤外光制御信号をＨｉｇｈレベルに設定する。これにより、赤外発光部４０９ＩＲが発光開始する。また、タイミングｔ９０８において、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＨｉｇｈレベルにする。これにより、各々の画素８１０のカウンタ１１４と、各々の画素８１０のＳＲラッチ回路１２３とがリセットされる。
また、タイミングｔ９０８において、タイミングジェネレータ１０２は、主要被写体領域以外の領域に位置するＩＲ画素８１０ｃに供給される制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）をＨｉｇｈレベルからＬｏｗレベルに変化させる。これにより、主要被写体領域以外の領域に位置するＩＲ画素８１０ｃにおいて、インバータ１１３から出力されるパルス信号ＰＬＳがカウンタ１１４の入力端子に入力されるように、入力選択スイッチ１１５が設定される。これにより、主要被写体領域以外の領域に位置するＩＲ画素８１０ｃは撮像モードで動作することとなる。
一方、主要被写体領域に位置するＩＲ画素８１０ｃに供給される制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）は、Ｈｉｇｈレベルのまま維持される。このため、主要被写体領域に位置するＩＲ画素８１０ｃは、測距モードで引き続き動作する。Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄは、撮像モードで引き続き動作する。

なお、ここでは、主要被写体領域内に位置する全てのＩＲ画素８１０ｃにＨｉｇｈレベルの制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）を供給する場合を例に説明したが、これに限定されるものではない。例えば、主要被写体領域内に位置する複数のＩＲ画素８１０ｃのうちの一部のＩＲ画素８１０ｃに対してのみ、Ｈｉｇｈレベルの制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）を供給するようにしてもよい。このようにすれば、測距に用いられるＩＲ画素８１０ｃをより少なくすることができ、より良好な赤外光画像を得ることが可能となる。
タイミングｔ９０８以降においては、各々の行から画素信号値が順次読み出される。Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄからは撮像カウント値が読み出され、ＩＲ画素８１０ｃからは測距カウント値が読み出される。こうして、全ての行からのこれらのカウント値が読み出される。

タイミングｔ９０９において、制御部４０４は、赤外発光部４０９ＩＲを発光させるための赤外発光制御信号をＬｏｗレベルに設定する。これにより、赤外発光部４０９ＩＲが発光を停止する。また、タイミングｔ９０９において、タイミングジェネレータ１０２は、リセット信号ＲＥＳをＬｏｗレベルにする。リセット信号ＲＥＳがＬｏｗレベルになると、カウンタ１１４のリセットが解除され、カウンタ１１４は、カウント動作を開始する。
赤外発光部４０９ＩＲから発せられた光が被写体によって反射され、固体撮像素子８００の撮像面に配された画素８１０に達する。被写体によって反射された光が固体撮像素子８００の撮像面に配された画素８１０に達すると、ＩＲ画素８１０ｃにおいては、パルス信号ＰＬＳの時間間隔が狭くなる。ＩＲ画素８１０ｃにおいて、パルス信号ＰＬＳの時間間隔が狭くなると、ＩＲ画素８１０ｃに備えられたＬＰＦ１１９から出力される信号の電圧が上昇する。そして、ＩＲ画素８１０ｃに備えられたＬＰＦ１１９から出力される信号の電圧が、タイミングｔ９１０において第１の閾値Ｖｔｈ１以上となる。
これにより、ＩＲ画素８１０ｃに備えられた比較器１２０から出力される信号がＨｉｇｈレベルとなる。主要被写体領域に位置するＩＲ画素８１０ｃに供給される制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）はＨｉｇｈレベルとなっている。このため、主要被写体領域に位置するＩＲ画素８１０ｃに備えられた比較器１２０からＨｉｇｈレベルの信号が出力されると、当該ＩＲ画素８１０ｃに備えられたＮＡＮＤ素子１１７から出力される信号はＬｏｗレベルとなる。
主要被写体領域に位置するＩＲ画素８１０ｃに備えられたＮＡＮＤ素子１１７から出力される信号がＬｏｗレベルになると、主要被写体領域に位置するＩＲ画素８１０ｃに備えられたＡＮＤ素子１１８から出力される信号はＬｏｗレベルとなる。また、主要被写体領域に位置するＩＲ画素８１０ｃに備えられたＮＡＮＤ素子１１７から出力される信号がＬｏｗレベルになると、主要被写体領域に位置するＩＲ画素８１０ｃに備えられたカウンタ１１４のイネーブル端子はＬｏｗレベルとなる。
タイミングｔ９０８とタイミングｔ９１０との間の時刻差は、被写体までの距離に比例する。タイミングｔ９０８とタイミングｔ９１０との時間差に応じた測距カウント値が、主要被写体領域に位置するＩＲ画素８１０ｃに備えられたカウンタ１１４によって取得される。なお、ＩＲ画素８１０ｃに備えられた比較器１２０から出力される信号は、タイミングｔ９１１においてＬｏｗレベルとなる。一方、Ｒ画素８１０ａ、Ｇ画素８１０ｂ及びＢ画素８１０ｄにおいては、タイミングｔ９０９において、カウンタ１１４が、インバータ１１３から出力されるパルス信号ＰＬＳのカウントを開始する。
Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄに備えられたＳＰＡＤ１１１に光子が入射すると、当該ＳＰＡＤ１１１によって信号が生成され、波形整形されたパルス信号ＰＬＳがインバータ１１３から出力される。Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄにそれぞれ備えられたカウンタ１１４は、Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄにそれぞれ備えられたインバータ１１３から出力されるパルス信号ＰＬＳの数をカウントする。

タイミングｔ９１３の直前のタイミングｔ９１２において、制御パルスＭＥＭがＨｉｇｈレベルとなる。制御パルスＭＥＭがＨｉｇｈレベルになると、転送スイッチ１２１がＯＮ状態となり、カウンタ１１４のカウント値が画素メモリ１１６に格納される。Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄの各々に備えられたカウンタ１１４により得られたカウント値が、Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄの各々における撮像カウント値となる。
主要被写体領域以外の領域に位置するＩＲ画素８１０ｃに備えられたカウンタ１１４により得られたカウント値が、当該ＩＲ画素８１０ｃにおける撮像カウント値となる。主要被写体領域に位置するＩＲ画素８１０ｃに備えられたカウンタ１１４により得られたカウント値が、当該ＩＲ画素８１０ｃにおける測距カウント値となる。

タイミングｔ９１３以降においては、各々の行から画素信号値が順次読み出される。Ｒ画素８１０ａ、Ｇ画素８１０ｂ、Ｂ画素８１０ｄ、及び、主要被写体領域以外の領域に位置するＩＲ画素８１０ｃからは、撮像カウント値が読み出される。ただし、Ｒ画素８１０ａと、Ｇ画素８１０ｂと、Ｂ画素８１０ｄとからは、撮像カウント値のみならず、ＳＲラッチ回路１２３の出力も読み出される。主要被写体領域に位置するＩＲ画素８１０ｃからは、測距カウント値が読み出される。こうして、全ての行からのこれらのカウント値が読み出される。

このように、本実施形態によれば、Ｒ画素８１０ａ、Ｇ画素８１０ｂ及びＢ画素８１０ｄを用いて可視光画像を取得しつつ、ＩＲ画素８１０ｃを用いて測距を行うことができる。そして、一部のＩＲ画素８１０ｃのみを測距モードで動作させるようにすることにより、可視光画像のみならず、赤外光画像をも取得することが可能となる。即ち、赤外発光部４０９ＩＲから発せられる赤外光を照明として用いて、赤外画像を得ることができる。人間は赤外光を肉眼で認識し得ないため、本実施形態による撮像装置４００は例えば監視用として好適である。

ところで、受光量に応じた周波数のパルス信号ＰＬＳがセンサ部３０３からは出力される。しかし、センサ部３０３における受光量が大きくなり、クエンチング動作が完了しないうちに次の光子が受光されるようになると、以下のような現象が生じ得る。即ち、当該センサ部３０３の出力がＨｉｇｈレベルに維持されがちになり、クエンチング動作が間に合った際にのみ当該センサ部３０３の出力がＬｏｗレベルとなるようになる。
図９においては、このような現象がＧ画素８１０ｂで生じている場合の例が示されている。即ち、Ｒ画素８１０ａ、Ｂ画素８１０ｄにおいては、受光量が比較的小さいため、クエンチング動作が完了しないうちに次の光子が受光されるような現象は生じていない。一方、Ｇ画素８１０ｂにおいては、受光量が比較的大きいため、クエンチング動作が完了しないうちに次の光子が受光されるような現象が生じている。
このため、図９に示す例においては、Ｇ画素８１０ｂに備えられたカウンタ１１４におけるカウント値が、Ｒ画素８１０ａ及びＢ画素８１０ｄに備えられたカウンタ１１４におけるカウント値よりも小さくなっている。本実施形態では、このような現象が生じる場合には、信号処理部４０２において以下のような補正処理を行うことによって、本来の受光量に応じた信号が得られるようにしている。

次に、本実施形態による撮像装置４００において行われる補正処理について図１０及び図１１を用いて説明する。
図１０は、補正処理に用いられるルックアップテーブル（ＬＵＴ）の例を示す図である。横軸は、撮像カウント値を示している。縦軸は、補正処理後の撮像カウント値を示している。上述したように、受光量が大きすぎる場合には、撮像カウント値が小さくなることがある。受光量が大きいことに起因して撮像カウント値が小さくなっているのか否かは、当該画素８１０に備えられたＳＲラッチ回路１２３の出力に基づいて判定し得る。
即ち、ＳＲラッチ回路１２３の出力がＨｉｇｈレベル、即ち、１である場合には、受光量が大きいことに起因して撮像カウント値が小さくなっていると判定し得る。一方、ＳＲラッチ回路１２３の出力がＬｏｗレベル、即ち、０である場合には、受光量に応じた撮像カウント値が得られていると判定し得る。例えば、ＳＲラッチ回路１２３の出力が０である場合には、ＳＲラッチ回路１２３の出力が０である場合のルックアップテーブルに基づいて、撮像カウント値が判定される。
図１０から分かるように、画素８１０から出力された撮像カウント値が１００であり、且つ、当該画素８１０に備えられたＳＲラッチ回路１２３の出力が０である場合には、当該撮像カウント値に対応する補正後の撮像カウント値は１００である。従って、この場合には、１００という撮像カウント値が画素データに用いられる。ＳＲラッチ回路１２３の出力が１である場合には、ＳＲラッチ回路１２３の出力が１である場合のルックアップテーブルに基づいて、撮像カウント値が判定される。
図１０から 分かるように、画素８１０から出力された撮像カウント値が１００であり、且つ、当該画素８１０に備えられたＳＲラッチ回路１２３の出力が１である場合には、当該撮像カウント値に対応する補正後の撮像カウント値は１６０である。従って、この場合には、１６０という撮像カウント値が画素データに用いられる。なお、このようなルックアップテーブルは、撮像装置４００に備えられたメモリ４０３に予め格納されている。

図１１は、本実施形態による撮像装置４００の動作を示すフローチャートである。
まず、Ｓ１００１において、信号処理部４０２は、処理の対象となる信号が、ＩＲ画素８１０ｃによって取得された信号であるか否かを判定する。処理の対象となる信号がＩＲ画素８１０ｃによって取得された信号である場合には（Ｓ１００１においてＹＥＳ）、Ｓ１００２に移行する。処理の対象となる信号がＩＲ画素８１０ｃによって取得された信号でない場合には（Ｓ１００１においてＮＯ）、Ｓ１００９に移行する。

Ｓ１００２において、信号処理部４０２は、当該ＩＲ画素８１０ｃに供給された制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）がＨｉｇｈレベル、即ち、１であるか否かを判定する。当該ＩＲ画素８１０ｃに供給された制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）が１である場合には（Ｓ１００２においてＹＥＳ）、Ｓ１００３に移行する。一方、当該ＩＲ画素８１０ｃに供給された制御信号ＣＬＫ＿ｓｅｌ＿Ａｒｅａ（ｐ，ｑ）が０である場合には（Ｓ１００２においてＮＯ）、Ｓ１００５に移行する。

Ｓ１００３において、信号処理部４０２は、当該ＩＲ画素８１０ｃによって取得された測距カウント値に基づいて、距離に関する情報の一例である光飛行時間ｔＴＯＦを算出する。
Ｓ１００４において、信号処理部４０２は、Ｓ１００３において算出された光飛行時間ｔＴＯＦに基づいて、距離データを生成する。こうして生成された距離データは、オートフォーカス処理に用いられ得る。オートフォーカス処理においては、撮像装置４００に備えられた制御部４０４が、Ｓ１００４において算出された距離データに基づいて光学系駆動部４０８を介して光学系４０１を駆動する。

Ｓ１００５において、信号処理部４０２は、当該ＩＲ画素８１０ｃに備えられたＳＲラッチ回路１２３の出力がＨｉｇｈレベル、即ち、１であるか否かを判定する。当該ＩＲ画素８１０ｃに備えられたＳＲラッチ回路１２３の出力が１である場合には（Ｓ１００５においてＹＥＳ）、Ｓ１００６に移行する。一方、当該ＩＲ画素８１０ｃに備えられたＳＲラッチ回路１２３の出力が０である場合には（Ｓ１００５においてＮＯ）、Ｓ１００７に移行する。

Ｓ１００６において、信号処理部４０２は、ＳＲラッチ回路１２３の出力が１である場合のルックアップテーブル、即ち、高輝度側のルックアップテーブルに基づいて補正処理を行う。
Ｓ１００７において、信号処理部４０２は、ＳＲラッチ回路１２３の出力が０である場合のルックアップテーブル、即ち、低輝度側のルックアップテーブルに基づいて補正処理を行う。
Ｓ１００８においては、こうしてＩＲ画素８１０ｃから得られた撮像カウント値に基づいて、モノクロの赤外光画像を生成する。

Ｓ１００９においては、信号処理部４０２は、当該画素８１０ａ、８１０ｂ、８１０ｄに備えられたＳＲラッチ回路１２３の出力が１であるか否かを判定する。当該画素８１０ａ、８１０ｂ、８１０ｄに備えられたＳＲラッチ回路１２３の出力が１である場合には（Ｓ１００９においてＹＥＳ）、Ｓ１０１０に移行する。一方、 当該画素８１０ａ、８１０ｂ、８１０ｄに備えられたＳＲラッチ回路１２３の出力が０である場合には（Ｓ１００９においてＮＯ）、Ｓ１０１１に移行する。

Ｓ１０１０において、信号処理部４０２は、ＳＲラッチ回路１２３の出力が１である場合のルックアップテーブル、即ち、高輝度側のルックアップテーブルに基づいて補正処理を行う。
Ｓ１０１１において、信号処理部４０２は、ＳＲラッチ回路１２３の出力が０である場合のルックアップテーブル、即ち、低輝度側のルックアップテーブルに基づいて補正処理を行う。
Ｓ１０１２においては、こうして画素８１０ａ、８１０ｂ、８１０ｄから得られた撮像カウント値に基づいて、カラーの可視光画像を生成する。なお、可視光画像を生成する際に、Ｇ画素８１０ｂの撮像カウント値を用いた補間処理を行うことによって、ＩＲ画素８１０ｃの位置のＧ信号を生成するようにしてもよい。
こうして、図１１に示す処理が終了する。

このように、本実施形態によれば、ＩＲ画素８１０ｃにより取得される測距カウント値を用いて測距を行いつつ、Ｒ画素８１０ａ、Ｇ画素８１０ｂ及びＢ画素８１０ｄにより取得される撮像カウント値を用いて可視光画像を取得することができる。ＩＲ画素８１０ｃは撮像カウント値を取得することも可能であるため、本実施形態によれば、ＩＲ画素８１０ｃにより取得される撮像カウント値を用いて赤外光画像を取得することもできる。
一部のＩＲ画素８１０ｃのみを測距に用いるようにすれば、当該一部のＩＲ画素８１０ｃのみを用いて測距を行いつつ、可視光画像と赤外光画像とを取得することができる。赤外発光部４０９ＩＲから発せられる赤外光を照明として用いて、赤外光画像を得ることもできる。人間は赤外光を肉眼で認識し得ないため、本実施形態による撮像装置４００は例えば監視用として好適である。

［第４実施形態］
次に、第４実施形態について図１２を用いて説明する。本実施形態は、各単位画素に測距用のＳＰＡＤと撮像用のＳＰＡＤとを別個に設けた構成を有する。単位画像以外の周辺回路の構成に関しては第１～第３実施形態と同様であってよい。
図１２（ａ）は、本実施形態における単位画素の等価回路の一例を示す図である。単位画素は、受光領域としてのＳＰＡＤ ＰＤ＿ＡおよびＰＤ＿Ｂを備える。ＳＰＡＤ ＰＤ＿ＡおよびＰＤ＿ＢはＰＮ接合に逆バイアス電圧を印加して形成した空乏化領域を含む。ＳＰＡＤ ＰＤ＿ＡおよびＰＤ＿Ｂのカソード端子には、それぞれ独立したクエンチング回路としての抵抗Ｒ＿ＡおよびＲ＿Ｂを直列に介して、図示しない電圧供給部より正電圧ＶＤＤＡおよびＶＤＤＢ（例えばいずれも３Ｖ）が与えられている。

一方、ＳＰＡＤ ＰＤ＿ＡおよびＰＤ＿Ｂのアノード端子には共通に負電圧（例えば－２０Ｖ）が与えられている。このように大きな逆バイアス電圧を印加することで、受光領域にて受光した単一光子を光電変換して発生した１つの電子をアバランシェ増倍することができる。アバランシェ増倍に伴う電流のため、ＳＰＡＤ ＰＤ＿ＡおよびＰＤ＿Ｂのカソード端子の電位は－２０Ｖまで下降する。
しかし、クエンチング回路としての抵抗Ｒ＿ＡおよびＲ＿Ｂを備えることで、ある時定数を以ってこの電流を打ち消すことができる（いわゆるガイガーモード動作）。抵抗Ｒ＿ＡおよびＲ＿Ｂに電流が流れなくなれば、ＳＰＡＤ ＰＤ＿ＡおよびＰＤ＿Ｂのカソード端子の電位は３Ｖに戻る。つまり単一光子の光電変換で生じた１つの電子により１つの電圧パルスが生じる。

ＳＰＡＤ ＰＤ＿ＡおよびＰＤ＿Ｂのカソード端子はさらに、セレクタＳＥＬの入力端子に接続される。セレクタＳＥＬは、制御信号ＳＥＬ＿ＣＮＴにより、２つの入力端子に入力された信号の一方を選択的にインバータＩＮＶに供給する。制御信号ＳＥＬ＿ＣＮＴは例えば先の実施形態で説明したＴＧ１０２が出力する。インバータＩＮＶは、先の実施形態におけるインバータ１１３と同様、ＳＰＡＤが出力する電圧パルスを整形してパルス信号を生成する。

インバータＩＮＶが生成するパルス信号はカウンタＣＮＴに入力される。カウンタＣＮＴは、パルス信号を計数する。カウンタＣＮＴはイネーブル端子ＥＮとリセット端子ＲＥＳを備え、例えば先の実施形態で説明したＴＧ１０２が出力するイネーブル信号ＰＥＮとリセット信号ＰＲＥＳとがそれぞれ入力される。所定の計数期間におけるカウンタＣＮＴの計数値は、受光量に応じて生じる電圧パルスの数に比例するので、計数値は受光量をＡＤ変換した値と等価である。

撮像モードでは、インバータＩＮＶにＳＰＡＤ ＰＤ＿Ａのカソード端子を接続するよう、ＴＧ１０２がＳＥＬ＿ＣＮＴによってセレクタＳＥＬを制御する。また、ＴＧ１０２は、ＳＰＡＤ ＰＤ＿Ｂの電源ＶＤＤＢを浮遊状態とする。
一方、測距モードでは、セレクタＳＥＬが、インバータＩＮＶにＳＰＡＤ ＰＤ＿Ｂのカソード端子を接続するよう、ＴＧ１０２がＳＥＬ＿ＣＮＴによってセレクタＳＥＬを制御する。また、ＴＧ１０２はＳＰＡＤ ＰＤ＿Ａの電源ＶＤＤＡを浮遊状態とする。

図１２（ｂ）は、図１２（ａ）に示した単位画素の構造例を示す垂直断面図である。図１２（ｂ）では、光が紙面下方からマイクロレンズ１２０１に入射するものとする。
マイクロレンズ（ＭＬ）１２０１は、撮影光学系から入射する光束を集光する。第１導電型領域としてのＮ型エピタキシャル層（Ｎ－Ｅｐｉ）１２０２は、受光領域の一部として機能する。

第２導電型領域としてのＰ型半導体領域（Ｐ）１２０３には、所定のコンタクト電極を介して大きな負電圧（例えば－２０Ｖ）を与える。図１２（ｂ）において、Ｐ型半導体領域１２０３は、マイクロレンズ１２０１で画定される画素間と、後述する第１導電型領域Ｎ＋１２０４ＡおよびＮ＋１２０４Ｂの間との２箇所、示されているが、これらは一体形成されている。また、Ｐ型半導体領域１２０３は、後述の正電圧を与えられた第１導電型のＮ型領域との間で形成される空乏化領域に入射した単一光子を光電変換した際に生じる正孔をドリフトで吸収して撮像素子の外に排出する機能も持つ。

第１導電型領域１２０４Ａおよび１２０４Ｂは、マイクロレンズ１２０１で画定される単位画素内に電気的に独立した領域として形成される。第１導電形領域１２０４Ａおよび１２０４Ｂにはそれぞれクエンチング回路としての抵抗Ｒ＿ＡおよびＲ＿Ｂを介して正電圧（例えば３Ｖ）が与えられ、Ｐ型半導体領域１２０３との間で形成されるＰＮ接合フォトダイオードのカソード端子として機能する。第１導電形領域１２０４Ａおよび１２０４ＢはそれぞれインバータＩＮＶ＿ＡおよびＩＮＶ＿Ｂに接続される。

また、第１導電形領域１２０４Ａおよび１２０４Ｂは、Ｐ型半導体領域１２０３との間で形成される空乏化領域に入射した単一光子を光電変換した際に生じる電子をドリフトで吸収する。そして、第１導電形領域１２０４Ａおよび１２０４Ｂは、図中最もＰ型半導体領域１２０３との距離が短くなる高電界領域Ｅでアバランシェ増倍を発生させる。Ｐ型半導体領域１２０３は、第１導電形領域１２０４Ａおよび１２０４Ｂの間に途切れなく延在し、Ｎ型エピタキシャル層１２０との接合面を持つ。
これにより、空乏化領域で発生した電子が第１導電形領域１２０４Ａまたは１２０４Ｂにドリフトするのを促進し、再結合する前にもれなく高電界領域Ｅに移動してアバランシェ増倍を発生させることができる。つまり、マイクロレンズ１２０１を通じてちょうど第１導電形領域１２０４Ａと１２０４Ｂの間に垂直入射した単一光子は５０％の確率で第１導電形領域１２０４ＡとＰ型半導体領域１２０３との間の高電界領域Ｅでアバランシェ増倍する。また、５０％の確率で第１導電形領域１２０４ＢとＰ型半導体領域１２０３との間の高電界領域Ｅでアバランシェ増倍する。そのため、光子を確実に検出できる。

また、画素間のＰ型半導体領域１２０３を延伸し、第１導電形領域１２０４Ａおよび１２０４Ｂとの間に新たな高電界領域Ｊを設けている。これにより、ＭＬ１０１からの距離が近くカソード端子Ｎ＋１２０４ＡもしくはＮ＋１２０４Ｂから遠い受光領域で光電変換された電子も確実にアバランシェ増倍することができる。そのため、裏面照射型構造における短波長の撮像時に、光電変換部を分割しない場合と同様のボケ味を得ることができる。

本実施形態では、ＳＰＡＤ ＰＤ＿Ａのカソード端子として機能する第１導電形領域１２０４Ａが、ＳＰＡＤ ＰＤ＿Ｂのカソード端子として機能する第１導電形領域１２０４Ｂよりも半導体中でマイクロレンズに近い位置に配置されている。シリコン（Ｓｉ）半導体の光吸収特性は、短波長ほど侵入長が浅く、長波長ほど侵入長が長い。
ＴＯＦ方式の測距に赤外光を用いる場合、被写体からの反射光は波長が長いため、マイクロレンズ１２０１から離れた深部まで到達して光電変換される。そのため、測距用のＳＰＡＤ ＰＤ＿Ｂを形成する第１導電形領域１２０４Ｂをマイクロレンズ１２０１から離れた位置に形成することにより、赤外光が十分光電変換された位置でアバランシェ増倍を発生されれば、測距に関する信号を漏れなく検出することができる。

他方、可視光線は短波長を含む一方で、赤外光のような長波長の検出はむしろ不要である。そのため、撮像用のＳＰＡＤ ＰＤ＿Ａを形成する第１導電形領域１２０４Ａをマイクロレンズ１２０１に近い位置に形成することにより、可視光線の波長域について十分光電変換され、赤外光の検出を抑制した検出が可能である。
なお、撮像モードで正電圧ＶＤＤＢを浮遊状態としたとき、ＳＰＡＤ ＰＤ＿Ｂでは第１導電型領域１２０４Ｂが非リセット状態となっている。そのため、前のフレームで発生した電子や暗電流による電子で満たされた平衡状態となっており、受光領域で発生した電子を新たにドリフトで移動させることができない。
したがって、受光領域で発生した新たな電子は全てＳＰＡＤ ＰＤ＿Ａの第１導電形領域１２０４Ａにドリフトで移動し、アバランシェ増倍に寄与するため、撮像信号を集約することができる。測距モード時には逆に、受光領域で発生した新たな電子は全てＳＰＡＤ ＰＤ＿Ｂの第１導電形領域１２０４Ｂにドリフトで移動し、アバランシェ増倍に寄与する。図１２（ｃ）は、図１２（ｂ）のＧの位置における水平断面をマイクロレンズ１２０１側から見た模式図である。

［第５実施形態］
次に、第５実施形態について図１３（ａ）～図１４（ｂ）を用いて説明する。本実施形態は、第４実施形態において、第１導電形領域１２０４Ａおよび１２０４Ｂをマイクロレンズ１２０１から同じ距離に設けた構成を有する。そして、１つのマイクロレンズ１２０１を共有する第１導電形領域１２０４Ａおよび１２０４Ｂの出力を別個に取り扱うことにより、位相差方式のオートフォーカスの原理に基づく測距を実現する。
１つのマイクロレンズを共有する複数の光電変換部を設け、個々の光電変換部から得られる信号の位相差を検出して撮像光学系のデフォーカス量を求める手法は公知であるため、詳細については説明を省略する。また、デフォーカス量が求まれば、合焦距離に相当するフォーカスレンズ位置が特定できるため、距離を特定することができる。また、画素ごとに距離を求めることも可能である。一方で、１つのマイクロレンズ１２０１を共有する第１導電形領域１２０４Ａおよび１２０４Ｂの出力をまとめて取り扱うことにより、撮像を実現する。

図１３（ａ）は、本実施形態における単位画素の等価回路の一例を示す図である。本実施形態では、インバータおよびカウンタがＳＰＡＤごとに設けられる点で第４実施形態と異なる。すなわち、ＳＰＡＤ ＰＤ＿Ａのカソード電極にはインバータＩＮＶ＿ＡおよびカウンタＣＮＴ＿Ａが接続され、ＳＰＡＤ ＰＤ＿Ｂのカソード電極にはインバータＩＮＶ＿ＢおよびカウンタＣＮＴ＿Ｂが接続される。インバータＩＮＶ＿ＡおよびＩＮＶ＿Ｂの機能は第４実施形態のインバータＩＮＶと、カウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂの機能は第４実施形態のカウンタＣＮＴと同様である。カウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂの制御信号ＥＮ＿ＡおよびＥＮ＿Ｂと、ＲＥＳとはＴＧ１０２から供給される。

また、本実施形態にかかる単位画素を画素アレイに有する撮像装置は、裏面照射構造が好適に用いられる。その場合、カウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂを光の入射方向と反対側に積層した別基板に設け、制御信号ＥＮ＿ＡやＥＮ＿ＢなどをＴｈｒｏｕｇｈ Ｓｉｌｉｃｏｎ Ｖｉａ（ＴＳＶ）によってカウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂに供給することができる。

図１３（ｂ）は、図１３（ａ）に示した単位画素の構造例を示す垂直断面図であり、第４実施形態と同じ構成については図１２（ｂ）と同じ符号を付してある。図１２（ｂ）との対比から分かる様に、第４実施形態との構造上の差異は、ＳＰＡＤ ＰＤ＿Ａに関する構成が、ＳＰＡＤ ＰＤ＿Ｂに関する構成と等しいことである。
特に、マイクロレンズ１２０１から第１導電形領域１２０４Ａまでの距離が、マイクロレンズ１２０１から第１導電形領域１２０４Ｂまでの距離と等しいことである。あるいは、第１導電形領域１２０４Ａおよび１２０４Ｂが深さ方向で等しい位置に設けられることである。そして、第１導電形領域１２０４Ａの位置が異なることにより、第１導電形領域１２０４Ａに接する第１導電形領域１２０２および１２０５、第２導電形領域１２０３の構成も異なっている。

本実施形態では、第１導電形領域１２０４Ａおよび１２０４Ｂが同じ深さでアバランシェ増倍を発生させる。なお、図１３（ｂ）では第１導電形領域１２０４Ａの位置を第１導電形領域１２０４Ｂの位置に合わせた構成について例示している。しかし、赤外光の影響を抑制し、可視光線の波長域についての検出効率を高めるために、第１導電形領域１２０４Ｂの位置を第４実施形態の第１導電形領域１２０４Ａの位置に合わせる様に構成してもよい。

次に、図１４（ａ）および図１４（ｂ）を参照して、本実施形態における撮像素子の駆動方法について説明する。
図１４（ａ）は、第１の駆動モードおける制御信号のタイミングチャートの一例である。なお、正電圧ＶＤＤＡおよびＶＤＤＢ（例えば３Ｖ）と、－２０Ｖの逆バイアスを与え、ＳＰＡＤ ＰＤ＿ＡおよびＰＤ＿Ｂをガイガーモードで動作させているものとする。

時刻ｔ１２００においてＴＧ１０２はリセット制御信号ＲＥＳをＬｏｗレベルとしてカウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂのリセットを解除する。このときイネーブル制御信号ＥＮ＿ＡおよびＥＮ＿ＢがＨｉｇｈレベルであればカウンタＣＮＴ＿ＡおよびＣＮＴ＿ＢはＳＰＡＤ ＰＤ＿ＡおよびＰＤ＿Ｂと抵抗Ｒ＿ＡおよびＲ＿Ｂとで生じるガイガーモード動作に伴って発生する電圧パルスの数を数え始める。

カウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂは、時刻ｔ１２０１においてＴＧ１０２が制御信号ＥＮ＿ＡおよびＥＮ＿ＢをＬｏｗレベルとするまで、インバータＩＮＶ＿ＡおよびＩＮＶ＿Ｂから入力される電圧パルスの数を数える。したがって、電圧パルスの計数期間は時刻ｔ１２００からｔ１２０１までの期間である。カウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂの計数値は、時刻ｔ１２０１以降に読み出す。時刻ｔ１２０１で垂直走査部１０１は０行目の垂直走査信号（読み出し信号ＲＥＡＤ０）をＨｉｇｈレベルとしてｐ＝０行目を選択する。

時刻ｔ１２０２で１行目の垂直走査信号（ＲＥＡＤ１）がｈｉｇｈレベルとなってｐ＝１行目が選択されるまでの間に、水平走査部１０４から水平走査信号（列メモリ１０３の選択信号）が順次出力され、ｐ＝０行目の８画素分の計数値を読みだす。図１４（ａ）では、カウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂそれぞれから計数値を読み出すため、水平走査信号は画素数の２倍の１６回極性変化を繰り返している。

時刻ｔ１２０２以降のｐ＝１行目からｐ＝３行目も同様の走査を行う。各画素のカウンタＣＮＴ＿Ａから読み出した計数値群から生成される像信号（Ａ像信号と呼ぶ）と、各画素のカウンタＣＮＴ＿Ｂから読み出した計数値群から生成される像信号（Ｂ像信号と呼ぶ）とは、測距用信号である。一方、画素ごとにカウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂの計数値を加算することにより、撮像画像を生成するための画素信号を得ることができる。
このように、各画素が有するカウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂの計数値を独立して読み出す第１の駆動モードより、測距用の信号と、画像生成用の信号との両方を得ることができる。しかしながら、測距用の信号を撮像素子とは別個のセンサで取得する場合など、測距用の信号を撮像素子から読み出す必要がない場合には、以下の第２の駆動モードによって撮像素子から画像信号を読み出すことができる。

図１４（ｂ）は、第２の駆動モードにおける制御信号のタイミングチャートの一例を示す図である。図１４（ａ）との相違は、正電圧ＶＤＤＢを浮遊状態としてＳＰＡＤ ＰＤ＿Ｂを非ガイガーモード動作とし、対応するカウンタＣＮＴ＿Ｂのイネーブル制御信号ＥＮ＿ＢをＬｏｗレベルとした点である。

これにより、ＳＰＡＤ ＰＤ＿Ａのみをガイガーモード動作として、撮像信号をアバランシェ増倍の段階から一方のＳＰＡＤ（ここではＰＤ＿Ａ）でまとめて検出し、１つのカウンタＣＮＴ＿Ａで電圧パルスを計数する。上述した様に、ＶＤＤＢを浮遊状態とした場合、受光領域で発生した新たな電子は全てＳＰＡＤ ＰＤ＿Ａの第１導電形領域１２０４Ａにドリフトで移動するため、カウンタＣＮＴ＿Ａでまとめて検出できる。

時刻ｔ１３００から時刻ｔ１３０１の計数期間は時刻ｔ１２００から時刻ｔ１２０１と同一の長さであっても、計数値を読み出す回数は第１の駆動モードの半分で済む。したがって、時刻ｔ１３０１以降の読み出し期間は第１の駆動モードの読み出し期間の半分の長さである。
なお、行ごとにＶＤＤＢの状態を浮遊状態と３Ｖとで切り替え可能に構成すれば、特定の行はＶＤＤＢを３Ｖとして他の行では浮遊状態とすることで、特定の行について測距することができる。例えば測距はｐ＝１行目やｐ＝２行目のように主要被写体が多い画像中央部で行い、それ以外の領域では撮像信号のみを得ることで、読み出し期間の短縮と位相差検出信号の取得とを両立することもできる。また、ＶＤＤＢの状態を列ごとに切り替え可能に構成し、特定の列について測距することができる。

また、第２の駆動モードでは正電圧ＶＤＤＡを、第１の駆動モードのときよりも高くすることができる。これにより、受光領域で発生した電子をドリフトで第１導電形領域１２０４Ａに移動させる際、より広い領域から電子をドリフトさせ、垂直入射光子に対する検出効率を向上させ、光電変換部を分割しない場合と同様のボケ味を得ることができる。

［第６実施形態］
次に、第６実施形態について図１５を用いて説明する。本実施形態は、第５実施形態において、第１導電形領域１２０２を第１導電形領域１２０Ａに対応する領域と、第１導電形領域１２０４Ｂに対応する領域に分割した構成を有する。このような構成においても、第５実施形態で説明した第１の駆動モードによってカウンタＣＮＴ＿ＡおよびＣＮＴ＿Ｂの計数値を別個に読み出し、測距を実現することができる。

図１５（ａ）は、本実施形態の単位画素の構成例を示す垂直断面図であり、第４または第５実施形態と同様の構成要素には図１２（ｂ）または図１３（ｂ）と同じ符号を付してある。なお、単位画素の等価回路は第５実施形態で説明した図１３（ａ）と同様である。また、図１５（ｂ）は、図１５（ａ）における位置Ｈの水平断面をマイクロレンズ１２０１側から見た図である。なお、図１５（ａ）は、図１５（ｂ）における位置Ｉでの垂直断面を示している。

本実施形態においても、図１５（ａ）および図１５（ｂ）に示される第２導電形領域１２０３は一体形成されている。また、第２導電形領域１２０３は正電圧ＶＤＤを与えられた第１導電型のＮ型領域との間で形成される空乏化領域に入射した単一光子を光電変換した際に生じる正孔をドリフトで吸収して撮像装置外に排出する機能も持つ。

図１５（ｂ）に示す様に、本実施形態では、第２導電型領域１２０３は画素内の任意の領域、ＳＰＡＤ ＰＤ＿ＡとＰＤ＿Ｂとの間で途切れている。図１５（ｂ）に示すように、１光子を光電変換した電荷が第１導電形領域１２０４Ａと１２０４Ｂとの間を行き来できるように、第１導電形領域１２０２Ａと１２０２Ｂとが接続した領域を設ける。
これにより、第１導電形領域１２０４Ａと１２０４Ｂのいずれかについての正電圧ＶＤＤＡもしくはＶＤＤＢを浮遊状態とすれば、第２駆動モードが実現できる。すなわち、ＳＰＡＤ ＰＤ＿ＡもしくはＰＤ＿Ｂのみガイガーモード動作として、撮像信号をアバランシェ増倍の段階から片方に集約してカウンタＣＮＴ＿ＡもしくはＣＮＴ＿Ｂで計数することができる。

例えばＶＤＤＢを浮遊状態としたとき、ＳＰＡＤ ＰＤ＿Ｂでは第１導電型領域が非リセット状態となっている。そのため、第１導電形領域は前のフレームで発生した電子や暗電流による電子で満たされた平衡状態となっている。したがって、受光領域で発生した電子をドリフトで第１導電形領域１２０４Ｂに移動させることができない。
そのため受光領域で発生した新たな電子は全て第１導電形領域１２０４Ａにドリフトで移動しアバランシェ増倍に寄与する。したがって、画素全体で受光した光子を１つのＳＰＡＤ ＰＤ＿Ａで検出し、１つのカウンタＣＮＴ＿Ａで電圧パルスを計数することができる。なお、駆動時の制御信号のタイミングチャートは第５実施形態と同様であるため、説明を省略する。

［変形実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
例えば、上記実施形態では、固体撮像素子１００，５００，８００と信号処理部４０２とが別個に設けられている場合を例に説明したが、これに限定されるものではない。信号処理部４０２が、固体撮像素子１００，５００，８００に備えられていてもよい。この場合には、例えば、基板３０２（図３（ａ）参照）に信号処理部４０２が備えられ得る。また、信号処理部４０２が備えられた基板（図示せず）を、基板３０２に積層させるようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００、５００、８００…固体撮像素子
１１４…カウンタ
３０３…センサ部

Claims (11)

1. 複数の画素を有する固体撮像素子であって、
   前記複数の画素のそれぞれが、
   光子の受光に応じてパルス信号を発するセンサ部と、
   前記センサ部から発せられる前記パルス信号が入力されるローパスフィルタと、
   前記ローパスフィルタの出力と閾値とを比較する比較器と、
   発光部が光を発しない際に前記センサ部から発せられる前記パルス信号のパルス数をカウントする第１のモードでの動作と、所定信号のパルス数をカウントする第２のモードであって、該パルス数が前記発光部から光が発せられたタイミングからの経過時間に依存する第２のモードでの動作とを選択的に切り換えるように構成されたカウンタと、を有し、
   前記カウンタは、前記第２のモードで動作する場合、前記発光部から光が発せられたタイミングから前記比較器の出力が反転するタイミングまでの前記所定信号のパルス数をカウントする、
   ことを特徴とする固体撮像素子。
2. 前記カウンタが前記第１のモードで動作する場合においては、前記センサ部から発せられる前記パルス信号が前記カウンタに供給されるように設定され、前記カウンタが前記第２のモードで動作する場合においては、前記所定信号が前記カウンタに供給されるように設定されるスイッチを更に有する請求項１に記載の固体撮像素子。
3. 前記複数の画素のうちの第１の画素には、第１の透過波長域を備える第１のカラーフィルタが備えられ、
   前記複数の画素のうちの第２の画素には、前記第１の透過波長域とは異なる第２の透過波長域を備える第２のカラーフィルタが備えられ、
   前記第１の透過波長域に含まれる波長の光が前記発光部から発せられた際には、前記第１の画素に備えられた前記カウンタを前記第２のモードで動作させるとともに、前記第２の画素に備えられた前記カウンタを前記第１のモードで動作させ、
   前記第２の透過波長域に含まれる波長の光が前記発光部から発せられた際には、前記第２の画素に備えられた前記カウンタを前記第２のモードで動作させるとともに、前記第１の画素に備えられた前記カウンタを前記第１のモードで動作させることを特徴とする請求項１又は２に記載の固体撮像素子。
4. 前記複数の画素のうちの第１の画素には、所定波長域の可視光を透過するとともに赤外光を透過しない第１のカラーフィルタが備えられ、
   前記複数の画素のうちの第２の画素には、赤外光を透過する第２のカラーフィルタが備えられ、
   前記発光部からは赤外光が発せられることを特徴とする請求項１又は２に記載の固体撮像素子。
5. 前記複数の画素のうち、所定の領域に位置する画素に備えられた前記カウンタを前記第２のモードで動作させ、前記複数の画素のうち、前記所定の領域以外の領域に位置する画素に備えられた前記カウンタを前記第１のモードで動作させることを特徴とする請求項１から４のいずれか１項に記載の固体撮像素子。
6. 前記カウンタが前記第１のモードで動作する場合、前記ローパスフィルタと前記比較器に供給する電力を制限することを特徴とする請求項５に記載の固体撮像素子。
7. 前記カウンタが前記第１のモードで動作した際に得られたカウント値を、前記比較器の出力に基づいて補正する補正手段を更に備えることを特徴とする請求項１又は６に記載の固体撮像素子。
8. 複数の画素を有する固体撮像素子と、
   前記固体撮像素子から出力される信号を処理する信号処理手段と、を有する撮像装置であって、
   前記複数の画素のそれぞれが、
   光子の受光に応じてパルス信号を発するセンサ部と、
   前記センサ部から発せられる前記パルス信号が入力されるローパスフィルタと、
   前記ローパスフィルタの出力と閾値とを比較する比較器と、
   発光部が光を発しない際に前記センサ部から発せられる前記パルス信号のパルス数をカウントする第１のモードでの動作と、所定信号のパルス数をカウントする第２のモードであって、該パルス数が前記発光部から光が発せられたタイミングからの経過時間に依存する第２のモードでの動作とを選択的に切り換えるように構成されたカウンタと、を有し、
   前記カウンタは、前記第２のモードで動作する場合、前記発光部から光が発せられたタイミングから前記比較器の出力が反転するタイミングまでの前記所定信号のパルス数をカウントする、
   ことを特徴とする撮像装置。
9. 前記信号処理手段は、前記カウンタが前記第１のモードで動作した際に得られたカウント値を、前記比較器の出力に基づいて補正することを特徴とする請求項８に記載の撮像装置。
10. 前記信号処理手段は、前記カウンタが前記第１のモードで動作した際に得られたカウント値に基づいて画像を生成し、前記カウンタが前記第２のモードで動作した際に得られたカウント値に基づいて被写体までの距離を算出することを特徴とする請求項８又は９に記載の撮像装置。
11. 複数の画素を有する固体撮像素子と、ここで、前記複数の画素のそれぞれは、光子の受光に応じてパルス信号を発するセンサ部と、前記センサ部から発せられる前記パルス信号が入力されるローパスフィルタと、前記ローパスフィルタの出力と閾値とを比較する比較器と、カウンタとを有する、固体撮像素子と、
    被写体を撮像する第１のモードでの動作と、前記被写体までの距離に関する情報を取得する第２のモードでの動作とを選択的に切り換えるように前記固体撮像素子を駆動ならびに制御する制御手段と、を有し、
    前記第１のモードにおいて、前記制御手段は、発光部が光を発しない際に前記センサ部から発せられる前記パルス信号のパルス数をカウントするように前記カウンタを制御し、
    前記第２のモードにおいて、前記制御手段は、所定信号のパルス数をカウントするように前記カウンタを制御し、ここで、該パルス数は前記発光部から光が発せられたタイミングからの経過時間に依存し、
    前記第２のモードにおいて、前記制御手段は、前記発光部から光が発せられたタイミングから前記比較器の出力が反転するタイミングまでの前記所定信号のパルス数をカウントするように前記カウンタを制御する、
    ことを特徴とする撮像装置。

Images