WO2020110484A1 - 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 - Google Patents

Abstract

アドレスイベントの有無を検出する固体撮像素子において、さらに画像を撮像する。　固体撮像素子は、検出画素および計数画素を具備する。この固体撮像素子において検出画素は、入射光量の変化量が所定の閾値を超えるか否かにより所定のアドレスイベントが生じたか否かを検出する。また、固体撮像素子において計数画素は、アドレスイベントが生じた場合には所定の露光期間内に入射された光子数を計数して計数値を示す画素信号を出力する。

Description

固体撮像素子、撮像装置、および、固体撮像素子の制御方法

　本技術は、固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。詳しくは、入射光量の変化量を閾値と比較する固体撮像素子、撮像装置、および、固体撮像素子の制御方法に関する。

　従来より、垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子が撮像装置などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、アドレスイベントを検出する回路を設けた非同期型の固体撮像素子が提案されている（例えば、非特許文献１参照。）。ここで、アドレスイベントは、ある画素アドレスにおいて、画素の光量が変動して、その変化量が閾値を超えた旨を意味する。このアドレスイベントは、画素の光量が変動して変化量が所定の上限を超えた旨を示すオンイベントと、その変化量が所定の下限を下回った旨を示すオフイベントとからなる。非同期型の固体撮像素子では、１ビットのオンイベントの検出結果と１ビットのオフイベントの検出結果とからなる２ビットのデータが画素毎に生成される。このように、画素毎にアドレスイベントの有無を検出する固体撮像素子は、ＤＶＳ（Dynamic Vision Sensor）と呼ばれる。

Patrick Lichtsteiner, et al., A 128 128 120 dB 15  μs Latency Asynchronous Temporal Contrast Vision Sensor, IEEE JOURNAL OF SOLID-STATE CIRCUITS, VOL. 43, NO. 2, FEBRUARY 2008.

　上述の非同期型の固体撮像素子（ＤＶＳ）では、同期型の固体撮像素子よりも遥かに高速にデータが生成される。しかしながら、画像認識などにおいては、アドレスイベントの有無の検出に加えて、画素毎に３ビット以上の高画質の画像データが要求されることがあり、画素毎に２ビットからなるデータを生成する上述のＤＶＳでは、その要求を満たすことができない。より高画質の画像データを撮像するには、ＤＶＳと同期型の固体撮像素子との両方を設ければよいが、サイズ、部品点数やコストが増大するために望ましくない。このように、アドレスイベントの有無を検出する固体撮像素子（ＤＶＳ）において、高画質の画像をさらに撮像することが困難であるという問題がある。

　本技術はこのような状況に鑑みて生み出されたものであり、アドレスイベントの有無を検出する固体撮像素子において、さらに画像を撮像することを目的とする。

　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、入射光量の変化量が所定の閾値を超えるか否かにより所定のアドレスイベントが生じたか否かを検出する検出画素と、上記アドレスイベントが生じた場合には所定の露光期間内に入射された光子数を計数して計数値を示す画素信号を出力する計数画素とを具備する固体撮像素子、および、その制御方法である。これにより、アドレスイベントの有無の検出中に、画像が撮像されるという作用をもたらす。

　また、この第１の側面において、上記検出画素は、上記アドレスイベントが生じたか否かを検出するアドレスイベント検出回路と、上記アドレスイベントが生じた場合には上記露光期間を示す制御信号を上記計数画素へ出力する露光制御回路とを備えてもよい。これにより、検出画素によって露光時間が制御されるという作用をもたらす。

　また、この第１の側面において、上記露光制御回路は、上記アドレスイベントが生じた場合には上記制御信号の出力を開始する制御信号出力部と、上記制御信号の出力が開始されたときから経過した時間を計時して当該計時した時間を示すタイマ値を出力する計時部と、上記タイマ値が上記露光期間の長さに該当する場合には上記制御信号の出力を停止させる露光終了タイミング制御部とを備えてもよい。これにより、タイマ値によって露光期間が制御されるという作用をもたらす。

　また、この第１の側面において、上記露光期間を経過した場合には所定の読出し期間に亘って上記画素信号を出力させる駆動回路をさらに具備し、上記露光制御回路は、上記読出し期間に亘って上記制御信号の出力を停止してもよい。これにより、読出し期間に亘って露光が停止するという作用をもたらす。

　また、この第１の側面において、上記露光制御回路は、上記アドレスイベントが生じた場合には位相の異なる２つの周期信号の一方に同期して上記制御信号の出力を開始し、上記２つの周期信号の他方に同期して上記制御信号の出力を停止してもよい。これにより、２つの周期信号によって露光期間が制御されるという作用をもたらす。

　また、この第１の側面において、上記計数画素は、アバランシェフォトダイオードと、上記アバランシェフォトダイオードに光電流が流れるたびにパルス信号を生成するパルス変換部と、上記パルス信号に同期して上記計数値を計数するフォトンカウンタとを備えてもよい。これにより、入射された光子数が計数されるという作用をもたらす。

　また、この第１の側面において、上記パルス変換部は、上記アバランシェフォトダイオードに直列に接続された抵抗素子と、上記露光期間を示す所定の制御信号に従って所定の経路を開閉するスイッチとを備えてもよい。これにより、露光期間に亘って入射された光子数が計数されるという作用をもたらす。

　また、この第１の側面において、上記スイッチは、上記アバランシェフォトダイオードと上記抵抗素子との間の経路を開閉してもよい。。これにより、露光期間に亘って入射された光子数が計数されるという作用をもたらす。

　また、この第１の側面において、上記スイッチは、上記アバランシェフォトダイオードおよび上記抵抗素子の接続点と上記フォトンカウンタとの間の経路を開閉してもよい。これにより、露光期間に亘って入射された光子数が計数されるという作用をもたらす。

　また、この第１の側面において、上記検出画素は複数の画素ブロックのそれぞれに配置され、上記複数の画素ブロックのそれぞれには、所定数の上記計数画素が配列され、上記複数の画素ブロックのうち上記アドレスイベントが生じた画素ブロック内の上記計数画素が上記光子数を計数してもよい。これにより、アドレスイベントが生じた画素ブロックのみから画素信号が出力されるという作用をもたらす。

　また、この第１の側面において、上記計数画素は、二次元格子状に配列され、上記検出画素は、所定方向に沿って配列されてもよい。これにより、アドレスイベントが生じた行から画素信号が出力されるという作用をもたらす。

　また、この第１の側面において、上記検出画素のサイズは、上記計数画素よりも大きくてもよい。これにより、回路や素子が効率的に配置されるという作用をもたらす。

　また、本技術の第２の側面は、入射光量の変化量が所定の閾値を超えるか否かにより所定のアドレスイベントが生じたか否かを検出する検出画素と、上記アドレスイベントが生じた場合には所定の露光期間内に入射された光子数を計数して計数値を示す画素信号を出力する計数画素と、上記画素信号を処理する信号処理部とを具備する撮像装置である。これにより、アドレスイベントの有無の検出中に、画像が撮像されて処理されるという作用をもたらす。

本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の積層構造の一例を示す図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示す平面図である。 本技術の第１の実施の形態における画素ブロックの一構成例を示すブロック図である。 本技術の第１の実施の形態におけるアドレスイベント検出画素の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるアドレスイベント検出回路の一構成例を示す回路図である。 本技術の第１の実施の形態における容量を削減したアドレスイベント検出回路の一構成例を示す回路図である。 本技術の第１の実施の形態における露光制御回路の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるＳＰＡＤ（Single-Photon Avalanche Diode）画素の一構成例を示す回路図である。 本技術の第１の実施の形態におけるイネーブル付パルス変換部の一構成例を示す回路図である。 本技術の第１の実施の形態におけるスイッチの位置を変更したＳＰＡＤ画素の一構成例を示す回路図である。 本技術の第１の実施の形態における露光制御の一例を示すタイミングチャートである。 本技術の第１の実施の形態における固体撮像素子の動作の一例を示すフローチャートである。 本技術の第１の実施の形態の第１の変形例における画素アレイ部の一構成例を示す平面図である。 本技術の第１の実施の形態の第２の変形例における画素アレイ部の一構成例を示す平面図である。 本技術の第１の実施の形態の第２の変形例における画素アレイ部の一構成例を示す平面図である。 本技術の第２の実施の形態における露光制御回路の一構成例を示すブロック図である。 本技術の第２の実施の形態における露光および読出しの制御の一例を示すタイミングチャートである。 本技術の第３の実施の形態における露光制御回路の一構成例を示す回路図である。 本技術の第３の実施の形態における露光制御の一例を示すタイミングチャートである。 本技術の第４の実施の形態に係る撮像装置の構成の一例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（アドレスイベント検出画素およびＳＰＡＤ画素を配列する例）
　２．第２の実施の形態（アドレスイベント検出画素およびＳＰＡＤ画素を配列し、読出し中に露光停止する例）
　３．第３の実施の形態（アドレスイベント検出画素およびＳＰＡＤ画素を配列し、２つのクロック信号を用いて露光制御する例）
　４．第４の実施の形態（スキャン方式）￥
　５．移動体への応用例

　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、撮像レンズ１１０、固体撮像素子２００、記録部１２０および制御部１３０を備える。撮像装置１００としては、産業用ロボットに搭載されるカメラや、車載カメラなどが想定される。

　撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、アドレスイベントの有無を検出しつつ、画像データを撮像するものである。ここで、アドレスイベントは、オンイベントおよびオフイベントを含み、その検出結果は、１ビットのオンイベントの検出結果と１ビットのオフイベントの検出結果とを含む。オンイベントは、入射光の光量の変化量が所定の上限閾値を超えた旨を意味する。一方、オフイベントは、光量の変化量が所定の下限閾値を下回った旨を意味する。固体撮像素子２００は、アドレスイベントの検出結果を処理し、その処理結果を示すデータを記録部１２０に信号線２０９を介して出力する。なお、固体撮像素子２００は、オンイベントおよびオフイベントの一方のみを検出してもよい。

　記録部１２０は、固体撮像素子２００からのデータを記録するものである。制御部１３０は、固体撮像素子２００を制御してアドレスイベントの有無を検出させつつ、画像データを撮像させるものである。

　［固体撮像素子の構成例］
　図２は、本技術の第１の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、回路チップ２０２と、その回路チップ２０２に積層された受光チップ２０１とを備える。これらのチップは、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。

　図３は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、駆動回路２１１、信号処理部２１２、アービタ２１３および画素アレイ部２１４を備える。

　画素アレイ部２１４には、複数の画素が二次元格子状に配列される。これらのうち一部の画素は、アドレスイベントの有無を検出して、その検出結果を示す検出信号を信号処理部２１２に供給する。一方、残りの画素は、アドレスイベントが生じた際に露光期間内の入射光子数を計数し、計数値を示す画素信号を信号処理部２１２へ出力する。

　駆動回路２１１は、アドレスイベントが生じた際に画素アレイ部２１４内の画素を駆動して画素信号を出力させるものである。

　信号処理部２１２は、画素アレイ部２１４からの検出信号および画素信号に対し、画像認識処理などの所定の信号処理を実行するものである。この信号処理部２１２は、処理結果を示すデータを信号線２０９を介して記録部１２０に供給する。

　アービタ２１３は、画素アレイ部２１４からのリクエストを調停し、調停結果に基づいて応答を画素アレイ部２１４に送信するものである。

　［画素アレイ部の構成例］
　図４は、本技術の第１の実施の形態における画素アレイ部２１４の一構成例を示す平面図である。この画素アレイ部２１４には、複数の画素ブロック２１５が二次元格子状に配列される。また、複数の画素ブロック２１５のそれぞれには、Ｎ（Ｎは、２以上の整数）個の画素が配列される。これらのＮ画素のうち１つは、アドレスイベント検出画素３１０であり、残りのＮ－１画素は、ＳＰＡＤ画素３２０である。例えば、画素ブロック２１５ごとに４行×４列の１６画素が配列され、それらのうち１つは、アドレスイベント検出画素３１０であり、残りの１５個は、ＳＰＡＤ画素３２０である。このアドレスイベント検出画素３１０は、画素ブロック２１５内の特定の位置に配置される。例えば、画素ブロック２１５内の相対座標を（ｘ、ｙ）とすると、（０、０）の座標にアドレスイベント検出画素３１０が配置される。ここで、ｘおよびｙは、整数である。

　なお、画素ブロック２１５のそれぞれの画素数は、４行×４列の１６画素に限定されない。例えば、２行×２列の４画素であってもよい。

　アドレスイベント検出画素３１０は、入射光量の変化量が所定の閾値を超えるか否かによりアドレスイベントの有無を検出するものである。また、アドレスイベント検出画素３１０は、アドレスイベントが生じた場合にＳＰＡＤ画素３２０の露光期間を制御する。なお、アドレスイベント検出画素３１０は、特許請求の範囲に記載の検出画素の一例である。

　ＳＰＡＤ画素３２０は、アドレスイベントが生じた場合において、ＳＰＡＤなどのアバランシェフォトダイオードを用いて、露光期間内に入射された光子数を計数するものである。なお、ＳＰＡＤ画素３２０は、特許請求の範囲に記載の計数画素の一例である。

　図５は、本技術の第１の実施の形態における画素ブロック２１５の一構成例を示すブロック図である。画素ブロック２１５内には、前述したように、１つのアドレスイベント検出画素３１０と、Ｎ－１個のＳＰＡＤ画素３２０とが配置される。

　アドレスイベント検出画素３１０は、アドレスイベントの検出結果を示す検出信号ＤＥＴ＋およびＤＥＴ－を信号処理部２１２に出力する。ここで、検出信号ＤＥＴ＋は、オンイベントの検出結果を示す信号であり、検出信号ＤＥＴ－は、オフイベントの検出結果を示す信号である。

　また、アドレスイベント検出画素３１０は、アドレスイベントを検出した際に、イネーブル信号ＣＮＴ＿ＥＮを生成し、画素ブロック２１５内のＮ－１個のＳＰＡＤ画素３２０のそれぞれに供給する。このイネーブル信号ＣＮＴ＿ＥＮは、所定の露光期間を示す制御信号である。例えば、露光期間内においてイネーブル信号ＣＮＴ＿ＥＮにハイレベルが設定され、露光期間外においてローレベルが設定される。

　一方、ＳＰＡＤ画素３２０は、イネーブル信号ＣＮＴ＿ＥＮに係る露光期間に亘って光子数を計数し、その計数値を示すデジタルの画素信号ＳＩＧを生成して信号処理部２１２に出力する。

　同図に例示したように、ある画素ブロック２１５でアドレスイベントが生じると、その画素ブロック２１５内のＮ－１個のＳＰＡＤ画素３２０の露光が同時に開始され、同時に露光が終了する。そして、それらのＳＰＡＤ画素３２０のそれぞれの画素信号ＳＩＧが出力される。すなわち、アドレスイベント検出画素３１０によるアドレスイベントの検出をトリガとして、ＳＰＡＤ画素３２０が画素信号ＳＩＧを生成する。

　なお、アドレスイベント検出画素３１０は、検出信号ＤＥＴ＋およびＤＥＴ－を信号処理部２１２に出力しているが、これらを信号処理部２１２に出力しない構成とすることもできる。

　［アドレスイベント検出画素の構成例］
　図６は、本技術の第１の実施の形態におけるアドレスイベント検出画素３１０の一構成例を示すブロック図である。このアドレスイベント検出画素３１０は、アドレスイベント検出回路４００、転送回路４５０および露光制御回路４６０を備える。

　アドレスイベント検出回路４００は、アドレスイベントの有無を検出するものである。このアドレスイベント検出回路４００は、入射光量の変化量と閾値（上限閾値や下限閾値）とを比較し、比較結果ＣＯＭＰ＋およびＣＯＭＰ－を転送回路４５０に供給する。比較結果ＣＯＭＰ＋は、上限閾値との比較結果であり、比較結果ＣＯＭＰ－は、下限閾値との比較結果である。

　転送回路４５０は、アドレスイベントが生じた場合に、検出信号ＤＥＴ＋およびＤＥＴ－を信号処理部２１２に転送するものである。検出信号ＤＥＴ＋は、オンイベントの検出結果を示し、検出信号ＤＥＴ－は、オフイベントの検出結果を示す。転送回路４５０は、アドレスイベントが生じた際に、検出信号の転送を要求するリクエストをアービタ２１３に供給する。そして、リクエストに対する応答をアービタ２１３から受け取ると転送回路４５０は、検出信号ＤＥＴ＋およびＤＥＴ－を信号処理部２１２に転送し、検出信号ＥＶを生成して露光制御回路４６０に供給する。この検出信号ＥＶは、オン、オフの区別なくアドレスイベントが生じたか否かを示す信号であり、例えば、検出信号ＤＥＴ＋およびＤＥＴ－の論理和により生成される。さらに、応答を受け取った際に転送回路４５０は、オートゼロ信号ＸＡＺをアドレスイベント検出回路４００に供給する。

　露光制御回路４６０は、アドレスイベントが生じた場合に、所定の露光期間を示すイネーブル信号ＣＮＴ＿ＥＮを、同じ画素ブロック２１５内のＳＰＡＤ画素３２０のそれぞれと駆動回路２１１とへ出力するものである。

　ＳＰＡＤ画素３２０は、露光期間に亘って入射された光子数を計数して画素信号を生成する。また、駆動回路２１１は、露光期間が終了すると、ＳＰＡＤ画素３２０を駆動して画素信号を出力させる。

　なお、露光制御回路４６０をアドレスイベント検出画素３１０内に配置しているが、この構成に限定されない。例えば、露光制御回路４６０を駆動回路２１１内に配置することもできる。また、転送回路４５０をアドレスイベント検出画素３１０内に配置しているが、比較結果ＣＯＭＰ＋およびＣＯＭＰ－の論理和を検出信号ＥＶとして出力するＯＲ（論理和）ゲートを転送回路４５０の代わりに配置することもできる。この場合には、駆動回路２１１がオートゼロ信号ＸＡＺを出力すればよい。

　［アドレスイベント検出回路の構成例］
　図７は、本技術の第１の実施の形態におけるアドレスイベント検出回路４００の一構成例を示す回路図である。

　対数応答部４１０は、光電変換素子４１１と電流電圧変換部４１６とを備える。光電変換素子４１１は、入射光に対する光電変換により光電流を生成するものである。光電変換素子４１１として、例えば、アバランシェ降伏しない一般的なフォトダイオードが用いられる。

　電流電圧変換部４１６は、光電流を画素電圧Ｖｐに対数的に変換するものである。この電流電圧変換部４１６は、Ｎ型トランジスタ４１２および４１５と、容量４１３と、Ｐ型トランジスタ４１４とを備える。Ｎ型トランジスタ４１２、Ｐ型トランジスタ４１４およびＮ型トランジスタ４１５として、例えば、ＭＯＳ（Metal-Oxide-Semiconductor）トランジスタが用いられる。

　Ｎ型トランジスタ４１２のソースは光電変換素子４１１のカソードに接続され、ドレインは電源端子に接続される。Ｐ型トランジスタ４１４およびＮ型トランジスタ４１５は、電源端子と所定の基準電位（接地電位など）の基準端子との間において、直列に接続される。また、Ｐ型トランジスタ４１４およびＮ型トランジスタ４１５の接続点は、Ｎ型トランジスタ４１２のゲートとバッファ４２０の入力端子とに接続される。Ｎ型トランジスタ４１２および光電変換素子４１１の接続点は、Ｎ型トランジスタ４１５のゲートに接続される。

　また、Ｐ型トランジスタ４１４のゲートには、所定のバイアス電圧Ｖ_ｂｌｏｇが印加される。容量４１３は、Ｎ型トランジスタ４１２のゲートとＮ型トランジスタ４１５のゲートとの間に挿入される。

　また、例えば、光電変換素子４１１が受光チップ２０１に配置され、その後段の回路が回路チップ２０２に配置される。なお、受光チップ２０１および回路チップ２０２のそれぞれに配置する回路や素子は、この構成に限定されない。例えば、光電変換素子４１１と、Ｎ型トランジスタ４１２および４１５と、容量４１３とを受光チップ２０１に配置し、その後段の回路を回路チップ２０２に配置することもできる。

　バッファ４２０は、Ｐ型トランジスタ４２１および４２２を備える。これらのトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。

　バッファ４２０において、Ｐ型トランジスタ４２１および４２２は、電源端子と基準電位の端子との間において直列に接続される。また、Ｐ型トランジスタ４２２のゲートは、対数応答部４１０に接続され、Ｐ型トランジスタ４２１および４２２の接続点は、微分回路４３０に接続される。Ｐ型トランジスタ４２１のゲートには、所定のバイアス電圧Ｖ_ｂｓｆが印加される。

　微分回路４３０は、容量４３１および４３４と、Ｐ型トランジスタ４３２および４３３と、Ｎ型トランジスタ４３５とを備える。微分回路４３０内のトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。

　Ｐ型トランジスタ４３３およびＮ型トランジスタ４３５は、電源端子と基準電位の端子との間において直列に接続される。Ｎ型トランジスタ４３５のゲートには、所定のバイアス電圧Ｖ_{ｂｄｉｆｆ}が入力される。これらのトランジスタは、Ｐ型トランジスタ４３３のゲートを入力端子４９１とし、Ｐ型トランジスタ４３３およびＮ型トランジスタ４３５の接続点を出力端子４９２とする反転回路として機能する。

　容量４３１は、バッファ４２０と入力端子４９１との間に挿入される。この容量４３１は、バッファ４２０からの画素電圧Ｖｐの時間微分（言い換えれば、変化量）に応じた電流を入力端子４９１に供給する。また、容量４３４は、入力端子４９１と出力端子４９２との間に挿入される。

　Ｐ型トランジスタ４３２は、転送回路４５０からのオートゼロ信号ＸＡＺに従って入力端子４９１と出力端子４９２との間の経路を開閉するものである。例えば、ローレベルのオートゼロ信号ＸＡＺが入力されるとＰ型トランジスタ４３２は、オートゼロ信号ＸＡＺに従ってオン状態に移行し、微分信号Ｖｏｕｔを初期値にする。

　コンパレータ４４０は、Ｐ型トランジスタ４４１および４４３とＮ型トランジスタ４４２および４４４とを備える。これらのトランジスタとして、例えば、ＭＯＳトランジスタが用いられる。

　コンパレータ４４０においてＰ型トランジスタ４４１およびＮ型トランジスタ４４２は、電源端子と基準端子との間において直列に接続され、Ｐ型トランジスタ４４３およびＮ型トランジスタ４４４も、電源端子と基準端子との間において直列に接続される。また、Ｐ型トランジスタ４４１および４４３のゲートは、微分回路４３０に接続される。Ｎ型トランジスタ４４２のゲートには上限閾値を示す上限電圧Ｖ_ｈｉｇｈが印加され、Ｎ型トランジスタ４４４のゲートには下限閾値を示す下限電圧Ｖ_ｌｏｗが印加される。

　Ｐ型トランジスタ４４１およびＮ型トランジスタ４４２の接続点は、転送回路４５０に接続され、この接続点の電圧が上限閾値との比較結果ＣＯＭＰ＋として出力される。Ｐ型トランジスタ４４３およびＮ型トランジスタ４４４の接続点も、転送回路４５０に接続され、この接続点の電圧が下限閾値との比較結果ＣＯＭＰ－として出力される。このような接続により、微分信号Ｖｏｕｔが上限電圧Ｖ_ｈｉｇｈより高い場合にコンパレータ４４０は、ハイレベルの比較結果ＣＯＭＰ＋を出力し、微分信号Ｖｏｕｔが下限電圧Ｖ_ｌｏｗより低い場合にローレベルの比較結果ＣＯＭＰ－を出力する。

　なお、コンパレータ４４０は、上限閾値および下限閾値の両方を、微分信号Ｖｏｕｔと比較しているが、一方のみを微分信号Ｖｏｕｔと比較してもよい。この場合には、不要なトランジスタを削減することができる。例えば、上限閾値とのみ比較する際には、Ｐ型トランジスタ４４１およびＮ型トランジスタ４４２のみが配置される。

　また、微分回路４３０に容量４３４を配置しているが、図８に例示するように容量４３４を削減することができる。

　［露光制御回路］
　図９は、本技術の第１の実施の形態における露光制御回路４６０の一構成例を示すブロック図である。この露光制御回路４６０は、イネーブル信号出力部４６１、シャッタカウンタ４６２および露光終了タイミング制御部４６３を備える。

　イネーブル信号出力部４６１は、アドレスイベントが生じた場合に、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮをＳＰＡＤ画素３２０および駆動回路２１１に出力するものである。このイネーブル信号出力部４６１は、転送回路４５０からの検出信号ＥＶが入力されると、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮの出力を開始する。

　そして、露光終了タイミング制御部４６３からの露光終了信号ＥＸ＿ＥＮＤが入力されるとイネーブル信号出力部４６１は、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮの出力を停止する。この露光終了信号ＥＸ＿ＥＮＤは、露光期間の終了タイミングを示す信号である。なお、イネーブル信号出力部４６１は、特許請求の範囲に記載の制御信号出力部の一例である。

　シャッタカウンタ４６２は、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮの出力が開始されたときからの経過時間を計時するものである。このシャッタカウンタ４６２は、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮが出力されている期間内において、所定周波数のクロック信号ＣＬＫに同期して計数値を計数（言い換えれば、経過時間を計時）する。そして、シャッタカウンタ４６２は、計数値をタイマ値Ｑとして露光終了タイミング制御部４６３に供給する。また、シャッタカウンタ４６２は、露光終了タイミング制御部４６３からのリセット信号ｓＲＳＴが入力された際に、タイマ値Ｑを初期値（例えば、「０」）にする。なお、シャッタカウンタ４６２は、特許請求の範囲に記載の計時部の一例である。

　露光終了タイミング制御部４６３は、タイマ値Ｑが露光期間の長さに該当する際に、露光終了信号ＥＸ＿ＥＮＤの供給によりハイレベルのイネーブル信号ＣＮＴ＿ＥＮの出力を停止させるものである。また、露光終了タイミング制御部４６３は、タイマ値Ｑが露光期間の長さに該当する際にリセット信号ｓＲＳＴをシャッタカウンタ４６２に供給する。ここで、露光期間の長さは、予め設定され、レジスタなどに保持される。なお、ユーザの操作に従って露光期間を変更することができる構成としてもよい。

　［ＳＰＡＤ画素の構成例］
　図１０は、本技術の第１の実施の形態におけるＳＰＡＤ画素３２０の一構成例を示す回路図である。このＳＰＡＤ画素３２０は、イネーブル付パルス変換部３２８、アバランシェフォトダイオード３２３、フォトンカウンタ３２６、リセット信号生成部３２９およびスイッチ３２７を備える。アバランシェフォトダイオード３２３として、例えば、ＳＰＡＤが用いられる。

　イネーブル付パルス変換部３２８およびアバランシェフォトダイオード３２３は電源端子と、基準電位（接地電位など）の基準端子との間において直列に接続される。なお、イネーブル付パルス変換部３２８を電源側に配置し、アバランシェフォトダイオード３２３を接地側に配置しているが、この構成に限定されない。イネーブル付パルス変換部３２８を接地側に配置し、アバランシェフォトダイオード３２３を電源側に配置することもできる。

　イネーブル付パルス変換部３２８は、アドレスイベント検出画素３１０からのイネーブル信号ＣＮＴ＿ＥＮに従って、アバランシェフォトダイオード３２３に光電流が流れるたびにパルス信号を生成してフォトンカウンタ３２６に出力するものである。このイネーブル付パルス変換部３２８は、イネーブル信号ＣＮＴ＿ＥＮがハイレベルである場合に、パルス信号の生成を行い、ローレベルである場合にパルス信号の生成を停止する。なお、イネーブル付パルス変換部３２８は、特許請求の範囲に記載のパルス変換部の一例である。

　アバランシェフォトダイオード３２３は、入射光を光電変換し、光電流を増幅するものである。

　フォトンカウンタ３２６は、反転回路からの信号に同期して計数値を計数するものである。リセット信号生成部３２９は、イネーブル付パルス変換部３２８がディセーブルの際に、リセット信号を生成してフォトンカウンタ３２６の計数値を初期化するものである。スイッチ３２７は、駆動回路２１１からの駆動信号ＲＤに従って、フォトンカウンタ３２６からの画素信号ＳＩＧを信号処理部２１２に出力するものである。なお、リセット信号生成部３２９をＳＰＡＤ画素３２０内に配置しているが、リセット信号生成部３２９をＳＰＡＤ画素３２０内に設けない構成とすることもできる。この場合には、駆動回路２１１などの外部の回路がリセット信号を生成すればよい。

　上述の構成により、露光期間内において、光子が入射するたびにイネーブル付パルス変換部３２８がパルス信号を生成してフォトンカウンタ３２６に出力する。フォトンカウンタ３２６は、パルス信号が出力された回数を計数する。この計数値は、露光期間内に入射された光子数を示す。そして、フォトンカウンタ３２６は、計数値を示すデジタルの画素信号ＳＩＧを信号処理部２１２にスイッチ３２７を介して出力する。また、リセット信号生成部３２９は、ローレベルのイネーブル信号ＣＮＴ＿ＥＮが入力された際に、計数値を初期値にする。

　図１１は、本技術の第１の実施の形態におけるイネーブル付パルス変換部３２８の一構成例を示す回路図である。このイネーブル付パルス変換部３２８は、Ｐ型トランジスタ３２１、スイッチ３２２、Ｐ型トランジスタ３２３およびＮ型トランジスタ３２４を備える。Ｐ型トランジスタ３２１、Ｐ型トランジスタ３２４およびＮ型トランジスタ３２５として、例えば、ＭＯＳトランジスタが用いられる。

　Ｐ型トランジスタ３２１は、スイッチ３２２を介してアバランシェフォトダイオード３２３と直列に接続される。また、スイッチ３２２は、Ｐ型トランジスタ３２１とアバランシェフォトダイオード３２３との間に挿入される。また、Ｐ型トランジスタ３２１のゲートには、所定のバイアス電圧ＶＢＱが印加される。これにより、Ｐ型トランジスタ３２１は、抵抗素子として機能する。なお、Ｐ型トランジスタ３２１は、特許請求の範囲に記載の抵抗素子の一例である。

　Ｐ型トランジスタ３２４およびＮ型トランジスタ３２５は、電源端子と基準端子との間において直列に接続される。また、Ｐ型トランジスタ３２４およびＮ型トランジスタ３２５のそれぞれのゲートは、Ｐ型トランジスタ３２１およびスイッチ３２２の接続点に共通に接続される。Ｐ型トランジスタ３２４およびＮ型トランジスタ３２５の接続点は、フォトンカウンタ３２６の入力端子に接続される。この接続により、Ｐ型トランジスタ３２４およびＮ型トランジスタ３２５は、Ｐ型トランジスタ３２１およびスイッチ３２２の接続点の電位を反転する反転回路として機能する。なお、イネーブル付パルス変換部３２８内に反転回路を設けない構成とすることもできる。この場合には、Ｐ型トランジスタ３２１およびスイッチ３２２の接続点の電位が降下するたびに、フォトンカウンタ３２６が計数を行う。

　スイッチ３２２は、アドレスイベント検出画素３１０からのイネーブル信号ＣＮＴ＿ＥＮに従ってＰ型トランジスタ３２１とアバランシェフォトダイオード３２３との間の経路を開閉するものである。このスイッチ３２２は、ハイレベルの場合に開状態に移行し、ローレベルの場合に閉状態に移行する。

　なお、Ｐ型トランジスタ３２１とアバランシェフォトダイオード３２３との間にスイッチ３２２を挿入しているが、この構成に限定されない。例えば、図１２に例示するように、Ｐ型トランジスタ３２４およびＮ型トランジスタ３２５の接続点と、フォトンカウンタ３２６との間にスイッチ３２２を挿入することもできる。

　［固体撮像素子の動作例］
　図１３は、本技術の第１の実施の形態における露光制御の一例を示すタイミングチャートである。アドレスイベントが発生し、タイミングＴ１から所定のパルス期間に亘って転送回路４５０が、ハイレベルの検出信号ＥＶを出力したものとする。

　露光制御回路４６０内のイネーブル信号出力部４６１は、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮのＳＰＡＤ画素３２０への出力を開始する。また、シャッタカウンタ４６２は、６ビットのタイマ値Ｑの計数を開始する。タイマ値Ｑが、露光期間の長さ（例えば、「６３」）になったタイミングＴ２において露光終了タイミング制御部４６３は、露光終了信号ＥＸ＿ＥＮＤを出力する。これにより、イネーブル信号出力部４６１は、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮの出力を停止する。

　このように、ある画素ブロック２１５でアドレスイベントが生じると、そのブロック内のＳＰＡＤ画素３２０の露光が同時に開始される。そして、一定の露光期間が経過すると、ＳＰＡＤ画素３２０の露光が同時に終了する。その露光期間内において、ＳＰＡＤ画素３２０のそれぞれは、入射された光子数を計数して画素信号ＳＩＧを生成する。そして、露光期間が終了すると、駆動回路２１１は、駆動信号ＲＤにより、ＳＰＡＤ画素３２０のそれぞれの画素信号ＳＩＧを順に出力させる。なお、露光制御回路４６０は、図１２に例示した制御を実現することができるものであれば、図９に例示した構成に限定されない。

　ここで、浮遊拡散層に電荷を転送し、その電位をシングルスロープ型のＡＤＣ（Analog to Digital Converter）によりＡＤ（Analog to Digital）変換する回路をＳＰＡＤ画素３２０の代わりに配置する構成も考えられる。しかし、この構成では、ＳＰＡＤ画素３２０と比較して、積分非直線性（ＩＮＬ：Integral Non-Linearity）の誤差が大きい。また、ノイズが生じたり、感度不均一性（ＰＲＮＵ:Photo Response Non-Uniformity)が悪化するおそれがあり、信号品質が低下する。このため、ＳＰＡＤ画素３２０を配置することにより、固体撮像素子２００は、ノイズ等の少ない信号品質の高い画素信号を生成することができる。

　また、駆動回路２１１は、複数の画素ブロック２１５のうちアドレスイベントが生じたブロック内の画素信号のみを出力させる（言い換えれば、読み出す）。このため、全ブロック内の画素信号を読み出す場合と比較して、消費電力や、画素信号に対する信号処理の処理量を低減することができる。

　図１４は、本技術の第１の実施の形態における固体撮像素子２００の動作の一例を示すフローチャートである。この動作は、例えば、アドレスイベントの有無を検出するためのアプリケーションが実行されたときに開始される。

　固体撮像素子２００の内の各画素ブロック２１５内のアドレスイベント検出画素３１０は、アドレスイベントが生じたか否かを判断する（ステップＳ９０１）。いずれの画素ブロック２１５においてもアドレスイベントが生じていない場合（ステップＳ９０１：Ｎｏ）、アドレスイベント検出画素３１０は、ステップＳ９０１以降を繰り返す。

　一方、１つ以上の画素ブロック２１５でアドレスイベントが生じた場合に（ステップＳ９０１：Ｙｅｓ）、アドレスイベント検出画素３１０内の露光制御回路４６０は、その画素ブロック２１５の露光を開始させる（ステップＳ９０２）。

　露光制御回路４６０は、一定の露光時間が経過したか否かを判断する（ステップＳ９０３）。露光時間が経過していない場合に（ステップＳ９０３：Ｎｏ）、露光制御回路４６０は、ステップＳ９０３以降を繰り返す。

　一方、一定の露光時間が経過した場合に（ステップＳ９０３：Ｙｅｓ）、露光制御回路４６０は露光を終了させ、駆動回路２１１は、画素信号の読出しを行う（ステップＳ９０４）。ステップＳ９０４の後に固体撮像素子２００は、ステップＳ９０１以降を繰り返し実行する。

　このように、本技術の第１の実施の形態によれば、アドレスイベント検出画素３１０によるアドレスイベントの検出をトリガとしてＳＰＡＤ画素３２０が画素信号を生成するため、アドレスイベントを検出しつつ、画像データを撮像することができる。また、ＳＰＡＤ画素３２０が露光期間内の入射光子数を計数して画素信号を生成するため、浮遊拡散層等を用いる一般的な画素と比較して信号品質を向上させることができる。

　［第１の変形例］
　上述の第１の実施の形態では、４行×４列の画素ブロック２１５ごとに、アドレスイベント検出画素３１０を配置していたが、この構成では、列方向においてアドレスイベント検出画素３１０の画素密度が不足するおそれがある。この第１の実施の形態の第１の変形例は、アドレスイベント検出画素３１０を列方向に沿って配列した点において第１の実施の形態と異なる。

　図１５は、本技術の第１の実施の形態の第１の変形例における画素アレイ部２１４の一構成例を示す平面図である。この第１の実施の形態の第１の変形例の画素アレイ部２１４には、列方向に沿って一列にアドレスイベント検出画素３１０が配列され、ＳＰＡＤ画素３２０は、二次元格子状に配列される。同図において、「Ｄ」は、ＤＶＳとしての機能を実現するためのアドレスイベント検出画素３１０を示し、「Ｓ」は、ＳＰＡＤ画素３２０を示す。なお、アドレスイベント検出画素３１０の列数は、１列に限定されず、２列以上であってもよい。また、アドレスイベント検出画素３１０を行方向に配列することもできる。

　ある行でアドレスイベントが検出されると、その行内の全てのＳＰＡＤ画素３２０の露光が開始されて、それらの１行分の画素信号が読み出される。列方向に沿ってアドレスイベント検出画素３１０を配列することにより、列方向のアドレスイベント検出画素３１０の画素数を第１の実施の形態と比較して多くすることができる。

　このように本技術の第１の実施の形態の第１の変形例によれば、列方向に沿って１列にアドレスイベント検出画素３１０を配列したため、列方向のアドレスイベント検出画素３１０の画素数を多くすることができる。

　［第２の変形例］
　上述の第１の実施の形態では、アドレスイベント検出画素３１０の画素サイズをＳＰＡＤ画素３２０と同一としていた。しかし、アドレスイベント検出画素３１０とＳＰＡＤ画素３２０とのそれぞれの回路規模が異なるため、それらの画素サイズを同一にすると、回路や素子を効率的に配置することが困難である。この第１の実施の形態の第２の変形例の固体撮像素子２００は、アドレスイベント検出画素３１０の画素サイズをＳＰＡＤ画素３２０より大きくした点において第１の実施の形態と異なる。

　図１６は、本技術の第１の実施の形態の第２の変形例における画素アレイ部２１４の一構成例を示す平面図である。第１の実施の形態の第２の変形例では、水平方向および垂直方向において、アドレスイベント検出画素３１０の画素サイズは、ＳＰＡＤ画素３２０より大きい。なお、図１７に例示するように、列方向のみにおいて、アドレスイベント検出画素３１０の画素サイズをＳＰＡＤ画素３２０より大きくすることができる。

　このように本技術の第１の実施の形態の第２の変形例によれば、アドレスイベント検出画素３１０の画素サイズをＳＰＡＤ画素３２０より大きくしたため、それらの画素サイズを同一とする場合と比較して、回路や素子を効率的に配置することができる。

　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、固体撮像素子２００は、一定の露光期間が経過した際に画素信号の読出しを開始していた。しかし、読出し中にアドレスイベントが検出されると、次の露光が開始されて、前の露光による画素信号の出力完了前に、その画素信号が初期化されるおそれがある。この第２の実施の形態の固体撮像素子２００は、読出し中に露光を開始しない点において第１の実施の形態と異なる。

　図１８は、本技術の第２の実施の形態における露光制御回路４６０の一構成例を示すブロック図である。この第２の実施の形態のイネーブル信号出力部４６１には、駆動回路２１１からの読出し終了信号ＲＤ＿ＦＩＮがさらに入力される。この読出し終了信号ＲＤ＿ＦＩＮは、画素信号の読出しが終了したタイミングを示す信号である。

　第２の実施の形態の駆動回路２１１は、露光期間が経過した際に、一定の読出し期間に亘って、Ｎ－１個の画素信号を順に読み出す。そして、読出しが終了した際に、読出し終了信号ＲＤ＿ＦＩＮを露光制御回路４６０に供給する。

　一方、露光制御回路４６０は、検出信号ＥＶの有無に関わらず、露光終了信号ＥＸ＿ＥＮＤの入力時から、読出し終了信号ＲＤ＿ＦＩＮの入力時までの期間に亘って、イネーブル信号ＣＮＴ＿ＥＮをローレベルにして露光を開始させない。

　図１９は、本技術の第２の実施の形態における露光および読出しの制御の一例を示すタイミングチャートである。アドレスイベントが発生し、タイミングＴ１において検出信号ＥＶが露光制御回路４６０に入力されたものとする。

　露光制御回路４６０内のイネーブル信号出力部４６１は、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮのＳＰＡＤ画素３２０への出力を開始する。また、シャッタカウンタ４６２は、タイマ値Ｑの計数を開始する。露光期間が終了するタイミングＴ２において露光終了タイミング制御部４６３は、露光終了信号ＥＸ＿ＥＮＤを出力する。これにより、イネーブル信号出力部４６１は、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮの出力を停止する。

　露光の終了するタイミングＴ２からタイミングＴ４までの読出し期間において、駆動回路２１１は、駆動信号ＲＤ１乃至ＲＤ１５によりアドレスイベントの生じた画素ブロック２１５内の１５個のＳＰＡＤ画素３２０のそれぞれの画素信号を順に出力させる。そして、タイミングＴ４の直前からパルス期間に亘ってハイレベルの読出し終了信号ＲＤ＿ＦＩＮをイネーブル信号出力部４６１に供給する。

　一方、イネーブル信号出力部４６１は、露光の終了するタイミングＴ２から、読出しの終了するタイミングＴ４までの期間において、イネーブル信号ＣＮＴ＿ＥＮをローレベルにする。この期間内のタイミングＴ３などに検出信号ＥＶが入力されても、イネーブル信号出力部４６１は、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮを出力せず、露光を開始しない。これにより、読出し中に次の露光が開始されることを抑止し、画素ブロック２１５内の画素信号の全てを確実に読み出すことができる。

　なお、第２の実施の形態の固体撮像素子２００に、第１の実施の形態の第１および第２の変形例のそれぞれを適用することができる。

　このように、本技術の第２の実施の形態によれば、イネーブル信号出力部４６１は、画素信号の読出し期間においてハイレベルのイネーブル信号ＣＮＴ＿ＥＮの出力を停止するため、読出し中に次の露光が開始されることを抑止することができる。これにより、画素ブロック２１５内の画素信号の全てを確実に読み出すことができる。

　＜３．第３の実施の形態＞
　上述の第１の実施の形態では、露光制御回路４６０は、シャッタカウンタ４６２を用いて露光開始時からの経過時間を計時していた。しかし、この構成では、シャッタカウンタ４６２のビット数が多いほど、露光制御回路４６０の回路規模が増大するおそれがある。この第３の実施の形態の露光制御回路４６０は、位相の異なる２つのクロック信号を用いることにより、回路規模を削減した点において第１の実施の形態と異なる。

　図２０は、本技術の第３の実施の形態における露光制御回路４６０の一構成例を示す回路図である。この第３の実施の形態の露光制御回路４６０は、フリップフロップ４７１、４７２および４７３と、ＸＯＲ（排他的論理和）ゲート４７４および遅延回路４７５とを備える。

　フリップフロップ４７１は、検出信号ＥＶに同期して入力信号を保持するものである。このフリップフロップ４７１の入力端子Ｄには、電源端子からのハイレベルの入力信号が入力される。また、フリップフロップ４７１の出力端子Ｑからの保持値Ｑ１は、フリップフロップ４７２の入力端子Ｄに入力される。

　フリップフロップ４７２は、クロック信号ＣＬＫ１に同期して前段からの保持値Ｑ１を保持するものである。このフリップフロップ４７２の出力端子Ｑからの保持値Ｑ２は、フリップフロップ４７３の入力端子ＤとＸＯＲゲート４７４とに入力される。

　フリップフロップ４７３は、クロック信号ＣＬＫ２に同期して前段からの保持値Ｑ２を保持するものである。このフリップフロップ４７３の出力端子Ｑからの保持値Ｑ３は、ＸＯＲゲート４７４と遅延回路４７５とに入力される。また、クロック信号ＣＬＫ２は、クロック信号ＣＬＫ１と周波数が同一で位相の異なる周期信号であるものとする。

　遅延回路４７５は、前段からの保持値Ｑ２を遅延させて、フリップフロップ４７１、４７２および４７３のそれぞれのクリア端子Ｃに入力するものである。クリア端子Ｃに遅延したＱ２が入力されると、フリップフロップ４７１、４７２および４７３は、保持値を初期値（例えば、ローレベル）にする。

　ＸＯＲゲート４７４は、保持値Ｑ２およびＱ３の排他的論理和をイネーブル信号ＣＮＴ＿ＥＮとしてＳＰＡＤ画素３２０等に出力するものである。

　図２１は、本技術の第３の実施の形態における露光制御の一例を示すタイミングチャートである。タイミングＴ１において検出信号ＥＶが入力されたものとする。１段目のフリップフロップ４７１は、検出信号ＥＶに同期してハイレベルの保持値Ｑ１を保持する。

　そして、タイミングＴ２においてクロック信号ＣＬＫ１が入力されると、２段目のフリップフロップ４７２は、そのクロック信号ＣＬＫ１に同期して、前段からのハイレベルの信号を保持値Ｑ２として保持する。これにより、ＸＯＲゲート４７４は、ハイレベルのイネーブル信号ＣＮＴ＿ＥＮの出力を開始する。

　続いて、タイミングＴ３においてクロック信号ＣＬＫ２が入力されると、３段目のフリップフロップ４７３は、そのクロック信号ＣＬＫ２に同期して、前段からのハイレベルの信号を保持値Ｑ３として保持する。これにより、ＸＯＲゲート４７４は、イネーブル信号ＣＮＴ＿ＥＮをローレベルにする。

　そして、タイミングＴ３から遅延時間の経過したタイミングＴ４において、遅延した信号により、保持値Ｑ１乃至Ｑ３が初期化される。

　上述したように、露光制御回路４６０は、クロック信号ＣＬＫ１に同期して露光を開始し、クロック信号ＣＬＫ２に同期して露光を終了する。シャッタカウンタ４６２を用いる第１の実施の形態では、露光期間が長いほどビット数を多くする必要があり、シャッタカウンタ４６２の回路規模が増大するおそれがある。これに対して、クロック信号ＣＬＫ１およびＣＬＫ２を用いる第３の実施の形態では、シャッタカウンタ４６２を用いないため、回路規模の増大を抑制することができる。

　なお、第３の実施の形態の固体撮像素子２００に、第１の実施の形態の第１および第２の変形例のそれぞれを適用することができる。また、露光制御回路４６０は、図２０に例示した制御を実現することができるものであれば、図１９に例示した回路に限定されない。

　このように、本技術の第３の実施の形態では、露光制御回路４６０は、クロック信号ＣＬＫ１に同期して露光を開始し、クロック信号ＣＬＫ２に同期して露光を終了するため、露光制御にシャッタカウンタ４６２が不要となる。これにより、露光期間が長いほど、シャッタカウンタ４６２のビット数を多くする必要が無くなり、回路規模の増大を抑制することができる。

　＜４．第４の実施の形態に係る撮像装置（スキャン方式）＞
　上述した第１構成例に係る撮像装置２０は、非同期型の読出し方式にてイベントを読み出す非同期型の撮像装置である。但し、イベントの読出し方式としては、非同期型の読出し方式に限られるものではなく、同期型の読出し方式であってもよい。同期型の読出し方式が適用される撮像装置は、所定のフレームレートで撮像を行う通常の撮像装置と同じ、スキャン方式の撮像装置である。

　図２２は、本開示に係る技術が適用される撮像システム１０における撮像装置２０として用いられる、第４の実施の形態に係る撮像装置、即ち、スキャン方式の撮像装置の構成の一例を示すブロック図である。

　図２２に示すように、本開示の撮像装置としての第２構成例に係る撮像装置２０は、画素アレイ部２１、駆動部２２、信号処理部２５、読出し領域選択部２７、及び、信号生成部２８を備える構成となっている。

　画素アレイ部２１は、複数の画素３０を含む。複数の画素３０は、読出し領域選択部２７の選択信号に応答して出力信号を出力する。複数の画素３０のそれぞれの構成は、図４に記載の画素（アドレスイベント検出画素やＳＰＡＤ画素）と同様である。複数の画素３０は、光の強度の変化量に対応する出力信号を出力する。複数の画素３０は、図２２に示すように、行列状に２次元配置されていてもよい。

　駆動部２２は、複数の画素３０のそれぞれを駆動して、各画素３０で生成された画素信号を信号処理部２５に出力させる。尚、駆動部２２及び信号処理部２５については、階調情報を取得するための回路部である。従って、イベント情報のみを取得する場合は、駆動部２２及び信号処理部２５は無くてもよい。

　読出し領域選択部２７は、画素アレイ部２１に含まれる複数の画素３０のうちの一部を選択する。具体的には、読出し領域選択部２７は、画素アレイ部２１の各画素３０からのリクエストに応じて選択領域を決定する。例えば、読出し領域選択部２７は、画素アレイ部２１に対応する２次元行列の構造に含まれる行のうちのいずれか１つもしくは複数の行を選択する。読出し領域選択部２７は、予め設定された周期に応じて１つもしくは複数の行を順次選択する。また、読出し領域選択部２７は、画素アレイ部２１の各画素３０からのリクエストに応じて選択領域を決定してもよい。

　信号生成部２８は、読出し領域選択部２７によって選択された画素の出力信号に基づいて、選択された画素のうちのイベントを検出した活性画素に対応するイベント信号を生成する。イベントは、光の強度が変化するイベントである。活性画素は、出力信号に対応する光の強度の変化量が予め設定された閾値を超える、又は、下回る画素である。例えば、信号生成部２８は、画素の出力信号を基準信号と比較し、基準信号よりも大きい又は小さい場合に出力信号を出力する活性画素を検出し、当該活性画素に対応するイベント信号を生成する。

　信号生成部２８については、例えば、信号生成部２８に入ってくる信号を調停するような列選択回路を含む構成とすることができる。また、信号生成部２８については、イベントを検出した活性画素の情報の出力のみならず、イベントを検出しない非活性画素の情報もを出力する構成とすることができる。

　信号生成部２８からは、出力線１５を通して、イベントを検出した活性画素のアドレス情報及びタイムスタンプ情報（例えば、（Ｘ，Ｙ，Ｔ））が出力される。但し、信号生成部２８から出力されるデータについては、アドレス情報及びタイムスタンプ情報だけでなく、フレーム形式の情報（例えば、（０，０，１，０，・・・））であってもよい。

　＜５．移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図２３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図２４は、撮像部１２０３１の設置位置の例を示す図である。

　図２４では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図２４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図１の撮像装置１００は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、アドレスイベントを検出しつつ、より見やすい撮影画像を得ることができる。

　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

　なお、本技術は以下のような構成もとることができる。
（１）入射光量の変化量が所定の閾値を超えるか否かにより所定のアドレスイベントが生じたか否かを検出する検出画素と、
　前記アドレスイベントが生じた場合には所定の露光期間内に入射された光子数を計数して計数値を示す画素信号を出力する計数画素と
を具備する固体撮像素子。
（２）前記検出画素は、
　前記アドレスイベントが生じたか否かを検出するアドレスイベント検出回路と、
　前記アドレスイベントが生じた場合には前記露光期間を示す制御信号を前記計数画素へ出力する露光制御回路と
を備える前記（１）記載の固体撮像素子。
（３）前記露光制御回路は、
　前記アドレスイベントが生じた場合には前記制御信号の出力を開始する制御信号出力部と、
　前記制御信号の出力が開始されたときから経過した時間を計時して当該計時した時間を示すタイマ値を出力する計時部と、
　前記タイマ値が前記露光期間の長さに該当する場合には前記制御信号の出力を停止させる露光終了タイミング制御部と
を備える前記（２）記載の固体撮像素子。
（４）前記露光期間を経過した場合には所定の読出し期間に亘って前記画素信号を出力させる駆動回路をさらに具備し、
　前記露光制御回路は、前記読出し期間に亘って前記制御信号の出力を停止する
前記（２）に記載の固体撮像素子。
（５）前記露光制御回路は、前記アドレスイベントが生じた場合には位相の異なる２つの周期信号の一方に同期して前記制御信号の出力を開始し、前記２つの周期信号の他方に同期して前記制御信号の出力を停止する
前記（２）に記載の固体撮像素子。
（６）前記計数画素は、
　アバランシェフォトダイオードと、
　前記アバランシェフォトダイオードに光電流が流れるたびにパルス信号を生成するパルス変換部と、
　前記パルス信号に同期して前記計数値を計数するフォトンカウンタと
を備える前記（１）から（５）のいずれかに記載の固体撮像素子。
（７）前記パルス変換部は、
　前記アバランシェフォトダイオードに直列に接続された抵抗素子と、
　前記露光期間を示す所定の制御信号に従って所定の経路を開閉するスイッチと
を備える
前記（６）記載の固体撮像素子。（８）前記スイッチは、前記アバランシェフォトダイオードと前記抵抗素子との間の経路を開閉する前記（７）記載の固体撮像素子。
（９）前記スイッチは、前記アバランシェフォトダイオードおよび前記抵抗素子の接続点と前記フォトンカウンタとの間の経路を開閉する請求項７記載の固体撮像素子。（１０）前記検出画素は複数の画素ブロックのそれぞれに配置され、
　前記複数の画素ブロックのそれぞれには、所定数の前記計数画素が配列され、
　前記複数の画素ブロックのうち前記アドレスイベントが生じた画素ブロック内の前記計数画素が前記光子数を計数する
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１１）前記計数画素は、二次元格子状に配列され、
　前記検出画素は、所定方向に沿って配列される
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１２）前記検出画素のサイズは、前記計数画素よりも大きい
前記（１）から（９）のいずれかに記載の固体撮像素子。
（１３）入射光量の変化量が所定の閾値を超えるか否かにより所定のアドレスイベントが生じたか否かを検出する検出画素と、
　前記アドレスイベントが生じた場合には所定の露光期間内に入射された光子数を計数して計数値を示す画素信号を出力する計数画素と、
　前記画素信号を処理する信号処理部と
を具備する撮像装置。
（１４）検出画素が、入射光量の変化量が所定の閾値を超えるか否かにより所定のアドレスイベントが生じたか否かを検出する検出手順と、
　計数画素が、前記アドレスイベントが生じた場合には所定の露光期間内に入射された光子数を計数して計数値を示す画素信号を出力する計数手順と
を具備する固体撮像素子の制御方法。

　１００　撮像装置
　１１０　撮像レンズ
　１２０　記録部
　１３０　制御部
　２００　固体撮像素子
　２０１　受光チップ
　２０２　回路チップ
　２１１　駆動回路
　２１２　信号処理部
　２１３　アービタ
　２１４　画素アレイ部
　３１０　アドレスイベント検出画素
　３２０　ＳＰＡＤ画素
　３２１、３２４、４１４、４２１、４２２、４３２、４３３、４４１、４４３　Ｐ型トランジスタ
　３２２、３２７　スイッチ
　３２３　アバランシェフォトダイオード
　３２５、４１２、４１５、４３５、４４２、４４４　Ｎ型トランジスタ
　３２６　フォトンカウンタ
　３２８　イネーブル付パルス変換部
　３２９　リセット信号生成部
　４００　アドレスイベント検出回路
　４１０　対数応答部
　４１１　光電変換素子
　４１３、４３１、４３４　容量
　４１６　電流電圧変換部
　４２０　バッファ
　４３０　微分回路
　４４０　コンパレータ
　４５０　転送回路
　４６０　露光制御回路
　４６１　イネーブル信号出力部
　４６２　シャッタカウンタ
　４６３　露光終了タイミング制御部
　４７１、４７２、４７３　フリップフロップ
　４７４　ＸＯＲ（排他的論理和）ゲート
　４７５　遅延回路
　１２０３１　撮像部

Claims (14)

1. 　入射光量の変化量が所定の閾値を超えるか否かにより所定のアドレスイベントが生じたか否かを検出する検出画素と、
   　前記アドレスイベントが生じた場合には所定の露光期間内に入射された光子数を計数して計数値を示す画素信号を出力する計数画素と
   を具備する固体撮像素子。
2. 　前記検出画素は、
   　前記アドレスイベントが生じたか否かを検出するアドレスイベント検出回路と、
   　前記アドレスイベントが生じた場合には前記露光期間を示す制御信号を前記計数画素へ出力する露光制御回路と
   を備える請求項１記載の固体撮像素子。
3. 　前記露光制御回路は、
   　前記アドレスイベントが生じた場合には前記制御信号の出力を開始する制御信号出力部と、
   　前記制御信号の出力が開始されたときから経過した時間を計時して当該計時した時間を示すタイマ値を出力する計時部と、
   　前記タイマ値が前記露光期間の長さに該当する場合には前記制御信号の出力を停止させる露光終了タイミング制御部と
   を備える請求項２記載の固体撮像素子。
4. 　前記露光期間を経過した場合には所定の読出し期間に亘って前記画素信号を出力させる駆動回路をさらに具備し、
   　前記露光制御回路は、前記読出し期間に亘って前記制御信号の出力を停止する
   請求項２記載の固体撮像素子。
5. 　前記露光制御回路は、前記アドレスイベントが生じた場合には位相の異なる２つの周期信号の一方に同期して前記制御信号の出力を開始し、前記２つの周期信号の他方に同期して前記制御信号の出力を停止する
   請求項２記載の固体撮像素子。
6. 　前記計数画素は、
   　アバランシェフォトダイオードと、
   　前記アバランシェフォトダイオードに光電流が流れるたびにパルス信号を生成するパルス変換部と、　前記パルス信号に同期して前記計数値を計数するフォトンカウンタと
   を備える請求項１記載の固体撮像素子。
7. 　前記パルス変換部は、
   　前記アバランシェフォトダイオードに直列に接続された抵抗素子と、
   　前記露光期間を示す所定の制御信号に従って所定の経路を開閉するスイッチと
   を備える
   請求項６記載の固体撮像素子。
8. 　前記スイッチは、前記アバランシェフォトダイオードと前記抵抗素子との間の経路を開閉する請求項７記載の固体撮像素子。
9. 　前記スイッチは、前記アバランシェフォトダイオードおよび前記抵抗素子の接続点と前記フォトンカウンタとの間の経路を開閉する請求項７記載の固体撮像素子。
10. 　前記検出画素は複数の画素ブロックのそれぞれに配置され、
    　前記複数の画素ブロックのそれぞれには、所定数の前記計数画素が配列され、
    　前記複数の画素ブロックのうち前記アドレスイベントが生じた画素ブロック内の前記計数画素が前記光子数を計数する
    請求項１記載の固体撮像素子。
11. 　前記計数画素は、二次元格子状に配列され、
    　前記検出画素は、所定方向に沿って配列される
    請求項１記載の固体撮像素子。
12. 　前記検出画素のサイズは、前記計数画素よりも大きい
    請求項１記載の固体撮像素子。
13. 　入射光量の変化量が所定の閾値を超えるか否かにより所定のアドレスイベントが生じたか否かを検出する検出画素と、
    　前記アドレスイベントが生じた場合には所定の露光期間内に入射された光子数を計数して計数値を示す画素信号を出力する計数画素と、
    　前記画素信号を処理する信号処理部と
    を具備する撮像装置。
14. 　検出画素が、入射光量の変化量が所定の閾値を超えるか否かにより所定のアドレスイベントが生じたか否かを検出する検出手順と、
    　計数画素が、前記アドレスイベントが生じた場合には所定の露光期間内に入射された光子数を計数して計数値を示す画素信号を出力する計数手順と
    を具備する固体撮像素子の制御方法。

Images