JP2023540051A - イベントセンサ、およびイベントデータを含む信号ストリームを生成するための方法 - Google Patents

Abstract

本発明は、画素アレイ（１０）を備え、前記画素アレイ（１０）に入射する光に反応してイベントデータを含む信号ストリームを作り出すように構成される、イベントセンサに関する。イベントセンサは：前記画素アレイ（１０）の画素ごとの、光起電変換器（１）および前記光起電変換器（１）に接続された電子変換器（２）であって、前記光起電変換器（１）および前記電子変換器（２）が、前記光起電変換器（１）に入射する光の強度に依存するデジタル現在画素値を作り出すおよび記憶するように構成される、光起電変換器（１）および電子変換器（２）と；前記画素アレイ（１０）の画素ごとの、前画素値を記憶するように構成される対応するマルチビットデジタルストレージ（３１）と；前記電子変換器（２）および前記マルチビットデジタルストレージ（３１）に接続され、前記現在画素値から前記前画素値を減算する画素減算結果に基づいて、前記イベントデータの画素イベント値を生成するように構成される、読み出しプロセッサ（４）とを備える。本発明は、前記画素アレイ（１０）に入射する光に反応してイベントデータを含む信号ストリームを作り出すための方法にさらに関する。

Description

本発明は、イベントセンサ、およびイベントデータを含む信号ストリームを生成するための方法に関する。

従来の画像センサは、毎フレーム毎ピクセルにより測定されるデジタル強度値の形態で一連の連続的なフレームを捕捉し、その後すべてのこれらのデジタル強度値を処理のために受信コンピュータへ転送することによってシーンを記録する。この手法の主要な欠点としては、限られた時間分解能、高遅延、および高データ冗長性が挙げられる。

動く物体の追跡、位置特定、および検出など、いくつかのマシンビジョンタスクにおいては、マシンビジョンアルゴリズムが、高時間分解能および最小遅延を伴う画像センサ入力を受信することが望ましい。そのようなマシンビジョンタスクの場合、大量の冗長情報または無関係な情報を受信および処理することも望ましくない。したがって、そのようなマシンビジョンタスクは、高時間分解能、低遅延、および低データ冗長性を有するスマート画像センサを要求する。この要求は、従来の画像センサによって満たされない。

代替のタイプの画像センサが、米国特許第７，７２８，２６９Ｂ２号に提案されており、これは、その光センサによって捕捉されるシーンの時間的視覚コントラストを符号化する。時間コントラストを符号化することによって、画像センサの出力データの時間的冗長性は、ほぼ除去され、以て、ＯＮ／ＯＦＦイベントの形式でアクティビティ駆動の疎データを作り出す。これは、各イベントが符号ＯＮ／ＯＦＦおよび画素座標からなることを意味する。そのようなイベントベースの時間コントラストセンサ概念は、従来の画像センサによって提供されない利点の唯一無二の組み合わせをもたらす：高ダイナミックレンジ、高時間分解能、低遅延、および低データ冗長性。故に、イベントベースのセンサの概念は、多数の代替設計または改善された設計に採用されており、本発明の基礎でもある。

米国特許第７，７２８，２６９Ｂ２号に提案される設計は、高ダイナミックレンジを達成するために、対数電流－電圧変換のためのサブスレッショルドのＭＯＳＦＥＴ挙動を利用する。時間コントラストが絶対強度の代わりに測定されるため、この設計は、対数電流－電圧変換における画素間オフセットミスマッチの影響を受けない。しかしながら、この設計は、対数電流－電圧変換ならびに変化検出ステージにおける画素間ゲインミスマッチに依然として悩まされる。それ以外にも、この設計は、過去の光強度依存信号を記憶するためにストレージコンデンサを使用し、これは、不正確な出力イベントを引き起こす様々なリーケッジを起こしやすい。

米国特許第７，７２８，２６９号明細書 欧州特許出願公開第３５６１６８５号明細書

本発明の目的は、改善された出力精度を伴う、イベントセンサおよび付随する撮像方法を提案することである。加えて、提案された設計は、画素間オフセットミスマッチおよび／または画素間ゲインミスマッチの補償を可能にする可能性を有さなければならない。

この目的は、請求項１の特徴を有するイベントセンサおよび請求項１５の特徴を有する方法を提供することによって、本発明により満たされる。本発明のさらなる有利な実施形態は、下位請求項の主題である。

本発明によると、イベントセンサは、画素アレイを備え、前記画素アレイに入射する光に反応してイベントデータを含む信号ストリームを作り出すように構成される。特に、画素アレイは、Ｗ×Ｈ画素の矩形アレイを備え得、Ｗは、第１の方向に沿った画素の数を指す幅数と呼ばれ、Ｈは、第１の方向に対して垂直の第２の方向に沿った画素の数を指す高さ数と呼ばれる。画素アレイはまた、Ｗ列のＨ画素およびＨ行のＷ画素を有すると称され得る。

前記画素アレイの各画素は、光起電変換器、および前記光起電変換器に接続された電子変換器を備える。前記光起電変換器および前記電子変換器は、前記光起電変換器に入射する光の強度に依存するデジタル現在画素値を作り出すおよび記憶するように構成される。

くだけた文脈における用語「光」は、典型的には、電磁（ＥＭ）波長４００－７００ｎｍの可視範囲を指すが、紫外（ＵＶ）および近赤外波長内のＥＭ放射が、依然として、半導体、特にシリコンにおいて、ある程度光起電力効果を引き起こし得る。光起電変換器の検出可能な波長範囲は、シリコン以外のより新種の材料が光起電材料として使用される場合、さらに延長され得る。したがって、用語「ＥＭ放射」は、くだけた文脈における「光」よりも多くの発明の適用可能なケースをカバーする。しかしながら、科学的文脈において、したがって本文脈においても、「光」は、有利な実施形態においてＵＶと赤外との間およびこれらを含む波長範囲を指すと同時に、任意の波長のＥＭ放射を指し得る。したがって、以下において、「光」および「ＥＭ放射」という表現は、互いに交換可能に使用される可能性がある。

イベントセンサは、前記画素アレイの画素ごとに、前画素値を記憶するように構成される対応するマルチビットデジタルストレージをさらに備える。「現在画素値」または「現画素値」という表現は、光起電変換器および電子変換器の対から獲得される最新画素値を指す一方、「前画素値」または「過去画素値」という表現は、現在または現画素値より時間的に前に、特に以前の読み出しプロセスの間に、獲得される画素値を指す。

さらには、イベントセンサは、対応する画素のための画素イベント値を生成するように構成される読み出しプロセッサを備える。そして、生成された画素イベント値は、イベントセンサによって作り出される信号ストリームを構成する前記イベントデータの一部である。この目的のため、読み出しプロセッサは、前記電子変換器およびその対応するマルチビットデジタルストレージに接続される。読み出しプロセッサは、前記現在画素値から前記前画素値を減算する画素減算結果に基づいて、画素イベント値を生成する。特に、画素イベント値は、画素減算結果を閾値と比較することから導出される。これは、画素減算結果が閾値を上回る、または超えると、画素イベント値が、特定の増分値、または単純に２値ｏｎ／ｏｆｆもしくは「１」／「０」ビット値のいずれかであることが決定されることを意味する。あるいは、より有利なものとして、画素イベント値は、この画素減算結果が閾値を超えている場合、画素減算結果、または画素減算結果に依存した値であることが決定される。以下にさらに論じられるように、画素減算結果は、さらに、画素間ゲインミスマッチを補正するためにゲイン補正係数によってスケーリングされ得る。

読み出しプロセッサが、画素減算結果に基づいて画素イベント値を生成することは、特に、前記画素減算結果が、画素イベント値がそもそも生成されるのかどうかを決定し得ることを意味する。故に、例えば、画素減算結果が特定の閾値を超えない場合、読み出しプロセッサが画素イベント値を生成しない場合が存在する。

有利な実施形態によると、読み出しプロセッサは、画素イベント値が生成されるたびに、前記記憶された前画素値を前記現在画素値で上書きするように構成される。これは、特に、読み出しプロセッサが新規の画素イベント値を生成しない限り、記憶された前画素値が上書きされないことを意味する。この手法の利点は、以下の段落において論じられる：

従来の先行技術の動き検出技術は、２つの隣接する時点から捕捉される画像の２つの連続フレームを比較する。したがって、比較的高速の動きのみ、または画素に衝突する光の強度における比較的高速の変化が、固有の時間ノイズから区別可能である画像の連続フレーム間の著しい差を生成し得る。従来の動き検出技術は、比較的遅い動きの検出を可能にするために、低減されたフレームレートで使用され得るが、それを行うことは、比較的速い動きの検出を妨げる。

対照的に、閾値依存の画素イベント生成の場合、画素イベントが生成される場合に限って前画素値を現在画素値で上書きすることによって、読み出しプロセッサは、画素に衝突する光の強度における比較的遅い変化が最終的に検出されることを確実にし得る。言い換えると、マルチビットデジタルストレージは、画素に衝突する光の強度における変化が変化検出閾値によって規定される量を超えない限りは、同じ前画素値を保ち得る。したがって、読み出しプロセッサは、現在画素値が変化検出閾値を超えて前画素値とは異なると、画素に衝突する光の強度における比較的遅い変化が検出されるように、現在の時点からの現在画素値、および現在の時点から比較的離れている過去の時点からの前画素値を比較し得る。

加えて、有利には、読み出しプロセッサは、画素ごとに個々に、前画素値を現在画素値で上書きするか否かを決める。したがって、異なる画素のマルチビットデジタルストレージは、異なる過去の時点からの前画素値を記憶し得、読み出しプロセッサが、これらの画素に衝突する光の強度における、例えば、比較的遅い変化から比較的速い変化まで、幅広い変化速度を検出することを可能にする。

光起電変換器は、入射光を対応するアナログ電気信号へ変換し、電子変換器は、アナログ－デジタル変換器の助けを借りて、これらのアナログ信号をデジタル信号へとさらに変換する。光起電変換器は、光子－電子変換を行う変換器である。光起電変換器は、フォトダイオード、特に、部分または完全ピン留めフォトダイオード（ＰＰＤ）であり得る。それは、光起電変換器に衝突する光の強度に依存する、特に線形的に依存する、または比例する、光電流と呼ばれる電流を生成するように構成され得る。対照的に、電子変換器は、それが、異なる電子信号間の変換、または電子－電子変換を単に行うことから、そのように命名される。

電子変換器は、電流－電流変換器、電流－電圧変換器、電圧－電流変換器、または電圧－電圧変換器であり得る、電子信号変換器を備え得る。電子信号変換器の出力は、その入力信号に線形的に、対数的に、またはなんらかの他の関数に従って、依存し得る。関数は、特に、はるかにより幅広い範囲の入力（例えば、６桁の光強度変動に対応する）を比較的小さい電子信号範囲（例えば、５００ｍＶの電圧スイング）へと圧縮することを可能にするために、対数関数などの圧縮関数であり得る。例として、光起電変換器は、光子－電子変換を行って、光電流を生成する。この光電流は、電子変換器の一部である対数電流－電圧変換器において、アナログ電圧信号に変換される。次いで、入射光強度に対数的に依存するこのアナログ電圧信号は、以下で説明されるように、同じく電子変換器の一部であるアナログ－デジタル変換器を使用して、デジタル信号または値へと変換される。

故に、有利には、電子変換器は、アナログ－デジタル変換器を備え、前記光起電変換器に入射する光の強度に対数的に依存する前記現在画素値を作り出すように構成される。

アナログ－デジタル変換器（ＡＤＣ）のための１つの有利な概念は、いわゆる単一スロープＡＤＣ概念である。この目的のため、前記ＡＤＣは、マルチビットメモリである変換器メモリを備え、デジタルカウント、および前記デジタルカウントと同期される基準信号を受信するように、アナログ入力信号を前記基準信号と連続して比較するように、および前記基準信号が前記アナログ入力信号に等しくなるか、またはこれを交差すると、前記変換器メモリに前記デジタルカウントの値を記憶するように構成される。特に、基準信号は、一定勾配を伴うスロープであり得る一方、デジタルカウントは、基準信号のスロープと線形的または対数的に同期してカウントしている。線形カウントの場合、ＡＤＣは、アナログ入力信号に線形的に依存してデジタル値を作り出すが、対数カウントの場合、生成されたデジタル値は、アナログ入力信号に対数的に依存する。デジタルカウントおよび基準信号の他の組み合わせは、対数アナログ－デジタル変換を獲得するために、指数関数的に変化する基準信号、および線形的にカウントするデジタルカウントなど、アナログ入力に線形的または対数的に依存する出力値を獲得することが可能であり得る。デジタルカウントは、特に、グレーコード形式にあり得る。

本目的のため、特に電子信号変換器によってＡＤＣに提供されるアナログ入力信号は、前記光起電変換器に入射する光の強度に依存する。故に、ＡＤＣは、変換器メモリが、対応する画素または光起電変換器に衝突する光の強度に、特に線形的または対数的に、依存するマルチビットデジタル値で充填されることを確実にする。

上でさらに説明されるように、電子変換器は、光起電変換器によって生成される電子アナログ信号（例えば、電流）を異なる電子アナログ信号（例えば、電圧）へと変換する、電流－電圧変換器などの電子信号変換器を備え得る。有利には、電流－電圧変換器が、対数変換器であり、アナログ－デジタル変換器が、線形変換器であるか、または電流－電圧変換器が、線形変換器であり、アナログ－デジタル変換器が、対数変換器である。上で述べたように、これらの２つの可能な実施形態は、作り出されおよび記憶される、特に変換器メモリに記憶されるデジタル現在画素値が、画素または光起電変換器に入射する光の強度に対数的に依存することを確実にする。対数依存は、より高いダイナミックレンジの利点を有するが、代替的に、光強度と作り出されおよび記憶されたデジタル現在画素値との間の異なる、すなわち非対数関係、例えば、線形依存を有することが可能である。

上で述べたように、画素アレイは、幅数（Ｗ）の画素列のおよび高さ数（Ｈ）の画素行からなる。各画素が、前画素値およびおそらくは前記画素のための他のパラメータを記憶するための対応するマルチビットデジタルストレージも有するため、イベントセンサは、好ましくは、Ｗ×Ｈマルチビットデジタルストレージからなる画素パラメータメモリも備える。これはオプションであるが、前記画素パラメータメモリのマルチビットデジタルストレージは、画素アレイのようにアレイで配置される必要はない。さらには、読み出しプロセッサは、Ｗ個の処理ブロックを備え、前記処理ブロックの各々が、前記Ｗ個の画素列のうちの１つを処理するように構成される。言い換えると、画素の個々の現在画素値またはマルチビットデジタルストレージのパラメータ値または同様のものに対して読み出しプロセッサによって行われると言われる任意の処理は、実際は、対応する処理ブロックによって行われ得る。

読み出しプロセッサが、ちょうどＷ個の処理ブロックからなるとき、各処理ブロックは、画素アレイの１つの列内のＨ個の画素を処理することに専用化され得る。この場合、読み出しプロセッサは、一行のＷ個の処理ブロックからなる。

代替的に、読み出しプロセッサは、Ｗを超える数の処理ブロック、特にＷの複数倍の数の処理ブロック、例えば、おそらくはＭ行のＷ列に配置される、Ｗの２倍、３倍、またはそれより多く（Ｍ倍）の処理ブロックを有し得、Ｍは、Ｈよりも著しく小さい。この代替のケースでは、各列のＨ個の画素は、Ｍ個の群に分割され得、各群は、画素の前記列に専用化されるＭ個の処理ブロックのうちの１つの処理ブロックによって処理される。言い換えると、Ｍ個ごとの処理ブロックは、Ｈ個の画素の一列を処理することに専用化され得る。すべての処理ブロックが同時に処理することができるため、Ｍ行の画素は、同時に処理され得る。

さらに別の代替案として、読み出しプロセッサは、Ｗより少ない数の処理ブロック、特に整数によってＷを除算した数の処理ブロック、例えば、Ｗを２で除算した数、Ｗを３で除算した数、または、おそらくはＷをＤで除算した数の列の一行に配置される、ＷをＤで除算した数の処理ブロックを有し得、Ｄは、Ｗよりも著しく小さい。この代替のケースでは、各処理ブロックは、Ｄ列の画素アレイ内のＤ×Ｈ画素を処理することに専用化され得る。

有利には、前記マルチビットデジタルストレージは、変化検出閾値をさらに記憶するように構成される。読み出しプロセッサは、このとき、前記現在画素値が前記変化検出閾値よりも大きく前記前画素値から異なるという条件で、前記画素イベント値を生成および／または出力するように構成され得る。これは、対応する画素に衝突する光の強度が変化検出閾値によって規定される特定の量よりも大きく変化するときにのみ画素イベント値が生成されることを意味する。マルチビットデジタルストレージは、対応する画素のための過去のイベントタイムスタンプを記憶するようにさらに構成され得る。ここでは、読み出しプロセッサは、前記過去のイベントタイムスタンプが所定の時間間隔よりも古いという条件で、前記画素イベント値を生成および／出力するように構成され得る。過去のイベントタイムスタンプは、画素イベント値が対応する画素によって生成された以前の時間を表す値である。このパラメータを参考にすることによって、２つ以上の画素イベント値が非常に短期間内に同じ画素について生成されることが回避され得る。有利には、変化検出閾値および過去のイベントタイムスタンプの両方が、新規の画素イベント値が生成されるべきかどうかを決定するときに考慮される。１つの変化検出閾値の代わりに、マルチビットデジタルストレージは、２つの別個の変化検出閾値、すなわち正の変化検出閾値および負の変化検出閾値を記憶するように構成され得る。

上で述べた所定の時間間隔値は、各々個々の画素の対応するマルチビットストレージに記憶され得る。しかしながら、所定の時間間隔は、画素固有である必要はなく、すなわち、１つのそのような値は、画素アレイのすべての画素に適用することができる。したがって、読み出しプロセッサのすべての処理ブロックによってアクセスされる単一の別個のメモリに所定の時間間隔値を記憶することが有利であり得る。

有利な実施形態によると、前記読み出しプロセッサは、前記画素イベント値を生成することが、処理オプションパラメータによって決定される２つ以上の処理オプションのうちの１つの処理オプションであるように構成される。言い換えると、処理オプションパラメータは、前記画素イベント値が生成されるかどうか、または、対数強度の生成もしくは較正モードに入ることなど、別の処理オプションが続行されるかどうかを決定し得る。「処理オプション」および「処理モード」という表現は、互いに交換可能に使用され得る。さらには、画素イベント値を生成することは、対応する画素を時間コントラストモードで処理することと見なされ得る。

有利な実施形態において、読み出しプロセッサは、第１の処理オプションに従って前記画素アレイの第１の画素または前記画素アレイの第１の画素群内のすべての画素を処理するように、および第２の処理オプションに従って前記画素アレイの第２の画素または前記画素アレイの第２の画素群内のすべての画素を処理するように構成される。言い換えると、画素の第１の部分集合の処理オプションは、１つのオプションのために構成される一方、画素の第２の部分集合の処理オプションは、異なるオプションのために構成される。このやり方で、画素アレイは区分され、異なる処理モードが、異なる区分に適用される。３つ以上の区分が、第３の処理オプションに従って第３の画素または第３の画素群内のすべての画素を処理するように読み出しプロセッサを構成することによって生成され得る、などである。

すべての画素のための１つの処理オプションパラメータが存在し得るか、または画素の群に専用化された１つの処理オプションパラメータが存在し得る。極端なケースでは、各々個々の画素が、それ自体の専用処理オプションパラメータを有し得る。後者の実施形態において、画素に対応する前記マルチビットデジタルストレージは、対応する画素のための処理オプションパラメータをさらに記憶するように構成され、前記読み出しプロセッサは、対応する画素のための前記処理オプションパラメータに従って前記現在画素値を処理するように構成される。言い換えると、読み出しプロセッサは、画素の処理オプションパラメータ値に従って各画素を処理する。このやり方で、１つ以上の第１の画素群は、第１の処理オプションパラメータ値を割り当てられ得る一方、１つ以上の第２の画素群は、第２の処理オプションパラメータ値を割り当てられ得る、などである。さらに下に詳述される例として、特定の時間において、第１の画素群は、時間コントラストイベント検出のために指定され得、第２の画素群は、対数強度フレーム生成のために指定され得る。言い換えると、画素アレイを画素の２つ以上の部分集合に分割することが可能であり、各部分集合の画素が、部分集合特有の処理オプションに専用化される。例えば、画素の第１の部分集合は、画素イベント値生成のために構成され得る一方、画素の第２の部分集合は、対数強度生成のために構成される。

有利には、読み出しプロセッサは、処理オプションのうちの１つが、前記画素の前記光起電変換器に入射する光の強度に依存する、前記画素における強度値を生成するように構成され得る。特に、この処理オプションは、前記光起電変換器に入射する光の強度に対数的に依存する値である、前記画素における対数強度を生成することであり得る。これは、この特定の画素のための画素イベント値をおそらくは生成する代わりに、読み出しプロセッサが強度または対数強度値を生成することを意味する。このオプションはまた、対応する画素を対数強度モードで処理することと称され得る。

１つの好ましい実施形態において、読み出しプロセッサは、処理オプションが較正モードを含むように構成され、前記現在画素値は、前記読み出しプロセッサよって未処理で出力される。画素アレイの１つの画素、１つもしくは複数の画素群、またはすべての画素が較正モードにあるときに行われる較正プロセス中、対応する画素（複数可）のマルチビットデジタルストレージ内の他のパラメータのうちのいくつかは、イベントセンサの最適機能のために計算および変更され得る。特に、変化検出閾値、ゲイン補正係数、および／またはオフセット補償値は、そのような較正プロセス中に獲得または再獲得され得る。この目的のため、読み出しプロセッサは、現在画素値を、それを処理することなく外部デバイスに送る。較正プロセス中、画素アレイまたはその一領域は、知られている光源に曝露され得、そして未処理の現在画素値は、画素ごとに様々なパラメータを計算するために外部デバイスによって利用され得る。外部デバイスは、本明細書に説明されるようなイベントセンサの一部ではないプロセッサであり得るが、それは、イベントセンサが組み込まれるデバイスの一部である処理デバイス、またはさらに、イベントセンサと同じチップ上および／または同じハウジング内に置かれる処理デバイスであり得る。

有利には、読み出しプロセッサは、処理オプションが前記画素において対数強度および画素イベント値を同時に生成することを含むように構成される。上で述べたように、対数強度は、前記光起電変換器に入射する光の強度に対数的に依存する値である一方、画素イベント値は、前記現在画素値から前記前画素値を減算する画素減算結果に基づく。言い換えると、同一の画素における画素イベント値および対数強度の両方が、読み出しプロセッサによって作り出される。この処理オプションは、時間コントラストモードと対数強度モードとの間のハイブリッドモードとして見られ得る。

好ましい実施形態において、マルチビットデジタルストレージは、オフセット補償値をさらに記憶するように構成され、前記読み出しプロセッサは、前記対数強度を生成するとき、前記オフセット補償値を考慮するように構成される。特に、オフセット補償値は、オフセット補償された現在画素値を導出するために、現在画素値から減算され得、そして画素の強度または対数強度の基礎と見なされ得る。

さらなる有利な実施形態において、マルチビットデジタルストレージは、ゲイン補正係数をさらに記憶するように構成される。ここで、読み出しプロセッサは、画素イベント値および／または対数強度を生成するとき、このゲイン補正係数を考慮するように構成される。特に、画素減算結果またはオフセット補償された現在画素値は、画素イベント値または対数強度を獲得するために、ゲイン補正係数で乗算される。

マルチビットデジタルストレージがオフセット補償値およびゲイン補正係数の両方を記憶するとき、
対数強度＝（現在画素値－オフセット補償値）＊ゲイン補正係数、
および／または
画素イベント値＝（現在画素値－過去の画素値）＊ゲイン補正係数
である。上で述べたように、画素イベント値は、画素減算結果が変化検出閾値を超えるという条件で計算される。この計算は、画素減算結果が変化検出閾値を超えない場合は実行されない。

各々が画素アレイの画素に対応するマルチビットデジタルストレージの集合したものである、画素パラメータメモリは、故に、画素ごとに、処理オプションパラメータ、前画素値、変化検出閾値、ゲイン補正係数、過去のイベントタイムスタンプ、および／またはオフセット補償値を記憶するように構成され得る。これらのパラメータの各々は、上に説明されている。画素パラメータメモリは、それが、外部ソースによって直接アクセスされる、すなわち、読み出される、またはそこに書き込まれることができるように、外部接続を通じてアクセス可能であり得る。外部ソースは、特に、イベントセンサに外部の入力ソースである。特に、画素パラメータメモリ内のパラメータは、較正プロセス／手順または較正モード中に書き込まれ得る、または変更され得る。いくつかの画素パラメータ、特に変化検出閾値は、イベントセンサの動作中、特に画素イベント値および／または対数強度の生成のプロセス中に調節または更新され得る。そのような更新手順は、画素パラメータメモリの各々個々のマルチビットストレージから古い変化検出閾値を読み出すこと、新規の変化検出閾値を計算すること、および新規の変化検出閾値を対応するマルチビットストレージ内に書き戻すことを必要とする。

有利な実施形態によると、各画素の光起電変換器および電子変換器は一緒に、前記画素アレイ内の共同物理領域または体積を占有する。その一方で、読み出しプロセッサおよび画素パラメータメモリは、画素アレイから離れた異なる領域または体積に置かれ得る。本明細書では、「体積」という表現は、半導体デバイス内の空間または３次元（３Ｄ）領域を指す。

画素がＷ列およびＨ行の矩形画素アレイ内に配置される場合、画素の各列または複数列は、読み出しプロセッサの１つまたは複数の共通処理ブロックを共有し得る。したがって、それは、画素アレイの画素の一行、複数行、または一行の一部を並行して処理するように構成される列並行読み出しプロセッサと称され得る。対応する列（複数可）の処理ブロック（複数可）は、前記列（複数可）の終わりにイベントセンサダイ上に置かれ得、また、以下においてはＡＤＣバスと呼ばれる共有バスを用いて前記列（複数可）の各画素に接続され得る。例えば、画素が１２ビット現在画素値を出力する場合、ＡＤＣバスは、１２ビット幅であり得る。特に、ＡＤＣバスは、アナログ－デジタル変換器の出力に接続され得、各画素の変換器メモリにアクセスする。好ましくは、ＡＤＣがデジタルカウントを使用して実装される場合、デジタルカウントは、同じＡＤＣバスを介して各列のＡＤＣに供給され得る。この場合、ＡＤＣバスは、デジタルカウントの供給の目的および現在画素値の読み出しの目的の両方のために利用され得る。

同様に、画素パラメータメモリのマルチビットデジタルストレージもまた、Ｗ列およびＨ行のマルチビットデジタルストレージのアレイに配置され得るか、または、それらは、なんらかの他のやり方で、読み出しプロセッサによって、一行、複数行、または一行の一部を一度にアクセスされるように構成され得る。そして、ここでもまた、各読み出し処理ブロックは、マルチビットデジタルストレージの一列、複数列、または一列の一部に接続され得る。故に、マルチビットデジタルストレージの一列、複数列、または一列の一部はまた、１つの共有パラメータバス、例えば、１つのマルチビットデジタルストレージのすべてのパラメータの合計サイズが７５ビットの場合、７５ビットパラメータバスを共有し得る。実際には、７５ビットパラメータバスなど、一度に１つのマルチビットデジタルストレージのすべてのパラメータをトランスポートするためのパラメータバスは広すぎる場合がある。この場合、パラメータバスは、３８ビットまたはより狭いバスなど、より小さい幅を有し得、これは、そして、１つのマルチビットデジタルストレージのすべてのパラメータを転送するために２つ以上のクロックを要する。

ＡＤＣバスを介した現在画素値の読み出しの実装の代替案として、一列または複数列の画素は、シフトレジスタシステムを介して対応する処理ブロック（複数可）によって読み出され得る。読み出し中、各列内の変換器メモリは、互いに接続され得、シフトレジスタのチェーンを形成する。変換器メモリに記憶された現在画素値は、次いで、列のすべての現在画素値が前記処理ブロック（複数可）によって読まれるまで、一度に１つの画素を、対応する処理ブロック（複数可）に向かってさらに移動される。これは、変換器メモリ内の記憶された現在画素値が削除または上書きされる破壊的読み出しプロセスである。画素パラメータメモリの読み出しおよび書き込みのためのそのようなシフトレジスタシステムを実装するためにも、シフトレジスタの別個のチェーンが必要とされ得る。したがって、上に説明されるパラメータバスを用いて画素パラメータメモリから読み出すおよびこれに書き込むのがより効率的である。

読み出し中、読み出し制御器は、画素アレイのどの行（複数可）または行の一部が、共有ＡＤＣバスにアクセスすることができるか、および画素パラメータメモリのどの（対応する）行（複数可）または行の一部が、共有パラメータバスにアクセスすることができるかを選択する。

画素アレイ、画素パラメータメモリ、および処理ブロックがすべて同じダイ上に物理的に配置されるように、単一ダイ上にイベントセンサを製作することが可能および有利である。しかしながら、現代の技術では、画素アレイがセンサダイ上に製作され、画素パラメータメモリおよび処理ブロックが論理ダイ上に製作される２ダイ積層構造を使用してこのイベントセンサを製作することがより実用的であり得、この場合、センサダイは、論理ダイの上に積層および接着される。将来の実施形態において、３ダイ積層構造を利用することが有利であり得る：第１のダイは、電子信号変換器と接続される、もしくは電子信号変換器と対にされる光起電変換器のアレイ、または電子信号変換器の一部と接続される、もしくは電子信号変換器の一部と対にされる光起電変換器のアレイを担持し；第２のダイは、ＡＤＣのアレイ、またはＡＤＣと接続される、もしくはこれと対にされる電子信号変換器の一部のアレイを担持し；第３のダイは、画素パラメータメモリおよび処理ブロックを保持する。

本発明のさらなる態様によると、画素アレイに入射する光に反応してイベントデータを含む信号ストリームを作り出すための方法が提案される。本方法は、以下のステップ：
－ 前記画素アレイの各画素の光起電変換器に入射する光の強度に依存するデジタル現在画素値を、前記光起電変換器に接続された電子変換器によって、作り出すおよび記憶するステップと；
－ 前記画素アレイの画素ごとに、前記画素に対応するマルチビットデジタルストレージに記憶された前画素値を提供するステップと；
－ 前記電子変換器および前記マルチビットデジタルストレージに接続された読み出しプロセッサによって、前記現在画素値から前記前画素値を減算する画素減算結果に基づいて、前記イベントデータの画素イベント値を生成するステップと
を含む。

イベントセンサに関連して本明細書に説明される任意の特徴および利点はまた、前記方法に類似的に適用し得る。

本発明の実施形態のいくつかの例は、添付の概略図を参照して以下の説明においてより詳細に説明される。

１つの実施形態による画素のブロック図である。 図１の画素において使用される単一スロープアナログ－デジタル変換器のブロック図である。 １つの実施形態による対数電流－電圧変換器の回路図である。 １つの実施形態による対数電流－電圧変換器の回路図である。 １つの実施形態による対数電流－電圧変換器の回路図である。 好ましい実施形態によるイベントセンサのブロック図である。 好ましい実施形態による時間コントラストイベントモードで読み出しプロセッサによって行われるステップのフローチャートである。 好ましい実施形態による対数強度モードで読み出しプロセッサによって行われるステップのフローチャートである。 好ましい実施形態による時間コントラストおよび対数強度ハイブリッドモードで読み出しプロセッサによって行われるステップのフローチャートである。 画素アレイを区分し、異なる処理モードを異なる区分に適用するための可能な様式を概略的に示す図である。 画素アレイを区分し、異なる処理モードを異なる区分に適用するための可能な様式を概略的に示す図である。 画素アレイを区分し、異なる処理モードを異なる区分に適用するための可能な様式を概略的に示す図である。

図１は、１つの好ましい実施形態による画素のブロック図を示す。入射光は、ここではフォトダイオード１である光起電変換器１によって検出される。フォトダイオードは、フォトダイオード１の活性領域に入射する光の強度に依存する、電流Ｉ、光電流を生成する。電流－電圧変換器２１は、光電流Ｉを電圧Ｖへ変換する。この変換は、電圧が光電流に線形的に依存するか、または比例する、線形変換であり得る。あるいは、それは、電圧が光電流に対数的に依存する対数変換であり得る。他の変換関数も可能であり得るが、あまり実用的ではない。

電流－電圧変換器２１およびアナログ－デジタル変換器（ＡＤＣ）２３は一緒に、電子変換器２を形成し、これはフォトダイオード１と一緒に、デジタル現在画素値を作り出す。ＡＤＣ２３は、線形変換器であり得、その出力デジタル値は、その入力アナログ値に線形的に依存する。代替的に、ＡＤＣ２３は、対数変換器であり得、その出力デジタル値は、その入力アナログ値に対数的に依存する。有利には、電流－電圧変換器２１およびＡＤＣ２３の組み合わせによって生成されるデジタル現在画素値は、入射光または光電流に対数的に依存するので、線形変換する電流－電圧変換器２１は、対数変換するＡＤＣ２３と組み合わされ得る。逆に、対数変換する電流－電圧変換器２１は、同様の結果を達成するために、線形変換するＡＤＣ２３と組み合わされ得る。

ここに示されるＡＤＣ２３は、単一スロープアナログ－デジタル変換器であり、その機能は、図２を参照してより詳細に説明される。単一スロープアナログ－デジタル変換器２３の中心部分は、変換器メモリ２５である。アナログ－デジタル変換が完了すると、その出力デジタル値、すなわち、現在画素値は、変換器メモリ２５に記憶される。カウントアップまたはカウントダウンされているマルチビットデジタル値であるデジタルカウントは、「Ｗ」とラベルの付いた矢印として示される経路を介して変換器メモリ２５に供給される。さらには、正または負のスロープを伴うランプである基準信号が、比較器２４に供給される。比較器２４の他の入力は、ここでは電圧Ｖである、変換されるべきその入力アナログ値を獲得するために、電流－電圧変換器２１の出力に接続される。ランピング基準信号が電圧Ｖと交差すると、比較器２４は、信号を生成し、これは、変換器メモリ２５のためのラッチ信号として使用される。ラッチ信号を受信すると、変換器メモリ２５は、それに供給されるデジタルカウントの現在値を記憶する。変換器メモリ２５に記憶された値は、現在画素値を表し、文字「Ｒ」の付いた矢印によって示される経路を介して後で読み出され得る。変換器メモリ２５が書き込み「Ｗ」モードであるか読み取り「Ｒ」モードであるかは、変換器メモリ２５に供給されるＲ／Ｗ選択信号によって決定される。

ＡＤＣ２３が線形変換を実装するか対数変換を実装するかは、基準信号とデジタルカウントとの関係性によって決定され得る。例えば、線形的に増加または減少するデジタルカウントと組み合わせた指数関数的ランピング基準信号は、対数変換を可能にし得る。しかしながら、有利には、基準信号は、単一スロープ、すなわち、一定スロープを伴う線形ランピング信号であるが、線形または対数変換は、それぞれ、線形的または対数的に増加または減少するデジタルカウントによって達成され得る。

基準信号は、周辺に生成されたグローバル基準電圧である。デジタルカウントは、共有デジタルバスを通じて供給される周辺カウンタからのグローバルビットパターンである。基準信号電圧は、開始電圧レベルから終了電圧レベルへと掃引し始める。同時に、周辺カウンタは、カウントし始める。それが線形カウンティングであるか対数カウンティングであるかによって、デジタルカウントのビットパターン値は、時間とともに線形的または対数的に増加または減少する。ラッチ信号が２つの連続するカウントの遷移中に生成されるとき、偽ビットパターン値を記憶することを回避するため、デジタルカウントのビットパターンは、好ましくはグレーコード形式にある。変換器メモリ２５は、ＳＲＡＭ回路またはＤＲＡＭ回路のいずれかに基づき得る。

ＡＤＣ２３分解能は、目標コントラスト感度閾値およびイベントセンサのダイナミックレンジ、ならびに画素間ミスマッチに対処するための所望のゲイン補正許容およびオフセット耐性を考慮した後に決定されるべきである。ゲイン補正許容の目的は、主に電流－電圧変換器２１によって導入される画素間ゲインミスマッチを後で補正することである。オフセット耐性の目的は、電流－電圧変換器２１の出力の画素間オフセットミスマッチを受け入れること、言い換えると、電圧ＶであるＡＤＣ２３の入力アナログ値がＡＤＣ２３のサポートする入力範囲内に入ることを確実にすることである。これらの考慮事項をまとめると、ＡＤＣ２３の分解能は：

として決定され得る。

例えば、４ビットゲイン補正および１ビットオフセット耐性を可能にしながら、１２０ｄＢのダイナミックレンジにわたって１５％のコントラスト感度閾値を達成するためには、ＡＤＣ２３は、少なくとも１２ビット分解能を有さなければならない。

３つの好ましい実施形態による対数電流－電圧変換器の実装形態は、図３ａ－３ｃに示される。Ｎ型ＭＯＳＦＥＴ（ＮＭＯＳ）またはＰ型ＭＯＳＦＥＴ（ＰＭＯＳ）のいずれかのサブスレッショルドの挙動を利用することにより、高ダイナミックレンジおよび低電流－電圧変換遅延が達成される。図３ａに示される回路では、反転増幅器２６は、ＮＭＯＳのソースとゲートとの間に接続される。図３ｂによる回路では、反転増幅器２６は、ＰＭＯＳのソースとドレインとの間に接続される。両方の回路において、生成された電圧Ｖは、反転増幅器２６の出力において供給される。図３ｃの回路では、使用されるフォトダイオード１は、ピン留めフォトダイオードである。それは、２つのＮＭＯＳに直列に接続される。バッファ２７は、２つのＮＭＯＳの間のソース／ドレイン接続へのその入力と接続され、その出力において電圧Ｖを供給する。図３ａでは、バイアス電圧が、反転増幅器２６に供給される。図３ｂでは、バイアス電圧が、反転増幅器２６に供給され、別のおそらくは別個のバイアス電圧が、ＰＭＯＳのゲートに供給される。図３ｃでは、バイアス電圧が、バッファ２７に供給され、別のおそらくは別個のバイアス電圧が、下部ＮＭＯＳのゲートに供給される。図３ａ内のＮＭＯＳのドレインならびに図３ｃ内の上部ＮＭＯＳのドレインおよびゲートは、回路の供給電圧（複数可）に接続される。

図４は、好ましい実施形態によるイベントセンサのブロック図を示す。イベントセンサの中央要素は、Ｗ列×Ｈ行の画素を伴う画素アレイ１０、Ｗ列×Ｈ行のマルチビットデジタルストレージ３１を伴う画素パラメータメモリ３、およびＷ列並行処理ブロック４１を伴う読み出しプロセッサ４である。故に、画素アレイ１０の各画素と画素パラメータメモリ３の対応するマルチビットデジタルストレージ３１との間には一対一のマッピングが存在する。加えて、バイアス発生器５１は、図３ａ－３ｃに示される電流－電圧変換器２１をバイアスするため、画素バイアス電圧（複数可）を画素アレイ１０に提供する。ＡＤＣ制御器５２は、ランプ／基準信号および線形または対数デジタルカウントをグレーコード形式で生成し、それらを画素内ＡＤＣ２３のために画素アレイ１０に提供する。

読み出しプロセッサ４は、画素アレイ１０から現在画素値を読み出し、画素パラメータメモリ３から画素パラメータを読み出す／画素パラメータメモリ３に画素パラメータを書き込む。画素パラメータメモリ３は、好ましくは、ＳＲＡＭベースである。画素アレイ１０、読み出しプロセッサ４、および画素パラメータメモリ３の間での読み出しおよび書き込み動作は、読み出し制御器５５によって調整される。画素パラメータメモリ３は、外部不揮発性ストレージ６２（例えば、フラッシュメモリ）からロードされ、画素パラメータ構成器５６を介して外部コンピュータ６１によって構成され得る。

画素パラメータメモリ３の各マルチビットデジタルストレージ３１は、その対応する画素の画素パラメータを記憶する。画素パラメータは、処理オプションパラメータ、前画素値、１つまたは２つの（別個の正および負の）変化検出閾値（複数可）、ゲイン補正係数を含み、追加的に、過去のイベントタイムスタンプ、ならびにオフセット補償値またはオフセット補償子を含み得る。

処理オプションは、画素固有であり、どのように処理ブロック４１が対応する画素に対して動作するかを決定する。画素は、処理オプションパラメータによって決定される５つの処理オプションまたは処理モードを有する：（１）時間コントラスト検出、（２）時間コントラスト検出および測定、（３）対数強度測定、（４）時間コントラスト検出および対数強度測定、ならびに（５）較正。時間コントラスト検出モードならびに時間コントラスト検出および測定モードでは、画素イベント値は、（時間コントラストに応じて）対応する画素において生成され得る。対数強度測定モードでは、対応する画素における対数強度が生成される。時間コントラスト検出および対数強度測定モードは、ハイブリッドモードであり、画素イベント値および対数強度の両方が、（時間コントラストに応じて）対応する画素において生成され得る。較正モードでは、イベントセンサは、温度などの所定の環境パラメータ下で、および強度、波長などの所定のパラメータを有する放射への画素アレイの曝露中、測定を行い、その結果として、いくつかまたはすべての画素の画素パラメータを獲得または調節することによって、較正されるか、または部分的に較正される。

変化検出閾値（複数可）、ゲイン補正係数、およびオフセット補償値は、画素間ゲインおよびオフセットミスマッチ補正および補償を可能にするために、すべて画素固有である。それらの値は、１回限りの較正手順を通じて獲得され得る。

画素パラメータメモリ３の各マルチビットデジタルストレージ３１がすべての上述の画素パラメータを記憶し、各パラメータは、３ビットである処理オプションパラメータを除き、１２ビットであると想定され得る。したがって、各マルチビットデジタルストレージ３１は、合計で７５ビットを有することになる。この場合、１メガピクセルの画素アレイを供給する画素パラメータメモリ３全体のシリコン面積は、最先端の２８ｎｍ ＳＲＡＭ技術を使用するとき、１０ｍｍ^２未満である。

イベントセンサは、画素の処理オプションを構成することによって、いくつかの異なる動作モード間で切り替わることができる。イベントセンサは、２つの基本動作モード：時間コントラストイベントモードおよび対数強度フレームモードを有し、これらは、図５および図６を参照して以下により詳細に説明される。時間コントラストイベントモードでは、行アドレス符号化器５３、列アドレス符号化器５４、および読み出しプロセッサ４はすべて、イベントセンサ出力に寄与する。対数強度フレームモードでは、読み出しプロセッサ４のみがイベントセンサ出力に寄与する。これらの２つの基本動作モード以外に、イベントセンサは、様々な時間コントラストおよび対数強度ハイブリッドモードでも動作することができる。最後に、イベントセンサは、較正モードを有する。

時間コントラストイベントモード
時間コントラストイベントモード動作は、光強度依存のアナログ電圧Ｖの現在画素値への画素並行変換、および同期グローバルシャッター方法で現在画素値を画素内ＡＤＣの変換器メモリに記憶することから始まる。画素アレイ全体の現在画素値は、まとめてフレームと呼ばれる。

次いで、読み出しプロセッサは、画素アレイから行ごとに現在画素値を読み出す。同時に、画素アレイの各行が読み出されているとき、読み出しプロセッサは、画素パラメータメモリから同じ行の画素の対応する画素パラメータも読み出す。言い換えると、同じ行の画素の現在画素値および対応する画素パラメータは、読み出しプロセッサによって同時に受信される。画素アレイ、画素パラメータメモリ、および読み出しプロセッサの間の情報転送は、読み出し制御器によって調整される。

時間コントラストイベントモードでは、すべての画素の処理オプションは、（１）時間コントラスト検出、または（２）時間コントラスト検出および測定のために構成される。したがって、各処理ブロックは、図５内のフローチャートに示されるように、対応する画素から時間コントラストイベントを出力すべきかどうかを決めるために以下の処理ステップを行う：
１．同じ画素の現在画素値および対応する画素パラメータを受信する５０１。
２．現在画素値をグレーコードからバイナリ形式へ変換する５０２。
３．現在画素値と前画素値との間の符号付きの差を算出する５０３。
４．符号付きの差が対応する画素の正または負の変化検出閾値を超えるかどうか、および任意選択的に、過去のイベントタイムスタンプが条件を満たす（例えば、現在のタイムスタンプに対して１ｍｓより古い）かどうかを決める５０４：
ａ．ＹＥＳの場合：
ｉ．時間コントラストイベント出力を要求する５０５。
ｉｉ．処理オプションが（２）時間コントラスト検出および測定である場合：符号付きの差を対応する画素のゲイン補正係数で乗算することによって、ゲイン補正された時間コントラストの大きさを算出する５０６。
ｉｉｉ．前画素値を現在画素値で上書きすること、および任意選択的に、過去イベントタイムスタンプを現在のタイムスタンプで上書きすることを含め、対応する画素パラメータを更新する５０７。
ｂ．ＮＯの場合：何のアクションも行わない。
５．処理の終了５０８。

読み出しプロセッサがフレームの一行を処理することを終了するとき、時間コントラストイベント出力の要求を伴うそれらの処理ブロックは、それらの対応する情報をイベントセンサの時間コントラストイベント出力として、好ましくは、欧州特許出願公開第３５６１６８５Ａ１号に説明されるものなどの高速トークンベースの通信システムを介して、通信する。各時間コントラストイベントは、行および列符号器から獲得される画素アドレス、時間コントラストの符号、現在のタイムスタンプ（おそらくは同じフレームからのすべての時間コントラストイベントによって共有される）、および任意選択的に、ゲイン補正された時間コントラストの大きさも含む。読み出しプロセッサは、次いで、フレームの次の行を読み出し、処理することに進む。読み出しプロセッサがフレーム全体を読み出し、処理することを終了した後、イベントセンサは、上述の動作ステップを次のフレームで繰り返し得る。

読み出しプロセッサによって要求される画素アレイおよび画素パラメータメモリからの情報は、すべてデジタルであり、１０ｎｓのオーダーの高速アクセス時間を有する。処理ブロックは、加算／減算および乗算動作のみを主に行い、これは組み合わせ論理によって達成され得る。したがって、１０００行を含む１フレームのパイプライン型の行ごとの読み出しおよび処理は、１０μｓのオーダーの追加遅延しか導入しない。

対数強度フレームモード
対数強度モードまたは対数強度フレームモード動作もまた、現在画素値のフレームを捕捉すること、および同期グローバルシャッター方法でフレームを画素内ＡＤＣの変換器メモリに記憶することから始まる。

次いで、読み出しプロセッサは、同じ行の画素の現在画素値および対応する画素パラメータを行ごとの方法で読み出し、これは読み出し制御器によって調整される。この時点まで、対数強度フレームモード動作は、時間コントラストイベントモードと同一である。対数強度フレームモードと時間コントラストイベントモードとの主な違いは、処理ブロックにおいて発生する。

対数強度フレームモードでは、すべての画素の処理オプションは、（３）対数強度測定のために構成される。したがって、各処理ブロックは、図６内のフローチャートに示されるように、現在画素値内の画素間ゲインおよびオフセットミスマッチを補正するために以下の処理ステップを行う：
１．同じ画素の現在画素値および対応する画素パラメータを受信する６０１。
２．現在画素値をグレーコードからバイナリ形式へ変換する６０２。
３．現在画素値から対応する画素のオフセット補償子を減算することによってオフセット補償された画素値を算出する６０３。
４．オフセット補償された画素値を対応する画素のゲイン補正係数と乗算することによって、最終のオフセット補償およびゲイン補正された画素値を算出する６０４。
５．処理の終了６０５。

処理ブロックが一行のフレームを処理することを終了するとき、それらの最終のオフセット補償およびゲイン補正された画素値は、それらの対応する画素の対数強度測定を反映して、イベントセンサの対数強度フレーム出力として通信される。好ましくは、時間コントラストイベントモードにおいて使用される高速トークンベースの通信システムは、対数強度フレームモードにおいてはイベントセンサ出力としても機能し得、すべての処理ブロックが、それらの対応する画素の対数強度測定値を連続して通信する一方で、画素アドレス情報は、破棄され得る。代替的に、対数強度フレームモードにおけるイベントセンサ出力は、標準シフトレジスタベースの通信システムを採用し得る。読み出しプロセッサは、次いで、フレームの次の行を読み出し、処理することに進む。読み出しプロセッサがフレーム全体を読み出し、処理することを終了した後、イベントセンサは、上述の動作ステップを次のフレームで繰り返し得る。

時間コントラストおよび対数強度ハイブリッドモード変異形１
時間コントラストおよび対数強度ハイブリッドモード変異形１は、処理ブロックによって行われるいくつかの処理ステップを除き、時間コントラストイベントモードとほぼ同一である。

時間コントラストおよび対数強度ハイブリッドモード変異形１では、すべての画素の処理オプションは、（４）時間コントラスト検出および対数強度測定のために構成される。したがって、図７内のフローチャートに示されるように、各処理ブロックは、対応する画素から時間コントラストイベントならびに対数強度測定を出力すべきかどうかを決めるために以下の処理ステップを行う：
１．同じ画素の現在画素値および対応する画素パラメータを受信する７０１。
２．現在画素値をグレーコードからバイナリ形式へ変換する７０２。
３．現在画素値と前画素値との符号付きの差を算出する７０３。
４．符号付きの差が対応する画素の正または負の変化検出閾値を超えるかどうか、および任意選択的に、過去のイベントタイムスタンプが条件を満たす（例えば、現在のタイムスタンプに対して１ｍｓより古い）かどうかを決める７０４：
ａ．ＹＥＳの場合：
ｉ．時間コントラストイベント出力を要求する７０５。
ｉｉ．現在画素値から対応する画素のオフセット補償子を減算することによってオフセット補償された画素値を算出する７０６。
ｉｉｉ．オフセット補償された画素値を対応する画素のゲイン補正係数と乗算することによって、最終のオフセット補償およびゲイン補正された画素値を算出する７０７。
ｉｖ．前画素値を現在画素値で上書きすること、および任意選択的に、過去イベントタイムスタンプを現在のタイムスタンプ７０８で上書きすることを含め、対応する画素パラメータを更新する５０７。
ｂ．ＮＯの場合：何のアクションも行わない。
５．処理の終了７０９。

読み出しプロセッサがフレームの一行を処理することを終了するとき、時間コントラストイベント出力の要求を伴うそれらの処理ブロックは、それらの対応する情報をイベントセンサの時間コントラストイベントおよび対数強度ハイブリッド出力として、好ましくは、時間コントラストイベントモードにおいて使用される同じ高速トークンベースの通信システムを介して、通信する。各時間コントラストイベントは、それで、行および列アドレス符号器から獲得される画素アドレス、任意選択的に時間コントラストの符号、現在のタイムスタンプ（おそらくは同じフレームからのすべての時間コントラストイベントによって共有される）、ならびに対応する画素の対数強度測定を反映するオフセット補償およびゲイン補正された画素値を含む。読み出しプロセッサは、次いで、フレームの次の行を読み出し、処理することに進む。読み出しプロセッサがフレーム全体を読み出し、処理することを終了した後、イベントセンサは、上述の動作ステップを次のフレームで繰り返し得る。

他の時間コントラストおよび対数強度ハイブリッドモード変異形
処理オプションが画素固有であるため、画素の部分集合の処理オプションは、１つのオプションのために構成される一方、画素の別の部分集合の処理オプションは、異なるオプションのために構成される。この手法は、画素の様々な部分集合に分割される矩形領域として画素アレイを概略的に示す図８ａ－８ｃを参照して以下により詳細に論じられる。

図８ａに示される第１の例において、画素アレイの中央における画素の第１の部分集合８１の処理オプションは、（３）対数強度測定のために構成される一方、画素アレイ内の画素の残部に対応する画素の第２の部分集合８２の処理オプションは、（２）時間コントラスト検出および測定のために構成される。

図８ｂに示される第２の例において、画素アレイ内に散りばめられる画素の第３の部分集合８３の処理オプションは、（３）対数強度測定のために構成され得る一方、画素アレイ内の画素の残部に対応する第４の部分集合８４の処理オプションは、（２）時間コントラスト検出および測定のために構成される。

図８ｃに示される第３の例において、画素アレイの中央における画素の第５の部分集合８５の処理オプションは、（３）対数強度測定のために構成され得る一方、画素アレイ内に散りばめられる画素の第６の部分集合８６の処理オプションは、（４）時間コントラスト検出および対数強度測定のために構成され、画素アレイ内の画素の残部に対応する第７の部分集合８７の処理オプションは、（２）時間コントラスト検出および測定のために構成される。

画素部分集合およびそれらの処理オプションの異なる組み合わせを使用した、画素アレイの処理オプションを構成するためのより多くの異なるやり方が存在し得る。様々なそのような時間コントラストおよび対数強度ハイブリッドモードにおいて、イベントセンサ出力は、好ましくは、時間コントラストイベントモードにおいて使用される同じ高速トークンベースの通信システムによってサポートされる。画素アレイの処理オプションは、外部コンピュータによって構成される。したがって、外部コンピュータは、画素アレイの知られている処理オプション構成に基づいて、様々なそのようなハイブリッドモードにあるイベントセンサの出力を復号することができる。

較正モード
画素固有の変化検出閾値（複数可）、ゲイン補正係数、およびオフセット補償値は、一回限りの較正手順を用いて獲得され得る。較正モードでは、すべての画素の処理オプションは、較正オプションとして構成される。したがって、読み出しプロセッサは、対数強度フレームモードにおいて使用される同じ通信スキームを介して、現在画素値をいかなる処理もなしにイベントセンサの較正モード出力として通信する。

画素固有の変化検出閾値（複数可）およびゲイン補正係数を獲得するために、すべての画素は、一度は低照明レベルで、および別の時には高照明レベルで、均一光源に曝露される。イベントセンサは、低照明レベルで低フレームと呼ばれる第１のフレームを捕捉し、低画素値と呼ばれる現在画素値の第１のフレームを出力する。イベントセンサはまた、高照明レベルで高フレームと呼ばれる第２のフレームを捕捉し、高画素値と呼ばれる現在画素値の第２のフレームを出力する。これらの２つのステップは、特定の発生順なしに、何回か（例えば、１０回、１００回、またはそれより多く）繰り返される。その結果、イベントセンサは、画素ごとに、いくつかの低画素値（例えば、１０、１００、またはそれより多くの低画素値）およびいくつかの高画素値（例えば、１０、１００、またはそれより多くの高画素値）を作り出したことになる。

イベントセンサ内の時間的ノイズの効果を最小限にするため、時間的平均低画素値および時間的平均高画素値が、以下のように画素ごとに算出される：

次いで、画素値差は画素ごとに：
（画素の）画素値差＝（この画素の）時間的平均高画素値－（この画素の）時間的平均低画素値
として算出される。

また、アレイ平均画素値差は：

として算出される。

故に、画素ごとのゲイン補正係数は：

として算出され得る。

画素ごとの変化検出閾値は：

として算出され得る。

例えば、低照明レベルが０．１ルクスであり、高照明レベルが１００ｋルクスであり、アレイ平均画素値差が２０００である場合、１８００の画素値差を有する画素のためのゲイン補正係数は、約１．１でなければならない。目標コントラスト感度閾値が１５％である場合、この画素の変化検出閾値は、約１８でなければならない。

画素固有のオフセット補償子をさらに獲得するために、イベントセンサは、暗闇で第３のフレームを捕捉し、これは暗フレームと呼ばれ、また暗画素値と呼ばれる現在画素値の第３のフレームを出力する。このステップは、何回か（例えば、１０回、１００回、またはそれより多く）繰り返される。結果として、イベントセンサは、画素ごとに、いくつかの暗画素値（例えば、１０、１００、またはそれより多くの暗画素値）を作り出したことになる。

イベントセンサ内の時間的ノイズの効果を最小限にするために、時間的平均暗画素値は、画素ごとにそのオフセット補償子として算出される：

暗画素値は温度により変化し、また、画素フロントエンド電子信号変換器、ここでは電流－電圧変換器、のバイアス設定により変化し得ることから、１つの特定の動作温度において、および１つの特定の画素バイアス設定を使用して獲得されるオフセット補償値較正結果は、ほぼ同じ動作温度で、およびほぼ同じ画素バイアス設定を使用して、最も効果的であるということは注目に値する。したがって、あるユースケースのための、１つの（またはいくつかの）最も予期される動作温度（複数可）で、１つの（またはいくつかの）最も可能性の高い画素バイアス設定（複数可）を使用して、オフセット補償子に対してイベントセンサを較正することが推奨される。

較正手順中、画素固有の変化検出閾値（複数可）、ゲイン補正係数、およびオフセット補償値は、外部コンピュータによって算出され、次いで、外部不揮発性ストレージ内に書き込まれ、後続のイベントセンサ動作のために画素パラメータ構成器を介して画素パラメータメモリ内へ起動時にロードされる。

動作中の画素パラメータ調節
イベントセンサ動作、すなわち、イベントセンサのための較正モード以外のすべての他の動作モードの間、画素パラメータのいくつかが外部コンピュータによって調節されることを必要とする場合がある。以下はいくつかの例である：

イベントセンサの動作モードを切り替えるために、画素アレイの処理オプションは、再構成されることを必要とする。新規の処理オプション構成は、外部コンピュータによって決定され、画素パラメータ構成器を介して画素パラメータメモリならびに外部不揮発性ストレージ内に書き込まれる。

イベントセンサが対数強度フレームモードまたは時間コントラストおよび対数強度ハイブリッドモードで動作する間に、画素バイアス設定および／または動作温度が変化する場合、新規の画素バイアス設定および／または新規の動作温度に対応する、画素アレイのためのオフセット補償値の新規のセットが、最適出力精度を達成するためにイベントセンサに必要とされる。好ましくは、画素アレイのためのオフセット補償値のいくつかのセットは、いくつかの予期される画素バイアス設定および動作温度範囲における較正を介して獲得され、外部不揮発性ストレージに記憶される。新規のバイアス設定および／または新規の動作温度範囲に対応するセットは、外部コンピュータによって選択され、画素パラメータ構成器を介して画素パラメータメモリ内に書き込まれる。

イベントセンサが時間コントラストイベントモードまたは時間コントラストおよび対数強度ハイブリッドモードで動作するとき、時としてコントラスト感度閾値を調節することが望ましい。それを行うため、画素パラメータメモリ内の画素固有の変化検出閾値（複数可）は、画素パラメータ構成器を介して更新される。画素ごとの新規の変化検出閾値は：
（画素の）新規の変化検出閾値＝（この画素の）古い変化検出閾値・ｌｏｇ_{（１＋古いコントラスト感度閾値）}（１＋新規のコントラスト感度閾値）
として算出される。

例えば、古いコントラスト感度閾値が１５％であり、画素の古い変化検出閾値が１８であり、達成すべき新規のコントラスト感度閾値が３０％である場合、この画素の新規の変化検出閾値は、３４であるべきである。

画素固有の変化検出閾値（複数可）の調節中、各画素の古い変化検出閾値（複数可）は、画素パラメータ構成器によって外部コンピュータに送られる。古い変化検出閾値ごとに、外部コンピュータは、古いおよび新規のコントラスト感度閾値目標に基づいて、対応する新規の変化検出閾値を算出する。各画素の結果として生じる新規の変化検出閾値（複数可）は、次いで、画素パラメータ構成器を介して画素パラメータメモリならびに外部不揮発性ストレージ内に書き戻される。

参照数字：
１０ 画素アレイ
１ 光起電変換器、フォトダイオード、ＰＰＤ
２ 電子変換器
２１ 電子信号変換器、電流－電圧変換器
２３ アナログ－デジタル変換器
２４ 比較器
２５ 変換器メモリ
２６ 反転増幅器
２７ バッファ
３ 画素パラメータメモリ は、
３１ マルチビットデジタルストレージ を有する
４ 読み出しプロセッサ は、
４１ 処理ブロック を伴う
５１ バイアス発生器
５２ ＡＤＣ制御器
５３ 行アドレス符号化器
５４ 列アドレス符号化器
５５ 読み出し制御器
５６ 画素パラメータ構成器
６１ 外部コンピュータ
６２ 外部不揮発性ストレージ

Claims (17)

1. 画素アレイ（１０）を備え、前記画素アレイ（１０）に入射する光に反応してイベントデータを含む信号ストリームを作り出すように構成されるイベントセンサであって、
   － 前記画素アレイ（１０）の画素ごとの、光起電変換器（１）および前記光起電変換器（１）に接続された電子変換器（２）であって、前記光起電変換器（１）および前記電子変換器（２）が、前記光起電変換器（１）に入射する光の強度に依存するデジタル現在画素値を作り出すおよび記憶するように構成される、光起電変換器（１）および電子変換器（２）と、
   － 前記画素アレイ（１０）の画素ごとの、前画素値を記憶するように構成される対応するマルチビットデジタルストレージ（３１）と、
   － 前記電子変換器（２）および前記マルチビットデジタルストレージ（３１）に接続され、前記現在画素値から前記前画素値を減算する画素減算結果に基づいて、前記イベントデータの画素イベント値を生成するように構成される読み出しプロセッサ（４）と
   を備える、イベントセンサ。
2. 前記読み出しプロセッサ（４）が、画素イベント値が生成されるたびに、前記記憶された前画素値を前記現在画素値で上書きするように構成されることを特徴とする、請求項１に記載のイベントセンサ。
3. 前記電子変換器（２）が、アナログ－デジタル変換器（２３）を備え、前記光起電変換器（１）に入射する光の強度に対数的に依存する前記現在画素値を作り出すように構成されることを特徴とする、請求項１に記載のイベントセンサ。
4. 前記電子変換器（２）が、電流－電圧変換器（２１）を備え、電流－電圧変換器（２１）が、対数変換器であり、アナログ－デジタル変換器（２３）が、線形変換器であるか、または電流－電圧変換器（２１）が、線形変換器であり、アナログ－デジタル変換器（２３）が、対数変換器であることを特徴とする、請求項３に記載のイベントセンサ。
5. 前記画素アレイ（１０）が、ある幅数の画素列およびある高さ数の画素行、ならびに前記幅数×高さ数の画素の各々のための１つのマルチビットデジタルストレージ（３１）からなる画素パラメータメモリからなり、
   前記読み出しプロセッサ（４）が、前記幅数の処理ブロック（４１）を備え、前記処理ブロック（４１）の各々が、前記画素列のうちの１つを処理するように構成され、または
   前記読み出しプロセッサ（４）が、整数で乗算される前記幅数の処理ブロック（４１）を備え、前記処理ブロック（４１）の各々が、前記画素列のうちの１つの部分集合を処理するように構成され、または
   前記読み出しプロセッサ（４）が、整数で除算される前記幅数の処理ブロック（４１）を備え、前記処理ブロック（４１）の各々が、前記画素列の倍数を処理するように構成されることを特徴とする、請求項１から４のいずれか一項に記載のイベントセンサ。
6. 前記マルチビットデジタルストレージ（３１）が、対応する画素のための変化検出閾値および／または過去のイベントタイムスタンプをさらに記憶するように構成され、前記読み出しプロセッサ（４）が、前記現在画素値が前記変化検出閾値よりも大きく前記前画素値とは異なるという条件で、および／または前記過去のイベントタイムスタンプが所定の時間間隔よりも古いという条件で、前記画素イベント値を生成および／または出力するように構成されることを特徴とする、請求項１から５のいずれか一項に記載のイベントセンサ。
7. 前記読み出しプロセッサ（４）が、前記画素イベント値を生成することが、処理オプションパラメータによって決定される２つ以上の処理オプションのうちの１つの処理オプションであるように構成されることを特徴とする、請求項１から６のいずれか一項に記載のイベントセンサ。
8. 前記読み出しプロセッサ（４）が、第１の処理オプションに従って、前記画素アレイ（１０）の第１の画素または前記画素アレイ（１０）の第１の画素群内のすべての画素を処理するように、および第２の処理オプションに従って、前記画素アレイ（１０）の第２の画素または前記画素アレイ（１０）の第２の画素群内のすべての画素を処理するように構成されることを特徴とする、請求項７に記載のイベントセンサ。
9. 前記マルチビットデジタルストレージ（３１）が、対応する画素のための処理オプションパラメータをさらに記憶するように構成され、前記読み出しプロセッサ（４）が、対応する画素のための前記処理オプションパラメータに従って、前記現在画素値を処理するように構成されることを特徴とする、請求項１から８のいずれか一項に記載のイベントセンサ。
10. 前記読み出しプロセッサ（４）が、前記２つ以上の処理オプションが、前記光起電変換器（１）に入射する光の強度に対数的に依存する値である、前記画素における対数強度の生成を含むように構成されることを特徴とする、請求項７から９のいずれか一項に記載のイベントセンサ。
11. 前記読み出しプロセッサ（４）が、前記２つ以上の処理オプションが、較正モードを含むように構成され、前記現在画素値が、前記読み出しプロセッサ（４）によって未処理で出力されることを特徴とする、請求項７から１０のいずれか一項に記載のイベントセンサ。
12. 前記読み出しプロセッサ（４）が、前記２つ以上の処理オプションが、前記光起電変換器（１）に入射する光の強度に対数的に依存する値である、前記画素における対数強度、および前記現在画素値から前記前画素値を減算する画素減算結果に基づいた、前記画素における画素イベント値を同時に生成することを含むように構成されることを特徴とする、請求項７から１１のいずれか一項に記載のイベントセンサ。
13. 前記マルチビットデジタルストレージ（３１）が、オフセット補償値をさらに記憶するように構成され、前記読み出しプロセッサ（４）が、前記対数強度を生成するとき、前記オフセット補償値を考慮するように構成されることを特徴とする、請求項１０または１２に記載のイベントセンサ。
14. 前記マルチビットデジタルストレージ（３１）が、ゲイン補正係数をさらに記憶するように構成され、前記読み出しプロセッサ（４）が、前記画素イベント値および／または前記対数強度を生成するとき、前記ゲイン補正係数を考慮するように構成されることを特徴とする、請求項１から１３のいずれか一項に記載のイベントセンサ。
15. 前記光起電変換器（１）および前記電子変換器（２）が一緒に、前記画素アレイ（１０）内の共同物理領域または体積を占有することを特徴とする、請求項１から１４のいずれか一項に記載のイベントセンサ。
16. 前記読み出しプロセッサ（４）が、前記画素アレイ（１０）の画素の一行または複数行または一行の一部を並行して処理するように構成されることを特徴とする、請求項１から１５のいずれか一項に記載のイベントセンサ。
17. 画素アレイ（１０）に入射する光に反応してイベントデータを含む信号ストリームを作り出すための方法であって、以下のステップ、
    － 前記画素アレイ（１０）の各画素の光起電変換器（１）に入射する光の強度に依存するデジタル現在画素値を、前記光起電変換器（１）に接続された電子変換器（２）によって、作り出すおよび記憶するステップと、
    － 前記画素アレイ（１０）の画素ごとに、前記画素に対応するマルチビットデジタルストレージ（３１）に記憶された前画素値を提供するステップと、
    － 前記電子変換器（２）および前記マルチビットデジタルストレージ（３１）に接続された読み出しプロセッサ（４）によって、前記現在画素値から前記前画素値を減算する画素減算結果に基づいて、前記イベントデータの画素イベント値を生成するステップと
    を含む、方法。

Images