JP5114493B2

JP5114493B2 - 電子形式の画像を生成する方法、画像生成用画像センサのための画像素子ならびに画像センサ

Info

Publication number: JP5114493B2
Application number: JP2009537440A
Authority: JP
Inventors: ポッシュクリストフ; リッツェンベアガーマルティン; モトリンダニエル; ヴォールゲナントライナー
Original assignee: AIT Austrian Institute of Technology GmbH
Current assignee: AIT Austrian Institute of Technology GmbH
Priority date: 2006-11-23
Filing date: 2007-11-22
Publication date: 2013-01-09
Anticipated expiration: 2027-11-22
Also published as: US8780240B2; WO2008061268A1; EP2098062B1; ES2621194T3; EP2098062A1; DK2098062T3; AT504582A1; US20100182468A1; JP2010510732A; AT504582B1

Description

本発明は、画像素子により電子形式で１つのシーンのイメージないしはマップを生成する方法、露光測定装置により画像を生成する画像センサのための画像素子、ならびに複数の画像素子により電子形式の画像を生成する画像センサに関する。

古典的な画像処理は、画像センサから供給されるデータの評価に基づくものである。画像センサを用いてデータを記録する場合、センサの各画素（ピクセル）について一般に電子形式で移送されるビジュアル情報が所定のクロックで（同期して）、典型的には１秒間に多数の回数で、画像センサから読み出される（たとえばFossum E.R., "CMOS image sensors: Electronic Camera-On-A-Chip", Electron Devices, IEEE Transactions on, Vol.44, Iss.10, , pp.1689-1698, Ort 1997）。この方式は（時間および／または位置に関して）高い分解能をもつセンサの場合に生成されるデータ量およびその結果として生じる複雑な後処理に起因して、いくつもの限界に突き当たる。ディジタル伝送チャネルのデータレートは限られており、高性能画像処理の多くのタスクのためには十分な大きさではない一方、画像センサから供給されるデータ量の記憶スペースに対する要求を、高速なアプリケーションの場合には殊に、技術的に（または経済的に理にかなうようにも）満たすことはできない。また、多くのアプリケーション殊に移動体のアプリケーションにとって、それ相応に高性能の信号処理プロセッサのエネルギー消費は大きすぎるし、あるいは多くの適用分野にとっては高価すぎる。さらに、かなりの（高速）アプリケーションはプロセッサ性能の不足に起因して実現することすらできない。

ここ数年来、センサにおいてダイレクトに、たいていは各画素においてパラレルに、画像情報の前処理を行う画像センサアーキテクチャ（"focal plane processing"）を調査してきた。それらのセンサのうちのいくつかは、前処理された画像情報を非同期でイベント制御により送信し、つまり外部のクロックとは無関係に、シーン内で関連情報が検出されたときだけ送信される。

オプティカルトランジェントセンサ（optical transient sensor）ないしはダイナミックビジョンセンサ（dynamic vision sensor ＤＶＳ）という特別なケースではこれらの関連情報は、自律的に動作する個々の画素（ピクセル）が受け取った照射強度の相対的変化である。このような画素に基づく電子回路すなわちトランジェントデテクタについては、Lichtsteiner, P.; Posch, C; Delbruck, T., "A 128x128 120dB 30mW asynchronous vision sensor that responds to relative intensity change," Solid-State Circuits, 2006 IEEE International Conference Digest of Technical Papers , pp. 2060- 2069, Feb. 6-9, 2006, Lichtsteiner, P.; Delbruck, T.; Posch, C, "A 100dB dynamic range high-speed dual-line optical transient sensor with asynchronous readout," Circuits and Systems, 2006. ISCAS 2006. Proceedings. 2006 IEEE International Symposium on, pp. 1659- 1662, 21-24 May 2006 およびWO 2006/128315 Alに記載されている。

輝度変化は一般にシーンにおけるオブジェクトの反射率変化によって引き起こされるので、たいていは物体の運動がこれに関連している。輝度変化を検出しないピクセルはデータを生成しない。これにより、既述のように全ピクセルフィールドを常に一定のレート（フレームレート"Frame-Rate"）で読み出す慣用のＣＭＯＳ画像センサまたはＣＣＤ画像センサと比較して、発生するデータ量が著しく低減される。ただしデータ流中にはシーンにおける可変のオブジェクトに関する情報だけしか含まれておらず、つまり均質な面および動かない背景に関する画像情報は存在しない（すなわちグレー値情報は存在しない）。個々のピクセルは非同期に僅かなレイテンシでそれらの視野における刺激ないしは励起に反応するので、読み出し時に時間量子化は行われず、高い時間分解能を達成することができる。たとえば自動車、監視、産業オートメーションなどの分野における「マシン・ビジョン Machine Vision」の多数の適用事例にとって、トランジェントセンサのデータがきわめて適している。

オプティカルトランジェントセンサの特性の制約とは、人間にとって判読可能な画像（強度画像もしくはグレー値／カラー画像）が欠けていることである。とはいえ多くの適用事例のためには、動かない（または変化しない）物体またはシーン背景に関する情報が必要である。人間のオペレータが配置されるにしても、観察されるシーンのビデオ画像を省くことはできない。

クロック制御される慣用のＣＭＯＳ画像センサまたはＣＣＤ画像センサの欠点は、既述のように時間分解能がピクセルフィールドを読み出す「フレーム」レートに制限されていること、このようなセンサにより生成される著しく冗長なデータが大量にあること、ならびにダイナミックレンジが制限されていることである。

本発明の課題は、観察される可変のシーンの画像情報を連続的に記録する方法および装置において、（処理可能な光強度の）広いダイナミックレンジで、できるかぎり高い時間分解能および強度分解能が得られるようにすることである。この場合、記録されたデータが個々の画像のシーケンスから成るようにするのではなく、個々のピクセルにおける変化情報の非同期ストリームから成るようにし、実際にピクセルの視野において変化が発生したときでだけ、これが記録されて伝達されるようにする。これによって、慣用の画像センサにとって典型的である画像情報における一時的な冗長性が十分抑圧されることになり、情報内容が同じであっても（あるいはそれどころかさらに多くても）データ量が著しく低減される。これにより得られる結果はビデオと同等であるが、この場合、個別画像はない。既述の方法を実行するための画像センサのための画像素子は、アナログ電子回路をベースに実現することができる。多数のこの種の画像素子を備えた画像センサの電力消費をできるかぎり僅かにするのが好適であり、これは典型的には集積ＣＭＯＳシステムとして実現される。

本発明によればこの課題は、冒頭で述べた形式の方法において、１つの自律的な画像素子における露光測定が、この画像素子により観察されるシーンセクションにおける輝度変化の自動的な非同期の検出イベントを介して、同じ画像素子の一部分によって励起され、露光測定結果が画像素子のアドレスとともに記憶装置および／または後続処理装置へ非同期で伝達されることにより解決される。センサの各ピクセルが少なくとも１回、変化を検出し、それに伴い露光測定が行われた後、観察されるシーン全体の１つのイメージ（グレー値画像／カラー画像）がディジタル形式で得られる。その後、自身の視野内で輝度変化を検出したピクセルだけが更新された新たなグレー値を送信する（新たな情報があるかないかには依存せず所定の時点ですべてのピクセルが送信を行うわけではない）。輝度変化を検出しないピクセルすなわち変化のない輝度を「見ている」ピクセルに関して、グレー値の更新は不要である。この方法によれば、観察されているシーンのダイナミックな内容に応じて、クロック制御される（同期型の）画像センサと比べて、同じ結果でありながら発生するデータ量を著しく低減することができる。その結果、どのような時点であっても、観察されるシーンの完全な（グレー値）画像が画像メモリ内に存在しており、高い時間分解能でありながら（比較的）低いデータレートで常に更新される。画像メモリからの画像情報の読み出しを、画像記録動作とは無関係にいつでも高い繰り返しレートで行うことができる。

本発明の有利な実施形態によれば、露光測定の終了は、画像素子において露光に依存する物理的な量が設定可能な閾値に達することにより決定され、この時点において画像素子のアドレスが後続処理装置へ伝達され、露光測定をトリガするイベントの時点と閾値への到達時点との時間差が、画像素子の露光に対する尺度として用いられる。

画像素子において露光に依存する既述の物理的な量は、フォトデテクタ回路の積分コンデンサにおける電圧であると有利である。画像素子のアドレスはこの時点で新たに非同期でイベント制御されて後続処理装置へ伝達され、露光をトリガする各イベント発生時点の時間差がトランジェントデテクタにより検出され、フォトデテクタ回路の電圧信号を設定可能な閾値と比較する閾値比較器により閾値への到達が検出されて、画像素子の露光に対する尺度として利用される。本発明による方法は、タイムシーケンスたとえば露光測定のタイムシーケンスを制御するために外部のコントロール信号を必要としない。

以下の刊行物には、「タイムベースの画像センサ」をテーマとするコンセプトおよび方法について述べられている：
Bermak, "A CMOS imager with PFM/PWM based analog-to-digital converter", Circuits and Systems, 2002. ISCAS 2002. IEEE International Symposium on, 2002;
Chen S.; Bermak, A., "A low power CMOS imager based on time-to-first-spike encoding and fair AER," Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on, pp. 5306- 5309 Vol. 5, 23-26 May 2005;
Chen S.; Bermak, A., "A Second Generation Time-to-First-Spike Pixel with Asynchronous Self Power-off," Circuits and Systems, 2006. ISCAS 2006. Proceedings. 2006 IEEE International Symposium on, pp. 2289- 2292, 21-24 May 2006;
Culurciello, E.; Etienne-Cummings, R.; Boahen, K., "Arbitrated address-event representation digital image sensor," Electronics Letters, vol.37, no.24pp.1443-1445, 22 Nov 2001;
Culurciello, E.; Etienne-Cummings, R.; Boahen, K.A., "A biomorphic digital image sensor," Solid-State Circuits, IEEE Journal of, vol.38, no.2pp. 281- 294, Feb 2003;
J.G. Harris, X. Qi, Q. Luo and X. Guo, "SNR and FPN considerations for time-based wide dynamic range CMOS image sensors", 6th World Multiconference on Systemics, Cybernetics and Informatics, JuIy 14-18, 2002;
Kitchen, A.; Bermak, A.; Bouzerdoum, A., "PWM digital pixel sensor based on asynchronous self-resetting scheme," Electron Device Letters, IEEE, vol.25, no.7pp. 471- 473, JuIy 2004;
Qiang Luo; Harris, J.G., "A time-based CMOS image sensor," Circuits and Systems, 2004. ISCAS '04. Proceedings of the 2004 International Symposium on, vol.4, IV840-3 Vol.4, 23- 26 May 2004; Xin Qi; Xiaochuan Guo; Harris, J.G., "A time-to-first spike CMOS imager," Circuits and Systems, 2004. ISCAS '04. Proceedings of the 2004 International Symposium on, vol.4, IV824-7 VoI .4, 23-26 May 2004;
Chen Xu; Chao Shen; Bermak, A.; Mansun Chan, "A new digital-pixel architecture for CMOS image sensor with pixel-level ADC and pulse width modulation using a 0.18 μm CMOS technology," Electron Devices and Solid-State Circuits, 2003 IEEE Conference on, pp. 265-268, 16-18 Dec. 2003;もしくはUS 6,660,989; US 6,069,377; US 6,642,503; US 5,650,643; US 5,565,915, US 6,587,145
これら上述のすべての方法は基本的に本発明のアプローチとは異なっている。なぜならばこれらはたとえば、ピクセルフィールド（フレーム"Frame"）全体のための露光サイクルを、または少なくとも行ごとに（たとえばローリング・シャッター・モード"rolling-shutter mode"）、外部から（すなわちグローバルなスタート信号またはリセット信号により）開始させるからであり、あるいは輝度情報をインター・スパイク・インターバル"Inter-Spike-Intervalle"として連続的な「リクエスト・アクノーレッジ・リセット積分」"Request-Acknowledge-Reset-Integrate"サイクルにコーディングするからである。

オフセット電圧の変動または一時的な妨害に起因するエラーを抑圧する目的で有利には、積分開始時点に第１の電圧値に達した後、画像素子のアドレスが伝達され、ついで（同じ積分過程において）第２の電圧値に達すると、その画像素子のアドレスが新たに伝達され、双方の異なる電圧値に到達した時点の時間差が、画像素子の露光に対する尺度として用いられる。

これらすべての実施形態において、イベント検出と露光測定に関する情報をパラレルに互いに依存せずに伝達することができる。

本発明の１つの重要な特徴によれば、画像素子における露光測定がこの画像素子における輝度変化によりトリガされ、この輝度変化の発生は後続処理装置への画像素子のアドレス伝達により付加的にシグナリングされる。

本発明のさらに別の実施形態によれば、慣用のＡＰＳ画像センサの場合のように、画像素子に生じた電圧値が所定の期間にわたる積分後に求められ、画像素子の露光に対する尺度として使用され、後続処理装置へ伝達される。ただしこの場合、露光をトリガするイベントの時点は、既述のようにピクセル回路により自律的に非同期で求められる。

本発明のさらに別の有利な実施形態のように、複数の画像素子から成るグループに対する露光測定の開始が共通に許可または阻止されるならば、画像領域全体からセクション選択を行うことができ、それについてユーザにとって「読み取り可能な」画像を生成することができる。たとえば、輝度変化に対する監視の十分な領域をスイッチオフすることができ、当然ながらこのことによって伝送すべきデータレートも低減される。

同様にやはり有利であるのは、さらに別の実施形態のように、複数の画像素子から成るグループの輝度変化の検出自体も共通に許可または阻止することである。したがって重要でない領域を完全にスイッチオフすることができ、あるいは画像生成を比較的小さいセクションに制限することができ、このことによって伝送すべきデータレートが著しく低減される。

有利には、少なくとも１つの任意の時点において参照露光測定を少なくとも１つの画像素子においてトリガすることにより、既述の方法をさらに向上させることができる。これまで述べてきた画像素子およびそれによって構成された画像センサによって、観察されているシーンのダイナミックな内容に依存する時間が経過した後で初めて、すべてのピクセルに対するグレー値を有する１つの完全な画像が供給される。このことは、自身の視野において変化を検出しないピクセルは露光測定をトリガしない、という特性によって得られる。したがって有利であるのは、背景の変化していないシーンにおいて１つの完全な画像を得る目的で、任意の時点において１つの画像全体（参照フレームないしは基準フレーム"Referenz-Frame"）を捕捉することである。さらにこの機能が好適である理由は、後続処理手段による時間情報から画像グレー値への変換に対する最適なパラメータ設定のために、シーン全体の輝度情報を把握する必要があるからである。この変換に必要とされるデータ（「オフセット」、「レンジ」）を、参照フレームの時間値から簡単なやり方で抽出することができる。

本発明による方法の実施形態によれば、画像素子のランダムな励起ひいては露光測定のトリガを好適なものとすることができる。

この場合、以下のように構成することができる。すなわち、複数の画像素子における複数の行有利にはすべての平行な行における露光測定が、これらの行の最初の画像素子においてそれぞれ実質的に同時に開始され、１つの画像素子における露光測定の積分が終了すると、同じ行のそれぞれ次の画像素子において露光測定が開始される。

さらに別の実施形態によれば、任意に設定可能なパターン有利には関連する領域に従って配置されている画像素子において、実質的に同時に露光測定が開始される。

有利には参照露光測定を、画像センサの画像素子による輝度変化の検出と同時に、およびこの検出とは無関係に行うことができる。

１つの有利な実施形態によれば、１つの画像素子に対する露光測定の開始を、この画像素子を含む列と行全体をそれぞれアクティブ状態にし、アクティブ状態にする信号のＡＮＤ論理結合により行うことによって、回路技術の単純化および回路の所要面積低減を達成することができる。本発明による画像装置は露光測定装置を有しており、以下のことを特徴としている。すなわち、露光測定結果と画像素子アドレスを非同期でイベント制御により評価回路へ伝達する回路と、評価回路と接続されている輝度変化検出回路が設けられており、輝度変化検出回路は輝度変化を検出すると、露光測定装置と、露光測定結果およびアドレスを非同期でイベント制御により伝達する回路を始動させる信号を送出する。

有利には自律的に非同期で動作する上述の複数の画像素子（ピクセルとも称する）と、各ピクセルごとにそのつど最新の露光測定結果を記憶可能でありセンサの画像素子数に対応する個数のメモリセルを備えた画像メモリとから、既述の方法を実施するための画像センサを構成することができる。メモリを画像センサ自体と同じ基板（"Chip"）とすることができ、あるいは別個のコンポーネントとすることができる。

輝度測定のため画像素子に、クロック制御される慣用のＣＭＯＳ画像センサにおいても使用されているようなフォトデテクタが設けられている。フォトデテクタ回路についてはたとえば、Fossum E.R., "CMOS image sensors: Electronic Camera-On-A-Chip", Electron Devices, IEEE Transactions on, Vol.44, Iss.10, pp.1689-1698, Ort 1997, in Noble P.J.W., "Self-scanned Silicon image detector arrays" Elertron Devices, IEEE Transartions on, Vol.15, Iss.4, pp. 202- 209, Apr. 1968および Chamberlain S.G., "Photosensitivity and Scanning of Silicon Image Detector Arrays," Solid-State Circuits, IEEE Journal of, Vol.4, Iss.6, pp. 333- 342, Dec 1969において述べられている。ＣＭＯＳピクセルの場合、入射光強度に依存してフォトダイオードから発せられる光電流がキャパシタにおいて積分され、その結果として生じた電圧値が規定時間後に読み出される。この積分の開始も終了も、慣用のＣＭＯＳ画像センサの場合にはすべてのピクセルに対し等しく外部の制御信号によって設定される。

本発明による画像素子によれば、露光測定（＝積分）をトリガするイベントの時点は、慣用の画像センサの場合のようにすべてのピクセルに対し等しく同期して共通の時点から導出されるのではなく、観察されるシーンの内容に依存して各ピクセルにより定められ、すなわち輝度変化検出時にそれ自体によって決定される。この時点において、画像素子は自身のアドレスを、典型的には矩形の画像センサピクセルフィールドにおけるＸ，Ｙアドレスを、有利にはアービタ制御される非同期の伝送チャネルを介して後続処理装置へ自動的に伝達する。

１つの有利な実施形態によれば、輝度変化検出回路から露光測定装置および露光測定結果と画像素子アドレスを非同期でイベント制御により伝達する回路への信号ラインは分離可能であり、この場合、露光測定装置と非同期でイベント制御により伝達する回路を始動させる外部の制御ラインが設けられている。

本発明の１つの有利な実施形態によれば、露光測定装置は閾値判定器を備えた積分回路を有しており、露光測定結果および画像素子アドレスを非同期でイベント制御により伝達する回路とともに１つの回路にまとめられている。さらに有利には、閾値判定器として2段型の演算増幅器が用いられ、この場合、付加的なトランジスタにより回路の静止状態において、スタティックな電流つまりは閾値判定器における電力消費がほぼゼロまで低減される。

閾値判定器のための比較電圧を積分過程中、設定可能な２つの別個の値の間で切り替え可能であり、それぞれ供給すべき比較電圧の選択および切替時点の決定が、露光測定結果と画像素子アドレスを非同期でイベント制御により伝達する回路により自動的に画像素子において行われるようにすると、付加的な利点を得ることができる。それというのも、オフセット電圧の変動もしくは一時的な妨害によるエラーをこれによって抑圧できるからである。

さらに有利には、互いに依存しない２つのパラレルの非同期バスアービタが設けられており、これらのアービタを介して、輝度変化検出回路と露光測定回路とが互いに別個に評価回路と接続されている。適切な非同期バスアービタについてはたとえば、Boahen K., "Pointto-point Connectivity between neuromorphic chips using Address Events", IEEE Transactions on Circuits and Systems II: Analog and Digital Signal Processing, vol. 47 pp. 416-433, 2000およびK. A. Boahen, "A burst-mode word-serial address-event link-I transmitter design," IEEE Transactions on Circuits and Systems I-Regular Papers, vol. 51, pp. 1269-1280, 2004に記載されている。

本発明の１つの実施形態によれば露光測定回路は、設定可能な積分時間をもつ積分回路を有しており、結果として生じた電圧値のためのアナログ／ディジタル変換器と接続されている。

その際に好適であるのは、アナログ／ディジタル変換器を輝度変化検出の伝送とは別個のデータバスを介して評価回路と接続することである。

本発明による画像素子の１つの実施形態によれば輝度変化検出回路は、信号を前処理し有利にはアドレスイベントプロトコルAdress-Event-Protokoll（"Adress-Event-Representation", AER）により非同期伝送を行うアナログ回路を備えたトランジェントデタクタを有している。ＡＥＲについてはたとえば、Boahen K., "Point-to-point Connectivity between neuromorphic chips using Address Events", IEEE Transactions on Circuits and Systems II: Analog and Digital Signal Processing, vol. 47 pp. 416-433, 2000に記載されている。

既述の課題を解決するため、冒頭で述べた基本構造を備えた画像生成用の画像センサは、自身の画像素子が既述の説明に従って構成されていることを特徴としている。

１つの有利な実施形態によればこの画像センサには、露光測定のためにピクセルを外部から強制的に励起するための回路を設けることができる。

本発明による画像センサの１つの特別な実施形態によれば、画像素子は行形式で配置されており、励起回路は各行におけるそれぞれ第１の画像素子を実質的に同時に強制的に外部から励起し、各画像素子における露光測定の終了を伝達し、同じ行におけるそれぞれ次の画像素子を強制的に励起する。

本発明のさらに別の実施形態によれば、輝度変化検出回路の漏れ電流を調節する回路を設けることができる。この回路を、画像素子における露光測定を時間的にランダムに励起するために用いることができる。

また、複数の画像素子から成るグループのための露光測定回路を実質的に同時に強制的に励起するための回路を設けることもでき、この場合、複数の画像素子から成るグループはまえもって設定可能な任意のパターンに従い配置されており、有利には関連する領域に従い配置されている。

本発明による画像センサの１つの実施形態によれば、それぞれ複数の画像素子から成る行全体または列全体に対する露光測定回路のためにそれぞれ１つのリセット論理回路が設けられており、画像素子自体において２つのリセット論理回路の信号のＡＮＤ論理結合が行われる。この実施形態によって、回路技術的な複雑さが低減されるとともに、回路の所要スペースも小さくなる。

その際に有利には１つの実施形態を用いることができ、これによれば複数の画像素子から成るそれぞれ少なくとも１つの行および／または少なくとも１つの列に対し、この行および／または列の露光測定回路のアクティブ状態または非アクティブ状態への移行が、ロード機能を有する書き込みレジスタチェーンを介して共通に行われる。

同様に、このような回路の単純化ならびに物理的な寸法の低減を以下のようにして達成することができる。すなわちそれぞれ少なくとも１つの行および／または少なくとも１つの列に対し、これらの行および／または列の輝度変化検出および露光測定のための回路のアクティブ状態または非アクティブ状態への移行が、ロード機能を有する書き込みレジスタチェーンを介して共通に行われる。

次に、図面を参照しながら有利な実施例に基づき本発明について詳しく説明する。

トランジェントデタクタの回路概略図図１ａによる回路の典型的な信号経過を示す図第１の実施形態による非同期バスアービタを備えた本発明による画像素子のブロック図非同期アービタ、マルチプレクサ／サンプル＆ホールドおよびＡＤＣを備えた画像素子のブロック図図２による実施形態のためのアービタを備えた画像素子のブロック図、この図にはさらに、参照フレームまたは同期ビデオ動作のための励起をフレキシブルに生成するための回路、ならびにピクセルフィールド（関心領域"Region-Of-Interest", ROI）において任意の領域をまとめてまたは別々に自由選択でアクティブまたは非アクティブにするための回路を実現するための詳細図も加えられている図４によるピクセルの露光測定部１２における論理回路4のブロック図論理信号の典型的なタイムシーケンスを示す図本発明による閾値判定器の回路図図４によるリセット回路１４のブロック図

図１ａには慣用のトランジェントデテクタ（従来技術）の回路に関する概略図が示されており、図１ｂには、この回路において発生する典型的な信号経過が示されている。トランジェントデタクタの入力信号は、トランジスタＭ１とフォトダイオード１ａを流れる電流Ｉ_photoである。フィードバック反転増幅器Ａ１においてフォト電流が電圧信号Ｖ_pに変換される。Ｖ_pの変化は容量結合された反転増幅器２により増幅され、規定された電圧値（「リセット」イベント発生後の動作点）からの偏差としてポイントＶ_Diffに現れる。信号Ｖ_Diffが設定可能な規定の閾値を上回るか下回るかし、このことを２つの電圧比較器のうちの一方が検出すると、「リセット」信号が短期間アクティブになり、これによって「リセット」スイッチが閉じられ、増幅器Ａ２の入力ノードがその出力側と短絡され、その結果、増幅器回路の動作点がリセットされる。この短期間の「リセット」パルスは既述のように、アービタ（Arbiter_T, 5）に対する「リクエスト」信号（Req_T）を発生させるために用いられ、アービタはピクセルのアドレス（ピクセルフィールドのＸ，Ｙアドレス）を含むそれぞれ１つのデータパケットの伝送を実行する（いわゆる「アドレスイベント」 "address event"）。このようにして、フォトダイオード照射の変化（輝度変化）が検出され、これは非同期にデータバス７を介して伝送される。変化のレートは時間領域において各リセットイベントの間隔（図１ｂ）として表され、変化の方向（明るくなる方向または暗くなる方向）は高い方の閾値を上回ったことあるいは低い方の閾値を下回ったこと（"＋"イベントまたは"−"イベント）により得られる。この回路は本発明の対象である画像素子において、他の回路ブロックとともに用いられる。

図２に示されている本発明による画像素子を、光受容体としてフォトダイオード１ａ，２ａを用いたＣＭＯＳ技術によって実現するのが有利である。多数のピクセルから成る画像センサのためのこの画像素子（ピクセル）は、基本的にトランジェントデテクタ１とフォトデテクタ回路２によって構成されている。そしてこれが論理回路４を備えた閾値判定器３によって拡張される。論理回路４は、ピクセルにおける露光測定の結果を非同期でイベント制御によりピクセルアドレスとともに評価回路へ伝達することによって、露光情報から期間への変換が可能となる。

画像センサを実現するために、複数の画像素子が（たとえば正方形の）マトリックスアレイとして配置される。システム全体は、画像センサと後処理および記憶ユニットによって構成されている。後処理ユニットにおいて露光測定各々の結果すなわち期間が、典型的にはディジタルカウンタによってディジタル値に変換される。記憶ユニットには、ピクセルごとに１つのメモリセルが含まれている。記憶ユニットには生成されたグレー値画像が格納され、変化があったときに連続的に整合され、それらの変化はピクセルによって自律的かつ非同期に著しく高い時間分解能で検出され測定されて送信される。実際のグレー値画像を、連続的な画像記録プロセスと並行してデータ検出器から画像メモリへ読み出すことができる。

画像素子のデータは、非同期バスアービタ５，６およびパラレルデータバス７，８を介して後処理ユニットへ伝送され、このユニットにおいて個々のデータパケット（アドレスイベント）にタイムシグネーチャ time signatureが設けられる。トランジェントデタクタと露光測定部分のために、有利には別個のバスアービタ５，６とデータバス７，８を実現することができる。リクエスト信号（Req）とアクノーレッジ（Ack）信号によって、画像センサと後処理ユニットとの間における非同期の「ハンドシェーキング」プロトコルが実現される。

択一的に、イベントに対しタイムスタンプをすでにセンサにおいて割り当てることができ、データを同期バスアービタを介して伝達することができる。

次に、本発明による画像素子と画像センサの機能について説明する。ピクセルのトランジェントデテクタ１は、設定可能な閾値を上回っている相対的な輝度変化を検出し、「アドレスイベント address event」を生成する。つまりこの時点でピクセルはそのアドレス典型的には画像センサの矩形のピクセルフィールドにおけるＸ，Ｙアドレスを、後処理装置へ自動的に伝達する。同時に１つの露光測定サイクル（積分）が露光測定部においてスタートし、これは「リセットスイッチ」（フォトデテクタ回路２におけるトランジスタＲｓｔ）が開かれることによってスタートする。フォトデテクタ回路２のコンデンサにおいて積分されたフォト電圧が設定可能な閾値Ｖｒｅｆに達したこと（これは閾値判定器３により検出される）によって表される積分の終了後、さらに別の「アドレスイベント」が生成され、記憶装置／後処理装置へ非同期で伝送される。両方の「イベント」はピクセルアドレスを有しているが、識別ビットによって区別することができる。（有利には）２つのパラレルバスアービタを使用すれば、このような区別は不要である。積分時間はフォトダイオード２ａを流れる電流に間接的に比例しており、したがってピクセルの露光に比例している。積分は設定可能な閾値に到達すると終了するので、双方の「アドレスイベント」間の時間差によってピクセルの露光が符号化される。

露光測定部における非同期制御は通常動作中、論理回路４によって、トランジェントデテクタ１の「ハンドシェーク」信号Ａｃｋ＿Ｔと露光測定部の「ハンドシェーク」信号Ａｃｋ＿Ｂと閾値判定器３の出力信号によって行われる。

したがって両方のイベントタイプはイベント制御もしくはデータ制御でトリガされ、非同期バスアービタ５，６を介してディジタル後処理装置へ伝送される。相関（すなわち関連する「アドレスイベント」の識別）とＴＤＣ変換（時間／ディジタル変換time-to-digital conversion）は、設定可能な分解能によりディジタル後処理装置において行われる。２つの別個のアービタを使用することにより、イベントコリジョンにより引き起こされる非均一的なアービタレイテンシおよびその結果として生じる妨害が低減される。

閾値判定器３として、設定可能な電圧閾値を有する電圧比較器が用いられ、この場合、比較電圧は比較器の外部または内部で生成される。露光をトリガするイベント（これはたとえばトランジェントデテクタにより検出される）の時点と、閾値Ｖ_refに到達する時点との間の時間差ｔ_intは、ピクセルエレメントの露光に対する尺度である。ここで積分時間は、フォトデテクタ回路２における積分キャパシタの大きさと、フォトダイオード２ａにより引き起こされるフォト電流Ｉ_phと、積分開始時点での積分キャパシタＣ_intにおける電圧値Ｖ_startに依存する：

電圧値Ｖ_startおよびＶ_refの時間的にランダムな偏移（電圧ノイズ）あるいは種々の画像素子におけるこれらの電圧の相違（"Fixed-Pattern-Noise"）によって、画像素子が同じように露光されてもそれぞれ異なる積分時間が生じる可能性がある。種々の画像素子において比較器の「オフセット」電圧がそれぞれ異なることに起因して、比較器による比較電圧Ｖ_refの検出が不精確になることにより、さらに付加的なエラーが発生する可能性もある。積分キャパシタにおける２つの異なる電圧値Ｖ_refHとＶ_refLに到達する時点の時間差を求めることにより、このようなスタティックおよびダイナミックな画像ノイズに関して画像信号品質を著しく改善することができる。したがって積分時間は以下のとおりとなる：

このようにスタート電圧のスタティックまたはダイナミックな偏移は積分時間に作用を及ぼさない。同様に、オフセット変動により引き起こされるエラーも効果的に抑圧される。

本発明の有利な実施形態によれば、画像素子の閾値判定器３に積分開始時に供給されている設定可能な上方の閾値Ｖ_refHに達したときに、画像素子のアドレスがその時点において非同期にイベント制御で後続処理装置へ伝達される。これと同時に、対応する画像素子の比較器における比較電圧が、スイッチ１３の切り替えにより低い方の電圧Ｖ_refLへ切り替えられる。画像素子のアドレスは、積分キャパシタンスにおいてこの電圧に達したときにこの時点で新たに非同期にイベント制御されて後続処理装置へ伝達され、比較電圧Ｖ_refHに達した時点と比較電圧Ｖ_refLに達した時点との時間差が、画像素子の露光に対する尺度として利用される。

有利な閾値判定器（電圧比較器）として、電流低減負荷を備えた反転増幅器（Ｍ６およびＭ７）が後段に接続された差動増幅器（Ｍ１〜Ｍ５）を使用することができ（２段演算増幅器、図７）、この場合、フォトデテクタ回路２の積分キャパシタにおける電圧は比較器の負（−）の入力側へ供給され、比較電圧は比較器の正（＋）の入力側へ供給される。負の入力側における電圧が正の入力側における電圧よりも小さければ、比較器の出力電圧はほぼ動作電圧となり、そうでなければ０Ｖとなる。すでに知られている２段演算増幅器がここで説明する適用事例のためにトランジスタＭ８によって拡張され（図７参照）、これによってフォトデタクタ回路２の積分キャパシタにおける電圧が０Ｖ以下であることによって表される回路の静止状態において、電圧比較器におけるスタティックな電流をほぼゼロまで低減することができる。差動増幅器において、これは回路の静止状態に固有に生じるものである。それというのもこの場合、電流はトランジスタＭ５によって遮断されるからである。その際、差動増幅器の出力側における電圧Ｖ_outdiffは０Ｖになり、その結果、トランジスタＭ８を使用しなければ増幅器の２番目の回路段において、電流低減負荷を備えたトランジスタＭ６と供給される電圧Ｖ_biasとにより定まるスタティックな電流の流れが生じてしまうからである。０Ｖよりも大きいゲート・ソース電圧を必要とする導電性を有するトランジスタＭ８を加えることによって、回路のその他の機能に影響を与えることなく、差動増幅器の出力電圧が０ＶのときにノードＶ_outとトランジスタＭ６との間に流れる電流を遮断することができる。

本発明の有利な実施形態によれば、比較器の出力信号を適切なやり方で画像素子自体において、非同期の通信のために変換する必要がある。さらに、２つの異なる比較器電圧間の積分時間を評価する実施形態を実現する場合、比較器の基準電圧の切り替えをやはり各画像素子において別個に行う必要がある。これら両方のことは論理回路４によって実現される。

次に、２つの異なる比較器電圧間の積分時間を評価する実施形態を実現するための論理回路４について可能な機能的構造を説明する。この場合、一方の比較器閾値のみに到達するまでの積分時間の評価は特別なケースであり、これは固有に実装されている。

図６には、１つの露光サイクルに関連する信号の時間経過特性が原理的に示されている。フォトデテクタ２の積分キャパシタにおける電圧のリセットと同時に論理回路４が初期化され、キャパシタに上方の基準電圧ＶrefHを加えるためのスイッチ１３に対する相応のスイッチング信号Ｒｅｆｓｅｌが発せられる。画像素子の積分キャパシタにおける電圧Ｖ_refHに到達すると（これはキャパシタの出力信号Ｋにより検出される）、信号Ｒｅｑ＿Ｂ［Ｈ］がアクティブにされ、これは信号伝送が行われた後、アクノーレッジ信号Ａｃｋ＿Ｂ［Ｈ］によりリセットされる。これに伴い比較器における基準電圧が下方の基準電圧Ｖ_refLに切り替えられ、これにより信号Ｒｅｆｓｅｌの変化が要求される。信号Ｒｅｆｓｅｌの切り替えは、Ｒｅｑ＿Ｂ［Ｈ］をアクティブにするのと同時に行うことができ、あるいは実装されているように、アクノーレッジ信号Ａｃｋ＿Ｂ［Ｈ］によってトリガすることができる。画像素子の積分キャパシタにおける電圧Ｖ_refLに到達すると（これは比較器の出力信号Ｋにより検出される）、リクエスト信号が新たにアクティブにされる。この目的でやはり信号Ｒｅｑ＿Ｂ［Ｈ］を使用することができ、あるいは実装されているように、別個の信号Ｒｅｑ＿Ｂ［Ｌ］を使用することができる。信号伝送が行われた後、Ｒｅｑ＿Ｂ［Ｌ］はアクノーレッジ信号Ａｃｋ＿Ｂ［Ｌ］によってリセットされる。これによって画像記録プロセスが終了する。

画像素子における積分キャパシタのリセットと上方の基準電圧との間の積分時間を評価する場合には、下方の基準電圧が上方の基準電圧よりも高い値にセットされ、このことによりいずれにせよ評価する必要のない第２のリクエスト信号の発生が阻止される。

図５には、本発明による有利な実施形態による論理回路４の実現可能な構成がゲートレベルで示されている。ここでは組み合わせ素子のほかに２つの１ビットメモリが使用され、これによって画像素子の３つの内部状態（積分：積分キャパシタにおける上方の基準電圧にはまだ到達していない、積分：積分キャパシタの電圧は上方の基準電圧よりも低く下方の基準電圧よりも高い、画像記録なし）を、画像素子において効果的に符号化することができる。メモリの状態は信号ＭＥＭ２およびＭＥＭ１によって表される。図示されている実現形態ではＲｓｔ信号ならびにＲｅｑ＿Ｂ［Ｈ／Ｌ］信号は、必須ではないが「ロー（low）」でアクティブとなる。

各ピクセルは自律的に自身の露光時間を制御するので、結像可能な照射強度に関して著しく広いダイナミックレンジを達成することができ、高いグレー値分解能を達成可能である。達成可能な分解能はＳＮ比もしくはダイナミックレンジに依存し、したがって信号変位ひいては積分時間ないしは最小フォト電流ならびに設定された閾値に左右されるので、（オーバレイされた同期ビデオモードにおける）画像更新レートの上昇とともにダイナミックレンジしたがってグレー値分解能が低減され、これとは逆に画像更新レートの低減とともにダイナミックレンジしたがってグレー値分解能が上昇する。閾値の整合により、画像更新レートを望ましいグレー値分解能に依存して調節することができる。

データレートはたとえば図１に対応するような単純なトランジェントセンサよりもファクタ２だけ高められるが、これに加えて既述の画像センサは高い品質と著しく高い時間分解能のグレー値画像を供給する。この場合、８ｂｉｔのグレー値分解能であれば時間分解能はサブミリ秒の領域（毎秒複数キロフレームの画像センサと同等）で実現されることになると推定される。その際に生じるデータレートはシーンの出来事に左右され、トランジェントセンサを用いた経験によれば、毎秒数１０イベント〜数１００キロイベントの範囲で運動する（たとえば１２８ｘ１２８ピクセルセンサであればイベントあたり１６ｂｉｔ）。メモリに格納されている目下のグレー値画像を、適用事例に応じて著しく高い画像繰り返しレートで読み出すことができる。集積されたＣＭＯＳである「システム・オン・チップ」"System-on-Chip"の場合、画像メモリ、相関ロジックおよびＴＤＣ変換を、センサと同じシリコン基板においてダイレクトに実現することができる。

露光情報を可変の期間に変換する代わりに択一的に、慣用のＣＭＯＳＡＰＳ画像センサのように定められた期間にわたり積分（測定）を行うことができ、結果として得られた電圧値を１つ（または複数の）アナログ／ディジタル変換器１０によって変換して出力させることができる。図３には、本発明による画像素子のこの種の実施形態に関する回路が例示されている。

露光サイクルは、図２の実施形態の場合のように非同期でイベント制御されてトランジェントデテクタ１によりトリガされる。トランジェントデテクタ１の非同期の「ハンドシェーク」信号Ａｃｋ＿Ｔによって、（論理回路４による露光測定部）のリセット信号Ｒｓｔとマルチプレクサ／サンプル＆ホールド回路９ならびにアナログ／ディジタル変換器１０が制御される。非同期のバスアービタ５によりピクセルフィールドにおけるピクセルのアドレッシングが制御される。

次に、この別の実施形態の動作について説明する。ピクセルのトランジェントデテクタ１は、設定可能な閾値を上回っている相対的な輝度変化を検出し、「アドレスイベント」"address event"を生成し、同時にこれによってフォトデテクタ部２における露光サイクル（積分）がスタートする。外部の制御信号（サンプル＆コンバート）により規定されている積分終了後、露光測定部２の出力電圧がサンプル＆ホールド回路９により捕捉され、アナログ／ディジタル変換器１０により変換される。アナログ／ディジタル変換器１０のグレー値データは、別個のデータバス１１を介して後処理／記憶装置へ送られる。積分時間は後処理装置により外部から制御される（サンプル＆コンバート）。トランジェントデテクタの「アドレスイベント」は、非同期バスアービタ５およびデータバス７を介して後処理装置へ伝送される。

これまで述べてきた画像素子およびそれによって構成された画像センサによって所定の時間後に初めて、画像素子すべてに対するグレー値を有する１つの完全な画像が供給される。その結果、自身の視野において変化を検出していないピクセルは「イベント」を生成せず、したがって画像測定も実行しない。時間情報から画像グレー値への最適な変換に対するパラメータを設定するためには、シーン全体の輝度情報を取得する必要がある。このため、任意の時点において１つの画像全体（参照フレームないしは基準フレームReferenz-Frame）を捕捉できるようにするのが有利である。ＴＤＣ変換に必要とされるデータ（「オフセット」、「レンジ」）を、フレームの時間値から簡単なやり方で抽出することができる。さらにこの動作は、変化のない背景をもつシーンであれば完全な画像を迅速に取得する目的で好適である。

基本的に、参照フレームを記録するために複数のやり方が可能である。もっとも簡単なケースによれば、ピクセルフィールド全体が外部から励起され、それによってすべてのピクセルにおける積分が同時に開始される。最も強い照射強度を認識したピクセルは最初のイベントとして送信を行い、残りのピクセルがそれらの露光の順序で続く（"Time-to-first-Spike"コンセプト）。このコンセプトについてはたとえば、Chen S.; Bermak, Aによる"A low power CMOS imager based on time-to-first-spike encoding and fair AER," Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium, p.5306- 5309 Vol. 5, 23-26 May 2005, Chen S.; Bermak, Aによる"A Second Generation Time-to-First-Spike Pixel with Asynchronous SeIf Power-off," Circuits and Systems, 2006. ISCAS 2006. Proceedings. 2006 IEEE International Symposium p.2289- 2292, 21-24 May 2006, Qiang Luo; Harris, J.G.による"A time-based CMOS image sensor," Circuits and Systems, 2004. ISCAS '04. Proceedings of the 2004 International Symposium, vol.4, IV-840-3 Vol.4, 23-26 May 2004, Q. Luo, J.G. Harrisによる"A Time-Based CMOS Image Sensor", IEEE International Symposium on Circuits And Systems ISCAS04, 2004, Xin Qi; Xiaochuan Guo; Harris, J.Gによる"A time-to-first spike CMOS imager," Circuits and Systems, 2004. ISCAS '04. Proceedings of the 2004 International Symposium, vol.4, IV824-7 Vol.4, 23-26 May 2004あるいは US 6,660,989に記載されている。

画一的なシーンまたはシーン領域の場合、多数のピクセルが同時に閾値に到達し、対応する「アドレスイベント」を送出する。その結果、バスアービタのところでデータコリジョンが起こり、さらにこれによって種々のアービタレイテンシが発生し、外部からの励起の時点と対応する露光測定「イベント」との時間差においてエラーが生じる。その結果として生じるのが結合エラーである。

このような既知の欠点を回避する目的で、もしくはそれらを低減する目的で本発明によれば、フォトダイオードおよび並列に接続されたキャパシタの積分過程スタート（以下では「リセット」と称する）のための様々な可能性が実装される（図４参照）。リセット発生は回路技術的にはリセット回路において実現され、これは図８に示されている。

本発明の重要な特徴は既述のとおり、通常動作中、画像素子における露光測定の開始が同じ画像素子におけるトランジェントデテクタのイベントによりトリガされることである。

さらに本発明の重要な特徴は、リセット回路１４が行列ごとにのみ実装されていることであり、これによりピクセルごとの実装とは異なり複雑さないしはコストと面積が著しく低減されることになる。リセット回路１４は有利には行と列とで同一であり、それぞれトランジェントデテクタ１をリセットするためのリセット信号Ｒｓｔ＿Ｔ（０〜Ｚ）と、個々の行もしくは列の露光測定部１２をリセットするためのリセット信号Ｒｓｔ＿Ｂ（０〜Ｚ）を発生する。この場合、１つの特定のピクセルのリセットは、そのピクセル自体における個々の行と列のＲｓｔ＿Ｔ信号もしくはＲｓｔ＿Ｂの論理結合により行われる。選択的に、リセット回路をじかに各ピクセルにおいて実現することもできる。

さらに本発明の重要な特徴は、リセットが選択されたピクセルに制限されることである。その際、この選択はＲＯＩ信号により行われ、この信号によってたとえばロード機能を備えたシフトレジスタチェーンが制御される。シリアルでクロック制御されるデータによって、特定の行もしくは列がアクティブ状態ないしは非アクティブ状態にされる。特定の行と列の組み合わせから、センサにおける特定のピクセルがアクティブ状態もしくは非アクティブ状態にされる。この実施形態によれば任意の領域を選択することができ、この場合、１つの領域内で特定のパターンを実現することができる（たとえばピクセルを１つおきにしかアクティブ状態にしない等）。適切な拡張もしくは整合を行うことにより、それ以外のパターンも想定できる。以下ではこのパターンをＲＯＩ（Region of Interest関心領域）と称する。選択的に、ＲＯＩにより選択されたパターンを反転させ、領域を非アクティブ状態にしてＲＯＮＩ（Region of Non-Interest非関心領域）を実現することができる。

本発明のさらに別の重要な特徴は、上述のパターンを選択的にトランジェントデテクタ１のリセットのために、および／または露光測定部１２のリセットのために利用できることである。このようにすることによって、以下で説明するリセットモード信号ＲｓｔＭｏｄｅとの組み合わせで、多種多様な適用事例に用いることのできる数多くの可能性が得られるようになる。

個々のリセットモードの選択は、１つまたは複数の制御信号ＲｓｔＭｏｄｅにより実行される。以下では、種々のリセットモードもしくは動作モードについて言及する：
通常動作モード
通常動作モード中、ピクセルの露光測定のリセットは同じピクセルにおけるトランジェントデテクタ１によってトリガされる。いっそう効率的な、すなわちいっそう小さい実現形態を達成する目的で、既述のように行ごとおよび列ごとに生成されるリセット信号の結合を介した「迂回」が選択される。選択的に、トランジェントデテクタ１のイベントが発生した後の露光測定リセットのトリガをランダムに遅延させることができ、これによって多数のトランジェントデテクタが同時にイベントを発生させたときにバスアービタにおけるデータコリジョンを回避することができる。本発明によれば有利には、露光測定のリセットは同じピクセルの行もしくは列におけるトランジェントデテクタ１のアクノーレッジ信号Ａｃｋ＿Ｔによりトリガされ、これはアービタ＿Ｔ５により生成される。これによってデータコリジョンがすでにアービタ＿Ｔ５により捕捉される。ただし、これとは別のストラテジも可能である。

自律モード
自律モードの場合、露光測定はトランジェントデテクタ１とは無関係に動作し、たとえば参照フレームの取得などのために、あとで述べるようにグローバルなリセットによって露光測定をアクティブにすることができる。

シーケンシャルモード
シーケンシャルモードを使用する目的は、自律モードにおいてたとえば画一的なシーン（領域）において発生する可能性のあるアービタコリジョンを低減し、それにもかかわらず比較的高速に、捕捉されたシーンの完全な画像を得るためである。シーケンシャルモードの場合、あるピクセルにおける露光測定のリセットは、先行する列のピクセルにおける露光測定の終了によってトリガされる。これはアービタ＿Ｂ６のＡｃｋ＿Ｂ（Ｎ−１）信号の使用により達成される。つまり後続の列におけるピクセルの露光測定の開始は、シーンの変化には依存しない。あとで説明するように、たとえばピクセルフィールドの第１の列全体の露光測定が手動で励起されると、それによってすべての行における露光測定のシーケンシャルなトリガが引き起こされ、その際、個々の行におけるピクセルの露光測定が互いに無関係にトリガされ、これは先行する列におけるピクセルの露光測定にのみ依存している。先行のピクセルにおける露光測定の終了をシグナリングするＡｃｋ＿Ｂ（Ｎ−１）を使用することにより遅延は先行のピクセルの露光に依存することになり、このことから非画一的な遅延が発生し、したがって均等なアービタ負荷が生じることになる。オプションとして可能であるのは、あるピクセルの露光測定の開始を、先行のピクセルの露光測定開始とともに調節可能な所定の遅延時間後にトリガすることである。行と列を入れ替えても内容的には同じ結果が得られる。

ランダムモード
ランダムモードの場合、以下の作用が利用される。すなわち、それ相応に仕様選定されたコンポーネントあるいは構造をチップ上にいくつも同じように実装させた場合、製造プロセスにおける公差によって定まるパラメータたとえば電流または電圧は、種々の実装においてスタティックなばらつきを有する。本発明の有利な実施形態によれば、Ｃ１，Ｃ２と増幅器Ａ２の入力側とのノード点において種々のピクセル間でばらつきのある電流を形成する目的で、小さいサイズに選定されたトランジェントデテクタ１の「リセット」スイッチ（トランジスタ）における漏れ電流のばらつきが利用される。この場合、リセットトランジスタの漏れ電流のサイズは、そのバルク電位の作用を受ける可能性がある。この電流によりトランジェントデテクタのイベントが生成され、それらのイベントの発生はピクセルごとにランダムであり、それらのレートをバルク電位によって制御することができる。トランジェントデテクタのイベントによって、やはり通常動作モード中のように露光測定がトリガされる。したがって捕捉されたシーンにおける個々の画素は設定可能なレートでランダムに更新される。

上述の動作モードの選択に依存することなく、特定のピクセル（ＲＯＩ）の選択のために露光測定をトリガすることができ、ないしは特定のピクセル（ＲＯＮＩ）を非アクティブ状態にすることができる。これによって以下の可能性が得られる：
露光測定のグローバルなリセット：ＲＯＩにより選択されたピクセルの場合、露光測定はＧｌｏｂａｌＲｓｔ信号（グローバルリセット信号）におけるパルスによって同時に開始される。これによってＲＯＩ全体に関してきわめて高速に画像が供給されるが、アービタにおいてデータコリジョンが発生する可能性がある。

本発明の重要な特徴によれば、捕捉された画像またはその一部を要求に応じて更新する目的で、通常動作モード中にグローバルリセットを使用することができる。

シーケンシャルモード中、たとえば第１の行のグローバルリセットのトリガにより、シーン全体のシーケンシャルな捕捉が既述のようにして開始される。

トランジェントデテクタの非アクティブ状態への移行：ＲＯＩにより選択されたピクセルのトランジェントデテクタは、ＴｒａｎｓＲｓｔ信号をアクティブにすることにより持続リセットに保持される。これによって、選択されたトランジェントデテクタはもはやイベントを供給しなくなる。通常動作モード中の露光測定はトランジェントデテクタによりトリガされるので、捕捉された画像領域をこのようにして制限することができ、ないしはセンサの一部分を非アクティブ状態にすることができる。これによりたとえば行センサモードないしはラインセンサモードが可能となる。

Claims

画像素子により電子形式でシーンのイメージを生成する方法において、
１つの自律的な画像素子における露光測定が、該画像素子により観察されるシーンセクションにおける輝度変化の自動的な非同期の検出イベントを介して、同じ画像素子の一部分によって励起され、
前記露光測定の結果が画像素子のアドレスとともに記憶装置および／または後続処理装置へ非同期で伝達されることを特徴とする方法。
前記露光測定の終了は、画像素子において露光に依存する物理的な量が設定可能な閾値に達することにより決定され、該時点において画像素子のアドレスが後続処理装置へ伝達され、前記露光測定をトリガするイベントの時点と前記閾値への到達時点との時間差が、画像素子の露光に対する尺度として用いられる、請求項１記載の方法。
積分開始時点に第１の電圧値に達した後、前記画像素子のアドレスが伝達され、同じ画像素子において第２の電圧値に達すると、該画像素子のアドレスが新たに伝達され、前記双方の異なる電圧値に到達した時点の時間差が、前記画像素子の露光に対する尺度として用いられる、請求項１記載の方法。
輝度変化の検出と露光測定に関する情報がパラレルに互いに無関係に伝達される、請求項１から３のいずれか１項記載の方法。
画像素子における露光測定は該画像素子における輝度変化により開始され、該輝度変化の発生は後続処理装置への画像素子のアドレス伝達により付加的にシグナリングされる、請求項１から４のいずれか１項記載の方法。
画像素子に生じた電圧値が所定の期間にわたる積分後に求められ、画像素子露光に対する尺度として使用され、後続処理装置へ伝達される、請求項１記載の方法。
画像素子のグループに対する露光測定の開始は共通に許可または阻止される、請求項１から６のいずれか１項記載の方法。
画像素子のグループに対する輝度変化の検出は共通に許可または阻止される、請求項１から7のいずれか１項記載の方法。
少なくとも１つの画像素子における参照露光測定は、少なくとも１つの任意の時点で外部から開始される、請求項１から8のいずれか１項記載の方法。
画像素子のランダム励起およびこれに伴う露光測定の開始が行われる、請求項９記載の方法。
複数の画像素子における複数の行有利にはすべての平行な行における露光測定が、該行の最初の画像素子においてそれぞれ実質的に同時に開始され、１つの画像素子における露光測定の積分が終了すると、同じ行のそれぞれ次の画像素子において露光測定が開始される、請求項９記載の方法。
任意に設定可能なパターン有利には関連する領域に従って配置されている画像素子において実質的に同時に露光測定が開始される、請求項９記載の方法。
参照露光測定は、画像センサの画像素子による輝度変化の検出と同時に、および該検出には依存せずに行われる、請求項９から１２のいずれか１項記載の方法。
画像素子に対する露光測定の外部からの開始が、該画像素子を含む列と行全体をそれぞれアクティブにし、該アクティブを行う信号のＡＮＤ結合により行われる、請求項１から１３のいずれか１項記載の方法。
画像を生成する画像センサのための画像素子において、
露光測定装置と、露光測定結果と画像素子アドレスを非同期でイベント制御により評価回路へ伝達する回路（４）と、前記評価回路と接続されている輝度変化検出回路（１）が設けられており、
前記輝度変化検出回路（１）は輝度変化を検出すると、前記露光測定装置（２，３）と、露光測定結果およびアドレスを非同期でイベント制御により伝達する前記回路（４）を始動させる信号を送出することを特徴とする、
画像を生成するための画像センサのための画像素子。
前記輝度変化検出回路（１）から前記露光測定装置（２，３）および露光測定結果と画像素子アドレスを非同期でイベント制御により伝達する前記回路（４）への信号ラインは分離可能であり、前記露光測定装置（２，３）と前記非同期でイベント制御により伝達する回路（４）を始動させる外部の制御ラインが設けられている、請求項１５記載の画像素子。
前記露光測定装置（２，３）は閾値判定器（３）を備えた積分回路を有しており、該露光測定装置（２，３）は、露光測定結果および画像素子アドレスを非同期でイベント制御により伝達する回路（４）とともに１つの回路（１２）にまとめられている、請求項１５または１６記載の画像素子。
閾値判定器（３）として2段型の演算増幅器が用いられ、付加的なトランジスタ（Ｍ８）により回路の静止状態において、スタティックな電流つまりは前記閾値判定器における電力消費がほぼゼロまで低減される、請求項１７記載の画像素子。
前記閾値判定器（３）のための比較電圧を積分過程中、設定可能な２つの別個の値の間で切り替え可能であり、それぞれ供給すべき比較電圧の選択および切替時点の決定は、露光測定結果と画像素子アドレスを非同期でイベント制御により伝達する回路（４）により自動的に画像素子において行われる、請求項１７または１８記載の画像素子。
互いに独立した２つのパラレルなバスアービタ（５，６）が設けられており、該２つのアービタを介して互いに別個に、前記輝度変化検出回路（１）と前記露光測定回路（１２）が前記評価回路と接続されている、請求項１５から１９のいずれか1項記載の画像素子。
前記露光測定回路（２）は、設定可能な積分時間をもつ積分回路を有しており、結果として生じた電圧値のためのアナログ／ディジタル変換器（１０）と接続されている、請求項１５から２０のいずれか1項記載の画像素子。
前記アナログ／ディジタル変換器（１０）は、輝度変化の検出の伝送とは別個のデータバス（１１）を介して前記評価回路と接続されている、請求項２１記載の画像素子。
前記輝度変化検出回路（１）は、信号を前処理し有利にはアドレスイベントプロトコルにより非同期伝送を行うアナログ回路を備えたトランジェントデテクタを有している、請求項１５から２２のいずれか１項記載の画像素子。
複数の画像素子を備え電子形式で画像を生成する画像センサにおいて、
前記画像素子は請求項１５から２３のいずれか１項記載の画像素子に従って構成されていることを特徴とする画像センサ。
露光測定のために前記画像素子を強制的に励起する励起回路（１４）が設けられている、請求項２４記載の画像センサ。
前記画像素子は行形式で配置されており、前記励起回路（１４）は各行におけるそれぞれ第１の画像素子を実質的に同時に強制的に励起し、各画像素子における露光測定の終了を伝達し、同じ行におけるそれぞれ次の画像素子を強制的に励起する、請求項２４または２５記載の画像センサ。
輝度変化検出回路における漏れ電流を調節する回路が設けられている、請求項２４、２５または２６記載の画像センサ。
複数の画像素子から成るグループのための露光測定回路（１２）を実質的に同時に強制的に励起するための回路が設けられており、前記複数の画像素子から成るグループはまえもって設定可能な任意のパターン有利には関連する領域に従い配置されている、請求項２４から２７のいずれか１項記載の画像センサ。
複数の画像素子から成る行全体または列全体に対する露光測定回路（１２）のためにそれぞれ１つのリセット論理回路が設けられており、前記画像素子自体において２つのリセット論理回路の信号のＡＮＤ論理結合が行われる、請求項２４から２８のいずれか１項記載の画像センサ。
それぞれ少なくとも１つの行および／または少なくとも１つの列に対し、該行および／または列の露光測定回路（１２）のアクティブ状態または非アクティブ状態への移行が、ロード機能を有する書き込みレジスタチェーンを介して共通に行われる、請求項２４から２９のいずれか１項記載の画像センサ。
それぞれ少なくとも１つの行および／または少なくとも１つの列に対し、該行および／または列の輝度変化検出回路（１）および画像素子アドレスを非同期でイベント制御により評価回路へ伝達する回路のアクティブ状態または非アクティブ状態への移行が、ロード機能を有する書き込みレジスタチェーンを介して共通に行われる、請求項２４から３０のいずれか１項記載の画像センサ。