JP2023532255A - デジタルピクセル記憶および同期されたサンプリングを用いたデルタ画像センサ - Google Patents

デジタルピクセル記憶および同期されたサンプリングを用いたデルタ画像センサ Download PDF

Info

Publication number
JP2023532255A
JP2023532255A JP2022579867A JP2022579867A JP2023532255A JP 2023532255 A JP2023532255 A JP 2023532255A JP 2022579867 A JP2022579867 A JP 2022579867A JP 2022579867 A JP2022579867 A JP 2022579867A JP 2023532255 A JP2023532255 A JP 2023532255A
Authority
JP
Japan
Prior art keywords
circuit
digital
output
image sensor
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022579867A
Other languages
English (en)
Inventor
ヂャー,インユン
ボシュトック,ロガー・マルク
ダン,ジエン
ゾウ,ユィ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpsentek GmbH
Beijing Ruisizhixin Technology Co Ltd
Original Assignee
Alpsentek GmbH
Beijing Ruisizhixin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpsentek GmbH, Beijing Ruisizhixin Technology Co Ltd filed Critical Alpsentek GmbH
Publication of JP2023532255A publication Critical patent/JP2023532255A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/02Comparing digital values
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/571Control of the dynamic range involving a non-linear response
    • H04N25/573Control of the dynamic range involving a non-linear response the logarithmic type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本発明は、ピクセルの配列と、少なくとも1つのピクセルに対応し、集積回路の一部として形成される複数の取得回路とを備えるデルタ画像センサに関する。各取得回路は、少なくとも1つのピクセルのフォトセンサを照明する光信号に応じて、センサ信号(VSIG)を生成するように構成されたフォトセンサを備える少なくとも1つのセンサ回路と、現在のVSIGをデジタル信号に変換するように構成された、少なくとも1つの、好ましいシングルスロープアナログ/デジタル変換(A/D)回路と、以前のVSIGに対応する少なくとも1つのデジタル信号の表現を記憶するように構成された少なくとも1つのデジタル記憶回路と、記憶された表現のレベルを現在のVSIGと比較して、変更されたレベルが存在するかどうかを検出するように構成された少なくとも1つのデジタル比較回路と、変更されたレベルの条件下でイベント出力を生成するように構成された少なくとも1つのデジタル出力回路とを備える。アナログ/デジタル変換のリピートレートは、フォトセンサを照明する光信号の光源変調に一致する1つまたは複数のリピートレートから選択される。

Description

本発明は、複数のピクセル回路を備えた画像センサ、より詳細には、デジタルピクセル記憶および同期されたサンプリングを用いたデルタ画像センサに関する。
ピクセルごとに、またはピクセルの小さなサブセットごとに1つのADCを有する画像センサがよく知られている。これらは、通常、大きな処理がピクセルにおいて実行される用途(例えば、X線粒子軌道トレースまたは衛星撮像)において用いられる。
各ピクセルが比較器を含むシングルスロープADCを有する画像センサが知られている。例えば、Reckleben他、2015、Suarez他、2010およびChi他、2010である。特に、Suarez他は、ピクセル配列について大域的にアナログスロープおよびデジタルコードを生成し、デジタルコードをピクセルに提供する。
以前の照明レベルの表現がピクセルにデジタルで記憶され、サンプル間でイベント変更データを生成するために比較される画像センサがWO2014/174498A1から知られている一方で、Itoh他「4-Layer 3-D IC with a function of parallel signal processing」Microelectronic engineering、15巻、1~4号、1991、187~190頁は、固定レベルに対する単純なシングルビットピクセル比較を用いた概念的に関連する構造を以前に提案している。
アナログ領域における画像ピクセルレベル変化の検出、記憶および比較を用いたイベント生成を用いる画像センサ、例えば、Chi他「CMOS Camera With In-Pixel Temporal Change Detection and ADC」IEEE Journal of Solid-State Circuits、42巻、10号、2007、2187~2196頁が知られている。アナログ領域における比較および記憶により、デジタル手法を上回る利点(例えば、コンパクトな実現)および欠点(例えば、「ホットピクセル」を含む漸進的な記憶劣化、不一致に対する感度、光対電気変換機能の低減された柔軟性)がもたらされる。
ピクセル間で回路部を共有する画像センサがよく知られている。例えば、KR2020-0029328Aである。
ストロボ効果の使用は、外乱(望ましくない信号)の期間にわたって平均または同期することによる高調波の抑制と共に一般的に知られている。例えば、米国特許出願公開第2015/358570号である。ここで、可変光源を検出し、これに同期し、次に光源に対する応答を抑制するための技法がカメラに適用されている。
Gallego他「Event-based Vision: A Survey」IEEE Transactions on Pattern Analysis and Machine Intelligence、2020、arXiv:1904.08405v3は、イベントデータに対するタイムスタンプの追加を用いた、立体ビジョンを目的とした複数のイベントカメラからの情報の同期を開示している。ここで、タイムスタンプ基準は外部の時間基準によって提供される。
米国特許出願公開第2015/0035949号は、ターゲット画像における光源の変調に基づいた複数のカメラ間の同期の使用を開示している。
WO2020/080383A1は、隣接ピクセルのイベントステータス(単一ビット)に基づいて、1つのピクセルからのイベントを無視するためのフィルタを用いたイベントベースの動的ビジョンセンサを開示している。
T. Delbruck「Frame-free dynamic desital vision」Proceedings of the International Conference on Secure Life Electronics、Advanced Electronics for Quality Life and Society、2008、21~26頁は、ピクセルの最後のイベントのタイムスタンプ、または隣接ピクセルのタイムスタンプに基づいて動的ビジョンセンサからのイベントをフィルタリングすることを開示している。この処理は、計算集約的な方式で(32ビットタイムスタンプ)、ピクセルアレイの外側で、後続のフィルタリングのためにアレイからイベントを送信することを必要として行われる。
EP3 313 064 A1は、アナログ記憶動的ビジョンセンサを開示している。ここで、1つの比較器入力は、ピクセル照明の以前の値の表現であり、これは後に比較のために用いられる。これは、デジタルイベント出力が生成されるときに可能にされる(サンプリングされる)アナログ比較器の後続の関数を制御するための以前のレベルからのアナログフィードバックとみなすことができる。
EP2 933 995 A1は、しきい値未満の動作におけるトランジスタを用いた動的ビジョンセンサの標準的なアナログ記憶の実施における不良な不一致の課題に対処する。このトランジスタモードにおける動作は、限られた範囲にわたってのみ正しく機能するため、満足のいく動作を得るために、アレイ全体の取得回路のアナログ部分への大域アナログフィードバックを用いる。
ピクセル内の以前の照明強度の表現のデジタル記憶を有する改善されたピクセル回路を備えるデルタ回路センサが必要とされている場合がある。
そのような需要は、独立請求項の主題によって満たされる。有利な実施形態は、従属請求項において定義される。
本発明の実施形態の基礎をなす着想は、中でも以下の観測および認識に基づいているものとして解釈することができる。
CMOS(相補型金属酸化膜シリコン)画像センサは、特殊化されたプロセスで大量に最適化された製造工場プロセスにおいて製造される。CMOSデジタル論理デバイスは、大量の最適化された製造工場プロセスにおいて製造される。双方のプロセスの密度は、特に論理プロセスの密度を増大させている。密度の増大により、画像センサにおけるピクセル回路に関係するデジタル複雑度が増大することになる。
ピクセル回路における以前のレベルのデジタル記憶は、記憶の忠実性および記憶されたレベルの後続の処理において利点を有する。
レベルの局所的処理は、冗長データの伝播および処理が限られているため、電力および面積における効率性の利点を有する。
本発明は、デジタル変換および記憶が、ピクセル回路において、時間および場所にわたる差分の局所的評価、ならびにイベント情報の準備および伝播と組み合わされる構造および方法を開示する。
本発明は、独立請求項において定義される。従属請求項は、その好ましい実施形態を記載する。
本発明は、ピクセルの配列と、少なくとも1つのピクセルに対応し、集積回路の一部として形成される複数の取得回路とを備えるデルタ画像センサに関する。各取得回路は、少なくとも1つのピクセルのフォトセンサを照明する光信号に応じて、センサ信号(VSIG)を生成するように構成されたフォトセンサを備える少なくとも1つのセンサ回路と、現在のVSIGに対応するデジタル表現を生成するように構成された少なくとも1つのアナログ/デジタル(A/D)変換回路とを備える。好ましくは、A/D変換回路は、1つのシングルスロープアナログ/デジタル(A/D)変換回路である。少なくとも1つのデジタル記憶回路は、少なくとも1つの以前のVSIGの表現を記憶するように構成される。少なくとも1つのデジタル比較回路は、記憶された表現のレベルを現在のVSIGと比較して、変更されたレベルが存在するかどうかを検出するように構成される。少なくとも1つのデジタル出力回路は、変更されたレベルの条件下でイベント出力を生成するように構成される。アナログ/デジタル変換のリピートレートは、フォトセンサを照明する光信号の光源変調に一致する1つまたは複数のリピートレートから選択される。
様々な実施形態は、好ましくは、以下の特徴を実施することができる。
本発明の一態様によれば、アナログ/デジタル変換のリピートレートは、フィルタリング、好ましくは画像センサによって取得されるターゲット画像における光源に対する抑制、応答の向上および/または周波数変換機能のうちの1つを提供するための期間を有して選択される。
本発明の別の態様によれば、アナログ/デジタル変換のリピートレートは、外乱に対するイベント応答を抑制するかまたは最小限にするように選択される。
本発明の別の態様によれば、アナログ/デジタル変換のリピートレートは、画像センサによって取得されるターゲット画像における光源に応答してイベントを最大限にするように選択される。
本発明の別の態様によれば、アナログ/デジタル変換のリピートレートは、光源変調に関する情報を保持しながら、画像センサによって取得されるターゲット画像において変動する光源によって生成されるイベントの周波数を低減するように選択される。
本発明は、デジタルピクセル記憶および同期されたサンプリングを用いたデルタ画像センサを提供する。本発明は、特に、スモールピクセル構造において最適化された面積を可能にし、デジタルピクセル内変換および記憶の利点を用いて高分解能でコストが最適化された画像センサを生成する。
各取得回路は、集積回路または集積回路の一部として形成することができる。取得回路は、本明細書全体を通じてピクセル回路と呼ぶこともできる。少なくとも1つのセンサ回路は、センサ信号を連続的にまたは周期的に生成することができる。アナログ/デジタル変換回路は、現在のVSIGをデジタル信号に変換することができる。したがって、デジタル記憶回路は、以前のVSIGに対応する少なくとも1つのデジタル信号の表現を記憶するように構成することができる。現在のおよび以前のVSIGのデジタル表現は、少なくとも1つのデジタル比較回路によって比較することができる。以前のVSIG、またはVSIGのデジタル表現はそれぞれ、任意の以前のサンプル期間において生成され、デジタル記憶回路に記憶された信号に対応することができる。これは、外部から提供し、基準信号として記憶することもできる。また、デルタ画像センサからのイベント出力を出力するために、少なくとも1つのイベント出力ラインを回路に含めることができる。少なくとも1つのイベント出力ラインは、複数のデジタル出力回路によって共有することもできる。
好ましくは、各取得回路は、少なくとも2つのピクセル間で共有し、好ましくは、ピクセルが互いに隣接する。
好ましくは、センサ回路は、以下の関係性のうちの1つに基づいてVSIGを生成するように構成される。
a)光強度に対する線形依存性、
b)光強度に対する非線形の、好ましくは対数の依存性、および
c)光強度に対する非線形および線形依存性の組み合わせであり、
好ましくは、関係は制御信号に応答して変更可能である。
制御信号は、ピクセルのアレイおよび取得回路の外側から提供されもよい。アレイ全体について1つの制御信号が存在してもよく、またはよりターゲットを絞っていてもよい。
好ましくは、センサ回路は、動作中に制御信号に応答して、好ましくは時折、光強度に対するVSIGの依存性を変更するように構成され、および/またはセンサ回路は、少なくとも1つのピクセルまたはピクセルのサブセットについて個々に、動作中に制御信号に応答して光強度に対するVSIGの依存性を変更するように構成される。
時折の制御信号の変化は、大域光強度または動作モードの変化に起因する。時折の制御信号の変化を生成するための別個の回路が提供されてもよい。
画像センサは、好ましくは、以下の特徴を更に実施することができる。
a)アナログ/デジタル変換回路は、VSIGを、以下の掃引信号、すなわち、
aa)掃引アナログ入力信号、および
ab)連続掃引アナログ入力信号であって、ここで、掃引アナログ信号の各々が異なる差分関数を提供する、連続掃引アナログ入力信号、
のうちの1つと比較するように構成された比較器を備え、
好ましくは、入力信号は複数の変換回路に提供され、および/または、
b)アナログ/デジタル変換回路は、少なくとも1つのピクセルに、掃引アナログ信号に並列して少なくとも1つのデジタルコードを提供するように更に構成することができ、
ba)好ましくは、デジタルコードはグレーコード化デジタル信号であり、
bb)好ましくは、アナログ掃引信号とデジタルコードとの間の関係は、記憶ランプと比較ランプとの間で変更される。
さらに、
a)掃引信号は線形ランプとすることができるか、または
b)掃引信号は非線形ランプとすることができるか、または
c)掃引信号は動作中に変更することができ、および/または
d)掃引信号の期間は動作中に変更することができ、および/または
e)掃引信号のリピートは、動作中に短期間または長期間にわたって中断することができ、および/または
f)掃引信号のリピートレートは、好ましくはイベント出力を増大または抑制するように、フォトセンサを照明する光信号の光源変調に一致する1つまたは複数のリピートレートから選択することができる。
特に、上記の項目f)から、好ましくは、ターゲット、例えば所与の周波数を有する光源に対する応答を増大させるかもしくは抑制し、または所与の周波数を有する外乱に対する応答を抑制するために、フォトセンサを照明する光信号の光源変調に一致する1つまたは複数のリピートレートから掃引信号のリピートレートを選択することができる。
人工光源は、通常、主に幹線給電部の変動する電圧に基づいて、規則的に変動する強度を有する。例えば、「FFT Based Investigations on Light Flicker in New Lighting Systems」Ionescu、2016を参照されたい。この論文によれば、白熱灯の測定強度変動は14%であり、蛍光照明では8%であり、LED照明では9%であり(蛍光体を有する)、幹線給電部周波数に応じて、全ての事例において主成分が100Hz(または120Hz)である。蛍光照明ではより高い周波数、例えば100kHzに遭遇する場合があるが、一般的に、はるかに低い変調深度におけるものである。動的ビジョンセンサにおけるイベントを生成するための変更しきい値は、通常2%であり、応答周波数は、変調よりもはるかに高く(100Hzまたは120Hz)、このため、人工照明の変調は、画像全体にわたって多数の冗長なイベントを発生させる場合がある。
人工照明の変調は、標準撮影の既知の課題でもあるが、光変調よりも大幅に低速になるように露光時間を拡張することによって軽減することができる。この手法は、動的ビジョンセンサには適用可能でない。
一般に、ストロボ効果の使用、および外乱(望ましくない信号)の期間を平均するかまたはこれに同期することによる高調波の抑制がよく知られている。
本発明によれば、外乱(望ましくない信号)の期間を平均するかまたはこれに同期することによって高調波を抑制する技法が、好ましくは複数のピクセルにわたって大域的に、効率的な実施(スロープ生成のタイミング)で動的ビジョンセンサ(イベント生成センサ)に適用される。これは、デジタル記憶動的ビジョンセンサ設計の本質的な部分である。
リピート期間が外乱の期間の倍数になるように選択される場合、外乱に対するイベント応答が完全に抑制される。
リピートレートが外乱のリピートレートに類似しているが同一ではない場合、画像データ(イベント生成前)は、外乱よりも低い周波数で変動し(周波数ダウンコンバージョン)、これによりイベントおよびデータレートが低減する。これにより、データ量を減少させながら情報コンテンツを保持する。
リピート期間が外乱レートの半分になるように選択される場合、イベント出力を最大限にすることができる。
ランプリピートレートの変更は、更なる電子機器を用いることなく全てのピクセルに等しく適用可能であり、応答の大域的増大または抑制機能が効率的に達成される。
画像の大部分が、類似の外乱特性(フリッカ)を有する、同じ変動する単数または複数の光源で照明される可能性が高い。特に、変調の原因は、通常、複数の光源に共通の幹線給電部であるため、全てのピクセルについてレートを設定した後で、画像全体にわたって冗長なイベント生成を低減する大きな影響がある。
センサ自体から単位時間あたりに生成されるイベント数、またはアナログ検知ピクセル信号は、同期のための基準信号を提供することができる。通常、位相比較器、ローパスフィルタおよび制御発振器を有する位相同期ループとして実施される、信号の周波数信号に同期するためのよく知られた技法が存在する。
好ましくは、画像センサは、掃引ランプ制限を設定するように構成された少なくとも1つの基準ピクセルを更に備え、好ましくは、少なくとも1つの基準ピクセルは、ピクセルの配列の外側に位置決めされ、および/または好ましくは、少なくとも1つの基準ピクセルは基準条件下でバイアスされる。
好ましくは、デジタル比較回路は、アナログ信号の掃引中に記憶されたレベルとの比較を行うように構成されるか、またはデジタル比較回路は、アナログ信号の掃引後に記憶されたレベルとの比較を行うように構成される。
「アナログ信号の掃引中」および「掃引アナログ信号の間」は同じプロセスを示すことができる。
特に、比較がアナログ信号の掃引中に行われる場合、A/D出力値は、記憶される必要がなく、比較結果のみでよい。この結果、メモリ要件が少なくなるが、比較が多くなる。比較がアナログ信号の掃引後に行われる場合、A/D出力値は、記憶される必要がない。これにより、メモリ要件が増大するが、必要な比較数が低減する。
好ましくは、
a)デジタル比較回路は、ピクセル回路における静的ロジックを用いて比較を行うように構成されるか、または
b)デジタル比較回路は、ピクセル回路における動的ロジックを用いて比較を行うように構成され、および/または
c)デジタル比較回路は、ヒステリシスとの比較を行うように構成され、および/または
d)デジタル比較回路は、動作時に時折変更される差分を要する比較を行うように構成される。
好ましくは、出力回路は、隣接ピクセルにおける比較回路の比較結果に応じて出力を生成するように構成されるか、または出力回路は、固定構成または動作中に変更される構成において隣接ピクセルの関数に応じて出力を生成するように構成され、好ましくは、関数は平均関数であり、および/または出力回路は、比較の変化率が或る特定のしきい値を超えている場合、出力を生成するように構成される。
好ましくは、
a)出力回路は、隣接ピクセルにおける出力に応じて出力を生成するように構成されるか、または
b)出力回路は、隣接ピクセルにおける記憶されたレベルに応じて出力を生成するように構成されるか、または
c)出力回路は、複数の記憶された値に応じて出力を生成するように構成される。
好ましくは、
a)出力回路は、変更されたレベルの方向を示すイベント出力を生成するように構成され、および/または
b)出力回路は、1つの方向において変更されたレベルのみを示すイベント出力を生成するように構成され、および/または
c)出力回路は、変更されたレベルの大きさを示すイベント出力を生成するように構成され、および/または
d)出力回路は、変更されたレベルの前および/または後の照明強度を示すイベント出力を生成するように構成される。
好ましくは、
a)デジタル記憶回路は、ピクセルの配列の出力ラインにおいて記憶されたデジタル表現を提供するように構成され、および/または
b)デジタル記憶回路は、イベント出力を有するピクセルについて選択的にピクセルの配列の出力ラインにおいて記憶されたデジタル表現を提供するように構成され、および/または
c)デジタル記憶回路は、イベント列ラインを用いて出力ラインにおいて記憶されたデジタル表現を提供するように構成され、および/または
d)デジタル記憶回路は、記憶されたデジタル表現をピクセルに書き込むように構成され、および/または
e)デジタル記憶回路は、データストリームからの記憶されたデジタル表現を書き込むように構成され、および/または
f)デジタル記憶回路は、イベントストリームであるデータストリームからの記憶されたデジタル表現を書き込むように構成される。
出力ラインは、単数または複数で提供することができる。出力ラインは、出力回路間で共有することもできる。出力回路も提供することができる。
さらに、取得回路に記憶されたデジタル表現は、アレイの外側から書くこともできる。以前の出力は、回路のための変化する基準を提供するために、記憶されたピクセルデジタルレベルに書き戻すことができる。次に、回路は、基準に対する変化のみを報告する。通常、画像データは全てのピクセルを表す。しかしながら、イベントストリームは変化のみを含み、したがってより少ないデータを含む。したがって、イベントストリームを書き戻すことによりデータレートの低下が可能である。
好ましくは、センサ回路は、記憶されたデジタルレベル、または隣接ピクセルの記憶されたデジタルレベルに対応するデジタル記憶回路からのフィードバックを受信し、センサ回路はフィードバックに応じてVSIGを生成するように構成される。A/D回路は、記憶されたデジタルレベル、または隣接ピクセルの記憶されたデジタルレベルからフィードバックを受信することができ、フィードバックに応じて出力信号を調整するように構成することができる。
好ましくは、センサ回路はVSIGを提供するように構成され、および/または画像センサは複数の半導体層から構築され、各レベルはその層の機能について最適化される。
特に、VSIGのアナログ表現またはアナログレベルを提供し、回路またはアレイから直接読み出すことができる。
取得回路のグループは、単数または複数の共通のイベント出力ラインに接続することができる。
取得回路のグループは、以下の回路要素、すなわち、(a)デジタル出力回路、(b)デジタル比較回路、(c)更なるデジタル記憶回路、(d)更なるアナログ/デジタル変換回路、のうちの少なくとも1つを共有することができる。図面は代表的なものであり、共有要素の他の組み合わせは排除されない。
本開示は、掃引アナログ信号およびデジタルコードを用いた比較器を用いるアナログ/デジタル変換の実施も包含することができる。
本発明は、上記で特定したItoh他に開示されていないマルチシリコン層デバイスにおけるイベント生成を提供する。
画像センサ内のピクセル間の共有回路部(例えば、KR2020-0029328A)は、密なピクセルアレイおよび高いピクセル分解能を生成するために画像センサ設計において重大である。本発明は、性能劣化を伴うことなく、ピクセル間のリソース共有に特に適したデジタル記憶およびイベント計算を時系列方式で用いる。
さらに、本発明は、米国特許出願公開第2015/358570号によって開示された技法の使用を、動的ビジョンセンサに拡張する。ここで、デジタル記憶、および大域タイミングを用いた処理の使用が効果的であり、生成されるイベントの数の低減における影響が、電力消費および後続の処理にとって重要である。
ピクセル内デジタル記憶によって可能にされる本発明は、隣接ピクセルに記憶されるデジタルレベル(複数ビット)に基づいてイベントを選択的に生成することができる。この選択的フィルタリングの特定の構成を用いて、WO2020/080383A1によって開示されたシングルビットフィルタリングと同じ結果を達成することができる。
加えて、例えば上記で特定したT. Delbruckとの比較において、本発明は、タイムスタンプ複雑性の低減のためのA/D変換技法に起因して本質的時間基準を有し、更なる送信を伴うことなくイベントの局所的なデジタルの時間的フィルタリングを可能にする。
本発明は、記憶されたデジタルレベルまたはイベント出力に基づいてアナログ回路パラメータを変調する。なぜなら、このフィードバックは、上記で説明したEP 3 313 064 A1の開示と異なるデジタル制御下でスイッチを用いて効果的に実現される(表面積)ためである。
上記で説明したEP 2 933 995 A1との比較において、本発明は、局所的に記憶されたピクセルデジタルレベルまたはイベント出力に基づいたアナログ回路パラメータの変調を提案する。なぜなら、このフィードバックは、デジタル制御下でスイッチを用いて効果的に実現される(表面積)ためである。これは、機能(ピクセルに局所的)、実施(デジタル制御)および目的においてEP 2 933 995A1と異なる。
上述したように、Gallego他は、イベントデータに対するタイムスタンプの追加を用いた、立体ビジョンを目的とした複数のイベントカメラからの情報の同期を開示している。ここで、タイムスタンプ基準は外部の時間基準によって提供される。同期ソース(外部時間基準)および目的(複数の画像の組み合わせ)が本発明と異なる。
米国特許出願公開第2015/0035949号は、ターゲット画像における光源の変調に基づいた複数のカメラ間の同期の使用を開示している。しかしながら、米国特許出願公開第2015/0035949号は、イベントカメラにも、本発明におけるサンプリングの同期の目的(フリッカにより導出されるイベント出力の抑制または増大)にも関係していない。
本発明は、図面を参照して更に説明される。
図1~図4は、本発明の例示的な実施形態を示す。
本発明によるデルタ画像センサの第1の例示的な構成を概略的に示す。 本発明によるデルタ画像センサの更なる例示的な構成を概略的に示し、図2aはイベント生成回路の共有を示し、図2bはイベント生成回路およびデジタル比較回路の共有を示し、図2cは、イベント生成回路、デジタル比較回路およびデジタル記憶回路の共有を示し、図2dは、イベント生成回路、デジタル比較回路、デジタル記憶回路およびA/D変換回路の共有を示す。 アナログ(VSIG)からデジタルへの表現の変換が、ピクセル回路における比較器を用いて行われ、アナログ掃引信号がピクセル回路に適用される、例示的な実施形態を示す。 各々が、周期的信号を、外乱光およびそれぞれのサンプリング時間の例として示す概略図である。 各々が、周期的信号を、外乱光およびそれぞれのサンプリング時間の例として示す概略図である。 各々が、周期的信号を、外乱光およびそれぞれのサンプリング時間の例として示す概略図である。
図面において、同じ参照符号は、同じまたは類似の構成要素を表す。したがって、冗長な説明は省かれる。
図1は、本発明による第1の例示的な構成を概略的に示す。画像センサとも呼ばれるデルタ画像センサは、ピクセルの配列と、少なくとも1つの取得回路(1)とを備える。取得回路(1)は、ピクセル回路とも呼ばれる。回路は、集積回路の一部として形成される。各ピクセルの取得回路(1)は、少なくとも1つのピクセルのフォトセンサを照明する光信号または照明強度に応じてセンサ信号(VSIG)を生成するフォトセンサを含む少なくとも1つのセンサ回路(11)と、少なくとも1つのアナログ/デジタル変換回路(12、A/D変換器)とを備える。デジタル変換回路(12)は、センサ回路(11)の出力に接続することができる。少なくとも1つのデジタル記憶回路(13)は、以前のVSIGに対応する少なくとも1つのデジタル信号の表現を記憶するように構成される。デジタル記憶回路(13)は、A/D変換器(12)の出力に接続することができる。少なくとも1つのデジタル比較回路(14)は、記憶された表現のレベルを現在のVSIGと比較して、変更されたレベルが存在するかどうかを検出するように構成される。デジタル比較回路(14)は、デジタル記憶回路(13)の出力およびA/D変換器(12)の出力に接続することができる。少なくとも1つのデジタル出力回路(15)またはデジタルイベント生成回路は、変更されたレベルの条件下でイベント出力を生成するように構成される。出力回路(15)は、デジタル比較回路(14)の出力に接続することができる。
少なくとも1つのイベント出力ライン(16)は、デルタ画像センサからのイベント出力を出力するために、ピクセル回路(1)内に含めるかまたはピクセル回路(1)外にあることができる。少なくとも1つのイベント出力ライン(16)は、複数のデジタル出力回路(15)によって共有することもできる。
この第1の例示的なピクセル構成は、或る間隔にわたって変更された照明強度の検出を可能にする。デジタル比較回路(14)が記憶された信号のデジタル表現と、或る間隔後のデジタル表現との差分を検出し、この差分が所与の判断基準を満たす場合、イベントが生成され、変化の事実が、画像センサの出力においてイベント情報として報告される。
レベルのデジタル記憶は、(i)記憶されるレベルが時間と共に劣化せず、(ii)記憶回路(13)を物理的により小さくすることができ、(iii)値を隣接セルにおいて容易に用いることができ、(iv)値を他のピクセルまたは以前の値との組み合わせ機能の実現のためにより柔軟に用いることができるため、幅広い用途で優先され得る。
図2に示すように、更なる例示的な構成において、ピクセル回路の一部は、ピクセルのサブセット間で共有される。このとき、共有要素の使用は時系列で行われる。
図2aはイベント生成回路(15)の共有を示し、図2bはイベント生成回路(15)およびデジタル比較回路(14)の共有を示し、図2cは、イベント生成回路(15)、デジタル比較回路(14)およびデジタル記憶回路(13)の共有を示し、図2dは、イベント生成回路(15)、デジタル比較回路(14)、デジタル記憶回路(13)およびA/D変換回路(13)の共有を示す。
他の共有構成が可能であり、上記のリストはこれらの可能性を排除しないことに留意されたい。異なる機能を異なる程度まで、例えばA/D変換回路(12)を4ピクセルにわたって、およびイベント生成回路(15)を16ピクセルにわたって共有することも可能である。他の構成も有利であり得る。
本発明の1つの例示的な実施形態は、光照明強度信号を、線形関係を用いてアナログ電気信号に変換する。この実施形態は、フォトダイオードモードにおける電荷を統合し、画像捕捉用途について最適化された市販の標準セルを用いる低い光照明レベルにおいて有利である。
本発明の更なる例示的な実施形態は、光照明強度信号を、対数関係を用いてアナログ電気信号に変換する。この実施形態は、出力アナログ信号が広範にわたる照明強度にわたって飽和しないため、ハイダイナミックレンジの光照明信号で有利である。
本発明の更なる例示的な実施形態は、線形および対数関数、または類似の非線形関数の組み合わせを応答曲線として用いた変換の組み合わせを用いる。この実施形態は、良好な低光照明性能およびハイダイナミックレンジの双方を可能にするために有利である。第1の実施形態は、固定の構成を組み合わせた機能と共に用いる。
更なる例示的な実施形態は、応答曲線がピクセルの完全な配列について動作中に変更されるような構成を可能にする。これは、好ましくは、画像センサアプリケーションの大域照明条件または動作モードに応じて実行される。
更なる実施形態は、応答曲線がピクセルのサブセットについて独立して動作中に変更されるような構成を可能にする。これは、好ましくは、画像センサアプリケーションの局所的照明条件または注意の集中に応じて実行される。
1つの例示的な実施形態において、図3によれば、アナログ(VSIG)からデジタルへの表現の変換が、ピクセル回路(1)における比較器およびピクセル回路に適用されるアナログ掃引信号を用いて行われる。比較器出力が切り替わるポイントに応じて、デジタル表現がデジタル記憶回路(13)にコピーされる。
導出される実施形態において、アナログ掃引信号は線形ランプであるが、更なる実施形態において、アナログ掃引信号は非線形ランプ、例えば指数関数ランプである。
掃引信号は集中型で生成することができるため、非線形ランプの実施が有利である。なぜなら、この回路の追加の複雑度は、デバイスにおいて一度しか必要とされず、(i)面積の節減、および(ii)全てのピクセルについて整合した機能がもたらされるためである。
特に、ランプの変更を用いて、センサ回路(11)における非理想性、または温度もしくは他の環境条件にわたる変動を補償することができる。
特に、変更は、アナログ手段またはデジタル手段によって行うことができる。
特に、変更は、デバイスにおけるテストセルを参照して行うことができる。この実施は、テストセルにおいて反映される非理想性の補償が自動であるため、有利である。
1つの例示的な実施形態において、同じアナログ掃引ランプが全体ピクセル配列と同時に提供される。導出される実施形態において、異なるアナログ掃引ランプが配列のサブセットに適用される。
センサ回路(11)の特性がピクセル配列にわたって変動し(計画的なセル変動またはプロセスもしくは光学構成に起因したもの)、この変動が様々なランプの提供により補償される場合、様々なランプの使用が有利である。
更なる実施形態において、アナログ掃引ランプは、動作中に時折、画像センサの動作モードに従って変更される。
1つの例示的な実施形態において、変化するデジタルコードは、アナログランプと同時に提供される。デジタル記憶回路(13)に記憶されるデジタルコードは、比較器出力が切り替わるときのデジタルコードの値である。第1の実施形態において、コードはバイナリコードである。
導出される実施形態において、デジタルコードはグレーコードである。グレーコードは、(i)一度に1つのエッジのみが変化し、エッジの両側のコードが有効であるため、デジタル記憶との同期が必要とされず、(ii)グレーコードが、サイクルにわたってより少ないエッジを有し、電力消費が低減されるため、有利である。
導出される実施形態において、アナログおよびデジタルコード掃引は、記憶および比較掃引、または複数の比較掃引に順次分離される。アナログ信号レベルとデジタルコードとの間の関係は、基準と比較掃引との間で変動する。この手法は、より単純なデジタル比較ロジックがピクセルにおいて必要とされるため、有利である。これにより、必要とされる面積を低減することができる。
導出される実施形態において、ピクセルの異なるサブセットについて、アナログ掃引レベルとデジタルコードとの間の異なる関係が生成される。
この手法は、デジタルコードが(i)計算において、または(ii)デジタル回路とのタイミングにおいて、のいずれかで変動することができるため、有利である。これにより、複数のアナログランプの生成を上回る面積節減、および改善された柔軟性をもたらし、ピクセルの配列のサブセットの機能の補償または変更を可能にする。
1つの例示的な実施形態において、記憶されたレベルと現在のレベルとの間のデジタル比較は、アナログ掃引中に連続して行われる。比較結果は、アナログ比較出力とデジタル比較との切り替えのタイミングに関係する。この実施形態において、ヒステリシス、または異なるイベント生成しきい値の実施は、相対的タイミングに基づいて行われる。
1つの例示的な実施形態において、タイミングにおける変動は、クロックに基づいて生成される。更なる例示的な実施形態において、変動は、ピクセル回路内のタイマ回路により生成される。
更なる例示的な実施形態において、記憶されたレベルと現在のレベルとの間のデジタル比較は、アナログ電圧掃引に後続して行われる。この実施形態は、ロジックが、連続した、例えばビット単位の要素を繰返し用いることができ、シリコン面積節減をもたらす場合に有利である。
1つの例示的な実施形態において、連続ロジックは静的ロジックを用いて実行される。
更なる例示的な実施形態において、連続ロジックは動的ロジックを用いて実行される。
導出される実施形態において、デジタル比較は、以前の結果からのフィードバックを用いて行われる。これは通常、比較においてヒステリシスを実施するのに用いられ、ノイズの抑制およびスプリアスイベントの低減において有利である。
導出される実施形態において、デジタル比較およびイベント生成は、イベントを生成するために異なる差分(>1)を必要として実行される。これは、(i)イベント数を低減するか、または(ii)イベントの生成の分解能を改善するために有利であり得る。
必要とされる差分は、(i)信号レベル、(ii)動作モード、例えば関心領域、(iii)隣接ピクセルレベル、(iv)ピクセルの以前のレベル、(v)ピクセルの以前のイベント、(vi)隣接ピクセルのイベント、に依存することができる。
導出される実施形態において、或る特定のレート未満のイベント生成レートはピクセル回路内で抑制される。これは、この情報が、後続の画像処理にとってより有用でなく、イベント抑制により電力および処理要件が低減するため、有利である。
1つの例示的な実施形態において、イベント生成のためのデジタル条件は、隣接ピクセル回路のイベント生成に依存する。この動作は、例えば、スプリアスイベントの数を低減するためのイベントのフィルタリングを可能にする。
1つの例示的な実施形態において、イベント生成のためのデジタル条件は、隣接ピクセル回路の記憶されるレベルに依存する。この動作は、例えば、エッジ付近の増大した感度を提供するためのイベントのフィルタリングを可能にする。
1つの例示的な実施形態において、イベント生成のためのデジタル条件は、ピクセル回路の複数の記憶されたレベルに依存する。この動作は、例えば、スプリアスイベントの数を低減するためのアナログノイズのフィルタリングを可能にする。
1つの例示的な実施形態において、サンプルレートは、外乱光源のフリッカ周波数と同期するように選択される。これは、この光源に起因したイベントの抑制を可能にするため、有利である。
図4a、bおよびcは、各々が周期的信号を、外乱光およびそれぞれのサンプリング時間の例として示す概略図である。
図4aに示すように、外乱光源のフリッカ周波数の結果として、対応する期間を有するセンサ信号VSIGが生じる。アナログ/デジタル変換のリピートレートは、外乱光のフリッカ周波数と実質的に同じになるように選択される。この例において、サンプリングおよびアナログ/デジタル変換は、それぞれのポイントによって示されるように、信号がその最大値に達した時点に行われる。この例において、リピートレートは、フォトセンサを照明する光信号の光源変調の周波数に対応する。
図4bは、図4aと同じセンサ信号VSIGを示す。この例において、アナログ/デジタル変換のリピートレートは、外乱光のフリッカ周波数と実質的に2倍になるように選択される。この例において、サンプリングおよびアナログ/デジタル変換は、それぞれのポイントによって示されるように、信号がその最大値に達した時点、および信号がその最小値に達した時点に行われる。この例において、リピートレートは、フォトセンサを照明する光信号の光源変調の周波数の2倍に対応する。
図4aに示すように、リピート期間が同じになるように選択される場合、または図4bに示すように、外乱の期間の倍数になるように選択される場合、外乱に対するイベント応答が完全に抑制される。
図4cは、図4aおよび図4bと同じセンサ信号VSIGを示す。この例において、アナログ/デジタル変換のリピートレートは、より高くなるように選択され、この例では、サンプリング周波数f(sampling)が、外乱光のフリッカ周波数f(flicker)の約8/7となり、すなわち、f(sampling)=8/7*f(flicker)である。この例において、サンプリングおよびアナログ/デジタル変換は、それぞれのポイントによって示される時点に行われる。この例において、リピートレートは、フォトセンサを照明する光信号の光源変調の周波数よりも高い。
リピートレートが外乱のリピートレートに類似しているが同一ではない場合、例として、図4cに示すようにリピートレートがより高い場合、画像データ(イベント生成前)は、外乱よりも低い周波数で変動し(周波数ダウンコンバージョン)、これによりイベントおよびデータレートが低減する。これにより、データ量を減少させながら情報コンテンツを保持する。同様に、リピートレートは、外乱のリピートレートよりも小さくなるように選択することもできる。
1つの例示的な実施形態において、イベント出力は、単一のイベントビット、例えばアップイベント、イベントなしである。換言すれば、アップイベントは、光強度の増大に対応する。
更なる実施形態において、イベント出力は、2ビット、例えばアップおよびダウンである。換言すれば、イベント出力は、光強度またはセンサ信号VSIGが、記憶された光強度レベルまたは記憶されたVSIGよりも大きいかまたは小さいかを示すことができる。
更なる例示的な実施形態において、イベント出力は、変化の大きさのデジタル表現を含む。この実施形態は、イベント情報からの画像の完全な再構成を可能にするため、有利である。
更なる例示的な実施形態において、イベント出力は、変化の前および/または後の照明強度表現を含む。1つの実施形態において、ピクセルアレイ内に記憶された値のレベルを読み出すことが更に可能である。
導出される実施形態において、ターゲットエリアからデジタル記憶された値は、選択的に、すなわちランダムアクセスにより読み出される。
更なる実施形態において、デジタルレベルは、既存の共通イベント出力ラインを介して読み出される。1つの実施形態において、記憶されたデジタルレベルは、比較のための新たなまたは意図的に修正された基準を提供するためにピクセルの配列に書き込むことができる。導出される実施形態において、データのストリームは、イベント生成のための時間に依存した基準を意図的に提供するために記憶されたデジタルレベルに書き込まれる。
関連する導出される実施形態において、データのストリームは、センサによって通常生成されるものに類似したイベントストリームである。
1つの実施形態において、センサ回路(11)は、そのピクセルのVSIGレベルを調整するために、記憶されたデジタルレベル、または隣接ピクセルの記憶されたデジタルレベルからのフィードバックを有する。この実施形態は、最小表面積において、例えばヒステリシス機能を実現するために有利であり得る。
1つの例示的な実施形態において、比較器回路は、比較器の機能を調整する、通常はオフセットを追加するために、記憶されたデジタルレベルまたは隣接ピクセルの記憶されたデジタルレベルからのフィードバックを有する。この実施形態は、最小表面積において、例えばヒステリシス機能を実現するために有利であり得る。
1つの例示的な実施形態において、サンプルレートは、動作時に時折、電気的に構成可能であるかまたは電気的に変更される。
電力消費およびイベント生成レートは、サンプルレートに依存することができる。サンプルレートを低減することによって、静かな条件下で非常に低い電力モードが可能になる。さらに、低いサンプルレートを、センサ回路(11)挙動の統合と組み合わせることにより、低い光条件における動作が可能になる。
1つの例示的な実施形態において、サンプリングは、長期間にわたって完全に中断される。
電力消費およびイベント生成レートは、サンプルレートに依存することができる。サンプリングを或る期間、例えば、1秒中断することによって、非常に低電力の動作が可能になるが、デジタル記憶に起因して、記録される画像の忠実性が保たれる。
1つの例示的な実施形態において、アナログ信号レベル(VSIG)をピクセル配列から読み出すことができる。この実施形態は、共通イベント列ラインを用いて実現することができる。
1つの例示的な実施形態において、画像センサは、複数の半導体層から構築され、ここで、各レベルの半導体プロセスタイプは、その層の機能について最適化される。この実施は、半導体プロセスの機能の最適化が、(i)性能の改善、(ii)シリコン面積の低減、および後続する(ii)a)デバイスサイズおよび(ii)b)デバイスコストの低減を可能にするため、有利である。変更された物理的構造により、(i)曲線因子、(ii)量子効率について光学性能が改善し、制御信号ラインとフォトセンサ回路との間の電気的外乱が低減する。
複数のピクセルは、通常、「行」および「列」を有する2次元グリッドで編成される。「行」および「列」の定義は、本発明に影響を及ぼすことなく交換可能であることに留意されたい。また、本発明の適用可能性に影響を及ぼすことなく、2次元グリッドにマッピングする他の幾何学的構成も可能であることにも留意されたい。
最後的に、「comprising(備える、含む)」という用語は、他の要素またはステップを除外するものではなく、「a」または「an」は複数を除外しないことに留意されたい。また、異なる実施形態と関連付けて記載した要素を組み合わせてもよい。特許請求の範囲における参照符号は、特許請求の範囲の適用範囲を限定するものと解釈されるべきでないことにも留意されたい。

Claims (19)

  1. ピクセルの配列と、少なくとも1つのピクセルに対応し、集積回路の一部として形成される複数の取得回路(1)とを備えるデルタ画像センサであって、各取得回路(1)は、
    前記少なくとも1つのピクセルのフォトセンサを照明する光信号に応じて、センサ信号(VSIG)を生成するように構成された前記フォトセンサを備える少なくとも1つのセンサ回路(11)と、
    現在のVSIGに対応するデジタル表現を生成するように構成された、少なくとも1つのアナログ/デジタル変換(A/D)回路(12)、好ましくは、少なくとも1つのシングルスロープアナログ/デジタル変換(A/D)回路(12)と、
    以前のVSIGに対応する少なくとも1つのデジタル信号の表現を記憶するように構成された少なくとも1つのデジタル記憶回路(13)と、
    前記記憶された表現のレベルを現在のVSIGと比較して、変更されたレベルが存在するかどうかを検出するように構成された少なくとも1つのデジタル比較回路(14)と、
    前記変更されたレベルの条件下でイベント出力を生成するように構成された少なくとも1つのデジタル出力回路(15)と、
    を備え、
    前記好ましいシングルスロープアナログ/デジタル変換のリピートレートは、前記フォトセンサを照明する光信号の光源変調に一致する1つまたは複数のリピートレートから選択される、デルタ画像センサ。
  2. 前記好ましいシングルスロープアナログ/デジタル変換の前記リピートレートは、フィルタリング、好ましくは前記画像センサによって取得されるターゲット画像における光源に対する抑制、応答の向上および/または周波数変換機能のうちの1つを提供するための期間を有して選択される、請求項1に記載の画像センサ。
  3. 前記好ましいシングルスロープアナログ/デジタル変換の前記リピートレートは、外乱に対するイベント応答を抑制するかまたは最小限にするように選択される、請求項1または2に記載の画像センサ。
  4. 前記好ましいシングルスロープアナログ/デジタル変換の前記リピートレートは、光源に対するイベント応答を最大限にするように選択される、請求項1または2に記載の画像センサ。
  5. 前記好ましいシングルスロープアナログ/デジタル変換の前記リピートレートは、前記光源変調に関する情報を保持しながら、変動する光源によって生成される前記イベントの周波数を低減するように選択される、請求項1または2に記載の画像センサ。
  6. 各取得回路(1)は、少なくとも2つのピクセル間で共有され、好ましくは、前記ピクセルは互いに隣接している、先行する請求項のいずれか1項に記載の画像センサ。
  7. 前記センサ回路(11)は、以下の関係、すなわち、
    a)光強度に対する線形依存性、
    b)前記光強度に対する非線形の、好ましくは対数の依存性、および
    c)前記光強度に対する非線形および線形依存性の組み合わせ、
    のうちの1つに基づいてVSIGを生成するように構成され、
    好ましくは、前記関係は制御信号に応答して変更可能である、先行する請求項のいずれか1項に記載の画像センサ。
  8. 前記センサ回路(11)は、動作中に制御信号に応答して、好ましくは時折、前記光強度に対するVSIGの依存性を変更するように構成され、および/または、
    前記センサ回路(11)は、少なくとも1つのピクセルまたはピクセルのサブセットについて個々に、動作中に制御信号に応答して前記光強度に対する前記VSIGの依存性を変更するように構成される、先行する請求項のいずれか1項に記載の画像センサ。
  9. a)前記アナログ/デジタル変換回路(12)は、前記VSIGを、以下の掃引信号、すなわち、
    aa)掃引アナログ入力信号、および
    ab)連続掃引アナログ入力信号であって、ここで、前記掃引アナログ信号の各々が異なる差分関数を提供する、連続掃引アナログ入力信号、
    のうちの1つと比較するように構成された比較器を備え、
    好ましくは、前記入力信号は複数の変換回路(12)に提供され、および/または、
    b)前記アナログ/デジタル変換回路(12)は、少なくとも1つのピクセルに、前記掃引アナログ信号に並列して少なくとも1つのデジタルコードを提供するように更に構成され、
    ba)好ましくは、前記デジタルコードはグレーコード化デジタル信号であり、
    bb)好ましくは、前記アナログ掃引信号と前記デジタルコードとの間の関係は、記憶ランプと比較ランプとの間で変更される、先行する請求項のいずれか1項に記載の画像センサ。
  10. a)前記掃引信号は線形ランプであるか、または
    b)前記掃引信号は非線形ランプであるか、または
    c)前記掃引信号は動作中に変更され、および/または
    d)前記掃引信号の期間は動作中に変更され、および/または
    e)前記掃引信号の前記リピートは、動作中に短期間または長期間にわたって中断することができ、および/または
    f)前記掃引信号のリピートレートは、好ましくはイベント出力を増大または抑制するように、前記フォトセンサを照明する前記光信号の光源変調に一致する1つまたは複数のリピートレートから選択される、請求項9に記載の画像センサ。
  11. 前記画像センサは、掃引ランプ制限を設定するように構成された少なくとも1つの基準ピクセルを更に含み、
    好ましくは、前記少なくとも1つの基準ピクセルは、前記ピクセルの配列の外側に位置決めされ、および/または
    好ましくは、前記少なくとも1つの基準ピクセルは、基準条件下でバイアスされる、請求項9または10に記載の画像センサ。
  12. 前記デジタル比較回路(14)は、前記アナログ信号の掃引中に前記記憶されたレベルとの比較を行うように構成されるか、または
    前記デジタル比較回路(14)は、前記アナログ入力信号の前記掃引後に前記記憶されたレベルとの比較を行うように構成される、請求項9~11のいずれか1項に記載の画像センサ。
  13. a)前記デジタル比較回路(14)は、前記ピクセル回路における静的ロジックを用いて比較を行うように構成されるか、または
    b)前記デジタル比較回路(14)は、前記ピクセル回路における動的ロジックを用いて比較を行うように構成され、および/または
    c)前記デジタル比較回路(14)は、ヒステリシスとの比較を行うように構成され、および/または
    d)前記デジタル比較回路(14)は、動作時に時折変更される差分を要する比較を行うように構成される、先行する請求項のいずれか1項に記載の画像センサ。
  14. 前記出力回路(15)は、隣接ピクセルにおける前記比較回路(14)の比較結果に応じて出力を生成するように構成されるか、または
    前記出力回路(15)は、固定構成または動作中に変更される構成において隣接ピクセルの関数に応じて出力を生成するように構成され、好ましくは、前記関数は平均関数であり、および/または
    前記出力回路(15)は、前記比較の変化率が或る特定のしきい値を超えている場合、出力を生成するように構成される、先行する請求項のいずれか1項に記載の画像センサ。
  15. a)前記出力回路(15)は、隣接ピクセルにおける出力に応じて出力を生成するように構成されるか、または
    b)前記出力回路(15)は、隣接ピクセルにおける前記記憶されたレベルに応じて出力を生成するように構成されるか、または
    c)前記出力回路(15)は、複数の記憶された値に応じて出力を生成するように構成される、先行する請求項のいずれか1項に記載の画像センサ。
  16. a)前記出力回路(15)は、前記変更されたレベルの方向を示すイベント出力を生成するように構成され、および/または
    b)前記出力回路(15)は、1つの方向において変更されたレベルのみを示すイベント出力を生成するように構成され、および/または
    c)前記出力回路(15)は、前記変更されたレベルの大きさを示すイベント出力を生成するように構成され、および/または
    d)前記出力回路(15)は、前記変更されたレベルの前および/または後の照明強度を示すイベント出力を生成するように構成される、先行する請求項のいずれか1項に記載の画像センサ。
  17. a)前記デジタル記憶回路(13)は、前記ピクセルの配列の出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および/または
    b)前記デジタル記憶回路(13)は、イベント出力を有するピクセルについて選択的に前記ピクセルの配列の前記出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および/または
    c)前記デジタル記憶回路(13)は、イベント列ラインを用いて前記出力ラインにおいて前記記憶されたデジタル表現を提供するように構成され、および/または
    d)前記デジタル記憶回路(13)は、前記記憶されたデジタル表現を前記ピクセルに書き込むように構成され、および/または
    e)前記デジタル記憶回路(13)は、データストリームからの前記記憶されたデジタル表現を書き込むように構成され、および/または
    f)前記デジタル記憶回路(13)は、イベントストリームであるデータストリームからの前記記憶されたデジタル表現を書き込むように構成される、先行する請求項のいずれか1項に記載の画像センサ。
  18. 前記センサ回路(11)は、前記記憶されたデジタルレベル、または隣接ピクセルの前記記憶されたデジタルレベルに対応する前記デジタル記憶回路(13)からのフィードバックを受信し、前記センサ回路(11)は前記フィードバックに応じてVSIGを生成するように構成され、および/または
    前記A/D回路(12)は、前記記憶されたデジタルレベル、または隣接ピクセルの前記記憶されたデジタルレベルからフィードバックを受信し、前記フィードバックに応じて前記出力信号を調整するように構成される、先行する請求項のいずれか1項に記載の画像センサ。
  19. 前記センサ回路(11)は、VSIGのアナログ表現を提供するように構成され、および/または
    前記画像センサは、複数の半導体層から構築され、各レベルは前記層の機能について最適化される、先行する請求項のいずれか1項に記載の画像センサ。
JP2022579867A 2020-06-26 2021-06-24 デジタルピクセル記憶および同期されたサンプリングを用いたデルタ画像センサ Pending JP2023532255A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20182536.1 2020-06-26
EP20182536.1A EP3930312B8 (en) 2020-06-26 2020-06-26 Delta image sensor with digital pixel storage
PCT/EP2021/067333 WO2021260102A1 (en) 2020-06-26 2021-06-24 Delta image sensor with digital pixel storage

Publications (1)

Publication Number Publication Date
JP2023532255A true JP2023532255A (ja) 2023-07-27

Family

ID=71266278

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2022575456A Pending JP2023530404A (ja) 2020-06-26 2021-06-24 長期中断可能動作を有するデジタル画素記憶を有するデルタ画像センサ
JP2022579872A Pending JP2023532258A (ja) 2020-06-26 2021-06-24 外部から書き込み可能なデジタルピクセル記憶を用いたデルタ画像センサ
JP2022579867A Pending JP2023532255A (ja) 2020-06-26 2021-06-24 デジタルピクセル記憶および同期されたサンプリングを用いたデルタ画像センサ
JP2022579138A Pending JP2023531234A (ja) 2020-06-26 2021-06-24 デジタルピクセル記憶を用いたデルタ画像センサ
JP2022575458A Pending JP2023530405A (ja) 2020-06-26 2021-06-24 記憶および比較について異なるランプを使用する、デジタルピクセル記憶を用いたデルタ画像センサ

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2022575456A Pending JP2023530404A (ja) 2020-06-26 2021-06-24 長期中断可能動作を有するデジタル画素記憶を有するデルタ画像センサ
JP2022579872A Pending JP2023532258A (ja) 2020-06-26 2021-06-24 外部から書き込み可能なデジタルピクセル記憶を用いたデルタ画像センサ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022579138A Pending JP2023531234A (ja) 2020-06-26 2021-06-24 デジタルピクセル記憶を用いたデルタ画像センサ
JP2022575458A Pending JP2023530405A (ja) 2020-06-26 2021-06-24 記憶および比較について異なるランプを使用する、デジタルピクセル記憶を用いたデルタ画像センサ

Country Status (8)

Country Link
US (5) US20230247327A1 (ja)
EP (6) EP3930312B8 (ja)
JP (5) JP2023530404A (ja)
KR (5) KR20230034312A (ja)
CN (5) CN116057958A (ja)
ES (1) ES2962472T3 (ja)
TW (6) TW202207696A (ja)
WO (6) WO2021260102A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2947688T3 (es) 2020-08-14 2023-08-16 Alpsentek Gmbh Sensor de imágenes con circuito de píxeles configurable y método
EP4380180A1 (en) * 2022-11-29 2024-06-05 Kovilta Oy Sensor event generation circuit

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1329700A4 (en) * 2000-09-25 2011-03-23 Hamamatsu Photonics Kk APPARATUS AND METHOD FOR OPTICAL MEASUREMENT
JP3803924B2 (ja) * 2002-09-09 2006-08-02 本田技研工業株式会社 イメージセンサ
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
CN102165696A (zh) * 2008-09-29 2011-08-24 松下电器产业株式会社 信号生成电路、利用该信号生成电路的单斜率型ad转换器及照相机
US8847169B2 (en) * 2010-05-25 2014-09-30 The Hong Kong University Of Science And Technology Quantum-limited highly linear CMOS detector for computer tomography
EP2622313A4 (en) * 2010-09-27 2015-09-09 Purdue Research Foundation SYSTEM AND METHOD FOR EXTENDING THE LINEAR DYNAMIC AREA OF AN EVENT COUNT
ES2476115B1 (es) * 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
WO2014174498A1 (en) * 2013-04-26 2014-10-30 Ecole Polytechnique Federale De Lausanne (Epfl) A novel cmos image sensor with event/change detection and reduced data redundancy
FR3009469B1 (fr) 2013-07-31 2016-11-25 Morpho Procede de synchronisation de plusieurs cameras d'un systeme de prise de vues, notamment un systeme de prise de vues stereoscopique et systeme de prise de vues pour la mise en œuvre dudit procede.
WO2015036592A1 (en) * 2013-09-16 2015-03-19 Chronocam Dynamic, single photodiode pixel circuit and operating method thereof
JP6362091B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10728450B2 (en) * 2014-09-30 2020-07-28 Qualcomm Incorporated Event based computer vision computation
US9838635B2 (en) * 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US11169249B2 (en) * 2014-12-17 2021-11-09 Venkata Guruprasad Chirp travelling wave solutions and spectra
WO2017009944A1 (ja) * 2015-07-14 2017-01-19 オリンパス株式会社 固体撮像装置
US10811447B2 (en) * 2016-03-04 2020-10-20 Sony Corporation Solid-state imaging device, driving method, and electronic equipment
JP6943875B2 (ja) * 2016-04-04 2021-10-06 プロフジー サンプルホールドに基づく時間コントラスト視覚センサ
US9848141B2 (en) * 2016-05-10 2017-12-19 Semiconductor Components Industries, Llc Image pixels having processed signal storage capabilities
CN106162000B (zh) * 2016-07-08 2019-03-15 上海芯仑光电科技有限公司 像素采集电路、图像传感器及图像采集系统
EP3313064A1 (en) * 2016-10-20 2018-04-25 Chronocam Pixel circuit for detecting time-dependent visual data
WO2018122800A1 (en) * 2016-12-30 2018-07-05 Insightness Ag Data rate control for event-based vision sensor
CN110326239B (zh) * 2017-03-10 2020-11-17 华为技术有限公司 信号发射方法、信号接收方法、相关设备及系统
US10491231B2 (en) * 2018-02-16 2019-11-26 Sensors Unlimited, Inc. Reconfigurable ADC architecture for imaging-based applications
US10969273B2 (en) * 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
EP3557767B1 (en) * 2018-04-19 2023-01-11 ams AG Light-to-digital converter arrangement and method for light-to-digital conversion
US11140349B2 (en) * 2018-09-07 2021-10-05 Samsung Electronics Co., Ltd. Image sensor incuding CMOS image sensor pixel and dynamic vision sensor pixel
KR20200029328A (ko) * 2018-09-07 2020-03-18 삼성전자주식회사 Cis 픽셀 및 dvs 픽셀을 포함하는 이미지 센서
US11683606B2 (en) * 2018-10-19 2023-06-20 Sony Semiconductor Solutions Corporation Imaging device and electronic equipment
JP7298277B2 (ja) * 2019-04-25 2023-06-27 トヨタ自動車株式会社 イベントカメラ
EP3967028B1 (en) * 2019-05-10 2023-11-01 Sony Advanced Visual Sensing AG Event-based vision sensor using on/off event and grayscale detection ramps
KR20220006083A (ko) * 2019-05-10 2022-01-14 소니 어드밴스드 비주얼 센싱 아게 픽셀 내 디지털 변화 검출을 이용하는 다이내믹 비전 센서
CN112311964B (zh) * 2019-07-26 2022-06-07 华为技术有限公司 一种像素采集电路、动态视觉传感器以及图像采集设备

Also Published As

Publication number Publication date
EP3930312C0 (en) 2023-09-20
TWI810593B (zh) 2023-08-01
TW202207697A (zh) 2022-02-16
US20230247326A1 (en) 2023-08-03
KR20230034312A (ko) 2023-03-09
EP4118814A1 (en) 2023-01-18
JP2023530405A (ja) 2023-07-18
EP3930312B1 (en) 2023-09-20
KR20230034314A (ko) 2023-03-09
US20230345150A1 (en) 2023-10-26
WO2021260106A1 (en) 2021-12-30
TW202207696A (zh) 2022-02-16
CN116057943A (zh) 2023-05-02
TWI821697B (zh) 2023-11-11
TW202207699A (zh) 2022-02-16
JP2023532258A (ja) 2023-07-27
EP4122191A1 (en) 2023-01-25
CN115956369A (zh) 2023-04-11
US20230217134A1 (en) 2023-07-06
EP3930312B8 (en) 2023-10-25
CN116057958A (zh) 2023-05-02
KR20230031899A (ko) 2023-03-07
EP4118812A1 (en) 2023-01-18
WO2021260116A1 (en) 2021-12-30
CN116057959A (zh) 2023-05-02
WO2021260122A1 (en) 2021-12-30
WO2021260102A1 (en) 2021-12-30
WO2021260105A1 (en) 2021-12-30
TWI830030B (zh) 2024-01-21
TW202220432A (zh) 2022-05-16
EP4115601A1 (en) 2023-01-11
TW202218409A (zh) 2022-05-01
EP3930312A1 (en) 2021-12-29
JP2023531234A (ja) 2023-07-21
EP4118813A1 (en) 2023-01-18
ES2962472T3 (es) 2024-03-19
TW202207695A (zh) 2022-02-16
CN116057944A (zh) 2023-05-02
KR20230034313A (ko) 2023-03-09
WO2021260121A1 (en) 2021-12-30
JP2023530404A (ja) 2023-07-18
US20230308784A1 (en) 2023-09-28
KR20230031900A (ko) 2023-03-07
US20230247327A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
JP2023532255A (ja) デジタルピクセル記憶および同期されたサンプリングを用いたデルタ画像センサ
CN114095678A (zh) 一种具有外部可写数字像素存储的差量图像传感器
CN114422728A (zh) 一种带数字像素存储的差量图像传感器
CN114095675A (zh) 一种具有数字像素存储和同步采样的差量图像传感器
CN114173069A (zh) 一种带数字像素存储的差量图像传感器
CN114173070A (zh) 一种带数字像素存储的差量图像传感器
CN114095677A (zh) 一种带数字像素存储的差量图像传感器
CN114095676A (zh) 一种带数字像素存储的差量图像传感器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240528