JP6962670B2 - イベント基盤センサ - Google Patents

イベント基盤センサ Download PDF

Info

Publication number
JP6962670B2
JP6962670B2 JP2016133947A JP2016133947A JP6962670B2 JP 6962670 B2 JP6962670 B2 JP 6962670B2 JP 2016133947 A JP2016133947 A JP 2016133947A JP 2016133947 A JP2016133947 A JP 2016133947A JP 6962670 B2 JP6962670 B2 JP 6962670B2
Authority
JP
Japan
Prior art keywords
event
signal
module
output
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016133947A
Other languages
English (en)
Other versions
JP2017050853A5 (ja
JP2017050853A (ja
Inventor
潤 宰 徐
俊 ソク 金
成 浩 金
賢 錫 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017050853A publication Critical patent/JP2017050853A/ja
Publication of JP2017050853A5 publication Critical patent/JP2017050853A5/ja
Application granted granted Critical
Publication of JP6962670B2 publication Critical patent/JP6962670B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Description

本発明は、イベント基盤センサに関する。
人とコンピュータとの間の相互作用(Human−computer interaction:HCI)はユーザインタフェースにより発現して作動する。ユーザ入力を認識する様々なユーザインタフェースは、人とコンピュータとの間の自然な相互作用を提供する。
ユーザ入力を認識するために様々なセンサが用いられる。自然な相互作用を提供するために、ユーザ入力に対する応答速度が速いセンサが好ましい。また、様々なモバイル機器の場合、ユーザインタフェースを通した様々なスマート機能を実行しながらも少ない電力を消耗する機器が好ましい。
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、動的視覚センサ(DVS:Dynamic Vision Sensor)を用いることでピクセルサイズを減少させるイベント基盤センサを提供することにある。
上記目的を達成するためになされた本発明の一態様によるイベント基盤センサは、複数のピクセルを含むピクセルアレイと、前記複数のピクセルのうちの一部を選択する選択モジュールと、前記選択されたピクセルの一部の出力信号に基づいて、前記選択されたピクセルのうちのイベントを検出した活性ピクセルを示すイベント信号を生成するイベントモジュールと、前記イベント信号に基づいて、前記活性ピクセルを示す情報を出力する出力モジュールと、を備える。
前記イベントは、光の強度が変化するイベントを含み得る。
前記イベント信号は、前記活性ピクセルのアドレスを含み得る。
前記複数のピクセルのそれぞれは、前記選択モジュールの選択信号に反応して光の強度の変化量を示す出力信号を出力し得る。
イベント基盤センサは、前記イベント信号に基づいて、前記活性ピクセルをリセットするリセットモジュールを更に含むことができる。
前記リセットモジュールは、前記イベント信号に反応して前記活性ピクセルにリセット信号を印加し得る。
前記ピクセルアレイは、2次元行列の構造を有し、前記選択モジュールは、予め設定された周期に応じて前記2次元行列の構造に含まれる複数の行を順次選択し得る。
前記イベントモジュールは、前記イベント信号を生成するために前記出力信号のうちの1つの出力信号と基準信号とを比較する比較器と、前記出力信号の大きさを測定するアナログ・デジタルコンバータと、を含み得る。
前記イベントモジュールは、前記イベント信号を生成するために複数の基準信号と前記出力信号のうちの1つの出力信号とを比較する低解像度アナログ・デジタルコンバータと、前記出力信号の大きさを測定する高解像度アナログ・デジタルコンバータと、を含み得る。
前記ピクセルアレイは、2次元行列の構造を有し、前記イベントモジュールは、前記2次元行列の構造に含まれる複数の列に対応する複数のサブイベントモジュールを含み得る。
前記出力モジュールは、複数のサブ出力モジュールを含み、前記複数のサブ出力モジュールのそれぞれは、前記複数のサブイベントモジュールに対応するそれぞれのサブイベントモジュールに接続され得る。
前記イベントモジュールは、前記活性ピクセルが光の強度が増加する第1類型のイベントを検出した場合、第1イベント信号を生成し、前記活性ピクセルが光の強度が減少する第2類型のイベントを検出した場合、第2イベント信号を生成し得る。
前記複数のピクセルのそれぞれは、光の強度を検出して前記検出された光の強度を示す第1電圧を生成する検出回路と、前記第1電圧に基づいて、前記光の強度の変化量を示す第2電圧を生成する時変回路と、前記複数のピクセルのうちの1つに対応するピクセルを選択する前記選択モジュールの選択信号に反応して前記第2電圧の大きさと同一の大きさの第3電圧を出力するバッファ回路と、を含み得る。
前記検出回路は、前記複数のピクセルのうちの1つに対応して入射される光の強度を検出するフォトダイオードと、前記第1電圧の大きさが前記検出された光の強度に線形に比例するように前記フォトダイオードの出力を増幅する増幅器と、を含み得る。
前記時変回路は、前記検出回路に直列に接続されたキャパシタを含み得る。
前記時変回路は、前記第1電圧の変化によって前記キャパシタに充電された電荷量を予め設定された比率で増幅する第2増幅器を更に含み得る。
前記時変回路は、前記複数のピクセルのうちの1つに対応するピクセルを選択する前記選択モジュールの選択信号と、前記イベント信号に反応して生成されたリセット信号に基づいて、前記キャパシタに充電された電荷量をリセットするスイッチを更に含み得る。
前記バッファ回路は、前記第2電圧に基づいて前記第3電圧を生成するソースフォロアーと、前記複数のピクセルのうちの1つに対応するピクセルを選択する前記選択モジュールの選択信号に反応して前記第3電圧を出力するトランジスタと、を含み得る。
前記イベント基盤センサは、電圧降下を補償した基準信号を前記イベントモジュールに提供する基準信号提供モジュールを更に含むことができる。
前記ピクセルアレイは、2次元行列の構造を有し、前記基準信号提供モジュールは、前記2次元行列の構造に含まれる複数の行に対応する複数の複製ピクセルを含み、前記複数の複製ピクセルのそれぞれは、前記複数の複製ピクセルのうちの1つに対応する複製ピクセルを選択する前記選択モジュールの選択信号に反応して基準信号を出力し得る。
前記基準信号提供モジュールは、光の強度が増加する第1類型のイベントのための第1基準信号を出力する第1複製ピクセルと、光の強度が減少する第2類型のイベントのための第2基準信号を出力する第2複製ピクセルと、を含み得る。
上記目的を達成するためになされた本発明の一態様によるイベント基盤センサのピクセルは、光の強度を検出して前記検出された光の強度を示す第1信号を生成する検出回路と、前記第1信号に基づいて、前記光の強度の変化量を示す第2信号を生成する時変回路と、選択信号に反応して前記第2信号の強度と同一の強度の第3信号を出力するバッファ回路と、前記選択信号及びリセット信号の組合せに反応して前記時変回路をリセットするリセット回路と、を備える。
前記検出回路は、前記ピクセルに入射される光の強度を検出するフォトダイオードと、前記第1信号の強度が前記検出された光の強度に線形に比例するように前記フォトダイオードの出力を増幅する第1増幅器と、を含み得る。
前記時変回路は、前記検出回路に直列に接続されたキャパシタを含み得る。
前記時変回路は、前記第1信号の変化によって前記キャパシタに充電された電荷量を予め設定された比率で増幅する第2増幅器を更に含み得る。
前記リセット回路は、前記選択信号及び前記リセット信号の論理積を演算する論理積素子を含み、前記時変回路は、バイアス電圧及び前記論理積素子の出力に基づいて、前記キャパシタに充電された電荷量をリセットするスイッチを含み得る。
前記バッファ回路は、前記第2信号に基づいて前記第3信号を生成するソースフォロアーと、前記選択信号に反応して前記第3信号を出力するトランジスタと、を含み得る。
上記目的を達成するためになされた本発明の他の態様によるイベント基盤センサは、ピクセルを含むピクセルアレイと、前記ピクセルの行のピクセルを選択するロードライバと、前記選択されたピクセルのうちの1つに対応する入射光の強度の変化量を示す出力信号を生成する前記選択されたピクセルのそれぞれの出力信号に基づいて、前記選択されたピクセルのうちのイベントを検出した活性ピクセルを示すイベント信号を生成するイベント決定回路と、前記イベント信号に基づいて、前記活性ピクセルを示す情報を出力するデータ出力ロジック回路と、を備える。
前記イベント基盤センサは、前記イベント信号に基づいて、前記活性ピクセルにリセット信号を印加する論理和素子を更に含むことができる。
前記イベント決定回路は、前記出力信号が第1基準信号よりも大きいか否かを判断し、前記出力信号が前記第1基準信号よりも大きいと判断された場合、光の強度が増加する第1類型のイベントを示す第1イベント信号を生成する第1比較器と、前記出力信号が第2基準信号よりも小さいか否かを判断し、前記出力信号が前記第2基準信号よりも小さいと判断された場合、光の強度が減少する第2類型のイベントを示す第2イベント信号を生成する第2比較器と、を含み得る。
本発明によると、動的視覚センサ(DVS)を用いることでピクセルサイズを減少させることができ、イベント決定回路をピクセルの外部に置くことで、イベント決定回路にアナログ・デジタルコンバータ(ADC)を付加してもフォームファクターに大きい影響を与えることがない。
また、イベント決定回路にアナログ・デジタルコンバータを付加して工程過程で発生する各ピクセルの変化を容易に把握することができ、ピクセル毎の較正も可能である。
一実施形態によるイベント基盤センサのブロック図である。 一実施形態によるイベント基盤センサの構造を示すブロック図である。 一実施形態によるイベント基盤センサのピクセルの構造を示すブロック図である。 一実施形態によるイベント基盤センサのピクセルの回路図である。 他の実施形態による時変回路を含むピクセルの回路図である。 一実施形態によるイベントモジュールのブロック図である。 他の実施形態によるイベントモジュールのブロック図である。 他の実施形態によるイベント基盤センサの構造を示すブロック図である。 一実施形態による基準信号提供モジュールを含むイベント基盤センサの構造を示すブロック図である。 一実施形態によるピクセルと基準信号提供モジュールに含まれる複製ピクセルとの間の動作を説明するための図である。 一実施形態による複製ピクセルの構造を示すブロック図である。
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。各図面に示す同一の参照符号は同一の部材を示す。
本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味を持たない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
また、図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、それに対する重複説明を省略する。本実施形態の説明において、関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。
図1は、一実施形態によるイベント基盤センサのブロック図である。図1を参照すると、本実施形態によるイベント基盤センサ100は、ピクセルアレイ110、選択モジュール120、イベントモジュール130、及び出力モジュール140を含む。
ピクセルアレイ110は複数のピクセルを含む。複数のピクセルは、選択モジュール120の選択信号に反応して出力信号を出力する。一般的なセンサのピクセルが光の強度に対応する出力信号を出力する一方、ピクセルアレイ110に含まれるピクセルは、光の強度の変化量に対応する出力信号を出力する。ピクセルアレイ110は、例えば図2に示すピクセルアレイ210のように、2次元行列の構造を有する。ピクセルアレイ110に含まれる各ピクセルの構造は、図3〜図5を参照して後述する。
選択モジュール120は、ピクセルアレイ110に含まれる複数のピクセルのうちの一部を選択する。例えば、選択モジュール120は、ピクセルアレイ110に対応する2次元行列の構造に含まれる複数の行のうちのいずれか1つの行(row)を選択する。選択モジュール120は、予め設定された周期に応じて複数の行を順次選択する。一例として、選択モジュール120は、図2に示すロードライバ(row driver)220である。ロードライバ220は、複数の行のうちのいずれか1つの行を選択する選択信号を生成する。
選択モジュール120は特定の行を選択し、選択された行の全てのピクセルの信号はイベントモジュール130から出力される。イベントモジュール130は、列に対してイベントが発生したか否かを判断する。
イベントモジュール130は、選択モジュール120によって選択されたピクセルの出力信号に基づいて、選択されたピクセルのうちのイベントを検出した活性ピクセルに対応するイベント信号を生成する。イベントは、光の強度が変化するイベントである。活性ピクセルは、出力信号に対応する光の強度の変化量が予め設定された閾値以上であるピクセルである。例えば、イベントモジュール130は、出力信号を基準信号と比較する。基準信号は、光の強度の変化量が予め設定された閾値以上であるか否かを判断する基準となる信号である。イベントモジュール130は、基準信号よりも大きい出力信号を出力する活性ピクセルを検出し、検出された活性ピクセルに対応するイベント信号を生成する。
イベントモジュール130は、ピクセルアレイ110に対応する2次元行列の構造に含まれる複数の列に対応する複数のサブイベントモジュールを含む。サブイベントモジュールのそれぞれは、該当する列に属するピクセルの出力信号を基準信号と比較することによって、該当する列に属するピクセルが活性ピクセルであるか否かを判断する。サブイベントモジュールのそれぞれは、該当する列に属するピクセルが活性ピクセルであるという判断に応じてイベント信号を出力する。イベントモジュール130の構造については図6〜図7を参照して後述する。
イベントモジュール130は、活性ピクセルによって検出されたイベントの類型に応じて異なるイベント信号を生成する。例えば、イベントモジュール130は、活性ピクセルによって検出されたイベントが光の強度が増加する第1類型のイベントである場合、第1イベント信号を生成する。イベントモジュール130は、活性ピクセルによって検出されたイベントが光の強度が減少する第2類型のイベントである場合、第2イベント信号を生成する。
出力モジュール140は、イベントモジュール130で生成されたイベント信号に基づいて、活性ピクセルを示す情報を出力する。例えば、活性ピクセルを示す情報は、ピクセルアレイ110に対応する2次元行列の構造内の活性ピクセルのアドレスを含む。活性ピクセルのアドレスは、例えば(列、行)座標の形態である。一例として、出力モジュール140は、選択モジュール120によって選択された行から行座標を取得し、イベントモジュール130によって検出された活性ピクセルの列から列座標を取得する。出力モジュール140は、例えば図2に示すデータ出力ロジック回路240である。
以下、説明の便宜のために、選択モジュール120はピクセルアレイ110に対応する2次元行列の構造に含まれるいずれか1つの行を選択し、イベントモジュール130は選択された行に含まれる複数の列を処理する実施形態を説明するが、実施形態は多様に変形され得る。例えば、選択モジュール120はピクセルアレイ110に対応する2次元行列の構造に含まれるいずれか1つの列を選択し、イベントモジュール130は選択された列に含まれる複数の行を処理する。また、ピクセルアレイ110が2次元行列の構造に対応しない場合にも、選択モジュール120はピクセルアレイ110に含まれる複数のピクセルのうちの一部のピクセルを選択し、イベントモジュール130は選択されたピクセルの出力信号を処理する。
一実施形態において、出力モジュール140は、複数のサブ出力モジュールを含む。ここで、複数のサブ出力モジュールのそれぞれは、複数のサブイベントモジュールの一部に接続される。出力モジュール140が複数のサブ出力モジュールを含む実施形態については図8を参照して後述する。
図示していないが、イベント基盤センサ100は、リセットモジュールを更に含む。リセットモジュールは、イベントモジュール130によって生成されるイベント信号に基づいて活性ピクセルを初期化する。リセットモジュールは、イベント信号に反応して活性ピクセルにリセット信号を印加する。リセットモジュールは、例えば図2に示す第1イベント信号及び第2イベント信号の論理和素子251を含む。
イベントの発生を検出してイベント信号を生成及び出力する回路をピクセル毎にピクセル内に含む一般的なイベント基盤センサとは異なって、イベント基盤センサ100は、イベントの発生を検出してイベント信号を生成及び出力する回路をピクセルの外部に含む。そのため、本実施形態は、イベント基盤センサ100に含まれる個別のピクセルの大きさを減少させ、イベント基盤センサ100の生産単価を減少させる技術を提供する。
また、本実施形態は、イベント発生の有無をピクセルの外部で判断することによって、PVT(Process、Voltage、Temperature)変化などによって発生するピクセル間の偏差、ピクセル内アナログ回路の利得(gain)オフセット偏差などをピクセル単位に把握して調整する。そのため、本実施形態は、チップの収率を向上させ、生産単価を低下させることができる。
図2は、一実施形態によるイベント基盤センサの構造を示すブロック図である。図2を参照すると、本実施形態によるイベント基盤センサ200は、ピクセルアレイ210、ロードライバ220、制御ロジック回路225、イベントモジュール230、データ出力ロジック回路240、及びリセットモジュール250を含む。
ピクセルアレイ210は、例えばM(bit)×N(bit)(M、Nは自然数)の大きさを有する。Mはピクセルアレイ210の横の長さに対応し、Nはピクセルアレイ210の縦の長さに対応する。例えば、Mはピクセルアレイ210に含まれる列の個数であり、Nはピクセルアレイ210に含まれる行の個数である。ピクセルアレイ210は、例えばイベント基盤センサ200の解像度がVGA級である場合、640×480の大きさを有し、解像度がHD級である場合、1280×720の大きさを有し、解像度がフルHD(full HD)級の場合、1920×1080の大きさを有する。ピクセルアレイ210に含まれるピクセル213の構造は図3を参照して後述する。
ロードライバ220は、ピクセルアレイ210の各行に含まれるピクセルを選択する。ロードライバ220によって選択されたピクセルの出力信号VOUTは、ピクセルアレイ210の外部から出力される。ロードライバ220は、予め設定された周期に応じて、ピクセルアレイ210の2次元行列の構造に含まれる複数の行を順次選択する。
制御ロジック回路225は、データ出力ロジック回路240を制御する。例えば、制御ロジック回路225は、ロードライバ220及びデータ出力ロジック回路240が同期して動作するためのクロック(clock)を供給する。制御ロジック回路225からクロックが供給されると、ロードライバ220は、選択信号SELを用いてピクセルアレイ210の各行に含まれるピクセルを選択する。ここで、ピクセルアレイ210で選択された行に含まれるピクセルは、ロードライバ220の選択信号SELに反応し、ピクセルに入射される光の強度の変化量に対応する出力信号VOUTを出力する。
イベントモジュール230は、選択されたピクセルの出力信号VOUTに基づいて、選択されたピクセルのうちのイベントを検出した活性ピクセルに対応するイベント信号を生成する。イベントモジュール230は、例えば活性ピクセルによって検出されたイベントが光の強度が増加するイベントである場合、オン(ON)イベント信号を生成し、活性ピクセルによって検出されたイベントが光の強度が減少するイベントである場合、オフ(OFF)イベント信号を生成する。
また、イベントモジュール230は、2次元行列の構造に含まれる複数の列に対応する複数のサブイベントモジュールを含む。サブイベントモジュールは、例えばイベント決定回路(Event Decision Circuit)231である。
イベント決定回路231は、該当する列に属するピクセルによって出力された出力信号VOUTと基準信号VREF_ON及びVREF_OFFとを比較し、比較結果に基づいてオンイベント信号又はオフイベント信号を出力する。ここで、基準信号VREF_ON及びVREF_OFFは、外部から印加される。イベントモジュール230の構造及び動作については図6〜図7を参照して後述する。
データ出力ロジック回路240は、イベント決定回路によって生成されたイベント信号に基づいて、イベントを検出した活性ピクセルのアドレス(例えば、活性ピクセルの座標)をイベント基盤センサ200の外部に出力する。データ出力ロジック回路240は、クロック信号によってデータを単方向に出力する。一例として、データ出力ロジック回路240は、アドレスイベント表現(AER:Address Event Representation)信号を出力する。データ出力ロジック回路240は、ロードライバ220によって選択された行に属するピクセルのうちのイベントが発生した活性ピクセルのアドレスに該当するデータのみを選択的にAER信号として出力する。データ出力ロジック回路240は、活性ピクセルのアドレス以外に検出されたイベントの類型、イベントが検出された時間などのデータを更に出力する。他の例として、データ出力ロジック回路240は、ロードライバ220によって選択された行に属するピクセルの出力に該当するデータを全て直列データ(serial data)として出力する。
リセットモジュール250は、イベントモジュール230で出力されたイベント信号に反応して、活性ピクセルにリセット信号RESETを印加する。リセットモジュール250は、例えばピクセルアレイ210の各列に対応するM個の論理和素子251を含む。論理和素子251は、オンイベント信号及びオフイベント信号に対する論理和演算を行って活性ピクセルにリセット信号を印加する。
本実施形態によるイベント基盤センサ200は、イベント決定回路231及びデータ出力ロジック回路240を個別のピクセルから分離して構成することにより、個別のピクセルの大きさを減らすことができる。また、イベント基盤センサ200は、個別ピクセルを構成するアナログ回路の出力信号VOUTそのものをピクセルアレイ210の外部に出力することによって、ピクセルアレイ210に含まれるピクセル間の偏差を測定して調整することができる。
図3は、一実施形態によるイベント基盤センサのピクセルの構造を示すブロック図である。図3を参照すると、本実施形態によるピクセル300は、検出回路310、時変(time−varying)回路330、バッファ回路350、及びリセット回路370を含む。
検出回路310は、ピクセル300で検出された光の強度を示す第1電圧を生成する。例えば、検出回路310は、フォトダイオード313及び増幅器316を含む。フォトダイオード313は、ピクセル300に入射される光の強度を検出する。例えば、フォトダイオード313は、ピクセル300で受信した光の強度変化に対応する電流を出力する。増幅器316は、フォトダイオード313から出力された電流を第1電圧に変換する。増幅器316は、第1電圧の大きさがピクセル300で検出された光の強度に線形に比例するようにフォトダイオード313の出力を増幅する。例えば、フォトダイオード313から出力される電流の量は検出された光の強度に線形に比例しないことがある。この場合、増幅器316としてログ増幅器(logarithmic amplifier)又はログトランスインピーダンス増幅器(logarithmic transimpedance amplifier)を用いることによって、第1電圧の大きさを検出された光の強度に線形に比例させる。
時変回路330は、検出回路310で生成された第1電圧に基づいて、光の強度の変化量を示す第2電圧を生成する。例えば、時変回路330は、初期化時に第1電圧をキャパシタに格納し、格納された第1電圧を基準として第1電圧の変化量を第2電圧として出力する。時変回路330は、第1電圧の時変成分又はAC成分を用いて第2電圧を生成する。時変回路330は、第1電圧の変化量を示す第2電圧を生成することから、差動回路又は微分回路と称される。
バッファ回路350は、時変回路330で生成された第2電圧の大きさと同一の大きさの第3電圧を生成する。例えば、バッファ回路350は、ソースフォロアー(source follower)を用いて第3電圧を生成する。時変回路330は、選択モジュール(図1に示す120参照)から送信された選択信号SELに反応して第3電圧を出力する。選択信号SELは、ピクセル300のアナログ回路の出力電圧VOUTを読み出すための信号であって、第3電圧はピクセル300の出力電圧VOUTである。
リセット回路370は、選択モジュール(図1に示す120参照)から送信された選択信号SEL及びリセットモジュール(図2に示す250参照)から送信されたリセット信号RESETの組合せに反応して、例えば他の電圧を第1電圧に格納する方式で時変回路330を初期化する。例えば、リセット回路370は、ピクセル300の外部で選択信号SEL及びリセット信号RESETを共に受信した場合、時変回路330を初期化する。
図4は、一実施形態によるイベント基盤センサのピクセルの回路図である。図4を参照すると、本実施形態によるピクセル400は、検出回路410、時変回路430、バッファ回路450、及びリセット回路470を含む。
検出回路410は、フォトダイオード411、トランジスタMLOG413、及び第1増幅器415を含む。フォトダイオード411は、ピクセル400に入射される光の強度を検出する。フォトダイオード411によって検出された光の強度に対応してトランジスタMLOG413に電流が流れ、検出回路410から時変回路430に出力される第1電圧VPRが生成される。
ここで、トランジスタMLOG413に流れる電流の量は、検出された光の強度に線形に比例しないことがある。第1増幅器415は、第1電圧VPRの大きさがフォトダイオード411によって検出された光の強度に線形に比例するようにフォトダイオード411の出力電圧VPDをログスケールに増幅する。例えば、第1増幅器415はログトランスインピーダンス増幅器である。
時変回路430は、検出回路410で生成された第1電圧VPRに基づいて、光の強度の変化量を示す第2電圧を生成する。時変回路430は、第1キャパシタC431、第2増幅器433、第2キャパシタC435、及びスイッチ437を含む。
第1キャパシタC431は、第1増幅器415に直列に接続される。第1キャパシタC431は、検出回路410によって生成された第1電圧が変化するにつれて電荷を充電する。第2増幅器433は、第1キャパシタC431に充電された電荷によって発生する電圧を予め設定された比率で増幅する。第2増幅器433の増幅率は、第1キャパシタC431の容量と第2増幅器433に並列に接続された第2キャパシタC435の容量との比率で決定される。第2キャパシタC435は、フィードバックキャパシタである。第1キャパシタC431、第2キャパシタC435、及び第2増幅器433は、第1増幅器415のトランスインピーダンスの利得に追加的な電圧利得を提供する。
スイッチ437は、第2増幅器433及び第2キャパシタC435に並列に接続され、選択モジュールの選択信号SEL及びリセットモジュール(図2に示す250参照)からリセット回路470を経て送信されたリセット信号に応答して、第1キャパシタC431に充電された電荷をリセットする。スイッチ437は、例えばトランジスタスイッチである。
第1キャパシタC431は、リセット動作時に第1増幅器415の出力電圧を基準としてリセットされる。例えば、リセット動作時にスイッチ437によって第2増幅器433の入力と出力がショート(short)される。この場合、第1キャパシタC431の一端には第1増幅器415の出力電圧が印加され、第1キャパシタC431の他端には入力と出力がショートされた第2増幅器433の出力電圧が印加される。第1キャパシタC431は、両端の電位差に該当する電圧を格納する。このように、リセット動作時、第1キャパシタC431に格納される電圧は第1増幅器415の出力電圧に依存することから、以下ではリセット動作時に第1増幅器415の出力電圧をリセット基準電圧と称する。
バッファ回路450は、ソースフォロアーMOUT451及びトランジスタMSEL453を含む。ソースフォロアーMOUT451は、時変回路430で生成された第2電圧に基づいて第2電圧と実質的に同じ電圧の第3電圧を生成する。例えば、ソースフォロアーMOUT451のゲート端子に第2電圧が印加されると、ソースフォロアーMOUT451のソース端子に第3電圧が生成される。トランジスタMSEL453は、選択モジュールの選択信号SELに反応して出力電圧VOUTに第3電圧を出力する。一例として、第3電圧は、第2電圧からソースフォロアーMOUT451のゲート−ソース電圧VGSを差し引いた電圧である。
リセット回路470は、選択信号SEL及びリセット信号RESETの組合せに反応して時変回路430をリセットする。リセット回路470は、選択信号及びリセット信号の論理積(AND)演算する論理積素子を含む。時変回路430に含まれるスイッチ437は、論理積素子の出力により第2キャパシタC435に充電された電荷量をリセットする。
図5は、他の実施形態による時変回路を含むピクセルの回路図である。図5を参照すると、本実施形態によるピクセル500は、検出回路510、時変回路530、バッファ回路550、及びリセット回路570を含む。ここで、検出回路510、バッファ回路550、及びリセット回路570の動作は、図4に示した検出回路410、バッファ回路450、及びリセット回路470と同一であるため、詳細な説明を省略する。
時変回路530は、第1キャパシタC531及びスイッチ533を含む。第1キャパシタC531は、第1増幅器515に直列に接続される。スイッチ533は、リセット回路570により制御されて第1キャパシタC531をリセットする。リセット動作時、第1キャパシタC531は、リセット基準電圧(例えば、第1増幅器515の出力電圧)とバイアス電圧VBIASとの間の電位差を格納する。
図5に示す実施形態によると、図4に示す時変回路430に含まれる第2増幅器433及び第2キャパシタC435を除去することによってピクセルの大きさを更に減少させることができる。
図6は、一実施形態によるイベントモジュールのブロック図である。図6を参照すると、本実施形態によるイベントモジュール600は、第1比較器610及び第2比較器650を含む。
第1比較器610は、活性ピクセルによって検出されたイベントがオンイベントであるか否かを決定するために、第1基準信号VREF_ONとピクセルの出力信号VOUTとを比較する。第1比較器610は、出力信号VOUTが第1基準信号VREF_ONよりも大きい場合、オンイベント信号を生成する。
第2比較器650は、活性ピクセルによって検出されたイベントがオフイベントであるか否かを決定するために、第2基準信号VREF_OFFと出力信号VOUTとを比較する。第2比較器650は、出力信号VOUTが第2基準信号VREF_OFFよりも小さい場合、オフイベント信号を生成する。
イベントモジュール600は、アナログ・デジタルコンバータ(ADC)630を更に含む。アナログ・デジタルコンバータ630は、校正(calibration)のためのデジタル出力信号DOUTとして出力信号VOUTの強度を測定する。アナログ・デジタルコンバータ630は、n−bitアナログ・デジタルコンバータである。n−bitアナログ・デジタルコンバータは、出力信号VOUTの強度を2段階に測定する。例えば、アナログ・デジタルコンバータ630が2−bitアナログ・デジタルコンバータである場合、出力信号VOUTの強度は基準信号VREFHとVREFLとのの間で「00」、「01」、「10」、「11」の4段階に測定される。アナログ・デジタルコンバータ630は、出力信号VOUTの強度を、例えば、基準信号VREFL未満、基準信号VREFLから0まで、0から基準信号VREFHまで、及び基準信号VREFH超過といった4段階に測定する。
本実施形態によると、アナログ・デジタルコンバータ630によって各ピクセルの出力値を正確に把握することができ、これによりピクセル毎の調整が可能になる。例えば、ピクセル間の偏差によってリセット動作時に各ピクセルのリセット基準電圧に変化が発生した場合、或いは各ピクセルの光電流(photocurrent)と出力信号VOUTの電圧との間のトランスインピーダンスの利得に偏差が生じた場合、同じ照度変化を検出してもピクセル毎に出力信号VOUTが変化する。このように変化した出力信号VOUTは、イベントモジュール内の固定パターンのノイズを発生させることになる。
ピクセル間の偏差(variation)は、同じ照明変化にも拘わらず、ピクセルがそれぞれ異なる大きさの出力信号を出力するときに生成される偏差を示す。アナログ・デジタルコンバータ630は、ピクセルのそれぞれの出力信号の大きさとしてnビット(例えば、デジタル出力信号DOUT)を出力する。イベント基盤センサ100を用いるホストシステムは、アナログ・デジタルコンバータ630のデジタル出力信号DOUTに基づいてピクセル間の偏差を校正する。例えば、ピクセル間の偏差に関する情報を取得するため、照明環境を制御して同じ照明変化が全てのピクセルによって検出されるようにする。
一実施形態において、ピクセル間の偏差によってピクセルが同じ照明変化を検出しても、それぞれ異なる大きさの信号が出力される。ホストシステムは、アナログ・デジタルコンバータ630を用いて、同じ照明変化に基づくピクセルのそれぞれの出力信号の大きさに関する情報を収集する。
ホストシステムは、収集された情報に基づいてピクセル間の偏差に関する情報を生成する。ホストシステムは、ピクセル間の偏差に関する情報に基づいて、実際の動作環境でピクセルのそれぞれの出力信号の大きさを校正する。
図7は、他の実施形態によるイベントモジュールのブロック図である。図7を参照すると、本実施形態によるイベントモジュール700は、低解像度アナログ・デジタルコンバータ710及び低解像度アナログ・デジタルコンバータ750を含む。
イベントモジュール700は、図6に示した1つの比較電圧VREF_ON(又はVREF_OFF)を用いる比較器610、650に代って、2つの基準電圧を用いる低解像度アナログ・デジタルコンバータ710及び低解像度アナログ・デジタルコンバータ750を用いる。
低解像度アナログ・デジタルコンバータ710及び低解像度アナログ・デジタルコンバータ750を用いる場合、図6に示した1つの比較電圧VREF_ON(又はVREF_OFF)を用いる比較器610、650から出力される1−ビットのオン(ON)(又はオフ(OFF))イベント信号の代わりに、マルチ−ビットのオン(又はオフ)イベント信号が出力される。
低解像度アナログ・デジタルコンバータ710は、770に示すようにVREF_ONの電圧範囲773に該当する2つの基準電圧VREFH_ON及びVREFL_ONを用いる。また、低解像度アナログ・デジタルコンバータ750は、VREF_OFFの電圧範囲776に該当する2つの基準電圧VREFH_OFF及びVREFL_OFFを用いる。
イベントモジュール700は、このように出力されたマルチ−ビットのオン(又はオフ)イベント信号を用いてバック・エンド(back−end)で既に知っているピクセル間の変化情報に基づいて、ピクセルで発生したイベントがオンイベントであるか又は変化によるオフイベントであるかを判別する。
例えば、2つの基準電圧がアナログ・デジタルコンバータで用いられる場合、2つの基準電圧の間の間隔をnビットに分割し、nビットを出力する。アナログ・デジタルコンバータの解像度(ADC resolution)に応じて、2ビットの代わりに、例えば、
Figure 0006962670
のようにnビットを出力する。
基準電圧VREFH及びVREFL間の基準信号は、抵抗性/容量性電圧分配(resistive/capacitive voltage dividing)によって生成されるか、或いは容量性電荷分配(capacitive charge sharing)によって生成されるなど、他の様々な方法を用いてもよい。
基準信号を生成する方法は、設計仕様や、或いは設計される分野に応じて設計者によって決定される。また、アナログ・デジタルコンバータ(ADC)の動作電圧は、基準電圧VREFHよりも高いか、又は低いこともある。フラッシュアナログ・デジタルコンバータ(ADC)の構造は、6ビット以下の低解像度で使用される。
図7に示すように、マルチ−ビットのオン(又はオフ)イベント信号が生成される場合、リセット信号は、マルチ−ビットのオン(又はオフ)イベント信号に基づいてバック・エンドで生成される。この場合、システム内のリセットモジュールは、リセット信号を直接生成する代わりに、バック・エンドで生成されたリセット信号を当該ピクセルに送信する役割を果たす。
イベントモジュール700は、高解像度アナログ・デジタルコンバータ730を更に含む。高解像度アナログ・デジタルコンバータ730は、デジタル出力信号DOUTとしてピクセルの出力信号VOUTの強度を測定する。例えば、高解像度アナログ・デジタルコンバータ730がn−bitアナログ・デジタルコンバータである場合、n−bitアナログ・デジタルコンバータは、出力信号VOUTの強度を2段階で測定する。上述したように、高解像度アナログ・デジタルコンバータ730は、ピクセル毎の偏差を調整するために使用される。
図8は、他の実施形態によるイベント基盤センサの構造を示すブロック図である。図8を参照すると、本実施形態によるイベント基盤センサ800は、ピクセルアレイ810、ロードライバ820、イベントモジュール830、データ出力ロジック回路840、リセットモジュール850、及び制御ロジック回路825を含む。
図2に示したイベント基盤センサ200のデータ出力ロジック回路240とは異なって、図8に示すデータ出力ロジック回路840は、例えばピクセルアレイ810に含まれるM個の列に対応するM個のサブ出力モジュールを有する。複数のサブ出力モジュールのそれぞれは、複数のサブイベントモジュール及び論理和素子のうちの一部に接続される。
例えば、サブ出力モジュールが並列にM個ある場合、M個のサブ出力モジュールのうちの第1サブ出力モジュール841はピクセルアレイ810の最初の列811で出力された出力信号VOUT[0]を処理するイベント決定回路831及び最初の列811に含まれる活性ピクセルにリセット信号RESET[0]を送信する論理和素子851に接続される。第1サブ出力モジュール841は、最初の列811を除いた残りのM−1個の列の動作を考慮しない。
サブ出力モジュールは、図2に示すデータ出力ロジック回路240に比べて更に少ないビットのAER信号を出力する。例えば、サブ出力モジュールが4個である場合、各サブ出力モジュールはAER信号の下位2ビットを除いて出力する。
AER信号を受信する外部装置は、どのサブ出力モジュールからAER信号を受信したかに基づいて下位2ビットを復元する。例えば、第1サブ出力モジュールは00に該当し、第2サブ出力モジュールは01に該当し、第3サブ出力モジュールは10に該当し、第4サブ出力モジュールは11に該当する。
その他の構成要素に対する説明は、図2に開示した構成要素の動作と同一であるため、詳細な説明を省略する。
図9は、一実施形態による基準信号提供モジュールを含むイベント基盤センサの構造を示すブロック図である。図9を参照すると、本実施形態によるイベント基盤センサ900は、ピクセルアレイ910、ロードライバ920、制御ロジック回路925、イベントモジュール930、データ出力ロジック回路940、リセットモジュール950、及び基準信号提供モジュール960を含む。
ここで、ピクセルアレイ910、ロードライバ920、制御ロジック回路925、イベントモジュール930、データ出力ロジック回路940、及びリセットモジュール950の動作は、図2に示したピクセルアレイ210、ロードライバ220、制御ロジック回路225、イベントモジュール230、データ出力ロジック回路240、及びリセットモジュール250の動作と同一であるため、詳細な説明を省略する。
基準信号提供モジュール960は、電圧降下を補償した基準信号をイベントモジュール930に提供する。基準信号提供モジュール960は、ピクセルアレイ910の2次元行列の構造に含まれる複数の行に対応する複数の複製ピクセルを含む。例えば、複製ピクセル963、966は、ピクセルアレイ910の第1行に対応する。複製ピクセル963、966は、第1行を選択するSEL[0]信号に反応して基準信号を出力する。
制御ロジック回路925からクロックが供給されると、ロードライバ920は、選択信号SELを用いてピクセルアレイ910の各行に含まれるピクセルを選択する。ここで、選択信号SELは、ピクセルアレイ910の各行のみならず、基準信号提供モジュール960の各行にも同一に提供され、基準信号提供モジュール960に含まれる複製ピクセルは出力信号(即ち、基準信号)を出力する。
ピクセルアレイ910に含まれるピクセルがロードライバ920の選択信号に反応して、光の強度の変化量に対応する出力信号を出力することとは異なり、複製ピクセルは、予め設定された基準信号VREF_ON又はVREF_OFFを出力する。
複製ピクセルによって出力された基準信号は、イベントモジュール930に供給され、ピクセルの出力信号VOUTとの比較に使用される。ピクセルアレイ910に含まれるピクセルと基準信号提供モジュール960に含まれる複製ピクセルとの間の動作は図10を参照して説明する。
図10は、一実施形態によるピクセルと基準信号提供モジュールに含まれる複製ピクセルとの間の動作を説明するための図であり、ピクセルアレイに含まれるピクセル1010及び基準信号提供モジュールに含まれる複製ピクセル1030を示す。上述したように、ロードライバによってピクセル1010に選択信号が送信されると、ピクセル1010はロードライバの選択信号に反応し、当該ピクセルに入射される光の強度の変化量に対応する出力信号を出力する。
出力信号は、導線によってイベントモジュールに送信される。ここで、導線は内部抵抗を有するが、ピクセルが属する行の位置に応じて、当該ピクセルから出力される出力信号が有する電圧降下の量はそれぞれ異なる。
例えば、イベントモジュールに最も近い行のピクセル1013の出力信号は、1つの抵抗成分による電圧降下を有した後に直ちにイベントモジュールに送信される。一方、イベントモジュールに最も遠い行のピクセル1011の出力信号は、複数の抵抗成分による電圧降下を有した後にイベントモジュールに送信される。
このようにイベントモジュールに伝えられる出力信号は、電圧降下によって本来のピクセル1011で出力された信号と異なる値を有することがある。イベントモジュールが全てのピクセルの出力信号を同一の基準信号と比較した場合、ピクセルの位置による電圧降下によって誤差が発生する可能性がある。
本実施形態による基準信号提供モジュールは、このような電圧降下を考慮して、ピクセルの出力信号が送信過程で有する抵抗成分と同様に、基準信号VREFも同じ抵抗成分によって電圧降下を有するようにして、電圧降下を補償した基準信号BUF_VREFが出力されるようにする。
再び図9を参照すると、基準信号提供モジュール960は、光の強度が増加する第1類型のイベントのための第1基準信号BUF_VREF_ONを出力する第1複製ピクセル963、及び光の強度が減少する第2類型のイベントのための第2基準信号BUF_VREF_OFFを出力する第2複製ピクセル966を含む。
基準信号提供モジュールに入力される基準信号VREF_ON、VREF_OFFは、イベントモジュールで受信したピクセルの出力信号が、光の強度が増加する第1類型のイベントであるか、又は光の強度が減少する第2類型のイベントであるかを判断する基準に該当する。本実施形態では、基準信号VREF_ON、VREF_OFFもピクセルの出力信号と同様の電圧降下を有するようにすることで、電圧降下による誤動作を防止する。
図11は、一実施形態による複製ピクセルの構造を示すブロック図である。図11を参照すると、本実施形態による複製ピクセル1100はバッファ回路1150を含む。
バッファ回路1150は、選択モジュール(図1に示す120参照)から送信された選択信号SELに反応して、バッファ回路350に入力された基準信号VREFと同一の大きさの電圧を有する出力信号VOUTを出力する。バッファ回路350はソースフォロアーを含む。
複製ピクセル1100は、フォトダイオード1113及び増幅器1116を含む検出回路1110、時変回路1130、及びリセット回路1170を更に含む。ここで、先に説明したピクセルの構造とは異なり、複製ピクセル1100に含まれる時変回路1130の出力はバッファ回路1150に接続されない。また、リセット回路1170のリセット信号を受信する入力端にはグラウンドGND信号が印加される。
複製ピクセルに含まれる検出回路1110、時変回路1130、及びリセット回路1170は図3に示した検出回路310、時変回路330、リセット回路370のそれぞれと同一に構成され、また、イベントを検出するためのものではないが、実際のチップの生産時に回路設計の複雑度を低くするために一般的なピクセルと同一に備えられる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的のコンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置が1つ使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアはコンピュータプログラム、コード、命令、又はこれらのうちの1つ以上の組合せを含み、希望通りに動作するように処理装置を構成するか又は独立的若しくは結合的に処理装置を構成して命令する。ソフトウェア及び/又はデータは、処理装置によって解釈されるか又は処理装置に命令若しくはデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ記録媒体又は装置、送信される信号波によって永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは1つ以上のコンピュータ読み取り可能な記録媒体に格納される。
本実施形態による方法は、多様なコンピュータ手段を介して様々な処理を実行するプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。コンピュータ読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などのうちの1つ又はその組合せを含む。記録媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、光ディスクのような光磁気媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行される高級言語コードが含まれる。ハードウェア装置は、本発明の動作を実行するために1つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の実施形態から逸脱しない範囲内で多様に変更実施することが可能である。
100、200、800、900 イベント基盤センサ
110、210、500、810 ピクセルアレイ
120 選択モジュール
130、230、600、700、830、930 イベントモジュール
140 出力モジュール
150、250、850、950 リセットモジュール
213、300、400、1010、1011、1013 ピクセル
220、820、920 ロードライバ
225、825、925 制御ロジック回路
231、831 イベント決定回路
240、840、940 データ出力ロジック回路
310、410、510、1110 検出回路
313、411、511、1113 フォトダイオード
316、515、1116 増幅器
330、430、530、1130 時変回路
350、450、550、1150 バッファ回路
370、470、570、1170 リセット回路
413、513 トランジスタMLOG
415 第1増幅器
431 第1キャパシタC
433 第2増幅器
435 第2キャパシタC
437 リセット動作時スイッチ
451、551 ソースフォロアーMOUT
453、553 トランジスタMSEL
531 第1キャパシタC
533 スイッチ
610 第1比較器
630 アナログ・デジタルコンバータ(ADC)
650 第2比較器
710、750 低解像度アナログ・デジタルコンバータ
730 高解像度アナログ・デジタルコンバータ
773 VREF_ONの電圧範囲
776 VREF_OFFの電圧範囲
811 最初の列
841 第1サブ出力モジュール
851 論理和素子
960 基準信号提供モジュール
963、966、1030、1100 複製ピクセル

Claims (19)

  1. 複数のピクセルを含むピクセルアレイと、
    前記複数のピクセルのうちの一部を選択する選択モジュールと、
    前記選択されたピクセルの一部の出力信号に基づいて、前記選択されたピクセルのうちのイベントを検出した活性ピクセルを示すイベント信号を生成するイベントモジュールと、
    前記イベント信号に基づいて、前記活性ピクセルを示す情報を出力する出力モジュールと、を備え
    前記イベントモジュールは、
    前記活性ピクセルが光の強度が増加する第1類型のイベントを検出した場合、第1イベント信号を生成し、
    前記活性ピクセルが光の強度が減少する第2類型のイベントを検出した場合、第2イベント信号を生成することを特徴とするイベント基盤センサ。
  2. 前記イベントは、光の強度が変化するイベントを含むことを特徴とする請求項1に記載のイベント基盤センサ。
  3. 前記イベント信号は、前記活性ピクセルのアドレスを含むことを特徴とする請求項1に記載のイベント基盤センサ。
  4. 前記複数のピクセルのそれぞれは、前記選択モジュールの選択信号に反応して光の強度の変化量を示す出力信号を出力することを特徴とする請求項1に記載のイベント基盤センサ。
  5. 前記イベント信号に基づいて、前記活性ピクセルをリセットするリセットモジュールを更に含むことを特徴とする請求項1に記載のイベント基盤センサ。
  6. 前記リセットモジュールは、前記イベント信号に反応して前記活性ピクセルにリセット信号を印加することを特徴とする請求項5に記載のイベント基盤センサ。
  7. 前記ピクセルアレイは、2次元行列の構造を有し、
    前記選択モジュールは、予め設定された周期に応じて前記2次元行列の構造に含まれる複数の行を順次選択することを特徴とする請求項1に記載のイベント基盤センサ。
  8. 前記イベントモジュールは
    前記イベント信号を生成するために前記出力信号のうちの1つの出力信号と基準信号とを比較する比較器と、
    前記出力信号の大きさを測定するアナログ・デジタルコンバータと、を含むことを特徴とする請求項1に記載のイベント基盤センサ。
  9. 前記イベントモジュールは、
    前記イベント信号を生成するために複数の基準信号と前記出力信号のうちの1つの出力信号とを比較する低解像度アナログ・デジタルコンバータと、
    前記出力信号の大きさを測定する高解像度アナログ・デジタルコンバータと、を含むことを特徴とする請求項1に記載のイベント基盤センサ。
  10. 前記ピクセルアレイは、2次元行列の構造を有し、
    前記イベントモジュールは、前記2次元行列の構造に含まれる複数の列に対応する複数のサブイベントモジュールを含むことを特徴とする請求項1に記載のイベント基盤センサ。
  11. 前記出力モジュールは、複数のサブ出力モジュールを含み、
    前記複数のサブ出力モジュールのそれぞれは、前記複数のサブイベントモジュールに対応するそれぞれのサブイベントモジュールに接続されることを特徴とする請求項10に記載のイベント基盤センサ。
  12. 前記複数のピクセルのそれぞれは、
    光の強度を検出して前記検出された光の強度を示す第1電圧を生成する検出回路と、
    前記第1電圧に基づいて、前記光の強度の変化量を示す第2電圧を生成する時変回路と、
    前記複数のピクセルのうちの1つに対応するピクセルを選択する前記選択モジュールの選択信号に反応して前記第2電圧の大きさと同一の大きさの第3電圧を出力するバッファ回路と、を含むことを特徴とする請求項1に記載のイベント基盤センサ。
  13. 前記検出回路は、
    前記複数のピクセルのうちの1つに対応して入射される光の強度を検出するフォトダイオードと、
    前記第1電圧の大きさが前記検出された光の強度に線形に比例するように前記フォトダイオードの出力を増幅する増幅器と、を含むことを特徴とする請求項12に記載のイベント基盤センサ。
  14. 前記時変回路は、前記検出回路に直列に接続されたキャパシタを含むことを特徴とする請求項12に記載のイベント基盤センサ。
  15. 前記時変回路は、前記第1電圧の変化によって前記キャパシタに充電された電荷量を予め設定された比率で増幅する第2増幅器を更に含むことを特徴とする請求項14に記載のイベント基盤センサ。
  16. 前記時変回路は、前記複数のピクセルのうちの1つに対応するピクセルを選択する前記選択モジュールの選択信号と前記イベント信号に反応して生成されたリセット信号とに基づいて、前記キャパシタに充電された電荷量をリセットするスイッチを更に含むことを特徴とする請求項14に記載のイベント基盤センサ。
  17. 前記バッファ回路は、
    前記第2電圧に基づいて前記第3電圧を生成するソースフォロアーと、
    前記複数のピクセルのうちの1つに対応するピクセルを選択する前記選択モジュールの選択信号に反応して前記第3電圧を出力するトランジスタと、を含むことを特徴とする請求項12に記載のイベント基盤センサ。
  18. 電圧降下を補償した基準信号を前記イベントモジュールに提供する基準信号提供モジュールを更に含むことを特徴とする請求項1に記載のイベント基盤センサ。
  19. 前記ピクセルアレイは、2次元行列の構造を有し、
    前記基準信号提供モジュールは、前記2次元行列の構造に含まれる複数の行に対応する複数の複製ピクセルを含み、
    前記複数の複製ピクセルのそれぞれは、前記複数の複製ピクセルのうちの1つに対応する複製ピクセルを選択する前記選択モジュールの選択信号に反応して基準信号を出力することを特徴とする請求項18に記載のイベント基盤センサ。
JP2016133947A 2015-09-01 2016-07-06 イベント基盤センサ Active JP6962670B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0123603 2015-09-01
KR1020150123603A KR102523136B1 (ko) 2015-09-01 2015-09-01 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀

Publications (3)

Publication Number Publication Date
JP2017050853A JP2017050853A (ja) 2017-03-09
JP2017050853A5 JP2017050853A5 (ja) 2019-08-15
JP6962670B2 true JP6962670B2 (ja) 2021-11-05

Family

ID=56134145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016133947A Active JP6962670B2 (ja) 2015-09-01 2016-07-06 イベント基盤センサ

Country Status (5)

Country Link
US (1) US10161789B2 (ja)
EP (1) EP3139595B1 (ja)
JP (1) JP6962670B2 (ja)
KR (1) KR102523136B1 (ja)
CN (1) CN106488151B (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6791667B2 (ja) * 2015-07-16 2020-11-25 株式会社半導体エネルギー研究所 撮像装置
US10855927B2 (en) * 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
KR102282140B1 (ko) * 2017-03-08 2021-07-28 삼성전자주식회사 픽셀, 픽셀 구동 회로 및 이를 포함하는 비전 센서
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10237481B2 (en) * 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11245861B2 (en) * 2017-10-30 2022-02-08 Sony Semiconductor Solutions Corporation Solid-state imaging element
FR3073979A1 (fr) 2017-11-21 2019-05-24 Commissariat A L'energie Atomique Et Aux Energies Alternatives Capteur d'images a grande gamme dynamique
TW202408216A (zh) * 2018-01-23 2024-02-16 日商索尼半導體解決方案公司 光檢測裝置
US10827142B2 (en) * 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure
US11212468B2 (en) * 2018-03-14 2021-12-28 Sony Advanced Visual Sensing Ag Event-based vision sensor with direct memory control
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker
EP3806451B1 (en) * 2018-06-01 2022-06-01 Sony Semiconductor Solutions Corporation Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) * 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
JP7176917B2 (ja) * 2018-10-02 2022-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び撮像装置
JP7329318B2 (ja) * 2018-10-25 2023-08-18 ソニーグループ株式会社 固体撮像装置及び撮像装置
JP2020072316A (ja) 2018-10-30 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 電子回路、固体撮像素子、および、電子回路の制御方法
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
JP2020088722A (ja) 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
US11089191B2 (en) * 2018-12-18 2021-08-10 Sony Semiconductor Solutions Corporation Image sensor, recording apparatus, and reset method
KR102640070B1 (ko) 2019-01-23 2024-02-27 애플 인크. 이벤트 구동 센서들을 위한 픽셀 크기 축소 방법
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
CN113647095A (zh) 2019-03-27 2021-11-12 苹果公司 具有反馈回路和多个功率状态的传感器系统架构
WO2020197972A1 (en) * 2019-03-27 2020-10-01 Ocelot Laboratories Llc Hardware implementation of sensor architecture with multiple power states
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
KR20210000985A (ko) * 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
KR20210006106A (ko) * 2019-07-08 2021-01-18 삼성전자주식회사 다이내믹 비젼 센서의 이벤트 보정 방법 및 이를 수행하는 이미지 센서 장치
US11653120B2 (en) 2019-08-28 2023-05-16 Sony Interactive Entertainment Inc. Sensor system, image processing apparatus, image processing method, and program
WO2021038751A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント センサシステム、画像処理装置、画像処理方法およびプログラム
JP7489189B2 (ja) * 2019-08-30 2024-05-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11195869B2 (en) * 2019-09-05 2021-12-07 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with shared circuit elements
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
KR20220079972A (ko) * 2019-11-12 2022-06-14 애플 인크. 저전력 동기식 판독을 이용하는 센서
JP2021082883A (ja) * 2019-11-15 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 イベント検出装置
JP2021103842A (ja) * 2019-12-25 2021-07-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
JP2021129265A (ja) * 2020-02-17 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 センサ装置、読み出し方法
JP2023037041A (ja) * 2020-02-18 2023-03-15 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置
JP2023040318A (ja) * 2020-02-26 2023-03-23 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
KR20210133341A (ko) 2020-04-28 2021-11-08 삼성전자주식회사 이미지 센서
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
CN111770245B (zh) * 2020-07-29 2021-05-25 中国科学院长春光学精密机械与物理研究所 一种类视网膜图像传感器的像素结构
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
EP4315833A1 (en) * 2021-03-26 2024-02-07 Sony Semiconductor Solutions Corporation Pixel circuit and solid-state imaging device
JP2023003308A (ja) * 2021-06-23 2023-01-11 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器、および光検出方法
JP2023032216A (ja) * 2021-08-26 2023-03-09 ソニーセミコンダクタソリューションズ株式会社 光検出デバイスおよび光検出装置
US11979675B2 (en) * 2022-04-25 2024-05-07 Sony Semiconductor Solutions Corporation Image sensing device with event based vision sensor pixels and imaging pixels
CN115396612B (zh) * 2022-10-27 2023-03-24 深圳时识科技有限公司 抑制噪声事件的像素电路及传感器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7173741B1 (en) * 2000-12-13 2007-02-06 National Semiconductor Corporation System and method for handling bad pixels in image sensors
JP4727947B2 (ja) 2004-05-21 2011-07-20 株式会社島津製作所 光検出回路
US7808538B2 (en) * 2007-01-22 2010-10-05 Omnivision Technologies, Inc. Image sensors with blooming reduction mechanisms
US7760258B2 (en) 2007-03-07 2010-07-20 Altasens, Inc. Apparatus and method for stabilizing image sensor black level
JP4311482B2 (ja) 2007-05-17 2009-08-12 ソニー株式会社 撮像回路、cmosセンサ、および撮像装置
JP5098831B2 (ja) * 2008-06-06 2012-12-12 ソニー株式会社 固体撮像素子およびカメラシステム
WO2010084493A1 (en) 2009-01-26 2010-07-29 Elbit Systems Ltd. Optical pixel and image sensor
JP5127862B2 (ja) * 2010-03-24 2013-01-23 株式会社東芝 固体撮像装置
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
JP2015035637A (ja) 2011-11-30 2015-02-19 パナソニック株式会社 固体撮像装置およびカメラ
JP5893572B2 (ja) * 2012-03-01 2016-03-23 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
KR101887988B1 (ko) 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR101896666B1 (ko) 2012-07-05 2018-09-07 삼성전자주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US9667898B2 (en) 2012-10-05 2017-05-30 Rambus Inc. Conditional-reset, multi-bit read-out image sensor
KR20140056986A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
KR102054774B1 (ko) 2013-09-10 2019-12-11 삼성전자주식회사 동적 비전 센서, 조도 센서, 및 근접 센서 기능을 구비한 이미지 장치
EP3047647B1 (en) 2013-09-16 2020-05-27 Prophesee Dynamic, single photodiode pixel circuit and operating method thereof

Also Published As

Publication number Publication date
CN106488151A (zh) 2017-03-08
US10161789B2 (en) 2018-12-25
CN106488151B (zh) 2020-10-23
KR20170027107A (ko) 2017-03-09
US20170059399A1 (en) 2017-03-02
EP3139595B1 (en) 2019-02-13
EP3139595A1 (en) 2017-03-08
KR102523136B1 (ko) 2023-04-19
JP2017050853A (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
JP6962670B2 (ja) イベント基盤センサ
US11481066B2 (en) Providing a baseline capacitance for a capacitance sensing channel
US10516838B2 (en) Event-based sensor and event-based sensing method
US11579677B2 (en) Memristor crossbar arrays to activate processors
US20160026295A1 (en) Generating a baseline compensation signal based on a capacitive circuit
US11582410B2 (en) Dynamic vision sensor and image processing device including the same
US20170184645A1 (en) Capacitance detection apparatus and input apparatus
US20190101578A1 (en) Resolution adjustment for capacitive touch sensor
US20230217123A1 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US9635277B2 (en) Image sensor, image sensing method, and image photographing apparatus including image sensor
US20140191796A1 (en) Semiconductor device and command control method for the same
US20220247953A1 (en) Image sensor chip and sensing method thereof
US11418735B2 (en) Image processing device including vision sensor and operating method thereof
US9495036B2 (en) Input system utilizing stylus pen which receives electrical signals via connection link
US20220191370A1 (en) Vision sensor and operating method thereof
KR102246873B1 (ko) 이미지 센서가 생성한 픽셀 이미지의 불량 화소 제거 방법, 상기 방법을 이용한 이미지 센서, 및 상기 방법을 이용한 애플리케이션 프로세서
KR102392473B1 (ko) 인터페이싱 장치 및 사용자 입력 처리 방법
US8907827B2 (en) A/D converter reference calibration
EP4093021A1 (en) Vision sensor and operating method thereof
JP6219264B2 (ja) 入力装置とその制御方法及びプログラム
US10539419B2 (en) Method and apparatus for reducing sensor power dissipation
Kersten et al. Ongoing studies for the control system of a serially powered ATLAS pixel detector at the HL-LHC
Gupta et al. Efficient implementation of high performance Read out Integrated Circuit

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211014

R150 Certificate of patent or registration of utility model

Ref document number: 6962670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150