JP2023526153A - メモリスタを用いたai融合ピクセルセンサ - Google Patents

メモリスタを用いたai融合ピクセルセンサ Download PDF

Info

Publication number
JP2023526153A
JP2023526153A JP2022554849A JP2022554849A JP2023526153A JP 2023526153 A JP2023526153 A JP 2023526153A JP 2022554849 A JP2022554849 A JP 2022554849A JP 2022554849 A JP2022554849 A JP 2022554849A JP 2023526153 A JP2023526153 A JP 2023526153A
Authority
JP
Japan
Prior art keywords
voltage
cell
transistor
active pixel
reset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022554849A
Other languages
English (en)
Other versions
JP7505016B2 (ja
Inventor
イェン、ウェンボウ
ジェイ、ニング
Original Assignee
テトラメム、インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テトラメム、インク. filed Critical テトラメム、インク.
Publication of JP2023526153A publication Critical patent/JP2023526153A/ja
Application granted granted Critical
Publication of JP7505016B2 publication Critical patent/JP7505016B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443Sum of products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10NELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N70/00Solid-state devices having no potential barriers, and specially adapted for rectifying, amplifying, oscillating or switching
    • H10N70/20Multistable switching devices, e.g. memristors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

Figure 2023526153000001
メモリスタを有するアクティブピクセルセンサを用いた、MLP用のAI融合ピクセルセンサに関する技術が開示される。装置の一例は、複数のアクティブピクセルセンサを含む。当該アクティブピクセルセンサの各々は、画像信号を受信するように構成されたフォトダイオードと、転送ゲートと、セレクタコントローラと、リセットコントローラと、電圧読み出し端と、当該電圧読み出し端に接続された第1の1T1Rセル、第2の1T1Rセル、及び第3の1T1Rセルと、第1の1T1Rセル、第2の1T1Rセル、及び第3の1T1Rセルにそれぞれ接続された、第1電流読み出し端と、第2電流読み出し端と、及び第3電流読み出し端と、を含む。前記装置は、各アクティブピクセルセンサの全ての電流読み出し端の電流の合計にその総電流が等しい第1総電流読み出し端と、第2総電流読み出し端と、第3総電流読み出し端と、をさらに備える。

Description

[関連出願の相互参照]
本出願は、2021年4月12日に出願された米国特許出願第17/228,079号の優先権を主張し、その全体を参照により本明細書に組み込む。
本開示は、概して、メモリスタを用いたAI融合ピクセルセンサに関し、より詳細にはメモリスタを有するアクティブピクセルセンサを用いた、MLP用のAI融合ピクセルセンサに関する。
多くのシステムが、画像のデジタル表現へと電子的に変換され得る光学画像を検知して取り込むためのイメージングデバイスを含む。イメージセンサが、感光性デバイス、例えば相補型金属酸化膜半導体(CMOS)デバイス上に作製されたフォトダイオード又はフォトトランジスタなどのアレイを含む。各感光性デバイスは、感光性デバイスに当たる光の強度に比例する電荷を生成できるように、光に対して敏感である。イメージセンサによりキャプチャされた画像全体が多数の画素を含み、これらは、各画素がその画素の位置での光の強度を検出するように、アレイ状に配置されている。
慣用的なCMOSプロセスに従って形成されたイメージングデバイスはCMOSイメージャとして知られており、アクティブピクセルセンサ(APS)を含むように構成され得る。アクティブピクセルセンサ(APS)は、画素のアレイを含む集積回路を含み、各画素が、光検出器(例えば、フォトダイオード又はその他の類似のデバイス)、並びに、光検出器上に蓄積された電荷をリセット及びゲーティングするためのその他のトランジスタを含む。慣用的なCMOSイメージャにおいては、画素アレイにおける各画素セルが、光強度を電荷に変換し、電荷を光強度に比例して蓄積し、そして、蓄積された電荷を増幅器に転送するように動作する。多くのCMOSイメージャにおいて、画素が、画像の取得前又は取得後に特定の基準電圧レベルにリセットされ得る。
RRAMは、十分な電気的刺激に応答して抵抗値を変化させることができる2端子受動素子であり、高性能な不揮発性メモリ用途として非常に注目されている。RRAMの抵抗は、2つの状態、すなわち高抵抗状態(HRS)と低抵抗状態(LRS)との間で電気的に切り替えられ得る。HRSからLRSへのスイッチングイベントは、しばしば、「セット」(Set)又は「オン」(On)スイッチと称され、LRSからHRSへのスイッチングシステムは、「リセット」(Reset)又は「オフ」(Off)スイッチングプロセスと称される。
多層パーセプトロン(MLP)は、多くのAIアプリケーション、例えば、画像処理、映像処理、機械学習及び自然言語処理において一般的に利用されている人工ニューラルネットワークである。これは、複数の層を有向グラフで接続したニューラルネットワークであり、ノードを通る信号経路が一方通行のみであることを意味する。各ノードが、入力ノードとは別に非線形活性化関数を有する。複数のニューロン層が存在するため、MLPはディープラーニング技術である。これは、MLPにおいて、一般的に分類器として用いられ、すなわち、入力ベクトルが1以上のクラスに属するかどうかを決定する。これにより、概して、入力がどのクラスに属するかの確率が提供される。例えば、MLPにおいて、訓練分類器を、5つのカテゴリの衣類を低解像度の画像から認識するように適応させ得る。
従来のMLPは、分類タスクのためのMLPクラスオブジェクトを構築及び訓練するためにアルゴリズムを使用する必要がある。本開示では、メモリスタをベースとしたクロスバーアレイを有するCMOSイメージセンサを用いた新しいアーキテクチャが、MLP用のハードウェア分類器を実現できる。
メモリスタを有するアクティブピクセルセンサを用いた、MLP用のAI融合ピクセルセンサに関する技術を開示する。
幾つかの実施形態において、例示的な装置は、複数のアクティブピクセルセンサを備える。前記アクティブピクセルセンサの各々は、画像信号を受信するように構成されたフォトダイオードと、転送ゲートと、セレクタコントローラと、リセットコントローラと、電圧読み出し端と、前記電圧読み出し端に接続された第1の1T1Rセルと、第2の1T1Rセルと、第3の1T1Rセルと、前記第1の1T1Rセル、前記第2の1T1Rセル、及び前記第3の1T1Rセルにそれぞれ接続された、第1電流読み出し端と、第2電流読み出し端と、第3電流読み出し端とを含む。前記装置は、前記各アクティブピクセルセンサにおける前記第1電流読み出し端の電流の合計にその総電流が等しい第1総電流読み出し端と、前記各アクティブピクセルセンサにおける前記第2電流読み出し端の電流の合計にその総電流が等しい第2総電流読み出し端と、前記各アクティブピクセルセンサにおける前記第3電流読み出し端の電流の合計にその総電流が等しい第3総電流読み出し端と、を備える。
幾つかの実施形態において、前記転送ゲートは、前記フォトダイオードを制御するように構成される。前記セレクタコントローラは、前記電圧読み出し端への電流を制御するように構成される。前記リセットコントローラは、受信した画像信号をリセットするように構成されている。
幾つかの実施形態において、前記装置は、分類器として動作するように構成されている。
幾つかの実施形態において、前記装置は、アナログドット積を実行するように構成されている。
幾つかの実施形態において、前記第1の1T1Rセル、前記第2の1T1Rセル、及び前記第3の1T1Rセルの各々は、トランジスタ及びメモリスタを含む。
幾つかの実施形態において、前記装置は、第1電圧ドライバと、第2電圧ドライバとをさらに備える。前記第1電圧ドライバ及び前記第2電圧ドライバは、前記第1の1T1Rセル、前記第2の1T1Rセル、及び前記第3の1T1Rセルを設定又はリセットするように構成されている。
幾つかの実施形態において、前記装置は、前記アクティブピクセルセンサに接続された列デコーダと、前記アクティブピクセルセンサに接続された行デコーダと、前記第1総電流端、前記第2総電流端、及び前記第3総電流端に接続された列増幅器と、前記列増幅器に接続されたマルチプレクサと、前記マルチプレクサに接続されたADCと、前記ADCに接続されたメモリと、をさらに備えている。
幾つかの実施形態において、装置は、アクティブピクセルセンサを備える。当該アクティブピクセルセンサは、画像信号を受信するように構成されたフォトダイオードと、転送ゲートと、セレクタコントローラと、リセットコントローラと、電圧読み出し端と、第1トランジスタと、第2トランジスタと、第3トランジスタと、第4トランジスタと、第1電圧ドライバと、第2電圧ドライバと、を含む。前記装置は、前記電圧読み出し端を介して前記アクティブピクセルセンサに接続されたメモリスタベースのクロスバーアレイをさらに備える。
幾つかの実施形態において、前記第1電圧ドライバは、前記第1トランジスタに接続されている。前記セレクタコントローラは、前記第2トランジスタのゲートに接続されている。前記リセットコントローラは前記第3トランジスタのゲートに接続されている。前記フォトダイオードは、前記第4トランジスタのソースに接続されている。前記転送ゲートコントローラは、前記第4トランジスタのゲートに接続されている。前記第2電圧ドライバは、前記電圧読み出し端に接続されている。
幾つかの実施形態において、前記第1トランジスタは、前記フォトダイオードから受信した前記画像信号の増幅を行うように構成されている。前記第2のトランジスタは、前記電圧読み出し端への電流を制御するように構成されている。前記第3トランジスタは、信号をリセットするように構成されている。前記第4トランジスタは、前記フォトダイオードから転送される信号を制御するように構成されている。
幾つかの実施形態において、前記メモリスタベースのクロスバーアレイは、複数の1T1Rセルを含む。
幾つかの実施形態において、前記第1電圧ドライバ及び前記第2電圧ドライバは、前記1T1Rセルを設定又はリセットするように構成されている。
幾つかの実施形態において、前記第1電圧ドライバ及び前記第2電圧ドライバは、前記1T1Rセルを設定又はリセットするように構成されている。
幾つかの実施形態において、設定モードにおいては前記第1電圧ドライバの電圧は前記第2電圧ドライバの電圧よりも高い。リセットモードにおいては前記第1電圧ドライバの電圧は前記第2電圧ドライバの電圧より低い。
幾つかの実施形態において、前記装置はアナログドット積を実行するように構成されている。
隠れ層のないMLPのアーキテクチャを示すブロック図である。 1つの隠れ層を有するMLPのアーキテクチャを示すブロック図である。 本開示の幾つかの実施態様によるCMOSイメージセンサベースの回路を示すブロック図である。 本開示の幾つかの実施態様によるAI融合アクティブピクセルセンサを示すブブロック図である。 本開示の幾つかの実施態様による、AIモード下でのAI融合ピクセルセンサの動作を示すタイミング図である。 本開示の幾つかの実施態様による、メモリスタSET/RESETモード下でのAI融合ピクセルセンサの動作を示すタイミング図である。 追加のメモリスタ及びトランジスタを有するAI融合ピクセルセンサの全体レイアウトを示す概略レイアウト図である。 コンダクタンスGl,G2,G3を有する3つのメモリスタを有することによる、AI融合ピクセルセンサの動作下での隠れ層のないMLPのアーキテクチャを示すブロック図である。 フォトダイオードから受信した6つの画像信号を表すVout信号であるV1~V6を受信したときのIoutl、Iout2、Iout3のドット積の合計を示す計算式である。 本開示の幾つかの実施態様による、モジュール化されたAI融合ピクセルセンサを示す概略図である。 本開示の幾つかの実施態様による、3クラス分類器としてモジュール化されたAI融合ピクセルセンサを示す概略図である。
本明細書に開示する実施態様を、限定ではなく例として添付図面の図に示した。図面全体を通して、類似の参照番号は対応する部品を指す。
メモリスタを有するアクティブピクセルセンサを用いた、MLP用のAI融合ピクセルセンサに関する技術を開示する。本開示に記載する技術は、以下の技術的利点を提供し得る。
第1に、開示する技術は、アクティブピクセルセンサとメモリスタとを統合し、AI融合ピクセルセンサが、アナログドット積を実行できる。これは、AIモードの動作中のアナログ積算の実現可能性を示す。これにより、AI融合ピクセルセンサは、フォトダイオードにより受信された光信号を蓄積し、アナログドット積の結果を、メモリスタをベースのとしてクロスバーアレイを介して生成できる。
第2に、2つの電圧ドライバをAI融合ピクセルセンサに用いることで、SET/RESETモードの動作中にメモリスタをON/OFFさせ得る。従って、ネットワークの訓練又は再プログラムが、メモリ内計算の異なるステージにおいて可能である。
第3に、開示する技術は、MLPニューラルネットワークの下で分類器として機能し得る。これにより、AI融合ピクセルセンサは、受信した画像信号を所定のカテゴリに分類でき、特に画像認識アプリケーションのための、時間効率及びエネルギー効率の高いディープラーニング推論ハードウェアを作るための有望な方法が提供される。
図1A及び図1Bは、隠れ層のないMLP、及び、1つの隠れ層を有するMLPのアーキテクチャを示すブロック図である。上述したように、MLPは、多くのAIアプリケーション、例えば、画像処理、ビデオ処理、機械学習、及び自然言語処理などで一般的に使用される人工ニューラルネットワークである。MLPは、一般的に分類器として用いられ、すなわち、入力ベクトルが1以上のクラスに属するかどうかを決定する。これが、概して、入力がどのクラスに属するかの確率を与える。この分類器は、画像認識技術に用いられ得る。例えば、ユーザはMLP分類器を、猫、犬、ウサギという3つのクラスで訓練させ得る。そして、ニューラルネットワークは,受け取った全ての画像を3つのクラスに分類できる。従来のMLPは、分類タスクのためにMLPクラスオブジェクトを構築及び訓練するために、ソフトウェアアルゴリズムを用いる必要がある。本開示では、メモリスタを有するCMOSイメージセンサを用いた新しいアーキテクチャが、MLP用のハードウェア分類器を実現し得る。図1Aは、隠れ層がないMLPの一例である。図2Aは、隠れ層が1つのMLPの一例である。両方のMLPが、本開示の実施形態を使用するか又は組み合わせることにより実現され得る。
図2は、本開示の幾つかの実施態様によるCMOSイメージセンサベースの回路200を示すブロック図2000である。
図2に示されているように、CMOSイメージセンサベースの回路200は、画像又は光信号を受信するように構成された1つ又は多数のCMOSイメージセンサ201(例えば、AI融合ピクセルセンサ)、列内の画素を選択して読み出すように構成された列デコーダ203、行内の画素を選択して読み出すように構成された行デコーダ205、CMOSイメージセンサ201からの信号を増幅するように構成された増幅器211(すなわち、列増幅器)と、増幅器211からの信号を順次又は連続的に読み出すように構成されたマルチプレクサ213(すなわち、時分割マルチプレクサ)と、増幅器211からの信号をアナログからデジタルに変換するように構成されたADC215と、ADC215からの信号を格納するように構成されたデジタルベースのメモリ221と、を含む。
CMOSイメージセンサ201に光が入射すると、CMOSイメージセンサは、データを、それらの選択された行及び列からのみ収集する。そして、その信号(通常は電圧形式)は、増幅器211により増幅される。そして、マルチプレクサ213が順次又は連続的に信号を読み出してADC215に送信する。ADC215は信号をアナログ形態からデジタル形態に変換し、これによりデジタル信号が、デジタルベースのメモリ221に格納され得る。デジタル信号は、中央処理ユニット(CPU)又はその他のプロセッサにより処理又はアクセスされ得る。アクティブピクセルセンサを含むここでのCMOSイメージセンサ201は、MLP分類器として実装されるように設計されている。
MLPを適切に実行するために、行デコーダは、ベクトルドット積効果を実現するように複数の行を同時にオンにできる必要があることに留意されたい。さらに、メモリスタに対してSET/RESTを実行するために、イメージセンサのVDD(又はVrst)を調整する場合があり、これにはグローバルDACが必要である。一方、メモリスタに対してSET/RESETを実行するためには、メモリスタ出力ノードのためのドライバが必要であり、これに関しては後述する。最後に、VMMが複数の画素の情報の集合であるため、その結果、単一画素に比べてはるかに大きいダイナミックレンジを有する。そのため、ADCの解像度又はダイナミックレンジの調整が必要な場合がある。
図3は、本開示の幾つかの実施形態によるAI融合アクティブピクセルセンサ300を示すブロック図3000である。ここで、AI融合とは、データを、複数のセンサから、又は、異なるフィルタ若しくは分類下にあるセンサから、又は、異なる重みを有するセンサからマージできることを意味し、これにより、各センサの個別の使用をはるかに超えた結果を達成できることに留意されたい。
図3に示されているように、AI融合アクティブピクセルセンサ300は、アクティブピクセルセンサと、メモリスタベースのクロスバーアレイとを含む。アクティブピクセルセンサは、第1トランジスタ301、第2トランジスタ303、第3トランジスタ305、及び、第4トランジスタ307を含む。
第1トランジスタ301は、増幅のための電圧源であるドレイン電圧Vdd321を供給する第1電圧ドライバ331に接続される。幾つかの実施形態において、第1トランジスタ301は、フォトダイオードから受信した信号の増幅を、強化された電流を供給することにより提供するように構成される。
第2トランジスタ303は、第1トランジスタ301のソースに接続されたドレインを含む。セレクタコントローラ(Rs)313が、第2トランジスタ303のゲートに接続されて、電圧Vout323が決定される出力への電流を制御する。幾つかの実施形態において、第2トランジスタ303は、出力への電流をオン及びオフするように構成される。
第3トランジスタ305は、そのドレインを介して第1トランジスタ301のゲート3011に接続されている。リセットコントローラ(RST)315が第3トランジスタ305のゲートに接続され、リセット電圧源(Vrst)325が第3トランジスタ305のソースに接続されている。Rst315及びVrst325を含む第3トランジスタ305は、リセットのためにある。具体的には、Rst315は、第1トランジスタ301のゲート3011に蓄積された信号をリセットするためにオン及びオフされるように構成されており、ゲート3011は読み出しノードである。幾つかの実施形態において、第3トランジスタ305は、最後のサイクルの第1トランジスタ301のゲート3011に蓄積された信号をリセットするように構成される。
第4トランジスタ307は第1トランジスタ301のゲートに接続され、また、そのドレインを介して第3トランジスタ305のドレインに接続されている。フォトダイオード327が第4トランジスタ307のソースに接続されている。転送ゲートコントローラTx317が第4トランジスタ307のゲート3071に接続され、フォトダイオード327を制御するように構成されている。具体的には、フォトダイオード327が、Txゲート317を作動させることによりドレインされ、フォトダイオード信号が、第1トランジスタ301のゲート3011である読み出しノードに転送される。幾つかの実施形態において、第4トランジスタ307は、フォトダイオード327から転送される信号を制御するように構成される。
上記のアクティブピクセルセンサに加えて、本開示は、さらに、出力端におけるメモリスタベースのクロスバーアレイの独特の設計を含む。
図3に示されているように、AI融合アクティブピクセルセンサ300は、メモリスタベースのクロスバーアレイ340を含む。メモリスタベースのクロスバーアレイ340は、1つ又は多数の1T1Rセルを含み、これらは、並列に接続された第1の1T1Rセル341、第2の1T1Rセル343、及び、第3の1T1Rセル345を含む。メモリスタベースのクロスバーアレイ340は、アクティブピクセルセンサの出力電圧Vout323に接続されている。一方、第2電圧ドライバ333が出力電圧Vout323に接続されている。第2電圧ドライバ333は、メモリスタベースのクロスバーアレイ340のメモリスタを、メモリスタ全体に正又は負の電圧を印加することにより設定又はリセットするように構成されている。調整可能な抵抗又はコンダクタンス回路を有する1T1Rセルを追加することにより、ピクセルセンサ上でのアナログドット積を実現できる。例えば、第1の1T1Rセル341は、コンダクタンスG1を有する第1メモリスタを含み、第2の1T1Rセル343は、コンダクタンスG2を有する第2メモリスタを含み、第3の1T1Rセル345は、コンダクタンスG3を有する第3メモリスタを含む。出力電流Ioutl、Iout2、Iout3は、それぞれ、Vout×Gl、Vout×G2、Vout×G3である。このようにすることで、ユーザはGl,G2,G3を、フォトダイオードからの信号の受信前に予めプログラムしておくことができる。重みの設定により、画像信号が転送されたならば、画像信号を、予め決定又は予めプログラムされたGl,G2,G3を乗じることにより重み付け又は分類できる。これにより、メモリスタベースのクロスバー回路を有するピクセルセンサを用いてMLPを実現するための優れたアナログソリューションが提供される。
図4は、本開示の幾つかの実施形態によるAIモード下のAI融合ピクセルセンサの動作を示すタイミング図4000である。初めに、セレクタコントローラ(Rs)313がオンにされ、RSTパルスがトリガされ、最後のサイクルの読み出し信号をリセットする。リセット時に、小さい電圧ポンプがVout及びIoutにて読み出されることになる。次に、Txゲート317を活性化し、フォトダイオード信号が読み出しノードに転送される。画像信号が蓄積されているため、Vout及びIoutは、Txがオフになるまで、時間の経過と共に増大する。Iout[2:0]は、Iout2、Ioutl、及びIout0を意味する。3つのメモリスタにおけるコンダクタンスGが異なるため、読み出し電流も異なる。
図5は、本開示の幾つかの実施形態による、メモリスタSET/RESETモード下でのAI融合ピクセルセンサの動作を示すタイミング図5000である。上述したように、異なるコンダクタンスを有するメモリスタをプログラムするために、第1電圧ドライバ331及び第2電圧ドライバ333が、メモリスタを設定及びリセットするために使用される。SET/RESETモード中に、Rsがオンにされる。設定モードでは、VddがVoutよりも大きくなるように設定され、これにより正電流がメモリスタに流れてメモリスタをLRS又はオン状態に切り替える。一方、リセットモードにおいては、VddはVoutよりも小さく設定され、これにより負電流がメモリスタに流れてメモリスタをHRS又はオフ状態に切り替える。
図6は、追加のメモリスタ及びトランジスタを有するAI融合ピクセルセンサの全体レイアウトを示す概略レイアウト図6000である。ピクセルセンサにメモリスタを追加することにより、ピクセルサイズはわずかに増大し得る。
図7Aは、隠れ層のないMLPの、導電率Gl,G2,G3を有する3つのメモリスタを有することによる、AI融合ピクセルセンサの動作下でのアーキテクチャを示すブロック図7000である
図7Bは、フォトダイオードから受信した6つの画像信号を表す6つのVout信号であるVI~V6を受信したときの、Ioutl、Iout2、Iout3のドット積の合計を示す式7100である。従って、AI融合ピクセルセンサは、5つの画像を3つのカテゴリに分類するように構成されており、MLPが実現されている。
図8は、本開示の幾つかの実施形態による、モジュール化されたAI融合ピクセルセンサを示す概略図8000である。
図9は、本開示の幾つかの実施形態による、3クラス分類器としてのモジュール化されたAI融合ピクセルセンサを示す概略図9000である。図9に示されているように、6つの転送ゲートTxにより転送される6つの入力画像信号と、3つの出力信号Ioutl,Iout2,Iout3があるため、全体のIoutは、6つの画素の6つのクロスバーからの6つのIoutに等しい。こうして、分類器は、モジュール化された実施形態で実現される。
図9に示されているように、複数のアクティブピクセルセンサ901~906が存在する。各アクティブピクセルセンサは、フォトダイオード(図示せず、図3に示したものと同一のフォトダイオード327であってよい)と、転送ゲート913と、セレクタコントローラ911と、リセットコントローラ915と、電圧読み出し端(図示せず、図3に示したものと同一の電圧読み出し端323であってよい)と、電圧読み出し端に接続された第1の1T1Rセル(図示せず、図3に示したものと同一の1T1Rセル341であってよい)と、第2の1T1Rセル(図示せず、図3に示したものと同一の1T1Rセル343であってよい)と、第3の1T1Rセル(図示せず、図3に示したものと同一の1T1Rセル345であってよい)と、第1の1T1Rセル、第2の1T1Rセル、及び第3の1T1Rセルにそれぞれ接続された第1電流読み出し端921と、第2電流読み出し端923と、第3電流読み出し端925と、各アクティブピクセルセンサにおける第1電流読み出し端の電流の合計にその総電流が等しい第1総電流読み出し端931と、各アクティブピクセルセンサにおける第2電流読み出し端の電流の合計にその総電流が等しい第2総電流読み出し端933と、各アクティブピクセルセンサにおける第3電流読み出し端の電流の合計にその総電流が等しい第3総電流読み出し端935と、を含む。こうして、メモリスタを有するアクティブピクセルセンサを用いたアナログMLP分類器が形成される。
単一の例として本明細書に記載したコンポーネント、オペレーション、又は構造に関し、複数の例が提供され得る。最終的には、様々なコンポーネント、オペレーション、及びデータストア間の境界は幾分任意的であり、特定のオペレーションが特定の例示的な構成に関して説明される。機能のその他の割り当ても想定され、実施形態(複数可)の範囲に含まれ得る。概して、例示的な構成において別々のコンポーネントとして提示された構造及び機能は、組み合わされた構造又はコンポーネントとして実装され得る。同様に、単一のコンポーネントとして提示された構造及び機能が別々のコンポーネントとして実装されてもよい。これら及びその他の変型、修正、追加、及び改善は、実施形態(複数可)の範囲内にある。
また、本明細書において、用語「第1の」(first)、「第2の」(second)などを、様々な要素を説明するために用いる場合があるが、これらの要素がこれらの用語により限定されるべきではないことが理解されよう。これらの用語は、1つの要素を別の要素から区別するためにのみ使用される。例えば、「第1のカラム(列)」の全ての出現が一貫して改称され、且つ「第2のカラム」の全ての出現が一貫して改称されている限り、説明の意味を変えずに「第1のカラム」を「第2のカラム」と呼ぶことができ、「第2のカラム」を「第1のカラム」と称し得る。第1のカラムと第2のカラムはいずれもカラムであるが、同一のカラムではない。
本明細書で使用した用語は、特定の実施形態を説明するためのものに過ぎず、特許請求の範囲を限定することは意図していない。実施形態及び添付の特許請求の範囲の説明の中で使用されるとき、単数形「a」、「an」、及び「the」は、文脈に別段の指示がない限り、複数形も含むように意図されている。また、本明細書で使用した用語「及び/又は」(and/or)が、列挙した関連項目の1以上の任意の及び全ての可能な組合せを指し、且つ包含することも理解されよう。さらに、用語「備える」(comprises)、及び/又は「備えている」(comprising)は、本明細書で使用される場合、述べられた特徴、整数、ステップ、オペレーション、要素、及び/又はコンポーネントの存在を明示するが、1以上のその他の特徴、整数、ステップ、オペレーション、要素、コンポーネント及び/又はそれらの群の存在又は追加を排除しないことが理解されよう。
本明細書で使用される場合、用語「~の場合(もしも)」(if)は、文脈に応じて、「~のとき」(when)、又は、「~の際に」(upon)、又は、「決定に応答して」(in response to determination)、又は、「決定に従って」(in accordance with a determination)、又は、「検出に応答して」(in response to detecting)を意味し、記載された前提条件が真であることを意味すると解釈され得る。同様に、「(記載された前提条件が真である)と決定された場合」、又は「(記載された前提条件が真である)場合」、又は、「(記載された前提条件が真である)とき」、などのフレーズは、文脈に応じて、「決定の際に」又は「決定に応答して」又は「決定に従って」又は「検出した際に」又は「検出に応答して」を意味し記載された前提条件が真であることを意味すると解釈され得る。
上述の説明は、例示的な実施形態を具現化する例示的なシステム、方法、技術、命令列、及び計算機プログラム製品を含んでいた。説明のために、多数の具体的な詳細を、本発明の主題の様々な実施形態の理解を提供するために示した。しかし、当業者には、本発明の主題の実施形態が、これらの具体的な詳細なしに実施され得ることが明らかであろう。全体として、よく知られた命令例、プロトコル、構造、及び技術は詳細に示されていない。
上述の説明は、説明を目的として、特定の実施態様を参照して記載されている。しかし、上記の例示的な議論は、網羅的であることも、実施態様を開示された正確な形態に限定することも意図していない。多くの修正及び変形が、上記の教示に鑑みて可能である。実施態様の選択及び説明は、原理及びその実用的な応用を最良に説明し、それにより当業者が、実施態様及び様々な修正を加えた種々の実施態様を、企図される特定の用途に適するように最良に利用できるように行われている。
200:CMOSイメージセンサベースの回路
201:AI融合ピクセルセンサ
203:列デコーダ
205:行デコーダ
211:列増幅器
213:マルチプレクサ
221:メモリ
300:AI融合アクティブピクセルセンサ
301:第1トランジスタ
303:第2トランジスタ
305:第3トランジスタ
307:第4トランジスタ
313:セレクタコントローラ
315:リセットコントローラ
317:Txゲート
321:ドレイン電圧Vdd
323:電圧Vout
325:リセット電圧源
327:フォトダイオード
331:第1電圧ドライバ
341:第1の1T1Rセル
343:第2の1T1Rセル
345:第3の1T1Rセル
911:セレクタコントローラ
913:転送ゲート
915:リセットコントローラ
3011:第1トランジスタ301のゲート

Claims (15)

  1. 複数のアクティブピクセルセンサであって、前記複数のアクティブピクセルセンサの各々が、
    画像信号を受信するように構成されたフォトダイオードと、
    転送ゲートと、
    セレクタコントローラと、
    リセットコントローラと、
    電圧読み出し端と、
    前記電圧読み出し端に接続された第1の1T1Rセル、第2の1T1Rセル、及び第3の1T1Rセルと、
    前記第1の1T1Rセル、前記第2の1T1Rセル、及び前記第3の1T1Rセルにそれぞれ接続された、第1電流読み出し端と、第2電流読み出し端と、及び第3電流読み出し端と、
    を含む、複数のアクティブピクセルセンサと、
    第1総電流読み出し端であって、前記第1総電流読み出し端の合計電流が前記各アクティブピクセルセンサにおける前記第1電流読み出し端の電流の合計に等しい、第1総電流読み出し端と、
    第2総電流読み出し端であって、前記第2総電流読み出し端の合計電流が前記各アクティブピクセルセンサにおける前記第2電流読み出し端の電流の合計に等しい、第2総電流読み出し端と、
    第3総電流読み出し端であって、前記第3総電流読み出し端の合計電流が前記各アクティブピクセルセンサにおける前記第3電流読み出し端の電流の合計に等しい、第3総電流読み出し端と、
    を備えた、装置。
  2. 前記転送ゲートは、前記フォトダイオードを制御するように構成され、
    前記セレクタコントローラは、前記電圧読み出し端への電流を制御するように構成され、
    前記リセットコントローラは、受信した前記画像信号をリセットするように構成されている、
    請求項1に記載の装置。
  3. 前記装置は、分類器として動作するように構成されている、
    請求項1に記載の装置。
  4. 前記装置は、アナログドット積を実行するように構成されている、
    請求項1に記載の装置。
  5. 前記第1の1T1Rセル、前記第2の1T1Rセル、及び前記第3の1T1Rセルの各々は、トランジスタ及びメモリスタを含む、請求項1に記載の装置。
  6. 第1電圧ドライバと、第2電圧ドライバとをさらに備え、
    前記第1電圧ドライバ及び前記第2電圧ドライバは、前記第1の1T1Rセル、前記第2の1T1Rセル、及び前記第3の1T1Rセルを設定又はリセットするように構成されている、
    請求項1に記載の装置。
  7. 前記複数のアクティブピクセルセンサに接続された列デコーダと、
    前記複数のアクティブピクセルセンサに接続された行デコーダと、
    前記第1総電流端、前記第2総電流端、及び前記第3総電流端に接続された列増幅器と、
    前記列増幅器に接続されたマルチプレクサと、
    前記マルチプレクサに接続されたADCと、
    前記ADCに接続されたメモリと、
    をさらに備えた、請求項1に記載の装置。
  8. アクティブピクセルセンサであって、
    画像信号を受信するように構成されたフォトダイオードと、
    転送ゲートと、
    セレクタコントローラと、
    リセットコントローラと、
    電圧読み出し端と、
    第1トランジスタと、
    第2トランジスタと、
    第3トランジスタと、
    第4トランジスタと、
    第1電圧ドライバと、
    第2電圧ドライバと、
    を含む、アクティブピクセルセンサと、
    前記電圧読み出し端を介して前記アクティブピクセルセンサに接続されたメモリスタをベースとしたクロスバーアレイと、
    を備えた、装置。
  9. 前記第1電圧ドライバは、前記第1トランジスタに接続され、
    前記セレクタコントローラは、前記第2のトランジスタのゲートに接続され、
    前記リセットコントローラは、前記第3トランジスタのゲートに接続され、
    前記フォトダイオードは、前記第4トランジスタのソースに接続され、
    前記転送ゲートコントローラは、前記第4トランジスタのゲートに接続され、
    前記第2電圧ドライバは、前記電圧読み出し端に接続されている、
    請求項8に記載の装置。
  10. 前記第1トランジスタは、前記フォトダイオードから受信した前記画像信号の増幅を行うように構成され、
    前記第2のトランジスタは、前記電圧読み出し端への電流を制御するように構成され、
    前記第3トランジスタは、信号をリセットするように構成され、
    前記第4トランジスタは、前記フォトダイオードから転送される信号を制御するように構成されている、
    請求項8に記載の装置。
  11. 前記メモリスタをベースとするクロスバーアレイは、複数の1T1Rセルを含む、
    請求項8に記載の装置。
  12. 前記第1電圧ドライバ及び前記第2電圧ドライバは、前記1T1Rセルを設定又はリセットするように構成されている、
    請求項11に記載の装置。
  13. 前記第1電圧ドライバ及び前記第2電圧ドライバは、前記1T1Rセルを設定又はリセットするように構成されている、
    請求項12に記載の装置。
  14. 設定モードにおいては、前記第1電圧ドライバの電圧は、前記第2電圧ドライバの電圧よりも高く、
    リセットモードにおいては、前記第1電圧ドライバの電圧は、前記第2電圧ドライバの電圧より低い、
    請求項13に記載の装置。
  15. アナログドット積を実行するように構成されている、
    請求項8に記載の装置。
JP2022554849A 2021-04-12 2022-04-12 メモリスタを用いたai融合ピクセルセンサ Active JP7505016B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/228,079 US11388356B1 (en) 2021-04-12 2021-04-12 AI fusion pixel sensor using memristors
US17/228,079 2021-04-12
PCT/US2022/071681 WO2022221836A1 (en) 2021-04-12 2022-04-12 Ai fusion pixel sensor using memristors

Publications (2)

Publication Number Publication Date
JP2023526153A true JP2023526153A (ja) 2023-06-21
JP7505016B2 JP7505016B2 (ja) 2024-06-24

Family

ID=81579667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022554849A Active JP7505016B2 (ja) 2021-04-12 2022-04-12 メモリスタを用いたai融合ピクセルセンサ

Country Status (6)

Country Link
US (1) US11388356B1 (ja)
JP (1) JP7505016B2 (ja)
KR (1) KR102629374B1 (ja)
CN (1) CN117157990A (ja)
TW (1) TWI825664B (ja)
WO (1) WO2022221836A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11988555B1 (en) 2023-02-06 2024-05-21 International Business Machines Corporation Configurable sensor units and sensor apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016063118A (ja) 2014-09-19 2016-04-25 株式会社東芝 撮像素子、撮像装置および半導体装置
EP3174208B1 (en) * 2015-11-30 2019-09-18 Nokia Technologies Oy Sensing apparatus and associated methods
JP6481667B2 (ja) 2016-07-20 2019-03-13 株式会社デンソー ニューラルネットワーク回路
CN108665061B (zh) * 2017-03-28 2021-06-15 华为技术有限公司 数据处理装置和用于卷积计算的计算设备
CN107195323A (zh) * 2017-07-13 2017-09-22 高科创芯(北京)科技有限公司 基于忆阻器的双差分负反馈数据读取电路及其方法
US10726627B2 (en) * 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
CN108111162B (zh) * 2017-12-17 2020-12-08 华中科技大学 一种运算电路及操作方法
US10708522B2 (en) * 2018-08-10 2020-07-07 International Business Machines Corporation Image sensor with analog sample and hold circuit control for analog neural networks
CN109495272B (zh) * 2018-10-31 2021-04-30 复旦大学 一种基于忆阻器的强puf电路
CN109634557B (zh) * 2018-11-19 2021-04-06 华中科技大学 一种基于1t1r存储器的乘法器及运算方法
CN111902873B (zh) * 2019-03-06 2021-11-09 深圳市汇顶科技股份有限公司 具有差分架构的2t2r阻变式存储器、mcu及设备
CA3132181A1 (en) 2019-05-03 2020-11-12 Simon FRIEDENSOHN Identification of convergent antibody specificity sequence patterns
CN110797062B (zh) * 2019-09-17 2021-07-06 华中科技大学 忆阻器的读写电路及读写方法
US11195580B2 (en) * 2020-02-26 2021-12-07 Globalfoundries U.S. Inc. Integrated pixel and two-terminal non-volatile memory cell and an array of cells for deep in-sensor, in-memory computing
CN111464764B (zh) * 2020-03-02 2022-10-14 上海集成电路研发中心有限公司 一种基于忆阻器的图像传感器及其进行卷积运算的方法
CN112150343A (zh) * 2020-09-29 2020-12-29 清华大学 基于忆阻器阵列实现二值形态学操作的方法及电子装置
CN112215855B (zh) * 2020-10-20 2024-04-12 清华大学 基于忆阻器阵列实现图像连通区域判断的方法及电子装置

Also Published As

Publication number Publication date
TW202248845A (zh) 2022-12-16
TWI825664B (zh) 2023-12-11
JP7505016B2 (ja) 2024-06-24
US11388356B1 (en) 2022-07-12
KR102629374B1 (ko) 2024-01-24
WO2022221836A1 (en) 2022-10-20
KR20220143027A (ko) 2022-10-24
CN117157990A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN108462844B (zh) 用于像素合并和读出的方法和装置
US6455831B1 (en) CMOS foveal image sensor chip
CN111164670B (zh) 低功率和低数据速率成像仪
EP3348050B1 (en) Gain adaptable unit cell
JP7505016B2 (ja) メモリスタを用いたai融合ピクセルセンサ
JP4268492B2 (ja) 光検出装置
CN112399048B (zh) 用于进行模拟域区域特征提取的成像系统和方法
CN108712621B (zh) 一种基于忆阻和cmos的运动目标检测电路
Etienne-Cummings et al. Neuromorphic vision sensors
US20230113627A1 (en) Electronic device and method of operating the same
EP1507406B1 (en) Image sensor with active reset and randomly addressable pixels
JP4099413B2 (ja) 光検出装置
CA2731497A1 (fr) Circuit de traitement de donnees a processeur elementaire, ensemble de traitement de donnees comportant une grille de tels circuits, et capteur matriciel comportant un tel ensemble
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
US20210051284A1 (en) Imaging systems and methods for performing analog domain regional pixel level feature extraction
Serrano-Gotarredona et al. Electronically foveated dynamic vision sensor
US11539906B2 (en) CMOS image sensors with integrated RRAM-based crossbar array circuits
Rodríguez-Vázquez et al. A 3D chip architecture for optical sensing and concurrent processing
JP2005033722A (ja) 光検出装置
EP1353498A1 (en) Electro-optical device for the acquisition and processing of images
US20240046083A1 (en) Memristive cellular neural network
US11988555B1 (en) Configurable sensor units and sensor apparatus
Indiveri Neuromorphic selective attention systems
Serrano–Gotarredona et al. System architectures for electronically foveated dynamic vision sensor
CN115295544B (zh) 红外感算一体芯片及其工作方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240612

R150 Certificate of patent or registration of utility model

Ref document number: 7505016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150