JP2023526153A - メモリスタを用いたai融合ピクセルセンサ - Google Patents
メモリスタを用いたai融合ピクセルセンサ Download PDFInfo
- Publication number
- JP2023526153A JP2023526153A JP2022554849A JP2022554849A JP2023526153A JP 2023526153 A JP2023526153 A JP 2023526153A JP 2022554849 A JP2022554849 A JP 2022554849A JP 2022554849 A JP2022554849 A JP 2022554849A JP 2023526153 A JP2023526153 A JP 2023526153A
- Authority
- JP
- Japan
- Prior art keywords
- voltage
- cell
- transistor
- active pixel
- reset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title description 6
- 238000012546 transfer Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 abstract description 13
- 210000004027 cell Anatomy 0.000 description 33
- 238000010586 diagram Methods 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 241000009328 Perro Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/5443—Sum of products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10N70/00—Solid-state devices having no potential barriers, and specially adapted for rectifying, amplifying, oscillating or switching
- H10N70/20—Multistable switching devices, e.g. memristors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
本出願は、2021年4月12日に出願された米国特許出願第17/228,079号の優先権を主張し、その全体を参照により本明細書に組み込む。
201:AI融合ピクセルセンサ
203:列デコーダ
205:行デコーダ
211:列増幅器
213:マルチプレクサ
221:メモリ
300:AI融合アクティブピクセルセンサ
301:第1トランジスタ
303:第2トランジスタ
305:第3トランジスタ
307:第4トランジスタ
313:セレクタコントローラ
315:リセットコントローラ
317:Txゲート
321:ドレイン電圧Vdd
323:電圧Vout
325:リセット電圧源
327:フォトダイオード
331:第1電圧ドライバ
341:第1の1T1Rセル
343:第2の1T1Rセル
345:第3の1T1Rセル
911:セレクタコントローラ
913:転送ゲート
915:リセットコントローラ
3011:第1トランジスタ301のゲート
Claims (15)
- 複数のアクティブピクセルセンサであって、前記複数のアクティブピクセルセンサの各々が、
画像信号を受信するように構成されたフォトダイオードと、
転送ゲートと、
セレクタコントローラと、
リセットコントローラと、
電圧読み出し端と、
前記電圧読み出し端に接続された第1の1T1Rセル、第2の1T1Rセル、及び第3の1T1Rセルと、
前記第1の1T1Rセル、前記第2の1T1Rセル、及び前記第3の1T1Rセルにそれぞれ接続された、第1電流読み出し端と、第2電流読み出し端と、及び第3電流読み出し端と、
を含む、複数のアクティブピクセルセンサと、
第1総電流読み出し端であって、前記第1総電流読み出し端の合計電流が前記各アクティブピクセルセンサにおける前記第1電流読み出し端の電流の合計に等しい、第1総電流読み出し端と、
第2総電流読み出し端であって、前記第2総電流読み出し端の合計電流が前記各アクティブピクセルセンサにおける前記第2電流読み出し端の電流の合計に等しい、第2総電流読み出し端と、
第3総電流読み出し端であって、前記第3総電流読み出し端の合計電流が前記各アクティブピクセルセンサにおける前記第3電流読み出し端の電流の合計に等しい、第3総電流読み出し端と、
を備えた、装置。 - 前記転送ゲートは、前記フォトダイオードを制御するように構成され、
前記セレクタコントローラは、前記電圧読み出し端への電流を制御するように構成され、
前記リセットコントローラは、受信した前記画像信号をリセットするように構成されている、
請求項1に記載の装置。 - 前記装置は、分類器として動作するように構成されている、
請求項1に記載の装置。 - 前記装置は、アナログドット積を実行するように構成されている、
請求項1に記載の装置。 - 前記第1の1T1Rセル、前記第2の1T1Rセル、及び前記第3の1T1Rセルの各々は、トランジスタ及びメモリスタを含む、請求項1に記載の装置。
- 第1電圧ドライバと、第2電圧ドライバとをさらに備え、
前記第1電圧ドライバ及び前記第2電圧ドライバは、前記第1の1T1Rセル、前記第2の1T1Rセル、及び前記第3の1T1Rセルを設定又はリセットするように構成されている、
請求項1に記載の装置。 - 前記複数のアクティブピクセルセンサに接続された列デコーダと、
前記複数のアクティブピクセルセンサに接続された行デコーダと、
前記第1総電流端、前記第2総電流端、及び前記第3総電流端に接続された列増幅器と、
前記列増幅器に接続されたマルチプレクサと、
前記マルチプレクサに接続されたADCと、
前記ADCに接続されたメモリと、
をさらに備えた、請求項1に記載の装置。 - アクティブピクセルセンサであって、
画像信号を受信するように構成されたフォトダイオードと、
転送ゲートと、
セレクタコントローラと、
リセットコントローラと、
電圧読み出し端と、
第1トランジスタと、
第2トランジスタと、
第3トランジスタと、
第4トランジスタと、
第1電圧ドライバと、
第2電圧ドライバと、
を含む、アクティブピクセルセンサと、
前記電圧読み出し端を介して前記アクティブピクセルセンサに接続されたメモリスタをベースとしたクロスバーアレイと、
を備えた、装置。 - 前記第1電圧ドライバは、前記第1トランジスタに接続され、
前記セレクタコントローラは、前記第2のトランジスタのゲートに接続され、
前記リセットコントローラは、前記第3トランジスタのゲートに接続され、
前記フォトダイオードは、前記第4トランジスタのソースに接続され、
前記転送ゲートコントローラは、前記第4トランジスタのゲートに接続され、
前記第2電圧ドライバは、前記電圧読み出し端に接続されている、
請求項8に記載の装置。 - 前記第1トランジスタは、前記フォトダイオードから受信した前記画像信号の増幅を行うように構成され、
前記第2のトランジスタは、前記電圧読み出し端への電流を制御するように構成され、
前記第3トランジスタは、信号をリセットするように構成され、
前記第4トランジスタは、前記フォトダイオードから転送される信号を制御するように構成されている、
請求項8に記載の装置。 - 前記メモリスタをベースとするクロスバーアレイは、複数の1T1Rセルを含む、
請求項8に記載の装置。 - 前記第1電圧ドライバ及び前記第2電圧ドライバは、前記1T1Rセルを設定又はリセットするように構成されている、
請求項11に記載の装置。 - 前記第1電圧ドライバ及び前記第2電圧ドライバは、前記1T1Rセルを設定又はリセットするように構成されている、
請求項12に記載の装置。 - 設定モードにおいては、前記第1電圧ドライバの電圧は、前記第2電圧ドライバの電圧よりも高く、
リセットモードにおいては、前記第1電圧ドライバの電圧は、前記第2電圧ドライバの電圧より低い、
請求項13に記載の装置。 - アナログドット積を実行するように構成されている、
請求項8に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/228,079 US11388356B1 (en) | 2021-04-12 | 2021-04-12 | AI fusion pixel sensor using memristors |
US17/228,079 | 2021-04-12 | ||
PCT/US2022/071681 WO2022221836A1 (en) | 2021-04-12 | 2022-04-12 | Ai fusion pixel sensor using memristors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023526153A true JP2023526153A (ja) | 2023-06-21 |
JP7505016B2 JP7505016B2 (ja) | 2024-06-24 |
Family
ID=81579667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022554849A Active JP7505016B2 (ja) | 2021-04-12 | 2022-04-12 | メモリスタを用いたai融合ピクセルセンサ |
Country Status (6)
Country | Link |
---|---|
US (1) | US11388356B1 (ja) |
JP (1) | JP7505016B2 (ja) |
KR (1) | KR102629374B1 (ja) |
CN (1) | CN117157990A (ja) |
TW (1) | TWI825664B (ja) |
WO (1) | WO2022221836A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11988555B1 (en) | 2023-02-06 | 2024-05-21 | International Business Machines Corporation | Configurable sensor units and sensor apparatus |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016063118A (ja) | 2014-09-19 | 2016-04-25 | 株式会社東芝 | 撮像素子、撮像装置および半導体装置 |
EP3174208B1 (en) * | 2015-11-30 | 2019-09-18 | Nokia Technologies Oy | Sensing apparatus and associated methods |
JP6481667B2 (ja) | 2016-07-20 | 2019-03-13 | 株式会社デンソー | ニューラルネットワーク回路 |
CN108665061B (zh) * | 2017-03-28 | 2021-06-15 | 华为技术有限公司 | 数据处理装置和用于卷积计算的计算设备 |
CN107195323A (zh) * | 2017-07-13 | 2017-09-22 | 高科创芯(北京)科技有限公司 | 基于忆阻器的双差分负反馈数据读取电路及其方法 |
US10726627B2 (en) * | 2017-07-25 | 2020-07-28 | Facebook Technologies, Llc | Sensor system based on stacked sensor layers |
CN108111162B (zh) * | 2017-12-17 | 2020-12-08 | 华中科技大学 | 一种运算电路及操作方法 |
US10708522B2 (en) * | 2018-08-10 | 2020-07-07 | International Business Machines Corporation | Image sensor with analog sample and hold circuit control for analog neural networks |
CN109495272B (zh) * | 2018-10-31 | 2021-04-30 | 复旦大学 | 一种基于忆阻器的强puf电路 |
CN109634557B (zh) * | 2018-11-19 | 2021-04-06 | 华中科技大学 | 一种基于1t1r存储器的乘法器及运算方法 |
CN111902873B (zh) * | 2019-03-06 | 2021-11-09 | 深圳市汇顶科技股份有限公司 | 具有差分架构的2t2r阻变式存储器、mcu及设备 |
CA3132181A1 (en) | 2019-05-03 | 2020-11-12 | Simon FRIEDENSOHN | Identification of convergent antibody specificity sequence patterns |
CN110797062B (zh) * | 2019-09-17 | 2021-07-06 | 华中科技大学 | 忆阻器的读写电路及读写方法 |
US11195580B2 (en) * | 2020-02-26 | 2021-12-07 | Globalfoundries U.S. Inc. | Integrated pixel and two-terminal non-volatile memory cell and an array of cells for deep in-sensor, in-memory computing |
CN111464764B (zh) * | 2020-03-02 | 2022-10-14 | 上海集成电路研发中心有限公司 | 一种基于忆阻器的图像传感器及其进行卷积运算的方法 |
CN112150343A (zh) * | 2020-09-29 | 2020-12-29 | 清华大学 | 基于忆阻器阵列实现二值形态学操作的方法及电子装置 |
CN112215855B (zh) * | 2020-10-20 | 2024-04-12 | 清华大学 | 基于忆阻器阵列实现图像连通区域判断的方法及电子装置 |
-
2021
- 2021-04-12 US US17/228,079 patent/US11388356B1/en active Active
-
2022
- 2022-04-11 TW TW111113717A patent/TWI825664B/zh active
- 2022-04-12 CN CN202280027847.1A patent/CN117157990A/zh active Pending
- 2022-04-12 WO PCT/US2022/071681 patent/WO2022221836A1/en active Application Filing
- 2022-04-12 KR KR1020227027820A patent/KR102629374B1/ko active IP Right Grant
- 2022-04-12 JP JP2022554849A patent/JP7505016B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
TW202248845A (zh) | 2022-12-16 |
TWI825664B (zh) | 2023-12-11 |
JP7505016B2 (ja) | 2024-06-24 |
US11388356B1 (en) | 2022-07-12 |
KR102629374B1 (ko) | 2024-01-24 |
WO2022221836A1 (en) | 2022-10-20 |
KR20220143027A (ko) | 2022-10-24 |
CN117157990A (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108462844B (zh) | 用于像素合并和读出的方法和装置 | |
US6455831B1 (en) | CMOS foveal image sensor chip | |
CN111164670B (zh) | 低功率和低数据速率成像仪 | |
EP3348050B1 (en) | Gain adaptable unit cell | |
JP7505016B2 (ja) | メモリスタを用いたai融合ピクセルセンサ | |
JP4268492B2 (ja) | 光検出装置 | |
CN112399048B (zh) | 用于进行模拟域区域特征提取的成像系统和方法 | |
CN108712621B (zh) | 一种基于忆阻和cmos的运动目标检测电路 | |
Etienne-Cummings et al. | Neuromorphic vision sensors | |
US20230113627A1 (en) | Electronic device and method of operating the same | |
EP1507406B1 (en) | Image sensor with active reset and randomly addressable pixels | |
JP4099413B2 (ja) | 光検出装置 | |
CA2731497A1 (fr) | Circuit de traitement de donnees a processeur elementaire, ensemble de traitement de donnees comportant une grille de tels circuits, et capteur matriciel comportant un tel ensemble | |
EP3445037B1 (en) | Varying exposure time of pixels in photo sensor using motion prediction | |
US20210051284A1 (en) | Imaging systems and methods for performing analog domain regional pixel level feature extraction | |
Serrano-Gotarredona et al. | Electronically foveated dynamic vision sensor | |
US11539906B2 (en) | CMOS image sensors with integrated RRAM-based crossbar array circuits | |
Rodríguez-Vázquez et al. | A 3D chip architecture for optical sensing and concurrent processing | |
JP2005033722A (ja) | 光検出装置 | |
EP1353498A1 (en) | Electro-optical device for the acquisition and processing of images | |
US20240046083A1 (en) | Memristive cellular neural network | |
US11988555B1 (en) | Configurable sensor units and sensor apparatus | |
Indiveri | Neuromorphic selective attention systems | |
Serrano–Gotarredona et al. | System architectures for electronically foveated dynamic vision sensor | |
CN115295544B (zh) | 红外感算一体芯片及其工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7505016 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |