KR20220143027A - 멤리스터를 이용하는 ai 융합 픽셀 센서 - Google Patents

멤리스터를 이용하는 ai 융합 픽셀 센서 Download PDF

Info

Publication number
KR20220143027A
KR20220143027A KR1020227027820A KR20227027820A KR20220143027A KR 20220143027 A KR20220143027 A KR 20220143027A KR 1020227027820 A KR1020227027820 A KR 1020227027820A KR 20227027820 A KR20227027820 A KR 20227027820A KR 20220143027 A KR20220143027 A KR 20220143027A
Authority
KR
South Korea
Prior art keywords
voltage
cell
transistor
pixel sensor
active pixel
Prior art date
Application number
KR1020227027820A
Other languages
English (en)
Other versions
KR102629374B1 (ko
Inventor
웬보 인
닝 지
Original Assignee
테트라멤 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테트라멤 인코퍼레이티드 filed Critical 테트라멤 인코퍼레이티드
Publication of KR20220143027A publication Critical patent/KR20220143027A/ko
Application granted granted Critical
Publication of KR102629374B1 publication Critical patent/KR102629374B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H04N5/378—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N5/3741—
    • H04N5/37452—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N70/00—Solid-state devices having no potential barriers, and specially adapted for rectifying, amplifying, oscillating or switching
    • H10N70/20—Multistable switching devices, e.g. memristors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

멤리스터를 갖는 능동 픽셀 센서를 이용한 MLP용 AI 융합 픽셀 센서와 관련된 기술이 개시된다. 예시적인 장치는 복수의 능동 픽셀 센서를 포함하고, 각각의 능동 픽셀 센서는: 이미지 신호를 수신하도록 구성된 포토다이오드; 트랜스퍼 게이트; 선택기 컨트롤러; 리셋 컨트롤러; 전압 판독단; 전압 판독단에 연결된 제1 1T1R 셀, 제2 1T1R 셀 및 제3 1T1R 셀; 및 상기 제1 1T1R 셀, 상기 제2 1T1R 셀 및 상기 제3 1T1R 셀에 각각 연결된 제1 전류 판독단, 제2 전류 판독단 및 제3 전류 판독단; 총 전류가 각각의 능동 픽셀 센서에서 모든 전류 판독단의 전류의 합과 동일한 제1 총 전류 판독단, 제2 총 전류 판독단, 및 제3 총 전류 판독단을 포함한다.

Description

멤리스터를 이용하는 AI 융합 픽셀 센서
본 출원은 2021년 4월 12일에 출원된 미국특허출원번호 제17/228,079호의 우선권을 주장하며, 그 전체가 여기에 참조로 원용된다.
본 발명은 일반적으로 멤리스터(memristor)를 사용하는 AI 융합 픽셀 센서에 관한 것으로, 보다 구체적으로는 멤리스터를 갖는 능동 픽셀 센서를 사용하는 MLP용 AI 융합 픽셀 센서에 관한 것이다.
많은 시스템에는 이미지의 디지털 표현으로 전자적으로 변환될 수 있는 광학 이미지를 감지하고 캡처하는 이미징 소자가 포함되어 있다. 이미지 센서는 예를 들어 CMOS(complementary metal-oxide-semiconductor) 소자에서 제작된 포토다이오드 또는 포토 트랜지스터와 같은 감광 소자의 어레이를 포함한다. 각 감광 소자는 감광 소자에 부딪치는 광 강도에 비례하는 전하를 생성할 수 있는 방식으로 빛에 민감하다. 이미지 센서에 의해 캡처된 전체 이미지는 어레이에 배열된 많은 픽셀을 포함하여 각 픽셀이 해당 픽셀의 위치에서 광 강도를 감지하도록 한다.
종래의 CMOS 공정에 따라 형성된 이미징 소자는 CMOS 이미저(imager)로 알려져 있으며, 능동 픽셀 센서(APS)를 포함하도록 구성될 수 있다. 능동 픽셀 센서(APS)는 픽셀 어레이를 포함하는 집적 회로를 포함하며, 각각은 광검출기(예: 포토다이오드 또는 기타 유사한 장치)와 광검출기의 저장된 전하를 리셋하고 게이팅(gating)하기 위한 다른 트랜지스터를 포함한다. 기존 CMOS 이미저에서 픽셀 어레이의 각 픽셀 셀은 광 강도를 전하로 변환하고, 광 강도에 비례하여 전하를 축적하고, 축적된 전하를 증폭기로 전달하도록 작동한다. 많은 CMOS 이미저에서 픽셀은 이미지를 획득하기 전이나 획득한 후에 특정 기준 전압 레벨로 리셋될 수 있다.
RRAM은 충분한 전기적 시뮬레이션에 반응하여 저항을 바꿀 수 있는 2단자 수동 소자이며, 고성능 비휘발성 메모리 응용 분야에서 상당한 주목을 받고 있다. RRAM의 저항은 두 가지 상태: 즉, 고저항 상태(HRS)와 저저항 상태(LRS) 사이에서 전기적으로 전환될 수 있다. HRS에서 LRS로의 전환 이벤트는 종종 "셋(set)" 또는 "켜기(on)" 스위치라고 한다. LRS에서 HRS로의 스위칭 시스템은 종종 "리셋(reset)" 또는 "오프(off)" 스위칭 프로세스라고 한다.
MLP(Multilayer Perceptron)는 이미지 처리, 비디오 처리, 기계 학습 및 자연어 처리와 같은 많은 AI 애플리케이션에서 일반적으로 사용되는 인공 신경망이다. 이는, 방향성 그래프에서 여러 레이어(layers)를 연결하는 신경망으로, 노드를 통과하는 신호 경로는 한 방향으로만 진행된다. 입력 노드를 제외한 각 노드에는 비선형 활성화 함수가 있다. 뉴런의 레이어가 여러개 있기 때문에 MLP는 딥 러닝 기술이다. MLP 에서는, 입력 벡터가 하나 이상의 클래스에 속하는지 여부를 결정하는 분류기(classifier)로서 일반적으로 채택된다. 이는, 일반적으로 입력이 속한 클래스의 확률을 제공한다. 예를 들어, MLP의 저해상도 이미지에서 5가지 범주의 의류를 인식하도록 훈련 분류기를 조정할 수 있다.
기존 MLP는 분류 작업을 위해 MLP 클래스 개체를 구성하고 훈련하기 위해 알고리즘을 사용해야 한다. 본 개시에서, 멤리스터 기반 크로스바 어레이와 함께 CMOS 이미지 센서를 사용하는 새로운 아키텍처는 MLP를 위한 하드웨어 분류기를 실현할 수 있다.
멤리스터를 갖는 능동 픽셀 센서를 이용한 MLP용 AI 융합 픽셀 센서와 관련된 기술이 개시된다.
일부 구현예(implementations)에 있어, 예시적인 장치는 복수의 능동 픽셀 센서를 포함하고, 각각의 능동 픽셀 센서는 이미지 신호를 수신하도록 구성된 포토다이오드; 트랜스퍼 게이트; 선택기 컨트롤러; 리셋 컨트롤러; 전압 판독단(voltage readout end); 전압 판독단에 연결된 제1 1T1R 셀, 제2 1T1R 셀 및 제3 1T1R 셀; 및 상기 제1 1T1R 셀, 상기 제2 1T1R 셀 및 상기 제3 1T1R 셀에 각각 연결된 제1 전류 판독단, 제2 전류 판독단 및 제3 전류 판독단; 총 전류가 각각의 능동 픽셀 센서에서 제1 전류 판독단의 전류의 합과 동일한 제1 총 전류 판독단; 총 전류가 각각의 능동 픽셀 센서에서 제2 전류 판독단의 전류의 합과 동일한 제2 총 전류 판독단; 및 총 전류가 각각의 능동 픽셀 센서에서 제3 전류 판독단의 전류의 합과 동일한 제3 총 전류 판독단을 포함한다.
일부 구현예에 있어, 트랜스퍼 게이트는 포토다이오드를 제어하도록 구성되고, 선택기(selector) 컨트롤러는 전압 판독단으로의 전류를 제어하도록 구성되며, 리셋 컨트롤러는 수신된 이미지 신호를 리셋하도록 구성된다.
일부 구현예들에서, 장치는 분류기로서 작동하도록 구성된다.
일부 구현예들에서, 장치는 아날로그 내적을 수행하도록 구성된다.
일부 구현예들에서, 제1 1T1R 셀, 제2 1T1R 셀, 및 제3 1T1R 셀 각각은 트랜지스터 및 멤리스터를 포함한다.
장치는, 일부 구현예들에서, 제1 전압 드라이버 및 제2 전압 드라이버를 더 포함하고, 제1 전압 드라이버 및 제2 전압 드라이버는 제1 1T1R 셀, 제2 1T1R 셀, 및 제3 1T1R 셀을 셋 또는 리셋하도록 구성된다.
일부 구현예들에서, 장치는: 능동 픽셀 센서들에 연결된 열(column) 디코더; 능동 픽셀 센서에 연결된 행(row) 디코더; 제1 총 전류단, 제2 총 전류단 및 제3 총 전류단에 연결된 열 증폭기; 열 증폭기에 연결된 멀티플렉서; 멀티플렉서에 연결된 ADC; 및 ADC에 연결된 메모리를 포함한다.
일부 구현예들에서, 장치는: 이미지 신호를 수신하도록 구성된 포토다이오드; 트랜스퍼 게이트; 선택기 컨트롤러; 리셋 컨트롤러; 전압 판독단; 제1 트랜지스터; 제2 트랜지스터; 제3 트랜지스터; 제4 트랜지스터; 제1 전압 드라이버; 및 제2 전압 드라이버; 및 전압 판독단을 통해 능동 픽셀 센서에 연결된 멤리스터 기반 크로스바 어레이를 포함한다.
일부 구현예들에서, 제1 전압 드라이버는 제1 트랜지스터에 연결되고; 선택기 컨트롤러는 제2 트랜지스터의 게이트에 연결되고; 리셋 컨트롤러는 제3 트랜지스터의 게이트에 연결되고; 포토다이오드는 제4 트랜지스터의 소스에 연결되고; 트랜스퍼 게이트 컨트롤러는 제4 트랜지스터의 게이트에 연결되고; 제2 전압 드라이버는 전압 판독단에 연결된다.
일부 구현예에서, 제1 트랜지스터는 포토다이오드로부터 수신된 이미지 신호의 증폭을 제공하도록 구성되고; 제2 트랜지스터는 전압 판독단으로의 전류를 제어하도록 구성되고; 제3 트랜지스터는 신호를 리셋하도록 구성되고; 제4 트랜지스터는 포토다이오드로부터 전달되는 신호를 제어하도록 구성된다.
일부 구현예에서, 멤리스터 기반 크로스바 어레이는 복수의 1T1R 셀을 포함한다.
일부 구현예들에서, 제1 전압 드라이버 및 제2 전압 드라이버는 1T1R 셀들을 셋 또는 리셋하도록 구성된다.
일부 구현예들에서, 제1 전압 드라이버 및 제2 전압 드라이버는 1T1R 셀들을 셋 또는 리셋하도록 구성된다.
일부 구현예들에서, 셋(set) 모드에 있을 때, 제1 전압 드라이버의 전압은 제2 전압 드라이버의 전압보다 높고; 리셋(reset) 모드에 있을 때, 제1 전압 드라이버의 전압은 제2 전압 드라이버의 전압보다 낮다.
일부 구현예들에서, 장치는 아날로그 내적(analog dot product)을 수행하도록 구성된다.
도 1a 및 도 1b는 은닉층(hidden layer)이 없는 MLP와 하나의 은닉층이 있는 MLP의 구조를 나타내는 블록도이다.
도 2는 본 개시의 일부 구현예들에 따른 CMOS 이미지 센서 기반 회로를 예시하는 블록도이다.
도 3은 본 개시의 일부 구현예들에 따른 AI 융합 능동 픽셀 센서를 예시하는 블록도이다.
도 4는 본 개시의 일부 구현예들에 따른 AI 모드 하에서 AI 융합 픽셀 센서의 동작을 예시하는 타이밍도이다.
도 5는 본 개시의 일부 구현예들에 따른 멤리스터 SET/RESET 모드 하에서 AI 융합 픽셀 센서의 동작을 예시하는 타이밍도이다.
도 6은 추가적인 멤리스터 및 트랜지스터를 갖는 전체 AI 융합 픽셀 센서 레이아웃을 예시하는 개략적인 레이아웃 다이어그램이다.
도 7a는 컨덕턴스 G1, G2 및 G3를 갖는 3개의 멤리스터를 가짐으로써 AI 융합 픽셀 센서의 동작 하에서 은닉층이 없는 MLP의 아키텍처를 예시하는 블록도이다.
도 7b는 포토다이오드로부터 수신된 6개의 영상 신호를 나타내는 6개의 Vout 신호(V1 내지 V6)를 수신할 때 Iout1, Iout2 및 Iout3 의 내적(dot product)의 합을 나타내는 공식이다.
도 8은 본 개시내용의 일부 구현예들에 따른 모듈화된 AI 융합 픽셀 센서를 예시하는 개략도이다.
도 9는 본 개시의 일부 구현예들에 따른 3-클래스 분류기로서의 모듈화된 AI 융합 픽셀 센서를 예시하는 개략도이다.
본 명세서에 개시된 구현예들은 첨부 도면의 그림에서 제한이 아니라 예시로서 도시된다. 도면 전체에 걸쳐 동일한 참조 번호는 해당 부분을 나타낸다.
멤리스터를 갖는 능동 픽셀 센서를 이용한 MLP용 AI 융합 픽셀 센서에 관한 기술이 개시된다. 본 개시에서 설명하는 기술들은 다음과 같은 기술적 이점을 제공할 수 있다.
첫째, 개시된 기술은 능동 픽셀 센서와 멤리스터를 통합하고 AI 융합 픽셀 센서는 아날로그 내적을 수행할 수 있다. 이는, AI 모드 작동 중 아날로그 누적(analog accumulation)의 가능성을 보여준다. 이를 통해 AI 융합 픽셀 센서는 포토다이오드에 의해 수신된 광 신호를 누적하고 멤리스터 기반 크로스바 어레이를 통해 아날로그 내적 결과를 생성할 수 있다.
둘째, AI 융합 픽셀 센서에 2개의 전압 드라이버를 인가하여 SET/RESET 모드에서 멤리스터를 ON/OFF할 수 있다. 따라서 네트워크는 메모리 내 계산의 여러 단계에서 훈련되거나 재프로그래밍될 수 있다.
셋째, 개시된 기술은 MLP 신경망에서 분류기로서 작동할 수 있다. 이를 통해 AI 융합 픽셀 센서는 수신된 이미지 신호를 미리 결정된 범주로 분류할 수 있으며, 이는 특히 이미지 인식 애플리케이션을 위한 시간 및 에너지 효율적인 딥 러닝 추론 하드웨어를 만들기 위한 유망한 접근 방식을 제공한다.
도 1a 및 도 1b는 은닉층이 없는 MLP와 하나의 은닉층이 있는 MLP의 구조를 나타내는 블록도이다. 위에서 언급했듯이 MLP는 이미지 처리, 비디오 처리, 기계 학습 및 자연어 처리와 같은 많은 AI 응용 프로그램에서 일반적으로 사용되는 인공 신경망이다. 이는, 입력 벡터가 하나 이상의 클래스에 속하는지 여부를 결정하는 분류기로 일반적으로 채택된다. 이는, 일반적으로 입력이 속한 클래스의 확률을 제공한다. 이 분류기는 이미지 인식 기술에 사용될 수 있다. 예를 들어, 사용자는 고양이, 개, 토끼의 세 가지 클래스로 MLP 분류기를 훈련할 수 있다. 그 후, 신경망은 수신한 모든 이미지를 세 가지 클래스로 분류할 수 있다. 기존 MLP에서는 소프트웨어 알고리즘을 사용하여 분류 작업을 위한 MLP 클래스 개체를 구성하고 훈련해야 한다. 본 개시에서, 멤리스터를 갖는 CMOS 이미지 센서를 사용하는 새로운 아키텍처는 MLP 에 대한 하드웨어 분류기를 실현할 수 있다. 도 1a는 은닉층이 없는 MLP의 예이다. 도 1b는 하나의 히든 레이어를 갖는 MLP의 예이다. 두 MLP는 본 개시 내용의 구현예를 사용하거나 결합함으로써 실현될 수 있다.
도 2는 본 개시의 일부 구현예들에 따른 CMOS 이미지 센서 기반 회로(200)를 예시하는 블록도(2000)이다.
도 2에 도시된 바와 같이, CMOS 이미지 센서 기반 회로(200)는, 이미지 또는 광 신호를 수신하도록 구성된 하나 이상의 CMOS 이미지 센서(201)(예를 들어, AI 융합 픽셀 센서), 판독할 열(column)의 픽셀을 선택하도록 구성된 열 디코더(203), 판독할 행(row)의 픽셀을 선택하도록 구성된 행 디코더(205), CMOS 이미지 센서(201)로부터의 신호를 증폭하도록 구성된 증폭기(211)(즉, 열 증폭기), 증폭기(211)로부터의 신호를 순차적 또는 직렬로 판독하도록 구성된 멀티플렉서(213)(즉, 시분할 멀티플렉서), 증폭기(211)로부터의 신호를 아날로그에서 디지털로 변환하도록 구성된 ADC(215), 및 ADC(215)로부터의 신호를 저장하도록 구성된 디지털 기반 메모리(221)를 포함한다.
CMOS 이미지 센서(201)에 빛이 주입되면 CMOS 이미지 센서는 선택된 행과 열에서만 데이터를 수집한다. 그 후, 신호(통상적으로, 전압 형태)는 증폭기(211)에 의해 증폭된다. 그 후, 멀티플렉서(213)는 신호를 순차적 또는 직렬로 판독하여 ADC(215)로 보낸다. ADC(215)는 신호를 아날로그 형식에서 디지털 형식으로 변환하고 디지털 신호는 디지털 기반 메모리(221)에 저장될 수 있다. 디지털 신호는 중앙 처리 장치(CPU) 또는 다른 프로세서에 의해 처리되거나 액세스될 수 있다. 여기에서 능동 픽셀 센서를 포함하는 CMOS 이미지 센서(201)는 MLP 분류기로서 구현예되도록 설계된다.
MLP를 제대로 실행하려면 행 디코더가 여러 행을 동시에 켜서 벡터 내적 효과를 얻을 수 있어야 한다. 또한, 멤리스터에 대한 SET/RESET을 수행하기 위해 이미지 센서의 VDD(또는 Vrst)를 조정할 수도 있으므로 글로벌 DAC가 필요하다. 한편, 멤리스터에 대한 SET/RESET을 수행하기 위해서는 멤리스터 출력 노드에 대한 드라이버가 필요하며, 이에 대해서는 후술한다. 마지막으로 VMM은 여러 픽셀의 정보 모음이므로 결과는 단일 픽셀보다 훨씬 더 큰 동적 범위를 갖는다. 따라서 ADC의 분해능 또는 동적 범위를 조정할 필요가 있을 수도 있다.
도 3은 본 개시의 일부 구현예들에 따른 AI 융합 능동 픽셀 센서(300)를 예시하는 블록도(3000)이다. 여기서 AI 융합은 여러 센서의 데이터, 다른 필터 또는 분류의 센서 또는 가중치가 다른 센서의 데이터를 병합하여 각 센서를 개별적으로 사용하는 것보다 훨씬 더 많은 결과를 얻을 수 있음을 의미한다.
도 3에 도시된 바와 같이, AI 융합 능동 픽셀 센서(300)는 능동 픽셀 센서와 멤리스터 기반의 크로스바 어레이를 포함한다. 능동 픽셀 센서는 제1 트랜지스터(301), 제2 트랜지스터(303), 제3 트랜지스터(305) 및 제4 트랜지스터(307)를 포함한다.
제1 트랜지스터(301)는 증폭용 전압원인 드레인 전압(Vdd)(321)을 공급하는 제1 전압 드라이버(331)에 연결된다. 일부 구현예들에서, 제1 트랜지스터(301)는 강화된 전류를 소싱함으로써 포토다이오드로부터 수신된 신호의 증폭을 제공하도록 구성된다.
제2 트랜지스터(303)는 제1 트랜지스터(301)의 소스에 연결된 드레인을 포함한다. 선택기 제어기(Rs)(313)는 제2 트랜지스터(303)의 게이트에 연결되고 전압 Vout(323)이 결정되는 출력으로의 전류를 제어한다. 일부 구현예들에서, 제2 트랜지스터(303)는 출력에 대한 전류를 턴온 및 턴오프하도록 구성된다.
제3 트랜지스터(305)는 드레인을 통해 제1 트랜지스터(301)의 게이트(3011)에 접속된다. 제3 트랜지스터(305)의 게이트에는 리셋 컨트롤러(RST)(315)가 연결되고, 제3 트랜지스터(305)의 소스에는 리셋 전압원(Vrst)(325)이 연결된다. Rst(315) 및 Vrst(325)를 포함하는 제3 트랜지스터(305)는 리셋을 위한 것이다. 구체적으로, Rst(315)는 턴온 및 턴오프되어 제1 트랜지스터(301)의 게이트(3011)에 누적된 신호를 리셋하도록 구성되며, 여기서 게이트(3011)는 판독 노드이다. 일부 구현예에서, 제3 트랜지스터(305)는 마지막 사이클의 제1 트랜지스터(301)의 게이트(3011)에 누적된 신호를 리셋하도록 구성된다.
제4 트랜지스터(307)는 제1 트랜지스터(301)의 게이트 및 또한 그 드레인을 통해 제3 트랜지스터(305)의 드레인에 접속된다. 포토다이오드(327)는 제4 트랜지스터(307)의 소스에 연결된다. 트랜스퍼 게이트 컨트롤러 Tx(317)는 제4 트랜지스터(307)의 게이트(3071)에 연결되고 포토다이오드(327)를 제어하도록 구성된다. 구체적으로, 포토다이오드(327)는 Tx 게이트(317)를 활성화함으로써 드레인되고, 포토다이오드 신호는 제1 트랜지스터(301)의 게이트(3011)인 판독 노드로 전달된다. 일부 구현예에서, 제4 트랜지스터(307)는 포토다이오드(327)로부터 전달되는 신호를 제어하도록 구성된다.
위에서 언급한 능동 픽셀 센서 외에도, 본 발명은 출력단에 멤리스터 기반 크로스바 어레이의 고유한 설계를 더 포함한다.
도 3에 도시된 바와 같이, AI 융합 능동 픽셀 센서(300)는 멤리스터 기반 크로스바 어레이(340)를 포함한다. 멤리스터 기반 크로스바 어레이(340)는, 병렬로 연결된 제1 1T1R 셀(341), 제2 1T1R 셀(343), 및 제3 1T1R 셀(345)을 포함하는 1T1R 셀 중 하나 이상을 포함한다. 멤리스터 기반 크로스바 어레이(340)는 능동 픽셀 센서의 출력 전압(Vout)(323)에 연결된다. 한편, 제2 전압 드라이버(333)는 출력 전압(Vout)(323)에 연결된다. 제2 전압 드라이버(333)는 멤리스터에 양 또는 음의 전압을 인가하여 멤리스터 기반 크로스바 어레이(340)의 멤리스터를 셋 또는 리셋하도록 구성된다. 가변 저항 또는 컨덕턴스 회로를 갖는 1T1R 셀을 추가하여 픽셀 센서의 아날로그 내적을 실현할 수 있다. 예를 들어, 제1 1T1R 셀(341)은 컨덕턴스 G1을 갖는 제1 멤리스터를 포함하고, 제2 1T1R 셀(343)은 컨덕턴스 G2를 갖는 제2 멤리스터를 포함하고, 제3 1T1R 셀(345)은 컨덕턴스 G3을 갖는 제3 멤리스터를 포함한다. 출력 전류 Ioutl, Iout2 및 Iout3은 각각 Vout×Gl, Vout×G2 및 Vout×G3이다. 이를 통해 사용자는 포토다이오드에서 신호를 수신하기 전에 G1, G2, G3를 미리 프로그래밍할 수 있다. 가중치 설정을 통해 이미지 신호가 전송되면 미리 결정되거나 미리 프로그래밍된 G1, G2 및 G3을 곱하여 이미지 신호에 가중치를 부여하거나 분류할 수 있다. 이것은 멤리스터 기반 크로스바 회로가 있는 픽셀 센서를 사용하여 MLP를 구현예하는 우수한 아날로그 솔루션을 제공한다.
도 4는 본 개시의 일부 구현예들에 따른 AI 모드 하에서 AI 융합 픽셀 센서의 동작을 예시하는 타이밍도(4000)이다. 처음에 선택기 컨트롤러(Rs)(313)가 켜지고 RST 펄스가 트리거되어 마지막 사이클의 판독 신호를 리셋한다. 리셋할 때 Vout 및 Iout에서 작은 전압 펌프가 판독된다. 다음으로, Tx 게이트(317)를 활성화하면 포토다이오드 신호가 판독 노드로 전달된다. 이미지 신호가 누적되기 때문에 Vout 및 Iout은 Tx가 꺼질 때까지 시간이 지남에 따라 증가한다. Iout [2:0]은 Iout2, Ioutl 및 Iout0을 의미한다. 3개의 멤리스터의 컨덕턴스 G가 다르기 때문에 판독 전류가 다르다.
도 5는 본 개시의 일부 구현예들에 따른 멤리스터 SET/RESET 모드 하에서 AI 융합 픽셀 센서의 동작을 예시하는 타이밍도(5000)이다. 앞서 언급한 바와 같이, 서로 다른 컨덕턴스를 갖는 멤리스터를 프로그래밍하기 위해, 제1 전압 드라이버(331) 및 제2 전압 드라이버(333)를 사용하여 멤리스터를 셋 및 리셋한다. SET/RESET 모드에서는 Rs가 켜진다. 셋 모드에서 Vdd 는 Vout보다 크게 설정되어 전류가 멤리스터를 통해 양의 전류로 흐르도록 하여 LRS 또는 On 상태로 전환한다. 대조적으로, 리셋 모드에서 Vdd는 Vout보다 작게 설정되어 전류가 멤리스터를 통해 음으로 흘러 HRS 또는 Off 상태로 전환된다.
도 6은 추가적인 멤리스터 및 트랜지스터를 갖는 전체 AI 융합 픽셀 센서 레이아웃을 예시하는 개략적인 레이아웃 다이어그램(6000)이다. 픽셀 센서에 멤리스터를 추가하면 픽셀 크기가 약간 증가할 수 있다.
도 7a는 컨덕턴스 G1, G2 및 G3를 갖는 3개의 멤리스터를 가짐으로써 AI 융합 픽셀 센서의 동작 하에서 은닉층이 없는 MLP의 아키텍처를 예시하는 블록도(7000)이다.
도 7b는 포토다이오드로부터 수신된 6개의 이미지 신호를 나타내는 6개의 Vout 신호(VI 내지 V6)를 수신할 때 Iout1, Iout2 및 Iout3의 내적의 합을 나타내는 공식(7100)이다. 따라서 AI 융합 픽셀 센서는 5개의 이미지를 3개의 카테고리로 분류하도록 구성되어 MLP가 구현예된다.
도 8은 본 개시의 일부 구현예들에 따른 모듈화된 AI 융합 픽셀 센서를 예시하는 개략도(8000)이다.
도 9는 본 개시의 일부 구현예들에 따른 3-클래스 분류기로서의 모듈화된 AI 융합 픽셀 센서를 예시하는 개략도(9000)이다. 도 9에 도시된 바와 같이, 6개의 트랜스퍼 게이트(Tx)와 3개의 출력 신호(Iout1, Iout2, Iout3)에 의해 전송되는 6개의 입력 영상 신호가 있으므로, 전체 Iout은 6개의 픽셀의 6개의 크로스바로부터의 6개의 Iout과 같다. 따라서 모듈화된 구현예에서 분류기를 실현한다.
도 9에 도시된 바와 같이, 복수의 능동 픽셀 센서(901~906)가 있다. 각각의 능동 픽셀 센서는 다음을 포함한다: 포토다이오드(미도시, 도 3에 도시된 것과 동일한 포토다이오드(327)일 수 있음); 트랜스퍼 게이트(913); 선택기 컨트롤러(911); 리셋 컨트롤러(915); 전압 판독단(미도시, 도 3에 도시된 것과 동일한 전압 판독단(323)일 수 있음); 전압 판독단에 연결된 제1 1T1R 셀(미도시, 도 3에 도시된 것과 동일한 1T1R 셀(341)일 수 있음), 제2 1T1R 셀(미도시, 도 3에 도시된 것과 동일한 1T1R 셀(343)일 수 있음), 및 제3 1T1R 셀(미도시, 도 3에 도시된 것과 동일한 1T1R 셀(345)일 수 있음); 및 상기 제1 1T1R 셀, 상기 제2 1T1R 셀 및 상기 제3 1T1R 셀에 각각 연결되는 제1 전류 판독단(921), 제2 전류 판독단(923) 및 제3 전류 판독단(925); 총 전류가 각각의 능동 픽셀 센서에서 제1 전류 판독단의 전류의 합과 동일한 제1 총 전류 판독단(931); 총 전류가 각각의 능동 픽셀 센서에서 제2 전류 판독단의 전류의 합과 동일한 제2 총 전류 판독단(933); 및 총 전류가 각각의 능동 픽셀 센서에서 제3 전류 판독단의 전류의 합과 동일한 제3 총 전류 판독단(935)를 포함한다. 따라서 멤리스터를 갖는 능동 픽셀 센서를 사용하는 아날로그 MLP 분류기가 형성된다.
여기에서 단일 인스턴스(instance)로 설명된 구성 요소, 작용 또는 구조에 대해 복수의 인스턴스가 제공될 수 있다. 마지막으로 다양한 구성 요소, 작용 및 데이터 저장소 간의 경계는 다소 임의적이며 특정 작업은 특정 예시 구성의 컨텍스트에서 설명된다. 다른 기능 할당이 계획되어 구현예(들)의 범위에 속할 수 있다. 일반적으로, 예시적인 구성에서 별도의 구성요소로 제시된 구조 및 기능은 결합된 구조 또는 구성요소로 구현예될 수 있다. 유사하게, 단일 구성 요소로 제시된 구조 및 기능은 별도의 구성 요소로 구현예될 수 있다. 이러한 구현예 및 기타 변형, 수정, 추가 및 개량은 구현예(들)의 범위에 속한다.
"제1", "제2" 등의 용어가 본 명세서에서 다양한 요소를 설명하기 위해 사용될 수 있지만, 이러한 요소가 이러한 용어에 의해 제한되어서는 안 된다는 것이 또한 이해될 수 있을 것이다. 이러한 용어는 한 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 모든 "첫번째 열"의 기재가 일관되게 이름이 바뀌고 모든 "두번째 열"의 기재가 일관되게 이름이 바뀐다면, 상세한 설명의 의미를 변경하지 않고, 첫번째 열은 두번째 열로 칭해질 수 있고, 유사하게 두번째 열은 첫번째 열로 칭해질 수 있다. 첫 번째 열과 두 번째 열은 모두 열 s(column s)이지만 동일한 열이 아니다.
본 명세서에서 사용된 용어는 단지 특정한 구현예를 설명하기 위한 것이며 청구범위를 제한하려는 의도가 아니다. 구현예 및 첨부된 청구범위의 설명에서 사용된 바와 같이, 단수 형태 "하나의"(a, an) 및 "그"(the)는 문맥이 명백하게 달리 나타내지 않는 한 복수 형태도 포함하도록 의도된다. 또한, 본 명세서에서 사용되는 용어 "및/또는"은 관련된 나열된 항목 중 하나 이상의 모든 가능한 조합을 지칭하고 포함하는 것으로 이해될 수 있을 것이다. 본 명세서에서 사용될 때 "포함하다" 및/또는 "포함하는"이라는 용어는 명시된 특징, 정수(integer), 단계, 연산, 요소 및/또는 구성요소의 존재를 지정하지만, 하나 이상의 다른 특징, 정수, 단계, 연산, 요소, 구성요소 및/또는 이들의 그룹의 추가 또는 존재를 배제하지 않는다는 것이 또한 이해될 수 있을 것이다.
본 명세서에 사용된 바와 같이, "만약"이라는 용어는, 문맥에 따라, 언급된 선행 조건(condition precedent)이 참인 "~할 때", "~하자마자", "~판단에 응하여", "~판단에 따라" 또는 "~검출에 응하여"를 의미하는 것으로 간주될 수도 있다. 유사하게, (언급된 선행 조건이 참인) "만약 ~라고 판단되면" 또는 "(언급된 선행 조건이 참인) 만약" 또는 "(언급된 선행 조건이 참인) ~할 때"는, 문맥에 따라, 언급된 선행 조건이 참인 "~판단하자마자" 또는 "~판단에 응하여" 또는 "~판단에 따라" 또는 "~검출하자마자" 또는 "~검출에 응하여"를 의미하는 것으로 간주될 수도 있다.
전술한 설명은 예시적인 구현예들(illustrative implementations)을 구체화하는 예시적인 시스템, 방법, 기술, 명령 시퀀스 및 컴퓨팅 머신 프로그램 제품을 포함했다. 설명을 위한 목적으로, 본 발명의 주제의 다양한 구현예의 이해를 제공하기 위해 다수의 특정 세부사항이 제시되었다. 그러나, 본 발명의 주제의 구현예가 이러한 특정 세부사항 없이 실시될 수 있다는 것이 통상의 기술자에게 명백할 것이다. 일반적으로 잘 알려진 명령어 인스턴스, 프로토콜, 구조 및 기술은 자세히 표시되지 않았다.
설명을 위한 목적으로, 전술의 상세한 설명은 특정 구현예를 참조하여 설명되었다. 그러나, 위의 예시적인 설명은 완전한 것으로 의도되지 않거나 개시된 정확한 형태로 구현예를 제한하도록 의도되지 않는다. 상기 교시에 비추어 많은 수정 및 변형이 가능하다. 원리 및 그 실제 적용을 가장 잘 설명하기 위해 당해 구현예가 선택되고 설명되었으며, 이에 의해 통상의 기술자가 구현예 및 고려되는 특정 용도에 적합한 다양한 수정을 갖는 다양한 구현예를 가장 잘 활용할 수 있도록 한다.

Claims (15)

  1. 장치로서,
    복수의 능동 픽셀 센서로서, 각각의 능동 픽셀 센서가
    이미지 신호를 수신하도록 구성된 포토다이오드;
    트랜스퍼 게이트;
    선택기 컨트롤러;
    리셋 컨트롤러;
    전압 판독단(voltage readout end);
    상기 전압 판독단에 연결된 제1 1T1R 셀, 제2 1T1R 셀 및 제3 1T1R 셀; 및
    상기 제1 1T1R 셀, 상기 제2 1T1R 셀 및 상기 제3 1T1R 셀에 각각 연결된 제1 전류 판독단, 제2 전류 판독단 및 제3 전류 판독단
    을 포함하는, 복수의 능동 픽셀 센서;
    총 전류가 각각의 능동 픽셀 센서에서 상기 제1 전류 판독단의 전류의 합과 동일한 제1 총 전류 판독단;
    총 전류가 각각의 능동 픽셀 센서에서 상기 제2 전류 판독단의 전류의 합과 동일한 제2 총 전류 판독단; 및
    총 전류는 각각의 능동 픽셀 센서에서 상기 제3 전류 판독단의 전류의 합과 동일한 제3 총 전류 판독단
    을 포함하는, 장치.
  2. 제1항에 있어서,
    상기 트랜스퍼 게이트는 상기 포토다이오드를 제어하고, 상기 선택기 컨트롤러는 상기 전압 판독단으로의 전류를 제어하고, 상기 리셋 컨트롤러는 수신된 이미지 신호를 리셋하도록 구성되는, 장치
  3. 제1항에 있어서,
    상기 장치는 분류기(classifier)로서 작동하도록 구성되는, 장치.
  4. 제1항에 있어서,
    상기 장치는 아날로그 내적(analog dot product)을 수행하도록 구성되는, 장치.
  5. 제1항에 있어서,
    상기 제1 1T1R 셀, 상기 제2 1T1R 셀 및 상기 제3 1T1R 셀의 각각은 트랜지스터와 멤리스터를 포함하는, 장치.
  6. 제1항에 있어서,
    제1 전압 드라이버 및 제2 전압 드라이버를 더 포함하고,
    상기 제1 전압 드라이버 및 상기 제2 전압 드라이버는 상기 제1 1T1R 셀, 상기 제2 1T1R 셀, 및 상기 제3 1T1R을 셋(set) 또는 리셋(reset)하도록 구성되는, 장치.
  7. 제1항에 있어서,
    상기 능동 픽셀 센서에 연결된 열(column) 디코더;
    상기 능동 픽셀 센서에 연결된 행(row) 디코더;
    상기 제1 총 전류단, 상기 제2 총 전류단 및 상기 제3 총 전류단에 연결된 열 증폭기;
    상기 열 증폭기에 연결된 멀티플렉서;
    상기 멀티플렉서에 연결된 ADC; 및
    상기 ADC에 연결된 메모리
    를 포함하는, 장치.
  8. 장치로서,
    이미지 신호를 수신하도록 구성된 포토다이오드;
    트랜스퍼 게이트;
    선택기 컨트롤러;
    리셋 컨트롤러;
    전압 판독단;
    제1 트랜지스터;
    제2 트랜지스터;
    제3 트랜지스터;
    제4 트랜지스터;
    제1 전압 드라이버; 및
    제2 전압 드라이버
    를 포함하는 능동 픽셀 센서: 및
    상기 전압 판독단을 통해 상기 능동 픽셀 센서에 연결된 멤리스터 기반 크로스바 어레이
    를 포함하는, 장치.
  9. 제8항에 있어서,
    상기 제1 전압 드라이버는 상기 제1 트랜지스터에 연결되고;
    상기 선택기 컨트롤러는 상기 제2 트랜지스터의 게이트에 연결되고;
    상기 리셋 컨트롤러는 상기 제3 트랜지스터의 게이트에 연결되고;
    상기 포토다이오드는 상기 제4 트랜지스터의 소스에 연결되고;
    상기 트랜스퍼 게이트 컨트롤러는 상기 제4 트랜지스터의 게이트에 연결되고;
    상기 제2 전압 드라이버는 전압 판독단에 연결되는, 장치
  10. 제8항에 있어서,
    상기 제1 트랜지스터는 상기 포토다이오드로부터 수신된 이미지 신호의 증폭을 제공하도록 구성되고;
    상기 제2 트랜지스터는 상기 전압 판독단으로의 전류를 제어하도록 구성되고;
    상기 제3 트랜지스터는 신호를 리셋하도록 구성되고;
    상기 제4 트랜지스터는 상기 포토다이오드로부터 전달되는 신호를 제어하도록 구성되는, 장치.
  11. 제8항에 있어서,
    상기 멤리스터 기반 크로스바 어레이는 복수의 1T1R 셀을 포함하는, 장치.
  12. 제11항에 있어서,
    상기 제1 전압 드라이버 및 상기 제2 전압 드라이버는 상기 1T1R 셀을 셋 또는 리셋하도록 구성되는, 장치.
  13. 제12항에 있어서,
    상기 제1 전압 드라이버 및 상기 제2 전압 드라이버는 상기 1T1R 셀을 셋 또는 리셋하도록 구성되는, 장치.
  14. 제13항에 있어서,
    셋(set) 모드에 있을 때, 상기 제1 전압 드라이버의 전압이 상기 제2 전압 드라이버의 전압보다 높고; 리셋(reset) 모드에 있을 때, 상기 제1 전압 드라이버의 전압이 상기 제2 전압 드라이버의 전압보다 낮은, 장치.
  15. 제8항에 있어서,
    상기 장치는 아날로그 내적을 수행하도록 구성되는, 장치.
KR1020227027820A 2021-04-12 2022-04-12 멤리스터를 이용하는 ai 융합 픽셀 센서 KR102629374B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/228,079 US11388356B1 (en) 2021-04-12 2021-04-12 AI fusion pixel sensor using memristors
US17/228,079 2021-04-12
PCT/US2022/071681 WO2022221836A1 (en) 2021-04-12 2022-04-12 Ai fusion pixel sensor using memristors

Publications (2)

Publication Number Publication Date
KR20220143027A true KR20220143027A (ko) 2022-10-24
KR102629374B1 KR102629374B1 (ko) 2024-01-24

Family

ID=81579667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227027820A KR102629374B1 (ko) 2021-04-12 2022-04-12 멤리스터를 이용하는 ai 융합 픽셀 센서

Country Status (6)

Country Link
US (1) US11388356B1 (ko)
JP (1) JP7505016B2 (ko)
KR (1) KR102629374B1 (ko)
CN (1) CN117157990A (ko)
TW (1) TWI825664B (ko)
WO (1) WO2022221836A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11988555B1 (en) 2023-02-06 2024-05-21 International Business Machines Corporation Configurable sensor units and sensor apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200053299A1 (en) * 2018-08-10 2020-02-13 International Business Machines Corporation Image sensor with analog sample and hold circuit control for analog neural networks

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016063118A (ja) 2014-09-19 2016-04-25 株式会社東芝 撮像素子、撮像装置および半導体装置
EP3174208B1 (en) * 2015-11-30 2019-09-18 Nokia Technologies Oy Sensing apparatus and associated methods
JP6481667B2 (ja) 2016-07-20 2019-03-13 株式会社デンソー ニューラルネットワーク回路
CN108665061B (zh) * 2017-03-28 2021-06-15 华为技术有限公司 数据处理装置和用于卷积计算的计算设备
CN107195323A (zh) * 2017-07-13 2017-09-22 高科创芯(北京)科技有限公司 基于忆阻器的双差分负反馈数据读取电路及其方法
US10726627B2 (en) * 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
CN108111162B (zh) * 2017-12-17 2020-12-08 华中科技大学 一种运算电路及操作方法
CN109495272B (zh) * 2018-10-31 2021-04-30 复旦大学 一种基于忆阻器的强puf电路
CN109634557B (zh) * 2018-11-19 2021-04-06 华中科技大学 一种基于1t1r存储器的乘法器及运算方法
CN111902873B (zh) * 2019-03-06 2021-11-09 深圳市汇顶科技股份有限公司 具有差分架构的2t2r阻变式存储器、mcu及设备
CA3132181A1 (en) 2019-05-03 2020-11-12 Simon FRIEDENSOHN Identification of convergent antibody specificity sequence patterns
CN110797062B (zh) * 2019-09-17 2021-07-06 华中科技大学 忆阻器的读写电路及读写方法
US11195580B2 (en) * 2020-02-26 2021-12-07 Globalfoundries U.S. Inc. Integrated pixel and two-terminal non-volatile memory cell and an array of cells for deep in-sensor, in-memory computing
CN111464764B (zh) * 2020-03-02 2022-10-14 上海集成电路研发中心有限公司 一种基于忆阻器的图像传感器及其进行卷积运算的方法
CN112150343A (zh) * 2020-09-29 2020-12-29 清华大学 基于忆阻器阵列实现二值形态学操作的方法及电子装置
CN112215855B (zh) * 2020-10-20 2024-04-12 清华大学 基于忆阻器阵列实现图像连通区域判断的方法及电子装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200053299A1 (en) * 2018-08-10 2020-02-13 International Business Machines Corporation Image sensor with analog sample and hold circuit control for analog neural networks

Also Published As

Publication number Publication date
TW202248845A (zh) 2022-12-16
TWI825664B (zh) 2023-12-11
JP7505016B2 (ja) 2024-06-24
US11388356B1 (en) 2022-07-12
KR102629374B1 (ko) 2024-01-24
WO2022221836A1 (en) 2022-10-20
JP2023526153A (ja) 2023-06-21
CN117157990A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN108462844B (zh) 用于像素合并和读出的方法和装置
US8426793B1 (en) Vision sensor
US9762824B2 (en) Gain adaptable unit cell
CN111164670B (zh) 低功率和低数据速率成像仪
KR102629374B1 (ko) 멤리스터를 이용하는 ai 융합 픽셀 센서
KR101074551B1 (ko) 광검출 장치
CN112399048B (zh) 用于进行模拟域区域特征提取的成像系统和方法
US20190280037A1 (en) Imaging device, camera, and imaging method
US20230300490A1 (en) Pixel circuit outputting time difference data and image data, and operating method thereof
CN105706361A (zh) 适用于cmos成像传感器的放大器
KR102568410B1 (ko) 유효 데이터를 선별하기 위한 전처리부를 포함하는 인공 지능 시스템
JP4099413B2 (ja) 光検出装置
KR20200128109A (ko) 전하 도메인 수학적 엔진 및 방법
US20210058580A1 (en) Imaging systems and methods for performing floating gate readout via distributed pixel interconnects for analog domain regional feature extraction
JP2005033722A (ja) 光検出装置
US20210051284A1 (en) Imaging systems and methods for performing analog domain regional pixel level feature extraction
US11468146B2 (en) Array of integrated pixel and memory cells for deep in-sensor, in-memory computing
KR102326464B1 (ko) 양방향 디스플레이를 동작시키는 방법
Serrano-Gotarredona et al. Electronically foveated dynamic vision sensor
Indiveri Neuromorphic selective attention systems
US11988555B1 (en) Configurable sensor units and sensor apparatus
US20240046083A1 (en) Memristive cellular neural network
Liu et al. Traffic flow video detection system based on line scan CMOS sensor
SU304207A1 (ru) УСТРОЙСТВО дл АВТОМАТИЧЕСКОГО ВЫБОРА НАПРАВЛЕНИЯ ДВИЖЕНИЯ ОБЪЕКТА
Hamamoto et al. Motion-adaptive image sensor for enhancement and wide dynamic range

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant