KR20200058196A - 이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치 - Google Patents

이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치 Download PDF

Info

Publication number
KR20200058196A
KR20200058196A KR1020180142913A KR20180142913A KR20200058196A KR 20200058196 A KR20200058196 A KR 20200058196A KR 1020180142913 A KR1020180142913 A KR 1020180142913A KR 20180142913 A KR20180142913 A KR 20180142913A KR 20200058196 A KR20200058196 A KR 20200058196A
Authority
KR
South Korea
Prior art keywords
threshold
weight
pass transistor
neural network
unit
Prior art date
Application number
KR1020180142913A
Other languages
English (en)
Other versions
KR102221763B1 (ko
KR102221763B9 (ko
Inventor
김재준
김형준
김율화
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020180142913A priority Critical patent/KR102221763B1/ko
Priority to US16/687,599 priority patent/US11580368B2/en
Publication of KR20200058196A publication Critical patent/KR20200058196A/ko
Application granted granted Critical
Publication of KR102221763B1 publication Critical patent/KR102221763B1/ko
Publication of KR102221763B9 publication Critical patent/KR102221763B9/ko
Priority to US18/094,351 priority patent/US11755897B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0023—Address circuits or decoders
    • G11C13/0026—Bit-line or column circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/003—Cell access
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0069—Writing or programming circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G11C2013/0054—Read is performed on a reference element, e.g. cell, and the reference sensed value is used to compare the sensed value of the selected cell
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/70—Resistive array aspects
    • G11C2213/79—Array wherein the access device being a transistor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)

Abstract

본 실시예에 의한 인공 신경망 회로는 웨이트(weight) 정보를 저장하는 웨이트 메모리 소자와, 웨이트 패스 트랜지스터를 포함하는 단위 웨이트 메모리 셀과, 프로그램되어 임계값을 저장하는 임계값 메모리 소자와, 임계값 패스 트랜지스터를 포함하는 단위 임계값(threshold) 메모리 셀 및 복수의 단위 웨이트 메모리 셀과 복수의 단위 임계값 메모리 셀들이 연결된 웨이트-임계값 컬럼과, 웨이트-임계값 컬럼의 출력 신호가 일 입력으로 제공되고, 기준 전압이 타 입력으로 제공되는 감지 증폭기를 포함한다.

Description

이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치{BATCH NORMALIZATION APPARATUS BASED ON RESISTIVE MEMORY FOR BINARY NEURAL NETWORK}
본 개시는 이진 신경망에서 저항성 메모리에 기반한 배치 정규화 장치에 관한 것이다.
기존의 폰 노이만 구조를 기반으로 하는 칩들의 구조적 한계를 극복하기 위하여, IC 칩 개발 업체들은 사람의 뇌를 이루는 기본 단위인 뉴런과 이러한 뉴런 사이의 연결을 이어주는 시냅스 등으로 이루어진 뉴럴 네트워크를 바탕으로 하는 뉴럴 네트워크 하드웨어 또는 뉴로모픽 하드웨어를 개발해 오고 있다. 뉴럴 네트워크는 기존의 머신 러닝 알고리즘들이 갖고 있던 한계를 뛰어넘어 사람에 근접한 수준의 이미지, 영상, 패턴 학습 및 인지 능력을 보여주고 있으며, 이미 수많은 분야에 사용되고 있다. 수많은 회사와 연구자들은 이러한 뉴럴 네트워크의 연산 작업을 보다 저전력으로 빠르게 수행하기 위하여 전용 ASIC 칩을 개발해 오고 있다.
뉴럴 네트워크는 사람의 뇌와 같이 뉴런들이 이어져 네트워크를 형성하고, 학습과, 추론을 수행한다. 뉴럴 네트워크는 뉴런과 뉴런들이 연결되는 시냅스를 포함하며, 뉴런과 뉴런 사이의 연결도가 강하거나, 약할 수 있으며, 그 정도를 웨이트(weight)라고 한다.
뉴럴 네트워크를 학습한다고 하는 것은 네트워크를 형성하고, 학습시키고자 하는 데이터를 입력하였을 때, 목적하는 결과가 출력될 때까지 웨이트의 값을 제어하는 과정이다.
뉴럴 네트워크를 학습시키는 과정은 n 개의 뉴런과 m 개의 뉴런 사이의 웨이트 값을 n*m의 웨이트 행렬(weight matrix)로 표현하고, 행렬의 원소값을 변경하는 과정으로 설명될 수 있다. 또한, 뉴럴 네트워크를 이용한 추론을 수행하는 과정은 뉴런이 제공하는 벡터와 웨이트 행렬의 곱 연산을 수행하는 과정으로 설명할 수 있다.
저항성 메모리 (Resistive Memory)는 비휘발성 메모리로써 웨이트 정보를 해당 소자의 저항(혹은 전도도)으로 표현한다. 격자 형태(crossbar array)로 배열된 저항성 메모리는 아날로그 벡터-행렬 곱셈기로 활용될 수 있다. 벡터를 메모리 어레이의 각 행에 인가되는 전압에 대응시키고, 행렬을 메모리 어레이의 각 소자의 전도도에 대응시키면 옴의 법칙과 키르히호프의 법칙을 통해 메모리 어레이의 각 컬럼으로 출력되는 전류가 벡터-행렬 곱셈의 결과값이 된다. 기존의 CMOS 기반 벡터-행렬 곱셈기의 경우 O(n2)의 복잡도를 가지는 반면, 저항성 메모리 배열 기반 벡터-행렬 곱셈기는 O(1)의 복잡도를 가지므로 인공신경망 회로로써 기대가치가 높다.
배치 정규화(batch normalization)는 심층 신경망(deep neural network)에서 사용되는 학습 기법 중 하나이다. 배치 정규화는 각각의 뉴런이 하나의 배치에서 갖는 분포를 정규화 함으로써 학습 속도를 빠르게 하고 학습된 신경망의 최종 인식률을 높인다. 일반적인 배치 정규화는 뉴런별로 평균(mean), 분산(variance), 가중치(weight), 편향값(bias)을 가지며 학습과정에서 정해진 이 매개변수들을 추론단계에서 이용한다.
이진 신경망에서는 배치 정규화가 활성화 함수(activation function)와 합쳐져 보다 간단한 모습을 띄게 되는데, 네 가지의 매개변수가 하나의 임계값으로 정의될 수 있고, 각각의 뉴런이 할당된 임계값보다 큰지 작은지를 판단하는 것이 배치 정규화와 활성화 함수가 합쳐진 형태이다.
이진 신경망에서는 배치 정규화가 활성화 함수보다 먼저 수행되기 때문에 저항성 메모리 기반 이진 신경망 회로에서는 벡터-행렬 곱셈의 결과가 1-비트의 디지털 값으로 변환되기 전에 배치 정규화를 거쳐야 한다.
종래 기술에 의하면 감지 증폭기에 제공되는 임계값을 형성하기 위하여 디지털-아날로그 변환기(DAC)를 이용하나, 이를 형성하기 위한 면적 소모가 커지며, 전력 소모가 증가한다. 나아가, 감지 증폭기는 임계값이 변화할 수 있는 모든 범위에 상응하는 다이내믹 레인지를 가져야 하므로, 면적 소모가 더욱 커진다.
본 실시예는 상기한 종래 기술의 단점을 해소하기 위한 것으로, 전체적인 전력 소모와 면적을 감소시킬 수 있는 인공신경망 회로를 제공할 수 있는 회로를 제공하기 위한 것이다.
본 실시예에 의한 인공 신경망 회로는 한 뉴런에 대한 웨이트 정보(weight data)를 저장하는 웨이트 메모리 소자와, 웨이트 패스 트랜지스터를 포함하는 단위 웨이트 메모리 셀들이 연결된 웨이트 컬럼(weight column)과, 뉴런에 대한 임계값을 저장하는 임계값 메모리 소자와, 임계값 패스 트랜지스터를 포함하는 단위 임계값 메모리 셀이 연결된 임계값(threshold) 컬럼 및 웨이트 컬럼이 출력한 뉴런의 출력 신호와 임계값 컬럼이 출력한 임계값 신호를 비교하여 출력하는 감지 증폭기를 포함한다.
본 실시예에 의한 인공 신경망 회로는 웨이트(weight) 정보를 저장하는 웨이트 메모리 소자와, 웨이트 패스 트랜지스터를 포함하는 단위 웨이트 메모리 셀과, 프로그램되어 임계값을 저장하는 임계값 메모리 소자와, 임계값 패스 트랜지스터를 포함하는 단위 임계값(threshold) 메모리 셀 및 복수의 단위 웨이트 메모리 셀과 복수의 단위 임계값 메모리 셀들이 연결된 웨이트-임계값 컬럼과, 웨이트-임계값 컬럼의 출력 신호가 일 입력으로 제공되고, 기준 전압이 타 입력으로 제공되는 감지 증폭기를 포함한다.
본 실시예에 의하면 디지털-아날로그 변환기(DAC)를 사용하지 않아 면적 소모를 줄일 수 있으며, 전력 소모를 감소시킬 수 있다. 나아가, 종래 기술에 비하여 좁은 다이내믹 레인지를 가지는 감지 증폭기를 사용할 수 있어 면적 소모를 더욱 감소시킬 수 있다는 장점이 제공된다.
도 1은 본 실시예에 의한 인공 신경망 회로의 개요를 도시한 개요적 회로도이다.
도 2는 어느 한 단위 웨이트 메모리 셀과 단위 임계값 메모리 셀의 동작을 설명하기 위한 도면이다.
도 3은 다른 실시예에 의한 인공 신경망 회로의 개요를 도시한 개요적 회로도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하, 본 실시예를 설명함에 있어서 동일하거나, 유사한 구성을 가지는 복수의 구성 요소를 설명하는데 있어서, 각각의 구성요소를 구별하여야 설명하는 경우에는 1, 2, 3 등의 부호를 부기하여 설명한다. 다만, 구성요소를 구별하지 않고 설명하는 경우에는 1, 2, 3 등의 부호를 부기하지 않고 설명할 수 있다.
제1 실시예
도 1은 본 실시예에 의한 인공 신경망 회로(1)의 개요를 도시한 개요적 회로도이다. 도 1을 참조하면, 본 실시예에 의한 인공 신경망 회로(1)는 한 뉴런에 대한 웨이트 정보(weight data)를 저장하는 웨이트 메모리 소자들(WM1a, WM1b, ..., WMna, WMnb)과, 웨이트 패스 트랜지스터들(WP1a, WP1b, ..., WPna, WPnb)를 포함하는 단위 웨이트 메모리 셀(UWM)들이 연결된 웨이트 컬럼(weight column, WM)과, 뉴런에 대한 임계값(threshold)을 저장하는 임계값 메모리 소자들(TM1a, TM1b, ..., TMna, TMnb)과, 임계값 패스 트랜지스터(TP1a, TP1b, ..., TPna, TPnb)를 포함하는 단위 임계값 메모리 셀(UTM)이 연결된 임계값(threshold) 컬럼(TM) 및 웨이트 컬럼(WM)이 출력한 뉴런의 출력 신호와 임계값 컬럼(TM)이 출력한 임계값 합 신호를 비교하여 출력하는 감지 증폭기(SA)를 포함한다.
웨이트 컬럼(WM)은 복수의 단위 웨이트 메모리 셀(UWM)들과, 복수의 단위 웨이트 메모리 셀(UWM)들이 연결된 비트 라인(BL1)을 포함한다. 단위 웨이트 메모리 셀(UWM)은 웨이트 메모리 소자(WM)와 웨이트 패스 트랜지스터(WP)를 포함한다. 웨이트 메모리 소자(WM)는 저항성 메모리(resistive memory) 소자로, 저장된 정보에 따라 일 전극과 타 전극 사이의 전기 저항이 변화한다. 저항성 메모리 소자는 비휘발성 메모리 소자로, 전원이 제공되지 않아도 저장된 정보가 휘발되지 않는다.
웨이트 패스 트랜지스터(WP)는 비트 라인(BL1)과 웨이트 메모리 소자(WM)의 회로 연결을 제어한다. 도시된 실시예에서, 웨이트 패스 트랜지스터(WP)의 소스 전극에 그라운드 전압이 제공되고, 드레인 전극에 웨이트 메모리 소자(WM)가 연결되며, 웨이트 메모리 소자(WM)는 비트 라인(BL)과 연결된다. 도시되지 않은 실시예에서, 웨이트 메모리 소자(WM)의 일 전극에는 그라운드 전압이 제공되고, 웨이트 메모리 소자(WM)의 타 전극은 웨이트 패스 트랜지스터(WP)의 소스 전극에 연결될 수 있다. 웨이트 패스 트랜지스터(WP)의 드레인 전극은 비트 라인(BL)과 연결된다.
실시예들에서, 웨이트 패스 트랜지스터(WP)가 도통되면 비트 라인(BL)의 일단에 연결된 전압 레일(V)로부터 저항(Rs), 웨이트 메모리 소자(WM)를 거쳐 그라운드 전압까지 회로가 형성된다. 웨이트 패스 트랜지스터(WP)가 차단되면 비트 라인(BL)과 그라운드 전압까지의 회로는 차단된다.
임계값 컬럼(TM)은 복수의 단위 임계값 메모리 셀(UTM)들과, 복수의 단위 웨이트 메모리 셀(UTM)들이 연결된 비트 라인(BL2)을 포함한다. 단위 임계값 메모리 셀(UTM)은 임계값 메모리 소자(TM)와 임계값 패스 트랜지스터(TP)를 포함한다.
임계값 메모리 소자는 저항성 메모리(resistive memory) 소자로, 상기한 웨이트 메모리 소자와 동일하다. 간결하고 명확한 설명을 위하여 중복된 설명을 생략한다. 또한, 임계값 패스 트랜지스터(TP)는 웨이트 패스 트랜지스터와 동일하다. 간결하고 명확한 설명을 위하여 중복된 설명을 생략한다.
도시된 실시예에서 웨이트 패스 트랜지스터(WP) 및 임계값 패스 트랜지스터(TP)는 모두 NMOS 트랜지스터이다. 그러나, 이는 실시예일 따름으로, MOS 트랜지스터, BJT 트랜지스터 등의 제어 전극으로 제공되는 전기적 신호에 따라 일 전극과 타 전극 사이의 전기 저항이 제어되는 소자이면 웨이트 패스 트랜지스터(WP) 및 임계값 패스 트랜지스터(TP)에 적용될 수 있다.
단위 웨이트 메모리 셀(UWM1)은 단일한 웨이트 값을 저장하며, 각각 웨이트 패스 트랜지스터(WP1a, WP1b)와 연결되어 상보적으로 웨이트 데이터 값을 저장하는 웨이트 메모리 소자(WM1a, WM1b)들을 포함하며, 웨이트 메모리 소자(WM1a, WM1b)들은 모두 비트 라인(BL1)에 연결된다. 단위 웨이트 메모리 셀(UWM)에 포함된 웨이트 패스 트랜지스터(WP1a, WP1b)들은 각각 서로 상보적인 제어 신호가 제공되는 워드 라인(WL1a, WL1b)에 연결되어 서로 배타적으로 도통된다.
단위 임계값 메모리 셀(UTM1)은 각각 임계값 패스 트랜지스터(TP1a, TP1b)와 연결된 서로 동일한 임계값 값이 저장된 임계값 메모리 소자(TM1a, TM1b)들을 포함하며, 임계값 메모리 소자(TM1a, TM1b)들은 모두 비트 라인(BL2)에 전기적으로 연결된다. 단위 임계값 메모리 셀(UTM1)에 포함된 임계값 패스 트랜지스터(TP1a, TP1b)들은 각각 서로 상보적인 제어 신호가 제공되는 워드 라인(WL1a, WL1b)에 연결되어 서로 배타적으로 도통된다.
도 2는 어느 한 단위 웨이트 메모리 셀(UWM)과 단위 임계값 메모리 셀(UTM)의 동작을 설명하기 위한 도면이다. 도 2를 참조하면, 단위 웨이트 메모리 셀(UWMk)은 단일한 웨이트를 저장하며, 웨이트는 웨이트 메모리 소자(WMKa, WMKb)에 서로 상보적인 데이터들로 저장된다. 웨이트 메모리 소자(WMka, WMkb)는 서로 상보적인 제어 신호가 제공되는 워드 라인(WLka, WLkb)에 연결되어 배타적으로 연결된다.
웨이트 WMka WMkb
+1 LRS HRS
-1 HRS LRS
(LRS: low resistance state, HRS: high resistance state)
표 1은 단위 웨이트 메모리 셀(UWMk)에 저장된 웨이트와 웨이트 메모리 소자의 상대적 저항값을 나타낸 표이다. 표 1을 참조하면, 단위 웨이트 메모리 셀에 저장된 웨이트가 "+1"일 때, 웨이트 메모리 소자(WMka)의 일단과 타단 사이는 낮은 저항값을 가지는 것으로 규정하면, 메모리 소자(WMkb)의 일단과 타단 사이는 이와 상보적으로 높은 저항값을 가질 수 있다. 또한, 단위 웨이트 메모리 셀에 저장된 웨이트가 "-1"일 때, 웨이트 메모리 소자(WMka)의 일단과 타단 사이는 높은 저항값을 가지는 것으로 규정하면, 메모리 소자(WMkb)의 일단과 타단 사이는 이와 상보적으로 낮은 저항값을 가지는 것으로 규정할 수 있다.
단위 웨이트 메모리 셀에 저장된 웨이트가 "+1"일 때, 입력(xk)으로 논리 하이 상태의 신호가 제공되어 워드 라인(WLka)을 통하여 논리 하이 상태의 신호가 제공되고, 워드 라인(WLkb)을 통하여 논리 로우 상태의 신호가 제공되면, 웨이트 패스 트랜지스터 WPkb는 차단되나, 웨이트 패스 트랜지스터 WPka는 도통된다. 또한, 임계값 패스 트랜지스터 TPka는 도통되고, 임계값 패스 트랜지스터 TPkb는 차단된다(케이스 1).
또한, 단위 웨이트 메모리 셀에 저장된 웨이트가 "+1"일 때, 입력(xk)으로 논리 로우 상태의 신호가 제공되어 워드 라인(WLka)을 통하여 논리 로우 상태의 신호가 제공되고, 워드 라인(WLkb)을 통하여 논리 하이 상태의 신호가 제공되면, 웨이트 패스 트랜지스터 WPkb는 도통되고, 웨이트 패스 트랜지스터 WPka는 차단된다. 또한, 임계값 패스 트랜지스터 TPka는 차단되고, 임계값 패스 트랜지스터 TPkb는 도통된다(case 2).
케이스 2에서 비트 라인(BL1)을 통하여 높은 저항 상태의 웨이트 메모리 소자(WMKb)를 통하여 전압(V)이 제공되므로, 낮은 저항 상태의 웨이트 메모리 소자(WMKa)를 통하여 전압이 제공되는 케이스 1에 비하여 비트 라인(BL1)에는 낮은 전류가 흐른다. 그러나, 비트 라인(BL2)에는 케이스 1이나, 케이스 2에서 서로 다른 임계값 패스 트랜지스터가 도통되어도 임계값 메모리 소자는 모두 동일한 값을 저장하고 있으므로 동일한 전류가 흐른다. 따라서, 비트 라인(BL1)과 비트 라인(BL2)에 흐르는 전압을 비교하면 해당 뉴런의 출력과 배치 정규화 임계값과의 관계를 파악할 수 있다.
이하에서는 도 1을 참조하여 본 실시예에 의한 인공 신경망 회로(1)의 동작을 살펴본다. 입력{x1, ..., xn}을 통하여 입력 벡터가 제공된다. 제공된 입력에 따라 워드 라인{WL1a, WL1b, ..., WLna, WLnb}에 입력에 상응하는 신호와, 입력에 상보적인 신호가 제공되어 웨이트 패스 트랜지스터들(WP1a, WP1b, ..., WNna, WPnb) 및 임계값 패스 트랜지스터들(TP1a, TP1b, ..., TNna, TPnb)이 도통된다.
웨이트 패스 트랜지스터들(WP1a, WP1b, ..., WNna, WPnb)이 입력 벡터에 상응하도록 도통됨에 따라 복수의 단위 웨이트 메모리 셀(UWM1, ..., UWMn)들에 저장된 웨이트에 상응하는 복수의 웨이트 메모리 소자들이 전압 레일(V), 비트 라인(BL1), 그라운드 전압 사이에서 회로를 형성한다. 이들이 출력하는 신호는 비트 라인(BL1)을 통하여 중첩된다. 비트 라인(BL1)을 통하여 출력되는 신호는 입력 벡터에 대한 어느 한 뉴런 출력에 상응한다.
임계값 패스 트랜지스터들(TP1a, TP1b, ..., TNna, TPnb)이 도통됨에 따라 복수의 단위 임계값 메모리 셀(UTM1, ..., UTMn)들에 저장된 임계값에 상응하는 복수의 임계값 메모리 소자들이 전압 레일(V), 비트 라인(BL1), 그라운드 전압 사이에서 회로를 형성한다. 다만, 어느 한 단위 임계값 메모리 셀에 포함된 임계값 메모리 소자는 모두 동일한 값을 저장하고 있으므로, 임계값 메모리 셀에 포함된 어느 패스 트랜지스터가 도통되더라도 비트 라인(BL2)과 그라운드 사이에서 형성되는 저항값은 동일하다.
단위 임계값 메모리 셀들이 출력하는 신호는 비트 라인(BL2)을 통하여 중첩된다. 따라서, 비트 라인(BL2)을 통하여 신호는 사용자가 프로그램을 통하여 단위 임계값 메모리 셀(UTM1, ..., UTMn)에 저장한 임계값에 상응한다.
감지 증폭기(SA)는 비트 라인(BL1)과 연결된 일 입력을 통하여 입력 벡터에 대한 어느 한 뉴런 출력이 제공되고, 비트 라인(BL2)과 연결된 타 입력을 통하여 임계값이 제공된다. 감지 증폭기(SA)는 제공된 뉴런 출력과 임계값을 비교하여 결과 상응하는 출력(output) 신호를 제공한다. 일 예로, 출력 신호(output)는 대소 결과를 비교한 부호 신호일 수 있다.
제2 실시예
이하에서는 첨부된 도면을 참조하여 제2 실시예를 설명한다. 간결하고 명확한 설명을 위하여 위에서 설명된 실시예와 동일하거나 유사한 요소에 대하여는 설명을 생략할 수 있다. 도 3은 본 실시예에 의한 인공 신경망 회로의 개요를 도시한 개요적 회로도이다. 도 3을 참조하면, 본 실시예에 의한 인공 신경망 회로(2)는 웨이트(weight) 정보를 저장하는 웨이트 메모리 소자(WM)와, 웨이트 패스 트랜지스터(WP)를 포함하는 단위 웨이트 메모리 셀(UWM)과, 프로그램되어 임계값을 저장하는 임계값 메모리 소자(TM)와, 임계값 패스 트랜지스터(TP)를 포함하는 단위 임계값(threshold) 메모리 셀(UTM) 및 복수의 단위 웨이트 메모리 셀들과 복수의 단위 임계값 메모리 셀들이 연결된 웨이트-임계값 컬럼(UTM)과, 웨이트-임계값 컬럼의 출력 신호가 일 입력으로 제공되고, 기준 전압(Vref)이 타 입력으로 제공되는 감지 증폭기(SA)를 포함한다.
단위 웨이트 메모리 셀(UWM1)은 웨이트 값을 저장한다. 단위 웨이트 메모리 셀(UWM)은 각각 웨이트 패스 트랜지스터(WP1a, WP1b)와 연결되어 상보적인 데이터 값이 저장된 웨이트 메모리 소자(WM1a, WM1b)들을 포함하며, 웨이트 메모리 소자(WM1a, WM1b)들은 모두 비트 라인(BL)에 연결된다.
단위 웨이트 메모리 셀(UWM)에 포함된 웨이트 패스 트랜지스터(WP1a, WP1b)들이 각각 서로 상보적인 제어 신호가 제공되는 워드 라인(WL1a, WL1b)에 연결되어 서로 배타적으로 도통되는 것은 위에서 설명된 실시예와 같다. 단위 임계값 메모리 셀(UTM)은 임계값 데이터를 저장하는 임계값 메모리 소자(TM)와 비트 라인(BL)과 임계값 메모리 소자(TM)의 회로 연결을 제어하는 임계값 패스 트랜지스터(TP)를 포함한다.
단위 임계값 메모리 셀들(UTM1, ...,UTMn)은 각각 제어 신호{y1, ...,yn}가 제공되어 도통된다. 일 예로, 단위 임계값 메모리 셀들(UTM1, ...,UTMn)에 임계값을 프로그램 하는 경우에는 프로그램 하고자 하는 단위 임계값 메모리 셀들(UTM1, ...,UTMn)별로 제어 신호{y1, ...,yn}를 제공하여 임계값 메모리 소자(TM1, ..., TMn)에 데이터를 저장하도록 한다. 다른 예로, 인공 신경망 회로(2)를 구동할 때에는 임계값 패스 트랜지스터들(TP1, ...,TPn)이 도통되도록 제어 신호{y1, ...,yn}를 제공한다.
단위 임계값 메모리 셀들(UTM1, ...,UTMn)에 저장된 임계값들은 단위 웨이트 메모리 셀들(UWM1, ..., UWMn)에 저장된 웨이트 값들과 서로 반대의 부호 규약(sign convention)으로 저장된다. 일 예로, 웨이트 메모리 셀에 저장된 웨이트 값이 "+1"일 때, 웨이트 메모리 소자(WMa)의 일단과 타단 사이는 낮은 저항값을 가지나, 단위 임계값 메모리 셀(UT)에 저장된 임계값이 "+1"이면 임계값 메모리 소자(TM)는 높은 저항값을 가진다.
복수의 웨이트 메모리 셀들(UWM1, ..., UWMn)과 복수의 임계값 메모리 셀들(UTM1, ..., UTMn)은 동일한 비트 라인(BL)에 연결된다.
이하에서는 도 3을 참조하여 본 실시예에 의한 인공 신경망 회로의 동작을 설명한다. 간결하고 명확한 설명을 위하여 위에서 설명된 실시예와 동일하거나 유사한 요소에 대하여는 설명을 생략할 수 있다. 입력{x1, ..., xn}을 통하여 입력 벡터가 제공되면 상응하는 웨이트 패스 트랜지스터가 도통되어 전압 레일(V), 웨이트 메모리 소자 및 그라운드 전압까지의 회로가 형성된다. 따라서, 복수의 단위 웨이트 메모리 셀들(UWM1, ..., UWMn)은 제공된 입력 벡터에 대한 뉴런의 출력을 비트 라인(BL)을 통하여 출력한다.
위에서 설명된 바와 같이 인공 신경망 회로(2) 구동시 임계값 패스 트랜지스터들(TP1, ..., TPn)은 항상 도통되므로, 비트 라인(BL)을 통하여 프로그램된 임계값에 상응하는 출력 전류를 제공한다. 비트 라인(BL)에는 복수의 단위 웨이트 메모리 셀들(UWM1, ..., UWMn)이 출력한 뉴런의 출력에 상응하는 전류와 프로그램된 임계값에 상응하는 출력 전류가 도합된다. 그러나, 단위 임계값 메모리 셀들(UTM1, ...,UTMn)에 저장된 임계값들은 단위 웨이트 메모리 셀들(UWM1, ..., UWMn)에 저장된 웨이트 값들과 서로 반대의 부호 규약(sign convention)을 가지므로, 비트 라인에 흐르는 전류의 성분은 뉴런의 출력 신호에서 임계값을 뺀 차이에 상응한다.
감지 증폭기(SA)의 일 입력은 비트 라인(BL)과 연결되며, 타 입력은 기준 전압과 연결된다. 따라서, 감지 증폭기(SA)는 비트 라인(BL)을 통하여 제공된 뉴런의 출력 신호에서 임계값을 뺀 차이와 0을 의미하는 기준 전압을 비교한 결과를 출력한다.
도 3으로 예시된 실시예는 단일한 웨이트-임계값 컬럼만을 도시하였으나, 이는 일 예일 따름이며, 도시되지 않은 실시예는 복수의 웨이트-임계값 컬럼들을 포함할 수 있다.
위에 설명된 실시예 들에 의하면 배치 정규화를 위한 디지털 코드를 아날로그 전압으로 변환하기 위한 디지털 아날로그 변환기가 불필요하다. 따라서 인공 신경망 회로를 형성하는데 필요한 면적 소모를 줄일 수 있으며, 전력 소모를 낮출 수 있다는 장점이 제공된다.
본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 실시를 위한 실시예로, 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
WM1a, WM1b, ..., WMna, WMnb: 웨이트 메모리 소자들
WP1a, WP1b, ..., WPna, WPnb: 웨이트 패스 트랜지스터들
UWM1, .., UWMn: 단위 웨이트 메모리 셀 WM: 웨이트 컬럼
TM1a, TM1b, ..., TMna, TMnb: 임계값 메모리 소자들
TP1a, TP1b, ..., TPna, TPnb: 임계값 패스 트랜지스터
UTM: 단위 임계값 메모리 셀 TM: 임계값 컬럼
SA: 감지 증폭기 BL, BL1, BL2: 비트 라인

Claims (16)

  1. 한 뉴런에 대한 웨이트 정보(weight data)를 저장하는 웨이트 메모리 소자와, 웨이트 패스 트랜지스터를 포함하는 단위 웨이트 메모리 셀들이 연결된 웨이트 컬럼(weight column);
    상기 뉴런에 대한 임계값을 저장하는 임계값 메모리 소자와, 임계값 패스 트랜지스터를 포함하는 단위 임계값 메모리 셀이 연결된 임계값(threshold) 컬럼 및
    상기 웨이트 컬럼이 출력한 뉴런의 출력 신호와 상기 임계값 컬럼이 출력한 임계값 신호를 비교하여 출력하는 감지 증폭기를 포함하는 인공 신경망 회로.
  2. 제1항에 있어서,
    상기 웨이트 컬럼은 복수의 상기 단위 웨이트 메모리 셀들이 연결된 제1 비트 라인을 더 포함하며,
    상기 임계값 컬럼은 복수의 상기 단위 임계값 메모리 셀들이 연결된 제2 비트라인을 더 포함하는 인공 신경망 회로.
  3. 제1항에 있어서,
    상기 단위 웨이트 메모리 셀은
    상기 웨이트 정보를 상보적으로 저장하는 제1 웨이트 메모리 소자 및 제2 웨이트 메모리 소자 및
    상기 제1 웨이트 메모리 소자로의 전기적 신호 제공을 제어하는 제1 웨이트 패스 트랜지스터와, 상기 제2 웨이트 메모리 소자로의 전기적 신호 제공을 제어하는 제2 웨이트 패스 트랜지스터를 포함하고,
    상기 제1 웨이트 패스 트랜지스터 및 상기 제2 웨이트 패스 트랜지스터는 도통 및 차단이 배타적으로 제어되는 인공 신경망 회로.
  4. 제3항에 있어서,
    상기 단위 임계값 메모리 셀은
    상기 임계값을 저장하는 제1 임계값 메모리 소자 및 제2 임계값 메모리 소자 및
    상기 제1 임계값 메모리 소자로의 전기적 신호 제공을 제어하는 제1 임계값 패스 트랜지스터와, 상기 제2 임계값 메모리 소자로의 전기적 신호 제공을 제어하는 제2 임계값 패스 트랜지스터를 포함하는 인공 신경망 회로.
  5. 제4항에 있어서,
    상기 제1 웨이트 패스 트랜지스터는 상기 제1 임계값 패스 트랜지스터와 동일한 워드 라인에 연결되고,
    상기 제2 웨이트 패스 트랜지스터는 상기 제2 임계값 패스 트랜지스터와 동일한 워드 라인에 연결되며,
    상기 제1 웨이트 패스 트랜지스터와 상기 제1 임계값 패스 트랜지스터가 연결된 워드 라인과, 상기 제2 웨이트 패스 트랜지스터와 상기 제2 임계값 패스 트랜지스터가 연결된 워드 라인에는 상보적인 신호가 제공되는 인공 신경망 회로.
  6. 제1항에 있어서,
    상기 웨이트 메모리 소자들과 상기 임계값 메모리 소자들은 저항성 메모리 소자로,
    상기 워드 라인으로 제공된 입력에 의하여 상기 웨이트 패스 트랜지스터가 제어되어 상기 제1 입력에 제공되는 전압이 변화하며,
    상기 워드 라인으로 제공된 입력에 의하여 상기 임계값 패스 트랜지스터가 제어되어 상기 제2 입력에 제공되는 전압이 변화하는 인공 신경망 회로.
  7. 제1항에 있어서,
    상기 임계값 신호는 상기 뉴런의 배치 표준화 임계값에 상응하는 인공 신경망 회로.
  8. 제1항에 있어서,
    상기 임계값은 프로그램되어 제공된 인공 신경망 회로.
  9. 웨이트(weight) 정보를 저장하는 웨이트 메모리 소자와, 웨이트 패스 트랜지스터를 포함하는 단위 웨이트 메모리 셀과,
    프로그램되어 임계값을 저장하는 임계값 메모리 소자와, 임계값 패스 트랜지스터를 포함하는 단위 임계값(threshold) 메모리 셀 및
    복수의 상기 단위 웨이트 메모리 셀과 복수의 상기 단위 임계값 메모리 셀들이 연결된 웨이트-임계값 컬럼과,
    상기 웨이트-임계값 컬럼의 출력 신호가 일 입력으로 제공되고, 기준 전압이 타 입력으로 제공되는 감지 증폭기를 포함하는 인공 신경망 회로.
  10. 제9항에 있어서,
    상기 웨이트-임계값 컬럼은,
    복수의 상기 단위 웨이트 메모리 셀들과, 복수의 상기 단위 임계값(threshold) 메모리 셀들이 동일한 비트 라인에 연결된 인공 신경망 회로.
  11. 제10항에 있어서,
    상기 동일한 비트 라인에 연결된 상기 복수의 단위 임계값 메모리 셀들에 포함된 임계값 패스 트랜지스터들은 항상 도통되는 인공 신경망 회로.
  12. 제10항에 있어서,
    상기 비트 라인의 일 단에는 저항을 통하여 미리 정해진 전압이 제공되는 인공 신경망 회로.
  13. 제9항에 있어서,
    상기 웨이트-임계값 컬럼에 포함된 상기 단위 임계값 셀에 저장된 임계값은 상기 단위 웨이트 메모리 소자와 반대의 부호 규약을 가지는 인공 신경망 회로.
  14. 제9항에 있어서,
    상기 웨이트-임계값 컬럼의 출력 신호는,
    입력 신호에 대한 상기 뉴런 출력과 상기 뉴런의 배치 표준화 임계값의 차이에 상응하는 인공 신경망 회로.
  15. 제9항에 있어서,
    상기 인공 신경망 회로는
    복수의 상기 웨이트-임계값 컬럼을 더 포함하는 인공 신경망 회로.
  16. 제9항에 있어서,
    상기 웨이트 메모리 소자들과 상기 임계값 메모리 소자들은 저항성 메모리 소자인 인공 신경망 회로.
KR1020180142913A 2018-11-19 2018-11-19 이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치 KR102221763B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180142913A KR102221763B1 (ko) 2018-11-19 2018-11-19 이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치
US16/687,599 US11580368B2 (en) 2018-11-19 2019-11-18 Artificial neural network circuit
US18/094,351 US11755897B2 (en) 2018-11-19 2023-01-07 Artificial neural network circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180142913A KR102221763B1 (ko) 2018-11-19 2018-11-19 이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치

Publications (3)

Publication Number Publication Date
KR20200058196A true KR20200058196A (ko) 2020-05-27
KR102221763B1 KR102221763B1 (ko) 2021-02-26
KR102221763B9 KR102221763B9 (ko) 2021-10-27

Family

ID=70727996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180142913A KR102221763B1 (ko) 2018-11-19 2018-11-19 이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치

Country Status (2)

Country Link
US (2) US11580368B2 (ko)
KR (1) KR102221763B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102105936B1 (ko) * 2018-06-25 2020-05-28 포항공과대학교 산학협력단 웨이트 행렬 입력 회로 및 웨이트 행렬 회로
US11755894B2 (en) * 2019-04-09 2023-09-12 Cirrus Logic Inc. Computing circuitry for configuration and operation of cells and arrays comprising memristor elements
GB2583790A (en) 2019-05-07 2020-11-11 Cirrus Logic Int Semiconductor Ltd Computing circuitry
CN114424198A (zh) * 2019-09-17 2022-04-29 安纳富来希股份有限公司 乘法累加器
JP2021111142A (ja) 2020-01-10 2021-08-02 株式会社東芝 演算装置
US11397885B2 (en) 2020-04-29 2022-07-26 Sandisk Technologies Llc Vertical mapping and computing for deep neural networks in non-volatile memory
CN112613688B (zh) * 2021-01-11 2022-03-29 东北农业大学 一种基于pso-bp神经网络的tmr日粮瘤胃发酵甲烷产量的预测方法
WO2023177269A1 (en) * 2022-03-18 2023-09-21 Samsung Electronics Co., Ltd. Neural network based method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144130A (ko) * 2013-06-10 2014-12-18 삼성전자주식회사 시냅스 어레이, 펄스 쉐이퍼 회로 및 이들을 포함하는 뉴로모픽 시스템
KR20170084020A (ko) * 2015-10-23 2017-07-19 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 전자 기기
KR20180020078A (ko) * 2016-08-17 2018-02-27 삼성전자주식회사 뉴로모픽 컴퓨팅을 위한 저전압 아날로그 또는 멀티레벨 메모리

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247206A (en) * 1992-03-12 1993-09-21 Intel Corporation Neural network accommodating parallel synaptic weight adjustments in a single cycle
US8054662B2 (en) * 2009-08-28 2011-11-08 International Business Machines Corporation Content addressable memory array
US20130028010A1 (en) * 2011-07-29 2013-01-31 Qualcomm Incorporated Fast MTJ Switching Write Circuit For MRAM Array
US10909449B2 (en) * 2017-04-14 2021-02-02 Samsung Electronics Co., Ltd. Monolithic multi-bit weight cell for neuromorphic computing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140144130A (ko) * 2013-06-10 2014-12-18 삼성전자주식회사 시냅스 어레이, 펄스 쉐이퍼 회로 및 이들을 포함하는 뉴로모픽 시스템
KR20170084020A (ko) * 2015-10-23 2017-07-19 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 전자 기기
KR20180020078A (ko) * 2016-08-17 2018-02-27 삼성전자주식회사 뉴로모픽 컴퓨팅을 위한 저전압 아날로그 또는 멀티레벨 메모리

Also Published As

Publication number Publication date
KR102221763B1 (ko) 2021-02-26
KR102221763B9 (ko) 2021-10-27
US11755897B2 (en) 2023-09-12
US20230153594A1 (en) 2023-05-18
US11580368B2 (en) 2023-02-14
US20200160160A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
KR102221763B1 (ko) 이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치
US9779355B1 (en) Back propagation gates and storage capacitor for neural networks
US5004932A (en) Unit circuit for constructing a neural network and a semiconductor integrated circuit having the same
Lazzaro et al. Winner-take-all networks of O (n) complexity
US4951239A (en) Artificial neural network implementation
CN111095417A (zh) 使用非易失性半导体存储元件的神经网络运算电路
CN111433792A (zh) 可编程可重置人工神经网络的基于计数器的电阻处理单元
EP0377908B1 (en) Neural network having an associative memory that learns by example
US11699721B2 (en) Integrate-and-fire neuron circuit using single-gated feedback field-effect transistor
Merrikh-Bayat et al. The neuro-fuzzy computing system with the capacity of implementation on a memristor crossbar and optimization-free hardware training
WO2020018960A1 (en) Compute-in-memory architecture for neural networks
KR102105936B1 (ko) 웨이트 행렬 입력 회로 및 웨이트 행렬 회로
CN111194467A (zh) 差分忆阻电路
US4961005A (en) Programmable neural circuit implementable in CMOS very large scale integration
US5043913A (en) Neural network
Zhang et al. The framework and memristive circuit design for multisensory mutual associative memory networks
Vohra et al. CMOS circuit implementation of spiking neural network for pattern recognition using on-chip unsupervised STDP learning
WO2021259072A1 (en) Suppressing undesired programming at half-selected devices in a crosspoint array of 3-terminal resistive memory
US11250316B2 (en) Aggregate adjustments in a cross bar neural network
KR102671259B1 (ko) 인버팅 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
Shchanikov et al. Memristive concept of a high-dimensional neuron
Ghosh et al. OTA-based neural network architectures with on-chip tuning of synapses
Archana et al. Design of CMOS current mode and voltage mode Winner Take all circuit on 180nm technology
KR20210103331A (ko) 선형 전류-전압 특성의 시냅스 소자 및 신경망 회로
Carro-Pérez et al. High-frequency memristive synapses

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]