KR20230094395A - 뉴로모픽 반도체 소자 및 동작 방법 - Google Patents

뉴로모픽 반도체 소자 및 동작 방법 Download PDF

Info

Publication number
KR20230094395A
KR20230094395A KR1020210183551A KR20210183551A KR20230094395A KR 20230094395 A KR20230094395 A KR 20230094395A KR 1020210183551 A KR1020210183551 A KR 1020210183551A KR 20210183551 A KR20210183551 A KR 20210183551A KR 20230094395 A KR20230094395 A KR 20230094395A
Authority
KR
South Korea
Prior art keywords
synaptic
array
weight
update
neuromorphic
Prior art date
Application number
KR1020210183551A
Other languages
English (en)
Other versions
KR102634665B1 (ko
Inventor
김세영
노경미
이채운
지원재
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020210183551A priority Critical patent/KR102634665B1/ko
Priority to US17/837,006 priority patent/US20230195363A1/en
Publication of KR20230094395A publication Critical patent/KR20230094395A/ko
Application granted granted Critical
Publication of KR102634665B1 publication Critical patent/KR102634665B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B63/00—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

본 발명의 일 실시예에 따른 뉴로모픽 반도체 소자는 제1 가중치를 가지는 제1 시냅스 소자를 포함하는 제1 시냅스 어레이와, 강화 또는 약화 연산에 대하여 대칭적으로 제2 가중치를 조절하도록 구성되는 제2 시냅스 소자를 포함하는 제2 시냅스 어레이와, 상기 제1 시냅스 소자 및 제2 시냅스 소자들을 통해 단일 시냅스를 구성하고, 읽기 과정에서 상기 제1 가중치 및 제2 가중치들을 함께 액세스하여 최종 가중치를 결정하는 제어부를 포함하는 것을 특징으로 한다.

Description

뉴로모픽 반도체 소자 및 동작 방법{Neuromorphic semiconductor devices and operating methods}
본 발명은 뉴로모픽 반도체 소자 및 그 동작 방법에 관한 것으로, 보다 상세하게는 비휘발성 메모리 소자 및 시냅스 소자 어레이 특히, 뉴럴 네트워크 학습 시 발생하는 벡터-매트리스 연산 및 가중치 저장 등을 위한 시냅스 소자의 크로스 포인트 어레이 구성 시에 서로 다른 비대칭적 업데이트 특성을 가진 시냅스 소자를 적용하는 뉴로모픽 반도체 소자에 관한 것이다.
최근 들어 뉴럴 네트워크를 하드웨어적으로 구현한 뉴로모픽 소자에 대한 연구가 다양한 방향으로 진행되고 있다. 뉴로모픽 소자는 생체의 뇌신경계를 이루는 뉴런과 시냅스의 구조를 모방한 것으로, 대체로 시냅스 전에 위치한 시냅스 전 뉴런(Pre neuron), 시냅스, 시냅스 후에 위치한 시냅스 후 뉴런(Post neuron)의 구조를 갖는다. 시냅스는 뉴런과 뉴런 사이의 연결 지점으로써, 양쪽 뉴런에서 발생한 스파이크 (spike) 신호에 따라 시냅스 가중치 (synaptic weight)를 업데이트하고(updating), 이를 저장하는 (memorizing) 기능을 가진다.
일반적으로 시냅스 소자 어레이를 사용하여 뉴럴 네트워크를 학습시킬 때에는 학습 성능을 올리기 위해 시냅스 소자에 정확한 가중치를 업데이트하는 것이 중요하다. 따라서 한 번의 업데이트 시 시냅스 소자에 업데이트되는 컨덕턴스 값이 목표 값과 일치해야한다. 그러나 ReRAM(Resistive RAM), PCM(Phase Change Memory), FeRAM(Ferroelectric RAM), ECRAM(Electrochemical RAM) 등 활발히 연구되고 있는 시냅스 소자들의 경우, 동일한 컨덕턴스 값을 갖고 있는 상태에서도 컨덕턴스의 증감 방향에 따라 한 번에 업데이트되는 컨덕턴스의 양이 달라진다. 이를 소자의 비대칭적 업데이트 특성이라고 하며, 이러한 비대칭적 업데이트 특성은 소자에 정확한 가중치 값이 저장되는 것을 방해하므로 뉴럴 네트워크 학습 성능 악화의 주요 원인이 된다. 하지만 이는 시냅스 소자의 구조 및 이에 따른 컨덕턴스 변화 기전에 따른 물리적 특성이므로, 소자의 업데이트 비대칭성을 개선하는 연구가 계속되고 있다.
공개특허 10-2020-0100286호는 효율적인 음수 가중치 구현이 가능한 뉴로모픽 회로 시스템에 있어서, 다수의 프리 뉴런, 다수의 포스트 뉴런, 상기 프리 뉴런의 각각에서 로우 방향으로 연장되는 다수의 로우 라인과, 상기 포스트 뉴런의 각각에 대응되는 다수의 컬럼 라인의 교차점들 상에서 배치되어, 시냅스 어레이를 형성하는 다수의 시냅스, 상기 다수의 프리 뉴런의 입력에 시프트 가중치를 가중하여 합산하고 합산된 결과를 출력하는 시프트 회로, 및 상기 다수의 컬럼 라인 각각의 출력에서 상기 시프트 회로의 출력을 차감하여, 차감된 출력을 상기 포스트 뉴런 각각에 출력시키는 차감 회로를 포함하고, 상기 다수의 시냅스 각각은 원래 가중치에서 상기 시프트 가중치로 시프트한 가중치를 가지는 것을 특징으로 한다.
공개특허 제10-2020-0100286호(2020.08.26)
본 발명의 일 실시예는 연산 및 가중치 저장 등을 위한 시냅스 소자의 크로스 포인트 어레이 구성 시에 서로 다른 비대칭적 업데이트 특성을 가진 시냅스 소자를 적용함으로써, 기존 시냅스 소자의 물리적인 한계로 개선이 어려운 비대칭성 조건을 완화하여 아날로그 뉴럴 네트워크 가속기의 구현이 가능하며, 높은 뉴럴 네트워크 학습 성능을 보장할 수 있는 뉴로모픽 반도체 소자 및 동작 방법을 제공한다.
본 발명의 일 실시예에 따른 뉴로모픽 반도체 소자는 제1 가중치를 가지는 제1 시냅스 소자를 포함하는 제1 시냅스 어레이와, 강화 또는 약화 연산에 대하여 대칭적으로 제2 가중치를 조절하도록 구성되는 제2 시냅스 소자를 포함하는 제2 시냅스 어레이와, 상기 제1 시냅스 소자 및 제2 시냅스 소자들을 통해 단일 시냅스를 구성하고, 읽기 과정에서 상기 제1 가중치 및 제2 가중치들을 함께 액세스하여 최종 가중치를 결정하는 제어부를 포함한다.
상기 제1 시냅스 어레이 및 제2 시냅스 어레이는 ReRAM(Resistive RAM), PCM(Phase Change Memory), FeRAM(Ferroelectric RAM) 및 ECRAM(Electrochemical RAM) 중 선택된 어느 하나를 시냅스 소자로 구성하는 것을 특징으로 한다.
상기 제1 시냅스 어레이 및 상기 제2 시냅스 어레이는 서로 다른 업데이트 비대칭성을 갖는 시냅스 소자를 포함하는 것을 특징으로 한다.
상기 제1 시냅스 어레이 및 제2 시냅스 어레이는 서로 다른 시냅스 소자를 사용하되, 상기 제2 시냅스 소자는 상기 제1 시냅스 소자에 비해 상대적으로 업데이트 비대칭성이 작은 시냅스 소자를 사용하여 뉴럴 네트워크를 구성하는 것을 특징으로 한다.
상기 제1 시냅스 어레이 및 제2 시냅스 어레이는 동일한 시냅스 소자를 사용하되, 상기 제2 시냅스 소자는 상기 제1 시냅스 소자에 비해 상대적으로 업데이트 비대칭성이 작게 조절하여 뉴럴 네트워크를 구성하는 것을 특징으로 한다.
상기 제어부에서 결정하는 최종 가중치는 아래의 수학식 1과 같이 산출하는 것을 특징으로 한다.
[수학식 1]
Figure pat00001
상기 제어부는 각 입력 값에 대한 출력 값과 이상 값과 실제 값의 오차를 출력층의 반대편으로 전파시키는 동작에 의거하여 출력 값과 실제 예측하고자 하는 값을 비교하여 현재의 입력 값과 저장된 가중치로 오차 값을 계산하며, 이는 아래의 수학식 2와 같이 산출하는 것을 특징으로 한다.
[수학식 2]
Figure pat00002
상기 제어부는 견고성 점수를 통해 학습률 공간에서의 상기 제1 시냅스 소자 및 상기 제2 시냅스 소자의 업데이트 비대칭적 특성의 최적 조합을 산출하며, 상기 견고성 점수(RS(m))는 아래의 [수학식 3]과 같은 것을 특징으로 한다.
[수학식 3]
Figure pat00003
본 발명의 일 실시예에 따른 뉴로모픽 반도체 소자의 동작 방법은 제1 가중치를 가지는 제1 시냅스 소자를 포함하는 제1 시냅스 어레이와 강화 또는 약화 연산에 대하여 대칭적으로 제2 가중치를 조절하도록 구성되는 제2 시냅스 소자를 포함하는 제2 시냅스 어레이를 포함하는 뉴로모픽 반도체 소자의 동작에 있어서,상기 제1 가중치 및 상기 제2 가중치의 값을 특정 비율로 합하여 뉴럴 네트워크의 가중치로 저장하는 단계와, 상기 가중치로부터 오차 역전파법을 통한 업데이트 양을 계산하는 단계와, 상기 제1 시냅스 어레이에 가중치 업데이트를 수행하는 단계와, 상기 제1 시냅스 어레이의 제1 시냅스 소자에 입력된 가중치 값을 동일 위치의 제2 시냅스 어레이의 제2 시냅스 소자에 업데이트하는 단계를 포함하는 것을 특징으로 한다.
상기 제1 시냅스 어레이 및 제2 시냅스 어레이는 ReRAM(Resistive RAM), PCM(Phase Change Memory), FeRAM(Ferroelectric RAM) 및 ECRAM(Electrochemical RAM) 중 선택된 어느 하나를 시냅스 소자로 구성되는 것을 특징으로 한다.
상기 제1 시냅스 소자는 상기 제2 시냅스 소자에 비해 상대적으로 업데이트 비대칭성이 크고, 상기 제2 시냅스 소자는 상기 제1 시냅스 소자에 비해 상대적으로 업데이트 비대칭성이 작은 것을 특징으로 한다.
상기 뉴럴 네트워크의 가중치는 상기 제1 시냅스 어레이의 제1 시냅스 소자에 저장된 가중치(WA)와 상기 제1 시냅스 어레이의 제1 시냅스 소자와 동일 위치의 상기 제2 시냅스 어레이의 제2 시냅스 소자에 저장된 가중치(WC)의 선형 결합된 값을 사용하는 것을 특징으로 한다.
상기 제1 시냅스 어레이(A)에 저장된 가중치를 특정 주기마다 읽어내어 상기 제1 시냅스 어레이의 제1 시냅스 소자에 입력된 가중치 값을 동일 위치의 제2 시냅스 어레이의 제2 시냅스 소자에 업데이트 하는 것을 특징으로 한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 뉴로모픽 반도체 소자 및 그 동작 방법은 연산 및 가중치 저장 등을 위한 시냅스 소자의 크로스 포인트 어레이 구성 시에 서로 다른 비대칭적 업데이트 특성을 가진 시냅스 소자를 적용함으로써, 기존 시냅스 소자의 물리적인 한계로 개선이 어려운 비대칭성 조건을 완화하여 아날로그 뉴럴 네트워크 가속기의 구현이 가능하며, 높은 뉴럴 네트워크 학습 성능을 보장하는 효과를 얻을 수 있다.
도 1은 전 결합 계층 뉴럴 네트워크(Fully Conneted Layer neural network)을 도시한 도면.
도 2는 뉴럴 네트워크를 적용할 수 있는 시냅스 어레이를 나타내는 도면.
도 3은 시냅스 소자의 업데이트 입력에 대한 반응 그래프를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 알고리즘을 시냅스 어레이로 구현한 모습을 간단하게 도시한 도면.
도 5를 참조하여 각 시냅스 어레이의 업데이트 입력에 대한 반응 그래프를 도시한 도면.
도 6은 도 4의 두 개의 시냅스 어레이에 가중치 업데이트 방법을 설명하기 위한 순서도.
도 7은 시냅스 어레이의 업데이트 비대칭적 특성이 뉴럴 네트워크에 미치는 영향을 설명하기 위한 실험 데이터를 도시한 도면.
도 8은 학습에 대한 견고성 점수 RS(m)를 보여주는 데이터를 도시한 도면.
도 9는 도 4와 같이 업데이트 비대칭성이 서로 다른 시냅스 소자를 이용한 뉴럴 네트워크 학습 결과를 도시한 도면.
도 10은 도 9의 'A'부분에 해당되는 업데이트 비대칭성을 가지는 시냅스 소자의 반응 그래프를 도시한 도면.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함 한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하 도면상의 동일한 구성 요소에 대하여는 동일한 참조 부호를 사용하고, 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 전 결합 계층 뉴럴 네트워크(Fully Conneted Layer neural network)를 도시한 것이다.
도 1을 참조하면, 여러 뉴런이 모인 단위를 계층(layer)라고 하며, 전결합 계층 구조는 각 계층의 모든 경우들이 연결되어 있는 구조이다. 입력 계층의 뉴런들과 출력 계층의 뉴런들이 연결될 수 있는 모든 경우의 수와 동일하게 연결이 되어 있으면 이를 전결합 계층(Fully Conneted Layer)라고 한다. 이러한 뉴럴 네트워크는 입력 계층(Input layer)(100), 은닉 계층(hidden layer)(110) 및 출력 계층(output layer)(120)로 구성된다.
입력 계층은 입력을 받아서 다음 계층인 은닉 계층으로 넘기는 역할을 하고, 은닉 계층은 입력 계층과 연결된 전결합 계층이며, 복잡한 문제를 해결할 수 있게 하는 핵심적인 계층이라고 할 수 있다. 마지막으로 출력계층은 은닉 계층 다음에 오는 전결합 계층으로, 신경망의 외부로 출력 신호를 전달하는 데에 사용하며, 신경망의 기능은 출력 계층의 활성 함수에 의해 결정된다.
여기서는, MNIST 데이터베이스(Modified National Institude Standards and Technology)를 구분하는 작업을 수행하는 2단 전 결합 계층 뉴럴 네트워크를 도시한 것으로, 예를 들어, 사용되는 데이터가 총 784개의 픽셀로 구성되어 있다면, 입력 노드 역시 784개로 구성된다.
또한, 출력으로는 0 내지 9 사이의 숫자를 구분해야 하기 때문에 총 10개의 출력 노드로 구성된다. 여기서는 두개의 은닉층을 도시하고 있으며, 첫번째 은닉층에 256개의 노드, 두번째 은닉층에 128개의 노드로 설정하였으나, 은닉층을 구성하는 노드의 개수는 이에 한정하지는 않는다. 트레이닝 과정은 forward pass 및 backward pass로 구성되어 있으며, 이후 가중치 업데이트가 이루어진다. 이때 행렬 연산이 가장 많은 비중을 차지한다.
도 2는 뉴럴 네트워크를 적용할 수 있는 시냅스 어레이를 나타내는 도면이다.
도 2의 시냅스 어레이(200)는 아날로그 하드웨어 가속기에서 시냅스 소자를 사용한 m×n 어레이를 나타내며, 제1 방향으로 연장된 다수의 비트라인(BL)과 상기 제1 방향과 수직한 제2 방향으로 연장되어 배치된 다수의 워드라인(WL)으로 구성되고, 비트라인과 워드라인이 교차하는 영역마다 시냅스 소자(210)가 위치한다. 이러한 어레이로 구성된 뉴럴 네트워크 장치는 행렬 연산의 비중이 높으며, 해당 연산의 행렬의 각 요소들의 값을 각각의 메모리 소자의 전도도로 치환할 수 있으며, 전압 펄스(Voltage pulse)를 주어 흘러나오는 커런트를 통합하여 행렬 곱을 연산할 수 있다. 이때, 각 시냅스 소자에 저장된 컨덕턴스의 값은 뉴럴 네트워크에서의 가중치로 사용되며, 가중치가 정확하게 기록될수록 학습 성능 특성이 우수한 뉴럴 네트워크를 제공할 수 있다.
도 3을 참조하여 시냅스 소자의 업데이트 특성을 설명하면 다음과 같다.
도 3은 시냅스 소자의 업데이트 입력에 대한 반응 그래프를 도시한 것으로, 시냅스 소자에 인가되는 펄스(pulse)의 변화에 따라 컨덕턴스(conductance) 값의 변화를 나타내는 그래프이다.
먼저 도 3(i)는 비대칭 업데이트 특성을 가진 소자의 반응 그래프를 도시한 것으로, 하나의 컨덕턴스 값에서 강화(potentiation) 연산이 일어날 때의 기울기와 약화(depression) 연산이 일어날 때의 기울기가 상이한 것을 알 수 있다.
한편, 도 3(ii)는 대칭적인 업데이트 특성을 가진 소자의 반응 그래프로, 모든 컨덕턴스 값에서 강화 연산이 일어날 때의 기울기와 약화 연산이 일어날 때의 기울기가 동일한 것을 알 수 있다.
도 3에서 설명한 바와 같이 시냅스 소자는 각각 상이한 비대칭 업데이트 특성을 가지고 있으며, 본 발명에서는 서로 다른 비대칭 업데이트 특성을 가진 시냅스 소자를 이용하여 시냅스 어레이를 구성하고자 한다.
도 4는 본 발명의 일 실시예에 따른 알고리즘을 시냅스 어레이로 구현한 모습을 간단하게 도시한 도면이다.
소프트웨어적인 관점에서 소자의 업데이트 비대칭성으로 인해 발생하는 학습 성능 저하 문제를 개선하기 위해 Tiki-Taka 알고리즘이 제안되었다. 해당 알고리즘은 기존 경사 하강법 알고리즘을 개선한 것으로, 두 개의 시냅스 소자 어레이(제1 시냅스 어레이(A) 및 제2 시냅스 어레이(C))를 사용하여 뉴럴 네트워크를 학습한다. 여기서, 제1 시냅스 어레이(A)는 제1 가중치를 가지는 제1 시냅스 소자(A')를 포함하고, 제2 시냅스 어레이(C)는 강화(potentiation) 또는 약화 (depression)연산에 대하여 대칭적으로 제2 가중치를 조절하도록 구성되는 제2 시냅스 소자(C')를 포함하며, 제1 시냅스 소자 및 제2 시냅스 소자들을 통해 단일 시냅스를 구성하고, 읽기 과정에서 상기 제1 가중치 및 제2 가중치들을 함께 액세스하여 최종 가중치를 결정하는 제어부(400)를 포함한다.
즉, 제1 시냅스 어레이(A) 및 제2 시냅스 어레이(C)에 서로 다른 업데이트 비대칭성을 갖는 시냅스 소자를 사용한다.
이때, 제1 시냅스 어레이(A) 및 제2 시냅스 어레이(C)의 시냅스 소자는 ReRAM(Resistive RAM), PCM(Phase Change Memory), FeRAM(Ferroelectric RAM) 및 ECRAM(Electrochemical RAM) 중 선택된 어느 하나를 사용할 수 있으며, 제2 시냅스 어레이(C)의 제2 시냅스 소자(C')는 제1 시냅스 어레이(A)의 제1 시냅스 소자(A')에 비해 업데이트 비대칭성이 작은 소자를 사용하는 것이 바람직하다.
예를 들어, 제1 시냅스 어레이(A) 및 제2 시냅스 어레이(B)는 동일한 시냅스 소자를 사용하되, 제1 시냅스 어레이(A)의 제1 시냅스 소자를 제2 시냅스 어레이(B)의 제2 시냅스 소자에 비해 큰 소자 업데이트 비대칭성 특성을 갖도록 조절하여 사용할 수 있다.
또한, 제1 시냅스 어레이(A) 및 제2 시냅스 어레이(B)는 서로 다른 시냅스 소자를 사용하되, 제1 시냅스 어레이(A)에 상대적으로 소자 업데이트 비대칭성이 큰 시냅스 소자를 사용하고, 제2 시냅스 어레이(C)에 소자 업데이트 비대칭성이 작은 시냅스 소자를 사용하여 뉴럴 네트워크를 구성할 수 있다.
도 5를 참조하여 각 시냅스 어레이의 업데이트 입력에 대한 반응 그래프를 살펴보면 다음과 같다. 먼저, 상대적으로 비대칭성이 큰 시냅스 소자를 사용한 제1 시냅스 어레이(A)는 도 5(i)와 같은 반응 그래프를 나타낼 수 있으며, 상대적으로 비대칭성이 작은 시냅스 소자를 사용한 제2 시냅스 어레이(C)는 도 5(ii)와 같은 반응 그래프를 나타낼 수 있다.
이와 같이, 제2 시냅스 어레이(C)의 제2 시냅스 소자(C')에 상대적으로 대칭적인 업데이트를 한다면, 제1 시냅스 어레이(A)의 제1 시냅스 소자(A')는 7 ~ 10배 정도 더 비대칭적인 업데이트 특성을 지닌 소자를 사용하더라도 우수한 뉴럴 네트워크 학습 성능을 보장할 수 있다.
도 6은 도 4의 두 개의 시냅스 어레이에 가중치 업데이트 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 제1 시냅스 어레이(A)와 제2 시냅스 어레이(C)에 저장된 가중치의 값을 특정 비율로 합하여 뉴럴 네트워크의 가중치를 저장한다(단계 S600).
더욱 구체적으로 설명하면, 전체 가중치(W)는 제1 시냅스 어레이(A)의 제1 시냅스 소자에 저장된 가중치(WA)와 제1 시냅스 어레이(A)의 제1 시냅스 소자와 동일 위치의 제2 시냅스 어레이(C)의 제2 시냅스 소자에 저장된 가중치(WC)의 선형 결합된 값을 사용한다. 이는 아래의 수학식 1과 같이 표현할 수 있다.
[수학식 1]
Figure pat00004
다음으로, 이 가중치로부터 오차 역전파법을 통한 업데이트 양(δ)를 계산한다(단계 S610). 이 때, 시냅스 소자에서 여러 계층의 노드들의 연결과 연결의 강도, 즉 가중치는 학습 과정을 통하여 획득될 수 있으며, 역전파법은 각 입력 값에 대한 출력 값과 이상 값과 실제 값의 오차를 출력층의 반대편으로 전파시키는 동작에 의거하여 출력 값과 실제 예측하고자 하는 값을 비교하여 가중치를 변경하는 과정을 의미한다. 이는 아래의 수학식 2와 같이 표현할 수 있다.
[수학식 2]
Figure pat00005
이후, 제1 시냅스 어레이에 가중치 업데이트를 수행한다(단계 S620).
그리고, 제1 시냅스 어레이(A)에 저장된 가중치를 특정 주기마다 읽어내 제1 시냅스 어레이(A)이 제1 시냅스 소자에 입력된 가중치 값을 동일 위치의 제2 시냅스 어레이(C)의 제2 시냅스 소자에 업데이트 한다(단계 S620). 이때, 업데이트 과정은 전이 학습 비율(transfer learning rate)에 따라 진행할 수 있다. 여기서, 전이 학습 비율은 제1 시냅스 어레이(A)에서 제2시냅스 어레이(C)로 가중치를 옮길 때(transfer)의 비율을 의미한다.
해당 알고리즘은 두 개의 시냅스 어레이를 사용함으로써 소자의 업데이트 비대칭성을 쇄신하여 디지털 하드웨어를 사용하는 뉴럴 네트워크 학습 결과와 근사한 학습 결과(MNIST 패턴 인식 결과, ~98%)를 보여준다. 즉, 시냅스 소자의 비대칭적 업데이트에도 불구하고 높은 학습 성능을 보장할 수 있다.
도 7은 시냅스 어레이의 업데이트 비대칭적 특성이 뉴럴 네트워크에 미치는 영향을 설명하기 위한 실험 데이터이다.
도 7은 제1 시냅스 어레이의 업데이트 비대칭적 특성(AFA) 및 제2 시냅스 어레이의 업데이트 비대칭적 특성(AFC)이 신경망 훈련에 미치는 영향에 대한 실험 데이터를 도시한 것이다. 여기서는 AFA 및 AFC 값의 함수로 다층 퍼셉트론의 정확도를 테스트하고 확률적 경사하강법(SGD; stochastic gradient descent) 및 전이 학습 속도(transfer leaning rate)의 두 가지 세트를 사용한 결과를 나타낸다. 최상의 정확도를 제공하는 AF 값의 최적 조합은 학습 속도 조합이 다양할 때 변경될 수 있다.
예를 들어, 도 7(i)에서 테스트의 정확도는 전이 학습률(η)과 SGD 학습률(λ)이 (0.01,0.02)일 때 (AFA, AFC) ∈ {(1.0, 1.0), (1.78, 1.0), (1.0, 1.78)}의 조합에서 최고조에 이른다.
그러나 도 7(ii)에서 알 수 있듯이 AF 조합은 다음과 같은 경우에 최적으로 나타난다. (AFA, AFC)
Figure pat00006
(3.16, 1.0), (5.62, 1.0), (10.0, 1.0)} 뉴럴 네트워크가 서로 다른 학습 속도로 훈련되는 경우, 정확성을 저하시키지 않는 학습 속도 공간에서 탄탄한 AFA와 AFC 값을 찾는 것이 중요하다.　
이러한 관점에서 테스트 정확도와 같은 특정 측정값의 임계 값을 도입하여 최상의 학습률 쌍을 검색하지 않고 견고성 점수를 통해 학습률 공간에서의 AF의 최적 조합을 찾을 수 있다. 이러한 견고성 점수(RS(m))는 아래의 [수학식 3]과 같이 산출할 수 있다.
[수학식 3]
Figure pat00007
여기서, m은 뉴럴 네트워크 모델이고, Meas는 주어진 데이터 세트에 대한 트레이닝 후 뉴럴 네트워크 모델의 정확도 또는 손실과 같은 측정 값이다.
도 8은 학습에 대한 견고성 점수 RS(m)를 보여주는 데이터로, H = {(η,
Figure pat00008
)}, 여기서 η ∈ {0.01, 0.02, 0.04} 및
Figure pat00009
∈ {0.01, 0.02, 0.04}일 때의 견고성 점수를 나타낸다. 견고성 점수는 각 어레이의 업데이트 비대칭적 특성은 tiki Taka 알고리즘을 사용하는 네트워크의 테스트 정확도에 영향을 미치며, 각 어레이의 업데이트 비대칭적 특성이 너무 작거나 (AFA, AFC = 0) 또는 큰 경우(AFA, AFC = 10) 테스트 정확도가 충분한 값에 도달하지 않는다.
따라서, 견고성 점수를 최대화하는 최적의 AF 값 쌍은 도 8에 도시된 바와 같이 AFA, AFC = 1 근처에 존재한다. 테스트 정확도(임계값)의 최소 요구 사항이 결정되면 견고성 점수가 특정 기준 이상인 영역을 사용하여 업데이트 비대칭의 최소 사양을 정의할 수 있으며, 최소 테스트 정확도를 보장하는 각 어레이에 대한 AF 값의 범위를 얻을 수 있다.
또한, 학습률의 다양한 쌍을 스캔하여 AF 값을 제공하는 영역을 식별할 수 있다. 이러한 지역을 찾기 위해서 뉴럴 네트워크의 학습률을 변화하며 MNIST 패턴 인식 작업을 2단 전계층 뉴럴 네트워크로 학습시키고, 이를 통해 얻어낸 학습 성능 데이터를 특성 성능 이상을 보인 경우를 가우시안 필터링과 보간법으로 후처리하여 나타낼 수 있다(도 9 참조.).
도 9는 도 4와 같이 업데이트 비대칭성이 서로 다른 시냅스 소자를 이용한 뉴럴 네트워크 학습 결과를 도시한 것이며, X축은 제2 시냅스 소자의 업데이트 비대칭성(AFC)을 나타내고, Y축은 제1 시냅스 소자의 업데이트 비대칭성(AFA)을 나타낸다. 여기서, 숫자가 클수록 업데이트 비대칭성이 큰 것을 의미한다.
AFA 및 AFC 영역의 보간된 데이터는 가우스 필터링(g(AFA, AFC))에 의해 얻을 수 있으며, 아래의 [수학식 4]와 같이 산출할 수 있다.
[수학식 4]
Figure pat00010
여기서 가우스 필터의 σ를 변조하여 스코어 맵의 "견고함" 정도를 정의할 수 있다. 도 9에서 강력한 영역은 AFA = 1.2 및 AFC = 1.0 주변에 있으며 점수는 8.95보다 높으며, 점수가 높은 지역 8.95 이상은 주어진 범위 내에서 필요한 테스트 정확도를 표시할 수 있다. 학습률 쌍의 범위. 있는 지역과 비교했을 때 RS(m) = 4.5, RS(m)
Figure pat00011
8.95인 영역은 기기 내 훈련 동안 거의 두 배의 효율성을 보여준다. AF의 최상의 조합을 찾기 위한 이 보정 방법은 하이퍼 매개변수 공간 H를 확장하여 포함할 수 있는 경우 다른 유형의 하이퍼 매개변수에도 적용할 수 있다.
도 9를 참조하면, 제2 시냅스 어레이 소자가 상대적으로 작은 비대칭적인 업데이트를 한다면, 제1 시냅스 어레이 소자가 제2 시냅스 어레이 소자에 비해 약 10배 이상 비대칭적인 업데이트 특성을 갖더라도 97.5% 이상의 학습 성능을 보여주는 것을 알 수 있다.
도 10은 도 9의 'A'부분에 해당되는 업데이트 비대칭성을 가지는 시냅스 소자의 반응 그래프로, 600개의 업데이트 입력에 가증치 -1부터 1까지 현재 자신의 가중치 값이 선형 비례하는 양으로 업데이트 되는 소자의 업데이트 비대칭성을 나타내는 것을 알 수 있다.
상술한 바와 같이, 본 발명의 일 실시예는 각각의 시냅스 어레이에 서로 다른 업데이트 비대칭성을 가진 소자를 사용함으로써, 기존에 시냅스 소자의 물리적인 한계로 개선이 힘든 비대칭성의 조건을 완화하여 아날로그 뉴럴 네트워크 가속기의 구현을 도우며, 동시에 높은 뉴럴 네트워크 학습 성능을 보장할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 입력 계층 110 : 은닉 계층
120 : 출력 계층 200 : 시냅스 어레이
210 : 시냅스 소자
A : 제1 시냅스 어레이 A' : 제1 시냅스 소자
C : 제2 시냅스 어레이 C': 제2 시냅스 소자

Claims (13)

  1. 제1 가중치를 가지는 제1 시냅스 소자를 포함하는 제1 시냅스 어레이;
    강화 또는 약화 연산에 대하여 대칭적으로 제2 가중치를 조절하도록 구성되는 제2 시냅스 소자를 포함하는 제2 시냅스 어레이; 및
    상기 제1 시냅스 소자 및 제2 시냅스 소자들을 통해 단일 시냅스를 구성하고, 읽기 과정에서 상기 제1 가중치 및 제2 가중치들을 함께 액세스하여 최종 가중치를 결정하는 제어부
    를 포함하는 뉴로모픽 반도체 소자.
  2. 제1 항에 있어서,
    상기 제1 시냅스 어레이 및 제2 시냅스 어레이는 ReRAM(Resistive RAM), PCM(Phase Change Memory), FeRAM(Ferroelectric RAM) 및 ECRAM(Electrochemical RAM) 중 선택된 어느 하나를 시냅스 소자로 구성하는 것을 특징으로 하는 뉴로모픽 반도체 소자.
  3. 제1 항에 있어서,
    상기 제1 시냅스 어레이 및 상기 제2 시냅스 어레이는 서로 다른 업데이트 비대칭성을 갖는 시냅스 소자를 사용하는 것을 특징으로 하는 뉴로모픽 반도체 소자.
  4. 제1 항에 있어서,
    상기 제1 시냅스 어레이 및 제2 시냅스 어레이는 서로 다른 시냅스 소자를 사용하되, 상기 제2 시냅스 소자는 상기 제1 시냅스 소자에 비해 상대적으로 업데이트 비대칭성이 작은 시냅스 소자를 사용하여 뉴럴 네트워크를 구성하는 것을 특징으로 하는 뉴로모픽 반도체 소자.
  5. 제1 항에 있어서,
    상기 제1 시냅스 어레이 및 제2 시냅스 어레이는 동일한 시냅스 소자를 사용하되, 상기 제2 시냅스 소자는 상기 제1 시냅스 소자에 비해 상대적으로 업데이트 비대칭성이 작게 조절하여 뉴럴 네트워크를 구성하는 것을 특징으로 하는 뉴로모픽 반도체 소자.
  6. 제1 항에 있어서, 상기 제어부에서 결정하는 최종 가중치는 아래의 수학식 1과 같이 산출하는 것을 특징으로 하는 뉴로모픽 반도체 소자.
    [수학식 1]
    Figure pat00012

  7. 제1 항에 있어서, 상기 제어부는
    각 입력 값에 대한 출력 값과 이상 값과 실제 값의 오차를 출력층의 반대편으로 전파시키는 동작에 의거하여 출력 값과 실제 예측하고자 하는 값을 비교하여 현재의 입력 값과 저장된 가중치로 오차 값을 계산하며, 이는 아래의 수학식 2와 같이 산출하는 것을 특징으로 하는 뉴로모픽 반도체 소자.
    [수학식 2]
    Figure pat00013

  8. 제1 항에 있어서, 상기 제어부는
    견고성 점수를 통해 학습률 공간에서의 상기 제1 시냅스 소자 및 상기 제2 시냅스 소자의 업데이트 비대칭적 특성의 최적 조합을 산출하며, 상기 견고성 점수(RS(m))는 아래의 [수학식 3]과 같은 것을 특징으로 하는 뉴로모픽 반도체 소자.
    [수학식 3]
    Figure pat00014

  9. 제1 가중치를 가지는 제1 시냅스 소자를 포함하는 제1 시냅스 어레이와 강화 또는 약화 연산에 대하여 대칭적으로 제2 가중치를 조절하도록 구성되며, 상기 제1 시냅스 소자와 서로 다른 업데이트 비대칭성을 갖는 제2 시냅스 소자를 포함하는 제2 시냅스 어레이를 포함하는 뉴로모픽 반도체 소자의 동작에 있어서,
    상기 제1 가중치 및 상기 제2 가중치의 값을 특정 비율로 합하여 뉴럴 네트워크의 가중치로 저장하는 단계;
    상기 가중치로부터 오차 역전파법을 통한 업데이트 양을 계산하는 단계;
    상기 제1 시냅스 어레이에 가중치 업데이트를 수행하는 단계; 및
    상기 제1 시냅스 어레이의 제1 시냅스 소자에 입력된 가중치 값을 동일 위치의 제2 시냅스 어레이의 제2 시냅스 소자에 업데이트하는 단계
    를 포함하는 것을 특징으로 하는 뉴로모픽 반도체 소자의 동작 방법.
  10. 제9 항에 있어서,
    상기 제1 시냅스 어레이 및 제2 시냅스 어레이는 ReRAM(Resistive RAM), PCM(Phase Change Memory), FeRAM(Ferroelectric RAM) 및 ECRAM(Electrochemical RAM) 중 선택된 어느 하나를 시냅스 소자로 구성되는 것을 특징으로 하는 뉴로모픽 반도체 소자의 동작 방법.
  11. 제9 항에 있어서,
    상기 제1 시냅스 소자는 상기 제2 시냅스 소자에 비해 상대적으로 업데이트 비대칭성이 크고, 상기 제2 시냅스 소자는 상기 제1 시냅스 소자에 비해 상대적으로 업데이트 비대칭성이 작은 것을 특징으로 하는 뉴로모픽 반도체 소자의 동작 방법.
  12. 제9 항에 있어서,
    상기 뉴럴 네트워크의 가중치는 상기 제1 시냅스 어레이의 제1 시냅스 소자에 저장된 가중치(WA)와 상기 제1 시냅스 어레이의 제1 시냅스 소자와 동일 위치의 상기 제2 시냅스 어레이의 제2 시냅스 소자에 저장된 가중치(WC)의 선형 결합된 값을 사용하는 것을 특징으로 하는 뉴로모픽 반도체 소자의 동작 방법.
  13. 제9 항에 있어서,
    상기 제1 시냅스 어레이(A)에 저장된 가중치를 특정 주기마다 읽어내어 상기 제1 시냅스 어레이의 제1 시냅스 소자에 입력된 가중치 값을 동일 위치의 제2 시냅스 어레이의 제2 시냅스 소자에 업데이트 하는 것을 특징으로 하는 뉴로모픽 반도체 소자의 동작 방법.
KR1020210183551A 2021-12-21 2021-12-21 뉴로모픽 반도체 소자 및 동작 방법 KR102634665B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210183551A KR102634665B1 (ko) 2021-12-21 2021-12-21 뉴로모픽 반도체 소자 및 동작 방법
US17/837,006 US20230195363A1 (en) 2021-12-21 2022-06-09 Neuromorphic semiconductor devices and operating methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183551A KR102634665B1 (ko) 2021-12-21 2021-12-21 뉴로모픽 반도체 소자 및 동작 방법

Publications (2)

Publication Number Publication Date
KR20230094395A true KR20230094395A (ko) 2023-06-28
KR102634665B1 KR102634665B1 (ko) 2024-02-07

Family

ID=86767962

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183551A KR102634665B1 (ko) 2021-12-21 2021-12-21 뉴로모픽 반도체 소자 및 동작 방법

Country Status (2)

Country Link
US (1) US20230195363A1 (ko)
KR (1) KR102634665B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017516180A (ja) * 2014-04-15 2017-06-15 インテル・コーポレーション 複数の連想メモリを用いた神経形態学的グラフ圧縮の方法、システム、及びコンピュータプログラム製品
US20180253642A1 (en) * 2017-03-01 2018-09-06 International Business Machines Corporation Resistive processing unit with hysteretic updates for neural network training
KR20190131665A (ko) * 2018-05-17 2019-11-27 이화여자대학교 산학협력단 자율 학습용 다층 신경망 뉴로 모픽 하드웨어 시스템
KR20200100286A (ko) 2019-02-18 2020-08-26 광운대학교 산학협력단 효율적인 음수 가중치 구현이 가능한 뉴로모픽 회로 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017516180A (ja) * 2014-04-15 2017-06-15 インテル・コーポレーション 複数の連想メモリを用いた神経形態学的グラフ圧縮の方法、システム、及びコンピュータプログラム製品
US20180253642A1 (en) * 2017-03-01 2018-09-06 International Business Machines Corporation Resistive processing unit with hysteretic updates for neural network training
KR20190131665A (ko) * 2018-05-17 2019-11-27 이화여자대학교 산학협력단 자율 학습용 다층 신경망 뉴로 모픽 하드웨어 시스템
KR20200100286A (ko) 2019-02-18 2020-08-26 광운대학교 산학협력단 효율적인 음수 가중치 구현이 가능한 뉴로모픽 회로 시스템

Also Published As

Publication number Publication date
US20230195363A1 (en) 2023-06-22
KR102634665B1 (ko) 2024-02-07

Similar Documents

Publication Publication Date Title
US9779355B1 (en) Back propagation gates and storage capacitor for neural networks
US10902317B2 (en) Neural network processing system
US10956815B2 (en) Killing asymmetric resistive processing units for neural network training
US10339447B2 (en) Configuring sparse neuronal networks
Castellano et al. An iterative pruning algorithm for feedforward neural networks
US11531871B2 (en) Stacked neuromorphic devices and neuromorphic computing systems
US11188825B2 (en) Mixed-precision deep-learning with multi-memristive devices
WO2018228424A1 (zh) 一种神经网络训练方法和装置
Lehtokangas et al. Initializing weights of a multilayer perceptron network by using the orthogonal least squares algorithm
El-Shafie et al. Generalized versus non-generalized neural network model for multi-lead inflow forecasting at Aswan High Dam
KR20210050243A (ko) 뉴로모픽 패키지 장치 및 뉴로모픽 컴퓨팅 시스템
CN110945535A (zh) 用于从具有变化显著性的带符号模拟电导对构建用于人工神经网络的突触权重的系统和方法
WO2023217027A1 (zh) 利用基于忆阻器阵列的环境模型的策略优化方法和装置
CN114819128A (zh) 基于忆阻器阵列的贝叶斯神经网络的变分推理方法和装置
KR102634665B1 (ko) 뉴로모픽 반도체 소자 및 동작 방법
WO2020129204A1 (ja) ニューロモーフィック回路、ニューロモーフィックアレイの学習方法およびプログラム
CN114730379A (zh) 具有交叉式阵列结构的神经形态设备
US20220101142A1 (en) Neural network accelerators resilient to conductance drift
CN115796252A (zh) 权重写入方法及装置、电子设备和存储介质
CN111582461B (zh) 神经网络训练方法、装置、终端设备和可读存储介质
US11250316B2 (en) Aggregate adjustments in a cross bar neural network
KR102514650B1 (ko) 뉴로모픽 장치 및 뉴로모픽 장치에서의 변이 특성 보상 방법
Munavalli et al. Pattern recognition for data retrieval using artificial neural network
AU2021296187B2 (en) Suppressing undesired programming at half-selected devices in a crosspoint array of 3-terminal resistive memory
KR20220148647A (ko) 다중 소자 기반의 시냅스를 이용한 신경망 학습 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right