KR102083258B1 - 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법 - Google Patents

시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법 Download PDF

Info

Publication number
KR102083258B1
KR102083258B1 KR1020170152098A KR20170152098A KR102083258B1 KR 102083258 B1 KR102083258 B1 KR 102083258B1 KR 1020170152098 A KR1020170152098 A KR 1020170152098A KR 20170152098 A KR20170152098 A KR 20170152098A KR 102083258 B1 KR102083258 B1 KR 102083258B1
Authority
KR
South Korea
Prior art keywords
synaptic
ltp
counter number
asymmetry
pulse
Prior art date
Application number
KR1020170152098A
Other languages
English (en)
Other versions
KR20190055408A (ko
Inventor
송윤흡
이정
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020170152098A priority Critical patent/KR102083258B1/ko
Priority to US16/763,846 priority patent/US11544538B2/en
Priority to PCT/KR2018/013866 priority patent/WO2019098659A1/ko
Priority to CN201880073979.1A priority patent/CN111433790B/zh
Publication of KR20190055408A publication Critical patent/KR20190055408A/ko
Application granted granted Critical
Publication of KR102083258B1 publication Critical patent/KR102083258B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

본 발명은 하드웨어 신경망에서 LTP(Long­Term Potentiation, 장기 강화현상) 및 LTD(Long­Term Depression, 장기 약화현상) 사이의 비대칭성의 영상을 최소화하는 펄스 구동 장치 및 그 방법에 관한 것으로, LTP 프로세스만 수행하는 제1 연산과, LTP 프로세스 및 LTD 프로세스를 수행하는 제2 연산을 분리하여 수행함으로써, LTP 프로세스 및 LTD 프로세스 사이의 비대칭성을 최소화여 실제 결과의 일치율을 향상시킬 수 있다.

Description

시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법{PULSE OPERATING APPARATUS FOR REDUCING ASYMMETRY OF WEIGHTS IN SYNAPSE DEVICES, AND THE METHOD THEREOF}
본 발명은 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법에 관한 것으로, 보다 상세하게는 하드웨어 신경망에서 LTP(Long­Term Potentiation, 장기 강화현상) 및 LTD(Long­Term Depression, 장기 약화현상) 사이의 비대칭성의 영상을 최소화하는 기술에 관한 것이다.
일반적으로, 하드웨어 신경망에서의 장기 강화현상(LTP)과 장기 약화현상(LTD) 사이의 비대칭적인 행동에 대한 문제가 항상 대두되었다. 상기와 같은 문제에 대하여 기존의 여러 논문에서 밝혀진 바에 의하면, 위상변화재료(phase­change material; PCM) 소자의 컨덕턴스는 LTP 프로세스에서 점차 증가하나, LTD 프로세스에서는 급격히 감소한다.
예를 들어, LTP 노이즈 및 LTD 노이즈가 포함된 각 트레이닝 패턴이 제공되는 경우, LTP 노이즈의 영향은 복수의 학습시기(learning epoch) 이후 제거되나, LTD 노이즈의 영향은 제거하기 어렵다는 한계가 존재하였다.
또한, 일반적으로 시냅스는 임의의 한 패턴에 대해 LTP 프로세스를 통하지만, 그 외의 패턴에 대해서는 LTD 프로세스를 통한다. 이에 중간 가중치 값(weighting)의 시냅스는 동일한 수의 LTP 프로세스 및 LTD 프로세스를 경험하여 가중치 값을 유지하는 것이 바람직하나, 실질적으로는 LTP 프로세스 및 LTD 프로세스 사이의 비대칭성으로 인해 가중치 값이 크게 감소한다는 한계가 존재하였다.
기존이 출원 특허인 한국공개특허 제10­2015­0034900호는 '뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로'에 관한 기술로, 대칭성 향상을 위해 LTP를 수행하는 제1 멤리스터 및 LTD를 수행하는 제2 멤리스터를 포함하는 기술을 개시한다.
다만, 한국공개특허 제10­2015­0034900호는 병렬 구조로 연결된 두 개의 멤리스터 각각에서 LTP 프로세스 및 LTD 프로세스의 서로 다른 프로세스를 구동시키는 구성을 개시하고 있으므로, LTD 노이즈의 확률을 최소화하는 데에는 한계가 존재한다.
한국공개특허 제10­2015­0034900호(2015.04.06. 공개), "뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로"
본 발명의 목적은 시냅스 가중치에 카운팅되는 카운터 넘버와 시냅스 주기의 비교 결과에 따라 음의 펄스(negative pulse) 또는 양의 펄스(positive pulse)를 제공하고, 서로 다른 펄스 기법에 따른 연산을 수행하여 LTD 노이즈의 확률을 최소화할 수 있는 기술을 제공하고자 한다.
또한, 본 발명의 목적은 LTP 프로세스만 수행하는 제1 연산과, LTP 프로세스 및 LTD 프로세스를 수행하는 제2 연산을 분리하여 수행함으로써, LTP 프로세스 및 LTD 프로세스 사이의 비대칭성을 최소화여 실제 결과의 일치율을 향상시킬 수 있는 기술을 제공하고자 한다.
본 발명의 실시예에 따르면, LTP(Long­Term Potentiation, 장기 강화현상) 및 LTD(Long­Term Depression, 장기 약화현상) 간의 비대칭성을 최소화하는 장치에 있어서, 전기적 신호를 계층적으로 구성된 뉴런 노드(neuron nodes)를 연결하는 시냅스 가중치(synaptic weight)를 이용하여 패턴화하는 패턴 트레이닝부, 상기 시냅스 가중치에 카운팅(counting)되는 카운터 넘버(counter number)와 시냅스 주기(epoch)를 비교하는 판단부, 비교 결과에 기초하여, 상기 카운터 넘버와 상기 시냅스 주기가 일치하지 않은 경우, 상기 패턴화된 시냅스에 대한 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스를 수행하는 제1 연산부 및 비교 결과에 기초하여, 상기 카운터 넘버와 상기 시냅스 주기가 일치하는 경우, 상기 패턴화된 시냅스에 대한 상기 LTP 프로세스 및 LTD(Long­Term Depression, 장기 약화현상) 프로세스를 수행하는 제2 연산부를 포함한다.
상기 판단부는 상기 시냅스 가중치에 카운팅되는 상기 카운터 넘버(예를 들면, n)와, 상기 시냅스 주기(예를 들면, m)의 일치 여부를 판단할 수 있다.
상기 제1 연산부는 상기 카운터 넘버와 상기 시냅스 주기가 일치하지 않은 경우, 음의 펄스(negative pulse)를 제공하며, 시냅스의 연관성(correlating)을 위한 상기 LTP 프로세스를 수행할 수 있다.
상기 제1 연산부는 상기 LTP 프로세스를 수행하여 LTP 시냅스 가중치의 평균 변화를 증가시킬 수 있다.
상기 LTP 시냅스 가중치는 결정화 임계값(crystallizing threshold, Vc)에 대한 전위차에 의해 증가되며, LTD 시냅스 가중치는 상기 결정화 임계값 보다 낮은 전위차로 유지될 수 있다.
상기 판단부는 상기 제1 연산부의 동작 후, 상기 시냅스 가중치에 카운팅된 카운터 넘버(예를 들면, n+1)와, 상기 시냅스 주기(예를 들면, m)의 일치 여부에 대한 판단을 반복할 수 있다.
상기 제2 연산부는 상기 카운터 넘버와 상기 시냅스 주기가 일치하는 경우, 양의 펄스(positive pulse)를 제공하며, 상관된(correlated) 시냅스에 대한 상기 LTP 프로세스 및 상기 LTD 프로세스를 수행할 수 있다.
상기 제2 연산부는 상기 LTP 프로세스를 수행하여 LTP 시냅스 가중치의 평균 변화를 증가시키고, 상기 LTD 프로세스를 수행하여 LTD 시냅스 가중치의 평균 변화를 감소시킬 수 있다.
상기 LTP 시냅스 가중치는 결정화 임계값(crystallizing threshold, Vc) 및 용해 임계값(melting threshold, Vm) 사이의 전위차에 의해 증가되며, 상기 LTD 시냅스 가중치는 상기 용해 임계값에 대한 전위차에 의해 감소될 수 있다.
상기 제2 연산부는 상기 시냅스 가중치에 카운팅되는 상기 카운터 넘버를 초기화한 후, 상기 LTP 프로세스 및 상기 LTD 프로세스를 수행할 수 있다.
본 발명의 실시예에 따른 LTP(Long­Term Potentiation, 장기 강화현상) 및 LTD(Long­Term Depression, 장기 약화현상) 간의 비대칭성을 최소화하는 장치의 동작 방법에 있어서, 전기적 신호를 계층적으로 구성된 뉴런 노드(neuron nodes)를 연결하는 시냅스 가중치(synaptic weight)를 이용하여 패턴화하는 단계, 상기 시냅스 가중치에 카운터 넘버(counter number)를 카운팅(counting)하는 단계, 상기 카운팅된 카운터 넘버와 시냅스 주기(epoch)를 비교하는 단계 및 비교 결과에 기초하여, 상기 패턴화된 시냅스에 대한 제1 연산 또는 제2 연산을 수행하는 단계를 포함한다.
상기 제1 연산 또는 제2 연산을 수행하는 단계는 비교 결과에 기초하여, 상기 카운터 넘버와 상기 시냅스 주기가 일치하지 않은 경우, 상기 패턴화된 시냅스에 대한 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스의 상기 제1 연산을 수행할 수 있다.
상기 카운터 넘버를 카운팅하는 단계는 상기 제1 연산의 동작 후, 상기 시냅스 가중치를 카운팅하며, 상기 카운팅된 카운터 넘버와 시냅스 주기를 비교하는 단계는 시냅스 가중치에 카운팅된 카운터 넘버(예를 들면, n+1)와, 상기 시냅스 주기(예를 들면, m)의 일치 여부에 대한 판단을 반복할 수 있다.
상기 제1 연산 또는 제2 연산을 수행하는 단계는 비교 결과에 기초하여, 상기 카운터 넘버와 상기 시냅스 주기가 일치하는 경우, 상기 패턴화된 시냅스에 대한 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스 및 LTD(Long­Term Depression, 장기 약화현상) 프로세스의 상기 제2 연산을 수행할 수 있다.
본 발명의 실시예에 따르면, 시냅스 가중치에 카운팅되는 카운터 넘버와 시냅스 주기의 비교 결과에 따라 음의 펄스(negative pulse) 또는 양의 펄스(positive pulse)를 제공하고, 서로 다른 펄스 기법에 따른 연산을 수행하여 LTD 노이즈의 확률을 최소화할 수 있다.
또한, 본 발명의 실시예에 따르면, LTP 프로세스만 수행하는 제1 연산과, LTP 프로세스 및 LTD 프로세스를 수행하는 제2 연산을 분리하여 수행함으로써, LTP 프로세스 및 LTD 프로세스 사이의 비대칭성을 최소화여 실제 결과의 일치율을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 신경망은 패턴 잡음으로부터 장시간 유지될 수 있으며, 출력 결과는 실제 결과(또는 완전 일치)에 보다 근접할 수 있다.
도 1은 본 발명의 실시예에 따른 스냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치의 구성을 블록도로 도시한 것이다.
도 2는 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 방법의 알고리즘 흐름도를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 회로의 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 펄스 효과의 예를 도시한 것이다.
도 5는 출력 결과 및 실제 결과에 대한 결과 이미지를 도시한 것이다.
도 6 및 도 7은 서로 다른 잡음 비율에서의 실험 결과를 도시한 것이다.
도 8 및 도 9는 본 발명의 실시예에 따른 통계 분석 결과 그래프를 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 하드웨어 신경망에서 LTP(Long­Term Potentiation, 장기 강화현상)와 LTD(Long­Term Depression, 장기 약화현상) 사이의 비대칭의 영향을 최소화하기 위한 기술을 제안한다.
한 번의 LTD 동작에서 PCM(Phase­Change Material, 위상 변화 재료) 컨덕턴스(G)의 평균 변화는 한 번의 LTP 동작 및 시간이다(△GLTD=m×△GLTP). 이 때, 기존 기술에서의 LTP 및 LTD 동작은 각 시점(시냅스 후 뉴런 발사 시)에서 시냅스를 상호 관련시키기 위해 수행되므로, 복수의 반복 주기(epoch) 후, LTP와 LTD 사이의 비대칭성으로 인해 출력 결과와 실제 결과 간의 불일치가 발생하였다.
본 발명의 실시예들은 LTD 동작 수를 최소화함으로써, LTP와 LTD 사이의 비대칭성으로 인해 발생하는 출력 결과와 실제 결과 간의 불일치를 최소화할 수 있다. 이 때, 실제 결과와 출력 결과 간의 차이는 최대 및 최소 시냅스 가중치의 제한 및 각 동작의 △G에 대한 변동으로 발생할 수 있다.
이하에서는 LTP(Long­Term Potentiation, 장기 강화현상) 및 LTD(Long­Term Depression, 장기 약화현상) 사이의 비대칭성의 영상을 최소화하는 펄스 구동 장치 및 방법에 대해 도 1 내지 도 9를 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 스냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치는 LTP(Long­Term Potentiation, 장기 강화현상) 및 LTD(Long­Term Depression, 장기 약화현상) 간의 비대칭성을 최소화한다.
이에 따른, 본 발명의 실시예에 따른 펄스 구동 장치(100)는 패턴 트레이닝부(110), 판단부(120), 제1 연산부(130) 및 제2 연산부(140)를 포함한다.
패턴 트레이닝부(110)는 전기적 신호를 계층적으로 구성된 뉴런 노드(neuron nodes)를 연결하는 시냅스 가중치(synaptic weight)를 이용하여 패턴화한다.
예를 들면, 뉴런(neuron) 노드와 노드들을 연결하는 시냅스 가중치(synaps weight value)들은 계층적으로 구성되어 있으며, 뉴런 층(neurons layer)으로 유입된 전기적 신호는 가중치들이 설정된 후 다음 층으로 전달되고, 계속적으로 다음 층으로 전달되어 마지막으로 최종 층까지 전달되는 구조일 수 있다.
이 때, 시냅스소자에서 여러 계층의 노드들의 연결과 연결의 강도, 즉 가중치는 학습 과정을 통하여 획득될 수 있다. 즉, 역전파법(Back Propagation) 등의 패턴인식 또는 신경망 알고리즘인 소프트웨어들에 의해서 노드들의 가중치가 먼저 설정된 후, 상기 가중치들이 적용된 퍼셉트론 신경망 모델(Perceptron Neural Network Model)을 통해서 외부 자극 신호에 대한 패턴화 작업이 수행될 수 있다.
인공 신경망에 의한 학습이란, 경험에 의해 뇌의 신경망을 이루고 있는 뉴런들 사이의 시냅스 결합의 효율이 변화됨으로써 이루어지는 학습(경험에 의한 동작 개선, 행동 합목적적­불가역적 변화)를 말하며, 특히 역전파법(B.p., Back Propagation)은 1986년 D.라멜하트 등에 의해 제안된 알고리즘으로서, 각 입력 패턴에 대한 출력 패턴의 이상 값과 실제 값의 오차를 출력층으로 향해 반대편으로 전파시키는 동작에 의거하여 입력 패턴의 식별이 가능한 시냅스 결합의 전달 효율을 구하는 처리방식이다.
판단부(120)는 시냅스 가중치에 카운팅(counting)되는 카운터 넘버(counter number)와 시냅스 주기(epoch)를 비교한다.
예를 들면, 초기 시냅스 가중치(Initial Weights)에 초기 카운터 넘버(counter number: n=0)가 부여되며, 카운터 넘버는 패턴화된 시냅스의 결합 및 발화(Integrate and fire; I&F)에 따라 카운팅(counting, +1)될 수 있다. 판단부(120)는 카운팅된 카운터 넘버(예를 들면, n)와 기 설정된 시냅스 주기(예를 들면, m)의 일치 여부(n=m?)를 판단할 수 있다.
본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치(100)는 판단부(120)에 의해 판단된 일치(n=m) 또는 불일치(n≠m) 판단 결과에 따라, 제1 연산부(130) 또는 제2 연산부(140)를 수행한다.
제1 연산부(130)는 판단부(120)의 비교 결과에 기초하여, 카운터 넘버와 시냅스 주기가 일치하지 않은 경우, 패턴화된 시냅스에 대한 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스를 수행한다.
예를 들면, 제1 연산부(130)는 카운터 넘버와 시냅스 주기가 일치하지 않은 경우, 예를 들면 카운터 넘버가 시냅스 주기보다 작은 경우, 음의 펄스(negative pulse)를 제공하며, 시냅스의 연관성(correlating)을 위한 LTP 프로세스를 수행할 수 있다.
나아가, 제1 연산부(130)는 LTP 프로세스를 수행함으로써, LTP 시냅스 가중치의 평균 변화(△w)를 증가시킬 수 있다. 또한, 제1 연산부(130)는 시냅스의 연관성을 위해 LTP 프로세스만을 수행하고, LTD 프로세스를 수행하지 않으므로, LTD 시냅스 가중치의 평균 변화(△w)는 제로(0)가 된다. 이 때, 상기 LTP 시냅스 가중치는 결정화 임계값(crystallizing threshold, Vc)에 대한 전위차에 의해 증가되며, LTD 시냅스 가중치는 결정화 임계값 보다 낮은 전위차로 유지될 수 있다.
이후, 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치(100)의 판단부(120)는 제1 연산부(130)의 동작 후, 시냅스 가중치에 카운팅된 카운터 넘버(예를 들면, n+1)와, 상기 시냅스 주기(예를 들면, m)의 일치 여부에 대한 판단을 반복할 수 있다.
또한, 제2 연산부(140)는 판단부(120)의 비교 결과에 기초하여, 카운터 넘버와 시냅스 주기가 일치하는 경우, 패턴화된 시냅스에 대한 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스 및 LTD(Long­Term Depression, 장기 약화현상) 프로세스를 수행한다.
예를 들면, 제2 연산부(140)는 카운터 넘버와 시냅스 주기가 일치하는 경우, 양의 펄스(positive pulse)를 제공하며, 상관된(correlated) 시냅스에 대한 LTP 프로세스 및 LTP 프로세스를 수행할 수 있다. 이 때, 제2 연산부(140)는 시냅스 가중치에 카운팅되는 카운터 넘버를 초기화한 후, LTP 프로세스 및 LTD 프로세스를 수행하는 것을 특징으로 한다.
나아가, 제2 연산부(140)는 LTP 프로세스 및 LTD 프로세스를 모두 수행함으로써, LTP 시냅스 가중치의 평균 변화(△w)를 증가시키고, LTD 시냅스 가중치의 평균 변화(△w)를 감소시킬 수 있다. 이 때, LTP 시냅스 가중치는 결정화 임계값(crystallizing threshold, Vc) 및 용해 임계값(melting threshold, Vm) 사이의 전위차에 의해 증가되며, LTD 시냅스 가중치는 용해 임계값에 대한 전위차에 의해 감소될 수 있다.
이후, 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치(100)의 판단부(120)는 제2 연산부(140)의 동작 후, 초기화된 카운터 넘버(예를 들면, n=0)에 카운팅(+1)되는 카운터 넘버(예를 들면, n)와 상기 시냅스 주기(예를 들면, m)의 일치 여부에 대한 판단을 반복할 수 있다.
도 2는 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 방법의 알고리즘 흐름도를 도시한 것이다.
도 2를 참조하면, 단계 210에서, 초기 시냅스 가중치(Initial Weights)에 초기 카운터 넘버(counter number: n=0)가 부여될 수 있다.
단계 220에서, 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 방법은 전기적 신호를 계층적으로 구성된 뉴런 노드(neuron nodes)를 연결하는 시냅스 가중치(synaptic weight)를 이용하여 패턴화한다. 이후, 단계 230에서, 패턴화된 시냅스에 결합 및 발화(Integrate and fire; I&F)를 적용할 수 있다. 이 때, 상기 결합 및 발화 모델은 뉴런의 복잡한 이온 채널들의 특성을 고려하지 않고 외형적인 전기 특성만을 고려한 모델일 수 있으며, 상기 모델은 전류 입력과 전압 출력 간의 관계만 수식화하므로, 호지킨­헉슬리(Hodgkin­Huxley)의 모델에 비하여 간단한 형태로 표현할 수 있다. 그럼에도 불구하고 시간을 정보처리의 기본 단위로 채택하고 있기 때문에, 시공간 패턴 인식에 적용되었을 때 좋은 성능을 나타낸다.
단계 240에서, 초기 시냅스 가중치에 초기 카운터 넘버를 카운팅(counting, +1)하고, 단계 250에서, 카운팅된 카운터 넘버(예를 들면, n)와 기 설정된 시냅스 주기(예를 들면, m)의 일치 여부(If n=m?)를 판단한다.
단계 250에서의 판단 결과에 기초하여 카운터 넘버와 시냅스 주기가 일치하지 않은 경우, 예를 들면 카운터 넘버가 시냅스 주기보다 작은 경우, 단계 261에서의 음의 펄스(negative pulse)인 펄스 1(Pulse 1)을 제공한다.
단계 261에서 제공되는 펄스 1에 의해 단계 262에서, 패턴화된 시냅스에 대한 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스를 수행하고, LTD(Long­Term Depression, 장기 약화현상) 프로세스는 수행하지 않는다. 이에 따라서, 단계 262에서 LTP 시냅스 가중치의 평균 변화(△w)는 증가하고, LTD 시냅스 가중치의 평균 변화(△w)는 제로(0)가 된다.
다시 단계 250을 살펴보면, 단계 250에서의 판단 결과에 기초하여 카운터 넘버와 시냅스 주기가 일치하는 경우, 단계 271에서의 양의 펄스(positive pulse)인 펄스 2(Pulse 2)를 제공한다. 이 때, 단계 271은 시냅스 가중치에 카운팅되는 카운터 넘버를 초기화(n=0)한다.
단계 271에서 제공되는 펄스 2에 의해 단계 272에서, 패턴화된 시냅스에 대한 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스 및 LTD(Long­Term Depression, 장기 약화현상) 프로세스를 수행한다. 이에 따라서, 단계 272에서 LTP 시냅스 가중치의 평균 변화(△w)는 증가하고, LTD 시냅스 가중치의 평균 변화(△w)는 감소한다.
이후, 단계 280에서 결과를 추출하여 종료한다. 실시예에 따라서, 단계 280에서 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 방법은 펄스 1 또는 펄스 2의 동작 후, 단계 220의 패턴 입력을 재 동작하여 알고리즘의 구성을 반복할 수 있다. 예를 들어, 단계 261 및 단계 262의 펄스 1의 동작 후, 시냅스 가중치에 카운터 넘버를 카운팅(예를 들면, n+1)하여 시냅스 주기(예를 들면, m)와의 일치 여부에 대한 판단을 반복할 수 있다. 또 다른 예로, 단계 271 및 단계 272의 펄스 2의 동작 후, 초기화된 카운터 넘버(예를 들면, n=0)에 카운팅(예를 들면, +1)되는 카운터 넘버(예를 들면, n)와 상기 시냅스 주기(예를 들면, m)의 일치 여부에 대한 판단을 반복할 수 있다.
도 2에 도시된 바와 같은 알고리즘에서, LTP 프로세스는 모든 실행 이벤트(firing event)에서 수행되며, LTD 프로세스는 m번째의 실행 이벤트에서만 수행되는 것을 특징으로 한다. 즉, 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 방법은 도 2에 도시된 알고리즘을 통해 LTD 노이즈의 확률을 최소화할 수 있으며, 실시예에 따라서는 알고리즘의 구동 중 LTD가 발생할 수 있으나, LTD가 발생하더라도 후속(m­1)의 LTP 프로세스 구동을 통해 그 영향을 제거할 수 있다.
도 3은 본 발명의 실시예에 따른 회로의 예를 도시한 것이고, 도 4는 본 발명의 실시예에 따른 펄스 효과의 예를 도시한 것이다.
보다 상세하게는, 도 3은 본 발명의 실시예에 따른 알고리즘 구동을 위한 회로의 예를 도시한 것이고, 도 4는 회로에 따른 펄스 형상(pulse shape) 및 가중치 업데이트 효과(weight updating effect)의 예를 도시한 것이다.
도 3을 참조하면, 본 발명의 실시예에 따른 I&F 뉴런 회로(Integrate and fire neuron circuit, 310)는 기본적인 결합 및 발화(integrate­and­fire)의 기능 블록(function blocks)을 제외하고는 카운터(counter, 320) 및 스파이크 생성기(spike generator, 330)를 포함한다. 이 때, 두 종류의 펄스(예를 들면, 펄스 1(331) 및 펄스 2(332))가 역방향 스파이크로 제공되며, 이는 카운터(320)에 의해 선택될 수 있다.
상기 기본적인 결합 및 발화의 기능 블록은 한정하지 않는다.
예를 들어, 카운터 넘버(counter number, n)가 시냅스 주기(epoch, m)보다 작은 경우, 펄스 1(331)이 제공되어 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스 만 동작된다. 또 다른 예로, 카운터 넘버(counter number, n)가 시냅스 주기(epoch, m)일 때, 카운터 넘버는 0으로 리셋되고, 펄스 2(332)가 제공되어 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스 및 LTD(Long­Term Depression, 장기 약화현상) 프로세스 모두 동작된다.
이 때, 펄스 1(331)은 처음부터 m­1번째(1st to (m­1)th)의 실행 이벤트(firing event)에서 모두 수행되며, 펄스 2(332)는 m번째(mth)의 실행 이벤트에서만 수행되는 것을 특징으로 한다.
도 4를 참조하면, 펄스 1(410) 및 펄스 2(420)에 대한 펄스 형상(pulse shape) 및 가중치 업데이트 효과(weight updating effect)의 예를 나타낸다.
예를 들어, 온 픽셀(on­pixel)에 관련된 이전 시냅스 뉴런(pre­synaptic neurons)은 시냅스 가중치를 유지하기에 작은 진폭인 양의 펄스(positive pulse)를 제공하며, LTP의 상관 시냅스(correlating synapses)를 제공할 수 있다. 또한, 오프 픽셀(off­pixel)에 관련된 이전 시냅스 뉴런(pre­synaptic neurons)은 음의 펄스(negative pulse 또는 no pulse)를 제공하며, LTD의 상관 시냅스(correlating synapses)를 제공할 수 있다.
나아가, 결정화 임계값(crystallizing threshold, Vc)에 대한 음의 펄스(negative pulse)인 펄스 1(410)이 제공되는 경우, LTP 시냅스 가중치는 결정화 임계값(crystallizing threshold, Vc)에 대한 전위차에 의해 증가되며, LTD 시냅스 가중치는 결정화 임계값 보다 낮은 전위차로 유지된다. 또한, 용해 임계값(melting threshold, Vm)을 초과하는 양의 펄스(positive pulse)인 펄스 2(420)가 제공되는 경우, LTP 시냅스 가중치는 결정화 임계값(crystallizing threshold, Vc) 및 용해 임계값(melting threshold, Vm) 사이의 전위차에 의해 증가되며, LTD 시냅스 가중치는 용해 임계값에 대한 전위차에 의해 감소된다.
도 5는 출력 결과 및 실제 결과에 대한 결과 이미지를 도시한 것이다.
보다 상세하게는, 도 5는 완전 일치(Fully­match) 결과 이미지와, 미스매치(Mismatch) 결과 이미지 및 본 발명에서 제안하는 알고리즘에 따른 제안된(Compensation) 결과 이미지를 도시한 것이다. 상기 제안된 결과 이미지는 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치에 의해 수행된 출력 결과물을 의미한다.
도 5는 본 발명의 실시예에 따른 알고리즘에 대한 100회 학습 후의 평균 가중치 차이(Average Weight Difference; AWD)를 나타내며, 2/50, 3/50, 4/50, 5/50, 8/50, 10/50, 15/50, 20/50 각각에서의 LTD 프로세스에 따른 LTD 시냅스 가중치의 평균 변화(△WLTD)를 나타낸다.
미스매치 결과 이미지(510)는 8/50, 10/50, 15/50, 20/50 각각의 LTD 시냅스 가중치의 평균 변화(△WLTD)에서, 노이즈가 발생하는 것을 확인할 수 있으나, 제안된 결과 이미지(520)는 미스매치 결과 이미지(510)에 비해 완전 일치 결과 이미지(또는 실제 결과 이미지)에 근접한 것을 확인할 수 있다.
이 때, 평균 가중치 차이(Average Weight Difference; AWD)는 하기의 [수식 1]에 의해 산출된다.
[수식 1]
Figure 112017113383797-pat00001
상기 [수식 1]을 통해 미스매치 결과(Mismatch) 및 제안된 결과(Compensation)에서의 LTD 시냅스 가중치의 평균 변화(△WLTD) 값이 산출될 수 있다. 예를 들면, 미스매치 결과(Mismatch)에서의 8/50, 10/50, 15/50, 20/50 각각의 LTD 시냅스 가중치의 평균 변화(△WLTD) 값은 0.943, 1.484, 3.304, 5.694를 나타내며, 제안된 결과(Compensation)에서의 8/50, 10/50, 15/50, 20/50 각각의 LTD 시냅스 가중치의 평균 변화(△WLTD) 값은 0.253, 0.265, 0.579, 1.658를 나타낸다. 즉, 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치를 이용하여 LTD 노이즈의 확률을 최소화할 수 있다.
도 6 및 도 7은 서로 다른 잡음 비율에서의 실험 결과를 도시한 것이다.
보다 상세하게는, 도 6은 6.5%의 잡음 비율(Noise Fraction)에서의 실험 결과 이미지 및 실험 결과 그래프를 도시한 것이고, 도 7은 20%의 잡음 비율(Noise Fraction)에서의 실험 결과 이미지 및 실험 결과 그래프를 도시한 것이다.
이 때, 도 6(a) 및 도 7(a)는 미스매치 결과(Mismatch)를 나타내며, 도 6(b) 및 도 7(b)는 제안된 결과(Compensation)를 나타낸다.
도 6(a)를 참조하면, 평균 가중치 차이(Average Weight Difference; AWD)가 알고리즘의 구동 수에 따라 점차 감소하는 것을 확인할 수 있으며, 최종 평균 가중치 차이(final AWD)는 미스매치의 증가에 따라 더 크게(larger) 나타나는 것을 확인할 수 있다.
도 6(b)를 참조하면, 평균 가중치 차이(Average Weight Difference; AWD)가 알고리즘의 구동 수에 따라 점진적으로 감소하는 것을 확인할 수 있으며, 최종 평균 가중치 차이(final AWD)는 미스매치 케이스(mismatch cases)에 의해 감소되는 것을 확인할 수 있다. 즉, 도 6을 참조하면, 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치는 제안하는 알고리즘을 수행함으로써, 노이즈 내구성(noise endurance)이 개선되었음을 확인할 수 있다.
도 7(a) 및 도 7(b)는 도 6(a) 및 도 6(b)와 비슷한 양상의 실험 결과를 나타내고 있으나, 도 7에 도시된 미스매치 결과 및 제안된 결과는 20%의 잡음 비율(Noise Fraction)에서 LTD 노이즈의 영향이 심각한 것을 알 수 있다.
도 8 및 도 9는 본 발명의 실시예에 따른 통계 분석 결과 그래프를 도시한 것이다.
보다 상세하게는, 도 8은 본 발명의 실시예에 따른 LTP에 대한 LTD의 비율 값(ratio of LTD to LTP)에 대하여 차이 비율(difference ratio) 값(difference ratio)의 결과 그래프를 도시한 것이고, 도 9는 본 발명의 실시예에 따른 LTP에 대한 LTD의 비율 값(ratio of LTD to LTP)에 대하여 시냅스 가중치의 합(sum of synaptic weights)의 결과 그래프를 도시한 것이다.
이 때, LTP에 대한 LTD의 비율(ratio of LTD to LTP)은 하기의 [수식 2]에 의해 산출되며, 차이 비율은 하기의 [수식 3]에 의해 산출된다.
[수식 2]
Figure 112017113383797-pat00002
여기서, △WLTD는 LTD 시냅스 가중치의 평균 변화를 의미하며, △WLTP는 LTP 시냅스 가중치의 평균 변화를 의미한다.
[수식 3]
Figure 112017113383797-pat00003
이 때, 상기 차이 비율(Difference ration)은 미스매치 결과(mismatch)에서 완전 일치(Fully­match) 결과까지의 평균 차이를 나타낸다.
도 8 및 도 9를 참조하면, 본 발명의 실시예에 따른 알고리즘을 통해 출력된 학습 결과(learning result 또는 출력 결과)가 완전 일치(Fully­matching)에 근접하는 것을 확인할 수 있으며, 신호 강도(signal strength)가 완전 일치 사례에 근접하는 것을 확인할 수 있다.
이 때, 본 발명의 실시예에 따른 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치는 정수(integer, n) 배를 미스매칭(mismatching)에 적용할 수 있다. 예를 들면,
Figure 112017113383797-pat00004
.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD­ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기­광 매체(magneto­optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. LTP(Long­Term Potentiation, 장기 강화현상) 및 LTD(Long­Term Depression, 장기 약화현상) 간의 비대칭성을 최소화하는 장치에 있어서,
    전기적 신호를 계층적으로 구성된 뉴런 노드(neuron nodes)를 연결하는 시냅스 가중치(synaptic weight)를 이용하여 패턴화하는 패턴 트레이닝부;
    상기 시냅스 가중치에 카운팅(counting)되는 카운터 넘버(counter number)와 시냅스 주기(epoch)를 비교하는 판단부;
    비교 결과에 기초하여, 상기 카운터 넘버와 상기 시냅스 주기가 일치하지 않은 경우, 상기 패턴화된 시냅스에 대한 LTP(Long­Term Potentiation, 장기 강화현상) 프로세스를 수행하는 제1 연산부; 및
    비교 결과에 기초하여, 상기 카운터 넘버와 상기 시냅스 주기가 일치하는 경우, 상기 패턴화된 시냅스에 대한 상기 LTP 프로세스 및 LTD(Long­Term Depression, 장기 약화현상) 프로세스를 수행하는 제2 연산부를 포함하되,
    상기 패턴 트레이닝부는
    상기 패턴화된 시냅스에 결합 및 발화(Integrate and fire, I&F) 모델을 적용하고,
    상기 판단부는
    상기 패턴화된 시냅스의 상기 결합 및 발화 모델에 따라 카운터 넘버를 카운팅하며,
    상기 제1 연산부는
    상기 LTP 프로세스를 수행하여 LTP 시냅스 가중치의 평균 변화를 증가시키고, 상기 LTD 프로세스를 수행하지 않아 LTD 시냅스 가중치의 평균 변화를 제로(0)화하며,
    상기 제2 연산부는
    상기 시냅스 가중치에 카운팅되는 상기 카운터 넘버를 초기화한 후, 상기 LTP 프로세스를 수행하여 LTP 시냅스 가중치의 평균 변화를 증가시키고, 상기 LTD 프로세스를 수행하여 LTD 시냅스 가중치의 평균 변화를 감소시키며,
    상기 판단부는
    상기 제1 연산부의 동작 후, 상기 시냅스 가중치에 카운팅된 카운터 넘버(예를 들면, n+1)와, 상기 시냅스 주기(예를 들면, m)의 일치 여부에 대한 판단을 반복하고, 상기 제2 연산부의 동작 후, 상기 초기화된 카운터 넘버(예를 들면, n=0)에 카운팅(+1)되는 카운터 넘버(예를 들면, n)와 상기 시냅스 주기(예를 들면, m)의 일치 여부에 대한 판단을 반복하는 것을 특징으로 하는, 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치.
  2. 제1항에 있어서,
    상기 판단부는
    상기 시냅스 가중치에 카운팅되는 상기 카운터 넘버(예를 들면, n)와, 상기 시냅스 주기(예를 들면, m)의 일치 여부를 판단하는 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치.
  3. 제2항에 있어서,
    상기 제1 연산부는
    상기 카운터 넘버와 상기 시냅스 주기가 일치하지 않은 경우, 음의 펄스(negative pulse)를 제공하며, 시냅스의 연관성(correlating)을 위한 상기 LTP 프로세스를 수행하는 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 LTP 시냅스 가중치는 결정화 임계값(crystallizing threshold, Vc)에 대한 전위차에 의해 증가되며, 상기 LTD 시냅스 가중치는 상기 결정화 임계값 보다 낮은 전위차로 유지되는 것을 특징으로 하는 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치.
  6. 삭제
  7. 제2항에 있어서,
    상기 제2 연산부는
    상기 카운터 넘버와 상기 시냅스 주기가 일치하는 경우, 양의 펄스(positive pulse)를 제공하며, 상관된(correlated) 시냅스에 대한 상기 LTP 프로세스 및 상기 LTD 프로세스를 수행하는 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 LTP 시냅스 가중치는 결정화 임계값(crystallizing threshold, Vc) 및 용해 임계값(melting threshold, Vm) 사이의 전위차에 의해 증가되며, 상기 LTD 시냅스 가중치는 상기 용해 임계값에 대한 전위차에 의해 감소되는 것을 특징으로 하는 시냅스소자에서 비대칭성을 최소화하는 펄스 구동 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020170152098A 2017-11-15 2017-11-15 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법 KR102083258B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170152098A KR102083258B1 (ko) 2017-11-15 2017-11-15 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법
US16/763,846 US11544538B2 (en) 2017-11-15 2018-11-14 Pulse driving apparatus for minimising asymmetry with respect to weight in synapse element, and method therefor
PCT/KR2018/013866 WO2019098659A1 (ko) 2017-11-15 2018-11-14 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법
CN201880073979.1A CN111433790B (zh) 2017-11-15 2018-11-14 将突触器件的权重的不对称性最小化的脉冲驱动装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170152098A KR102083258B1 (ko) 2017-11-15 2017-11-15 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190055408A KR20190055408A (ko) 2019-05-23
KR102083258B1 true KR102083258B1 (ko) 2020-03-02

Family

ID=66538755

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170152098A KR102083258B1 (ko) 2017-11-15 2017-11-15 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법

Country Status (4)

Country Link
US (1) US11544538B2 (ko)
KR (1) KR102083258B1 (ko)
CN (1) CN111433790B (ko)
WO (1) WO2019098659A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3257002B1 (en) 2016-02-23 2020-03-11 Nchain Holdings Limited Agent-based turing complete transactions integrating feedback within a blockchain system
BR112018016810A2 (pt) 2016-02-23 2018-12-26 nChain Holdings Limited método e sistema implementado por computador para criptografia de dados em um dispositivo eletrônico, dispositivo eletrônico e programa de computador
CN108885748A (zh) 2016-02-23 2018-11-23 区块链控股有限公司 用于区块链的加密货币的通用令牌化系统
GB2558484A (en) * 2016-02-23 2018-07-11 Nchain Holdings Ltd A method and system for the secure transfer of entities on a blockchain
SG11201806712RA (en) 2016-02-23 2018-09-27 Nchain Holdings Ltd A method and system for securing computer software using a distributed hash table and a blockchain
EP4167165A1 (en) 2016-02-23 2023-04-19 nChain Licensing AG Blockchain-based exchange with tokenisation
KR20180115768A (ko) 2016-02-23 2018-10-23 엔체인 홀딩스 리미티드 블록체인으로부터 데이터의 안전한 추출을 위한 암호화 방법 및 시스템
CN114282928A (zh) 2016-02-23 2022-04-05 恩链控股有限公司 基于区块链系统结合钱包管理系统的加密密钥存储和转移
CA3010116A1 (en) 2016-02-23 2017-08-31 nChain Holdings Limited Determining a common secret for the secure exchange of information and hierarchical, deterministic cryptographic keys
EP3420513A1 (en) 2016-02-23 2019-01-02 Nchain Holdings Limited System and method for controlling asset-related actions via a blockchain
EP3855677A1 (en) 2016-02-23 2021-07-28 Nchain Holdings Limited Blockchain-implemented method for control and distribution of digital content
KR102421323B1 (ko) * 2020-09-29 2022-07-15 한양대학교 산학협력단 Pcm 기반의 시냅스 소자 및 그 동작 방법
KR102421324B1 (ko) * 2020-10-05 2022-07-15 한양대학교 산학협력단 Ltp 및 ltd에서 대칭성을 확보하는 시냅스 소자 및 그 동작 방법
KR102569870B1 (ko) * 2021-07-06 2023-08-23 한양대학교 산학협력단 펄스 폭 변조 방식을 이용하여 대칭성이 개선되는 시냅스 소자 및 그의 동작 방법
KR102569871B1 (ko) * 2021-07-06 2023-08-23 한양대학교 산학협력단 10층 이상의 초격자 구조로 적층된 iPCM 시냅스 소자 및 그의 제작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267378A1 (en) 2015-03-13 2016-09-15 International Business Machines Corporation Neuromorphic synapses

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092736B2 (en) * 2010-07-07 2015-07-28 Qualcomm Incorporated Communication and synapse training method and hardware for biologically inspired networks
CN102496385B (zh) * 2011-12-26 2014-04-16 电子科技大学 一种脉冲时序活动性转换电路
CN102610274B (zh) * 2012-04-06 2014-10-15 电子科技大学 一种阻变突触权值调整电路
US9129221B2 (en) 2012-05-07 2015-09-08 Brain Corporation Spiking neural network feedback apparatus and methods
US9098801B2 (en) * 2012-12-17 2015-08-04 John L. Breckenridge Time series classifying memory, systems and methods
KR20150034900A (ko) 2013-09-26 2015-04-06 삼성전자주식회사 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로
US10055434B2 (en) * 2013-10-16 2018-08-21 University Of Tennessee Research Foundation Method and apparatus for providing random selection and long-term potentiation and depression in an artificial network
CN111291873A (zh) * 2014-07-21 2020-06-16 徐志强 预制性突触的模拟方法及装置
KR101671071B1 (ko) * 2014-11-27 2016-10-31 포항공과대학교 산학협력단 뉴로모픽 시스템 응용을 위한 시냅스 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267378A1 (en) 2015-03-13 2016-09-15 International Business Machines Corporation Neuromorphic synapses

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
유우경. 메타가소성 개념. Brain & NeuroRehabilitation. 2014년 3월, Vol. 7, No. 1

Also Published As

Publication number Publication date
KR20190055408A (ko) 2019-05-23
CN111433790A (zh) 2020-07-17
US11544538B2 (en) 2023-01-03
US20200285935A1 (en) 2020-09-10
CN111433790B (zh) 2023-09-19
WO2019098659A1 (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
KR102083258B1 (ko) 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법
US10956815B2 (en) Killing asymmetric resistive processing units for neural network training
US10373051B2 (en) Resistive processing unit
US9646243B1 (en) Convolutional neural networks using resistive processing unit array
US10339447B2 (en) Configuring sparse neuronal networks
US9111224B2 (en) Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks
RU2597504C2 (ru) Способ и устройство для нейронного временного кодирования, обучения и распознавания
US20120084240A1 (en) Phase change memory synaptronic circuit for spiking computation, association and recall
WO2012006592A1 (en) Methods and systems for neural processor training by encouragement of correct output
KR20170031695A (ko) 신경망들에서의 콘볼루션 동작의 분해
US9959499B2 (en) Methods and apparatus for implementation of group tags for neural models
KR20180070103A (ko) 인식 방법 및 인식 장치
US20150317557A1 (en) Temporal spike encoding for temporal learning
US20150112909A1 (en) Congestion avoidance in networks of spiking neurons
Nair et al. A microarchitecture implementation framework for online learning with temporal neural networks
KR20230029759A (ko) 아날로그 크로스바 어레이들을 업데이트하기 위한 희소 수정가능 비트 길이 결정 펄스 생성
US9418332B2 (en) Post ghost plasticity
US20230100139A1 (en) Efficient tile mapping for row-by-row convolutional neural network mapping for analog artificial intelligence network inference
CN113454648A (zh) 循环神经网络中的勒让德存储器单元
US20230351195A1 (en) Neurosynaptic Processing Core with Spike Time Dependent Plasticity (STDP) Learning For a Spiking Neural Network
US11250316B2 (en) Aggregate adjustments in a cross bar neural network
US20210142153A1 (en) Resistive processing unit scalable execution
Jeyasothy et al. Supervised learning using spiking neural networks
CN116663640A (zh) 用于剪枝的方法和设备
Jiang The architecture and design of a neural network classifier

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant