KR20230087830A - 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법 - Google Patents

인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법 Download PDF

Info

Publication number
KR20230087830A
KR20230087830A KR1020210176414A KR20210176414A KR20230087830A KR 20230087830 A KR20230087830 A KR 20230087830A KR 1020210176414 A KR1020210176414 A KR 1020210176414A KR 20210176414 A KR20210176414 A KR 20210176414A KR 20230087830 A KR20230087830 A KR 20230087830A
Authority
KR
South Korea
Prior art keywords
weight
synaptic
neural network
artificial neural
total
Prior art date
Application number
KR1020210176414A
Other languages
English (en)
Inventor
이지성
노수정
이한샘
권준현
황현상
최우석
Original Assignee
현대자동차주식회사
기아 주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 포항공과대학교 산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020210176414A priority Critical patent/KR20230087830A/ko
Priority to US17/718,612 priority patent/US20230186068A1/en
Publication of KR20230087830A publication Critical patent/KR20230087830A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 이진 인공 신경망(Binarized Neural Network) 학습 알고리즘을 이용하여 인공 신경망을 학습하는 단계, 상기 인공 신경망 학습 후 시냅스 소자 쌍의 전체 가중치(weight)를 읽어 들이는 단계, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 0과 비교하는 단계, 상기 시냅스 소자 쌍의 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치를 부여하는 단계 및 상기 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치에 따른 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계를 포함하는 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법으로서, 본 발명에 의하면, 아날로그 시냅스 소자의 리텐션 문제를 해소하여 안정적인 인공 신경망의 동작이 가능하게 한다.

Description

인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법{WEIGHT DETERMINATION METHOD OF ANALOG SYNAPTIC DEVICE CONSTITUTING ARTIFICIAL NEURAL NETWORK}
본 발명은 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치를 확정하는 방법에 관한 것이다.
뉴로모픽 시스템(Neuromorphic System)은 인간의 뇌를 모방하여 뇌와 유사한 방식으로 데이터를 처리하고 학습하는 시스템이다. 즉, 뉴런 소자는 시냅스 소자를 통하여 다른 뉴런 소자와 연결되고, 뉴런 소자가 데이터를 출력하면 시냅스 소자는 입력된 아날로그 데이터를 전달한다.
높은 해상도의 가중치를 위해 점진적인 컨덕턴스(conductance) 변화를 보이는 시냅스 소자, 즉 아날로그 시냅스 소자가 사용되고, 다만 대부분의 아날로그 시냅스 소자는 시간이 지남에 따라 컨덕턴스가 작아지는 리텐션(retention) 문제를 가지고 있어 인공 신경망의 안정적인 동작이 어려운 한계가 있다.
보다 소자의 부담이 적은 BNN/TNN은 최종적으로 이진/삼진화된 가중치를 사용하지만, 학습 과정에서 높은 해상도의 가중치가 여전히 필요하다. 이를 위해 종래의 기술은 외부의 프로세서에서 높은 해상도의 가중치로 학습을 진행하고, 학습을 마친 이진화/삼진화된 가중치를 1-bit RRAM 소자 어레이로 옮겨오는 off-chip 학습 방법을 사용한다.
이를 위해 리텐션 문제가 적은 1-bit RRAM 소자를 여러 개 사용하여 하나의 시냅스로 동작시키는 방법도 제안되나, 높은 해상도를 위해 많은 수의 소자를 사용하기 때문에 면적 효율적이지 못하다.
또한, 기존의 XNOR 동작 기반 또는 단일 메모리소자 기반의 BNN/TNN 하드웨어는 comparator 기반 동작이라 시냅스 어레이 inference를 완전 병력적으로 할 수 없다.
이상의 배경기술에 기재된 사항은 발명의 배경에 대한 이해를 돕기 위한 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
미국공개특허공보 제2019-0080755호
본 발명은 상술한 문제점을 해결하고자 안출된 것으로서, 본 발명은 아날로그 시냅스 소자의 리텐션 문제를 해소하여 안정적인 인공 신경망의 동작이 가능하게 하는 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법을 제공하는 데 그 목적이 있다.
본 발명의 일 관점에 의한 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법은, 인공 신경망(Neural Network) 학습 알고리즘을 이용하여 인공 아날로그 메모리 소자 기반 신경망 하드웨어를 학습하는 단계, 상기 인공 신경망 학습 후 시냅스 소자 쌍의 전체 가중치(weight)를 읽어 들이는 단계, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 0과 비교하는 단계, 상기 시냅스 소자 쌍의 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치를 부여하는 단계 및 상기 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치에 따른 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계를 포함한다.
그리고, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 0과 비교하는 단계에 의해 0보다 큰 것으로 판단되면, 상기 각각의 가중치를 부여하는 단계는, 상기 양의 시냅스 소자(W+)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 1의 가중치를 부여하는 단계 및 상기 음의 시냅스 소자(W-)를 초기화(reset)하여 0의 가중치를 부여하는 단계를 포함한다.
여기서, 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 1로 확정하는 것을 특징으로 한다.
또한, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 0과 비교하는 단계에 의해 0보다 크지 않은 것으로 판단되면, 상기 각각의 가중치를 부여하는 단계는, 상기 양의 시냅스 소자(W+)를 초기화(reset)하여 0의 가중치를 부여하는 단계 및 상기 음의 시냅스 소자(W-)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 1의 가중치를 부여하는 단계를 포함한다.
그리고, 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 0으로 확정하는 것을 특징으로 한다.
다음으로, 본 발명의 다른 일 관점에 의한 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법은, 삼진 인공 신경망(Ternary Neural Network) 학습 알고리즘을 이용하여 인공 신경망을 학습하는 단계, 상기 인공 신경망 학습 후 시냅스 소자 쌍의 전체 가중치(weight)를 읽어 들이는 단계, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 기설정된 Wth와 비교하는 단계, 상기 시냅스 소자 쌍의 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치를 부여하는 단계 및 상기 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치에 따른 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계를 포함한다.
그리고, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 Wth와 비교하는 단계에 의해 Wth보다 큰 것으로 판단되면, 상기 각각의 가중치를 부여하는 단계는, 상기 양의 시냅스 소자(W+)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 1의 가중치를 부여하는 단계 및 상기 음의 시냅스 소자(W-)를 초기화(reset)하여 0의 가중치를 부여하는 단계를 포함한다.
여기서, 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 1로 확정하는 것을 특징으로 한다.
또한, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 Wth와 비교하는 단계에 의해 Wth보다 크지 않은 것으로 판단되면, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 -Wth와 비교하는 단계를 더 포함할 수 있다.
그래서, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 -Wth와 비교하는 단계에 의해 -Wth보다 작은 것으로 판단되면, 상기 각각의 가중치를 부여하는 단계는, 상기 양의 시냅스 소자(W+)를 초기화(reset)하여 0의 가중치를 부여하는 단계 및 상기 음의 시냅스 소자(W-)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 1의 가중치를 부여하는 단계를 포함한다.
그리고, 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 -1로 확정하는 것을 특징으로 한다.
또한, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 -Wth와 비교하는 단계에 의해 -Wth보다 작지 않은 것으로 판단되면, 상기 각각의 가중치를 부여하는 단계는, 상기 양의 시냅스 소자(W+)를 초기화(reset)하여 0의 가중치를 부여하는 단계 및 상기 음의 시냅스 소자(W-)를 초기화(reset)하여 0의 가중치를 부여하는 단계를 포함한다.
여기서, 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 0으로 확정하는 것을 특징으로 한다.
본 발명에 의하면, 시냅스 소자로서 단일 메모리 소자의 아날로그한 컨덕턴스 변환 특성을 활용하여 높은 해상도로 이진/삼진 인공 신경망의 시냅스 가중치를 on-chip으로 학습할 수가 있다.
또한 학습한 시냅스 소자의 가중치 확정을 통해 우수한 리텐션 특성을 가진 1-bit 시냅스 소자로 사용함으로써, 인공 신경망의 안정적인 추론 성능을 확보할 수가 있다.
도 1은 RRAM의 기본적인 구조, 도 2는 컨덕턴스 변화 특성, 도 3은 인가 전압 펄스, 도 4는 계면 이온 배열을 도시한 것이다.
도 5 및 도 6은 RRAM 소자에 큰 전압 인가시 특성을 도시한 것이다.
도 7은 시냅스 소자 쌍을 도시한 것이며, 도 8은 시냅스 소자 쌍의 가중치를 나타낸 것이다.
도 9는 인공신경망의 임의의 가중치 분포를 도시한 것이며, 도 10은 그 가중치의 이진화를 나타낸 것이다.
도 11은 인공신경망의 임의의 가중치 분포를 도시한 것이며, 도 12는 그 가중치의 삼진화를 나타낸 것이다.
도 13은 본 발명의 일 실시예에 의한 이진 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법을 도시한 것이다.
도 14는 본 발명의 일 실시예에 의한 삼진 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법을 도시한 것이다.
도 15는 도 13의 이진화 방법을 구체적으로 도시한 것이다.
도 16은 도 14의 삼진화 방법을 구체적으로 도시한 것이다.
도 17은 아날로그 시냅스 소자의 아날로그 동작 특성을 도시한 것이고, 도 18은 가중치 확정에 따른 동작 특성을 도시한 것이다.
도 19는 인공신경망의 임의의 가중치 분포를 도시한 것이며, 도 20은 양자화된 가중치를 나타낸 것이며, 도 21은 multi-level 특성을 가지는 필라멘트 형성에 의한 양자화된 가중치의 확정을 나타낸 것이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
본 발명의 바람직한 실시 예를 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지의 기술이나 반복적인 설명은 그 설명을 줄이거나 생략하기로 한다.
본 발명은 인공 신경망(Neural Network)을 구성하는 아날로그 시냅스 소자의 가중치를 확정하는 방법에 관한 것으로서, 아날로그 시냅스 소자는 비휘발성을 가지는 RRAM(Resistive RAM, 저항성 메모리 소자)로 구성될 수 있다.
RRAM은 도 1과 같이 2-terminal 구조로 되어있음으며, 양 전극에 전압을 인가함으로써 RRAM 소자의 컨덕턴스가 도 2와 같이 변화하게 됨으로써 RRAM 소자의 가변적인 컨턱던스 특성을 시냅스 소자로서 활용 가능하다.
RRAM 소자 중 전압 펄스를 인가했을 때 점진적으로 컨덕턴스가 변하는 소자가 있으며, 이러한 소자를 아날로그 시냅스 소자라고 한다. 도 3과 같이 적정한 크기(Vp또는 Vd)의 potentiation pulse 또는 depression 펄스를 인가했을 때 컨덕턴스가 점진적으로 증가하거나 감소하는 특성을 보이게 된다.
대부분의 아날로그 시냅스 소자는 계면에서의 산화/환원 반응에 의해 컨덕턴스가 변하는 동작 메커니즘을 가지고 있으며, Potentiation/depression pulse의 수를 조절함으로써 세세하게 컨덕턴스를 변화시킬 수 있다. 이러한 특성은 높은 가중치 해상도가 필요한 인공 신경망의 학습 과정이 필요한 특성이다.
다만 도 4와 같이 계면 이온들의 균일하지 않은 농도차에 의해 확산이 발생하며 컨덕턴스의 값이 시간에 따라 변하는 리텐션 문제가 발생할 수 있다.
RRAM 소자는 도 5와 같이 충분히 큰 전압을 인가했을 때 급격하게 컨덕턴스의 값이 높아지는 동작을 수행한다. 이는 보통 도 6과 같이 두 전극 사이에 전도도가 높은 필라멘트가 형성되는 동작 메커니즘을 가지고 있다.
시냅스 소자의 가중치(weight)는 물리적으로 소자의 컨덕턴스에 해당되며, 인공 신경망 학습 알고리즘에 의해 계산된 가중치의 값은 양의 값과 음의 값을 모두 가지고 있다. 하지만 소자의 컨덕턴스는 항상 양의 값을 가지기 때문에 도 7과 같이 두 시냅스 소자의 컨덕턴스 차이를 전체 시냅스 가중치로 사용함으로써 음의 컨덕턴스를 표현하며, 시냅스의 전체 가중치(Wtotal)는 도 8과 같이 시냅스 쌍의 가충치 차이(W+-W-)로 표현할 수 있다.
도 9는 임의의 분포를 가지는 인공 신경망의 가중치를 보여주며, 도 9의 분포를 가지는 가중치를 이진화하면 도 10과 같이 1/-1의 값을 가지는 분포를 보이게 된다. 이진화는 0을 기준으로 잡고 0보다 큰지 작은지를 판단하여 1 또는 -1로 가중치를 수렴시킨다.
도 11은 임의의 분포를 가지는 인공 신경망의 가중치를 보여주며, 도 11의 분포를 가지는 가중치를 삼진화하면 도 12과 같이 1/0/-1의 값을 가지는 분포를 보인다. 삼진화는 Wth 및 -Wth를 기준으로 잡고 이 기준들 보다 큰지 작은지를 판단하여 1, 0, -1로 가중치를 수렴시킨다.
도 13은 본 발명의 일 실시예에 의한 이진 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법을 도시한 것이고, 도 15는 도 13의 이진화 방법을 구체적으로 도시한 것이다.
이하, 도 13 및 도 15를 참조하여 본 발명의 일 실시예에 의한 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법을 설명한다.
아날로그 시냅스가 높은 컨덕턴스 해상도를 가지는 장점을 활용하여 on-chip으로 BNN/TNN의 학습을 진행한다. 다만 상기한 것과 같이 아날로그 시냅스는 시간이 흐름에 따라 컨덕턴스가 감소하는 리텐션 문제가 있다.
본 발명은 학습을 통해 결정된 시냅스 소자의 가중치가 리텐션에 의해 감소하는 것을 막는 방안으로, 소자 내부에 강한 필라멘트(filament)를 형성시킨다. 강한 filament는 형성이 된 후 쉽게 filament가 풀리지 않기 때문에 오랜 시간 시냅스 소자의 컨덕턴스를 안정적으로 유지할 수가 있으며. 이를 소자의 가중치 확정이라고 부를 수 있다.
이진 인공 신경망은 최종적으로 이진화된 가중치(1/-1)를 사용하고, 따라서 시냅스 소자의 가중치를 읽은 뒤 전체 가중치의 값이 0보다 큰지 판단하여 1 또는 -1로 수렴시킨다. 1 또는 -1로 수렴시킬 때 아날로그 시냅스 소자에 충분히 큰 전압을 인가하여 소자 내부에 강한 filament를 형성시키는 가중치 확정 방법을 사용하는 것이다.
순차적으로 살펴보면, 이진 인공 신경망(Binarized Neural Network) 학습 알고리즘을 이용하여 인공 신경망을 학습한다.(S11)
그리고, 시냅스 소자의 가중치를 읽어 들인다(read).(S12)
다음 읽어 들인 가중치(Wtotal)가 0보다 큰지 여부를 판단한다(S13).
판단 결과, 학습을 끝낸 전체 가중치의 값이 가중치가 0보다 크면, 시냅스 소자 쌍 중 양의 시냅스 소자(W+)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 계면 이온들이 필라멘트(Filament)를 형성한다(S14). 이에 의해 1의 가중치를 가지게 한다. 여기서 필라멘트의 형성은 하나의 예시에 해당하며, 필라멘트 형성뿐 아니라 '영구적 단선(permanent short)'을 시키는 것을 포함할 수 있다.
그런 다음 음의 시냅스 소자(W-)를 초기화(reset)하여 0의 가중치를 가지게 함으로써(S16) 가중치를 확정한다(S18).
이와 같이 한 쌍의 소자가 하나의 시냅스로 사용되고, 전체 가중치의 값은 두 소자의 컨덕턴스 차이로 결정이 되기 때문에 결과적으로 전체 가중치는 1의 값을 가지게 된다.
반면, S13 판단 결과 학습을 끝낸 전체 가중치의 값이 0보다 크지 않으면 양의 시냅스 소자(W+)를 초기화하여 0의 가중치를 가지게 하고(S15), 음의 시냅스 소자(W-)에 스트레스 전압(Voltage Stress)를 인가하여 필라멘트(Filament)를 형성시킴으로써(S17), 1의 가중치를 가지게 함으로써 가중치를 확정한다(S18).
이때는 두 소자의 컨덕턴스 차이는 -1의 값을 가지게 된다.
다음, 도 14는 본 발명의 일 실시예에 의한 삼진 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법을 도시한 것이며, 도 16은 도 14의 삼진화 방법을 구체적으로 도시한 것이다.
이하, 도 14 및 도 16을 참조하여 본 발명의 다른 일 실시예에 의한 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법을 설명한다.
삼진 인공 신경망은 최종적으로 삼진화된 가중치(1/0/-1)를 사용한다. 따라서 시냅스 소자의 가중치를 읽은 뒤 전체 가중치의 값이 Wth 또는 -Wth보다 큰지 작은지 판단하여 1 또는 0 또는 -1로 수렴시킨다. 1 또는 0 또는 -1로 수렴시킬 때 아날로그 시냅스 소자에 충분히 큰 전압을 인가하여 소자 내부에 강한 filament를 형성시키는 가중치 확정 방법을 사용한다.
삼진 인공 신경망(Ternary Neural Network) 학습 알고리즘을 이용하여 인공 신경망을 학습한다.(S21)
그리고, 시냅스 소자의 가중치를 읽어 들인다(read).(S22)
다음 읽어 들인 가중치(Wtotal)가 기설정된 Wth보다 큰지 여부를 판단한다(S23).
판단 결과, 학습을 끝낸 전체 가중치의 값이 가중치가 Wth보다 크면, 시냅스 소자 쌍 중 양의 시냅스 소자(W+)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 계면 이온들이 필라멘트(Filament)를 형성한다(S24). 이에 의해 1의 가중치를 가지게 한다.
그런 다음 음의 시냅스 소자(W-)를 초기화(reset)하여 0의 가중치를 가지게 함으로써(S25) 가중치를 확정한다(S26).
이와 같이 한 쌍의 소자가 하나의 시냅스로 사용되고, 전체 가중치의 값은 두 소자의 컨덕턴스 차이로 결정이 되기 때문에 결과적으로 전체 가중치는 1의 값을 가지게 된다.
반면, S23 판단 결과 전체 가중치의 값이 Wth보다 크지 않으면 읽어 들인 가중치(Wtotal)가 -Wth보다 작은지 여부를 판단한다.(S31)
판단 결과, 전체 가중치의 값이 -Wth보다 작으면 양의 시냅스 소자(W+)를 초기화하여 0의 가중치를 가지게 하고(S32), 음의 시냅스 소자(W-)에 스트레스 전압(Voltage Stress)를 인가하여 필라멘트(Filament)를 형성시킴으로써(S33), 1의 가중치를 가지게 함으로써 가중치를 확정한다(S26).
이때는 두 소자의 컨덕턴스 차이는 -1의 값을 가지게 된다.
그리고, S31 판단 결과 전체 가중치의 값이 -Wth보다 작지 않으면 양의 시냅스 소자(W+)를 초기화하여 0의 가중치를 가지게 하고(S34), 음의 시냅스 소자(W-)를 초기화하여 0의 가중치를 가지게 함으로써(S35), 가중치를 확정한다(S26).
이진/삼진 인공 신경망의 학습에도 여전히 높은 해상도의 가중치가 필요하기 때문에 아날로그 시냅스를 사용하여 이진/삼진 인공 신경망을 학습한다. 이때 아날로그 동작 특성 예시는 도 17과 같다.
본 발명은 앞서 살펴본 바와 같이 학습이 모두 끝난 후 가중치 확정을 통해 아날로그 시냅스의 리텐션 문제를 해결한다.
도 18과 같이 가중치 확정을 위해 충분한 크기의 전압을 인가하여 강한 필라멘트를 형성하여 안정적으로 컨덕턴스를 유지할 수 있도록 한다. 이를 통해 안정적인 인공 신경망의 동작을 가능하게 한다.
다만 필라멘트 형성 후 동작 전류가 높아지기 때문에 읽는 전압 크기를 작게 하여 동작한다.
한편, 도 19 및 도 20에서 참조되는 바와 같이, 삼진 이상의 양자화 인공 신경망(Quantized Neural Network, QNN)의 학습에도 가중치 확정을 사용할 수 있을 것이다.
단, 양자화의 해상도가 높아질수록 사용되는 하나의 가중치를 표현하기 위해 필요한 시냅스 소자의 수가 증가할 것으로 예상되고, 도 21과 같이 multi-level 특성을 가지는 필라멘트를 형성하여 삼진 이상의 양자화된 가중치를 저장할 수 있는 확정을 수행할 수 있을 것으로 예상된다.
본 발명은 이상에서 살펴본 바와 같이 시냅스 소자의 아날로그한 컨덕턴스 변환 특성을 활용하여 높은 해상도로 이진/삼진 인공 신경망의 시냅스 가중치를 on-chip으로 학습할 수 있으며, 학습한 시냅스 소자의 가중치 확정을 통해 우수한 리텐션 특성을 가진 1-bit 시냅스 소자로 사용함으로써, 인공 신경망의 안정적인 추론 성능을 확보할 수 있다.
이상과 같은 본 발명은 예시된 도면을 참조하여 설명되었지만, 기재된 실시 예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형될 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정 예 또는 변형 예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이며, 본 발명의 권리범위는 첨부된 특허청구범위에 기초하여 해석되어야 할 것이다.
S11 : 인공 신경망 학습
S12 : 시냅스 소자의 가중치 읽음
S13 : 시냅스 소자 전체 가중치 판단
S14 : 양의 시냅스 소자 필라멘트 형성
S15 : 양의 시냅스 소자 초기화
S16 : 음의 시냅스 소자 초기화
S17 : 음의 시냅스 소자 필라멘트 형성
S18 : 가중치 확정

Claims (13)

  1. 인공 신경망(Neural Network) 학습 알고리즘을 이용하여 인공 아날로그 메모리 소자 기반 신경망 하드웨어를 학습하는 단계;
    상기 인공 신경망 학습 후 시냅스 소자 쌍의 전체 가중치(weight)를 읽어 들이는 단계;
    상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 0과 비교하는 단계;
    상기 시냅스 소자 쌍의 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치를 부여하는 단계; 및
    상기 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치에 따른 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계를 포함하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  2. 청구항 1에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 0과 비교하는 단계에 의해 0보다 큰 것으로 판단되면,
    상기 각각의 가중치를 부여하는 단계는,
    상기 양의 시냅스 소자(W+)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 1의 가중치를 부여하는 단계; 및
    상기 음의 시냅스 소자(W-)를 초기화(reset)하여 0의 가중치를 부여하는 단계를 포함하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  3. 청구항 2에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 1로 확정하는 것을 특징으로 하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  4. 청구항 1에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 0과 비교하는 단계에 의해 0보다 크지 않은 것으로 판단되면,
    상기 각각의 가중치를 부여하는 단계는,
    상기 양의 시냅스 소자(W+)를 초기화(reset)하여 0의 가중치를 부여하는 단계; 및
    상기 음의 시냅스 소자(W-)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 1의 가중치를 부여하는 단계를 포함하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  5. 청구항 4에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 0으로 확정하는 것을 특징으로 하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  6. 삼진 인공 신경망(Ternary Neural Network) 학습 알고리즘을 이용하여 인공 신경망을 학습하는 단계;
    상기 인공 신경망 학습 후 시냅스 소자 쌍의 전체 가중치(weight)를 읽어 들이는 단계;
    상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 기설정된 Wth와 비교하는 단계;
    상기 시냅스 소자 쌍의 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치를 부여하는 단계; 및
    상기 양의 시냅스 소자와 음의 시냅스 소자 각각의 가중치에 따른 상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계를 포함하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  7. 청구항 6에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 Wth와 비교하는 단계에 의해 Wth보다 큰 것으로 판단되면,
    상기 각각의 가중치를 부여하는 단계는,
    상기 양의 시냅스 소자(W+)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 1의 가중치를 부여하는 단계; 및
    상기 음의 시냅스 소자(W-)를 초기화(reset)하여 0의 가중치를 부여하는 단계를 포함하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  8. 청구항 7에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 1로 확정하는 것을 특징으로 하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  9. 청구항 6에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 Wth와 비교하는 단계에 의해 Wth보다 크지 않은 것으로 판단되면, 상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 -Wth와 비교하는 단계를 더 포함하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  10. 청구항 9에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 -Wth와 비교하는 단계에 의해 -Wth보다 작은 것으로 판단되면,
    상기 각각의 가중치를 부여하는 단계는,
    상기 양의 시냅스 소자(W+)를 초기화(reset)하여 0의 가중치를 부여하는 단계; 및
    상기 음의 시냅스 소자(W-)에 일정 이상의 스트레스 전압(Voltage Stress)를 인가하여 1의 가중치를 부여하는 단계를 포함하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  11. 청구항 10에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 -1로 확정하는 것을 특징으로 하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  12. 청구항 9에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치(Wtotal)를 -Wth와 비교하는 단계에 의해 -Wth보다 작지 않은 것으로 판단되면,
    상기 각각의 가중치를 부여하는 단계는,
    상기 양의 시냅스 소자(W+)를 초기화(reset)하여 0의 가중치를 부여하는 단계; 및
    상기 음의 시냅스 소자(W-)를 초기화(reset)하여 0의 가중치를 부여하는 단계를 포함하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
  13. 청구항 12에 있어서,
    상기 시냅스 소자 쌍의 전체 가중치를 확정하는 단계는 전체 가중치를 0으로 확정하는 것을 특징으로 하는,
    인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법.
KR1020210176414A 2021-12-10 2021-12-10 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법 KR20230087830A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210176414A KR20230087830A (ko) 2021-12-10 2021-12-10 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법
US17/718,612 US20230186068A1 (en) 2021-12-10 2022-04-12 Weight confirmation method for an analog synaptic device of an artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210176414A KR20230087830A (ko) 2021-12-10 2021-12-10 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법

Publications (1)

Publication Number Publication Date
KR20230087830A true KR20230087830A (ko) 2023-06-19

Family

ID=86694435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210176414A KR20230087830A (ko) 2021-12-10 2021-12-10 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법

Country Status (2)

Country Link
US (1) US20230186068A1 (ko)
KR (1) KR20230087830A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080755A (ko) 2017-12-28 2019-07-08 캐논 가부시끼가이샤 제어 방법, 제어 장치, 리소그래피 장치, 및 물품의 제조 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190080755A (ko) 2017-12-28 2019-07-08 캐논 가부시끼가이샤 제어 방법, 제어 장치, 리소그래피 장치, 및 물품의 제조 방법

Also Published As

Publication number Publication date
US20230186068A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
JP7182835B2 (ja) 人工ニューラル・ネットワークを訓練する方法および人工ニューラル・ネットワークを実施する装置（人工ニューラル・ネットワークの訓練）
CN110352436B (zh) 用于神经网络训练的具有迟滞更新的电阻处理单元
US10831860B2 (en) Alignment techniques to match symmetry point as zero-weight point in analog crosspoint arrays
US9779355B1 (en) Back propagation gates and storage capacitor for neural networks
US20180330236A1 (en) Neural network processing system
US11531898B2 (en) Training of artificial neural networks
CN108268938B (zh) 神经网络及其信息处理方法、信息处理系统
CN110945535A (zh) 用于从具有变化显著性的带符号模拟电导对构建用于人工神经网络的突触权重的系统和方法
US20210056383A1 (en) Spiking neural network device and learning method of spiking neural network device
Woods et al. Synaptic weight states in a locally competitive algorithm for neuromorphic memristive hardware
US10832773B1 (en) Architecture for enabling zero value shifting
Šuch et al. Passive memristor synaptic circuits with multiple timing dependent plasticity mechanisms
AU2021291671B2 (en) Drift regularization to counteract variation in drift coefficients for analog accelerators
KR20210143614A (ko) 뉴럴 네트워크를 구현하는 뉴로모픽 장치 및 그 동작 방법
US20210064974A1 (en) Formation failure resilient neuromorphic device
JP7438610B2 (ja) クロスバー・アレイ構造を有するニューロモルフィック・デバイス
Tang et al. Energy efficient spiking neural network design with RRAM devices
KR20230087830A (ko) 인공신경망을 구성하는 아날로그 시냅스 소자의 가중치 확정 방법
Li et al. Binary‐Stochasticity‐Enabled Highly Efficient Neuromorphic Deep Learning Achieves Better‐than‐Software Accuracy
Bavandpour et al. Spiking neuro-fuzzy clustering system and its memristor crossbar based implementation
Bürger et al. Volatile memristive devices as short-term memory in a neuromorphic learning architecture
KR102488174B1 (ko) 변환입력신호를 사용하는 신경망 회로
CN111797438A (zh) 物理不可克隆函数的实现方法及实现装置
San et al. Spike-timing dependent morphological learning for a neuron with nonlinear active dendrites
KR102533908B1 (ko) 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템