KR20190133532A - 트랜스포즈가 가능한 가중치 셀 및 이의 어레이 - Google Patents

트랜스포즈가 가능한 가중치 셀 및 이의 어레이 Download PDF

Info

Publication number
KR20190133532A
KR20190133532A KR1020180058581A KR20180058581A KR20190133532A KR 20190133532 A KR20190133532 A KR 20190133532A KR 1020180058581 A KR1020180058581 A KR 1020180058581A KR 20180058581 A KR20180058581 A KR 20180058581A KR 20190133532 A KR20190133532 A KR 20190133532A
Authority
KR
South Korea
Prior art keywords
line
weight
group
voltage
floating gate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180058581A
Other languages
English (en)
Other versions
KR102218740B1 (ko
KR102218740B9 (ko
Inventor
유인경
황현상
김재준
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020180058581A priority Critical patent/KR102218740B1/ko
Publication of KR20190133532A publication Critical patent/KR20190133532A/ko
Application granted granted Critical
Publication of KR102218740B1 publication Critical patent/KR102218740B1/ko
Publication of KR102218740B9 publication Critical patent/KR102218740B9/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0441—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing multiple floating gate devices, e.g. separate read-and-write FAMOS transistors with connected floating gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)

Abstract

본 발명에 따른 트랜스포즈가 가능한 가중치 셀은 입력라인 및 제 1 그룹의 워드라인에 접속된 제 1 선택 트랜지스터, 출력라인 및 제 2 그룹의 워드라인에 접속된 제 2 선택 트랜지스터 및 상기 제 1 및 제 2 선택 트랜지스터와 접속된 시냅스 가중치 소자를 포함하되, 상기 입력라인과 상기 출력라인은 서로 수직하도록 배치되고, 상기 제 1 그룹의 워드라인은 상기 입력라인에 수직하도록 배치되고, 상기 제 2 그룹의 워드라인은 상기 출력라인에 서로 수직하도록 배치된다.

Description

트랜스포즈가 가능한 가중치 셀 및 이의 어레이{TRANSPOSABLE SYNAPTIC WEIGHT CELL AND ARRAY THEREOF}
본 발명은 트랜스포즈가 가능한 가중치 셀 및 이의 어레이에 관한 것이다.
벡터 매트릭스 곱(vector matrix multiplication)에 사용하는 시냅스 가중치(synaptic weight)는 개별적으로 액세스가 가능하고 업데이트가 가능해야 하며, 포워드와 백워드에서 모두 적용할 수 있어야 한다.
이는 트레이닝 데이터(Training Data)를 입력으로 하여 전방향 연산(Forward propagate)을 수행한 뒤, 이 결과로 나온 뉴럴 네트워크의 예측값과 실제 타겟값과의 차이인 에러를 계산하여, 에러를 뉴럴 네트워크 각각의 노드들에 역전파(backpropagation)해야하기 때문이다.
한편, 벡터 매트릭스 곱을 하드웨어로 구성하면 입력라인과 출력라인이 수직을 이루게 된다. 이때 시냅스 가중치를 선택하는 선택 트랜지스터의 워드라인은 어느 한 라인과 수직을 이루는 대신 다른 라인과는 수평을 이루게 되어 포워드와 백워드를 동시에 만족시킬 수 없게 된다.
도 1은 일반적인 메모리 셀과 가중치 셀의 회로도이다.
도 1의 (a)인 메모리 셀에서는 워드라인(WL)이 비트라인(BL)과 플레이트라인(PL)에 수직이기 때문에 포워드 및 백워드에서 랜덤하게 저항체를 선택할 수 있다.
그러나 도 1의 (b)인 가중치 셀에서는 입력라인(Input)과 출력라인(Output)이 서로 수직이므로, 선택 트랜지스터의 워드라인(WL)과 출력라인(Output)이 평행이 되는 경우 백워드에서는 랜덤하게 특정 셀을 선택할 수 없다는 문제가 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예는 뉴럴 네트워크와 같은 인공지능에 있어서 입력라인과 수직이 되는 워드라인을 갖는 선택 트린지스터와 출력라인에 수직이 되는 워드라인을 갖는 선택 트랜지스터를 구성하여 포워드와 백워드에서 랜덤한 액세스가 가능하도록 함으로써, 역전파(backpropagation)를 하드웨어적으로 제공할 수 있는 트랜스포즈가 가능한 가중치 셀 및 이의 어레이를 제공하는 것을 그 목적으로 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 트랜스포즈가 가능한 가중치 셀은 입력라인 및 제 1 그룹의 워드라인에 접속된 제 1 선택 트랜지스터, 출력라인 및 제 2 그룹의 워드라인에 접속된 제 2 선택 트랜지스터 및 상기 제 1 및 제 2 선택 트랜지스터와 접속된 시냅스 가중치 소자를 포함한다. 이때, 상기 입력라인과 상기 출력라인은 서로 수직하도록 배치되고, 상기 제 1 그룹의 워드라인은 상기 입력라인에 수직하도록 배치되고, 상기 제 2 그룹의 워드라인은 상기 출력라인에 서로 수직하도록 배치된다.
상기 시냅스 가중치 소자는 하나 이상의 저항체, 하나 이상의 커패시터 및 양음 가중치 기능을 갖는 강유전체 소자 중 어느 하나일 수 있다.
상기 시냅스 가중치 소자는 상기 제 1 및 제 2 선택 트랜지스터의 사이에 배치되거나, 상기 제 1 및 제 2 선택 트랜지스터의 타단에 공통 접속되도록 배치되거나, 연속하여 접속된 상기 제 1 및 제 2 선택 트랜지스터 중 어느 하나의 선택 트랜지스터의 타단에만 접속되도록 배치될 수 있다.
상기 저항체는 멀티 레벨을 갖는 저항변환 스위치 메모리 소자일 수 있다.
상기 제 1 및 제 2 선택 트랜지스터 중 어느 하나는 불휘발성 메모리 기능의 플로팅 게이트 트랜지스터일 수 있다.
상기 제1 및 제 2 선택 트랜지스터에 특정 전압이 인가됨에 따라, 상기 제 1 및 제 2 선택 트랜지스터에 대응하는 시냅스 가중치 소자가 활성화되어 온-칩 학습이 수행될 수 있다.
상기 제 1 및 제 2 선택 트랜지스터는 NMOS 트랜지스터이되, 상기 제 1 및 제 2 선택 트랜지스터 중 불휘발성 메모리 기능의 플로팅 게이트 트랜지스터는, 상기 온-칩 학습이 수행되는 중에는 충전 상태로 사용되고, 상기 온-칩 학습이 완료됨에 따라 방전 상태로 전환될 수 있다.
또한, 본 발명의 제 2 측면에 따른 트랜스포즈가 가능한 가중치 셀 어레이는 하나 이상의 입력라인, 상기 입력라인에 수직하도록 배치된 하나 이상의 출력라인, 상기 입력라인에 수직하도록 배치된 제 1 그룹의 워드라인, 상기 출력라인에 수직하도록 배치된 제 2 그룹의 워드라인 및 상기 입력라인 및 상기 제 1 그룹의 워드라인에 접속된 제 1 선택 트랜지스터, 상기 출력라인 및 상기 제 2 그룹의 워드라인에 접속된 제 2 선택 트랜지스터 및 상기 제 1 및 제 2 선택 트랜지스터와 접속된 시냅스 가중치 소자를 포함한다.
상기 시냅스 가중치 소자는 하나 이상의 저항체, 하나 이상의 커패시터 및 양음 가중치 기능을 갖는 강유전체 소자 중 어느 하나일 수 있다.
상기 제 1 및 제 2 선택 트랜지스터 중 어느 하나는 불휘발성 메모리 기능의 플로팅 게이트 트랜지스터일 수 있다.
상기 제 2 그룹의 워드라인은 각각 독립되어 상기 복수의 가중치 셀에 포함된 플로팅 게이트 트랜지스터에 전기적으로 접속될 수 있다.
상기 제 1 및 제 2 선택 트랜지스터는 NMOS 트랜지스터이되, 상기 제 1 및 제 2 선택 트랜지스터 중 플로팅 게이트 트랜지스터를 충전 상태로 초기화시킨 후, 상기 복수의 가중치 셀 중 하나 이상의 상기 초기화된 플로팅 게이트 트랜지스터와 다른 플로팅 게이트 트랜지스터를 온 상태로 전환시키기 위해 제 1 전압이 인가되도록 하고, 상기 제 1 전압이 인가된 플로팅 게이트 트랜지스터에 대응하는 시냅스 가중치 소자가 활성화됨에 따라 온-칩 학습이 수행될 수 있다.
미리 설정된 출력전압과 실제 출력전압 간의 오차가 존재하는 경우, 상기 미리 설정된 출력전압에 대응하는 전압을 상기 출력라인의 레이어에서 상기 입력라인의 레이어로 인가하고, 상기 입력라인을 통해 나오는 전하를 전압으로 환산하여 상기 입력라인에 인가된 입력전압과 비교하는 역전파(backpropagation) 과정을 수행하여 상기 오차를 보정할 수 있다.
상기 오차가 보정됨에 따라 상기 활성화된 시냅스 가중치 소자에 대응하는 가중치는 저장되고, 상기 저장된 가중치를 갖는 시냅스 가중치 소자에 대응하는 상기 가중치 셀에 포함된 상기 플로팅 게이트 트랜지스터는 방전 상태로 전환될 수 있다.
상기 방전 상태로 전환된 플로팅 게이트 트랜지스터에 상기 제 1 전압보다 작은 제 2 전압을 인가하여 상기 플로팅 게이트 트랜지스터를 온 상태로 유지시켜 상기 인공 신경망을 구동시킬 수 있다.
상기 인공 신경망이 구동됨에 따라 상기 입력라인에 인가된 새로운 입력전압에 해당하는 예측값이 지도학습을 통해 상기 출력라인으로 출력될 수 있다.
전술한 본 발명의 과제 해결 수단에 의하면, 온-칩 학습을 수행할 수 있는 인공 신경망에 있어서, 입력라인 및 출력라인과 각각 수직으로 배치된 각 워드라인 및 각 소자의 배치를 통해, 포워드와 백워드에서 랜덤한 액세스가 가능하도록 함으로써 하드웨어적으로 역전파(backpropagation) 수행이 가능하게끔 할 수 있다.
도 1은 일반적인 메모리 셀과 시냅스 가중치 셀의 회로도이다.
도 2는 본 발명의 일 실시예에 따른 가중치 셀에서의 선택 트랜지스터의 배치 방법을 도시한 도면이다.
도 3은 2T-1R 타입의 가중치 셀을 설명하기 위한 도면이다.
도 4는 2T-nC 타입의 가중치 셀을 설명하기 위한 도면이다.
도 5는 강유전체를 사용하는 타입에서의 가중치 셀을 설명하기 위한 도면이다.
도 6은 2T-1C 타입의 가중치 셀을 설명하기 위한 도면이다.
도 7은 1T-1FG 트랜지스터 소자의 예시도이다.
도 8은 2T-1C 타입의 가중치 셀을 어레이 형태로 구현한 예시도이다.
도 9는 2T-nC 구조에서의 선택 트랜지스터의 작동 방법을 설명하기 위한 도면이다.
도 10은 2T-1C 구조에서의 학습 과정을 설명하기 위한 도면이다.
도 11은 온-칩 학습 후 가중치 상태를 저장하는 방법을 설명하기 위한 도면이다.
도 12는 저장된 가중치를 선택적으로 동작시키는 방법을 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 제 1 실시예에 따른 인공 신경망에서의 가중치 셀은 제 1 선택 트랜지스터, 제 2 선택 트랜지스터 및 시냅스 가중치 소자를 포함한다.
제 1 선택 트랜지스터는 입력라인 및 제 1 그룹의 워드라인에 접속된다.
제 2 선택 트랜지스터는 출력라인 및 제 2 그룹의 워드라인에 접속된다.
이때, 제 1 및 제 2 선택 트랜지스터 중 어느 하나는 일반 트랜지스터이고, 이와 쌍을 이루는 다른 하나는 불휘발성 메모리 기능의 플로팅 게이트를 갖는 트랜지스터일 수 있다.
시냅스 가중치 소자는 제 1 선택 트랜지스터와 제 2 선택 트랜지스터에 접속된다.
이때, 본 발명의 일 실시예에서 입력라인과 출력라인은 서로 수직하게 배치된다. 그리고 제 1 그룹의 워드라인(WL)은 입력라인에 수직하도록 배치되며, 제 2 그룹의 워드라인(WLT)은 출력라인에 서로 수직하도록 배치된다.
이하에서는 제 1 및 제 2 선택 트랜지스터 및 시냅스 가중치 소자로 구성되는 본 발명의 일 실시예에 따른 가중치 셀의 다양한 구조에 대해 각 도면을 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 가중치 셀에서의 선택 트랜지스터의 배치 방법을 도시한 도면이다. 도 3은 2T-1R 타입의 가중치 셀을 설명하기 위한 도면이다. 도 4는 2T-nC 타입의 가중치 셀을 설명하기 위한 도면이다. 도 5는 강유전체를 사용하는 타입에서의 가중치 셀을 설명하기 위한 도면이다. 도 6은 2T-1C 타입의 가중치 셀을 설명하기 위한 도면이다. 도 7은 1T-1FG 트랜지스터 소자의 예시도이다.
도 2의 (a) 내지 (c)를 참조하면, 제 1 및 제 2 선택 트랜지스터의 배치 관계에 따라 시냅스 가중치 소자는 단독 저항체나 단독 커패시터가 될 수 있으며, 복수의 저항 집합체나 커패시터 집합체가 될 수도 있다.
이때, 시냅스 가중치 소자(205)는 도 2의 (a)와 같이 제 1 및 2 선택 트랜지스터(201, 203)의 사이에 배치될 수도 있다. 또한, 시냅스 가중치 소자(225)는 도 2의 (b)와 같이 제 1 및 제 2 선택트랜지스터(211, 213) 중 어느 하나의 선택 트랜지스터(213)의 타단에만 접속되도록 배치될 수도 있다. 또한, 시냅스 가중치 소자(225)는 도 2의 (c)와 같이 제 1 및 제 2 선택 트랜지스터(221, 223)의 타단에 공통 접속되도록 배치될 수도 있다.
이때, 도 2의 (a), (b)의 경우 Forward시 워드라인 WL과 워드라인 WLT 그리고 입력 라인이 작동되며, Backward시에는 워드라인 WL과 워드라인 WLT 그리고 출력 라인이 작동된다.
반면, 도 2의 (c)의 경우 Forward시에는 워드라인 WL과 입력 라인이 작동되며, Backward시에는 워드라인 WLT와 출력 라인이 작동된다.
한편, 저항체로 구성되는 시냅스 가중치 소자(305, 315)는 예를 들어 도 3의 (a) 및 (b)와 같이 구성될 수 있으며, 이때 저항체는 멀티레벨(multi-level)을 갖는 저항변환 스위치 메모리 소자일 수 있다.
또한, 시냅스 가중치 소자로 저항체 대신 도 4와 같이 커패시터(405)를 배치할 수도 있으며, 이때 커패시터는 2T-nC 타입으로 형성할 수 있다. 한편, 도 4의 2T-nC 구조에서 각 커패시터 대신 동일한 값의 고정 저항을 사용하여 2T-nR 타입의 구조도 형성 가능함은 물론이다.
또한, 도 5와 같이 시냅스 가중치 소자(505)는 양음 가중치(excitatory, inhibitory) 기능을 갖는 강유전체(Ferroeectric)로 구성될 수도 있다. 이때, 강유전체의 타입의 경우는 ‘1(양)’과 ‘-1(음)’의 바이너리값 또는 멀티레벨 값을 가질 수 있으며, 참고로 2T-1C 타입의 경우에는 ‘1’과 ‘0’의 바이너리값을 가질 수 있다.
도 6의 (a) 및 (b)는 2T-1C 타입의 가중치 셀을 도시한 도면으로서, 제 1 및 제 2 선택 트랜지스터(601, 603, 611, 613)가 연속되도록 접속 배치되는 1T-FG 트랜지스터 소자 형태를 도시한 것이다. 1T-1FG 트랜지스터 소자의 상세 구조의 예시는 도 7에 도시된 바와 같다.
이때, 2T-1C 타입의 경우 트랜즈포즈 가중치 기능을 갖도록 하기 위하여 각 워드라인이 서로 직교하도록 구성한다.
또한, 비휘발성 선택 트랜지스터(603, 611)와 쌍을 이루는 선택 트랜지스터(601, 613)의 순서를 바꿀 수도 있다.
한편, 비휘발성 선택 트랜지스터(603, 611)의 프로그래밍 기능과 삭제 기능 구동시에는 쌍을 이루는 다른 선택 트랜지스터(601, 613)를 통해 수행할 수 있다.
이하에서는 상술한 구조로 구현 가능한 가중치 셀 중, 2T-nC 구조를 예로 들어 그 동작 방법을 설명하기로 한다.
본 발명의 일 실시예에 따른 가중치 셀은 온-칩 학습을 수행할 수 있으며, 온-칩 학습이 완료됨에 따라 인공지능 동작을 구동시킬 수 있다.
먼저, 본 발명의 일 실시예는 제 1 및 제 2 선택 트랜지스터의 워드라인을 통해 특정 전압(VT)이 인가되도록 함으로써, 제 1 선택 트랜지스터와 제 2 선택 트랜지스터에 대응하는 시냅스 가중치 소자를 활성화시킨다.
이때, 제 1 선택 트랜지스터는 온-칩 학습이 수행되는 중에는 충전 상태로 사용된다.
다음으로, 온-칩 학습이 완료됨에 따라 학습 결과를 저장하기 위하여 제 1 선택 트랜지스터를 방전시킨다. 학습 결과로 인공지능 기능을 수행할 때에는 제 1 선택 트랜지스터에 특정 전압(VT)보다 낮은 전압(Vg)을 인가함으로써, 제1 선택 트랜지스터를 온 상태로 유지시켜 인공 신경망이 구동되도록 한다. 이때, 정보가 저장되지 않은 선택 트랜지스터들 즉, 충전 상태로 남은 선택 트랜지스터들은 온 상태가 되지 않는다.
이러한 온-칩 학습 및 인공지능 동작의 구동 내용은 본 발명의 제 2 실시예인 가중치 셀 어레이에서 보다 구체적으로 설명하도록 한다. 이때, 본 발명의 제 2 실시예에 대한 설명시 제 1 실시예와 중첩되는 내용은 생략하도록 하며, 차별점을 중심으로 설명하도록 한다.
본 발명의 제 2 실시예에 따른 인공 신경망에서의 가중치 셀 어레이는 하나 이상의 입력라인, 하나 이상의 출력라인, 제 1 그룹의 워드라인, 제 2 그룹의 워드라인 및 복수의 가중치 셀을 포함한다.
입력라인과 출력라인은 서로 수직하도록 배치된다. 제 1 그룹의 워드라인은 복수의 입력라인에 수직하도록 배치되고, 제 2 그룹의 워드라인은 복수의 출력라인에 수직하도록 배치된다.
입력라인과 출력라인이 하나로 구성된 경우 제 1 그룹의 워드라인은 입력라인에 모두 전기적으로 접속되고, 제 2 그룹의 워드라인은 출력라인에 모두 전기적으로 접속된다.
이때, 입력라인과 출력라인이 복수 개인 경우, 하나의 입출력라인과 같이 접속 배치될 경우, 어느 하나의 가중치 셀을 선택적으로 구동시킬 수 없게 된다. 따라서, 본 발명의 일 실시예는 입력라인과 출력라인이 복수 개인 경우, 제 1 그룹의 워드라인은 하나의 라인으로 접속되나, 제 2 그룹의 워드라인은 복수의 가중치 셀에 포함된 플로팅 게이트 트랜지스터에 각각 독립되도록 형성되어 상기 플로팅 게이트 트랜지스터에 전기적으로 접속되도록 한다.
복수의 가중치 셀은 제 1 및 제 2 선택 트랜지스터와 시냅스 가중치 소자를 포함한다.
제 1 선택 트랜지스터는 입력라인 및 제 1 그룹의 워드라인에 접속되고, 제 2 선택 트랜지스터는 출력라인 및 제 2 그룹의 워드라인에 접속되며, 시냅스 가중치 소자는 제 1 및 제 2 선택 트랜지스터와 접속된다.
도 8은 2T-1C 타입의 가중치 셀(800)을 어레이 형태로 구현한 예시도이다.
도 8은 2T-1C 타입의 가중치 셀(800)에서의 입출력 어레이를 도시한 것으로서, 각 가중치 셀(800)마다 비휘발성 트랜지스터(803)의 워드라인(WLTn)이 독립적으로 존재함을 확인할 수 있다.
도 9는 2T-nC 구조에서의 선택 트랜지스터의 작동 방법을 설명하기 위한 도면이다. 도 10은 2T-1C 구조에서의 온 칩 학습 과정을 설명하기 위한 도면이다. 도 11은 온-칩 학습 후 가중치 상태를 저장하는 방법을 설명하기 위한 도면이다.
상술한 바와 같이 본 발명에 따른 가중치 셀 어레이는 온-칩 학습을 수행할 수 있으며, 온-칩 학습이 완료됨에 따라 인공지능 동작을 구동시킬 수 있다.
먼저, 온-칩 학습을 위해 제 1 및 제 2 선택 트랜지스터(901, 903) 중 플로팅 게이트 트랜지스터(901)를 충전 상태로 초기화시킨 후, 복수의 가중치 셀 중 하나 이상의 초기화된 선택 트랜지스터(901)와 다른 플로팅 게이트 트랜지스터를 온 상태로 전환시키기 위해 제 1 전압(VT)이 워드라인을 통해 인가되도록 한다.
그리고 제 1 전압이 인가된 트랜지스터(901)와 나머지 선택 트랜지스터(903)에 대응하는 시냅스 가중치 소자(905)가 활성화됨에 따라 온-칩 학습이 수행될 수 있다.
이때, 각 입력라인으로 인가되는 전압은 동일하거나 상이할 수 있다. 또한, 출력되는 전하량은 출력전압에 대응되도록 하기 위하여 증폭기, ADC, 적분기 등을 사용할 수 있다.
이 경우 미리 설정된 출력전압과 실제 출력전압 간의 오차가 발생하는 경우, 오차를 보정하기 위한 역전파(backpropagation) 과정을 추가적으로 수행할 수 있다.
즉, 미리 설정된 출력전압에 대응하는 전압(Vh1, Vh2)을 출력라인의 레이어에서 입력라인의 레이어로 인가하고, 입력라인을 통해 나오는 전하(Q1h+Q2h, Q2)를 적분기를 이용하여 전압으로 환산한 후, 입력라인에 인가된 입력전압(V1, V2)과 비교하는 역전파 과정을 반복적으로 수행하여 오차를 보정할 수 있다.
한편, 온-칩 학습을 수행시 포워드와 백워드에서의 시냅스 가중치 소자의 배치는 도 10과 같이 전치(transpose) 관계가 된다.
오차가 보정되어 가중치가 최적화되면 활성화된 시냅스 가중치 소자에 대응하는 가중치 정보가 저장된다. 그리고 도 11과 같이 저장된 가중치를 갖는 시냅스 가중치 소자(1105, 1115, 1125)에 대응하는 가중치 셀에 포함된 플로팅 게이트 트랜지스터(1103, 1113, 1123)는 방전 상태로 전환된다.
이때, NMOS의 경우 플로팅 게이트 트랜지스터를 충전 상태가 되도록 하여 초기화하기 때문에 가중치가 저장된 셀의 플로팅 게이트 트랜지스터는 방전 상태가 되도록 한다. PMOS의 경우는 NMOS와 반대가 된다.
도 12는 저장된 가중치를 선택적으로 동작시키는 방법을 설명하기 위한 도면이다.
도 12는 온-칩 학습 결과가 저장된 2T-1C 타입의 가중치 셀 어레이를 이용하여 인공지능을 수행하는 방법을 설명하기 위한 도면으로, 예를 들어 새로운 입력전압(Vg)을 인가하고 그 결과(Qp)를 예측하기 위해서는 가중치가 저장된 셀(1200, 1210, 1220)만 작동되도록 해야 한다. 이때, 본 발명의 일 실시예는 시냅스 가중치를 무작위로, 독립적으로, 그리고 온 칩 학습 중에 직접 액세스하여 업데이트가 가능하도록 하기 위한 즉, 완전한 랜덤 액세스가 가능하도록 하기 위해 제 2 그룹의 워드라인(WLT)은 각 셀(1200~1230)의 제 2 선택 트랜지스터(1203~1233)에 독립적으로 구성된다.
이를 위해 본 발명에 따른 가중치 셀 어레이에서는 충전 상태로 있는 플로팅 게이트 트랜지스터(1233)는 작동되지 않도록 해야 하고, 가중치가 저장된 방전 상태인 플로팅 게이트 트랜지스터(1203, 1213, 1223)는 작동되도록 해야 한다.
따라서, 방전 상태로 전환된 플로팅 게이트 트랜지스터(1203, 1213, 1223)를 온 상태로 구동시키기 위하여 제 1 전압(VT)보다 작은 제 2 전압(Vg)을 제 2 그룹의 워드라인(WLT)에 인가한다. 이 경우 방전 상태로 전환된 가중치 셀(1200, 1210, 1220)만 작동하기 때문에 학습된 결과와 등가가 되는 값을 획득할 수 있다.
이와 같이 인공 신경망이 구동됨에 따라 본 발명의 제 2 실시예는 제 2 그룹의 워드라인(WLT)에 인가된 새로운 입력전압(Vg)에 해당하는 예측값(Qp)이 지도학습을 통해 출력라인으로 출력될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 트랜스포즈가 가능한 가중치 셀에 있어서,
    입력라인 및 제 1 그룹의 워드라인에 접속된 제 1 선택 트랜지스터,
    출력라인 및 제 2 그룹의 워드라인에 접속된 제 2 선택 트랜지스터 및
    상기 제 1 및 제 2 선택 트랜지스터와 접속된 시냅스 가중치 소자를 포함하되,
    상기 입력라인과 상기 출력라인은 서로 수직하도록 배치되고,
    상기 제 1 그룹의 워드라인은 상기 입력라인에 수직하도록 배치되고, 상기 제 2 그룹의 워드라인은 상기 출력라인에 서로 수직하도록 배치되는 것인 트랜스포즈가 가능한 가중치 셀.
  2. 제 1 항에 있어서,
    상기 시냅스 가중치 소자는 하나 이상의 저항체, 하나 이상의 커패시터 및 양음 가중치 기능을 갖는 강유전체 소자 중 어느 하나인 것인 트랜스포즈가 가능한 가중치 셀.
  3. 제 2 항에 있어서,
    상기 시냅스 가중치 소자는 상기 제 1 및 제 2 선택 트랜지스터의 사이에 배치되거나, 상기 제 1 및 제 2 선택 트랜지스터의 타단에 공통 접속되도록 배치되거나, 연속하여 접속된 상기 제 1 및 제 2 선택 트랜지스터 중 어느 하나의 선택 트랜지스터의 타단에만 접속되도록 배치되는 것인 트랜스포즈가 가능한 가중치 셀.
  4. 제 2 항에 있어서,
    상기 저항체는 멀티 레벨을 갖는 저항변환 스위치 메모리 소자인 것인 트랜스포즈가 가능한 가중치 셀.
  5. 제 1 항에 있어서,
    상기 제 1 및 제 2 선택 트랜지스터 중 어느 하나는 불휘발성 메모리 기능의 플로팅 게이트 트랜지스터인 것인 트랜스포즈가 가능한 가중치 셀.
  6. 제 1 항에 있어서,
    상기 제1 및 제 2 선택 트랜지스터에 특정 전압이 인가됨에 따라, 상기 제 1 및 제 2 선택 트랜지스터에 대응하는 시냅스 가중치 소자가 활성화되어 온-칩 학습이 수행되는 것인 트랜스포즈가 가능한 가중치 셀.
  7. 제 6 항에 있어서,
    상기 제 1 및 제 2 선택 트랜지스터는 NMOS 트랜지스터이되, 상기 제 1 및 제 2 선택 트랜지스터 중 불휘발성 메모리 기능의 플로팅 게이트 트랜지스터는, 상기 온-칩 학습이 수행되는 중에는 충전 상태로 사용되고, 상기 온-칩 학습이 완료됨에 따라 방전 상태로 전환되는 것인 트랜스포즈가 가능한 가중치 셀.
  8. 트랜스포즈가 가능한 가중치 셀 어레이에 있어서,
    하나 이상의 입력라인,
    상기 입력라인에 수직하도록 배치된 하나 이상의 출력라인,
    상기 입력라인에 수직하도록 배치된 제 1 그룹의 워드라인,
    상기 출력라인에 수직하도록 배치된 제 2 그룹의 워드라인 및
    상기 입력라인 및 상기 제 1 그룹의 워드라인에 접속된 제 1 선택 트랜지스터, 상기 출력라인 및 상기 제 2 그룹의 워드라인에 접속된 제 2 선택 트랜지스터 및 상기 제 1 및 제 2 선택 트랜지스터와 접속된 시냅스 가중치 소자를 포함하는 복수의 가중치 셀을 포함하는 트랜스포즈가 가능한 가중치 셀 어레이.
  9. 제 8 항에 있어서,
    상기 시냅스 가중치 소자는 하나 이상의 저항체, 하나 이상의 커패시터 및 양음 가중치 기능을 갖는 강유전체 소자 중 어느 하나인 것인 트랜스포즈가 가능한 가중치 셀 어레이.
  10. 제 8 항에 있어서,
    상기 제 1 및 제 2 선택 트랜지스터 중 어느 하나는 불휘발성 메모리 기능의 플로팅 게이트 트랜지스터인 것인 트랜스포즈가 가능한 가중치 셀 어레이.
  11. 제 10 항에 있어서,
    상기 제 2 그룹의 워드라인은 각각 독립되어 상기 복수의 가중치 셀에 포함된 플로팅 게이트 트랜지스터에 전기적으로 접속되는 것인 트랜스포즈가 가능한 가중치 셀 어레이.
  12. 제 8 항에 있어서,
    상기 제 1 및 제 2 선택 트랜지스터는 NMOS 트랜지스터이되, 상기 제 1 및 제 2 선택 트랜지스터 중 플로팅 게이트 트랜지스터를 충전 상태로 초기화시킨 후, 상기 복수의 가중치 셀 중 하나 이상의 상기 초기화된 플로팅 게이트 트랜지스터와 다른 플로팅 게이트 트랜지스터를 온 상태로 전환시키기 위해 제 1 전압이 인가되도록 하고,
    상기 제 1 전압이 인가된 플로팅 게이트 트랜지스터에 대응하는 시냅스 가중치 소자가 활성화됨에 따라 온-칩 학습이 수행되는 것인 트랜스포즈가 가능한 가중치 셀 어레이.
  13. 제 12 항에 있어서,
    미리 설정된 출력전압과 실제 출력전압 간의 오차가 존재하는 경우, 상기 미리 설정된 출력전압에 대응하는 전압을 상기 출력라인의 레이어에서 상기 입력라인의 레이어로 인가하고, 상기 입력라인을 통해 나오는 전하를 전압으로 환산하여 상기 입력라인에 인가된 입력전압과 비교하는 역전파(backpropagation) 과정을 수행하여 상기 오차를 보정하는 것인 트랜스포즈가 가능한 가중치 셀 어레이.
  14. 제 13 항에 있어서,
    상기 오차가 보정됨에 따라 상기 활성화된 시냅스 가중치 소자에 대응하는 가중치는 저장되고, 상기 저장된 가중치를 갖는 시냅스 가중치 소자에 대응하는 상기 가중치 셀에 포함된 상기 플로팅 게이트 트랜지스터는 방전 상태로 전환되는 것인 트랜스포즈가 가능한 가중치 셀 어레이.
  15. 제 14 항에 있어서,
    상기 방전 상태로 전환된 플로팅 게이트 트랜지스터에 상기 제 1 전압보다 작은 제 2 전압을 인가하여 상기 플로팅 게이트 트랜지스터를 온 상태로 유지시켜 상기 인공 신경망을 구동시키는 것인 트랜스포즈가 가능한 가중치 셀 어레이.
  16. 상기 인공 신경망이 구동됨에 따라 상기 입력라인에 인가된 새로운 입력전압에 해당하는 예측값이 지도학습을 통해 상기 출력라인으로 출력되는 것인 트랜스포즈가 가능한 가중치 셀 어레이.
KR1020180058581A 2018-05-23 2018-05-23 트랜스포즈가 가능한 가중치 셀 및 이의 어레이 Active KR102218740B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180058581A KR102218740B1 (ko) 2018-05-23 2018-05-23 트랜스포즈가 가능한 가중치 셀 및 이의 어레이

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180058581A KR102218740B1 (ko) 2018-05-23 2018-05-23 트랜스포즈가 가능한 가중치 셀 및 이의 어레이

Publications (3)

Publication Number Publication Date
KR20190133532A true KR20190133532A (ko) 2019-12-03
KR102218740B1 KR102218740B1 (ko) 2021-02-23
KR102218740B9 KR102218740B9 (ko) 2021-09-17

Family

ID=68837912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180058581A Active KR102218740B1 (ko) 2018-05-23 2018-05-23 트랜스포즈가 가능한 가중치 셀 및 이의 어레이

Country Status (1)

Country Link
KR (1) KR102218740B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210088444A (ko) * 2020-01-06 2021-07-14 서울대학교산학협력단 온칩 학습이 가능한 뉴로모픽 아키텍쳐
KR20210089989A (ko) * 2020-01-09 2021-07-19 포항공과대학교 산학협력단 컨덕턴스와 펄스 폭으로 가중치를 조절할 수 있는 준 벡터 행렬 곱셈 뉴럴 네트워크
US20210248452A1 (en) * 2020-02-12 2021-08-12 Ememory Technology Inc. Multiply accumulate circuit for binary neural network system
KR20210113722A (ko) * 2020-03-09 2021-09-17 (주)그린파워 트랜스포즈 매트릭스 곱셈이 가능한 매트릭스 곱셈기 구조 및 곱셈방법
KR20220073378A (ko) 2020-11-26 2022-06-03 포항공과대학교 산학협력단 아날로그 신호를 확률 신호로 변환하는 역치 변환 소자 기반의 아날로그-확률 변환 장치
KR20230007690A (ko) * 2021-07-06 2023-01-13 고려대학교 산학협력단 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240061917A (ko) 2022-11-01 2024-05-08 부산대학교 산학협력단 박막 트랜지스터 기반 snn의 회로적 구조

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120119533A (ko) * 2011-04-21 2012-10-31 에스케이하이닉스 주식회사 비휘발성 메모리 장치 및 그 프로그램 방법
KR20140084992A (ko) * 2012-12-27 2014-07-07 삼성전자주식회사 불휘발성 랜덤 액세스 메모리 장치 및 그것의 데이터 읽기 방법
KR20150014577A (ko) * 2013-07-29 2015-02-09 삼성전자주식회사 비휘발성 메모리 트랜지스터 및 이를 포함하는 소자
KR20170043368A (ko) * 2015-10-13 2017-04-21 삼성전자주식회사 푸리에 변환을 수행하는 방법 및 장치
KR20180020078A (ko) * 2016-08-17 2018-02-27 삼성전자주식회사 뉴로모픽 컴퓨팅을 위한 저전압 아날로그 또는 멀티레벨 메모리

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120119533A (ko) * 2011-04-21 2012-10-31 에스케이하이닉스 주식회사 비휘발성 메모리 장치 및 그 프로그램 방법
KR20140084992A (ko) * 2012-12-27 2014-07-07 삼성전자주식회사 불휘발성 랜덤 액세스 메모리 장치 및 그것의 데이터 읽기 방법
KR20150014577A (ko) * 2013-07-29 2015-02-09 삼성전자주식회사 비휘발성 메모리 트랜지스터 및 이를 포함하는 소자
KR20170043368A (ko) * 2015-10-13 2017-04-21 삼성전자주식회사 푸리에 변환을 수행하는 방법 및 장치
KR20180020078A (ko) * 2016-08-17 2018-02-27 삼성전자주식회사 뉴로모픽 컴퓨팅을 위한 저전압 아날로그 또는 멀티레벨 메모리

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210088444A (ko) * 2020-01-06 2021-07-14 서울대학교산학협력단 온칩 학습이 가능한 뉴로모픽 아키텍쳐
US12099919B2 (en) 2020-01-06 2024-09-24 Seoul National University R&Db Foundation On-chip training neuromorphic architecture
KR20210089989A (ko) * 2020-01-09 2021-07-19 포항공과대학교 산학협력단 컨덕턴스와 펄스 폭으로 가중치를 조절할 수 있는 준 벡터 행렬 곱셈 뉴럴 네트워크
US20210248452A1 (en) * 2020-02-12 2021-08-12 Ememory Technology Inc. Multiply accumulate circuit for binary neural network system
US12260318B2 (en) * 2020-02-12 2025-03-25 Ememory Technology Inc. Multiply accumulate circuit for binary neural network system
KR20210113722A (ko) * 2020-03-09 2021-09-17 (주)그린파워 트랜스포즈 매트릭스 곱셈이 가능한 매트릭스 곱셈기 구조 및 곱셈방법
KR20220073378A (ko) 2020-11-26 2022-06-03 포항공과대학교 산학협력단 아날로그 신호를 확률 신호로 변환하는 역치 변환 소자 기반의 아날로그-확률 변환 장치
US11962321B2 (en) 2020-11-26 2024-04-16 POSTECH Research and Business Development Foundation Analog-stochastic converter for converting analog signal into probability signal based on threshold switching element
KR20230007690A (ko) * 2021-07-06 2023-01-13 고려대학교 산학협력단 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로

Also Published As

Publication number Publication date
KR102218740B1 (ko) 2021-02-23
KR102218740B9 (ko) 2021-09-17

Similar Documents

Publication Publication Date Title
KR102218740B1 (ko) 트랜스포즈가 가능한 가중치 셀 및 이의 어레이
US11074982B2 (en) Memory configured to perform logic operations on values representative of sensed characteristics of data lines and a threshold data value
US20240347111A1 (en) Verifying Or Reading A Cell In An Analog Neural Memory In A Deep Learning Artificial Neural Network
TWI834595B (zh) 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備
US11144824B2 (en) Algorithms and circuitry for verifying a value stored during a programming operation of a non-volatile memory cell in an analog neural memory in deep learning artificial neural network
CN112447229B (zh) 执行乘法累加运算的非易失性存储器件
US10783963B1 (en) In-memory computation device with inter-page and intra-page data circuits
TWI743510B (zh) 在記憶體系統中執行神經讀取操作的方法及其記憶體系統
US11138497B2 (en) In-memory computing devices for neural networks
KR20210134500A (ko) 메모리 내 데이터 판독을 위한 디바이스 및 방법
US11455371B2 (en) Computation circuit for performing vector-matrix multiplication and semiconductor device including the computation circuit
KR102716444B1 (ko) Mac 연산 동작을 수행하는 비휘발성 메모리 장치
KR102448396B1 (ko) 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크
KR102427975B1 (ko) 트랜지스터로 가중치를 조절할 수 있는 컨덕턴스 기반 순차 행렬 곱셈 뉴럴 네트워크
KR102511526B1 (ko) 하드웨어 기반 인공 신경망 제공 장치
JP7209068B1 (ja) 半導体記憶装置
JP7480391B2 (ja) インメモリコンピューティングのための記憶装置
US20230147403A1 (en) Hardware-based artificial neural network device
KR102365470B1 (ko) 트랜지스터-커패시터 쌍으로 가중치를 조절할 수 있는 커패시턴스 기반 순차 행렬 곱셈 뉴럴 네트워크
US20220156556A1 (en) Spiking neural network circuit
KR20220133005A (ko) 인공 신경망 소자 및 이의 동작 방법
KR20210089989A (ko) 컨덕턴스와 펄스 폭으로 가중치를 조절할 수 있는 준 벡터 행렬 곱셈 뉴럴 네트워크

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180523

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200310

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210210

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210216

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210217

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

Patent event code: PG17011E01I

Patent event date: 20210914

Comment text: Request for Publication of Correction

Publication date: 20210917