KR20210032036A - 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크 - Google Patents

가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크 Download PDF

Info

Publication number
KR20210032036A
KR20210032036A KR1020190113236A KR20190113236A KR20210032036A KR 20210032036 A KR20210032036 A KR 20210032036A KR 1020190113236 A KR1020190113236 A KR 1020190113236A KR 20190113236 A KR20190113236 A KR 20190113236A KR 20210032036 A KR20210032036 A KR 20210032036A
Authority
KR
South Korea
Prior art keywords
neural network
capacitance
bit line
based neural
bit width
Prior art date
Application number
KR1020190113236A
Other languages
English (en)
Other versions
KR102448396B1 (ko
Inventor
유인경
황현상
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020190113236A priority Critical patent/KR102448396B1/ko
Publication of KR20210032036A publication Critical patent/KR20210032036A/ko
Application granted granted Critical
Publication of KR102448396B1 publication Critical patent/KR102448396B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/401—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells
    • G11C11/402—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells with charge regeneration individual to each memory cell, i.e. internal refresh
    • G11C11/4023—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells with charge regeneration individual to each memory cell, i.e. internal refresh using field effect transistors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/401—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells
    • G11C11/4063—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing or timing
    • G11C11/407—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing or timing for memory cells of the field-effect type
    • G11C11/409—Read-write [R-W] circuits 
    • G11C11/4094—Bit-line management or control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크는, 워드 라인, 비트 라인, 및 커패시터와 연결되는 트랜지스터와, 트랜지스터와 연결되는 커패시터와, 커패시터와 연결되는 플레이트를 포함하되, 비트 라인은 펄스 발진기와 연결되고, 워드 라인은 비트 라인과 직교하여 배치된다.

Description

가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크{CAPACITANCE-BASED NEURAL NETWORK WITH FLEXIBLE WEIGHT BIT-WIDTH}
본 발명은 뉴럴 네트워크에 관한 것으로서, 보다 상세하게는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크에 관한 것이다.
모바일용 뉴럴 프로세서는 학습을 서버나 컴퓨터로 수행하고 학습결과를 모바일 뉴럴 프로세서에 저장하여 추론(inference)을 수행한다. 이 때 뉴럴 프로세서의 가중치에 저장되는 값은 멀티레벨이 되는 것이 바람직하나 멀티레벨 값에 한계가 있어서 학습을 수행한 후 전지 작업(pruning), 데이터 압축 등의 과정을 거쳐 작은 비트폭(small bit-width)화 한 다음 그 값을 모바일 뉴럴 프로세서 가중치로 저장한다. 이 가중치는 불휘발성 메모리 또는 휘발성 메모리에 저장할 수 있다.
서버용으로는 Google의 TPU(Tensor Processing Unit)가 있는데 가중치 값을 DRAM에 저장한 후 페치(fetch)하여 행렬 곱셈부(matrix multiply unit, MMU)로 보낸다. 출력(output) 계산 결과는 DRAM에 저장된 새로운 가중치 값과 함께 다시 행렬 곱셈부 입력(input)으로 보내어 최종 출력(output) 결과가 나올 때까지 순환시킨다.
가중치를 불휘발성 메모리에 저장하여 사용하는 경우에는 추론 속도가 빠른 장점이 있으나 은닉층(hidden layer)을 모두 제작해야 하므로 회로 오버헤드(circuit overhead)가 증가하는 단점이 있다. Google의 TPU같은 경우는 가중치 정보를 뉴럴 네트워크 외부에 저장하고, 동일한 뉴럴 네트위크를 다시 사용하면서 순차적으로 계산하기 때문에 추론 속도는 감소하지만 회로 오버헤드를 줄일 수 있다.
커패시턴스 기반 행렬 곱셈(matrix multiplication)은 커패시턴스를 가중치로 사용한다. 가중치를 결정하기 위해 커패시터들을 그룹으로 묶거나 커패시터의 크기를 바꾸는 방법이 있다.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
본 발명은 인공지능 학습에서 학습결과를 수행하기 위한 가중치 조절 방법에 관한 뉴럴 네트워크 구성 및 작동 원리이다
가중치 셀을 하드웨어를 이용하여 멀티레벨로 제작한다는 것은 물리적 한계가 있기 때문에, 소프트웨어에서 사용하는 가중치 비트폭(weight bit-width)을 따라갈 수 없다. 예를 들어서 16 비트폭의 멀티레벨, 즉, 65,536 저항 레벨을 갖는 저항 메모리 소재는 현재로서는 구현하기 어렵다. 따라서 가중치 값을 소프트웨어만큼 탄력적으로 입력하면서 행렬 곱셈이 가능한 행렬 곱셈부의 구조와 작동 방법을 고안해야 한다.
커패시터의 크기를 바꾸는 방법은 여러 크기의 커패시터를 제작한 후 필요한 크기를 선택하는 방법이고 커패시터를 묶는 방법은 여러 커패시터를 동시에 작동하는 방법이다. 이러한 경우 회로가 복잡해지고 특히 비트 라인 커패시턴스(bit line capacitance) 같은 기생 커패시턴스(parasitic capacitance)의 영향을 받는다. 또한, 은닉층을 필요한 만큼 제작하는 것이 칩(chip) 크기에 제약을 주는 또 하나의 문제가 된다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크는, 워드 라인, 비트 라인, 및 커패시터와 연결되는 트랜지스터와; 상기 트랜지스터와 연결되는 커패시터와; 상기 커패시터와 연결되는 플레이트를 포함하되, 상기 비트 라인은 펄스 발진기(pulse generator)와 연결되고, 상기 워드 라인은 상기 비트 라인과 직교하여 배치된다.
상기 워드 라인과 상기 비트 라인에 인가되는 전압은 펄스 전압이고, 상기 비트 라인에 상기 펄스 전압을 인가하는 시간에 따라 가중치가 조절될 수 있다.
상기 비트 라인에 인가되는 전압은 상기 커패시터 플레이트(plate)에 상시 인가되는 전압의 두배 이상일 수 있다.
상기 비트 라인과 상기 펄스 발진기 사이에 배치되는 다이오드를 더 포함할 수 있다.
상기 비트 라인의 출력과 연결되는 선택 트랜지스터를 더 포함할 수 있다.
상기 선택 트랜지스터의 그라운드에 해당하는 P웰(p-well)을 상기 다이오드와 상기 펄스 발진기 사이에 연결하는 배선을 더 포함할 수 있다.
본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크는, 워드 라인, 비트 라인, 및 커패시터와 연결되는 트랜지스터와; 상기 트랜지스터와 연결되는 커패시터를 포함하되, 상기 비트 라인의 입력은 펄스 발진기(pulse generator)와 연결되고 출력은 활성화 소자와 연결된다.
상기 워드 라인은 상기 비트 라인과 직교하여 배치될 수 있다.
상기 활성화 소자는, 강유전체 트랜지스터, 양극 저항 스위치(bipolar resistive switch), 트랜지스터, 및 인버터를 포함할 수 있다.
상기 비트 라인과 상기 펄스 발진기 사이에 배치되는 다이오드를 더 포함할 수 있다.
상기 비트 라인과 상기 활성화 소자 사이에 배치되는 선택 트랜지스터를 더 포함할 수 있다.
본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크는, 워드 라인, 비트 라인, 및 커패시터와 연결되는 트랜지스터와; 상기 트랜지스터와 연결되는 커패시터를 포함하되, 상기 비트 라인은 펄스 발진기(pulse generator)와 연결되고, 상기 워드 라인은 상기 비트 라인과 직교하여 배치되는 가중치 셀들을 포함한다.
상기 가중치 셀들의 워드 라인별로 순차적으로 게이트 전압을 인가하여 순차적으로 행렬 곱셈(Matrix Multiplication)을 수행할 수 있다.
상기 행렬 곱셈의 출력 정보를 차기 은닉층의 입력 정보로 사용하여 행렬 곱셈을 수행할 수 있다.
상기 행렬 곱셈을 반복적으로 수행한 결과에 대한 반복 횟수 정보, 가중치 정보, 입력 정보, 출력 정보 및 은닉층 정보를 저장하는 상기 뉴럴 네트워크 외부의 저장 매체를 더 포함할 수 있다.
상기 비트 라인과 상기 펄스 발진기 사이에 배치되는 다이오드를 더 포함할 수 있다.
상기 가중치 셀들의 비트 라인의 출력과 연결되는 선택 트랜지스터들을 더 포함할 수 있다.
상기 선택 트랜지스터들에 게이트 전압을 인가하되, 상기 선택 트랜지스터들마다 인가하는 시간을 달리하여 인가할 수 있다.
상기 가중치 셀들의 두개 이상의 워드 라인을 선택하여 게이트 전압을 동시에 인가함으로써 순차적으로 행렬 곱셈을 수행할 수 있다.
상기 선택 트랜지스터들과 연결되는 활성화 소자를 더 포함할 수 있다.
이와 같은 본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크는, 가중치와 은닉층 수를 탄력적으로 조절할 수 있으며, 회로 오버헤드를 줄일 수 있고 행렬 곱셈 유닛 칩 크기(matrix multiplication unit chip size)도 최소화할 수 있다.
또한, 뉴럴 네트워크에 사용하는 가중치 정보와 출력 정보, 은닉층 정보를 외부에 저장함으로써, 온-칩 러닝(on-chip learning) 또는 모바일 전용 서비스로 활용이 가능한 준 범용 프로세서의 구현이 가능하다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크를 개략적으로 나타내는 회로도이다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크의 가중치 셀을 개략적으로 나타내는 회로도이다.
도 3은 본 발명의 일 실시예에 따른 뉴럴 네트워크의 가중치 셀 작동 원리를 개략적으로 나타내는 회로도이다.
도 4는 본 발명의 일 실시예에 따른 뉴럴 네트워크 구성을 개략적으로 나타내는 회로도이다.
도 5는 본 발명의 일 실시예에 따른 뉴럴 네트워크의 동작을 설명하기 위한 회로도이다.
위 발명의 배경이 되는 기술 란에 기재된 내용은 오직 본 발명의 기술적 사상에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
아래의 서술에서, 설명의 목적으로, 다양한 실시예들의 이해를 돕기 위해 많은 구체적인 세부 내용들이 제시된다. 그러나, 다양한 실시예들이 이러한 구체적인 세부 내용들 없이 또는 하나 이상의 동등한 방식으로 실시될 수 있다는 것은 명백하다. 다른 예시들에서, 잘 알려진 구조들과 장치들은 다양한 실시예들을 불필요하게 이해하기 어렵게 하는 것을 피하기 위해 블록도로 표시된다.
도면에서, 레이어들, 필름들, 패널들, 영역들 등의 크기 또는 상대적인 크기는 명확한 설명을 위해 과장될 수 있다. 또한, 동일한 참조 번호는 동일한 구성 요소를 나타낸다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 그러나, 만약 어떤 부분이 다른 부분과 "직접적으로 연결되어 있다"고 서술되어 있으면, 이는 해당 부분과 다른 부분 사이에 다른 소자가 없음을 의미할 것이다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 이해될 것이다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.
여기에서, 첫번째, 두번째 등과 같은 용어가 다양한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들을 설명하기 위해 사용될 수 있지만, 이러한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들은 이러한 용어들에 한정되지 않는다. 이러한 용어들은 하나의 소자, 요소, 지역, 레이어, 및/또는 섹션을 다른 소자, 요소, 지역, 레이어, 및 또는 섹션과 구별하기 위해 사용된다. 따라서, 일 실시예에서의 첫번째 소자, 요소, 지역, 레이어, 및/또는 섹션은 다른 실시예에서 두번째 소자, 요소, 지역, 레이어, 및/또는 섹션이라 칭할 수 있다.
"아래", "위" 등과 같은 공간적으로 상대적인 용어가 설명의 목적으로 사용될 수 있으며, 그렇게 함으로써 도면에서 도시된 대로 하나의 소자 또는 특징과 다른 소자(들) 또는 특징(들)과의 관계를 설명한다. 이는 도면 상에서 하나의 구성 요소의 다른 구성 요소에 대한 관계를 나타내는 데에 사용될 뿐, 절대적인 위치를 의미하는 것은 아니다. 예를 들어, 도면에 도시된 장치가 뒤집히면, 다른 소자들 또는 특징들의 "아래"에 위치하는 것으로 묘사된 소자들은 다른 소자들 또는 특징들의 "위"의 방향에 위치한다. 따라서, 일 실시예에서 "아래" 라는 용어는 위와 아래의 양방향을 포함할 수 있다. 뿐만 아니라, 장치는 그 외의 다른 방향일 수 있다 (예를 들어, 90도 회전된 혹은 다른 방향에서), 그리고, 여기에서 사용되는 그런 공간적으로 상대적인 용어들은 그에 따라 해석된다.
여기에서 사용된 용어는 특정한 실시예들을 설명하는 목적이고 제한하기 위한 목적이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다 고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 다른 정의가 없는 한, 여기에 사용된 용어들은 본 발명이 속하는 분야에서 통상적인 지식을 가진 자에게 일반적으로 이해되는 것과 같은 의미를 갖는다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크를 개략적으로 나타내는 회로도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 뉴럴 네트워크(neural network)는 입력 뉴런(10), 출력 뉴런(20), 및 가중치 셀(30)을 포함한다. 시냅스(30) 소자는 입력 뉴런(10)으로부터 수평으로 연장하는 로우 라인(R)(row lines) 및 출력 뉴런(20)으로부터 수직으로 연장하는 컬럼 라인(C)(column lines)의 교차점에 배치될 수 있다. 설명의 편의를 위해 도 1에는 예시적으로 각각 네 개의 입력 뉴런(10) 및 출력 뉴런(20)이 도시되었으나, 본 발명은 이에 한정되지 않는다.
입력 뉴런(10)은 학습 모드(learning mode), 리셋 모드(reset mode), 보정 또는 읽기 모드(reading mode)에서 로우 라인(R)을 통하여 가중치 셀(30)로 전기적 펄스들(pulses)을 전송할 수 있다.
출력 뉴런(20)은 학습 모드 또는 리셋 모드 또는 보정 또는 읽기 모드에서 컬럼 라인(C)을 통하여 가중치 셀(30)로부터 전기적 펄스를 수신할 수 있다.
본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용하기 위하여 가중치를 새롭게 정의한다. 현재까지는 커패시턴스를 기초로 하는 가중치에서 Q=CV(전하량=커패시턴스×전압)를 적용하여 C를 멀티레벨화 했다. 여기서 선형 멀티레벨은 배수 n을 사용하여 C=nCO로 표현할 수 있다. 이 때 기저(ground) 커패시턴스가 되는 CO는 가중치의 해상도(resolution)가 되고 COV는 전하량의 해상도(resolution)가 된다. 여기서 n은 배수 개념에서 횟수(number) 개념으로 전환할 수 있기 때문에 CO를 n회 적용하는 방식을 도입할 수 있다. 따라서 가중치를 n으로 정의할 수 있다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크의 가중치 셀을 개략적으로 나타내는 회로도이다. 도 3은 본 발명의 일 실시예에 따른 뉴럴 네트워크의 가중치 셀 작동 원리를 개략적으로 나타내는 회로도이다.
도 2 및 도 3을 참조하면, 본 발명의 실시예에 따른 뉴럴 네트워크의 가중치 셀은, 워드 라인(WL), 비트 라인(BL), 및 커패시터와 연결되는 트랜지스터와, 트랜지스터와 연결되는 커패시터와, 커패시터와 연결되는 플레이트를 포함하고, 워드 라인은 비트 라인과 직교하여 배치된다.
본 발명의 일 실시예에 따르면, 트랜지스터와 커패시터로 구성된 가중치 셀을 이용하여 커패시터를 반복적으로 충방전하여 일정 시간동안 방전하는 전하량을 출력값으로 한다. 충방전하는 일정 시간(
Figure pat00001
)에 의해 충방전 하는 회수가 결정되므로 가중치는 충방전 시간
Figure pat00002
, 혹은 충방전 회수 n으로 정의할 수 있다. 실시예로서, 가중치는 선택 트랜지스터(SL) 에 인가되는 게이트 전압 펄스의 폭(gate pulse width)에 대응될 수 있다.
본 발명의 일 실시예에 따르면, 입력단에서 펄스 발진기로 비트 라인에 전압 펄스를 인가할 때 상기 선택 트랜지스터(SLj)에는 게이트 전압(VG)이 인가되는 반대 방향으로 펄스 발진기에서 발진하는 전압 펄스를 동일하게 인가할 수 있다.
본 발명의 실시예에 따르면 선택트랜지스터가 NMOS 트랜지스터인 경우, 선택 트랜지스터의 P웰(p-well)을 펄스 발진기와 연결함으로써 발진기로부터 입력되는 펄스 전압이 선택 트랜지스터를 차단(off)시키게 되어 펄스 전압이 활성화 소자로 직접 입력되는 것을 방지할 수 있다. 또 다른 실시예에 따르면, 비트라인에 입력되는 펄스 전압은 선택 트랜지스터에 입력되는 게이트 전압보다 클 수 있다.
본 발명의 일 실시예에 따르면, 비트 라인에 인가되는 전압은 펄스 전압이고, 비트 라인에 펄스 전압을 인가하는 시간에 따라 가중치가 조절될 수 있다. 본 발명의 다른 실시예에 따르면, 워드 라인에 인가되는 전압은 일정한 전압이고, 비트 라인에 인가되는 전압은 입력 신호에 대응하는 펄스 전압일 수 있다. 실시예로서, 비트 라인에 인가되는 전압은 커패시터 플레이트에 상시 인가되는 전압의 두배 이상일 수 있다.
도 4는 본 발명의 일 실시예에 따른 뉴럴 네트워크 구성을 개략적으로 나타내는 회로도이다. 도 5는 본 발명의 일 실시예에 따른 뉴럴 네트워크의 동작을 설명하기 위한 회로도이다.
도 4 및 도 5를 참조하면, 본 발명의 실시예에 따른 뉴럴 네트워크의 가중치 셀은, 워드 라인(WL), 비트 라인(BL), 및 커패시터와 연결되는 트랜지스터와, 트랜지스터와 연결되는 커패시터와, 커패시터와 연결되는 플레이트를 포함하고, 비트 라인의 입력은 펄스 발진기와 연결되고 출력은 활성화 소자와 연결된다. 실시예로서, 워드 라인은 비트 라인과 직교하여 배치될 수 있다. 실시예로서, 본 발명의 실시예에 따른 뉴럴 네트워크의 가중치 셀은 비트 라인과 펄스 발진기 사이에 배치되는 다이오드를 더 포함할 수 있다. 실시예로서, 활성화 소자와 비트라인 사이에 배치되는 선택 트랜지스터를 더 포함할 수 있다. 실시예로서, 선택 트랜지스터의 그라운드가 되는 p웰은 다이오드와 펄스 발진기 사이에 배선으로 연결될 수 있다.
도 4 및 도 5를 참조하면, 본 발명의 실시예에 따른 뉴럴 네트워크는 가중치 셀을 어레이(array)로 구성하고 이를 네트워크 레이어(network layer)로 제작한 다음 가중치 셀 어레이의 행 별로 순차로 작동시키는 동시에 출력 값을 다음 은닉층의 입력 정보로 사용하는 리커런트(recurrent) 혹은 이터레이션(iteration) 방식을 적용한다.
본 발명의 일 실시예에 따르면, 트랜지스터의 비트 라인에는 입력 신호에 대응하는 입력 전압 VPj의 펄스 트레인(pulse train)을 인가하고, 워드 라인에는 행 별로 순차적으로 전압 Vg를 인가하여 행렬 곱셈을 수행한다. 실시예로서, 행을 2개, 3개, 혹은 그 이상으로 동시에 작동시켜 행을 선택한 수 만큼 선형적으로 방전량을 증가시킬 수 있다. 실시예로서, 펄스 발진기와 입력 비트 라인 사이에는 다이오드를 배치할 수 있다. 실시예로서, 활성화 소자와 비트 라인 사이에는 선택 트랜지스터를 배치할 수 있다.
본 발명의 실시예에 따른 뉴럴 네트워크는 방전되는 전하들을 축적하여 일정 값이 넘으면 활성화한다. 실시예로서, 활성화 소자는 강유전체 트랜지스터, 양극 저항 스위치, 트랜지스터, 및 인버터를 포함할 수 있고, 뉴럴 네트워크에서 발생하는 출력 전류들을 집적(integration)하여 임계치 이상에서 활성화 한 전압 신호를 다음 은닉층이나 최종 출력층으로 전달한다. 즉, 뉴럴 네트워크는 행렬 곱셈의 출력 정보를 차기 은닉층의 입력 정보로 사용하여 행렬 곱셈을 수행한다. 실시예로서, 행렬 곱셈을 반복적으로 수행한 결과에 대한 반복 횟수 정보, 가중치 정보, 입력 정보, 출력 정보 및 은닉층 정보를 저장하는 뉴럴 네트워크 외부의 저장 매체를 활용할 수 있다. 강유전체 트랜지스터를 작동시키기 위하여 플레이트에 인가하는 상시 전압은 강유전체를 분극시키는 보자(coercive) 전압보다 클 수 있다.
실시예로서, 입력 펄스 지연(delay) 동안, 즉, 입력 전압이 0V가 되는 동안에 방전(discharging) 전하들이 펄스 발진기로 역류하지 않도록 펄스 발진기와 비트 라인 사이에는 다이오드를 배치할 수 있다.
실시예로서, 펄스 발진기에서 전압 펄스를 비트라인으로 인가하는 동안 이 펄스들이 활성화 소자로 직접 전송되지 않도록, 펄스 발진기에서 비트 라인으로 입력되는 동일한 전압 펄스를 각각의 선택 트랜지스터에 인가하되, 선택 트랜지스터 게이트에 인가하는 전압 방향과 반대 방향으로 전압 펄스를 인가할 수 있다. 즉, 역방향 전압 펄스를 인가할 수 있다.
실시예로서, 선택 트랜지스터에 인가하는 역방향 펄스의 전압은 선택 트랜지스터 게이트에 인가하는 전압보다 클 수 있다.
실시예로서, 선택 트랜지스터의 게이트 전압과 반대되는 전압을 자동으로 인가하기 위하여, 선택 트랜지스터의 그라운드에 해당하는 p웰을 다이오드와 펄스 발진기 사이에 배선으로 연결할 수 있다.
전술한 바와 같은 본 발명의 실시예들에 따르면, 본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀은, 가중치와 은닉층 수를 탄력적으로 조절할 수 있으며, 회로 오버헤드를 줄일 수 있고 행렬 곱셈 유닛 칩 크기(matrix multiplication unit chip size)도 최소화할 수 있다. 또한, 뉴럴 네트워크에 사용하는 가중치 정보와 출력 정보, 은닉층 정보를 외부에 저장함으로써, 온-칩 러닝(on-chip learning) 또는 모바일 전용 서비스로 활용이 가능한 준 범용 프로세서의 구현이 가능하다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
10: 입력 뉴런 20: 출력 뉴런
30: 가중치 셀

Claims (20)

  1. 워드 라인, 비트 라인, 및 커패시터와 연결되는 트랜지스터;
    상기 트랜지스터와 연결되는 커패시터; 및
    상기 커패시터와 연결되는 플레이트를 포함하되,
    상기 비트 라인은 펄스 발진기(pulse generator)와 연결되고, 상기 워드 라인은 상기 비트 라인과 직교하여 배치되는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  2. 제 1항에 있어서,
    상기 워드 라인과 상기 비트 라인에 인가되는 전압은 펄스 전압이고, 상기 비트 라인에 상기 펄스 전압을 인가하는 시간에 따라 가중치가 조절되는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  3. 제 1항에 있어서,
    상기 비트 라인에 인가되는 전압은 상기 커패시터 플레이트(plate)에 상시 인가되는 전압의 두배 이상인 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  4. 제 1항에 있어서,
    상기 비트 라인과 상기 펄스 발진기 사이에 배치되는 다이오드를 더 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  5. 제 4항에 있어서,
    상기 비트 라인의 출력과 연결되는 선택 트랜지스터를 더 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  6. 제 5항에 있어서,
    상기 선택 트랜지스터의 그라운드에 해당하는 P웰(p-well)을 상기 다이오드와 상기 펄스 발진기 사이에 연결하는 배선을 더 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  7. 워드 라인, 비트 라인, 및 커패시터와 연결되는 트랜지스터; 및
    상기 트랜지스터와 연결되는 커패시터를 포함하되,
    상기 비트 라인의 입력은 펄스 발진기(pulse generator)와 연결되고 출력은 활성화 소자와 연결되는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  8. 제 7항에 있어서,
    상기 워드 라인은 상기 비트 라인과 직교하여 배치되는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  9. 제 7항에 있어서,
    상기 활성화 소자는,
    강유전체 트랜지스터, 양극 저항 스위치(bipolar resistive switch), 트랜지스터, 및 인버터를 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  10. 제 7항에 있어서,
    상기 비트 라인과 상기 펄스 발진기 사이에 배치되는 다이오드를 더 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  11. 제 7항에 있어서,
    상기 비트 라인과 상기 활성화 소자 사이에 배치되는 선택 트랜지스터를 더 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  12. 워드 라인, 비트 라인, 및 커패시터와 연결되는 트랜지스터; 및
    상기 트랜지스터와 연결되는 커패시터를 포함하되,
    상기 비트 라인은 펄스 발진기(pulse generator)와 연결되고, 상기 워드 라인은 상기 비트 라인과 직교하여 배치되는 가중치 셀들을 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  13. 제 12항에 있어서,
    상기 가중치 셀들의 워드 라인별로 순차적으로 게이트 전압을 인가하여 순차적으로 행렬 곱셈(Matrix Multiplication)을 수행하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  14. 제 13항에 있어서,
    상기 행렬 곱셈의 출력 정보를 차기 은닉층의 입력 정보로 사용하여 행렬 곱셈을 수행하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  15. 제 14항에 있어서,
    상기 행렬 곱셈을 반복적으로 수행한 결과에 대한 반복 횟수 정보, 가중치 정보, 입력 정보, 출력 정보 및 은닉층 정보를 저장하는 상기 뉴럴 네트워크 외부의 저장 매체를 더 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  16. 제 12항에 있어서,
    상기 비트 라인과 상기 펄스 발진기 사이에 배치되는 다이오드를 더 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  17. 제 12항에 있어서,
    상기 가중치 셀들의 비트 라인의 출력과 연결되는 선택 트랜지스터들을 더 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  18. 상기 17항에 있어서,
    상기 선택 트랜지스터들에 게이트 전압을 인가하되, 상기 선택 트랜지스터들마다 인가하는 시간을 달리하여 인가하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  19. 상기 12항에 있어서,
    상기 가중치 셀들의 두개 이상의 워드 라인을 선택하여 게이트 전압을 동시에 인가함으로써 순차적으로 행렬 곱셈을 수행하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
  20. 제 17항에 있어서,
    상기 선택 트랜지스터들과 연결되는 활성화 소자를 더 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크.
KR1020190113236A 2019-09-16 2019-09-16 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크 KR102448396B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190113236A KR102448396B1 (ko) 2019-09-16 2019-09-16 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190113236A KR102448396B1 (ko) 2019-09-16 2019-09-16 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크

Publications (2)

Publication Number Publication Date
KR20210032036A true KR20210032036A (ko) 2021-03-24
KR102448396B1 KR102448396B1 (ko) 2022-09-27

Family

ID=75257067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190113236A KR102448396B1 (ko) 2019-09-16 2019-09-16 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크

Country Status (1)

Country Link
KR (1) KR102448396B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220168681A (ko) * 2021-06-17 2022-12-26 서강대학교산학협력단 인공신경망 연산 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160018225A (ko) * 2014-08-08 2016-02-17 에스케이하이닉스 주식회사 반도체 메모리 장치
KR20180124375A (ko) * 2017-05-11 2018-11-21 포항공과대학교 산학협력단 가중치 소자 및 이의 작동 방법
KR20190008912A (ko) * 2016-05-17 2019-01-25 실리콘 스토리지 테크놀로지 인크 비휘발성 메모리 어레이를 사용하는 딥러닝 신경망 분류기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160018225A (ko) * 2014-08-08 2016-02-17 에스케이하이닉스 주식회사 반도체 메모리 장치
KR20190008912A (ko) * 2016-05-17 2019-01-25 실리콘 스토리지 테크놀로지 인크 비휘발성 메모리 어레이를 사용하는 딥러닝 신경망 분류기
KR20180124375A (ko) * 2017-05-11 2018-11-21 포항공과대학교 산학협력단 가중치 소자 및 이의 작동 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220168681A (ko) * 2021-06-17 2022-12-26 서강대학교산학협력단 인공신경망 연산 장치

Also Published As

Publication number Publication date
KR102448396B1 (ko) 2022-09-27

Similar Documents

Publication Publication Date Title
US11361216B2 (en) Neural network circuits having non-volatile synapse arrays
US20210142157A1 (en) Spin orbit torque based electronic neuron
US10534840B1 (en) Multiplication using non-volatile memory cells
US11157810B2 (en) Resistive processing unit architecture with separate weight update and inference circuitry
CN111581141B (zh) 存储器装置及其操作方法
TWI751403B (zh) 具有非揮發性突觸陣列的神經網路電路及神經晶片
TWI699711B (zh) 記憶體裝置及其製造方法
US11699721B2 (en) Integrate-and-fire neuron circuit using single-gated feedback field-effect transistor
Obradovic et al. A multi-bit neuromorphic weight cell using ferroelectric FETs, suitable for SoC integration
CN115862708A (zh) 忆阻器阵列的操作方法、数据处理装置
WO2022134841A1 (en) USING FERROELECTRIC FIELD-EFFECT TRANSISTORS (FeFETs) AS CAPACITIVE PROCESSING UNITS FOR IN-MEMORY COMPUTING
KR102448396B1 (ko) 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크
KR102365470B1 (ko) 트랜지스터-커패시터 쌍으로 가중치를 조절할 수 있는 커패시턴스 기반 순차 행렬 곱셈 뉴럴 네트워크
US11062773B2 (en) Near-memory computation system for analog computing
KR102365468B1 (ko) 펄스 횟수를 입력 신호에 대응시키고 전압으로 가중치를 조절하는 커패시턴스 기반 행렬 곱셈 뉴럴 네트워크
KR102351376B1 (ko) 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀
KR102427975B1 (ko) 트랜지스터로 가중치를 조절할 수 있는 컨덕턴스 기반 순차 행렬 곱셈 뉴럴 네트워크
Milo et al. Low-energy inference machine with multilevel HfO 2 RRAM arrays
CN111243648A (zh) 闪存单元、闪存模块以及闪存芯片
KR20210089989A (ko) 컨덕턴스와 펄스 폭으로 가중치를 조절할 수 있는 준 벡터 행렬 곱셈 뉴럴 네트워크
KR102511526B1 (ko) 하드웨어 기반 인공 신경망 제공 장치
US20240202512A1 (en) Non-volatile memory-based activation function
JP7480391B2 (ja) インメモリコンピューティングのための記憶装置
US20230147403A1 (en) Hardware-based artificial neural network device
WO2024131362A1 (en) Non-volatile memory-based activation function

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant