WO2020218673A1 - 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀 - Google Patents

가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀 Download PDF

Info

Publication number
WO2020218673A1
WO2020218673A1 PCT/KR2019/007780 KR2019007780W WO2020218673A1 WO 2020218673 A1 WO2020218673 A1 WO 2020218673A1 KR 2019007780 W KR2019007780 W KR 2019007780W WO 2020218673 A1 WO2020218673 A1 WO 2020218673A1
Authority
WO
WIPO (PCT)
Prior art keywords
transistor
weight
word line
selection transistor
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/007780
Other languages
English (en)
French (fr)
Inventor
유인경
김재준
황현상
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
POSTECH Academy-Industry Foundation
Original Assignee
POSTECH Academy-Industry Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by POSTECH Academy-Industry Foundation filed Critical POSTECH Academy-Industry Foundation
Publication of WO2020218673A1 publication Critical patent/WO2020218673A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Definitions

  • the present invention relates to a neural network, and more particularly, to a weight cell that can flexibly apply a weight bit width.
  • the mobile neural processor performs learning by a server or computer and stores the learning result in the mobile neural processor to perform inference.
  • the value stored in the weight of the neural processor is preferably multilevel, but there is a limit to the multilevel value, so after learning, pruning, data compression, etc. width) and store the value as the mobile neural processor weight.
  • This weight can be stored in nonvolatile memory or volatile memory.
  • TPU Tensor Processing Unit
  • MMU matrix multiply unit
  • the output calculation result is sent back to the input of the matrix multiplication unit along with the new weight value of the DRAM and cycled until the final output result is obtained.
  • the matrix multiplier used at this time is a device composed of logic.
  • the present invention is a neural network configuration and operation principle for a weight control method for performing learning results in artificial intelligence learning.
  • a weight cell to which a weight bit width can be flexibly applied includes a first selection transistor connected to a first word line, a first bit line, and a second selection transistor. ; A second selection transistor connected to a second word line, a second bit line, and the first selection transistor; And a PMOS transistor connected to the second bit line and an input, wherein the first bit line is connected to an output, the second bit line is connected to the input through the PMOS transistor, and the first word line is It is disposed orthogonal to the first bit line, and the second word line is disposed orthogonal to the first and second bit lines.
  • the first selection transistor may include a resolution control transistor including a CMOS transistor, an ion-based transistor, an oxide transistor, a floating gate (FG) transistor, a ferroelectric transistor, and a TFT.
  • a resolution control transistor including a CMOS transistor, an ion-based transistor, an oxide transistor, a floating gate (FG) transistor, a ferroelectric transistor, and a TFT.
  • Trans-conductance of the first selection transistor may be equal to or less than that of the second selection transistor.
  • a voltage applied to the first word line may be a voltage pulse, and an input applied to the second word line and the second bit line may be a constant voltage.
  • the input applied to the first word line and the second bit line may be a voltage pulse, and the voltage pulse applied to the first word line may be a voltage pulse synchronized according to a voltage pulse rate applied to the second bit line.
  • a voltage applied to the first word line and the second word line may be a constant voltage, and an input applied to the second bit line may be a voltage pulse.
  • a weighting cell to which a weighting bit width can be flexibly applied includes: a first selection transistor connected to a first word line, a first bit line, and a second selection transistor; A second selection transistor connected to a second word line, a second bit line, and the first selection transistor; A diode connected to the first selection transistor, wherein the first bit line is connected to an output, the second bit line is connected to an input, the first word line is disposed orthogonal to the second word line, , The diode is disposed between the first selection transistor and the first bit line.
  • the first selection transistor may include a resolution control transistor.
  • the first selection transistor may include a CMOS transistor, an ion-based transistor, an oxide transistor, a floating gate (FG) transistor, a ferroelectric transistor, and a TFT.
  • the second selection transistor may include a CMOS transistor.
  • Trans-conductance of the first selection transistor may be equal to or less than that of the second selection transistor.
  • the input voltage applied to the input may be a DC voltage, and the voltage applied to the first word line may be a voltage pulse for determining a weight.
  • the voltage applied to the second bit line may be a voltage pulse for determining a weight, and the voltage applied to the first word line may be a DC voltage.
  • a weighting cell to which a weighting bit width can be flexibly applied includes: a first selection transistor connected to a first word line, a first bit line, and a second selection transistor; A second selection transistor connected to a second word line, a second bit line, and the first selection transistor; A PMOS transistor connected to the second bit line and an input; A diode connected to the first selection transistor, wherein the first bit line is connected to an output, the second bit line is connected to the input through the PMOS transistor, and the first word line is connected to the second It is disposed orthogonal to a word line, and the diode is disposed between the first selection transistor and the first bit line.
  • the PMOS transistor may include a switch.
  • the first selection transistor may include a CMOS transistor, an ion-based transistor, an oxide transistor, a floating gate (FG) transistor, a ferroelectric transistor, and a TFT.
  • a weighting cell to which a weighting bit width can be flexibly applied includes: a resolution control transistor connected to a first word line, an output line, and a selection transistor; A second word line, an input line, and a selection transistor connected to the resolution control transistor, wherein the second word line is disposed orthogonal to the input line.
  • the voltage applied to the input line may be a DC voltage
  • the voltage applied to the first word line may be a voltage pulse for determining a weight.
  • the voltage applied to the input line may be a voltage pulse for determining a weight, and the voltage applied to the first word line may be a DC voltage.
  • an external input voltage is applied to one transistor word line to determine the trans-conductance, and the other transistor continuously inputs a voltage pulse as many times as the weight corresponding to the voltage and conductance.
  • the overhead of the circuit will increase, so that vector matrix multiplication is sequentially performed using a common word line and a common bit line.
  • the activated output goes through the hidden layer and cycles back to the input of the hidden layer until the last output comes out.
  • FIG. 1 is a circuit diagram schematically showing a neural network according to an embodiment of the present invention.
  • FIG. 2 is a circuit diagram schematically illustrating a principle of a weight cell of a neural network according to an embodiment of the present invention.
  • FIG. 3 is a circuit diagram schematically illustrating a weight cell of a neural network according to an embodiment of the present invention.
  • FIG. 4 is a circuit diagram schematically showing a neural network configuration according to an embodiment of the present invention.
  • FIG. 5 is a circuit diagram schematically illustrating a weight cell of a neural network according to another embodiment of the present invention.
  • FIG. 6 is a circuit diagram schematically showing a neural network configuration according to another embodiment of the present invention.
  • FIG. 7 to 9 are circuit diagrams for explaining the operation of a neural network according to an embodiment of the present invention.
  • first, second, etc. may be used to describe various elements, elements, regions, layers, and/or sections, but such elements, elements, regions, layers, and/or Or the sections are not limited to these terms. These terms are used to distinguish one element, element, region, layer, and/or section from another element, element, region, layer, and/or section. Accordingly, a first element, element, region, layer, and/or section in one embodiment may be referred to as a second element, element, region, layer, and/or section in another embodiment.
  • FIG. 1 is a circuit diagram schematically showing a neural network according to an embodiment of the present invention.
  • a neural network includes an input neuron 10, an output neuron 20, and a weighting element 30.
  • the synaptic (30) element is to be disposed at the intersection of row lines (R) extending horizontally from the input neuron 10 and column lines (C) extending vertically from the output neuron (20). I can.
  • row lines (R) extending horizontally from the input neuron 10
  • column lines (C) extending vertically from the output neuron (20).
  • I can.
  • four input neurons 10 and output neurons 20 are respectively illustrated in FIG. 1 by way of example, but the present invention is not limited thereto.
  • the input neuron 10 transmits electrical pulses to the weighting element 30 through the low line R in a learning mode, a reset mode, a correction or reading mode. I can.
  • the output neuron 20 may transmit an electrical pulse to the weighting element 30 through the column line C during the learning mode, the reset mode, or the correction, and the weighting element 30 through the column line C in the read mode. It can receive electrical pulses from.
  • a weight is newly defined.
  • Go which is the ground conductance, becomes the resolution of the weight, and GoV becomes the resolution of the current.
  • the input, weight, and output of a neural network may be expressed as a matrix as shown in Equation 1.
  • FIG. 2 is a circuit diagram schematically illustrating a principle of a weight cell of a neural network according to an embodiment of the present invention.
  • a gate pulse mode and a bit line pulse mode may be applied.
  • a word line may be produced for each weight cell or a bit line may be produced for each weight cell, but in this case, the circuit overhead increases. Therefore, the advantage as a neural chip may disappear. Therefore, it is desirable to trade-off so that sequential multiplication can be performed in a neural network.
  • a weight cell consisting of a pair of a base conductance control transistor (or resolution control transistor) that determines Go and a selection transistor that selects the weight cell.
  • FIG. 3 is a circuit diagram schematically illustrating a weight cell of a neural network according to an embodiment of the present invention.
  • FIG. 4 is a circuit diagram schematically showing a neural network configuration according to an embodiment of the present invention.
  • the weight cell 1 of the neural network includes a first selection transistor 10, a second selection transistor 20, and a PMOS transistor 25.
  • the first selection transistor 10 is connected to the first word line 11, the first bit line 12 and the second selection transistor 20, and the second selection transistor 20 is a second word line 21 ,
  • the second bit line 22 and the first selection transistor 10 are connected, and the PMOS transistor 25 is connected to the second bit line 22 and the input 30.
  • the first bit line 12 is connected to the output 40 and the second bit line 22 is connected to the input 30 through the PMOS transistor 25.
  • the first word line 11 is disposed orthogonal to the first bit line 12, and the second word line 21 is disposed orthogonal to the first word line 11 and the second bit line 22.
  • the PMOS transistor 25 can operate as a switch.
  • the first selection transistor 10 may control the weight resolution and may have a multi-level value.
  • the first selection transistor 10 is an ion-based transistor using transconductance by forming a channel by migrating a ferroelectric transistor (or TFT) using conductance generated on the ferroelectric surface due to polarization of the ferroelectric. based) transistor (or TFT), oxide transistor (or TFT) using transconductance by using an oxide semiconductor as a channel material, CMOS transistor (or TFT) using transconductance by using doped Si as a channel, and floating gate A resolution control transistor including a nonvolatile transistor using (gate) may be included.
  • the transconductance of the first selection transistor 10 may be equal to or less than the transconductance of the second selection transistor 20.
  • a voltage applied to the first word line 11 may be a voltage pulse, and a voltage applied to the second word line 21 and the second bit line 22 may be a constant voltage.
  • the voltage applied to the first word line 11 and the second bit line 22 is a voltage pulse, and the voltage pulse applied to the first word line 11 is applied to the second bit line 22. It may be a voltage pulse synchronized according to the applied voltage pulse rate.
  • a voltage applied to the first word line 11 and the second word line 21 may be a constant voltage
  • a voltage applied to the second bit line 22 may be a voltage pulse.
  • 5 is a circuit diagram schematically illustrating a weight cell of a neural network according to another embodiment of the present invention.
  • 6 is a circuit diagram schematically showing a neural network configuration according to another embodiment of the present invention.
  • a weight cell 2 of a neural network includes a first selection transistor 10, a second selection transistor 20 and a diode 50.
  • the first selection transistor 10 is connected to the first word line 11, the first bit line 12 and the second selection transistor 20, and the second selection transistor 20 is a second word line 21 ,
  • the second bit line 22 and the first selection transistor 10 are connected, and the diode 50 is connected to the first selection transistor 10.
  • the first bit line 12 is connected to the output 40 line, and the second bit line 22 is connected to the input 30 line.
  • the first word line 11 is disposed orthogonal to the second word line 21, and the diode 50 is disposed between the first selection transistor 10 and the first bit line 12.
  • the first selection transistor 10 may include a resolution control transistor.
  • the first selection transistor 10 may include a CMOS transistor.
  • the second selection transistor 20 may include a CMOS transistor.
  • the transconductance of the first selection transistor 10 may be equal to or less than the transconductance of the second selection transistor 20.
  • the voltage applied to the input 30 line may be a DC voltage
  • the voltage applied to the first word line 11 may be a voltage pulse determining a weight
  • the voltage applied to the second bit line 22 may be a voltage pulse for determining a weight
  • the voltage applied to the first word line 11 may be a DC voltage
  • a weight cell 2 of a neural network includes a resolution control transistor 10 and a selection transistor 20.
  • the resolution control transistor 10 is connected to the first word line 11, the output line 12 and the selection transistor 20, and the selection transistor 20 is a second word line 21, an input line 22, and It is connected to the resolution control transistor 10.
  • the first bit line 12 is connected to the output 40 line, and the second bit line 22 is connected to the input 30 line.
  • the second word line 21 is disposed orthogonal to the input line 22.
  • a voltage applied to the input line 22 may be a DC voltage, and may be a voltage pulse that determines a weight applied to the first word line 11.
  • a voltage applied to the input line 22 may be a voltage pulse for determining a weight, and a voltage applied to the first word line 11 may be a DC voltage.
  • FIG. 7 to 9 are circuit diagrams for explaining the operation of a neural network according to an embodiment of the present invention.
  • a neural network fetches a weight from an external storage medium, converts it into a number of pulses, and applies it to a word line of a selection transistor.
  • the external storage medium may include at least one of SRAM, DRAM, RRAM, and storage.
  • the neural network according to an embodiment of the present invention sequentially applies weights as shown in FIGS. 7 to 9 for effective vector matrix multiplication (VMM), and pulses in the output of sequential vector matrix multiplication (Sequential VMM). This value is activated by integrating them, and the activated information is temporarily stored in an external storage medium.
  • VMM effective vector matrix multiplication
  • Sequential VMM sequential vector matrix multiplication
  • the neural network according to an embodiment of the present invention is activated when sequential vector matrix multiplication (Sequential VMM) is completed, and transmits output information and each cell weight information to be transmitted to the next layer back to the input of the neural network. The process is repeated (or cycled) until the final output is reached. In on-chip learning, back-propagation can be applied.
  • Sequential VMM sequential vector matrix multiplication
  • a semi-general-purpose processor that can be used as an on-chip learning or mobile-only service.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)

Abstract

본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀은, 제1 워드 라인, 제1 비트 라인, 및 제2 선택 트랜지스터와 연결되는 제1 선택 트랜지스터와, 제2 워드 라인, 제2 비트 라인 및 제1 선택 트랜지스터와 연결되는 제2 선택 트랜지스터와, 제2 비트라인 및 입력과 연결되는 PMOS 트랜지스터를 포함하되, 제1 비트 라인은 출력과 연결되고, 제2 비트 라인은 PMOS 트랜지스터를 통해 입력과 연결되며, 제1 워드 라인은 제1 비트 라인과 직교하여 배치되고, 제2 워드 라인은 제1 워드 라인 및 제2 비트 라인과 직교하여 배치된다.

Description

가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀
본 발명은 뉴럴 네트워크에 관한 것으로서, 보다 상세하게는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀에 관한 것이다.
모바일용 뉴럴 프로세서는 학습을 서버나 컴퓨터로 수행하고 학습결과를 모바일 뉴럴 프로세서에 저장하여 추론(inference)을 수행한다. 이 때 뉴럴 프로세서의 가중치에 저장되는 값은 멀티레벨이 되는 것이 바람직하나 멀티레벨 값에 한계가 있어서 학습을 수행한 후 전지 작업(pruning), 데이터 압축 등의 과정을 거쳐 작은 비트폭(small bit-width)화 한 다음 그 값을 모바일 뉴럴 프로세서 가중치로 저장한다. 이 가중치는 불휘발성 메모리 또는 휘발성 메모리에 저장할 수 있다.
서버용으로는 Google의 TPU(Tensor Processing Unit)가 있는데 가중치 값을 DRAM에 저장한 후 페치(fetch)하여 행렬 곱셈부(matrix multiply unit, MMU)로 보낸다. 출력(output) 계산 결과는 DRAM의 새로운 가중치 값과 함께 다시 행렬 곱셈부 입력(input)으로 보내어 최종 출력(output) 결과가 나올 때까지 순환시킨다. 이 때 사용하는 행렬 곱셈부는 로직으로 구성된 소자이다.
가중치를 불휘발성 메모리에 저장하여 사용하는 경우에는 추론 속도가 빠른 장점이 있으나 은닉층(hidden layer)을 모두 제작해야 하므로 회로 오버헤드(circuit overhead)가 증가하는 단점이 있다. Google의 TPU같은 경우는 가중치 정보를 뉴럴 네트워크 외부에 저장하고, 동일한 뉴럴 네트위크를 다시 사용하면서 순차적으로 계산하기 때문에 추론 속도는 감소하지만 회로 오버헤드를 줄일 수 있다.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
본 발명은 인공지능 학습에서 학습결과를 수행하기 위한 가중치 조절 방법에 관한 뉴럴 네트워크 구성 및 작동 원리이다
가중치 소자를 하드웨어를 이용하여 멀티레벨로 제작한다는 것은 물리적 한계가 있기 때문에, 소프트웨어에서 사용하는 가중치 비트폭(weight bit-width)을 따라갈 수 없다. 예를 들어서 16 비트폭의 멀티레벨, 즉, 65,536 저항 레벨을 갖는 저항 메모리 소재는 현재로서는 구현하기 어렵다. 따라서 가중치 값을 소프트웨어만큼 탄력적으로 입력하면서 벡터 행렬 곱셈이 가능한 행렬 곱셈부의 구조와 작동 방법을 고안해야 한다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀은, 제1 워드 라인, 제1 비트 라인, 및 제2 선택 트랜지스터와 연결되는 제1 선택 트랜지스터와; 제2 워드 라인, 제2 비트 라인 및 상기 제1 선택 트랜지스터와 연결되는 제2 선택 트랜지스터와; 상기 제2 비트라인 및 입력과 연결되는 PMOS 트랜지스터를 포함하되, 상기 제1 비트 라인은 출력과 연결되고, 상기 제2 비트 라인은 상기 PMOS 트랜지스터를 통해 상기 입력과 연결되며, 상기 제1 워드 라인은 상기 제1 비트 라인과 직교하여 배치되고, 상기 제2 워드 라인은 상기 제1 워드 라인 및 상기 제2 비트 라인과 직교하여 배치된다.
상기 제1 선택 트랜지스터는 CMOS 트랜지스터, 이온 기반(ion-based) 트랜지스터, 산화물 트랜지스터, 플로팅 게이트(FG) 트랜지스터, 강유전체 트랜지스터 및 TFT를 포함하는 해상도 제어(resolution control) 트랜지스터를 포함할 수 있다.
상기 제1 선택 트랜지스터의 트랜스 컨덕턴스(trans-conductance)는 상기 제2 선택 트랜지스터의 트랜스 컨덕턴스와 같거나 작을 수 있다.
상기 제1 워드 라인에 인가되는 전압은 전압 펄스이고, 상기 제2 워드 라인과 상기 제2 비트 라인에 인가되는 입력은 일정한 전압일 수 있다.
상기 제1 워드 라인과 상기 제2 비트 라인에 인가되는 입력은 전압 펄스이고, 상기 제1 워드 라인에 인가되는 전압 펄스는 상기 제2 비트 라인에 인가되는 전압 펄스 레이트에 맞추어 동기화한 전압 펄스일 수 있다.
상기 제1 워드 라인과 상기 제2 워드 라인에 인가되는 전압은 일정한 전압이고, 상기 제2 비트 라인에 인가되는 입력은 전압 펄스일 수 있다.
본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀은, 제1 워드 라인, 제1 비트 라인, 및 제2 선택 트랜지스터와 연결되는 제1 선택 트랜지스터와; 제2 워드 라인, 제2 비트 라인 및 상기 제1 선택 트랜지스터와 연결되는 제2 선택 트랜지스터와; 상기 제1 선택 트랜지스터와 연결되는 다이오드를 포함하되, 상기 제1 비트 라인은 출력과 연결되고 상기 제2 비트 라인은 입력과 연결되며, 상기 제1 워드 라인은 상기 제2 워드 라인과 직교하여 배치되고, 상기 다이오드는 상기 제1 선택 트랜지스터와 상기 제1 비트 라인 사이에 배치된다.
상기 제1 선택 트랜지스터는 해상도 제어(resolution control) 트랜지스터를 포함할 수 있다.
상기 제1 선택 트랜지스터는 CMOS 트랜지스터, 이온 기반(ion-based) 트랜지스터, 산화물 트랜지스터, 플로팅 게이트(FG) 트랜지스터, 강유전체 트랜지스터 및 TFT를 포함할 수 있다.
상기 제2 선택 트랜지스터는 CMOS 트랜지스터를 포함할 수 있다.
상기 제1 선택 트랜지스터의 트랜스 컨덕턴스(trans-conductance)는 상기 제2 선택 트랜지스터의 트랜스 컨덕턴스와 같거나 작을 수 있다.
상기 입력에 인가되는 입력 전압은 직류 전압이고, 상기 제1 워드 라인에 인가되는 전압은 가중치를 결정하는 전압 펄스일 수 있다.
상기 제2 비트 라인에 인가되는 전압은 가중치를 결정하는 전압 펄스이고, 상기 제1 워드 라인에 인가되는 전압은 직류 전압일 수 있다.
본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀은, 제1 워드 라인, 제1 비트 라인, 및 제2 선택 트랜지스터와 연결되는 제1 선택 트랜지스터와; 제2 워드 라인, 제2 비트 라인 및 상기 제1 선택 트랜지스터와 연결되는 제2 선택 트랜지스터와; 상기 제2 비트라인 및 입력과 연결되는 PMOS 트랜지스터와; 상기 제1 선택 트랜지스터와 연결되는 다이오드를 포함하되, 상기 제1 비트 라인은 출력과 연결되고, 상기 제2 비트 라인은 상기 PMOS 트랜지스터를 통해 상기 입력과 연결되며, 상기 제1 워드 라인은 상기 제2 워드 라인과 직교하여 배치되고, 상기 다이오드는 상기 제1 선택 트랜지스터와 상기 제1 비트 라인 사이에 배치된다.
상기 PMOS 트랜지스터는 스위치를 포함할 수 있다.
상기 제1 선택 트랜지스터는 CMOS 트랜지스터, 이온 기반(ion-based) 트랜지스터, 산화물 트랜지스터, 플로팅 게이트(FG) 트랜지스터, 강유전체 트랜지스터 및 TFT를 포함할 수 있다.
본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀은, 제1 워드 라인, 출력 라인, 및 선택 트랜지스터와 연결되는 해상도 제어(resolution control) 트랜지스터와; 제2 워드 라인, 입력 라인 및 상기 해상도 제어 트랜지스터와 연결되는 선택 트랜지스터를 포함하되, 상기 제2 워드 라인은 상기 입력 라인과 직교하여 배치된다.
상기 입력 라인에 인가되는 전압은 직류 전압이고, 상기 제1 워드 라인에 인가되는 전압은 가중치를 결정하는 전압 펄스일 수 있다.
상기 입력 라인에 인가되는 전압은 가중치를 결정하는 전압 펄스이고, 상기 제1 워드 라인에 인가되는 전압은 직류 전압일 수 있다.
트랜지스터 쌍을 제작하여 하나의 트랜지스터 워드라인에는 외부 입력 전압을 인가하여 트랜스 컨덕턴스(trans-conductance)를 결정하고 다른 트랜지스터에서는 가중치에 해당하는 횟수만큼 전압 펄스(pulse)를 연속적으로 입력하여 전압과 컨턱턴스에 의해 출력으로 나오는 전류 펄스의 횟수를 누적 (integration)한 후 전압으로 변환하여 활성화(activation) 되도록 한다. 이것을 각각 독립적으로 동시에 수행할 경우 회로의 오버헤드가 커질 것이므로 공통 워드 라인(word line)과 공통 비트 라인(bit line)을 사용하여 순차적으로 벡터 행렬 곱셈이 수행되도록 한다. 활성화된 출력은 은닉층을 거쳐서 마지막 출력이 나올 때까지 다시 은닉층의 입력으로 순환시킨다.
이와 같은 본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀은, "출력 (전류 펄스 stream) = 펄스 횟수 x 트랜스 컨덕턴스 x 전압 펄스 = 가중치 x 전압 펄스" 관계를 가지는 하드웨어로 제작하고, 펄스 트레인(pulse train)을 인가함으로써 가중치 비트폭을 탄력적으로 적용할 수 있다.
또한, 뉴럴 네트워크에 사용하는 가중치를 외부에 저장하기도 하고 내부에 저장하기도 함으로써, 온-칩 러닝(on-chip learning) 또는 모바일 전용 서비스로 활용이 가능한 준 범용 프로세서의 구현이 가능하다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크를 개략적으로 나타내는 회로도이다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크의 가중치 셀 원리를 개략적으로 나타내는 회로도이다.
도 3은 본 발명의 일 실시예에 따른 뉴럴 네트워크의 가중치 셀을 개략적으로 나타내는 회로도이다.
도 4는 본 발명의 일 실시예에 따른 뉴럴 네트워크 구성을 개략적으로 나타내는 회로도이다.
도 5는 본 발명의 다른 실시예에 따른 뉴럴 네트워크의 가중치 셀을 개략적으로 나타내는 회로도이다.
도 6은 본 발명의 다른 실시예에 따른 뉴럴 네트워크 구성을 개략적으로 나타내는 회로도이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 뉴럴 네트워크의 동작을 설명하기 위한 회로도이다.
위 발명의 배경이 되는 기술 란에 기재된 내용은 오직 본 발명의 기술적 사상에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
아래의 서술에서, 설명의 목적으로, 다양한 실시예들의 이해를 돕기 위해 많은 구체적인 세부 내용들이 제시된다. 그러나, 다양한 실시예들이 이러한 구체적인 세부 내용들 없이 또는 하나 이상의 동등한 방식으로 실시될 수 있다는 것은 명백하다. 다른 예시들에서, 잘 알려진 구조들과 장치들은 다양한 실시예들을 불필요하게 이해하기 어렵게 하는 것을 피하기 위해 블록도로 표시된다.
도면에서, 레이어들, 필름들, 패널들, 영역들 등의 크기 또는 상대적인 크기는 명확한 설명을 위해 과장될 수 있다. 또한, 동일한 참조 번호는 동일한 구성 요소를 나타낸다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 그러나, 만약 어떤 부분이 다른 부분과 "직접적으로 연결되어 있다"고 서술되어 있으면, 이는 해당 부분과 다른 부분 사이에 다른 소자가 없음을 의미할 것이다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 이해될 것이다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.
여기에서, 첫번째, 두번째 등과 같은 용어가 다양한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들을 설명하기 위해 사용될 수 있지만, 이러한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들은 이러한 용어들에 한정되지 않는다. 이러한 용어들은 하나의 소자, 요소, 지역, 레이어, 및/또는 섹션을 다른 소자, 요소, 지역, 레이어, 및 또는 섹션과 구별하기 위해 사용된다. 따라서, 일 실시예에서의 첫번째 소자, 요소, 지역, 레이어, 및/또는 섹션은 다른 실시예에서 두번째 소자, 요소, 지역, 레이어, 및/또는 섹션이라 칭할 수 있다.
"아래", "위" 등과 같은 공간적으로 상대적인 용어가 설명의 목적으로 사용될 수 있으며, 그렇게 함으로써 도면에서 도시된 대로 하나의 소자 또는 특징과 다른 소자(들) 또는 특징(들)과의 관계를 설명한다. 이는 도면 상에서 하나의 구성 요소의 다른 구성 요소에 대한 관계를 나타내는 데에 사용될 뿐, 절대적인 위치를 의미하는 것은 아니다. 예를 들어, 도면에 도시된 장치가 뒤집히면, 다른 소자들 또는 특징들의 "아래"에 위치하는 것으로 묘사된 소자들은 다른 소자들 또는 특징들의 "위"의 방향에 위치한다. 따라서, 일 실시예에서 "아래" 라는 용어는 위와 아래의 양방향을 포함할 수 있다. 뿐만 아니라, 장치는 그 외의 다른 방향일 수 있다 (예를 들어, 90도 회전된 혹은 다른 방향에서), 그리고, 여기에서 사용되는 그런 공간적으로 상대적인 용어들은 그에 따라 해석된다.
여기에서 사용된 용어는 특정한 실시예들을 설명하는 목적이고 제한하기 위한 목적이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다 고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 다른 정의가 없는 한, 여기에 사용된 용어들은 본 발명이 속하는 분야에서 통상적인 지식을 가진 자에게 일반적으로 이해되는 것과 같은 의미를 갖는다.
도 1은 본 발명의 일 실시예에 따른 뉴럴 네트워크를 개략적으로 나타내는 회로도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 뉴럴 네트워크(neural network)는 입력 뉴런(10), 출력 뉴런(20), 및 가중치 소자(30)를 포함한다. 시냅스(30) 소자는 입력 뉴런(10)으로부터 수평으로 연장하는 로우 라인(R)(row lines) 및 출력 뉴런(20)으로부터 수직으로 연장하는 컬럼 라인(C)(column lines)의 교차점에 배치될 수 있다. 설명의 편의를 위해 도 1에는 예시적으로 각각 네 개의 입력 뉴런(10) 및 출력 뉴런(20)이 도시되었으나, 본 발명은 이에 한정되지 않는다.
입력 뉴런(10)은 학습 모드(learning mode), 리셋 모드(reset mode), 보정 또는 읽기 모드(reading mode)에서 로우 라인(R)을 통하여 가중치 소자(30)로 전기적 펄스들(pulses)을 전송할 수 있다.
출력 뉴런(20)은 학습 모드 또는 리셋 모드 또는 보정 시 컬럼 라인(C)을 통하여 가중치 소자(30)로 전기적 펄스를 전송할 수 있고, 및 읽기 모드에서 컬럼 라인(C)을 통하여 가중치 소자(30)로부터 전기적 펄스를 수신할 수 있다.
본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용하기 위하여 가중치를 새롭게 정의한다. 현재까지는 컨덕턴스를 기초로 하는 가중치에서 I=GV(전류=conductance×전압)를 적용하여 G를 멀티레벨화 했다. 여기서 선형 멀티레벨은 배수 n을 사용하여 G=nGo로 표현할 수 있다. 이 때 기저(ground) 컨덕턴스가 되는 Go는 가중치의 해상도(resolution)가 되고 GoV는 전류의 해상도(resolution)가 된다.
본 발명의 일 실시예에 따른 뉴럴 네트워크의 입력(input), 가중치, 출력(output)은 수학식 1과 같이 행렬로 표현할 수 있다.
Figure PCTKR2019007780-appb-M000001
이 관계를 그림으로 표현하면 도 1과 같이 된다. 이것을 간단히 표현하면 I=GTV가 되는데 이것은 다시 I=GonTV 관계가 된다. 여기서 n은 배수 개념에서 횟수(number) 개념으로 전환할 수 있기 때문에 Go를 n회 적용하든가, V전압을 n회 인가하는 방식을 도입할 수 있다. 따라서 가중치를 n으로 정의할 수 있다.
도 2는 본 발명의 일 실시예에 따른 뉴럴 네트워크의 가중치 셀 원리를 개략적으로 나타내는 회로도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 뉴럴 네트워크는 가중치를 펄스 횟수로 정의할 경우 게이트 펄스 모드(gate pulse mode)와 비트 라인 펄스 모드(bit line pulse mode)를 적용할 수 있다.
본 발명의 일 실시예에 따른 뉴럴 네트워크에서 완전한 벡터 행렬 곱셈(vector matrix multiplication)을 위해서는 가중치 셀마다 워드 라인을 제작하거나 가중치 셀마다 비트 라인을 제작하면 되겠지만, 이 경우 회로 부하(circuit overhead)가 커지기 때문에 뉴럴 칩(neural chip)으로서의 장점이 사라질 수 있다. 따라서, 뉴럴 네트워크에서 순차적인 곱셈(sequential multiplication)을 수행할 수 있도록 트레이드오프(trade-off) 하는 것이 바람직하다. 이를 위해 Go를 결정하는 기저 컨덕턴스 제어 트랜지스터(혹은 해상도 제어 트랜지스터)와 가중치 셀을 선택하는 선택 트랜지스터 쌍으로 구성되는 가중치 셀을 제안한다.
도 3은 본 발명의 일 실시예에 따른 뉴럴 네트워크의 가중치 셀을 개략적으로 나타내는 회로도이다.
도 4는 본 발명의 일 실시예에 따른 뉴럴 네트워크 구성을 개략적으로 나타내는 회로도이다.
도 3 및 도 4를 참조하면, 본 발명의 일 실시예에 따른 뉴럴 네트워크의 가중치 셀(1)은 제1 선택 트랜지스터(10)와 제2 선택 트랜지스터(20) 및 PMOS 트랜지스터(25)를 포함한다. 제1 선택 트랜지스터(10)는 제1 워드 라인(11), 제1 비트 라인(12) 및 제2 선택 트랜지스터(20)와 연결되고, 제2 선택 트랜지스터(20)는 제2 워드 라인(21), 제2 비트 라인(22) 및 제1 선택 트랜지스터(10)와 연결되고, PMOS 트랜지스터(25)는 제2 비트 라인(22) 및 입력(30)과 연결된다. 제1 비트 라인(12)은 출력(40)과 연결 되고, 제2 비트 라인(22)은 PMOS 트랜지스터(25)를 통해 입력(30)과 연결된다. 제1 워드 라인(11)은 제1 비트 라인(12)과 직교하여 배치되고, 제2 워드 라인(21)은 제1 워드 라인(11) 및 제2 비트 라인(22)과 직교하여 배치된다. 실시예로서, PMOS 트랜지스터(25)는 스위치로서 동작할 수 있다.
실시예로서, 제1 선택 트랜지스터(10)는 가중치 해상도를 제어할 수 있고, 멀티레벨(multi-level) 값을 가질 수 있다. 제1 선택 트랜지스터(10)는 강유전체의 분극으로 강유전체 표면에 발생하는 컨덕턴스를 이용하는 강유전체 트랜지스터(혹은 TFT), 이온(ion)을 마이그레이션(migration) 시켜 채널을 형성함으로써 트랜스 컨덕턴스를 이용하는 이온 기반(ion-based) 트랜지스터(혹은 TFT), 산화물반도체를 채널 물질로 사용함으로써 트랜스 컨덕턴스를 이용하는 산화물 트랜지스터(혹은 TFT), doped Si을 채널로 사용함으로써 트랜스 컨덕턴스를 이용하는 CMOS 트랜지스터(혹은 TFT), 및 플로팅 게이트(floating gate)를 사용하는 불휘발성 트랜지스터를 포함하는 해상도 제어 트랜지스터를 포함할 수 있다.
실시예로서, 제1 선택 트랜지스터(10)의 트랜스 컨덕턴스는 제2 선택 트랜지스터(20)의 트랜스 컨덕턴스와 같거나 작을 수 있다.
실시예로서, 제1 워드 라인(11)에 인가되는 전압은 전압 펄스이고, 제2 워드 라인(21)과 제2 비트 라인(22)에 인가되는 전압은 일정한 전압일 수 있다. 다른 실시예로서, 제1 워드 라인(11)과 제2 비트 라인(22)에 인가되는 전압은 전압 펄스이고, 제1 워드 라인(11)에 인가되는 전압 펄스는 제2 비트 라인(22)에 인가되는 전압 펄스 레이트에 맞추어 동기화한 전압 펄스일 수 있다. 또 다른 실시예로서, 제1 워드 라인(11)과 제2 워드 라인(21)에 인가되는 전압은 일정한 전압이고, 제2 비트 라인(22)에 인가되는 전압은 전압 펄스일 수 있다.
도 5는 본 발명의 다른 실시예에 따른 뉴럴 네트워크의 가중치 셀을 개략적으로 나타내는 회로도이다. 도 6은 본 발명의 다른 실시예에 따른 뉴럴 네트워크 구성을 개략적으로 나타내는 회로도이다.
도 5 및 도 6을 참조하면, 본 발명의 다른 실시예에 따른 뉴럴 네트워크의 가중치 셀(2)은 제1 선택 트랜지스터(10), 제2 선택 트랜지스터(20) 및 다이오드(50)를 포함한다. 제1 선택 트랜지스터(10)는 제1 워드 라인(11), 제1 비트 라인(12) 및 제2 선택 트랜지스터(20)와 연결되고, 제2 선택 트랜지스터(20)는 제2 워드 라인(21), 제2 비트 라인(22) 및 제1 선택 트랜지스터(10)와 연결되며, 다이오드(50)는 제1 선택 트랜지스터(10)와 연결된다. 제1 비트 라인(12)은 출력(40) 라인과 연결 되고, 제2 비트 라인(22)은 입력(30) 라인과 연결된다. 제1 워드 라인(11)은 제2 워드 라인(21)과 직교하여 배치되고, 다이오드(50)는 제1 선택 트랜지스터(10)와 제1 비트 라인(12) 사이에 배치된다.
실시예로서, 제1 선택 트랜지스터(10)는 해상도 제어 트랜지스터를 포함할 수 있다. 다른 실시예로서, 제1 선택 트랜지스터(10)는 CMOS 트랜지스터를 포함할 수 있다. 제2 선택 트랜지스터(20)는 CMOS 트랜지스터를 포함할 수 있다.
실시예로서, 제1 선택 트랜지스터(10)의 트랜스 컨덕턴스는 제2 선택 트랜지스터(20)의 트랜스 컨덕턴스와 같거나 작을 수 있다.
실시예로서, 입력(30) 라인에 인가되는 전압은 직류 전압이고, 제1 워드 라인(11)에 인가되는 전압은 가중치를 결정하는 전압 펄스일 수 있다. 다른 실시예로서, 제2 비트 라인(22)에 인가되는 전압은 가중치를 결정하는 전압 펄스이고, 제1 워드 라인(11)에 인가되는 전압은 직류 전압일 수 있다.
본 발명의 또 다른 실시예에 따른 뉴럴 네트워크의 가중치 셀(2)은 해상도 제어 트랜지스터(10)와 선택 트랜지스터(20)를 포함한다. 해상도 제어 트랜지스터(10)는 제1 워드 라인(11), 출력 라인(12) 및 선택 트랜지스터(20)와 연결되고, 선택 트랜지스터(20)는 제2 워드 라인(21), 입력 라인(22) 및 해상도 제어 트랜지스터(10)와 연결된다. 제1 비트 라인(12)은 출력(40) 라인과 연결 되고, 제2 비트 라인(22)은 입력(30) 라인과 연결된다. 제2 워드 라인(21)은 입력 라인(22)과 직교하여 배치된다.
실시예로서, 게이트 펄스 모드인 경우, 입력 라인(22)에 인가되는 전압은 직류 전압이고, 제1 워드 라인(11)에 인가되는 가중치를 결정하는 전압 펄스일 수 있다. 다른 실시예로서, 비트 라인 펄스 모드인 경우, 입력 라인(22)에 인가되는 전압은 가중치를 결정하는 전압 펄스이고, 제1 워드 라인(11)에 인가되는 전압은 직류 전압일 수 있다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 뉴럴 네트워크의 동작을 설명하기 위한 회로도이다.
도 7 내지 도 9를 참조하면, 본 발명의 일 실시예에 따른 뉴럴 네트워크는 외부의 저장매체로부터 가중치를 페치(fetch)하여 이를 펄스 횟수로 환산한 후 선택 트랜지스터의 워드 라인에 인가한다. 실시예로서, 외부의 저장매체는 SRAM, DRAM, RRAM 및 스토리지 중 적어도 하나를 포함할 수 있다. 본 발명의 일 실시예에 따른 뉴럴 네트워크는 효과적인 벡터 행렬 곱셈(VMM)을 위하여 도 7 내지 도 9와 같이 순차적으로 가중치를 인가하고, 순차적인 벡터 행렬 곱셈(sequential VMM)의 출력(output)에서는 펄스들을 누적(integration)하여 이 값을 활성화 (activation)하고 활성화 된 정보를 외부 저장매체에 임시 저장한다.
본 발명의 일 실시예에 따른 뉴럴 네트워크는 순차적인 벡터 행렬 곱셈(Sequential VMM)이 완료되면 활성화되어 다음 레이어(layer)로 전달할 출력 정보와 각각의 셀 가중치 정보를 다시 뉴럴 네트워크의 입력에 전달하고 이 과정을 최종 출력이 될 때까지 반복(혹은 순환)시킨다. 온-칩 러닝(On-chip learning)시에는 역전파(back-propagation)를 적용할 수 있다.
전술한 바와 같은 본 발명의 실시예들에 따르면, 본 발명의 실시예에 따른 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀은, "출력 (전류 펄스 stream) = 펄스 횟수 x 트랜스 컨덕턴스 x 전압 펄스 = 가중치 x 전압 펄스" 관계를 가지는 하드웨어로 제작하고, 펄스 트레인(pulse train)을 인가함으로써 가중치 비트폭을 탄력적으로 적용할 수 있다. 또한, 뉴럴 네트워크에 사용하는 가중치를 외부에 저장하기도 하고 내부에 저장하기도 함으로써, 온-칩 러닝(on-chip learning) 또는 모바일 전용 서비스로 활용이 가능한 준 범용 프로세서의 구현이 가능하다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (19)

  1. 제1 워드 라인, 제1 비트 라인, 및 제2 선택 트랜지스터와 연결되는 제1 선택 트랜지스터;
    제2 워드 라인, 제2 비트 라인 및 상기 제1 선택 트랜지스터와 연결되는 제2 선택 트랜지스터; 및
    상기 제2 비트라인 및 입력과 연결되는 PMOS 트랜지스터를 포함하되,
    상기 제1 비트 라인은 출력과 연결되고, 상기 제2 비트 라인은 상기 PMOS 트랜지스터를 통해 상기 입력과 연결되며, 상기 제1 워드 라인은 상기 제1 비트 라인과 직교하여 배치되고, 상기 제2 워드 라인은 상기 제1 워드 라인 및 상기 제2 비트 라인과 직교하여 배치되는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  2. 제 1항에 있어서,
    상기 제1 선택 트랜지스터는 CMOS 트랜지스터, 이온 기반(ion-based) 트랜지스터, 산화물 트랜지스터, 플로팅 게이트(FG) 트랜지스터, 강유전체 트랜지스터 및 TFT를 포함하는 해상도 제어(resolution control) 트랜지스터를 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  3. 제 1항에 있어서,
    상기 제1 선택 트랜지스터의 트랜스 컨덕턴스(trans-conductance)는 상기 제2 선택 트랜지스터의 트랜스 컨덕턴스와 같거나 작은 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  4. 제 1항에 있어서,
    상기 제1 워드 라인에 인가되는 전압은 전압 펄스이고, 상기 제2 워드 라인과 상기 제2 비트 라인에 인가되는 입력은 일정한 전압인 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  5. 제 1항에 있어서,
    상기 제1 워드 라인과 상기 제2 비트 라인에 인가되는 입력은 전압 펄스이고, 상기 제1 워드 라인에 인가되는 전압 펄스는 상기 제2 비트 라인에 인가되는 전압 펄스 레이트에 맞추어 동기화한 전압 펄스인 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  6. 제 1항에 있어서,
    상기 제1 워드 라인과 상기 제2 워드 라인에 인가되는 전압은 일정한 전압이고, 상기 제2 비트 라인에 인가되는 입력은 전압 펄스인 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  7. 제1 워드 라인, 제1 비트 라인, 및 제2 선택 트랜지스터와 연결되는 제1 선택 트랜지스터;
    제2 워드 라인, 제2 비트 라인 및 상기 제1 선택 트랜지스터와 연결되는 제2 선택 트랜지스터; 및
    상기 제1 선택 트랜지스터와 연결되는 다이오드를 포함하되,
    상기 제1 비트 라인은 출력과 연결되고 상기 제2 비트 라인은 입력과 연결되며,
    상기 제1 워드 라인은 상기 제2 워드 라인과 직교하여 배치되고, 상기 다이오드는 상기 제1 선택 트랜지스터와 상기 제1 비트 라인 사이에 배치되는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  8. 제 7항에 있어서,
    상기 제1 선택 트랜지스터는 해상도 제어(resolution control) 트랜지스터를 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  9. 제 7항에 있어서,
    상기 제1 선택 트랜지스터는 CMOS 트랜지스터, 이온 기반(ion-based) 트랜지스터, 산화물 트랜지스터, 플로팅 게이트(FG) 트랜지스터, 강유전체 트랜지스터 및 TFT를 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  10. 제 7항에 있어서,
    상기 제2 선택 트랜지스터는 CMOS 트랜지스터를 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  11. 제 7항에 있어서,
    상기 제1 선택 트랜지스터의 트랜스 컨덕턴스(trans-conductance)는 상기 제2 선택 트랜지스터의 트랜스 컨덕턴스와 같거나 작은 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  12. 제 7항에 있어서,
    상기 입력에 인가되는 입력 전압은 직류 전압이고, 상기 제1 워드 라인에 인가되는 전압은 가중치를 결정하는 전압 펄스인 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  13. 제 7항에 있어서,
    상기 제2 비트 라인에 인가되는 전압은 가중치를 결정하는 전압 펄스이고, 상기 제1 워드 라인에 인가되는 전압은 직류 전압인 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  14. 제1 워드 라인, 제1 비트 라인, 및 제2 선택 트랜지스터와 연결되는 제1 선택 트랜지스터;
    제2 워드 라인, 제2 비트 라인 및 상기 제1 선택 트랜지스터와 연결되는 제2 선택 트랜지스터;
    상기 제2 비트라인 및 입력과 연결되는 PMOS 트랜지스터; 및
    상기 제1 선택 트랜지스터와 연결되는 다이오드를 포함하되,
    상기 제1 비트 라인은 출력과 연결되고, 상기 제2 비트 라인은 상기 PMOS 트랜지스터를 통해 상기 입력과 연결되며, 상기 제1 워드 라인은 상기 제2 워드 라인과 직교하여 배치되고, 상기 다이오드는 상기 제1 선택 트랜지스터와 상기 제1 비트 라인 사이에 배치되는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  15. 제 14항에 있어서,
    상기 PMOS 트랜지스터는 스위치를 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  16. 제 14항에 있어서,
    상기 제1 선택 트랜지스터는 CMOS 트랜지스터, 이온 기반(ion-based) 트랜지스터, 산화물 트랜지스터, 플로팅 게이트(FG) 트랜지스터, 강유전체 트랜지스터 및 TFT를 포함하는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  17. 제1 워드 라인, 출력 라인, 및 선택 트랜지스터와 연결되는 해상도 제어(resolution control) 트랜지스터; 및
    제2 워드 라인, 입력 라인 및 상기 해상도 제어 트랜지스터와 연결되는 선택 트랜지스터를 포함하되,
    상기 제2 워드 라인은 상기 입력 라인과 직교하여 배치되는 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  18. 제 17항에 있어서,
    상기 입력 라인에 인가되는 전압은 직류 전압이고, 상기 제1 워드 라인에 인가되는 전압은 가중치를 결정하는 전압 펄스인 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
  19. 제 17항에 있어서,
    상기 입력 라인에 인가되는 전압은 가중치를 결정하는 전압 펄스이고, 상기 제1 워드 라인에 인가되는 전압은 직류 전압인 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀.
PCT/KR2019/007780 2019-04-24 2019-06-27 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀 Ceased WO2020218673A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0048108 2019-04-24
KR1020190048108A KR102351376B1 (ko) 2019-04-24 2019-04-24 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀

Publications (1)

Publication Number Publication Date
WO2020218673A1 true WO2020218673A1 (ko) 2020-10-29

Family

ID=72940782

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007780 Ceased WO2020218673A1 (ko) 2019-04-24 2019-06-27 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀

Country Status (2)

Country Link
KR (1) KR102351376B1 (ko)
WO (1) WO2020218673A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240113127A1 (en) * 2019-07-31 2024-04-04 Samsung Electronics Co., Ltd. Semiconductor device including ferroelectric material, neuromorphic circuit including the semiconductor device, and neuromorphic computing apparatus including the neuromorphic circuit

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8694452B2 (en) * 2010-07-07 2014-04-08 Qualcomm Incorporated Methods and systems for CMOS implementation of neuron synapse
US20190108437A1 (en) * 2017-10-10 2019-04-11 Fu-Chang Hsu Two and three-dimensional neural network arrays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8694452B2 (en) * 2010-07-07 2014-04-08 Qualcomm Incorporated Methods and systems for CMOS implementation of neuron synapse
US20190108437A1 (en) * 2017-10-10 2019-04-11 Fu-Chang Hsu Two and three-dimensional neural network arrays

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ARINDAM BASU; JYOTIBDHA ACHARYA; TANAY KARNIK; HUICHU LIU; HAI LI; JAE-SUN SEO; CHANG SONG: "Low- Power , Adaptive Neuromorphic Systems: Recent Progress and Future Directions", IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS, vol. 8, no. 1, 1 March 2018 (2018-03-01), pages 6 - 27, XP055546522, ISSN: 2156-3357, DOI: 10.1109/JETCAS.2018.2816339 *
INDRANIL CHAKRABORTY , DEBOLEENA ROY , KAUSHIK ROY: "Technology Aware Training in Memristive Neuromorphic Systems based on non-ideal Synaptic Crossbars", IEEE TRANSACTIONS ON EMERGING TOPICS IN COMPUTATIONAL INTELLIGENCE, vol. 2, no. 5, 5 October 2018 (2018-10-05), pages 335 - 344, XP055759646, DOI: 10.1109/TETCI.2018.2829919 *
SUNG CHANGHYUCK; HWANG HYUNSANG; YOO IN KYEONG: "Perspective: A review on memristive hardware for neuromorphic computation", JOURNAL OF APPLIED PHYSICS, vol. 124, no. 15, 151903, 5 October 2018 (2018-10-05), pages 1 - 13, XP012232108, ISSN: 0021-8979, DOI: 10.1063/1.5037835 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240113127A1 (en) * 2019-07-31 2024-04-04 Samsung Electronics Co., Ltd. Semiconductor device including ferroelectric material, neuromorphic circuit including the semiconductor device, and neuromorphic computing apparatus including the neuromorphic circuit
US12191311B2 (en) * 2019-07-31 2025-01-07 Samsung Electronics Co., Ltd. Semiconductor device including ferroelectric material, neuromorphic circuit including the semiconductor device, and neuromorphic computing apparatus including the neuromorphic circuit

Also Published As

Publication number Publication date
KR20200124585A (ko) 2020-11-03
KR102351376B1 (ko) 2022-01-13

Similar Documents

Publication Publication Date Title
Richter et al. DYNAP-SE2: a scalable multi-core dynamic neuromorphic asynchronous spiking neural network processor
US11361216B2 (en) Neural network circuits having non-volatile synapse arrays
TWI754567B (zh) 神經形態裝置及其操作方法
US20240233334A1 (en) Multi-modal data retrieval method and apparatus, medium, and electronic device
TWI699711B (zh) 記憶體裝置及其製造方法
WO2021218517A1 (zh) 获取神经网络模型的方法、图像处理方法及装置
CN110135562B (zh) 基于特征空间变化的蒸馏学习方法、系统、装置
US20150379396A1 (en) Providing transposable access to a synapse array using a recursive array layout
CN108053848A (zh) 电路结构及神经网络芯片
WO2023142883A1 (zh) 存算一体运算方法、忆阻器神经网络芯片及存储介质
WO2015108293A1 (ko) 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
WO2020222378A1 (en) Convolution streaming engine for deep neural networks
CN115639756A (zh) 用于生成工艺仿真模型的方法和设备
KR102885872B1 (ko) 뉴럴 네트워크 장치
US20140344201A1 (en) Providing transposable access to a synapse array using column aggregation
WO2023018177A1 (ko) 3 전극 대각 멤트랜지스터 시스템과 이를 이용한 컨볼루션 네트워크 연산 장치 및 연산 방법
CN113722668A (zh) 处理单元、相关装置和张量运算方法
WO2021033906A1 (ko) 뉴런 하나당 다수의 시냅스들을 갖는 3차원 뉴로모픽 소자
CN112784999A (zh) 基于注意力机制的mobilenet-v1知识蒸馏方法、存储器及终端设备
WO2023231796A1 (zh) 一种视觉任务处理方法及其相关设备
WO2023022505A1 (ko) 디램을 이용한 인 메모리 컴퓨팅을 통해 bnn 연산을 수행하는 방법 및 이를 이용한 장치
WO2022145550A1 (ko) 딥러닝 네트워크의 동적 양자화 정밀도 가변 알고리즘 및 방법
KR102351376B1 (ko) 가중치 비트폭을 탄력적으로 적용할 수 있는 가중치 셀
CN112396176A (zh) 一种硬件神经网络批归一化系统
US20190164035A1 (en) Device for reorganizable neural network computing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19926325

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19926325

Country of ref document: EP

Kind code of ref document: A1