KR102078535B1 - 뉴럴 네트워크 - Google Patents

뉴럴 네트워크 Download PDF

Info

Publication number
KR102078535B1
KR102078535B1 KR1020180050503A KR20180050503A KR102078535B1 KR 102078535 B1 KR102078535 B1 KR 102078535B1 KR 1020180050503 A KR1020180050503 A KR 1020180050503A KR 20180050503 A KR20180050503 A KR 20180050503A KR 102078535 B1 KR102078535 B1 KR 102078535B1
Authority
KR
South Korea
Prior art keywords
synaptic
post
artificial neurons
artificial
neurons
Prior art date
Application number
KR1020180050503A
Other languages
English (en)
Other versions
KR20190010413A (ko
Inventor
라이언 엠. 해처
보르나 제이. 오브라도빅
조지 에이. 키틀
티타시 락싯
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of KR20190010413A publication Critical patent/KR20190010413A/ko
Application granted granted Critical
Publication of KR102078535B1 publication Critical patent/KR102078535B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/16—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Semiconductor Memories (AREA)

Abstract

뉴럴 네트워크가 제공된다. 뉴럴 네트워크는, 복수의 프리 시냅스 인공 뉴런, 복수의 포스트 시냅스 인공 뉴런 및 복수의 프리 시냅스 인공 뉴런 각각과 복수의 포스트 시냅스 인공 뉴런 각각 사이에 연결되는 복수의 인공 시냅스를 포함하고, 복수의 인공 시냅스 각각은, 가중치를 갖고, 복수의 프리 시냅스 인공 뉴런 각각은, 제1 곱셈 회로를 포함하고, 제1 곱셈 회로는, 복수의 프리 시냅스 인공 뉴런 각각의 출력 신호를 제1 이득 인자를 이용하여 증폭하도록 프로그래밍 가능하고, 제1 이득 인자는 N 이득 값 세트로부터 선택된 것이고, N 이득 값 세트는, A, 2A, 4A, ... 2N-1A이고, N은 1보다 큰 정수이고, A는 상수이고, 복수의 프리 시냅스 인공 뉴런 각각에 대한 상기 제1 이득 인자는 서로 다르고, 복수의 포스트 시냅스 인공 뉴런 각각은, 제2 곱셈 회로를 포함하고, 제2 곱셈 회로는, 복수의 포스트 시냅스 인공 뉴런 각각의 입력 신호를 증폭시키도록 프로그래밍 가능하고, 복수의 포스트 시냅스 인공 뉴런 각각은, 제3 이득 인자로 복수의 포스트 시냅스 인공 뉴런 각각의 출력 신호를 증폭시키도록 프로그래밍되어 있고, 복수의 포스트 시냅스 인공 뉴런 각각의 제2 이득 인자는 서로 다르다.

Description

뉴럴 네트워크{neural network}
본 발명은 뉴럴 네트워크에 관한 것으로, 좀 더 구체적으로 가변 정밀도 뉴로모픽 아키텍처(variable precision neuromorphic architecture)에 관한 것이다.
인공 뉴럴 네트워크(간단히, 뉴럴 네트워크)는 예를 들어, 상당수의 MAC(multiply accumulate) 동작을 포함하여, 계산 상 많은 비용이 소요될 수 있는 데이터 프로세싱을 이용하여 기계 학습 및 의사 결정을 수행할 수 있다. 이러한 계산 비용은, 처리 속도가 느려지거나, 또는 속도가 향상되면 높은 소비 전력 및 장비 비용을 발생시킬 수 있다.
따라서, 개선된 뉴럴 네트워크에 대한 필요성이 존재한다.
본 발명이 해결하고자 하는 기술적 과제는 일정 정밀도로 프로그래밍이 가능한 가중치를 이용한 뉴럴 네트워크를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예들에 따른 뉴럴 네트워크는, 복수의 프리 시냅스 인공 뉴런(pre-synaptic artificial neurons), 복수의 포스트 시냅스 인공 뉴런(post-synaptic artificial neurons) 및 상기 복수의 프리 시냅스 인공 뉴런 각각과 상기 복수의 포스트 시냅스 인공 뉴런 각각 사이에 연결되는 복수의 인공 시냅스를 포함하고, 상기 복수의 인공 시냅스 각각은, 가중치를 갖고, 상기 복수의 프리 시냅스 인공 뉴런 각각은, 제1 곱셈 회로를 포함하고, 상기 제1 곱셈 회로는, 상기 복수의 프리 시냅스 인공 뉴런 각각의 출력 신호를 제1 이득 인자를 이용하여 증폭하도록 프로그래밍 가능하고, 상기 제1 이득 인자는 N 이득 값 세트로부터 선택된 것이고, 상기 N 이득 값 세트는, A, 2A, 4A, ... 2N -1A이고, N은 1보다 큰 정수이고, A는 상수이고, 상기 복수의 프리 시냅스 인공 뉴런 각각에 대한 상기 제1 이득 인자는 서로 다르고, 상기 복수의 포스트 시냅스 인공 뉴런 각각은, 제2 곱셈 회로를 포함하고, 상기 제2 곱셈 회로는, 상기 복수의 포스트 시냅스 인공 뉴런 각각의 입력 신호를 증폭시키도록 프로그래밍 가능하고, 상기 복수의 포스트 시냅스 인공 뉴런 각각은, 제3 이득 인자로 상기 복수의 포스트 시냅스 인공 뉴런 각각의 출력 신호를 증폭시키도록 프로그래밍되어 있고, 상기 복수의 포스트 시냅스 인공 뉴런 각각의 제2 이득 인자는 서로 다르다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예들에 따른 뉴럴 네트워크는, 제1 로지컬 프리 시냅스 뉴런을 포함하는 복수의 로지컬 프리 시냅스 뉴런(logical pre-synaptic neuron), 제1 로지컬 포스트 시냅스 뉴런을 포함하는 복수의 로지컬 포스트 시냅스 뉴런(logical post-synaptic neuron) 및 복수의 로지컬 시냅스(logical synapses)를 포함하고, 상기 제1 로지컬 프리 시냅스 뉴런은 입력을 포함하고, 상기 제1 로지컬 프리 시냅스 뉴런은 N개의 프리 시냅스 인공 뉴런을 포함하되, N은 1보다 큰 정수이고, 상기 N개의 프리 시냅스 인공 뉴런 각각은 입력을 포함하고, 상기 N개의 프리 시냅스 인공 뉴런 각각의 입력 모두는, 상기 제1 로지컬 프리 시냅스 뉴런의 입력과 연결되고, 상기 제1 로지컬 포스트 시냅스 뉴런은 출력을 포함하고, 상기 제1 로지컬 포스트 시냅스 뉴런은, M개의 포스트 시냅스 인공 뉴런과, 합산 회로를 포함하고, M은 1보다 큰 정수이고, 상기 합산 회로의 출력은, 상기 제1 로지컬 포트스 시냅스 뉴런의 출력과 연결되고, 상기 합산 회로는 복수의 입력을 포함하고, 상기 M개의 포스트 시냅스 인공 뉴런 각각의 출력은 상기 합산 회로의 복수의 입력 각각과 연결될 수 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예들에 따른 뉴럴 네트워크는, 복수의 프리 시냅스 인공 뉴런(pre-synaptic artificial neuron), 복수의 포스트 시냅스 인공 뉴런(post-synaptic artificial neuron) 및 상기 복수의 프리 시냅스 인공 뉴런 각각과, 상기 포스트 시냅스 인공 뉴런 각각을 연결하는 복수의 연결 요소를 포함하고, 상기 복수의 프리 시냅스 인공 뉴런 각각은, 제1 곱셈 회로를 포함하고, 상기 제1 곱셈 회로는, 상기 복수의 프리 시냅스 인공 뉴런 각각의 출력 신호를 제1 이득 인자를 이용하여 증폭하도록 프로그래밍 가능하고, 상기 제1 이득 인자는 N 이득 값 세트로부터 선택된 것이고, 상기 N 이득 값 세트는, A, 2A, 4A, ... 2N -1A이고, N은 1보다 큰 정수이고, A는 상수이고, 상기 복수의 프리 시냅스 인공 뉴런 각각에 대한 상기 제1 이득 인자는 서로 다르고, 상기 복수의 포스트 시냅스 인공 뉴런 각각은, 제2 곱셈 회로를 포함하고, 상기 제2 곱셈 회로는, 상기 복수의 포스트 시냅스 인공 뉴런 각각의 입력 신호를 증폭시키도록 프로그래밍 가능하고, 상기 복수의 포스트 시냅스 인공 뉴런 각각은, 제3 이득 인자로 상기 복수의 포스트 시냅스 인공 뉴런 각각의 출력 신호를 증폭시키도록 프로그래밍되어 있고, 상기 복수의 포스트 시냅스 인공 뉴런 각각의 제2 이득 인자는 서로 다를 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크의 일부를 도시한 블록 다이어그램이다.
도 2a는 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크와 관련된 수식을 설명하기 위한 도면이다.
도 2b는 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크와 관련된 수식을 설명하기 위한 도면이다.
도 2c는 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크와 관련된 수식을 설명하기 위한 도면이다.
도 3a는 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크의 일부를 도시한 블록 다이어그램이다.
도 3b는 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크의 일부를 도시한 블록 다이어그램이다.
도 3c는 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크의 시냅스에 대한 다양한 구성을 도시한 도면이다.
도 4는 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크의 일부를 도시한 블록 다이어그램이다.
도 5는 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크의 일부를 도시한 블록 다이어그램이다.
도 6은 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크의 일부를 도시한 블록 다이어그램이다.
도 7a는 본 발명의 기술적 사상의 몇몇 실시예에 따른 인공 뉴런의 블록 다이어그램이다.
도 7b는 본 발명의 기술적 사상의 몇몇 실시예에 따른 인공 뉴런의 블록 다이어어그램이다.
도 7c는 본 발명의 기술적 사상의 몇몇 실시예에 따른 로지컬 뉴런의 블록 다이어그램이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면에서 층 및 영역들의 상대적인 크기는 설명의 명료성을 위해 과장된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1을 참조하면, 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크에서, 뉴럴 네트워크는 복수의 인공 시냅스(115)를 통해 복수의 포스트 시냅스 인공 뉴런(post-synaptic artificial neuron)(110)에 연결된 복수의 프리 시냅스 인공 뉴런(pre-synaptic artificial neuron)(105)을 포함할 수 있다. 본 명세서에서 "인공 뉴런"은 입력 및 출력을 갖는 구성 요소이고, "인공 뉴런"은 출력으로 입력의 비선형 함수(이는, 활성 함수 또는 전달 함수로 지칭될 수 있다.)인 신호를 생성할 수 있다.
복수의 프리 시냅스 인공 뉴런(105) 각각은, 출력으로 전압을 생성할 수 있다. 또한, 복수의 포스트 시냅스 인공 뉴런(110) 각각은, 입력으로 전류를 수신할 수 있다. 전류는 복수의 인공 시냅스(115)에 의해 연결된 복수의 프리 시냅스 인공 뉴런(105)의 출력의 가중 합일 수 있다.
복수의 인공 시냅스(115) 각각은, 복수의 프리 시냅스 인공 뉴런(105) 각각과, 복수의 포스트 시냅스 인공 뉴런(110) 각각 사이의 연결 요소일 수 있다.
복수의 인공 시냅스(115) 각각은, 예를 들어, 저항기 또는 다른 저항성 구성 요소일 수 있다. 이러한 실시예에서, 가중 합의 가중치(
Figure 112018043271853-pat00001
)는 복수의 인공 시냅스(115) 각각의 컨덕턴스(예를 들어, 저항의 역수)일 수 있으므로, 예를 들어, 복수의 시냅스 인공 뉴런(110) 각각에 의해 수신된 총 전류는, 도 2a에 도시된 바와 같이, 복수의 프리 시냅스 인공 뉴런(105) 각각에 대한 i) 복수의 프리 시냅스 인공 뉴런(105) 각각의 출력(전압)과, ii) 복수의 인공 시냅스(115)의 가중치(예를 들어, 컨덕턴스) 각각의 곱의, 복수의 프리 시냅스 인공 뉴런(105)이 연결되어 있는 모든 복수의 프리 시냅스 인공 뉴런(105)에 대한 합일 수 있다.
도 1은, 캐스케이드로 연결된 복수의 계층을 포함할 수 있는, 뉴럴 네트워크의 하나의 계층(l 번째 계층)을 도시한다. 예를 들어, 도 1에 도시된 복수의 포스트 시냅스 인공 뉴런(110) 각각은, 추가적인 인공 시냅스(115)를 통해 다른 인공 뉴런과 연결된 출력을 가질 수 있고, 예를 들어, 후속 계층에서 복수의 프리 시냅스 인공 뉴런(105)으로 작용할 수 있다.
이와 같이, 각각의 가중치(
Figure 112018043271853-pat00002
)는, 계층을 식별하는 첨자(subscript)(l)와, (가중치(
Figure 112018043271853-pat00003
)와 대응되어) 복수의 인공 시냅스(115)가 연결되어 있는 복수의 프리 시냅스 인공 뉴런(105) 및 복수의 포스트 시냅스 인공 뉴런(110)을 식별하는 제1 및 제2 첨자(i 및 j)에 의해 식별될 수 있다.
복수의 포스트 시냅스 인공 뉴런(110) 각각은, 그 입력에서, 도 2b의 트랜스 임피던스 증폭기 또는, 도 2c의 적분기와 같은 회로를 가질 수 있다. 도 2c의 적분기는, 신호가 펄스 폭 변조되는 실시예에서 사용될 수 있다. 예를 들어, 보다 긴 지속 시간 전류 펄스를 초래하는 보다 긴 지속 시간의 전압 펄스는, 보다 긴 값을 신호로 보내는데 사용되고, 보다 짧은 지속 시간 전류 펄스를 초래하는 보다 짧은 지속 시간 전압 펄스는, 보다 작은 값을 신호로 보내는데 사용될 수 있다.
도 3a에 도시된 바와 같은 변형된 회로는, 양의 컨덕턴스를 갖는 저항성 구성 요소를 이용하여, 음의 가중치를 구현하는데에 이용될 수 있다. 이러한 실시예에서, 복수의 프리 시냅스 인공 뉴런(105) 각각의 출력은, 차동 전압 신호를 전달하는 한 쌍의 컨덕터일 수 있다. 차동 전압 신호는 즉, 컨덕터 중 어느 하나의 양의 전압 및 컨덕터 중 다른 하나의 음의 전압일 수 있다. 컨덕터 중 다른 하나의 음의 전압은, 컨덕터 중 어느 하나의 양의 전압과 동일한 절대값을 가질 수 있다. 이 실시예에서, 복수의 인공 시냅스(115) 각각의 가중치는, 복수의 인공 시냅스(115) 각각을 형성하는 두 개의 저항성 구성 요소의 컨덕턴스 간의 차이일 수 있다.
다른 실시예에서, 도 3b에 도시된 바와 같이, 복수의 프리 시냅스 인공 뉴런(105) 각각은 단일 컨덕터의 전압인 출력을 가지며, 복수의 포스트 시냅스 인공 뉴런(110) 각각은 차동 입력으로 구성된 컨덕터 쌍인 입력을 가질 수 있다. 복수의 포스트 시냅스 인공 뉴런(110) 각각의 차동 입력 회로는 예를 들어, 도 2b의 두 개의 트랜스 임피던스 증폭기로 구현될 수 있으며, 두 개의 트랜스 임피던스 증폭기의 출력은 차동 증폭기에 연결될 수 있다.
도 3c는 한 개 또는 두 개의 저항성 구성 요소를 이용하여 가중치를 구현할 수 있는 세 개의 구성을 도시하며, 이 세 개의 구성은 도 1, 도 3a 및 도 3b 각각의 실시예와 대응될 수 있다.
몇몇 실시예에서, 각 가중치는, 두 개의 상태(예를 들어, 고저항 상태 및 저저항 상태) 중 어느 하나에서, 언제든지 동작하도록 프로그래밍 가능하거나 또는 제어 가능할 수 있다. 이러한 각 가중치는, 예를 들어, STT-RAM(spin-transfer torque random access memory) 셀(예를 들어, MTJ(magnetic tunneling junction) 장치에 기초한 STT-RAM 셀) 내의 프로그래밍 가능한 저항성 구성 요소로 구현되거나 구성될 수 있다. 따라서, 도 1에 도시된 실시예에서, 복수의 인공 시냅스(115) 각각은, 두 개의 상태 중 어느 하나의 상태로 언제든지 동작할 수 있다. 또한, 도 3a의 실시예 또는 도 3b의 실시예에서, 복수의 인공 시냅스(115) 각각은 세 개의 상태 중 어느 하나의 상태로 언제든지 동작할 수 있다.
한편, 네 개의 상태도 가능하지만, 두 개의 프로그래밍 가능한 저항성 구성 요소가 모두 저저항 상태인 상태의 이용을 피하는 것이 유리할 수 있다. 왜냐하면 두 개의 프로그래밍 가능한 저항성 구성 요소가 모두 저저항 상태인 것은, 복수의 포스트 시냅스 인공 뉴런(110)에서, 프로그래밍 가능한 저항성 구성 요소가 모두 고저항 상태에 있고, 더 많은 전류를 소비하는 상태와 동일한 입력 신호를 초래할 수 있기 때문이다.
도 3c에 도시된 것과 같이, 예를 들어, 두 개 또는 세 개의 상태를 갖는, 비교적 낮은 정밀도의 인공 시냅스(115)는, (예를 들어, 몇몇 애플리케이션에 이용될 때) 일부 환경에서 인공 뉴럴 네트워크(또는, 단순히 뉴럴 네트워크)에 대해 수용 가능한 성능을 제공할 수 있다. 다른 상황들(예를 들어, 다른 애플리케이션에 이용될 때)에서는, 더 많은 수의 상태 중 하나에서 동작하도록 각각에 대해 프로그래밍이 가능한 높은 정밀도 가중치들이 이용되면, 더 나은 성능이 가능할 수 있다.
도 4를 참조하면, 몇몇 실시예에서, 로지컬 프리 시냅스 뉴런(405), 로지컬 포스트 시냅스 뉴런(410) 및 로지컬 시냅스(415)는, (물리적인) 프리 시냅스 인공 뉴런(105), (물리적인) 포스트 시냅스 인공 뉴런(110) 및 (물리적인)인공 시냅스(115)의 세트로부터 형성될 수 있다. 이러한 실시예에서, 프리 시냅스 인공 뉴런(105), 포스트 시냅스 인공 뉴런(110), 및 인공 시냅스(115)의 개수는, 복수의 정밀도 정도 중 임의의 것을 달성하도록 조정될 수 있다. 예를 들어, 4 비트인 실시예는 도 5와 대응되고, 6 비트인 실시예는 도 6과 대응될 수 있다.
예를 들어, 도 4의 실시예에서, 로지컬 프리 시냅스 뉴런(405)은 두 개의 프리 시냅스 인공 뉴런(105)을 포함할 수 있고, 로지컬 포스트 시냅스 뉴런(410)은 두 개의 포스트 시냅스 인공 뉴런(110)을 포함할 수 있고, 로지컬 시냅스(415)는 네 개의 인공 시냅스(115)를 포함할 수 있다.
로지컬 프리 시냅스 뉴런(405), 로지컬 포스트 시냅스 뉴런(410) 및 로지컬 시냅스(415)는, 프리 시냅스 인공 뉴런(105), 포스트 시냅스 인공 뉴런(110) 및 인공 시냅스(115)와 같이, 인공적(즉, 생물학 적이지 않음)일 수 있다. 그러나, "인공적"이란 용어는 간결성을 위해 생략될 수 있다. 로지컬 프리 시냅스 뉴런(405)의 프리 시냅스 인공 뉴런(105)의 입력은, 서로 연결되어 로지컬 프리 시냅스 뉴런(405)의 입력을 형성할 수 있다. 또한, 로지컬 포스트 시냅스 뉴런(410)의 포스트 시냅스 인공 뉴런(110)의 출력은, 서로 합쳐져서, 로지컬 포스트 시냅스 뉴런(410)의 출력을 형성할 수 있다.
도 5를 참조하면, 몇몇 실시예에서, 4개의 프리 시냅스 인공 뉴런(105), 24개의 인공 시냅스(115) 및 6개의 포스트 시냅스 인공 뉴런(110)을 포함하는 계층은, 적절한 프로그래밍에 의해, 2개의 로지컬 프리 시냅스 뉴런(405), 3개의 로지컬 포스트 시냅스 뉴런(410) 및 6개의 로지컬 시냅스(415)를 갖는 계층으로 동작하도록 구성될 수 있다.
프리 시냅스 인공 뉴런(105) 각각은, 프로그래밍 가능한 이득 인자, 인공 뉴런의 입력 신호(예를 들어, 포스트 시냅스 인공 뉴런(110)의 입력 신호), 또는 인공 뉴런의 출력 신호(예를 들어, 프리 시냅스 인공 뉴런(105)의 출력 신호)를 증폭하도록 프로그래밍이 가능한 곱셈기를 각각 포함할 수 있다. 예를 들어, 제1 로지컬 프리 시냅스 뉴런(405a)에 포함된 제1 및 제2 프리 시냅스 인공 뉴런(105) 각각은 곱셈기를 포함할 수 있다. 곱셈기는, 계층을 구성하기 위해 이용된 프로그래밍 동작의 결과로서 프로그래밍되어 있을 수 있다.
제1 프리 시냅스 인공 뉴런(105)의 곱셈기는, 제1 프리 시냅스 인공 뉴런(105)의 출력 신호를 1배만큼 증폭하도록 프로그래밍되어 있을 수 있다. 제1 프리 시냅스 인공 뉴런(105)의 곱셈기는, 도 5에서 "x1"로 표시되어 있다. 제2 프리 시냅스 인공 뉴런(105)의 곱셈기는, 제2 프리 시냅스 인공 뉴런(105)의 출력 신호를 2배 만큼 증폭하도록 프로그래밍되어 있을 수 있다. 제2 프리 시냅스 인공 뉴런(105)의 곱셈기는, 도 5에서 "x2"로 표시되어 있다. 로지컬 프리 시냅스 뉴런(405) 중 다른 하나 내의 제1 및 제2 프리 시냅스 인공 뉴런(105)도 이와 유사하게 프로그래밍될 수 있다.
제1 로지컬 포스트 시냅스 뉴런(410a)에서, 제1 및 제2 포스트 시냅스 인공 뉴런(110) 각각은 곱셈기를 포함할 수 있다. 제1 포스트 시냅스 인공 뉴런(110)의 곱셈기는, 제1 포스트 시냅스 인공 뉴런(110)의 입력을 1배만큼 증폭하도록 프로그래밍되어 있을 수 있다. 제1 포스트 시냅스 인공 뉴런(110)의 곱셈기는, 도 5에서 "x1"로 표시되어 있다. 제2 포스트 시냅스 인공 뉴런(110)의 곱셈기는, 제2 포스트 시냅스 인공 뉴런(110)의 입력을 4배만큼 증폭하도록 프로그래밍되어 있을 수 있다. 제2 포스트 시냅스 인공 뉴런(110)의 곱셈기는, 도 5에서 "x4"로 표시되어 있다.
제1 로지컬 시냅스(415a)는, 1x1(즉, 가중치(
Figure 112018043271853-pat00004
)에 대한 1), 2x1(즉, 가중치(
Figure 112018043271853-pat00005
)에 대한 2), 1x4(즉, 가중치(
Figure 112018043271853-pat00006
)에 대한 4), 및 2x4(즉, 가중치(
Figure 112018043271853-pat00007
)에 대한 8)의 이득 인자 각각이 더 곱해지는 가중치들을 갖는, 네 개의 인공 시냅스(115)를 포함할 수 있다. 따라서, 제1 로지컬 시냅스(415a)는 4 비트의 정밀도로 프로그래밍이 가능한 가중치(
Figure 112018043271853-pat00008
)를 가질 수 있다. 각 곱셈기는, 곱셈 회로로써 (디지털 또는 아날로그) 하드 웨어로 구현될 수 있거나, 소프트웨어 또는 펌 웨어로 구현될 수 있다.
도 6은, 도 5에 도시된 바와 같이, 프리 시냅스 인공 뉴런(105), 포스트 시냅스 인공 뉴런(110) 및 인공 시냅스(115)의 세트와 동일한 것을 도시하고 있다. 다만, 도 6은, 도 5와 비교했을 때, 로지컬 시냅스(415)가 6비트의 정밀도로 프로그래밍이 가능한 가중치(
Figure 112018043271853-pat00009
)를 갖는 계층을 형성하도록 구성되는 차이가 있다.
각각의 로지컬 프리 시냅스 뉴런(405)은 N개의 프리 시냅스 인공 뉴런(105)을 포함할 수 있고, 각각의 로지컬 포스트 시냅스 뉴런(410)은 M개의 포스트 시냅스 인공 뉴런(110)을 포함할 수 있는 계층에 있어서, 프리 시냅스 인공 뉴런(105)의 곱셈기 각각은, N 이득 값 세트로부터 선택된 이득 인자로 출력 신호를 증폭시킬 수 있다. 여기서 N은 1보다 큰 정수일 수 있다. N 이득 값 세트는, A, 2A, 4A, ... 2N-1A일 수 있고, 여기서 A는 상수일 수 있다. 포스트 시냅스 인공 뉴런(110)의 곱셈기 각각은, M 이득 값 세트로부터 선택된 인자로 입력 신호를 증폭시킬 수 있다. 여기서 M은 1보다 큰 정수일 수 있다. M 이득 값 세트는, B, 2NB, 42NB, ... 2(M-1)NB일 수 있고, 여기서 B는 상수일 수 있다.
로지컬 프리 시냅스 뉴런(405)의 프리 시냅스 인공 뉴런(105) 각각의 출력 신호를 증폭시키는 이득 인자 각각은, 로지컬 프리 시냅스 뉴런(405)의 다른 프리 시냅스 인공 뉴런(105)이 그들의 출력 신호를 증폭시키는 이득 인자와 상이할 수 있다. 유사하게, 로지컬 포스트 시냅스 뉴런(410)의 포스트 시냅스 인공 뉴런(110) 각각의 입력 신호를 증폭시키는 이득 인자 각각은, 로지컬 포스트 시냅스 뉴런(410)의 다른 포스트 시냅스 인공 뉴런(110)이 그들의 입력 신호를 증폭시키는 이득 인자와 상이할 수 있다.
몇몇 실시예에서, 소정의 층에서, 모든 프리 시냅스 인공 뉴런(105)은 (그들 각각의 곱셈기의 이득 인자를 제외하고) 동일할 수 있고(즉, 이득 인자에 대해서만 오직 상이할 수 있다), 모든 포스트 시냅스 인공 뉴런(110)은 (그들 각각의 곱셈기의 이득 인자를 제외하고) 동일할 수 있고(즉, 이득 인자에 대해서만 오직 상이할 수 있다), 모든 시냅스는 (프로그래밍된 가중치를 제외하고) 동일할 수 있다. 이와 같이, 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크는 제조 후 적절한 프로그래밍에 의해 선택된 비트 정밀도를 갖는 가중치를 각각의 계층이 가짐으로써 제조될 수 있다. 이러한 본 발명의 기술적 사상의 몇몇 실시예에 따른 뉴럴 네트워크는, 뉴로모픽 아키텍처를 가지고 있다고 말할 수 있다.
도 7a를 참조하면, 몇몇 실시예에서, 각 프리 시냅스 인공 뉴런의 입력은 디지털 입력일 수 있고, 각 프리 시냅스 인공 뉴런의 곱셈기는 프리 시냅스 인공 뉴런의 입력과 연결된 디지털 곱셈기일 수 있고, 각 프리 시냅스 인공 뉴런은 디지털 아날로그 컨버터(digital to analog converter)를 더 포함할 수 있다. 디지털 아날로그 컨버터의 입력은 디지털 곱셈기의 출력과 연결될 수 있고, 디지털 아날로그 컨버터의 출력은 프리 시냅스 인공 뉴런의 출력과 연결될 수 있다. 이러한 실시예에서, 프로그래밍 가능한 이득 인자는, 곱셈기의 입력 중 어느 하나로 제공되는 디지털 레지스터로써 구현될 수 있다. 프리 시냅스 인공 뉴런의 활성 함수(activation function)는, 만약 프리 시냅스 인공 뉴런에 한 개가 포함된다면, 곱셈기 전 또는 후에 캐스케이드(cascade)로 연결되거나, 디지털 아날로그 컨버터 후에 캐스케이드로 연결될 수 있다. 프리 시냅스 인공 뉴런의 활성 함수가 곱셈기 전 또는 후에 캐스케이드로 연결되는 경우, 프리 시냅스 인공 뉴런의 활성 함수는 디지털 활성 함수일 수 있다. 프리 시냅스 인공 뉴런의 활성 함수가 디지털 아날로그 컨버터 후에 캐스케이드로 연결되는 경우, 프리 시냅스 인공 뉴런의 활성 함수는 아날로그 활성 함수일 수 있다.
도 7b를 참조하면, 몇몇 실시예에서, 각 포스트 시냅스 인공 뉴런의 출력은 디지털 출력일 수 있고, 각 포스트 시냅스 인공 뉴런의 곱셈기는 포스트 시냅스 인공 뉴런의 출력과 연결되는 디지털 곱셈 회로일 수 있고, 각 포스트 시냅스 인공 뉴런은 아날로그 디지털 컨버터(analog to digital converter)를 더 포함할 수 있다. 아날로그 디지털 컨버터의 입력은 포스트 시냅스 인공 뉴런의 입력과 연결될 수 있다. 아날로그 디지털 컨버터의 출력은 디지털 곱셈 회로의 입력과 연결될 수 있다. 이러한 실시예에서, 프로그래밍 가능한 이득 인자는 곱셈기의 입력 중 어느 하나로 제공되는 디지털 레지스터로써 구현될 수 있다. 포스트 시냅스 인공 뉴런의 활성 함수는, 만약 포스트 시냅스 인공 뉴런에 한 개가 포함된다면, 곱셈기 전 또는 후에 캐스케이드로 연결되거나, 아날로그 디지털 컨버터 전에 캐스케이드로 연결될 수 있다. 포스트 시냅스 인공 뉴런의 활성 함수가 곱셈기 전 또는 후에 캐스케이드로 연결되는 경우, 포스트 시냅스 인공 뉴런의 활성 함수는 디지털 활성 함수일 수 있다. 포스트 시냅스 인공 뉴런의 활성 함수가 아날로그 디지털 컨버터 전에 캐스케이드로 연결되는 경우, 포스트 시냅스 인공 뉴런의 활성 함수는 아날로그 활성 함수일 수 있다.
도 7c를 참조하면, 각 로지컬 포스트 시냅스 뉴런(410)의 포스트 시냅스 인공 뉴런(110)의 출력의 합산은, 디지털 합산 회로와 유사하게 수행될 수 있다. 뉴럴 네트워크의 다중 계층은 후속 계층의 로지컬 프리 시냅스 뉴런(405)의 입력에 대해, 로지컬 포스트 시냅스 뉴런(410)의 출력을 연결함으로써 서로 캐스케이드로 연결될 수 있다.
전술한 설명에 비추어, 몇몇 실시예들은 프로그래밍을 통해, 뉴럴 네트워크에서 가변 정밀도를 제공하기 위한 뉴로모픽 아키텍처를 제공할 수 있다. 로지컬 프리 시냅스 뉴런은 물리적인 프리 시냅스 인공 뉴런으로 구성가능한 세트로 형성될 수 있고, 로지컬 포스트 시냅스 뉴런은 물리적인 포스트 시냅스 인공 뉴런으로 구성가능한 세트로 형성될 수 있고, 로지컬 프리 시냅스 뉴런은 물리적인 인공 시냅스의 세트를 포함하는 로지컬 시냅스에 의해 로지컬 포스트 시냅스 뉴런에 연결될 수 있다.
로지컬 시냅스의 가중치의 정밀도는, 로지컬 프리 시냅스 뉴런 각각에서 물리적인 프리 시냅스 인공 뉴런의 개수를 변화시키거나, 및/또는 로지컬 포스트 시냅스 뉴런 각각에서 물리적인 포스트 시냅스 인공 뉴런의 개수를 변화시킴으로써 변화될 수 있다.
본 명세서에서 언급된 디지털 회로 각각은, 프로세싱 회로의 일부이거나, 프로세싱 회로일 수 있다. 프로세싱 회로는, 디지털 신호 또는 프로세스 데이터를 처리하기 위해 이용되는 소프트웨어, 펌 웨어 및 하드웨어의 임의의 조합일 수 있다. 프로세싱 회로 하드웨어는 예를 들어, ASIC(application specific integrated circuit), 범용 또는 특수 목적의 CPU(central processing unit), DSP(digital signal processor), GPU(graphics processing unit), 및 FPGA(field programmable gate array)와 같은 프로그래밍 가능한 로직 장치일 수 있다. 여기에 이용되는 프로세싱 회로에서, 각 기능은, 그 기능을 수행하기 위한 하드웨어(즉, 하드 와이어드(hard wired))에 의해, 또는 CPU와 같이 비일시적인 저장장치에 저장된 명령을 실행하는 범용 목적의 하드웨어에 의해 수행될 수 있다. 프로세싱 회로는, 인쇄 회로 기판 또는 상호 접속된 인쇄 회로 기판 상에 분산되어 제조될 수 있다. 프로세싱 회로는 예를 들어, 인쇄 회로 기판 상에 상호 접속된 CPU, FPGA 및 두 개의 프로세싱 회로를 포함하는 프로세싱 회로를 포함할 수 있다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
하나의 소자(elements)가 다른 소자와 "접속된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 "직접 접속된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다. 소자(elements) 또는 층이 다른 소자 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 소자 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 반면, 소자가 "직접 위(directly on)" 또는 "바로 위"로 지칭되는 것은 중간에 다른 소자 또는 층을 개재하지 않은 것을 나타낸다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
105: 프리 시냅스 인공 뉴런 110: 포스트 시냅스 인공 뉴런
115: 인공 시냅스

Claims (10)

  1. 복수의 프리 시냅스 인공 뉴런(pre-synaptic artificial neurons);
    복수의 포스트 시냅스 인공 뉴런(post-synaptic artificial neurons); 및
    상기 복수의 프리 시냅스 인공 뉴런 각각과 상기 복수의 포스트 시냅스 인공 뉴런 각각 사이에 연결되는 복수의 인공 시냅스를 포함하고,
    상기 복수의 인공 시냅스 각각은, 가중치를 갖고,
    상기 복수의 프리 시냅스 인공 뉴런 각각은, 제1 곱셈 회로를 포함하고,
    상기 제1 곱셈 회로는, 상기 복수의 프리 시냅스 인공 뉴런 각각의 출력 신호를 제1 이득 인자를 이용하여 증폭하도록 프로그래밍 가능하고,
    상기 제1 이득 인자는 N 이득 값 세트로부터 선택된 것이고,
    상기 N 이득 값 세트는, A, 2A, 4A, ... 2N -1A이고, N은 1보다 큰 정수이고, A는 상수이고,
    상기 복수의 프리 시냅스 인공 뉴런 각각에 대한 상기 제1 이득 인자는 서로 다르고,
    상기 복수의 포스트 시냅스 인공 뉴런 각각은, 제2 곱셈 회로를 포함하고,
    상기 제2 곱셈 회로는, 상기 복수의 포스트 시냅스 인공 뉴런 각각의 입력 신호를 증폭시키도록 프로그래밍 가능하고,
    상기 복수의 포스트 시냅스 인공 뉴런 각각은, 제2 이득 인자로 상기 복수의 포스트 시냅스 인공 뉴런 각각의 출력 신호를 증폭시키도록 프로그래밍되어 있고,
    상기 복수의 포스트 시냅스 인공 뉴런 각각의 제2 이득 인자는 서로 다른 뉴럴 네트워크.
  2. 제 1항에 있어서,
    상기 복수의 프리 시냅스 인공 뉴런 각각의 출력 신호는 전압인 뉴럴 네트워크.
  3. 제 2항에 있어서,
    상기 가중치는, 저항성 구성 요소의 컨덕턴스인 뉴럴 네트워크.
  4. 제 3항에 있어서,
    상기 저항성 구성 요소는,
    제1 컨덕턴스를 갖는 제1 상태; 및
    상기 제1 컨덕턴스와 상이한 제2 컨덕턴스를 갖는 제2 상태 중 어느 하나로 동작할 수 있는 뉴럴 네트워크.
  5. 제 1항에 있어서,
    상기 제2 곱셈 회로는, 상기 제2 곱셈 회로의 출력 신호를 제3 이득 인자를 이용하여 증폭시키고,
    상기 제3 이득 인자는 M 이득 값 세트로부터 선택된 것이고,
    상기 M 이득 값 세트는, , B, 2NB, 42NB, ... 2(M-1)NB이고, M은 1보다 큰 정수이고, B는 상수인 뉴럴 네트워크.
  6. 제1 로지컬 프리 시냅스 뉴런을 포함하는 복수의 로지컬 프리 시냅스 뉴런(logical pre-synaptic neuron);
    제1 로지컬 포스트 시냅스 뉴런을 포함하는 복수의 로지컬 포스트 시냅스 뉴런(logical post-synaptic neuron); 및
    복수의 로지컬 시냅스(logical synapses)를 포함하고,
    상기 제1 로지컬 프리 시냅스 뉴런은 입력을 포함하고, 상기 제1 로지컬 프리 시냅스 뉴런은 N개의 프리 시냅스 인공 뉴런을 포함하되, N은 1보다 큰 정수이고,
    상기 N개의 프리 시냅스 인공 뉴런 각각은 입력을 포함하고, 상기 N개의 프리 시냅스 인공 뉴런 각각의 입력 모두는, 상기 제1 로지컬 프리 시냅스 뉴런의 입력과 연결되고,
    상기 제1 로지컬 포스트 시냅스 뉴런은 출력을 포함하고,
    상기 제1 로지컬 포스트 시냅스 뉴런은, M개의 포스트 시냅스 인공 뉴런과, 합산 회로를 포함하고, M은 1보다 큰 정수이고,
    상기 합산 회로의 출력은, 상기 제1 로지컬 포스트 시냅스 뉴런의 출력과 연결되고,
    상기 합산 회로는 복수의 입력을 포함하고,
    상기 M개의 포스트 시냅스 인공 뉴런 각각의 출력은 상기 합산 회로의 복수의 입력 각각과 연결되는 뉴럴 네트워크.
  7. 제 6항에 있어서,
    상기 N개의 프리 시냅스 인공 뉴런 각각은, 제1 곱셈 회로를 포함하고,
    상기 제1 곱셈 회로는, 상기 제1 곱셈 회로의 출력을 제1 이득 인자를 이용하여 증폭하도록 프로그래밍 가능하고,
    상기 제1 이득 인자는, N 이득 값 세트로부터 선택된 것이고,
    상기 N 이득 값 세트는, A, 2A, 4A, ... 2NA이고,
    A는 상수인 뉴럴 네트워크.
  8. 제 7항에 있어서,
    상기 M개의 포스트 시냅스 인공 뉴런 각각은, 제2 곱셈 회로를 포함하고,
    상기 제2 곱셈 회로는, 상기 제2 곱셈 회로의 출력을 제2 이득 인자를 이용하여 증폭하도록 프로그래밍 가능하고,
    상기 제2 이득 인자는, M 이득 값 세트로부터 선택된 것이고,
    상기 M 이득 값 세트는, B, 2NB, 42NB, ... 2(M-1)NB이고,
    B는 상수인 뉴럴 네트워크.
  9. 제 6항에 있어서,
    상기 N개의 프리 시냅스 인공 뉴런 각각의 출력 신호는 전압이고,
    상기 복수의 로지컬 시냅스 각각은, 복수의 인공 시냅스를 포함하고,
    상기 복수의 인공 시냅스 각각은 가중치를 포함하고,
    상기 가중치는 저항성 구성 요소의 컨덕턴스이고,
    상기 M개의 포스트 시냅스 인공 뉴런 각각의 입력 신호는 전류인 뉴럴 네트워크.
  10. 제 9항에 있어서,
    상기 저항성 구성 요소는,
    제1 컨덕턴스를 갖는 제1 상태; 및
    상기 제1 컨덕턴스와 상이한 제2 컨덕턴스를 갖는 제2 상태 중 어느 하나로 동작할 수 있는 뉴럴 네트워크.
KR1020180050503A 2017-07-20 2018-05-02 뉴럴 네트워크 KR102078535B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762535187P 2017-07-20 2017-07-20
US62/535,187 2017-07-20
US15/891,220 2018-02-07
US15/891,220 US20190026627A1 (en) 2017-07-20 2018-02-07 Variable precision neuromorphic architecture

Publications (2)

Publication Number Publication Date
KR20190010413A KR20190010413A (ko) 2019-01-30
KR102078535B1 true KR102078535B1 (ko) 2020-02-19

Family

ID=65023012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180050503A KR102078535B1 (ko) 2017-07-20 2018-05-02 뉴럴 네트워크

Country Status (3)

Country Link
US (1) US20190026627A1 (ko)
KR (1) KR102078535B1 (ko)
CN (1) CN109284816A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210120440A (ko) 2020-03-26 2021-10-07 광운대학교 산학협력단 변환입력신호를 사용하는 신경망 회로

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210000987A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 아날로그-디지털 컨버터 및 이를 포함하는 뉴로모픽 컴퓨팅 장치
KR102380522B1 (ko) * 2019-08-21 2022-03-29 전북대학교산학협력단 아날로그 뉴런-시냅스 회로
US11200948B1 (en) * 2020-08-27 2021-12-14 Hewlett Packard Enterprise Development Lp System for a flexible conductance crossbar
CN113193110B (zh) * 2021-03-19 2023-01-17 中国科学院微电子研究所 基于磁畴壁驱动型磁隧道结的激活函数发生器及制备方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512466A (ja) * 1991-07-01 1993-01-22 Toshiba Corp ニユーラルネツトワーク装置
KR0170505B1 (ko) * 1995-09-15 1999-03-30 양승택 다층퍼셉트론 신경회로망의 n비트 데이타 표현에 의한 학습방법
KR101888468B1 (ko) * 2011-06-08 2018-08-16 삼성전자주식회사 Ｓｔｄｐ 기능 셀을 위한 시냅스, ｓｔｄｐ 기능 셀 및 ｓｔｄｐ 기능 셀을 이용한 뉴로모픽 회로
US9390369B1 (en) * 2011-09-21 2016-07-12 Brain Corporation Multithreaded apparatus and methods for implementing parallel networks
RU2604331C2 (ru) * 2014-11-05 2016-12-10 Айыысхан Иванович Алексеев Искусственный нейрон (варианты)
US10169701B2 (en) * 2015-05-26 2019-01-01 International Business Machines Corporation Neuron peripheral circuits for neuromorphic synaptic memory array based on neuron models
US11157800B2 (en) * 2015-07-24 2021-10-26 Brainchip, Inc. Neural processor based accelerator system and method
KR102519809B1 (ko) * 2015-12-30 2023-04-11 에스케이하이닉스 주식회사 뉴로모픽 소자의 시냅스들의 가중치를 업데이트하는 방법들
KR20170080431A (ko) * 2015-12-30 2017-07-10 에스케이하이닉스 주식회사 뉴로모픽 소자 및 뉴로모픽 소자의 저항 변화율을 조절하는 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210120440A (ko) 2020-03-26 2021-10-07 광운대학교 산학협력단 변환입력신호를 사용하는 신경망 회로

Also Published As

Publication number Publication date
KR20190010413A (ko) 2019-01-30
US20190026627A1 (en) 2019-01-24
CN109284816A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
KR102078535B1 (ko) 뉴럴 네트워크
US10762416B2 (en) Apparatus and method for normalizing neural network device
US9111222B2 (en) Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network
EP3414702A1 (en) Analog co-processor
US11966833B2 (en) Accelerating neural networks in hardware using interconnected crossbars
WO2012006465A1 (en) Methods and systems for cmos implementation of neuron synapse
WO2012015450A1 (en) Systems and methods for modeling binary synapses
US20210342678A1 (en) Compute-in-memory architecture for neural networks
KR102309013B1 (ko) 효율적인 음수 가중치 구현이 가능한 뉴로모픽 회로 시스템
CN111125616B (zh) 一种二维离散傅里叶变换运算电路及运算方法
US11922169B2 (en) Refactoring mac operations
EP3631800A1 (en) Deep learning in bipartite memristive networks
US11755894B2 (en) Computing circuitry for configuration and operation of cells and arrays comprising memristor elements
CN110059816B (zh) 一种基于忆阻器的神经网络单元电路
US20220138546A1 (en) Expandable neuromorphic circuit
KR101939359B1 (ko) 내부 연산 구조를 포함하는 mtj 메모리 장치
CN112889072A (zh) 用于降低功率消耗的系统、方法和装置
Zhang et al. Reconfigurable multivalued memristor FPGA model for digital recognition
US5625752A (en) Artificial neural system with binary weighting by equal resistor network
US20220101142A1 (en) Neural network accelerators resilient to conductance drift
Kawahara et al. High-speed software implementation of Huffman coding
US11556769B2 (en) Superconducting parametric amplifier neural network
CN113222131A (zh) 基于1t1r的可实现带符号权重系数的突触阵列电路
CN116523011B (zh) 基于忆阻的二值神经网络层电路及二值神经网络训练方法
KR20210113722A (ko) 트랜스포즈 매트릭스 곱셈이 가능한 매트릭스 곱셈기 구조 및 곱셈방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant