KR102574156B1 - 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로 - Google Patents

역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로 Download PDF

Info

Publication number
KR102574156B1
KR102574156B1 KR1020210088327A KR20210088327A KR102574156B1 KR 102574156 B1 KR102574156 B1 KR 102574156B1 KR 1020210088327 A KR1020210088327 A KR 1020210088327A KR 20210088327 A KR20210088327 A KR 20210088327A KR 102574156 B1 KR102574156 B1 KR 102574156B1
Authority
KR
South Korea
Prior art keywords
module
synaptic
modules
output
input
Prior art date
Application number
KR1020210088327A
Other languages
English (en)
Other versions
KR20230007690A (ko
Inventor
이형민
강민일
엄민성
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020210088327A priority Critical patent/KR102574156B1/ko
Priority to US17/825,574 priority patent/US20230011215A1/en
Publication of KR20230007690A publication Critical patent/KR20230007690A/ko
Application granted granted Critical
Publication of KR102574156B1 publication Critical patent/KR102574156B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Integrated Circuits (AREA)

Abstract

입력 전압을 생성하는 입력 모듈, 입력 모듈로부터 전달되는 전류를 측정하여 출력 전압을 생성하는 출력 모듈, 메모리 소자가 마련되어 가중치가 할당되며, 입력 모듈과 출력 모듈을 전기적으로 연결하여 출력 모듈에 전달되는 전류를 결정하는 시냅스 모듈 및 시냅스 모듈을 통과하는 전류의 방향을 제어하는 교차 모듈을 포함하는, 뉴로모픽 회로를 제공한다.

Description

역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로{NEUROMORPHIC CIRCUIT CAPABLE OF SETTING NEGATIVE WEIGHTS AND BACK PROPAGATION}
본 발명은 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로에 관한 것으로, 역전파와 음수 가중치의 설정이 가능하도록 마련되는 뉴로모픽 회로에 관한 것이다.
빅데이터 시대가 열린 이후 다양한 기술들이 등장하기 시작했고, 그 중에서도 딥러닝(Deep learning), 머신러닝(Machine Learning) 및 인공지능(Artificial intelligence)이 관심을 끌고 있다. 이와 같이, 빅데이터 기술이 등장하면서 수많은 데이터가 모델링에 이용되었고, 그에 따라, 인공지능의 정확성 및 효율성이 높아지고 있는 추세이다.
이를 위해, 딥러닝 및 인공지능을 효과적으로 수행하기 위한 다양한 기법들이 연구되고 있다. 현재 이용되고 있는 기술들은 대부분 슈퍼컴퓨터를 이용한 디지털 프로그래밍 기법을 이용하고 있으나, 이를 아날로그 형태로 적용하기 위해서 많은 연구들이 이뤄지고 있다.
이와 관련하여, 집적회로는 소형화, 신뢰성의 향상, 기능의 확대 및 비용 등의 다양한 장점을 가지고 있으며, 이에 따라, 집적 회로는 다양한 시스템에 적용되고 있다. 현재 슈퍼컴퓨터로 구현되고 있는 딥러닝 기술들은 많은 전력 소모 및 큰 면적으로 프로그램이 실행되는 단점이 있다.
이와 같은, 단점을 보완하기 위해서 뇌신경구조를 모방해 하드웨어 크기와 전력 소모를 대폭 줄일 수 있는 뉴로모픽 기술이 이슈화되는 추세이다. 아날로그로 구현된 뉴로모픽 시스템은 크로스바 어레이(crossbar-array)구조를 이용하여 고집적시킬 수 있어 뉴로모픽 하드웨어 구조로서 각광받고 있다.
이러한 뉴로모픽 시스템은 크게 두가지, 훈련(training)과 추론(inference)의 동작을 수행한다. 추론은 이미 정해진 가중치를 이용하여, 입력된 데이터로부터 결과값을 도출하는 과정이며, 훈련은 많은 데이터 세트를 입력시키고, 미리 정해진 답과 뉴로모픽 시스템에 의해 출력된 결과를 비교하여 가중치를 변화시키는 과정이다.
본 발명이 해결하고자 하는 기술적 과제는 시냅스 모듈에 흐르는 전류의 방향을 제어하여 순전파 또는 역전파의 동작이 가능하고, 시냅스 모듈에 입력되는 전압을 제어하여 음수 가중치 설정이 가능한 뉴로모픽 회로를 제공하는 것이다.
본 발명의 일측면은, 입력 전압을 생성하는 입력 모듈; 상기 입력 모듈로부터 전달되는 전류를 측정하여 출력 전압을 생성하는 출력 모듈; 메모리 소자가 마련되어 상기 메모리 소자에 가중치가 할당되며, 상기 입력 모듈과 상기 출력 모듈을 전기적으로 연결하여 상기 출력 모듈에 전달되는 전류를 결정하는 시냅스 모듈; 및 상기 시냅스 모듈을 통과하는 전류의 방향을 제어하는 교차 모듈;을 포함할 수 있다.
또한, 상기 교차 모듈은, 상기 입력 모듈과 상기 시냅스 모듈의 일측을 연결하는 제 1 스위치; 상기 출력 모듈과 상기 시냅스 모듈의 타측을 연결하는 제 2 스위치; 상기 입력 모듈과 상기 시냅스 모듈의 타측을 연결하는 제 3 스위치; 및 상기 출력 모듈과 상기 시냅스 모듈의 일측을 연결하는 제 4 스위치;를 포함할 수 있다.
또한, 상기 교차 모듈은, 전류가 상기 시냅스 모듈을 제 1 방향으로 통과하도록 설정되는 순전파 모드와, 전류가 상기 시냅스 모듈을 상기 제 1 방향의 반대 방향인 제 2 방향으로 통과하도록 설정되는 역전파 모드로 동작이 가능하도록 마련될 수 있다.
또한, 상기 교차 모듈은, 상기 순전파 모드에서 어느 하나의 컬럼 라인에 연결된 시냅스 모듈에 따라 상기 출력 모듈에 전류가 전달되도록 마련되며, 상기 역전파 모드에서 어느 하나의 로우 라인에 연결된 시냅스 모듈에 따라 상기 출력 모듈에 전류가 전달되도록 마련될 수 있다.
또한, 상기 교차 모듈은, 하나 이상의 입력 모듈과 복수개의 출력 모듈이 마련되는 경우 상기 입력 모듈의 개수와 동일한 개수의 출력 모듈을 선택하여, 선택된 출력 모듈과 상기 입력 모듈이 짝지어 연결되도록 마련될 수 있다.
또한, 상기 시냅스 모듈은, 하나 이상의 입력 모듈과 복수개의 출력 모듈이 마련되는 경우 상기 하나 이상의 입력 모듈과 동일한 개수의 로우 라인으로 시냅스 모듈이 배치되고, 상기 복수개의 출력 모듈과 동일한 개수의 컬럼 라인으로 시냅스 모듈이 배치될 수 있다.
또한, 상기 시냅스 모듈은, 상기 컬럼 라인의 개수와 상기 로우 라인의 개수가 동일한 경우, 어느 하나의 컬럼 라인에서 하나 이상의 로우 라인에 따라 배치된 하나 이상의 시냅스 모듈 각각의 가중치가 다른 컬럼 라인에서 상기 하나 이상의 로우 라인에 따라 배치된 하나 이상의 시냅스 모듈에 각각 교차되어 설정되도록 마련될 수 있다.
또한, 상기 시냅스 모듈은, 상기 컬럼 라인의 개수가 상기 로우 라인의 개수를 초과하는 경우 상기 복수개의 컬럼 라인 중 상기 로우 라인의 개수와 동일한 개수의 컬럼 라인에서만 상기 가중치가 교차되도록 설정될 수 있다.
또한, 상기 시냅스 모듈은, 상기 복수개의 컬럼 라인 중 상기 로우 라인의 개수를 초과하는 개수의 컬럼 라인에는 임의의 가중치가 설정될 수 있다.
또한, 상기 시냅스 모듈은, 상기 컬럼 라인으로 배치되는 시냅스 모듈의 개수가 상기 로우 라인으로 배치되는 시냅스 모듈의 개수보다 적거나, 같은 개수로 배치될 수 있다.
상술한 본 발명의 일측면에 따르면, 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로를 제공함으로써, 시냅스 모듈에 흐르는 전류의 방향을 제어하여 순전파 또는 역전파의 동작이 가능하고, 시냅스 모듈에 입력되는 전압을 제어하여 음수 가중치 설정이 가능할 수 있다.
도1은 본 발명의 일 실시예에 따른 뉴로모픽 회로의 회로도이다.
도2 내지 4는 도1의 시냅스 모듈의 일 실시예를 나타낸 회로도이다.
도5 내지 도8은 도1의 교차 모듈의 일 실시예를 나타낸 회로도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도1은 본 발명의 일 실시예에 따른 뉴로모픽 회로의 회로도이다.
뉴로모픽 회로(1)는 입력 모듈(10), 출력 모듈(20), 시냅스 모듈(30) 및 교차 모듈(40)을 포함할 수 있다.
또한, 뉴로모픽 회로(1)는 도 1에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수 있다. 또는, 뉴로모픽 회로(1)는 뉴로모픽 회로(1)에 마련되는 적어도 두 개의 구성요소가 하나의 구성요소로 통합되어 하나의 구성요소가 복합적인 기능을 수행할 수도 있다. 이하, 상술한 구성요소들에 대해 구체적으로 설명하기로 한다.
입력 모듈(10)은 입력 전압을 생성할 수 있다. 이에 따라, 입력 모듈(10)은 입력 전압을 생성하여, 뉴로모픽 회로(1)의 학습 또는 추론 과정에서 이용되는 입력 값을 나타낼 수 있다.
이를 위해, 입력 모듈(10)은 서로 다른 크기의 입력 전압을 생성하도록 마련될 수 있다.
출력 모듈(20)은 입력 모듈(10)로부터 전달되는 전류를 측정하여 출력 전압을 생성할 수 있다.
이때, 출력 모듈(20)은 뉴로모픽 회로(1)의 학습 과정에서 입력 전압에 대응되도록 출력 전압이 설정될 수 있으며, 이를 통해, 시냅스 모듈(30)은 가중치를 학습할 수 있다.
시냅스 모듈(30)은 메모리 소자(31)가 마련되어 메모리 소자(31)에 가중치가 할당될 수 있으며, 시냅스 모듈(30)은 입력 모듈(10)과 출력 모듈(20)을 전기적으로 연결하여 출력 모듈(20)에 전달되는 전류를 결정할 수 있다.
이에 따라, 시냅스 모듈(30)은 출력 모듈(20)에서 서로 다른 입력 전압에 대응되는 출력 전압이 생성되도록 가중치를 학습할 수 있으며, 여기에서, 시냅스 모듈(30)이 가중치를 학습하는 것은 서로 다른 입력 전압이 입력 모듈(10)에 입력되는 경우에, 출력 모듈(20)에서 각각의 입력 전압에 대응되는 출력 전압이 생성되도록 가중치의 값을 설정하는 것으로 이해할 수 있다.
예를 들어, 시냅스 모듈(30)은 메모리 소자(31)의 저항 값을 변경시켜 가중치를 설정할 수 있으며, 이를 위해, 시냅스 모듈(30)은 서로 다른 레벨의 컨덕턴스 설정이 가능할 수 있으며, 이에 따라, 시냅스 모듈(30)은 설정된 컨덕턴스가 기억되도록 마련될 수 있다. 예를 들어, 시냅스 모듈(30)은 상 변화 메모리(Phase Change Random Access Memory), 저항 변화 메모리(Resistive Random Access Memory), 강 유전체 메모리(FRAM, Ferroelectric Random Access Memory), 플래시 메모리(Flash Memory) 등이 이용될 수 있다.
이에 따라, 출력 모듈(20)은 뉴로모픽 회로(1)의 추론 과정에서 시냅스 모듈(30)에 설정된 가중치에 따른 전류를 입력 모듈(10)로부터 전달받을 수 있으며, 출력 모듈(20)은 전달된 전류에 따른 출력 전압을 생성할 수 있다.
이때, 뉴로모픽 회로(1)는 보다 복잡한 연산이 가능하도록 복수개의 시냅스 모듈(30)을 포함할 수도 있다.
교차 모듈(40)은 시냅스 모듈(30)을 통과하는 전류의 방향을 제어할 수 있다. 이를 통해, 뉴로모픽 회로(1)는 시냅스 모듈(30)의 가중치를 보다 정확하게 학습할 수 있으며, 또한, 뉴로모픽 회로(1)는 오류가 발생하는 경우에, 복수개의 시냅스 모듈(30) 중 어느 시냅스 모듈(30)에서 고장이 발생한 것인지를 신속히 판단가능할 수 있다.
이와 관련하여, 교차 모듈(40)이 시냅스 모듈(30)을 통과하는 전류의 방향을 제어하는 것은 뉴로모픽 회로(1)가 순전파(Forward propagation)에 의한 학습과 역전파(Back propagation)에 의한 학습을 수행할 수 있는 것으로 이해할 수 있다.
이때, 본 발명에 기재된 시냅스 모듈(30)을 통과하는 전류의 방향은 입력 모듈(10)에 설정된 입력 전압이 출력 모듈(20)에 설정된 출력 전압보다 큰 경우를 기준으로 설명하는 것으로 이해할 수 있다.
다만, 이러한 기준은 순전파와 역전파를 명확히 설명하기 위한 것으로 이해할 수 있으며, 따라서, 본 발명의 일 실시예에 따른 뉴로모픽 회로(1)는 순전파 또는 역전파에 의한 학습을 수행하는 과정에서 입력 전압이 출력 전압보다 작거나 같은 경우에는 실제 전류의 방향이 상기의 기준으로 설정된 방향과 다를 수 있음이 이해되어야 한다.
도2 내지 4는 도1의 시냅스 모듈의 일 실시예를 나타낸 회로도이다.
도2를 참조하면, 뉴로모픽 회로(1)에 하나의 시냅스 모듈(30)이 설치된 것을 확인할 수 있으며, 도3을 참조하면, 뉴로모픽 회로(1)에 복수개의 시냅스 모듈(30)이 설치된 것을 확인할 수 있다.
이와 관련하여, 시냅스 모듈(30)은 하나 이상의 입력 모듈(10)과 복수개의 출력 모듈(20)이 마련될 수 있으며, 이러한 경우에, 시냅스 모듈(30)은 하나 이상의 입력 모듈(10)과 동일한 개수의 로우 라인으로 시냅스 모듈(30)이 배치될 수 있고, 시냅스 모듈(30)은 복수개의 출력 모듈(20)과 동일한 개수의 컬럼 라인으로 시냅스 모듈(30)이 배치될 수 있다.
여기에서, 로우 라인은 행렬의 행을 의미하는 것으로 이해할 수 있으며, 컬럼 라인은 행렬의 열을 의미하는 것으로 이해할 수 있다.
이때, 시냅스 모듈(30)은 컬럼 라인으로 배치되는 시냅스 모듈(30)의 개수가 로우 라인으로 배치되는 시냅스 모듈(30)의 개수보다 적거나, 같은 개수로 배치될 수 있다.
바람직한 실시예에서, 시냅스 모듈(30)은 컬럼 라인으로 배치되는 시냅스 모듈(30)의 개수와 로우 라인으로 배치되는 시냅스 모듈(30)의 개수가 동일하게 배치될 수 있다.
한편, 도4를 참조하면, 두 개의 시냅스 모듈(30)이 각각 짝지어 연결된 것을 확인할 수 있다.
여기에서, 시냅스 모듈(30)이 짝지어 연결된다는 것은 시냅스 모듈(30)의 가중치를 결정하도록 시냅스 모듈(30)에 입력되는 신호가 서로 다른 시냅스 모듈(30)에 대해 동일하게 설정되는 것을 의미할 수 있다.
이를 위해, 시냅스 모듈(30)은 가중치가 생성되도록 신호를 생성하고, 생성된 신호를 유지하는 신호 발생기를 포함할 수도 있다.
이에 따라, 시냅스 모듈(30)이 짝지어 연결된다는 것은 서로 다른 시냅스 모듈(30)이 동일한 가중치를 나타내도록 설정되는 것을 의미할 수 있다.
이와 같이, 시냅스 모듈(30)은 컬럼 라인의 개수와 로우 라인의 개수가 동일한 경우, 어느 하나의 컬럼 라인에서 하나 이상의 로우 라인에 따라 배치된 하나 이상의 시냅스 모듈(30) 각각의 가중치가 다른 컬럼 라인에서 하나 이상의 로우 라인에 따라 배치된 하나 이상의 시냅스 모듈(30)에 각각 교차되어 설정되도록 마련될 수 있다.
예를 들어, 도4와 같이, 뉴로모픽 회로(1)는 컬럼 라인을 따르는 2개씩의 시냅스 모듈(30)과 로우 라인을 따르는 2개씩의 시냅스 모듈(30)이 마련되어 총 4개의 시냅스 모듈(30)이 마련되는 경우, 제 1 시냅스 모듈(31_a1)과 제 4 시냅스 모듈(31_b2)이 짝지어 연결될 수 있고, 제 2 시냅스 모듈(31_a2)과 제 3 시냅스 모듈(31_b1)이 짝지어 연결될 수 있다.
또한, 도3과 같이, 뉴로모픽 회로(1)는 컬럼 라인을 따르는 3개씩의 시냅스 모듈(30)과 로우 라인을 따르는 3개씩의 시냅스 모듈(30)이 마련되어 총 9개의 시냅스 모듈(30)이 마련되는 경우, 제 1 시냅스 모듈(31_a1), 제 6 시냅스 모듈(31_b3) 및 제 8 시냅스 모듈(31_c2)이 짝지어 연결될 수 있고, 제 2 시냅스 모듈(31_a2), 제 4 시냅스 모듈(31_b1) 및 제 9 시냅스 모듈(31_c3)이 짝지어 연결될 수 있으며, 제 3 시냅스 모듈(31_a3), 제 5 시냅스 모듈(31_b2) 및 제 7 시냅스 모듈(31_c1)이 짝지어 연결될 수 있다.
한편, 시냅스 모듈(30)은 컬럼 라인의 개수가 로우 라인의 개수를 초과하는 경우 복수개의 컬럼 라인 중 로우 라인의 개수와 동일한 개수의 컬럼 라인에서만 가중치가 교차되도록 설정될 수 있다.
이에 따라, 교차 모듈(40)은 컬럼 라인의 개수가 로우 라인의 개수를 초과하는 경우 복수개의 컬럼 라인 중 로우 라인의 개수와 동일한 개수의 컬럼 라인에만 연결되도록 마련될 수 있다.
이때, 시냅스 모듈(30)은 복수개의 컬럼 라인 중 로우 라인의 개수를 초과하는 개수의 컬럼 라인에는 임의의 가중치가 설정될 수 있다.
도5 내지 도8은 도1의 교차 모듈의 일 실시예를 나타낸 회로도이다.
교차 모듈(40)은 제 1 스위치(41), 제 2 스위치(42), 제 3 스위치(43) 및 제 4 스위치(44)를 포함할 수 있다.
제 1 스위치(41)는 입력 모듈(10)과 시냅스 모듈(30)의 일측을 연결하도록 마련될 수 있고, 제 2 스위치(42)는 출력 모듈(20)과 시냅스 모듈(30)의 타측을 연결하도록 마련될 수 있다.
제 3 스위치(43)는 입력 모듈(10)과 시냅스 모듈(30)의 타측을 연결하도록 마련될 수 있고, 제 4 스위치(44)는 출력 모듈(20)과 시냅스 모듈(30)의 일측을 연결하도록 마련될 수 있다.
이를 통해, 교차 모듈(40)은 전류가 시냅스 모듈(30)을 제 1 방향으로 통과하도록 설정되는 순전파 모드와, 전류가 시냅스 모듈(30)을 제 1 방향의 반대 방향인 제 2 방향으로 통과하도록 설정되는 역전파 모드로 동작이 가능하도록 마련될 수 있다.
예를 들어, 도5에서, 제 1 방향은 메모리 소자(31)의 상측 노드로부터 하측 노드로 전류가 진행하는 방향을 의미할 수 있으며, 제 2 방향은 메모리 소자(31)의 하측 노드로부터 상측 노드로 전류가 진행하는 방향을 의미할 수 있다.
다만, 여기에 기재된 제 1 방향과 제 2 방향은 입력 모듈(10)에 설정된 입력 전압이 출력 모듈(20)에 설정된 출력 전압보다 큰 경우를 기준으로 설명하는 것으로 이해할 수 있으며, 이에 따라, 순전파 모드에서 실제 전류의 방향은 입력 전압이 출력 전압보다 작거나 같은 경우에 제 1 방향과 다른 방향으로 이동할 수 있으며, 역전파 모드에서 실제 전류의 방향은 입력 전압이 출력 전압보다 작거나 같은 경우에 제 2 방향과 다른 방향으로 이동할 수 있다.
한편, 교차 모듈(40)은 순전파 모드로 동작하는 경우 제 1 스위치(41)와 제 2 스위치(42)를 턴 온 하여 전기적으로 통전되도록 설정할 수 있고, 교차 모듈(40)은 순전파 모드로 동작하는 경우 제 3 스위치(43)와 제 4 스위치(44)를 턴 오프 하여 전기적으로 차단되도록 설정할 수 있다.
또한, 교차 모듈(40)은 역전파 모드로 동작하는 경우 제 1 스위치(41)와 제 2 스위치(42)를 턴 오프 하여 전기적으로 차단되도록 설정할 수 있고, 교차 모듈(40)은 역전파 모드로 동작하는 경우 제 3 스위치(43)와 제 4 스위치(44)를 턴 온 하여 전기적으로 통전되도록 설정할 수 있다.
이에 따라, 교차 모듈(40)은 순전파 모드에서 어느 하나의 컬럼 라인에 연결된 시냅스 모듈(30)에 따라 출력 모듈(20)에 전류가 전달되도록 마련될 수 있으며, 교차 모듈(40)은 역전파 모드에서 어느 하나의 로우 라인에 연결된 시냅스 모듈(30)에 따라 출력 모듈(20)에 전류가 전달되도록 마련될 수 있다.
이와 관련하여, 도5를 참조하면, 하나의 시냅스 모듈(30)이 배치된 뉴로모픽 회로(1)가 순전파 모드로 동작하는 형태를 확인할 수 있으며, 도6을 참조하면, 하나의 시냅스 모듈(30)이 배치된 뉴로모픽 회로(1)가 역전파 모드로 동작하는 형태를 확인할 수 있다.
또한, 도7을 참조하면, 9개의 시냅스 모듈(30)이 배치된 뉴로모픽 회로(1)가 순전파 모드로 동작하는 형태를 확인할 수 있으며, 도8을 참조하면, 9개의 시냅스 모듈(30)이 배치된 뉴로모픽 회로(1)가 역전파 모드로 동작하는 형태를 확인할 수 있다.
이러한 경우에, 제 1 출력 모듈(20a)은 순전파 모드에서 제 1 컬럼 라인에 연결된 시냅스 모듈(31_a1, 31_b1, 31_c1)에 따른 전류를 전달받을 수 있고, 제 2 출력 모듈(20b)은 순전파 모드에서 제 2 컬럼 라인에 연결된 시냅스 모듈(31_a2, 31_b2, 31_c2)에 따른 전류를 전달받을 수 있으며, 제 3 출력 모듈(20c)은 순전파 모드에서 제 3 컬럼 라인에 연결된 시냅스 모듈(31_a3, 31_b3, 31_c3)에 따른 전류를 전달받을 수 있다.
또한, 제 1 출력 모듈(20a)은 역전파 모드에서 제 1 로우 라인에 연결된 시냅스 모듈(31_a3, 31_a2, 31_a1)에 따른 전류를 전달받을 수 있고, 제 2 출력 모듈(20b)은 역전파 모드에서 제 2 로우 라인에 연결된 시냅스 모듈(31_b3, 31_b2, 31_b1)에 따른 전류를 전달받을 수 있으며, 제 3 출력 모듈(20c)은 역전파 모드에서 제 3 로우 라인에 연결된 시냅스 모듈(31_c3, 31_c2, 31_c1)에 따른 전류를 전달받을 수 있다.
이와 관련하여, 시냅스 모듈(30)은 임의의 입력 모듈(10)에 설정된 입력 전압이 임의의 출력 모듈(20)에 설정된 출력 전압보다 낮은 경우에 가중치가 음수로 설정될 수 있다.
이때, 시냅스 모듈(30)은 상기 설명한 바와 같이, 서로 다른 컬럼 라인 및 로우 라인에 배치된 시냅스 모듈(30)과 짝지어 연결되어 대칭 구조로 가중치가 설정되는 것으로 이해할 수 있으며, 이를 통해, 시냅스 모듈(30)은 순전파 모드에서와 역전파 모드에서의 입력 전압과 출력 전압이 동일한 경우에 순전파 모드에서의 학습 결과와 역전파 모드에서의 학습 결과가 동일하게 나타날 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 뉴로모픽 회로
10: 입력 모듈 20: 출력 모듈
30: 시냅스 모듈 31: 메모리 소자
33: 신호 발생기 40: 교차 모듈
41: 제 1 스위치 42: 제 2 스위치
43: 제 3 스위치 44: 제 4 스위치

Claims (10)

  1. 서로 다른 크기의 입력 전압을 생성하는 입력 모듈;
    상기 입력 모듈에 대응되는 출력 전압을 생성하는 출력 모듈;
    상기 입력 모듈과 출력 모듈을 전기적으로 연결하여 상기 출력 모듈에서 서로 다른 입력 전압에 대응되는 출력 전압이 생성되도록 가중치를 설정하는 시냅스 모듈로서, 상기 시냅스 모듈은 적어도 하나 이상의 메모리 소자를 포함하고, 상기 메모리 소자의 저항 값을 변경시켜 상기 가중치를 설정하는 것인, 상기 시냅스 모듈; 및
    상기 시냅스 모듈을 통과하는 전류의 방향을 제어하는 교차 모듈;을 포함하고,
    상기 교차 모듈은,
    상기 입력 모듈과 상기 시냅스 모듈의 일측을 연결하는 제 1 스위치;
    상기 출력 모듈과 상기 시냅스 모듈의 타측을 연결하는 제 2 스위치;
    상기 입력 모듈과 상기 시냅스 모듈의 타측을 연결하는 제 3 스위치; 및
    상기 출력 모듈과 상기 시냅스 모듈의 일측을 연결하는 제 4 스위치;를 포함하는, 뉴로모픽 회로.
  2. 삭제
  3. 제1항에 있어서, 상기 교차 모듈은,
    전류가 상기 시냅스 모듈을 제 1 방향으로 통과하도록 설정되는 순전파 모드와, 전류가 상기 시냅스 모듈을 상기 제 1 방향의 반대 방향인 제 2 방향으로 통과하도록 설정되는 역전파 모드로 동작이 가능하도록 마련되는, 뉴로모픽 회로.
  4. 제3항에 있어서, 상기 교차 모듈은,
    상기 순전파 모드에서 어느 하나의 컬럼 라인에 연결된 시냅스 모듈에 따라 상기 출력 모듈에 전류가 전달되도록 마련되며, 상기 역전파 모드에서 어느 하나의 로우 라인에 연결된 시냅스 모듈에 따라 상기 출력 모듈에 전류가 전달되도록 마련되는, 뉴로모픽 회로.
  5. 제1항에 있어서, 상기 교차 모듈은,
    하나 이상의 입력 모듈과 복수개의 출력 모듈이 마련되는 경우 상기 입력 모듈의 개수와 동일한 개수의 출력 모듈을 선택하여, 선택된 출력 모듈과 상기 입력 모듈이 짝지어 연결되도록 마련되는, 뉴로모픽 회로.
  6. 제1항에 있어서, 상기 시냅스 모듈은,
    하나 이상의 입력 모듈과 복수개의 출력 모듈이 마련되는 경우 상기 하나 이상의 입력 모듈과 동일한 개수의 로우 라인으로 시냅스 모듈이 배치되고, 상기 복수개의 출력 모듈과 동일한 개수의 컬럼 라인으로 시냅스 모듈이 배치되는, 뉴로모픽 회로.
  7. 제6항에 있어서, 상기 시냅스 모듈은,
    상기 컬럼 라인의 개수와 상기 로우 라인의 개수가 동일한 경우, 어느 하나의 컬럼 라인에서 하나 이상의 로우 라인에 따라 배치된 하나 이상의 시냅스 모듈 각각의 가중치가 다른 컬럼 라인에서 상기 하나 이상의 로우 라인에 따라 배치된 하나 이상의 시냅스 모듈에 각각 교차되어 설정되도록 마련되는, 뉴로모픽 회로.
  8. 제6항에 있어서, 상기 시냅스 모듈은,
    상기 컬럼 라인의 개수가 상기 로우 라인의 개수를 초과하는 경우 상기 복수개의 컬럼 라인 중 상기 로우 라인의 개수와 동일한 개수의 컬럼 라인에서만 상기 가중치가 교차되도록 설정되는, 뉴로모픽 회로.
  9. 제8항에 있어서, 상기 시냅스 모듈은,
    상기 복수개의 컬럼 라인 중 상기 로우 라인의 개수를 초과하는 개수의 컬럼 라인에는 임의의 가중치가 설정되는, 뉴로모픽 회로.
  10. 제6항에 있어서, 상기 시냅스 모듈은,
    상기 컬럼 라인으로 배치되는 시냅스 모듈의 개수가 상기 로우 라인으로 배치되는 시냅스 모듈의 개수보다 적거나, 같은 개수로 배치되는, 뉴로모픽 회로.

KR1020210088327A 2021-07-06 2021-07-06 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로 KR102574156B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210088327A KR102574156B1 (ko) 2021-07-06 2021-07-06 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로
US17/825,574 US20230011215A1 (en) 2021-07-06 2022-05-26 Neuromorphic circuit capable of setting negative weights and back propagation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210088327A KR102574156B1 (ko) 2021-07-06 2021-07-06 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로

Publications (2)

Publication Number Publication Date
KR20230007690A KR20230007690A (ko) 2023-01-13
KR102574156B1 true KR102574156B1 (ko) 2023-09-01

Family

ID=84799100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210088327A KR102574156B1 (ko) 2021-07-06 2021-07-06 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로

Country Status (2)

Country Link
US (1) US20230011215A1 (ko)
KR (1) KR102574156B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020528611A (ja) 2017-07-26 2020-09-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 異なる重みの符号付きアナログ・コンダクタンス対によって人工ニューロン回路網に対するシナプス・ウェイトを構成するためのシステムおよび方法
JP2021500646A (ja) 2017-10-24 2021-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 人工ニューラル・ネットワークを訓練する方法および人工ニューラル・ネットワークを実施する装置（人工ニューラル・ネットワークの訓練）
JP2021503649A (ja) 2017-11-20 2021-02-12 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102218740B1 (ko) * 2018-05-23 2021-02-23 포항공과대학교 산학협력단 트랜스포즈가 가능한 가중치 셀 및 이의 어레이

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020528611A (ja) 2017-07-26 2020-09-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 異なる重みの符号付きアナログ・コンダクタンス対によって人工ニューロン回路網に対するシナプス・ウェイトを構成するためのシステムおよび方法
JP2021500646A (ja) 2017-10-24 2021-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 人工ニューラル・ネットワークを訓練する方法および人工ニューラル・ネットワークを実施する装置（人工ニューラル・ネットワークの訓練）
JP2021503649A (ja) 2017-11-20 2021-02-12 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラム

Also Published As

Publication number Publication date
US20230011215A1 (en) 2023-01-12
KR20230007690A (ko) 2023-01-13

Similar Documents

Publication Publication Date Title
US4951239A (en) Artificial neural network implementation
US10949735B2 (en) Artificial neuron apparatus
Simon Stochastic neural networks for solving job-shop scheduling. II. Architecture and simulations
Araujo et al. A neural network for shortest path computation
CN111433792A (zh) 可编程可重置人工神经网络的基于计数器的电阻处理单元
CN111052153B (zh) 使用半导体存储元件的神经网络运算电路及动作方法
US20210342678A1 (en) Compute-in-memory architecture for neural networks
US20170061278A1 (en) Synapse and neuromorphic device including the same
US20200167638A1 (en) Circuit neuronal apte à mettre en oeuvre un apprentissage synaptique
Vourkas et al. Massively parallel analog computing: Ariadne’s thread was made of memristors
CN111194467A (zh) 差分忆阻电路
CA2542055A1 (en) Method and apparatus for a chaotic computing module
KR102574156B1 (ko) 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로
KR20210090722A (ko) 신경망들을 위한 가중된 입력들을 생성하도록 구성된 메모리 셀들
US20220138546A1 (en) Expandable neuromorphic circuit
KR20200110582A (ko) 신경망을 위한 시냅스 스트링 및 시냅스 스트링 어레이
KR102114356B1 (ko) 3차원 크로스바 메모리 구조를 이용한 뉴로 모픽 소자
KR102279577B1 (ko) 신경망 모사 소자 및 신경망 모사 학습 시스템
CN114861900A (zh) 用于忆阻器阵列的权重更新方法和处理单元
Sugawara et al. Fault tolerant multi-layer neural networks with GA training
KR102448396B1 (ko) 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크
Bachrach et al. Connectionist modeling and control of finite state systems given partial state information
JP6968941B1 (ja) 抵抗変化型クロスバーアレイ装置
US11133063B1 (en) Suppressing undesired programming at half-selected devices in a crosspoint array of 3-terminal resistive memory
US20200134438A1 (en) Dynamic range and linearity of resistive elements for analog computing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant