KR20180116671A - 감산기를 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크 - Google Patents

감산기를 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크 Download PDF

Info

Publication number
KR20180116671A
KR20180116671A KR1020170049285A KR20170049285A KR20180116671A KR 20180116671 A KR20180116671 A KR 20180116671A KR 1020170049285 A KR1020170049285 A KR 1020170049285A KR 20170049285 A KR20170049285 A KR 20170049285A KR 20180116671 A KR20180116671 A KR 20180116671A
Authority
KR
South Korea
Prior art keywords
post
synaptic
synaptic neurons
column
neurons
Prior art date
Application number
KR1020170049285A
Other languages
English (en)
Inventor
이형동
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020170049285A priority Critical patent/KR20180116671A/ko
Priority to US15/805,001 priority patent/US11106971B2/en
Publication of KR20180116671A publication Critical patent/KR20180116671A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Integrated Circuits (AREA)

Abstract

프리-시냅틱 뉴런; 상기 프리-시냅틱 뉴런으로부터 로우 방향으로 연장하는 로우 라인; 포스트-시냅틱 뉴런; 상기 포스트-시냅틱 뉴런으로부터 컬럼 방향으로 연장하는 컬럼 라인; 및 상기 로우 라인과 상기 컬럼 라인의 교차점 상에 배치된 시냅스를 포함하는 뉴로모픽 소자가 설명된다. 상기 포스트-시냅틱 뉴런은 감산기를 포함한다.

Description

감산기를 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크{Neuromorphic Device Including a Post-Synaptic Neuron Having A SUBTRACTOR AND A SYNAPSE NETWORK OF THE NEUROMORPHIC DEVICE}
본 발명은 뉴로모픽 소자에 관한 것으로서, 특히 감산기 및 전달 함수 회로를 갖는 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크에 관한 것이다.
최근 인간의 뇌를 모방한 뉴로모픽 기술이 주목 받고 있다. 뉴로모픽 기술은 다수의 프리-시냅스 뉴런들, 다수의 포스트-시냅스 뉴런들, 및 다수의 시냅스들을 포함한다. 뉴로모픽 기술에 이용되는 뉴로모픽 소자는 학습된 상태에 따라 다양한 레벨, 크기, 또는 시간에 따른 펄스 또는 스파이크를 출력한다. 일반적으로, 시냅스 셀로 이용되는 가변 저항 소자들은 비대칭적인 특성을 갖는다. 상세하게, 시냅스 셀의 시냅스 가중치가 증가하는 경우의 저항 및 전도도 변화와 시냅스 가중치가 감소하는 경우의 저항 및 전도도 변화가 서로 대칭적이지 않다. 예를 들어, ReRAM (resistive random access memory) 또는 PCRAM (phase change random access memory)처럼 알려진 다양한 가변 저항성 소자들은 선형적 상승 저항 변화 및 비선형적 하강 저항 변화를 갖거나, 또는 비선형적 상승 저항 변화 및 선형적 하강 전화를 갖는다. 이 문제를 해결하기 위하여 두 개의 가변 저항성 소자들을 갖는 하나의 시냅스 셀이 제안되었다. 구체적으로, 가변 저항성 소자들의 저항 변화를 각각 양(+) 및 음(-)으로 해석하는 기술이 제안되었다. 그러나, 이 기술은 하나의 시냅스 셀이 점유하는 면적이 커서 뉴로모픽 소자의 집적도를 낮추고, 또한 높은 전압 및 전류를 요구하기 때문에 제품의 소형화도 어렵다.
본 발명이 해결하고자 하는 과제는 감산기를 갖는 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 양(+)의 시냅스 가중치 및 음(-)의 시냅스 가중치를 모두 갖는 시냅스를 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 데이터 패턴을 압축할 수 있는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크를 제공하는 것이다.
본 발명이 해결하고자 하는 다양한 과제들은 이상에서 언급한 과제들에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 뉴로모픽 소자는 프리-시냅틱 뉴런; 상기 프리-시냅틱 뉴런으로부터 로우 방향으로 연장하는 로우 라인; 포스트-시냅틱 뉴런; 상기 포스트-시냅틱 뉴런으로부터 컬럼 방향으로 연장하는 컬럼 라인; 및 상기 로우 라인과 상기 컬럼 라인의 교차점 상에 배치된 시냅스를 포함할 수 있다. 상기 포스트-시냅틱 뉴런은 감산기를 포함할 수 있다.
상기 감산기는 상기 컬럼 라인과 연결되어 컬럼 전류를 제공받는 비반전 입력 단자 및 참조 전류원과 연결되어 참조 전류를 제공받는 반전 입력 단자를 포함할 수 있다.
상기 포스트-시냅틱 뉴런은 상기 컬럼 라인과 상기 감산기 사이의 적분기를 더 포함할 수 있다.
상기 포스트-시냅틱 뉴런은 상기 감산기의 출력 단자와 연결된 전달 함수 회로를 더 포함할 수 있다. 상기 전달 함수 회로는 상기 감산기의 출력 전류를 시그모이드 곡선 형태로 변환할 수 있다.
상기 전달 함수 회로는 상기 감산기의 출력 전류가 음(-)으로 커질수록 0(zero)에 수렴하는 뉴런 전류를 출력할 수 있다.
상기 전달 함수 회로는 상기 감산기의 출력 전류가 양(+)으로 커질수록 최대 값에 수렴하는 뉴런 전류를 출력할 수 있다.
본 발명의 일 실시예에 의한 뉴로모픽 소자의 시냅스 네트워크는 제1 시냅스 레이어 및 제2 시냅스 레이어를 포함할 수 있다. 상기 제1 시냅스 레이어는 제1 프리-시냅틱 뉴런들; 상기 제1 프리-시냅틱 뉴런들로부터 연장하는 제1 로우 라인들; 제1 포스트-시냅틱 뉴런들; 상기 제1 포스트-시냅틱 뉴런들로부터 연장하는 제1 컬럼 라인들; 및 상기 제1 로우 라인들과 상기 제1 컬럼 라인들의 교차점들 상에 배치된 제1 시냅스들을 포함할 수 있다. 상기 제2 시냅스 레이어는 제2 프리-시냅틱 뉴런들; 상기 제2 프리-시냅틱 뉴런들로부터 연장하는 제2 로우 라인들; 제2 포스트-시냅틱 뉴런들; 상기 제2 포스트-시냅틱 뉴런들로부터 연장하는 제2 컬럼 라인들; 및 상기 제2 로우 라인들과 상기 제2 컬럼 라인들의 교차점들 상의 제2 시냅스들을 포함할 수 있다. 상기 제1 포스트-시냅틱 뉴런들은 각각, 제1 감산기들을 포함할 수 있다. 상기 제2 포스트-시냅틱 뉴런들은 각각, 제2 감산기들을 포함할 수 있다. 상기 제1 포스트-시냅틱 뉴런들과 상기 제2 프리-시냅틱 뉴런들이 각각, 전기적으로 연결될 수 있다.
상기 제1 로우 라인들의 수는 상기 제1 컬럼 라인들의 수보다 많을 수 있다.
상기 제1 컬럼 라인들의 수와 상기 제2 로우 라인들의 수는 동일할 수 있다.
상기 제2 로우 라인들의 수는 상기 제2 컬럼 라인들의 수보다 많을 수 있다.
상기 제1 감산기들은 각각, 상기 제1 컬럼 라인들과 연결되어 제1 컬럼 전류들을 제공받는 제1 비반전 입력 단자들 및 제1 참조 전류원과 연결되어 제1 참조 전류를 제공받는 제1 반전 입력 단자들을 포함할 수 있다. 상기 제2 감산기들은 각각, 상기 제2 컬럼 라인들과 연결되어 제2 컬럼 전류들을 제공받는 제2 비반전 입력 단자들 및 제2 참조 전류원과 연결되어 제2 참조 전류를 제공받는 제2 반전 입력 단자들을 포함할 수 있다.
상기 제1 참조 전류는 상기 제2 참조 전류보다 높을 수 있다.
상기 뉴로모픽 소자의 상기 시냅스 네트워크는 제3 시냅스 레이어를 더 포함할 수 있다. 상기 제3 시냅스 레이어는 제3 프리-시냅틱 뉴런들; 상기 제3 프리-시냅틱 뉴런들로부터 연장하는 제3 로우 라인들; 제3 포스트-시냅틱 뉴런들; 상기 제3 포스트-시냅틱 뉴런들로부터 연장하는 제3 컬럼 라인들; 및 상기 제3 로우 라인들과 상기 제3 컬럼 라인들의 교차점들 상의 제3 시냅스들을 포함할 수 있다. 상기 제3 포스트-시냅틱 뉴런들은 각각 제3 감산기들을 포함할 수 있다. 상기 제2 컬럼 라인들의 수와 상기 제3 로우 라인들의 수는 동일할 수 있다.
상기 제3 감산기들은 각각, 상기 제3 컬럼 라인들과 연결되어 제3 컬럼 전류를 제공받는 제3 비반전 입력 단자들 및 제3 참조 전류원과 연결되어 제3 참조 전압을 제공받는 제3 반전 입력 단자들을 포함할 수 있다.
상기 제1 포스트-시냅틱 뉴런들은 각각, 상기 제1 컬럼 라인들과 상기 제1 감산기들 사이의 제1 적분기들을 더 포함할 수 있다. 상기 제2 포스트-시냅틱 뉴런들은 각각, 상기 제2 컬럼 라인들과 상기 제2 감산기들 사이의 제2 적분기들을 더 포함할 수 있다.
본 발명의 일 실시예에 의한 뉴로모픽 소자는 입력 디바이스; 제1 및 제2 시냅스 레이어들; 및 출력 디바이스를 포함할 수 있다. 상기 제1 시냅스 레이어는 제1 프리-시냅틱 뉴런들; 상기 제1 프리-시냅틱 뉴런들로부터 연장하는 제1 로우 라인들; 제1 포스트-시냅틱 뉴런들; 상기 제1 포스트-시냅틱 뉴런들로부터 연장하는 제1 컬럼 라인들; 및 상기 제1 로우 라인들과 상기 제1 컬럼 라인들의 제1 교차점들 상에 배치된 제1 시냅스들을 포함할 수 있다. 상기 제1 포스트-시냅틱 뉴런들은 상기 제1 컬럼 라인들과 전기적으로 연결된 제1 비반전 입력 단자들 및 제1 참조 전류원들과 전기적으로 연결된 제1 반전 입력 단자들을 갖는 제1 감산기들을 포함할 수 있다. 상기 제2 시냅스 레이어는 제2 프리-시냅틱 뉴런들; 상기 제2 프리-시냅틱 뉴런들로부터 연장하는 제2 로우 라인들; 제2 포스트-시냅틱 뉴런들; 상기 제2 포스트-시냅틱 뉴런들로부터 연장하는 제2 컬럼 라인들; 및 상기 제2 로우 라인들과 상기 제2 컬럼 라인들의 교차점들 상에 배치된 제2 시냅스들을 포함할 수 있다. 상기 제2 포스트-시냅틱 뉴런들은 상기 제2 컬럼 라인들과 전기적으로 연결된 제2 비반전 입력 단자들 및 제2 참조 전류원들과 전기적으로 연결된 제2 반전 입력 단자들을 갖는 제2 감산기들을 포함할 수 있다.
상기 제1 및 제2 포스트-시냅틱 뉴런들은 각각, 상기 제1 및 제2 컬럼 라인들과 상기 제1 및 제2 감산기들의 상기 제1 및 제2 비반전 입력 단자들 사이에 배치된 제1 및 제2 적분기들을 더 포함할 수 있다.
상기 제1 포스트-시냅틱 뉴런들은 상기 제2 프리-시냅틱 뉴런들과 각각 전기적으로 연결될 수 있다. 상기 제1 포스트-시냅틱 뉴런들의 수는 상기 제2 프리-시냅틱 뉴런들의 수와 동일할 수 있다.
상기 제1 프리-시냅틱 뉴런들의 수는 상기 제1 포스트-시냅틱 뉴런들의 수보다 많을 수 있다.
상기 제2 프리-시냅틱 뉴런들의 수는 상기 제2 포스트-시냅틱 뉴런들의 수보다 많을 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 기술적 사상에 의하면, 하나의 시냅스 셀 만으로 양(+)의 시냅스 가중치 및 음(-)의 시냅스 가중치를 모두 구현할 수 있으므로 뉴로모픽 소자의 집적도를 높일 수 있고 소형화시킬 수 있다.
본 발명의 기술적 사상에 의하면, 참조 전류 값을 조절함으로써 압축 시냅스 네트워크를 구현할 수 있으므로, 제품이 간단하고 소형화될 수 있으며, 제품의 가격이 낮아진다.
기타 언급되지 않은 본 발명의 다양한 실시예들에 의한 효과들은 본문 내에서 언급될 것이다.
도 1은 본 발명의 일 실시예에 의한 뉴로모픽 소자의 시냅스 어레이를 개념적으로 도시한 블록다이아그램이다.
도 2a는 본 발명의 일 실시예에 의한 뉴로모픽 소자의 시냅스 어레이의 포스트-시냅틱 뉴런의 내부 회로를 개념적으로 도시한 도면이다.
도 2b는 도 2a의 포스트-시냅틱 뉴런의 뉴런 전류의 특성 곡선을 보이는 그래프이다.
도 3은 본 발명의 일 실시예에 의한 뉴로모픽 소자의 시냅스 어레이의 포스트-시냅틱 뉴런의 내부 회로를 개념적으로 도시한 도면이다.
도 4 및 도 5는 각각, 본 발명의 기술적 사상의 실시예들에 의한 시냅스 네트워크들을 개념적으로 보이는 도면들이다.
도 6a는 도 5의 포스트-시냅틱 뉴런들의 내부 회로들을 간략하게 도시한 블록 다이아그램들이고, 및 도 6b는 참조 전류들에 따른 전류 차들 및 뉴런 전류들의 출력 그래프이다.
도 7은 도 5의 포스트-시냅틱 뉴런들의 내부 회로들을 간략하게 도시한 블록 다이아그램이다.
도 8은 본 발명의 기술적 사상의 일 실시예에 의한 다층 시냅스 레이어들을 가진 뉴로모픽 소자의 시냅스 네트워크를 개념적으로 보이는 도면이다.
도 9는 본 발명의 일 실시예에 따른 패턴 인식 시스템을 개념적으로 도시한 블록다이아그램이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 ‘포함한다(comprises)’ 및/또는 ‘포함하는(comprising)’은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
하나의 소자(elements)가 다른 소자와 ‘접속된(connected to)’ 또는 ‘커플링된(coupled to)’ 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 ‘직접 접속된(directly connected to)’ 또는 ‘직접 커플링된(directly coupled to)’으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. ‘및/또는’은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
공간적으로 상대적인 용어인 ‘아래(below)’, ‘아래(beneath)’, ‘하부(lower)’, ‘위(above)’, ‘상부(upper)’ 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성 요소들과 다른 소자 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 ‘아래(below)’ 또는 ‘아래(beneath)’로 기술된 소자는 다른 소자의 ‘위(above)’에 놓여질 수 있다.
명세서 전문에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지칭한다. 따라서, 동일한 참조 부호 또는 유사한 참조 부호들은 해당 도면에서 언급 또는 설명되지 않았더라도, 다른 도면을 참조하여 설명될 수 있다. 또한, 참조 부호가 표시되지 않았더라도, 다른 도면들을 참조하여 설명될 수 있다.
본 명세서에서, 강화(potentiation), 셋(set), 및 학습(learning)이 동일하거나 유사한 용어로 사용되고, 및 억제(depressing), 리셋(reset), 및 초기화(initiation)가 동일하거나 유사한 의미로 사용될 것이다. 예를 들어, 시냅스들의 저항을 낮추는 동작이 강화, 셋, 또는 학습으로 설명될 것이고, 및 시냅스들의 저항을 높이는 동작이 억제, 리셋, 또는 초기화로 설명될 것이다. 또한, 시냅스들이 강화, 셋, 또는 학습되면 전도도가 증가하므로 점진적으로 높은 전압/전류가 출력될 수 있고, 및 시냅스들이 억제, 리셋, 또는 초기화되면 전도도가 감소하므로 점진적으로 낮은 전압/전류가 출력될 수 있다. 설명의 편의를 위하여, 데이터 패턴, 전기적 신호, 펄스, 스파이크, 및 파이어(fire)는 동일하거나, 유사하거나, 또는 호환되는 의미인 것으로 해석될 수 있다. 또한, 전압과 전류도 동일하거나 호환되는 의미인 것으로 해석될 수 있다.
도 1은 본 발명의 일 실시예에 의한 뉴로모픽 소자의 시냅스 어레이를 개념적으로 도시한 블록다이아그램이다. 도 1을 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 소자의 시냅스 어레이는 다수 개의 프리-시냅틱 뉴런들(10)(pre-synaptic neurons), 다수 개의 포스트-시냅틱 뉴런들(20)(post-synaptic neurons), 및 시냅스들(30)(synapses)을 포함할 수 있다. 시냅스들(30)은 프리-시냅틱 뉴런들(10)로부터 로우 방향으로 연장하는 로우 라인들(R)(row lines) 및 포스트-시냅틱 뉴런들(20)로부터 컬럼 방향으로 연장하는 컬럼 라인들(C)(column lines)의 교차점들 상에 배치될 수 있다. 본 발명의 기술적 사상을 이해하기 쉽도록 설명하기 위하여 도 1에는 예시적으로 각각 네 개의 프리-시냅틱 뉴런들(10) 및 포스트-시냅틱 뉴런들(20)이 도시되었다.
프리-시냅틱 뉴런들(10)은 학습 모드 (learning mode), 리셋 모드(reset mode), 또는 독출 모드 (reading mode) 에서 로우 라인들(R)을 통하여 시냅스들(30)로 전기적 펄스들(pulses)을 전송할 수 있다. 포스트-시냅틱 뉴런들(20)은 학습 모드 또는 리셋 모드에서 컬럼 라인들(C)을 통하여 시냅스들(30)로 전기적 펄스를 전송할 수 있고, 및 독출 모드에서 컬럼 라인들(C)을 통하여 시냅스들(30)로부터 전기적 펄스를 수신할 수 있다. 각 시냅스들(30)은 가변 저항 소자(variable resistive device) 같은 2극 소자를 포함할 수 있다. 예를 들어, 프리-시냅틱 뉴런들(10)과 전기적으로 연결된 제1 전극 및 포스트-시냅틱 뉴런들(20)과 전기적으로 연결된 제2 전극을 포함할 수 있다. 시냅스들(30) 멀티 저항 레벨들을 가질 수 있다. 시냅스들(30)은 프리-시냅틱 뉴런들(10) 및/또는 포스트-시냅틱 뉴런들(20)로부터 입력되는 펄스들의 입력 횟수, 시간 차, 및/또는 전압 차 등에 의하여 점진적으로 고저항 상태 또는 저저항 상태로 변화될 수 있다.
도 2a는 본 발명의 일 실시예에 의한 뉴로모픽 소자의 시냅스 어레이의 포스트-시냅틱 뉴런(20A)의 내부 회로를 개념적으로 도시한 도면이다.
도 2a를 참조하면, 상기 시냅스 어레이의 포스트-시냅틱 뉴런(20A)은 감산기(21)(subtractor) 및 전달 함수 회로(25)(transfer functional circuit)를 포함할 수 있다. 시냅스(30)와 감산기(21)는 하나의 컬럼 라인(C)을 통하여 전기적으로 연결될 수 있다. 즉, 동일한 컬럼 라인(C) 상에 배치된 다수 개의 시냅스들(30)은 공통적으로 동일한 포스트-시냅틱 뉴런(20A)의 감산기(21)와 전기적으로 연결될 수 있다. 하나의 컬럼 라인(C) 상에 배치된 다수 개의 시냅스들(30)은 각각, 프리-시냅틱 뉴런들(10)과 로우 라인들(R)을 통하여 전기적으로 연결될 수 있다.
감산기(21)는 컬럼 라인(C)과 전기적으로 연결되어 컬럼 전류(IC)를 제공받는 비반전 입력 단자 및 참조 전류원과 전기적으로 연결되어 참조 전류(IR)를 제공받는 반전 입력 단자를 포함할 수 있다. 상세하게, 감산기(21)는 컬럼 전류(IC)로부터 참조 전류(IR)를 뺀 전류 차(ID)를 출력할 수 있다. 예를 들어, 컬럼 전류(IC)와 참조 전류(IR)가 동일한 경우, 전류 차(ID)는 실질적으로 0(zero)일 것이다. 또한, 컬럼 전류(IC)가 참조 전류(IR)보다 적은 양(+)의 전류 값을 가질 경우, 전류 차(ID)는 음(-)의 값을 가질 것이다. 따라서, 본 발명의 기술적 사상에 의하면 시냅스(30)는 양(+)의 시냅스 가중치 및 음(-)의 시냅스 가중치를 모두 갖는 것으로 해석될 수 있다. 시냅스(30)는 가변 저항 소자이므로 수동형 소자(passive device)로서 음(-)의 시냅스 가중치를 가질 수 없으나, 본 발명의 기술적 사상에 의하면 시냅스(30)가 음(-)의 시냅스 가중치를 갖는 것으로 해석 및 간주될 수 있다. 따라서, 본 발명의 기술적 사상에 의하면 하나의 시냅스(30)가 하나의 가변 저항성 소자만을 가지므로 점유 면적이 작고, 전력 소모가 낮아질 수 있으므로 제품의 소형화가 가능하다. 또한, 본 발명의 기술적 사상에 의한 시냅스(30)는 양(+)의 시냅스 가중치만을 갖는 경우보다 넓은 가중치 스펙트럼을 가질 수 있다.
전달 함수 회로(25)는 전류 차(ID)를 입력 받아 뉴런 전류(IN)를 출력할 수 있다. 뉴런 전류(IN)의 특성 곡선이 도 2b에 도시되었다.
도 2b를 참조하면, 전달 함수 회로(25)는 시그모이드 변환 회로를 포함할 수 있다. 따라서, 전달 함수 회로(25)는 감산기(21)의 출력 전류, 즉 전류 차(ID)에 따라 시그모이드 곡선 모양으로 변화하는 뉴런 전류(IN)를 출력할 수 있다. 예를 들어, 뉴런 전류(IN)는 전류 차(ID)가 음(-)으로 커질수록 0 (zero)에 수렴할 수 있고, 및 전류 차(ID)가 양(+)으로 커질수록 특정한 최대 값(M)에 수렴할 수 있다. 즉, 전류 차(ID)는 음(-)의 값을 가질 수 있으나, 뉴런 전류(IR)는 0(zero) 또는 양(+)의 값을 가질 수 있다.
도 3은 본 발명의 일 실시예에 의한 뉴로모픽 소자의 시냅스 어레이의 포스트-시냅틱 뉴런(20B)의 내부 회로를 개념적으로 도시한 도면이다.
도 3을 참조하면, 상기 시냅스 어레이의 포스트-시냅틱 뉴런(20B)은 적분기(27), 감산기(21), 및 전달 함수 회로(25)를 포함할 수 있다. 적분기(27)는 동일한 컬럼 라인(C) 상에 배치된 다수 개의 시냅스들(30)의 시냅스 가중치들, 예를 들어 제1 컬럼 신호(ICA)를 받아 적분하여, 적분된 시냅스 가중치들, 예를 들어 제2 컬럼 신호(ICB)를 감산기(21)의 비반전 입력 단자로 제공할 수 있다. 감산기(21)는 제2 컬럼 전류(ICB)로부터 참조 전류(IR)를 뺀 전류 차(ID)를 전달 함수 회로(25)로 제공할 수 있다. 전달 함수 회로(25)는 전류 차(ID)를 입력 받아 뉴런 전류(IN)를 출력할 수 있다.
도 4는 본 발명의 기술적 사상의 일 실시예에 의한 시냅스 네트워크를 개념적으로 보이는 도면이다. 도 4를 참조하면, 상기 시냅스 네트워크는 입력 디바이스(Di), 출력 디바이스(Do), 및 입력 디바이스(Di)와 출력 디바이스(Do) 사이의 다수 개의 시냅스 레이어들(L1, L2)을 포함할 수 있다. 예를 들어, 상기 시냅스 네트워크가 두 개의 시냅스 레이어들(L1, L2)을 갖는 것으로 가정, 설명된다.
입력 디바이스(Di)는 이미지 센서, 스캐너, 키보드, 마우스, 터치 패널, 터치 펜, 마이크로폰, 사운드 리시버, 샘플러, 또는 기타 다양한 인식 장치를 포함할 수 있다. 다른 실시예에서, 입력 디바이스(Di)는 프리-프로세서를 포함할 수 있다. 프리-프로세서는 초기 데이터 패턴을 추출하여 제1 시냅스 레이어(L1)로 제공할 수 있다.
출력 디바이스(Do)는 디스플레이 모니터, 태블릿, 프린터, 스피커, 프로젝터, 또는 기타 다양한 표시 장치를 포함할 수 있다.
다수 개의 시냅스 레이어들(L1, L2)는 예를 들어, 제1 시냅스 레이어(L1) 및 제2 시냅스 레이어(L2)를 포함할 수 있다. 시냅스 레이어들(L1, L2)은 각각, 제1 및 제2 프리-시냅틱 뉴런들(10_1, 10_2), 제1 및 제2 시냅스 어레이들(30_1, 30_2), 및 제1 및 제2 포스트-시냅틱 뉴런들(20_1, 20_2)을 포함할 수 있다.
입력 디바이스(Di)로부터 제공된 초기 데이터 패턴은 제1 프리-시냅틱 뉴런들(10_1)에 의하여 제1 프리-시냅틱 뉴런 신호들로 변환된 후, 제1 시냅스 어레이(30_1)로 입력되어 제1 시냅스 어레이(30_1) 내의 제1 시냅스들을 학습시킬 수 있다. 즉, 초기 데이터 패턴은 제1 시냅스 어레이(30_1) 내의 제1 시냅스들 내에 제1 데이터 패턴으로 저장될 수 있다.
제1 데이터 패턴은 제1 컬럼 신호들로 변환되어 제1 포스트-시냅틱 뉴런들(20_1)로 제공될 수 있다. 제1 컬럼 신호들은 제1 포스트-시냅틱 뉴런들(20_1)에 의하여 양(+) 또는 음(-)의 값을 갖는 제1 전류 차들로 변환된 후, 시그모이드 곡선 모양의 변화를 갖는 제1 포스트-시냅틱 뉴런 신호들로 출력될 수 있다.
제1 포스트-시냅틱 뉴런 신호들은 제2 시냅스 레이어(L2)로 제공될 수 있다. 상세하게, 제1 포스트-시냅틱 뉴런 신호들은 제2 시냅스 레이어(L2)의 해당하는 제2 프리-시냅틱 뉴런들(10_2)로 각각 제공될 수 있다.
제2 프리-시냅틱 뉴런들(10_2)은 제1 포스트-시냅틱 뉴런 신호들을 제2 프리-시냅틱 뉴런 신호들로 변환하여 제2 시냅스 어레이(30_2)로 제공할 수 있다. 제2 프리-시냅틱 뉴런 신호들은 제2 시냅스 어레이(30_2) 내의 제2 시냅스들을 학습시킬 수 있다. 즉, 제1 데이터 패턴은 제2 시냅스 어레이(30_2) 내의 제2 시냅스들 내에 제2 데이터 패턴으로 저장될 수 있다.
제2 데이터 패턴은 제2 컬럼 신호들로 변환되어 제2 포스트-시냅틱 뉴런들(20_2)로 제공될 수 있다. 제2 컬럼 신호들은 제2 포스트-시냅틱 뉴런들(20_2)에 의하여 양(+) 또는 음(-)의 값을 갖는 제2 전류 차들로 변환된 후, 시그모이드 곡선 모양의 변화를 갖는 제2 포스트-시냅틱 뉴런 신호들로 출력될 수 있다.
제2 포스트-시냅틱 뉴런 신호들은 출력 디바이스(Do)로 제공될 수 있다. 출력 디바이스(Do)는 제2 포스트-시냅틱 뉴런 신호들을 시각적 또는 청각적 패턴으로 변환하여 출력할 수 있다.
본 실시예에서, 도 2b를 더 참조하여, 제1 포스트-시냅틱 뉴런들(20_1) 및 제2 포스트-시냅틱 뉴런들(20_2)은 각각, 감산기(21) 및 전달 함수 회로(25)를 포함할 수 있다.
도 5는 본 발명의 기술적 사상의 일 실시예에 의한 시냅스 네트워크를 개념적으로 보이는 도면이다. 도 5를 참조하면, 상기 시냅스 네트워크는 입력 디바이스(Di), 다수의 시냅스 레이어들(L1~L3), 및 출력 디바이스(Do)를 포함할 수 있다. 예를 들어, 본 실시예에 의한 시냅스 네트워크는 데이터를 압축시킬 수 있다. 상세하게, 제1 시냅스 레이어(L1)는 제1 로우 라인들(R1) 및 제1 컬럼 라인들(C1)을 가질 수 있다. 제1 컬럼 라인들(C1)의 총 수는 제1 로우 라인들(R1)의 총 수보다 적을 수 있다. 제2 시냅스 레이어(L2)는 제2 로우 라인들(R2) 및 제2 컬럼 라인들(C2)을 가질 수 있다. 제2 컬럼 라인들(C2)의 총 수는 제2 로우 라인들(R2)의 총 수보다 적을 수 있다. 제1 컬럼 라인들(C1)의 총 수와 제2 로우 라인들(R2)의 총 수는 동일할 수 있다. 제3 시냅스 레이어(L3)는 제3 로우 라인들(R3) 및 제3 컬럼 라인들(C3)을 가질 수 있다. 제3 컬럼 라인들(C3)의 총 수는 제3 로우 라인들(R3)의 총 수보다 적을 수 있다. 제2 컬럼 라인들(C2)의 총 수와 제3 로우 라인들(R3)의 총 수는 동일할 수 있다.
제1 시냅스 레이어(L1)의 제1 시냅스 어레이(30_1) 내의 제1 시냅스들 내에 학습 및 저장된 제1 데이터 패턴은 제2 시냅스 레이어(L2)의 제2 시냅스 어레이(30_2) 내의 제2 시냅스들 내에 제2 데이터 패턴으로 학습 및 저장될 수 있다. 제2 데이터 패턴은 압축된 제1 데이터 패턴을 포함할 수 있다. 제2 데이터 패턴은 제3 시냅스 레이어(L3)의 제3 시냅스 어레이(30_3) 내의 제3 시냅스들 내에 제3 데이터 패턴으로 학습 및 저장될 수 있다. 제3 데이터 패턴은 압축된 제2 데이터 패턴을 포함할 수 있다.
예를 들어, 하나의 초기 데이터 패턴은 제1 시냅스 레이어(L1)의 제1 컬럼 라인들(C1) 중 하나의 컬럼 라인 상에 배치된 제1 시냅스들 내에 학습 및 저장될 수 있다. 즉, 다양한 형태의 초기 데이터 패턴들은 제1 컬럼 라인들(C1) 중 하나의 컬럼 라인 상에 배치된 제1 시냅스들 내에 각각, 제1 데이터 패턴으로 학습 및 저장될 수 있다.
마찬가지로, 각 제1 컬럼 라인들(C1)을 통하여 출력된 제1 데이터 패턴의 전기적 신호들은 각각, 제2 시냅스 레이어(L2) 내의 제2 컬럼 라인들(C2) 상의 제2 시냅스들 내에 제2 데이터 패턴으로 학습 및 저장될 수 있다. 즉, 제1 데이터 패턴은 제2 데이터 패턴으로 압축될 수 있다.
또한, 마찬가지로, 각 제2 컬럼 라인들(C2)을 통하여 출력된 제2 데이터 패턴의 전기적 신호들은 각각, 제3 시냅스 레이어(L3) 내의 제3 컬럼 라인들(C3) 상의 제3 시냅스들 내에 제3 데이터 패턴으로 학습 및 저장될 수 있다. 즉, 제2 데이터 패턴은 제3 데이터 패턴으로 압축될 수 있다.
제3 데이터 패턴은 각 제3 컬럼 라인들(C3)을 통하여 출력 디바이스(Do)로 출력될 수 있다.
본 실시예에서, 제1 로우 라인들(R1)의 총 수를 NR1라 하고, 제1 컬럼 라인들(C1)의 총 수를 NC1라 하고, 제2 로우 라인들(R2)의 총 수를 NR2라 하고, 제2 컬럼 라인들(C2)의 총 수를 NC2라 하고, 제3 로우 라인들(R3)의 총 수를 NR3라 하고, 및 제3 컬럼 라인들(C3)의 총 수를 NC3라 하면, NR1 > NC1 = NR2 > NC2 = NR3 > NC3 일 수 있다. 따라서, 총 NR1 개의 시냅스들을 필요로 하는 데이터 패턴이 총 NC3 개의 시냅스들을 필요로 하는 데이터 패턴으로 압축될 수 있다.
제1 로우 라인들(R1)의 총 수는 입력될 데이터 패턴의 총 개수와 동일할 수 있다. 제3 로우 라인들(R3)의 총 수는 출력된 데이터 패턴의 총 개수와 동일할 수 있다. 만약, 입력될 데이터 패턴이 이미지 패턴인 경우, 다수 개의 픽셀들로 분리된 이미지 패턴의 데이터 개수는 제1 로우 라인들(R1)의 총 수와 동일할 수 있다. 예를 들어, 본 발명의 기술적 사상의 일 실시예에서, 제1 시냅스 레이어(L1)가 784개의 제1 로우 라인들(R1) 및 250개의 제1 컬럼 라인들(C1)을 갖고, 제2 시냅스 레이어(L2)가 제1 컬럼 라인들(C1)과 같은 250개의 제2 로우 라인들(R2) 및 125개의 제2 컬럼 라인들(C2)을 갖고, 및 제3 시냅스 레이어(L3)가 제2 컬럼 라인들(C2)과 같은 125개의 제3 로우 라인들(R3) 및 10개의 제3 컬럼 라인들(C3)을 가질 수 있다. 본 발명의 기술적 사상의 또 다른 일 실시예에서, 각 로우 라인들(R1~R3) 및 컬럼 라인들(C1~C3)의 수는 다양하게 설정될 수 있다. 따라서, 본 발명의 기술적 사상의 일 실시예에 의한 뉴로모픽 소자의 시냅스 네트워크로 784개의 픽셀로 분리된 초기 이미지 패턴으로 제1 시냅스 레이어(L1)로 입력될 수 있고, 및 10 개의 픽셀로 압축된 최종 이미지 패턴으로 출력될 수 있다.
도 6a는 도 5의 포스트-시냅틱 뉴런들(20_1~20_3)의 내부 회로들을 간략하게 도시한 블록 다이아그램들이고, 및 도 6b는 참조 전류들(IR1~IR3)에 따른 전류 차들(ID1~ID3) 및 뉴런 전류들(IN1~IN3)의 출력 그래프이다.
도 6a를 참조하면, 제1 포스트-시냅틱 뉴런(20_1)은 제1 감산기(21_1) 및 제1 전달 함수 회로(25_1)를 포함할 수 있고, 제2 포스트-시냅틱 뉴런(20_2)은 제2 감산기(21_2) 및 제2 전달 함수 회로(25_2)를 포함할 수 있고, 및 제3 포스트-시냅틱 뉴런(20_3)은 제3 감산기(21_3) 및 제3 전달 함수 회로(25_3)를 포함할 수 있다. 제1 감산기(21_1)의 제1 참조 전류(IR1)는 제2 감산기(21_2)의 제2 참조 전류(IR2) 보다 높을 수 있고, 및 제2 감산기(21_2)의 제2 참조 전류(IR2)는 제3 감산기(21_3)의 제3 참조 전류(IR3) 보다 높을 수 있다. 예를 들어, 각 로우 라인들(R1~R3)의 수가 많을수록 참조 전류들(IR1~IR3)의 절대 값은 커질 수 있다. 본 실시예에서, 제1 로우 라인들(R1), 제2 로우 라인들(R2), 및 제3 로우 라인들(R3)의 수가 R1 > R2 > R3 이므로, 참조 전류들(IR1~IR3)은 IR1 > IR2 > IR3 일 수 있다.
도 6b를 참조하면, 본 발명의 기술적 사상의 일 실시예에 의한 뉴로모픽 소자의 시냅스 네트워크에서, 감산기들(21_1~21_3)은 참조 전류들(IR1~IR3)에 따라 다양한 전류 차들(ID1~ID3)을 출력할 수 있다. 하나의 컬럼 라인들(C1~C3)과 연결된 로우 라인들(R1~R3)의 수 및/또는 시냅스들의 수가 많을수록 컬럼 전류들(IC1~IC3)의 총 합이 크므로, 그에 비례하도록 참조 전류들(IR1~IR3)은 다양한 값을 가질 수 있다. 각 컬럼 전류들(IC1~IC3)의 1/2 정도에 위치하도록 참조 전류들(IR1~IR3)이 설정되면 전류 차들(ID1~ID3)은 대칭적인 모양을 가질 수 있다. 즉, 각 시냅스들이 동일 또는 유사한 레벨들로 강화 및 억제될 수 있다.
도 7은 도 5의 포스트-시냅틱 뉴런들(20_1~20_3)의 내부 회로들을 간략하게 도시한 블록 다이아그램이다. 도 7을 참조하면, 제1 포스트-시냅틱 뉴런(20_1)은 제1 적분기(27_1), 제1 감산기(21_1) 및 제1 전달 함수 회로(25_1)를 포함할 수 있고, 제2 포스트-시냅틱 뉴런(20_2)은 제2 적분기(27_2), 제2 감산기(21_2) 및 제2 전달 함수 회로(25_2)를 포함할 수 있고, 및 제3 포스트-시냅틱 뉴런(20_3)은 제3 적분기(27_3), 제3 감산기(21_3) 및 제3 전달 함수 회로(25_3)를 포함할 수 있다. 제1 적분기(27_1)는 제1 컬럼 라인(C1)을 통한 제1 컬럼 전류(ICA1), 즉 제1 시냅스 가중치들을 적분한 제1 적분된 신호(ICB1)를 제1 감산기(21_1)의 비반전 입력 단자로 제공할 수 있고, 제2 적분기(27_2)는 제2 컬럼 라인(C2)을 통한 제2 컬럼 전류(ICA2), 즉 제2 시냅스 가중치들을 적분한 제2 적분된 신호(ICB2)를 제2 감산기(21_2)의 비반전 입력 단자로 제공할 수 있고, 및 제3 적분기(27_3)는 제3 컬럼 라인(C3)을 통한 제3 컬럼 전류(ICA3), 즉 제3 시냅스 가중치들을 적분한 제3 적분된 신호(ICB3)를 제3 감산기(21_3)의 비반전 입력 단자로 제공할 수 있다. 제1 감산기(21_1)의 제1 참조 전류(IR1)는 제2 감산기(21_2)의 제2 참조 전류(IR2) 보다 높을 수 있고, 및 제2 감산기(21_2)의 제2 참조 전류(IR2)는 제3 감산기(21_3)의 제3 참조 전류(IR3) 보다 높을 수 있다.
도 8은 본 발명의 기술적 사상의 일 실시예에 의한 다층 시냅스 레이어들(L1~Ln)을 가진 뉴로모픽 소자의 시냅스 네트워크를 개념적으로 보이는 도면이다. 도 8을 참조하면, 상기 시냅스 네트워크는 입력 디바이스(Di), 다수의 시냅스 레이어들(L1~Ln), 및 출력 디바이스(Do)를 포함할 수 있다. 예를 들어, 본 실시예에 의한 시냅스 네트워크는 데이터를 더욱 압축시킬 수 있다. 제1 시냅스 레이어(L1)의 프리-시냅틱 뉴런(10_1)과 입력 디바이스(Di)가 전기적으로 연결될 수 있다. 각 시냅스 레이어들(L1~Ln-1)의 포스트-시냅틱 뉴런들(20_1~20_n-1)은 다음 시냅스 레이어들(L2~Ln)의 프리-시냅틱 뉴런들(10_2~10_n)과 전기적으로 연결될 수 있다. 마지막 시냅스 레이어(Ln)의 포스트-시냅틱 뉴런(20_n)은 출력 디바이스(Do)와 전기적으로 연결될 수 있다. 각 시냅스 레이어들(L1~Ln-1)의 컬럼 라인들(C1~Cn-1)의 수와 다음 시냅스 레이어들(L2~Ln)의 로우 라인들(R2~Rn)의 수는 동일할 수 있다. 모든 시냅스 레이어들(L1~Ln)의 로우 라인들(R1~Rn)의 수는 컬럼 라인들(C1~Cn)의 수보다 많을 수 있다. 따라서, 입력 디바이스(Di)로부터 입력되는 데이터 패턴은 압축되어 출력 디바이스(Do)로 출력될 수 있다.
도 9는 본 발명의 일 실시예에 따른 패턴 인식 시스템(900)을 개념적으로 도시한 블록다이아그램이다. 예를 들어, 상기 패턴 인식 시스템(900)은 음성 인식 시스템(speech recognition system), 영상 인식 시스템(imaging recognition system), 코드 인식 시스템(code recognition system), 신호 인식 시스템(signal recognition system), 또는 기타 다양한 패턴들을 인식하기 위한 시스템들 중 하나일 수 있다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 패턴 인식 시스템(900)은 중앙 처리 유닛(910), 메모리 유닛(920), 통신 제어 유닛(930), 네트워크(940), 출력 유닛(950), 입력 유닛(960), 아날로그-디지털 변환기(970), 뉴로모픽 유닛(980), 및/또는 버스(990)를 포함할 수 있다. 중앙 처리 유닛(910)은 뉴로모픽 유닛(980)의 학습을 위하여 다양한 신호를 생성 및 전달하고, 및 뉴로모픽 유닛(980)으로부터의 출력에 따라 음성, 영상 등과 같은 패턴을 인식하기 위한 다양한 처리 및 기능을 수행할 수 있다.
상기 중앙 처리 유닛(910)은 메모리 유닛(920), 통신 제어 유닛(930), 출력 유닛(950), 아날로그-디지털 변환기(970) 및 뉴로모픽 유닛(980)과 버스(990)을 통하여 연결될 수 있다.
메모리 유닛(920)은 패턴 인식 시스템(900)에서 저장이 요구되는 다양한 정보를 저장할 수 있다. 메모리 유닛(920)은 디램(DRAM) 또는 에스램(SRAM) 같은 휘발성 메모리 소자, 피램(PRAM), 엠램(MRAM), 알이램(ReRAM), 또는 낸드 플래시 메모리(NAND flash memory) 같은 비휘발성 메모리, 또는 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 같은 다양한 기억 유닛들 중 적어도 하나를 포함할 수 있다.
통신 제어 유닛(930)은 인식된 음성, 영상 등의 데이터를 네트워크(940)를 통하여 다른 시스템의 통신 제어 유닛으로 전송하거나 및/또는 수신할 수 있다.
출력 유닛(950)은 인식된 음성, 영상 등의 데이터를 다양한 방식으로 출력할 수 있다. 예컨대, 출력 유닛(950)은 스피커, 프린터, 모니터, 디스플레이 패널, 빔 프로젝터, 홀로그래머, 또는 기타 다양한 출력 장치를 포함할 수 있다.
입력 유닛(960)은 마이크로폰, 카메라, 스캐너, 터치 패드, 키보드, 마우스, 마우스 펜, 또는 다양한 센서들 중 적어도 하나를 포함할 수 있다.
아날로그-디지털 변환기(970)는 입력 장치(960)로부터 입력된 아날로그 데이터를 디지털 데이터로 변환할 수 있다.
뉴로모픽 유닛(980)은 아날로그-디지털 변환기(970)로부터 출력된 데이터를 이용하여 학습(learning), 인식(recognition) 등을 수행할 수 있고, 인식된 패턴에 대응하는 데이터를 출력할 수 있다. 뉴로모픽 유닛(980)은 본 발명의 기술적 사상의 다양한 실시예들에 의한 뉴로모픽 소자들 중 적어도 하나를 포함할 수 있다.
이상, 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예에는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 프리-시냅틱 뉴런
20: 포스트 시냅틱 뉴런
21: 감산기
25: 전달 함수 회로
30: 시냅스
30_1: 제1 시냅스 어레이
30_2: 제2 시냅스 어레이
30_3: 제3 시냅스 어레이
R: 로우 라인
C: 컬럼 라인
Di: 입력 디바이스
Do: 출력 디바이스
L1: 제1 시냅스 레이어
L2: 제2 시냅스 레이어
L3: 제3 시냅스 레이어

Claims (20)

  1. 프리-시냅틱 뉴런;
    상기 프리-시냅틱 뉴런으로부터 로우 방향으로 연장하는 로우 라인;
    포스트-시냅틱 뉴런;
    상기 포스트-시냅틱 뉴런으로부터 컬럼 방향으로 연장하는 컬럼 라인; 및
    상기 로우 라인과 상기 컬럼 라인의 교차점 상에 배치된 시냅스를 포함하고,
    상기 포스트-시냅틱 뉴런은 감산기를 포함하는 뉴로모픽 소자.
  2. 제1항에 있어서,
    상기 감산기는 상기 컬럼 라인과 연결되어 컬럼 전류를 제공받는 비반전 입력 단자 및 참조 전류원과 연결되어 참조 전류를 제공받는 반전 입력 단자를 갖는 뉴로모픽 소자.
  3. 제1항에 있어서,
    상기 포스트-시냅틱 뉴런은 상기 컬럼 라인과 상기 감산기 사이의 적분기를 더 포함하는 뉴로모픽 소자.
  4. 제1항에 있어서,
    상기 포스트-시냅틱 뉴런은 상기 감산기의 출력 단자와 연결된 전달 함수 회로를 더 포함하고,
    상기 전달 함수 회로는 상기 감산기의 출력 전류를 시그모이드 곡선 형태로 변환하는 뉴로모픽 소자.
  5. 제4항에 있어서,
    상기 전달 함수 회로는 상기 감산기의 출력 전류가 음(-)으로 커질수록 0(zero)에 수렴하는 뉴런 전류를 출력하는 뉴로모픽 소자.
  6. 제4항에 있어서,
    상기 전달 함수 회로는 상기 감산기의 출력 전류가 양(+)으로 커질수록 최대 값에 수렴하는 뉴런 전류를 출력하는 뉴로모픽 소자.
  7. 제1 시냅스 레이어 및 제2 시냅스 레이어를 포함하고,
    상기 제1 시냅스 레이어는:
    제1 프리-시냅틱 뉴런들;
    상기 제1 프리-시냅틱 뉴런들로부터 연장하는 제1 로우 라인들;
    제1 포스트-시냅틱 뉴런들;
    상기 제1 포스트-시냅틱 뉴런들로부터 연장하는 제1 컬럼 라인들; 및
    상기 제1 로우 라인들과 상기 제1 컬럼 라인들의 교차점들 상에 배치된 제1 시냅스들을 포함하고, 및
    상기 제2 시냅스 레이어는:
    제2 프리-시냅틱 뉴런들;
    상기 제2 프리-시냅틱 뉴런들로부터 연장하는 제2 로우 라인들;
    제2 포스트-시냅틱 뉴런들;
    상기 제2 포스트-시냅틱 뉴런들로부터 연장하는 제2 컬럼 라인들; 및
    상기 제2 로우 라인들과 상기 제2 컬럼 라인들의 교차점들 상의 제2 시냅스들을 포함하고,
    상기 제1 포스트-시냅틱 뉴런들은 각각, 제1 감산기들을 포함하고,
    상기 제2 포스트-시냅틱 뉴런들은 각각, 제2 감산기들을 포함하고, 및
    상기 제1 포스트-시냅틱 뉴런들과 상기 제2 프리-시냅틱 뉴런들이 각각, 전기적으로 연결되는 뉴로모픽 소자의 시냅스 네트워크.
  8. 제7항에 있어서,
    상기 제1 로우 라인들의 수는 상기 제1 컬럼 라인들의 수보다 많은 뉴로모픽 소자의 시냅스 네트워크.
  9. 제7항에 있어서,
    상기 제1 컬럼 라인들의 수와 상기 제2 로우 라인들의 수는 동일한 뉴로모픽 소자의 시냅스 네트워크.
  10. 제7항에 있어서,
    상기 제2 로우 라인들의 수는 상기 제2 컬럼 라인들의 수보다 많은 뉴로모픽 소자의 시냅스 네트워크.
  11. 제7항에 있어서,
    상기 제1 감산기들은 각각, 상기 제1 컬럼 라인들과 연결되어 제1 컬럼 전류들을 제공받는 제1 비반전 입력 단자들 및 제1 참조 전류원과 연결되어 제1 참조 전류를 제공받는 제1 반전 입력 단자들을 갖고, 및
    상기 제2 감산기들은 각각, 상기 제2 컬럼 라인들과 연결되어 제2 컬럼 전류들을 제공받는 제2 비반전 입력 단자들 및 제2 참조 전류원과 연결되어 제2 참조 전류를 제공받는 제2 반전 입력 단자들을 갖는 뉴로모픽 소자의 시냅스 네트워크.
  12. 제11항에 있어서,
    상기 제1 참조 전류는 상기 제2 참조 전류보다 높은 뉴로모픽 소자의 시냅스 네트워크.
  13. 제7항에 있어서,
    제3 시냅스 레이어를 더 포함하고,
    상기 제3 시냅스 레이어는:
    제3 프리-시냅틱 뉴런들;
    상기 제3 프리-시냅틱 뉴런들로부터 연장하는 제3 로우 라인들;
    제3 포스트-시냅틱 뉴런들;
    상기 제3 포스트-시냅틱 뉴런들로부터 연장하는 제3 컬럼 라인들; 및
    상기 제3 로우 라인들과 상기 제3 컬럼 라인들의 교차점들 상의 제3 시냅스들을 포함하고,
    상기 제3 포스트-시냅틱 뉴런들은 각각 제3 감산기들을 포함하고,
    상기 제2 컬럼 라인들의 수와 상기 제3 로우 라인들의 수는 동일한 뉴로모픽 소자의 시냅스 네트워크.
  14. 제13항에 있어서,
    상기 제3 감산기들은 각각, 상기 제3 컬럼 라인들과 연결되어 제3 컬럼 전류를 제공받는 제3 비반전 입력 단자들 및 제3 참조 전류원과 연결되어 제3 참조 전압을 제공받는 제3 반전 입력 단자들을 갖는 뉴로모픽 소자의 시냅스 네트워크.
  15. 제7항에 있어서,
    상기 제1 포스트-시냅틱 뉴런들은 각각, 상기 제1 컬럼 라인들과 상기 제1 감산기들 사이의 제1 적분기들을 더 포함하고, 및
    상기 제2 포스트-시냅틱 뉴런들은 각각, 상기 제2 컬럼 라인들과 상기 제2 감산기들 사이의 제2 적분기들을 더 포함하는 뉴로모픽 소자의 시냅스 네트워크.
  16. 입력 디바이스;
    제1 및 제2 시냅스 레이어들; 및
    출력 디바이스를 포함하고,
    상기 제1 시냅스 레이어는:
    제1 프리-시냅틱 뉴런들;
    상기 제1 프리-시냅틱 뉴런들로부터 연장하는 제1 로우 라인들;
    제1 포스트-시냅틱 뉴런들;
    상기 제1 포스트-시냅틱 뉴런들로부터 연장하는 제1 컬럼 라인들; 및
    상기 제1 로우 라인들과 상기 제1 컬럼 라인들의 제1 교차점들 상에 배치된 제1 시냅스들을 포함하고,
    상기 제1 포스트-시냅틱 뉴런들은 상기 제1 컬럼 라인들과 전기적으로 연결된 제1 비반전 입력 단자들 및 제1 참조 전류원들과 전기적으로 연결된 제1 반전 입력 단자들을 갖는 제1 감산기들을 포함하고, 및
    상기 제2 시냅스 레이어는:
    제2 프리-시냅틱 뉴런들;
    상기 제2 프리-시냅틱 뉴런들로부터 연장하는 제2 로우 라인들;
    제2 포스트-시냅틱 뉴런들;
    상기 제2 포스트-시냅틱 뉴런들로부터 연장하는 제2 컬럼 라인들; 및
    상기 제2 로우 라인들과 상기 제2 컬럼 라인들의 교차점들 상에 배치된 제2 시냅스들을 포함하고,
    상기 제2 포스트-시냅틱 뉴런들은 상기 제2 컬럼 라인들과 전기적으로 연결된 제2 비반전 입력 단자들 및 제2 참조 전류원들과 전기적으로 연결된 제2 반전 입력 단자들을 갖는 제2 감산기들을 포함하는 뉴로모픽 소자.
  17. 제16항에 있어서,
    상기 제1 및 제2 포스트-시냅틱 뉴런들은 각각, 상기 제1 및 제2 컬럼 라인들과 상기 제1 및 제2 감산기들의 상기 제1 및 제2 비반전 입력 단자들 사이에 배치된 제1 및 제2 적분기들을 더 포함하는 뉴로모픽 소자.
  18. 제16항에 있어서,
    상기 제1 포스트-시냅틱 뉴런들은 상기 제2 프리-시냅틱 뉴런들과 각각 전기적으로 연결되고, 및
    상기 제1 포스트-시냅틱 뉴런들의 수는 상기 제2 프리-시냅틱 뉴런들의 수와 동일한 뉴로모픽 소자.
  19. 제18항에 있어서,
    상기 제1 프리-시냅틱 뉴런들의 수는 상기 제1 포스트-시냅틱 뉴런들의 수보다 많은 뉴로모픽 소자.
  20. 제18항에 있어서,
    상기 제2 프리-시냅틱 뉴런들의 수는 상기 제2 포스트-시냅틱 뉴런들의 수보다 많은 뉴로모픽 소자.
KR1020170049285A 2017-04-17 2017-04-17 감산기를 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크 KR20180116671A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170049285A KR20180116671A (ko) 2017-04-17 2017-04-17 감산기를 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크
US15/805,001 US11106971B2 (en) 2017-04-17 2017-11-06 Neuromorphic device and a synapse network including a post-synaptic neuron having a subtracting circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170049285A KR20180116671A (ko) 2017-04-17 2017-04-17 감산기를 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크

Publications (1)

Publication Number Publication Date
KR20180116671A true KR20180116671A (ko) 2018-10-25

Family

ID=63790756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170049285A KR20180116671A (ko) 2017-04-17 2017-04-17 감산기를 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크

Country Status (2)

Country Link
US (1) US11106971B2 (ko)
KR (1) KR20180116671A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11397790B2 (en) * 2019-06-25 2022-07-26 Sandisk Technologies Llc Vector matrix multiplication with 3D NAND

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5154666B2 (ja) * 2008-03-14 2013-02-27 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． ニューロモーフィック回路
US10410117B2 (en) * 2008-09-21 2019-09-10 Brainchip, Inc. Method and a system for creating dynamic neural function libraries
US8311965B2 (en) * 2009-11-18 2012-11-13 International Business Machines Corporation Area efficient neuromorphic circuits using field effect transistors (FET) and variable resistance material
US8856055B2 (en) * 2011-04-08 2014-10-07 International Business Machines Corporation Reconfigurable and customizable general-purpose circuits for neural networks
KR101888468B1 (ko) * 2011-06-08 2018-08-16 삼성전자주식회사 Ｓｔｄｐ 기능 셀을 위한 시냅스, ｓｔｄｐ 기능 셀 및 ｓｔｄｐ 기능 셀을 이용한 뉴로모픽 회로
FR2977350B1 (fr) * 2011-06-30 2013-07-19 Commissariat Energie Atomique Reseau de neurones artificiels a base de dispositifs memristifs complementaires
US8909576B2 (en) * 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9111222B2 (en) * 2011-11-09 2015-08-18 Qualcomm Incorporated Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network
US9754203B2 (en) * 2013-03-24 2017-09-05 Technion Research And Development Foundation Ltd. Analog multiplier using a memristive device and method for implemening Hebbian learning rules using memrisor arrays
US9715655B2 (en) * 2013-12-18 2017-07-25 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for performing close-loop programming of resistive memory devices in crossbar array based hardware circuits and systems
US10360496B2 (en) * 2016-04-01 2019-07-23 Intel Corporation Apparatus and method for a digital neuromorphic processor

Also Published As

Publication number Publication date
US11106971B2 (en) 2021-08-31
US20180300612A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
KR102489258B1 (ko) 인공 신경망
CN109255435B (zh) 具有多个突触块的神经形态设备
US11157803B2 (en) Neuromorphic device including a synapse having a variable resistor and a transistor connected in parallel with each other
US11922169B2 (en) Refactoring mac operations
KR20180133061A (ko) 강유전체 전계 효과 트랜지스터들을 가진 시냅스들을 포함하는 뉴로모픽 소자의 시냅스 어레이 및 그 동작 방법
CN107122828B (zh) 电路结构及其驱动方法、神经网络
US11275999B2 (en) Neural networks using cross-point array and pattern readout method thereof
CN109977470B (zh) 忆阻Hopfield神经网络稀疏编码的电路及其操作方法
CN109086881B (zh) 卷积神经网络及具有其的神经网络系统
KR20180090560A (ko) 다수 개의 시냅스 셀들을 가진 시냅스를 포함하는 뉴로모픽 소자
CN113139641A (zh) 神经网络系统及神经网络计算方法
KR20210151737A (ko) 신경망을 위한 시냅스 스트링 및 시냅스 스트링 어레이
CN117669676A (zh) 一种基于忆阻器的感知神经元电路及应用
US20230113627A1 (en) Electronic device and method of operating the same
US5039871A (en) Capacitive structures for weighted summation as used in neural nets
KR20180116637A (ko) 듀얼 멤리스터들을 가진 시냅스 및 상기 시냅스를 포함하는 뉴로모픽 소자의 시냅스 어레이
KR20180116671A (ko) 감산기를 가진 포스트-시냅틱 뉴런을 포함하는 뉴로모픽 소자 및 뉴로모픽 소자의 시냅스 네트워크
CN112734022B (zh) 一种具有识别和排序功能的四字符忆阻神经网络电路
KR101510991B1 (ko) 저항변화 메모리를 이용한 신경회로망 형태 분류기 및 형태 분류 방법
KR20170117861A (ko) 뉴럴 네트워크 시스템
KR20170117863A (ko) 고정된 저항 값들을 갖는 시냅스들을 포함하는 뉴로모픽 소자
WO1991018360A1 (en) Capacitive structures for weighted summation, as used in neural nets
KR102671259B1 (ko) 인버팅 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
US20170300810A1 (en) Neural network system
US5151970A (en) Method of generating, in the analog regime, weighted summations of digital signals