KR20170117861A - 뉴럴 네트워크 시스템 - Google Patents

뉴럴 네트워크 시스템 Download PDF

Info

Publication number
KR20170117861A
KR20170117861A KR1020160138305A KR20160138305A KR20170117861A KR 20170117861 A KR20170117861 A KR 20170117861A KR 1020160138305 A KR1020160138305 A KR 1020160138305A KR 20160138305 A KR20160138305 A KR 20160138305A KR 20170117861 A KR20170117861 A KR 20170117861A
Authority
KR
South Korea
Prior art keywords
synapse
network
term
synapse network
networks
Prior art date
Application number
KR1020160138305A
Other languages
English (en)
Inventor
이형동
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to US15/459,622 priority Critical patent/US20170300810A1/en
Publication of KR20170117861A publication Critical patent/KR20170117861A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

입력 디바이스, 출력 디바이스, 및 상기 입력 디바이스와 상기 출력 디바이스 사이의 제1 시냅스 네트워크 및 제2 시냅스 네트워크를 포함하는 뉴로모픽 디바이스가 설명된다. 상기 제1 시냅스 네트워크는 상기 제2 시냅스 네트워크보다 높은 학습 효율을 갖는 제1 시냅스 시스템을 포함할 수 있다. 상기 제2 시냅스 네트워크는 상기 제1 시냅스 네트워크보다 우수한 데이터 보존력을 갖는 제2 시냅스 시스템을 포함할 수 있다.

Description

뉴럴 네트워크 시스템{Neural Network Systems}
본 발명은 뉴로모픽 디바이스에 관한 것으로서, 특히 뉴럴 네트워크 시스템 및 그 시스템들을 갖는 뉴로모픽 디바이스에 관한 것이다.
최근 인간의 뇌를 모방한 뉴로모픽 기술이 주목 받고 있다. 뉴로모픽 기술은 다수의 프리-시냅스 뉴런들, 다수의 포스트-시냅스 뉴런들, 및 다수의 시냅스들을 포함한다. 뉴로모픽 기술에 이용되는 뉴로모픽 디바이스는 학습된 상태에 따라 다양한 레벨, 크기, 또는 시간에 따른 펄스 또는 스파이크를 출력한다. 뉴로모픽 디바이스의 성능 향상을 위하여 학습 속도가 빠르고 학습 효율이 높으면서도 데이터 보존 능력이 우수한 뉴로모픽 소자가 요구된다. 그러나, 학습 속도가 빠른 것, 즉 학습 효율이 높다는 것과 데이터 보존력이 우수하다는 것은 트레이드-오프(trade-off) 관계이므로 하나의 뉴로모픽 디바이스 내에서 동시에 구현되기 어렵다.
본 발명이 해결하고자 하는 과제는 우수한 학습 효율 및 우수한 데이터 보존 능력을 가진 뉴럴 네트워크 시스템 및 뉴로모픽 디바이스를 제공하는 것이다.
본 발명이 해결하고자 하는 다양한 과제들은 이상에서 언급한 과제들에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당 업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 뉴로모픽 디바이스는 입력 디바이스; 출력 디바이스; 및 상기 입력 디바이스와 상기 출력 디바이스 사이의 제1 시냅스 네트워크 및 제2 시냅스 네트워크를 포함할 수 있다. 상기 제1 시냅스 네트워크는 상기 제2 시냅스 네트워크보다 높은 학습 효율을 갖는 제1 시냅스 시스템을 포함할 수 있다. 상기 제2 시냅스 네트워크는 상기 제1 시냅스 네트워크보다 우수한 데이터 보존력을 갖는 제2 시냅스 시스템을 포함할 수 있다.
상기 시냅스 네트워크는 하나의 상기 제1 시냅스 네트워크에 대응하도록 종속된 다수 개의 상기 제2 시냅스 네트워크를 포함할 수 있다.
상기 시냅스 네트워크는 상기 제1 시냅스 네트워크와 상기 제2 시냅스 네트워크 사이의 제3 시냅스 네트워크를 더 포함할 수 있다. 상기 제3 시냅스 네트워크는 상기 제1 시냅스 네트워크보다 우수한 데이터 보존력을 가질 수 있다. 상기 제3 시냅스 네트워크는 상기 제2 시냅스 네트워크보다 높은 학습 효율을 가질 수 있다.
상기 시냅스 네트워크는 하나의 상기 제1 시냅스 네트워크에 대응하도록 종속된 다수 개의 상기 제3 시냅스 네트워크들을 포함할 수 있다.
상기 시냅스 네트워크는 하나의 상기 제3 시냅스 네트워크에 대응하도록 종속된 다수 개의 상기 제2 시냅스 네트워크들을 포함할 수 있다.
상기 제1 시냅스 네트워크에서 학습된 데이터 패턴은 상기 제3 시냅스 네트워크로 전송되어 저장될 수 있다.
상기 제3 시냅스 네트워크에 저장된 상기 데이터 패턴은 상기 제1 시냅스 네트워크로 전송되어 업데이트 될 수 있다.
상기 제1 시냅스 네트워크는 배타적으로 데이터 패턴을 학습할 수 있다.
상기 제1 시냅스 네트워크는 상기 제2 시냅스 네트워크보다 높은 전압, 높은 전류, 긴 시간, 또는 많은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화/억제될 수 있다.
상기 뉴로모픽 디바이스는 상기 입력 디바이스와 상기 제1 시냅스 네트워크 사이에 배치된 프리-프로세서를 더 포함할 수 있다. 상기 프리-프로세서는 상기 제1 시냅스 네트워크로 학습될 데이터 패턴을 분배할 수 있다.
본 발명의 일 실시예에 의한 뉴로모픽 디바이스는 입력 디바이스; 상기 입력 디바이스와 전기적으로 연결된 시냅스 네트워크; 및 상기 시냅스 네트워크와 전기적으로 연결된 출력 디바이스를 포함할 수 있다. 상기 시냅스 네트워크는 제1 학습 속도를 갖는 제1 시냅스 네트워크 및 상기 제1 학습 속도보다 느린 제2 학습 속도를 갖는 제2 시냅스 네트워크를 포함할 수 있다.
상기 제1 시냅스 네트워크는 상기 제1 학습 속도를 갖는 다수 개의 제1 시냅스 시스템들을 포함할 수 있다. 상기 제2 시냅스 네트워크는 상기 제2 학습 속도를 갖는 다수 개의 제2 시냅스 시스템들을 포함할 수 있다.
하나의 상기 제1 시냅스 시스템에 다수 개의 상기 제2 시냅스 시스템들이 종속될 수 있다.
상기 시냅스 네트워크는 상기 제1 시냅스 네트워크와 상기 제2 시냅스 네트워크 사이의 제3 시냅스 네트워크를 더 포함할 수 있다. 상기 제3 시냅스 네트워크는 상기 제1 학습 속도보다 느리고 상기 제2 학습 속도보다 빠른 제3 학습 속도를 가질 수 있다.
하나의 상기 제1 시냅스 시스템에 다수 개의 상기 제3 시냅스 시스템들이 종속될 수 있다.
하나의 상기 제3 시냅스 시스템에 다수 개의 상기 제2 시냅스 시스템들이 종속될 수 있다.
상기 제1 시냅스 네트워크는 배타적으로 데이터 패턴을 학습할 수 있다. 상기 제1 시냅스 네트워크에서 학습된 데이터 패턴은 상기 제3 시냅스 네트워크로 전송되어 저장될 수 있다.
본 발명의 일 실시예에 의한 뉴로모픽 디바이스는 입력 디바이스; 상기 입력 디바이스와 전기적으로 연결된 시냅스 네트워크; 및 상기 시냅스 네트워크와 전기적으로 연결된 출력 디바이스를 포함할 수 있다. 상기 시냅스 네트워크는 제1 데이터 보존력을 갖는 제1 시냅스 네트워크 및 상기 제1 데이터 보존력보다 우수한 제2 데이터 보존력을 갖는 제2 시냅스 네트워크를 포함할 수 있다.
상기 뉴로모픽 디바이스는 상기 시냅스 네트워크는 상기 제1 시냅스 네트워크와 상기 제2 시냅스 네트워크 사이에 제3 시냅스 네트워크를 더 포함할 수 있다. 상기 제3 시냅스 네트워크는 상기 제1 데이터 보존력보다 우수하고 상기 제2 데이터 보존력보다 열등한 제3 데이터 보존력을 가질 수 있다.
상기 제3 시냅스 시스템은 상기 제1 시냅스 시스템보다 높은 전압, 높은 전류, 긴 시간, 또는 많은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화/억제될 수 있고, 및 상기 제3 시냅스 시스템보다 낮은 전압, 낮은 전류, 짧은 시간, 또는 적은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화/억제될 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 기술적 사상에 의하면 우수한 학습 효율을 갖는 뉴럴 네트워크 시스템과 데이터 보존력이 우수한 뉴럴 네트워크 시스템을 갖는 뉴로모픽 디바이스가 제공될 수 있다. 따라서, 본 발명의 기술적 사상에 의하면 학습 속도가 빠르고, 소모 전력이 낮으며, 데이터 보존력이 우수한 뉴로모픽 디바이스가 제공될 수 있다.
기타 언급되지 않은 본 발명의 다양한 실시예들에 의한 효과들은 본문 내에서 언급될 것이다.
도 1은 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 기본적인 단위 시냅스 시스템을 개념적으로 도시한 블록다이아그램이다.
도 2a 내지 2c는 본 발명의 다양한 실시예들에 의한 뉴로모픽 디바이스의 싱글 뉴럴 네트워크 시스템을 개념적으로 도시한 블록 다이아그램들이다.
도 3은 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 싱글 뉴런 네트워크 시스템을 개념적으로 도시한 블록다이아그램이다.
도 4a 및 4b는 본 발명의 실시예들에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워크 시스템들을 개념적으로 도시한 블록 다이아그램들이다.
도 5a 내지 5c는 본 발명의 실시예들에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워크 시스템들을 개념적으로 도시한 블록 다이아그램들이다.
도 6은 본 발명의 일 실시예에 따른 패턴 인식 시스템을 개념적으로 도시한 블록다이아그램이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 ‘포함한다(comprises)’ 및/또는 ‘포함하는(comprising)’은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
하나의 소자(elements)가 다른 소자와 ‘접속된(connected to)’ 또는 ‘커플링된(coupled to)’ 이라고 지칭되는 것은, 다른 소자와 직접 연결 또는 커플링된 경우 또는 중간에 다른 소자를 개재한 경우를 모두 포함한다. 반면, 하나의 소자가 다른 소자와 ‘직접 접속된(directly connected to)’ 또는 ‘직접 커플링된(directly coupled to)’으로 지칭되는 것은 중간에 다른 소자를 개재하지 않은 것을 나타낸다. ‘및/또는’은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
공간적으로 상대적인 용어인 ‘아래(below)’, ‘아래(beneath)’, ‘하부(lower)’, ‘위(above)’, ‘상부(upper)’ 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성 요소들과 다른 소자 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 ‘아래(below)’ 또는 ‘아래(beneath)’로 기술된 소자는 다른 소자의 ‘위(above)’에 놓여질 수 있다.
또한, 본 명세서에서 기술하는 실시 예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시 예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 예를 들면, 직각으로 도시된 영역은 라운드지거나 소정 곡률을 가지는 형태일 수 있다. 따라서, 도면에서 예시된 영역들은 개략적인 속성을 가지며, 도면에서 예시된 영역들의 모양은 소자의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다.
명세서 전문에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지칭한다. 따라서, 동일한 참조 부호 또는 유사한 참조 부호들은 해당 도면에서 언급 또는 설명되지 않았더라도, 다른 도면을 참조하여 설명될 수 있다. 또한, 참조 부호가 표시되지 않았더라도, 다른 도면들을 참조하여 설명될 수 있다.
본 명세서에서, 강화(potentiation), 셋(set), 및 학습(learning)이 동일하거나 유사한 용어로 사용되고, 및 억제(depressing), 리셋(reset), 및 초기화(initiation)가 동일하거나 유사한 의미로 사용될 것이다. 예를 들어, 시냅스들의 저항을 낮추는 동작이 강화, 셋, 또는 학습으로 설명될 것이고, 및 시냅스들의 저항을 높이는 동작이 억제, 리셋, 또는 초기화로 설명될 것이다. 또한, 시냅스들이 강화, 셋, 또는 학습되면 전도도가 증가하므로 점진적으로 높은 전압/전류가 출력될 수 있고, 및 시냅스들이 억제, 리셋, 또는 초기화되면 전도도가 감소하므로 점진적으로 낮은 전압/전류가 출력될 수 있다. 설명의 편의를 위하여, 데이터 패턴, 전기적 신호, 펄스, 스파이크, 및 파이어(fire)는 동일하거나, 유사하거나, 또는 호환되는 의미인 것으로 해석될 수 있다. 또한, 전압과 전류도 동일하거나 호환되는 의미인 것으로 해석될 수 있다.
도 1은 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 기본적인 단위 시냅스 시스템(10)을 개념적으로 도시한 블록다이아그램이다. 도 1을 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 단위 시냅스 시스템(10)은 다수 개의 프리-시냅틱 뉴런들(11)(pre-synaptic neurons), 다수 개의 포스트-시냅틱 뉴런들(12)(post-synaptic neurons), 및 시냅스들(13)(synapses)을 포함할 수 있다. 시냅스들(13)은 프리-시냅틱 뉴런들(11) 중 하나로부터 수평으로 연장하는 로우 라인들(R)(row lines) 및 포스트-시냅틱 뉴런들(12) 중 하나로 연장하는 컬럼 라인들(C)(column lines)의 교차점들에 배치될 수 있다. 프리-시냅틱 뉴런들(11)은 학습 모드 (learning mode), 리셋 모드(reset mode), 또는 독출 모드 (reading mode) 에서 로우 라인들(R)을 통하여 시냅스들(13)로 전기적 펄스들(pulses)을 전송할 수 있다. 포스트-시냅틱 뉴런들(12)은 학습 모드 또는 리셋 모드에서 컬럼 라인들(C)을 통하여 시냅스들(13)로 전기적 펄스를 전송할 수 있고, 및 독출 모드에서 컬럼 라인들(C)을 통하여 시냅스들(13)로부터 전기적 펄스를 수신할 수 있다. 각 시냅스들(13)은 가변 저항 소자(variable resistive device) 같은 2극 소자를 포함할 수 있다. 예를 들어, 프리-시냅틱 뉴런들(11)과 전기적으로 연결된 제1 전극 및 포스트-시냅틱 뉴런들(12)과 전기적으로 연결된 제2 전극을 포함할 수 있다. 시냅스들(13)은 멀티 저항 레벨들을 가질 수 있다. 본 발명에서, 뉴로모픽 디바이스는 단위 뉴로모픽 칩 또는 다수의 뉴로모픽 칩을 이용한 뉴로모픽 네트워크 시스템을 포괄할 수 있다.
도 2a 내지 2c는 본 발명의 다양한 실시예들에 의한 뉴로모픽 디바이스의 싱글 뉴럴 네트워크 시스템(100A-100C)(single neural network system)을 개념적으로 도시한 블록 다이아그램들이다.
도 2a를 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 싱글 뉴럴 네트워크 시스템(100A)은 입력 디바이스(110), 출력 디바이스(120), 및 시냅스 네트워크(130)를 포함할 수 있다. 시냅스 네트워크(130)는 숏-텀 시냅스 시스템(131)과 롱-텀 시냅스 시스템(133)을 포함할 수 있다.
입력 디바이스(110)는 시냅스 네트워크(130)에 데이터 패턴을 입력하기 위한 다양한 입력 유닛들 중 하나 이상을 포함할 수 있다. 구체적으로, 입력 디바이스(110)는 키보드, 마우스, 터치 패널 및 펜슬, 광학적 리더(optical reader), 다양한 센서들, 스캐너, 카메라, 마이크, 또는 마이크로 프로세서 중 적어도 하나를 포함할 수 있다.
출력 디바이스(120)는 시냅스 네트워크(130)로부터 데이터 패턴을 출력하기 위한 다양한 출력 유닛들 중 하나 이상을 포함할 수 있다. 구체적으로, 출력 디바이스(120)는 모니터, 프린터, 디스플레이 패널, 발광기, 스피커, 기계적 장치, 또는 마이크로 프로세서 중 적어도 하나를 포함할 수 있다.
숏-텀 시냅스 시스템(131)은 롱-텀 시냅스 시스템(133)보다 상대적으로 우수한 학습 효율(learning efficiency)을 갖는 시냅스(13)를 가진 시냅스 시스템(10)을 포함할 수 있다. 예를 들어, 숏-텀 시냅스 시스템(131)은 롱-텀 시냅스 시스템(133)보다 상대적으로 민감한 저항 변화, 빠른 스위칭 속도, 또는 작은 물리적 크기를 가질 수 있다. 즉, 숏-텀 시냅스 시스템(131)은 롱-텀 시냅스 시스템(133)보다 낮은 전압, 낮은 전류, 짧은 시간, 및/또는 적은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화 및 억제될 수 있다.
롱-텀 시냅스 시스템(133)은 숏-텀 시냅스 시스템(131)보다 상대적으로 우수한 데이터 보존력(data retention capability) 및 긴 데이터 보존 시간(data retention time)을 갖는 시냅스(13)를 가진 시냅스 시스템(10)을 포함할 수 있다. 예를 들어, 롱-텀 시냅스 시스템(133)는 숏-텀 시냅스 시스템(131)보다 상대적으로 둔감한 저항 변화, 느린 저항 변화 속도, 또는 큰 물리적 크기를 가질 수 있다. 즉, 롱-텀 시냅스 시스템(133)는 숏-텀 시냅스 시스템(131)보다 높은 전압, 높은 전류, 긴 시간, 및/또는 많은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화 및 억제될 수 있다. 롱-텀 시냅스 시스템(133)은 숏-텀 시냅스 시스템(131)보다 낮은 셋/리셋 변화율을 가질 수 있다. 또한, 롱-텀 시냅스 시스템(133)은 숏-텀 시냅스 시스템(131)보다 긴 시간 동안 리프레시 과정 없이 저장된 데이터 패턴들을 유지할 수 있다.
학습(learning) 모드에서, 입력 디바이스(110)로부터 입력된 데이터 패턴은 숏-텀 시냅스 시스템(131)에 배타적으로 입력 및 학습될 수 있다. 즉, 학습 모드에서, 데이터 패턴은 숏-텀 시냅스 시스템(131)에만 입력 및 학습될 수 있다.
학습이 완료된 상태 또는 대기 상태에서, 숏-텀 시냅스 시스템(131)의 학습된 데이터 패턴, 즉 시냅스 가중치(synapse weight)는 롱-텀 시냅스 시스템(133)에 수시 또는 주기적으로 전송, 복사, 저장, 또는 백업될 수 있다. 대기 상태는 숏-텀 시냅스 시스템(131)에 데이터 패턴이 입력되지 않는 상태일 수 있다.
업데이트 모드에서, 롱-텀 시냅스 시스템(133) 내에 저장 또는 백업된 데이터 패턴은 롱-텀 시냅스 시스템(133)으로부터 숏-텀 시냅스 시스템(131)으로 되전송 또는 되복사될 수 있다. 즉, 숏-텀 시냅스 시스템(131)로부터 롱-텀 시냅스 시스템(133)으로 전송, 복사, 저장, 또는 백업된 데이터 패턴은 수시 또는 주기적으로 롱-텀 시냅스 시스템(133)으로부터 숏-텀 시냅스 시스템(131)으로 되전송 또는 되복사될 수 있다. 되전송 또는 되복사된 데이터 패턴의 시냅스 가중치가 숏-텀 시냅스 시스템(131)에서 업데이트 될 수 있다. 업데이트가 완료된 데이터 패턴은 다시 롱-텀 시냅스 시스템(133)으로 전송, 복사, 저장, 또는 백업될 수 있다. 따라서, 학습 및 업데이트는 숏-텀 시냅스 시스템(131)에서 배타적으로 수행될 수 있다.
인식(recognition) 모드에서, 데이터 패턴은 롱-텀 시냅스 시스템(133)으로부터 숏-텀 시냅스 시스템(131)으로 전송 및 복사될 수 있다. 출력 디바이스(120)는 숏-텀 시냅스 시스템(131)으로부터 학습된 데이터 패턴을 가져올 수 있고 및 출력할 수 있다. 즉, 숏-텀 시냅스 시스템(131)이 배타적으로 학습된 데이터 패턴을 출력 디바이스(120)로 제공할 수 있다.
본 실시예에 의한 뉴로모픽 디바이스는 숏-텀 시냅스 시스템(131)을 이용하여 데이터 패턴을 학습할 수 있고 및 출력할 수 있다. 본 실시예에서, 롱-텀 시냅스 시스템(133)은 학습된 데이터 패턴을 저장 또는 백업 하기 위하여 이용될 수 있다.
본 실시예에 따르면, 낮은 전압 및 적은 전류로 동작할 수 있는 민감한 숏-텀 시냅스 시스템(131)을 이용하여 데이터 패턴이 배타적으로 입력 및 출력되므로, 데이터 패턴 전송 속도가 빠르고 데이터 학습을 위한 소모 전력이 낮다.
본 실시예에 따르면, 데이터 보존력이 우수한 롱-텀 시냅스 시스템(133)을 이용하여 데이터 패턴이 저장 또는 복사되므로 리프레시 과정 등 데이터를 검사 및 복원하는 과정이 최소로 수행될 수 있다. 따라서, 데이터 패턴이 오랫동안 안정적으로 보존될 수 있고 데이터 보존을 위한 전력 소모가 낮아진다.
도 2b를 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 싱글 뉴럴 네트워크 시스템(100B)은 도 2a에 도시된 뉴로모픽 디바이스의 싱글 뉴럴 네트워크 시스템(100A)과 비교하여, 숏-텀 시냅스 시스템(131) 및/또는 롱-텀 시냅스 시스템(133) 중 하나 또는 모두를 이용하여 데이터 패턴을 출력할 수 있다. 즉, 인식 모드 또는 출력 모드에서 출력 디바이스(120)는 숏-텀 시냅스 시스템(131) 및/또는 롱-텀 시냅스 시스템(133) 중 하나 또는 모두로부터 데이터 패턴을 가져올 수 있고 및 출력할 수 있다. 인식 모드, 또는 업데이트 모드에서, 롱-텀 시냅스 시스템(133)에 저장 또는 백업된 데이터 패턴은 수시 또는 주기적으로 롱-텀 시냅스 시스템(133)로부터 숏-텀 시냅스 시스템(131)으로 전송 또는 복사될 수 있다. 본 실시예에 따르면, 데이터 보존력이 우수한 롱-텀 시냅스 시스템(133)을 이용하여 데이터 패턴이 출력될 수 있으므로, 출력되는 데이터 패턴의 정확성이 우수하다.
도 2c를 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 싱글 뉴럴 네트워크 시스템(100C)은 도 2a 및 2b에 도시된 뉴로모픽 디바이스의 싱글 뉴런 시스템들(100A, 100B)과 비교하여, 롱-텀 시냅스 시스템(133)을 이용하여 배타적으로 데이터 패턴을 출력할 수 있다. 즉, 인식 모드에서, 출력 디바이스(120)는 롱-텀 시냅스 시스템(133)로부터 배타적으로 학습된 데이터 패턴을 가져올 수 있고 및 출력할 수 있다. 본 실시예에 따르면, 학습 모드에서는 학습 효율이 우수한 숏-텀 시냅스 시스템(131)을 이용하여 데이터 패턴이 학습되므로 뉴로모픽 디바이스의 학습 시간이 짧아진다. 또한, 인식 모드에서는 데이터 보존력이 우수한 롱-텀 시냅스 시스템(133)을 이용하여 학습된 데이터 패턴이 출력되므로 데이터 패턴의 정확성이 우수하다.
도 3은 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 싱글 뉴런 네트워크 시스템(200)을 개념적으로 도시한 블록다이아그램이다.
도 3을 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 싱글 뉴런 네트워크 시스템(200)은 입력 디바이스(210), 출력 디바이스(220), 및 시냅스 네트워크(230)를 포함할 수 있다. 시냅스 네트워크(230)는 숏-텀 시냅스 시스템(231), 미들-텀 시냅스 시스템(232), 및 롱-텀 시냅스 시스템(233)을 포함할 수 있다.
미들-텀 시냅스 시스템(232)은 숏-텀 시냅스 시스템(231)과 롱-텀 시냅스 시스템(233)의 중간적인 특성을 가질 수 있다. 구체적으로, 미들-텀 시냅스 시스템(232)은 숏-텀 시냅스 시스템(231)보다 상대적으로 낮은 학습 효율 및 우수한 데이터 보존 능력을 가질 수 있다. 또한, 미들-텀 시냅스 시스템(232)은 롱-텀 시냅스 시스템(233)보다 상대적으로 높은 학습 효율 및 열등한 데이터 보존 능력을 가질 수 있다. 미들-텀 시냅스 시스템(232)은 숏-텀 시냅스 시스템(231)과 롱-텀 시냅스 시스템(233)의 중간적인 특성을 가질 수 있다. 구체적으로, 미들-텀 시냅스 시스템(232)은 숏-텀 시냅스 시스템(231)보다 높은 전압, 높은 전류, 긴 시간, 및/또는 많은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화 및 억제될 수 있고, 및 롱-텀 시냅스 시스템(233)보다 낮은 전압, 낮은 전류, 짧은 시간, 및/또는 적은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화 및 억제될 수 있다.
숏-텀 시냅스 시스템(231)에 학습된 데이터 패턴은 일시적으로 미들-텀 시냅스 시스템(232)으로 일시적으로 전송, 복사, 저장, 또는 백업될 수 있다. 데이터 패턴이 자주(frequently) 업데이트되어야 하거나 출력되어야 할 경우, 데이터 패턴은 미들-텀 시냅스 시스템(232) 내에 일시적으로 저장, 또는 백업될 수 있다. 데이터 패턴이 드물게(rarely) 업데이트되어야 하거나 출력되어야 할 경우, 데이터 패턴은 롱-텀 시냅스 시스템(233)으로 반영구적으로 전송, 복사, 저장, 또는 백업될 수 있다. 롱-텀 시냅스 시스템(233)으로 데이터 패턴이 전송, 복사, 저장, 또는 백업된 후, 미들-텀 시냅스 시스템(232)에 존재하는 데이터 패턴은 리셋될 수 있다.
데이터 패턴은 숏-텀 시냅스 시스템(231)에서 배타적으로 학습 및 업데이트될 수 있다. 데이터 패턴은 숏-텀 시냅스 시스템(231), 미들-텀 시냅스 시스템(232), 및 롱-텀 시냅스 시스템(233) 중 하나, 둘, 또는 모두로부터 출력될 수 있다. 본 발명의 다른 실시예에서, 데이터 패턴은 미들-텀 시냅스 시스템(232) 및 롱-텀 시냅스 시스템(233) 중 하나, 또는 모두로부터 출력될 수 있다.
도 4a 및 4b는 본 발명의 실시예들에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워크 시스템들(300A, 300B)을 개념적으로 도시한 블록 다이아그램들이다.
도 4a을 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워크 시스템(300A)은 입력 디바이스(310), 출력 디바이스(320), 및 시냅스 네트워크(330)를 포함할 수 있다. 시냅스 네트워크(330)는 다수 개의 유닛 시냅스 네트워크들(330a-330c)을 포함할 수 있다. 유닛 시냅스 네트워크들(330a-330c)은 각각, 멀티 숏-텀 시냅스 네트워크들(331a-331c) 및 멀티 롱-텀 시냅스 네트워크들(333a-333c)을 포함할 수 있다. 도 2a 내지 2c를 참조하여, 멀티 숏-텀 시냅스 네트워크들(331a-331c)은 다수 개의 숏-텀 시냅스 시스템들(131)을 포함할 수 있고, 멀티 롱-텀 시냅스 네트워크들(333a-333c)은 다수 개의 롱-텀 시냅스 시스템들(133)을 포함할 수 있다.
본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워크 시스템(300A)은 프리-프로세서(315)를 더 포함할 수 있다. 프리-프로세서(315)는 학습될 데이터 패턴을 추출 또는 분리하여 각 유닛 시냅스 네트워크들(330a-330c)로 분배할 수 있다.
학습 모드에서, 학습될 데이터 패턴은 숏-텀 시냅스 네트워크들(331a-331c)로 배타적으로 입력 및 학습될 수 있다.
학습이 완료된 후, 숏-텀 시냅스 네트워크들(331a-331c)에 학습된 데이터 패턴들은 각각 롱-텀 시냅스 네트워크들(333a-333c)로 전송, 복사, 저장, 또는 백업될 수 있다.
업데이트 모드에서, 롱-텀 시냅스 네트워크들(333a-333c)에 전송, 복사, 저장, 또는 백업된 데이터 패턴은 수시 또는 주기적으로 숏-텀 시냅스 네트워크(331a-331c)로 되전송 또는 되복사될 수 있다. 숏-텀 시냅스 네트워크(331a-331c)로 되전송 또는 되복사된 데이터 패턴은 업데이트 될 수 있다. 즉, 시냅스 가중치들이 업데이트될 수 있다.
인식 모드에서, 데이터 패턴은 숏-텀 시냅스 네트워크들(331a-331c) 및 롱-텀 시냅스 네트워크들(333a-333c) 중 하나 또는 모두로부터 출력될 수 있다.
도 4b를 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워크 시스템(300B)은 도 4a에 도시된 멀티 뉴럴 네트워크 시스템(300A)과 비교하여, 각각, 하나의 숏-텀 시냅스 네트워크(331a-331c)와 다수 개의 롱-텀 시냅스 네트워크들(333a1-333a3, 333b1-333b3, 333c1-333c3)을 가진 유닛 시냅스 네트워크들(330a-330c)을 포함할 수 있다. 즉, 하나의 숏-텀 시냅스 네트워크(331a-331c)과 그에 대응하도록 종속된 다수 개의 롱-텀 시냅스 네트워크들(333a1-333a3, 333b1-333b3, 333c1-333c3)을 포함할 수 있다.
학습 모드에서, 학습될 데이터 패턴은 숏-텀 시냅스 네트워크들(331a-331c) 중 하나로 배타적으로 입력 및 학습될 수 있다.
학습이 완료되면, 숏-텀 시냅스 네트워크(331a-331c)에 학습된 데이터 패턴은 다수 개의 롱-텀 시냅스 네트워크들(333a1-333a3, 333b1-333b3, 333c1-333c3) 중 하나로 전송, 복사, 저장, 또는 백업될 수 있다.
업데이트 모드에서, 롱-텀 시냅스 네트워크(333a1-333a3, 333b1-333b3, 333c1-333c3)의 데이터 패턴은 숏-텀 시냅스 네트워크(331a-331c)로 되전송 및 되복사될 수 있다. 되전송 또는 되복사된 데이터 패턴의 시냅스 가중치가 숏-텀 시냅스 네트워크(331a-331c)에서 업데이트 될 수 있다. 업데이트가 완료된 데이터 패턴은 다시 롱-텀 시냅스 네트워크(333a1-333a3, 333b1-333b3, 333c1-333c3)으로 전송, 복사, 저장, 또는 백업될 수 있다.
인식 모드에서, 데이터 패턴은 숏-텀 시냅스 네트워크(331a-331c) 및 롱-텀 시냅스 네트워크들(333a1-333a3, 333b1-333b3, 333c1-333c3) 중 하나 또는 모두로부터 출력될 수 있다. 본 발명의 다른 실시예에서, 한 세트의 데이터 패턴은 롱-텀 시냅스 네트워크들(333a1-333a3, 333b1-333b3, 333c1-333c3) 중 하나로부터 배타적으로 출력될 수 있다.
도 5a 내지 5c는 본 발명의 실시예들에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워크 시스템들(400A-400C)을 개념적으로 도시한 블록 다이아그램들이다.
도 5a를 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워트 시스템(400A)은 입력 디바이스(410), 프리-프로세서(415), 출력 디바이스(420), 및 시냅스 네트워크(430)를 포함할 수 있다. 시냅스 네트워크(430)는 다수 개의 유닛 시냅스 네트워크들(430a-430c)을 포함할 수 있다. 유닛 시냅스 네트워크들(430a-430c)은 각각, 숏-텀 시냅스 네트워크들(431a-431c), 미들-텀 시냅스 네트워크들(432a-433c), 및 롱-텀 시냅스 네트워크들(433a-433c)을 포함할 수 있다. 숏-텀 시냅스 네트워크들(431a-431c)은 다수 개의 숏-텀 시냅스 시스템들을 포함할 수 있고, 미들-텀 시냅스 네트워크들(432a-433c)은 다수 개의 미들-텀 시냅스 시스템들을 포함할 수 있고, 및 롱-텀 시냅스 네트워크들(433a-433c)은 다수 개의 롱-텀 시냅스 시스템들을 포함할 수 있다.
프리-프로세서(415)에 의해 데이터 패턴은 유닛 시냅스 네트워크들(430a-430c)로 각각 분배될 수 있다. 학습 모드에서, 분배된 데이터 패턴은 숏-텀 시냅스 네트워크들(431a-431c) 중 하나에 학습될 수 있다. 숏-텀 시냅스 네트워크들(431a-431c)에 학습된 데이터 패턴은 일시적으로 미들-텀 시냅스 네트워크들(432a-432c)으로 전송, 복사, 저장, 또는 백업될 수 있다. 데이터 패턴이 자주 업데이트되어야 하거나 출력되어야 할 경우, 데이터 패턴은 미들-텀 시냅스 네트워크들(432a-432c) 내에 저장 또는 백업될 수 있다. 데이터 패턴이 드물게 업데이트되어야 하거나 출력되어야 할 경우, 데이터 패턴은 롱-텀 시냅스 네트워크들(433a-433c)으로 반영구적으로 전송, 복사, 저장, 또는 백업될 수 있다. 롱-텀 시냅스 네트워크들(433a-433c)으로 데이터 패턴이 전송, 복사, 저장, 또는 백업된 후, 미들-텀 시냅스 네트워크들(432a-432c)에 존재하는 데이터 패턴은 리셋될 수 있다.
데이터 패턴은 숏-텀 시냅스 네트워크들(431a-431c)에서 배타적으로 학습 및 업데이트될 수 있다. 데이터 패턴은 숏-텀 시냅스 네트워크들(431a-431c), 미들-텀 시냅스 네트워크들(432a-432c), 및 롱-텀 시냅스 네트워크들(433a-433c) 중 하나, 둘, 또는 모두로부터 출력될 수 있다. 본 발명의 다른 실시예에서, 데이터 패턴은 미들-텀 시냅스 네트워크(432a-432c) 및 롱-텀 시냅스 네트워크들(433a-433c) 중 하나, 또는 모두로부터 출력될 수 있다.
도 5b를 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워크 시스템(400B)은 도 5a에 도시된 멀티 뉴럴 네트워크 시스템(400A)과 비교하여, 하나의 미들-텀 시냅스 네트워크(432a-432c)에 대응하도록 종속된 다수 개의 롱-텀 시냅스 네트워크들(433a1-433a4, 433b1-433b4, 433c1-433c4)을 포함할 수 있다. 하나의 숏-텀 시냅스 네트워크들(431a-431c)에 학습된 데이터 패턴들은 각각, 대응하도록 종속된 하나의 미들-텀 네트워크(432a-432c)로 일시적으로 전송, 복사, 저장, 또는 백업될 수 있다. 미들-텀 네트워크들(432a-432c)에 저장된 데이터 패턴들은 각각, 자주 업데이트되거나 자주 인식되는 데이터 패턴들을 일시적으로 저장할 수 있다. 데이터 패턴들의 업데이트가 완료된 후, 또는 데이터 패턴이 업데이트될 필요가 없을 경우, 데이터 패턴들은 미들-텀 네트워크(432a-432c)에 대응하도록 종속된 다수 개의 롱-텀 시냅스 네트워크들(433a1-433a4, 433b1-433b4, 433c1-433c4) 중 하나로 각각, 반영구적으로 전송, 복사, 저장, 또는 백업될 수 있다.
도 5c를 참조하면, 본 발명의 일 실시예에 의한 뉴로모픽 디바이스의 멀티 뉴럴 네트워크 시스템(400C)은 도 5a 및 5b에 도시된 멀티 뉴럴 네트워크 시스템들(400A, 400B)과 비교하여, 하나의 숏-텀 시냅스 네트워크(431a-431c)에 대응하도록 종속된 다수 개의 미들-텀 시냅스 네트워크들(432a1-432a4, 432b1-432b4, 432c1-432c4) 및 다수 개의 롱-텀 시냅스 네트워크들(433a1-433a4, 433b1-433b4, 433c1-433c4)을 포함할 수 있다. 하나의 숏-텀 시냅스 네트워크들(431a-431c)에 학습된 데이터 패턴들은 각각, 다수 개의 미들-텀 네트워크들(432a1-432a4, 432b1-432b4, 432c1-432c4) 중 하나로 일시적으로 전송, 복사, 저장, 또는 백업될 수 있다. 즉, 다수 개의 데이터 패턴들이 자주 업데이트 되어야 하는 경우에 유리할 수 있다. 마찬가지로, 데이터 패턴들의 업데이트가 완료된 후, 또는 데이터 패턴이 업데이트될 필요가 없을 경우, 데이터 패턴들은 다수 개의 롱-텀 시냅스 네트워크들(433a1-433a4, 433b1-433b4, 433c1-433c4) 중 하나로 각각, 반영구적으로 전송, 복사, 저장, 또는 백업될 수 있다.
도 6은 본 발명의 일 실시예에 따른 패턴 인식 시스템(900)을 개념적으로 도시한 블록다이아그램이다. 예를 들어, 상기 패턴 인식 시스템(900)은 음성 인식 시스템(speech recognition system), 영상 인식 시스템(imaging recognition system), 코드 인식 시스템(code recognition system), 신호 인식 시스템(signal recognition system), 또는 기타 다양한 패턴들을 인식하기 위한 시스템들 중 하나일 수 있다.
도 6을 참조하면, 본 발명의 일 실시예의 패턴 인식 시스템(900)은 중앙 처리 유닛(910), 메모리 유닛(920), 통신 제어 유닛(930), 네트워크(940), 출력 유닛(950), 입력 유닛(960), 아날로그-디지털 변환기(970), 뉴로모픽 유닛(980), 및/또는 버스(990)를 포함할 수 있다. 중앙 처리 유닛(910)은 뉴로모픽 유닛(980)의 학습을 위하여 다양한 신호를 생성 및 전달하고, 및 뉴로모픽 유닛(980)으로부터의 출력에 따라 음성, 영상 등과 같은 패턴을 인식하기 위한 다양한 처리 및 기능을 수행할 수 있다.
상기 중앙 처리 유닛(910)은 메모리 유닛(920), 통신 제어 유닛(930), 출력 유닛(950), 아날로그-디지털 변환기(970) 및 뉴로모픽 유닛(980)과 버스(990)을 통하여 연결될 수 있다.
메모리 유닛(920)은 패턴 인식 시스템(900)에서 저장이 요구되는 다양한 정보를 저장할 수 있다. 메모리 유닛(920)은 디램(DRAM) 또는 에스램(SRAM) 같은 휘발성 메모리 소자, 피램(PRAM), 엠램(MRAM), 알이램(ReRAM), 또는 낸드 플래시 메모리(NAND flash memory) 같은 비휘발성 메모리, 또는 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 같은 다양한 기억 유닛들 중 적어도 하나를 포함할 수 있다.
통신 제어 유닛(930)은 인식된 음성, 영상 등의 데이터를 네트워크(940)를 통하여 다른 시스템의 통신 제어 유닛으로 전송하거나 및/또는 수신할 수 있다.
출력 유닛(950)은 인식된 음성, 영상 등의 데이터를 다양한 방식으로 출력할 수 있다. 예컨대, 출력 유닛(950)은 스피커, 프린터, 모니터, 디스플레이 패널, 빔 프로젝터, 홀로그래머, 또는 기타 다양한 출력 장치를 포함할 수 있다.
입력 유닛(960)은 마이크로폰, 카메라, 스캐너, 터치 패드, 키보드, 마우스, 마우스 펜, 또는 다양한 센서들 중 적어도 하나를 포함할 수 있다.
아날로그-디지털 변환기(970)는 입력 장치(960)로부터 입력된 아날로그 데이터를 디지털 데이터로 변환할 수 있다.
뉴로모픽 유닛(980)은 아날로그-디지털 변환기(970)로부터 출력된 데이터를 이용하여 학습(learning), 인식(recognition) 등을 수행할 수 있고, 인식된 패턴에 대응하는 데이터를 출력할 수 있다. 뉴로모픽 유닛(980)은 본 발명의 다양한 실시예들에 의한 뉴로모픽 디바이스들 중 적어도 하나를 포함할 수 있다.
이상, 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예에는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 단위 시냅스 시스템
11: 프리-시냅틱 뉴런
12: 포스트-시냅틱 뉴런
13: 시냅스
100, 200: 싱글 뉴럴 네트워크 시스템
110, 210: 입력 디바이스
120, 220: 출력 디바이스
130, 230: 시냅스 네트워크
131, 231: 숏-텀 시냅스 시스템
132, 232: 미들-텀 시냅스 시스템
133, 233: 롱-텀 시냅스 시스템
300A-300B, 400A-400C: 멀티 뉴럴 네트워크 시스템
310, 410: 입력 디바이스
315, 415: 프리-프로세서
320, 420: 출력 디바이스
330, 430: 시냅스 네트워크
330a-330c, 430a-430c: 유닛 시냅스 네트워크
331a-331c, 431a-431c: 숏-텀 시냅스 네트워크
332a-332c, 432a-432c, 432a1-432c4: 미들-텀 시냅스 네트워크
333a-333c, 433a-433c, 433a1-433c4: 롱-텀 시냅스 네트워크
R: 로우 라인
C: 컬럼 라인

Claims (20)

  1. 입력 디바이스;
    출력 디바이스; 및
    상기 입력 디바이스와 상기 출력 디바이스 사이의 제1 시냅스 네트워크 및 제2 시냅스 네트워크를 포함하고,
    상기 제1 시냅스 네트워크는 상기 제2 시냅스 네트워크보다 높은 학습 효율을 갖는 제1 시냅스 시스템을 포함하고, 및
    상기 제2 시냅스 네트워크는 상기 제1 시냅스 네트워크보다 우수한 데이터 보존력을 갖는 제2 시냅스 시스템을 포함하는 뉴로모픽 디바이스.
  2. 제1항에 있어서,
    상기 시냅스 네트워크는 하나의 상기 제1 시냅스 네트워크에 대응하도록 종속된 다수 개의 상기 제2 시냅스 네트워크를 포함하는 뉴로모픽 디바이스.
  3. 제1항에 있어서,
    상기 시냅스 네트워크는 상기 제1 시냅스 네트워크와 상기 제2 시냅스 네트워크 사이의 제3 시냅스 네트워크를 더 포함하고, 및
    상기 제3 시냅스 네트워크는 상기 제1 시냅스 네트워크보다 우수한 데이터 보존력을 갖고, 및 상기 제2 시냅스 네트워크보다 높은 학습 효율을 갖는 뉴로모픽 디바이스.
  4. 제3항에 있어서,
    상기 시냅스 네트워크는 하나의 상기 제1 시냅스 네트워크에 대응하도록 종속된 다수 개의 상기 제3 시냅스 네트워크들을 포함하는 뉴로모픽 디바이스.
  5. 제3항에 있어서,
    상기 시냅스 네트워크는 하나의 상기 제3 시냅스 네트워크에 대응하도록 종속된 다수 개의 상기 제2 시냅스 네트워크들을 포함하는 뉴로모픽 디바이스.
  6. 제3항에 있어서,
    상기 제1 시냅스 네트워크에서 학습된 데이터 패턴은 상기 제3 시냅스 네트워크로 전송되어 저장되는 뉴로모픽 디바이스.
  7. 제6항에 있어서,
    상기 제3 시냅스 네트워크에 저장된 상기 데이터 패턴은 상기 제1 시냅스 네트워크로 전송되어 업데이트 되는 뉴로모픽 디바이스.
  8. 제1항에 있어서,
    상기 제1 시냅스 네트워크는 배타적으로 데이터 패턴을 학습하는 뉴로모픽 디바이스.
  9. 제1항에 있어서,
    상기 제1 시냅스 네트워크는 상기 제2 시냅스 네트워크보다 높은 전압, 높은 전류, 긴 시간, 또는 많은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화/억제되는 뉴로모픽 시스템
  10. 제1항에 있어서,
    상기 입력 디바이스와 상기 제1 시냅스 네트워크 사이에 배치된 프리-프로세서를 더 포함하고,
    상기 프리-프로세서는 상기 제1 시냅스 네트워크로 학습될 데이터 패턴을 분배하는 뉴로모픽 디바이스.
  11. 입력 디바이스;
    상기 입력 디바이스와 전기적으로 연결된 시냅스 네트워크; 및
    상기 시냅스 네트워크와 전기적으로 연결된 출력 디바이스를 포함하고,
    상기 시냅스 네트워크는 제1 학습 속도를 갖는 제1 시냅스 네트워크 및 상기 제1 학습 속도보다 느린 제2 학습 속도를 갖는 제2 시냅스 네트워크를 포함하는 뉴로모픽 디바이스..
  12. 제11항에 있어서,
    상기 제1 시냅스 네트워크는 상기 제1 학습 속도를 갖는 다수 개의 제1 시냅스 시스템들을 포함하고, 및
    상기 제2 시냅스 네트워크는 상기 제2 학습 속도를 갖는 다수 개의 제2 시냅스 시스템들을 포함하는 뉴로모픽 디바이스.
  13. 제12항에 있어서,
    하나의 상기 제1 시냅스 시스템에 다수 개의 상기 제2 시냅스 시스템들이 종속되는 뉴로모픽 디바이스.
  14. 제11항에 있어서,
    상기 시냅스 네트워크는 상기 제1 시냅스 네트워크와 상기 제2 시냅스 네트워크 사이의 제3 시냅스 네트워크를 더 포함하고, 및
    상기 제3 시냅스 네트워크는 상기 제1 학습 속도보다 느리고 상기 제2 학습 속도보다 빠른 제3 학습 속도를 갖는 뉴로모픽 디바이스.
  15. 제14항에 있어서,
    하나의 상기 제1 시냅스 시스템에 다수 개의 상기 제3 시냅스 시스템들이 종속되는 뉴로모픽 디바이스.
  16. 제14항에 있어서,
    하나의 상기 제3 시냅스 시스템에 다수 개의 상기 제2 시냅스 시스템들이 종속되는 뉴로모픽 디바이스.
  17. 제11항에 있어서,
    상기 제1 시냅스 네트워크는 배타적으로 데이터 패턴을 학습하고, 및
    상기 제1 시냅스 네트워크에서 학습된 데이터 패턴은 상기 제3 시냅스 네트워크로 전송되어 저장되는 뉴로모픽 디바이스.
  18. 입력 디바이스;
    상기 입력 디바이스와 전기적으로 연결된 시냅스 네트워크; 및
    상기 시냅스 네트워크와 전기적으로 연결된 출력 디바이스를 포함하고,
    상기 시냅스 네트워크는 제1 데이터 보존력을 갖는 제1 시냅스 네트워크 및 상기 제1 데이터 보존력보다 우수한 제2 데이터 보존력을 갖는 제2 시냅스 네트워크를 포함하는 뉴로모픽 디바이스.
  19. 제18항에 있어서,
    상기 시냅스 네트워크는 상기 제1 시냅스 네트워크와 상기 제2 시냅스 네트워크 사이에 제3 시냅스 네트워크를 더 포함하고, 및
    상기 제3 시냅스 네트워크는 상기 제1 데이터 보존력보다 우수하고 상기 제2 데이터 보존력보다 열등한 제3 데이터 보존력을 갖는 뉴로모픽 디바이스.
  20. 제19항에 있어서,
    상기 제3 시냅스 시스템은 상기 제1 시냅스 시스템보다 높은 전압, 높은 전류, 긴 시간, 또는 많은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화/억제되고, 및 상기 제3 시냅스 시스템보다 낮은 전압, 낮은 전류, 짧은 시간, 또는 적은 횟수를 갖는 전기적 셋/리셋 펄스들에 의해 강화/억제되는 뉴로모픽 디바이스.
KR1020160138305A 2016-04-14 2016-10-24 뉴럴 네트워크 시스템 KR20170117861A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/459,622 US20170300810A1 (en) 2016-04-14 2017-03-15 Neural network system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662322566P 2016-04-14 2016-04-14
US62/322,566 2016-04-14

Publications (1)

Publication Number Publication Date
KR20170117861A true KR20170117861A (ko) 2017-10-24

Family

ID=60299620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160138305A KR20170117861A (ko) 2016-04-14 2016-10-24 뉴럴 네트워크 시스템

Country Status (1)

Country Link
KR (1) KR20170117861A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052587A (ko) * 2017-11-08 2019-05-16 삼성전자주식회사 뉴럴 네트워크 장치 및 그 동작 방법
KR20200068051A (ko) 2018-11-26 2020-06-15 전자부품연구원 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052587A (ko) * 2017-11-08 2019-05-16 삼성전자주식회사 뉴럴 네트워크 장치 및 그 동작 방법
KR20200068051A (ko) 2018-11-26 2020-06-15 전자부품연구원 스파이킹 뉴럴 네트워크 장치 및 이를 포함하는 지능형 장치

Similar Documents

Publication Publication Date Title
US10692570B2 (en) Neural network matrix multiplication in memory cells
US10990651B2 (en) Systems and methods for efficient matrix multiplication
US11361216B2 (en) Neural network circuits having non-volatile synapse arrays
KR102608248B1 (ko) 신경망 하드웨어 가속기 아키텍처 및 그 동작 방법
US10755170B2 (en) Resistive processing unit with hysteretic updates for neural network training
CN109255435B (zh) 具有多个突触块的神经形态设备
US11620505B2 (en) Neuromorphic package devices and neuromorphic computing systems
JP6865819B2 (ja) メモリ・セル構造、メモリ・セル・システム、およびメモリ・セル構造を製造するための方法
KR20180133061A (ko) 강유전체 전계 효과 트랜지스터들을 가진 시냅스들을 포함하는 뉴로모픽 소자의 시냅스 어레이 및 그 동작 방법
US20180285721A1 (en) Neuromorphic device including a synapse having a variable resistor and a transistor connected in parallel with each other
US11301752B2 (en) Memory configuration for implementing a neural network
Musisi-Nkambwe et al. The viability of analog-based accelerators for neuromorphic computing: A survey
CN109086881B (zh) 卷积神经网络及具有其的神经网络系统
KR20170080431A (ko) 뉴로모픽 소자 및 뉴로모픽 소자의 저항 변화율을 조절하는 방법
US11210581B2 (en) Synapse and a synapse array
KR20170117861A (ko) 뉴럴 네트워크 시스템
KR20180095978A (ko) 병렬 연결된 가변 저항기 및 트랜지스터를 가진 시냅스를 포함하는 뉴로모픽 소자
US20170300810A1 (en) Neural network system
US20180287056A1 (en) Synapse and synapse array
KR20170080425A (ko) 적분기들, 증폭기들, 또는 샘플링 소자들 중 적어도 하나를 가진 포스트-시냅틱 뉴런들을 포함하는 뉴로모픽 소자들
KR102668199B1 (ko) 뉴로모픽 소자의 시냅스로부터 데이터를 독출하는 방법
KR102671259B1 (ko) 인버팅 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
US11210582B2 (en) Neuromorphic device having a plurality of synapse blocks sharing a common logic element
US11694065B2 (en) Spiking neural unit
Wu et al. A digitalized RRAM-based Spiking Neuron Network system with 3-bit weight and unsupervised online learning scheme