KR20100099256A - 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 - Google Patents

하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 Download PDF

Info

Publication number
KR20100099256A
KR20100099256A KR1020107014868A KR20107014868A KR20100099256A KR 20100099256 A KR20100099256 A KR 20100099256A KR 1020107014868 A KR1020107014868 A KR 1020107014868A KR 20107014868 A KR20107014868 A KR 20107014868A KR 20100099256 A KR20100099256 A KR 20100099256A
Authority
KR
South Korea
Prior art keywords
integrated circuit
cell
signal
cells
nanowire
Prior art date
Application number
KR1020107014868A
Other languages
English (en)
Other versions
KR101438469B1 (ko
Inventor
그레고리 에스. 스니더
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20100099256A publication Critical patent/KR20100099256A/ko
Application granted granted Critical
Publication of KR101438469B1 publication Critical patent/KR101438469B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Integrated Circuits (AREA)
  • Internal Circuitry In Semiconductor Integrated Circuit Devices (AREA)

Abstract

본 발명의 실시예들은 집적 회로 기판 상에 제조된 아날로그 계산 셀들의 어레이를 포함하는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로들을 포함한다. 각각의 계산 셀 내의 아날로그 전자 회로는 계산 셀들로부터 대략 수직으로 연장하는 제1 타입의 하나 이상의 핀 및 제2 타입의 하나 이상의 핀에 접속된다. 계산 셀들은 하나 이상의 나노와이어-상호접속 층에 의해 추가로 상호접속되며, 각각의 나노와이어 상호접속 층은 멤리스티브 하위층(memristive sublayer)의 어느 한 면 상의 2개의 나노와이어 하위층을 포함하고, 상호접속층의 각각의 나노와이어 하위층 내의 각각의 나노와이어는 단일 계산 셀 핀에 그리고 상호접속층의 다른 나노와이어 하위층 내의 다수의 나노와이어에 접속된다.

Description

하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로{HYBRID MICROSCALE-NANOSCALE NEUROMORPHIC INTEGRATED CIRCUIT}
<관련 출원의 상호 참조>
본 출원은 2007년 12월 5일자로 출원된 가출원 제60/992,663호의 이익을 주장한다.
본 발명은 재료 과학 및 전자 회로 구현들에 관한 것으로서, 구체적으로는 생체 신경 회로를 모방하는 뉴로모픽 회로들을 포함하는 다양한 상이한 복합 전자 회로, 처리 시스템 및 계산 장치를 구현하기 위한 하이브리드 마이크로스케일-나노스케일 집적 회로 아키텍처에 관한 것이다.
컴퓨터 프로세서, 메모리 및 기타 계산 기구를 위한 마이크로스케일 회로를 구현하는 현재의 접근법들은 지난 반세기 동안에 회로 밀도 및 계산 능력에서 눈부시고 급격한 증가를 이루어냈다. 그러나, 여러 해 동안 컴퓨터의 발전을 특성화하여 왔고, "무어의 법칙"으로서 지칭되는 2년 단위의 처리 능력 및 피처(feature) 밀도의 가파른 2배 증가는 평탄화되기 시작하였으며, 이제 피처 크기의 추가적인 감소는 신호 라인의 크기의 감소에 따른 전기 저항의 증가, 피처 크기의 감소에 따른 피처의 용량의 증가로 인해 증가된 양의 열을 생성하는 프로세서들로부터의 열의 제거의 어려움의 증가, 훨씬 더 작은 피처들을 제조할 때 겪는 어려움들로 인한 프로세서 및 메모리 컴포넌트들의 더 높은 결함 및 고장율, 및 피처 크기를 더 줄이기 위한 제조 설비들 및 방법들의 설계의 어려움을 포함하는 물리적 한계들 및 실무적 제약들을 겪고 있다. 집적 회로 내의 피처 크기의 추가적인 감소가 점점 더 어려운 것으로 밝혀짐에 따라, 집적 회로 기반 전자 장치들의 계산 능력을 향상시키기 위한 다양한 대안 접근법들이 이용되기 시작하였다. 일례로, 프로세서 판매자들은 다양한 작업들을 병렬로 실행하는 다수의 코어에 계산을 분산시킴으로써 계산 능력을 증가시키는 다중 코어 프로세서들을 생산하고 있다. 다른 노력들은 나노스케일 레벨의 회로를 제조하는 것, 다양한 분자 전자 공학 기술을 이용하는 것, 및 전자 통신 매체들을 통한 데이터 신호들의 잘못된 전송을 개선하기 위해 에러 정정 코드를 사용하는 것과 유사한 방식으로 정보 과학에 기초하는 이론적 접근법들을 적용함으로써 결함 및 신뢰성 문제들을 해결하는 것을 포함한다. 추가적인 노력들은 굉장히 효율적인 저전력 병렬 계산 기구를 갖는 생물학적 유기체들을 제공하는 생체 신경 회로를 모방하는 "뉴로모픽 회로"로서 지칭되는 나노스케일 회로를 개발하는 것과 관련된다. 그러나, 많은 현재의 접근법들은 시냅스들에 대한 뉴로모픽 회로 등가물들을 구현하기 위해 상보형 금속 산화물 반도체("CMOS") 기술들로 구현되는 전통적인 논리를 이용하며, 이는 뉴런들에 대한 뉴로모픽 회로 등가물들이 제조될 수 있는 밀도를 일반적으로 반도체칩 표면적의 단위 제곱 센티미터당 수천 뉴런으로 심하게 제한한다. 따라서, 뉴로모픽 회로의 연구 개발자들은 충분한 밀도의 뉴로모픽 회로를 생산하기 위해서는 새로운 기술들 및 새로운 아키텍처들이 필요하다는 것을 인식하고 있다.
본 발명의 실시예들은 집적 회로 기판 상에 제조된 아날로그 계산 셀들의 어레이를 포함하는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로들을 포함한다. 각각의 계산 셀 내의 아날로그 전자 회로는 계산 셀들로부터 대략 수직으로 연장하는 제1 타입의 하나 이상의 핀 및 제2 타입의 하나 이상의 핀에 접속된다. 계산 셀들은 하나 이상의 나노와이어-상호접속 층에 의해 추가로 상호접속되며, 각각의 나노와이어 상호접속 층은 멤리스티브 하위층(memristive sublayer)의 어느 한 면 상의 2개의 나노와이어 하위층을 포함하고, 상호접속층의 각각의 나노와이어 하위층 내의 각각의 나노와이어는 단일 계산 셀 핀에 그리고 상호접속층의 다른 나노와이어 하위층 내의 다수의 나노와이어에 접속된다. 본 발명의 마이크로스케일-나노스케일 하이브리드 뉴로모픽 회로 아키텍처는 뉴로모픽 층판 피질 회로들을 포함하는 다양한 상이한 복합 전자 회로, 계산 시스템 및 계산 장치를 구현하는 데 이용될 수 있다.
도 1은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 기본 계산 셀을 나타내는 도면이다.
도 2는 본 발명의 다양한 실시예에서 시냅스 거동을 모델링하는 2개의 나노와이어 사이의 멤리스티브 접합을 나타내는 도면이다.
도 3a-b는 본 발명의 다양한 실시예에서 시냅스들을 모델링하는 데 사용되는 멤리스티브 접합들의 본질적인 전자 특성들을 나타내는 도면이다.
도 4는 본 발명의 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 다양한 실시예에서 기본 계산 유닛으로 사용되는 신경 셀을 나타내는 도면이다.
도 5a-e는 본 발명의 일 실시예를 나타내는 하나의 쉽게 도시된 신경 셀의 내부 동작을 나타내는 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 신경 셀의 일반적인 내부 회로를 나타내는 도면이다.
도 7은 본 발명의 실시예들을 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로들 내에서 사용되는 습관적 전송 게이트(habituative-transmission-gate) 계산 셀을 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 입력 신호의 습관적 전송 게이트 계산 셀에 의한 변경을 나타내는 도면이다.
도 9는 본 발명의 실시예들을 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로들 내에서 사용되는 입력 계산 셀 및 출력 계산 셀을 포함하는 2개의 추가 타입의 계산 셀들의 예들을 나타내는 도면이다.
도 10은 본 발명의 일 실시예를 나타내는 마이크로스케일-나노스케일 하이브리드 뉴로모픽 회로의 입력 계산 셀에 대한 입력 및 출력 신호들을 나타내는 도면이다.
도 11a-b는 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내의 계산 셀들의 상호접속을 나타내는 도면이다.
도 12a-f는 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 제조를 나타내는 도면이다.
도 13은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 나노와이어 상호접속층들의 나노와이어들을 통해 전송되는 양방향 신호들을 나타내는 도면이다.
도 14는 프리-시냅틱 뉴런 및 포스트-시냅틱 뉴런을 상호접속하는 멤리스티브 나노와이어 접합의 컨덕턴스 변화들을 나타내는 도면이다.
도 15는 본 발명의 일 실시예에 따른 디지털-로직 플립-플롭의 거동과 유사한 아날로그 거동을 나타내는 6 계산 셀 다이폴(six-computational-cell dipole)의 구현을 나타내는 도면이다.
도 16은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로에서 사용될 수 있는 제2 타입의 다중 계산 셀 모듈을 나타내는 도면이다.
도 17은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내의 계산 셀들의 계층적 상호접속을 나타내는 도면이다.
도 18은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내에 구현될 수 있는 제2 타입의 논리 구조를 나타내는 도면이다.
도 19는 층판 피질층 뉴로모픽 회로를 구현하기 위해, 본 발명에 따라 제조될 수 있고, 다수의 인접하는 층판 피질층 모듈과 함께 사용될 수 있는 층판 피질 회로 모듈을 나타내는 도면이다.
본 발명의 실시예들은 본질적으로 제한 없는 수의 상이한 전자 회로, 계산 시스템 및 계산 장치를 구현하기 위한 매우 높은 밀도의 저전력 소비 아날로그 뉴로모픽 회로를 제공하는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로들에 관한 것이다. "마이크로스케일"이라는 용어는 수 마이크로미터에서 10 내지 100 나노미터까지의 최소 치수를 갖는, 포토리소그라피, 도핑, 에칭 및 선형화를 포함하는, 집적 회로들을 생산하기 위한 다양한 기술들에 의해 실리콘 기반 집적 회로 층 또는 다른 반도체 물질 기반 집적 회로 층에 구현되는 마이크로스케일 및 서브마이크로스케일 컴포넌트들 및 피처들을 지칭한다. "나노스케일"이라는 용어는 네트들 및 크로스바들을 포함하는 나노와이어들 및 다양한 나노와이어 구조들을 형성하기 위한 다양한 방법들을 이용하여 구현되는, 수십 나노미터에서 10 나노미터 미만까지의 최소 치수를 갖는 더 작은 피처들 및 컴포넌트들을 지칭한다.
생체 신경 회로 및 생체 회로를 에뮬레이트하도록 제조되는 뉴로모픽 전자 회로는 시냅스들을 통해 다른 신경 셀 유닛들과 각각 상호접속되는 신경 셀들 및 뉴런 계산 유닛들에 기초한다. 뉴런들의 액티비티 레벨들은 일반적으로 단기 메모리를 구현하고, 연장된 자극 및 기타 습관적 응답들의 결과인 신경 자극의 억제는 일반적으로 중기 메모리를 구현하며, 시냅스 가중치들은 장기 메모리를 구현한다. 일반적으로, 생체 신경 회로에서, 주어진 뉴런은 최대 10,000개 이상의 시냅스를 통해 다른 뉴런들에 상호접속될 수 있다. 전술한 바와 같이, 집적 회로들 내의 마이크로스케일 및 서브마이크로스케일 전자 컴포넌트들로부터 뉴로모픽 회로를 형성하려는 시도들은 일반적으로 지금까지는 서브마이크로스케일 논리 회로들에서 시냅스 기능을 시뮬레이션하는 데 대한 집적 회로의 상당한 부분의 소비로 인해 매우 낮은 뉴런 밀도로 이어졌다. 뉴런들보다 훨씬 더 많은 시냅스들이 필요하므로, 많은 뉴로모픽 집적 회로 설계에서는, 뉴로모픽 집적 회로의 표면의 대부분이 훨씬 더 적은 수의 뉴런들 사이의 다수의 시냅스 접속을 구현하는 데 바쳐졌다.
본 발명의 실시예들은 시냅스들을 나노와이어들 사이의 멤리스티브 접합들로서 구현함으로써 높은 뉴런 밀도의 뉴로모픽 집적 회로들을 제공한다. 시냅스들 및 시냅스들에 의해 상호접속되는 나노와이어 신호 라인들은 생체 신경 회로의 수상 돌기들 및 축색 돌기들을 모방하고, 반도체 집적 회로 층 위의 나노와이어 상호접속 층들 내에 제조되며, 따라서 아래의 설명에서 "신경 셀들"로서 지칭되는 뉴런 계산 셀들 및 다중 계산 셀 모듈들의 구현을 위해 반도체 집적 회로 표면을 보존한다. 따라서, 본 발명에 따라 설계되고 제조되는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로들은 논리 회로가 아니라 멤리스틱 나노와이어 접합들을 이용하여 시냅스들을 구현하고, 신경 셀들 사이의 시냅스들 및 시냅스 기반 상호접속들은 반도체 집적 회로 층 위의 나노와이어 상호접속 층들 내에 구현되며, 이는 3차원 하이브리드 마이크로스케일-나노스케일 뉴로모픽 회로 아키텍처에서 훨씬 더 큰 신경 셀 밀도를 제공한다.
도 1은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 기본 계산 셀을 나타낸다. 계산 셀은 4개의 도전성 핀(104-107)이 수직으로 연장하는 반도체 집적 회로 층(102)의 정규 영역을 포함한다. 도 1의 나노와이어(108)와 같은 수평 나노와이어들은 패드형 구조(110)와 같은 패드형 구조들을 통해 도전성 핀들에 상호접속되며, 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 계산 셀들의 2차원 어레이 내의 계산 셀(102) 근처의 다수의 계산 셀을 가로질러 직선으로 연장한다. 후술하는 바와 같이, 계산 셀(102)의 반도체 집적 회로 층은 일부가 아래에 더 상세히 설명되는 뉴런 또는 기타 기본 계산 장치의 모델을 구현하는 다양한 상호접속들 및 아날로그 컴포넌트들을 포함한다. 4개의 수직 핀(104-107)은 계산 셀(102)의 반도체 집적 회로 층 부분 내의 아날로그 컴포넌트들 및 회로를 나노와이어(108)와 같은 나노와이어들의 층들에 상호접속하는 데 사용된다. 또한, 나노와이어들은 계산 셀을 나노와이어들 및 시냅스들을 모델링하는 멤리스티브 접합들을 통해 이웃 계산 셀들에 상호접속할 수 있다.
도 2는 본 발명의 다양한 실시예에서 시냅스 거동을 모델링하는 2개의 나노와이어 사이의 멤리스티브 접합을 나타낸다. 도 2에서, 제1 계산 셀(202)은 이웃 계산 셀(204)에 인접 배치되는 것으로 도시되어 있다. 제1 나노와이어(206)는 인접하는 이웃 계산 셀(204)의 수직 핀(208)에 접속된다. 제2 나노와이어(210)는 도 2의 전경에 도시된 계산 셀(202)의 수직 핀(212)에 전자적으로 접속된다. 제1 나노와이어(206) 및 제2 나노와이어(210)는 도 2의 작은 점선 원(214)에 의해 한정된 영역에서 서로 중첩되며, 중첩 영역은 삽화(216) 내에 확대되어 있다. 제1 나노와이어(206)와 제2 나노와이어(210) 사이에는 제1 나노와이어와 제2 나노와이어를 전자적으로 상호접속하는 멤리스틱 재료(218)의 작은 층이 위치한다. 2개의 나노와이어 사이의 멤리스틱 접합은 2개의 신호 라인(222, 224)을 상호접속하는 멤리스터 심벌(220)에 의해 삽화(218) 내에 도시된 바와 같이 심벌로 표시될 수 있다. 후술하는 바와 같이, 상호접속 층 내의 각각의 나노와이어는 멤리스티브 접합들을 통해 많은 상이한 나노와이어와 상호접속될 수 있다.
도 3a-b는 본 발명의 다양한 실시예에서 시냅스들을 모델링하는 데 사용되는 멤리스티브 접합들의 본질적인 전자 특성들을 나타낸다. 도 3a 및 3b 양자는 멤리스티브 접합에 대한 전류/전압 그래프를 나타낸다. 전압은 수평축(302)에 관하여 도시되고, 전류는 수직축(304)에 관하여 도시된다. 도 3a에는 전압 스위프가 도시되어 있다. 전압 스위프를 포함하는 연속적인 전압 변화들이 도 3a의 전압/전류 그래프(316)와 정합하여(in register with), 그리고 그 아래에 제2 전압축(314)에 관하여 도시된 전압 경로(312)에 의해 표시되어 있다. 도 3a에 도시된 바와 같이, 전압 스위프는 0의 전압(306)으로부터 전압 V+ max(308)로 전압을 꾸준히 증가시킴으로써, 이어서 전압을 음의 전압 V- max(310)으로 연속 감소시킴으로써, 이어서 전압을 다시 0(도 3a의 306)으로 증가시킴으로써 수행된다. 이러한 전류/전압 그래프는 멤리스티브 재료의 도전율이 전압 스위프 동안 어떻게 변하는지를 나타낸다.
초기에, 멤리스티브 재료는 낮은 도전율(conductivity) 상태에 있으며, 따라서 전압이 0(도 3a의 306)에서 V+ max(308) 바로 아래까지 증가할 때 그래프의 제1 부분(318)에서 전류는 크기가 비교적 낮게 유지된다. V+ max 근처에서, 멤리스티브 재료의 저항이 비선형 방식으로 크게 떨어짐에 따라, 또는 도전율이 상승함에 따라, 전류는 빠르게 상승(320)하기 시작한다. 이어서, 전압이 V+ max에서 V- max(310) 아래로 감소할 때, 그래프의 부분들(322, 324)에서 대응 전압 값들에 대해 멤리스티브 재료에 의해 전달되는 비교적 큰 크기의 전류들로부터 알 수 있듯이, 멤리스티브 재료의 도전율은 높게 유지된다. 음의 전압 V- max 근처에서, 멤리스티브 재료의 컨덕턴스(conductance)는 갑자기 급격히 감소(326)하기 시작한다. 멤리스티브 재료는 전압이 V- max에서 다시 0을 향해 증가(도 3a의 328)함에 따라 유지되는 낮은 컨덕턴스 상태로 설정된다. 도 3b에 도시된 바와 같이, 제2 전압 스위프(330)는 점선들(332)로 표시된 제1 전압 스위프 동안에 생성된 컨덕턴스에 관하여 멤리스티브 재료의 컨덕턴스를 증가시킨다. 추가적인 전압 스위프들은 이전 전압 스위프 동안에 생성된 컨덕턴스에 관하여 멤리스티브 재료의 컨덕턴스를 더 증가시킬 수 있다. 따라서, 멤리스티브 재료는 인가 전압의 연속 증가 또는 감소 하에 컨덕턴스의 비선형성을 나타내며, 또한 이전 컨덕턴스 상태들의 메모리를 나타낸다. 즉, 본 발명의 실시예들에서 사용되는 다양한 타입의 멤리스티브 재료들에 대해, 멤리스티브 재료의 물리적 상태(w)는 시간에 관하여 멤리스티브 재료의 현재의 물리적 상태 및 인가 전압 양자의 함수로서 변한다.
Figure pct00001
본 발명의 실시예들에서 멤리스티브 접합에 의해 전달되는 전류(i)는 인가 전압 및 재료의 컨덕턴스의 함수이며, 컨덕턴스(g)는 멤리스티브 재료의 현재 상태 및 인가 전압 양자의 함수이다.
Figure pct00002
도 3a-b에 도시된 바와 같이, 멤리스티브 접합의 컨덕턴스는 현재의 인가 전압은 물론, 이전 시간 간격 동안의 인가 전압들의 이력에도 의존한다.
시냅스는 일반적으로 프리 시냅틱 뉴런(i)에 의해 생성되어 시냅스를 통해 포스트 시냅틱 뉴런(j)으로 지향되는 신호의 증폭 또는 감쇠를 일으킨다. 소정의 모델들에서, 시냅스의 이득 또는 가중치는 0.0 내지 1.0의 범위를 가지며, 0.0의 이득은 신호의 최대 감쇠를 나타내고, 1.0의 이득은 신호의 감쇠 없음을 나타낸다. 이러한 모델들에서, 뉴런들은 액티비티들을 가지며, 뉴런(i)의 액티비티(xi)가 임계치보다 클 때, 뉴런은 출력 신호를 방출한다. 뉴런 거동의 수학적 모델은 후속 단락에서 제공된다. 프리 시냅틱 뉴런(i)과 포스트 시냅틱 뉴런(j)을 상호접속하는 시냅스에 대한 이득(zij)의 변화율에 대한 하나의 수학적 모델은 다음과 같이 표현된다.
Figure pct00003
여기서, zij는 프리 시냅틱 뉴런(i)과 포스트 시냅틱 뉴런(j)을 상호접속하는 시냅스(ij)의 가중치 또는 시냅스(ij)에 의해 생성되는 이득이고, ε은 학습률이고, ω는 망각률이고, f(xj)는 뉴런(i)의 액티비티의 비선형 함수이고, g(xi)는 뉴런(j)의 액티비티의 비선형 함수이고, t는 시간이다.
본 발명의 많은 실시예에서, f() 및 g()는 일반적으로 시그모이드형(sigmoidal) 함수이다. 하나의 예시적인 시그모이드형 또는 "S"자형 함수는 tanh()이다. 프리 시냅틱 뉴런 및 포스트 시냅틱 뉴런 양자가 높은 액티비티들을 갖는 경우, 이득(zij)은 빠르게 증가한다. -ωzij 항은, -ωzij 항이 포스트 시냅틱 뉴런의 액티비티의 비선형 함수 g(xi)의 현재 값들보다 큰 크기를 가질 때, 시냅스의 이득이 시간에 따라 감소하는 것을 보장한다. 시냅스의 가중치는 피드백 항(-ωzij)로 인해 무한 방식으로 증가하거나 감소할 수 없는데, 이러한 피드백 항은 시냅스의 시냅스 가중치가 1.0에 접근함에 따라 시냅스의 가중치를 감소시키는 작용을 하고, 시냅스의 가중치가 0.0에 접근할 때는 점점 더 적은 피드백을 생성한다. 시냅스 거동의 수학적 모델은 뉴런 액티비티의 수학적 모델에 의존하며, 이러한 모델들은 서로에 대해 상호 피드백을 제공한다. 시냅스 이득에 대한 수학적 모델과 멤리스티브 접합의 도전율 변화들을 나타내는 위의 식들, 특히 컨덕턴스 함수 g(w,v)를 비교함으로써 알 수 있듯이, 멤리스티브 접합의 컨덕턴스는 시간 도함수가 위의 수학적 모델로서 표현되는 이득 함수의 물리적 실시예를 제공할 수 있는데, 그 이유는 시냅스 모델의 뉴런 액티비티들의 비선형 함수들 f(xi) 및 g(xi)가 뉴런들 사이의 물리적 전압과 관련되고, 주어진 시점에서의 이득(zij)이 멤리스티브 접합에 인가되는 전압들의 이력과 관련되기 때문이다. 따라서, 멤리스티브 나노와이어 접합의 컨덕턴스에 대한 함수 표현은 멤리스티브 나노와이어 접합에 의해 접속되는 프리 시냅틱 및 포스트 시냅틱 뉴런들의 현재 액티비티들은 물론, 멤리스티브 나노와이어 접합의 최근의 인가 전압 이력에도 의존한다. 따라서, 본 발명의 다양한 실시예에서, 나노와이어들을 상호접속하는 멤리스티브 나노와이어 접합들은 위의 수학적 모델로 표현되는 바와 같은 시냅스 거동을 모델링하기에 적합한 전류 신호들을 통과시키기 위한 물리적 특성들을 제공한다.
도 4는 본 발명의 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 다양한 실시예에서 기본 계산 유닛으로 사용되는 신경 셀을 나타낸다. 신경 셀은 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내의 일 타입의 계산 셀이다. 전술한 바와 같이, 신경 셀(402)은 4개의 수직 도전성 핀(404-407)을 포함한다. 핀들은 그들의 나침반 방향들에 의해 참조되는데, 나침반 도면(410)은 도 4의 계산 셀의 우측에 도시되어 있다. NW 핀(404) 및 SE 핀(405)은 신경 셀로부터의 출력 신호들을 NW 핀(404) 및 SE 핀(405)과 상호접속된 나노와이어들로 전달한다. SW 핀(406) 및 NE 핀(407) 양자는 핀들에 접속된 나노와이어들로부터 핀들로 입력된 신호들을 신경 셀(402)로 전달한다. SW 핀(406)은 억제성 신호들을 신경 셀로 전달하는 반면, NE 핀(407)은 흥분성 입력 신호들을 신경 셀로 전달한다. 흥분성 입력 신호들은 신경 셀의 액티비티를 증가시키는 경향이 있는 반면, 억제성 신호들은 신경 셀의 액티비티를 감소시키는 경향이 있다.
도 4에 도시된 기본 신경 셀(402)은 일반적으로 뉴런에 대한 다양한 상이한 수학적 모델 중 하나를 구현한다. 일반적으로, 수신된 흥분성 신호들의 주파수 및 개수가 억제성 신호들의 주파수 및 개수를 크게 초과할 때, 일반적으로 뉴런의 액티비티는 뉴런이 출력 핀들(404, 405)을 통해 출력 신호들을 방출하는 포인트인 임계 액티비티 값 위로 증가한다.
입력된 흥분성 신호들 및 입력된 억제성 신호들은 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 다른 신경 셀들로부터 시냅스형 멤리스티브 나노와이어 접합들을 통해 수신되며, 신경 셀(402)로부터 방출되는 출력 신호들은 시냅스형 멤리스티브 나노와이어 접합들을 통해 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 다른 계산 셀들로 지향된다. 신경 셀들 및 뉴로모픽 회로들은 일반적으로 다양한 피드백 메커니즘들을 포함하며, 뉴로모픽 회로 내의 개별 신경 셀들의 액티비티들을 제어하고 억제하는 비선형 거동을 나타낸다. 시냅스들을 통해 고밀도로 상호접속된 비교적 적은 수의 신경 셀들만을 포함하는 알맞은 크기의 뉴로모픽 회로들조차도, 폐쇄형 수학적 표현들을 이용해서는 종종 모델링될 수 없고, 전통적인 부울 논리 기반 디지털 논리 회로들에서 구현하기 어려운 매우 복잡한 기능을 나타낼 수 있다. 도 4에서, 입력(412) 및 출력(412)은 신경 셀이 4개의 수직 핀을 통해 신호들을 수신하고 신호들을 전송하는 것에 더하여 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 반도체 집적 회로 레벨 내에서 구현되는 추가적인 마이크로스케일 또는 서브마이크로스케일 신호 라인들을 통해 인접 계산 셀들과 모두 상호접속할 수 있음을 지시한다.
도 5a-e는 본 발명의 일 실시예를 나타내는 하나의 쉽게 도시된 신경 셀의 내부 동작을 나타낸다. 도 5a에 도시된 바와 같이, NE 입력 핀(도 4의 407)으로의 흥분성 입력(502)과 같은 모든 흥분성 입력들은 합산 동작(504)에 의해 함께 합산된다. 마찬가지로, 억제성 입력 신호(506)와 같은 모든 억제성 입력 신호들은 유사한 합산 기능(508)에 의해 함께 합산된다. 도 4의 입력(412)과 같은 반도체 집적 회로 층으로부터의 추가 입력들은 합산 동작에 포함될 수 있거나, 신경 셀 처리의 후속 단계들을 구현하는 기능 컴포넌트들로 입력될 수 있다. 합산 컴포넌트들(504, 508)은 단순히 입력 나노와이어 신호 라인들이 접속되는 입력 핀들이거나, 다른 전자 컴포넌트들인 증폭 컴포넌트들을 포함할 수 있다. 이어서, 흥분성 신호들의 합 및 억제성 신호들의 합은 도 5a의 신호/시간 그래프(512)로 표현되는 아날로그 전압 신호를 생성하는 신호 생성 기능 컴포넌트(510)로 입력된다.
도 5b에 도시된 바와 같이, 예시적인 신경 셀은 현재 시간에 선행하고 현재 시간을 포함하는 소정의 시간 간격 동안 신호 생성 기능 또는 동작(도 5a 도시)에 의해 생성되는 신호를 계속 적분하는 누설 적분기(leaky integrator) 기능 컴포넌트를 포함한다. 도 5b에 도시된 바와 같이, 누설 적분은 아날로그 신호(522) 위에 시간 윈도 함수(520)를 중첩시키고 시간 윈도 함수(520) 아래의 아날로그 신호의 해당 부분을 적분하는 것으로 볼 수 있다. 도 5b에서 그리고 후속 도면들에서, 아날로그 신호는 도시의 간략화를 위해 그 값이 균일하게 양인 것으로 도시되지만, 실제로는 아날로그 신호는 양, 0 또는 음일 수 있다.
도 5c에 도시된 바와 같이, 누설 적분 기능 컴포넌트는 적분된 신호(528)를 임계 기능 컴포넌트(530)로 출력한다. 적분된 신호가 임계 기능 컴포넌트에 의해 결정되는 바와 같은 임계치보다 큰 값을 가질 때, 신경 셀은 도 5c의 스파이크 트레인(spike train)(532)으로 도시되는 바와 같은 출력 신호를 방출한다. 그렇지 않은 경우, 도 5c의 상수 0 함수(534)의 그래프로 지시되는 바와 같이, 신경 셀은 신호를 방출하지 않는다. 임계 기능 컴포넌트는 출력 신호 생성 컴포넌트를 활성화하거나, 또는 대안으로 출력 신호 생성 컴포넌트를 포함하는 것으로 간주될 수 있다.
신경 셀의 동작은 대안으로서 도 5d에 도시된 바와 같이 아날로그 신호(542)에 대한 컨볼루션 동작(540) 및 컨볼루션된 함수(546)를 생성하기 위한 시간 윈도 함수 Ψ(544)로서 간주될 수 있다. 이어서, 임계치(548)가 컨볼루션된 함수(546) 위에 중첩되거나, 컨볼루션된 함수가 임계 거리만큼 하향 이동되어 대응하는 액티비티 함수(550)가 생성된다. 따라서, 입력 신호의 누설 적분이 임계치 위의 값을 생성하는 시간 간격들(552, 554)과 같은 시간 간격들 동안에, 신경 셀은 도 5d의 신경 셀 액티비티 그래프(550)에 도시된 바와 같이 활성이다.
도 5e는 본 발명의 다양한 실시예에 따른 신경 셀의 내부 동작을 요약하고 있다. 흥분성 입력들(560)은 함께 합산되어(562), 신호 생성 기능(564)으로 입력된다. 마찬가지로, 억제성 신호들(566)은 합산 기능(568)에 의해 함께 합산되어, 신호 생성 기능(564)으로 입력된다. 신호 생성 동작은 뉴런 거동에 대한 다양한 수학적 모델 중 임의 모델에 따라 결합되고 합산된 입력들에 기초하여 아날로그 신호를 생성할 수 있다. 예를 들어, 신호 생성 기능은 합산된 흥분성 입력 신호들 및 합산된 억제성 입력 신호들 양자에 비선형 함수를 적용한 후, 비선형 함수들의 적용의 결과들을 선형으로 결합할 수 있다. 신호 생성 기능(564)은 아날로그 신호를 누설 적분기 기능(570)으로 출력하며, 이 누설 적분기 기능은 이전 시간 간격 동안에 적분된 신호를 임계 기능(572)으로 출력하고, 이 임계 기능은 신경 셀이 출력 신호를 방출할 만큼 충분히 활성인지의 여부를 결정한다.
후술하는 바와 같이, 누설 적분은 신경 회로의 특수한 예이며, 도 5a-e의 예들에서는 예시적인 신경 회로로서 도시되는데, 그 이유는 신경 회로가 비교적 도시하기 쉽기 때문이다. 후술하는 호지킨-헉슬리(Hodgkin-Huxley) 신경 모델 및 션팅 모델을 구현하는 회로를 포함하는, 추가적이고, 기능적으로 더 강력하고 유연한 뉴런 회로가 이용될 수 있다. 이러한 기능적으로 더 강력하고 유연한 신경 회로들에서는 임계 컴포넌트가 필요하지 않을 수 있다는 점이 강조되어야 한다. 임계기(thresholder)는 소정의 뉴로모픽 회로들에서 스파이크 트레인들이 뉴런들 사이의 신호들로서 생성될 때 유용하지만, 다른 모델들에서, 신호 스파이크들은 임계 컴포넌트 없이도 생성될 수 있거나, 대안으로서 신호들은 스파이크 트레인들을 포함하는 것이 아니라 더 연속적일 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 신경 셀의 일반적 내부 회로를 나타낸다. 신경 셀(602)은 신호들을 출력 핀들(604, 606)을 경유하여 멤리스터 심벌(608)과 같은 멤리스터 심벌들로 표현되는 멤리스티브 시냅스형 나노와이어 접합들을 통해 뉴로모픽 회로의 이웃 계산 셀들로 출력한다. 신경 셀은 제1 입력 핀(610)을 통해 억제성 신호들을, 제2 입력 핀(612)을 통해 흥분성 신호들을 수신한다. 도 6의 출력 신호들, 억제성 입력 신호들 및 흥분성 입력 신호들에 대한 핀들의 할당은 도 4와 관련하여 설명된 것과 동일하지만, 대안 실시예들에서는 상이한 할당들이 이루어질 수 있으며, 주어진 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로는 계산 셀들에 대한 다양한 상이한 핀 할당을 이용할 수 있다. 도 6에 도시된 신경 셀에서는, 간단한 연산 증폭기 기반 합산 회로들(614, 616)을 이용하여, 흥분성 입력 신호들 및 억제성 입력 신호들을 합산함으로써, 도 5a-e와 관련하여 전술한 신호 생성, 적분 및 임계 기능들을 구현하는 신경 셀(624)의 내부 회로로 입력되는 합산된 흥분성 신호 입력 신호(620) 및 합산된 억제성 신호 입력 신호(622)를 생성한다. 누설 적분, 신호 합성 및 임계화에 이용되는 회로들의 정확한 특성은 신경 셀에 의해 수신되는 입력 신호들의 특성 및 신경 셀에 의해 구현되는 정확한 수학적 모델에 의존한다. 예를 들어, 연산 증폭기 및 커패시터 기반 적분 회로가 누설 적분에 이용될 수 있으며, 다양한 타입의 연산 증폭기 기반 합산 회로가 신호 합성을 위해 2개의 합산된 입력 신호(620, 622)를 선형으로 결합하는 데 사용될 수 있다.
신경 셀들에 대한 다양한 상이한 타입의 수학적 모델이 존재한다. 임의의 주어진 뉴로모픽 회로에서, 뉴런들의 상이한 수학적 모델들을 구현하는 여러 상이한 타입의 신경 셀들을 이용하여, 필요한 하이 레벨 기능을 적절히 에뮬레이트하거나 구현할 수 있다. 신경 셀에 대한 하나의 수학적 모델은 다음과 같이 표현될 수 있다.
Figure pct00004
여기서, i는 모델링된 뉴런이고, xi는 뉴런(i)의 액티비티이고, t는 시간이고, fj(xj)는 뉴런(j)의 액티비티의 비선형 함수이고, zji는 뉴런들(j, i) 사이의 시냅스의 가중치이고, gj는 뉴런(j)의 액티비티의 비선형 함수이고, n은 흥분성 입력들을 통해 노드에 연결되는 뉴런(i)의 수이고, m은 억제성 입력들을 통해 노드에 연결되는 뉴런(i)의 수이고, A 및 B는 상수이다.
이러한 모델에서, 특정 신경 셀(i)의 액티비티는 제1 수동 감쇠 항 -Axi, 피드백 항에 의해 변경된 흥분성 입력들의 합을 반영하는 제2 항
Figure pct00005
및 피드백 항에 의해 변경된 억제성 입력들의 합을 반영하는 제3 항
Figure pct00006
의 선형 조합이다. 이러한 모델에서, 뉴런(i)의 액티비티(xi)는 0.0에서 1.0의 범위를 갖는다. 뉴런 액티비티가 높아서 1.0에 접근할 때, 식 내의 피드백 항들은 액티비티의 추가 증가를 제한하고, 액티비티를 줄이는 역할을 한다. 반면, 뉴런(i)의 액티비티(xi)가 낮아서 0.0에 가까울 때, 피드백 항들은 중요성이 감소하며, 신경 셀은 흥분성 입력들에 대해 높은 감도로, 억제성 입력들에 대해 낮은 감도로 응답하여, 신경 셀의 액티비티를 증가시킨다. 전술한 바와 같이, 신경 셀의 액티비티가 임계치 위로 상승할 때, 신경 셀은 출력 신호들을 시냅스형 멤리스티브 나노와이어 접합들을 통해 이웃 계산 셀들로 출력하며, 또한 반도체 집적 회로 층 신호 라인들을 통해 인접 계산 셀들로 신호들을 출력할 수 있다. 전술한 바와 같이, 신경 셀 동작에 대한 많은 상이한 가능한 수학적 모델이 가능하며, 많은 상이한 모델들은 단일 뉴로모픽 회로 내에서, 신경 셀 거동의 상이한 수학적 모델들을 구현하는 계층적 뉴로모픽 회로 내의 상이한 논리 레벨들의 신경 셀들과 함께 이용될 수 있다.
도 7은 본 발명의 실시예들을 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로들 내에서 사용되는 습관적 전송 게이트 계산 셀을 나타낸다. 도 7에 도시된 바와 같은 습관적 송신기 게이트 셀("HTG")은 시냅스형 멤리스티브 나노와이어 접합들을 통해 신경 셀들을 다른 신경 셀들에 접속하는 데 사용되는 수직 핀들을 사용하지 않는다. 대신에, HTG(702)는 반도체 집적 회로 신호 라인들을 통해 뉴로모픽 회로 내의 인접 계산 셀들로부터 입력(704)을 수신하고, 그들에 대한 출력(706)을 생성한다. HTG는 억제성 및 흥분성 입력들에 응답하여 신경 셀들에 의해 생성되는 것들보다 입력 신호들 상에 상대적으로 더 긴 지속기간 효과를 생성한다. 도 8은 본 발명의 일 실시예에 따른 입력 신호의 습관적 전송 게이트 계산 셀에 의한 변경을 나타낸다. 도 8에서, 입력 신호는 신호 강도 대 시간의 제1 그래프(802)에 도시되며, 대응하는 출력 신호는 신호 강도 대 시간의 제2 그래프(804)에 도시된다. 도 8의 2개의 그래프는 각각 시간축들(806, 808)에 관하여 정렬된다. 입력 신호(810)가 양의 전압 피크(812)를 포함하는 경우, 출력 신호(814)도 입력 신호의 양의 전압 피크(812)에 대응하는 양의 전압 피크(816)를 포함한다. 그러나, 출력 신호에서, 전압은 일반적으로 상당히 더 낮은 전압에서 피크가 발생하며, 이어서 양의 전압 피크에 이어지는 기간에 걸쳐 음의 전압(818)으로 떨어진다. HTG는 포스트 시냅틱 뉴런들이 초기에는 흥분성 입력에 민감하지만, 포스트 시냅틱 뉴런들의 감도가 연장된 흥분성 입력에 따라 빠르게 저하되는 생체 신경 회로 원리를 모델링한다.
HTG에 대한 하나의 가능한 수학적 모델이 아래에 제공된다.
Figure pct00007
여기서, zi는 습관적 송신기 게이트에 의해 입력 신호에 적용되는 이득이고, t는 시간이고, yi는 습관적 송신기 게이트에 대한 입력이고, T는 정류 함수이고, f([T(yi)])는 정류된 입력의 비선형 함수이고, A 및 B는 상수이다.
이 식에서, zi는 입력 신호에 관하여 HTG 셀의 출력 신호에 적용되는 이득이다. 이러한 모델에서, 이득은 0.0 내지 1.0의 범위이다. 제1 항인 A(1-zi)는 HTG의 이득의 비교적 장기적인 복구를 제공하는 반면, 제2 항인 -Bf[T(yi)]zi는 양의 신호가 HTG에 입력될 때 빠른 출력 신호 감쇠 및 후속하는 더 긴 지속기간의 음의 신호를 제공한다. 본 발명의 일 실시예를 나타내는 임의의 특정 뉴로모픽 집적 회로에서, 임의의 주어진 HTG에 대해 사용되는 특정 수학적 모델은 상수들 A 및 B의 값들에서 또는 HTG에 대한 전체 수학식에서 상이할 수 있다. 그러나, 일반적으로 HTG 셀들은 신경 셀들에 의해 출력되거나 신경 셀들에 의해 수신되는 연장된 흥분성 또는 억제성 신호들의 효과들을 완화시키는 데 사용된다.
도 9는 본 발명의 실시예들을 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로들 내에서 사용되는 입력 계산 셀 및 출력 계산 셀을 포함하는 2개의 추가 타입의 계산 셀들의 예들을 나타낸다. 입력 계산 셀(902)은 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 밖의 신호 전송 엔티티로부터 입력 신호(904)를 수신하고, 입력 신호를 처리한 후에 처리된 신호들(906, 908)을 출력 신호 핀들(910, 912)을 통해 출력한다. 출력 계산 셀(914)은 입력 신호 핀들(920, 922)을 통해 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 외부 계산 셀들로부터 흥분성(916) 및 억제성(918) 신호들을 수신하고, 입력 신호들을 처리하여, 뉴로모픽 집적 회로 외부의 신호 수신 엔티티들로 출력되는 처리된 신호(924)를 생성한다. 출력 계산 셀들은 반도체 집적 회로 층 신호 라인들을 통해 입력을 더 수신할 수 있으며, 입력 계산 셀들은 신호들을 반도체 집적 회로 층 신호 라인들로 더 방출할 수 있다. 또한, 입력 계산 셀들 및 출력 계산 셀들은 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내의 2개의 상이한 내부 아날로그 신호 사이에서 변환하는 데 사용될 수 있다.
도 10은 본 발명의 일 실시예를 나타내는 마이크로스케일-나노스케일 하이브리드 뉴로모픽 회로의 입력 계산 셀에 대한 입력 및 출력 신호들을 나타낸다. 많은 예에서, 입력 신호(1002)는 패킷 기반 디지털 신호일 수 있으며, 이 신호 내에서 이진 디지트들의 시퀀스들을 포함하는 고정 길이 또는 가변 길이 패킷들이 외부 엔티티에서 입력 계산 셀로 전송된다. 입력 계산 셀은 디지털 대 아날로그 신호 변환을 수행하여, 도 10의 신호 대 시간 그래프(1004)에 도시된 아날로그 전압 또는 전류 신호를 생성한다. 유사하게, 출력 계산 셀(도 9의 914)은 아날로그 신호들을 수신하고, 아날로그 대 디지털 신호 변환을 수행하여 패킷 기반 디지털 신호(1002)를 출력한다. 많은 상이한 가능한 타입의 디지털 신호들이 존재하며, 뉴로모픽 회로들의 다양한 상이한 구현들이 상이한 타입의 아날로그 신호들을 이용할 수 있다. 따라서, 입력 계산 셀들 및 출력 계산 셀들의 내부 회로는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로에 의해 수신되고 그로부터 송출되는 디지털 신호들의 타입들은 물론, 통합된 뉴로모픽 집적 회로 내에서 사용되는 아날로그 신호들의 다양한 타입에도 크게 의존한다.
도 11a-b는 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내의 계산 셀들의 상호접속을 나타낸다. 도 11a는 4핀 계산 셀들의 3x3 어레이를 나타낸다. 전술한 바와 같이, 계산 셀(1102)과 같은 각각의 계산 셀은 2개의 출력 핀(1104, 1106), 억제성 입력 핀(1108) 및 흥분성 입력 핀(1110)을 포함한다. 도 11b는 도 11a에 도시된 바와 같은 계산 셀들의 3x3 어레이를 나타내는데, 그 위에는 병렬 나노와이어들의 2개의 하위층 및 멤리스티브 재료 하위층을 포함하는 상호접속층이 구현되어 있다. 도 11b에서, 계산 셀(1102)의 입력 핀(1110)과 같은 각각의 입력 핀은 좌측의 대략 수평인 나노와이어(1114)를 우측의 대략 수평인 나노와이어(1116)에 연결하고 좌측 및 우측 나노와이어들(1114, 1116) 양자를 입력 핀(1112)에 연결하는 패드(1112)에 인터페이스한다. 따라서, 계산 셀들의 어레이 내의 입력 핀들에 접속된 모든 나노와이어들은 병렬 나노와이어들의 제1 하위층을 형성한다. 도 11b에 도시된 바와 같이, 나노와이어들은 계산 셀들의 3x3 어레이의 상부(1118) 및 하부(1120) 수평 에지들의 방향에 관하여 약간 회전된다. 이러한 회전은 나노와이어들이 좌측 및 우측의 양방향으로 수평으로 연장하고, 나노와이어들이 패드 및 수직 핀을 통해 접속되는 계산 셀 내부 또는 외부의 임의의 추가 수직 핀 위에 배치되지 않고 많은 이웃 계산 셀들에 걸칠 수 있게 한다. 계산 셀(1102) 내의 출력 핀(1104)과 같은 출력 핀들은 대략 수직인 나노와이어에 각각 유사하게 접속된다. 따라서, 계산 셀들의 3x3 어레이 내의 출력 핀들에 접속된 나노와이어들은 대략 평행한 나노와이어들의 제2 하위층을 형성하며, 제2 하위층의 나노와이어들은 제1 하위층의 나노와이어들에 대해 대략 수직이다.
도 11b에서, 나노와이어들 사이의 멤리스티브 나노와이어 접합들은 2개의 나노와이어 사이의 교점에 채워진 디스크(1124)와 같은 작은 채워진 디스크들로서 도시되어 있다. 멤리스티브 나노와이어 접합(1124)은 프리 시냅틱 신경 셀(1126)과 포스트 시냅틱 신경 셀(1128)을 상호접속하는 시냅스를 모델링한다. 멤리스티브 나노와이어 접합(1124)은 프리 시냅틱 계산 셀(1126)의 출력 핀(1130)과 포스트 시냅틱 신경 셀(1128)의 억제성 입력 핀(1132)을 상호접속한다. 본 발명에 따르면, 다수의 나노와이어 상호접속 층은 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 반도체 집적 회로 층 위에 구현될 수 있다. 다수의 상호접속 층은 신경 셀들이 다수의 계층적 논리 레벨에서 시냅스형 멤리스티브 나노와이어 접합들을 통해 서로 상호접속되는 것을 가능하게 한다. 본 발명의 다중 상호접속층 뉴로모픽 집적 회로 아키텍처는 계산 셀들의 매우 많은 수의 상이한 가능한 상호접속 구성들을 제공하며, 따라서 매우 많은 수의 상이한 가능한 뉴로모픽 회로들을 구현하기 위한 매우 유연하고 강력한 상호접속 아키텍처를 제공한다.
본 발명의 소정의 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 실시예들에서, 나노와이어 접합들은 온 및 오프 상태에 있도록 제조 동안에 구성되거나, 나중에 프로그래밍될 수 있으며, 온 상태로 구성된 나노와이어 접합들만이 전류를 전달하고 시냅스형 거동을 나타내는 반면, 오프 상태로 구성된 나노와이어 접합들은 개방된 스위치들로서 작용한다. 본 발명의 다른 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 실시예들에서, 나노와이어 접합들은 모두 온 상태에 있도록 구성되며, 각각의 나노와이어 접합의 컨덕턴스는 그를 통과하는 전압 신호들에 의해서만 결정된다.
도 12a-f는 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 제조를 나타낸다. 도 12a-f는 단일 계산 셀에 관련된 뉴로모픽 집적 회로의 제조를 나타낸다. 그러나, 전술한 바와 같이, 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 표면을 함께 타일화(tile)하는 매우 많은 수의 계산 셀을 포함한다. 소정 실시예들에서는, 반도체 기판의 각각의 제곱 센티미터 위에 수천만 내지 수억 개의 개별 계산 셀들이 제조될 수 있다. 도 12a-f에 도시된 제조 방법들은 일반적으로 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 모든 계산 셀에 동시에 적용된다.
도 12a에 도시된 바와 같이, 각각의 계산 셀(1202)은 포토리소그라피, 도핑, 에칭 및 평탄화 기술들을 포함하는 임의의 다양한 집적 회로 제조 방법을 이용하여 제조된다. 계산 셀의 표면(1204)은 전술한 4개의 수직 도전성 핀에 대한 4개의 도전성 베이스(1206-1209)를 포함한다. 계산 셀들은 제조 방법들 및 특정 응용들에 의해 구현될 필요가 있는 계산 셀 거동에 대한 수학적 모델들에 따라 임의의 다양한 형상 및 크기를 가질 수 있다. 셀들에 대한 일반적인 형상들은 정사각형, 직사각형, 육각형 및 등변 삼각형을 포함하며, 이들 모두는 반도체 기판의 표면을 완전히 타일화하도록 2차원 어레이들로 레이아웃될 수 있다. 하부 집적 회로의 제조에 이어지는 제1 단계에서, 도 12b에 도시된 바와 같이, 집적 회로의 표면 위에 나노와이어들의 제1 하위층(1210)이 임프린트되거나, 다른 방법들로 제조되며, 각각의 나노와이어는 패드(1212)와 같은 패드형 구조를 통해 단일 수직 핀과 접촉하고, 패드로부터 반대 방향들로 연장하여 단일 나노와이어를 형성한다. 도 12b에 도시된 바와 같이, 나노와이어들의 제1 하위층의 나노와이어들은 서로 평행하고, 하부 계산 셀의 양 입력 핀들 또는 양 출력 핀들에 접속되는데, 주어진 하위층의 단일 나노와이어는 기껏해야 하나의 핀에만 접속된다. 제1 하위층의 나노와이어들에 접속되지 않은 수직 핀들은 하부 수직 핀 도전성 베이스들(도 12a의 1207 및 1209)에 중첩되는 비아들로서 제1 하위층(1214, 1216) 내에 연장된다.
이어서, 도 12c에 도시된 바와 같이, 멤리스티브 재료의 박층(1220)이 제1 나노와이어 하위층(1210)의 상면에 도포된다. 이 멤리스티브 재료는 제1 하위층(1210)의 나노와이어들과 이어지는 단계에서 추가되는 제2 하위층의 나노와이어들 사이의 멤리스티브 나노와이어 접합들을 형성한다. 도전성 핀들은 삽입된 비아들(1222-1225)에 의해 멤리스티브 재료층을 통해 계속된다는 점에 유의한다. 이어서, 도 12d에 도시된 바와 같이, 멤리스티브 층(1220) 위에 나노와이어들의 제2 하위층(1230)이 추가된다. 나노와이어들의 제2 하위층의 나노와이어들은 평행하며, 각각의 나노와이어는 단일 수직 핀에 접속된다. 제1 나노와이어 하위층이 출력 핀들에 접속될 때, 제2 나노와이어 하위층은 입력 핀들에 접속되며, 그 역도 같다. 제2 하위층의 나노와이어들은 제1 하위층의 나노와이어들에 대해 대략 수직이라는 점에 유의한다. 이어서, 도 12e에 도시된 바와 같이, 제2 나노와이어 하위층(1230) 위에 절연층(1240)이 추가되며, 수직 핀들은 다시 삽입된 비아들(1242-1245)에 의해 연장된다.
도 12f에 도시된 바와 같이, 제1 절연층(1240) 위에 추가적인 나노와이어 상호접속 층(1250)이 제조될 수 있다. 본 발명의 실시예들을 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로들은 본질적으로 임의 수의 상호접속 층들을 포함할 수 있으며, 최상위 절연층(1252)은 일반적으로 하부 상호접속 층들을 충분히 절연하고, 따라서 수직 핀들을 최종 절연층의 표면으로 연장하기 위한 삽입된 비아들을 포함하지 않는다. 다시, 도 12a-f는 단일 계산 셀의 관점에서의 제조 프로세스를 나타내지만, 유용한 장치들에 대해서는, 도 12a-f에 도시된 일련의 단계들에서 기판 표면의 각각의 제곱 센티미터 내에 수백만, 수천만 또는 수억 개의 계산 셀들이 함께 제조된다.
도 13은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 나노와이어 상호접속 층들의 나노와이어들을 통해 전송되는 양방향 신호들을 나타낸다. 도 13에서, 제1 신경 셀(1302)은 제1 나노와이어(1306), 제2 나노와이어(1308), 및 제1 나노와이어(1306)와 제2 나노와이어(1308)를 상호접속하는 멤리스티브 나노와이어 접합(1310)을 통해 제2 신경 셀(1304)과 상호접속된다. 제1 나노와이어는 제1 프리 시냅틱 신경 셀(1302)의 출력 핀(1312)에 접속되고, 제2 나노와이어(1310)는 제2 포스트 시냅틱 신경 셀(1304)의 입력 핀(1314)에 접속된다. 전술한 바와 같이, 프리 시냅틱 신경 셀이 임계 액티비티보다 큰 액티비티를 가질 때, 프리 시냅틱 신경 셀은 도 13에서 방향 화살표(1316)로 표시되는 순방향 신호들을 방출한다. 마찬가지로, 포스트 시냅틱 셀이 제2 임계 액티비티 레벨보다 큰 액티비티를 가질 때, 포스트 시냅틱 셀은 도 13에 화살표(1318)로 표시되는 역방향 신호들을 입력 핀들을 통해 프리 시냅틱 신경 셀(1302)을 향해 방출한다. 신경 셀들의 순방향 신호들 및 역방향 신호들 양자의 방출은 본 발명의 소정 실시예들에서 전술한 바와 같이 시냅스 거동을 모델링하는 나노와이어 접합의 멤리스티브 재료 내의 상태 변경들을 제공한다.
도 14는 프리 시냅틱 뉴런 및 포스트 시냅틱 뉴런을 상호접속하는 멤리스티브 나노와이어 접합의 컨덕턴스 변화들을 나타낸다. 도 14에서, 다양한 신호 그래프들은 시간축(1402)과 같은 수평 시간축에 관하여 모든 예에서 도시된 시간에 관하여 수직으로 정렬된다. 도 14의 다양한 그래프들은 제1 신호 라인(1406)과 제2 신호 라인(1408)을 접속하는 멤리스티브 나노와이어 접합(1404) 내의 신호들 및 상태 변화들을 나타낸다. 제1 그래프(1410)는 제1 신호 라인에 접속된 프리 시냅틱 노드(도 13의 1302)로부터 나오는, 제1 신호 라인(1406)을 통해 전송되는 순방향 신호를 나타낸다. 제2 그래프(1412)는 제2 신호 라인에 접속된 포스트 시냅틱 노드(도 13의 1304)로부터 나오는, 제2 신호 라인을 통해 전송되는 역방향 신호를 나타낸다. 제3 그래프(1414)는 각각의 시점에서의 멤리스터(1404) 양단의 전압 강하를 나타내며, 마지막 그래프(1416)는 각각의 시점에서의 멤리스터의 컨덕턴스를 나타낸다. 수직 점선(1418)과 같은 수직 점선들은 다양한 그래프들(1410, 1412, 1414, 1416) 각각 내의 소정 시점들을 나타낸다.
순방향 신호가 양의 전압 피크(1422) 또는 음의 전압 피크(1424)를 나타내는 반면, 역방향 신호가 편평할 때, 멤리스터 양단에서 비교적 작은 음의 전압 강하(1426) 및 비교적 작은 양의 전압 강하(1428)가 각각 발생한다. 이러한 작은 전압 강하들은 멤리스터의 컨덕턴스의 대응하는 작은 감소(1430) 및 작은 증가(1432)를 생성한다. 동일한 부호 및 동일한 크기의 전압 피크들이 순방향 및 역방향 신호들(1434, 1436, 1438, 1440) 모두에서 발생할 때는, 멤리스티브 나노와이어 접합 양단에서 전압 강하(1442, 1444)가 발생하지 않으며, 따라서 멤리스터의 컨덕턴스는 변경되지 않는다. 그러나, 순방향 신호에서 양의 피크(1450)가 발생하는 동시에, 역방향 신호에서 음의 피크(1452)가 발행하는 경우, 멤리스터 양단에서 비교적 큰 음의 전압 강하(1454)가 발생하며, 이에 따라 컨덕턴스의 큰 강하(1456)가 발생한다. 마찬가지로, 역방향 신호의 양의 피크(1462)와 시간적으로 대응하는 순방향 신호의 음의 전압 피크(1460)는 멤리스터 양단의 비교적 큰 양의 전압 강하(1464)를 생성하여, 멤리스티브 재료의 대응하는 큰 컨덕턴스 증가(1466)를 생성한다. 따라서, 소정 타입의 순방향 및 역방향 신호들을 생성함으로써, 신경 셀들은 접속 멤리스티브 나노와이어 접합이 위에 수학적으로 설명된 시냅스 거동을 모델링하는 도전성 변경들을 나타내게 할 수 있다. 순방향 및 역방향 신호들에 대한 적절한 파형들을 이용하여, 멤리스티브 물질은 포스트 시냅틱 뉴런이 시냅스 거동에 대한 헤비안(Hebbian) 학습 모델에 따라 프리 시냅틱 신경 셀에 의한 순방향 신호의 하이 액티비티 유도 전송에 바로 이어서 하이 액티비티를 갖는 시간들에서 도전율의 큰 변화들을 나타내도록 유도될 수 있다. 또한, 멤리스티브 나노와이어 접합들의 도전율은 이들이 상호접속하는 프리 시냅틱 및 포스트 시냅틱 신경 셀들로부터의 액티비티 레벨들 및 신호 방출의 과거 패턴들을 반영한다.
다수의 인접 계산 셀을 포함하는 다양한 상이한 기능 모듈이 본 발명의 실시예들에 따른 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내에 제조될 수 있다. 도 15는 본 발명에 일 실시예에 따른, 디지털 논리 플립플롭의 거동과 유사한 아날로그 거동을 나타내는 6 계산 셀 다이폴의 구현을 나타낸다. 다이폴 모듈(1502)은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 집적 회로 층 내에 완전히 제조된다. 신경 셀들(1504, 1506)은 다이폴의 입력 노드들을 나타내고, 신경 셀들(1508, 1510)은 다이폴의 출력 노드들을 나타낸다. 다이폴에서, 하나의 출력 노드는 다른 출력 노드가 낮은 액티비티를 가질 때 높은 액티비티를 갖는 경향이 있고, 그 반대도 성립하며, 출력 노드들의 액티비티 상태들은 입력 노드들에 대한 일정한 입력 하에 또는 입력 노드들에 대한 입력이 없을 때 일정하게 유지되는 경향이 있다. 따라서, 다이폴은 출력 노드들의 2개의 가능한 액티비티 레벨 상태 중 하나를 필수적으로 래칭하는 아날로그 플립플롭으로서 동작한다. 입력 노드(1504)는 흥분성 신호들을 신호 라인(1512)을 통해 출력 노드(1508)로 전송하고, 억제성 신호들을 신호 라인(1514)을 통해 출력 노드(1510)로 전송한다. 입력 노드(1506)는 유사하지만 반대 패턴의 신호 전송을 따른다. 출력 노드들은 양의 피드백 신호들(1518, 1520)을 HTG 노드들(1524, 1526)을 통해 입력 노드들(1504, 1506)로 출력한다. 따라서, 입력 노드(1504)가 높은 액티비티를 가질 때, 출력 노드(1408)는 높은 액티비티를 갖고, 입력 노드(1504)의 높은 액티비티를 강화하는 경향이 있다. 입력 노드(1506)가 높은 액티비티를 가질 때, 출력 노드(1510)는 높은 액티비티를 갖고, 입력 노드(1506)의 높은 액티비티를 강화하는 경향이 있다. 따라서, 계산 노드들(1504, 1508)의 좌측 열(column)은 계산 셀들(1506, 1510)의 우측 열과 하이 액티비티 상태를 경쟁한다.
도 16은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내에서 사용될 수 있는 제2 타입의 다중 계산 셀 모듈을 나타낸다. 도 16에 도시된 모듈은 9 계산 셀 서라운드(surround)이며, 여기서 8개의 주변 계산 셀(1602-1609)은 활성화 시에 억제성 측면 신호들을 중앙 계산 셀(1610)로 전송한다. 다양한 상이한 수의 계산 셀들을 포함하는 다양한 상이한 타입의 서라운드들이 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내에 제조될 수 있다. 소정의 예들에서, 계산 셀들의 작은 인접 고리(annulus)가 흥분성 신호들을 중앙 셀로 전송할 수 있고, 주변 계산 셀들의 더 큰 주변 고리가 억제성 신호들을 중앙 계산 셀로 전송할 수 있으며, 그 반대도 성립한다. 추가적인 타입들의 서라운드들에서는, 피드백 신호들이 중앙 셀로부터 주변 셀들로 전송될 수 있으며, 그 반대도 성립한다. 소정 예들에서는, 상이한 타입 또는 레벨의 순방향 신호 피드백을 각각 제공하는 하나 이상의 주변 셀 고리에 의해 다수의 중앙 셀이 둘러싸일 수 있다. 서라운드들은 다양한 타입의 패턴 인식 회로들 및 배향 맵들을 구현하기 위해 자주 사용된다.
도 17은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내의 계산 셀들의 계층적 상호접속을 나타낸다. 도 17은 계산 셀들의 24x28 어레이(1702)를 나타낸다. 각각의 셀은 어레이 아래에 제공되는 논리 레벨 키(1704)에 따라 논리 레벨에 할당된다. 예를 들어, 음영 계산 셀(1706)과 같은 음영 계산 셀들은 제1 논리 레벨을 형성한다. 그러한 계산 셀들의 계층적 논리 배열들은 하나의 나노와이어 상호접속 층을 이용하여 각각의 레벨의 신경 셀들을 상호접속함으로써 구현될 수 있다. 예를 들어, 제1 레벨 계산 셀들은 제1 나노와이어 상호접속 층 내의 나노와이어들 및 멤리스티브 나노와이어 접합들에 의해 옆으로 상호접속될 수 있다. 제2 논리 레벨 셀들은 제2 나노와이어 상호접속 층에 의해 유사하게 상호접속될 수 있다. 또한, 순방향 및 피드백 상호접속들은 다수의 상호접속 레벨을 가로지를 수 있으며, 따라서 논리 레벨들 사이의 신호들의 교환을 제공할 수 있다. 계산 셀들의 계층적으로 순서화된 층들은 다양한 타입의 패턴 인식 뉴로모픽 회로들 및 다수의 입력으로부터 추론들을 이끌어내는 추론 엔진들에서 유용하다.
도 18은 본 발명의 일 실시예를 나타내는 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내에 구현될 수 있는 제2 타입의 논리 구조를 나타낸다. 도 18에 도시된 층판 피질층은 층판 피질층의 간단한 셀을 모델링하는 다이폴 모듈(1804)과 같은 다이폴 모듈에 각각 접속되는 계산 셀(1802)과 같은 다수의 하위 레벨 센서 입력 계산 셀을 포함할 수 있다. 다이폴 모듈들은 또한 서로는 물론, 상위 레벨 계산 셀들 또는 출력 셀들로 신호들을 출력하는 복합 셀(1806)과 같은 복합 셀들과도 상호접속된다. 층판 피질층들은 퍼셉트론들 및 많은 다른 타입의 뉴로모픽 회로에서 사용된다. 도 19는, 층판 피질층 뉴로모픽 회로를 구현하기 위해, 본 발명에 따라 제조될 수 있고, 다수의 인접하는 층판 피질층 모듈과 함께 사용될 수 있는 층판 피질 회로 모듈을 나타낸다. 층판 피질층 모듈(1902)은 6개의 계산 셀(1904-1909)로부터 구현되는 6 계산 셀 다이폴을 포함한다. 입력 계산 셀(1910)은 센서 입력을 나타내고, 계산 셀들(1912, 1914)의 쌍은 층판 피질층의 복합 셀을 나타낸다. 더 큰 모듈들은 계산 셀들(1904-1909)을 포함하는 다이폴에 다수의 센서 입력을 제공하기 위하여 추가적인 센서 입력 셀들을 포함할 수 있다. 셀들 간의 상호접속들은 반도체 집적 회로 층 내에만 제조될 수 있거나, 하나 이상의 나노와이어 상호접속 층을 추가로 사용할 수 있다.
본 발명은 특정 실시예들과 관련하여 설명되었지만, 본 발명은 그러한 실시예들로 한정되는 것을 의도하지 않는다. 본 발명의 사상 내에서의 변경들은 이 분야의 전문가들에게 명백할 것이다. 예를 들어, 계산 셀들은 뉴런들, 입력 셀들, 출력 셀들 및 HTG 셀들에 더하여 다양한 셀 타입들을 구현할 수 있다. 4핀 계산 유닛들이 많은 타입의 뉴로모픽 회로들에 대한 적절한 접속들을 제공하는 것으로 보이지만, 다양한 대안 실시예들에서는 더 많거나 적은 수의 입력 및 출력 핀들이 사용될 수 있다. 전술한 바와 같이, 본 발명의 실시예들에 따르면, 추가적인 신호 라인들 및 다른 신호 전송 관련 컴포넌트들이 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 집적 회로 레벨 내에 형성될 수 있다. 반도체 집적 회로 층 신호 라인들은 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 내의 다중 계산 셀 모듈들 및 다른 논리 회로들의 계산 셀들 사이의 추가 접속을 제공하는 데 사용될 수 있다. 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로의 반도체 집적 회로 층은 다수의 집적 회로 제조 기술들 중 어느 것을 이용하여 임의의 다양한 상이한 타입의 반도체 기판 내에 제조될 수 있다. 뉴로모픽 집적 회로들은 상이한 치수들 및 면적을 갖도록 제조될 수 있으며, 계산 셀들의 어레이 내의 결함 계산 셀들을 수용하기 위한 결함 검출, 결함 개선 및 결함 내성 기능을 포함하는 추가 기능을 포함할 수 있다. 뉴로모픽 집적 회로는 전류 및 전압 신호들 양자를 내부적으로 이용할 수 있으며, 디지털 패킷 기반 신호들을 포함하는 다양한 타입의 외부 신호들을 수신하고 송출할 수 있다. 본 발명의 많은 실시예에서, 내부 뉴로모픽 집적 회로 신호들은 아날로그 전류 및 아날로그 전압 신호들 양자를 포함한다. 생체 축색 돌기 스파이크들을 닮은 다양한 타입의 순방향 및 역방향 아날로그 신호 패턴들이 뉴로모픽 집적 회로들에서 사용될 수 있지만, 뉴로모픽 집적 회로들은 또한 간단한 전압 레벨 및/또는 전류 레벨 신호들에 기초하여 동작할 수도 있다. 뉴로모픽 집적 회로는 입력 계산 셀들 및 출력 계산 셀들에 타이밍 신호들을 제공하기 위한 클럭 신호 전달 기능들을 포함하는 추가 기능들을 포함할 수 있다. 뉴로모픽 집적 회로는 관련된 다수의 나노와이어 상호접속 층과 각각 상호접속되는 다수의 집적 회로 층을 더 포함할 수 있다.
위의 설명은 설명의 목적으로 본 발명의 충분한 이해를 제공하기 위해 특정 명명법을 사용하였다. 그러나, 이 분야의 기술자에게는, 본 발명을 실시하기 위해 특정 상세들이 필요하지 않음이 명백할 것이다. 본 발명의 특정 실시예들에 대한 위의 설명은 예시 및 설명의 목적으로 제공된다. 이들은 포괄적이거나, 본 발명을 개시된 바로 그 형태로 한정하고자 하는 의도는 없다. 위의 가르침에 비추어 많은 변경 및 변형이 가능하다. 실시예들은 본 발명의 원리들 및 그의 실질적인 응용들을 최상으로 설명하여 이 분야의 전문가들이 고려되는 특정 용도에 적합할 때 본 발명 및 다양한 변경들을 갖는 다양한 실시예를 최상으로 이용하는 것을 가능하게 하기 위해 도시되고 설명된다. 본 발명의 범위는 아래의 청구항들 및 그들의 균등물들에 의해 정의되어야 함을 의도한다.

Claims (15)

  1. 뉴로모픽(neuromorphic) 집적 회로로서,
    집적 회로 기판 상에 제조된 아날로그 계산 셀들의 어레이 - 각각의 계산 셀 내의 아날로그 전자 회로는 상기 계산 셀들로부터 대략 수직으로 연장하는 제1 타입의 하나 이상의 핀 및 제2 타입의 하나 이상의 핀에 접속됨 -; 및
    상기 아날로그 계산 셀들의 어레이 위의 하나 이상의 나노와이어 상호접속 층
    을 포함하고,
    각각의 나노와이어 상호접속 층은,
    대략 평행한 나노와이어들의 제1 하위층 - 상기 제1 하위층의 각각의 나노와이어는 상기 제1 타입의 단일 계산 셀 핀에 접속됨 -;
    멤리스티브 하위층(memristive sublayer); 및
    대략 평행한 나노와이어들의 제2 하위층
    을 포함하고,
    상기 제2 하위층의 각각의 나노와이어는 상기 제2 타입의 단일 계산 셀 핀에 접속되고, 상기 제2 하위층의 나노와이어들은 상기 제1 하위층의 나노와이어들의 방향과 평행하지 않은 방향으로 배향되는 뉴로모픽 집적 회로.
  2. 제1항에 있어서, 상기 제2 하위층의 나노와이어들은 상기 제1 하위층의 나노와이어들과 중첩되어, 시냅스들을 모델링하는 멤리스티브 나노와이어 접합들을 형성하고, 각각의 멤리스티브 나노와이어 접합은 상기 멤리스티브 하위층을 통해 제2 하위층 나노와이어와 제1 하위층 나노와이어를 상호접속하는 뉴로모픽 집적 회로.
  3. 제2항에 있어서,
    멤리스티브 나노와이어 접합이,
    Figure pct00008

    으로 표현될 수 있는 모델을 구현하고,
    여기서, zij는 프리 시냅틱 뉴런(i)과 포스트 시냅틱 뉴런(j)을 상호접속하는 시냅스(ij)의 가중치 또는 시냅스(ij)에 의해 생성되는 이득이고, ε은 학습률이고, ω는 망각률이고, f(xj)는 뉴런(i)의 액티비티의 비선형 함수이고, g(xi)는 뉴런(j)의 액티비티의 비선형 함수이고, t는 시간인 뉴로모픽 집적 회로.
  4. 제2항에 있어서,
    상기 계산 셀들은,
    뉴런 계산 셀들;
    입력 계산 셀들; 및
    출력 계산 셀들
    을 포함하는 뉴로모픽 집적 회로.
  5. 제4항에 있어서,
    각각의 뉴런 계산 셀은,
    상기 뉴런 계산 셀에 입력된 흥분성 신호들의 합을 출력하는 제1 합산 기능 컴포넌트;
    상기 뉴런 계산 셀에 입력된 억제성 신호들의 합을 출력하는 제2 합산 기능 컴포넌트;
    상기 제1 및 제2 합산 기능 컴포넌트들의 출력들을 결합하여 아날로그 신호를 출력하는 신호 생성 기능 컴포넌트;
    이전 시간 간격에 걸쳐 상기 신호 생성 기능 컴포넌트의 출력을 적분하여 적분된 신호를 출력하는 누설 적분기(leaky-integrator) 기능 컴포넌트; 및
    상기 적분된 신호가 임계치를 초과할 때, 상기 뉴런 계산 셀로부터의 출력 신호 방출을 활성화하는 임계 기능 컴포넌트
    를 포함하는 뉴로모픽 집적 회로.
  6. 제4항에 있어서,
    상기 뉴런 계산 셀은,
    Figure pct00009

    로서 표현될 수 있는 모델을 구현하고,
    여기서, i는 모델링된 뉴런이고, xi는 뉴런(i)의 액티비티이고, t는 시간이고, fj(xj)는 뉴런(j)의 액티비티의 비선형 함수이고, zji는 뉴런들(j, i) 사이의 시냅스의 가중치이고, gj는 뉴런(j)의 액티비티의 비선형 함수이고, n은 흥분성 입력들을 통해 노드에 연결되는 뉴런(i)의 수이고, m은 억제성 입력들을 통해 노드에 연결되는 뉴런(i)의 수이고, A 및 B는 상수인 뉴로모픽 집적 회로.
  7. 제4항에 있어서,
    각각의 입력 계산 셀은,
    외부 신호를 수신하고, 수신된 신호를, 상기 뉴로모픽 집적 회로의 하나 이상의 계산 셀로 출력되는 아날로그 신호로 변환하는 인코딩 회로
    를 포함하는 뉴로모픽 집적 회로.
  8. 제7항에 있어서, 상기 외부 신호는 상기 인코딩 회로가 아날로그 전압 신호 또는 아날로그 전류 신호 중 하나로 변환하는 디지털 패킷 기반 신호인 뉴로모픽 집적 회로.
  9. 제4항에 있어서,
    각각의 출력 계산 셀은,
    상기 뉴로모픽 집적 회로의 하나 이상의 계산 셀에 의해 상기 출력 계산 셀로 입력된 아날로그 신호들로부터 생성된 아날로그 신호를, 상기 뉴로모픽 집적 회로 밖의 엔티티로 출력되는 외부 신호로 변환하는 디코딩 회로
    를 포함하는 뉴로모픽 집적 회로.
  10. 제9항에 있어서, 상기 외부 신호는 디지털 패킷 기반 신호인 뉴로모픽 집적 회로.
  11. 제2항에 있어서, 상기 계산 셀들은 습관적 전송 게이트 셀들(habituative-transmission-gate cells)을 더 포함하는 뉴로모픽 집적 회로.
  12. 제11항에 있어서, 각각의 습관적 전송 게이트 셀은 상기 뉴로모픽 집적 회로의 집적 회로 층 내의 신호 라인들을 이용하여 2개의 계산 셀을 상호접속하여, 입력 신호에 증가하는 이득(multiplicative gain)을 적용하여 출력 신호를 생성하는 뉴로모픽 집적 회로.
  13. 제11항에 있어서,
    각각의 습관적 전송 게이트 셀은,
    Figure pct00010

    로서 표현될 수 있는 모델을 구현하고,
    여기서, zi는 습관적 송신기 게이트에 의해 입력 신호에 적용되는 이득이고, t는 시간이고, yi는 습관적 송신기 게이트에 대한 입력이고, T는 정류 함수이고, f([T(yi)])는 정류된 입력의 비선형 함수이고, A 및 B는 상수인 뉴로모픽 집적 회로.
  14. 제11항에 있어서,
    둘 이상의 계산 셀이,
    다이폴들;
    서라운드들(surrounds); 및
    층판 피질 회로 서브유닛들(laminar cortical-circuit subunits)
    을 포함하는 모듈들을 생성하도록 함께 결합되는 뉴로모픽 집적 회로.
  15. 제11항에 있어서, 상기 계산 셀들은 계층적 층들로 체계화되고, 각각의 계층적 층의 셀들은 상기 계층적 층에 대응하는 나노와이어 상호접속 층을 통해 상호 통신하는 뉴로모픽 집적 회로.
KR1020107014868A 2007-12-05 2008-05-22 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로 KR101438469B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US99266307P 2007-12-05 2007-12-05
US60/992,663 2007-12-05
PCT/US2008/006592 WO2009075694A1 (en) 2007-12-05 2008-05-22 Hybrid microscale-nanoscale neuromorphic integrated circuit

Publications (2)

Publication Number Publication Date
KR20100099256A true KR20100099256A (ko) 2010-09-10
KR101438469B1 KR101438469B1 (ko) 2014-09-05

Family

ID=40755768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107014868A KR101438469B1 (ko) 2007-12-05 2008-05-22 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로

Country Status (6)

Country Link
US (1) US8332340B2 (ko)
JP (1) JP2011507232A (ko)
KR (1) KR101438469B1 (ko)
CN (1) CN101889343B (ko)
DE (1) DE112008003510T5 (ko)
WO (1) WO2009075694A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087302B2 (en) 2011-06-08 2015-07-21 Samsung Electronics Co., Ltd. Synapse for function cell of spike timing dependent plasticity (STDP), function cell of STDP, and neuromorphic circuit using function cell of STDP
KR20180086152A (ko) * 2017-01-20 2018-07-30 한양대학교 산학협력단 3차원 뉴로모픽 소자 및 그 제조방법

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9679242B2 (en) 2002-03-12 2017-06-13 Knowm Tech, Llc Memristor apparatus with meta-stable switching elements
US9104975B2 (en) * 2002-03-12 2015-08-11 Knowmtech, Llc Memristor apparatus
KR101002683B1 (ko) * 2008-08-19 2010-12-20 한국기계연구원 이중시트링과 릴리프밸브를 내장하는 고압력 볼밸브
JP5658750B2 (ja) * 2009-06-19 2015-01-28 コーニンクレッカ フィリップス エヌ ヴェ メモリスタを使用したｍｒｉｒｆコイル
US8575585B2 (en) * 2009-07-13 2013-11-05 Hewlett-Packard Development Company, L.P. Memristive device
US8275728B2 (en) * 2009-11-05 2012-09-25 The United States Of America As Represented By The Secretary Of The Air Force Neuromorphic computer
US8311965B2 (en) 2009-11-18 2012-11-13 International Business Machines Corporation Area efficient neuromorphic circuits using field effect transistors (FET) and variable resistance material
US8716688B2 (en) * 2010-02-25 2014-05-06 The University Of Kentucky Research Foundation Electronic device incorporating memristor made from metallic nanowire
US8780601B2 (en) 2010-06-08 2014-07-15 Hewlett-Packard Development Company, L.P. Three-dimensional integrated circuit
US9092736B2 (en) * 2010-07-07 2015-07-28 Qualcomm Incorporated Communication and synapse training method and hardware for biologically inspired networks
US8433665B2 (en) * 2010-07-07 2013-04-30 Qualcomm Incorporated Methods and systems for three-memristor synapse with STDP and dopamine signaling
KR101448412B1 (ko) * 2010-08-30 2014-10-07 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 다층 메모리 어레이
US8510239B2 (en) * 2010-10-29 2013-08-13 International Business Machines Corporation Compact cognitive synaptic computing circuits with crossbar arrays spatially in a staggered pattern
US8655813B2 (en) * 2010-12-30 2014-02-18 International Business Machines Corporation Synaptic weight normalized spiking neuronal networks
US8848337B2 (en) 2011-02-01 2014-09-30 John R. Koza Signal processing devices having one or more memristors
FR2978271B1 (fr) * 2011-07-21 2014-03-14 Commissariat Energie Atomique Dispositif et procede de traitement de donnees
US9262712B2 (en) * 2013-03-08 2016-02-16 International Business Machines Corporation Structural descriptions for neurosynaptic networks
KR102179899B1 (ko) 2013-08-05 2020-11-18 삼성전자주식회사 뉴로모픽 시스템 및 그 구현 방법
US20150220831A1 (en) * 2014-02-06 2015-08-06 Qualcomm Incorporated Short-term synaptic memory based on a presynaptic spike
US9195903B2 (en) 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US9978015B2 (en) * 2014-05-30 2018-05-22 Knowmtech, Llc Cortical processing with thermodynamic RAM
US10115054B2 (en) 2014-07-02 2018-10-30 International Business Machines Corporation Classifying features using a neurosynaptic system
US9798972B2 (en) 2014-07-02 2017-10-24 International Business Machines Corporation Feature extraction using a neurosynaptic system for object classification
US10489700B1 (en) * 2014-07-07 2019-11-26 Crossbar, Inc. Neuromorphic logic for an array of high on/off ratio non-volatile memory cells
KR102255309B1 (ko) 2014-10-17 2021-05-25 삼성전자주식회사 3차원 구조의 인공 뉴런 반도체 소자 및 이를 이용한 인공 뉴런 반도체 시스템
US9852370B2 (en) 2014-10-30 2017-12-26 International Business Machines Corporation Mapping graphs onto core-based neuromorphic architectures
US9704094B2 (en) 2015-02-19 2017-07-11 International Business Machines Corporation Mapping of algorithms to neurosynaptic hardware
US9971965B2 (en) 2015-03-18 2018-05-15 International Business Machines Corporation Implementing a neural network algorithm on a neurosynaptic substrate based on metadata associated with the neural network algorithm
US10204301B2 (en) 2015-03-18 2019-02-12 International Business Machines Corporation Implementing a neural network algorithm on a neurosynaptic substrate based on criteria related to the neurosynaptic substrate
CN104701309B (zh) * 2015-03-24 2017-10-13 上海新储集成电路有限公司 三维堆叠式神经元装置及制备方法
US9984323B2 (en) 2015-03-26 2018-05-29 International Business Machines Corporation Compositional prototypes for scalable neurosynaptic networks
CN105740946B (zh) * 2015-07-29 2019-02-12 上海磁宇信息科技有限公司 一种应用细胞阵列计算系统实现神经网络计算的方法
CN105404925A (zh) * 2015-11-02 2016-03-16 上海新储集成电路有限公司 一种三维神经网络芯片
WO2017105396A1 (en) * 2015-12-14 2017-06-22 Intel Corporation Magnetoelectric oscillatory cellular neural network apparatus and method
US10650309B2 (en) * 2016-08-09 2020-05-12 International Machines Corporation High dynamic range, high class count, high input rate winner-take-all on neuromorphic hardware
FR3059805B1 (fr) * 2016-12-02 2019-03-15 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif et procede de modulation, synapse artificielle comportant ledit dispositif de modulation, procede de plasticite a court terme dans un reseau de neurones artificiels comportant ladite synapse artificielle
US10235565B2 (en) * 2016-12-21 2019-03-19 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking
US10282615B2 (en) 2016-12-21 2019-05-07 Volkswagen Ag System and method for root association in image data
US10133944B2 (en) 2016-12-21 2018-11-20 Volkswagen Ag Digital neuromorphic (NM) sensor array, detector, engine and methodologies
US10229341B2 (en) 2016-12-21 2019-03-12 Volkswagen Ag Vector engine and methodologies using digital neuromorphic (NM) data
US10789495B2 (en) 2016-12-21 2020-09-29 Volkswagen Ag System and method for 1D root association providing sparsity guarantee in image data
US11308387B2 (en) 2017-05-09 2022-04-19 Samsung Electronics Co., Ltd. STDP with synaptic fatigue for learning of spike-time-coded patterns in the presence of parallel rate-coding
US11748607B2 (en) 2017-07-31 2023-09-05 Syntiant Systems and methods for partial digital retraining
KR102589968B1 (ko) * 2018-04-17 2023-10-16 삼성전자주식회사 3 차원 적층 구조를 갖는 뉴로모픽 회로 및 이를 포함하는 반도체 장치
US10748608B2 (en) 2018-10-12 2020-08-18 At&T Intellectual Property I, L.P. Memristive device and method based on ion migration over one or more nanowires
US10922824B1 (en) 2019-08-13 2021-02-16 Volkswagen Ag Object tracking using contour filters and scalers
KR20210050243A (ko) 2019-10-28 2021-05-07 삼성전자주식회사 뉴로모픽 패키지 장치 및 뉴로모픽 컴퓨팅 시스템
TWI728556B (zh) * 2019-11-18 2021-05-21 財團法人工業技術研究院 神經元電路及類神經網路晶片
US11856877B2 (en) 2019-12-23 2023-12-26 The University Of Canterbury Electrical contacts for nanoparticle networks

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5376813A (en) * 1993-06-02 1994-12-27 California Institute Of Technology Adaptive photoreceptor including adaptive element for long-time-constant continuous adaptation with low offset and insensitivity to light
US5781648A (en) * 1995-04-07 1998-07-14 California Institute Of Technology Pulse domain neuromorphic integrated circuit for computing motion
JP4248187B2 (ja) * 2002-03-27 2009-04-02 シャープ株式会社 集積回路装置及びニューロ素子

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087302B2 (en) 2011-06-08 2015-07-21 Samsung Electronics Co., Ltd. Synapse for function cell of spike timing dependent plasticity (STDP), function cell of STDP, and neuromorphic circuit using function cell of STDP
KR20180086152A (ko) * 2017-01-20 2018-07-30 한양대학교 산학협력단 3차원 뉴로모픽 소자 및 그 제조방법

Also Published As

Publication number Publication date
US20100277232A1 (en) 2010-11-04
DE112008003510T5 (de) 2010-11-04
CN101889343A (zh) 2010-11-17
US8332340B2 (en) 2012-12-11
KR101438469B1 (ko) 2014-09-05
WO2009075694A1 (en) 2009-06-18
CN101889343B (zh) 2012-11-21
JP2011507232A (ja) 2011-03-03

Similar Documents

Publication Publication Date Title
KR101438469B1 (ko) 하이브리드 마이크로스케일-나노스케일 뉴로모픽 집적 회로
Thakur et al. Large-scale neuromorphic spiking array processors: A quest to mimic the brain
Schuman et al. A survey of neuromorphic computing and neural networks in hardware
Snider Self-organized computation with unreliable, memristive nanodevices
US7958071B2 (en) Computational nodes and computational-node networks that include dynamical-nanodevice connections
US20110004579A1 (en) Neuromorphic Circuit
Snider Spike-timing-dependent learning in memristive nanodevices
US10049321B2 (en) Anti-hebbian and hebbian computing with thermodynamic RAM
Bai et al. Deep-DFR: A memristive deep delayed feedback reservoir computing system with hybrid neural network topology
Cho et al. An on-chip learning neuromorphic autoencoder with current-mode transposable memory read and virtual lookup table
Abdallah et al. Neuromorphic computing principles and organization
Abderrahmane Hardware design of spiking neural networks for energy efficient brain-inspired computing
Narayanan et al. Video analytics using beyond CMOS devices
Kendall et al. Deep learning in memristive nanowire networks
Payvand et al. Exploiting local connectivity of CMOL architecture for highly parallel orientation selective neuromorphic chips
Firouzi et al. A novel pipeline architecture of Replacing Ink Drop Spread
US20240037380A1 (en) Resistive memory circuit for liquid state machine with temporal classifcation
Ben Abdallah et al. Introduction to neuromorphic computing systems
Fayyazi et al. SpRRAM: A predefined sparsity based memristive neuromorphic circuit for low power application
Chakma Design of a CMOS-Memristive Mixed-Signal Neuromorphic System with Energy and Area Efficiency in System Level Applications
Brown Stochastic Neuron Design for the mrDANNA Neuromorphic Architecture
Perez Organic Electrochemical Transistors for Use in Neuromorphic Computing: Boolean and Reversible Logic Gate Solutions
Payvand Area-efficient neuromorphic silicon circuits and architectures using spatial and spatio-temporal approaches
Fortes et al. Nanoelectronic Adaptive Systems
Getachew et al. The Memristor and its Implementation in Deep Neural Network Designing: A Review

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant