KR20210050966A - 적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치 - Google Patents

적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치 Download PDF

Info

Publication number
KR20210050966A
KR20210050966A KR1020190135613A KR20190135613A KR20210050966A KR 20210050966 A KR20210050966 A KR 20210050966A KR 1020190135613 A KR1020190135613 A KR 1020190135613A KR 20190135613 A KR20190135613 A KR 20190135613A KR 20210050966 A KR20210050966 A KR 20210050966A
Authority
KR
South Korea
Prior art keywords
neuromorphic
core dies
stacked
synapses
weights
Prior art date
Application number
KR1020190135613A
Other languages
English (en)
Inventor
장재훈
손홍락
설창규
유근영
윤찬호
윤필상
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190135613A priority Critical patent/KR20210050966A/ko
Priority to US16/854,942 priority patent/US11531871B2/en
Priority to CN202011107915.4A priority patent/CN112749795A/zh
Publication of KR20210050966A publication Critical patent/KR20210050966A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161—Disposition
    • H01L2224/16135—Disposition the bump connector connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip
    • H01L2224/16145—Disposition the bump connector connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip the bodies being stacked
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/16—Structure, shape, material or disposition of the bump connectors after the connecting process of an individual bump connector
    • H01L2224/161—Disposition
    • H01L2224/16151—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive
    • H01L2224/16221—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked
    • H01L2224/16225—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation
    • H01L2224/16227—Disposition the bump connector connecting between a semiconductor or solid-state body and an item not being a semiconductor or solid-state body, e.g. chip-to-substrate, chip-to-passive the body and the item being stacked the item being non-metallic, e.g. insulating substrate with or without metallisation the bump connector connecting to a bond pad of the item
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/10—Bump connectors; Manufacturing methods related thereto
    • H01L2224/15—Structure, shape, material or disposition of the bump connectors after the connecting process
    • H01L2224/17—Structure, shape, material or disposition of the bump connectors after the connecting process of a plurality of bump connectors
    • H01L2224/171—Disposition
    • H01L2224/1718—Disposition being disposed on at least two different sides of the body, e.g. dual array
    • H01L2224/17181—On opposite sides of the body
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06513—Bump or bump-like direct electrical connections between devices, e.g. flip-chip connection, solder bumps
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06517—Bump or bump-like direct electrical connections from device to substrate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2225/00—Details relating to assemblies covered by the group H01L25/00 but not provided for in its subgroups
    • H01L2225/03—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00
    • H01L2225/04—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers
    • H01L2225/065—All the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/648 and H10K99/00 the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L2225/06503—Stacked arrangements of devices
    • H01L2225/06541—Conductive via connections through the device, e.g. vertical interconnects, through silicon via [TSV]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
    • H01L25/065—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L25/0652—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00 the devices being arranged next and on each other, i.e. mixed assemblies
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/03—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes
    • H01L25/04—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers
    • H01L25/065—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof all the devices being of a type provided for in the same subgroup of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. assemblies of rectifier diodes the devices not having separate containers the devices being of a type provided for in group H01L27/00
    • H01L25/0657—Stacked arrangements of devices
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/18—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different subgroups of the same main group of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N

Abstract

적층형 뉴로모픽 장치는 로직 다이 및 복수의 뉴로모픽 코어 다이들 및 복수의 관통 실리콘 비아들을 포함한다. 상기 로직 다이는 외부의 호스트와 통신한다. 상기 뉴로모픽 코어 다이들은 상기 로직 다이 상에 적층된다. 상기 관통 실리콘 비아들은 상기 뉴로모픽 코어 다이들을 관통한다. 상기 뉴로모픽 코어 다이들 각각은 복수의 로우 라인들 및 복수의 칼럼 라인들에 연결되며, 신경망(neural network) 시스템을 구성하는 복수의 레이어들에 포함되는 가중치들을 저장하고 상기 가중치들과 입력 데이터에 기초하여 연산을 수행하는 복수의 시냅스들을 포함하는 시냅스 어레이를 포함한다. 상기 로직 다이는 제어 회로를 포함한다. 상기 제어 회로는 상기 관통 실리콘 비아들을 통하여 상기 뉴로모픽 코어 다이들에 상기 가중치들을 제공하고, 상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어한다.

Description

적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치{Stacked neuromorphic devices and neuromorphic computing devices}
본 발명은 인공 지능 분야에 관한 것으로, 보다 상세하게는 성능을 높일 수 있는 전자 장치 및 전자 장치의 동작 방법에 관한 것이다.
뇌에는 수천억 개의 신경 세포(즉, 뉴런(neuron))가 존재하며, 서로 복잡한 신경망으로 구성되어 있다. 뉴런은 수천 개의 다른 뉴런과 신호를 주고 받는 시냅스를 통해 학습, 기억 등 지적 능력을 발휘한다. 뉴런은 신경계의 구조적, 기능적 단위이며 정보 전달의 기본 단위이다. 시냅스는 뉴런 사이의 접합부를 가리키며 어느 하나의 뉴런의 축색 돌기와 다른 뉴런의 수상 돌기가 연결된 부위를 말한다. 다시 말해 한 개의 뉴런은 수천 개의 다른 뉴런과 시냅스로 이루어져 있다.
뉴로모픽 칩은 생체 신경계의 동작을 모방한 반도체 회로로서 불특정한 환경에 스스로 적응할 수 있는 지능화된 시스템을 구현하는데 활용될 수 있다.
본 발명의 일 목적은 적층형 구조를 채용하여 성능을 향상시킬 수 있는 적층형 뉴로모픽 장치를 제공하는 것이다.
본 발명의 일 목적은 적층형 구조를 채용하여 성능을 향상시킬 수 있는 뉴로모픽 컴퓨팅 시스템을 제공하는 것이다.
본 발명의 실시예들에 따른 적층형 뉴로모픽 장치는 로직 다이 및 복수의 뉴로모픽 코어 다이들 및 복수의 관통 실리콘 비아들을 포함한다. 상기 로직 다이는 외부의 호스트와 통신한다. 상기 뉴로모픽 코어 다이들은 상기 로직 다이 상에 적층된다. 상기 관통 실리콘 비아들은 상기 뉴로모픽 코어 다이들을 관통한다. 상기 뉴로모픽 코어 다이들 각각은 복수의 로우 라인들 및 복수의 칼럼 라인들에 연결되며, 신경망(neural network) 시스템을 구성하는 복수의 레이어들에 포함되는 가중치들을 저장하고 상기 가중치들과 입력 데이터에 기초하여 연산을 수행하는 복수의 시냅스들을 포함하는 시냅스 어레이를 포함한다. 상기 로직 다이는 제어 회로를 포함한다. 상기 제어 회로는 상기 관통 실리콘 비아들을 통하여 상기 뉴로모픽 코어 다이들에 상기 가중치들을 제공하고, 상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어한다.
본 발명의 실시예들에 따른 적층형 뉴로모픽 컴퓨팅 시스템은 호스트 및 상기 호스트와 통신하는 적층형 뉴로모픽 장치를 포함한다. 상기 호스트는 중앙처리장치(Central Processing Unit: CPU), 그래픽처리장치(Graphics Processing Unit: GPU), 주문형 집적 회로(Application Specific Integrated Circuit: ASIC) 및 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array: FPGA) 중 적어도 하나를 포함한다. 상기 적어도 하나의 적층형 뉴로모픽 장치는 로직 다이 및 복수의 뉴로모픽 코어 다이들 및 복수의 관통 실리콘 비아들을 포함한다. 상기 로직 다이는 상기 호스트와 통신한다. 상기 뉴로모픽 코어 다이들은 상기 로직 다이 상에 적층된다. 상기 관통 실리콘 비아들은 상기 뉴로모픽 코어 다이들을 관통한다. 상기 뉴로모픽 코어 다이들 각각은 복수의 로우 라인들 및 복수의 칼럼 라인들에 연결되며, 신경망(neural network) 시스템을 구성하는 복수의 레이어들에 포함되는 가중치들을 저장하고 상기 가중치들과 입력 데이터에 기초하여 연산을 수행하는 복수의 시냅스들을 포함하는 시냅스 어레이를 포함한다. 상기 로직 다이는 제어 회로를 포함한다. 상기 제어 회로는 상기 관통 실리콘 비아들을 통하여 상기 뉴로모픽 코어 다이들에 상기 가중치들을 제공하고, 상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어한다.
본 발명의 실시예들에 따른 적층형 뉴로모픽 장치는 로직 다이 및 복수의 뉴로모픽 코어 다이들 및 복수의 관통 실리콘 비아들을 포함한다. 상기 로직 다이는 외부의 호스트와 통신한다. 상기 뉴로모픽 코어 다이들은 상기 로직 다이 상에 적층된다. 상기 관통 실리콘 비아들은 상기 뉴로모픽 코어 다이들을 관통한다. 상기 뉴로모픽 코어 다이들 각각은 복수의 로우 라인들 및 복수의 칼럼 라인들에 연결되며, 신경망(neural network) 시스템을 구성하는 복수의 레이어들에 포함되는 가중치들을 저장하고 상기 가중치들과 입력 데이터에 기초하여 연산을 수행하는 복수의 시냅스들을 포함하는 시냅스 어레이를 포함한다. 상기 로직 다이는 제어 회로를 포함한다. 상기 제어 회로는 상기 관통 실리콘 비아들을 통하여 상기 뉴로모픽 코어 다이들에 상기 가중치들을 제공하고, 상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어한다. 상기 뉴로모픽 코어 다이들 각각은 상기 시냅스 어레이에 연결되어, 상기 연산의 결과를 상기 관통 실리콘 비아들을 통하여 상기 제어 회로에 제공하는 데이터 처리기를 포함한다. 상기 제어 회로는 상기 호스트와 통신하는 입출력 인터페이스 및 상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어하는 레이어 컨트롤러를 포함한다.
본 발명에 실시예들에 따르면, 적층형 뉴로모픽 장치가 외부의 호스트와 통신하는 로직 다이 및 로직 다이 상에 적층되는 복수의 뉴로모픽 코어 다이들을 포함하고, 뉴로모픽 코어 다이들 각각에서 인공 지능 연산을 수행하여 성능을 높일 수 있다.
도 1은 본 발명의 실시예들에 따른 적층형 뉴로모픽 장치를 포함하는 전자 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 도 1의 전자 장치에서 적층형 뉴로모픽 장치를 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 도 2의 적층형 뉴로모픽 장치의 예를 나타내는 블록도이다.
도 4는 본 발명의 실시예들에 따른 도 3의 적층형 뉴로모픽 장치에서 제어 회로를 나타내는 블록도이다.
도 5는 본 발명의 실시예들에 따른 도 3의 적층형 뉴로모픽 장치에서 제어 회로를 나타내는 블록도이다.
도 6은 본 발명의 실시예들에 따른 도 5의 누적기를 나타내는 회로도이다.
도 7은 본 발명의 실시예들에 따른 도 2의 적층형 뉴로모픽 장치에포함되는 뉴로모픽 코어 다이들 중 하나를 나타내는 블록도이다.
도 8a 및 8b는 본 발명의 실시예들에 따른 뉴로모픽 코어 다이에 의해 구동되는 신경망 시스템의 일 예를 설명하기 위한 도면들이다.
도 9a 및 9b는 본 발명의 실시예들에 따른 도 7의 뉴로모픽 코어 다이에서 시냅스 어레이의 예들을 나타내는 도면들이다.
도 10은 본 발명의 실시예들에 따른 도 2의 적층형 뉴로모픽 장치에포함되는 뉴로모픽 코어 다이들 중 하나를 나타내는 블록도이다.
도 11은 본 발명의 실시예들에 따른 도 10의 시냅스 어레이에 포함되는 복수의 시냅스들 중 하나와 대응되는 제1 뉴런 및 대응되는 제2 뉴런의 연결 관계를 나타낸다.
도 12는 도 11의 시냅스에 포함된 멤리스터의 동작 특성을 나타낸 그래프이다.
도 13 및 도 14는 도 12의 제1 뉴런과 제2 뉴런 사이에 흐르는 전류량의 특성 및 일반적인 STDP 동작에서의 스파이크 발생 시간차와 시냅틱 가중치의 변화량과의 관계를 나타낸다.
도 15는 본 발명의 실시예들에 따른 도 2의 적층형 뉴로모픽 장치에 포함되는 뉴로모픽 코어 다이들 중 하나를 나타내는 블록도이다.
도 16은 본 발명의 실시예들에 따른 도 15의 시냅스 어레이에 포함되는 복수의 시냅스들 중 하나를 나타낸다.
도 17은 본 발명의 실시예들에 따른 도 15에서 제2 뉴런을 나타낸다.
도 18은 본 발명의 실시예들에 따른 도 15의 시냅스 어레이에 포함되는 복수의 시냅스들 중 하나를 나타낸다.
도 19는 본 발명의 실시예들에 따른 적층형 뉴로모픽 장치에서 액세스 동작시 데이터 전송 경로를 나타내고, 도 20a 및 20b는 도 19의 데이터 전송 경로를 구현하는 실시예를 나타내는 도면들이다.
도 21은 본 발명의 실시예들에 따른 적층형 뉴로모픽 장치의 동작 방법을 나타내는 흐름도이다.
도 22는 본 발명의 실시예들에 따른 뉴로모픽 컴퓨팅 시스템을 나타내는 블록도이다.
도 23은 도 22의 V-V’선에 따른 뉴로모픽 컴퓨팅 시스템의 단면도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
인공 지능 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
도 1은 본 발명의 실시예들에 따른 적층형 뉴로모픽 장치를 포함하는 전자 장치를 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 전자 장치(뉴로모픽 컴퓨팅 시스템, 10)는 호스트(50) 및 적층형 뉴로모픽 장치(90)를 포함할 수 있다.
적층형 뉴로모픽 장치(90)는 로직 다이(200) 및 로직 다이 상에 적층되며 가중치들을 저장하는 복수의 코어 다이들(코어 다이들, 300)을 포함할 수 있다. 적층형 뉴로모픽 장치(90)는 코어 다이들(300)을 관통하는 복수의 관통 실리콘 비아(through silicon via)들(220)을 포함할 수 있다.
적층형 뉴로모픽 장치(90)는 호스트(50)로부터 리퀘스트(REQ), 가중치들(WDT) 및 입력 데이터(IDTA)를 수신하고, 가중치들(WDT)을 저장하고, 최종 데이터(DTA)를 호스트(50)에 제공할 수 있다. 뉴로모픽 코어 다이들(코어 다이들, 300) 각각은 신경망(neural network) 시스템을 구성하는 복수의 레이어들에 포함되는 가중치들을 저장하고 상기 가중치들과 입력 데이터에 기초하여 연산을 수행하는 복수의 시냅스들을 포함하는 시냅스 어레이를 포함할 수 있다.
로직 다이(200)는 관통 실리콘 비아들(220)을 통하여 상기 뉴로모픽 코어 다이들(300)에 가중치들(WDT)을 제공하고, 뉴로모픽 코어 다이들(300) 사이의 데이터 전송을 제어하는 제어 회로(201)를 포함할 수 있다.
도 2는 본 발명의 실시예들에 따른 도 1의 전자 장치에서 적층형 뉴로모픽 장치를 나타내는 블록도이다.
도 2를 참조하면, 적층형 뉴로모픽 장치(90)는 로직 다이(200) 및 복수의 코어 다이들(300a~300k, k는 2 이상의 자연수)을 포함할 수 있다. 적층형 뉴로모픽 장치(90)는 로직 다이(200) 및 복수의 코어 다이들(300a~300k)이 각각 적층되어 패키징된 것 일 수 있다. 로직 다이(200) 상에 적층되는 코어 다이들(300a~300k)은 로직 다이(200)와 전기적으로 연결되며, 이를 위하여 적층형 뉴로모픽 장치(90)는 로직 다이(200)와 코어 다이들(300a~300k)을 전기적으로 연결하는 도전 수단을 포함할 수 있다. 실시예에 있어서, 상기 도전 수단으로 관통 실리콘 비아(Through silicon via, TSV)가 적용될 수 있다.
실시예에 있어서, 코어 다이들(300a~300k) 중 적어도 일부(200a, 200b)는 메모리 코어 다이(M_DIE)일 수 있다. 코어 다이들(300a~300k) 중 하나 이상(300c~300k)은 뉴로모픽 코어 다이(N_DIE)일 수 잇다. 메모리 코어 다이(M_DIE)는 뉴로모픽 코어 다이(N_DIE)에서 수행된 연산의 결과를 저장할 수 있다. 메모리 코어 다이(M_DIE)는 휘발성 메모리 셀들 또는 비휘발성 메모리 셀들을 포함할 수 있다.
도 3은 본 발명의 실시예들에 따른 도 2의 적층형 뉴로모픽 장치의 예를 나타내는 블록도이다.
도 3을 참조하면, 적층형 뉴로모픽 장치(90a)는 다수 개의 레이어들을 포함할 수 있다. 일 예로서, 적층형 뉴로모픽 장치(90a)는 로직 다이(200)와 로직 다이(200) 상에 적층된 하나 이상의 뉴로모픽 코어 다이들(300)을 포함할 수 있다. 도 3의 예에서는, 제1 내지 제 4 코어 다이들(300a~300d)이 구비되는 예가 도시되었으나, 상기 코어 다이들의 개수는 다양하게 변경될 수 있다. 실시예에 있어서, 로직 다이(200)는 하나 이상의 뉴로모픽 코어 다이들(300) 상부 또는 사이에 배치될 수도 있다.
로직 다이(200)는 호스트(50)와 통신하고, 호스트(50)로부터 리퀘스트 및 가중치들을 수신할 수 있으며, 수신된 리퀘스트에 기초한 커맨드 및 가중치들을 코어 다이들(300)로 제공할 수 있다. 로직 다이(200)와 코어 다이들(300)은 서로 다른 공정으로 제작될 수 있다.
로직 다이(200)는 내부 커맨드 생성기(210) 및 제어 회로(201)를 포함할 수 있다. 내부 커맨드 생성기(210)는 호스트(50)로부터 제공되는 리퀘스트(REQ)에 기초하여 커맨드(CMD)를 생성하고, 커맨드(CMD)를 코어 다이별로 서로 독립하게 형성되는 커맨드 TSV(TSV_C)를 통하여 코어 다이들(300a~300d)로 제공될 수 있다.
제어 회로(201)는 코어 다이들(300a~300d)에 가중치들(WDT)를 저장하고, 코어 다이들(300a~300d)에 입력 데이터(IDTA)를 제공하고, 코어 다이들(300a~300d)로부터 최종 데이터(DTA)를 수신할 수 있다.
코어 다이들(300a~300d) 각각은 커맨드(CMD)를 디코딩하여 시냅스 어레이를 제어하는 내부 제어신호를 출력하는 제어 로직 회로(211a~211d)와 독출된 데이터 및/또는 저장될 데이터(가중치들)에 대한 처리 동작을 수행하는 데이터 처리기(313a~313d)를 포함할 수 있다.
입력 데이터와 가중치들은 데이터 TSV(TSV_data)를 통하여 코어 다이들(300a~300d) 중 적어도 하나에 제공될 수 있고, 코어 다이들(300a~300d) 중 적어도 하나로부터의 최종 데이터(DTA)는 데이터 TSV(TSV_data)를 통하여 다른 코어 다이 또는 제어 회로(201)로 제공될 수 있다.
도 4는 본 발명의 실시예들에 따른 도 3의 적층형 뉴로모픽 장치에서 제어 회로를 나타내는 블록도이다.
도 4를 참조하면, 제어 회로(201a)는 중앙처리장치(210), 액티베이션 함수(220), 양자화기(230), 레이어 컨트롤러(240), 압축/해제 엔진(250) 및 입출력 인터페이스(260)를 포함할 수 있다.
도 4의 제어 회로(201a)는 도 3의 코어 다이들(300a~300d) 각각에 포함되는 시냅스 어레이가 가중치들 및 입력 데이터에 대한 곱셈 연산 및 곱셈 연산의 결과를 누적하는 누적 연산을 수행하는 경우에 제어 회로(201)의 예에 해당할 수 있다.
중앙처리장치(210)는 제어 회로(201a)의 전반적인 동작을 제어한다. 액티베이션 함수(220)는 시냅스 어레이로부터 제공되는 누적 연산의 결과에 액티베이션 동작을 적용한다.
양자화기(230)는 가중치들 및 입력 데이터를 양자화하여 양자화된 가중치들 및 양자화된 입력 데이터를 생성하고, 양자화된 가중치들 및 양자화된 입력 데이터를 코어 다이들(300a~300d)에 제공할 수 있다. 실시예에 있어서, 양자화기(230)는 고정 소수점 타입의 입력 데이터를 더 적은 비트의 고정 소수점 타입의 입력 데이터로 양자화하고, 부동 소수점 타입의 가중치들을 고정 소수점 타입의 가중치들로 양자화할 수 있다.
레이어 컨트롤러(240)는 코어 다이들(300a~300d) 사이에서의 데이터의 전송을 제어할 수 있다. 압축/해제 엔진(250)은 호스트(50)로부터 제공되는 데이터에 대하여 해제 동작을 수행하고, 호스트(50)로 제공될 데이터에 대하여 압축 동작을 수행할 수 있다.
입출력 인터페이스(260)는 호스트(50)와 로직 다이(200) 사이의 데이터 입출력과 관련하여 인터페이스 동작을 수행할 수 있다.
실시예에 있어서, 액티베이션 함수(220)와 입출력 인터페이스(260)는 FPGA로 구현될 수 있고, 중앙처리장치(210), 양자화기(230), 레이어 컨트롤러(240) 및 압축/해제 엔진(250)은 ASIC로 구현될 수 있다.
도 5는 본 발명의 실시예들에 따른 도 3의 적층형 뉴로모픽 장치에서 제어 회로를 나타내는 블록도이다.
도 5를 참조하면, 제어 회로(201b)는 중앙처리장치(210), 액티베이션 함수(220), 양자화기(230), 레이어 컨트롤러(240), 압축/해제 엔진(250), 입출력 인터페이스(260) 및 누적기(270)를 포함할 수 있다.
도 5의 제어 회로(201b)는 도 3의 코어 다이들(300a~300d) 각각에 포함되는 시냅스 어레이가 가중치들 및 입력 데이터에 대한 곱셈 연산을 수행하는 경우에 제어 회로(201)의 예에 해당할 수 있다.
도 5의 제어 회로(201b)는 도 4의 제어 회로(201a)와 비교할 때 누적기(270)를 더 포함한다는 점에서 차이가 있다.
누적기(270)는 코어 다이들(300a~300d)로부터 제공되는 곱셈 연산의 결과들을 누적하는 누적 연산을 수행하고, 누적 연산의 결과를 액티베이션 함수(220)에 제공할 수 있다.
도 6은 본 발명의 실시예들에 따른 도 5의 누적기를 나타내는 회로도이다.
도 6을 참조하면, 누적기(270)는 가산기(271) 및 버퍼(273)를 포함한다. 누적기(270)는 코어 다이들(300a~300d)로부터 제공되는, 곱셈 결과에 해당하는 곱셈 결과 데이터(MRD)를 누적하여 최종 데이터(DTA)를 제공한다.
가산기(271)는 제1 입력과 제2 입력을 구비하고 제1 입력에서 곱셈 결과 데이터(MRD)를 수신한다. 가산기(271)는 곱셈 결과 데이터(MRD)와 제2 입력에서 수신되는 버퍼(273)의 출력을 합산하여 가산기(271)의 제2 입력으로 피드백시킨다.
버퍼(273)는 출력 인에이블 신호(OEN)에 응답하여 가산기(271)의 출력을 최종 데이터(DTA)로서 제공하고, 리셋 신호(RST)에 응답하여 리셋된다. 출력 인에이블 신호(OEN) 및 리셋 신호(RST)는 중앙처리장치(210)로부터 제공될 수 있다.
도 7은 본 발명의 실시예들에 따른 도 2의 적층형 뉴로모픽 장치에포함되는 뉴로모픽 코어 다이들 중 하나를 나타내는 블록도이다.
도 7을 참조하면, 뉴로모픽 코어 다이(301)는 시냅스 어레이(310) 및 아날로그-디지털 변환 블록(350)을 포함한다. 뉴로모픽 코어 다이(301)는 뉴로모픽 컴퓨팅 칩으로 호칭될 수도 이다, 뉴로모픽 코어 다이(301)는 제1 스위칭 매트릭스(320), 제2 스위칭 매트릭스(330), 전류-전압 변환 블록(340), 가산 블록(360) 및 쉬프트 레지스터 블록(370)을 더 포함할 수 있다.
시냅스 어레이(310)는 각각 저항성 소자(RE)를 포함하고 매트릭스 형태로 배열되는 복수의 저항성 메모리 셀들(RMC)을 포함한다. 복수의 저항성 메모리 셀들(RMC)은 시냅스(311)들에 해당할 수 있다.
복수의 저항성 메모리 셀들(RMC) 각각은 복수의 로우(row) 라인들(RW1, RW2, ..., RWN, N은 2 이상의 자연수) 중 하나 및 복수의 컬럼(column) 라인들(CL1, CL2, ..., CLM, M은 2 이상의 자연수) 중 하나와 연결될 수 있다. 시냅스 어레이(310)의 구체적인 구조에 대해서는 도 9a 및 9c 등을 참조하여 후술하도록 한다.
시냅스 어레이(310)는 데이터들(가중치들)을 저장한다. 예를 들어, 복수의 저항성 메모리 셀들(RMC) 각각에 포함되는 저항성 소자(RE)의 저항 변화를 이용하여, 상기 복수의 데이터들은 복수의 저항성 메모리 셀들(RMC)에 저장될 수 있다. 또한, 시냅스 어레이(310)는 복수의 입력 전압들 및 상기 복수의 데이터들에 기초하여 복수의 신호 전압들(Vsig)에 대응하는 복수의 독출 전류들(Iread)을 발생한다. 예를 들어, 상기 복수의 입력 전압들은 복수의 로우 라인들(RW1, RW2, ..., RWN)을 통해 시냅스 어레이(110)에 입력될 수 있다.
일 실시예에서, 도 8a 및 8b를 참조하여 후술하는 것처럼, 뉴로모픽코어 다이(301)는 인공 신경망(Artificial Neural Network; ANN) 시스템, 컨볼루션 신경망(Convolutional Neural Network; CNN) 시스템, 심층 신경망(Deep Neural Network; DNN) 시스템, 딥 러닝(deep learning) 시스템 등과 같은 임의의 신경망(neural network) 시스템 및/또는 머신 러닝(machine learning) 시스템을 구동하는데 이용될 수 있다.
예를 들어, 영상 분류(image classify) 서비스, 생체 정보에 기초한 사용자 인증(authentication) 서비스, 운전 보조 시스템(Advanced Driver Assistance System; ADAS) 서비스, 음성 보조(voice assistant) 서비스, 자동 음성 인식(Automatic Speech Recognition; ASR) 서비스 등과 같은 다양한 서비스 및/또는 어플리케이션이 뉴로모픽 컴퓨팅 장치(100)에 의해 실행 및 처리될 수 있다. 이 경우, 시냅스 어레이(310)에 저장되는 상기 복수의 데이터들은 신경망 시스템을 구성하는 복수의 레이어들에 포함되는 복수의 가중치들을 나타내며, 복수의 독출 전류들(Iread) 및 복수의 신호 전압들(Vsig)은 상기 신경망 시스템에 의해 수행되는 곱셈 및 누적 연산의 결과를 나타낼 수 있다. 다시 말하면, 시냅스 어레이(310)는 데이터 저장 및 연산 동작을 한 번에 수행할 수 있으며, 이에 대해서는 도 9b를 참조하여 후술하도록 한다.
제1 스위칭 매트릭스(320)는 시냅스 어레이(310)의 로우 라인들(RW1, RW2, ..., RWN)과 연결될 수 있다. 상세하게 도시하지는 않았으나, 제1 스위칭 매트릭스(320)는 복수의 로우 라인들(RW1, RW2, ..., RWN) 중 적어도 하나를 선택하기 위한 로우 선택 신호 및/또는 복수의 로우들(RW1, RW2, ..., RWN) 중 적어도 하나를 구동하기 위한 로우 구동 전압에 기초하여 복수의 로우 라인들(RW1, RW2, ..., RWN)을 구동할 수 있다.
제2 스위칭 매트릭스(330)는 시냅스 어레이(310)의 복수의 컬럼 라인들(CL1, CL2, ..., CLM)과 연결될 수 있다. 상세하게 도시하지는 않았으나, 제2 스위칭 매트릭스(330)는 컬럼 라인들(CL1, CL2, ..., CLM) 중 적어도 하나를 선택하기 위한 컬럼 선택 신호 및/또는 컬럼 라인들(CL1, CL2, ..., CLM) 중 적어도 하나를 구동하기 위한 컬럼 구동 전압에 기초하여 컬럼 라인들(CL1, CL2, ..., CLM)을 구동할 수 있다.
전류-전압 변환 블록(340)은 복수의 전류-전압 컨버터(Current-to-Voltage Converter, IVC)들(342)을 포함할 수 있다. 복수의 전류-전압 컨버터들(342)은 복수의 독출 전류들(Iread)을 복수의 신호 전압들(Vsig)로 변환할 수 있다. 예를 들어, 복수의 전류-전압 컨버터들(342) 각각은 전류 미러(current mirror)를 포함하여 구현될 수 있다.
아날로그-디지털 변환 블록(350)은 복수의 아날로그-디지털 컨버터(Analog-to-Digital Converter, ADC)들(352)을 포함한다. 아날로그-디지털 컨버터들(352)은 복수의 신호 전압들(Vsig)을 복수의 디지털 신호들(DS)로 변환한다.
가산 블록(360)은 복수의 가산기(Adder, ADR)들(362)을 포함할 수 있다. 복수의 가산기들(362)은 복수의 디지털 신호들(DS)을 합산하여 복수의 합산 디지털 신호들(ADS)을 발생할 수 있다.
쉬프트 레지스터 블록(370)은 복수의 쉬프트 레지스터(Shift Register, SR)들(372)을 포함할 수 있다. 복수의 쉬프트 레지스터들(372)은 복수의 가산기들(362)의 출력인 복수의 합산 디지털 신호들(ADS)에 기초하여 최종 출력 데이터(DAT)를 발생할 수 있다. 최종 출력 데이터(DAT)가 상기 신경망 시스템에 의해 수행되는 곱셈 및 누적 연산의 최종 결과에 대응할 수 있다.
도 7의 실시예에서, 복수의 전류-전압 컨버터들(342)의 개수, 복수의 아날로그-디지털 컨버터들(352)의 개수, 복수의 가산기들(362)의 개수 및 복수의 쉬프트 레지스터들(372)의 개수는 각각 시냅스 어레이(310)의 복수의 컬럼 라인들(CL1, CL2, ..., CLM)의 개수와 실질적으로 동일할 수 있다.
한편, 도시하지는 않았으나, 뉴로모픽 코어 다이(301)는 제1 스위칭 매트릭스(320), 제2 스위칭 매트릭스(330), 전류-전압 변환 블록(340), 아날로그-디지털 변환 블록(350), 가산 블록(360) 및 쉬프트 레지스터 블록(370) 등의 동작 타이밍을 제어하기 위한 제어 신호들을 발생하는 타이밍 컨트롤러 또는 제어 로직 회로(도 3의 311a)를 더 포함할 수도 있고, 상기 로우 구동 전압, 상기 컬럼 구동 전압, 기준 전압(Vref) 등을 발생하기 위한 전압 레귤레이터를 더 포함할 수도 있다.
일반적으로, 시냅스 어레이(310)에 포함되는 복수의 저항성 메모리 셀들(RMC)은 온도 및 시간 의존성을 가진다. 예를 들어, 복수의 저항성 메모리 셀들(RMC) 각각에 포함되는 저항성 소자(RE)는 온도가 증가하면 저항이 감소하고 온도가 감소하면 저항이 증가하는 온도 의존성을 가질 수 있다. 또한, 저항성 소자(RE)는 시간이 지남에 따라 저항이 감소하는 리텐션(retention) 특성을 가지거나, 일부 경우에는 데이터 기입 후 일정 시간이 지나면 저항이 증가하는 드리프트(drift) 특성을 가지는 등의 시간 의존성을 가질 수 있다. 이에 따라, 시냅스 어레이(310)에서 출력되는 독출 전류(Iread)는 온도 및 시간에 의존하게 되며, 정확한 데이터 저장 및 연산을 위해서는 이러한 온도 및 시간 의존성에 따른 영향을 감소 또는 제거할 필요가 있다.
본 발명의 실시예들에 따른 뉴로모픽 코어 다이(301)는, 시냅스 어레이(310)에 포함되는 저항성 소자(RE)와 동일한 저항성 물질을 포함하는 적어도 하나의 저항 메모리 소자를 포함하는 아날로그-디지털 컨버터(352)를 포함하여 구현된다. 이 경우, 시냅스 어레이(310)에서 출력되는 독출 전류(Iread) 및 이에 대응하는 신호 전압(Vsig)과 아날로그-디지털 컨버터(352)에서 이용되는 전압이 동일한 온도 및 시간 의존성을 가지게 되며, 이에 따라 아날로그-디지털 변환 시에 온도 및 시간에 의존하지 않고 일정한 디지털 신호(DS)를 발생할 수 있다. 따라서, 아날로그-디지털 변환 및 데이터 연산을 오차 없이 효과적으로 수행할 수 있다.
도 8a 및 8b는 본 발명의 실시예들에 따른 뉴로모픽 코어 다이에 의해 구동되는 신경망 시스템의 일 예를 설명하기 위한 도면들이다.
도 8a를 참조하면, 일반적인 신경망의 네트워크 구조는 입력 레이어(IL), 복수의 히든 레이어들(HL1, HL2, ..., HLn) 및 출력 레이어(OL)를 포함할 수 있다.
입력 레이어(IL)는 i(i는 자연수)개의 입력 노드들(x1, x2, ..., xi)을 포함할 수 있고, 길이가 i인 벡터 입력 데이터(IDAT)가 각 입력 노드에 입력될 수 있다.
복수의 히든 레이어들(HL1, HL2, ..., HLn)은 n(n은 자연수)개의 히든 레이어들을 포함하며, 히든 노드들(h1 1, h1 2, h1 3, ..., h1 m, h2 1, h2 2, h2 3, ..., h2 m, hn 1, hn 2, hn 3, ..., hn m)을 포함할 수 있다. 예를 들어, 히든 레이어(HL1)는 m(m은 자연수)개의 히든 노드들(h1 1, h1 2, h1 3, ..., h1 m)을 포함할 수 있고, 히든 레이어(HL2)는 m개의 히든 노드들(h2 1, h2 2, h2 3, ..., h2 m)을 포함할 수 있으며, 히든 레이어(HLn)는 m개의 히든 노드들(hn 1, hn 2, hn 3, ..., hn m)을 포함할 수 있다.
출력 레이어(OL)는 분류할 클래스에 대응하는 j(j는 자연수)개의 출력 노드들(y1, y2, ..., yj)을 포함할 수 있고, 입력 데이터(IDAT)에 대하여 각 클래스 별로 결과(예를 들어, 점수 또는 class score)를 출력 데이터(ODAT)로서 출력할 수 있다. 출력 레이어(OL)는 fully connected 레이어라고 부를 수 있으며, 예를 들어 입력 데이터(IDAT)가 자동차에 대응할 확률을 수치로 나타낼 수 있다.
도 8a에 도시된 네트워크 구조는, 두 개의 노드들 사이에 직선으로 도시된 노드들 간의 연결(branch)과, 도시되지는 않았지만 각 연결에서 사용되는 가중치(weight)를 포함할 수 있다. 이 때, 하나의 레이어 내의 노드들 간에는 연결이 되지 않을 수 있고, 서로 다른 레이어들에 포함되는 노드들은 완전하게 혹은 부분적으로 연결될 수 있다.
도 8a의 각 노드(예를 들어, h1 1)는 이전 노드(예를 들어, x1)의 출력을 입력 받아 연산할 수 있고, 연산 결과를 이후 노드(예를 들어, h2 1)에 출력할 수 있다. 이 때, 각 노드는 입력된 값을 특정 함수, 예를 들어 비선형 함수에 적용하여 출력할 값을 연산할 수 있다.
일반적으로 신경망의 네트워크 구조는 미리 결정되어 있으며, 노드들 간의 연결에 따른 가중치들은 이미 어떤 클래스에 속할지 정답이 알려진 데이터를 이용하여 적절한 값을 산정하게 된다. 이와 같이 이미 정답이 알려진 데이터들을 '학습 데이터'라고 하고, 가중치를 결정하는 과정을 '학습'이라고 한다. 또한, 독립적으로 학습이 가능한 구조와 가중치의 묶음을 '모델'이라고 가정하고, 가중치가 결정된 모델이 입력 데이터가 어느 클래스에 속할지를 예측하여 그 예측값을 출력하는 것을 '테스트' 과정이라고 한다.
도 8b를 참조하면, 도 8a의 네트워크 구조에 포함되는 하나의 노드(ND)에서 수행되는 연산의 일 예를 구체적으로 나타내고 있다.
하나의 노드(ND)에 N개의 입력들(a1, a2, a3, ..., aN)이 제공되는 경우에, 노드(ND)는 N개의 입력들(a1, a2, a3, ..., aN) 및 이에 대응하는 N개의 가중치들(w1, w2, w3, ..., wN)을 각각 곱하여 합산하고, 상기 합산된 입력 값에 오프셋(b)을 더하며, 상기 오프셋이 반영된 입력 값을 특정 함수(σ)에 적용하여 하나의 출력 값(예를 들어, z)을 발생할 수 있다.
도 8a에 도시된 네트워크 구조에 포함되는 하나의 레이어가 도 8b에 도시된 노드(ND)를 M개 포함되는 경우에, 상기 하나의 레이어의 출력 값들은 하기의 [수학식 1]과 같이 획득될 수 있다.
[수학식 1]
W*A=Z
상기의 [수학식 1]에서, W는 상기 하나의 레이어에 포함된 모든 연결들에 대한 가중치를 나타내며, M*N 매트릭스 형태로 구현될 수 있다. A는 상기 하나의 레이어에서 수신되는 N개의 입력들(a1, a2, a3, ..., aN)을 나타내며, N*1 매트릭스 형태로 구현될 수 있다. Z는 상기 하나의 레이어에서 출력되는 M개의 출력들(z1, z2, z3, ..., zM)을 나타내며, M*1 매트릭스 형태로 구현될 수 있다.
도 9a 및 9b는 본 발명의 실시예들에 따른 도 7의 뉴로모픽 코어 다이에서 시냅스 어레이의 예들을 나타내는 도면들이다.
도 9a를 참조하면, 시냅스 어레이(310a)는 복수의 워드 라인들(WL1, WL2, ..., WLN), 복수의 비트 라인들(BL1, BL2, ..., BLM) 및 복수의 저항성 메모리 셀들(RMC)을 포함한다.
도 9a의 복수의 워드 라인들(WL1, WL2, ..., WLN)은 도 7의 복수의 로우 라인들(RW1, RW2, ..., RWN)에 대응하고, 도 9a의 복수의 비트 라인들(BL1, BL2, ..., BLM)은 도 7의 복수의 컬럼 라인들(CL1, CL2, ..., CLM)에 대응하며, 도 9a의 복수의 저항성 메모리 셀들(RMC)은 도 7의 복수의 저항성 메모리 셀들(RMC)에 대응할 수 있다. 복수의 저항성 메모리 셀들(RMC) 각각은 저항성 소자(RE)를 포함하고, 복수의 워드 라인들(WL1, WL2, ..., WLN) 중 하나 및 복수의 비트 라인들(BL1, BL2, ..., BLM) 중 하나와 연결될 수 있다.
저항성 소자(RE)는 복수의 워드 라인들(WL1, WL2, ..., WLN) 또는 복수의 비트 라인들(BL1, BL2, ..., BLM)을 통해 인가되는 기입 전압에 의해 저항 값이 변화하며, 복수의 저항성 메모리 셀들(RMC)은 이러한 저항 변화에 의해 데이터를 저장할 수 있다. 예를 들어, 선택된 워드 라인에 기입 전압이 인가되고 선택된 비트 라인에 접지 전압(예를 들어, 약 0V)이 인가되는 경우에 선택된 저항성 메모리 셀에 데이터 '1'이 기입되며, 선택된 워드 라인에 상기 접지 전압이 인가되고 선택된 비트 라인에 상기 기입 전압이 인가되는 경우에 선택된 저항성 메모리 셀에 데이터 '0'이 기입될 수 있다. 또한, 선택된 워드 라인에 독출 전압이 인가되고 선택된 비트 라인에 상기 접지 전압이 인가되는 경우에 선택된 저항성 메모리 셀에 기입된 데이터가 독출될 수 있다.
일 실시예에서, 각 저항성 메모리 셀(RMC)은 PRAM(Phase change Random Access Memory) 셀, RRAM(Resistance Random Access Memory) 셀, MRAM(Magnetic Random Access Memory) 셀, FRAM(Ferroelectric Random Access Memory) 셀 등과 같은 임의의 저항성 메모리 셀을 포함하여 구현될 수 있다.
일 실시예에서, 저항성 소자(RE)는 전류량에 따라 결정 상태가 변화하는 상변화 물질(phase-change material)을 포함할 수 있다. 다른 실시예에서, 저항성 소자(RE)는 페로브스카이트(perovskite) 화합물들, 전이 금속 산화물(transition metal oxide), 자성체 물질(magnetic materials), 강자성(ferromagnetic) 물질들 또는 반강자성(antiferromagnetic) 물질들을 포함할 수도 있다. 그러나 저항성 소자(RE)에 포함되는 저항성 물질은 상술한 물질들에 한정되지 않는다.
도 9b를 참조하면, 도 9a의 시냅스 어레이(310a)가 도 8a 및 8b를 참조하여 상술한 연산을 수행하는 일 예를 나타내고 있다.
각 저항성 메모리 셀(RMC)은 신경망 시스템의 하나의 시냅스(synapse) 또는 연결에 대응하며, 하나의 가중치를 저장할 수 있다. 따라서, 크로스바 어레이(110a)에 저장된 M*N개의 데이터들은, 도 8a 및 8b를 참조하여 상술한 상기 하나의 레이어에 포함되는 M*N 매트릭스 형태로 구현된 가중치 매트릭스, 즉 상기의 [수학식 1]의 W에 대응할 수 있다.
복수의 워드 라인들(WL1, WL2, ..., WLN)을 통해 인가되는 N개의 입력 전압들(V1, V2, ..., VN)은 상기 하나의 레이어에서 수신되는 N개의 입력들(a1, a2, ..., aN)에 대응하며, N*1 매트릭스 형태로 구현된 입력 매트릭스, 즉 상기의 [수학식 1]의 A에 대응할 수 있다.
복수의 비트 라인들(BL1, BL2, ..., BLM)을 통해 출력되는 M개의 독출 전류들(I1, I2, ..., IM)은 상기 하나의 레이어에서 출력되는 M개의 출력들(z1, z2, ..., zM)에 대응하며, M*1 매트릭스 형태로 구현된 출력 매트릭스, 즉 상기의 [수학식 1]의 Z에 대응할 수 있다.
다시 말하면, 행렬의 형태를 가지는 복수의 가중치들을 복수의 저항성 메모리 셀들(RMC)에 저장하여 시냅스 어레이(310a)를 구현한 상태에서, 복수의 워드 라인들(WL1, WL2, ..., WLN)을 통해 복수의 입력 값들에 대응하는 입력 전압들(V1, V2, ..., VN)을 입력하면, 복수의 비트 라인들(BL1, BL2, ..., BLM)을 통해 출력되는 독출 전류들(I1, I2, ..., IM)은 신경망 시스템에서 수행하는 곱셈 및 누적 연산의 결과가 될 수 있다. 이러한 방식으로 신경망 시스템의 복수의 레이어들을 모두 구현하면, 데이터 저장 및 연산 동작을 한 번에 수행하는 뉴로모픽 컴퓨팅 칩을 구현할 수 있다.
한편, 도 3a 및 도 3b를 참조하여 시냅스 어레이(310a)가 2차원 어레이 구조로 형성되는 경우를 설명하였으나, 본 발명은 이에 한정되지 않으며, 실시예에 따라서 시냅스 어레이는 3차원 수직 어레이 구조로 형성될 수도 있다. 저항성 메모리 셀의 구조 또한 실시예에 따라서 변경될 수 있다.
도 10은 본 발명의 실시예들에 따른 도 2의 적층형 뉴로모픽 장치에포함되는 뉴로모픽 코어 다이들 중 하나를 나타내는 블록도이다.
도 10을 참조하면, 뉴로모픽 코어 다이(401)는 시냅스 어레이(410), 제1 뉴런들(441, 442, ..., 44N) 및 제2 뉴런들(451, 452, ..., 45N)을 포함할 수 있다. 제1 뉴런들(441, 442, ..., 44N) 각각은 프리-시냅틱 뉴런이라 호칭될 수 있고, 제2 뉴런들(451, 452, ..., 45N) 각각은 포스트-시냅틱 뉴런이라 호칭될 수 있다.
시냅스 어레이(410)는 복수의 시냅스(411)들을 포함하고, 시냅스(411)들은 로우 라인들(RW1, RW2, ..., RWN)을 통하여 제1 뉴런들(441, 442, ..., 44N)에 연결되고, 컬럼 라인들(CL1, CL2, ..., CLM)을 통하여 제2 뉴런들(451, 452, ..., 45N)에 연결될 수 있다.
시냅스 어레이(410)는 신경망 시스템을 구성하는 레이어들에 포함되는 가중치들을 저장하고, 가중치들과 입력 데이터에 기초하여 연산을 수행할 수 있다.
도 11은 본 발명의 실시예들에 따른 도 10의 시냅스 어레이에 포함되는 복수의 시냅스들 중 하나와 대응되는 제1 뉴런 및 대응되는 제2 뉴런의 연결 관계를 나타낸다.
도 11에서는 시냅스(411)와 로우 라인(RW2)을 통하여 연결되는 제1 뉴런(442) 및 시냅스(411)와 컬럼 라인(CL2)을 통하여 연결되는 제2 뉴런(452)을 나타낸다.
도 11을 참조하면, 시냅스(411)는 로우 라인(RW2)을 통하여 제1 뉴런(442)과 연결되고 컬럼 라인(CL2)을 통하여 제2 뉴런(452)과 연결된다.
시냅스(411)는 저항값이 가변되는 멤리스터(memristor)(413)와 멤리스터(413)에 연결되고 적어도 두 개의 입력 신호들이 인가되는 트랜지스터 (415)를 포함할 수 있다. 멤리스터(413)는 트랜지스터(415)에 인가되는 적어도 두 개의 입력 신호들이 입력되는 시간 차이에 의존하여 저항값이 가변될 수 있다.
멤리스터(413)는 입력 신호들이 입력되는 시간 차이로 인한 전압의 변화에 따라 저항값이 가변될 수 있다. 예를 들어, 멤리스터(413)의 저항값은 제1 입력 신호와 제2 입력 신호 간의 시간 차이로 인한 전압의 변화에 따라 가변될 수 있다. 제1 입력 신호는 트랜지스터의 게이트 단자에 인가되는 신호일 수 있다. 그리고, 제2 입력 신호는 트랜지스터(415)의 소스 단자에 인가되는 멤브레인 전압(membrane voltage)에 기초한 신호일 수 있다. 제1 입력 신호는 제1 뉴런(442)으로부터 전달되고, 제2 입력 신호는 제2 뉴런(452)로부터 전달될 수 있다.
멤리스터(413)에 흐르는 전류의 방향은 제1 입력 신호와 제2 입력 신호가 입력되는 시간 차이에 의존할 수 있다. 예를 들어, 제1 입력 신호가 제2 입력 신호에 비해 먼저 트랜지스터(415)에 입력되는 경우, 전류는 트랜지스터(415)에서 멤리스터(416)로 흐를 수 있다. 반면에, 제1 입력 신호가 제2 입력 신호보다 나중에 트랜지스터(415)에 입력되는 경우, 전류는 이전과는 반대로 멤리스터(413)에서 트랜지스터(415)의 방향으로 흐를 수 있다.
멤리스터(413)에 흐르는 전류의 방향과 전류량은 제1 입력 신호와 제2 입력 신호가 입력되는 시간 차이로 인한 전압 차이에 의존할 수 있다. 예를 들어, 제1 입력 신호와 제2 입력 신호가 서로 시간적으로 발생한 시간차가 커 서로 영향을 미치기 어려운 경우에는, 제 1 입력 신호가 들어오는 동안에 트랜지스터(415)는 온(ON)이 되고 Vref > Vrest 이기 때문에 멤리스터(413)에서 트랜지스터(415) 쪽으로 전류가 흐르게 된다. 이 때, 멤리스터(413) 양단의 전압차(Vref - Vrest)는 멤리스터(413)의 특성을 바꿀 문턱 전압(threshold voltage)보다는 작으므로 멤리스터(413)는 HRS(High Resistance State)에 있게 되고, 멤리스터(113)에는 '0'에 가까운 적은 량의 전류만이 흐르게 된다.
제1 입력 신호와 제2 입력 신호가 입력되는 시간의 차이가 서로 영향을 미칠 범위에 있을 만큼 작고, 제1 입력 신호가 제2 입력 신호에 비해 약간 먼저 들어오는 경우, 제 1 입력 신호가 들어오는 동안에 트랜지스터(415)는 온(ON)이 되고 트랜지스터(415) 소스쪽의 전압(Vb)는 Vb > Vref 가 되어 트랜지스터(415) 쪽에서 멤리스터(413) 쪽으로 전류가 흐르게 된다. 이 때, 멤리스터(413) 양단의 전압차(Vb - Vref)가 멤리스터(413)의 특성을 바꿀 문턱 전압보다 크게 되면, 멤리스터(413)는 LRS(Low Resistance State)에 있을 수 있게 된다. 멤리스터(413)가 LRS(Low Resistance State)에 있는 경우, 멤리스터(413)에는 많은 량의 전류가 흐르게 되고, 그렇지 않은 경우 멤리스터(413)는 계속해서 HRS(High Resistance State) 상태로 남게 된다.
제1 입력 신호와 제2 입력 신호가 입력되는 시간의 차이가 서로 영향을 미칠 범위에 있을 만큼 작고, 제1 입력 신호가 제2 입력 신호에 비해 비슷하거나 약간 뒤에 들어오는 경우, 제 1 입력 신호가 들어오는 동안에 트랜지스터(415)는 온(ON)이 되고, 트랜지스터(415) 소스쪽의 전압(Vb)는 Vb < Vref 가 된다. 이때, 전류는 멤리스터(413) 쪽에서 트랜지스터(415) 쪽으로 흐르게 된다. 멤리스터(413) 양단의 전압차(Vref - Vb)가 멤리스터(413)의 특성을 바꿀 문턱 전압보다 크게 되면 멤리스터(413)는 다시 HRS(High Resistance State)에 있을 수 있다. 멤리스터(413)에는 적은 량의 전류가 흐르게 되고, 그렇지 않은 경우 멤리스터(413)는 계속해서 LRS(Low Resistance State) 상태로 남게 된다.
제1 입력 신호가 제2 입력 신호에 비해 많이 뒤에 들어오는 경우, 시간적으로 발생한 시간차가 커서 서로 영향을 미치기 어려운 경우가 되고 Vref > Vrest 이기 때문에 전류는 멤리스터(413)에서 트랜지스터(415) 쪽으로 흐르게 된다. 이 때, 멤리스터 양단의 전압차(Vref - Vrest)는 멤리스터의 특성을 바꿀 문턱 전압보다는 작으므로 멤리스터(413)는 HRS(High Resistance State)에 있게 된다.
멤리스터(413)의 제1 단은 트랜지스터(415)의 드레인(drain) 단자에 연결되고, 제2 단은 기준 전압(Vref)을 인가하는 전압 소스에 연결될 수 있다. 멤리스터(413)의 채널은 트랜지스터(415)의 채널과 서로 직렬로 연결될 수 있다. 멤리스터(413)와 트랜지스터(415)의 소스 단자에는 서로 다른 전압이 인가될 수 있으며, 멤리스터(413)에 연결되는 트랜지스터(415)는 엔모스 트랜지스터일 수 있다.
시냅스(411)는 트랜지스터(415)의 게이트 단자에 연결되어 제1 입력 신호를 제공하는 제1 단자 및 트랜지스터(415)의 소스 단자에 연결되어 제2 입력 신호를 제공하는 제2 단자를 더 포함할 수 있다. 시냅스(411)는 제1 단자를 통해 제1 뉴런(442)와 연결되고, 제2 단자를 통해 제2 뉴런(452)와 연결될 수 있다. 이 때, 제1 전압(Va)은 제1 단자를 통해 제1 뉴런(442)으로부터 제공되고, 제2 전압(Vb)은 제2 단자를 통해 제2 뉴런(452)으로부터 제공될 수 있다.
제1 뉴런(442) 및 제2 뉴런(452)은 각각 스파이크 혹은 펄스를 발화(firing)시키는 I & F(Integrate & Firing) 스파이킹 뉴런(442a, 452a)을 포함할 수 있다. 제1 뉴런(442) 및 제2 뉴런(452)은 시냅스(411)를 통해 수신하는 전류량이 기 설정된 임계값을 초과하면 스파이크 혹은 펄스를 발화할 수 있다.
제2 뉴런(452)은 휴지 전압(Vrest)을 기준으로 발화(firing)하는 스파이크(spike)를 생성할 수 있다. 제2 뉴런(452)은 또한 커패시터(452b)를 더 포함할 수 있다.
도 11의 구조는 STDP(Spike-Timing-Dependent Plasticity) 동작을 구현할 수 있다.
도 12는 도 11의 시냅스에 포함된 멤리스터의 동작 특성을 나타낸 그래프이다.
도 12를 참조하면, 멤리스터의 동작 특성을 살펴볼 수 있다. 멤리스터는 얼마나 많은 양의 전류가 통과했는지를 기억할 수 있는 수동 소자로서, 전하의 양을 기억하고 기억된 전하량에 따라 저항이 변화할 수 있다. 다시 말해, 멤리스터는 전류의 흐름과 전류량에 따라 저항값이 가변될 수 있다.
도 12의 그래프에서 멤리스터에 공급되는 전압이 ±0.8V에 다다르지 않은 경우에 전류가 거의 흐르지 않는다는 것을 볼 수 있다. 하지만, 공급되는 전압이 ±0.8V를 넘어서면, 멤리스터에는 급격하게 다량의 전류가 흐르는 것을 볼 수 있다. 이때, 전류량이 급격하게 변화하는 지점의 전압을 멤리스터의 문턱 전압으로 볼수 있으며, 도 12에서는 ±0.8V에 해당할 수 있다.
멤리스터에 공급되는 전압이 문턱값에 다다르지 않아 전류가 거의 흐르지 않는 상태를 고저항 상태(High Resistance State; HRS)라고 할 수 있다. 그리고, 멤리스터에 공급되는 전압이 문턱값을 넘어서 전류가 급격하게 흐르는 상태를 저저항 상태(Low Resistance State; LRS)라고 할 수 있다.
도 13 및 도 14는 도 12의 제1 뉴런과 제2 뉴런 사이에 흐르는 전류량의 특성 및 일반적인 STDP 동작에서의 스파이크 발생 시간차와 시냅틱 가중치의 변화량과의 관계를 나타낸다.
포스트-시냅틱 스파이크와 프리-시냅틱 펄스 간의 발생 시간과 그 때 흐르는 전류량에 대한 특성을 살펴보면 도 13과 같으며, STDP 동작에서 펄스(pulse)의 발생 시간차와 시냅틱 가중치 변화량과의 관계는 도 14와 매우 유사한 특성을 가짐을 알 수 있다.
상술한 시냅스에서 발화한 스파이크를 전자적 파형으로 모델링할 경우, 시냅틱 가중치 변화량은 제1 뉴런(442)에서 발화한 펄스(이하, '프리-시냅틱 펄스')에 대한 파형과 제2 뉴런(452)에서 발화한 스파이크(이하, '포스트-시냅틱 스파이크')에 대한 파형의 차(subtraction)로 나타낼 수 있다.
도 15는 본 발명의 실시예들에 따른 도 2의 적층형 뉴로모픽 장치에 포함되는 뉴로모픽 코어 다이들 중 하나를 나타내는 블록도이다.
도 15를 참조하면, 뉴로모픽 코어 다이(501)는 시냅스 어레이(510), 제1 뉴런들(541, 542, ..., 54N) 및 제2 뉴런들(551, 552, ..., 55N)을 포함할 수 있다. 제1 뉴런들(541, 542, ..., 54N) 각각은 프리-시냅틱 뉴런이라 호칭될 수 있고, 제2 뉴런들(551, 552, ..., 55N) 각각은 포스트-시냅틱 뉴런이라 호칭될 수 있다.
시냅스 어레이(510)는 복수의 시냅스(511)들을 포함하고, 시냅스(511)들은 로우 라인들(RW1, RW2, ..., RWN)을 통하여 제1 뉴런들(541, 542, ..., 54N)에 연결되고, 컬럼 라인들(CL1, CL2, ..., CLM)과 선택 라인들(SL1, SL2, ..., SLM)을 통하여 제2 뉴런들(551, 552, ..., 55N)에 연결될 수 있다.
시냅스 어레이(510)는 신경망 시스템을 구성하는 레이어들에 포함되는 가중치들을 저장하고, 가중치들과 입력 데이터에 기초하여 연산을 수행할 수 있다.
도 16은 본 발명의 실시예들에 따른 도 15의 시냅스 어레이에 포함되는 복수의 시냅스들 중 하나를 나타낸다.
도 16에서는 시냅스(511)와 로우 라인(RW2)을 통하여 연결되는 제1 뉴런(542) 및 시냅스(511)와 컬럼 라인(CL2) 및 선택 라인(SL2)을 통하여 연결되는 제2 뉴런(552)을 나타낸다.
도 16을 참조하면, 시냅스(511)는 직렬로 연결된 스위칭 소자(513) 및 멤리스터(515)를 포함할 수 있다. 스위칭 소자(513)는 모스 트랜지스터 같은 3극 셀렉터 또는 다이오드같은 2극 셀렉터(2-terminals selector)를 포함할 수 있다. 스위칭 소자(513)는 스위칭 트랜지스터라 호칭될 수 있다. 스위칭 트랜지스터(513)의 게이트 전극은 선택 라인(SL2)을 통하여 제2 뉴런(552)과 전기적으로 연결될 수 있고, 스위칭 트랜지스터(513)의 드레인 전극은 로우 라인(RW2)을 통하여 제1 뉴런(642)과 전기적으로 연결될 수 있고, 스위칭 트랜지스터(513)의 소스 전극은 멤리스터(515)의 제1 단자와 연결될 수 있다. 멤리스터(515)의 제2 단자는 컬럼 라인(CL2)을 통하여 제2 뉴런(552)과 전기적으로 연결될 수 있다.
도 15 및 도 16을 참조하면, 로우 신호가 로우 라인(RW2)을 통하여 제1 뉴런(542)으로부터 시냅스(511)로 제공될 수 있다. 시냅스(511)의 트랜지스터(513)가 턴-온되면 로우 신호는 멤리스터(515)로 제공된다. 로우 신호는 여러 가지 모드에서 멤리스터(515)를 학습시켜 멤리스터(515)의 저항 상태를 조절할 수 있다. 또는, 로우 신호는 독출 모드에서 멤리스터(515)의 저항 상태에 따른 전류 값으로 변환될 수 있다. 즉, 멤리스터(515)는 로우 신호에 의해 저항 상태가 변하거나, 또는 로우 신호에 의해 멤리스터(515)의 저항 상태에 따른 전류 값을 컬럼 라인(CL2)으로 출력할 수 있다. 즉, 시냅스 가중치가 컬럼 라인(CL2)으로 출력될 수 있다.
도 17은 본 발명의 실시예들에 따른 도 15에서 제2 뉴런을 나타낸다.
도 17을 참조하면, 제2 뉴런(552)은 직렬로 연결된 적산기(561)(summation circuit), 가변 저항 소자(562) 및 비교기(563)를 포함할 수 있다.
시냅스(511)의 출력, 즉 컬럼 라인(CL2)이 적산기(561)의 입력 단자와 연결될 수 있고, 적산기(561)의 출력 단자가 제1 노드(N1)를 거쳐 가변 저항 소자(562)의 제1 전극과 연결될 수 있고, 가변 저항 소자(562)의 제2 전극이 제2 노드(N2)를 거쳐 비교기(563)의 입력 단자와 연결될 수 있다. W제2 뉴런(552)은 비교기(563)의 출력 단자와 가변 저항 소자(562)를 전기적으로 연결하는 제1 피드-백 라인(571) 및 비교기(563)의 출력 단자와 시냅스(511)를 전기적으로 연결하는 제2 피드-백 라인(572)을 더 포함할 수 있다. 제1 피드-백 라인(571)은 제2 노드(N2)와 전기적으로 연결될 수 있고, 및 제2 피드-백 라인(572)은 선택 라인(SL2)과 연결될 수 있다. 또는, 제2 피드-백 라인(572)은 선택 라인(SL2)의 일부일 수 있다.
적산기(561)는 동일한 컬럼 라인(CL2) 상의 다수의 시냅스들(511)의 시냅스 가중치들을 합(sum)하여 가변 저항 소자(562)로 제공할 수 있다.
가변 저항 소자(561)의 저항 값 또는 전도도는 적산기(561)의 출력 및/또는 비교기(563)의 출력에 의해 변할 수있다. 예를 들어, 가변 저항 소자(562)의 저항 값은 적산기(561)의 출력에 의해 감소할 수 있고(set 동작), 비교기(563)의 출력에 의해 증가할 수 있다(reset 동작). 예를 들어, 적산기(561)에 의해 적산된 시냅스 전류가 낮다면 가변 저항 소자(562)는 높은 저항 레벨을 유지할 수 있다. 따라서, 낮은 레벨의 전류 및 낮은 레벨의 시냅스 가중치가 비교기(563)로 제공될 수 있다. 반대로, 적산기(561)에 의해 적산된 시냅스 전류가 높다면 가변저항 소자(562)는 낮은 저항 레벨을 유지할 수 있다. 따라서, 높은 레벨의 전류 및 높은 레벨의 시냅스 가중치가 비교기(563)로 제공될 수 있다.
비교기(563)는 가변 저항 소자(562)의 출력이 기준 전압보다 높을 경우 전기적 신호를 출력할 수 있다. 즉, 발화(fire)될 수 있다. 발화된 비교기(563)는 출력 신호(Sout)를 출력할 수 있다. 출력 신호(Sout)의 일부들은 제1 피드-백 신호(Sb1) 및 제2 피드-백 신호(Sb2)로 분기될 수 있다.
비교기(563)의 출력 신호(Sout)로부터 분기된 제1 피드-백 신호(Sb1)는 가변 저항 소자(562)로 제공되어 가변 저항 소자(562)를 초기화시킬 수 있다. 비교기(563)의 출력 단자는 제2 피드-백 라인(572) 및/또는 선택 라인(SL2)을 통하여 시냅스(511)의 스위칭 트랜지스터(513)의 게이트 전극과 전기적으로 연결될 수 있다. 즉, 비교기(563)의 출력 신호(Sout)로부터 분기된 제2 피드-백 신호(Sb2)는 스위칭 트랜지스터(513)의 게이트 전극으로 제공될 수 있다. 따라서, 제2 피드-백 신호(Sb2)는 스위칭 트랜지스터(513)의 게이트 전극으로 제공되어 멤리스터(515)를 셋/리셋시킬 수 있다. 예를 들어, 제2 피드-백 신호(Sb2)는 시냅스(511)의 가중치를 변화시키는 STDP(spike-timing-dependent-plasticity) 동작을 위한 전기 신호로 이용될 수 있다.
도 18은 본 발명의 실시예들에 따른 도 15의 시냅스 어레이에 포함되는 복수의 시냅스들 중 하나를 나타낸다.
도 18을 참조하면, 시냅스(511a)는 트랜지스터(516) 및 상변화 소자(518)을 포함할 수 있다. 트랜지스터(516)의 드레인 단자는 접지 전압(GND)에 연결되고, 게이트 단자는 로우 라인(RW2)에 연결되고 소스 단자는 상변화 소자(518)에 연결된다. 상변화 소자(518)의 제1 단자는 트랜지스터(516)의 드레인 단자에 연결되고 제2 단자는 컬럼 라인(CL2)에 연결된다. 상변화 소자(518)는 저항값의 변화에 의하여 가중치를 저장할 수 있다.
도 18의 시냅스(511a)가 도 15의 시냅스 어레이(510)에 포함되는 경우, 시냅스 어레이(510)는 가중치들과 입력 데이터에 대한 곱셈 연산을 수행할 수 있다.
도 19는 본 발명의 실시예들에 따른 적층형 뉴로모픽 장치에서 액세스 동작시 데이터 전송 경로를 나타내고, 도 20a 및 20b는 도 19의 데이터 전송 경로를 구현하는 실시예를 나타내는 도면들이다.
도 19의 적층형 뉴로모픽 장치를 참조하면, 제1 내지 제4 뉴로모픽 코어 다이들(300a, 300b, 300c, 300d)에 각각 상응하는 제1 내지 제4 TSV들(TSV1~TSV4)를 통하여 로직 다이(200)와 제1 내지 제4 뉴로모픽 코어 다이들(300a, 300b, 300c, 300d) 사이에 데이터 교신이 수행될 수 있다.
즉, 독출 및 기입 동작시에는, 제1 TSV(TSV1)를 통하여 로직 다이(200)와 제1 뉴로모픽 코어 다이(300a) 사이에 데이터가 전송되고, 제2 TSV(TSV2)를 통하여 로직 다이(200)와 제2 뉴로모픽 코어 다이(300b) 사이에 데이터가 전송되고, 제3 TSV(TSV3)를 통하여 로직 다이(200)와 제3 뉴로모픽 코어 다이(300c) 사이에 데이터가 전송되고, 제4 TSV(TSV4)를 통하여 로직 다이(200)와 제4 뉴로모픽 코어 다이(300d) 사이에 데이터가 전송될 수 있다.
제1 내지 제4 TSV들(TSV1~TSV4)의 각각은 복수의 TSV 경로들을 포함하며, 각 TSV 경로는 적층된 뉴로모픽 코어 다이들에 형성된 실리콘 관통 전극들을 연결하여 수직으로 길게 연장될 수 있다.
도 20a 및 20b를 참조하면, 로직 다이(200)와 뉴로모픽 코어 다이들(300a, 300b, 300c, 300d)에는 상응하는 TSV들(TSV1~TSV4)을 통하여 양방향 통신을 수행하는 송신회로들(TX) 및 수신 회로들(RX)을 포함할 수 있다. 제1 내지 제4 뉴로모픽 코어 다이들(300a, 300b, 300c, 300d)의 각각에 제1 내지 제4 TSV들(TSV1~TSV4)의 상응하는 송신회로들(TX) 및 수신 회로들(RX)을 모두 구비하고 이들을 선택적으로 인에이블 할 수 있다.
도 20a는 가중치를 저장하는 동작에 상응하는 데이터 전송 경로를 나타내고 도 20b는 연산 결과를 전송하는 동작에 데이터 전송 경로를 나타낸다.
도 20a를 참조하면, 가중치를 저장하는 동작시에는 로직 다이(200)의 송신 회로(TX)와 뉴로모픽 코어 다이들(300a, 300b, 300c, 300d)의 각 수신 회로(RX)가 인에이블되어 TSV들(TSV1~TSV4)의 각각을 통하여 로직 다이(200)로부터 뉴로모픽 코어 다이들(300a, 300b, 300c, 300d)로 가중치(WDT)가 전송될 수 있다.
로직 다이(200)의 제1 송신 회로(TX1)와 제1 뉴로모픽 코어 다이(300a)의 제1 수신 회로(RX11)가 인에이블되어 상응하는 제1 TSV(TSV1)를 통하여 가중치(WDT1)가 전송된다. 로직 다이(200)의 제2 송신 회로(TX2)와 제2 뉴로모픽 코어 다이(300b)의 제2 수신 회로(RX22)가 인에이블되어 상응하는 제2 TSV(TSV2)를 통하여 가중치(WDT2)가 전송된다. 로직 다이(200)의 제3 송신 회로(TX3)와 제3 뉴로모픽 코어 다이(300c)의 제3 수신 회로(RX33)가 인에이블되어 상응하는 제3 TSV(TSV3)를 통하여 가중치(WDT3)가 전송된다. 로직 다이(200)의 제4 송신 회로(TX4)와 제4 뉴로모픽 코어 다이(300d)의 제4 수신 회로(RX44)가 인에이블되어 상응하는 제4 TSV(TSV4)를 통하여 가중치(WDT4)가 전송된다.
도 20b를 참조하면, 연산 결과 전송 동작시에는 뉴로모픽 코어 다이들(300a, 300b, 300c, 300d)의 각 송신 회로(TX)와 로직 다이(200)의 수신 회로(RX)가 인에이블되어 TSV들(TSV1~TSV4)의 각각을 통하여 뉴로모픽 코어 다이들(300a, 300b, 300c, 300d)로부터 로직 다이(200)로 연산 결과에 해당하는 데이터가 전송될 수 있다.
제1 뉴로모픽 코어 다이(300a)의 제1 송신 회로(TX11)와 로직 다이(200)의 제1 수신 회로(RX1)가 인에이블되어 상응하는 제1 TSV(TSV1)를 통하여 데이터(RD1)가 전송된다. 제2 뉴로모픽 코어 다이(300b)의 제2 송신 회로(TX22)와 로직 다이(200)의 제2 수신 회로(RX2)가 인에이블되어 상응하는 제2 TSV(TSV2)를 통하여 데이터(RD2)가 전송된다. 제3 뉴로모픽 코어 다이(300c)의 제3 송신 회로(TX33)와 로직 다이(200)의 제3 수신 회로(RX3)가 인에이블되어 상응하는 제3 TSV(TSV3)를 통하여 데이터(RD3)가 전송된다. 제4 뉴로모픽 코어 다이(300d)의 제4 송신 회로(TX44)와 로직 다이(200)의 제4 수신 회로(RX4)가 인에이블되어 상응하는 제4 TSV(TSV4)를 통하여 데이터(RD4)가 전송된다.
실시예에 있어서, 도 4의 제어 회로(201a)의 레이어 컨트롤러(240)는 뉴로모픽 코어 다이들(300a, 300b, 300c, 300d) 사이의 데이터 전송을 제어할 수 있다. 예를 들어, 레이어 컨트롤러(240)는 제1 뉴로모픽 코어 다이(300a)에서 출력되는 데이터가 제2 뉴로모픽 코어 다이(300b)로 제공되도록 제어할 수 있다.
도 21은 본 발명의 실시예들에 따른 적층형 뉴로모픽 장치의 동작 방법을 나타내는 흐름도이다.
도 2 내지 도 21을 참조하면, 로직 다이(200) 및 로직 다이(200) 상에 적층되는 복수의 뉴로모픽 코어 다이들(300)을 구비하는 적층형 뉴로모픽 장치(90)의 동작 방법에서는 뉴로모픽 코어 다이들(300)을 관통하는 실리콘 관통 비아(TSV)들을 통하여 가중치들을 뉴로모픽 코어 다이들(300) 중 하나 이상의 뉴로 모픽 코어 다이들의 시냅스 어레이에 저장한다(S610). 하나 이상의 뉴로 모픽 코어 다이들의 시냅스 어레이에서 입력 데이터와 가중치들을 기초로 연산을 수행한다(S630). 하나 이상의 뉴로 모픽 코어 다이들에서 실리콘 관통 비아(TSV)들을 통하여 연산의 결과를 로직 다이(200)에 제공한다(S650).
도 22는 본 발명의 실시예들에 따른 뉴로모픽 컴퓨팅 시스템을 나타내는 블록도이다.
도 22를 참조하면, 뉴로모픽 컴퓨팅 시스템(700)은 호스트(715) 및 적어도 하나의 적층형 뉴로모픽 장치(720)를 포함할 수 있다.
호스트(715)는 중앙처리장치(Central Processing Unit: CPU), 그래픽처리장치(Graphics Processing Unit: GPU), 주문형 집적 회로(Application Specific Integrated Circuit: ASIC) 및 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array: FPGA) 중 적어도 하나를 포함할 수 있다. 적어도 하나의 적층형 뉴로모픽 장치(720)는 로직 다이(705) 및 로직 다이(705) 상에 적층되는 복수의 뉴로모픽 코어 다이들(710)을 포함할 수 있다. 뉴로모픽 컴퓨팅 시스템(700)은 PCI-E 호환 보드일 수 있다.
도 23은 도 22의 V-V’선에 따른 뉴로모픽 컴퓨팅 시스템의 단면도이다.
도 23을 참조하면, 로직 다이(705) 상에 뉴로모픽 코어 다이들(710)이 적층되어 적층형 뉴로모픽 장치(720)를 형성한다.
복수의 적층형 뉴로모픽 장치들(720)이 뉴로모픽 컴퓨팅 시스템(700)에 포함될 수 있다. 호스트(715)는 각각의 로직 다이(705)와 통신할 수 있다. 호스트(715) 및 로직 다이(705)들은 인터포저(Interposer, 805) 상부에 배치되어 인터포저(805)와 연결될 수 있다. 인터포저(805)는 패키지 기판(810) 상부에 배치되어 패키지 기판(810)과 연결될 수 있다.
적층형 뉴로모픽 장치들(720) 각각은 도 3의 적층형 뉴로모픽 장치(90a)를 채용할 수 있다. 따라서, 적층형 뉴로모픽 장치들(720) 각각은 호스트(715)로부터 리퀘스트, 가중치들 및 입력 데이터(IDTA)를 수신하고, 가중치들(WDT)을 저장하고, 최종 데이터를 호스트(50)에 제공할 수 있다. 뉴로모픽 코어 다이들(710) 각각은 신경망(neural network) 시스템을 구성하는 복수의 레이어들에 포함되는 가중치들을 저장하고 상기 가중치들과 입력 데이터에 기초하여 연산을 수행하는 복수의 시냅스들을 포함하는 시냅스 어레이를 포함할 수 있다.
뉴로모픽 컴퓨팅 시스템(700)에 있어서, 로직 다이(705)는 기본적인 입/출력(I/O) 연산을 수행할 수 있어, 지연시간을 감소시키고 메모리 트래픽을 개선할 수 있다. 기계 학습 알고리즘은 훈련 및 예측을 위해 매우 큰 대역폭을 필요로 하기 때문에 이러한 아키텍처의 이점을 누린다. 프로세서 인접 메모리는 로직 다이(705)를 통해 호스트(715)를 지원한다. 로직 다이(705)는 특화된 논리 함수를 실행하며, 특화된 논리 함수는 특별히 높은 대역폭을 요구하는 기계 학습 애플리케이션에 특화된 함수일 수 있다. 결론적으로, 시스템 성능은 향상되고 에너지 소비는 감소된다.
본 발명은 인공 지능을 사용하는 다양한 장치에 적용되어 데이터 처리 효율을 증가시킬 수 있다.
상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 외부의 호스트와 통신하는 로직 다이;
    상기 로직 다이 상에 적층되는 복수의 코어 다이들; 및
    상기 코어 다이들을 관통하는 복수의 관통 실리콘 비아(through silicon via)들을 포함하고,
    상기 코어 다이들 중 하나 이상은 뉴로모픽 코어 다이들이고,
    상기 뉴로모픽 코어 다이들 각각은 복수의 로우 라인들 및 복수의 칼럼 라인들에 연결되며, 신경망(neural network) 시스템을 구성하는 복수의 레이어들에 포함되는 가중치들을 저장하고 상기 가중치들과 입력 데이터에 기초하여 연산을 수행하는 복수의 시냅스들을 포함하는 시냅스 어레이를 포함하고,
    상기 로직 다이는 상기 관통 실리콘 비아들을 통하여 상기 뉴로모픽 코어 다이들에 상기 가중치들을 제공하고, 상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어하는 제어 회로를 포함하는 적층형 뉴로모픽 장치.
  2. 제1항에 있어서,
    상기 복수의 시냅스들은 상기 가중치들과 상기 입력 데이터에 대한 곱셈 연산과 상기 곱셈 연산의 결과를 누적하는 누적 연산을 수행하고,
    상기 뉴로모픽 코어 다이들 각각은 상기 시냅스 어레이에 연결되어, 상기 누적 연산의 결과를 상기 관통 실리콘 비아들을 통하여 상기 제어 회로에 제공하는 데이터 처리기를 포함하고,
    상기 제어 회로는
    상기 외부 호스트와 통신하는 입출력 인터페이스; 및
    상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어하는 레이어 컨트롤러를 포함하는 적층형 뉴로모픽 장치.
  3. 제1항에 있어서,
    상기 복수의 시냅스들은 상기 가중치들과 상기 입력 데이터에 대한 곱셈 연산을 수행하고,
    상기 뉴로모픽 코어 다이들 각각은 상기 시냅스 어레이에 연결되어, 상기 곱셈 연산의 결과를 상기 관통 실리콘 비아들을 통하여 상기 제어 회로에 제공하는 데이터 처리기를 포함하고,
    상기 제어 회로는
    상기 곱셈 연산의 결과를 누적하는 누적기;
    상기 외부 호스트와 통신하는 입출력 인터페이스; 및
    상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어하는 레이어 컨트롤러를 포함하는 적층형 뉴로모픽 장치.
  4. 제1항에 있어서, 상기 시냅스들 각각은 저항성 소자를 포함하고, 상기 시냅스들은 입력 데이터 및 상기 가중치들에 기초하여 상기 신경망 시스템에 의해 수행되는 곱셈 및 누적 연산의 결과를 나타내는 복수의 독출 전류들을 발생하고,
    상기 뉴로모픽 코어 다이들 각각은
    상기 복수의 독출 전류들을 복수의 신호 전압들로 변환하는 복수의 전류-전압 컨버터들;
    상기 복수의 신호 전압들을 복수의 디지털 신호들로 변환하는 복수의 아날로그-디지털 컨버터들;
    상기 복수의 디지털 신호들을 합산하는 복수의 가산기들; 및
    상기 복수의 가산기들의 출력에 기초하여 최종 출력 데이터를 발생하는 복수의 쉬프트 레지스터들을 포함하는 적층형 뉴로모픽 장치.
  5. 제1항에 있어서, 상기 시냅스 어레이는
    상기 로우 라인들을 통하여 상기 시냅스들에 연결되는 제1 뉴런들; 및
    상기 칼럼 라인들을 통하여 상기 시냅스들에 연결되는 제2 뉴런들을 더 포함하고,
    상기 시냅스들 각각은
    저항값이 가변되는 멤리스터; 및
    상기 멤리스터에 연결되고, 적어도 두 개의 입력 신호들의 인가되는 트랜지스터를 포함하고,
    상기 멤리스터의 저항값은 상기 트랜지스터에 인가되는 상기 적어도 두 개의 입력 신호들의 시간 차이에 기초하여 가변되고,
    상기 멤리스터의 저항값은 상기 적어도 두 개의 입력 신호들의 시간 차이로 인한 전압의 변화에 기초하여 가변되고,
    상기 멤리스터의 저항값은 상기 트랜지스터의 게이트 단자에 인가되는 제1 입력 신호와 상기 트랜지스터의 소스 단자에 인가되는 멤브레인 전압(membrane voltage)에 기초하여 제2 입력 신호 사이의 시간 차이로 인한 전압에 변화에 의존하여 가변되고,
    상기 멤리스터에 흐르는 전류의 방향과 전류의 양은 상기 제1 입력 신호와 상기 2 입력 신호가 입력되는 시간 차이로 인한 전압 차이에 의존하고,
    상기 제2 뉴런들 각각은 휴지 전압을 기준으로 발화(firing)하는 스파이크(spike)를 생성하는 적층형 뉴로모픽 장치.
  6. 제1항에 있어서, 상기 시냅스 어레이는
    상기 로우 라인들을 통하여 상기 시냅스들에 연결되는 제1 뉴런들; 및
    상기 칼럼 라인들을 통하여 상기 시냅스들에 연결되는 제2 뉴런들을 더 포함하고,
    상기 시냅스들 각각은 직렬로 연결된 스위칭 소자 및 멤리스터를 포함하고,
    상기 제2 뉴런들 각각은 직렬로 연결된 누산기, 가변 저항 소자 및 비교기를 포함하고,
    상기 제2 뉴런들 각각은
    상기 비교기의 출력 단자와 상기 가변 저항 소자를 전기적으로 연결하는 제1 피드백 라인; 및
    상기 비교기의 출력 단자와 상기 스위칭 소자를 전기적으로 연결하는 제2 피드백 라인을 더 포함하고,
    상기 제2 뉴런들 각각은 상기 비교기의 출력 신호의 제1 일부를 상기 제1 피드백 라인을 통하여 상기 가변 저항 소자로 제공하고, 상기 비교기의 출력 신호의 제2 일부를 상기 제2 피드백 라인을 통하여 상기 스위칭 소자로 제공하는 적층형 뉴로모픽 장치.
  7. 제1항에 있어서, 상기 시냅스 어레이는
    상기 로우 라인들을 통하여 상기 시냅스들에 연결되는 제1 뉴런들; 및
    상기 칼럼 라인들을 통하여 상기 시냅스들에 연결되는 제2 뉴런들을 더 포함하고,
    상기 시냅스들 각각은 직렬로 연결된 트랜지스터 및 상변화 소자를 포함하고,
    상기 트랜지스터는 접지 전압에 연결되는 소스 단자, 상기 로우 라인들 중 하나에 연결되는 게이트 단자를 포함하고,
    상기 상변화 소자는 상기 트랜지스터의 소스 단자에 연결되는 제1 단자 및 상기 칼럼 라인들 중 하나에 연결되는 제2 단자를 포함하는 적층형 뉴로모픽 장치.
  8. 제1항에 있어서,
    상기 코어 다이들 중 적어도 일부는 상기 뉴로모픽 다이들의 연산 결과들을 저장하는 메모리 코어 다이이고,
    상기 메모리 코어 다이는 휘발성 메모리 셀들 및 비휘발성 메모리 셀들 중 하나를 포함하는 적층형 뉴로모픽 장치.
  9. 중앙처리장치(Central Processing Unit: CPU), 그래픽처리장치(Graphics Processing Unit: GPU), 주문형 집적 회로(Application Specific Integrated Circuit: ASIC) 및 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array: FPGA) 중 적어도 하나를 포함하는 호스트; 및
    상기 호스트와 통신하는 적어도 하나의 적층형 뉴로모픽 장치를 포함하고,
    상기 적어도 하나의 적층형 뉴로모픽 장치는
    상기 호스트와 통신하는 로직 다이; 및
    상기 로직 다이 상에 적층되는 복수의 뉴로모픽 코어 다이들; 및
    상기 뉴로모픽 코어 다이들을 관통하는 복수의 관통 실리콘 비아(through silicon via)들을 포함하고,
    상기 뉴로모픽 코어 다이들 각각은 복수의 로우 라인들 및 복수의 칼럼 라인들에 연결되며, 신경망(neural network) 시스템을 구성하는 복수의 레이어들에 포함되는 가중치들을 저장하고 상기 가중치들과 입력 데이터에 기초하여 연산을 수행하는 복수의 시냅스들을 포함하는 시냅스 어레이를 포함하고,
    상기 로직 다이는 상기 관통 실리콘 비아들을 통하여 상기 뉴로모픽 코어 다이들에 상기 가중치들을 제공하고, 상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어하는 제어 회로를 포함하는 뉴로모픽 컴퓨팅 시스템.
  10. 외부의 호스트와 통신하는 로직 다이; 및
    상기 로직 다이 상에 적층되는 복수의 뉴로모픽 코어 다이들; 및
    상기 뉴로모픽 코어 다이들을 관통하는 복수의 관통 실리콘 비아(through silicon via)들을 포함하고,
    상기 뉴로모픽 코어 다이들 각각은 복수의 로우 라인들 및 복수의 칼럼 라인들에 연결되며, 신경망(neural network) 시스템을 구성하는 복수의 레이어들에 포함되는 가중치들을 저장하고 상기 가중치들과 입력 데이터에 기초하여 연산을 수행하는 복수의 시냅스들을 포함하는 시냅스 어레이를 포함하고,
    상기 로직 다이는 상기 관통 실리콘 비아들을 통하여 상기 뉴로모픽 코어 다이들에 상기 가중치들을 제공하고, 상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어하는 제어 회로를 포함하고,
    상기 뉴로모픽 코어 다이들 각각은 상기 시냅스 어레이에 연결되어, 상기 연산의 결과를 상기 관통 실리콘 비아들을 통하여 상기 제어 회로에 제공하는 데이터 처리기를 포함하고,
    상기 제어 회로는
    상기 호스트와 통신하는 입출력 인터페이스; 및
    상기 뉴로모픽 코어 다이들 사이의 데이터 전송을 제어하는 레이어 컨트롤러를 포함하는 적층형 뉴로모픽 장치.
KR1020190135613A 2019-10-29 2019-10-29 적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치 KR20210050966A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190135613A KR20210050966A (ko) 2019-10-29 2019-10-29 적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치
US16/854,942 US11531871B2 (en) 2019-10-29 2020-04-22 Stacked neuromorphic devices and neuromorphic computing systems
CN202011107915.4A CN112749795A (zh) 2019-10-29 2020-10-16 堆叠神经形态器件和神经形态计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190135613A KR20210050966A (ko) 2019-10-29 2019-10-29 적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
KR20210050966A true KR20210050966A (ko) 2021-05-10

Family

ID=75585257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190135613A KR20210050966A (ko) 2019-10-29 2019-10-29 적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치

Country Status (3)

Country Link
US (1) US11531871B2 (ko)
KR (1) KR20210050966A (ko)
CN (1) CN112749795A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102514649B1 (ko) * 2021-11-18 2023-03-29 서울대학교산학협력단 시냅스 특성 변화를 보상하는 뉴런 회로 및 뉴로모픽 장치
KR20230078024A (ko) * 2021-11-26 2023-06-02 경희대학교 산학협력단 삼항 정밀도 xor 논리 연산을 기반으로 하는 반도체 소자 및 이를 포함하는 뉴로모픽 컴퓨팅 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021133826A1 (en) * 2019-12-27 2021-07-01 Micron Technology, Inc. Neuromorphic memory device and method
US11586896B2 (en) * 2020-03-02 2023-02-21 Infineon Technologies LLC In-memory computing architecture and methods for performing MAC operations
US11397885B2 (en) * 2020-04-29 2022-07-26 Sandisk Technologies Llc Vertical mapping and computing for deep neural networks in non-volatile memory
US11715517B2 (en) 2021-08-06 2023-08-01 International Business Machines Corporation Linear phase change memory
CN113822422B (zh) * 2021-09-07 2023-08-29 北京大学 一种基于忆阻器混合集成的人工异或型树突及其实现方法
US20240112003A1 (en) * 2022-09-22 2024-04-04 Silicon Storage Technology, Inc. Output circuit for artificial neural network array
CN115799230B (zh) * 2023-02-08 2023-10-20 深圳时识科技有限公司 堆叠芯片及电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803941B2 (en) 2014-12-22 2020-10-13 Mohammad A. Mazed System on chip (SoC) based on neural processor or microprocessor
US9558779B2 (en) * 2014-12-22 2017-01-31 Mohammad A Mazed System on chip (SoC) based on phase transition and/or phase change material
US9698790B2 (en) 2015-06-26 2017-07-04 Advanced Micro Devices, Inc. Computer architecture using rapidly reconfigurable circuits and high-bandwidth memory interfaces
US10540588B2 (en) 2015-06-29 2020-01-21 Microsoft Technology Licensing, Llc Deep neural network processing on hardware accelerators with stacked memory
US10832127B2 (en) 2015-11-30 2020-11-10 Samsung Electronics Co., Ltd. Three-dimensional integration of neurosynaptic chips
US10423877B2 (en) 2016-08-15 2019-09-24 International Business Machines Corporation High memory bandwidth neuromorphic computing system
JP6736441B2 (ja) 2016-09-28 2020-08-05 ルネサスエレクトロニクス株式会社 半導体装置
US10762420B2 (en) 2017-08-03 2020-09-01 Xcelsis Corporation Self repairing neural network
US11144821B2 (en) 2017-08-30 2021-10-12 The Regents Of The University Of California Implementing a neuromorphic computing system using nanophotonic neurons

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102514649B1 (ko) * 2021-11-18 2023-03-29 서울대학교산학협력단 시냅스 특성 변화를 보상하는 뉴런 회로 및 뉴로모픽 장치
WO2023090837A1 (ko) * 2021-11-18 2023-05-25 서울대학교산학협력단 시냅스 특성 변화를 보상하는 뉴런 회로 및 뉴로모픽 장치
KR20230078024A (ko) * 2021-11-26 2023-06-02 경희대학교 산학협력단 삼항 정밀도 xor 논리 연산을 기반으로 하는 반도체 소자 및 이를 포함하는 뉴로모픽 컴퓨팅 시스템

Also Published As

Publication number Publication date
CN112749795A (zh) 2021-05-04
US20210125045A1 (en) 2021-04-29
US11531871B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
KR20210050966A (ko) 적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치
US11620505B2 (en) Neuromorphic package devices and neuromorphic computing systems
US10692570B2 (en) Neural network matrix multiplication in memory cells
KR102608248B1 (ko) 신경망 하드웨어 가속기 아키텍처 및 그 동작 방법
Yang et al. Research progress on memristor: From synapses to computing systems
EP3293681A1 (en) Spatio-temporal spiking neural networks in neuromorphic hardware systems
CN110674933A (zh) 用于提高神经网络推断准确度的流水线技术
US10366326B2 (en) Unit having an artificial neuron and a memristor
US11087204B2 (en) Resistive processing unit with multiple weight readers
US20210224643A1 (en) Max pooling processor based on 1t1r memory
CN110852429B (zh) 一种基于1t1r的卷积神经网络电路及其操作方法
KR20200025200A (ko) 전자 장치 및 전자 장치의 동작 방법
US20210319293A1 (en) Neuromorphic device and operating method of the same
KR20210000987A (ko) 아날로그-디지털 컨버터 및 이를 포함하는 뉴로모픽 컴퓨팅 장치
JP2021518008A (ja) 重み更新回路および推論回路を別個に有する抵抗型処理ユニット・アーキテクチャ
Musisi-Nkambwe et al. The viability of analog-based accelerators for neuromorphic computing: A survey
Ambrogio et al. Accelerating deep neural networks with analog memory devices
US11586899B2 (en) Neuromorphic device with oxygen scavenging gate
US20210020780A1 (en) Metal-oxide-based neuromorphic device
Abdallah et al. Neuromorphic computing principles and organization
El Arrassi et al. Energy-efficient SNN implementation using RRAM-based computation in-memory (CIM)
US20200005129A1 (en) Multi-terminal cross-point synaptic device using nanocrystal dot structures
US20220004851A1 (en) Memory-augmented spiking neural network system
US20230113627A1 (en) Electronic device and method of operating the same
US20240005162A1 (en) Error-triggered learning of multi-layer memristive spiking neural networks