JPWO2017057488A1 - 半導体装置 - Google Patents
半導体装置 Download PDFInfo
- Publication number
- JPWO2017057488A1 JPWO2017057488A1 JP2017543507A JP2017543507A JPWO2017057488A1 JP WO2017057488 A1 JPWO2017057488 A1 JP WO2017057488A1 JP 2017543507 A JP2017543507 A JP 2017543507A JP 2017543507 A JP2017543507 A JP 2017543507A JP WO2017057488 A1 JPWO2017057488 A1 JP WO2017057488A1
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- connection
- semiconductor device
- synapse
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06G—ANALOGUE COMPUTERS
- G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
- G06G7/48—Analogue computers for specific processes, systems or devices, e.g. simulators
- G06G7/60—Analogue computers for specific processes, systems or devices, e.g. simulators for living beings, e.g. their nervous systems ; for problems in the medical field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Computer Hardware Design (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Semiconductor Integrated Circuits (AREA)
Abstract
Description
ここで、「1H」とは、一人の人間の脳と同等規模であるニューロン部が1,000億個程度、シナプス結合部が100兆個程度を意味する。
1つのニューロン部に対して複数のシナプス結合との組が複数接続されるニューロンネットワークを構成する半導体装置において、
磁界結合を用いた非接触通信を行う前記シナプス結合と、
有線接続及び論理回路を含む前記ニューロン部と、
を備え、
前記シナプス結合と前記ニューロン部とが3次元に敷き詰めたコネクションアレイ配列を有し、
前記コネクションアレイ配列のグルーピング、又は、近距離、中距離、若しくは遠距離接続の有線接続の少なくとも一部を、再構成可能とする機能を有する、
ものである。
即ち、欧米と日本で現在取り組まれている、脳構造・機能を模したハードウェアは、その規模が圧倒的に小さい。
最も進んでいるIBM(登録商標)のSyNAPSE(54億トランジスタ)でも、1チップレベル:Neuron 100万個、Synapse結合2億5,600万個48チップ連結:Neuron 4,800万個、Synapse結合123億個であり、それぞれ蜂(昆虫)レベル、ラットレベル規模に留まる。
しかしながら、1H規模の実現には、50万個もの膨大なチップ数が必要になる。ここで、参考までに、スパコン「京」でも8万8,128個のチップ数で、タワーラック864台に過ぎない。つまり、これよりもさらに膨大なチップ数が必要になる。
或いは、50万倍の動作速度でチップを駆動(1MHz程と現実的)させて規模を補うことは可能ではあるが、蜂(昆虫)の脳を50万倍速く動作させても、当然、人間の知能を生じ得ない。
従って、先ずは何よりも1H(ニューロン部が1,000億個、シナプス結合部が100兆個)の規模が不可欠である。
ここで、現在主流のTSV(シリコン貫通ビア)による、半導体製造の「後工程」による3次元積層手法では、巨大になり過ぎ、歩留まりが低く、消費電力と発熱も非現実的なレベルに達する。従って、現在主流のTSV(シリコン貫通ビア)による、半導体製造の「後工程」による3次元積層手法を採用することは現実的でない。
そこで、本発明者らは、ナノメートル精度で加工可能な「前工程」段階のみで、ほぼ完結可能な新しい3次元実装技術を共同開発し実証実験中である。
ここで、この「新しい3次元実装技術」を実現するためには、近接無線通信技術「磁界結合」、半導体ウェハ極薄化技術、接着剤レスのウェハ貼合わせ技術、及びTSVを用いない給電技術を組合せることが必要である。
このような「新しい3次元実装技術」を、従来のTSVに対して、「μTCI」(Micro ThruChip Interface)と呼ぶ。
μTCIを採用することで、これまでの100μmレベルの3次元積層厚から、5μmレベルの3次元積層厚が可能になり、現在の半導体製造「前工程」で磁界結合アンテナ面積は1/100に小型化させ、チップ体積は1/1000以下に極小化させることが可能になる。
μTCIは、TSVと異なり、2μm径の磁界結合アンテナの中に論理回路を配置することが可能である。
このような前提では、計算上は僅か800cm3の体積に1H規模のニューロン部とシナプス結合部に相当する機能を収めることが可能になる。なお、このような前提は、最先端半導体プロセス開発と比べれば格段に単純である。
図1(A)は、ニューロ半導体装置1におけるニューロネットワークを説明するための図である。図1(B)は、シナプス結合部32を説明するための図である。
ニューロン部31は、それぞれ神経細胞を模した演算機能を持った部分である。シナプス結合部32は、入力信号に対して重み付けを行い、重み付けした信号を出力する機能を有する部分である。神経繊維配線33は、神経繊維の機能に対応する配線である。
ニューロン部31は、シナプス結合部32を介して、神経繊維配線33によって互いに接続されている。
シナプス結合部入力端子32Aに入力されるシナプス入力信号Sinは、シナプス入力側電位Einを有する信号である。また、シナプス結合部出力端子32Bから出力されるシナプス出力信号Soutは、シナプス出力側電位Eoutを有する信号である。
そして、シナプス結合部32は、シナプス入力信号Sin(シナプス入力側電位Ein)に対して、所定の重み係数wを掛けたものをシナプス出力信号Sout(シナプス出力側電位Eout)として出力する。すなわち、Eout=w×Einとなる。
図2に示す様に、ニューロ半導体装置1における第1半導体チップ10は、半導体基板部101と、絶縁層部102と、で構成される。半導体基板部101は、シリコンを材料とする基板である。絶縁層部102は、酸化シリコンである。
なお、図3に示す第2半導体チップ20乃至50についても、図2に示す半導体チップ10と同様の構造である。
図3に示す様に、図1のニューロ半導体装置1は、5つ(複数)の半導体チップ10乃至50が3次元積層されて構成される。
即ち、図3に示す半導体チップ10乃至50の3次元積層構造からなるニューロ半導体装置1が、μTCIが適用されたニューロ半導体装置である。
ここで、各半導体チップの厚みは、2μm〜25μm程度の厚みなので、多くの半導体チップが接合され得る。例えば、厚みが5μmの半導体チップが128個接合された半導体装置全体の厚さは、全体で640μm程度である。
図4は、このような磁界結合によるシナプス模倣(シナプス結合32)の優位性を示す図である。
μTCIにおける磁界結合(非接触通信)は、規模を追う際に必然となる、3次元積層に最適な接続手法である。
μTCIにおける磁界結合(非接触通信)は、有線接続、TSV構造を使用せず、圧倒的な低消費電力である。
μTCIにおける磁界結合(非接触通信)を採用することで、半導体製造前工程でnm精度でコイル製造・配置が可能であり、プロセス進化による電力削減効果の恩恵にも与られる。
μTCIにおける磁界結合(非接触通信)を採用する場合、半導体ウェハ極薄化とヒュージョンボンディングにより、圧倒的な高密度3次元実装の効果が得られる。
また、HDSWで、給電部も前工程で完結が可能になる。
多層間結合でのSwitching、Broadcastingに対応し、1ニューロン部対多シナプス結合を、電力効率を下げずに模倣可能になる。
磁界結合自体はアナログ処理であることから、複数の構造や機構を用いて結合部の重み付け処理について、複数の確率変数を実装できる可能性がある。
図5(A)は、磁界結合の3D Scaling則による伝送効率の向上を示すものである。
図5(B)は、単純な隣接シナプスとの接合のみを想定した試算を示すものである。
発火頻度と転送ビット精度を勘案すると1Kb/s程度が妥当の可能性がある。
100兆個の全隣接シナプス接合が同時発火して1Wで収まる可能性がある。
1ニューロンが1,000シナプスに接合すると仮定している。
最大コイル径を10倍に、異径コイルの混載、Phase Multiplexを組み合わせれば、10−100倍の電力(10W−100W)で収まる可能性がある。
その場合、1H@1Hzの体積は800cm3の10倍程度には増加して8Lになる。それでも10GHz駆動により100億人分の演算は可能になる。
既存のNeuronチップは、数億ニューロン規模でμW/Hzレベルの消費電力(TrueNorthは1千億ニューロンで7kWの計算)になる。
図6に示す様に、図1乃至図3に示すμTCIが適用されたニューロ半導体装置1は、磁界結合と半導体ウェハ極薄化を組合せることにより、ムーアの法則を大きく上回る、半導体スケーリングの恩恵を受けることができる。
ここで、実際の脳の神経回路の構成は、大脳新皮質から小脳や視床や基底核などの様々な領域との中・遠距離の接続を含めて、膨大な種類の回路構成が取られている。
そこで、本実施形態のニューロ半導体装置1は、これらを再現していくための、或いは機能ごとに新しい構成をつくるための、グルーピングや近・中・遠距離接続を指定して構成するためのプログラマブルな機能を有している。
この機能は、FPGAがSea of GateのArrayであるのに対して、Sea of ConnectionのArrayという発想に基づくものであり、それ以外はFPGAの論理回路を合成する仕組みと同様に、Connectionパターンを構成する仕組みを整えるものである。
このような機能を実現可能なものを、以下、「NSPCA」と呼ぶ。
FPGAとは、Field Programmable Gate Arrayの略語であり、現場で書換え可能な論理演算素子を、多数敷き詰めた配列をいう。
NSPCAとは、Neuro−Synaptic Programmable Connection 3D Arrayの略語であり、次のような第1及び第2の特徴を有するものである。
第1の特徴とは、1Hの規模のニューロン部31(Neuron:1,000億個の有線接続、及び論理回路)とシナプス接続32(Synapse:100兆個の磁界結合による非接触通信)に相当する構造を、3次元に敷き詰めたコネクション配列を有するものである。
第2の特徴とは、更に一定規模のコネクション配列のグルーピングや近距離・中距離・遠距離接続の有線接続を、再構成可能とするものである。
1つのニューロン部に対して複数のシナプス結合との組が複数接続されるニューロンネットワークを構成する半導体装置であって、
磁界結合を用いた非接触通信を行う前記シナプス結合と、
有線接続及び論理回路を含む前記ニューロン部と、
を備え、
前記シナプス結合と前記ニューロン部とが3次元に敷き詰めたコネクションアレイ配列を有し、
前記コネクションアレイ配列のグルーピング、又は、近距離、中距離、若しくは遠距離接続の有線接続の少なくとも一部を、再構成可能とする機能を有する、
半導体装置をいう。
このようなニューロ半導体装置1は、NSPCAはメモリや再構成機能などを含むため、大型(しかしスパコンよりはるかに小型)で低速(しかし脳の数百万倍)になる。
即ち、一旦、1H規模のハードウェアを半導体と磁界結合によって構成が出来ると、FPGAの神経シナプス結合版であるNSPCAを用いて、高速(数MHz〜数十MHz)に多種多様な実験、解析、設計を行うことが容易にできるようになる。
このようにしてNSPCAで設計が完了した後には、更に高速(数GHz)動作可能なNSPU(Neuro−Synaptic Processing Unit)に移行できる。つまり、一般のASICとFPGAの関係と同様に、NSPUとNSPCAの関係を位置付けることが可能になる。この時点で「1H」から自動的に「1,000,000,000H」になる。ただし、実際には、消費電力と発熱の問題を次世代スパコン等で解決する必要はある。
そこで、1H規模のNSPUの立方体を、1辺を2倍ずつ大きくすることで、更に8倍の「8,000,000,000H=8BH」が出来上がり、80億人分に匹敵する知能が創出されることになる。
その他、1Hの知能が自己進化することで、8BH(80億H)に短時間で到達出来る可能性もある。即ち、前特異点から特異点までは瞬間ともいえる速さで到達できる可能性もある。
10 半導体チップ
12 送信回路部
13 送信コイル(送信部)
14 送信信号処理部
20 半導体チップ
30 半導体チップ
31 ニューロン部
32 シナプス結合部
33 神経繊維配線
40 半導体チップ
50 半導体チップ
Claims (6)
- 1つのニューロン部に対して複数のシナプス結合との組が複数接続されるニューロンネットワークを構成する半導体装置において、
磁界結合を用いた非接触通信を行う前記シナプス結合と、
有線接続及び論理回路を含む前記ニューロン部と、
を備える、
半導体装置。 - 1つのニューロン部に対して複数のシナプス結合との組が複数接続されるニューロンネットワークを構成する半導体装置において、
磁界結合を用いた非接触通信を行う前記シナプス結合と、
有線接続及び論理回路を含む前記ニューロン部と、
を備え、
前記シナプス結合と前記ニューロン部とが3次元に敷き詰められたコネクションアレイ配列を有する、
半導体装置。 - 1つのニューロン部に対して複数のシナプス結合との組が複数接続されるニューロンネットワークを構成する半導体装置において、
磁界結合を用いた非接触通信を行う前記シナプス結合と、
有線接続及び論理回路を含む前記ニューロン部と、
を備え、
前記シナプス結合と前記ニューロン部とが3次元に敷き詰められたコネクションアレイ配列を有し、
前記コネクションアレイ配列のグルーピングを行える、
半導体装置。 - 1つのニューロン部に対して複数のシナプス結合との組が複数接続されるニューロンネットワークを構成する半導体装置において、
磁界結合を用いた非接触通信を行う前記シナプス結合と、
有線接続及び論理回路を含む前記ニューロン部と、
を備え、
前記シナプス結合と前記ニューロン部とが3次元に敷き詰められたコネクションアレイ配列を有し、
前記コネクションアレイ配列のグルーピングを行え、そのグループの数と規模とからなる構成を再構成可能とする機能を有する、
半導体装置。 - 1つのニューロン部に対して複数のシナプス結合との組が複数接続されるニューロンネットワークを構成する半導体装置において、
磁界結合を用いた非接触通信を行う前記シナプス結合と、
有線接続及び論理回路を含む前記ニューロン部と、
を備え、
前記シナプス結合と前記ニューロン部とが3次元に敷き詰められたコネクションアレイ配列を有し、
前記コネクションアレイ配列複数間の、近距離、中距離、若しくは遠距離接続の有線接続を有する、
半導体装置。 - 1つのニューロン部に対して複数のシナプス結合との組が複数接続されるニューロンネットワークを構成する半導体装置において、
磁界結合を用いた非接触通信を行う前記シナプス結合と、
有線接続及び論理回路を含む前記ニューロン部と、
を備え、
前記シナプス結合と前記ニューロン部とが3次元に敷き詰められたコネクションアレイ配列を有し、
前記コネクションアレイ配列複数間の近距離、中距離、若しくは遠距離接続の有線接続の少なくとも一部を、再構成可能とする機能を有する、
半導体装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015190374 | 2015-09-28 | ||
JP2015190374 | 2015-09-28 | ||
PCT/JP2016/078672 WO2017057488A1 (ja) | 2015-09-28 | 2016-09-28 | 半導体装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017057488A1 true JPWO2017057488A1 (ja) | 2018-05-24 |
JP6410954B2 JP6410954B2 (ja) | 2018-10-24 |
Family
ID=58423902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017543507A Expired - Fee Related JP6410954B2 (ja) | 2015-09-28 | 2016-09-28 | 半導体装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180285724A1 (ja) |
EP (1) | EP3355233B1 (ja) |
JP (1) | JP6410954B2 (ja) |
CN (1) | CN108027870A (ja) |
WO (1) | WO2017057488A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9928460B1 (en) * | 2017-06-16 | 2018-03-27 | Google Llc | Neural network accelerator tile architecture with three-dimensional stacking |
KR102112393B1 (ko) * | 2018-02-28 | 2020-05-18 | 부산대학교 산학협력단 | 3차원 적층 시냅스 어레이 기반의 뉴로모픽 시스템과 그 동작 방법 및 제조 방법 |
CN114628006A (zh) * | 2022-03-08 | 2022-06-14 | 北京工业大学 | 基于脑机接口的光刺激控制装置及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0589075A (ja) * | 1990-02-20 | 1993-04-09 | Wacom Co Ltd | ニユーロンの結合方法及びニユーラルネツトワーク |
JPH05242276A (ja) * | 1991-04-11 | 1993-09-21 | Wacom Co Ltd | ニューラルネットワーク |
JPH06243117A (ja) * | 1993-02-18 | 1994-09-02 | Fuji Xerox Co Ltd | ニューラルネットワークシステム |
JPH10253748A (ja) * | 1997-03-06 | 1998-09-25 | Mitsubishi Electric Corp | 目標の検出方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5371835A (en) * | 1990-02-02 | 1994-12-06 | Kabushikikaisha Wacom | Inductively coupled neural network |
CN104701309B (zh) * | 2015-03-24 | 2017-10-13 | 上海新储集成电路有限公司 | 三维堆叠式神经元装置及制备方法 |
-
2016
- 2016-09-28 WO PCT/JP2016/078672 patent/WO2017057488A1/ja active Application Filing
- 2016-09-28 US US15/764,005 patent/US20180285724A1/en not_active Abandoned
- 2016-09-28 CN CN201680055457.XA patent/CN108027870A/zh active Pending
- 2016-09-28 EP EP16851659.9A patent/EP3355233B1/en active Active
- 2016-09-28 JP JP2017543507A patent/JP6410954B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0589075A (ja) * | 1990-02-20 | 1993-04-09 | Wacom Co Ltd | ニユーロンの結合方法及びニユーラルネツトワーク |
JPH05242276A (ja) * | 1991-04-11 | 1993-09-21 | Wacom Co Ltd | ニューラルネットワーク |
JPH06243117A (ja) * | 1993-02-18 | 1994-09-02 | Fuji Xerox Co Ltd | ニューラルネットワークシステム |
JPH10253748A (ja) * | 1997-03-06 | 1998-09-25 | Mitsubishi Electric Corp | 目標の検出方法 |
Non-Patent Citations (1)
Title |
---|
赤松 則男 NORIO AKAMATSU: "電磁ニューラルコンピュータ", 電子情報通信学会論文誌, vol. 第J74-D-II巻,第10号, JPN6018019490, 25 October 1991 (1991-10-25), JP, pages 1448 - 1456, ISSN: 0003804693 * |
Also Published As
Publication number | Publication date |
---|---|
CN108027870A (zh) | 2018-05-11 |
EP3355233B1 (en) | 2020-05-06 |
WO2017057488A1 (ja) | 2017-04-06 |
EP3355233A4 (en) | 2018-08-08 |
JP6410954B2 (ja) | 2018-10-24 |
US20180285724A1 (en) | 2018-10-04 |
EP3355233A1 (en) | 2018-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7058281B2 (ja) | 三次元スタッキングを有するニューラルネットワークアクセラレータタイルアーキテクチャ | |
US20220108161A1 (en) | Three Dimensional Circuit Implementing Machine Trained Network | |
US20210216853A1 (en) | Yield improvements for three-dimensionally stacked neural network accelerators | |
JP6410954B2 (ja) | 半導体装置 | |
US11410026B2 (en) | Neuromorphic circuit having 3D stacked structure and semiconductor device having the same | |
JP2019505065A (ja) | ニューロシナプティック・チップ3次元集積回路の形成方法、ニューロシナプティック・チップ3次元集積装置およびニューロシナプティック・チップ3次元集積回路 | |
An et al. | Three dimensional memristor-based neuromorphic computing system and its application to cloud robotics | |
JP2015103584A (ja) | 集積回路及びそれを備える積層回路 | |
KR20180127153A (ko) | 뉴런 회로와 시냅스 소자 어레이가 결합된 신경계 모방 집적회로 및 그 제조방법 | |
EP3339871B1 (en) | Inline wave majority gate device | |
Ehsan et al. | Design challenges and methodologies in 3D integration for neuromorphic computing systems | |
WO2017010011A1 (ja) | 半導体スイッチ装置 | |
JP6449462B2 (ja) | 半導体装置 | |
KR20230126240A (ko) | 3차원 적층 신호 분배망 구조의 뉴로모픽 반도체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6410954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |