TW202201287A - 具有三維堆疊之類神經網路加速器塊架構 - Google Patents
具有三維堆疊之類神經網路加速器塊架構 Download PDFInfo
- Publication number
- TW202201287A TW202201287A TW110133520A TW110133520A TW202201287A TW 202201287 A TW202201287 A TW 202201287A TW 110133520 A TW110133520 A TW 110133520A TW 110133520 A TW110133520 A TW 110133520A TW 202201287 A TW202201287 A TW 202201287A
- Authority
- TW
- Taiwan
- Prior art keywords
- neural network
- block
- network accelerator
- type
- array
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 199
- 230000005540 biological transmission Effects 0.000 claims abstract description 77
- 230000008878 coupling Effects 0.000 claims abstract description 12
- 238000010168 coupling process Methods 0.000 claims abstract description 12
- 238000005859 coupling reaction Methods 0.000 claims abstract description 12
- 230000001939 inductive effect Effects 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 41
- 230000001537 neural effect Effects 0.000 claims description 35
- 230000003068 static effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims 1
- 235000012431 wafers Nutrition 0.000 description 45
- 238000013461 design Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 208000033986 Device capturing issue Diseases 0.000 description 1
- 229910002601 GaN Inorganic materials 0.000 description 1
- JMASRVWKEDWRBT-UHFFFAOYSA-N Gallium nitride Chemical compound [Ga]#N JMASRVWKEDWRBT-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/06—Receivers
- H04B1/16—Circuits
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Multi Processors (AREA)
- Advance Control (AREA)
- Near-Field Transmission Systems (AREA)
- Radiation-Therapy Devices (AREA)
Abstract
本發明揭示一種三維類神經網路加速器，其包含包括一第一傳輸線圈之一第一類神經網路加速器塊、及包括一第二傳輸線圈之一第二類神經網路加速器塊，其中該第一類神經網路加速器塊鄰近該第二類神經網路加速器塊且與該第二類神經網路加速器塊垂直地對準，且其中該第一傳輸線圈經組態以經由電感性耦合與該第二傳輸線圈無線地通信。
Description
本說明書大體上係關於使硬體中之類神經網路運算加速度。
類神經網路係採用非線性單元之一或多個層來針對一接收輸入預測一輸出之機器學習模型。除一輸出層以外，一些類神經網路亦包含一或多個隱藏層。使用各隱藏層之輸出作為網路中之下一層(即，下一隱藏層或輸出層)之輸入。網路之各層根據參數之一各自集合之當前值從一接收輸入產生一輸出。
一般而言，本說明書中描述之標的之一個新穎態樣可體現在一三維類神經網路加速器中，該三維類神經網路加速器包含具有一第一傳輸線圈之一第一類神經網路加速器塊及具有一第二傳輸線圈之一第二類神經網路加速器塊，其中該第一類神經網路加速器塊鄰近該第二類神經網路加速器塊且與該第二類神經網路加速器塊垂直地對準，該第一傳輸線圈經組態以經由電感性耦合與該第二傳輸線圈建立無線通信，且該第一類神經網路加速器塊及該第二類神經網路加速器塊經組態以藉由透過所建立無線通信形成包含提供一不可中斷資料流之一通信方案之一靜態互連系統而使一類神經網路之運算加速度。
此等及其他實施方案可各自視需要包含以下特徵之一或多者：第一類神經網路加速器塊包含於一第一類神經網路加速器晶片上之一第一塊陣列中；第二類神經網路加速器塊包含於一第二類神經網路加速器晶片上之一第二塊陣列中；第一傳輸線圈進一步經組態以透過近場無線通信在第一類神經網路加速器塊與第二類神經網路加速器塊之間提供一數位邏輯互連；第一傳輸線圈進一步包括一貫通晶片(ThruChip)介面(TCI)接收器及一TCI發射器；TCI接收器經組態以從第二傳輸線圈接收無線通信；TCI發射器經組態以將無線通信傳輸至第二傳輸線圈；第一類神經網路加速器塊進一步包括一處理元件及一環形匯流排；處理元件、第一傳輸線圈、TCI接收器、TCI發射器可透過環形匯流排通信地連接；處理元件包含用以執行硬體中之類神經網路運算之電路；第一傳輸線圈進一步經組態以與第二傳輸線圈建立一TCI連接以形成一垂直環形匯流排；第一類神經網路加速器塊進一步包括一短路平面以防止來自其他傳輸線圈之干擾；第一類神經網路加速器塊相對於第二類神經網路加速器塊旋轉180度；及第一類神經網路加速器塊及第二類神經網路加速器塊定向相同。
可實施本說明書中描述之標的之特定實施例以便實現以下優勢之一或多者。一三維堆疊類神經網路加速器已增大晶片上記憶體容量以(舉例而言)固持較大模型。優於其他三維堆疊解決方案之額外優勢包含較低成本、較高頻寬、更緊湊及提高之可擴縮性。
在隨附圖式及以下描述中陳述本說明書中描述之標的之一或多個實施方案之細節。將從描述、圖式及發明申請專利範圍明白標的之其他潛在特徵、態樣及優勢。
技術在機器人領域、物聯網及使用機器學習演算法之其他領域中正在迅速發展。舉例而言，臉部辨識及使用者偏好判定技術使用諸如類神經網路之機器學習技術來提高結果準確性。可使用通用圖形處理單元、場可程式化閘陣列、特定應用晶片及類似者之其他硬體來執行類神經網路運算。隨著類神經網路模型增大大小及複雜性，其等需要更多運算資源來執行。為處置運算資源之增加，可採用大規模硬體類神經網路加速器。
本文中描述用於一類神經網路加速器之架構。一類神經網路加速器係一硬體運算系統，其經組態以使一類神經網路之運算(即，使用類神經網路來處理一輸入以產生一輸出)加速度。可藉由堆疊各自包含一互連類神經網路加速器塊陣列之類神經網路晶粒(晶片)而製造類神經網路加速器。在一些實施方案中，一類神經網路晶片上之一陣列內之各類神經網路塊可經由一平面環形匯流排嵌入彼此通信地耦合。一旦切割，類神經網路晶片便可三維地堆疊以形成一類神經網路加速器。在堆疊時，一個類神經網路晶片上之塊陣列內之至少一個類神經網路塊可能可無線地通信連結至恰好堆疊於第一晶片上方或下方之另一類神經網路晶片上之一各自類神經網路塊。連結之類神經網路塊形成一靜態互連系統。在一些實施方案中，形成之靜態互連系統組織為透過各自類神經網路加速器塊之一線性處理序列。透過線性序列之處理時間之線性管線開始及結束於稱為一非核心之一特殊控制器。非核心係功能塊之一集合，其可處理一主機電腦之輸入/輸出(I/O)、晶片外記憶體之介面、I/O裝置之連接，及/或執行同步、協調及緩衝功能。
可透過其中晶圓堆疊於彼此之上且接合在一起之晶圓級堆疊來製造一類神經網路加速器。一晶圓係通常為圓形且直徑可介於300毫米或450毫米之間之半導體材料(例如，矽、氮化鎵等)之一薄片。各晶圓具有一系列晶粒(或晶片)，其等各自包含一類神經網路加速器塊陣列。隨著晶圓經堆疊且接合，晶粒(及其等之塊)對準。在堆疊時，不同晶片上之類神經網路加速器塊可透過無線通信(即，使用TCI技術之電感性耦合)或透過垂直互連件(諸如矽穿孔(TSV))彼此通信地耦合。接著，堆疊晶圓切割成晶粒堆疊，其等係類神經網路加速器。
各類神經網路加速器塊係自含型且可獨立地執行一多層類神經網路之一部分所要求之運算。一類神經網路加速器塊包含一處理元件(或處理器、處理器核心)、一記憶體及耦合至傳輸線圈之一環形匯流排。傳輸線圈可經組態以電感性地通信至堆疊於正上方或正下方之一鄰近塊之傳輸線圈。處理元件經組態以執行處理硬體中之類神經網路運算所要求之運算。舉例而言，處理元件可執行硬體中之一或多個類神經網路建置組塊運算，例如，矩陣乘法、啟動函數之運算、輪詢、正規化指數函數(softmax)或邏輯迴歸運算等等。美國專利申請案第15/335,769號中描述用於包含於一類神經網路加速器塊中之一處理元件之例示性架構，該案以引用的方式併入本文中。
在一類神經網路加速器之製造期間，類神經網路加速器晶片/晶粒依以便允許透過嵌入式類神經網路塊實現晶片之間之無線通信的一方式堆疊。類神經網路加速器塊藉由透過嵌入式傳輸線圈實現堆疊塊之間之無線通信而支援此三維擴縮。在一些實施方案中，堆疊塊之間之無線通信基於貫通晶片無線互連技術(2014年8月11日、Dave Ditzel之「Low-Cost 3D Chip Stacking with ThruChip Wireless Connections」中更詳細地描述貫通晶片無線互連技術)。舉例而言，傳輸線圈可係提供一TCI之一對環圈。在一些實施方案中，在類神經網路加速器塊之邏輯及/或記憶體區域上方運用一習知金屬氧化物半導體(CMOS)程序構造傳輸線圈。當一類神經網路加速器塊堆疊至其他塊上(即，各自晶粒/晶片被堆疊)時，TCI (線圈)允許資料發送至各自類神經網路加速器塊上方或下方之類神經網路加速器塊及/或從各自類神經網路加速器塊上方或下方之類神經網路加速器塊接收。在一些實施方案中，如圖2及圖3中展示，陣列中之至少一個塊位點經組態以從堆疊於正上方或正下方之一類神經網路晶片上之一各自塊位點接收無線傳輸且另一塊位點經組態以將無線傳輸發送至相同類神經網路晶片上之一各自塊位點。在一些實施方案中，如圖4中展示，陣列中之一個塊位點經組態以從堆疊於正上方或正下方之一類神經網路晶片上之一各自塊位點接收無線傳輸且將無線傳輸發送至堆疊於正上方或正下方之一類神經網路晶片上之一各自塊位點。
一類神經網路加速器晶片亦包含非核心內之其他晶片上電路，諸如用以將資料耦合進入及離開塊陣列之I/O介面電路、用以提供時脈信號至塊之處理元件之時脈分佈電路及其他介面及控制功能等等。舉例而言，一介面可係至一主機電腦。此一介面可在一三維堆疊中之全部晶片上複製或介面可被委託給採用經由TCI耦合至三維堆疊之一不同處理節點的一第二晶片。
一類神經網路加速器晶片可根據透過一靜態互連系統形成之一序列在各塊之間投送資料。舉例而言，資料可在靜態互連系統中之一個運算塊處接收、經處理，且接著塊之輸出發送至靜態互連系統內之序列中之一下一塊且由其接收。接著，下一塊處理所接收輸入。由序列中之各塊重複此程序。
圖1A係一例示性類神經網路加速器塊100之一方塊圖。例示性塊100包含一處理元件110、環形匯流排120、傳輸線圈130、TCI接收器142及TCI發射器140。可在一相似類神經網路加速器陣列內之一晶圓上製造類神經網路加速器塊100。類神經網路加速器陣列可包含於晶圓上之一製造晶粒中。塊處理器元件(或處理器核心) 110可包含功能單元、記憶體、一資料路徑及控制邏輯，其等用於執行計算及控制功能。在一些實施方案中，在類神經網路加速器塊100之處理元件110 (即，邏輯及/或記憶體區域)上方製造傳輸線圈130以最大化面積節省。
環形匯流排120表示塊100組件(諸如處理元件110、傳輸線圈130、TCI接收器142及TCI發射器140)之互連以及相同晶粒內(即，相同塊陣列內)製造之其他類神經網路加速器之間之互連。在一些實施方案中，環形匯流排120係連接一陣列內之塊以在一定向二分圖(其中藉由一個輸入及一個輸出頂點表示各處理塊且其中處理單元係將輸入連接至輸出之邊緣)中形成一哈密頓(Hamiltonian)電路的各自類神經網路晶片上之一平面嵌入式環形匯流排之一部分。對於環形匯流排120，可藉由將某些輸出連接至某些輸入之多個邊緣表示可能多工器組態。在一些實施方案中，為促成一線性系列塊作為平面嵌入之部分，環形匯流排120在一側進入塊100且在相對側離開塊100。
如上文中描述，塊100係可包含於一類神經網路加速器晶片上之一相似塊陣列內的一個別運算單元。在一些實施方案中，塊100可通信地耦合至一或多個鄰近塊，其等可經堆疊以在一三維堆疊類神經網路加速器內形成一靜態互連系統。採用堆疊塊以跨三維堆疊類神經網路加速器分佈一類神經網路之運算。舉例而言，各塊100與一或多個鄰近塊(即，處於上方或下方且無線地連接之塊或透過平面環形匯流排連接之一類神經網路晶片上之相同塊陣列內之塊)通信以形成靜態互連系統。互連系統可經組態使得處理塊係涵蓋三維堆疊之運算資源之一或多個環形匯流排(諸如環形匯流排120)之部分。此一組態允許有效地利用一三維晶片堆疊中之塊且提供在應用要求之情況下將運算資源重新組織為多個環之可撓性。
傳輸線圈130嵌入在塊100中且提供TCI連接，其等由各自TCI接收器142接收且由各自TCI發射器140發射。傳輸線圈130採用使用磁場之電感性耦合來實現(舉例而言)三維地堆疊於各自塊上方或下方之其他塊100之傳輸線圈130之間的近場無線通信。實現之近場無線通信提供三維堆疊類神經網路加速器晶片之間之數位邏輯互連。在一些實施方案中，一塊100可採用所建立近場無線通信來與三維堆疊中之塊100上方或下方之一鄰近塊通信。傳輸線圈130可如圖1A中展示般彼此偏離使得在兩個塊堆疊時，各自傳輸線圈不干擾其他線圈之間之傳輸。傳輸線圈130、TCI接收器142及TCI發射器140一起形成一TCI。此一TCI相對於塊100係小的，使得TCI連接所需之面積小於可比較TSV之面積。舉例而言，在具有低於20奈米(nm)之特徵大小之一當代程序節點中，超過每秒50千兆位元(Gb/s)之一頻寬係可實現的。實際速度限於工程考量，諸如功率及串行器/解串器(SERDES)邏輯之複雜性。舉例而言，TCI線圈大小取決於堆疊晶粒之厚度。當前減薄技術已證明針對在一側3乘2.6 mm或約8 mm之一線圈大小的2.6微米(µm)晶粒厚度。一更保守晶粒厚度將係4 mm，其中一線圈大小係近似12 mm。
舉例而言，一塊可具有1 mm乘1 mm之數量級且容納近似6000個TCI。具有一高頻寬設計之一塊100可包含覆蓋此塊面積之一大部分之若干TCI (傳輸線圈130、TCI接收器142及TCI發射器140)。舉例而言，一組TCI可以20 Gb/秒操作且需要近似50個TCI來從環形匯流排120發送資料且需要另外50個TCI來接收環形匯流排120之資料。
具有一中等頻寬設計之一塊包含覆蓋塊面積之一較小部分的若干TCI。舉例而言，晶粒厚度可增大至近似15 mm且塊100可包含近似20個至30個TCI。在此一實例中，傳輸線圈130可具有一45 mm側長度且產生近似400個可能TCI位點。可將TCI放置成一1 mm乘1 mm塊(其中TCI發射器140及TCI接收器142兩者接近塊之介面側且以小於10 Gb/秒運行)之一邊緣之一半上的一線性列。圖4中描繪一例示性中等頻寬設計組態。
在一些實施方案中，塊100包含一平面環形匯流排之一部分120。平面環形匯流排可通信地耦合一類神經網路晶片上之陣列中之各塊。環形匯流排具有近似2000個導線，其等從一個塊運行至下一塊(即，點對點)且各自攜載介於每秒0.25至0.5千兆位元(Gb/s)之間之一頻寬。環形匯流排寬度係組成環形匯流排之導線之數目。舉例而言，一晶片上之各塊在近似2000個導線上發送資料且具有從前一塊傳入之另一組近似2000個導線。
在此等實施方案中，塊100之一TCI之傳訊速率可介於20至40 Gb/s之間。在一些實施方案中，TCI可以一高速率運行以節省電力，此係因為歸因於恆定電流切換，發射器汲取獨立於實際資料速率之恆定數量之電力。線圈大小依據個別晶粒厚度而變化。塊100可減薄至介於2.6微米與10微米之間。此對應於12至30微米之一TCI線圈邊緣長度或三倍的晶片間距離。
對於一高頻寬設計而言，可使用厚度之上限範圍(10 mm)處之一塊厚度、一快速傳訊速率及一低多工比率。對於一高頻寬設計之一些實施方案而言，塊100上之TCI可以環形匯流排速率發射或接收資料，但並非兩者兼有。在此等實施方案中，一頻寬假設可使用(每塊可用近似6000個TCI之)較大數目個TCI使得一個塊上存在足夠空間以供足夠TCI發射或接收等效於一個環形匯流排連接之頻寬。圖2及圖3中描繪例示性高頻寬設計組態。
圖1B係一塊100之一抽象表示之一方塊圖。圖1B中之塊100之抽象表示包含處理元件110及藉由一圓圈150表示之一組TCI。用於塊100之該組TCI 150包含來自圖1A之傳輸線圈130、TCI接收器142及TCI發射器140。
圖1C係一塊100之另一抽象表示之一方塊圖。圖1C中之塊100之抽象表示包含處理元件110、藉由圓圈150表示之兩組TCI及多工器160。用於塊100之該組TCI 150包含分組為兩個不同組之來自圖1A之傳輸線圈130、TCI接收器142及TCI發射器140。多工器160控管哪一TCI組發射且哪一TCI組接收且藉由(舉例而言)一組態暫存器靜態地控制。如上文中提及，一個塊之可能TCI位點之數目可能相當大(近似6000個)，因此兩個圓圈之各者表示經組態為發射器或接收器之一組TCI(與圖1B之符號體系一致)。圖2至圖5中使用圖1B及圖1C中之抽象表示。
圖2圖解說明具有兩個類神經網路加速器晶片220及222之一例示性三維堆疊類神經網路加速器200。描繪兩個晶片之一堆疊；然而，可使用任何數目個晶片(層)。類神經網路加速器晶片220及222包含類神經網路加速器塊100，其包含一個TCI組(如圖1B中展示)。在描繪之實例中，類神經網路加速器晶片220及222在相同定向上放置於彼此之上，使得用於各各自類神經網路加速器晶片220及222之環形匯流排(240、242)平行且在相同方向上運行。TCI資料連接232使用如上文中描述之電感性耦合透過鄰近塊100提供加速器晶片220與222之間之通信。交越點230係使用TCI資料連接232來在網路加速器晶片220與222之間路由環形匯流排240及242的位置。藉由將環形匯流排240及242拼接至涵蓋網路加速器晶片220及222兩者之全部塊100之一個環而創建交越點230。一個環通信地耦合類神經網路加速器晶片220及222兩者之塊100。在描繪之實例中，展示一單對TCI資料連接232；然而，可使用類神經網路加速器晶片220與222之間形成之任何數目對TCI資料連接232。可參與一垂直資料交換之各對塊具有連接此等塊(交越點230)之兩組導線，其可能要求使導線數量加倍(即，4000個而非2000個)。
圖3圖解說明具有兩個類神經網路加速器晶片320及322之一例示性三維堆疊類神經網路加速器300。描繪兩個晶片之一堆疊；然而，可使用任何數目個晶片(層)。類神經網路加速器晶片320及322包含類神經網路加速器塊100，其包含一個TCI組(如圖1B中展示)。在描繪之實例中，類神經網路加速器晶片320及322放置在彼此之上但具有相對於彼此旋轉180度之定向。類似於圖2，TCI資料連接332使用電感性耦合透過鄰近塊100提供加速器晶片320與322之間之通信。
在描繪之實例中，在平面環形匯流排340及342嵌入上具有一些較小約束(例如，避免旋轉對稱佈局)之情況下，旋轉類神經網路加速器晶片320及322導致各自環形匯流排340及342在交越位點330處沿相反方向運行。即使當兩個晶片在堆疊時旋轉180度時，所揭示之設計中之TCI位點之位置之約束仍允許TCI之垂直對準。另外，圖3中描繪之佈局減輕一個晶片在交越位點330處具有兩組環形匯流排導線(如圖2中描繪)以攜載資料訊務而另一晶片不使用任何導線。此組態可降低佈線成本，佈線成本可能超過實施一環形匯流排交越之多工器之成本。另外，圖3中之佈局可減少路由開銷。在描繪之實例中，展示一單對TCI資料連接332；然而，可在類神經網路加速器晶片320與322之間形成任何數目對TCI資料連接332。此一設計允許形成在一些應用中可能需要之多個獨立環。
圖4圖解說明具有兩個類神經網路加速器晶片420及422之一例示性三維堆疊類神經網路加速器400。描繪兩個晶片之一堆疊；然而，可使用任何數目個晶片(層)。類神經網路加速器晶片420及422包含類神經網路加速器塊100，其包含兩個TCI組(如圖1C中展示)。在描繪之實例中，類神經網路加速器晶片420及422放置在彼此之上且以相同定向堆疊。TCI資料連接432建立在一對鄰近塊100中之TCI組之間且使用如上文中描述之電感性耦合透過兩個鄰近塊100提供加速器晶片420與422之間之通信。藉由在塊100中採用兩個TCI組，交越局限於僅一個塊位點。此組態可減輕對長導線跨越整個塊之需求。代替地，所描繪加速器400可在控制多工器且控管哪一TCI組發射且哪一TCI組接收的塊組態中採用一對稱破缺位元。在描繪之實例中，展示使用一單對塊來形成TCI資料連接432；然而，可使用類神經網路加速器晶片420與422之間形成之任何數目對TCI資料連接432。
圖5圖解說明具有用於一高頻寬設計之一垂直環形匯流排實施方案之例示性三維堆疊類神經網路加速器500。描繪之實例展示晶片之間具有TCI連接542及544之三個堆疊類神經網路加速器晶片510、520及530。TCI連接542在晶片510上之塊位點512與晶片520上之塊位點524之間。TCI連接544在晶片520上之塊位點522與晶片530上之塊位點532之間。在描繪之例示性情況中，各塊位點512、522、524及532形成使共用相同塊位置之全部堆疊晶片上之全部塊互連之一個垂直環形匯流排(即，各行塊連接為一個環)。各堆疊晶片510、520及530相對於堆疊中之前一晶片旋轉達90度。環形匯流排連接透過堆疊形成一雙線螺旋。頂部(或底部)反映環形匯流排以閉合環。在一些實施方案中，兩個處理塊組合成此行之一個虛擬塊使得至少一個處理塊在向上的途中橫越且另一處理塊在向下的途中橫越。為獨立於堆疊中之晶片數目而控制環中之塊數目，組成一個垂直螺旋之虛擬塊可將較大(偶數)數目個塊處理器分組。在描繪之實例中，底層510可包含至一主機電腦及/或一環形匯流排控制器之一介面，而組成堆疊之剩餘部分之晶片係純塊陣列。此一配置提供額外基於TCI之垂直匯流排，其等可用於同時將控制信號廣播至全部塊，從而避免與跨一晶片一直運行一導線相關聯之延遲。在一些實施方案中，環可在控制器塊510上拼接在一起以創建具有更多塊之更長環。此一組態提供動態改變控制器與塊比率。在描繪之實例中，採用短路平面518、528及538來防止來自TCI線圈之干擾超越下一晶片。在一些實施方案中，短路平面518、528及538係一固體金屬平面或一密集格柵，其可用於縮短TCI之範圍而不在整個製程中造成一顯著成本增加。
雖然本說明書含有許多特定實施方案細節，但此等不應解釋為對任何發明內容之範疇或對可主張之內容之範疇之限制，而係解釋為可能特定於特定發明內容之特定實施例之特徵之描述。本說明書中在不同實施例之背景內容中描述之某些特徵亦可在一單一實施例中組合實施。相反地，在一單一實施例之背景內容中描述之各種特徵亦可在多個實施例中分別或以任何適合次組合實施。此外，儘管特徵在上文中可描述為以某些組合起作用且甚至最初照此主張，然來自一主張組合之一或多個特徵在一些情況中可從組合刪除，且主張組合可能針對一次組合或一次組合之變化例。
類似地，雖然在圖式中以一特定順序描繪操作，但此不應理解為要求以展示之特定順序或以循序順序執行此等操作，或執行全部圖解說明操作，以達成所要結果。在某些情境中，多任務及並行處理可係有利的。此外，上文中描述之實施例中之各種系統模組及組件之分離不應理解為在全部實施例中要求此分離，且應瞭解，描述之程式組件及系統通常可一起整合於一單一軟體產品中或封裝成多個軟體產品。
已描述標的之特定實施例。其他實施例在以下發明申請專利範圍之範疇內。舉例而言，發明申請專利範圍中敘述之動作可按一不同順序執行且仍達成所要結果。作為一個實例，附圖中描繪之程序不一定要求展示之特定順序，或循序順序，以達成所要結果。在某些實施方案中，多任務及並行處理可係有利的。
在以下實例中概述進一步實施方案：
實例1：一種三維類神經網路加速器，其包括：一第一類神經網路加速器塊，其包括一第一傳輸線圈；及一第二類神經網路加速器塊，其包括一第二傳輸線圈，其中該第一類神經網路加速器塊鄰近該第二類神經網路加速器塊且與該第二類神經網路加速器塊垂直地對準，其中該第一傳輸線圈經組態以經由電感性耦合與該第二傳輸線圈建立無線通信，且其中該第一類神經網路加速器塊及該第二類神經網路加速器塊經組態以藉由透過該建立之無線通信形成包含提供一不可中斷資料流之一通信方案之一靜態互連系統而使一類神經網路之運算加速度。
實例2：實例1之三維類神經網路加速器，其中該第一類神經網路加速器塊包含於一第一類神經網路加速器晶片上之一第一塊陣列中，且其中該第二類神經網路加速器塊包含於一第二類神經網路加速器晶片上之一第二塊陣列中。
實例3：實例1或2之三維類神經網路加速器，其中該第一傳輸線圈進一步經組態以透過近場無線通信在該第一類神經網路加速器塊與該第二類神經網路加速器塊之間提供一數位邏輯互連。
實例4：實例1至3中一項之三維類神經網路加速器，其中該第一傳輸線圈進一步包括一貫通晶片介面(TCI)接收器及一TCI發射器，其中該TCI接收器經組態以從該第二傳輸線圈接收無線通信，且其中該TCI發射器經組態以將無線通信傳輸至該第二傳輸線圈。
實例5：實例4之三維類神經網路加速器，其中該第一類神經網路加速器塊進一步包括一處理元件及一環形匯流排，其中該處理元件、該第一傳輸線圈、該TCI接收器及該TCI發射器可透過該環形匯流排通信地連接。
實例6：實例5之三維類神經網路加速器，其中該處理元件包含用以執行硬體中之類神經網路運算的電路。
實例7：實例1至6中一項之三維類神經網路加速器，其中該第一傳輸線圈進一步經組態以與該第二傳輸線圈建立一貫通晶片介面(TCI)連接以形成一垂直環形匯流排。
實例8：實例1至7中一項之三維類神經網路加速器，其中該第一類神經網路加速器塊進一步包括一短路平面以防止來自其他傳輸線圈之干擾。
實例9：實例1至8中一項之三維類神經網路加速器，其中該第一類神經網路加速器塊相對於該第二類神經網路加速器塊旋轉180度。
實例10：實例1至9中一項之三維類神經網路加速器，其中該第一類神經網路加速器塊及該第二類神經網路加速器塊定向相同。
實例11：一種用於製造一類神經網路加速器之方法，該方法包括：將一第一類神經網路加速器塊堆疊成鄰近一第二類神經網路加速器塊且與一第二類神經網路加速器塊垂直地對準，其中該第一類神經網路加速器塊包括一第一傳輸線圈，其中該第二類神經網路加速器塊包括一第二傳輸線圈，其中該第一傳輸線圈經組態以經由電感性耦合與該第二傳輸線圈無線地通信，且其中該第一類神經網路加速器塊及該第二類神經網路加速器塊經組態以藉由透過無線通信形成包含提供一不可中斷資料流之一通信方案之一靜態互連系統而使一類神經網路之運算加速度。
實例12：實例11之方法，其中該第一類神經網路加速器塊包含於一第一類神經網路加速器晶片上之一第一塊陣列中，且其中該第二類神經網路加速器塊包含於一第二類神經網路加速器晶片上之一第二塊陣列中。
實例13：實例11或12之方法，其中該第一傳輸線圈進一步經組態以透過近場無線通信在該第一類神經網路加速器塊與該第二類神經網路加速器塊之間提供一數位邏輯互連。
實例14：實例11至13之方法，其中該第一傳輸線圈進一步包括一貫通晶片介面(TCI)接收器及一TCI發射器，其中該TCI接收器經組態以從該第二傳輸線圈接收無線通信，且其中該TCI發射器經組態以將無線通信傳輸至該第二傳輸線圈。
實例15：實例14之方法，其中該第一類神經網路加速器塊進一步包括一處理元件及一環形匯流排，其中該處理元件、該第一傳輸線圈、該TCI接收器及該TCI發射器可透過該環形匯流排通信地連接。
實例16：實例15之方法，其中該處理元件包含用以執行硬體中之類神經網路運算的電路。
實例17：實例11至16中一項之方法，其中該第一傳輸線圈進一步經組態以與該第二傳輸線圈建立一貫通晶片介面(TCI)連接以形成一垂直環形匯流排。
實例18：實例17之方法，其中該第二類神經網路加速器塊相對於該第一類神經網路加速器塊旋轉90度，且其中該垂直環形匯流排形成穿透該堆疊之一雙線螺旋。
實例19：實例11至18中一項之方法，其中該第一類神經網路加速器塊進一步包括一短路平面以防止來自其他傳輸線圈之干擾。
實例20：實例11至19中一項之方法，其中該第一類神經網路加速器塊相對於該第二類神經網路加速器塊旋轉180度。
100:類神經網路加速器塊
110:處理元件/塊處理器元件/處理器核心
120:環形匯流排
130:傳輸線圈
140:貫通晶片介面(TCI)發射器
142:貫通晶片介面(TCI)接收器
150:圓圈
160:多工器
200:三維堆疊類神經網路加速器
220:類神經網路加速器晶片
222:類神經網路加速器晶片
230:交越點
232:貫通晶片介面(TCI)資料連接
240:環形匯流排
242:環形匯流排
300:三維堆疊類神經網路加速器
320:類神經網路加速器晶片
322:類神經網路加速器晶片
330:交越位點
332:貫通晶片介面(TCI)資料連接
340:環形匯流排
342:環形匯流排
400:三維堆疊類神經網路加速器
420:類神經網路加速器晶片
422:類神經網路加速器晶片
432:貫通晶片介面(TCI)資料連接
500:三維堆疊類神經網路加速器
510:類神經網路加速器晶片/底層/控制器塊
512:塊位點
518:短路平面
520:類神經網路加速器晶片
522:塊位點
524:塊位點
528:短路平面
530:類神經網路加速器晶片
532:塊位點
538:短路平面
542:貫通晶片介面(TCI)連接
544:貫通晶片介面(TCI)連接
圖1A至圖1C係一例示性類神經網路加速器塊之方塊圖。
圖2圖解說明具有兩個類神經網路加速器晶片之一例示性三維堆疊類神經網路加速器。
圖3圖解說明具有兩個類神經網路加速器晶片之另一例示性三維堆疊類神經網路加速器。
圖4圖解說明具有兩個類神經網路加速器晶片之又另一例示性三維堆疊類神經網路加速器。
圖5圖解說明具有用於一中等頻寬設計之一垂直環形匯流排實施方案之一例示性三維堆疊類神經網路加速器。
各個圖式中之相同元件符號及名稱指示相同元件。
100:類神經網路加速器塊
200:三維堆疊類神經網路加速器
220:類神經網路加速器晶片
222:類神經網路加速器晶片
230:交越點
232:貫通晶片介面(TCI)資料連接
240:環形匯流排
242:環形匯流排
Claims (34)
- 一種三維類神經(neural)網路加速器，其包括： 一第一塊陣列(array of tiles)，該第一塊陣列包含一第一類神經網路加速器塊，該第一類神經網路加速器塊包括一第一傳輸線圈；及 一第二塊陣列，該第二塊陣列包含一第二類神經網路加速器塊，該第二類神經網路加速器塊包括一第二傳輸線圈， 其中該第一塊陣列及該第二塊陣列之每一塊係一自含型(self-contained)組件，其可獨立地執行該三維類神經網路加速器之運算，且 其中該第一塊陣列及該第二塊陣列經組態以執行一類神經網路之一運算，其係透過於該第一類神經網路加速器塊之該第一傳輸線圈與該第二類神經網路加速器塊之該第二傳輸線圈之間建立無線通信，而形成包含經組織為透過該第一塊陣列及該第二塊陣列之一線性處理序列(linear sequence of processing)之一通信方案之一靜態互連系統。
- 如請求項1之三維類神經網路加速器，其中該第一類神經網路加速器塊鄰近該第二類神經網路加速器塊且與該第二類神經網路加速器塊垂直地對準。
- 如請求項1之三維類神經網路加速器，其中該通信方案經組態以提供一不可中斷資料流。
- 如請求項1之三維類神經網路加速器，其中該第一傳輸線圈經組態以經由電感性耦合與該第二傳輸線圈建立無線通信。
- 如請求項1之三維類神經網路加速器，進一步包含一控制器，其具有一或多個功能塊，其中該線性處理序列於該控制器中執行開始或結束之至少一者。
- 如請求項5之三維類神經網路加速器，其中該一或多個功能塊經組態以處理以下至少一者：(i)一主機電腦之輸入/輸出(I/O)、(ii)晶片外記憶體之介面、(iii)I/O裝置之連接，或(iv)執行同步、協調及/或緩衝功能。
- 如請求項1之三維類神經網路加速器，進一步包含一交越連接(crossover connection)，其經組態以使用該無線通信，控制該第一塊陣列與該第二塊陣列之間的資料流方向。
- 如請求項7之三維類神經網路加速器，其中一交越點係藉由將各個平面環形匯流排拼接(stitching)至該第一塊陣列與該第二塊陣列而形成。
- 如請求項1之三維類神經網路加速器，其中線性處理序列係透過該第一塊陣列及該第二塊陣列。
- 如請求項1之三維類神經網路加速器，其中該第一傳輸線圈進一步經組態以透過近場無線通信在該第一類神經網路加速器塊與該第二類神經網路加速器塊之間提供一數位邏輯互連。
- 如請求項1之三維類神經網路加速器，其中該第一塊陣列與該第二塊陣列之各者包含一處理元件及一記憶體。
- 如請求項11之三維類神經網路加速器， 其中該第一傳輸線圈進一步包括一貫通晶片介面(TCI)接收器及一TCI發射器， 其中該TCI接收器經組態以從該第二傳輸線圈接收無線通信，且 其中該TCI發射器經組態以將無線通信傳輸至該第二傳輸線圈。
- 如請求項12之三維類神經網路加速器，其中該第一類神經網路加速器塊進一步包括一環形匯流排，其中該第一類神經網路加速器塊之該處理元件、該第一傳輸線圈、該TCI接收器及該TCI發射器可透過該環形匯流排通信地連接。
- 如請求項1之三維類神經網路加速器，其中該第一傳輸線圈進一步經組態以與該第二傳輸線圈建立一貫通晶片介面(TCI)連接以形成一垂直環形匯流排。
- 如請求項1之三維類神經網路加速器，其中該第一類神經網路加速器塊進一步包括一短路平面，其經組態以縮短該無線通信之範圍，以防止來自其他傳輸線圈之干擾。
- 如請求項1之三維類神經網路加速器，進一步包含： 一第一類神經網路加速器晶片，其包含該第一塊陣列；及 一第二類神經網路加速器晶片，其包含該第二塊陣列， 其中該第一類神經網路加速器晶片相對於該第二類神經網路加速器晶片旋轉180度。
- 如請求項1之三維類神經網路加速器，進一步包含： 一第一類神經網路加速器晶片，其包含該第一塊陣列；及 一第二類神經網路加速器晶片，其包含該第二塊陣列， 其中該第一類神經網路加速器晶片及該第二類神經網路加速器晶片定向相同。
- 一種用於製造一三維類神經網路加速器之方法，該方法包括： 堆疊一第一類神經網路加速器晶片與一第二類神經網路加速器晶片， 其中該第一類神經網路加速器晶片包括一第一塊陣列，該第一塊陣列包含一第一類神經網路加速器塊， 其中該第二類神經網路加速器晶片包括一第二塊陣列，該第二塊陣列包含一第二類神經網路加速器塊， 其中該第一塊陣列及該第二塊陣列之各塊係一自含型組件，其可獨立地執行類神經網路加速器之運算， 其中該第一類神經網路加速器塊包括一第一傳輸線圈， 其中該第二類神經網路加速器塊包括一第二傳輸線圈，且 其中該第一塊陣列及該第二塊陣列經組態以加速一類神經網路之運算，其係透過該第一類神經網路加速器塊之該第一傳輸線圈與該第二類神經網路加速器塊之該第二傳輸線圈之間建立無線通信，而形成包含經組織為透過該第一塊陣列及該第二塊陣列之一線性處理序列之一通信方案之一靜態互連系統。
- 如請求項18之方法，其中該第一類神經網路加速器塊鄰近該第二類神經網路加速器塊且與該第二類神經網路加速器塊對準。
- 如請求項18之方法，其中該通信方案經組態以提供一不可中斷資料流。
- 如請求項18之方法，其中該第一傳輸線圈經組態以經由電感性耦合與該第二傳輸線圈建立無線通信。
- 如請求項18之方法，其中該線性處理序列開始及結束於具有一或多個功能塊之一控制器中。
- 如請求項22之方法，其中該一或多個功能塊經組態以處理以下至少一者：(i)一主機電腦之輸入/輸出(I/O)、(ii)晶片外記憶體之介面、(iii)I/O裝置之連接，或(iv)執行同步、協調及/或緩衝功能。
- 如請求項18之方法，進一步包含建立一交越連接，其經組態以使用該無線通信，控制該第一塊陣列與該第二塊陣列之間的資料流方向。
- 如請求項24之方法，其中一交越點係藉由將各個平面環形匯流排拼接至該第一塊陣列與該第二塊陣列而形成。
- 如請求項18之方法，其中線性處理序列係透過該第一塊陣列及該第二塊陣列。
- 如請求項18之方法，其中該第一傳輸線圈進一步經組態以透過近場無線通信在該第一類神經網路加速器塊與該第二類神經網路加速器塊之間提供一數位邏輯互連。
- 如請求項18之方法，其中該第一塊陣列與該第二塊陣列之各者包含一處理元件及一記憶體。
- 如請求項28之方法， 其中該第一傳輸線圈進一步包括一貫通晶片介面(TCI)接收器及一TCI發射器， 其中該TCI接收器經組態以從該第二傳輸線圈接收無線通信，且 其中該TCI發射器經組態以將無線通信傳輸至該第二傳輸線圈。
- 如請求項29之方法，其中該第一類神經網路加速器塊進一步包括一環形匯流排，其中該第一類神經網路加速器塊之該處理元件、該第一傳輸線圈、該TCI接收器及該TCI發射器可透過該環形匯流排通信地連接。
- 如請求項18之方法，其中該第一傳輸線圈進一步經組態以與該第二傳輸線圈建立一貫通晶片介面(TCI)連接以形成一垂直環形匯流排。
- 如請求項18之方法，其中該第一類神經網路加速器塊進一步包括一短路平面，其經組態以縮短該無線通信之範圍。
- 如請求項18之方法，其中該第一類神經網路加速器晶片相對於該第二類神經網路加速器晶片旋轉180度。
- 如請求項18之方法，其中該第一類神經網路加速器晶片及該第二類神經網路加速器晶片定向相同。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/625,810 | 2017-06-16 | ||
| US15/625,810 US9928460B1 (en) | 2017-06-16 | 2017-06-16 | Neural network accelerator tile architecture with three-dimensional stacking |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202201287A true TW202201287A (zh) | 2022-01-01 |
| TWI771180B TWI771180B (zh) | 2022-07-11 |
Family
ID=61629731
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110133520A TWI771180B (zh) | 2017-06-16 | 2018-06-04 | 具有三維堆疊之類神經網路加速器塊架構 |
| TW107119110A TWI741187B (zh) | 2017-06-16 | 2018-06-04 | 具有三維堆疊之類神經網路加速器塊架構 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107119110A TWI741187B (zh) | 2017-06-16 | 2018-06-04 | 具有三維堆疊之類神經網路加速器塊架構 |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US9928460B1 (zh) |
| EP (2) | EP3574452B1 (zh) |
| JP (1) | JP7058281B2 (zh) |
| KR (1) | KR102385350B1 (zh) |
| CN (1) | CN110462641A (zh) |
| TW (2) | TWI771180B (zh) |
| WO (1) | WO2018231395A1 (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10615850B2 (en) * | 2016-02-18 | 2020-04-07 | Ultramemory Inc. | Layered semiconductor device and data communication method |
| US11609623B2 (en) | 2017-09-01 | 2023-03-21 | Qualcomm Incorporated | Ultra-low power neuromorphic artificial intelligence computing accelerator |
| US10796198B2 (en) | 2018-02-08 | 2020-10-06 | Western Digital Technologies, Inc. | Adjusting enhancement coefficients for neural network engine |
| US11164072B2 (en) | 2018-02-08 | 2021-11-02 | Western Digital Technologies, Inc. | Convolution engines for systolic neural network processor |
| US20210125046A1 (en) * | 2018-05-08 | 2021-04-29 | The Governing Council Of The University Of Toronto | Neural network processing element |
| CN109146072B (zh) * | 2018-08-01 | 2021-03-23 | 上海天数智芯半导体有限公司 | 基于卷积神经网络加速器的数据重用方法 |
| US10877812B2 (en) * | 2018-09-06 | 2020-12-29 | International Business Machines Corporation | Hardware environment and method of performing matrix multiplication in artificial intelligence applications |
| KR102663888B1 (ko) | 2018-09-18 | 2024-05-08 | 삼성전자주식회사 | 냉장고 및 그의 제어방법 |
| US11353259B2 (en) * | 2018-09-18 | 2022-06-07 | Samsung Electronics Co., Ltd. | Augmented-reality refrigerator and method of controlling thereof |
| US10909443B2 (en) | 2019-02-25 | 2021-02-02 | Globalfoundries Inc. | Neuromorphic circuit structure and method to form same |
| US10929058B2 (en) | 2019-03-25 | 2021-02-23 | Western Digital Technologies, Inc. | Enhanced memory device architecture for machine learning |
| US11783176B2 (en) | 2019-03-25 | 2023-10-10 | Western Digital Technologies, Inc. | Enhanced storage device memory architecture for machine learning |
| US20210125040A1 (en) | 2019-10-24 | 2021-04-29 | International Business Machines Corporation | 3d neural inference processing unit architectures |
| US11182314B1 (en) * | 2019-11-27 | 2021-11-23 | Amazon Techaologies, Inc. | Low latency neural network model loading |
| US11631001B2 (en) | 2020-04-10 | 2023-04-18 | SiMa Technologies, Inc. | Heterogeneous computing on a system-on-chip, including machine learning inference |
| US11321607B2 (en) * | 2020-04-03 | 2022-05-03 | SiMa Technologies, Inc. | Machine learning network implemented by statically scheduled instructions, with compiler |
| US11989581B2 (en) | 2020-04-17 | 2024-05-21 | SiMa Technologies, Inc. | Software managed memory hierarchy |
| US11734549B2 (en) | 2020-04-21 | 2023-08-22 | SiMa Technologies, Inc. | Avoiding data routing conflicts in a machine learning accelerator |
| US11586894B2 (en) | 2020-05-04 | 2023-02-21 | SiMa Technologies, Inc. | Ordering computations of a machine learning network in a machine learning accelerator for efficient memory usage |
| US11488066B2 (en) * | 2020-04-21 | 2022-11-01 | SiMa Technologies, Inc. | Efficient convolution of multi-channel input samples with multiple kernels |
| US11734605B2 (en) | 2020-04-29 | 2023-08-22 | SiMa Technologies, Inc. | Allocating computations of a machine learning network in a machine learning accelerator |
| US11886981B2 (en) | 2020-05-01 | 2024-01-30 | SiMa Technologies, Inc. | Inter-processor data transfer in a machine learning accelerator, using statically scheduled instructions |
| CN111783376B (zh) * | 2020-06-08 | 2022-06-24 | 浙江大学 | 一种基于机器学习的3d芯片信号耦合性分析系统及方法 |
| DE102020211250A1 (de) * | 2020-09-08 | 2022-03-10 | Zf Friedrichshafen Ag | Computerimplementiertes Verfahren, eingebettetes System und Computerprogramm zum Ausführen einer Regelungs- und/oder Steuerungsvorschrift |
| US12067465B2 (en) | 2020-12-17 | 2024-08-20 | SiMa Technologies, Inc. | Instruction streaming for a machine learning accelerator |
| US11782757B2 (en) | 2021-05-07 | 2023-10-10 | SiMa Technologies, Inc. | Scheduling off-chip memory access for programs with predictable execution |
| US12079710B2 (en) | 2020-12-31 | 2024-09-03 | Nxp Usa, Inc. | Scalable neural network accelerator architecture |
| CN113065647B (zh) * | 2021-03-30 | 2023-04-25 | 西安电子科技大学 | 加速神经网络的计算-存储通信系统及通信方法 |
| WO2024207306A1 (en) * | 2023-04-06 | 2024-10-10 | Moffett International Co., Limited | Networks on chip (noc) for many-core neural network accelerator |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1991019267A1 (en) | 1990-06-06 | 1991-12-12 | Hughes Aircraft Company | Neural network processor |
| US5297232A (en) * | 1991-10-30 | 1994-03-22 | Westinghouse Electric Corp. | Wireless neural network and a wireless neural processing element |
| US5627943A (en) * | 1993-02-17 | 1997-05-06 | Kawasaki Steel Corporation | Neural network processor including systolic array of two-dimensional layers |
| US7426501B2 (en) | 2003-07-18 | 2008-09-16 | Knowntech, Llc | Nanotechnology neural network methods and systems |
| JP2010134863A (ja) * | 2008-12-08 | 2010-06-17 | Hitachi Ltd | 制御対象の制御入力決定手段 |
| JP5635759B2 (ja) * | 2009-10-15 | 2014-12-03 | 学校法人慶應義塾 | 積層半導体集積回路装置 |
| US8386690B2 (en) * | 2009-11-13 | 2013-02-26 | International Business Machines Corporation | On-chip networks for flexible three-dimensional chip integration |
| US8515885B2 (en) * | 2010-10-29 | 2013-08-20 | International Business Machines Corporation | Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation |
| US9177715B2 (en) * | 2010-11-23 | 2015-11-03 | Taiwan Semiconductor Manufacturing Co., Ltd. | System and method for inductive wireless signaling |
| US8812414B2 (en) | 2011-05-31 | 2014-08-19 | International Business Machines Corporation | Low-power event-driven neural computing architecture in neural networks |
| US8909576B2 (en) | 2011-09-16 | 2014-12-09 | International Business Machines Corporation | Neuromorphic event-driven neural computing architecture in a scalable neural network |
| CN106104770B (zh) * | 2014-03-12 | 2019-02-15 | 株式会社晶磁电子日本 | 层叠半导体集成电路装置 |
| US20160026912A1 (en) | 2014-07-22 | 2016-01-28 | Intel Corporation | Weight-shifting mechanism for convolutional neural networks |
| EP3035249B1 (en) * | 2014-12-19 | 2019-11-27 | Intel Corporation | Method and apparatus for distributed and cooperative computation in artificial neural networks |
| US10580401B2 (en) * | 2015-01-27 | 2020-03-03 | Google Llc | Sub-matrix input for neural network layers |
| US10262259B2 (en) | 2015-05-08 | 2019-04-16 | Qualcomm Incorporated | Bit width selection for fixed point neural networks |
| US10540588B2 (en) * | 2015-06-29 | 2020-01-21 | Microsoft Technology Licensing, Llc | Deep neural network processing on hardware accelerators with stacked memory |
| US20160379109A1 (en) * | 2015-06-29 | 2016-12-29 | Microsoft Technology Licensing, Llc | Convolutional neural networks on hardware accelerators |
| US11157800B2 (en) * | 2015-07-24 | 2021-10-26 | Brainchip, Inc. | Neural processor based accelerator system and method |
| CN105205858B (zh) * | 2015-09-18 | 2018-04-13 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| WO2017057488A1 (ja) * | 2015-09-28 | 2017-04-06 | 株式会社ＰＥＺＹ Ｃｏｍｐｕｔｉｎｇ | 半導体装置 |
| JP6570954B2 (ja) * | 2015-09-30 | 2019-09-04 | 学校法人慶應義塾 | 半導体チップ及びマルチチップモジュール |
| US10726328B2 (en) * | 2015-10-09 | 2020-07-28 | Altera Corporation | Method and apparatus for designing and implementing a convolution neural net accelerator |
| CN205680247U (zh) * | 2016-04-19 | 2016-11-09 | 陈进民 | 细胞/卷积神经网络智能视觉驾驶疲劳监测加速器 |
| CN106485317A (zh) * | 2016-09-26 | 2017-03-08 | 上海新储集成电路有限公司 | 一种神经网络加速器以及神经网络模型的实现方法 |
| US10310897B2 (en) * | 2016-09-30 | 2019-06-04 | Intel Corporation | Hardware accelerators and methods for offload operations |
-
2017
- 2017-06-16 US US15/625,810 patent/US9928460B1/en active Active
-
2018
- 2018-03-21 US US15/927,367 patent/US20180365553A1/en not_active Abandoned
- 2018-05-11 CN CN201880019410.7A patent/CN110462641A/zh active Pending
- 2018-05-11 WO PCT/US2018/032259 patent/WO2018231395A1/en unknown
- 2018-05-11 JP JP2019552135A patent/JP7058281B2/ja active Active
- 2018-05-11 EP EP18730195.7A patent/EP3574452B1/en active Active
- 2018-05-11 KR KR1020197027656A patent/KR102385350B1/ko active IP Right Grant
- 2018-05-11 EP EP21151009.4A patent/EP3822866B1/en active Active
- 2018-06-04 TW TW110133520A patent/TWI771180B/zh active
- 2018-06-04 TW TW107119110A patent/TWI741187B/zh active
-
2022
- 2022-01-07 US US17/570,784 patent/US11948060B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US9928460B1 (en) | 2018-03-27 |
| CN110462641A (zh) | 2019-11-15 |
| US20220147793A1 (en) | 2022-05-12 |
| TW201905769A (zh) | 2019-02-01 |
| EP3822866B1 (en) | 2024-07-03 |
| JP7058281B2 (ja) | 2022-04-21 |
| TWI741187B (zh) | 2021-10-01 |
| WO2018231395A1 (en) | 2018-12-20 |
| KR102385350B1 (ko) | 2022-04-11 |
| JP2020521194A (ja) | 2020-07-16 |
| EP3574452B1 (en) | 2021-02-17 |
| KR20190117712A (ko) | 2019-10-16 |
| EP3574452A1 (en) | 2019-12-04 |
| EP3822866A1 (en) | 2021-05-19 |
| US20180365553A1 (en) | 2018-12-20 |
| US11948060B2 (en) | 2024-04-02 |
| TWI771180B (zh) | 2022-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI771180B (zh) | 具有三維堆疊之類神經網路加速器塊架構 | |
| US11836598B2 (en) | Yield improvements for three-dimensionally stacked neural network accelerators | |
| KR102393946B1 (ko) | 직접-접합된 네이티브 상호접속부 및 능동 베이스 다이 | |
| US11437376B2 (en) | Compact 3D stacked-CFET architecture for complex logic cells | |
| CN101257007B (zh) | 具有时序结构的半导体装置 | |
| TW201222769A (en) | Multichip module for communications | |
| US10613754B2 (en) | Architecture and implementation of cortical system, and fabricating an architecture using 3D wafer scale integration | |
| CN113764399A (zh) | 集成电路系统、制造集成电路的方法及存储介质 | |
| CN116992820B (zh) | 一种基于芯粒集成的可扩展智能计算芯片结构 | |
| CN113451260B (zh) | 一种基于系统总线的三维芯片及其三维化方法 | |
| EP3355233B1 (en) | Semiconductor device | |
| TWI618216B (zh) | 在３ｄ積體電路中共享之矽穿孔 | |
| CN108292291A (zh) | 管芯和封装件 | |
| Or-Bach | A 1,000 x improvement in computer systems by bridging the processor-memory gap | |
| WO2018063197A1 (en) | Interconnector with bundled interconnects |