TWI787262B - 用於執行類神經網路層之計算的方法、系統及非暫時性電腦可讀儲存媒體 - Google Patents

用於執行類神經網路層之計算的方法、系統及非暫時性電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI787262B
TWI787262B TW107115823A TW107115823A TWI787262B TW I787262 B TWI787262 B TW I787262B TW 107115823 A TW107115823 A TW 107115823A TW 107115823 A TW107115823 A TW 107115823A TW I787262 B TWI787262 B TW I787262B
Authority
TW
Taiwan
Prior art keywords
matrix
dimension
inputs
input
kernel matrix
Prior art date
Application number
TW107115823A
Other languages
English (en)
Other versions
TW201830297A (zh
Inventor
羅斯強納森
麥克 索森格雷戈里
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW201830297A publication Critical patent/TW201830297A/zh
Application granted granted Critical
Publication of TWI787262B publication Critical patent/TWI787262B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8046—Systolic arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Semiconductor Memories (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明揭示包含編碼在電腦儲存媒體上之電腦程式用於計算一卷積類神經網路層之一層輸出之方法、系統及設備，該方法包括：接收複數個激發輸入；自該複數個激發輸入形成複數個向量輸入，每一向量輸入包括來自多維矩陣內之一相異區域之值；將該複數個向量輸入發送至沿脈動陣列之一第一維度之一或多個胞元；自複數個核心之各者產生複數個旋轉核心結構；將每一核心結構及每一旋轉核心結構發送至沿脈動陣列之一第二維度之一或多個胞元；引起脈動陣列基於該複數個值輸入及該複數個核心產生一累加輸出；及自該累加輸出產生該層輸出。

Description

用於執行類神經網路層之計算的方法、系統及非暫時性電腦可讀儲存媒體
本說明書係關於計算硬體中之類神經網路推理。
類神經網路係採用模型之一或多個層以針對一經接收輸入產生一輸出(例如，一分類)之機器學習模型。一些類神經網路除一輸出層之外亦包含一或多個隱藏層。每一隱藏層之輸出用作網路中之下一層(即，網路之下一隱藏層或輸出層)之輸入。網路之每一層根據一各自參數集合之當前值自一經接收輸入產生一輸出。
一些類神經網路包含一或多個卷積類神經網路層。每一卷積類神經網路層具有一相關聯核心集合。每一核心包含由憑藉一使用者產生之一類神經網路模型建立之值。在一些實施方案中，核心識別特定影像輪廓、形狀或色彩。核心可被表示為權重輸入之一矩陣結構。每一卷積層亦可處理一激發輸入集合。該激發輸入集合亦可被表示為一矩陣結構。
一些現有系統在軟體中對一給定卷積層執行計算。例如，軟體可將該層之每一核心應用至該激發輸入集合。即，對於每一核心，軟體可將可多維表示之核心覆疊在可多維表示之激發輸入之一第一部分上方。軟體接著可自經重疊元素計算一點積。點積可對應於一單個激發輸入，例如在經重疊多維空間中具有一左上位置之一激發輸入元素。例如，使用一滑動 窗，軟體接著可將核心移位以覆疊激發輸入之一第二部分並計算對應於另一激發輸入之另一點積。軟體可重複執行此程序直至每一激發輸入具有一對應點積。在一些實施方案中，將點積輸入至一激發函數，該激發函數產生激發值。可在將激發值發送至類神經網路之一後續層之前組合(例如，匯集(pooled))該等激發值。
計算卷積計算之一種方式需要一大尺寸空間中之數個矩陣乘法。一處理器可透過一蠻力方法計算矩陣乘法。例如，雖然為計算密集型及時間密集型，但處理器可針對卷積計算重複地計算個別總和及乘積。處理器將計算平行化之程度歸因於其架構而受限。
一般而言，本說明書描述一種計算類神經網路推理之專用硬體電路。
一般而言，本說明書中描述之標的物之一個發明態樣可以包含使用一二維脈動陣列自一卷積類神經網路層之一層輸入計算該卷積類神經網路層之一層輸出之動作之方法體現，該卷積類神經網路層具有複數個核心，每一核心具有權重之一各自矩陣結構，該方法包括：接收複數個激發輸入，該複數個激發輸入被表示為一多維矩陣；自該複數個激發輸入形成複數個向量輸入，每一向量輸入包括來自該多維矩陣內之一相異區域之值；將該複數個向量輸入發送至沿該脈動陣列之一第一維度之一或多個胞元；自該複數個核心之各者產生複數個旋轉核心結構，其中產生一特定旋轉核心結構包括將該核心之該各自矩陣結構中之元素沿一個維度移位；將每一核心結構及每一旋轉核心結構發送至沿該脈動陣列之一第二維度之一或多個胞元；引起該脈動陣列基於該複數個值輸入及該複數個核心產生一累加 輸出；及自該累加輸出產生該層輸出。
實施方案可包含以下特徵之一或多者。該脈動陣列之該第一維度對應於該脈動陣列之列，且其中該脈動陣列之該第二維度對應於該脈動陣列之行。將該複數個向量輸入發送至一或多個胞元包括：對於該脈動陣列之一特定列，將來自每一向量輸入之一各自元素發送至該特定列；及在該特定列中之每一胞元處，基於一多工器控制信號選擇該等各自元素之一者以儲存在該胞元中之一暫存器中。將該複數個向量輸入發送至沿該脈動陣列之一第一維度之一或多個胞元包括：將每一向量輸入發送至一相異系列的移位暫存器，在一後續時脈循環，每一移位暫存器將該向量輸入之一元素移位至一後續移位暫存器，每一移位暫存器對應於該脈動陣列中之一各自列；及對於每一列自該等對應移位暫存器選擇一輸出以在該列中使用。自該複數個激發輸入形成複數個向量輸入係基於一特定核心結構之一大小，其進一步包括：使該特定核心結構與該複數個激發輸入之該矩陣表示重疊以自該矩陣表示中之元素形成一第一向量輸入；自包圍該經重疊特定核心結構之其他元素形成一或多個其他向量輸入。自該累加輸出產生該層輸出包括：正規化及匯集該累加輸出以產生該層輸出。將該複數個向量輸入發送至沿該脈動陣列之一第一維度之一或多個胞元包括：在一特定時脈循環，將該複數個向量輸入中之一第一向量輸入儲存在該脈動陣列之一第一胞元中；及在一後續時脈循環，將該第一胞元中之該第一向量輸入移位至相鄰於該第一胞元之一第二胞元並將該複數個向量輸入中之一第二向量輸入儲存在該第一胞元中。
本說明書中描述之標的物之特定實施例可經實施以實現以下優點之一或多者。將激發輸入及權重輸入旋轉至一類神經網路處理器可引起硬體 電路更有效地處理具有卷積層之類神經網路之推理。特定言之，可並行執行多個卷積計算。此允許在每一時脈循環期間更充分地利用類神經網路處理器內之一脈動陣列。旋轉亦可允許更好地使用處理器(例如CPU及GPU)中之暫存器，此可改良效能。旋轉亦可藉由減小快取記憶體提取數目來降低功率使用。
在以下隨附圖式及描述中陳述本說明書之標的物之一或多項實施例之細節。根據描述、圖式及申請專利範圍將明白標的物之其他特徵、態樣及優點。
100:類神經網路
200:程序/方法
202:步驟
204:步驟
206:步驟
208:步驟
300:專用積體電路
302:主機介面
304:直接記憶體存取引擎
306:定序器
308:統一緩衝器
310:動態記憶體
312:矩陣計算單元
314:向量計算單元
400:架構
402:值載入器
404:胞元
406:二維脈動陣列
408:權重擷取器介面
410:累加器單元
500:架構
502:權重暫存器
504:總和輸入暫存器
506:激發暫存器
508:乘法電路
510:加總電路
512:權重路徑暫存器
600:矩陣結構
602:深度層級
604:深度層級
606:深度層級
702:深度層
706:脈動陣列
710:核心
800:圖解
802:第一時脈循環
804:時脈循環
806:第三時脈循環
900:方法
902:步驟
904:步驟
906:步驟
908:步驟
910:步驟
1000:方法
1002:步驟
1004:步驟
1006:步驟
1008:步驟
1010:步驟
1012:步驟
1014:步驟
1100:實例
1102:激發輸入
1104:核心結構
1106:輸出
1108:旋轉核心
1110:向量輸入
1112:累加值
1114:二維脈動陣列
1116:多工器信號值
1118:象限
1120:軸
圖1展示具有多個層之一例示性類神經網路。
圖2係用於對一類神經網路之一給定層執行一計算之一例示性方法之一流程圖。
圖3展示一例示性類神經網路處理系統。
圖4展示包含一矩陣計算單元之一例示性架構。
圖5展示一脈動陣列內部之一胞元之一例示性架構。
圖6展示具有空間維度及一特徵維度之一例示性矩陣結構。
圖7展示如何將一核心矩陣結構發送至一脈動陣列之一例示性圖解。
圖8展示在三個時脈循環之後胞元內部之權重輸入之一例示性圖解。
圖9係用於計算一卷積類神經網路層之一層輸出之一例示性方法之一流程圖。
圖10係用於使用資料旋轉對一類神經網路之一給定層執行一計算之一例示性方法之一流程圖。
圖11係如何使用旋轉核心矩陣結構來計算卷積計算之一例示性圖 解。
各個圖式中之相同元件符號及名稱指示相同元件。
具有多個層之一類神經網路可用於計算推理。例如，給定一輸入，類神經網路可計算針對輸入之一推理。類神經網路藉由透過類神經網路之層之各者處理輸入而計算此推理。特定言之，類神經網路層係以一序列配置，每一層具有一各自權重集合。每一層接收一輸入並根據層之權重集合處理輸入以產生一輸出。
因此，為自一經接收輸入計算一推理，類神經網路接收輸入並透過該序列中之類神經網路層之各者處理該輸入以產生推理，其中來自一個類神經網路層之輸出被提供為下一類神經網路層之輸入。至一類神經網路層之資料輸入(例如，至類神經網路之輸入或低於該序列中之層的層之輸出)可稱作至層之激發輸入。激發輸入可被表示為激發值之一矩陣結構。下文參考圖6進一步描述此矩陣結構。
在一些實施方案中，類神經網路之層依一有向圖予以配置。即，任何特定層可接收多個輸入、多個輸出或兩者。類神經網路之層亦可經配置使得一層之一輸出可作為一輸入發送回至一先前層。在一些實施方案中，類神經網路層之至少一者係一卷積層。
圖1展示具有多個層之一例示性類神經網路100。每一層可處理一特定大小之一輸入並產生另一大小之一輸出。藉由圖解，層1可處理一170 x 170 x 3影像並輸出激發值之一28 x 28 x 96矩陣。激發值之28 x 28 x 96矩陣由層2至6處理，且層6之輸出可用於產生類神經網路之一推理。層1至3可為卷積層。下文將參考圖6進一步描述此等矩陣。
如上所述，一卷積類神經網路層可具有核心之一相關聯集合。每一核心包含一權重輸入集合，該權重輸入集合在施加至該層之激發輸入時可引起產生激發值，該等激發值可用於產生該層之一輸出。在一些實施方案中，將權重輸入施加至激發輸入包含執行每一權重輸入與激發輸入之一部分之一點積。
下文將參考圖7進一步描述對一卷積層計算激發值(例如，激發值之28 x 28 x 96矩陣)。
圖2係用於使用一專用硬體電路對一類神經網路之一給定層計算一計算之一例示性程序200之一流程圖。為了方便起見，將關於具有執行方法200之一或多個電路之一系統描述方法200。可對類神經網路之每一層執行程序200以自一經接收輸入計算一推理。
系統接收權重輸入集合(步驟202)及激發輸入集合(步驟204)用於給定層。可分別自專用硬體電路之動態記憶體及一統一緩衝器(unified buffer)接收權重輸入集合及激發輸入集合。在一些實施方案中，可自統一緩衝器接收權重輸入集合及激發輸入集合兩者。
系統使用專用硬體電路之一矩陣乘法單元自權重輸入及激發輸入產生累加值(步驟206)。在一些實施方案中，累加值係權重輸入集合與激發輸入集合之點積。即，對於一個權重集合，系統可將每一權重輸入與每一激發輸入相乘並將乘積相加在一起以形成一累加值。系統可接著計算其他權重集合與其他激發輸入集合之點積。此將在下文參考圖7進一步描述。
系統可使用專用硬體電路之一向量計算單元自累加值產生一層輸出(步驟208)。在一些實施方案中，向量計算單元將一激發函數應用至累加值。層之輸出可經儲存在統一緩衝器中以用作至類神經網路中之一後續層 之一輸入或可用於判定推理。當一經接收輸入已透過類神經網路之每一層處理以產生經接收輸入之推理時，系統完成處理類神經網路。
圖3展示用於執行類神經網路計算之一例示性專用積體電路300。系統300包含一主機介面302。主機介面302可接收包含用於一類神經網路計算之參數之指令。參數可包含以下至少一或多項：應處理的層之數目、用於層之每一層之對應權重輸入集合、一初始激發輸入集合(即，至類神經網路之輸入(推理由其計算))、每一層之對應輸入及輸出大小、用於類神經網路計算之一步幅值及待處理之層之一類型(例如，一卷積層或一完全連接層)。
主機介面302可將指令發送至一定序器306，該定序器306將指令轉換為控制電路以執行類神經網路計算之低階控制信號。在一些實施方案中，控制信號調節電路中之資料流(例如，權重輸入集合及激發輸入集合如何流動通過電路)。定序器306可將控制信號發送至一統一緩衝器308、一矩陣計算單元312及一向量計算單元314。
在一些實施方案中，定序器306亦將控制信號發送至一直接記憶體存取引擎304及動態記憶體310。在一些實施方案中，定序器306係產生時脈信號之一處理器。定序器306可使用時脈信號之時序以在適當時間將控制信號發送至電路300之每一組件。在一些其他實施方案中，主機介面302接受來自一外部處理器之一時脈信號。
主機介面302可將權重輸入集合及初始激發輸入集合發送至直接記憶體存取引擎304。直接記憶體存取引擎304可將激發輸入集合儲存在統一緩衝器308處。在一些實施方案中，直接記憶體存取將權重集合儲存至動態記憶體310，該動態記憶體310可為一記憶體單元。在一些實施方案 中，動態記憶體經定位遠離電路。
統一緩衝器308係一記憶體緩衝器。其可用於儲存來自直接記憶體存取引擎304之激發輸入集合及向量計算單元314之輸出。直接記憶體存取引擎304亦可自統一緩衝器308讀取向量計算單元314之輸出。
動態記憶體310及統一緩衝器308可分別將權重輸入集合及激發輸入集合發送至矩陣計算單元312。在一些實施方案中，矩陣計算單元312係二維脈動陣列。矩陣計算單元312亦可為一維脈動陣列或可執行數學運算(例如，乘法及加法)之其他電路。在一些實施方案中，矩陣計算單元312係一通用矩陣處理器。下文將參考圖4及圖5更詳細地描述矩陣計算單元312。
矩陣計算單元312可處理權重輸入及激發輸入並將輸出之一向量提供至向量計算單元314。在一些實施方案中，矩陣計算單元將輸出之向量發送至統一緩衝器308，該統一緩衝器308將輸出之向量發送至向量計算單元314。向量計算單元可處理輸出之向量並將經處理輸出之一向量儲存至統一緩衝器308。例如，向量計算單元314可將一非線性函數應用至矩陣計算單元之輸出(例如，累加值之一向量)以產生激發值。在一些實施方案中，向量計算單元314產生正規化值、匯集值或兩者。經處理輸出之向量可用作至矩陣計算單元312之激發輸入(例如，用於類神經網路中之一後續層)。
圖4展示包含一矩陣計算單元之一例示性架構400。矩陣計算單元係二維脈動陣列406。陣列406包含多個胞元404。在一些實施方案中，脈動陣列406之一第一維度420對應於胞元之行，且脈動陣列406之一第二維度422對應於胞元之列。脈動陣列具有的列可多於行、具有的行可多於列或 具有的行及列的數目相等。
在經圖解說明之實例中，值載入器402將激發輸入發送至陣列406之列且一權重擷取器介面408將權重輸入發送至陣列406之行。然而，在一些其他實施方案中，將激發輸入傳送至陣列406之行且將權重輸入傳送至陣列406之列。
值載入器402可自一統一緩衝器(例如，圖3之統一緩衝器308)接收激發輸入。每一值載入器可將一對應激發輸入發送至陣列406之一相異最左胞元。最左胞元可為沿陣列406之一最左行之一胞元。例如，值載入器412可將一激發輸入發送至胞元414。值載入器亦可將激發輸入發送至一相鄰值載入器，且可在陣列406之另一最左胞元處使用激發輸入。此允許激發輸入移位以在陣列406之另一特定胞元中使用。
權重擷取器介面408可自一記憶體單元(例如，圖3之動態記憶體310)接收權重輸入。權重擷取器介面408可將一對應權重輸入發送至陣列406之一相異最頂部胞元。最頂部胞元可為沿陣列406之一最頂部列之一胞元。例如，權重擷取器介面408可將權重輸入發送至胞元414及416。
在一些實施方案中，一主機介面(例如，圖3之主機介面302)使激發輸入沿一個維度移位(例如，移位至右側)貫穿陣列406，同時使權重輸入沿另一維度移位(例如，移位至底部)貫穿陣列406。例如，在一個時脈循環中，胞元414處之激發輸入可移位至胞元416(其在胞元414右側)中之一激發暫存器。類似地，胞元414處之權重輸入可移位至胞元418(其在胞元414下方)處之一權重暫存器。
在每一時脈循環，每一胞元可處理一給定權重輸入及一給定激發輸入以產生一累加輸出。累加輸出亦可被傳遞至沿與給定權重輸入相同之維 度之一相鄰胞元。下文參考圖5進一步描述一個別胞元。
累加輸出可沿與權重輸入相同之行傳遞(例如，朝向陣列406中之行之底部)。在一些實施方案中，在每一行之底部處，陣列406可包含累加器單元410，其在利用權重輸入多於行之層或激發輸入多於列之層執行計算時儲存並累加來自每一行之每一累加輸出。在一些實施方案中，每一累加器單元儲存多個並行累加。累加器單元410可累加每一累加輸出以產生一最終累加值。最終累加值可被傳送至一向量計算單元(例如，圖2之向量計算單元214)。在一些其他實施方案中，累加器單元410將累加值傳遞至向量計算單元而未在處理權重輸入少於行之層或激發輸入少於列之層時執行任何累加。
圖5展示一脈動陣列(例如，圖4之脈動陣列406)內部之一胞元之一例示性架構500。
胞元可包含儲存一激發輸入之一激發暫存器506。激發暫存器可取決於胞元在脈動陣列內之位置自一左側相鄰胞元(即，定位於給定胞元左側之一相鄰胞元)或自一統一緩衝器接收激發輸入。胞元可包含儲存一權重輸入之一權重暫存器502。取決於胞元在脈動陣列內之位置，可自一頂部相鄰胞元或自一權重提取器介面傳送權重輸入。胞元亦可包含一總和輸入(sum in)暫存器504。總和輸入暫存器504可儲存來自頂部相鄰胞元之一累加值。乘法電路508可用於將來自權重暫存器502之權重輸入與來自激發暫存器506之激發輸入相乘。乘法電路508可將乘積輸出至加總電路510。
加總電路可將乘積與來自總和輸入暫存器504之累加值加總以產生一新累加值。加總電路510接著可將新累加值發送至定位於一底部相鄰胞元中之另一總和輸入暫存器。新累加值可用作底部相鄰胞元中之一加總之一 運算元。
胞元亦可將權重輸入及激發輸入移位至相鄰胞元以進行處理。例如，權重暫存器502可將權重輸入發送至底部相鄰胞元中之另一權重暫存器。激發暫存器506可將激發輸入發送至右側相鄰胞元中之另一激發暫存器。因此可在一後續時脈循環由陣列中之其他胞元重複使用權重輸入及激發輸入兩者。
在一些實施方案中，胞元亦包含一控制暫存器。控制暫存器可儲存一控制信號，該控制信號判定胞元是否應將權重輸入或激發輸入移位至相鄰胞元。在一些實施方案中，將權重輸入或激發輸入移位花費一或多個時脈循環。控制信號亦可判定是否將激發輸入或權重輸入傳送至乘法電路508或可判定乘法電路508是否對激發及權重輸入操作。控制信號亦可(例如)使用一導線傳遞至一或多個相鄰胞元。
在一些實施方案中，將權重預移位至一權重路徑暫存器512中。權重路徑暫存器512可(例如)自一頂部相鄰胞元接收權重輸入，並基於控制信號將權重輸入傳送至權重暫存器502。權重暫存器502可靜態地儲存權重輸入使得在多個時脈循環中，當激發輸入(例如)透過激發暫存器506傳送至胞元時，權重輸入保留在胞元內且並未被傳送至一相鄰胞元。因此，可(例如)使用乘法電路508將權重輸入施加至多個激發輸入，且可將各自累加值傳送至一相鄰胞元。
如上所述，對於一給定類神經網路層，脈動陣列使用二維矩陣乘法對該層執行運算。
為有效地使用脈動陣列執行卷積計算，類神經網路處理器將具有大尺寸空間(其等通常為卷積計算所需)之矩陣乘法平行化。特定言之，類神 經網路處理器可將矩陣「展平(flatten)」。藉由圖解，類神經網路程序可將一激發輸入集合展平。例如，可將該激發輸入集合表示為一3D矩陣。可將3D矩陣視覺化為2D矩陣之一堆疊。接著可將每一2D矩陣發送至脈動陣列之一列。接著可將核心發送至脈動陣列之行，且脈動陣列接著可使用核心以同時對每一2D矩陣執行數個計算，藉此將一卷積計算平行化。此將在下文參考圖6至8進一步描述。
圖6展示具有空間維度及一特徵維度之一例示性矩陣結構600。矩陣結構600可表示一激發輸入集合或一權重輸入集合。用於一激發輸入集合之一矩陣結構在本說明書中將稱為一激發矩陣結構，且用於一權重輸入集合之一矩陣結構在本說明書中將稱為一核心矩陣結構。矩陣結構600具有三個維度：兩個空間維度及一個特徵維度。
在一些實施方案中，空間維度對應於一激發輸入集合之一空間或位置。例如，若類神經網路正處理一影像(其具有兩個維度)，則矩陣結構可具有兩個空間維度，其等對應於影像之空間座標(即，XY座標)。
特徵維度對應於來自一激發輸入之特徵。每一特徵維度可具有深度層級；例如，矩陣結構600具有深度層級602、604及606。藉由圖解，若矩陣結構600表示作為一激發輸入集合發送至一第一層之一3 x 3 x 3影像，則影像(3 x 3)之X及Y維度可為空間維度，且Z維度(3)可為對應於R、G及B值之特徵維度。即，深度層級602可對應於九個「1」激發輸入(例如，紅色值)之一特徵，深度層級604可對應於九個「2」激發輸入(例如，綠色值)之一特徵，且深度層級606可對應於九個「3」激發輸入(例如，藍色值)之一特徵。
雖然圖6之實例中僅圖解說明用於特徵維度之三個深度層級，但是一 給定特徵維度可具有大量(例如數百個)特徵維度。類似地，雖然僅圖解說明一個特徵維度，但一給定矩陣結構可具有多個特徵維度。
為使用矩陣結構600對卷積層執行計算，系統必須將卷積計算轉換為二維矩陣乘法。
圖7展示如何藉由一脈動陣列706在一給定卷積層處處理圖6之一矩陣結構600之一例示性圖解。矩陣結構600可為一激發輸入集合。通常，類神經網路處理器可將激發輸入(例如，矩陣結構600內之元素)及權重輸入(例如，核心A至D 710)分別發送至陣列之列及行。激發及權重輸入可分別被移位至脈動陣列之右側及底部，且必須到達一特定位置，例如，一特定胞元處之一特定暫存器。一旦(例如，經由控制信號)判定輸入處在適當位置中，處理器便可使用儲存在胞元內之輸入執行計算以產生給定層的輸出。
類神經網路處理器在將結構600之部分發送至脈動陣列之列之前使矩陣結構600「展平」，如上文描述。即，類神經網路處理器可分裂矩陣結構600之深度層702(例如圖6之深度層602、604及606)且將每一深度層發送至一相異胞元。在一些實施方案中，將每一深度層發送至脈動陣列706之一不同列上之一胞元。例如，處理器可將來自一第一深度層之激發輸入(例如，九個「1」激發輸入之一矩陣)發送至脈動陣列706之一第一列處之一最左胞元，將來自一第二深度層之激發輸入(例如，九個「2」激發輸入之一矩陣)發送至一第二列處之一最左胞元，將來自一第三深度層之激發輸入(例如，九個「3」激發輸入之一矩陣)發送至一第三列處之一最左胞元，以此類推。
給定層可具有多個核心(例如，核心A至D 710)。核心A至D 710可具 有尺寸3 x 3 x 10之矩陣結構。處理器可將每一核心矩陣結構發送至脈動陣列706之一相異行處之一胞元。例如，可將核心A發送至一第一行中之一頂部胞元，可將核心B發送至一第二行中之一頂部胞元，以此類推。
當將一矩陣結構發送至一胞元時，可在一個時脈循環期間將矩陣之一第一元素儲存在胞元中。在下一時脈循環，可將下一元素儲存在胞元中。經儲存之第一元素可如上文參考圖5描述般移位至一相鄰胞元。輸入可繼續移位直至將矩陣結構之所有元素儲存在脈動陣列706中。激發輸入及權重輸入兩者可在一或多個時脈循環之後移位遍及每一胞元。將在下文參考圖8進一步描述脈動陣列內之輸入之移位。
在一些實施方案中，脈動陣列706具有極多個列及極多個行，例如256列及256行。若類神經網路之一給定層具有的權重輸入集合少於脈動陣列706中之行，則處理器可為權重核心集合複製一或多個矩陣結構並將經複製矩陣結構發送至陣列706之未使用行。若給定層具有的激發輸入集合少於陣列中之行，則處理器可為激發輸入集合複製一或多個矩陣結構並將經複製矩陣結構發送至陣列706之未使用列。藉由複製激發輸入集合或權重輸入集合或其二者，處理器可並行執行多個卷積計算。
圖8展示在三個時脈循環之後一例示性3 x 3脈動陣列之胞元內部之權重輸入之一例示性圖解800。每一胞元可儲存一權重輸入及一激發輸入，如上文參考圖5描述。可將權重輸入發送至脈動陣列之相異行處之胞元以進行卷積計算，如上文參考圖7描述。藉由圖解，系統將具有1、2及4之權重輸入之一第一核心矩陣結構發送至脈動陣列之一第一行。系統將具有3、5及7之權重輸入之一第二核心矩陣結構發送至一第二行。系統將具有6、8及10之權重輸入之一第三核心矩陣結構發送至一第三行。在每個時 脈循環之後，權重輸入可在一個維度中(例如，自頂部至底部)移位，而激發輸入可在另一維度中(例如，自左至右)移位(未圖解說明)。
權重輸入可以一交錯方式儲存在胞元內。即，在一第一時脈循環802之後脈動陣列之一狀態在一左上胞元內部展示一「1」。「1」表示儲存在胞元中之權重輸入「1」。在下一時脈循環804處，「1」移位至左上胞元下方之一胞元，且來自核心之另一權重輸入「2」儲存在左上胞元中且一權重輸入「3」儲存在一第二行處之一最頂部胞元處。
在一第三時脈循環806上，每一權重再次移位。在第一行中，一最底部胞元儲存「1」權重輸入，「2」權重輸入儲存於在先前循環儲存「1」權重輸入之處，且一「4」權重輸入儲存在最左上胞元中。類似地，在第二行中，「3」向下移位，且一「5」權重輸入儲存在頂部-中間胞元中。在第三行中，一「6」權重輸入儲存在最右上胞元中。
在一些實施方案中，用於權重輸入且判定權重輸入是否應移位之一控制信號亦連同權重輸入一起移位。
激發輸入可以一類似方式在其他維度中(例如，自左至右)移位。
一旦激發輸入及權重輸入處在適當位置中，處理器便可(例如)藉由使用胞元內之乘法及加總電路執行一卷積計算，以產生待在一向量計算單元中使用之一累加值集合。
雖然已描述其中將權重輸入發送至陣列之行且將激發輸入發送至陣列之列之系統，但在一些實施方案中，將權重輸入發送至陣列之列且將激發輸入發送至陣列之行。
在一些實施方案中，一類神經網路模型具有大於1之一步幅參數。處理器可藉由將激發輸入及權重輸入之矩陣結構轉換為具有一較大特徵維度 及較小空間維度之各自經置換矩陣結構而以該步幅參數執行計算。
在一些實施方案中，當處理影像時，處理器置換(即，重新映射)激發矩陣結構以具有以下大小：CEIL(X/X_stride)x CEIL(Y/Y_stride)x(Sizeof(RGB)* X_stride * Y_stride)，其中X及Y係矩陣結構維度之大小，X_stride及Y_stride係步幅參數，且Sizeof(RGB)係3。核心矩陣結構亦可使用相同公式置換。例如，若步幅參數係2 x 2，激發矩陣結構最初係170 x 170 x 3且核心矩陣結構係7 x 7 x3，則經置換激發矩陣結構可為85 x 85 x 12且經置換核心矩陣結構可為4 x 4 x 12。
激發及核心矩陣結構之座標可使用以下公式映射至經置換座標：[CEIL(X/2),CEIL(Y/2),Z+3 *(X% 2)+6 *(Y% 2)]，其中X、Y及Z表示各自矩陣結構中之一座標。其他公式可包含[CEIL(X/2),CEIL(Y/2),Z+3 *(Y% 2)+6 *(X% 2)]或[CEIL(X/2),CEIL(Y/2),2 *Z+(X% 2)+6 *(Y% 2)]。
圖9係用於計算一卷積類神經網路層之一層輸出之一例示性方法之一流程圖。為了方便起見，將關於具有執行方法900之一或多個電路(例如，圖3之電路300)之一系統描述方法900。可對類神經網路之每一卷積層執行方法900以自一經接收輸入計算一推理。
如上所述，一卷積類神經網路層可具有一核心集合，且每一核心可被表示為權重之一矩陣結構。
該系統可自一影像接收一層輸入(例如，資料)(步驟902)。層輸入可被表示為具有多個深度層級之一多維矩陣，如上文在圖6之矩陣結構600中所描述。
該系統可將每一核心矩陣結構發送至沿該系統內之一脈動陣列之一 第一維度之一相異胞元(步驟904)。在一些實施方案中，沿第一維度之胞元係沿陣列之行定位之胞元。例如，一給定核心矩陣結構可被轉換為元素之一向量，且每一元素可如上文參考圖8描述般移位穿過脈動陣列之一行。
對於每一深度層級，該系統可將相異激發輸入之各自矩陣發送至沿脈動陣列之一第二維度之一相異胞元(步驟906)。此在上文參考圖7進行描述。在一些實施方案中，沿第二維度之相異胞元係沿陣列之列定位之胞元。一特定深度層級處之激發輸入可被轉換為元素之一向量，且每一元素可如上文參考圖8描述般移位穿過脈動陣列之一列。
如上文參考圖4所描述，該系統可引起脈動陣列自發送至胞元之各自矩陣產生一累加輸出(步驟908)。
該系統可如上文參考圖3至4所述般自累加輸出產生層輸出(步驟910)。
通常，資料旋轉係將資料旋轉移位以使電路能夠執行展平卷積計算同時最大化電路之利用率之一概念。電路可旋轉資料(其之一實例將在下文參考圖10進行描述)，且將旋轉資料之資料流引導至脈動陣列使得在幾個時脈循環過程中計算之點積產生一累加值集合，使用一單執行緒處理器架構計算該累加值集合(例如)通常將花費大量時脈循環。
圖10係用於使用資料旋轉對一類神經網路之一給定層執行一計算之一例示性方法之一流程圖。為了方便起見，將關於具有執行方法1000之一或多個電路之一系統描述方法1000。
該系統接收一激發輸入集合及若干權重輸入集合(步驟1002)。如上文參考圖3描述，可在二維脈動陣列處自一統一緩衝器及一動態記憶體單 元接收激發及權重輸入。該激發輸入集合及每一權重輸入集合可被表示為如上文參考圖6描述之一多維矩陣結構。
圖11係如何使用旋轉核心矩陣結構來使用二維脈動陣列1114計算卷積計算之一實例1100。如圖11之實例中所示，經接收激發輸入集合可為激發輸入1102(即，激發輸入之5 x 5矩陣)，且一例示性權重輸入集合可為核心結構1104。為了簡單起見，實例1100圖解說明可如何使用二維影像及二維核心在一類神經網路之一第一層處執行一卷積計算。第一層可接收一170 x 170激發輸入集合(例如，一影像)，且第一層可具有被表示為一3 x 3核心矩陣結構1104之權重輸入之一核心(即，具有3 x 3空間維度之一核心)。實例1100圖解說明二維權重旋轉。
在一些實施方案中，該系統藉由自一較大激發輸入集合選擇該激發輸入集合(而非接收該激發輸入集合)來判定該激發輸入集合。可基於施加至該激發輸入集合之核心之維度而選擇該激發輸入集合(即，5 x 5部分)。例如，該系統可選取藉由將影像劃分為5 x 5部分(例如，5 x 5激發輸入1102)來處理170 x 170影像，此乃因5 x 5部分係用來使用一3 x 3核心結構計算卷積。
特定言之，當計算一單個元素之卷積(即，累加值)時，該系統將核心結構1104覆疊在該激發輸入集合上方，並使用經重疊元素計算一點積。例如，為計算最左上元素12之一卷積，該系統使用象限1118內部之所有元素。類似地，為計算象限1118中之底部三個元素及最右三個元素之卷積，3 x 3核心矩陣結構1104與激發輸入1102之一5 x 5部分內之元素重疊。
返回至圖10之描述，該系統自該激發輸入集合形成若干向量輸入集 合(步驟1004)。該系統可使用該權重輸入集合之一核心矩陣結構(例如，圖11之3 x 3核心結構1104)之維度以識別該等向量輸入集合。特定言之，該系統可將核心矩陣結構重疊至激發輸入之一部分上，例如，3 x 3核心結構1104與激發輸入1102之一象限1118重疊。
基於重疊部分，該系統可將激發輸入1102劃分為4個象限，例如，參見軸1120。特定言之，象限可定位於激發輸入1102上方使得至少一個象限與核心矩陣結構重疊，例如，象限1118與一3 x 3核心結構維度重疊，但其他三個象限未與一3 x 3核心結構維度重疊。
來自每一象限之元素可用於形成一向量輸入。藉由圖解，激發輸入1102被劃分為4個向量輸入集合1110：[12,9,11,3,1,10,11,6,6]、[9,2,10,0,5,3]、[12,9,6,9,15,13]、[7,6,12 2]。在一些實施方案中，向量輸入可藉由沿頂部至底部、接著左至右方向讀取一象限中之元素來排序。
在一些實施方案中，若象限具有的元素少於核心中之元素數目，則 可用(例如)0填補元素。例如，一特定象限可具有以一2 x 3矩陣
Figure 107115823-A0305-02-0021-6
表示之激發輸入。2 x 3矩陣可經填補以匹配核心結構1104之維度(即，一 3 x 3矩陣
Figure 107115823-A0305-02-0021-3
)。該電路接著可沿頂部至底部、然後左至右方向讀取元素以形成一向量輸入集合，例如，參見MUX值2下的向量輸入1110：[12 9-6 9-15 13-]。
在一些實施方案中，激發輸入被劃分為X個區域，而非被劃分為象限，其中X=2^n，且其中n係核心矩陣結構之維度數目。該系統接著可自每一區域中之元素產生一向量輸入集合。
返回至圖10之描述，該系統將該向量輸入集合發送至沿脈動陣列之 一第一維度之一或多個胞元，例如列胞元(步驟1006)。在一些實施方案中，該系統首先將該向量輸入集合發送至相鄰於脈動陣列之值載入器，例如參考圖4描述之值載入器。每一值載入器可儲存多個激發輸入並基於由該系統判定之一選擇器(例如，一多工器控制信號)選擇一個激發輸入以發送至沿第一維度之一胞元。例如，若存在4個向量輸入集合，則一給定值載入器可儲存4個激發輸入，即，來自每一向量輸入集合之一個激發輸入。
如圖11的實例中所示，可將4個向量輸入集合1110：[12,9,11,3,1,10,11,6,6]、[9,2,10,0,5,3]、[12,9,6,9,15,13]、[7,6,12 2]發送至脈動陣列1114之值載入器。每一值載入器可包含接收4個向量輸入及一控制信號之一多工器。
基於應將哪個激發輸入發送至給定值載入器之各自列胞元以完成卷積計算，該系統可判定一適當多工器控制信號，其可由類神經網路處理器產生以引起值載入器將適當激發輸入發送至各自列胞元。
作為一實例，在圖11中，多工器控制信號可判定將哪個向量之哪個元素發送至值載入器的對應列胞元且藉此用在當前操作中。電路(例如，圖2之一主機202)可基於一給定卷積計算需要計算哪些剩餘乘積來選擇多工器控制信號。
例如，為了簡單起見，考慮激發輸入A及權重輸入B。因為激發輸入及權重輸入兩者以一交錯方式載入至脈動陣列1114中，如上文參考圖8描述，所以當計算A與B之一乘積作為一卷積計算之部分時，該系統選擇在特定時脈循環(在該時脈循環期間將計算乘積)處將A置於與B相同之胞元中之一多工器信號值。該系統可選擇多工器信號值(例如，值1116)以執行 每一向量之每一元素之卷積。
在一些實施方案中，在一個時脈循環之後，值載入器中之激發輸入被移位至對應於一相鄰列之一相鄰值載入器。此允許向量輸入中之元素移位至脈動陣列之不同列，藉此曝露元素以在其他列中使用。即，若由象限1118形成之向量中之元素12未在第一列的任何行中使用，則元素12可在一後續時脈循環移位至一鄰近列，且可由一多工器信號選擇以在脈動陣列中之一特定行處之一胞元中使用。在一些實施方案中，使每一向量輸入之元素跨值載入器移位，藉此使元素跨列旋轉被稱作值旋轉。
在一些實施方案中，將激發輸入(例如在多個時脈循環中)基於多工器控制信號之交錯載入稱作使激發輸入在時間上旋轉。
返回至圖10之描述，該系統針對每一權重輸入集合產生旋轉核心矩陣結構(步驟1008)。每一權重輸入集合被表示為一核心矩陣結構。一核心矩陣結構可藉由使核心矩陣結構中之元素沿一個維度移位而旋轉。例如，該維度可在X維度、Y維度或Z維度中。
例如，在圖11之實例中，類神經網路處理器可自核心1104產生旋轉核心1108。此可被稱作使給定核心在空間上旋轉。例如，處理器可使核心結構之元素沿X維度或Y維度移位。即，核心結構1104
Figure 107115823-A0305-02-0023-4
之元素可左移或右移及上移或下移以產生8個旋轉核心結構1108，總共9個核心結構。若核心結構具有4 x 4之一大小，則處理器可產生16個個旋轉，即，4 * 4。若核心結構具有3 x 3 x 3之一大小，則處理器可產生27個旋轉，即，3 * 3 * 3。
在一些實施方案中，處理器藉由改變激發輸入沿著陣列之列移動的速度而在值旋轉中使用步幅。例如，激發輸入每個時脈循環可移位一個以 上列。
在一些實施方案中，處理器產生部分資料旋轉。即，代替產生所有可能旋轉，處理器產生一些可能旋轉以在陣列之一第一遍次上使用且產生可能旋轉之剩餘部分以在陣列之一後續遍次上使用。例如，代替產生8個旋轉核心結構1108，處理器產生4個旋轉核心結構1108以在第一遍次上使用且產生另外4個旋轉核心結構1108以在第二遍次上使用。在可能旋轉多於陣列之未使用行之情境中，處理器可產生一些可能旋轉。
返回至圖10之描述，系統將每一核心矩陣結構(旋轉及未旋轉)發送至沿脈動陣列之一第二維度之胞元(例如，行胞元)(步驟1010)。在圖11中，可將核心結構1104及每一旋轉核心結構發送至脈動陣列1114之相異行胞元。一行下的每一列數字表示一多工器(MUX)控制信號、一激發輸入(A)及一權重輸入(W)。激發輸入及權重輸入之數字可表示儲存在脈動陣列1114中之一胞元之暫存器內之值。
藉由圖解，總共9個核心結構被發送至脈動陣列1114之9個不同行。每一核心結構具有9個權重輸入元素，其等(例如)以如參考圖8描述之一交錯方式儲存在脈動陣列之9個列中。來自向量輸入集合1110之激發輸入元素基於被傳送至MUX之控制信號而儲存在特定胞元中。控制信號可被預程式化至類神經網路處理器中。例如，行0之第一列具有一MUX值0。因此，脈動陣列1114可自向量輸入1110選擇對應於第一列及MUX值0之一值，即，來自向量輸入[12,9,11,3,1,10,11,6,6]之第一元素。行1之第一列具有一MUX值1。因此，脈動陣列1114可自向量輸入1110選擇對應於第一列及MUX值1之一值，即，來自向量輸入[9,2,10,0,5,3]之第一元素。
返回至圖10之描述，系統自脈動陣列產生累加輸出(步驟1012)。在一些實施方案中，脈動陣列計算儲存在其胞元中之權重輸入與激發輸入之一點積。在圖11之實例中，當激發輸入及權重輸入兩者儲存在適當胞元中時(例如，可由MUX信號進行)，脈動陣列1114在每一行基礎上執行激發輸入與權重輸入之一點積以(例如)使用脈動陣列之胞元內之乘法及加總電路產生累加值1112。累加值1112可形成一輸出1106，其可被發送至上文參考圖2描述之一向量計算單元。
例如，對於行0，脈動陣列1114可使用核心
Figure 107115823-A0305-02-0025-5
及來自向量[12,9,11,3,1,10,11,6,6]之激發輸入執行一點積。其他向量輸入集合未用於行0中，因為對應MUX值係0。因此，脈動陣列藉由執行一點積計算行0之一累加值250，即，12 * 0+9 * 1+11 * 2+3 * 3+1 * 4+10 * 5+11 * 6+6 * 7+6 * 8=250。
返回至圖10之描述，系統自累加輸出產生一層輸出(步驟1014)。可將累加輸出發送至一向量計算單元，例如參考圖3描述之向量計算單元。向量計算單元可處理累加輸出並產生輸出，(例如)如上文參考圖2描述。層輸出可經發送並儲存在統一緩衝器處。
脈動陣列繼續對整個激發輸入集合(即，整個170 x 170影像)進行卷積計算。在一些實施方案中，卷積計算係以一偽光柵化順序執行。即，因為卷積計算係並行執行，所以以一正常光柵順序執行卷積計算可引起重複卷積計算，此將係低效的。代替性地，類神經網路處理器可以自左至右之一順序、自頂部至底部順序(跳過先前平行卷積計算中已執行之卷積計算)執行。實際上，相比於依一正常光柵順序之單個輸出，處理器每次可輸出資料塊。
在一些實施方案中，若不存在足夠的未使用行或列，則分別產生旋轉核心結構之一子集且將向量輸入之一子集發送至脈動陣列。剩餘旋轉核心結構及剩餘向量輸入可在一後續遍次上發送至脈動陣列。在一些實施方案中，旋轉核心結構、向量輸入或兩者經複製以在脈動陣列1114之其他未使用行中使用，此參考圖7類似地描述。即，核心結構及向量輸入可經複製並分別發送至脈動陣列之未使用行及列以並行執行計算。
本說明書中描述之標的物及功能操作之實施例可在數位電子電路、有形體現電腦軟體或韌體、電腦硬體(包含本說明書中揭示之結構及其等結構等效物)或其等之一或多者之組合中實施。本說明書中描述之標的物之實施例可被實施為一或多個電腦程式(即，編碼在一有形非暫時性程式載體上用於由資料處理設備執行或控制資料處理設備之操作之電腦程式指令之一或多個模組)。替代地或此外，可將程式指令編碼在經產生以編碼傳輸至適合接收器設備以由一資料處理設備執行之資訊之一人工產生之傳播信號(例如，一機器產生之電、光學或電磁信號)上。電腦儲存媒體可為一機器可讀儲存裝置、一機器可讀儲存基板、一隨機或串列存取記憶體裝置或其等之一或多者之一組合。
術語「資料處理設備」涵蓋用於處理資料之所有種類的設備、裝置及機器，包含(例如)一可程式化處理器、一電腦或多個處理器或電腦。該設備可包含專用邏輯電路，例如FPGA(場可程式化閘陣列)或ASIC(專用積體電路)。除硬體之外，該設備亦可包含針對討論中的電腦程式產生一執行環境之程式碼，例如，構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統或其等之一或多者之一組合之程式碼。
一電腦程式(其亦可稱為或描述為一程式、軟體、一軟體應用程式、 一模組、一軟體模組、一指令檔或程式碼)可以任何形式的程式設計語言(包含編譯或解譯語言或宣告或程序語言)寫入且其可以任何形式部署(包含部署為一獨立程式或一模組、組件、子常式或適用於在一計算環境中使用之其他單元)。一電腦程式可(但不一定)對應於一檔案系統中之一檔案。一程式可被儲存在保存其他程式或資料(例如，儲存在一標記語言文件中之一或多個指令檔)之一檔案之一部分中，儲存在專用於討論中的程式之一單個檔案或多個協調檔案(例如，儲存一或多個模組、子程式或程式碼部分之檔案)中。一電腦程式可經部署以在一個電腦上執行或在定位於一個站點處或跨多個站點分佈且由一通信網路互連之多個電腦上執行。
本說明書中描述之程序及邏輯流程可由執行一或多個電腦程式之一或多個可程式化電腦執行以藉由對輸入資料操作且產生輸出而執行功能。程序及邏輯流程亦可由以下各者執行且設備亦可實施為以下各者：專用邏輯電路，例如，FPGA(場可程式化閘陣列)或ASIC(專用積體電路)。
適用於執行一電腦程式之電腦包含(例如)、可基於通用或專用微處理器或兩者或任何其他種類的中央處理單元。一般而言，一中央處理單元將自一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦之必要元件係用於執行指令之一中央處理單元及用於儲存指令及資料之一或多個記憶體裝置。一般而言，一電腦亦將包含用於儲存資料之一或多個大容量儲存裝置(例如，磁碟、磁光碟或光碟)或可操作地耦合以自該一或多個大容量儲存裝置接收資料或將資料傳送至該一或多個大容量儲存裝置或兩者。然而，一電腦無需具有此等裝置。此外，一電腦可嵌入另一裝置中，例如行動電話、個人數位助理(PDA)、行動音訊或視訊播放器、遊戲控制台、全球定位系統(GPS)接收器或可攜式儲存裝置(例如通用串列匯流排 (USB)快閃磁碟機)(僅舉幾例)。
適於儲存電腦程式指令及資料之電腦可讀媒體包含所有形式之非揮發性記憶體、媒體及記憶體裝置，包含(例如)：半導體記憶體裝置，例如，EPROM、EEPROM及快閃記憶體裝置；磁碟，例如內部硬碟或可抽換式磁碟；磁光碟；及CD-ROM及DVD-ROM光碟。處理器及記憶體可由專用邏輯電路補充或併入至專用邏輯電路中。
為發送與一使用者之互動，可在具有用於將資訊顯示給使用者之一顯示裝置(例如，一CRT(陰極射線管)或LCD(液晶顯示器)監視器)及一鍵盤及使用者可藉由其將輸入發送至電腦之一指標裝置(例如，一滑鼠或一軌跡球)之一電腦上實施本說明書中所描述之標的物之實施例。其他種類之裝置亦可用以發送與一使用者之互動；例如，提供至使用者之回饋可係任何形式之感官回饋，例如視覺回饋、聽覺回饋或觸覺回饋；來自使用者之輸入可以任何形式接收，包含聲學、語音或觸覺輸入。此外，一電腦可藉由將文件發送至由一使用者使用之一裝置或自該裝置接收文件而與該使用者互動；例如，藉由回應於自一使用者之用戶端裝置上之一網頁瀏覽器接收之請求將網頁發送至該網頁瀏覽器。
可在包含一後端組件(例如作為一資料伺服器)或包含一中間軟體組件(例如一應用程式伺服器)或包含一前端組件(例如，具有一圖形使用者介面或一使用者可透過其與本說明書中所描述之標的物之一實施方案互動之一網頁瀏覽器之一用戶端電腦)或一或多個此等後端、中間軟體或前端組件之任何組合之一電腦系統中實施本說明書中所描述之標的物之實施例。系統之組件可藉由數位資料通信(例如，一通信網路)之任何形式或媒體互連。通信網路之實例包含一區域網路(「LAN」)及一廣域網路 (「WAN」)，例如，網際網路。
計算系統可包含用戶端及伺服器。用戶端及伺服器通常彼此遠離且通常透過一通信網路互動。用戶端與伺服器之關係由運行於各自電腦上且彼此具有一用戶端-伺服器關係之電腦程式引起。
雖然本說明書含有諸多特定實施方案細節，但不應將此等細節理解為對任何發明或可主張之內容之範疇之限制，而應理解為特定發明之特定實施例所特有之特徵之描述。亦可在一單一實施例中組合實施在本說明書中在單獨實施例之上下文中所描述之特定特徵。相反地，亦可在多項實施例中單獨地實施或以任何適合子組合實施在一單一實施例之上下文中所描述之各種特徵。此外，儘管在上文可將特徵描述為以特定組合起作用且甚至最初如此主張，然來自一經主張組合之一或多個特徵可在一些情況中自該組合刪除且該經主張組合可關於一子組合或一子組合之變動。
類似地，雖然在圖式中依一特定順序描繪操作，但此不應理解為要求依所展示之特定順序或循序順序執行此等操作，或執行全部經圖解說明之操作以達成所要結果。在某些情況中，多任務處理及平行處理可為有利的。此外，不應將上文所描述之實施例中之各種系統模組及組件之分離理解為在所有實施例中需要此分離，且應理解，通常可將所描述之程式組件及系統一起整合於一單一軟體產品中或封裝至多個軟體產品中。
已描述標的物之特定實施例。其他實施例係在以下申請專利範圍之範疇內。例如，敘述於申請專利範圍中之動作可以一不同順序執行且仍達成所要結果。作為一實例，在附圖中描繪之程序不一定需要所展示之特定順序或循序順序以達成所要結果。在特定實施方案中，多任務及平行處理可係有利的。
1000:方法
1002:步驟
1004:步驟
1006:步驟
1008:步驟
1010:步驟
1012:步驟
1014:步驟

Claims (20)

  1. 一種使用經組態以計算類神經網路推理(inferences)之一硬體電路以執行一類神經網路層之計算之方法，該方法包括：在該硬體電路處接收對應於一核心矩陣之一組權重(weight)輸入及對應於一向量輸入之一組激發(activation)輸入；在該硬體電路處旋轉該核心矩陣以產生包括權重輸入之一旋轉核心矩陣，該等權重輸入相對於該核心矩陣之權重輸入在一矩陣結構中移位；沿著一計算單元之一第一維度提供該向量輸入、沿著該計算單元之一第二維度提供該核心矩陣及沿著該計算單元之該第二維度提供該旋轉核心矩陣至該硬體電路之該計算單元；及在該硬體電路處藉由使用包括該向量輸入、該核心矩陣及該旋轉核心矩陣之資料輸入來平行計算多個各自卷積(convolutions)而產生該類神經網路層之一層輸出。
  2. 如請求項1之方法，其中沿著該計算單元之該第一維度提供該向量輸入包括：沿著該第一維度發送該向量輸入至多個胞元(cells)之一相異(distinct)胞元，每一胞元經組態以基於一時脈循環將該向量輸入之一單元移位至該等多個胞元之一後續胞元。
  3. 如請求項1之方法，其中產生該層輸出包括： 基於使用該等資料輸入平行計算之該多個各自卷積而產生累加值；及提供該等累加值至該硬體電路之一向量計算單元，該硬體電路經組態以基於該等累加值產生該層輸出。
  4. 如請求項3之方法，其中基於該等累加值產生該層輸出包括正規化(normalize)該等累加值或匯集該等累加值之至少一者以產生該層輸出。
  5. 如請求項3之方法，其進一步包括：使用該等資料輸入以計算在一臨限數目之時脈循環中用於產生該等累加值之點積(dot products)。
  6. 如請求項1之方法，其中旋轉該核心矩陣包括：至少藉由將該核心矩陣之元件沿著該計算單元之該第二維度移位而空間地旋轉該核心矩陣以形成該旋轉核心矩陣。
  7. 如請求項1之方法，其中旋轉該核心矩陣包括：至少藉由基於在該硬體電路處產生之每一時脈循環將該核心矩陣之元件沿著該計算單元之該第二維度重複移位而時間地旋轉該核心矩陣以形成該旋轉核心矩陣。
  8. 如請求項1之方法，其中：該計算單元係包括一二維脈動陣列之一矩陣計算單元， 該計算單元之該第一維度對應於該脈動陣列之列(rows)，及該計算單元之該第二維度對應於該脈動陣列之行(columns)。
  9. 一種用於執行一類神經網路層之計算之系統，其使用經組態以計算類神經網路推理之該系統之一硬體電路，該系統包括：一或多個處理器；及一或多個非暫時性電腦可讀媒體，其耦接至該一或多個處理器且具有儲存於其上之指令，當該等指令藉由該一或多個處理器執行時，致使該一或多個處理器執行以下之操作：在該硬體電路處接收對應於一核心矩陣之一組權重輸入及對應於一向量輸入之一組激發輸入；在該硬體電路處旋轉該核心矩陣以產生包括權重輸入之一旋轉核心矩陣，該等權重輸入相對於該核心矩陣之權重輸入在一矩陣結構中移位；沿著一計算單元之一第一維度提供該向量輸入、沿著該計算單元之一第二維度提供該核心矩陣及沿著該計算單元之該第二維度提供該旋轉核心矩陣至該硬體電路之該計算單元；及在該硬體電路處藉由使用包括該向量輸入、該核心矩陣及該旋轉核心矩陣之資料輸入來平行計算多個各自卷積而產生該類神經網路層之一層輸出。
  10. 如請求項9之系統，其中沿著該計算單元之該第一維度提供該向量輸入包括： 沿著該第一維度發送該向量輸入至多個胞元之一相異胞元，每一胞元經組態以基於一時脈循環將該向量輸入之一單元移位至該等多個胞元之一後續胞元。
  11. 如請求項9之系統，其中產生該層輸出包括：基於使用該等資料輸入平行計算之該多個各自卷積而產生累加值；及提供該等累加值至該硬體電路之一向量計算單元，該硬體電路經組態以基於該等累加值產生該層輸出。
  12. 如請求項11之系統，其中基於該等累加值產生該層輸出包括正規化該等累加值或匯集該等累加值之至少一者以產生該層輸出。
  13. 如請求項11之系統，其中該等操作進一步包括：使用該等資料輸入以計算在一臨限數目之時脈循環中用於產生該等累加值之點積。
  14. 如請求項9之系統，其中旋轉該核心矩陣包括：至少藉由將該核心矩陣之元件沿著該計算單元之該第二維度移位而空間地旋轉該核心矩陣以形成該旋轉核心矩陣。
  15. 如請求項9之系統，其中旋轉該核心矩陣包括：至少藉由基於在該硬體電路處產生之每一時脈循環將該核心矩陣 之元件沿著該計算單元之該第二維度重複移位而時間地旋轉該核心矩陣以形成該旋轉核心矩陣。
  16. 如請求項9之系統，其中：該計算單元係包括一二維脈動陣列之一矩陣計算單元，該計算單元之該第一維度對應於該脈動陣列之列(rows)，及該計算單元之該第二維度對應於該脈動陣列之行(columns)。
  17. 一種具有儲存於其上而實施於一硬體電路上之用於執行操作以計算一類神經網路層之一輸出之指令的非暫時性電腦可讀儲存媒體，當該等指令藉由一或多個處理器執行時，致使該一或多個處理器執行該等操作，該等操作包括：在該硬體電路處接收對應於一核心矩陣之一組權重輸入及對應於一向量輸入之一組激發輸入；在該硬體電路處旋轉該核心矩陣以產生包括權重輸入之一旋轉核心矩陣，該等權重輸入相對於該核心矩陣之權重輸入在一矩陣結構中移位；沿著一計算單元之一第一維度提供該向量輸入、沿著該計算單元之一第二維度提供該核心矩陣及沿著該計算單元之該第二維度提供該旋轉核心矩陣至該硬體電路之該計算單元；及在該硬體電路處藉由使用包括該向量輸入、該核心矩陣及該旋轉核心矩陣之資料輸入來平行計算多個各自卷積而產生該類神經網路層之一層輸出。
  18. 如請求項17之非暫時性電腦可讀儲存媒體，其中沿著該計算單元之該第一維度提供該向量輸入包括：沿著該第一維度發送該向量輸入至多個胞元之一相異胞元，每一胞元經組態以基於一時脈循環將該向量輸入之一單元移位至該等多個胞元之一後續胞元。
  19. 如請求項17之非暫時性電腦可讀儲存媒體，其中產生該層輸出包括：基於使用該等資料輸入平行計算之該多個各自卷積而產生累加值；及提供該等累加值至該硬體電路之一向量計算單元，該硬體電路經組態以基於該等累加值產生該層輸出。
  20. 如請求項17之非暫時性電腦可讀儲存媒體，其中旋轉該核心矩陣包括：至少藉由將該核心矩陣之元件沿著該計算單元之該第二維度移位而空間地旋轉該核心矩陣以形成該旋轉核心矩陣；或至少藉由基於在該硬體電路處產生之每一時脈循環將該核心矩陣之元件沿著該計算單元之該第二維度重複移位而時間地旋轉該核心矩陣以形成該旋轉核心矩陣。
TW107115823A 2015-05-21 2016-05-20 用於執行類神經網路層之計算的方法、系統及非暫時性電腦可讀儲存媒體 TWI787262B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562164998P 2015-05-21 2015-05-21
US62/164,998 2015-05-21
US14/845,022 US9805303B2 (en) 2015-05-21 2015-09-03 Rotating data for neural network computations
US14/845,022 2015-09-03

Publications (2)

Publication Number Publication Date
TW201830297A TW201830297A (zh) 2018-08-16
TWI787262B true TWI787262B (zh) 2022-12-21

Family

ID=55971206

Family Applications (3)

Application Number Title Priority Date Filing Date
TW105115870A TWI627593B (zh) 2015-05-21 2016-05-20 用於類神經網路計算的旋轉資料
TW111145466A TWI826149B (zh) 2015-05-21 2016-05-20 用於執行類神經網路層之計算的方法、系統及非暫時性電腦可讀儲存媒體
TW107115823A TWI787262B (zh) 2015-05-21 2016-05-20 用於執行類神經網路層之計算的方法、系統及非暫時性電腦可讀儲存媒體

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW105115870A TWI627593B (zh) 2015-05-21 2016-05-20 用於類神經網路計算的旋轉資料
TW111145466A TWI826149B (zh) 2015-05-21 2016-05-20 用於執行類神經網路層之計算的方法、系統及非暫時性電腦可讀儲存媒體

Country Status (4)

Country Link
US (6) US9805303B2 (zh)
DE (1) DE202016107446U1 (zh)
TW (3) TWI627593B (zh)
WO (1) WO2016186826A1 (zh)

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353860B2 (en) * 2015-10-08 2019-07-16 Via Alliance Semiconductor Co., Ltd. Neural network unit with neural processing units dynamically configurable to process multiple data sizes
FR3045893B1 (fr) * 2015-12-21 2017-12-29 Commissariat Energie Atomique Circuit electronique, notamment apte a l'implementation de reseaux de neurones a plusieurs niveaux de precision.
US10616314B1 (en) 2015-12-29 2020-04-07 Amazon Technologies, Inc. Dynamic source routing for data transfer
US10482380B2 (en) * 2015-12-30 2019-11-19 Amazon Technologies, Inc. Conditional parallel processing in fully-connected neural networks
GB201607713D0 (en) 2016-05-03 2016-06-15 Imagination Tech Ltd Convolutional neural network
US20180046898A1 (en) * 2016-08-11 2018-02-15 Vivante Corporation Zero Coefficient Skipping Convolution Neural Network Engine
EP3522158B1 (en) * 2016-09-27 2023-08-23 Panasonic Intellectual Property Management Co., Ltd. Audio signal processing device, audio signal processing method, and control program
US10515302B2 (en) * 2016-12-08 2019-12-24 Via Alliance Semiconductor Co., Ltd. Neural network unit with mixed data and weight size computation capability
US10032110B2 (en) * 2016-12-13 2018-07-24 Google Llc Performing average pooling in hardware
US10037490B2 (en) * 2016-12-13 2018-07-31 Google Llc Performing average pooling in hardware
CN108255775A (zh) * 2016-12-28 2018-07-06 上海磁宇信息科技有限公司 用于细胞阵列计算系统的细胞阵列总线广播方法
US10521488B1 (en) 2016-12-30 2019-12-31 X Development Llc Dynamic partitioning
US10565492B2 (en) * 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10565494B2 (en) * 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10586148B2 (en) * 2016-12-31 2020-03-10 Via Alliance Semiconductor Co., Ltd. Neural network unit with re-shapeable memory
US9959247B1 (en) * 2017-02-17 2018-05-01 Google Llc Permuting in a matrix-vector processor
US10062378B1 (en) * 2017-02-24 2018-08-28 International Business Machines Corporation Sound identification utilizing periodic indications
US10896367B2 (en) * 2017-03-07 2021-01-19 Google Llc Depth concatenation using a matrix computation unit
US10909447B2 (en) 2017-03-09 2021-02-02 Google Llc Transposing neural network matrices in hardware
KR102414583B1 (ko) 2017-03-23 2022-06-29 삼성전자주식회사 머신 러닝을 수행하는 전자 장치 및 머신 러닝 수행 방법
US10108581B1 (en) * 2017-04-03 2018-10-23 Google Llc Vector reduction processor
JP7029321B2 (ja) * 2017-04-20 2022-03-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置およびプログラム
TWI685757B (zh) 2017-05-17 2020-02-21 美商谷歌有限責任公司 低延遲矩陣乘法單元
CN107146616B (zh) * 2017-06-13 2020-05-08 Oppo广东移动通信有限公司 设备控制方法及相关产品
US11055843B2 (en) * 2017-06-14 2021-07-06 Electronics And Telecommunications Research Institute Capsule endoscope for determining lesion area and receiving device
CN107729990B (zh) * 2017-07-20 2021-06-08 上海寒武纪信息科技有限公司 支持离散数据表示的用于执行正向运算的装置及方法
US10879904B1 (en) 2017-07-21 2020-12-29 X Development Llc Application specific integrated circuit accelerators
US10790828B1 (en) 2017-07-21 2020-09-29 X Development Llc Application specific integrated circuit accelerators
US11409692B2 (en) * 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10699160B2 (en) 2017-08-23 2020-06-30 Samsung Electronics Co., Ltd. Neural network method and apparatus
CN107578098B (zh) * 2017-09-01 2020-10-30 中国科学院计算技术研究所 基于脉动阵列的神经网络处理器
US11507429B2 (en) * 2017-09-14 2022-11-22 Electronics And Telecommunications Research Institute Neural network accelerator including bidirectional processing element array
US11243880B1 (en) 2017-09-15 2022-02-08 Groq, Inc. Processor architecture
US11868804B1 (en) 2019-11-18 2024-01-09 Groq, Inc. Processor instruction dispatch configuration
US11360934B1 (en) 2017-09-15 2022-06-14 Groq, Inc. Tensor streaming processor architecture
US11114138B2 (en) 2017-09-15 2021-09-07 Groq, Inc. Data structures with multiple read ports
US11170307B1 (en) 2017-09-21 2021-11-09 Groq, Inc. Predictive model compiler for generating a statically scheduled binary with known resource constraints
US11501826B2 (en) 2017-10-17 2022-11-15 R&D3 Llc Memory device having variable impedance memory cells and time-to-transition sensing of data stored therein
US10236053B1 (en) 2017-10-17 2019-03-19 R&D 3 Llc Method and circuit device incorporating time-to-transition signal node sensing
US12014770B2 (en) 2017-10-17 2024-06-18 R&D3 Llc Memory device having variable impedance memory cells and time-to-transition sensing of data stored therein
KR102561261B1 (ko) * 2017-11-14 2023-07-28 삼성전자주식회사 커널을 이용한 컨볼루션 연산 처리 방법 및 장치
KR102424962B1 (ko) 2017-11-15 2022-07-25 삼성전자주식회사 병렬 연산 처리를 수행하는 메모리 장치 및 이를 포함하는 메모리 모듈
KR102610842B1 (ko) 2017-12-01 2023-12-07 한국전자통신연구원 뉴럴 네트워크에서의 프로세싱 엘리먼트 및 그 동작 방법
US10747844B2 (en) * 2017-12-12 2020-08-18 Tesla, Inc. Systems and methods for converting a matrix input to a vectorized input for a matrix processor
US20190205738A1 (en) * 2018-01-04 2019-07-04 Tesla, Inc. Systems and methods for hardware-based pooling
TWI659428B (zh) * 2018-01-12 2019-05-11 中原大學 運用非揮發性記憶體執行類神經網絡前饋與遞迴運算之方法
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11741346B2 (en) 2018-02-08 2023-08-29 Western Digital Technologies, Inc. Systolic neural network engine with crossover connection optimization
US11769042B2 (en) 2018-02-08 2023-09-26 Western Digital Technologies, Inc. Reconfigurable systolic neural network engine
CN111788583A (zh) * 2018-02-09 2020-10-16 渊慧科技有限公司 连续稀疏性模式神经网络
CN108388537B (zh) * 2018-03-06 2020-06-16 上海熠知电子科技有限公司 一种卷积神经网络加速装置和方法
US10678508B2 (en) * 2018-03-23 2020-06-09 Amazon Technologies, Inc. Accelerated quantized multiply-and-add operations
US11403530B1 (en) 2018-04-20 2022-08-02 Perceive Corporation Using quinary weights with neural network inference circuit designed for ternary weights
US11210586B1 (en) 2018-04-20 2021-12-28 Perceive Corporation Weight value decoder of neural network inference circuit
US10977338B1 (en) 2018-04-20 2021-04-13 Perceive Corporation Reduced-area circuit for dot product computation
US11586910B1 (en) 2018-04-20 2023-02-21 Perceive Corporation Write cache for neural network inference circuit
US11481612B1 (en) 2018-04-20 2022-10-25 Perceive Corporation Storage of input values across multiple cores of neural network inference circuit
US11783167B1 (en) 2018-04-20 2023-10-10 Perceive Corporation Data transfer for non-dot product computations on neural network inference circuit
US11568227B1 (en) 2018-04-20 2023-01-31 Perceive Corporation Neural network inference circuit read controller with multiple operational modes
US11823376B2 (en) 2018-05-16 2023-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
WO2019236251A1 (en) * 2018-06-04 2019-12-12 Lightmatter, Inc. Convolutional layers for neural networks using programmable nanophotonics
US12099912B2 (en) 2018-06-22 2024-09-24 Samsung Electronics Co., Ltd. Neural processor
US11262982B2 (en) 2018-07-23 2022-03-01 SK Hynix Inc. Computation circuit including a plurality of processing elements coupled to a common accumulator, a computation device and a system including the same
JP2020035502A (ja) 2018-08-28 2020-03-05 キオクシア株式会社 半導体集積回路
US11954573B2 (en) * 2018-09-06 2024-04-09 Black Sesame Technologies Inc. Convolutional neural network using adaptive 3D array
KR102633139B1 (ko) 2018-09-07 2024-02-02 삼성전자주식회사 데이터를 추출하는 집적 회로, 그것을 포함하는 뉴럴 네트워크 프로세서 및 뉴럴 네트워크 장치
US11868875B1 (en) * 2018-09-10 2024-01-09 Amazon Technologies, Inc. Data selection circuit
US11928581B2 (en) * 2018-09-14 2024-03-12 Arm Limited System and method for compressing kernels
US10831702B2 (en) * 2018-09-20 2020-11-10 Ceva D.S.P. Ltd. Efficient utilization of systolic arrays in computational processing
CN112840356B (zh) * 2018-10-09 2023-04-11 华为技术有限公司 运算加速器、处理方法及相关设备
US11636325B2 (en) 2018-10-24 2023-04-25 Macronix International Co., Ltd. In-memory data pooling for machine learning
KR102604016B1 (ko) 2018-10-24 2023-11-22 삼성전자주식회사 전자 장치 및 이의 제어방법
JP7315317B2 (ja) 2018-11-09 2023-07-26 株式会社Preferred Networks プロセッサおよびプロセッサのデータ転送方法
US11537687B2 (en) 2018-11-19 2022-12-27 Groq, Inc. Spatial locality transform of matrices
US11562229B2 (en) * 2018-11-30 2023-01-24 Macronix International Co., Ltd. Convolution accelerator using in-memory computation
CN109598335B (zh) * 2018-12-04 2022-04-22 郑州云海信息技术有限公司 一种二维卷积脉动阵列结构及实现方法
US11995533B1 (en) 2018-12-05 2024-05-28 Perceive Corporation Executing replicated neural network layers on inference circuit
US11934480B2 (en) 2018-12-18 2024-03-19 Macronix International Co., Ltd. NAND block architecture for in-memory multiply-and-accumulate operations
US10963746B1 (en) * 2019-01-14 2021-03-30 Xilinx, Inc. Average pooling in a neural network
US11550971B1 (en) 2019-01-18 2023-01-10 X Development Llc Physics simulation on machine-learning accelerated hardware platforms
US11347297B1 (en) 2019-01-23 2022-05-31 Perceive Corporation Neural network inference circuit employing dynamic memory sleep
CN109871951A (zh) * 2019-03-06 2019-06-11 苏州浪潮智能科技有限公司 一种深度学习处理器及电子设备
US11783176B2 (en) 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
US10929058B2 (en) 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
JP7408289B2 (ja) 2019-03-28 2024-01-05 株式会社エヌエスアイテクス 畳込み演算装置
US11671111B2 (en) 2019-04-17 2023-06-06 Samsung Electronics Co., Ltd. Hardware channel-parallel data compression/decompression
US11211944B2 (en) 2019-04-17 2021-12-28 Samsung Electronics Co., Ltd. Mixed-precision compression with random access
US11880760B2 (en) 2019-05-01 2024-01-23 Samsung Electronics Co., Ltd. Mixed-precision NPU tile with depth-wise convolution
US11868901B1 (en) 2019-05-21 2024-01-09 Percieve Corporation Compiler for optimizing memory allocations within cores
KR102178238B1 (ko) 2019-05-30 2020-11-12 한국생산기술연구원 회전 커널을 이용한 머신러닝 기반 결함 분류 장치 및 방법
US11657252B2 (en) 2019-06-07 2023-05-23 Meta Platforms, Inc. Point to point connected processing elements with data joiner components
CN110288086B (zh) * 2019-06-13 2023-07-21 天津大学 一种基于Winograd的可配置卷积阵列加速器结构
TWI698810B (zh) * 2019-06-14 2020-07-11 旺宏電子股份有限公司 類神經計算裝置
US11233049B2 (en) 2019-06-14 2022-01-25 Macronix International Co., Ltd. Neuromorphic computing device
US11514300B2 (en) 2019-06-14 2022-11-29 Macronix International Co., Ltd. Resistor circuit, artificial intelligence chip and method for manufacturing the same
US12026601B2 (en) * 2019-06-26 2024-07-02 Micron Technology, Inc. Stacked artificial neural networks
US20210011732A1 (en) 2019-07-09 2021-01-14 MemryX Inc. Matrix Data Reuse Techniques in Processing Systems
KR20210014902A (ko) 2019-07-31 2021-02-10 삼성전자주식회사 프로세서 및 그 제어 방법
CN110475119A (zh) 2019-08-12 2019-11-19 北京大学 基于flash存算阵列的图像压缩系统和方法
US11681902B2 (en) * 2019-09-27 2023-06-20 Amazon Technologies, Inc. Transposed convolution using systolic array
US11556450B2 (en) * 2019-10-11 2023-01-17 International Business Machines Corporation Hybrid data-model parallelism for efficient deep learning
US11354123B2 (en) * 2019-10-18 2022-06-07 Macronix International Co., Ltd. Memory device and computing in memory method thereof
KR20210051920A (ko) * 2019-10-31 2021-05-10 삼성전자주식회사 신경망의 커널들을 정렬하는 전자 장치 및 이의 동작 방법
US11327690B2 (en) * 2019-11-13 2022-05-10 Google Llc Enhanced input of machine-learning accelerator activations
CN114930351A (zh) * 2019-11-26 2022-08-19 格罗克公司 使用仅单个侧从多维阵列加载操作数并输出结果
US11741350B2 (en) * 2019-11-27 2023-08-29 Amazon Technologies, Inc. Efficient utilization of processing element array
US12112141B2 (en) * 2019-12-12 2024-10-08 Samsung Electronics Co., Ltd. Accelerating 2D convolutional layer mapping on a dot product architecture
US11669733B2 (en) * 2019-12-23 2023-06-06 Marvell Asia Pte. Ltd. Processing unit and method for computing a convolution using a hardware-implemented spiral algorithm
US20210200711A1 (en) * 2019-12-28 2021-07-01 Intel Corporation System and Method for Configurable Systolic Array with Partial Read/Write
US11520371B2 (en) * 2020-02-10 2022-12-06 Northwestern University Compute-adaptive clock management for machine learning accelerators
CN115803754A (zh) * 2020-03-10 2023-03-14 艾普半导公司 用于在神经网络中处理数据的硬件架构
US11507817B2 (en) 2020-04-17 2022-11-22 Samsung Electronics Co., Ltd. System and method for performing computations for deep neural networks
CN111832466A (zh) * 2020-07-08 2020-10-27 上海东普信息科技有限公司 基于vgg网络的暴力分拣识别方法、装置、设备及存储介质
CN112199190B (zh) * 2020-07-31 2023-11-03 星宸科技股份有限公司 内存分配方法、装置、存储介质及电子设备
CN112101525A (zh) * 2020-09-08 2020-12-18 南方科技大学 一种通过nas设计神经网络的方法、装置和系统
US20220092393A1 (en) * 2020-09-21 2022-03-24 Hewlett Packard Enterprise Development Lp System and method for processing convolutions on crossbar-based neural network accelerators for increased inference throughput
KR20220049325A (ko) 2020-10-14 2022-04-21 삼성전자주식회사 가속기 및 이를 포함한 전자 장치
US12079710B2 (en) 2020-12-31 2024-09-03 Nxp Usa, Inc. Scalable neural network accelerator architecture
US11544213B2 (en) 2021-03-04 2023-01-03 Samsung Electronics Co., Ltd. Neural processor
CN113344183B (zh) * 2021-06-03 2022-09-30 沐曦集成电路(上海)有限公司 一种在计算系统中实现卷积运算的方法及计算系统
CN113076521B (zh) * 2021-06-03 2021-09-21 沐曦集成电路(上海)有限公司 一种基于gpgpu可重构架构的方法及计算系统
US11714556B2 (en) * 2021-09-14 2023-08-01 quadric.io, Inc. Systems and methods for accelerating memory transfers and computation efficiency using a computation-informed partitioning of an on-chip data buffer and implementing computation-aware data transfer operations to the on-chip data buffer
WO2023128421A1 (ko) * 2021-12-29 2023-07-06 삼성전자 주식회사 컨볼루션 신경망을 이용한 이미지 처리 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5138695A (en) * 1989-10-10 1992-08-11 Hnc, Inc. Systolic array image processing system
US8184696B1 (en) * 2007-09-11 2012-05-22 Xilinx, Inc. Method and apparatus for an adaptive systolic array structure

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5014235A (en) 1987-12-15 1991-05-07 Steven G. Morton Convolution memory
US5136717A (en) 1988-11-23 1992-08-04 Flavors Technology Inc. Realtime systolic, multiple-instruction, single-data parallel computer system
US5146543A (en) 1990-05-22 1992-09-08 International Business Machines Corp. Scalable neural array processor
US5337395A (en) 1991-04-08 1994-08-09 International Business Machines Corporation SPIN: a sequential pipeline neurocomputer
JPH04290155A (ja) 1991-03-19 1992-10-14 Fujitsu Ltd 並列データ処理方式
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US5799134A (en) 1995-03-13 1998-08-25 Industrial Technology Research Institute One dimensional systolic array architecture for neural network
US5812993A (en) 1996-03-07 1998-09-22 Technion Research And Development Foundation Ltd. Digital hardware architecture for realizing neural network
US6038337A (en) * 1996-03-29 2000-03-14 Nec Research Institute, Inc. Method and apparatus for object recognition
JPH11177399A (ja) 1997-12-15 1999-07-02 Mitsubishi Electric Corp クロック遅延回路およびこれを用いた発振回路、位相同期回路、クロック生成回路
GB9902115D0 (en) 1999-02-01 1999-03-24 Axeon Limited Neural networks
US7245767B2 (en) 2003-08-21 2007-07-17 Hewlett-Packard Development Company, L.P. Method and apparatus for object identification, classification or verification
US7634137B2 (en) 2005-10-14 2009-12-15 Microsoft Corporation Unfolded convolution for fast feature extraction
WO2008067676A1 (en) 2006-12-08 2008-06-12 Medhat Moussa Architecture, system and method for artificial neural network implementation
JP5376920B2 (ja) 2008-12-04 2013-12-25 キヤノン株式会社 コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
US8442927B2 (en) 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
TWI525558B (zh) 2011-01-17 2016-03-11 Univ Nat Taipei Technology Resilient high - speed hardware reverse transfer and feedback type neural network system
US8924455B1 (en) 2011-02-25 2014-12-30 Xilinx, Inc. Multiplication of matrices using systolic arrays
TW201331855A (zh) 2012-01-19 2013-08-01 Univ Nat Taipei Technology 具自由回饋節點的高速硬體倒傳遞及回饋型類神經網路
US9477925B2 (en) 2012-11-20 2016-10-25 Microsoft Technology Licensing, Llc Deep neural networks training for speech and pattern recognition
US9811775B2 (en) 2012-12-24 2017-11-07 Google Inc. Parallelizing neural networks during training
US9190053B2 (en) 2013-03-25 2015-11-17 The Governing Council Of The Univeristy Of Toronto System and method for applying a convolutional neural network to speech recognition
CN104035751B (zh) 2014-06-20 2016-10-12 深圳市腾讯计算机系统有限公司 基于多图形处理器的数据并行处理方法及装置
EP3064130A1 (en) 2015-03-02 2016-09-07 MindMaze SA Brain activity measurement and feedback system
US20160267111A1 (en) * 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Two-stage vector reduction using two-dimensional and one-dimensional systolic arrays
US10353860B2 (en) * 2015-10-08 2019-07-16 Via Alliance Semiconductor Co., Ltd. Neural network unit with neural processing units dynamically configurable to process multiple data sizes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5138695A (en) * 1989-10-10 1992-08-11 Hnc, Inc. Systolic array image processing system
US8184696B1 (en) * 2007-09-11 2012-05-22 Xilinx, Inc. Method and apparatus for an adaptive systolic array structure

Also Published As

Publication number Publication date
TW201830297A (zh) 2018-08-16
TWI627593B (zh) 2018-06-21
US11170291B2 (en) 2021-11-09
US9747548B2 (en) 2017-08-29
US20240185047A1 (en) 2024-06-06
US11755895B2 (en) 2023-09-12
TWI826149B (zh) 2023-12-11
DE202016107446U1 (de) 2017-01-18
US9805303B2 (en) 2017-10-31
US20220172033A1 (en) 2022-06-02
US11210580B2 (en) 2021-12-28
TW202324214A (zh) 2023-06-16
TW202414280A (zh) 2024-04-01
TW201706917A (zh) 2017-02-16
US20200250520A1 (en) 2020-08-06
US20180107921A1 (en) 2018-04-19
WO2016186826A1 (en) 2016-11-24
US20160342893A1 (en) 2016-11-24
US20170103318A1 (en) 2017-04-13

Similar Documents

Publication Publication Date Title
TWI787262B (zh) 用於執行類神經網路層之計算的方法、系統及非暫時性電腦可讀儲存媒體
US11620513B2 (en) Computing convolutions using a neural network processor
US11853865B2 (en) Prefetching weights for use in a neural network processor
US11361051B1 (en) Dynamic partitioning
JP6640243B2 (ja) ニューラルネットワークプロセッサにおけるバッチ処理
EP3298545A1 (en) Vector computation unit in a neural network processor
TWI853745B (zh) 用於執行類神經網路層之計算的方法、系統及非暫時性電腦可讀儲存媒體