TW202209103A - 可中斷及可重啟矩陣乘法指令、處理器、方法和系統 - Google Patents

可中斷及可重啟矩陣乘法指令、處理器、方法和系統 Download PDF

Info

Publication number
TW202209103A
TW202209103A TW110139698A TW110139698A TW202209103A TW 202209103 A TW202209103 A TW 202209103A TW 110139698 A TW110139698 A TW 110139698A TW 110139698 A TW110139698 A TW 110139698A TW 202209103 A TW202209103 A TW 202209103A
Authority
TW
Taiwan
Prior art keywords
matrix
processor
instruction
source
memory
Prior art date
Application number
TW110139698A
Other languages
English (en)
Other versions
TWI803030B (zh
Inventor
愛德華 葛羅秋斯基
阿席特 密許拉
羅柏 瓦倫泰
馬克 查尼
席蒙 小史提利
Original Assignee
美商英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商英特爾股份有限公司 filed Critical 美商英特爾股份有限公司
Publication of TW202209103A publication Critical patent/TW202209103A/zh
Application granted granted Critical
Publication of TWI803030B publication Critical patent/TWI803030B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/30007Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001Arithmetic instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/30007Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003Arrangements for executing specific machine instructions
    • G06F9/30007Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G06F9/30038Instructions to perform operations on packed data, e.g. vector, tile or matrix operations using a mask
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30145Instruction analysis, e.g. decoding, instruction word fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3861Recovery, e.g. branch miss-prediction, exception handling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3861Recovery, e.g. branch miss-prediction, exception handling
    • G06F9/3865Recovery, e.g. branch miss-prediction, exception handling using deferred exception handling, e.g. exception flags

Abstract

一方面的處理器包括用以解碼矩陣乘法指令的解碼單元。矩陣乘法指令係用以指示第一來源矩陣之第一記憶體位置、係用以指示第二來源矩陣之第二記憶體位置以及係用以指示其中結果矩陣被儲存之第三記憶體位置。該處理器也包括與該解碼單元耦接之執行單元。執行單元,其響應於該矩陣乘法指令用以在中斷之前將該第一和第二來源矩陣之一部分相乘,並且響應於該中斷儲存完成進度指示符。完成進度指示符,其用以指示該第一和第二來源矩陣相乘之進度量,並且儲存相應的結果資料至第三記憶體位置,亦即在中斷之前已經完成。

Description

可中斷及可重啟矩陣乘法指令、處理器、方法和系統
本發明敘述的實施例一般係有關於處理器。特別地,本文所敘述之實施例一般係有關在處理器中的矩陣乘法。
許多處理器具有單指令、多資料(SIMD)架構。此種處理器可具有包括各種不同類型之緊縮資料指令的指令集。緊縮資料指令可被用來同時和/或並行地對多個緊縮資料元素或多對緊縮資料元素進行操作。多個資料元素可以緊縮在暫存器或記憶體位置內作為緊縮資料,其中暫存器或記憶體位置之位元被邏輯地分割為一序列的資料元素。處理器可具有用來同時和/或並行地對多個緊縮資料元素或多對緊縮資料元素進行操作的並行執行硬體(響應於緊縮資料指令)。
此種指令之一具體範例為緊縮資料乘法指令。另一具體範例為緊縮資料乘法和累加指令。這些指令可以用於包括矩陣乘法之演算法的各種不同類型。與通常僅在單一資料元素或單對資料元素上操作的純量指令相比,此種緊縮資料或SIMD指令通常透過它們提供的SIMD資料並行性來幫助提高使用它們的各種演算法的效能。
100:電腦系統
102:處理器
106:矩陣乘法指令
108:解碼單元
110、610:執行單元
112:暫存器
114:來源和結果矩陣指示符
116、316、416:矩陣維度指示符
118、318、418:完成進度指示符
120:系統記憶體
122:第一儲存位置
124:第一來源矩陣(A)
126:第二儲存位置
128:第二來源矩陣(B)
130:第三儲存位置
132:結果矩陣(C)
233、780:方法
234、235、236、237、238、239、240、781、782、783、784:方塊
314、414:來源和目的地矩陣指示符
342、442:用於矩陣乘法指令之運算元
344、444:第一來源矩陣(A)之記憶體位址資訊
345、445:第二來源矩陣(B)之記憶體位址資訊
346、446:用於目的地矩陣(C)之記憶體位址資訊
347、447:第一來源矩陣(A)的列數
348、448:第一來源矩陣(A)的行數
349、449:第二來源矩陣(B)的行數
450:乘法矩陣維度指示符
452:記憶體佈局維度指示符
453:具有第一來源矩陣(A)之矩陣之行之間的距離
454:具有第二來源矩陣(B)之矩陣之行之間的距離
455:具有目的地矩陣(C)之矩陣之行之間的距離
510:矩陣乘法和累加執行單元
512:通用暫存器
514:來源和結果矩陣指示符
518:完成進度指示符(CPI)
520、620:記憶體
524:第一來源矩陣(A)
528:第二來源矩陣(B)
532:來源和目的地(SRC/DST)累加矩陣(C)
547:第一來源矩陣(A)的列數
548:第一來源矩陣(A)的行數
549:第二來源矩陣(B)的行數
556:磚邏輯
558:融合矩陣乘法和加法邏輯
560、564:邏輯
562:完成進度指示符計算邏輯
606:矩陣乘法指令
624:矩陣
656:鋪磚邏輯
658:融合乘法和加法邏輯
668:層級1(L1)快取
802A:第一處理器
802B:第二處理器
802C:第三處理器
890A-1、890A-2、890A-3、890A-3、890C-1、890C-2:均質核心
891A-1、891A-2、891A-3、891A-4:邏輯
893:有序SIMD核心
894:有序純量核心
895:失序(OOO)核心
896:矩陣乘法加速器
900:處理器管線
902:提取階段
904:長度解碼階段
906:解碼階段
908:配置階段
910:重新命名階段
912:排程階段
914:暫存器讀取/記憶體讀取階段
916:執行階段
918:回寫/記憶體寫入階段
922:例外處置階段
924:確定階段
930:前端單元
932:分支預測單元
934:指令快取單元
936:指令轉譯後備緩衝器(TLB)
938:指令提取單元
940:解碼單元
950:執行引擎單元
952:重新命名/配置器單元
954:撤回單元
956:排程器單元
958:實體暫存器檔案單元
960:執行叢集
962:執行單元
964:記憶體存取單元
970:記憶體單元
972:資料TLB單元
974:資料快取單元
976:層級2(L2)快取單元
990:處理器核心
1000:指令解碼器
1002:晶粒上互連網路
1004:層級2(L2)快取記憶體
1006:L1快取記憶體
1006A:L1資料快取
1008:純量單元
1010:向量單元
1012:純量暫存器
1014:向量暫存器
1020:調合單元
1022A-B:數值轉換單元
1024:複製單元
1026:寫入遮蔽暫存器
1028:16-寬的ALU
1100:處理器
1102A-N:核心
1106:共享快取單元
1108:特殊用途邏輯
1110:系統代理
1112:環式為基的互連單元
1114:積體記憶體控制器單元
1116:匯流排控制器單元
1200:系統
1210、1215:處理器
1220:控制器集線器
1240:記憶體
1245:共處理器
1250:輸入/輸出集線器(IOH)
1260:輸入/輸出(I/O)裝置
1290:圖形記憶體控制器集線器(GMCH)
1295:連接
1300:多處理器系統
1314:I/O裝置
1315:額外處理器
1316:第一匯流排
1318:匯流排橋接器
1320:第二匯流排
1322:鍵盤及/或滑鼠
1324:音頻I/O
1327:通訊裝置
1328:儲存單元
1330:指令/碼及資料
1332:記憶體
1334:記憶體
1338:共處理器
1339:高效能介面
1350:點對點互連
1352、1354:P-P介面
1370:第一處理器
1372、1382:積體記憶體控制器(IMC)單元
1376、1378:點對點(P-P)介面
1380:第二處理器
1386、1388:P-P介面
1390:晶片組
1394、1398:點對點介面電路
1396:介面
1400:系統
1414:I/O裝置
1415:舊有I/O裝置
1500:SoC
1502:互連單元
1510:應用程式處理器
1520:共處理器
1530:靜態隨機存取記憶體(SRAM)單元
1532:直接記憶體存取(DMA)單元
1540:顯示單元
1602:高階語言
1604:x86編譯器
1606:x86二進制碼
1608:指令集編譯器
1610:指令集二進制碼
1612:指令轉換器
1614:不具至少一x86指令集核心之處理器
1616:具有至少一x86指令集核心之處理器
藉由參考用於說明實施例的以下敘述以及附圖可以最好地理解本發明。在圖式中:
圖1為電腦系統之實施例的方塊圖。
圖2為執行矩陣乘法指令實施例之方法實施例的方塊流程圖。
圖3為用於矩陣乘法指令之運算元的合適的集合之第一實施例的方塊圖。
圖4為用於矩陣乘法指令之運算元合適的集合之第二實施例的方塊圖。
圖5為可被用來執行或履行矩陣乘法指令之矩陣乘法和累加執行單元之詳細範例實施例的方塊圖。
圖6為鋪磚之範例實施例的方塊圖。
圖7為根據一實施例示出快路徑和慢路徑處理的方塊流程圖。
圖8A-C為適合於執行本文所述之矩陣乘法指令之實 施例的三個不同實施例處理器的方塊圖。
圖9A為示出有序管線之實施例及暫存器重新命名失序簽發/執行管線之實施例的方塊圖。
圖9B為示出包括耦接至執行引擎單元以及耦接至記憶體單元之前端單元的處理器核心之實施例的方塊圖。
圖10A為單一處理器核心之方塊圖,連同其連接至晶粒上互連網路及層級2(L2)快取記憶體之其本地子集之實施例的方塊圖。
圖10B為圖10A中的處理器核心部分之展開圖之實施例的方塊圖。
圖11為處理器之實施例的方塊圖,該處理器可具有多於一個核心、可具有整合記憶體控制器及可具有整合圖形。
圖12為電腦架構之第一實施例的方塊圖。
圖13為電腦架構之第二實施例的方塊圖。
圖14為電腦架構之第三實施例的方塊圖。
圖15為電腦架構之第四實施例的方塊圖。
圖16為根據本發明實施例之軟體指令轉換器之使用的方塊圖,該轉換器係用以將來源指令集中之二元指令轉換至目標指令集中之二元指令。
【發明內容】及【實施方式】
本文揭露的是矩陣乘法指令實施例、用以執行指令之處理器實施例、當執行指令時由處理器執行的方 法實施例、整合一或多個用以執行指令之處理器之系統的實施例以及儲存或以其它方式提供指令之機器可讀取媒體的實施例。在一些實施例中,處理器可以具有解碼單元或用以接收和/或解碼指令之其它邏輯,以及執行單元或用以執行指令之其它邏輯。在下面敘述中,闡述了許多具體細節(例如,具體指令操作、指令參數、資料格式、指定矩陣的方式、處理器組態、微架構細節或操作序列等)。然而,實施例可以在無這些具體細節而實施。在其它情況下,為了避免妨礙對本詳細說明部分的了解,眾所皆知的電路、結構及技術而不細節顯示。
圖1為電腦系統100之實施例的方塊圖。在各個實施例中,電腦系統可以代表桌上型電腦、膝上型電腦、筆記型電腦、工作站、伺服器或其它電腦系統。電腦系統包括處理器102和系統記憶體120。處理器和系統記憶體可藉由習知耦接機制(例如,透過一或多個匯流排、集線器、記憶體控制器、晶片組組件等等)與另一個耦接,或以其它方式彼此通訊。系統記憶體可包括一或多個不同記憶體裝置和/或一或多個不同類型的記憶體。
在一些實施例中,處理器102可為通用處理器(例如,在桌上型、膝上型或其它電腦類型中使用的通用微處理器或中央處理單元(CPU))。或者,處理器可為特殊用途處理器。合適的特殊用途處理器的範例包括但不限制於網路處理器、通訊處理器、密碼處理器、圖形處理器、共處理器以及數位訊號處理器(DSP)。在一些實 施例中,處理器可設置在積體電路或半導體晶粒中的至少一者上。在一些實施例中,處理器可包括至少一些硬體(例如,電晶體、電容、二極體、電路、儲存微碼之非揮發性記憶體等等)。
在操作期間,處理器102可以接收矩陣乘法指令106。例如,指令可以透過匯流排或其它互連從系統記憶體提取或以其它方式接收。指令可以表示處理器之指令集之巨集指令、機器碼指令、機器語言指令或其他指令或控制訊號。在一些實施例中,矩陣乘法指令可以為也不執行矩陣累加的矩陣乘法指令。於其他實施例中,矩陣乘法指令可以為也執行具有累加矩陣的矩陣累加的矩陣乘法指令。除非以其它方式指明,用語矩陣乘法指令在本文中廣泛地/一般地使用來指這些變形之一。
指令106響應於指令,可指明(例如,明確地指明)或以其它方式指示(例如,明確地指示)其中儲存第一來源矩陣(A)124的第一儲存位置122、可指明或以其它方式指示其中儲存第二來源矩陣(B)128的第二儲存位置126以及可指明或以其它方式指示其中儲存結果矩陣(C)132的第三儲存位置130。如圖所示,在一些實施例中,每一個第一、第二及第三儲存位置可選擇性地在系統記憶體120中。
第一、第二及第三儲存位置122、126、130可以在不同實施例中以不同方式指明。舉例而言,在一些實施例中,指令106可提供第一及第二來源和結果矩陣指 示符114。例如,在儲存位置係在系統記憶體中的情形下,這些指示符可表示記憶體指標或其它記憶體位址資訊。不同類型的記憶體位址資訊適用於可以使用的不同類型的定址模式。取決於特定定址模式,在一些實施例中,此種來自指示符114之記憶體位址資訊可以為了獲得用來存取系統記憶體之記憶體位址,與其它記憶體位址資訊組合(例如,在資料區段暫存器、延伸區段暫存器或其它暫存器、或在指令的編碼中、或其他地方)。
如圖所示,在一些實施例中,這些指示符114可選擇性地儲存在處理器之暫存器112的集合中(例如,通用暫存器或純量暫存器)。每一個暫存器可表示操作以儲存資料之晶粒上(或在積體電路上)的儲存位置。暫存器可表示對於軟體和/或程式師可見之架構可見或架構暫存器和/或由用以識別運算元的之處理器之指令集之指令指示的暫存器。這些架構暫存器與給定的微架構中(例如,暫時暫存器、重新排序緩衝器、撤回暫存器等)的其他非架構暫存器形成對比。暫存器可以以不同方式在不同微架構中實施,並且不限制於任何特定類型之設計。暫存器之合適類型的範例包括但不限制於專用實體暫存器、使用暫存器重命名之動態分配的實體暫存器及它們的組合。
於某些情況下,指令106可選擇性明確地指明儲存一或多個指示符114之一或多個暫存器112。例如,指令可選擇性地具有一或多個來源和/或目的地運算元指明欄位(例如,在指令編碼中相連或非相連位元), 其各操作以指明暫存器中的一個。當作另一範例,儲存一或多個指示符114的一或多個暫存器112可選擇性地隱含於指令(例如,隱含於指令的運算碼)。例如,當處理器識別這個指令時(例如,當處理器解碼運算碼時),它可以隱含地或固有地了解來查看這些隱式的暫存器,而不需要有任何非運算碼位元來明確地指明暫存器之指令。或者,這些指示符114中的一或多個可選擇性地儲存在其它儲存位置中。
在一些實施例中,指令也可以選擇性地提供一或多個矩陣維度指示符116,雖然這不是必須的。矩陣維度指示符116可以指明或者以其它方式指示有關於第一來源矩陣(A)124、第二來源矩陣(B)128以及於某些情況下選擇性地結果矩陣(C)132之維度(例如,列數、行數、維度或順序)。作為一個具體範例,可以存在三個不同的矩陣維度指示符來指明或以其它方式指示與第一來源矩陣(A)和第二來源矩陣(B)相關聯的三個不同維度。如將在下面進一步說明的,要相乘的第一和第二來源矩陣的全維度以及結果矩陣(C)可以透過僅三個不同的維度完全指明(例如,由於在矩陣乘法中,來源矩陣之一維度相同,以及結果矩陣(C)的維度取決於來源矩陣的維度)。有利地,矩陣維度指示符可以將指令用於在彈性和/或任意尺寸的矩陣上操作,其維度可以透過矩陣維度指示符來提供。各種不同大小的矩陣可被指定。此外,矩陣的大小可以從相對較小至潛在地非常大的範圍, 諸如(例如),當與當前電腦中廣泛使用之類型的通用微處理器之狀態上相乘時,矩陣可以在小於一秒至幾小時、天、週、一個月或更長的時間內相乘。
或者,代替支持完全彈性和/或任意大小的矩陣,一或多個預定和/或固定尺寸的矩陣集合可選擇性地被支持。在此情況下,單一指示符116可選擇性地被用來選擇數個此種預定和/或固定尺寸的矩陣集合中的任何一個。舉例而言,兩個、三個、四個、八個、十六個或一些其它數目的不同預定和/或固定尺寸的矩陣可選擇性地被支持。作為其它選擇,僅一集合的預定和/或固定尺寸的矩陣維度可選擇性地被支持,並且可選擇性地為固定或隱含於指令(例如,對於其運算碼)。在此種情況下,矩陣維度指示符116可選擇性地完全省略。對於此種實施例,軟體演算法可將較大的矩陣分區為用於指令之較小固定尺寸的矩陣之集合,以及軟體演算法可能負責將結果合併在一起。使用此種預定和/或固定尺寸的矩陣之集合可幫助簡化實施方式和/或可允許最佳化執行邏輯,雖然這也可能會降低指令的彈性。
再次參考圖1,處理器包括解碼單元或解碼器108。解碼單元可接收和解碼矩陣乘法指令。解碼單元可輸出一或多個相對低階指令或控制訊號(例如,一或多個微指令、微操作、微碼條目點、解碼的指令或控制訊號等),其反映、表示和/或從相對較高階的矩陣乘法指令衍生。在一些實施例中,解碼單元可包括用以接收矩陣乘 法指令的一或多個輸入結構(例如,點、互連、介面),與其耦接以識別及解碼矩陣乘法指令的指令辨識和解碼邏輯,以及與其耦接以輸出低階指令或控制訊號的一或多個輸出結構(例如,埠、互連、介面)。解碼單元可使用各種不同機制實施,機制包括但不限制於微碼唯讀記憶體(ROM)、查找表、硬體實施方式、可編程邏輯陣列(PLA)以及其它適合於實施解碼單元的機制。在一些實施例中,解碼單元可包括在晶粒上(例如,在具有執行單元110的晶粒上)。在一些實施例中,解碼單元可包括至少一些硬體(例如,電晶體、積體電路或晶粒上韌體等等)。
在一些實施例中,取代矩陣乘法指令被直接地提供至解碼單元,可選擇性地使用指令仿真器、轉譯器、漸變器(morpher)、解譯器或其他指令轉換模組。各種類型之指令轉換模組可於軟體、硬體、韌體或其組合實施。在一些實施例中,指令轉換模組可位於處理器外側,諸如(例如)在分開的晶粒上和/或在記憶體中(例如,靜態、動態或運行時間模擬模組)。舉例而言,指令轉換模組可接收矩陣乘法指令(其可以是第一指令集)並且可以將矩陣乘法指令模擬、轉換、變換、解釋或以其他方式轉換成一個或多個對應的中間指令或控制信號(其可以是第二不同指令集)。第二指令集之一或多個中間指令或控制訊號可被提供至解碼單元(如,解碼單元108),其可將它們解碼為處理器之本機硬體(例如,一或多個執 行單元)可執行的一或多個較低階指令或控制訊號。
再次參考圖1,執行單元110可與解碼單元108和暫存器112耦接。在一些實施例中,執行單元可以在晶粒或積體電路上(例如,在具有解碼單元之晶粒或積體電路上)。執行單元可接收一或多個解碼的或以其它方式轉換的指令或控制訊號,其表示和/或衍生自矩陣乘法指令106。在部署和使用期間,執行單元還可操作以與系統記憶體120耦接。執行單元也可以接收第一來源矩陣(A)124和第二來源矩陣(B)128作為輸入。在其中矩陣乘法指令也執行累加的實施例中,執行單元也可以為儲存在其中結果矩陣(C)132被儲存的第三儲存位置130中的累加矩陣。在此種情況下,第三儲存位置可被用作為來源/目的地運算元,因為它最初可以用作累加矩陣的來源運算元,並且隨後被用作結果矩陣(C)132的目的地運算元。
執行單元110可操作以響應於矩陣乘法指令106和/或作為矩陣乘法指令106的結果(例如,響應於從指令解碼的一或多個指令或控制訊號,和/或響應於被解碼的指令,和/或響應於被提供至解碼器的指令)儲存結果矩陣(C)132在由指令指示的第三或目的地儲存位置130中。在一些實施例中,其中矩陣乘法指令不執行累加,結果矩陣(C)132可表示第一來源矩陣(A)124和第二來源矩陣(B)128之矩陣乘法的積。矩陣乘法涉及將兩個輸入矩陣相乘以產生另一輸出矩陣。在其它實施例 中,其中矩陣乘法指令不執行累加,額外的累加矩陣可被添加至矩陣乘法的積,並且結果矩陣(C)132可表示第一來源矩陣(A)124和第二來源矩陣(B)128之矩陣乘法的積加上累加矩陣。通常,在進行矩陣乘法指令之前,累加矩陣可以是最初儲存在第三儲存位置130(其中結果矩陣(C)隨後儲存)中的矩陣,並且當矩陣乘法指令完成時結果矩陣(C)可以儲存在累加矩陣上(並且可能成為另一個矩陣乘法指令的累加矩陣)。
在一些實施例中,不同的運算碼可選擇性地提供給具有矩陣累加指令的矩陣乘法以及不具有矩陣累加指令的矩陣乘法。於其他實施例中,相同的運算碼可選擇性地用於兩種變化,以及指令可具有指示指令是否在有或沒有矩陣累加情況下執行的一或多個位元或欄位。例如,單一位元可具有用以指示指令在沒有矩陣累加之情況下執行的第一值(例如,二進制零)或用以指示指令在有矩陣累加之情況下執行的第二值(例如,二進制一)。相反的二進制約定也是合適的。至少在概念上,這個位元可以表示可以乘以累加矩陣以導致累加的係數(例如,在位元為二進制一的情況下)或不引起累加(例如,在位元為二進制零的情況下),儘管這種乘法實際上可能不會實際執行。
如上所討論,在一些實施例中,第一來源矩陣(A)124和第二來源矩陣(B)128之尺寸可選擇性地被允許是彈性的或任意的。同樣,在一些實施例中,第一 來源矩陣(A)、第二來源矩陣(B)以及結果矩陣(C)全不可潛在地/選擇性地是大的,甚至非常大。很大程度上取決於矩陣的大小,當對現有電腦中廣泛使用的類型的最新通用微處理器執行時,指令完成所需的時間可以從相對較短的時間期間(例如,約幾秒到幾分鐘)到很長甚至非常長的時間期間(例如,約從數小時到一個月或更久),雖然本發明之範圍未限制於任何特定的時間量。
特別地當完成時間相對長,在矩陣乘法指令完成之前可能會發生故障、異常、中斷、陷阱或其他異常情況或其他中斷。如本文所使用,「異常狀況」廣泛地涉及可能停止或中斷矩陣乘法指令之執行的各種不同類型的故障、異常、陷阱、中止等。如本文所使用,「中斷」廣泛地涉及這些類型的異常狀況,以及其它可能類型的事件或狀況,其可停止或以其它方式中斷矩陣乘法指令之效能。舉例而言,在異常被偵測的情況下(例如,響應於特權違規、頁面故障、記憶體保護故障等),矩陣乘法指令之效能可被停止,以及自動產生控制流轉移可以被製為處理程序例程(例如,操作系統的模組)。
在一些實施例中,為了幫助允許這種異常狀況或其他中斷的可能性,矩陣乘法指令106可操作以為可中斷的和/或可重新啟動的。在一些實施例中,矩陣乘法指令(如果在矩陣乘法指令完成及提交之前遇到中斷)可操作以導致執行單元110和/或處理器102儲存完成進度指示符118。完成進度指示符可在中斷時或大約中斷時, 廣泛地表示任何各種不同類型之用來指示(例如,至執行單元和/或處理器)在執行矩陣乘法指令和/或完成矩陣乘法指令時已經實現的工作量或數量已經取得了多少進度的值。這個量可以在不同的實施例中以不同的方式表示。例如完成進度指示符可以指示將已經完成的第一和第二來源矩陣乘以已經執行的乘法量和/或基於已經儲存到記憶體的這種乘法的結果資料量的進度量。舉例而言,完成進度指示符可表示在執行計算時遞增或以其他方式更新的值中的任何一個或多個、反映完成進度的方程式的評估、進度或完成程度的估計或可操作以用於指示完成進度的另一值或資料。雖然矩陣乘法已被執行,完成進度指示符可表示當矩陣乘法在完成之前停止(例如,由於異常或其它中斷)時,已儲存之矩陣乘法指令之目的地運算元。隨後,當矩陣乘法指令被恢復或重新啟動時,完成進度指示符可以表示矩陣乘法指令的來源運算元,其可被讀取並用於重新啟動或恢復計算。在一些實施例中,可以在基於和/或取決於完成進度指示符的點恢復計算。
在一範例實施例中,完成進度指示符118可以在執行矩陣乘法指令之前初始化為起始值。完成進度指示符當矩陣乘法計算單元由指令執行時可被改變或調整(例如,實質上連續地或在離散的時間點)。如果矩陣乘法指令完全執行完成,則完成進度指示符可以具有最終或停止值。在這樣的成功完成之後,可以允許矩陣乘法指令撤回或以其他方式完成,並且可以允許指令指標前進到將 執行的下一個指令。然而,如果在完成進度指示符之起始值和停止值之間的任何中間點處發生中斷,則可以儲存完成進度指示符的當前中間值(例如,起始值和停止值之間的某處)。之後,當矩陣乘法指令被恢復時,可以檢索完成進度指示符並用於重新開始他們停止的計算。在一些情況下,起始值可以為零,並且當執行計算時,完成進度指示符可以被增加。在其它情況下,開始值可以為指示進行和/或工作進度的總量值,並且完成進度指示符可以隨著執行計算而減小。
如圖所示,在一些實施例中,完成進度指示符118可以選擇性地儲存在暫存器112中的一者。矩陣乘法106可以指明(例如,透過指令之一或多個位元或欄位明確地指明)或以其它方式指示(例如,隱含地指示)此種暫存器。或者,完成進度指示符可以選擇性地儲存在系統記憶體中,或儲存在另一個儲存位置中。
在一些實施例中,如果此種中斷發生,也可以儲存中間或不完整的計算結果。通常,此種結果可以儲存在系統記憶體120中(例如,在結果矩陣(C)132中)。當指令之後恢復時,這些中間或不完整計算結果可被接收,並且用於重新開始它們停止的計算。
執行單元110和/或處理器102可包括可操作以執行矩陣乘法指令的指明或特定邏輯(例如,電晶體、積體電路或其他硬體和/或韌體(例如,儲存在非揮發性記憶體中的指令)和/或軟體),和/或響應於和/或作為矩 陣乘法指令的結果(例如,響應於從矩陣乘法指令解碼的一或多個指令或控制訊號)儲存結果。在一些實施例中,執行單元可以包括至少一些硬體,並且可主要地包括潛在地與一些軟體組合的硬體和/或韌體。在一些實施例中,執行單元可以包括融合乘法器-加法器電路的二維陣列。可以使用各種不同相對量的電路或其他硬體和/或微碼或韌體(例如,取決於特定實施方式的特定成本和性能目標)。例如,可以使用相對更多的硬體來幫助提供相對較高性能的方案,或者可以使用相對更多的韌體來幫助提供相對較低成本的方案。
有利地,矩陣乘法指令可以有助於在執行單個指令的範圍內提供相對較高水平的算術處理。即使與當前寬的SIMD指令相比,矩陣乘法指令通常可以提供顯著更多的算術運算。這可能有助於在顯著更大數量的算術運算中分攤提取指令和解碼指令以及檢索和儲存資料的相關能源成本。這反過來可能有助於降低每一單位算術處理能源消耗。此外,在一些實施例中,矩陣乘法指令可以是可中斷的和/或可重新啟動。例如,當指令停止時(例如,由於異常或其它異常狀況或其它中斷),可以儲存完成進度指示符118以及中間或不完整計算結果。這可能有助於確保面面臨可能的中斷時持續前進進展,並且可能傾向於對於矩陣乘法指令之長或非常長的完成時間是特別有利的。
為了避免模糊描述,已經示出和描述了相對 簡單的處理器102。然而,處理器可以選擇性地包括其他處理器組件。例如,各種不同實施例可包括任何對於圖9-11顯示和敘述之組件的各種不同組合及組態。處理器之全部的組件可以耦接在一起以允許它們按預期的方式進行操作。舉例而言,考慮圖9B,指令快取934可以快取指令,指令提取單元938可以提取指令,解碼單元940可以解碼指令,排程器單元956可以排程相關聯的操作,執行單元962可執行指令,撤回單元954可以撤回指令等等。
圖2為執行矩陣乘法指令實施例之方法233實施例的方塊流程圖。在各個實施例中,方法可由處理器、指令處理設備、數位邏輯裝置或積體電路執行。在一些實施例中,方法233可以藉由處理器102執行和/或與處理器102執行和/或使用圖1的矩陣乘法指令106。本文對於處理器102和/或矩陣乘法指令106敘述的組件、特徵和特定的可選細節也可選擇地適用於方法233。或者,方法233可由相似的或不同的處理器或設備執行和/或在相似的或不同的處理器或設備之中執行,和(或)使用相似的或不同的矩陣乘法指令。此外,處理器102可以執行相似於或不同於方法233的方法。
在方塊234,方法包括接收矩陣乘法指令。在各方面中,可以在處理器或其一部分(例如,指令提取單元、解碼單元、匯流排介面單元等)處接收指令。在各個方面中,可以從處理器外和/或晶粒外的源(例如,從記憶體、互連等等)接收指令,或者從處理器內和/或晶粒 上的源(例如,從指令快取、指令佇列等)接收指令。在一些實施例中,矩陣乘法指令可以指明或以其它方式指示第一來源矩陣之第一記憶體位置、第二來源矩陣之第二記憶體位置以及其中結果矩陣被儲存之第三記憶體位置。
在方塊235,可以判定是否發生異常、頁面故障、其它異常狀況或其它中斷。舉例而言,如果要操作的記憶體運算元的部分不可存取,例如在頁面故障的情況下,指令可能被中斷。如果沒有發生此種中斷(即,判定為「否」),方法可以前進方塊236。
在方塊236,第一和第二來源矩陣的一部分可被相乘。在方塊237,結果資料的一部分可被儲存至第三記憶體位置。在沒有累加的情況下,這可以表示相乘第一和第二來源矩陣之一部分的乘積。在有累加的情況下,結果資料的一部分可表示加至此種乘積的累加資料的一部分。
在方塊238,可以判定是否有更多資料被處理。如果有更多資料被處理(即,判定為「是」),方法可返回方塊235。假設沒有頁面故障或其他中斷,可以檢索更多的資料,並且可以處理額外的資料。
或者,如果在方塊238中判定沒有更多的資料要被處理(即,判定為「否」),則方法可以前進到選擇性方塊239。在選擇性方塊239,指示矩陣乘法指令完全完成之完成進度指示符可選擇性地被儲存(例如,在暫存器或其它架構性可視儲存位置中)。
再次參考方塊235,如果在一些點判定中斷已在方塊235發生(即,判定為「是」),方法可以前進至方塊240。在方塊240,指示不完整進度之完成進度指示符可被儲存(例如,在暫存器或其它架構性可視儲存位置中)。完成進度指示符可以類似於或相同於文中別處所述的那些。例如,完成進度指示符可指示第一和第二來源矩陣相乘之進度量,以及儲存相應的結果資料至第三記憶體位置,亦即在中斷之前已經完成。
所示的方法涉及架構操作(例如,從軟體角度可視的那些)。於其他實施例中,方法可選擇性地包括一或多個微架構操作。舉例而言,指令可被提取、解碼,來源矩陣可被存取,執行單元可執行微架構操作以實施指令等等。在一些實施例中,方法也可選擇性地包括將矩陣運算元分解為相對較小部分(例如,磚或方塊)。在一些實施例中,方法也可以選擇性地包括管理在一或多個快取之中相對較小的部分(例如,磚或方塊)。在一些實施例中,方法也可以選擇性地包括預提取來源矩陣資料。在一些實施例中,方法也可以選擇性地包括執行涉及對於部分磚和/或中斷之後的單個資料元素與資料元素乘法之相對「較慢」路徑,而不是用於完整磚的相對「較快」路徑和/或當完整磚未檢測到中斷時。
圖3為用於矩陣乘法指令(例如,矩陣乘法指令106)之運算元342的合適的集合之第一實施例的方塊圖。運算元包括來源和目的地矩陣指示符314的集合。 於所示的實施例中,這些指示器包括用於第一來源矩陣(A)之記憶體位址資訊344、用於第二來源矩陣(B)之記憶體位址資訊345以及用於目的地矩陣(C)之記憶體位址資訊346,其中在一些實施例中可為來源/目的地矩陣(例如,初始地用作為累加矩陣)。
運算元也包括矩陣維度指示符316。於所示的實施例中,這些指示符包括第一來源矩陣(A)347的列數、第一來源矩陣(A)348的行數和第二來源矩陣(B)349的行數。於其他實施例中,其它維度組合可選擇性地用來指明矩陣之維度,如文中別處所述。有利地,包括這些矩陣維度指示符可以允許矩陣乘法指令被用來處理各種不同尺寸和/或任意尺寸的矩陣。
運算元也包括完成進度指示符318。完成進度指示符可被用作為中斷的進行中矩陣乘法指令目的地運算元和/或用作為正在恢復或重新啟動之矩陣乘法指令的來源運算元。
圖4為用於矩陣乘法指令(例如,矩陣乘法指令106)之運算元442的合適的集合之第二實施例的方塊圖。運算元包括來源和目的地矩陣指示符414的集合。於所示的實施例中,這些指示器包括用於第一來源矩陣(A)之記憶體位址資訊444、用於第二來源矩陣(B)之記憶體位址資訊445以及用於目的地矩陣(C)之記憶體位址資訊446,其中在一些實施例中可為來源/目的地矩陣。
運算元也包括矩陣維度指示符416。在這範例實施例中,矩陣維度指示符416包括乘法矩陣維度指示符450之集合和記憶體佈局維度指示符452之集合。乘法矩陣維度指示符450包括第一來源矩陣(A)447的列數、第一來源矩陣(A)448的行數和第二來源矩陣(B)449的行數。於其他實施例中,其它維度組合可選擇性地用來指明矩陣之維度,如文中別處所述。
運算元也包括記憶體佈局維度指示符452。這些指示符可被用來指示潛在地/選擇性地較大的矩陣之維度,其含有要被放置或儲存在記憶體中時要相乘的矩陣(例如,根據乘法矩陣維度指示符450標出尺寸的矩陣)。當作一範例,乘法矩陣維度指示符450可以僅相應於對應於記憶體佈局維度指示符452之較大的矩陣之磚、方塊或其它部分。當作另一範例,相應於記憶體佈局維度指示符452之較大的矩陣可包括填充(例如,零填充),諸如(例如)用以幫助達成與快取線邊界的對齊等等。這些的組合也是可能的。而且,在不同的實施例中,記憶體佈局維度指示符可以是行主格式或列主格式。例如,當為行主格式時,記憶體佈局維度可以包括具有第一來源矩陣(A)之選擇性地/潛在地較大的矩陣之行453之間的距離(例如,8位元位元組或16位元字元)、具有第二來源矩陣(B)之選擇性地/潛在地較大的矩陣之行454之間的距離以及具有目的地矩陣(C)之選擇性地/潛在地較大的矩陣之行455之間的距離。或者,當為列主格式時,記憶 體佈局維度可以包括具有第一來源矩陣(A)之選擇性地/潛在地較大的矩陣之列之間的距離、具有第二來源矩陣(B)之選擇性地/潛在地較大的矩陣之列之間的距離以及具有目的地矩陣(C)之選擇性地/潛在地較大的矩陣之列之間的距離。
運算元也包括完成進度指示符。完成進度指示符可被用作為中斷的進行中矩陣乘法指令目的地以及用於當重新啟動時矩陣乘法指令的來源運算元。
運算元342、442可以在不同的實施例中以不同的方式提供。當作一範例,這些運算元的每一者可以選擇性地被儲存在由矩陣乘法指令指明或以其它方式指示的不同暫存器(例如,32位元或64位元通用暫存器)中。或者,記憶體位置或其它儲存位置可選擇性地使用。作為另一選項,矩陣維度指示符316和/或乘法矩陣維度指示符450和/或記憶體佈局維度指示符452可以選擇性地在矩陣乘法指令之編碼(例如,在即值中)中提供。作為一個具體的示例性範例,可以選擇性地使用32位即值,並且可以使用位元[9:0]來指明第一維度,可以使用位元[20:10]來指明第二維度,可以使用位元[31:21]指明第三維度。
圖5為可被用來執行或履行矩陣乘法指令(例如,矩陣乘法指令106)之矩陣乘法和累加執行單元510之詳細範例實施例的方塊圖。於操作期間,當部署在系統中,執行單元可操作以與記憶體520耦接。記憶體可 以具有儲存其中的第一來源矩陣(A)524、第二來源矩陣(B)528以及來源和目的地(SRC/DST)累加矩陣(C)532。來源和目的地累加矩陣(C)可以初始地用作為來自來源累加矩陣可被讀取之來源運算元,然後可以用作可以儲存結果累加矩陣的目的地運算元(例如,結果累加矩陣可以覆蓋初始地儲存在相同儲存位置中的來源累加矩陣)。
每一個矩陣具有列數(如圖所示的垂直方向)和行數(如圖所示的水平方向)。列或行數也可以稱為本領域的其他名稱,例如矩陣的維度、尺寸或順序。具體來說,第一來源矩陣(A)具有列數(rowsA)和行數(colsA)。類似地,第二來源矩陣(B)具有列數(rowsB)和行數(colsB)。在矩陣乘法中,colsA和rowsB表示兩個矩陣的共同、相同或相等的維度。來源和目的地累加矩陣(C)具有與第一來源矩陣之列數(rowsA)相同的列數(rowsC)以及與第二來源矩陣之行數(colsB)相同的行數(colsC)。亦即,來源和目的地累加矩陣(C)之列和行數可以從第一和第二來源矩陣之維度導出。由於這些相依性,可以使用各種不同的維度組合來指示這些矩陣的所有所需的維度,並且本文揭露的矩陣乘法指令可以利用任何足夠的組合。
執行單元510可操作以接收來源和結果矩陣指示符514。這些可類似於或相同於前面敘述的指示符114。舉例而言,指示符可包括記憶體位址資訊,其被用 來指明其中儲存在記憶體中的來源和目的地矩陣的記憶體位置。
執行單元514也可操作以接收乘法矩陣維度指示符450。如所示的實施例中,乘法矩陣維度指示符可包括足以指明三個矩陣之所有維度的三個不同維度之三個不同的指示符。於所示的範例中,這些包括第一來源矩陣(A)547的列數、第一來源矩陣(A)548的行數(其與第二來源矩陣(B)之列數相同)和第二來源矩陣(B)549的行數。應當理解,存在其他可能的方式來指示相同的資訊,諸如(例如)藉由指示可以從其導出來源矩陣的某些維度的來源和目的地累加矩陣(C)的維度。
執行單元也可操作以接收分別具有矩陣A、B和C之潛在地/選擇性地較大的矩陣之記憶體佈局維度指示符452。這些維度可以表示為行主格式或列主格式,如前所述。
如圖所示,在一些實施例中,執行單元可選擇性地包括磚邏輯556。在一些實施例中,磚邏輯556和/或執行單元510和/或具有執行單元之處理器(響應於矩陣乘法指令)可操作以執行鋪磚。鋪磚可以廣泛地表示分割、劃分或以其他方式將相對較大的矩陣分解成稱為磚或塊的多個不重疊的較小矩陣。舉例而言,在一些實施例中,磚邏輯和/或執行單元和/或處理器(響應於矩陣乘法指令)可操作以劃分相對較大的來源矩陣A、B和C(例如,根據乘法矩陣維度指示符450劃分尺寸)為相對較小 的磚之至少一尺寸。
如果大多數的磚具有二維的尺寸,則可能會提高效率。可以選擇性地將磚製成正方形,儘管這不是必需的。例如,相對較大的來源矩陣可以沿著最大尺寸進行分割,其中一個維度為2的冪。通常,相對較大的矩陣(和/或相對較大的磚)的周邊邊緣,即那些最後被平鋪(或進一步分層)的部分,可能傾向於具有不總是二次冪的尺寸和/或可以是矩形而不是正方形的磚。響應於矩陣乘法指令而執行的鋪磚可能超出任何由矩陣乘法指令之執行之範圍外的軟體演算法執行的選擇性/潛在地的鋪磚。
在一些實施例中,鋪磚可選擇性地被執行以劃分相對較大的來源矩陣為至少兩個不同尺寸的磚,雖然此並非必要。例如,第一相對較大的來源矩陣A、B和C可能被破碎成相對較大的磚,然後相對較大的磚可能被破碎成相對較小的磚,並且這個程序可以可選擇性地針對一或多個較小尺寸重複。在一些實施例中,可能有兩個、三個、四個、五個、甚至更多不同的層級或尺寸的磚。舉例而言,可以部分地基於用來儲存磚的晶粒上儲存結構(例如,暫存器、快取、高速暫存記憶體、專用緩衝器等等)的不同儲存容量來選擇不同尺寸的磚,使得磚適當地適配在這些不同的結構之中。舉例而言,磚資料可以從在記憶體層級中的較高層複製,接著專資料可被操作,以及接著結果可被儲存回記憶體層級中的較高層,並且這可被執行用於記憶體層級中的每個層級。
進一步闡明某些概念,圖6為鋪磚之範例實施例的方塊圖。執行單元610可以接收矩陣乘法指令606。執行單元包括鋪磚邏輯656以及融合乘法和加法邏輯658。矩陣624可被儲存在記憶體620中。鋪磚邏輯可響應於矩陣乘法指令在矩陣上執行鋪磚,以便將矩陣劃分為標記為「1」、「2」、「3」和「4」的四個磚(在這說明性範例中)。磚「1」可以在層級2(L2)快取670中被存取以及儲存在層級2(L2)快取670中。磚「1」的尺寸可以選擇性地被選擇,使得這個尺寸的磚可以適合於L2快取的尺寸(例如,包括將在下面進一步討論的任何雙倍或三倍緩衝)。
鋪磚邏輯可響應於矩陣乘法指令在磚「1」上進一步執行鋪磚,以便將磚「1」劃分為標記為「1.1」、「1.2」、「1.3」和「1.4」的四個額外更小的磚(在這說明性範例中)。磚「1.1」可以儲存在層級1(L1)快取668中。磚「1.1」的尺寸可以選擇性地被選擇,使得這個尺寸的磚可以適合於L1快取的尺寸(例如,包括將在下面進一步討論的任何雙倍或三倍緩衝)。
鋪磚邏輯可響應於矩陣乘法指令在磚「1.1」上更一步執行鋪磚,用以將磚「1.1」劃分為標記為「1.1.1」、「1.1.2」、「1.1.3」和「1.1.4」的四個額外更小的磚(在這說明性範例中)。這些較小的磚可由融合矩陣乘法和加法邏輯658處理,其可以具有陣列融合乘法器和加法器來處理這種尺寸的磚。如所示,磚「1.1.1」可 被提供至融合矩陣乘法和加法邏輯。應能理解到這僅僅為一示例性範例。於其他實施例中,矩陣和/或磚可以選擇性地劃分為更少或更多個磚。或者,可以選用更少或更多不同層級和尺寸的磚。
在一些實施例中,磚可以選擇性地在快取之中雙倍緩衝或三倍緩衝。雙倍緩衝和三倍緩衝可以分別指具有兩個或三個磚的副本。例如,在一些實施例中,用於矩陣A和B的磚可以選擇性地為雙倍緩衝,以及用於矩陣C的磚可以選擇性地為雙倍或三倍緩衝。可以將一個副本用於要被相乘(在某些情況下累加)的來源資料,並且可以使用另一個副本來收集算術結果。
於此範例中,快取已被用於儲存磚。於其他實施例中可以選擇性地使用單獨的或專用的儲存位置。例如,高速暫存記憶體之一或多個層級可以選擇性地用於儲存這些磚。舉例而言,其可能是當指令由可能沒有這些現有快取層級的專用矩陣乘法加速器執行時的這種情況。
再次參考圖5,由執行單元算數地處理的磚可被提供至融合矩陣乘法和加法邏輯558。當作一範例,融合矩陣乘法和加法邏輯可包括融合乘法器和加法器之二維陣列。舉例而言,這可包括每一CPU核心每一時脈從64至128雙精度浮點融合乘法加法器,或從128到256個單精度融合乘法加法器。融合矩陣乘法和加法邏輯可以執行矩陣乘法,並且在這實施例中,也可以執行矩陣累加。或者,矩陣累加可以選擇性地省略或關閉(例如,藉由不執 行加法、藉由將累加矩陣乘以零係數等等)。
在進一步示出的某些概念,融合矩陣乘法和加法邏輯558之邏輯560可以選擇性地實施以執行矩陣累加的矩陣乘法的演算法的一個簡單示例性範例可以由以下虛擬碼表示:
Figure 110139698-A0101-12-0027-1
這個演算法包括三個巢套迴路。具體來說,具有迴路計數器「i」的外迴路接管第一來源矩陣(A)的所有列(即「rowsA」),具有迴路計數器「j」的中間迴路接管第二來源矩陣(B)的行(即「colsB」)以及具有迴路計數器「k」的第三最內迴路接管共同維度(「comm」)。巢套在所有這些迴路中,執行乘法和加法。
應能理解到這僅僅為一合適的演算法之示例性範例。其它演算法可以選擇性地增加額外的迴路(例如,用於磚、用於不同尺寸之多層級的磚)。此外,存取資料的順序可以選擇性地不同於在演算法中所示的順序。這可能部分是由於執行鋪磚的特定方式。通常,不要在共同維度上改變最內層「k」迴路的順序,因為改變其順序可能傾向於稍微修改由於對浮點捨入的排序相依性而導致的最終結果值。雖然,對於這種四捨五入波動可接受的實施方案,如果需要,該最內迴路的順序也可選擇性地改 變。
如果矩陣乘法指令成功地完成,則執行單元可操作以將結果矩陣儲存在來源/目的地累加矩陣(C)532中。然而,如果在完成之前異常、頁面故障或其它此種異常狀況或其它中斷發生,可接著儲存完成進度指示符(CPI)518。執行單元和/或完成進度指示符計算邏輯562可操作以儲存完成程序指示符。例如,其可以選擇性地儲存在通用暫存器512中、或記憶體中、或其它合適的儲存位置中。完成進度指示符可以選擇性地類似於或相同於上述的那些。
作為一個具體示例性範例,對於上面顯示之具有三個巢套迴路之演算法,完成進度指示符邏輯562可以包括用以根據和/或與下面一致的方程式1來計算完成進度指示符(CPI)的邏輯564,方程式1為:
CPI=i * colsB * comm+j * comm+k 方程式1
在這方程式中,「i」表示當前迴路計數器在中斷的時候接管矩陣A之列,「j」表示當前迴路計數器在中斷的時候接管矩陣B之行(colsB)以及「k」表示當前迴路計數器在中斷的時候接管共同維度(comm)。不同尺寸的序列數可用於不同實施例。例如,序列數可以表示為32位元、64位元或128位元值,僅舉幾個範例。通常,32位元序列數往往適用於合適的大尺寸矩陣,而64位元序列可用於非常大的矩陣(例如,兩週長矩陣乘法),以及128位元序列數可能是用於極大的矩陣。
一旦重新啟動,計算可以由於中斷而在它們離開的點恢復。完成進度指示符可用於此目的。例如,迴路計數器值可以藉由使用完成進度指示符恢復到中斷時所具有的值。舉例而言,對於根據方程式1計算的完成進度指示符,迴路計數器值i、j和k可以具有與以下方程式2至4一致的值:
i=CPI/comm/colsB 方程式2
j=(CPI/comm)% colsB 方程式3
k=CPI% comm% colsB 方程式4
在這些方程式中,「%」表示產生一個整數的模數或餘數運算符。完成進度指示符的另一個合適的範例實施例是不同迴路計數器值的序連。此外,它們可以選擇性地單獨儲存而不是序連,但是可以集體邏輯地代表完成進度指示符的另一範例。
在矩陣乘法指令成功地完成之後,完成進度指示符可以具有與根據以下方程式5計算的值一致的值:
CPI=rowsA * comm * colsB 方程式5
這只是合適的完成進度指示符的一個示例性範例,以及使用這個完成進度指示符重新開始計算的方式。在其他實施例中,可以選擇性地使用三個以上的巢套迴路。此外,這些循環可能不會順序地走。在一些實施例中,執行單元510和/或其中包含執行單元510的處理器可以被允許以不同於上面顯示之虛擬碼中的特定順序之順序讀取A、B和(用於累加)C矩陣的資料部分。此外,在一些實施例中,C矩陣之資料部分可選擇性地以不同於 在虛擬碼中顯示的順序被寫入。
相應地,執行單元和/或處理器可以被允許產生並儲存完成進度指示符,該完成進度指示符基於並且與不同於上面所示的具體示例性範例的不同方程式或方法一致。最終結果矩陣可以實質結構地定義為指令(例如,可能允許由於順序相依性的浮點捨入而產生的微小變化)。然而,處理矩陣資料的中間順序以及相應地計算完成進度指示符的方式及其值可能不被架構地定義。相反,這些方面可能被允許是彈性的。這可以允許矩陣資料被處理的特定順序和方式(例如,存取資料的特定方式,如何實施鋪磚等等)從一個實施方式變化到另一實施方式和/或針對不同設計目標定制。在一些實施例中,完成進度指示符的中間值對於軟體可能是無意義的。在一些實施例中,軟體可能不知道如何解讀或使用這些完成進度指示符於中斷之後恢復矩陣乘法。相反,執行單元和/或處理器可能負責使用完成進度指示符的這種中間值。
類似地,在指令完成之前儲存在處理器內的磚或中間資料(例如,在暫存器、快取、高速暫存記憶體等等中)可以選擇性地不被架構地定義和/或可被軟體所理解。選擇性地,此種磚或中間資料可選擇性地在背景切換和/或矩陣乘法指令的中斷之後不被保存和恢復。此外,在一些實施例中,此種資料可以選擇性地不被窺探(例如,藉由其他快取同調代理、其他快取代理、其他硬體執行緒或核心等)。在一些實施例中,由矩陣乘法指令 執行的矩陣資料的載入和儲存儲存至矩陣資料,只能針對前面和後面的指令進行排序。即使矩陣乘法指令也可能以與例如上述虛擬碼中所示的三個巢套迴路不同的順序讀取來源運算元並寫入目的地運算元,一般記憶體排序規則通常應用於矩陣乘法指令(例如作為整體)、程式順序中的前面指令以及程式順序中的後續指令。
在一些實施例中,如本文所揭露之矩陣乘法指令可以選擇性地支持二或更多不同鋪磚演算法、機制或方案。例如,這些不同鋪磚方案可以在不同尺寸的磚的數量上、不同磚的尺寸或有關鋪磚的其它態樣或它們的組合上不同。當作一範例,矩陣乘法指令之初始地執行可使用相對簡單的鋪磚演算法,並且隨後的鋪磚演算法可以隨時間演變或改變(例如,結合更複雜的特徵、更多層級的磚等)。結果,與矩陣乘法指令的執行有關的鋪磚態樣可隨時間或處理器代數而改變。在一些實施例中,除了儲存完成進度指示符之外,當存在中斷時,執行單元也可以操作以儲存所使用的鋪磚演算法的指示。例如,可以使用單個位元來區分兩個不同的鋪磚演算法,或者可以使用二或更多個位元來允許將來可能使用更多的鋪磚演算法。指令如果被中斷可以儲存這樣的識別符。在一些情況下,其可以與完成進度指示符一起儲存,諸如在不同的位元欄位中,或者與完成進度指示符(例如,在另一個暫存器中)分開儲存。而且,在一些實施例中,還可以選擇性地為不同的實施方式態樣增加一或多個附加位元。舉例而言,可以使 用具有四至八位元的值來指明在鋪磚演算法和/或其他方式上不同的不同的可能實施方式之數量。這可以允許使用不同的實施方式,包括實現隨著時間而改變,並且當中斷之後恢復時,執行單元使用先前實施方式的指示。例如,如果兩個實施方式是可能的,執行單元可以儲存所使用的指示,使得在恢復中斷的指令時可以再次使用相同的實施方式。
在一些實施例中,融合矩陣乘法和加法邏輯558和/或執行單元510可以被設計、定製或優化以對於矩陣資料的特定尺寸或尺寸範圍相對更快和/或更有效(例如,某些磚尺寸或範圍)。舉例而言,可以針對一個尺寸的磚(例如,矩陣A的16列、矩陣A的16行和矩陣B的16行)來設計、定製或優化第一實施方式,例如大約32到64個積和熔加(fused multiply add:FMA)時脈。可以針對另一尺寸的磚(例如,矩陣A的32列、矩陣A的32行和矩陣B的32行)來設計、定製或優化第二實施方式,例如大約256到512個FMA時脈。可以針對又一尺寸的磚(例如,矩陣A的64列、矩陣A的64行和矩陣B的64行)來設計、定製或優化第三實施方式,以及用於仍然不同尺寸的磚的第四實施方式(例如,矩陣A的128列、矩陣A的128行和矩陣B的128行),例如大約16,000到32,000個FMA時脈。
在一些實施例中,指令可隱含地對固定尺寸的磚或資料執行算術運算,儘管這不是必需的。於其他實 施例中,指令可隱含地對彈性尺寸的磚或資料執行算術運算,儘管這不是必需的。在另外的其它實施例中,可選擇性地支持兩種形式。使用固定尺寸的一個可能的優點是,在適當的情況下,它可能有助於提高性能。例如,在固定尺寸的情況下,在指令提取和/或解碼時可以知道該固定尺寸,而不是稍後(例如,在執行期間)。藉由大約在解碼時間知道該固定尺寸,可以將適當數量的微操作或其他操作引入管線中以幫助減少執行管線中的泡數或空槽數。這可能有助於提高性能。相比之下,如果尺寸僅在之後知道,則為了避免在執行管線中出現這樣的泡或空槽可能為時已晚。在一些實施例中,固定尺寸形式可選擇性地使用即值來指明乘法矩陣維度指示符(例如,乘法矩陣維度指示符450)。在編譯器可以知道或者得知要使用此種固定尺寸的情況下,可以使用這種形式的指令,並且這些乘法矩陣維度指示符可以透過指令的即值傳遞。於其他實施例中,當尺寸不固定時,或者如果不知道尺寸是否固定時,可以使用彈性的尺寸形式,並且可以在暫存器(例如,通用暫存器)中指明乘法矩陣維度指示符。此種性能改進通常僅對於相對小尺寸的矩陣而言是顯著的,因為對於較大尺寸的矩陣,由於初始泡引起的低效率很快被消除,並且僅代表所有計算的一小部分。
在一些實施例中,當執行矩陣乘法指令時,也可操作以使執行單元和/或處理器預提取矩陣資料。例如,矩陣資料可以從記憶體層級的更遠的層級預提取到更 接近的層級(例如,靠近處理器的核心)。此種資料預提取操作可以與指令的算術運算同時重疊或執行。這可能有助於確保執行單元有足夠的資料來處理。在一些實施例中,此種預提取操作可以選擇性地被實施為在架構上不保證完成的預提取提示,並且處理器可以自由地漠視或忽略(例如,如果其認為它應該做別的事情)。在一些實施例中,程式順序中的較早的矩陣乘法指令可操作以使矩陣資料預提取以預提取將由隨後的矩陣乘法指令使用的資料。
某些處理器可能已經具有現有的資料預提取單元。在一些實施例中,此種現有的資料預提取單元可以選擇性地被重新用於矩陣乘法指令。然而,現有資料預提取單元可以適於意識到它正在提取矩陣資料,並且可操作以相應地以適合於此種矩陣資料的方式執行預提取。例如,這可以包括基於二維資料注意事項的預提取,而不僅僅是一維資料注意事項,預提取全部的磚或矩陣資料的其他離散部分,沿著磚邊界預提取等等。在其他實施例中,附加或專用的資料預提取單元或邏輯可以選擇性地被包括,並且可以主要專用於矩陣乘法指令的執行。此種專用的資料預提取單元或邏輯也可以意識到它正在提取矩陣資料,並且可操作以相應地以適合於此種矩陣資料的方式執行預提取。
在執行時,矩陣乘法在某些情況下可以重複地從記憶體存取資料。當從記憶體存取矩陣的順序部分時,可以跨越頁面邊界。這裡可能是或可能不是頁面故 障。通常,如果沒有頁面故障,則所有來源運算元之完整的磚通常可用。然而,如果存在頁面故障,則只有來源運算元之一部分的磚可能可用。當磚的一部分已經被處理和/或沿著大矩陣的周邊的中間點恢復執行指令時,部分的磚也可以存在。
圖7為以相對更快的模式或相對較慢的模式執行矩陣乘法之方法780的範例實施例的方塊流程圖。用語更快和更慢為相對用語(即,彼此相對)而不是絕對用語。在方塊781,所述方法包括嘗試從記憶體存取來源運算元之完整的磚。在方塊782,可以判定是否只有部分的磚可用於至少一個來源運算元。
在方塊783,如果全部的磚可用於所有來源運算元(例如,判定為「否」),則可以在相對較快的執行模式下執行乘法,其涉及在每單位時間內相對更多的並行乘法。舉例而言,資料元素之向量或陣列可以並行乘法。通常情況下,更快的模式是常見的情況,除了頁面故障、中斷和沿著大型矩陣周邊的磚。
或者,在方塊784,如果僅部分的磚可用(例如,判定為「是」),則可以在相對較慢的執行模式中執行乘法,涉及在每個單位時間內相對較少/更少的並行乘法。於某些情況下,這可涉及對逐個元素進行乘法,或者與更快的模式同時執行至少較少乘法。一旦部分的磚完成,執行通常可以急切地恢復到更快的模式。
在一些實施例中,假設完整的磚可用並且執 行更快的模式,執行單元可以開始矩陣乘法指令,以及如果部分的磚被偵測可切換至更慢的模式(例如,藉由導致微異常)。在一些實施例中,假設完成進度指示符指示先前進度的量為無並且執行更快的模式,執行單元可以開始矩陣乘法指令,並且當完成進度指示符指示先前進度的量不為無時可以切換至較慢的模式(例如,藉由導致微異常)。
圖8A-C為適合於執行本文所述之矩陣乘法指令之實施例的三個不同實施例處理器的方塊圖。圖8A顯示在範例中為四個具有均質核心890A-1至890A-4的第一處理器802A。舉例而言,這些核心中的每一個可以通常具有相同的架構、架構特徵和執行資源。在一些實施例中,這四個核心可以分別各包括用以執行本文揭露之矩陣乘法的實施例之邏輯891A-1至891-4。
圖8B顯示在範例中為三個相互異質核心的第二處理器802B。具體地,有序SIMD核心893、有序純量核心894和失序(OOO)核心895。這些核心通常可以至少在一些架構和微架構方式上異質。例如,只有OOO核心可具有OOO邏輯或至少更多的OOO邏輯。作為另一示例,SIMD核心可以具有SIMD執行資源,但是純量核心可能不具有SIMD執行資源等等。在一些實施例中,核心中的一者,例如SIMD核心893可以包括執行本文所揭露之矩陣乘法的實施例的891B。OOO核心可以替代地或額外地具有此種核心。
圖8C顯示在範例中為兩個均質核心890C-1至890C-2的第三處理器802C。舉例而言,這些核心中的每一個可以通常具有相同的架構、架構特徵和執行資源。第三處理器也具有矩陣乘法加速器896。在一些實施例中,矩陣乘法加速器可包括用以執行本文揭露之矩陣乘法的實施例之邏輯。
示例性核心架構、處理器及電腦架構
處理器核心可以不同方式、用於不同目的、及於不同處理器實施。例如,此種核心的實施可包括:1)意圖用於通用計算的通用有序核心;2)意圖用於通用計算的高效能通用失序核心;3)主要意圖用於圖形及/或科學(資料通量)計算的特用核心。不同處理器的實施可包括:1)一CPU包括一或多個意圖用於通用計算的通用有序核心和/或一或多個意圖用於通用計算的通用失序核心;及2)一共用記憶體包括一或多個主要意圖用於圖形及/或科學(資料通量)計算的特用核心。此等不同處理器結果導致不同的電腦系統架構,其可包括:1)共處理器在與CPU在分開的晶片上;2)共處理器在與CPU相同封裝體內的分開晶粒上;3)共處理器在與CPU相同的晶粒上(於此種情況下,此種共處理器偶爾係稱作特殊用途邏輯,諸如積體圖形和/或科學(資料通量)邏輯,或稱作特用核心);及4)單晶片系統可包括在相同的晶粒上之所述CPU(偶爾稱作應用核心或應用處理器)、前述共 處理器,及額外功能。其次描述核心架構實施例,接著描述處理器及電腦架構實施例。
核心架構範例
有序及失序核心方塊圖
圖9A根據本發明實施例示出有序管線之範例及暫存器重新命名、失序簽發/執行管線之範例二者的方塊圖。圖9B根據本發明實施例示出包括在處理器中有序管線之實施例及暫存器重新命名、失序簽發/執行架構核心之實施例二者的方塊圖。圖9A-B的實線框例示說明有序管線及有序核心,而虛線框的選擇性添加例示說明暫存器重新命名、失序簽發/執行管線及核心。假設有序方面為失序方面的一子集,將描述失序方面。
於圖9A中,處理器管線900包括提取階段902、長度解碼階段904、解碼階段906、配置階段908、重新命名階段910、排程(又稱為調度或簽發)階段912、暫存器讀取/記憶體讀取階段914、執行階段916、回寫/記憶體寫入階段918、例外處置階段922、及確定階段924。
圖9B顯示處理器核心990包括耦接至執行引擎單元950的前端單元930,以及二者係耦接至記憶體單元970。核心990可為精簡指令集計算(RISC)核心、複雜指令集計算(CISC)核心、極長指令字組(VLIW)核心、或混合或其它核心類型。至於又另一選項,核心990 可為特用核心,諸如網路或通訊核心、壓縮引擎、共處理器核心、通用計算圖形處理單元(GPGPU)核心、或圖形核心等。
前端單元930包括耦接至一指令快取單元934的分支預測單元932,指令快取單元934係耦接至指令轉譯後備緩衝器(TLB)936,其係耦接至指令提取單元938,其係耦接至一解碼單元940。解碼單元940(或解碼器)可解碼指令,以及產生一或多個微操作微碼進入點、微指令、其它指令、或其它控制訊號作為輸出,其係從原先指令解碼,或以其它方式反映、或推衍自原先指令。解碼單元940可使用多種不同機構實施。適當機構的實施例包括但非僅限於詢查表、硬體實施、可規劃邏輯陣列(PLA)、微碼唯讀記憶體(ROM)等。於一個實施例中,核心990包括一微碼ROM或針對一些巨集指令儲存微碼的其它媒體(例如於解碼單元940內或否則於前端單元930內部)。解碼單元940係耦接至執行引擎單元950內部的重新命名/配置器單元952。
執行引擎單元950包括重新命名/配置器單元952,其耦接至撤回單元954及一或多個排程器單元956之集合。排程器單元956表示任何數目的不同排程器,包括保留站、中央指令窗等。排程器單元956係耦接至實體暫存器檔案單元958。實體暫存器檔案單元958各自表示一或多個實體暫存器檔案,其中之不同者儲存一或多個不同資料類別,諸如純量整數、純量浮點、緊縮整數、緊縮 浮點、向量整數、向量浮點、狀態(例如指令指標器其為欲執行的下個指令的位址)等。於一個實施例中,實體暫存器檔案單元958包含向量暫存器單元、寫入遮罩暫存器單元、及純量暫存器單元。此等暫存器單元可提供架構向量暫存器、向量遮罩暫存器、及通用暫存器。實體暫存器檔案單元958被撤回單元954重疊以例示說明可實施暫存器重新命名與失序執行的多種方式(例如使用重新排序緩衝器及撤回暫存器檔案;使用未來檔案、歷史緩衝器及撤回暫存器檔案;使用暫存器映射表及一匯集物之暫存器等)。撤回單元954及實體暫存器檔案單元958係耦接至執行叢集960。執行叢集960包括一或多個執行單元962之一集合及一或多個記憶體存取單元964之一集合。執行單元962可對各型資料(例如純量浮點、緊縮整數、緊縮浮點、向量整數、向量浮點)執行各項操作(例如移位、加法、減法、乘法)。雖然有些實施例可包括專用於特定功能或功能集合的多個執行單元,但其它實施例可只包括一個執行單元或多個執行單元,其全部一起執行全部功能。排程器單元956、實體暫存器檔案單元958、及執行叢集960顯示為可能為多數,原因在於一些實施例產生針對一些類別的資料/操作的分開管線(例如純量整數管線、純量浮點/緊縮整數/緊縮浮點/向量整數/向量浮點管線、和/或記憶體存取管線各自具有其本身的排程器單元、實體暫存器檔案單元、和/或執行叢集且於分開記憶體存取管線之情況下,實施一些實施例其中只有此一管線 的執行叢集具有記憶體存取單元964)。也須瞭解使用分開管線時,此等管線中之一或多者可為失序簽發/執行及剩下為有序靜止。
記憶體存取單元964之集合係耦接至記憶體單元970,其包括一資料TLB單元972耦接至與層級2(L2)快取單元976耦接的一資料快取單元974。在一個示例性實施例中,記憶體存取單元964可包括一載入單元、一儲存位址單元、及一儲存資料單元,各單元係耦接至記憶體單元970中的資料TLB單元972。指令快取單元934進一步係耦接至在記憶體單元970中的層級2(L2)快取單元976。L2快取單元976係耦接至一或多個其它層級的快取記憶體,及最終耦接至一主記憶體。
例如,示例性暫存器重新命名、失序簽發/執行核心架構可實施管線900如下:1)指令提取938執行提取及長度解碼階段902及904;2)解碼單元940執行解碼階段906;3)重新命名/配置器單元952執行配置階段908及重新命名階段910;4)排程器單元956執行排程階段912;5)實體暫存器檔案單元958及記憶體單元970執行暫存器讀取/記憶體讀取階段914;執行叢集960進行該執行階段916;6)記憶體單元970及實體暫存器檔案單元958執行回寫/記憶體寫入階段918;7)可能涉及例外處置階段922的各個單元;及8)撤回單元954及實體暫存器檔案單元958執行確定階段924。
核心990可支持一或多個指令集(例如x86 指令集(有些擴延已經增加較新版本);加州昇陽谷的MIPS技術公司之MIPS指令集;加州昇陽谷的ARM控股公司的ARM指令集(具有選擇性額外擴延,諸如霓虹(NEON)),含括此處描述的指令。於一個實施例中,核心990包括支持緊縮資料指令集擴延(例如AVX1、AVX2)的邏輯,藉此允許許多多媒體應用程式使用的該等操作欲使用緊縮資料執行。
應能理解到核心可支持多執行緒(執行二或多個並列的操作或執行緒集合),且可以多種方式達成支持,包括時間截割多執行緒、同時多執行緒(於該處針對實體核心為同時多執行緒的該等執行緒各者,單一實體核心提供一邏輯核心)、或其組合(例如時間截割提取與解碼及其後同時多執行緒,諸如Intel® Hyperthreading技術)。
雖然暫存器重新命名係以失序執行脈絡描述,但須瞭解暫存器重新命名可用於有序架構。雖然處理器之具體實施例也包括分開的指令及資料快取單元934/974及一分享L2快取單元976,但替代實施例可具有用於指令及資料二者的單一內部快取記憶體,諸如層級1(L1)內部快取記憶體,或內部快取記憶體的多個層級。在一些實施例中,該系統可包括一內部快取記憶體與在核心和/或處理器外部的一外部快取記憶體之組合。另外,全部快取記憶體可位在核心和/或處理器外部。
有序核心架構特例
圖10A-B例示說明有序核心架構之更特定實施例之方塊圖,該核心將為晶片中數個邏輯區塊中之一者(包括相同類別和/或不同類別的其它核心)。取決於應用用途,邏輯區塊透過高頻寬互連網路(例如環狀網路)而與若干固定功能邏輯、記憶體I/O介面、及其它需要的I/O邏輯通訊。
圖10A為根據本發明實施例之單一處理器核心之方塊圖,連同其連接至晶粒上互連網路1002及層級2(L2)快取記憶體1004之其本地子集的方塊圖。在一個實施例中,指令解碼器1000支持具有緊縮資料指令集擴延的x86指令集。L1快取記憶體1006允許低度延遲存取快取記憶體至純量及向量單元。雖然於一個實施例中(為了簡化設計),純量單元1008及向量單元1010使用分開的暫存器集合(分別為純量暫存器11012及向量暫存器1014),在其間傳輸的資料係寫入至記憶體,然後從層級1(L1)快取記憶體1006回讀,本發明之替代實施例可使用不同辦法(例如使用單一暫存器集合或包括通訊路徑,其允許資料在兩個暫存器檔案間移轉而不被寫入及回讀)。
L2快取記憶體之本地子集1004乃通用L2快取記憶體部分,被劃分成分開本地子集,每個處理器核心一個子集。各個處理器核心具有一直接存取路徑至其本身的L2快取記憶體之本地子集1004。由一處理器核心所讀 取的資料係儲存於其L2快取子集1004中,且與其它處理器核心存取其本身的本地L2快取子集並列地能夠被快速存取。由處理器核心寫入的資料係儲存於其本身的L2快取子集1004,及若有所需,從其它子集刷新。環狀網路確保分享資料的同調。環狀網路乃雙向以允許代理者諸如處理器核心、L2快取記憶體及其它邏輯區塊在晶片內部彼此通訊。各個環狀資料路徑為每個方向1012-位元寬。
圖10B為根據本發明實施例之圖10A中的處理器核心部分之展開圖。圖10B包括L1快取記憶體1004的L1資料快取記憶體1006A部分,以及有關向量單元1010及向量暫存器1014之進一步細節。更明確言之,向量單元1010為16-寬向量處理單元(VPU)(參考16-寬ALU 1028),其係執行整數指令、單精度浮點指令、及雙精度浮點指令中之一或多者。向量處理單元(VPU)支持使用調合單元1020調合該暫存器輸入,使用數值轉換單元1022A-B做數值轉換,及使用複製單元1024對記憶體輸入作複製。寫入遮罩暫存器1026允許預測所得的向量寫入。
具有積體記憶體控制器及圖形之處理器
圖11為根據本發明實施例之處理器1100的方塊圖,該處理器1100可具有多於一個核心、可具有整合記憶體控制器及可具有整合圖形。圖11的實線框例示說明一處理器1100具有單一核心1102A、一系統代理 1110、一或多個匯流排控制器單元1116之一集合,而選擇性地增加的虛線框例示說明另一個處理器1100具有多個核心1102A-N、於系統代理單元1110中之一或多個積體記憶體控制器單元1114之集合、及特殊用途邏輯1108。
因此,處理器1100的不同實施可包括:1)一CPU具有特殊用途邏輯1108係為積體圖形和/或科學(資料通量)邏輯(可包括一或多個核心),及核心1102A-N係為一或多個通用核心(例如通用有序核心、通用失序核心、二者的組合);2)一共處理器具有核心1102A-N係為意圖主要用於圖形和/或科學(資料通量)的大量專用核心;3)一共處理器具有核心1102A-N係為大量通用有序核心。因此,處理器1100可為通用處理器、共處理器或特有處理器,諸如網路或通訊處理器、壓縮引擎、圖形處理器、GPGPU(通用圖形處理單元)、高資料通量多積體核心(MIC)共處理器(含30或以上核心)、嵌入式處理器等。處理器可在一或多個晶片上實施。處理器1100可為一或多個基板的一部分,和/或可使用任何多項處理技術諸如BiCMOS、CMOS、或NMOS而實施在一或多個基板上。
記憶體層級關係包括在核心內部的一或多個快取層級、一或多個共享快取單元1106之集合、及耦接至積體記憶體控制器單元1114之集合的外部記憶體(圖中未顯示)。共享快取單元1106之集合可包括一或多個 中階快取記憶體,諸如層級2(L2)、層級3(L3)、層級4(L4)、或其它層級快取記憶體、最末層級快取記憶體(LLC)、和/或其組合。雖然於一個實施例中,一環式為基的互連單元1112互連積體圖形邏輯1108、共享快取單元1106之集合、及系統代理單元1110/積體記憶體控制器單元1114,但其它實施例可使用任何數目的眾所周知技術以互連此等單元。於一個實施例中,在一或多個快取單元1106與核心1102A-N間維持同調。
在一些實施例中,核心1102A-N中之一或多者可為多執行緒。系統代理1110包括協調與操作核心1102A-N的該等組件。系統代理單元1110可包括例如電力控制單元(PCU)及一顯示單元。電力控制單元(PCU)可為或包括調節核心1102A-N及積體圖形邏輯1108之功率狀態所需邏輯及組件。顯示單元係用以驅動一或多個外部連接的顯示器。
核心1102A-N就架構指令集而言可為同質或異質;換言之,核心1102A-N中之二或多者可能可執行相同指令集,而其它者只能執行該指令集之一子集或一不同指令集。
電腦架構範例
圖12至圖21為電腦架構範例之方塊圖。其它本領域已知之針對膝上型電腦、桌上型電腦、手持式個人電腦、個人數位助理器、工程工作站、伺服器、網路裝 置、網路集線器、交換器、嵌入式處理器、數位訊號處理器(DSP)、圖形裝置、視訊遊戲裝置、機上盒、微控制器、小區式電話、可攜式媒體播放器、手持式裝置及其它多種電子裝置的其它系統設計及組態也屬適宜。概略言之,能夠結合一處理器和/或其它此處揭示的執行邏輯的大量多種系統或電子裝置大致上為適宜。
現在參考圖12,其顯示依據本發明之一個實施例的一種系統1200之方塊圖。系統1200可包括一或多個處理器1210、1215,耦接至控制器集線器1220。在一個實施例中,控制器集線器1220包括一圖形記憶體控制器集線器(GMCH)1290及一輸入/輸出集線器(IOH)1250(可位在分開的晶片上);GMCH 1290包括記憶體及圖形控制器,其耦接記憶體1240及一共處理器1245;IOH 1250係耦接輸入/輸出(I/O)裝置1260至GMCH 1290。另外,記憶體及圖形控制器中之一或二者係整合於處理器內部(如此處描述),記憶體1240及共處理器1245係直接地耦接至處理器1210及耦接至在單一晶片內具有IOH 1250之控制器集線器1220。
額外處理器1215的選擇性的本質係以虛線標示於圖12。各個處理器1210、1215可包括此處描述的處理核心中之一或多者且可為處理器1100的某個版本。
記憶體1240例如可為動態隨機存取記憶體(DRAM)、相變記憶體(PCM)或二者的組合。針對至少一實施例,控制器集線器1220透過多插匯流排諸如前 端匯流排(FSB)、點對點介面諸如快速路徑互連(QPI)或類似的連接1295而與處理器1210、1215通訊。
在一實施例中,共處理器1245乃特用處理器,諸如高資料通量MIC處理器、網路或通訊處理器、壓縮引擎、圖形處理器、GPGPU、或嵌入式處理器等。於一實施例中,控制器集線器1220可包括一積體圖形加速器。
就一定範圍的優劣量表而言,包括架構、微架構、熱、功率耗損特性等,處理器1210、1215間可有多項差異。
在一實施例中,處理器1210執行指令,其控制通用類別的資料處理操作。該等指令內部嵌入共處理器指令。處理器1210識別此等共處理器指令乃屬須由附接的共處理器1245執行的類別。因此,處理器1210在共處理器匯流排或其它互連上簽發此等共處理器指令(或表示共處理器指令的控制訊號)給共處理器1245。共處理器1245接收且執行所接收的共處理器指令。
現在參考圖13,其顯示依據本發明之一實施例之第一更特定的示範系統1300之一方塊圖。如圖13所示,多處理器系統1300為點對點互連系統,包括透過點對點互連1350而耦接的第一處理器1370及第二處理器1380。處理器1370及1380各自可為處理器1100的某個版本。於本發明之一個實施例中,處理器1370及1380分 別為處理器1210及1215,而共處理器1338為共處理器1245。在另一個實施例中,處理器1370及1380分別為處理器1210及共處理器1245。
處理器1370及1380係顯示為分別包括積體記憶體控制器(IMC)單元1372及1382。處理器1370也包括點對點(P-P)介面1376及1378作為其匯流排控制器單元之一部分;同理,第二處理器1380可包括P-P介面1386及1388。處理器1370、1380可使用P-P介面電路1378、1388透過點對點(P-P)介面1350交換資訊。如圖13所示,IMC 1372及1382耦接該等處理器至個別記憶體,亦即記憶體1332及記憶體1334,其可為本地附接至個別處理器的主記憶體的一部分。
處理器1370、1380可使用點對點介面電路1376、1394、1386、1398透過各個P-P介面1352、1354而各自與一晶片組1390交換資訊。晶片組1390也可選擇性地透過一高效能介面1339而與共處理器1338交換資訊。在一實施例中,共處理器1338乃特用處理器,諸如高資料通量MIC處理器、網路或通訊處理器、壓縮引擎、圖形處理器、GPGPU、或嵌入式處理器等。
共享快取記憶體(圖中未顯示)可含括於任一處理器內或二處理器外部,但仍然透過P-P互連而與處理器連接,使得當一處理器被置於低功率模式時,任一處理器的或二處理器的本地快取記憶體資訊可被儲存於該共享快取記憶體。
晶片組1390可透過一介面1396而耦接至一第一匯流排1316。在一個實施例中,第一匯流排1316可為周邊組件互連(PCI)匯流排,或諸如PCI快速匯流排或其它第三代I/O互連匯流排之一匯流排,但本發明之範圍不因此限制。
如圖13所示,多個I/O裝置1314可連同一匯流排橋接器1318而耦接至第一匯流排1316,該匯流排橋接器1318係耦接第一匯流排1316至第二匯流排1320。在一個實施例中,一或多個額外處理器1315,諸如共處理器、高資料通量MIC處理器、GPGPU、加速器(例如圖形加速器或數位訊號處理器(DSP)單元)、可現場程式規劃閘陣列、或任何其它處理器係耦接至第一匯流排1316。在一個實施例中,第二匯流排1320可為低接腳數目(LPC)匯流排。在一個實施例中,多個裝置可耦接至第二匯流排1320,包括例如鍵盤及/或滑鼠1322、通訊裝置1327及儲存單元1328,諸如磁碟機或其它大容量儲存裝置,可包括指令/碼及資料1330。此外,音頻I/O 1324可被耦接至第二匯流排1320。注意其它架構係屬可能。例如,替代圖13之點對點架構,一系統可實施多插匯流排或其它此種架構。
現在參考圖14,顯示依據本發明之一實施例的第二更特定的示範系統1400之一方塊圖。圖13與圖14中相似的元件具有相似的元件符號,及圖13的一些方面已經從圖14刪除以免不必要地遮掩圖14的其它方面。
圖14例示說明處理器1370、1380分別地可包括積體記憶體及I/O控制邏輯(「CL」)1372及1382。因此,CL 1372、1382可包括積體記憶體控制器單元且包括I/O控制邏輯。圖14例示說明不僅記憶體1332、1334耦接至CL 1372、1382,I/O裝置1414也耦接至控制邏輯1372、1382。舊式I/O裝置1415係耦接至晶片組1390。
現在參考圖15,其顯示依據本發明之一個實施例一種SoC 1500之方塊圖。圖11中的相似元件具有類似的元件符號。又,虛線框乃更為先進SoC上的選擇性特徵。於圖15中,一互連單元1502係耦接至:一應用程式處理器1510,其包括一或多個核心142A-N與共享快取單元1106之一集合;一系統代理單元1110;一匯流排控制器單元1116;一積體記憶體控制器單元1114;一或多個共處理器1520之一集合,其可包括積體圖形邏輯、影像處理器、音訊處理器、及視訊處理器;一靜態隨機存取記憶體(SRAM)單元1530;一直接記憶體存取(DMA)單元1532;及用以耦接至一或多個外部顯示器的一顯示單元1540。在一個實施例中,該(等)共處理器1520包括特用處理器,諸如網路或通訊處理器、壓縮引擎、GPGPU、高資料通量MIC處理器、嵌入式處理器等。
因此處揭示的機構之實施例可於硬體、軟體、韌體或此等實施辦法的組合而予實施。本發明之實施例可實施為電腦程式或在包含至少一處理器、儲存系統 (包括依電性及非依電性記憶體和/或儲存元件)、至少一輸入裝置、及至少一輸出裝置之可程式系統上執行的程式碼。
程式碼(諸如圖13例示說明之碼1330)可應用至輸入指令以執行此處描述的功能及產生輸出資訊。輸出資訊可以已知方式施加至一或多個輸出裝置。用於本應用之目的,處理系統包括具有一處理器的任何系統,諸如數位訊號處理器(DSP)、微控制器、特定應用積體電路(ASIC)或微處理器。
程式碼可於高階程式或物件導向程式語言實施以與一處理系統通訊。若有所需,程式碼也可於組合語言或機器語言實施。實際上,此處描述的機構之範圍並非限於任何特定程式語言。任何狀況之下,語言可為編譯語言或解譯語言。
至少一實施例的一或多個方面可藉表示處理器內部的多個邏輯而儲存在機器可讀取媒體上的代表性指令實施,該等指令當由一機器讀取時使得該機器組合邏輯以執行此處描述的技術。此種表示型態稱作為「IP核心」,可儲存在具體有形的機器可讀取媒體上且供給各個客戶或製造廠以載入至實際上生產該邏輯或處理器的組裝機器內。
此等機器可讀取儲存媒體可包括但非僅限於由機器或裝置所製造或製成的非暫態具體有形的物件配置,包括諸如硬碟,包括軟碟、光碟、光碟-唯讀記憶體 (CD-ROM)、光碟可覆寫入式(CD-RW)、及磁光碟等任何其它類別的碟片之儲存媒體;半導體裝置,諸如唯讀記憶體(ROM)、隨機存取記憶體(RAM)諸如動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、可抹除可規劃唯讀記憶體(EPROM)、快閃記憶體、可電氣抹除可規劃唯讀記憶體(EEPROM)、相變記憶體(PCM)、磁卡或光卡;或適用以儲存電子指令的任何其它類別的媒體。
因此,本發明之實施例也包括含有指令或含有設計資料的非暫態具體有形的機器可讀取媒體,諸如硬體描述語言(HDL),其定義此處描述的結構、電路、裝置、處理器和/或系統特徵。此等實施例也可稱作為程式產品。
仿真(包含二進制轉譯、碼變形等)
於一些情況下,指令轉換器可用以將指令從來源指令集轉換成目標指令集。例如,指令轉換器可將一指令轉譯(例如使用靜態二進制轉譯、含動態編譯的動態二進制轉譯)、變形、仿真或以其它方式轉換成欲藉核心處理的一或多個其它指令。指令轉換器可於軟體、硬體、韌體或其組合實施。指令轉換器可在處理器上、不在處理器上、或部分在及部分不在處理器上。
圖16為根據本發明實施例之對比軟體指令轉換器用以將在來源指令集中之二進制指令轉換成在目標指 令集中之二進制指令的方塊圖。於所示的實施例中,指令轉換器為軟體指令轉換器,但另外,指令轉換器可於軟體、韌體、硬體、或其各項組合實施。圖16示出了高階語言1602中的程式可以使用x86編譯器1604編譯以產生可以由具有至少一個x86指令集核心之處理器1616原生地執行的x86二進制碼1606。具有至少一x86指令集核心之處理器1616表示藉相容式執行或以其它方式處理(1)英特爾x86指令集核心的該指令集之一相當大部分或(2)靶定以在具至少一x86指令集核心的一英特爾處理器上執行的應用程式或其它軟體之目標碼版本而執行與具至少一x86指令集核心的一英特爾處理器實質上相同功能以達成與具至少一x86指令集核心的一英特爾處理器實質上相同結果。x86編譯器1604表示可操作而產生x86二進制碼1606(例如目標碼)的一編碼器,該等x86二進制碼1606有或無額外鏈結處理可在具至少一x86指令集核心的該處理器1616上執行。類似地,圖16顯示於高階語言1602的該程式可使用另一指令集編譯器1608編譯以產生另一指令集二進制碼1610,可藉不具至少一x86指令集核心的一處理器1614本機執行(例如具有執行加州昇陽谷的MIPS技術公司之MIPS指令集和/或執行加州昇陽谷的ARM控股公司的ARM指令集之核心的一處理器)。指令轉換器1612係用以將x86二進制碼1606轉換成可由不具一x86指令集核心的該處理器1614本機執行的碼。此種轉換碼不可能與另一指令集二進制碼1610相 同,原因在於難以製造可達成此項目的之一指令轉換器;但轉換碼將達成一般操作且係由得自該另一指令集的指令組成。因此,指令轉換器1612表示軟體、韌體、硬體或其組合其透過仿真、模擬或任何其它處理允許不具有x86指令集處理器或核心的一處理器或其它電子裝置執行該x86二進制碼1606。
針對為本文公開的任何處理器描述的組件、特徵、及細節可選擇性地應用於本文公開的任何方法,其在實施例中可選地由和/或與這些處理器執行。任何在本文實施例中敘述的處理器可以選擇性地包括在任何本文揭露的系統中。任何在本文實施例中敘述的指令可選地由和/或與本文揭露的處理器執行,選擇性地在一些實施例中具有任何本文所示之微架構,以及選擇性地在一些實施例中被包括在任何本文所示之系統中。因此,本文所揭露之用於任何指令的特徵和細節可以在一些實施例中,因此選擇性地應用至可被用來執行那些指令之本文所揭露的任何處理器和/或系統中。
本文揭露的處理器組件可以說是可操作以、可配置以、能夠或可以執行操作的。例如,解碼器可被用以解碼指令,執行單元可被用來儲存結果等等。簡言之,應理解到這些表達式並不意味著處理器組件正在運行或使用,而是指當處理器組件在運行時能夠做或能夠做什麼,但是在設備請求項中,這些處理器組件不在運行中。
於說明書及申請專利範圍中,術語「耦接」 和/或「連接」(連同其衍生詞)可被使用。這些術語並非被用為彼此的同義詞。反之,於實施例中,「連接」可被用以指示其二或更多元件係彼此直接地實體和/或電氣接觸。「耦接」可表示二或更多元件係彼此直接地物理和/或電氣接觸。然而,「耦接」亦可表示其二或更多元件不是彼此直接接觸,而仍彼此合作或互動。例如,執行單元可透過一或更多中間組件而與暫存器和/或解碼單元耦接。於圖形中,箭號被用以顯示連接或耦接。
本文揭露的組件和上述圖中所描繪的方法可以使用包括硬體(例如,電晶體、閘、電路等)、韌體(例如,非揮發性記憶體儲存微碼或控制訊號)、軟體(例如,儲存在非暫態電腦可讀取儲存媒體上)或其組合的邏輯、模組或單元被實施。在一些實施例中,邏輯、模組或單元可以包括至少一些或硬體和/或韌體可能與一些選擇性軟體相結合的主要的混合物。
術語「和/或」可被使用。如本文中所使用,術語「和/或」表示一者或另一者或兩者(例如,A和/或B表示A或B或A與B兩者)。
於以上說明中,已提出數個特定細節以提供實施例之透徹瞭解。然而,其他實施例可被實行而無這些特定的細節。本發明之範圍並非由以上所提供的特定範例來判定,而僅由底下的申請專利範圍來判定。於其他例子中,眾所周知的電路、結構、裝置、及操作已被顯示於方塊圖形式和/或無細節地,以避免妨礙對描述之瞭解。在 適當情況下,參考數字、或參考數字之末端部已被重複於圖形中以指示相應的或類似的元件,其可選擇性地具有類似的或相同的特性,除非另有指明或清楚明白的。
某些操作可由硬體組件來執行,或者可被實施以機器可執行或電路可執行指令,其可被用以致使和/或導致以指令編程之機器、電路、或硬體組件(例如,處理器、處理器之部分、電路,等等)執行該些操作。該些操作亦可選擇性地由硬體與軟體之組合來執行。處理器、機器、電路、或硬體可包括特定或特殊的電路或其他邏輯(例如,潛在地與韌體和/或軟體結合之硬體),其可操作以執行和/或處理指令並回應於該指令而儲存結果。
一些實施例包括製造物件(例如,電腦程式產品),其包括機器可讀取媒體。媒體可包括一種機制,其係以可由機器讀取之形式提供(例如,儲存)資訊。機器可讀取媒體可提供(或於其上儲存)指令或指令序列,其(假如和/或當由機器執行時)可操作以致使機器執行和/或導致機器執行本文中所揭露的操作、方法、或技術之一。
在一些實施例中,機器可讀取媒體可包括有形和/或非暫態機器可讀取儲存媒體。例如,非暫態機器可讀取儲存媒體可包括軟碟、光學儲存媒體、光碟、光學資料儲存裝置、CD-ROM、磁碟、磁光碟、唯讀記憶體(ROM)、可編程ROM(PROM)、可抹除且可編程ROM(EPROM)、電可抹除且可編程ROM (EEPROM)、隨機存取記憶體(RAM)、靜態RAM(SRAM)、動態RAM(DRAM)、快閃記憶體、相位改變記憶體、相位改變資料儲存材料、非揮發性記憶體、非揮發性資料儲存裝置、非暫態記憶體、非暫態資料儲存裝置,等等。非暫態機器可讀取儲存媒體不包括暫態傳播訊號。在一些實施例中,儲存媒體可以包含包括固態物質或材料的有形媒體,諸如(例如)半導體材料、相變材料、磁性固態材料、固態資料儲存材料等等。或者,可選擇性地使用非有形暫態電腦可讀取傳輸媒體,諸如(例如)電性、光學、聲波或其它形式之傳播訊號-諸如載波、紅外訊號和數位訊號。
適當機器之範例包括(但不限定於)通用目的處理器、特殊目的處理器、數位邏輯電路、積體電路,等等。適當機器之又其他範例包括電腦系統或其他電子裝置,其包括處理器、數位邏輯電路、或積體電路。此類電腦系統或電子裝置之範例包括(但不限定於)桌上型電腦、膝上型電腦、筆記型電腦、輸入板電腦、小筆電、智慧型手機、行動電話、伺服器、網路裝置(例如,路由器及開關)、行動網際網路裝置(MID)、媒體播放器、智慧電視、桌上型易網機、機上盒、及視頻遊戲控制器。
遍及本說明書針對「一實施例」、「實施例」、「一或更多實施例」、「一些實施例」(舉例而言)之參考係指示其特定特徵可被包括於本發明之實施中但並不一定必要。類似地,於說明書中,各個特徵有時被 組合在一起於單一實施例、圖形、或其描述中,以供解釋本發明及協助瞭解實施例之各個發明性形態的目的。然而,本發明之方法不應被解讀為反應其本發明需要比各申請專利範圍中所明確記載之更多特徵的企圖。反之,如以下申請專利範圍所反應者,發明性形態在於比單一所揭露實施例之所有特徵更少的特徵。因此,接續著實施方式之申請專利範圍於此被清楚地併入此實施方式中,以各項申請專利範圍本身可獨立成為本發明之一分離的實施例。
範例1為一種處理器,其包括用以解碼矩陣乘法指令的解碼單元。矩陣乘法指令用以指示第一來源矩陣之第一記憶體位置、用以指示第二來源矩陣之第二記憶體位置以及用以指示其中結果矩陣被儲存之第三記憶體位置。該處理器也包括與該解碼單元耦接之執行單元。執行單元,其響應於該矩陣乘法指令用以在中斷之前將該第一和第二來源矩陣之一部分相乘,並且響應於該中斷儲存完成進度指示符。完成進度指示符,其用以指示該第一和第二來源矩陣相乘之進度量,並且儲存相應的結果資料至第三記憶體位置,亦即在中斷之前已經完成。
範例2包括範例1之處理器,選擇性地其中該執行單元,響應於該矩陣乘法指令,係用以儲存沒有被架構地定義的該完成進度指示符。
範例3包括範例1之處理器,選擇性地其中該執行單元,響應於該矩陣乘法指令,係用以儲存不為軟體可理解的該完成進度指示符。
範例4包括範例1之處理器,選擇性地其中該執行單元,響應於該矩陣乘法指令在該中斷之後被恢復,係用以接收該完成進度指示符,並且使用該完成進度指示符以恢復該第一和第二來源矩陣的相乘,而不重覆相乘在該中斷之前已經相乘的該第一和第二來源矩陣之該部分。
範例5包括範例1之處理器,選擇性地其中該解碼單元係用以解碼用以指示矩陣維度指示符的該矩陣乘法指令。
範例6包括範例1之處理器,選擇性地其中該解碼單元係用以解碼該矩陣乘法指令,其用以指示該第一來源矩陣之列數、該第二來源矩陣之行數以及下列中的至少一者:(a)該第一來源矩陣之行數;以及(b)該第二來源矩陣之列數。
範例7包括範例6之處理器,選擇性地其中該第一來源矩陣、該第二來源矩陣以及該結果矩陣的每一者以行主格式儲存在記憶體中,以及選擇性地其中該解碼單元係用以解碼用以指示包括該第一來源矩陣之較大矩陣之行之間之距離、包括該第二來源矩陣之較大矩陣之行之間之距離以及包括該結果矩陣之較大矩陣之行之間之距離的該矩陣乘法指令。
範例8包括範例6之處理器,選擇性地其中該第一來源矩陣、該第二來源矩陣以及該結果矩陣的每一者以列主格式儲存在記憶體中,以及選擇性地其中該解碼 單元係用以解碼用以指示包括該第一來源矩陣之較大矩陣之列之間之距離、包括該第二來源矩陣之較大矩陣之列之間之距離以及包括該結果矩陣之較大矩陣之列之間之距離的該矩陣乘法指令。
範例9包括範例1之處理器,選擇性地其中該執行單元,響應於該矩陣乘法指令,係用以將該第一來源矩陣分解成複數個磚。
範例10包括範例9之處理器,選擇性地其中該執行單元,響應於該矩陣乘法指令,係用以分解該第一來源矩陣為複數個第一尺寸的磚,以及用以分解至少一該第一尺寸的磚為複數個第二尺寸的磚,該第二尺寸小於該第一尺寸。
範例11包括範例9之處理器,選擇性地其中該執行單元,響應於該矩陣乘法指令,係用以將該些磚之每一者的至少兩個副本儲存在快取中。
範例12包括範例11之處理器,選擇性地其中該執行單元,響應於該矩陣乘法指令,係用以分解該第一來源矩陣、該第二來源矩陣和累加矩陣的每一者。其初始地儲存在該第三記憶體位置,為複數個磚,儲存來自在該快取中該第一和第二來源矩陣之該些磚的每一者的兩個副本,以及儲存來自在該快取中該累加矩陣之該些磚的每一者的三個副本。
範例13包括範例1至12中任一者的處理器,其中該執行單元係,響應於該矩陣乘法指令,用以: (1)判定給定的磚是否為完整的磚或部分的磚;(2)當該給定的磚是該完整的磚時,選擇性地執行相對較多的並行乘法;或(3)當該給定磚是該部分磚時,選擇性地執行相對較少的並行乘法。
範例14包括範例1至12中任一者的處理器,其中該執行單元係,響應於該矩陣乘法指令在該中斷之後被恢復,用以:(1)推測地開始執行該矩陣乘法指令,假設該完成進度指示符指示先前進度的量為無;以及(2)當該完成進度指示符係用以指示先前進度的量不為無,選擇性地導致微異常或其它訊號。
範例15包括範例1至12中任一者的處理器,其中該解碼單元係用以解碼具有指示該第一和第二來源矩陣之每一者的尺寸之即值的該矩陣乘法指令,以及選擇性地其中該處理器基於該第一和第二源來矩陣之每者之該指示的尺寸,將操作引入該處理器之管線的前端部分。
範例16包括範例1至12中任一者的處理器,其中該執行單元響應於該矩陣乘法指令將初始地被儲存在該第三記憶體位置中的累加矩陣的一部分增加至該第一和第二來源矩陣之該部分之該乘法。
範例17包括範例1至12中任一者的處理器,更包括通用暫存器,以及其中該執行單元響應於該矩陣乘法指令選擇性地用以儲存該完成進度指示符在該通用暫存器中。
範例18為一種由處理器執行的方法,包括在 該處理器接收矩陣乘法指令。該矩陣乘法指令指示第一來源矩陣之第一記憶體位置、指示第二來源矩陣之第二記憶體位置以及指示其中結果矩陣被儲存之第三記憶體位置,響應於該矩陣乘法指令,在中斷之前相乘該第一和第二來源矩陣的一部分,以及響應於該矩陣乘法指令及該中斷,儲存指示該第一和第二來源矩陣相乘之進度量的該完成進度指示符,以及儲存相應的結果資料至第三記憶體位置,亦即在中斷之前已經完成。
範例19包括範例18的方法,其中該儲存包括儲存該完成進度指示符,該完成進度指示符為不被架構地定義並且不為軟體可理解的至少一個。
範例20包括範例18的方法,更包括,響應於該矩陣乘法指令在該中斷之後被恢復:(1)接收該完成進度指示符;以及(2)使用該完成進度指示符來恢復該第一和第二來源矩陣的乘法,而不重複相乘在該中斷之前已經相乘的該第一和第二來源矩陣之該部分。
範例21包括範例18之方法,其中所述接收包含接收該矩陣乘法指令,其用以指示該第一來源矩陣之列數、選擇性地該第二來源矩陣之行數以及下列中的至少一者:(a)該第一來源矩陣之行數;以及(b)該第二來源矩陣之列數。
範例22包括範例18之方法,更包括,響應於該矩陣乘法指令,將該第一來源矩陣分解成複數個磚。
範例23包括範例18的方法,更包括,響應 於該矩陣乘法指令在該中斷之後被恢復:(1)選擇性推測地開始執行該矩陣乘法指令,假設該完成進度指示符指示先前進度的量為無;以及(2)當該完成進度指示符指示先前進度的量不為無時,選擇性地導致微異常。
範例24為一種包括互連的電腦系統,以及與該互連耦接的處理器。該處理器用以接收矩陣乘法指令。矩陣乘法指令用以指示第一來源矩陣之第一記憶體位置、用以指示第二來源矩陣之第二記憶體位置以及用以指示其中結果矩陣被儲存之第三記憶體位置。處理器,響應於該矩陣乘法指令,用以在中斷之前將該第一和第二來源矩陣之一部分相乘,並且響應於該中斷儲存完成進度指示符在架構性可視儲存位置中。完成進度指示符係用以指示該第一和第二來源矩陣相乘之進度量,並且儲存相應的結果資料至第三記憶體位置,亦即在中斷之前已經完成。該系統也包括與該互連耦接之動態隨機存取記憶體(DRAM)。除了該矩陣乘法指令的一或多個實例之外,儲存指令之該DRAM不是存取或使用該完成進度指示符。
範例25包括範例24之電腦系統,其中該處理器,響應於該矩陣乘法指令,係用以儲存沒有被架構地定義的該完成進度指示符。
314:來源和目的地矩陣指示符
316:矩陣維度指示符
318:完成進度指示符
342:用於矩陣乘法指令之運算元
344:第一來源矩陣(A)之記憶體位址資訊
345:第二來源矩陣(B)之記憶體位址資訊
346:用於目的地矩陣(C)之記憶體位址資訊
347:第一來源矩陣(A)的列數
348:第一來源矩陣(A)的行數
349:第二來源矩陣(B)的行數

Claims (8)

  1. 一種處理器(102),其包含:
    解碼器(108),其用以解碼具有與第一來源矩陣(124)相關聯的第一欄位、有與第二來源矩陣(128)相關聯的第二欄位、目的地欄位(132)、及用以識別矩陣乘法指令(106;606)之運算碼的該矩陣乘法指令(106;606):
    執行單元(110),其耦接至該解碼器(108),該執行單元回應於該矩陣乘法指令(106;606)執行操作,該等操作包括:
    將該第一來源矩陣(124)劃分為第一複數個磚,在該第一複數個磚中的每一個磚包含指明數目的非重疊資料元件素,以及
    將該第二來源矩陣(128)劃分為第二複數個磚,在該第二複數個磚中的每一個磚包含指明數目的非重疊資料元件素,
    該執行單元(110)包含融合矩陣乘法和加法邏輯(558),其用以使用來自該第一複數個磚之第一磚的資料元素及來自該第二複數個磚之第二磚的資料元素執行並行融合乘法累加操作,
    至少一該融合乘法累加操作係用以:
    將來自該第一磚之資料元素與來自該第二磚的相應的資料元素相乘以產生複數個乘積,並將該複數個乘積中的一或多個與來自累加矩陣之相應的資料元素相加以在結果矩 陣(132;532)中產生相應的結果值。
  2. 如請求項1之處理器,其中該第一欄位係用以指示該第一來源矩陣(124)的位置,該第二欄位係用以指示該第二來源矩陣(128)的位置,以及該第一目的地欄位係用以指示該結果矩陣(132;532)的位置。
  3. 如請求項1之處理器,其中該運算碼對應於該第一來源矩陣(124)、該第二來源矩陣(128)、及該結果矩陣(132;532)的大小。
  4. 如請求項1之處理器(102),其中該融合矩陣乘法和加法邏輯(558)包含:
    複數個乘法器,每一乘法器用以將來自該第一磚之該等資料元素中的一者與來自該第二磚之該等資料元素中的一者相乘,以產生該複數個乘積中的一者,以及
    複數個加法器,每一加法器用以將該複數個乘積中的一或多個乘積與來自該累加矩陣的該相應的資料元素相加,以在該結果矩陣(132;532)中產生該相應的結果值。
  5. 如請求項4之處理器(102),其中該解碼器(108)係用以輸出複數個微操作或控制訊號,第一複數個該等微操作或控制訊號指示由該複數個乘法器執行的乘法。
  6. 如請求項4之處理器(102),其中該第一磚的大小與該第二磚之大小係基於該複數個乘法器的數目。
  7. 如請求項4之處理器(102),其中該複數 個乘法器包含數個乘法器,以優化一或多個預定大小的磚。
  8. 如請求項7之處理器(102),其中該一或多個預定的尺寸包含具有16列和16行的磚、具有32列和32行的磚、或具有64列和64行的磚。
TW110139698A 2016-07-02 2017-05-25 可中斷及可重啟矩陣乘法指令、處理器、方法和系統 TWI803030B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/201,442 2016-07-02
US15/201,442 US10275243B2 (en) 2016-07-02 2016-07-02 Interruptible and restartable matrix multiplication instructions, processors, methods, and systems

Publications (2)

Publication Number Publication Date
TW202209103A true TW202209103A (zh) 2022-03-01
TWI803030B TWI803030B (zh) 2023-05-21

Family

ID=60807617

Family Applications (3)

Application Number Title Priority Date Filing Date
TW106117444A TWI761347B (zh) 2016-07-02 2017-05-25 可中斷及可重啟矩陣乘法指令、處理器、方法和系統
TW112115842A TW202334810A (zh) 2016-07-02 2017-05-25 可中斷及可重啟矩陣乘法指令、處理器、方法和系統
TW110139698A TWI803030B (zh) 2016-07-02 2017-05-25 可中斷及可重啟矩陣乘法指令、處理器、方法和系統

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW106117444A TWI761347B (zh) 2016-07-02 2017-05-25 可中斷及可重啟矩陣乘法指令、處理器、方法和系統
TW112115842A TW202334810A (zh) 2016-07-02 2017-05-25 可中斷及可重啟矩陣乘法指令、處理器、方法和系統

Country Status (5)

Country Link
US (5) US10275243B2 (zh)
CN (3) CN113986356A (zh)
DE (1) DE112017003340T5 (zh)
TW (3) TWI761347B (zh)
WO (1) WO2018009295A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255072B2 (en) 2016-07-01 2019-04-09 Intel Corporation Architectural register replacement for instructions that use multiple architectural registers
EP3306479A1 (en) * 2016-10-06 2018-04-11 Stichting IMEC Nederland Memory structure comprising scratchpad memory
EP3602277B1 (en) * 2017-03-20 2022-08-03 Intel Corporation Systems, methods, and apparatuses for dot production operations
WO2019009870A1 (en) 2017-07-01 2019-01-10 Intel Corporation SAVE BACKGROUND TO VARIABLE BACKUP STATUS SIZE
US10409359B2 (en) * 2018-01-17 2019-09-10 Qualcomm Incorporated Dynamic bin ordering for load synchronization
CN110413211B (zh) * 2018-04-28 2023-07-07 伊姆西Ip控股有限责任公司 存储管理方法、电子设备以及计算机可读介质
CN110941789B (zh) * 2018-09-21 2023-12-15 北京地平线机器人技术研发有限公司 张量运算方法和装置
US10929143B2 (en) * 2018-09-28 2021-02-23 Intel Corporation Method and apparatus for efficient matrix alignment in a systolic array
US11068268B2 (en) 2019-08-05 2021-07-20 Arm Limited Data structure processing
US11372644B2 (en) * 2019-12-09 2022-06-28 Meta Platforms, Inc. Matrix processing instruction with optional up/down sampling of matrix
CN114651249A (zh) * 2019-12-16 2022-06-21 英特尔公司 在没有维度填充的情况下最大限度地减少由矩阵乘法和卷积内核中的不兼容主导维度引起的缓存冲突的负面影响的技术
US20210200711A1 (en) * 2019-12-28 2021-07-01 Intel Corporation System and Method for Configurable Systolic Array with Partial Read/Write
CN111242293B (zh) * 2020-01-13 2023-07-18 腾讯科技(深圳)有限公司 一种处理部件、数据处理的方法以及电子设备
US20210256373A1 (en) * 2020-02-13 2021-08-19 Samsung Electronics Co., Ltd. Method and apparatus with accelerator
CN113918879A (zh) * 2020-07-08 2022-01-11 华为技术有限公司 矩阵运算的方法和加速器
TWI746126B (zh) 2020-08-25 2021-11-11 創鑫智慧股份有限公司 矩陣乘法裝置及其操作方法
US11392384B2 (en) 2020-09-04 2022-07-19 Alibaba Group Holding Limited Methods of breaking down coarse-grained tasks for fine-grained task re-scheduling

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247632A (en) * 1989-01-23 1993-09-21 Eastman Kodak Company Virtual memory management arrangement for addressing multi-dimensional arrays in a digital data processing system
US5655096A (en) * 1990-10-12 1997-08-05 Branigin; Michael H. Method and apparatus for dynamic scheduling of instructions to ensure sequentially coherent data in a processor employing out-of-order execution
US5475882A (en) * 1993-10-15 1995-12-19 Sereboff; Joel L. Gel filled deformable cushion and composition contained therein
US5475822A (en) * 1993-11-15 1995-12-12 Motorola, Inc. Data processing system for resuming instruction execution after an interrupt and method therefor
US7301541B2 (en) 1995-08-16 2007-11-27 Microunity Systems Engineering, Inc. Programmable processor and method with wide operations
US5892962A (en) 1996-11-12 1999-04-06 Lucent Technologies Inc. FPGA-based processor
US6161219A (en) * 1997-07-03 2000-12-12 The University Of Iowa Research Foundation System and method for providing checkpointing with precompile directives and supporting software to produce checkpoints, independent of environment constraints
US6282634B1 (en) 1998-05-27 2001-08-28 Arm Limited Apparatus and method for processing data having a mixed vector/scalar register file
FR2787233B1 (fr) 1998-12-11 2001-02-16 St Microelectronics Sa Procede pour verifier l'integrite des circuits de decodage d'une memoire
US6901422B1 (en) 2001-03-21 2005-05-31 Apple Computer, Inc. Matrix multiplication in a vector processing system
US7725521B2 (en) 2001-10-29 2010-05-25 Intel Corporation Method and apparatus for computing matrix transformations
US6877020B1 (en) 2001-12-31 2005-04-05 Apple Computer, Inc. Method and apparatus for matrix transposition
US7003542B2 (en) 2002-01-02 2006-02-21 Intel Corporation Apparatus and method for inverting a 4×4 matrix
US7209939B2 (en) * 2002-07-11 2007-04-24 Sun Microsystems, Inc. Precision improvement method for the Strassen/Winograd matrix multiplication method
US6944747B2 (en) * 2002-12-09 2005-09-13 Gemtech Systems, Llc Apparatus and method for matrix data processing
US20040122887A1 (en) * 2002-12-20 2004-06-24 Macy William W. Efficient multiplication of small matrices using SIMD registers
GB2409062C (en) * 2003-12-09 2007-12-11 Advanced Risc Mach Ltd Aliasing data processing registers
US7873812B1 (en) 2004-04-05 2011-01-18 Tibet MIMAR Method and system for efficient matrix multiplication in a SIMD processor architecture
US20060190517A1 (en) 2005-02-02 2006-08-24 Guerrero Miguel A Techniques for transposition of a matrix arranged in a memory as multiple items per word
US20070186210A1 (en) 2006-02-06 2007-08-09 Via Technologies, Inc. Instruction set encoding in a dual-mode computer processing environment
US7792895B1 (en) 2006-06-16 2010-09-07 Nvidia Corporation Efficient matrix multiplication on a parallel processing device
US7912889B1 (en) * 2006-06-16 2011-03-22 Nvidia Corporation Mapping the threads of a CTA to the elements of a tile for efficient matrix multiplication
US20080071851A1 (en) 2006-09-20 2008-03-20 Ronen Zohar Instruction and logic for performing a dot-product operation
US8122078B2 (en) 2006-10-06 2012-02-21 Calos Fund, LLC Processor with enhanced combined-arithmetic capability
US7797362B2 (en) 2007-02-23 2010-09-14 Texas Instruments Incorporated Parallel architecture for matrix transposition
US8261155B2 (en) * 2007-03-09 2012-09-04 Qualcomm Incorporated Methods and apparatus for encoding and decoding low density parity check (LDPC) codes
US8392487B1 (en) * 2007-03-29 2013-03-05 Compass Electro-Optical Systems Ltd Programmable matrix processor
US8028015B2 (en) * 2007-08-10 2011-09-27 Inside Contactless S.A. Method and system for large number multiplication
US8923510B2 (en) 2007-12-28 2014-12-30 Intel Corporation Method and apparatus for efficiently implementing the advanced encryption standard
US8533251B2 (en) * 2008-05-23 2013-09-10 International Business Machines Corporation Optimized corner turns for local storage and bandwidth reduction
US8250130B2 (en) 2008-05-30 2012-08-21 International Business Machines Corporation Reducing bandwidth requirements for matrix multiplication
US8060730B2 (en) * 2008-05-30 2011-11-15 Freescale Semiconductor, Inc. Selective MISR data accumulation during exception processing
US20100180100A1 (en) 2009-01-13 2010-07-15 Mavrix Technology, Inc. Matrix microprocessor and method of operation
US20110055445A1 (en) * 2009-09-03 2011-03-03 Azuray Technologies, Inc. Digital Signal Processing Systems
US8539201B2 (en) 2009-11-04 2013-09-17 International Business Machines Corporation Transposing array data on SIMD multi-core processor architectures
US8984043B2 (en) 2009-12-23 2015-03-17 Intel Corporation Multiplying and adding matrices
US9600281B2 (en) * 2010-07-12 2017-03-21 International Business Machines Corporation Matrix multiplication operations using pair-wise load and splat operations
US8478969B2 (en) 2010-09-24 2013-07-02 Intel Corporation Performing a multiply-multiply-accumulate instruction
US20120113133A1 (en) * 2010-11-04 2012-05-10 Shpigelblat Shai System, device, and method for multiplying multi-dimensional data arrays
CN101986264B (zh) * 2010-11-25 2013-07-31 中国人民解放军国防科学技术大学 用于simd向量微处理器的多功能浮点乘加运算装置
US9727471B2 (en) 2010-11-29 2017-08-08 Intel Corporation Method and apparatus for stream buffer management instructions
CN106406817B (zh) 2011-04-01 2019-06-14 英特尔公司 向量友好指令格式及其执行
US20120254588A1 (en) 2011-04-01 2012-10-04 Jesus Corbal San Adrian Systems, apparatuses, and methods for blending two source operands into a single destination using a writemask
US9503741B2 (en) 2011-06-08 2016-11-22 Vixs Systems, Inc. Video decoder with multi-format vector processor and methods for use therewith
US9960917B2 (en) * 2011-12-22 2018-05-01 Intel Corporation Matrix multiply accumulate instruction
WO2013101018A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Dot product processors, methods, systems, and instructions
US20140149480A1 (en) 2012-11-28 2014-05-29 Nvidia Corporation System, method, and computer program product for transposing a matrix
US9442723B2 (en) 2012-12-28 2016-09-13 Intel Corporation Method and apparatus for integral image computation instructions
US8943068B2 (en) * 2013-02-26 2015-01-27 Cray Inc Dynamic graph system for a semantic database
US9286216B2 (en) * 2014-01-16 2016-03-15 Carnegie Mellon University 3DIC memory chips including computational logic-in-memory for performing accelerated data processing
US20150277904A1 (en) * 2014-03-28 2015-10-01 Roger Espasa Method and apparatus for performing a plurality of multiplication operations
CN106126189B (zh) 2014-07-02 2019-02-15 上海兆芯集成电路有限公司 微处理器中的方法
US20160179523A1 (en) * 2014-12-23 2016-06-23 Intel Corporation Apparatus and method for vector broadcast and xorand logical instruction
US10535114B2 (en) * 2015-08-18 2020-01-14 Nvidia Corporation Controlling multi-pass rendering sequences in a cache tiling architecture
US20170337156A1 (en) * 2016-04-26 2017-11-23 Onnivation Llc Computing machine architecture for matrix and array processing
US10146535B2 (en) 2016-10-20 2018-12-04 Intel Corporatoin Systems, apparatuses, and methods for chained fused multiply add
KR20220090588A (ko) 2016-12-31 2022-06-29 인텔 코포레이션 이종 컴퓨팅을 위한 시스템들, 방법들, 및 장치들

Also Published As

Publication number Publication date
CN109313556B (zh) 2024-01-23
US20190258481A1 (en) 2019-08-22
TWI803030B (zh) 2023-05-21
TWI761347B (zh) 2022-04-21
US20230350674A1 (en) 2023-11-02
US20230409318A1 (en) 2023-12-21
CN116700793A (zh) 2023-09-05
US11048508B2 (en) 2021-06-29
CN109313556A (zh) 2019-02-05
US20180004510A1 (en) 2018-01-04
TW202334810A (zh) 2023-09-01
US20210326131A1 (en) 2021-10-21
CN113986356A (zh) 2022-01-28
US11698787B2 (en) 2023-07-11
DE112017003340T5 (de) 2019-03-14
WO2018009295A1 (en) 2018-01-11
US10275243B2 (en) 2019-04-30
TW201802668A (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
TWI761347B (zh) 可中斷及可重啟矩陣乘法指令、處理器、方法和系統
KR101783576B1 (ko) 다수의 코어들, 공유 코어 확장 로직, 및 공유 코어 확장 이용 명령어들을 갖는 프로세서
TWI731893B (zh) 具有載入索引和預提取聚集操作之處理器、方法及系統
TWI731892B (zh) 用於以通道為基礎的跨步儲存操作之指令及邏輯
JP5739961B2 (ja) ベクトル圧縮及びローテート機能を提供する命令及び論理
TWI567751B (zh) 多暫存器記憶體存取指令、處理器、方法及系統
US20170177359A1 (en) Instructions and Logic for Lane-Based Strided Scatter Operations
US20170177363A1 (en) Instructions and Logic for Load-Indices-and-Gather Operations
WO2017112175A1 (en) Instructions and logic for load-indices-and-scatter operations
TWI515653B (zh) 指令順序執行之指令對、處理器、方法及系統
WO2017105717A1 (en) Instructions and logic for get-multiple-vector-elements operations
WO2017105716A1 (en) Instructions and logic for even and odd vector get operations
WO2017112249A1 (en) Hardware content-associative data structure for acceleration of set operations
US10133582B2 (en) Instruction and logic for identifying instructions for retirement in a multi-strand out-of-order processor
WO2017112190A1 (en) Instruction and logic for getting a column of data