TWI747933B - 硬體加速器及用於卸載操作之方法 - Google Patents

硬體加速器及用於卸載操作之方法 Download PDF

Info

Publication number
TWI747933B
TWI747933B TW106126953A TW106126953A TWI747933B TW I747933 B TWI747933 B TW I747933B TW 106126953 A TW106126953 A TW 106126953A TW 106126953 A TW106126953 A TW 106126953A TW I747933 B TWI747933 B TW I747933B
Authority
TW
Taiwan
Prior art keywords
buffer
accelerator
output
input
hardware accelerator
Prior art date
Application number
TW106126953A
Other languages
English (en)
Other versions
TW201814506A (zh
Inventor
維諾德 哥帕
詹姆斯 吉佛德
崔西 德萊斯多
Original Assignee
美商英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商英特爾股份有限公司 filed Critical 美商英特爾股份有限公司
Publication of TW201814506A publication Critical patent/TW201814506A/zh
Application granted granted Critical
Publication of TWI747933B publication Critical patent/TWI747933B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Advance Control (AREA)
  • Multi Processors (AREA)

Abstract

描述有關卸載操作之方法及設備。於一實施例中，硬體處理器包括用以執行執行緒並卸載操作之核心；及用以執行該操作之第一和第二硬體加速器，其中該第一和第二硬體加速器被耦合至共用緩衝器以儲存來自該第一硬體加速器之輸出資料並將該輸出資料提供為該第二硬體加速器之該輸入資料，該第二硬體加速器之輸入緩衝器描述符陣列具有針對各個別共用緩衝器之項目，該第二硬體加速器之輸入緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，該第一硬體加速器之輸出緩衝器描述符陣列具有針對各個別共用緩衝器之項目，及該第一硬體加速器之輸出緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目。

Description

硬體加速器及用於卸載操作之方法
本發明一般係有關電子電路，而更明確地，本發明之實施例係有關用以履行卸載操作之硬體加速器。
處理器(或處理器之集合)係執行來自指令集(例如，指令集架構(ISA))之指令。指令集為關於編程之電腦架構的部分，且通常包括本機資料類型、指令、暫存器架構、定址模式、記憶體架構、中斷和例外處置、及外部輸入和輸出(I/O)。應注意：術語「指令」於此可指稱巨集指令，例如，其為提供給處理器以供執行之指令；或者微指令，例如，其得自處理器之解碼器解碼巨集指令的結果之指令。
1‧‧‧裝置
2‧‧‧裝置
100‧‧‧硬體處理裝置
102、104‧‧‧硬體加速器
200‧‧‧硬體處理裝置
202、204‧‧‧硬體加速器
300‧‧‧硬體處理器
302‧‧‧加速器
304‧‧‧資料儲存裝置
306‧‧‧核心0
308‧‧‧輸入緩衝器
309‧‧‧共用緩衝器
310‧‧‧輸出緩衝器
311‧‧‧描述符
312‧‧‧緩衝器描述符
314‧‧‧指針
316‧‧‧陣列
318‧‧‧指針
320‧‧‧陣列
322‧‧‧回應描述符
324‧‧‧指針
326‧‧‧陣列
328‧‧‧指針
330‧‧‧陣列
402‧‧‧硬體加速器1
403‧‧‧加速器命令佇列
404‧‧‧資料儲存裝置
405‧‧‧裝置背景結構
406‧‧‧硬體處理裝置
407‧‧‧靜態背景資料
408‧‧‧輸入緩衝器
409‧‧‧輸入緩衝器0
412‧‧‧緩衝器描述符
414‧‧‧LastValidIn指針
416‧‧‧陣列
418‧‧‧LastValidOut指針
420‧‧‧陣列
422‧‧‧緩衝器回應描述符
424‧‧‧LastConsumedIn
426‧‧‧陣列
428‧‧‧LastConsumedOut
430‧‧‧陣列
431、433‧‧‧命令封包
436、438‧‧‧寫入
440、450‧‧‧緩衝器描述符0
442、448‧‧‧更新
452‧‧‧硬體加速器2
453‧‧‧加速器命令佇列
455‧‧‧裝置背景結構
457‧‧‧靜態背景資料
460‧‧‧輸出緩衝器
461‧‧‧輸出緩衝器0
462‧‧‧緩衝器描述符
464‧‧‧LastValidIn
466‧‧‧陣列
468‧‧‧LastValidOut
470‧‧‧陣列
472‧‧‧緩衝器回應描述符
474‧‧‧LastConsumedIn
476‧‧‧陣列
478‧‧‧LastConsumedOut
480‧‧‧陣列
482、483‧‧‧背景結構指標
484‧‧‧緩衝器描述符0
486、492‧‧‧遞增
488、498‧‧‧判定
491‧‧‧共用緩衝器
493‧‧‧輸出/輸入緩衝器0
496‧‧‧緩衝器描述符0
502‧‧‧提呈計數
504‧‧‧快照
506‧‧‧其他資料
508‧‧‧請求佇列
510‧‧‧待執行工作佇列
512‧‧‧現用工作欄位
700‧‧‧一般性向量友善指令格式
705‧‧‧無記憶體存取
710‧‧‧無記憶體存取、全捨入控制類型操作
712‧‧‧無記憶體存取、寫入遮蔽控制、部分捨入控制類型操作
715‧‧‧無記憶體存取、資料變換類型操作
717‧‧‧無記憶體存取、寫入遮蔽控制、v大小類型操作
720‧‧‧記憶體存取
727‧‧‧記憶體存取、寫入遮蔽控制
740‧‧‧格式欄位
742‧‧‧基礎操作欄位
744‧‧‧暫存器指標欄位
746‧‧‧修飾符欄位
750‧‧‧擴增操作欄位
752‧‧‧α欄位
752A‧‧‧RS欄位
752A.1‧‧‧捨入
752A.2‧‧‧資料變換
752B‧‧‧逐出暗示欄位
752B.1‧‧‧暫時
752B.2‧‧‧非暫時
754‧‧‧β欄位
754A‧‧‧捨入控制欄位
754B‧‧‧資料變換欄位
754C‧‧‧資料調處欄位
756‧‧‧SAE欄位
757A‧‧‧RL欄位
757A.1‧‧‧捨入
757A.2‧‧‧向量長度(VSIZE)
757B‧‧‧廣播欄位
758‧‧‧捨入操作控制欄位
759A‧‧‧捨入操作欄位
759B‧‧‧向量長度欄位
760‧‧‧比例欄位
762A‧‧‧置換欄位
762B‧‧‧置換因數欄位
764‧‧‧資料元件寬度欄位
768‧‧‧類別欄位
768A‧‧‧類別A
768B‧‧‧類別B
770‧‧‧寫入遮蔽欄位
772‧‧‧即刻欄位
774‧‧‧全運算碼欄位
800‧‧‧特定向量友善指令格式
802‧‧‧EVEX前綴
805‧‧‧REX欄位
810‧‧‧REX’欄位
815‧‧‧運算碼映圖欄位
820‧‧‧VVVV欄位
825‧‧‧前綴編碼欄位
830‧‧‧真實運算碼欄位
840‧‧‧Mod R/M位元組
842‧‧‧MOD欄位
844‧‧‧Reg欄位
846‧‧‧R/M欄位
854‧‧‧SIB.xxx
856‧‧‧SIB.bbb
900‧‧‧暫存器架構
910‧‧‧向量暫存器
915‧‧‧寫入遮蔽暫存器
925‧‧‧通用暫存器
945‧‧‧純量浮點堆疊暫存器檔
950‧‧‧MMX緊縮整數平坦暫存器檔
1000‧‧‧處理器管線
1002‧‧‧提取級
1004‧‧‧長度解碼級
1006‧‧‧解碼級
1008‧‧‧配置級
1010‧‧‧重新命名級
1012‧‧‧排程級
1014‧‧‧暫存器讀取/記憶體讀取級
1016‧‧‧執行級
1018‧‧‧寫入回/記憶體寫入級
1022‧‧‧例外處置級
1024‧‧‧確定級
1030‧‧‧前端單元
1032‧‧‧分支預測單元
1034‧‧‧指令快取單元
1036‧‧‧指令變換後備緩衝(TLB)
1038‧‧‧指令提取單元
1040‧‧‧解碼單元
1050‧‧‧執行引擎單元
1052‧‧‧重新命名/配置器單元
1054‧‧‧撤回單元
1056‧‧‧排程器單元
1058‧‧‧實體暫存器檔單元
1060‧‧‧執行叢集
1062‧‧‧執行單元
1064‧‧‧記憶體存取單元
1070‧‧‧記憶體單元
1072‧‧‧資料TLB單元
1074‧‧‧資料快取單元
1076‧‧‧第二階(L2)快取單元
1090‧‧‧處理器核心
1100‧‧‧指令解碼單元
1102‧‧‧晶粒上互連網路
1104‧‧‧第二階(L2)快取
1106‧‧‧L1快取
1106A‧‧‧L1資料快取
1108‧‧‧純量單元
1110‧‧‧向量單元
1112‧‧‧純量暫存器
1114‧‧‧向量暫存器
1120‧‧‧拌合單元
1122A-B‧‧‧數字轉換單元
1124‧‧‧複製單元
1126‧‧‧寫入遮蔽暫存器
1128‧‧‧16寬的ALU
1200‧‧‧處理器
1202A-N‧‧‧核心
1206‧‧‧共用快取單元
1208‧‧‧特殊用途邏輯
1210‧‧‧系統代理
1212‧‧‧環狀為基的互連單元
1214‧‧‧集成記憶體控制器單元
1216‧‧‧匯流排控制器單元
1300‧‧‧系統
1310、1315‧‧‧處理器
1320‧‧‧控制器集線器
1340‧‧‧記憶體
1340A‧‧‧加速器管理器模組
1345‧‧‧共處理器
1350‧‧‧輸入/輸出集線器(IOH)
1360‧‧‧輸入/輸出(I/O)裝置
1390‧‧‧圖形記憶體控制器集線器(GMCH)
1395‧‧‧連接
1400‧‧‧多處理器系統
1414‧‧‧I/O裝置
1415‧‧‧額外處理器
1416‧‧‧第一匯流排
1418‧‧‧匯流排橋
1420‧‧‧第二匯流排
1422‧‧‧鍵盤及/或滑鼠
1424‧‧‧音頻I/O
1427‧‧‧通訊裝置
1428‧‧‧儲存單元
1430‧‧‧指令/碼及資料
1432‧‧‧記憶體
1434‧‧‧記憶體
1438‧‧‧共處理器
1439‧‧‧高性能介面
1450‧‧‧點對點互連
1452、1454‧‧‧P-P介面
1470‧‧‧第一處理器
1472、1482‧‧‧集成記憶體控制器(IMC)單元
1476、1478‧‧‧點對點(P-P)介面
1480‧‧‧第二處理器
1486、1488‧‧‧P-P介面
1490‧‧‧晶片組
1494、1498‧‧‧點對點介面電路
1496‧‧‧介面
1500‧‧‧系統
1514‧‧‧I/O裝置
1515‧‧‧舊有I/O裝置
1600‧‧‧SoC
1602‧‧‧互連單元
1610‧‧‧應用程式處理器
1620‧‧‧共處理器
1630‧‧‧靜態隨機存取記憶體(SRAM)單元
1632‧‧‧直接記憶體存取(DMA)單元
1640‧‧‧顯示單元
1702‧‧‧高階語言
1704‧‧‧x86編譯器
1706‧‧‧x86二元碼
1708‧‧‧指令集編譯器
1710‧‧‧指令集二元碼
1712‧‧‧指令轉換器
1714‧‧‧沒有至少一x86指令集核心之處理器
1716‧‧‧具有至少一x86指令集核心之處理器
本發明係藉由後附圖形之圖中的範例(而非限制)來闡明，其中相似的參考符號係指示類似的元件， 且其中：圖1闡明依據本發明之實施例的硬體處理裝置及硬體加速器。
圖2A-2B闡明依據本發明之實施例的硬體處理裝置及硬體加速器。
圖3闡明依據本發明之實施例的包括複數核心及硬體加速器之硬體處理器。
圖4闡明依據本發明之實施例的硬體處理裝置及硬體加速器。
圖5闡明依據本發明之實施例的流程圖。
圖6闡明依據本發明之實施例的加速操作之流程圖。
圖7A為闡明一般性向量友善指令格式及其類別A指令模板的方塊圖，依據本發明之實施例。
圖7B為闡明一般性向量友善指令格式及其類別B指令模板的方塊圖，依據本發明之實施例。
圖8A為闡明圖7A及7B中之一般性向量友善指令格式的欄位之方塊圖，依據本發明之實施例。
圖8B為闡明其組成全運算碼欄位的圖8A中之特定向量友善指令格式的欄位之方塊圖，依據本發明之一實施例。
圖8C為闡明其組成暫存器指標欄位的圖8A中之特定向量友善指令格式的欄位之方塊圖，依據本發明之一實施例。
圖8D為闡明其組成擴增操作欄位750的圖8A中之特定向量友善指令格式的欄位之方塊圖，依據本發明之一實施例。
圖9為一暫存器架構之方塊圖，依據本發明之一實施例。
圖10A為闡明範例依序管線及範例暫存器重新命名、失序發送/執行管線兩者之方塊圖，依據本發明之實施例。
圖10B為一方塊圖，其闡明將包括於依據本發明之實施例的處理器中之依序架構核心之範例實施例及範例暫存器重新命名、失序發送/執行架構核心兩者。
圖11A為單處理器核心之方塊圖，連同與晶粒上互連網路之其連接、以及第2階(L2)快取之其本地子集，依據本發明之實施例。
圖11B為圖11A中之處理器核心的部分之延伸視圖，依據本發明之實施例。
圖12為一種處理器之方塊圖，該處理器可具有多於一個核心、可具有集成記憶體控制器、且可具有集成圖形，依據本發明之實施例。
圖13為一系統之方塊圖，依據本發明之一實施例。
圖14為依據本發明之實施例的更特定範例系統之方塊圖。
圖15為依據本發明之實施例的第二更特定範 例系統之方塊圖。
圖16顯示依據本發明之實施例的系統單晶片(SoC)的方塊圖。
圖17為一種對照軟體指令轉換器之使用的方塊圖，該轉換器係用以將來源指令集中之二元指令轉換至目標指令集中之二元指令，依據本發明之實施例。
【發明內容】及【實施方式】
於以下描述中，提出了數個特定細節。然而，應理解：本發明之實施例可被實行而無這些特定細節。於其他例子中，眾所周知的電路、結構及技術未被詳細地顯示以免模糊了對本說明書之瞭解。
說明書中對於「一個實施例」、「一實施例」、「一範例實施例」等等之參照係指示所述之實施例可包括特定的特徵、結構、或特性，但每一實施例可能不一定包括該特定的特徵、結構、或特性。此外，此等用詞不一定指稱相同的實施例。再者，當特定的特徵、結構、或特性配合實施例而描述時，係認為其落入熟悉此項技術人士之知識範圍內，以致能配合其他實施例(無論是否明確地描述)之此等特徵、結構、或特性。
一種(例如，硬體)處理器(例如，具有一或更多核心)可執行指令(例如，指令之執行緒)以操作於資料上(例如)來履行算術、邏輯、或其他功能。例如，軟體可請求一操作而硬體處理器(例如，其一核心或 多數核心)可回應於該請求而履行該操作。於一實施例中，處理器被耦合至複數(例如，晶粒上)加速器(例如，卸載引擎)以履行一或更多(例如，卸載)操作，例如，以取代那些僅於該處理器上所履行的操作。於一實施例中，處理器(例如，中央處理單元(CPU))包括(例如，晶粒上)加速器(例如，卸載引擎)以履行一或更多(例如，卸載)操作，例如，以取代那些僅於該處理器上所履行的操作。文中之某些實施例係提供一種高通量的可擴縮加速器至加速器通訊機制。
操作之二非限制性範例為壓縮操作及解壓縮操作。壓縮操作可指稱使用比原始表示更少位元的編碼資訊。解壓縮操作可指稱將已壓縮資訊解碼回原始表示。壓縮操作可將資料從第一格式壓縮至已壓縮的、第二格式。解壓縮操作可將資料從已壓縮的、第一格式解壓縮至未壓縮的、第二格式。壓縮操作可依據(例如，壓縮)演算法而被履行。解壓縮操作可依據(例如，解壓縮)演算法而被履行。
加速器卸載機制之某些實施例不支援裝置至裝置通訊。取而代之，加速器(例如，卸載裝置)之某些實施例僅與處理器(例如，CPU)互介面。此可導致數個問題，其在當嘗試履行裝置至裝置直接通訊時變得難以處理。例如，加速器(例如，卸載裝置)本身可不支援鏈接或直接插入至其他裝置。某些加速器可利用工作量描述符模型以指明工作。於一實施例中，一問題在於可能沒有其 裝置可彼此傳遞之單一方式、可能沒有用以啟始對於裝置之請求的共用機制、亦沒有用以排列請求之共用方法。某些機制可於裝置之間有所不同。從軟體的觀點、以及處理器(例如，CPU)至裝置和裝置至處理器(例如，CPU)互動的觀點，控制流、資料流、及錯誤處置可全被結合在一起於針對許多加速器之工作描述符機制中。
圖1闡明依據本發明之實施例的硬體處理裝置100及硬體加速器(102、104)。一加速器卸載機制包括將工作描述符結構(例如，256位元組於某些情況下)寫入至工作佇列並接著藉由寫入一碰撞尾部指標之裝置位置以包括新請求來使加速器(例如，加速器102)得知新請求。於一實施例中，工作描述符含有關於該工作為何之(例如，所有)資訊及針對該資料之(例如，所有)指針。此模型可能為了以下舉出的一些原因而針對裝置至裝置(例如，鏈接)實施方式是有問題的，例如，假設一流程：處理器(例如，CPU)傳送資料至裝置1，其傳送資料至裝置2，其返回結果至CPU(例如，如圖1中所示)：
(1)工作描述符(Wkdesc)模型可要求裝置1能夠填充資料欄位入至裝置2之工作描述符。如此可使得其非設計給寫入工作描述符之裝置的裝置設計複雜化。於一實施例中，例如，針對通用鏈接，裝置將能夠正確地寫入資料至任何其他裝置的工作描述符結構。因為額外(例如，新)裝置可被設計或介面修改，此表示其(於一實施例中)裝置1之該軟體驅動程式係用以告知裝置1何處將資訊 寫入其被傳送至裝置2之工作描述符。亦可能有問題的在於其假如裝置2(例如，之類型)不存在當裝置1之軟體驅動程式被寫入時，則可能其需要軟體更新以使得裝置1能夠與裝置2通訊，例如，產生跨越驅動程式與裝置之實質上軟體差異(其為不實際的)以及產生許多驗證考量。
(2)加速器(例如，卸載裝置)的實施例可使用不同的佇列方法。於一實施例中，佇列方法係依賴針對共用佇列之寫入完成工作描述符，其中該處理器(例如，CPU)係用以獲取關鍵區段存取，例如，以防止當更新該些佇列時該些更新裝置(例如，核心)之間的衝突。當不具有獲取關鍵區段之能力的裝置欲確保針對請求之提交的專屬存取時，此可能是有問題的。例如，可能變得需要針對不具有共用佇列之能力的各提交裝置配置佇列。當該裝置將被設計有足夠的物理佇列以支援提交器之數目時此可能造成可擴縮性問題，例如，加諸大的設計負擔以及預選取數目的佇列在未來將不足之潛在可能。
(3)加速器之實施例可使用不同的通知機制(如門鈴)，及(此外)寫入這些門鈴的資料可能是不同的。例如，造成門鈴之寫入資料可能係有關於佇列本身。有關一裝置將如何得知何處寫入至另一裝置以通知工作提交的軟體及硬體問題可能變得龐大，例如，當多數裝置之各者具有不同的提交機制時。嘗試鏈接至加速器(例如，卸載裝置)之軟體複雜度可能是複雜的，並導致基本上必須寫入訂製驅動程式軟體以支援此鏈接。
文中之某些實施例移除這些問題之一或更多者及/或簡化軟體及硬體設計以完成鏈接。文中之某些實施例去除訂製軟體之需求，例如，鏈接被設計入硬體裝置(例如，及驅動程式)中成為具有界定的解決方式之一般能力。文中之某些實施例容許任何裝置(例如，加速器)以提交工作給任何其他裝置。於一實施例中，加速器可履行壓縮操作(例如，執行緒)及/或解壓縮操作(例如，執行緒)，例如，回應於履行該操作之請求及/或針對履行該操作之處理器(例如，中央處理單元(CPU))。加速器可耦合至(例如，與加速器一起於晶粒上或者晶粒外)一或更多緩衝器，用以儲存資料(例如，輸入資料及/或輸出資料)。於一實施例中，加速器係耦合至輸入緩衝器(以從該處載入輸入)及輸出緩衝器(以將輸出儲存於其上)。處理器可執行指令以卸載操作或數個操作(例如，指令、指令之執行緒、或其他工作)至加速器。
文中之某些實施例提供高度可擴縮介面以致能加速器(例如，卸載裝置)從一裝置至另一裝置佇列請求，例如，而無處理器(例如，CPU)涉及個別的請求或資料轉移。文中之某些實施例致能有效的且有效率的裝置(例如，加速器)至裝置(例如，加速器)通訊及資料傳遞，例如，針對裝置之鏈接。文中之某些實施例致能裝置至裝置通訊而同時減少或免除應用程式軟體或驅動程式軟體應具有關於任何其他裝置之工作提交程序的資訊(或甚至下個裝置可能利用該資料進行什麼事)之需求。文中之 某些實施例容許裝置直接地傳遞資料而無處理器(例如，CPU)涉入，例如，相反於使處理器(例如，CPU或核心)管理各卸載事件，例如，其中處理器(例如，CPU)將於每次資料完成時被中斷。例如，文中之某些實施例係相反於二(或更多)裝置將資料返回至該處理器(例如，CPU)針對各資料返回，例如，其增加背景切換率、容許無生產力碼執行透過作業系統(OS)而回到使用者執行緒、及/或增加最後階快取(LLC)未中。所有這些可有助於較長的計算潛時，相較於文中之某些實施例。
此外或替代地，文中之某些實施例可被應用於輸入/輸出(I/O)裝置。支援文中之介面的實施例之I/O裝置可直接地從(例如，加速器)裝置接收資料並接著履行必要的I/O。直接地從一裝置傳遞資料至I/O通道通常可被稱為「直接插入」或「進線處理」。此係相反於後備處理，其中處理器(例如，CPU)係提交資料並稍後拾取結果。文中之某些實施例通常係簡化其圍繞著鏈接之軟體問題以及鏈接裝置之複雜度。依據文中之實施例的硬體加速器裝置及I/O裝置可具有某些特徵，其被實施以如此進行。文中之某些實施例致能直接地介於其駐存在複數(例如，二)不同程序或處理器及/或複數(例如，二)不同虛擬機器中的加速器裝置之間的資訊之通訊。
文中之某些實施例容許裝置(例如，加速器)直接地彼此間及/或與平台上之I/O裝置通訊，例如，無處理器(例如，CPU)涉及，例如，用以釋放處理器 (例如，CPU)循環來執行其加速器所無法執行的高價值處理。文中之某些實施例係提供更高的性能及更高的效率(perf/watt)。文中之某些實施例簡化圍繞這些能力之軟體模型。加速器及/或I/O裝置的文中之某些實施例包括(但不限定於)壓縮、機器學習(例如，神經網路)、密碼、I/O組織、儲存控制器、網路介面、圖形、伺服器，等等。
圖2A-2B闡明依據本發明之實施例的硬體處理裝置200及硬體加速器(202、204)。相反於圖1，硬體加速器(202、204)可直接地於其間傳遞資料，例如，無來自硬體處理裝置200之介入。於一實施例中，裝置(例如，加速器)工作控制及工作指明和初始化被邏輯地且實體地分離自裝置之間的通訊頻道介面。於某些實施例中，介於裝置之間的此通訊頻道可(例如，僅)接著被用以攜載有關資料之可用性以及將由裝置所使用之資料緩衝器的資訊。資料傳輸為可被定義為橫跨(例如，所有)裝置皆相同的機制。例如，於一實施例中，其中於裝置之間所傳輸的資料有範圍限制及/或因為使用此機制而使資料傳輸橫跨(例如，所有)裝置是共同的，其係釋放具有關於該資料來自何處或去到何處之資訊的裝置，例如，僅使其現在具有將工作於上或將提供至另一裝置之資料。有關將由下一裝置所履行者為何的細節可被提供以一(例如，僅)對於接收裝置是有意義的工作背景指針(Ptr)，其係容許該接收裝置判定利用該資料做什麼。於一實施例中，工 作背景指針是在當該頻道被組態時之初始化時刻被設定。文中之某些實施例係利用編碼命令(例如，命令封包)操作(例如，ENQ)或其他機制以提供運送機制。於一實施例中，ENQ之使用進一步容許多數提交器至一加速器埠。例如，於圖2B中，編碼信號(例如，命令)可從加速器202被傳送至加速器204(例如，用以指示其由加速器202所產生的輸出資料準備好被加速器204所輸入或處理)及/或可從加速器204被傳送至加速器202(例如，用以指示其加速器204已經處理來自加速器202之資料且準備好用於來自加速器202之更多輸入資料)。
文中之某些實施例提供以下特徵之一或更多者：提供用於裝置間之通訊的常見方法，從一裝置傳送資料至任何其他裝置而無該裝置或其為何之先前資訊(例如，知識)；將控制運送與資料運送分離；提供通訊頻道(例如，其中處理器或CPU係組態頻道)(例如，裝置(包括CPU、加速器、及/或I/O裝置)係使用其用以指明背景和操作之最小量資訊來傳送資料於頻道上)；及將錯誤處置與通訊頻道上之資料流分離。文中之某些實施例提供以下優點之一或更多者：裝置至裝置(D2D)通訊減少OS遍歷成本、顯著的背景切換(CS)率減少、每指令之最後階快取(LLC)未中(MPI)減少、處理器或CPU利用減少、總計算鏈接之潛時減少、功率(例如，瓦)之每單位性能增加、增加系統通量能力、增加彈性和可以簡化的裝置編程模型、記憶體頻寬減少(例如，由於使用比介 於處理器(例如，CPU或核心)與裝置之間更小的緩衝器及更精細粒度的通訊於兩裝置之間)、及支援直接插入(其中加速器裝置直接地通訊至I/O裝置)。針對本發明，裝置可指稱卸載加速器裝置或I/O裝置。
文中之某些實施例係提供(例如，通用)介於(例如，不相關的)裝置之間的裝置至裝置鏈接，因為介於裝置之間的通訊頻道被界定且標準係橫跨該些裝置，例如，如為橫跨此頻道而傳輸的資料。橫跨此頻道而傳輸之資訊可為最少(例如)且僅識別欲以預定方式作業之資料的可用性及/或其識別針對其他裝置之工作類型資訊的背景指針。背景指針可指向控制及/或組態資訊，針對將被履行於特定裝置上之工作特定操作。此背景指針可被處理器(例如，CPU)所提供於(例如，裝置的)初始化期間，連同針對裝置間之通訊的頻道資訊及設定。於某些實施例中，一旦此被執行，則處理器(例如，CPU)不涉及傳遞於該些裝置之間的資料。介於裝置間之通訊的記憶體緩衝器可由處理器(例如，CPU)所組態(例如，配置)，當頻道被初始化時。於某些實施例中，這些緩衝器係由緩衝器描述符之圓形陣列所描述(例如，如以下之進一步討論)。於一實施例中，獨特的緩衝器描述符陣列針對輸入緩衝器而存在，以及另一獨特的緩衝器描述符陣列針對輸出緩衝器而存在。各裝置可針對各組輸入及輸出緩衝器而具有其本身的緩衝器描述符陣列。各裝置可具有針對系統中之各工作背景而具有輸入及輸出緩衝器描述符陣 列之設定。各工作背景可具有如針對該工作之背景結構中所指明的界定操作。當多數(例如，二)裝置被鏈接在一起時，或當希望裝置1之輸出來到裝置2之輸入時，裝置1之輸出緩衝器描述符陣列及裝置2之輸入緩衝器描述符陣列可被組態成指向相同實體組的緩衝器(例如，圖3中之共用緩衝器309)。於一實施例中，這些實體緩衝器為任何任意的尺寸且此資訊可被界定於緩衝器描述符陣列中。緩衝器之數目亦可為任何數目，例如，具有由設計資源約束所加諸的上限。裝置1的輸出緩衝器描述符陣列及相關的控制變數可被初始化以指示其該陣列中之某些(例如，所有)緩衝器可用以儲存裝置1的輸出(例如，以被使用為裝置2之輸入)。
例如，利用兩裝置以供連續卸載工作至，處理器(例如，CPU)可卸載至一裝置並透過共用記憶體緩衝器及硬體(例如，及通訊協定)以致能介於該裝置與另一裝置之間的直接通訊，例如，用以免除處理器(例如，CPU)成為介於卸載至連續裝置之間的介入者。文中之某些實施例容許透過共用緩衝器之複數(例如，二)裝置的直接通訊，例如，用以免除中斷處理器(例如，CPU)需處置介於兩裝置間之資料輸入和輸出的需求。於一實施例中，取而代之，該些裝置係以低潛時直接方法來處置此通訊。圖1顯示其不使用裝置至裝置通訊之即刻連續中的兩功能之所欲卸載的流程。圖2A-2B顯示當使用直接裝置至裝置通訊時之流程，例如，如參考圖3-4所討論者。
圖3闡明包括複數核心(例如，核心0(106)至核心N)及硬體加速器(例如，加速器)之硬體處理器300，依據本發明之實施例。於一實施例中，N可為1或更多及/或M可為1或更多。硬體處理器300(例如，其加速器及/或核心)可被耦合至資料儲存裝置304(例如，記憶體)。於一實施例中，記憶體可為動態隨機存取記憶體(DRAM)、專用(例如，加速器所專用)隨機存取記憶體(RAM)、快取記憶體、或系統記憶體。雖然描述了複數核心(0至N)，但亦可利用單一硬體核心，例如，核心0(306)。硬體加速器可為硬體卸載電路(例如，邏輯電路)。
處理器300(例如，核心306)可接收請求(例如，自軟體)以履行操作，並可卸載該操作(例如，執行緒)(例如之至少部分)至硬體加速器(例如，加速器302)。核心、加速器、及資料儲存裝置304可彼此通訊(例如，耦合)。箭號係指示雙向通訊(例如，至及自組件)但亦可使用單向通訊。於一實施例中，(例如，各)核心可與資料儲存裝置通訊(例如，耦合)，例如，以下之一或更多者：輸入緩衝器308、共用緩衝器309、輸出緩衝器310、緩衝器描述符312、及回應描述符322。於一實施例中，(例如，各)加速器可與資料儲存裝置通訊(例如，耦合)，例如，以下之一或更多者：輸入緩衝器308、共用緩衝器309、輸出緩衝器310、緩衝器描述符312、及回應描述符322。於一實施例中，共用緩衝器309 包括複數共用緩衝器，例如，由複數硬體加速器及/或複數核心、或其組合所共用。於一實施例中，第一加速器係用以產生輸出資料並將其儲存於(例如，輸出/輸入緩衝器0 392)共用緩衝器309，而第二加速器係用以將該輸出資料消耗為第二加速器之輸入資料。
於一實施例中，硬體加速器係於處理器300中。硬體加速器(例如，各硬體加速器)可被耦合至(例如，其本身的或共用的)輸入緩衝器及/或輸出緩衝器，例如，用以接收供操作於上之一串輸入資料來產生輸出資料。硬體加速器(例如，各硬體加速器)可被耦合至以下之一或更多者：複數輸入緩衝器308(用以儲存輸入資料)、複數共用緩衝器309、複數輸出緩衝器310(用以儲存輸出資料)、緩衝器描述符312儲存、及緩衝器回應描述符322，例如，如以下所進一步討論者。緩衝器描述符312可包括以下之一或更多者：輸入緩衝器描述符儲存(例如，具有針對各個別輸入或共用緩衝器之項目的陣列316)及/或針對最後有效輸入或共用緩衝器之指針314、及輸出緩衝器描述符儲存(例如，具有針對各個別輸出或共用緩衝器之項目的陣列320)及/或針對最後有效輸出或共用緩衝器之指針318。緩衝器回應描述符322可包括以下之一或更多者：輸入緩衝器回應描述符儲存(例如，具有針對各個別輸入或共用緩衝器之相應回應項目的陣列326)及/或針對最後消耗輸入或共用緩衝器之指針324、及輸出緩衝器回應描述符儲存(例如，具有針對各個別輸 出或共用緩衝器之相應回應項目的陣列330)及/或針對最後消耗輸出或共用緩衝器之指針328。輸入及/或輸出緩衝器描述符項目可包括針對(例如，輸入、共用、或輸出)緩衝器之指針、該緩衝器中之資料的大小、緩衝器旗標、或任何其組合。輸入、共用、及/或輸出返回緩衝器描述符項目可包括緩衝器中之資料的大小(例如，保留在輸入或共用緩衝器中之資料的大小及/或輸出或共用緩衝器之未使用部分的大小)、緩衝器旗標、或兩者(例如，但是無指針)。術語「資料之大小」可指稱資料之總大小，例如，非資料之多數元件的各元件之大小。於一實施例中，輸入緩衝器描述符及輸入緩衝器回應描述符之儲存(例如，陣列316及陣列326)中的項目之數目係相同於(例如，針對背景)所使用的(例如，配置的)輸入(及共用)緩衝器之數目(例如，NIN)。此外或替代地，輸出緩衝器描述符及輸出緩衝器回應描述符之儲存(例如，陣列320及陣列330)中的項目之數目係相同於(例如，針對背景)所使用的(例如，配置的)輸出(及共用)緩衝器之數目(例如，NOUT)。於一實施例中，緩衝器可為圓形緩衝器。雖然指標被顯示為鄰接於陣列，但其他實施例可儲存指針於別處，例如，加速器之本地。
於一實施例中，各裝置(例如，加速器)具有個別描述符311。於一實施例中，加速器(例如，圖2A-2B中之加速器1或圖3中之加速器0)之各輸出緩衝器描述符及個別輸出緩衝器回應描述符係指向共用緩衝器309之 相同緩衝器(例如，圖3中之緩衝器0 392)，而不同加速器(例如，圖2A-2B中之加速器2或圖3中之加速器M)之各輸入緩衝器描述符及個別輸入緩衝器回應描述符係指向共用緩衝器309之該相同緩衝器(例如，圖3中之緩衝器0 392)。
於一實施例中，參考圖2B，加速器1可填充輸出緩衝器、寫入新的LastValidIn值和緩衝器大小(例如，於命令封包中)並接著(例如，藉由ENQ操作之執行)傳輸該資料(例如，於該命令封包中)至加速器2，及/或加速器2可消耗輸入緩衝器、寫入LastValidOut值和緩衝器大小(例如，於命令封包中)並接著(例如，藉由ENQ操作之執行)傳輸該資料(例如，於該命令封包中)至加速器1(例如，用以指示該資料已被消耗)。於一實施例中，處理器(例如，核心)係用以寫入描述符及/或傳輸新的LastValidIn(例如，於命令封包中)接著(例如，藉由ENQ操作之執行)傳輸該資料(例如，於該命令封包中)至加速器。
於一實施例中，當加速器0從處理器(例如，CPU)(例如，或其他裝置)接收輸入資料時，其係開始處理，當其具有輸入緩衝器及輸出緩衝器兩者可得時。於一實施例中，一旦加速器0填充輸出緩衝器(例如，或遭遇該輸入上之某其他信號以指示其應傳輸目前已完成資料)，則其可將該緩衝器標示為完全/完成並傳送命令封包至加速器1以指示其緩衝器已備妥以供圓形緩衝器描述 符陣列中之處理。於一實施例中，因為緩衝器描述符陣列被組態成指向共用(例如，實體)緩衝器(在處理開始之前)，所以(例如，所有)加速器1必須做的(當命令封包被接收時)是找尋其由該包括的背景結構指針所指向的背景結構；並將緩衝器標記為備妥以於針對相關工作之背景結構中處理，例如，依據其被傳遞為備妥於命令封包中之緩衝器的數目。加速器1可接著開始處理來自加速器0之資料，假設其具有用以儲存資料之輸出緩衝器(例如，以輸出緩衝器由處理器(例如，CPU)所提供給加速器1，例如，以來自處理器之命令封包)。一旦加速器1完成消耗輸入緩衝器，則其可產生並傳送命令封包回至加速器0以指示其緩衝器備妥以供其使用。加速器1因此可將空白緩衝器傳遞回至加速器0。於某些實施例中，該些緩衝器如何被傳遞的語意是相同的(無論其為空白或填滿)，例如，雖然尺寸欄位可根據緩衝器被用於輸入或輸出而具有稍微不同的意義(例如，針對用於輸入之緩衝器，尺寸欄位可指示可用的實際資料量；而針對用於輸出之緩衝器，尺寸欄位可指示可用於寫入資料的緩衝器尺寸)。加速器1可傳送信號(例如，中斷)至處理器(例如，CPU)指示加速器1的輸出緩衝器何時已被填充以容許處理器(例如，CPU)存取該資料。其他通知方法對於處理器是可能的。於一實施例中，來自加速器0或加速器1之錯誤狀況被直接地告知處理器(例如，CPU)，例如，經由中斷。於一實施例中，此共用緩衝器持續來回傳遞，只要資料可用 於加速器0以供處理並傳送至加速器1。於一實施例中，一旦該應用已完成處理資料，則其僅將破壞兩加速器(例如，裝置)之背景及/或解除配置與該工作關聯的記憶體。用於資料傳遞之實體記憶體緩衝器可為DRAM(例如，其可轉譯為LLC命中，於許多情況下)或可為封裝內之高頻寬記憶體。有關設定，裝置及/或裝置之驅動程式(其支援鏈接)可具有以下能力：用以指明通道命令封包埠以供裝置與另一裝置交換資料的能力、與其他裝置關聯的工作之背景結構指針(例如，及用以獲得此指針給本身來將其提供給另一裝置的機制)、及用以指明輸入或輸出是否來自一利用命令封包語意之裝置或者來自該處理器的能力。於一實施例中，有一互連(例如，環)特權呼叫以針對由裝置所產生的命令封包異動來組態程序位址空間識別符(PASID)，例如，假如接收該資料之裝置正運行於與產生該資料者不同的PASID下(例如，如可為當使用介於程序或虛擬機器之間的共用記憶體時之情況)。
以下為背景結構之範例元件。背景結構可被配置在當新的背景被設定時，且為有效的直到該背景被破壞。於一實施例中，背景結構含有以下之一或更多者：靜態工作資訊、針對輸入之緩衝器描述符的圓形陣列、針對輸出之緩衝器描述符的圓形陣列、針對輸入和輸出之圓形緩衝器回應描述符。於一實施例中，緩衝器描述符與回應描述符被一比一匹配(1：1)。於鏈接實施方式之一實施例中，加速器係用以寫入回應描述符以供緩衝器用於與另 一裝置之通訊，例如，但該些回應描述符並未由其他加速器所讀取，舉例而言，而被僅用於由處理器(例如，CPU)所處置之錯誤的事件。於一實施例中，緩衝器描述符係描述輸入、共用、及/或輸出緩衝器；並可含有指針、大小、及/或旗標。於一實施例中，大小為輸出中所傳遞的資料量(例如，位元組)及/或可用於輸出的空間。於一實施例中，旗標是緩衝器為基的。於一實施例中，回應描述符可不包括指標，而是包括大小(例如，置於輸出中或保留於輸入中之資料)及/或旗標(例如，假如清除之資料的最後部分(例如，位元組)係於輸出中)。
現在將參考圖4而討論範例操作。圖4闡明依據本發明之實施例的硬體處理裝置406(例如，核心)及硬體加速器1(402)和硬體加速器2(452)。所述的硬體處理裝置406及加速器402和452可與資料儲存裝置404(例如，記憶體)通訊(例如，經由耦合或其他連接)。
處理裝置(例如，核心)406可接收請求(例如，自軟體)以履行操作，並可卸載該操作(例如，執行緒)至硬體加速器1 402。請求可被儲存於各個別的、選擇性的加速器命令佇列(403、453)，其可針對各加速器為本地的或者與其分離。於一實施例中，硬體加速器1被耦合至以下之一或更多者：用以儲存加速器1之輸入資料的複數輸入緩衝器408、用以儲存來自加速器1之輸出資料的複數共用緩衝器491(例如，之輸入)(例如，其將被 使用為硬體加速器2(452)之輸入資料)、緩衝器描述符412儲存、及緩衝器回應描述符422儲存。於一實施例中，硬體加速器(例如，加速器1)被耦合至以下之一或更多者：用以儲存輸入資料之複數輸入緩衝器、用以儲存(例如，一組)輸出/輸入資料之複數共用緩衝器、用以儲存輸出資料之複數輸出緩衝器(例如，用以接收輸入資料之串流以供操作來產生輸出資料)、緩衝器描述符儲存、及緩衝器回應描述符儲存。緩衝器描述符可包括以下之一或更多者：輸入緩衝器描述符儲存(例如，具有針對各個別輸入緩衝器之項目的陣列)及/或針對最後有效輸入緩衝器之指針、及輸出緩衝器描述符儲存(例如，具有針對各個別輸出緩衝器之項目的陣列)及/或針對最後有效輸出緩衝器之指針。緩衝器回應描述符可包括以下之一或更多者：輸入緩衝器回應描述符儲存(例如，具有針對各個別輸入緩衝器之相應回應項目的陣列)及/或針對最後消耗(例如，由加速器)輸入緩衝器之指針、及輸出緩衝器回應描述符儲存(例如，具有針對各個別輸出緩衝器之相應回應項目的陣列)及/或針對最後消耗(例如，由加速器)輸出緩衝器之指針。
於一實施例中，硬體加速器2被耦合至以下之一或更多者：用以提供輸入資料至加速器2之複數共用緩衝器491(例如，其係與硬體加速器1共用且被加速器1使用為輸出緩衝器之緩衝器)(例如，的輸出)、用以儲存來自加速器2之輸出資料的複數輸出緩衝器460、緩衝器描 述符462儲存、及緩衝器回應描述符472儲存。於一實施例中，硬體加速器(例如，加速器2)被耦合至以下之一或更多者：用以儲存輸入資料之複數輸入緩衝器、用以儲存輸出/輸入資料之複數共用緩衝器、用以儲存輸出資料之複數輸出緩衝器(例如，用以接收輸入資料之串流以供操作來產生輸出資料)、緩衝器描述符儲存、及緩衝器回應描述符儲存。
於一實施例中，各裝置(例如，加速器)具有個別描述符背景結構(405、455)，例如，針對加速器1之描述符412 & 422及針對加速器2之描述符462 & 472。於一實施例中，加速器(例如，加速器1(402))之各輸出緩衝器描述符(例如，緩衝器描述符0(440))及個別輸出緩衝器回應描述符(例如，緩衝器描述符0(450))係指向共用緩衝器491之相同的共用緩衝器(例如，輸出/輸入緩衝器0(493))，而不同加速器(例如，加速器2(452))之各輸入緩衝器描述符(例如，緩衝器描述符0(484))及個別輸入緩衝器回應描述符(例如，緩衝器描述符0(496))係指向共用緩衝器491之該相同的共用緩衝器(例如，輸出/輸入緩衝器0(493))。
輸入及/或輸出緩衝器描述符項目可包括針對(例如，輸入、共用、或輸出)緩衝器(例如，緩衝器0至N-1)之指針、該緩衝器中之資料的大小、緩衝器旗標、或任何其組合。輸入及/或輸出返回緩衝器描述符項目可包括緩衝器中之資料的大小(例如，保留在輸入或共 用緩衝器中之資料的大小及/或輸出或共用緩衝器之未使用部分的大小)、緩衝器旗標、或兩者(例如，但是無指針)。術語「資料之大小」可指稱資料之總大小，例如，非資料之多數元件的各元件之大小。於一實施例中，輸入緩衝器描述符及輸入緩衝器回應描述符之儲存(例如，陣列416和陣列426及/或陣列466和陣列476)中的項目之數目係相同於(例如，針對背景)所使用的(例如，配置的)輸入(及共用)緩衝器之數目。此外或替代地，輸出緩衝器描述符及輸出緩衝器回應描述符之儲存(例如，陣列420和陣列430及/或陣列470和陣列480)中的項目之數目係相同於(例如，針對背景)所使用的(例如，配置的)輸出(及共用)緩衝器之數目。於一實施例中，緩衝器可為圓形緩衝器。雖然指標被顯示為鄰接於陣列，但其他實施例可儲存指針於別處，例如，加速器之本地。以上可為背景結構(405、455)之部分，例如，具有針對完整資料集上之各操作的單一背景。背景結構可包括靜態背景資料(407、457)，例如，包括以下之一或更多者：針對工作描述(例如，工作識別(ID)或其他工作描述符)之欄位、選擇、組態、狀態儲存區域指標、及總體控制旗標。
當作一範例，處理裝置406可接收針對操作之請求，(例如，壓縮或解壓縮操作)於輸入資料集上。文中之某些範例係討論壓縮操作。於解壓縮操作之一實施例中，壓縮操作之範例可為可適用的，例如，除了輸出緩衝 器可比針對解壓縮之輸入緩衝器被消耗得更快而壓縮可消耗輸入緩衝器更快於輸出緩衝器，例如，介於處理裝置與加速器之間的介面之硬體操作可於任一情況下為相同的。
於傳送請求至加速器之一實施例中，處理裝置406可配置並填充某些數目的輸入緩衝器408、寫入436LastValidIn指針414、及寫入(例如，大小)資訊於針對輸入緩衝器描述符陣列416中之各緩衝器的各個別項目中。
輸入緩衝器描述符陣列416中之輸入緩衝器描述符項目(例如，BuffDesc 0)可包括針對輸入緩衝器408中之該輸入緩衝器(例如，輸入緩衝器0)的相應資訊。例如，輸入緩衝器回應描述符陣列426中之輸入緩衝器回應描述符項目(例如，RespBuffDesc 0)可包括針對輸入緩衝器408中之該(例如，相同)輸入緩衝器(例如，輸入緩衝器0)的相應資訊。變數NIN被用於指稱輸入緩衝器，而NOUT被用於指稱輸出緩衝器，於某些實施例中。於一實施例中，NIN與NOUT可為不同值，例如，所使用的(例如，配置的)輸入緩衝器之數目與輸出緩衝器之數目可為不同的。於一實施例中，NIN與NOUT可為相同值(例如，N)，例如，所使用的(例如，配置的)輸入緩衝器之數目與輸出緩衝器之數目可為相同的。
輸出緩衝器描述符陣列420中之輸出緩衝器描述符項目(例如，BuffDesc 0)可包括針對輸出緩衝器(例如，共用緩衝器491)中之輸出緩衝器(例如，輸出 緩衝器0)的相應資訊。例如，輸出緩衝器回應描述符陣列430中之輸出緩衝器回應描述符項目(例如，RespBuff Desc 0)可包括針對輸出緩衝器(例如，共用緩衝器491)中之該(例如，相同)輸出緩衝器(例如，輸出緩衝器0)的相應資訊。於一實施例中，處理裝置係用以檢查其先前所傳送(例如，針對一背景)的所有緩衝器已被消耗，於再使用之前。處理裝置406可寫入436 LastValidIn指針414以指示輸入緩衝器408之最後輸入緩衝器其處理裝置已提供以(例如，有效)資料。
處理裝置可配置共用緩衝器491之一或更多共用緩衝器以接收加速器1(402)之輸出。例如，處理裝置可寫入438 LastValidOut指針418及針對輸出緩衝器描述符陣列420之各項目(例如，BuffDesc 0)的(例如，大小)資訊。LastValidOut可指示最後輸出(或共用)緩衝器其該處理裝置已提供其該加速器可寫入輸出資料。處理裝置可寫入去命令(例如，經由互連或埠，諸如，但不限定於，記憶體-映射的輸入/輸出(MMIO)埠)至加速器以指示其新的資料為可用。來自加速器之通知(例如，與處理裝置之操作異步)可對處理裝置(例如，請求器)指示其加速器已更新最後消耗輸入(LastConsumedIn)及/或最後消耗輸出(LastConsumedOut)指針。處理裝置可進行(與此通知異步地)以加入更多(例如，輸入及/或輸出)緩衝器(假如有空間可用)，或者假如所有均使用中則等待自由緩衝器變為可用。於一實施例中，處理裝置可 解碼及/或執行指令以致使請求(例如，命令封包)被傳送至加速器。於一實施例中，輸入緩衝器之配置及輸出緩衝器之配置係由運作於處理器上之軟體所管理(例如，啟始)，例如，根據工作量考量，例如，通量、同時地運作的執行緒數目、潛時容許度，等等。於一實施例中，輸入緩衝器之數目為介於1與16或4與16間的任何數目。於一實施例中，輸出緩衝器之數目為介於1與16或4與16間的任何數目。
加速器402可接收命令封包(431、433)，例如，自處理裝置406。命令封包可被讀取(例如，由加速器)且值被更新，例如，於加速器命令佇列403中，而命令封包中之請求可被置於該佇列之末端上(例如，於加速器之靜態隨機存取記憶體(SRAM)或系統隨機存取記憶體(RAM)中)。於一實施例中，第一佇列項目可被讀取並處理。加速器可檢查(例如，針對特定背景)有效的共用或輸入和輸出緩衝器，例如，藉由針對輸入及/或輸出檢查具有最後有效(LastValid)之最後消耗(LastConsumed)。於一實施例中，假如LastValidIn不等於LastConsumedIn，則有輸入(或共用)緩衝器可用以供工作。於一實施例中，假如LastValidOut不等於LastConsumedOut，則有輸出(或共用)緩衝器(或共用緩衝器)可用以供儲存入輸出資料。於一實施例中，假如沒有輸入資料可用且沒有輸出資料空間可用，則加速器可檢查針對輸入及輸出緩衝器之額外更新並進行(假如可能 的話)。於一實施例中，假如有輸入資料及輸出資料空間兩者可用，則加速器可消耗輸入並產生輸出直到輸入緩衝器或輸出(例如，共用)緩衝器之任一者的供應被耗盡。加速器402可(例如，於消耗)更新旗標及/或資料出大小(於回應描述符422中)，及/或更新442 LastConsumedIn 424及更新448 LastConsumedOut 428變數。加速器可檢查針對輸入及輸出緩衝器之額外更新並進行(假如可能的話)。加速器可傳送通知(例如，中斷或其他信號)至處理器。於一實施例中，通知包括以下之一或更多者：(例如，通用)處理器(例如，CPU)中斷、快取線存取信號(例如，監督並等待)、及記憶體寫入至該處理器週期性地檢查(例如，輪詢)之區域。通知可被傳送於加速器與處理器之間，透過專屬通訊頻道(例如，線)及/或排列介面。
加速器2(452)可接收來自加速器1(402)之指示(例如，命令封包)以指示其資料為可用，例如，從LastValidIn及/或LastValidOut值之更新。加速器2可查找各輸入緩衝器描述符(例如，緩衝器描述符0(484))及個別輸入緩衝器回應描述符(例如，緩衝器描述符0(496))，針對共用緩衝器491之共用緩衝器(例如，輸出/輸入緩衝器0(493))，以判定應操作於哪個資料。
初始化：
於此範例中，回應於針對資料集之操作的請 求，處理裝置406(例如，核心或CPU)係用以配置記憶體給資料儲存裝置404內之兩裝置的所有結構。處理裝置406可針對加速器之操作以初始化所有記憶體，例如，包括各裝置背景結構(405、455)之空間，其包括用於加速器1之輸入緩衝器(412)、加速器2之輸出緩衝器460、及在加速器之間共用而成為加速器1之輸出緩衝器和加速器2之輸入緩衝器的共用輸出/輸入緩衝器491之緩衝器描述符陣列。針對加速器1輸入426和輸出430以及加速器2(例如，476 & 480)之回應描述符亦可被配置並初始化。
假設針對所有情況，N=4，則處理裝置406可一開始將加速器1初始化為LastValidIn(414)=3、及LastConsumedIn(424)=3。例如，於此時點，沒有有效輸入資料，因為這些值是相等的。處理裝置406可一開始將加速器1初始化為LastValidOut(418)=2、及LastConsumedOut(428)=3。例如，於此時點，加速器1具有三個有效緩衝器可用以寫入輸出資料，例如，緩衝器1、2、及3。處理裝置406可一開始將加速器2初始化為LastValidIn(464)=3、及LastConsumedIn(474)=3。例如，於此時點，沒有有效輸入資料，因為這些值是相等的。處理裝置406可一開始將加速器2初始化為LastValidOut(468)=2、及LastConsumedOut(478)=3。例如，於此時點，加速器1具有三個有效緩衝器可用以寫入輸出資料，例如，緩衝器1、2、及3。
處理裝置406可設定裝置之組態暫存器以管理 暫存器管理之通訊為以下之一或更多者：加速器1輸入緩衝器通知被選擇以被傳送至處理裝置406；從加速器至處理裝置之通知係使用中斷而被產生；及處理裝置針對狀態而讀取回應描述符426及LastConsumedIn 424。
加速器1輸出緩衝器通知可被設定以被傳送至裝置，使用I/O記憶體寫入至具有背景結構指標(例如，482或483)之位址JOBIN-D2。回應描述符430及LastConsumedOut 428可均被更新，例如，僅由裝置所使用而不由處理裝置所讀取。加速器2輸入緩衝器通知可被設定以被傳送至裝置，使用I/O記憶體寫入至具有背景結構指標(例如，於命令封包431中)之位址JOBIN-D1。回應描述符476及LastConsumedOut 474可均被更新，例如，但僅由裝置所使用而不由處理裝置所讀取。加速器1輸入緩衝器(例如，單一、共用緩衝器)通知及/或加速器2輸出緩衝器(例如，單一、共用緩衝器)通知可被設定以被傳送至處理裝置。從加速器至處理裝置之通知可使用中斷而被產生，而處理裝置可讀取回應描述符426和LastConsumedIn 424、及回應描述符480和LastConsumedOut 478，個別地，針對狀態。此範例中之處理裝置係配置4個緩衝器描述符給輸入及輸出，因此針對加速器1及加速器2 N=4。
用於加速器1之輸入緩衝器的緩衝器描述符及用於加速器2之輸出的緩衝器描述符可由處理裝置所管理於運行時間期間，例如，及可被改變於運行時間期間，只 要該些緩衝器尚未被提呈至硬體。提呈通常可指稱在當裝置已被告知其緩衝器是有效以供工作時。於此範例中，緩衝器指針不改變。
加速器1之(例如，共用)輸出緩衝器及加速器2之輸入緩衝器可被用以於加速器1與加速器2之間傳遞資料，例如，而不改變於設定後之執行期間。於一實施例中，用於加速器1之輸出的緩衝器描述符及用於加速器2之輸入的緩衝器描述符被設定以指向相同的(例如，實體)共用緩衝器，例如，於圖4中顯示為491。
記憶體緩衝器可被配置且緩衝器描述符被更新以指向這些緩衝器。例如，加速器1之四個輸入緩衝器408可被配置且加速器1之輸入緩衝器描述符416可被初始化以指向這些緩衝器，例如，連同儲存這些緩衝器之大小。加速器2之四個輸出緩衝器460可被配置且加速器2之輸出緩衝器描述符470可被初始化以指向這些緩衝器，例如，連同儲存這些緩衝器之大小。用於加速器1之輸出及加速器2之輸入兩者的複數(例如，於此範例中為四個)共用緩衝器491可被配置且加速器1之輸出緩衝器描述符420可被初始化以指向這些緩衝器，例如，連同儲存這些緩衝器之大小。加速器2之輸入緩衝器描述符466可被初始化以指向這些共用緩衝器，例如，連同儲存這些緩衝器之大小。
於此時點，共用輸出/輸入緩衝器491(例如，由加速器1及加速器2所共用)可已被組態且備妥以供使 用。加速器2之輸出緩衝器可已被組態且備妥以供使用。加速器之輸入緩衝器可已被組態，例如，但無資料於其中。
於一實施例中，處理裝置406係複製資料之第一區段(例如，64KB)至加速器1之輸入緩衝器0(409)及第二區段(例如，64KB)至加速器1之輸入緩衝器1。加速器1可具有輸出緩衝器可用且輸入資料備妥且將被通知其有工作該做。處理裝置406可傳送命令封包433至加速器1，其含有針對此工作之背景結構指針。背景結構指針可告知該加速器哪個操作性背景已被更新。
操作：
加速器1(402)可從處理裝置接收命令封包。於一實施例中，命令封包(例如，其中的請求)被置入加速器命令佇列403以供稍後的處理。於一實施例中，命令封包為第一個且被(例如，立即)移除自該佇列以開始處理。加速器1係用以判定其LastConsumedIn 424與LastValidIn 414針對輸入緩衝器並不相等，而因此輸入資料為可得的。加速器1可判定其LastConsumedOut 428與LastValidOut 418不相等，指示輸出緩衝器空間為可得的。例如，因為資料為可得，所以加速器可讀取輸入緩衝器409並處理該資料以判定結果並寫入該結果(例如，之一部分或全部)至輸出緩衝器491。於此假設其輸出緩衝器493被填充；但是於其他實施例中其可能不是，例如， 其中緩衝器總是在處理輸入區塊之後被交遞的其他組態是可能的。
於一實施例中，因為輸出緩衝器0(493)被填充，所以加速器1可傳送命令封包至加速器2，指示其將遞增486加速器2之LastValidIn 464。加速器1可遞增LastConsumedIn 424以1，而現在LastConsumedIn 424係小於LastValidIn 414 1。於此範例中之加速器1具有1有效輸入緩衝器及2有效輸出緩衝器，因此其可繼續處理。加速器1可繼續處理輸入緩衝器408之第二輸入緩衝器，並寫入輸出至共用緩衝器491之輸出/輸入緩衝器1，例如，於完成輸出時。加速器1可遞增LastConsumedIn以1，而現在LastConsumedIn 424係等於LastValidIn 414。例如，加速器1係離開輸入資料並停止處理。
加速器1可傳送中斷至處理裝置(例如，CPU)以告知處理裝置其加速器1已耗盡所有含有有效資料之輸入緩衝器408。此資訊可被傳遞於輸入緩衝器之回應描述符中，於424及426。加速器1可傳送命令封包至加速器2，指示加速器2係用以遞增LastValidIn 464。於此範例中，加速器1不具有任何剩餘的輸入資料但確實具有一輸出緩衝器可用。於一實施例中，加速器係用以具有有效輸入及輸出緩衝器以繼續，以致其加速器停止針對此背景之處理。
之後，假設加速器2從加速器1接收命令封包且將其置於加速器2之佇列453中。加速器2可(例如，立 刻)從該佇列移除該命令封包，當其並非忙碌時。命令封包可指示其加速器2應遞增LastValidIn 464。加速器2可遞增如由命令封包所指出的LastValidIn 464。加速器2可判定其LastConsumedIn 474與LastValidIn 464針對共用緩衝器491並不相等，而因此輸入資料為可得的。加速器2可判定(488、498)其LastConsumedOut 478與LastValidOut 468不相等，指示輸出緩衝器460空間為可得的。藉由加速器2之處理可於此背景上開始。加速器2可從共用緩衝器0(493)讀取資料並開始處理且將已處理資料寫入至輸出緩衝器0(461)。於完成將資料寫入至緩衝器0(461)時，加速器2可遞增492 LastConsumedIn 474及遞增498 LastConsumedOut 478。
加速器2可傳送出命令封包至加速器1，指示其加速器1係用以遞增LastValidOut 418，其係通知加速器1其加速器2已完成使用共用緩衝器0(493)且現在可用於加速器1以利再次使用。加速器2可傳送中斷至處理裝置以對該處理裝置指示其加速器2已完成消耗輸出緩衝器493，且該處理裝置可從回應描述符480及478讀取此資訊。加速器2可讀取從加速器1所傳送的第二命令封包並判定其係用以遞增其LastValidIn 464。加速器2可重複以上的某些步驟以繼續於此背景上處理，只要其具有共用緩衝器491之一有效輸入緩衝器及二有效輸出緩衝器460。加速器2可處理該輸入緩衝器並將所得資料寫入至有效(例如，空間可得)輸出緩衝器460。於完成藉由加速器2之處理時，加速 器2可遞增LastConsumedIn 474及遞增LastConsumedOut 478。
加速器2可傳送命令封包至加速器1，指示其加速器1係用以遞增其LastValidOut 418，例如，用以通知加速器1其加速器2已完成使用共用緩衝器491之緩衝器1，例如，且緩衝器1現在可用於加速器1以利再次使用(例如，以供儲存入輸出)。加速器2可傳送中斷至處理裝置，以對該處理裝置指示其加速器2已完成填充輸出緩衝器460(例如，輸出緩衝器0(461))，例如，且該處理裝置可從480(例如，499)及478判定此資訊。
於一實施例中，在此時刻藉由加速器1及加速器2之所有處理(於此背景上)已停止，因為沒有輸入資料可用於加速器1(例如，即使有剩餘的共用緩衝器491)以及有一輸出緩衝器460留給加速器2。於一實施例中，處理裝置係用以提呈更多的輸入資料(例如，使用命令封包於加速器1)以繼續使用。於此範例中，處理裝置係用以僅處理又一輸入緩衝器408，在其係用以傳送額外輸出緩衝器至加速器2之前，例如，使用命令封包。傳送輸入緩衝器至加速器1的碼及傳送輸出緩衝器至加速器2的碼可為相同的碼或不同的碼。
於某些實施例中，處理係繼續，只要處理裝置提供具有輸入資料之更多的輸入緩衝器至加速器1及輸出緩衝器中可用之更多的儲存空間至加速器2。共用的輸入/輸出緩衝器491可被來回地遞交於兩裝置之間而無處理 裝置介入，隨著其被個別地消耗並釋放。
雖然圖4係顯示兩個裝置，但文中之某些實施例支援多數裝置菊鍊，例如，其中介於裝置之間的緩衝器被共用，且僅有由處理裝置(例如，CPU)於操作期間所管理的緩衝器為針對該鍊中之第一裝置的輸入緩衝器以及來自該鍊中之最後裝置的輸出緩衝器。
背景拆卸
於一實施例中，一旦所有輸入已通過該些鏈接的裝置，且處理裝置已判定其沒有更多資料待處理，則處理裝置可傳送訊息至該些裝置以拆卸該些背景及/或處理裝置以釋放所有已配置記憶體。
硬體加速請求管理器之一實施例可參考其與處理器之互動而被討論，例如，藉由觀察介於軟體驅動程式(例如，請求操作之軟體程式)與加速器硬體之間的應用程式介面(API)。一開始，(例如，壓縮、解壓縮、或其他加速器特定的)工作可被產生給加速器，例如，藉由被卸載自處理器。於一實施例中，軟體、處理器、及/或加速器可經由某獨特的工作識別(例如，工作ID)以參考此工作。工作可具有相關的背景結構，例如，其被接著用於該工作之生命週期，例如，工作可為經由對於加速器之多種呼叫的(例如，大)檔案之壓縮或解壓縮。於一實施例中，背景結構可包括以下之一或更多者：靜態背景資料，例如，工作資訊(例如，工作描述符)、相應於輸入 和輸出緩衝器之緩衝器描述符的(例如，圓形)陣列、及相應於輸入和輸出緩衝器之緩衝器回應描述符的(例如，圓形)陣列。輸入緩衝器描述符陣列(及/或LastValidIn指針)以及輸出緩衝器描述符陣列(及/或LastValidOut指針)可被群集在一起於一部分中(例如，如顯示為儲存於資料儲存裝置404中)、本地儲存至處理裝置(例如，核心)(例如，以利由處理器所更新)、或者其可為分離的且分開儲存。輸入緩衝器回應描述符陣列(及/或LastConsumedIn指針)以及輸出緩衝器回應描述符陣列(及/或LastConsumedOut指針)可被群集在一起於一部分中(例如，如顯示為儲存於資料儲存裝置404中)、本地儲存至加速器(例如，以利由加速器所更新)、或者其可為分離的且分開儲存。於一實施例中，緩衝器描述符(例如，Buff Desc)係描述相應的共用或輸入和輸出緩衝器之內容，其可包括以下欄位之一或更多者：指針(例如，針對特定緩衝器的指針)、資料大小、及旗標。大小可包括於資料中所傳遞的位元或位元組及/或可用於儲存資料的空間。旗標可為緩衝器為基的旗標。於一實施例中，回應緩衝器描述符(例如，RespBuff Desc)可包括以下欄位之一或更多者：無指針、大小、及旗標。大小可包括於輸出緩衝器內所傳遞的位元或位元組及/或保留在共用或輸入緩衝器中的位元或位元組。旗標可指示EOF，例如，回應於輸入緩衝器描述符中之清除或EOF命令的輸出之最後位元組。於此範例中，共用或輸出緩衝器可被視為消耗於旗 標之讀取上，而LastValidOut值可被遞增以反應其此輸出緩衝器已完成，例如，無進一步資料被載入共用或輸出緩衝器而無論其是否為實際上滿的(例如，其中滿的係指稱緩衝器中之所有記憶體均被使用)。於一實施例中，緩衝器描述符與回應描述符係針對各緩衝器被一比一匹配。於某些實施例中，緩衝器及其描述符可被包括於多數輸入資料集(例如，串流)及/或多數輸出資料集(例如，串流)之各者。
一旦工作已被產生，則處理器(例如，運作於處理器上之軟體)可針對該工作以配置緩衝器。隨著加速器處理輸入緩衝器中之資料及/或處理器消耗(例如，讀取或破壞)輸出資料，輸入及/或輸出緩衝器可被返回至軟體，例如，經由通知機制，諸如(但不限定於)中斷及輪詢。
緩衝器提呈：工作可含有數個資料集(例如，串流)，例如，2或3，例如，一輸入以及一或二輸出。各資料集(例如，串流)可由一(例如，圓形陣列)組緩衝器描述符及回應描述符所表示。於一實施例中，各緩衝器描述符項目可含有以下之一或更多者：針對個別緩衝器之指針、緩衝器之大小(例如，輸入緩衝器之資料量及輸出緩衝器之空間量)、及旗標。例如，緩衝器可固定其長度，例如，於工作產生時刻判定其大小及/或位置。輸入及/或輸出(例如，共用)緩衝器可藉由寫入至某位址而被傳送至加速器，例如，以該資訊因此針對各緩衝器 被加入為描述符中之項目(例如，於圓形陣列中)。於一實施例中，資訊包括所加入之緩衝器的數目。各此緩衝器描述符可在此時點後由個別硬體加速器所隱含地擁有，例如，以致其處理器及/或軟體無法修改該資料直到緩衝器被返回，例如，藉由該加速器至另一加速器、該處理器、及/或軟體。
注意：寫入至硬體(例如，至描述符)，加入至各工作(例如，背景)之緩衝器的數目為用以提呈緩衝器至加速器之一範例。於另一實施例中，各工作(例如，背景)中之緩衝器的數目可被寫入背景結構，例如，以及處理器可傳送請求信號至加速器以致加速器檢查針對此資訊之背景結構。
回應機制：回應機制可為其某資料被寫入至特定記憶體位址，例如，其中回應之細節係位於其被寫入之資料中。有關處理器或其他加速器將如何觀察(例如，被通知)此資料的範例機制包括(但不限定於)：執行該位址之(例如，軟體)輪詢，用以監督該位址並等待直到其被更新；或者(例如，使用者等級)中斷可指示執行緒執行於該加速器上以甦醒並觀察該位址。
於返回緩衝器(例如，從加速操作)之一實施例中，兩種類型的資訊可從該加速器被傳送至另一加速器或處理裝置以返回緩衝器：(1)哪些緩衝器正被返回，及(2)該緩衝器之多少被使用。用以執行此動作之一實施例係用以具有針對緩衝器回應(例如，返回)資料 之記憶體區，例如，緩衝器回應描述符。於一實施例中，加速器可(例如，週期性地)寫入此資訊，例如，連同傳送通知至加速器請求器(例如，處理器或其他加速器)。於一實施例中，例如，當加速器未檢測到該資訊何時被讀取(例如，由硬體或軟體)時，則該資訊可為累積資料而非遞增資料，例如，針對一背景。用以指示哪些緩衝器被返回之一範例機制係透過所返回的每串緩衝器之計數，例如，其中緩衝器返回資料將基本上由每串之一計數(例如，2至3計數)所組成，且可伴隨以一連串大小欄位，例如，一相應於各緩衝器描述符之欄位。
當作另一範例，假設總大小(例如，200 KB檔案)之資料集，各輸入緩衝器(例如，儲存)可小於該總大小(例如，各輸入緩衝器可儲存64 KB的資料)。於一實施例中，針對特定背景之加速器的操作並非直接地連結至請求及/或回應模型。例如，多組資料可被排列於單一背景上(例如，給定足夠的緩衝器、緩衝器描述符儲存、及緩衝器回應描述符儲存)，而加速器可任意工作於該背景的資料上，無關於針對其他背景之資料的提呈順序。例如，加速器可防止介於背景之間的切換，由於提呈及執行順序之解耦。於一背景內，操作(例如，壓縮或解壓縮)可被執行以提呈順序，但並無與其他背景之排序可能需要。
圖5闡明依據本發明之實施例的流程圖500。硬體加速器之架構的一範例包括(例如，硬體)加速請求 管理器，用以管理對於加速器或複數加速器之請求。此可為集中化的或者各加速器可包括其本身的加速請求管理器。於以下的討論中，可參考單一串流，但此可應用於具有多數串流之實施例。被加至請求佇列或被返回(例如，至請求器(例如，軟體))之工作請求的數目可由計數器(例如，NIN及/或NOUT)所定義。由請求器(例如，處理裝置或軟體)所加至佇列之工作請求的數目可被稱為提呈計數502。其可由資料儲存裝置中之背景資料結構中的值所表示，且亦可被傳送至個別加速器，例如，經由指令之執行以排列請求。於某些時刻，可能亦有在管理器內所儲存之提呈計數的版本。一實施例可傳送該些計數至硬體，例如，於命令封包中，諸如(但不限定於)圖4中之命令封包。於另一實施例中，計數可被儲存於背景結構中，例如，僅於背景結構中。返回計數可為由加速器所返回至請求器(例如，處理裝置或軟體)之緩衝器的數目。此亦可為背景資料結構中之值。於管理器內可能有緩衝器描述符之副本，例如，連同提呈計數之副本。此副本將被稱為快照及快照計數。快照可為過期的副本。工作ID可為程序ID與背景結構之位址的組合。工作ID可被儲存於背景結構中，但可(例如，亦)被儲存於分離的記憶體(例如，內部或外部)中以容許處理器(例如，加速器)內部地快速索引某資料，例如，緩衝器描述符副本。於一實施例中，緩衝器描述符被儲存於記憶體中，而處理器或加速器取得緩衝器描述符之狀態的快照並操作於其上。緩衝器描述符 可由處理器更新，當加速器正在使用目前陳舊副本時。於一實施例中之快照計數可包括提呈計數之此(例如，潛在地)陳舊副本，其被儲存於最新的背景結構中。於一實施例中，有針對輸入緩衝器之提呈計數及針對輸出緩衝器之提呈計數，當輸入與輸出緩衝器被解耦時。於一實施例中，當輸入與輸出緩衝器被耦接(例如，同步)時，可有一提呈計數。
於一實施例中，可有複數加速器，例如，不同類型的加速器，例如，壓縮加速器、解壓縮加速器、用於特定壓縮及/或解壓縮演算法之各者的加速器。各類型可被分離地管理，例如，如以下所描述。
可有與各加速器相關的一組資料，稱為現用工作(例如，現用工作0至X，例如，儲存於現用工作欄位512中)。現用工作資料集可包括用以管理該工作之資訊。可有待執行(on-deck)工作佇列510(例如，少於約10、8、7、6、5、4、或3個項目)，其可包括來自該工作之背景結構的資料(例如，用於儲存/復原之緩衝器描述符快照、計數、指針，等等)。於一實施例中，待執行工作佇列中之(例如，各)項目包括用以開始加速器上之工作的資料，例如，當加速器變為可用時。可有(例如)比待執行工作佇列510更大的大小之請求佇列508。於一實施例中，請求佇列508中之(例如，各)項目可包括針對其並非現用或待執行的請求之資料。
於一實施例中，當針對一操作之請求被接收 時(例如，用以由處理器履行一操作及/或被卸載至加速器之請求)，則該工作ID可有效地與針對現用工作512及待執行工作佇列510進行比較。於一實施例中，假如有匹配，則適當的狀態被更新，例如，否則該請求可被加至請求佇列508(例如，之末端)。當加速器變為可用時，可有一待執行工作備妥以供從待執行工作佇列510被立即開始於其上。於一實施例中，當待執行工作佇列510中有空間時，則來自請求佇列508之請求可被載入至該空間。於一實施例中，假如來自請求佇列508之下一工作未備妥以供針對藉由加速器之操作(例如，假如其輸入緩衝器為空白或輸出緩衝器為滿的)，則該工作可被推遲(或丟棄)且另外其可被加至待執行工作佇列510。於某些實施例中，假如該工作未備妥以供針對藉由加速器之操作，則該工作將針對加速為未備妥，除非有增加其可用的緩衝器計數器之後續請求。以下之表1係闡明藉由加速請求管理器以處理針對加速器之請求的一範例。
於一實施例中，當工作請求被考量以供插入待執行工作佇列510時(例如，其中該請求係直接地來自針對加速器之請求或來自請求佇列508)，一開始來自該請求本身的提呈計數可為可用的。於一實施例中，提呈計數為針對輸入及輸出兩者所提呈之可用緩衝器的數目，例如，當作處置LastValidIn及LastValidOut之另一方式。可有提呈計數(例如，針對輸入及輸出之各者)且處理器或加速器可追蹤針對輸入及輸出之各者的消耗計數。於某些實施例中，下一步驟可用以讀取背景結構之相關部分，例如，用以觀察返回計數(例如，指針)及/或緩衝器描述符。於一實施例中，假如返回計數之任一者匹配相應的提呈計數，則該佇列可為空白，且該工作並未備妥以供加速，例如，該請求可被丟棄。假如該佇列並非空白，則該資料可被寫入待執行工作佇列510。緩衝器描述符及提呈計數之此副本可被稱為快照(例如，快照504)。於一實 施例中，提呈計數502可為(例如，旋轉)計數器，其為大於輸入串流(例如，陣列)中之緩衝器數目至少一計數器記號。針對每一輸入串流可有一提呈計數，例如，除非緩衝器被同步化。於一實施例中，快照計數為其加速器(例如，或加速請求管理器)從記憶體所讀取的提呈計數之最後快照。於一實施例中，提呈計數被計算自工作請求資料，例如，因此處理器(例如，加速器)判定快照資料是否為陳舊的。其他資料506可包括用以讀取背景資訊之背景指針。
於一實施例中，待執行工作佇列510中之每一工作可備妥以供加速，例如，該工作的快照具有至少一具有資料之輸入緩衝器及一具有可用空間之輸出緩衝器於每一串流中。可有兩組計數於待執行工作佇列中之各項目中(例如，及針對各現用工作)：針對快照之一組計數、及針對最近已知計數之第二組計數。於一實施例中，一開始這些可為相同的，但假如一請求進入而匹配待執行工作佇列中之一項目，則提呈計數可增加，例如，而快照計數不增加。此可指示其快照為過期的，例如，其除了該快照中所指示者以外有更多緩衝器可用。
於一實施例中，為了更新快照，當任何輸入緩衝器或輸出緩衝器中之項目數(例如，於快照中)來到0或1，且相應的提呈計數502(例如，如由請求所更新者)大於1時，則請求管理器及/或加速器可再讀取提呈計數502及緩衝器描述符和緩衝器回應描述符，並接著藉此 更新(例如，陳舊)快照。於一實施例中，此可藉由以下之任一者來觸發：加速器完成緩衝器之使用(例如，並返回之)以減少計數、或一請求匹配此工作並增加提呈計數502。
圖6闡明依據本發明之實施例的加速操作之流程圖600。所描繪的流程600包括從硬體處理器卸載操作至第一硬體加速器602；及於該第一硬體加速器和第二硬體加速器上執行該操作以產生輸出資料並消耗輸入資料，其中該第一硬體加速器和該第二硬體加速器被耦合至複數共用緩衝器以儲存來自該第一硬體加速器之該輸出資料並將該輸出資料提供為該第二硬體加速器之該輸入資料，該第二硬體加速器之輸入緩衝器描述符陣列具有針對各個別共用緩衝器之項目，該第二硬體加速器之輸入緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，該第一硬體加速器之輸出緩衝器描述符陣列具有針對各個別共用緩衝器之項目，及該第一硬體加速器之輸出緩衝器回應描述符陣列具有針對各個別共用緩衝器604之相應回應項目。
於一實施例中，硬體處理器包括用以執行執行緒並卸載操作之核心；及用以執行該操作來產生輸出資料並消耗輸入資料之第一硬體加速器和第二硬體加速器，其中該第一硬體加速器和該第二硬體加速器被耦合至複數共用緩衝器以儲存來自該第一硬體加速器之該輸出資料並將該輸出資料提供為該第二硬體加速器之該輸入資料，該 第二硬體加速器之輸入緩衝器描述符陣列具有針對各個別共用緩衝器之項目，該第二硬體加速器之輸入緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，該第一硬體加速器之輸出緩衝器描述符陣列具有針對各個別共用緩衝器之項目，及該第一硬體加速器之輸出緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目。該第二硬體加速器可比較該輸入緩衝器描述符陣列之最後有效輸入項目的指標與該輸入緩衝器回應描述符陣列之最後消耗輸入回應項目的指標以判定該第二硬體加速器何時可執行以消耗來自該些複數共用緩衝器之輸入資料，以及該第一硬體加速器可比較該輸出緩衝器描述符陣列之最後有效輸出項目的指標與該輸出緩衝器回應描述符陣列之最後消耗輸出回應項目的指標以判定該第一硬體加速器何時可執行以產生輸出資料入該些複數共用緩衝器。該第二硬體加速器可履行該比較且該第一硬體加速器可履行該比較而無該核心之涉入。該核心可配置該些複數共用緩衝器，並載入針對各個別共用緩衝器之該輸入緩衝器描述符陣列中的該些項目。該核心可載入針對各個別共用緩衝器之該輸出緩衝器描述符陣列中的該些項目。該第一硬體加速器可載入具有該輸出資料之該些複數共用緩衝器，並載入針對消耗的各個別共用緩衝器之該輸出緩衝器回應描述符陣列中的該些相應回應項目。該第二硬體加速器可載入針對消耗的各個別共用緩衝器之該輸入緩衝器回應描述符陣列中的該些相應回應項目。該輸入緩衝器描述符陣列中 之該些項目可各包括該個別共用緩衝器中所儲存之該輸入資料的大小，該輸入緩衝器回應描述符陣列中之該些相應回應項目可各包括保留在該個別共用緩衝器中之該輸入資料的大小，該輸出緩衝器描述符陣列中之該些項目可各包括可用於儲存輸出資料之該個別共用緩衝器的大小，及該輸出緩衝器回應描述符陣列中之該些相應回應項目可各包括該個別共用緩衝器中所儲存之該輸出資料的大小。
於另一實施例中，一種方法包括從硬體處理器卸載操作至第一硬體加速器；及於該第一硬體加速器和第二硬體加速器上執行該操作以產生輸出資料並消耗輸入資料，其中該第一硬體加速器和該第二硬體加速器被耦合至複數共用緩衝器以儲存來自該第一硬體加速器之該輸出資料並將該輸出資料提供為該第二硬體加速器之該輸入資料，該第二硬體加速器之輸入緩衝器描述符陣列具有針對各個別共用緩衝器之項目，該第二硬體加速器之輸入緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，該第一硬體加速器之輸出緩衝器描述符陣列具有針對各個別共用緩衝器之項目，及該第一硬體加速器之輸出緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目。該方法可進一步包括以該第二硬體加速器比較該輸入緩衝器描述符陣列之最後有效輸入項目的指標與該輸入緩衝器回應描述符陣列之最後消耗輸入回應項目的指標來判定該第二硬體加速器何時可執行以消耗來自該些複數共用緩衝器之輸入資料，以及以該第一硬體加速器比較 該輸出緩衝器描述符陣列之最後有效輸出項目的指標與該輸出緩衝器回應描述符陣列之最後消耗輸出回應項目的指標來判定該第一硬體加速器何時可執行以產生輸出資料入該些複數共用緩衝器。該第二硬體加速器可履行該比較且該第一硬體加速器可履行該比較而無該硬體處理器之涉入。該方法可進一步包括配置該些複數共用緩衝器，並載入針對各個別共用緩衝器之該輸入緩衝器描述符陣列中的該些項目。該方法可進一步包括載入針對各個別共用緩衝器之該輸出緩衝器描述符陣列中的該些項目。該方法可進一步包括載入具有該輸出資料之該些複數共用緩衝器，並載入針對消耗的各個別共用緩衝器之該輸出緩衝器回應描述符陣列中的該些相應回應項目。該方法可進一步包括載入針對消耗的各個別共用緩衝器之該輸入緩衝器回應描述符陣列中的該些相應回應項目。該方法可進一步包括提供該輸入緩衝器描述符陣列中之該些項目，其各包括該個別共用緩衝器中所儲存之該輸入資料的大小、該輸入緩衝器回應描述符陣列中之該些相應回應項目，其各包括保留在該個別共用緩衝器中之該輸入資料的大小、該輸出緩衝器描述符陣列中之該些項目，其各包括可用於儲存輸出資料之該個別共用緩衝器的大小、及該輸出緩衝器回應描述符陣列中之該些相應回應項目，其各包括該個別共用緩衝器中所儲存之該輸出資料的大小。
於又一實施例中，一種系統包括用以執行執行緒並卸載操作之硬體處理器；及用以執行該操作來產生 輸出資料並消耗輸入資料之第一硬體加速器和第二硬體加速器，其中該第一硬體加速器和該第二硬體加速器被耦合至複數共用緩衝器以儲存來自該第一硬體加速器之該輸出資料並將該輸出資料提供為該第二硬體加速器之該輸入資料，該第二硬體加速器之輸入緩衝器描述符陣列具有針對各個別共用緩衝器之項目，該第二硬體加速器之輸入緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，該第一硬體加速器之輸出緩衝器描述符陣列具有針對各個別共用緩衝器之項目，及該第一硬體加速器之輸出緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目。該第二硬體加速器可比較該輸入緩衝器描述符陣列之最後有效輸入項目的指標與該輸入緩衝器回應描述符陣列之最後消耗輸入回應項目的指標以判定該第二硬體加速器何時可執行以消耗來自該些複數共用緩衝器之輸入資料，以及該第一硬體加速器可比較該輸出緩衝器描述符陣列之最後有效輸出項目的指標與該輸出緩衝器回應描述符陣列之最後消耗輸出回應項目的指標以判定該第一硬體加速器何時可執行以產生輸出資料入該些複數共用緩衝器。該第二硬體加速器可履行該比較且該第一硬體加速器可履行該比較而無該硬體處理器之涉入。該硬體處理器可配置該些複數共用緩衝器，並載入針對各個別共用緩衝器之該輸入緩衝器描述符陣列中的該些項目。該硬體處理器可載入針對各個別共用緩衝器之該輸出緩衝器描述符陣列中的該些項目。該第一硬體加速器可載入具有該輸出資料 之該些複數共用緩衝器，並載入針對消耗的各個別共用緩衝器之該輸出緩衝器回應描述符陣列中的該些相應回應項目。該第二硬體加速器可載入針對消耗的各個別共用緩衝器之該輸入緩衝器回應描述符陣列中的該些相應回應項目。該輸入緩衝器描述符陣列中之該些項目可各包括該個別共用緩衝器中所儲存之該輸入資料的大小，該輸入緩衝器回應描述符陣列中之該些相應回應項目可各包括保留在該個別共用緩衝器中之該輸入資料的大小，該輸出緩衝器描述符陣列中之該些項目可各包括可用於儲存輸出資料之該個別共用緩衝器的大小，及該輸出緩衝器回應描述符陣列中之該些相應回應項目可各包括該個別共用緩衝器中所儲存之該輸出資料的大小。
於另一實施例中，硬體處理器包括用以執行執行緒並卸載操作之機構；及用以執行該操作來產生輸出資料並消耗輸入資料之第一機構和第二機構，其中該第一機構和該第二機構被耦合至複數共用緩衝器以儲存來自該第一機構之該輸出資料並將該輸出資料提供為該第二機構之該輸入資料，該第二機構之輸入緩衝器描述符陣列具有針對各個別共用緩衝器之項目，該第二機構之輸入緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，該第一機構之輸出緩衝器描述符陣列具有針對各個別共用緩衝器之項目，及該第一機構之輸出緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目。
於又另一實施例中，一種設備包含一儲存碼 之資料儲存裝置，當由硬體處理器所執行時該碼係造成該硬體處理器履行文中所揭露之任何方法。一種設備可為如詳細說明中所描述者。一種方法可為如詳細說明中所描述者。
於另一實施例中，一種儲存碼之非暫態機器可讀取媒體，當由機器所執行時該碼係造成該機器履行一方法，該方法包含文中所揭露之任何方法。
一操作可被履行於輸入資料之串流上。資料之串流可被提供於較整個區塊更小的(例如，不同的)大小之區塊中，例如，其較小的區塊被提供直到該操作被履行於整個區塊上。資料之串流可具有其資料之各子集(例如，於其個別緩衝器中)被提呈(例如，操作於上)以其原始順序(例如，至加速器)，例如，以供用有狀態方式被壓縮或解壓縮。例如，所有被利用的緩衝器可累積地儲存(例如，連續)資料之一完整區塊(例如，檔案)，例如，以供被壓縮或解壓縮。資料之無狀態串流可具有其資料之各子集(例如，於其個別緩衝器中)被提呈(例如，操作於上)以任何(例如，非原始)順序(例如，至加速器)，例如，以資料之各子集獨立自資料之其他子集(例如，區塊)。於一實施例中，資料之無狀態串流的各子集(例如，區塊)係獨立於資料之任何其他子集(例如，區塊)而被壓縮，例如，以致其無狀態被維持於該些子集(例如，區塊)之間且該資料串可因此被稱為無狀態。例如，資料串可為無狀態的，在當資料之各子集(例如，滑 動(例如，32千位元組(KB))窗)可被完整地維持於其目前正操作中(例如，壓縮)之子集(例如，區塊)內且無法參考任何其他子集(例如，區塊)時。例如，資料之無狀態串流的資料(例如，區塊)之各子集可被壓縮或解壓縮為其本身的獨立工作。
有狀態壓縮及有狀態解壓縮可被稱為有狀態，由於(例如，向後)參考(例如，串參考)之滑動窗，例如，依資料之原始順序。於一有狀態操作中，滑動窗可參考其被壓縮或解壓縮之目前資料的某範圍(例如，32 KB或64 KB)內之任何先前資料中的資料。例如，於DEFLATE演算法中，窗大小可為32 KB。窗大小可被選擇如所欲，例如，其可針對其他演算法而改變。於一實施例中，提呈至加速器(例如，卸載裝置)之一有狀態操作被依序執行且具有於既定時點對於資料之先前窗(例如，32 KB)的存取權(例如，用以壓縮或解壓縮)，例如，即使該(例如，32 KB)窗位於先前提呈的(例如，分離的)緩衝器中。於一實施例中，當加速器係用以停止(例如，在完成之前)資料集(例如，背景)上之處理時，其可儲存該(例如，32 KB)窗，例如，因此先前窗的資料可被重新載入該加速器，當其開始再次處理該資料集(例如，背景)時。
於一實施例中，(例如，壓縮)演算法係用以工作於一(例如，大於128 KB)資料集，其將被劃分為資料之複數較小子集(例如，32 KB或64 KB(例如， mallocs))。處理裝置(例如，處理器)可呼叫(例如，壓縮或解壓縮)功能多次，例如，針對資料之各子集一次。處理裝置(例如，其上所運作的軟體)亦可配置(例如，提供)輸入緩衝器及/或輸出緩衝器以保持各呼叫之(例如，來源及/或輸出壓縮或解壓縮)資料。於某些實施例中，壓縮及/或解壓縮為資料依存的，而因此壓縮或解壓縮資料之輸出大小不是已知的(例如，先驗或者於緩衝器之配置期間)。於壓縮之一實施例中，針對任何非可壓縮內容，該輸出資料之大小可大於輸入資料。一種解決方案可為用以將該輸出緩衝器縮放為輸入緩衝器之大小的倍數(例如，二至20倍)。然而，此可為浪費的記憶體消耗(於某些實施例中)，例如，其中壓縮操作將輸出資料(例如，檔案)之大小壓縮至小於(例如，40%)輸入資料(例如，檔案)之大小。另一解決方案可為用以縮放(例如，輸入及/或輸出緩衝器)以該(例如，壓縮或解壓縮)操作之結果的約預期大小，但接著處置其中該資料並未適當地配適於輸出緩衝器中及/或所有該資料均未被消耗(例如，操作於上)自該輸入緩衝器的任何情況。
於一實施例中，處理裝置(例如，其上所運作的軟體)可呼叫壓縮及/或解壓縮功能來操作以輸入緩衝器及輸出緩衝器(例如，及針對狀態區之指針)，並接著檢查該結果以觀察該輸出是否被填充及/或該輸入是否被完全消耗。於一實施例中，根據此，新的輸入及/或輸出緩衝器可被配置且後續功能呼叫可被執行(例如)以來 自先前呼叫之已更新狀態。然而，於某些實施例中，阻擋呼叫之此方法可能是不想要的(例如，導致次佳的性能)，當壓縮及/或解壓縮係經由硬體(例如，壓縮及/或解壓縮)加速器(例如，加速引擎)而被進行時。
於一實施例中，可能有針對加速引擎之請求的提呈與該回應回來之潛時。例如，於此潛時期間，(例如，軟體)執行緒可被阻擋及/或為閒置(例如，負面地影響功率及/或處理資源利用)，由於處理之串列化本質；及/或可使該執行緒的背景被交換出(例如，加入負擔來移動該(例如)處理資源(例如，CPU)背景以各壓縮或解壓縮呼叫)。串列提呈模型之某些實施例亦可能對於加速器是有問題的，例如，當壓縮(或解壓縮)演算法包括狀態(例如，大於100 KB之量，例如，取決於演算法之類型)來移動入及/或出(例如，加速器)以各呼叫時(例如，其中該呼叫係提供新資料的32 KB或64 KB)。此可加入(例如，不想要的)性能負擔及/或造成關鍵頻寬緊縮於加速器裝附點(例如，以致其加速器無法針對一演算法實施有狀態壓縮及/或解壓縮以大於100Gbits/秒之速率)。另一替代方式可為用以保持(例如，硬體)加速器鎖定且不移動該狀態入或出，但此可能導致(例如，硬體)加速器之較無效率的(例如，不想要的)利用，例如，由於下一呼叫(其將被執行在先前呼叫之完成後)可包括喚醒(例如，軟體)執行緒、配置新的輸入及/或輸出緩衝器、及傳送入新的請求，其接著可被閒置於其向上 移動至待服務之某佇列的頭部時(例如，於該些時刻期間該加速器是閒置的)。
於一實施例中，串列化及阻擋方案可提呈呼叫(例如，從軟體)至加速器以執行(例如，壓縮及/或解壓縮)執行緒(例如，操作或功能)。加速器可操作於資料直到輸入緩衝器被清空或者輸出緩衝器被填充(例如，以該些輸入及輸出資料緩衝器返回以供再使用(例如，由一裝置)，當各請求完成時)。然而，於一實施例中，假如輸出緩衝器填滿而輸入剩餘，則殘餘輸入將被再提呈以供操作，例如，新資料之背靠背提呈無法被履行。
文中之某些實施例提供一種新穎的技術，用以增進介於硬體加速器之間的互動，例如，用於增進的性能。於一實施例中，由加速器針對一操作(例如，用以履行壓縮及/或解壓縮)之呼叫不被視為僅針對用以履行該操作之該加速器的請求。取而代之於此實施例中，初始請求可針對該操作(例如，壓縮及/或解壓縮工作)以設定背景。輸入緩衝器可被提呈至緩衝器之每背景佇列。輸出緩衝器可被提呈至緩衝器之每背景佇列。於一實施例中，沒有介於輸入與輸出緩衝器之間的(例如，嚴格)相關。因此例如，加速器可消耗第一輸入緩衝器中之資料的少於所有(例如，一半)及發現其第一輸出緩衝器係充滿輸出資料。於此範例中之加速器可接著開始使用緩衝器之佇列中的第二輸出緩衝器(例如，當告知該(例如，軟體)執行緒其輸出緩衝器現在為可用時)並可接著完成消耗(例 如，處理)該第一輸入緩衝器中之資料。於一實施例中，加速器繼續(例如，無縫地)工作於來自第二輸入緩衝器之輸入資料上(例如，當告知該(例如，軟體)執行緒其另一輸入緩衝器被消耗時)，其可產生(例如，製造)被傳送以供儲存於該第二輸出緩衝器(例如，及第三輸出緩衝器等等，假如需要的話)中的資料。於文中之某些實施例中，回自加速器之回應因此不連結至壓縮或解壓縮呼叫之概念，而是連結至已完成之任何(例如，輸入或輸出)緩衝器上的操作(例如，輸入緩衝器中之資料被完全消耗或新的輸出緩衝器可得以供使用)。文中之某些實施例容許(例如，軟體以)提供複數(例如，2、3、4、5、6、7、8、9、10等等)輸入及輸出緩衝器，並接著等待已完成回應來決定是否應提供及/或應多提供多少(例如，輸入或輸出)緩衝器。於一實施例中，此可獨立地及與加速器運作平行地發生。於一實施例中，只要系統(例如，軟體)可提供(例如，輸入或輸出)緩衝器以或約以(例如，輸入或輸出)緩衝器之平均消耗率，則可能無(例如，嚴格的)串列化及/或潛時介於該系統(例如，軟體)與加速器之間。此實施例可導致較佳的潛時及通量，但亦可避免對於加速器之狀態儲存及/或復原。
於某些實施例中，處理裝置(例如，其處理器或核心)可將操作(例如，執行緒)卸載至硬體加速器(例如，加速器電路)。於一實施例中，硬體加速器被耦合至輸入及輸出緩衝器，例如，用以接收輸入資料之有狀 態或無狀態串流以供操作來產生輸出資料。硬體加速器可被耦合至以下之一或更多者：複數輸入儲存(例如，緩衝器)，用以儲存輸入資料、複數輸出儲存(例如，緩衝器)，用以儲存輸出資料、輸入緩衝器描述符儲存(例如，陣列)，具有針對各個別輸入緩衝器之項目、輸入緩衝器回應描述符儲存(例如，陣列)，具有針對各個別輸入緩衝器之相應回應項目、輸出緩衝器描述符儲存(例如，陣列)，具有針對各個別輸出緩衝器之項目、及輸出緩衝器回應描述符儲存(例如，陣列)，具有針對各個別輸出緩衝器之相應回應項目。輸入及/或輸出緩衝器描述符項目可包括針對緩衝器之指針、該緩衝器中之資料的大小、緩衝器旗標、或任何其組合。輸入及/或輸出返回緩衝器描述符項目可包括緩衝器中之資料的大小(例如，保留在輸入緩衝器中之資料的大小及/或輸出緩衝器之未使用部分的大小)、緩衝器旗標、或兩者(例如，但是無指針)。術語「資料之大小」可指稱資料之總大小，例如，非資料之多數元件的各元件之大小。
雖然本發明包括於壓縮及壓縮演算法之背景下的實施例，但本發明可被延伸至其他領域。文中之某些實施例可致能對於(例如，執行執行緒於)加速器之背靠背呼叫，針對資料之有狀態/無狀態串流，例如，而不針對該些輸入及/或輸出串流配置最糟狀況大小的資料緩衝器及/或以容許該加速器被有效地(例如，高度地)利用。
文中之某些實施例提供輸入與輸出緩衝器提呈及/或回應為異步的。文中之某些實施例可包括以下之一或更多者：緩衝器被遞送至加速器；加速器可具有那些緩衝器之專屬所有權直到明確地返回(或與另一加速器之共有所有權)；緩衝器返回可不連結至請求完成(例如，一傳送至該加速器以供執行之執行緒的完成)；加速器可停止操作於(例如，目前)背景，在當超出輸入或輸出緩衝器空間時(例如，但不會停止操作於其留存有有效輸入之(例如，返回)緩衝器上)；容許繼續操作於目前背景，假如新的緩衝器及時到達的話；以及將輸入與輸出緩衝器彼此解耦及將其解耦自請求提呈模型。文中之某些實施例可增進加速器性能、減少潛時、及正面地影響系統性能。文中之某些實施例可減少儲存及/或復原頻寬(例如，以及相關的性能負擔)，例如，於輸入資料之有狀態或無狀態串流的壓縮及/或解壓縮。文中之某些實施例可包括一種加速器，用以針對一演算法實施有狀態或無狀態串流的壓縮及/或解壓縮，以大於100Gbits/秒之速率(例如，以約200-400Gbits/秒之速率)。
指令集可包括一或更多指令格式。既定指令格式可界定各種欄位(例如，位元之數目、位元之位置)以指明(除了別的以外)待履行操作(例如，運算碼)以及將於其上履行操作之運算元及/或其他資料欄位(例如，遮罩)。一些指令格式係透過指令模板(或子格式)之定義而被進一步分解。例如，既定指令格式之指令模板 可被定義以具有指令格式之欄位的不同子集(所包括的欄位通常係以相同順序，但至少某些具有不同的位元位置，因為包括了較少的欄位)及/或被定義以具有不同地解讀之既定欄位。因此，ISA之各指令係使用既定指令格式(以及，假如被定義的話，以該指令格式之指令模板的既定一者)而被表達，並包括用以指明操作及運算元之欄位。例如，範例ADD指令具有特定運算碼及一指令格式，其包括用以指明該運算碼之運算碼欄位及用以選擇運算元(來源1/目的地及來源2)之運算元欄位；而於一指令串中之此ADD指令的發生將具有特定內容於其選擇特定運算元之運算元欄位中。被稱為先進向量延伸(AVX)(AVX1及AVX2)並使用向量延伸(VEX)編碼技術之一組SIMD延伸已被釋出及/或出版(例如，參見Intel® 64及IA-32架構軟體開發商手冊，2016年六月；及參見Intel®架構指令集延伸編程參考，2016年二月)。
範例指令格式
文中所述之指令的實施例可被實施以不同的格式。此外，範例系統、架構、及管線被詳述於下。指令之實施例可被執行於此等系統、架構、及管線上，但不限定於那些細節。
一般性向量友善指令格式
向量友善指令格式是一種適於向量指令之指 令格式(例如，有向量操作特定的某些欄位)。雖然實施例係描述其中向量和純量操作兩者均透過向量友善指令格式而被支援，但替代實施例僅使用具有向量友善指令格式之向量操作。
圖7A-7B為闡明一般性向量友善指令格式及其指令模板的方塊圖，依據本發明之實施例。圖7A為闡明一般性向量友善指令格式及其類別A指令模板的方塊圖，依據本發明之實施例；而圖7B為闡明一般性向量友善指令格式及其類別B指令模板的方塊圖，依據本發明之實施例。明確地，針對一般性向量友善指令格式700係定義類別A及類別B指令模板，其兩者均包括無記憶體存取705指令模板及記憶體存取720指令模板。於向量友善指令格式之背景下術語「一般性」指的是不與任何特定指令集連結的指令格式。
雖然本發明之實施例將描述其中向量友善指令格式支援以下：具有32位元(4位元組)或64位元(8位元組)資料元件寬度(或大小)之64位元組向量運算元長度(或大小)(而因此，64位元組向量係由16雙字元大小的元件、或替代地8四字元大小的元件所組成)；具有16位元(2位元組)或8位元(1位元組)資料元件寬度(或大小)之64位元組向量運算元長度(或大小)；具有32位元(4位元組)、64位元(8位元組)、16位元(2位元組)、或8位元(1位元組)資料元件寬度(或大小)之32位元組向量運算元長度(或大小)；及具有32位元(4位 元組)、64位元(8位元組)、16位元(2位元組)、或8位元(1位元組)資料元件寬度(或大小)之16位元組向量運算元長度(或大小)；但是替代實施例可支援具有更大、更小、或不同資料元件寬度(例如，128位元(16位元組)資料元件寬度)之更大、更小及/或不同的向量運算元大小(例如，256位元組向量運算元)。
圖7A中之類別A指令模板包括：1)於無記憶體存取705指令模板內，顯示有無記憶體存取、全捨入控制類型操作710指令模板及無記憶體存取、資料變換類型操作715指令模板；以及2)於記憶體存取720指令模板內，顯示有記憶體存取、暫時725指令模板及記憶體存取、非暫時730指令模板。圖7B中之類別B指令模板包括：1)於無記憶體存取705指令模板內，顯示有無記憶體存取、寫入遮蔽控制、部分捨入控制類型操作712指令模板及無記憶體存取、寫入遮蔽控制、v大小類型操作717指令模板；以及2)於記憶體存取720指令模板內，顯示有記憶體存取、寫入遮蔽控制727指令模板。
一般性向量友善指令格式700包括以下欄位，依圖7A-7B中所示之順序列出如下。
格式欄位740-此欄位中之一特定值(指令格式識別符值)係獨特地識別向量友善指令格式、以及因此在指令串中之向量友善指令格式的指令之發生。如此一來，此欄位是選擇性的，因為針對一僅具有一般性向量友善指令格式之指令集而言此欄位是不需要的。
基礎操作欄位742-其內容係分辨不同的基礎操作。
暫存器指標欄位744-其內容(直接地或透過位址產生)係指明來源及目的地運算元之位置，假設其係於暫存器中或記憶體中。這些包括足夠數目的位元以從PxQ(例如，32x512,16x128,32x1024,64x1024)暫存器檔選擇N暫存器。雖然於一實施例中N可高達三個來源及一個目的地暫存器，但是替代實施例可支援更多或更少的來源及目的地暫存器(例如，可支援高達兩個來源，其中這些來源之一亦作用為目的地；可支援高達三個來源，其中這些來源之一亦作用為目的地；可支援高達兩個來源及一個目的地)。
修飾符欄位746-其內容係從不指明記憶體存取之那些指令分辨出其指明記憶體存取之一般性向量指令格式的指令之發生，亦即，介於無記憶體存取705指令模板與記憶體存取720指令模板之間。記憶體存取操作係讀取及/或寫入至記憶體階層(於使用暫存器中之值以指明來源及/或目的地位址之某些情況下)，而非記憶體存取操作則不會(例如，來源及目的地為暫存器)。雖然於一實施例中此欄位亦於三個不同方式之間選擇以履行記憶體位址計算，但是替代實施例可支援更多、更少、或不同方式以履行記憶體位址計算。
擴增操作欄位750-其內容係分辨多種不同操作之哪一個將被履行，除了基礎操作之外。此欄位是背景 特定的。於本發明之一實施例中，此欄位被劃分為類別欄位768、α欄位752、及β欄位754。擴增操作欄位750容許操作之共同群組將被履行以單指令而非2、3、或4指令。
比例欄位760-其內容容許指標欄位之內容的定標，以供記憶體位址產生(例如，以供其使用2比例*指標+基礎之位址產生)。
置換欄位762A-其內容被使用為記憶體位址產生之部分(例如，以供其使用2比例*指標+基礎+置換之位址產生)。
置換因數欄位762B(注意：直接在置換因數欄位762B上方之置換欄位762A的並列指示一者或另一者被使用)-其內容被使用為位址產生之部分；其指明將被記憶體存取之大小(N)所定標的置換因數-其中N為記憶體存取中之位元組數目(例如，以供其使用2比例*指標+基礎+定標置換之位址產生)。冗餘低階位元被忽略而因此，置換因數欄位之內容被乘以記憶體運算元總大小(N)來產生最終置換以供使用於計算有效位址。N之值係在運作時間由處理器硬體所判定，根據全運算碼欄位774(稍後描述於文中)及資料調處欄位754C。置換欄位762A及置換因數欄位762B是選擇性的，因為其未被使用於無記憶體存取705指令模板及/或不同的實施例僅可實施該兩欄位之一者或者兩者皆不實施。
資料元件寬度欄位764-其內容係分辨數個資料元件之哪一個將被使用(於針對所有指令之某些實施例 中；於針對僅某些指令之其他實施例中)。此欄位是選擇性的，在於其假如僅有一資料元件寬度被支援及/或資料元件寬度係使用運算碼之某形態而被支援則此欄位是不需要的。
寫入遮蔽欄位770-其內容係根據每資料元件位置以控制其目的地向量運算元中之資料元件位置是否反映基礎操作及擴增操作之結果。類別A指令模板支援合併-寫入遮蔽，而類別B指令模板支援合併-及歸零-寫入遮蔽兩者。當合併時，向量遮蔽容許目的地中之任何組的元件被保護自任何操作之執行期間(由基礎操作及擴增操作所指明)的更新；於另一實施例中，保留其中相應遮蔽位元具有0之目的地的各元件之舊值。反之，當歸零時，向量遮蔽容許目的地中之任何組的元件被歸零於任何操作之執行期間(由基礎操作及擴增操作所指明)；於一實施例中，當相應遮蔽位元具有0值時則目的地之一元件被設為0。此功能之子集是其控制被履行之操作的向量長度(亦即，被修飾之元件的範圍，從第一者至最後者)的能力；然而，其被修飾之元件不需要是連續的。因此，寫入遮蔽欄位770容許部分向量操作，包括載入、儲存、運算、邏輯，等等。雖然本發明之實施例係描述其中寫入遮蔽欄位770之內容選擇其含有待使用之寫入遮蔽的數個寫入遮蔽暫存器之一(而因此寫入遮蔽欄位770之內容間接地識別其遮蔽將被履行)，但是替代實施例取代地或者額外地容許寫入遮蔽欄位770之內容直接地指明其遮蔽將被履行。
即刻欄位772-其內容容許即刻之指明。此欄位是選擇性的，由於此欄位存在於其不支援即刻之一般性向量友善格式的實施方式中且此欄位不存在於其不使用即刻之指令中。
類別欄位768-其內容分辨於不同類別的指令之間。參考圖7A-B，此欄位之內容選擇於類別A與類別B指令之間。於圖7A-B中，圓化角落的方形被用以指示一特定值存在於一欄位中(例如，針對類別欄位768之類別A 768A及類別B 768B，個別地於圖7A-B中)。
類別A之指令模板
於類別A之非記憶體存取705指令模板的情況下，α欄位752被解讀為RS欄位752A，其內容係分辨不同擴增操作類型之哪一個將被履行(例如，捨入752A.1及資料變換752A.2被個別地指明給無記憶體存取、捨入類型操作710及無記憶體存取、資料變換類型操作715指令模板)，而β欄位754係分辨該些指明類型的操作之哪個將被履行。於無記憶體存取705指令模板中，比例欄位760、置換欄位762A、及置換比例欄位762B不存在。
無記憶體存取指令模板-全捨入控制類型操作
於無記憶體存取全捨入類型操作710指令模板中，β欄位754被解讀為捨入控制欄位754A，其內容係提供靜態捨入。雖然於本發明之所述實施例中，捨入控制欄位 754A包括抑制所有浮點例外(SAE)欄位756及捨入操作控制欄位758，但替代實施例可支援可將這兩個觀念均編碼入相同欄位或僅具有這些觀念/欄位之一者或另一者(例如，可僅具有捨入操作控制欄位758)。
SAE欄位756-其內容係分辨是否除能例外事件報告；當SAE欄位756之內容指示抑制被致能時，則一既定指令不報告任何種類的浮點例外旗標且不引發任何浮點例外處置器。
捨入操作控制欄位758-其內容係分辨一群捨入操作之哪一個將被履行(例如向上捨入、向下捨入、朝零捨入及捨入至最接近)。因此，捨入操作控制欄位758容許以每指令為基之捨入模式的改變。於本發明之一實施例中，其中處理器包括一用以指明捨入模式之控制暫存器，捨入操作控制欄位750之內容係撤銷該暫存器值。
無記憶體存取指令模板-資料變換類型操作
於無記憶體存取資料變換類型操作715指令模板中，β欄位754被解讀為資料變換欄位754B，其內容係分辨數個資料變換之哪一個將被履行(例如，無資料變換、拌合、廣播)。
於類別A之記憶體存取720指令模板的情況下，α欄位752被解讀為逐出暗示欄位752B，其內容係分辨逐出暗示之哪一個將被使用(於圖7A中，暫時752B.1及非暫時752B.2被個別地指明給記憶體存取、暫時725指令模 板及記憶體存取、非暫時730指令模板)，而β欄位754被解讀為資料調處欄位754C，其內容係分辨數個資料調處操作(亦已知為基元)之哪一個將被履行(例如，無調處；廣播；來源之向上轉換；及目的地之向下轉換)。記憶體存取720指令模板包括比例欄位760、及選擇性地置換欄位762A或置換比例欄位762B。
向量記憶體指令係履行向量載入自及向量儲存至記憶體，具有轉換支援。至於一般向量指令，向量記憶體指令係以資料元件式方式轉移資料自/至記憶體，以其被實際地轉移之元件由其被選為寫入遮蔽的向量遮蔽之內容所主宰。
記憶體存取指令模板-暫時
暫時資料為可能會夠早地被再使用以受惠自快取的資料。然而，此為一暗示，且不同的處理器可以不同的方式來實施，包括完全地忽略該暗示。
記憶體存取指令模板-非暫時
非暫時資料為不太可能會夠早地被再使用以受惠自第一階快取中之快取且應被給予逐出之既定優先權的資料。然而，此為一暗示，且不同的處理器可以不同的方式來實施，包括完全地忽略該暗示。
類別B之指令模板
於類別B之指令模板的情況下，α欄位752被解讀為寫入遮蔽控制(Z)欄位752C，其內容係分辨由寫入遮蔽欄位770所控制的寫入遮蔽是否應為合併或歸零。
於類別B之非記憶體存取705指令模板的情況下，β欄位754之部分被解讀為RL欄位757A，其內容係分辨不同擴增操作類型之哪一個將被履行(例如，捨入757A.1及向量長度(VSIZE)757A.2被個別地指明給無記憶體存取、寫入遮蔽控制、部分捨入控制類型操作712指令模板及無記憶體存取、寫入遮蔽控制、VSIZE類型操作717指令模板)，而剩餘的β欄位754係分辨該些指明類型的操作之哪個將被履行。於無記憶體存取705指令模板中，比例欄位760、置換欄位762A、及置換比例欄位762B不存在。
於無記憶體存取中，寫入遮蔽控制、部分捨入控制類型操作710指令模板、及剩餘的β欄位754被解讀為捨入操作欄位759A且例外事件報告被除能(既定指令則不報告任何種類的浮點例外旗標且不引發任何浮點例外處置器)。
捨入操作控制欄位759A-正如捨入操作控制欄位758，其內容係分辨一群捨入操作之哪一個將被履行(例如向上捨入、向下捨入、朝零捨入及捨入至最接近)。因此，捨入操作控制欄位759A容許以每指令為基之捨入模式的改變。於本發明之一實施例中，其中處理器包括一用以指明捨入模式之控制暫存器，捨入操作控制欄位 750之內容係撤銷該暫存器值。
於無記憶體存取、寫入遮蔽控制、VSIZE類型操作717指令模板中，剩餘的β欄位754被解讀為向量長度欄位759B，其內容係分辨數個資料向量長度之哪一個將被履行(例如，128、256、或512位元組)。
於類別B之記憶體存取720指令模板的情況下，β欄位754之部分被解讀為廣播欄位757B，其內容係分辨廣播類型資料調處操作是否將被履行，而剩餘的β欄位754被解讀為向量長度欄位759B。記憶體存取720指令模板包括比例欄位760、及選擇性地置換欄位762A或置換比例欄位762B。
關於一般性向量友善指令格式700，全運算碼欄位774被顯示為包括格式欄位740、基礎操作欄位742、及資料元件寬度欄位764。雖然一實施例被顯示為其中全運算碼欄位774包括所有這些欄位，全運算碼欄位774包括少於所有這些欄位在不支援其所有的實施例中。全運算碼欄位774提供操作碼(運算碼)。
擴增操作欄位750、資料元件寬度欄位764、及寫入遮蔽欄位770容許這些特徵以每指令為基被指明以一般性向量友善指令格式。
寫入遮蔽欄位與資料元件寬度欄位之組合產生類型化的指令，在於其容許遮蔽根據不同資料元件寬度而被施加。
類別A及類別B中所發現之各種指令模板在不 同情況下是有利的。於本發明之某些實施例中，不同處理器或一處理器中之不同核心可支援僅類別A、僅類別B、或兩類別。例如，用於通用計算之高性能通用失序核心可支援僅類別B；主要用於圖形及/或科學(通量)計算之核心可支援僅類別A；及用於兩者之核心可支援兩者(當然，一種具有來自兩類別之模板和指令的某混合但非來自兩類別之所有模板和指令的核心是落入本發明之範圍內)。同時，單一處理器可包括多核心，其所有均支援相同的類別或者其中不同的核心支援不同的類別。例如，於一具有分離的圖形和通用核心之處理器中，主要用於圖形及/或科學計算的圖形核心之一可支援僅類別A；而通用核心之一或更多者可為高性能通用核心，其具有用於支援僅類別B之通用計算的失序執行和暫存器重新命名。不具有分離的圖形核心之另一處理器可包括支援類別A和類別B兩者之一或更多通用依序或失序核心。當然，來自一類別之特徵亦可被實施於另一類別中，在不同實施例中。以高階語言寫入之程式將被置入(例如，僅以時間編譯或靜態地編譯)多種不同的可執行形式，包括：1)僅具有由用於執行之處理器所支援的類別之指令的形式；或2)具有其使用所有類別之指令的不同組合所寫入之替代常式並具有控制流碼的形式，該控制流碼係根據由目前正執行該碼之處理器所支援的指令以選擇用來執行之常式。
範例特定向量友善指令格式
圖8為闡明範例特定向量友善指令格式的方塊圖，依據本發明之實施例。圖8顯示特定向量友善指令格式800，其之特定在於其指明欄位之位置、大小、解讀及順序，以及那些欄位之部分的值。特定向量友善指令格式800可被用以延伸x86指令集，而因此某些欄位係類似於或相同於現存x86指令集及其延伸(例如，AVX)中所使用的那些。此格式保持與下列各者一致：具有延伸之現存x86指令集的前綴編碼欄位、真實運算碼位元組欄位、MOD R/M欄位、SIB欄位、置換欄位、及即刻欄位。闡明來自圖7之欄位投映入來自圖8之欄位。
應理解：雖然本發明之實施例係參考為說明性目的之一般性向量友善指令格式700的背景下之特定向量友善指令格式800而描述，但除非其中有聲明否則本發明不限於特定向量友善指令格式800。例如，一般性向量友善指令格式700係考量各個欄位之多種可能大小，而特定向量友善指令格式800被顯示為具有特定大小之欄位。舉特定例而言，雖然資料元件寬度欄位764被闡明為特定向量友善指令格式800之一位元欄位，但本發明未如此限制(亦即，一般性向量友善指令格式700係考量資料元件寬度欄位764之其他大小)。
一般性向量友善指令格式700包括以下欄位，依圖8A中所示之順序列出如下。
EVEX前綴(位元組0-3)802被編碼以四位元組形式。
格式欄位740(EVEX位元組0，位元[7：0])-第一位元組(EVEX位元組0)為格式欄位740且其含有0x62(用於分辨本發明之一實施例中的向量友善指令格式之獨特值)。
第二-第四位元組(EVEX位元組1-3)包括數個提供特定能力之位元欄位。
REX欄位805(EVEX位元組1，位元[7-5])-係包括：EVEX.R位元欄位(EVEX位元組1，位元[7]-R)、EVEX.X位元欄位(EVEX位元組1，位元[6]-X)、及757BEX位元組1，位元[5]-B)。EVEX.R、EVEX.X、及EVEX.B位元欄位提供如相應VEX位元欄位之相同功能，且係使用1互補形式而被編碼，亦即，ZMM0被編碼為1111B，ZMM15被編碼為0000B。指令之其他欄位編碼該些暫存器指標之較低三位元如本技術中所已知者(rrr、xxx、及bbb)，以致Rrrr、Xxxx、及Bbbb可藉由加入EVEX.R、EVEX.X、及EVEX.B而被形成。
REX’欄位710-此為REX’欄位710之第一部分且為EVER.R’位元欄位(EVEX位元組1，位元[4]-R’)，其被用以編碼延伸的32暫存器集之上16個或下16個。於本發明之一實施例中，此位元(連同如以下所指示之其他者)被儲存以位元反轉格式來分辨(於眾所周知的x86 32-位元模式)自BOUND指令，其真實運算碼位元組為62，但於MOD R/M欄位(描述於下)中不接受MOD欄位中之11的值；本發明之替代實施例不以反轉格式儲存此及如下 其他指示的位元。1之值被用以編碼下16暫存器。換言之，R’Rrrr係藉由結合EVEX.R’、EVEX.R、及來自其他欄位之其他RRR而被形成。
運算碼映圖欄位815(EVEX位元組1，位元[3：0]-mmmm)-其內容係編碼一暗示的領先運算碼位元組(0F、0F 38、或0F 3)。
資料元件寬度欄位764(EVEX位元組2，位元[7]-W)係由記號EVEX.W所表示。EVEX.W被用以界定資料類型(32位元資料元件或64位元資料元件)之粒度(大小)。
EVEX.vvvv 820(EVEX位元組2，位元[6：3]-vvvv)-EVEX.vvv之角色可包括以下：1)EVEX.vvvv編碼其以反轉(1之補數)形式所指明的第一來源暫存器運算元且針對具有2或更多來源運算元的指令為有效的；2)EVEX.vvvv針對某些向量位移編碼其以1之補數形式所指明的目的地暫存器運算元；或3)EVEX.vvvv未編碼任何運算元，該欄位被保留且應含有1111b。因此，EVEX.vvvv欄位820係編碼其以反轉(1之補數)形式所儲存的第一來源暫存器指明符之4個低階位元。根據該指令，一額外的不同EVEX位元欄位被用以延伸指明符大小至32暫存器。
EVEX.U 768類別欄位(EVEX位元組2，位元[2]-U)-假如EVEX.U=0，則其指示類別A或EVEX.U0；假如EVEX.U=1，則其指示類別B或EVEX.U1。
前綴編碼欄位825(EVEX位元組2，位元[1：0]-pp)提供額外位元給基礎操作欄位。除了提供針對EVEX前綴格式之舊有SSE指令的支援，此亦具有壓縮SIMD前綴之優點(不需要一位元組來表達SIMD前綴，EVEX前綴僅需要2位元)。於一實施例中，為了支援其使用以舊有格式及以EVEX前綴格式兩者之SIMD前綴(66H、F2H、F3H)的舊有SSE指令，這些舊有SIMD前綴被編碼為SIMD前綴編碼欄位；且在運作時間被延伸入舊有SIMD前綴，在其被提供至解碼器的PLA以前(以致PLA可執行這些舊有指令之舊有和EVEX格式兩者而無須修改)。雖然較新的指令可將EVEX前綴編碼欄位之內容直接地使用為運算碼延伸，但某些實施例係以類似方式延伸以符合一致性而容許不同的意義由這些舊有SIMD前綴來指明。替代實施例可重新設計PLA以支援2位元SIMD前綴編碼，而因此不需要延伸。
α欄位752(EVEX位元組3，位元[7]-EH；亦已知為EVEX.EH、EVEX.rs、EVEX.RL、EVEX.寫入遮蔽控制、及EVEX.N；亦闡明以α)-如先前所描述，此欄位是背景特定的。
β欄位754(EVEX位元組3，位元[6：4]-SSS，亦已知為EVEX.s2-0、EVEX.r2-0、EVEX.rr1、EVEX.LL0、EVEX.LLB；亦闡明以βββ)-如先前所描述，此欄位是背景特定的。
REX’欄位710-此為REX’欄位之剩餘部分且為 EVER.V’位元欄位(EVEX位元組3，位元[3]-V’)，其被用以編碼延伸的32暫存器集之上16個或下16個。此位元被儲存以位元反轉格式。1之值被用以編碼下16暫存器。換言之，V’VVVV係藉由結合EVEX.V’、EVEX.vvvv所形成。
寫入遮蔽欄位770(EVEX位元組3，位元[2：0]-kkk)-其內容係指明在如先前所述之寫入遮蔽暫存器中的暫存器之指數。於本發明之一實施例中，特定值EVEX.kkk=000具有一特殊行為，其係暗示無寫入遮蔽被用於特別指令(此可被實施以多種方式，包括使用其固線至所有各者之寫入遮蔽或者其旁路遮蔽硬體之硬體)。
真實運算碼欄位830(位元組4)亦已知為運算碼位元組。運算碼之部分被指明於此欄位。
MOD R/M欄位840(位元組5)包括MOD欄位842、Reg欄位844、及R/M欄位846。如先前所述MOD欄位842之內容係分辨於記憶體存取與非記憶體存取操作之間。Reg欄位844之角色可被概述為兩情況：編碼目的地暫存器運算元或來源暫存器運算元、或者被視為運算碼延伸而不被用以編碼任何指令運算元。R/M欄位846之角色可包括以下：編碼其參考記憶體位址之指令運算元；或者編碼目的地暫存器運算元或來源暫存器運算元。
比例、指標、基礎(SIB)位元組(位元組6)-如先前所述，比例欄位750之內容被用於記憶體位址產生。SIB.xxx 854及SIB.bbb 856-這些欄位之內容先前 已被參考針對暫存器指標Xxxx及Bbbb。
置換欄位762A(位元組7-10)-當MOD欄位842含有10時，位元組7-10為置換欄位762A，且其工作如舊有32位元置換(disp32)之相同方式且工作以位元組粒度。
置換因數欄位762B(位元組7)-當MOD欄位842含有01時，位元組7為置換因數欄位762B。此欄位之位置係相同於舊有x86指令集8位元置換(disp8)之位置，其工作以位元組粒度。因為disp8是符號延伸的，所以其可僅定址於-128與127位元組偏移之間；關於64位元組快取線，disp8係使用其可被設為僅四個真實可用值-128、-64、0及64之8位元；因為較大範圍經常是需要的，所以disp32被使用；然而，disp32需要4位元組。相對於disp8及disp32，置換因數欄位762B為disp8之再解讀；當使用置換因數欄位762B時，實際置換係由置換因數欄位之內容乘以記憶體運算元存取之大小(N)所判定。置換欄位之類型被稱為disp8*N。此係減少平均指令長度(用於置換欄位之單一位元組但具有更大的範圍)。此壓縮置換是基於假設其有效置換為記憶體存取之粒度的數倍，而因此，位址偏移之冗餘低階位元無須被編碼。換言之，置換因數欄位762B取代舊有x86指令集8位元置換。因此，置換因數欄位762B被編碼以如x86指令集8位元置換之相同方式(以致ModRM/SIB編碼規則並無改變)，唯一例外是其disp8被超載至disp8*N。換言之，編碼規則或編碼長度沒有改 變，但僅於藉由硬體之置換值的解讀(其需由記憶體運算元之大小來定標置換以獲得位元組式的位址偏移)。即刻欄位772係操作如先前所述。
全運算碼欄位
圖8B為闡明其組成全運算碼欄位774之特定向量友善指令格式800的欄位之方塊圖，依據本發明之一實施例。明確地，全運算碼欄位774包括格式欄位740、基礎操作欄位742、及資料元件寬度(W)欄位764。基礎操作欄位742包括前綴編碼欄位825、運算碼映圖欄位815、及真實運算碼欄位830。
暫存器指標欄位
圖8C為闡明其組成暫存器指標欄位744之特定向量友善指令格式800的欄位之方塊圖，依據本發明之一實施例。明確地，暫存器指標欄位744包括REX欄位805、REX’欄位810、MODR/M.reg欄位844、MODR/M.r/m欄位846、VVVV欄位820、xxx欄位854、及bbb欄位856。
擴增操作欄位
圖8D為闡明其組成擴增操作欄位750之特定向量友善指令格式800的欄位之方塊圖，依據本發明之一實施例。當類別(U)欄位768含有0時，則其表示EVEX.U0(類別A 768A)；當其含有1時，則其表示EVEX.U1(類 別B 768B)。當U=0且MOD欄位842含有11(表示無記憶體存取操作)時，則α欄位752(EVEX位元組3，位元[7]-EH)被解讀為rs欄位752A。當rs欄位752A含有1(捨入752A.1)時，則β欄位754(EVEX位元組3，位元[6：4]-SSS)被解讀為捨入控制欄位754A。捨入控制欄位754A包括一位元SAE欄位756及二位元捨入操作欄位758。當rs欄位752A含有0(資料變換752A.2)時，則β欄位754(EVEX位元組3，位元[6：4]-SSS)被解讀為三位元資料變換欄位754B。當U=0且MOD欄位842含有00、01、或10(表示記憶體存取操作)時，則α欄位752(EVEX位元組3，位元[7]-EH)被解讀為逐出暗示(EH)欄位752B且β欄位754(EVEX位元組3，位元[6：4]-SSS)被解讀為三位元資料調處欄位754C。
當U=1時，則α欄位752(EVEX位元組3，位元[7]-EH)被解讀為寫入遮蔽控制(Z)欄位752C。當U=1且MOD欄位842含有11(表示無記憶體存取操作)時，則β欄位754之部分(EVEX位元組3，位元[4]-S0)被解讀為RL欄位757A；當其含有1(捨入757A.1)時，則β欄位754之剩餘部分(EVEX位元組3，位元[6-5]-S2-1)被解讀為捨入操作欄位759A；而當RL欄位757A含有0(VSIZE 757.A2)時，則β欄位754之剩餘部分(EVEX位元組3，位元[6-5]-S2-1)被解讀為向量長度欄位759B(EVEX位元組3，位元[6-5]-L1-0)。當U=1且MOD欄位842含有00、01、或10(表示記憶體存取操作)時，則β欄位754 (EVEX位元組3，位元[6：4]-SSS)被解讀為向量長度欄位759B(EVEX位元組3，位元[6-5]-L1-0)及廣播欄位757B(EVEX位元組3，位元[4]-B)。
範例暫存器架構
圖9為一暫存器架構900之方塊圖，依據本發明之一實施例。於所示之實施例中，有32個向量暫存器910，其為512位元寬；這些暫存器被稱為zmm0至zmm31。較低的16個zmm暫存器之較低階256位元被重疊於暫存器ymm0-16上。較低的16個zmm暫存器之較低階128位元(ymm暫存器之較低階128位元)被重疊於暫存器xmm0-15上。特定向量友善指令格式800係操作於這些重疊的暫存器檔上，如以下表中所闡明。
換言之，向量長度欄位759B於最大長度與一或更多其他較短長度之間選擇，其中每一此較短長度為前一長度之長度的一半；而無向量長度欄位759B之指令模板 係操作於最大向量長度上。此外，於一實施例中，特定向量友善指令格式800之類別B指令模板係操作於緊縮或純量單/雙精確度浮點資料及緊縮或純量整數資料上。純量操作為履行於zmm/ymm/xmm暫存器中之最低階資料元件上的操作；較高階資料元件位置係根據實施例而被保留如其在該指令前之相同者或者被歸零。
寫入遮蔽暫存器915-於所示之實施例中，有8個寫入遮蔽暫存器(k0至k7)，大小各為64位元。於替代實施例中，寫入遮蔽暫存器915之大小為16位元。如先前所述，於本發明之一實施例中，向量遮蔽暫存器k0無法被使用為寫入遮蔽；當其通常將指示k0之編碼被用於寫入遮蔽時，其係選擇0xFFFF之固線寫入遮蔽，有效地除能該指令之寫入遮蔽。
通用暫存器925-於所示之實施例中，有十六個64位元通用暫存器，其係連同現存的x86定址模式來用以定址記憶體運算元。這些暫存器被參照以名稱RAX、RBX、RCX、RDX、RBP、RSI、RDI、RSP、及R8至R15。
純量浮點堆疊暫存器檔(x87堆疊)945，MMX緊縮整數平坦暫存器檔950係別名於其上-於所示之實施例中，x87堆疊為用以使用x87指令集延伸而在32/64/80位元浮點資料上履行純量浮點操作之八元件堆疊；而MMX暫存器被用以履行操作在64位元緊縮整數資料上、及用以保持運算元以供介於MMX與XMM暫存器間 所履行的某些操作。
本發明之替代實施例可使用較寬或較窄的暫存器。此外，本發明之替代實施例可使用更多、更少、或不同的暫存器檔及暫存器。
範例核心架構，處理器，及電腦架構
處理器核心可被實施以不同方式、用於不同目的、以及於不同處理器中。例如，此類核心之實施方式可包括：1)用於通用計算之通用依序核心；2)用於通用計算之高性能通用失序核心；3)主要用於圖形及/或科學(通量)計算之特殊用途核心。不同處理器之實施方式可包括：1)CPU，其包括用於通用計算之一或更多通用依序核心及/或用於通用計算之一或更多通用失序核心；及2)共處理器，其包括主要用於圖形及/或科學(通量)之一或更多特殊用途核心。此等不同處理器導致不同的電腦系統架構，其可包括：1)在來自該CPU之分離晶片上的共處理器；2)在與CPU相同的封裝中之分離晶粒上的共處理器；3)在與CPU相同的晶粒上的共處理器(於該情況下，此一共處理器有時被稱為特殊用途邏輯，諸如集成圖形及/或科學(通量)邏輯、或稱為特殊用途核心)；及4)在一可包括於相同晶粒上之所述CPU(有時稱為應用程式核心或應用程式處理器)、上述共處理器、及額外功能的晶片上之系統。範例核心架構被描述於下，接續著範例處理器及電腦架構之描述。
範例核心架構 依序或失序核心方塊圖
圖10A為闡明範例依序管線及範例暫存器重新命名、失序發送/執行管線兩者之方塊圖，依據本發明之實施例。圖10B為一方塊圖，其闡明將包括於依據本發明之實施例的處理器中之依序架構核心之範例實施例及範例暫存器重新命名、失序發送/執行架構核心兩者。圖10A-B中之實線方盒係闡明依序管線及依序核心，而虛線方盒之選擇性加入係闡明暫存器重新命名、失序發送/執行管線及核心。假設其依序形態為失序形態之子集，將描述失序形態。
於圖10A中，處理器管線1000包括提取級1002、長度解碼級1004、解碼級1006、配置級1008、重新命名級1010、排程(亦已知為分派或發送)級1012、暫存器讀取/記憶體讀取級1014、執行級1016、寫入回/記憶體寫入級1018、例外處置級1022、及確定級1024。
圖10B顯示處理器核心1090，其包括一耦合至執行引擎單元1050之前端單元1030，且兩者均耦合至記憶體單元1070。核心1090可為精減指令集計算(RISC)核心、複雜指令集計算(CISC)核心、極長指令字元(VLIW)核心、或者併合或替代核心類型。當作又另一種選擇，核心1090可為特殊用途核心，諸如(例如)網路或通訊核心、壓縮引擎、共處理器核心、通用計算圖形處 理單元(GPGPU)核心、圖形核心，等等。
前端單元1030包括一分支預測單元1032，其係耦合至指令快取單元1034，其係耦合至指令變換後備緩衝(TLB)1036，其係耦合至指令提取單元1038，其係耦合至解碼單元1040。解碼單元1040(或解碼器或解碼器單元)可解碼指令(例如，巨集指令)；並可將以下產生為輸出：一或更多微操作、微碼進入點、微指令、其他指令、或其他控制信號，其被解碼自(或者反應)、或被衍生自原始指令。解碼單元1040可使用各種不同的機制來實施。適當機制之範例包括(但不限定於)查找表、硬體實施方式、可編程邏輯陣列(PLA)、微碼唯讀記憶體(ROM)，等等。於一實施例中，核心1090包括微碼ROM或者儲存用於某些巨指令之微碼的其他媒體(例如，於解碼單元1040中或者於前端單元1030內)。解碼單元1040被耦合至執行引擎單元1050中之重新命名/配置器單元1052。
執行引擎單元1050包括重新命名/配置器單元1052，其係耦合至撤回單元1054及一組一或更多排程器單元1056。排程器單元1056代表任何數目的不同排程器，包括保留站、中央指令窗，等等。排程器單元1056被耦合至實體暫存器檔單元1058。實體暫存器檔單元1058之各者代表一或更多實體暫存器檔，其不同者係儲存一或更多不同的資料類型，諸如純量整數、純量浮點、緊縮整數、緊縮浮點、向量整數、向量浮點、狀態(例如，其為下一待執 行指令之位址的指令指標)，等等。於一實施例中，實體暫存器檔單元1058包含向量暫存器單元、寫入遮蔽暫存器單元、及純量暫存器單元。這些暫存器單元可提供架構向量暫存器、向量遮蔽暫存器、及通用暫存器。實體暫存器檔單元1058係由撤回單元1054所重疊以闡明其中暫存器重新命名及失序執行可被實施之各種方式(例如，使用記錄器緩衝器和撤回暫存器檔；使用未來檔、歷史緩衝器、和撤回暫存器檔；使用暫存器映圖和暫存器池，等等)。撤回單元1054及實體暫存器檔單元1058被耦合至執行叢集1060。執行叢集1060包括一組一或更多執行單元1062及一組一或更多記憶體存取單元1064。執行單元1062可履行各種操作(例如，偏移、相加、相減、相乘)以及於各種類型的資料上(例如，純量浮點、緊縮整數、緊縮浮點、向量整數、向量浮點)。雖然某些實施例可包括數個專屬於特定功能或功能集之執行單元，但其他實施例可包括僅一個執行單元或者全部履行所有功能之多數執行單元。排程器單元1056、實體暫存器檔單元1058、及執行叢集1060被顯示為可能複數的，因為某些實施例係針對某些類型的資料/操作產生分離的管線(例如，純量整數管線、純量浮點/緊縮整數/緊縮浮點/向量整數/向量浮點管線、及/或記憶體存取管線，其各具有本身的排程器單元、實體暫存器檔單元、及/或執行叢集-且於分離記憶體存取管線之情況下，某些實施例被實施於其中僅有此管線之執行叢集具有記憶體存取單元1064)。亦應理解：當使用分離管線 時，這些管線之一或更多者可為失序發送/執行而其他者為依序。
該組記憶體存取單元1064被耦合至記憶體單元1070，其包括資料TLB單元1072，其耦合至資料快取單元1074，其耦合至第二階(L2)快取單元1076。於一範例實施例中，記憶體存取單元1064可包括載入單元、儲存位址單元、及儲存資料單元，其各者係耦合至記憶體單元1070中之資料TLB單元1072。指令快取單元1034被進一步耦合至記憶體單元1070中之第二階(L2)快取單元1076。L2快取單元1076被耦合至一或更多其他階的快取且最終至主記憶體。
舉例而言，範例暫存器重新命名、失序發送/執行核心架構可實施管線1000如下：1)指令提取1038履行提取和長度解碼級1002和1004；2)解碼單元1040履行解碼級1006；3)重新命名/配置器單元1052履行配置級1008和重新命名級1010；4)排程器單元1056履行排程級1012；5)實體暫存器檔單元1058和記憶體單元1070履行暫存器讀取/記憶體讀取級1014；執行叢集1060履行執行級1016；6)記憶體單元1070和實體暫存器檔單元1058履行寫入回/記憶體寫入級1018；7)各個單元可參與例外處置級1022；及8)撤回單元1054和實體暫存器檔單元1058履行確定級1024。
核心1090可支援一或更多指令集(例如，x86指令集，具有其已被加入以較新版本之某些延伸)； MIPS Technologies of Sunnyvale,CA之MIPS指令集；ARM Holdings of Sunnyvale,CA之ARM指令集(具有諸如NEON之選擇性額外延伸)，包括文中所述之指令。於一實施例中，核心1090包括支援緊縮資料指令集延伸(例如，AVX1、AVX2)之邏輯，藉此容許由許多多媒體應用程式所使用的操作使用緊縮資料來履行。
應理解：核心可支援多線程(執行二或更多平行組的操作或執行緒)，並可以多種方式執行，包括時間切割多線程、同時多線程(其中單一實體核心提供邏輯核心給其實體核心正同時地多線程之每一執行緒)、或者其組合(例如，時間切割提取和解碼以及之後的同時多線程，諸如Intel® Hyperthreading科技)。
雖然暫存器重新命名被描述於失序執行之背景，但應理解其暫存器重新命名可被使用於依序架構。雖然處理器之所述的實施例亦包括分離的指令和資料快取單元1034/1074以及共用L2快取單元1076，但替代實施例可具有針對指令和資料兩者之單一內部快取，諸如(例如)第一階(L1)內部快取、或多階內部快取。於某些實施例中，該系統可包括內部快取與外部快取之組合，該外部快取是位於核心及/或處理器之外部。替代地，所有快取可於核心及/或處理器之外部。
特定範例依序核心架構
圖11A-B闡明更特定的範例依序核心架構之方 塊圖，該核心將為晶片中之數個邏輯區塊之一(包括相同類型及/或不同類型之其他核心)。邏輯區塊係透過高頻寬互連網路(例如，環狀網路)來通訊，利用某些固定功能邏輯、記憶體I/O介面、及其他必要I/O邏輯，根據其應用而定。
圖11A為單處理器核心之方塊圖，連同與晶粒上互連網路1102之其連接、以及第二階(L2)快取1104之其本地子集，依據本發明之實施例。於一實施例中，指令解碼單元1100支援具有緊縮資料指令集延伸之x86指令集。L1快取1106容許針對快取記憶體之低潛時存取入純量及向量單元。雖然於一實施例中(為了簡化設計)，純量單元1108及向量單元1110使用分離的暫存器組(個別地，純量暫存器1112及向量暫存器1114)，且於其間轉移的資料被寫入至記憶體並接著從第一階(L1)快取1106被讀取回；但本發明之替代實施例可使用不同的方式(例如，使用單一暫存器組或者包括一通訊路徑，其容許資料被轉移於兩暫存器檔之間而不被寫入及讀取回)。
L2快取1104之本地子集為其被劃分為分離本地子集(每一處理器核心有一個)之總體L2快取的部分。各處理器核心具有一直接存取路徑通至L2快取1104之其本身的本地子集。由處理器核心所讀取的資料被儲存於其L2快取子集1104中且可被快速地存取，平行於存取其本身本地L2快取子集之其他處理器核心。由處理器核心所寫入之資料被儲存於其本身的L2快取子集1104中且被清除自其他子 集，假如需要的話。環狀網路確保共用資料之一致性。環狀網路為雙向的，以容許諸如處理器核心、L2快取及其他邏輯區塊等代理於晶片內部彼此通訊。各環狀資料路徑於每方向為1012位元寬。
圖11B為圖11A中之處理器核心的部分之延伸視圖，依據本發明之實施例。圖11B包括L1快取1104之L1資料快取1106A部分、以及有關向量單元1110和向量暫存器1114之更多細節。明確地，向量單元1110為16寬的向量處理單元(VPU)(參見16寬的ALU 1128)，其係執行整數、單精確度浮點、及雙精確度浮點指令之一或更多者。VPU支援以拌合單元1120拌合暫存器輸入、以數字轉換單元1122A-B之數字轉換、及於記憶體輸入上以複製單元1124之複製。寫入遮蔽暫存器1126容許斷定結果向量寫入。
圖12為一種處理器1200之方塊圖，該處理器可具有多於一個核心、可具有集成記憶體控制器、且可具有集成圖形，依據本發明之實施例。圖12中之實線方塊闡明處理器1200，其具有單核心1202A、系統代理1210、一組一或更多匯流排控制器單元1216；而虛線方塊之選擇性加入闡明一替代處理器1200，其具有多核心1202A-N、系統代理單元1210中之一組一或更多集成記憶體控制器單元1214、及特殊用途邏輯1208。
因此，處理器1200之不同實施方式可包括：1)CPU，具有其為集成圖形及/或科學(通量)邏輯(其 可包括一或更多核心)之特殊用途邏輯1208、及其為一或更多通用核心(例如，通用依序核心、通用失序核心、兩者之組合)之核心1202A-N；2)共處理器，具有其為主要用於圖形及/或科學(通量)之大量特殊用途核心的核心1202A-N；及3)共處理器，具有其為大量通用依序核心的核心1202A-N。因此，處理器1200可為通用處理器、共處理器或特殊用途處理器，諸如(例如)網路或通訊處理器、壓縮引擎、圖形處理器、GPGPU(通用圖形處理單元)、高通量多數集成核心(MIC)共處理器(包括30或更多核心)、嵌入式處理器，等等。該處理器可被實施於一或更多晶片上。處理器1200可為一或更多基底之部分及/或可被實施於其上，使用數個製程技術之任一者，諸如(例如)BiCMOS、CMOS、或NMOS。
記憶體階層包括該些核心內之一或更多階快取、一組或者一或更多共用快取單元1206、及耦合至該組集成記憶體控制器單元1214之額外記憶體(未顯示)。該組共用快取單元1206可包括一或更多中階快取，諸如第二階(L2)、第三階(L3)、第四階(L4)、或其他階快取、最後階快取(LLC)、及/或其組合。雖然於一實施例中環狀為基的互連單元1212將以下裝置互連：集成圖形邏輯1208、該組共用快取單元1206、及系統代理單元1210/集成記憶體單元1214，但替代實施例可使用任何數目之眾所周知的技術以互連此等單元。於一實施例中，一致性被維持於一或更多快取單元1206與核心1202-A-N之間。
於某些實施例中，一或更多核心1202A-N能夠進行多線程。系統代理1210包括協調並操作核心1202A-N之那些組件。系統代理單元1210可包括(例如)電力控制單元(PCU)及顯示單元。PCU可為或者包括用以調節核心1202A-N及集成圖形邏輯1208之電力狀態所需的邏輯和組件。顯示單元係用以驅動一或更多外部連接的顯示。
核心1202A-N可針對架構指令集為同質的或異質的；亦即，二或更多核心1202A-N可執行相同的指令集，而其他者可執行該指令集或不同指令集之僅一子集。
範例電腦架構
圖13-16為範例電腦架構之方塊圖。用於膝上型電腦、桌上型電腦、手持式PC、個人數位助理、工程工作站、伺服器、網路裝置、網路集線器、開關、嵌入式處理器、數位信號處理器(DSP)、圖形裝置、視頻遊戲裝置、機上盒、微控制器、行動電話、可攜式媒體播放器、手持式裝置、及各種其他電子裝置之技術中已知的其他系統設計和組態亦為適當的。通常，能夠結合處理器及/或其他執行邏輯(如文中所揭露者)之多種系統或電子裝置為一般性適當的。
現在參考圖13，其顯示依據本發明之一實施例的系統1300之方塊圖。系統1300可包括一或更多處理器1310、1315，其被耦合至控制器集線器1320。於一實施例中，控制器集線器1320包括圖形記憶體控制器集線器 (GMCH)1390及輸入/輸出集線器(IOH)1350(其可於分離的晶片上)；GMCH 1390包括記憶體及圖形控制器(耦合至記憶體1340及共處理器1345)；IOH 1350將GMCH 1390耦合至輸入/輸出(I/O)裝置1360。另一方面，記憶體與圖形控制器之一或兩者被集成於處理器內(如文中所述者)，記憶體1340及共處理器1345被直接地耦合至處理器1310、及具有IOH 1350之單一晶片中的控制器集線器1320。記憶體1340可包括加速器管理器模組1340A，例如，用以儲存碼，當被執行時該碼係造成處理器履行本發明之任何方法。
額外處理器1315之選擇性本質於圖13中被標示以斷線。各處理器1310、1315可包括文中所述的處理核心之一或更多者並可為處理器1200之某版本。
記憶體1340可為(例如)動態隨機存取記憶體(DRAM)、相位改變記憶體(PCM)、或兩者之組合。針對至少一實施例，控制器集線器1320經由諸如前側匯流排(FSB)等多點分支匯流排、諸如QuickPath互連(QPI)等點對點介面、或類似連接1395而與處理器1310、1315通訊。
於一實施例中，共處理器1345為特殊用途處理器，諸如(例如)高通量MIC處理器、網路或通訊處理器、壓縮引擎、圖形處理器、GPGPU、嵌入式處理器，等等。於一實施例中，控制器集線器1320可包括集成圖形加速器。
於實體資源1310、1315間可有多樣差異，針對價值指標之譜，包括架構、微架構、熱、功率耗損特性，等等。
於一實施例中，處理器1310執行其控制一般類型之資料處理操作的指令。指令內所嵌入者可為共處理器指令。處理器1310辨識這些共處理器指令為其應由裝附之共處理器1345所執行的類型。因此，處理器1310將共處理器匯流排或其他互連上之這些共處理器指令(或代表共處理器指令之控制信號)發送至共處理器1345。共處理器1345接受並執行該些接收的共處理器指令。
現在參考圖14，其顯示依據本發明之實施例的第一更特定範例系統1400之方塊圖。如圖14中所示，多處理器系統1400為點對點互連系統，並包括經由點對點互連1450而耦合之第一處理器1470及第二處理器1480。處理器1470及1480之每一者可為處理器1200之某版本。於本發明之一實施例中，處理器1470及1480個別為處理器1310及1315，而共處理器1438為共處理器1345。於另一實施例中，處理器1470及1480個別為處理器1310及共處理器1345。
處理器1470及1480被顯示為個別地包括集成記憶體控制器(IMC)單元1472及1482。處理器1470亦包括其匯流排控制器單元點對點(P-P)介面1476及1478之部分；類似地，第二處理器1480包括P-P介面1486及1488。處理器1470、1480可使用P-P介面電路1478、1488 而經由點對點(P-P)介面1450來交換資訊。如圖14中所示，IMC 1472及1482將處理器耦合至個別記憶體，亦即記憶體1432及記憶體1434，其可為本地地裝附至個別處理器之主記憶體的部分。
處理器1470、1480可各經由個別的P-P介面1452、1454而與晶片組1490交換資訊，使用點對點介面電路1476、1494、1486、1498。晶片組1490可經由高性能介面1439而選擇性地與共處理器1438交換資訊。於一實施例中，共處理器1438為特殊用途處理器，諸如(例如)高通量MIC處理器、網路或通訊處理器、壓縮引擎、圖形處理器、GPGPU、嵌入式處理器，等等。
共用快取(未顯示)可被包括於任一處理器中或者於兩處理器外部，而經由P-P互連與處理器連接，以致處理器之任一者或兩者的本地快取資訊可被儲存於共用快取中，假如處理器被置於低功率模式時。
晶片組1490可經由一介面1496而被耦合至第一匯流排1416。於一實施例中，第一匯流排1416可為周邊組件互連(PCI)匯流排、或者諸如PCI快速匯流排或其他第三代I/O互連匯流排等匯流排，雖然本發明之範圍未如此限制。
如圖14中所示，各種I/O裝置1414可被耦合至第一匯流排1416，連同匯流排橋1418，其係將第一匯流排1416耦合至第二匯流排1420。於一實施例中，一或更多額外處理器1415(諸如共處理器、高通量MIC處理器、 GPGPU加速器(諸如，例如，圖形加速器或數位信號處理(DSP)單元)、場可編程閘極陣列、或任何其他處理器)被耦合至第一匯流排1416。於一實施例中，第二匯流排1420可為低管腳數(LPC)匯流排。各個裝置可被耦合至第二匯流排1420，其包括(例如)鍵盤及/或滑鼠1422、通訊裝置1427、及儲存單元1428，諸如磁碟機或其他大量儲存裝置(其可包括指令/碼及資料1430)，於一實施例中。此外，音頻I/O 1424可被耦合至第二匯流排1420。注意：其他架構是可能的。例如，取代圖14之點對點架構，系統可實施多點分支匯流排其他此類架構。
現在參考圖15，其顯示依據本發明之實施例的第二更特定範例系統1500之方塊圖。圖14與15中之類似元件具有類似的參考數字，且圖14之某些形態已從圖15省略以免混淆圖15之其他形態。
圖15闡明其處理器1470、1480可包括集成記憶體及I/O控制邏輯(「CL」)1472和1482，個別地。因此，CL 1472、1482包括集成記憶體控制器單元並包括I/O控制邏輯。圖15闡明其不僅記憶體1432、1434被耦合至CL 1472、1482，同時其I/O裝置1514亦被耦合至控制邏輯1472、1482。舊有I/O裝置1515被耦合至晶片組1490。
現在參考圖16，其顯示依據本發明之一實施例的SoC 1600之方塊圖。圖12中之類似元件具有類似的參考數字。同時，虛線方塊為更多先進SoC上之選擇性特徵。於圖16中，互連單元1602被耦合至：應用程式處理器 1610，其包括一組一或更多核心202A-N及共用快取單元1206；系統代理單元1210；匯流排控制器單元1216；集成記憶體控制器單元1214；一組一或更多共處理器1620，其可包括集成圖形邏輯、影像處理器、音頻處理器、及視頻處理器；靜態隨機存取記憶體(SRAM)單元1630；直接記憶體存取(DMA)單元1632；及顯示單元1640，用以耦合至一或更多外部顯示。於一實施例中，共處理器1620包括特殊用途處理器，諸如(例如)網路或通訊處理器、壓縮引擎、GPGPU、高通量MIC處理器、嵌入式處理器，等等。
文中所揭露之(例如，機制的)實施例可被實施以硬體、軟體、韌體、或此等實施方式之組合。本發明之實施例可被實施為電腦程式或程式碼，其被執行於可編程系統上，該可編程系統包含至少一處理器、儲存系統(包括揮發性和非揮發性記憶體及/或儲存元件)、至少一輸入裝置、及至少一輸出裝置。
程式碼(諸如圖14中所示之碼1430)可被應用於輸入指令以履行文中所述之功能並產生輸出資訊。輸出資訊可被應用於一或更多輸出裝置，以已知的方式。為了本申請案之目的，處理系統包括任何系統，其具有處理器，諸如(例如)數位信號處理器(DSP)、微控制器、特定應用積體電路(ASIC)、或微處理器。
程式碼可被實施以高階程序或目標導向的編程語言來與處理系統通訊。程式碼亦可被實施以組合或機 器語言，假如想要的話。事實上，文中所述之機制在範圍上不限於任何特定編程語言。於任何情況下，該語言可為編譯或解讀語言。
至少一實施例之一或更多形態可由其儲存在機器可讀取媒體上之代表性指令所實施，該機器可讀取媒體代表處理器內之各個邏輯，當由機器讀取時造成該機器製造邏輯以履行文中所述之技術。此等表示(已知為「IP核心」)可被儲存在有形的、機器可讀取媒體上，且被供應至各個消費者或製造設施以載入其實際上製造該邏輯或處理器之製造機器。
此類機器可讀取儲存媒體可包括(無限制)由機器或裝置所製造或形成之物件的非暫態、有形配置，包括：儲存媒體，諸如硬碟、包括軟碟、光碟、微型碟唯讀記憶體(CD-ROM)、微型碟可再寫入(CD-RW)、及磁光碟等任何其他類型的碟片；半導體裝置，諸如唯讀記憶體(ROM)、諸如動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、可抹除可編程唯讀記憶體(EPROM)等隨機存取記憶體(RAM)、快閃記憶體、電可抹除可編程唯讀記憶體(EEPROM)、相位改變記憶體(PCM)、磁或光學卡、或者適於儲存電子指令之任何其他類型的媒體。
因此，本發明之實施例亦可包括含有指令或含有諸如硬體描述語言(HDL)等設計資料之非暫態、有形的機器可讀取媒體，該硬體描述語言(HDL)係定義文 中所述之結構、電路、設備、處理器及/或系統特徵。此類實施例亦可被稱為程式產品。
仿真(包括二元翻譯、碼變形，等等)
於某些情況下，指令轉換器可被用以將來自來源指令集之指令轉換至目標指令集。例如，指令轉換器可將指令翻譯(例如，使用靜態二元翻譯、動態二元翻譯，包括動態編譯)、變形、仿真、或者轉換至一或更多其他指令以供由核心所處理。指令轉換器可被實施以軟體、硬體、韌體、或其組合。指令轉換器可位於處理器上、處理器外、或者部分於處理器上而部分於處理器外。
圖17為一種對照軟體指令轉換器之使用的方塊圖，該轉換器係用以將來源指令集中之二元指令轉換至目標指令集中之二元指令，依據本發明之實施例。於所述之實施例中，指令轉換器為一種軟體指令轉換器，雖然替代地該指令轉換器亦可被實施以軟體、韌體、硬體、或其各種組合。圖17顯示一種高階語言1702之程式可使用x86編譯器1704而被編譯以產生x86二元碼1706，其可由具有至少一x86指令集核心之處理器1716來本機地執行。具有至少一x86指令集核心之處理器1716代表任何處理器，其可藉由可相容地執行或者處理以下事項來履行實質上如一種具有至少一x86指令集核心之Intel處理器的相同功能：(1)Intel x86指令集核心之指令集的實質部分或者(2)針對運作於具有至少一x86指令集核心之Intel處理器上的 應用程式或其他軟體之物件碼版本，以獲得如具有至少一x86指令集核心之Intel處理器的相同結果。x86編譯器1704代表一種編譯器，其可操作以產生x86二元碼1706(例如，物件碼)，其可(具有或沒有額外鏈結處理)被執行於具有至少一x86指令集核心之處理器1716上。類似地，圖17顯示高階語言1702之程式可使用替代的指令集編譯器1708而被編譯以產生替代的指令集二元碼1710，其可由沒有至少一x86指令集核心之處理器1714來本機地執行(例如，具有其執行MIPS Technologies of Sunnyvale,CA之MIPS指令集及/或其執行ARM Holdings of Sunnyvale,CA之ARM指令集的核心之處理器)。指令轉換器1712被用以將x86二元碼1706轉換為其可由沒有一x86指令集核心之處理器1714來本機地執行的碼。已轉換碼不太可能相同於替代的指令集二元碼1710，因為能夠執行此功能之指令轉換器很難製造；然而，已轉換碼將完成一般性操作並由來自替代指令集之指令所組成。因此，指令轉換器1712代表軟體、韌體、硬體、或其組合，其(透過仿真、模擬或任何其他程序)容許處理器或其他不具有x86指令集處理器或核心的電子裝置來執行x86二元碼1706。
100‧‧‧硬體處理裝置
102、104‧‧‧硬體加速器

Claims (21)

  1. 一種硬體處理器，包含：用以執行執行緒並卸載操作之核心；複數共用緩衝器；及用以執行該操作來產生輸出資料並消耗輸入資料之第一硬體加速器和第二硬體加速器，其中該第一硬體加速器和該第二硬體加速器被耦合至該些複數共用緩衝器以儲存來自該第一硬體加速器之該輸出資料並將該輸出資料提供為該第二硬體加速器之該輸入資料，該第二硬體加速器之輸入緩衝器描述符陣列具有針對各個別共用緩衝器之項目，該第二硬體加速器之輸入緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，該第一硬體加速器之輸出緩衝器描述符陣列具有針對各個別共用緩衝器之項目，及該第一硬體加速器之輸出緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，其中該第二硬體加速器係用以比較該輸入緩衝器描述符陣列之最後有效輸入項目的指針與該輸入緩衝器回應描述符陣列之最後消耗輸入回應項目的指針以判定該第二硬體加速器何時應執行以消耗來自該些複數共用緩衝器之該輸入資料，以及該第一硬體加速器係用以比較該輸出緩衝器描述符陣列之最後有效輸出項目的指針與該輸出緩衝器回應描述符陣列之最後消耗輸出回應項目的指針以判定該第一硬體加速器何時應執行以產生該輸出資料入該些複數共用緩衝器。
  2. 如申請專利範圍第1項之硬體處理器，其中該第二硬體加速器係用以履行該比較且該第一硬體加速器係用以履行該比較而無該核心之涉入。
  3. 如申請專利範圍第1項之硬體處理器，其中該核心係用以配置該些複數共用緩衝器，並針對各個別共用緩衝器載入該輸入緩衝器描述符陣列中的該些項目。
  4. 如申請專利範圍第3項之硬體處理器，其中該核心係用以針對各個別共用緩衝器載入該輸出緩衝器描述符陣列中的該些項目。
  5. 如申請專利範圍第1項之硬體處理器，其中該第一硬體加速器係用以將該輸出資料載入該些複數共用緩衝器，並針對消耗的各個別共用緩衝器載入該輸出緩衝器回應描述符陣列中的該些相應回應項目。
  6. 如申請專利範圍第5項之硬體處理器，其中該第二硬體加速器係用以針對消耗的各個別共用緩衝器載入該輸入緩衝器回應描述符陣列中的該些相應回應項目。
  7. 如申請專利範圍第1項之硬體處理器，其中該輸入緩衝器描述符陣列中之該些項目各包括該個別共用緩衝器中 所儲存之該輸入資料的大小；該輸入緩衝器回應描述符陣列中之該些相應回應項目各包括保留在該個別共用緩衝器中之該輸入資料的大小；該輸出緩衝器描述符陣列中之該些項目各包括可用於儲存輸出資料之該個別共用緩衝器的大小；及該輸出緩衝器回應描述符陣列中之該些相應回應項目各包括該個別共用緩衝器中所儲存之該輸出資料的大小。
  8. 一種用於卸載操作之方法，包含：將操作從硬體處理器卸載至第一硬體加速器；於該第一硬體加速器和第二硬體加速器上執行該操作以產生輸出資料並消耗輸入資料，其中該第一硬體加速器和該第二硬體加速器被耦合至複數共用緩衝器以儲存來自該第一硬體加速器之該輸出資料並將該輸出資料提供為該第二硬體加速器之該輸入資料，該第二硬體加速器之輸入緩衝器描述符陣列具有針對各個別共用緩衝器之項目，該第二硬體加速器之輸入緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，該第一硬體加速器之輸出緩衝器描述符陣列具有針對各個別共用緩衝器之項目，及該第一硬體加速器之輸出緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目；以該第二硬體加速器比較該輸入緩衝器描述符陣列之最後有效輸入項目的指針與該輸入緩衝器回應描述符陣列之最後消耗輸入回應項目的指針來判定該第二硬體加速器 何時應執行以消耗來自該些複數共用緩衝器之該輸入資料；及以該第一硬體加速器比較該輸出緩衝器描述符陣列之最後有效輸出項目的指針與該輸出緩衝器回應描述符陣列之最後消耗輸出回應項目的指針來判定該第一硬體加速器何時應執行以產生該輸出資料入該些複數共用緩衝器。
  9. 如申請專利範圍第8項之方法，其中該第二硬體加速器履行該比較且該第一硬體加速器履行該比較而無該硬體處理器之涉入。
  10. 如申請專利範圍第8項之方法，進一步包含配置該些複數共用緩衝器，並針對各個別共用緩衝器載入該輸入緩衝器描述符陣列中的該些項目。
  11. 如申請專利範圍第10項之方法，進一步包含針對各個別共用緩衝器載入該輸出緩衝器描述符陣列中的該些項目。
  12. 如申請專利範圍第8項之方法，進一步包含將該輸出資料載入該些複數共用緩衝器，並針對消耗的各個別共用緩衝器載入該輸出緩衝器回應描述符陣列中的該些相應回應項目。
  13. 如申請專利範圍第12項之方法，進一步包含針對消耗的各個別共用緩衝器載入該輸入緩衝器回應描述符陣列中的該些相應回應項目。
  14. 如申請專利範圍第8項之方法，進一步包含提供該輸入緩衝器描述符陣列中之該些項目，其各包括該個別共用緩衝器中所儲存之該輸入資料的大小、該輸入緩衝器回應描述符陣列中之該些相應回應項目，其各包括保留在該個別共用緩衝器中之該輸入資料的大小、該輸出緩衝器描述符陣列中之該些項目，其各包括可用於儲存輸出資料之該個別共用緩衝器的大小、及該輸出緩衝器回應描述符陣列中之該些相應回應項目，其各包括該個別共用緩衝器中所儲存之該輸出資料的大小。
  15. 一種用於卸載操作之系統，包含：用以執行執行緒並卸載操作之硬體處理器；複數共用緩衝器；及用以執行該操作來產生輸出資料並消耗輸入資料之第一硬體加速器和第二硬體加速器，其中該第一硬體加速器和該第二硬體加速器被耦合至複數共用緩衝器以儲存來自該第一硬體加速器之該輸出資料並將該輸出資料提供為該第二硬體加速器之該輸入資料，該第二硬體加速器之輸入緩衝器描述符陣列具有針對各個別共用緩衝器之項目，該第二硬體加速器之輸入緩衝器回應描述符陣列具有針對各 個別共用緩衝器之相應回應項目，該第一硬體加速器之輸出緩衝器描述符陣列具有針對各個別共用緩衝器之項目，及該第一硬體加速器之輸出緩衝器回應描述符陣列具有針對各個別共用緩衝器之相應回應項目，其中該第二硬體加速器係用以比較該輸入緩衝器描述符陣列之最後有效輸入項目的指針與該輸入緩衝器回應描述符陣列之最後消耗輸入回應項目的指針以判定該第二硬體加速器何時應執行以消耗來自該些複數共用緩衝器之該輸入資料，以及該第一硬體加速器係用以比較該輸出緩衝器描述符陣列之最後有效輸出項目的指針與該輸出緩衝器回應描述符陣列之最後消耗輸出回應項目的指針以判定該第一硬體加速器何時應執行以產生該輸出資料入該些複數共用緩衝器。
  16. 如申請專利範圍第15項之系統，其中該第二硬體加速器係用以履行該比較且該第一硬體加速器係用以履行該比較而無該硬體處理器之涉入。
  17. 如申請專利範圍第15項之系統，其中該硬體處理器係用以配置該些複數共用緩衝器，並針對各個別共用緩衝器載入該輸入緩衝器描述符陣列中的該些項目。
  18. 如申請專利範圍第17項之系統，其中該硬體處理器係用以針對各個別共用緩衝器載入該輸出緩衝器描述符陣列中的該些項目。
  19. 如申請專利範圍第15項之系統，其中該第一硬體加速器係用以載入具有該輸出資料之該些複數共用緩衝器，並針對消耗的各個別共用緩衝器載入該輸出緩衝器回應描述符陣列中的該些相應回應項目。
  20. 如申請專利範圍第19項之系統，其中該第二硬體加速器係用以針對消耗的各個別共用緩衝器載入該輸入緩衝器回應描述符陣列中的該些相應回應項目。
  21. 如申請專利範圍第15項之系統，其中該輸入緩衝器描述符陣列中之該些項目各包括該個別共用緩衝器中所儲存之該輸入資料的大小；該輸入緩衝器回應描述符陣列中之該些相應回應項目各包括保留在該個別共用緩衝器中之該輸入資料的大小；該輸出緩衝器描述符陣列中之該些項目各包括可用於儲存輸出資料之該個別共用緩衝器的大小；及該輸出緩衝器回應描述符陣列中之該些相應回應項目各包括該個別共用緩衝器中所儲存之該輸出資料的大小。
TW106126953A 2016-09-30 2017-08-09 硬體加速器及用於卸載操作之方法 TWI747933B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/282,372 US10310897B2 (en) 2016-09-30 2016-09-30 Hardware accelerators and methods for offload operations
US15/282,372 2016-09-30

Publications (2)

Publication Number Publication Date
TW201814506A TW201814506A (zh) 2018-04-16
TWI747933B true TWI747933B (zh) 2021-12-01

Family

ID=61758787

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106126953A TWI747933B (zh) 2016-09-30 2017-08-09 硬體加速器及用於卸載操作之方法

Country Status (5)

Country Link
US (1) US10310897B2 (zh)
EP (2) EP4083804A1 (zh)
CN (2) CN117785288A (zh)
TW (1) TWI747933B (zh)
WO (1) WO2018063717A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169073B2 (en) 2015-12-20 2019-01-01 Intel Corporation Hardware accelerators and methods for stateful compression and decompression operations
US11487585B1 (en) * 2016-12-14 2022-11-01 Xilinx, Inc. Dynamic load balancing and configuration management for heterogeneous compute accelerators in a data center
US10437616B2 (en) * 2016-12-31 2019-10-08 Intel Corporation Method, apparatus, system for optimized work submission to an accelerator work queue
US10209890B2 (en) * 2017-03-28 2019-02-19 International Business Machines Corporation Near memory accelerator
US9928460B1 (en) * 2017-06-16 2018-03-27 Google Llc Neural network accelerator tile architecture with three-dimensional stacking
US10437739B2 (en) * 2017-09-26 2019-10-08 Intel Corporation Low-latency accelerator
US10671147B2 (en) * 2017-12-18 2020-06-02 Facebook, Inc. Dynamic power management for artificial intelligence hardware accelerators
US10922079B2 (en) * 2017-12-28 2021-02-16 Intel Corporation Method and apparatus to efficiently perform filter operations for an in-memory relational database
US11106613B2 (en) * 2018-03-29 2021-08-31 Intel Corporation Highly scalable accelerator
US11061733B2 (en) 2018-08-30 2021-07-13 International Business Machines Corporation Shared and exclusive accelerator access
US10430355B1 (en) * 2018-10-30 2019-10-01 International Business Machines Corporation Mixing restartable and non-restartable requests with performance enhancements
US11106261B2 (en) * 2018-11-02 2021-08-31 Nvidia Corporation Optimal operating point estimator for hardware operating under a shared power/thermal constraint
US10747692B2 (en) * 2018-12-27 2020-08-18 Texas Instruments Incorporated Image processing accelerator
US10671550B1 (en) * 2019-01-03 2020-06-02 International Business Machines Corporation Memory offloading a problem using accelerators
CN111666106A (zh) * 2019-03-07 2020-09-15 慧与发展有限责任合伙企业 来自多个远程芯片的数据卸载加速
US11836102B1 (en) 2019-03-20 2023-12-05 Kepler Computing Inc. Low latency and high bandwidth artificial intelligence processor
US11455257B2 (en) * 2019-04-07 2022-09-27 Intel Corporation Ultra-secure accelerators
US10896140B2 (en) 2019-04-19 2021-01-19 International Business Machines Corporation Controlling operation of multiple computational engines
US12086410B1 (en) 2019-05-31 2024-09-10 Kepler Computing Inc. Ferroelectric memory chiplet in a multi-dimensional packaging with I/O switch embedded in a substrate or interposer
US20190317802A1 (en) * 2019-06-21 2019-10-17 Intel Corporation Architecture for offload of linked work assignments
US11030000B2 (en) 2019-06-29 2021-06-08 Intel Corporation Core advertisement of availability
US11016766B2 (en) 2019-06-29 2021-05-25 Intel Corporation Apparatus and method for compiler hints for inter-core offload
US11182208B2 (en) 2019-06-29 2021-11-23 Intel Corporation Core-to-core start “offload” instruction(s)
US10983796B2 (en) 2019-06-29 2021-04-20 Intel Corporation Core-to-core end “offload” instruction(s)
US10929129B2 (en) * 2019-06-29 2021-02-23 Intel Corporation Apparatus and method for modifying addresses, data, or program code associated with offloaded instructions
US11321144B2 (en) 2019-06-29 2022-05-03 Intel Corporation Method and apparatus for efficiently managing offload work between processing units
US11372711B2 (en) 2019-06-29 2022-06-28 Intel Corporation Apparatus and method for fault handling of an offload transaction
JP7280508B2 (ja) * 2019-09-19 2023-05-24 富士通株式会社 情報処理装置、情報処理方法および仮想マシン接続管理プログラム
CN112561044B (zh) * 2019-09-26 2023-07-14 西安闻泰电子科技有限公司 神经网络模型加速方法及装置、服务器及存储介质
US10972402B1 (en) * 2019-09-27 2021-04-06 Juniper Networks, Inc. Dynamic management of inline entries in hardware across protocols in a scaled environment
US11481317B2 (en) * 2020-06-26 2022-10-25 Micron Technology, Inc. Extended memory architecture
CN114070657A (zh) * 2020-08-03 2022-02-18 华为技术有限公司 芯片
JP7225175B2 (ja) * 2020-09-17 2023-02-20 株式会社日立製作所 ストレージ装置及びデータ処理方法
KR102271324B1 (ko) * 2020-12-21 2021-06-30 주식회사 모빌린트 하드웨어 가속기 제어 방법 및 장치
US20220222080A1 (en) * 2021-01-14 2022-07-14 Redpanda Data, Inc. Queuing System
KR20220124551A (ko) * 2021-03-03 2022-09-14 삼성전자주식회사 이종 하드웨어 타입의 가속기들을 포함한 전자 장치
US11436054B1 (en) 2021-04-05 2022-09-06 Hewlett Packard Enterprise Development Lp Directing queries to nodes of a cluster of a container orchestration platform distributed across a host system and a hardware accelerator of the host system
US11791233B1 (en) * 2021-08-06 2023-10-17 Kepler Computing Inc. Ferroelectric or paraelectric memory and logic chiplet with thermal management in a multi-dimensional packaging
CN113609150B (zh) * 2021-10-08 2022-03-08 阿里云计算有限公司 基于硬件的原子写方法、设备及系统
US20220075655A1 (en) * 2021-11-17 2022-03-10 Intel Corporation Efficient accelerator offload in multi-accelerator framework
US11954495B1 (en) * 2021-12-10 2024-04-09 Amazon Technologies, Inc. Database acceleration with coprocessor subsystem for offloading tuple filtering
US20230236889A1 (en) * 2022-01-27 2023-07-27 Microsoft Technology Licensing, Llc Distributed accelerator
US11947469B2 (en) * 2022-02-18 2024-04-02 Xilinx, Inc. Flexible queue provisioning for partitioned acceleration device
CN115391066B (zh) * 2022-08-31 2023-06-30 瀚博半导体(上海)有限公司 用于芯片的数据交互方法、装置和人工智能芯片
US20240169022A1 (en) * 2022-11-21 2024-05-23 Nvidia Corporation Application programming interface to synchronize matrix multiply-accumulate memory transactions
CN116185891B (zh) * 2023-04-27 2023-07-21 珠海妙存科技有限公司 描述符管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040139284A1 (en) * 2003-01-09 2004-07-15 Clayton Shawn Adam Memory management
TW200604851A (en) * 2004-04-14 2006-02-01 Nvidia Corp Method and system for synchronizing audio processing modules
TW201006184A (en) * 2008-06-23 2010-02-01 Qualcomm Inc Method and apparatus for managing data services in a multi-processor computing environment
US20110145514A1 (en) * 2009-12-16 2011-06-16 Samsung Electronics Co. Ltd. Method and apparatus for inter-processor communication in mobile terminal
TW201333814A (zh) * 2011-11-04 2013-08-16 Univ Waseda 加速器及處理器系統
US20150046678A1 (en) * 2013-08-08 2015-02-12 Linear Algebra Technologies Limited Apparatus, systems, and methods for providing configurable computational imaging pipeline

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5606665A (en) 1994-07-01 1997-02-25 Digital Equipment Corporation Buffer descriptor prefetch in network and I/O design
JP2000066948A (ja) 1998-08-19 2000-03-03 Nec Corp 圧縮データ入出力機能付メモリｌｓｉ
JP2001222466A (ja) * 2000-02-10 2001-08-17 Nec Corp マルチプロセッサ・システムと共有メモリ制御システム及び方法並びに記録媒体
US7430652B2 (en) 2003-03-28 2008-09-30 Tarari, Inc. Devices for performing multiple independent hardware acceleration operations and methods for performing same
US8914618B2 (en) * 2005-12-29 2014-12-16 Intel Corporation Instruction set architecture-based inter-sequencer communications with a heterogeneous resource
US7814279B2 (en) * 2006-03-23 2010-10-12 International Business Machines Corporation Low-cost cache coherency for accelerators
US20080244118A1 (en) * 2007-03-28 2008-10-02 Jos Manuel Accapadi Method and apparatus for sharing buffers
US7991921B2 (en) 2008-03-11 2011-08-02 Freescale Semiconductor, Inc. System and method for reducing power consumption of memory in an I/O controller
US9170864B2 (en) * 2009-01-29 2015-10-27 International Business Machines Corporation Data processing in a hybrid computing environment
US8438330B2 (en) 2010-05-17 2013-05-07 Netlogic Microsystems, Inc. Updating cam arrays using prefix length distribution prediction
US8509254B2 (en) 2010-06-28 2013-08-13 Intel Corporation Direct memory access engine physical memory descriptors for multi-media demultiplexing operations
US9251116B2 (en) 2011-11-30 2016-02-02 International Business Machines Corporation Direct interthread communication dataport pack/unpack and load/save
WO2013147885A1 (en) * 2012-03-30 2013-10-03 Intel Corporation Apparatus and method for accelerating operations in a processor which uses shared virtual memory
US20140189333A1 (en) * 2012-12-28 2014-07-03 Oren Ben-Kiki Apparatus and method for task-switchable synchronous hardware accelerators
US9176872B2 (en) * 2013-02-25 2015-11-03 Barco N.V. Wait-free algorithm for inter-core, inter-process, or inter-task communication
US9171007B2 (en) 2013-03-15 2015-10-27 International Business Machines Corporation Compression/decompression accelerator protocol for software/hardware integration
US9304920B2 (en) * 2013-05-23 2016-04-05 Avago Technologies General Ip (Singapore) Pte. Ltd. System and method for providing cache-aware lightweight producer consumer queues
US9336056B2 (en) 2013-12-31 2016-05-10 International Business Machines Corporation Extendible input/output data mechanism for accelerators
US9396154B2 (en) 2014-04-22 2016-07-19 Freescale Semiconductor, Inc. Multi-core processor for managing data packets in communication network
US10423414B2 (en) 2014-11-12 2019-09-24 Texas Instruments Incorporated Parallel processing in hardware accelerators communicably coupled with a processor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040139284A1 (en) * 2003-01-09 2004-07-15 Clayton Shawn Adam Memory management
TW200604851A (en) * 2004-04-14 2006-02-01 Nvidia Corp Method and system for synchronizing audio processing modules
TW201006184A (en) * 2008-06-23 2010-02-01 Qualcomm Inc Method and apparatus for managing data services in a multi-processor computing environment
US20110145514A1 (en) * 2009-12-16 2011-06-16 Samsung Electronics Co. Ltd. Method and apparatus for inter-processor communication in mobile terminal
TW201333814A (zh) * 2011-11-04 2013-08-16 Univ Waseda 加速器及處理器系統
US20150046678A1 (en) * 2013-08-08 2015-02-12 Linear Algebra Technologies Limited Apparatus, systems, and methods for providing configurable computational imaging pipeline

Also Published As

Publication number Publication date
US20180095750A1 (en) 2018-04-05
EP3519946A1 (en) 2019-08-07
CN109690475B (zh) 2024-01-23
US10310897B2 (en) 2019-06-04
EP4083804A1 (en) 2022-11-02
EP3519946A4 (en) 2020-03-11
WO2018063717A1 (en) 2018-04-05
CN117785288A (zh) 2024-03-29
TW201814506A (zh) 2018-04-16
CN109690475A (zh) 2019-04-26
EP3519946B1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
TWI747933B (zh) 硬體加速器及用於卸載操作之方法
TWI729024B (zh) 用於有狀態壓縮和解壓縮操作的硬體加速器及方法
TWI628541B (zh) 向量快取線回寫處理器、方法、系統及包含非暫態機器可讀取儲存媒體之製造物件
TWI742132B (zh) 用以將多個資料元件載入到非緊縮資料暫存器的目的地儲存位置的處理器、方法、系統及指令
TWI567556B (zh) 無區域性提示向量記憶體存取之處理器、方法、系統與指令
TWI617978B (zh) 用於向量索引載入和儲存之方法和設備
TW202418114A (zh) 用於矩陣運算加速器之指令的裝置，方法和系統
TWI737651B (zh) 用於加速圖形分析的處理器、方法及系統
TWI740859B (zh) 用於跨步的載入（strided load）的系統、設備及方法
US20190102188A1 (en) Apparatus and method for non-serializing split locks
TWI830927B (zh) 用於處理器非回寫能力的設備、方法、及非暫時性機器可讀取媒體
TW202314497A (zh) 用於加速串流資料變換運算之電路系統及方法
US11681611B2 (en) Reservation architecture for overcommitted memory
TWI722009B (zh) 用於在遠端處理器上進行基元動作之硬體機制
CN112130751A (zh) 用于处置虚拟化环境中的过量使用的存储器的物理页跟踪
WO2017172299A1 (en) Apparatus and method for triggered prefetching to improve i/o and producer-consumer workload efficiency
TWI697836B (zh) 處理包括高功率及標準指令之指令集的方法與處理器
TWI737650B (zh) 用於從鏈結結構取回元件的處理器、系統和方法
JP2018500665A (ja) マスク値を圧縮するための方法および装置
JP2018503162A (ja) スピンループジャンプを実行するための装置および方法
CN112148473A (zh) 核-核“监听”指令变体