TWI754752B - 異構計算環境的設備及系統 - Google Patents

異構計算環境的設備及系統 Download PDF

Info

Publication number
TWI754752B
TWI754752B TW107117305A TW107117305A TWI754752B TW I754752 B TWI754752 B TW I754752B TW 107117305 A TW107117305 A TW 107117305A TW 107117305 A TW107117305 A TW 107117305A TW I754752 B TWI754752 B TW I754752B
Authority
TW
Taiwan
Prior art keywords
processing unit
reprogrammable
memory
task
die
Prior art date
Application number
TW107117305A
Other languages
English (en)
Other versions
TW201915724A (zh
Inventor
克里希納 T. 馬拉迪
鄭宏忠
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201915724A publication Critical patent/TW201915724A/zh
Application granted granted Critical
Publication of TWI754752B publication Critical patent/TWI754752B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7867—Architectures of general purpose stored program computers comprising a single central processing unit with reconfigurable architecture
    • G06F15/7885—Runtime interface, e.g. data exchange, runtime control
    • G06F15/7889—Reconfigurable logic implemented as a co-processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F2015/761—Indexing scheme relating to architectures of general purpose stored programme computers
    • G06F2015/768—Gate array
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Advance Control (AREA)
  • Microcomputers (AREA)
  • Memory System (AREA)

Abstract

本發明提供一種設備，所述設備可包含可至少部分地由 任務調度程式控制的異構計算環境，其中異構計算環境可包含：處理單元，具有配置成執行指令的固定邏輯電路；可重程式化處理單元，具有配置成執行指令的可重程式化邏輯電路，所述指令包含用以控制記憶體內處理功能的指令；以及高頻寬記憶體裸晶的堆疊，其中每一堆疊可配置成儲存資料並提供由可重程式化處理單元可控制的記憶體內處理功能，從而使得可重程式化處理單元至少部分地與高頻寬記憶體裸晶一起堆疊。任務調度程式可配置成在處理單元與可重程式化處理單元之間調度計算任務。本發明也提供一種異構計算環境的系統。

Description

異構計算環境的設備及系統 [相關申請案的交叉引用]
本申請請求2017年9月14日提交的標題為“高效學習系統的異構加速器(A HETEROGENEOUS ACCELERATOR FOR HIGHLY EFFICIENT LEARNING SYSTEMS)”的臨時專利申請第62/558,745號的優先權。此先前提交的申請的主題特此以引用的方式併入。
本說明書大體上涉及電路。確切地說，本公開涉及一種用於高效學習系統的異構加速器的系統和方法。
如學習系統(例如深度神經網路)的新興應用通常需要大量計算和儲存能力以在不同資料集上訓練並以高精度學習。此外，隨著如高性能計算、圖形操作等應用變為資料密集型及計算密集型，能量效率和低延時變得至關重要。一種稱為“記憶體內處理”的技術具有通過在較低功率技術處理中且還更接近於資料 駐留處在記憶體(例如動態隨機記憶體(dynamic random access memory；DRAM)等)邏輯裸晶上調度複雜操作以提供額外計算能力從而解決這些挑戰的能力。
高頻寬記憶體(High Bandwidth Memory；HBM)是用於3D堆疊記憶體(例如DRAM)的高性能隨機存取記憶體(random access memory；RAM)介面。其通常與高性能圖形加速器以及存取大型資料集的網路裝置結合使用。相比於其它DRAM技術(例如雙資料速率第四代同步動態隨機存取記憶體(double data rate fourth-generation synchronous dynamic random-access memory；DDR4)、雙資料速率五型同步圖形隨機存取記憶體(double data rate type five synchronous graphics random-access memory；GDDR5)等)，HBM通常實現更高頻寬，同時在基本上更小形狀參數中使用更少功率。這通常可通過將一數量(例如八個)的記憶體裸晶堆疊在一起來實現。此堆疊常常還包含具有記憶體控制器的任選基礎裸晶。所述裸晶可通過矽穿孔(through-silicon vias；TSV)和微凸塊而互連。
根據一個總和的方面，實例實施例提供一種設備，所述設備可包含可至少部分地由任務調度程式來控制的異構計算環境，其中所述異構計算環境可包含：處理單元，具有配置成執行指令的固定邏輯電路；可重程式化處理單元，具有配置成執行指 令的可重程式化邏輯電路，所述指令包含用以控制記憶體內處理功能的指令；以及高頻寬記憶體裸晶的堆疊，其中每一堆疊可配置成儲存資料並提供可由可重程式化處理單元控制的記憶體內處理功能，從而使得可重程式化處理單元至少部分地與高頻寬記憶體裸晶一起堆疊。任務調度程式可配置成在處理單元與可重程式化處理單元之間調度計算任務。
根據另一總的方面，另一實例實施例提供一種設備，所述設備可包含可至少部分地由中央處理單元控制的異構計算環境，其中所述異構計算環境可包含中央處理單元、固定處理單元、可重程式化處理單元、高頻寬記憶體裸晶的堆疊以及中央記憶體。中央處理單元可配置成在固定處理單元與可重程式化處理單元之間分配計算任務。固定處理單元可具有配置成執行指令的固定邏輯電路。可重程式化處理單元可具有配置成執行指令的可重程式化邏輯電路，所述指令包含用以控制記憶體內處理功能的指令。高頻寬記憶體裸晶的每一堆疊可配置成儲存資料並提供可由可重程式化處理單元控制的記憶體內處理功能，從而使得可重程式化處理單元至少部分地與高頻寬記憶體裸晶一起堆疊。中央記憶體可包含為固定處理單元保留的緩衝器部分，以及為可重程式化處理單元保留的緩衝器部分。
根據另一總和的方面，又另一實例實施例提供一種系統，所述系統可包含中央處理單元、系統記憶體以及異構加速器。中央處理單元可配置成將計算任務分配到異構計算環境的處理單 元。系統記憶體可配置成儲存資料。異構加速器多晶片模組可包含異構計算環境，其中異構加速器多晶片模組可包含：固定處理單元，具有配置成執行指令的固定邏輯電路；可重程式化處理單元，具有配置成執行指令的可重程式化邏輯電路，所述指令包含用以控制記憶體內處理功能的指令；以及高頻寬記憶體裸晶的堆疊，每一堆疊配置成儲存資料並提供可由可重程式化處理單元控制的記憶體內處理功能，從而使得可重程式化處理單元至少部分地與高頻寬記憶體裸晶一起堆疊。
在以下隨附圖式和描述中闡述一或多個實施方案的細節。其它特徵將從描述和圖式且從權利要求書中顯而易見。
一種用於高效學習系統的異構加速器的系統和/或方法，基本上如結合圖式中的至少一個所繪示和/或所描述，如在權利要求中更徹底地闡述。
100:系統
104:圖形處理單元/固定處理單元/裸晶
106:可重程式化處理單元/裸晶
108:堆疊/高頻寬記憶體堆疊
110:高頻寬記憶體控制器裸晶
112:裸晶/高頻寬記憶體裸晶
120:插入件/插入件裸晶/裸晶
122:封裝基板裸晶/裸晶
124:焊接凸塊
200:系統
202:中央處理單元
212:中央處理單元記憶體裸晶/中央處理單元記憶體
214:固定處理單元記憶體裸晶/固定處理單元記憶體
300:系統
302:任務調度程式/中央處理單元
304:固定處理單元/固定邏輯處理單元/處理器
306:可重程式化處理單元/處理器
308:高頻寬記憶體堆疊
400:系統
402:互連匯流排
404:資料
412:系統記憶體
414:固定處理單元記憶體
442:輪詢電路
444:存取暫存器
462:預備旗標
464:直接記憶體存取或遠端直接記憶體存取引擎或電路/遠端直接記憶體存取引擎
490:任務
500:系統
504:資料
514:記憶體/固定處理單元緩衝器/緩衝器
516:記憶體/可重程式化處理單元緩衝器/緩衝器
542:輪詢電路
546:觸發事件
590:任務
600:系統
604:資料
614、616:箭頭
642:輪詢電路
646:觸發事件
690:任務
700:資訊處理系統
705:系統匯流排
710:處理器
715:組合邏輯塊
720:揮發性記憶體
730:非揮發性記憶體
740:網路介面
750:使用者介面單元
760:硬體元件
770:軟體元件
圖1是根據所公開主題的系統的實例實施例的框圖。
圖2是根據所公開主題的系統的實例實施例的框圖。
圖3是根據所公開主題的系統的實例實施例的框圖。
圖4是根據所公開主題的系統的實例實施例的框圖。
圖5是根據所公開主題的系統的實例實施例的框圖。
圖6是根據所公開主題的系統的實例實施例的框圖。
圖7是可包含根據所公開主題的原理形成的裝置的資訊處理系統的示意性框圖。
各圖中的相同參考符號指示相同元件。
將在下文中參考隨附圖式更全面地描述各種實例實施例，在隨附圖式中繪示了一些實例實施例。然而，本發明所公開的主題可以許多不同形式實施，並且不應被解釋為限於本文中所闡述的實例實施例。確切地說，提供這些實例實施例以使得本公開將透徹且全面，且將向本領域的技術人員充分地傳達本發明所公開的主題的範圍。在圖式中，為了清楚起見可能誇大層和區域的尺寸以及相對尺寸。
將理解，當一元件或層被稱作在另一元件或層“上”、“連接到”另一元件或層或“耦合到”另一元件或層時，這個元件或層可直接在另一元件或層上、直接連接到另一元件或層或耦合到另一元件或層，或可存在介入元件或層。相比之下，當一元件被稱作“直接”在另一元件或層“上”、“直接連接到”或“直接耦合到”另一元件或層時，不存在介入元件或層。相同標號始終指代相同元件。如本文中所使用，術語“和/或”包含相關聯的所列項中的一或多個中的任何一個以及所有組合。
將理解，雖然本文中可使用術語第一、第二、第三等來描述各種元件、元件、區域、層和/或區段，但是這些元件、元件、 區域、層和/或區段不應受到這些術語的限制。這些術語僅用以區分一個元件、元件、區域、層或區段與另一區域、層或區段。因此，在不脫離本發明公開的主題的教示的情況下，下文所論述的第一元件、元件、區域、層或區段可稱為第二元件、元件、區域、層或區段。
為易於描述，可在本文中使用如“在...下面(beneath)”、“在...下方(below)”、“下部的(lower)”、“在...上方(above)”、“上部的(upper)”和其類似物的空間相對術語來描述如圖中所示的一個元件或構件與另一元件或構件的關係。將理解，空間相對術語意圖涵蓋裝置在使用或操作中除圖式中所描繪的取向外的不同取向。舉例來說，如果圖式中的裝置倒過來，那麼描述為“在”其它元件或構件“下方”或“下麵”的元件便將定向成“在”其它元件或構件“上方”。因此，示範性術語“在...下方”可涵蓋上方和下方兩個取向。裝置可以以其它方式取向(旋轉90度或處於其它定向)，且本文中所使用的空間相對描述符可相應地進行解釋。
類似地，為易於描述，可在本文中使用如“高”“低”、“上拉”、“下拉”、“1”、“0”和其類似物的電氣術語來描述相對於其它電壓電平或相對於如圖中所示的另一元件或構件的電壓電平或電流。將理解，電氣相對術語意圖涵蓋裝置在使用或操作中除圖中所描繪的電壓或電流外的不同參考電壓。舉例來說，如果圖中的裝置或信號反向或使用其它參考電 壓、電流或電荷，那麼被描述為“高”或“上拉”的元件與新參考電壓或電流相比隨後將為“低”或“下拉”。因此，示範性術語“高”可涵蓋相對較低或較高電壓或電流。裝置可以其它方式基於參考的不同電氣幀，且本文中所使用的電氣相對描述詞相應地進行解釋。
本文中所使用的術語僅出於描述特定實例實施例的目的，且並不意圖限制本所發明公開的主題。如本文中所使用，除非上下文另外明確指示，否則單數形式“一(a、an)”以及“所述”意圖還包含複數形式。將進一步理解，當在本說明書中使用時，術語“包括(comprises)”和/或“包括(comprising)”指定存在所陳述的特徵、整數、步驟、操作、元件和/或元件，但不排除存在或添加一或多個其它特徵、整數、步驟、操作、元件、元件和/或其群組。
本文中參考為理想化實例實施例(以及中間結構)的示意性圖解的橫截面圖解來描述實例實施例。如此，應預期到作為例如製造技術和/或公差的結果而與圖示的形狀的差異。因此，實例實施例不應解釋為限於本文中所說明的區域的特定形狀，而是應包含(例如)由製造引起的形狀偏差。舉例來說，圖示為矩形的植入區域典型地將具有圓形或彎曲特徵和/或植入物濃度在其邊緣處的梯度，而不是從植入區域到非植入區域的二元變化。同樣，通過植入形成的埋入區域可在埋入區域與發生植入所在的表面之間的區域中產生一些植入。因此，圖中所示的區域本質上是示意 性的，且其形狀並不意圖說明裝置的區域的實際形狀且並不意圖限制本發明公開主題的範圍。
除非另外定義，否則本文中所使用的所有術語(包含技術術語和科學術語)具有本公開主題所屬領域的普通技術人員通常所理解的相同意義。將進一步理解，例如常用詞典中所定義的術語等術語應解釋為具有與其相關技術的上下文中的含義一致的含義，且將不在理想化或過度正式意義上進行解釋，除非本文中明確地如此界定。
下文中將參考隨附圖式來詳細解釋實例實施例。
圖1是根據所公開主題的系統100的實例實施例的框圖。在所示實施例中，系統100可包含多個積體電路(integrated circuit；IC)裸晶。在此實施例中，IC可佈置在多晶片模組(multi-chip module；MCM)中。
MCM通常是電子組合件(如使用數個導體端子或“接腳”的封裝件)，其中多個積體電路(IC或“晶片”)、半導體裸晶和/或其它離散元件通常集成在統一基板上，從而使得其在使用中如同單個元件(如同較大IC)一樣處理。應理解，上述僅僅是並未限制所公開主題的一個說明性實例。
在所說明實施例中，系統100可包含形成為裸晶112的高頻寬記憶體(HBM)的堆疊108。如上文所描述，HBM可配置成儲存資料並允許記憶體比標準DRAM或系統記憶體更快速且有效地存取。在一個實施例中，HBM裸晶112可配置成提供記憶體 內處理功能。在各種實施例中，伴以裸晶112之間通過矽穿孔(TSV)、微凸塊或其它晶片間連通(圖中未示)的方式所進行的連通，HBM裸晶112可一個在另一個的頂部上垂直堆疊。
在各種實施例中，HBM 112的堆疊108可包含HBM控制器裸晶110。HBM控制器裸晶110可配置成執行標準記憶體存取協調功能(例如頁表翻譯、位址映射、寫入組合等)。在各種實施例中，HBM控制器裸晶110可包含集中在HBM裸晶112上的記憶體管理單元(memory management unit；MMU)。
在所說明實施例中，系統100可包含可程式化處理單元(programmable processing unit；PU)或可重程式化處理單元(reprogrammable processing unit；RPU)106。在各種實施例中，RPU 106可包含可動態程式化以執行各種功能或執行某些指令的邏輯電路。在一個實施例中，RPU 106可配置成執行包含控制HBM裸晶112中的記憶體內處理功能的指令。在各種實施例中，RPU 106可包含如(但不限於)現場可程式化邏輯閘陣列(field-programmable gate array；FPGA)、專用積體電路(application-specific integrated circuit；ASIC)、查閱資料表(look-up table；LUT)、可程式化陣列邏輯(Programmable Array Logic；PAL)等的裝置。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。
在各種實施例中，RPU 106可與HBM裸晶112的堆疊108一起堆疊或在堆疊108下方堆疊。在此實施例中，RPU 106可 配置成直接與堆疊108接合，且為堆疊108提供對系統100的其它元件(例如固定GPU 104)的存取。
在各種實施例中，RPU 106可提供粗晶粒功能或指令執行可重配置性。在另一實施例中，RPU 106可提供細晶粒功能或指令執行可重配置性。在一些實施例中，由RPU 106執行的操作可包含控制HBM裸晶112中的記憶體內處理功能，所述記憶體內處理功能可包含(但不限於)乘法累加操作、資料重排、資料轉置等。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。在各種實施例中，RPU 106以及其對HBM堆疊108的接近存取可提供比固定或相對遠處理單元或電路更快的指令執行、任務執行或操作執行。
在所示實施例中，系統100還可包含不可改變處理單元或固定處理單元(fixed processing unit；FPU)104。在此實施例中，FPU 104可配置成執行各種指令或執行邏輯操作。FPU 104可包含不可改變或固定的邏輯電路，且所述邏輯電路在製造FPU 104期間靜態地形成；然而，各種配置設置可對固定邏輯電路如何執行進行改變。
在各種實施例中，FPU 104可包含專用處理單元，例如圖形處理單元(graphics processing unit；GPU)、加密處理單元、物理處理單元、機器學習處理單元等。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。在各種實施例中，FPU 104可佈置在堆疊108旁邊以使得其並不直接與堆疊108連通。
在各種實施例中，系統100還可包含插入件裸晶或層120。在此實施例中，插入件120可包含矽或另一基板，且可提供FPU 104與RPU 106(以及堆疊108)之間連通的通道。在此實施例中，插入件裸晶120可與RPU 106裸晶和FPU 104裸晶耦合且在所述裸晶下方。
在所示實施例中，系統100可包含封裝基板裸晶122。封裝基板裸晶122可配置成在其它元件或裸晶之間且在系統100外部通信。各種裸晶122、裸晶120、裸晶104、裸晶106等可通過多個焊接凸塊124連接。
圖2是根據所公開主題的系統200的實例實施例的框圖。在所示實施例中，系統200可包含多個積體電路(IC)裸晶。在此實施例中，IC可佈置在多晶片模組(MCM)中。
在所示實施例中，如上文所描述，系統200可包含HBM裸晶112與HBM控制器裸晶110的堆疊108、RPU 106、FPU 104、插入件120以及封裝基板122。在所示實施例中，繪示數個可能的額外裸晶或元件。在各種實施例中，這些裸晶中的一或多個如下所述可包含在系統200中。在另一實施例中，這些裸晶或組件中的一或多個可包含為另一IC封裝件的部分或為較大系統的部分(例如中央處理單元和/或系統記憶體可包含為桌上型電腦或筆記本電腦的部分)。
在各種實施例中，系統200還可包含中央處理單元(central processing unit；CPU)202。在此實施例中，CPU 202可 包含在裸晶中且可包含微處理器和/或多個處理器核心。CPU 202可以是處理和管理指令的系統的主要元件。CPU 202可主要負責執行作業系統和應用程式。在各種實施例中，CPU 202可包含通用計算架構，如由ARM或Intel所作出的通用計算架構。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。在所示實施例中，CPU 202可配置成控制系統200的異構計算環境，且在FPU 104與RPU 106之間分配計算任務。
在各種實施例中，系統200可包含CPU記憶體裸晶212。在一些實施例中，CPU記憶體裸晶212可堆疊在CPU 202上。在此實施例中，CPU記憶體212可配置成儲存資料且可由CPU 202直接存取。在一些實施例中，CPU記憶體212可包含系統記憶體。在另一實施例中，系統記憶體(例如DRAM)可在系統200外部。
在各種實施例中，系統200可包含FPU記憶體裸晶214。在一些實施例中，FPU記憶體裸晶214可堆疊在FPU 104上。在此實施例中，FPU記憶體214可配置成儲存資料且可由FPU 104直接存取。
在各種實施例中，系統200的三個處理器(RPU 106、FPU 104以及CPU 202)可在其自身中分配各種計算任務、指令或內核的執行。在此上下文中，“內核”定義為分組在一起來執行任務或可定義子任務的一或多個指令。內核的邊界可或可以不符合副程式且不應假定為同義術語。在此上下文中，術語“內核” 更等效於術語“計算內核”，且不應與“內核”的其它定義如“作業系統內核”、“內核方法”、“圖像內核”或數學中所採用的內核的許多定義相混淆。
在此實施例中，系統200的三個處理器(RPU 106、FPU 104以及CPU 202)可分發任務以提高效率，且減少功率使用以及記憶體頻寬消耗。在各種實施例中，這可與ARM big.LITTLE異構計算架構相類似(但不相同)，在所述ARM big.LITTLE異構計算架構中，省電且較慢的處理器核心(LITTLE)與相對較強大且耗電的處理器核心(big)相耦合。在此實施例中，工作負載可在不同類型的內核之間(例如在big核心與LITTLE核心、RPU 106、FPU 104以及CPU 202等之間)調換。在此實施例中，多核心系統200可調整為動態計算需要且使用較低功率(或較快)。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。
圖3是根據所公開主題的系統300的實例實施例的框圖。在各種實施例中，系統300可由中圖1和/或圖2中示出的裸晶或其它IC組成。
在所示實施例中，系統300可包含CPU、主機處理器或配置成在固定處理單元304與可重程式化處理單元306之間分配計算任務的任務調度程式302。在各種實施例中，任務調度程式302可配置成至少部分地控制系統300。在各種實施例中，任務調度程式302可包含處理器(例如CPU)，但在另一實施例中，任務調度程式302可包含較小通用電路。
在所示實施例中，系統300可包含固定邏輯處理單元304(例如GPU、數位訊號處理器(digital signal processor；DSP)等)，如上文所描述。如上文所描述，系統300可包含RPU 306(例如FPGA等)。如上文所描述，系統300還可包含HBM堆疊308。
在所示實施例中，FPU 304和RPU 306可配置成具有集成控制和/或資料路徑。在此實施例中，計算任務(以及其中相關聯的資料)可在兩個處理器304和處理器306之間傳送或切換。如下文所描述，在各種實施例中，任務和資料切換可以自調節方式進行或可由CPU 302來協調。
在所示實施例中，FPU 304可允許程式師或用戶使用已知FPU(例如GPU)程式化模型或應用程式化發展介面(application programming interfaces；API)，以及與FPU相關聯的資料存取協定或模型。然而，RPU 306的可重程式化性可允許提高效率(例如功率、時間等)的任務專用電路且可動態改變。
圖4是根據所公開主題的系統400的實例實施例的框圖。在各種實施例中，系統400的部分可由中圖1和/或圖2中所說明的裸晶或其它IC組成。系統400可說明簡要在圖3中所示的任務傳送的一個實施例。
在所示實施例中，如上文所描述，系統400可包含固定邏輯處理單元304(例如GPU、數位訊號處理器(DSP)等)。如上文所描述，系統400可包含RPU 306(例如FPGA等)。如上文所描述，系統400還可包含HBM堆疊308。
在所示實施例中，系統400還可包含配置成儲存資料且由CPU 302直接存取(或在CPU 302的控制下)的系統記憶體412。系統400可包含配置成儲存資料且由FPU 304直接存取(或在FPU 304的控制下)的FPU記憶體414。
在所示實施例中，CPU 302可經由互連匯流排402與FPU 304以及RPU 306相耦合。在各種實施例中，互連匯流排402可使用串列協定，例如高速周邊元件連接(Peripheral Component Interconnect Express；PCIe)協議。應理解，上述僅僅是並未限制所公開主題的一個說明性實例。
在所示實施例中，CPU(或任務調度程式)302可向FPU 304分配第一任務、第一子任務或任務490的第一部分。FPU 304可開始執行與第一子任務相關聯的指令且可能需要存取與任務490相關聯的資料404。在所示實施例中，資料404可儲存在HBM堆疊308中。
在所示實施例中，RPU 306可包含直接記憶體存取(direct memory access；DMA)或遠端DMA(RMDA)引擎或電路464。因為RPU 306直接與HBM堆疊308相耦合，所以RPU 306可對HBM堆疊308進行閘極存取。在各種實施例中，如果RPU 306實施RDMA引擎464，那麼其它處理器便可通過RPU 306對HBM堆疊308執行DMA調用或請求。RDMA引擎464可隨後服務或執行DMA請求。
在所示實施例中，FPU 304可發出RDMA存取請求到 RDMA引擎464。RDMA可隨後擷取或讀取來自HBM堆疊308的資料404且將其提供到FPU 304。在各種實施例中，FPU 304可包含一或多個存取暫存器444。在此實施例中，資料404(或其部分)可在存取暫存器444中(例如在256百萬位元組部分中)分級或緩存。可隨後將資料404拷貝到FPU記憶體414中。FPU 304可隨後對資料404執行任務490的分配部分。
在所示實施例中，CPU(或任務調度程式)302可向RPU 306分配第二任務、第二子任務或任務490的第二部分。在各種實施例中，RPU 306可使用使得RPU 306上的第二部分有效或以其它期望的方式執行的邏輯電路來程式化。舉例來說，任務490分配到RPU 306的部分可包含控制HBM堆疊308的HBM裸晶的記憶體內處理功能。一旦FPU 304完成任務490的其第一部分，FPU 304便暫停以卸載內核或向RPU 306傳送任務490的剩餘部分的執行。
在所示實施例中，RPU 306可包含預備旗標462或準備好開始處理任務490的第二部分的一些其它指示。在一些實施例中，RPU 306可包含數個預備旗標462，每一預備旗標與可分別執行任務的各種邏輯電路相關聯。FPU 304可包含配置成定期檢查或輪詢RPU 306(例如預備旗標462)以查看是否到達將任務490的處理傳送到RPU 306的時刻的輪詢電路442。在各種實施例中，可採用另一旗標類同步協定。
一旦FPU 304識別到RPU 306準備好，便可將任務490 或資料404的所有權在兩個處理器304與處理器306之間傳送。RPU 306可隨後開始執行其所分配的任務490的第二部分。在各種實施例中，CPU 302可配置成對FPU 304告知RPU 306可能準備好開始執行任務490的第二部分。在此實施例中，RPU 306可將此告知CPU 302，或CPU 302可監測RPU 306的狀態(例如CPU 302可瞭解RPU 306已完成另一任務)。
在各種實施例中，可使用上文所描述的RDMA協定將資料404從FPU記憶體414傳送到HBM堆疊308。RPU 306可隨後直接存取儲存在HBM堆疊308中的資料404。當RPU 306執行任務490的第二部分時，FPU 304可暫停或停止，或可非同步地執行另一任務，以使得FPU 304的計算功率並未浪費。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。
在一些實施例中，任務執行可以類似方式但反向地從RPU 306切換到FPU 304(或到CPU 302)。在此實施例中，FPU 304、RPU 306以及甚至CPU 302之間的資料同步可類似于上文所描述來進行。
圖5是根據所公開主題的系統500的實例實施例的框圖。在各種實施例中，系統500的部分可由中圖1和/或圖2中所示出的裸晶或其它IC組成。系統500可說明簡要在圖3中所示的任務傳送的一個實施例。
在所示實施例中，如上文所描述，系統500可包含固定邏輯處理單元304(例如GPU、數位訊號處理器(DSP)等)。如上 文所描述，系統500可包含RPU 306(例如FPGA等)。如上文所描述，系統500還可包含HBM堆疊308。
在所示實施例中，系統500可包含配置成儲存資料且由FPU 304直接存取(或在FPU 304的控制下)的FPU記憶體414。系統500可包含FPU緩衝器或配置成儲存與FPU 304相關的資料的記憶體514。系統500可包含RPU緩衝器或配置成儲存與RPU 306相關的資料的記憶體516。在此實施例中，FPU緩衝器514和RPU緩衝器516可由CPU 302控制或存取。在各種實施例中，FPU緩衝器514和RPU緩衝器516可以是系統記憶體的分區或區域(例如圖4中所示的分區或區域)，或可以是分離記憶體電路。
在所示實施例中，CPU 302可經由互連匯流排402與FPU 304以及RPU 306相耦合。在各種實施例中，互連匯流排402可使用串列協定，例如高速周邊元件連接(PCIe)協定。應理解，上述僅僅是並未限制所公開主題的一個說明性實例。
如上文所描述，CPU 302(或任務調度程式)可向FPU 304和RPU 306分發或分配各種任務590或任務590的部分以用於執行。在各種實施例中，此分配可至少部分地基於哪一處理器可用且更有效執行任務590。如上文所描述，CPU 302可向FPU 304分配任務590的第一部分且向RPU 306分配任務590的第二部分。舉例來說，各種任務590向RPU 306分配的部分可包含控制HBM堆疊308的HBM裸晶的記憶體內處理功能。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。
在所示實施例中，如上文所描述，FPU 304可執行所分配的任務。在此實施例中，FPU 304可使用FPU記憶體414作為臨時快取記憶體或工作記憶體。當所分配的任務、子任務或任務590的部分完成時，FPU 304可向FPU緩衝器514寫入資料504。
在此實施例中，這可能涉及使CPU 302充當FPU 304與FPU緩衝器514之間的中介，或至少告知正在向FPU緩衝器514寫入資料504。在一些實施例中，這可經由記憶體分配功能或程式調用來進行(例如在GPU情形下，可調用CUDAMalloc())。在此實施例中，FPU 304可將資料拷貝到CPU 302，且CPU 302可轉而將資料拷貝到FPU緩衝器514。
在所示實施例中，CPU 302可隨後將資料504從FPU緩衝器514傳送到RPU緩衝器516。在此實施例中，CPU 302可控制資料傳送的時序以及FPU 304與RPU 306之間(至少緩衝器514與緩衝器516之間)的同步。
在所示實施例中，當資料504在緩衝器514與緩衝器516之間的拷貝完成時，CPU 302可啟動觸發事件546以向RPU 306指示資料504準備好。在各種實施例中，此觸發事件546可包含中斷信號、穿過互連匯流排的消息或到RPU 306的信號。在所示實施例中，RPU 306可包含配置成檢測觸發事件546並對其做出反應的輪詢電路542。同樣，在此實施例中，CPU 302可控制資料傳送的時序。在各種實施例中，輪詢電路542可結合RPU相關的驅動器或固件來工作。應理解，上述僅僅是並未限制所公開主題 的一個說明性實例。
在此實施例中，一旦觸發事件546已發生，RPU 306便可將資料504從RPU緩衝器516拷貝到HBM堆疊308。RPU 306可隨後執行任務、子任務或任務590中其分配到的部分。如早先所描述，任務590分配到RPU 306的部分可包含控制HBM堆疊308的HBM裸晶的記憶體內處理功能。當RPU 306執行任務590的第二部分時，FPU 304可暫停或停止，或可非同步地執行另一任務，以使得FPU 304的計算功率並未浪費。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。
在一些實施例中，任務執行可以類似方式但反向地從RPU 306切換到FPU 304(或到PCU 302)。在此實施例中，FPU 304、RPU 306以及甚至CPU 302之間的資料同步可類似于上文所描述來進行。
圖6是根據所公開主題的系統600的實例實施例的框圖。在各種實施例中，系統600的部分可由中圖1和/或圖2中所示出的裸晶或其它IC組成。系統600可說明簡要在圖3中所示的任務傳送的一個實施例。
在所示實施例中，如上文所描述，系統600可包含固定邏輯處理單元304(例如GPU、數位訊號處理器(DSP)等)。如上文所描述，系統600可包含RPU 306(例如FPGA等)。如上文所描述，系統600還可包含HBM堆疊308。
在所示實施例中，系統600可包含配置成儲存資料且由 FPU 304直接存取(或在FPU 304的控制下)的FPU記憶體414。如上文所描述，系統600可包含系統記憶體412。
在所示實施例中，CPU 302可經由互連匯流排402與FPU 304以及RPU 306相耦合。在各種實施例中，互連匯流排402可使用串列協定，例如高速周邊元件連接(PCIe)協定。應理解，上述僅僅是並未限制所公開主題的一個說明性實例。
如上文所描述，CPU 302(或任務調度程式)可向FPU 304和RPU 306分發或分配各種任務690或任務690的部分以用於執行。在各種實施例中，此分配可至少部分地基於哪一處理器可用且更有效執行任務690。如上文所描述，CPU 302可向FPU 304分配任務690的第一部分且向RPU 306分配任務690的第二部分。舉例來說，任務690分配到RPU 306的部分可包含控制HBM堆疊308的HBM裸晶的記憶體內處理功能。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。
在所示實施例中，如上文所描述，FPU 304可執行所分配的任務。在此實施例中，FPU 304可使用FPU記憶體414作為臨時快取記憶體或工作記憶體。當所分配的任務、子任務或任務690的部分完成時，FPU 304可向系統記憶體412寫入資料604。
在所示實施例中，FPU 304可經由遠端直接記憶體存取(remote direct memory access；RDMA)來存取系統記憶體412。在各種實施例中，這可實質上繞過CPU 302，或至少CPU 302的有效涉及。箭頭614繪示向系統記憶體412直接(或使用CPU 302 的DMA引擎)寫入資料604的FPU 304。
在向系統記憶體412的資料寫入完成時，可啟動觸發事件646(例如中斷等)以告知RPU 306資料604準備好使用。在各種實施例中，如上文所描述，觸發事件646可由CPU 302來建立。在另一實施例中，觸發事件646可由FPU 304來建立。
在所示實施例中，RPU 306可包含輪詢電路642以檢測觸發事件646何時發生。在此實施例中，RPU 306可隨後將資料604從系統記憶體412拷貝到HBM堆疊308(由箭頭616示出)。在各種實施例中，這可經由RDMA來進行。在此實施例中，RPU 306可包含如圖4中所示的RDMA引擎。
RPU 306可隨後執行任務、子任務或任務690中其分配到的部分，所述分配到的任務可包含控制HBM堆疊308的HBM裸晶的記憶體內處理功能。當RPU 306執行任務690的第二部分時，FPU 304可暫停或停止，或可非同步地執行另一任務，以使得FPU 304的計算功率並未浪費。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。
在一些實施例中，任務執行可以類似方式但反向地從RPU 306切換到FPU 304(或到CPU 302)。在此實施例中，FPU 304、RPU 306以及甚至CPU 302之間的資料同步可類似于上文所描述來進行。
圖7是資訊處理系統700的示意性框圖，其可包含根據所公開主題的原理形成的半導體裝置。
參考圖7，資訊處理系統700可包含根據所公開主題的原理構建的裝置中的一或多個。在另一實施例中，資訊處理系統700可採用或執行根據所公開主題的原理的一種或多種技術。
在各種實施例中，資訊處理系統700可包含計算裝置，例如膝上型電腦、桌上型電腦、工作站、伺服器、刀片伺服器、個人數位助理、智慧手機、平板電腦以及其它適當的電腦或其虛擬機器或虛擬計算裝置。在各種實施例中，資訊處理系統700可由使用者(未示出)使用。
根據所公開主題的資訊處理系統700可進一步包含中央處理單元(CPU)、邏輯或處理器710。在一些實施例中，處理器710可包含一或多個功能單元塊(functional unit block；FUB)或組合邏輯塊(combinational logic block；CLB)715。在此實施例中，組合邏輯塊可包含各種布林邏輯操作(Boolean logic operation)(例如與非(NAND)、或非(NOR)、非(NOT)、異或(XOR))、穩定邏輯裝置(例如觸發器、鎖存器)、其它邏輯裝置或其組合。這些組合邏輯操作可以簡單或複雜方式配置成處理輸入信號以實現所需結果。應理解，在描述同步組合邏輯操作的幾個說明性實例時，所公開主題不受如此限制且可包含非同步作業或其混合。在一個實施例中，組合邏輯操作可包括多個互補金屬氧化物半導體(complementary metal oxide semiconductor；CMOS)電晶體。在各種實施例中，這些CMOS電晶體可佈置到執行邏輯操作的門中；但應理解，可使用其它技術且所述其它技術在所公開主題的範圍 內。
根據所公開主題的資訊處理系統700可進一步包含揮發性記憶體720(例如隨機存取記憶體(RAM))。根據所公開主題的資訊處理系統700可進一步包含非揮發性記憶體730(例如硬碟驅動器、光學記憶體、與非型或快閃記憶體記憶體)。在一些實施例中，揮發性記憶體720、非揮發性記憶體730或其組合或部分可被稱作“儲存介質”。在各種實施例中，揮發性記憶體720和/或非揮發性記憶體730可配置成以半永久或基本上永久的形式儲存資料。
在各種實施例中，資訊處理系統700可包含一或多個網路介面740，所述網路介面740配置成允許資訊處理系統700為通信網路的部分且經由通信網路通信。Wi-Fi協定的實例可包含(但不限於)電氣和電子工程師學會(Institute of Electrical and Electronics Engineer；IEEE)802.11g,IEEE 802.11n。蜂窩協定的實例可包含(但不限於)：IEEE 802.16m(也稱為無線-MAN(都會區網路))改進、長期演進(Long Term Evolution，LTE)改進、GSM(全球移動通信系統)的增強資料速率演進(EDGE)、演進高速分組接入(Evolved High-Speed Packet Access；HSPA+)。有線協定的實例可包含(但不限於)IEEE 802.3(也稱為乙太網(Ethernet))、光纖通道(Fibre Channel)、電力線通信(Power Line communication)(例如HomePlug、IEEE 1901)。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。
根據所公開主題的資訊處理系統700可進一步包含使用者介面單元750(例如顯示卡、觸覺介面、人機介面裝置)。在各種實施例中，此使用者介面單元750可配置成接收來自使用者的輸入和/或向用戶提供輸出。其它類型的裝置也可用以提供與用戶的交互；例如，向用戶提供的回饋可以是任何形式的感覺回饋(例如視覺回饋、聽覺回饋或觸感回饋)；且可以任何形式接收來自用戶的輸入，包含聲音輸入、語音輸入或觸感輸入。
在各種實施例中，資訊處理系統700可包含一或多個其它裝置或硬體元件760(例如顯示器或監測器、鍵盤、滑鼠、相機、指紋讀取器、視頻處理器)。應理解，上述僅僅是並未限制所公開主題的幾個說明性實例。
根據所公開主題的資訊處理系統700可進一步包含一或多個系統匯流排705。在此實施例中，系統匯流排705可配置成以通信方式與處理器710、揮發性記憶體720、非揮發性記憶體730、網路介面740、使用者介面單元750以及一或多個硬體元件760耦合。由處理器710處理的資料或從非揮發性記憶體730外部輸入的資料可儲存在非揮發性記憶體730或揮發性記憶體720中。
在各種實施例中，資訊處理系統700可包含或執行一或多個軟體元件770。在一些實施例中，軟體元件770可包含作業系統(operating system；OS)和/或應用程式。在一些實施例中，OS可配置成向應用程式提供一或多個服務且在資訊處理系統700的應用程式與各種硬體元件(例如處理器710、網路介面740)之間 管理或充當中介。在此實施例中，資訊處理系統700可包含一或多個原生應用程式，所述程式可本地(例如在非揮發性記憶體730內)安裝且配置成由處理器710直接執行且與OS直接交互。在此實施例中，原生應用程式可包含預編譯機器可執行碼。在一些實施例中，原生應用程式可包含腳本解譯器(例如C shell(csh)、蘋果腳本(AppleScript)、熱鍵腳本(AutoHotkey))或虛擬執行機(virtual execution machine；VM)(例如Java虛擬機器(Java Virtual Machine)、微軟公共語言執行時間(Microsoft Common Language Runtime))，其被配置成將原始程式碼或目標代碼轉譯為隨後由處理器710執行的可執行碼。
上文所描述的半導體裝置可使用各種封裝技術來包封。舉例來說，根據所公開主題的原理構建的半導體裝置可使用下述技術中的任一種來包封：層疊封裝(package on package；POP)技術、球柵陣列(ball grid array；BGA)技術、晶片尺寸封裝(chip scale package；CSP)技術、塑膠引線晶片載體(plastic leaded chip carrier；PLCC)技術、塑膠雙列直插式封裝(plastic dual in-line package；PDIP)技術、華夫包裝式裸晶(die in waffle pack)技術、晶片式裸晶(die in wafer form)技術、板上晶片(chip on board；COB)技術、陶瓷雙列直插封裝(ceramic dual in-line package；CERDIP)技術、塑膠公制四方扁平封裝(plastic metric quad flat package；PMQFP)技術、塑膠四方扁平封裝(plastic quad flat package；PQFP)技術、小外形封裝(small outline package；SOIC) 技術、緊縮小外形封裝(shrink small outline package；SSOP)技術、薄型小外形封裝(薄型小外形封裝；TSOP)技術、薄型四方扁平封裝(thin quad flat package；TQFP)技術、系統級封裝(system in package；SIP)技術、多晶片封裝(multi-chip package；MCP)技術、晶片級構造封裝(wafer-level fabricated package；WFP)技術、晶片級處理堆疊封裝(wafer-level processed stack package；WSP)技術或如本領域的技術人員將已知的其它技術。
方法步驟可由執行電腦程式的一或多個可程式化處理器來執行，以通過對輸入資料進行操作並產生輸出來執行功能。方法步驟還可由專用邏輯電路來執行且設備可實施為專用邏輯電路，例如FPGA(場可程式化邏輯閘陣列)或ASIC(專用積體電路)。
在各種實施例中，電腦可讀介質可包含在執行時使得裝置執行方法步驟中的至少一部分的指令。在一些實施例中，電腦可讀介質可包含在磁性介質、光學介質、其它介質或其組合(例如CD-ROM、硬碟驅動器、唯讀記憶體、快閃記憶體驅動器)中。在此實施例中，電腦可讀介質可以是有形且非暫時性實施的製品。
在已參考實例實施例描述所公開主題的原理時，本領域的技術人員將顯而易見的是可在不脫離這些公開概念的精神和範圍的情況下對其作出各種改變以及修改。因此，應理解，上述實施例並非限制性的，而僅是說明性的。因此，所公開概念的範圍將通過所附權利要求書和其等效物的最廣泛容許的解釋來確定， 並且不應受前文描述的約束或限制。因此，應理解，所附權利要求書意圖覆蓋如屬於實施例範圍內的所有此類修改和改變。
100:系統
104:圖形處理單元/固定處理單元/裸晶
106:可重程式化處理單元/裸晶
108:堆疊/高頻寬記憶體堆疊
110:高頻寬記憶體控制器裸晶
112:裸晶/高頻寬記憶體裸晶
120:插入件/插入件裸晶/裸晶
122:封裝基板裸晶/裸晶
124:焊接凸塊

Claims (17)

  1. 一種異構計算環境的設備，包括：異構計算環境，至少部分地由任務調度程式控制，所述異構計算環境包括：所述任務調度程式；處理單元，具有配置成執行指令的固定邏輯電路；可重程式化處理單元，具有可重程式化邏輯電路，所述可重程式化邏輯電路配置成執行用以控制記憶體內處理功能的指令；以及高頻寬記憶體裸晶的堆疊，每一堆疊配置成儲存資料並提供可由所述可重程式化處理單元控制的記憶體內處理功能，其中所述可重程式化處理單元至少部分地與所述高頻寬記憶體裸晶一起堆疊；其中所述任務調度程式配置成調度被所述處理單元所執行的計算任務的第一部分及被所述可重程式化處理單元所執行的所述計算任務的第二部分，其中所述任務調度程式、所述處理單元、所述可重程式化處理單元及所述高頻寬記憶體裸晶的堆疊在插入件裸晶上；以及其中所述可重程式化處理單元更配置成在將與所述計算任務相關聯的資料從中央記憶體拷貝到所述高頻寬記憶體裸晶之前，確定基於所述計算任務的所述第一部分的完成的觸發事件是否已發生。
  2. 如申請專利範圍第1項所述的設備，其中所述處理單元包括圖形處理單元。
  3. 如申請專利範圍第1項所述的設備，其中所述處理單元配置成經由遠端直接記憶體存取來存取儲存在所述高頻寬記憶體裸晶中的資料；以及其中所述可重程式化處理單元包含配置成對來自所述處理單元的遠端直接記憶體存取進行服務的直接記憶體存取電路，其中所述遠端直接記憶體存取針對所述高頻寬記憶體裸晶來進行。
  4. 如申請專利範圍第1項所述的設備，其中所述處理單元包括配置成對來自所述高頻寬記憶體裸晶的資料存取進行分級的暫存器記憶體。
  5. 如申請專利範圍第1項所述的設備，其中所述處理單元配置成暫停所述計算任務的所述第一部分的執行，且至少部分地基於旗標類同步協議來等待將所述計算任務的所述第二部分的執行卸載到所述可重程式化處理單元。
  6. 如申請專利範圍第5項所述的設備，其中所述處理單元配置成輪詢所述可重程式化處理單元以確定所述可重程式化處理單元是否準備好執行所述計算任務的所述第二部分。
  7. 如申請專利範圍第5項所述的設備，其中所述任務調度程式配置成告知所述處理單元所述可重程式化處理單元準備好執行所述計算任務的所述第二部分。
  8. 一種異構計算環境的設備，包括： 異構計算環境，至少部分地由中央處理單元控制，所述異構計算環境包括：所述中央處理單元，配置成與分配被固定處理單元所執行的計算任務的第一部分及被可重程式化處理單元所執行的所述計算任務的第二部分；所述固定處理單元，具有配置成執行指令的固定邏輯電路；所述可重程式化處理單元，具有可重程式化邏輯電路，所述可重程式化邏輯電路配置成執行用以控制記憶體內處理功能的指令；高頻寬記憶體裸晶的堆疊，每一堆疊配置成儲存資料並提供由所述可重程式化處理單元可控制的記憶體內處理功能，其中所述可重程式化處理單元至少部分地與所述高頻寬記憶體裸晶一起堆疊；中央記憶體，包括為所述固定處理單元保留的緩衝器部分，以及為所述可重程式化處理單元保留的緩衝器部分；以及插入件裸晶，所述中央處理單元、所述固定處理單元、所述可重程式化處理單元、所述高頻寬記憶體裸晶的堆疊及所述中央記憶體位於所述插入件裸晶上；其中所述可重程式化處理單元配置成在將與所述計算任務相關聯的資料從所述中央記憶體拷貝到所述高頻寬記憶體裸晶之前，根據所述資料執行所述計算任務的所述第二部分，並且 其中所述可重程式化處理單元更配置成在將與所述計算任務相關聯的所述資料從所述中央記憶體拷貝到所述高頻寬記憶體裸晶之前，確定基於所述計算任務的所述第一部分的完成的觸發事件是否已發生。
  9. 如申請專利範圍第8項所述的設備，其中所述中央處理單元更配置成向所述固定處理單元分配所述計算任務的所述第一部分以用於執行；其中所述固定處理單元配置成在所述計算任務的所述第一部分的執行至少部分地完成時，將與所述計算任務相關聯的所述資料拷貝到所述中央處理單元；其中所述中央處理單元配置成向所述可重程式化處理單元分配所述計算任務的所述第二部分以用於執行且使得所述計算任務的所述資料可用於所述可重程式化處理單元。
  10. 如申請專利範圍第9項所述的設備，其中所述中央處理單元更配置成將與所述計算任務相關聯的所述資料從為所述固定處理單元保留的所述緩衝器部分拷貝到為所述可重程式化處理單元保留的所述緩衝器部分。
  11. 如申請專利範圍第8項所述的設備，其中所述中央處理單元更配置成至少部分地控制在所述固定處理單元與所述可重程式化處理單元之間傳送的任何資料的時序。
  12. 如申請專利範圍第8項所述的設備，其中所述異構計算環境配置成使得所述固定處理單元能夠不直接存取所述高頻寬記憶體裸晶。
  13. 一種異構計算環境的系統，包括：插入件裸晶；中央處理單元，位於所述插入件裸晶上，所述中央處理單元配置成向異構計算環境的處理單元分配計算任務；以及系統記憶體，位於所述插入件裸晶上，所述系統記憶體配置成儲存資料；所述異構計算環境包括：固定處理單元，位於所述插入件裸晶上，所述固定處理單元具有配置成執行指令的固定邏輯電路，可重程式化處理單元，位於所述插入件裸晶上，所述可重程式化處理單元具有可重程式化邏輯電路，所述可重程式化邏輯電路配置成執行用以控制記憶體內處理功能的指令；以及高頻寬記憶體裸晶的堆疊，位於所述插入件裸晶上，每一高頻寬記憶體配置成儲存資料並提供可由所述可重程式化處理單元控制的記憶體內處理功能，其中所述可重程式化處理單元至少部分地與所述高頻寬記憶體裸晶一起堆疊，所述中央處理單元更被配置成向所述固定處理單元分配計算任務的第一部分及向所述可重程式化處理單元分配所述計算任務的第二部分； 其中所述可重程式化處理單元配置成在將與所述計算任務相關聯的資料從所述系統記憶體拷貝到所述高頻寬記憶體裸晶之前，確定基於所述計算任務的所述第一部分的完成的觸發事件已發生。
  14. 如申請專利範圍第13項所述的系統，其中所述固定處理單元配置成在分配給所述固定處理單元所述計算任務的所述第一部分的執行至少部分地完成時，將與所述計算任務相關聯的所述資料拷貝到所述系統記憶體；以及其中所述可重程式化處理單元配置成在執行需要與所述計算任務相關聯的所述資料的所述可重程式化處理單元所分配的所述計算任務所述第二部分之前，將所述資料從所述系統記憶體拷貝到所述高頻寬記憶體裸晶。
  15. 如申請專利範圍第14項所述的系統，其中所述固定處理單元配置成經由遠端直接記憶體存取將與所述計算任務相關聯的所述資料拷貝到所述系統記憶體。
  16. 如申請專利範圍第13項所述的系統，其中所述固定處理單元包含圖形處理單元；以及所述可重程式化處理單元包含場可程式化邏輯閘陣列。
  17. 如申請專利範圍第13項所述的系統，其中所述固定處理單元配置成在所述計算任務的所述第一部分完成的時間與所述計算任務的所述第二部分完成的時間之間中斷所述計算任務的所述第一部分的執行。
TW107117305A 2017-09-14 2018-05-22 異構計算環境的設備及系統 TWI754752B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762558745P 2017-09-14 2017-09-14
US62/558,745 2017-09-14
US15/825,047 US10474600B2 (en) 2017-09-14 2017-11-28 Heterogeneous accelerator for highly efficient learning systems
US15/825,047 2017-11-28

Publications (2)

Publication Number Publication Date
TW201915724A TW201915724A (zh) 2019-04-16
TWI754752B true TWI754752B (zh) 2022-02-11

Family

ID=65631148

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107117305A TWI754752B (zh) 2017-09-14 2018-05-22 異構計算環境的設備及系統

Country Status (5)

Country Link
US (4) US10474600B2 (zh)
JP (1) JP7028745B2 (zh)
KR (1) KR102689910B1 (zh)
CN (1) CN109508316B (zh)
TW (1) TWI754752B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474600B2 (en) * 2017-09-14 2019-11-12 Samsung Electronics Co., Ltd. Heterogeneous accelerator for highly efficient learning systems
US11367707B2 (en) * 2018-09-26 2022-06-21 Intel Corporation Semiconductor package or structure with dual-sided interposers and memory
CN109785224B (zh) * 2019-01-29 2021-09-17 华中科技大学 一种基于fpga的图数据处理方法和系统
US11211378B2 (en) * 2019-07-18 2021-12-28 International Business Machines Corporation Heterogeneous integration structure for artificial intelligence computing
KR102147912B1 (ko) * 2019-08-13 2020-08-25 삼성전자주식회사 프로세서 칩 및 그 제어 방법들
KR20210034784A (ko) * 2019-09-23 2021-03-31 삼성전자주식회사 솔리드 스테이트 드라이브 장치 및 그 제조 방법
KR20210042757A (ko) 2019-10-10 2021-04-20 삼성전자주식회사 Pim을 채용하는 반도체 메모리 장치 및 그 동작 방법
US11769043B2 (en) 2019-10-25 2023-09-26 Samsung Electronics Co., Ltd. Batch size pipelined PIM accelerator for vision inference on multiple images
WO2021126272A1 (en) * 2019-12-20 2021-06-24 Hewlett-Packard Development Company, L.P. Machine learning workload orchestration in heterogeneous clusters
US11315611B2 (en) 2020-01-07 2022-04-26 SK Hynix Inc. Processing-in-memory (PIM) system and operating methods of the PIM system
US11385837B2 (en) 2020-01-07 2022-07-12 SK Hynix Inc. Memory system
TW202141290A (zh) 2020-01-07 2021-11-01 韓商愛思開海力士有限公司 記憶體中處理（ｐｉｍ）系統和ｐｉｍ系統的操作方法
US11748100B2 (en) * 2020-03-19 2023-09-05 Micron Technology, Inc. Processing in memory methods for convolutional operations
US11941433B2 (en) 2020-03-24 2024-03-26 Via Technologies Inc. Computing apparatus and data processing method for offloading data processing of data processing task from at least one general purpose processor
TWI811620B (zh) * 2020-03-24 2023-08-11 威盛電子股份有限公司 運算裝置與資料處理方法
CN111813526A (zh) * 2020-07-10 2020-10-23 深圳致星科技有限公司 用于联邦学习的异构处理系统、处理器及任务处理方法
KR20220032366A (ko) 2020-09-07 2022-03-15 삼성전자주식회사 가변적인 모드 설정을 수행하는 메모리 장치 및 그 동작방법
WO2022139835A1 (en) * 2020-12-23 2022-06-30 Futurewei Technologies, Inc. Server architecture with configurable universal expansion slots
CN115469800A (zh) 2021-06-10 2022-12-13 三星电子株式会社 数据处理系统以及用于访问异构存储器系统的方法
US20230275066A1 (en) * 2022-02-25 2023-08-31 Nanya Technology Corporation Semiconductor structure and manufacturing method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080016374A1 (en) * 2006-07-13 2008-01-17 International Business Machines Corporation Systems and Methods for Asymmetrical Performance Multi-Processors
US20140181453A1 (en) * 2012-12-20 2014-06-26 Advanced Micro Devices, Inc. Processor with Host and Slave Operating Modes Stacked with Memory
US20140380003A1 (en) * 2013-06-25 2014-12-25 Advanced Micro Devices, Inc. Method and System for Asymmetrical Processing With Managed Data Affinity
TW201612753A (en) * 2014-05-08 2016-04-01 Micron Technology Inc In-memory lightweight coherency
TW201626207A (zh) * 2014-10-01 2016-07-16 三星電子股份有限公司 記憶體內處理方法以及記憶體模組
TW201729074A (zh) * 2015-11-03 2017-08-16 英特爾公司 在處理器中致能旗標操作之移除及重建技術

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4951193A (en) * 1986-09-05 1990-08-21 Hitachi, Ltd. Parallel computer with distributed shared memories and distributed task activating circuits
US5918248A (en) * 1996-12-30 1999-06-29 Northern Telecom Limited Shared memory control algorithm for mutual exclusion and rollback
US20030216874A1 (en) * 2002-03-29 2003-11-20 Henry Manus P. Drive techniques for a digital flowmeter
US7155602B2 (en) * 2001-04-30 2006-12-26 Src Computers, Inc. Interface for integrating reconfigurable processors into a general purpose computing system
US6794273B2 (en) 2002-05-24 2004-09-21 Fujitsu Limited Semiconductor device and manufacturing method thereof
JP3825370B2 (ja) 2002-05-24 2006-09-27 富士通株式会社 半導体装置の製造方法
US8108656B2 (en) * 2002-08-29 2012-01-31 Qst Holdings, Llc Task definition for specifying resource requirements
EP1443417A1 (en) * 2003-01-31 2004-08-04 STMicroelectronics S.r.l. A reconfigurable signal processor with embedded flash memory device
GB2409066B (en) * 2003-12-09 2006-09-27 Advanced Risc Mach Ltd A data processing apparatus and method for moving data between registers and memory
US7506297B2 (en) * 2004-06-15 2009-03-17 University Of North Carolina At Charlotte Methodology for scheduling, partitioning and mapping computational tasks onto scalable, high performance, hybrid FPGA networks
TWI251171B (en) * 2004-09-21 2006-03-11 Univ Tsinghua Task scheduling method with low power consumption and a SOC using the method
GB0519981D0 (en) * 2005-09-30 2005-11-09 Ignios Ltd Scheduling in a multicore architecture
US8412872B1 (en) 2005-12-12 2013-04-02 Nvidia Corporation Configurable GPU and method for graphics processing using a configurable GPU
JP4934356B2 (ja) * 2006-06-20 2012-05-16 株式会社日立製作所 映像処理エンジンおよびそれを含む映像処理システム
GB2443277B (en) * 2006-10-24 2011-05-18 Advanced Risc Mach Ltd Performing diagnostics operations upon an asymmetric multiprocessor apparatus
US8296743B2 (en) 2007-12-17 2012-10-23 Intel Corporation Compiler and runtime for heterogeneous multiprocessor systems
JP5331427B2 (ja) 2008-09-29 2013-10-30 株式会社日立製作所 半導体装置
US8041852B1 (en) * 2008-12-09 2011-10-18 Calos Fund Limited Liability Company System and method for using a shared buffer construct in performance of concurrent data-driven tasks
US7996564B2 (en) * 2009-04-16 2011-08-09 International Business Machines Corporation Remote asynchronous data mover
US8310492B2 (en) * 2009-09-03 2012-11-13 Ati Technologies Ulc Hardware-based scheduling of GPU work
US8874943B2 (en) 2010-05-20 2014-10-28 Nec Laboratories America, Inc. Energy efficient heterogeneous systems
CN103080903B (zh) * 2010-08-27 2016-07-06 富士通株式会社 调度器、多核处理器系统以及调度方法
US8996644B2 (en) 2010-12-09 2015-03-31 Solarflare Communications, Inc. Encapsulated accelerator
US8745626B1 (en) * 2012-12-17 2014-06-03 Throughputer, Inc. Scheduling application instances to configurable processing cores based on application requirements and resource specification
US9329843B2 (en) 2011-08-02 2016-05-03 International Business Machines Corporation Communication stack for software-hardware co-execution on heterogeneous computing systems with processors and reconfigurable logic (FPGAs)
US8990518B2 (en) 2011-08-04 2015-03-24 Arm Limited Methods of and apparatus for storing data in memory in data processing systems
EP2856315A4 (en) * 2012-05-30 2016-02-17 Intel Corp TERMINATION REQUEST BETWEEN A HETEROGEN GROUP OF PROCESSORS
US20140040532A1 (en) 2012-08-06 2014-02-06 Advanced Micro Devices, Inc. Stacked memory device with helper processor
US9304730B2 (en) 2012-08-23 2016-04-05 Microsoft Technology Licensing, Llc Direct communication between GPU and FPGA components
US8737108B2 (en) 2012-09-25 2014-05-27 Intel Corporation 3D memory configurable for performance and power
US8996781B2 (en) * 2012-11-06 2015-03-31 OCZ Storage Solutions Inc. Integrated storage/processing devices, systems and methods for performing big data analytics
US9110778B2 (en) * 2012-11-08 2015-08-18 International Business Machines Corporation Address generation in an active memory device
US9135185B2 (en) 2012-12-23 2015-09-15 Advanced Micro Devices, Inc. Die-stacked memory device providing data translation
US9658977B2 (en) * 2013-03-15 2017-05-23 Micron Technology, Inc. High speed, parallel configuration of multiple field programmable gate arrays
US9135062B2 (en) * 2013-04-09 2015-09-15 National Instruments Corporation Hardware assisted method and system for scheduling time critical tasks
US9424079B2 (en) 2013-06-27 2016-08-23 Microsoft Technology Licensing, Llc Iteration support in a heterogeneous dataflow engine
US9600346B2 (en) * 2013-07-10 2017-03-21 International Business Machines Corporation Thread scheduling across heterogeneous processing elements with resource mapping
US9934043B2 (en) 2013-08-08 2018-04-03 Linear Algebra Technologies Limited Apparatus, systems, and methods for providing computational imaging pipeline
US11132328B2 (en) * 2013-12-20 2021-09-28 Rambus, Inc. High level instructions with lower-level assembly code style primitives within a memory appliance for accessing memory
EP3100562B1 (en) * 2014-01-31 2018-03-07 Telefonaktiebolaget LM Ericsson (publ) Scheduling in cellular communication systems
US9444827B2 (en) * 2014-02-15 2016-09-13 Micron Technology, Inc. Multi-function, modular system for network security, secure communication, and malware protection
US20170016933A1 (en) * 2014-03-10 2017-01-19 Openiolabs Ltd Scanning ion conductance microscopy
US9785481B2 (en) * 2014-07-24 2017-10-10 Qualcomm Innovation Center, Inc. Power aware task scheduling on multi-processor systems
US10691663B2 (en) * 2014-09-16 2020-06-23 Sap Se Database table copy
US9424092B2 (en) * 2014-09-26 2016-08-23 Microsoft Technology Licensing, Llc Heterogeneous thread scheduling
CN105900064B (zh) * 2014-11-19 2019-05-03 华为技术有限公司 调度数据流任务的方法和装置
CN104615488B (zh) * 2015-01-16 2018-01-19 华为技术有限公司 异构多核可重构计算平台上任务调度的方法和装置
US10528443B2 (en) * 2015-01-30 2020-01-07 Samsung Electronics Co., Ltd. Validation of multiprocessor hardware component
US9542248B2 (en) 2015-03-24 2017-01-10 International Business Machines Corporation Dispatching function calls across accelerator devices
JP6588230B2 (ja) 2015-05-12 2019-10-09 愛知株式会社 収納式テーブル
US9983857B2 (en) * 2015-06-16 2018-05-29 Architecture Technology Corporation Dynamic computational acceleration using a heterogeneous hardware infrastructure
US9698790B2 (en) 2015-06-26 2017-07-04 Advanced Micro Devices, Inc. Computer architecture using rapidly reconfigurable circuits and high-bandwidth memory interfaces
US10540588B2 (en) 2015-06-29 2020-01-21 Microsoft Technology Licensing, Llc Deep neural network processing on hardware accelerators with stacked memory
US10387314B2 (en) * 2015-08-25 2019-08-20 Oracle International Corporation Reducing cache coherence directory bandwidth by aggregating victimization requests
WO2017048294A1 (en) * 2015-09-18 2017-03-23 Hewlett Packard Enterprise Development Lp Memory persistence from a volatile memory to a non-volatile memory
US10031765B2 (en) * 2015-09-24 2018-07-24 Intel Corporation Instruction and logic for programmable fabric hierarchy and cache
US9996268B2 (en) * 2015-12-18 2018-06-12 Toshiba Memory Corporation Memory system and control method of the same
US11550632B2 (en) * 2015-12-24 2023-01-10 Intel Corporation Facilitating efficient communication and data processing across clusters of computing machines in heterogeneous computing environment
JP2017135698A (ja) * 2015-12-29 2017-08-03 株式会社半導体エネルギー研究所 半導体装置、コンピュータ及び電子機器
US11079936B2 (en) * 2016-03-01 2021-08-03 Samsung Electronics Co., Ltd. 3-D stacked memory with reconfigurable compute logic
US9977609B2 (en) * 2016-03-07 2018-05-22 Advanced Micro Devices, Inc. Efficient accesses of data structures using processing near memory
CN106156851B (zh) * 2016-06-24 2019-04-05 科大讯飞股份有限公司 面向深度学习业务的加速装置及方法
US10802992B2 (en) * 2016-08-12 2020-10-13 Xilinx Technology Beijing Limited Combining CPU and special accelerator for implementing an artificial neural network
US10198349B2 (en) * 2016-09-19 2019-02-05 Advanced Micro Devices, Inc. Programming in-memory accelerators to improve the efficiency of datacenter operations
US10416896B2 (en) * 2016-10-14 2019-09-17 Samsung Electronics Co., Ltd. Memory module, memory device, and processing device having a processor mode, and memory system
US20180115496A1 (en) * 2016-10-21 2018-04-26 Advanced Micro Devices, Inc. Mechanisms to improve data locality for distributed gpus
CN108022905A (zh) * 2016-11-04 2018-05-11 超威半导体公司 使用多个金属层的转接板传输线
US20180173619A1 (en) * 2016-12-21 2018-06-21 Sandisk Technologies Llc System and Method for Distributed Logical to Physical Address Mapping
US11119923B2 (en) * 2017-02-23 2021-09-14 Advanced Micro Devices, Inc. Locality-aware and sharing-aware cache coherence for collections of processors
CN107102824B (zh) * 2017-05-26 2019-08-30 华中科技大学 一种基于存储和加速优化的Hadoop异构方法和系统
US10489195B2 (en) * 2017-07-20 2019-11-26 Cisco Technology, Inc. FPGA acceleration for serverless computing
US10474600B2 (en) * 2017-09-14 2019-11-12 Samsung Electronics Co., Ltd. Heterogeneous accelerator for highly efficient learning systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080016374A1 (en) * 2006-07-13 2008-01-17 International Business Machines Corporation Systems and Methods for Asymmetrical Performance Multi-Processors
US20140181453A1 (en) * 2012-12-20 2014-06-26 Advanced Micro Devices, Inc. Processor with Host and Slave Operating Modes Stacked with Memory
US20140380003A1 (en) * 2013-06-25 2014-12-25 Advanced Micro Devices, Inc. Method and System for Asymmetrical Processing With Managed Data Affinity
TW201612753A (en) * 2014-05-08 2016-04-01 Micron Technology Inc In-memory lightweight coherency
TW201626207A (zh) * 2014-10-01 2016-07-16 三星電子股份有限公司 記憶體內處理方法以及記憶體模組
TW201729074A (zh) * 2015-11-03 2017-08-16 英特爾公司 在處理器中致能旗標操作之移除及重建技術

Also Published As

Publication number Publication date
US20220138132A1 (en) 2022-05-05
KR20190030579A (ko) 2019-03-22
US10474600B2 (en) 2019-11-12
US11226914B2 (en) 2022-01-18
US11921656B2 (en) 2024-03-05
US20240193111A1 (en) 2024-06-13
TW201915724A (zh) 2019-04-16
US20190079886A1 (en) 2019-03-14
CN109508316B (zh) 2023-08-18
JP2019053734A (ja) 2019-04-04
US20200042477A1 (en) 2020-02-06
KR102689910B1 (ko) 2024-07-31
JP7028745B2 (ja) 2022-03-02
CN109508316A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
TWI754752B (zh) 異構計算環境的設備及系統
US10522193B2 (en) Processor with host and slave operating modes stacked with memory
EP4002134A1 (en) Direct memory access (dma) engine with network interface capabilities
US20210263857A1 (en) Gpu virtualisation
TWI746878B (zh) 高頻寬記憶體系統以及邏輯裸片
US8478926B1 (en) Co-processing acceleration method, apparatus, and system
US11257526B2 (en) Sector-aligned memory accessible to programmable logic fabric of programmable logic device
US9244629B2 (en) Method and system for asymmetrical processing with managed data affinity
US9582463B2 (en) Heterogeneous input/output (I/O) using remote direct memory access (RDMA) and active message
US20200119736A1 (en) Fast memory for programmable devices
US20210406091A1 (en) Technologies to offload workload execution
WO2017046354A1 (en) Game engine on a chip
CN114662088A (zh) 用于提供对内核和用户空间存储器区域的访问的技术
US9081766B2 (en) Memory and process sharing via input/output with virtualization
Lu et al. A novel NVM memory file system for edge intelligence
US20220058062A1 (en) System resource allocation for code execution
US20240201990A1 (en) Fused Data Generation and Associated Communication
TWI836055B (zh) 用於暫存器記憶體的系統及設備
Bougioukou et al. A Hybrid Device Driver for Next-Generation Solid-State Drives