TW201351276A - 計算工作的排程和執行 - Google Patents

Abstract

本發明的一個具體實施例揭示一種選擇複數個處理器內含的第一處理器來接收與計算任務相關工作之技術。該技術牽涉到：分析該等複數個處理器內每一處理器的狀態資料，以識別已經被指派一個計算任務並且有資格接收與該一計算任務有關工作的一或多個處理器；從識別為有資格的每一該等一或多個處理器接收一可用值，指出該處理器接收新工作的容量；根據從該等一或多個處理器接收的該等可用值，選擇一第一處理器來接收關於該一計算任務的工作；以及將關於該一計算任務的該工作透過一協作執行緒陣列(cooperative thread array，CTA)發行至該第一處理器。

Description

計算工作的排程和執行

本發明一般來說係關於計算任務，尤其係關於計算任務的排程和執行。

傳統在多重處理器系統內執行的計算任務排程都依賴應用程式或驅動程式。在計算任務執行期間，驅動程式與多重處理器間之允許該驅動程式排程該等計算任務所需的互動會延遲該等計算任務的執行。

因此，業界內需要一種系統及方法，用於根據處理資源以及可用計算任務的優先順序，動態排程用於執行的計算任務。重要的是該排程機制不應依賴或需要軟體或驅動程式互動。

本發明的一個具體實施例揭示一種選擇複數個處理器內含的第一處理器來接收與計算任務相關工作之方法。該方法牽涉到：分析該等複數個處理器內每一處理器的狀態資料，以識別已經被指派一個計算任務並且有資格接收與該一計算任務有關工作的一或多個處理器；從識別為有資格的每一該等一或多個處理器接收一可用值，指出該處理器接收新工作的容量；根據從該等一或多個處理器接收的該等可用值，選擇一第一處理器來接收關於該一計算任務的工作；以及將關於該一計算任務的該工作透過一協作執行緒陣列(CTA，Cooperative thread array)發行至該第一處理器。

本發明的另一個具體實施例揭示一種用於指派一計算任務至複數個處理器內含的一第一處理器之方法。該方法牽涉到分析複數個計算任務內每一計算任務，以識別有資格指派至該第一處理器的一或多個計算任務，其中每一計算任務都列在一 第一表格內，並且關聯於一優先順序值以及指出該計算任務加入該第一表格之時間的一分配順序。該技術進一步牽涉到根據該優先順序值與該分配順序至少之一者，從該等已識別的一或多個計算任務當中選擇一第一計算任務，並將該第一計算任務指派至該第一處理器來執行。

進一步具體實施例提供一非暫態電腦可讀取媒體以及執行上面所揭示個別方法的一電腦系統。

在以下描述中，揭示許多特定細節以對本發明有更徹底之理解。但是，精通此技術的人士應該了解，在無一或多個該等特定細節之下還是可實施本發明。

系統概觀

第一圖為例示設置來實施本發明一或多個態樣的電腦系統100之方塊圖。電腦系統100包括一中央處理單元(CPU，Central processing unit)102，以及透過一互連路徑通訊的一系統記憶體104，其中該路徑可包括一記憶體橋接器105。例如可為北橋晶片的記憶體橋接器105透過匯流排或其他通訊路徑106(例如超傳輸連結)，連接至一輸入/輸出(I/O，Input/Output)橋接器107。例如可為南橋晶片的I/O橋接器107接收來自一或多個使用者輸入裝置108(例如鍵盤、滑鼠)的使用者輸入，並透過通訊路徑106和記憶體橋接器105將該輸入轉送至CPU 102。一並行處理子系統112透過匯流排或第二通訊路徑113(例如快速周邊組件互連(PCI，Express Peripheral Component Interconnect Express)、加速圖形連接埠(Accelerated Graphics Port)或超傳輸連結)耦合至記憶體橋接器105；在一個具體實施例內，並行處理子系統112為傳遞畫素給顯示裝置110(例如傳統陰極射線管或液晶顯示監視器)的圖形子系統。系統磁碟114也連接至I/O橋接器107。一開關116提供I/O橋接器107 與其他組件，像是網路配接器118以及許多外接卡120和121之間的連接。其他組件(未明確顯示)，包括萬用序列匯流排(USB，Universal serial bus)或其他連接埠連接、光碟(CD，Compact Disc)機、數位視訊光碟(DVD，Digital Video Disc)機、薄膜記錄裝置等等，也可連接至I/O橋接器107。第一圖內顯示的許多通訊路徑，包括特地指名的通訊路徑106和113，都可使用任何合適的協定來實施，例如PCI Express、加速圖形連接埠(AGP，Accelerated Graphics Port)、超傳輸或任何其他匯流排或點對點通訊協定，以及不同裝置之間的連接都可使用業界內已知的不同協定。

在一個具體實施例內，並行處理子系統112併入針對圖形與視訊處理最佳化的電路，包括例如視訊輸出電路，並且構成一圖形處理單元(GPU，Graphics processing unit)。在另一具體實施例內，並行處理子系統112併入針對一般用途處理最佳化的電路，同時保留底層計算架構，本文內有更詳細描述。尚且在另一具體實施例內，並行處理子系統112可在單一子系統內合併一或多個其他系統元件，例如結合記憶體橋接器105、CPU 102和I/O橋接器107來形成一單晶片系統(SoC，System on chip)。

吾人將了解，本文中顯示的系統為例示，所以可進行改變與修改。包括橋接器的數量與配置、CPU 102的數量以及並行處理子系統112的數量之這類連接拓撲可依照需求修改。例如在某些具體實施例內，系統記憶體104直接連接至CPU 102，而不是透過橋接器，並且其他裝置透過記憶體橋接器105以及CPU 102與系統記憶體104通訊。在其他替代拓撲中，並行處理子系統112連接至I/O橋接器107或直接連接至CPU 102，而不是連接至記憶體橋接器105。仍舊在其他具體實施例內，I/O橋接器107和記憶體橋接器105可整合成為單一晶片，替代做為一或多個分散裝置。大型具體實施例可包括二或多個 CPU 102以及二或多個並行處理子系統112。本文中顯示的特定組件為選擇性；例如可支援任何數量的外接卡或周邊裝置。在某些具體實施例內，省略開關116，並且網路配接器118和外接卡120、121都直接連接至I/O橋接器107。

第二圖例示根據本發明一個具體實施例的並行處理子系統112。如所示，並行處理子系統112包括一或多個並行處理單元(PPU，Parallel processing unit)202，每一個都耦合至本機並行處理(PP，Parallel processing)記憶體204。一般來說，並行處理子系統包括數量為U的PPU，其中U1。(本文中多個類似物件的實例都用參考號碼標示出該物件，並且括號標示所需的實例。)PPU 202以及並行處理記憶體204可使用一或多個積體電路裝置來實施，例如可程式化處理器、特殊應用積體電路(ASIC，Application specific integrated circuit)或記憶體裝置，或以任何其他技術可行方式。

請再次參閱第一圖與第二圖，在一些具體實施例內，並行處理子系統112內的某些或全部PPU 202為具有顯像管線的圖形處理器，其可設置成執行許多操作，這些操作有關透過記憶體橋接器105和第二通訊路徑113從CPU 102及/或系統記憶體104供應的圖形資料產生畫素資料，與本機並行處理記憶體204(可用來當成圖形記憶體，包括例如傳統畫框緩衝區)互動來儲存與更新畫素資料，傳遞畫素資料給顯示裝置110等等。在某些具體實施例內，並行處理子系統112可包括操作當成圖形處理器的一或多個PPU 202，以及用於一般用途計算的一或多個其他PPU 202。該等PPU可一致或不同，並且每一PPU都可擁有一專屬的並行處理記憶體裝置或無專屬的並行處理記憶體裝置。並行處理子系統112內的一或多個PPU 202可輸出資料至顯示裝置110，或並行處理子系統112內的每一PPU 202都可輸出資料至一或多個顯示裝置110。

在操作上，CPU 102為電腦系統100的主要處理器，控制與協調其他系統組件的操作。尤其是，CPU 102發出命令控制PPU 202的操作。在某些具體實施例內，CPU 102將每一PPU 202的命令串流寫入至一資料結構(第一圖或第二圖內未明確顯示)，其可位於系統記憶體104內、並行處理記憶體204內或CPU 102和PPU 202可存取的其他儲存位置內。指向至每一資料結構的一指標寫入至一推送緩衝區，啟始在該資料結構內該命令串流之處理。PPU 202讀取來自一或多個推送緩衝區的命令串流，然後相對於CPU 102的操作非同步執行命令。利用應用程式透過裝置驅動程式103來控制不同推送緩衝區的排程，指定每一推送緩衝區的執行優先順序。

此時請回頭參閱第二圖以及第一圖，每一PPU 202都包括一I/O單元205，其透過通訊路徑113與電腦系統100的剩餘部份通訊，其連接至記憶體橋接器105(或在替代具體實施例內直接連接至CPU 102)。PPU 202與電腦系統100之剩餘部份的連接也可改變。在某些具體實施例內，並行處理子系統112實施成為可插入電腦系統100內之擴充槽的外接卡。在其他具體實施例內，PPU 202可與例如記憶體橋接器105或I/O橋接器107這類的匯流排橋接器整合在單一晶片上。仍舊在其他具體實施例內，PPU 202的某些或全部元件可與CPU 102整合在單一晶片上。

在一個具體實施例內，通訊路徑113為一PCI Express連結，其中分配專屬通道給每一PPU 202，如業界內所熟知。在此也可使用其他通訊路徑。一I/O單元205產生在通訊路徑113上傳輸的封包(或其他信號)，也從通訊路徑113上接收所有傳入封包(或其他信號)，將該等傳入封包導引至PPU 202的適當組件。例如：有關處理任務的命令可導引至主介面206，而有關記憶體操作的命令(例如讀取或寫入並行處理記憶體204)可 導引至記憶體交叉開關單元210。主介面206讀取每一推送緩衝區，並將該推送緩衝區內儲存的命令串流輸出至一前端212。

每一PPU 202都有利地實施一高並行處理架構。如細節內所示，PPU 202(0)包括一處理叢集陣列230，其包括數量為C的一般處理叢集(GPC，General processing cluster)208，其中C1。每一GPC 208都可同時執行大量的(例如數百或數千)執行緒，其中每一執行緒都是一程式的實例。在許多應用當中，不同的GPC 208可分配用於處理不同種類的程式，或用於執行不同種類的計算。GPC 208的分配取決於每一種程式或計算所賦予的工作負擔而變化。

GPC 208從任務/工作單元207內的工作分配單元當中接收要執行的處理任務，該工作分配單元接收指向被編碼為任務中繼資料(TMD，Task metadata)並儲存在記憶體內的處理任務之指標。該等指向至TMD的指標包括在命令串流內，該命令串流儲存當成一推送緩衝區並由前端單元212從主介面206接收。可編碼為TMD的處理任務包括要處理資料陣列內之索引，以及定義如何處理該資料的狀態參數與命令(例如要執行哪個程式)。任務/工作單元207從前端212接收任務，並且確定在每一TMD指定的處理啟始之前已經將GPC 208設置成有效狀態。一優先順序可指定給每一TMD，用來排程該處理任務的執行。處理任務也可從處理叢集陣列230接收。選擇性，該TMD可包括一參數，其控制該TMD是否要加入處理任務清單(或處理任務指標清單)的頭部或尾部，藉此提供優先順序之上的另一控制等級。

記憶體介面214包括數量為D的分割單元215，這些單元每一個都直接耦合至並行處理記憶體204的一部份，其中D1。如所示，分割單元215的數量一般等於動態隨機存取記憶體(DRAM，Dynamic random access memory)220的數量。在其他具體實施例內，分割單元215的數量可不等於記憶體裝置的 數量。精通此技術人士將了解，DRAM 220可用其他合適的儲存裝置取代，並且可為一般傳統設計，因此省略其詳細說明。像是畫框緩衝區或紋理映射這類的顯像目標可儲存在DRAM 220，允許分割單元215並行寫入每一顯像目標的部分，以有效使用並行處理記憶體204的可用頻寬。

任一GPC 208都可處理寫入並行處理記憶體204內任一DRAM 220的資料。交叉開關單元210設置成將每一GPC 208的輸出導引至任意分割單元215的輸入或至其他GPC 208做進一步處理。GPC 208透過交叉開關單元210與記憶體介面214通訊，來讀取或寫入許多外部記憶體裝置。在一個具體實施例內，交叉開關單元210連接至記憶體介面214來與I/O單元205通訊，以及連接至本機並行處理記憶體204，藉此讓不同GPC 208內的處理核心與系統記憶體104或不在PPU 202本機上的其他記憶體通訊。在第二圖所示的具體實施例中，交叉開關單元210直接連接至I/O單元205。交叉開關單元210可使用虛擬通道，以分隔GPC 208與分割單元215之間的流量串流。

GPC 208同樣可被程式化來執行有關廣泛應用的處理任務，包括但不受限於線性與非線性資料轉換、視訊及/或音訊資料篩選、模型化運算(例如套用物理定律來決定物件的位置、速度以及其他屬性)、影像顯像運算(例如鑲嵌著色器、頂點著色器、幾何著色器及/或畫素著色器程式)等等。PPU 202可從系統記憶體104及/或本機並行處理記憶體204將資料傳輸進入內部(晶片上)記憶體，處理該資料並將結果資料寫回系統記憶體104及/或本機並行處理記憶體204，其中這種資料可由其他系統組件存取，包括CPU 102或另一並行處理子系統112。

一PPU 202可具有任何數量的本機並行處理記憶體204，包括非本機記憶體，並且可在任何組合下使用本機記憶體和系 統記憶體。例如，PPU 202可為統一記憶體架構(UMA，Unified memory architecture)具體實施例內的圖形處理器。在這種具體實施例內，提供少數或無專屬圖形(並行處理)記憶體，並且PPU 202專有地或幾乎專有地使用系統記憶體。在UMA具體實施例內，PPU 202可整合至橋接器晶片或處理器晶片，或提供當成具有高速連結(例如PCI Express)的分散式晶片，透過橋接器晶片或其他通訊方式將PPU 202連接至系統記憶體。

如上述，任何數量的PPU 202都可包括在一並行處理子系統112內。例如，單一外接卡上可提供多個PPU 202，或多個外接卡可連接至通訊路徑113，或一或多個PPU 202可整合到一橋接器晶片上。多PPU系統內的PPU 202可彼此一致或不同。例如，不同的PPU 202可具有不同數量的處理核心、不同數量的本機並行處理記憶體等等。當存在多個PPU 202時，這些PPU可並行操作，以比單一PPU 202還要高產量的方式來處理資料。合併一或多個PPU 202的系統可在許多設置與外形因素之下實施，包括桌上型、膝上型或手持式個人電腦、伺服器、工作站、遊戲機、嵌入式系統等等。

多重並行任務排程

多重處理任務可在GPC 208上同時執行，並且一處理任務可在執行期間產生一或多個「子代」處理任務。任務/工作單元207接收該等任務，並且動態地排程要由GPC 208執行的處理任務以及子代處理任務。

第三A圖為根據本發明的一個具體實施例，第二圖中任務/工作單元207的方塊圖。任務/工作單元207包括一任務管理單元300以及工作分配單元340和狀態304(底下跟第四A圖至第四B圖一起詳細描述其內容)。任務管理單元300根據執行優先順序等級來組織要排程的任務。針對每一優先順序等級，任務管理單元300儲存對應至排程器表321內任務的TMD 322的一指標清單，其中該清單可做為連結清單來實施。TMD 322可儲存在PP記憶體204或系統記憶體104內。任務管理單元300接受任務並且將該等任務儲存在排程器表321內的速率與任務管理單元300排程任務來執行的速率分離，因此任務管理單元300可在排程該等任務之前集中許多任務。每一TMD 322都包括狀態324，其關聯於TMD 322在PPU 202內處理的方式，如本文進一步詳細描述。

工作分配單元340包括一任務表345，其中有插槽，每一插槽讓TMD 322針對執行的任務所佔用。任務管理單元300可在任務表345內有空插槽時排程任務來執行。當無空插槽時，未佔用插槽的較高優先順序任務會驅逐佔用插槽的較低優先順序任務。一任務遭到驅逐時，該任務會停止，並且若該任務尚未執行完畢，則該任務的指標會加入要排程的任務指標清單中，如此稍後會恢復執行該任務。在某些具體實施例內，恢復該任務的地方儲存在該任務的TMD 322內。在一任務執行期間產生子代處理任務時，將該子代任務的指標加入要排程的任務指標清單內。在處理叢集陣列230內執行的TMD 322可產生一子代任務。工作分配單元340也包括串流多重處理器(SM，Streaming multiprocessor)狀態342，其儲存PPU 202內每一SM 310的狀態資料，如本文中更詳細描述。

與從前端212的任務/工作單元207所接收的任務不同，子代任務從處理叢集陣列230接收。子代任務並未插入推送緩衝區或傳輸至該前端。子代任務已經產生或該子代任務的資料已經儲存在記憶體內時，並不會通知CPU 102。透過推送緩衝區提供的該等任務與子代任務間之另一差異在於，透過推送緩衝區提供的該等任務由應用程式定義，而該等子代任務則在該等任務執行期間動態產生。

任務處理概觀

第三B圖為根據本發明的一個具體實施例，第二圖中PPU 202之一者內之GPC 208的方塊圖。每一GPC 208都可設置成 同時執行大量執行緒，其中「執行緒」一詞代表在特定輸入資料集上執行的特定程式之實例。在某些具體實施例內，單一指令多重資料(SIMD，Single-instruction,multiple-data)指令發行技術用於支援大量執行緒的並行執行，而不用提供多個獨立指令單元。在其他具體實施例內，單一指令多重執行緒(SIMT，Single-instruction,multiple-thread)技術用於支援大量一般同步執行緒的並行執行，使用共用指令單元，其設置成發出指令至每一GPC 208內的處理引擎集。不同於一SIMD執行方式，其所有處理引擎一般都執行一致的指令，SIMT執行允許不同執行緒更迅速遵循分散的執行路徑，透過一已知執行緒程式。業界內精通此技術人士將了解，SIMD處理方式代表一SIMT處理方式的功能子集。

透過將處理任務分配至串流多重處理器(SM，Streaming multiprocessor)310的管線管理員305可有利地控制GPC 208的操作。管線管理員305也可設置成利用指定SM 310所輸出的處理資料之目的地，來控制工作分配交叉開關330。

在一個具體實施例內，每一GPC 208都包括數量為M的SM 310，其中M1，每一SM 310都設置成處理一或多個執行緒群組。另外，每一SM 310有利地包括可管路化的一致功能執行單元集(例如執行單元與載入儲存單元，在第三C圖內顯示為執行單元302以及載入儲存單元(LSU，Load-store Unit)303)，允許完成先前指令之前發出新指令，如先前技術所知。可提供任何功能執行單元的組合。在一個具體實施例內，該等功能單元支援許多種運算，包括整數與浮點演算(例如加法與乘法)、比較運算、布林運算(AND、OR、XOR)、位元位移和許多代數函數的計算(例如平面插值、三角函數、指數以及對數函數等等)；並且相同的功能單元硬體可用來執行不同運算。

傳輸至一特定GPC 208的這一系列指令構成一執行緒，如本文先前所定義，並且遍及SM 310內並行處理引擎(未顯示) 的特定數量之同時執行的執行緒之集合在此稱為「包繞」或「執行緒群組」。如本文所使用，「執行緒群組」代表在不同輸入資料上同時執行相同程式的執行緒群組，其中該群組的一個執行緒指派給SM 310內不同的處理引擎。一執行緒群組可包括數量比SM 310內處理引擎數量還要少的執行緒，在此案例中，某些處理引擎會在循環期間處理該執行緒群組時閒置。執行緒群組也可包括數量比SM 310內處理引擎數量還要多的執行緒，在此案例中，將在連續時脈循環上進行處理。因為每一SM 310都可同時支援最多G個執行緒群組，所以在任何已知時間上GPC 208內都可執行最多G*M個執行緒群組。

此外，在SM 310內可同時啟用複數個相關執行緒群組(在不同執行階段內)。此執行緒群組的集合稱為「協作執行緒陣列」(CTA，Cooperative thread array)或「執行緒陣列」。特定CTA的大小等於m*k，其中k為執行緒群組內同時執行的執行緒數量，通常為SM 310內並行處理引擎數量的整數倍數，並且m為SM 310內同時啟用的執行緒群組數量。CTA的大小一般由程式器以及該CTA可用的硬體資源數量，例如記憶體或暫存器來決定。

每一SM 310都包括一層(L1)快取(如第三C圖所示)，或使用SM 310之外對應L1快取內的空間，其用於執行負載與儲存操作。每一SM 310也要存取所有GPC 208之間共享的二層(L2)快取，並且可用於在執行緒之間傳輸資料。最後，SM 310也要存取至晶片外「全域」記憶體，其可包括例如並行處理記憶體204及/或系統記憶體104。吾人了解，PPU 202之外的任何記憶體都可用來當成全域記憶體。此外，一點五層(L1.5)快取335可包括在GPC 208內，設置成接收並保持由SM 310要求而透過記憶體介面214從記憶體擷取的資料，包括指令、統一資料以及常數資料，並且將該要求的資料提供給SM 310。 具有GPC 208內多個SM 310的具體實施例得利地共享共用指令和在L1.5快取335內快取的資料。

每一GPC 208都可包括一記憶體管理單元(MMU，Memory management unit)328，其設置成將虛擬位址映射至實體位址。在其他具體實施例內，MMU 328可位於記憶體介面214之內。MMU 328包括一組頁表項(PTE，Page table entry)，用於將虛擬位址映射至一瓷磚以及選擇性一快取線索引的實體位址。MMU 328可包括能夠位於多重處理器SM 310或L1快取或GPC 208內的位址轉譯後備緩衝器(TLB，Translation lookaside buffer)或快取。該實體位址經過處理來分配本機存取的表面資料，以便讓有效要求交錯於分割單元215之間。該快取線索引可用於決定一快取線的要求是否命中或未命中。

在圖形與計算應用當中，GPC 208可經過設置，如此每一SM 310都耦合至一紋理單元315，用於執行紋理映射操作，例如決定紋理樣本位置、讀取紋理資料以及篩選該紋理資料。紋理資料從內部紋理L1快取(未顯示)讀取，或在某些具體實施例內從SM 310內的L1快取讀取，並且依照需求從所有GPC 208、並行處理記憶體204或系統記憶體104之間共享的L2快取擷取。每一SM 310都輸出處理過的任務至工作分配交叉開關330，以便將該處理過的任務提供至另一GPC 208供進一步處理，或透過交叉開關單元210將該處理過的任務儲存在L2快取、並行處理記憶體204或系統記憶體104內。預先掃描場化作業(preROP，Pre-raster Operation)325設置成從SM 310接收資料，將資料引導至分割單元215內的ROP單元，並且執行顏色混合最佳化、組織畫素顏色資料以及執行位址轉譯。

吾人將了解，本文中顯示的核心架構為例示，所以可進行改變與修改。任何數量的處理單元，例如SM 310或紋理單元315、preROP 325都可包括在GPC 208內。進一步如第二圖內 所示，PPU 202可包括任意數量之功能有利地彼此類似的GPC 208，如此執行行為並不取決於接收特定處理任務的是哪一個GPC 208。進一步，每一GPC 208都得利於與其他GPC 208無關的操作，運用分離並分散的處理單元、L1快取，來執行一或多個應用程式的任務。

精通此技術人士將了解，第一圖、第二圖、第三A圖和第三B圖內描述的架構並非用於限制本發明範疇，本說明書內的技術可在任何正確設置的處理單元上實施，在不背離本發明範疇之下包括但不受限於一或多個CPU、一或多個多核心CPU、一或多個PPU 202、一或多個GPC 208、一或多個圖形或特殊用途處理單元等等。

在本發明的具體實施例內，吾人想要使用一計算系統的PPU 202或其他處理器，運用執行緒陣列來執行一般用途計算。該執行緒陣列內的每一執行緒都可指派一個獨一的執行緒識別碼(「執行緒ID」)，其可在該執行緒執行期間由該執行緒存取。該執行緒ID可定義為一維度或多維度數值，控制該執行緒處理行為的許多態樣。例如，一執行緒ID可用於決定一執行緒要處理的是輸入資料集的哪一部分及/或決定一執行緒要產生或寫入的是輸入資料集的哪一部分。

每個執行緒指令的序列可包括至少一個指令，其定義代表執行緒與執行緒陣列的一或多個其他執行緒之間的協作行為。例如，每一執行緒指令的序列可包括將在該序列內特定點上之該代表執行緒運算執行中斷，直到一或多個其他執行緒到達該特定點上為止之指令、讓該代表執行緒將一或多個其他執行緒可存取的資料儲存至一共享記憶體內之指令、讓該代表執行緒根據其執行緒ID原子性地讀取與更新一共享記憶體內一或多個該等其他執行緒可存取的資料之指令等等。CTA程式也可包括一指令，計算該共享記憶體內所要讀取資料的位址，其中該位址為執行緒ID的函數。利用定義合適的功能並且提 供同步技術，資料可利用CTA的一個執行緒寫入共享記憶體內一已知位置，並且以可預測方式用相同CTA的不同執行緒從該位置當中讀取。因此，支援在執行緒之間共享的任何資料形式，並且一CTA內的任何執行緒都可與相同CTA內任何其他執行緒共享資料。在CTA執行緒之間共享的資料程度(若有的話)由該CTA程式決定；如此吾人了解在使用CTA的特定應用當中，根據該CTA程式，CTA的執行緒彼此之間會或可能不會確實共享資料，並且在本文中可同義地使用「CTA」與「執行緒陣列」之詞彙。

第三C圖為根據本發明的一個具體實施例，第三B圖中SM 310的方塊圖。SM 310包括一指令L1快取370，其設置成透過L1.5快取335自記憶體接收指令與常數。包繞排程器與指令單元312接收來自指令L1快取370的指令與常數，並且根據該等指令與常數控制本機暫存檔304以及SM 310功能單元。SM 310功能單元包括N個執行(執行或處理)單元302以及P個載入儲存單元(LSU，Load-store unit)303。

SM 310提供具備不同存取階層的晶片上(內部)資料儲存。特殊暫存器(未顯示)可由LSU 303讀取但是無法寫入，並且可用於儲存定義每一執行緒「位置」的參數。在一個具體實施例內，特殊暫存器包括每一執行緒(或SM 310內每一執行單元302)一個暫存器，其儲存一執行緒ID；每一執行緒ID暫存器都只能由個別一個執行單元302存取。特殊暫存器也可包括額外暫存器，可由執行TMD 322(或所有LSU 303)所代表之相同處理任務的所有執行緒讀取，其儲存一CTA識別碼、該CTA維度、該CTA所屬方格的維度(或若TMD 322編碼一佇列任務而非一方格任務時的佇列位置)以及CTA被指派至的TMD 322之識別碼。

若TMD 322為一方格TMD，則執行TMD 322會導致啟動並執行固定數量的CTA，來處理佇列525內所儲存的固定 數量資料。CTA的數量依照方格寬度、高度與深度的乘積來指定。該固定數量的資料可儲存在TMD 322內，或TMD 322可儲存將由CTA處理的資料之指標。TMD 322也儲存該等CTA所執行程式的開始位址。

若TMD 322為佇列TMD，則使用TMD 322的佇列功能，表示要處理的資料量並不需要固定。佇列記錄儲存指派給TMD 322之CTA所處理的資料。該等佇列記錄也代表執行緒執行期間由另一TMD 322產生的子代任務，藉此提供巢狀並行。一般來說，執行緒的執行或包括該執行緒的CTA執行會中止，直到子代任務執行完成為止。在某些具體實施例內，執行緒或中止之CTA儲存其程式狀態、將資料寫入一佇列TMD代表繼續該執行緒或CTA，然後退出，如此允許運行其他執行緒或CTA。該佇列可儲存在TMD 322內，或與TMD 322分開，在此案例中TMD 322儲存該佇列的佇列指標。有利的是，由該子代任務產生的資料可寫入該佇列，同時代表該子代任務的TMD 322正在執行。該佇列可實施為一圓形佇列，如此資料總量並不受限於該佇列的大小。

屬於一方格的CTA具有暗示的方格寬度、高度和深度參數，指示該方格內個別CTA的位置。在初始化期間會寫入特殊暫存器，以回應透過前端212從裝置驅動程式103接收的命令，並且在一處理任務期間不會改變。前端212排程執行每一處理任務。每一CTA都關聯於一特定TMD 322，以便同時執行一或多個任務。此外，單一GPC 208可同時執行多個任務。

與任務結合的一參數記憶體(未顯示)儲存可由該任務(或任何LSU 303)內任何執行緒讀取但無法寫入的執行時間參數(常數)。在一個具體實施例內，裝置驅動程式103在導引SM 310開始執行使用這些參數的任務之前，提供參數至該參數記憶體。任何CTA內的任何執行緒(或SM 310內的任何執行單 元302)都可透過記憶體介面214存取全域記憶體。全域記憶體的部分可儲存在L1快取320內。

每一執行緒都使用本機暫存檔304當成暫存空間；每一暫存器都分配給一個執行緒專用，並且任何本機暫存檔304內的資料都只能由該暫存器被分配到的執行緒存取。本機暫存檔304可實施為實體上或邏輯上區分成P個通路的暫存檔，每一通路都具有某些數量的記錄(在此每一記錄都可儲存例如32位元的字元)。一個通路指派給N個執行單元302以及P個載入儲存單元LSU 303的每一個，並且不同通路內的對應記錄可填入執行相同程式的不同執行緒之資料，來幫助SIMD執行。通路的不同部分可分配給G個同時執行緒群組中不同的執行緒群組，如此本機暫存檔304內的一已知記錄只能由特定執行緒存取。在一個具體實施例內，本機暫存檔304內的特定記錄被保留用於儲存執行緒識別碼，實施特殊暫存器之一者。此外，一統一L1快取375儲存N個執行單元302以及P個載入儲存單元LSU 303的每一通路之統一或常數值。

共享記憶體306可由單一CTA內的執行緒存取；換言之，共享記憶體306內任何位置都可由相同CTA內任何執行緒(或SM 310內任何處理引擎)來存取。共享記憶體306可實施為具有互連的一共享暫存檔或共享晶片上快取記憶體，允許任何處理引擎從該共享記憶體內任何位置讀取或寫入。在其他具體實施例內，共享的狀態空間可映射至晶片外記憶體的每一CTA區域，並且快取在L1快取320內。參數記憶體可實施為該相同共享暫存檔或實施共享記憶體306的共享快取記憶體內一指定區段，或實施為LSU 303具有唯讀存取的一個別共享暫存檔或晶片上快取記憶體。在一個具體實施例內，實施該參數記憶體的區域也用於儲存CTA ID和任務ID，以及CTA和方格維度或佇列位置，實施特殊暫存器的部份。SM 310內每一LSU 303都耦合至統一位址映射單元352，將提供用於載入與儲存 統一記憶體空間內所指定指令的一位址轉換為每一分散記憶體空間內的一位址。因此，利用指定該統一記憶體空間內一位址，可使用一指令來存取任何本機、共享或全域記憶體空間。

每一SM 310內的L1快取320都可用於快取私用的每一執行緒之本機資料，並且也快取每一應用程式之全域資料。在某些具體實施例內，每一CTA共享資料可快取在L1快取320內。LSU 303可透過一記憶體與快取互連380耦合至共享記憶體306以及L1快取320。

計算任務的排程和執行

第四A圖至第四B圖根據本發明的一個具體實施例，例示用於指派任務至第三A圖至第三C圖中SM 310之方法400。雖然已經結合第一圖至第三C圖的系統來描述方法步驟，精通此技術人士將了解，設置來執行該等方法步驟(以任何順序)的任何系統都在本發明範疇內。

如所示，方法400開始於步驟402，在此工作分配單元(WDU，Work Distribution Unit)340決定一或多個TMD 322是否包括在第三A圖的任務表345內。在步驟404上，WDU 340將複數個SM內含的第一SM(例如PPU 202內含的SM 310)設定為一當前SM。在步驟406上，WDU 340將任務表345內含的第一TMD 322設定為當前TMD。

在步驟408上，WDU 340決定其中有當前TMD的任務表345插槽是否已經接收一解除分配要求。在步驟408上，若WDU 340決定其中有該當前TMD的任務表345插槽已經接收一解除分配要求，則該當前TMD不應為任何SM 310。因此方法400前往步驟428，在此WDU 340將任務表345內含的下一個TMD 322設定為當前TMD。接著，方法400回到上述步驟408。

相反地，若在步驟408上WDU 340決定其中有當前TMD的任務表345插槽並未接收一解除分配要求，則方法400前往步驟410。

在步驟410上，WDU 340決定當前TMD是否包括CTA內尚未發行的工作。若在步驟410上WDU 340決定該當前TMD不含在CTA內尚未發行的工作，則方法400前往上述步驟428。否則，方法400前往步驟412。

在一個具體實施例內，每一TMD 322都在排程執行TMD 322時由例如任務管理單元300和工作分配單元340設定的準靜止狀態所構成。每一TMD 322也在TMD 322執行時，例如CTA啟動並完成該TMD 322時，由更新的動態狀態所構成。

TMD 322內包括許多狀態組件，與TMD 322在PPU 202內處理的方式有關。在一個具體實施例內，TMD 322包括追蹤TMD 322內尚未完成的工作項目數量之狀態。在某些案例中，TMD 322也可包括指定需要被包括在發行至SM 310的每一CTA內所含工作項目數量之狀態(此後稱為「聯合規則」)，加上指定最終啟動CTA來執行之前等待累積最低所需工作項目數量所允許臨界時間量之狀態(此後稱為「聯合逾時」)。一TMD指定每一CTA有M個工作項目時，則每一CTA讀取N個項目。例如，此處可有複數個TMD將工作項目寫入佇列TMD，其中該佇列TMD的每一CTA都處理N個工作項目。這將N個個別工作項目「聯合」至一個CTA內。不過，複數個TMD可能不會產生N可整除的工作項目數量，這造成會留下一部分工作項目集合未解決。為了避開上述情況，在一個具體實施例內，該TMD包括允許用M個工作項目啟動CTA的逾時值，其中M<N。該M的值當成至CTA的輸入，並且根據M之值，寫入關聯於該CTA的指令來處理M或N個工作項目。

TMD 322也包括指定TMD 322的執行優先順序等級之狀態，例如介於1-10之間的優先順序等級，其中最小數代表最高執行優先順序等級。TMD 322也包括指出在由任務管理單元300排程之後，任務表345內TMD 322所在插槽是否為有效插槽之狀態，也就是並未要求TMD 322聯合之處。TMD 322也可包括指定PPU 202內哪個SM 310可被指配TMD 322的SM聯繫規則之狀態，如底下與第四A圖至第四B圖結合的詳細說明。每一TMD 322亦可包括指出任務工作單元207在「節流模式」內運作時是否只執行TMD 322，這牽涉到單一CTA可存取PPU 202內含之SM 310可存取的所有共享記憶體。在一個具體實施例內，該節流模式的狀態儲存在狀態304內，並且在WDU 340於節流與非節流模式之間切換時由WDU 340更新。每一TMD 322也可包括指定TMD 322為一依序任務之狀態，因此在任何已知時間上都具有最多一個CTA「執行中」(即是由SM 310執行)。

在步驟412上，WDU 340決定任務表345內的任何TMD 322是否指示一節流模式屬性。在步驟412上若WDU 340決定任何TMD指示一節流模式屬性，則方法400前往步驟414，來決定是否在任務/工作單元207內已經啟動一節流模式。若在步驟414上WDU 340決定在任務/工作單元207內尚未啟動一節流模式，則方法400前往步驟450。如所示，在步驟450上WDU 340等待到所有未解決的TMD 322都已經執行為止，即是TMD 322並未指示一節流模式已經啟動。然後方法400前往步驟452，在此WDU 340傳送節流狀態給每一SM 310。在一個具體實施例內，每一SM 310的該節流狀態都包含一值，指出SM 310可存取的一部分共享記憶體大小，加上該部分共享記憶體開始的一基本位址。如此，啟用較少SM 310時，增加針對每一SM 310而指出該部分共享記憶體大小之該值。 相反地，啟用較多SM 310時，減少針對每一SM 310而指出該部分共享記憶體大小之該值。

在步驟454上，WDU 340啟動節流模式，接著方法400回到步驟402。WDU 340繼續在節流模式內操作，直到步驟412為否，即是直到WDU 340決定任務表345內含的TMD 322未指出一節流模式屬性。因此WDU 340在步驟413上取消啟動該節流模式，接著方法400繼續步驟416。

在步驟416上，WDU 340決定當前TMD是否為一依序任務。若在步驟416上WDU 340決定該當前TMD為一依序任務，則方法400前往步驟418，在此WDU 340決定該當前TMD是否具有執行中的CTA，即是目前由SM 310執行的CTA。若在步驟418上WDU 340決定該當前TMD具有執行中的CTA，則方法400前往上述步驟428。否則，方法400前往步驟420，如下所述。

現在請回頭參閱步驟416，若WDU 340決定當前TMD並非一依序任務，則方法400前往步驟419。在步驟419上，WDU 340決定是否滿足該當前TMD 322的一啟動配額(若有的話)。在一個具體實施例內，每一TMD 322都包括一啟動配額啟用位元以及一啟動配額值。該啟動配額啟用位元設定為「是」時，WDU 340決定CTA的數量是否等於已經啟動的該啟動配額值。因此，若在步驟419上WDU 340決定已經滿足TMD 322的該啟動配額(若有的話)，則方法400前往步驟460。

在步驟460上，WDU 340剖析任務表345並選擇具有與當前TMD 322相同優先順序等級的一TMD 322，接著WDU 340將選取的TMD 322設定為當前TMD 322。然後方法400前往步驟402。

此時請回頭參閱步驟419，若WDU 340決定尚未滿足TMD 322的啟動配額，或無啟動配額指定給TMD 322，則方法前往步驟420。

在步驟420上，WDU 340決定當前TMD的聯繫規則或節流模式參數是否禁止該當前TMD指派給當前SM。在步驟420上若WDU 340決定該當前TMD的聯繫規則或節流模式參數禁止該當前TMD指派給該當前SM，則方法400前往步驟428，如上述。否則在步驟424上，WDU 340將該當前TMD加入對應至該當前SM的一任務清單內。

在步驟426上，WDU 340決定加入的TMD 322是否包括在任務表內。若在步驟426上WDU 340決定加入的TMD 322包括在該任務表345內，則方法400前往步驟428，如上述。如此，任務表345內含的每一TMD 322都與當前SM比較，來決定哪個TMD 322最有資格指派給該當前SM，如底下步驟434內的描述。

不過，若在步驟426上WDU 340決定加入的TMD 322並不包括在任務表345內，則所有TMD 322都已經與當前SM比較過，因此方法400前往步驟430。在步驟430上，WDU 340根據與任務清單內含的每一TMD 322相關聯之執行優先順序值，執行該任務清單的主要排序。在步驟432上，WDU 340根據與該任務清單內含的每一TMD 322相關聯之一時間戳記值，執行該任務清單的次要排序，其中該時間戳記值代表TMD 322插入任務表345的時間。在一個具體實施例內，該等時間戳記值保存在狀態304內，或可包括當成任務表345內之一行。

在某些具體實施例內，WDU 340替代時間戳記，保存任務表345內含插槽的排序清單，其中每次分配或解除分配一新任務時，都分別插入或刪除該清單內的記錄。如此，該插槽的排序清單仍舊有組織，並且只有在每次分配或刪除一任務時才會重新排序，如此可迅速識別具有最高優先順序值的最舊TMD 322並指派該TMD 322至當前SM，如底下步驟434上所述。

在步驟434上，WDU 340將具有最高優先順序值以及最舊時間戳記值的TMD 322指派給當前SM。在一個具體實施例內，該當前SM具有相關聯的狀態，其由WDU 340設定並且在步驟434上TMD 322指派給該當前SM時儲存在SM狀態342內。此後，隨著對應至已經指配給該當前SM的TMD 322之CTA在該當前SM上執行，WDU 340修改該狀態，如底下參閱第五圖的詳細描述。在一個具體實施例內，該狀態包含許多屬性，包括「TASK_ASSIGN」，指出一有資格的TMD是否指派給該當前SM。該狀態也可包括一「STATE_SYNC」屬性，指出WDU 340是否等待發行一TMD 322狀態更新至該當前SM，或WDU 340是否等待該當前SM確認一狀態更新，如底下步驟438上更詳細描述。該狀態也可包括一「CTA_LAUNCH」屬性，指出該當前SM已經準備接收並執行來自步驟434中TMD 322的一CTA(受到具有接受並執行該CTA的容量之該當前SM的支配)。其他狀態可用於獲取用於該當前SM的一CTA可用值，描述於底下第五圖內，代表WDU 340可立即啟動至該當前SM(即是WDU 340從該當前SM接收任何更多CTA完成訊息之前)的加入之CTA數量。

在步驟436上，WDU 340決定並非當前TMD的一TMD 322之前是否已經指派至當前SM。若在步驟436上WDU 340決定並非該當前TMD的一TMD 322之前已經指派至該當前SM，則方法400前往步驟438，在此WDU 340將與該當前TMD相關聯的狀態資料傳送給該當前SM。否則，方法400前往步驟440。

在步驟440上，WDU 340決定加入的SM 310是否包括在複數個SM 310內。若在步驟440上WDU 340決定加入的SM 310包括在該複數個SM 310內，則方法400前往步驟442，在此WDU 340將該複數個SM 310內含的下一個SM 310設定成當前SM。不過若在步驟440上WDU 340決定該複數個SM 內不含加入的SM，則方法400回到步驟402，並且根據本文的技術重複方法400。

如此在方法400結尾上，根據例如任務表345內含的TMD 322之狀態資料(若有的話)，將零或多個SM 310指派給一TMD 322。結合繼續指派不同TMD 322給不同SM 310，工作分配單元340也設置成繼續選擇一SM，讓來自指派給該一個SM的TMD 322之CTA應該發行，這結合第五圖於底下有所描述。

第五圖例示根據本發明的一個具體實施例，用於選擇一SM 310來接收與一任務相關的工作之方法500。雖然已經結合第一圖至第三C圖的系統來描述方法步驟，精通此技術人士將了解，設置來執行該等方法步驟(以任何順序)的任何系統都在本發明範疇內。

如所示，方法500開始於步驟502，其中WDU 340從PPU 202內含的每一SM 310當中，接收SM 310是否有資格從與SM 310相關聯的一TMD 322接收一CTA(若有的話)之一指示。在一個具體實施例內，該指示以從與SM 310相關聯之狀態中所獲得的「備妥」狀態形式傳輸，並儲存在第三A圖的SM狀態342內。在一個範例中，若已經將TMD 322指派給SM 310(例如根據上述結合第四A圖至第四B圖描述的方法步驟400)，並且與TMD 322相關聯的狀態已經傳送至SM 310並由SM 310確認(例如根據方法400的方法步驟438)，則決定SM 310已經備妥。根據WDU 340是否在上面結合第四A圖至第四B圖所描述的節流模式內操作，也可決定啟用或停用SM 310。指派給SM 310的TMD 322需要啟動本文所描述的該節流模式，並且事實上任務/工作單元207在該節流模式內操作。根據指派給SM 310的TMD 322是否滿足任何聯合規則，可進一步決定SM 310已經備妥。例如，指派給SM 310的TMD 322可指示，在一CTA發行至SM 310之前，例如與TMD 322相關聯的一工作項目佇列必須內含最少八個未解決 的工作項目。再者，如上面結合第四A圖至第四B圖所描述，可實施一聯合逾時以便避開TMD 322內含的未解決工作項目大於零，但是不超過每一CTA的未解決工作項目之臨界最低數量之情況。發生該聯合逾時之時，SM 310變成有資格從TMD 322接收一CTA，假設TMD 322及/或SM 310符合步驟502所述的額外資格需求。

在步驟506上，WDU 340決定是否啟動一負載平衡模式或一循環模式。在一個具體實施例內，由任務/工作單元207的狀態304內儲存之單一位元值來管理該啟動模式。

在步驟508上，WDU 340從每一有資格的SM 310當中接收一CTA可用值。在一個具體實施例內，該CTA可用值為一數值，指出SM 310接受並執行加入之CTA的總容量。此數值根據例如當前由SM 310所執行的CTA數量、最近指派給該SM的任務之每一CTA資源需求以及SM 310可用之自由資源的總數量，由每一SM 310計算得出。

在步驟510上，WDU 340根據CTA可用值來執行有資格SM 310之排序。在步驟512上，WDU 340決定二或多個SM 310是否共享相同最高的CTA可用值。若在步驟512上WDU 340決定二或多個SM 310共享相同最高的CTA可用值，則方法500前往步驟514，在此WDU 340根據固定的SM優先順序清單來選擇該等二或多個SM 310之一者。在一個具體實施例內，該固定SM優先順序清單包括在任務/工作單元207的狀態304內。

請回頭參閱步驟512，若WDU 340決定二或多個SM 310並未共享相同最高的CTA可用值，則方法500前往步驟516，在此WDU 340選擇具有該最高CTA可用值的SM 310。

在步驟518上，WDU 340將TMD 322之指派給選取的SM 310之一CTA發行給選取的SM 310。然後方法500回到步驟502，在此重複方法步驟500，如此一旦至少一個TMD 322 指派給一或多個SM 310並且包括尚未由任何SM 310執行的工作，則WDU 340繼續將CTA發行至一或多個SM 310。

現在請回頭參閱步驟506，若WDU 340決定任務/工作單元207的啟動模式指示一循環模式，則方法500前往步驟520。在步驟520上，WDU 340從步驟502上決定的有資格SM 310當中選擇數值上下一個SM 310。在一個具體實施例內，WDU 340在被發行一CTA的最後一個SM之狀態304內保留一識別值。如此WDU 340可利用持續發行一CTA至具有數值上下一個SM識別值的該SM，並據此更新狀態304內的該識別值，來實施一循環技術。

本發明的一個具體實施例可實施當成搭配電腦系統使用的程式產品。該程式產品的程式定義具體實施例(包括本文所述的方法)的功能，並且可包含在電腦可讀取儲存媒體上。例示的電腦可讀取儲存媒體包括但不受限於：(i)其上資訊永久儲存的不可抹寫儲存媒體(例如電腦內的唯讀記憶體裝置，例如小型碟片唯讀記憶體(CD-ROM，Compact Disc Read Only Memory)光碟機可讀取的CD-ROM光碟、快閃記憶體、唯讀記憶體(ROM)晶片或任何一種固態非揮發性半導體記憶體)；以及(ii)其上儲存可變資訊的可抹寫儲存媒體(例如磁碟機或硬碟內的軟磁碟或任何一種固態隨機存取半導體記憶體)。

在此已經參考特定具體實施例在以上說明本發明。不過精通此技術的人士將會了解，在不背離申請專利範圍內提出之本發明廣泛精神以及範疇下，可進行許多修改與變更。因此前述說明與圖式僅供參考而不做限制。

100‧‧‧電腦系統

102‧‧‧中央處理單元

103‧‧‧裝置驅動程式

104‧‧‧系統記憶體

105‧‧‧記憶體橋接器

106‧‧‧通訊路徑

107‧‧‧輸入/輸出橋接器

108‧‧‧使用者輸入裝置

110‧‧‧顯示裝置

112‧‧‧並行處理子系統

113‧‧‧第二通訊路徑

114‧‧‧系統磁碟

116‧‧‧開關

118‧‧‧網路配接器

120、121‧‧‧外接卡

202‧‧‧並行處理單元

204‧‧‧並行處理記憶體

205‧‧‧輸入/輸出單元

206‧‧‧主介面

207‧‧‧任務/工作單元

208‧‧‧一般處理叢集

210‧‧‧記憶體交叉開關單元

212‧‧‧前端

214‧‧‧記憶體介面

215‧‧‧分割單元

220‧‧‧動態隨機存取記憶體

230‧‧‧處理叢集陣列

300‧‧‧任務管理單元

302‧‧‧執行單元

303‧‧‧載入儲存單元

304‧‧‧本機暫存檔

305‧‧‧管線管理員

306‧‧‧共享記憶體

310‧‧‧串流多重處理器

312‧‧‧包繞排程器與指令 單元

315‧‧‧紋理單元

320‧‧‧L1快取

321‧‧‧排程器表

322‧‧‧任務中繼資料

324‧‧‧狀態

325‧‧‧預先掃描場化作業

328‧‧‧記憶體管理單元

330‧‧‧工作分配交叉開關

335‧‧‧L1.5快取

340‧‧‧工作分配單元

342‧‧‧串流多重處理器狀態

345‧‧‧任務表

352‧‧‧統一位址映射單元

370‧‧‧指令L1快取

380‧‧‧記憶體與快取互連

如此上面簡單彙總可詳細了解本發明上述特色的方式，本發明的更特定說明則參照示例具體實施例，某些具體實施例說明於附圖內。不過吾人應該注意，附圖只說明本發明的典型具 體實施例，因此並不對發明範疇產生限制，本發明容許其他等效具體實施例。

第一圖為例示設置來實施本發明一或多個態樣的電腦系統方塊圖。

第二圖為根據本發明的一個具體實施例，用於第一圖中電腦系統的一並行處理子系統之方塊圖。

第三A圖為根據本發明的一個具體實施例，第二圖中任務/工作單元的方塊圖。

第三B圖為根據本發明的一個具體實施例，第二圖中並行處理單元之一者內一般處理叢集的方塊圖。

第三C圖為根據本發明的一個具體實施例，第三B圖中串流多重處理器一部分的方塊圖。

第四A圖至第四B圖根據本發明的一個具體實施例，例示用於指派任務至第三A圖至第三C圖中串流多處理器(SM)之方法。

第五圖例示根據本發明的一個具體實施例，用於選擇一SM來接收與一任務相關工作之方法。

Claims (12)

1. 一種選擇複數個處理器內含的一第一處理器來接收與一計算任務相關工作之電腦實施方法，該方法包含：分析該等複數個處理器內每一處理器的狀態資料，以識別已經被指派一個計算任務並且有資格接收與該一計算任務有關工作的一或多個處理器；從識別為有資格的每一該等一或多個處理器接收一可用值，指出該處理器接收新工作的該容量；根據從該等一或多個處理器接收的該等可用值，選擇一第一處理器來接收關於該一計算任務的工作；以及將關於該一計算任務的該工作透過一協作執行緒陣列(cooperative thread array，CTA)發行至該第一處理器。
2. 如申請專利範圍第1項之電腦實施方法，其中一處理器已經接收並確認與該一個計算任務相關聯的該狀態資料時，則該處理器識別為有資格。
3. 如申請專利範圍第1項之電腦實施方法，其中該一個計算任務與一些未解決工作項目相關聯時，該項目數量大於或等於由該一個計算任務所指出之每一CTA的臨界工作項目數量，則一處理器識別為有資格。
4. 如申請專利範圍第1項之電腦實施方法，其中已經發生一逾時週期，並且與該一個計算任務相關聯的一些未解決工作項目數量不超過該一個計算任務所指出之每一CTA的臨界工作項目數量時，則一處理器識別為有資格。
5. 如申請專利範圍第1項之電腦實施方法，其中該一個計算任務指出應該啟動一節流模式，並且該等複數個處理器都在該節流模式內操作時，則一處理器識別為有資格，並且其中在該節流模式內，該第一處理器包括在該等複數個處理器的一限制子集內，並且在一非節流模式內處理計算任務時，允許該限制子集內每一處理器存取記憶體的第一部分，這部份大於該等複數個處理器內每一處理器正常可用 的記憶體的第二部分。
6. 一種指派一計算任務給複數個處理器內含的一第一處理器之電腦實施方法，該方法包含：分析複數個計算任務內每一計算任務，以識別有資格指派至該第一處理器的一或多個計算任務，其中每一計算任務都列在一第一表格內，並且關聯於一優先順序值以及指出該計算任務加入該第一表格之時間的一分配順序；根據該優先順序值與該分配順序至少之一者，從該等已識別的一或多個計算任務當中選擇一第一計算任務；以及將該第一計算任務指派至該第一處理器來執行。
7. 如申請專利範圍第6項之電腦實施方法，其中尚未發行與一計算任務相關聯的一解除分配要求時，該計算任務識別為有資格。
8. 如申請專利範圍第6項之電腦實施方法，其中一計算任務包括尚未透過一協作執行緒陣列(CTA)發行至該等複數個處理器內之任意該處理器的工作時，則該計算任務識別為有資格。
9. 如申請專利範圍第6項之電腦實施方法，其中一個計算任務必須在一節流模式內處理時，則該一計算任務識別為有資格，並且其中在該節流模式內，該第一處理器包括在該等複數個處理器的一限制子集內，並且在一非節流模式內處理計算任務時，允許該限制子集內每一處理器存取記憶體的第一部分，這部份大於該等複數個處理器內每一處理器正常可用的記憶體的第二部分。
10. 如申請專利範圍第6項之電腦實施方法，其中一計算任務要求在任何已知時間上只需要執行一CTA並且目前該等複數個處理器內任何該等處理器並沒有執行與該計算任務相關聯的CTA時，該計算任務識別為有資格。
11. 如申請專利範圍第6項之電腦實施方法，其中與一計算任 務相關聯的一聯繫規則並未禁止該第一處理器執行與該計算任務相關聯的任何該等CTA時，該計算任務識別為有資格。
12. 如申請專利範圍第6項之電腦實施方法，其中與一計算任務相關聯的一些已執行CTA未到達一臨界值時，該計算任務識別為有資格。