TWI501156B

TWI501156B - 多頻時間切面組

Info

Publication number: TWI501156B
Application number: TW101145699A
Authority: TW
Inventors: Samuel H Duncan; Lacky V Shah; Sean J Treichler; Daniel Elliot Wexler; Jr Jerome F Duluk; Philip Browning Johnson; Jonathon Stuart Ramsay Evans
Original assignee: Nvidia Corp
Priority date: 2011-12-09
Filing date: 2012-12-05
Publication date: 2015-09-21
Also published as: US9442759B2; CN103197918A; DE102012222391A1; DE102012222391B4; TW201337767A; US20130152093A1; CN103197918B

Description

多頻時間切面組

本發明概略關於任務執行，更特定而言係關於多頻時間切面組。

一圖形處理器(GPU,“Graphics processing unit”)包括一大型串流多處理器(SM,“Streaming multiprocessor”)陣列，其設置成執行由該系統內不同應用程式所產生的工作。由應用程式產生而要在該GPU內執行的工作可以屬於數個類別，其中包括圖形工作、計算工作、射線追蹤工作等。這些類別的工作之每一者具有不同的特性。

計算工作基本上被組織成使得該運算工作內任務的不同群組可並行地執行。但是在該GPU中的該主控單元係依序地啟動該計算工作任務。因此，如果一特定任務正在等待前一個任務完成且該前一任務僅使用該等SM的一部份，則該等未使用的SM即為閒置。這種方式並不實用，因為該等SM的處理能力在當該等SM維持閒置時被浪費，而能夠被更有效率處理的計算工作會耗用更長的時間來處理。

如本技術中所知，上述問題的一個解決方案係將任務的每一群組包括在一不同的頻道中，使得當一頻道停滯時，由一不同通道所指定的任務即可開始執行。但是，在這種實作中，該等SM必須閒置，且在每次切換一頻道時即需要一內容切換作業。如本技術專業人士所熟知，不必要地閒置一平行機器造成沒有效率，且內容切換作業皆需要許多時間和處理。因此，每次當一頻道切換時需要一內容切換作業造成該系統之不必要的效能降低。

因此，本技術需要一種系統和方法可允許多個獨立的工作串流可在一單一內容內並行地運作。

本發明一具體實施例為一種用於排程任務來在一處理單元內執行的方法。該方法包括決定指定任務來在該處理單元內執行的一組頻道係關聯於一時間切面組，其中每一頻道指定一不同的任務集，且對應於關聯於該時間切面組的每一頻道的內容資訊皆相同，選擇包括在該組頻道內的一第一頻道來在該處理單元內執行，接著決定對應於該第一頻道的內容資訊是否需要在該處理單元內被設定，其中當由該處理單元執行的一先前頻道係包括在該組頻道中時，對應於該第一頻道的內容資訊並不需要在該處理單元內被設定，且當由該處理單元執行的該先前頻道並不包括在該組頻道中時，對應於該第一頻道的內容資訊是需要在該處理單元內被設定，以及排程由該第一頻道所指定的一第一任務集來在該處理單元內執行。

本發明一項好處在於共用相同內容資訊的不同頻道的工作可在不需要干涉內容切換作業之下來由GPU 208執行。因此，如果一頻道被停滯，可排程由一不同的頻道來執行，而不會造成一內容切換成本，藉此增加該系統之整體流量和效能。

在以下的說明中，許多特定細節係被提出來提供對於本發明之更為完整的瞭解。但是本技術專業人士將可瞭解到本發明可不利用一或多個這些特定細節來實施。在其它實例中，並未說明熟知的特徵，藉以避免混淆本發明。

系統概述

第一圖係例示設置成實作本發明一或多種態樣之一電腦系統100的方塊圖。電腦系統100包括一中央處理單元(CPU)102與一系統記憶體104，其經由包括一記憶體橋接器105的互連接路徑進行通訊。記憶體橋接器105可為例如一北橋晶片，其經由一匯流排或其它通訊路徑106(例如HyperTransport鏈路)連接到一I/O(輸入/輸出)橋接器107。I/O橋接器107可為例如一南橋晶片，其接收來自一或多個使用者輸入裝置108(例如鍵盤、滑鼠)的使用者輸入，並經由通訊路徑106及記憶體橋接器105轉送該輸入到CPU 102。一平行處理子系統112經由一匯流排或其它通訊路徑113(例如PCI(周邊組件互連接)Express，加速圖形處理埠、或HyperTransport鏈路)耦合至記憶體橋接器105；在一具體實施例中，平行處理子系統112為一圖形子系統，其傳遞像素到一顯示器110(例如一習用陰極射線管或液晶式的監視器)。一系統碟114亦連接至I/O橋接器107。一交換器116提供I/O橋接器107與其它像是網路轉接器118與多種嵌入卡120,121之其它組件之間的連接。其它組件(未明確顯示)，包括有通用串列匯流排(USB,"Universal serial bus”)或其它埠連接、光碟(CD)驅動器、數位視訊碟(DVD)驅動器、薄膜記錄裝置及類似者，其亦可連接至I/O橋接器107。互連接第一圖中該等多種組件的通訊路徑可使用任何適當的協定來實作，例如PCI Express(PCI快速，PCI-E)、AGP(加速圖形通訊埠，Accelerated Graphics Port)、HyperTransport(超輸送)、或任何其它匯流排或點對點通訊協定、及不同裝置之間的連接，皆可使用如本技術中所知的不同協定。

在一具體實施例中，平行處理子系統112加入可針對圖形及視訊處理最佳化的電路，其包括例如視訊輸出電路，且構成一圖形處理器(GPU)。在另一具體實施例中，平行處理子系統112加入可針對一般性目的處理最佳化的電路，而可保留底層的運算架構，在此處會有更為詳細的說明。在又另一具體實施例中，平行處理子系統112可被整合於一或多個其它系統元件，例如記憶體橋接器105、CPU 102、及I/O橋接器107而形成一系統上晶片(SoC,“System on chip”)。

將可瞭解到此處所示的系統僅為例示性，其有可能有多種變化及修正。該連接拓樸，包括橋接器的數目與配置、CPU 102的數目及平行處理子系統112的數目皆可視需要修改。例如，在一些具體實施例中，系統記憶體104直接連接至CPU 102而非透過一橋接器耦接，而其它裝置透過記憶體橋接器105及CPU 102與系統記憶體104進行通訊。在其它可替代的拓樸中，平行處理子系統112連接至I/O橋接器107或直接連接至CPU 102，而非連接至記憶體橋接器105。在又其它具體實施例中，I/O橋接器107及記憶體橋接器105可被整合到一單一晶片當中。大型具體實施例可包括兩個或更多的CPU 102，及兩個或更多的平行處理子系統112。此處所示的該等特定組件皆為選擇性的；例如其可支援任何數目的嵌入卡或周邊裝置。在一些具體實施例中，交換器116被省略，且網路轉接器118及嵌入卡120、121直接連接至I/O橋接器107。

第二圖例示根據本發明一具體實施例之一平行處理子系統112。如所示，平行處理子系統112包括一或多個平行處理單元(PPU,“parallel processing unit")202，其每一者耦合於一局部平行處理(PP,“parallel processing”)記憶體204。概言之，一平行處理子系統包括數目為U的PPU，其中U≧1。(在此處類似物件的多個實例標示為辨識該物件之參考編號，而括號中的數目辨識所需要的實例)。PPU 202及平行處理記憶體204可以使用一或多個積體電路裝置來實作，例如可程式化處理器，特殊應用積體電路(ASIC,“Application specific integrated circuits”)，或記憶體裝置，或以任何其它技術上可行的方式來實作。

請再次參照第一圖以及第二圖，在一些具體實施例中，平行處理子系統112中部份或所有的PPU 202為圖形處理器，其具有顯像管線，其能夠設置成執行關於自CPU 102及/或系統記憶體104經由記憶體橋接器105及匯流排113所供應的圖形資料產生像素資料的多種作業，與本地平行處理記憶體204進行互動(其能夠做為圖形記憶體，其包括例如一習用像框緩衝器)，以儲存及更新像素資料，傳遞像素資料到顯示裝置110及類似者。在一些具體實施例中，平行處理子系統112可以包括可操作為圖形處理器的一或多個PPU 202，及用於通用型運算的一或多個其它PPU 202。該等PPU可為相同或不同，且每個PPU可以具有其本身專屬的平行處理記憶體裝置或並無專屬的平行處理記憶體裝置。一或多個PPU 202可以輸出資料到顯示裝置110，或每個PPU 202可以輸出資料到一或多個顯示裝置110。

現在請回頭參照第二圖以及第一圖，在運作中，CPU 102為電腦系統100的主控處理器，其控制和協調其它系統組件的作業。特別是CPU 102發出控制PPU 202之作業的命令。在一些具體實施例中，CPU 102對每一PPU 202寫入一命令串流至一資料結構(未明確示於第一圖或第二圖中)，其可位於系統記憶體104、平行處理記憶體204或可同時由CPU 102與PPU 202存取的其它儲存位置。指向至每一資料結構的一指標被寫入至一推入緩衝器來啟始在該資料結構中該命令串流之處理。PPU 202自一或多個推入緩衝器讀取命令串流，然後相對於CPU 102的該作業非同步地執行命令。執行優先性可針對每一推入緩衝器來指定，以控制該等不同推入緩衝器的排程。

每個PPU 202包括一I/O(輸入/輸出)單元205，其經由通訊路徑113與電腦系統100的其它部份進行通訊，其連接至記憶體橋接器105(或在另一具體實施例中直接連接至CPU 102)。PPU 202與電腦系統100的其餘部份之連接亦可改變。在一些具體實施例中，平行處理子系統112係實作成一嵌入卡，其可被插入到電腦系統100的一擴充槽中。在其它具體實施例中，PPU 202可利用一匯流排橋接器整合在一單一晶片上，例如記憶體橋接器105或I/O橋接器107。在又其它的具體實施例中，PPU 202之部份或所有元件可與CPU 102整合在一單一晶片上。

在一具體實施例中，通訊路徑113為一PCI-EXPRESS鏈路，其中如本技術中所熟知具有專屬的線路會分配給每個PPU 202。其亦可使用其它通訊路徑。一I/O單元205產生封包(或其它信號)在通訊路徑113上傳輸，且亦自通訊路徑113接收所有進入的封包(或其它信號)，導引該等進入封包到PPU 202的適當組件。例如，關於處理工作的命令可被導引到一主控介面206，而關於記憶體作業的命令(例如自平行處理記憶體204讀取或寫入其中)可被導引到一記憶體交叉開關單元210。主控介面206讀取每個推入緩衝器，並輸出儲存在該推入緩衝器中的該命令串流至一前端212。

每一PPU 202較佳地是實作一高度平行的處理架構。如詳細所示，PPU 202(0)包括一處理叢集陣列230，其包括數目為C 的通用處理叢集(GPC,“General processing clusters”)208，其中C 1。每一GPC 208能夠同時執行大量(例如數百或數千)的執行緒，其中每個執行緒為一程式的一實例。在多種應用中，不同的GPC 208可分配來處理不同種類的程式，或執行不同種類的運算。GPC 208的分配可根據每種程式或運算所提升的工作負荷而改變。

GPC 208由一任務/工作單元207內的一工作分配單元接收要被執行的處理任務。該工作分配單元接收指向至被編碼成任務中介資料(TMD)且儲存在記憶體中的處理任務的指標。該等指向至TMD的指標被包括在儲存成一推入緩衝器且由前端單元212自主控介面206接收的該命令串流中。可被編碼成TMD的處理任務包括要被處理之資料的索引，以及定義了該資料要如何被處理的狀態參數和命令(例如那一個程式要被執行)。任務/工作單元207自前端212接收任務，並確保GPC 208在由該等TMD之每一者所指定的該處理啟始之前被設置成一有效狀態。一優先性可針對用於排程該處理任務之執行的每一TMD來指定。

記憶體介面214包括數目為D 的區隔單元215，其每一者被直接耦合至平行處理記憶體204的一部份，其中D 1。如所示，區隔單元215的該數目大致上等於動態隨機存取記憶體(DRAM)220的數目。在其它具體實施例中，區隔單元215的數目可能不等於記憶體裝置的數目。本技術專業人士將可瞭解到DRAM 220可由其它適當儲存裝置取代，並可為一般的習用設計。因此可省略詳細說明。顯像目標，例如圖框緩衝器或紋路地圖，其可儲存在不同DRAM 220中，其允許區隔單元215平行地寫入每個顯像目標之不同部份而有效率地使用平行處理記憶體204之可使用頻寬。

GPC 208之任何一者可處理要被寫入到平行處理記憶體204內DRAM 220中任一者的資料。交叉開關單元210設置成導引每個GPC 208之輸出到任何區隔單元215的輸入或到另一個GPC 208做進一步處理。GPC 208經由交叉開關單元210與記憶體介面214進行通訊，以自多個外部記憶體裝置讀取或寫入其中。在一具體實施例中，交叉開關單元210具有到記憶體介面214的一連接來與I/O單元205進行通訊，以及到局部平行處理記憶體204的一連接，藉此使得不同GPC 208內該等處理核心能夠與系統記憶體104或並非位在PPU 202局部之其它記憶體進行通訊。在第二圖所示的該具體實施例中，交叉開關單元210直接連接於I/O單元205。交叉開關單元210可使用虛擬通道來隔開GPC 208與區隔單元215之間的流量串流。

再次地，GPC 208可被程式化來執行關於許多種應用之處理工作，其中包括但不限於線性及非線性資料轉換、影片及/或聲音資料的過濾、模型化作業(例如應用物理定律來決定物體的位置、速度及其它屬性)、影像顯像作業(例如鑲嵌遮影器、頂點遮影器、幾何遮影器及/或像素遮影器程式)等等。PPU 202可將來自系統記憶體104及/或局部平行處理記憶體204的資料轉移到內部(晶片上)記憶體、處理該資料、及將結果資料寫回到系統記憶體104及/或局部平行處理記憶體204，其中這些資料可由其它系統組件存取，包括CPU 102或另一個平行處理子系統112。

一PPU 202可具有任何數量的局部平行處理記憶體204，並不包括局部記憶體，並可用任何的組合來使用局部記憶體及系統記憶體。例如，一PPU 202可為在一統一記憶體架構(UMA,“Unified memory architecture”)具體實施例中的一圖形處理器。在這些具體實施例中，將可提供少數或沒有專屬的圖形(平行處理)記憶體，且PPU 202將專有地或大致專有地使用系統記憶體。在UMA具體實施例中，一PPU 202可被整合到一橋接器晶片中或處理器晶片中，或提供成具有一高速鏈路(例如PCI-EXPRESS)之一分離的晶片，其經由一橋接器晶片或其它通訊手段連接PPU 202到系統記憶體。

如上所述，任何數目的PPU 202可以包括在一平行處理子系統112中。例如，多個PPU 202可提供在一單一嵌入卡上，或多個嵌入卡可被連接至通訊路徑113，或一或多個PPU 202可被整合到一橋接器晶片中。在一多PPU系統中PPU 202可彼此相同或彼此不相同。例如，不同的PPU 202可具有不同數目的處理核心、不同數量的局部平行處理記憶體等等。當存在有多個PPU 202時，那些PPU可平行地作業而以高於一單一PPU 202所可能的流量來處理資料。加入有一或多個PPU 202之系統可實作成多種組態及型式因子，其中包括桌上型、膝上型、或掌上型個人電腦、伺服器、工作站、遊戲主機、嵌入式系統及類似者。

多並行任務排程

多個處理任務可在GPC 208上並行地執行，且一處理任務於執行期間可以產生一或多個「子」(child)處理任務。任務/工作單元207接收該等任務，並動態地排程該等處理任務和子處理任務來由GPC 208執行。

第三A圖係根據本發明一具體實施例中第二圖之任務/工作單元207的方塊圖。任務/工作單元207包括一任務管理單元300和工作分配單元340。任務管理單元300基於執行優先性程度組織要被排程的任務。對於每一優先性程度，任務管理單元300儲存指向至對應於在排程器表321中該等任務的TMD 333之指標的一鏈接串列。TMD 322可被儲存在PP記憶體204或系統記憶體104中。任務管理單元300接受任務並儲存該等任務在排程器表321中的速率與任務管理單元300排程任務做執行的速率相脫離，使得任務管理單元300可基於優先性資訊或使用其它技術來排程任務。

工作分配單元340包括一任務表345，其具有位置，而每一位置可由將要被執行的一任務之TMD 322佔用。任務管理單元300在當任務表345中有空的位置時即可排程任務來執行。當沒有空位置時，不會佔用一位置的一較高優先性的任務可以逐出佔用一空位的一較低優先性的任務。當一任務被逐出時，該任務即停止，且如果該任務的執行並未完成，該任務被加入到排程器表321中一鏈接串列。當一子處理任務被產生時，該子任務被加入到排程器表321中一鏈接串列。

任務處理概述

第三B圖為根據本發明一具體實施例中第二圖之該等PPU 202中之一者內一GPC 208的方塊圖。每個GPC 208可構形成平行地執行大量的執行緒，其中術語「執行緒」(thread)代表在一特定組合的輸入資料上執行的一特定程式之實例。在一些具體實施例中，使用單一指令、多重資料(SIMD,“Single-instruction,multiple-data”)指令發行技術來支援大量執行緒之平行執行，而不需要提供多個獨立指令單元。在其它具體實施例中，單一指令多重執行緒(SIMT,“Single-instruction,multiple-thread”)技術係用來支援大量概略同步化執行緒的平行執行，其使用一共用指令單元設置成發出指令到GPU 208之每一者內一組處理引擎。不像是一SIMD執行方式，其中所有處理引擎基本上執行相同的指令，SIMT的執行係允許不同的執行緒經由一給定執行緒程式而更可立即地遵循相異的執行路徑。本技術專業人士將可瞭解到一SIMD處理規範代表一SIMT處理規範的一功能子集合。

GPC 208的作業較佳地是經由一管線管理員305控制，其可分配處理任務至串流多處理器(SM,“Streaming multiprocessor”)310。管線管理員305亦可設置成藉由指定SM 310輸出之已處理資料的目的地來控制一工作分配交叉開關330。

在一具體實施例中，每個GPC 208包括M個數目的SM 310，其中M1，每個SM 310設置成處理一或多個執行緒群組。同時，每個SM 310較佳地是包括可被管線化的相同組合的功能性執行單元(例如執行單元和載入儲存單元，如第三C圖中所示的執行單元302和LSU 303)，允許在一先前指令已經完成之前發出一新指令，其為本技術中已知。並可提供任何功能性執行單元的組合。在一具體實施例中，該等功能單元支援多種運算，其中包括整數及浮點數算術(例如加法及乘法)，比較運算，布林運算(AND,OR,XOR)、位元偏位，及多種代數函數的運算(例如平面內插、三角函數、指數、及對數函數等)；及相同的功能單元硬體可被利用來執行不同的運算。

傳送到一特定GPC 208之該等系列的指令構成一執行緒，如先前此處所定義者，橫跨一SM 310內該等平行處理引擎(未示出)並行地執行某個數目之執行緒的集合在此稱之為「包繞」(warp)或「執行緒群組」(thread group)。如此處所使用者，一「執行緒群組」代表同步地對於不同輸入資料執行相同程式的一執行緒的群組，該群組的每一執行緒被指定給一SM 310內的一不同處理引擎。一執行緒群組可包括比SM 310內處理引擎的數目要少的執行緒，其中當該執行緒群組正在被處理的循環期間一些處理引擎將為閒置。一執行緒群組亦可包括比SM 310內處理引擎之數目要更多的執行緒，其中處理將發生在連續的時脈循環之上。因為每個SM 310可並行地支援最多到G個執行緒群組，因此在任何給定時間在GPC 208中最高可執行G * M個執行緒群組。

此外，在相同時間於一SM 310內可以啟動複數相關的執行緒群組(在不同的執行階段)。此執行緒群組的集合在此處稱之為「協同執行緒陣列」(CTA,“Cooperative thread array”)或「執行緒陣列」(thread array)。一特定CTA之大小等於m*k，其中k為在一執行緒群組中並行地執行的執行緒之數目，其基本上為SM 310內平行處理引擎數目之整數倍數，而m為在SM 310內同時啟動的執行緒群組之數目。一CTA的大小概略由程式師及該CTA可使用之硬體資源(例如記憶體或暫存器)的數量所決定。

每一SM 310包含一階(L1)快取(如第三C圖所示)，或使用在SM 310外部一相對應L1快取中用於執行載入與儲存作業的空間。每個SM 310亦可存取到所有GPC 208之間共用的二階(L2)快取，並可用於在執行緒之間傳送資料。最後，SM 310亦可存取到晶片外的「通用」記憶體，其可包括例如平行處理記憶體204及/或系統記憶體104。應瞭解到在PPU 202外部的任何記憶體皆可做為通用記憶體。此外，一1.5階(L1.5)快取335可包括在GPC 208之內，設置成由SM 310要求經由記憶體介面214接收及保持自記憶體提取的資料，其中包括指令、一致性資料與常數資料，並提供該要求的資料至SM 310。在GPC 208中具有多個SM 310的具體實施例較佳地是共用被快取在L1.5快取335中的共通指令和資料。

每一GPC 208可包括一記憶體管理單元(MMU,“Memory management unit”)328，其設置成將虛擬位址映射到實體位置。在其它具體實施例中，MMU 328可存在於記憶體介面214內。MMU 328包括一組頁表項(PTE,“Page table entries”)，用於將一虛擬位置映射到一瓷磚的一實體位址，或是一快取線索引。MMU 328可包括位址轉譯旁看緩衝器(TLB,“Translation lookaside buffer”)，或是可以存在於多處理器SM 310或L1快取或GPC 208內的快取。該實體位址被處理來分配表面資料存取局部性而允許交錯在區隔單元當中的有效率要求。該快取線索引可用於決定一快取線的一要求是否為達成或錯失。

在圖形和運算應用中，一GPC 208可設置成使得每個SM 310耦合於一紋路單元315，用於執行紋路映射作業，例如決定紋路樣本位置、讀取紋路資料及過濾該紋路資料。紋路資料自一內部紋路L1快取(未示出)讀取，或是在一些具體實施例中自SM 310內的L1快取讀取，且視需要自一L2快取、平行處理記憶體204或系統記憶體104提取。每一SM 310輸出已處理的任務至工作分配交叉開關330，藉以提供該已處理的任務至另一GPC 208進行進一步處理，或是將該已處理的任務經由交叉開關單元210儲存在一L2快取、平行處理記憶體204或系統記憶體104中。一preROP(預先掃描場化作業)325設置成自SM 310接收資料、導引資料到隔間單元215內的ROP單元、並進行色彩混合的最佳化、組織像素色彩資料、並執行位址轉譯。

將可瞭解到此處所示的核心架構僅為例示性，其有可能有多種變化及修正。在一GPC 208內可包括任何數目的處理單元，例如SM 310或紋路單元315、preROP 325。再者，雖僅顯示一個GPC 208，一PPU 202可以包括任何數目的GPC 208，其較佳地是在功能上彼此類似，所以執行行為並不會根據是那一個GPC 208接收一特定處理任務而決定。再者，每個GPC 208較佳地是與其它GPC 208獨立地運作，其使用獨立及不同的處理單元、L1快取等等。

本技術專業人士將可瞭解到在第一、二、三A和三B圖中所述之該架構並未以任何方式限制本發明之範圍，而此處所教示的技術可以實作在任何適當設置的處理單元上，其包括但不限於一或多個CPU、一或多個多核心CPU、一或多個PPU 202、一或多個GPC 208、一或多個圖形或特殊目的處理單元或類似者，其皆不背離本發明之範圍。

在本發明之具體實施例中，需要使用PPU 202或一運算系統的其它處理器來使用執行緒陣列執行一般性運算。在該執行緒陣列中每一執行緒被指定一唯一執行緒識別(thread ID)，其可在該執行緒的執行期間由該執行緒存取。可被定義成一維或多維度數值的執行緒ID控制該執行緒的處理行為之多種態樣。例如，一執行緒ID可用於決定一執行緒要做處理的是該輸入資料集的那一部份，及/或決定一執行緒要產生或寫入的是在一輸出資料集的那一部份。

每個執行緒指令的一序列可以包括至少一指令來定義該代表性執行緒和該執行緒陣列的一或多個其它執行緒之間的一協同行為。例如，每個執行緒的該指令序列可以包括一指令來在該序列中一特定點處中止該代表性執行緒之作業的執行，直到當該等其它執行緒中一或多者到達該特定點為止，該代表性執行緒的一指令係儲存資料在該等其它執行緒中一或多者可存取的一共用記憶體中，該代表性執行緒的一指令係基於它們的執行緒ID原子性地讀取和更新儲存在該等其它執行緒中一或多者可存取的一共用記憶體中的資料，或類似者。該CTA程式亦可包括一指令來運算資料在該共用記憶體中要被讀取的一位址，利用該位址為執行緒ID的函數。藉由定義適當的函數和提供同步化技術，資料可藉由一CTA的一執行緒被寫入到共用記憶體中一給定的位置，並以一可預測的方式由該相同CTA的一不同執行緒自該位置讀取。因此，即可支援可在執行緒當中共用任何需要的資料型式，且在一CTA中任何執行緒能夠與該相同CTA中任何其它執行緒共用資料。如果有的話，在一CTA的執行緒當中資料共用的程度係由該CTA程式決定；因此，應瞭解到在使用CTA的一特定應用中，根據該CTA程式，一CTA的該等執行緒可以或不需要實際地彼此共用資料，該等術語"CTA”和「執行緒陣列」在此處為同義地使用。

第三C圖為根據本發明一具體實施例中第三B圖的SM 310的方塊圖。SM 310包括一指令L1快取370，其設置成經由L1.5快取335自記憶體接收指令和常數。一包繞排程器和指令單元312自指令L1快取370接收指令和常數，並根據該等指令和常數控制局部暫存器檔案304和SM 310功能性單元。SM 310功能性單元包括N個執行(執行或處理)單元302和P個載入儲存單元(LSU)303。

SM 310提供具有不同程度存取性的晶片上(內部)資料儲存。特殊暫存器(未示出)可由LSU 303讀取但不能寫入，並用於儲存定義每一執行緒的「位置」之參數。在一具體實施例中，特殊暫存器包括每一執行緒(或SM 310內每一執行單元302)的一暫存器，用於儲存一執行緒ID；每一執行緒ID暫存器僅可由執行單元302的個別單元存取。特殊暫存器亦可包括額外的暫存器，其可由在該相同網格或佇列中所有執行緒(或由所有LSU 303)來讀取，其中儲存有一CTA識別、該等CTA維度、該CTA所屬的一網格的該等維度(或如果是一佇列時的佇列位置)、及該CTA所屬的該網格或佇列之一識別。屬於一網格的CTA具有隱式x,y,z參數以指明該網格內個別CTA的位置。特殊暫存器在初始期間回應於經由前端212自裝置驅動器103接收的該等命令而被寫入，且於一處理任務的執行期間不會改變。前端212排程每一處理任務成為一網格或佇列來執行。每一CTA關聯於一特定網格或佇列用於一或多個任務的同時執行。此外，一單一GPC 208可以並行地執行多個任務。

一參數記憶體(未示出)儲存運行時間參數(常數)，其可被相同CTA(或任何LSU 303)內任何執行緒讀取但無法寫入。在一具體實施例中，裝置驅動器103在導引SM 310開始使用這些參數的一項任務之執行之前提供參數至該參數記憶體。任何CTA(或SM 310內任何執行單元302)內的任何執行緒能夠經由一記憶體介面214存取共通記憶體。共通記憶體的一些部份可被儲存在L1快取320中。

局部暫存器檔案304由每一執行緒使用做為暫存空間；每一暫存器被分配做為一執行緒的專屬使用，而在任何局部暫存器檔案304中的資料僅可由該暫存器被分配到的該執行緒來存取。局部暫存器檔案304可實作成被實體或邏輯性地區分成P條線路的一暫存器檔案，其每一者具有某個數目的項目(其中每個項目可以儲存例如32位元的字元)。一條線路被指定給N個執行單元302和P個載入儲存單元LSU 303的每一者，且在不同線路中的相對應的項目可存在有執行相同程式的不同執行緒之資料來實施SIMD執行。該等線路的不同部份可被分配給該等G個並行執行緒群組之不同的執行緒群組，所以在局部暫存器檔案304中一給定項目僅可由一特定執行緒存取。在一具體實施例中，局部暫存器檔案304內某些項目被保留來儲存執行緒識別及實作該等特殊暫存器之一。此外，一一致性L1快取375儲存N個執行單元302和P個載入儲存單元LSU 303之每一線路的一致性或常數值。

共用的記憶體306可由一單一CTA內的執行緒存取；換言之，在共用記憶體306中任何位置可由該相同CTA內任何執行緒存取(或可由SM 310內任何處理引擎存取)。共用的記憶體306可實作成利用一互連接的一共用暫存器檔案或共用的晶片上快取記憶體，其可允許任何處理引擎可讀取或寫入到該共用記憶體中任何位置。在其它具體實施例中，共用的狀態空間可映射到晶片外記憶體的一每一CTA的區域之上，且被快取在L1快取320中。該參數記憶體可被實作成該相同共用的暫存器檔案或實作共用記憶體306的共用快取記憶體內一指定的區段，或是實作成一獨立的共用暫存器檔案或LSU 303具有唯讀性存取的晶片上快取記憶體。在一具體實施例中，實作該參數記憶體的該區域亦用於儲存該CTA ID與任務ID，以及CTA與網格維度或佇列位置，實作該等特殊暫存器的某些部份。在SM 310中每一LSU 303耦合至一統一位址映射單元352，其轉換提供用於載入與儲存在一統一記憶體空間中指定的指令之一位址成為在每一不同記憶體空間中的一位址。因此，一指令可用於藉由指定在該統一記憶體空間中一位址來存取該等局部、共用、或共通記憶體空間之任一者。

在每一SM 310中的L1快取320可用於快取私密的每一執行緒之局部資料，以及每一應用程式的共通資料。在一些具體實施例中，該由每一CTA共用的資料可被快取在L1快取320中。LSU 303經由一記憶體和快取互連接380耦合至共用記憶體306和L1快取320。

多頻時間切面組

一時間切面組(TSG,“Time slice group”)為共用相同內容資訊的不同串流的工作之群組(此處稱之為「通道」(channel))。在一具體實施例中，屬於一TSG的該組通道以一循環式順序來處理。重要地是，因為在該TSG中每一通道共用相同的內容資訊，當在該TSG中一特定通道的處理停止，且在該TSG中下一通道的處理開始時，即不需要一內容切換作業。因此，在一特定處理循環中，設定處理在一TSG中該等頻道所需要的相關內容資訊的一內容切換作業僅在當該第一頻道被選擇來做處理時執行一次。

第四圖例示根據本發明一具體實施例中基於那些任務被排程來在該等GPC 208內處理之一運行清單402、一頻道映射404和一每一頻道的內容資訊406。

如此處先前所述，應用程式產生要在PPU 202內執行的任務，其中每一任務係關聯於一特定頻道。一頻道可關聯於計算任務或圖形任務。任何其它種類的任務或其組合皆在本發明的範圍之內。該等頻道的處理順序由該等應用程式來定義。驅動器103在由該等應用程式接收該等頻道時，即群組化共用相同內容資訊的頻道成為一單一時間切面組(TSG)。在一具體實施例中，可屬於一特定TSG的頻道數目限制於一預先定義的數目。

基於該等頻道和該等相對應的TSG，驅動器103內一資源管理員(未示出)即產生運行清單402。運行清單402包括一組運行清單項目，其每一者包括一項目型式504和項目內容506。有兩種運行清單項目，一頻道運行清單項目，像是運行清單項目410，或是一TSG運行清單項目，像是運行清單項目408。一頻道運行清單項目具有一頻道項目型式412，而在項目內容414中儲存了關聯於一特定頻道的一頻道識別。一TSG項目具有一TSG項目型式412，而在項目內容414中儲存了一TSG標頭。該TSG標頭指定一TSG識別(ID)、該TSG在運行清單項目中的長度，以指明屬於該TSG的頻道數目、以及一運行清單時間切面，其指明屬於該TSG的頻道可在一單一處理循環內被執行的時間長度。

運行清單402被組織成使得關聯於屬於一特定TSG的該等頻道的頻道運行清單項目被包括在關聯於該特定TSG的該TSG運行清單項目正後方。例如，如果運行清單項目408的該TSG標頭指明關聯於運行清單項目408的該TSG具有兩個頻道，則緊接著運行清單項目408的該等兩個項目即為關聯於那兩個頻道的頻道運行清單項目。屬於該特定TSG的該等頻道被排程來以一預先定義的順序執行。該順序可基於在運行清單 406內該等運行清單項目的順序或任何其它排序機制來指定。本技術專業人士將可瞭解到一運行清單僅為頻道可如何被群組在一起而能共用一內容影像的一種示例，任何可群組化頻道而能共用一內容影像的機制皆為本專利所涵蓋。在一具體實施例中，關聯於屬於一TSG的一頻道之每一頻道項目包括有一部份來指明該頻道是否為在該TSG中的「下一個」頻道。此「下一個」部份可保證該TSG於該TSG上次被處理時相同的頻道上進行處理。

頻道映射404為頻道與相對應的內容資訊之間的一映射關係。頻道映射404包括一組映射項目，其中每一映射項目係關聯於一不同的頻道，且包括一頻道識別和一指向至關聯於該頻道的內容資訊之指標。包括在一運行清單402中的每一頻道運行清單項目係關聯於頻道映射404內一映射項目。因此，儲存在包括於運行清單402中一頻道運行清單的項目內容414中的一頻道ID係對應於儲存在頻道映射404中所包括的一映射項目中的一頻道ID。另外，在頻道映射404中每一映射項目包括指向至對應於關聯於該映射項目的該頻道之內容資訊的一指標。例如，映射項目416關聯於由頻道ID 418所識別且亦關聯於頻道運行清單項目410的一特定頻道。映射項目416包括一內容指標420，其指向至關聯於該特定頻道的每一頻道之內容資訊406。每一頻道的內容資訊406包括但不限於要執行包括在該特定頻道中的任務所需要的主機狀態、記憶體管理狀態、引擎狀態等。

第五圖係更為詳細地例示根據本發明一具體實施例中設置成選擇工作來在該處理叢集陣列230內執行之第二圖的主控介面206。如所示，主控介面206包括一運行清單處理器502和一內容切換器504。此外，主控介面206可存取到運行清單402、頻道映射404和每一通道的內容資訊406。

當新的工作需要被排程來在GPC 208內執行時，運行清單處理器502分析運行清單402來選擇一頻道做排程來接著執行。基本上，在關聯於一特定頻道的該等任務可被處理之前，關聯於該頻道的每一頻道的內容資訊408必須在GPC 208之內被設定。因此，一旦選出要被下一個排程的該頻道，運行清單處理器502決定針對執行關聯於該經選擇的頻道之任務是否需要一內容切換。如果需要一內容切換，則內容切換器404基於關聯於該經選擇的頻道之每一頻道的內容資訊408發出要被執行的一內容切換作業。然而如果不需要一內容切換，則不需要一內容切換作業，且關聯於該經選擇的頻道之任務即被排程來執行。重要地是，因為屬於該相同TSG的頻道係關聯於該相同的每一頻道的內容資訊，那些頻道可彼此接續地排程來執行，而不需要在其間進行一內容切換作業。

在作業中，運行清單處理器502以一循環方式橫越穿過運行清單402內該等項目。當決定那一個頻道必須被排程在接下來執行時，運行清單處理器502取得在運行清單402中的下一個項目。如果在運行清單402中下一個項目為一TSG運行清單項目，則運行清單處理器502讀取包括在項目內容414中的該TSG標頭。基於在TSG標頭中所指定的長度，運行清單處理器502即可辨識屬於該TSG之該等頻道運行清單項目。基於該TSG標頭，運行清單處理器502亦決定被分配給該TSG的該時間切面，使得在該TSG中該等頻道以循環式順序來處理直到該時間切面到期為止，該TSG即運行完其可啟動或自該系統先取得的任務。然後運行清單處理器502辨識關聯於該TSG的一頻道運行清單項目而必須被排成在接下來執行的一特定頻道。在一具體實施例中，被載入在一TSG中的該第一頻道係基於在該頻道運行清單項目的項目內容414中存在的一位元來辨識，其用於指明在該TSG中該特定頻道必須被排程來接著執行。

一旦辨識出該特定頻道，運行清單處理器502指明給內容切換器504來載入關於該特定頻道的該內容資訊。基於頻道映射404，內容切換器504可辨識出關聯於該特定頻道的每一頻道的內容資訊406，並依此切換在GPC 208中的該內容。一旦載入關聯於該特定頻道的該內容資訊，分配給該TSG的該時間切面開始，且關聯於該特定頻道的任務能夠開始由GPC 208來執行。

關聯於該TSG內該特定頻道的任務繼續執行直到(i)需要一頻道切換至該TSG內一不同頻道，或者(ii)需要一頻道切換至該TSG之外的一頻道。當在該特定頻道內的任務之執行完成或者當該執行由於一旗號取得失敗而停滯時，即需要由該特定頻道進行一頻道切換至該TSG內一不同頻道。以這種方式，該TSG內的下一頻道被選出來執行。因為該TSG內所有頻道共用相同的內容資訊，當在該相同TSG內的頻道之間切換時，即不需要一內容切換作業。因此，關聯於該新選出的頻道之任務可在GPC 208上執行，而不需要一干涉性內容切換作業。重要地是，因為當任務完成或當一旗號取得失敗時該TSG可自一頻道切換至另一頻道，頻道之間的該等任務並未被排序，除非有由一旗號明確地排序。

在一具體實施例中，一TSG內的頻道可以存取到多種不同種類的處理叢集型式，例如電腦叢集、圖形叢集、複製叢集、2d叢集等。在該較佳具體實施例中，每一叢集能夠同時在一獨立頻道上工作。但是，在其它具體實施例中，一些叢集可能為互斥。例如，該電腦叢集在執行一任務之前可能需要等待直到圖形叢集閒置為止。在其它具體實施例中，一叢集可能僅能夠一次處理一單一任務。例如該複製叢集可能僅處理一單一複製。在一些具體實施例中，一頻道一次僅可能存取到一單一處理叢集。在一些具體實施例中，在處理該第一TSG任務之前，獨立的叢集需要將它們的內容獨立地載入。

另外，當屬於該TSG的頻道被排程在GPC 208內執行時，一複製引擎(未示出)與該任務執行並行地且基於該目前設定的內容資訊來執行複製作業。對於該等非同步複製引擎，因為該複製引擎不需要獨立的內容切換，即可造成效能增加。

如果滿足數種條件之一，即需要一頻道切換至該TSG之外的一頻道。這些條件包括但不限於：(i)分配給該TSG的該時間切面到期，(ii)該TSG內每一頻道被完整地執行並因此而閒置，(iii)該TSG內每一頻道由於一旗號取得失敗而停滯或正在閒置，(iv)遭遇到有效地使分配給該TSG的該時間切面過期的一收益方法，以及(vi)強迫要選擇一新頻道或一不同運行清單的一佔先條件。如果存在了需要一頻道切換至該TSG之外的一頻道的條件，運行清單處理器502先儲存該TSG的目前狀態，其中包括該TSG內至少已被部份處理的該最後頻道之識別。然後運行清單處理器502選擇在該TSG之外的下一頻道來進行處理。因為關於在該TSG之外的一頻道之內容資訊並不同，當切換到該TSG之外的一頻道時即需要一內容切換作業。

本技術專業人士將可瞭解到只要該條件允許軟體來指定將做為一原子性作業執行的一頻道中指定相連的任務時，即可使用在一TSG中或TSG之外的頻道之間的切換之其它條件。換言之，一頻道需要一種方式來保證設置狀態的一任務和在該狀態上執行的一第二任務係依順序運行，而不會切換到該TSG中另一頻道。

在一具體實施例中，該TSG內每一頻道具有一工作未決位元，用於指明關於該頻道的任何工作是否尚待處理。在這種具體實施例中，如果關於該頻道的工作當一頻道切換發生時仍尚未決，則該工作未決位元被設置來指明關於該頻道的工作仍尚待解決。

第六A和六B圖提供根據本發明一具體實施例之用於辨識下一個要執行的頻道之方法步驟的流程圖。雖然該等方法步驟係配合第1到五圖之該等系統做說明，本技術專業人士將可瞭解到設置成以任何順序執行該等方法步驟的任何系統皆在本發明之範圍內。

方法600開始於步驟602，其中當決定那一頻道必須被排程來接著執行時，運行清單處理器502取得運行清單402中下一個項目。在步驟604，運行清單處理器502決定該經取得的項目是否為一TSG型式。如果該經取得的項目並非該TSG型式，則方法600進行到步驟605，其中運行清單處理器502排程關聯於該經取得的項目之該頻道來執行。但是如果該經取得的項目為該TSG型式，則方法600進行到步驟606。

在步驟606，運行清單處理器502解析包括在該經取得的項目中該TSG標頭來決定關聯於該經取得的項目之該TSG的該TSG ID、該TSG長度和該TSG時間切面。如此處先前所述，該TSG長度指明屬於該TSG的頻道數目，而該TSG時間切面指明屬於該TSG的頻道能夠在一單一處理循環中執行的時間長度。

在步驟608，運行清單處理器502基於該TSG長度辨識出屬於該TSG的該組頻道。再次地，運行清單402被組織成使得關聯於屬於該TSG的該等頻道之頻道運行清單項目被包括在該經取得的項目之正後方。在步驟610，運行清單處理器502在該組頻道之內選擇一頻道來排程在接下來執行。在一具體實施例中，每一頻道包括一「下一個」(next)識別，其在當被設定時指明該特定頻道必須被排程來接著執行。此位元僅在步驟610中使用。

在步驟610，內容切換器504載入關於該經選擇的頻道之該每一頻道的內容資訊406。因為該經選擇的頻道為屬於該TSG而要在該目前處理循環中被排程的該第一頻道，該內容資訊需要在GPC 208內被設定，所以由該頻道指定的任務可被執行。分配給該TSG的該時間切面開始於當關於該經選擇的頻道之每一頻道的內容資訊406被載入時。在此時間切面之內，屬於該TSG的頻道可被執行，除非有被中斷。在步驟612，運行清單處理器206發出由該經選擇的頻道所指定的任務來在GPC 208之內執行。

在步驟616，運行清單處理器502決定要切換到該TSG之外的一頻道之一或多個條件是否有滿足。如此處先前所述，該等用於切換到該TSG之外的一頻道之條件包括但不限於：(i)分配給該TSG的該時間切面到期，(ii)該TSG內每一頻道被完整地執行並因此而閒置，(iii)該TSG內每一頻道由於一旗號取得失敗而停滯或正在閒置，(iv)遭遇到有效地使分配給該TSG的該時間切面過期的一收益方法，以及(vi)強迫要選擇一新頻道或一不同運行清單的一佔先條件。

如果滿足需要一頻道切換到該TSG之外的一頻道的一種條件，則方法600進行到步驟618，其中運行清單處理器502儲存該TSG的目前狀態。然後方法600回到進行步驟602，其中該運行清單之內的下一個項目被取得，以選擇該TSG之外的下一頻道來執行。因為關於在該TSG之外的一頻道之該每一頻道的內容資訊不同於該目前被設定的內容資訊，當切換到該TSG之外的一頻道時即需要一內容切換作業。

如果並未滿足需要一頻道切換到該TSG之外的一頻道之條件，則方法600進行到步驟620。在步驟620，運行清單處理器502決定是否滿足要切換到該TSG內一不同頻道的一或多個條件。再次地，當在該特定頻道內的任務之執行完成或者當該執行由於一旗號取得失敗而停滯時，即需要由該特定頻道進行一頻道切換至該TSG內一不同頻道。如果並不滿足需要一頻道切換到該TSG內一不同頻道的一種條件，則該方法回到步驟614，如此處先前所述。

但是如果滿足需要一頻道切換到該TSG內一不同頻道的一種條件，則方法進行到步驟622，其中在一具體實施例中運行清單處理器502清除該目前頻道的下一個位元、在屬於該TSG的該組頻道中選擇一下一頻道、及設置在該新頻道中該下一個位元。在步驟624，運行清單處理器206發出由該經選擇的頻道所指定的任務來在GPC 208之內執行。重要地是，因為在該TSG中每一頻道共用該相同的內容資訊，當在該TSG中一特定頻道的處理停止且在該TSG中下一頻道的處理開始時，即不需要一內容切換作業。然後方法600回到步驟616，如此處先前所述。

本發明一項好處在於共用相同內容資訊的不同頻道的工作可在不需要干涉內容切換作業之下來由GPU 208執行。因此，如果一頻道被停滯，可排程由一不同的頻道來執行，而不會造成一內容切換成本，藉此增加該系統之整體流量、效率和效能。

本發明一具體實施例可以實作成由一電腦系統使用的一程式產品。該程式產品的程式定義該等具體實施例的功能(包括此處所述的方法)，並可包含在多種電腦可讀取儲存媒體上。例示性的電腦可讀取儲存媒體包括但不限於：(i)不可寫入儲存媒體(例如在一電腦內唯讀記憶體裝置，例如可由CD-ROM讀取的光碟唯讀記憶體(CD-ROM)碟片，快閃記憶體，ROM晶片，或任何其它種類的固態非揮發性半導體記憶體)，其上可永久儲存資訊；及(ii)可寫入儲存媒體(例如在一磁碟機內的軟碟片、或硬碟機、或任何種類的固態隨機存取半導體記憶體)，其上可儲存可改變的資訊。

本發明已經參照特定具體實施例在以上進行說明。但是本技術專業人士將可瞭解到在不背離附屬申請專利範圍所提出之本發明的廣義精神與範圍之下可對其進行多種修正與改變。因此前述的說明及圖面係在以例示性而非限制性的角度來看待。

100‧‧‧電腦系統

102‧‧‧中央處理單元

103‧‧‧裝置驅動器

104‧‧‧系統記憶體

105‧‧‧記憶體橋接器

106‧‧‧通訊路徑

107‧‧‧輸入/輸出橋接器

108‧‧‧輸入裝置

110‧‧‧顯示器

112‧‧‧平行處理子系統

113‧‧‧通訊路徑

114‧‧‧系統碟

116‧‧‧交換器

118‧‧‧網路轉接器

120,121‧‧‧嵌入卡

202‧‧‧平行處理單元

204‧‧‧平行處理記憶體

205‧‧‧輸入/輸出單元

206‧‧‧主控介面

207‧‧‧任務/工作單元

208‧‧‧通用處理叢集

210‧‧‧交叉開關單元

212‧‧‧前端

214‧‧‧記憶體介面

215‧‧‧區隔單元

220‧‧‧動態隨機存取記憶體

230‧‧‧處理叢集陣列

300‧‧‧任務管理單元

302‧‧‧執行單元

303‧‧‧載入儲存單元

304‧‧‧局部暫存器檔案

305‧‧‧管線管理員

306‧‧‧共用記憶體

310‧‧‧串流多處理器

312‧‧‧包繞排程器和指令單元

315‧‧‧紋路單元

320‧‧‧L1快取

321‧‧‧排程器表

322‧‧‧任務中介資料

325‧‧‧預先掃描場化作業

328‧‧‧記憶體管理單元

330‧‧‧工作分配交叉開關

335‧‧‧L1.5快取

340‧‧‧工作分配單元

345‧‧‧任務表

352‧‧‧統一位址映射單元

370‧‧‧指令L1快取

380‧‧‧記憶體和快取互連接

402‧‧‧運行清單

404‧‧‧頻道映射

406‧‧‧每一頻道的內容資訊

408,410‧‧‧項目

412‧‧‧項目型式

414‧‧‧項目內容

416‧‧‧項目

418‧‧‧頻道識別

420‧‧‧內容指標

422‧‧‧主機狀態

424‧‧‧記憶體管理狀態

426‧‧‧引擎狀態

502‧‧‧運行清單處理器

504‧‧‧內容切換器

所以，可以詳細瞭解本發明上述特徵之方式當中，本發明之一更為特定的說明簡述如上，其可藉由參照具體實施例來進行，其中一些例示於所附圖式中。但是應要注意到，該等附屬圖式僅例示本發明的典型具體實施例，因此其並非要做為本發明之範圍的限制，其可允許其它同等有效的具體實施例。

第一圖例示設置成實作本發明一或多種態樣之電腦系統的方塊圖；第二圖為根據本發明一或多種態樣中第一圖之電腦系統的一平行處理子系統之方塊圖；第三A圖為根據本發明一具體實施例中第二圖的該前端的方塊圖；第三B圖為根據本發明一具體實施例中第二圖之該等平行處理單元中之一者內一通用處理叢集的方塊圖；第三C圖為根據本發明一具體實施例中第三B圖的該串流多處理器之一部份的方塊圖；第四圖例示根據本發明一具體實施例中基於那些任務被排程來在該等GPC內處理之一運行清單、一頻道映射和一每一頻道的內容資訊；第五圖係更為詳細地例示根據本發明一具體實施例中設置成選擇工作來在該處理叢集陣列內執行之第二圖的主控介面；以及第六A和六B圖提供根據本發明一具體實施例之用於辨識下一個要執行的頻道之方法步驟的流程圖。