TWI706373B - 用於型樣驅動自適應虛擬繪圖處理單元的裝置、方法及系統 - Google Patents

Abstract

說明用於型樣驅動自適應繪圖處理單元(GPU)的裝置及方法。例如，裝置之一實施例包含：繪圖處理單元(GPU)，用以處理繪圖命令以及回應地渲染複數個圖像框；超管理器，用以虛擬化該GPU以在多個虛擬機(VM)之間共享該GPU，該超管理器將用於各個VM的GPU細分為多個配額(quanta)；以及排程邏輯用以監控GPU利用，其包括各個VM在其分配到的配額期間的GPU忙碌時間(busy time)及/或GPU閒置時間，並且用以儲存反映在各配額期間該GPU利用的利用資料；該排程邏輯用以基於該利用資料來預測在第一VM之給定的配額內等待的成本，並且用以進一步預測讓出給第二VM的成本，若該等待的成本大於該讓出給第二VM的成本，則該排程邏輯將該GPU讓出給該第二VM。

Description

用於型樣驅動自適應虛擬繪圖處理單元的裝置、方法及系統

本發明一般關於電腦處理器領域。更具體地，本發明關於用於型樣驅動自適應虛擬繪圖處理單元(vGPU)的裝置及方法。

已開發用於繪圖虛擬化的各種方法。例如，一種方法允許將整個GPU的功率直接指派給單一使用者，經由超管理器(hypervisor)傳遞原生的驅動程式功能而無任何限制。此版本的繪圖虛擬化的通用命名是「直接圖形配接器(Direct Graphics Adaptor)」(vDGA)。另一種虛擬化方法需要虛擬機中的虛擬繪圖驅動程式，並使用API轉送(forwarding)技術來與繪圖硬體介接。在最近於多個並行使用者之間共用GPU的方法中，每個虛擬桌上型機器維護原生繪圖驅動程式的副本。在時間切片(time sliced)的基礎上，超管理器中的代理直接將完整的GPU資源指派給各個虛擬機。因此，在其時間片段期間，雖然虛擬機接收了完整專用的GPU，從整個系統角度來看則是多個虛擬 機共用一單一的GPU。

100‧‧‧處理系統

102‧‧‧處理器

104‧‧‧快取記憶體

106‧‧‧暫存器檔案

107‧‧‧處理器核心

108‧‧‧繪圖處理器

109‧‧‧指令集

110‧‧‧處理器匯流排

112‧‧‧外部繪圖處理器

116‧‧‧記憶體控制器集線器

120‧‧‧記憶體裝置

121‧‧‧指令

122‧‧‧資料

124‧‧‧資料儲存裝置

126‧‧‧無線收發器

128‧‧‧韌體介面

130‧‧‧輸入輸出(I/O)控制器集線器

134‧‧‧網路控制器

140‧‧‧傳統I/O控制器

142‧‧‧通用序列匯流排(USB)控制器

144‧‧‧鍵盤和滑鼠

146‧‧‧音訊控制器

200‧‧‧處理器

202A-202N‧‧‧處理器核心

204A-204N‧‧‧內部快取單元

206‧‧‧共用快取單元

208‧‧‧繪圖處理器

210‧‧‧系統代理核心

211‧‧‧顯示控制器

212‧‧‧基於環形之互連單元/環形互連

213‧‧‧I/O鏈路

214‧‧‧記憶體控制器

216‧‧‧匯流排控制器單元

218‧‧‧嵌入式記憶體模組

300‧‧‧繪圖處理器

302‧‧‧顯示控制器

304‧‧‧區塊影像轉移(BLIT)引擎

306‧‧‧視訊編解碼引擎

310‧‧‧繪圖處理引擎(GPE)

312‧‧‧3D管線

314‧‧‧記憶體介面

315‧‧‧3D/媒體子系統

316‧‧‧媒體管線

320‧‧‧顯示裝置

410‧‧‧繪圖處理引擎

403‧‧‧命令串流器

412‧‧‧媒體管線

414‧‧‧執行單元陣列

416‧‧‧媒體管線

430‧‧‧取樣引擎

432‧‧‧去雜訊/解交錯模組

434‧‧‧運動估計模組

436‧‧‧影像縮放及過濾模組

444‧‧‧資料埠

500‧‧‧繪圖處理器

502‧‧‧環形互連

503‧‧‧命令串流器

504‧‧‧管線前端

534‧‧‧視訊前端

536‧‧‧幾何管線

530‧‧‧視訊品質引擎(VQE)

533‧‧‧多格式編碼/解碼(MFX)

537‧‧‧媒體引擎

550A-550N‧‧‧子核心

552A-552N‧‧‧執行單元

554A-554N‧‧‧媒體/紋理取樣器

570A-570N‧‧‧共用資源

560A-560N‧‧‧子核心

562A-562N‧‧‧執行單元

564A-564N‧‧‧取樣器

580A-580N‧‧‧繪圖核心

600‧‧‧線程執行邏輯

602‧‧‧像素著色器

604‧‧‧線程分派器

606‧‧‧指令快取

608A-608N‧‧‧執行單元

610‧‧‧取樣器

612‧‧‧資料快取

614‧‧‧資料埠

800‧‧‧繪圖處理器

802‧‧‧環形互連

803‧‧‧命令串流器

805‧‧‧頂點擷取器

807‧‧‧頂點著色器

811‧‧‧外殼著色器

813‧‧‧曲面細分器

817‧‧‧域著色器

819‧‧‧幾何著色器

820‧‧‧繪圖管線

823‧‧‧串流輸出單元

829‧‧‧剪裁器

830‧‧‧媒體管線

834‧‧‧視訊前端

837‧‧‧媒體引擎

831‧‧‧線程分派器

840‧‧‧顯示引擎

841‧‧‧2D引擎

843‧‧‧顯示控制器

850‧‧‧線程執行邏輯

851‧‧‧L1快取

852A、852B‧‧‧執行單元

854‧‧‧紋理及媒體取樣器

856‧‧‧資料埠

858‧‧‧紋理/取樣器快取

870‧‧‧渲染輸出管線

873‧‧‧光柵化及深度測試元件

875‧‧‧L3快取

877‧‧‧像素操作元件

878‧‧‧渲染快取

879‧‧‧深度快取

1000‧‧‧資料處理系統

1010‧‧‧3D繪圖應用程式

1012‧‧‧著色器指令

1014‧‧‧可執行指令

1016‧‧‧繪圖物件

1020‧‧‧作業系統

1022‧‧‧繪圖API

1024‧‧‧前端著色器編譯器

1026‧‧‧使用者模式繪圖驅動器

1027‧‧‧後端著色器編譯器

1028‧‧‧作業系統核心模式功能

1029‧‧‧核心模式繪圖驅動器

1030‧‧‧處理器

1032‧‧‧繪圖處理器

1034‧‧‧通用處理器核心

1050‧‧‧系統記憶體

1100‧‧‧IP核心開發系統

1110‧‧‧軟體模擬

1115‧‧‧RTL設計

1120‧‧‧硬體模型

1130‧‧‧設計設施

1140‧‧‧非揮發性記憶體

1150‧‧‧有線連接

1160‧‧‧無線連接

1165‧‧‧製造設施

1200‧‧‧系統單晶片積體電路

1205‧‧‧應用程式處理器

1210‧‧‧繪圖處理器

1215‧‧‧影像處理器

1220‧‧‧視訊處理器

1225‧‧‧USB控制器

1230‧‧‧UART控制器

1235‧‧‧SPI/SDIO控制器

1240‧‧‧I²S/I²C控制器

1245‧‧‧顯示裝置

1250‧‧‧高解析度多媒體介面(HDMI)控制器

1255‧‧‧行動產業處理器介面(MIPI)顯示介面

1260‧‧‧快閃記憶體子系統

1265‧‧‧記憶體控制器

1270‧‧‧嵌入式安全引擎

1400‧‧‧示例性實施例

1410‧‧‧超管理器

1412‧‧‧GPU排程器

1470‧‧‧PDSAS邏輯

1418‧‧‧命令剖析器

1420‧‧‧GPU

1460A、1460B‧‧‧虛擬GPU(vGPU)

1430‧‧‧VM

1440‧‧‧VM

透過下面結合附圖之詳細描述可獲得對本發明之較佳理解，其中：圖1為電腦系統之實施例的方塊圖，該電腦系統有具有一或多個處理器核心的處理器及繪圖處理器；圖2為處理器之一個實施例的方塊圖，該處理器具有一或多個處理器核心、整合式記憶體控制器、及整合式繪圖處理器；圖3為繪圖處理器之一個實施例的方塊圖，該繪圖處理器可以是個別的繪圖處理單元、或者可以是與複數個處理核心整合的繪圖處理器；圖4為用於繪圖處理器之繪圖處理引擎的實施例的方塊圖；圖5為繪圖處理器之另一實施例的方塊圖；圖6為線程執行邏輯之方塊圖，該線程執行邏輯包括處理元件之陣列；圖7繪出依據實施例之繪圖處理器執行單元指令格式；圖8為繪圖處理器之另一實施例的方塊圖，該繪圖處理器包括繪圖管線、媒體管線、顯示引擎、線程執行邏輯、及渲染(render)輸出管線； 圖9A為繪示依據實施例之繪圖處理器命令格式的方塊圖；圖9B為繪示依據實施例之繪圖處理器命令序列的方塊圖；圖10繪出依據實施例之用於資料處理系統的示例性繪圖軟體結構；圖11繪出依據實施例之示例性IP核心開發系統，其可被用於製造積體電路以執行操作；圖12繪出依據實施例之示例性系統單晶片積體電路，其可使用一或多個IP核心來製造；圖13繪出示例性在循環排程器下的GPU資源利用；圖14繪出GPU排程器的一個實施例，該GPU排程器實現型樣驅動自適應方案(PDSAS)；圖15繪出來自示例性3D工作負載之閒置的示例性可能曲線；圖16繪出可能等待時間的示例性分佈曲線；圖17A-B繪出依據本發明之一個實施例的方法；圖18繪出針對不同的時間值、切換成本值、及閾值之本發明的一個實施例的操作；以及圖19繪出示例性機率曲線，其指示在不同時間值的機率以及包括平衡係數。

【發明內容及實施方式】

於以下說明中，為了解釋之目的，提出數個特定細節 以提供對下述本發明之實施例的透徹瞭解。然而，對於本領域之技術人員顯而易見的是，可在沒有這些特定細節之部分的情況下實施本發明的實施例。於其他實例中，以方塊圖形式示出公知的結構及裝置，以避免混淆本發明之實施例的基本原則。

示例性繪圖處理器架構及資料類型 系統總覽

圖1為依據實施例之處理系統100的方塊圖。在各種實施例中，系統100包括一或多個處理器102及一或多個繪圖處理器108，並且可以是單一處理器桌上型系統、多處理器工作站系統、或者是具有大量處理器102或處理器核心107的伺服器系統。在一實施例中，系統100是被併入用於行動、手持、或嵌入式裝置的系統單晶片(SoC)積體電路內的處理平台。

系統100的實施例可包括基於伺服器之遊戲平台、遊戲機(包括遊戲和媒體控制台、行動遊戲機、手持遊戲機、或線上遊戲機)，或者併入於前述各者內。在一些實施例中，系統100是行動電話、智慧型電話、平板計算裝置或行動上網裝置。資料處理系統100亦可包括、耦接、或被整合進穿戴式裝置(諸如智慧型手錶穿戴式裝置、智慧型眼鏡裝置、擴增實境裝置、或虛擬實境裝置)。在一些實施例中，資料處理系統100是電視或機上盒裝置，其具有一或多個處理器102及由一或多個繪圖處理器108產 生的繪圖介面。

在一些實施例中，該一或多個處理器102各包括一或多個處理器核心107以處理指令，當執行該等指令時將執行用於系統和使用者軟體的操作。在一些實施例中，該一或多個處理器核心107之各者被配置成處理特定的指令集109。在一些實施例中，指令集109可有助於複雜指令集計算(CISC)、精簡指令集計算(RISC)、或透過超長指令字(VLIW)的計算。多個處理器核心107可以各自處理不同的指令集109，其可包括有助於其他指令集之仿真的指令。處理器核心107亦可包括其他的處理裝置，諸如數位信號處理器(DSP)。

在一些實施例中，處理器102包括快取記憶體104。取決於架構，處理器102可具有單一內部快取或者多階內部快取。在一些實施例中，在處理器102的各種元件之間共用快取記憶體。在一些實施例中，處理器102亦使用外部快取(例如，第3階(L3)快取或最後一階快取(LLC))(未示出)，其可使用已知的快取一致性技術在處理器核心107之間共用。處理器102中還包括暫存器檔案106，其可包括用於儲存不同類型之資料的不同類型的暫存器(例如，整數暫存器、浮點暫存器、狀態暫存器、及指令指標暫存器)。某些暫存器可以是通用暫存器，而其他的暫存器可以專用於處理器102之設計。

在一些實施例中，處理器102耦接至處理器匯流排110，以在處理器102和系統100中的其他元件之間傳輸 諸如位址、資料、或控制信號的通訊信號。在一個實施例中，系統100使用示例性「集線器」系統架構，包括記憶體控制器集線器116及輸入輸出(I/O)控制器集線器130。記憶體控制器集線器116有助於記憶體裝置和系統100之其他元件之間的通訊，而I/O控制器集線器(ICH)130提供經由I/O匯流排至I/O裝置的連接。在一個實施例中，記憶體控制器集線器116的邏輯被整合在處理器內。

記憶體裝置120可以是動態隨機存取記憶體(DRAM)裝置、靜態隨機存取記憶體(SRAM)裝置、快取記憶體裝置、相變記憶體裝置、或者一些其他具有合適性能以作為處理記憶體的其他記憶體裝置。在一個實施例中，記憶體裝置120可操作為用於系統100的系統記憶體，以儲存用於當一或多個處理器102執行應用程式或者處理時使用的資料122及指令121。記憶體控制器集線器116亦與可選的外部繪圖處理器112耦接，外部繪圖處理器112可與處理器102中的一或多個繪圖處理器108通訊，以執行繪圖和媒體操作。

在一些實施例中，ICH 130使週邊設備可以經由高速I/O匯流排連接至記憶體裝置120及處理器102。I/O週邊設備包括，但不限於，音訊控制器146、韌體介面128、無線收發器126(例如，Wi-Fi、藍芽)、資料儲存裝置124(例如，硬碟驅動機、快取記憶體等)、及用於將舊有(例如，個人系統2(PS/2))裝置耦接至系統的舊有I/O控制器140。一或多個通用序列匯流排(USB)控制器142連接 諸如鍵盤和滑鼠144組合的輸入裝置。網路控制器134亦可耦接至ICH 130。在一些實施例中，高效能網路控制器(未示出)耦接至處理器匯流排110。應當理解的是，所示的系統100是示例性的而非限制性的，因為亦可使用不同配置的其他類型的資料處理系統。例如，I/O控制器集線器130可被整合在一或多個處理器102之內，或者記憶體控制器集線器116及I/O控制器集線器130可被整合進個別的外部繪圖處理器，諸如外部繪圖處理器112。

圖2為處理器200之實施例的方塊圖，處理器200具有一或多個處理器核心202A-202N、整合式記憶體控制器214、及整合式繪圖處理器208。具有與本文任何其他圖式之元件相同標號(或名稱)的圖2的該些元件，可以類似於本文他處所描述的任何方式操作或發生功用，但不限於此。處理器200可包括高達且包括由虛線框表示的額外核心202N的額外核心。處理器核心202A-202N之各者包括一或多個內部快取單元204A-204N。在一些實施例中，各個處理器核心亦可存取一或多個共用快取單元206。

內部快取單元204A-204N及共用快取單元206表示處理器200內的快取記憶體階層。該快取記憶體階層可包括在每個處理器核心內的至少一階的指令和資料快取，以及一或多階的共用中階快取，諸如第2階(L2)、第3階(L3)、第4階(L4)、或其他階的快取，其中在外部記憶體之前的最高階快取被歸類為LLC。在一些實施例中，快取一致性邏輯保持各種快取單元206及204A-204N之間的 一致性。

在一些實施例中，處理器200亦可包括一組一或多個匯流排控制器單元216及系統代理核心210。一或多個匯流排控制器單元216管理一組週邊設備匯流排，諸如一或多個週邊組件互連匯流排(例如，PCI、PCI Express)。系統代理核心210為各種處理器元件提供管理功能。在一些實施例中，系統代理核心210包括一或多個整合式記憶體控制器214，以管理對各種外部記憶體裝置(未示出)的存取。

在一些實施例中，一或多個處理器核心202A-202N包括對同時多線程的支持。在此種實施例中，系統代理核心210包括用於在多線程處理期間協調和操作核心202A-202N的元件。系統代理核心210還可包括電力控制單元(PCU)，其包括用以調節處理器核心202A-202N及繪圖處理器208之電力狀態的邏輯和元件。

在一些實施例中，處理器200還包括繪圖處理器208，用以執行繪圖處理操作。在一些實施例中，繪圖處理器208與該組共用快取單元206，以及包括一或多個整合式記憶體控制器214的系統代理核心210耦接。在一些實施例中，顯示控制器211與繪圖處理器208耦接，以將繪圖處理器輸出驅動至一或多個耦接的顯示器。在一些實施例中，顯示控制器211可以是經由至少一個互連而與繪圖處理器耦接的單獨模組，或者可以整合在繪圖處理器208或系統代理核心210之內。

在一些實施例中，基於環形之互連單元212係用以耦接處理器200的內部元件。然而，可使用替代的互連單元，諸如，點對點互連、切換式互連或其他技術，包括此領域中熟知的技術。在一些實施例中，繪圖處理器208經由I/O鏈路213與環形互連212耦接。

示例性I/O鏈路213表示多種I/O互連中之至少一者，包括有助於各種處理器元件與高效能嵌入式記憶體模組218(諸如，eDRAM模組)之間的通訊之封裝上I/O互連。在一些實施例中，處理器核心202A-202N之各者及繪圖處理器208使用嵌入式記憶體模組218作為共用最後一階快取記憶體。

在一些實施例中，處理器核心202A-202N為執行同一指令集架構的均質核心。在另一實施例中，就指令集架構(ISA)而言，處理器核心202A-202N是異質的，其中處理器核心202A-N之其中一或多者執行第一指令集，而其他核心中之至少一者執行第一指令集的子集或不同的指令集。在一個實施例中，就微架構而言，處理器核心202A-202N是異質的，其中具有相對較高功耗的一或多個核心與具有較低功耗的一或多個核心耦接。此外，處理器200可在一或多個晶片上實現，或者實現為除了其他元件之外還具有所示元件的SoC積體電路。

圖3為繪圖處理器300的方塊圖，繪圖處理器300可以是個別的繪圖處理單元，或者可以是與複數個處理核心整合的繪圖處理器。在一些實施例中，繪圖處理器經由至 繪圖處理器上之暫存器的記憶體映射I/O介面以及以放置到處理器記憶體中的命令來通訊。在一些實施例中，繪圖處理器300包括記憶體介面314，用以存取記憶體。記憶體介面314可以是至區域記憶體、一或多個內部快取、一或多個共用外部快取、及/或系統記憶體的介面。

在一些實施例中，繪圖處理器300亦包括顯示控制器302，以將顯示輸出資料驅動至顯示裝置320。顯示控制器302包括一或多個疊覆平面的硬體，用於多個視訊層或使用者介面元件的顯示及合成。在一些實施例中，繪圖處理器300包括視訊編解碼引擎306，用以將媒體編碼至一或多個媒體編碼格式、自一或多個媒體編碼格式解碼媒體、或者在一或多個媒體編碼格式之間轉碼媒體，該一或多個媒體編碼格式包括，但不限於，諸如MPEG-2的動畫專家群(MPEG)格式、諸如H.264/MPEG-4 AVC的先進視訊編碼(AVC)格式、以及動畫與電視工程師協會(SMPTE)421M/VC-1、與諸如JPEG的聯合圖像專家群(JPEG)格式、以及動畫JPEG(MJPEG)格式。

在一些實施例中，繪圖處理器300包括區塊影像轉移(BLIT)引擎304，用以執行包括，例如，位元邊界(bit-boundary)區塊轉移的二維(2D)光柵化操作。然而，在一個實施例中，使用繪圖處理引擎(GPE)310的一或多個元件來執行2D繪圖操作。在一些實施例中，繪圖處理引擎310是用於執行包括三維(3D)繪圖操作及媒體操作之繪圖操作的計算引擎。

在一些實施例中，GPE 310包括3D管線312用於執行3D操作，諸如使用作用於3D基元形狀(例如，矩形、三角形等)的處理函數來渲染(rendering)三維影像及場景。3D管線312包括在元件內執行各種任務及/或產生(spawn)執行線程至3D/媒體子系統315的可編程及固定功能元件。僅管3D管線312可被用來執行媒體操作，但GPE 310的實施例亦包括媒體管線316，其具體地被用來執行諸如視訊後處理及影像增強的媒體操作。

在一些實施例中，媒體管線316包括固定功能或可編程邏輯單元，以代替或代表視訊編解碼引擎306執行一或多個專用媒體操作，諸如視訊解碼加速、視訊解交錯(de-interlacing)、及視訊編碼加速。在一些實施例中，媒體管線316還包括線程產生(thread spawning)單元，以產生用於在3D/媒體子系統315上執行的線程。所產生的線程在包括於3D/媒體子系統315中的一或多個繪圖執行單元上執行針對媒體操作的計算。

在一些實施例中，3D/媒體子系統315包括用於執行由3D管線312及媒體管線316所產生的線程的邏輯。在一個實施例中，該等管線傳送線程執行請求至3D/媒體子系統315，其包括線程分派邏輯，用於仲裁及分派各種請求至可用的線程執行資源。該等執行資源包括用以處理3D及媒體線程的繪圖執行單元之陣列。在一些實施例中，3D/媒體子系統315包括用於線程指令和資料的一或多個內部快取。在一些實施例中，該子系統亦包括共用記 憶體，其包括暫存器和可定址記憶體，用以在線程之間共用資料以及儲存輸出資料。

3D/媒體處理

圖4為依據一些實施例之繪圖處理器之繪圖處理引擎410的方塊圖。在一個實施例中，GPE 410是圖3中所示之GPE 310的版本。具有與本文任何其他圖式之元件相同標號(或名稱)的圖4的元件，可以類似於本文他處所描述的任何方式操作或發生功用，但不限於此。

在一些實施例中，GPE 410與命令串流器403耦接，命令串流器403提供命令串流至GPE 3D及媒體管線412、416。在一些實施例中，命令串流器403耦接至記憶體，其可以是系統記憶體，或者是內部快取記憶體及共用快取記憶體中的一或多個。在一些實施例中，命令串流器403從記憶體接收命令，並傳送該等命令至3D管線412及/或媒體管線416。該等命令是從環形緩衝器提取的指令(directives)，該環形緩衝器儲存用於3D及媒體管線412、416的命令。在一個實施例中，該環形緩衝器還可包括批次命令緩衝器，其儲存多個命令的批次。3D及媒體管線412、416藉由經由個別管線內的邏輯執行操作或者藉由分派一或多個執行線程至執行單元陣列414來處理該等命令。在一些實施例中，執行單元陣列414是可擴充的，使得該陣列包括基於GPE 410之目標功率和效能等級的可變數量的執行單元。

在一些實施例中，取樣引擎430與記憶體(例如，快取記憶體或系統記憶體)和執行單元陣列414耦接。在一些實施例中，取樣引擎430提供記憶體存取機制給執行單元陣列414，其允許執行陣列414從記憶體讀取圖形及媒體資料。在一些實施例中，取樣引擎430包括用以執行針對媒體之專門圖像取樣操作的邏輯。

在一些實施例中，取樣引擎430中的專門媒體取樣邏輯包括去雜訊/解交錯模組432、運動估計模組434、及影像縮放及過濾模組436。在一些實施例中，去雜訊/解交錯模組432包括對已解碼的視訊資料執行去雜訊或解交錯演算法中之一或多者的邏輯。該解交錯邏輯將經交錯的視訊內容的交替的場(field)組合成視訊的單一圖框。該去雜訊邏輯減少或者去除視訊及影像資料的資料雜訊。在一些實施例中，該去雜訊邏輯和解交錯邏輯是動態適應性的，並且基於在視訊資料中偵測到的運動量使用空間或時間過濾。在一些實施例中，去雜訊/解交錯模組432包括專用的運動偵測邏輯(例如，在運動估計引擎434內)。

在一些實施例中，運動估計引擎434藉由對視訊資料執行諸如運動向量估計和預測的視訊加速功能來提供用於視訊操作的硬體加速。運動估計引擎判定描述連續視訊圖框之間的影像資料的變換的運動向量。在一些實施例中，繪圖處理器媒體編解碼使用視訊運動估計引擎434在巨集區塊等級執行對視訊的操作，該等操作在以通用處理器執行的情況下可能太過計算密集。在一些實施例中，運動估 計引擎434通常可為繪圖處理器元件所用，以輔助對視訊資料內之運動的方向或量值敏感或適應的視訊解碼及處理功能。

在一些實施例中，影像縮放及過濾模組436執行影像處理操作以提高所產生的影像和視訊的視覺品質。在一些實施例中，在將資料提供給執行單元陣列414之前的取樣操作期間，縮放及過濾模組436處理影像和視訊資料。

在一些實施例中，GPE 410包括資料埠444，其提供額外的機構給繪圖子系統以存取記憶體。在一些實施例中，資料埠444有助於括渲染目標寫入、常數緩衝器讀取、暫用記憶體(scratch memory)空間讀取/寫入、及媒體表面存取之操作的記憶體存取。在一些實施例中，資料埠444包括快取記憶體空間，以快取對記憶體的存取。快取記憶體可以是單一資料快取或者被分為用於經由資料埠存取記憶體之多個子系統的多個快取(例如，渲染緩衝器快取、常數緩衝器快取等)。在一些實施例中，在執行單元陣列414中的執行單元上執行的線程藉由經由耦接GPE 410之子系統中之各者的資料分佈互連來交換訊息而與資料埠通訊。

執行單元

圖5為繪圖處理器500之另一實施例的方塊圖。具有與本文任何其他圖式之元件相同標號(或名稱)的圖5的元件，可以類似於本文他處所描述的任何方式操作或發生功 用，但不限於此。

在一些實施例中，繪圖處理器500包括環形互連502、管線前端504、媒體引擎537、及繪圖核心580A-580N。在一些實施例中，環形互連502將繪圖處理器耦接至其他處理單元，包括其他繪圖處理器或一或多個通用處理器核心。在一些實施例中，繪圖處理器為整合在多核心處理系統內的許多處理器之其中一者。

在一些實施例中，繪圖處理器500經由環形互連502接收成批的命令。傳入的命令由管線前端504中的命令串流器503解譯。在一些實施例中，繪圖處理器500包括可擴展的執行邏輯，以經由繪圖核心580A-580N執行3D幾何處理及媒體處理。針對3D幾何處理命令，命令串流器503將命令提供至幾何管線536。針對至少一些媒體處理命令，命令串流器503將命令提供至視訊前端534，其與媒體引擎537耦接。在一些實施例中，媒體引擎537包括用於視訊及影像後處理的視訊品質引擎(VQE)530以及多格式編碼/解碼(MFX)533引擎，以提供硬體加速的媒體資料編碼及解碼。在一些實施例中，幾何管線536及媒體引擎537各產生用於由至少一個繪圖核心580A所提供的線程執行資源的執行線程。

在一些實施例中，繪圖處理器500包括特徵為模組化核心580A-580N(有時稱為核心切片)的可擴充線程執行資源，每一核心具有多個子核心550A-550N、560A-560N(有時稱為核心子切片)。在一些實施例中，繪圖處理器500 可具有任何數目的繪圖核心580A至580N。在一些實施例中，繪圖處理器500包括繪圖核心580A，其具有至少一第一子核心550A及一第二子核心560A。在其他實施例中，繪圖處理器為具有單一子核心(例如，550A)的低功率處理器。在一些實施例中，繪圖處理器500包括多個繪圖核心580A-580N，各包括第一子核心550A-550N之集合以及第二子核心560A-560N之集合。在第一子核心550A-550N之集合中的每一個子核心包括執行單元552A-552N和媒體/紋理取樣器554A-554N之至少一第一集合。在第二子核心560A-560N之集合中的每一個子核心包括執行單元562A-562N和取樣器564A-564N之至少一第二集合。在一些實施例中，各個子核心550A-550N、560A-560N共用一組共用資源570A-570N。在一些實施例中，共用資源包括共用快取記憶體及像素操作邏輯。其他共用資源亦可包括於繪圖處理器之各種實施例中。

圖6繪示線程執行邏輯600，其包括GPE之一些實施例中所採用的處理元件的陣列。具有與本文任何其他圖式之元件相同標號(或名稱)的圖6的元件，可以類似於本文他處所描述的任何方式操作或發生功用，但不限於此。

在一些實施例中，線程執行邏輯600包括像素著色器602、線程分派器604、指令快取606、可擴充執行單元陣列(包括複數個執行單元608A-608N)、取樣器610、資料快取612、及資料埠614。在一個實施例中，包括的元件係經由鏈結至各個元件的互連結構互連。在一些實施例 中，線程執行邏輯600包括經由指令快取606、資料埠614、取樣器610、及執行單元陣列608A-608N中之一或多者至諸如系統記憶體或快取記憶體之記憶體的一或多個連接。在一些實施例中，各個執行單元(例如，608A)是能夠執行多個同時線程並針對各個線程平行地處理多個資料元件的個別向量處理器。在一些實施例中，執行單元陣列608A-608N包括任何數目的個別執行單元。

在一些實施例中，執行單元陣列608A-608N主要被用來執行「著色器」程式。在一些實施例中，陣列608A-608N中的執行單元執行包括對許多標準3D繪圖著色器指令之原生支援的指令集，使得以最小的轉換來執行來自圖形庫(例如，Direct 3D及OpenGL)的著色器程式。執行單元支援頂點及幾何處理(例如，頂點程式、幾何程式、頂點著色器)、像素處理(例如，像素著色器、片段著色器)及通用處理(例如，計算及媒體著色器)。

執行單元陣列608A-608N中個各個執行單元對資料元件之陣列操作。資料元件的數目為「執行大小」或用於指令的通道數目。執行通道為用於指令內之資料元件存取、遮蔽、及流量控制之執行的邏輯單元。對於特定的繪圖處理器，頻道數目可獨立於實體算術邏輯單元(ALU)或浮點單元(FPU)的數目。在一些實施例中，執行單元608A-608N支援整數及浮點資料類型。

執行單元指令集包括單指令多資料(SIMD)指令。可將各種資料元件作為封裝資料類型儲存於暫存器中，且執行 單元將基於元件的資料大小來處理各種元件。例如，當對256位元寬的向量進行操作時，將該向量的256位元儲存在暫存器中，並且該執行單元將該向量作為四個獨立的64位元封裝資料元件(四字(QW)大小資料元件)、八個獨立的32位元封裝資料元件(雙字(DW)大小資料元件)、十六個獨立的16位元封裝資料元件(字(W)大小資料元件)、或三十二個獨立的8位元資料元件(位元組(B)大小資料元件)而對其操作。然而，不同的向量寬度和暫存器大小是可能的。

一或多個內部指令快取(例如，606)係包括在線程執行邏輯600中，以快取用於執行單元的線程指令。在一些實施例中，包括一或多個資料快取(例如，612)，用以在線程執行期間快取線程資料。在一些實施例中，包括取樣器610，用以提供用於3D操作的紋理取樣以及用於媒體操作的媒體取樣。在一些實施例中，取樣器610包括專用的紋理或媒體取樣功能，以在將已經取樣的資料提供給執行單元之前，在取樣處理期間處理紋理或媒體資料。

在執行期間，繪圖及媒體管線經由線程產生及分派邏輯將線程初始化請求傳送給線程執行邏輯600。在一些實施例中，線程執行邏輯600包括本地線程分派器604，其仲裁來自繪圖及媒體管線的線程初始化請求，並且在一或多個執行單元608A-608N上實例化所請求的線程。例如，幾何管線(例如，圖5的536)將頂點處理、曲面細分(tessellation)、或幾何處理線程分派給線程執行邏輯 600(圖6)。在一些實施例中，線程分派器604亦可處理來自執行著色器程式的執行時線程產生請求。

一旦一組幾何物件已經被處理且被光柵化為像素資料，則調用像素著色器602來進一步計算輸出資訊，並使結果被寫入到輸出表面(例如，顏色緩衝器、深度換衝器、模板緩衝器等等)。在一些實施例中，像素著色器602計算待被內插到經光柵化的物件之間的各種頂點屬性的值。在一些實施例中，像素著色器602接著執行供應應用程式介面(API)的像素著色器程式。為了執行像素著色器程式，像素著色器602經由線程分派器604將線程分派至執行單元(例如，608A)。在一些實施例中，像素著色器602使用取樣器610中的紋理取樣邏輯來存取儲存在記憶體中的紋理圖中的紋理資料。對紋理資料及輸入幾何資料的算術操作計算用於各個幾何片段的像素色彩資料，或者丟棄一或多個像素避免進一步的處理。

在一些實施例中，資料埠614提供線程執行邏輯600一記憶體存取機構，輸出經處理的資料至記憶體用於在繪圖處理器輸出管線上處理。在一些實施例中，資料埠614包括或耦接至一或多個快取記憶體(例如，資料快取612)，以快取用於經由資料埠進行記憶體存取的資料。

圖7為繪示依據一些實施例之繪圖處理器指令格式700的方塊圖。在一或多個實施例中，繪圖處理器執行單元支援具有多種格式之指令的指令集。實現框繪示了在執行單元指令中通常包括的元件，而虛線則包括可選的或僅 包括在指令之子集中的元件。在一些實施例中，所描述和繪示的指令格式700是巨集指令，因為它們是供應到執行單元的指令，這與一旦指令被處理即指令解碼所導致的微操作相反。

在一些實施例中，繪圖處理器執行單元原生地支援128位元格式710的指令。64位元壓緊指令格式730可用於基於選定指令、指令選項、及運算元數目的一些指令。原生的128位元格式710提供對所有指令選項的存取，而一些選項及操作在64位元格式730中受到限制。64位元格式730中可用的原生指令隨實施例而不同。在一些實施例中，使用索引(index)欄位713中的一組索引值來部分地壓緊指令。執行單元基於索引值硬體參考一組壓緊表，並且使用壓緊表輸出來重構128位元格式710的原生指令。

針對各個格式，指令操作碼712定義執行單元將要執行的操作。執行單元跨各個運算元的多個資料元件並行地執行各個指令。例如，回應於添加指令，執行單元跨表示紋理元件或圖片元件的各個色彩通道執行同時的添加操作。按照預設，執行單元跨運算元的所有資料通道執行每個指令。在一些實施例中，指令控制欄位714致能對諸如通道選擇(例如，預測)及資料通道階順序例如，資料調換(swizzle))之某些執行選項的控制。針對128位元指令710，執行大小(exec-size)欄位716限制了將被並行執行的資料通道的數目。在一些實施例中，執行大小欄位716不適用於在64位元壓緊指令格式730中使用。

一些執行單元指令具有高達三個運算元，包括兩個來源運算元src0 722、src1 722以及一個目的地718。在一些實施例中，執行單元支援雙目的地指令，其中目的地之其中一者是隱含的。資料操縱指令可具有第三來源運算元(例如，SRC2 724)，其中指令操作碼712判定來源運算元的數目。指令的最後一個來源運算元可以是與指令一起傳遞的一立即(例如，硬編碼的)值。

在一些實施例中，128位元指令格式710包括存取/定址模式資訊726，指定例如是使用直接暫存器定址模式或是間接暫存器定址模式。當使用直接暫存器定址模式時，由指令710中的位元直接地提供一或多個運算元的暫存器位址。

在一些實施例中，128位元指令格式710包括存取/定址模式欄位726，其指定用於指令的定址模式及/或存取模式。在一個實施例中，存取模式用以定義指令的資料存取對齊。一些實施例支援存取模式包括16位元組對齊的存取模式及1位元組對齊的存取模式，其中存取模式的位元組對齊決定指令運算元的存取對齊。例如，當在第一模式時，指令710可將位元組對齊的定址用於來源及目的地運算元，且在第二模式時，指令710可將16位元組對齊的定址用於所有的來源及目的地運算元。

在一個實施例中，存取/定址模式欄位726的定址模式部分決定指令是使用直接或間接定址。當使用直接暫存器定址模式時，指令710中的位元直接地提供一或多個運 算元的暫存器位址。當使用間接暫存器定址模式時，可基於定址暫存器值及指令中的定址立即欄位來計算一或多個運算元的暫存器位址。

在一些實施例中，基於操作碼712位元欄位將指令分組以簡化操作碼解碼740。針對8位元操作碼，位元4、5、及6允許執行單元決定操作碼的類型。所示之精確的操作碼分組僅是示例性的。在一些實施例中，移動及邏輯操作碼群組742包括資料移動及邏輯指令(例如，移動(mov)、比較(cmp))。在一些實施例中，移動及邏輯群組742共用五個最高有效位元(MSB)，其中移動(mov)指令是0000xxxxb的形式，且邏輯指令是0001xxxxb的形式。流量控制指令群組744(例如，呼叫、跳越(jmp))包括0010xxxxb(例如，0x20)之形式的指令。雜項指令群組746包括指令的混合，包括0011xxxxb(例如，0x30)之形式的同步指令(例如，等待、發送)。平行數學指令群組748包括0100xxxxb(例如，0x40)之形式的分組件的算術指令(例如，加、乘(mul))。平行數學群組748跨資料通道並行地執行算數運算。向量數學群組750包括0101xxxxb(例如，0x50)之形式的算數指令(例如，dp4)。向量數學群組對向量運算元執行諸如點積計算的算術。

繪圖管線

圖8為繪圖處理器800之另一實施例的方塊圖。具有與本文任何其他圖式之元件相同標號(或名稱)的圖8的元 件，可以類似於本文他處所描述的任何方式操作或發生功用，但不限於此。

在一些實施例中，繪圖處理器800包括繪圖管線820、媒體管線830、顯示引擎840、線程執行邏輯850、及渲染輸出管線870。在一些實施例中，繪圖處理器800是在包括一或多個通用處理核心之多核處理系統內的繪圖處理器。繪圖處理器係透過至一或多個控制暫存器(未示出)的暫存器寫入或經由環形互連802發佈至繪圖處理器800的命令而被控制。在一些實施例中，環形互連802將繪圖處理器800耦接到其他處理元件，諸如其他繪圖處理器或通用處理器。來自環形互連802的命令係由命令串流器803解譯，其將指令提供至繪圖管線820或媒體管線830的個別元件。

在一些實施例中，命令串流器803指示頂點擷取器805的操作，其從記憶體讀取頂點資料並且執行由命令串流器803所提供的頂點處理命令。在一些實施例中，頂點擷取器805將頂點資料提供給頂點著色器807，其對各個頂點執行座標空間轉換及照明操作。在一些實施例中，頂點擷取器805及頂點著色器807透過經由線程分派器831將執行線程分派至執行單元852A、852B來執行頂點處理指令。

在一些實施例中，執行單元852A、852B為向量處理器的陣列，其具有用於執行繪圖和媒體操作的指令集。在一些實施例中，執行單元852A、852B具有特定用於各個 陣列或者在陣列之間共用的附加的L1快取851。該快取可被配置成資料快取、指令快取、或單一快取，其被區分成在不同的分區中包含資料及指令。

在一些實施例中，繪圖管線820包括曲面細分元件，用以執行3D物件之硬體加速的曲面細分。在一些實施例中，可程式化的外殼著色器811配置曲面細分操作。可程式化的域著色器817提供曲面細分輸出的後端評估。曲面細分器813在外殼著色器811的方向上操作，並且包含專用邏輯以基於被提供作為繪圖管線820之輸入的粗略幾何模型來產生一組細微的幾何物件。在一些實施例中，若未使用曲面細分，則可繞過曲面細分元件811、813、817。

在一些實施例中，完整的幾何物件可透過幾何著色器819經由被分派至執行單元852A、852B的一或多個線程來處理，或者可直接前進到剪裁器829。在一些實施例中，幾何著色器對整個幾何物件進行操作，而不是如在繪圖管線的先前階段中對頂點或是頂點的面片(patches)進行操作。若曲面細分被停用，則幾何著色器819從頂點著色器807接收輸入。在一些實施例中，幾何著色器819可透過幾何著色器程式而被程式化以在曲面細分單元被停用的情況下執行幾何曲面細分。

在光柵化之前，剪裁器829處理頂點資料。剪裁器829可以是固定功能剪裁器或是具有剪裁及幾何著色器功能的可程式化剪裁器。在一些實施例中，渲染輸出管線870中的光柵化及深度測試元件873分派像素著色器以將 幾何物件轉換成其之每像素表示。在一些實施例中，像素著色器邏輯包括在線程執行邏輯850中。在一些實施例中，應用程式可繞過光柵化873，且經由串流輸出單元823存取未被光柵化的頂點資料。

繪圖處理器800具有允許資料及訊息在處理器的主要元件之間傳遞的互連匯流排、互連結構、或一些其他互連機構。在一些實施例中，執行單元852A、852B及相關聯的快取851、紋理及媒體取樣器854、及紋理/取樣器快取858經由資料埠856互連以執行記憶體存取，並與處理器的渲染輸出管線元件通訊。在一些實施例中，取樣器854、快取851、858及執行單元852A、852B各具有獨立的記憶體存取路徑。

在一些實施例中，渲染輸出管線870包含光柵化(rasterizer)及深度測試元件873，其將基於頂點的物件轉換成關聯的基於像素的表示。在一些實施例中，該光柵化邏輯包括分窗器(windower)/遮蔽器(masker)單元以執行固定功能三角形及線光柵化。相關聯的渲染快取878及深度快取879在一些實施例中亦為可用的。像素操作元件877對資料執行基於像素的操作，然而在一些實例中，與2D操作相關聯的像素操作(例如，具有混色的位元區塊圖像傳送)是由2D引擎841執行，或者由顯示控制器843使用疊加顯示平面在顯示時間代替。在一些實施例中，共用的L3快取875可用於所有的繪圖元件，允許資料在不使用主系統記憶體之情況下的共用。

在一些實施例中，繪圖處理器媒體管線830包括媒體引擎837及視訊前端834。在一些實施例中，視訊前端834接收來自命令串流器803的管線命令。在一些實施例中，媒體管線830包括獨立的命令串流器。在一些實施例中，視訊前端834在將媒體命令傳送至媒體引擎837之前處理該等命令。在一些實施例中，媒體引擎837包括線程產生功能性以產生線程用於經由線程分派器831分派至線程執行邏輯850。

在一些實施例中，繪圖處理器800包括顯示引擎840。在一些實施例中，顯示引擎840在處理器800外部，並且經由環形互連802、或一些其他互連匯流排或結構與繪圖處理器耦接。在一些實施例中，顯示引擎840包括2D引擎841及顯示控制器843。在一些實施例中，顯示引擎840包含能夠獨立於3D管線進行操作的專用邏輯。在一些實施例中，顯示控制器843與顯示裝置(未示出)耦接，該顯示裝置可如在膝上型電腦中為系統整合式顯示裝置，或者為經由顯示裝置連接器附接的外部顯示裝置。

在一些實施例中，繪圖管線820及媒體管線830可被配置成基於多個繪圖及媒體程式介面執行操作，並且非特定於任一個應用程式介面(API)。在一些實施例中，用於繪圖處理器的驅動軟體將特定於特定繪圖或媒體程式庫的API調用轉譯成可由繪圖處理器處理的命令。在一些實施例中，提供對來自科納斯組織(Khronos Group)的開放圖形 程式庫(OpenGL)及開放計算語言(OpenCL)、來自微軟公司的Direct3D程式庫的支援，或可提供對OpenGL及D3D兩者的支援。亦可提供對開放源電腦視覺程式庫(OpenCV)的支援。具有相容3D管線的未來API亦可在能將未來API之管線映射至繪圖處理器之管線的情況下得到支援。

繪圖管線程式設計

圖9A為繪示依據一些實施例之繪圖處理器指命令格式900的方塊圖。圖9B為繪示依據一實施例之繪圖處理器命令序列910的方塊圖。圖9A中實線框繪示了在繪圖命令中通常包括的元件，而虛線則包括可選的或僅包括在繪圖命令之子集中的元件。圖9A的示例性的繪圖處理器命令格式900包括用以識別命令之目標客戶端902的資料欄位、命令操作碼(opcode)904、及用於命令的相關資料906。子操作碼905及命令大小908亦包括在一些命令中。

在一些實施例中，客戶端902指定繪圖裝置之處理命令資料的客戶端單元。在一些實施例中，繪圖處理器命令剖析器檢驗每個命令的客戶端欄位以調節命令的進一步處理，並將命令資料路由到適當的客戶端單元。在一些實施例中，繪圖處理器客戶端單元包括記憶體介面單元、渲染單元、2D單元、3D單元、及媒體單元。各個客戶端單元具有處理命令的相對應的處理管線。一旦命令由客戶端單 元接收，該客戶端單元讀取操作碼904，及若存在的話，讀取子操作碼905，以判定待執行的操作。該客戶端單元使用在資料欄位906中的資訊來執行命令。針對某些命令，需要顯式命令大小908來指定命令的大小。在一些實施例中，命令剖析器基於命令操作碼自動地判定命令中之至少一些命令的大小。在一些實施例中，經由雙字的倍數來對齊命令。

圖9B中的流程圖示出示例性的繪圖處理器命令序列910。在一些實施例中，表徵繪圖處理器之實施例的資料處理系統之軟體或韌體使用所示之命令序列的版本來設定、執行、及終止一組繪圖操作。僅出於示例之目的示出及描述範例命令序列，因為實施例不限於這些特定命令或此命令序列。此外，命令可作為命令序列中的命令批次而被發佈，使得繪圖處理器將至少部分地同時處理命令序列。

在一些實施例中，繪圖處理器命令序列910可以管線排清命令912開始，以使任何作用中的繪圖管線完成用於管線的當前未決的命令。在一些實施例中，3D管線922及媒體管線924不會同時地操作。執行管線排清以使得作用中的繪圖管線完成任何未決的命令。回應於管線排清，用於繪圖處理器的命令剖析器將暫停命令處理直到作用中的製圖引擎完成未決的操作，且相關的讀取快取是無效的。可選地，渲染快取中被標記為「髒(dirty)」的任何資料可被排清至記憶體。在一些實施例中，管線排清命令 912可被用於管線同步或在將繪圖處理器置於低功率狀態之前使用。

在一些實施例中，當命令序列要求繪圖處理器顯式地在管線之間切換時，使用管線選擇命令913。在一些實施例中，管線選擇命令913在發佈管線命令之前在執行上下文內僅被需要一次，除非該上下文是用於發佈針對兩個管線的命令。在一些實施例中，在經由管線選擇命令913的管線切換之前立即需要管線排清命令912。

在一些實施例中，管線控制命令914配置繪圖管線以供操作，並且被用以編程3D管線922和媒體管線924。在一些實施例中，管線控制命令914配置用於作用中的管線的管線狀態。在一個實施例中，管線控制命令914被用於管線同步，並且在處理命令批次之前被用以清除作用中的管線內的一或多個快取記憶體的資料。

在一些實施例中，返回緩衝狀態命令916被用以配置一組返回緩衝器以供個別的管線寫入資料。一些管線操作需要一或多個返回緩衝器的分配、選擇、或組態，操作在處理期間將中間資料寫入該一或多個返回緩衝器中。在一些實施例中，繪圖處理器亦使用一或多個返回緩衝器來儲存輸出資料，並執行跨線程通訊。在一些實施例中，返回緩衝狀態916包括選擇要用於一組管線操作的返回緩衝器的大小及數量。

命令序列中的剩餘命令基於用於操作的作用中的管線而不同。基於管線判定920，命令序列係針對從3D管線 狀態930開始的3D管線922設計，或者針對從媒體管線狀態940開始的媒體管線924設計。

用於3D管線狀態930的命令包括3D狀態設定命令，用於頂點緩衝狀態、頂點元件狀態、恆定色彩狀態、深度緩衝狀態、以及將在處理3D基元命令之前被配置的其他狀態變數。這些命令的值係至少部份地依據使用中的特定3D API來判定。在一些實施例中，3D管線狀態930命令亦能夠選擇性地停用或者繞過某些管線元件，若那些元件將不被使用。

在一些實施例中，3D基元932命令係用以提交3D基元以由3D管線處理。經由3D基元932命令被傳遞至繪圖處理器的命令及相關聯參數被轉送至繪圖管線中的頂點提取功能。該頂點提取功能使用3D基元932命令資料來產生頂點資料結構。該頂點資料結構被儲存在一或多個返回緩衝器中。在一些實施例中，3D基元932命令被用以經由頂點著色器對3D基元執行頂點操作。為了處理頂點著色器，3D管線922將著色器執行線程分派至繪圖處理器執行單元。

在一些實施例中，3D管線922係經由執行934命令或事件而被觸發。在一些實施例中，暫存器寫入觸發命令執行。在一些實施例中，執行係經由命令序列中的「前進(go)」或「啟動(kick)」命令而被觸發。在一個實施例中，命令執行係使用管線同步命令來從繪圖管線中排清命令序列而被觸發。3D管線將針對3D基元執行幾何處理。 一旦操作完成，所得到的幾何物件將被光柵化，且像素引擎將所得到的像素上色。用以控制像素著色及像素後端操作的額外命令亦可被包括用於那些操作。

在一些實施例中，繪圖處理器命令序列910在執行媒體操作時遵循媒體管線924路徑。一般而言，用於媒體管線924之編程的具體用途和方式取決於待執行的媒體或計算操作。具體的媒體解碼操作可在媒體解碼期間被卸載至媒體管線。在一些實施例中，媒體管線亦可被繞過，且可使用由一或多個通用處理核心所提供的資源來整體或部份地執行媒體解碼。在一個實施例中，媒體管線亦包括用於通用繪圖處理器單元(GPGPU)操作的元件，其中繪圖處理器係用以使用並非顯式地與繪圖基元之渲染相關的計算著色器程式來執行SIMD向量操作。

在一些實施例中，媒體管線924以與3D管線922類似的方式被組態。一組媒體管線狀態命令940被分配或放置在命令序列中的媒體物件命令942之前。在一些實施例中，媒體管線狀態命令940包括資料，用以組態將被用以處理媒體物件之媒體管線元件。此包括資料，用以組態媒體管線內之視訊解碼及視訊編碼邏輯，諸如編碼或解碼格式。在一些實施例中，媒體管線狀態命令940亦支援使用一或多個指標指向「間接」狀態元件，其包含狀態設定之批次。

在一些實施例中，媒體物件命令942將指標供應至媒體物件以供媒體管線處理。媒體物件包括記憶體緩衝器， 其包含待處理的視訊資料。在一些實施例中，在發出媒體物件命令942之前，所有的媒體管線狀態必須是有效的。一旦管線狀態被組態且媒體物件命令942被排進佇列，媒體管線924經由執行命令944或等效的執行事件(例如，暫存器寫入)而被觸發。來自媒體管線924的輸出可接著由3D管線922或媒體管線924所提供的操作進行後處理。在一些實施例中，GPGPU操作以與媒體操作相似的方式而被組態及執行。

繪圖軟體架構

圖10繪示依據一些實施例之用於資料處理系統1000的示例性繪圖軟體結構。在一些實施例中，軟體架構包括3D繪圖應用程式1010、作業系統1020、及至少一個處理器1030。在一些實施例中，處理器1030包括繪圖處理器1032及一或多個通用處理器核心1034。繪圖應用程式1010及作業系統1020各在資料處理系統之系統記憶體1050中執行。

在一些實施例中，3D繪圖應用程式1010包含一或多個著色器程式，其包括著色器指令1012。著色器語言指令可以是高階著色器語言，諸如高階著色器語言(HLSL)或是OpenGL著色器語言(GLSL)。應用程式亦包括適於通用處理器核心1034執行之機器語言形式的可執行指令1014。應用程式亦包括由頂點資料所界定的繪圖物件1016。

在一些實施例中，作業系統1020為來自微軟公司的Microsoft® Windows®作業系統、專有的類UNIX作業系統、或使用Linux核心之變體的開源類UNIX作業系統。當使用Direct3D API時，作業系統1020使用前端著色器編譯器1024來將HLSL之形式的任何著色器指令1012編譯成較低階的著色器語言。該編譯可以是即時(JIT)編譯或者該應用程式可執行著色器預編譯。在一些實施例中，高階著色器在3D繪圖應用程式1010的編譯期間被編譯成低階著色器。

在一些實施例中，使用者模式繪圖驅動器1026包含後端著色器編譯器1027，用以將著色器指令1012轉換成硬體特定表示。當使用OpenGL API時，GLSL高階語言形式的著色器指令1012被傳遞至使用者模式繪圖驅動器1026用於編譯。在一些實施例中，使用者模式繪圖驅動器1026使用作業系統核心模式功能1028來與核心模式繪圖驅動器1029通訊。在一些實施例中，核心模式繪圖驅動器1029與繪圖處理器1032通訊以分派命令及指令。

IP核心實作

至少一個實施例的一或多個態樣可由儲存在機器可讀取媒體上的代表性程式碼實施，該機器可讀取媒體表示及/或定義在積體電路內的邏輯，諸如處理器。例如，機器可讀取媒體可包括表示處理器內之各種邏輯的指令。當由機器讀取時，指令可使機器製造邏輯來執行本文所述之技 術。被稱為「IP核心」的此種表示為用於積體電路的可重複使用的邏輯單元，其可被儲存在有形的、機器可讀取媒體上作為描述積體電路之結構的硬體模型。硬體模型可被供應給各種客戶或製造設施，其將硬體模型加載在製造積體電路的製造機器上。可製造積體電路使得電路執行與本文所述之任何實施例相關聯地描述的操作。

圖11為繪示依據一實施例之可被用於製造積體電路以執行操作之IP核心開發系統1100的方塊圖。可使用IP核心開發系統1100來產生可被整合進較大型設計或被用來建構整個積體電路(例如，SOC積體電路)的模組化的、可重複使用的設計。設計設施1130可以高階程式語言(例如，C/C++)來產生IP核心設計的軟體模擬1110。軟體模擬1110可被用來設計、測試、及驗證IP核心的行為。可接著從模擬模型1100建立或合成暫存器傳送層級(RTL)設計。該RTL設計1115為模型化硬體暫存器之間的數位信號流之積體電路的行為的抽象化，包括使用模型化的數位信號所執行的相關聯的邏輯。除了RTL設計1115之外，亦可建立、設計、或合成在邏輯層級或電晶體層級的較低階設計。因此，初始設計和模擬的特定細節可不同。

RTL設計1115或等效物可進一步由設計設施合成為硬體模型1120，其可以是硬體描述語言(HDL)格式或實體設計資料的某些其他表示。可進一步模擬或測試HDL，以驗證該IP核心設計。可使用非揮發性記憶體1140(例如，硬碟、快閃記憶體、或任何非揮發性儲存媒體)來儲存IP 核心設計用以傳遞至第三方製造設施1165。替代地，可經由有線連接1150或無線連接1160來傳輸(例如，經由網際網路)IP核心設計。製造設施1165可接著製造至少部分依據該IP核心設計的積體電路。所製造的積體電路可被組態成依據本文所述之至少一個實施例執行操作。

圖12為繪出依據一實施例之可使用一或多個IP核心來製造的示例性系統單晶片積體電路1200的方塊圖。示例性積體電路包括一或多個應用程式處理器1205(例如，CPU)、至少一個繪圖處理器1210、且可額外地包括影像處理器1215及/或視訊處理器1220，其中任一者可為來自相同或多個不同是設計設施的模組化IP核心。積體電路包括周邊或匯流排邏輯，其包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235、及I²S/I²C控制器1240。另外，積體電路可包括顯示裝置1245，其耦接至高解析度多媒體介面(HDMI)控制器1250及行動產業處理器介面(MIPI)顯示介面1255中之一或多者。儲存可由包括快閃記憶體及快閃記憶體控制器的快閃記憶體子系統1260提供。記憶體介面可經由記憶體控制器1265提供，用於存取SDRAM或SRAM記憶體裝置。一些積體電路另外包括嵌入式安全引擎1270。

此外，其他邏輯及電路可被包括在積體電路1200的處理器中，包括額外的繪圖處理器/核心、周邊介面控制器、或通用處理器核心。 用於型樣驅動、自適應虛擬繪圖處理單元的裝置及方法

在當前的繪圖處理器單元(GPU)虛擬化實現中，虛擬機監視器(VMM)，特別是虛擬GPU(vGPU)裝置模型，捕獲及模擬訪客(guest)存取特權GPU資源用於安全和多工，同時通過性能關鍵資源的CPU存取(例如，諸如CPU存取繪圖記憶體)。GPU命令，一旦被提交，(在GPU中)被直接執行而不需VMM干預。因此，能達到接近本地(native)效能。

在GPU執行來自多個vGPU訪客的工作負載的架構中，從vGPU訪客的其中一者切換到下一個vGPU訪客將導致GPU上下文切換並且所需的硬體級環型引擎上下文將被保存/恢復。不同於上下文係非常輕量的CPU，GPU上下文是非常重的。因此，GPU上下文切換比CPU上下文切換花費顯著地更多的時間。分析資料顯示GPU上下文切換可能需要100~300微秒(us)，而CPU上下文切換可能僅需要數百奈秒(ns)。

因此，GPU排程器策略將不如CPU中那樣頻繁地觸發上下文切換。通常，它每幾毫秒(ms)發生。典型的GPU排程器提供基於配額(quantum)的策略來週期性地排程vGPU實例。應注意的是，這裡的週期可以是固定的，或是加權的，或者甚至是每個附加策略不同的。各個vGPU，一旦經排程，被提供一配額，其中執行由CPU準備的命令(CMD)直到該配額被消耗光，及/或直到vGPU被鎖住(諸如由於旗號、等待事件等等)。雖然此策略在CPU 側執行良好，但它對GPU側帶來了額外的挑戰，因為vGPU實例的執行依賴於由CPU準備的可用CMD。也就是說，vGPU實例(VM)可能具有用以運行GPU CMD的配額，但在給定的時間點可能沒有準備好的CMD(即，GPU必須等待來自CPU的CMD準備就緒，這可能需要時間)。因此，GPU可保持在閒置狀態中，直到下一個CMD可用，在此期間GPU循環被浪費了。圖13繪示VM1的GPU利用率大約為20%的示例性情況，其中大約80%的GPU資源被浪費在等待下一個可用命令。

一個選項是當偵測到沒有可用CMD時，立即將vGPU實例排程出去。然而，因為GPU中的上下文切換成本相較於CPU是如此高，其可能導致頻繁的GPU上下文切換有非常高的切換成本。因此對GPU排程器而言，判斷在沒有可用CMD時讓出(排程出)vGPU實例的條件集合是一個挑戰。

本文所描述之發明的實施例實現用於高效讓出(yielding)的型樣驅動、自適應方案(PDSAS)。如圖14中所繪示，在一個實施例中，PDSAS邏輯1470係建立在現有的GPU排程器1412內或者在其頂部，且實際上，可以任何現有的GPU排程器來實施。

A. 虛擬繪圖處理總覽

現在將提供圖14中所示的示例性實施例1400的額外細節，隨後(在B部分)是由PDSAS邏輯1470執行的操作 的詳細描述。所示的實施例包括多個VM，例如，VM 1430和VM 1440，由超管理器1410(有時稱為虛擬機監視器(VMM))管理，其可存取GPU 1420中的GPU特徵的全部陣列。虛擬GPU(vGPU)1460A-B可基於GPU虛擬化技術來存取由GPU硬體1420提供的全部功能。在各種實施例中，超管理器1410可追蹤、管理一或多個vGPU的資源及生命週期。雖然圖14中僅示出兩個vGPU 1460A-B，超管理器1410可包括其他的vGPU。在一些實施例中，vGPU可與原生的GPU驅動器交互作用。VM 1430或VM 1440可透過vGPU 1460A-B存取GPU特徵的全部陣列。可每配額或每事件切換vGPU上下文。在一些實施例中，上下文切換可每GPU渲染引擎(例如，3D渲染引擎或blitter渲染引擎)發生。週期性的切換允許多個VM以對VM 1430、1440的工作負載透明的方式共用實體GPU 1420。

很像單一中央處理單元(CPU)核心，可由VM 1430分配有限的時間，GPU 1420亦可由VM 1430分配有限的時間。另一虛擬化模型是分時，其中GPU 1420或其一部分可由多個VM，例如，VM 1430和VM 1440，以多工的方式共享。在其他的實施例中亦可使用其他的GPU虛擬化模型。在各種實施例中，與GPU 1420相關聯的繪圖記憶體可被劃分，並被分配給超管理器1410中的各種vGPU。

在各種實施例中，圖形轉換表(GTT)可被VM及/或GPU 1420用來將繪圖處理器記憶體映射至系統記憶體， 或用來將GPU虛擬位址轉換為實體位址。在一些實施例中，超管理器1410可經由影射(shadow)GTT管理繪圖記憶體映射，且影射GTT可被保持在vGPU實例，例如，vGPU 1460A-B中。在各種實施例中，各個VM可具有一對應的影射GTT來保持繪圖記憶體位址與實體記憶體位址之間的映射。在一些實施例中，影射GTT可被共用並且維護多個VM的映射。在一些實施例中，各個VM(例如，VM 1430和VM 1440)，可包括每程序(per-process)和全域GTT二者。

一些實施例可使用系統記憶體作為繪圖記憶體。系統記憶體可由GPU頁表被映射至多個虛擬位址空間。不同的實施例可支援全域繪圖記憶體空間和每程序繪圖記憶體位址空間。全域繪圖記憶體空間可以是虛擬位址空間，例如，2GB，透過全域圖形轉換表(GGTT)映射。此位址空間的較低部分可被稱為「孔(aperture)」，可由GPU 1420和CPU(未示出)二者存取。此位址空間的較高部分被稱為高繪圖記憶體空間或隱藏繪圖記憶體空間，其可僅由GPU 1420存取。在各種實施例中，影射全域圖形轉換表(SGGTT)可被VM 1430、VM 1440、超管理器1410、或GPU 1420用來依據全域記憶體位址空間將繪圖記憶體位址轉換成個別的系統記憶體位址。

超管理器1410可使用命令剖析器1418來偵測用於由VM 1430或VM 1440所提交之命令的GPU渲染引擎的潛在記憶體工作集。在各種實施例中，VM 1430可具有個別 的命令緩衝器(未示出)，以保存來自不同工作負載(例如，3D工作負載和媒體工作負載)的命令。相似地，VM 1440可具有個別的命令緩衝器(未示出)，以保存來自這些不同工作負載的命令。

在各種實施例中，命令剖析器1418可掃描來自VM的命令，並判斷該命令是否包含記憶體運算元。若其包含記憶體運算元，則命令剖析器1418可從，例如，用於VM的GTT，讀取相關的繪圖記憶體空間映射，然後將其寫入SGGTT的工作負載特定部分。在工作負載的命令緩衝器整個被掃描了之後，可產生或更新保存與此工作負載相關聯的記憶體位址空間映射的SGGTT。此外，藉由掃描來自VM 1430或VM 1440的待執行命令，命令剖析器1418還可諸如透過減輕惡意的操作來提高GPU操作的安全性。

在一些實施例中，可產生一個SGGTT來保存來自所有VM的所以工作負載的轉換。在一些實施例中，可產生一個SGGTT來保存，例如，僅來自一個VM，的所有工作負載的轉換。可由命令剖析器1418根據需要來構建工作負載特定SGGTT部分，以保存特定工作負載(例如，來自VM 1430的3D工作負載或來自VM 1440的媒體工作負載)的轉換。

B. 用於高效讓出的型樣驅動、自適應方案(PDSAS)

如上所述，本發明的實施例實現用於高效讓出的型樣 驅動、自適應方案(PDSAS)。如圖14中所示，在一實施例中，PDSAS邏輯1470係建立在現有的GPU排程器1412內或者在其頂部，且實際上，可以任何現有的GPU排程器來實施。

本發明的一個實施例監控活動並產生運行期間GPU執行狀態的分析型樣，包括針對給定的VM，GPU可維持在閒置狀態中多長時間。在一個實施例中，這是透過判斷從最後CMD完成的時間直到新的CMD可用的時間的時間差來完成。然後可使用VM的這些過去的執行型樣來預測VM的行為，並擴展GPU排程器1412來對是否讓出GPU做出更好的決定，從而提高效率。

為了執行這些操作，PDSAS邏輯1470的一個實施例將每VM一批GPU命令的執行加上戳記(stamp)，以確定如何使用GPU資源的型樣。特別是，PDSAS邏輯1470收集從GPU完成先前提交的CMD(可能是批次格式)的執行的時間點(其中最初沒有可提交的CMD)到新的CMD可用的時間點的持續時間的統計。

在一個實施例中，分析資料包括針對各個VM之GPU忙碌時間(busy time)及/或GPU閒置時間，如圖13中所示。在此範例中，各個VM被提供有15ms的配額。VM1在其配額內的GPU資源利用率為大約20%(即，有顯著的閒置週期)，且VM2在其配額內的GPU資源利用率為大約80%(有顯著較少的閒置週期)。

CPU排程器和GPU排程器可能是不可知的。VM一 次可具有四種排程可能性：1)僅由CPU排程器排程(scheduled-in)，2)僅由GPU排程器排程，3)僅由CPU和GPU排程器二者排程，4)非由GPU或CPU排程器排程。

在一個實施例中，PDSAS邏輯1470接著執行所確定的利用型樣的分析以獲得可能等待時間(即，每VM發生GPU閒置)的分佈曲線。一個實施例應用函數P(t)，其中t是等待持續時間，且P(t)是機率(例如，0.01%)。圖15中示出P(t)的此種機率分佈曲線之一個範例，其強調平均時間(T_average)和T_80%(即，意謂著下一CMD將在指定時間週期內到達的機率為80%)之曲線上的點。此範例衍生自3Dmark工作負載。

一旦機率曲線被確定，PDSAS邏輯1470可以計算並預測在一定機率下的等待成本(“W-Cost”)。在一個實施例中，PDSAS邏輯1470使用平均等待時間T_average簡單地執行其評估：W-Cost=T_average，其中T_average被計算為：

在一個實施例中，因為資料在諸如10ns(0.01ms)的小時間間隔內被取樣，上述公式成為如下的離散函數：

N=T _average /0.01

當然，亦可將其他的值用於W-Cost。例如，在一實施例中，W-Cost被設定為下一命令(T0)的最大可能等待持續時間，如圖16所指示。在一個實施例中，W-Cost是在 運行時間期間依據指定的策略動態調整的變數(下面將討論其之一些範例)。

上述的取樣技術可持續例如，諸如10分鐘的一定時間。在一個實施例中，可同等地使用取樣週期中的型樣及/或可使用不同的權重來區分最新的資料和舊的資料(例如，有更多的權重被施加至更多的當前資料)。例如，最新的1分鐘的取樣資料可被認為具有最佳的試探法(heuristics)，並且，因此，可有80%的權重，而剩餘9分鐘的資料可有20%的權重。在此實現中，最終P(t)=Pa(t) * 0.8+Pb(t) * 0.2，其中P(t)是可能等待時間的分佈曲線。當然，本發明的基本原理不限於判定權重及/或在其內施加權重的時間週期的任何特定方式。

PDSAS邏輯1470的一個實施例藉由預測讓出vGPU實例的成本和增益來增強GPU排程器1412。例如，PDSAS邏輯1470可執行上述評估，然後比較兩種方法的增益和損耗。在一個實施例中，若等待的成本大於或等於切換的成本，則PDSAS邏輯1470讓出vGPU。即：

若W-Cost>=SW-Cost(切換成本)+Thres0，則讓出vGPU。

如上所述，W-Cost是若GPU尚未被讓出時，GPU閒置的等待時間。SW-Cost是切換成本，且Thres0是產生GPU的最小增益限制。如上所述，在一實施例中，W-Cost是等待vGPU獲得可運行的新的CMD的平均成本，且SW-Cost是vGPU上下文切換(例如，0.3ms)的成本，且 Thres0是可被設置來保持策略彈性與保守的閾值。

在一個實施例中，利用實現上述方案的PDSAS邏輯1470，提高了GPU利用率，且因此提高了總系統GPU吞吐量。然而，在一些情況中，可能在VM之間引進不平衡的GPU資源分配。即，特定VM可被分配到比甚至在長時間觀點中其應被分配到的資源更少的資源。在一個實施例中，藉由說明針對各個VM的各個GPU的使用，以及擴展排程器以提高VM的優先權來解決此問題，該VM將接著具有更多機會成為將被排程進來的下一個VM，及/或若其被排程進來且具有要執行的CMD則將被給定較長的時間配額。亦可使用不同的排程器策略，諸如基於優先權的排程器、或循環排程器或其之任意組合。可使用上述方法來使具有較低資源分配的VM具有較高機率在下一個週期被排程進來。

圖17A-B中示出依據本發明之實施例的一方法。該方法被細分為由vCPU執行所實施的那些操作(圖17A)，以及由GPU排程器所實施的那些操作(圖17B)。在1701，VM的CPU開始GPU工作負載的執行，並且，在1702，GPU工作負載產生一命令序列，其被放置在命令緩衝器1705中。若在取樣週期中(在1703判斷)，則更新P(t)曲線並在1704結束取樣。

轉向圖17B，在1706，GPU排程器選擇用於執行的下一vGPU(例如，針對諸如15ms的給定的配額)。若在配額內(在1707判斷)，則在1708，vGPU當前正執行工作負 載。當在1709完成vGPU執行，在1710做出關於新命令是否可從命令緩衝器獲得的判定。若是的話，則處理返回到1707。若否的話，則在1711開始取樣。若在其他的VM中有未決的工作負載(在1712判斷)，則在1713施用PDSAS邏輯。若否，則處理返回1707用於當前的vGPU實例。在1714做出關於是否讓出另一vGPU實例(例如，使用本文所述之PDSAS技術)的判定。若是的話，則處理返回至1706。若否的話，則處理返回至1707用於當前的vGPU實例。

因此，本文所述之發明的一些實施例定義與SW-Cost和Thres0相比較來計算WCost的策略。在一些架構中，已確定SW-cost大約為0.1~0.3ms，在運行時取樣。還有幾種可選擇Thres0的方式。在一個實施例中，Thres0=0。在另一實施例中，Thres0是固定值，諸如0.2ms作為保守排程(諸如用於RT VM/vGPU)的邊界(barrier)，或是-0.1ms作為用以激勵排程的積極因子。在又另一實施例中，從下一vGPU的平均GPU執行時間判定該值(即，正如閒置可針對VM而被判定，忙碌狀態亦可針對VM而被判定)。此處，例如，下一VM表示將被排程進來的下一訪客排程器。例如，針對具有運行的3D工作負載的下一vGPU，若平均GPU忙碌時間是每各個命令緩衝器0.5ms，則Thres0可被設定為0.5ms。VM會想要以總切換成本=SW-Cost+0.5ms=0.8ms來切換至下一VM，其表示它需要平均等待0.8ms，直到GPU所有權被再次切換(即，用 於2個VM實現)。然而，應注意的是，本發明的基本原理不限於計算Thres0的任何特定方式。

現在將描述三個示例性策略(1)W-Cost=T_average、(2)W-Cost=T80%、及(3)W-Cost=(1-D)* T_average(其中D是如下所述的平衡係數)。

1. W-Cost=T _average

在此實施例中，成本是不讓出GPU及有GPU閒置的等待T_average時間。若切換成本，SW-cost=0.3，且Thres0為0.5ms之下一vGPU的工作負載平均執行時間，則總成本為0.8ms。在此策略中，只要vGPU保持相同的工作負載，W-Cost可相對地維持一致，因為工作負載可能具有固定的型樣。因此，若T_average>0.8ms，則當前的vGPU可在各個CMD完成時讓出GPU。

如圖17a-b中的流程圖所示，此策略的優點是，我們可最大化GPU週期的使用，但它可能影響vGPU1(讓步之該者)。其他實施例中，vGPU1工作負載是高優先權的並且即使我們將GPU讓出給vGPU2也不應被影響，猶如實體GPU遲早可被排程回到vGPU1(例如在平均等待時間到期之前)。這對於那些高優先權或即時的工作負載(例如，實況串流媒體、視訊會議等等)而言是非常重要的。缺點是它總是試圖保持該GPU用於一個VM或者在每個週期總是選擇讓出GPU。具有小T_average和小Thred0值(指示其具有繁忙的工作負載)的VM將接著傾向佔用大多數的 GPU資源。它需要排程器的幫忙，以平衡各個VM之間的GPU資源。

2. W-Cost=T _80%

如上所述，T80%表示下一命令的80%將在此持續時間內到達。下面公式可被用來判定T80%。雖然在此示例性實施例中使用80%的值，但仍可使用各種其他的百分比同時仍符合本發明的基本原理(例如，90%、95%、99%、Tmax等等)。

在一個實施例中，此實施具有與上述W-Cost=T_average策略中所述之相同的效果，主要的差異在於，若T_80%>T_average，W-Cost可以是更大的值。圖18繪示針對W-Cost=T_80%之一示例性實施例，使用與上述相同的VM1及VM2工作負載。如圖18中所示，由於較大的W-Cost值，VM1更容易被排程給VM2。如所示，在1801中的切換相似於上面所述的切換。然而，在1802中的切換是非常不同的，因為GPU交替處理來自VM1和VM2之各者的CMD，給予較大的W-Cost值。在一個實施例中，在各個CMD緩衝器中的閒置時間可能不夠大，並且，因此，工作負載本身可能被輕微地影響/延遲。因此，此實現方式更適合非即時的工作負載。然而，如1802所示，此實施方式可能導致提高的整體GPU利用率。

W-Cost的兩個其他範例為W-Cost=Max及W-Cost= 0。在第一種情況下，W-Cost=Max，將立即地讓出GPU。在第二種情況下，W-Cost=0，在VM配額期間將不讓出GPU。

圖19繪出示例性機率曲線，其指示在不同時間值的機率以及包括平衡係數。

3. W-Cost=(1-D)* T _average

在此實施例中，D是介於(-1.0~1.0)之間的平衡係數。負D值表示PDSAS邏輯1470將更傾向讓出GPU執行時間。而正D值表示PDSAS邏輯1470將更傾向保持在其GPU配額(例如，15ms)之內。加入D因子，以影響在多個VM之間的處於平衡的(in-balance)GPU資源分配。D會在運行時依據各個VM的GPU利用率進行調整。已經知道沒有排程器的幫忙，策略#1或策略#2可能導致一些VM佔用大部分的GPU時間。

下面是2個VM的範例。使用D=1-VM%* TotalVM來計算係數D。在此範例中，VM%表示當前VM的GPU時間的分配百分比。針對2個VM訪客的情況，TotalVM=2。若VM%為30%(其中針對2個VM的情況，應該為50%)，D=0.4*T_average。W-cost=0.6*T_average。使用這些技術，由於引入小的W-cost，VM(其過去擁有30%的GPU時間)更容易分配更多的GPU資源。

應注意的是，上述用於預測下一個CMD之閒置的技術也可用於預測中斷何時到達。在此實現中，IRQ處置器 可等待該時間來組合進入的中斷，將它們一起處理。這基本上可減少注入到訪客VM的總陷阱數

在此詳細的描述中，參考形成本文之一部分的附圖，其中相同的標號表示相同的部件，且其中以可實施的舉例說明實施例的方式示出。應當理解的是，在不脫離本揭示之範圍的情況下，可以利用其他的實施例，以及可進行結構或邏輯的改變。因此，以下的詳細描述不應被視為限制性的，並且實施例的範圍係由隨附的申請專利範圍及其等同物所限定。

各種操作可以以最有助於理解所主張之申請專利標的的方式，被描述為依次的多個分離的動作或操作。然而，描述的順序不應被解釋為暗示這些操作必須是順序相依的。具體地，可不按照渲染的順序來執行這些操作。所描述的操作可以以與所述實施例不同的順序來執行。在附加的實施例中，可以執行各種附加的操作及/或可省略描述的操作。

為了本公開的目的，「A及/或B」之用語表示(A)、(B)、或(A及B)。為了本公開的目的，「A、B、及/或C」之用語表示(A)、(B)、(C)、(A及B)、(A及C)、(B及C)、或(A、B、及C)。在本揭示描述「一(a)」或「第一元件」或其等同物的情況下，此揭示包括一或多個此種元件，既不要求也不排除兩個或更多的此種元件。此外，用於識別元件的序數指示(例如，第一、第二、或第三)被用來區別多個元件，並且不指示或暗示此種元件的所需數量 或限定數量，除非另有具體說明，否則它們亦不指示此種元件的特定位置或順序。

在描述中對一個實施例或一實施例的參照意謂著，結合實施例所描述的特定特徵、結構、或特性被包括在本發明的至少一個實施例中。該描述可使用「在一個實施例中」、「在另一實施例中」、「在一些實施例中」、「在實施例中」、「在各種實施例中」等之用語，其可各指稱一或多個相同或不同的實施例。此外，關於本揭示之實施例所使用的術語「包含」、「包括」、「具有」等，是同義的。

在實施例中，術語「引擎」或「模組」或「邏輯」可指稱以下之一部分、或包含以下：特殊應用積體電路(ASIC)、電子電路、處理器(共用、專用、或群組)、及/或執行一或多個軟體或韌體程式的記憶體(共用、專用、或群組)、組合邏輯電路、及/或其他提供所述功能之合適的元件。在實施例中，可以韌體、硬體、軟體、或韌體、硬體、及軟體之任意組合來實現引擎或模組。本發明的實施例可包括已描述於上的各種步驟。該等步驟可以可用以使通用或專用處理器執行該等步驟的機器可執行指令來體現。替代地，這些步驟可以由包含用於執行該等步驟的固線式(hardwired)邏輯的特定硬體元件、或者由已編程的電腦元件及定制的硬體元件的任意組合來執行。

如本文所述，指令可指稱，諸如被配置以執行某些操作或具有預定功能之特殊應用積體電路(ASICs)的硬體的 特定配置，或者儲存在以非暫時性電腦可讀取媒體所體現的記憶體中的軟體指令。因此，可使用在一或多個電子裝置(例如，終端站、網路元件等等)上儲存及執行的程式碼及資料來實現圖式中所示之技術。此種電子裝置使用電腦機器可讀取媒體儲存及(內部地及/或透過網路與其他的電子裝置)通訊程式碼及資料，電腦機器可讀取媒體係諸如非暫時性電腦機器可讀取儲存媒體(例如，磁碟；光碟；隨機存取記憶體；唯讀記憶體；快閃記憶體裝置；相變記憶體)及暫時性電腦機器可讀取通訊媒體(例如，電、光、聲或其他形式的傳播信號-諸如載波、紅外線信號、數位信號等)。

此外，此種電子裝置通常包括一或多個處理器的集合，其耦接至一或多個其他元件，諸如一或多個儲存裝置(非暫時性機器可讀取儲存媒體)、使用者輸入/輸出裝置(例如，鍵盤、觸控螢幕、及/或顯示器)、及網路連接。該處理器集合與其他元件的耦接通常透過一或多個匯流排及橋接器(亦稱為匯流排控制器)。儲存裝置及乘載網路流量的信號分別表示一或多個機器可讀取儲存媒體及機器可讀取通訊媒體。因此，給定電子裝置的儲存裝置通常儲存用於在該電子裝置之該一或多個處理器的集合上執行的程式碼及/或資料。當然，可使用軟體、韌體、及/或硬體的不同組合來實現本發明之實施例的一或多個部分。在整個詳細描述中，為了解釋的目的，說明了許多具體細節以提供對本發明的透徹理解。然而，對本領域之技術人員顯而易 見的是，可在沒有這些特定細節之部分的情況下實施本發明。在某些實例中，在詳細說明的細節中不描述公知的結構及功能，以避免模糊本發明之申請專利標的。因此，應依據以下的申請專利範圍來判斷本發明之範圍及精神。

1400:示例性實施例

1410:超管理器

1412:GPU排程器

1418:命令剖析器

1420:GPU

1430:VM

1440:VM

1460A、1460B:虛擬GPU(vGPU)

1470:PDSAS邏輯

Claims (25)

1. 一種用於型樣驅動自適應虛擬繪圖處理單元的裝置，包含：繪圖處理單元(GPU)，用以處理繪圖命令以及回應地渲染複數個圖像框；超管理器，用以虛擬化該GPU以在多個虛擬機(VM)之間共享該GPU，該超管理器將用於各個VM的GPU細分為多個配額(quanta)；以及排程邏輯，用以監控GPU利用，其包括各個VM在其分配到的配額期間的GPU忙碌時間及/或GPU閒置時間，並且用以儲存反映在各配額期間該GPU利用的利用資料；該排程邏輯用以基於該利用資料來預測在第一VM之給定的配額內的等待的成本，並且用以進一步預測讓出給第二VM的成本，若該等待的成本大於該讓出給第二VM的成本，則該排程邏輯將該GPU讓出給該第二VM。
2. 如申請專利範圍第1項之裝置，其中若該等待的成本大於該讓出給該第二VM的成本與一指定閾值之和，該排程邏輯用以將該GPU讓出給該第二VM。
3. 如申請專利範圍第2項之裝置，其中該閾值包含0或者大於0的值。
4. 如申請專利範圍第1項之裝置，其中監控該GPU忙碌時間及/或GPU閒置時間，該排程邏輯將各配額內每VM將執行的一組GPU命令內的命令加上戳記(stamp)。
5. 如申請專利範圍第1項之裝置，其中該排程邏輯被配置成儲存該反映GPU利用的利用資料作為機率曲線，該機率曲線反映將在不同的時間週期給定的配額內接收新命令的機率。
6. 如申請專利範圍第5項之裝置，其中至少一個時間週期包含基於該機率曲線來預期新命令的平均時間量。
7. 如申請專利範圍第5項之裝置，其中至少一個時間週期與指定百分比相關聯，該指定百分比包含將在指定的時間週期內接收命令的可能性。
8. 如申請專利範圍第1項之裝置，其中該排程邏輯被配置成判定是否命令係針對該第二VM為未決的，且僅在命令係針對該第二VM為未決之時才將該GPU讓出給該第二VM。
9. 如申請專利範圍第2項之裝置，其中該排程邏輯回應VM之各者上的工作負載條件而動態地調整該指定閾值。
10. 一種用於型樣驅動自適應虛擬繪圖處理單元的方法，包含：選擇第一虛擬機(VM)以執行繪圖處理器單元(GPU)上的命令；監控GPU利用資料，其包括在一或多個分配到的配額期間該第一VM的GPU忙碌時間及/或GPU閒置時間；儲存反映該GPU利用的利用資料；基於該利用資料來預測在第一VM之第一配額內的等 待的成本以及讓出給第二VM的成本；以及若該等待的成本大於該讓出給第二VM的成本，則將該GPU讓出給該第二VM。
11. 如申請專利範圍第10項之方法，其中若該等待的成本大於該讓出給該第二VM的成本與一指定閾值之和，該將該GPU讓出給該第二VM。
12. 如申請專利範圍第11項之方法，其中該閾值包含0或者大於0的值。
13. 如申請專利範圍第10項之方法，其中監控該GPU忙碌時間及/或GPU閒置時間，將各配額內每VM將執行的一組GPU命令加上戳記。
14. 如申請專利範圍第10項之方法，更包含儲存該反映GPU利用的利用資料作為機率曲線，該機率曲線反映將在不同的時間週期給定的配額內接收新命令的機率。
15. 如申請專利範圍第14項之方法，其中至少一個時間週期包含基於該機率曲線來預期新命令的平均時間量。
16. 如申請專利範圍第14項之方法，其中至少一個時間週期與指定百分比相關聯，該指定百分比包含將在指定的時間週期內接收命令的可能性。
17. 如申請專利範圍第10項之方法，更包含：判定是否命令係針對該第二VM為未決的，且僅在命令係針對該第二VM為未決之時才將該GPU讓出給該第二VM。
18. 如申請專利範圍第11項之方法，更包含：回應該等VM之各者上的工作負載條件而動態地調整該指定閾值。
19. 一種用於型樣驅動自適應虛擬繪圖處理單元的系統，包含：記憶體，用以儲存資料及程式碼；中央處理單元(CPU)，包括用於快取該程式碼之一部分的指令快取，以及用於快取該資料之一部分的資料快取，該CPU進一步包含執行邏輯，用以執行該程式碼中的至少一些程式碼，並回應地處理該資料中的至少一些資料，該程式碼的至少一部分包含繪圖命令；繪圖處理單元(GPU)，用以處理該等繪圖命令以及回應地渲染複數個圖像框；超管理器，用以虛擬化該GPU以在多個虛擬機(VM)之間共享該GPU，該超管理器將用於各個VM的GPU細分為多個配額；以及排程邏輯，用以監控GPU利用，其包括各個VM在其分配到的配額期間的GPU忙碌時間及/或GPU閒置時間，並且用以儲存反映在各配額期間該GPU利用的利用資料；該排程邏輯用以基於該利用資料來預測在第一VM之給定的配額內的等待的成本，並且用以進一步預測讓出給第二VM的成本，若該等待的成本大於該讓出給第二VM的成本，則該排程邏輯將該GPU讓出給該第二VM。
20. 如申請專利範圍第19項之系統，其中若該等待的成本大於該讓出給該第二VM的成本與一指定閾值之和，該排程邏輯用以將該GPU讓出給該第二VM。
21. 如申請專利範圍第20項之系統，其中該閾值包含0或者大於0的值。
22. 如申請專利範圍第19項之系統，其中監控該GPU忙碌時間及/或GPU閒置時間，該排程邏輯將各配額內每VM將執行的一組GPU命令內的命令加上戳記。
23. 如申請專利範圍第19項之系統，其中該排程邏輯被配置成儲存該反映GPU利用的利用資料作為機率曲線，該機率曲線反映將在不同的時間週期給定的配額內接收新命令的機率。
24. 如申請專利範圍第23項之系統，其中至少一個時間週期包含基於該機率曲線來預期新命令的平均時間量。
25. 如申請專利範圍第23項之系統，其中至少一個時間週期與指定百分比相關聯，該指定百分比包含將在指定的時間週期內接收命令的可能性。

Images